CN111445486B - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，其中，方法包括：对待分割图像进行空间卷积处理，以提取所述待分割图像中每一像素点的特征值；根据所述像素点的特征值，预测每一像素点的类型；将所述类型属于预设类型的像素点所形成的第一区域，与所述类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为所述待分割图像的分割线；根据所述分割线，对所述待分割图像进行分割处理。通过本申请，能够保证在提取待分割图像的全部特征的同时，又极大地减少了计算量，使得能够在移动端设备对待分割图像进行实时处理。

Description

图像处理方法、装置、设备及计算机可读存储介质

技术领域

本申请实施例涉及计算机技术领域，涉及但不限于一种图像处理方法、装置、设备及计算机可读存储介质。

背景技术

随着深度学习技术的快速普及以及计算能力的提升，图像分割技术得到了高速发展，其在移动端的应用也日益广泛，在短视频、P图领域，为包含天空等大面积区域的图片更换背景、添加新颖素材效果等方面的需求与日俱增。

相关技术中，在对包含天空等大面积区域的图像进行分割时，通常是采用级联式的网络结构，在多个图像尺度上进行天空区域的分割，最终得到天空区域的分割掩码，或者，是使用语义分割网络得到粗略的初始概率图，然后再基于条件随机场的后处理算法对粗略的分割掩码进行优化，得到最终精细的分割掩码。

但是，无论是基于多尺度的级联分割网络，还是利用类似条件随机场等复杂后处理进行优化，计算复杂度均较大，难以在手机等移动端设备进行实时处理。

发明内容

本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，通过对待分割图像进行空间卷积处理，能够保证在提取待分割图像的全部特征的同时，又极大地减少了计算量，使得能够在移动端等任意设备对待分割图像进行实时处理。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，包括：

对待分割图像进行空间卷积处理，以提取所述待分割图像中每一像素点的特征值；

根据所述像素点的特征值，预测每一像素点的类型；

将所述类型属于预设类型的像素点所形成的第一区域，与所述类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为所述待分割图像的分割线；

根据所述分割线，对所述待分割图像进行分割处理。

本申请实施例提供一种图像处理装置，包括：

特征提取模块，用于对待分割图像进行空间卷积处理，以提取所述待分割图像中每一像素点的特征值；

预测模块，用于根据所述像素点的特征值，预测每一像素点的类型；

第二确定模块，用于将所述类型属于预设类型的像素点所形成的第一区域，与所述类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为所述待分割图像的分割线；

分割处理模块，用于根据所述分割线，对所述待分割图像进行分割处理。

本申请实施例提供一种图像处理设备，包括：

存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述的方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的方法。

本申请实施例具有以下有益效果：

对待分割图像进行空间卷积处理，以提取所述待分割图像中每一像素点的特征值，并基于提取的像素点的特征值进一步确定待分割图像的分割线，如此，由于通过对待分割图像进行空间卷积处理，能够保证在提取待分割图像的全部特征的同时，又极大地减少了计算量，使得能够在移动端等任意设备实时的确定出分割线，并对待分割图像进行实时分割处理。

附图说明

图1是本申请实施例提供的图像处理系统的一个可选的架构示意图；

图2是本申请实施例提供的服务器的结构示意图；

图3是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图4是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图5是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图6是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图7是本申请实施例提供的图像分割模型训练方法的一个可选的流程示意图；

图8是本申请实施例提供的图像分割模型优化方法的一个可选的流程示意图；

图9A是本申请实施例提供的待处理图像；

图9B是本申请实施例进行图像分割处理后的天空分割概率图；

图9C是本申请实施例对天空区域添加素材后形成的处理图像；

图10是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图11是本申请实施例所形成的天空分割概率图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

为了更好地理解本申请实施例中提供的图像处理方法，首先对相关技术中的图像处理方法进行说明：

随着深度学习技术的快速普及，以及计算能力的提升，语义分割技术性能得到了大幅提升，其在手机等移动端设备的应用于也日益广泛，例如，在短视频、P图领域，为图片中的大面积区域(例如，天空区域)更换背景、添加新颖素材效果等方面的需求与日俱增。大面积存在、与各种物体均有可能交界是天空区域的显著特点，这要求分割算法不仅要从全局分割出天空区域的形状，还需再局部精细的得到天空与其他一般物体的交界线。针对以上问题，目前主流的方法是采用深度学习语义分割网络对图片中的大面积区域进行分割。

相关技术中，一种进行图片中天空区域的分割方法，是通过第一卷积神经网络从原始图像中提取不同尺度的多个天空特征图像；级联的多个第二卷积神经网络对多个天空特征图像进行处理，输出目标特征图像；上采样层对目标特征图像进行上采样，获得上采样特征图像；天空区域确定层将上采样特征图像中灰度值大于等于预设灰度值的像素区域确定为天空区域。如此，通过级联的多个第二卷积神经网络，能够从不同尺度的图像中，多层次提取天空语义特征，从而输出的目标特征图像中可包括各个尺度的天空特征。也就是说，采用级联式的网络结构，在多个图像尺度上进行天空区域的分割，最终得到天空区域的分割掩码。

另一种进行图片中天空区域的分割方法，是采用天空分割数据集进行处理，语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，并且，相关技术中的方案还利用条件随机场对分割后的初始概率图进行优化，也就是说，相关技术中是首先使用语义分割模型得到粗略的初始概率图，然后在基于条件随机场的后处理算法对粗略的分割掩码进行优化，得到最终精细的分割掩码。

上述方案均利用基于深度学习的语义分割模型进行天空区域的分割处理，但存在以下缺陷：

第一，无论是基于多尺度的级联分割网络，还是利用类似条件随机场等复杂后处理进行优化，其计算复杂度均较大，难以在手机等移动端设备进行实时处理；

第二，上述方案均没有考虑天空分割区域大面积存在、与各种物体均有可能交界的显著特点，只是按照一般物体的分割进行天空区域的分割训练，不仅会针对大面积天空产生漏检，而且还得不到清晰的交界边缘，从而无法达到用户对于天空分割精度的要求。

基于相关技术所存在的上述至少一个问题，本申请实施例提供一种图像处理方法，首先，对待分割图像进行空间卷积处理，以提取待分割图像中每一像素点的特征值；然后，根据每一像素点的特征值，对对应像素点属于预设类型像素点的结果进行预测，以得到待分割图像的分割线；最后，根据分割线，对待分割图像进行分割处理。如此，由于通过对待分割图像进行空间卷积处理，能够保证在提取待分割图像的全部特征的同时，又极大地减少了计算量，使得能够在移动端等任意设备实时的确定出分割线，并对待分割图像进行实时分割处理。另外，本申请实施例的方法还可以基于人工智能(AI，Artificial Intelligence)技术实现。

下面对人工智能技术进行简单介绍：

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请实施例中，可以基于人工智能技术实现图像分割处理，即采用人工智能技术确定待分割图像的分割线，从而实现对待分割图像的分割处理，或者，基于人工智能的图像分割模型训练，即采用人工智能技术实现对图像分割模型进行训练。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。例如，当采用人工智能技术实现本申请实施例的图像处理方法时，可以采用人工智能芯片来进行一系列的运算处理，得到待分割图像的分割线。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，计算机视觉技术(CV，Computer Vision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方法涉及人工智能的图像分割处理技术，可以将人工智能技术中的计算机视觉技术与卷积神经网络模型结合，来对待分割图像进行空间卷积处理，得到空间卷积结果；并对空间卷积结果对应的至少一个输出通道进行混合处理，以提取待分割图像中每一像素点的特征值，同时，基于所提取到的像素点的特征值，对每一像素点的类型进行确定，进而得到待分割图像的分割线，实现对待分割图像进行分割处理。在另一些实施例中，还可以基于人工智能技术，在分割处理后的图像上融合一些其他元素，以得到满足用户需求的处理图像。在又一些实施例中，还可以将人工智能技术与图像分割模型训练技术结合，实现基于人工智能的图像分割模型训练过程。对于上述基于人工智能的处理方式，将在后续实施例中进行说明。

下面说明本申请实施例提供的图像处理设备的示例性应用，本申请实施例提供的图像处理设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)、智能机器人等任何带有屏幕显示的终端，也可以实施为服务器。下面，将说明图像处理设备实施为服务器时的示例性应用。

参见图1，图1是本申请实施例提供的图像处理系统10的一个可选的架构示意图。为支撑一个图像处理应用，以实现对待处理图像进行分割处理以及分割之后的图像处理步骤，图像处理系统10中包括终端100、网络200和服务器300。其中，终端100上运行有图像处理应用，在实现本申请实施例的图像处理方法时，终端100的采集单元采集待分割图像；并将待分割图像通过网络200发送给服务器300；服务器300对待分割图像进行空间卷积处理，以提取待分割图像中每一像素点的特征值；根据每一像素点的特征值，对对应像素点属于预设类型像素点的结果进行预测，以得到待分割图像的分割线；根据分割线，对待分割图像进行分割处理；得到分割处理后的图像，并将分割处理后的图像通过网络200返回给终端100；终端100可以在当前界面100-1上显示分割处理后的图像。或者，在其他实施例中，服务器300还可以对分割处理后的图像进行进一步处理，例如在分割处理后的图像的部分区域融合其他图像，然后将融合后的图像通过网络200发送给终端100，以使得终端100可以在当前界面100-1上显示融合后的图像。

参见图2，图2是本申请实施例提供的服务器300的结构示意图，图2所示的服务器300包括：至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。服务器300中的各个组件通过总线系统340耦合在一起。可理解，总线系统340用于实现这些组件之间的连接通信。总线系统340除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统340。

处理器310可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口330还包括一个或多个输入装置332，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器350可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。存储器350包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器350旨在包括任意适合类型的存储器。在一些实施例中，存储器350能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统351，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块352，用于经由一个或多个(有线或无线)网络接口320到达其他计算设备，示例性的网络接口320包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

输入处理模块353，用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图3示出了存储在存储器350中的一种图像处理装置354，该图像处理装置354可以是服务器300中的图像处理装置，其可以是程序和插件等形式的软件，包括以下软件模块：特征提取模块3541、预测模块3542、确定模块3543和分割处理模块3544，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specif ic Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic De vice)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。

下面将结合本申请实施例提供的服务器300的示例性应用和实施，说明本申请实施例提供的图像处理方法。参见图3，图3是本申请实施例提供的图像处理方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。

步骤S301，对待分割图像进行空间卷积处理，以提取所述待分割图像中每一像素点的特征值。

这里，待分割图像可以是任意一种类型的图像，例如，可以是包括天空、草原、山峦等大面积区域的图像，或者，可以是包括复杂背景和复杂人像的图像，在待分割图像上，背景与人像或者背景与物体之间可以具有不规则的连续交界线。

本申请实施例的方案可以应用于服务器，通过服务器对待分割图像进行分割处理，也可以应用于手机等移动终端，通过移动终端对待分割图像进行快速的分割处理。本申请实施例中的待分割图像可以是实时拍摄的图像，也可以是从网络上下载的图像，当然，本申请实施例的方法还可以应用于对视频帧的图像分割处理，即实现视频图像处理，可以获取视频中的任意一帧图像，然后将这一帧图像作为待分割图像，并采用本申请实施例的方法进行分割处理。

空间卷积处理是一种只处理小范围的图像信息的方法，即图像空间频率的增强(或减弱)是通过对每个像素点周围的邻近像素点的处理来实现的。对一幅图像进行空间卷积有两步，首先是建立一个包含一系列相关系数或权重因子的移动窗口；然后，将这个窗口在整幅图像上移动，用窗口所覆盖的每个像素点的亮度值乘以其对应的相关系数或权重所得到的总和(或像元平均值)，来代替其窗口的中心像素点的亮度值，从而得到空间卷积处理后的空间卷积结果。

本申请实施例中，通过对待分割图像进行空间卷积处理，其目的是为了结合后续的输出通道混合过程，完成对待分割图像上的特征值进行提取。

在一些实施例中，步骤S301可以通过以下步骤实现：

步骤S3011，对所述待分割图像进行空间卷积处理，得到空间卷积结果。

步骤S3012，确定出与空间卷积结果对应的至少一个输出通道。

本申请实施例的图像处理方法，可以采用卷积神经网络来实现，这里的输出通道可以是输入的待分割图像的通道数，取决于图像的类型，例如，假设一个6×6×3的待分割图像，使用3×3×3的卷积核进行空间卷积操作，此时输入的待分割图像的通道为3，而卷积核中的输入通道与需要进行空间卷积操作的数据的通道一致(这里就是待分割图像，通道为3)。或者，这里的输出通道还可以是指卷积神经网络中的空间卷积处理层的卷积核的数量，那么，此时的输出通道也会作为下一次卷积处理时的卷积核的输入通道。

需要说明的是，通道(channel)是输出空间的维数，例如卷积操作中输出通道的个数，或者说，是每个卷积层中卷积核的数量。在卷积处理过程中，当通道数量已知时，则可以知道卷积核的数量。而卷积核就相当于一个二维的滤波器，卷积核就是在图像处理时，给定输入图像，对输入图像中一个小区域中的像素加权平均后成为输出图像中的像素，其中，加权平均过程中的权值由一个函数定义，这个函数称为卷积核。那么，当通道的数量确定之后，则可以确定卷积核的数量，即确定出图像卷积处理过程中用于对输入图像的像素进行加权平均的权值的数量。

步骤S3013，对至少一个输出通道进行混合处理，以提取待分割图像中每一像素点的特征值。

这里，对至少一个输出通道进行混合处理，可以是以至少一个输出通道作为下一次卷积处理时的卷积核的输入通道，进行下一次卷积处理。通过下一次卷积处理得到卷积处理结果，将卷积处理结果作为所提取到的待分割图像中每一像素点的特征值。

步骤S302，根据像素点的特征值，预测每一像素点的类型。

这里，在同一待分割图像中，可以有至少两种类型的像素点，其中，同一种类型的连续像素点形成该类型的图像区域。在一幅待分割图像中，一种类型的图像区域可以为至少一个，一种类型的图像区域与另一种类型的图像区域之间形成交界线。

步骤S303，将类型属于预设类型的像素点所形成的第一区域，与类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为待分割图像的分割线。

这里，预设类型的像素点可以是任意一种指定类型的像素点。例如，预设类型可以是天空类型，则预设类型像素点则可以是天空类型的像素点，即天空的颜色对应的像素值。本申请实施例中，可以预先设置想要分割出来的预设类型的像素点，则在图像处理过程中，确定每一像素点是否是预设类型像素点，并将连续的属于预设类型的像素点形成的第一区域，与连续的不属于预设类型的像素点形成的第二区域之间的交界线，确定为待分割图像的分割线。

本申请实施例中，可以结合人工智能技术，通过神经网络模型预测每一像素点属于预设类型像素点的结果，并根据待分割图像的全部像素点的结果，形成待分割图像的分割线。

步骤S304，根据分割线，对待分割图像进行分割处理。

这里，在预测出待分割图像的分割线之后，沿着分割线将待分割图像一分为二，形成分割后的图像。在得到分割后的图像之后，可以将分割后的图像中的一部分删掉，或者，对分割后的图像进行一些其他形式的图像处理，本申请实施例对分割后的图像的其他形式处理方式并不限定。

本申请实施例中，在确定出分割线之后，由于分割线的两侧分别是预设类型像素点形成的区域和非预设类型像素点形成的区域，因此，在分割处理时，既可以对预设类型像素点形成的区域进行分割删除，也可以对非预设类型像素点形成的区域进行分割删除。

举例来说，预设类型可以是天空类型，待分割图像上既包括天空区域又包括建筑物区域，在使用本申请实施例的方法确定出待分割图像的分割线之后，分割线是天空区域与建筑物区域之间的交界线，那么可以沿着所确定出的这条分割线将天空区域和建筑物区域一分为二，得到只包括天空区域的图像或者只包括建筑物区域的图像。

本申请实施例提供的图像处理方法，对待分割图像进行空间卷积处理，以提取所述待分割图像中每一像素点的特征值，并基于提取的像素点的特征值进一步确定待分割图像的分割线，如此，由于通过对待分割图像进行空间卷积处理，能够极大地减少了计算量，使得能够在移动端等任意设备实时的确定出分割线，并对待分割图像进行实时分割处理。另外，由于在一些实施例中，对待分割图像进行空间卷积处理，得到空间卷积结果；并对与空间卷积结果对应的至少一个输出通道进行混合处理，以实现提取待分割图像中每一像素点的特征值，即结合了对待分割图像进行空间卷积处理和对输出通道进行混合处理这两种处理方式，因此，能够进一步保证在提取待分割图像的全部特征的同时，又极大地减少了计算量。

在一些实施例中，图像处理系统中包括终端和服务器，终端采集待分割图像，服务器对待分割图像进行分割处理，图4是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图4所示，方法包括以下步骤：

步骤S401，终端获取待分割图像。

这里，终端可以通过自身的图像采集装置采集待分割图像，也可以从网络上下载待分割图像，也可以接收其他终端发送的待分割图像。待分割图像可以是任意一种类型的图像。

步骤S402，终端将待分割图像发送给服务器。

步骤S403，服务器对待分割图像进行空间卷积处理，得到空间卷积结果。

这里，通过对待分割图像进行空间卷积处理，其目的是为了结合后续的输出通道混合过程，完成对待分割图像上的特征值进行提取。

步骤S404，服务器确定出与空间卷积结果对应的至少一个输出通道。

步骤S405，服务器对至少一个输出通道进行混合处理，以提取待分割图像中每一像素点的特征值。

步骤S406，服务器根据像素点的特征值，预测每一像素点的类型；并将类型属于预设类型的像素点所形成的第一区域，与类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为待分割图像的分割线。

步骤S407，服务器根据分割线，对待分割图像进行分割处理，得到分割处理后的图像。

本申请实施例中，通过预测得到的分割线对待分割图像进行分割处理，得到分割处理后的图像，其中，分割处理后的图像至少包括待分割图像中的一部分像素。

步骤S408，服务器将分割处理后的图像发送给终端。

步骤S409，终端在当前界面上显示分割处理后的图像。

本申请实施例中，可以将分割处理后剩余的部分像素进行显示，也可以在显示分割处理后的图像的同时显示分割线。

步骤S410，终端接收图像融合指令，图像融合指令中包括位于分割处理后的图像上的目标区域和待融合图像。

图像融合指令用于指示将待融合图像与分割处理后的图像融合形成一张图像。图像融合指令中包括位于分割处理后的图像上的目标区域和待融合图像，目标区域用于指示在分割处理后的图像中添加待融合图像的位置，待融合图像可以是任意一种类型的图像或者元素。例如，待融合图像可以是一只或多只小鸟、大树、人等，待融合图像可以是与分割处理去除掉的部分图像的类型完全相同的图像，也可以是与分割处理后所剩余的部分图像的类型相同的图像。

步骤S411，终端将图像融合指令发送给服务器。

步骤S412，服务器响应于图像融合指令，采用待融合图像替换分割处理后的图像位于目标区域的图像，得到融合图像。

这里，由于通过前述的步骤已经确定出分割线，因此，可以沿着分割线去除掉目标区域中的图像，然后，将待融合图像添加到目标区域。

举例来说，如果待分割图像中包括天空和建筑物，但是天空所在的区域(即“天空区域”)拍摄的并不好看，用户想要将天空区域替换成其他自己喜欢的天空的样子，则可以采用本申请实施例的图像处理方法，确定出天空区域与建筑物区域之间的分割线，然后沿着分割线将天空区域去除掉，并将自己喜欢的天空的图像(即待融合图像)融合到所去除的天空区域的位置。

在一些实施例中，还可以对待融合图像进行适当的尺寸放大或缩减处理，以得到用于所需的融合尺寸，使得所形成的融合图像更加好看或者更加逼真。

步骤S413，服务器将融合图像发送给终端。

步骤S414，终端在当前界面上显示融合图像。

本申请实施例提供的图像处理方法，终端可以将待分割图像发送给服务器进行分割处理，得到分割处理后的图像，进一步地，用户还可以基于分割处理后的图像，在该图像上分割出来的区域添加其他元素，将待融合图像添加到分割处理后的图像中，实现两个图像之间的融合，得到融合效果更加逼真的融合图像。

基于图3，图5是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图5所示，步骤S302还可以通过以下步骤实现：

步骤S501，获取预设类型的图像像素。

这里，预设类型可以是用户想要分割去除掉的图像的类型或者是用户想要保留的图像的类型。例如，当用户想要去除掉天空类型时，则可以获取天空类型的图像像素，由于天空类型所呈现的多为蓝色，因此，天空类型的图像像素可以是蓝色像素。

步骤S502，根据预设类型的图像像素和像素点的特征值，确定每一像素点属于预设类型像素点的概率值。

这里，可以通过确定每一像素点的特征值与预设类型的图像像素之间的相似度，根据相似度确定对应像素点属于预设类型像素点的概率值。其中，相似度越高，则对应的概率值越高，相似度越低，则对应的概率值越低。

由于根据待分割图像上的一个像素点的特征值所计算的相似度，并不能准确反应该像素点的类型。例如，对于天空区域，像素点可以是蓝色像素或者可以是白色像素，但是在建筑物区域中，也可以存在蓝色像素或白色像素，那么如果仅基于一个像素点的特征值来进行计算，可能会将非预设类型的像素点确定为预设类型或者将预设类型的像素点确定为非预设类型。为了对图像像素点的类型进行准确的预测，在一些实施例中，由于同一类型的图像在一定的图像区域范围内的多个像素点的特征值均能预测出预设类型，因此，可以结合一定区域范围内的多个像素点，或者结合与像素点相邻的多个像素点，进行该像素点的类型的预测。其中，步骤S502还可以通过以下步骤实现：

步骤S5021，获取由任一像素点和位于所述像素点周围的预设数量的相邻像素点所形成的第一像素点集合。

这里，预设数量可以根据服务器的运算处理能力来确定，相邻像素可以是位于像素点四周的像素，也可以是位于像素点一侧的像素。

步骤S5022，确定第一像素点集合中的每一像素点与预设类型的图像像素之间的相似度，形成相似度集合。

这里，确定第一像素点集合中的每一像素点与预设类型的图像像素之间的相似度，得到对应数量的相似度，形成相似度集合。该相似度集合中包括像素点与预设类型的图像像素之间的相似度，还包括像素点的每一相邻像素与预设类型的图像像素之间的相似度。

步骤S5023，对相似度集合中的相似度进行加权求和，将加权求和结果确定为所述像素点属于所述预设类型像素点的概率值。

这里，综合相似度集合中的全部相似度，对相似度集合中的全部相似度进行加权求和，得到上述像素点属于预设类型像素点的概率值。

步骤S503，根据像素点的概率值，预测每一像素点的类型。

在一些实施例中，步骤S503还可以通过以下步骤实现：

步骤S5031，当像素点的概率值大于或等于预设阈值时，确定像素点的类型为预设类型。

步骤S5032，当像素点的概率值小于预设阈值时，确定像素点的类型不是预设类型。

对应地，步骤S303还可以通过以下步骤实现：

步骤S5033，将连续的预设类型的像素点所形成的区域，确定为第一区域。

步骤S5034，将连续的不是预设类型的像素点所形成的区域，确定为第二区域。

步骤S5035，将第一区域与第二区域之间的交界线，确定为待分割图像的分割线。

本申请实施例中，将连续的概率值大于或等于预设阈值的像素点确定为预设类型的像素点，将连续的概率值小于阈值的像素点确定为非预设类型的像素点，将预设类型的像素点形成的第一区域确定为预设类型图像区域，将非预设类型的像素点形成的第二区域确定为非预设类型图像区域，将预设类型图像区域与非预设类型图像区域的交界线确定为待分割图像的分割线。

在对待分割图像进行分割处理之后，得到分割处理后的图像，该分割处理后的图像至少包括属于预设类型的第一区域和不属于预设类型的第二区域。在一些实施例中，还可以对第一区域和第二区域进行着色处理，形成便于用户查看预设类型的像素点分布概率的图像。

基于图3，图6是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图6所示，在步骤S304之后还包括以下步骤：

步骤S601，确定分割处理后待分割图像的第一区域和第二区域。

步骤S602，采用第一颜色对待分割图像中的第一区域进行着色。

步骤S603，采用第二颜色对待分割图像中的第二区域进行着色，形成分割概率图。

举例来说，可以采用白色对第一区域进行着色，采用黑色对第二区域进行着色，从而形成黑白两色的分割概率图。

步骤S604，输出分割概率图。

请继续参照图6，在另一些实施例中，在步骤S601之后还可包括以下步骤：

步骤S605，获取待融合图像。

步骤S606，在第一区域和第二区域中，确定用于融合待融合图像的目标区域。

步骤S607，采用待融合图像替换待分割图像位于目标区域的图像，得到融合图像。

步骤S608，输出融合图像。

本申请实施例中，在对待分割图像进行分割处理之后，还可以基于分割处理后的图像进行进一步图像处理，如此，可以根据用户的需求，得到不同处理效果的图像。

在一些实施例，本申请实施例的图像分割方法还可采用图像分割模型来实现，即采用图像分割模型确定待分割图像的分割线。其中，图像分割模型包括空间卷积层、通道混合卷积层和分割处理层。空间卷积层用于对样本图像进行空间卷积处理，得到样本空间卷积结果；通道混合卷积层用于对样本空间卷积结果进行通道混合处理，得到样本图像中每一像素点的样本特征值；分割处理层用于根据样本特征值对样本图像进行分割处理，得到样本图像的样本分割线。

这里，提供一种图像分割模型的训练方法，图7是本申请实施例提供的图像分割模型训练方法的一个可选的流程示意图，如图7所示，包括以下步骤：

步骤S701，将样本图像输入至图像分割模型中，通过图像分割模型中的空间卷积层，对样本图像进行空间卷积处理，得到样本空间卷积结果。

这里，样本图像可以是任意一种类型的图像，本申请实施例的样本图像可以来源于样本数据集，在样本数据集中包括大量的样本图像和与每一样本图像对应的人工标注的分割图像，其中，人工标注的分割图像是人工进行分割处理后得到的分割图像。样本数据集中的样本图像和人工标注的分割图像用于进行图像分割模型的训练。

步骤S702，通过图像分割模型中的通道混合卷积层，对样本空间卷积结果进行通道混合卷积处理，得到样本图像中每一像素点的样本特征值。

在一些实施例中，步骤S702中的通道混合卷积处理，可通过以下步骤实现：

步骤S7021，将样本空间卷积结果输入至通道混合卷积层。

步骤S7022，通过通道混合卷积层对样本空间卷积结果进行逐点卷积，以实现对样本空间卷积结果对应的至少一个输出通道进行通道混合处理，得到样本图像中每一像素点的样本特征值。

这里，逐点卷积是指使用一个1x1的核函数(即卷积核)，或者是使用一个能够遍历每个点的核函数，对样本空间卷积结果中的每个点的值进行卷积计算。在实现的过程中，可以使用一个1x1的核函数，或者使用n个1x1xm的核函数(其中n是通道混合卷积层的输出通道的数量，m是通道混合卷积层的输入通道的数量)，对样本空间卷积结果进行卷积计算。

步骤S703，通过图像分割模型中的分割处理层，根据样本特征值对样本图像进行分割处理，得到样本图像的样本分割线。

步骤S704，将样本分割线输入至预设损失模型中，得到损失结果。

这里，预设损失模型用于将样本分割线与预设的人工标注的分割图像的人工标注分割线进行比较，得到损失结果，其中，人工标注分割线是样本数据集中与上述样本图像对应的人工标注的分割图像上的分割线。

预设损失模型中包括损失函数，通过损失函数可以计算样本分割线与人工标注分割线之间的相似度，并根据相似度确定上述损失结果。

步骤S705，根据损失结果，对空间卷积层、通道混合卷积层和分割处理层进行修正，得到图像分割模型。

这里，当上述相似度大于预设相似度阈值时，则损失结果表明当前的图像分割模型中的空间卷积层、通道混合卷积层和分割处理层，不能准确的对样本图像进行空间卷积处理，进而得到准确的样本空间卷积结果，或者，不能准确的对样本空间卷积结果进行通道混合处理，得到样本图像中每一像素点的样本特征值，或者，不能准确的根据样本特征值对样本图像进行分割处理，得到准确的样本图像的样本分割线，因此，需要对当前的图像分割模型进行修正。那么，可以根据上述相似度，对空间卷积层、通道混合卷积层和分割处理层进行修正，直至图像分割模型输出的样本分割线与人工标注分割线之间的相似度满足预设条件时，将对应的图像分割模型确定为训练好的图像分割模型。

本申请实施例提供的图像分割模型的训练方法，由于将样本图像输入至图像分割模型中，通过图像分割模型中的空间卷积层，对样本图像进行空间卷积处理，得到样本空间卷积结果；并通过图像分割模型中的通道混合卷积层，对样本空间卷积结果进行通道混合处理，得到样本图像中每一像素点的样本特征值；通过图像分割模型中的分割处理层，根据样本特征值对样本图像进行分割处理，得到样本图像的样本分割线；并将样本分割线输入至预设损失模型中，得到损失结果。因此，能够根据损失结果对空间卷积层、通道混合卷积层和分割处理层进行修正，所得到的图像分割模型能够准确的确定待分割图像的分割线，实现对待分割图像的准确分割处理，提高用户使用体验。

在一些实施例中，提供三种不同的损失模型对图像分割模型进行优化，其中，三种不同的损失模型分别采用以下损失函数：交叉熵损失函数、全局损失函数和梯度损失函数。

本申请实施例中，基于上述三种损失函数，能实现以下至少三种优化方法。

基于图7，图8是本申请实施例提供的图像分割模型优化方法的一个可选的流程示意图，如图8所示，在第一种优化方法中，步骤S704可通过以下步骤实现：

步骤S801，确定样本分割线上的每一像素点的第一像素值、和预设分割线上的每一像素点的第二像素值。

这里，预设分割线是预先提供的用于对样本分割线进行校验的参考分割线。

步骤S802，通过交叉熵损失函数，确定第一像素值与第二像素值之间的交叉熵损失结果。

这里，交叉熵损失结果，是指采用交叉熵损失函数所计算得到第一像素值与第二像素值之间的交叉熵，从而可以采用第一像素值与第二像素值之间的交叉熵，度量第一像素值与第二像素值之间的差异性。

步骤S803，将交叉熵损失结果确定为预设损失模型输出的损失结果。

在第二种优化方法中，步骤S704除了包括上述步骤S801至步骤S803之外，还可以包括以下步骤：

步骤S804，获取位于样本分割线一侧且属于预设类型的第二像素点集合、和位于预设分割线一侧且属于预设类型的第三像素点集合。

这里，第二像素点集合中的每一像素点均为预设类型的像素点，第三像素点集合中的每一像素点也均为预设类型的像素点。

步骤S805，确定与第二像素点集合对应的第三像素值集合、和与第三像素点集合对应的第四像素值集合。

这里，第三像素值集合中的每一像素值与第二像素点集合中的一个像素点对应，即第二像素点集合中的任一像素点的像素值均可以在第三像素值集合中查找到。第四像素值集合中的每一像素值与第三像素点集合中的一个像素点对应，即第三像素点集合中的任一像素点的像素值均可以在第四像素值集合中查找到。

步骤S806，通过全局损失函数，确定第三像素值集合与第四像素值集合之间的全局损失结果。

这里，全局损失结果是用于度量第二像素点集合中的全部像素点，与第三像素点集合中的全部像素点之间的差异性的结果，即全局损失结果是考虑分割线一侧且属于预设类型的全部像素点的信息的损失结果。相比于交叉熵损失结果只是考虑分割线上的任意一个像素点的信息，全局损失结果考虑的信息更多。

步骤S807，将全局损失结果确定为预设损失模型输出的损失结果。

在第三种优化方法中，步骤S704除了包括上述步骤S801至步骤S807之外，还可以包括以下步骤：

步骤S808，获取位于样本分割线上的第四像素点集合、位于预设分割线上的第五像素点集合和梯度算子。

这里，梯度算子可以为sobel算子。

步骤S809，确定与第四像素点集合对应的第五像素值集合、和与第五像素点集合对应的第六像素值集合。

这里，第五像素值集合中的每一像素值与第四像素点集合中的一个像素点对应，即第四像素点集合中的任一像素点的像素值均可以在第五像素值集合中查找到。第六像素值集合中的每一像素值与第五像素点集合中的一个像素点对应，即第五像素点集合中的任一像素点的像素值均可以在第六像素值集合中查找到。

步骤S810，通过梯度损失函数和梯度算子，确定第五像素值集合与第六像素值集合之间的梯度损失结果。

这里，梯度损失结果是用于度量第四像素点集合中的全部像素点，与第五像素点集合中的全部像素点之间的差异性的结果，即梯度损失结果是考虑分割线上的全部像素点的信息的损失结果。

相比于交叉熵损失结果只是考虑分割线上的任意一个像素点的信息，梯度损失结果考虑的信息更多且更加全面；相比于全局损失结果考虑的是分割线一侧的全部像素点的信息，梯度损失结果所考虑的信息更加有针对性，能够对分割线上的信息更加精细化处理，即能够使得第一区域和第二区域的边缘更加精细化；并且，分割线上的全部像素点的数量远小于分割线一侧的全部像素点的数量，因此，梯度损失结果的运算量相对于全局损失结果的运算量也更小。

步骤S811，将梯度损失结果确定为预设损失模型输出的损失结果。

本申请实施例提供的上述三种损失模型，其中，第一种损失模型采用交叉熵损失函数，第二种算是模型采用交叉熵损失函数和全局损失函数，第三种损失模型采用交叉熵损失函数、全局损失函数和梯度损失函数。通过上述三种损失模型，能够对不同类型的图像的图像分割模型进行准确的优化，得到优化后的模型，从而能够适用于不同类型的图像的图像分割处理。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例提供一种图像处理方法，为实现在移动端快速高精度的进行基于深度学习的天空分割处理，本申请实施例提出的方法，是一种基于深度可分离卷积以及交叉熵损失函数(CE loss，Cross Entropy loss)、全局损失函数(Dice loss)、梯度损失函数(Gradient loss)联合优化的天空区域分割方法。

天空作为户外拍摄场景的重要组成部分，在图像特效生成方面具有较大的应用前景。将天空区域单独分割提取出来，可对天空区域做特殊的处理，如更换其他天空背景，在天空区域添加素材等。如图9A至图9C所示，是对图像天空区域进行切割和添加素材的图像处理过程示意图，可以将用户上传的待处理图像首先进行分割，然后根据分割结果在天空区域添加特效素材。其中，图9A是本申请实施例提供的待处理图像，在待处理图像90上，包括天空区域901和非天空区域902；图9B是本申请实施例进行图像分割处理后的天空分割概率图，在天空分割概率图91中，天空区域901用白色表示，非天空区域902用黑色表示；图9C是本申请实施例对天空区域添加素材后形成的处理图像，在处理图像92中，天空区域901中添加了各种不同的素材903，例如，图9C中的烟花和汉字等素材。

为实现在移动端实时精准的进行天空分割处理，如图10所示，本申请实施例的方法包括以下步骤：

步骤S1001，获取用户输入的待分割图像。

步骤S1002，对待分割图像进行神经网络前向推断，以预测待分割图像中的天空区域，形成天空分割概率图。

这里，使用的神经网络是在天空分割数据集上训练的一个计算量小，精度高的语义分割模型(即上述图像分割模型)。其中，天空分割数据集中不仅包括真实的图像，还包括输出的分割图像。

语义分割模型整体计算量在20M以内，其中，语义分割模型中不仅包括池化层、非线性层以及双线性插值层等深度学习层，还大量使用了深度可分离的卷积操作，即还包括深度可分离卷积层。深度可分离卷积层由两部分组成，首先是用于对输入的每个层分别执行空间卷积操作的空间卷积层，然后是用于对空间卷积结果的输出通道进行混合处理的通道混合卷积层。通过以上空间卷积层和通道混合卷积层的两步操作，深度可分离卷积层在保证提取特征的同时又极大地减少了参数量和计算量。

使用以上网络模型和天空分割数据集，根据交叉熵损失函数(CE loss)即可进行语音分割模型的训练，交叉熵损失函数输出结果CE_loss如公式(1-1)所示：

其中，y'_i为天空分割数据集中人工标注的一点，y_i为语义分割模型预测输出对应的一点。

CE loss将分割问题转化为分类问题优化，虽然可以得到分割结果，但是其没有考虑天空大面积存在、与各种物体均有可能交界的特点，最终导致天空区域的误检以及模糊的边界信息，因此本申请实施例在进行网络训练时，同时引入全局损失函数(Dice loss)以及梯度损失函数(Gradient loss)进行联合优化。

与CE loss逐点计算损失不同，Dice loss可考虑全局信息，整体衡量语义分割模型输出的轮廓区域与人工标注的轮廓区域的相似程度，可最大程度地约束大面积区域的一致性，全局损失函数输出结果Dice loss可以通过以下公式(1-2)定义：

Dice loss＝1-2|Y'∩Y|/(|Y'|+|Y|) (1-2)；

其中，Y'为天空分割数据集中人工标注的真实值集合，Y为语义分割模型预测输出的输出值集合。

以上两种损失函数分别在单点像素级别和大面积整体级别对分割结果进行约束，对于天空区域与其他物体交界边缘没有进行特殊关注，因此边缘的精细化达不到要求。针对这一问题，梯度损失函数(Gradient loss)首先对天空分割数据集中人工标注的真实值集合Y'和语义分割模型预测输出的输出值集合Y，使用梯度算子(例如，sobel算子)分别求取梯度，即提取Y'的边缘轮廓G_Y'和Y的边缘轮廓G_Y，然后使用梯度损失函数进行优化，其中，梯度损失函数输出结果Gradient loss及计算过程如以下公式(1-3)至(1-5)：

其中，sobel_x和sobel_y分别表示在x轴和y轴上的sobel算子。

在一些实施例中，使用经过以上三种损失函数联合优化训练得到语义分割模型，进行神经网络前向推断以预测天空区域，得到天空区域概率图。

步骤S1003，对天空分割概率图截断输出。

这里，基于所得到的天空区域概率图执行天空分割概率图截断输出。例如，可以根据置信度0.5进行截断，以减少噪声和误检，得到最终的天空分割概率图，截断方式如以下公式(1-6)所示：

Y[Y＜0.5]＝0 (1-6)；

如图11所示，是本申请实施例所形成的天空分割概率图，该天空分割概率图11是基于图9A的待处理图像进行分割处理得到的。其中，非天空区域110概率值为0(黑色)，天空区域111概率值为0.5～1(白色)，概率值越大表明为天空的可能性越高。

本申请实施例采用参数量少，计算复杂度低的深度可分离卷积设计神经网络，然后针对天空区域大面积存在、与各种物体均有可能交界的显著特点，综合交叉熵损失函数、全局损失函数、梯度损失函数，联合优化网络训练，在满足移动端实时推断的前提下，进一步地减少天空分割的漏检和误检，并对边缘信息加以强化。整体方案无须复杂后处理算法，可行性强，成本低，精度高并适合在移动端部署。

下面继续说明本申请实施例提供的图像处理装置354实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器350的图像处理装置354中的软件模块可以是服务器300中的图像处理装置，包括：

特征提取模块3541，用于对待分割图像进行空间卷积处理，以提取所述待分割图像中每一像素点的特征值；预测模块3542，用于根据所述像素点的特征值，预测每一像素点的类型；确定模块3543，用于将所述类型属于预设类型的像素点所形成的第一区域，与所述类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为所述待分割图像的分割线；分割处理模块3544，用于根据所述分割线，对所述待分割图像进行分割处理。

在一些实施例中，所述特征提取模块还用于：对所述待分割图像进行空间卷积处理，得到空间卷积结果；确定出与所述空间卷积结果对应的至少一个输出通道；对所述至少一个输出通道进行混合处理，以提取所述待分割图像中每一像素点的特征值。

在一些实施例中，所述预测模块还用于：获取预设类型的图像像素；根据所述预设类型的图像像素和所述像素点的特征值，确定所述每一像素点属于所述预设类型像素点的概率值；根据所述像素点的所述概率值，预测每一像素点的所述类型。

在一些实施例中，所述预测模块还用于：获取由任一像素点和位于所述像素点周围的预设数量的相邻像素点所形成的第一像素点集合；确定所述第一像素点集合中的每一像素点与所述预设类型的图像像素之间的相似度，形成相似度集合；对所述相似度集合中的相似度进行加权求和，将加权求和结果确定为所述像素点属于所述预设类型像素点的概率值。

在一些实施例中，所述预测模块还用于：当所述像素点的概率值大于或等于预设阈值时，确定所述像素点的类型为所述预设类型；当所述像素点的概率值小于所述预设阈值时，确定所述像素点的类型不是所述预设类型；对应地，所述第二确定模块还用于：将连续的所述预设类型的像素点所形成的区域，确定为所述第一区域；将连续的不是所述预设类型的像素点所形成的区域，确定为所述第二区域；将所述第一区域与所述第二区域之间的交界线，确定为所述待分割图像的分割线。

在一些实施例中，所述装置还包括：第一着色模型，用于采用第一颜色对所述待分割图像中的所述第一区域进行着色；第二着色模型，用于采用第二颜色对所述待分割图像中的所述第二区域进行着色，形成分割概率图；第一输出模块，用于输出所述分割概率图。

在一些实施例中，所述装置还包括：获取模块，用于获取待融合图像；第三确定模块，用于在第一区域和所述第二区域中，确定用于融合所述待融合图像的目标区域；替换模块，用于采用所述待融合图像替换所述待分割图像位于所述目标区域的图像，得到融合图像；第二输出模块，用于输出所述融合图像。

在一些实施例中，所述装置还包括：处理模块，用于采用图像分割模型确定所述待分割图像的分割线；其中，所述图像分割模型通过以下步骤训练得到：将样本图像输入至图像分割模型中，通过所述图像分割模型中的空间卷积层，对所述样本图像进行空间卷积处理，得到样本空间卷积结果；通过所述图像分割模型中的通道混合卷积层，对所述样本空间卷积结果进行通道混合处理，得到所述样本图像中每一像素点的样本特征值；通过所述图像分割模型中的分割处理层，根据所述样本特征值对所述样本图像进行分割处理，得到所述样本图像的样本分割线；将所述样本分割线输入至预设损失模型中，得到损失结果；根据所述损失结果，对所述空间卷积层、所述通道混合卷积层和所述分割处理层进行修正，得到所述图像分割模型。

在一些实施例中，所述图像分割模型通过以下步骤训练得到：将所述样本空间卷积结果输入至所述通道混合卷积层；通过所述通道混合卷积层对所述样本空间卷积结果进行逐点卷积，以实现对所述样本空间卷积结果对应的至少一个输出通道进行所述通道混合处理，得到所述样本图像中每一像素点的所述样本特征值。

在一些实施例中，所述损失模型包括交叉熵损失函数；所述损失结果包括交叉熵损失结果；所述图像分割模型通过以下步骤训练得到：确定所述样本分割线上的每一像素点的第一像素值、和预设分割线上的每一像素点的第二像素值；通过所述交叉熵损失函数，确定所述第一像素值与所述第二像素值之间的交叉熵损失结果。

在一些实施例中，所述损失模型还包括全局损失函数；所述损失结果还包括全局损失结果；所述图像分割模型通过以下步骤训练得到：获取位于所述样本分割线一侧且属于所述预设类型的第二像素点集合、和位于所述预设分割线一侧且属于所述预设类型的第三像素点集合；确定与所述第二像素点集合对应的第三像素值集合、和与所述第三像素点集合对应的第四像素值集合；通过所述全局损失函数，确定所述第三像素值集合与所述第四像素值集合之间的所述全局损失结果。

在一些实施例中，所述损失模型还包括梯度损失函数；所述损失结果还包括梯度损失结果；所述图像分割模型通过以下步骤训练得到：获取位于所述样本分割线上的第四像素点集合、位于所述预设分割线上的第五像素点集合和梯度算子；确定与所述第四像素点集合对应的第五像素值集合、和与所述第五像素点集合对应的第六像素值集合；通过所述梯度损失函数和所述梯度算子，确定所述第五像素值集合与所述第六像素值集合之间的所述梯度损失结果。

需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3示出的方法。

在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，R ead Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

对待分割图像进行空间卷积处理，得到空间卷积结果；

确定出与所述空间卷积结果对应的至少一个输出通道；其中，所述输出通道的通道数为所述待分割图像的通道数或所述空间卷积处理的卷积核的数量；

对所述至少一个输出通道进行混合处理，以提取所述待分割图像中每一像素点的特征值；其中，所述至少一个输出通道作为下一次卷积处理时的卷积核的输入通道，所述下一次卷积处理得到卷积处理结果作为所述待分割图像中每一像素点的特征值；

根据所述像素点的特征值，预测每一像素点的类型；

将所述类型属于预设类型的像素点所形成的第一区域，与所述类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为所述待分割图像的分割线；

根据所述分割线，通过图像分割模型对所述待分割图像进行分割处理；其中，所述图像分割模型是通过以下方式训练的：

将样本图像输入至所述图像分割模型中，通过所述图像分割模型中的空间卷积层，对所述样本图像进行空间卷积处理，得到样本空间卷积结果；

通过所述图像分割模型中的通道混合卷积层，对所述样本空间卷积结果进行通道混合处理，得到所述样本图像中每一像素点的样本特征值；

通过所述图像分割模型中的分割处理层，根据所述样本特征值对所述样本图像进行分割处理，得到所述样本图像的样本分割线；

将所述样本分割线输入至预设损失模型中，得到损失结果；

根据所述损失结果，对所述空间卷积层、所述通道混合卷积层和所述分割处理层进行修正，得到所述图像分割模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述像素点的特征值，预测每一像素点的类型，包括：

获取所述预设类型的图像像素；

根据所述预设类型的图像像素和所述像素点的特征值，确定所述每一像素点属于所述预设类型像素点的概率值；

根据所述像素点的所述概率值，预测每一像素点的所述类型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预设类型的图像像素和所述像素点的特征值，确定所述每一像素点属于所述预设类型像素点的概率值，包括：

获取由任一像素点和位于所述像素点周围的预设数量的相邻像素点所形成的第一像素点集合；

确定所述第一像素点集合中的每一像素点与所述预设类型的图像像素之间的相似度，形成相似度集合；

对所述相似度集合中的相似度进行加权求和，将加权求和结果确定为所述像素点属于所述预设类型像素点的概率值。

4.根据权利要求3所述的方法，其特征在于，所述根据所述像素点的所述概率值，预测每一像素点的所述类型，包括：

当所述像素点的概率值大于或等于预设阈值时，确定所述像素点的类型为所述预设类型；

当所述像素点的概率值小于所述预设阈值时，确定所述像素点的类型不是所述预设类型；

对应地，所述将所述类型属于预设类型的像素点所形成的第一区域，与所述类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为所述待分割图像的分割线，包括：

将连续的所述预设类型的像素点所形成的区域，确定为所述第一区域；

将连续的不是所述预设类型的像素点所形成的区域，确定为所述第二区域；

将所述第一区域与所述第二区域之间的交界线，确定为所述待分割图像的分割线。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

采用第一颜色对所述待分割图像中的所述第一区域进行着色；

采用第二颜色对所述待分割图像中的所述第二区域进行着色，形成分割概率图；

输出所述分割概率图。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取待融合图像；

在所述第一区域和所述第二区域中，确定用于融合所述待融合图像的目标区域；

采用所述待融合图像替换所述待分割图像位于所述目标区域的图像，得到融合图像；

输出所述融合图像。

7.根据权利要求1所述的方法，其特征在于，所述通过所述图像分割模型中的通道混合卷积层，对所述样本空间卷积结果进行通道混合处理，得到所述样本图像中每一像素点的样本特征值，包括：

将所述样本空间卷积结果输入至所述通道混合卷积层；

通过所述通道混合卷积层对所述样本空间卷积结果进行逐点卷积，以实现对所述样本空间卷积结果对应的至少一个输出通道进行所述通道混合处理，得到所述样本图像中每一像素点的所述样本特征值。

8.根据权利要求1所述的方法，其特征在于，所述损失模型包括交叉熵损失函数；所述损失结果包括交叉熵损失结果；

所述将所述样本分割线输入至预设损失模型中，得到损失结果，包括：

确定所述样本分割线上的每一像素点的第一像素值、和预设分割线上的每一像素点的第二像素值；

通过所述交叉熵损失函数，确定所述第一像素值与所述第二像素值之间的交叉熵损失结果。

9.根据权利要求8所述的方法，其特征在于，所述损失模型还包括全局损失函数；所述损失结果还包括全局损失结果；

所述将所述样本分割线输入至预设损失模型中，得到损失结果，还包括：

获取位于所述样本分割线一侧且属于所述预设类型的第二像素点集合、和位于所述预设分割线一侧且属于所述预设类型的第三像素点集合；

确定与所述第二像素点集合对应的第三像素值集合、和与所述第三像素点集合对应的第四像素值集合；

通过所述全局损失函数，确定所述第三像素值集合与所述第四像素值集合之间的所述全局损失结果。

10.根据权利要求9所述的方法，其特征在于，所述损失模型还包括梯度损失函数；所述损失结果还包括梯度损失结果；

所述将所述样本分割线输入至预设损失模型中，得到损失结果，还包括：

获取位于所述样本分割线上的第四像素点集合、位于所述预设分割线上的第五像素点集合和梯度算子；

确定与所述第四像素点集合对应的第五像素值集合、和与所述第五像素点集合对应的第六像素值集合；

通过所述梯度损失函数和所述梯度算子，确定所述第五像素值集合与所述第六像素值集合之间的所述梯度损失结果。

11.一种图像处理装置，其特征在于，包括：

特征提取模块，用于对待分割图像进行空间卷积处理，得到空间卷积结果；

确定出与所述空间卷积结果对应的至少一个输出通道；其中，所述输出通道的通道数为所述待分割图像的通道数或所述空间卷积处理的卷积核的数量；

对所述至少一个输出通道进行混合处理，以提取所述待分割图像中每一像素点的特征值；其中，所述至少一个输出通道作为下一次卷积处理时的卷积核的输入通道，所述下一次卷积处理得到卷积处理结果作为所述待分割图像中每一像素点的特征值；

预测模块，用于根据所述像素点的特征值，预测每一像素点的类型；

确定模块，用于将所述类型属于预设类型的像素点所形成的第一区域，与所述类型不属于预设类型的像素点所形成的第二区域之间的交界线，确定为所述待分割图像的分割线；

分割处理模块，用于根据所述分割线，通过图像分割模型对所述待分割图像进行分割处理；其中，所述图像分割模型是通过以下方式训练的：

将样本图像输入至所述图像分割模型中，通过所述图像分割模型中的空间卷积层，对所述样本图像进行空间卷积处理，得到样本空间卷积结果；

通过所述图像分割模型中的通道混合卷积层，对所述样本空间卷积结果进行通道混合处理，得到所述样本图像中每一像素点的样本特征值；

通过所述图像分割模型中的分割处理层，根据所述样本特征值对所述样本图像进行分割处理，得到所述样本图像的样本分割线；

将所述样本分割线输入至预设损失模型中，得到损失结果；

根据所述损失结果，对所述空间卷积层、所述通道混合卷积层和所述分割处理层进行修正，得到所述图像分割模型。

12.一种图像处理设备，其特征在于，包括：

存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至10任一项所述的方法。