CN118052826A - 图像处理方法、装置、设备、介质及程序产品 - Google Patents

Abstract

本公开提供一种图像处理方法、装置、设备、存储介质及程序产品。该方法包括：获取第一图像；对所述第一图像进行至少一次第一图像处理得到至少一张第二图像；基于图像处理模型对所述第一图像进行目标分割得到第一分割图像，以及对所述第二图像进行目标分割得到第二分割图像；将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果。

Description

图像处理方法、装置、设备、介质及程序产品

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备、介质及程序产品。

背景技术

拍摄的图像中常常会出现遮挡物对目标对象形成遮挡，例如，手部容易对文字内容形成遮挡。然而用户并不希望诸如手部的这类遮挡物存在，所以常常需要对遮挡物进行分割。然而现有的图像分割方法容易受到环境变化的影响，或者通过巨大数据量来训练分割模型，不仅对遮挡物的分割效果不好，而且还耗费较大的成本。

发明内容

本公开提出一种图像处理方法、装置、设备、存储介质及程序产品，以在一定程度上解决遮挡物的分割效果不好的技术问题。

本公开第一方面，提供了一种图像处理方法，包括：

获取第一图像；

对所述第一图像进行至少一次第一图像处理得到至少一张第二图像；

基于图像处理模型对所述第一图像进行目标分割得到第一分割图像，以及对所述第二图像进行目标分割得到第二分割图像；

将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果。

本公开第二方面，提供了一种图像处理装置，包括：

获取模块，用于获取第一图像；

图像处理模块，用于对所述第一图像进行至少一次第一图像处理得到至少一张第二图像；

目标分割模块，用于基于图像处理模型对所述第一图像进行目标分割得到第一分割图像，以及对所述第二图像进行目标分割得到第二分割图像；

融合模块，用于将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果。

本公开第三方面，提供了一种电子设备，其特征在于，包括一个或者多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行根据第一方面所述的方法的指令。

本公开第四方面，提供了一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行第一方面所述的方法。

本公开第五方面，提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行第一方面所述的方法。

从上面所述可以看出，本公开提供的一种图像处理方法、装置、设备、介质及程序产品，通过将第一图像经过图像处理后得到的第二图像与第一图像分别基于图像处理模型进行目标分割，并将二者的分割结果进行融合得到第一图像的目标分割结果，能够提高目标分割结果的准确性。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例的图像处理架构的示意图。

图2为本公开实施例的示例性电子设备的硬件结构示意图。

图3为本公开实施例的图像处理方法的示意性流程图。

图4为本公开实施例的目标对象图像的示意图。

图5为本公开实施例的第一训练图像的示意图。

图6为本公开实施例的阴影图像的示意图。

图7为本公开实施例的训练图像的示意图。

图8为本公开实施例的图像处理装置的示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

对于图像中形成遮挡的目标对象进行目标分割，通常可以采用传统方法和深度学习方法。其中，传统方法基于目标色值特征或一些描述子特征来识别目标，然后根据目标与背景内容的差异进行分割，但是这种方法非常容易因为环境的变化而失效，目标分割的结果不够准确。深度学习方法是通过标注的目标分割数据训练模型，得到预测目标遮挡网络。这通常需要采集数万的数据样本，成本较大。因此，如何提高目标分割的准确性和鲁棒性、减低训练成本成为了亟需解决的技术问题。

鉴于此，本公开实施例提供了一种图像处理方法、装置、设备、存储介质及程序产品。通过将第一图像经过图像处理后得到的第二图像与第一图像分别基于图像处理模型进行目标分割，并将二者的分割结果进行融合得到第一图像的目标分割结果，能够提高目标分割结果的准确性。

图1示出了本公开实施例的图像处理架构的示意图。参考图1，该图像处理架构100可以包括服务器110、终端120以及提供通信链路的网络130。服务器110和终端120之间可通过有线或无线的网络130连接。其中，服务器110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、安全服务、CDN等基础云计算服务的云服务器。

终端120可以是硬件或软件实现。例如，终端120为硬件实现时，可以是具有显示屏并且支持页面显示的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。终端120设备为软件实现时，可以安装在上述所列举的电子设备中；其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块，在此不做具体限定。

需要说明的是，本申请实施例所提供的图像处理方法可以由终端120来执行，也可以由服务器110来执行。应了解，图1中的终端、网络和服务器的数目仅为示意，并不旨在对其进行限制。根据实现需要，可以具有任意数目的终端、网络和服务器。

图2示出了本公开实施例所提供的示例性电子设备200的硬件结构示意图。如图2所示，电子设备200可以包括：处理器202、存储器204、网络模块206、外围接口208和总线210。其中，处理器202、存储器204、网络模块206和外围接口208通过总线210实现彼此之间在电子设备200的内部的通信连接。

处理器202可以是中央处理器(Central Processing Unit，CPU)、图像处理器、神经网络处理器(NPU)、微控制器(MCU)、可编程逻辑器件、数字信号处理器(DSP)、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路。处理器202可以用于执行与本公开描述的技术相关的功能。在一些实施例中，处理器202还可以包括集成为单一逻辑组件的多个处理器。例如，如图2所示，处理器202可以包括多个处理器202a、202b和202c。

存储器204可以配置为存储数据(例如，指令、计算机代码等)。如图2所示，存储器204存储的数据可以包括程序指令(例如，用于实现本公开实施例的图像处理方法的程序指令)以及要处理的数据(例如，存储器可以存储其他模块的配置文件等)。处理器202也可以访问存储器204存储的程序指令和数据，并且执行程序指令以对要处理的数据进行操作。存储器204可以包括易失性存储装置或非易失性存储装置。在一些实施例中，存储器204可以包括随机访问存储器(RAM)、只读存储器(ROM)、光盘、磁盘、硬盘、固态硬盘(SSD)、闪存、存储棒等。

网络模块206可以配置为经由网络向电子设备200提供与其他外部设备的通信。该网络可以是能够传输和接收数据的任何有线或无线的网络。例如，该网络可以是有线网络、本地无线网络(例如，蓝牙、WiFi、近场通信(NFC)等)、蜂窝网络、因特网、或上述的组合。可以理解的是，网络的类型不限于上述具体示例。在一些实施例中，网络模块306可以包括任意数量的网络接口控制器(NIC)、射频模块、接收发器、调制解调器、路由器、网关、适配器、蜂窝网络芯片等的任意组合。

外围接口208可以配置为将电子设备200与一个或多个外围装置连接，以实现信息输入及输出。例如，外围装置可以包括键盘、鼠标、触摸板、触摸屏、麦克风、各类传感器等输入设备以及显示器、扬声器、振动器、指示灯等输出设备。

总线210可以被配置为在电子设备200的各个组件(例如处理器202、存储器204、网络模块206和外围接口208)之间传输信息，诸如内部总线(例如，处理器-存储器总线)、外部总线(USB端口、PCI-E总线)等。

需要说明的是，尽管上述电子设备200的架构仅示出了处理器202、存储器204、网络模块206、外围接口208和总线210，但是在具体实施过程中，该电子设备200的架构还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述电子设备200的架构中也可以仅包含实现本公开实施例方案所必需的组件，而不必包含图中所示的全部组件。

参见图3，图3示出了根据本公开实施例的图像处理方法的流程示意图。图3中，图像处理方法300可以包括如下步骤。

步骤S310，获取第一图像。

其中，第一图像可以是包括目标对象的待处理图像，目标对象可以指形成遮挡的遮挡物。例如，第一图像可以是手部对文本内容形成遮挡的图像，手部则是目标对象。

步骤S320，对所述第一图像进行至少一次第一图像处理得到至少一张第二图像。

其中，第一图像处理的次数可以是一次或更多次，则所得到的第二图像的数量相应地可以是一个或更多个。例如，第一图像A可以经过至少一次(例如，N次，N为正整数)图像处理得到至少一个(例如N个)第二图像B。

在一些实施例中，第一图像处理可以包括翻转处理和/或分辨率处理。

进一步地，在一些实施例中，翻转处理可以包括水平翻转和/或垂直翻转。其中，对第一图像进行翻转处理后得到的第二图像中目标对象在多个角度出现，将这些包括不同角度的目标对象的第一图像和第二图像输入图像处理模型进行目标分割，能够解决图像处理模型在训练过程中可能出现的不鲁棒问题，从而提高图像处理模型的鲁棒性。

进一步地，在一些实施例中，分辨率处理可以包括分辨率放大处理和/或分辨率缩小处理。更进一步地，在一些实施例中，每次第一图像处理可以包括一次或更多次分辨率放大处理和分辨率缩小处理。通过多次不同分辨率的放大处理和缩小处理的组合，可以得到更多不同分辨率的第二图像。例如，可以对第一图像C进行M1次分辨率放大处理和M2次分辨率缩小处理，每次分辨率处理可以采用不同的分辨率，从而得到第二图像D。

其中，分辨率处理可以指基于不同的分辨率对第一图像进行缩小或放大处理，例如，第一图像E的分辨率为256，可以基于分辨率512对第一图像E进行2倍放大处理得到输出结果output512；也可以基于分辨率128对第一图像E进行1/2倍缩小处理得到输出结果output128。由于在训练过程中，训练样本数据可能因为目标对象样本过少，而出现目标对象纹理过拟合问题。通过分辨率处理后得到不同分辨率的第二图像，将这些第二图像和第一图像输入图像处理模型中，能够充分结合多尺度分辨率的输入图像的局部和全局信息优化图像处理模型的目标分割结果。

在步骤S330，基于图像处理模型对所述第一图像进行目标分割得到第一分割图像，以及对所述第二图像进行目标分割得到第二分割图像。

其中，图像处理模型可以对输入图像进行目标分割得到分割图像。例如，输入图像是包括手指的图像F，目标对象为手指，则图像处理模型可以对图像F进行目标分割得到手指部分的图像，即分割图像。

在一些实施例中，所述图像处理模型基于训练样本训练得到。进一步地，在一些实施例中，所述图像处理模型基于训练样本训练得到，包括：

获取目标对象图像；

将所述目标对象图像与预设的背景图像进行融合得到第一训练图像；

基于所述目标对象图像在所述第一训练图像中得到对应的阴影图像；

将所述阴影图像与所述第一训练图像进行融合，得到训练图像；

基于所述训练图像和对应的目标对象图像得到所述训练样本。

其中，在对图像处理模型进行训练时通常需要的数据样本数据量很大，这就导致训练成本的增加。本公开实施例可以通过数据合成得到大量的训练样本，从而实现低成本地训练模型。可以先获取一个或多个目标对象图像，再将一个或多个目标对象与不同的预设背景图像进行融合得到多个第一训练图像，并在第一训练图像中形成目标对象的阴影，使得最终得到的训练样本更具真实性。这样，能够提高图像处理模型的处理精度。此外，通过本公开实施例，能够基于有限的目标对象图像和预设的背景图像，形成大量的训练样本，相比于传统方法中直接采集大量的训练样本，降低了训练成本。

进一步地，在一些实施例中，基于所述目标对象图像在所述第一训练图像中得到对应的阴影图像，包括：

对所述目标对象图像进行仿射变换得到变换目标对象图像；

基于第四预设权重和所述变换目标对象图像的第四像素值得到所述阴影图像。

其中，仿射变换可以包括平移、旋转、缩放或斜切。可以基于目标对象图像再第一训练图像中形成阴影，从而提高最终训练样本的真实性。将第一训练图像中的目标对象图像进行仿射变换(例如平移)得到变换目标对象图像，在对该变换目标对象图像的像素值进行处理，例如与第四预设权重相乘使得变换目标对象图像的像素值变暗，从而得到阴影图像。

具体地，可以拍摄在预设背景(例如绿幕背景)下的目标对象，得到拍摄图像。并通过色值抠图等手段对拍摄图像中的目标对象进行抠图，得到目标对象的语义分割掩膜(mask)作为目标对象图像。例如，参见图4，图4示出了根据本公开实施例的目标对象图像的示意图。图4中，预设背景410可以是绿幕，目标对象420可以位于预设背景410的任意位置，对其进行拍摄，得到拍摄图像430。然后对拍摄图像430进行色值抠图得到目标对象420的目标对象图像440，此时目标对象图像440中不包括背景410。参见图5，图5示出了根据本公开实施例的第一训练图像的示意图。图5中，可以目标对象图像420与预设的背景图像510进行融合，得到第一训练图像520。然后，可以通过仿射变换制造目标对象的阴影图像，使训练样本更具真实性。参见图6，图6中示出了根据本公开实施例的阴影图像的示意图。图6中，将目标对象图像440进行仿射变换(例如平移)得到变换目标对象图像，并基于第四预设权重(例如0.3)对变化目标对象图像的像素值进行处理，使得变化目标对象图像的变暗，得到阴影图像610。然后，再将阴影图像610与第一训练图像520进行融合得到训练图像710，如图7所示，图7示出了根据本公开实施例的训练图像的示意图。可以基于得到的训练图像710和目标对象图像440作为训练样本对模型进行训练，其中，训练样本的分辨率可以相同，例如分辨率为256。

在一些实施例中，所述图像处理模型基于训练样本训练得到图像处理模型，还可以包括：

对所述训练样本进行增强处理，得到增强训练样本；

基于所述增强训练样本对初始模型进行训练，得到所述图像处理模型。

在一些实施例中，增强处理可以包括如下至少一种：颜色增强、位移增强和翻转增强。其中，通过增强处理可以覆盖更多的环境场景，从而提高图像处理模型的识别准确度。

在一些实施例中，所述图像处理模型基于训练样本训练得到，还可以包括：

计算所述图像处理模型的交叉熵损失函数和区域互信息损失得到总损失函数；

基于所述总损失函数调整初始模型的模型参数以使得所述总损失函数最小化。

其中，交叉熵损失函数(Cross Entropy Loss)可以是二分类交叉熵损失(BinaryCross Entropy Loss，Bce Loss)函数。其可以衡量图像的真实分布和模型学习到的分布之间的近似程度，交叉熵损失函数越小说明二者越相近，图像处理模型的准确度越高。区域互信息损失(Region Mutual Information Loss，Rmi Loss)函数，其可以衡量真实图像与模型得到图像在像素之间的结构上的相似性度量。区域互信息损失越小说明二者越相近，图像处理模型的准确度越高。在训练过程中，训练样本中可以标注目标对象，并将训练样本输入至初始模型中进行训练，调整模型的参数使得交叉熵损失函数和区域互信息损失之和最小化，即可得到训练好的图像处理模型。基于训练好的图像处理模型，能对输入的图像数据进行目标分割，例如对第一图像和第二图像进行目标对象，分别得到第一分割图像和第二分割图像。

在步骤S340，将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果。

在一些实施例中，将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果，包括：

基于所述第一分割图像的第一像素值与所述第二分割图像的第二像素值之和，得到第一和值；

基于所述第一和值与第一预设权重确定第一目标像素值，以得到所述第一目标分割结果。

其中，将第一图像和第二图像进行目标分割后得到的结果进行融合，能够解决在训练中因为训练数据导致的过拟合或不鲁棒问题，进一步提高分割结果的准确性和鲁棒性。

具体地，第一图像input1经过第一图像处理后可以得到第二图像input2、第二图像input3。图像处理模型对第一图像input1进行图像分割得到第一分割图像Img_input1，对第二图像input2、第二图像input3进行图像分割得到第二分割图像Img_input2、第二分割图像Img_input3。那么，可以将第一分割图像Img_input1、第二分割图像Img_input2、第二分割图像Img_input3进行图像融合。计算第一分割图像Img_input1、第二分割图像Img_input2、第二分割图像Img_input3进行图像中每个对应位置的像素值之和。例如，第一分割图像Img_input1的像素值PV1，第二分割图像Img_input2的像素值PV2、第二分割图像Img_input3的像素值PV3之和为PV1+PV2+PV3。然后，将像素值之和乘以第一预设权重Q(例如0.6)，得到Q*(PV1+PV2+PV3)。由于像素值的范围为[0，255]，为了防止Q*(PV1+PV2+PV3)的值超出范围，可以取1和Q*(PV1+PV2+PV3)之间的较小值，再乘以255，即可以得到第一目标像素值。此时，根据每个像素点位置的第一目标像素值，即可得到第一目标分割结果。

在一些实施例中，方法300还可以包括：

对所述第一图像进行第二图像处理得到第三图像，所述第二图像处理与所述第一图像处理不同；

基于图像处理模型对对所述第三图像进行目标分割得到第三分割图像；

将所述第一分割图像和所述第三分割图像融合得到所述第一图像的第二目标分割结果；

基于所述第一目标分割结果和所述第二目标分割结果融合得到所述第一图像的第三目标分割结果。

在一些实施例中，与第一图像处理类似地，第二图像处理也可以包括翻转处理和/或分辨率处理。进一步地，在一些实施例中，翻转处理可以包括水平翻转和/或垂直翻转。进一步地，在一些实施例中，分辨率处理可以包括分辨率放大处理和/或分辨率缩小处理。在一些实施例中，每次第一图像处理可以包括一次或更多次分辨率放大处理和分辨率缩小处理。例如，通过多次不同分辨率的放大处理和缩小处理的组合，可以得到更多不同分辨率的第三图像。

其中，对第一图像进行第一图像处理和第二图像处理后，既进行翻转处理，又进行分辨率处理，可以得到两个目标分割结果。将这两个目标分割结果进行融合，不仅通过多个角度的目标图像提高分割结果的鲁棒性，还能够充分结合多尺度分辨率的输入图像的局部和全局信息优化图像处理模型的目标分割结果，进一步地提高了分割结果的准确度。

在一些实施例中，将所述第一分割图像和所述第三分割图像融合得到所述第一图像的第二目标分割结果，包括：

基于所述第一分割图像的第一像素值与所述第三分割图像的第三像素值之和，得到第二和值；

基于所述第二和值与第二预设权重确定第二目标像素值，以得到所述第二目标分割结果。

在一些实施例中，基于所述第一目标分割结果和所述第二目标分割结果融合得到所述第一图像的第三目标分割结果，包括：

基于所述第一目标分割结果的第一目标像素值与所述第二目标分割结果的第二目标像素值之和，得到第三和值；

基于所述第三和值与第三预设权重确定第三目标像素值，以得到所述第三目标分割结果。

具体地，第一图像处理可以是翻转处理，例如水平翻转、垂直翻转、水平垂直翻转。那么，可以将第一图像input1进行水平翻转得到第二图像input1_A，进行垂直翻转得到第二图像input1_B，进行水平垂直翻转得到第二图像input1_C。图像处理模型对第一图像input1进行图像分割得到第一分割图像Img_input1，对第二图像input1_A、第二图像input1_B、第二图像input1_C分别进行目标图像分割得到第二分割图像Img_input1_A、第二分割图像Img_input1_B、第二分割图像Img_input1_C。据此，可以基于第一分割图像Img_input1的像素值PV1、第二分割图像Img_input1_A的像素值PV2、第二分割图像Img_input1_B的像素值PV3、第二分割图像Img_input1_C的像素值PV4的像素值之和PV1+PV2+PV3+PV4。然后，将像素值之和乘以第一预设权重Q1(例如可以对像素值之和求平均值，则Q1可以为0.25)，得到Q1*(PV1+PV2+PV3+PV4)。取1和Q1*(PV1+PV2+PV3+PV4)之间的较小值，再乘以255，得到第一目标像素值，从而得到第一目标分割结果T1。

第二图像处理可以是分辨率处理，例如分辨率放大处理、分辨率缩小处理。其中，第一图像的分辨率可以与训练样本的分辨率一致，例如训练阶段时采用的训练样本的分辨率可以是256，第一图像的分辨率则可以是256。那么，与第一图像处理类似地，可以将第一图像input1(例如分辨率为256)进行分辨率放大处理得到第三图像input1_D(例如分辨率为512)，进行分辨率缩小处理得到第三图像input1_E(例如分辨率为128)。图像处理模型对第一图像input1进行图像分割得到第一分割图像Img_input1，对第三图像input1_D、第三图像input1_E分别进行图像分割得到第三分割图像Img_input1_D、第三分割图像Img_input1_E。据此，可以基于第一分割图像Img_input1的像素值PV1、第三分割图像Img_input1_D的像素值PV5、第三分割图像Img_input1_E的像素值PV6计算像素值之和PV1+PV5+PV6。然后，将像素值之和乘以第二预设权重Q2(例如可以对像素值之和求平均值，则Q2可以为0.33)，得到Q2*(PV1+PV5+PV6)。取1和Q2*(PV1+PV5+PV6)之间的较小值，再乘以255，得到第二目标像素值，从而得到第二目标分割结果T2。

可以进一步地将第一目标分割结果T1和第二目标分割结果T2融合得到第三目标分割结果T3。具体地，可以基于第一目标分割结果T1的像素值PV_T1和第二目标分割结果T2的像素值PV_T2计算像素值之和PV_T1+PV_T2。然后，将像素值之和乘以第三预设权重Q3(例如可以高于对像素值之和求平均值时的权重，Q3可以为0.6)，得到Q3*(PV_T1+PV_T2)。取1和Q3*(PV_T1+PV_T2)之间的较小值，再乘以255，得到第三目标像素值，从而得到第三目标分割结果T3。

在一些实施例中，基于所述第一目标分割结果和所述第二目标分割结果融合得到所述第一图像的第三目标分割结果，包括：

基于所述第一目标分割结果的第一目标像素值与所述第三分割图像的第三像素值之和，得到第四和值；

基于所述第四和值与第五预设权重确定第三目标像素值，以得到所述第三目标分割结果。

具体地，将第一目标分割结果T1、第三分割图像Img_input1_D、第三分割图像Img_input1_E进行融合，得到第三目标分割结果T3。具体地，可以基于第一目标分割结果T1的像素值PV_T1和第三分割图像Img_input1_D的像素值PV5、第三分割图像Img_input1_E的像素值PV6，计算像素值之和PV_T1+PV5+PV6。然后，将像素值之和乘以第五预设权重Q3，得到Q3*(PV_T1+PV5+PV6)。取1和Q3*(PV_T1+PV5+PV6)之间的较小值，再乘以255，得到第三目标像素值，从而得到第三目标分割结果T3。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一技术构思，与上述任意实施例方法相对应的，本公开还提供了一种图像处理装置，参见图8，所述图像处理装置包括：

获取模块，用于获取第一图像；

图像处理模块，用于对所述第一图像进行至少一次第一图像处理得到至少一张第二图像；

目标分割模块，用于基于图像处理模型对所述第一图像进行目标分割得到第一分割图像，以及对所述第二图像进行目标分割得到第二分割图像；

融合模块，用于将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的图像处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一技术构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的图像处理方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的图像处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

1.一种图像处理方法，包括：

获取第一图像；

对所述第一图像进行至少一次第一图像处理得到至少一张第二图像；

基于图像处理模型对所述第一图像进行目标分割得到第一分割图像，以及对所述第二图像进行目标分割得到第二分割图像；

将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果。

2.根据权利要求1所述的方法，其中，将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果，包括：

基于所述第一分割图像的第一像素值与所述第二分割图像的第二像素值之和，得到第一和值；

基于所述第一和值与第一预设权重确定第一目标像素值，以得到所述第一目标分割结果。

3.根据权利要求1所述的方法，还包括：

对所述第一图像进行第二图像处理得到第三图像，所述第二图像处理与所述第一图像处理不同；

基于图像处理模型对对所述第三图像进行目标分割得到第三分割图像；

将所述第一分割图像和所述第三分割图像融合得到所述第一图像的第二目标分割结果；

基于所述第一目标分割结果和所述第二目标分割结果融合得到所述第一图像的第三目标分割结果。

4.根据权利要求3所述的方法，其中，将所述第一分割图像和所述第三分割图像融合得到所述第一图像的第二目标分割结果，包括：

基于所述第一分割图像的第一像素值与所述第三分割图像的第三像素值之和，得到第二和值；

基于所述第二和值与第二预设权重确定第二目标像素值，以得到所述第二目标分割结果；

以及基于所述第一目标分割结果和所述第二目标分割结果融合得到所述第一图像的第三目标分割结果，包括：

基于所述第一目标分割结果的第一目标像素值与所述第二目标分割结果的第二目标像素值之和，得到第三和值；基于所述第三和值与第三预设权重确定第三目标像素值，以得到所述第三目标分割结果；

或者，

基于所述第一目标分割结果的第一目标像素值与所述第三分割图像的第三像素值之和，得到第四和值；

基于所述第四和值与第五预设权重确定第三目标像素值，以得到所述第三目标分割结果。

5.根据权利要求1所述的方法，其中，所述图像处理模型基于训练样本训练得到，包括：

获取目标对象图像；

将所述目标对象图像与预设的背景图像进行融合得到第一训练图像；

基于所述目标对象图像在所述第一训练图像中得到对应的阴影图像；

将所述阴影图像与所述第一训练图像进行融合，得到训练图像；

基于所述训练图像和对应的目标对象图像得到所述训练样本。

6.根据权利要求5所述的方法，基于所述目标对象图像在所述第一训练图像中得到对应的阴影图像，包括：

对所述目标对象图像进行仿射变换得到变换目标对象图像；

基于第四预设权重和所述变换目标对象图像的第四像素值得到所述阴影图像。

7.根据权利要求5的方法，其中，所述图像处理模型基于训练样本训练得到，还包括：

对所述训练样本进行增强处理，得到增强训练样本；

基于所述增强训练样本对初始模型进行训练，得到所述图像处理模型。

8.根据权利要求5的方法，其中，所述图像处理模型基于训练样本训练得到，还包括：

计算所述图像处理模型的交叉熵损失函数和区域互信息损失得到总损失函数；

基于所述总损失函数调整初始模型的模型参数以使得所述总损失函数最小化。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取第一图像；

图像处理模块，用于对所述第一图像进行至少一次第一图像处理得到至少一张第二图像；

目标分割模块，用于基于图像处理模型对所述第一图像进行目标分割得到第一分割图像，以及对所述第二图像进行目标分割得到第二分割图像；

融合模块，用于将所述第一分割图像和所述第二分割图像融合得到所述第一图像的第一目标分割结果。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至8任意一项所述的方法。

11.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至8任一所述方法。

12.一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行权利要求1至8任一所述的方法。