CN109035147A - 图像处理方法及装置、电子装置、存储介质和计算机设备 - Google Patents

Abstract

本发明公开一种图像处理方法。所述图像处理方法包括：获取场景图像；判断所述场景图像中是否存在第一杂物图像区域；和在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像。本发明还公开图像处理装置、电子装置、非易失性计算机可读存储介质和计算机设备。本发明的图像处理方法、图像处理装置、电子装置、非易失性计算机可读存储介质和计算机设备将场景图像中的第一杂物图像区域去除，从而使得去除第一杂物图像区域后形成的更新图像相对于场景图像能够给用户一种更加干净和整洁的视觉效果。

Description

图像处理方法及装置、电子装置、存储介质和计算机设备

技术领域

本发明涉及图像处理技术，特别涉及一种图像处理方法、图像处理装置、电子装置、非易失性计算机可读存储介质和计算机设备。

背景技术

在用户拍照时，若用户没有考虑布景，容易使得拍摄获得的图像不符合用户的要求，例如在场景中存在生活垃圾时，拍照时将生活垃圾也拍摄进去，则会使得图像给人一种脏、乱、差的视觉效果。

发明内容

本发明的实施例提供了一种图像处理方法、图像处理装置、电子装置、非易失性计算机可读存储介质和计算机设备。

本发明实施方式的图像处理方法包括：获取场景图像；判断所述场景图像中是否存在第一杂物图像区域；和在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像。

本发明实施方式的图像处理装置包括第一获取模块、判断模块和去除模块。所述第一获取模块用于获取场景图像。所述判断模块用于判断所述场景图像中是否存在第一杂物图像区域。所述去除模块用于在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像。

本发明实施方式的电子装置包括处理器，所述处理器用于获取场景图像、判断所述场景图像中是否存在第一杂物图像区域、及在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像。

本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述图像处理方法。

本发明实施方式的计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述图像处理方法。

本发明实施方式的图像处理方法、图像处理装置、电子装置、非易失性计算机可读存储介质和计算机设备将场景图像中的第一杂物图像区域去除，从而使得去除第一杂物图像区域后形成的更新图像相对于场景图像能够给用户一种更加干净和整洁的视觉效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1至图4是本发明某些实施方式的图像处理方法的流程示意图。

图5是本发明某些实施方式的图像处理方法的场景图像的示意图。

图6和图7是本发明某些实施方式的图像处理方法的更新图像的示意图。

图8是本发明某些实施方式的图像处理方法的流程示意图。

图9是本发明某些实施方式的图像处理方法的替换图像的示意图。

图10是本发明某些实施方式的图像处理方法的更新图像的示意图。

图11是本发明某些实施方式的图像处理方法的流程示意图。

图12是本发明某些实施方式的图像处理装置的示意图。

图13是本发明某些实施方式的图像处理装置的去除模块的示意图。

图14是本发明某些实施方式的图像处理装置的示意图。

图15是本发明某些实施方式的图像处理装置的去除模块的示意图。

图16是本发明某些实施方式的图像处理装置的示意图。

图17是本发明某些实施方式的计算机设备的示意图。

图18是本发明某些实施方式的图像处理电路的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明提供一种图像处理方法，图像处理方法包括：

012：获取场景图像；

014：判断场景图像中是否存在第一杂物图像区域；和

016：在场景图像中存在第一杂物图像区域时，去除第一杂物图像区域以获得更新图像。

本发明实施方式的图像处理方法将场景图像中的第一杂物图像区域去除，从而使得去除第一杂物图像区域后形成的更新图像相对于场景图像能够给用户一种更加干净和整洁的视觉效果。

在某些实施方式中，获取场景图像，具体可以为，控制图像采集器(例如摄像头)采集场景图像，其中，场景图像可以是预览图像、或由图像采集器输出后保存至存储元件中的图像。如此，可以在图像采集器采集场景图像后，去除场景图像中的第一杂物图像区域以形成更加干净和整洁的更新图像。在一个实施例中，场景图像为预览图像，在预览过程中，将场景图像中的第一杂物图像区域去除，从而用户可以实时观察到更新图像，在用户对当前更新图像满意时，可以通过拍摄指令控制图像采集器输出当前更新图像并保存至存储元件中，拍摄指令例如在拍摄按键被触发时形成，拍摄按键可以是物理按键或虚拟按键。

可以理解，在其他实施方式中，场景图像也可以通过其他方式获得。例如，获取场景图像可以是读取存储元件中存储的场景图像。又例如，获取场景图像可以是从服务器下载场景图像等，在此不做具体限定。

在某些实施方式中，第一杂物图像区域可以是指场景图像中杂物所对应的图像区域。杂物可以是指人们生活和工作的环境中存在的无用的、废弃的、多余的、需要清理、或需要整理的物品。杂物例如包括生活垃圾、隐私物品等，生活垃圾例如为废纸巾、废饮料瓶、废塑料袋等，隐私物品例如为用户的贴身衣物(如内衣)等，当然杂物还可以包括袜子等给人脏、乱、差的感觉的物品，在此不做具体限定。

在某些实施方式中，在场景图像中存在第一杂物图像区域时，可以直接将第一杂物图像区域去除以获得更新图像，如此，可以减少用户所需的操作，减少获得更新图像所需的时间，使得图像处理方法更加智能化。

在某些实施方式中，在场景图像中不存在第一杂物图像区域时，可以不对场景图像进行处理或者根据用户的其他编辑操作对场景图像进行编辑。

请参阅图2，在某些实施方式中，步骤016包括：

0162：在场景图像中存在第一杂物图像区域时，判断是否接收到去除信号；和

0164：在接收到去除信号时，去除第一杂物图像区域以获得更新图像。

具体地，在场景图像中存在第一杂物图像区域时，可以发出提示信息以提示用户。例如在场景图像中存在第一杂物图像区域时，利用显示屏显示“是否需要隐藏”的文字信息或相关的图像信息，图像信息包括静态图像或动态图像等，从而用户可以通过该提示信息得知场景图像中存在第一杂物图像区域，进而用户可以根据自身的需求确定是否输入去除信号，在用户输入去除信号时，从而可以根据去除信号去除第一杂物图像区域以获得更新图像。如此，用户可以根据自身需求确定是否去除第一杂物图像区域，例如用户觉得场景图像视觉效果差，则可以输入去除信号以去除第一杂物图像区域而形成更新图像；又例如杂物就是用户想要拍摄的主体，即第一杂物图像区域就是用户想要的，则用户可以不输入去除信号，例如输入维持信号，以维持原有的场景图像。

需要说明的是，上述实施方式中是通过显示屏发出提示信息，可以理解，在其他实施方式中，可以通过电声元件(例如喇叭)发出提示语音以提示用户；或通过振动元件(例如振动电机)产生振动以提示用户。当然，也可以结合上述两种或两种以上的方法以发出提示信息，还可以采用其他方式发出提示信息，在此不做具体限定。

在某些实施方式中，显示屏为触控显示屏，在显示屏发出“是否需要隐藏”的提示信息时，显示屏可以同时显示“是”和“否”两个选项，用户可以通过触摸“是”的选项卡以输入去除信号，通过触摸“否”的选项卡以输入维持信号，此时相当于不输入去除信号。另外，用户还可以通过按键输入、语音输入、体感输入等方式输入去除信号，在此不做具体限定。

请参阅图3，在某些实施方式中，步骤014包括：

0142：利用深度学习模型判断场景图像中是否存在第一杂物图像区域。

如此，通过深度学习模型能够自动判断场景图像中是否存在第一杂物图像区域，并且通过不断学习的过程提高判断的准确率。

在某些实施方式中，深度学习模型可以通过深度学习算法构建获得。深度学习算法包括但不限于卷积神经网络(Convolutional Neural Network，CNN)算法、支持向量机(Support Vector Machine，SVM)算法、深度置信网络(Deep Belief Nets，DBNs)算法等，通过对应的深度学习算法可以构建形成对应的深度学习模型，例如通过CNN算法可以构建CNN模型。

请参阅图4，在某些实施方式中，深度学习模块为CNN模型，在步骤0142之前，图像处理方法还包括：

018：获取包含第二杂物图像区域的第一训练图像；

022：将第一训练图像划分成多个区域；

024：获取每个区域对应的标签，标签包括区域的类别，类别包括杂物和背景，在类别为杂物时，标签还包括杂物的边框(bounding box)；和

026：利用第一训练图像和标签训练CNN模型。

具体地，可以通过图像采集器采集第一训练图像、读取存储元件中的第一训练图像、从服务器下载第一训练图像等方式获取第一训练图像，其中，第一训练图像中也包括杂物图像区域，为了区分场景图像中的杂物图像区域和第一训练图像中的杂物图像区域，因此可以将场景图像中的杂物图像区域称为第一杂物图像区域，将第一训练图像中的杂物图像区域称为第二杂物图像区域，同理，以下第二训练图像中杂物图像区域可以称为第三杂物图像区域。

为了提高CNN模型的识别率，在某些实施方式中，在获取第一训练图像后，可以将第一训练图像进行相应地调整以使得输入CNN模型的第一训练图像的尺寸相同，在一个实施例中，可以将第一训练图像调整为正方形，由于卷积核的尺寸一般为正方形，因此可以使得调整后的第一训练图像能够更加方便地用于训练CNN模型。另外，可以将第一训练图像划分成多个区域，划分多个区域可以通过人工划分或自动划分，从而可以根据各个区域的检测结果快速地确定杂物图像区域所在位置，同时，将第一训练图像划分成多个区域可以降低CNN模型的工作量。在一个实施方式中，可以在将第一训练图像调整为正方形后，将第一训练图像划分为12*12个区域，如此，划分后形成的多个区域基本也呈正方形，如此有利于对各个区域进行相应的检测和识别。另外，将第一训练图像划分成12*12个区域适用于手机拍摄的图像，使得手机拍摄的图像输入该CNN模型时能够在较短的时间内获得输出结果并且提高识别准确率。当然，将第一训练图像划分成12*12个区域只是一个示例说明，在其他实施方式中，也可以根据需要将第一训练图像划分成任意多个区域，在此不做具体限定。

在将第一训练图像划分成多个区域后，可对每个区域进行标定以获得每个区域对应的标签。第一训练图像的标签可以由人为添加获得，具体地，标定人员可以判断每个区域的类别，类别包括杂物和背景。其中，在区域中存在杂物时，其类别为杂物，在区域中不存在杂物时，其类别为背景，更为具体地，可以将杂物进行具体划分，例如将杂物划分为废纸巾、废饮料瓶、废塑料袋、内衣、袜子等，相似的杂物具有相似的特征，如此，能够提高CNN模型训练的效率和准确率。当然，也可以直接将废纸巾、废饮料瓶、废塑料袋、内衣、袜子等所有类型的杂物作为一个类别进行训练，CNN通过训练获得所有类型的杂物的特征。另外，在类别为杂物时，标签还包括杂物的边框，其中，边框可以是指杂物的最小外接矩形框，背景不具备边框信息，或背景的边框信息为0。在其他实施方式中，第一训练图像的标签也可以通过相关算法自动标定获得，在此不做具体限定。

在获取第一训练图像和对应的标签后，可以将第一训练图像和对应的标签输入CNN模型中，CNN模型可以将输入的第一训练图像自动划分为多个区域，为了提高CNN模型的训练效果，CNN模型划分的多个区域可以与步骤022划分的多个区域相对应。然后，CNN模型通过卷积层、池化层和分类器，可以识别各个区域的信息并输出对应的识别信息，识别信息同样包括类别和杂物的边框，然后CNN模型可以比较各个区域的标签和识别信息，根据标签和识别信息调整CNN模型的参数以使得识别结果更加准确，例如使用BP算法通过优化网络权值来最小化识别信息和标签的差别。通过输入多张第一训练图像训练后，即可获得能够正常工作的CNN模型。

在某些实施方式中，步骤0142可以为，利用训练后的CNN模型判断场景图像中是否存在第一杂物图像区域。具体地，CNN模型可以将场景图像划分成多个区域，然后通过卷积层、池化层和分类器识别各个区域的信息并输出对应的识别信息，在至少一个区域对应的识别信息的类别为杂物时，确定场景图像中存在第一杂物图像区域，并根据识别信息的边框来确定第一杂物图像区域的位置，在所有的区域对应的识别信息均为背景时，确定场景图像中不存在第一杂物图像区域。通过CNN模型可以快速且准确地判断场景图像中是否存在第一杂物图像区域，并在场景图像中存在第一杂物图像区域时快速且准确地确定第一杂物图像区域在场景图像中的位置。

在其他实施方式中，深度学习算法也可以为SVM算法、DBNs算法等，深度学习模型也可以为SVM模型、DBNs模型等。SVM模型、DBNs模型等深度学习模型也可以通过第一训练图像训练获得，训练后的SVM模型、DBNs模型也可以用于判断场景图像中是否存在第一杂物图像区域，在此不做具体限定。

在某些实施方式中，去除场景图像中的第一杂物图像区域，可以是指去除第一杂物图像区域原有的图像信息。具体地，去除第一杂物图像区域，可以将第一杂物图像区域转换为全黑区域(请参阅图5和图6)，即将场景图像中的第一杂物图像区域对应的像素值清零(对应的YUV空间中，亮度为0，色度为128、饱和度为128)。当然，也可以将场景图像中的第一杂物图像转换为其他纯色区域，从而去除第一杂物图像区域。如此，可以快速地实现去除第一杂物图像区域。

在某些实施方式中，去除场景图像中的第一杂物图像区域，可以是将第一杂物图像区域进行模糊化处理，例如通过高斯模糊将第一杂物图像区域进行模糊化处理。

请参阅图5和图7，在某些实施方式中，去除场景图像中的第一杂物图像区域，可以是利用预设图像替换第一杂物图像区域，预设图像例如为气球图像、花朵图像、星星图像等任意预先设置的图像，如此，替换后形成的更新图像更加美观。

请参阅图8，在某些实施方式中，步骤016包括：

0166：根据生成对抗网络(Generative Adversarial Networks，GAN)模型生成替换图像；和

0168：利用替换图像替换第一杂物图像区域以获得更新图像。

请参阅图5、图9和图10，具体地，可以根据CNN模型判断场景图像中是否存在第一杂物图像区域并在场景图像中存在第一杂物图像区域时获取所述第一杂物图像区域(如图5)，然后将该第一杂物图像区域输入GAN模型中，从而GAN模型可以生成与该第一杂物图像区域相对应的替换图像(如图9)，其中，替换图像与场景图像所在的场景是高度契合的，从而可以利用该替换图像替换第一杂物图像以形成真实且美观的替换图像(如图10)。

请参阅图11，在某些实施方式中，在步骤0166之前，图像处理方法还包括：

028：获取包含第三杂物图像区域的第二训练图像和不包含第三杂物图像区域的第三训练图像；

032：获取第二训练图像中的第三杂物图像区域；和

034：利用第三杂物图像区域和第三训练图像训练GAN模型。

具体地，第二训练图像和第三训练图像可以是一一对应地，即第二训练图像和第三训练图像可以是相同拍摄场景获得的两张不同图像，其中第二训练图像包含第三杂物图像区域，第三训练图像不包含第三杂物图像区域。在获取第二训练图像后，可以获取第二训练图像中的第三杂物图像区域，具体地，可以通过人工标定的方式获得第二训练图像中的第三杂物图像区域，也可以通过上述训练后的CNN模型获得第二训练图像中的第三杂物图像区域。GAN模型一般包括生成(Generator，G)网络和判别(Discriminator，D)网络，在获取第三杂物图像区域后，可以将该第三杂物图像区域输入G网络中，从而G网络可以根据第三杂物图像区域生成对应的模拟图像(为了方便区分，将G网络在训练时生成的图像称为模拟图像，在应用时生成的图像称为替换图像)，再将该模拟图像和不包含第三杂物图像区域的第三训练图像一起输入D网络中，D网络判断生成的模拟图像与第三训练图像中对应区域的相似概率，相似概率例如为0-1，当相似概率为0时，说明生成的模拟图像是假的，即模拟图像与第三训练图像中对应区域的相似度较低；当相似概率为1时，说明生成的模拟图像是真的，即模拟图像与第三训练图像中对应区域的相似度较高，利用该相似概率调整G网络的参数即可使得G网络生成的模拟图像与第三训练图像中对应区域的相似概率合适。通过多张第二训练图像和多张第三训练图像训练后，G网络生成的模拟图像与第三训练图像中对应区域地相似概率可以是0.5左右，也即是说，D网络判断不出G网络生成的模拟图像是真还是假，如此，即可以保证模拟图像的真实性，又可以保证模拟图像的多样化。

在某些实施方式中，第二训练图像和第三训练图像可以采用与第一训练图像类似的获取方法获得，在此不做具体限定。另外，第一训练图像和第二训练图像可以是相同的。如此，可以避免重复获取(例如重复拍摄)第一训练图像和第二训练图像。

在某些实施方式中，步骤0166可以为，将该第一杂物图像区域输入G网络中，从而G网络可以生成与该第一杂物图像区域相对应的替换图像，从而可以利用该替换图像替换第一杂物图像以形成替换图像。

请参阅图12，本发明还提供一种图像处理装置10，图像处理装置10包括第一获取模块112、判断模块114和去除模块116。本发明实施方式的图像处理方法可以由本发明实施方式的图像处理装置10实现。其中，步骤012可以由第一获取模块112实现，步骤014可以由判断模块114实现，步骤016可以由去除模块116实现。也即是说，第一获取模块112可用于获取场景图像。判断模块114可用于判断场景图像中是否存在第一杂物图像区域。去除模块116可用于在场景图像中存在第一杂物图像区域时，去除第一杂物图像区域以获得更新图像。

需要说明的是，上述对图像处理方法的描述，也适用于本发明实施方式的图像处理装置10，其实现原理类似，在此不再赘述。

本发明实施方式的图像处理装置10将场景图像中的第一杂物图像区域去除，从而使得去除第一杂物图像区域后形成的更新图像相对于场景图像能够给用户一种更加干净和整洁的视觉效果。

请参阅图13，在某些实施方式中，去除模块116包括判断单元1162和去除单元1164。步骤0162可以由判断单元1162实现，步骤0164可以由去除单元1164实现。也即是说判断单元1162可用于在场景图像中存在第一杂物图像区域时，判断是否接收到去除信号。去除单元1164可用于在接收到去除信号时，去除第一杂物图像区域以获得更新图像。

请再次参阅图12，在某些实施方式中，步骤014可以由判断模块114实现。也即是说，判断模块114可用于利用深度学习模型判断场景图像中是否存在第一杂物图像区域。

请参阅图14，在某些实施方式中，深度学习模块为CNN模型，图像处理装置10还包括第二获取模块118、划分模块122、第三获取模块124和第一训练模块126。步骤018可以由第二获取模块118实现，步骤022可以由划分模块122实现，步骤024可以由第三获取模块124实现，步骤026可以由第一训练模块126实现。也即是说，第二获取模块118可用于获取包含第二杂物图像区域的第一训练图像。划分模块122可用于将第一训练图像划分成多个区域。第三获取模块124可用于获取每个区域对应的标签，标签包括区域的类别，类别包括杂物和背景，在类别为杂物时，标签还包括杂物的边框。第一训练模块126可用于利用第一训练图像和标签训练CNN模型。

请参阅图15，在某些实施方式中，去除模块116包括生成单元1166和替换单元1168。步骤0166可以由生成单元1166实现，步骤0168可以由替换单元1168实现。也即是说，生成单元1166可用于根据GAN模型生成替换图像。替换单元1168可用于利用替换图像替换第一杂物图像区域以获得更新图像。

请参阅图16，在某些实施方式中，图像处理装置10还包括第四获取模块128、第五获取模块132和第二训练模块134。步骤028可以由第四获取模块128实现，步骤032可以由第五获取模块132实现，步骤034可以由第二训练模块134实现。也即是说，第四获取模块128可用于获取包含第三杂物图像区域的第二训练图像和不包含第三杂物图像区域的第三训练图像。第五获取模块132可用于获取第二训练图像中的第三杂物图像区域。第二训练模块134可用于利用第三杂物图像区域和第三训练图像训练GAN模型。

需要说明的是，上述对图像处理方法的描述，也适用于本发明实施方式的图像处理装置10，其实现原理类似，在此不再赘述。

上述图像处理装置10中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置10按照需要划分为不同的模块，以完成上述图像处理装置10的全部或部分功能。

本发明还提供一种电子装置，电子装置包括处理器。本发明实施方式的图像处理方法可以由本发明实施方式的电子装置实现。其中，步骤012、步骤014和步骤016可以由处理器实现。也即是说，处理器可用于获取场景图像、判断场景图像中是否存在第一杂物图像区域、及在场景图像中存在第一杂物图像区域时，去除第一杂物图像区域以获得更新图像。

需要说明的是，上述对图像处理方法的描述，也适用于本发明实施方式的电子装置，其实现原理类似，在此不再赘述。

本发明实施方式的电子装置将场景图像中的第一杂物图像区域去除，从而使得去除第一杂物图像区域后形成的更新图像相对于场景图像能够给用户一种更加干净和整洁的视觉效果。

电子装置可以是相机、手机、平板电脑、手提电脑、游戏机、头显设备、门禁系统、柜员机等，在此不作限制。在场景图像由图像采集器采集时，可以是电子装置包括图像采集器，或电子装置可以与外部图像采集器通信连接。

在某些实施方式中，步骤0162和步骤0164可以由处理器实现。也即是说，处理器可用于在场景图像中存在第一杂物图像区域时判断是否接收到去除信号、及在接收到去除信号时去除第一杂物图像区域以获得更新图像。

在某些实施方式中，步骤014可以由处理器实现。也即是说，处理器可用于利用深度学习模型判断场景图像中是否存在第一杂物图像区域。

在某些实施方式中，深度学习模块为CNN模型，步骤018、步骤022、步骤024和步骤026可以由处理器实现。也即是说，处理器还可用于获取包含第二杂物图像区域的第一训练图像、将第一训练图像划分成多个区域、获取每个区域对应的标签，标签包括区域的类别，类别包括杂物和背景，在类别为杂物时，标签还包括杂物的边框、及利用第一训练图像和标签训练CNN模型。

在某些实施方式中，CNN模型可以在训练后存储在电子装置中，也可以在电子装置中进行训练获得，在此不做具体限定。

在某些实施方式中，步骤0166和步骤0168可以由处理器实现。处理器可用于根据GAN模型生成替换图像、及利用替换图像替换第一杂物图像区域以获得更新图像。

在某些实施方式中，步骤028、步骤032和步骤034可以由处理器实现。也即是说，处理器还可用于获取包含第三杂物图像区域的第二训练图像和不包含第三杂物图像区域的第三训练图像、获取第二训练图像中的第三杂物图像区域、及利用第三杂物图像区域和第三训练图像训练GAN模型。

需要说明的是，上述对图像处理方法的描述，也适用于本发明实施方式的电子装置，其实现原理类似，在此不再赘述。

本发明实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行以下步骤：

012：获取场景图像；

014：判断场景图像中是否存在第一杂物图像区域；和

016：在场景图像中存在第一杂物图像区域时，去除第一杂物图像区域以获得更新图像。

更进一步地，当计算机可执行指令被一个或多个处理器执行时，处理器还可以执行以下步骤：

0162：在场景图像中存在第一杂物图像区域时，判断是否接收到去除信号；和

0164：在接收到去除信号时，去除第一杂物图像区域以获得更新图像。

图17为一个实施例中计算机设备500的内部结构示意图。如图17所示，该计算机设备500包括通过系统总线510连接的处理器520、存储器530(例如为非易失性存储介质)、内存储器540、显示屏550和输入装置560。其中，计算机设备500的存储器530存储有操作系统和计算机可读指令。该计算机可读指令可被处理器520执行，以实现本发明实施方式的图像处理方法。该处理器520用于提供计算和控制能力，支撑整个计算机设备500的运行。计算机设备500的内存储器530为存储器520中的计算机可读指令的运行提供环境。计算机设备500的显示屏550可以是液晶显示屏或者电子墨水显示屏等，输入装置560可以是显示屏550上覆盖的触摸层，也可以是计算机设备500外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该计算机设备500可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图17中示出的结构，仅仅是与本发明方案相关的部分结构的示意图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图18，本发明实施例的计算机设备500中包括图像处理电路800，图像处理电路800可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图18为一个实施例中图像处理电路800的示意图。如图18所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图18所示，图像处理电路800包括ISP处理器810(ISP处理器810可为处理器520)和控制逻辑器820。成像装置830捕捉的图像数据首先由ISP处理器810处理，ISP处理器810对图像数据进行分析以捕捉可用于确定成像装置830的一个或多个控制参数的图像统计信息。成像装置830可包括镜头832和图像传感器834。图像传感器834可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器834可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器810处理的一组原始图像数据。传感器840(如陀螺仪)可基于传感器840接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器810。传感器840接口可以为SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器834也可将原始图像数据发送给传感器840，传感器840可基于传感器840接口类型把原始图像数据提供给ISP处理器810，或者传感器840将原始图像数据存储到图像存储器850中。

ISP处理器810按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器810可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器810还可从图像存储器850接收图像数据。例如，传感器840接口将原始图像数据发送给图像存储器850，图像存储器850中的原始图像数据再提供给ISP处理器810以供处理。图像存储器850可为存储器530、存储器530的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器834接口或来自传感器840接口或来自图像存储器850的原始图像数据时，ISP处理器810可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器850，以便在被显示之前进行另外的处理。ISP处理器810从图像存储器850接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器810处理后的图像数据可输出给显示器870(显示器870可包括显示屏550)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器810的输出还可发送给图像存储器850，且显示器870可从图像存储器850读取图像数据。在一个实施例中，图像存储器850可被配置为实现一个或多个帧缓冲器。此外，ISP处理器810的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器810确定的统计数据可发送给控制逻辑器820单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、镜头832阴影校正等图像传感器834统计信息。控制逻辑器820可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像装置830的控制参数及ISP处理器810的控制参数。例如，成像装置830的控制参数可包括传感器840控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、镜头832控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及镜头832阴影校正参数。

以下为运用图17中处理器520或运用图18中图像处理电路800(具体为ISP处理器810)实现图像处理方法的步骤：

012：获取场景图像；

014：判断场景图像中是否存在第一杂物图像区域；和

016：在场景图像中存在第一杂物图像区域时，去除第一杂物图像区域以获得更新图像。

更进一步地，运用图17中处理器520或运用图18中图像处理电路800(具体为ISP处理器810)还可以执行以下步骤：

0162：在场景图像中存在第一杂物图像区域时，判断是否接收到去除信号；和

0164：在接收到去除信号时，去除第一杂物图像区域以获得更新图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取场景图像；

判断所述场景图像中是否存在第一杂物图像区域；和

在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像包括：

在所述场景图像中存在所述第一杂物图像区域时，判断是否接收到去除信号；和

在接收到所述去除信号时，去除所述第一杂物图像区域以获得所述更新图像。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述判断所述场景图像中是否存在第一杂物图像区域包括：

利用深度学习模型判断所述场景图像中是否存在所述第一杂物图像区域。

4.根据权利要求3所述的图像处理方法，其特征在于，所述深度学习模型包括卷积神经网络模型，在所述利用深度学习模型判断所述场景图像中是否存在所述第一杂物图像区域之前，所述图像处理方法还包括：

获取包含第二杂物图像区域的第一训练图像；

将所述第一训练图像划分成多个区域；

获取每个所述区域对应的标签，所述标签包括所述区域的类别，所述类别包括杂物和背景，在所述类别为杂物时，所述标签还包括所述杂物的边框；和

利用所述第一训练图像和所述标签训练所述卷积神经网络模型。

5.根据权利要求1或2所述的图像处理方法，其特征在于，所述去除所述第一杂物图像区域以获得更新图像包括：

根据生成对抗网络模型生成替换图像；和

利用所述替换图像替换所述第一杂物图像区域以获得所述更新图像。

6.根据权利要求5所述的图像处理方法，其特征在于，在所述利用根据生成对抗网络模型生成替换图像之前，所述图像处理方法还包括：

获取包含第三杂物图像区域的第二训练图像和不包含所述第三杂物图像区域的第三训练图像；

获取所述第二训练图像中的第三杂物图像区域；和

利用所述第三杂物图像区域和所述第三训练图像训练所述生成对抗网络模型。

7.一种图像处理装置，其特征在于，所述图像处理装置包括：

第一获取模块，所述第一获取模块用于获取场景图像；

判断模块，所述判断模块用于判断所述场景图像中是否存在第一杂物图像区域；和

去除模块，所述去除模块用于在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像。

8.一种电子装置，其特征在于，所述电子装置包括处理器，所述处理器用于：

获取场景图像；

判断所述场景图像中是否存在第一杂物图像区域；和

在所述场景图像中存在所述第一杂物图像区域时，去除所述第一杂物图像区域以获得更新图像。

9.根据权利要求8所述的电子装置，其特征在于，所述处理器用于：

在所述场景图像中存在所述第一杂物图像区域时，判断是否接收到去除信号；和

在接收到所述去除信号时，去除所述第一杂物图像区域以获得所述更新图像。

10.根据权利要求8或9所述的电子装置，其特征在于，所述处理器用于：

利用深度学习模型判断所述场景图像中是否存在所述第一杂物图像区域。

11.根据权利要求10所述的电子装置，其特征在于，所述深度学习模型包括卷积神经网络模型，所述处理器还用于：

获取包含第二杂物图像区域的第一训练图像；

将所述第一训练图像划分成多个区域；

获取每个所述区域对应的标签，所述标签包括所述区域的类别，所述类别包括杂物和背景，在所述类别为杂物时，所述标签还包括所述杂物的边框；和

利用所述第一训练图像和所述标签训练所述卷积神经网络模型。

12.根据权利要求8或9所述的电子装置，其特征在于，所述处理器用于：

根据生成对抗网络模型生成替换图像；和

利用所述替换图像替换所述第一杂物图像区域以获得所述更新图像。

13.根据权利要求12所述的电子装置，其特征在于，所述处理器还用于：

获取包含第三杂物图像区域的第二训练图像和不包含所述第三杂物图像区域的第三训练图像；

获取所述第二训练图像中的第三杂物图像区域；和

利用所述第三杂物图像区域和所述第三训练图像训练所述生成对抗网络模型。

14.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至6中任一项所述的图像处理方法。

15.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行权利要求1至6中任一项所述的图像处理方法。