CN108961302B - 图像处理方法、装置、移动终端及计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法和装置、移动终端、计算机可读存储介质。所述方法包括：获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象。上述方法使得处理后的图像具有较高的观赏性。

Description

图像处理方法、装置、移动终端及计算机可读存储介质

技术领域

本申请涉及计算机应用领域，特别是涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。

背景技术

随着智能设备的日益普及，相机已成为智能设备中不可或缺的部分。我们在用相机拍摄照片时，经常会遇到如下问题：拍摄到的照片中存在某些杂物，影响了照片的质量和美感。例如，在拍摄一张美丽的风景照时，拍出的照片角落中却出现一个垃圾桶；在热门景点拍纪念照时，拍出的照片出现行人抢镜。对此类问题，用户一般是通过后期Photoshop等软件对图像进行处理，但是这种方法十分耗时、费力，并且对于图像处理技术差的用户而言，利用这种方法往往较难得到观赏性高的图像。

发明内容

本申请实施例提供一种图像处理方法、装置、移动终端及计算机可读存储介质，可以提高图像的观赏性。

一种图像处理方法，包括：

获取待处理图像；

基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；

当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象。

一种图像处理装置，包括：

获取模块，用于获取待处理图像；

识别模块，用于基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；

替换模块，用于当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象。

一种移动终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像处理方法的步骤。

本申请实施例中图像处理方法、装置、移动终端及计算机可读存储介质，通过获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象，使得处理后的图像具有较高的观赏性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的流程图；

图2A为一个实施例中卷神经网络的架构示意图；

图2B为一个实施例中基于卷神经网络识别待处理图像的方法流程图；

图3为一个实施例中待处理图像的类别示意图；

图4为一个实施例的待替换对象的检测方法的流程图；

图5为另一个实施例的待替换对象的检测方法的流程图；

图6为另一个实施例的待替换对象的检测方法的流程图；

图7为一个实施例的根据背景类别所对应的图像数据替换待替换对象的方法的流程图；

图8为一个实施例中待处理图像中目标位置确定示意图；

图9为另一个实施例的根据背景类别所对应的图像数据替换待替换对象的方法的流程图；

图10为一个实施例的将待替换区域的图像块替换为替换图像块的方法的流程图；

图11为一个实施例中图像处理装置的结构框图；

图12A为一个实施例中移动终端的内部结构示意图；

图12B为一个实施例中服务器的内部结构示意图；

图13为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中图像处理方法的流程图。如图1所示，一种图像处理方法，包括步骤102至步骤106。

步骤102：获取待处理图像。

本实施例中，可以从照片库中获取待处理的图像，或者，也可以获取实时拍摄得到的图像作为待处理的图像，此处不作限定。

步骤104：基于卷积神经网络对待处理图像的背景类别和前景目标进行识别。

应当理解地，卷积神经网络(Convolutional Neural Network，CNN)是指在传统的多层神经网络的基础上发展起来的一种针对图像分类和识别的一种神经网络模型，相对与传统的多层神经网络，CNN模型引入了卷积算法和池化算法。其中，卷积算法是指将局部区域内的数据进行加权叠加的一种数学算法，池化算法是指将局部区域内的数据进行采样处理的一种数学算法。

具体而言，CNN模型由卷积层与池化层交替组成，如图2A所示，输入层210输入图像，卷积层220对输入层的图像的各个局部区域进行图像特征提取，池化层230对卷积层的图像特征进行采样以降低维数，然后再以若干层全连接层240对图像特征进行连接，以最后一层隐藏层250的输出值为最终提取的特征。根据最终提取的特征对背景类别和前景目标的类别进行检测。

在一个实施例中，在卷积神经网络的最后一层隐藏层250后配置softmax分析器，通过softmax分析器可以得到图像中的背景对应的类别的概率和前景目标对应类别的概率。

需要说明的是，在采用卷积神经网络对待处理图像的背景类别和前景目标进行识别之前，需要对卷积神经网络进行训练，其训练过程包括：

首先，可将包含有至少一个背景训练目标(包括：风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等)和前景训练目标(包括主体对象：人像、婴儿、猫、狗、美食等；以及待替换对象：垃圾桶、杂物等)的训练图像输入到神经网络中，神经网络根据背景训练目标和前景训练目标进行特征提取，通过SIFT(Scale-invariantfeature transform)特征、方向梯度直方图(Histogram of Oriented Gradient，HOG)特征等提取特征，再通过SSD(Single Shot MultiBox Detector)、VGG(Visual GeometryGroup)等目标检测算法，对背景训练目标进行检测得到第一预测置信度，对前景训练目标进行检测得到第二预测置信度。第一预测置信度为采用该神经网络预测出的该训练图像中背景区域某一像素点属于该背景训练目标的置信度。第二预测置信度为采用该神经网络预测出的该训练图像中前景区域某一像素点属于该前景训练目标的置信度。训练图像中可以预先标注背景训练目标和前景训练目标，得到第一真实置信度和第二真实置信度。该第一真实置信度表示在该训练图像中预先标注的该像素点属于该背景训练目标的置信度。第二真实置信度表示在该训练图像中预先标注的该像素点属于该前景训练目标的置信度。针对图像中的每个像素点，真实置信度可以表示为1(或正值)和0(或负值)，分别用以表示该像素点属于训练目标和不属于训练目标。

其次，求取第一预测置信度与第一真实置信度之间的差异得到第一损失函数，求其第二预测置信度与第二真实置信度之间的差异得到第二损失函数。第一损失函数和第二损失函数均可采用对数函数、双曲线函数、绝对值函数等。

最后，将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数，并根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。

在一实施例中，如图3所示，背景类别包括：风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。前景目标包括主体对象和待替换对象，其中，主体对象可为：人像、婴儿、猫、狗、美食等；待替换对象可为：垃圾桶、杂物等。需要说明的是，主体对象为待处理图像中保留部分，待替换对象为待处理图像中替换部分，通过预先训练的卷积神经网络可识别出主体对象和待替换对象。

步骤106：当前景目标中具有待替换对象时，根据背景类别所对应的图像数据替换待替换对象。

当卷积神经网络检测出待处理图像的前进目标类别中包含有待替换对象时，可根据卷积神经网络识别出的待处理图像的背景类别所对应的图像数据对待替换对象进行替换处理。例如，根据待替换对象相邻区域的背景图像进行替换处理；或根据预先存储的与所述背景类别对应的预设背景图像进行替换处理等。

应当理解地，在进行替换处理之前，还需对待替换对象位于待处理图像中的位置和待替换对象的区域大小、形状进行检测，以确定用于替换的背景图像的面积、形状。

本实施例中，通过获取待处理图像；基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待替换对象时，根据所述背景类别替换所述待替换对象，使得处理后的图像具有较高的观赏性。并且上述图像处理方法无需用户后期通过Photoshop等软件对图像进行处理，节省了用户的时间和精力。

在一实施例中，上述图像处理方法还包括：检测前景目标中是否具有待替换对象。

具体而言，待替换对象包括：垃圾桶、杂物等。通过预先训练的卷积神经网络，可以识别是带有待替换对象标签的图像；或者通过预先训练的卷积神经网络对待处理图像的多个前景目标的边界框进行检测(包括检测边界框的形状、边界框围成区域的面积和边界框所处位置)，以确定前景目标中是否具有待替换对象。例如，可预先设定待替换对象的边界框所围成区域面积为某一预设范围；或者预先设定待替换对象的边界框所处位置为待处理图像的边缘等。

在一实施例中，如图2B所示，基于卷积神经网络对待处理图像的背景类别和前景目标进行识别的方法，包括步骤202至步骤206。：

步骤202：采用卷积神经网络对待处理图像进行特征提取，得到特征数据。

步骤204：将特征数据输入到卷积神经网络的分类网络对待处理图像的背景进行分类检测，得到待处理图像的背景类别。

步骤206：将特征数据输入到该卷积神经网络的目标检测网络对待处理图像的前景目标进行检测，得到前景目标的类别。

本实施例中，卷积神经网络包括基础网络、分类网络和目标检测网络。其中，利用基础网络提取待处理图像的特征数据，再将特征数据分别输入至分类网络和目标检测网络，通过分类网络对该待处理图像的背景进行分类检测，得到待处理图像的背景类别，以及通过目标检测网络对该待处理图像的前景进行目标检测，得到待处理图像的前景目标的类别。

图4为一个实施例的待替换对象的检测方法的流程图，如图4所示，检测前景目标中是否具有待替换对象的方法包括步骤402至步骤404。

步骤402：获取前景目标的标签信息。

步骤404：当标签信息为预设标签信息时，确定该前景目标为待替换对象。

具体而言，卷积神经网络通过训练可以识别出前景目标的标签信息(即前景目标的类别信息)，利用卷积神经网络的最后一层隐藏层205后配置的softmax分析器，对前景目标的标签信息进行分析，当标签信息为预设标签信息时，确定该前景目标为待替换对象。预设标签信息为待替换对象的标签信息。例如，预设标签信息可以为垃圾桶标签、杂物(矿泉水瓶、垃圾袋等)标签等。当标签信息为主体对象的标签信息(例如人像、美食、婴儿、猫狗、花卉等标签)时，softmax分析器还可以分析计算主体对象对应的标签的概率，根据概率可确定待处理图像的主体对象(即选取概率最大的标签作为主体对象的标签)。

图5为另一个实施例的待替换对象的检测方法的流程图，如图5所示，检测前景目标中是否具有待替换对象的方法包括步骤502至步骤504。

步骤502：获取前景目标的边界框面积；

步骤504：当标签信息为预设标签信息且边界框面积小于预设面积时，确定前景目标为待替换对象。

具体而言，前景目标包括主体对象和待替换对象，而主体对象和待替换对象为一个相对的概念。即当用户需要保留待处理图像中的待替换对象时，替换对象即为主体对象。所以，当获取的前景目标的标签信息为预设标签信息(待替换对象的标签信息)时，还需再检测该前景目标的边界框面积，若该边界框面积小于预设面积，则判定该前景目标为待替换对象；若该边界框面积大于预设主体面积，则判定该前景目标为主体对象。

应当理解地，预设面积较小，预设主体面积较大；或者预设面积等于预设主体面积。当前景目标的边界框面积小于预设面积时，说明该前景目标占据待处理图像的一小部分，结合该前景目标的标签信息为预设标签信息(垃圾桶、杂物等标签信息)，可以确定该前景目标为待替换对象。反之，当前景目标的边界框面积大于预设主体面积时，说明该前景目标占据待处理图像的大部分区域，因此判定该前景目标为用户需要保留的对象。一实施例中，当前景目标的标签信息为预设标签信息且该前景目标的边界框面积大于预设主体面积，则说明此时的待替换对象占据待处理图像的大部分区域，即待替换对象为主体对象，需保留待替换对象。例如，用户以垃圾回收为主题所拍摄的一组图像，该组图像的主体对象即为垃圾桶、杂物等。

本实施例中，通过对前景目标的标签信息和边界框面积的检测，可提高替换的准确性，避免错误替换了用户需要保留的前景目标的问题。

图6为另一个实施例的待替换对象的检测方法的流程图，如图6所示，检测前景目标中是否具有待替换对象的方法包括步骤602至步骤604。

步骤602：获取前景目标的边界框位置。

步骤604：当标签信息为预设标签信息且边界框位于预设位置时，确定该前景目标为待替换对象。

具体而言，预设位置为靠近待处理图像边缘的位置。当前景目标的边界框位置处于预设位置时，说明该前景目标位于待处理图像的边缘区域，结合该前景目标的标签信息为预设标签信息(垃圾桶、杂物等标签信息)，可以确定该前景目标为待替换对象。反之，当前景目标的位置处于待处理图像的中央区域时，说明该前景目标为主体对象，因此判定该前景目标为用户需要保留的对象。一实施例中，当前景目标的标签信息为预设标签信息且前景目标的位置处于待处理图像的中央区域时，则说明此时的待替换对象占据待处理图像的中央区域，需保留待替换对象。例如，用户以垃圾回收为主题所拍摄的一组图像，该组图像的前景目标即为垃圾桶、杂物等，而该前景目标可以位于待处理图像的中央区域，此时需保留作为待替换对象的垃圾桶、杂物等标签。

图7为一个实施例的根据背景类别所对应的图像数据替换待替换对象的方法的流程图，如图7所示，当前景目标中具有待替换对象时，根据背景类别所对应的图像数据替换待替换对象的方法包括步骤702至步骤706。

步骤702：确定待替换对象的待替换区域。

步骤702：在待替换区域的相邻区域中，获取与待替换区域大小相同的背景图像块。

步骤702：将待替换区域的图像块替换为背景图像块。

具体而言，利用卷积神经网络对待处理图像进行前景目标检测，当检测到的前景目标为待替换对象时，进一步确定待替换对象的替换区域。一实施例中，参见图8，确定待替换对象的替换区域的方法包括：通过卷积神经网络检测待处理图像中待替换对象的边界框图810，该边界框图810包含该边界框中每个像素点的对应向量，该对应向量表示其对应的像素点与对应的边界框位置关系。其中，边界框图810中的对应像素点的向量确定第一四维向量和第二四维向量。该第一四维向量为x＝(x₁,x₂,x₃,x₄),该第一四维向量中的元素为该像素点至待替换对象的边界框图810的上、下、左、右边界的距离；该第二四维向量为x’＝(x₁’,x₂’,x₃’,x₄’)，该第二四维向量中的元素分别为该像素点至与该像素点对应的待处理图像的边界框图800的上、下、左、右边界的距离。可以理解地，通过检测边界框图810中所有像素点对应的第二四维向量，即可确定待替换对象的待替换区域(待替换区域表示待替换对象位于待处理图像中的位置)。进一步地，待替换对象的边界框图810的面积为X＝(x₁+x₂)*(x₃+x₄)。需要说明的是，本实施例中的边界框图810为矩形框图，在其它实施例中，边界框图可以为任意形状的框图，在此不做具体限定。

当确定了待替换对象的待替换区域(即边界框图810的位置及面积)时，在待替换区域的相邻区域中(可以为边界框图810的上、下、左、右的区域)，根据上述所求得的边界框图810的面积X＝(x₁+x₂)*(x₃+x₄)，可获取与待替换区域(即边界框图810)大小相同的背景图像块。将待替换区域的图像块替换为背景图像块。

本实施例中，通过采用待替换区域的相邻区域图像块替换待替换区域的图像块，使得替换后的图像与替换前的图像保持背景类别的一致性，从而提升图像的观感。

图9为另一个实施例的根据背景类别所对应的图像数据替换待替换对象的方法的流程图，如图9所示，当前景目标中具有待替换对象时，根据背景类别所对应的图像数据替换待替换对象的方法包括步骤902至步骤908。

步骤902：确定待替换对象的待替换区域。

步骤904：从预设图库中获取与背景类别相同的预设背景图像。

步骤906：在预设背景图像中选取与待替换区域的形状和面积相同的替换图像块。

步骤908：将待替换区域的图像块替换为替换图像块。

具体而言，在预设图库中预先存储多张不同类别的预设背景图像，例如，存储风景、海滩、雪景、蓝天、绿地等多种类别的预设背景图像。当前景目标中具有待替换对象时，从预设图库中获取与待处理图像的背景类别相同的预设背景图像；通过图8实施例的方法确定待替换对象的待替换区域，并获取待替换区域的形状、面积，并从预设背景图像中裁剪与待替换区域的形状、面积相同的替换图像块；利用该替换图像块替换待替换区域的图像块。

本实施例中，通过预设图库中获取与背景类别相同的预设背景图像以替换待替换区域的图像块，可以提供图像的和谐度，为用户获取高美感的图像。

图10为一个实施例的将待替换区域的图像块替换为替换图像块的方法的流程图，如图10所示，该方法包括步骤1002至步骤1004。

步骤1002：拷贝替换图像块。

步骤1004：将替换图像块粘贴至待替换区域后合成图像，得到处理后的图像。

具体而言，通过拷贝与待处理图像的背景类别相同的预设背景图像中对应形状及面积大小的图像块(与待替换区域的形状、面积相同)，将该对应形状及面积大小的图像块粘贴至该待替换区域后合成图像。或者，移动终端还可以通过遍历待替换区域中的各个像素块(待替换区域中的所有像素块组成了该区域的图像块)，将待替换区域中的像素块逐一替换为预设背景图像中的像素块，以此实现上述预设背景图像的图像块替换为待替换区域的图像块。可以理解的是，在其他实施例中，还可以通过其他方式将待替换区域的图像块替换为预设背景图像中的图像块，在此不作限定。

图11为一个实施例中图像处理装置的结构框图。如图11所示，一种图像处理装置，包括获取模块1110、识别模块1120、检测模块1130和替换模块1140。其中：

获取模块1110：用于获取待处理图像。

识别模块1120：用于基于卷积神经网络对待处理图像的背景类别和前景目标进行识别。

替换模块1130：用于当前景目标中具有待待替换对象时，根据背景类别所对应的图像数据替换待替换对象。

本申请实施例中，通过获取模块1110获取待处理图像；识别模块1120基于卷积神经网络对所述待处理图像的背景类别和前景目标进行识别；当所述前景目标中具有待待替换对象时，替换模块1130根据所述背景类别替换所述待替换对象，使得处理后的图像具有较高的观赏性。

在一个实施例中，图像处理装置还包括：

检测模块：用于检测前景目标中是否具有待替换对象。

在一个实施例中，检测模块还包括：

第一获取单元：用于获取前景目标的标签信息。

第一确定单元：用于当所述标签信息为预设标签信息时，确定所述前景目标为待替换对象。

在一个实施例中，检测模块还包括：

第二获取单元：用于获取前景目标的标签信息和边界框面积。

第二确定单元：用于当所述标签信息为所述预设标签信息且所述边界框面积小于预设面积时，确定所述前景目标为待替换对象。

在一个实施例中，检测模块还包括：

第三获取单元：用于获取前景目标的标签信息和边界框位置。

第三确定单元：当所述标签信息为所述预设标签信息且所述边界框位于预设位置时，确定所述前景目标为待替换对象。

在一个实施例中，替换模块1130还包括：

第四确定单元：用于确定所述待替换对象的待替换区域。

第四获取单元：用于在所述待替换区域的相邻区域中，获取与所述待替换区域大小相同的背景图像块。

第一替换单元：用于将所述待替换区域的图像块替换为所述背景图像块。

在一个实施例中，替换模块1130还包括：

第五确定单元：用于确定所述待替换对象的待替换区域。

第五获取单元：用于从预设图库中获取与所述背景类别相同的预设背景图像。

第六获取单元；用于在所述预设背景图像中选取与待替换区域的形状和面积相同的替换图像块。

第二替换单元：用于将所述待替换区域的图像块替换为所述替换图像块。

在一实施例中，第二替换单元还包括：

拷贝子单元：用于拷贝所述替换图像块。

粘贴子单元：用于将所述替换图像块粘贴至所述待替换区域后合成图像，得到处理后的图像。

应该理解的是，虽然图1、图2B、图4、图5、图6、图7、图9、图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图2B、图4、图5、图6、图7、图9、图10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

本申请实施例还提供一种移动终端。该移动终端包括存储器及处理器，该存储器中储存有计算机程序，该计算机程序被该处理器执行时，使得该处理器执行该图像处理方法的步骤。

本申请实施例还提供一种计算机可读存储介质。一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现该图像处理方法的步骤。

图12A为一个实施例中移动终端的内部结构示意图。如图12A所示，该移动终端包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个移动终端的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于移动终端的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种神经网络模型处理方法或图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的移动终端进行通信。该移动终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

图12B为一个实施例中服务器(或云端等)的内部结构示意图。如图12B所示，该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个移动终端的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于移动终端的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种神经网络处理方法或图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的移动终端进行通信。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图12B中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例中提供的神经网络模型处理装置或图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在移动终端或服务器上运行。该计算机程序构成的程序模块可存储在移动终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行神经网络模型处理方法或图像处理方法。

本申请实施例还提供一种移动终端。上述移动终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图13为一个实施例中图像处理电路的示意图。如图13所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图13所示，图像处理电路包括ISP处理器1340和控制逻辑器1350。成像设备1310捕捉的图像数据首先由ISP处理器1340处理，ISP处理器1340对图像数据进行分析以捕捉可用于确定和/或成像设备1310的一个或多个控制参数的图像统计信息。成像设备1310可包括具有一个或多个透镜1312和图像传感器1314的照相机。图像传感器1314可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1314可获取用图像传感器1314的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1340处理的一组原始图像数据。传感器1320(如陀螺仪)可基于传感器1320接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1340。传感器1320接口可以利用SMIA(Standard MobileImaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1314也可将原始图像数据发送给传感器1320，传感器1320可基于传感器1320接口类型把原始图像数据提供给ISP处理器1340，或者传感器1320将原始图像数据存储到图像存储器1330中。

ISP处理器1340按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1340可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1340还可从图像存储器1330接收图像数据。例如，传感器1320接口将原始图像数据发送给图像存储器1330，图像存储器1330中的原始图像数据再提供给ISP处理器1340以供处理。图像存储器1330可为存储器装置的一部分、存储设备、或移动终端内的独立的专用存储器，并可包括DMA(DirectMemory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1314接口或来自传感器1320接口或来自图像存储器1330的原始图像数据时，ISP处理器1340可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1330，以便在被显示之前进行另外的处理。ISP处理器1340从图像存储器1330接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1340处理后的图像数据可输出给显示器1370，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1340的输出还可发送给图像存储器1330，且显示器1370可从图像存储器1330读取图像数据。在一个实施例中，图像存储器1330可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1340的输出可发送给编码器/解码器1360，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1370设备上之前解压缩。编码器/解码器1360可由CPU或GPU或协处理器实现。

ISP处理器1340确定的统计数据可发送给控制逻辑器1350单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1312阴影校正等图像传感器1314统计信息。控制逻辑器1350可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1310的控制参数及ISP处理器1340的控制参数。例如，成像设备1310的控制参数可包括传感器1320控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1312控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1312阴影校正参数。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

采用卷积神经网络对所述待处理图像进行特征提取，得到特征数据；将所述特征数据输入到卷积神经网络的分类网络对待处理图像的背景进行分类检测，得到待处理图像的背景类别；将所述特征数据输入到该卷积神经网络的目标检测网络对待处理图像的前景目标进行检测，得到前景目标的类别；

检测所述前景目标中是否具有待替换对象；

当所述前景目标中具有待替换对象时，根据所述背景类别所对应的图像数据替换所述待替换对象。

2.根据权利要求1所述的方法，其特征在于，检测所述前景目标中是否具有待替换对象的方法，包括：

获取所述前景目标的标签信息；

当所述标签信息为预设标签信息时，确定所述前景目标为待替换对象。

3.根据权利要求2所述的方法，其特征在于，检测所述前景目标中是否具有待替换对象的方法，还包括：

获取所述前景目标的边界框面积；

当所述标签信息为所述预设标签信息且所述边界框面积小于预设面积时，确定所述前景目标为待替换对象。

4.根据权利要求2所述的方法，其特征在于，检测所述前景目标中是否具有待替换对象的方法，还包括：

获取所述前景目标的边界框位置；

当所述标签信息为所述预设标签信息且所述边界框位于预设位置时，确定所述前景目标为待替换对象。

5.根据权利要求1所述的方法，其特征在于，当所述前景目标中具有待替换对象时，根据所述背景类别替换所述待替换对象，包括：

确定所述待替换对象的待替换区域；

在所述待替换区域的相邻区域中，获取与所述待替换区域大小相同的背景图像块；

将所述待替换区域的图像块替换为所述背景图像块。

6.根据权利要求1所述的方法，其特征在于，当所述前景目标中具有待替换对象时，根据所述背景类别替换所述待替换对象，包括：

确定所述待替换对象的待替换区域；

从预设图库中获取与所述背景类别相同的预设背景图像；

在所述预设背景图像中选取与待替换区域的形状和面积相同的替换图像块；

将所述待替换区域的图像块替换为所述替换图像块。

7.一种图像处理装置，包括：

获取模块，用于获取待处理图像；

识别模块，用于采用卷积神经网络对所述待处理图像进行特征提取，得到特征数据；将所述特征数据输入到卷积神经网络的分类网络对待处理图像的背景进行分类检测，得到待处理图像的背景类别；将所述特征数据输入到该卷积神经网络的目标检测网络对待处理图像的前景目标进行检测，得到前景目标的类别；

检测模块，用于检测所述前景目标中是否具有待替换对象；

替换模块，用于当所述前景目标中具有待待替换对象时，根据所述背景类别替换所述待替换对象。

8.根据权利要求7所述的装置，其特征在于，所述检测模块包括：

第一获取单元，用于获取所述前景目标的标签信息；

第一确定单元，用于当所述标签信息为预设标签信息时，确定所述前景目标为待替换对象。

9.根据权利要求8所述的装置，其特征在于，所述检测模块包括：

第二获取单元，用于获取所述前景目标的边界框面积；

第二确定单元，用于当所述标签信息为所述预设标签信息且所述边界框面积小于预设面积时，确定所述前景目标为待替换对象。

10.根据权利要求8所述的装置，其特征在于，所述检测模块包括：

第三获取单元，用于获取所述前景目标的边界框位置；

第三确定单元，用于当所述标签信息为所述预设标签信息且所述边界框位于预设位置时，确定所述前景目标为待替换对象。

11.根据权利要求7所述的装置，其特征在于，所述替换模块包括：

第四确定单元，用于确定所述待替换对象的待替换区域；

第四获取单元，用于在所述待替换区域的相邻区域中，获取与所述待替换区域大小相同的背景图像块；

第一替换单元，用于将所述待替换区域的图像块替换为所述背景图像块。

12.根据权利要求7所述的装置，其特征在于，所述替换模块包括：

第五确定单元，用于确定所述待替换对象的待替换区域；

第五获取单元，用于从预设图库中获取与所述背景类别相同的预设背景图像；

第六获取单元，用于在所述预设背景图像中选取与待替换区域的形状和面积相同的替换图像块；

第二替换单元，用于将所述待替换区域的图像块替换为所述替换图像块。

13.一种移动终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的图像处理方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

Images