CN108764370A - 图像处理方法、装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本申请实施例涉及一种图像处理方法、装置、终端及计算机可读存储介质。上述方法，包括：获取待处理图像，将所述待处理图像输入到神经网络识别模型；根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。通过上述方法，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。

Description

图像处理方法、装置、计算机可读存储介质和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着互联网技术的不断发展，移动终端的智能化给用户带来了极大的便利，例如拍照功能，移动终端的像素越来越高，拍照效果甚至媲美于专业摄影仪器，并且移动终端具有携带及使用上的便捷性，因此通过移动终端进行拍照成为了人们生活中不可或缺的娱乐项目。

在拍照或者处理图像的过程中，通常是对整个图像或者选取图像的局部进行调整，这样的图像处理方式不能结合图像的场景进行优化处理，无法给图像带来综合的优化效果。

发明内容

本申请实施例提供一种图像处理方法、装置、终端及计算机可读存储介质，可以根据图像的识别结果对图像进行综合处理，提升图像的整体效果。

一种图像处理方法，包括：

获取待处理图像，将所述待处理图像输入到神经网络识别模型；

根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；

根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

一种图像处理装置，包括：

图像获取模块，用于获取待处理图像，将所述待处理图像输入到神经网络识别模型；

类别识别模块，用于根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；

图像处理模块，用于根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

一种终端，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法。

上述图像处理方法、装置、终端及计算机可读存储介质，通过获取待处理图像，将所述待处理图像输入到神经网络识别模型，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中终端的内部结构示意图；

图3为一个实施例中图像处理方法的流程示意图；

图4为另一个实施例中图像处理方法的流程示意图；

图5为再一个实施例中图像处理方法的流程示意图；

图6为再一个实施例中图像处理方法的流程示意图；

图7为再一个实施例中图像处理方法的流程示意图；

图8为一个实施例中图像处理装置的结构框图；

图9为一个实施例中图像处理电路的示意图；

图10为一个实施例中拍摄场景的分类示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。

图1为一个实施例中图像处理方法的应用环境图。参阅图1，终端110可调用其上的摄像头进行拍摄，如对环境中的物体120进行实时扫描得到帧图像，根据该帧图像生成拍摄的图像。可选地，该摄像头内包含第一摄像头模组112和第二摄像头模组124，根据该第一摄像头模组112和第二摄像头模组124共同实现拍摄。可以理解的是，终端110上的摄像头模组数量还可以设置为单个或多个，本实施例对此不进行限定。

终端110可将该帧图像或者生成的图像，作为待处理图像，将待处理图像输入到神经网络识别模型，根据神经网络识别模型识别待处理图像的图像类别和目标类别，并对图像类别和目标类别进行标记得到至少一个标签，根据至少一个标签结合预设处理策略确定调节参数，根据调节参数对待处理图像进行调节，实现对图像的综合优化处理。

图2为一个实施例中终端的内部结构示意图。如图2所示，该终端110包括通过系统总线连接的处理器、存储器、显示屏和摄像头。其中，该处理器用于提供计算和控制能力，支撑整个终端110的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于终端110的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。摄像头包括上述的第一摄像头模组和第二摄像头模组，均可用于生成帧图像。显示屏可以是触摸屏，比如为电容屏或电阻屏，用于显示帧图像或拍摄图像等可视信息，还可以被用于检测作用于该显示屏的触摸操作，生成相应的指令。该终端110可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售移动终端)、车载电脑、穿戴式设备等。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端110的限定，具体的终端110可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图3所示，在一个实施例中，提供了一种图像处理方法，适用于具备拍摄功能的终端，可根据通过识别图像中的场景对图像进行综合处理，提升图像的美感。本实施例主要以该方法应用于如图1所示的终端中进行说明，该方法包括以下步骤302～步骤306：

步骤302：获取待处理图像，将所述待处理图像输入到神经网络识别模型。

终端可以获取待处理图像，待处理图像可以是终端通过摄像头等成像设备采集的可在显示屏预览的预览图像，也可以是已经生成并存储的图像。再者，终端可以从服务器获取的互联网图像或者用户个人网络相册中的图像，作为待处理图像。终端可以识别待处理图像中的场景，根据识别出的场景对待处理图像进行综合处理。

具体地，终端将所述待处理图像输入到神经网络识别模型进行场景识别，神经网络识别模型可以理解为模拟人类实际神经网络进行系统识别的数学方式，可以通过神经网络识别模型识别出待处理图像中包含的场景，其中场景可包含风景、夜景、黑暗、背光、日出/日落、室内等，可选地，场景还可以包含人像、动物、食品等。

步骤304：根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签。

采用不同场景数据对神经网络识别模型进行模型训练得到分类模型和检测模型，根据该分类模型和检测模型对待处理图像进行场景识别，能够识别出待处理图像中的图像类别和/或目标类别，对识别出的图像类别和目标类别进行分别标记，可以得到至少一个标签。

其中，图像类别可以理解为待处理图像中的图像背景区域的分类，目标类别可以理解为待处理图像中的图像前景目标。为了更有效和更准确的识别并分析拍摄的图像场景，从而能够在后处理过程中更好的优化图像质量，需要在场景识别过程中能够识别图像的背景区域和前景目标。可选地，背景区域可以通过图像分类技术进行识别，前景目标可通过目标检测技术进行定位并识别。

具体地，图像类别是指预先定义的图像的分类类别，图像类别可包括风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。目标类别是指预先定义的图像中的目标的类别。目标类别可包括人像、婴儿、猫、狗、美食等。图像类别和目标类别还可为文本文档、微距等。

步骤306：根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

可以针对每个标签设定对应的预设处理策略，对待处理图像的处理方式包括但不限于调节光照、调节对比度、调节饱和度、调节色彩、调节亮度和设定相机参数。本实施例通过获取的至少一个标签，确定对待处理图像的处理方式以及调节参数，根据所述调节参数对所述待处理图像进行调节，并获得经过图像处理后的图像。需要说明的是，本实施例可以根据不同的标签对待处理图像进行单独处理，以使得该待处理图像获得综合处理后的效果，提升了图像的优化效果。

具体地，当得到的图像类别标签为风景类别时，可以根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度等参数；当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理；当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标，当所述目标类别标签属于移动类型目标时，可以开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。

可以理解的是，本实施例并不局限上述列举的图像处理方式，还可以根据其他不同的标签对待处理图像进行参数调节，如人像、美食、室内、文档文本等，本实施例不限于此。

上述图像处理方法，通过获取待处理图像，将所述待处理图像输入到神经网络识别模型，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。

在一个实施例中，如图4所示，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，也即步骤304包括：

步骤402：将所述待检测图像输入到神经网络的输入层。

神经网络包括输入层、基础网络层、分类网络层、目标检测网络层和输出层。输入层级联到基础网络层。输入层接收到训练图像，并将训练图像传递传递给基础网络层。

步骤404：通过所述神经网络的基础网络层对所述待检测图像进行特征提取，将提取的图像特征输入到分类网络层和目标检测网络层。

基础网络层用于对输入的图像进行特征提取，得到图像特征。基础网络层可采用SIFT(Scale-invariant feature transform)特征、方向梯度直方图(Histogram ofOriented Gradient，HOG)特征、VGG、googlenet等网络层提取特征。VGG提取特征可采用VGG16中取前几层提取图像特征。VGG16接收输入的图像如为300*300*3，首先可对输入图像进行预处理，再使用两个黄色的卷积层(卷积核为3*3*3)进行卷积处理，通过对一个三维的27个数求和，然后滑窗移动计算出一维的298*298的矩阵，填充得到300*300*1，在第一个卷积层安置有64个卷积核，则得到300*300*64，然后再按照步长为2，池化采用2*2*64，可以得到150*150*64，第二个卷积层有128个卷积核，处理后可得到75*75*128，依次类推逐层卷积、池化处理得到图像特征。

步骤406：通过所述分类网络层进行分类检测输出背景图像所属图像类别的置信度。

其中，置信度指的是被测量参数的测量值的可信程度。

分类网络层可采用卷积层对训练图像的背景图像类别进行分类，然后级联到softmax层输出背景图像类别所属图像类别的置信度。分类网络层可为Mobilenet层，Mobilenet层可以为深度卷积和一个点卷积(1*1卷积核)。深度卷积将每个卷积核应用到每一个通道，点卷积用来组合通道卷积的输出。点卷积后面可接batchnorm和激活层ReLU，然后输入到softmax层进行分类，输出背景图像所属图像类别的第一预测置信度与第一真实置信度直接的差异的第一损失函数。

在神经网络进行训练时，softmax层可配置训练集{(x⁽¹⁾,y⁽¹⁾),...,(x^(m),y^(m))}，有y⁽ⁱ⁾∈{1,2,3,...,k}，总共有k个分类。对于每个输入x都会有对应每个类别的概率，即p(y＝j|x)。softmax的代价函数定为如下，其中包含了示性函数1{j＝y⁽ⁱ⁾}，表示如果第i个样本的类别为j,则y_ij＝1，代价函数可看成是最大化似然函数，也即是最小化负对数似然函数。然后通过梯度下降算法来最小化代价函数。

步骤408：通过所述目标检测网络层进行目标检测得到前景目标所属目标类别的置信度。

目标检测网络层为在基础网络层的末尾增加卷积特征层。卷积特征层可以使用一组卷积滤波器产生固定的预测集合来对多尺度特征图进行检测。对于具有p个通道的大小为m*n的特征层，可以使用3*3*p卷积核卷积操作，得到每一个目标类别对应的第二预测置信度。目标检测网络层级联softmax层，输出前景目标所属目标类别的置信度。对背景图像进行检测得到第一预测置信度，对前景目标进行检测得到第二预测置信度。第一预测置信度为采用该神经网络预测出的该训练图像中背景图像所属图像类别的置信度。第二预测置信度为采用该神经网络预测出的该训练图像中前景目标所属目标类别的置信度。

训练图像中可以预先标注图像类别和目标类别，得到第一真实置信度和第二真实置信度。该第一真实置信度表示在该训练图像中预先标注的背景图像所属图像类别的置信度。第二真实置信度表示在该训练图像中预先标注的前景目标所属目标类别的置信度。真实置信度可以表示为1(或正值)和0(或负值)，分别用以表示属于图像类别和不属于图像类别。

求取第一预测置信度与第一真实置信度之间的差异得到第一损失函数，求取第二预测置信度与第二真实置信度之间的差异得到第二损失函数。第一损失函数和第二损失函数均可采用对数函数、双曲线函数、绝对值函数等。

如图10所示，训练图像的拍摄场景可包括指定图像类别、指定对象类别和其他。指定图像类别为背景图像类别，可包括风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。指定对象类别为前景目标所属类别，可为人像、婴儿、猫、狗、美食等。其他可为文本文档、微距等。

在一个实施例中，对所述图像类别和目标类别进行标记得到至少一个标签，包括：根据预设图像类别对识别出的图像类别进行标记，得到表征图像背景区域的图像类别标签。

图像类别可以理解为待处理图像中的图像背景区域的分类，背景区域可以通过图像分类技术进行识别，图像分类指的是根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。例如可以在终端内预先定义多类拍摄场景，根据不同拍摄场景可以划分为风景、海滩、雪景、蓝天、绿地、夜景、黑暗、背光、日出/日落、室内、烟火、聚光灯等。可以理解的是，本实施例并不局限上述列举的图像类别，还可以根据其他特征进行场景分类，还可以根据用户自定义设定图像类别，本实施例不再一一列举说明。

在一个实施例中，对所述图像类别和目标类别进行标记得到至少一个标签，还包括：根据预设目标类别对识别出的目标类别进行标记，得到表征图像前景目标的目标类别标签。

目标类别可以理解为待处理图像中的图像前景目标，前景目标可通过目标检测技术进行定位并识别，目标检测指的是基于目标几何和统计特征的图像分割，将目标的分割和识别合二为一的技术。例如可以在终端内预先定义多类前景目标，例如人像、婴儿、猫、狗、美食等。可以理解的是，本实施例并不局限上述列举的前景目标，还可以根据其他特征进行目标分类，还可以根据用户自定义设定图像类别，本实施例不再一一列举说明。

在一个实施例中，如图5所示，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，包括：

步骤502：当得到至少一个标签时，获取基于单个标签确定的待处理图像中的处理区域与调节参数。

其中，标签内包含有待处理图像中的背景区域和/或前景目标的区域范围。读取标签内确定的待处理图像中的处理区域，其中处理区域指的是每个标签内的图像类别和/或目标类别所属的区域，也即需要对该区域进行图像处理。

进一步地，根据标签还可以确定对处理区域的调节参数，由于不同的图像类别与目标类别都预先设定有对应的调节参数，则根据确定的标签就能够获取对待处理图像的调节参数。

步骤504：根据每个标签确定的处理区域与调节参数对所述待处理图像进行调节。

具体地，调节参数可以根据不同的拍摄场景进行预先设定，也可以根据用户需求自行设定。

举例说明，当得到的图像类别标签为风景类别时，可以根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度等参数；当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理；当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标，当所述目标类别标签属于移动类型目标时，可以开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。

在一个实施例中，根据所述至少一个标签结合预设处理策略确定调节参数，还包括：

当得到的图像类别标签为风景类别时，根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度。例如，当识别出待处理图像中具有海滩时，则提升海滩的饱和度，并调节色调，以使得该海滩的色彩更鲜艳；当识别出待处理图像中具有蓝天时，则提升蓝天的饱和度，以使得蓝天的色彩更饱满；当识别出待处理图像中具有绿草时，则提高绿草的饱和度，并辅助AWB判断，以使得图像中的绿草更有生机；当识别出待处理图像中具有雪景时，则提高AEC target，以使得图像中的雪景更梦幻。

可选地，当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理。例如，当识别出待处理图像中具有夜景时，则对夜景进行多帧处理，并通过点光源辅助判断，以减少图像中夜景部分的噪点；当识别出待处理图像中的黑暗部分时，则对黑暗部分进行多帧处理；当识别出待处理图像中具有背光时，则对背光部分进行逆光HDR处理；通过上述处理方式，使得处理后的图像具有更好的观感。

在一个实施例中，如图6所示，该图像处理方法，还包括：

步骤602：当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标。

具体地，移动类型目标可以包括婴儿、猫、狗等，由于针对移动类型目标进行拍摄时具有难以控制的局限性，因此对待移动类型目标的拍摄需要采取特定的拍摄方式进行拍摄。

步骤604：当所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。

具体地，相机的自动抓拍可以理解为当相机在自动对焦完成后自动按下快门的一种拍照方式。终端在识别到前景目标为移动类型目标时，开启自动抓拍模式，则终端能够在对当前待拍摄物体进行自动拍摄，也即是在相机自动对焦完成后自动生成图像。

可选地，当终端在识别到前景目标为移动类型目标时，还可以开启终端上的连拍模式，对待拍摄物体进行拍摄，便于捕捉到精彩的瞬间。

本实施例提供的图像处理方法，当所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像，使用户在拍摄过程中能够轻松地完成对移动类型目标的拍摄，提升了用户的拍照体验。

在一个实施例中，如图7所示，在获取待处理图像之前，还包括：

步骤702：将包含有图像类别和目标类别的训练图像输入到神经网络，通过所述神经网络的基础网络层进行特征提取。

步骤704：将提取的图像特征输入到分类网络层和目标检测网络层，在所述分类网络层得到第一损失函数，在所述目标检测网络层得到第二损失函数。

步骤706：将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数。

步骤708：根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。

本实施例提供的图像处理方法，通过背景图像所属指定图像类别所对应的第一损失函数和前景目标所属指定对象类别所对应的第二损失函数的加权求和得到目标损失函数，根据目标损失函数调整神经网络的参数，使得训练的神经网络后续可以同时识别出图像分类和前景目标，获取更多的信息。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-7的流程图中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图8所示，在一个实施例中，提供一种图像处理装置，该装置包括：图像获取模块810、类别识别模块820和图像处理模块830。

图像获取模块810，用于获取待处理图像，将所述待处理图像输入到神经网络识别模型。

类别识别模块820，用于根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签。

图像处理模块830，用于根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

上述图像处理装置，通过获取待处理图像，将所述待处理图像输入到神经网络识别模型，根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签，根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。

在一个实施例中，类别识别模块820还用于将所述待检测图像输入到神经网络的输入层；通过所述神经网络的基础网络层对所述待检测图像进行特征提取，将提取的图像特征输入到分类网络层和目标检测网络层；通过所述分类网络层进行分类检测输出背景图像所属图像类别的置信度；通过所述目标检测网络层进行目标检测得到前景目标所属目标类别的置信度。

在一个实施例中，类别识别模块820还用于根据预设图像类别对识别出的图像类别进行标记，得到表征图像背景区域的图像类别标签；根据预设目标类别对识别出的目标类别进行标记，得到表征图像前景目标的目标类别标签。

在一个实施例中，图像处理模块830还用于当得到至少一个标签时，获取基于单个标签确定的待处理图像中的处理区域与调节参数；根据每个标签确定的处理区域与调节参数对所述待处理图像进行调节。

在一个实施例中，图像处理模块830还用于当得到的图像类别标签为风景类别时，根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度；当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理。

在一个实施例中，图像处理模块830还用于当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标；当所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。

在一个实施例中，该图像处理装置还包括神经网络训练模块，用于将包含有图像类别和目标类别的训练图像输入到神经网络，通过所述神经网络的基础网络层进行特征提取；将提取的图像特征输入到分类网络层和目标检测网络层，在所述分类网络层得到第一损失函数，在所述目标检测网络层得到第二损失函数；将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数；根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将信号处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端中的处理器中，也可以以软件形式存储于终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的图像处理方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如上述各实施例中所描述的图像处理方法。

本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例中所描述的图像处理方法。

本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。

ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。

ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。

以下为运用图9中图像处理技术实现上述图像处理方法的步骤：

获取待处理图像，将所述待处理图像输入到神经网络识别模型；

根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；

根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

通过该光效处理方法，能够结合识别出的场景对图像进行综合处理，能够将待处理图像中背景与前景单独优化处理，使图像的优化效果更明显，提升图像的美感。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，将所述待处理图像输入到神经网络识别模型；

根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；

根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

2.根据权利要求1所述的方法，其特征在于，所述根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，包括：

将所述待检测图像输入到神经网络的输入层；

通过所述神经网络的基础网络层对所述待检测图像进行特征提取，将提取的图像特征输入到分类网络层和目标检测网络层；

通过所述分类网络层进行分类检测输出背景图像所属图像类别的置信度；

通过所述目标检测网络层进行目标检测得到前景目标所属目标类别的置信度。

3.根据权利要求1所述的方法，其特征在于，对所述图像类别和目标类别进行标记得到至少一个标签，包括：

根据预设图像类别对识别出的图像类别进行标记，得到表征图像背景区域的图像类别标签；

根据预设目标类别对识别出的目标类别进行标记，得到表征图像前景目标的目标类别标签。

4.根据权利要求3所述的方法，其特征在于，所述根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节，包括：

当得到至少一个标签时，获取基于单个标签确定的待处理图像中的处理区域与调节参数；

根据每个标签确定的处理区域与调节参数对所述待处理图像进行调节。

5.根据权利要求4所述的方法，其特征在于，所述根据所述至少一个标签结合预设处理策略确定调节参数，还包括：

当得到的图像类别标签为风景类别时，根据预设参数值调节所述图像类别标签确定的处理区域的饱和度、对比度；

当得到的图像类别标签为夜景类别时，对所述图像类别所属的处理区域进行夜景多帧处理。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当获取表征图像前景目标的目标类别标签时，判断所述目标类别标签是否为移动类型目标；

当所述目标类别标签属于移动类型目标时，开启相机的自动抓拍模式，以通过所述相机自动抓拍生成图像。

7.根据权利要求1所述的方法，其特征在于，在获取待处理图像之前，还包括：

将包含有图像类别和目标类别的训练图像输入到神经网络，通过所述神经网络的基础网络层进行特征提取；

将提取的图像特征输入到分类网络层和目标检测网络层，在所述分类网络层得到第一损失函数，在所述目标检测网络层得到第二损失函数；

将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数；

根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。

8.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像，将所述待处理图像输入到神经网络识别模型；

类别识别模块，用于根据所述神经网络识别模型识别所述待处理图像的图像类别和目标类别，并对所述图像类别和目标类别进行标记得到至少一个标签；

图像处理模块，用于根据所述至少一个标签结合预设处理策略确定调节参数，根据所述调节参数对所述待处理图像进行调节。

9.一种终端，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。