CN108804658B - 图像处理方法和装置、存储介质、电子设备 - Google Patents

Abstract

本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质，获取待检测图像，对图像进行场景识别，得到图像的初始类别标签及初始类别标签对应的置信度。当初始类别标签的置信度符合预设规则时，则输出初始类别标签作为图像的类别标签。因为对图像进行场景识别得到的初始类别标签经常会出现一定程度的误检，因此在本方法中加入了判断初始类别标签是否符合预设规则的步骤，这样就可以在一定程度上避免误检，提高场景识别所得出的图像的类别标签的准确性。

Description

图像处理方法和装置、存储介质、电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、存储介质、电子设备。

背景技术

随着移动终端的普及和移动互联网的迅速发展，移动终端的用户使用量越来越大。移动终端中的拍照功能已经成为用户常用功能之一。在拍照的过程中或在拍照之后，移动终端都可能会对图像进行场景识别，以给用户提供智能化的体验。

发明内容

本申请实施例提供一种图像处理方法和装置、存储介质、电子设备，可以更精确地进行图像处理。

一种图像处理方法，包括：

获取待检测图像；

对所述待检测图像进行场景识别，得到所述待检测图像的初始类别标签及所述初始类别标签对应的置信度；

当所述初始类别标签的置信度符合预设规则时，则输出所述初始类别标签作为所述待检测图像的类别标签。

一种图像处理装置，所述装置包括：

图像获取模块，用于获取待检测图像；

场景识别模块，用于对所述待检测图像进行场景识别，得到所述待检测图像的初始类别标签及所述初始类别标签对应的置信度；

图像的类别标签确定模块，用于当所述初始类别标签的置信度符合预设规则时，则输出所述初始类别标签作为所述待检测图像的类别标签。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时执行如上所述的图像处理方法的步骤。

上述图像处理方法和装置、存储介质、电子设备，获取待检测图像，对待检测图像进行场景识别，得到待检测图像的初始类别标签及初始类别标签对应的置信度。当初始类别标签的置信度符合预设规则时，则输出初始类别标签作为待检测图像的类别标签。因为对待检测图像进行场景识别得到的初始类别标签经常会出现一定程度的误检，因此在本方法中加入了判断初始类别标签是否符合预设规则的步骤，这样就可以在一定程度上避免误检，提高场景识别所得出的待检测图像的类别标签的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的内部结构图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中神经网络模型的架构示意图；

图4为图2中确定图像的类别标签的方法的流程图；

图5为图2中获取初始类别标签的置信度阈值的方法的流程图；

图6为图2中另一种确定图像的类别标签的方法的流程图；

图7为一个实施例中图像处理装置的结构示意图；

图8为图7中图像的类别标签确定模块的结构示意图；

图9为一个实施例中提供的电子设备相关的手机的部分结构的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的电子设备为例进行说明，包括：

步骤220，获取待检测图像。

用户使用电子设备(具有拍照摄像功能的电子设备)进行拍照或摄像，获取待检测图像(包括拍照所获得的图像，也包括摄像所获取的视频中的一帧一帧的图像)。且待检测图像可以是拍照预览画面，也可以是拍照后保存到电子设备中的照片；待检测图像可以是摄像预览画面，也可以是摄像后保存到电子设备中的视频中的一帧一帧的图像。

步骤240，对待检测图像进行场景识别，得到待检测图像的初始类别标签及初始类别标签对应的置信度。

对上述所获取的待检测图像或视频进行场景识别，此处所获取的需要进行场景识别的待检测图像，既包括仅包含单一场景要素的图像，也包括包含多个场景要素(两个或两个以上)的图像。一般情况下图像中的场景要素包括风景、海滩、蓝天、绿草、雪景、夜景、黑暗、背光、日出/日落、烟火、聚光灯、室内、微距、文本文档、人像、婴儿、猫、狗、美食等。当然，以上并不是穷举，还包含很多其他类别的场景要素。可以采用神经网络模型对每张待检测图像进行场景识别，得到待检测图像的多个初始类别标签及初始类别标签对应的置信度。

具体地，采用神经网络模型对图像进行场景识别，神经网络模型的具体训练过程为：将包含有背景训练目标和前景训练目标的训练图像输入到神经网络，得到反映所述训练图像中背景区域各像素点的第一预测置信度与第一真实置信度之间的差异的第一损失函数，以及反映所述训练图像中前景区域各像素点的第二预测置信度与第二真实置信度之间的差异的第二损失函数；所述第一预测置信度为采用所述神经网络预测出的所述训练图像中背景区域某一像素点属于所述背景训练目标的置信度，所述第一真实置信度表示在所述训练图像中预先标注的所述像素点属于所述背景训练目标的置信度；所述第二预测置信度为采用所述神经网络预测出的所述训练图像中前景区域某一像素点属于所述前景训练目标的置信度，所述第二真实置信度表示在所述训练图像中预先标注的所述像素点属于所述前景训练目标的置信度；将所述第一损失函数和第二损失函数进行加权求和得到目标损失函数；根据所述目标损失函数调整所述神经网络的参数，对所述神经网络进行训练。从而训练出神经网络模型，根据该神经网络模型对图像进行场景识别，得到图像所属的场景类别。

图3为一个实施例中神经网络模型的架构示意图。如图3所示，神经网络的输入层接收带有图像类别标签的训练图像，通过基础网络(如CNN网络)进行特征提取，并将提取的图像特征输出给特征层，由该特征层对背景训练目标进行类别检测得到第一损失函数，对前景训练目标根据图像特征进行类别检测得到第二损失函数，对前景训练目标根据前景区域进行位置检测得到位置损失函数，将第一损失函数、第二损失函数和位置损失函数进行加权求和得到目标损失函数。该神经网络可为卷积神经网络。卷积神经网络包括数据输入层、卷积计算层、激活层、池化层和全连接层。数据输入层用于对原始图像数据进行预处理。该预处理可包括去均值、归一化、降维和白化处理。去均值是指将输入数据各个维度都中心化为0，目的是将样本的中心拉回到坐标系原点上。归一化是将幅度归一化到同样的范围。白化是指对数据各个特征轴上的幅度归一化。卷积计算层用于局部关联和窗口滑动。卷积计算层中每个滤波器连接数据窗的权重是固定的，每个滤波器关注一个图像特征，如垂直边缘、水平边缘、颜色、纹理等，将这些滤波器合在一起得到整张图像的特征提取器集合。一个滤波器是一个权重矩阵。通过一个权重矩阵可与不同窗口内数据做卷积。激活层用于将卷积层输出结果做非线性映射。激活层采用的激活函数可为ReLU(The Rectified LinearUnit，修正线性单元)。池化层可夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。池化层可采用最大值法或平均值法对数据降维。全连接层位于卷积神经网络的尾部，两层之间所有神经元都有权重连接。卷积神经网络的一部分卷积层级联到第一置信度输出节点，一部分卷积层级联到第二置信度输出节点，一部分卷积层级联到位置输出节点，根据第一置信度输出节点可以检测到图像的背景分类，根据第二置信度输出节点可以检测到图像的前景目标的类别，根据位置输出节点可以检测到前景目标所对应的位置。

步骤260，当初始类别标签的置信度符合预设规则时，则输出初始类别标签作为待检测图像的类别标签。

预设规则为通过神经网络模型对样本集中的图像进行场景识别，所得到的规则，是一个统计学数据。具体的，预设规则包括每一个初始类别标签最终被确认为图像中实际存在的类别标签的一个置信度阈值。例如，预设规则可以是：海滩、蓝天、绿草、雪景这个初始类别标签的置信度阈值都大于等于0.8的时候，最终都可以成为图像实际存在的类别标签。当然，每个初始类别标签的置信度阈值也可以是不尽相同的。

在有了预设规则之后，则就可以在实际进行场景识别的时候，通过预设规则来对场景识别的结果进行校准。当初始类别标签的置信度符合预设规则时，则输出初始类别标签作为待检测图像的类别标签。

本申请实施例中，对待检测图像进行场景识别，得到图像的初始类别标签及初始类别标签对应的置信度。因为单独对一张待检测图像进行场景识别，难免会出现一些错误。因此借助于预设规则，来对每张待检测图像进行场景识别的结果进行校准。因为预设规则为通过对大量的样本图像进行场景识别之后得到的结果，所以在一定程度上可以提高对单张待检测图像进行场景识别的准确率。

在一个实施例中，如图4所示，步骤260，当初始类别标签的置信度符合预设规则时，则输出初始类别标签作为待检测图像的类别标签，包括：

步骤262，获取初始类别标签的置信度阈值，置信度阈值用来确定初始类别标签是否能够作为待检测图像的类别标签。

预先设定了每一个初始类别标签的置信度阈值。这个置信度阈值是通过神经网络模型对样本集中的图像进行场景识别，所得到的每一个初始类别标签最终与图像的真实的类别标签吻合的置信度阈值，是一个统计学数据。例如，通过对样本集中的图像进行分析，得到了当置信度大于等于0.8的时候，海滩、蓝天、绿草、雪景这个初始类别标签都与图像的实际类别标签吻合。因此，对于这几个初始类别标签就可以设置其置信度阈值为0.8。对于其他的类别标签，同理计算出每一个初始类别标签的置信度阈值。置信度阈值用来确定初始类别标签是否能够作为图像的类别标签，储存在了数据库中。

步骤264，判断初始类别标签的置信度是否大于等于置信度阈值。

在获取了对某一张图像进行场景识别的初始类别标签的置信度阈值之后，判断初始类别标签的置信度是否大于等于置信度阈值。具体的，例如，当对一张图像进行场景识别之后获取的初始类别标签为沙滩、蓝天、人像，且其分别对应的置信度为0.8、0.85和0.9。从数据库中获取到了沙滩、蓝天都置信度阈值都是0.8，获取到了人像的置信度阈值是0.7。因此经过判断之后，就可以得出上述三个初始类别标签的置信度都是大于等于相应的置信度阈值的。因此，经过校准，得出了对该图像进行场景识别所得的初始分类标签都可以作为该图像最终的分类标签。

步骤266，若是，则输出初始类别标签作为待检测图像的类别标签。

若初始类别标签的置信度大于等于初始类别标签相应的置信度阈值，则就输出初始类别标签作为图像的类别标签。若初始类别标签的置信度小于初始类别标签相应的置信度阈值，那就说明该初始类别标签可能不是图像实际的类别标签，因此就丢弃该初始类别标签。

本申请实施例中，将预设规则具体化，首先获取初始类别标签的置信度阈值，再对每一张图像的初始类别标签进行判断初始类别标签的置信度是否大于等于置信度阈值，从而实现对每一张图像的初始类别标签进行校准。因为初始类别标签的置信度阈值是通过大量的样本进行分析之后得到的统计学结果，具有普适性。因此，可以通过初始类别标签的置信度阈值，对每一张图像的初始类别标签进行校准，从而提高最终所得的图像分类标签的准确性。

在一个实施例中，如图5所示，步骤262，获取初始类别标签的置信度阈值的过程，包括：

步骤262a，通过对样本集中的图像进行场景识别，得到每张图像的初始类别标签及初始类别标签对应的置信度。

步骤262b，将每个图像的初始类别标签与图像的实际类别标签进行匹配。

步骤262c，获取匹配成功的初始类别标签的置信度。

步骤262d，根据匹配成功的初始类别标签的置信度，得到初始类别标签的置信度阈值。

具体地，通过人工准确地对样本集中的每张图像进行场景识别，得到每张图像的实际类别标签。将通过神经网络模型对图像进行场景识别所得的初始类别标签与该图像的实际类别标签进行匹配，得到匹配成功的初始类别标签。将所有匹配成功的初始类别标签的置信度进行分析，分析得出匹配成功的初始类别标签的置信度的规律。可以得到初始类别标签的置信度阈值，例如，某一个初始类别标签的置信度阈值可以是匹配成功的该初始类别标签置信度的最小值；当然也可以是匹配成功的该初始类别标签置信度的平均值，或者其他合理的数值。

本申请实施例中，通过对样本中的大量图像进行场景识别分析，进而得到初始类别标签的置信度阈值。通过大量图像所得的初始类别标签的置信度阈值就可以用于对图像场景识别的结果进行校准，从而提高对图像进行场景识别的准确率。

在一个实施例中，初始类别标签的置信度阈值的数目为两个，包含第一置信度阈值和第二置信度阈值，且第一置信度阈值高于第二置信度阈值。

本申请实施例中，上述计算所得的初始类别标签的置信度阈值的数目可以为一个，也可以为两个。当初始类别标签的置信度阈值的数目为两个，包含第一置信度阈值和第二置信度阈值，且第一置信度阈值高于第二置信度阈值。两个不同大小的置信度阈值，可以用于在不同的准确率的要求下进行校准。即通过第一置信度阈值进行校准所得的结果的准确率，比通过第二置信度阈值进行校准所得的结果的准确率高。

在一个实施例中，根据匹配成功的初始类别标签的置信度，得到初始类别标签的置信度阈值，包括：

根据匹配成功的初始类别标签的置信度，将置信度的平均值作为第一置信度阈值，将置信度中的最小值作为第二置信度阈值。

本申请实施例中，因为第一置信度阈值高于第二置信度阈值，所以在根据匹配成功的初始类别标签的置信度，得到初始类别标签的置信度阈值的时候，可以将匹配成功的初始类别标签的置信度中的最小值作为第二置信度阈值。这样在采用该第二置信度阈值对场景识别出的该初始类别标签进行校准的时候，就可以避免漏掉标签。可以将匹配成功的初始类别标签的置信度的平均值作为第一置信度阈值，这样对于同一类初始类别标签所得出的第一置信度阈值显然会高于第二置信度阈值。因为在对样本图像通过神经网络进行场景识别过程中，所计算出的每一类初始类别标签的置信度数据也可能是存在一定误差的。所以，当计算第一置信度阈值的时候采用平均值的计算方法，可以在一定程度上避免个别数据的误差，从而，减小最终所得的第一置信度阈值的误差。

在一个实施例中，如图6所示，步骤260，当初始类别标签的置信度符合预设规则时，则输出初始类别标签作为待检测图像的类别标签，包括：

步骤262，获取初始类别标签的第一置信度阈值和第二置信度阈值，第一置信度阈值和第二置信度阈值用来确定初始类别标签是否能够作为待检测图像的类别标签。

当对待检测图像进行场景识别，识别出了该图像的初始类别标签及初始类别标签对应的置信度之后。获取这些初始类别标签的第一置信度阈值和第二置信度阈值，其中，第一置信度阈值高于第二置信度阈值，且根据匹配成功的初始类别标签的置信度，将置信度的平均值作为第一置信度阈值，将置信度中的最小值作为第二置信度阈值。对于一段视频中的图像来说，第一置信度阈值和第二置信度阈值用来确定初始类别标签是否能够作为图像的类别标签。

步骤264，判断图像的初始类别标签与图像的上一帧图像的类别标签是否相同。

从一段视频中获取到一帧图像，对该图像进行场景识别得到初始类别标签。判断该初始类别标签与该图像的上一帧图像的类别标签是否相同。

步骤266，若相同，则判断初始类别标签的置信度是否大于等于第二置信度阈值，将置信度大于等于第二置信度阈值的初始类别标签作为待检测图像的类别标签。

若这张图像的初始类别标签与该图像的上一帧图像的类别标签中部分是相同的，这些相同的初始类别标签说明这张图像与该图像的上一帧图像的类别标签是有延续的。当然，这也是比较符合常理的，即在同一个视频中的前一帧图像和后一帧图像的类别标签是延续的。此时，就可以采用较小的第二置信度阈值来对该图像的场景识别结果进行校准。即只需要判断该图像初始类别标签的置信度是否大于等于第二置信度阈值即可。若判断结果为大于等于，则将大于等于第二置信度阈值的初始类别标签作为图像的类别标签。

本申请实施例中，对于视频中的图像进行场景识别判断时，因视频中的上一帧图像与后一帧图像会存在一定的相关性或延续性，所以在对视频中的图像的场景识别结果进行校准的时候，可以首先判断该图像的初始类别标签是否与上一帧图像的类别标签有重合，若有重合的，则对这些重合的初始类别标签就可以采用较小的第二置信度阈值进行校准即可。如此，因为稍微放宽了判断标准，所以就会可以在一定程度上避免将置信度较小的初始类别标签直接排除在外，造成遗漏类别标签的后果。

在一个实施例中，如图6所示，在判断待检测图像的初始类别标签与图像的上一帧图像的类别标签是否相同之后，包括：

步骤268，若不同，则判断初始类别标签的置信度是否大于等于第一置信度阈值，将置信度大于等于第一置信度阈值的初始类别标签作为待检测图像的类别标签。

在上一个实施例中，将判断出来该图像与上一帧图像的类别标签相同的初始类别标签，采用较小的第二置信度阈值进行校准。将判断出来与上一帧图像的类别标签不同的初始类别标签，采用较大的第一置信度阈值进行校准。即判断初始类别标签的置信度是否大于等于第一置信度阈值，将大于等于第一置信度阈值的初始类别标签作为图像的类别标签。

本申请实施例中，获取到该图像与上一帧图像的类别标签不同的初始类别标签，说明这个图像中的这些初始类别标签相对于上一张图像是发生了跳变的。因视频中的上一帧图像与后一帧图像一般会存在一定的相关性或延续性，所以在对视频中的图像的场景识别结果进行校准的时候，可以首先判断该图像的初始类别标签是否与上一帧图像的类别标签有重合，对于不重合的初始类别标签，说明此时图像出现了跳变，所以就需要采用较大的第一置信度阈值来进行校准。从而减少场景识别的误差。

在一个实施例中，如图7所示，提供了一种图像处理装置700，装置包括：图像获取模块720、场景识别模块740及图像的类别标签确定模块760。其中，

图像获取模块720，用于获取待检测图像；

场景识别模块740，用于对待检测图像进行场景识别，得到待检测图像的初始类别标签及初始类别标签对应的置信度；

图像的类别标签确定模块760，用于当初始类别标签的置信度符合预设规则时，则输出初始类别标签作为待检测图像的类别标签。

在一个实施例中，如图8所示，图像的类别标签确定模块760，包括：

置信度阈值获取模块762，用于获取初始类别标签的置信度阈值，置信度阈值用来确定初始类别标签是否能够作为待检测图像的类别标签；

判断模块764，用于判断初始类别标签的置信度是否大于等于置信度阈值；

图像的类别标签输出模块766，若是，则输出初始类别标签作为待检测图像的类别标签。

在一个实施例中，置信度阈值获取模块762，还用于通过对样本集中的图像进行场景识别，得到每张图像的初始类别标签及初始类别标签对应的置信度；

将每个图像的初始类别标签与图像的实际类别标签进行匹配；

获取匹配成功的初始类别标签的置信度；

根据匹配成功的初始类别标签的置信度，得到初始类别标签的置信度阈值。

在一个实施例中，置信度阈值获取模块762，还用于根据匹配成功的初始类别标签的置信度，将置信度的平均值作为第一置信度阈值，将置信度中的最小值作为第二置信度阈值。

在一个实施例中，图像的类别标签确定模块760，还用于获取初始类别标签的第一置信度阈值和第二置信度阈值，第一置信度阈值和第二置信度阈值用来确定初始类别标签是否能够作为待检测图像的类别标签；

判断图像的初始类别标签与图像的上一帧图像的类别标签是否相同；

若相同，则判断初始类别标签的置信度是否大于等于第二置信度阈值，将置信度大于等于第二置信度阈值的初始类别标签作为待检测图像的类别标签。

在一个实施例中，图像的类别标签确定模块760，还用于若不同，则判断初始类别标签的置信度是否大于等于第一置信度阈值，将置信度大于等于第一置信度阈值的初始类别标签作为待检测图像的类别标签。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的图像处理方法的步骤。

在一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例所提供的图像处理方法的步骤。

本申请实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的图像处理方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。

ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有9、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。

ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待检测图像；

采用神经网络模型对所述待检测图像进行场景识别，得到所述待检测图像的初始类别标签及所述初始类别标签对应的置信度；

当所述初始类别标签的置信度符合预设规则时，则输出所述初始类别标签作为所述待检测图像的类别标签；所述初始类别标签的置信度阈值的数目为两个，包含第一置信度阈值和第二置信度阈值，且第一置信度阈值高于第二置信度阈值；

当所述初始类别标签的置信度符合预设规则时，则输出所述初始类别标签作为所述待检测图像的类别标签，包括：

获取所述初始类别标签的第一置信度阈值和第二置信度阈值，所述第一置信度阈值和所述第二置信度阈值用来确定所述初始类别标签是否能够作为待检测图像的类别标签；

判断所述待检测图像的初始类别标签与所述待检测图像的上一帧图像的类别标签是否相同；

若相同，则判断所述初始类别标签的置信度是否大于等于所述第二置信度阈值，将置信度大于等于所述第二置信度阈值的初始类别标签作为所述待检测图像的类别标签；

若不同，则判断所述初始类别标签的置信度是否大于等于所述第一置信度阈值，将置信度大于等于所述第一置信度阈值的初始类别标签作为所述待检测图像的类别标签。

2.根据权利要求1所述的方法，其特征在于，当所述初始类别标签的置信度符合预设规则时，则输出所述初始类别标签作为所述待检测图像的类别标签，包括：

获取所述初始类别标签的置信度阈值，所述置信度阈值用来确定所述初始类别标签是否能够作为待检测图像的类别标签；

判断所述初始类别标签的置信度是否大于等于所述置信度阈值；

若是，则输出所述初始类别标签作为所述待检测图像的类别标签。

3.根据权利要求2所述的方法，其特征在于，获取所述初始类别标签的置信度阈值的过程，包括：

通过对样本集中的图像进行场景识别，得到每张图像的初始类别标签及所述初始类别标签对应的置信度；

将每个图像的初始类别标签与所述图像的实际类别标签进行匹配；

获取匹配成功的初始类别标签的置信度；

根据所述匹配成功的初始类别标签的置信度，得到所述初始类别标签的置信度阈值。

4.根据权利要求3所述的方法，其特征在于，根据所述匹配成功的初始类别标签的置信度，得到所述初始类别标签的置信度阈值，包括：

根据所述匹配成功的初始类别标签的置信度，将所述置信度的平均值作为第一置信度阈值，将所述置信度中的最小值作为第二置信度阈值。

5.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测图像；

场景识别模块，用于采用神经网络模型对所述待检测图像进行场景识别，得到所述待检测图像的初始类别标签及所述初始类别标签对应的置信度；

图像的类别标签确定模块，用于当所述初始类别标签的置信度符合预设规则时，则输出所述初始类别标签作为所述待检测图像的类别标签；所述初始类别标签的置信度阈值的数目为两个，包含第一置信度阈值和第二置信度阈值，且第一置信度阈值高于第二置信度阈值；

所述图像的类别标签确定模块，还用于获取所述初始类别标签的第一置信度阈值和第二置信度阈值，所述第一置信度阈值和所述第二置信度阈值用来确定所述初始类别标签是否能够作为待检测图像的类别标签；判断所述待检测图像的初始类别标签与所述待检测图像的上一帧图像的类别标签是否相同；若相同，则判断所述初始类别标签的置信度是否大于等于所述第二置信度阈值，将置信度大于等于所述第二置信度阈值的初始类别标签作为所述待检测图像的类别标签；若不同，则判断所述初始类别标签的置信度是否大于等于所述第一置信度阈值，将置信度大于等于所述第一置信度阈值的初始类别标签作为所述待检测图像的类别标签。

6.根据权利要求5所述的装置，其特征在于，所述图像的类别标签确定模块，包括：

置信度阈值获取模块，用于获取所述初始类别标签的置信度阈值，所述置信度阈值用来确定所述初始类别标签是否能够作为待检测图像的类别标签；

判断模块，用于判断所述初始类别标签的置信度是否大于等于所述置信度阈值；

图像的类别标签输出模块，若是，则输出所述初始类别标签作为所述待检测图像的类别标签。

7.根据权利要求6所述的装置，其特征在于，

所述置信度阈值获取模块，还用于通过对样本集中的图像进行场景识别，得到每张图像的初始类别标签及所述初始类别标签对应的置信度；将每个图像的初始类别标签与所述图像的实际类别标签进行匹配；获取匹配成功的初始类别标签的置信度；根据所述匹配成功的初始类别标签的置信度，得到所述初始类别标签的置信度阈值。

8.根据权利要求7所述的装置，其特征在于，

所述置信度阈值获取模块，还用于根据所述匹配成功的初始类别标签的置信度，将所述置信度的平均值作为第一置信度阈值，将所述置信度中的最小值作为第二置信度阈值。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图像处理方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的图像处理方法的步骤。

Images