CN111415302B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，其中，通过获取待处理图像，并识别待处理图像的水平分界线；然后，旋转待处理图像以将水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像；然后，将裁剪图像划分为多个子图像，并将子图像以及待处理图像作为候选图像进行图像质量评分；最后，筛选出评分最高的候选图像作为待处理图像的处理结果图像。由此，无需用户手动操作，即可由电子设备自动实现对图像的二次裁剪，达到提升图像质量的目的。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

目前，人们的生活已离不开智能手机、平板电脑等电子设备，通过这些电子设备所提供的各种各样丰富的功能，使得人们能够随时随地的娱乐、办公等。比如，利用电子设备的拍摄功能，用户可以随时随地的通过电子设备进行拍摄。然而，受技术和拍摄环境等因素的影响，我们拍摄的图像往往会存在诸如图像质量不理想等种种情况。这时，我们能做的就是对图像进行二次裁剪，但是这一操作需要用户手动完成。

发明内容

本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够实现对图像的自动二次裁剪处理。

本申请实施例提供图像处理方法，应用于电子设备，该图像处理方法包括：

获取待处理图像，并识别所述待处理图像的水平分界线；

旋转所述待处理图像以将所述水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像；

将所述裁剪图像划分为多个子图像，并将所述子图像以及所述待处理图像作为候选图像进行图像质量评分；

筛选出质量评分最高的候选图像作为所述待处理图像的处理结果图像。

本申请实施例提供的图像处理装置，应用于电子设备，该图像处理装置包括：

图像获取模块，用于获取待处理图像，并识别所述待处理图像的水平分界线；

图像旋转模块，用于旋转所述待处理图像以将所述水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像；

图像划分模块，用于将所述裁剪图像划分为多个子图像，并将所述子图像以及所述待处理图像作为候选图像进行图像质量评分；

图像筛选模块，用于筛选出质量评分最高的候选图像作为所述待处理图像的处理结果图像。

本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本申请任一实施例提供的图像处理方法。

本申请实施例提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如本申请任一实施例提供的图像处理方法。

相较于相关技术，本申请通过获取待处理图像，并识别待处理图像的水平分界线；然后，旋转待处理图像以将水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像；然后，将裁剪图像划分为多个子图像，并将子图像以及待处理图像作为候选图像进行图像质量评分；最后，筛选出评分最高的候选图像作为待处理图像的处理结果图像。由此，无需用户手动操作，即可由电子设备自动实现对图像的二次裁剪，达到提升图像质量的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像处理方法的一流程示意图。

图2是本申请实施例中图像处理界面的示例图。

图3是本申请实施例中选择子界面的示例图。

图4是本申请实施例中旋转待处理图像的示意图。

图5是本申请实施例中裁剪旋转后的待处理图像的示意图。

图6是本申请实施例提供的图像处理方法的另一流程示意图。

图7是本申请实施例提供的图像处理装置的一结构示意图。

图8是本申请实施例提供的电子设备的一结构示意图。

具体实施方式

应当说明的是，以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，依赖经验的构图方法对于用户具有较高的要求，需要用户花费较多的时间和精力学习构图和积累经验，难以快速上手。用户在缺乏相关经验和指导的情况下，很难通过电子设备拍摄出高质量的图像。

为此，本申请实施例提供一种图像处理方法、图像处理装置、存储介质以及电子设备。其中，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。

请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图，本申请实施例提供的图像处理方法的具体流程可以如下：

在101中，获取待处理图像，并识别待处理图像的水平分界线。

本申请实施例中，电子设备可以基于预设的图像处理周期，按照预设的图像选取规则，确定需要进行图像处理的待处理图像，或者是在接收到用户输入的图像处理指令时，根据用户输入的图像处理指令确定需要进行图像处理的待处理图像，等等。

应当说明的是，本申请实施例对于图像处理周期、图像选取规则以及图像处理指令的设置均不做具体限定，可由电子设备根据用户输入进行设置，也可由电子设备的生产厂商对电子设备进行缺省设置，等等。

比如，假设图像处理周期被预先配置为以周一为起点的自然周，且图像选取规则被配置为“选取拍摄的图像进行图像处理”这样，电子设备可以在每周一自动触发进行图像处理，将拍摄得到的图像确定为需要进行图像处理的待处理图像。

又比如，电子设备可以通过包括请求输入接口的图像处理界面接收输入的图像处理指令，如图2所示，该请求输入接口可以为输入框的形式，用户可以在该输入框形式的请求输入接口中键入需要进行图像处理的图像的标识信息，并输入确认信息(如直接按下键盘的回车键)以输入图像处理指令，该图像处理指令携带有需要进行图像处理的图像的标识信息。相应的，电子设备即可根据接收到的图像处理指令中的标识信息确定需要进行图像处理的待处理图像。

又比如，在图2所述的图像处理界面中，还包括“打开”控件，一方面，电子设备在侦测到该打开控件触发时，将在图像处理界面之上叠加显示选择子界面(如图3所示)，该选择子界面向用户提供本地储存的可进行图像处理的图像的缩略图，如图像A、图像B、图像C、图像D、图像E、图像F等图像的缩略图，供用户查找并选中需要进行图像处理的图像的缩略图；另一方面，用户可以在选中需要进行图像处理的图像的缩略图之后，触发选择子界面提供的确认控件，以向电子设备输入图像处理指令，该图像处理指令与用户选中的图像的缩略图相关联，指示电子设备将用户选中的图像作为需要进行图像处理的待处理图像。

此外，本领域普通技术人员还可以根据实际需要设置其它输入图像处理指令的具体实现方式，本发明对此不做具体限制。

在获取到待处理图像之后，电子设备进一步识别待处理图像的水平分界线。其中，水平分界线可以形象的理解为图像中景物在水平方向的分界线，比如蓝天与沙滩的分界线，蓝天与海水的分界线，蓝天和草地的分界线等。

在102中，旋转待处理图像以将其水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像。

通常的，水平伸展的直线可以让图像的画面内容看起来更加宽阔、稳定、和谐，若其相对于图像的边框出现歪斜则会给人一种不稳定的感觉。因此，电子设备在识别到待处理图像的水平分界线之后，通过旋转待处理图像将其水平分界线旋转至预设位置，使得待处理图像的水平分界线与水平方向平行，如图4所示。

在将待处理图像的水平分界线旋转至与水平方向平行后，电子设备进一步裁剪旋转后的待处理图像得到裁剪图像。

比如，本申请实施例中，电子设备采用最大内接矩形对旋转后的待处理图像进行裁剪，得到保留最多图像内容的裁剪图像，如图5所示。

在103中，将裁剪图像划分为多个子图像，并将子图像以及待处理图像作为候选图像进行图像质量评分。

在裁剪得到裁剪图像之后，电子设备进一步将裁剪图像划分为多个子图像。其中，本申请对划分子图像的方式以及个数不做限制，可由本领域普通技术人员根据实际需要进行设置。

在将裁剪图像划分多个子图像之后，电子设备进一步将划分得到的子图像以及原始的待处理图像作为候选图像，并对每一候选图像进行图像质量评分。

其中，图像质量评分的实现从方式上可分为主观有参考评分和客观无参考评分。主观有参考评分就是从人的主观感知来评价图像的质量，比如，给出原始参考图像，这张参考图片是图像质量最好的图片，在进行图像质量评分时则依据这张图片进行评分，可采用平均主观得分(Mean Opinion Score,MOS)或平均主观得分差异(Differential MeanOpinion Score,DMOS)表示。客观无参考评分指的是没有最佳参考图片，而是训练数学模型，使用数学模型给出量化值，比如，图像质量评分区间可以[1～10]分，其中，1分代表图像质量很差，10分代表图像质量很好，评分可以是离散值，也可以是连续值。

在104中，筛选出质量评分最高的候选图像作为待处理图像的处理结果图像。

在完成对各候选图像的图像质量评分之后，电子设备进一步从各候选图像中筛选出质量评分最高的候选图像作为待处理图像的处理结果图像。

比如，电子设备共将裁剪图像划分为5个子图像，分别为子图像A、子图像B、子图像C、子图像D以及子图像E，这些子图像以及原始的待处理图像将被作为候选图像进行图像质量评分，若其中子图像D的质量评分最高，则电子设备将子图像D作为待处理图像的处理结果图像。

此外，当质量评分最高的候选图像不唯一时，电子设备可以进一步筛选出质量评分最高且面积最大的候选图像作为待处理图像的处理结果图像。

由上可知，本申请中，首先通过获取待处理图像，并识别待处理图像的水平分界线；然后，旋转待处理图像以将水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像；然后，将裁剪图像划分为多个子图像，并将子图像以及待处理图像作为候选图像进行图像质量评分；最后，筛选出评分最高的候选图像作为待处理图像的处理结果图像。由此，无需用户手动操作，即可由电子设备自动实现对图像的二次裁剪，达到提升图像质量的目的。

在一实施例中，识别待处理图像的水平分界线，包括：

(1)对待处理图像进行语义分割，得到多个图像区域；

(2)识别相邻图像区域间的区域分界线，并确定出与水平方向夹角小于预设角度的目标区域分界线；

(3)对待处理图像进行边缘检测得到边缘线，并确定出与水平方向夹角小于预设角度的目标边缘线；

(4)确定出重合度最高的目标边缘线和目标区域分界线，并将重合度最高的目标边缘线和目标区域分界线拟合为一条直线，作为水平分界线。

本申请实施例中，电子设备可以按照以下方式识别待处理图像的水平分界线。

首先，电子设备对待处理图像进行语义分割，将待处理图像划分多个对应不同类别的图像区域。其中，语义分割是指将图像内容划分成多个区域，每个区域对应一个类别，期望分割后图像在相同区域内的像素都对应于同一个类别。在一定程度上可以将语义分割看作是图像像素的分类，包括基于阈值的分割、基于区域的分割、基于边缘检测的分割等。此外，还包括基于深度学习的语义分割，比如DeepLab、MaskRCNN等。应当说明的是，本申请对语义分割的方式不做具体限定，可由本领域普通技术人员根据实际需要选取语义分割方式。示例性的，本申请中以所需要进行分割的类别为蓝天、草地、沙滩、海水等与水平面相关的类别为约束，将待处理图像分割为多个图像区域。

在将待处理图像分割为多个图像区域之后，电子设备进一步识别相邻图像区域间的区域分界线，这些区域分界线即为可能的水平分界线。之后，电子设备从区域分界线中确定出与水平方向夹角小于预设角度的区域分界线，记为目标区域分界线。应当说明的是，本申请实施例中对预设角度的取值不做具体限制，可由本领域普通技术人员根据实际需要进行设置，比如，本申请实施例将预设角度配置为30度，由此，确定出的目标区域分界线即与水平方向夹角小于30度的区域分界线。

另外，电子设备还对待处理图像进行边缘检测，得到待处理图像的边缘线。应当说明的是，本申请中对边缘检测的方式不做具体限制，可由本领域普通技术人员根据实际需要进行选取。以并行微分算子法为例，其利用相邻区域的像素不连续的性质，采用一阶或者二阶导数来检测边缘点，典型的算法有Sobel、Laplacian、Roberts等。在检测得到待处理图像的边缘线之后，电子设备进一步确定出与水平方向夹角小于预设角度的边缘线，记为目标边缘线。

在确定出目标区域分界线以及目标边缘线之后，电子设备进一步确定出重合度最高的目标边缘线和目标区域分界线，并将重合度最高的目标边缘线和目标区域分界线拟合为一条直线，作为待处理图像的水平分界线。

可选地，在确定重合度最高的目标边缘线和目标区域分界线之前，电子设备还可以对目标边缘线和目标区域分界线进行预处理，删除其中长度小于预设长度的目标边缘线和/或目标区域分界线。应当说明的是，本申请实施例中对预设长度确定其中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。比如，可以将预设长度配置为待处理图像水平方向侧边长度的二分之一。

在一实施例中，将裁剪图像划分为多个子图像，包括：

(1)对裁剪图像进行主体检测；

(2)当检测裁剪图像存在预设主体时，将裁剪图像划分为包括预设主体的多个子图像。

本申请实施例中，电子设备在将裁剪图像划分为多个子图像时，首先对裁剪图像进行主体检测，即检测其中是否存在预设主体。其中，预设主体包括人像、宠物、美食等明确主体。

当检测到裁剪图像中存在预设主体时，电子设备划分的子图像包括预设主体为约束，将裁剪图像划分为多个子图像。由此，可以确保最终的处理结果图像包括预设主体，避免处理得到无意义的图像。

在一实施例中，对裁剪图像进行主体检测，包括：

(1)对待处理图像进行对象检测，得到对应不同对象的多个对象边界框；

(2)对每一对象边界框内的对象进行主体检测。

应当说明的是，对象检测是指利用图像处理与模式识别等领域的理论和方法，检测出图像中存在的目标对象，确定这些目标对象的语义类别，并标定出目标对象在图像中的位置。

本申请实施例中，电子设备在对裁剪图像进行主体检测时，首先对待处理图像进行对象检测，得到对应不同对象的多个对象边界框。其中，对象边界框即表征了其对应的对象在裁剪图像中的位置。应当说明的是，本申请实施例中对于如何进行对象检测不做具体限制，可由本领域普通技术人员根据实际需要选取合适的对象检测方式。比如，可以采用深度学习的方式训练对象检测模型，利用对象检测模型对图片进行对象检测，包括但不限于SSD、Faster-RCNN等。

在检测得到多个对象边界框之后，电子设备进一步对每一对象边界框内的对象进行主体检测。这样，相较于直接对裁剪图像进行主体检测，能够有效提高主体检测的准确性。

在一实施例中，将裁剪图像划分为包括预设主体的多个子图像，包括：

(1)确定出被检测为预设主体的对象的目标对象边界框；

(2)将重叠的目标边界框合并得到合并边界框；

(3)确定出面积最大的目标合并边界框，并随机生成包括目标合并边界框的多个裁剪框；

(4)截取多个裁剪框内的图像内容得到多个子图像。

本申请实施例中，电子设备可以按照以下方式将裁剪图像划分为包括预设主体的多个子图像。

电子设备首先确定出被检测为预设主体的对象的对象边界框，记为目标对象边界框。然后，电子设备识别任意两个目标对象边界框之间是否有重叠，若有重叠，则采用最大外接矩形框的方式将重叠的两个目标边界框合并为合并边界框，也即合并边界框为相互重叠的两个目标边界框的最大外接矩形框。由此，可以避免合影或者怀抱宠物等情况被划分为不同的子图像。

之后，电子设备确定面积最大的目标合并边界框，并以包括面积最大的目标合并边界框为约束，随机生成多个不同形状和/或大小的裁剪框。

之后，电子设备进一步截取出各裁剪框内的图像内容得到多个子图像。

在一实施例中，对裁剪图像进行主体检测之后，还包括：

当检测到裁剪图像不存在预设主体时，随机将待处理图像划分为不同面积的多个子图像。

本申请实施例中，当检测到裁剪图像中不存在预设主体，也即是裁剪图像中不存在明确主体，比如待处理图像为风景类图像，此时电子设备随机将待处理图像划分为不同面积的多个子图像，并转入执行将子图像以及待处理图像作为候选图像进行图像质量评分的步骤。

示例性的，假定相较于裁剪图像的面积大小区间(0,10％]、(10％,20％]、……、(90％，100％]所需要生成的裁剪框的数量分别为N1、N2、……、N10。然后，随机生成裁剪框的左上角坐标和右下角坐标，并计算该裁剪框的面积，相应在对应的面积大小区间计数上加一，如此循环，直至每一面积大小区间对应的裁剪框数量达到假定数量。然后，截取出这些随机生成的裁剪框中的图像内容，即可将待处理图像随机划分为不同面积的多个子图像。

在一实施例中，将子图像以及待处理图像作为候选图像进行图像质量评分，包括：

(1)在多个不同质量维度分别对候选图像进行图像质量评分，得到多个候选评分；

(2)根据多个候选评分加权得到候选图像的质量评分。

其中，质量维度包括但不限于构图、色彩搭配、明暗度、失真度、噪点等维度。在将子图像以及待处理图像作为候选图像进行图像质量评分时，对于每一候选图像，电子设备可以按照如下方式进行图像质量评分。

对于每一质量维度，电子设备调用预训练的与该质量维度对应的评分模型对候选图像进行评分，将得到评分记为候选评分，由此，可以得到多个候选评分。然后，电子设备根据各质量维度对应的权重，将多个候选评分进行加权运算，得到候选图像的质量评分。通俗的说，每一个评分模型只负责一个质量维度的评分，最后综合各评分模型的评分得到候选图像的质量评分。

可选的，在其它实施例中，还可以只训练一个评分模型，由该评分模型同时负责评估各质量维度，并直接输出质量评分。

示例性的，当期望的质量分数是离散的，如1,2,3，……，10等，则可以采用分类模型作为基础模型进行训练，输出的结果为10个分类的置信度，取置信度最高的那个分类即可作为图像的质量评分。当期望图像质量评估的分数是连续的，如1,1.1,1.3，……，9.5，10.1等，则可以采用回归模型作为基础模型进行训练，输出的结果为带有小数的分数，此结果直接作为质量评分。

比如，可以按照如下方式构建训练样本：

采集样本图像，对于每一样本图像，由多人对样本图像进行人工评分。由于每个人对于图像打分的标准不同，例如有些人倾向于将大多数图像都打中间值5、6分，有些人倾向于将图像的打分分布拉大，觉得不好的打1、2分，觉得好的图像打8、9分。为了排除人与人之间打分的差异，取这些分数的平均值作为样本图像的样本质量分数，将样本图像及其样本质量分数作为一个训练样本。

之后，即可根据构建训练样本对基础模型进行有监督的模型训练，得到评分模型。

请参照图6，本申请提供的图像处理方法的流程还可以为：

在201中，电子设备获取待处理图像，并识别待处理图像的水平分界线。

本申请实施例中，电子设备可以基于预设的图像处理周期，按照预设的图像选取规则，确定需要进行图像处理的待处理图像，或者是在接收到用户输入的图像处理指令时，根据用户输入的图像处理指令确定需要进行图像处理的待处理图像，等等。

应当说明的是，本申请实施例对于图像处理周期、图像选取规则以及图像处理指令的设置均不做具体限定，可由电子设备根据用户输入进行设置，也可由电子设备的生产厂商对电子设备进行缺省设置，等等。

在获取到待处理图像之后，电子设备进一步识别待处理图像的水平分界线。其中，水平分界线可以形象的理解为图像中景物在水平方向的分界线，比如蓝天与沙滩的分界线，蓝天与海水的分界线，蓝天和草地的分界线等。

示例性的，电子设备可以按照以下方式识别待处理图像的水平分界线。

首先，电子设备对待处理图像进行语义分割，将待处理图像划分多个对应不同类别的图像区域。其中，语义分割是指将图像内容划分成多个区域，每个区域对应一个类别，期望分割后图像在相同区域内的像素都对应于同一个类别。在一定程度上可以将语义分割看作是图像像素的分类，包括基于阈值的分割、基于区域的分割、基于边缘检测的分割等。此外，还包括基于深度学习的语义分割，比如DeepLab、MaskRCNN等。应当说明的是，本申请对语义分割的方式不做具体限定，可由本领域普通技术人员根据实际需要选取语义分割方式。示例性的，本申请中以所需要进行分割的类别为蓝天、草地、沙滩、海水等与水平面相关的类别为约束，将待处理图像分割为多个图像区域。

在将待处理图像分割为多个图像区域之后，电子设备进一步识别相邻图像区域间的区域分界线，这些区域分界线即为可能的水平分界线。之后，电子设备从区域分界线中确定出与水平方向夹角小于预设角度的区域分界线，记为目标区域分界线。应当说明的是，本申请实施例中对预设角度的取值不做具体限制，可由本领域普通技术人员根据实际需要进行设置，比如，本申请实施例将预设角度配置为30度，由此，确定出的目标区域分界线即与水平方向夹角小于30度的区域分界线。

另外，电子设备还对待处理图像进行边缘检测，得到待处理图像的边缘线。应当说明的是，本申请中对边缘检测的方式不做具体限制，可由本领域普通技术人员根据实际需要进行选取。以并行微分算子法为例，其利用相邻区域的像素不连续的性质，采用一阶或者二阶导数来检测边缘点，典型的算法有Sobel、Laplacian、Roberts等。在检测得到待处理图像的边缘线之后，电子设备进一步确定出与水平方向夹角小于预设角度的边缘线，记为目标边缘线。

在确定出目标区域分界线以及目标边缘线之后，电子设备进一步确定出重合度最高的目标边缘线和目标区域分界线，并将重合度最高的目标边缘线和目标区域分界线拟合为一条直线，作为待处理图像的水平分界线。

可选地，在确定重合度最高的目标边缘线和目标区域分界线之前，电子设备还可以对目标边缘线和目标区域分界线进行预处理，删除其中长度小于预设长度的目标边缘线和/或目标区域分界线。应当说明的是，本申请实施例中对预设长度确定其中不做具体限制，可由本领域普通技术人员根据实际需要进行配置。比如，可以将预设长度配置为待处理图像水平方向侧边长度的二分之一。

在202中，电子设备旋转待处理图像，将水平分界线旋转至与水平方向平行。

通常的，水平伸展的直线可以让图像的画面内容看起来更加宽阔、稳定、和谐，若其相对于图像的边框出现歪斜则会给人一种不稳定的感觉。因此，电子设备在识别到待处理图像的水平分界线之后，通过旋转待处理图像将其水平分界线旋转至与水平方向平行，如图4所示。

在203中，电子设备利用最大内接矩形框裁剪旋转后的待处理图像得到裁剪图像。

在将待处理图像的水平分界线旋转至与水平方向平行后，电子设备进一步裁剪旋转后的待处理图像得到裁剪图像。

比如，本申请实施例中，电子设备采用最大内接矩形对旋转后的待处理图像进行裁剪，得到保留最多图像内容的裁剪图像，如图5所示。

在204中，电子设备检测裁剪图像中是否存在预设主体，是则转入205，否则转入206。

本申请实施例中，电子设备对裁剪图像进行主体检测，即检测其中是否存在预设主体。其中，预设主体包括人像、宠物、美食等明确主体。

示例性的，电子设备在对裁剪图像进行主体检测时，首先对待处理图像进行对象检测，得到对应不同对象的多个对象边界框。其中，对象边界框即表征了其对应的对象在裁剪图像中的位置。应当说明的是，本申请实施例中对于如何进行对象检测不做具体限制，可由本领域普通技术人员根据实际需要选取合适的对象检测方式。比如，可以采用深度学习的方式训练对象检测模型，利用对象检测模型对图片进行对象检测，包括但不限于SSD、Faster-RCNN等。

在检测得到多个对象边界框之后，电子设备进一步对每一对象边界框内的对象进行主体检测，判断其中是否存在预设主体。

在205中，电子设备将裁剪图像划分为包括预设主体的多个子图像，转入207。

当检测到裁剪图像包括预设主体时，电子设备可以按照以下方式将裁剪图像划分为包括预设主体的多个子图像。

电子设备首先确定出被检测为预设主体的对象的对象边界框，记为目标对象边界框。然后，电子设备识别任意两个目标对象边界框之间是否有重叠，若有重叠，则采用最大外接矩形框的方式将重叠的两个目标边界框合并为合并边界框，也即合并边界框为相互重叠的两个目标边界框的最大外接矩形框。由此，可以避免合影或者怀抱宠物等情况被划分为不同的子图像。

之后，电子设备确定面积最大的目标合并边界框，并以包括面积最大的目标合并边界框为约束，随机生成多个不同形状和/或大小的裁剪框。

之后，电子设备进一步截取出各裁剪框内的图像内容得到多个子图像。

在206中，电子设备随机将待处理图像划分为不同面积的多个子图像。

当检测到裁剪图像中不存在预设主体，也即是裁剪图像中不存在明确主体，比如待处理图像为风景类图像，此时电子设备随机将待处理图像划分为不同面积的多个子图像，并转入执行将子图像以及待处理图像作为候选图像进行图像质量评分的步骤。

示例性的，假定相较于裁剪图像的面积大小区间(0,10％]、(10％,20％]、……、(90％，100％]所需要生成的裁剪框的数量分别为N1、N2、……、N10。然后，随机生成裁剪框的左上角坐标和右下角坐标，并计算该裁剪框的面积，相应在对应的面积大小区间计数上加一，如此循环，直至每一面积大小区间对应的裁剪框数量达到假定数量。然后，截取出这些随机生成的裁剪框中的图像内容，即可将待处理图像随机划分为不同面积的多个子图像。

在207中，电子设备将子图像以及待处理图像作为候选图像进行图像质量评分。

在将裁剪图像划分多个子图像之后，电子设备进一步将划分得到的子图像以及原始的待处理图像作为候选图像，并对每一候选图像进行图像质量评分。

其中，图像质量评分的实现从方式上可分为主观有参考评分和客观无参考评分。主观有参考评分就是从人的主观感知来评价图像的质量，比如，给出原始参考图像，这张参考图片是图像质量最好的图片，在进行图像质量评分时则依据这张图片进行评分，可采用平均主观得分(Mean Opinion Score,MOS)或平均主观得分差异(Differential MeanOpinion Score,DMOS)表示。客观无参考评分指的是没有最佳参考图片，而是训练数学模型，使用数学模型给出量化值，比如，图像质量评分区间可以[1～10]分，其中，1分代表图像质量很差，10分代表图像质量很好，评分可以是离散值，也可以是连续值。

在208中，电子设备筛选出质量评分最高的候选图像作为待处理图像的处理结果图像。

在完成对各候选图像的图像质量评分之后，电子设备进一步从各候选图像中筛选出质量评分最高的候选图像作为待处理图像的处理结果图像。

比如，电子设备共将裁剪图像划分为5个子图像，分别为子图像A、子图像B、子图像C、子图像D以及子图像E，这些子图像以及原始的待处理图像将被作为候选图像进行图像质量评分，若其中子图像D的质量评分最高，则电子设备将子图像D作为待处理图像的处理结果图像。

此外，当质量评分最高的候选图像不唯一时，电子设备可以进一步筛选出质量评分最高且面积最大的候选图像作为待处理图像的处理结果图像。

在一实施例中，还提供一种图像处理装置。请参照图7，图7为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备，该图像处理装置包括图像获取模块301、图像旋转模块302、图像划分模块303、图像筛选模块304、调整提示模块305以及图像拍摄模块306，如下：

图像获取模块301，用于获取待处理图像，并识别待处理图像的水平分界线；

图像旋转模块302，用于旋转待处理图像以将其水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像；

图像划分模块303，用于将裁剪图像划分为多个子图像，并将子图像以及待处理图像作为候选图像进行图像质量评分；

图像筛选模块304，用于筛选出质量评分最高的候选图像作为待处理图像的处理结果图像。

在一实施例中，在识别待处理图像的水平分界线时，图像获取模块301用于：

对待处理图像进行语义分割，得到多个图像区域；

识别相邻图像区域间的区域分界线，并确定出与水平方向夹角小于预设角度的目标区域分界线；

对待处理图像进行边缘检测得到边缘线，并确定出与水平方向夹角小于预设角度的目标边缘线；

确定出重合度最高的目标边缘线和目标区域分界线，并将重合度最高的目标边缘线和目标区域分界线拟合为一条直线，作为水平分界线。

在一实施例中，在将裁剪图像划分为多个子图像时，图像划分模块303用于：

对裁剪图像进行主体检测；

当检测裁剪图像存在预设主体时，将裁剪图像划分为包括预设主体的多个子图像。

在一实施例中，在对裁剪图像进行主体检测时，图像划分模块303用于：

对待处理图像进行对象检测，得到对应不同对象的多个对象边界框；

对每一对象边界框内的对象进行主体检测。

在一实施例中，在将裁剪图像划分为包括预设主体的多个子图像时，图像划分模块303用于：

确定出被检测为预设主体的对象的目标对象边界框；

将重叠的目标边界框合并得到合并边界框；

确定出面积最大的目标合并边界框，并随机生成包括目标合并边界框的多个裁剪框；

截取多个裁剪框内的图像内容得到多个子图像。

在一实施例中，在对裁剪图像进行主体检测之后，图像划分模块303还用于：

当检测到裁剪图像不存在预设主体时，随机将待处理图像划分为不同面积的多个子图像。

在一实施例中，在将子图像以及待处理图像作为候选图像进行图像质量评分时，图像划分模块303用于：

在多个不同质量维度分别对候选图像进行图像质量评分，得到多个候选评分；

根据多个候选评分加权得到候选图像的质量评分。

应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见以上实施例，此处不再赘述。

在一实施例中，还提供一种电子设备，请参照图8，电子设备包括处理器401和存储器402。

本申请实施例中的处理器401是通用处理器，比如ARM架构的处理器。

存储器402中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402中计算机程序的访问，实现如下功能：

获取待处理图像，并识别待处理图像的水平分界线；

旋转待处理图像以将其水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像；

将裁剪图像划分为多个子图像，并将子图像以及待处理图像作为候选图像进行图像质量评分；

筛选出质量评分最高的候选图像作为待处理图像的处理结果图像。

在一实施例中，在识别待处理图像的水平分界线时，处理器401用于执行：

对待处理图像进行语义分割，得到多个图像区域；

识别相邻图像区域间的区域分界线，并确定出与水平方向夹角小于预设角度的目标区域分界线；

对待处理图像进行边缘检测得到边缘线，并确定出与水平方向夹角小于预设角度的目标边缘线；

确定出重合度最高的目标边缘线和目标区域分界线，并将重合度最高的目标边缘线和目标区域分界线拟合为一条直线，作为水平分界线。

在一实施例中，在将裁剪图像划分为多个子图像时，处理器401用于执行：

对裁剪图像进行主体检测；

当检测裁剪图像存在预设主体时，将裁剪图像划分为包括预设主体的多个子图像。

在一实施例中，在对裁剪图像进行主体检测时，处理器401用于执行：

对待处理图像进行对象检测，得到对应不同对象的多个对象边界框；

对每一对象边界框内的对象进行主体检测。

在一实施例中，在将裁剪图像划分为包括预设主体的多个子图像时，处理器401用于执行：

确定出被检测为预设主体的对象的目标对象边界框；

将重叠的目标边界框合并得到合并边界框；

确定出面积最大的目标合并边界框，并随机生成包括目标合并边界框的多个裁剪框；

截取多个裁剪框内的图像内容得到多个子图像。

在一实施例中，在对裁剪图像进行主体检测之后，处理器401还用于执行：

当检测到裁剪图像不存在预设主体时，随机将待处理图像划分为不同面积的多个子图像。

在一实施例中，在将子图像以及待处理图像作为候选图像进行图像质量评分时，处理器401用于执行：

在多个不同质量维度分别对候选图像进行图像质量评分，得到多个候选评分；

根据多个候选评分加权得到候选图像的质量评分。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的处理器和/或专用语音识别芯片执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，并识别所述待处理图像的水平分界线，所述水平分界线为所述待处理图像中景物在水平方向上的水平分界线；

旋转所述待处理图像以将所述水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像，旋转后的所述待处理图像的水平分界线与水平方向平行，所述裁剪图像为采用最大内接矩形对旋转后的所述待处理图像进行裁剪得到；

将所述裁剪图像划分为多个子图像，并将所述子图像以及所述待处理图像作为候选图像进行图像质量评分，所述图像质量评分为多个不同质量维度的图像质量评分加权得到，所述图像质量评分包括主观有参考评分和客观无参考评分；

筛选出质量评分最高的候选图像作为所述待处理图像的处理结果图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述识别所述待处理图像的水平分界线，包括：

对所述待处理图像进行语义分割，得到多个图像区域；

识别相邻图像区域间的区域分界线，并确定出与水平方向夹角小于预设角度的目标区域分界线；

对所述待处理图像进行边缘检测得到边缘线，并确定出与水平方向夹角小于预设角度的目标边缘线；

确定出重合度最高的目标边缘线和目标区域分界线，并将重合度最高的目标边缘线和目标区域分界线拟合为一条直线，作为所述水平分界线。

3.根据权利要求1所述的图像处理方法，其特征在于，所述将所述裁剪图像划分为多个子图像，包括：

对所述裁剪图像进行主体检测；

当检测所述裁剪图像存在预设主体时，将所述裁剪图像划分为包括所述预设主体的多个子图像，并转入执行所述将所述子图像以及所述待处理图像作为候选图像进行图像质量评分。

4.根据权利要求3所述的图像处理方法，其特征在于，所述对所述裁剪图像进行主体检测，包括：

对所述待处理图像进行对象检测，得到对应不同对象的多个对象边界框；

对每一对象边界框内的对象进行主体检测。

5.根据权利要求4所述的图像处理方法，其特征在于，所述将所述裁剪图像划分为包括所述预设主体的多个子图像，包括：

确定出被检测为预设主体的对象的目标对象边界框；

将重叠的目标边界框合并得到合并边界框；

确定出面积最大的目标合并边界框，并随机生成包括所述目标合并边界框的多个裁剪框；

截取所述多个裁剪框内的图像内容得到所述多个子图像。

6.根据权利要求3所述的图像处理方法，其特征在于，所述对所述裁剪图像进行主体检测之后，还包括：

当检测到所述裁剪图像不存在预设主体时，随机将所述待处理图像划分为不同面积的多个子图像。

7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，所述将所述子图像以及所述待处理图像作为候选图像进行图像质量评分，包括：

在多个不同质量维度分别对所述候选图像进行图像质量评分，得到多个候选评分；

根据所述多个候选评分加权得到所述候选图像的质量评分。

8.一种图像处理装置，应用于电子设备，其特征在于，包括：

图像获取模块，用于获取待处理图像，并识别所述待处理图像的水平分界线，所述水平分界线为所述待处理图像中景物在水平方向上的水平分界线；

图像旋转模块，用于旋转所述待处理图像以将所述水平分界线旋转至预设位置，并裁剪旋转后的待处理图像得到裁剪图像，旋转后的所述待处理图像的水平分界线与水平方向平行，所述裁剪图像为采用最大内接矩形对旋转后的所述待处理图像进行裁剪得到；

图像划分模块，用于将所述裁剪图像划分为多个子图像，并将所述子图像以及所述待处理图像作为候选图像进行图像质量评分，所述图像质量评分为多个不同质量维度的图像质量评分加权得到，所述图像质量评分包括主观有参考评分和客观无参考评分；

图像筛选模块，用于筛选出质量评分最高的候选图像作为所述待处理图像的处理结果图像。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1至7任一项所述的图像处理方法。

10.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1至7任一项所述的图像处理方法。

Images