CN104346801A - 图像构图评估装置、信息处理装置及其方法 - Google Patents

Abstract

本发明公开了图像构图评估装置、信息处理装置及其方法。图像构图评估装置包括：区域分割单元，被配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。本发明能够对更多类型的图像和/或更多类型的构图问题进行评估。

Description

图像构图评估装置、信息处理装置及其方法

技术领域

本发明一般涉及图像处理和计算机视觉的领域，尤其涉及图像构图评估装置、信息处理装置及其方法。

背景技术

图像的质量不仅由其内容决定，而且还由其构图决定。以摄影图像作为例子。许多相片包含了人们希望拍摄的景物，但是，由于各种构图问题，它们看起来仍无吸引力。由于构图对于初学者而言太复杂，所以大多数初学者需要智能照相机来帮助他们得到较好的相片。

为了应对该情形，Fujifilm已经提出具有人体构图判断（HumanComposition Judgment）的成像装置，其能够基于人体提取结果来判断构图是否合适。图1和图2～3分别示出Fujifilm的人体构图判断方法的示意图和流程图。如图2所示，首先，在步骤210处，基于图像中的脸部检测来提取人体对象（在图1中用实线的长方形示出人体对象提取结果）。接下来，在步骤220处，基于图像中的除人体对象提取区域之外的区域中的特殊对象检测来提取非人体对象（在图1中用多边形示出非人体对象提取结果）。最后，在步骤230处，基于对象的重心是否在图像的预定区域之内来评估布置平衡性。图3给出了布置平衡性评估步骤的更详细的流程图。如图3所示，在步骤310和320处，分别计算每个人体对象的重心和每个非人体对象的重心；然后，在步骤340处，对该重心是否在图像的预定区域之内进行判断。同时，在步骤330处，基于步骤310和320的结果来计算整个的人体及非人体对象的重心；然后，在步骤350处，对该重心是否远离图像的中心区域进行判断。最后，在步骤360处，基于步骤340和350的结果对布置平衡性是否合适进行评估。在图1所示的例子中，实线的长方形内的十字指示提取的人体对象的重心，多边形内的十字指示提取的非人体对象的重心，十字A指示整个的人体及非人体提取对象的重心，十字B指示图像中心。结果，评估得出图1所示的图像的构图并不好（即，重心A低），由此提议画面可以被变焦到图1中虚线的长方形所示的位置，以使得重心A不远离图像中心B。

然而，以上的人体构图判断方法具有许多限制。

首先，这样的方法仅能够应对具有检测到的人脸的相片。这意味着根本就不能对诸如无特殊对象的风景相片（参见图25C）、无人体的对象相片（参见图25D～25E）、以及甚至无脸部的人体背侧相片（参见图25B）的其它相片进行评估。

其次，这样的方法仅能够有助于使人体对象在图像的中心区域中，其对于良好的构图而言并不足够。例如，由于该方法不关心人体对象的比例，因此人体对象可能不显著（参见图25B）；由于该方法不关心人体对象和非人体对象之间的关系，因此人体位置可能令人不舒服（参见图25A）；由于该方法不关心背景环境，因此可能由于不成比例的背景而导致不合理的构图（参见图25D）等。

因此，希望能够提供一种新的图像构图评估装置及其方法，其能够对更多类型的图像和/或更多类型的构图问题进行评估。

发明内容

鉴于以上问题中的至少一个提出本发明。

本发明的一个目的是提供一种新的图像构图评估装置、新的信息处理装置、新的图像构图评估方法和新的信息处理方法。

本发明的另一目的是提供一种图像构图评估装置、信息处理装置、图像构图评估方法和信息处理方法，其能够评估更多类型的图像，包括无特殊对象的风景图像、无人体的对象图像、无脸部的人体背侧图像等。

本发明的又一目的是提供一种图像构图评估装置、信息处理装置、图像构图评估方法和信息处理方法，其能够评估更多类型的构图问题，包括头上有对象（object on head）、区域尺寸判断、主要对象位置判断、吻边（kissing border）、靠近边界、中分（middle separation）、颜色失配等。

根据本发明的第一方面，提供一种图像构图评估装置，其包括：区域分割单元，被配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。

根据本发明的第二方面，提供一种信息处理装置，其包括如上所述的图像构图评估装置。

根据本发明的第三方面，提供一种图像构图评估方法，其包括：将图像分割成多个区域；从每一个区域提取至少一个属性；基于提取的属性来描述区域之间的关系；以及基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。

根据本发明的第四方面，提供一种信息处理方法，其包括如上所述的图像构图评估方法。

由于以上特征，本发明的图像构图评估装置、信息处理装置、图像构图评估方法和信息处理方法能够评估更多类型的图像，包括无特殊对象的风景图像、无人体的对象图像、无脸部的人体背侧图像等。

此外，由于以上特征，本发明的图像构图评估装置、信息处理装置、图像构图评估方法和信息处理方法能够评估更多类型的构图问题，包括头上有对象、区域尺寸判断、主要对象位置判断、吻边、靠近边界、中分、颜色失配等。

从参照附图对示例性实施例的以下详细描述，本发明的进一步的目的、特征和优点将变得明显。

附图说明

被包含于说明书中并构成其一部分的附图示出本发明的实施例，并与描述一起用于解释本发明的原理。

图1是Fujifilm的人体构图判断方法的示意图；

图2示意性地示出Fujifilm的人体构图判断方法的流程图；

图3示意性地示出Fujifilm的人体构图判断方法的布置平衡性评估步骤的流程图；

图4A～4D示意性地示出Fujifilm的人体构图判断方法的例子；

图5是能够实施根据本发明的图像构图评估方法和信息处理方法的计算设备的硬件配置的示意性框图；

图6示意性地示出根据本发明的图像构图评估方法的一般流程图；

图7示意性地示出根据本发明的图像构图评估方法的区域属性提取步骤的流程图；

图8示意性地示出如何获得训练后的递归神经网络（RecursiveNeural Network,RNN）模型；

图9示意性地示出RNN训练步骤的流程图；

图10示意性地示出根据本发明的区域属性提取步骤中的区域更新步骤的流程图；

图11示意性地示出在根据本发明的区域更新步骤中如何对隔离（isolated）区域进行合并；

图12示意性地示出在根据本发明的图像构图评估方法的构图评估步骤中如何检测吻边问题；

图13示意性地示出根据本发明的图像构图评估装置的一般框图；

图14示意性地示出根据本发明的图像构图评估装置的区域属性提取单元的框图；

图15示意性地示出根据本发明的区域属性提取单元中的区域更新单元的框图；

图16A～16D示意性地示出根据本发明的图像构图评估方法的例子；

图17A～17B是Felzenszwalb过分割（over-segmentation）方法和SLIC过分割方法的比较示意图；

图18是RNN方法的示意图；

图19是RNN训练输入的示意图；

图20示意性地示出根据本发明的图像构图评估方法的区域属性提取步骤中的区域分类步骤的结果；

图21示意性地示出在根据本发明的区域属性提取步骤中如何计算尺寸属性；

图22A～22B是根据本发明的区域属性提取步骤中的区域更新步骤的示意图；

图23示意性地示出两个区域的相对位置；

图24示意性地示出在根据本发明的构图评估步骤中如何检测头上有对象的问题；以及

图25A～25E示出通过根据本发明的图像构图评估方法检测到的一些示例性构图问题。

具体实施方式

下面将参照附图详细描述本发明的示例性实施例。应注意，以下的描述在本质上仅是解释性和示例性的，决不意在限制本发明及其应用或使用。除非另外特别说明，否则，在实施例中阐述的组件和步骤的相对布置、数字表达式以及数值并不限制本发明的范围。另外，本领域技术人员已知的技术、方法和装置可能不被详细讨论，但在合适的情况下意在成为说明书的一部分。

如前所述，人体构图判断方法是基于主要对象的（尤其是基于人体对象的），由此具有许多限制（例如，其不能够对图25A～25E中的大多数图像和问题进行评估）。在经过广泛且深入的研究之后，本发明的发明人已经找到一种新的基于图像区域的图像构图评估方法，其能够对几乎所有类型的图像和/或几乎所有类型的构图问题进行评估（例如，其能够对图25A～25E中的所有图像和问题进行评估）。为了进行简要比较，图4A～4D和图16A～16D分别示意性地示出Fujifilm的人体构图判断方法的例子和根据本发明的图像构图评估方法的例子。可以注意到，图4A与图16A是同样的，即，要对构图进行评估的输入图像是相同的。在图4A～4D的方法中，首先，提取人脸（图4B）；接下来，计算身体重心，如图4C的长方形中的十字所示；最后，评估得出身体重心低，由此提出可以如图4D中虚线的长方形所示的那样拍摄相片，以使得身体重心在图像中心区域内。相比之下，在图16A～16D的方法中，首先，将图像分割成多个区域（图16B）；接下来，提取每一个区域内的属性并计算区域之间的关系（在图16C中，为了清楚起见，示出了分类后的区域的边缘）；最后，评估得出不仅人体低（正如人体构图判断方法暗示的那样），而且在图16D所示的椭圆中出现吻边问题（人体构图判断方法根本就不能检测到这样的构图问题）。

下面，首先将参照图5描述可以实施根据本发明的图像构图评估方法和信息处理方法的计算设备5000的示意性硬件配置。为了简化的目的，仅示出了一个计算设备。然而，在需要时也可以使用多个计算设备。

如图5所示，计算设备5000可包括CPU5110、芯片集5120、RAM5130、存储控制器5140、显示控制器5150、硬盘驱动器5160、CD-ROM驱动器5170以及显示器5180。计算设备5000还可包括连接在CPU5110和芯片集5120之间的信号线5210、连接在芯片集5120和RAM5130之间的信号线5220、连接在芯片集5120和各种外围设备之间的外围设备总线5230、连接在存储控制器5140和硬盘驱动器5160之间的信号线5240、连接在存储控制器5140和CD-ROM驱动器5170之间的信号线5250、以及连接在显示控制器5150和显示器5180之间的信号线5260。

客户机5300可直接地或经由网络5400而被连接到计算设备5000。客户机5300可发送图像构图评估任务和/或信息处理任务给计算设备5000，并且计算设备5000可返回图像构图评估结果和/或信息处理结果给客户机5300。

接下来，将详细描述根据本发明的图像构图评估方法和信息处理方法。在本发明中，以摄影图像为例进行描述；然而，很明显，本发明可以被应用于任何类型的图像。

图6示意性地示出根据本发明的图像构图评估方法的一般流程图。

如图6所示，首先，在步骤610（区域分割步骤）处，将图像分割成多个区域（参见图16B）。

分割方法不被特别限制，只要将图像分割成多个不重叠的区域且所述多个不重叠的区域整体上构成该图像即可。例如，可以采用过分割方法，以将图像分割成多个被称为超像素（super-pixel）的区域。每一个超像素内的像素非常相似。采用的过分割方法可以是Felzenszwalb方法（可以参见Pedro F.Felzenszwalb,Daniel P.Huttenlocher,‘Efficient Graph-based Image Segmentation’,International Journal of Computer Vision,Vol.59,No.2,September2004）、SLIC方法（可以参见Radhakrishna Achanta,Appu Shaji,KevinSmith et al.,‘SLIC Superpixels’,EPFL Technical Report,No.149300,June2010）等。图17A～17B分别示出Felzenszwalb过分割方法和SLIC过分割方法。从图17A～17B的比较可以看出，不同的过分割方法导致不同的分割区域。然而，这对构图评估结果将不会有根本影响。作为替代，也可以采用任何其它的适当方法，以将图像分割成多个区域。例如，在区域分割步骤610中，甚至可以采用将图像分割成m×n个方格（square grid）（这里m和n是正整数）的简单方法。当然，这里，m和n越大，则构图评估结果越好。

接下来，在步骤620（区域属性提取步骤）处，从每一个区域提取至少一个属性。

图7给出区域属性提取步骤的示例性流程图。

如图7所示，在步骤710（区域特征提取步骤）处，首先从每一个区域提取至少一个特征。

提取的特征被用来描述分割区域的属性。因此，只要能够描述期望的属性，则提取的特征的类型和数量就不被特别限制（顺便提及的是，为每一个区域提取的特征是同样的）。例如，在区域特征提取步骤中可以使用诸如SVL（STAIR Vision Library）、LBP（Local BinaryPatterns）等的特征。尽管不同的特征可在随后的区域分类步骤中导致某种不同，但是这对构图评估结果将不会有根本影响。一般而言，提取的特征将是矩阵，其中每一行代表图像中的区域（或超像素）的特征，并且每一列代表图像中的所有区域（或所有超像素）的特征值。

然后，在步骤720（区域分类步骤）处，基于提取的所述至少一个特征和训练后的模型将每一个区域分类成预设的类别。

分类方法不被特别限制，并且在区域分类步骤中可以采用任何的适当的分类方法。在本发明的一个实施例中，采用递归神经网络（RNN）方法以将整个输入图像多类分割成不同的分类区域。图18给出RNN方法的示意图。在RNN方法中，如图18所示，分区（segment）特征首先被映射到语义特征空间，然后通过同一神经网络被递归地合并，直到它们代表整个图像为止。映射和合并两者都被习得。RNN方法将通过使用训练后的模型来计算每一个区域（或超像素）在每一预设的类别中的分数，并基于计算出的分数来选择一个类别作为每一个区域（或超像素）的标记（label）。在如图16A所示的输入图像的例子中，预设的类别可以是天空、树、身体及其它，并且图20示意性地示出相应的区域分类结果。

顺便提及的是，在本发明中，必须检测哪种类型的区域以及必须预设哪种类型的类别不被特别限制。其取决于特定的输入图像。例如，如果在图像中捕获到人体，则将要分析人体自身以及人体和其它区域之间的关系；如果在图像中捕获到风景，则将要分析不同区域之间的关系。

这里，将简要描述RNN训练方法。图8～9示意性地示出如何从标记图像（其包含标记的类别信息）获得RNN训练后的模型。

如图8所示，在步骤810处，将标记图像分割以获得分区文件。然后，在步骤820处，从标记图像的分割区域提取特征以获得特征文件。特征例如可以包括颜色和纹理特征、增高的像素分类器分数（在标记的训练数据上训练）、外观和形状特征等。顺便提及的是，步骤810和步骤820应分别与步骤610和步骤710相同，即，对训练图像和要对构图进行评估的图像两者，应采用相同的分割方法，并且应提取相同的特征。

最后，在步骤830处，例如通过使用分区文件、特征文件、以及真值标记文件和列表文件来进行RNN训练，以便获得在区域分类步骤720中使用的RNN训练后的模型。

图19示意性地示出RNN训练输入。在图19中，第二行示出训练图像的输入实例，其中区域1～2以及区域3～5是被不同地标记的区域。第三行示出区域的相邻矩阵。相邻矩阵A是对称性的，其中，如果区域i与区域j相邻，则A(i,j)=1；否则A(i,j)=0。图19还在其第四行示出正确的树的集合，其对合并具有相同标记的区域的顺序并不在意。

简而言之，RNN训练步骤830基于样品区域的所有标记特征来对参数进行迭代。图9给出RNN训练步骤的示例性流程图。如图9所示，在步骤910处，对数据进行预处理；在步骤920处，对模型进行初始化；在步骤930处，使能量最小化；在步骤940处，判断是否收敛：如果否，则处理回到步骤930，否则，处理前进到输出训练后的模型的步骤950。对于RNN训练的更详细的描述，可以参见RichardSocher,Cliff Chiung-Yu Lin,Andrew Y.Ng,‘Parsing Natural Scenes andNatural Language with Recursive Neural Networks’,Proceeding of the28th International Conference on Machine Learning,Bellevue,WA,USA,2011（图18～19摘自该文献）。

现在回到图7。接下来，在步骤730（区域属性收集步骤）处，为每一个区域收集所述至少一个属性。

属性被用于图像构图评估，并取决于用于图像构图评估的预设准则。例如，属性可以包括类别、位置、尺寸、颜色、纹理等中的至少一种。不必说，属性还可以是图像构图评估所需的任何其它的适当的属性。此外，收集属性的顺序不被特别限制。

对于类别属性，其例如可以简单地从区域分类步骤720的结果被取得。如前所述，可以使用哪种类型的类别不被特别限制。其取决于特定的输入图像。

对于位置属性，可以使用哪种类型的位置不被特别限制。仅需要使所有区域收集相同的位置属性。例如，位置属性可以是区域的重心位置和外接框位置。作为替代，位置属性可以是区域的轮廓中心位置。可以通过下式（1）来表示区域A的重心G_Center(A)：

$G_{\mathrm{Center}}\left(A\right)=\frac{{\mathrm{\Σ}}_p(x_p,y_p)}{\mathrm{Count}\left(p\right)},(x_p,y_p)\∈A---\left(1\right)$

这里(x_p,y_p)是像素p的坐标，Count(p)是区域A内的总像素数。

对于尺寸属性，可以使用哪种类型的尺寸不被特别限制。仅需要使所有区域收集相同的尺寸属性。例如，尺寸属性可以是区域的面积（如图21中用于区域C的交叉线所示）。作为替代，尺寸属性可以是区域的外接框的面积或比例（scale）（如图21中用于区域C的虚线长方形D所示）。

对于颜色属性，可以使用哪种类型的颜色不被特别限制。仅需要使所有区域收集相同的颜色属性。例如，颜色属性可以是区域的颜色直方图。可以如下式（2）那样来描述提取函数：

$H_A\left(k\right)=\underset{(x_p,y_p)\∈A}{\mathrm{\Σ}}h\left(C(x_p,y_p)\right)$

这里k是计算的颜色空间中颜色属性的维度，C(x_p,y_p)是(x_p,y_p)处的颜色。

根据需要，也可以提取各区域内的诸如纹理等的有用属性。

通过以上步骤710～730，在区域属性提取步骤620中从每一个区域已提取至少一个属性。

有时，在区域分类步骤720之后，如果所有区域被根据它们的类别而进行标记（例如，在图22A中，用同一灰度级来表示属于同一类别的区域），那么可发现可能存在诸如区域E的隔离区域（即，被其它区域包围的区域）。在这种情况下，为了使分割区域更简明并由此易于从图像提取主要信息，可以在区域属性收集步骤730之后可选地执行用于合并隔离区域并更新区域属性的区域更新步骤740。图10示意性地示出区域更新步骤740的流程图。

如图10所示，首先，在步骤1010处，对隔离区域进行合并。

图11给出隔离区域合并步骤1010的示例性流程图。

这里，假设在图像中存在m个区域：P={P_i,i=1,2,...,m}。区域分类步骤720的结果给出了每一个区域的类别标记：C={C_i,i=1,2,...,m}。目的是要去除隔离区域并得到之后的每一个区域的新的类别标记：L'={L'_i,i=1,2,...,n}，这里，n是合并之后的区域数并且n≤m。

如图11所示，在步骤1110处，建立相邻矩阵。相邻矩阵ADJ是m×m矩阵，这里m是区域数。ADJ(i,j)=1意味着区域i和区域j是邻居，并且对角线元素为零，即，ADJ(i,i)=0,i=1,2,…,m。

接下来，在步骤1120处，判断是否存在任何隔离区域。如果是，则处理前进到步骤1130。

在步骤1130处，对隔离区域进行合并。用于步骤1130的算法可以如下所述。当围绕一个区域的各区域都属于相同的类别C时，所述一个区域的类别标记被修改为C，并且所有这些区域被合并到具有最大像素数的区域，即，合并后的区域的ID号为具有最大像素数的区域的ID号。

然后，在步骤1140处，相应地更新相邻矩阵ADJ，并且处理回到步骤1120。

如果判断不存在任何隔离区域，则处理前进到步骤1150。在步骤1150处，合并后的区域被连同它们的类别标记L'={L'_i,i=1,2,...,n}一起被输出。

现在回到图10。在隔离区域合并步骤1010之后，执行用于更新区域属性的步骤1030。

在合并之后，如果被合并成一个区域的多个区域具有多于一个的类别，那么合并后的所述一个区域的类别是该多个区域中的最多数区域具有的类别。

可以如区域属性收集步骤730中那样来更新其它属性，并且，唯一的区别在于：针对分割区域执行步骤730，而针对合并区域执行该属性更新步骤。

如图10所示，可选地，在隔离区域合并步骤1010之后且在区域属性更新步骤1030之前，区域更新步骤可以进一步包括用于使区域之间的边界平滑化的边界平滑化步骤1020。这是因为，有时，如用相同灰度级表示属于同一类别的区域的图22A所示，分类后的域之间的边界可能不平滑。在这种情况下，进一步执行边界平滑化步骤1020，以使区域更简明并由此易于从图像提取主要信息。

在边界平滑化步骤1020中，可以利用数学形态学（mathematicalmorphology,MM）。基本的形态算符包括腐蚀和膨胀(⊕)。开运算(о)和闭运算(·)被作为不同成分的组合而执行。更具体而言，如果I是要被处理的图像区域，S_E是结构元素（structuring element），则可以如下式（3）那样来定义MM：

I⊕S_E=I+S_E

          (3)

IоS_E=(I-S_E)+S_E

I·S_E=(I+S_E)-S_E

变换严格地取决于结构元素的拓扑以及几何。可以遵循数个结构元素来计算出平滑边界β(I)。作为例子，可以如下式（4）那样来表示通过膨胀至腐蚀而提取的平滑边界：

图22A～22B示意性地示出合并和平滑化的结果。如从图22A可见的那样，在合并和平滑化之前，存在诸如区域E的隔离区域，并且人体附近的边界具有许多毛刺。在合并和平滑化之后，如从图22B可见的那样，诸如区域E的隔离区域被合并（即，它们不再存在），并且人体附近的边界看起来非常平滑。尽管区域更新步骤740仅仅是可选的（即，不进行合并和平滑化，本发明仍能够实现其对更多类型的图像和/或更多类型的构图问题进行评估的目的），但是它可以使区域更简明并由此易于从图像提取主要信息，从而能够有助于图像构图评估。

现在回到图6。在区域属性提取步骤620之后，接下来，在步骤630（区域关系描述步骤）处，基于提取的属性来描述区域之间的关系。

正如提取的属性那样，描述的关系被用于图像构图评估，并取决于图像构图评估的预设准则。例如，描述的关系可以包括相对位置、相对面积比例、颜色匹配、纹理匹配等中的至少一种。不必说，描述的关系还可以是图像构图评估所需的任何其它的适当关系。并且，用于对关系进行描述的顺序不被特别限制。在区域关系描述步骤630中可关注所有类型的区域。

对于相对位置，例如，可以考虑区域是否是邻居。可以使相邻矩阵与以上步骤1010中的几乎相同，并且，这里为了简洁而未给出详细描述。还可以考虑一些区域是否在主要区域（诸如被识别为人体的区域）之上。否则，可以计算不相邻主要区域的位置和距离。图23给出两个区域F和G的相对位置的例子，这里区域F和G之间的距离H被计算。不必说，如果对于图像构图评估而言是期望的，那么也可以计算任何其它的相对位置。

对于相对比例，例如，可以计算被标记为同一类别的不同区域的面积比例。也可以计算主要区域对于整个图像的面积比例。如果期望的话，可以允许具有不同类别的区域的求和区域的比例。作为例子，下式（5）可被用于计算相对比例：

$p_{\mathrm{Image}}\left(r\right)=\frac{\mathrm{Area}\left(r\right)}{\mathrm{Area}\left(\mathrm{image}\right)}=\frac{\mathrm{Area}\left(r\right)}{W_{\mathrm{img}}\×H_{\mathrm{img}}}\×100\%$

        (5)

$p_{\mathrm{Max}}\left(r\right)=\frac{\mathrm{Area}\left(r\right)}{\mathrm{Area}\left(R\right)}\×100\%,r\≠R$

这里，r是图像中的区域ID(r=1,…,n)，R是最大区域的区域ID，W_img和H_img分别是图像的宽度和高度，Area(r)、Area(R)和Area(image)分别是区域r的面积、最大区域R的面积和图像的面积。不必说，如果对于图像构图评估而言是期望的，那么也可以计算任何其它的相对比例。

除了上述的相对位置和相对比例之外，也可以计算或描述区域之间的其它关系，即，可以使用哪种类型的关系不被特别限制。例如，可以考虑颜色匹配、纹理匹配等。其可以有助于判断构图中的冲突视图感觉（conflict view feeling）。

在本发明的一个实施例中，例如，区域关系描述步骤630可以包括以下步骤中的至少一个：相对位置计算步骤，用于基于距离、相邻关系（neighbourhood）和对称性来计算区域的相对位置；以及协调度（coordination degree）计算步骤，用于基于相对面积比例、颜色匹配和区域复杂度来计算区域之间的协调度。

在区域关系描述步骤630之后，接下来，在步骤640（构图评估步骤）处，基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。

构图评估步骤640被用于针对所述至少一个预设的准则来找到图像中的构图问题的位置和原因。一般地，从无吸引力的构图的常见原因来提取所述准则，尽管必须包含哪种类型的准则不被特别限制。例如，其可包括头上有对象、区域尺寸判断、主要对象位置判断、吻边、靠近边界、中分、颜色匹配等中的至少一种。用于评估以上各种构图问题的顺序不被特别限制。

对于头上有对象的准则，一般而言，对象不应在头上。例如，可以检查与身体区域的上部相邻接的区域是否是对象，以及对象区域是否或多或少地全部在身体的头部或身体区域的上部之上。如果是，则评估得出存在头上有对象的构图问题。

图24示意性地示出如何检测头上有对象的问题。如图24所示，将身体区域J的顶部10％的宽度用作检测窗口K的宽度，并将所述宽度的1.5倍用作检测窗口K的高度。检查是否存在位于检测窗口K之内并且与身体区域J接界的区域。如果是（正如区域I那样），则评估得出存在头上有对象的构图问题。

图25A给出通过根据本发明的图像构图评估方法检测到的这样的构图问题的例子。在图25A中，图像中间的长方形指示头上有对象的问题。

对于区域尺寸判断的准则，一般而言，区域的相对比例不应相差非常大。例如，可以检查一个类别的区域比例与其它类别的区域比例是否协调。如果需要的话，可以定义阈值和参数。作为例子，如果一个类别的面积比第二大类别的面积大100％，则评估得出所述类别的面积大。相反，如果一个类别的面积在第二小类别的面积的30％之下，则评估得出所述类别的面积小。

图25B和25D给出通过根据本发明的图像构图评估方法检测到的这样的构图问题的例子。在图25B和25D中，诸如“小”和“大”的文字指示区域尺寸问题。

对于主要对象位置判断的准则，一般而言，主要对象或前景的位置应遵循图像的九宫格（number sign square grid）。在图16D和图25A～25E中示出的九宫格意味着：图像的宽度和高度都通过2条线被分成3个相等部分，由此图像被分成9个相等的方形。根据构图规则，将主要对象置于属于九宫格的4个交叉点之一处较好。如果主要对象太高/低/右/左或者几乎在图像的中心点，则评估得出存在主要对象高/低/右/左/中的构图问题。

例如，在图16D中，当身体区域被取作主要对象时，可以通过下式（6）来描述该评估：

对于吻边的准则，一般而言，主要对象的边界的一部分不应恰好与分隔两个背景区域的平滑边界线重叠，例如，身体不应与其它区域的边界吻合。根据构图规则，如果主要对象、尤其是人体头部吻边，则图像构图看起来压抑。

通常地，可以使用扫描窗口来检查图像中的吻边问题。例如，当身体区域被取作主要对象时，图12示例性地示出如何检测吻边问题。如图12所示，在步骤1210处，窗口被扫描。接下来，在步骤1220处，判断身体是否包含在窗口中。如果在步骤1220处为否，则处理转到将在后面描述的步骤1260；如果在步骤1220处为是，则处理前进到进一步判断在窗口中是否包含3个或更多个部分的步骤1230。如果在步骤1230处为否，则处理转到步骤1260；如果在步骤1230处为是，则处理前进到进一步判断各个部分的面积是否例如大于0.2×（窗口的面积）的步骤1240。如果在步骤1240处为否，则处理转到步骤1260；如果在步骤1240处为是，则处理前进到窗口被标记的步骤1250。接下来，处理前进到判断是否已经扫描整个图像的步骤1260。如果在步骤1260处为否，则处理返回到步骤1210；如果在步骤1260处为是，则处理前进到所有被标记的窗口被合并成椭圆以突显发生吻边问题的区域的步骤1270。

图16D给出通过根据本发明的图像构图评估方法检测到的这样的构图问题的例子。在图16D中，椭圆指示发生吻边问题的区域。

对于靠近边界的准则，一般而言，主要对象不应太靠近图像边界。根据构图规则，如果主要对象的某部分太靠近图像边界。则图像构图看起来不稳定。

例如，可以如下那样进行该评估。可以检查主要对象的除了底外接框线之外的外接框线是否太靠近图像边界。阈值例如可以被设置为10％，但是其并不必限于此。可以通过下式（7）来描述该评估：

这里，Box(major).top,Box(major).left和Box(major).right分别表示主要对象的顶外接框线、左外接框线和右外接框线。如式（7）所示，如果外接框线和最近的图像边界的距离在阈值之下，则评估得出对象太靠近边界。并且，可以用虚线来突显太靠近边界的外接框线。

图25E给出通过根据本发明的图像构图评估方法检测到的这样的构图问题的例子。在图25E中，虚线指示靠近边界问题。

对于中分的准则，一般而言，图像不应在中间被划分，即，不应该用在图像中间的划分线将图像划分成两个主要部分。根据构图规则，如果图像在中间被划分，则图像构图看起来故意性太强，以至于令人不舒服。

例如，可以如下那样进行该评估。从顶部到底部扫描图像中心区域，并且检查是否在扫描的长方形区域内存在划分线。如果存在这样的划分线，即使它不从左边穿越到右边（例如，在诸如图像宽度的80％的阈值之上），也评估得出出现中分问题。

图25C给出通过根据本发明的图像构图评估方法检测到的这样的构图问题的例子。在图25C中，虚线的长方形突显中分问题。

如前所述，可以根据需要对于图像构图评估采用任何其它的适当准则，并且本发明在这一方面不被特别限制，只要遵循构图规则即可。例如，可以将颜色匹配准则定义为：不应该用简单的绿色和简单的红色来填充图像。

通过以上步骤，可以根据本发明的方法来评估图像构图。

现在回到图6。可选地，在构图评估步骤640之后，可以进一步执行用于输出并通知评估出的构图问题的步骤650（构图问题通知步骤）。

到目前为止，已示意性地描述了本发明的图像构图评估方法。

不必说，本发明的方法可被应用于各种领域。例如，信息处理方法可以包括本发明的图像构图评估方法，从而基于图像构图评估结果来处理信息。

如从以上描述可以看到的那样，不像基于主要对象的Fujifilm的人体构图判断方法那样，根据本发明的图像构图评估方法是基于图像区域的。更具体而言，它提取每个分割区域内的属性并描述分割区域之间的关系，然后基于提取的属性和描述的关系来进行图像构图评估。也就是说，它关注整个图像的所有类型的区域（不仅特殊对象的区域，而且其它类型的区域，尤其是属于背景的区域），而不仅是训练后的主要对象。由此，其它区域对于图像构图的效果被改善。那些收集的信息更类似于手工方法，并且用于评估的准则更接近于人类视觉。

由于以上原因，本发明的一个优点是它能够评估更多类型的图像（实际上，它能够评估所有类型的图像），包括无特殊对象的风景图像、无人体的对象图像、无脸部的人体背侧图像等。与此相对照，Fujifilm的人体构图判断方法仅能应对具有人脸的图像。

本发明的另一个优点是它能够评估更多类型的构图问题（实际上，它能够评估所有类型的构图问题，只要采用了合适的评估准则即可），包括头上有对象、区域尺寸判断、主要对象位置判断、吻边、靠近边界、中分、颜色失配等。与此相对照，Fujifilm的人体构图判断方法仅能评估人体位置，更具体而言，它仅能有助于使人体对象在图像的中心区域中，这对于良好构图而言远远不够。因此，对于本发明，基于图像构图评估结果的下一个选择不限于如何使人体对象在图像的中心区域中；而是，可以给出关于如何获得具有优异构图的图像的全面指导，诸如通过改变拍摄角度、避免干扰物等。

下表1示出本发明的图像构图评估方法和Fujifilm的图像构图评估方法（即，人体构图判断方法）之间的粗略比较。其仅仅是说明性的，而不是穷举性的。

表1

	本发明的构图评估方法	Fujifilm的构图评估方法
			能够评估包含人脸的图像	√	√
能够评估没有人体的图像	√	×
			提取人体	√	√
提取主要对象	√	√
			提取背景区域	√	×
比例限制	√	×
			位置控制	√	√
分析区域边界	√	×
			分析区域关系	√	×

以下，将参照图13～15简要描述本发明的图像构图评估装置和信息处理装置。

图13示意性地示出根据本发明的图像构图评估装置的一般框图。如图13所示，图像构图评估装置1300可以包括以下单元：区域分割单元1310，被配置成将图像分割成多个区域；区域属性提取单元1320，被配置成从每一个区域提取至少一个属性；区域关系描述单元1330，被配置成基于提取的属性来描述区域之间的关系；以及构图评估单元1340，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。

可选地，图像构图评估装置1300可以进一步包括以下单元：构图问题通知单元1350，被配置成在基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图之后，输出并通知评估出的构图问题。

在本发明的一些实施例中，在区域分割单元1310中，可以采用过分割方法将图像分割成所述多个区域。

在本发明的一些实施例中，过分割方法是Felzenszwalb方法或SLIC方法。

此外，图14示意性地示出根据本发明的区域属性提取单元1320的框图。如图14所示，区域属性提取单元1320可以进一步包括以下单元：区域特征提取单元1410，被配置成从每一个区域提取至少一个特征；区域分类单元1420，被配置成基于提取的所述至少一个特征和训练后的模型将每一个区域分类成预设的类别；以及区域属性收集单元1430，被配置成为每一个区域收集所述至少一个属性。

可选地，区域属性提取单元1320可以进一步包括以下单元：区域更新单元1440，被配置成在为每一个区域收集所述至少一个属性之后，合并隔离区域并更新区域属性。

在本发明的一些实施例中，在区域分类单元1420中，采用递归神经网络方法将每一个区域分类成预设的类别。

此外，图15示意性地示出根据本发明的区域更新单元1440的框图。如图15所示，区域更新单元1440可以进一步包括以下单元：被配置成合并隔离区域的单元1510；以及被配置成更新区域属性的单元1530。

可选地，区域更新单元1440可以进一步包括以下单元：被配置成使区域之间的边界平滑化的单元1520。

在本发明的一些实施例中，当在区域更新单元1440中更新区域属性时，如果被合并成一个区域的多个区域具有多于一个的类别，那么合并后的所述一个区域的类别是该多个区域中的最多数区域具有的类别。

在本发明的一些实施例中，区域关系描述单元1330可以进一步包括以下单元中的至少一个：相对位置计算单元，被配置成基于距离、相邻关系和对称性来计算区域的相对位置；以及协调度计算单元，被配置成基于相对面积比例、颜色匹配和区域复杂度来计算区域之间的协调度。

在本发明的一些实施例中，构图评估单元1340能够针对所述至少一个预设的准则来找到图像中的构图问题的位置和原因。

在本发明的一些实施例中，图像可以是摄影图像。

在本发明的一些实施例中，提取的属性和描述的关系可以取决于所述至少一个预设的准则。

在本发明的一些实施例中，提取的属性可以包括类别、位置、尺寸、颜色和纹理中的至少一种。

在本发明的一些实施例中，描述的关系可以包括相对位置、相对面积比例、颜色匹配和纹理匹配中的至少一种。

在本发明的一些实施例中，所述至少一个预设的准则可以包括头上有对象、区域尺寸判断、主要对象位置判断、吻边、靠近边界、中分和颜色匹配中的至少一种。

在本发明的一些实施例中，可以提供一种信息处理装置，其包括根据本发明的图像构图评估装置。

到目前为止，已经示意性地描述了根据本发明的图像构图评估装置和信息处理装置。应注意，以上的所有装置都是用于实施本发明的图像构图评估方法和信息处理方法的示例性优选模块。然而，在上面并未穷尽地描述用于实施各种步骤的模块。通常，当存在执行某一处理的步骤时，则存在用于实施该相同处理的对应的功能模块或装置。另外，应注意，可以将两个或更多个装置合并为一个装置，只要可以实现它们的功能即可；另一方面，也可以将任何一个装置划分为多个装置，只要可以实现类似的功能即可。

能够以许多方式来实施本发明的方法、装置和设备。例如，可以通过软件、硬件、固件或其任何组合来实现本发明的方法、装置和设备。另外，所述方法的上述步骤顺序仅仅意在是说明性的，本发明的方法的步骤并不必限于上面具体描述的顺序，除非另外特别说明。例如，尽管图7中在区域分类步骤720之后执行区域属性收集步骤730，但是，也可以与区域分类步骤720同时地或在区域分类步骤720之前收集一些属性；尽管图10中在隔离区域合并步骤1010之后执行边界平滑化步骤1020，但是，其也可以在隔离区域合并步骤1010之前被执行。另外，在一些实施例中，本发明也可以被实现为记录在记录介质中的程序，其包括用于实施根据本发明的方法的机器可读指令。从而，本发明也涵盖了存储用于实施根据本发明的方法的程序的记录介质。

虽然已参照示例性实施例描述了本发明，但要理解，本发明不限于所公开的示例性实施例。对于本领域技术人员显然的是，可以在不背离本发明的范围和精神的情况下修改以上的示例性实施例。所附的权利要求的范围要被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

Claims (19)

1.一种图像构图评估装置，包括：

区域分割单元，被配置成将图像分割成多个区域；

区域属性提取单元，被配置成从每一个区域提取至少一个属性；

区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及

构图评估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。

2.如权利要求1所述的装置，其中，在区域分割单元中，采用过分割方法将图像分割成所述多个区域。

3.如权利要求2所述的装置，其中，过分割方法是Felzenszwalb方法或SLIC方法。

4.如权利要求1所述的装置，其中，区域属性提取单元进一步包括以下单元：

区域特征提取单元，被配置成从每一个区域提取至少一个特征；

区域分类单元，被配置成基于提取的所述至少一个特征和训练后的模型将每一个区域分类成预设的类别；以及

区域属性收集单元，被配置成为每一个区域收集所述至少一个属性。

5.如权利要求4所述的装置，其中，在区域分类单元中，采用递归神经网络方法将每一个区域分类成预设的类别。

6.如权利要求4所述的装置，其中，区域属性提取单元进一步包括以下单元：

区域更新单元，被配置成在为每一个区域收集所述至少一个属性之后，合并隔离区域并更新区域属性。

7.如权利要求6所述的装置，其中，区域更新单元在合并隔离区域之后且在更新区域属性之前，进一步使区域之间的边界平滑化。

8.如权利要求6所述的装置，其中，当在区域更新单元中更新区域属性时，如果被合并成一个区域的多个区域具有多于一个的类别，那么合并后的所述一个区域的类别是该多个区域中的最多数区域具有的类别。

9.如权利要求1所述的装置，其中，区域关系描述单元进一步包括以下单元中的至少一个：

相对位置计算单元，被配置成基于距离、相邻关系和对称性来计算区域的相对位置；以及

协调度计算单元，被配置成基于相对面积比例、颜色匹配和区域复杂度来计算区域之间的协调度。

10.如权利要求1所述的装置，其中，构图评估单元能够针对所述至少一个预设的准则来找到图像中的构图问题的位置和原因。

11.如权利要求1所述的装置，进一步包括以下单元：

构图问题通知单元，被配置成在基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图之后，输出并通知评估出的构图问题。

12.如权利要求1至11中任一项所述的装置，其中，所述图像是摄影图像。

13.如权利要求1至11中任一项所述的装置，其中，提取的属性和描述的关系取决于所述至少一个预设的准则。

14.如权利要求1至11中任一项所述的装置，其中，提取的属性包括类别、位置、尺寸、颜色和纹理中的至少一种。

15.如权利要求1至11中任一项所述的装置，其中，描述的关系包括相对位置、相对面积比例、颜色匹配和纹理匹配中的至少一种。

16.如权利要求1至11中任一项所述的装置，其中，所述至少一个预设的准则包括头上有对象、区域尺寸判断、主要对象位置判断、吻边、靠近边界、中分和颜色匹配中的至少一种。

17.一种信息处理装置，包括如权利要求1至16中任一项所述的图像构图评估装置。

18.一种图像构图评估方法，包括：

将图像分割成多个区域；

从每一个区域提取至少一个属性；

基于提取的属性来描述区域之间的关系；以及

基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。

19.一种信息处理方法，包括如权利要求18所述的图像构图评估方法。