CN101990068A

CN101990068A - 图像处理装置及方法

Info

Publication number: CN101990068A
Application number: CN201010244014XA
Authority: CN
Inventors: 喜多一记
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-07-31
Filing date: 2010-07-30
Publication date: 2011-03-23
Anticipated expiration: 2030-07-30
Also published as: KR20110013301A; CN101990068B; TW201130294A; JP2011035633A; KR101199804B1; JP4844657B2; US20110026837A1; TWI446786B

Abstract

本发明提供一种图像处理装置，其中该图像处理装置基于统计了多个特征量图(Fc、Fh、Fs)的显著性图(S)，针对直通图像(51)推测关注点区域(52)(步骤Sa至Sc)；提取与直通图像(51)相对应的边缘图像(53)的线成分(边缘SL等)(步骤Se、Sf)；利用关注点区域(52)或线成分(边缘成分SL等)，从多个模型构图方案中识别与主要被拍摄物体的配置状态有关且与直通图像(51)类似的模型构图方案(例如构图方案C3、C4等)(步骤Sg、Sh)。由此，即使在各种各样的被拍摄物体或一般的场景中也能以理想的构图或感觉良好的构图进行摄影。

Description

图像处理装置及方法

技术领域

本发明涉及图像处理装置及方法，尤其涉及在各种被拍摄物体或一般的场景中都能进行理想的构图或感觉良好的构图下的摄影的技术。

背景技术

一直以来，在用户利用照相机进行摄影的情况下，有时会获得与本意不同的摄影图像。为了回避这种失败，提出了各种各样的回避对策。

例如，在想要对人物等周围的整个风景进行摄影时，有时会产生缩小人物等进行摄影的现象。在日本特开2006-148344号公报等中提出了该现象的回避对策。

例如，用户通过使用F值小(口径大)的透镜或者开放光圈使F值减小，从而使瞄准点仅与近景一致，可以进行使背景晕色的摄影。然而，会产生在晕色程度不合适的状态下进行摄影的现象。在日本特开平06-30349号公报等中提出了该现象的回避对策。

例如，用户在只注意瞄准点一致时等，会以使被拍摄物体配置于中央的构图进行摄影。这种情况下，会产生以下现象：摄影图像成为像初学者摄影的图像或者成为单调的说明图像。在日本特开2002-232753号公报、特开2007-174548号公报等中提出了该现象的回避对策。

然而在各种被拍摄物体或一般的场景中，有时产生无法以理想的构图或感觉良好的构图进行摄影的现象。为了回避这种现象，即使采用包括日本特开2006-148344号公报、日本特开平06-30349号公报、日本特开2002-232753号公报、日本特开2007-174548号公报在内的现有的回避对策，也难以有效地回避。

发明内容

本发明的目的在于：即使在各种各样的被拍摄物体或一般的场景中也能以理想的构图或感觉良好的构图进行摄影。

根据本发明的第一观点，提供一种图像处理装置，包括：推测部，基于从包含主要被拍摄物体的输入图像中提取出的多个特征量，针对所述输入图像推测关注点区域；和识别部，其利用由所述推测部推测出的所述关注点区域，从多个模型构图方案中识别与所述主要被拍摄物体的配置状态有关且与所述输入图像类似的模型构图方案。

根据本发明的第二观点，提供一种图像处理方法，包括：推测步骤，基于从包含主要被拍摄物体的输入图像中提取出的多个特征量，针对所述输入图像推测关注点区域；和识别步骤，利用通过所述推测步骤的处理推测出的所述关注点区域，从多个模型构图方案中识别与所述主要被拍摄物体的配置状态有关且与所述输入图像类似的模型构图方案。

(发明效果)

根据本发明，即使在各种各样的被拍摄物体或一般的场景中也能以理想的构图或感觉良好的构图进行摄影。

附图说明

图1是本发明第1实施方式涉及的图像处理装置的硬件构成的图。

图2是对本发明第1实施方式的场景构图识别处理的概略进行说明的图。

图3是表示存储了本发明第1实施方式的场景构图识别处理中的构图分类处理中所利用的每个模型构图图案的各种信息的表格信息的一例的图。

图4是表示存储了本发明第1实施方式的场景构图识别处理中的构图分类处理中所利用的每个模型构图方案的各种信息的表格信息的一例的图。

图5是表示本发明第1实施方式的摄影模式处理的流程的一例的流程图。

图6是表示本发明第1实施方式的摄影模式处理的具体处理结果的例子的图。

图7是表示本发明第1实施方式的摄影模式处理中的场景构图识别处理的流程的详细例子的流程图。

图8是表示本发明第1实施方式的摄影模式处理中的关注点区域推测处理的流程的详细一例的流程图。

图9是表示本发明第1实施方式的摄影模式处理中的特征量图生成处理的流程的一例的流程图。

图10是表示本发明第1实施方式的摄影模式处理中的特征量图生成处理的流程的其它例的流程图。

图11是表示本发明第1实施方式的摄影模式处理中的构图分类处理的流程的详细一例的流程图。

图12表示本发明第2实施方式中的液晶显示器的显示例。

图中：100-图像处理装置；1-光学透镜装置；2-快门装置；3-执行机构；4-CMOS传感器；5-AFE；6-TG；7-DRAM；8-DSP；9-CPU；10-RAM；11-ROM；12-液晶显示控制器；13-液晶显示器；14-操作部；15-存储卡；16-测距传感器；17-测光传感器。

具体实施方式

(第1实施方式)

以下，基于附图说明本发明的第1实施方式。

图1是表示本发明第1实施方式涉及的图像处理装置100的硬件构成的图。图像处理装置100例如可以由数码照相机构成。

图像处理装置100包括：光学透镜装置1、快门装置2、执行机构3、CMOS(Complementary Metal Oxide Semiconductor)传感器4、AFE(AnalogFront End)5、TG(Timing Generator)6、DRAM(Dynamic Random AccessMemory)7、DSP(Digital Signal Processor)8、CPU(Central Processor Unit)9、RAM(Random Access Memory)10、ROM(Read Only Memory)11、液晶显示控制器12、液晶显示器13、操作部14、存储卡15、测距传感器16和测光传感器17。

光学透镜装置1例如由聚焦透镜或变焦透镜等构成。聚焦透镜是用于使被拍摄物体像成像在CMOS传感器4的受光面上的透镜。

快门装置2例如由快门叶片等构成。快门装置2起到遮断向CMOS传感器4入射的光束的机械式快门的作用。快门装置2还起到对入射到CMOS传感器4的光束的光量进行调节的光圈的作用。执行机构3根据CPU9进行的控制，使快门装置2的快门叶片开闭。

CMOS传感器4例如由CMOS型的图像传感器等构成。被拍摄物体像经由快门装置2，从光学透镜装置1入射到CMOS传感器4中。因此，CMOS传感器4根据由TG6提供的时钟脉冲，每隔一定时间对被拍摄物体像进行光电转换(摄影)后蓄积图像信号，并将蓄积的图像信号作为模拟信号而依次输出。

从CMOS传感器4向AFE5提供模拟的图像信号。因此，AFE5根据由TG6提供的时钟脉冲，对模拟的图像信号实施A/D(Analog/Digital)转换处理等各种信号处理。各种信号处理的结果是，生成数字信号并从AFE5输出。

TG6根据CPU9进行的控制，每隔一定时间，分别向CMOS传感器4与AFE5提供时钟脉冲。

DRAM7暂时存储由AFE5生成的数字信号和由DSP8生成的图像数据。

DSP8根据CPU9进行的控制，对DRAM7所存储的数字信号实施白平衡补偿处理、γ补偿处理、YC转换处理等各种图像处理。各种图像处理的结果是生成由亮度信号与色差信号构成的图像数据。另外，以下，将该图像数据称为“帧图像数据”，将通过该帧图像数据表现的图像称为“帧图像”。

CPU9控制图像处理装置100整体的动作。在CPU9执行各处理时，RAM10起到工作区域的作用。ROM11存储图像处理装置100执行各处理所需的程序和数据。CPU9将RAM10作为工作区域，通过与ROM11所存储的程序的协动来执行各种处理。

液晶显示控制器12根据CPU9进行的控制，将DRAM7或存储卡15所存储的帧图像数据转换为模拟信号，并提供给液晶显示器13。液晶显示器13显示帧图像来作为与从液晶显示控制器12提供的模拟信号对应的图像。

再有，液晶显示控制器12根据CPU9进行的控制，将预先存储在ROM11等中的各种图像数据转换为模拟信号，然后提供给液晶显示器13。液晶显示器13显示与从液晶显示控制器12提供的模拟信号对应的图像。例如在本实施方式中，在ROM11中存储能确定各种场景的信息(以下称为“场景信息”)的图像数据。因此，如参考图4在后面叙述的那样，在液晶显示器13上适当地显示各种场景信息。其中，所谓的“场景”是指风景场景、景色场景、肖像(portrait)等静止图像。

操作部14从用户处接受各种按钮的操作。操作部14具备电源按钮、十字按钮、确定按钮、菜单按钮、释放(release)按钮等。操作部14将从用户处接受到的各种按钮的操作所对应的信号提供给CPU9。CPU9基于来自操作部14的信号，分析用户的操作内容，执行与该操作内容相应的处理。

存储卡15记录由DSP8生成的帧图像数据。测距传感器16根据CPU9进行的控制，检测到被拍摄物体的距离。测光传感器17根据CPU9进行的控制，检测被拍摄物体的亮度(明亮度)。

作为具有这种构成的图像处理装置100的动作模式，存在包含摄影模式和再生模式在内的各种模式。其中，以下为了说明的简便，仅对摄影模式时的处理(以下称为“摄影模式处理”)进行说明。另外，以下摄影模式处理的主体主要是CPU。

接着，在图1的图像处理装置100的摄影模式处理中，对一直到利用基于显著性图的关注点区域来识别场景的构图为止的一系列处理的概略进行说明。其中，以下将该处理称为“场景构图识别处理”。

图2是对场景构图识别处理的概略进行说明的图。

若使摄影模式开始，则图1的图像处理装置100的CPU9使CMOS传感器4进行的摄影继续，将此期间由DSP8依次生成的帧图像数据暂时存储在DRAM7内。其中，以下将该CPU的一系列处理称为“直通拍摄”。

另外，CPU9控制液晶显示控制器12等，依次读出在直通拍摄时记录在DRAM7中的各帧图像数据，并使液晶显示器13显示与这些帧图像数据分别对应的帧图像。其中，以下将该CPU9的一系列处理称为“直通显示”。再有，将被直通显示的帧图像称为“直通图像”。

在以下的说明中，设为：通过直通拍摄及直通显示，在液晶显示器13上显示例如图2所示的直通图像51。

此时，在步骤Sa中，作为特征量图生成处理，CPU9例如执行以下的处理。

即，CPU9针对与直通图像51对应的帧图像数据，例如根据颜色、方位、亮度等多种特征量的对比，可以生成多种特征量图。到生成这样的多种特征量图中的规定的一种特征量图为止的一系列处理，在此被称为“特征量图生成处理”。对于各特征量图生成处理的详细例子，将参考图9或图10在后面叙述。

例如在图2的例子中，后面叙述的图10A的多种标度(multi scale)的对比度的特征量图生成处理的结果是，生成特征量图Fc。再有，后面叙述的图10B的Center-Surround的颜色直方图的特征量图生成处理的结果是，生成特征量图Fh。还有，图10C的颜色空间分布的特征量图生成处理的结果是生成特征量图Fs。

在步骤Sb中，CPU9通过对多种特征量图进行统计，从而求得显著性图。例如在图2的例子中，统计特征量图Fc、Fh、Fs，由此求出显著性图S。

步骤Sb的处理与后面叙述的图8的步骤S45的处理相对应。

在步骤Sc中，CPU9利用显著性图，从直通图像中推测引起人们的视觉注意的可能性高的图像区域(以下称为“关注点区域”)。例如在图2的例子中，利用显著性图S，从直通图像51中推测出关注点区域52。

步骤Sc的处理与后面叙述的图8的步骤S46的处理相对应。

另外，下面将以上的步骤Sa至Sc的一系列处理称为“关注点区域推测处理”。关注点区域推测处理与后面叙述的图7的步骤S26的处理相对应。关于关注点区域推测处理的详细内容，将参考图8至图10在后面叙述。

接下来，在步骤Sd中，作为关注点区域评价处理，CPU9例如执行如下的处理。

即，CPU9进行与关注点区域(图2的例子中为关注点区域52)相关的评价。具体是，例如CPU9进行针对关注点区域的面积、个数、分布范围的广泛程度、分散程度、孤立程度等各种评价。

步骤Sd的处理与后面叙述的图7的步骤S27的处理相对应。

另一方面，在步骤Se中，作为边缘图像生成处理，CPU9例如执行如下的处理。

即，CPU9针对直通图像51，通过实施平均化处理及边缘滤波处理，从而生成边缘图像(轮廓图像)。例如在图2的例子中，可以得到边缘图像53。

步骤Se的处理与后面叙述的图7的步骤S28的处理相对应。

在步骤Sf中，作为边缘图像评价处理，CPU9例如执行如下的处理。

即，CPU9尝试从边缘图像中提取直线成分、曲线成分及边缘(轮廓线)成分。而且，CPU9针对所提取出的每个成分进行个数、长度、位置关系、分布状态等各种评价。例如在图2的例子中，提取出边缘成分SL等，并进行该成分的评价。

步骤Sf的处理与后面叙述的图7的步骤S29的处理相对应。

接着，在步骤Sg中，作为针对直通图像51的构图要素的提取处理，CPU9例如执行如下的处理。

即，CPU9利用步骤Sd的关注点区域评价处理的评价结果以及步骤Sf的边缘图像评价处理的评价结果，针对直通图像51所包含的被拍摄物体中的应关注的主要被拍摄物体，提取各构图要素的排列图案。

构图要素本身并未特别限定，例如在本实施方式中，可以采用关注点区域、各种线(包含成为边缘的线)以及人物的面部。

排列图案的种类也未特别限定。例如在本实施方式中，对于关注点区域而言，作为排列图案，可采用“广泛分布于整个画面”、“分割为上下”、“水平分布”、“垂直分布”、“倾斜分割”、“对角分布”、“分布于大致中央处”、“在中央下方呈隧道状”、“左右对称”、“排列在左右”、“以多个相似形分布”、“分散”、“孤立”等。对于各种线而言，作为排列图案，可采用有无存在、长短、在中央下方呈隧道状、同一种类的多条线存在于大致相同的方向、从中央略微向上下/左右呈放射状、从上或下呈放射状等。对于人物的面部而言，作为排列图案可以采用是否包含于主要被拍摄物体等。

步骤Sg的处理与后面叙述的图11的构图分类处理中的步骤S201的处理相对应。即，在图2的例子中，步骤Sg的处理宛如与步骤Sh的处理独立地被描述，但在本实施方式中，该步骤Sg的处理被设为是步骤Sh的一部分处理。另外，当然步骤Sg的处理也能很容易地设为独立于步骤Sh的处理。

在步骤Sh中，作为构图分类处理，CPU例如执行如下的处理。

即，设为：在ROM11等中按照多个构图方案的每一个，预先存储可以识别一个模型构图方案的规定图形(以下称为“分类识别图形”)。另外，对于分类识别图形的具体例子而言，将参考图3及图4在后面叙述。

此时，CPU9针对与直通图像51所包含的主要被拍摄物体有关的各构图要素的排列图案和多个模型构图方案的各分类识别图形的每一个，逐个进行比较对照。而且，CPU9基于比较对照的结果，从多个模型构图方案中，选择P个与直通图像51类似的模型构图方案的候补(以下称为“模型构图方案候补”)。其中，P是1以上的整数值，是设计者等可以任意设定的整数值。例如，在图2的例子中，作为模型构图方案候补，选择构图C3[斜线构图/对角线构图]或构图C4[放射线构图]，并作为分类结果而输出。

步骤Sh的处理与后面叙述的图11的构图分类处理中的步骤S202以后的的处理相对应。

图3与图4表示存储了在这种步骤Sh的构图分类处理中使用的每个模型构图方案的各种信息的表格信息的一例。

例如，在本实施方式中，设为在ROM11中预先存储有图3与图4所示的表格信息。

在图3与图4的表格信息中设置有“构图方案的名称、样本图像及说明文”、以及“分类识别图形”等各项目。再有，在图3与图4的表格信息中，规定的1行与规定的1个模型构图方案相对应。

因此，在同一行的各项目中，存储有与规定的模型构图方案有关的项目名称和该模型构图方案的内容信息、即其名称、样本图像(图像数据)和说明文(文本数据)以及分类识别图形的每一个。

在“分类识别图形”的项目中，粗线表示作为构图要素的“边缘”。虚线表示作为构图要素的“线”。斜线或点的灰色区域表示作为构图要素的“关注点区域”。再有，在图2的步骤Sg的构图要素提取处理的结果为图2所示的图像54(图像数据)的情况下，分类识别图形也作为图3所示的图像(图像数据)而被存储。

另一方面，在构图要素提取处理的结果是表示上述构图要素及其配置图形的内容的信息的情况下，分类识别图形也作为表示构图要素及其配置图形的内容的信息而被存储。具体而言，例如，第1行的构图C1[水平线构图]的分类识别图形作为“水平存在长的直线边缘”以及“关注点区域广泛分布于整个画面”、“关注点区域分布于水平方向”及“水平存在长的直线”等信息而被存储。

另外，在图3与图4中，仅示出了本实施方式中采用的模型构图方案的一部分。因此，下面设为在本实施方式中采用以下的模型构图方案C0至C12。其中，以下段落的括号内的要素分别表示与模型构图方案Ck(k是0至12中的任一整数值)有关的符号Ck、构图方案的名称以及说明文。

(C0，中央一点构图，具有集中力，强调被拍摄物体的存在感。)

(C1，水平线构图，在画面中产生扩展与舒展。)

(C2，垂直线构图，以向上下方向的伸张感将画面紧缩。)

(C3，斜线构图/对角线构图，产生栩栩如生或有节奏的动感。或者在等分的画面中产生稳定感。)

(C4，放射线构图，调动开放感或高昂感、跃动感。)

(C5，曲线构图/S字构图，在画面中酝酿出优美感或稳静感。)

(C6，三角形/倒三角形构图，产生稳定感与难以撼动的力度。或者表现出向上部扩展的生命力或开放感。)

(C7，对比/对称构图，表现紧张感或平息后的静寂感。)

(C8，隧道构图，给画面带来集中力或镇静。)

(C9，图案构图，产生基于重复图案的节奏感或统一感。)

(C10，肖像画构图，…)

(C11，3等分/4等分构图，最普及的构图，成为取得平衡的照片。)

(C12，远近法构图，根据自然形态强调距离感或深度。)

如上所述，参考图2至图4，对图像处理装置100执行的场景构图识别处理的概略进行了说明。接着，参考图5至图11，对包含场景构图识别处理在内的摄影模式处理整体进行说明。

图5是表示摄影模式处理的流程的一例的流程图。

摄影模式处理是在用户对操作部14进行了选择摄影模式的规定操作的情况下，以该操作为契机而开始的。即，执行如下的处理。

在步骤S1中，CPU9进行直通拍摄与直通显示。

在步骤S2中，通过执行场景构图识别处理，从而选择P个模型构图方案候补。对于场景构图识别处理而言，其概略如参考图2在以上所说明的，其详细内容将参考图7在后面叙述。

在步骤S3中，CPU9通过控制液晶显示控制器12等，从而使液晶显示器13显示所选择出的P个模型构图方案候补。正确地是，在液晶显示器13上显示能确定P个模型构图方案候补的每一个的信息(例如样本图像或名称等)。

在步骤S4中，CPU9从P个模型构图方案候补中决定模型构图方案。在步骤S5中，CPU9设定摄影条件。

在步骤S6中，CPU9计算出与此时的直通图像对应的模型构图方案的构图评价值。而且，CPU9通过控制液晶显示器12等，从而使液晶显示器13显示构图评价值。构图评价值例如是基于与预先设定的指标值对应的、直通图像与模型构图方案之间的差异度、分散度、类似度、相关性等的比较结果来计算的。

在步骤S7中，CPU9基于模型构图方案，生成引导信息。而且，CPU9通过控制液晶显示控制器12等，从而使液晶显示器13显示引导信息。另外，关于引导信息的具体显示例，将参考图6在后面叙述。

在步骤S8中，CPU9对直通图像的被拍摄物体位置和模型构图方案的被拍摄物体位置进行比较。在步骤S9中，CPU9基于该比较结果，判断直通图像的被拍摄物体位置是否在模型构图方案的被拍摄物体位置的附近。

在直通图像的被拍摄物体位置存在于模型构图方案的被拍摄物体位置的远方时，设为还不是摄影处理的时间，在步骤S9中被判断为“否”，处理返回到步骤S6，重复进行步骤S6之后的处理。另外，在步骤S9中被判断为“否”的情况下，每次处理返回到步骤S6时，都执行后述的取景的变更(framing)，时时刻刻更新构图评价值和引导信息的显示。

然后，在直通图像的被拍摄物体位置处于模型构图方案的被拍摄物体位置附近的时刻，成为摄影处理的时间，在步骤S9中被判断为“是”，处理进入步骤S10。在步骤S10中，CPU9判断构图评价值是否在设定值以上。

在构图评价值小于设定值的情况下，设为对于直通图像而言还不能称之为适当的构图，在步骤S10中被判断为“否”，处理返回到步骤S6，重复进行步骤S6之后的处理。此时，虽然图5中没有图示，但例如可以在液晶显示器13或取景器(图1中未图示)上显示与该时刻的直通图像(该主要被拍摄物体的排列图案)相近的模型构图方案或者可以使构图评价值比设定值高的模型构图方案。再有，然后在由用户从这些模型构图方案中允许或选择了新的模型构图方案的情况下，通过按照成为新允许或选出的模型构图方案的位置关系的方式引导用户，从而在液晶显示器13或取景器上显示使摄影构图变更的引导信息。此时，对新允许或选出的模型构图方案执行步骤S6以后的处理。

然后，在再度成为摄影处理的时间，即在步骤S9的处理中再度被判断为“是”的时刻，若构图评价值为设定值以上，则认为对于直通图像而言成为了适当的构图，在步骤S10中判断为“是”，处理进入步骤S11。而且，通过执行如下的步骤S11的处理，从而可以以该时刻的模型构图方案所对应的构图进行自动摄影。

即，在步骤S11中，CPU9基于摄影条件等执行AF(Automatic Focus)处理(自动对焦处理)。在步骤S12中，CPU9执行AWB(Automatic WhiteBalance)处理(自动白平衡处理)以及AE(Automatic Exposure)处理(自动曝光处理)。也就是说，基于测光传感器17的测光信息或摄影条件等，设定光圈、曝光时间、闪光(strobo)条件等。

在步骤S13中，CPU9控制TG6或DSP8等，基于摄影条件等执行曝光及摄影处理。通过该曝光及摄影处理，基于摄影条件等而由CMOS传感器摄影的被拍摄物体像作为帧图像数据而被存储在DRAM7中。其中，以下将该帧图像数据称为“摄影图像数据”，另外将通过摄影图像数据表现的图像称为“摄影图像”。

在步骤S14中，CPU9控制DSP8等，对摄影图像数据实施补偿及变更处理。在步骤S15中，CPU9控制液晶显示控制器12等，从而执行摄影图像的回顾(review)显示处理。另外，在步骤S16中，CPU9控制DSP8等来执行摄影图像数据的压缩编码处理。结果，得到编码图像数据。因此，在步骤S17中，CPU9执行编码图像数据的保存记录处理。由此，编码图像数据被记录在存储卡15等中，摄影模式处理结束。

另外，作为编码图像数据的保存记录处理，CPU9记录摄影时的场景模式或摄影条件数据等是毋庸置疑的，还可以将摄影时决定或算出的模型构图方案或构图评价值的信息与编码图像数据建立关联后记录在存储卡15中。由此，用户在检索摄影图像时，不仅可以利用场景或摄影条件，还可以利用所摄影的构图或构图评价值的好坏与否等，因此能够迅速地检索希望的图像。

图6表示图5的摄影模式处理的具体处理结果。

图6A表示步骤S7的处理后的液晶显示器13的显示例。

另外，设为：在图1未图示的取景器中也进行与液晶显示器13同样的显示。

如图6A所示，液晶显示器13中设有主显示区域101和副显示区域102。

在图6A的例子中，在主显示区域101上显示直通图像51。

作为辅助信息，主显示区域101上以能与其他详细内容区别的方式还显示有直通图像51的关注点区域附近的导线121或该关注点区域周围的被拍摄物体的轮廓线122。其中，这种辅助信息并未特别限定于导线121或轮廓线122。例如，也可以在主显示区域101上显示与关注点区域(主要被拍摄物体)有关的、表示轮廓形状或者其位置、分布或排列图案的图形、或者表示这些内容的位置关系的辅助线。

作为引导信息，在主显示区域101上还显示有与模型构图方案的构图要素的线对应的参考线123、模型构图方案的指标线124、表示关注点区域的移动目标的记号125。其中，这种引导信息并未特别限定于参考线123、指标线124、记号125等。例如，也可以在主显示区域101上显示与模型构图方案中的主要被拍摄物体有关的、表示轮廓形状或者其位置、分布或排列图案的图形、或者表示这些内容的位置关系的辅助线。

作为引导信息，在主显示区域101上还显示有表示帧的移动方向的箭头126、或表示帧的旋转方向的箭头127等。即，箭头126、127等是通过按照将直通图像51中的主要被拍摄物体的位置移动到模型构图方案中的被拍摄物体的位置(例如记号125的位置)为止的方式引导用户，从而使得构图变更的引导信息。这种引导信息并未特别限定于箭头126、127，除此以外例如还可以采用“使照相机稍微偏向右”等的消息。

再有，在副显示区域102上显示有表示模型构图方案的信息111至113。

在图6A的例子中，将图5的步骤S4的处理中决定的模型构图方案例如设为与信息111对应的模型构图方案。

另外，例如信息112或信息113是在构图评价值小于设定值的情况下在步骤S10中判断为“否”之后被显示的。具体是，例如信息112或信息113是表示与直通图像接近的模型构图方案的信息或者表示可以使构图评价值比设定值高的模型构图方案的信息。

因此，用户在构图评价值小于设定值的情况等下，通过对操作部14进行操作，从而可以从表示各模型构图方案的信息111至113中选择并决定希望的一个。此时，CPU9针对与由用户决定的信息相对应的模型构图方案实施步骤S6至S10的处理。

在图6A的显示状态下，进行取景的变更或自动取景，结果成为图6B的显示状态。即，设为：一直到直通图像51中的主要被拍摄物体的位置与记号125的位置一致为止，构图进行了变更。此时，在图5的步骤S9的处理中判断为“是”。因此，若构图评价值在设定值以上，则在步骤S10的处理中判断为“是”，执行步骤S11至S17的处理。由此，可以以图6B所示的构图进行自动摄影。结果，进行图6C所示的摄影图像131的回顾显示，在存储卡15中记录与摄影图像131对应的编码图像数据。

另外，虽然在图5的例子中被省略，但当然也可以由用户以手指按压释放按钮，从而使CPU9执行摄影处理。此时，用户例如根据图6A所示的引导信息，手动移动构图，在成为图6B所示的构图的时刻可以将释放按钮全部按下。结果，可以进行图6C所示的摄影图像131的回顾显示，并将与摄影图像131相对应的编码图像数据记录在存储卡15中。

接下来，对图5的摄影模式处理中的步骤S2的场景构图识别处理的详细例进行说明。

图7是表示场景构图识别处理的流程的详细例的流程图。

在步骤S21中，CPU9将通过直通拍摄得到的帧图像数据作为处理对象图像数据来输入。

在步骤S22中，CPU9判断识别完成FLAG是否为1。所谓的识别完成FLAG是指表示针对上一次的帧图像数据是否选择完(识别完)模型构图方案候补的标志。因此，在识别完成FLAG＝0的情况下，针对上一次的帧图像数据，并未选择模型构图方案候补。因此，在识别完成FLAG＝0的情况下，在步骤S22中判断为“否”，处理进入步骤S26，执行步骤S26之后的处理。结果，选择与处理对象图像数据对应的模型构图方案候补。其中，关于步骤S26以后的处理的详细内容将在后面叙述。

与此相对，在识别完成FLAG＝1的情况下，因为对于上一次的帧图像数据而言，已经选择完模型构图方案候补，所以有时不需要选择与处理对象图像数据对应的模型构图方案候补。即，CPU9需要判断是否执行步骤S26以后的处理。因此，在识别完成FLAG＝1的情况下，在步骤S22中判断为“是”，处理进入步骤S23，执行如下的处理。

即，在步骤S23中，CPU9对处理对象图像数据和上一次的帧图像数据进行比较。在步骤S24中，CPU9判断摄影条件或被拍摄物体状态是否存在规定等级以上的变化。在摄影条件及被拍摄物体状态没有规定等级以上的变化的情况下，在步骤S24中判断为“否”，不执行步骤S25以后的处理，场景构图识别处理结束。

相对于此，在摄影条件和被拍摄物体状态中的至少一方存在规定等级以上的变化的情况下，在步骤S24中判断为“是”，处理进入步骤S25。在步骤S25中，CPU9将识别完成FLAG变更为0。由此，执行以下的步骤S26以后的处理。

在步骤S26中，CPU9执行关注点区域推测处理。即，执行与上述图2的步骤Sa至Sc相对应的处理。由此，如上所述，可以获得与处理对象图像数据有关的关注点区域。另外，关于关注点区域推测处理的详细例，将参考图8至图10在后面叙述。

在步骤S27中，CPU9执行关注点区域评价处理。即，执行与上述图2的步骤Sd相对应的处理。

在步骤S28中，CPU9执行边缘图像生成处理。即，执行与上述图2的步骤Se相对应的处理。由此，如上所述，可以获得与处理对象图像数据有关的边缘图像。

在步骤S29中，CPU9执行边缘图像评价处理。即，执行与上述图2的步骤Sf相对应的处理。

在步骤S30中，CPU9利用关注点区域评价处理的结果或边缘图像评价处理的结果，执行构图分类处理。即，执行与上述图2的步骤Sh(包括步骤Sg)相对应的处理。另外，关于构图分类处理的详细例，将参考图11在后面叙述。

在步骤S31中CPU9判断构图的分类识别是否已成功。

在步骤S30的处理中，在选择了P＝1以上的模型构图方案候补的情况下，在步骤S31中判断为“是”，处理进入步骤S32。在步骤32中，CPU9将识别完成FLAG设定为1。

相对于此，在步骤S30的处理中，未选择模型构图方案候补的情况下，在步骤S31中判断为“否”，处理进入步骤S33。在步骤33中，CPU9将识别完成FLAG设定为0。

若在步骤S32的处理中将识别完成FLAG设定为1或者在步骤S33的处理中将识别完成FLAG设定为0，则场景构图识别处理结束，即图5的步骤S2的处理结束，处理进入步骤S3，执行该步骤S3以后的处理。

接着，对图7的场景构图识别处理中的、步骤S26(图2的步骤Sa至Sc)的关注点区域推测处理的详细例进行说明。

如上所述，在关注点区域推测处理中，为了进行关注点区域的推测，生成显著性图。因此，可以对关注点区域推测处理适用例如Treisman的特征统计理论或Itti及Koch等的显著性图。

其中，关于Treisman的特征统计理论，可以参考“A.M.Treisman andG.Gelade，‘A feature-integration theory of attention’，Cognitive Psychology，Vol.12，No.1，pp.97-136，1980.”。

另外，关于ltti及Koch等的显著性图，可以参考“L.Itti，C.Koch，andE.Niebur，‘A Model of Saliency-Based Visual Attention for Rapid SceneAnalysis’，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.20，No 11，November 1998.”。

图8是表示采用Treisman的特征统计理论或Itti及Koch等的显著性图时的关注点区域推测处理的流程的详细例的流程图。

在步骤S41中，CPU9取得处理对象图像数据。其中，在此取得的处理对象图像数据是指图7的步骤S21的处理中输入的处理对象图像数据。

在步骤S42中，CPU9生成高斯分辨率金字塔(Gaussian ResolutionPyramid)。具体是，例如CPU9将处理对象图像数据{(x，y)位置的像素数据}设为I(0)＝I(x，y)，依次重复执行高斯滤波处理与下降抽样处理。作为其结果，生成分层标度图像数据I(L)(例如L∈{0...8})的组。该分层标度图像数据I(L)的组被称为“高斯分辨率金字塔”。在此，标度L＝k(在此，k为1至8中的任一整数值)的情况下，标度图像数据I(k)表示1/2k的缩小图像(k＝0时表示原图像)。

在步骤S43中，CPU9开始各特征量图生成处理。关于各特征量图生成处理的详细例，将参考图9和图10在后面叙述。

在步骤S44中，CPU9判断全部的特征量图生成处理是否结束。在各特征量图生成处理中只要有一个处理没有结束的情况下，在步骤S44中判断为“否”，处理再次返回到步骤S44。即，在到各特征量图生成处理的全部处理结束为止的期间内，重复执行步骤S44的判断处理。而且，若各特征量图生成处理的全部处理结束而生成了全部特征量图，则在步骤S44中判断为“是”，处理进入步骤S45。

在步骤S45中，CPU9以线性和结合各特征量图，从而求取显著性图S(Saliency Map)。

在步骤S46中，CPU9利用显著性图S，根据处理对象图像数据推测关注区域。即，一般认为：作为主要被拍摄物体的人物或作为摄影对象(objects)的物体大多与背景(background)区域相比，显著性(Saliency)较高。因此，CPU9利用显著性图S，从处理对象图像数据中识别显著性(Saliency)较高的区域。而且，CPU9基于该识别结果，推测引起人们的视觉注意的可能性较高的区域，即关注点区域。这样，若可以推测关注点区域，则关注点区域推测处理结束。即，图7的步骤S26的处理结束，处理进入步骤S27。换言之在图2的例子中是步骤Sa至Sc的一系列处理结束，处理进入步骤Sd。

接着，对各特征量图生成处理的具体例进行说明。

图9是表示亮度、颜色以及方向性的特征量图生成处理的流程的一例的流程图。

图9A表示亮度的特征量图生成处理的一例。

在步骤S61中，CPU9根据与处理对象图像数据相对应的标度图像，设定各关注像素。例如，假设设定成各关注像素c∈{2，3，4}，在此基础上进行以下的说明。各关注像素c ∈{2，3，4}是指被设定为标度c∈{2，3，4}的标度图像数据I(c)上的运算对象的像素。

在步骤62中，CPU9求取各关注像素c∈{2，3，4}的各标度图像的亮度成分。

在步骤S63中，CPU9求取各关注像素的周边像素s＝c+δ的各标度图像的亮度成分。例如若设为δ∈{3，4}，则所谓各关注像素的周边像素s＝c+δ是指标度s＝c+δ的标度图像I(s)上的、存在于关注像素(对应点)的周边的像素。

在步骤S64中，CPU9针对各标度图像，求取各关注像素c∈{2，3，4}中的亮度对比度。例如，CPU9求取各关注像素c∈{2，3，4}和各关注像素的周边像素s＝c+δ(例如δ∈{3，4})的标度间差分。在此，可以将关注像素c称为“Center”，将关注像素的周边像素s称为“Surround”，将所求得的标度间差分称为“亮度的Center-Surround标度间差分”。该亮度的Center-Surround标度间差分具备在关注像素c为白色且周边像素s为黑色的情况下或者与此相反的情况下取较大值的性质。因此，亮度的Center-Surround标度间差分表示亮度对比度。另外，以下将该亮度对比度记为I(c，s)。

在步骤S65中，CPU9判断在与处理对象图像数据相对应的各标度图像中是否存在未被设定为关注像素的像素。这种像素存在的情况下，在步骤S65中判断为“是”，处理返回到步骤S61，重复该步骤S61以后的步骤。

即，针对与处理对象图像数据相对应的各标度图像的各像素，分别实施步骤S61至S65的处理，并求取各像素的亮度对比度I(c，s)。在此，在设定了各关注像素c∈{2，3，4}以及周边像素s＝c+8(例如δ∈{3，4})的情况下，在步骤S61至S65的一次处理中，求得(关注像素c的3种)×(周边像素s的2种)＝6种亮度对比度I(c，s)。在此，以下将针对规定的c与规定的s求出的亮度对比度I(c，s)的图像整体的集合体称作“亮度对比度I的特征量图”。通过重复执行步骤S61至S65的循环处理，从而可以求出6种亮度对比度I的特征量图。这样，若求得6种亮度对比度I的特征量图，则在步骤S65中判断为“否”，处理进入步骤S66。

在步骤S66中，CPU9对亮度对比度I的各特征量图进行归一化，并在此基础上进行结合，从而生成亮度的特征量图。由此，亮度的特征量图生成处理结束。另外，以下为了将亮度的特征量图与其他特征量图进行区别而将其记为FI。

图9B表示颜色的特征量图生成处理的一例。

图9B的颜色的特征量图生成处理与图9A的亮度的特征量图生成处理相比，其处理的流程基本相同，仅仅是处理对象不同而已。即，图9B的步骤S81至S86的每一步处理都是分别与图9A的步骤S61至S66的每一步处理相对应的处理，仅仅是各步骤的处理对象与图9A不同而已。因此，关于图9B的颜色的特征量图生成处理，省略处理流程的说明，以下仅简单说明处理对象。

即，图9A的步骤S62与S63的处理对象为亮度成分，与此相对，图9B的步骤S82与S83的处理对象是颜色成分。

再有，在图9A的步骤S64的处理中，将亮度的Center-Surround标度间差分作为亮度对比度I(c，s)而求得。与此相对，在图9B的步骤S84的处理中，将色调(R/G，B/Y)的Center-Surround标度间差分作为色调对比度来求取。其中，用R来表示颜色成分中的红色成分，用G来表示绿色成分，用B来表示蓝色成分，用Y来表示黄色成分。进而，以下将与色调R/G相关的色调对比度记为RG(c，s)，将与色调B/Y相关的色调对比度记为BY(c，s)。

在此，与上述的例子一致，设为：关注像素c存在3种，周边像素s存在2种。该情况下，图9A的步骤S61至S65的循环处理的结果，求得6种亮度对比度I的特征量图。与此相对，图9B的步骤S81至S85的循环处理的结果，求得6种色调对比度RG的特征量图、6种色调对比度BY的特征量图。

最终，在图9A的步骤S66的处理中求得亮度的特征量图FI。与此相对，在图9B的步骤S86的处理中求得颜色的特征量图。其中，以下为了将颜色的特征量图与其他特征量图进行区别而记为FC。

图9C表示方向性的特征量图生成处理的一例。

将图9C的方向性的特征量图生成处理与图9A的亮度的特征量图生成处理相比，处理的流程基本相同，仅仅是处理对象不同而已。即图9C的步骤S101至S106的每一步处理都是分别与图9A的步骤S61至S66的每一步处理相对应的处理，仅仅是各步骤的处理对象与图9A不同而已。因此，关于图9C的方向性的特征量图生成处理，省略处理流程的说明，以下仅简单说明处理对象。

即，图9C的步骤S102与S103的处理对象是方向成分。在此，方向成分是指针对亮度成分卷积高斯滤波器φ而得到的各方向的振幅成分。在此所说的方向是指由作为高斯滤波器φ的参数而存在的旋转角θ表示的方向。例如作为旋转角θ，可以采用0°、45°、90°、135°这4个方向。

再有，步骤S104的处理中，将方向性的Center-Surround标度间差分作为方向性对比度来求取。进而，以下将方向性对比度记为O(c，s，θ)。

在此，与上述的例子一致，关注像素c存在3种，周边像素s存在2种。该情况下，步骤S101至S105的循环处理的结果，按照每个旋转角θ求得6种方向性对比度O的特征量图。例如作为旋转角θ而采用了0°、45°、90°、135°这4个方向的情况下，求得24种(＝6×4种)方向性对比度O的特征量图。

最终，在步骤S106的处理中求得方向性的特征量图。其中，以下为了将方向性的特征量图与其他特征量图进行区别而记为FO。

对于以上说明的图9的特征量图生成处理的更详细的处理内容而言，例如可以参考“L.Itti，C.Koch，and E.Niebur，‘A Model of Saliency-BasedVisual Attention for Rapid Scene Analysis’，IEEE Transactions on PatternAnalysis and Machine Intelligence，Vol.20，No 11，November 1998.”。

另外，特征量图生成处理并未特别限定于图9的例子。例如作为特征量图生成处理，也可以采用利用明度、彩度、色调以及运动的各特征量来生成各自的特征量图的处理。

此外，例如作为特征量图生成处理，也可以采用利用多种标度的对比度、Center-Surround的颜色直方图以及颜色空间分布的各特征量来生成各自的特征量图的处理。

图10是表示多种标度的对比度、Center-Surround的颜色直方图以及颜色空间分布的特征量图生成处理的一例的流程图。

图10A表示多种标度的对比度的特征量图生成处理的一例。

在步骤S121中，CPU9求取多种标度的对比度的特征量图。由此，多种标度的对比度的特征量图生成处理结束。

另外，以下为了将多种标度的对比度的特征量图与其他特征量图进行区别而记为Fc。

图10B表示Center-Surround的颜色直方图的特征量图生成处理的一例。

在步骤S141中，CPU9按照每个不同的纵横比求取矩形区域的颜色直方图和周边轮廓的颜色直方图。纵横比本身并没有特别的限定，例如可以采用{0.5，0.75，1.0，1.5，，2.0}等。

在步骤S142中，CPU9按照每个不同的纵横比求取矩形区域的颜色直方图和周边轮廓的颜色直方图的卡方距离(chi-square distance)。在步骤S143中，CPU9求得卡方距离最大的矩形区域的颜色直方图。

在步骤S144中，CPU9利用卡方距离最大的矩形区域的颜色直方图，生成Center-Surround的颜色直方图的特征量图。由此，Center-Surround的颜色直方图的特征量图生成处理结束。

其中，以下为了将Center-Surround的颜色直方图的特征量图和其他特征量图进行区别而记为Fh。

图10C表示颜色空间分布的特征量图生成处理的一例。

在步骤S161中，CPU9针对颜色空间分布计算水平方向的分散。另外，在步骤S162中，CPU9针对颜色空间分布计算垂直方向的分散。而且，在步骤S163中，CPU9利用水平方向的分散和垂直方向的分散，求取颜色的空间性分散。

在步骤S164中，CPU9利用颜色的空间性分散来生成颜色空间分布的特征量图。由此，颜色空间分布的特征量图生成处理结束。

其中，以下为了将颜色空间分布的特征量图和其他特征量图进行区别而记为Fs。

关于以上所说明的图10的特征量图生成处理的更详细的处理内容，例如可以参考“T.Liu，J.Sun，N.Zheng，X，Tang，H.sum，‘Learning to DetectA Salient Object’，CVPR07，pp.1-8，2007”。

接着，对图7的场景构图识别处理中的步骤S30的构图分类处理的详细例进行说明。

图11是表示构图分析处理的流程的详细例的流程图。

其中，在图11的例子中，上述的模型构图方案C1至C11中的一个被选择为模型构图方案候补。即，在图11的例子中，选择P＝1的模型构图方案候补。

在步骤S201中，CPU9执行构图要素提取处理。即，执行与上述的图2的步骤Sg相对应的处理。由此，如上所述，从在图7的步骤S21的处理中输入的处理对象图像数据中提取构图要素及其排列图案。

因此，作为与图2的步骤Sh(除步骤Sg以外)相对应的处理，执行如下的步骤S202以后的处理。另外，在图11的例子中，作为步骤S201的处理的结果，得到表示构图要素及其配置图案的内容的信息。因此，存储在图3与图4的表格信息中的分类识别图案的形态并非是如该图3与图4所示的图像数据，而是表示构图要素和配置图案的内容的信息。即，在以下的步骤S202以后的处理中，对步骤S201的处理中得到的构图要素及其配置图案、作为分类识别图案的构图要素及其配置图案进行比较对照。

在步骤S202中，CPU9判断关注点区域是否广泛分布于整个画面中。

在步骤S202中，判断为关注点区域并未广泛分布于整个画面中的情况下，即，在判断为“否”的情况下，处理进入步骤S212。其中，对步骤S212以后的处理将在后面叙述。

与此相对，在步骤S202中，判断为关注点区域广泛分布于整个画面中的情况下，即在判断为“是”的情况下，处理进入步骤S203。在步骤S203中，CPU9判断关注点区域是否上下分割或者水平分布。

在步骤S203中，判断为关注点区域既未上下分割、也没有水平分布的情况下，即判断为“否”的情况下，处理进入步骤S206。其中，关于步骤S206以后的处理将在后面叙述。

与此相对，在步骤S203中，判断为关注点区域上下分割或者水平分布的情况下，即判断为“是”的情况下，处理进入步骤S204。在步骤S204中，CPU9判断水平方向是否存在长的直线边缘。

在步骤S204中，判断为水平方向上不存在长的直线边缘的情况下，即判断为“否”的情况下，处理进入步骤S227。其中，关于步骤S227以后的处理将在后面叙述。

与此相对，在步骤S204中，判断为水平方向上存在长的直线边缘的情况下，即判断为“是”的情况下，处理进入步骤S205。在步骤S205中，CPU9将模型构图方案C1“水平线构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S203的处理中判断为“否”，则处理进入步骤S206。在步骤S206中，CPU9判断关注点区域是否左右分割或者垂直分布。

在步骤S206中，判断为关注点区域既未左右分割、也没有垂直分布的情况下，即判断为“否”的情况下，处理进入步骤S209。其中，关于步骤S209以后的处理将在后面叙述。

与此相对，在步骤S206中，判断为关注点区域左右分割或者垂直分布的情况下，即判断为“是”的情况下，处理进入步骤S207。在步骤S207中，CPU9判断垂直方向上是否存在长的直线边缘。

在步骤S207中，判断为垂直方向上不存在长的直线边缘的情况下，即判断为“否”的情况下，处理进入步骤S227。其中，关于步骤S227以后的处理将在后面叙述。

与此相对，在步骤S207中，判断为垂直方向上存在长的直线边缘的情况下，即判断为“是”的情况下，处理进入步骤S208。在步骤S208中，CPU9将模型构图方案C2“垂直线构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S206的处理中判断为“否”，则处理进入步骤S209。在步骤S209中，CPU9判断关注点区域是否倾斜分割或者对角分布。

在步骤S209中，判断为关注点区域既未倾斜分割、也没有对角分布的情况下，即判断为“否”的情况下，处理进入步骤S227。其中，关于步骤S227以后的处理将在后面叙述。

与此相对，在步骤S209中，判断为关注点区域倾斜分割或者对角分布的情况下，即判断为“是”的情况下，处理进入步骤S210。在步骤S210中，CPU9判断是否存在长的斜线边缘。

在步骤S210中，判断为不存在长的斜线边缘的情况下，即判断为“否”的情况下，处理进入步骤S227。其中，关于步骤S227以后的处理将在后面叙述。

与此相对，在步骤S210中，判断为存在长的斜线边缘的情况下，即判断为“是”的情况下，处理进入步骤S211。在步骤S211中，CPU9将模型构图方案C3“斜线构图/对角线构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S202的处理中判断为“否”，则处理进入步骤S212。在步骤S212中，CPU9判断关注点区域是否基本广泛地分布于大致中央处。

在步骤S212中，判断为关注点区域并未基本广泛地分布于大致中央处的情况下，即判断为“否”的情况下，处理进入步骤S219。其中，关于步骤S219以后的处理将在后面叙述。

与此相对，在步骤S212中，判断为关注点区域基本广泛地分布于大致中央处的情况下，即判断为“是”的情况下，处理进入步骤S213。在步骤S213中，CPU9判断是否存在长的曲线。

在步骤S213中，判断为不存在长的曲线的情况下，即判断为“否”的情况下，处理进入步骤S215。其中，关于步骤S215以后的处理将在后面叙述。

与此相对，在步骤S213中，判断为存在长的曲线的情况下，即判断为“是”的情况下，处理进入步骤S214。在步骤S214中，CPU9将模型构图方案C5“曲线构图/S字构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S213的处理中判断为“否”，则处理进入步骤S215。在步骤S215中，CPU9判断是否存在斜线边缘或者放射线边缘。

在步骤S215中，在判断为不存在斜线边缘以及放射线边缘的情况下，即判断为“否”的情况下，处理进入步骤S217。其中，关于步骤S217以后的处理将在后面叙述。

与此相对，在步骤S215中，判断为存在斜线边缘或者放射线边缘的情况下，即判断为“是”的情况下，处理进入步骤S216。在步骤S216中，CPU9将模型构图方案C6“三角形构图/倒三角形构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S215的处理中判断为“否”，则处理进入步骤S217。在步骤S217中，CPU9判断关注点区域及边缘是否都在中央下方处呈隧道状。

在步骤S217中，判断为关注点区域及边缘在中央下方处均不是隧道状的情况下，即判断为“否”的情况下，处理进入步骤S227。其中，关于步骤S217以后的处理将在后面叙述。

与此相对，在步骤S217中，判断为关注点区域及边缘在中央下方处均呈隧道状的情况下，即判断为“是”的情况下，处理进入步骤S218。在步骤S218中，CPU9将模型构图方案C8“隧道构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S212的处理中判断为“否”，则处理进入步骤S219。在步骤S219中，CPU9判断关注点区域是否分散或孤立。

在步骤S219中判断为关注点区域既未分散也未孤立的情况下，即判断为“否”的情况下，处理进入步骤S227。其中，关于步骤S227以后的处理将在后面叙述。

与此相对，在步骤S219中，在判断为关注点区域分散或孤立的情况下，即判断为“是”的情况下，处理进入步骤S220。在步骤S220中，CPU9判断主要被拍摄物体是否为人物的面部。

在步骤S220中，判断为主要被拍摄物体不是人物的面部的情况下，即判断为“否”的情况下，处理进入步骤S222。其中，关于步骤S222以后的处理将在后面叙述。

与此相对，在步骤S220中，判断为主要被拍摄物体是人物的面部情况下，即判断为“是”的情况下，处理进入步骤S221。在步骤S221中，CPU9将模型构图方案C10“肖像画构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S220的处理中判断为“否”，则处理进入步骤S222。在步骤S222中，CPU9判断关注点区域是否左右或者对称排列。

在步骤S222中，判断为关注点区域并未左右或对称排列的情况下，即判断为“否”的情况下，处理进入步骤S224。其中，关于步骤S224以后的处理将在后面叙述。

与此相对，在步骤S222中，判断为关注点区域左右或对称排列的情况下，即判断为“是”的情况下，处理进入步骤S223。在步骤S223中，CPU9将模型构图方案C7“对比/对称构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S222的处理中判断为“否”，则处理进入步骤S224。在步骤S224中，CPU9判断关注点区域或者轮廓是否以多个相似形分散。

在步骤S224中，判断为关注点区域或者轮廓以多个相似形分散的情况下，即判断为“是”的情况下，处理进入步骤S225。在步骤S225中，CPU9将模型构图方案C9“图案构图”选择为模型构图方案候补。

与此相对，在步骤S224中，判断为关注点区域和轮廓并不是多个相似形也未分散的情况下，即判断为“否”的情况下，处理进入步骤S226。在步骤S226中，CPU9将模型构图方案C11“3分割/4分割构图”选择为模型构图方案候补。

若步骤S225或S226的处理结束，则构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S204、S207、S209、S210、S217或S219的处理中判断为“否”，则处理进入步骤S227。在步骤S227中，CPU9判断是否存在多条斜线或者放射线。

在步骤S227中，判断为即不存在多条斜线也不存在多条放射线的情况下，即判断为“否”的情况下，处理进入步骤S234。其中，关于步骤S234以后的处理将在后面叙述。

与此相对，在步骤S227中，判断为存在多条斜线或者放射线的情况下，即判断为“是”的情况下，处理进入步骤S228。在步骤S228中，CPU9判断大致相同方向上是否存在多条斜线。

在步骤S228中，判断为大致相同方向上并不存在多条斜线的情况下，即判断为“否”的情况下，处理进入步骤S230。其中，关于步骤S230以后的处理将在后面叙述。

与此相对，在步骤S228中，判断为大致相同方向上存在多条斜线的情况下，即判断为“是”的情况下，处理进入步骤S229。在步骤S229中，CPU9将模型构图方案C3“斜线构图/对角线构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S228的处理中判断为“否”，则处理进入步骤S230。在步骤S230中，CPU9判断斜线是否从大致中央处开始朝上下或左右呈放射状。

在步骤S230中，判断为斜线从大致中央处既未朝上下呈放射状、也未朝左右呈放射状的情况下，即判断为“否”的情况下，处理进入步骤S232。其中，关于步骤S232以后的处理将在后面叙述。

与此相对，在步骤S230中，判断为斜线从大致中央处朝上下或左右呈放射状的情况下，即判断为“是”的情况下，处理进入步骤S231。在步骤S231中，CPU9将模型构图方案C4“放射线构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S230的处理中判断为“否”，则处理进入步骤S232。在步骤S232中，CPU9判断斜线是否从上或下开始呈放射状。

在步骤S232中，判断为斜线既未从上开始呈放射状、也未从下开始呈放射状的情况下，即判断为“否”的情况下，处理进入步骤S234。其中，关于步骤S234以后的处理将在后面叙述。

与此相对，在步骤S232中，判断为斜线从上或下开始呈放射状的情况下，即判断为“是”的情况下，处理进入步骤S233。在步骤S233中，CPU9将模型构图方案C6“三角形构图/倒三角形构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

如上所述，若在步骤S227或S232的处理中判断为“否”，则处理进入步骤S234。在步骤S234中，CPU9判断主要被拍摄物体是否为人物的面部。

在步骤S234中，判断为主要被拍摄物体是人物的面部的情况下，即判断为“是”的情况下，处理进入步骤S235。在步骤S235中，CPU9将模型构图方案C10“肖像画构图”选择为模型构图方案候补。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“是”，并在步骤S32的处理中将识别完成FLAG设定为1。结果，整个场景构图识别处理结束。

与此相对，在步骤S234中，判断为主要被拍摄物体并不是人物的面部的情况下，即判断为“否”的情况下，处理进入步骤S236。在步骤S236中，CPU9认定构图的分类识别失败。由此，构图分类处理结束。即，图7的步骤S30的处理结束，在步骤S31的处理中判断为“否”，并在步骤S33的处理中将识别完成FLAG设定为0。结果，整个场景构图识别处理结束。

如以上所说明的，第1实施方式涉及的图像处理装置100的CPU9具有以下功能：针对包含主要被拍摄物体的输入图像，基于从输入图像中提取出的多个特征量，来推测关注点区域。CPU9还具有以下功能：利用关注点区域，从多个模型构图方案中识别与主要被拍摄物体的配置状态(例如排列图案或位置关系)有关且与输入图像类似的模型构图方案。

这样被识别出的模型构图方案由于与主要被拍摄物体的配置状态(例如排列图案或位置关系)有关且与输入图像(直通图像)类似，所以可以将模型构图方案把握为对于输入图像而言是理想构图方案或感觉良好的构图方案。因此，在向用户提示后使其接受了这种构图方案的情况下，用户在各种各样的被拍摄物体或者一般的场景中，能够以理想的构图或感觉良好的构图进行摄影。

在第1实施方式涉及的CPU9的识别构图方案的功能中，包含以下功能：除了关注点区域，还可以利用与输入图像相对应的边缘图像的线成分，识别与主要被拍摄物体的配置状态(例如排列图案或位置关系)有关且与输入图像类似的模型构图方案。

通过采用这种功能，从而也可以将现有的在黄金分割线(3分割线)格栅的交点处放置被拍摄物体这种单纯的构图方案以外的各种各样的模型构图方案作为构图方案来提示。结果，作为构图方案候补而被提示的构图方案并不是千篇一律的构图，因此用户能够根据场景或被拍摄物体，以各种各样的构图，还有随机应变的各种构图，来摄影主要被拍摄物体。

第1实施方式涉及的CPU9还具有提示所识别出的模型构图方案的功能。由此，用户仅仅通过利用取景器等观察输入图像(直通图像)的同时瞄准主要被拍摄物体，即可提示对人物的面部以外的一般主要被拍摄物体进行摄影时的模型构图方案。因此，用户可以基于所提示的模型构图方案来评价构图的好坏。另外，用户通过变更场景来提示每个场景的多个模型构图方案，因此可以从所提示的多个模型构图方案中将希望的方案作为摄影时的构图来选择。

第1实施方式涉及的CPU9还具有对所识别出的模型构图方案进行评价的功能。而且，提示的功能中包含将该评价结果与所识别出的模型构图方案一起进行提示的功能。由此，可以根据取景的变更(framing)时时刻刻识别模型构图方案，并时时刻刻进行这些内容的评价。因此，用户通过利用时时刻刻变化的评价，从而可以搜索出对于输入图像而言更好的构图，或者容易尝试各种取景。

第1实施方式涉及的CPU还具有基于所识别出的模型构图方案来生成引导到规定构图(例如理想的构图)的引导信息的功能。而且，提示的功能中包含提示该引导信息的功能。由此，即使是对摄影不熟悉的用户，也可以很容易地以理想的构图、感觉良好的构图、或平衡性良好的构图对主要被拍摄物体进行摄影。

进而，第1实施方式涉及的CPU也可以按照成为与识别出的模型构图方案相对应的构图的方式，引导用户取景或移动焦距。另外，CPU9也可以按照接近与识别出的模型构图方案相对应的构图的方式，执行自动取景或自动微调(trimming)，从而进行摄影。还有，在进行多张连拍的情况下，CPU9可以将连拍到的多个摄影图像分别作为输入图像，从而识别模型构图方案。因此，CPU9也可以基于识别出的各模型构图方案，从连拍后的多个摄影图像中选择构图良好的摄影图像，并进行记录。结果，用户能够脱离单调的构图，以适当的构图进行摄影。另外，对于用户而言，能够回避以失败的构图进行摄影的情况。

(第2实施方式)

接着，对本发明的第2实施方式进行说明。

其中，本发明第2实施方式涉及的图像处理装置的硬件构成和第1实施方式涉及的图像处理装置100的图1的硬件构成基本相同。再有，对于CPU9的功能而言，也具有第1实施方式的CPU9所具有的上述各功能。

第2实施方式涉及的图像处理装置100还具有基于“图片模式”和“BEST SHOT(注册商标)”等功能而向用户提示多种场景的功能。

图12表示作为液晶显示器13的显示例而显示了可分别确定多种场景的信息(以下称为场景信息)的例子。

场景信息201表示“朝阳/夕阳”的场景。场景信息202表示“花”的场景。场景信息203表示“樱花”的场景。场景信息204表示“溪流”的场景。场景信息205表示“树木”的场景。场景信息206表示“森林/树林”的场景。场景信息207表示“天空/云”的场景。场景信息208表示“瀑布”的场景。场景信息209表示“山”的场景。场景信息210表示“海”的场景。

其中，为了方便说明，作为场景信息201至210虽然按照显示各场景的名称的方式在图12上进行了描绘，但并未特别限定于图12的例子，除此以外例如也可以是各场景的样本图像。

用户对操作部14进行操作，从而可以从场景信息201至210中选择希望的场景信息。作为与这种选择对应的功能，第2实施方式涉及的图像处理装置100具有以下功能。即，图像处理装置100具有根据与所选出的场景信息相对应的场景、该场景所能包含的被拍摄物体的种类、该场景的风格等，从多个模型构图方案中识别针对该场景而推荐的模型构图方案的功能。

具体是，例如在选择了场景信息201的情况下，图像处理装置100针对“朝阳/夕阳”的场景，识别模型构图方案C11“3分割/4分割构图”。由此，能够使太阳与水平线配置在基于3分割法的位置上来进行摄影。

例如，在选择了场景信息202的情况下，图像处理装置100针对“花”的场景，识别模型构图方案C7“对比/对称构图”。由此，能够发现衬托作为主角的花的配角，并进行基于主角与配角的“对比构图”下的摄影。

例如，在选择了场景信息203的情况下，图像处理装置100针对“樱花”的场景，识别模型构图方案C4“放射线构图”。由此，能够针对树干和树枝进行“放射线构图”下的摄影。

例如，在选择了场景信息204的情况下，图像处理装置100针对“溪流”的场景，识别模型构图方案C12“远近法构图”。由此，能够以强调了距离感的“远近法构图”，进行使成为重点的被拍摄物体配置的摄影。

例如，在选择了场景信息205的情况下，图像处理装置100针对“树木”的场景，识别模型构图方案C7“对比/对称构图”。由此，将衬托主角的古木等的配角作为背景的各种树，从而能够进行基于主角与配角的“对比构图”下的摄影。结果，能够带来古木等被拍摄物体的宏大感。

例如，在选择了场景信息206的情况下，图像处理装置100针对“森林/树林”的场景，识别模型构图方案C4“放射线构图”。由此，在光照射的透过光下，能够以将树干作为突出线(accent line)的“放射线构图”进行摄影。

例如，在选择了场景信息207的情况下，图像处理装置100针对“天空/云”的场景，识别模型构图方案C4“放射线构图”或模型构图方案C3“斜线构图/对角线构图”。由此，能够以“放射线构图”或“对角线构图”对云的线条进行摄影。

例如，在选择了场景信息208的情况下，图像处理装置100针对“瀑布”的场景，识别能够将以低速快门获得的瀑布的流动作为“构图的轴”来进行摄影的模型构图方案。

例如，在选择了场景信息209的情况下，图像处理装置100针对“山”的场景，识别模型构图方案C3“斜线构图/对角线构图”。由此，能够以“斜线构图”对棱角线进行摄影，能够使摄影图像表现出节奏感。另外，该情况下优选对天空不进行过度宽广地摄影。

例如，在选择了场景信息210的情况下，图像处理装置100针对“海”的场景，识别模型构图方案C1“水平线构图”与模型构图方案C7“对比/对称构图”。由此，能够以“水平线构图”与“对比构图”的组合对海进行摄影。

在这种第2实施方式中，能够直接起到第1实施方式中所起到的效果是毋庸置疑的，而且还能起到以下的效果。

即，在第2实施方式中，在选择按照场景分类的摄影程序来摄影的情况等下，因为可以识别与场景相对应的模型构图方案，所以能够与输入图像(直通图像)中的主要被拍摄物体的配置或位置关系无关地识别如衬托场景的最佳模型构图方案。结果，任何人都能以理想的构图进行摄影。

例如，在作为按照与场景分类的摄影程序相对应的样本图像或模型构图方案，可以追加注册用户拍摄到的图像或者有名作家的照片作品等。该情况下，图像处理装置100从注册图像中提取关注点区域等，并基于提取结果，可以自动提取构图要素或排列图案等。由此，图像处理装置100可以将所提取出的构图要素或排列图案等作为新的模型构图方案或排列图案信息来追加注册。此时，在进行基于按照场景分类的摄影程序的摄影时，用户通过选择所追加注册的模型构图方案，从而可以更加简单地进行基于期望的构图方案的摄影。

另外，本发明并未限于所述实施方式，可达成本发明的目的的范围内的变形、改良等均包含于本发明中。

例如，在上述的实施方式中，举例说明了采用本发明的图像处理装置作为数码照相机而构成的例子。然而，本发明并未特别限于数码照相机，一般也可以适用于具有如下功能的电子设备，即：对与包含目标的图像一致的场景进行识别的功能。具体是，例如本发明能够适用于摄像机。便携式导航装置、便携式游戏机等。

另外，也可以组合第1实施方式和第2实施方式。

上述一系列的处理可以通过硬件来执行，也可以通过软件来执行。

在通过软件来执行一系列的处理的情况下，构成该软件的程序是从网络或记录介质安装到计算机等中的。计算机也可以是被组装到专用硬件中的计算机。另外，计算机还可以是通过安装各种程序而能执行各种功能的计算机，例如通用的个人计算机。

包含这种程序的记录介质虽然未图示，但不仅可以由为了向用户提供程序而与装置主体分开配置的可拆卸介质构成，还可以由在被预先组装到装置主体中的状态下向用户提供的记录介质等构成。可拆卸介质例如由磁盘(包含软磁盘(floppy disc))、光盘或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。再有，在被预先组装到装置主体的状态下向用户提供的记录介质例如由记录有程序的图1的ROM11或未图示的硬盘等构成。

另外，在本说明书中，描述记录在记录介质中的程序的步骤当然包含根据该顺序按照时序进行的处理，还包含并非必须按照时序进行的处理、并列或单独执行的处理。

Claims

1.一种图像处理装置，其包括：

推测部，其基于从包含主要被拍摄物体的输入图像中提取出的多个特征量，针对所述输入图像推测关注点区域；和

识别部，其利用由所述推测部推测出的所述关注点区域，从多个模型构图方案中识别与所述主要被拍摄物体的配置状态有关且与所述输入图像类似的模型构图方案。

2.根据权利要求1所述的图像处理装置，其中，

所述识别部除了所述关注点区域以外，还利用与所述输入图像相对应的边缘图像的线成分，来识别与所述要被拍摄物体的配置状态有关且与所述输入图像类似的模型构图方案。

3.根据权利要求1或2所述的图像处理装置，其中，

该图像处理装置还包括提示部，该提示部提示由所述识别部识别出的所述模型构图方案。

4.根据权利要求3所述的图像处理装置，其中，

该图像处理装置还包括评价部，该评价部对由所述识别部识别出的所述模型构图方案进行评价，

所述提示部还提示所述评价部的评价结果。

5.根据权利要求3或4所述的图像处理装置，其中，

该图像处理装置还包括生成部，该生成部基于由所述识别部识别出的所述模型构图方案，生成引导到规定构图的引导信息，

所述提示部还提示由所述生成部生成的所述引导信息。

6.一种图像处理方法，其包括：

推测步骤，基于从包含主要被拍摄物体的输入图像中提取出的多个特征量，针对所述输入图像推测关注点区域；和

识别步骤，利用通过所述推测步骤的处理推测出的所述关注点区域，从多个模型构图方案中识别与所述主要被拍摄物体的配置状态有关且与所述输入图像类似的模型构图方案。