CN102014251B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置。上述图像处理装置具有：构成为取得图像的取得部(unit)；构成为生成与上述图像的多个特征的每一个对应的特征图的生成部(unit)；构成为确定上述图像的拍摄环境的拍摄环境确定部；构成为按照上述拍摄环境进行上述特征图的加权的加权部(unit)；以及构成为基于上述加权后的特征图的特征分布，从上述图像中检测特定区域(ROI)的检测部(detector)。

Description

图像处理装置和图像处理方法

本申请要求2009年9月4日提出的日本专利申请No.2009-204213的优先权，其全部内容作为参考被包含在本文中。 

技术领域

本发明涉及图像处理装置和图像处理方法。 

背景技术

在图像处理领域中已知一种技术，该技术生成从图像中得到的多个示出物理特征的特征图(map)，综合这些特征图，从处理对象的图像中检测特定的区域作为关注区域(ROI：Region of Interest)。 

作为更具体的作法，例如，Treisman的特征综合理论是得到综合了多个特征图的显著性图来作为图像的关注区域。此外，Itti和Koch等的理论是使用与各个平均值的平方误差，将多个特征图标准化，在利用线性组合综合了全部特征图后，利用高斯差分(Difference of Gaussian)滤波器循环地对该综合后的特征图进行滤波，得到最终得到的滤波结果中的局部峰值来作为关注区域(参见，例如，参照非专利文献1)。 

再有，上述理论中使用的多个特征图一般是利用高亮度和特定颜色以及强对比度等、在人视觉过程的初始阶段中优先关注感觉显著的物体的性质而得到的。 

【非专利文献1】Laurent Itti，Christof Koch，and Ernst Niebur、“A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、(美国)、IEEE Computer Society、1998年11月、第20卷、第11号、p.1254-1259 

但是，在上述非专利文献1的理论的情况中，对于物理特征的种类的权重已被固定，例如在使其适用于由拍摄等得到的具有多种物理特征的图 像中时，从该图像中适当地抽取关注区域就很困难。 

发明内容

本发明示例性的实施例针对的是上述缺点和上面没有提到的其它缺点。但是，并不需要本发明克服上述所有缺点，因此，本发明示例性的实施例可能并未克服上述某些缺点。 

从而，本发明的具体方式在于提供一种能够考虑拍摄环境而适当地检测关注度高的特定区域(ROI)的图像处理装置、图像处理方法及计算机存储介质。 

根据本发明的一个以上的具体方式，提供一种图像处理装置。上述图像处理装置具有：取得部(unit)，其构成为取得图像；生成部(unit)，其构成为生成与上述图像的多个特征的每一个对应的特征图；拍摄环境确定部，其构成为确定上述图像的拍摄环境；加权部(unit)，其构成为按照上述拍摄环境进行上述特征图的加权；以及检测部(detector)，其构成为基于上述加权后的特征图的特征分布，从上述图像中检测特定区域(ROI)。 

根据本发明的一个以上的具体方式，提供一种图像处理方法。上述方法具有下述工序：(a)取得图像；(b)生成与上述图像的多个特征的每一个对应的特征图；(c)确定上述图像的拍摄环境；(d)按照上述拍摄环境进行上述特征图的加权；以及(e)基于上述加权后的特征图的特征分布，从上述图像中检测特定区域(ROI)。 

根据本发明的一个以上的具体方式，提供一种计算机可读取的介质，存储用于使计算机执行下述工作的程序。上述工作包括：(a)取得图像；(b)生成与上述图像的多个特征的每一个对应的特征图；(c)确定上述图像的拍摄环境；(d)按照上述拍摄环境进行上述特征图的加权；以及(e)基于上述加权后的特征图的特征分布，从上述图像中检测特定区域(ROI)。 

附图说明

图1是示出适用了本发明的一个实施方式的拍摄装置的概略结构的方框图。 

图2是示出存储在图1的拍摄装置中的加权表的一例的图。 

图3是示出与图1的拍摄装置的特定区域检测处理有关的工作的一例的流程图。 

图4是用于说明特定区域检测处理的图。 

图5是示出与加权表的制作有关的外部机器的概略结构的方框图。 

图6是示出与图5的外部机器的加权表制作处理有关的工作的一例的流程图。 

图7是用于说明加权表制作处理涉及的图像集(set)的图。 

图8是示意性地示出图像集的一例的图。 

图9是示出加权表制作处理涉及的加权系数的一例的图。 

图10是示出加权表制作处理涉及的正解图和临时综合图的一例的图。 

具体实施方式

以下，关于本发明，使用附图说明典型的实施例。但是，发明范围不限定于图示例。 

图1是示出适用了本发明的一个实施方式的拍摄装置100的概略结构的方框图。 

本实施方式的拍摄装置100按照处理对象图像的拍摄环境进行与该处理对象图像的多个特征的每一个有关的特征图的加权，基于加权后的多个特征图的特征分布，从处理对象图像中检测特定区域。 

具体地说，如图1所示，拍摄装置100具有拍摄部1、拍摄控制部2、图像数据生成部3、存储器4、图像处理部5、存储部6、显示控制部7、显示部8、记录介质9、外部连接部10、操作输入部11、以及中央控制部12。 

拍摄部1对被拍摄对象进行拍摄，生成图像帧。具体地说，拍摄部1省略了图示，具有：由变焦透镜和聚焦透镜等多个透镜构成的透镜部；对通过透镜部的光的量进行调整的光圈；以及由CCD(Charge Coupled Device：电荷耦合装置)和CMOS(Complementary Metal-oxide Semiconductor：互补金属氧化物半导体)等图像传感器构成，将通过了透镜部的各种透镜后的光学像变换成二维图像信号的电子拍摄部。 

拍摄控制部2省略了图示，具有定时发生器和驱动器等。并且，拍摄 控制部2利用定时发生器和驱动器扫描驱动电子拍摄部，按每规定周期，由电子拍摄部将光学像变换成二维图像信号，从该电子拍摄部的拍摄区域中，一个画面一个画面地读出图像帧，并输出到图像数据生成部3中。 

此外，作为拍摄条件的调整控制，拍摄控制部2进行AE(自动曝光处理)、AF(自动合焦处理)、AWB(自动白平衡)等。 

对于从电子拍摄部传送来的图像数据的模拟值信号，图像数据生成部3对RGB的各色成分适当地进行了增益调整之后，在采样保持电路(图示略)中进行采样保持，在A/D变换器(图示略)中变换成数字数据，在彩色处理电路(图示略)中进行包括象素插补处理和γ修正处理在内的彩色处理，之后，生成数字值的辉度信号Y和色差信号Cb、Cr(YUV彩色空间的图像数据)。 

从彩色处理电路输出的辉度信号Y和色差信号Cb、Cr，经由未图示的DMA控制器，被DMA传送到作为缓冲存储器使用的存储器4中。 

存储器4例如由DRAM等构成，对由图像处理部5和中央控制部12等处理的数据等进行暂时存储。 

图像处理部5具有取得由拍摄部1拍摄到的输入图像作为处理对象图像的图像取得部(取得部)5a。 

具体地说，图像处理部5a例如在实时取景(Live View)图像和记录用图像的拍摄时，取得由图像数据生成部3所生成的输入图像(参照图4)的YUV数据。 

此外，图像处理部5还具有在拍摄被拍摄对象时对图像的拍摄环境(参照图4)进行确定的拍摄环境确定部5b。 

具体地说，拍摄环境确定部5b通过基于与用户对操作输入部11的选择决定按钮的规定操作相应的拍摄模式(选择情景)的指定，设定与该拍摄模式对应的被拍摄对象的拍摄条件，从而来确定拍摄环境。更具体地说，拍摄环境确定部5b从例如“1.自动”、“2.人物”、“3.风景”、“4.风景和人物”、“5.儿童”、“6.体育”、“7.灯光”、“8.聚会”、“9.宠物”等多个拍摄模式中，确定一个由用户指定的拍摄模式所规定的、例如曝光条件(快门速度和光圈、放大率等)和白平衡等的被拍摄对象的拍摄条件(拍摄模式信息)，作为拍摄环境。 

此外，拍摄环境确定部5b基于遵照用户对操作输入部11的规定操作所指定的变焦量(变焦透镜位置)，确定与按照该变焦量设定的视角有关的视角信息，作为图像的拍摄环境。 

此外，拍摄环境确定部5b确定与由未图示的计时部计时的时刻有关的时刻信息，作为图像的拍摄环境。 

此外，拍摄环境确定部5b还基于由未图示的位置检测部检测到的位置，确定GPS(全球定位系统)信息和高度信息，作为图像的拍摄环境。 

再有，作为图像的拍摄环境而例示的拍摄模式信息、视角信息、时刻信息、GPS信息、高度信息只是一例，不限于此。 

在此，拍摄环境确定部5b和操作输入部11构成了权利要求中的拍摄环境确定部。 

此外，图像处理部5具有特征图生成部(生成部)5c，该特征图生成部(生成部)5c关于由图像取得部5a所取得的输入图像的多个特征的每一个，生成多个特征图(参照图4)。 

特征图生成部5c在基于由图像取得部5a取得的图像数据(YUV数据)生成了水平(x轴)和垂直(y轴)都按规定比率缩小了的缩小图像(例如，VGA尺寸(x×y：640×480象素)的图像)之后，生成利用了例如对比度、直方图的巴特查里亚距离(バタチヤリヤ距離：Bhattacharyya Distance)、各色的分散程度(连贯程度)等的第一～第三特征图F1～F3。 

具体地说，特征图生成部5c首先基于缩小图像的图像数据，按照使缩小比率不同的方式生成多个水平(x轴)和垂直(y轴)都按规定比率进一步缩小后的图像。然后，特征图生成部5c在计算出了生成的多个缩小后的图像的各自的对比度之后，通过使这些对比度与各图像的缩小比率对应地放大后配合尺寸进行相加，从而生成第一特征图F1。 

此外，特征图生成部5c首先基于缩小图像的图像数据，以各象素为中心，生成多个尺寸和形状不同的框。然后，特征图生成部5c在计算出了直方图的巴特查里亚距离作为多个框内的图像区域彼此之间的类似度的指标之后，通过基于该巴特查里亚距离分开涂抹各象素来生成第二特征图F2。再有，在图4所示的第二特征图F2中，直方图的巴特查里亚距离越大表示越白。在此，所述巴特查里亚距离是指如下的距离尺度，在整个区域中对2个概率密度分布(probability density distribution)的几何平均进行积分，在随机地退回维数之后，求其自身信息量，将它解释为距离。 

此外，特征图生成部5c首先按照规定的变换式，将缩小图像的YUV彩色空间的图像数据变换成HSV彩色空间的图像数据之后，利用EM算法，用混合高斯分布表现出来。然后，特征图生成部5c在关于以规定的基准分组后的多个组(颜色的块)计算出了分散值之后，基于该分散值分开涂抹各象素，从而生成第三特征图F3。再有，在图4所示的第三特征图F3中，分散值越小(颜色越连贯)表示越白。 

再有，作为特征图，例示了第一～第三特征图F1～F3，但这只是一例，不限于此，只要是与输入图像的各种特征有关的，就可以是任意的特征图。此外，特征图的数量(种类)不限于3个，也可以是多个。 

此外，图像处理部5具有加权部5d，该加权部5d对由特征图生成部5c生成的多个特征图进行加权。 

即，加权部5d作为加权系数存储部，存储有已将第一～第三特征图F1～F3的各自的加权系数w1～w3与拍摄条件建立了对应的加权表T1。 

加权表T1如图2所示，关于对被拍摄对象的拍摄条件进行规定的多个拍摄模式“人物”、“风景”、“风景和人物”、“儿童”、“体育”、“灯光”、“聚会”、“宠物”的每一个，与第一～第三特征图F1～F3的各加权系数w1～w3建立对应并存储起来。 

再有，加权表T1是在由经由外部连接部10与拍摄装置100连接的外部机器200(后述)的加权表制作处理(后述)制成之后，发送到该拍摄装置100中并存储在加权部5d中的表。 

然后，在多个拍摄模式中，加权部5d按照与基于用户对操作输入部11的规定操作所指定的拍摄模式建立有对应的被拍摄对象的拍摄条件，进行第一～第三特征图F1～F3的加权。具体地说，加权部5d具有特征分布综合部5e，该特征分布综合部5e对按照加权系数w1～w3加权后的第一～第三特征图F1～F3的特征分布进行综合。 

即，当基于用户对操作输入部11的规定操作指定了某一个拍摄模式时，加权部5d在加权表T1内确定了与该拍摄模式对应的第一～第三特征图F1～F3的加权系数w1～w3之后，读出并取得规定的加权系数(例如， 加权系数w1等)。然后，特征分布综合部5e按照取得的加权系数w1～w3进行第一～第三特征图F1～F3的加权，生成综合图T(x，y)。具体地说，特征分布综合部5e通过按照下述式(1)，将与第一～第三特征图F1～F3的各自的特征分布对应的各加权系数w1～w3相乘并积分，从而生成综合图T(x，y)。 

【数学式1】 

$T(X,Y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\mathrm{wi}\·\mathrm{Fi}(x,y)$

式(1) 

再有，“i”是用于指定第一～第三特征图F1～F3和加权系数w1～w3的索引(index)。此外，综合图T(x，y)用“0”～“1”的值表示，主要被拍摄对象的可能性越高的区域，越取接近于“1”的值，在图4中，越接近于“1”表示越白。 

在此，特征分布综合部5e构成了权利要求中的综合部。 

再有，作为拍摄环境，例示了对被拍摄对象的拍摄条件进行规定的拍摄模式信息，但不限于此，在被拍摄对象的拍摄时，例如在由拍摄环境确定部5b确定了视角信息、时刻信息、GPS信息、高度信息等的拍摄环境的情况下，加权部5d也可以按照该拍摄环境来进行第一～第三特征图F1～F3的加权。 

此外，作为加权表T1，例示了将拍摄模式信息与第一～第三特征图F1～F3的各自的加权系数w1～w3建立了对应的表，但这只是一例，不限于此，也可以是将其他的拍摄环境、例如视角信息、时刻信息、GPS信息、高度信息等与第一～第三特征图F1～F3的各自的加权系数w1～w3建立对应后存储起来的表。 

另外，图2所示的加权表T1的加权系数w1～w3的各数值是一例，不限于此，可以按照特定区域的检测精度适当地任意变更。 

在此，加权部5d构成了权利要求中的加权部。 

此外，图像处理部5还具有特定区域检测部5f，该特定区域检测部5f基于由特征分布综合部5e生成的综合图的特征分布，从输入图像中检测特定区域。 

特定区域检测部5f基于综合图T(x，y)，检测出取得规定阈值以上的值的区域，作为特定区域。具体地说，特定区域检测部5f按照水平(x轴)和垂直(y轴)都与缩小比率对应的比率，将综合图T(x，y)放大成与由图像取得部5a取得的输入图像的原尺寸相对应。之后，特定区域检测部5f将放大后的综合图T(x，y)的特征分布适用在输入图像中，检测出取得规定的阈值以上的值的区域，作为特定区域。 

存储部6例如由非易失性存储器(快闪存储器)等构成，存储着中央控制部12的工作所需的各种程序和数据(图示省略)。 

此外，在存储部6中保存着与被拍摄对象的多个拍摄模式的设定有关的模式表T2。 

模式表T2存储有分别规定了例如曝光条件(快门速度和光圈或者放大率等)和白平衡等的被拍摄对象的拍摄条件的多个拍摄模式。 

作为拍摄模式，例举有自动地调整被拍摄对象的拍摄条件的“自动”、调整为适合于主要被拍摄对象为人物的拍摄的拍摄条件的“人物”、调整为适合于主要被拍摄对象为风景的拍摄的拍摄条件的“风景”、调整为适合于风景和人物的拍摄的拍摄条件的“风景和人物”、调整为适合于主要被拍摄对象为儿童的拍摄的拍摄条件的“儿童”、调整为适合于体育的拍摄的拍摄条件的“体育”、调整为适合于在灯光的亮度中的人物的拍摄的拍摄条件的“灯光”、调整为适合于存在多个人物的聚会的拍摄的拍摄条件的“聚会”、调整为适合于主要被拍摄对象为宠物的拍摄的拍摄条件的“宠物”等。 

在此，存储部6构成了权利要求中的存储部。 

显示控制部7进行读出暂时存储在存储器4中的显示用的图像数据并使其显示在显示部8中的控制。 

具体地说，显示控制部7具有VRAM、VRAM控制器、数字视频编码器等。并且，数字视频编码器经由VRAM控制器，从VRAM中定期地读出已在中央控制部12的控制下从存储器4中读出并存储在VRAM(图示省略)中的辉度信号Y和色差信号Cb、Cr，以这些数据为基础生成视频信号并输出到显示部8中。 

显示部8例如是液晶显示装置，基于来自显示控制部7的视频信号， 在显示画面中显示由电子拍摄部拍摄到的图像等。具体地说，显示部8在静止画拍摄模式和动画拍摄模式中，一边以规定的帧速率逐次更新由拍摄部1的被拍摄对象的拍摄生成的多个图像帧，一边显示实时取景图像。此外，显示部8还显示作为静止画所记录的图像(记录浏览(Rec View)图像)，或者作为动画显示记录中的图像。 

记录介质9例如由非易失性存储器(快闪存储器)等构成，对由图像处理部5的编码部(图示省略)以规定的压缩形式编码后的记录用的静止图像数据和由多个图像帧构成的动画像数据进行存储。 

外部连接部10具有与外部机器200连接用的端子(例如USB端子等)，经由规定的通信电缆(例如USB电缆等、图示省略)进行数据的收发。 

具体地说，外部连接部10对由外部机器200的加权表制作处理(后述)制成的、从该外部机器200发送的加权表T1进行接收。 

操作输入部11用于进行该拍摄装置100的规定操作。具体地说，操作输入部11具有与被拍摄对象的摄影指示有关的快门按钮、与拍摄模式和功能等的选择指示有关的选择决定按钮、与变焦量的调整指示有关的变焦按钮等(都省略了图示)，按照这些按钮的操作，向中央控制部12输出规定的操作信号。 

此外，在基于用户对菜单按钮的规定操作所显示在显示部8中的模式选择画面中，操作输入部11的选择决定按钮从例如“自动”、“人物”、“风景”、“风景和人物”、“儿童”、“体育”、“灯光”、“聚会”、“宠物”等多个拍摄模式中，输入某一个拍摄模式的设定指示。然后，按照该选择决定按钮的操作，将规定的设定信号输出到中央控制部12中。 

中央控制部12按照输入的设定信号，在模式表T2中所存储的多个拍摄模式中设定用户期望的拍摄模式。 

在此，操作输入部11和中央控制部12构成了在多个拍摄模式中指定某一个拍摄模式的模式指定部。 

中央控制部12控制拍摄装置100的各部分。具体地说，中央控制部12具有CPU(图示省略)，按照拍摄装置100用的各种处理程序(图示省略)进行各种控制工作。 

下面，参照图3，关于特定区域检测处理进行说明。 

图3是示出与特定区域检测处理有关的工作的一例的流程图。 

如图3所示，图像处理部5的图像取得部5a，例如通过由拍摄部1拍摄实时取景图像和记录用图像，取得由图像数据生成部3生成的处理对象图像的图像数据(YUV数据)(步骤S1)。 

再有，在由拍摄部1拍摄实时取景图像和记录用图像时，假设已在多个拍摄模式(例如，“人物”、“风景”、“风景和人物”、“儿童”、“体育”、“灯光”、“聚会”、“宠物”等)中指定了某一个拍摄模式。 

接着，图像处理部5的特征图生成部5c，在基于由图像取得部5a取得的图像数据(YUV数据)生成了水平(x轴)和垂直(y轴)都按规定比率缩小了的缩小图像(例如，VGA尺寸的图像)之后(步骤S2)，生成例如利用了对比度、直方图的巴特查里亚距离、各色的分散程度的第一～第三特征图F1～F3(参照图4)(步骤S3)。 

接着，图像处理部5的拍摄环境确定部5b，基于拍摄部1拍摄实时取景图像和记录用图像时按照用户对操作输入部11的规定操作所指定的拍摄模式(例如，拍摄模式“宠物”)，确定与该拍摄模式对应的被拍摄对象的拍摄条件作为拍摄环境(步骤S4)。 

接着，图像处理部5的加权部5d，在加权表T1内确定并取得与由拍摄环境确定部5b确定的拍摄环境(拍摄模式)对应的第一～第三特征图F1～F3的加权系数w1～w3(步骤S5)。然后，特征分布综合部5e按照取得的加权系数w1～w3进行第一～第三特征图F1～F3的加权，生成综合图T(x，y)。具体地说，特征分布综合部5e通过按照下述式(2)，将与第一～第三特征图F 1～F3的各自的特征分布对应的各加权系数w1～w3相乘并积分，从而生成综合图T(x，y)(步骤S6)。 

【数学式2】 

$T(X,Y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\mathrm{wi}\·\mathrm{Fi}(x,y)\·\·\·\left(2\right)$

再有，在特定区域检测处理中，生成第一～第三特征图F1～F3的处理(步骤S3)和确定拍摄环境的处理(步骤S4)的顺序也可以倒过来。即，也可以首先进行确定拍摄环境的处理，之后进行生成第一～第三特征 图F1～F3的处理。 

接着，特定区域检测部5f按照水平(x轴)和垂直(y)都与缩小比率对应的比率，将综合图T(x，y)放大成与由图像取得部5a取得的输入图像的原尺寸相对应，之后，将放大后的综合图T(x，y)的特征分布适用在输入图像中，检测取得规定的阈值以上的值的区域，作为特定区域(步骤S7)。之后，图像处理部5将检测到的特定区域输出到存储器4(步骤S8)，结束特定区域检测处理。 

下面，关于加权表T1的制作进行说明。 

首先，参照图5，关于执行加权表制作处理的外部机器200的结构进行说明。 

如图5所示，外部机器200具有权重决定部201、存储部202、存储器203、显示部204、外部连接部205、操作输入部206、和中央控制部207。 

权重决定部201执行加权表制作处理。具体地说，权重决定部201具有拍摄环境指定部201a、区域指定部201b、和加权系数确定部201c。 

拍摄环境指定部201a基于用户对操作输入部206的规定操作，指定拍摄图像的拍摄环境。 

拍摄环境指定部201a关于存储部202中存储的多幅(例如大约1000幅)拍摄图像，基于至少一个用户的分别对操作输入部206的规定操作，选择指示与拍摄装置100的拍摄模式对应的拍摄情景，按照指示的拍摄情景或与该拍摄模式对应的被拍摄对象的拍摄条件进行标示(labeling)。具体地说，拍摄环境指定部201a将多幅拍摄图像分类为与拍摄装置100的拍摄模式对应的、例如与“人物”、“风景”、“风景和人物”、“儿童”、“体育”、“灯光”、“聚会”、“宠物”等的拍摄情景相应的图像集1～8(参照图7A和图7B)。这样，拍摄环境指定部201a就指定多幅拍摄图像的各自的拍摄环境。 

再有，在关于一个拍摄图像，由多个用户指示了多个不同的拍摄情景的情况下，也可以通过采用多数决定和平均来标示成与某一个拍摄情景相对应，也可以标示成与指示的多个拍摄情景的每一个对应。 

在此，拍摄环境指定部201a和操作输入部206构成了指定拍摄图像的拍摄环境的区域指定部。 

区域指定部201b基于用户对操作输入部206的规定操作，在各拍摄图像内指定用户关注的关注区域。 

区域指定部201b关于各图像集内的全部拍摄图像，基于多个用户各自对操作输入部206的规定操作，指定主要被拍摄对象区域(关注区域)，通过将指定的多个关注区域平均化，来生成正解图Sj(x，y)作为关注区域。具体地说，区域指定部201b关于例如图像集8中所包含的某一个图像j(例如，主要被拍摄对象是鹿的图像)，在基于多个用户各自对操作输入部206的规定操作指定了主要被拍摄对象区域之后，通过取该多个主要被拍摄对象区域的平均来生成正解图Sj(x，y)，之后，与图像j(原图像)建立对应并保存在图像集内(参照图8)。 

再有，正解图Sj(x，y)用“0”～“1”的值表示，同意作为主要被拍摄对象区域的人数越多，越取接近于“1”的值，在图8中，越接近于“1”表示越白。此外，正解图Sj(x，y)相对于原图像成为水平(x轴)和垂直(y轴)都按规定比率缩小了的尺寸(例如，VGA尺寸(x×y：640×480象素)。此外，“j”是由用户指定为处理对象的图像集(例如，图像集8)中包含的图像的索引。 

在此，区域指定部201b和操作输入部206构成了在拍摄图像内指定用户关注的关注区域的区域指定部。 

加权系数确定部201c关于各图像集，确定第一～第三特征图F1～F3的加权系数w1～w3，具体地说，具有系数变更部201d和临时特定区域检测部201e。 

系数变更部201d各种各样地变更第一～第三特征图F1～F3的加权系数w1～w3。具体地说，在临时特定区域检测部201e生成临时综合图Tjk(x，y)时，系数变更部201d使对第一～第三特征图F1～F3的各自的加权系数w1～w3进行规定的系数决定用表(参照图9)的“k”值进行各种各样地变化。 

再有，“k”是用于指定w1～w3的各种各样的组合的索引。 

临时特定区域检测部201e基于已按照由系数变更部201d变更指定的加权系数w1～w3进行加权后的第一～第三特征图F1～F3的特征分布，从拍摄图像中生成临时综合图Tjk(x，y)。 

具体地说，临时特定区域检测部201e基于已生成了正解图Sj(x，y)的处理对象图像的图像数据，生成水平(x轴)和垂直(y轴)都按规定比率缩小了的缩小图像(例如，VGA尺寸(x×y：640×480象素)的图像)，之后，生成利用了例如对比度、直方图的巴特查里亚距离、各色的分散程度(连贯程度)等的第一～第三特征图F1～F3。之后，临时特定区域检测部201e通过按照下述式(3)，按照由系数变更部201d指定的加权系数w1～w3，对第一～第三特征图F1～F3的各自的特征分布进行加权运算，从而来生成临时综合图Tjk(x，y)。 

$\mathrm{Tjk}(x,y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\mathrm{wi}\·\mathrm{Fi}(x,y)\·\·\·\left(3\right)$

再有，“i”是用于指定第一～第三特征图F1～F3和加权系数w1～w3的索引。此外，“j”是由用户指定为处理对象的图像集(例如图像集8)中包含的图像的索引。此外，“k”是用于指定w1～w3的各种各样的组合的索引。 

在此，临时特定区域检测部201e构成了临时检测部，该临时检测部基于已按照加权系数w1～w3进行加权后的多个特征图的特征分布，从拍摄图像中检测临时的特定区域(临时综合图Tjk(x，y))。 

然后，加权系数确定部201c按照已由系数变更部201d关于各图像集变更了的加权系数w1～w3，设由临时特定区域检测部201e计算出的临时综合图Tjk(x，y)(参照图10B)与由区域指定部201b指定的正解图Sj(x，y)(参照图10A)的面积的重合程度为一致度Tk，按照下述式(4)进行计算。 

$\mathrm{Tk}=\frac{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Sj}(x,y)\·\mathrm{Tjk}(x,y)}{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Sj}(x,y)}\×\frac{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Sj}(x,y)\·\mathrm{Tjk}(x,y)}{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Tjk}(x,y)}\·\·\·\left(4\right)$

再有，一致度Tk用“0”～“1”的值表示，临时综合图Tjk(x，y)与正解图Sj(x，y)的面积的重合程度越大，越取接近于“1”的值。此外，一致度Tk的计算涉及的式(3)是一例，不限于此，只要是有关临时综合图Tjk(x，y)与正解图Sj(x，y)的一致度的计算的式子，就可以适当地任意变更。 

然后，加权系数确定部201c在已按照由系数变更部201d变更指定的多个加权系数w1～w3计算出的多个一致度Tk中，确定最高的一致度Tk。加权系数确定部201c确定与该最高的一致度Tk的计算有关的加权系数w1～w3，作为由拍摄环境指定部201a指定的拍摄环境(例如，与图像集8对应的拍摄情景“宠物”)中的第一～第三特征图F1～F3的各自的加权系数w1～w3的组合。 

此外，加权系数确定部201c通过关于全部图像集的加权系数w1～w3进行上述处理，从而关于多个图像集的每一个生成将第一～第三特征图F1～F3的加权系数w1～w3建立了对应的加权表T1。 

这样地，加权系数确定部201c就构成了确定部，该确定部基于由拍摄环境指定部201a指定的拍摄环境和由区域指定部201b指定的作为关注区域的正解图Sj(x，y)，确定多个特征图的各自的加权系数w1～w3。 

存储部202例如由非易失性存储器(快闪存储器)等构成，存储着中央控制部207的工作所需的各种程序和数据(图示省略)。 

此外，在存储部202中保存有由加权表制作处理制成的加权表T1(参照图2)。 

存储器203例如由DRAM等构成，对由权重决定部201和中央控制部207等处理的数据等进行暂时存储。 

显示部204例如由LCD(Liquid Crystal Display：液晶显示器)、CRT(Cathode Ray Tube：阴极射线管)等显示器构成，在中央控制部207的控制下，将各种信息显示在显示画面上。 

外部连接部205具有与拍摄装置100连接用的端子(例如USB端子等)，经由规定的通信电缆(例如，USB电缆等；图示省略)进行数据的收发。 

具体地说，外部连接部205将由加权表制作处理制成的、存储部202 中存储的加权表T1发送到拍摄装置100中。 

操作输入部206具有键盘和鼠标等操作部，所述键盘例如由用于输入数值和字母等的数据输入键、用于进行数据选择和发送操作等的上下左右移动键和各种功能键等构成，按照这些操作部的操作，将规定的操作信号输出到中央控制部207中。 

中央控制部207控制外部机器200的各部分。具体地说，中央控制部207具有CPU(图示省略)，按照外部机器200用的各种处理程序(图示省略)进行各种控制工作。 

下面，参照图6～图10，关于由权重决定部201执行的加权表制作处理进行说明。 

图6是示出与加权表制作处理有关的工作的一例的流程图。 

如图6所示，首先，拍摄环境指定部201a关于存储部202中存储的多幅(例如，大约1000幅)拍摄图像，基于多个用户各自对操作输入部206的规定操作，选择指示拍摄情景，按照指示的拍摄情景进行标示，从而将多幅拍摄图像分类为图像集1～8(参照图7A和图7B)(步骤S21)。 

接着，区域指定部201b关于各图像集(例如，图像集8等)内的全部拍摄图像，基于多个用户各自对操作输入部206的规定操作，指定主要被拍摄对象区域(例如，主要被拍摄对象是鹿的图像区域)(步骤S22)，将指定的多个关注区域平均化，从而来生成正解图Sj(x，y)作为关注区域(步骤S23；参照图8)。 

接着，加权系数确定部201c从多个图像集中指定某一个图像集(例如，图像集8)作为处理对象(步骤S24)。 

接着，加权系数确定部201c在处理对象的图像集内在从多个拍摄图像中指定了某一个拍摄图像之后(步骤S25)，临时特定区域检测部201e基于已按照由系数变更部201d变更指定的多个加权系数w1～w3(参照图9)的每一个进行了加权的第一～第三特征图F1～F3的特征分布，按照下述式(5)，从拍摄图像中生成临时综合图Tjk(x，y)的每一个(步骤S26)。 

$\mathrm{Tjk}(X,Y)=\underset{i=0}{\overset{I}{\mathrm{\Σ}}}\mathrm{wi}\·\mathrm{Fi}(x,y)\·\·\·\left(5\right)$

接着，加权系数确定部201c进行是否已关于处理对象的图像集内的全部拍摄图像生成了临时综合图Tjk(x，y)的判定的处理(步骤S27)。在此，在判定为未关于全部拍摄图像生成临时综合图Tjk(x，y)时(步骤S27；“否”)，在处理对象的图像集内指定下一个拍摄图像(步骤S28)，之后，将处理转移到步骤S26。 

反复进行步骤S26的处理，直到在步骤S27中判定为已关于全部拍摄图像生成了临时综合图Tjk(x，y)(步骤S27；“是”)。 

然后，在步骤S27中判定为已关于全部拍摄图像生成了临时综合图Tjk(x，y)时(步骤S27；“是”)，加权系数确定部201c关于处理对象的图像集，按照由系数变更部201d变更后的加权系数w1～w3，由下述式(6)，计算出临时综合图Tjk(x，y)与正解图Sj(x，y)的一致度Tk(参照图10A和图10B)。 

$\mathrm{Tk}=\frac{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Sj}(x,y)\·\mathrm{Tjk}(x,y)}{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Sj}(x,y)}\×\frac{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Sj}(x,y)\·\mathrm{Tjk}(x,y)}{\underset{x=0}{\overset{640}{\mathrm{\Σ}}}\·\underset{y=0}{\overset{480}{\mathrm{\Σ}}}\mathrm{Tjk}(x,y)}\·\·\·\left(6\right)$

接着，加权系数确定部201c在按照由系数变更部201d变更指定的多个加权系数w1～w3所计算出的多个一致度Tk中，确定最高的一致度Tk，之后，确定与该最高的一致度Tk的计算有关的加权系数w1～w3，作为该拍摄环境(例如，与图像集8对应的拍摄情景“宠物”)中的第一～第三特征图F1～F3的各自的加权系数w1～w3的组合(步骤S29)。之后，权重决定部201将确定的第一～第三特征图F1～F3的加权系数w1～w3的组合与处理对象的图像集建立对应并保存在加权表T1中(步骤S30)。 

接着，权重决定部201进行是否已关于多个图像集的全部确定了加权系数w1～w3的组合的判定处理(步骤S31)。在此，在判定为未关于全部图像集生成加权系数w1～w3的组合时(步骤S31；“否”)，加权系数确定部201c在多个图像集中指定下一个图像集(步骤S32)，之后，权重决定部201将处理转移到步骤S25，执行它以后的处理。 

反复进行步骤S25以后的处理，直到在步骤S31中判定为已关于全部 图像集生成了加权系数w1～w3的组合(步骤S31；“是”)。 

这样，加权系数确定部201c就关于多个图像集的每一个生成将第一～第三特征图F1～F3的加权系数w1～w3建立了对应的加权表T1。 

然后，在步骤S31中，当判定为已关于全部图像集生成了加权系数w1～w3的组合时(步骤S31；“是”)，结束加权表制作处理。 

如上所述，根据本实施方式的拍摄装置100，不是如以前那样地针对应该从处理对象图像中提取的区域的特征的种类的权重已被固定，而是通过确定处理对象图像的拍摄环境，按照该拍摄环境进行多个特征图的加权，从而能够考虑拍摄环境而灵活地变更多个特征图的权重。然后，通过对加权后的多个特征图的特征分布进行综合而生成综合图，基于该综合图，从处理对象图像中检测特定区域，从而就能够考虑拍摄环境而适当地进行用户的关注度高的特定区域的检测。 

此外，由于将拍摄模式与拍摄条件建立对应并存储有多个，因此，能够按照与在多个拍摄模式中指定的某一个拍摄模式相对应的拍摄条件进行多个特征图的加权。即，在由拍摄部1拍摄实时取景图像和记录用图像时，仅按照用户对操作输入部11的规定操作来指定拍摄模式(例如，拍摄模式“宠物”)，就将与该拍摄模式对应的被拍摄对象的拍摄条件确定为拍摄环境，因此，能够适当地确定与多个特征图的加权有关的拍摄环境。这样，就能够考虑拍摄环境而适当地进行多个特征图的权重的变更。 

此外，由于将多个特征图的各自的加权系数w1～w3与拍摄条件建立对应后存储在加权表T1中，因此，仅由拍摄环境确定部5b确定拍摄条件作为图像的拍摄环境，就能够取得与该拍摄条件相对应的加权系数w1～w3，能够简便且迅速地进行多个特征图的加权。 

再有，在加权表T1的制作中，在外部机器200中，仅基于用户对操作输入部206的规定操作来指定拍摄图像的拍摄环境和主要被拍摄对象区域(关注区域)，能够基于这些拍摄环境和主要被拍摄对象区域来适当地进行多个特征图的各自的加权系数w1～w3的确定。具体地说，基于已按照加权系数w1～w3进行了加权的多个特征图的特征分布，从拍摄图像中生成临时综合图Tjk(x，y)，然后，通过基于主要被拍摄对象区域来决定生成的正解图Sj(x，y)与临时综合图Tjk(x，y)的一致度Tk变得最高 的加权系数w1～w3的组合，从而就能够确定多个特征图的各自的加权系数w1～w3的组合。 

再有，本发明不限定于上述实施方式，也可以在不脱离本发明的主旨的范围内进行各种各样的改良和设计的变更。 

例如，已假设用与拍摄装置100不同的外部机器200进行加权表T1的制作，但不限于此。即，虽然例示了用外部机器200制作加权表T1，在拍摄装置100中使用该加权表T1的图像处理系统，但拍摄装置100和外部机器200的结构是上述实施方式中例示的一例，也可以是具有这些拍摄装置100和外部机器200的全部功能的一种图像处理装置。 

此外，也可以是一种在与该拍摄装置100不同的拍摄装置中进行处理对象图像的拍摄，取得从该拍摄装置传送来的处理对象图像的图像数据并进行特定区域的检测的图像处理装置。 

除此以外，在上述实施方式中构成为，通过在中央控制部12的控制下，由图像处理部5的图像取得部5a、特征图生成部5c、加权部5d、和特定区域检测部5f驱动作为取得部、生成部、加权部、和检测部的功能来实现，但不限于此，也可以构成为通过由中央控制部12的CPU执行规定的程序等来实现。 

即，在存储程序的程序存储器(图示省略)中存储有包括取得处理过程、生成处理过程、拍摄环境确定处理过程、加权处理过程、检测处理过程在内的程序。然后，也可以使中央控制部12的CPU利用取得处理过程来起到取得图像的取得部的功能。此外，也可以使中央控制部12的CPU利用生成处理过程来起到关于由取得部所取得的图像的多个特征的每一个生成特征图的生成部的功能。此外，也可以使中央控制部12的CPU利用拍摄环境确定处理过程来起到确定由取得部所取得的图像的拍摄环境的拍摄环境确定部的功能。此外，也可以使中央控制部12的CPU利用加权处理过程来起到按照由拍摄环境确定部所确定的图像的拍摄环境进行由生成部所生成的多个特征图的加权的加权部的功能。此外，也可以使中央控制部12的CPU利用检测处理过程来起到基于由加权部所加权的多个特征图的特征分布从图像中检测特定区域的检测部的功能。 

尽管已经参考本发明的特定示例性的实施例示出并描述了本发明，但 本领域的技术人员应理解，在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以在形式和细节上对本发明作出各种改变。因此，本发明致力于在所附的权利要求中覆盖落入到本发明的真正精神和范围内的所有这些改变和变型。 

Claims (7)

1.一种图像处理装置，其特征在于，具有：

取得部，其构成为取得图像；

生成部，其构成为生成与上述图像的多个特征的每一个对应的特征图；

拍摄环境确定部，其在取得上述图像时，从所准备的多个拍摄模式中选择确定的一个；

加权表，其保存与所准备的上述多个拍摄模式的每一个拍摄模式建立对应的加权系数；

加权部，其构成为从上述加权表中读出与由上述拍摄环境确定部确定的拍摄模式对应的加权系数，使用该读出的加权系数来进行上述特征图的加权；以及

检测部，其构成为基于上述加权后的特征图的特征分布，从上述图像中检测特定区域(ROI)。

2.根据权利要求1所述的图像处理装置，其特征在于，

还具备与外部机器连接的外部连接部，

在通过外部机器制作上述加权表之后，从上述外部机器经由上述外部连接部发送该加权表。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述图像处理装置进一步具有制作部，该制作部制作上述加权表，

上述加权表构成为由上述制作部制作。

4.根据权利要求1所述的图像处理装置，其特征在于，

上述取得部包括构成为设定拍摄条件的拍摄部，

上述拍摄环境确定部构成为基于上述拍摄条件确定上述拍摄环境，

上述加权部构成为按照上述拍摄条件进行上述特征图的加权。

5.根据权利要求4所述的图像处理装置，其特征在于，

该图像处理装置进一步具有：

存储部，其构成为存储互相关联的多个拍摄模式和拍摄条件；以及

模式指定部，其构成为指定上述多个拍摄模式中的一个，

上述拍摄部构成为设定与上述指定的上述拍摄模式相关联的拍摄条件。

6.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置进一步具有：

综合部，其构成为对上述加权后的特征图的特征分布进行综合，

上述检测部构成为基于上述综合后的特征分布，从上述图像中检测特定区域。

7.一种图像处理方法，其特征在于，具有下述工序：

(a)取得图像；

(b)生成与上述图像的多个特征的每一个对应的特征图；

(c)在获取上述图像时，从所准备的多个拍摄模式中选择确定的一个；

(d)存储与所准备的上述多个拍摄模式的每一个拍摄模式建立对应的加权系数；

(e)使用与从所存储的上述加权系数中被确定出的上述拍摄模式对应的加权系数，进行上述特征图的加权；以及

(f)基于加权后的上述特征图的特征分布，从上述图像中检测特定区域(ROI)。

Images