CN1980330B - 图像处理装置和图像处理方法 - Google Patents

Abstract

一种自动确定图像的构成的图像处理装置包括：区域划分部件，用于将输入图像划分为多个区域；目标区域确定部件，用于从所划分的图像确定具有较高可视性的目标区域；不需要区域确定部件，用于从所划分的图像确定具有较低可视性的不需要区域；以及，构成确定部件，用于从输入图像确定包括目标区域和不包括不需要区域的构成。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及用于处理通过例如数字摄像机捕获的或由其他图像输入装置输入的图像的图像处理装置、图像处理方法和计算机程序，特别是，本发明涉及通过图像处理来自动化至少一部分摄像操作的图像处理装置、图像处理方法和计算机程序。 

具体地，本发明涉及用于自动地确定输入图像的组成的图像处理装置、图像处理方法和计算机程序，特别是，本发明涉及以诸如人的目标对象被示出的区域为基础来自动地确定输入图像的组成的图像处理装置、图像处理方法和计算机程序。 

背景技术

摄像机作为用于记录可视信息的部件具有很长的历史。近些年来，数字化所捕获图像的数字摄像机被广泛使用，取代了通过使用胶片或感光板而进行曝光的胶片摄像机。数字摄像机在存储器中存储数字化的图像，并且向个人计算机或其他设备传送所存储的图像，所述个人计算机或其他设备对于所传送的图像执行图像处理，并且存储和管理所处理的图像，在大显示器上显示所述图像，打印出所述图像以编辑包含所述图像的相册，或者将所述图像作为文档的一部分来粘贴。数字摄像机具有优点在于：不需要显影所捕获的图像以便观看图像；并且不存在胶片寿命的问题，因为数字摄像机不使用胶片。 

一般地，数字摄像机具有与胶片摄像机大致相同的摄像操作。拍摄者将胶片摄像机聚焦在主体(subject)上，调整光圈和曝光量，执行取景以便形成包括所述主体的适当构成，并且按下胶片摄像机的快门。为了抑制摄像机振动，拍摄者应当保持摄像机稳定或将摄像机安装到三脚架。 

这样的摄像操作已经在其自动化技术上发展，因此，甚至无经验的用户也不可能拍摄失败。例如，所述自动化技术包括自动聚焦、自动曝光、摄像 机振动校正和自动快门。但是，受让人假定在取景或确定所捕获的图像的构成上没有充分实现自动化。 

例如，日本未审查的专利申请公开第8-262519号公开了具有自动取景功能的摄像机。摄像机自动设置构成，其中，拍摄者的注视点(主体)位于图像的中心，以避免诸如一部分主体落到图像之外的拍摄失败。 

日本未审查专利申请公开第9-33986号公开了一种摄像机，它包括矩形显示部件，包括取景基准点，用于主体的光路上取景，以便用户可以容易地设置主体的图像的构成。 

在实际拍摄场景中，可能有这样的情况：其中，在主体和拍摄者之间有障碍物介入。在这种情况下，必须确定构成以便在取景框中仅仅包括主体。具体地，如果这样的障碍物正在移动，则难于在取景框中包括主体并且在避开障碍物的同时在正确的时刻释放快门。另外，可能有这样的情况：其中，虽然所述主体被包括在取景框中，但是在画面中显示了不需要的对象的散焦的图像——诸如用户的手指或被安装在摄像机主体上的带子——而破坏了画面。不可能通过根据主体来确定构成的方法来完全地去除这样的障碍物。因此，有可能在显示图像之前找不到这样的障碍物，因此不可能再一次获得拍摄照片的机会。 

例如，当用户试图使用数字摄像机来拍摄期望的主体时，可以通过数字摄像机的取景器来识别被用户前面的人影遮住的所述主体，如图14中所示。在这种情况下，期望不包括诸如人影的不需要的区域、并且具有预定长宽比的最大矩形区域被确定为构成，如图15中所示。但是，用户必须人为地执行这种复杂的确定。 

发明内容

期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能够通过图像处理来自动化摄像操作的至少一部分。 

也期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能够自动确定输入图像的构成。 

还期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能够以诸如人的目标对象被示出的区域为基础来自动确定输入图像的构成。 

还期望提供良好的图像处理装置、图像处理方法和计算机程序，它们能 够优选地确定构成，其中从原始图像去除诸如障碍物之类的不需要的区域以提取目标区域。 

按照本发明的一个实施例，一种自动确定图像的构成的图像处理装置包括：区域划分部件，用于将输入图像划分为区域；目标区域确定部件，用于从所划分的图像确定具有较高可视性的目标区域；不需要区域确定部件，用于从所划分的图像确定具有较低可视性的不需要区域；以及，构成确定部件，用于从输入图像确定包括目标区域和不包括不需要区域的构成。 

摄像操作已经在其自动化技术上得到发展，因此，甚至无经验的用户也不可能在拍摄中失败。但是，取景，即确定由摄像机捕获的图像的构成未充分地被自动化。例如，当在主体和拍摄者之间有障碍物干扰时，必须确定构成以便仅仅在取景框中包括所述主体。 

相反，按照本发明的所述实施例的所述图像处理装置确定在所捕获图像中的具有较高可视性的目标区域和在所捕获图像中的具有较低可视性的不需要区域，以自动地确定包括所述目标区域和不包括所述不需要区域的构成。因此，有可能从所捕获的图像提取不包括不需要对象的帧，所述不需要的对象包括在主体之前的人和/或悬在摄像机镜头上的用户手指或带子。 

所述目标区域确定部件可以对于输入图像执行面部检测，以根据检测到面部的区域来确定目标区域。 

所述目标区域确定部件可以执行在所述输入图像和关于所述目标对象的信息之间的匹配，以将具有较高匹配程度的区域确定为目标区域。 

所述目标区域确定部件可以将具有较高吸引力的区域确定为目标区域。从在输入图像中包括的每个对象的物理特性——诸如颜色、形状、面积(每个对象和输入图像在面积上的比率)或纹理——来评估所述吸引力。 

可以通过聚焦在主体上以拍摄的基本摄像操作来确定所述目标区域和所述不需要区域。所述目标区域确定部件和所述不需要区域确定部件可以根据每个区域获得的聚焦程度来分别确定目标区域和不需要区域。 

在这种情况下，可以提取在输入图像中的每个被划分图像区域的边，并且可以对于每个被划分的图像区域计算在所述边图像中的像素值的和，以获得从使用边的长度或面积来标准化所述像素值的和而产生的边的数量来作为指示聚焦程度的值。所述不需要区域确定部件可以将在输入图像中具有较小边数量的外围区域确定为不需要区域。 

取代以如上所述的方式来从所述图像区域自动确定所述目标区域和不需要区域，可以在区域划分后按照由用户使用用户输入部件而手动进行的选择来确定所述目标区域和不需要区域的至少一个。 

所述区域划分部件通过所谓的网格分段(mesh segmentation)来集成其中每个包括一个或多个像素的多边形网格以提取图像区域。所述网格分段一般是基于在相邻的图像区域之间的类似性。按照本发明的所述实施例，根据关于是否使用统计算法来集成相邻的图像区域的确定而以期望的密度来产生图像区域。 

可以高速地执行基于所述统计算法的图像区域的集成，因为通过简单的计算来执行所述集成，其中，以统计方式来处理所述多边形区域。例如，诸如个人计算机之类的普通计算机器可以用于处理大约每秒一百万个多边形。另外，在断言(predicate)中包括的参数值的调整允许适当地设置集成图像区域的标准，以便以期望的密度产生多边形网格，因此提供可伸缩性(scalability)。 

可以高速地执行基于所述统计算法的图像区域的集成，因为通过其中以统计方式来处理多边形的区域的简单计算而执行所述集成。因此，可以对于也在其计算功率被限制的便携器件——诸如数字摄像机——中的图像区域执行所述区域划分，并且有可能在区域划分后实现所述图像的自动取景。 

按照本发明的另一个实施例，一种自动确定图像的构成的图像处理方法包括步骤：将输入图像划分为多个区域；从所划分的图像确定具有较高可视性的目标区域；从所划分的图像确定具有较低可视性的不需要区域；以及，从输入图像确定包括目标区域和不包括不需要区域的构成。 

按照本发明的另一个实施例，一种使得计算机系统执行自动确定图像的构成的处理的计算机可读程序包括步骤：将输入图像划分为多个区域；从所划分的图像确定具有较高可视性的目标区域；从所划分的图像确定具有较低可视性的不需要区域；以及，从输入图像确定包括目标区域和不包括不需要区域的构成。 

按照本发明的这个实施例的计算机可读程序是以计算机可读形式被描述的，以便在计算机系统上实现预定的处理。换句话说，在计算机系统中安装按照本发明的这个实施例的计算机可读程序使得所述计算机系统执行合作功能以提供类似于按照本发明的所述实施例的图像处理装置的那些的优点。 

按照本发明，有可能提供良好的图像处理装置、图像处理方法和计算机程序，它们能够根据诸如人的目标对象被示出的区域来自动确定输入图像的构成。 

按照本发明，也可能提供良好的图像处理装置、图像处理方法和计算机程序，它们能够优选地确定构成，其中，从原始图像中去除诸如障碍物之类的不需要的区域以提取目标区域。 

通过下面参见附图来说明示例实施例，本发明的另外的特征和优点将变得显然。 

附图说明

图1是示意地示出具有按照本发明的一个实施例的图像处理装置的功能的数字摄像机的硬件结构的示例的方框图； 

图2是示出按照本发明的一个实施例的用于实现自动取景的处理的流程图； 

图3示出了在自动取景中使用的输入图像的一个示例； 

图4示出了在图3中所示的输入图像进行区域划分后的图像的一个示例； 

图5示出了对应于在图3中所示的输入图像的边图像的一个示例； 

图6示出了对于在图4中所示的图像中的图像区域所计算的边的数量； 

图7示出了如何设置如图6中所示的被划分为多个区域的图像中的构成； 

图8示出了按照在图7中所示的构成从所捕获的图像提取的帧； 

图9示出了最简单的邻接图(incidence graph)的一个示例； 

图10示出了更复杂的邻接图的一个示例； 

图11图解了如何评估边； 

图12图解了如何绘制视频信息的邻接图； 

图13是示出网格分段处理的例子的流程图； 

图14示出了当在用户前面的人影遮住期望的主体时通过液晶取景器识别的图像；以及 

图15示出了被确定为构成的最大矩形区域，所述矩形区域不包括诸如人影之类的不需要区域，并且具有预定的长宽比。 

具体实施方式

现在参见附图来说明本发明的实施例。 

本发明涉及一种图像处理装置，它接收由例如数字摄像机自动捕获的图像，并且自动确定所捕获的图像的构成。所述图像处理装置根据诸如人的目标对象被示出的区域来自动确定输入图像的构成。这样的图像处理装置的功能可以被安装在个人计算机中，所述个人计算机用于存储和管理由数字摄像机捕获的图像或在数字摄像机中的图像。 

图1是示意地示出具有按照本发明的一个实施例的图像处理装置的功能的数字摄像机的硬件结构的示例的方框图。在数字摄像机100中的电路部件经由总线113而彼此连接，并且在CPU 107的控制下执行所捕获的图像的编码、存储和输出。下面详细说明所述电路部件。 

拍摄单元101包括也在每个胶片摄像机中使用的拍摄透镜。光学传感器单元102包括传感器元件阵列——诸如电荷耦合器件(CCD)或金属氧化物半导体(MOS)——和所述元件的驱动电路，并且被提供在拍摄透镜的图像形成表面上。光学传感器单元102将入射光转换为对应于每个像素的光强的电信号。 

虽然在图1中未示出，但是光学传感器单元102也包括：光圈，它按照在由拍摄单元101的拍摄中的光的发光度来调整曝光量；闪光灯单元，它用于在黑夜或暗处的拍摄。 

图像信号处理单元103数字化从光学传感器单元102输出的图像信号以产生数字图像。所产生的数字图像被存储在经由存储器接口104而连接到总线113的盒式存储器105。存储器105是非易失性存储器，诸如电子可擦除和可编程的只读存储器(EEPROM)。虽然当在存储器105中写入图像时或当显示从存储器105读出的图像时进行图像压缩/解压缩和其他编码/解码处理，但是在此省略所述处理的说明，因为所述处理不直接地与本发明相关联。 

外部接口106包括符合例如USB或IEEE 1394的串行输出端。在存储器105中存储的图像文件通过所述串行输出端被传送到外部器件，诸如个人计算机。外部接口106也包括视频输出端，通过它，数字图像被作为视频信号提供到显示视频信号的电视监控器等。 

数字摄像机100包括显示单元111和输入操作单元112，它们作为用户接口110。显示单元111是例如液晶显示器，并且也作为取景器。显示单元111显示从存储器105读出的图像，并且提供操作屏幕，使用它来设置拍摄条件。 

输入操作单元112包括：机械操作单元，它包括快门和变焦调整钮；触摸板，它被叠放在显示单元111的显示屏幕上。 

CPU 107执行按照在只读存储器(ROM)109中存储的程序代码的预定处理来控制整个数字摄像机100的操作。CPU 107暂时在随机存取存储器(RAM)108中写入用于所述处理的系统变量和环境变量。由CPU 107执行的处理包括摄像操作自动化处理，其中除了包括由数字摄像机100进行的拍摄操作、在液晶显示器中的所捕获的图像的显示和在存储器105中存储的图像数据的外部输出的基本操作之外，还包括自动聚焦、自动曝光和自动取景。 

摄像操作已经在其自动化技术上发展，因此，即使无经验的用户也不可能拍摄失败。按照本发明的所述实施例的数字摄像机100其特征在于自动取景，即其特征在于自动确定所捕获的图像的构成。具体地，按照本发明的所述实施例的数字摄像机100确定在所捕获的图像中的具有较高可视性的目标区域和在所捕获的图像中的具有较低可视性的不需要区域，以自动地确定包括所述目标区域和不包括所述不需要区域的构成。因此，有可能从所捕获的图像提取不包括不需要对象的帧，所述不需要对象包括在主体之前的人和/或悬在摄像机100镜头上的用户手指或带子。 

图2是示出按照本发明的一个实施例的用于实现自动取景的处理的流程图。这个处理例如由CPU 107实现，该CPU执行从ROM 109读取的程序代码。 

在输入要处理的图像后，在步骤S1，所述处理执行区域划分以将输入图像划分为多个图像区域。在步骤S2，所述处理与步骤S1并行地执行边提取以提取边图像。图3示出了输入图像的一个示例。图4示出了在区域划分后的图像的一个示例。图5示出了边图像的一个示例。 

可以通过经由所谓的网格分段来集成多边形网格而执行图像的区域划分，所述多边形网格每个包括一个或多个像素。网格分段一般基于在相邻的图像区域之间的类似性。按照本发明的所述实施例，根据使用统计算法关于是否集成相邻的图像区域的确定而以期望的密度来产生图像区域。下面将详细说明所述确定。 

通过对于原始图像进行微分处理来进行边提取。因为公知的方法可被应用到边提取，因此在此省略边提取的详细说明。 

返回参见图2，在步骤S3，所述处理从在区域划分后的图像区域确定具 有较高可视性的目标区域和具有较低可视性的不需要区域。 

可以使用面部检测作为一种用于提取目标区域的方法，在所述面部检测中，从输入图像检测面部区域，并且将所检测的面部区域处理为目标区域。 

关于是否所提取的区域是目标区域的确定可以基于在所检测的面部区域中的面部的方向。如果在所检测的区域中有两个或多个面部区域，则可以根据是否面向前方或从所述摄像机转移目光来加权所述可视性。另外，可以将个人识别应用到所提取的面部区域以根据在人之间的人关系来加权可视性(例如，根据在组织内的人的位置或是否所述人在事件中是主角或配角)。 

为了实施面部检测或面部识别，可以采用使用神经网络的方法或对以面部图像的亮度作为元素的向量空间应用主成分分析(PCA)的方法(特征空间(eigenspace)方法)。可以采用识别面部的方法(例如参见WO2003/019475)。在这种方法中，在通过使用Gabor滤波器——它使用具有方向选择性和不同的频率的多个滤波器来过滤图像——来提取面部区域后，在支持向量机中输入面部区域的提取结果以在非线性空间中映射面部区域的图像，并且在这个非线性空间中获得分离的超平面，以便区分面部图像和非面部图像。 

另外，可以采用一种方法，其中，执行在输入图像和关于目标对象——不限于人并且被预先设置以被包括在目标区域中——的信息之间的匹配以将具有较高匹配程度的区域确定为目标区域。 

而且，可以将具有较高吸引力的区域确定为目标区域。根据在输入图像中包括的每个对象的物理特性——诸如颜色、形状、面积(每个对象对输入图像在面积上的比率)或纹理——来评估所述吸引力。例如，在Soto T.“GazoRyouiki no Butsuri-teki Tokuchou ni Motozuku Yuumoku-do Hyouka Moderu”，IEICE transactions A，Vol.J83-A，No.5(May，2000)，pp.576-588(Soto T.“GazoRyouiki no Butsuri-teki Tokuchou ni Motozuku Yuumoku-do Hyouka Moderu”，IEICE学报A，卷J83-A，第五期(2000年5月)，第576-588页)中描述了基于图像区域的物理特性评估图像区域的吸引力的方法。 

而且，可以对于每个被提取的图像区域获得聚焦度以根据聚焦度来确定目标区域和不需要区域。 

按照本发明的所述实施例，将“边的数量”用作为用于指示聚焦度的值。边的数量表示通过下述方式而获得的值：通过对于在步骤S1中划分的每个图像区域计算在步骤S2中提取的边图像中的像素值的和，并且使用所述边的长 度或面积来标准化所述像素值的和。 

将具有较大边数量的图像区域假定为目标区域，并且将具有较小边数量的图像区域(特别是在图像中的外围区域)假定为不需要区域。图6示出了通过使用在图4中所示的区域划分后的图像和在图5中所示的边图像来对于在图3中所示的输入图像中的图像区域计算的边的数量的多个示例。 

取代以如上所述的方式自动从图像区域确定目标区域和不需要区域，用户可以使用触摸板在显示单元111中显示的、在图4中所示的区域划分后的图像中直接地指示目标区域和不需要区域。例如，用户可以直观地识别所捕获的图像，并且可以指示不需要的对象，诸如用户的手指或摄像机的带子。 

回来参见图2，在步骤S4中，所述处理提取不包括不需要区域并且具有预定长宽比的最大矩形区域，然后结束自动取景。 

在图3中所示的输入图像的示例中，不小心地置于拍摄透镜上的用户的手指的散焦图像被示出在图像的左下部分中。在图4中所示的区域划分后的图像中，除了作为对象的人和背景之外，所述手指还被提取为图像区域。在图5中所示的边提取后的边图像中，除了作为对象的人和背景之外，还提取手指的边。但是，所述手指区域具有比其他图像区域更小的边的数量，如图6中所示，因为手指的散焦图像不具有锐边，结果，将手指确定为不需要区域，并且将不包括所述手指区域并且具有预定长宽比的最大矩形区域输出为最后的帧。图7示出了如何在被划分为多个区域中的图像中设置构成。图8示出了通过自动取景从原始捕获图像中提取的帧。 

现在详细说明在图2的步骤S1中的图像的区域划分。 

所述图像区域可以被处理为许多多边形的集合。所述图像区域的集成和划分也被称为“网格分段”。因为所述多边形网格的密度大大地影响处理负荷或图像质量，因此可以在例如计算机图形中执行适合于应用的网格分段，以适当地调整多边形网格的密度。 

所述网格分段一般基于在相邻的图像区域之间的类似性。但是，因为在现有技术中主要通过使用在网格分段中的阵列的重复操作而执行区域增长或分层/迭代/频谱聚类(cluster)，因此不可取地，处理速度是慢的。 

相反，按照本发明的所述实施例，图像区域根据通过使用统计算法是否要集成相邻图像区域的确定来以期望的密度产生。在这种统计算法中，确定是否相邻的图像区域是类似的，即要根据从在图像区域中包括的多边形的区 域中的密度不等性得到的断言来确定是否集成相邻的图像区域。 

可以高速执行基于统计算法的图像区域的集成，因为通过简单的计算来执行集成，其中，以统计方式来处理关于相邻图像区域的图像特性信息。例如，在关于其图像区域是多边形网格的三维图像的信息的情况下，以统计方式来处理关于图像区域的像素特性信息，诸如面积、法线方向或颜色信息。在包括多个颜色分量——诸如RGB——的视频信息的情况下，根据从密度不等性得到的断言来对于每个颜色分量执行集成。 

在基于这样的统计算法的图像区域的集成中，诸如个人计算机之类的公共计算机可以用于处理大约每秒一百万个多边形。可以根据像素大小来在诸如数字摄像机之类的内置设备中实现所述集成。另外，对在所述断言(predicate)中包括的参数的值的调整允许适当设置用于集成所述图像区域的标准，以便以希望的密度来产生多边形网格，由此提供可伸缩性(scalability)。 

在诸如三维计算机图形的图像处理中，要绘制的对象一般被处理为多边形的集合，并且可以以邻接图——其中描述了在作为分量的多个多边形之间的关系——的形式来表示作为图像区域的所述多边形网格。在按照本发明的所述实施例的网格分段中，作为多边形网格的最小单位的每个多边形在邻接图中被处理作为一个节点。在多边形网格中的相邻的多边形节点经由对应于在相邻节点之间夹着的侧(side)的边(edge)而连接，以描述所述邻接图，并且在网格分段中输入所述的邻接图。 

现在说明当处理作为多边形网格的图像区域时用于绘制邻接图的方法。 

首先，要处理的图像区域中的每个多边形T_i与节点N_i相关联。如果在节点N_i和节点N_j之间存在属于多边形T_i和T_j的仅仅一个侧，则在节点N_i和节点N_j之间产生边e_ij。 

可以通过相对于所述边的端点来划分多边形而从包括顶点和平面的索引阵列(index array)直接地绘制邻接图。每个多边形的侧或边被划分为边界边和内部边，边界边是多边形网格或图像区域的边界，内部边不是多边形网格的边界，而是与在多边形网格中的相邻多边形接触。由于作为图像区域的边界的边属于仅仅一个多边形，因此仅仅除了所述边界边之外的边(即仅仅图像区域的内部边)要被处理。足够的是，提供包括顶点和平面的索引阵列，并且不需提供复杂的相邻数据结构，诸如半边(half-edge)结构或guad边结构。 

图9示出了最简单的邻接图的一个示例。在图9的左部示出的多边形网 格包括经由侧或边e₁₂而彼此连接的两个三角形T₁和T₂。描述这个多边形网格的邻接图包括对应于三角形T₁和T₂的两个节点N₁和N₂和与节点N₁和N₂ 接触的边e₁₂。如图9的右部所示。 

图10示出了更复杂的邻接图的一个示例。在图10的左部示出的多边形网格包括七个三角形T₁-T₇。三角形T₁接触三角形T₂；三角形T₂接触三角形T₁、T₃、T₄；三角形T₃接触三角形T₂和T₆；三角形T₄接触三角形T₂和T₅；三角形T₅接触三角形T₄和T₆；三角形T₆接触三角形T₃、T₅和T₇。在描述多边形网格的邻接图中，对应于三角形的节点经由接触相邻三角形的侧或边而连接，如图10的右部所示。 

所述节点在初始状态中是作为多边形网格的最小单位的多边形，但是在网格增长的进行期间增长为图像区域，它是从一个多边形增长的多边形网格。用于唯一地识别每个节点N_i的标识信息id(N_i)、对应于节点N_i的图像区域(初始是一个多边形)的面积area(N_i)和在所述图像区域或多边形网格中包括的多边形的数量n(Ni)(初始值等于1)被保存为“节点统计信息”。每个节点存储所述多边形的面积和数量，因为需要所述多边形的面积和数量来通过使用基于统计算法的断言确定是否集成节点或图像区域。 

接着，在输入的邻接图(incidence graph)中的每条边被评估以排序。具体地，在每条边的评估中，经由所述边而连接的图像区域的特性值相互比较，以根据比较结果来向所述边提供加权值，并且根据所述加权值来排序在邻接图中的所述边。在此的图像区域包括作为最小单位的多边形和作为其中集成多个多边形的多边形网格的图像区域。 

例如，使用图像区域的面积来作为特性值。在经由边连接的图像区域之间在面积上的差别被作为边的加权值给出，并且以所述加权值的升序来排序所述边。在这种情况下，当在图像区域之间在面积上的差别变得更小时，在随后的集成处理中加权值降低，并且处理顺序提高。 

图11图解了如何评估边。参见图11，在图11的左部示出的多边形网格具有经由边e_ij连接的两个三角形T_i和T_j。描述这个多边形网格的邻接图包括对应于三角形T_i和T_j的两个节点N_i和N_j以及接触节点N_i和节点N_j的边e_ij，如图11的右部所示。按照公式1来计算边e_ij的加权值W(e_ij)，在所述公式1中，area(P)表示用于计算多边形P的面积的函数。 

[公式1] 

W(e_ij)＝|area(T_i)-area(T_j)|    (1) 

或者，除了在图像区域中的多边形的面积之外，可以使用在相邻顶点之间各种特性值上的差来设置边的加权值。特性值包括像素特性信息，诸如图像区域的通常方向或颜色(在具有纹理的多边形网格的情况下)。 

在视频信息——诸如由数字摄像机捕获的图像——的情况下，通过不是在多边形之间而是在像素之间的连接关系来表示初始邻接图。图12图解了如何绘制视频信息的邻接图。在初始状态中，每个像素被处理为节点，并且在目标像素和8个周围像素之间定义所述边，如图12中所示。在所述边的评估中可用的参数例如限于在多边形网格的情况下的面积和法线，而在视频信息的情况下有可能优化评估边的方法或计算加权值的方法，因为视频信息具有多个可用的参数。按照本发明的所述实施例，计算在经由边连接的像素(或图像区域)之间的每个RGB颜色在平均像素值上的差，并且将在所述差中的最大值作为加权值提供到边。然后，以如上所述的方式，根据所述加权值，来排序在所述邻接图中的边。 

接着，以排序的顺序来提取夹着所述边的一对图像区域，并且对于所提取的对执行网格增长。因为用作为在经由边连接的图像区域之间的类似性的索引的加权值被提供给边，因此以加权值的上升顺序的网格增长对应于其中较高优先级被提供给具有更高类似性的图像区域的网格增长。 

在这里所述的邻接图的产生中，根据统计算法来确定是否要集成经由以排序顺序被提取的边而连接的两个图像区域。具体上，如果对于经由边而连接的两个图像区域R_k和R₁满足基于下面的统计算法的断言，则将集成图像区域R_k和R₁。 

公式2示出了可应用到作为多边形网格——诸如三维计算机图形——的图像区域的断言的一个示例。在公式2中，图像区域R_k具有面积S_k并且包括n_k个多边形，并且图像区域R₁具有面积S₁，并且包括n₁个多边形。在公式2中，A表示多边形的最大面积，Q表示用于控制分段密度的参数。 

[公式2] 

${|\frac{S_k}{n_k}-\frac{S_l}{n_l}|}^2\≤\frac{A^2(n_k\log n_k+n_l\log n_l)}{Q}(\frac{1}{n_k}+\frac{1}{n_l})---\left(2\right)$

按照公式2，如果在在经由边连接的图像区域之间的每个图像区域中包括的多边形的平均区域中的差(S_k/n_k-S₁/n₁)具有较小的值，则执行网格增长。 从密度不等性得出所述断言，所述密度不等性是在图像区域中包括的多边形的区域中出现的现象。在统计领域中，密度不等性(concentration inequality)作为中央极限定理是公用的(即使母集团具有任意的分布，当从母集团提取的采样的大小提高时，采样平均的分布也会聚为正则分布)。 

相反，当取代多边形网格而处理视频信息时，可以优化基于密度不等性的断言，因为所述视频信息具有多个参数。例如，如果在对于每个RGB彩色分量在经由边连接的图像区域之间计算的、在每个图像区域中包括的像素的平均像素值上的差具有较小的值，则执行网格增长。 

在公式2的右侧中的“Q”表示用于控制分段密度的参数。当“Q”增加时，右侧的值降低，并且变得难于满足所述断言以抑制图像区域的网格增长。相反，当“Q”降低时，右侧的值提高，并且变得容易满足所述断言以激励图像区域的网格增长。因此，网格分段导致较低的密度。 

在诸如三维计算机图形的图像信息的情况下，所述节点在初始状态中是作为多边形网格的最小单位的多边形，但是在网格增长的进行期间增长为图像区域，它是从一个多边形增长的多边形网格。提供了记录，其中，用于唯一地识别每个节点N_i的标识信息id(N_i)、对应于节点N_i的图像区域(初始是一个多边形)的面积area(N_i)和在所述图像区域或多边形网格中包括的多边形的数量n(Ni)(初始值等于1)被保存为“节点统计信息”。图像区域集成处理器当新节点与现有的节点集成时设置用于识别新节点的新标识信息，并且计算在从所述集成产生的图像区域中的面积和多边形的数量以更新节点统计信息。 

最后，处理从图像区域的集成产生的微小区域。例如，在网格增长后在大图像区域之间或内部剩余的微小多边形网格与任何相邻的图像区域集成，而与是否满足所述断言无关，以改善处理结果的外观。所述微小区域对应于具有仅仅大约所述网格平面的面积的几个百分比的面积的多边形网格。 

图13是示出网格分段处理的一个示例的流程图。 

在步骤S11中，所述处理接收关于要处理的三维对象的图像信息。按照本发明的所述实施例，以包括作为节点的多边形和作为边的每个多边形的侧的邻接图的形式来描述所述图像信息(参见上述说明和图9)。 

扫描输入的邻接图以向每个节点N_i给出标识信息id(N_i)，并且计算对应于所述节点的多边形的面积。每个节点的标识信息、面积和多边形的数量(初始化值等于1)被登记为节点统计信息(被初始化)。在公式3中示出了用于初 始化节点统计信息的伪程序代码，其中，id()表示这样的阵列，其中，存储关于节点的标识信息——被指示为变元；area()表示这样的阵列，其中，存储具有被指示为变元的标识信息的节点的面积；n()表示阵列，其中，存储了具有被指示为所述变元的标识信息的节点中包括的多边形的数量。 

[公式3] 

id(N_i)＝i 

area(i)＝area(T_i) 

n(i)＝1    (3) 

在公式3中，向关于从邻接图提取的第i个节点N_i的标识信息id(N_i)分配“i”，向节点N_i的面积area(i)分配对应于节点的多边形的面积area(T_i)，并且向所述多边形的数量n(i)分配初始值1。 

返回参见图13，在步骤S12中，所述处理评估在输入邻接图中的每个边，以执行排序。具体地，在经由边连接的图像区域之间在面积上的差被给出作为边的加权值，并且以所述加权值的升序来执行排序。当在图像区域之间在面积上的差变得较小时，所述加权值降低，并且处理顺序在随后的集成处理中提高。 

在步骤S13中，所述处理设置参数Q，用于控制分段密度。 

在所述图像区域的集成中，以所述排序的顺序来提取夹着所述边的一对图像区域，在步骤S14中，所述处理确定是否存在未处理的边。如果所述处理确定存在未处理的边，则在步骤S15中，所述处理确定是否图像区域满足基于统计算法的断言。在步骤S15中使用的断言是从密度不等性得到的，所述密度不等性是如上所述在图像区域中包括的多边形的区域中出现的现象，并且这里使用在步骤S13中设置的参数Q。 

如上所述，提供记录，其中，用于唯一地识别每个节点N_i的标识信息id(N_i)、对应于节点N_i的图像区域(初始是一个多边形)的面积area(N_i)和在所述图像区域或多边形网格中包括的多边形的数量n(Ni)(初始值等于1)被保存作为“节点统计信息”。在图像区域的集成中，当图像区域彼此集成时，产生新的节点，向所产生的节点提供用于识别新节点的新的标识信息，并且计算从所述集成产生的新的图像区域的面积和在新的图像区域中的多边形的数量，以在步骤S16更新节点统计信息。 

用于集成图像区域、然后更新节点统计信息的伪程序代码被示出在公式 4中，其中，Merge()表示用于集成被指示为变元的图像区域的函数。 

[公式4] 

Merge(N_i，N_j) 

id’(N_i)＝id’(N_j) 

area(id’(N_i))＝area(id(N_i))+area(id(N_j)) 

n(id’(N_i))＝n(id(N_i))+n(id(N_j)) 

id(N_i)←id’(N_i) 

id(N_j)←id’(N_j)    (4) 

在公式4中，将节点N_i与节点N_j集成。节点N_i和N_j被指示为Merge函数的变元。接着，向节点N_i和节点N_j提供相同的新标识信息id’(N_i)＝id’(N_j)，以指示两个图像区域被集成，并且产生新的节点。按照本发明的所述实施例，将关于节点N_i或N_j的旧标识信息用作关于新节点的标识信息。可以使用由Robert Endre Tarjan发明的合并寻找(Union-Find)算法来向新的节点提供标识信息。 

接着，向新节点的面积area(id’(N_i))分配原始图像区域的面积的和area(N_i)+area(N_j)，并且向在新节点中的多边形的数量n(id’(N_i))分配在原始图像区域中的多边形的数量的和n(id(N_i))+n(id(N_j))。最后，向原始节点N_i提供新的标识信息id’(N_i)，并且向原始节点N_j提供新的标识信息id’(N_j)，以终止节点统计信息的更新。 

返回参见图13。如果所述处理在步骤S14中确定在邻接图中的所有边被处理，则在步骤S17，所述处理处理在图像区域的集成后剩余的微小区域。例如，在大图像区域之间或内部的集成后剩余的微小多边形网格与任何相邻的图像区域集成，而不论是否满足所述断言，以改善处理结果的外观。所述微小区域表示具有仅仅大约整个网格平面的几个百分比的面积的多边形网格。 

可以高速地执行基于统计算法的图像区域的集成，因为通过简单的计算——其中以统计方式来处理多边形的区域——来执行所述集成。例如，可以使用公共的计算机来处理大约每秒一百万个多边形。可以对于不仅在诸如个人计算机的计算机系统中、而且在诸如数字摄像机的便携设备——其计算功率受限——中的图像区域执行所述区域划分。并且有可能按照在图2中所示的处理来实现自动取景。另外，在断言中包括的参数Q的调整允许适当地 设置的用于集成图像区域的标准以便以期望的密度来产生多边形网格，因此提供可伸缩性。 

所述网格分段的应用包括参数化和纹理映射、形态化、多分辨率建模、图像编辑、图像压缩、动画和形状匹配。在例如已经被转让给受让者的日本专利申请第2005-166466号中详细描述了基于统计算法的图像区域的集成。 

虽然已经在本说明书的上述实施例中描述了在数字摄像机中安装的自动取景功能，但是本发明不限于上述实施例。本发明可适用于存储和处理所捕获图像的个人计算机或任何其他的图像处理装置。 

本领域内的技术人员应当明白，可以根据设计要求和其他因素来进行各种修改、组合、子组合和替代，只要所述设计要求和其他因素在所附的权利要求或其等同内容的范围内。 

本发明包含与2005年12月8日在日本专利局提交的日本专利申请JP2005-355006相关联的主题，其整体内容通过引用被包含在此。 

Claims (16)

1.一种自动确定图像的构成的图像处理装置，包括：

区域划分部件，用于将输入图像划分为区域；

边图像提取部件，用于提取在输入图像中的每个被划分图像区域的边；

边的数量计算部件，用于对于每个被划分图像区域计算在所述边图像中的像素值的和，以获得从使用边的长度或面积来标准化所述像素值的和而产生的边的数量来作为指示聚焦程度的值；

目标区域确定部件，用于根据每个区域获得的聚焦程度，从所划分的图像确定不包括不需要对象的目标区域；

不需要区域确定部件，用于根据每个区域获得的聚焦程度，从所划分的图像确定包括不需要对象的不需要区域；以及

构成确定部件，用于从输入图像确定包括目标区域和不包括不需要区域的构成。

2.按照权利要求1的图像处理装置，

其中，所述不需要区域确定部件将在输入图像中边数量比其他图像区域小的外围区域确定为不需要区域。

3.按照权利要求1的图像处理装置，还包括：

图像显示部件，用于显示输入图像和被所述区域划分部件划分为多个区域的图像；以及

用户输入部件，用于接收由用户在所显示的图像上进行的手动输入。

4.按照权利要求1的图像处理装置，

其中，所述构成确定部件将在输入图像中的最大矩形区域确定为所述构成，所述最大矩形区域不包括不需要区域，并且具有预定的长宽比。

5.按照权利要求1的图像处理装置，

其中，所述区域划分部件对于对应于接触所述图像区域的侧的边，基于图像区域的特性值之间的比较结果来提供加权值，根据所述加权值来排序所述边，并且以排序顺序根据统计算法来确定是否要集成夹着所述边的所述图像区域的对。

6.按照权利要求5的图像处理装置，

其中，所述区域划分部件对于在所述图像区域之间夹着的边，基于在图像区域之间在特性值上的差来提供加权值，并且以加权值的升序来排序所述边。

7.按照权利要求6的图像处理装置，

其中，所述区域划分部件使用像素特性信息来作为图像区域的特性值，其中该像素特性信息是图像区域的面积或颜色。

8.按照权利要求5的图像处理装置，

其中，所述区域划分部件根据从在图像区域中包括的多边形的面积上的密度不等性得出的断言来确定是否要集成经由所述边连接的图像区域。

9.一种自动确定图像的构成的图像处理方法，所述图像处理方法包括步骤：

将输入图像划分为区域；

提取在输入图像中的每个被划分图像区域的边；

对于每个被划分的图像区域计算在边图像中的像素值的和，以获得从使用边的长度或面积来标准化所述像素值的和而产生的边的数量来作为指示聚焦程度的值；

根据每个区域获得的聚焦程度，从所划分的图像确定不包括不需要对象的目标区域；

根据每个区域获得的聚焦程度，从所划分的图像确定包括不需要对象的不需要区域；以及

从输入图像确定包括目标区域和不包括不需要区域的构成。

10.按照权利要求9的图像处理方法，

其中，所述不需要区域确定步骤将在输入图像中边数量比其他图像区域小的外围区域确定为不需要区域。

11.按照权利要求9的图像处理方法，还包括步骤：

显示输入图像和被所述区域划分步骤划分为多个区域的图像；以及

接收由用户在所显示的图像上进行的手动输入。

12.按照权利要求9的图像处理方法，

其中，所述构成确定步骤将在输入图像中的最大矩形区域确定为所述构成，所述最大矩形区域不包括不需要区域，并且具有预定的长宽比。

13.按照权利要求9的图像处理方法，

其中，所述区域划分步骤对于对应于接触所述图像区域的侧的边，基于在图像区域的特性值之间的比较结果来提供加权值，根据所述加权值来排序所述边，并且以排序顺序根据统计算法来确定是否要集成夹着所述边的所述图像区域的对。

14.按照权利要求13的图像处理方法，

其中，所述区域划分步骤对于在所述图像区域之间夹着的边，基于在图像区域之间在特性值上的差来提供加权值，并且以加权值的升序来排序所述边。

15.按照权利要求14的图像处理方法，

其中，所述区域划分步骤使用像素特性信息来作为图像区域的特性值，其中该像素特性信息是图像区域的面积或颜色。

16.按照权利要求13的图像处理方法，

其中，所述区域划分步骤根据从在图像区域中包括的多边形的面积上的密度不等性得出的断言来确定是否要集成经由所述边连接的图像区域。

Images