CN103035014A - 图像处理设备和方法,以及成像设备和方法 - Google Patents

Abstract

本发明公开了一种图像处理设备和方法，以及成像设备和方法。图像进行颜色聚类以将像素划分为类。接收通过指点操作输入的对象信息，其指定数字图像上相应于目标对象的局部区域。确定分别具有预定轮廓的包含局部区域的初始区域。通过活动轮廓方法以每个初始区域的轮廓为初始轮廓来计算演变轮廓，以逼近对象边界。针对包含初始轮廓和演变轮廓的候选轮廓中的每个上的多个像素中的每个像素，通过使用以该像素为中心的窗口来计算所述像素的由S_T和S_W决定的评估值。根据评估值，估计每个候选轮廓与对象边界的接近程度。根据至少基于接近程度以及候选区域与局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。

Description

图像处理设备和方法,以及成像设备和方法

技术领域

本发明一般涉及图像分割技术。更具体地说，本发明的实施例涉及一种允许从图像中分割出感兴趣的对象区域的图像处理设备、图像处理方法、成像设备和成像方法。 

背景技术

现有的图像分割方法基本上可以分为全自动和半自动两类。全自动的图像分割方法不需要人工输入任何关于图像中的区域位置的信息，自动地将图像分割为若干个互不交叠的连通区域。半自动的方法则在人工输入的位置信息的基础上进行分割，得到图像中感兴趣的对象区域。 

例如，在半自动图像分割方法中，可以事先人工输入对象区域的部分位置和非对象区域的部分位置、对象区域的外接矩形、对象区域的中心点的位置等，然后自动完成分割过程、给出分割结果。 

发明内容

根据本发明的一个方面，提供一种图像处理方法，用于确定数字图像中的目标对象区域，包括：对数字图像进行颜色聚类以将所述数字图像中的像素划分到相应的类中；接收通过指点操作输入的对象信息，所述对象信息指定所述数字图像上相应于目标对象的局部区域；在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域；通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；针对包含初始轮廓和演变轮廓的候选轮廓中的每个上的多个像素中的每个像素，通过使用以所述像素为中心的窗口来计算所述像素的由S_T和S_W决定的评估值，其中，所述窗口中包含多个像素，S_T是所述窗口中各像素的位置与这些像素的平均位置的距离的统计值，S_W是所述窗口中各像素的位置与这些像素的类平均位置的距离的统计值，其中每个像素的类平均位置是所述窗口中与所述像 素属于相同类的所有像素的平均位置；根据针对每个所述候选轮廓计算的评估值，估计所述候选轮廓与对象边界的接近程度；和根据至少基于所述接近程度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。 

根据本发明的一个方面，提供一种图像处理方法，用于确定数字图像中的目标对象区域，包括：接收通过指点操作输入的对象信息，所述对象信息指定数字图像上相应于目标对象的局部区域；根据所述局部区域中像素的颜色值建立前景颜色统计模型；在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域；通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；计算包含初始轮廓和演变轮廓的候选轮廓中的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度；和根据至少基于所述前景吻合度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。 

根据本发明的另一个方面，提供一种图像处理设备，用于确定数字图像中的目标对象区域，包括：聚类装置，其对数字图像进行颜色聚类以将所述数字图像中的像素划分到相应的类中；输入装置，其接收通过指点操作输入的对象信息，所述对象信息指定所述数字图像上相应于目标对象的局部区域；区域形成装置，其在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；接近程度计算装置，其针对包含初始轮廓和演变轮廓的候选轮廓中的每个上的多个像素中的每个像素，通过使用以所述像素为中心的窗口来计算所述像素的由S_T和S_W决定的评估值，其中，所述窗口中包含多个像素，S_T是所述窗口中各像素的位置与这些像素的平均位置的距离的统计值，S_W是所述窗口中各像素的位置与这些像素的类平均位置的距离的统计值，其中每个像素的类平均位置是所述窗口中与所述像素属于相同类的所有像素的平均位置，并且根据针对每个所述候选轮廓计算的评估值，估计所述候选轮廓与对象边界的接近程度；和判断装置，其根据至少基于所述接近程度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择 具有最优评价的候选轮廓的相应区域作为对象区域。 

根据本发明的另一个方面，提供一种图像处理设备，用于确定数字图像中的目标对象区域，包括：输入装置，其接收通过指点操作输入的对象信息，所述对象信息指定数字图像上相应于目标对象的局部区域；模型计算装置，其根据所述局部区域中像素的颜色值建立前景颜色统计模型；区域形成装置，其在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；吻合度计算装置，其计算包含初始轮廓和演变轮廓的候选轮廓中的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度；和判断装置，其根据至少基于所述前景吻合度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。 

根据本发明的另一个方面，提供一种成像方法，包括：把通过光学系统捕获的光学图像转换为数字图像；通过上述图像处理方法来确定对象区域；和根据当前拍摄模式针对所述对象区域指示的对象来控制所述成像设备进行拍摄。 

根据本发明的另一个方面，提供一种成像设备，包括：成像装置，其把通过光学系统捕获的光学图像转换为数字图像；显示装置，其显示所述数字图像；上述图像处理设备；和控制装置，其根据当前拍摄模式针对所述图像处理设备确定的对象区域指示的对象来控制所述成像设备进行拍摄。 

根据本发明的各个方面，可以输入有关感兴趣的对象区域的位置信息，即局部区域。根据输入的局部区域，可以假设包含局部区域的初始区域包含有对象的部分或全部，即假设这些初始区域是对象区域。通过轮廓演变能够使得初始区域的轮廓逐步接近真实对象边界。这允许在输入的局部区域信息不充分、不准确的情况下分割出准确的对象区域。把初始轮廓和演变轮廓作为候选轮廓来考虑。可以通过估计候选轮廓上的像素与对象区域边界的接近程度，或通过估计候选轮廓的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度，根据所估计的接近程度和相应区域几何中心与局部区域几何中心的距离，或根据所估计的前景吻合度和相应区域几何中心与局部区域几何中心的距离，来判断候选区域是对象区域的可能性。这种评价的计算复杂度较低，因而能够提高对象区域分割的 处理速度。 

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。 

图1是描述根据本发明一个实施例的图像处理设备的示例结构的方框图。 

图2A、图2B、图2C和图2D是分别描述轮廓、几何中心的位置、大小和旋转角度存在差异的初始区域的例子的示意图。 

图3是描述轮廓上相邻的像素的方位角的间隔基本相同的情形的一个例子的示意图。 

图4是描述根据本发明一个实施例的图像处理方法的示例过程的流程图。 

图5是描述根据本发明一个实施例的图像处理设备的示例结构的方框图。 

图6是描述根据本发明一个实施例的图像处理方法的示例过程的流程图。 

图7是描述根据本发明一个实施例的图像处理设备的示例结构的方框图。 

图8是描述根据本发明一个实施例的图像处理方法的示例过程的流程图。 

图9是描述根据本发明一个实施例的成像设备的示例结构的方框图。 

图10是描述根据本发明一个实施例的成像方法的示例过程的流程图。 

图11是示出实现根据本发明的图像处理设备和图像处理方法的实施例的设备的示例性结构的框图。 

具体实施方式

下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。 

图1是描述根据本发明一个实施例的图像处理设备100的示例结构的方框图。 

如图1所示，图像处理设备100包括聚类装置101、输入装置102、区域形成装置103、接近程度计算装置104和判断装置105。 

聚类装置101被配置为对数字图像进行颜色聚类以将数字图像中的像素划分到相应的类中。颜色聚类是指把像素的颜色值聚为若干颜色类。通常可以在颜色空间对图像中像素的颜色值进行无监督聚类来确定这若干个颜色类。并可以为这若干个颜色类分配相应的类别标签。通过把图像中各个像素的颜色值替换为其所属的颜色类的相应标签，可以得到表示颜色聚类结果的类图。例如，可以采用韩等人在“主颜色提取装置和方法”，CN101655983A中介绍的方法来进行颜色聚类。 

输入装置102被配置为接收通过指点操作输入的对象信息，此对象信息指定数字图像上相应于目标对象的局部区域。例如，输入装置102可以是诸如鼠标、操纵杆、轨迹球、触摸屏的输入装置。用户在观察所显示的图像的情况下，能够通过输入装置102指点图像上的部分(点或区域)。被指点的部分可以作为局部区域而被接受。在通过触摸屏实现输入装置102的情况下，可以在触摸屏上显示图像。相应地，可通过触摸操作来接收对象信息。 

区域形成装置103被配置为在数字图像中确定分别具有预定轮廓的包含所输入的局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界。根据区域形成装置的一个进一步的实现，在数字图像中，每个初始区域的几何中心与局部区域的几何中心的偏差在预定范围内。 

用户在观察显示的图像时可以指点图像中的感兴趣对象区域上的局部区域。可以假设对象区域是所输入的局部区域周围的各种初始区域之一。各初始区域的轮廓不一定与真实对象边界的轮廓接近。可以采用活动轮廓方法来逐步改变轮廓以逼近真实对象边界的轮廓。活动轮廓方法包含例如水平集(Level Set)、蛇(snake)模型等方法。例如根据水平集方法， 通过寻找使能量泛函极小化的演变轮廓来逼近真实对象边界的轮廓。对于同一初始区域，可以以其轮廓作为初始轮廓，通过不同的迭代次数来获得多个不同的演变轮廓。例如，可以采用H.Zhao，T.Chan，B.Merriman，and S.Osher，“A variational level set approach to multiphase motion，″Journal of Computational Physics，pp.179-195，1996中说明的水平集方法。 

考虑到对象的形状、尺寸、其主体在图像中的基本取向、其主体在平面中的中心位置等方面的多样性，初始区域可以具有各种轮廓，以提高根据初始区域的初始轮廓演变出与对象区域的边界基本吻合或把对象区域基本包含在内的轮廓的可能性。 

此外，如果在具体应用中所涉及的对象区域的形状具有一定的共性，可以根据这种共性采用相应的初始区域轮廓形状。 

在进行输入局部区域的操作时，局部区域与对象区域的偏离程度，例如局部区域几何中心与对象区域几何中心的偏离的大小取决于显示的图像(即显示屏幕)的尺寸、指点操作受操作环境的振动影响的程度、对象的运动速度、对象区域在图像中的相对尺寸等因素。可以根据具体应用环境中影响指点操作准确性的因素，估计出偏离的范围，以作为初始区域的几何中心与输入的局部区域的几何中心的偏差的预定范围。也就是说，在这样的偏离范围内，初始区域的初始轮廓或其演变轮廓与对象区域的边界基本吻合或把对象区域基本包含在内的可能性更高。例如，可以在期望的操作环境下对用户输入局部区域的指点操作进行采样和统计，来确定这样的范围。 

能够明白，数字图像也可以是视频的帧图像。当用户观察视频时，实际观察的是顺序切换显示的帧图像。所观察到的对象可以处于运动状态。当用户输入局部区域时，该局部区域是在进行指点操作时正显示的帧图像中的区域。 

初始轮廓和演变轮廓都是可能的对象边界。这里把初始轮廓和演变轮廓合称为候选轮廓，相应区域称为候选区域。接近程度计算装置104被配置为针对每个候选轮廓上的多个像素中的每个像素，通过使用以该像素为中心的窗口来计算该像素的关于其与对象边界的接近程度的评估值。 

轮廓上的多个像素可以是轮廓上的所有像素，也可以是轮廓上的部分像素。具体地，令Z是窗口所包含的类图部分中所有数据点(像素)的集合， 其中，每一像素属于一个颜色类。令z＝(x，y)，z∈Z，并且m是窗口中所有像素的位置的均值(即平均位置)， 

$m=\frac{1}{N}\underset{z\∈Z}{\mathrm{\Σ}}z---\left(1\right)$

假设Z被分类成C个类，Z_i，i＝1，...，C。令m_i是类Z_i的N_i个数据点的均值(即类平均位置)， 

$m_i=\frac{1}{N_i}\underset{z\∈Z_i}{\mathrm{\Σ}}z---\left(2\right)$

令S_T是窗口中各像素z的位置与这些像素的平均位置m的距离的统计值(例如，平方和)，即 

$S_T=\underset{z\∈Z}{\mathrm{\Σ}}{\left|\right|z-m\left|\right|}^2---\left(3\right)$

并且S_W是窗口中各像素的位置与这些像素的类平均位置m_i的距离的统计值(例如，平方和)，即 

$S_W=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}{S}_i=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\underset{z\∈Z_i}{\mathrm{\Σ}}{\left|\right|z-m_i\left|\right|}^2---\left(4\right)$

于是，评估值可由S_T和S_W决定，或者说，取决于S_T和S_W。在一个示例中，可以定义评估值J为 

J＝(S_T-S_W)/S_W    (5) 

容易看出，S_T的值仅由窗口的形状和大小决定，S_W的值还与窗口内各像素所属的颜色类及其分布有关。当窗口内的全部像素都属于同一个颜色类时，S_W与S_T相等，评估值J为0；容易理解，此时相应像素位于一个单一颜色区域内，它基本不可能位于区域边界附近。 

假设对于图像中的像素，以该像素为中心的窗口内包含的像素属于若干个不同的颜色类。此情况下，如果每个颜色类所对应的像素在整个窗口内都比较均匀地分布，那么公式(4)中的C个m_i均接近于式(3)中的m，因此S_W与S_T接近，评估值J接近于0；容易理解，此时该像素位于一个单一纹理区域内，它位于区域边界附近的概率较低。在窗口内包含的像素属于若干个不同的颜色类的情况下，如果某一颜色类所对应的像素在相应中心像素的一侧的分布明显密集于另一侧，那么相应中心像素 两侧的颜色类别分布有区别。容易理解，此时相应像素的两侧可能属于不同的区域，而S_W将小于S_T，评估值J将大于0。并且，评估值基本上随各颜色类在相应窗口内分布不均匀程度的增加而增大。具体实现中也可以采用其他的评估值定义方式，如：J＝S_T/S_W，J＝S_W/S_T，及J＝(S_T-S_W)/S_T等。 

在本文描述的图像处理设备和图像处理方法的一个优选实施例中，可以通过分别使用以像素为中心的不同尺寸的窗口计算的至少两个评估值并且计算这些评估值的均值或者最大值或者最小值，以作为该像素的最终评估值。局部窗口的尺寸可影响能够检测的对象区域的尺寸。例如，小尺寸的窗口利于寻找灰度/颜色边缘，而大尺寸的窗口利于寻找纹理边界。可以根据具体应用所涉及的对象区域的特点来确定窗口的数目和尺寸。 

接近程度计算装置104被配置为根据针对每个候选轮廓计算的评估值，估计该候选轮廓与对象边界的接近程度。评估值与接近程度有这样的关系：评估值越大，则像素越可能在区域边界附近，即像素与对象边界的接近程度越高；评估值越小，则像素越不可能在区域边界附近，即像素与对象边界的接近程度越低。轮廓上具有高评估值的像素越多，则轮廓与对象边界的接近程度越高。例如，对于两个候选轮廓A和B，如果针对候选轮廓A上的像素计算的评估值中较大评估值的数目较多或比例较大，则表明候选轮廓A与对象区域边界更接近。此外，如果分别针对候选轮廓A和B上像素计算的评估值中较大评估值的数目或比例相同或接近，则评估值或较大评估值的均值更高的候选区域与对象区域边界更接近。至少根据上述准则的部分或全部，可以采用各种算法来根据评估值估计候选区域的轮廓与对象边界的接近程度。 

判断装置105被配置为根据至少基于接近程度以及候选轮廓的相应区域的几何中心与局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域。应该明白，接近程度和距离与评价之间有如下关系：接近程度越高，则评价越高，接近程度越低，则评价越低；距离越小，则评价越高，距离越大，则评价越低。可以采用各种符合上述关系的函数作为评价。例如可以通过加权和来综合接近程度和距离以得到最终的评价。 

考虑到对象的共性，在本文描述的图像处理设备和图像处理方法的一个进一步的实施例中，初始区域的轮廓可以是多边形(例如，矩形)轮廓，或可以是椭圆形轮廓，或可以包括多边形轮廓和椭圆形轮廓。这是因为多 边形轮廓和椭圆形轮廓基本上能够把各个对象区域包含在内并且其轮廓不会与对象区域的边界偏离过大。把初始轮廓限制为数目较少且简单的形状，利于降低计算复杂度。 

为了提高根据初始区域的初始轮廓演变出与对象区域的边界基本吻合或把对象区域基本包含在内的轮廓的可能性，在本文描述的图像处理设备和图像处理方法的一个优选实施例中，各个初始区域之间的差异可以包括下述方面中的一个或多个：轮廓形状、几何中心的位置、大小和旋转角度。 

图2A、图2B、图2C和图2D分别描述了轮廓形状、几何中心的位置、大小和旋转角度存在差异的初始区域的例子。 

如图2A所示，初始区域201的轮廓为椭圆形，初始区域202的轮廓为矩形，其差别至少在于轮廓。 

如图2B所示，初始区域203的几何中心在点A处，初始区域204的几何中心在点B处。点A和点B分别在不同的位置，因而初始区域203和204的差别至少在于其几何中心的位置。 

如图2C所示，初始区域205的大小(即尺寸)大于初始区域206的尺寸，其差别至少在于尺寸。 

如图2D所示，初始区域207、208、209分别具有不同的旋转角度，其差别至少在于旋转角度。 

虽然图2A、图2B、图2C和图2D示出了初始区域的单个方面的差别，然而初始区域的差别可以是这些方面的任意组合。 

在本文描述的图像处理设备和图像处理方法的一个优选实施例中，可以提取每个候选轮廓上的部分像素并计算所提取的部分像素中的每个像素的评估值。部分像素的提取遵从各个像素基本上反映相应候选轮廓在平面上的分布的准则。在图像的平面中，每个候选轮廓经过不同的位置。这些位置的总和代表了轮廓在平面中的分布。在提取部分像素而不是所有像素的情况下，如果所提取的像素能够基本上反映这样的分布，那么会更加准确地通过评价这些像素是否靠近对象区域边界来判断轮廓与边界的接近程度。如果把轮廓看成信号波形，那么可以把提取部分像素看作对信号波形进行采样。基本上反映相应候选区域的轮廓在平面上的分布的准则相当于使采样分辨率能够基本上捕获信号波形的变化。以矩形轮廓的区域为 例，如果只提取分别位于三个边上的三个像素，那么有一个边没有得到反映。因而这样的提取就不符合上述准则。 

作为上述准则的一个进一步的改进，在本文描述的图像处理设备和图像处理方法的一个优选实施例中，所提取的多个像素中在候选轮廓上相邻的像素间的轮廓像素的数目(即相邻像素的间隔)的偏差在预定范围(例如零个像素、一个像素、两个像素、三个像素等等)内。这样可以保证基本均匀地提取像素。 

作为上述准则的一个进一步的改进，在这里描述的图像处理设备和图像处理方法的一个优选实施例中，在以每个候选区域的几何中心为原点的情况下，所提取的多个像素中在候选轮廓上相邻的像素的方位角的间隔基本相同。图3是描述这样的情形的一个例子的示意图。在图3中，候选区域的候选轮廓是一个七边形。该区域的几何中心在像素301处。所提取的像素分别为像素302、303、304、305、306、307和308。作为示例，像素302与像素303相邻，其间隔角度θ₁。像素303与像素304相邻，其间隔角度θ₂。间隔角度θ₁与间隔角度θ₂基本相同。这里，基本相同可以包括相同，并且也可以包括在某个范围内的差异。可以在考虑轮廓形状的复杂性和满足上述准则的情况下确定这个范围，以使间隔角度尽量均匀。虽然图3中示出的所提取像素位于多边形的边上，然而所提取像素也可以包括多边形的顶点。 

在本文描述的图像处理设备和图像处理方法的一个优选实施例中，可以对较长的候选轮廓采用较低的像素采样率。这样可以避免从较长的轮廓提取过多的像素，从而避免计算量过大。 

在本文描述的图像处理设备和图像处理方法的一个优选实施例中，在进行颜色聚类时，如果图像中一个颜色类别的区域与另一个颜色类别的另一区域相邻，该区域和另一区域之间的边界平滑，并且该颜色类别的颜色均值和该另一个颜色类别的颜色均值的差小于预定阈值，则可以将该颜色类别和另一个颜色类别合并为同一个颜色类别。这可以剔除出现在图像的平滑过渡区域的错误的颜色类别边界。 

图4是描述根据本发明一个实施例的图像处理方法400的示例过程的流程图。 

如图4所示，方法400从步骤401开始。在步骤403，对数字图像进行颜色聚类以将所述数字图像中的像素划分到相应的类中。颜色聚类是指 把像素的颜色值聚为若干颜色类。通常可以在颜色空间对图像中像素的颜色值进行无监督聚类来确定这若干个颜色类。并可以为这若干个颜色类分配相应的类别标签。通过把图像中各个像素的颜色值替换为其所属的颜色类的相应标签，可以得到表示颜色聚类结果的类图。例如，可以采用韩等人在“主颜色提取装置和方法”，CN101655983A中介绍的方法来进行颜色聚类。 

在步骤405，接收通过指点操作输入的对象信息，此对象信息指定数字图像上相应于目标对象的局部区域。例如，可以通过诸如鼠标、操纵杆、轨迹球、触摸屏的输入装置来输入局部区域。用户在观察所显示的图像的情况下，能够通过输入装置指点图像上的部分(点或区域)。被指点的部分可以作为局部区域而被接受。在通过触摸屏实现输入装置的情况下，可以在触摸屏上显示图像。 

在步骤407，在数字图像中确定分别具有预定轮廓的包含局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界。在步骤407的一个进一步的实现中，在数字图像中，每个初始区域的几何中心与输入的局部区域的几何中心的偏差在预定范围内。 

用户在观察显示的图像时可以指点图像中的感兴趣对象区域上的局部区域。可以假设对象区域是所输入的局部区域周围的各种初始区域之一。各初始区域的轮廓不一定与真实对象边界的轮廓接近。可以采用活动轮廓方法，通过寻找演变轮廓来逼近真实对象边界的轮廓。对于同一初始区域，可以以其轮廓作为初始轮廓，通过不同的迭代次数来获得多个不同的演变轮廓。 

考虑到对象的形状、尺寸、其主体在图像中的基本取向、其主体在平面中的中心位置等方面的多样性，初始区域可以具有各种轮廓，以提高根据初始区域的初始轮廓演变出与对象区域的边界基本吻合或把对象区域基本包含在内的轮廓的可能性。 

此外，如果在具体应用中所涉及的对象区域的形状具有一定的共性，可以根据这种共性采用相应的初始区域轮廓形状。 

在进行输入局部区域的操作时，局部区域与对象区域的偏离程度，例如局部区域几何中心与对象区域几何中心的偏离的大小取决于显示的图像(即显示屏幕)的尺寸、指点操作受操作环境的振动影响的程度、对象的 运动速度、对象区域在图像中的相对尺寸等因素。可以根据具体应用环境中影响指点操作准确性的因素，估计出偏离的范围，以作为初始区域的几何中心与输入的局部区域几何中心的偏差的预定范围。也就是说，在这样的偏离范围内，初始区域的初始轮廓或其演变轮廓与对象区域的边界基本吻合或把对象区域基本包含在内的可能性更高。例如，可以在期望的操作环境下对用户输入局部区域的指点操作进行采样和统计，来确定这样的范围。 

能够明白，数字图像也可以是视频的帧图像。当用户观察视频时，实际观察的是顺序切换显示的帧图像。所观察到的对象可以处于运动状态。当用户输入局部区域时，该局部区域是在进行指点操作时正显示的帧图像中的区域。 

在步骤409，针对每个候选轮廓上的多个像素中的每个像素，通过使用以该像素为中心的窗口来计算该像素的由S_T和S_W决定的评估值。 

此外，根据针对每个候选轮廓计算的评估值，估计该候选轮廓与对象边界的接近程度。评估值与接近程度有这样的关系：评估值越大，则像素越可能在区域边界附近，即像素与对象边界的接近程度越高；评估值越小，则像素越不可能在区域边界附近，即像素与对象边界的接近程度越低。轮廓上具有高评估值的像素越多，则轮廓与对象边界的接近程度越高。例如，对于两个候选轮廓A和B，如果针对候选轮廓A上的像素计算的评估值中较大评估值的数目较多或比例较大，则表明候选轮廓A与对象区域边界更接近。此外，如果分别针对候选轮廓A和B上像素计算的评估值中较大评估值的数目或比例相同或接近，则评估值或较大评估值的均值更高的候选区域与对象区域边界更接近。至少根据上述准则的部分或全部，可以采用各种算法来根据评估值估计候选区域的轮廓与对象边界的接近程度。 

在步骤411，根据至少基于接近程度以及候选轮廓的相应区域的几何中心与局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域。应该明白，接近程度和距离与评价之间有如下关系：接近程度越高，则评价越高，接近程度越低，则评价越低；距离越小，则评价越高，距离越大，则评价越低。可以采用各种符合上述关系的函数作为评价。例如可以通过加权和来综合接近程度和距离以得到最终的评价。 

接着方法在步骤413结束。可以明白，步骤403可以在步骤407之前的任意位置执行。 

图5是描述根据本发明一个实施例的图像处理设备500的示例结构的方框图。 

如图5所示，图像处理设备500包括聚类装置501、输入装置502、区域形成装置503、接近程度计算装置504、判断装置505、模型计算装置506和吻合度计算装置507。聚类装置501、输入装置502、区域形成装置503和接近程度计算装置504分别与聚类装置101、输入装置102、区域形成装置103、接近程度计算装置104功能相同，因此这里不再对其进行详细描述。 

模型计算装置506根据输入的局部区域中像素的颜色值建立前景颜色统计模型(例如，高斯混合模型)。该前景颜色统计模型反映了局部区域中像素的颜色值的分布。可以假定局部区域包含的像素是对象区域中的像素，并且大致反映了对象区域中的像素值的分布。相应地，对于一个候选区域中的每个像素，可以根据其像素值，用该前景颜色模型来估计该像素是对象区域内的像素的概率。如果候选区域内的多数或全部像素均具有较高的概率，那么可以认为这个候选区域与对象区域的吻合较好，反之则吻合较差。 

吻合度计算装置507计算每个候选轮廓的区域内的部分或全部像素与前景颜色统计模型的前景吻合度。

相应地，判断装置505所采用的预定边界评价准则基于接近程度、候选轮廓的相应区域的几何中心与局部区域的几何中心的距离和前景吻合度。应该明白，接近程度、距离和前景吻合度与评价之间有如下关系：接近程度越高，则评价越高，接近程度越低，则评价越低；距离越小，则评价越高，距离越大，则评价越低；前景吻合度越好，则评价越高，前景吻合度越差，则评价越低。可以采用各种符合上述关系的函数作为评价。例如可以通过加权和来综合接近程度、距离和前景吻合度以得到最终的评价，并且选择具有最优评价的候选轮廓。 

在图像处理设备500的一个替代实施例中，模型计算装置506可以根据靠近数字图像边界并且处于输入的局部区域之外的像素的颜色值建立背景颜色统计模型(例如，高斯混合模型)。对于一个候选区域外的每个像素，可以根据其像素值，用该背景颜色模型来估计该像素是对象区域 外的像素的概率。如果候选区域外的多数或全部像素均具有较高的概率，那么可以认为这个候选区域与对象区域的吻合较好，反之则吻合较差。吻合度计算装置507计算每个候选轮廓的相应区域外的部分或全部像素与背景颜色统计模型的背景吻合度。判断装置505根据基于接近程度、候选轮廓的相应区域的几何中心与局部区域的几何中心的距离和背景吻合度的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域。其它部分的功能与图像处理设备500中的相同。 

在图像处理设备500的一个进一步的实施例中，模型计算装置506可以计算前景颜色统计模型和背景颜色统计模型。相应地，吻合度计算装置507可以计算前景吻合度和背景吻合度。判断装置505根据基于接近程度、候选轮廓的相应区域的几何中心与局部区域的几何中心的距离、前景吻合度和背景吻合度的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域。其它部分的功能与图像处理设备500中的相同。 

图6是描述根据本发明一个实施例的图像处理方法600的示例过程的流程图。 

如图6所示，方法600从步骤601开始。在步骤603，执行与步骤403相同的处理。在步骤605，执行与步骤405相同的处理。 

在步骤606，根据输入的局部区域中像素的颜色值建立前景颜色统计模型(例如，高斯混合模型)。该前景颜色统计模型反映了局部区域中像素的颜色值的分布。可以假定局部区域包含的像素是对象区域中的像素，并且大致反映了对象区域中的像素值的分布。相应地，对于一个候选区域中的每个像素，可以根据其像素值，用该前景颜色模型来估计该像素是对象区域内的像素的概率。如果候选区域内的多数或全部像素均具有较高的概率，那么可以认为这个候选区域与对象区域的吻合较好，反之则吻合较差。 

在步骤607，执行与步骤407相同的处理。在步骤609，执行与步骤409相同的处理。 

在步骤610，计算每个候选轮廓的区域内的部分或全部像素与前景颜色统计模型的前景吻合度。 

在步骤611，根据基于接近程度、候选轮廓的相应区域的几何中心与局部区域的几何中心的距离和前景吻合度的预定边界评价准则选择具有最优评价的候选轮廓。应该明白，接近程度、距离和前景吻合度与评价之 间有如下关系：接近程度越高，则评价越高，接近程度越低，则评价越低；距离越小，则评价越高，距离越大，则评价越低；前景吻合度越好，则评价越高，前景吻合度越差，则评价越低。可以采用各种符合上述关系的函数作为评价。例如可以通过加权和来综合接近程度、距离和前景吻合度以得到最终的评价。 

接着方法在步骤613结束。 

在方法600的一个替代实施例中，在步骤606，根据靠近数字图像边界并且处于输入的局部区域之外的像素的颜色值建立背景颜色统计模型(例如，高斯混合模型)。对于一个候选区域外的每个像素，可以根据其像素值，用该背景颜色模型来估计该像素是对象区域外的像素的概率。如果候选区域外的多数或全部像素均具有较高的概率，那么可以认为这个候选区域与对象区域的吻合较好，反之则吻合较差。在步骤610，计算每个候选轮廓的相应区域外的部分或全部像素与背景颜色统计模型的背景吻合度。在步骤611，根据基于接近程度、候选轮廓的相应区域的几何中心与局部区域的几何中心的距离和背景吻合度的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域。其它处理与方法600中的相同。 

在方法600的一个进一步的实施例中，在步骤606可以计算前景颜色统计模型和背景颜色统计模型。相应地，在步骤610可以计算前景吻合度和背景吻合度。在步骤611，可以根据基于接近程度、候选轮廓的相应区域的几何中心与局部区域的几何中心的距离、前景吻合度和背景吻合度的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域。其它处理与方法600中的相同。 

图7是描述根据本发明一个实施例的图像处理设备700的示例结构的方框图。 

如图7所示，图像处理设备700包括输入装置702、区域形成装置703、判断装置705、模型计算装置706和吻合度计算装置707。输入装置702、区域形成装置703、模型计算装置706和吻合度计算装置707分别与输入装置502、区域形成装置503、模型计算装置506和吻合度计算装置507功能相同，因此这里不再对其进行详细描述。 

判断装置705所采用的预定边界评价准则基于吻合度(前景吻合度、背景吻合度或前景吻合度与背景吻合度)和候选轮廓的相应区域的几何中心与局部区域的几何中心的距离。在这样的情况下，选择具有最优评价 的候选轮廓。 

图8是描述根据本发明一个实施例的图像处理方法800的示例过程的流程图。 

如图8所示，方法800从步骤801开始。在步骤805，执行与步骤605相同的处理。在步骤806，执行与步骤606相同的处理。在步骤807，执行与步骤607相同的处理。在步骤810，执行与步骤610相同的处理。 

在步骤811，根据基于吻合度(前景吻合度、背景吻合度或前景吻合度与背景吻合度)和候选轮廓的相应区域的几何中心与局部区域的几何中心的距离的预定边界评价准则选择具有最优评价的候选轮廓。 

接着方法在步骤813结束。 

根据本发明的实施例的图像处理设备和图像处理方法可以应用在成像设备中，以供用户选择感兴趣的对象区域。成像设备可以是例如数码相机、摄像机、视频监控系统以及具有拍照、摄像功能的手机的设备。 

图9是描述根据本发明一个实施例的成像设备900的示例结构的方框图。 

如图9所示，成像设备900包括成像装置906、显示装置907、控制装置908和图像处理设备910。图像处理设备910可以是前面描述的根据本发明实施例的图像处理设备。 

成像装置906把通过光学系统捕获的光学图像转换为数字图像。 

显示装置907(例如电子取景器、视频或图像监视器)则显示由成像装置906转换的数字图像。可选地，显示装置907也可以被包含在图像处理设备910中。 

控制装置908根据当前拍摄模式针对图像处理设备910确定的对象区域指示的对象来控制成像设备900进行拍摄。在确定对象区域的情况下，成像设备900可以有各种拍摄模式。例如，控制光学系统对焦到对象区域所指示的拍摄对象并拍照，根据对象区域所指示的拍摄对象的特点自动调整曝光、白平衡等参数并拍照，转动镜头把对象区域所指示的拍摄对象移到画面中央、对准对象区域指示的拍摄对象并对焦拍摄等等。 

图10是描述根据本发明一个实施例的成像方法1000的示例过程的流程图。 

如图10所示，方法1000从步骤1001开始。在步骤1003，把通过光学系统捕获的光学图像转换为数字图像。 

在步骤1005，显示所转换的数字图像。 

在步骤1007，执行如前面描述的根据本发明实施例的图像处理方法来确定对象区域。 

在步骤1009，根据当前拍摄模式针对所确定的对象区域指示的对象来控制成像设备进行拍摄。在确定对象区域的情况下，可以有各种拍摄模式。例如，控制光学系统对焦到对象区域所指示的拍摄对象并拍照，根据对象区域所指示的拍摄对象的特点自动调整曝光、白平衡等参数并拍照，转动镜头把对象区域所指示的拍摄对象移到画面中央、对准对象区域指示的拍摄对象并对焦拍摄等等。 

接着方法在步骤1011结束。 

根据本发明的实施例，由于能够在输入的位置信息与实际对象区域位置存在偏差的情况下以较低的计算量准确地确定对象区域，用户能够在移动环境中操作成像设备的情况下，或者在对象处于运动状态的情况下，迅速选择要拍摄的感兴趣对象并及时进行拍摄。 

还应明白，前面结合图像处理设备和图像处理方法描述的替代实施例和优选实施例也适用于上述成像设备和成像方法的实施例。 

图11是示出实现根据本发明的图像处理设备和图像处理方法的实施例的设备的示例性结构的框图。 

在图11中，中央处理单元(CPU)1101根据只读存储器(ROM)1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM)1103的程序执行各种处理。在RAM 1103中，也根据需要存储当CPU 1101执行各种处理等等时所需的数据。 

CPU 1101、ROM 1102和RAM 1103经由总线1104彼此连接。输入/输出接口1105也连接到总线1104。 

下述部件连接到输入/输出接口1105：输入部分1106，包括键盘、鼠标等等；输出部分1107，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分1108，包括硬盘等等；和通信部分1109，包括网络接口卡比如LAN卡、调制解调器等等。通信部分1109经由网络比如因特网执行通信处理。 

根据需要，驱动器1110也连接到输入/输出接口1105。可拆卸介质1111比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1110上，使得从中读出的计算机程序根据需要被安装到存储部分1108中。 

在通过软件实现上述步骤和处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1111安装构成软件的程序。 

本领域的技术人员应当理解，这种存储介质不局限于图11所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体存储器。或者，存储介质可以是ROM 1102、存储部分1108中包含的硬盘等等，其中存有程序，并且与包含它们的方法一起被分发给用户。 

在前面的说明书中参照特定实施例描述了本发明。然而本领域的普通技术人员理解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。 

Claims (22)

1.一种图像处理方法，用于确定数字图像中的目标对象区域，包括：

对数字图像进行颜色聚类以将所述数字图像中的像素划分到相应的类中；

接收通过指点操作输入的对象信息，所述对象信息指定所述数字图像上相应于目标对象的局部区域；

在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域；

通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；

针对包含所述初始轮廓和所述演变轮廓的候选轮廓中的每个上的多个像素中的每个像素，通过使用以所述像素为中心的窗口来计算所述像素的由S_T和S_W决定的评估值，其中，所述窗口中包含多个像素，S_T是所述窗口中各像素的位置与这些像素的平均位置的距离的统计值，S_W是所述窗口中各像素的位置与这些像素的类平均位置的距离的统计值，其中每个像素的类平均位置是所述窗口中与所述像素属于相同类的所有像素的平均位置；

根据针对每个所述候选轮廓计算的评估值，估计所述候选轮廓与对象边界的接近程度；和

根据至少基于所述接近程度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。

2.如权利要求1所述的图像处理方法，还包括：

根据所述局部区域中像素的颜色值建立前景颜色统计模型；和

计算每个所述候选轮廓的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度，

其中所述预定边界评价准则还基于所述前景吻合度。

3.如权利要求2所述的图像处理方法，还包括：

根据靠近所述数字图像边界且处于所述局部区域外的像素的颜色值建立背景颜色统计模型；和

计算每个所述候选轮廓的相应区域外的部分或全部像素与所述背景颜色统计模型的背景吻合度，

其中所述预定边界评价准则还基于所述背景吻合度。

4.如权利要求1所述的图像处理方法，其中在所述数字图像中，每个所述初始区域的几何中心与所述局部区域的几何中心的偏差在预定范围内。

5.如权利要求1所述的图像处理方法，其中所述初始区域之间的差异包括下述方面中的一个或多个：轮廓形状、几何中心的位置、大小和旋转角度。

6.如权利要求1所述的图像处理方法，其中所述预定轮廓包括多边形轮廓和椭圆轮廓之一或全部。

7.如权利要求1所述的图像处理方法，其中所述评估值的计算包括提取所述候选轮廓上的部分像素作为所述多个像素，其中所述多个像素基本上反映所述候选轮廓在平面上的分布。

8.如权利要求7所述的图像处理方法，其中对较长的候选轮廓采用较低的像素采样率，或者

在以所述候选轮廓的相应区域的几何中心为原点的情况下，所述多个像素中在所述候选轮廓上相邻的像素的方位角的间隔基本相同。

9.如权利要求1所述的图像处理方法，其中通过触摸屏接收所述对象信息。

10.一种图像处理方法，用于确定数字图像中的目标对象区域，包括：

接收通过指点操作输入的对象信息，所述对象信息指定数字图像上相应于目标对象的局部区域；

根据所述局部区域中像素的颜色值建立前景颜色统计模型；

在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域；

通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；

计算包含所述初始轮廓和所述演变轮廓的候选轮廓中的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度；和

根据至少基于所述前景吻合度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。

11.一种图像处理设备，用于确定数字图像中的目标对象区域，包括：

聚类装置，其对数字图像进行颜色聚类以将所述数字图像中的像素划分到相应的类中；

输入装置，其接收通过指点操作输入的对象信息，所述对象信息指定所述数字图像上相应于目标对象的局部区域；

区域形成装置，其在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；

接近程度计算装置，其针对包含所述初始轮廓和所述演变轮廓的候选轮廓中的每个上的多个像素中的每个像素，通过使用以所述像素为中心的窗口来计算所述像素的由S_T和S_W决定的评估值，其中，所述窗口中包含多个像素，S_T是所述窗口中各像素的位置与这些像素的平均位置的距离的统计值，S_W是所述窗口中各像素的位置与这些像素的类平均位置的距离的统计值，其中每个像素的类平均位置是所述窗口中与所述像素属于相同类的所有像素的平均位置，并且根据针对每个所述候选轮廓计算的评估值，估计所述候选轮廓与对象边界的接近程度；和

判断装置，其根据至少基于所述接近程度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。

12.如权利要求11所述的图像处理设备，还包括：

模型计算装置，其根据所述局部区域中像素的颜色值建立前景颜色统计模型；和

吻合度计算装置，其计算包含所述初始轮廓和所述演变轮廓的候选轮廓中的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度，

其中所述预定边界评价准则还基于所述前景吻合度。

13.如权利要求12所述的图像处理设备，其中所述模型计算装置进一步被配置为根据靠近所述数字图像边界且处于所述局部区域外的像素的颜色值建立背景颜色统计模型，

所述吻合度计算装置进一步被配置为计算每个所述候选轮廓的相应区域外的部分或全部像素与所述背景颜色统计模型的背景吻合度，

其中所述预定边界评价准则还基于所述背景吻合度。

14.如权利要求11所述的图像处理设备，其中在所述数字图像中，每个所述初始区域的几何中心与所述局部区域的几何中心的偏差在预定范围内。

15.如权利要求11所述的图像处理设备，其中所述初始区域之间的差异包括下述方面中的一个或多个：轮廓形状、几何中心的位置、大小和旋转角度。

16.如权利要求11所述的图像处理设备，其中所述预定轮廓包括多边形和椭圆之一或全部。

17.如权利要求11所述的图像处理设备，其中所述接近程度计算装置进一步被配置为提取所述候选轮廓上的部分像素作为所述多个像素，其中所述多个像素基本上反映所述候选轮廓在平面上的分布。

18.如权利要求17所述的图像处理设备，其中对较长的候选轮廓采用较低的像素采样率，或者

在以所述候选轮廓的相应区域的几何中心为原点的情况下，所述多个像素中在所述候选轮廓上相邻的像素的方位角的间隔基本相同。

19.如权利要求11所述的图像处理设备，其中所述输入装置通过触摸屏来实现，其中所述触摸屏还被配置为显示所述数字图像。

20.一种图像处理设备，用于确定数字图像中的目标对象区域，包括：

输入装置，其接收通过指点操作输入的对象信息，所述对象信息指定数字图像上相应于目标对象的局部区域；

模型计算装置，其根据所述局部区域中像素的颜色值建立前景颜色统计模型；

区域形成装置，其在所述数字图像中确定分别具有预定轮廓的包含所述局部区域的一个或多个初始区域，并且通过活动轮廓方法以每个所述初始区域的轮廓为初始轮廓来计算至少一个演变轮廓，以逼近对象边界；

吻合度计算装置，其计算包含所述初始轮廓和所述演变轮廓的候选轮廓中的每个的相应区域内的部分或全部像素与所述前景颜色统计模型的前景吻合度；和

判断装置，其根据至少基于所述前景吻合度以及所述候选轮廓的相应区域的几何中心与所述局部区域的几何中心的距离的预定边界评价准则，选择具有最优评价的候选轮廓的相应区域作为对象区域。

21.一种成像方法，包括：

把通过光学系统捕获的光学图像转换为数字图像；

通过如权利要求1或10所述的图像处理方法来确定对象区域；和

根据当前拍摄模式针对所述对象区域指示的对象来控制所述成像设备进行拍摄。

22.一种成像设备，包括：

成像装置，其把通过光学系统捕获的光学图像转换为数字图像；

显示装置，其显示所述数字图像；

如权利要求11或20所述的图像处理设备；和

控制装置，其根据当前拍摄模式针对所述图像处理设备确定的对象区域指示的对象来控制所述成像设备进行拍摄。

Images