CN101248457B

CN101248457B - 图像分析方法

Info

Publication number: CN101248457B
Application number: CN2006800274293A
Authority: CN
Inventors: 弗雷德里克·沃里克·迈克·斯腾蒂福特
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 2005-07-28
Filing date: 2006-06-30
Publication date: 2011-07-27
Anticipated expiration: 2026-06-30
Also published as: US8135210B2; EP1908013B1; WO2007012798A1; US20090252421A1; CN101248457A; EP1908013A1

Abstract

本发明涉及图像分析。对由各自具有值的元素(x_i)的有序集合表示的图像进行分析以检测消失点。本方法包括针对多个根位置(x₀)中的每一个重复执行以下步骤：(i)从所述有序集合中选择第一多个元素(x_i)；(ii)针对每个选择的元素(x_i)，选择第二元素(u_i)，使得所选择的第二元素相对于所述根位置的矢量位置与第一选择的元素的位置相比缩放了因子(α)；(iii)确定选择的元素是否满足需要所述多个第一元素中的每一个的值都与对应的第二元素的值相似的匹配标准；以及(iv)在匹配的情况下，更新关于该根元素的相似性分数(H)。一旦找出了这些分数，它们就可以被检查所述图像的与所述相似性分数的峰值对应的一部分。

Description

图像分析方法

技术领域

本发明涉及图像分析，更具体地说，涉及从二维图像提取三维信息。

背景技术

在反映3D信息的所有图像中都在某种程度上存在透视图。在三维场景中的平行线在图像中投射至消失点(vanishing point)。对消失点进行定位提供了一种根据2D图像推断3D结构的强有力方式，尤其是在风景画或人造环境下。Lutton等人[1]提取指向消失点的边缘和集合线段。该方法需要获知摄像机参数并且必须处理大量的从特定图像产生的非常短的线段。McLean等人[2]对梯度取向进行聚类以再次检测图像中的线结构，并且针对两个灰度级图像评估该方法。和其他作者一起，Shufelt[3]使用高斯球表示法并且致力于利用限定范围的目标取向来解决图像中的伪边缘的问题。

Rother[4]将这种思想应用至建筑环境并且通过使用摄像机参数来除去错误检测到的消失点。Cantoni等人[5]探索出两种方法，一种利用霍夫变换(Hough transform)而另一种利用边缘检测。需要进行连续分析来对多个消失点进行定位。Almansa等人[6]提出了一种不依赖于摄像机参数的方法，该方法搜索包含最大数量的线段交点的图像区域。图像中的不包含实际消失点的曲边界可能造成错误警报。Rasmussen[7]使用伽柏小波滤波器来获取道路图像中的主导性纹理取向。

在我们下列较早的专利申请中描述了用于分析图像或其他图案的一些技术，其中将图案与同一图案的其他部分进行比较。

欧洲专利申请00301262.2(公开号1126411)(申请人案号A25904EP#)；

国际专利申请PCT/GB01/00504(公开号WO 01/61648)(申请人案号A25904WO)；

国际专利申请PCT/GB01/03802(公开号WO02/21446)(申请人案号A26055WO)；

2001年10月16日提交的美国专利申请977,263/09(公开号20020081033)(申请人案号A25904US1)

国际专利申请0PCT/GB2006/002001(A30776)。

并且本发明人发表了下面的论文：

Stentiford F W M，“An estimator for visual attention through competitive novelty with application to image compression”，Proc.Picture Coding Symposium 2001，Seoul，25-27April，pp 101-104，2001。

Stentiford F W M，“An evolutionary programming approach to the simulation of visual attention”，Proc.Congress on Evolutionary Computation 2001，Seoul，pp 851-858，27-30May，2001。

在我们较早的国际专利申请WO03/081523(A30179)以及我们的日期为2004年9月17日的英国专利申请0420727.0(A30519)和日期为2005年2月25日的英国专利申请0503944.1(A30705)中描述了用于比较图案的方法和装置。

发明内容

本发明提供一种对由各自具有值的元素(x_i)的有序集合表示的图像进行分析的方法，所述方法包括以下步骤：

(i)针对多个根位置(x₀)中的每一个重复执行以下步骤，其中所述根位置指图像中元素的位置：

从所述有序集合中选择多个第一元素(x_i)；

针对每一个所选择的第一元素(x_i)，选择第二元素(u_i)，使得所选择的第二元素相对于所述根位置的矢量位置与第一元素相对于所述根位置的矢量位置相比缩放了缩放因子(α)；

确定所选择的元素是否满足需要所述第一元素中的每一个的值都与对应的第二元素的值相似的匹配标准；

在匹配的情况下，更新关于该根位置的相似性分数(H)；以及

(ii)对所述相似性分数(H)进行检查以识别所述图像的与所述相似性分数的峰值对应的一部分。

附图说明

现在参照附图对本发明的一些实施方式进行说明，在附图中：

图1是用于执行本发明的方法的装置的框图；

图2是例示本发明一个实施方式的操作的流程图；

图3是具有例示性像素选择的图；以及

图4到9描绘了一些测试图像和所得结果。

具体实施方式

图1示出了由通用计算机组成的装置，该通用计算机被编程为执行根据本发明第一实施方式的图像分析。该装置具总线1，中央处理单元2、可视显示器3、键盘4、用于输入图像的扫描仪5(或其他装置，未示出)以及存储器6连接至该总线1。

在存储器6中存储有操作系统601、用于执行图像分析的程序602，以及用于存储图像的存储区603。将图像存储为二维阵列值，每一个值都表示该阵列内的图片元素的亮度和/或颜色分量。

图像阵列由图片元素x _i＝(x_i，y_i)的阵列组成，其中，x_i和y_i是该图像内元素的水平和垂直位置。每一个元素都具有各自的值α＝α(x _i)。在单色图像的情况下，这个值为标量值，亮度α，或者在彩色图像的情况下，将是包括一组颜色分量的矢量，如(采用r、g、b表示法)a＝(α_r、α_g、α_b)。

图2是说明方法应用的流程图。在步骤100中，将一组分数H(i，j)设置成零，并且将计数器k设置成零。要针对图像阵列的每一个元素x₀生成分数。可以按任何次序处理它们，但如图所示，我们在步骤102以将x₀设置成0，0开始。为方便起见，在本说明书中将其称为根。

本方法的第一任务是对图像中的元素进行随机选择。这可以形象化为利用具有m个齿的不规则叉子刺入图像。应注意到，在整个说明书中，提到随机选择还设想了通过伪随机处理来进行选择的可能性。而且，提到随机选择不仅设想了对任何值(在指定范围内的任何值)的选择都是等概率的随机选择的可能性，而且设想了根据非均匀概率分布来进行选择的可能性。

因而，在步骤104，受到所有元素位于图像内的约束，在图像中选择随机位置x_i处的m个元素的集合S_x。图3(a)示出了一个示例集合。

应注意到，该处理允许出现一对或更多对x_i＝x_j，其中i≠j，即，x_i不被约束为不同的。实践中，这是不可避免的，但如果希望，则也可以通过对它进行测试并且再选择匹配对中的一个成员来消除这种情况。

出于将变得清楚的理由，不希望选择这样一组元素：该组元素中的所有成员或许多成员位于相同颜色的区域中。因而，在步骤106，执行测试，以检查是否至少h个成员与该组中的所有其他成员相差阈值量以上。即，对于至少h个不同的p值，满足

|a_j(x_p)-a_j(x_q)|＞ε_j，q＝1…m。

针对任何p，一个j值满足上式(即，不是所有的颜色分量都需要失配)即可。如果不满足，则在步骤104重新选择元素。

下一阶段(步骤108)是限定该图像内的m个元素u_i的第二集合S_u，该第二集合S_u相对于根x₀的矢量位置与先前选择的集合S_x的相对矢量位置相比按因子α缩小。即，对所有的i，u_i＝x₀+α(x_i-x₀)。这可以形象化(参见图3(b))为利用对x_i使用的同一叉子的收缩形式来刺入图像。

要确定所选择元素x_i中的每一个是否与对应元素u_i匹配。在步骤110进行匹配测试。在r、g、b的情况下，如果对于所有的i＝1…m，都满足

Dist[a(x_i)-a(u_i)]＜δ，

则出现匹配。

其中，Dist是某一距离算子(例如，欧几里德或城市街区(city-block))，或者，例如可以针对颜色分量单独地对矢量分量设置阈值

对于所有i＝1…m，

|a_r(x_i)-a_r(u_i)|＜δ_r和

|a_g(x_i)-a_g(u_i)|＜δ_g和

|a_b(x_i)-a_b(u_i)|＜δ_b

其中，δ_r、δ_g以及δ_b是通常相等的某些较小阈值。

如果出现匹配，则在步骤112，递增分数H(x₀)。可以简单地按1(或其他固定值)递增。

一旦更新了分数(或者在不存在匹配时)，则在步骤114递增迭代计数器k，并且在步骤116进行测试，以察看其是否已经达到最大迭代计数K；如果没有，则处理返回至步骤104，以利用新的叉子形状进行进一步迭代。

一旦已经执行了K次测试，则在步骤118通过将x₀指向新的根来处理新的像素，并且从步骤104起重复处理。如果已经处理了所有元素，则在步骤120识别这一点。这里，分数矩阵H实际上包含表示针对每一个根获得的匹配数量的直方图。向根收敛的图案往往针对该位置生成大量的匹配，例如，图3示出了与图像匹配的m＝5像素叉子x以及也与该图像匹配的相对于根V按α＝1/2缩放的其变换形式u。大量的这种匹配表示点V可能是消失点。因而，消失点在直方图中呈现为峰值。尽管在场景中的平行线全部会聚至单个消失点，但处于不同角度(但彼此平行)的其他线将在不同消失点处会聚。假如这些线(在原始场景中)水平，则它们的消失点位于水平线上；由此，如果存在许多这种消失点，则水平线呈现为直方图中的隆起线。

因而，下一步，在步骤122，是检测直方图中的任何峰值的位置。针对这种检测的标准是具有最高分数H(x)的图像元素x₀的位置。另选的是，可以在利用高斯或其他类型的滤波器首次平滑直方图之后定位该峰值。可以通过从不同起点开始的梯度上升来定位多个峰值。

如上所述，缩放因子α是固定的。建议取值为1/2。根据图片内容可以选择其他值。一般来说，接近一的值不能令人满意，因为它们往往仅仅因为叉子尺寸的变化不足以造成失配而导致大量匹配。非常小的值往往导致更易受噪声影响因而不可靠的结果。实际上，将α固定不是必要的，尽管很自然必须使用相同值来对给定迭代k的特定叉子的m个齿中的每一个进行缩放。已经尝试了随机改变选择(在设定界限内改变)，并且发现了这样是成功的：这种方法在不能预测最优值的情况下确实是优选的。

还应注意到，超过一的α的值是容许的，只是相当于在x_i之前选择u_i，但较为不便实施，因为存在元素在缩放之后落在图像之外的危险。

应注意到，所选择元素中的一个位于根位置x₀是没有用的，因为这种元素对于缩放是不变的，由此始终匹配。对x_i的随机选择将偶然造成对根的选择，但这在实践中是不可避免的。如果希望，则可以对条件进行测试并且进行重新选择。

以上描述还假定了图像中的所有点都被选择为根x₀，并且具有针对它们生成的分数。然而，对所有这种点都进行处理并不是必要的：可以将分析限于关心的特定区域，或者可以针对子集进行。而且，还可以关于图像之外的根位置进行分析。例如，一些图像可以包含可以推导出消失点的位置的结构，尽管该消失点本身不在该图像的范围内。然而，在这种情况下，存在这样的危险：u_i有时可能落在图像范围之外(由α的较小值而放大的危险)。这例如可以通过以下方式来解决：紧接在步骤110之后，针对落在图像之外的任何元素对u_i进行测试，如果存在落在图像之外的元素，则返回至步骤104以对这些可恶的元素(甚至全部元素)进行新选择。

如上所述，对来自Corel数据库的具有明显透视结构的许多图像进行处理并且计算每一个像素处的透视图的测度。在这些结果中，将每一个叉子中的元素数量(m)设置为12，将比较数量(K)设置为100，而将α设置为0.5。在图像上表示标记主要消失点的峰值的位置，并且将各分数绘制为3D直方图。在图4中，道路、树木以及天空的透视图实际上全部呈现为会聚在同一点。最高分数的分布集中于该同一区域中的最大值。在图5中，透视图的峰值因不对称植被而稍微偏向入口的左侧。辅峰值按照每一侧上的栅栏线。图6中检测到的消失点位于水平线上，但稍微不对称地将消失点拉至可以由道路表示的右侧。高分像素随着道路在图7中消失于左侧而覆盖该道路的邻域。峰值考虑了树木和天空以及道路及其标记。图8中的透视分数向水平线增加，但紧接山脉右侧处上升至最大。该最大值再一次反映天空、山脉以及道路的透视结构。其他较低峰值与由道路和路标产生的透视图对准。最后，识别出图9中的主消失点。

这里产生的结果将消失点的位置限定至图像的边界之内，但是，如果匹配叉子像素S_x和S_u本身全部位于图像之内，则本方法同样可应用于检测位于图像之外的消失点。在这些情况下，α可以采用更接近一的值，对于无穷远消失点来说，在极限情况下，α＝1，匹配的方向足以获得透视信息。

随着根变得越来越远并且α变得更接近于一，在极限情况下，缩放的效果是与S_x相比移动叉子S_u的像素。由此，为了获取在无穷远处的消失点的分数，变换变为

u_ik＝x_ik+Δ_ik

其中，附加下标k指特定迭代。在这种模式下，限制叉子尺寸是明智的——或许限制为不超出图像本身尺寸的一半。

可以随机选择Δ_ik的两个分量——并且如果希望，则也可以对每一个k进行重新选择，并且必须选择得使它们不会造成u_ik落在图像之外。在对无穷远处的消失点进行测试的这个特殊情况下，匹配叉子的移位Δ_ik的方向的分布中的峰值给出远处消失点的方向。然而，该方法不会导致针对Δ的每一个方向的恒定数量的迭代，这样，如果希望比较这样获取的分数H的值和通过缩放获取的分数值，则优选的是，针对Δ_ik的固定方向执行k次迭代，仅在连续迭代上重新选择Δ_ik的幅度，并且重复该处理以针对角θ的范围提供一组分数H(θ)。

这个方法超过其他技术的关键优点包括不需要针对可以特征化透视图存在性的任何先验特征(例如边缘或与特定类型的滤波器的谐振)的规范。即使图像模糊并且不包含尖锐边缘，本方法也仍然可以起作用。另外，不需要摄像机参数或其校准的知识，并且对任何透视结构的为了让算法有效工作而在数据中必须存在的最小强度没有限制。最后，不需要人工干预来进行初始化或者指导处理。

已经将相同的基本机制用于提取面部图像中的反射式对称，其中，按角θ利用通过轴的反射取代透视变换(2)[10]。匹配叉子的θ分布中的峰值指出了图像中出现的对称轴的位置。

已经利用每像素100次叉子生成迭代而产生了这里报告的结果。尽管计算步骤非常简单，但存在大量计算步骤，并且消失点分析在运行C++的1.8GHz机器上大约花费10秒钟。在可以不需要获取到最接近像素的位置精度的情况下，可以通过仅对采样像素进行记分来在时序机上减少计算。然而，由于每一个匹配都独立于下一个匹配，所以可以并行执行对叉子的匹配，并且，在德州仪器DM642 DSP平台上的相关实现表示可以在视频速度进行处理。

参考文献

1、Lutton，E.，Maitre，H.，and Lopez-krahe，J.，“Contribution to the determination of vanishing points using Hough transform”，IEEE Trans.on Pattern Analysis and Machine Intelligence，vol.16，no.4，pp 430-438，1994。

2、McLean，G.F.，and Kotturi，D.，“Vanishing point detection by line clustering”，IEEE Trans.On Pattern Analysis and Machine Intelligence，vol.17，no.11，pp 1090-1095，1995。

3、Shufelt，J.A.，“Performance evaluation and analysis of vanishing point detection techniques”，IEEE Trans.nn Pattern Analysis and Machine Intelligence，vol.21，no.3，pp 282-288，1999。

4、Rother，C.，“A new approach for vanishing point detection in architectural environments”，11^th British Machine Vision Conference，Bristol，UK，September，2000。

5、Cantoni，V.，Lombardi，L.，Porta，M.，and Sicard，N.，“Vanishing point detection：representation analysis and new approaches”，11^th Int.Conf.on Image Analysis and Processing，Palermo，Italy，September，2001。

6、Almansa，A.，and Desolneux，A.，“Vanishing point detection without any a priori information”，IEEE Trans.on Pattern Analysis and Machine Intelligence，vol.25，no.4，pp 502-506，2003。

7、Rasmussen，C.，“Texture-based vanishing point voting for road shape estimation”，British Machine vision Conference，Kingston，UK，September，2004。

8、Stentiford，F.W.M.，“Automation identification of regions of interest with application to the quantification of DNA damage in cells”，Proc.SPIE.Vol.4662，pp 244-253，2002。

9、Stentiford，F.W.M.，“An estimator for visual attention through competitive novelty with application to image compression”，Picture Coding Symposium，Seoul，pp 101-104，2001。

10、Stentiford，F.W.M.，“Attention based symmetry detection”，Int.Conf.on Advances in Pattern Recognition，Bath，UK，August，2005。

11、Multimedia Understanding through Semantics，Computation and Learning，Network of Excellence.EC 6^th Framework Programme.FP6-507752.http://www.muscle-noe.org/。

Claims

1.一种对由各自具有值的元素(x_i)的有序集合表示的图像进行分析的方法，所述方法包括以下步骤：

(a)从所述有序集合中选择多个第一元素(x_i)；

(b)针对每一个所选择的第一元素(x_i)，选择第二元素(u_i)，使得所选择的第二元素相对于所述根位置的矢量位置与第一元素相对于所述根位置的矢量位置相比缩放了缩放因子(α)；

(c)确定所选择的元素是否满足需要所述第一元素中的每一个的值都与对应的第二元素的值相似的匹配标准；

(d)在匹配的情况下，更新关于该根位置的相似性分数(H)；以及

2.根据权利要求1所述的方法，其中，所有的根位置都是所述图像内的元素的位置。

3.根据权利要求1所述的方法，其中，所述多个根位置中的至少一部分根位置是在所述图像之外的位置。

4.根据权利要求1所述的方法，其中，在选择多个第一元素的步骤中，将选择限制为使得不多于设定数量的所选择元素满足与其他所选择元素的相似性的预定标准。

5.根据权利要求1所述的方法，其中，所述缩放因子(α)是固定的。

6.根据权利要求1所述的方法，其中，针对选择第二元素的每一个步骤，对所述缩放因子(α)进行重新选择。

7.根据权利要求1所述的方法，其中，所述缩放因子(α)在0.3到0.8的范围内。

8.根据权利要求1所述的方法，其中，所述图像是彩色图像，每一个值都包括颜色分量，并且，所述匹配标准是各个第一元素的每一个分量与对应的第二元素的对应分量之间的差不超过设定量。

9.一种对由各自具有值的元素(x_i)的有序集合表示的图像进行分析的方法，所述方法包括以下步骤：

(i)针对多个参考方向中的每一个重复执行以下步骤：

(a)从所述有序集合中选择多个第一元素(x_i)；

(b)针对每一个所选择的第一元素(x_i)，选择第二元素(u_i)，使得所选择的第二元素的位置与第一元素的位置相比在相应的参考方向上移动了一移动量(Δ)；

(d)在匹配的情况下，更新关于该参考方向的相似性分数(H)；以及

(ii)对所述相似性分数(H)进行检查以识别所述图像的与所述相似性分数的峰值对应的方向。