CN1350252A

CN1350252A - 形状描述符抽取方法

Info

Publication number: CN1350252A
Application number: CN01117420A
Authority: CN
Inventors: 崔良林; 李宗河
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2000-10-21
Filing date: 2001-04-27
Publication date: 2002-05-22
Anticipated expiration: 2021-04-27
Also published as: US20020063718A1; CN1516077A; JP2002150285A; CN1294536C; KR100413679B1; JP4018354B2; EP1199648A1; US7023441B2; CN1157674C; KR20020031591A

Abstract

提供一种从图像中抽取描述图像形状特征的形状描述符的方法。该形状描述符抽取方法包括:(a)从输入的图像中抽取轮廓;(b)通过基于抽取的轮廓执行像素间的连线获得一直线列表;和(c)将通过规格化直线列表获得的规则的直线列表确定为形状描述符。根据该形状描述符抽取方法抽取的形状描述符具有包括在图像中的形状的轮廓特征的信息。所以该形状描述符抽取方法能有效地从相同种类的数据集合中抽取局部运动,并且抽取的形状的数量不受对象数量的限制。

Description

形状描述符抽取方法

本发明涉及形状描述符抽取方法，更具体地说，涉及基于图像轮廓的形状描述符抽取方法。

形状描述符以使能自动抽取的低提取水平描述为基准，并且是人能够从图像中感知的基本描述符。正在研究描述一幅图像内的特定对象的形状以及基于该形状估量匹配或相似性程度的算法。但是，这些算法仅描述特定对象的形状，所以在感知一般对象的形状方面存在很多问题。目前，为了解决上述问题，由比如MPEG-7的标准组建议的形状描述符是通过查找给定对象的各种变形的特征来获得的。现有许多种类的形状描述符。在MPEG-7的实验模型(eXperimental Model，XM)1中采纳的两种形状描述符，公知的为泽尼克(Zernike)动量(moment)形状描述符和曲率尺度空间形状描述符。对于泽尼克动量形状描述符，定义关于多种形状的泽尼克基函数，以勘察一幅图像内的对象。然后，固定尺寸的图像投影在基函数之上，并将产生的结果用作形状描述符。对于曲率尺度空间描述符，抽取模型图像的外形，并以尺度空间表示沿着外形曲率点的变化。然后，将峰值的位置用z维向量表示。但是，抽取前者的一描述符时，输入图像的尺寸受到限制。而且，抽取后一形状描述符时，所抽取的形状只能是一个对象。

为了解决上述问题，本发明的一个目的是提供一种形状描述符抽取方法，能够有效地应用到活动视频压缩技术和基于该活动视频压缩技术的图像搜索技术。

本发明的另一个目的是提供一种图像搜索方法，使用通过形状描述符抽取方法抽取的形状描述符，在索引的图像内搜索与查询图像相似的图像。

本发明的另一个目的是提供一种相异性估量方法，使用通过形状描述符抽取方法抽取的形状描述符，估量将要索引的图像间的相异性。

从而，为了实现上述目的，根据本发明的一个方面，提供一种形状描述符抽取方法，包括：(a)通过抽取图像的轮廓确定基于抽取的轮廓的形状描述符。

另外，为了实现上述目的，根据本发明的另一方面，提供一种形状描述符抽取方法，包括：(a)从输入的图像中抽取轮廓；(b)通过基于抽取的轮廓执行像素间的连线获得一直线列表；以及(c)将通过规格化直线列表获得的规则的直线列表确定为形状描述符。

另外，步骤(a)最好包括：(a-1)通过对输入的图像执行距离变换获取一距离映射；以及(a-2)从获得的距离映射中抽取轮廓。

另外，步骤(b)最好包括：(b-1)稀疏(thin)抽取的轮廓；以及(b-2)通过连接稀疏的轮廓中的每一个像素抽取直线。

另外，步骤(c)最好包括：(c-1)得出所连接的开始和终止点的列表；(c-2)通过径直组合抽取的直线获取第一直线列表；以及(c-3)确定通过基于每一条直线的端点间的最大距离规格化第一直线列表所获得的第二直线列表。

另外，距离变换最好基于表示对象内侧的每一点作为离开背景的最小距离值的函数。

另外，步骤(a-2)最好包括：使用边缘检测方法获取到距离映射的局部最大值。

另外，步骤(a-2)最好包括：(a-2-1)使用局部最大值执行卷积检测四个方向的掩码(mask)以获取局部最大值。

另外，在步骤(a-2-1)之后，最好进一步包括：(a-2-2)将相应于具有最大尺寸的方向的卷标记录在方向映射和幅度映射中。

另外，最好输入图像为二进制图像。

另外，最好步骤(b-1)进一步包括：留下在把相应的方向旋转90度后的方向中的最大的像素，并移去余下的像素。

另外，最好步骤(c-2)进一步包括：使用具有四个方向的方向映射，通过连接方向映射中具有同一卷标的像素，得出每一条线段的开始和终止点的列表。

另外，最好步骤(c-2)进一步包括：通过改变获得的第一直线列表中的各直线间的角度、距离以及直线的长度的阈值，执行直线组合。

另外，最好一直重复直线组合，直到剩余的直线数量等于或少于预定值为止。

同样，为了实现上述目的，根据本发明，提供一种图像搜索方法，包括：(a)从查询图像的形状描述符中获取直线列表；(b)通过比较检测的图像的形状描述符的直线列表和查询的图像的形状描述符的直线列表，获取相异性。

同样，为了实现上述目的，提供一种相异性估量方法，其中使用基于轮廓形成的形状描述符用于估量索引的图像间的相异性的方法包括：(a)从查询图像的形状描述符中获取直线列表；以及(b)比较检测的图像的形状描述符的直线列表和查询的图像的形状描述符的直线列表，并获取相异性。

通过参照附图对优选实施例的详细描述，本发明的上述目的和优点将变得更加清楚，其中：

图1为说明根据本发明的优选实施例的抽取形状描述符的主要步骤的流程图；

图2a至2d为说明用于检测局部最大值的掩码的示例图；

图3a为说明二进制图像的示例图；

图3b为说明与黑-白图像成比例的距离映射的图；

图3c为说明轮廓图像的图；

图3d为说明稀疏后的轮廓图像的图；

图3e为说明直线近似结果的图；

图4为说明根据本发明的优选实施例的基于形状描述符的图像搜索方法的主要步骤的流程图；和

图5和6为说明为了评价根据本发明的图像搜索方法的性能、对用作MPEG-7标准的实验模型(XM)版本的实验图像的二进制图像尝试实验的结果的图。

下面将参照附图详细描述本发明的优选实施例。

根据本发明，定义了使用轮廓的形状描述符。通过从给定形状中抽取作为人类视觉基础的直线并简化所抽取的直线，获得基于轮廓的形状描述符。特别地，根据所述形状描述符抽取方法，可以通过抽取轮廓而不抽取边缘来简化该形状描述符。

图1为说明根据本发明的优选实施例的形状描述符抽取方法的主要步骤的流程图。参照图1，在根据本发明的形状描述符抽取方法中，首先，输入一图像(步骤102)，并且对输入的图像执行距离变换以获取距离映射(步骤104)。获取该距离映射所使用的距离变换采用表示对象内各点作为到背景的最短距离值的函数。接着，从该距离映射中抽取轮廓(步骤106)。距离映射中的局部最大值是轮廓的一点是公知的。获取距离映射所使用的距离变换是基于将对象内各点表示作为到背景的最短距离值的函数的。在一个优选实施例中，通过该距离变换将距离映射中的局部最大值确定为轮廓。为了从距离映射中获得局部最大值，在一个优选实施例中，可以采用在“线性特征值抽取和描述(Linear Feature Extraction and Description)”(R.Nevatia and K.R.Babu，Computer Graphics and Image Processing，Vol.13，pp.257-269，1980)中使用的、在此作为参考引用的边缘检测方法。图2a至2d说明用于检测局部最大值的掩码的示例。参照图2a至2d，将用于检测四个方向的局部最大值的掩码用来检测局部最大值。图2a是相应于0度方向的掩码。图2b是相应于45度方向的掩码。图2c是相应于90度方向的掩码。图2d是相应于135度方向的掩码。然后使用这些掩码执行卷积。结果，将相应于具有最大尺寸的方向的卷标记录在方向映射和幅度映射中。这样，基于从图3a所示的二进制图像通过距离变换获得的距离映射，获得局部最大值，从而抽取轮廓。

接下来，稀疏抽取的轮廓(步骤108)。稀疏可以通过比如将方向映射中相应的方向旋转90度后的方向上具有最大尺寸的像素留下，并移去余下的像素来执行。图3d示出稀疏后的轮廓图像的示例。

然后，通过连接所稀疏的轮廓内的各个像素抽取直线(步骤110)。即，将所稀疏的轮廓内的各个像素沿着一个方向连接，并通过生成线段的开始和终止点的列表抽取直线。在优选实施例中，使用了图2a至2d所示的四个方向的方向映射，并且将方向映射中具有相同值的像素连接，生成各个线段的开始和终止点的列表。

接着，通过所抽取的直线的直线组合，获取直线列表(步骤112)。即，改变获得的直线列表中各直线间的角度、距离以及长度的阈值，执行直线组合。直线组合一直重复，直到剩余的直线数量等于或少于预定数量为止。图3e示出直线近似的结果。将基于各直线的端点间的最大距离通过规格化直线列表获得的直线列表确定为形状描述符(步骤114)。即，根据本形状描述符抽取方法，抽取二进制图像的轮廓，并将所抽取的轮廓用作形状描述符。

根据本形状描述符抽取方法，抽取二进制图像的轮廓作为形状描述符，并且所抽取的形状描述符可以用于图像组合。另外，在本形状描述符抽取方法中，从二进制图像中抽取轮廓，并将所抽取的轮廓近似为直线。此外，为了有效地抽取直线，将二进制图像进行距离变换，并获得局部最大值以抽取轮廓。使用边缘抽取方法将抽取的轮廓近似为特定数量的直线。将近似的直线数量限制到特定数量，以便能够执行更快速匹配。

下面描述从存储通过形状描述符抽取方法索引的图像的数据库中、搜索与查询图像相似的图像的方法。将通过评价在包括使用参照图1所描述的形状描述符抽取方法抽取的形状描述符进行索引的图像的图像数据库之内、搜索与查询图像相似的图像的性能，描述形状描述符抽取方法的效果。

图4为说明根据本发明的图像搜索方法的主要步骤的流程图。首先，从所查询的图像的形状描述符中获取直线列表(步骤402)。接着，通过比较检测的图像的形状描述符的直线列表和查询的图像的形状描述符的直线列表，获取相异性(步骤404)。

在优选实施例中，估量形成轮廓的直线的端点间的距离，并将估量的距离的最小值的和确定为相异性的值。在一个相异性的特定函数中，N、D_1k和D_2k分别为

N＝min{N_Q，N_M}…………(1)

D_{1 k} =_{ij}^{\min} {| | Q_{S_{i}} - M_{S_{j}} | | + | | Q_{E_{i}} - M_{E_{j}} | |} \cdot \cdot \cdot \cdot \cdot \cdot (2)

D_{2 k} =_{ij}^{\min} {| | Q_{S_{i}} - M_{E_{j}} | | + | | Q_{E_{i}} - M_{S_{j}} | |} \cdot \cdot \cdot \cdot \cdot \cdot (3)

D = Σ_{k = 0}^{N - 1} \min {D_{1 k}, D_{2 k}} \cdot \cdot \cdot \cdot \cdot \cdot (4)

这里，Q表示将被检测的直线，M表示检测到的直线，S表示每一条直线的开始点，E表示每一条直线的终止点，N_Q为查询图像的形状描述符所具有的直线总数量，N_M为检测到的图像的形状描述符所具有的直线总数量。

参照公式4，通过公式2和3估量的直线间的距离的最小值的和被确定为两个描述符的相异性。即，公式4的计算值越小，认为两个对象越相似。另外，通过以旋转角的有规律的间隔执行估量，可能获得不随旋转变化的值。

现在，基于在步骤404中获得的相异性，搜索具有与查询的图像相似的形状特征的图像。在搜索的图像中将与查询的图像比较具有最小相异性的图像确定为最终搜索的图像。基于相异性的搜索方法称作匹配方法，并将最终搜索的图像称作相匹配的图像。

为了评价该方法的性能，对用作MPEG-7标准的实验模型(XM)版本的实验图像的二进制图像执行尝试实验。直线组合的各种不同阈值是通过实现判定的。直线组合仅在30度的角度下执行，而作为组合的直线，两条直线的终点间的距离判定为实际图像的宽度和长度中较小一个的5％，并且在直线组合判定为宽度和长度中较大一个的1％后忽略直线的长度。另外，每次重复执行时阈值增加10％，直到直线的数量等于或小于10。实验结果示于图5和6中。参照图5，当从根本没有分类的图像中搜索具有与查询图像相类似形状的图像时，根据本发明的图像搜索方法表现不出优越的搜索性能。这是因为在进行直线近似处理的过程中部分详细信息丢失了。另外，参照图6，当从相同种类的数据集合中搜索与查询图像具有相似形状的分类图像时，本图像搜索方法表现出相当好的搜索性能。因此，形状描述符抽取方法对于从相同种类的数据中抽取局部运动具有优越性。该方法对于抽取同类对象的局部运动具有优越性的原因在于，通过本发明的形状描述符抽取方法抽取的形状描述符具有有关于包括在图像中的形状的轮廓特征的信息。

在上述优选实施例中，针对通过参照图1描述的形状描述符抽取方法索引的图像，描述了搜索具有与查询图像相似形状的图像的方法。但是，在该图像搜索方法中，估量查询图像和搜索到的图像之间的相异性的步骤，也可以基于估量的相异性应用于将具有相似形状的图像分组。

也可以将该形状描述符抽取方法应用于基于标准的活动图像压缩技术，比如基于对象的压缩技术MPEG-4、MPEG-7和MPEG-21。另外，也可将其有效地应用于基于运动视频压缩技术的图像搜索技术。

此外，可以将根据本发明的形状描述符抽取方法和图像搜索方法写成在个人计算机或服务器上运行的程序。本领域的计算机程序员可以容易地得出构成该程序的程序代码和代码段。另外，可以将该程序存储在计算机可读的记录介质中。记录介质可以为磁记录介质、光记录介质或无线介质。

由于根据本发明的形状描述符抽取方法抽取的形状描述符具有有关包括在图像中的形状的轮廓特征的信息，所以能够有效地从相同种类的数据集合中抽取局部运动。此外，当从分类的图像中搜索与查询图像具有相似形状的图像时，本图像搜索方法在通过形状描述符抽取方法索引的图像数据库之内搜索具有与查询图像相似形状的图像，表现出相当好的搜索性能。

Claims

1.一种形状描述符抽取方法，包括：(a)通过抽取图像的轮廓确定基于抽取的轮廓的形状描述符。

2.一种形状描述符抽取方法，包括：

(a)从输入的图像中抽取轮廓；

(b)通过基于抽取的轮廓执行像素间的连线获得一直线列表；以及

(c)将通过规格化直线列表获得的规则的直线列表确定为形状描述符。

3.如权利要求2所述的方法，其中步骤(a)包括：

(a-1)通过对输入的图像执行距离变换获取一距离映射；以及

(a-2)从获得的距离映射中抽取轮廓。

4.如权利要求2所述的方法，其中步骤(b)包括：

(b-1)稀疏抽取的轮廓；以及

(b-2)通过连接稀疏的轮廓中的每一个像素抽取直线。

5.如权利要求2所述的方法，其中步骤(c)包括：

(c-1)得出所连接的开始和终止点的列表；

(c-2)通过径直组合抽取的直线获取第一直线列表；以及

(c-3)确定通过基于每一条直线的端点间的最大距离规格化第一直线列表所获得的第二直线列表。

6.如权利要求3所述的方法，其中距离变换基于表示对象内侧的每一点作为离开背景的最小距离值的函数。

7.如权利要求2所述的方法，其中步骤(a-2)包括：使用边缘检测方法获取到距离映射的局部最大值。

8.如权利要求7所述的方法，其中步骤(a-2)包括：

(a-2-1)使用局部最大值执行卷积检测四个方向的掩码以获取局部最大值。

9.如权利要求5所述的方法，在步骤(a-2-1)之后，进一步包括：

(a-2-2)将相应于具有最大尺寸的方向的卷标记录在方向映射和幅度映射中。

10.如权利要求2所述的方法，其中输入图像为二进制图像。

11.如权利要求4所述的方法，其中步骤(b-1)包括：

留下在把相应的方向旋转90度后的方向中的最大的像素，并移去余下的像素。

12.如权利要求8所述的方法，其中步骤(c-2)包括：

使用具有四个方向的方向映射，通过连接方向映射中具有同一卷标的像素，得出每一条线段的开始和终止点的列表。

13.如权利要求2所述的方法，其中步骤(c-2)包括：

通过改变获得的第一直线列表中的各直线间的角度、距离以及直线的长度的阈值，执行直线组合。

14.如权利要求13所述的方法，其中直线组合一直重复，直到剩余的直线数量等于或少于预定值为止。

15.一种图像搜索方法，其中搜索具有与查询图像相似形状的图像的方法包括：

(a)从查询图像的形状描述符中获取直线列表；

(b)通过比较检测的图像的形状描述符的直线列表和查询的图像的形状描述符的直线列表，获取相异性；以及

(c)基于获取的相异性检测与查询图像具有相似形状的图像。

16.如权利要求15所述的方法，其中步骤(b)包括：

(b-1)估量形成轮廓的直线的端点间的距离；以及

(b-2)将估量的距离的最小值的和确定为相异性的值。

17.如权利要求15所述的方法，其中步骤(b-1)包括：

当Q为要检测的直线、M为检测到的直线、S为任一条直线的开始点、E为任一条直线的终止点、N_Q为查询图像的形状描述符所具有的直线总数量、N_M为检测到的图像的形状描述符所具有的直线总数量、和N＝min{N_Q，N_M}时，根据

计算形成轮廓的直线的端点间的距离；以及

步骤(b-2)包括：

使用按定义的相异性特定函数估量相异性。

18.如权利要求17所述的方法，其中以旋转角的有规律的间隔根据步骤(b-1)和(b-2)执行相似性估量以获得不随旋转变化的值。

19.一种相异性估量方法，其中使用基于轮廓形成的形状描述符用于估量索引的图像间的相异性的方法包括：

(a)从查询图像的形状描述符中获取直线列表；以及

(b)比较检测的图像的形状描述符的直线列表和查询的图像的形状描述符的直线列表，并获取相异性。