CN1327569A

CN1327569A - 用于图象中纹理结构的旋转不变表示的系统和方法

Info

Publication number: CN1327569A
Application number: CN00802152A
Authority: CN
Inventors: S·克里斯纳马查里
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Qualcomm Inc
Priority date: 1999-08-04
Filing date: 2000-07-24
Publication date: 2001-12-19
Anticipated expiration: 2020-07-24
Also published as: CN1203451C; JP2003506802A; US6546155B1; EP1116182A1; WO2001011566A1; MY129917A; KR20010088842A

Abstract

这里公开了一个图象处理设备,该设备能接收具有旋转变化格式的第一纹理结构表示的图象文件并且将该纹理结构表示转换为旋转不变格式的改进的纹理结构表示。该图象处理设备包括一个图象处理器,用于分析第一纹理结构表示中的旋转变化纹理结构参数并且将其转换为1)在一选定象素周围的圆环上排列的旋转不变纹理结构参数;或2)沿延伸通过所选定象素的径向线排列的旋转不变纹理结构参数。在第二个实施例中,图象处理器可以使用径向线的角距来判定图象文件的旋转型式的角旋转。

Description

用于图象中纹理结构的旋转不变表示的系统和方法

本发明的技术领域

本发明一般地涉及图象处理系统，更具体地，涉及用于表示在旋转不变Markov随机场中的图象中的纹理结构的系统。

发明背景

数字电视(DTV)的出现、因特网的日益普及和消费者多媒体电子设备的引入、例如激光唱盘(CD)和数字视频盘(DVD)播放器，已经使大量的多媒体信息可供消费者使用。由于视频和动画图形内容变得容易得到并且读取它的产品也已进入了消费市场，因此搜索、索引和识别大量的多媒体数据变得更加有前景和重要。

基于内容的检索系统已经开发出来，该系统搜索和检索包含通常由用户指定的特定类型内容的图象文件，包括视频图象和静止图象。例如，用户可以使用基于内容的检索系统来检索包含圆形红色目标的图象文件。基于内容的检索系统经常与颜色和外形一起使用纹理结构，作为用于在图象文件中搜索的条件。

纹理结构是在图象中出现的一个重要的视觉特征。检索基于纹理结构检索图象的基于内容的检索系统的能力依赖于纹理结构是如何在图象文件中表示的。Markov随机场(MRF)模型是成功地用来将纹理结构表示到图象或图象中的区域的许多表示中的一个。一个MRF模型使用一些选定的MRF参数来表示图象中每一个区域的纹理结构特征。

例如，高斯Markov随机场(MRF)模型将图象中的一选定象素表示为出现在所选定象素周围的邻域中的少量象素的线性组合加上噪声项。但是高斯MRF参数不是旋转不变的。也就是，如果用MRF参数建造图象中纹理结构的模型，并且将图象旋转(例如顺时针旋转90度)，则所得图象中的MRF纹理结构参数将与原始的纹理结构参数不同。对于例如基于内容的图象搜索和检索的应用来说这是一个缺点，它不能使用原始图象中用户选定纹理结构的纹理结构参数来搜索旋转后的图象中相同的纹理结构。为了方便基于内容的图象检索，最好具有不随着图象旋转变化的纹理结构表示。

因此现有技术中需要用于实现基于内容的图象检索的改进的系统和方法。特别地，需要能以旋转不变的方式表示图象的纹理结构的系统和方法。

发明概述

为了解决上面讨论的现有技术的缺陷，本发明的一个首要目标是为在一个图象检索系统中使用而提供一个图象处理设备，该设备能够接收一个包括具有与其相联系的以旋转变化格式指定的第一纹理结构表示的选定象素的图象，并将第一纹理结构表示转换到以旋转不变格式指定的第二纹理结构表示。图象处理设备包括一个图象处理器，该图象处理器能够分析与第一纹理结构表示相联系的旋转变化纹理结构参数，并且从其中判定下列之一：1)围绕在至少一个环中关于所选定象素成圆形排列的第一多个旋转不变纹理结构参数，其中第一多个旋转不变纹理结构参数包括第二纹理结构表示；以及2)沿延伸穿过所选定象素的至少一条径向线排列的第二多个旋转不变纹理结构参数，其中第二多个旋转不变纹理结构参数包括第二纹理结构表示。

依据本发明的一个实施例，旋转变化纹理结构参数是Markov随机场参数。

依据本发明的另一个实施例，第一多个旋转不变纹理结构参数的数量等于至少一个环的数量。

依据本发明的又一个实施例，第二多个旋转不变纹理结构参数的数量等于至少一条径向线的数量。

依据本发明的又一个实施例，图象处理器能从第二多个旋转不变纹理结构参数中判定在图象与图象的旋转版本之间的旋转角度值。

依据本发明的又一个实施例，图象处理器可以以180/K度为增量检测旋转的角度值，其中K等于至少一条径向线的数量。

依据本发明的又一个实施例，图象处理器通过以180/K度为增量将第二多个旋转不变纹理结构参数旋转到多个旋转点来判定在图象与图象的旋转版本之间的旋转的角度值，其中K等于至少一条径向线的数量，在多个旋转点中的每一点将第二多个旋转不变纹理结构参数和与图象的旋转版本相联系的第三多个旋转不变纹理结构参数进行比较，以及，判定多个旋转点中的一选定旋转点，在该点在第二和第三多个旋转不变纹理结构参数之间出现最小差值。

上面已经相当广泛地概述了本发明的特征和技术优点，因此本领域普通技术人员可以更好地理解下面对本发明的详细说明。此后将描述本发明的其他特征和优点，这些都形成本发明的权利要求的主题。本领域普通技术人员应该理解，他们可以容易地将所公开的构思和特定实施例用作修改或设计用于实现本发明相同目的的其他结构的基础。本领域普通技术人员还将认识到，这种等效结构不偏离本发明在其最广泛形式上的精神和范围。

在进行详细描述前，阐明在本专利文本中通篇使用的特定词和短语的定义是有利的：术语“包括”“由…组成”及其派生词，意思是无限制的包含；术语“或，”是内含的，意思是和/或；短语“与…相联系”和“与其相联系”及其派生词，意思是包括、被包括在内、与…互连、包含、被包含在…内、连接到或与…连接、耦合到或与…耦合、可与…通信、与…合作、交错、并列、接近、结合到或与…结合、具有、具有…特性、等等；以及，术语“处理器”或“控制器”意思是控制至少一个操作的任何设备、系统或其部分，这样的一个设备可以以硬件、固件或软件或至少两者的一些组合来实现。应该注意的是，与任何特定控制器相联系的功能可以是中央统一管理的或分布式的，本地或远程均可。在这个专利文本中通篇提供了对某些词和短语的定义，本领域普通技术人员应该理解，即使不是大多数情况，在许多实例中，这样的定义可以运用到以前和将来对这样定义的词和短语的使用中。

附图简要说明

为了更完全地理解本发明及其优点，现在将结合附图做如下说明，其中相同的数字表示相同的对象，其中：

图1显示了依据本发明的一个实施例的典型图象检索系统；

图2显示了依据现有技术的一个实施例的典型旋转变化高斯Markov随机场模型；

图3A显示了依据本发明的第一实施例的典型旋转不变MRF模型；

图3B显示了依据本发明的第二实施例的典型旋转不变MRF模型；以及

图4是显示依据本发明的图象检索系统的全部纹理结构参数转换操作的流程图。

详细描述

下面所讨论的图1到图4和用来描述该专利文件中的本发明的原理的各种实施例仅仅是示例性的，不能以任何方式的解释来限制本发明的范围。本领域普通技术人员将会理解，本发明的原理可以应用到任何适当安排的图象处理系统。

图1显示了依据本发明的一个实施例的典型图象检索系统100。图象检索系统100包括图象处理系统110、外部数据库180、监视器185和用户设备190。图象处理系统110提供用于分析包含不是旋转不变格式的纹理结构参数的图象文件，例如高斯Markov随机场模型、并将它们转换为旋转不变格式的纹理结构参数的装置。

外部数据库180提供了用于根据需要检索数字化可视图象或其他供系统使用的信息的来源。这些数据库可以通过局域网(LAN)、广域网(WAN)、因特网和/或其它来源来访问，例如直接访问存储在外部设备例如磁带、磁盘、CD-ROM、DVD盘等上的图象文件。监视器185提供了用于所检索图象的可视显示的装置。

用户设备190表示一个或多个可以由图象检索系统100的用户操作以便为系统提供用户输入的外部设备。典型的外部用户输入设备包括计算机鼠标、键盘、光笔、游戏杆、触摸板和相关的触针、或其他可以选择地用来输入、选择和操作数据的其他设备，包括所检索的图象或旋转不变转换图象的全部或部分。用户设备190也可以包括输出设备，例如彩色打印机，它可以用来捕获特定的检索到的或修改的图象。

图象处理系统110包括图象处理器120、随机访问存储器(RAM)130、磁盘存储器140、用户输入/输出(I/O)卡150、视频卡160、I/O接口170以及处理器总线175。RAM130进一步包括MRF参数工作空间132和MRF参数修改控制器134。图象处理器120为图象处理系统110提供全面控制并执行所需的图象处理以产生旋转不变格式的纹理结构参数。

这包括分析不是旋转不变的纹理结构图象并且依据本发明的原理将其转换为旋转不变格式，处理数字化视频图象以便传输到监视器185或存储在磁盘存储器140中，以及控制图象处理系统的各种单元之间的数据传输。对图象处理器120的需求和性能在本领域中是公知的，不需要比本发明所需更详细的描述。

RAM130提供了用于临时存储图象处理系统110产生的数据的随机访问存储器，这不是由系统中的部件另外提供的。RAM130包括用于MRF参数工作空间132、MRF参数改变控制器134的存储器，以及图象处理器120和相关设备所需的其他存储器。MRF参数工作空间132表示RAM130中的一部分，其中，初始旋转变化图象文件和任何转换的旋转不变图象文件在转换处理期间临时存储在这里。MRF参数工作空间132提供用于定义图象区域和在不影响原始数据情况下从外部或内部提供的图象转换纹理结构参数、使得原始数据和图象可以按要求恢复的装置。

MRF参数改变控制器134表示RAM130的专用于存储由图象处理器120执行的依据本发明的原理执行纹理结构参数转换的应用程序的那一部分。MRF参数改变控制器134可以具体化为CD-ROM、计算机磁盘或其他存储介质上的一个程序，该程序可以加载到磁盘存储器140中的可拆卸磁盘端口或其他一些地方，例如外部数据库180中。

磁盘存储器140由一个或多个磁盘系统组成，包括一个用于永久存储程序或其他数据、包括所需图象数据和MRF参数改变控制器134的程序指令的可拆卸磁盘。基于系统的需求，可以配置磁盘存储器140来与一个或多个双向总线接口，用于将图象数据传输到外部数据库180以及系统的其它部分或从其获取数据。基于特定应用和图象处理器120的性能，可以配置磁盘存储器140来提供用于存储大量图象的能力。

用户I/O卡150提供了用于将用户设备190接口到图象检索处理系统100其余部分的装置。用户I/O卡150将从用户设备190接收到的数据转换为接口总线175的格式，用于传输到图象处理器120或传输到由图象处理器120随后访问的RAM130。用户I/O卡150也将数据传输给用户输出设备、例如打印机。视频卡160通过数据总线175提供在监视器185和图象处理系统110的其余部分之间的接口。

I/O接口170通过总线175提供在外部数据库180和图象检索系统100的其余部分之间的接口。如前面所讨论的，外部数据库180至少有一个用于与I/0接口170接口的双向总线。在图象处理系统110内部，I/O接口170将从外部数据库180接收到的数据传输到用于更加永久的存储的磁盘存储器140、传输到图象处理器120以及提供用于纹理结构参数转换和监视器显示目的的临时存储的RAM130。

图2显示了依据现有技术的一个实施例的典型高斯Markov随机场模型中的图象中的一选定象素。图2描述了象素块201，它包含图象中的在5×5象素矩阵中标记为“s”的位置上的象素202。依据高斯Markov随机场模型，所选定的象素202可以表示为阴影区域中的其余24个象素的线性组合。图2中其余象素块中的点表示MRF参数对应的象素位置。线性组合中的系数和噪声项的方差构成了与MRF表示相联系的参数。如果X_s是在位置“s”的象素202的值，R表示阴影相邻部分中的象素，那么：

X_{s} = \underset{rGR}{Σ} θ_{r} X_{r} + e_{s}

其中e_s是带有方差σ²的相关高斯噪声。

对应于在对角上相对的象素的系数必须相同。系数θ_r和噪声的方差σ²是与MRF表示相联系的纹理结构参数。θ系数的数目等于阴影相邻部分中的象素数目的一半，因为在对角上相对的系数是相等的。对于图象或图象中一给定区域，纹理结构参数的估计可以通过使用一个简单的最小平方类型估计来执行。估计技术在现有的文献中是已知的。

依据本发明的原理，图象处理器120接收前面与现有技术MRF模型一同描述的常规MRF纹理结构参数，并且以所修改(或转换)参数表示是旋转不变的方式来修改纹理结构参数。图象处理器120可以以两种完全不同的方式完成这个转换，如图3A和3B中所示。

图3A显示了依据本发明的第一实施例的在典型旋转不变Markov随机场模型中的图象中的一选定象素。图3B显示了依据本发明的第二实施例的在典型旋转不变Markov随机场模型中的图象中的一选定象素。

在图3A中显示的旋转不变表示中，图象处理器120得到了图3A中所示的不同半径的圆环310、320和330上的MRF参数。由于这些参数是在一个圆环上得到的，所以他们不随着图象的旋转而变化。为了得到圆环310上的纹理结构参数，图象处理器120得到了不同角度值上的纹理结构参数的值，然后将这些值相加。

但是，在圆环310上的点301、302、303、304等的纹理结构参数是未知的。仅仅在图2中所示的点的旋转变化参数是已知的。为了克服这个缺点，图象处理器120在与图2中的点相联系的纹理结构参数上使用双线性内插技术来估计图3A中的点的纹理结构参数。与此旋转不变表示相联系的纹理结构参数的数目等于所使用的不同半径值的数目。

图象处理器120使用相应的纹理结构参数的简单欧几里德距离(或L₁距离)来比较不同纹理结构。第一图象的旋转不变参数定义为Ф_1，i(i＝1，2，…，n)，第二个图象上的旋转不变纹理结构参数定义为Ф_2，i(i＝1，2，…，n)。

纹理结构不同点可以使用下面的等式计算：

Σ_{i = 1}^{n} | φ_{1, i} - φ_{2, i} | + | σ_{1}^{2} - σ_{2}^{2} |

在图3A中显示的纹理结构表示是旋转不变的，但是并没有指明两个纹理结构之间的旋转量。依据本发明的有利实施例的原理，图象处理器120可以产生也指明了旋转量的图象纹理结构的旋转不变表示。如图3B所示，图象处理器120产生在多条径向线360、370、380等中的一个或多个上的选定点351、352、353等的旋转不变MRF纹理结构参数。

为了得到给定的径向线上的纹理结构参数，图象处理器120得到沿径向线的不同点上的参数值并将它们相加。但是，如前所述，径向线上的点上的纹理结构参数是未知的。仅仅来自原始图象的图2中标记的点的旋转变化纹理结构参数是已知的。

如前所述，图象处理器120使用了双线性内插技术。图3B中与旋转不变MRF表示相联系的纹理结构参数的数量等于使用不同径向线的的数目。径向线越多，两个纹理结构图象之间的旋转角的估计越准确。例如，如果有K条线，那么可以检测到180/K度的倍数的旋转。

如前所述，图象处理器120使用简单欧几里德距离(L₁距离)比较不同纹理结构。但是径向线表示的计算复杂性比图3A的纹理结构表示的大。但是，径向线表示给出了两个纹理结构图象之间的旋转量。

第一个图象文件的纹理结构参数可以给定为β_1，j，第二个图象文件的纹理结构参数可以给定为β_2，j图象处理器120可以使用L₁距离来比较β_1，j和β_2，j，从而无需任何旋转来判定两个纹理结构图象之间的不同。为了测量旋转了k*180/K度的两个纹理结构图象之间的不同，图象处理器120将一个纹理结构参数集合位移了k，然后使用L₁距离将纹理结构参数集合与其他集合比较。由于事先不知道旋转量，对于所有可能的位移，旋转角是通过比较两个集合并选择产生最小距离测量值的一个来得到的。

不同测量由下面式子来给定：

\min_{j = 0, 1, 2 . . ., K - 1} Σ_{i = 0}^{K - 1} | β_{1, i} {- β}_{2, (i + j) % K} | + | σ_{1}^{2} - σ_{2}^{2} |

其中％指示模操作。

图4描绘了流程图400，该流程图显示了依据本发明的实施例的图象检索系统100的全部纹理结构参数转换操作。图象处理系统110可以接收一个具有常规(旋转变化)MRF纹理结构参数的原始图象文件或者可以接收一个原始图象文件，然后计算旋转变化MRF参数，如同对于现有技术MRF模型所描述的。图象处理系统110根据需要为了将来检索而将此文件传输到磁盘存储器140，并且为了由图象处理器120使用和修改而传输到MRF参数工作空间132。图象处理器120为了修改的目的检索与存储在MRF参数工作空间132中的原始图象文件相联系的纹理结构参数(处理步骤405)。

在MRF参数修改控制器134的控制下，图象处理器120分析通过用户I/O卡150接收到的用户输入以判定是否需要关于原始和最终纹理结构之间的旋转量的信息。如果图象处理器120判定纹理结构之间的旋转量不是用户需要的，则图3A的模型形成用于纹理结构旋转的基础。如果用户指明需要旋转量，则使用图3B的模型。如果当前没有用户选定的模型数据，图象处理器120可以使用由系统默认选择判定的这些模型之一(处理步骤410)。

图象处理器120使用所选定的或默认的旋转不变模型来将检索出的图象纹理结构参数转换为选定的旋转不变模型的形式(处理步骤415)。接着根据需要，转换的纹理结构参数被存储在MRF参数工作空间132的旋转不变图象文件中以供在进一步处理中使用，和/或传输到磁盘存储器140和/或外部数据库180(处理步骤420)。

尽管已经详细描述了本发明，本领域普通技术人员应该理解，这里在不偏离本发明广泛形式的精神和范围的情况下，他们可以进行各种改变、替换和变换。

Claims

1、一种图象处理设备(110)，能够接收一个具有与以与中央参考点相联系的旋转变化格式规定的第一纹理结构表示相联系的图象(200)，并将所述第一纹理结构表示转换为以旋转不变格式规定的第二纹理结构表示，所述图象处理设备(110)包括：

图象处理器(120)，能够分析与所述第一纹理结构表示相联系的旋转变化纹理结构参数，并从中判定一个：

围绕在至少一个环(310，320，330)中所述中央参考点成圆形排列的第一多个旋转不变纹理结构参数(301，302)，其中所述第一多个旋转不变纹理结构参数(301，302)包括所述第二纹理结构表示；以及

沿延伸穿过所述中央参考点的至少一个径向线(360，370，380)排列的第二多个旋转不变纹理结构参数(351，352)，其中所述第二多个旋转不变纹理结构参数(351，352)包括所述第二纹理结构表示。

2、在权利要求1中所述的图象处理设备(110)，其中所述旋转变化纹理结构参数是Markov随机场参数。

3、在权利要求1中所述的图象处理设备(110)，其中所述第一多个旋转不变纹理结构参数(301，302)的数量等于所述至少一个环(310，320，330)的数量。

4、在权利要求1中所述的图象处理设备(110)，其中所述第二多个旋转不变纹理结构参数(351，352)的数量等于所述至少一个径向线(360，370，380)的数量。

5、在权利要求1中所述的图象处理设备(110)，其中所述图象处理器(120)能够从所述第二多个旋转不变纹理结构参数(351，352)判定出在所述图象与所述图象的旋转版本之间的旋转角度量。

6、在权利要求5中所述的图象处理设备(110)，其中所述图象处理器(120)能够以180/K度为增量检测所述旋转角度量，其中K为所述至少一个径向线的数量。

7、在权利要求5中所述的图象处理设备(110)，其中，所述图象处理器(120)通过以180/K度为增量将第二多个旋转不变纹理结构参数(351，352)旋转到多个旋转点来判定在图象与图象的旋转版本之间的旋转的角度值，其中K为所述至少一条径向线的数量，在所述多个旋转点的每一点将所述第二多个旋转不变纹理结构参数(351，352)和与所述图象的所述旋转版本相联系的第三多个旋转不变纹理结构参数进行比较，以及，判定所述多个旋转点中的一选定旋转点，在该点在所述第二多个和所述第三多个旋转不变纹理结构参数之间出现最小差值。

8、一种图象检索系统(100)，包括：

图象处理设备(110)，能够接收一个具有与以与中央参考点相联系的旋转变化格式规定的第一纹理结构表示相联系的图象(200)，并将所述第一纹理结构表示转换为以旋转不变格式规定的第二纹理结构表示，所述图象处理设备(110)包括：

沿延伸穿过所述中央参考点的至少一个径向线(360，370，380)排列的第二多个旋转不变纹理结构参数(351，352)，其中所述第二多个旋转不变纹理结构参数包括所述第二纹理结构表示；

用于显示所述图象的显示监视器(185)；以及

用于接收用户命令的用户输入设备(190)，能够选择所述图象并使所述图象处理器(120)判定所述第一和第二多个旋转不变纹理结构参数中的所述一个。

9、为了在图象检索系统(100)中使用，将图象(200)的纹理结构表示从与中央参考点相联系的旋转变化纹理结构表示转换为旋转不变纹理结构表示的一种方法，所述方法包括步骤：

分析与旋转变化纹理结构表示相联系的旋转变化纹理结构参数并从中判定一个：

围绕在至少一个环(310，320，330)中所述中央参考点成圆形排列的第一多个旋转不变纹理结构参数(301，302)，其中所述第一多个旋转不变纹理结构参数(301，302)包括旋转不变纹理结构表示；以及

沿穿过所述中央参考点的至少一条径向线(360，370，380)排列的第二多个旋转不变纹理结构参数(351，352)，其中第二多个旋转不变纹理结构参数(351，352)包括旋转不变纹理结构表示。

10、一种存储计算机可执行处理步骤的计算机可读存储介质(140)，所述步骤用于将图象(200)的纹理结构表示从与中央参考点相联系的旋转变化纹理结构表示转换为旋转不变纹理结构表示，计算机可执行处理步骤包括：

围绕在至少一个环(310，320，330)中所述中央参考点成圆形排列的第一多个旋转不变纹理结构参数(301，302)，其中所述第一多个旋转不变纹理结构参数(301，302)包括所述旋转不变纹理结构表示；以及

沿穿过所述中央参考点的至少一条径向线(360，370，380)排列的第二多个旋转不变纹理结构参数(351，352)，其中所述第二多个旋转不变纹理结构参数(351，352)包括所述旋转不变纹理结构表示。