CN1714574A - 用于检索具有图像帧组视频序列的非线性量化和相似性匹配方法 - Google Patents

Abstract

本申请公开了一种用于构造具有表示多个视频序列的数字视频数据信息的数据库的方法。该方法包含步骤：a)把每个视频序列的每个图像帧划分成为L个子图像；b)为每个图像帧生成L个边缘直方图；c)归一化这些边缘直方图格，以由此产生M个归一化边缘直方图格；d)基于这些归一化边缘直方图格，计算M个代表性边缘直方图格，以便产生L个代表性边缘直方图；以及e)非线性量化这些代表性边缘直方图格，以为每个代表性边缘直方图生成要存储在数据库中的M个量化索引值。

Description

用于检索具有图像帧组视频序列的非线性量化 和相似性匹配方法

技术领域

这个发明涉及一种用于检索图像数据的方法；而且尤其涉及一种用于为包含图像帧组的视频序列构造具有位减少了的边缘直方图描述符的位表示，以及一种用于通过使用从所述边缘直方图描述符的编码表示中有效提取的信息来检索视频序列的方法。

背景技术

联合图像专家组(JPEG)是用于静止图像的国际标准，而运动图像专家组-1(MPEG-1)、2用于运动画面。对于压缩的图像信息，为诸如提取关键帧、图像搜索、浏览等应用提取每个图像的特征信息。

为了提取特征信息，广泛地使用了亮度或者颜色直方图。亮度和颜色直方图分别表示在图像中的亮度和颜色(红、绿或者蓝)的相对频率。特别是，近来已经提出了各种直方图比较方法，用于搜索数字存储的静止图像或者数字视频数据。因为直方图获得在图像搜索和镜头(shot)边界检测中使用，所以人们相信要改善传统的直方图。也就是说，需要采用可以更有效地表示图像内容的、诸如边缘直方图之类的直方图描述符。此外应当压缩该描述符的二进制表示，以及应当降低相似性匹配的计算复杂性。

在名称为“Method and system for detecting scenes and summarizing videosequences”的美国专利5,805,733中公开了一种使用颜色直方图和边缘地图用于镜头边界检测的方法。虽然该方法在提取考虑到人类视觉系统的颜色信息方面是有效的，但是它不包含亮度信息的提取。

在1991年International Journal of Computer Vision，Vol.7-1、第11-32页由M.J.Swain等人撰写的文章“Color Indexing”中公开了一种接收颜色信息然后通过使用直方图交集技术测量图像相似性执行索引的方法。然而，这个方法没有使用亮度和边缘信息，而且因此没有足够地保证准确度。此外，因为在该传统方法中使用一种离散量化技术产生直方图，所以需要相对大量的直方图格(bin)以获得均等的性能。因此，导致存储和相似性测量的低效率。此外，因为传统上依据像素执行特征提取，所以存在特征信息受限制生成的问题。

同时，因为近来直方图被广泛地用于图像搜索等，所以需要存储直方图信息的有效方法。换句话说，依据存储直方图的传统方式，通过使用线性量化进行归一化来将直方图格值存储在固定尺寸的存储区域中。因此，随着位数量的增加，这种线性量化来进行直方图存储的方法会导致问题。

国际标准化组织/国际电子技术委员会联合技术委员会1(ISO/IECJTC1)建立了与MPEG-7有关的、基于内容的多媒体检索技术的国际标准。基于内容的多媒体包含诸如数字视频数据的运动画面和静止图像。数字视频数据，即视频序列包含至少一个运动对象的多个图像帧。为了检索视频序列，从图像帧中提取运动对象的运动描述符，其中该运动描述符包含图像帧中的运动对象的运动信息。在提取了运动描述符之后，计算在查询视频序列和存储在数据库中的视频序列的运动描述符之间的相似性。最终，依据计算的相似性，检索期望的视频序列。

通常，在基于内容的多媒体检索技术中，运动轨道描述符被广泛地用作运动描述符。运动轨道描述符包含视频序列图像帧中的运动对象的运动轨道信息，而且这些运动对象的运动轨道通过使用基于对象位置和运动对象速度的参数方程获得。在使用运动轨道描述符的传统方法中，很难表示“纹理视频序列”，该序列具有大量的运动对象，诸如包含爆竹或者瀑布图像的视频数据。也就是说，在纹理视频序列中，有大量的运动对象要通过使用运动轨道描述符来表示。因此，存在有用于为大量运动对象提取大量运动轨道描述符的大计算负荷。

因此，为了有效地检索包含纹理视频序列的数字视频数据，已经要求有新的数字视频数据检索方法和增强的描述方案。

发明内容

本发明的一个目的是提供一种构造数据库的方法，该数据库具有存储在其中的、用减少的位表示多个视频序列的图像信息。

本发明的另一个目的是提供一种方法，用于响应于查询视频序列、基于数据库、用高检索速度和准确度检索相应的视频序列。

本发明的还有一个目的是提供一种方法，用于响应于查询视频序列、基于数据库、用高检索速度和准确度检索包含纹理视频的相应视频序列。

依据本发明的一个方面，提供了一种用于构造具有表示多个视频序列的数字视频数据信息的数据库的方法，其中每个视频序列具有该数字视频数据的一组图像帧，该方法包含步骤：a)把每个视频序列的每个图像帧划分成L个子图像，其中每个子图像被进一步划分成为S×T个图像块，L、S和T是正整数；b)向每个图像块分配5个参考边缘中的一个，以由此为每个图像帧产生L个边缘直方图，其中所述边缘直方图包含M个边缘直方图格，而且所述参考边缘包含4个定向边缘和一个不定向边缘；c)通过S×T归一化包含在每个边缘直方图中的边缘直方图格，以由此为每个图像帧产生M个归一化的边缘直方图格；

d)计算每个视频序列的M个代表性边缘直方图格，以便基于每个图像帧的归一化边缘直方图格，产生每个视频序列的L个代表性边缘直方图；以及e)非线性量化这些代表性边缘直方图格，以产生M个量化索引值，作为要存储在数据库中、用于每个代表性边缘直方图的第二图像描述符。

依据本发明的另一个方面，提供了一种用于基于数据库、响应于查询视频序列而检索具有数字视频数据的一组图像帧的相应视频序列的方法，该方法包含步骤：a)计算该查询视频序列的L个代表性边缘直方图，作为用于该查询视频序列的图像描述符，其中每个代表性边缘直方图表示该查询视频序列中的图像帧的子图像中的5个参考边缘的代表性空间分布，其中该参考边缘包含4个定向边缘和一个不定向边缘；b)基于数字视频数据信息从数据库中提取用于视频序列的多个图像描述符，其中用于每个视频序列的每个图像描述符包含用于所述每个视频序列的L个代表性边缘直方图格；c)将用于查询视频序列的图像描述符和用于每个视频序列的所述每个图像描述符进行比较，以产生比较结果；以及d)基于比较结果，检索类似于查询视频序列的至少一个目标视频序列。

依据本发明的再另一个方面，提供了一种用于提取视频序列的图像描述符的方法，其中每个视频序列具有该数字视频数据的多个图像帧，该方法包含步骤：a)选择用于目标视频序列的一个图像帧作为目标图象帧；b)计算L×5个归一化边缘直方图格，以产生目标图像帧的L个边缘直方图，其中每个边缘直方图具有5个归一化边缘直方图格，且表示子图像中的5个参考边缘的空间分布，而且L是正整数，其中参考边缘包含4个定向边缘和一个不定向边缘；c)选择下一图像帧作为目标图像帧；d)重复步骤b)和c)，直到计算了所有图像帧的L个边缘直方图为止；e)基于每个图像帧的L个边缘直方图，为视频序列计算具有L×5个归一化边缘直方图格的代表性边缘直方图；f)非线性量化代表性边缘直方图的L×5个归一化边缘直方图格，以产生用于数字视频数据的L×5个量化索引值，作为视频序列的图像描述符；以及g)向数据库存储这L×5个量化索引值。

附图说明

通过下面参考附图对实施例的描述，本发明的其它目的和方面将变得明显，其中：

图1A为说明依据本发明的一个实施例、用于构造具有相应视频序列的多个图像描述符的数据库的并行处理过程的框图；

图1B为说明依据本发明的另一个实施例、用于构造具有相应视频序列的多个图像描述符的数据库的串行处理过程的流程图；

图1C为说明依据本发明的另一个实施例、用于构造具有相应视频序列的多个图像描述符的数据库的串行处理过程的流程图；

图2示出了描述具有16个由图像描述符表示的子图像的图像的示意图；

图3A到3E说明了依据本发明，被用于边缘确定处理过程的5种类型边缘；

图4为示意图，表明一个图像块被划分成为4个子块，其中每个子块都被分配了滤波系数；

图5A到5E示出了图像块，其中每个图像块的子块都具有用于5个边缘的相应滤波系数；

图6为示意图，说明了对应于每个图像帧的80个边缘直方图格的队列；以及

图7为示出了依据本发明、用于响应于查询视频序列的输入而检索期望的视频序列的处理过程的框图。

具体实施方式

在下文中，将参考附图对依据本发明的优选实施例进行详细描述。

参见图1A，其中示出了依据本发明的一个实施例、用于构造用于相应视频序列的多个图像描述符的并行处理过程。

如图所示，目标视频序列包含多个图像帧而且同时产生每个图像帧的边缘直方图。

在处理块S101处，向处理块S102输入k个图像帧。在处理块S102处，每个图像帧都被分成N×N，例如4×4个子图像，其中N是正整数。用于每个图像帧的子图像然后连接到处理块S103，用于产生该视频序列的每个图像帧的边缘直方图。也就是说，通过使用多个边缘获得用于每个子图像的边缘直方图，然后，用于每个图像帧的80个归一化局部边缘直方图格被连接到处理块S104。

在处理块S104处，通过基于在视频序列中每个图像帧的80个归一化边缘直方图格计算80个代表性边缘直方图格，来计算目标视频序列的代表性边缘直方图，作为第一图像描述符。

每个代表性边缘直方图格可以是每个图像帧的相应归一化边缘直方图格的平均值或者中间值(median value)中的一个。此外，通过在相应归一化边缘直方图格当中选择交集值或者关键值，每个代表性边缘直方图格可以是每个图像帧的相应归一化边缘直方图格中的一个。

同时，在计算了代表性边缘直方图之后，其它表示对象变化的统计值也可以和这些代表性边缘直方图一起，用来检索期望的视频序列。其它的统计值包含表示在两个或更多图像帧之间的差别的差异。在处理块S105处，非线性量化代表性边缘直方图，以由此产生相应的第二图像描述符，它是例如一组量化索引值。

此后，把用于目标视频序列的第二图像描述符输入和存储到数据库中S106。上述处理过程通过使用要被存储在数据库中的多个视频序列执行。

参见图1B，其示出了说明依据本发明、用于构造具有用于相应视频序列的多个图像描述符的数据库的串行处理过程的流程图，其中每个视频序列都包含数字视频数据的一组图像帧。

如先前所述，视频序列包含多个图像帧，而且每个图像帧的边缘直方图被顺序产生，以便获得代表性边缘直方图。

在步骤S110处，视频序列中的一个图像帧被选为目标图像帧。在步骤S111处，该选定图像帧都被分成N×N，例如4×4个子图像，其中N是正整数。在步骤S112处，从子图像中提取边缘直方图。在步骤S113处，确定是否生成了所有子图像的边缘直方图。如果没有生成所有子图像的边缘直方图，则在步骤S114处选择下一个子图像，而且在步骤112处生成该下一个子图像的边缘直方图。否则，如果生成了所有子图像的边缘直方图，则整数k增一，用于在步骤S115处选择该视频序列中的下一个图像帧。在增加了k之后，确定是否选择了该视频序列的所有图像帧。如果没有选择该视频序列的所有图像帧，则下一个图像帧被选为要被处理的新选定目标帧，并且重复上述步骤S110到S115。也就是说，通过使用包含在每个子图像中的多个边缘获得用于每个子图像的边缘直方图，然后获得用于每个图像帧的80个归一化局部边缘直方图格。

在产生了该视频序列的所有图像帧的所有边缘直方图之后，在步骤117处，通过基于每个图像帧的80个归一化边缘直方图格计算80个代表性边缘直方图格，来产生代表性边缘直方图，作为第一图像描述符。每个代表性边缘直方图格可以是所有图像帧的相应归一化局部边缘直方图格的平均值或者中间值中的一个。此外，通过在归一化边缘直方图格当中选择交集值或者关键值，每个代表性边缘直方图格可以是所有图像帧的相应归一化局部边缘直方图格中的一个。

在步骤S118处，非线性量化代表性边缘直方图，以由此产生相应的第二图像描述符，它是例如一组量化索引值。此后，把用于视频序列的第二图像描述符输入和存储到数据库中。重复上述处理过程，直到要被存储到数据库中的所有视频序列都被处理了为止。

图1C为说明依据本发明的另一个优选实施例、用于构造具有用于相应视频序列的多个图像描述符的数据库的串行处理过程的流程图，其中所述视频序列具有数字视频数据的图像帧。参见图1C，除步骤119之外，用于构造数据库的串行处理过程与图1B中的流程图相同。因此，为了方便起见，省略步骤S110到S117的详细说明。

在步骤S117处产生代表性边缘直方图之后，在步骤S119处计算表示在两个或更多图像帧之间的差别的变化值。可以通过计算数字视频数据中的每个图像帧的边缘直方图的变化获得该变化值。表示对象变化的变化值也可以用于检索期望的视频序列。该变换值可以是方差或者标准偏差。该方差可以与代表性边缘直方图一起用于详细地检索数字视频数据。

参见图2到6，其中示出了说明用于获得参考图1描述的第一图像描述符的处理过程的示意图。

如图2所示，为了获得视频序列中的每个图像帧的相应边缘直方图，数字为200的输入图像帧被分成4×4个不相重叠的子图像，以由此形成16个矩形形状的子图像211到226。每个子图像都包含多个像素。

为了提取该边缘直方图，每个子图像然后被分成M×T个不相重叠的正方形图像块，其中该图像块的尺寸取决于图像的尺寸。每个图像块都在边缘确定处理过程中使用，在该处理过程中通过使用一个边缘来描述图像块。

依据本发明的一个实施例，如图3A到3E所示，边缘确定处理过程具有五个边缘，为一个图像块选择其中的一个边缘。这些边缘可以包含各种类型的定向边缘，优选为垂直、水平、45度和135度边缘301到307；和包含至少一个没有指定方向的边缘的不定向边缘309。

为了产生用于子图像的边缘直方图，需要从图像块中检测边缘特征。也就是说，执行边缘确定处理过程以便确定可以向图像块分配哪个边缘。可以使用一种在空间域中应用数字滤波器的方法来执行该提取。

在边缘确定处理过程中，如图4所示，图像块被划分成为4个子块。也就是说，如同所示，参考数字400表示图像块，而参考数字411、413、415和417分别表示子块。子块还被标记为用于图像块400的0、1、2和3，其中向每个子块分配相应的滤波系数，以可以获得一组边缘量值。

依据本发明的一个实施例，每个图像块400被划分成为2×2个子块，其中每个子块都被标记为0、1、2或者3。

对于每个图像块，通过使用下列等式获得对应于五种边缘类型的一组五个边缘量值：

$m_v(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_v\left(k\right)|$ 等式1

$m_h(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_h\left(k\right)|$ 等式2

$m_{d-45}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{d-45}\left(k\right)|$ 等式3

$m_{d-135}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{d-135}\left(k\right)|$ 等式4

$m_{\mathrm{nd}}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{\mathrm{nd}}\left(k\right)|$ 等式5

其中m_v(i，j)、m_h(i，j)、m_d-45(i，j)、m_d-135(i，j)和m_nd(i，j)分别表示用于第(i，j)个图像块的垂直、水平、45度、135度和不定向边缘量值；a_k(i，j)表示用于在该第(i，j)个图像块中标记为k的子块的平均灰度级，以及f_v(k)、f_h(k)、f_d-45(k)、f_d-135(k)和f_nd(k)分别表示用于垂直、水平、45度、135度和不定向边缘的滤波系数，其中k＝0、1、2和3，每个都表示标记每个子块的数字。

参见图5A到5E，显示了用于每个边缘的滤波系数。

如同所示，参考数字501、503、505、507和509分别显示了用于垂直、水平、45度、135度和不定向边缘的相应滤波系数。每个图像块都可以通过使用在五个边缘量值当中的选定一个来表示，其中为相应的边缘计算每个量值。

为了确定对应于图像块的边缘，对通过使用上述等式获得的五个边缘量值进行相互比较。依据这个比较，图像块由一个在它们当中具有最大边缘量值的边缘表示，其中该最大边缘量值还应当大于预定阈值。如果最大边缘量值小于预定阈值，则确定该图像块不包含边缘。

当作为边缘量值比较的结果确定用于图像块的选定边缘时，将用于该子图像的相应边缘直方图格增1。存在有五种类型的边缘直方图格，即，垂直、水平、45度、135度和不定向边缘直方图格。这五个边缘直方图格是用于表示该边缘直方图的部件。为包含在子图像中的所有图像块执行相应边缘的检测，并且然后将对应于每个检测到的边缘的边缘直方图格增1，以由此产生用于该子图像的边缘直方图，即所谓的局部边缘直方图。为所有16个子图像执行边缘的检测和边缘直方图的生成。

局部边缘直方图表示子图像中5种类型边缘的分布，即用于子图像的边缘直方图。因为子图像的数目固定为16，而且每个子图像都被分配了5个边缘直方图格，因此需要80个边缘直方图格来为所有16个子图像生成相应的局部边缘直方图。也就是说，如下面表格1所示定义BinCounts(格计数)的每个格的语义：

表格1

边缘直方图格	语义
		BinCounts[0]	子图像(0，0)中的垂直边缘

BinCounts[1]	子图像(0，0)中的水平边缘
		BinCounts[2]	子图像(0，0)中的45度边缘
BinCounts[3]	子图像(0，0)中的135度边缘
		BinCounts[4]	子图像(0，0)中的非定向边缘
BinCounts[5]	子图像(0，1)中的垂直边缘
		:	:
BinCounts[74]	子图像(3，2)中的非定向边缘
		BinCounts[75]	子图像(3，3)中的垂直边缘
BinCounts[76]	子图像(3，3)中的水平边缘
		BinCounts[77]	子图像(3，3)中的45度边缘
BinCounts[78]	子图像(3，3)中的135度边缘
		BinCounts[79]	子图像(3，3)中的非定向边缘

其中BinCount[0]、BinCount[1]...BinCount[79]表示用于边缘直方图描述符的编码位。

参见图6，其中示出了对应于视频序列中的每个图像帧的80个边缘直方图格的示例队列。

例如，用于在图2所示的图像200的(0，0)处的子图像211的边缘直方图包含第一图像帧的垂直、水平、45度、135度和不定向边缘直方图格600、601、602、603和604(其如图6所示被称为BIN COUNT[1.0]、BIN COUNT[1.1]、BIN COUNT[1.3](未示出)和BIN COUNT[1.4](未示出))。同样，用于在图2中(0，1)处的子图像212的局部边缘直方图包含在与用于子图像211的那些格相同的序列中的5个边缘直方图格605、606、607、608和609(其也被称为BIN COUNT[1.5]、BIN COUNT[1.6]、BIN COUNT[1.7]和BIN COUNT[1.9](未示出))。因此，需要总共80个边缘直方图格来为所有16个子图像产生相应的16个边缘直方图，其中通过将5个边缘直方图格乘以16个子图像来计算总共80个格。

为了获得视频序列的每个图像帧的边缘直方图，通过将每个格除以包含在子图像中的图像块总数，来归一化子图像的局部边缘直方图中的每个边缘直方图格。由此，用于该局部边缘直方图的每个边缘直方图格都具有范围从0到1的格值。

在计算了该数字视频数据中的每个图像帧的所有边缘直方图之后，通过基于该视频序列中的图像帧的80个归一化局部边缘直方图格计算80个代表性边缘直方图格，来计算该视频序列的代表性边缘直方图，作为第一图像描述符。

每个代表性边缘直方图格可以是所有图像帧中的相应归一化边缘直方图格的平均值或者中间值中的一个。此外，通过在位于相同位置的局部边缘直方图格当中选择交集值或者关键值，每个代表性边缘直方图格可以是所有图像帧的相应归一化边缘直方图格中的一个。

例如，如果平均值用于计算代表性边缘直方图，则代表性边缘直方图如下所示进行计算。参见图6，每个图像帧位于相同位置的相应边缘直方图格被相加起来，并且除以该视频序列中的帧数目，以产生代表性边缘直方图格。例如，相应的边缘直方图格BIN COUNT[k.0]，BIN COUNT[k-1，0]，...BINCOUNT[1.0]被相加起来，并且除以帧数目，以产生代表性边缘直方图格BINCOUNT[0]。所有其它边缘直方图格也被相加在一起，并且除以该数字视频数据中的帧数目，以产生诸如BIN COUNT[0]、BIN COUNT[1]...BIN COUNT[79]的代表性边缘直方图格。在计算了所有代表性边缘直方图格之后，如上所述，该视频序列的代表性边缘直方图被存储为视频序列的第一图像描述符。

然后，该数字视频数据中的代表性边缘直方图的归一化格值作为代表性直方图格连接到图1A中所示的处理块S105。在处理块S105处，通过使用多个量化表非线性量化该代表性直方图。

也就是说，为了获得第二图像描述符，量化该归一化格值以获得它的二进制表示。应当为该代表性边缘直方图的80个归一化格值执行量化。在这种情况下，非线性量化该归一化格值，以便可以最小化用于二进制表示的整体位数。为要存储在数据库中的所有视频序列执行上述处理过程。

结果，获得一组量化索引值作为第二图像描述符。依据本发明的一个实施例，使用例如利用Lloyd-Max(劳埃德-麦克斯)算法设计的非线性量化器执行该非线性量化。

为了执行该量化，在其中使用了用于垂直边缘、水平边缘、45度边缘、135度边缘和不定向边缘直方图格中的每一个的五个非线性量化表，它们可以表示为下面列出的表2到6：

表格2：用于垂直边缘直方图格的量化表

索引(3位/格)	范围	代表值
			0	0.0000000～0.0343910	0.010867
1	0.0343910～0.0787205	0.057915
			2	0.0787205～0.1221875	0.099526
3	0.1221875～0.1702110	0.144849
			4	0.1702110～0.2280385	0.195573
5	0.2280385～0.3092675	0.260504
			6	0.3092675～0.4440795	0.358031
7	0.4440795～1.0000000	0.530128

表格3：用于水平边缘直方图格的量化表

索引(3位/格)	范围	代表值
			0	0.0000000～0.0411000	0.012266
1	0.0411000～0.0979065	0.069934
			2	0.0979065～0.1540930	0.125879
3	0.1540930～0.2128515	0.182307
			4	0.2128515～0.2789795	0.243396
5	0.2789795～0.3631455	0.314563
			6	0.3631455～0.4880235	0.411728
7	0.4880235～1.0000000	0.564319

表格4：用于45度边缘直方图格的量化表

索引(3位/格)	范围	代表值
			0	0.0000000～0.0150225	0.004193
1	0.0150255～0.0363560	0.025852
			2	0.0363560～0.0576895	0.046860
3	0.0576895～0.0809025	0.068519
			4	0.0809025～0.1083880	0.093286

5	0.1083880～0.1424975	0.123490
			6	0.1424975～0.1952325	0.161505
7	0.1952325～1.0000000	0.228960

表格5：用于135度边缘直方图格的量化表

索引(3位/格)	范围	代表值
			0	0.0000000～0.0150490	0.004174
1	0.0150490～0.0360780	0.025924
			2	0.0360780～0.0566975	0.046232
3	0.0566975～0.0784090	0.067163
			4	0.0784090～0.1025230	0.089655
5	0.1025230～0.1336475	0.115391
			6	0.1336475～0.1848245	0.151904
7	0.1848245～1.0000000	0.217745

表格6：用于不定向边缘直方图格的量化表

索引(3位/格)	范围	代表值
			0	0.0000000～0.0292225	0.006778
1	0.0292225～0.0801585	0.051667
			2	0.0801585～0.1374535	0.108650
3	0.1374535～0.1952415	0.166257
			4	0.1952415～0.2549585	0.224226
5	0.2549585～0.3210330	0.285691
			6	0.3210330～0.4036735	0.356375
7	0.4036735～1.0000000	0.450972

其中依据本发明，每个格的优选位数固定为3，以便在上述量化表中具有8个量化级别。第二图像描述符然后被存储在数据库S106中，而且将响应于查询图像的输入而被检索。

图7为说明依据本发明的优选实施例、 用于响应于查询视频序列的输入而检索期望的视频序列的方法的图。

如果接收到查询视频序列，则以与图1A所示的处理块S101和S103相同的方式处理该查询视频序列。也就是说，通过使用上述相同的方式获得用于该查询视频序列的每个图像帧的边缘直方图，而且这些边缘直方图包含用于该查询视频序列的归一化边缘直方图格。

此后，基于归一化边缘直方图格，产生该视频序列中每个图像帧的局部边缘直方图、该视频序列的代表性边缘直方图、用于该查询视频序列的全局边缘直方图和半全局直方图，作为图像描述符。全局边缘直方图表示用于整个图像空间的边缘分布。将在下文中更详细地描述全局边缘直方图和半全局直方图。

另一方面，参见图7，其中示出了一种依据本发明的优选实施例，用于通过使用多个非线性逆量化表、响应于查询视频序列的输入而检索期望的数字视频数据的方法，其中所述非线性逆表格可以是如上所述的表格2、3、4、5和6。

当输入查询视频序列时，在处理块S701处执行与在处理块S101中相同的处理过程，即图像划分处理过程。

在处理块S702处，执行与在处理块S103中相同的处理过程，即执行每个图像帧的边缘直方图生成。

在处理块S703处，依据该视频序列中每个图像帧的边缘直方图生成该视频序列的代表性边缘直方图。

在计算了该视频序列的代表性边缘直方图之后，执行与图1A中的处理块S105相同的非线性量化处理过程。

为了实现高的检索性能，可以在代表性边缘直方图的非线性逆量化处理过程S704之后，基于在处理块S703处生成的代表性边缘直方图格，进一步生成用于该查询视频序列的全局边缘直方图和半全局边缘直方图。

对于数据匹配处理过程，顺序地从预先建立的数据库S107中检索用于每个视频序列的多个第二图像描述符。对于存储的目标视频序列，检索出一组量化索引值，并且把它们耦合到非线性逆量化表格S704。通过非线性逆量化表格的使用，量化索引值然后被转换成为用于检索的视频序列的归一化边缘直方图格。

在处理块S705处，对查询视频序列和检索的视频序列的代表性边缘直方图进行比较，以选择期望的视频序列。

为了精密地匹配检索的视频序列和查询视频序列，可以使用全局边缘直方图和半全局边缘直方图。例如，通过使用全局边缘直方图和半全局边缘直方图说明数据匹配处理过程块S705。

在提取用于该检索视频序列的视频序列代表性边缘直方图、全局边缘直方图和半全局边缘直方图中使用归一化的边缘直方图格。也就是说，为了实现高的检索性能，在数据匹配处理过程中，使用具有归一化代表性边缘直方图格的代表性边缘直方图、全局边缘直方图和半全局边缘直方图，作为用于检索的视频序列的图像描述符。

由本发明的相同受让人公共拥有、于2001年10月18日提出、名称为“NON-LINEAR QUANTIZATION AND SIMILARITY MATCHINGMETHOD FOR RETRIEVING IMAGE DATA”的美国专利申请序列号09/978,668中详细地描述了全局边缘直方图和半全局边缘直方图的生成，它的公开内容通过引用合并在此。

在数据匹配处理过程S705中，通过计算在查询视频序列A和目标视频序列B的代表性、半全局和全局边缘直方图之间的距离，如下所示确定在两个视频之间的相似性：

$\mathrm{Dis}\tan \mathrm{ce}(A,B)=\underset{i=0}{\overset{79}{\mathrm{\Σ}}}|\mathrm{Local}\_A[i]-\mathrm{Local}\_B[i]+5\×\underset{i=0}{\overset{4}{\mathrm{\Σ}}}|\mathrm{Global}\_A\left[i\right]-\mathrm{Global}\_B\left[i\right]+\underset{i=0}{\overset{64}{\mathrm{\Σ}}}\mathrm{Semi}\_\mathrm{Global}\_A\left[i\right]-\mathrm{Semi}\_\mathrm{Global}\_B\left[i\right]$

等式(6)

其中Local_A[i]和Local_B[i]分别表示分配给视频序列A和B中每一个代表性边缘直方图的第i个格的索引值；Global_A[]和Global_B[]分别表示分配给数字视频数据A和B的每一个全局边缘直方图中的第i个格的索引值；以及Semi_Global_A[]和Semi_Global_B[]分别表示分配给视频序列A和B的每一个半全局边缘直方图中的第i个格的索引值。因为用于全局边缘直方图的格数目相对小于代表性和半全局边缘直方图的格数目，所以在上述等式中应用了加权系数5。

如上所述，使用等式6，可以通过参考逆量化表格来测量在两个数字视频数据A和B之间的相似性。在这种情况下，因为应当通过参考逆量化表格对该图像的代表性边缘直方图格值进行解码，因此等式6通常在复杂但是准确检索的应用中使用。这里，每一个逆量化表格对应于表格2到6所示的每一个边缘量化表格。

然后重复上述处理过程，直到处理了所有视频序列为止。

依据本发明，可以大大地减少存储用于具有多个图像帧的视频序列的量化索引值所需的位数目。此外，通过使用非线性量化器，可以显著地减少相似性计算的复杂度。

此外，通过使用边缘直方图描述符，本发明可以有效地检索包含纹理视频的数字视频数据。

虽然为了说明目的已经公开了本发明的优选实施例，但是本领域的技术人员应当理解，在不偏离附属权利要求公开的本发明范围和精神的情况下，进行各种修改、添加、以及替换是可能的。

Claims (41)

1、一种用于构造具有表示多个视频序列的数字视频数据信息的数据库的方法，其中每个视频序列具有该数字视频数据的一组图像帧，该方法包含步骤：

a)把每个视频序列的每个图像帧划分成L个子图像，其中每个子图像被进一步划分成为S×T个图像块，L、S和T是正整数；

b)向每个图像块分配5个参考边缘中的一个，以由此为每个图像帧产生L个边缘直方图，其中所述边缘直方图包含M个边缘直方图格，而且所述参考边缘包含4个定向边缘和一个不定向边缘；

c)用S×T归一化包含在每个边缘直方图中的边缘直方图格，以由此为所述每个图像帧生成M个归一化的边缘直方图格；

d)计算所述每个视频序列的M个代表性边缘直方图格，以便基于所述每个图像帧的归一化边缘直方图格生成每个视频序列的L个代表性边缘直方图；以及

e)非线性量化所述代表性边缘直方图格，以产生M个量化索引值，作为要存储在数据库中、用于所述每个代表性边缘直方图的第二图像描述符。

2、如权利要求1所述的方法，其中，定向边缘包含垂直边缘、水平边缘、45度边缘、135度边缘，以及不定向边缘表示除4个定向边缘之外、没有指定方向的边缘。

3、如权利要求2所述的方法，其中垂直边缘、水平边缘、45度边缘、135度边缘和不定向边缘分别表示为：

   

 

 

垂直边缘        水平边缘        45度边缘         135度边缘        不定向边缘

4、如权利要求3所述的方法，其中步骤a)包含步骤：

a-1)把所述每个图像帧划分成为N×N个不相重叠的子图像，以由此形成L个矩形形状的子图像，N是正整数；以及

a-2)把所述子图像划分成为S×T个不相重叠的块，以由此形成S×T个正方形形状的图像块。

5、如权利要求4所述的方法，其中步骤b)包含步骤：

b-1)向每个图像块分配一个参考边缘；以及

b-2)计算包含在每个子图像中的每个参考边缘的数目，以生成用于每个图像帧的L个边缘直方图。

6、如权利要求5所述的方法，其中步骤b-1)包含步骤：

b-11)把每个图像块划分成为2×2个子块；

b-12)向每个子块分配相应的滤波系数；

b-13)通过使用所述滤波系数为每个图像块计算对应于五个边缘的一组5个边缘量值；以及

b-14)通过相互比较计算的边缘量值，把所述图像块表示为具有最大边缘量值的边缘。

7、如权利要求6所述的方法，其中通过使用5个等式获得所述5个边缘量值，这5个等式可以表示为：

$m_v(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_v\left(k\right)|;$

$m_h(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_h\left(k\right)|;$

$m_{d-45}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{d-45}\left(k\right)|;$

$m_{d-135}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{d-135}\left(k\right)|;$ 以及

$m_{\mathrm{nd}}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{\mathrm{nd}}\left(k\right)|,$

其中m_v(i，j)、m_h(i，j)、m_d-45(i，j)、m_d-135(i，j)和m_nd(i，j)分别表示用于第(i，j)个图像块的垂直、水平、45度、135度和不定向边缘量值；a_k(i，j)表示用于在该第(i，j)个图像块中标记为k的子块的平均灰度级，以及f_v(k)、f_h(k)、f_d-45(k)、f_d-135(k)和f_nd(k)分别表示用于垂直、水平、45度、135度和不定向边缘的滤波系数，其中k表示分配给每个子块的数字。

8、如权利要求6所述的方法，其中最大边缘量值大于预定阈值，否则所述图象块被认为没有包含边缘。

9、如权利要求1所述的方法，其中基于所述视频序列的图像帧的相应边缘直方图格的平均值计算代表性边缘直方图格。

10、如权利要求1所述的方法，其中步骤e)包含步骤：e1)通过使用相应的非线性量化表格非线性量化每一个代表性边缘直方图格，其中步骤e1)具有5个非线性量化表格，每个都对应于所述每个参考边缘。

11、如权利要求10所述的方法，其中步骤e1)包含步骤：

e2-1)把每个代表性边缘直方图格映射成为包含在每个相应参考边缘量化表格中的代表值；以及

e2-2)产生表示用于所述每个代表性边缘直方图格的代表值的3位量化索引值，以由此产生L×5个量化索引值，作为用于所述视频序列的第二图像描述符。

12、如权利要求10所述的方法，其中，通过使用基于劳埃德-麦克斯(Lloyd-Max)算法设计的非线性量化器非线性量化归一化的边缘直方图格。

13、如权利要求5所述的方法，其中所述N为4。

14、如权利要求12所述的方法，其中，量化表格包含用于垂直边缘直方图格的表格，其中所述垂直边缘直方图格表示所述子图像中垂直边缘的数目，而且所述表格表示为：   索引   范围   代表值   0   0.0000000～0.0343910   0.010867   1   0.0343910～0.0787205   0.057915   2   0.0787205～0.1221875   0.099526   3   0.1221875～0.1702110   0.144849   4   0.1702110～0.2280385   0.195573   5   0.2280385～0.3092675   0.260504   6   0.3092675～0.4440795   0.358031   7   0.4440795～1.0000000   0.530128

15、如权利要求12所述的方法，其中，量化表格还包含用于水平边缘直方图格的表格，其中所述水平边缘直方图格表示所述子图像中水平边缘的数目，而且所述表格表示为：   索引   范围   代表值   0   0.0000000～0.0411000   0.012266   1   0.0411000～0.0979065   0.069934   2   0.0979065～0.1540930   0.125879   3   0.1540930～0.2128515   0.182307   4   0.2128515～0.2789795   0.243396   5   0.2789795～0.3631455   0.314563   6   0.3631455～0.4880235   0.411728   7   0.4880235～1.0000000   0.564319

16、如权利要求12所述的方法，其中，量化表格还包含用于45度边缘直方图格的表格，其中所述45度边缘直方图格表示所述子图像中45度边缘的数目，而且所述表格表示为：   索引   范围   代表值   0   0.0000000～0.0150225   0.004193   1   0.0150255～0.0363560   0.025852   2   0.0363560～0.0576895   0.046860   3   0.0576895～0.0809025   0.068519   4   0.0809025～0.1083880   0.093286   5   0.1083880～0.1424975   0.123490   6   0.1424975～0.1952325   0.161505   7   0.1952325～1.0000000   0.228960

17、如权利要求12所述的方法，其中，量化表格还包含用于135度边缘直方图格的表格，其中所述135度边缘直方图格表示所述子图像中135度边缘的数目，而且所述表格表示为：   索引   范围   代表值   0   0.0000000～0.0150490   0.004174   1   0.0150490～0.0360780   0.025924   2   0.0360780～0.0566975   0.046232   3   0.0566975～0.0784090   0.067163   4   0.0784090～0.1025230   0.089655   5   0.1025230～0.1336475   0.115391   6   0.1336475～0.1848245   0.151904   7   0.1848245～1.0000000   0.217745

18、如权利要求12所述的方法，其中，量化表格还包含用于不定向边缘直方图格的表格，其中所述不定向边缘直方图格表示在所述子图像中不定向边缘的数目，而且所述表格表示为：   索引   范围   代表值   0   0.0000000～0.0292225   0.006778   1   0.0292225～0.0801585   0.051667   2   0.0801585～0.1374535   0.108650   3   0.1374535～0.1952415   0.166257   4   0.1952415～0.2549585   0.224226   5   0.2549585～0.3210330   0.285691   6   0.3210330～0.4036735   0.356375   7   0.4036735～1.0000000   0.450972

19、如权利要求7所述的方法，其中BinCounts的所述每个边缘直方图格的语义定义为：   边缘直方图格   语义   BinCounts[0]   子图像(0，0)中的垂直边缘   BinCounts[1]   子图像(0，0)中的水平边缘   BinCounts[2]   子图像(0，0)中的45度边缘   BinCounts[3]   子图像(0，0)中的135度边缘   BinCounts[4]   子图像(0，0)中的非定向边缘   BinCounts[5]   子图像(0，1)中的垂直边缘   :   :   BinCounts[74]   子图像(3，2)中的非定向边缘   BinCounts[75]   子图像(3，3)中的垂直边缘   BinCounts[76]   子图像(3，3)中的水平边缘   BinCounts[77]   子图像(3，3)中的45度边缘   BinCounts[78]   子图像(3，3)中的135度边缘   BinCounts[79]   子图像(3，3)中的非定向边缘

20、如权利要求1所述的方法，进一步包含步骤：f)计算所述视频序列的变化值并且在数据库中存储该变化值，其中所述变化值包含每个图像帧的边缘直方图的方差。

21、一种用于基于数据库、响应于查询视频序列而检索具有数字视频数据的一组图像帧的相应视频序列的方法，该方法包含步骤：

a)计算该查询视频序列的L个代表性边缘直方图，作为用于该查询视频序列的图像描述符，其中每个代表性边缘直方图表示该查询视频序列中图像帧的子图像中的5个参考边缘的代表性空间分布，其中所述参考边缘包含4个定向边缘和一个不定向边缘；

b)基于数字视频数据信息，从数据库中提取用于视频序列的多个图像描述符，其中用于所述每个视频序列的每个图像描述符包含用于所述每个视频序列的L个代表性边缘直方图格；

c)将用于查询视频序列的图像描述符和用于每个视频序列的所述每个图像描述符进行比较，以产生比较结果；以及

d)基于比较结果，检索类似于查询视频序列的至少一个视频序列。

22、如权利要求21所述的方法，其中，所述每个边缘直方图具有对应于参考边缘的5个边缘直方图格。

23、如权利要求21所述的方法，其中定向边缘包含垂直边缘、水平边缘、45度边缘、135度边缘，以及不定向边缘表示除4个定向边缘之外、没有指定方向的边缘。

24、如权利要求21所述的方法，其中步骤a)包含步骤：

a1)把查询视频序列的每个图像帧划分成L个子图像，其中每个子图像被进一步划分成为S×T个图像块，L、S和T是正整数；

a2)向每个图像块分配5个参考边缘中的一个，以由此为每个图像帧生成L个边缘直方图，其中所述边缘直方图包含M个边缘直方图格，而且所述参考边缘包含4个定向边缘和一个不定向边缘；

a3)通过S×T归一化包含在每个边缘直方图中的边缘直方图格，以由此为所述每个图像帧生成M个归一化的边缘直方图格；

a4)计算所述查询视频序列的M个代表性边缘直方图格，以便基于所述每个图像帧的归一化边缘直方图格，生成每个视频序列的L个代表性边缘直方图。

25、如权利要求23所述的方法，其中步骤a2)包含步骤：

a2-1)向每个图像块分配一个参考边缘；以及

a2-2)计算包含在每个子图像中的每个参考边缘的数目，以生成用于所述查询视频序列的L个边缘直方图。

26、如权利要求25所述的方法，其中步骤a2-1)包含步骤：

a2-11)把每个图像块划分成为2×2个子块；

a2-12)向每个子块分配相应的滤波系数；

a2-13)通过使用所述滤波系数为每个图像块计算对应于五个边缘的一组5个边缘量值；以及

a2-14)通过相互比较计算的边缘量值，把所述图像块表示为具有最大边缘量值的边缘。

27、如权利要求26所述的方法，其中通过使用5个等式获得所述5个边缘量值，这5个等式可以表示为：

$m_v(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_v\left(k\right)|;$

$m_h(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_h\left(k\right)|;$

$m_{d-45}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{d-45}\left(k\right)|;$

$m_{d-135}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{d-135}\left(k\right)|;$ 以及

$m_{\mathrm{nd}}(i,j)=|\underset{k=0}{\overset{3}{\mathrm{\Σ}}}{a}_k(i,j)\×f_{\mathrm{nd}}\left(k\right)|,$

其中m_v(i，j)、m_h(i，j)、m_d-45(i，j)、m_d-135(i，j)和m_nd(i，j)分别表示用于第(i，j)个图像块的垂直、水平、45度、135度和不定向边缘量值；a_k(i，j)表示用于在该第(i，j)个图像块中标记为k的子块的平均灰度级，以及f_v(k)、f_h(k)、f_d-45(k)、f_d-135(k)和f_nd(k)分别表示用于垂直、水平、45度、135度和不定向边缘的滤波系数，其中k表示分配给每个子块的数字。

28、如权利要求26所述的方法，其中最大边缘量值大于预定阈值，否则所述图象块被认为没有包含边缘。

29、如权利要求21所述的方法，其中用于查询和目标视频序列的图像描述符还分别包含基于L×5个代表性边缘直方图格的全局边缘直方图和R个半全局直方图，R是正整数。

30、如权利要求29所述的方法，其中全局边缘直方图表示在查询和目标视频序列的整体空间中的边缘分布，而且每个半全局边缘直方图表示在查询和目标视频序列的相应子图像组中的边缘分布。

31、如权利要求29所述的方法，其中所述N和R分别为4和13。

32、如权利要求31所述的方法，其中，为13个4子图像组中的每一组生成13个半全局边缘直方图中的每一个，其中这13组包含：四个4子图像组，每组包含垂直方向的该图像第一到第四列的每一列中的4个子图像；四个4子图像组，每组包含水平方向的第一到第四行的每一行中的4个子图像；四个4子图像组，每组包含一个相应的子图像和在该相应子图像周围的3个子图像，其中该相应子图像分别位于该图像的左上部、右上部、左下部和右下部；以及包含在该图像中心周围的4个子图像的一组。

33、如权利要求21所述的方法，其中步骤b)包含步骤：

b1)检索用于每个目标视频序列的L×5个量化索引值；

b2)通过使用5个非线性逆量化表格，把所述L×5个量化索引值中的每一个转换成为用于所述每个目标视频序列的L×5个代表性边缘直方图格；以及

b3)基于所述L×5个归一化边缘直方图格产生L个代表性边缘直方图。

34、如权利要求33所述的方法，其中步骤b)还包含步骤：b4)基于所述L×5个代表性边缘直方图格，进一步生成用于每个目标视频序列的全局边缘直方图和R个半全局直方图。

35、如权利要求21所述的方法，其中步骤b)包含步骤：

b1)检索用于每个目标视频序列的L×5个量化索引值；

b2)通过归一化所述L×5个量化索引值，把所述L×5个量化索引值中的每一个转换成为用于所述每个目标视频序列的L×5个代表性边缘直方图格；以及

b3)基于所述L×5个代表性边缘直方图格，生成L个代表性直方图。

36、如权利要求35所述的方法，其中步骤b)还包含步骤：b4)基于所述L×5个归一化边缘直方图格，进一步生成用于每个目标图像的全局边缘直方图和R个半全局直方图。

37、如权利要求34所述的方法，其中步骤c)包含步骤：

通过等式计算在查询视频序列和所述每个目标视频序列之间的距离，所述等式表示为：

$\mathrm{Dis}\tan \mathrm{ce}(A,B)=\underset{i=0}{\overset{79}{\mathrm{\Σ}}}|\mathrm{Local}\_A[i]-\mathrm{Local}\_B[i]+5\×\underset{i=0}{\overset{4}{\mathrm{\Σ}}}\mathrm{Global}\_A[i]-\mathrm{Global}\_B[i]$

$+\underset{i=0}{\overset{64}{\mathrm{\Σ}}}|\mathrm{Semi}\_\mathrm{Global}\_A[i]-\mathrm{Semi}\_\mathrm{Global}\_B[i].$

其中Local_A[i]和Local_B[i]分别表示查询视频序列A和目标视频序列B的BinCount[i]的边缘直方图格；Global_A[]和Global_B[]分别表示用于查询图像A和目标图像B的全局边缘直方图的边缘直方图格；以及Semi_Global_A[]和Semi_Global_B[]分别表示用于查询视频序列A和目标视频序列B的半全局边缘直方图格的直方图格值。

38、如权利要求36所述的方法，其中步骤c)包含步骤：

通过等式计算在查询视频序列和所述每个目标视频序列之间的距离，所述等式表示为：

$\mathrm{Dis}\tan \mathrm{ce}(A,B)=\underset{i=0}{\overset{79}{\mathrm{\Σ}}}|\mathrm{Local}\_A[i]-\mathrm{Local}\_B[i]+5\×\underset{i=0}{\overset{4}{\mathrm{\Σ}}}|\mathrm{Global}\_A\left[i\right]\_\mathrm{Global}\_B\left[i\right]$

$+\underset{i=0}{\overset{64}{\mathrm{\Σ}}}|\mathrm{Semi}\_\mathrm{Global}\_A[i]-\mathrm{Semi}\_\mathrm{Global}\_B[i]$

其中Local_A[i]和Local_B[i]分别表示查询视频序列A和目标视频序列B的BinCount[i]的边缘直方图格；Global_A[]和Global_B[]分别表示用于查询视频序列A和目标视频序列B的全局边缘直方图的边缘直方图格；以及Semi_Global_A[]和Semi_Global_B[]分别表示用于查询视频序列A和目标视频序列B的半全局边缘直方图格的直方图格值。

39、一种用于为视频序列提取图像描述的方法，其中每个视频序列具有数字视频数据的多个图像帧，所述方法包含步骤：

a)选择一个图像帧作为目标图像帧；

b)计算L×5个归一化边缘直方图格，以产生所述目标图像的L个边缘直方图，其中所述每个边缘直方图具有5个归一化边缘直方图格，且表示子图像中的5个参考边缘的空间分布，而且L是正整数，其中参考边缘包含4个定向边缘和一个不定向边缘；

c)选择下一图像帧作为目标图像；

d)重复步骤b)和c)，直到计算了所有图像帧的L个边缘直方图为止；

e)基于每个图像帧的L个边缘直方图，为所述视频序列计算具有L×5个归一化边缘直方图格的代表性边缘直方图；

f)非线性量化所述代表性边缘直方图的L×5个归一化边缘直方图格，以生成L×5个量化索引值，作为所述视频序列的图像描述；以及

g)向数据库存储所述L×5个量化索引值。

40、如权利要求39所述的方法，其中每个量化索引值都由3位表示。

41、如权利要求39所述的方法，其中定向边缘包含垂直边缘、水平边缘、45度边缘、135度边缘，且不定向边缘表示除所述4个定向边缘之外、没有指定方向的边缘。

Images