CN103116890A - 一种基于视频图像的智能搜索匹配方法 - Google Patents

Abstract

本发明公开了一种基于视频图像的智能搜索匹配方法，包括以下步骤：从视频图像中逐帧提取帧图像；对每一帧图像进行二值化处理；扫描二值化处理后的帧图像并提取目标图像特征流；对待匹配图像进行二值化处理并扫描提取待匹配图像特征流；对待匹配图像特征流和目标图像特征流进行匹配判断否匹配。本发明的基于视频图像的智能搜索匹配方法，能够根据各个小块目标点分布的具体情况得出特征符并形成特征流进行图像匹配，并且只需一次扫描整个目标区域即可，避免了重复计算，匹配，大大加快了图像匹配速度和效率。

Description

一种基于视频图像的智能搜索匹配方法

技术领域

本发明涉及数字电视节目推荐领域，具体涉及一种基于视频图像的智能搜索匹配方法。

背景技术

图像匹配是在图像处理研究中一个很重要的研究方向。在机器识别的过程中，常需要把不同传感器在不同时间，不同成像条件下对同一景物获取的两幅或多幅图像在空间对准，或是根据已知的模式到另一幅图找到相对应的模式，这就需要用到图像匹配。图像匹配就是将模版与待检测的图像进行匹配，并给出一个描述匹配程度的计算结果。如果算法的运算结果显示图像中的某一部分与模板相同或是相似大于设定的阀值，则认为匹配成功。

图像匹配问题的通常理解就是将两幅取自同一景物的图像在空间上进行“对准”。在多数情况下，这只是两幅图像之间的相对平移过程。但也有相当多的应用场合下，必须考虑图像之间的空间坐标变换，诸如旋转变换，比例变换，投影变换等等，从而导致了图像和模板发生旋转和扭曲等变形，使得匹配问题变的更加复杂。两幅图像之间的匹配问可以分为两大方面（步骤）：一是匹配的特征的选择；一是对特征进行相关性计算方法的选择。

图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。灰度匹配的基本思想:以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。最经典的灰度匹配法是归一化的灰度匹配方法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。

利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都有一定的速度要求，这种效率往往是不能忍受的，急需改进，同时很难事先选定一个合适的阀值，因而误匹配率很高，对于同一目标物体不同比例的图像也不能很好的处理。而特征提取方法中，特征相对于几何图象和辐射度影响来说更不易变化，但特征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阀值，因而不便于实时应用。同时，在纹理较少的图象区域提取的特征的密度通常比较稀少，使局部特征的提取比较困难。现有技术的基于像素灰度值的匹配ABS（Absolute Balance Search）方法，用模板图像和待匹配图像上的搜索窗口之间的像素灰度值的差别，来表示二者的相关性。假设待匹配图像为F(x,y)，而模板图像为G(x,y)，并且待匹配图像大小为M×N,而模板图像大小为P×Q，则在待匹配图像中共有(M-P+1)×(N-Q+1)个可能的匹配点存在，每一个可能的匹配点对应一个P×Q的搜索窗口。所以匹配也可以看作是大小等于模板图像的搜索窗口在待匹配图像上按照某一顺序滑动，每滑动一次就进行一次模板图像和搜索窗口之间的相关计算。以此来判断当前的搜索窗口是否匹配。如果差别小于预定的阀值，就可以认为匹配成功，否则，就认为匹配失效。这种算法思路简单，实现方便，但是这种搜索算法名校有着局限性，一旦待匹配图像或是模板图像之一的灰度值发生线性的变化，这种算法就无所适从了。不同的图像和模板，有着不同的背景灰度值和不同大小的搜索窗口，所需的合适的阀值也各不相同，很难事先选定一个合适的阀值，因而误匹配率很高。而且这种方法只适用于待匹配图是模板图像中一部分的情况，应用面窄。因此，亟待一种新的图像搜索匹配方法来解决现有技术的不足。

发明内容

本发明的目的是提供一种基于视频图像的智能搜索匹配方法，避免重复计算，匹配，加快图像匹配速度和效率。

为此，本发明提供一种基于视频图像的智能搜索匹配方法，包括以下步骤：从视频图像中逐帧提取帧图像；对每一帧图像进行二值化处理；扫描二值化处理后的帧图像并提取目标图像特征流；对待匹配图像进行二值化处理并扫描提取待匹配图像特征流；对待匹配图像特征流和目标图像特征流进行匹配判断否匹配。

较佳地，所述提取特征流的步骤包括：将二值图依次分为相同大小的4、9、16部分；对每一小部分，再平均分为4部分区域；从上至下，从左至右，依次扫描整个二值图的各个最小区域，查看每一区域像素点的分布情况，根据不同的分布情况得到该区域不同的特征符；扫描处理完整个二值图，得到图像基于4、9、16部分的3个特征流。

较佳地，所述查看每一区域像素点的分布情况，根据不同的分布情况得到该区域不同的特征符的步骤中，像素点与特征符对应关系为：a=1000；b=0100；c=0010；d=0001；e=1100；f=0110；g=0011；h=1001；i=1010；j=0101；k=0111；l=1011；m=1101；n=1110；o=1111；p=0000，其中1代表该区域有像素点分布，0代表该区域无像素点分布，a至p表示特征符。

较佳地，所述对目标图像特征流和待匹配图像特征流进行匹配判断的步骤包括：取出待匹配图像和目标图像的基于4、9、16部分的3个特征流；分别对比两图像的3个特征流，统计对应的特征流的相似度，并得出总的相似度；判断总的相似度是否小于或等于阀值，若是，判定两幅图是匹配的，若否，判定两幅图不匹配。

与现有技术相比，本发明的基于视频图像的智能搜索匹配方法，根据目标图像在视频区域分布信息提取特征，将目标图像和待匹配图像进行特征匹配，从而识别或搜索相关视频区域，同时还可以进行在视频中进行跟踪。该方法降低了对视频质量或者视频录入环境的要求同时又不损失精确度，而且对同一物体或区域不同比例和方向的图像匹配具有很好的效果。本方法根据各个小块目标点分布的具体情况得出特征符并形成特征流进行图像匹配，并且只需一次扫描整个目标区域即可，避免了重复计算，匹配，大大加快了图像匹配速度和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的基于视频图像的智能搜索匹配方法的流程图；

图2是图1中步骤S005的子流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如上所述，本发明针对现有的基于灰度信息匹配方法和基于特征信息为基础的图像匹配方法的缺点，提出一种新的图像搜索匹配方法，该方法根据目标图像在视频区域分布信息提取特征，将目标图像和待匹配图像进行特征匹配，从而识别或搜索相关目标视频区域，同时还可以进行在视频中进行跟踪。该方法降低了对视频质量或者视频录入环境的要求同时又不损失精确度，而且对同一物体或区域不同比例和方向的图像匹配具有很好的效果。本方法根据各个小块目标点分布的具体情况得出特征符并形成特征流进行图像匹配，并且只需一次扫描整个目标区域即可，避免了重复计算，匹配，大大加快了图像匹配速度和效率。

参考图1，本发明实施例的基于视频图像的智能搜索匹配方法，包括以下步骤：

步骤S001：从视频图像中逐帧提取帧图像；

步骤S002：对每一帧图像进行二值化处理；

步骤S003：扫描二值化处理后的帧图像并提取目标图像特征流；

步骤S004：对待匹配图像进行二值化处理并扫描提取待匹配图像特征流；

步骤S005：对待匹配图像特征流和目标图像特征流进行匹配判断否匹配。

较佳地，所述提取特征流的步骤包括：将二值图依次分为相同大小的4、9、16部分；对每一小部分，再平均分为4部分区域；从上至下，从左至右，依次扫描整个二值图的各个最小区域，查看每一区域像素点的分布情况，根据不同的分布情况得到该区域不同的特征符；扫描处理完整个二值图，得到图像基于4、9、16部分的3个特征流。本发明实施例的视频图像的智能搜索匹配方法，只需一次扫描就可得到整幅图像的特征流，充分考虑了像素点的分布状况，不仅速度快，而且能够完整准确地提取目标区域的自身原貌和特点，使得结果更加准确。

较佳地，所述查看每一区域像素点的分布情况，根据不同的分布情况得到该区域不同的特征符的步骤中，像素点与特征符对应关系为：a=1000；b=0100；c=0010；d=0001；e=1100；f=0110；g=0011；h=1001；i=1010；j=0101；k=0111；l=1011；m=1101；n=1110；o=1111；p=0000，如下表表1所示，其中1代表该区域有像素点分布，0代表该区域无像素点分布，a至p表示特征符。

表1像素点分布与特征符对应表

a			b			c			d
													1	0		0	1		0	0		0	0
	0	0		0	0		0	1		1	0
												e			f			g			h
	1	1		0	1		0	0		1	0
													0	0		0	1		1	1		1	0
i			j			k			l
													1	0		0	1		0	1		1	0
	0	1		1	0		1	1		1	1
												m			n			o			p

	1	1		1	1		1	1		0	0
													1	0		0	1		1	1		0	0

定义一个字符x，y的匹配程度的方法，对应上表进行匹配，定义两个字符的相似度为dis(x,y)：x与y异或后1的个数，dis(x,y)数值越大标明字符x，y代表的区域相似度越不高（例如，x与x匹配后，dis=0，标明这两个区域无限相似）。

参考图2，所述对目标图像特征流和待匹配图像特征流进行匹配判断的步骤包括：

取出待匹配图像和目标图像的基于4、9、16部分的3个特征流；

分别对比两图像的3个特征流，统计对应的特征流的相似度，并得出总的相似度dis_sum；判断总的相似度是否小于或等于阀值fazhi，若是，判定两幅图是匹配的，若否，判定两幅图不匹配。

具体方法步骤如下：

Step1：取出两幅图像的基于4、9、16等分的特征流tzstr1、tzstr1’；tzstr2、tzstr2’；tzstr3、tzstr3’，并两两对应；

Step2：依次处理三组特征流，并对每个特征流从开始至末尾，计算每个流对应每两个字符间的相似度，并得出相似度和dis_sum；

$\mathrm{dis}\_1=\underset{i=0}{\overset{i=n}{\mathrm{\Σ}}}\mathrm{dis}\left(\mathrm{tzstr}1\right[i],\mathrm{tzstr}1\′[i\left]\right)$

$\mathrm{dis}\_2=\underset{i=0}{\overset{i=m}{\mathrm{\Σ}}}\mathrm{dis}\left(\mathrm{tzstr}2\right[i],\mathrm{tzstr}2\′[i\left]\right)$

$\mathrm{dis}\_3=\underset{i=0}{\overset{i=k}{\mathrm{\Σ}}}\mathrm{dis}\left(\mathrm{tzstr}3\right[i],\mathrm{tzstr}3\′[i\left]\right)$

dis_sum=dis_1*quanzhi_1+dis_2*quanzhi_2+dis_3*quanzhi_3；

其中，n,m,k为对应的特征流的字符数。

Step3：把两个图像的相似度与开始设定的阀值进行比较，if dis_sum<=fazhi,则判断这两幅图像匹配，否则则判断不匹配；

Step4：如果有下一幅图像需进行匹配则转到Setp1，否则结束。

本发明所提供的基于视频图像的智能搜索匹配方法，先对图像进行二值化处理，然后得到目标区域的字符流特征字符串，在用一种新的字符串最大匹配算法进行处理，根据得到的结果是否大于预定的阀值来判断是否匹配成功，并按照相似度由高到低显示匹配的结果，该方法不仅速度快，而且能够完整准确地捕捉目标区域基本轮廓分布特性，由于这种方法从分考虑了图像在整个区域的分布并且解决了比例不同匹配不到的缺点，使得匹配搜索结果更加准确。可以根据实际应用的要求,能够较好的满足某些对边界有特殊要求的应用。对于轮廓特征点分布比较复杂的区域更能体现出该方法的优越性。

以上对本发明实施例所提供的基于视频图像的智能搜索匹配方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于视频图像的智能搜索匹配方法，其特征在于，包括以下步骤：

从视频图像中逐帧提取帧图像；

对每一帧图像进行二值化处理；

扫描二值化处理后的帧图像并提取目标图像特征流；

对待匹配图像进行二值化处理并扫描提取待匹配图像特征流；

对待匹配图像特征流和目标图像特征流进行匹配判断否匹配。

2.如权利要求1所述的基于视频图像的智能搜索匹配方法，其特征在于，所述提取特征流的步骤包括：

将二值图依次分为相同大小的4、9、16部分；

对每一小部分，再平均分为4部分区域；

从上至下，从左至右，依次扫描整个二值图的各个最小区域，查看每一区域像素点的分布情况，根据不同的分布情况得到该区域不同的特征符；

扫描处理完整个二值图，得到图像基于4、9、16部分的3个特征流。

3.如权利要求2所述的基于视频图像的智能搜索匹配方法，其特征在于，所述查看每一区域像素点的分布情况，根据不同的分布情况得到该区域不同的特征符的步骤中，像素点与特征符对应关系为：a=1000；b=0100；c=0010；d=0001；e=1100；f=0110；g=0011；h=1001；i=1010；j=0101；k=0111；l=1011；m=1101；n=1110；o=1111；p=0000，其中1代表该区域有像素点分布，0代表该区域无像素点分布，a至p表示特征符。

4.如权利要求1所述的基于视频图像的智能搜索匹配方法，其特征在于，所述对目标图像特征流和待匹配图像特征流进行匹配判断的步骤包括：

取出待匹配图像和目标图像的基于4、9、16部分的3个特征流；

分别对比两图像的3个特征流，统计对应的特征流的相似度，并得出总的相似度；

判断总的相似度是否小于或等于阀值，若是，判定两幅图是匹配的，若否，判定两幅图不匹配。

Images