CN102306275A - 基于模糊概念格的视频纹理特征提取方法 - Google Patents
基于模糊概念格的视频纹理特征提取方法 Download PDFInfo
- Publication number
- CN102306275A CN102306275A CN201110180082A CN201110180082A CN102306275A CN 102306275 A CN102306275 A CN 102306275A CN 201110180082 A CN201110180082 A CN 201110180082A CN 201110180082 A CN201110180082 A CN 201110180082A CN 102306275 A CN102306275 A CN 102306275A
- Authority
- CN
- China
- Prior art keywords
- node
- lattice
- video
- fuzzy
- fuzzy concept
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种基于模糊概念格的视频纹理特征提取方法,主要解决现有方法计算量大、效率低、实时性不高的问题。实现步骤:(1)将视频镜头分割,将分割后的视频镜头分成视频段,并将视频段第一帧作为该视频段的关键帧;(2)将关键帧图像分块,计算图像块的灰度共生矩阵,再基于灰度共生矩阵计算二阶矩、熵等14个纹理特征向量;(3)将关键帧的图像块作为对象集、将图像块的纹理特征向量作为属性集,构成模糊形式背景,构建模糊概念格;(4)由关键帧的模糊概念格生成纹理关联规则;(5)根据关键帧的纹理关联规则,提取所在视频段中所有视频帧的纹理特征。本发明能够快速、准确地提取视频纹理特征,可用于目标识别、视频检索等视频处理领域。
Description
技术领域
本发明属于图像处理技术领域,涉及视频纹理特征提取,可用于目标识别和视频检索等视频处理领域。
背景技术
纹理是一种不依赖于颜色或亮度,而反映图像中同质现象的区域性视觉特征,能够更好地兼顾图像宏观性质与细微结构两个方面,因此成为目标识别等视频处理领域中重要的特征之一。
目前纹理特征提取方法主要有以下几种:
[1]Chun Y.D.Image retrieval using BDIP and BVLC moments.IEEETransactions on Circuits and Systems for Video Technology,2003,13(9):951-957。该方法利用Garbor小波基函数的正交性,可以有效提取纹理特征,消除冗余信息,但采用Garbor小波算法得到的纹理特征向量维数高,应用于视频纹理特征提取,计算量大,效率较低;
[2].Biswas S.An adaptive compressed MPEG-2video watermarking scheme.IEEE Transactions on Instrumentation and Measurement.2005,5(55):1853-1861。该方法将图像进行DCT变换后,利用DCT变换的AC系数能量衡量纹理复杂程度提取纹理特征,应用于视频纹理特征提取,需要对每个视频帧进行DCT变换,计算量大,效率偏低。
[3].Haralick R M,Shanmugam K..Texture features for image classification.IEEE Transactions on Systems,Man and Cybernetics,1973,3(6):610-621。该方法根据像素之间的方向和距离建立灰度共生矩阵,然后提取有意义的14个统计量作为纹理特征向量,能够从不同角度对纹理进行描述,广泛应用于SAR图像分类等图像检索中,但计算量大,在海量视频数据处理中应用很少。
[4].Tamura H,Mori S,Yamawaki T.Texture features corresponding to visualperception.IEEE Transactions on Systems,Man and Cybernetics,1978,8(6):460-473。该方法提出了构成纹理视觉模型的6个纹理属性,分别是对比度、粒度、方向性、线性、粗糙度和均匀性,更符合人类心理认知,主要应用于图像的纹理分类,应用于视频纹理特征提取,计算量大,实际应用很少。
综上所述,由于海量视频数据量庞大、冗余多,上述图像纹理提取方法直接应用于视频纹理特征提取都存在计算量大,效率低,无法满足视频实时处理需求。
发明内容
本发明目的是针对上述已有技术的不足,提出了一种基于模糊概念格的视频纹理特征提取方法,大大减小了计算量,实现了视频纹理特征的快速、准确挖掘。
实现本发明的技术关键是针对原始视频数据,生成基于模糊概念格理论的系列纹理特征关联规则,以便快速、准确地挖掘视频纹理特征。具体步骤包括如下:
(2)将第i个镜头si以每9帧分割成视频段pl,l∈[1,M2],选取每个视频段pl的第一个视频帧作为pl的关键帧fl,l∈[1,M2],其中,M2为第i个镜头si中视频段总数;
(3)对第i个镜头si第l个视频段pl的关键帧fl进行图像分块,得到一系列的图像块bk,k∈[1,T1],计算每个图像块bk的灰度共生矩阵Gk,k∈[1,T1],其中,T1为关键帧fl中8×8大小的图像块总数;
(4)根据第i个镜头si第l个视频段pl的关键帧fl的每个图像块bk的灰度共生矩阵Gk,计算得到每个图像块bk纹理特征向量Wq,q∈[1,14];
(5)将镜头si第l个视频段pl的关键帧fl的所有图像块bk,k∈[1,T1]作为对象集,将所有图像块的纹理特征向量Wq,q∈[1,14]作为属性集,构成关键帧fl的模糊形式背景F;
(6)根据模糊形式背景F,构建镜头si第l个视频段pl的关键帧fl的模糊概念格;
(7)由镜头si第l个视频段pl的关键帧fl的模糊概念格,生成相应的纹理关联规则Rt,t∈[1,N9],其中,N9为纹理关联规则总数;
(8)根据镜头si第l个视频段pl的关键帧fl的第t个关联规则Rt,提取关键帧fl中具有第t个关联规则Rt属性的图像块集合;
(9)重复步骤(8),提取镜头si第l个视频段pl的关键帧fl的其他所有纹理关联规则相对应的图像块集合;
(10)取步骤(9)中镜头si第l个视频段pl的关键帧fl提取出的所有图像块集合的交集,得到关键帧fl的纹理特征;
(11)根据镜头si第l个视频段pl的关键帧fl的所有纹理关联规则,按照步骤(10)相同方法提取视频段pl中除关键帧fl以外的其他帧的纹理特征;
(12)重复上述步骤(3)~(11),提取第i个镜头si的其他所有视频段中所有视频帧的纹理特征;
(13)重复上述步骤(2)~(12),提取原始视频v的所有镜头中视频帧的纹理特征。
本发明具有如下优点:
将模糊概念格理论应用于视频纹理特征提取,实现了视频纹理特征的快速、准确挖掘。由于模糊概念格具有良好的继承性和层次性,十分适合生成关联规则,同时灰度共生矩阵能够从多种维度、精确刻画纹理特征。本发明首先利用灰度共生矩阵,形成模糊形式背景,再利用模糊概念格能够高效处理海量数据的特点,生成一系列纹理关联规则,进而快速挖掘出不同类型视频的纹理特征。实验结果表明,本发明能够快速、准确提取视频纹理特征,与现有方法相比,大大减小了计算量,适合于任何视频载体,具有普适性特征。同时,在保证视频纹理特征准确性的前提下,本发明随着原始视频数据的急剧增加,效率优势更明显,能够满足海量视频处理的实时性需求。
附图说明
图1是本发明基于模糊概念格的视频纹理特征提取原理框图;
图2是主持人类视频载体suzie.yuv,本发明与基于DCT变换方法提取的视频纹理特征结果对比;
图3是自然风景类视频载体tempete.yuv,本发明与基于DCT变换方法提取的视频纹理特征结果对比;
图4是体育类视频载体stefan.yuv,本发明与基于DCT变换方法提取的视频纹理特征结果对比。
具体实施方式
一、基础理论介绍
1.1模糊概念格的相关理论
模糊概念格是一种基于格理论的聚类分析方法,通过对某一领域特定形式背景下对象和属性之间的关系进行聚类,从而得到相应的概念结构。在模糊概念格中,概念属性和对象之间的关系是不确定的模糊关系,例如“年轻人消费水平高”,这里“年轻人”作为对象,是一个模糊集,“消费水平高”作为属性只能用隶属程度来描述,消费水平涉及到收入、衣食住行、家庭负担、文化娱乐等方面,是一个多属性的模糊集。目前,国内外学者在模糊概念格的构建算法上做了很多研究,其中,刘宗田、强宇等定义了广义属性模糊概念格,提出了一种快速、有效的模糊概念格构建方法。
模糊概念格中的基本定义包括如下:
定义1,模糊形式背景。一个模糊形式背景可表示为F=(O,A,I),其中,O是模糊形式背景F中所有对象的并集,A是模糊形式背景F中所有属性的并集,映射I称为隶属度函数,该隶属度函数I满足:I∈[0,1]。
定义2,在模糊形式背景F中,对象集O和属性集A之间的映射关系可以用属性映射函数f(O)和对象映射函数g(A)来表示,如下所示:
其中,a表示属性集A中任意一个属性,o表示对象集O中任意一个对象。
1.2基于模糊概念格的关联规则生成
由于模糊概念格具有良好的层次关系和继承关系,能够形象化地表示各个概念节点之间的层次关系,因此十分适用于关联规则的生成。关联规则是形如的表达式,其中,A1和B1均为属性集,规则表示:在数据库中,具有属性集A1中所有属性的对象同时也具有属性集B1中的所有属性。
根据模糊概念格生成关联规则的过程是:首先,根据模糊概念格得到所有的频繁节点并生成相应的频繁节点组,然后,由频繁节组生成相应的关联规则。关联规则的支持度表示,数据库中包含属性集A1与属性集B1的并集中所有属性的对象数占整个库中所有对象的百分比,用来度量关联规则在数据库中出现的频率。关联规则的置信度表示,数据库中包含属性集A1与属性集B1的并集中所有属性的对象数与包含属性集A1中所有属性的对象数的比值,用来度量规则的强度。在实际应用中,通常选择较大的置信度阈值和较小的支持度阈值。
1.3灰度共生矩阵
灰度共生矩阵是图像二阶组合条件下的概率密度统计特征,反映了不同像素对位置的空间信息,能够从不同角度对纹理特征进行细致地刻画。灰度共生矩阵是从图像Q中位置为(x1,y1)且灰度级为g1的像素点出发,统计与该像素点距离为d、方向为θ、位置为(x2,y2)且灰度级为g2的像素点同时出现的概率P(g1,g2,d,θ)。
灰度共生矩阵的定义如下:
其中,g1∈[1,Ng],g2∈[1,Ng],(x2,y2)=(x1,y1)+(dcosθ,dsinθ),Ng为图像I的灰度级总数,(x1,y1)表示像素点Q(x1,y1)在图像Q中的位置,(x2,y2)表示像素点Q(x2,y2)在图像Q中的位置,#{[(x1,y1),(x2,y2)]∈Q|Q(x1,y1)=g1,Q(x2,y2)=g2}表示图像Q中具有某种空间关系且灰度值分别为g1和g2像素对总数,#Q表示图像中Q中像素对的总数,距离d通常取1,2,4或8,方向θ通常取0°,45°,90°和135°。
有关灰度共生矩阵中的14个纹理特征向量计算方法如式(4)~(17):
(1)角二阶矩W1(Angular Second Moment)
其中,Ng是图像Q的灰度总级数,g1是图像Q中位置为(x1,y1)像素点Q(x1,y1)的灰度值,g2是图像Q中位置为(x2,y2)像素点Q(x2,y2)的灰度值,d是像素点Q(x1,y1)和像素点Q(x2,y2)之间的距离,θ是像素点Q(x2,y2)相对于像素点Q(x1,y1)的方向,联合分布概率P(g1,g2,d,θ)是图像Q的灰度共生矩阵。
角二阶矩W1也称为能量,是灰度共生矩阵各元素的平方和,是图像纹理变化均匀性的度量,反映了图像灰度分布均匀程度和纹理粗细程度。W1值越小,表明图像的纹理越细致,反之,纹理越粗糙。
(2)对比度W2(Contrast)
对比度W2用来度量灰度共生矩阵P(g1,g2,d,θ)中元素值的分布情况和图像的局部变化情况。W2值越大,表示图像的纹理对比度越强烈,纹理沟纹越深,图像越清晰,纹理效果也越明显。
(3)相关性W3(Correlation)
其中,
相关性W3用来度量灰度共生矩阵P(g1,g2,d,θ)中元素在行或列上的相似程度,W3用来判断纹理的主方向,当灰度共生矩阵P(g1,g2,d,θ)中元素值均匀相等时,W3最大。
(4)熵W4(Entropy)
其中,log10[P(g1,g2,d,θ)]是对灰度共生矩阵P(g1,g2,d,θ)中的元素取对数。
熵W4表示图像的信息量,是图像内容随机性的度量,用来表征图像纹理的复杂程度。W4越大,表明图像纹理越复杂,当图像无纹理时,W4=0,从数学角度来看,当灰度共生矩阵P(g1,g2,d,θ)中的元素近似相等时,W4最大。
在实际应用中通常会出现P(g1,g2,d,θ)=0的情况,本发明采用 来处理该类情况。
(5)方差W5(Variance)
其中,u是将灰度共生矩阵P(g1,g2,d,θ)中所有元素进行累加,再除以矩阵元素总数得到的平均值。
W5反映了纹理的周期大小,值越大,表明图像纹理的周期越大。
(6)均值和W6(Sum of Average)
其中,
W6是图像中某一区域内像素点平均灰度值的度量,反映了图像的明暗深浅程度。
(7)方差和W7(Sum of Variance)
其中,
方差和W7反映了纹理的周期大小,W7越大,表明图像纹理的周期越大。
(8)逆差矩W8(Inverse Difference Moment)
逆差矩W8又称为图像的局部平稳性,用来度量图像纹理的局部变化,反映了图像纹理的规则程度。W8值越大,表明图像纹理规则性越好。
(9)差的方差W9(Variance of Difference)
其中,
差的方差是W9是灰度共生矩阵P(g1,g2,d,θ)中邻近像素对的灰度值差异的方差,W9越大,表明灰度共生矩阵P(g1,g2,d,θ)中邻近像素对的对比越强烈。
(10)和熵W10(Sum of Entropy)
其中,
和熵W10表示图像的信息量,W10值越大,表明图像纹理越复杂。
(11)差熵W11(Difference of Entropy)
其中,
和熵W11表示图像的信息量,熵W11值越大,表明图像纹理越复杂。
(12)集群荫W12(Shadow of Clustering)
其中,
(13)集群突出W13(Prominence of Clustering)
(14)最大概率W14(Maximal Probability)
二、基于模糊概念格的视频纹理特征提取方法
参照图1,本发明的具体步骤包括如下:
步骤1,将原始视频v′进行镜头分割,再对每个镜头进行视频段分割,选取每个视频段的关键帧。
(1.1)将原始视频进行镜头分割得到一系列镜头si,i∈[1,M1],其中,M1为原始视频v′中的镜头总数,常用的镜头分割方法有灰度分割法、边缘分割法和聚类分割法等,本发明选择边缘分割法对原始视频v′进行镜头分割;
(1.2)考虑到同一镜头中视频帧之间的强相关性和运动特征,将第i个镜头si以每9帧分割成视频段pl,l∈[1,M2],选取每个视频段pl的第一个视频帧作为视频段pl的关键帧fl,l∈[1,M2],其中,M2为第i个镜头si中视频段总数,不同的镜头得到的视频段总数不同。例如,视频suzie.yuv第1个镜头第2个视频段的关键帧如图1中Y1指向部分。
步骤2,对视频段中关键帧进行图像分块,计算每个图像块的灰度共生矩阵。
(2.1)对第i个镜头si中第l个视频段pl的关键帧fl进行图像分块,得到一系列图像块bk,k∈[1,T1],其中,T1为8×8大小图像块的总数,按照下式计算第k个图像块bk的灰度共生矩阵: 其中,g′1∈[1,N′g],g′2∈[1,N′g],u∈[1,8],v∈[1,8],m∈[1,8],n∈[1,8],N′g是镜头si中第l个视频段pl的关键帧fl的灰度级总数,g′1是第k个图像块bk中位置为(u,v),u∈[1,8],v∈[1,8]像素点的灰度值,g′2是第k个图像块bk中位置为(m,n),m∈[1,8],n∈[1,8]像素点的灰度值,#bk是图像块bk中的像素对总数;
步骤3,计算第i个镜头si中第l个视频段pl的关键帧fl中所有图像块bk,k∈[1,T1]的纹理特征向量。
(3.1)根据第i个镜头si中第l个视频段pl的关键帧fl中第k个图像块bk,k∈[1,T1]的灰度共生矩阵Gk,k∈[1,T1],根据上述公式(4)~(17),计算关键帧fl中第k个图像块bk,k∈[1,T1]的纹理特征向量Wq,q∈[1,14];
(3.2)重复步骤(3.1),计算镜头si中第l个视频段pl的关键帧fl中所有其他图像块的纹理特征向量。
步骤4,构建第i个镜头si中第l个视频段pl的关键帧fl的模糊概念格。
(4.1)将第i个镜头si中第l个视频段pl的关键帧fl的所有图像块bk,k∈[1,T1]作为对象集,将该对象集相应的纹理特征向量Wq,q∈[1,14]作为属性集,构成镜头si中第l个视频段pl的关键帧fl的模糊形式背景F,例如,针对视频suzie.yuv第1个视频镜头中第2个视频段的关键帧,即视频suzie.yuv的第40帧,该视频帧中第1~3个图像块的能量W1的值分别为0.6、0.2和0.8,对比度W2分别为0.7、0.8和0.8,相关性W3分别为0.6、0.4和0.9,熵W4分别为0.3、0.2和0.5,这样构成的模糊形式背景如图1中的Y4指向部分;
(4.2)由镜头si中第l个视频段pl的关键帧fl的模糊形式背景F,根据模糊概念格的构建算法,构建相应的模糊概念格,例如,视频suzie.yuv中第1个镜头第2个视频段关键帧的模糊概念格形式如图1中Y3指向部分:
(4.2a)计算模糊形式背景F中的每列属性值的均值,并将该均值作为每列属性的阈值i1∈[1,N5],其中,N5是模糊形式背景F中的属性总数,模糊形式背景F中小于阈值的属性值取0,大于等于阈值的属性值取1,至此已完成了对模糊形式背景F的二值化处理,得到标准形式背景SF;
(4.2b)初始化模糊概念格,生成模糊概念格的根节点(φ,A)和顶节点(O,φ),其中,O是模糊形式背景F中所有对象的并集,A是模糊形式背景F中所有属性的并集;
(4.2c)在模糊概念格中每加入标准形式背景中的一个对象x*,相应地生成一个新节点c′,即新节点c′与根节点之间是父子节点关系,其中,{x*}表示对象x*的对象集,f({x*})表示对象x*的属性集,α1表示新节点c′中对象集中所有对象在其属性集的隶属度均值,该隶属度均值反映了新节点c′的平均模糊程度,表示新节点c′的对象集中所有对象在其属性集上相对隶属度均值α1的均方差;
(4.2d)从模糊概念格的根节点(φ,A)开始,按自下向上深度遍历方式,将新节点c′与模糊概念格中所有的已有格节点进行比较:
若已有格节点c的属性集是对象x*属性集的子集,即:则将已有格节点c更新为其中,extent(c)表示已有格节点c的对象集,intent(c)表示已有格节点c的属性集,extent(c)U{x*}表示已有格节点c的对象集与对象x*对象集{x*}的并集,α2表示已有格节点c对象集中所有对象在其属性集的隶属度均值,表示已有格节点c的对象集中所有对象在其属性集上相对隶属度均值α2的均方差,此时已有格节点c与模糊概念格中其他格节点的关系不变;
若已有格节点c的属性集与新节点c′的属性集有交集,且不等于模糊概念格中任何一个已有格节点的属性集,则向上搜索模糊概念格,找到与新节点c′有相同属性集且对象集中对象数最多的格节点c″,格节点c″称为产生子节点,该产生子节点c″与新节点c′一起生成新生节点c″′,即: 此时新生节点c″′与新节点c′是父子节点关系,其中,intent(c)If({x*})是已有格节点c的属性集与对象x*属性集的交集,α3是新生节点c″′对象集中所有对象在其属性集的隶属度均值,表示新生节点c″′的对象集中所有对象在其属性集上相对隶属度均值α3的均方差;
(4.2e)重复步骤(4.2c)~(4.2d),直到标准形式背景中所有对象加入模糊概念格中;
(4.2f)按自下向上方式搜索整个模糊概念格,找出模糊概念格中所有没有父节点的格节点,并由这些格节点构成模糊概念格中顶节点(O,φ)的子节点。
步骤5,根据第i个镜头si第l个视频段pl的关键帧fl的模糊概念格,生成一系列纹理关联规则Rt,t∈[1,N9],其中,N9为纹理关联规则总数:
(5a)将模糊概念格中第i4个格节点表示成i4∈[1,N6],其中,N6为模糊概念格中格节点的总数,表示第i4个格节点的对象集,表示第i4个格节点的属性集,参数表示第i4个格节点的对象集中所有对象在其属性集的隶属度均值,该隶属度均值反映了第i4个格节点对象集的平均模糊程度,参数表示第i4个格节点的对象集中所有对象在其属性集上相对隶属度均值的均方差;
(5b)将模糊概念格中第i4个格节点的参数与设定阈值η进行比较,参数与设定阈值γ进行比较,如果满足则该格节点是模糊概念格中的一个频繁节点即:i5∈[1,N7],判断同一个模糊概念格中每个格节点是否为频繁节点时,设定的阈值η和γ是相同的,其中,N7为模糊概念格中频繁节点总数,表示第i5个频繁节点的对象集,表示第i5个频繁节点的属性集,参数表示第i5个频繁节点的对象集中所有对象在其属性集的隶属度均值,参数表示第i5个频繁节点的对象集中所有对象在其属性集上相对隶属度均值的均方差;
(5f)对模糊概念格中的第k3个频繁节点组进行判断,如果频繁节点和频繁节点之间是父子关系,且满足 则该频繁节点组称为(ξ,ψ)条件下关联规则的第t个候选二元组Vt,t∈[1,N9],其中,N9表示关联规则候选二元组的总数,表示频繁格节点的对象集与频繁节点的对象集的并集,#o′表示标准形式背景中所有对象的总数,不同的视频载体选择不同的关联规则支持度阈值ξ和置信度阈值ψ;
(5g)重复步骤(5f),找出模糊概念格中其他所有的关联规则候选二元组:
(5h)根据模糊概念格中第t个关联规则候选二元组Vt,生成第t个关联规则其中,t∈[1,N9],表示频繁节点属性集与频繁节点属性集的差集,每个关联规则候选二元组对应生成一个关联规则,因此关联规则总数与关联规则候选二元组的总数相等;
同一视频不同视频段的关键帧可以生成不同数量和不同内容的纹理关联规则,例如,QICF格式视频suzie.yuv的第1个镜头第2个视频段的关键帧有10个纹理关联规则,suzie.yuv的第1个镜头中第4个视频段有8个纹理关联规则。
步骤6,根据第i个镜头si第l个视频段pl的关键帧fl的纹理关联规则,提取pl的所有帧纹理特征。
(6a)根据第i个镜头si第l个视频段pl的关键帧fl的第t个关联规则Rt,提取具有第t个关联规则Rt中属性的图像块集合;
(6b)重复步骤(6a),提取关键帧fl的所有纹理关联规则相对应的图像块集合;
(6c)取步骤(6b)中关键帧fl提取的所有图像块集合的交集,得到关键帧fl的纹理特征提取结果,例如,视频suzie.yuv中第1个镜头第2个视频段关键帧的纹理特征提取结果如图1中Y2指向部分;
(6d)根据关键帧fl的所有纹理关联规则,按照步骤(6c)中相同方法提取第l个视频段pl中除关键帧fl以外其他所有视频帧的纹理特征。
步骤7,重复步骤2~步骤6,提取第i个镜头si中其他视频段中所有视频帧的纹理特征。
步骤8,重复步骤2~步骤7,提取原始视频v′中其他所有镜头中所有帧的纹理特征。
本发明的效果可通过以下实验仿真进一步说明。
1、仿真条件
实验选择测试视频为QCIF格式的suzie.yuv、CIF格式的stefan.yuv、tempete.yuv、football_split01.yuv和football_split02.yuv,长度分别为90帧、90帧、150帧、2700帧和7200帧,实验软件环境为Matlab7.1。
2、仿真内容及结果
仿真一:将视频suzie.yuv用边缘分割法进行镜头分割,得到一个镜头s1,将s1以每9帧分割成10个视频段pl,l∈[1,10],选取每个视频段的第一帧视频帧作为关键帧fl,l∈[1,10],这里视频suzie.yuv中镜头s1中第4个视频段p4关键帧f4,即选取第40帧进行仿真,分别用本发明和基于DCT变换的方法提取该关键帧f4的纹理特征,其中,本发明是将关键帧f4进行图像分块得到496个图像块bk,k∈[1,496],计算每个图像块bk,k∈[1,496]的灰度共生矩阵Gk,k∈[1,496]和纹理特征向量Wq,q∈[1,14];将该关键帧f4中的496个图像块作为对象集,将这496个图像块14个纹理特征向量作为属性集,构成模糊形式背景F1,并构成相应的模糊概念格;根据关键帧f4的模糊概念格,生成纹理关联规则Rt,t∈[1,10],实验选取模糊概念格中频繁节点阈值η=0.8,γ=0.36,关联规则的支持度阈值ξ=0.6,置信度阈值ψ=0.92。根据关联规则Rt,t∈[1,10],依次提取f4中具有每个关联规则中属性的图像块集合,并取这些图像块集合的交集得到关键帧f4的纹理特征。基于DCT变换提取视频纹理特征是首先将f4进行图像分块,得到496个图像块bk,k∈[1,496],再对每个图像块bk,k∈[1,496]进行DCT变换,通过计算f4中所有图像块bk,k∈[1,496]的DCT变换直流系数之和提取纹理特征,仿真结果如图2所示,其中,图2(a)为视频suzie.yuv中镜头s1中第4个视频段的关键帧f4,图2(b)为本发明提取关键帧f4纹理特征的结果,图2(c)为基于DCT方法提取关键帧f4纹理特征的结果。
由图2可知,本发明提取的纹理特征,较好地滤除了背景信号,有效地提取了关键帧中的纹理复杂区域;基于DCT变换方法提取的关键帧纹理特征中存在一些非纹理区域,不能很好地滤除背景信号。由此可知,本发明提取的关键帧纹理特征准确、有效。
仿真二:选取视频tempete.yuv中的第20个视频帧,按照仿真一中相同方法提取纹理特征,实验选取模糊概念格中频繁节点阈值η=0.8,γ=0.48,关联规则中的ξ=0.65,ψ=0.9,仿真结果如图3所示,其中,图3(a)为第1个镜头中第2个视频段p2的关键帧f2,图3(b)为本发明提取关键帧f2纹理特征的结果,图3(c)为基于DCT方法提取关键帧f2纹理特征的结果。
由图3可知,本发明提取的纹理特征,较好地滤除了背景信号,有效地提取出了关键帧的纹理复杂区域;基于DCT变换方法提取的关键帧纹理特征中存在一些非纹理区域,不能很好地滤除背景信号。由此可知,本发明提取的关键帧纹理特征准确、有效。
仿真三:选取视频stefan.yuv中的第30帧,按照仿真一相同方法提取纹理特征,实验选取模糊概念格中频繁节点阈值η=0.76,γ=0.32,关联规则中的ξ=0.6,ψ=0.92,仿真结果如图4所示,其中,图4(a)为第1个镜头中第3个视频段p3的关键帧f3,图4(b)为本发明提取关键帧f3纹理特征的结果,图4(c)为DCT方法提取关键帧f3纹理特征的结果。对图4进行分析,可得到与仿真一、仿真二相同的结论。
仿真四:本发明挖掘视频特征效率的分析。实验通过计算本发明和基于DCT变换方法提取视频纹理特征的运行时间来比较,如表1所示。
表1本发明与基于DCT变换的视频纹理特征提取方法运行时间对比
由表1可知,本发明在运行时间上优于基于DCT变换方法,随着视频长度的迅速增加,优势愈明显。
以上仿真结果表明,本发明能够快速准确地提取视频纹理特征,与现有方法相比,大大减小了计算量,能够满足海量视频处理的实时性需求。
Claims (3)
1.一种基于模糊概念格的视频纹理特征提取方法,包括如下步骤:
(2)将第i个镜头si以每9帧分割成视频段pl,l∈[1,M2],选取每个视频段pl的第一个视频帧作为pl的关键帧fl,l∈[1,M2],其中,M2为第i个镜头si中视频段总数;
(3)对第i个镜头si第l个视频段pl的关键帧fl进行图像分块,得到一系列的图像块bk,k∈[1,T1],计算每个图像块bk的灰度共生矩阵Gk,k∈[1,T1],其中,T1为关键帧fl中8×8大小的图像块总数;
(4)根据第i个镜头si第l个视频段pl的关键帧fl的每个图像块bk的灰度共生矩阵Gk,计算得到每个图像块bk纹理特征向量Wq,q∈[1,14];
(5)将镜头si第l个视频段pl的关键帧fl的所有图像块bk,k∈[1,T1]作为对象集,将所有图像块的纹理特征向量Wq,q∈[1,14]作为属性集,构成关键帧fl的模糊形式背景F;
(6)根据模糊形式背景F,构建镜头si第l个视频段pl的关键帧fl的模糊概念格;
(7)由镜头si第l个视频段pl的关键帧fl的模糊概念格,生成相应的纹理关联规则Rt,t∈[1,N9],其中,N9为纹理关联规则总数;
(8)根据镜头si第l个视频段pl的关键帧fl的第t个关联规则Rt,提取关键帧fl中具有第t个关联规则Rt属性的图像块集合;
(9)重复步骤(8),提取镜头si第l个视频段pl的关键帧fl的其他所有纹理关联规则相对应的图像块集合;
(10)取步骤(9)中镜头si第l个视频段pl的关键帧fl提取出的所有图像块集合的交集,得到关键帧fl的纹理特征;
(11)根据镜头si第l个视频段pl的关键帧fl的所有纹理关联规则,按照步骤(10)相同方法提取视频段pl中除关键帧fl以外的其他帧的纹理特征;
(12)重复上述步骤(3)~(11),提取第i个镜头si的其他所有视频段中所有视频帧的纹理特征;
(13)重复上述步骤(2)~(12),提取原始视频v的所有镜头中视频帧的纹理特征。
2.根据权利要求1所述的视频纹理特征提取方法,其中步骤(6)所述的“根据模糊形式背景F,构建镜头si第l个视频段pl的关键帧fl的模糊概念格”,按如下步骤进行:
(6a)计算模糊形式背景F中的每列属性值的均值,并将该均值作为每列属性的阈值i1∈[1,N5],其中,N5是模糊形式背景F中的属性总数,模糊形式背景F中小于阈值的属性值取0,大于等于阈值的属性值取1,至此已完成了对模糊形式背景F的二值化处理,得到标准形式背景SF;
(6b)初始化模糊概念格,生成模糊概念格的根节点(φ,A)和顶节点(O,φ),其中,O是标准形式背景中所有对象的并集,A是标准形式背景中所有属性的并集;
(6c)在模糊概念格中每加入标准形式背景中的一个对象x*,相应地生成一个新节点c′,即新节点c′与根节点之间是父子节点关系,其中,{x*}表示对象x*的对象集,f({x*})表示对象x*的属性集,α1表示新节点c′中对象集中所有对象在其属性集的隶属度均值,该隶属度均值反映了新节点c′的平均模糊程度,表示新节点c′的对象集中所有对象在其属性集上相对隶属度均值α1的均方差;
(6d)从模糊概念格的根节点(φ,A)开始,按自下向上深度遍历方式,将新节点c′与模糊概念格中所有的已有格节点进行比较:
若已有格节点c的属性集是新增对象x*属性集的子集,即:则将已有格节点c更新为其中,extent(c)表示已有格节点c的对象集,intent(c)表示已有格节点c的属性集,extent(c)U{x*}表示已有格节点c的对象集与对象x*对象集{x*}的并集,α2表示已有格节点c对象集中所有对象在其属性集的隶属度均值,表示已有格节点c的对象集中所有对象在其属性集上相对隶属度均值α2的均方差,此时已有格节点c与模糊概念格中其他格节点的关系不变;
若已有格节点c的属性集与新节点c′的属性集有交集,且不等于模糊概念格中任何一个已有格节点的属性集,则向上搜索模糊概念格,找到与新节点c′有相同属性集且对象集中对象数最多的格节点c″,格节点c″称为产生子节点,该产生子节点c″与新节点c′一起生成新生节点c″′,即: 此时新生节点c″′与新节点c′是父子节点关系,其中,intent(c)If({x*})表示已有格节点c的属性集与对象x*属性集的交集,α3表示新生节点c″′对象集中所有对象在其属性集的隶属度均值,表示新生节点c″′的对象集中所有对象在其属性集上相对隶属度均值α3的均方差;
(6e)重复步骤(6c)~(6d),直到标准形式背景中所有对象都加入模糊概念格中;
(6f)按自下向上方式搜索整个模糊概念格,找出模糊概念格中所有没有父节点的格节点,并由这些格节点构成模糊概念格中顶节点(O,φ)的子节点。
3.根据权利要求1所述的视频纹理特征提取方法,其中步骤(7)所述的“由镜头si第l个视频段pl的关键帧fl的模糊概念格,生成相应的纹理关联规则”,按如下步骤进行:
(7a)将模糊概念格中第i4个格节点表示成i4∈[1,N6],其中,N6为模糊概念格中格节点的总数,表示第i4个格节点的对象集,表示第i4个格节点的属性集,参数表示第i4个格节点的对象集中所有对象在其属性集的隶属度均值,该隶属度均值反映了第i4个格节点对象集的平均模糊程度,参数表示第i4个格节点的对象集中所有对象在其属性集上相对隶属度均值的均方差;
(7b)将模糊概念格中第i4个格节点的参数与设定阈值η进行比较,参数与设定阈值γ进行比较,如果满足则该格节点是模糊概念格中的一个频繁节点即:i5∈[1,N7],判断同一个模糊概念格中每个格节点是否为频繁节点时,设定的阈值η和γ是相同的,其中,N7为模糊概念格中频繁节点总数,表示第i5个频繁节点的对象集,表示第i5个频繁节点的属性集,参数表示第i5个频繁节点的对象集中所有对象在其属性集的隶属度均值,参数表示第i5个频繁节点的对象集中所有对象在其属性集上相对隶属度均值的均方差;
(7f)对模糊概念格中的第k1个频繁节点组进行判断,如果频繁节点和频繁节点之间是父子关系,且满足 则该频繁节点组称为(ξ,ψ)条件下关联规则的第t个候选二元组Vt,t∈[1,N9],其中,N9表示关联规则候选二元组的总数,表示频繁格节点的对象集与频繁节点的对象集的并集,#o′表示标准形式背景中所有对象的总数,不同的视频载体选择不同的支持度阈值ξ和置信度阈值ψ;
(7g)重复步骤(7f),找出模糊概念格中其他所有的关联规则候选二元组
(7h)根据模糊概念格中第t个关联规则候选二元组Vt,生成第t个关联规则其中,t∈[1,N9],表示频繁节点属性集与频繁节点属性集的差集,每个关联规则候选二元组对应生成一个关联规则,因此关联规则总数与关联规则候选二元组的总数相等;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110180082 CN102306275B (zh) | 2011-06-29 | 2011-06-29 | 基于模糊概念格的视频纹理特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110180082 CN102306275B (zh) | 2011-06-29 | 2011-06-29 | 基于模糊概念格的视频纹理特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102306275A true CN102306275A (zh) | 2012-01-04 |
CN102306275B CN102306275B (zh) | 2013-03-20 |
Family
ID=45380135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110180082 Expired - Fee Related CN102306275B (zh) | 2011-06-29 | 2011-06-29 | 基于模糊概念格的视频纹理特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102306275B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103116890A (zh) * | 2013-02-27 | 2013-05-22 | 中山大学 | 一种基于视频图像的智能搜索匹配方法 |
CN103475935A (zh) * | 2013-09-06 | 2013-12-25 | 北京锐安科技有限公司 | 一种视频片段的检索方法及装置 |
CN104363676A (zh) * | 2014-10-28 | 2015-02-18 | 江苏天语雅思医疗设备有限公司 | 一种全自动智能恒光控制的led手术无影灯系统 |
CN109272538A (zh) * | 2017-07-17 | 2019-01-25 | 腾讯科技(深圳)有限公司 | 图片的传输方法和装置 |
CN111079840A (zh) * | 2019-12-17 | 2020-04-28 | 太原科技大学 | 基于卷积神经网络和概念格的图像语义完备标注方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030088387A1 (en) * | 2001-09-24 | 2003-05-08 | Chang Edward Y. | Dynamic partial function in measurement of similarity of objects |
CN1945628A (zh) * | 2006-10-20 | 2007-04-11 | 北京交通大学 | 一种基于时空显著单元的视频内容表示方法 |
-
2011
- 2011-06-29 CN CN 201110180082 patent/CN102306275B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030088387A1 (en) * | 2001-09-24 | 2003-05-08 | Chang Edward Y. | Dynamic partial function in measurement of similarity of objects |
CN1945628A (zh) * | 2006-10-20 | 2007-04-11 | 北京交通大学 | 一种基于时空显著单元的视频内容表示方法 |
Non-Patent Citations (1)
Title |
---|
张琳等: "一种基于纹理特征的教案视频镜头分割方法", 《计算机仿真》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103116890A (zh) * | 2013-02-27 | 2013-05-22 | 中山大学 | 一种基于视频图像的智能搜索匹配方法 |
CN103116890B (zh) * | 2013-02-27 | 2015-11-18 | 中山大学 | 一种基于视频图像的智能搜索匹配方法 |
CN103475935A (zh) * | 2013-09-06 | 2013-12-25 | 北京锐安科技有限公司 | 一种视频片段的检索方法及装置 |
CN104363676A (zh) * | 2014-10-28 | 2015-02-18 | 江苏天语雅思医疗设备有限公司 | 一种全自动智能恒光控制的led手术无影灯系统 |
CN104363676B (zh) * | 2014-10-28 | 2017-10-20 | 许敏 | 一种全自动智能恒光控制的led手术无影灯系统 |
CN109272538A (zh) * | 2017-07-17 | 2019-01-25 | 腾讯科技(深圳)有限公司 | 图片的传输方法和装置 |
CN109272538B (zh) * | 2017-07-17 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 图片的传输方法和装置 |
CN111079840A (zh) * | 2019-12-17 | 2020-04-28 | 太原科技大学 | 基于卷积神经网络和概念格的图像语义完备标注方法 |
CN111079840B (zh) * | 2019-12-17 | 2022-07-01 | 太原科技大学 | 基于卷积神经网络和概念格的图像语义完备标注方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102306275B (zh) | 2013-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
CN110119728B (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
Torralba et al. | Depth estimation from image structure | |
Zhong et al. | A multiple conditional random fields ensemble model for urban area detection in remote sensing optical images | |
Oliva et al. | Scene-centered description from spatial envelope properties | |
CN109919206A (zh) | 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法 | |
CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
Luo et al. | Unsupervised multiscale color image segmentation based on MDL principle | |
CN102306275B (zh) | 基于模糊概念格的视频纹理特征提取方法 | |
CN104217436B (zh) | 基于多特征联合稀疏图的sar图像分割方法 | |
CN107330875A (zh) | 基于遥感图像正反向异质性的水体周边环境变化检测方法 | |
CN104102928A (zh) | 一种基于纹理基元的遥感图像分类方法 | |
Varughese et al. | Content Based Image Retrieval Technique on Texture and Shape Analysis using Wavelet Feature and Clustering Model | |
CN107341449A (zh) | 一种基于云块特征变化的静止气象卫星降水估算方法 | |
CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
CN106971402B (zh) | 一种基于光学辅助的sar图像变化检测方法 | |
CN104778683A (zh) | 一种基于泛函映射的多模态图像分割方法 | |
CN105205485B (zh) | 基于多类类间最大方差算法的大尺度图像分割算法 | |
Karakış et al. | Analysis of segmentation parameters in ecognition software using high resolution quickbird ms imagery | |
Vukadinov et al. | An algorithm for coastline extraction from satellite imagery | |
Geng et al. | A novel color image segmentation algorithm based on JSEG and Normalized Cuts | |
CN107748875A (zh) | 一种基于多时相雷达图像纹理特征的震害建筑物识别方法 | |
Moghaddam et al. | Dimension and lacunarity measurement of IR images using Hilbert scanning | |
Kaya et al. | LiDAR-aided total variation regularized nonnegative tensor factorization for hyperspectral unmixing | |
Seresht et al. | Remote sensing panchromatic images classification using moment features and decision fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130320 Termination date: 20180629 |
|
CF01 | Termination of patent right due to non-payment of annual fee |