CN107105306A - 基于朱刘方法和ottc的群体图像编码结构生成方法 - Google Patents

基于朱刘方法和ottc的群体图像编码结构生成方法 Download PDF

Info

Publication number
CN107105306A
CN107105306A CN201710343837.XA CN201710343837A CN107105306A CN 107105306 A CN107105306 A CN 107105306A CN 201710343837 A CN201710343837 A CN 201710343837A CN 107105306 A CN107105306 A CN 107105306A
Authority
CN
China
Prior art keywords
node
spanning tree
depth
minimum spanning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710343837.XA
Other languages
English (en)
Other versions
CN107105306B (zh
Inventor
吴炜
裴婉婉
许冬梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710343837.XA priority Critical patent/CN107105306B/zh
Publication of CN107105306A publication Critical patent/CN107105306A/zh
Application granted granted Critical
Publication of CN107105306B publication Critical patent/CN107105306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于朱刘方法和OTTC的群体图像编码结构生成方法。解决了现有大部分方法不能保证用户即时访问、且HAP方法编码效率不高的问题。实现步骤为：构造有权有向图；用朱刘方法得到最小生成树；判断最小生成树的深度是否满足限制；如满足，则输出该最小生成树，还原成图像，构成群体图像编码结构；如最小生成树深度不满足限制，添加新边，使用OTTC进行深度限制，输出深度受限的最小生成树，还原成图像，构成群体图像编码结构。本发明具有生成树权值小，编码效率高，且能保证用户即时访问，与现有HAP方法对比的实验也证明了本发明生成树权值小，编码效率高。可应用于云中图像压缩、个人相册压缩等领域。

Description

基于朱刘方法和OTTC的群体图像编码结构生成方法
技术领域
本发明属于图像编码技术领域，更进一步涉及群体图像编码结构生成，具体是一种基于朱刘方法和OTTC的群体图像编码结构生成方法，可用于云端群体图像压缩，个人相册图像压缩以及图像数据库压缩的类似场景。
背景技术
群体图像通常聚类后表现出相同场景下，相同或不同拍摄角度的特点，图像间的相关性较强，如果使用传统JPEG或JPEG-2000对图像进行编码，将会造成存储空间大、编码效率不够高。现有群体图像编码主要利用群体图像间的相关性生成伪视频编码结构，再采用视频压缩技术进行压缩。伪视频编码结构是群体图像经过一系列处理得到的类似于自然视频的序列，序列之间存在一定的参考关系。生成群体图像编码结构主要考虑两个方面：一是提高编码效率，二是保证用户能随时读取图像。提高编码效率通过对群体图像进行相关性描述，并生成树形图；而要保证用户能随时读取图像，必须对树形图进行深度限制，深度越大，用户读取图片需要时间越长。现有得到深度限制的最小生成树的方法主要有图像集层次聚类方法和迭代式求解深度限制最小生成树方法。图像集层次聚类方法是利用传统自下而上或者自上而下的方法对群体图像进行聚类，形成一个具有深度限制的聚类树形结构，但此类方法通常得到的树形结构并不是最优结构，编码效率提升不高；迭代式求解深度限制最小生成树方法是通过不断对最小生成树的子树进行迭代，直到找到权值最小、且满足深度限制的最小生成树为止，时间复杂度很高，难以在有效时间内得到满足条件的群体图像编码结构。
Yonggen Ling,Oscar C.Au,Ruobing Zou,Jiahao Pang,Haiyan Yang,AminZheng在其发表的论文“Photo Album Compression By Leveraging Temporal-SpatialCorrelations and HEVC”(《IEEE International Symposium on Circuits&Systems》2014)提出采用HAP方法得到深度限制的有向图最小生成树，HAP方法是通过聚类的思想将图像分类并形成中心点，低层的聚类中心点作为高层的图像，依次从低层到高层迭代，直至最后得到一个聚类中心作为根图像。但HAP方法通过公式自动迭代，过程难于理解，且该聚类方法往往会产生生成树代价过大，继而造成编码效率不高。
Zou R,Au O C,Zhou G在其发表的论文“Personal photo album compressionand management”(《IEEE International Symposium on Circuits and Systems.IEEE》2013)提出以迭代方法不断地判断子树是否满足深度限制条件，本质上是对所有满足条件的最小生成树进行遍历。对于节点数较多，得到最小生成树深度较深的情况下，迭代过程繁琐，必须将满足条件的子树全部计算完成才能得到结果，很难在有效时间内得到深度限制的最小生成树，因此不适用于现实情况。
微软技术许可有限公司在其申请的专利“基于特征的图像集合压缩”(申请号:201380078260.4)公开了一种使用SIFT特征的压缩方法。其主要思想是：将图像集根据SIFT特征进行聚类，并对聚类好的图像进行有向图描述，再生成最小生成树，根据最小生成树对图像的残差进行编码。但该方法没有对最小生成树进行深度限制，若聚类后图像个数较多，最小生成树的深度将会较大，造成用户不能随机访问图像，适用性不强。
施云慧、李达、丁文鹏、尹宝才在其申请的专利“一种屏幕图像集合的压缩方法”(申请号:201510029087.X)公开了一种屏幕图像集合的压缩方法。其主要是计算图像集中每幅图像的每个图像块的哈希值，并通过哈希特征来表征图像之间的相关性，在对其生成最小生成树来确定预测结构，继而使用HEVC编码。但这种方法没有对最小生成树的深度进行限制，使得编解码时间较长，用户访问深度较深的图像时，等待时间过长。
RT Wang，Y Zhao，CY Lin，HH Bai，MQ Liu在其发表的论文“Image setcompression based on undirected weighted graph”(《Journal of InformationHiding and Multimedia Signal Processing》2015)提出基础无向图的编码预测结构，其具体过程为：对两两图像之间yuv文件中y分量进行下采样，将高分辨率图像转换为低分辨率，并使用相关系数描述图像间相似程度，进而将群体图像描述为无向图，并使用prim算法得到最小生成树，该方法同样没有对最小生成树进行深度限制，若用户访问深度较深的图像时，等待时间过长，不适用于现实情况。
西安电子科技大学在其申请的专利“群体图像编码结构生成方法”(申请号：201710028348.5)提出使用基于最短路径的群体图像编码结构生成方法，依次搜索根节点s经过1个中间节点，2个中间节点，…n个中间节点到达其余所有节点的最短路径，得到一棵有重复节点的生成树；通过遍历根节点s到其余每个节点的路径，去除重复节点，得到群体图像编码结构。该方法适用于群体图像间相关性差异较大的情况，对于群体图像间相关性差异较小的情况并不适用。
综上，现有群体图像编码结构生成方法基本上没有考虑深度受限的最小生成树。而专利“群体图像编码结构生成方法”适用于群体图像之间相关性差异较大的情况。当群体图像之间相关性差异较小时，HAP方法得到的深度受限最小生成树的代价较大，编码效率不够高。
发明内容
本发明在于针对上述现有技术的不足，提出一种基于朱刘方法和OTTC的群体图像编码结构生成方法，适用于群体图像之间相关性差异较小的情况，对最小生成树的深度进行限制，并同时进一步减小生成树的代价，提高群体图像编码效率。
本发明是一种基于朱刘方法和OTTC的群体图像编码结构生成方法，其特征在于，包括有如下步骤：
(1)构造有权有向图：将群体图像抽象为有权有向图，即将群体图像中的每一个图像抽象为节点，并根据图像的相关性表征两两节点之间的距离，相关性越大，距离越短，得到满足各个节点之间相互关系的有权有向图G(V,E)，其中，V为节点集合，E为有向边集合；
(2)初始化：给定最大深度限制dmax，用于限制最终树形图的深度；给定节点个数N；
(3)在有权有向图G(V,E)中使用朱刘方法得到最小生成树T：
(3a)对有权有向图G(V,E)进行预处理，得到预处理后的有权有向图G1(V,E)：虚拟一个根节点r，将该根节点r与其他所有节点的距离定义为有权有向图G(V,E)中所有边的权值之和；对于任意两个节点vi和vj，若从节点vi到节点vj有多条边，则只保留其中最短的一条；
(3b)寻找所有节点的最短入边，构成最短入边集合P，节点v最短入边的起点用π(v)来表示；
(3c)判断最短入边集合P＝{＜π(v),v＞}是否构成环，其中，节点v∈V且v≠r，若不构成任何环，得到最小生成树T，跳转至步骤(4)；否则，执行步骤(3d)；
(3d)对构成环的有权有向图进行缩环处理，并返回步骤(3b)；
(4)判断最小生成树的深度dep(T)是否大于最大深度限制dmax，若是，则执行步骤(5)；否则，则该最小生成树T即为深度受限的最小生成树，执行步骤(7)；
(5)对最小生成树T添加新边＜vi,vj＞，得到添加新边后的有权有向图G2(V,E)，确定有权有向图G2(V,E)的根节点R，其中边添加规则是节点vi的深度dep(vi)小于节点vj的深度dep(vj)；
(6)在添加新边后的有权有向图G2(V,E)使用OTTC对最小生成树进行深度限制：
(6a)令迭代次数iter＝0，蓝子树集合B和浅蓝边集合L为空，取有权有向图G2(V,E)中根节点R加入蓝节点集合TT，把根节点R的出度边＜R,vj＞着以浅蓝色，即：L＝L∪(R,vj)，其中
(6b)在所有浅蓝色边中，选择最小长度边＜vi,vj＞,其中，节点节点将其着成蓝色，置TT＝TT∪{vj}，B＝B∪＜vi,vj＞；
(6c)取节点vj的一条未着色出度边＜vj,vp＞，按照着色规则对其进行着色；
(6d)判断节点vj所有的出度边是否都已着色，若是，执行(6e)；否则，执行(6c)，直到所有边都已着色；
(6e)迭代次数iter加1，判断iter是否等于节点个数N减1，若等于，则将蓝子树集合B中节点和边构成深度受限的最小生成树，执行步骤(7)；否则，返回步骤(6b)，从浅蓝色边中选择最短的边着为蓝色，继续进行OTTC；
(7)输出深度受限的最小生成树，并将各个节点还原为图像，构成群体图像伪视频序列编码结构。
本发明的技术思路是：通过将群体图像抽象为有权有向图，先使用朱刘方法得到最小生成树，判断最小生成树的深度是否大于最大深度限制，若最小生成树的深度大于最大深度限制，将最小生成树添加新边，并进一步使用OTTC得到深度限制的最小生成树，最后将深度限制的最小生成树还原成群体图像伪视频序列编码结构
本发明与现有技术相比，具有以下优点：
第一：本发明将群体图像编码结构生成分解为两个步骤：使用朱刘方法得到最小生成树；在不满足深度限制的条件下，使用OTTC进行深度限制。相对于现有大部分方法，本发明能够限制最小生成树的深度，满足用户即时读取图像的需求。
第二：本发明避免了HAP方法中将相关图像层层迭代，使得高层的中心点到其它图像的权值过大，进而造成深度限制的最小生成树权值不够优的问题，本发明不断从候选边中选择最短边纳入到生成树中，使得最终深度限制的最小生成树权值较小，编码效率要比HAP方法的高。
附图说明
图1为本发明总实现流程图；
图2为本发明中朱刘方法实现流程图；
图3为本发明中OTTC实现流程图；
图4为针对图集1本发明与现有HAP方法的群体图像编码效率曲线对比图；
图5为针对图集2本发明与现有HAP方法的群体图像编码效率曲线对比图；
图6为针对图集3本发明与现有HAP方法的群体图像编码效率曲线对比图。
具体实施方式
实施例1：
现有提出的群体图像编码结构生成方法多数没有对最小生成树进行深度限制，不能实现用户即时读取图像，不适应现实情况，而现有HAP方法，得到的深度受限的最小生成树的代价较大，编码效率不够高，针对以上方法存在的缺点，本发明提出一种基于朱刘方法和OTTC的群体图像编码结构生成方法。
本发明是一种基于朱刘方法和OTTC的群体图像编码结构生成方法，参照附图1，包括有如下步骤：
(1)构造有权有向图：将群体图像抽象为有权有向图，即将群体图像中的每一个图像抽象为节点，并根据图像的相关性表征两两节点之间的距离，相关性越大，距离越短，得到满足各个节点之间相互关系的有权有向图G(V,E)，其中，V为节点集合，E为有向边集合。
(2)初始化：给定最大深度限制dmax，用于限制最终树形图的深度；给定节点个数N，对有权有向图G(V,E)进行初始化。
(3)参照附图2，在有权有向图G(V,E)中使用朱刘方法得到最小生成树T：
(3a)对有权有向图G(V,E)进行预处理，得到预处理后的有权有向图G1(V,E)，预处理步骤如下：
虚拟一个根节点r，将该根节点r与其他所有节点的距离定义为有权有向图G(V,E)中所有边的权值之和，必须虚拟根节点的原因是初始时刻，并不能确定有权有向图G(V,E)中的根节点是哪个，因此需要虚拟一个根节点。
对于任意两个节点vi和vj，若从节点vi到节点vj有多条边，则只保留其中最短的一条作为节点vi到节点vj的有向边。
(3b)寻找所有节点的最短入边，构成最短入边集合P，节点v的最短入边的起点用π(v)来表示。
(3c)判断最短入边集合P＝{＜π(v),v＞}是否构成环，其中，节点v∈V且v≠r，若不构成任何环，得到最小生成树T，跳转至步骤(4)；否则，执行步骤(3d)。
(3d)对构成环的有权有向图进行缩环处理，并返回步骤(3b)。
(4)判断最小生成树的深度dep(T)是否大于最大深度限制dmax，若是，则执行步骤(5)；否则，则该最小生成树T即为深度受限的最小生成树，执行步骤(7)，对其进行输出。
(5)对最小生成树T添加新边＜vi,vj＞，得到添加新边后的有权有向图G2(V,E)，确定有权有向图G2(V,E)的根节点R，其中边添加规则为：对于节点vi和节点vj，若节点vi的深度dep(vi)小于节点vj的深度dep(vj)，则添加新边＜vi,vj＞。
(6)参照附图3，在添加新边后的有权有向图G2(V,E)使用OTTC对最小生成树进行深度限制：
OTTC实现过程是：在深度限制的条件下，从候选浅蓝边中不断添加最短的边，直到得到满足深度限制的最小生成树，具体步骤是：
(6a)令迭代次数iter＝0，蓝子树集合B和浅蓝边集合L为空，取有权有向图G2(V,E)中根节点R加入蓝节点集合TT，把根节点R的出度边＜R,vj＞着以浅蓝色，即：L＝L∪(R,vj)，其中
(6b)在所有浅蓝色边中，选择最小长度边＜vi,vj＞(其中，vi∈TT，)，将其着成蓝色，置TT＝TT∪{vj}，B＝B∪＜vi,vj＞。
(6c)取节点vj的一条未着色出度边＜vj,vp＞，按照着色规则对其进行着色。
(6d)判断节点vj所有的出度边是否都已着色，着色可为浅蓝色或者红色，若是，执行(6e)；否则，执行(6c)，直到所有边都已着色。
(6e)迭代次数iter加1，判断iter是否等于节点个数N减1，若等于，说明已经找到所有满足深度限制的有向边，则将蓝子树集合B中节点和边构成深度受限的最小生成树，执行步骤(7)；否则，返回步骤(6b)，从浅蓝色边中选择最短的边着为蓝色，继续进行OTTC。
(7)输出深度受限的最小生成树，并将各个节点还原为图像，构成群体图像伪视频序列编码结构。
本发明先使用朱刘方法得到最小生成树；在不满足深度限制的情况下，对最小生成树添加新边，再使用OTTC进行深度限制。其实现过程简单，易于理解。
实施例2：
基于朱刘方法和OTTC的群体图像编码结构生成方法同实施例1，其中步骤(3d)中对最短入边集合构成的环C进行缩环处理，按如下步骤进行：
(3d1)如果＜vi,vj＞是最短入边集合P中的一条有向边e，其中，节点节点vj∈C，则将环C缩为新的节点vc，得到新边enew＝＜vi,vc＞，新边权重ω(enew)＝ω(e)-ω(π(vj),vj)。
(3d2)如果＜vi,vj＞是最短入边集合P中的一条有向边e，其中，节点vi∈C，节点则将环C缩为新的节点vc，得到新边enew＝＜vc,vj＞，新边权重ω(enew)＝ω(vi,vj)。
本发明采用朱刘方法中缩环的方式，不断将构成环的节点和边缩成新的节点，直到得到无环的生成树，再对缩完的环进行展开，得到权值最小的树形图。若该树形图满足深度限制，则是所有生成树中权值最小的，编码效率最高。
实施例3：
基于朱刘方法和OTTC的群体图像编码结构生成方法同实施例1-2，其中步骤(6c)中对未着色的出度边进行着色的规则，按如下步骤处理：
(6c1)若节点有向边＜vj,vp＞不属于浅蓝边集合L，且节点dep(vj)<dmax，则把有向边＜vj,vp＞着为浅蓝色，L＝L∪＜vj,vp＞，并执行步骤(6c2)；否则，将有向边＜vj,vp＞着成红色。
(6c2)从节点vp的所有入度浅蓝色边中保留最短的一条有向边＜vw,vp＞，将其余入度浅蓝色边都着为红色，并从L集合中删除红色边。
本发明中对节点进行深度判断，若节点满足深度限制，才能对其最短的出度边着为相应的浅蓝色，否则，该节点所有的出度边都将着为红色，不被纳入到最终深度受限的最小生成树中。通过该着色规则可以控制候选边，将不满足深度限制和权值限制的有向边剔除掉。
实施例4：
基于朱刘方法和OTTC的群体图像编码结构生成方法同实施例1-3，其实现步骤如下：
(1)构造有权有向图：
将群体图像抽象为有权有向图，即将群体图像中的每一个图像抽象为节点，节点之间的距离表示图像间的相关性，即通过尺度不变特征转换方法SIFT匹配两两图像的特征点，并依次计算两两匹配特征点的距离，统计平均后得到两两图像之间的平均距离E，相关性越大，平均距离E越小，得到满足各个节点之间相互关系的有权有向图G(V,E)，其中，V为节点集合，E为有向边集合。
通过距离反映图像间的相关性还可通过颜色直方图、局部二值算子等方法实现，其中，颜色直方图是统计图像中所包含的颜色，并对其进行直方图统计，局部二值算子是给定窗口，比较窗口中心像素与周围像素的灰度值大小，并生成局部二值算子，直到得到整幅图像的局部二值算子，并统计成直方图。通过计算直方图的相关系数来表示图像间的相关性。但这类方法通常不能完全反映图像的相关程度，且受光照、旋转、尺寸影响较大。所以本发明中使用SIFT匹配较为准确稳定。
(2)初始化：同实施例1所示初始化。
(3)在有权有向图G(V,E)中使用朱刘方法得到最小生成树T，具体步骤如实施例1-2：
(4)判断最小生成树的深度dep(T)是否大于最大深度限制dmax，若是，则执行步骤(5)；否则，则该最小生成树即为深度受限的最小生成树，执行步骤(7)；
(5)对最小生成树T添加新边＜vi,vj＞，得到图G2(V,E)，确定图G2(V,E)的根节点R，其中添加规则是：对于节点vi和节点vj，若节点vi的深度dep(vi)小于节点vj的深度dep(vj)，则添加有向边＜vi,vj＞；
(6)参照附图4，在添加新边后的有权有向图G2(V,E)使用OTTC对最小生成树进行深度限制，具体步骤如实施例1-3。
(7)输出深度受限的最小生成树，并将其还原为图像，构成群体图像伪视频序列编码结构：根图像作为视频编码中的I帧，其余图像可作为P帧，其中，下层图像将上层图像作为参考图像。
本发明采用了SIFT匹配来表征图像之间的相关性，在此基础上构造群体图像的有向图，使用朱刘方法计算最小生成树，并进一步使用OTTC得到最终深度限制的最小生成树，本发明得到的树形图权值较小，能够有效的提高编码效率。
下边给出一个更加详尽的例子，对本发明进一步说明。
实施例5：
基于朱刘方法和OTTC的群体图像编码结构生成方法同实施例1-4，对于相似度并不高的群体图像，可先对其进行聚类，得到相似度较高的多组群体图像，在此基础上，进行以下步骤：
步骤1，构造有权有向图：
将群体图像抽象为有权有向图，即将群体图像中的每一个图像抽象为节点，节点之间的距离表示图像间的相关性，即通过尺度不变特征转换方法SIFT匹配两两图像的特征点，并依次计算两两匹配特征点的距离，统计平均后得到两两图像之间的平均距离E，相关性越大，平均距离E越小，得到满足各个节点之间相互关系的有权有向图G(V,E)，其中，V为节点集合，E为有向边集合。
通过距离反映图像间的相关性还可通过颜色直方图、局部二值算子实现，其中，颜色直方图是统计图像中所包含的颜色，并对其进行直方图统计，局部二值算子是给定窗口，比较窗口中心像素与周围像素的灰度值大小，并生成局部二值算子，直到得到整幅图像的局部二值算子，并统计成直方图。通过计算直方图的相关系数来表示图像间的相关性。但这类方法通常不能完全反映图像的相关程度，且受光照、旋转、尺寸影响较大。所以本发明中使用SIFT匹配较为准确稳定。
步骤2，初始化：给定最大深度限制dmax，用于限制最终树形图的深度；给定节点个数N，对有权有向图G(V,E)进行初始化。
步骤3，对有权有向图G(V,E)使用朱刘方法得到最小生成树T：
步骤3a，对有权有向图G(V,E)进行预处理得到预处理后的有权有向图G1(V,E)，其中预处理包括：
虚拟一个根节点r，将该根节点r与其他所有节点的距离定义为有权有向图G(V,E)中所有边的权值之和。
对于任意两个节点vi和vj，若从节点vi到节点vj有多条边，则保留其中最短的一条，除去其余各条边，最短的这条边称为节点vi到节点vj的有向边。
步骤3b，寻找所有节点的最短入边，构成最短入边边集合P。节点v的最短入边的起点用π(v)来表示。
步骤3c，判断最短入边集合P＝{＜π(v),v＞}是否构成环，其中，节点v∈V且v≠r，如果不包含任何环，去除虚拟根节点r，得到最小生成树T，跳转至步骤(4)。否则，说明边集合中至少包含了一个环，进行步骤(3d)进行缩环处理。
步骤3d，对构成环的有权有向图进行缩环处理：
如果＜vi,vj＞是最短入边集合P中的一条有向边e，其中，vj∈C，那么将环C缩为新的节点vc，得到新边enew＝＜vi,vc＞，权重ω(enew)＝ω(e)-ω(π(vj),vj)；
如果＜vi,vj＞是最短入边集合P中的一条有向边e，其中，vi∈C，那么将环C缩为新的节点vc，得到新边enew＝＜vc,vj＞，权重ω(enew)＝ω(vi,vj)。
如果＜vi,vj＞是最短入边集合P中的一条有向边e，其中，则不进行缩环。
进行以上步骤后，返回步骤(3b)。
步骤4，判断最小生成树的深度dep(T)是否大于最大深度限制dmax，若是，则执行步骤(5)；否则，执行步骤(7)。
步骤5，对最小生成树T添加新边＜vi,vj＞，得到添加新边后的有权有向图G2(V,E)，确定有权有向图G2(V,E)的根节点R。其中边添加规则是对于节点vi和节点vj，若节点vi的深度dep(vi)小于节点vj的深度dep(vj)，则添加新边＜vi,vj＞。
步骤6，在添加新边后的有权有向图G2(V,E)使用OTTC对最小生成树进行深度限制：
步骤6a，令迭代次数iter＝0，定义蓝子树集合B和浅蓝边集合L为空，其中，蓝子树集合B是最终添加到深度受限的最小生成树的节点和有向边集合；浅蓝边集合L是候选边集合；取有权有向图G2(V,E)中根节点R加入蓝节点集合TT，其中，蓝节点集合TT是最终添加到深度受限的最小生成树的节点集合；把根节点R的出度边＜R,vj＞着以浅蓝色，即：L＝L∪(R,vj)，其中
步骤6b，在所有浅蓝色边中，选择最小长度边＜vi,vj＞(其中，节点vi∈TT，节点)，将其着成蓝色，置TT＝TT∪{vj}，B＝B∪＜vi,vj＞。
步骤6c，取节点vj的一条未着色出度边＜vj,vp＞。按照着色规则对其进行着色，其中，着色规则具体步骤如下：
步骤6c1，若节点有向边＜vj,vp＞不属于浅蓝边集合L，且节点dep(vj)<dmax，则把有向边＜vj,vp＞着为浅蓝色，L＝L∪＜vj,vp＞，并执行步骤(6c2)；否则，将有向边＜vj,vp＞着成红色。
步骤6c2，从节点vp的所有入度浅蓝色边中保留最短的一条有向边＜vw,vp＞，将其余入度浅蓝色边都着为红色，并从L集合中删除红色边。
步骤6d，判断节点vj所有的出度边是否都已着色。若是，执行(6e)；否则，执行步骤(6c)，直到所有边都已着色。
步骤6e，迭代次数iter加1，判断iter是否等于节点个数N减1，若等于，则表明已经得到满足条件的有向边，将蓝子树集合B中节点和有向边构成深度受限的最小生成树，执行步骤(7)；否则，返回步骤(6b)。
步骤7，输出深度受限的最小生成树，并将节点还原为图像，构成群体图像伪视频序列编码结构：根图像作为视频编码中的I帧，其余图像可作为P帧，其中，下层图像将上层图像作为参考图像。
本发明先将群体图像通过一定的特征提取抽象为有权有向图，通过朱刘方法得到不限深度的最小生成树，并判断该最小生成树是否满足深度限制，若不满足深度限制，则在该最小生成树中添加新边，并采用OTTC思想对最小生成树进行深度限制，得到深度限制的最小生成树，继而生成群体图像伪视频编码结构。本发明适用于群体图像之间相关性差异较小的情况，既考虑到用户即时读取图像，使用OTTC将最小生成树进行深度限制，又比现有HAP方法得到的深度受限最小生成树权值小，编码效率更高。
本发明的效果通过以下实验进一步说明：
实施例6：
基于朱刘方法和OTTC的群体图像编码结构生成方法同实施例1-5，
实验条件：
本发明仿真实验是在windows7系统，处理器Intel(R)Core(Tm)i5-2450M CPU主频2.50GHz，RAM 4GB的环境下进行的。编程语言是C++,编程软件为VS2010。
本发明中，所有测试图像来源于Visual Geometry Group中巴黎数据集(ParisDataset)网址：http://www.robots.ox.ac.uk/～vgg/data/parisbuildings/。在该图像集中，图集种类多且图像之间差异性不一，选取一部分图像，构成群体图像。图像集信息如下表所示：其中，用N表示图像尺寸不统一。
表1图像集信息
以上3个测试图集，在使用本发明之前，先对图像的尺寸进行统一，并采用尺度不变特征转换方法SIFT得到图像之间的距离用来表征图像的相关性。其中，invalides抽象为有权有向图后，节点个数为8，总边数为56；sacrecoeur抽象为有权有向图后，节点个数为16，总边数为240；defense抽象为有权有向图后，节点个数为24，总边数为552。
实验内容及结果分析：
仿真1，使用本发明与现有的HAP方法分别对上述3个图集进行三层限制、四层限制、五层限制，得到的群体图像编码结构对应的最小生成树权值如表2。
表2两种方法测试结果
从表2可以看出：invalides图集中，总图像个数较少，本发明经过朱刘方法得到的最小生成树为3层，在4层、5层深度限制下的实际层数也为3层，权值与3层限制下的最小生成树的权值相同，本发明在3层深度限制下得到的最小生成树的权值小于HAP方法；sacrecoeur图集中，本发明在5层限制下得到的最小生成树实际为4层，权值与4层限制下的最小生成树的权值相同，在进行3层、4层深度限制下，本发明都会得到比HAP方法更为小的权值；defense图集中，在3层、4层、5层深度限制下，本发明得到的最小生成树的权值均小于HAP方法。可见，本发明在多个图像集中，在多个深度限制条件下，均能得到比现有HAP方法权值更小的最小生成树，减小了生成树的代价。
实施例7：
基于朱刘方法和OTTC的群体图像编码结构生成方法同实施例1-5，其中仿真条件及内容同实施例6。
仿真2，使用本发明和HAP方法对invalides、sacrecoeur、defense分别进行3层、4层、5层深度限制，根据深度受限最小生成树的参考关系得到群体图像编码结构，并按照该结构使用视频编码技术进行编码，得到两种方法的编码效率对比曲线图。在相同比特率下，峰值信噪比越高，其对应的编码效率就越高。
因为invalides图像集图像个数较少，在3层、4层、5层限制下，本发明得到的深度受限最小生成树均为3层，因此，只将3层限制下本发明和HAP方法编码效率对比；sacrecoeur图像集在4层、5层深度限制下，都得到4层的最小生成树，因此，对sacrecoeur图像集进行3层、4层深度限制下本发明和HAP方法的编码效率对比。
客观的讲，针对于群体图像编码，使用HAP方法得到的编码结构已经比传统JPEG或者JEPG-2000技术提高了编码效率，但由于其使用聚类思想，通过迭代方法近似生成深度受限的最小生成树，使得该生成树代价不够小，编码效率还有一定的提升空间。本发明通过朱刘方法先确定最小代价生成树，在不满足深度限制的情况下，不断从候选边中选择权值最小的边，使得最终的深度受限最小生成树代价比HAP方法更低，进一步提升了编码效率。
从图4可以看出，针对invalides，深度限制为3层时，在比特率相同的情况下，本发明的峰值信噪比高于HAP方法，可得其编码效率优于HAP方法。
从图5可以看出，针对sacrecoeur，深度限制为3层、4层时，在比特率相同的情况下，本发明无论是3层深度限制，见图5a，还是4层深度限制，见图5b，其峰值信噪比均高于HAP方法，可知本发明的编码效率均优于HAP方法。
从图6可以看出，针对defense，深度限制为3层、4层、5层时，在比特率相同的情况下，本发明无论是3层深度限制，见图6a；4层深度限制，见图6b；还是5层深度限制，见图6c，其峰值信噪比均高于HAP方法，本发明的编码效率均优于HAP方法。
综上，本发明相对于HAP方法，易于理解，得到的群体图像编码结构提升了编码效率。
简而言之，本发明公开的一种基于朱刘方法和OTTC的群体图像编码结构生成方法。解决现有大部分群体图像编码结构生成方法没有考虑用户即时访问图像、且现有HAP方法的编码效率不高的缺点。本发明实现步骤为：(1)构造有权有向图；(2)使用朱刘方法得到最小生成树；(3)判断最小生成树的深度是否满足限制；(4)假如满足，则输出该最小生成树，还原成图像，构成群体图像编码结构；(5)假如最小生成树深度不满足限制，则对最小生成树添加新边，使用OTTC对其进行深度限制，输出深度受限的最小生成树，还原成图像，构成群体图像编码结构。本发明具有生成树权值小，编码效率高，且能保证用户即时访问，与现有HAP方法对比的实验也证明了本发明生成树权值小，编码效率高。可应用于云中图像压缩、个人相册压缩等领域。

Claims (3)

1.一种基于朱刘方法和OTTC的群体图像编码结构生成方法，其特征在于，包括有如下步骤：
(1)构造有权有向图：将群体图像抽象为有权有向图，即将群体图像中的每一个图像抽象为节点，并根据图像的相关性表征两两节点之间的距离，相关性越大，距离越短，得到满足各个节点之间相互关系的有权有向图G(V,E)，其中，V为节点集合，E为有向边集合；
(2)初始化：给定最大深度限制dmax，用于限制最终树形图的深度；给定节点个数N；
(3)在有权有向图G(V,E)中使用朱刘方法得到最小生成树T：
(3a)对有权有向图G(V,E)进行预处理，得到预处理后的有权有向图G1(V,E)：虚拟一个根节点r，将该根节点r与其他所有节点的距离定义为有权有向图G(V,E)中所有边的权值之和；对于任意两个节点vi和vj，若从节点vi到节点vj有多条边，则只保留其中最短的一条；
(3b)寻找所有节点的最短入边，构成最短入边集合P，节点v最短入边的起点用π(v)来表示；
(3c)判断最短入边集合P＝{＜π(v),v＞}是否构成环，其中，节点v∈V且v≠r，若不构成任何环，得到最小生成树T，跳转至步骤(4)；否则，执行步骤(3d)；
(3d)对构成环的有权有向图进行缩环处理，并返回步骤(3b)；
(4)判断最小生成树的深度dep(T)是否大于最大深度限制dmax，若是，则执行步骤(5)；否则，则该最小生成树T即为深度受限的最小生成树，执行步骤(7)；
(5)对最小生成树T添加新边＜vi,vj＞，得到添加新边后的有权有向图G2(V,E)，确定有权有向图G2(V,E)的根节点R，其中边添加规则是节点vi的深度dep(vi)小于节点vj的深度dep(vj)；
(6)在添加新边后的有权有向图G2(V,E)使用OTTC对最小生成树进行深度限制：
(6a)令迭代次数iter＝0，蓝子树集合B和浅蓝边集合L为空，取有权有向图G2(V,E)中根节点R加入蓝节点集合TT，把根节点R的出度边＜R,vj＞着以浅蓝色，即：L＝L∪(R,vj)，其中
(6b)在所有浅蓝色边中，选择最小长度边＜vi,vj＞,其中，节点vi∈TT，节点将其着成蓝色，置TT＝TT∪{vj}，B＝B∪＜vi,vj＞；
(6c)取节点vj的一条未着色出度边＜vj,vp＞，按照着色规则对其进行着色；
(6d)判断节点vj所有的出度边是否都已着色，若是，执行(6e)；否则，执行(6c)，直到所有边都已着色；
(6e)迭代次数iter加1，判断iter是否等于节点个数N减1，若等于，则将蓝子树集合B中节点和边构成深度受限的最小生成树，执行步骤(7)；否则，返回步骤(6b)，从浅蓝色边中选择最短的边着为蓝色，继续进行OTTC；
(7)输出深度受限的最小生成树，并将各个节点还原为图像，构成群体图像伪视频序列编码结构。
2.根据权利要求1所述的基于朱刘方法和OTTC的群体图像编码结构生成方法，其中步骤(3d)中对环C进行缩环处理，按如下步骤进行：
(3d1)如果＜vi,vj＞是最短入边集合P中的一条有向边e，其中，节点节点vj∈C，则将环C缩为新的节点vc，得到新边enew＝＜vi,vc＞，新边权重ω(enew)＝ω(e)-ω(π(vj),vj)；
(3d2)如果＜vi,vj＞是最短入边集合P中的一条有向边e，其中，节点vi∈C，节点则将环C缩为新的节点vc，得到新边enew＝＜vc,vj＞，新边权重ω(enew)＝ω(vi,vj)。
3.根据权利要求1所述的基于朱刘方法和OTTC的群体图像编码结构生成方法，其中步骤(6c)中对节点vj未着色的出度边按照着色规则进行着色，包括如下步骤处理：
(6c1)若节点有向边＜vj,vp＞不属于浅蓝边集合L，且节点dep(vj)<dmax，则把有向边＜vj,vp＞着为浅蓝色，L＝L∪＜vj,vp＞，并执行步骤(6c2)；否则，将有向边＜vj,vp＞着成红色；
(6c2)从节点vp的所有入度浅蓝色边中保留最短的一条有向边＜vw,vp＞，将其余入度浅蓝色边都着为红色，并从L集合中删除红色边。
CN201710343837.XA 2017-05-16 2017-05-16 基于朱刘方法和ottc的群体图像编码结构生成方法 Active CN107105306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710343837.XA CN107105306B (zh) 2017-05-16 2017-05-16 基于朱刘方法和ottc的群体图像编码结构生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710343837.XA CN107105306B (zh) 2017-05-16 2017-05-16 基于朱刘方法和ottc的群体图像编码结构生成方法

Publications (2)

Publication Number Publication Date
CN107105306A true CN107105306A (zh) 2017-08-29
CN107105306B CN107105306B (zh) 2019-10-11

Family

ID=59668904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710343837.XA Active CN107105306B (zh) 2017-05-16 2017-05-16 基于朱刘方法和ottc的群体图像编码结构生成方法

Country Status (1)

Country Link
CN (1) CN107105306B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967483A (zh) * 2017-11-09 2018-04-27 上海电机学院 一种近似图像的压缩编码方法
CN108712655A (zh) * 2018-05-24 2018-10-26 西安电子科技大学 一种用于相似图像集合并的群体图像编码方法
CN110519608A (zh) * 2019-07-13 2019-11-29 西安电子科技大学 针对插入图像后图像集的编码结构调整方法
CN110662272A (zh) * 2019-09-05 2020-01-07 西安交通大学 一种基于蜂群无人机的最少数量领航者选取方法
CN115604480A (zh) * 2022-09-19 2023-01-13 杨凌职业技术学院（Cn） 一种用于多优先级相似图像的云图像集编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150103907A1 (en) * 2013-10-15 2015-04-16 Qualcomm Incorporated Support for large numbers of views in multi-layer coding
CN104780379A (zh) * 2015-01-21 2015-07-15 北京工业大学 一种屏幕图像集合的压缩方法
CN105409207A (zh) * 2013-07-15 2016-03-16 微软技术许可有限责任公司 基于特征的图像集合压缩

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105409207A (zh) * 2013-07-15 2016-03-16 微软技术许可有限责任公司 基于特征的图像集合压缩
US20160255357A1 (en) * 2013-07-15 2016-09-01 Microsoft Technology Licensing, Llc Feature-based image set compression
US20150103907A1 (en) * 2013-10-15 2015-04-16 Qualcomm Incorporated Support for large numbers of views in multi-layer coding
CN104780379A (zh) * 2015-01-21 2015-07-15 北京工业大学 一种屏幕图像集合的压缩方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967483A (zh) * 2017-11-09 2018-04-27 上海电机学院 一种近似图像的压缩编码方法
CN107967483B (zh) * 2017-11-09 2021-03-30 上海电机学院 一种近似图像的压缩编码方法
CN108712655A (zh) * 2018-05-24 2018-10-26 西安电子科技大学 一种用于相似图像集合并的群体图像编码方法
CN110519608A (zh) * 2019-07-13 2019-11-29 西安电子科技大学 针对插入图像后图像集的编码结构调整方法
CN110662272A (zh) * 2019-09-05 2020-01-07 西安交通大学 一种基于蜂群无人机的最少数量领航者选取方法
CN115604480A (zh) * 2022-09-19 2023-01-13 杨凌职业技术学院（Cn） 一种用于多优先级相似图像的云图像集编码方法
CN115604480B (zh) * 2022-09-19 2023-06-20 杨凌职业技术学院 一种用于多优先级相似图像的云图像集编码方法

Also Published As

Publication number Publication date
CN107105306B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN107105306A (zh) 基于朱刘方法和ottc的群体图像编码结构生成方法
Dai et al. Pdan: Pyramid dilated attention network for action detection
Jin et al. Deep image aesthetics classification using inception modules and fine-tuning connected layer
JP4486780B2 (ja) 画像情報検索のための非線形量子化及び類似度マッチング方法
CN103221954B (zh) 在网络中执行视觉搜索
CN109685121A (zh) 图像检索模型的训练方法、图像检索方法、计算机设备
CN110830807B (zh) 图像压缩方法、装置及存储介质
Tasar et al. SemI2I: Semantically consistent image-to-image translation for domain adaptation of remote sensing data
CA3137297C (en) Adaptive convolutions in neural networks
CN113435365B (zh) 人脸图像迁移方法及装置
CN110163061A (zh) 用于提取视频指纹的方法、装置、设备和计算机可读介质
CN110298446A (zh) 面向嵌入式系统的深度神经网络压缩和加速方法及系统
CN107426580B (zh) 基于朱刘法和蚁群法的群体图像编码结构生成方法
JP2023551158A (ja) 低帯域幅伝送における高精細度ビデオ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｖｉｄｅｏ）のライブ・ストリーミングのための非顕著性圧縮を用いたビデオ・エンコード
CN114694185B (zh) 一种跨模态目标重识别方法、装置、设备及介质
CN110166759A (zh) 图像的处理方法和装置、存储介质、电子装置
CN113344794B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN116383470B (zh) 一种具有隐私保护的图像搜索方法
CN111797714B (zh) 基于关键点聚类的多视点人体运动捕捉方法
CN115359088A (zh) 一种图像处理方法及装置
Yang et al. Supervised deep quantization for efficient image search
CN105989063A (zh) 视频检索方法和装置
WO2021135863A1 (zh) 一种图像识别方法及装置
CN110519608A (zh) 针对插入图像后图像集的编码结构调整方法
CN107426567B (zh) 基于编码顺序已知图像集的多参考图像确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant