CN107194961B - 群体图像编码中多参考图像的确定方法 - Google Patents

群体图像编码中多参考图像的确定方法 Download PDF

Info

Publication number
CN107194961B
CN107194961B CN201710365850.5A CN201710365850A CN107194961B CN 107194961 B CN107194961 B CN 107194961B CN 201710365850 A CN201710365850 A CN 201710365850A CN 107194961 B CN107194961 B CN 107194961B
Authority
CN
China
Prior art keywords
image
images
layer
coding
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710365850.5A
Other languages
English (en)
Other versions
CN107194961A (zh
Inventor
吴炜
李梦华
刘炯
冯磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710365850.5A priority Critical patent/CN107194961B/zh
Publication of CN107194961A publication Critical patent/CN107194961A/zh
Application granted granted Critical
Publication of CN107194961B publication Critical patent/CN107194961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种群体图像编码中多参考图像的确定方法。解决了没有充分利用图像间相关性提高编码效率的问题。以L层为例实现步骤有：建已知编码顺序图像集HE；在HE和L层图像中用特征点匹配法为L层所有图像搜索多参考图像；将参考图像属于HE的图像加入HE中；判断L层是否还有未确定编码顺序图像；有则对参考图像搜索替换；用替换后未确定编码顺序图像中平均权重最小的图像加入HE中；若L层的参考图像都已确定，输出L层图像相关信息；循环以上步骤完成群体图像所有层参考图像和编码顺序的确定，实验证明本发明充分利用了图像间相关性，明显提高编码效率。益于海量图像存储和传输，用于个人相册压缩、计算机视觉和云端图像存储等。

Description

群体图像编码中多参考图像的确定方法
技术领域
本发明属于图像处理技术领域，更进一步涉及多参考图像的确定，具体是一种群体图像编码中多参考图像的确定方法，可用于个人相册压缩、计算机视觉和云端图像存储等。
背景技术
随着移动通讯设备和拍照技术的进步发展，人们可以随时随地的拍照、上传，使得网络上的图像出现了爆发式的增长，使得图像的存储管理成本不断增大。为了提高编码效率，降低存储管理成本，群体图像编码作为一个新的方法被提出。因为图像中可以挖掘的冗余性还很大，特别是针对图像间内容联系较强的情况，而群体图像编码能更好的利用这些相关性。
针对群体图像编码的研究如下：
Zhongbo Shi,Xiaoyan Sun,and Feng Wu在其发表的论文“PhotoAlbumCompression for Cloud Storage Using Local Features”(《IEEE Journal on Emergingand Selected Topica in Circuits and Systems》，2014)中介绍了基于单参考图像的编码框架和流程。此论文利用单个参考图像进行编码，所以参考图像的确定也是针对单参考图像进行的。
Xinfeng Zhang，Yabin Zhang，Weisi Lin在“An Inter-image RedundancyMeasure for Image Set Compression”(《IEEE International Symposium on Circuitsand Systems》，2015)中，在SIFT匹配相似度的基础上，提出了使用匹配面积表征匹配程度，进一步描述图像之间的冗余，找出一幅代表图像，其余图像都以该图像作为参考，其编解码时间快，但编码效率提升不高。
Yonggen Ling，Oscar C.Au，RuobingZou在“Photo Album Compression ByLeveraging Temporal-spatial Correlations and HEVC”(《IEEE InternationalSymposium on Circuits and Systems》，2014)中提出得到最小生成树后，再通过吸引子传播聚类方法对最小生成树进行深度限制，此类方法利用聚类对群体图像进行深度限制，通常复杂度较高。
Oscar Au，S Li，R Zou在“Digital Photo Album Compression Based on GlobalMotion Compensation and Intra/Interprediction”(《International ConferenceonAudio》，2012)中分析了相机和图像集中相似图像上运动物体的特点，提出了一个将全局运动估计、局部运动补偿以及帧内预测应用到视频编码技术中的方案。
Yabin Zhang，W Lin，J Cai在“Dense correspondence based prediction forimage set compression”(《IEEE International Conference onAcoustics》，2015)中利用稠密对应来分析图像间的关系，并且为接下来的HEVC(High Efficiency Video Coding)编码的帧间预测重构出一个新的参考帧，从他们的实验结果看，此方法可以利用图像间的关系，并且可以自适应图像间复杂的局部变化，特别是在局部变化占主导地位的图像集中对编码效率的提高比较明显。
以上的方法均是在图像编码中利用单个参考图像，没有充分利用图像集中图像间的相关性，对图像编码效率的提升不够高，不能大幅度减少存储空间和传输带宽。
发明内容
本发明的目的是针对现有技术的不足，提出一种充分利用图像集中图像间相关性，提高编码效率的群体图像编码中多参考图像的确定方法。
本发明是一种群体图像编码中多参考图像的确定方法，其特征在于，假设图像集编码结构中第L层所有图像的编码顺序和参考图像都未确定，要确定第L层每幅图像的编码顺序和多个参考图像，包括以下步骤：
(1)建立已知编码顺序的图像集HE：图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定；
(2)用特征点匹配法搜索多参考图像：首先选定图像集编码结构中第L层的任意一幅图像作为目标图像，用特征点匹配的方法给目标图像在已知编码顺序的图像集HE和第L层除目标图像以外的图像中搜寻一个或多个参考图像；然后将第L层中其他所有图像逐一作为目标图像，并为其搜索相应的参考图像；搜索完成后，第L层每幅图像及对应搜索到的参考图像信息存放在参考图像信息集合EORN中，然后执行步骤(3)进行参考图像的判断；参考图像信息集合EORN的信息存放结构：第一列是第L层图像的编号，编号是唯一的；第二列是与第一列编号所表示图像相应的参考图像编号集，称作参考图像编号集Ref，Ref中存放的是参考图像的编号，每一幅图像对应的参考图像是一幅或多幅；
(3)参考图像判断：对参考图像信息集合EORN中的第L层每幅图像的参考图像编号集Ref相对应的参考图像进行判断，若EORN中有图像的Ref相对应的参考图像全部是已知编码顺序图像集HE中的图像，则执行步骤(4)选择待编码图像，否则，执行步骤(5)进行第L层未确定编码顺序图像的判断；
(4)选择待编码图像：将参考图像全部属于已知编码顺序图像集HE的第L层图像作为待编码图像，加入到已知编码顺序的图像集HE中并删除参考图像信息集合EORN中这些图像的信息，然后执行步骤(5)进行第L层未确定编码顺序图像的判断；
(5)进行第L层未确定编码顺序图像的判断：判断参考图像信息集合EORN中是否还有第L层的未确定编码顺序图像，若第L层还有未确定编码顺序的图像，则转到步骤(6)替换参考图像，否则，转到步骤(10)输出第L层每幅图像的编码顺序和参考图像信息；
(6)替换参考图像：用特征点匹配法从已知编码顺序图像集HE中搜索一幅或多幅图像，替换掉参考图像信息集合EORN中不属于已知编码顺序图像集HE的参考图像，替换后的每幅图像编号及其参考图像编号信息存放到替换图像信息集合temp中，信息存放结构同参考图像信息集合EORN；
(7)计算平均权重wavg：计算替换图像信息集合temp中每幅图像与其参考图像对应的平均权重wavg；
(8)选择下一幅待编码图像：选择替换图像信息集合temp中平均权重最小的图像作为下一幅待编码图像，加入到已知编码顺序的图像集HE中，并将此图像的信息从参考图像信息集合EORN中删除；
(9)通过迭代循环步骤(3)到步骤(8)，直到完成对图像集编码结构中第L层每幅图像的参考图像和编码顺序的确定；
(10)输出图像集编码结构中第L层每幅图像的参考图像及编码顺序信息；
通过迭代循环步骤(1)到(10)确定图像集编码结构中所有层图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序和参考图像。
本发明首先给编码结构中第L层的每幅图像在已确定编码顺序和第L层的图像中搜寻多个参考图像；将没有参考未确定编码顺序图像的那些图像作为待编码图像；若第L层还有未确定编码顺序的图像，则进行参考图像的替换，然后计算每幅图像与其参考图像对应的平均权重，选择平均权重最小的图像作为下一幅待编码图像；若第L层所有图像的编码顺序和参考图像都已确定，则输出第L层的信息。通过以上方法可以确定第L层所有图像的编码顺序，进而可以确定整个图像集的所有图像的参考图像和编码顺序。不同层之间的图像编码顺序采用自上向下的逐层编码方式。本发明采用的方法可以明显降低图像的存储空间和传输数据量。
本发明与现有技术相比，具有以下优点：
第一，本发明是在已确定编码顺序图像和当前层图像中搜索参考图像，并且在确定图像编码顺序时，首先选择了没有参考未确定编码顺序图像的图像作为待编码图像，使得在后面进行参考图像替换时的搜索范围更大，使得搜索到与目标图像相关性较高的参考图像的可能性更大，从而充分利用图像集中图像间相关性，提高编码效率；
第二，本发明对参考图像中已与目标图像匹配过的特征点进行了剔除，防止一个目标图像的特征点被重复匹配的情况存在，使得搜寻出的参考图像与目标图像间的相关性更强，从而使得编码效率得到明显提升，进而可以降低存储空间和传输数据量。
附图说明
图1是本发明的实现总流程图；
图2是本发明给一幅图像搜索多参考图像的流程图；
图3是本发明给一幅图像在非父节点图像中搜索多个参考图像的流程图；
图4是使用本发明确定的多参考图像与使用单参考图像进行群体图像编码的编码效率对比图。
具体实施方式
下面结合附图对本发明进行详细说明。
现有技术中，群体图像编码主要是根据图像间的相关性生成伪视频序列，并采用视频压缩技术进行压缩。这类方法需要解决四个主要问题：第一个是图像集编码结构的生成，第二个是参考图像的确定，第三个是对参考图像的变换，第四个是利用现有编码技术对图像进行压缩。
本发明是针对多参考图像的确定提出的。解决此问题的前提是已经生成了图像集的编码结构。图像集的编码结构是一个树形图，除了根图像之外，每幅图像都会有一个父节点图像。
目前，对群体图像编码的研究都集中在使用单参考图像的群体图像编码。基于单参考图像的群体图像编码仅能利用图像集中部分相关性，对多幅图像间的相关性的发掘程度不够高，所以对基于多参考图像的群体图像编码进行了研究。而在基于多参考图像的群体图像编码中，每幅图像的多个参考图像的确定是一个比较复杂的问题，不像基于单参考图像的群体图像编码在确定参考图像时那样简单，可以根据图像集的编码结构，将父节点图像作为每幅图像的参考图像。
实施例1
现有群体图像编码中都是利用单参考图像进行编码，对图像集中多幅图像间的相关性利用程度不高，对编码效率的提高有限，针对这个现状，本发明展开了研究，提出了一种群体图像编码中多参考图像的确定方法。
群体图像就是图像集，将大量图像分为一些包含多张图像的集合，即图像集，针对多个图像集的编码就是群体图像编码。每个图像集就代表一组群体图像。每个图像集都有一个关于图像编码顺序和参考图像的树形图，叫做图像集编码结构。
本发明是一种群体图像编码中多参考图像的确定方法，参见图1，假设图像集编码结构中第L层所有图像的编码顺序和参考图像都未确定，要确定第L层每幅图像的编码顺序和多个参考图像，包括以下步骤：
(1)建立已知编码顺序的图像集HE：已知编码顺序的图像集HE，简称图像集HE或HE，包含了所有已知编码顺序的图像，并且图像集HE中每幅图像的多个参考图像都已确定，参考图像的信息也在图像集HE中，即参考图像的编码顺序也在其信息中。图像集HE既包括图像集编码结构中根图像到第L-1层的图像又包括第L层已确定编码顺序的图像，刚开始确定第L层图像的编码顺序和参考图像时，图像集HE不包含第L层的图像，即初始状态HE中不含第L层的图像。当整个图像集中所有图像的编码顺序及其参考图像都已确定，则整个图像集中所有图像的编码顺序及其参考图像信息都会存在于图像集HE中。
(2)用特征点匹配法搜索多参考图像：首先选定图像集编码结构中第L层的任意一幅图像作为目标图像，用特征点匹配的方法给目标图像在已知编码顺序的图像集HE和第L层除目标图像以外的图像中搜寻一个或多个参考图像；然后逐一将第L层中其他所有图像作为目标图像，并为其搜索相应的参考图像；搜索完成后，第L层每幅图像及对应搜索到的参考图像信息存放在参考图像信息集合EORN中，然后执行步骤(3)进行参考图像的判断；参考图像信息集合EORN的信息存放结构：第一列是第L层图像的编号，编号是唯一的；第二列是与第一列编号所表示图像相应的参考图像编号集，称作参考图像编号集Ref，Ref中存放的是参考图像的编号，每一幅图像对应的参考图像是一幅或多幅。
(3)参考图像的判断：对参考图像信息集合EORN中的第L层每幅图像的参考图像编号集Ref相对应的参考图像进行判断，若EORN中有图像的Ref相对应的参考图像全部是已知编码顺序图像集HE中的图像，则执行步骤(4)选择待编码图像，否则，Ref存放的参考图像不是或不全是已知编码顺序图像集HE中的图像，执行步骤(5)进行第L层未确定编码顺序图像的判断。
也就是说对参考图像信息集合EORN的信息存放结构中的第二列信息进行判断。对参考图像的判断在具体执行过程中也是通过图像的编号进行的。如果某幅图像对应的Ref中存放的参考图像不是或不全是已知编码顺序图像集HE中的图像，说明该图像依然是未确定编码顺序的图像存留在EORN中，执行步骤(5)进行第L层未确定编码顺序图像的判断。
(4)选择待编码图像：将第L层中满足步骤(3)参考图像全部属于已知编码顺序图像集HE的图像作为待编码图像，即Ref存放的参考图像全部是已知编码顺序图像集HE中的图像，加入到已知编码顺序的图像集HE中并删除参考图像信息集合EORN中这些图像的信息，然后执行步骤(5)进行第L层未确定编码顺序图像的判断；即若第L层图像的参考图像都是已知编码顺序图像集HE中的图像就被选择为待编码图像加入到图像集HE中。
(5)进行第L层未确定编码顺序图像的判断：判断参考图像信息集合EORN中是否还有第L层的未确定编码顺序图像，若第L层还有未确定编码顺序的图像，则转到步骤(6)替换参考图像，否则，转到步骤(10)输出第L层每幅图像的编码顺序和参考图像信息；也就是说对参考图像信息集合EORN的信息存放结构中的第一列信息进行判断。
(6)替换参考图像：用特征点匹配法从已知编码顺序图像集HE中搜索一幅或多幅图像，替换掉参考图像信息集合EORN中不属于已知编码顺序图像集HE的参考图像。搜索图像的过程同步骤(2)，替换后的每幅图像编号及其参考图像编号信息存放到替换图像信息集合temp中，信息存放结构同参考图像信息集合EORN；
(7)计算平均权重wavg：计算步骤(6)的替换图像信息集合temp中每幅图像与其参考图像对应的平均权重wavg，temp中第一列的每幅图像都对应一个平均权重。
(8)选择下一幅待编码图像：选择步骤(6)的替换图像信息集合temp中平均权重最小的图像作为下一幅待编码图像，加入到已知编码顺序的图像集HE中，并将此图像的信息从参考图像信息集合EORN中删除。
(9)通过迭代循环步骤(3)到步骤(8)，直到完成对图像集编码结构中第L层每幅图像的参考图像和编码顺序的确定；
(10)输出图像集编码结构中第L层每幅图像的参考图像及编码顺序信息；
通过迭代循环以上步骤，即步骤(1)到(10)确定图像集编码结构中所有层图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序和参考图像。
本发明是在已确定编码顺序图像和当前层图像中搜索参考图像，并且在确定图像编码顺序时，首先选择了没有参考未确定编码顺序图像的图像作为待编码图像，使得在后面进行参考图像替换时的搜索范围更大，使得搜索到与目标图像相关性较高的参考图像的可能性更大，从而充分利用图像集中图像间相关性，提高编码效率
实施例2
群体图像编码中多参考图像的确定方法同实施例1，参见图2和图3，本发明步骤(2)中用特征点匹配法搜索多参考图像的过程包括有以下步骤：
(2.1)若图像集编码结构的第L层图像还有未确定编码顺序的图像则转到步骤(2.2)搜索参考图像；否则，即第L层所有未确定编码顺序图像的参考图像都已搜索完毕，转到步骤(3)进行参考图像的判断。
(2.2)选定第L层未确定编码顺序图像中的一幅图像作为目标图像，首先提取出目标图像的所有SIFT特征点，记为特征点集U；集合U包含了目标图像自身所具有的全部特征点。
(2.3)然后将图像集编码结构中目标图像的父节点图像作为目标图像的参考图像加入到目标图像的参考图像集Ref中；图像集编码结构中除根图像之外，每幅图像都有一个父节点图像，所以除根图像之外的每幅图像的第一幅参考图像就是其父节点图像。
(2.4)对目标图像与其父节点图像进行SIFT特征点的匹配，匹配的特征点集记为V0，集合V0包含了两幅图像所有匹配的特征点。
(2.5)计算匹配的特征点集V0占目标图像特征点集U的比例r0，即使用集合V0中特征点的数目除以集合U中特征点数目。
(2.6)判断是否满足三个条件，三个条件分别是预设的比例阈值、预设的参考图像数目、目标图像对应的参考图像集Ref与已知编码顺序图像集HE和第L层除目标图像之外的图像的包含关系：若三个条件都不满足，则转到步骤(2.7)给目标图像继续搜寻参考图像。若三个条件都满足或满足其一或满足其二，则停止给目标图像搜寻参考图像的过程，转到步骤(2.1)进行判断，给第L层另一幅未确定编码顺序的图像搜索多参考图像，并继续后面的搜索过程。目标图像搜寻参考图像的过程结束时，目标图像的参考图像已搜索完毕，其参考图像的数目也已确定。
(2.7)为目标图像搜索一幅非父节点图像作为参考图像，将其加入到参考图像集Ref中，更新匹配的特征点集及其占目标图像特征点集U的比例、参考图像数目，转到步骤(2.6)进行判断；
在已知编码顺序图像集HE的非父节点图像中给目标图像的搜寻参考图像的过程时，进行SIFT特征点匹配后，要剔除目标图像的参考图像中已与目标图像匹配过的SIFT特征点。即不能存在多个参考图像的SIFT特征点与目标图像的同一个SIFT特征点匹配的情况。目标图像的父节点图像必须作为目标图像的第一幅参考图像，非父节点图像作为目标图像的其它参考图像。
本发明采用的尺度不变特征变换(SIFT，scale-invariant feature transform)描述符来描述图像间的相关性，类似的描述符还有快速自适应描述符(SURF，Speed uprobust feature)和被压缩的梯度直方图描述符(CHoG，Compressed histogram ofgradient)等。SIFT关键点对旋转，缩放保持不变，在一定范围内能自适应仿射扭曲、额外的噪音、以及照明的变化。这些特点在本发明确定多参考图像的过程中发挥了相应作用。
实施例3
群体图像编码中多参考图像的确定方法同实施例1-2，步骤(2)中所述的三个条件分别为：
预设的比例阈值：预设比例阈值rC，根据多个参考图像与目标图像SIFT特征点匹配情况设置，取值范围为0＜rC≤1；当参考图像与目标图像SIFT特征点匹配情况较好时，则rC可以设置为接近于1的值，当匹配情况较差时，rC可以设置为更接近于0的值。本发明判断匹配的特征点集V0占目标图像特征点集U的比例r0是否大于等于预设的比例阈值rC；
预设的参考图像数目：预设参考图像数目t，根据图像集中图像间的相关性确定，t为大于等于1的正整数，最大取值为图像集中所有图像的数目；图像集中图像间的相关性越大，t可以设置的值越大。当参考图像数目t设置为1时，对应的就是单参考图像的情况，当参考图像数目t设置为大于1时，对应的是多参考图像的情况。本发明判断目标图像对应的参考图像集Ref中的图像数目是否大于等于预设的参考图像数目t。
目标图像的参考图像集Ref与图像集HE和图像集编码结构中第L层除目标图像之外的图像的包含关系：是指目标图像对应的参考图像集Ref是否包含了已知编码顺序图像集HE和第L层中除目标图像以外的所有图像。目标图像对应的参考图像集Ref是已知的，已知编码顺序的图像集HE和第L层中的所有图像也是已知的，只需进行三个条件判断即可。
实施例4
基于已知图像编码顺序的多参考图像确定方法同实施例1-3，步骤(7)中每幅未确定编码顺序的图像与其参考图像所对应的平均权重wavg计算公式如下：
Figure BDA0001299440760000091
其中wi,j是参考图像Ii和目标图像Ij间的权重，Ij代表图像集中第j幅图像，t是目标图像Ij的参考图像数目。目标图像的参考图像只有一幅时，即t＝1时，平均权重就是两幅图像间的权重，目标图像的参考图像多于一幅时，即t>1时，平均权重就是先对未确定编码顺序图像与其每幅参考图像的权重求和，然后再求平均。
下面给出一个详尽的例子对本发明进一步说明
实施例5
群体图像编码中多参考图像的确定方法同实施例1-4，假设图像集编码结构中第L层(L≥2)所有图像的编码顺序和参考图像都未确定，那么对第L层图像的确定包括有以下步骤
步骤1，建立或更新已知编码顺序的图像集HE。
已知编码顺序的图像集HE包含了所有已确定编码顺序的图像，并且HE中每幅图像的参考图像和编码顺序都已确定。
步骤2，在已知编码顺序图像集HE和图像集编码结构第L层除目标图像之外的图像中给第L层每幅图像搜寻参考图像，每幅图像及其搜索到的参考图像信息存储在EORN中。
(2.1)判断第L层所有图像的参考图像是否都已确定；
(2.1.1)若都已确定，则转到步骤3进行判断；
(2.1.2)否则，第L层还有图像尚未搜索到参考图像，选择其中一幅作为目标图像，转到步骤(2.2)开始搜索参考图像；
(2.2)提取出目标图像Ij的所有SIFT特征点，记为集合U；
(2.3)将父节点图像加入到目标图像Ij对应的参考图像集Ref里面；
(2.4)对目标图像Ij与其父节点图像进行SIFT特征点的匹配，匹配的特征点记为集合V0；
(2.5)计算匹配的特征点集V0占目标图像Ij的特征点集U的比例r0；
(2.6)使用比例rSum来统计目标图像对应的参考图像集Ref中所有图像与目标图像匹配过的SIFT特征点占目标图像Ij特征点集U的比例，此时rSum＝r0；
(2.7)判断是否满足以下三个条件：步骤(2.6)中的rSum是否大于等于预设的比例阈值rC，目标图像Ij对应的参考图像集Ref中的图像数目是否大于等于预设的参考图像数目t，目标图像对应的参考图像集Ref是否包含了已知编码顺序的图像集HE和第L层中除目标图像以外的所有图像；
(2.7.1)若三个条件都不满足；则转到步骤(1.8)给目标图像继续搜寻参考图像；
(2.7.2)否则，即三个条件都满足或满足其一或满足其二，转到步骤(2.1)进行判断；
(2.8)在图像集M中搜索图像作为目标图像的参考图像；
图像集M表示已知编码顺序的图像集HE和第L层中的图像除去在目标图像Ij对应的参考图像集Ref中的图像和目标图像自身，即M＝HE-Ref-Ij；
(2.8.1)对目标图像Ij与图像集M中的图像进行SIFT特征点的匹配；
(2.8.2)剔除在步骤(2.8.1)得到的SIFT匹配特征点中目标图像Ij的SIFT征点集U中已与图像集Ref中的图像匹配过的SIFT特征点，剩余的特征点记为集合V；
(2.8.3)计算图像集M中与目标图像Ij匹配过的每幅图像的权重wi,j：
Figure BDA0001299440760000101
其中df(vi(ki,j),vi(ki,j))是一对SIFT匹配特征点的权重，vi(ki,j)是图像集中第i、j两幅图像间匹配的第k个SIFT特征点的128维矢量，o是图像Ii、Ij匹配的SIFT特征点数目。
一对SIFT特征点间的权重df(vi(ki,j),vi(ki,j))的计算公式：
Figure BDA0001299440760000102
(2.8.4)选择图像集M中与目标图像Ij权重最小的图像作为目标图像Ij的参考图像，加入到目标图像Ij对应的参考图像集Ref中；
(2.8.5)计算步骤(2.8.4)选中的图像与目标图像Ij匹配的特征点集V占特征点集U的比例r；
(2.8.6)将比例r累加到rSum上；
(2.8.7)转到步骤(2.7)进行判断。
通过以上步骤对图像集编码结构中每幅图像的参考图像都已搜索完毕，然后执行步骤3进行判断。
步骤3，判断参考图像信息EORN中是否存在某些图像的参考图像都是已知编码顺序的图像。
(3.1)若存在，则将满足条件的图像作为待编码图像加入到已知编码顺序图像集HE中，并从EORN中删除关于这些图像的信息，然后转到步骤4进行判断；
(3.2)若不存在，则直接转到步骤4进行判断。
步骤4，判断参考图像信息EORN中是否存在未确定编码顺序的图像。
(4.1)若存在，则执行步骤5替换参考图像；
(4.2)否则，EORN中不存在未确定编码顺序的图像，执行步骤7；
步骤5，替换参考图像，替换后的每幅图像及其对应的参考图像信息存储在temp中。
在已知编码顺序图像集HE中搜寻一幅或多幅参考图像将EORN中那些参考图像是未确定编码顺序的图像替换掉，替换后的每幅图像及其对应的参考图像信息存储在替换图像信息集合temp中，转到步骤6选择下一幅待编码图像；
步骤6，选择下一幅待编码图像。
(6.1)计算步骤5替换图像信息集合temp中每幅图像与其参考图像对应的平均权重wavg；
平均权重wavg的计算公式如下所示：
Figure BDA0001299440760000111
其中两幅图像的权重wi,j见公式[1]，t是目标图像Ij的参考图像数目；
(6.2)选择替换图像信息集合temp中平均权重wavg最小的图像作为下一幅待编码图像加入到已知编码顺序的图像集HE中；
(6.3)将步骤(6.2)中选择的图像对应的信息从EORN中删除，然后转到步骤3，并继续执行后续步骤，确定其它未确定编码顺序图像的编码顺序和参考图像。
步骤7，输出图像集编码结构中第L层图像的编码顺序及参考图像信息。
通过循环迭代以上步骤确定整个图像集编码结构所有图像的编码顺序和对应的参考图像，完成群体图像编码中多参考图像的确定。
下面通过仿真及其实验数据对本发明的技术效果再做说明
实施例6
群体图像编码中多参考图像的确定方法同实施例1-5。
实验条件：
本发明仿真实验是在windows7系统，处理器Intel(R)Core(Tm)i5-2450M CPU，主频2.50GHz，RAM 6GB的环境下进行的，编程软件为Microsoft Visual Studio 2010。
本发明设置的主要参数：rC＝0.8，t＝4；
本发明选取了两个图像集进行测试。第一个图像集中图像数目为8，图像的分辨率为1024×768。第一个图像集中图像数目为11，图像的分辨率为1024×768。
实验内容
实验1，使用本发明给第一个图像集中每幅图像确定的多个参考图像如表1所示。
实验2，使用本发明给第二个图像集中每幅图像确定的多个参考图像如表2所示。
表中数字表示图像在图集中的编号，比如6表示图像6。表中第一列是图像集中的所有图像标号，第二列是编码结构中的父节点图像标号，是第一幅参考图像，后面几列也是参考图像。如图像3是根图像，所以没有参考图像，图像2的参考图像是图像3、5、1。根据表中的前两列数据可以得到图像集的编码结构。
表1图像集1参考图像信息
Figure BDA0001299440760000121
Figure BDA0001299440760000131
表2图像集2参考图像信息
Figure BDA0001299440760000132
结果分析
图4的编码效率对比图的横轴是比特/像素(bpp)，纵轴是峰值信噪比(PSNR)。从图4编码效率的结果看，使用本发明确定的多参考图像进行群体图像编码的编码效率比基于单参考图像进行群体图像编码的编码效率高。
参见图4a，图4a是第一个图像集编码效率的对比曲线图，由图4a可以看出，在bpp相同的情况下，通过峰值信噪比(PSNR)的对比发现，利用本发明确定的多参考图像进行群体图像编码的PSNR比现有技术中的使用单参考图像进行群体图像编码的PSNR高0.31dB左右。在大数据时代，庞大的数据量会占用大量存储空间、传输带宽，特别是图像数据比普通文本数据的数据量大，本发明使用多个参考图像进行编码，充分利用了图像集中图像间的相关性，更大的降低了图像间的冗余性，本发明编码效率更高。
实施例7
基于已知图像编码顺序的多参考图像确定方法同实施例1-5，仿真条件和仿真内容同实施例6。
参见图4b，图4b是第二个图像集编码效率的对比曲线图，由图4b可以看出，在bpp相同的情况下，通过峰值信噪比(PSNR)的对比发现，利用本发明确定的多参考图像进行群体图像编码的PSNR比现有技术中的使用单参考图像进行群体图像编码的PSNR高0.55dB左右。实验数据证明本发明使用多个参考图像进行编码，充分利用了图像集中图像间的相关性，更大的降低了图像间的冗余性，针对群体图像进行编码，本发明的编码效率更高。
综上所述，本发明公开了一种群体图像编码中多参考图像的确定方法。解决了利用图像间相关性提高编码效率的技术问题。实现步骤有：(1)建立已知编码顺序的图像集HE；(2)给第L层所有图像在HE和第L层的图像中搜索多参考图像，经过此步骤，第L层每幅未确定编码顺序的图像都有一个或多个参考图像；(3)选择参考图像都是已知编码顺序图像集HE中的图像作为待编码图像放入HE中；(4)判断第L层是否还有未确定编码顺序的图像；(5)若有，则进行参考图像的搜索替换；(6)计算参考图像替换后每幅未确定编码顺序图像的平均权重；(7)选择平均权重最小的图像作为待编码图像加入HE中；(8)若该层图像的参考图像都已确定，则直接输出第L层每幅图像的参考图像和编码顺序信息；(9)迭代循环步骤(3)到步骤(8)直到完成对第L层每幅图像的参考图像和编码顺序的确定；(10)迭代循环步骤(1)到(9)得到整个图像集所有图像的编码顺序和参考图像。本发明充分利用了图像间相关性，明显提高编码效率。实验也证明本发明对编码效率提高明显。可用于个人相册压缩、计算机视觉和云端图像存储等。

Claims (3)

1.一种群体图像编码中多参考图像的确定方法，其特征在于，假设图像集编码结构中第L层所有图像的编码顺序和参考图像都未确定，要确定第L层每幅图像的编码顺序和多个参考图像，包括以下步骤：
(1)建立已知编码顺序的图像集HE：图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定；
(2)用特征点匹配法搜索多参考图像：首先选定图像集编码结构中第L层的任意一幅图像作为目标图像，用特征点匹配的方法给目标图像在已知编码顺序的图像集HE和第L层除目标图像以外的图像中搜寻一个或多个参考图像；然后将第L层中其他所有图像逐一作为目标图像，并为其搜索相应的参考图像；搜索完成后，第L层每幅图像及对应搜索到的参考图像信息存放在参考图像信息集合EORN中，然后执行步骤(3)进行参考图像的判断；参考图像信息集合EORN的信息存放结构：第一列是第L层图像的编号，编号是唯一的；第二列是与第一列编号所表示图像相应的参考图像编号集，称作参考图像编号集Ref，Ref中存放的是参考图像的编号，每一幅图像对应的参考图像是一幅或多幅；
用特征点匹配法搜索多参考图像的过程包括有以下步骤：
(2.1)若图像集编码结构的第L层图像还有未确定编码顺序的图像则转到步骤(2.2)搜索参考图像，否则转到步骤(3)进行参考图像的判断；
(2.2)选定第L层未确定编码顺序图像中的一幅图像作为目标图像，首先提取出目标图像的所有SIFT特征点，记为特征点集U；
(2.3)然后将图像集编码结构中目标图像的父节点图像作为目标图像的参考图像加入到目标图像对应的参考图像集Ref中；
(2.4)对目标图像与其父节点图像进行SIFT特征点的匹配，匹配的特征点集记为V0；
(2.5)计算匹配的特征点集V0占目标图像特征点集U的比例r0；
(2.6)判断是否满足预设的比例阈值、预设的参考图像数目、目标图像的参考图像集Ref与图像集HE和图像集编码结构中第L层除目标图像之外的图像的包含关系这三个条件：若三个条件都不满足，则转到步骤(2.7)给目标图像继续搜寻参考图像；若三个条件都满足或满足其一或满足其二，则停止给目标图像搜寻参考图像的过程，转到步骤(2.1)进行判断；
(2.7)为目标图像搜索一幅非父节点图像作为参考图像，将其加入到参考图像集Ref中，更新匹配的特征点集及其占目标图像特征点集U的比例、参考图像数目，转到步骤(2.6)进行判断；
在已知编码顺序图像集HE和第L层图像的非父节点图像中给目标图像的搜寻参考图像时，进行SIFT特征点匹配后，要剔除目标图像的参考图像中已与目标图像匹配过的SIFT特征点；
(3)参考图像判断：对参考图像信息集合EORN中的第L层每幅图像的参考图像编号集Ref相对应的参考图像进行判断，若EORN中有图像的Ref相对应的参考图像全部是已知编码顺序图像集HE中的图像，则执行步骤(4)选择待编码图像，否则，执行步骤(5)进行第L层未确定编码顺序图像的判断；
(4)选择待编码图像：将参考图像全部属于已知编码顺序图像集HE的第L层图像作为待编码图像，加入到已知编码顺序的图像集HE中并删除参考图像信息集合EORN中这些图像的信息，然后执行步骤(5)进行第L层未确定编码顺序图像的判断；
(5)进行第L层未确定编码顺序图像的判断：判断参考图像信息集合EORN中是否还有第L层的未确定编码顺序图像，若第L层还有未确定编码顺序的图像，则转到步骤(6)替换参考图像，否则，转到步骤(10)输出第L层每幅图像的编码顺序和参考图像信息；
(6)替换参考图像：用特征点匹配法从已知编码顺序图像集HE中搜索一幅或多幅图像，替换掉参考图像信息集合EORN中不属于已知编码顺序图像集HE的参考图像，替换后的每幅图像编号及其参考图像编号信息存放到替换图像信息集合temp中，信息存放结构同参考图像信息集合EORN；
(7)计算平均权重wavg：计算替换图像信息集合temp中每幅图像与其参考图像对应的平均权重wavg；
(8)选择下一幅待编码图像：选择替换图像信息集合temp中平均权重最小的图像作为下一幅待编码图像，加入到已知编码顺序的图像集HE中，并将此图像的信息从参考图像信息集合EORN中删除；
(9)通过迭代循环步骤(3)到步骤(8)，直到完成对图像集编码结构中第L层每幅图像的参考图像和编码顺序的确定；
(10)输出图像集编码结构中第L层每幅图像的参考图像及编码顺序信息；
通过迭代循环步骤(1)到(10)确定图像集编码结构中所有层图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序和参考图像。
2.根据权利要求1所述的群体图像编码中多参考图像的确定方法，其特征在于，步骤(2.6)中所述的三个条件分别为：
预设的比例阈值：预设比例阈值rC，根据多个参考图像与目标图像SIFT特征点匹配情况设置，取值范围为0＜rC≤1；判断匹配的特征点集V0占目标图像特征点集U的比例r0是否大于等于预设的比例阈值rC；
预设的参考图像数目：预设参考图像数目t，根据图像集中图像间的相关性确定，t为大于等于1的正整数，最大取值为图像集中所有图像的数目；判断目标图像对应的参考图像集Ref中的图像数目是否大于等于预设的参考图像数目t；
目标图像对应的参考图像集Ref与图像集HE和图像集编码结构中第L层除目标图像之外的图像的包含关系：是指目标图像对应的参考图像集Ref是否包含了已知编码顺序图像集HE和第L层除目标图像以外的图像中的所有图像。
3.根据权利要求1所述的群体图像编码中多参考图像的确定方法，其特征在于，步骤(7)中计算替换图像信息集合temp中每幅图像与其参考图像所对应的平均权重wavg计算公式如下：
Figure FDA0002453873970000031
其中wi,j是参考图像Ii和目标图像Ij间的权重，Ij代表图像集中第j幅图像，t是目标图像Ij的参考图像数目。
CN201710365850.5A 2017-05-19 2017-05-19 群体图像编码中多参考图像的确定方法 Active CN107194961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710365850.5A CN107194961B (zh) 2017-05-19 2017-05-19 群体图像编码中多参考图像的确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710365850.5A CN107194961B (zh) 2017-05-19 2017-05-19 群体图像编码中多参考图像的确定方法

Publications (2)

Publication Number Publication Date
CN107194961A CN107194961A (zh) 2017-09-22
CN107194961B true CN107194961B (zh) 2020-09-22

Family

ID=59874901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710365850.5A Active CN107194961B (zh) 2017-05-19 2017-05-19 群体图像编码中多参考图像的确定方法

Country Status (1)

Country Link
CN (1) CN107194961B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491876B (zh) * 2018-03-20 2021-10-29 西安电子科技大学 基于二次拟合光度变换的群体图像编码方法
CN108650517B (zh) * 2018-05-16 2019-11-15 西安电子科技大学 基于物体的群体图像编码多参考图像的确定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499491B2 (en) * 2003-06-23 2009-03-03 Vichip Corp. Limited Apparatus for adaptive multiple-dimentional signal sequences encoding/decoding
CN101496407A (zh) * 2006-07-06 2009-07-29 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
WO2013158461A1 (en) * 2012-04-20 2013-10-24 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
CN104584549A (zh) * 2012-06-22 2015-04-29 诺基亚公司 用于视频编码的方法和装置
CN105976328A (zh) * 2015-03-13 2016-09-28 想象技术有限公司 图像噪声降低
CN106023139A (zh) * 2016-05-05 2016-10-12 北京圣威特科技有限公司 一种基于多摄像机的室内跟踪定位方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499491B2 (en) * 2003-06-23 2009-03-03 Vichip Corp. Limited Apparatus for adaptive multiple-dimentional signal sequences encoding/decoding
CN101496407A (zh) * 2006-07-06 2009-07-29 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
WO2013158461A1 (en) * 2012-04-20 2013-10-24 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
CN104584549A (zh) * 2012-06-22 2015-04-29 诺基亚公司 用于视频编码的方法和装置
CN105976328A (zh) * 2015-03-13 2016-09-28 想象技术有限公司 图像噪声降低
CN106023139A (zh) * 2016-05-05 2016-10-12 北京圣威特科技有限公司 一种基于多摄像机的室内跟踪定位方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Study of Clustering Algorithms and Validity for Lossy Image;Anthony Schmieder et al;《Proceedings of the 2009 International Conference on Image Processing,Computer Vision&Pattern Recognition, IPCV2009》;20091231;1-6页 *

Also Published As

Publication number Publication date
CN107194961A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
Duan et al. Video coding for machines: A paradigm of collaborative compression and intelligent analytics
CN112203095B (zh) 视频运动估计方法、装置、设备及计算机可读存储介质
Zhang et al. A joint compression scheme of video feature descriptors and visual content
EP1389016A2 (en) Motion estimation and block matching pattern using minimum measure of combined motion and error signal data
Liu et al. Three-dimensional point-cloud plus patches: Towards model-based image coding in the cloud
WO2011140783A1 (zh) 一种实现视频预览和检索的方法及移动终端
JP2009147807A (ja) 画像処理装置
CN113192147B (zh) 显著性压缩的方法、系统、存储介质、计算机设备及应用
Zhao et al. Enhanced surveillance video compression with dual reference frames generation
CN116363554A (zh) 一种监控视频关键帧提取方法、系统、介质、设备及终端
CN107194961B (zh) 群体图像编码中多参考图像的确定方法
CN115393761A (zh) 视频关键帧提取方法、装置、设备和存储介质
Shullani et al. Social network identification of laundered videos based on DCT coefficient analysis
Shindo et al. Accuracy improvement of object detection in VVC coded video using YOLO-v7 features
Zhang et al. An inter-image redundancy measure for image set compression
Shinde Efficient image set compression
Du et al. Optical Flow-based Spatiotemporal Sketch for Video Representation: A Novel Framework
CN108712655B (zh) 一种用于相似图像集合并的群体图像编码方法
Sha et al. Novel image set compression algorithm using rate-distortion optimized multiple reference image selection
US9311342B1 (en) Tree based image storage system
CN107426567B (zh) 基于编码顺序已知图像集的多参考图像确定方法
Milani et al. Compression of photo collections using geometrical information
Dai et al. IMShare: Instantly sharing your mobile landmark images by search-based reconstruction
CN106791864A (zh) 一种基于hevc标准下提高视频转码速率的实现方法
Bakkouri et al. Effective CU size decision algorithm based on depth map homogeneity for 3D-HEVC inter-coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant