CN107426567B - 基于编码顺序已知图像集的多参考图像确定方法 - Google Patents

基于编码顺序已知图像集的多参考图像确定方法 Download PDF

Info

Publication number
CN107426567B
CN107426567B CN201710358202.7A CN201710358202A CN107426567B CN 107426567 B CN107426567 B CN 107426567B CN 201710358202 A CN201710358202 A CN 201710358202A CN 107426567 B CN107426567 B CN 107426567B
Authority
CN
China
Prior art keywords
image
coded sequence
reference picture
present
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710358202.7A
Other languages
English (en)
Other versions
CN107426567A (zh
Inventor
吴炜
李梦华
刘炯
冯磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201710358202.7A priority Critical patent/CN107426567B/zh
Publication of CN107426567A publication Critical patent/CN107426567A/zh
Application granted granted Critical
Publication of CN107426567B publication Critical patent/CN107426567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于编码顺序已知图像集的多参考图像确定方法。解决了充分利用图像间相关性提高编码效率的技术问题。实现步骤有：建已知编码顺序图像集HE；判断图像集编码结构中L层所有图像的编码顺序和参考图像是否都已确定；若没，通过循环完成对该层中所有图像的参考图像搜索；计算该层未确定编码顺序图像的平均权重；平均权重最小的作为待编码图像放入HE中；若该层图像的参考图像都已确定，输出该层图像参考图像信息，完成L层的确定；上述步骤遍历整个图像集，完成参考图像确定。本发明充分利用了图像间相关性，明显提高编码效率。实验也证明本发明对编码效率提高明显。可用于个人相册压缩、计算机视觉和云端图像存储等。

Description

基于编码顺序已知图像集的多参考图像确定方法
技术领域
本发明属于图像处理技术领域，更进一步涉及对群体图像编码中确定多参考图像的方法，具体是一种基于编码顺序已知图像集的多参考图像确定方法，可用于个人相册压缩、计算机视觉和云端图像存储等。
背景技术
随着科技的进步发展，图像出现了爆发式的增长，使得图像的存储管理成本不断增大。但是图像编码中可以挖掘的冗余性还很大，特别是针对互联网中内容相关的图像。对于这些内容相关的图像，可以采用群体图像编码，以节省存储空间，所以近几年来对群体图像编码的研究成为了一个热点。
目前，在群体图像编码方面的研究文献如下：
Zhongbo Shi,Xiaoyan Sun,and Feng Wu在其发表的论文“Photo AlbumCompression for Cloud Storage Using Local Features”(《IEEE Journal on Emergingand Selected Topica in Circuits and Systems》，2014)中介绍了基于单参考图像的编码框架和流程。此论文利用单个参考图像进行编码，所以参考图像的确定也是针对单参考图像进行的。
Xinfeng Zhang，Yabin Zhang，Weisi Lin在“An Inter-image RedundancyMeasure for Image Set Compression”(《IEEE International Symposium on Circuitsand Systems》，2015)中，在SIFT匹配相似度的基础上，提出了使用匹配面积表征匹配程度，进一步描述图像之间的冗余，找出一幅代表图像，其余图像都以该图像作为参考，其编解码时间快，但编码效率提升不高。
Yonggen Ling，Oscar C.Au，Ruobing Zou在“Photo Album Compression ByLeveraging Temporal-spatial Correlations and HEVC”(《IEEE InternationalSymposium on Circuits and Systems》，2014)中提出得到最小生成树后，再通过吸引子传播聚类方法对最小生成树进行深度限制，此类方法利用聚类对群体图像进行深度限制，通常复杂度较高。
Oscar Au，S Li，R Zou在“Digital Photo Album Compression Based on GlobalMotion Compensation and Intra/Inter prediction”(《International Conference onAudio》，2012)中分析了相机和图像集中相似图像上运动物体的特点，提出了一个将全局运动估计、局部运动补偿以及帧内预测应用到视频编码技术中的方案。
Yabin Zhang，W Lin，J Cai在“Dense correspondence based prediction forimage set compression”(《IEEE International Conference on Acoustics》，2015)中利用稠密对应来分析图像间的关系，并且为接下来的HEVC(High Efficiency Video Coding)编码的帧间预测重构出一个新的参考帧，从他们的实验结果看，此方法可以利用图像间的关系，并且可以自适应图像间复杂的局部变化，特别是在局部变化占主导地位的图像集中对编码效率的提高比较明显。
以上的方法均是在图像编码中利用单个参考图像，没有充分利用图像集中图像间的相关性，直接影响到图像编码效率。
发明内容
本发明的目的是针对现有技术的不足，提出一种充分利用图像集中图像间相关性的基于编码顺序已知图像集的多参考图像确定方法。
本发明是一种基于编码顺序已知图像集的多参考图像确定方法，其特征在于，假设要确定图像集编码结构中第L层每幅图像的编码顺序及其多个参考图像，包括有以下步骤：
(1)建立已知编码顺序的图像集HE：已知编码顺序的图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定；
(2)判断已知编码顺序的图像集HE是否包含了图像集编码结构中第L层的所有图像，若是，则转到步骤(7)进行输出，否则执行步骤(3)搜索多参考图像；
(3)搜索多参考图像：为图像集编码结构中第L层所有未确定编码顺序的图像在已知编码顺序的图像集HE中搜寻一个或多个参考图像，然后执行步骤(4)计算平均权重；
(4)计算平均权重wavg：计算编码结构中第L层每一幅未确定编码顺序的图像与搜索到的一个或多个参考图像所对应的平均权重wavg；
(5)选择下一幅待编码图像：选择编码结构中第L层所有未确定编码顺序图像中平均权重最小的图像作为下一幅待编码图像，移到已知编码顺序的图像集HE中；
(6)通过迭代循环步骤(1)到步骤(5)直到完成对编码结构中第L层每幅图像的参考图像及其编码顺序的确定；
(7)输出第L层每幅图像的一个或多个参考图像以及编码顺序信息。
通过迭代循环以上步骤确定图像集编码结构中每一层的图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序及其参考图像。
通过为编码结构中每一层的每幅图像在已知编码顺序图像中搜寻多个参考图像及确定编码顺序，进而确定整个图像集每幅图像的多个参考图像和编码顺序。层与层之间的图像编码顺序采用逐层编码的方式，即首先编码根图像，再编码第二层图像，然后编码第三层图像，直至完成对图像集中所有图像的编码。本发明采用的方法可以充分利用图像间的相关性，明显提高编码效率，降低图像的存储空间和传输数据量。
本发明与现有技术相比，具有以下优点：
第一，本发明在已知编码顺序的图像中搜索多参考图像，在群体图像编码中利用搜索到的多个参考图像进行编码，充分降低了图像集中图像间的冗余性，克服了使用单参考图像进行编码存在的对图像集中多幅图像间的相关性利用程度不高的局限性；
第二，本发明对参考图像中已与当前图像匹配过的特征点进行了剔除，防止一个当前图像特征点被重复匹配的情况存在，使得搜寻出的参考图像与当前图像间的相关性更强，从而使得编码效率得到明显提升。
附图说明
图1是本发明的实现总流程图；
图2是给一幅图像搜索多参考图像的流程图；
图3是给一幅图像在非父节点图像中搜索多个参考图像的流程图；
图4是使用本发明确定的多参考图像与使用单参考图像进行群体图像编码的编码效率对比图。
具体实施方式
下面结合附图对本发明进行详细说明。
现有技术中，群体图像编码主要是根据图像间的相关性生成伪视频序列，并采用视频压缩技术进行压缩，该方法需要解决四个主要问题：第一个是如何生成图像集的编码结构，第二个是如何确定图像集中每幅图像的参考图像，第三个是如何生成更接近当前编码图像(目标图像)的变换图像，最后一个是如何利用视频压缩技术对根据编码结构得到的伪视频进行压缩。
本发明是针对第二个问题提出的，并且必须以第一个问题的解决为前提，即在确定多参考图像之前，要生成图像集的编码结构。编码结构是要得到一个树形图，除了根图像之外，每幅图像都有一个父节点图像。
目前，对群体图像编码的研究都集中在使用单参考图像的群体图像编码。使用单个参考图像的群体图像编码在确定参考图像时非常简单，可以根据图像集的编码结构将父节点图像作为每幅图像的参考图像。但是使用单参考图像的群体图像编码仅能利用图像集中部分相关性，使得编码效率不高，图像的存储空间和传输数据量比较大，因此本发明提出了一种确定多参考图像的方法，应用到群体图像编码中可以充分利用图像间的相关性，可明显提高编码效率，降低存储和传输成本。
实施例1
现有群体图像编码中都是利用单参考图像进行编码，对整个图像集中多幅图像间的相关性利用程度不高，对编码效率的提高有限，针对这个现状，本发明展开了研究，提出了一种基于编码顺序已知图像集的多参考图像确定方法，参见图1，图像集编码结构中的根图像没有参考图像，直接从第二层图像开始确定编码顺序和参考图像，所以假设从图像集编码结构中第L层(L≥2)开始对每幅图像的编码顺序和多个参考图像进行确定，具体第L层图像的确定包括有以下步骤：
(1)建立已知编码顺序的图像集HE：已知编码顺序的图像集HE，简称图像集HE或HE，包含了所有已知编码顺序的图像，并且图像集HE中每幅图像的多个参考图像都已确定，参考图像的信息也在图像集HE中，即参考图像的编码顺序也在其信息中。图像集HE既包括图像集编码结构中根图像到第L-1层的图像又包括第L层已确定编码顺序的图像，刚开始确定第L层图像的编码顺序和参考图像时，图像集HE不包含第L层的图像，即初始状态HE中不含第L层的图像。当整个图像集中所有图像的编码顺序及其参考图像都已确定，则整个图像集中所有图像的编码顺序及其参考图像信息都会存在于图像集HE中。
(2)判断已知编码顺序图像集HE是否包含了图像集编码结构中第L层的所有图像，若是，则转到步骤(7)进行输出，否则执行步骤(3)搜索多参考图像；图像集编码结构中第L层的图像总数和每一幅图像均是已知的。
(3)搜索多参考图像：给图像集编码结构中第L层所有未确定编码顺序的图像在已知编码顺序的图像集HE中搜寻一个或多个参考图像，然后执行步骤(4)计算平均权重。每幅未确定编码顺序的图像都对应一个参考图像集Ref。
(4)计算平均权重wavg：计算编码结构中第L层每一幅未确定编码顺序的图像与搜索到的一个或多个参考图像所对应的平均权重wavg。若参考图像仅有一幅，则平均权重就是未确定编码顺序图像与其参考图像两幅图像间的权重；若参考图像有多幅，则对未确定编码顺序图像与其每幅参考图像的权重求和，然后再求平均就是平均权重。
(5)选择下一幅待编码图像：选择编码结构中第L层所有未确定编码顺序图像中平均权重最小的图像作为下一幅待编码图像，移到已知编码顺序的图像集HE中，虽然此图像尚未编码，但其编码顺序已确定。
(6)通过迭代循环步骤(1)到步骤(5)直到完成对编码结构中第L层每幅图像的参考图像和编码顺序的确定。
(7)输出图像集编码结构中第L层每幅图像的一个或多个参考图像以及编码顺序信息。
通过迭代循环以上步骤可以确定图像集编码结构中每一层图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序和参考图像。
本发明解决了群体图像编码中每幅图像的多个参考图像的确定问题。在群体图像编码中利用多参考图像进行编码，充分降低了图像集中图像间的冗余性，克服了使用单参考图像进行编码存在的对图像集中多幅图像间的相关性利用程度不高的局限性。
实施例2
基于编码顺序已知图像集的多参考图像确定方法同实施例1，参见图2和图3，本发明步骤(3)中搜索多参考图像的过程包括有以下步骤：
(3.1)若图像集编码结构的第L层图像还有未确定编码顺序的图像则转到步骤(3.2)搜索参考图像；否则，即第L层所有未确定编码顺序图像的参考图像都已搜索完毕，转到步骤(4)计算第L层所有未确定编码顺序图像的平均权重。
(3.2)选定第L层未确定编码顺序图像中的一幅图像作为当前图像，首先提取出当前图像的所有尺度不变特征变换SIFT特征点，记为特征点集U；当前图像为第L层未确定编码顺序图像中的一幅图像，集合U包含了当前图像自身所具有的特征点。
(3.3)然后将编码结构中当前图像的父节点图像作为当前图像的参考图像加入到当前图像的参考图像集Ref中；图像集编码结构中除根图像之外，每幅图像都有一个父节点图像。
(3.4)对当前图像与其父节点图像进行SIFT特征点的匹配，匹配的特征点集记为V0，集合V0包含了所有匹配的特征点。
(3.5)计算匹配的特征点集V0占当前图像特征点集U的比例r0，即使用集合V0中特征点的数目除以集合U中特征点数目。
(3.6)判断是否满足三个条件，三个条件分别是预设的比例阈值、预设的参考图像数目和当前图像对应的参考图像集Ref与已知编码顺序图像集HE的包含关系：若三个条件都不满足，则转到步骤(3.7)给当前图像继续搜寻参考图像。若三个条件都满足或满足其一或满足其二，则停止给当前图像搜寻参考图像的过程，转到步骤(3.1)进行判断，给第L层另一幅未确定编码顺序的图像搜索多参考图像，并继续后面的搜索过程。当前图像搜寻参考图像的过程结束时，当前图像的参考图像已搜索完毕，其参考图像的数目也已确定。
(3.7)为当前图像搜索一幅非父节点图像作为参考图像，将其加入到当前图像的参考图像集Ref中，更新匹配的特征点集及其占目标图像特征点集U的比例、参考图像数目，转到步骤(3.6)进行判断。
在已知编码顺序图像集HE的非父节点图像中给当前图像的搜寻参考图像的过程时，进行SIFT特征点匹配后，要剔除当前图像的参考图像中已与当前图像匹配过的SIFT特征点。即不能存在多个参考图像的SIFT特征点与当前图像的同一个SIFT特征点匹配的情况。当前图像的父节点图像必须作为当前图像的第一幅参考图像，非父节点图像作为当前图像的其它参考图像。
本发明采用的尺度不变特征变换(SIFT，scale-invariant feature transform)描述符来描述图像间的相关性，类似的描述符还有快速自适应描述符(SURF，Speed uprobust feature)和被压缩的梯度直方图描述符(CHoG，Compressed histogram ofgradient)等。SIFT关键点对旋转，缩放保持不变，在一定范围内能自适应仿射扭曲、额外的噪音、以及照明的变化。这些特点在本发明确定多参考图像的过程中发挥了相应作用。
实施例3
基于编码顺序已知图像集的多参考图像确定方法同实施例1-2，步骤(3)中所述的三个条件分别为：
预设的比例阈值：预设比例阈值rC，根据多个参考图像与当前图像SIFT特征点匹配情况设置，取值范围为0＜rC≤1；当参考图像与当前图像SIFT特征点匹配情况较好时，则rC可以设置为接近于1的值，当匹配情况较差时，rC可以设置为更接近于0的值。本发明判断匹配的特征点集V0占当前图像特征点集U的比例r0是否大于等于预设的比例阈值rC。
预设的参考图像数目：预设参考图像数目t，根据图像集中图像间的相关性确定，t为大于等于1的正整数，最大取值为图像集中所有图像的数目；图像间的相关性越大，t可以设置的值越大。当参考图像数目t设置为1时，对应的就是单参考图像的情况，当参考图像数目t设置为大于1时，对应的是多参考图像的情况。本发明判断当前图像对应的参考图像集Ref中的图像数目是否大于等于预设的参考图像数目t。
当前图像对应的参考图像集Ref与图像集HE之间的包含关系：是指当前图像对应的参考图像集Ref是否包含了已知编码顺序的图像集HE中的所有图像。当前图像对应的参考图像集Ref是已知的，已知编码顺序的图像集HE中的所有图像也是已知的，只需进行判断即可。
实施例4
基于编码顺序已知图像集的多参考图像确定方法同实施例1-3，步骤(4)中每一幅未确定编码顺序的图像与其参考图像所对应的平均权重wavg计算公式如下：
其中wi,j是参考图像Ii和当前图像Ij间的权重，Ij代表图像集中第j幅图像，t是当前图像Ij的参考图像数目。当前图像的参考图像只有一幅时，即t＝1时，平均权重就是两幅图像间的权重，当前图像的参考图像多于一幅时，即t>1时，平均权重就是先对未确定编码顺序图像与其每幅参考图像的权重求和，然后再求平均。
下面给出一个详尽的例子对本发明进一步说明。
实施例5
基于编码顺序已知图像集的多参考图像确定方法同实施例1-4，假设要确定图像集编码结构中第L层(L≥2)每幅图像的编码顺序和多个参考图像，包括以下步骤：
步骤1，建立或更新已知编码顺序的图像集HE。
已知编码顺序的图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定。
步骤2，判断已知编码顺序的图像集HE是否包含了图像集编码结构中第L层的所有图像。
(1.1)若是，则转到步骤5进行输出；
(1.2)否则，第L层还有未确定编码顺序的图像，则转到步骤3搜索多参考图像。
步骤3，给第L层所有未确定编码顺序的图像搜寻参考图像。
(3.1)判断第L层所有未确定编码顺序的图像的参考图像是否都已搜索完毕；
(3.1.1)若都已确定，则转到步骤4计算平均权重；
(3.1.2)否则，第L层还有未确定编码顺序的图像尚未搜索到参考图像，选定一幅未确定编码顺序的图像作为当前图像，转到步骤(3.2)开始搜索参考图像；
(3.2)提取出当前图像Ij的所有SIFT特征点，记为集合U；
(3.3)将当前图像Ij的父节点图像加入到当前图像Ij对应的参考图像集Ref里面；
(3.4)对当前图像Ij与其父节点图像进行SIFT特征点的匹配，匹配的特征点记为集合V0；
(3.5)计算匹配特征点集V0占当前图像Ij的特征点集U的比例r0；
(3.6)使用比例rSum来统计所有参考图像与当前图像匹配过的SIFT特征点占当前图像Ij特征点集U的比例，此时rSum＝r0；
(3.7)判断是否满足以下三个条件：比例rSum是否大于等于预设的比例阈值rC，当前图像Ij对应的参考图像集Ref中的图像数目是否大于等于参考图像数目t，当前图像Ij对应的参考图像集Ref是否包含了已知编码顺序的图像集HE的所有图像；
(3.7.1)若三个条件都不满足；则转到步骤(3.8)给当前图像继续搜寻参考图像；
(3.7.2)否则，即三个条件都满足或满足其一或满足其二，转到步骤(3.1)进行判断，给第L层另一幅未确定编码顺序的图像搜索多参考图像；
(3.8)在图像集M中搜索图像作为当前图像的参考图像；
图像集M表示已知编码顺序的图像集HE中的图像除去在当前图像Ij对应的参考图像集Ref中的图像，即HE-Ref＝M；
(3.8.1)对当前图像Ij与图像集M中的图像进行SIFT特征点的匹配；
(3.8.2)剔除在步骤(3.8.1)得到的SIFT匹配特征点中当前图像Ij的SIFT征点集U中已与图像集Ref中的图像匹配过的SIFT特征点，剩余的特征点记为集合V；
(3.8.3)计算集合M中与当前图像Ij匹配过的每幅图像的权重，计算公式如下：
其中df(vi(ki,j),vi(ki,j))是一对SIFT匹配特征点的权重，vi(ki,j)是图像集中第i、j两幅图像间匹配的第k个SIFT特征点的128维矢量，o是图像Ii、Ij匹配的SIFT特征点数目。
一对SIFT特征点间的权重df(vi(ki,j),vi(ki,j))的计算公式：
(3.8.4)选择图像集M中权重最小的图像作为新的参考图像，加入到当前图像Ij对应的参考图像集Ref中；
(3.8.5)计算步骤(3.8.4)选中的图像与当前图像Ij匹配的特征点集V占特征点集U的比例r；
(3.8.6)将比例r累加到rSum上；
(3.8.7)转到步骤(3.7)进行判断。
通过以上步骤对未确定编码顺序的每幅图像的参考图像都已搜索完毕，然后转步骤4计算平均权重。
步骤4，确定下一幅待编码图像。
(4.1)计算每幅未确定编码顺序的图像的平均权重wavg；
平均权重wavg的计算公式如下所示：
其中两幅图像的权重wi,j见公式[1]，t是当前图像Ij的参考图像数目。
(4.2)选择所有未确定编码顺序的图像中平均权重最小图像作为下一幅待编码的图像，并移入到已知编码顺序的图像集HE中，转到步骤1更新已知编码顺序图像集HE，然后继续确定编码结构中第L层其它未确定编码顺序的图像的参考图像和编码顺序。
步骤5，输出图像集编码结构中第L层每幅图像的参考图像及编码顺序信息。
通过循环迭代以上步骤确定整个图像集编码结构中每幅图像的编码顺序和多个参考图像。
下面通过仿真及其实验数据对本发明的技术效果再做说明。
实施例6
基于已知图像编码顺序的多参考图像确定方法同实施例1-5。
实验条件：
本发明仿真实验是在windows7系统，处理器Intel(R)Core(Tm)i5-2450M CPU，主频2.50GHz，RAM 6GB的环境下进行的，编程软件为Microsoft Visual Studio 2010。
本发明中预设的主要参数：rC＝0.8，t＝4。
本发明选取了两个图像集进行测试。第一个图像集中图像数目为8，图像的分辨率为1024×768。第二个图像集中图像数目为11，图像的分辨率为1024×768。
实验内容
实验1，使用本发明给第一个图像集中每幅图像确定的多个参考图像如表1所示。
实验2，使用本发明给第二个图像集中每幅图像确定的多个参考图像如表2所示。
表中数字表示图像在图像集中的编号，比如6表示图像6。表中第一列是图像集中的所有图像标号，第二列是编码结构中的父节点图像标号，是第一幅参考图像，后面几列也是参考图像。如图像3是根图像，所以没有参考图像，图像2的参考图像是图像3、5、1。根据表中的前两列数据可以得到图像集的编码结构。
表1第一个图像集参考图像信息
表2第二个图像集参考图像信息
结果分析
图4的编码效率对比图的横轴是比特/像素(bpp)，纵轴是峰值信噪比(PSNR)。从图4编码效率的结果看，使用本发明确定的多参考图像进行群体图像编码的编码效率比基于单参考图像进行群体图像编码的编码效率高。
参见图4a，图4a是第一个图像集编码效率的对比曲线图，由图4a可以看出，在bpp相同的情况下，通过峰值信噪比(PSNR)的对比发现，利用本发明确定的多参考图像进行群体图像编码的PSNR比现有技术中的使用单参考图像进行群体图像编码的PSNR高0.31dB左右。在大数据时代，庞大的数据量会占用大量存储空间、传输带宽，特别是图像数据比普通文本数据的数据量大，本发明使用多个参考图像进行编码，充分利用了图像集中图像间的相关性，更大的降低了图像间的冗余性，本发明编码效率更高。
实施例7
基于已知图像编码顺序的多参考图像确定方法同实施例1-5，仿真条件和仿真内容同实施例6。
参见图4b，图4b是第二个图像集编码效率的对比曲线图，由图4b可以看出，在bpp相同的情况下，通过峰值信噪比(PSNR)的对比发现，利用本发明确定的多参考图像进行群体图像编码的PSNR比现有技术中的使用单参考图像进行群体图像编码的PSNR高0.53dB左右。实验数据证明本发明使用多个参考图像进行编码，充分利用了图像集中图像间的相关性，更大的降低了图像间的冗余性，针对群体图像进行编码，本发明的编码效率更高。
综上所述，本发明公开了一种基于编码顺序已知图像集的多参考图像确定方法。解决了现有技术通过利用图像集中图像间相关性提高编码效率的技术问题。实现步骤有：(1)建立已知编码顺序的图像集HE；(2)判断图像集编码结构中第L层所有图像的编码顺序和参考图像是否都已确定；(3)若没有都确定，则为第L层未确定编码顺序的每幅图像搜索多参考图像，经过此步骤，第L层每幅未确定编码顺序的图像都有一个或多个参考图像；(4)然后计算第L层每幅未确定编码顺序图像的平均权重；(5)选择平均权重最小的图像作为待编码图像加入到已知编码顺序的图像集HE中；(6)若第L层所有图像的参考图像都已确定，则输出第L层图像的参考图像以及编码顺序信息；(7)迭代循环步骤(1)到步骤(6)直到完成第L层每幅图像的参考图像和编码顺序的确定。(8)通过迭代循环以上步骤完成对整个图像集所有图像的编码顺序和参考图像的确定。本发明充分利用了图像间相关性，明显提高了编码效率。实验也证明本发明对编码效率提高明显，可用于个人相册压缩、计算机视觉和云端图像存储。

Claims (2)

1.一种基于编码顺序已知图像集的多参考图像确定方法，其特征在于，假设要确定图像集编码结构中第L层每幅图像的编码顺序及其多个参考图像，其中L≥2，包括有以下步骤：
(1)建立已知编码顺序的图像集HE：已知编码顺序的图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定；
(2)判断已知编码顺序的图像集HE是否包含了图像集编码结构中第L层的所有图像，若是，则转到步骤(7)进行输出，否则执行步骤(3)搜索多参考图像；
(3)搜索多参考图像：为图像集编码结构中第L层所有未确定编码顺序的图像在已知编码顺序的图像集HE中搜寻一个或多个参考图像，然后执行步骤(4)计算平均权重，所述搜索多参考图像的过程包括有以下步骤：
(3.1)若图像集编码结构的第L层图像还有未确定编码顺序的图像则转到步骤(3.2)开始搜索参考图像，否则转到步骤(4)计算第L层所有未确定编码顺序图像的平均权重；
(3.2)选定第L层未确定编码顺序图像中的一幅图像作为当前图像，首先提取出当前图像的所有尺度不变特征变换SIFT特征点，记为特征点集U；
(3.3)然后将编码结构中当前图像的父节点图像作为当前图像的参考图像加入到当前图像的参考图像集Ref中；
(3.4)对当前图像与其父节点图像进行SIFT特征点的匹配，匹配的特征点集记为V0；
(3.5)计算匹配的特征点集V0占当前图像特征点集U的比例r0；
(3.6)判断是否满足预设的比例阈值、预设的参考图像数目、当前图像对应的参考图像集Ref与已知编码顺序图像集HE的包含关系三个条件：若三个条件都不满足，则转到步骤(3.7)给当前图像继续搜寻参考图像；若三个条件都满足或满足其一或满足其二，则停止给当前图像搜寻参考图像的过程，转到步骤(3.1)进行判断，如果还有未确定编码顺序的图像，则继续给另一幅未确定编码顺序的图像搜索多参考图像；
(3.7)为当前图像搜索一幅非父节点图像作为参考图像，将其加入到当前图像的参考图像集Ref中，更新匹配的特征点集及其占目标图像特征点集U的比例、参考图像数目，转到步骤(3.6)进行判断；
在已知编码顺序图像集HE的非父节点图像中给当前图像的搜寻参考图像时，进行SIFT特征点匹配后，要剔除当前图像的参考图像中已与当前图像匹配过的SIFT特征点；
(4)计算平均权重wavg：计算编码结构中第L层每一幅未确定编码顺序的图像与搜索到的一个或多个参考图像所对应的平均权重wavg，每一幅未确定编码顺序的图像与其参考图像所对应的平均权重wavg计算公式如下：
其中wi,j是参考图像Ii和当前图像Ij间的权重，Ij代表图像集中第j幅图像，t是当前图像Ij的参考图像数目；
(5)选择下一幅待编码图像：选择编码结构中第L层所有未确定编码顺序图像中平均权重最小的图像作为下一幅待编码图像，移到已知编码顺序的图像集HE中；
(6)通过迭代循环步骤(1)到步骤(5)直到完成对编码结构中第L层每幅图像的参考图像及其编码顺序的确定；
(7)输出第L层每幅图像的一个或多个参考图像以及编码顺序信息；
通过迭代循环以上步骤确定图像集编码结构中每一层图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序及其参考图像。
2.根据权利要求1所述的基于编码顺序已知图像集的多参考图像确定方法，其特征在于，步骤(3.6)中所述三个条件分别为：
预设的比例阈值：预设比例阈值rC，根据多个参考图像与当前图像SIFT特征点匹配情况设置，取值范围为0＜rC≤1；本发明判断匹配的特征点集V0占当前图像特征点集U的比例r0是否大于等于预设的比例阈值rC；
预设的参考图像数目：预设参考图像数目t，根据图像集中图像间的相关性确定，t为大于等于1的正整数，最大取值为图像集中所有图像的数目；判断当前图像对应的参考图像集Ref中的图像数目是否大于等于预设的参考图像数目t；
当前图像对应的参考图像集Ref与图像集HE之间的包含关系：是指当前图像对应的参考图像集Ref是否包含了已知编码顺序的图像集HE中的所有图像。
CN201710358202.7A 2017-05-19 2017-05-19 基于编码顺序已知图像集的多参考图像确定方法 Active CN107426567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710358202.7A CN107426567B (zh) 2017-05-19 2017-05-19 基于编码顺序已知图像集的多参考图像确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710358202.7A CN107426567B (zh) 2017-05-19 2017-05-19 基于编码顺序已知图像集的多参考图像确定方法

Publications (2)

Publication Number Publication Date
CN107426567A CN107426567A (zh) 2017-12-01
CN107426567B true CN107426567B (zh) 2019-11-15

Family

ID=60424735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710358202.7A Active CN107426567B (zh) 2017-05-19 2017-05-19 基于编码顺序已知图像集的多参考图像确定方法

Country Status (1)

Country Link
CN (1) CN107426567B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259914B (zh) * 2018-03-20 2019-10-11 西安电子科技大学 基于物体库的云图像编码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257628A (zh) * 2008-03-20 2008-09-03 武汉大学 一种实现视频码流帧率可调整的压缩方法
WO2011142291A1 (ja) * 2010-05-12 2011-11-17 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
CN103796028A (zh) * 2014-02-26 2014-05-14 北京大学 一种视频编码中基于图像信息的运动搜索方法和装置
WO2014089805A1 (en) * 2012-12-13 2014-06-19 Mediatek Singapore Pte. Ltd. A new reference management method for video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420307B2 (en) * 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257628A (zh) * 2008-03-20 2008-09-03 武汉大学 一种实现视频码流帧率可调整的压缩方法
WO2011142291A1 (ja) * 2010-05-12 2011-11-17 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
WO2014089805A1 (en) * 2012-12-13 2014-06-19 Mediatek Singapore Pte. Ltd. A new reference management method for video coding
CN103796028A (zh) * 2014-02-26 2014-05-14 北京大学 一种视频编码中基于图像信息的运动搜索方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Study of Clustering Algorithms and Validity for Lossy Image;A S chmieder等;《Proceedings of the 2009 International Conference on Image Processing,Computer Vision&Pattern Recognition, IPCV2009》;20090716;全文 *

Also Published As

Publication number Publication date
CN107426567A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
Duan et al. Overview of the MPEG-CDVS standard
JP6333190B2 (ja) ビデオのデータベースをクエリ実行する方法
US20230196837A1 (en) Action recognition method and apparatus, and device and storage medium
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
Galteri et al. Video compression for object detection algorithms
Wang et al. Towards analysis-friendly face representation with scalable feature and texture compression
JP2002541738A (ja) 画像圧縮
JP6532602B2 (ja) ビデオにおけるキーポイント軌跡を処理する方法
CN105512175A (zh) 一种基于颜色特征和纹理特征的快速图像检索方法
JP2004062605A (ja) シーン識別方法および装置ならびにプログラム
CN114332094A (zh) 基于轻量级多尺度信息融合网络的语义分割方法及装置
CN104346630A (zh) 一种异构特征融合的云花卉识别方法
Ascenso et al. Lossless compression of binary image descriptors for visual sensor networks
CN107426567B (zh) 基于编码顺序已知图像集的多参考图像确定方法
CN110110120B (zh) 一种基于深度学习的图像检索方法和装置
CN107194961A (zh) 群体图像编码中多参考图像的确定方法
CN108712655B (zh) 一种用于相似图像集合并的群体图像编码方法
CN116758449A (zh) 一种基于深度学习的视频显著目标检测方法及系统
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
Ma et al. Effective moving object detection in H. 264/AVC compressed domain for video surveillance
CN113507611B (zh) 图像存储方法、装置、计算机设备和存储介质
Yao et al. Multi‐scale feature learning and temporal probing strategy for one‐stage temporal action localization
Monteiro et al. Clustering based binary descriptor coding for efficient transmission in visual sensor networks
Huang et al. An efficient coding framework for compact descriptors extracted from video sequence
WO2016050172A1 (zh) 图片压缩方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant