CN106303544A - 一种视频编解码方法、编码器和解码器 - Google Patents

一种视频编解码方法、编码器和解码器 Download PDF

Info

Publication number
CN106303544A
CN106303544A CN201510274936.8A CN201510274936A CN106303544A CN 106303544 A CN106303544 A CN 106303544A CN 201510274936 A CN201510274936 A CN 201510274936A CN 106303544 A CN106303544 A CN 106303544A
Authority
CN
China
Prior art keywords
image
motion vector
vector field
mvf
subimage block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510274936.8A
Other languages
English (en)
Other versions
CN106303544B (zh
Inventor
张红
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201510274936.8A priority Critical patent/CN106303544B/zh
Priority to PCT/CN2016/078970 priority patent/WO2016188243A1/zh
Priority to EP16799132.2A priority patent/EP3273693A4/en
Publication of CN106303544A publication Critical patent/CN106303544A/zh
Priority to US15/797,728 priority patent/US10554997B2/en
Application granted granted Critical
Publication of CN106303544B publication Critical patent/CN106303544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例涉及视频编解码技术领域。本发明实施例提供一种视频编码方法,包括:获取第一运动矢量场集;根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场;根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差;对所述目标子图像块的预测参差进行编码处理,得到所述目标子图像块的预测参差的编码信号,并将所述目标子图像块的预测残差的编码信号发送给对端的解码器。采用本方案,能够在多数情况下,提高了目标子图像块的编码效率。

Description

一种视频编解码方法、编码器和解码器
技术领域
本发明涉及视频编解码技术领域,尤其涉及一种视频编解码方法、编码器和解码器。
背景技术
运动矢量场用来精确描述一帧图像相对于另一帧图像的运动矢量信息。在给定一帧待编码图像和一帧参考图像的情况下,该待编码图像相对于该参考图像的运动矢量场由待编码图像中每一个单元在参考图像中的运动矢量构成,其中,单元是指1x1的像素单元,或者是指2x1、1x3、3x4等大小的像素单元。
基于运动矢量场的视频帧间编码技术,通常包括下述步骤:编码端先做运动估计产生运动矢量场,再基于该运动矢量场和参考图像进行运动补偿预测操作获得待编码图像的预测信号,接着根据待编码图像的图像信号与待编码图像的预测信号,计算获取待编码图像的残差信号,并对待编码图像的残差信号进行变换、量化和熵编码操作。
目前已有的基于运动矢量场的运动补偿预测编码方案中,仅支持使用一帧参考图像的情况,在待编码图像相对于该参考图像的残差较大时,使用现有技术提供的视频编码技术会导致编码效率较低。
发明内容
本发明实施例提供一种图像编解码方法、编码器和解码器,用于在一定程度上提高待处理图像的编码效率。
第一方面,本发明实施例提供过一种视频编码方法,该方法包括:
获取第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,多个所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差;
对所述目标子图像块的预测参差进行编码处理,得到所述目标子图像块的预测参差的编码信号,并将所述目标子图像块的预测残差的编码信号发送给对端的解码器。
结合第一方面,在第一方面的第一种可能实施方式下,
所述根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差,具体包括:
利用所述目标子图像块的图像信号中包含的每一个像素点的像素值减去所述目标子图像块的运动补偿预测信号中对应像素点的像素值,得到所述目标子图像块的预测残差,所述目标子图像块的图像信号包括多个像素点,所述目标子图像块的运动补偿预测信号也包括多个像素点,对于所述目标子图像块的图像信号中包含的每一个像素点,所述目标子图像块的运动补偿预测信号中均存在对应的像素点。
结合第一方面或第一方面的第一种可能实施方式,在第一方面的第二种可能实施方式下,
在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M。
结合第一方面、第一方面的第一种可能实施方式或第一方面的第二种可能实施方式,在第一方面的第三种可能实施方式下,
所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之后,所述方法还包括:
确定出位于所述第一运动矢量场集中的参与运算的第一运动矢量场,所述参与运算的第一运动矢量场是指为得到所述第二运动矢量场而参与所述预设的矢量运算方法的第一运动矢量场;
对位于所述第一运动矢量场集中的所述参与运算的第一运动矢量场进行标记,得到用于标记所述参与运算的第一运动矢量场的标识信息;
对所述标识信息进行编码处理,得到所述标识信息的编码信息;
将所述标识信息的编码信息发送给所述解码器。
结合第一方面或第一方面的第一种可能实施方式至第一方面的第三种可能实施方式中任一种可能实施方式,在第一方面的第四种可能实施方式下,该方法还包括:
对所述预设的矢量运算方法进行编码处理,得到所述预设的矢量运算方法的编码信息;
将所述预设的矢量运算方法的编码信息发送给所述解码器。
结合第一方面或第一方面的第一种可能实施方式至第一方面的第四种可能实施方式中任一种可能实施方式,在第一方面的第五种可能实施方式下,
所述获取第一运动矢量场集之后,所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之前,所述方法还包括:
对所述第一运动矢量场集进行有损压缩编码处理,得到所述第一运动矢量场集的有损压缩编码信息。
结合第一方面的第五种可能实施方式,在第一方面的第六种可能实施方式下,所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
对所述第一运动矢量场集的有损压缩编码信息进行解码处理,得到第三运动矢量场集;
根据所述第三运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
结合第一方面的第五种可能实施方式或第一方面的第六种可能实施方式,在第一方面的第七种可能实施方式下,
将所述第一运动矢量场集的有损压缩编码信息传输给所述解码器。
结合第一方面或第一方面的第一种可能实施方式至第一方面的第四种可能实施方式中任一种可能实施方式,在第一方面的第八种可能实施方式下,
所述获取第一运动矢量场集之后,所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之前,所述方法还包括:
对所述第一运动矢量场集进行无损压缩编码处理,得到所述第一运动矢量场集的无损压缩编码信息。
结合第一方面的第八种可能实施方式,在第一方面的第九种可能实施方式下,所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
对所述第一运动矢量场集的无损压缩编码信息进行解码处理,得到所述第一运动矢量场集;
根据所述第一运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
结合第一方面的第八种可能实施方式或第一方面的第九种可能实施方式,在第一方面的第十种可能实施方式下,
将所述第一运动矢量场集的无损压缩编码信息传输给所述解码器。
结合第一方面或第一方面的第一种可能实施方式至第一方面的第十种可能实施方式中任一种可能实施方式,在第一方面的第十一种可能实施方式下,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,P为大于或者等于N的整数,
所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
结合第一方面的第十一种可能实施方式,在第一方面的第十二种可能实施方式下,
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号;
相应的,所述根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差,具体包括:
根据所述目标子图像块的图像信号和所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号,获得所述目标子图像块的P×M个残差信号;从所述P×M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
结合第一方面或第一方面的第一种可能实施方式至第一方面的第十种可能实施方式中任一种可能实施方式,在第一方面的第十三种可能实施方式下,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
结合第一方面的第十三种可能实施方式,在第一方面的第十四种可能实施方式下,
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号;
相应的,所述根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差,具体包括:
根据所述目标子图像块的图像信号和所述目标子图像块的M个运动补偿预测信号,确定出所述目标子图像块的M个残差信号;从所述M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
结合第一方面或第一方面的第一种可能实施方式至第一方面的第十种可能实施方式中任一种可能实施方式,在第一方面的第十五种可能实施方式下,
在所述第一运动矢量场集中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
第二方面,本发明实施例还提供一种视频解码方法,该方法包括:
接收第一运动矢量场集的压缩编码信息,对所述第一运动矢量场集的压缩编码信息进行解码处理,得到所述第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
接收标识信息的编码信息,对所述标识信息的编码信息进行解码处理,得到所述标识信息,所述标识信息用于标记所述第一运动矢量场集中参与矢量运算的第一运动矢量场,所述参与运算的第一运动矢量场是指根据所述预设的矢量运算方法,参与矢量预算从而得到第二运动矢量场的第一运动矢量场,所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
根据所述第一运动矢量场集和所述标记信息,确定出所述参与矢量运算的第一运动矢量场;
接收预设的矢量运算方法的编码信息,对所述预设的矢量运算方法的编码信息进行解码处理,得到所述预设的矢量运算方法;
根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场;
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
所述方法还包括:
接收所述目标子图像块的预测参差的编码信号,并对所述目标子图像块的预测参差的编码信号进行解码处理,得到所述目标子图像块的预测参差;
根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号。
结合第二方面,在第二方面的第一种可能实施方式下,
所述根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:
利用所述目标子图像块的运动补偿预测信号中包含的每一个像素点的像素值加上所述目标子图像块的预测参差中对应像素点的像素值,得到所述目标子图像块的图像信号,所述目标子图像块的运动补偿预测信号包括多个像素点,所述目标子图像块的预测参差也包括多个像素点,对于所述目标子图像块的运动补偿预测信号中包含的每一个像素点,所述目标子图像块的预测参差中均存在对应的像素点。
结合第二方面或第二方面的第一种可能实施方式,在第二方面的第二种可能实施方式下,
在所述参与矢量运算的第一运动矢量场包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,所述N个图像对应的MVF参考图像的帧数之和为P,N为大于或者等于1的整数,P为大于或者等于N的整数,
所述根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场,具体包括:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
结合第二方面的第二种可能实施方式,在第二方面的第三种可能实施方式下,
所述多个根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号。
结合第二方面的第三种可能实施方式,在第二方面的第四种可能实施方式下,
所述根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:
根据所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号和所述目标子图像块的残差信号,得到所述目标子图像块的P×M个预测图像信号;
从所述P×M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
结合第二方面或第二方面的第一种可能实施方式,在第二方面的第五种可能实施方式下,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场,具体包括:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
结合第二方面的第五种可能实施方式,在第二方面的第六种可能实施方式下,
所述根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号。
结合第二方面的第六种可能实施方式,在第二方面的第七种可能实施方式下,
所述根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:
根据所述目标子图像块的M个运动补偿预测信号和所述目标子图像块的预测残差,获得所述目标子图像块的M个预测图像信号,从所述M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
结合第二方面或第二方面的第一种可能实施方式,在第二方面的第八种可能实施方式下,
在所述参与矢量运算的第一运动矢量场中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
所述根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场,具体包括:
根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
第三方面,本发明实施例提供一种编码器,包括:
获取单元,用于获取第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
运算单元,用于根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,多个所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
运动补偿预测单元,用于根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
处理单元,用于根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差;
编码单元,用于对所述目标子图像块的预测参差进行编码处理,得到所述目标子图像块的预测参差的编码信号,并将所述目标子图像块的预测残差的编码信号发送给对端的解码器。
结合第三方面,在第三方面的第一种可能实施方式下,
所述处理单元具体用于利用所述目标子图像块的图像信号中包含的每一个像素点的像素值减去所述目标子图像块的运动补偿预测信号中对应像素点的像素值,得到所述目标子图像块的预测残差,所述目标子图像块的图像信号包括多个像素点,所述目标子图像块的运动补偿预测信号也包括多个像素点,对于所述目标子图像块的图像信号中包含的每一个像素点,所述目标子图像块的运动补偿预测信号中均存在对应的像素点。
结合第三方面或第三方面的第一种可能实施方式,在第三方面的第二种可能实施方式下,
在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M。
结合第三方面、第三方面的第一种可能实施方式或第三方面的第二种可能实施方式,在第三方面的第三种可能实施方式下,所述编码器还包括确定单元和标记单元:
在根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之后,
所述确定单元,用于确定出位于所述第一运动矢量场集中的参与运算的第一运动矢量场,所述参与运算的第一运动矢量场是指为得到所述第二运动矢量场而参与所述预设的矢量运算方法的第一运动矢量场;
所述标记单元,用于对位于所述第一运动矢量场集中的所述参与运算的第一运动矢量场进行标记,得到用于标记所述参与运算的第一运动矢量场的标识信息;
所述编码单元还用于对所述标识信息进行编码处理,得到所述标识信息的编码信息;并将所述标识信息的编码信息发送给所述解码器。
结合第三方面或第三方面的第一种可能实施方式至第三方面的第三种可能实施方式中任一种可能实施方式,在第三方面的第四种可能实施方式下,
所述编码单元还用于对所述预设的矢量运算方法进行编码处理,得到所述预设的矢量运算方法的编码信息;并将所述预设的矢量运算方法的编码信息发送给所述解码器。
结合第三方面或第三方面的第一种可能实施方式至第三方面的第四种可能实施方式中任一种可能实施方式,在第三方面的第五种可能实施方式下,
在所述获取单元获取所述第一运动矢量场集之后,且在所述运算单元通过运算得到多个所述第二运动矢量场之前,
所述编码单元还用于对所述第一运动矢量场集进行有损压缩编码处理,得到所述第一运动矢量场集的有损压缩编码信息。
结合第三方面的第五种可能实施方式,在第三方面的第六种可能实施方式下,
所述运算单元具体用于对所述第一运动矢量场集的有损压缩编码信息进行解码处理,得到第三运动矢量场集;根据所述第三运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
结合第三方面的第五种可能实施方式或第三方面的第六种可能实施方式,在第三方面的第七种可能实施方式下,
所述编码单元还用于将所述第一运动矢量场集的有损压缩编码信息传输给所述解码器。
结合第三方面或第三方面的第一种可能实施方式或第三方面的第四种可能实施方式,在第三方面的第八种可能实施方式下,
在所述获取单元获取所述第一运动矢量场集之后,且在所述运算单元通过运算得到多个所述第二运动矢量场之前,
所述编码单元还用于对所述第一运动矢量场集进行无损压缩编码处理,得到所述第一运动矢量场集的无损压缩编码信息。
结合第三方面的第八种可能实施方式,在第三方面的第九种可能实施方式下,
所述运算单元具体用于对所述第一运动矢量场集的无损压缩编码信息进行解码处理,得到所述第一运动矢量场集;根据所述第一运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
结合第三方面的第八种可能实施方式或第三方面的第九种可能实施方式,在第三方面的第十种可能实施方式下,
所述编码单元还用于将所述第一运动矢量场集的无损压缩编码信息传输给所述解码器。
结合第三方面或第三方面的第一种可能实施方式或第三方面的第十种可能实施方式,在第三方面的第十一种可能实施方式下,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,P为大于或者等于N的整数,
所述运算单元具体用于:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
结合第三方面的第十一种可能实施方式,在第三方面的第十二种可能实施方式下,
所述运动补偿预测单元具体用于:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号,获得所述目标子图像块的P×M个残差信号;从所述P×M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
结合第三方面或第三方面的第一种可能实施方式或第三方面的第十种可能实施方式,在第三方面的第十三种可能实施方式下,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述运算单元具体用于:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
结合第三方面的第十三种可能实施方式,在第三方面的第十四种可能实施方式下,
所述运动补偿预测单元具体用于:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的M个所述运动补偿预测信号,确定出所述目标子图像块的M个残差信号;从所述M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
结合第三方面或第三方面的第一种可能实施方式或第三方面的第十种可能实施方式,在第三方面的第十五种可能实施方式下,
在所述第一运动矢量场集中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
所述运算单元具体用于根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
第四方面,本发明实施例提供一种解码器,包括:
接收单元,用于接收第一运动矢量场集的压缩编码信息,对所述第一运动矢量场集的压缩编码信息进行解码处理,得到所述第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
所述接收单元还用于接收标识信息的编码信息,对所述标识信息的编码信息进行解码处理,得到所述标识信息,所述标识信息用于标记所述第一运动矢量场集中参与矢量运算的第一运动矢量场,所述参与运算的第一运动矢量场是指根据所述预设的矢量运算方法,参与矢量预算从而得到第二运动矢量场的第一运动矢量场,所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
确定单元,用于根据所述第一运动矢量场集和所述标记信息,确定出所述参与矢量运算的第一运动矢量场;
所述接收单元还用于接收预设的矢量运算方法的编码信息,对所述预设的矢量运算方法的编码信息进行解码处理,得到所述预设的矢量运算方法;
运算单元,用于根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场;
运动补偿预测单元,用于根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
所述接收单元还用于接收所述目标子图像块的预测参差的编码信号,并对所述目标子图像块的预测参差的编码信号进行解码处理,得到所述目标子图像块的预测参差;
处理单元,用于根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号。
结合第四方面,在第四方面的第一种可能实施方式下,
所述处理单元具体用于利用所述目标子图像块的运动补偿预测信号中包含的每一个像素点的像素值加上所述目标子图像块的预测参差中对应像素点的像素值,得到所述目标子图像块的图像信号,所述目标子图像块的运动补偿预测信号包括多个像素点,所述目标子图像块的预测参差也包括多个像素点,对于所述目标子图像块的运动补偿预测信号中包含的每一个像素点,所述目标子图像块的预测参差中均存在对应的像素点。
结合第四方面或第四方面的第一种可能实施方式,在第四方面的第二种可能实施方式下,
在所述参与矢量运算的第一运动矢量场包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,所述N个图像对应的MVF参考图像的帧数之和为P,N为大于或者等于1的整数,P为大于或者等于N的整数,
所述运算单元具体用于:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
结合第四方面的第二种可能实施方式,在第四方面的第三种可能实施方式下,
所述运动补偿预测单元具体用于根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号。
结合第四方面的第三种可能实施方式,在第四方面的第四种可能实施方式下,所述处理单元具体用于:
根据所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号和所述目标子图像块的残差信号,得到所述目标子图像块的P×M个预测图像信号;
从所述P×M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
结合第四方面或第四方面的第一种可能实施方式,在第四方面的第五种可能实施方式下,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述运算单元具体用于:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
结合第四方面的第五种可能实施方式,在第四方面的第六种可能实施方式下,
所述运动补偿预测单元具体用于根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号。
结合第四方面的第六种可能实施方式,在第四方面的第七种可能实施方式下,
所述处理单元具体用于根据所述目标子图像块的M个运动补偿预测信号和所述目标子图像块的预测残差,获得所述目标子图像块的M个预测图像信号,从所述M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
结合第四方面或第四方面的第一种可能实施方式,在第四方面的第八种可能实施方式下,
在所述参与矢量运算的第一运动矢量场中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
所述运算单元具体用于根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
第五方面,本发明实施例还提供一种编解码系统,该系统包括如第三方面任一种可能实施方式所述的编码器和如第四方面任一种可能实施方式所述的解码器,
所述编码器用于对图像信号进行编码处理,得到图像信号的编码结果,并将所述图像信号的编码结果发送给所述解码器;
所述解码器用于接收所述图像信号的编码结果,并对所述图像信号的编码结果进行解码处理,得到所述图像信号。
由上可知,在本发明实施例提供的技术方案中,先获取第一运动矢量场集,该第一运动矢量场集包括一个以上图像中每一图像相对于各自的MVF参考图像的运动矢量场;然后根据该第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,其中,该第二运动矢量场为待处理图像的目标子图像块相对于该待处理图像的M个MCP参考图像的运动矢量场;接着,根据该第二运动矢量场,基于运动补偿预测算法,从M个MCP参考图像中确定出目标子图像块的运动补偿预测信号;根据目标子图像块的的图像信号和目标子图像块的运动补偿预测信号,得到目标子图像块的预测残差,然后对目标子图像块的的预测残差进行编码处理,即得到该目标子图像块的预测残差的编码信号。在本方案中,MCP参考图像的帧数为M,且M为大于或者等于2的整数,也即相对于现有技术来说,本发明实施例提供的技术方案支持多参考帧的运动补偿预测,相对于现有技术中单参考帧的运动补偿预测来说,在多数情况下,采用本方案最终确定的目标子图像块的预测残差要小于现有技术中单参考帧时目标子图像块的预测残差,从而在多数情况下,提高了目标子图像块的编码效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的视频编码方法的流程示意图;
图1b为在图1a的基础上,进一步限定的视频编码方法的流程示意图;
图1c为本发明实施例提供的视频编码方法的场景示意图;
图2为本发明实施例提供的视频解码方法的流程示意图;
图3a为本发明实施例提供的一种编码器的结构示意图;
图3b为本发明实施例提供的另一种编码器的结构示意图;
图4为本发明实施例提供的一种解码器的结构示意图;
图5为本发明实施例提供的一种编解码系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在对本发明实施例提供的技术方案进行描述前,先对下述词语进行解释,以便于理解本申请文件的意思。
1、运动矢量场MVF参考图像,是指Motion Vector Field参考图像,是指用于产生运动矢量场的参考图像;
2、运动补偿预测MCP参考图像,是指Motion Compensation Prediction参考图像,是指用于进行运动补偿预测的参考图像。
实施例一
参见附图1a,为本发明实施例提供的一种视频编码方法的流程示意图,该视频编码方法应用于编码端。本发明实施例提供的视频编码方法具体包括下述步骤:
S101、获取第一运动矢量场集,所述第一运动矢量场集包括一个以上图像每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
S103、根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,多个所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
需要说明的是,运动矢量场可以具有不同的粒度。例如,若将每一个像素作为一个运动矢量表示的基本单元,则该运动矢量场的粒度记做1×1;若经每一个2×2的像素集合作为一个运动矢量表示的基本单元,则该运动矢量场的粒度记做2×2。在本发明实施例提供的技术方案,是以1×1粒度的情况为例进行说明的。
值得注意的是,所述待处理图像可以位于所述一个以上图像中,也可以不位于所述一个以上图像中。针对不同的情况,所述预设的矢量运算方法也是不同的。在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M,也即所述待处理图像的MVF参考图像的帧数小于所述待处理图像的MCP参考图像的帧数。
需要说明的是,本发明实施例提供的技术方案还包括:对所述预设的矢量运算方法进行编码处理,得到所述预设的矢量运算方法的编码信息;将所述预设的矢量运算方法的编码信息发送给所述解码器。
S105、根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
S106、根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差;
具体的,所述根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差,包括:利用所述目标子图像块的图像信号中包含的每一个像素点的像素值减去所述目标子图像块的运动补偿预测信号中对应像素点的像素值,得到所述目标子图像块的预测残差,所述目标子图像块的图像信号包括多个像素点,所述目标子图像块的运动补偿预测信号也包括多个像素点,对于所述目标子图像块的图像信号中包含的每一个像素点,所述目标子图像块的运动补偿预测信号中均存在对应的像素点。
S107、对所述目标子图像块的预测参差进行编码处理,得到所述目标子图像块的预测残差的编码信号,并将所述目标子图像块的预测残差的编码信号发送给对端的解码器。
值得注意的是,参见附图1b,在步骤S103“根据所述第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场”之后,本发明实施例提供的技术方案还包括:
S1041、确定出位于所述第一运动矢量场集中的参与运算的第一运动矢量场,所述参与运算的第一运动矢量场是指为得到所述第二运动矢量场而参与所述预设的矢量运算方法的第一运动矢量场;
通常,所述参与运算的第一运动矢量场是所述第一运动矢量场集的真子集。
S1042、对位于所述第一运动矢量场集中的所述参与运算的第一运动矢量场进行标记,得到用于标记所述参与运算的第一运动矢量场的标识信息;
需要说明的是,在所述参与运算的第一运动矢量场包括所述待处理图像的第一运动矢量场、且所述待处理图像的MVF参考图像和所述待处理图像的MCP参考图像的选取满足特定关系的情况下,此处对所述待处理图像的第一运动矢量场进行编码处理,可以通过下述方式实现:将所述待处理图像的MVF参考图像的指示信息和所述待处理图像的MCP参考图像的指示信息进行联合编码,例如,待处理图像的MVF参考图像是待处理图像的MCP参考图像中距离待处理图像最近的图像,则只需编码一个索引值,指示待处理图像的MVF参考图像在待处理图像的MCP参考图像中的位置即可。若待处理图像的MVF参考图像的选取满足一定的规则,例如都是待处理图像的前一帧、或者前两帧,则可以在编码视频序列前对该模式进行编码。最灵活的方式就是在待处理图像上标记该待处理图像的MVF参考图像的位置,一般用MVF参考图像与待处理图像之间的距离表示,例如在HEVC标准中,用ΔPOC表示。
S1043、对所述标识信息进行编码处理,得到所述标识信息的编码信息;
S1044、将所述标识信息的编码信息发送给所述解码器。
进一步的,在步骤S101之后、步骤S103之前,本发明实施例提供的技术方案还包括:对所述第一运动矢量场集进行有损压缩编码处理,得到所述第一运动矢量场集的有损压缩编码信息。相应的,步骤103所述的根据所述第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,具体被细化为:
对所述第一运动矢量场集的有损压缩编码信息进行解码处理,得到第三运动矢量场集;
根据所述第三运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到所述第二运动矢量场。
需要说明的是,在得到所述第一运动矢量场集的有损压缩编码信息之后,本发明实施例提供的视频编码方法还包括:将所述第一运动矢量场集的有损压缩编码信息传输给所述解码器。
作为本发明的另一个实施例,在步骤S101之后、步骤S103之前,本发明实施例提供的技术方案还包括:对所述第一运动矢量场集进行无损压缩编码处理,得到所述第一运动矢量场集的无损压缩编码信息。相应的,步骤103所述的根据所述第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,具体被细化为:
对所述第一运动矢量场集的无损压缩编码信息进行解码处理,得到所述第一运动矢量场集;
根据所述第一运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到所述第二运动矢量场。
需要说明的是,在得到所述第一运动矢量场集的无损压缩编码信息之后,本发明实施例提供的视频编码方法还包括:将所述第一运动矢量场集的无损压缩编码信息传输给所述解码器。
作为本发明的一个实施例,在所述第一运动矢量场集包括N个图像中每一图像相对于各自的用于产生MVF的参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的用于产生MVF的参考图像的帧数之和为P,P为大于或者等于N的整数,则所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,具体包括:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
需要说明的是,本发明实施例是通过对第一运动矢量场进行缩放处理,从而获得第二运动矢量场的,例如要获得第二运动矢量场mvf(t',t),可以通过对已知的运动矢量场mvf(t1',t1)进行缩放处理获得,具体为其中t表示待处理图像所在的时刻,t'表示待处理图像的MCP参考图像所在的时刻,t1表示位于视频帧序列的某一帧图像所在的时刻,t1'表示该位于视频帧序列的某一帧图像的MVF参考图像所在的时刻,在t1=t时,mvf(t1',t1)表示待处理图像的第一运动矢量场。
参见附图1c,假设待处理图像为POC=3的图像,待处理图像的MCP参考图像为POC=0的图像,待处理图像的MVF参考图像为POC=2的图像,其中,待处理图像的第一运动矢量场mvf(2,3)是已知的,待处理图像的第二运动矢量场mvf(0,3)是未知的,则可以通过对待处理图像的第一运动矢量场mvf(2,3)进行缩放处理,获得该待处理图像的第二运动矢量场mvf(0,3),其中应当理解的是,也可以通过其他已知的第一运动矢量场,例如通过mvf(1,2)来获得mvf(0,3),
相应的,所述根据所述第二运动矢量场,基于运动补偿预测算法,从所述MCP参考图像中确定出所述目标子图像块的预测残差,具体包括:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号;
根据所述P×M个运动补偿预测信号和所述目标子图像块的图像信号,获得所述目标子图像块的P×M个残差信号;
从所述P×M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
作为本发明的另一个实施例,在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;则所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,具体包括:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
相应的,所述根据所述第二运动矢量场,基于运动补偿预测算法,从所述MCP参考图像中确定出所述目标子图像块的预测残差,具体包括:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,获得所述目标子图像块的M个运动补偿预测信号;
根据M个所述运动补偿预测信号和所述目标子图像块的图像信号,获得所述目标子图像块的M个残差信号,从所述M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
需要说明的是,本发明实施例也是通过对第一运动矢量场进行缩放处理获得第二运动矢量场的。
作为本发明的再一个实施例,在所述第一运动矢量场集中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;则根据所述第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,具体包括:
根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
需要说明的是,本发明实施例是通过级联多个第一运动矢量场获取第二运动矢量场的,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像3(图像2的MVF参考图像)的第一运动矢量场为mvf(3,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),可以通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。可知,级联运算时,前一运动矢量场(例如mvf(2,1))的MVF参考图像为后一运动矢量场(例如mvf(3,2))包括的位于所述视频帧序列的图像。进一步的,在上述例子中,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像4(图像2的MVF参考图像)的第一运动矢量场为mvf(4,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),需要首先对mvf(4,2)进行缩放处理,获得mvf(3,2),其中,然后通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。
可知,在本发明实施例提供的技术方案中,先获取第一运动矢量场集,该第一运动矢量场集包括一个以上图像中每一图像相对于各自的MVF参考图像的运动矢量场;然后根据该第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,其中,该第二运动矢量场为待处理图像的目标子图像块相对于该待处理图像的M个MCP参考图像的运动矢量场;接着,根据该第二运动矢量场,基于运动补偿预测算法,从M个MCP参考图像中确定出目标子图像块的运动补偿预测信号;根据目标子图像块的的图像信号和目标子图像块的运动补偿预测信号,得到目标子图像块的预测残差,然后对目标子图像块的的预测残差进行编码处理,即得到该目标子图像块的预测残差的编码信号。在本方案中,MCP参考图像的帧数为M,且M为大于或者等于2的整数,也即相对于现有技术来说,本发明实施例提供的技术方案支持多参考帧的运动补偿预测,相对于现有技术中单参考帧的运动补偿预测来说,在多数情况下,采用本方案最终确定的目标子图像块的预测残差要小于现有技术中单参考帧时目标子图像块的预测残差,从而在多数情况下,提高了目标子图像块的编码效率。
实施例二
参见附图2,为本发明实施例提供的一种视频解码方法的流程示意图,该视频编码方法应用于解码端。本发明实施例提供的视频解码方法和实施例一提供的视频编码方法是相对应的,具体的,本发明实施例提供的视频解码方法包括下述步骤:
S201、接收第一运动矢量场集的压缩编码信息,对所述第一运动矢量场集的压缩编码信息进行解码处理,得到所述第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
S202、接收标识信息的编码信息,对所述标识信息的编码信息进行解码处理,得到所述标识信息,所述标识信息用于标记所述第一运动矢量场集中参与矢量运算的第一运动矢量场,所述参与运算的第一运动矢量场是指根据所述预设的矢量运算方法,参与矢量预算从而得到第二运动矢量场的第一运动矢量场,所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
通常,所述参与运算的第一运动矢量场是所述第一运动矢量场集的真子集。
S203、根据所述第一运动矢量场集和所述标记信息,确定出所述参与矢量运算的第一运动矢量场;
S204、接收预设的矢量运算方法的编码信息,对所述预设的矢量运算方法的编码信息进行解码处理,得到所述预设的矢量运算方法;
值得注意的是,所述待处理图像可以位于所述一个以上图像中,也可以不位于所述一个以上图像中。针对不同的情况,所述预设的矢量运算方法也是不同的。在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M,也即所述待处理图像的MVF参考图像的帧数小于所述待处理图像的MCP参考图像的帧数。
S205、根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场;
S206、根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
S207、接收所述目标子图像块的预测参差的编码信号,并对所述目标子图像块的预测参差的编码信号进行解码处理,得到所述目标子图像块的预测参差;
S208、根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号。
需要说明的是,针对步骤206所述的从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,作为本领域技术人员应该理解的是,从M个所述MCP参考图像中能够确定出M个运动补偿预测信号,其中,所述目标子图像块的运动补偿预测信号是该M个运动补偿预测信号中的一个,且所述目标子图像块的运动补偿预测信号相对于该M个运动补偿预测信号中除所述目标子图像块的运动补偿预测信号之外的其他信号来说,产生的预测残差最小。
需要说明的是,步骤S208所述的根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括下述内容:
利用所述目标子图像块的运动补偿预测信号中包含的每一个像素点的像素值加上所述目标子图像块的预测参差中对应像素点的像素值,得到所述目标子图像块的图像信号,所述目标子图像块的运动补偿预测信号包括多个像素点,所述目标子图像块的预测参差也包括多个像素点,对于所述目标子图像块的运动补偿预测信号中包含的每一个像素点,所述目标子图像块的预测参差中均存在对应的像素点。
作为本发明的一个实施例,在所述参与矢量运算的第一运动矢量场包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,所述N个图像对应的MVF参考图像的帧数之和为P,N为大于或者等于1的整数,P为大于或者等于N的整数,
步骤205所述的根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到所述第二运动矢量场,具体包括:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
需要说明的是,本发明实施例是通过对第一运动矢量场进行缩放处理,从而获得第二运动矢量场的,例如要获得第二运动矢量场mvf(t',t),可以通过对已知的运动矢量场mvf(t1',t1)进行缩放处理获得,具体为其中t表示待处理图像所在的时刻,t'表示待处理图像的MCP参考图像所在的时刻,t1表示位于视频帧序列的某一帧图像所在的时刻,t1'表示该位于视频帧序列的某一帧图像的MVF参考图像所在的时刻,在t1=t时,mvf(t1',t1)表示待处理图像的第一运动矢量场。
相应的,步骤S206所述的根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:根据P×M个所述第二运动矢量场中每一第二运动矢量场,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号。
以及,步骤S208所述的根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:
根据所述P×M个运动补偿预测信号和所述目标子图像块的残差信号,获得所述目标子图像块的P×M个预测图像信号;
从所述P×M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
作为本发明的另一个实施例,在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
步骤205所述的根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到所述第二运动矢量场,具体包括:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
相应的,步骤S206所述的根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,获得所述目标子图像块的M个运动补偿预测信号。
以及,步骤S208所述的根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:根据所述目标子图像块的M个运动补偿预测信号和所述目标子图像块的预测残差,获得所述目标子图像块的M个预测图像信号,从所述M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
需要说明的是,本发明实施例也是通过对第一运动矢量场进行缩放处理获得第二运动矢量场的。
作为本发明的再一个实施例,在所述参与矢量运算的第一运动矢量场中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
步骤S205所述的根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到所述第二运动矢量场,具体包括:
根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
需要说明的是,本发明实施例是通过级联多个第一运动矢量场获取第二运动矢量场的,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像3(图像2的MVF参考图像)的第一运动矢量场为mvf(3,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),可以通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。可知,级联运算时,前一运动矢量场(例如mvf(2,1))的MVF参考图像为后一运动矢量场(例如mvf(3,2))包括的位于所述视频帧序列的图像。进一步的,在上述例子中,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像4(图像2的MVF参考图像)的第一运动矢量场为mvf(4,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),需要首先对mvf(4,2)进行缩放处理,获得mvf(3,2),其中,然后通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。
可知,本发明实施例提供的技术方案包括:根据该第二运动矢量场,基于运动补偿预测算法,从M个MCP参考图像中确定出目标子图像块的运动补偿预测信号;接收所述目标子图像块的预测残差的编码信号,并对所述目标子图像块的预测残差的编码信号进行解码处理,得到所述目标子图像块的预测残差;根据目标子图像块的的和目标子图像块的,得到目标子图像块的。在本方案中,MCP参考图像的帧数为M,且M为大于或者等于2的整数,也即相对于现有技术来说,本发明实施例提供的技术方案支持多参考帧的运动补偿预测,相对于现有技术中单参考帧的运动补偿预测来说,在多数情况下,采用本方案最终确定的目标子图像块的预测残差要小于现有技术中单参考帧时目标子图像块的预测残差,从而在多数情况下,提高了目标子图像块的编码效率。
实施例三
参见附图3a,本发明实施例还提供了一种编码器300,该编码器300为实施例一所述的视频编码方法的执行主体,具体的,该编码器300包括:
获取单元301,用于获取第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
运算单元303,用于根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,多个所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
需要说明的是,运动矢量场可以具有不同的粒度。例如,若将每一个像素作为一个运动矢量表示的基本单元,则该运动矢量场的粒度记做1×1;若经每一个2×2的像素集合作为一个运动矢量表示的基本单元,则该运动矢量场的粒度记做2×2。在本发明实施例提供的技术方案,是以1×1粒度的情况为例进行说明的。
值得注意的是,所述待处理图像可以位于所述一个以上图像中,也可以不位于所述一个以上图像中。针对不同的情况,所述预设的矢量运算方法也是不同的。在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M,也即所述待处理图像的MVF参考图像的帧数小于所述待处理图像的MCP参考图像的帧数。
运动补偿预测单元305,用于根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
处理单元307,用于根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差;
具体的,处理单元307具体用于利用所述目标子图像块的图像信号中包含的每一个像素点的像素值减去所述目标子图像块的运动补偿预测信号中对应像素点的像素值,得到所述目标子图像块的预测残差,所述目标子图像块的图像信号包括多个像素点,所述目标子图像块的运动补偿预测信号也包括多个像素点,对于所述目标子图像块的图像信号中包含的每一个像素点,所述目标子图像块的运动补偿预测信号中均存在对应的像素点。
编码单元309,用于对所述目标子图像块的预测参差进行编码处理,得到所述目标子图像块的预测参差的编码信号,并将所述目标子图像块的预测残差的编码信号发送给对端的解码器。
进一步的,参见附图3b,所述编码器还包括确定单元314和标记单元316:
在根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之后,
所述确定单元314,用于确定出位于所述第一运动矢量场集中的参与运算的第一运动矢量场,所述参与运算的第一运动矢量场是指为得到所述第二运动矢量场而参与所述预设的矢量运算方法的第一运动矢量场;
通常,所述参与运算的第一运动矢量场是所述第一运动矢量场集的真子集。
所述标记单元316,用于对位于所述第一运动矢量场集中的所述参与运算的第一运动矢量场进行标记,得到用于标记所述参与运算的第一运动矢量场的标识信息;
需要说明的是,在所述参与运算的第一运动矢量场包括所述待处理图像的第一运动矢量场、且所述待处理图像的MVF参考图像和所述待处理图像的MCP参考图像的选取满足特定关系的情况下,此处对所述待处理图像的第一运动矢量场进行编码处理,可以通过下述方式实现:将所述待处理图像的MVF参考图像的指示信息和所述待处理图像的MCP参考图像的指示信息进行联合编码,例如,待处理图像的MVF参考图像是待处理图像的MCP参考图像中距离待处理图像最近的图像,则只需编码一个索引值,指示待处理图像的MVF参考图像在待处理图像的MCP参考图像中的位置即可。若待处理图像的MVF参考图像的选取满足一定的规则,例如都是待处理图像的前一帧、或者前两帧,则可以在编码视频序列前对该模式进行编码。最灵活的方式就是在待处理图像上标记该待处理图像的MVF参考图像的位置,一般用MVF参考图像与待处理图像之间的距离表示,例如在HEVC标准中,用ΔPOC表示。
附图3b中,编码单元319还用于对所述标识信息进行编码处理,得到所述标识信息的编码信息;并将所述标识信息的编码信息发送给所述解码器。
进一步在参见附图3a,需要说明的是,编码单元309还用于对所述预设的矢量运算方法进行编码处理,得到所述预设的矢量运算方法的编码信息;并将所述预设的矢量运算方法的编码信息发送给所述解码器。
作为本发明的一个实施例,在获取单元301获取所述第一运动矢量场集之后,且在运算单元303通过运算得到多个所述第二运动矢量场之前,
编码单元301还用于对所述第一运动矢量场集进行有损压缩编码处理,得到所述第一运动矢量场集的有损压缩编码信息。
运算单元303具体用于对所述第一运动矢量场集的有损压缩编码信息进行解码处理,得到第三运动矢量场集;根据所述第三运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
进一步的,编码单元301还用于将所述第一运动矢量场集的有损压缩编码信息传输给所述解码器。
作为本发明的另一个实施例,在获取单元301获取所述第一运动矢量场集之后,且在运算单元303通过运算得到多个所述第二运动矢量场之前,
编码单元309还用于对所述第一运动矢量场集进行无损压缩编码处理,得到所述第一运动矢量场集的无损压缩编码信息。
相应的,运算单元303具体用于对所述第一运动矢量场集的无损压缩编码信息进行解码处理,得到所述第一运动矢量场集;根据所述第一运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
进一步的,编码单元309还用于将所述第一运动矢量场集的无损压缩编码信息传输给所述解码器。
作为本发明的再一个实施例,在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,P为大于或者等于N的整数,
运算单元303具体用于:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
需要说明的是,本发明实施例是通过对第一运动矢量场进行缩放处理,从而获得第二运动矢量场的,例如要获得第二运动矢量场mvf(t',t),可以通过对已知的运动矢量场mvf(t1',t1)进行缩放处理获得,具体为其中t表示待处理图像所在的时刻,t'表示待处理图像的MCP参考图像所在的时刻,t1表示位于视频帧序列的某一帧图像所在的时刻,t1'表示该位于视频帧序列的某一帧图像的MVF参考图像所在的时刻,在t1=t时,mvf(t1',t1)表示待处理图像的第一运动矢量场。
参见附图1c,假设待处理图像为POC=3的图像,待处理图像的MCP参考图像为POC=0的图像,待处理图像的MVF参考图像为POC=2的图像,其中,待处理图像的第一运动矢量场mvf(2,3)是已知的,待处理图像的第二运动矢量场mvf(0,3)是未知的,则可以通过对待处理图像的第一运动矢量场mvf(2,3)进行缩放处理,获得该待处理图像的第二运动矢量场mvf(0,3),其中应当理解的是,也可以通过其他已知的第一运动矢量场,例如通过mvf(1,2)来获得mvf(0,3),
相应的,运动补偿预测单元305具体用于:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号,获得所述目标子图像块的P×M个残差信号;从所述P×M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
作为本发明的再一个实施例,在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
运算单元303具体用于:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
相应的,运动补偿预测单元305具体用于:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的M个所述运动补偿预测信号,确定出所述目标子图像块的M个残差信号;从所述M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
需要说明的是,本发明实施例也是通过对第一运动矢量场进行缩放处理获得第二运动矢量场的。
作为本发明的再一个实施例,在所述第一运动矢量场集中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
运算单元309具体用于根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
需要说明的是,本发明实施例是通过级联多个第一运动矢量场获取第二运动矢量场的,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像3(图像2的MVF参考图像)的第一运动矢量场为mvf(3,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),可以通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。可知,级联运算时,前一运动矢量场(例如mvf(2,1))的MVF参考图像为后一运动矢量场(例如mvf(3,2))包括的位于所述视频帧序列的图像。进一步的,在上述例子中,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像4(图像2的MVF参考图像)的第一运动矢量场为mvf(4,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),需要首先对mvf(4,2)进行缩放处理,获得mvf(3,2),其中,然后通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。
可知,在本发明实施例提供的技术方案中,获取单元用于获取第一运动矢量场集,该第一运动矢量场集包括一个以上图像中每一图像相对于各自的MVF参考图像的运动矢量场;运算单元用于根据该第一运动矢量场集,基于预设的矢量运算方法,得到第二运动矢量场,其中,该第二运动矢量场为待处理图像的目标子图像块相对于该待处理图像的M个MCP参考图像的运动矢量场;运动补偿预测单元用于根据该第二运动矢量场,基于运动补偿预测算法,从M个MCP参考图像中确定出目标子图像块的运动补偿预测信号;处理单元用于根据目标子图像块的的图像信号和目标子图像块的运动补偿预测信号,得到目标子图像块的预测残差,编码单元用于对目标子图像块的的预测残差进行编码处理,即得到该目标子图像块的预测残差的编码信号。在本方案中,MCP参考图像的帧数为M,且M为大于或者等于2的整数,也即相对于现有技术来说,本发明实施例提供的技术方案支持多参考帧的运动补偿预测,相对于现有技术中单参考帧的运动补偿预测来说,在多数情况下,采用本方案最终确定的目标子图像块的预测残差要小于现有技术中单参考帧时目标子图像块的预测残差,从而在多数情况下,提高了目标子图像块的编码效率。
实施例四
参见附图4,本发明实施例还提供了一种解码器400,该解码器400为实施例二所述的视频解码方法的执行主体,具体的,该解码器400包括:
接收单元401,用于接收第一运动矢量场集的压缩编码信息,对所述第一运动矢量场集的压缩编码信息进行解码处理,得到所述第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
接收单元401还用于接收标识信息的编码信息,对所述标识信息的编码信息进行解码处理,得到所述标识信息,所述标识信息用于标记所述第一运动矢量场集中参与矢量运算的第一运动矢量场,所述参与运算的第一运动矢量场是指根据所述预设的矢量运算方法,参与矢量预算从而得到第二运动矢量场的第一运动矢量场,所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
通常,所述参与运算的第一运动矢量场是所述第一运动矢量场集的真子集。
确定单元403,用于根据所述第一运动矢量场集和所述标记信息,确定出所述参与矢量运算的第一运动矢量场;
接收单元401还用于接收预设的矢量运算方法的编码信息,对所述预设的矢量运算方法的编码信息进行解码处理,得到所述预设的矢量运算方法;
值得注意的是,所述待处理图像可以位于所述一个以上图像中,也可以不位于所述一个以上图像中。针对不同的情况,所述预设的矢量运算方法也是不同的。在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M,也即所述待处理图像的MVF参考图像的帧数小于所述待处理图像的MCP参考图像的帧数。
运算单元405,用于根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场;
运动补偿预测单元407,用于根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
需要说明的是,针对从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,作为本领域技术人员应该理解的是,从M个所述MCP参考图像中能够确定出M个运动补偿预测信号,其中,所述目标子图像块的运动补偿预测信号是该M个运动补偿预测信号中的一个,且所述目标子图像块的运动补偿预测信号相对于该M个运动补偿预测信号中除所述目标子图像块的运动补偿预测信号之外的其他信号来说,产生的预测残差最小。
接收单元401还用于接收所述目标子图像块的预测参差的编码信号,并对所述目标子图像块的预测参差的编码信号进行解码处理,得到所述目标子图像块的预测参差;
处理单元409,用于根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号。
需要说明的是,所述处理单元409具体用于利用所述目标子图像块的运动补偿预测信号中包含的每一个像素点的像素值加上所述目标子图像块的预测参差中对应像素点的像素值,得到所述目标子图像块的图像信号,所述目标子图像块的运动补偿预测信号包括多个像素点,所述目标子图像块的预测参差也包括多个像素点,对于所述目标子图像块的运动补偿预测信号中包含的每一个像素点,所述目标子图像块的预测参差中均存在对应的像素点。
作为本发明的一个实施例,在所述参与矢量运算的第一运动矢量场包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,所述N个图像对应的MVF参考图像的帧数之和为P,N为大于或者等于1的整数,P为大于或者等于N的整数,
运算单元405具体用于:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
需要说明的是,本发明实施例是通过对第一运动矢量场进行缩放处理,从而获得第二运动矢量场的,例如要获得第二运动矢量场mvf(t',t),可以通过对已知的运动矢量场mvf(t1',t1)进行缩放处理获得,具体为其中t表示待处理图像所在的时刻,t'表示待处理图像的MCP参考图像所在的时刻,t1表示位于视频帧序列的某一帧图像所在的时刻,t1'表示该位于视频帧序列的某一帧图像的MVF参考图像所在的时刻,在t1=t时,mvf(t1',t1)表示待处理图像的第一运动矢量场。
相应的,运动补偿预测单元407具体用于根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号。
以及,处理单元409具体用于:
根据所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号和所述目标子图像块的残差信号,得到所述目标子图像块的P×M个预测图像信号;
从所述P×M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
作为本发明的另一实施例,在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
运算单元405具体用于:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
相应的,运动补偿预测单元407具体用于根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号。
以及,处理单元409具体用于根据所述目标子图像块的M个运动补偿预测信号和所述目标子图像块的预测残差,获得所述目标子图像块的M个预测图像信号,从所述M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
需要说明的是,本发明实施例也是通过对第一运动矢量场进行缩放处理获得第二运动矢量场的。
作为本发明的再一个实施例,在所述参与矢量运算的第一运动矢量场中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
运算单元405具体用于根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
需要说明的是,本发明实施例是通过级联多个第一运动矢量场获取第二运动矢量场的,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像3(图像2的MVF参考图像)的第一运动矢量场为mvf(3,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),可以通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。可知,级联运算时,前一运动矢量场(例如mvf(2,1))的MVF参考图像为后一运动矢量场(例如mvf(3,2))包括的位于所述视频帧序列的图像。进一步的,在上述例子中,假设待处理图像为图像1,图像1的MCP参考图像为图像3,位于视频帧序列内的图像1相对于图像2(图像1的MVF参考图像)的第一运动矢量场为mvf(2,1),图像2相对于图像4(图像2的MVF参考图像)的第一运动矢量场为mvf(4,2),为了获取图像1相对于图像3的第二运动矢量场mvf(3,1),需要首先对mvf(4,2)进行缩放处理,获得mvf(3,2),其中,然后通过对mvf(2,1)和mvf(3,2)进行级联处理获取,具体的mvf(3,1)=mvf(3,2)+mvf(2,1)。
可知,本发明实施例提供的技术方案包括:运动预测单元用于根据该第二运动矢量场,基于运动补偿预测算法,从M个MCP参考图像中确定出目标子图像块的运动补偿预测信号;接收单元用于接收所述目标子图像块的预测残差的编码信号,并对所述目标子图像块的预测残差的编码信号进行解码处理,得到所述目标子图像块的预测残差;处理单元用于根据目标子图像块的的和目标子图像块的,得到目标子图像块的。在本方案中,MCP参考图像的帧数为M,且M为大于或者等于2的整数,也即相对于现有技术来说,本发明实施例提供的技术方案支持多参考帧的运动补偿预测,相对于现有技术中单参考帧的运动补偿预测来说,在多数情况下,采用本方案最终确定的目标子图像块的预测残差要小于现有技术中单参考帧时目标子图像块的预测残差,从而在多数情况下,提高了目标子图像块的编码效率。
实施例五
参见附图5,本发明实施例还提供了一种编解码系统,该编解码系统包括如实施例三所述的编码器501,且该编解码系统还包括如实施例四所述的解码器502。
所述编码器501用于对图像信号进行编码处理,得到图像信号的编码结果,并将所述图像信号的编码结果发送给所述解码器502;
所述解码器501用于接收所述图像信号的编码结果,并对所述图像信号的编码结果进行解码处理,得到所述图像信号。
可知,由于本发明实施例提供的编解码系统中,编码器具有实施例三所述的在多数情况下能够提高目标子图像块的编码效率的优势,解码器也具有实施例四所述的在多数情况下能够提高目标子图像块的编码效率的优势,所以,采用本发明实施例提供的编解码系统,同样能够在多数情况下,提高目标子图像块的编码效率。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于虚拟机的数据交换装置、物理主机以及通信系统的实施例而言,由于其基本相似于虚拟机的数据交换方法的实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是也可以或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,单元之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或者多条通信总线或者信号线。本领域普通技术人员在不付出创造性劳动的情况下,既可以理解并实施。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种视频编解码方法、编解码器及编解码系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (51)

1.一种视频编码方法,其特征在于,所述方法包括:
获取第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,多个所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差;
对所述目标子图像块的预测参差进行编码处理,得到所述目标子图像块的预测参差的编码信号,并将所述目标子图像块的预测残差的编码信号发送给对端的解码器。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差,具体包括:
利用所述目标子图像块的图像信号中包含的每一个像素点的像素值减去所述目标子图像块的运动补偿预测信号中对应像素点的像素值,得到所述目标子图像块的预测残差,所述目标子图像块的图像信号包括多个像素点,所述目标子图像块的运动补偿预测信号也包括多个像素点,对于所述目标子图像块的图像信号中包含的每一个像素点,所述目标子图像块的运动补偿预测信号中均存在对应的像素点。
3.根据权利要求1或2所述的方法,其特征在于:
在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之后,所述方法还包括:
确定出位于所述第一运动矢量场集中的参与运算的第一运动矢量场,所述参与运算的第一运动矢量场是指为得到所述第二运动矢量场而参与所述预设的矢量运算方法的第一运动矢量场;
对位于所述第一运动矢量场集中的所述参与运算的第一运动矢量场进行标记,得到用于标记所述参与运算的第一运动矢量场的标识信息;
对所述标识信息进行编码处理,得到所述标识信息的编码信息;
将所述标识信息的编码信息发送给所述解码器。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
对所述预设的矢量运算方法进行编码处理,得到所述预设的矢量运算方法的编码信息;
将所述预设的矢量运算方法的编码信息发送给所述解码器。
6.根据权利要求1至5任一项所述的方法,其特征在于,
所述获取第一运动矢量场集之后,所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之前,所述方法还包括:
对所述第一运动矢量场集进行有损压缩编码处理,得到所述第一运动矢量场集的有损压缩编码信息。
7.根据权利要求6所述的方法,其特征在于,
所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
对所述第一运动矢量场集的有损压缩编码信息进行解码处理,得到第三运动矢量场集;
根据所述第三运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
8.根据权利要求6或7所述的方法,其特征在于,所述方法还包括:
将所述第一运动矢量场集的有损压缩编码信息传输给所述解码器。
9.根据权利要求1至5任一项所述的方法,其特征在于,
所述获取第一运动矢量场集之后,所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之前,所述方法还包括:
对所述第一运动矢量场集进行无损压缩编码处理,得到所述第一运动矢量场集的无损压缩编码信息。
10.根据权利要求9所述的方法,其特征在于,
所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
对所述第一运动矢量场集的无损压缩编码信息进行解码处理,得到所述第一运动矢量场集;
根据所述第一运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
11.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:
将所述第一运动矢量场集的无损压缩编码信息传输给所述解码器。
12.根据权利要求1至11任一项所述的方法,其特征在于,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,P为大于或者等于N的整数,
所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
13.根据权利要求12所述的方法,其特征在于,
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号;
相应的,所述根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差,具体包括:
根据所述目标子图像块的图像信号和所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号,获得所述目标子图像块的P×M个残差信号;从所述P×M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
14.根据权利要求1至11任一项所述的方法,其特征在于,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
15.根据权利要求14所述的方法,其特征在于,
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号;
相应的,所述根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差,具体包括:
根据所述目标子图像块的图像信号和所述目标子图像块的M个运动补偿预测信号,确定出所述目标子图像块的M个残差信号;从所述M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
16.根据权利要求1至11任一项所述的方法,其特征在于:
在所述第一运动矢量场集中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,具体包括:
根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
17.一种视频解码方法,其特征在于:
接收第一运动矢量场集的压缩编码信息,对所述第一运动矢量场集的压缩编码信息进行解码处理,得到所述第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
接收标识信息的编码信息,对所述标识信息的编码信息进行解码处理,得到所述标识信息,所述标识信息用于标记所述第一运动矢量场集中参与矢量运算的第一运动矢量场,所述参与运算的第一运动矢量场是指根据所述预设的矢量运算方法,参与矢量预算从而得到第二运动矢量场的第一运动矢量场,所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
根据所述第一运动矢量场集和所述标记信息,确定出所述参与矢量运算的第一运动矢量场;
接收预设的矢量运算方法的编码信息,对所述预设的矢量运算方法的编码信息进行解码处理,得到所述预设的矢量运算方法;
根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场;
根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
所述方法还包括:
接收所述目标子图像块的预测参差的编码信号,并对所述目标子图像块的预测参差的编码信号进行解码处理,得到所述目标子图像块的预测参差;
根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号。
18.根据权利要求17所述的方法,其特征在于,
所述根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:
利用所述目标子图像块的运动补偿预测信号中包含的每一个像素点的像素值加上所述目标子图像块的预测参差中对应像素点的像素值,得到所述目标子图像块的图像信号,所述目标子图像块的运动补偿预测信号包括多个像素点,所述目标子图像块的预测参差也包括多个像素点,对于所述目标子图像块的运动补偿预测信号中包含的每一个像素点,所述目标子图像块的预测参差中均存在对应的像素点。
19.根据权利要求17或18所述的方法,其特征在于,
在所述参与矢量运算的第一运动矢量场包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,所述N个图像对应的MVF参考图像的帧数之和为P,N为大于或者等于1的整数,P为大于或者等于N的整数,
所述根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场,具体包括:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
20.根据权利要求19所述的方法,其特征在于,
所述多个根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号。
21.根据权利要求20所述的方法,其特征在于,
所述根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:
根据所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号和所述目标子图像块的残差信号,得到所述目标子图像块的P×M个预测图像信号;
从所述P×M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
22.根据权利要求17或18所述的方法,其特征在于,
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场,具体包括:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
23.根据权利要求22所述的方法,其特征在于,
所述根据多个所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号,具体包括:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号。
24.根据权利要求23所述的方法,其特征在于,
所述根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号,具体包括:
根据所述目标子图像块的M个运动补偿预测信号和所述目标子图像块的预测残差,获得所述目标子图像块的M个预测图像信号,从所述M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
25.根据权利要求17或18所述的方法,其特征在于,
在所述参与矢量运算的第一运动矢量场中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
所述根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场,具体包括:
根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
26.一种编码器,其特征在于,包括:
获取单元,用于获取第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
运算单元,用于根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场,多个所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
运动补偿预测单元,用于根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
处理单元,用于根据所述目标子图像块的图像信号和所述目标子图像块的运动补偿预测信号,得到所述目标子图像块的预测残差;
编码单元,用于对所述目标子图像块的预测参差进行编码处理,得到所述目标子图像块的预测参差的编码信号,并将所述目标子图像块的预测残差的编码信号发送给对端的解码器。
27.根据权利要求26所述的编码器,其特征在于,
所述处理单元具体用于利用所述目标子图像块的图像信号中包含的每一个像素点的像素值减去所述目标子图像块的运动补偿预测信号中对应像素点的像素值,得到所述目标子图像块的预测残差,所述目标子图像块的图像信号包括多个像素点,所述目标子图像块的运动补偿预测信号也包括多个像素点,对于所述目标子图像块的图像信号中包含的每一个像素点,所述目标子图像块的运动补偿预测信号中均存在对应的像素点。
28.根据权利要求26或27所述的编码器,其特征在于,
在所述一个以上图像中包括所述待处理图像的情况下,所述待处理图像的MVF参考图像的帧数小于或者等于M。
29.根据权利要求26至28任一项所述的编码器,其特征在于,所述编码器还包括确定单元和标记单元:
在根据所述第一运动矢量场集,基于预设的矢量运算方法,得到多个第二运动矢量场之后,
所述确定单元,用于确定出位于所述第一运动矢量场集中的参与运算的第一运动矢量场,所述参与运算的第一运动矢量场是指为得到所述第二运动矢量场而参与所述预设的矢量运算方法的第一运动矢量场;
所述标记单元,用于对位于所述第一运动矢量场集中的所述参与运算的第一运动矢量场进行标记,得到用于标记所述参与运算的第一运动矢量场的标识信息;
所述编码单元还用于对所述标识信息进行编码处理,得到所述标识信息的编码信息;并将所述标识信息的编码信息发送给所述解码器。
30.根据权利要求26至29任一项所述的编码器,其特征在于:
所述编码单元还用于对所述预设的矢量运算方法进行编码处理,得到所述预设的矢量运算方法的编码信息;并将所述预设的矢量运算方法的编码信息发送给所述解码器。
31.根据权利要求26至30任一项所述的编码器,其特征在于,在所述获取单元获取所述第一运动矢量场集之后,且在所述运算单元通过运算得到多个所述第二运动矢量场之前,
所述编码单元还用于对所述第一运动矢量场集进行有损压缩编码处理,得到所述第一运动矢量场集的有损压缩编码信息。
32.根据权利要求31所述的编码器,其特征在于:
所述运算单元具体用于对所述第一运动矢量场集的有损压缩编码信息进行解码处理,得到第三运动矢量场集;根据所述第三运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
33.根据权利要求31或32所述的编码器,其特征在于:
所述编码单元还用于将所述第一运动矢量场集的有损压缩编码信息传输给所述解码器。
34.根据权利要求26至30任一项所述的编码器,其特征在于,在所述获取单元获取所述第一运动矢量场集之后,且在所述运算单元通过运算得到多个所述第二运动矢量场之前,
所述编码单元还用于对所述第一运动矢量场集进行无损压缩编码处理,得到所述第一运动矢量场集的无损压缩编码信息。
35.根据权利要求34所述的编码器,其特征在于:
所述运算单元具体用于对所述第一运动矢量场集的无损压缩编码信息进行解码处理,得到所述第一运动矢量场集;根据所述第一运动矢量场集、所述一个以上图像中每一图像的图像序列号和各自的MVF参考图像的图像序列号,基于预设的矢量运算方法,得到多个所述第二运动矢量场。
36.根据权利要求34或35所述的编码器,其特征在于:
所述编码单元还用于将所述第一运动矢量场集的无损压缩编码信息传输给所述解码器。
37.根据权利要求26至36任一项所述的编码器,其特征在于:
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,P为大于或者等于N的整数,
所述运算单元具体用于:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
38.根据权利要求37所述的编码器,其特征在于:
所述运动补偿预测单元具体用于:
根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号,获得所述目标子图像块的P×M个残差信号;从所述P×M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
39.根据权利要求26至36任一项所述的编码器,其特征在于:
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述运算单元具体用于:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
40.根据权利要求39所述的编码器,其特征在于:
所述运动补偿预测单元具体用于:
根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号;
根据所述目标子图像块的图像信号和所述目标子图像块的M个所述运动补偿预测信号,确定出所述目标子图像块的M个残差信号;从所述M个残差信号中选择能量最小的残差信号作为所述目标子图像块的预测残差。
41.根据权利要求26至36任一项所述的编码器,其特征在于:
在所述第一运动矢量场集中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
所述运算单元具体用于根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
42.一种解码器,其特征在于,包括:
接收单元,用于接收第一运动矢量场集的压缩编码信息,对所述第一运动矢量场集的压缩编码信息进行解码处理,得到所述第一运动矢量场集,所述第一运动矢量场集包括一个以上图像中每一图像相对于各自的一个或者多个运动矢量场MVF参考图像的运动矢量场,所述一个以上图像位于同一视频帧序列,所述一个以上图像中每一图像的MVF参考图像也位于所述视频帧序列,所述一个以上图像中的每一图像和各自的MVF参考图像不相同;
所述接收单元还用于接收标识信息的编码信息,对所述标识信息的编码信息进行解码处理,得到所述标识信息,所述标识信息用于标记所述第一运动矢量场集中参与矢量运算的第一运动矢量场,所述参与运算的第一运动矢量场是指根据所述预设的矢量运算方法,参与矢量预算从而得到第二运动矢量场的第一运动矢量场,所述第二运动矢量场为待处理图像的目标子图像块相对于所述待处理图像的M个运动补偿预测MCP参考图像中每一MCP参考图像的运动矢量场,所述待处理图像位于所述视频帧序列,且所述待处理图像被划分为互不重叠的多个子图像块,所述目标子图像块位于互不重叠的所述多个子图像块中,所述MCP参考图像为所述视频帧序列中的已编码图像,或者,所述MCP参考图像为通过对所述视频帧序列中的已编码图像进行处理得到的中间图像,M为大于或者等于2的整数;
确定单元,用于根据所述第一运动矢量场集和所述标记信息,确定出所述参与矢量运算的第一运动矢量场;
所述接收单元还用于接收预设的矢量运算方法的编码信息,对所述预设的矢量运算方法的编码信息进行解码处理,得到所述预设的矢量运算方法;
运算单元,用于根据所述参与矢量运算的第一运动矢量场和所述预设的矢量运算方法,得到多个所述第二运动矢量场;
运动补偿预测单元,用于根据所述第二运动矢量场,基于运动补偿预测算法,从M个所述MCP参考图像中确定出所述目标子图像块的运动补偿预测信号;
所述接收单元还用于接收所述目标子图像块的预测参差的编码信号,并对所述目标子图像块的预测参差的编码信号进行解码处理,得到所述目标子图像块的预测参差;
处理单元,用于根据所述目标子图像块的运动补偿预测信号和所述目标子图像块的预测参差,得到所述目标子图像块的图像信号。
43.根据权利要求42所述的解码器,其特征在于:
所述处理单元具体用于利用所述目标子图像块的运动补偿预测信号中包含的每一个像素点的像素值加上所述目标子图像块的预测参差中对应像素点的像素值,得到所述目标子图像块的图像信号,所述目标子图像块的运动补偿预测信号包括多个像素点,所述目标子图像块的预测参差也包括多个像素点,对于所述目标子图像块的运动补偿预测信号中包含的每一个像素点,所述目标子图像块的预测参差中均存在对应的像素点。
44.根据权利要求42或43所述的解码器,其特征在于:
在所述参与矢量运算的第一运动矢量场包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,所述N个图像对应的MVF参考图像的帧数之和为P,N为大于或者等于1的整数,P为大于或者等于N的整数,
所述运算单元具体用于:
确定P个第一相对图像序列号,P个所述第一相对图像序列号为所述N个图像中每一图像相对于各自的MVF参考图像中的每一MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
得到P×M个缩放比值,所述P×M个缩放比值是指P个所述第一相对图像序列号中每一第一相对图像序列号与M个所述第二相对图像序列号中每一第二相对图像序列号的比值;
对于所述P×M个缩放比值中的每一缩放比值,均按照下面针对第Q个缩放比值的操作方法进行处理,从而得到P×M个所述第二运动矢量场,其中,在所述第Q个缩放比值对应的第一相对图像序列号为所述N个图像中第U个图像相对于所述第U个图像的第V个MVF参考图像的图像序列号的情况下:
根据所述第Q个缩放比值,对所述第U个图像相对于所述第U个图像的MVF参考图像中的第V个MVF参考图像的运动矢量场进行缩放处理,得到第Q个所述第二运动矢量场。
45.根据权利要求44所述的解码器,其特征在于:
所述运动补偿预测单元具体用于根据P×M个所述第二运动矢量场中每一第二运动矢量场,基于运动补偿预测算法,从相应的MCP参考图像中确定出所述目标子图像块的P×M个运动补偿预测信号。
46.根据权利要求45所述的解码器,其特征在于:
所述处理单元具体用于:
根据所述目标子图像块的P×M个运动补偿预测信号中每一运动补偿预测信号和所述目标子图像块的残差信号,得到所述目标子图像块的P×M个预测图像信号;
从所述P×M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
47.根据权利要求42或43所述的解码器,其特征在于:
在所述第一运动矢量场集包括N个图像中每一图像相对于各自的MVF参考图像的运动矢量场的情况下,其中,N为大于或者等于1的整数,所述N个图像对应的MVF参考图像的帧数之和为P,则所述第一运动矢量场集包括P个第一运动矢量场,P为大于或者等于N的整数;
所述运算单元具体用于:
从P个所述第一运动矢量场中确定出一个最优运动矢量场,所述最优运动矢量场是指P个所述第一运动矢量场中能够使得所述目标子图像块的预测残差能量最小的第一运动矢量场;
在所述最优运动矢量场是指所述N个图像中的第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场的情况下,其中,E为大于或者等于1且小于或者等于N的整数,F为大于或者等于1的整数,G为大于或者等于1且小于或者等于F的整数;
确定第三相对图像序列号,所述第三相对图像序列号为所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的图像序列号;
确定M个第二相对图像序列号,M个所述第二相对图像序列号为所述待处理图像相对于M个所述MCP参考图像中每一MCP参考图像的图像序列号;
根据所述第三相对图像序列号与M个所述第二相对图像序列号中每一第二图像序列号的比值,对所述第E个图像相对于所述第E个图像的F个MVF参考图像中的第G个MVF参考图像的运动矢量场进行缩放处理,得到M个所述第二运动矢量场。
48.根据权利要求47所述的解码器,其特征在于:
所述运动补偿预测单元具体用于根据M个所述第二运动矢量场中每一第二运动矢量场和对应的MCP参考图像,基于运动补偿预测算法,确定出所述目标子图像块的M个运动补偿预测信号。
49.根据权利要求48所述的解码器,其特征在于:
所述处理单元具体用于根据所述目标子图像块的M个运动补偿预测信号和所述目标子图像块的预测残差,获得所述目标子图像块的M个预测图像信号,从所述M个预测图像信号中选择能量最小的预测图像信号作为所述目标子图像块的图像信号。
50.根据权利要求42或43所述的解码器,其特征在于:
在所述参与矢量运算的第一运动矢量场中包括所述待处理图像相对于第一图像的第一运动矢量场mvf(t1,t),所述第一图像相对于所述第二图像的第一运动矢量场mvf(t2,t1),所述第二图像相对于第三图像的第一运动矢量场mvf(t3,t2),……,第K图像相对于所述待处理图像的MCP参考图像的第一运动矢量场mvf(t',tk),K为大于或者等于3的整数;
所述运算单元具体用于根据公式mvf(t',t)=mvf(t',tk)+…+mvf(t3,t2)+mvf(t2,t1)+mvf(t1,t),得到所述第二运动矢量场mvf(t',t)。
51.一种编解码系统,其特征在于,包括如权利要求27至42任一项所述的编码器和如权利要求42至50任一项所述的解码器,
所述编码器用于对图像信号进行编码处理,得到图像信号的编码结果,并将所述图像信号的编码结果发送给所述解码器;
所述解码器用于接收所述图像信号的编码结果,并对所述图像信号的编码结果进行解码处理,得到所述图像信号。
CN201510274936.8A 2015-05-26 2015-05-26 一种视频编解码方法、编码器和解码器 Active CN106303544B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510274936.8A CN106303544B (zh) 2015-05-26 2015-05-26 一种视频编解码方法、编码器和解码器
PCT/CN2016/078970 WO2016188243A1 (zh) 2015-05-26 2016-04-11 一种视频编解码方法、编码器和解码器
EP16799132.2A EP3273693A4 (en) 2015-05-26 2016-04-11 Video encoding and decoding method, encoder and decoder
US15/797,728 US10554997B2 (en) 2015-05-26 2017-10-30 Video coding/decoding method, encoder, and decoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510274936.8A CN106303544B (zh) 2015-05-26 2015-05-26 一种视频编解码方法、编码器和解码器

Publications (2)

Publication Number Publication Date
CN106303544A true CN106303544A (zh) 2017-01-04
CN106303544B CN106303544B (zh) 2019-06-11

Family

ID=57393801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510274936.8A Active CN106303544B (zh) 2015-05-26 2015-05-26 一种视频编解码方法、编码器和解码器

Country Status (4)

Country Link
US (1) US10554997B2 (zh)
EP (1) EP3273693A4 (zh)
CN (1) CN106303544B (zh)
WO (1) WO2016188243A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181507A1 (zh) * 2019-03-12 2020-09-17 北京大学 图像处理的方法与装置
CN113454999A (zh) * 2019-01-02 2021-09-28 北京字节跳动网络技术有限公司 划分模式之间的运动矢量推导
US11871022B2 (en) 2018-05-31 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Concept of interweaved prediction

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107852500B (zh) 2015-08-24 2020-02-21 华为技术有限公司 运动矢量场编码方法和解码方法、编码和解码装置
US20210127125A1 (en) * 2019-10-23 2021-04-29 Facebook Technologies, Llc Reducing size and power consumption for frame buffers using lossy compression

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127969A (zh) * 1995-01-26 1996-07-31 大宇电子株式会社 用于在帧削减视频编码器中检测运动矢量的方法及装置
CN1518833A (zh) * 2002-04-19 2004-08-04 ���µ�����ҵ��ʽ���� 运动矢量的计算方法
US20070230572A1 (en) * 2006-03-28 2007-10-04 Shinichiro Koto Video decoding method and apparatus
US20120281763A1 (en) * 2002-07-15 2012-11-08 Yoshinori Suzuki Moving Picture Encoding Method and Decoding Method
CN103039074A (zh) * 2010-07-28 2013-04-10 高通股份有限公司 Gpb帧中的双向运动向量的联合译码
US20130202041A1 (en) * 2006-06-27 2013-08-08 Yi-Jen Chiu Chroma motion vector processing apparatus, system, and method
US20140044183A1 (en) * 2002-04-23 2014-02-13 Panasonic Corporation Motion vector coding and decoding methods
CN103916673A (zh) * 2013-01-06 2014-07-09 华为技术有限公司 基于双向预测的编码方法、解码方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502493A (en) * 1994-05-19 1996-03-26 Matsushita Electric Corporation Of America Variable length data decoder for use with MPEG encoded video data
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR20050041293A (ko) * 2003-10-30 2005-05-04 삼성전자주식회사 움직임 예측 장치 및 방법
KR20110050283A (ko) 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
KR101407832B1 (ko) 2012-12-12 2014-06-18 조선대학교산학협력단 다수 참조 프레임을 사용하는 영상 코덱의 에러 리질리언스를 위한 참조 프레임 선택 기법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127969A (zh) * 1995-01-26 1996-07-31 大宇电子株式会社 用于在帧削减视频编码器中检测运动矢量的方法及装置
CN1518833A (zh) * 2002-04-19 2004-08-04 ���µ�����ҵ��ʽ���� 运动矢量的计算方法
US20140044183A1 (en) * 2002-04-23 2014-02-13 Panasonic Corporation Motion vector coding and decoding methods
US20120281763A1 (en) * 2002-07-15 2012-11-08 Yoshinori Suzuki Moving Picture Encoding Method and Decoding Method
US20070230572A1 (en) * 2006-03-28 2007-10-04 Shinichiro Koto Video decoding method and apparatus
US20130202041A1 (en) * 2006-06-27 2013-08-08 Yi-Jen Chiu Chroma motion vector processing apparatus, system, and method
CN103039074A (zh) * 2010-07-28 2013-04-10 高通股份有限公司 Gpb帧中的双向运动向量的联合译码
CN103916673A (zh) * 2013-01-06 2014-07-09 华为技术有限公司 基于双向预测的编码方法、解码方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871022B2 (en) 2018-05-31 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Concept of interweaved prediction
CN113454999A (zh) * 2019-01-02 2021-09-28 北京字节跳动网络技术有限公司 划分模式之间的运动矢量推导
US11930182B2 (en) 2019-01-02 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Motion vector derivation between dividing patterns
WO2020181507A1 (zh) * 2019-03-12 2020-09-17 北京大学 图像处理的方法与装置

Also Published As

Publication number Publication date
WO2016188243A1 (zh) 2016-12-01
US10554997B2 (en) 2020-02-04
EP3273693A1 (en) 2018-01-24
CN106303544B (zh) 2019-06-11
EP3273693A4 (en) 2018-03-14
US20180070099A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN106303544A (zh) 一种视频编解码方法、编码器和解码器
CN111526361B (zh) 图像编解码方法及装置
CN107809642B (zh) 用于视频图像编码和解码的方法、编码设备和解码设备
CN105847795A (zh) 管线化架构的视讯编码系统的帧内块复制方法与装置
CN106797464A (zh) 用于视频编码和解码中的矢量编码的方法和装置
CN116962719A (zh) 针对屏幕数据的有效帧内编码
CN111263144B (zh) 一种运动信息确定方法及其设备
TW201127065A (en) Moving image encoding device, method, and program, and moving image decoding device, method, and program
CN104883566A (zh) 一种适用于hevc标准的帧内预测块大小划分的快速算法
JP2005260588A5 (zh)
CN109246430A (zh) 虚拟现实360度视频快速帧内预测和cu划分提前决策
CN101256668A (zh) 一种计算均衡的多核进行视频滤波的方法
EP3163879A1 (en) Video encoding device and video encoding method
KR101693416B1 (ko) 영상 부호화 방법 및 영상 복호화 방법과 상기 방법을 이용한 영상 부호화 장치 및 영상 복호화 장치
CN105227959A (zh) 用于视频编码的多编码点混编流水方法及其装置
CN109996075B (zh) 一种图像解码方法及解码器
CN114422803B (zh) 一种视频处理方法、装置及设备
CN102300088B (zh) 画面内预测模式最佳化方法与图像压缩方法以及装置
US11956452B2 (en) System and method for H.265 encoding
WO2020207451A1 (zh) 一种h.265编码方法和装置
CN102868889A (zh) 帧间图像视频编解码的运动矢量预测方法及视频编解码器
Zhang et al. Content-aware Masked Image Modeling Transformer for Stereo Image Compression
CN117041571A (zh) 滤波预测方法、视频编码方法、视频解码方法及装置
CN103002279A (zh) 编码并重构像素块的方法及其对应设备
CN102893592B (zh) 图像缩小方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant