CN112104875A - 视频编码方法、装置及存储介质 - Google Patents

视频编码方法、装置及存储介质 Download PDF

Info

Publication number
CN112104875A
CN112104875A CN202010939970.3A CN202010939970A CN112104875A CN 112104875 A CN112104875 A CN 112104875A CN 202010939970 A CN202010939970 A CN 202010939970A CN 112104875 A CN112104875 A CN 112104875A
Authority
CN
China
Prior art keywords
image
base layer
motion vector
coding
preset threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010939970.3A
Other languages
English (en)
Other versions
CN112104875B (zh
Inventor
李金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010939970.3A priority Critical patent/CN112104875B/zh
Publication of CN112104875A publication Critical patent/CN112104875A/zh
Application granted granted Critical
Publication of CN112104875B publication Critical patent/CN112104875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例涉及通信技术领域,公开了一种视频编码方法,包括:将待编码视频划分为多个图像组,每一图像组内的各图像均包括:基本层图像以及与基本层图像对应的增强层图像;依次对多个图像组进行编码;在对每一图像组进行编码时,先对每个图像组内的各图像的基本层图像进行编码,得到多个基本层已编码帧;再获取多个基本层已编码帧中每个基本层已编码帧的运动矢量信息,得到多个运动矢量信息;最后根据多个运动矢量信息确定各图像的增强层图像的编码块尺寸,并根据编码块尺寸对增强层图像进行编码。本发明提供的视频编码方法、装置及存储介质,能够提高视频的编码质量。

Description

视频编码方法、装置及存储介质
技术领域
本发明实施例涉及通信技术领域,特别涉及一种视频编码方法、装置及存储介质。
背景技术
随着视频业务的日益增长,视频传输网络结构和视频终端设备的差异越来越大,其中,网络结构的差异主要是指网络带宽和网络环境的不同;终端设备差异是指参与视频系统的终端的多样性(如专用硬件终端、桌面软件终端和移动播放设备等),这些终端对视频码流的参数需求不同,可分级视频编码技术(Scalable Video Coding,简称SVC)可以适应这些不同的需求。
在视频编码领域,编码过程中对增强层编码块尺寸进行预测是不可或缺的关键环节之一。然而,发明人发现现有技术中对增强层编码快尺寸预测的改进较少,编码质量不高。
发明内容
本发明实施方式的目的在于提供一种视频编码方法、装置及存储介质,能够提高视频的编码质量。
为解决上述技术问题,本发明的实施方式提供了一种视频编码方法,包括:将待编码视频划分为多个图像组,每一所述图像组内的各图像均包括:基本层图像以及与所述基本层图像对应的增强层图像;依次对所述多个图像组进行编码;在对每一所述图像组进行编码时,先对每个所述图像组内的各图像的所述基本层图像进行编码,得到多个基本层已编码帧;再获取所述多个基本层已编码帧中每个所述基本层已编码帧的运动矢量信息,得到多个所述运动矢量信息;最后根据多个所述运动矢量信息确定各图像的所述增强层图像的编码块尺寸,并根据所述编码块尺寸对所述增强层图像进行编码。
另外,所述获取所述多个基本层已编码帧中每个所述基本层已编码帧的运动矢量信息,包括:对所述多个基本层已编码帧中每个所述基本层已编码帧按照预设尺寸的图块进行划分;计算所述基本层已编码帧中每个所述图块的运动矢量的幅值,得到所述基本层已编码帧的所有图块的运动矢量幅值;将所述运动矢量幅值作为所述基本层已编码帧的运动矢量信息。
另外,所述根据多个所述运动矢量信息确定各图像的所述增强层图像的编码块尺寸,包括:根据各所述基本层已编码帧中相同图块区域的运动矢量幅值,计算加权平均值;判断所述加权平均值是否小于第一预设阈值;若所述加权平均值小于所述第一预设阈值,则确定当前所述增强层图像中相同图块区域的编码块尺寸为第一编码尺寸。
另外,所述根据各所述基本层已编码帧中相同图块区域的运动矢量幅值,计算加权平均值,包括:根据当前所述增强层图像确定各所述基本层已编码帧的运动矢量幅值的权重系数,其中,与所述当前所述增强层图像对应的所述基本层已编码帧的运动矢量幅值的权重系数,大于其他所述基本层已编码帧的运动矢量幅值的权重系数;根据各所述基本层已编码帧的运动矢量幅值的权重系数、以及各所述基本层已编码帧中相同图块区域的运动矢量幅值,计算所述加权平均值。
另外,与所述当前所述增强层图像对应的所述基本层已编码帧的运动矢量幅值的权重系数为0.5,其他所述基本层已编码帧的运动矢量幅值的权重系数总和为0.5。
另外,所述判断所述加权平均值是否小于第一预设阈值之后,还包括:若所述加权平均值不小于所述第一预设阈值,则判断所述加权平均值是否小于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;若所述加权平均值小于所述第二预设阈值,则确定当前所述增强层图像中相同图块区域的编码块尺寸为第二编码尺寸,其中,所述第二编码尺寸小于所述第一编码尺寸。
另外,所述判断所述加权平均值是否小于第二预设阈值之后,还包括:若所述加权平均值不小于所述第二预设阈值,则判断所述加权平均值是否小于第三预设阈值,所述第三预设阈值大于所述第二预设阈值;若所述加权平均值小于所述第三预设阈值,则确定当前所述增强层图像中相同图块区域的编码块尺寸为第三编码尺寸,其中,所述第三编码尺寸小于所述第二编码尺寸。
另外,所述判断所述加权平均值是否小于第三预设阈值之后,还包括:若所述加权平均值不小于所述第三预设阈值,则计算率失真代价,根据所述率失真代价确定当前所述增强层图像中相同图块区域的编码块尺寸。
本发明的实施方式还提供了一种视频处编码装置,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的视频编码方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述视频编码方法。
本发明实施方式相对于现有技术而言提供了一种视频编码方法,包括:将待编码视频划分为多个图像组,每一图像组内的各图像均包括:基本层图像以及与基本层图像对应的增强层图像。现有技术中对每一图像组内的一张图像的基本层图像计算运动矢量信息之后,利用基本层图像的运动矢量信息来预测该图像的增强层图像的编码块尺寸;而本实施方式中依次对多个图像组进行编码;在对每一图像组进行编码时,先对每个图像组内的各图像的基本层图像进行编码,得到多个基本层已编码帧;之后,在编码各图像的增强层图像之前,获取该图像组内所有图像的基本层已编码帧的运动矢量信息,并根据所有的运动矢量信息来预测该图像的增强层图像的编码块尺寸,根据该编码块尺寸对该增强层图像进行编码。本实施方式中由于在编码增强层图像时可以获得更多的基本层已编码帧的运动矢量信息,因此预测得到的编码块尺寸更加准确,利用该编码块尺寸对增强层图像进行编码能够提高视频的编码质量。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是根据本发明第一实施方式的视频编码方法的流程示意图;
图2是根据本发明第一实施方式的步骤102中具体流程示意图;
图3是根据本发明第一实施方式的编码顺序示意图;
图4是根据本发明第二实施方式的视频编码方法的流程示意图;
图5是根据本发明第二实施方式的步骤202中具体流程示意图;
图6是根据本发明第三实施方式的视频编码装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种视频编码方法,本实施方式中的视频编码方法的流程示意图如图1和2所示:
步骤101:将待编码视频划分为多个图像组,每一图像组内的各图像均包括:基本层图像以及与基本层图像对应的增强层图像。
具体地说,将待编码视频划分为多个图像组(Group of Picture,简称GOP),其中,图像组包括的图像的数量为图像组的尺寸,例如,可以为4个、8个或其它个数等。应当说明的是,本实施方式是在可分级视频编码技术(Scalable Video Coding,简称SVC)或可分级高效视频编码(Scalable High-efficiency Video Coding,简称SHVC)的基础上对编码方式做出的改进,因此图像组内的图像也包括基本层图像和与基本层图像对应的增强层图像,其中,基本层图像携带待编码视频最基本的信息,而增强层图像携带待编码视频更进一步的信息,从而适应不同的网络带宽和网络环境。可选地,增强层图像可以包括多层增强层图像,本实施方式对此不做具体限制。
步骤102:依次对多个图像组进行编码。
步骤103:判断是否对所有图像组完成编码。若判定为是,则该流程结束;若判定为否,则执行步骤102。
在步骤102中对每一图像组进行编码时,具体过程如图2所示:
步骤1021:对每个图像组内的各图像的基本层图像进行编码,得到多个基本层已编码帧。
具体地说,请参考图3(a),其为SHVC现有的编码顺序的示意图,即对图像组进行编码时,先对图像组其中一帧图像的基本层图像进行编码,然后对该帧的增强层图像进行编码,再对下一帧图像的基本层图像进行编码,如此交替进行编码。请参考图3(b),其为本实施方式的视频编码方法的编码顺序的示意图。具体地,依次对每个图像组进行编码,当对其中一个图像组进行编码时,例如对第n个图像组GOPn进行编码时,先对GOPn内的图像的基本层图像进行编码,在完成基本层图像的编码后,再对增强层图像进行编码;在对GOPn内的增强层图像完成编码后,对下一个图像组GOPn+1的基本层图像进行编码,如此交替进行。
当视频编码采用图3(a)中的编码顺序时,由于都是先对其中一帧的图像的基本层图像进行编码,再对该帧图像的增强层图像进行编码,然后对下一帧的基本层图像进行编码,这样交替进行编码,因此无需对参考图像集进行重构;而采用图3(b)中的编码顺序时,由于先对图像组内图像的基本层图像全部编码完,再对图像组内的增强层图像进行编码,这样交替进行编码,而在视频解码的时候,解码器在对基本层图像解码完成以后,认为当前图像组已解码完成,会对短期参考帧进行销毁,这样会造成采用这种交替编码的方式时,编码的视频出现解码错误。因此,需要对参考图像集进行重构,使短期参考帧在解码的过程中保留更长时间。
参考图像集对应于帧索引列表,以H265编码标准为例,视频中的帧图像从I帧开始按照显示顺序编号(从-1开始)为帧索引号,其中,显示顺序是指图像顺序号(PictureOrderCount,简称POC),即POC等价于帧索引号。对于POC=10的帧图像,若它的参考帧为POC=0、4、8的帧图像,则POC=10对应的参考图像集的帧索引列表为0-10=-10、4-10=-6、8-10=-2,即{-10,-6,-2}。
获取重构前的参考图像集中参考帧的帧索引列表,可以判断帧索引列表是否在区间[-1,-(n MOD SG)-1]不连续,若判断的结果不连续,则将不连续的值添加到帧索引列表中。其中,n为帧索引号,MOD为取余值,SG为图像组的尺寸。例如,以低延时P帧配置,图像组尺寸SG=4为例,每个图像组有4帧图像,对于帧索引号为2的重构前的参考图像集的帧索引列表{-1,-3,-7,-11},在[-1,-(2MOD 4)-1]区间缺少了-2,因此帧索引列表应修正为{-1,-2,-3,-7,-11};对于帧索引号为3的重构前的参考图像的帧索引列表{-1,-4,-8,-12},在[-1,-(3MOD 4)-1]区间缺少了-2,-3,因此帧索引列表应修正为{-1,-2,-3,-4,-8,-12};对于帧索引号为11的重构前的参考图像的帧索引列表{-1,-2,-4,-8},在[-1,-(11MOD 4)-1]区间缺少了-3,因此帧索引列表应修正为{-1,-2,-3,-4,-8}。其中,修正后的帧索引列表中加粗的值为新添加到帧索引列表中的值。
可选地,可以用一一查找的方式获取短期参考帧,还可以是其它方式获取,本实施方式对此不做限制。
当将不连续的值添加到帧索引列表中,根据添加后的帧索引列表得到重构的参考图像集。可选地,由于新添加的值对应的为短期参考帧,编码时可不参与编码,而保留在参考图像集中,用于指示解码器将其保留更长的时间,使采用上述视频编码方法编码的视频能被视频解码器解码,因此可以帧索引列表中将新添加的值在编码时的参考标志设置为屏蔽。可选地,可以将参考标志以置零的方式进行屏蔽。其中,参考标志可包括参考标志位和参考图像集预测标志位。参考标志位的作用的指示视频帧是否参与预测编码,将新增加的值对应的参考标志位置零,避免在编码时被参考。参考图像集预测标志位是SHVC码流的中1bit标志位,使能时表明开启参考图像集预测技术,使用该技术后需要在上述参考图像集重构的基础上再次进行参考图像集预测,增加了参考图像集重构的复杂程度,而在多数应用场景中参考图像集预测技术所带来的码率节省并不显著,因此也将参考图像集预测标志位设置为屏蔽。
在一个具体的例子中,本实施方式的视频编码方式还包括:修改待编码视频的参数集。
其中,修改视频的参数集是指修改视频参数集(Video Parameter Set,简称VPS)语法元素的默认值。由于重构的参考图像集将短期参考帧保留,因此解码端需要更多的帧缓存,修改视频的参数集的作用是通知解码端增加帧缓存,避免内存越界。可选地,将VPS中的语法元素vps_max_dec_pic_buffering_minus的值每层级都增加SG-1,因为对于图像组尺寸为SG的编码结构最多需要增加SG-2帧的额外解码帧缓冲区,为避免意外内存越界,再额外增加1帧缓存,即增加SG-1帧。
步骤1022:获取多个基本层已编码帧中每个基本层已编码帧的运动矢量信息,得到多个运动矢量信息。
具体地说,在帧间编码中,用运动矢量(MotionVector,MV)表示当前编码块与其参考图像中的最佳匹配块之间的相对位移。在对一组GOP内的所有基本层图像均进行编码后,获取该GOP内所有的基本层已编码帧的运动矢量信息,得到多个运动矢量信息。
步骤1023:根据多个运动矢量信息确定各图像的增强层图像的编码块尺寸。
步骤1024:根据编码块尺寸对增强层图像进行编码。
针对上述步骤1023和步骤1024具体地说,在得到该GOP内所有的基本层已编码帧的多个运动矢量信息之后,根据该多个运动矢量信息共同来确定该GOP内各图像的增强层图像的编码块尺寸。相比于现有技术中对每一GOP内的一张图像的基本层图像计算运动矢量之后,利用基本层图像的运动矢量确定该图像的增强层图像的编码深度的方式来说,本实施方式中由于在编码增强层图像时不仅会参考当前增强层图像所对应的基本层图像的运动矢量信息,还会参考该GOP内其他基本层图像的运动矢量信息,可以获得更多的基本层已编码帧的运动矢量信息,因此根据该GOP内所有基本层已编码帧的运动矢量信息来确定各图像的增强层图像的编码块尺寸,其结果更加准确,利用该编码块尺寸对增强层图像进行编码能够提高视频的编码质量。
与现有技术相比,本发明实施方式提供了一种视频编码方法,依次对多个图像组进行编码;在对每一图像组进行编码时,先对每个图像组内的各图像的基本层图像进行编码,得到多个基本层已编码帧;之后,在编码各图像的增强层图像之前,获取该图像组内所有图像的基本层已编码帧的运动矢量信息,并根据所有的运动矢量信息来预测该图像的增强层图像的编码块尺寸,根据该编码块尺寸对该增强层图像进行编码。本实施方式中由于在编码增强层图像时可以获得更多的基本层已编码帧的运动矢量信息,因此预测得到的编码块尺寸更加准确,利用该编码块尺寸对增强层图像进行编码能够提高视频的编码质量。
本发明的第二实施方式涉及一种视频编码方法。第二实施方式是对第一实施方式的改进,主要改进之处在于,本实施方式中给出了根据一组GOP内所有基本层已编码帧的运动矢量信息,来确定各图像的增强层图像的编码块尺寸的具体实现方式。
本实施方式中的视频编码方法的流程示意图如图3所示,具体包括:
步骤201:将待编码视频划分为多个图像组,每一图像组内的各图像均包括:基本层图像以及与基本层图像对应的增强层图像。
步骤202:依次对多个图像组进行编码。
步骤203:判断是否对所有图像组完成编码。若判定为是,则该流程结束;若判定为否,则执行步骤202。
上述步骤201至步骤203与第一实施方式中的步骤101至步骤103大致相同,为避免重复,本实施方式中不再赘述。
本实施方式中主要是对步骤202中每一图像组进行编码的过程做的改进,改进后的对每一图像组进行编码的过程如图4所示:
步骤2021:对每个图像组内的各图像的基本层图像进行编码,得到多个基本层已编码帧。
上述步骤2021与第一实施方式中的步骤1021大致相同,本实施方式中不再赘述。
步骤2022:对多个基本层已编码帧中每个基本层已编码帧按照预设尺寸的图块进行划分。
步骤2023:计算基本层已编码帧中每个图块的运动矢量的幅值,得到基本层已编码帧的所有图块的运动矢量幅值,将运动矢量幅值作为基本层已编码帧的运动矢量信息。
针对上述步骤2022和步骤2023,具体地说,上述步骤2022和步骤2023位于编码当前GOP的增强层图像之前,且在编码完基本层图像之后,每个GOP内执行一次。
由于一图像帧中不同区域的图像信息量并不相同,例如:一图像帧中天空的区域图像信息较少,而地面的房屋、树木等区域图像信息较多。因此,一图像帧中不同区域所需的编码块尺寸也不相同,针对于图像信息量较多的区域,往往采用小编码块尺寸,而图像信息量较少的区域,则采用大编码块尺寸。因此,在计算基本层已编码帧的运动矢量信息时,需先将当前GOP内每个基本层已编码帧按照预设尺寸的图块进行划分,每个图块对应求取一个运动矢量,一个基本层已编码帧能够得到一张运动矢量表,一组GOP能够得到多张运动矢量表。在SHVC中,预设尺寸即最小编码单元为8x8大小的图块,运动矢量是按照8x8图块进行组织,即每个8x8图块对应一个运动矢量,一个基本层已编码帧将构成一张运动矢量表。
本实施例中的运动矢量信息用运动矢量幅值表示。
若得到的每个图块的运动矢量为
Figure BDA0002673295040000071
则对基本层已编码帧中每个图块的运动矢量
Figure BDA0002673295040000072
进行如下公式(1)的处理,得到该运动矢量
Figure BDA0002673295040000073
的幅值。
Figure BDA0002673295040000081
公式(1)中mx是运动矢量
Figure BDA0002673295040000082
的水平分量、my是运动矢量
Figure BDA0002673295040000083
的垂直分量。将基本层已编码帧的运动矢量表通过该公式(1)计算能够得到该基本层已编码帧的运动矢量幅值表,一组GOP能够得到多张运动矢量幅值表。
步骤2024:根据各基本层已编码帧中相同图块区域的运动矢量幅值,计算加权平均值。
具体地说,现有技术中通常根据当前增强层图像对应的基本层图像的运动矢量来预测当前增强层图像的编码块尺寸。由于同一组GOP内图像帧之间同一图块区域的运动矢量变化不大,本方案中将当前增强层图像所在的GOP内所有基本层已编码帧中同一图块区域的运动矢量幅值计算加权平均值,后续利用该加权平均值计算当前增强层图像同一图块区域的编码块尺寸,得到的编码块尺寸更加的准确。
本实施例中根据各基本层已编码帧中相同图块区域的运动矢量幅值,计算加权平均值,包括:根据当前增强层图像确定各基本层已编码帧的运动矢量幅值的权重系数,其中,与当前增强层图像对应的基本层已编码帧的运动矢量幅值的权重系数,大于其他基本层已编码帧的运动矢量幅值的权重系数;根据各基本层已编码帧的运动矢量幅值的权重系数、以及各基本层已编码帧中相同图块区域的运动矢量幅值,计算加权平均值。
具体地说,加权平均值
Figure BDA0002673295040000084
通过以下公式(2)进行计算:
Figure BDA0002673295040000085
上述公式(2)中,SG为当前GOP的尺寸、i是指需要编码的当前增强层图像在当前GOP内的编号、Ci为当前GOP内每个基本层已编码帧的运动矢量幅值的权重系数,一组GOP内所有权重系数之和等于1。
其中,Ci的取值与GOP结构有关,本实施例中Ci的约束条件为GOP内与当前增强层图像对应的基本层已编码帧的运动矢量幅值的权重系数具有最大的权重,其他基本层已编码帧的运动矢量幅值的权重系数较小。这是由于与当前增强层图像对应的基本层已编码帧的运动矢量与该当前增强层图像的运动矢量最为接近,具有该GOP内最好的编码质量,因此,与当前增强层图像对应的基本层已编码帧的运动矢量幅值分配的权重系数最大,得到的结果也就更加准确。
由于对不同的增强层图像进行编码时,与该增强层图像对应的基本层已编码帧不同,因此,对该GOP内每个基本层已编码帧的运动矢量幅值分配的权重系数也不相同,因此,该步骤2024位于每个增强层图像编码之前,且每次编码一个增强层图像将进行一次计算。
值得说明的是,本实施例中权重系数的取值只要满足上述约束条件即可,无需受限于具体数值。本实施例中给出了一种取值方式,与所述当前所述增强层图像对应的所述基本层已编码帧的运动矢量幅值的权重系数为0.5,其他所述基本层已编码帧的运动矢量幅值的权重系数总和为0.5。
本实施例中根据计算得到的当前GOP内所有运动矢量幅值的加权平均值之后,通过以下步骤2025至步骤2031来具体确定编码块尺寸。由于运动矢量幅值越大表明该运动矢量幅值对应的图块的图像信息越多,其所需的编码块尺寸越精细、越小。基于这一原理,本实施例中将加权平均值依次与不同编码块尺寸相应的预设阈值进行比较,以此来确定适合该图块区域的编码块尺寸。
其中,不同的编码块尺寸至少包括:第一编码块尺寸、第二编码块尺寸、以及第三编码块尺寸,例如:第一编码块尺寸可为64×64,第二编码块尺寸可为32×32,第三编码块尺寸可为16×16。值得说明的是,本实施方式中仅列出三种常用的编码块尺寸大小,编码块尺寸还包括:256×256、8×8等。在实际应用中,可根据实际需要设置四种或更多种编码块尺寸,将加权平均值依次与四种或更多种编码块尺寸相应的预设阈值进行比较,其实现原理与本实施方式相同,在此不再赘述。
与第一编码块尺寸相应的第一预设阈值为t0,与第二编码块尺寸相应的第二预设阈值为t1,与第三编码块尺寸相应的第三预设阈值为t2。值得说明的是,对于所有尺寸一样的编码块使用同一个预设阈值。
由于第一编码块尺寸大于第二编码块尺寸,第二编码块尺寸大于第三编码块尺寸,因此,在将加权平均值依次与不同编码块尺寸相应的预设阈值进行比较时,先将加权平均值与第一预设阈值t0进行比较;之后,将加权平均值与第二预设阈值t1进行比较;最后,再将加权平均值与第三预设阈值t2进行比较。其中,第一预设阈值t0大于第二预设阈值t1,第二预设阈值t1大于第三预设阈值t2。本实施例中预设阈值的取值只要满足上述条件即可,无需受限于具体数值。本实施例给出了一种优选的取值方式,t0=2t1=4t2
步骤2025:判断加权平均值是否小于第一预设阈值。若判定小于,则进入步骤2026;若判定为不小于,则进入步骤2027。
步骤2026:确定当前增强层图像中相同图块区域的编码块尺寸为第一编码尺寸。
步骤2027:判断加权平均值是否小于第二预设阈值。若判定小于,则进入步骤2028;若判定为不小于,则进入步骤2029。
步骤2028:确定当前增强层图像中相同图块区域的编码块尺寸为第二编码尺寸。
步骤209:判断加权平均值是否小于第三预设阈值。若判定小于,则进入步骤2030;若判定为不小于,则进入步骤2031。
步骤2030:确定当前增强层图像中相同图块区域的编码块尺寸为第三编码尺寸。
步骤2031:计算率失真代价,根据率失真代价确定当前增强层图像中相同图块区域的编码块尺寸。
具体地说,在将加权平均值依次与不同编码块尺寸相应的预设阈值进行比较,以此来确定适合该图块区域的编码块尺寸的过程中,当加权平均值小于该编码块尺寸相应的预设阈值时,可确定该预设阈值相应的编码块尺寸即为适合当前图块的编码块尺寸,判定当前块为跳过宏块模式(skip模式);否则,继续将加权平均值与下一编码块尺寸相应的预设阈值进行比较。若判定加权平均值仍然不小于最小编码块尺寸对应的预设阈值时,执行步骤2031。计算当前图块的率失真代价,编码器根据计算的得到的率失真代价遍历各个编码模式选择出能使总率失真代价最小的编码模式作为最优编码模式,从而得到最优的编码块尺寸。
步骤2032:根据编码块尺寸对增强层图像进行编码。
具体地说,通过上述步骤2025至2031可以得到当前增强层图像中与基本层图像对应的每个图块合适的编码块尺寸,便可根据确定的编码块尺寸分别对当前增强层图像中各个图块有针对性地进行编码。
需要说明的是,本实施方式中的实现方式适用于基板层图像和增强层图像分辨率大小相同的场景中,此时,基板层图像与增强层图像划分后的图块数目相同。若编码配置为空间可分级,由于基板层图像和增强层图像的分辨率大小不同,因此需采用最临近上采样方法将运动矢量幅值表扩展到增强层图像的尺寸。
与现有技术相比,本发明实施方式中提供了一种视频编码方法,结合可分级视频编码的编码结构特点,设计一种图像组(Group of Picture,GOP)为单位进行层级之间的交替编码的编码框架;然后在这种编码结构下,提出一种利用基本层已编码帧的运动矢量(Motion Vector,MV)来预测增强层编码深度的加速编码方法。相比于已有的方法,本提案的方法在编码增强层时可以获得更多的已编码信息进行更准确的深度预测,进而到达在具有相同的编码加速效果的同时,能保留更好的编码质量。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种视频处编码装置,如图6所示,包括至少一个处理器301;以及,与至少一个处理器301通信连接的存储器302;其中,存储器302存储有可被至少一个处理器301执行的指令,指令被至少一个处理器301执行,以使至少一个处理器301能够执行上述的视频编码方法。
其中,存储器302和处理器301采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器301。
处理器301负责管理总线和通常的处理,还可以提供各种功能,包括定时、外围接口、电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
本发明的第四实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述视频编码方法。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (10)

1.一种视频编码方法,其特征在于,包括:
将待编码视频划分为多个图像组,每一所述图像组内的各图像均包括:基本层图像以及与所述基本层图像对应的增强层图像;
依次对所述多个图像组进行编码;
在对每一所述图像组进行编码时,先对每个所述图像组内的各图像的所述基本层图像进行编码,得到多个基本层已编码帧;再获取所述多个基本层已编码帧中每个所述基本层已编码帧的运动矢量信息,得到多个所述运动矢量信息;最后根据多个所述运动矢量信息确定各图像的所述增强层图像的编码块尺寸,并根据所述编码块尺寸对所述增强层图像进行编码。
2.根据权利要求1所述的视频编码方法,其特征在于,所述获取所述多个基本层已编码帧中每个所述基本层已编码帧的运动矢量信息,包括:
对所述多个基本层已编码帧中每个所述基本层已编码帧按照预设尺寸的图块进行划分;
计算所述基本层已编码帧中每个所述图块的运动矢量的幅值,得到所述基本层已编码帧的所有图块的运动矢量幅值;
将所述运动矢量幅值作为所述基本层已编码帧的运动矢量信息。
3.根据权利要求2所述的视频编码方法,其特征在于,所述根据多个所述运动矢量信息确定各图像的所述增强层图像的编码块尺寸,包括:
根据各所述基本层已编码帧中相同图块区域的运动矢量幅值,计算加权平均值;
判断所述加权平均值是否小于第一预设阈值;
若所述加权平均值小于所述第一预设阈值,则确定当前所述增强层图像中相同图块区域的编码块尺寸为第一编码尺寸。
4.根据权利要求3所述的视频编码方法,其特征在于,所述根据各所述基本层已编码帧中相同图块区域的运动矢量幅值,计算加权平均值,包括:
根据当前所述增强层图像确定各所述基本层已编码帧的运动矢量幅值的权重系数,其中,与所述当前所述增强层图像对应的所述基本层已编码帧的运动矢量幅值的权重系数,大于其他所述基本层已编码帧的运动矢量幅值的权重系数;
根据各所述基本层已编码帧的运动矢量幅值的权重系数、以及各所述基本层已编码帧中相同图块区域的运动矢量幅值,计算所述加权平均值。
5.根据权利要求4所述的视频编码方法,其特征在于,与所述当前所述增强层图像对应的所述基本层已编码帧的运动矢量幅值的权重系数为0.5,其他所述基本层已编码帧的运动矢量幅值的权重系数总和为0.5。
6.根据权利要求3所述的视频编码方法,其特征在于,所述判断所述加权平均值是否小于第一预设阈值之后,还包括:
若所述加权平均值不小于所述第一预设阈值,则判断所述加权平均值是否小于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;
若所述加权平均值小于所述第二预设阈值,则确定当前所述增强层图像中相同图块区域的编码块尺寸为第二编码尺寸,其中,所述第二编码尺寸小于所述第一编码尺寸。
7.根据权利要求6所述的视频编码方法,其特征在于,所述判断所述加权平均值是否小于第二预设阈值之后,还包括:
若所述加权平均值不小于所述第二预设阈值,则判断所述加权平均值是否小于第三预设阈值,所述第三预设阈值大于所述第二预设阈值;
若所述加权平均值小于所述第三预设阈值,则确定当前所述增强层图像中相同图块区域的编码块尺寸为第三编码尺寸,其中,所述第三编码尺寸小于所述第二编码尺寸。
8.根据权利要求7所述的视频编码方法,其特征在于,所述判断所述加权平均值是否小于第三预设阈值之后,还包括:
若所述加权平均值不小于所述第三预设阈值,则计算率失真代价,根据所述率失真代价确定当前所述增强层图像中相同图块区域的编码块尺寸。
9.一种视频处编码装置,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一所述的视频编码方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一所述的视频编码方法。
CN202010939970.3A 2020-09-09 2020-09-09 视频编码方法、装置及存储介质 Active CN112104875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010939970.3A CN112104875B (zh) 2020-09-09 2020-09-09 视频编码方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010939970.3A CN112104875B (zh) 2020-09-09 2020-09-09 视频编码方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112104875A true CN112104875A (zh) 2020-12-18
CN112104875B CN112104875B (zh) 2023-04-11

Family

ID=73752191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010939970.3A Active CN112104875B (zh) 2020-09-09 2020-09-09 视频编码方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112104875B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015520A1 (zh) * 2021-08-12 2023-02-16 华为技术有限公司 图像编解码方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001585A1 (en) * 2004-03-31 2006-01-05 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
US20140140405A1 (en) * 2012-11-16 2014-05-22 Qualcomm Incorporated Device and method for scalable coding of video information
CN110446045A (zh) * 2019-07-09 2019-11-12 中移(杭州)信息技术有限公司 视频编码方法、装置、网络设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001585A1 (en) * 2004-03-31 2006-01-05 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in multi-layer structure
US20140140405A1 (en) * 2012-11-16 2014-05-22 Qualcomm Incorporated Device and method for scalable coding of video information
CN110446045A (zh) * 2019-07-09 2019-11-12 中移(杭州)信息技术有限公司 视频编码方法、装置、网络设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUEI-TING KUO 等: ""Motion Vector Concealment in Temporal Scalability for Scalable Video Coding"", 《IEEE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015520A1 (zh) * 2021-08-12 2023-02-16 华为技术有限公司 图像编解码方法和装置

Also Published As

Publication number Publication date
CN112104875B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
US11523124B2 (en) Coded-block-flag coding and derivation
US9967588B2 (en) Apparatus and method for encoding/decoding images
KR100484148B1 (ko) 개선된 비트율 제어 방법과 그 장치
CA2488266C (en) Spatial prediction based intra coding
US9137534B2 (en) Method and apparatus for encoding images and method and apparatus for decoding images
JP2011512047A (ja) メタデータを使用してより低い複雑さの複数ビットレートビデオ符号化を実行する方法及び装置
CN113196748B (zh) 帧内预测方法及相关装置
CN110446045B (zh) 视频编码方法、装置、网络设备及存储介质
US20100232722A1 (en) Method and apparatus for encoding and decoding image based on code table selection adapted to residual value distribution
US8964836B2 (en) Method and apparatus for spatial predictive encoding and/or decoding of video data
WO2021061018A1 (en) Method and apparatus of combined intra-inter prediction
CN112104875B (zh) 视频编码方法、装置及存储介质
US8718391B2 (en) Random access image encoding system and method
CN116074516A (zh) 一种图像编解码方法及装置
US20160261869A1 (en) Content-adaptive b-picture pattern video encoding
CN110049339B (zh) 图像编码中的预测方向选取方法、装置和存储介质
JP6946979B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
CN111464805B (zh) 一种基于全景显著性的立体全景视频快速编码方法
CN116156168A (zh) 一种图像编解码方法及装置
WO2023287315A1 (en) Video coding with dynamic groups of pictures
JP6985924B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法
WO2024104503A1 (zh) 图像编解码
CN111107363A (zh) 带宽压缩编码方法
WO2021065655A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法および画像復号装置
US20240214562A1 (en) Video coding with dynamic groups of pictures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant