CN117201781A - 编码处理、解码处理方法及装置、存储介质 - Google Patents

编码处理、解码处理方法及装置、存储介质 Download PDF

Info

Publication number
CN117201781A
CN117201781A CN202311394107.4A CN202311394107A CN117201781A CN 117201781 A CN117201781 A CN 117201781A CN 202311394107 A CN202311394107 A CN 202311394107A CN 117201781 A CN117201781 A CN 117201781A
Authority
CN
China
Prior art keywords
filtering
reference block
block
prediction reference
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311394107.4A
Other languages
English (en)
Inventor
李明
吴平
尚国强
吴钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202311394107.4A priority Critical patent/CN117201781A/zh
Publication of CN117201781A publication Critical patent/CN117201781A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种编码处理、解码处理方法及装置、存储介质,其中,所述编码处理方法包括:确定对编码块的预测参考块的像素所采用的滤波过程;根据所述滤波过程对所述预测参考块的像素进行滤波;根据所述滤波过程处理后的预测参考块的像素采样值,构造所述编码块的像素预测值;根据所述像素预测值对所述编码块进行编码。采用上述技术方案,解决了相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,提高了IBC模式的编码效率和编码质量。

Description

编码处理、解码处理方法及装置、存储介质
本申请是申请号为“201510673353.2”,申请日为“2015年10月16日”,题目为“编码处理、解码处理方法及装置、编码器及解码器”的中国专利申请的分案申请。
技术领域
本发明涉及通信领域,具体而言,涉及一种编码处理、解码处理方法及装置、编码器及解码器。
背景技术
正在制定的基于高性能视频编码(H.265/High Efficiency Video Coding,简称为HEVC)标准扩展的屏幕内容编码(Screen Content Coding,简称为SCC)标准中,采用了帧内块复制(Intra Block Copying,简称为IBC)模式。IBC使用当前图像内已经恢复出的一个二维像素块作为当前块的预测参考块,同时,IBC使用预测参考块与当前块之间的相对偏移量来定位预测参考块,该偏移量可称之为块复制矢量(Block copying Vector,简称为BV)。SCC标准规定的解码流程中,通过将当前解码图像放入参考图像列表的方式,使用H.265/HEVC标准现有帧间预测的数据处理流程和参数编码方式,将IBC模式融合进入帧间预测模式。当使用帧间预测的解码块的参考图像索引(refIdx)指向当前解码图像时,该解码块使用IBC模式,此时解码块对应的用于标识当前解码块与参考图像中的预测参考块之间的相对偏移量的运动矢量(Motion Vector,简称为MV)即用作IBC模式的BV。
为进一步提高压缩编码效率和主观质量,H.264/AVC将去方块滤波器(DeblockingFilter,简称为DF)引入帧间预测的预测补偿环路中。H.265/HEVC继承了这一设计,并且在DF后级联增加了采样点自适应加性偏移量滤波器(Sample Adaptive Offset,简称为SAO)。DF和SAO组成了H.265/HEVC标准中的环路滤波过程,传统帧间预测模式使用经过DF和环路滤波极大提升了帧间预测编码效率和主观质量。尽管与帧间预测模式融合,但与传统的帧内预测模式相同,IBC模式的预测参考块中的像素点采样值没有经过去环路滤波过程处理,使得环路滤波过程没有被用于提升IBC的预测环路。同时,块效应等量化失真也直接影响了IBC模式的预测效率。
针对相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,尚未提出有效的解决方案。
发明内容
为了解决上述技术问题,本发明提供了一种编码处理、解码处理方法及装置、编码器及解码器。
根据本发明的一个方面,提供了一种编码处理方法,包括:确定对编码块的预测参考块的像素所采用的滤波过程;根据所述滤波过程对所述预测参考块的像素进行滤波;根据所述滤波过程处理后的预测参考块的像素采样值,构造所述编码块的像素预测值;根据所述像素预测值对所述编码块进行编码。
优选地,确定对编码块的预测参考块的像素所采用的滤波过程,包括:确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
优选地,确定所述滤波过程所采用的滤波方式和滤波参数包括:
根据以下用于确定滤波过程参数的至少之一信息确定所述滤波方式和所述滤波参数:已编码的编码块的编码参数信息、所述预测参考块所在图像的部分或全部已恢复的像素采样值、所述编码块所在图像的部分或全部像素采样值。
优选地,所述方法还包括:
从滤波器集合中选择进行所述滤波过程的滤波器,将指示已选择的滤波器的参数信息设置为所述滤波方式的对应参数;确定所选择滤波器的滤波器参数,将指示所确定的滤波器参数设置为所述滤波参数的对应参数,其中,所述滤波器集合包括以下至少之一的滤波器组:
预先设定形状,并预先设定滤波器参数的滤波器;
预先设定滤波器形状,并根据所述用于确定滤波过程参数的信息确定的滤波器参数的滤波器;
根据所述用于确定滤波过程参数的信息确定的滤波器,使用该滤波器对应的预先设定滤波器参数的滤波器;
根据所述用于确定滤波过程参数的信息确定的形状和滤波器参数的滤波器;
使用已编码的编码块的滤波器形状和滤波器参数的滤波器;
使用已编码的编码块的滤波器形状,以及使用根据所述用于确定滤波过程参数的信息确定的滤波器参数的滤波器。
优选地,所述方法还包括:将所述滤波方式和滤波参数的对应参数写入码流。
优选地,包括:使用已编码像素点样值,结合已编码的编码块的编码参数信息,确定所述编码块对应的所述预测参考块所使用的滤波方式和滤波参数。
优选地,使用所述滤波过程对所述预测参考块的像素进行滤波,包括:
根据所确定的滤波过程,对所述预测参考块中像素的一个或多个分量进行滤波处理。
优选地,根据所述滤波过程处理后的所述预测参考块的像素采样值构造所述像素预测值,包括:
将所述像素采样值作为所述像素预测值;或
将多个所述像素采样值的加权和作为所述像素预测值。
优选地,根据所述滤波过程处理后的所述预测参考块的像素采样值构造所述像素预测值,包括:
使用乘性因子和/或加性偏移量,对所述像素采样值或多个所述像素采样值的加权和做线性处理,将线性处理后的像素采样值作为所述像素预测值。
优选地,根据所述像素采样值构造所述像素预测值之前,所述方法还包括:
确定所述预测参考块的位置。
优选地,当所述滤波方式指示使用多个级联滤波器对所述预测参考块的像素进行滤波时,使用设定的滤波器级联顺序对所述预测参考块的像素滤波。
优选地,所述滤波器级联顺序包括:
预先设定的滤波器级联顺序;或者,
滤波方式指示的滤波器级联顺序。
优选地,所述方法还包括:确定所述滤波过程中的控制指示信息,并将该控制指示信息写入码流。
优选地,将所述控制指示信息写入如下至少之一的码流:参数集码流;分片头信息码流;所述编码块所在的块层数据单元对应的码流;所述编码块中预测块划分数据单元所对应的码流;用户自定义数据对应的码流;补充扩展信息数据对应的码流。
根据本发明的另一个方面,还提供了一种解码处理方法,包括:确定对解码块的预测参考块中像素所采用的滤波过程;使用所确定的滤波过程,对所述预测参考块的像素采样值进行处理;使用经过所述处理的像素采样值构造所述解码块的像素预测值。
优选地,确定对解码块的预测参考块中像素所采用的滤波过程之前,所述方法还包括:获取所述预测参考块的位置信息,所述位置信息包括:所述解码块与所述预测参考块之间的相对偏移量和/或所述预测参考块所在图像的索引。
优选地,确定对所述预测参考块的像素采用的滤波过程,包括:确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
优选地,所述方法还包括:解析码流,根据解析结果获取指示所述滤波方式的参数,以及指示使用所述滤波方式对所述预测参考块的像素进行处理所采用的滤波参数。
优选地,所述方法还包括:根据所述滤波方式的参数,从滤波器集合中选择进行所述滤波过程的滤波器,根据所述滤波参数设置所选择的滤波器参数,其中,所述滤波器集合包括以下至少之一的滤波器组:
使用预先设定形状和预先设定滤波参数的滤波器;
使用预先设定形状,并使用所述滤波参数的滤波器;
使用所述滤波方式参数指示的形状的滤波器,使用该滤波器对应的预先设定滤波器参数的滤波器;
使用所述滤波方式参数指示的形状的滤波器,使用该滤波参数指示的滤波器参数的滤波器;
使用已解码的解码块的滤波器形状和滤波器参数的滤波器;
使用已解码的解码块的滤波器形状,以及使用所述滤波参数指示的滤波器参数的滤波器。
优选地,包括:
使用已解码像素点样值,结合已解码的解码块的解码参数信息,确定所述解码块对应的所述预测参考块所使用的滤波方式和滤波参数。
优选地,使用所确定的滤波过程,对所述预测参考块的像素采样值进行处理,包括:
根据所确定的滤波过程,对所述预测参考块中像素的一个或多个分量进行滤波处理。
优选地,使用经过所述处理的像素构造所述像素预测值,包括:
将所述像素的采样值作为所述像素预测值;或
将多个所述像素的采样值的加权和作为所述像素预测值。
优选地,使用所述处理的像素构造所述像素预测值,包括:
使用乘性因子和/或加性偏移量,对所述像素采样值或多个所述像素采样值的加权和做线性处理,将线性处理后的像素采样值作为所述解码块的像素预测值。
优选地,包括:当所述滤波方式指示使用多个级联滤波器对所述预测参考块的像素进行滤波时,使用设定的滤波器级联顺序对所述预测参考块的像素滤波,其中,所述设定的滤波器级联顺序是预先设定的滤波器级联顺序,或者,所述设定的滤波器级联顺序是所述滤波方式指示的滤波器级联顺序。
优选地,所述方法还包括:确定所述滤波过程中的控制指示信息,并将该控制指示信息写入以下至少之一的码流:
参数集码流;分片头信息码流;解码块所在的块层数据单元对应的码流;解码块中预测块划分对应数据单元对应的码流;用户自定义数据的码流;补充扩展信息数据对应的码流。
根据本发明的另一个方面,还提供了一种编码处理装置,包括:第一确定模块,用于确定对编码块的预测参考块的像素所采用的滤波过程;滤波模块,用于根据所述滤波过程对所述预测参考块的像素进行滤波;第一构造模块,用于根据所述滤波过程处理后的预测参考块的像素采样值,构造所述编码块的像素预测值;
编码模块,用于根据所述像素预测值对所述编码块进行编码。
优选地,所述第一确定模块还用于确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
优选地,所述第一确定模块,还用于根据以下用于确定滤波过程参数的至少之一信息确定所述滤波方式和所述滤波参数:已编码块的编码参数信息、所述预测参考块所在图像的部分或全部已恢复的像素采样值、所述编码块所在图像的部分或全部像素采样值。
根据本发明的另一个方面,还提供了一种解码处理装置,包括:第二确定模块,用于确定对解码块的预测参考块中像素所采用的滤波过程;处理模块,用于使用所确定的滤波过程,对所述预测参考块的像素采样值进行处理;第二构造模块,用于使用经过所述处理的像素采样值构造所述解码块的像素预测值。
优选地,所述装置还包括:
获取模块,用于获取所述预测参考块的位置信息,所述位置信息包括:所述解码块与所述预测参考块之间的相对偏移量和/或所述预测参考块所在图像的索引。
优选地,所述第二确定模块,还用于确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
根据本发明的另一个方面,还提供了一种编码器,包括以上任一项所述的编码处理装置。
根据本发明的另一个方面,还提供了一种解码器,包括以上任一项所述的解码处理装置。
通过本发明,通过对编码图像中编码块对应的预测参考块执行过滤过程,进而确定编码块的预测像素值,进而对编码图像中编码块进行编码的技术方案,解决了相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,提高了IBC模式的编码效率和编码质量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为根据本发明实施例的编码处理方法的流程图;
图2为根据本发明实施例的编码处理装置的结构框图;
图3为根据本发明实施例的编码处理装置的第一构造模块24的结构框图;
图4为根据本发明实施例的解码处理方法的流程图;
图5为根据本发明实施例的解码处理装置的结构框图;
图6为根据本发明实施例的解码处理装置的另一结构框图;
图7为根据本发明优选实施例2的编码处理方法的流程图;
图8为根据本发明优选实施例4的解码处理方法的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在本发明实施例中,还提供了一种编码处理方法,图1为根据本发明实施例的编码处理方法的流程图,如图1所示,包括以下步骤:
步骤S102,确定对编码块的预测参考块的像素所采用的滤波过程;
步骤S104,根据上述滤波过程对上述预测参考块的像素进行滤波;
步骤S106,根据滤波过程处理后的预测参考块的像素采样值,构造编码块的像素预测值;
步骤S108,根据像素预测值对编码块进行编码。
通过上述各个步骤,通过对编码图像中编码块的预测参考块执行过滤过程,进而确定编码块的预测像素值,进而对编码图像中编码块进行编码的技术方案,解决了相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,提高了IBC模式的编码效率和编码质量。
需要说明的是,上述编码块是位于待编码图像中的。
可选地,确定对编码图像中编码块的预测参考块像素所采用的滤波过程,可以通过以下技术方案实现:确定上述滤波过程所采用的滤波方式,以及上述滤波过程所采用的滤波参数,具体地,确定上述滤波过程所采用的滤波方式和滤波参数可以通过以下技术方案实现:根据以下用于确定滤波过程参数的至少之一信息确定上述滤波方式和上述滤波参数:已编码块的编码参数信息、上述预测参考块所在图像的部分或全部已恢复的像素采样值、上述编码块所在图像的部分或全部像素采样值。
在本发明实施例中,还提供了以下技术方案:从滤波器集合中选择进行上述滤波过程的滤波器,将指示已选择的滤波器的参数信息设置为上述滤波方式的对应参数;确定所选择滤波器的滤波器参数,将指示所确定的滤波器参数设置为上述滤波参数的对应参数,可以理解为滤波方式--对应--滤波器或滤波器形状;滤波参数--对应—滤波器参数(如滤波器系数)。实际中,滤波方式可以对应于一系列的参数,如选择的滤波器在滤波器集合中的索引序号;滤波参数可以对应于具体的滤波器系数,也可以对应于指示滤波器系数的参数,如指示“使用左相邻块滤波器的系数”。
其中,上述滤波器集合包括以下至少之一的滤波器组:
预先设定形状,并预先设定滤波器参数的滤波器;
预先设定滤波器形状,并根据上述用于确定滤波过程参数的信息确定的滤波器参数的滤波器;
根据上述用于确定滤波过程参数的信息确定的滤波器,使用该滤波器对应的预先设定滤波器参数的滤波器;
根据上述用于确定滤波过程参数的信息确定的形状和滤波器参数的滤波器;
使用已编码的编码块的滤波器形状和滤波器参数的滤波器;
使用已编码的编码块的滤波器形状,以及使用根据上述用于确定滤波过程参数的信息确定的滤波器参数的滤波器,在确定完滤波方式和滤波参数以后,还需将滤波方式和滤波参数的对应参数写入码流。
对于上述滤波方式和滤波参数的确定过程,可以通过以下方案实现:使用已编码像素点样值,结合已编码的编码块的编码参数信息,确定上述编码块对应的上述预测参考块所使用的滤波方式和滤波参数。
在本发明实施例中,根据上述像素采样值构造上述像素预测值,可以是将上述像素采样值作为上述像素预测值;或将多个像素采样值的加权和作为上述像素预测值。
在一个可选示例中,上述步骤S104可以是根据所确定的滤波过程,对上述预测参考块中像素的一个或多个分量进行滤波处理,其中,根据上述像素采样值构造上述像素预测值之前,上述方法还包括:确定上述预测参考块的位置。
步骤S106可以有多种实现方式,在本发明实施例中,可以通过以下方式实现:使用乘性因子和/或加性偏移量,对上述像素采样值或多个上述像素采样值的加权和做线性处理,将线性处理后的像素采样值作为上述像素预测值。
这里包含如下几种可能的操作:
所使用的线性操作是y=ax+b。有三种方式:当a为1时,为仅使用加性偏移量b的情况;当b为0时,为仅使用乘性因子a的情况;除此,为同时使用乘性因子和加性偏移量的情况。
对于被加权处理的数据x,有两种情况,(1)x=一个值;(2)x=sum(a(i)*x(i)),需要概括线性操作的三种方式与x的两种方式的全部组合。
本发明实施例对上述技术方案的进一步改进在于,根据上述滤波方式的参数,从滤波器集合中选择进行上述滤波过程的滤波器,根据上述滤波参数设置所选择的滤波器参数,其中,上述滤波器集合包括以下至少之一的滤波器组:
使用预先设定形状和预先设定滤波参数的滤波器;
使用预先设定形状,并使用上述滤波参数的滤波器;
使用上述滤波方式参数指示的形状的滤波器,使用该滤波器对应的预先设定滤波器参数的滤波器;
使用上述滤波方式参数指示的形状的滤波器,使用该滤波参数指示的滤波器参数的滤波器;
使用已解码的解码块的滤波器形状和滤波器参数的滤波器;
使用已解码的解码块的滤波器形状,以及使用上述滤波参数指示的滤波器参数的滤波器。
可选地,在上述滤波器为多个时,按照预先设定的顺序为上述预测参考块的像素滤波。
在一个可选示例中,上述方法还包括:确定上述滤波过程中的控制指示信息,并将该控制指示信息写入码流,进而将上述控制指示信息写入如下述至少之一的码流组织单元对应的码流:参数集码流;分片头信息码流;上述编码块所在的块层数据单元对应的码流;上述编码块中预测块划分数据单元所对应的码流;用户自定义数据对应的码流;补充扩展信息数据对应的码流。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必需的。
在本实施例中还提供了一种编码处理装置,用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述,下面对该装置中涉及到的模块进行说明。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图2为根据本发明实施例的编码处理装置的结构框图。如图2所示,该装置包括:
第一确定模块20,用于确定对编码块的预测参考块的像素所采用的滤波过程;
滤波模块22,与第一确定模块20连接,用于根据上述滤波过程对上述预测参考块的像素进行滤波;
第一构造模块24,与滤波模块22连接,用于根据上述滤波过程处理后的预测参考块的像素采样值,构造上述编码块的像素预测值;
第一处理模块26,与第一构造模块24连接,用于根据上述像素预测值对上述编码块进行编码。
通过上述各个模块的综合作用,通过对编码图像中编码块的预测参考块执行过滤过程,进而确定编码块的预测像素值,进而对编码图像中编码块进行编码的技术方案,解决了相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,提高了IBC模式的编码效率和编码质量。
可选地,第一确定模块20,用于确定上述滤波过程所采用的滤波方式,以及上述滤波过程所采用的滤波参数;第一确定模块20,还用于根据以下用于确定滤波过程参数的至少之一信息确定上述滤波方式和上述滤波参数:已编码块的编码参数信息、上述预测参考块所在图像的部分或全部已恢复的像素采样值、上述编码块所在图像的部分或全部像素采样值。
图3为根据本发明实施例的编码处理装置的第一构造模块24的结构框图,第一构造模块24,包括:第一确定单元240,用于将上述像素采样值作为上述像素预测值;或第二确定单元242,用于将多个像素采样值的加权和作为上述像素预测值。
为了完善上述技术方案,在本发明实施例中,还提供了一种解码处理方法,图4为根据本发明实施例的解码处理方法的流程图,如图4所示,包括以下步骤:
步骤S402:确定对解码块的预测参考块中像素所采用的滤波过程;
步骤S404:使用所确定的滤波过程,对上述预测参考块的像素采样值进行处理;
步骤S406:使用经过上述处理的像素采样值构造上述解码块的像素预测值。
通过上述各个步骤,通过对解码图像中解码块的预测参考块执行过滤过程,进而确定出预测参考块所在的解码块的预测像素值,进而对解码图像中解码块进行解码的技术方案,解决了相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,提高了IBC模式的解码效率和质量。
在一个可选示例中,确定对解码图像中解码块的预测参考块的像素所采用的滤波过程之前,上述方法还可以执行以下技术方案:获取上述预测参考块的位置信息,上述位置信息包括:上述解码块与上述预测参考块之间的相对偏移量和/或上述预测参考块所在图像的索引。
可选地,获取预测参考块的位置信息和/或形状信息包括:解析收到的视频码流;根据解析结果获取指示上述滤波方式的参数,以及指示使用上述滤波方式对上述预测参考块的像素进行处理所采用的滤波参数。
其中,确定对解码图像中解码块的预测参考块的像素所采用的滤波过程,可以通过以下技术方案实现:确定上述滤波过程所采用的滤波方式,以及上述滤波过程所采用的滤波参数。
确定滤波过程所采用的滤波方式和滤波参数可以通过以下技术方案:根据以下至少之一确定滤波方式和上述滤波参数:预先配置的编码信息、编码图像部分或全部恢复已恢复的像素采样值。
上述步骤S404可以通过以下方案实现:将像素采样值作为像素预测值;或将多个像素采样值的加权和作为上述像素预测值。
可选地,上述方法还包括:根据上述滤波方式的参数,从滤波器集合中选择进行上述滤波过程的滤波器,根据上述滤波参数设置所选择的滤波器参数,其中,上述滤波器集合包括以下至少之一的滤波器组:使用预先设定形状和预先设定滤波参数的滤波器;使用预先设定形状,并使用上述滤波参数的滤波器;使用上述滤波方式参数指示的形状的滤波器,使用该滤波器对应的预先设定滤波器参数的滤波器;使用上述滤波方式参数指示的形状的滤波器,使用该滤波参数指示的滤波器参数的滤波器;使用已解码的解码块的滤波器形状和滤波器参数的滤波器;使用已解码的解码块的滤波器形状,以及使用上述滤波参数指示的滤波器参数的滤波器。
优选地,包括:使用已解码像素点样值,结合已解码的解码块的解码参数信息,确定上述解码块对应的上述预测参考块所使用的滤波方式和滤波参数。
上述步骤S404在一个可选示例中通过以下方式实现:根据所确定的滤波过程,对上述预测参考块中像素的一个或多个分量进行滤波处理。
在一个可选示例中,在上述滤波器为多个时,按照预先设定的顺序为上述预测参考块的像素滤波;确定上述滤波过程中的控制指示信息,并将该控制指示信息写入码流,在本发明实施例中,解析如下述至少之一的码流组织单元对应的码流确定上述滤波过程中的控制指示信息,包括:参数集码流;分片头信息码流;解码块所在的块层数据单元对应的码流;解码块中预测块划分对应数据单元对应的码流;用户自定义数据的码流;补充扩展信息数据对应的码流。
在本实施例中还提供了一种解码处理装置,用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述,下面对该装置中涉及到的模块进行说明。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图5为根据本发明实施例的解码处理装置的结构框图。如图5所示,该装置包括:
第二确定模块50,用于确定对解码块的预测参考块中像素所采用的滤波过程;
第二处理模块52,与第二确定模块50连接,用于使用所确定的滤波过程,对上述预测参考块的像素采样值进行处理;
第二构造模块54,与第二处理模块52连接,用于使用经过上述处理的像素采样值构造上述解码块的像素预测值。
通过上述各个模块的综合作用,通过对解码图像中解码块的预测参考块执行过滤过程,进而确定出解码块的预测像素值,进而对解码图像中的解码块进行解码的技术方案,解决了相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,提高了IBC模式的解码效率和质量。
可选地,第二确定模块50,用于确定上述滤波过程所采用的滤波方式,以及上述滤波过程所采用的滤波参数;第二确定模块50,还用于根据以下至少之一确定上述滤波方式和上述滤波参数:预先配置的编码信息、上述编码图像部分或全部恢复已恢复的像素采样值。
图6为根据本发明实施例的解码处理装置的另一结构框图,如图6所示,第二构造模块54,包括:第三确定单元540,用于将上述像素采样值作为上述像素预测值;或第四确定单元542,用于将多个像素采样值的加权和作为上述像素预测值,上述解码处理装置还包括:获取模块56,用于获取预测参考块的位置信息,上述位置信息包括:解码块与上述预测参考块之间的相对偏移量和/或上述预测参考块所在图像的索引。
在本发明实施例中,还提供了一种编码器,包括以上任一项所述的编码处理装置。
在本发明实施例中,还提供了一种解码器,包括以上任一项所述的解码处理装置。
为了更好的理解上述技术方案,以下结合优选实施例对上述技术方案进行说明,但不用于限定本发明实施例的技术方案。
需要说明的是,以下优选实施例仅用于解释上述技术方案,并不存在必须的并列关系,下述实施例方法对IBC的预测块划分方式没有限定,即可以是传统的矩形、正方形块划分方式,也可以是Nx1或1xN的串划分。串匹配(String Matching)方法是IBC使用Nx1或1xN的串划分方式时的一个特例。
优选实施例1
本发明优选实施例1提供一种使用IBC模式的解码块的预测参考块构造方法,用于使用IBC模式的解码过程或解码器。本实施例的使用IBC模式的解码块的预测参考块构造方法如下所述。
步骤S201,解码器解析视频码流,获得解码块的预测参数。
当解码块使用帧间预测模式、并且其参考图像索引指示“解码块使用当前解码图像作为参考图像”时,上述解码块使用IBC模式进行解码。
解码器获得上述解码块与其参考块之间的相对位置偏移矢量MV。
步骤S202,解码器根据上述预测参数,确定上述解码块的预测参考块。
在使用IBC模式时,解码器根据MV和上述解码块左上角像素点的位置,确定当前解码图像中的参考块左上角像素点的位置。
预测参考块即为以包含所确定参考块左上角像素点的与上述解码块同形状区域中包含的像素点构成。
步骤S203,解码器根据已有解码信息字段和/或预测参考块所在图像的部分和/或全部已恢复像素的采样值,确定滤波方式及滤波参数。
可选择的,解码器从码流中解析获得对上述预测参考块中像素点采样值进行滤波的滤波方式及滤波参数。
可选择的,解码器使用上述预测参考块中像素点的采样值,估计上述预测参考块的DF滤波强度和滤波参数。
可选择的,解码器使用码流中可获取的上述预测参考块中像素点所在分片、编码单元(Coding Unit)的DF滤波强度和滤波参数。
可选择的,解码器使用码流中可获取的上述预测参考块中像素点所在编码树单元(Coding Tree Unit,CTU)的SAO参数。
步骤S204,解码器使用所确定的滤波方式和滤波参数,对上述预测参考块的像素进行滤波。
解码器根据所确定的滤波方式和滤波参数,对上述预测参考块中像素的一个或多个分量进行滤波处理。
当使用多个滤波器时,解码器根据预先设定的滤波器级联顺序或码流中声明的滤波器级联顺序,对上述预测参考块中的像素进行滤波。
步骤S205,解码器使用经过滤波处理的预测参考块中的像素采样值构造上述解码块中像素采样值的预测值。
可选择的,解码器直接将经过滤波处理的上述预测参考块中的像素采样值作为上述解码块中对应位置像素采样值的预测值。
可选择的,如果上述解码块使用两个或多个预测参考块,解码器将经过滤波处理的上述两个或多个预测参考块中的像素采样值的加权和作为上述解码块中对应位置像素采样值的预测值。
可选择的,解码器对上述方法得到的预测值使用乘性因子和/或加性偏移量做线性处理,将处理后的预测值作为上述解码块的预测值。其中,解码器通过解析码流获得上述乘性因子和/或加性偏移量的取值,或者根据参考图像估计上述乘性因子和/或加性偏移量的取值。
优选实施例2:
本优选实施例2是优选实施例1上述的使用IBC模式解码块的预测参考块构造方法相对应的编码方法,应用于使用IBC模式的编码过程或编码器。使用IBC模式的编码块的预测参考块构造方法如图7所示,包括以下步骤:
步骤S702,编码器确定编码块的预测参考块的位置。
编码器确定编码块的预测参考块的位置,包括:预测参考块所在参考图像,预测参考块与编码块之间相对位置偏移量。
编码器使用所设计的编码器优化算法搜索确定当前块的预测参考块的位置。
在本实施例中,使用IBC模式的编码块的预测参考块所在图像是当前编码图像。
步骤S704,编码器根据已有编码信息和/或预测参考块所在图像的部分和/或全部已恢复像素的采样值,确定滤波方式及滤波参数。
可选择的,编码器根据上述预测参考块中像素点采样值、参考块中像素点采用的编码模式等信息,确定对预测参考块中像素点进行滤波的滤波方式及滤波参数,并将相关滤波参数写入码流。
可选择的,编码器使用上述预测参考块中像素点的采样值,估计上述预测参考块的DF滤波强度和滤波参数。
可选择的,编码器使用已编码的上述预测参考块中像素点所在分片、编码单元(Coding Unit)的DF滤波强度和滤波参数。
可选择的,编码器根据当前图像中已编码的上述预测参考块中像素点,估计预测参考块中像素点所在编码树单元(Coding Tree Unit,CTU)的SAO参数。
步骤S706,编码器根据所确定的滤波方式和滤波参数,对上述预测参考块的像素进行滤波。
编码器根据所确定的滤波方式和滤波参数,对上述预测参考块中像素的一个或多个分量进行滤波处理。
当使用多个滤波器时,编码器根据预先设定的滤波器级联顺序或码流中声明的滤波器级联顺序,对上述预测参考块中的像素进行滤波。
步骤S708,编码器使用经过滤波处理的预测参考块中的像素采样值构造上述编码块中像素采样值的预测值。
可选择的,编码器直接将经过滤波处理的上述预测参考块中的像素采样值作为上述编码块中对应位置像素采样值的预测值。
可选择的,如果上述编码块使用两个或多个预测参考块,编码器将经过滤波处理的上述两个或多个预测参考块中的像素采样值的加权和作为上述编码块中对应位置像素采样值的预测值。
可选择的,编码器对上述方法得到的预测值使用乘性因子和/或加性偏移量做线性处理,将处理后的预测值作为上述编码块的预测值。其中,编码器通过解析码流获得上述乘性因子和/或加性偏移量的取值,或者根据参考图像估计上述乘性因子和/或加性偏移量的取值。
优选实施例3:
本优选实施例3提供一种帧间分片中解码块的预测参考块构造方法。该方法可用于构造IBC模式的预测参考块,同时也可用于构造传统帧间预测模式的预测参考块,上述方法可用于视频解码过程或解码器。本实施例的解码块的预测参考块构造方法如下上述。
步骤S802,解码器解析视频码流,获得解码块的预测参数。
当解码块使用帧间预测模式时,如果其参考图像索引refIdx指示“解码块使用当前解码图像作为参考图像”,上述解码块使用IBC模式进行解码;反之,上述解码块使用传统帧间预测模式进行解码。
解码器获得上述解码块与其参考块之间的相对位置偏移矢量MV。
步骤S804,解码器根据上述预测参数,确定上述解码块的预测参考块。
如果解码块使用IBC模式,解码器根据MV和上述解码块左上角像素点的位置,确定当前解码图像中的参考块左上角像素点的位置。
如果解码块使用传统帧间预测模式,解码器根据MV和上述解码块左上角像素点的位置,确定参考图像索引refIdx指示的参考图像中参考块左上角像素点的位置。
参考块左上角像素点的位置可确定为上述解码块左上角像素点与当前解码图像左上角像素点之间的偏移矢量与MV的矢量和。
预测参考块即为以包含所确定参考块左上角像素点的与上述解码块同形状区域中包含的像素点构成。
步骤S806,解码器根据已有解码信息和/或上述预测参考块所在图像的部分和/或全部已恢复像素的采样值,确定滤波方式及滤波参数。
解码器在解析码流的过程中,获得用于确定滤波方式及滤波参数的相关信息,包括如下至少之一:
是否对预测参考块中的像素点进行滤波处理的指示信息;
是否对IBC模式的预测参考块中的像素点进行滤波处理的指示信息;
是否对传统帧间预测模式的预测参考块中的像素点进行滤波处理的指示信息;
对预测参考块中的像素点进行滤波处理过程中使用的滤波器指示信息,至少包括滤波器类型指示信息;
对IBC模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器指示信息;
对传统帧间预测模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器指示信息;
对预测参考块中的像素点进行滤波处理过程中使用的滤波器的滤波参数信息,至少包括滤波器系数信息;
对IBC模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器的滤波参数信息;
对传统帧间预测模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器的滤波参数信息。
解码器通过解析如下述至少之一的码流组织单元对应的码流,获得上述用于确定滤波方式及滤波参数的相关信息,包括:
解析一个或多个参数集码流;
解析分片头信息码流;
解析解码块所在的块层数据单元对应的码流;
解析解码块中预测块划分对应数据单元对应的码流;
解析用户自定义数据和/或补充扩展信息数据对应的码流。
根据上述用于确定滤波方式及滤波参数的相关信息,解码器执行下述之一操作方式,对预测参考块中像素点的采样值进行滤波,包括:
操作方式1:对IBC模式的预测参考块和传统帧间预测模式的预测参考块都进行滤波处理,且使用相同的滤波器。
操作方式2:对IBC模式的预测参考块和传统帧间预测模式的预测参考块都进行滤波处理,但使用不同的滤波器。
操作方式3:对IBC模式的预测参考块进行滤波处理,对传统帧间预测模式的预测参考块不进行滤波处理。
操作方式4:对IBC模式的预测参考块不进行滤波处理,对传统帧间预测模式的预测参考块进行滤波处理。
操作方式5:对IBC模式的预测参考块和传统帧间预测模式的预测参考块都不进行滤波处理。
解码器根据获得用于确定滤波方式及滤波参数的相关信息,使用如下上述方法中至少之一,从容许使用的滤波器集合中选择对预测参考块中像素点采样值进行滤波的滤波器,并确定滤波参数。其中,容许使用的滤波器集合中包含的是可用于解码块和/或解码块所在图像/分片中包含的解码块的预测参考块进行滤波处理的滤波器。
滤波器确定方法1:如果所选用的滤波器采用预先设定的形状和滤波参数,则使用预先设定的滤波器形状和对应的滤波器参数。
滤波器确定方法2:如果所选用的滤波器采用预先设定的形状,则使用预先设定的滤波器形状和解析码流获得的与该滤波器形状对应的滤波器参数。
滤波器确定方法3:使用解析码流获得的滤波器形状及对应的滤波器参数。
滤波器确定方法4:使用已解码块的滤波器形状和滤波器参数。
滤波器确定方法5:使用已解码块的滤波器形状和解析码流获得的滤波器参数。
滤波器确定方法6:使用已解码像素点样值,可选择地结合解析码流获得的相关参数,确定所使用的滤波器形状和滤波参数。
对于上述滤波确定方法6,对IBC模式的预测参考块中的像素点采样值进行滤波所使用的滤波方式和滤波参数的一种示例如下上述。该示例中,容许使用的滤波器集合包含的滤波器是DF和/或SAO,可使用的确定DF和/或SAO滤波参数的方法包括如下上述方法至少之一:
解码器从码流中解析获得对上述预测参考块中像素点采样值进行滤波的滤波方式及滤波参数。
解码器使用上述预测参考块中像素点的采样值,估计上述预测参考块的DF滤波强度和滤波参数。
解码器使用码流中可获取的上述预测参考块中像素点所在分片、编码单元(Coding Unit)的DF滤波强度和滤波参数。
解码器使用码流中可获取的上述预测参考块中像素点所在编码树单元(CodingTree Unit,CTU)的SAO参数。
特殊地,解码器可以通过解析码流信息,确定是否为解码图像或解码分片中全部使用IBC和/或传统帧间预测方式的解码块使用相同的滤波器和滤波参数对解码块预测参考块中像素点采样值进行滤波处理。这种特殊情况下,解码器获取滤波过程相关参数的方法与上述针对解码块上述方向相似。在处理流程上,解码器可以在对解码图像或解码分片中的解码块之前,对预测参考图像进行滤波处理;或者,与上述图像层或分片层上对预测参考图像首先进行滤波的处理方法不同,解码器在块层解码过程中,对解码块所使用的预测参考块进行滤波处理。
步骤S808,解码器使用所确定的滤波方式和滤波参数,对上述预测参考块的像素进行滤波。
解码器根据所确定的滤波方式和滤波参数,对上述预测参考块中像素的一个或多个分量进行滤波处理。
当使用多个滤波器时,解码器根据预先设定的滤波器级联顺序或码流中声明的滤波器级联顺序,对上述预测参考块中的像素进行滤波。
步骤S810,解码器使用经过滤波处理的预测参考块中的像素采样值构造上述解码块中像素采样值的预测值。
可选择的,解码器直接将经过滤波处理的上述预测参考块中的像素采样值作为上述解码块中对应位置像素采样值的预测值。
可选择的,如果上述解码块使用两个或多个预测参考块,解码器将经过滤波处理的上述两个或多个预测参考块中的像素采样值的加权和作为上述解码块中对应位置像素采样值的预测值。
可选择的,解码器对上述方法得到的预测值使用乘性因子和/或加性偏移量做线性处理,将处理后的预测值作为上述解码块的预测值。其中,解码器通过解析码流获得上述乘性因子和/或加性偏移量的取值,或者根据参考图像估计上述乘性因子和/或加性偏移量的取值。
优选实施例4:
本优选实施例4是一种帧间分片中解码块的预测参考块构造方法相对应的编码方法。该方法可用于构造IBC模式的预测参考块,同时也可用于构造传统帧间预测模式的预测参考块,上述方法可用于视频编码过程或编码器。本实施例的编码块的预测参考块构造方法如下上述。
步骤S501,编码器确定编码块的预测参考块的位置。
编码器确定编码块的预测参考块的位置,包括:预测参考块所在参考图像,预测参考块与编码块之间相对位置偏移量(即MV)。
编码器使用所设计的编码器优化算法搜索确定当前块的预测参考块的位置。上述编码器优化算法的一个实例是使用率失真准则的运动估计算法,其中可配合使用快速搜索算法。
在本实施例中,使用IBC模式的编码块的预测参考块所在图像是当前编码图像。使用传统帧间预测模式的编码块的预测参考块所在的图像不是当前编码图像。
步骤S502,编码器根据已有编码信息和/或预测参考块所在图像的部分和/或全部已恢复像素的采样值,确定滤波方式及滤波参数。
需要说明的是,编码器可以在步骤S501执行完毕后,使用步骤S502上述方法确定滤波方式和滤波参数;编码器也可以在步骤S501执行过程中,为候选参考图像和MV使用步骤S502上述方法确定滤波方式及滤波参数,这样,在步骤S501执行结束时,编码器可获得预测参考块的位置以及对应于该预测参考块的滤波方式及滤波参数。尽管如此,上述两种方法中,在确定滤波方式及滤波参数前,均已知预测参考块的位置。
编码器从容许使用的滤波器集合中选择对预测参考块中像素点采样值进行滤波的滤波器,并确定滤波参数。其中,容许使用的滤波器集合中包含的是可用于编码块和/或编码块所在图像/分片中包含的编码块的预测参考块进行滤波处理的滤波器。容许使用的滤波器集合中包含如下上述至少之一的滤波器组,每个滤波器组中可包含一个或多个滤波器:
滤波器组1:预先设定滤波器形状和滤波器参数。
滤波器组2:预先设定滤波器形状,由编码器确定滤波参数。
滤波器组3:由编码器确定滤波器形状和滤波器参数。
滤波器组4:已编码块的滤波器形状和滤波器参数。
滤波器组5:已编码块的滤波器形状,由编码器为当前编码块确定滤波器参数。
滤波器组6:使用已编码像素点样值,可选择地结合已有编码信息,确定所使用的滤波器形状和滤波参数。
编码器从滤波器组中选择滤波器。当使用非预先设定的滤波器形状和滤波器参数的滤波器,编码器在选择滤波器的过程中,确定滤波器的形状和滤波器参数。编码器可使用设定的优化准则,从多组、多个候选滤波器中选择可使得优化准则达到最优或局部最优状态的滤波器及其形状和滤波器参数。常用的一种优化准则示例是率失真优化准则。编码器可使用该优化准则方法,选择最优或局部最优的滤波器。编码器将所选用的滤波器的标识信息、以及(若需要)滤波器形状和滤波器参数写入码流。可选择的,编码器可使用多个不同滤波器级联的方式对预测参考块进行滤波,这种情况下,编码器可使用预先设定的滤波器级联顺序,例如先进行DF滤波、后进行SAO滤波,编码器也可以使用率失真优化的方法确定灵活的滤波器级联顺序,并将滤波器级联顺序相关信息写入码流。
编码器可使用的确定上述滤波器组中滤波形状和滤波参数的方法示例如下:
对于上述滤波器组1和/或滤波器组4,编码器不需要执行确定滤波器形状和滤波器参数的算法。
对于滤波器组2、滤波器组3和/或滤波器组5,编码器首先确定待定的滤波器形状和/或滤波器参数,可选用方法的一种示例是将滤波器形状和/或滤波器参数确定为能够最小化经过滤波处理的预测参考块与上述编码块之间的误差的滤波器形状和/或滤波器参数。
对于上述滤波器组6,对IBC模式的预测参考块中的像素点采样值进行滤波所使用的滤波方式和滤波参数的一种示例如下上述。该示例中,容许使用的滤波器集合包含的滤波器是DF和/或SAO,可使用的确定DF和/或SAO滤波参数的方法包括如下上述方法至少之一:
编码器根据上述预测参考块中像素点采样值、参考块中像素点采用的编码模式等信息,确定对预测参考块中像素点进行滤波的滤波方式及滤波参数,并将相关滤波参数写入码流。
编码器使用上述预测参考块中像素点的采样值,估计上述预测参考块的DF滤波强度和滤波参数。
编码器使用已编码的上述预测参考块中像素点所在分片、编码单元(CodingUnit)的DF滤波强度和滤波参数。
编码器根据当前图像中已编码的上述预测参考块中像素点,估计预测参考块中像素点所在编码树单元(Coding Tree Unit,CTU)的SAO参数。
除滤波器形状和滤波参数外,编码器需要为滤波过程确定相应的控制指示信息,并将这些控制指示信息写入码流。编码器可使用率失真优化的方法,确定上述控制指示信息。上述滤波过程的控制指示信息包括如下至少之一:
是否对预测参考块中的像素点进行滤波处理的指示信息;
是否对IBC模式的预测参考块中的像素点进行滤波处理的指示信息;
是否对传统帧间预测模式的预测参考块中的像素点进行滤波处理的指示信息;
对预测参考块中的像素点进行滤波处理过程中使用的滤波器指示信息,至少包括滤波器类型指示信息;
对IBC模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器指示信息;
对传统帧间预测模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器指示信息;
对预测参考块中的像素点进行滤波处理过程中使用的滤波器的滤波参数信息,至少包括滤波器系数信息;
对IBC模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器的滤波参数信息;
对传统帧间预测模式的预测参考块中的像素点进行滤波处理过程中使用的滤波器的滤波参数信息。
编码器将前述控制指示信息写入如下述至少之一的码流组织单元对应的码流,包括:
写入一个或多个参数集码流;
写入分片头信息码流;
写入编码块所在的块层数据单元对应的码流;
写入编码块中预测块划分对应数据单元对应的码流;
写入用户自定义数据和/或补充扩展信息数据对应的码流。
对应于不同的控制指示信息,编码器可采用下述之一操作方式,对预测参考块中像素点的采样值进行滤波,包括:
操作方式1:对IBC模式的预测参考块和传统帧间预测模式的预测参考块都进行滤波处理,且使用相同的滤波器。
操作方式2:对IBC模式的预测参考块和传统帧间预测模式的预测参考块都进行滤波处理,但使用不同的滤波器。
操作方式3:对IBC模式的预测参考块进行滤波处理,对传统帧间预测模式的预测参考块不进行滤波处理。
操作方式4:对IBC模式的预测参考块不进行滤波处理,对传统帧间预测模式的预测参考块进行滤波处理。
操作方式5:对IBC模式的预测参考块和传统帧间预测模式的预测参考块都不进行滤波处理。
特殊地,可选择地,编码器可以采用图像和/或分片层的滤波器参数确定和控制方法,即编码图像或编码分片中全部使用IBC和/或传统帧间预测方式的编码块使用相同的滤波器和滤波参数对编码块预测参考块中像素点采样值进行滤波处理。这种特殊情况下,编码器获取滤波过程相关参数的方法与上述针对解码块上述方向相似。在处理流程上,编码器可以在对编码图像或编码分片中的编码块处理之前,对预测参考图像进行滤波处理;或者,与上述图像层或分片层上对预测参考图像首先进行滤波的处理方法不同,编码器在块层编码过程中,对编码块所使用的预测参考块进行滤波处理。
步骤S503,编码器根据所确定的滤波方式和滤波参数,对上述预测参考块的像素进行滤波。
编码器根据所确定的滤波方式和滤波参数,对上述预测参考块中像素的一个或多个分量进行滤波处理。
当使用多个滤波器时,编码器根据预先设定的滤波器级联顺序或码流中声明的滤波器级联顺序,对上述预测参考块中的像素进行滤波。
步骤S504,编码器使用经过滤波处理的预测参考块中的像素采样值构造上述编码块中像素采样值的预测值。
可选择的,编码器直接将经过滤波处理的上述预测参考块中的像素采样值作为上述编码块中对应位置像素采样值的预测值。
可选择的,如果上述编码块使用两个或多个预测参考块,编码器将经过滤波处理的上述两个或多个预测参考块中的像素采样值的加权和作为上述编码块中对应位置像素采样值的预测值。
可选择的,编码器对上述方法得到的预测值使用乘性因子和/或加性偏移量做线性处理,将处理后的预测值作为上述编码块的预测值。其中,编码器通过解析码流获得上述乘性因子和/或加性偏移量的取值,或者根据参考图像估计上述乘性因子和/或加性偏移量的取值。
优选实施例5:
本优选实施例5提供一种电子设备实施例,包括编码器和/或解码器。
上述编码器使用前述优选实施例2和优选实施例4中任何一种编码器的实施方法,产生视频码流。
上述解码器使用前述优选实施例1和优选实施例3中任何一种解码器的实施方法,解码视频码流。
本优选实施例5的电子设备可以是视频通信应用中相关码流生成设备和接收播放设备,例如,手机、计算机、服务器、机顶盒、便携式移动终端、数字摄像机,电视广播系统设备等。
综上所述,本发明实施例达到了以下技术效果:解决了相关技术中,IBC模式中没有对图片执行滤波过程而导致IBC模式预测效率低等问题,提高了IBC模式的解码效率和质量。
在另外一个实施例中,还提供了一种软件,该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (27)

1.一种编码处理方法,其特征在于,包括:
确定编码块的预测参考块以及用于对所述预测参考块的像素进行滤波的滤波过程;
根据所述滤波过程对所述预测参考块的像素进行滤波;
根据使用所述滤波过程处理后的预测参考块的像素采样值,构造所述编码块的像素预测值;
根据所述像素预测值对所述编码块进行编码。
2.根据权利要求1所述的方法,其特征在于,确定对编码块的预测参考块的像素所采用的滤波过程,包括:
确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
3.根据权利要求2所述的方法,其特征在于,确定所述滤波过程所采用的滤波方式和滤波参数包括:
根据以下用于确定滤波过程参数的至少之一信息确定所述滤波方式和所述滤波参数:已编码的编码块的编码参数信息、所述预测参考块所在图像的部分或全部已恢复的像素采样值、所述编码块所在图像的部分或全部像素采样值。
4.根据权利要求3所述的方法,其特征在于,包括:
使用已编码像素点样值,结合已编码的编码块的编码参数信息,确定所述编码块对应的所述预测参考块所使用的滤波方式和滤波参数。
5.根据权利要求1所述的方法,其特征在于,使用所述滤波过程对所述预测参考块的像素进行滤波,包括:
根据所确定的滤波过程,对所述预测参考块中像素的一个或多个分量进行滤波处理。
6.根据权利要求1所述的方法,其特征在于,根据所述滤波过程处理后的所述预测参考块的像素采样值构造所述像素预测值,包括:
将所述像素采样值作为所述像素预测值;或
将多个所述像素采样值的加权和作为所述像素预测值。
7.根据权利要求2所述的方法,其特征在于,当所述滤波方式指示使用多个级联滤波器对所述预测参考块的像素进行滤波时,使用设定的滤波器级联顺序对所述预测参考块的像素滤波。
8.一种解码处理方法,其特征在于,包括:
确定解码块的预测参考块以及用于对所述预测参考块的像素进行滤波的滤波过程;
使用所确定的滤波过程,对所述预测参考块的像素采样值进行处理;
使用经过所述处理的像素采样值构造所述解码块的像素预测值。
9.根据权利要求8所述的方法,其特征在于,确定对所述预测参考块的像素采用的滤波过程,包括:
确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
10.根据权利要求9所述的方法,其特征在于,包括:
使用已解码像素点样值,结合已解码的解码块的解码参数信息,确定所述解码块对应的所述预测参考块所使用的滤波方式和滤波参数。
11.根据权利要求8所述的方法,其特征在于,使用所确定的滤波过程,对所述预测参考块的像素采样值进行处理,包括:
根据所确定的滤波过程,对所述预测参考块中像素的一个或多个分量进行滤波处理。
12.根据权利要求8所述的方法,其特征在于,使用经过所述处理的像素构造所述像素预测值,包括:
将所述像素的采样值作为所述像素预测值;或
将多个所述像素的采样值的加权和作为所述像素预测值。
13.根据权利要求9所述的方法,其特征在于,包括:当所述滤波方式指示使用多个级联滤波器对所述预测参考块的像素进行滤波时,使用设定的滤波器级联顺序对所述预测参考块的像素滤波,其中,所述设定的滤波器级联顺序是预先设定的滤波器级联顺序,或者,所述设定的滤波器级联顺序是所述滤波方式指示的滤波器级联顺序。
14.一种编码处理装置,其特征在于,包括处理器,所述处理器被配置为:
确定编码块的预测参考块以及用于对所述预测参考块的像素进行滤波的滤波过程;
根据所述滤波过程对所述预测参考块的像素进行滤波;
根据使用所述滤波过程处理后的预测参考块的像素采样值,构造所述编码块的像素预测值;
根据所述像素预测值对所述编码块进行编码。
15.根据权利要求14所述的装置,其特征在于,所述处理器还被配置为确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
16.根据权利要求15所述的装置,其特征在于,所述处理器还被配置为根据以下用于确定滤波过程参数的至少之一信息确定所述滤波方式和所述滤波参数:已编码块的编码参数信息、所述预测参考块所在图像的部分或全部已恢复的像素采样值、所述编码块所在图像的部分或全部像素采样值。
17.根据权利要求16所述的装置,其特征在于,所述处理器还被配置为:
使用已编码像素点样值,结合已编码的编码块的编码参数信息,确定所述编码块对应的所述预测参考块所使用的滤波方式和滤波参数。
18.根据权利要求14所述的装置,其特征在于,所述处理器还被配置为通过如下操作实现使用所述滤波过程对所述预测参考块的像素进行滤波:
根据所确定的滤波过程,对所述预测参考块中像素的一个或多个分量进行滤波处理。
19.根据权利要求14所述的装置,其特征在于,所述处理器还被配置为通过如下操作来实现根据所述滤波过程处理后的所述预测参考块的像素采样值构造所述像素预测值:
将所述像素采样值作为所述像素预测值;或
将多个所述像素采样值的加权和作为所述像素预测值。
20.根据权利要求15所述的装置,其特征在于,所述处理器还被配置为:
当所述滤波方式指示使用多个级联滤波器对所述预测参考块的像素进行滤波时,使用设定的滤波器级联顺序对所述预测参考块的像素滤波。
21.一种解码处理装置,其特征在于,包括处理器,所述处理器被配置为:
确定解码块的预测参考块以及对所述预测参考块的像素进行滤波的滤波过程;
使用所确定的滤波过程,对所述预测参考块的像素采样值进行处理;
使用经过所述处理的像素采样值构造所述解码块的像素预测值。
22.根据权利要求21所述的装置,其特征在于,所述处理器还被配置为确定所述滤波过程所采用的滤波方式,以及所述滤波过程所采用的滤波参数。
23.根据权利要求22所述的装置,其特征在于,所述处理器还被配置为:
使用已解码像素点样值,结合已解码的解码块的解码参数信息,确定所述解码块对应的所述预测参考块所使用的滤波方式和滤波参数。
24.根据权利要求21所述的装置,其特征在于,所述处理器还被配置为通过如下操作对所述预测参考块的像素采样值进行处理:
根据所确定的滤波过程,对所述预测参考块中像素的一个或多个分量进行滤波处理。
25.根据权利要求21所述的装置,其特征在于,使用经过所述处理的像素构造所述像素预测值,包括:
将所述像素的采样值作为所述像素预测值;或
将多个所述像素的采样值的加权和作为所述像素预测值。
26.根据权利要求22所述的装置,其特征在于,所述处理器还被配置为:
当所述滤波方式指示使用多个级联滤波器对所述预测参考块的像素进行滤波时,使用设定的滤波器级联顺序对所述预测参考块的像素滤波,其中,所述设定的滤波器级联顺序是预先设定的滤波器级联顺序,或者,所述设定的滤波器级联顺序是所述滤波方式指示的滤波器级联顺序。
27.一种存储介质,其上存储有程序代码,所述程序代码由处理器执行时实现如权利要求1-13中任一项所述的方法。
CN202311394107.4A 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、存储介质 Pending CN117201781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311394107.4A CN117201781A (zh) 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510673353.2A CN106604028A (zh) 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、编码器及解码器
CN202311394107.4A CN117201781A (zh) 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510673353.2A Division CN106604028A (zh) 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、编码器及解码器

Publications (1)

Publication Number Publication Date
CN117201781A true CN117201781A (zh) 2023-12-08

Family

ID=58517127

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510673353.2A Pending CN106604028A (zh) 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、编码器及解码器
CN202311394107.4A Pending CN117201781A (zh) 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510673353.2A Pending CN106604028A (zh) 2015-10-16 2015-10-16 编码处理、解码处理方法及装置、编码器及解码器

Country Status (4)

Country Link
US (2) US10904523B2 (zh)
CN (2) CN106604028A (zh)
CA (1) CA3032919C (zh)
WO (1) WO2017063404A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3454556A1 (en) 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
CN110650349B (zh) 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
CN110971915B (zh) * 2018-09-28 2022-07-01 杭州海康威视数字技术股份有限公司 滤波方法和设备
EP3843399B1 (en) 2018-10-12 2023-09-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video image component prediction method and apparatus, and computer storage medium
EP4029251A4 (en) * 2019-10-08 2022-11-16 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ADAPTIVE ADJUSTMENT OF PRECISION OF WEIGHTING PREDICTION PARAMETERS
CN110740319B (zh) * 2019-10-30 2024-04-05 腾讯科技(深圳)有限公司 视频编解码方法、装置、电子设备及存储介质
CN114157874A (zh) * 2021-12-03 2022-03-08 北京达佳互联信息技术有限公司 环路滤波方法和环路滤波装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006039843A1 (en) * 2004-10-14 2006-04-20 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
JP5347849B2 (ja) 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
CN101715135B (zh) * 2009-09-30 2013-01-09 武汉大学 基于匹配模板的自适应帧内预测滤波编码方法
JP2012094959A (ja) 2010-10-25 2012-05-17 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
CN103813176A (zh) * 2012-11-14 2014-05-21 北京三星通信技术研究有限公司 视频编解码中的去块效应滤波方法和自适应环路滤波方法
CN104982035B (zh) * 2012-12-18 2018-12-11 西门子公司 用于对数字图像的序列进行编码的方法
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
US10313682B2 (en) 2013-08-26 2019-06-04 Qualcomm Incorporated Determining regions when performing intra block copying
CN104683805B (zh) 2013-11-30 2019-09-17 同济大学 图像编码、解码方法及装置
CN104333759B (zh) 2014-11-26 2019-05-10 广东中星微电子有限公司 一种用于svac标准的图像预测方法

Also Published As

Publication number Publication date
CA3032919C (en) 2023-09-19
CN106604028A (zh) 2017-04-26
US11272176B2 (en) 2022-03-08
WO2017063404A1 (zh) 2017-04-20
US20210144370A1 (en) 2021-05-13
CA3032919A1 (en) 2017-04-20
US10904523B2 (en) 2021-01-26
US20190268593A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
US11272176B2 (en) Encoding processing method and device, decoding processing method and device, encoder, and decoder
JP6437097B2 (ja) 予測符号化、復号化方法、対応するエンコーダ、デコーダ及び電子機器
US11070839B2 (en) Hybrid video coding
CN112740696B (zh) 视频编码和解码
CN113016180B (zh) 用于视频编码和解码的虚拟管线
WO2016119046A1 (en) Methods and systems for determining motion vectors in a motion estimation process of a video encoder
JP7448558B2 (ja) 画像エンコーディングおよびデコーディングのための方法およびデバイス
US20230239464A1 (en) Video processing method with partial picture replacement
CN112514390B (zh) 视频编码的方法和装置
CN112806010A (zh) 使用预测子候选列表进行视频编码和解码的方法和装置
CN112868231B (zh) 视频编码和解码
CN114222136B (zh) 运动补偿的处理方法、编码器、解码器以及存储介质
CN114930819A (zh) 三角形合并模式中的子块合并候选
CN106604030A (zh) 参考图像的处理方法及装置、编码器以及解码器
CN116723320A (zh) 编码方法和装置、解码方法和装置以及存储介质
US20240357152A1 (en) Video coding and decoding
US20240357149A1 (en) Video coding and decoding
US20240357151A1 (en) Video coding and decoding
US20240357150A1 (en) Video coding and decoding
WO2023141338A1 (en) Methods and devices for geometric partitioning mode with split modes reordering
GB2597616A (en) Video coding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination