CN113347425B - 信息处理方法及装置、设备、存储介质 - Google Patents

信息处理方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN113347425B
CN113347425B CN202110497263.8A CN202110497263A CN113347425B CN 113347425 B CN113347425 B CN 113347425B CN 202110497263 A CN202110497263 A CN 202110497263A CN 113347425 B CN113347425 B CN 113347425B
Authority
CN
China
Prior art keywords
pixels
pixel set
attribute information
target pixel
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110497263.8A
Other languages
English (en)
Other versions
CN113347425A (zh
Inventor
马彦卓
霍俊彦
万帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110497263.8A priority Critical patent/CN113347425B/zh
Publication of CN113347425A publication Critical patent/CN113347425A/zh
Application granted granted Critical
Publication of CN113347425B publication Critical patent/CN113347425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了信息处理方法及装置、设备、存储介质,其中,所述方法包括:确定当前视频帧中待编码块的原始像素集合;确定所述原始像素集合中每一原始像素的属性信息;选取属性信息满足筛选条件的原始像素,得到目标像素集合;基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行编码处理。

Description

信息处理方法及装置、设备、存储介质
分案说明
本申请是基于申请日为2019年05月16日的PCT国际专利申请PCT/CN2019/087300进入中国国家阶段的中国专利申请号201980057448.8、发明名称为“信息处理方法及装置、设备、存储介质”的中国专利申请提出的,在该中国专利申请记载的范围内提出分案,该中国专利申请的全部内容再次引入本申请作为参考。
技术领域
本申请实施例涉及视频编解码技术,涉及但不限于信息处理方法及装置、设备、存储介质。
背景技术
近年来,视频业务在互联网和移动通信领域中得到迅速发展。视频业务需要先对源视频数据进行编码,将编码后的视频数据通过互联网或移动通信网络的信道传输给用户终端。
对于用户来讲,视频的流畅度会直接影响到用户的视频观看体验。而视频编码中预测编码的计算复杂度直接影响着视频的流畅度。
发明内容
有鉴于此,本申请实施例为解决相关技术中存在的至少一个问题而提供信息处理方法及装置、设备、存储介质。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种信息处理方法,所述方法包括:确定当前视频帧中待编码块的原始像素集合;确定所述原始像素集合中每一原始像素的属性信息;
选取属性信息满足筛选条件的原始像素,得到目标像素集合;基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行编码处理。
第二方面,本申请实施例提供一种信息处理装置,包括:原始像素集合确定模块,配置为确定当前视频帧中待编码块的原始像素集合;属性信息确定模块,配置为确定所述原始像素集合中每一原始像素的属性信息;目标像素选取模块,配置为选取属性信息满足筛选条件的原始像素,得到目标像素集合;编码处理模块,配置为基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行编码处理。
第三方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述信息处理中的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述信息处理方法中的步骤。
本申请实施例中,从待编码块的原始像素集合中选取属性信息满足筛选条件的原始像素,得到目标像素集合;基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行编码处理;这样,基于选取的部分原始像素(也就是目标像素集合中的原始像素)的属性信息对待编码块进行编码处理,而不是基于原始像素集合中所有原始像素的属性信息对待编码块进行编码处理,如此可以降低编码处理的计算复杂度,从而提高视频编码效率,进而提高用户观看视频的流畅度。
附图说明
图1为本申请实施例视频编解码的网络架构的组成结构示意图;
图2A为本申请实施例视频编码器的组成结构示意图;
图2B为本申请实施例视频解码器的组成结构示意图;
图3A为本申请实施例信息处理方法的实现流程示意图;
图3B为本申请实施例另一信息处理方法的实现流程示意图;
图3C为本申请实施例待编码块与参考像素的关系示意图;
图3D为本申请实施例又一信息处理方法的实现流程示意图;
图4为本申请实施例另一信息处理方法的实现流程示意图;
图5A为本申请实施例又一信息处理方法的实现流程示意图;
图5B为本申请实施例构建预测模型的方法实现流程示意图;
图6A为本申请实施例信息处理装置的组成结构示意图;
图6B为本申请实施例另一信息处理装置的组成结构示意图;
图6C为本申请实施例又一信息处理装置的组成结构示意图;
图6D为本申请实施例再一信息处理装置的组成结构示意图;
图7为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
本实施例先提供一种视频编解码的网络架构,图1为本申请实施例视频编解码的网络架构的组成结构示意图,如图1所示,该网络架构包括一个或多个电子设备11至1N和通信网络01,其中电子设备11至1N可以通过通信网络01进行视频交互。电子设备在实施的过程中可以为各种类型的具有视频编解码功能的设备,例如,所述电子设备可以包括手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等。
所述电子设备具有视频编解码功能,一般包括视频编码器和视频解码器,例如,参见图2A所示,视频编码器21的组成结构包括:变换与量化单元211、帧内估计单元212、帧内预测单元213、运动补偿单元214、运动估计单元215、反变换与反量化单元216、滤波器控制分析单元217、滤波单元218、编码单元219和解码图像缓存单元210等,其中,滤波单元218可以实现去方块滤波及样本自适应缩进(Sample Adaptive Offset,SAO)滤波,编码单元219可以实现头信息编码及基于上下文的自适应二进制算术编码(Context-based AdaptiveBinary Arithmatic Coding,CABAC)。针对输入的源视频数据,通过编码树块(Coding TreeUnit,CTU)的划分可以得到一个当前视频帧的待编码块,然后对该待编码块进行帧内预测或帧间预测后,将得到的残差信息通过变换与量化单元211进行变换,包括将残差信息从像素域变换到变换域,并对所得的变换系数进行量化,用以进一步减少比特率;帧内估计单元212和帧内预测单元213用于对该待编码块进行帧内预测,例如,确定用以编码该待编码块的帧内预测模式;运动补偿单元214和运动估计单元215用于执行待编码块相对于一或多个参考帧中的一或多个块的帧间预测编码以提供时间预测信息;其中,运动估计单元215用于估计运动向量,所述运动向量可以估计该待编码块的运动,然后由运动补偿单元214基于运动向量执行运动补偿;在确定帧内预测模式之后,帧内预测单元213还用于将所选择的帧内预测数据提供到编码单元219,而且运动估计单元215将所计算确定的运动向量数据也发送到编码单元219;此外,反变换与反量化单元216是用于该待编码块的重构建,在像素域中重构建残差块,该重构建残差块通过滤波器控制分析单元217和滤波单元218去除方块效应伪影,然后将该重构残差块添加到解码图像缓存单元210的帧中的一个预测性块,用以产生经重构建的视频编码块;编码单元219是用于编码各种编码参数及量化后的变换系数,在基于CABAC的编码算法中,上下文内容可基于相邻编码块,可用于编码指示所确定的帧内预测模式的信息,输出该视频数据的码流;而解码图像缓存单元210是用于存放重构建的视频编码块,用于预测参考。随着视频编码的进行,会不断生成新的重构建的视频编码块,这些重构建的视频编码块都会被存放在解码图像缓存单元210中。
与视频编码器21对应的视频解码器22,其组成结构如图2B所示,包括:解码单元221、反变换与反量化单元222、帧内预测单元223、运动补偿单元224、滤波单元225和解码图像缓存单元226等,其中解码单元221可以实现头信息解码以及CABAC解码,滤波单元225可以实现去方块滤波以及SAO滤波。输入的视频信号经过图2A的编码处理之后,输出该视频信号的码流;该码流输入至视频解码器22中,首先经过解码单元221,得到解码后的变换系数;针对该变换系数通过反变换与反量化单元222进行处理,以便在像素域中产生残差块;帧内预测单元223可用于基于所确定的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前解码块的预测数据;运动补偿单元224通过剖析运动向量和其他关联语法元素来确定当前解码块的预测信息,并使用该预测信息以产生正被解码的当前解码块的预测性块;通过对来自反变换与反量化单元222的残差块与由帧内预测单元223或运动补偿单元224产生的对应预测性块进行求和,而形成解码的视频块;该解码的视频块通过滤波单元225以便去除方块效应伪影,从而改善视频质量;然后将经解码的视频块存储于解码图像缓存单元226中,解码图像缓存单元226存储用于后续帧内预测或运动补偿的参考图像,同时也用于视频信号的输出显示。
基于此,下面结合附图和实施例对本申请的技术方案进一步详细阐述。本申请实施例所提供的信息处理方法,既可以应用于视频编码器21中,也可以应用于视频解码器22中,本申请实施例对此不作具体限定。
本申请实施例提供一种信息处理方法,该方法应用于电子设备,该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该电子设备至少包括处理器和存储介质。
图3A为本申请实施例信息处理方法的实现流程示意图,如图3A所示,该方法包括步骤S301至步骤S304:
S301、确定当前视频帧中待编码块的原始像素集合;
需要说明的是,所述待编码块指的是当前视频帧中需要进行编码处理的图像区域,不同的编码处理,对应的待编码块的类型不同,原始像素集合所包含的内容也不同。例如,编码处理为预测编码时,待编码块为包括亮度分量和色度分量的图像块,可以将所述待编码块外的重建像素确定为所述原始像素集合,即,对所述待编码块进行预测编码时所使用的参考像素,但是对所述原始像素集合的内容并不做限定,这里仅是一个示例;编码处理为变换编码时,待编码块为包括残差值的图像块,也就是进行预测编码之后输出的残差块,可以将残差块中的像素确定为所述原始像素集合,但是对所述原始像素集合的内容并不做限定,这里仅是一个示例;编码处理为熵编码时,待编码块为包括变换系数的图像块,也就是进行变换编码之后输出的系数块,可以将系数块中的像素确定为所述原始像素集合,但是对所述原始像素集合的内容并不做限定,这里仅是一个示例。
S302、确定所述原始像素集合中每一原始像素的属性信息;
可以理解地,所述原始像素集合为所述待编码块外的重建像素时,所述原始像素集合中每一原始像素的属性信息为重建像素的位置信息、亮度分量、色度分量等;所述原始像素集合为残差块中的像素时,所述原始像素集合中每一原始像素的属性信息为残差块中像素的位置信息、残差值等;所述原始像素集合为系数块中像素时,所述原始像素集合中每一原始像素的属性信息为系数块中的部分像素的位置信息、变换系数等。
S303、选取属性信息满足筛选条件的原始像素,得到目标像素集合;
S304、基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行编码处理。
需要说明的是,这里对所述编码处理的类型不做限定,例如,所述编码处理可以是预测编码、变换编码和熵编码中的一种。
本申请实施例中,在对所述待编码块进行编码处理之前,先从所述待编码块的原始像素集合中选取部分原始像素(即所述目标像素集合),然后基于部分原始像素(而不是原始像素集合中的所有原始像素)的属性信息,对所述待编码块进行编码处理,从而降低编码处理的复杂度,减少编码处理所花费的时间,进而提高用户观看视频的流畅度。
需要说明的是,本申请实施例所提供的信息处理方法,实际上是对传统视频编码技术(例如视频编码标准H.264、H.265等)进行了改进,也就是在传统视频编码技术的基础上,增加了子集的概念。例如,在对待编码块进行预测编码之前,首先从原始像素集合(包括待编码块相邻的所有重建像素)中选取部分原始像素(即取子集),然后,对部分原始像素进行下采样处理或者滤波处理等,而不是对原始像素集合进行下采样处理或者滤波处理,这样,可以降低预测编码的复杂度,提高编码效率。
本申请实施例提供另一信息处理方法,图3B为本申请实施例另一信息处理方法的实现流程示意图,如图3B所示,该方法包括步骤S311至步骤S314:
S311、确定当前视频帧中待编码块的原始像素集合,所述原始像素集合中每一原始像素为在所述待编码块外的重建像素;
可以理解地,这里将所述待编码块外的至少一个重建像素确定为所述原始像素集合中的原始像素。一般来说,将所述待编码块外的重建像素称之为参考像素,这是因为在对所述待编码块进行预测时,需要参考这些重建像素的属性信息(例如亮度分量、色度分量等)来对所述待编码块中的待预测像素进行预测。因此,重建像素是已经完成预测的像素点。例如,图3C所述,所述原始像素集合可以包括待编码块30的上一行区域31中的所有重建像素,或者,所述原始像素集合还可以包括待编码块30的左一列区域32中的所有重建像素。一般来说,所述原始像素集合中包括的是重建像素的像素标识,例如,像素编号等。
S312、确定所述原始像素集合中每一重建像素的属性信息;
例如,可以基于所述当前视频帧的视频数据,获取所述原始像素集合中每一重建像素的位置信息、亮度分量、色度分量等属性信息。
S313、选取属性信息满足筛选条件的重建像素,得到目标像素集合;
一般来说,所述筛选条件用于筛选出与所述待编码块强相关的重建像素,从而得到目标像素集合。需要说明的是,所述目标像素集合中包括重建像素的属性信息。
S314、基于所述目标像素集合中每一重建像素的属性信息,对所述待编码块进行预测编码。
可以理解地,所述预测编码为所述编码处理中的一个处理步骤,主要利用相邻像素的空间或时间相关性,用已传输的像素对当前正在编码的像素进行预测,然后对预测值与真实值的差(即预测误差)进行编码和传输。例如,在预测编码中,利用所述目标像素集合中每一重建像素的属性信息,对所述目标像素集合进行下采样处理或滤波处理等;再如,利用所述目标像素集合中每一重建像素的属性信息,确定所述待编码块的预测模型。
在其他实施例中,还可以基于所述目标像素集合中每一重建像素的属性信息,对所述待编码块进行变换编码或者熵编码等。
可以理解地,所述变换编码为所述编码处理中的另一个处理步骤,主要是将空间域描述的图像,经过某种变换(如离散余弦变换、离散正弦变换、哈达玛变换等)形成变换域中的数据(系数),达到改变数据分布,减少有效数据量的目的。例如,在变换编码中,利用所述目标像素集合中每一重建像素的属性信息,推导变换编码模式的信息;
预测编码和变换编码是两类不同的压缩编码方法,如果将这两种方法组合在一起,就构成了混合编码,而在混合编码框架中,熵编码是预测编码和变换编码之后的处理步骤,它是一种变长编码(Variable Length Coding,VLC),可进一步提高混合编码的压缩效率。在熵编码中,可以利用所述目标像素集合中每一重建像素的属性信息,推导熵编码上下文模型的信息。
在本申请实施例中,从待编码块的原始像素集合中选取属性信息满足筛选条件的重建像素,得到目标像素集合;基于所述目标像素集合中每一重建像素的属性信息,对所述待编码块进行预测编码、变换编码或熵编码;这样,基于选取的部分原始像素(而不是原始像素集合中所有原始像素)的属性信息,对所述待编码块进行上述任一编码处理,可以降低编码处理的计算复杂度,从而提高视频编码效率,进而提高用户观看视频的流畅度。
本申请实施例提供又一信息处理方法,图3D为本申请实施例又一信息处理方法的实现流程示意图,如图3D所示,该方法包括步骤S321至步骤S324:
S321、将当前视频帧中待编码块内的至少一个待编码像素确定为原始像素,得到原始像素集合;
需要说明的是,在不同阶段的编码处理过程中,所述待编码块中待编码像素的属性信息是不同的。例如,步骤S321至步骤S324执行的是预测编码,那么这里所述待编码像素的属性信息包括亮度分量、色度分量、位置信息等。再如,步骤S321至步骤S324执行的是变换编码,那么这里所述待编码像素的属性信息包括预测编码之后输出的残差值、位置信息等,即,所述待编码块为残差块;又如,步骤S321至步骤S324执行的是熵编码时,那么这里所述待编码像素的属性信息包括变换编码之后输出的变换系数、位置信息等,即,所述待编码块为系数块。
S322、确定所述原始像素集合中每一原始像素的属性信息;
S323、选取属性信息满足筛选条件的原始像素,得到目标像素集合;
例如,在变换编码中,可以基于所述残差块中每一待编码像素的位置信息,从所述残差块中抽样出部分待编码像素,将抽样出的部分待编码像素确定为所述目标像素集合;再如,在变换编码中,从所述残差块中选取残差值大于预设阈值的待编码像素,得到目标像素集合;又如,在熵编码中,可以基于所述系数块中每一待编码像素的位置信息,从所述系数块中抽样出部分待编码像素,将抽样出的部分待编码像素确定为所述目标像素集合。
S324、基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行预测编码、变换编码或熵编码。
在本申请实施例中,仅对待编码块的部分待编码像素进行编码处理,例如,预测编码、变换编码或熵编码等,而不是对所述待编码块的所有待编码像素进行编码处理,这样可以有效降低编码处理的复杂度,提高数据处理速度,从而提高编码效率,进而改善用户观看视频的流畅度。
本申请实施例提供另一信息处理方法,图4为本申请实施例另一信息处理方法的实现流程示意图,如图4所示,该方法包括步骤S401至步骤S406:
S401、将当前视频帧中待编码块所在的预设范围内的N个重建像素,确定为所述原始像素集合;其中,N为预设的大于或等于1的整数;
例如,将与所述待编码块相邻的参考行或参考列中的重建像素确定为所述原始像素集合。这里不限定所述参考行和所述参考列的数目,可以是一行或多行参考行,或者,可以是一列或多列参考列。如图3C所示,可以将待编码块30的上一行区域31中的重建像素确定为所述原始像素集合;或者,还可以将待编码块30的左一列区域32中的重建像素确定为所述原始像素集合。需要说明的是,N的值可以预先设定,例如,N=待编码块的边长+n,n为大于等于0的整数,待编码块的边长可以用像素点数来表征。
还需要说明的是,步骤S401实际上是上述实施例中步骤S301的一种实施示例。
S402、确定所述原始像素集合中每一重建像素的属性信息;
S403、基于所述原始像素集合中重建像素的属性信息,确定每一重建像素与所述待编码块的相关度;
可以理解地,所述相关度用于表征所述重建像素与所述待编码块(或者所述待编码块中待预测像素)之间的关联程度。例如,可以确定所述原始像素集合中重建像素与所述待编码块的位置关系,将所述位置关系确定为所述重建像素与所述待编码块的相关度。在其他实施例中,还可以从所述原始像素集合中选取图像分量在预设范围内的重建像素作为目标像素,得到所述目标像素集合;其中,所述图像分量为亮度分量或色度分量。例如,所述预设范围为(xmin,xmax),其中,xmin和xmax分别是指所述原始像素集合中图像分量的最大值和最小值。所述重建像素与所述待编码块之间的相关度越强,说明所述重建像素的属性信息与所述待编码块中待预测像素的属性信息越相似。因此,基于所述重建像素与所述待编码块之间的相关度,能够快速有效地选取出可靠的重建像素,作为所述目标像素集合中的重建像素。另外,在基于相关度选取满足筛选条件的重建像素时,因为筛掉一些相关度较低的重建像素,所以得到的目标像素集合中重建像素均是和所述待编码块强相关的像素,这样,在基于所述目标像素集合中每一重建像素的属性信息,对所述待编码块进行预测编码,以提高算法的鲁棒性。
S404、选取相关度满足筛选条件的重建像素,得到目标像素集合;
举例来说,假设将所述重建像素与所述待编码块之间的距离来表征两者之间的相关度,那么,可以选取距离大于或等于预设距离阈值的重建像素作为所述目标像素集合中的重建像素。需要说明的是,步骤S403和步骤S404实际上是上述实施例中步骤S303的一种实施示例。
S405、对所述目标像素集合中每一重建像素的属性信息进行预处理,得到预处理后的目标像素集合;
可以理解地,在对所述待编码块进行预测编码之前,如果仅对部分参考像素(即所述目标像素集合中的重建像素)进行预处理,并基于预处理后的结果对所述待编码块进行预测编码,这样,可以降低预处理的复杂度,进而降低预测编码的计算复杂度,提高视频流畅度。
例如,所述预处理可以是下采样处理,即,仅对所述目标像素集合中每一重建像素的属性信息进行下采样处理,而不是对所述原始像素集合进行下采样处理。可以理解地,下采样处理的目的是为了统一所述重建像素的多个图像分量之间的分辨率,即,使所述重建像素的多个图像分量在空域的尺寸相同。因此,这里仅对部分重建像素进行下采样处理,可以减少下采样次数,从而提高预测编码的编码效率。
或者,所述预处理还可以是滤波处理(例如插值滤波),即,对所述目标像素集合中每一重建像素的属性信息进行滤波处理,得到滤波处理后的目标像素集合。同理,相比于对所述原始像素集合进行滤波处理,这里仅对所述目标像素集合中每一重建像素的属性信息进行滤波处理,而不是对所述原始像素集合中所有重建像素进行滤波处理,如此可以减少滤波次数,提高滤波处理速度。
S406、基于所述预处理后的目标像素集合中每一重建像素的属性信息,对所述待编码块进行预测编码。
需要说明的是,步骤S405和步骤S406实际上是上述实施例中步骤S304的一种实施示例。
本申请实施例提供又一信息处理方法,图5A为本申请实施例又一信息处理方法的实现流程示意图,如图5A所示,该方法包括步骤S501至步骤S506:
S501、确定当前视频帧中待编码块的原始像素集合,所述原始像素集合中每一参考像素为在所述待编码块外的重建像素;
S502、确定所述原始像素集合中每一重建像素的属性信息;
S503、选取属性信息满足筛选条件的重建像素,得到目标像素集合;
S504、对所述目标像素集合中每一重建像素的属性信息进行下采样处理,得到下采样处理后的目标像素集合;
S505、基于所述下采样处理后的目标像素集合中每一重建像素的属性信息,构建预测模型,所述预测模型用于表征所述待编码块中待编码像素的多个图像分量之间的预测关系;
需要说明的是,所述预测模型可以是线性模型,也可以是非线性模型,在本申请实施例中,对所述预测模型的结构不做具体限定。基于所述下采样处理后的目标像素集合中每一重建像素的属性信息,可以拟合出一个预测模型,使得所述待编码块中待编码像素的多个图像分量符合所述预测模型中所表征的预测关系。
例如,假设所述预测模型是公式(1)所示:
C′=α*Y+β (1);
式中,α和β为预测模型的模型参数,Y为亮度分量,C’为预测得到的色度分量。基于所述下采样处理后的目标像素集合中多个重建像素的亮度分量和色度分量,可以快速推导出模型参数α和β的值,从而得到预测模型,并通过得到的预测模型,预测所述待编码块中待预测像素的色度分量。例如,从下采样处理后的目标像素集合中找到亮度分量的最大值和最小值,然后,基于所述亮度分量的最大值和最小值,确定模型参数α和β的值,这样,相比于基于原始像素集合确定模型参数α和β的值,前者能够更加高效地获得预测模型的模型参数值,从而提高数据处理速度。另外,本申请实施例提供的信息处理方法对于编码效率的提高是有利的,尤其是当筛选条件合理时,编码效率的提高更为明显。
在其他实施例中,对于步骤S504和S505,也可以替换为:对所述目标像素集合中每一重建像素的属性信息进行滤波处理,得到滤波处理后的目标像素集合;基于所述滤波处理后的目标像素集合,构建预测模型,所述预测模型用于表征所述待编码块中待编码像素的多个图像分量之间的预测关系。步骤S505和步骤S506实际上是上述实施例中步骤S406的一种实施示例。
S506、基于所述预测模型,对所述待编码块进行预测编码。
在其他实施例中,对于步骤S505,所述基于所述下采样处理后的目标像素集合,构建预测模型,所述预测模型用于表征所述待编码块中待编码像素的多个图像分量之间的预测关系,如图5B所示,可以通过如下步骤S5051和步骤S5052实现:
S5051、基于所述下采样处理后的目标像素集合中每一重建像素的色度分量和亮度分量,确定预测模型的第一参数的参数值和第二参数的参数值;
当然,在其他实施例中,也可以基于所述滤波处理后的目标像素集合中每一重建像素的色度分量和亮度分量,确定预测模型的第一参数的参数值和第二参数的参数值,这样相比于基于滤波处理后的原始像素集合,确定第一参数和第二参数的参数值,前者的计算复杂度较低。
S5052、基于所述第一参数的参数值和所述第二参数的参数值构建所述预测模型。
在本申请实施例中,提出了一种参考像素子集(即上述实施例所述的目标像素集合)的概念。在预测编码中,经常会用到参考像素来预测当前编码块(即上述步骤S311中所述的待编码块)。假设在参考像素中某些区域的参考点对于当前编码块的预测来说更加有效,则使用这些点构成的参考像素子集来进行当前编码块的预测,这样,可以在降低复杂度的同时不损失甚至提高编码性能。因此,在本申请实施例中,通过在对当前编码块进行预测前的任何一步处理(例如下采样和滤波等)之前,进行适当的参考像素样本选取,得到参考像素子集,基于该子集进行预测编码,可以提高预测编码的编码效率。
在预测编码中,经常用到参考像素来预测当前编码块。例如,使用当前编码块上侧和左侧区域的可用参考像素来预测当前编码块,这些参考像素通常由当前编码块的左侧一列或多列以及当前编码块的上侧一行或多行的像素组成,这些像素一般为重建像素,即已完成预测编码的像素。有些时候,还需要对这些像素进行下采样来组成参考像素。
例如,参见图3C所示,当前待编码块为一个2N*2N的编码块,该编码块的原始像素集合包括其上侧相邻的2N个重建像素和其左侧相邻的2N个重建像素。
对于一个编码块的来讲,每个参考像素的重要性与相关性是不同的。同时,可能与当前编码块相近位置的参考像素对当前编码块预测的影响相近,也就是说,当前编码块邻近区域中的某些像素点可能在预测方面非常有效,而其他像素点则不利于当前编码块的预测。仅使用选定的比较重要的参考像素点作为参考像素子集(即所述目标像素集合),并用该参考像素子集来进行当前编码块的预测,可以获得具有较低计算复杂度的良好预测结果。本申请实施例中,在筛选参考像素时,根据每个参考像素点的重要性和相关性等因素,构造参考像素子集,以参考像素子集来进行当前编码块的预测,以达到降低计算复杂度的同时,还可以提高编码性能。
例如,从当前编码块的左侧或顶部区域获取原始相邻参考像素(即所述原始像素集合中的参考像素);然后,可以根据原始相邻参考像素的位置和/或像素特征(如强度等),从多个原始相邻参考像素中选出符合条件的像素,得到参考像素子集;在获得参考像素子集之后,可以在对当前编码块进行预测之前的任何过程中使用该子集,例如对该子集进行下采样或滤波。再如,在跨分量线性模型(CCLM)预测方法中使用该子集。可以理解地,跨分量线性模型(CCLM)是H.266/VVC中的编码工具。该模型使用重建的亮度(Y)来预测相应的色度(C)。例如,可以通过下面的线性模型公式(2)推导当前编码块的色度值C’。
C′=α*Y+β (2);
这里,参数α和β的值可以从相邻的参考像素的亮度和色度推导出来。
在CCLM中,可以选择原始参考区域中的某些点。然后使用这些点构成的参考像素子集进行进一步处理,例如,使用参考像素子集进行下采样并从下采样处理后的参考像素子集中找到最大值和最小值,基于所述最大值和最小值确定参数α和β的值,这样,对参考像素子集进行下采样,相比于对原始像素集合进行下采样,可以减少下采样的次数,同时,从下采样处理后的参考像素子集中能够更快速地找到最大值和最小值,从而快速确定预测模型,进而提高数据处理速度。当然,如果当筛选条件合理时,预测编码的编码效率会得到提升;在其他实施例中,相比于原始像素集合,这里使用参考像素子集能够更加快速地推导出参数α和β的值,然后通过处理得到的预测模型对当前编码块进行预测,从而提高数据处理速度。
在本申请实施例中,在对当前编码块进行预测之前的任何处理中,通过使用参考像素的子集来进行视频编码,如此可以降低视频编码的复杂性,提高算法的鲁棒性。
基于前述的实施例,本申请实施例提供一种信息处理装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6A为本申请实施例信息处理装置的组成结构示意图,如图6A所示,所述装置60包括原始像素集合确定模块61、属性信息确定模块62、目标像素选取模块63和编码处理模块64,其中:原始像素集合确定模块61,配置为确定当前视频帧中待编码块的原始像素集合;属性信息确定模块62,配置为确定所述原始像素集合中每一原始像素的属性信息;目标像素选取模块63,配置为选取属性信息满足筛选条件的原始像素,得到目标像素集合;编码处理模块64,配置为基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行编码处理。
在其他实施例中,原始像素集合确定模块61,配置为将所述待编码块外的至少一个重建像素确定为所述原始像素集合中的原始像素;编码处理模块64,配置为基于所述目标像素集合中每一重建像素的属性信息,对所述待编码块进行预测编码、变换编码或熵编码。
在其他实施例中,原始像素集合确定模块61,配置为将所述待编码块内的至少一个待编码像素确定为所述原始像素集合中的原始像素;编码处理模块64,配置为基于所述目标像素集合中每一待编码像素的属性信息,对所述目标像素集合进行预测编码、变换编码或熵编码。
在其他实施例中,如图6B所示,所述目标像素选取模块63,包括:相关度确定单元631,配置为基于所述原始像素集合中重建像素的属性信息,确定每一重建像素与所述待编码块的相关度;选取单元632,配置为选取相关度满足筛选条件的重建像素,得到目标像素集合。
在其他实施例中,所述相关度确定单元631,配置为确定所述原始像素集合中重建像素与所述待编码块的位置关系;将所述位置关系确定为所述重建像素与所述待编码块的相关度。
在其他实施例中,所述目标像素选取模块63,配置为从所述原始像素集合中选取图像分量在预设范围内的重建像素作为目标像素,得到所述目标像素集合。
在其他实施例中,所述图像分量为亮度分量或色度分量。
在其他实施例中,如图6C所示,所述编码处理模块64,包括:预处理单元641,配置为对所述目标像素集合中每一重建像素的属性信息进行预处理,得到预处理后的目标像素集合;预测编码单元642,配置为基于所述预处理后的目标像素集合中每一重建像素的属性信息,对所述待编码块进行预测编码。
在其他实施例中,所述预处理单元641,配置为对所述目标像素集合中每一重建像素的属性信息进行下采样处理,得到下采样处理后的目标像素集合;或者,配置为对所述目标像素集合中每一重建像素的属性信息进行滤波处理,得到滤波处理后的目标像素集合。
在其他实施例中,如图6D所示,所述预测编码单元641,包括:模型构建子单元6411,配置为基于所述下采样处理或所述滤波处理后的目标像素集合中每一重建像素的属性信息,构建预测模型,所述预测模型用于表征所述待编码块中待编码像素的多个图像分量之间的预测关系;预测编码子单元6412配置为基于所述预测模型,对所述待编码块进行预测编码。
在其他实施例中,所述模型构建子单元6411,配置为基于所述下采样处理或所述滤波处理后的目标像素集合中每一重建像素的色度分量和亮度分量,确定预测模型的第一参数的参数值和第二参数的参数值;基于所述第一参数的参数值和所述第二参数的参数值,构建所述预测模型。
在其他实施例中,所述原始像素集合确定模块61,配置为将所述待编码块所在的预设范围内的N个重建像素确定为所述原始像素集合;其中,N为预设的大于或等于1的整数。
在其他实施例中,所述原始像素集合确定模块61,配置为将与所述待编码块相邻的参考行或参考列中的重建像素确定为所述原始像素集合。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的信息处理方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述实施例中提供的信息处理方法中的步骤。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述实施例中提供的信息处理方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,图7为本申请实施例电子设备的硬件实体示意图,如图7所示,所述电子设备700包括存储器701和处理器702,所述存储器701存储有可在处理器702上运行的计算机程序,所述处理器702执行所述程序时实现上述实施例中提供的信息处理方法中的步骤。
需要说明的是,存储器701配置为存储由处理器702可执行的指令和应用,还可以缓存待处理器702以及电子设备700中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(RandomAccess Memory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
本申请实施例中,从待编码块的原始像素集合中选取属性信息满足筛选条件的原始像素,得到目标像素集合;基于所述目标像素集合中每一原始像素的属性信息,对所述待编码块进行编码处理;这样,基于选取的部分原始像素的属性信息,对所述待编码块进行编码处理,可以降低编码处理的计算复杂度,从而提高视频编码效率,进而提高用户观看视频的流畅度。

Claims (24)

1.一种信息处理方法,应用于编码器,所述方法包括:
确定当前视频帧中待编码块的像素集合;
基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合;其中,所述属性信息包括位置关系、亮度分量和色度分量;
基于所述目标像素集合中像素的属性信息对所述目标像素集合中像素进行滤波处理,得到滤波处理后的目标像素集合;
基于所述滤波处理后的目标像素集合中像素的属性信息,对所述待编码块进行编码处理。
2.根据权利要求1所述的方法,其特征在于,所述确定当前视频帧中待编码块的像素集合,包括:
将所述待编码块外的至少一个重建像素确定为所述像素集合中的像素。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标像素集合中像素的属性信息对所述目标像素集合中像素进行滤波处理,得到滤波处理后的目标像素集合,包括:
基于所述目标像素集合中重建像素的属性信息对所述目标像素集合中重建像素进行滤波处理,得到滤波处理后的目标像素集合;
所述基于所述滤波处理后的目标像素集合中像素的属性信息,对所述待编码块进行编码处理,包括:
基于所述滤波处理后的目标像素集合中重建像素的属性信息,对所述待编码块进行预测编码、变换编码或熵编码。
4.根据权利要求1或2所述的方法,其特征在于,所述像素集合包括:所述待编码块上侧边相邻的至少一行重建像素,和/或,所述待编码块左侧边相邻的至少一列重建像素。
5.根据权利要求4所述的方法,其特征在于,所述基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合,包括:
基于所述像素集合中重建像素的属性信息,确定所述像素集合中重建像素与所述待编码块的位置关系;
根据所述位置关系,得到目标像素集合。
6.根据权利要求4所述的方法,其特征在于,所述基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合,包括:
根据所述属性信息,从所述待编码块上侧边相邻的至少一行重建像素中选取部分重建像素,和/或,从所述待编码块左侧边相邻的至少一列重建像素中选取部分重建像素;
所述目标像素集合包含所选取的重建像素。
7.根据权利要求6所述的方法,其特征在于,所述根据所述属性信息,从所述待编码块上侧边相邻的至少一行重建像素中选取部分重建像素,包括:
根据所述属性信息对所述待编码块上侧边相邻的至少一行重建像素进行下采样处理,得到部分重建像素;
所述根据所述属性信息,从所述待编码块左侧边相邻的至少一列重建像素中选取部分重建像素,包括:
根据所述属性信息对所述待编码块左侧边相邻的至少一列重建像素进行下采样处理,得到部分重建像素。
8.根据权利要求3所述的方法,其特征在于,所述滤波处理的输入包括所述重建像素及其相邻的一个或多个重建像素。
9.根据权利要求3所述的方法,其特征在于,所述基于所述滤波处理后的目标像素集合中重建像素的属性信息,对所述待编码块进行预测编码、变换编码或熵编码,包括:
基于所述滤波处理后的目标像素集合中重建像素的属性信息,构建预测模型,所述预测模型用于表征所述待编码块中两个或多个图像分量之间的预测关系;
基于所述预测模型,对所述待编码块进行预测编码。
10.根据权利要求9所述的方法,其特征在于,所述基于所述滤波处理后的目标像素集合中重建像素的属性信息,构建预测模型,包括:
基于所述滤波处理后的目标像素集合中重建像素的色度分量和亮度分量,确定预测模型的第一参数的参数值和第二参数的参数值,其中,所述预测模型是由所述第一参数和所述第二参数表示的线性模型。
11.一种信息处理方法,应用于解码器,所述方法包括:
确定当前待解码的处理块的像素集合;
基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合;其中,所述属性信息包括位置关系、亮度分量和色度分量;
基于所述目标像素集合中像素的属性信息对所述目标像素集合中像素进行滤波处理,得到滤波处理后的目标像素集合;
基于所述滤波处理后的目标像素集合中像素的属性信息,对所述处理块进行解码处理。
12.根据权利要求11所述的方法,其特征在于,所述确定当前待解码的处理块的像素集合,包括:
将所述处理块外的至少一个重建像素确定为所述像素集合中的像素。
13.根据权利要求12所述的方法,其特征在于,所述基于所述目标像素集合中像素的属性信息对所述目标像素集合中像素进行滤波处理,得到滤波处理后的目标像素集合,包括:
基于所述目标像素集合中重建像素的属性信息对所述目标像素集合中重建像素进行滤波处理,得到滤波处理后的目标像素集合;
所述基于所述滤波处理后的目标像素集合中像素的属性信息,对所述处理块进行解码处理,包括:
基于所述滤波处理后的目标像素集合中重建像素的属性信息,确定所述处理块的预测值;
根据所述处理块的预测值,对所述处理块进行解码。
14.根据权利要求11或12所述的方法,其特征在于,所述像素集合包括:所述处理块上侧边相邻的至少一行重建像素,和/或,所述处理块左侧边相邻的至少一列重建像素。
15.根据权利要求14所述的方法,其特征在于,所述基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合,包括:
基于所述像素集合中重建像素的属性信息,确定所述像素集合中重建像素与所述处理块的位置关系;
根据所述位置关系,得到目标像素集合。
16.根据权利要求14所述的方法,其特征在于,所述基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合,包括:
根据所述属性信息,从所述处理块上侧边相邻的至少一行重建像素中选取部分重建像素,和/或,从所述处理块左侧边相邻的至少一列重建像素中选取部分重建像素;
所述目标像素集合包含所选取的重建像素。
17.根据权利要求16所述的方法,其特征在于,所述根据所述属性信息,从所述处理块上侧边相邻的至少一行重建像素中选取部分重建像素,包括:
根据所述属性信息对所述处理块上侧边相邻的至少一行重建像素进行下采样处理,得到部分重建像素;
所述根据所述属性信息,从所述处理块左侧边相邻的至少一列重建像素中选取部分重建像素,包括:
根据所述属性信息对所述处理块左侧边相邻的至少一列重建像素进行下采样处理,得到部分重建像素。
18.根据权利要求13所述的方法,其特征在于,所述滤波处理的输入包括所述重建像素及其相邻的一个或多个重建像素。
19.根据权利要求13所述的方法,其特征在于,所述基于所述滤波处理后的目标像素集合中重建像素的属性信息,确定所述处理块的预测值,包括:
基于所述滤波处理后的目标像素集合中重建像素的属性信息,构建预测模型,所述预测模型用于表征所述处理块中两个或多个图像分量之间的预测关系;
基于所述预测模型,确定所述处理块的预测值。
20.根据权利要求19所述的方法,其特征在于,所述基于所述滤波处理后的目标像素集合中重建像素的属性信息,构建预测模型,包括:
基于所述滤波处理后的目标像素集合中重建像素的色度分量和亮度分量,确定预测模型的第一参数的参数值和第二参数的参数值,其中,所述预测模型是由所述第一参数和所述第二参数表示的线性模型。
21.一种信息处理装置,应用于编码器,所述装置包括:
像素集合确定模块,配置为确定当前视频帧中待编码块的像素集合;
目标像素选取模块,配置为基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合;其中,所述属性信息包括位置关系、亮度分量和色度分量;
编码处理模块,配置为基于所述目标像素集合中像素的属性信息对所述目标像素集合中像素进行滤波处理,得到滤波处理后的目标像素集合;以及基于所述滤波处理后的目标像素集合中像素的属性信息,对所述待编码块进行编码处理。
22.一种信息处理装置,应用于解码器,所述装置包括:
像素集合确定模块,配置为确定当前待解码的处理块的像素集合;
目标像素选取模块,配置为基于所述像素集合中像素的属性信息,从所述像素集合中选取至少一个像素,得到目标像素集合;其中,所述属性信息包括位置关系、亮度分量和色度分量;
解码处理模块,配置为基于所述目标像素集合中像素的属性信息对所述目标像素集合中像素进行滤波处理,得到滤波处理后的目标像素集合;以及基于所述滤波处理后的目标像素集合中像素的属性信息,对所述处理块进行解码处理。
23.一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至10任一项所述信息处理方法中的步骤或者实现权利要求11至20任一项所述信息处理方法中的步骤。
24.一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1至10任一项所述信息处理方法中的步骤或者实现权利要求11至20任一项所述信息处理方法中的步骤。
CN202110497263.8A 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质 Active CN113347425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110497263.8A CN113347425B (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962793012P 2019-01-16 2019-01-16
US62/793,012 2019-01-16
PCT/CN2019/087300 WO2020147226A1 (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质
CN202110497263.8A CN113347425B (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质
CN201980057448.8A CN112640458A (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980057448.8A Division CN112640458A (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN113347425A CN113347425A (zh) 2021-09-03
CN113347425B true CN113347425B (zh) 2023-05-26

Family

ID=71613686

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110497263.8A Active CN113347425B (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质
CN202310626691.5A Pending CN116527883A (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质
CN201980057448.8A Pending CN112640458A (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310626691.5A Pending CN116527883A (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质
CN201980057448.8A Pending CN112640458A (zh) 2019-01-16 2019-05-16 信息处理方法及装置、设备、存储介质

Country Status (6)

Country Link
US (1) US20210344924A1 (zh)
EP (1) EP3910948A4 (zh)
JP (2) JP7379501B2 (zh)
KR (1) KR20210114462A (zh)
CN (3) CN113347425B (zh)
WO (1) WO2020147226A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473135B (zh) * 2021-05-26 2023-09-01 北京大学 一种面向非线性纹理的帧内预测方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017129023A1 (zh) * 2016-01-25 2017-08-03 华为技术有限公司 解码方法、编码方法、解码设备和编码设备
CN108833916A (zh) * 2018-06-20 2018-11-16 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、存储介质和计算机设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360235B (zh) * 2007-08-03 2011-09-14 上海中科计算技术研究所 视频图像预处理方法
WO2010150486A1 (ja) * 2009-06-22 2010-12-29 パナソニック株式会社 画像符号化方法及び画像符号化装置
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
EP3526968A4 (en) * 2016-10-12 2020-06-03 Telefonaktiebolaget LM Ericsson (publ) RESIDUAL REFINEMENT OF COLOR COMPONENTS
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
WO2019004283A1 (ja) * 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017129023A1 (zh) * 2016-01-25 2017-08-03 华为技术有限公司 解码方法、编码方法、解码设备和编码设备
CN108833916A (zh) * 2018-06-20 2018-11-16 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、存储介质和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE3-related: Fixed Reference Samples Design for CCLM;Junyan Huo 等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20190110;第1-6页 *

Also Published As

Publication number Publication date
EP3910948A1 (en) 2021-11-17
JP7379501B2 (ja) 2023-11-14
CN113347425A (zh) 2021-09-03
EP3910948A4 (en) 2022-07-27
KR20210114462A (ko) 2021-09-23
US20210344924A1 (en) 2021-11-04
CN112640458A (zh) 2021-04-09
JP2022523461A (ja) 2022-04-25
CN116527883A (zh) 2023-08-01
JP2024001313A (ja) 2024-01-09
WO2020147226A1 (zh) 2020-07-23

Similar Documents

Publication Publication Date Title
JP6685208B2 (ja) 映像復号化方法及び装置
US20220239901A1 (en) Video picture component prediction method and apparatus, and computer storage medium
CN113068026B (zh) 编码预测方法、装置及计算机存储介质
JP2024001313A (ja) 情報処理方法および装置、機器、記憶媒体
CN113992914B (zh) 帧间预测方法及装置、设备、存储介质
CN114071161B (zh) 图像编码方法、图像解码方法及相关装置
CN113395520B (zh) 解码预测方法、装置及计算机存储介质
US11350088B2 (en) Intra prediction method and apparatus, and computer-readable storage medium
CN113826403A (zh) 信息处理方法及装置、设备、存储介质
CN114363635B (zh) 信息处理方法及装置、设备、存储介质
RU2800683C2 (ru) Способ и устройство предсказывания компонента видеоизображения и компьютерный носитель данных
CN112740690B (zh) 用于编码和解码代表至少一个图像的数据流的方法和设备
CN115209141A (zh) 视频编解码方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant