CN104823446B - 图像处理装置、图像处理方法 - Google Patents

图像处理装置、图像处理方法 Download PDF

Info

Publication number
CN104823446B
CN104823446B CN201380062562.2A CN201380062562A CN104823446B CN 104823446 B CN104823446 B CN 104823446B CN 201380062562 A CN201380062562 A CN 201380062562A CN 104823446 B CN104823446 B CN 104823446B
Authority
CN
China
Prior art keywords
unit
image
processing
pixel
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380062562.2A
Other languages
English (en)
Other versions
CN104823446A (zh
Inventor
荒木祐一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104823446A publication Critical patent/CN104823446A/zh
Application granted granted Critical
Publication of CN104823446B publication Critical patent/CN104823446B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技术涉及图像处理设备、图像处理方法及程序。使用所述图像处理设备、图像处理方法及程序可以在与并行编码单元不相关的处理单位中对解码图像并行地进行滤波处理。在本技术中:加法单元对编码数据进行解码并且生成图像;以及去块滤波器、自适应偏移滤波器与自适应环路滤波器在与片不相关的并行处理单位中对由加法单元生成的图像并行地进行滤波处理。本技术可以应用于例如编码设备或解码设备上。

Description

图像处理装置、图像处理方法
技术领域
本技术涉及图像处理装置、图像处理方法及程序,具体地涉及以不考虑并行编码处理单位的处理单位对解码图像并行地进行滤波处理的图像处理装置、图像处理方法及程序。
背景技术
出于提高移动图像的编码效率的目的,正在进行对被称为HEVC(高效率视频编码)的编码系统的标准化(例如,参见非专利文献1)。在HEVC 系统中,片(slice)和块(tile)可以用作并行编码处理单位,并行编码处理单位是能够并行地进行解码的编码处理单位。
引用列表
非专利文献
非专利文献1:Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm, GaryJ.Sullivan,Thomas Wiegand,“High efficiency video coding (HEVC)textspecification draft 8”,JCTVC-J1003_d7,2012.7.28
发明内容
本发明要解决的问题
然而,还没有考虑过以不考虑并行编码处理单位的处理单位并行地进行在编码或解码时对解码图像进行的滤波处理。
鉴于这样的情况产生了本技术,以及本技术的目的是以不考虑并行编码处理单位的处理单位对解码图像并行地进行滤波处理。
问题的解决方案
根据本技术的第一方面的一种图像处理装置是下述图像处理装置,该图像处理装置包括:解码单元,该解码单元被配置成对编码数据进行解码并且生成图像;以及滤波处理单元,该滤波处理单元被配置成以不考虑片的处理单位对由解码单元生成的图像并行地进行滤波处理。
根据本技术的第一方面的一种图像处理方法及一种程序与根据本技术的第一方面的图像处理装置对应。
在本技术的第一方面中,对编码数据进行解码以生成图像,以及以不考虑片的处理单位对图像并行地进行滤波处理。
根据本技术的第二方面的图像处理装置相当于下述图像处理装置,该图像处理装置包括:解码单元,该解码单元被配置成对编码数据进行解码并且生成图像;以及滤波处理单元,该滤波处理单元被配置成以不考虑块的处理单位对由解码单元生成的图像并行地进行滤波处理。
在本技术的第二方面中,对编码数据进行解码以生成图像,以及以不考虑块的处理单位对图像并行地进行滤波处理。
发明效果
根据本技术,可以以不考虑并行编码处理单位的处理单位对解码图像并行地进行滤波处理。
附图说明
图1是示出了应用本技术的编码装置的第一实施方式的示例性配置的框图。
图2是用于描述LCU的图,LCU是HEVC系统中的最大编码单元。
图3是示出了在逆量化、逆正交变换、加法处理以及补偿处理中的并行处理单元的示例的图。
图4是示出了图1的去块滤波器的示例性配置的框图。
图5是用于描述对图像的亮度分量进行去块滤波处理的并行处理单元的图。
图6是用于描述对图像的亮度分量进行去块滤波处理的并行处理单元的图。
图7是用于描述对图像的亮度分量进行去块滤波处理的并行处理单元的图。
图8是用于描述对图像的亮度分量进行去块滤波处理的并行处理单元的图。
图9是示出了图1的自适应偏移滤波器的示例性配置的框图。
图10是用于描述自适应偏移滤波处理的并行处理单元的图。
图11是用于描述自适应偏移滤波处理的并行处理单元的图。
图12是用于描述自适应偏移滤波处理的并行处理单元的图。
图13是用于描述自适应偏移滤波处理的并行处理单元的图。
图14是用于描述自适应偏移滤波处理的并行处理单元的图。
图15是示出了图1的自适应环路滤波器的示例性配置的框图。
图16是用于描述自适应环路滤波处理的并行处理单元的图。
图17是用于描述自适应环路滤波处理的并行处理单元的图。
图18是用于描述自适应环路滤波处理的并行处理单元的图。
图19是用于描述自适应环路滤波处理的并行处理单元的图。
图20是用于描述图1的编码装置的编码处理的流程图。
图21是用于描述图1的编码装置的编码处理的流程图。
图22是用于描述图21的逆量化并行处理的细节的流程图。
图23是用于描述图21的逆正交变换并行处理的细节的流程图。
图24是用于描述图21的帧间预测并行处理的细节的流程图。
图25是用于描述图21的加法并行处理的细节的流程图。
图26是用于描述图21的帧内预测处理的细节的流程图。
图27是用于描述图21的去块滤波并行处理的细节的流程图。
图28是用于描述图21的自适应偏移滤波并行处理的细节的流程图。
图29是用于描述图21的自适应环路滤波并行处理的细节的流程图。
图30是示出了应用本技术的解码装置的第一实施方式的示例性配置的框图。
图31是用于描述图30的解码装置的解码处理的流程图。
图32是示出了作为应用本技术的图像处理装置的编码装置的第二实施方式的示例性配置的框图。
图33是示出了图32的滤波处理单元的示例性配置的框图。
图34是用于描述图32的编码装置的编码处理的流程图。
图35是用于描述图32的编码装置的编码处理的流程图。
图36是用于描述图35的帧间并行处理的细节的流程图。
图37是用于描述图35的滤波并行处理的细节的流程图。
图38是示出了作为应用本技术的图像处理装置的解码装置的第二实施方式的示例性配置的框图。
图39是用于描述图38的解码装置的解码处理的流程图。
图40是示出了计算机的示例性硬件配置的框图。
具体实施方式
<第一实施方式>
<编码装置的第一实施方式的示例性配置>
图1是示出了作为应用本技术的图像处理装置的编码装置的第一实施方式的示例性配置的框图。
图1的编码装置11包括:A/D转换器31、画面重排缓冲器32、计算单元33、正交变换单元34、量化单元35、无损编码单元36、累积缓冲器 37、逆量化单元38、逆正交变换单元39、加法单元40、去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元46、运动预测/补偿单元47、预测图像选择单元48以及速率控制单元49。编码装置11通过依据HEVC系统的系统来对图像进行编码。
具体地,编码装置11的A/D转换器31对作为来自外部的输入信号而输入的帧单元的图像进行A/D转换,以及相对于画面重排缓冲器32输出并且存储经转换的信号。画面重排缓冲器32将以显示顺序存储的帧单元的图像重排成用于根据GOP结构来编码的顺序,并且向计算单元33、帧内预测单元46以及运动预测/补偿单元47输出图像。
计算单元33通过计算从预测图像选择单元48提供的预测图像与从画面重排缓冲器32输出的编码目标图像之间的差来进行编码。具体地,计算单元33通过从由画面重排缓冲器32输出的编码目标图像中减去从预测图像选择单元48提供的预测图像来进行编码。计算单元33将作为结果获得的图像作为残差信息输出至正交变换单元34。并且,在没有从预测图像选择单元48提供预测图像的情况下,计算单元33将从画面重排缓冲器 32中读取的图像自身作为残差信息输出至正交变换单元34。
正交变换单元34对来自计算单元33的残差信息进行正交变换,并且向量化单元35提供所生成的正交变换系数。
量化单元35对从正交变换单元34提供的正交变换系数进行量化,并且将作为结果获得的系数提供至无损编码单元36。
无损编码单元36从帧内预测单元46获取表示最优帧内预测模式的信息(在下文中,称为“帧内预测模式信息”)。此外,无损编码单元36从运动预测/补偿单元47获取表示最优帧间预测模式的信息(在下文中,称为“帧间预测模式信息”)、运动矢量以及用于指定参考图像的信息。
此外,无损编码单元36从自适应偏移滤波器42获取关于偏移滤波器的偏移滤波信息,以及从自适应环路滤波器43获取滤波系数。
无损编码单元36对从量化单元35提供的量化系数进行无损编码例如算术编码(例如,CABAC(上下文自适应二进制算术编码)等)。
此外,无损编码单元36对下述与编码有关的编码信息进行无损编码,所述编码信息例如帧内预测模式信息或帧间预测模式信息、运动矢量、以及用于指定参考图像的信息、偏移滤波信息以及滤波系数。无损编码单元 36将无损编码的编码信息及系数(语法)作为编码数据提供至累积缓冲器37、以便在累积缓冲器37中累积信息和系数。此外,无损编码的编码信息可以是无损编码系数的头部信息(片头部)。
累积缓冲器37暂时地存储从无损编码单元36提供的编码数据(比特流)。此外,累积缓冲器37传输存储在累积缓冲器37中的编码数据。
此外,从量化单元35输出的量化系数也被输入至逆量化单元38。逆量化单元38以预定处理单位对由量化单元35量化的系数并行地进行逆量化,并且将作为结果获得的正交变换系数提供至逆正交变换单元39。
逆正交变换单元39以预定处理单位对从逆量化单元38提供的正交变换系数并行地进行逆正交变换,以及将被获得作为结果的残差信息提供至加法单元40。
加法单元40用作解码单元,以及通过进行下述加法处理来局部地进行解码:该加法处理以预定处理单位将从运动预测/补偿单元47提供的预测图像与从逆正交变换单元39提供的残差信息并行地相加。加法单元40 将作为结果获得的局部解码图像提供至帧存储器44。此外,加法单元40 通过在PU(预测单元)中执行将从帧内预测单元46提供的预测图像和残差信息相加的加法处理来局部地进行解码。加法单元40将作为结果获得的PU的局部解码图像提供至帧存储器44。此外,加法单元40向去块滤波器41提供在图片单元中的完全解码图像。
去块滤波器41以预定处理单位对从加法单元40提供的图像并行地进行消除块变形的去块滤波处理,并且将作为结果获得的图像提供至自适应偏移滤波器42。
自适应偏移滤波器42以预定处理单位对经受由去块滤波器41进行的去块滤波处理的图像针对每个LCU(最大编码单元)并行地进行主要消除振荡的自适应偏移滤波(SAO(采样自适应偏移))处理。自适应偏移滤波器42向无损编码单元36提供作为关于每个LCU的自适应偏移滤波处理的信息的偏移滤波信息。
自适应环路滤波器43例如通过二维Wiener滤波器来配置。自适应环路滤波器43以预定处理单位对从自适应偏移滤波器42提供并且经受自适应偏移滤波处理的图像针对每个LCU并行地进行自适应环路滤波 (ALF(自适应环路滤波))处理。自适应环路滤波器43向无损编码单元 36提供在每个LCU的自适应环路滤波处理中使用的滤波系数。
帧存储器44累积从自适应环路滤波器43提供的图像和从加法单元 40提供的图像。从自适应环路滤波器43提供并且在帧存储器44中累积的图像被作为参考图像通过开关45输出至运动预测/补偿单元47。此外,从加法单元40提供并且在帧存储器44中累积的图像被作为参考图像通过开关45输出至帧内预测单元46。
帧内预测单元46使用通过开关45从帧存储器44中读取的参考图像来对在PU中作为候选者的所有帧内预测模式进行帧内预测处理。
此外,帧内预测单元46基于从画面重排缓冲器32中读取的图像与作为帧内预测处理的结果生成的预测图像来针对每个PU计算作为候选者的所有帧内预测模式的代价函数值(将在下面详细地描述)。然后,帧内预测单元46针对每个PU将具有最小代价函数值的帧内预测模式确定为最优帧内预测模式。
帧内预测单元46向预测图像选择单元48提供针对每个PU的在最优帧内预测模式中生成的预测图像与对应的代价函数值。
此外,代价函数值可以是RD(速率失真)代价。例如,基于高复杂度模式和低复杂度模式中的任一个模式来计算代价函数值以便通过作为 H.264/AVC系统中的参考软件的JM(组合模型)来确定代价函数值。此外,H.264/AVC系统中的参考软件在http:// iphome.hhi.de/suehring/tml/index.htm中向公众公开。
特别地,在采用高复杂度模式作为代价函数值的计算方法的情况下,作为候选者的所有预测模式暂时地经受解码,并且针对每个预测模式来计算通过下述方程(1)表示的代价函数值。
代价(模式)=D+λ·R…(1)
其中,D是原始图像与解码图像之间的差(失真),R是包括正交变换系数的生成的代码的量,以及λ是作为量化参数QP的函数给出的拉格朗日不定乘子。
另一方面,在采用低复杂度模式作为代价函数值的计算方法的情况下,生成预测图像以及针对作为候选者的所有预测模式计算编码信息的代码量,以及针对每个预测模式来计算通过下述方程(2)表示的代价函数。
代价(模式)=D+QPtoQuant(QP)·Header_Bit…(2)
其中,D是原始图像与预测图像之间的差(失真),Header_Bit是编码信息的代码的量,以及QPtoQuant是作为量化参数QP的函数给出的函数。
在低复杂度模式中,只需要针对所有预测模式生成预测图像,以及此外不需要生成解码图像,使得可以减少计算量。
在从预测图像选择单元48通知对在预定PU的最优帧内预测模式中生成的预测图像的选择的情况下,帧内预测单元46向无损编码单元36 提供PU的最优帧内预测模式信息。此外,帧内预测单元46针对每个下述PU在PU中进行最优帧内预测模式的帧内预测处理:从预测图像选择单元48向该PU通知对在最优帧内预测模式中生成的预测图像的选择。帧内预测单元46将作为结果获得的每个PU的预测图像提供至加法单元40。
运动预测/补偿单元47对作为候选者的所有帧间预测模式进行运动预测/补偿处理。特别地,运动预测/补偿单元47基于从画面重排缓冲器32 提供的图像和通过开关45从帧存储器44读取的参考图像来针对每个PU 检测作为候选者的所有帧间预测模式的运动矢量。然后,运动预测/补偿单元47基于运动矢量针对每个PU对参考图像进行补偿处理,并且生成预测图像。
这时,运动预测/补偿单元47基于从画面重排缓冲器32提供的图像和预测图像针对每个PU来计算作为候选者的所有帧间预测模式的代价函数值,并且将具有最小代价函数值的帧间预测模式确定为最优帧间预测模式。然后,运动预测/补偿单元47向预测图像选择单元48提供针对每个 PU的最优帧间预测模式的代价函数值和对应的预测图像。
在从预测图像选择单元48通知对在最优帧间预测模式中生成的预测图像的选择的情况下,运动预测/补偿单元47向无损编码单元36输出帧间预测模式信息、对应的运动矢量以及用于指定参考图像的信息。此外,运动预测/补偿单元47针对每个下述PU以预定处理单位基于对应的运动矢量来对由用于指定参考图像的信息指定的参考图像并行地进行最优帧间预测模式的补偿处理:从预测图像选择单元48来向该PU通知对在最优帧间预测模式中生成的预测图像的选择。运动预测/补偿单元47将作为结果获得的预测图像以图片单位提供至加法单元40。
预测图像选择单元48基于从帧内预测单元46和运动预测/补偿单元 47提供的代价函数值来将在最优帧内预测模式与在最优帧间预测模式中的、具有更小代价函数值的模式确定为最优预测模式。然后,预测图像选择单元48向计算单元33提供最优预测模式的预测图像。此外,预测图像选择单元48向帧内预测单元46或运动预测/补偿单元47通知对最优预测模式的预测图像的选择。
速率控制单元49基于在累积缓冲器37中累积的编码数据来控制通过量化单元35操作的量化速率、使得不发生上溢或下溢。
此外,在编码装置11根据HEVC系统进行编码的情况下,没有提供自适应环路滤波器43。
<LCU的描述>
图2是用于描述LCU的图,LCU是HEVC系统中的最大编码单元。
如在图2中所示,在HEVC系统中,包括SPS(序列参数集)的固定大小的LCU(最大编码单元)61被定义为最大编码单元。在图2的示例中,图片由8×8个LCU 61组成。LCU还以四叉树划分方式被递归地划分,以及LCU可以使CU 62作为编码单元。CU 62被划分成PU或者变换单元(TU),PU是在帧内预测或帧间预测中的单元,TU是在正交变换中的单元。此外,在下文中,LCU 61的边界被称为LCU边界。
<在逆量化、逆正交变换、加法处理以及补偿处理中的并行处理单位 >
图3是示出了在逆量化、逆正交变换、加法处理以及补偿处理中的并行处理单位的示例的图。
可以以LCU单位独立地进行逆量化、逆正交变换、加法处理以及补偿处理。在编码装置11中,不考虑片和块的设置,以包括一个或更多个 LCU 61的侦察伪片(Recon PseudoSlice)单位并行地进行逆量化、逆正交变换、加法处理以及补偿处理。
在图3的示例中,图片由8×8个LCU 61组成,侦察伪片单位由一行LCU 61组成。因此,图片由8个侦察伪片单位组成。
此外,侦察伪片单位不限于上面的配置,以及例如,侦察伪片可以由一列或更多列LCU组成。换言之,图片没有按照在水平方向上扩展、在垂直方向上布置的LCU边界63划分成侦察伪片,而是可以以在垂直方向上扩展、在水平方向上布置的LCU边界64划分成侦察伪片。
<去块滤波器的示例性配置>
图4是示出了图1的去块滤波器41的示例性配置的框图。
图4的去块滤波器41包括缓冲器80、划分单元81、处理器82-1至处理器82-n以及输出单元83。
去块滤波器41的缓冲器80以图片单位存储从图1的加法单元40提供的完全解码图像。此外,缓冲器80以预定处理单位使用从处理器82-1 至处理器82-n提供并且经受去块滤波处理的图像来更新解码图像。
划分单元81将图片单位的在缓冲器80中存储的图像划分成n×m(n 是2或更大的整数,以及m是1或更大的整数)个预定处理单元。划分单元81按照m片向处理器82-1至处理器82-n提供以n×m划分的预定处理单位的图像。
处理器82-1至处理器82-n中的每个处理器对预定处理单位的从划分单元81提供的图像进行去块滤波处理,并且将作为结果获得的图像提供至缓冲器80。
输出单元83以图片单位对图1的自适应偏移滤波器42提供在缓冲器 80中存储并且经受去块滤波处理的图像。
<去块滤波处理的并行处理单位的示例>
图5至图8是用于描述对图像的亮度分量(亮度)进行去块滤波处理的并行处理单位的图。
图5中的圆圈表示像素。
如在图5中所示,在HEVC系统的去块滤波处理中,首先在整个图片中水平布置的像素经受水平方向上的去块滤波处理,然后在整个图片中垂直布置的像素经受垂直方向上的去块滤波处理。
在此处,在水平方向的去块滤波处理中,按照在垂直方向上扩展的 LCU边界64的右方的每八个像素,使用水平地与边界相邻的达到四个像素(例如,在图5中用0至7表示的圆形像素)的像素值来重写水平地与边界相邻的达到三个像素的像素值。此外,在垂直方向的去块滤波处理中,按照在水平方向上扩展的LCU边界63的下方的每八个像素,使用垂直地与边界相邻的达到四个像素(例如,在图5中用a至h表示的圆形像素) 的像素值来重写垂直地与边界相邻的达到三个像素的像素值。
因此,单位DBK伪片(在其中可以在不使用另一单位DBK伪片的情况下独立地进行去块滤波处理)的最小值DBK伪片Min的在水平方向上垂直扩展的边界去块伪边界91位于从水平扩展的LCU边界63向上四个像素的位置,以及从该位置向上八个像素的位置。
因此,作为对图像的亮度分量进行去块滤波处理的并行处理单位的单位DBK伪片(在下文中,称为“并行处理单位DBK伪片”)成为按照每八个像素的倍数具有边界去块伪边界91作为边界的单位。
例如,如图6所示,对图像的亮度分量进行去块滤波处理的并行处理单位DBK伪片可以是具有从LCU边界63向上四个像素定位的边界去块伪边界91作为边界的单位。在这种情况下,上并行处理单位DBK伪片的上边界去块伪边界91与下并行处理单位DBK伪片的下边界去块伪边界91都是LCU边界63。
在这种情况下,如在图6中所示,当图片由8×8个LCU 61组成时,图片由8个DBK伪片组成。
在图6的情况下,没有设置片和块,但是如图7中所示,即使在设置片的情况下也不考虑片来设置并行处理单位DBK伪片。即使在设置块的情况下,情况与设置了片的情况相同。
如上所述,编码装置11在不考虑片和块的设置的情况下、以并行处理单位DBK伪片来并行地进行去块滤波处理。
此外,在图5至图7的示例中,最小单位DBK伪片Min的在水平方向上扩展的边界去块伪边界91被设置成并行处理单位DBK伪片的边界,但是如在图8中所示,在水平方向上布置并且在最小单位DBK伪片Min 的垂直方向扩展的边界去块伪边界101可以设置成并行处理单位DBK伪片的边界。
特别地,如在图8中所示,边界去块伪边界101位于从垂直扩展的 LCU边界64右侧四个像素的位置以及在从该位置右侧8个像素的位置。因此,并行处理单位DBK伪片成为按照每八个像素的倍数具有边界去块伪边界101作为边界的单位。
此外,在图5至图8中,已经描述了对图像的亮度分量进行的去块滤波处理的并行处理单位DBK伪片,但是相同的配置也适用于对颜色分量 (色度)进行去块滤波处理的并行处理单位DBK伪片。
例如,在图像是YUV422的情况下,颜色分量的最小单位DBK伪片 Min的在水平方向上扩展的边界去块伪边界与在图5中所示的亮度分量的边界去块伪边界91相同。此外,颜色分量的最小单位DBK伪片Min 的在垂直方向上扩展的边界去块伪边界位于从在垂直方向上扩展的LCU 边界64右侧两个像素的位置以及在从该位置右侧四个像素的位置。因此,与对图像的颜色分量进行去块滤波处理的水平方向平行的并行处理单位 DBK伪片成为按照每四个像素的倍数具有边界去块伪边界作为边界的单位。
另一方面,在图像是YUV420的情况下,颜色分量的最小单位DBK 伪片Min的在水平方向上扩展的边界去块伪边界位于从在水平方向上扩展的LCU边界63的向上两个像素的位置以及从该位置向上四个像素的位置。此外,颜色分量的最小单位DBK伪片Min的在垂直方向上扩展的边界去块伪边界位于从在垂直方向上扩展的LCU边界64右侧两个像素的位置以及在从该位置右侧四个像素的位置。
因此,对图像的颜色分量进行去块滤波处理的并行处理单位DBK伪片成为按照每四个像素的倍数具有边界去块伪边界作为边界的单位。
此外,在图像是YUV444的情况下,颜色分量的最小单位DBK伪片 Min的在水平方向和垂直方向上扩展的边界去块伪边界分别与图5的亮度分量的边界去块伪边界91、以及图8的亮度分量的边界去块伪边界101 相同。
<自适应偏移滤波器的示例性配置>
图9是示出了图1的自适应偏移滤波器42的示例性配置的框图。
图9的自适应偏移滤波器42包括:缓冲器110、划分单元111、缓冲器112、处理器113-1至处理器113-n以及输出单元114。
自适应偏移滤波器42的缓冲器110存储从图1的去块滤波器41提供并且经受图片单位的去块滤波处理的图像。缓冲器110使用由处理器113-1 至处理器113-n提供并且经受自适应偏移滤波处理的图像来更新经受去块滤波处理的图像。此外,缓冲器110与经受自适应偏移滤波处理的图像对应地存储从处理器113-1至处理器113-n提供的LCU的偏移滤波信息。
划分单元111将在缓冲器110中存储并且经受图片单位的去块滤波处理的图像划分成n×m个预定处理单元。划分单元111按照m片向处理器 113-1至处理器113-n提供n×m划分的预定处理单位的图像。此外,划分单元111向缓冲器112提供在n×m划分的预定处理单位的图像中的预定处理单元的边界上的像素的像素值,并且在缓冲器112中存储像素值。缓冲器112用作存储单元,以及存储从划分单元111提供的像素值。
处理器113-1至处理器113-n中的每个处理器使用存储在缓冲器112 中的像素值对从划分单元111提供的预定处理单位的图像、针对每个LCU 来进行自适应偏移滤波处理。然后,处理器113-1至处理器113-n中的每个处理器向缓冲器110提供每个LCU的经受自适应偏移滤波处理的图像以及表示对应的自适应偏移滤波处理的类型与自适应偏移滤波处理中使用的偏移的偏移滤波信息。
输出单元114给图1的自适应环路滤波器43提供在缓冲器110中存储并且经受图片单位的自适应偏移滤波处理的图像,并且给无损编码单元 36提供每个LCU的偏移滤波信息。
<自适应偏移滤波处理的并行处理单位的示例>
图10至图14是用于描述自适应偏移滤波处理的并行处理单位的图。
图10中的圆圈表示像素。
如在图10中所示,在HEVC系统的自适应偏移滤波处理中,包括当前像素和标有“a”至“h”的圆圈表示的像素(所述像素均布置在当前像素的周围)的总共九个像素可以用于在图中标有“0”的圆圈表示的当前像素。因此,不存在像边界去块伪边界那样的切断依存关系的边界。
因此,如在图11中所示,例如,具有任何像素的垂直方向上的边界作为边界的单位成为自适应偏移滤波处理的并行处理单位SAO伪片。在图11的示例中,图片被划分成三个并行处理单位SAO伪片。
然后,如参照图10所描述的,在HEVC系统的自适应偏移滤波处理中,由于各自布置在当前像素周围的像素可以用于当前像素,如在图12 中所示,划分单元111在缓冲器112中存储并行处理单位SAO伪片的边界上的像素的像素值。
特别地,如图12中所示,在缓冲器112中存储在中央的并行处理单位SAO伪片的最上行中标有“D”至“F”的圆圈表示的像素的像素值,以及存储上并行处理单位SAO伪片的最下行中标有“A”至“C”的圆圈表示的像素的像素值。此外,在缓冲器112中存储下并行处理单元SAO 伪片的最上行中标有“X”至“Z”的圆圈表示的像素的像素值,以及在中央的并行处理单位SAO伪片的最下行中标有“U”至“W”的圆圈表示的像素的像素值。
当对在当前并行处理单位SAO伪片之上的并行处理单位SAO伪片的最下行中的像素进行自适应偏移滤波处理时,根据需要来使用当前并行处理单位SAO伪片的最上行中的存储的像素。此外,当对在当前并行处理单位SAO伪片之下的并行处理单位SAO伪片的最上行中的像素进行自适应偏移滤波处理时,根据需要来使用当前并行处理单位SAO伪片的最下行中的像素。
在这方面,在缓冲器112中没有存储并行处理单位SAO伪片的边界上的像素的像素值的情况下,处理器113-1至处理器113-n需要从缓冲器 110读取像素值。然而,在处理器113-1至处理器113-n异步进行自适应偏移滤波处理的情况下,像素值可能已经被更新成在经受自适应偏移滤波处理之后的像素值,使得可能不准确地进行自适应偏移滤波处理。
此外,如在图13中所示,并行处理单位SAO伪片的边界可以是在水平方向上扩展的LCU边界63。在图13的示例中,由于图片由8×8个LCU 61组成,所以图片由八个并行处理单位SAO伪片组成。
此外,如在图14中所示,并行处理单位SAO伪片的边界可以是在水平方向上扩展的边界去块伪边界91。
此外,尽管没有在图中示出,但是并行处理单位SAO伪片的边界可以是任意像素的水平方向上的边界。此外,并行处理单位SAO伪片的边界可以是在垂直方向上扩展的LCU边界64,或者可以是在垂直方向上扩展的边界去块伪边界101。
此外,尽管没有在图中示出,但是并行处理单位SAO伪片可以与并行处理单位DBK伪片相同。
<自适应环路滤波器的示例性配置>
图15是示出了图1的自适应环路滤波器43的示例性配置的框图。
图15的自适应环路滤波器43包括:缓冲器120、划分单元121、处理器122-1至处理器122-n以及输出单元123。
自适应环路滤波器43的缓冲器120存储从图1的自适应偏移滤波器 42提供并且经受图片单位的自适应偏移滤波处理的图像。缓冲器120使用经受自适应环路滤波处理并且从处理器122-1至处理器122-n提供的图像来更新经受自适应偏移滤波处理的图像。此外,缓冲器120与经受自适应环路滤波处理的图像一致地存储从处理器122-1至处理器122-n提供的 LCU的滤波系数。
划分单元121将在缓冲器120中存储并且经受图片单位的自适应偏移滤波处理的图像划分成n×m个预定处理单位。划分单元121按照m片向处理器122-1至处理器122-n提供n×m划分的预定处理单位的图像。
处理器122-1至处理器122-n中的每个处理器对从划分单元121提供的预定处理单位的图像针对每个LCU计算在自适应环路滤波处理中使用的滤波系数,并且使用该滤波系数进行自适应环路滤波处理。然后,处理器122-1至处理器122-n中的每个处理器向缓冲器120提供每个LCU的经受自适应环路滤波处理的图像以及对应的滤波系数。
此外,在此处,自适应环路滤波处理被描述成针对每个LCU进行,但是自适应环路滤波处理的处理单位不限于LCU。然而,处理可以通过结合自适应偏移滤波器42的处理单位与自适应环路滤波器43的处理单位来高效地进行。
输出单元123给图1的帧存储器44提供在缓冲器120中存储并且经受图片单位的自适应环路滤波处理的图像,并且给无损编码单元36提供每个LCU的滤波系数。
<自适应环路滤波处理的并行处理单元的示例>
图16至图19是用于描述自适应环路滤波处理的并行处理单元的图。
图16中的圆圈表示像素。
如在图16中所示,在自适应环路滤波处理中,从下述像素中获得的总共19个像素是用于在图中标有“e”的圆圈表示的当前像素:包括当前像素和在图中标有“a”至“i”的圆圈表示的像素(所述像素是以当前像素为中心的在水平方向上的四个像素)的总共九个像素,在图中标有“r”、“p”、“k”、“n”、“q”及“s”的圆圈表示的总共六个像素(所述像素是以当前图像为中心的在垂直方向上的三个像素)、以及在图中标有“j”、“l”、“m”及“o”的圆圈表示的总共四个像素(所述像素均以倾斜方向布置在当前像素的周围)。
然而,禁止将19个像素放置于在水平方向上扩展的从LCU边界63 向上四个像素的位置。例如,在对以图16的标有“4”的圆圈表示的像素作为当前像素进行的自适应环路滤波处理中,只有在图中标有“0”至“8”的圆圈表示的像素被称为当前像素的近邻。
因此,单位ALF伪片(在其中可以在不使用另一单位ALF伪片的情况下独立进行自适应环路滤波处理)的最小值ALF伪片Min的在水平方向上垂直扩展的边界ALF伪边界131位于在水平方向上扩展的从LCU边界63向上四个像素的位置。
因此,例如,如在图17中所示,作为自适应环路滤波处理的并行处理单位的单位ALF伪片(在下文中,被称为“并行处理单位ALF伪片”) 可以成为从LCU边界63向上四个像素具有边界ALF伪边界131作为边界的单位。此外,上并行处理单位ALF伪片的上边界ALF伪边界131与下并行处理单位ALF伪片的下边界ALF伪边界131都是LCU边界63。
在这种情况下,如在图17中所示,当图片是由8×8个LCU 61组成时,图片由八个ALF伪片组成。在图17的情况下,没有设置片和块。然而,即使在设置了片或块的情况下也不考虑片和块来设置单位ALF伪片。
此外,如上所述,最小值ALF伪片Min的在水平方向上扩展的边界 ALF伪边界131位于从在水平方向上扩展的LCU边界63向上四个像素的位置。此外,最小值DBK伪片的在水平方向上扩展的边界去块伪边界 91位于从在水平方向上扩展的LCU边界63向上四个像素的位置以及从该位置向上八个像素的位置。因此,如在图18中所示,可以使并行处理单位DBK伪片与并行处理单位ALF伪片相同。
此外,如上所述,自适应偏移滤波处理的并行处理单位SAO伪片可以用作具有任何像素的在垂直方向上的边界作为边界的单位。因此,如在图19中所示,可以使并行处理单位SAO伪片与并行处理单位ALF伪片相同。
<编码装置的处理的描述>
图20和图21是用于描述图1的编码装置11的编码处理的流程图。例如,以帧单位进行编码处理。
在图20的步骤S31中,编码装置11的A/D转换器31对从外部作为输入信号而输入的帧单位的图像进行A/D转换,并且相对于画面重排缓冲器32输出并且存储经转换的信号。
在步骤S32中,画面重排缓冲器32将以显示顺序存储的帧的图像重排成用于根据GOP结构来编码的顺序。画面重排缓冲器32向计算单元 33、帧内预测单元46以及运动预测/补偿单元47提供帧单位的重排的图像。在PU中进行随后的步骤S33至S37的处理。
在步骤S33中,帧内预测单元46对作为候选者的所有帧内预测模式进行帧内预测处理。此外,帧内预测单元46基于从画面重排缓冲器32 中读取的图像与作为帧内预测处理的结果生成的预测图像来计算作为候选者的所有帧内预测模式的代价函数值。然后,帧内预测单元46将具有最小代价函数值的帧内预测模式确定为最优帧内预测模式。帧内预测单元 46向预测图像选择单元48提供在最优帧内预测模式中生成的预测图像与对应的代价函数值。
此外,运动预测/补偿单元47对作为候选者的所有帧间预测模式进行运动预测/补偿处理。此外,运动预测/补偿单元47基于从画面重排缓冲器 32提供的图像与预测图像来计算作为候选者的所有帧间预测模式的代价函数值,并且将具有最小代价函数值的帧间预测模式确定为最优帧间预测模式。然后,运动预测/补偿单元47向预测图像选择单元48提供最优帧间预测模式的代价函数值与对应的预测图像。
在步骤S34中,预测图像选择单元48基于通过步骤S33的处理从帧内预测单元46与运动预测/补偿单元47提供的代价函数值来将在最优帧内预测模式与最优帧间预测模式中的具有更小代价函数值的模式确定为最优预测模式。然后,预测图像选择单元48向计算单元33提供最优预测模式的预测图像。
在步骤S35中,预测图像选择单元48确定最优预测模式是否是最优帧间预测模式。在步骤S35中,在确定出最优预测模式是最优帧间预测模式的情况下,预测图像选择单元48向运动预测/补偿单元47通知对最优帧间预测模式中生成的预测图像的选择。
然后,在步骤S36中,运动预测/补偿单元47向无损编码单元36提供用于指定帧间预测模式信息的信息、运动矢量以及参考图像。
另一方面,在步骤S35中,在最优预测模式不是最优帧间预测模式的情况下(也就是说,在最优预测模式是最优帧内预测模式的情况下),预测图像选择单元48向帧内预测单元46通知对在最优帧内预测模式中生成的预测图像的选择。然后,在步骤S37中,帧内预测单元46向无损编码单元36提供帧内预测模式信息,且处理进行至步骤S38。
在步骤S38中,计算单元33通过从由画面重排缓冲器32提供的图像中减去从预测图像选择单元48提供的预测图像来进行编码。计算单元33 将作为结果获得的图像作为残差信息输出至正交变换单元34。
在步骤S39中,正交变换单元34对来自计算单元33的残差信息进行正交变换,并且将作为结果获得的正交变换系数提供至量化单元35。
在步骤S40中,量化单元35对从正交变换单元34提供的系数进行量化,并且将作为结果获得的系数提供至无损编码单元36和逆量化单元38。
在图21的步骤S41中,逆量化单元38进行逆量化并行处理,在该逆量化并行处理中,在侦察伪片单位中对从量化单元35提供的量化系数并行地进行逆量化。下面将要参照图22来描述逆量化并行处理的细节。
在步骤S42中,逆正交变换单元39进行逆正交变换并行处理,在该逆正交变换并行处理中,在侦察伪片单位中对从逆量化单元38提供的正交变换系数并行地进行逆正交变换。下面将参照图23描述逆正交变换并行处理的细节。
在步骤S43中,运动预测/补偿单元47进行帧间预测并行处理,在该帧间预测并行处理中,对下述PU在侦察伪片单位中并行地进行最优帧间预测模式的补偿处理:从预测图像选择单元48向所述PU通知对在最优帧间预测模式中生成的预测图像的选择。下面将参照图24来描述帧间预测并行处理的细节。
在步骤S44中,加法单元40进行加法并行处理,在该加法并行处理中,在侦察伪片单位中并行地将从逆正交变换单元39提供的残差信息与从运动预测/补偿单元47提供的预测图像相加。下面将参照图25来描述相加并行处理的细节。
在步骤S45中,编码装置11在下述PU中进行最优帧内预测模式的帧内预测处理:从预测图像选择单元48向所述PU通知对在最优帧内预测模式中生成的预测图像的选择。下面参照图26来描述帧内预测处理的细节。
在步骤S46中,去块滤波器41进行去块滤波并行处理,在该去块滤波并行处理中,在m个并行处理单位DBK伪片中对从加法单元40提供的解码图像并行地进行去块滤波处理。下面将参照图27来描述去块滤波并行处理。
在步骤S47中,自适应偏移滤波器42进行自适应偏移滤波并行处理,在该自适应偏移滤波并行处理中,对从去块滤波器41提供的图像针对每个LCU在m个并行处理单位SAO伪片中并行地进行自适应偏移滤波处理。下面将参照图28来描述自适应偏移滤波并行处理的细节。
在步骤S48中,自适应环路滤波器43进行自适应环路滤波并行处理,在该自适应环路滤波并行处理中,对从自适应偏移滤波器42提供的图像针对每个LCU在m个并行处理单位ALF伪片中并行地进行自适应环路滤波处理。下面将参照图29来描述自适应环路滤波并行处理的细节。
在步骤S49中,帧存储器44累积从自适应环路滤波器43提供的图像。该图像被作为参考图像通过开关45输出至帧内预测单元46。
在步骤S50中,无损编码单元36对编码信息例如帧内预测模式信息或帧间预测模式信息、运动矢量、以及用于指定参考图像的信息、偏移滤波信息以及滤波系数进行无损编码。
在步骤S51中,无损编码单元36对从量化单元35提供的量化系数进行无损编码。然后,无损编码单元36通过步骤S50的处理基于无损编码的编码信息与无损编码的系数来生成编码数据,并且向累积缓冲器37提供编码数据。
在步骤S52中,累积缓冲器37暂时地累积从无损编码单元36提供的编码数据。
在步骤S53中,速率控制单元49基于在累积缓冲器37中累积的编码数据来控制通过量化单元35操作的量化的速率、使得不发生上溢或下溢。在步骤S54中,累积缓冲器37传输在累积缓冲器37中存储的编码数据。
此外,已经描述了步骤S33使得总是进行帧内预测处理与运动预测/ 补偿处理以简化描述。然而,在实际中,可以根据图片的类型来进行所述处理中的任何一个处理。
图22是用于描述图21的步骤S41的逆量化并行处理的细节的流程图。
在图22的步骤S71中,逆量化单元38将从量化单元35提供的量化系数划分成n(n是2或更大值的整数)个侦察伪片。在步骤S72中,逆量化单元38将计数器值i设置为0。
在步骤S73中,逆量化单元38确定计数器值i是否小于n。在步骤 S73中确定出计数器值i小于n的情况下,在步骤S74中,对在划分的侦察伪片中的第i侦察伪片开始逆量化处理。
在步骤S75中,逆量化单元38将计数器值i增加1。然后,处理返回至步骤S73,重复地进行步骤S73至S75的处理直到计数器值i变成n或更大值(也就是说,直到对所有划分的侦察伪片开始逆量化处理)为止。
另一方面,在步骤S73中确定出计数器值i不小于n的情况下(也就是说,在对所有划分的侦察伪片开始逆量化处理的情况下),处理进行至步骤S76。在步骤S76中,逆量化单元38确定在步骤S74中开始的所有 n个逆量化处理是否结束,以及在确定出不是所有处理都结束的情况下,过程等待所有处理的结束。
在步骤S76中,在确定出在步骤S74中开始的所有n个逆量化处理都结束的情况下,逆量化单元38将作为逆量化处理的结果获得的正交变换系数提供至逆正交变换单元39。然后,处理返回至图21的步骤S41,并且处理进行至步骤S42。
图23是用于描述图21的步骤S42的逆正交变换并行处理的细节的流程图。
图23的步骤S91至步骤S96的处理除了进行逆正交变换处理而不是逆量化处理之外与图22的步骤S71至步骤S76的处理相同,因此将不重复描述。此外,将作为逆正交变换处理的结果获得的残差信息提供至加法单元40。
图24是用于描述图21的步骤S43的帧间预测并行处理的细节的流程图。
图24的步骤S111至步骤S116的处理除了进行最优帧间预测模式的补偿处理而不是逆量化处理之外与图22的步骤S71至步骤S76的处理相同,因此将不重复描述,该最优帧间预测模式的补偿处理是对下述PU在侦察伪片上进行的:向所述PU通知对在最优帧间预测模式中生成的预测图像的选择。此外,将被获得作为补偿处理的结果的预测图像提供至加法单元40。
图25是用于描述图21的步骤S44的加法并行处理的细节的流程图。
图25的步骤S131至步骤S136的处理除了进行加法处理而不是逆量化处理之外与图22的步骤S71至步骤S76的处理相同,因此将不重复描述,该加法处理将从运动预测/补偿单元47提供的在侦察伪片中的PU的预测图像与PU的从逆正交变换单元39提供的残差信息相加。此外,将被作为加法处理的结果获得的解码图像提供至帧存储器44。
图26是用于描述图21的步骤S45的帧内预测处理的细节的流程图。
在图26的步骤S140中,帧内预测单元46将计数器值i设置为0。在步骤S141中,帧内预测单元46确定计数器值i是否小于图片的所有LCU 的数量。在步骤S141中确定出计数器值i小于图片的所有LCU的数量的情况下,处理进行至步骤S142。
在步骤S142中,帧内预测单元46将计数器值j设置为0。在步骤S143 中,帧内预测单元46确定计数器值j是否小于在第i LCU中的所有PU 的数量。在步骤S143中确定出第jPU的最优预测模式是最优帧内预测模式的情况下,在步骤S144中,帧内预测单元46确定是否从预测图像选择单元48通知对在图片中的第i LCU的第j PU选择了最优帧内预测模式的预测图像。
在步骤S144中确定出通知了对关于第j PU的最优帧内预测模式的预测图像的选择的情况下,处理进行至步骤S145。在步骤S145中,帧内预测单元46使用通过开关45从帧存储器44提供的参考图像来对第j PU进行最优帧内预测模式的帧内预测处理。帧内预测单元46将被获得作为结果的第j PU的预测图像提供至加法单元40。
在步骤S146中,加法单元40将从帧内预测单元46提供的第j PU的预测图像与从PU的逆正交变换单元39提供的残差信息相加,并且将作为相加的结果获得的在PU中的解码图像提供至帧存储器44。
在步骤S147中,帧存储器44累积从加法单元40提供的在PU中的解码图像。该图像被作为参考图像通过开关45输出至运动预测/补偿单元 47。
在步骤S147的处理后,或者在步骤S144中确定出没有通知对第j 个PU的最优帧内预测模式的预测图像的选择的情况下,在步骤148的处理中帧内预测单元46将计数器值j增加1。然后,处理返回至步骤S143,进行步骤S143至S148的处理直到计数器值j等于或大于在第i LCU中的所有PU的数量(也就是说,对在第i LCU中的所有PU进行了步骤S144 至步骤S148的处理)为止。
另一方面,在步骤S143中确定出计数器值j不小于在第i LCU中的所有PU的数量的情况下(也就是说,对在第i LCU中的所有PU进行了步骤S144至步骤S148的处理的情况下),处理进行至步骤S149。
在步骤S149中,帧内预测单元46将计数器值i增加1。然后,处理返回至步骤S141,并且进行步骤S143至步骤S148的处理直到计数器值 i等于或大于图片的所有LCU的数量(也就是说,对图片的所有LCU进行了步骤S142至S149的处理)为止。
在步骤S141中确定出计数器值i小于图片的所有LCU的数量的情况下,加法单元40向去块滤波器41提供组成图片的所有LCU的解码图像,并且处理返回至图21的步骤S45。然后,处理进行至步骤S46。
图27是用于描述图21的步骤S46的去块滤波并行处理的细节的流程图。
在图27的步骤S150中,缓冲器80存储从图1的加法单元40提供的解码图像。在步骤S151中,划分单元81在去块伪边界中将在缓冲器80 中存储的图片单位的图像划分成单位DBK伪片。
在步骤S152中,划分单元81确定被分配至n个处理器82-1至处理器82-n的单位DBK伪片的数量“m”。在步骤S153中,划分单元81将计数器值i设置为0。在步骤S154中,划分单元81确定计数器值i是否小于n。
在步骤S154中确定出计数器值i小于n的情况下,划分单元81向处理器82-i提供第i m个单位DBK伪片。然后,在步骤S155中,处理器 82-i对第i m个单位DBK伪片开始去块滤波处理。单位DBK伪片在去块滤波处理之后被提供至缓冲器80并且存储在缓冲器80中。
在步骤S156中,划分单元81将计数器值i增加1,并且处理返回至步骤S154。然后,重复进行步骤S154至步骤S156的处理,直到计数器值i等于或大于n(也就是说,直到在处理器82-1至处理器82-n的所有处理器中都开始了去块滤波处理)为止。
另一方面,在步骤S154中确定出计数器值i不小于n的情况下(也就是说,在处理器82-1至处理器82-n中开始了去块滤波处理的情况下),处理进行至步骤S157。在步骤S157中,输出单元83确定对处理器82-1 至处理器82-n的n个去块滤波处理是否结束。
在步骤S157中确定出对处理器82-1至处理器82-n的n个去块滤波处理没有结束的情况下,输出单元83等待n个去块滤波处理结束。
此外,在步骤S157中确定出n个去块滤波处理结束的情况下,在步骤S158中,输出单元83向自适应偏移滤波器42输出在经受去块滤波处理之后的在缓冲器80中存储的图片单位的图像。然后,处理返回至图21 的步骤S46,并且处理进行至步骤S47。
图28是用于描述图21的步骤S47的自适应偏移滤波并行处理的细节的流程图。此外,在图28中,将描述并行处理单位SAO伪片的边界是在水平方向上扩展的LCU边界63的情况,但是该描述同样地适用于边界不是LCU边界63的其他情况。
在图28的步骤S170中,缓冲器110存储从图1的去块滤波器41提供并且经受去块滤波处理的图像。在步骤S171中,划分单元111在LCU 边界63中将在缓冲器110中存储的图片单位的图像划分成单位SAO伪片。
在步骤S172中,划分单元111确定被分配至处理器113-1至处理器 113-n这n个处理器的单位SAO伪片的数量“m”。在步骤S173中,划分单元111向缓冲器112提供经受去块滤波处理之后的单位SAO伪片的最上行和最下行中的像素的像素值,并且在缓冲器112中存储这些像素值。
在步骤S174中,划分单元111将计数器值i设置为0。在步骤S175 中,划分单元111确定计数器值i是否小于n。
在步骤S175中确定出计数器值i小于n的情况下,划分单元111向处理器113-i提供第i m个单位SAO伪片。然后,在步骤S176中,处理器113-i对第i m个单位SAO伪片每LCU地开始自适应偏移滤波处理。将经受自适应偏移滤波处理之后的单位SAO伪片与每个LCU的偏移滤波信息提供至缓冲器110,并且存储在其中。
在步骤S177中,划分单元111将计数器值i增加1,并且处理返回至步骤S175。然后,重复进行步骤S175至步骤S177的处理直到计数器值 i等于或大于n(也就是说,在处理器113-1至处理器113-n中的所有处理器中都开始了自适应偏移滤波处理)为止。
另一方面,在步骤S175中确定出计数器值i不小于n的情况下(也就是说,处理器113-1至处理器113-n中开始了偏移滤波处理的情况下),处理进行至步骤S178。在步骤S178中,输出单元114确定处理器113-1 至处理器113-n的n个自适应偏移滤波处理是否结束。
在步骤S178中确定出处理器113-1至处理器113-n的n个自适应偏移滤波处理没有结束的情况下,输出单元114等待n个自适应偏移滤波处理结束。
此外,在步骤S178中确定出n个自适应偏移滤波处理结束的情况下,处理进行至步骤S179。在步骤S179中,输出单元114向自适应环路滤波器43输出在经受自适应偏移滤波处理之后的在缓冲器110中存储的图片单位的图像,并且向无损编码单元36输出对应的LCU的偏移滤波信息。然后,处理返回至图21的步骤S47,并且处理进行至步骤S48。
图29是用于描述图21的步骤S48的自适应环路滤波并行处理的细节的流程图。
图29的步骤S190至步骤S198的处理除了使用边界ALF伪边界而不是边界去块伪边界、使用单位ALF伪片而不是单位DBK伪片、使用自适应环路滤波处理而不是去块滤波处理,以及向无损编码单元36输出滤波系数之外与图27的步骤S150至步骤S158的处理相同,因此将不重复描述。
如上所述,编码装置11可以以预定处理单位对解码图像并行地进行去块滤波处理、自适应偏移处理以及自适应环路滤波处理。此外,编码装置11可以在侦察伪片单位中并行地进行逆量化、逆正交变换、加法处理以及补偿处理。因此,可以在不考虑片和块的设置的情况下在编码时高速地进行解码。结果,可以高速地进行编码。
<解码装置的第一实施方式的示例性配置>
图30是示出了解码装置的第一实施方式的示例性配置的框图,该解码装置作为应用本技术且对从图1的编码装置11传输的编码流进行解码的图像处理装置。
图30的解码装置160包括累积缓冲器161、无损解码单元162、逆量化单元163、逆正交变换单元164、加法单元165、去块滤波器166、自适应偏移滤波器167、自适应环路滤波器168、画面重排缓冲器169、D/A 转换器170、帧存储器171,开关172、帧内预测单元173、运动补偿单元 174以及开关175。
解码装置160的累积缓冲器161接收从图1的编码装置11传输的编码数据,并且在其中累积编码数据。累积缓冲器161向无损解码单元162 提供累积的编码数据。
无损解码单元162通过对来自累积缓冲器161的编码数据进行无损解码例如可变长度解码与算术解码来获取量化系数与编码信息。无损解码单元162向逆量化单元163提供量化系数。此外,无损解码单元162向帧内预测单元173提供作为编码信息的帧内预测模式信息等,以及向运动补偿单元174提供运动矢量、帧间预测模式信息、用于指定参考图像的信息等。
此外,无损解码单元162向开关175提供作为编码信息的帧内预测模式信息或帧间预测模式信息。无损解码单元162向自适应偏移滤波器167 提供作为编码信息的偏移滤波信息,以及向自适应环路滤波器168提供滤波系数。
逆量化单元163、逆正交变换单元164、加法单元165、去块滤波器 166、自适应偏移滤波器167、自适应环路滤波器168、帧存储器171、开关172、帧内预测单元173以及运动补偿单元174进行与图1的逆量化单元38、逆正交变换单元39、加法单元40、去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、帧存储器44、开关45、帧内预测单元 46以及运动预测/补偿单元47的处理相同的处理,使得图像被解码。
特别地,逆量化单元163在单位侦察伪片中对来自无损解码单元162 的量化系数并行地进行逆量化,并且将作为结果获得的正交变换系数提供至逆正交变换单元164。
逆正交变换单元164在单位侦察伪片中对来自逆量化单元163的正交变换系数并行地进行逆正交变换。逆正交变换单元164将作为逆正交变换的结果获得的残差信息提供至加法单元165。
加法单元165用作解码单元,以及通过将从逆正交变换单元164提供的作为解码目标图像的残差信息与通过开关175从运动补偿单元174提供的预测图像相加,来在单位侦察伪片中局部地进行解码。然后,加法单元 165向帧存储器171提供局部解码的图像。
此外,加法单元165通过将通过开关175从帧内预测单元173提供的 PU的预测图像与PU的残差信息相加来局部地进行解码。然后,加法单元165向帧存储器171提供局部解码的图像。此外,加法单元165向去块滤波器166提供图片单位的完全解码图像。
去块滤波器166对从加法单元165提供的图像并行地在m个并行处理单位DBK伪片中进行去块滤波处理,并且将作为结果获得的图像提供至自适应偏移滤波器167。
自适应偏移滤波器167基于从无损解码单元162提供的每个LCU的偏移滤波信息来在m个并行处理单位SAO伪片中对经受去块滤波器166 的去块滤波处理之后的每个LCU的图像并行地进行自适应偏移滤波处理。自适应偏移滤波器167向自适应环路滤波器168提供经受自适应偏移滤波处理之后的图像。
自适应环路滤波器168使用从无损解码单元162提供的每个LCU的滤波系数来在m个并行处理单位ALF伪片中对从自适应偏移滤波器167 提供的每个LCU的图像并行地进行自适应环路滤波处理。自适应环路滤波器168将作为结果获得的图像提供至帧存储器171与画面重排缓冲器 169。
画面重排缓冲器169以帧单位存储从自适应环路滤波器168提供的图像。画面重排缓冲器169将以编码顺序存储的帧单位的图像重排成以原始显示顺序排列的图像,并且将该图像提供至D/A转换器170。
D/A转换器170对从画面重排缓冲器169提供的帧单位的图像进行 D/A转换,并且输出经转换的图像作为输出信号。
帧存储器171累积从自适应环路滤波器168提供的图像与从加法单元 165提供的图像。在帧存储器171中累积并且从自适应环路滤波器168提供的图像被读取为参考图像,并且通过开关172被提供至运动补偿单元 174。此外,在帧存储器171中累积并且从加法单元165提供的图像被读取为参考图像,并且通过开关172被提供至帧内预测单元173。
帧内预测单元173使用通过开关172从帧存储器171读取的参考图像来在PU中进行通过从无损解码单元162提供的帧内预测模式信息表示的最优帧内预测模式的帧内预测处理。帧内预测单元173将作为结果生成的 PU的预测图像提供至开关175。
运动补偿单元174通过开关172从帧存储器171并行地在单位侦察伪片中读取由从无损解码单元162提供的用于指定参考图像的信息所指定的参考图像。运动补偿单元174使用从无损解码单元162提供的运动矢量与参考图像,来在单位侦察伪片中并行地进行从无损解码单元162提供的帧间预测模式信息表示的最优帧间预测模式的运动补偿处理。运动补偿单元174将作为结果生成的图片单位的预测图像提供至开关175。
在从无损解码单元162提供帧内预测模式信息的情况下,开关175 向加法单元165提供从帧内预测单元173提供的PU的预测图像。另一方面,在从无损解码单元162提供帧间预测模式信息的情况下,开关175 向加法单元165提供从运动补偿单元174提供的图片单位的预测图像。
<解码装置的处理的描述>
图31是用于描述图30的解码装置160的解码处理的流程图。解码处理在帧单位中进行。
在图31的步骤S231中,解码装置160的累积缓冲器161接收从图1 的编码装置11传输的帧单位的编码数据并且累积编码数据。累积缓冲器 161向无损解码单元162提供累积的编码数据。
在步骤S232中,无损解码单元162对来自累积缓冲器161的编码数据进行无损解码,并且获取量化系数与编码信息。无损解码单元162向逆量化单元163提供量化系数。此外,无损解码单元162向帧内预测单元 173提供作为编码信息的帧内预测模式信息等,以及向运动补偿单元174 提供运动矢量、帧间预测模式信息、用于指定参考图像的信息等。
此外,无损解码单元162向开关175提供作为编码信息的帧内预测模式信息或帧间预测模式信息。无损解码单元162向自适应偏移滤波器167 提供作为编码信息的偏移滤波信息,以及向自适应环路滤波器168提供滤波系数。
在步骤S233中,逆量化单元163对来自无损解码单元162的量化系数进行与图22的逆量化并行处理相同的逆量化并行处理。将作为逆量化并行处理的结果获得的正交变换系数提供至逆正交变换单元164。
在步骤S234中,逆正交变换单元164对来自逆量化单元163的正交变换系数进行与图23的逆正交变换并行处理相同的逆正交变换并行处理。将作为逆正交变换并行处理的结果获得的残差信息提供至加法单元 165。
在步骤S235中,运动预测单元174进行与图24的帧间预测并行处理相同的帧间预测并行处理。此外,在帧间预测并行处理中,对与从无损解码单元162提供的帧间预测模式信息对应的PU、而不是对其通知在最优帧间预测模式中生成的预测图像的选择的PU,进行最优帧间预测模式的补偿处理。
在步骤S236中,加法单元165对从逆正交变换单元164提供的残差信息与通过开关175从运动补偿单元174提供的预测图像进行与图25的加法并行处理相同的加法并行处理。将作为加法并行处理的结果获得的图像提供至帧存储器171。
在步骤S237中,帧内预测单元173进行与图26的帧内预测处理相同的帧内预测处理。此外,在帧内预测处理中,对与从无损解码单元162 提供的帧内预测模式信息对应的PU、而不是对其通知在最优帧内预测模式中生成的预测图像的选择的PU,进行最优帧内预测模式的帧内预测处理。
在步骤S238中,去块滤波器166对从加法单元165提供的图像进行图27的去块滤波并行处理。将作为去块滤波并行处理的结果获得的图片单位的图像提供至自适应偏移滤波器167。
在步骤S239中,自适应偏移滤波器167基于从无损解码单元162提供的每个LCU的偏移滤波信息,对从去块滤波器166提供的图像进行与图28的自适应偏移滤波并行处理相同的自适应偏移滤波并行处理。将作为自适应偏移滤波并行处理的结果获得的图片单位的图像提供至自适应环路滤波器168。
在步骤S240中,自适应环路滤波器168使用从无损解码单元162提供的滤波系数对从自适应偏移滤波器167提供的图像进行与图29的自适应环路滤波并行处理相同的自适应环路滤波并行处理。将作为自适应环路滤波处理的结果获得的图片单位的图像提供至帧存储器171与画面重排缓冲器169。
在步骤S241中,帧存储器171累积从自适应环路滤波器168提供的图像。在帧存储器171中累积并且从自适应环路滤波器168提供的图像被读取为参考图像,并且通过开关172被提供至运动补偿单元174。此外,在帧存储器171中累积并且从加法单元165提供的图像被读取为参考图像,并且通过开关172被提供至帧内预测单元173。
在步骤S242中,画面重排缓冲器169在帧单位中存储从自适应环路滤波器168提供的图像,将以编码顺序存储的帧单位的图像重排成以原始显示顺序排列,并且将该图像提供至D/A转换器170。
在步骤S243中,D/A转换器170对从画面重排缓冲器169提供的帧单位的图像进行D/A转换,并且输出经转换的图像作为输出信号。然后,处理结束。
如上所述,解码装置160以预定处理单位对解码图像并行地进行去块滤波处理、自适应偏移处理以及自适应环路滤波处理。此外,解码装置 160可以在单位侦察伪片中并行地进行逆量化、逆正交变换、加法处理以及补偿处理。因此,可以在不考虑片与块的设置的情况下高速地进行解码。
<第二实施方式>
<编码装置的第二实施方式的示例性配置>
图32是示出了作为应用本技术的图像处理装置的编码装置的第二实施方式的示例性配置的框图。
在图32中示出的配置中,将用相同的附图标记表示与图1的配置相同的配置。将会适当地省略重复的描述。
图32的编码装置190的配置与图1的编码装置11的配置不同之处在于提供了逆量化单元191、逆正交变换单元192、加法单元193以及运动预测/补偿单元194,而不是逆量化单元38、逆正交变换单元39、加法单元40以及运动预测/补偿单元47,以及不同之处在于提供了滤波处理单元 195而不是去块滤波器41、自适应偏移滤波器42以及自适应环路滤波器43。
编码装置190在单位侦察伪片中共同地进行逆量化、逆正交变换、加法处理以及补偿处理,以及以预定处理单位共同地进行去块滤波处理、自适应偏移滤波处理以及自适应环路滤波处理。
特别地,编码装置190的逆量化单元191在单位侦察伪片中对由量化单元35量化的系数并行地进行逆量化,以及将作为结果获得的单位侦察伪片的正交变换系数提供至逆正交变换单元192。
逆正交变换单元192对从逆量化单元1提供的单位侦察伪片的正交变换系数并行地进行逆正交变换,以及将作为结果获得的单位侦察伪片的残差信息提供至加法单元193。
加法单元193用作为解码单元,以及在单位侦察伪片中并行地进行将从运动预测/补偿单元194提供的单位侦察伪片的预测图像与从逆正交变换单元192提供的单位侦察伪片的残差信息相加的加法处理。加法单元 193将作为加法处理的结果获得的图片单位的图像提供至帧存储器44。
此外,与图1的加法单元40类似,加法单元193通过进行将从帧内预测单元46提供的PU的预测图像与在该PU中的残差信息相加的加法处理来局部地进行解码。加法单元193将作为结果获得的PU的局部解码图像提供至帧存储器44。此外,加法单元193向滤波处理单元195提供图片单位的完全解码图像。
滤波处理单元195对从加法单元193提供的解码图像并行地在m个公共处理单位中进行去块滤波处理、自适应偏移滤波处理以及自适应环路滤波处理。当最小单位DBK伪片Min的整数倍与最小单位ALF伪片Min 的整数倍匹配时,公共处理单位是最小单位ALF伪片Min的整数倍的单位(例如,最小单位ALF伪片Min)。
滤波处理单元195将作为自适应环路滤波处理的结果获得的图像提供至帧存储器44。此外,滤波处理单元195向无损编码单元36提供每个 LCU的偏移滤波信息和滤波系数。
与图1的运动预测/补偿单元47类似,运动预测/补偿单元194对作为候选者的所有帧间预测模式进行运动预测/补偿处理,以及生成预测图像并且确定最优帧间预测模式。然后,与运动预测/补偿单元47类似,运动预测/补偿单元194向预测图像选择单元48提供最优帧间预测模式的代价函数值与对应的预测图像。
与运动预测/补偿单元47类似,在从预测图像选择单元48通知在最优帧间预测模式中生成的预测图像的选择的情况下,运动预测/补偿单元 194向无损编码单元36输出帧间预测模式信息、对应的运动矢量、用于指定参考图像的信息等。此外,运动预测/补偿单元194基于对应的运动矢量对下述PU在单位侦察伪片中并行地进行关于由用于指定参考图像的信息所指定的参考图像的最优帧间预测模式的补偿处理:根据预测图像选择单元48来向该PU通知对在最优帧间预测模式中生成的预测图像的选择。运动预测/补偿单元194将作为结果获得的单位侦察伪片的预测图像提供至加法单元193。
<滤波处理单元的示例性配置>
图33是示出了图32的滤波处理单元195的示例性配置的框图。
图33的滤波处理单元195包括:缓冲器210、划分单元211、处理器 212-1至处理器212-n、缓冲器213以及输出单元214。
滤波处理单元195的缓冲器210以图片单位存储从图32的加法单元 193提供的完全解码图像。此外,缓冲器210用经受自适应环路滤波处理之后的、从处理器212-1至处理器212-n提供的图像来更新解码图像。此外,缓冲器210与经受自适应环路滤波处理之后的图像关联地存储从处理器212-1至处理器212-n提供的每个LCU的偏移滤波信息和滤波系数。
划分单元211将在缓冲器210中存储的图像划分成n×m个公共处理单位。划分单元211按照m片向处理器212-1至处理器212-n提供以n×m 划分的公共处理单位的图像。
处理器212-1至处理器212-n均对从划分单元211提供的公共处理单位的图像进行去块滤波处理。处理器212-1至处理器212-n均向缓冲器213 提供经受去块滤波处理之后的公共处理单位的图像中的公共处理单位的边界上的像素的像素值,并且在缓冲器213中存储像素值。
然后,处理器212-1至处理器212-n均使用在缓冲器213中存储的像素值来对经受去块滤波处理之后的公共处理单位的图像进行自适应偏移滤波处理。
在下文中,处理器212-1至处理器212-n均对经受自适应偏移滤波处理之后的公共处理单位的图像进行自适应环路滤波处理。处理器212-1至处理器212-n均向缓冲器210提供经受自适应环路滤波处理之后的每个 LCU的图像、偏移滤波信息以及滤波系数。
缓冲器213存储从处理器212-1至处理器212-n提供的像素值。输出单元214向图32的帧存储器44提供在缓冲器210中存储的图片单位的图像,并且向无损编码单元36提供每个LCU的偏移滤波信息和滤波系数。
<编码装置的处理的描述>
图34与图35是用于描述图32的编码装置190的编码处理的流程图。
图34的步骤S261至步骤S270的处理与图20的步骤S31至步骤S40 的处理相同,以及因此将不重复对其的描述。例如,在帧单位中进行编码处理。
在图35的步骤S271中,编码装置190在单位侦察伪片中并行地进行共同执行逆量化、逆正交变换、加法处理以及补偿处理的帧间并行处理。下面将参照图36来描述帧间并行处理的细节。
在步骤S272中,帧内预测单元46进行图26的帧内预测处理。在步骤S273中,编码装置190在m个公共并行处理单位中并行地进行共同执行去块滤波处理、自适应偏移滤波处理以及自适应环路滤波处理的滤波并行处理。下面将参照图37来描述滤波并行处理的细节。
步骤S274至步骤S279的处理与图21的步骤S49至步骤S54的处理相同,因此将不重复对其的描述。
图36是用于描述图35的步骤S271的帧间并行处理的细节的流程图。
在图36的步骤S301中,逆量化单元191在单位侦察伪片中划分从量化单元35提供的系数。在步骤S302中,逆量化单元191将计数器值i设置为0。在步骤S303中,确定计数器值i是否小于片的数量n。
在步骤S303中确定出计数器值i小于片的数量n的情况下,在步骤 S304中,逆量化单元191对第i单位侦察伪片开始逆量化处理。然后,在逆量化处理结束后,逆正交变换单元192对第i单位侦察伪片开始逆正交变换处理。然后,在逆正交变换处理结束后,运动预测/补偿单元194在第i单位侦察伪片中对下述PU开始帧间预测处理:从预测图像选择单元 48向该PU通知在最优帧间预测模式中生成的预测图像的选择。在帧间预测处理结束后,加法单元193对第i单位侦察伪片开始加法处理。
在步骤S305中,逆量化单元191将计数器值i增加1,以及处理返回至步骤S303。然后,重复进行步骤S303至步骤S305的处理,直到计数器值i为n或比n大为止。
在步骤S303中确定出计数器值i不小于n的情况下(也就是说,在对所有n个单位侦察伪片开始了步骤S304的处理的情况下),处理进行至步骤S306。
在步骤S306中,编码装置190确定所有n个单位侦察伪片的步骤S304 的处理是否结束,以及在确定出处理没有结束的情况下,过程等待处理的结束。
在步骤S306中确定出所有n个单位侦察伪片的步骤S304的处理都结束的情况下,加法单元193将作为加法处理的结果获得的图片单位的局部解码图像提供至帧存储器44。然后,处理返回至图35的步骤S271,并且处理进行至步骤S272。
图37是用于描述图35的步骤S273的滤波并行处理的细节的流程图。
在图37的步骤S320中,滤波处理单元195的缓冲器210存储从图 32的加法单元193提供的图片单位的解码图像。在步骤S321中,划分单元211以公共处理单位来划分在缓冲器210中存储的图片单位的图像。例如,在公共处理单位是最小单位ALF伪片的情况下,滤波处理单元195 以边界ALF伪边界来划分图片单位的图像。
在步骤S322中,划分单元211确定分配至处理器212-1至处理器212-n 这n个处理器的公共处理单位的数量“m”。在步骤S323中,划分单元 211将计数器值i、j以及k设置为0。
在步骤S324中,划分单元211确定计数器值i是否小于n。在步骤 S324中确定出计数器值i小于n的情况下,划分单元211向处理器212-i 提供第i m个公共处理单位的图像,并且处理进行至步骤S325。
在步骤S325中,处理器212-i对第i m个公共处理单位进行去块滤波处理,以及开始在缓冲器213中存储公共处理单位的最上行和最下行中的像素的像素值的处理。
在步骤S326中,划分单元211将计数器值i增加1,以及处理返回至步骤S324。然后,重复进行步骤S324至步骤S326的处理直到计数器值 i为n或大于n为止。
另一方面,在步骤S324中确定出计数器值i不小于n的情况下(也就是说,在对在图片中的所有公共处理单位开始了步骤S325的处理的情况下),处理进行至步骤S327。
在步骤S327中,划分单元211确定计数器值j是否小于n。在步骤 S327中确定出计数器值j小于n的情况下,处理进行至步骤S328。
在步骤S328中,处理器212-j确定对所有第j m个公共处理单位与在该m个公共处理单位上面和下面的公共处理单位的去块滤波处理是否都结束。
在步骤S328中确定出对所有第j m个公共处理单位与在该m个公共处理单位上面和下面的公共处理单位的去块滤波处理没有结束的情况下,过程等待处理的结束。
在步骤S328中确定出对所有第j m个公共处理单位与在该m个公共处理单位上面和下面的公共处理单位的去块滤波处理都结束的情况下,处理进行至步骤S329。
在步骤S329中,处理器212-j使用在缓冲器213中存储的像素值对第j m个公共处理单位开始自适应偏移滤波处理。在步骤S330中,处理器212-j将计数器值j增加1,并且处理返回至步骤S327。然后,重复进行步骤S327至步骤S330的处理直到计数器值j为n或大于n为止。
在步骤S327中确定出计数器值j不小于n的情况下(也就是说,在对图片中的所有公共处理单位都开始了步骤S329的处理的情况下),处理进行至步骤S331。
在步骤S331中,确定计数器值k是否小于n。在步骤S331中确定出计数器值k小于n的情况下,处理进行至步骤S332。
在步骤S332中,处理器212-k确定对所有第k m个公共处理单位的自适应偏移滤波处理是否结束,以及确定出处理没有结束的情况下,过程等待该处理的结束。
在步骤S332中确定出对所有第k m个公共处理单位的自适应偏移滤波处理结束的情况下,处理进行至步骤S333。在步骤S333中,处理器212-k 对第k m个公共处理单位开始自适应环路滤波处理。
在步骤S334中,处理器212-k将计数器值k增加1,并且处理进行至步骤S331。然后,重复进行步骤S331至步骤S334的处理,直到计数器值k为n或大于n为止。
在步骤S331中确定出计数器值k不小于n的情况下(也就是说,在对图片中的所有公共处理单位开始了步骤S333的处理的情况下),处理进行至步骤S335。在步骤S335中,输出单元214确定由处理器212-1至处理器212-n这n个处理器进行的自适应环路滤波处理是否结束,以及在确定出处理没有结束的情况下,过程等待处理的结束。
在步骤S331中确定出由处理器212-1至处理器212-n这n个处理器进行的自适应环路滤波处理结束的情况下,输出单元214向帧存储器44 提供在缓冲器210中存储的、经受自适应环路滤波处理之后的图片单位的图像。然后,处理返回至图35的步骤S273,并且处理进行至步骤S274。
如上所述,编码装置190在m个公共并行处理单位中对解码图像并行地共同进行去块滤波处理、自适应偏移处理以及自适应环路滤波处理。此外,编码装置190在单位侦察伪片中并行地共同进行逆量化、逆正交变换、加法处理和补偿处理。
因此,与编码装置11比较可以消除在并行处理单位中进行划分的处理。此外,可以在不等待对整个图片的每个处理都结束的情况下进行下一处理。因此,可以更高速地进行编码。
<解码装置的第二实施方式的示例性配置>
图38是示出了作为应用本技术的对从图32的编码装置190传输的编码流进行解码的图像处理装置的解码装置的第二实施方式的示例性配置的框图。
在图38示出的配置中,将用相同的附图标记表示与图30的配置相同的配置。将适当地省略重复的描述。
图38的解码装置230的配置与图30的解码装置160的配置的不同之处在于提供了逆量化单元231、逆正交变换单元232、加法单元233、运动预测/补偿单元234,而不是逆量化单元163、逆正交变换单元164、加法单元165、运动预测/补偿单元174,不同之处还在于提供了滤波处理单元235而不是去块滤波器166、自适应偏移滤波器167以及自适应环路滤波器168。
解码装置230在单位侦察伪片中共同地进行逆量化、逆正交变换、加法处理与补偿处理,以及在m个公共处理单位中共同进行去块滤波处理、自适应偏移滤波处理以及自适应环路滤波处理。
特别地,解码装置230的逆量化单元231在单位侦察伪片中对从无损解码单元162提供的量化系数并行地进行逆量化,并且将作为结果获得的单位侦察伪片的正交变换系数提供至逆正交变换单元232。
逆正交变换单元232在单位侦察伪片中对从逆量化单元231提供的单位侦察伪片的正交变换系数并行地进行逆正交变换。逆正交变换单元232 将作为逆正交变换的结果获得的单位侦察伪片的残差信息提供至加法单元233。
加法单元233用作解码单元,且通过将从逆正交变换单元232提供的作为解码目标图像的单位侦察伪片的残差信息与通过开关175从运动补偿单元234提供的单位侦察伪片的预测图像相加来在单位侦察伪片中局部地进行解码。然后,加法单元233向帧存储器171提供图片单位的局部解码图像。
此外,与图30的加法单元165类似,加法单元233通过将通过开关 175从帧内预测单元173提供的PU的预测图像与PU的残差信息相加来局部地进行解码。然后,与加法单元165类似,加法单元233向帧存储器 171提供图片单位的局部解码图像。此外,加法单元233向滤波处理单元 235提供图片单位的完全解码图像。
运动补偿单元234在单位侦察伪片中并行地通过开关172从帧存储器 171读取通过用于指定从无损解码单元162提供的参考图像的信息指定的参考图像。运动补偿单元234使用从无损解码单元162提供的运动矢量与参考图像来在单位侦察伪片中进行通过从无损解码单元162提供的帧间预测模式信息表示的最优帧间预测模式的运动补偿处理。运动补偿单元 234将作为结果生成的单位侦察伪片的预测图像提供至开关175。
与图32的滤波处理单元195类似地配置滤波处理单元235。滤波处理单元235对从加法单元233提供的图像并行地在m个公共处理单位中进行下述处理:去块滤波处理、使用从无损解码单元162提供的偏移滤波信息的自适应偏移滤波处理,以及使用滤波系数的自适应环路滤波处理。滤波处理单元235将作为结果获得的图片单位的图像提供至帧存储器171 与画面重排缓冲器169。
<解码装置的处理的描述>
图39是用于描述图38的解码装置230的解码处理的流程图。
图39的步骤S351和步骤S352的处理与图31的步骤S231和步骤S232 的处理相同,以及将不重复描述。
在步骤S353中,解码装置230进行与图36的帧间并行处理相同的帧间并行处理。在步骤S354中,帧内预测单元173进行与图31的步骤S237 的处理类似的帧内预测处理。在步骤S355中,滤波处理单元235进行与图37的滤波并行处理相同的滤波并行处理。
步骤S356至步骤S358的处理与图31的步骤S241至步骤S243的处理相同,以及因此将不重复描述。
如上所述,解码装置230可以对解码图像并行地以预定处理单位共同进行去块滤波处理、自适应偏移处理与自适应环路滤波处理。此外,解码装置230可以在单位侦察伪片中并行地共同进行逆量化、逆正交变换、加法处理以及补偿处理。因此,与解码装置160比较可以消除在并行处理单位中进行划分的处理。此外,可以在不等待对整个图片的每个处理都结束的情况下进行下一处理。因此,可以较高速地进行解码。
<第三实施方式>
<应用本技术的计算机的描述>
上面描述的一系列处理可以通过硬件进行,或者可以通过软件进行。在一系列处理通过软件进行的情况下,组成软件的程序安装在计算机中。在此处,计算机包括安装在专用硬件中的计算机和通过安装各种类型程序来执行各种类型的功能的计算机(例如,通用目的的个人计算机)。
图40是示出了使用程序进行上述一系列处理的计算机的示例性硬件配置的框图。
在计算机中,CPU(中央处理单元)601、ROM(只读存储器)602、以及RAM(随机存取存储器)603通过总线604互相连接。
输入/输出接口605还连接到总线604。输入单元606、输出单元607、存储单元608、通信单元609、驱动器610连接到输入/输出接口605。
输入单元606包括键盘、鼠标、麦克风等。输出单元607包括显示器、扬声器等。存储单元608包括硬盘、非易失性存储器等。通信单元609 包括网络接口等。驱动器610驱动可移除介质611例如磁盘、光盘、磁光盘或半导体存储器。
在具有如上所述的配置的计算机中,例如,CPU 601通过将在存储单元608中存储的程序经由输入/输出接口605与总线604加载到RAM 603 中并且执行该程序来进行上述一系列处理。
例如,由计算机(CPU 601)执行的程序可以通过可移除介质611例如在其中记录的包介质来提供。此外,程序可以通过有线传输介质或无线传输介质例如局域网、因特网或数字卫星广播来提供。
在计算机中,程序可以通过在驱动器610中安装可移除介质611经由输入/输出接口605来安装在存储单元608中。此外,程序可以通过通信单元609经由有线传输介质或无线传输介质来接收,以及安装在存储单元 608中。此外,程序可以预先安装在ROM 602或者存储单元608中。
此外,由计算机执行的程序可以是使处理依照在本说明书中描述的顺序以时间序列来进行的程序,或者可以是使处理并行地进行或者按需要的定时(例如,在调用时)进行的程序。
此外,在通过软件进行上述一系列处理的情况下,使用线程来进行并行处理。
此外,本技术的实施方式不限于上面提到的实施方式,以及可以在不背离本技术精神的范围内做出各种改变。
例如,本技术可以通过下述云计算系统来配置:在该云计算系统中,一个功能通过网络分布在多个装置中并且处理被共享。
此外,在上面提到的流程图中描述的各个步骤可以通过一个装置来进行,或者可以在多个分布式装置中进行。
此外,在一个步骤中包括多个处理的情况下,在一个步骤中包括的多个处理可以通过一个装置来进行,或者可以通过多个分布式装置来进行。
此外,可以提供在第一实施方式中的逆量化单元38、逆正交变换单元39、加法单元40、运动预测/补偿单元47、逆量化单元163、逆正交变换单元164、加法单元165以及运动补偿单元174,而不是第二实施方式的逆量化单元191、逆正交变换单元192、加法单元193、运动预测/补偿单元194、逆量化单元231、逆正交变换单元232、加法单元233以及运动补偿单元234。此外,可以提供在第二实施方式中的滤波处理单元195 与滤波处理单元235,而不是第一实施方式的去块滤波器41、自适应偏移滤波器42、自适应环路滤波器43、去块滤波器166、自适应偏移滤波器 167以及自适应环路滤波器168。
此外,本技术可以被配置为如下。
(1)一种图像处理装置,包括:
解码单元,所述解码单元被配置成对编码数据进行解码并且生成图像;以及
滤波处理单元,所述滤波处理单元被配置成以不考虑片的处理单位对由所述解码单元生成的所述图像并行地进行滤波处理。
(2)根据(1)所述的图像处理装置,其中,
所述滤波处理是去块滤波处理,以及
在所述处理单位的水平方向上的像素的数量或者在所述处理单元的垂直方向上的像素的数量是8的倍数。
(3)根据(2)所述的图像处理装置,其中,
在所述处理单位的水平方向上的像素或者在所述处理单位的垂直方向上的像素包括以最大编码单元LCU的边界为中心的四个像素。
(4)根据(2)或(3)所述的图像处理装置,其中,
在所述图像是YUV420的亮度图像的情况下,在所述处理单位的水平方向上的像素的数量或者在所述处理单位的垂直方向上的像素的数量是8的倍数,以及
在所述图像是YUV420的彩色图像的情况下,在所述处理单位的水平方向上的像素的数量或者在所述处理单位的垂直方向上的像素的数量是4的倍数。
(5)根据(2)或(3)所述的图像处理装置,其中,
在所述图像是YUV422的彩色图像的情况下,在所述处理单位的水平方向上的像素的数量是4的倍数,以及在垂直方向上的像素的数量是8 的倍数。
(6)根据(2)或(3)所述的图像处理装置,其中,
在所述图像是YUV444的彩色图像的情况下,在所述处理单位的水平方向上的像素的数量或者在所述处理单位的垂直方向上的像素的数量是8的倍数。
(7)根据(1)所述的图像处理装置,其中,
所述滤波处理单元包括:
存储单元,所述存储单元被配置成存储在所述图像的所述处理单位的边界上的像素的像素值,以及
处理器,所述处理器被配置成使用由所述存储单元存储的所述像素值以所述处理单位对所述图像并行地进行自适应偏移滤波处理。
(8)根据(7)所述的图像处理装置,其中,
所述处理单位是最大编码单元LCU。
(9)根据(1)所述的图像处理装置,其中,
所述滤波处理包括去块滤波处理与自适应偏移滤波处理,以及
在所述处理单位的水平方向上的像素的数量或者在所述处理单位的垂直方向上的像素的数量是8的倍数。
(10)根据(9)所述的图像处理装置,其中,
在所述图像是YUV420的亮度图像的情况下,在所述处理单位的水平方向上的像素的数量或者在所述处理单位的垂直方向上的像素的数量是8的倍数,以及
在所述图像是YUV420的彩色图像的情况下,在所述处理单位的水平方向上的像素的数量或者在所述处理单位的垂直方向上的像素的数量是4的倍数。
(11)根据(9)所述的图像处理装置,其中,
在所述图像是YUV422的彩色图像的情况下,在所述处理单位的水平方向上的像素的数量是4的倍数,以及在垂直方向上的像素的数量是8 的倍数。
(12)根据(9)所述的图像处理装置,其中,
在所述图像是YUV444的彩色图像的情况下,在所述处理单位的水平方向上的像素的数量或者在所述处理单位的垂直方向上的像素的数量是8的倍数。
(13)一种使图像处理装置进行下述步骤的图像处理方法:
解码步骤,对编码数据进行解码并且生成图像;以及
滤波处理步骤,以不考虑片的处理单位对在所述解码步骤中生成的所述图像并行地进行滤波处理。
(14)一种程序,所述程序使计算机作为以下单元工作:
解码单元,所述解码单元对编码数据进行解码并且生成图像;以及
滤波处理单元,所述滤波处理单元以不考虑片的处理单位对由所述解码单元生成的所述图像并行地进行滤波处理。
(15)一种图像处理装置,包括:
解码单元,所述解码单元被配置成对编码数据进行解码并且生成图像;以及
滤波处理单元,所述滤波处理单元被配置成以不考虑块的处理单位对由所述解码单元生成的所述图像并行地进行滤波处理。
附图标记列表
11 编码装置
40 加法单元
41 去块滤波器
42 自适应偏移滤波器
43 自适应环路滤波器
112 缓冲器
113-1至113-n 处理器
160 解码装置
165 加法单元
190 编码装置
193 加法单元
195 滤波处理单元
230 解码装置
233 加法单元

Claims (16)

1.一种图像处理装置,包括:
滤波处理单元,所述滤波处理单元在通过对编码数据进行解码而生成的图像上设置与并行编码处理单位不同的新的处理单位;以及
对所述新的处理单位的每个并行地进行滤波处理,
其中,所述新的处理单位的水平方向或垂直方向包括以最大编码单元LCU的边界为中心的至少四个像素。
2.根据权利要求1所述的图像处理装置,
所述滤波处理单元包括:
存储单元,所述存储单元存储所述图像的所述新的处理单位的边界上的像素的像素值;以及,
处理器,所述处理器通过使用由所述存储单元存储的所述像素值以所述新的处理单位对所述图像并行地进行滤波处理。
3.根据权利要求1或2所述的图像处理装置,
所述滤波处理是去块滤波处理,以及
在所述新的处理单位的所述水平方向上的像素的数量或者在所述新的处理单位的所述垂直方向上的像素的数量是8的倍数。
4.根据权利要求1或2所述的图像处理装置,
所述滤波处理是采样自适应偏移。
5.根据权利要求3所述的图像处理装置,其中,
在所述新的处理单位的所述水平方向或者所述垂直方向的至少一个上的多个像素包括以最大编码单元(LCU)的边界为所述多个像素的中心的四个像素。
6.根据权利要求3所述的图像处理装置,其中,
基于作为YUV420的亮度图像的图像,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是8的倍数,以及
基于作为YUV420的彩色图像的图像,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是4的倍数。
7.根据权利要求3所述的图像处理装置,其中,
基于作为YUV422的彩色图像的图像,在所述新的处理单位的所述水平方向上的像素的第二数量是4的倍数,以及
基于作为YUV422的彩色图像的图像,在所述新的处理单位的所述垂直方向上的像素的第三数量是8的倍数。
8.根据权利要求3所述的图像处理装置,其中,
基于作为YUV444的彩色图像的图像,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是8的倍数。
9.根据权利要求3所述的图像处理装置,
其中,所述滤波处理包括去块滤波处理与自适应偏移滤波处理,以及其中,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是8的倍数。
10.根据权利要求4所述的图像处理装置,其中,
在所述新的处理单位的所述水平方向或者所述垂直方向的至少一个上的多个像素包括以最大编码单元(LCU)的边界为所述多个像素的中心的四个像素。
11.根据权利要求4所述的图像处理装置,其中,
基于作为YUV420的亮度图像的图像,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是8的倍数,以及
基于作为YUV420的彩色图像的图像,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是4的倍数。
12.根据权利要求4所述的图像处理装置,其中,
基于作为YUV422的彩色图像的图像,在所述新的处理单位的所述水平方向上的像素的第二数量是4的倍数,以及
基于作为YUV422的彩色图像的图像,在所述新的处理单位的所述垂直方向上的像素的第三数量是8的倍数。
13.根据权利要求4所述的图像处理装置,其中,
基于作为YUV444的彩色图像的图像,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是8的倍数。
14.根据权利要求4所述的图像处理装置,
其中,所述滤波处理包括去块滤波处理与自适应偏移滤波处理,以及其中,在所述新的处理单位的所述水平方向或所述垂直方向的至少一个上的像素的第一数量是8的倍数。
15.一种图像处理方法,包括:
在图像处理装置中,
对编码数据进行解码并且生成图像;
存储所述生成的图像的处理单位的像素的像素值,其中所述像素在所述处理单位的边界上;以及
以所述生成的图像的处理单位应用滤波处理,其中,所述滤波处理是基于在所述处理单位的边界上的像素的存储的像素值的并行滤波处理,
其中,所述处理单位的大小与所述生成的图像的片的大小不同,
其中,所述处理单位的水平方向或垂直方向包括以LCU的边界为中心的至少四个像素。
16.一种存储有计算机可读指令的非暂时性计算机可读介质,所述计算机可读指令在被计算机执行时使所述计算机执行操作,所述操作包括:
对编码数据进行解码并且生成图像;
存储所述生成的图像的处理单位的像素的像素值,其中所述像素在所述处理单位的边界上;以及
以所述生成的图像的处理单位应用滤波处理,其中,所述滤波处理是基于在所述处理单位的边界上的像素的存储的像素值的并行滤波处理,
其中,所述处理单位的大小与所述生成的图像的片的大小不同,
其中,所述处理单位的水平方向或垂直方向包括以LCU的边界为中心的至少四个像素。
CN201380062562.2A 2012-12-06 2013-11-25 图像处理装置、图像处理方法 Expired - Fee Related CN104823446B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-267400 2012-06-06
JP2012267400 2012-12-06
PCT/JP2013/081596 WO2014087861A1 (ja) 2012-12-06 2013-11-25 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN104823446A CN104823446A (zh) 2015-08-05
CN104823446B true CN104823446B (zh) 2019-09-10

Family

ID=50883284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380062562.2A Expired - Fee Related CN104823446B (zh) 2012-12-06 2013-11-25 图像处理装置、图像处理方法

Country Status (4)

Country Link
US (1) US20150312569A1 (zh)
JP (1) JP6327153B2 (zh)
CN (1) CN104823446B (zh)
WO (1) WO2014087861A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451025B (zh) * 2014-07-31 2019-03-01 富士通株式会社 图像处理方法以及装置
KR102299573B1 (ko) * 2014-10-22 2021-09-07 삼성전자주식회사 실시간으로 인-루프 필터링을 수행할 수 있는 애플리케이션 프로세서, 이의 작동 방법, 및 이를 포함하는 시스템
US10277913B2 (en) * 2014-10-22 2019-04-30 Samsung Electronics Co., Ltd. Application processor for performing real time in-loop filtering, method thereof and system including the same
CN107040778A (zh) * 2016-02-04 2017-08-11 联发科技股份有限公司 环路滤波方法以及环路滤波装置
US10609417B2 (en) * 2016-05-23 2020-03-31 Mediatek Inc. High efficiency adaptive loop filter processing for video coding
JP7351207B2 (ja) 2019-12-16 2023-09-27 富士電機機器制御株式会社 盤内機器診断装置及びサーバ
CN112822489B (zh) * 2020-12-30 2023-05-16 北京博雅慧视智能技术研究院有限公司 一种样本自适应偏移补偿滤波的硬件实现方法及装置
US11924415B2 (en) * 2021-05-11 2024-03-05 Tencent America LLC Method and apparatus for boundary handling in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360239A (zh) * 2001-09-14 2009-02-04 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图像处理系统
CN101795359A (zh) * 2009-02-03 2010-08-04 佳能株式会社 摄像设备及其控制方法
CN102550030A (zh) * 2010-09-16 2012-07-04 松下电器产业株式会社 图像解码装置、图像编码装置、及其方法、程序、集成电路以及代码转换装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3792837B2 (ja) * 1997-06-11 2006-07-05 日本放送協会 デブロッキングフィルタ
US7362810B2 (en) * 2003-05-13 2008-04-22 Sigmatel, Inc. Post-filter for deblocking and deringing of video data
JP4534910B2 (ja) * 2005-08-26 2010-09-01 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP5522893B2 (ja) * 2007-10-02 2014-06-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP4900721B2 (ja) * 2008-03-12 2012-03-21 株式会社メガチップス 画像処理装置
KR101118091B1 (ko) * 2009-06-04 2012-03-09 주식회사 코아로직 비디오 데이터 처리 장치 및 방법
JP5253312B2 (ja) * 2009-07-16 2013-07-31 ルネサスエレクトロニクス株式会社 動画像処理装置およびその動作方法
JP5183664B2 (ja) * 2009-10-29 2013-04-17 財團法人工業技術研究院 ビデオ圧縮のためのデブロッキング装置及び方法
JP2011141823A (ja) * 2010-01-08 2011-07-21 Renesas Electronics Corp データ処理装置および並列演算装置
WO2011122659A1 (ja) * 2010-03-30 2011-10-06 シャープ株式会社 符号化装置および復号装置
JP5605188B2 (ja) * 2010-11-24 2014-10-15 富士通株式会社 動画像符号化装置
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
CN103229506B (zh) * 2010-12-07 2016-11-09 索尼公司 图像处理设备和图像处理方法
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
CN106851306B (zh) * 2011-01-12 2020-08-04 太阳专利托管公司 动态图像解码方法和动态图像解码装置
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
US9325999B2 (en) * 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
JP2012213128A (ja) * 2011-03-24 2012-11-01 Sony Corp 画像処理装置および方法
EP2708027B1 (en) * 2011-05-10 2019-12-25 MediaTek Inc. Method and apparatus for reduction of in-loop filter buffer
WO2013053324A1 (en) * 2011-10-14 2013-04-18 Mediatek Inc. Method and apparatus for loop filtering
US20130114682A1 (en) * 2011-11-07 2013-05-09 Sharp Laboratories Of America, Inc. Video decoder with enhanced sample adaptive offset

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360239A (zh) * 2001-09-14 2009-02-04 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图像处理系统
CN101795359A (zh) * 2009-02-03 2010-08-04 佳能株式会社 摄像设备及其控制方法
CN102550030A (zh) * 2010-09-16 2012-07-04 松下电器产业株式会社 图像解码装置、图像编码装置、及其方法、程序、集成电路以及代码转换装置

Also Published As

Publication number Publication date
JPWO2014087861A1 (ja) 2017-01-05
WO2014087861A1 (ja) 2014-06-12
JP6327153B2 (ja) 2018-05-23
CN104823446A (zh) 2015-08-05
US20150312569A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
CN104823446B (zh) 图像处理装置、图像处理方法
CN105359531B (zh) 用于针对屏幕内容编码的编码器侧判定的方法和系统
TWI520586B (zh) 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
CN112640467B (zh) 用于帧内预测的方法和装置
CN103563380B (zh) 减少用于视频处理的行缓冲的方法及装置
KR20200040774A (ko) 멀티-브랜치 딥 러닝을 갖는 필터링을 위한 방법 및 장치
JP2020205627A (ja) インタ予測方法及びその装置
CN110024393A (zh) 用于视频译码的低复杂度符号预测
JP5461419B2 (ja) 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体
CN108605128A (zh) 合并用于视频译码的用于多类别块的滤波器
KR20180019688A (ko) 픽처 예측 방법 및 픽처 예측 장치
CN110089113A (zh) 图像编码/解码方法、设备以及用于存储比特流的记录介质
TW200402661A (en) Methods and systems for image intra-prediction mode estimation, communication, and organization
CN107454403A (zh) 块尺寸可调整的方向性帧内预测
CN109672894A (zh) 一种帧间预测方法、装置及存储介质
CN106170092A (zh) 用于无损编码的快速编码方法
CN103348677A (zh) 像素层级自适应帧内平滑化
CN107277503A (zh) 图像解码设备
JP6517691B2 (ja) 少なくとも1つの第2の画像成分の参照ブロックに対して第1の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム
KR20190072450A (ko) 분산 처리 환경에서의 학습 파라미터의 압축 및 전송을 제공하는 방법 및 장치
CN110178371A (zh) 影像编码/解码方法及装置
WO2015012253A1 (ja) 画像符号化装置及び方法、及び画像符号化プログラム
CN112385227A (zh) 用于帧内预测的方法和装置
CN109845256A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
CN108353175A (zh) 使用系数引起的预测处理视频信号的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190910

Termination date: 20201125