CN113347419A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN113347419A
CN113347419A CN202110628303.8A CN202110628303A CN113347419A CN 113347419 A CN113347419 A CN 113347419A CN 202110628303 A CN202110628303 A CN 202110628303A CN 113347419 A CN113347419 A CN 113347419A
Authority
CN
China
Prior art keywords
unit
filtering
image
filter
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110628303.8A
Other languages
English (en)
Inventor
池田优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47423858&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN113347419(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN113347419A publication Critical patent/CN113347419A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种图像处理装置和图像处理方法，通过该图像处理装置和图像处理方法，可以在去块滤波处理中适当地执行滤波。在去块处理之前值为255(实线)的像素(p0i)在常规去块处理之后极大地改变为159(虚线)。因此，在强滤波中执行具有剪切值10的剪切处理，由此在去块处理之前值为255(实线)的像素(p0i)变为245(粗线)，并且可以将常规的像素值的大变化减小到最小。该公开内容例如可以应用于图像处理装置。

Description

图像处理装置和图像处理方法
本申请是申请号为201280030471.6、申请日为2012年5月28日、名称为“图像处理装置和图像处理方法”的发明专利申请的分案申请。更具体说，本分案申请是基于申请号为2019108896369.5，申请日为2012年5月28日，发明名称为“图像处理装置和图像处理方法”的分案申请的再次分案申请。
技术领域
本技术涉及图像处理装置和图像处理方法。具体地，本技术使得能够进行去块滤波处理以适当地施加滤波。
背景技术
近年来，在广播站中的信息分发和普通家庭中的信息接收中，如下装置变得普及，该装置处理图像信息作为数字数据，在该情况中，该装置旨在高效率地发送和存储信息，并且该装置遵从诸如MPEG2(国际标准化组织和国际电工委员会(ISO/IEC)13818-2)的方案，用于使用正交变换(诸如离散余弦变换)压缩图像信息，并通过使用对于图像信息唯一的冗余来使用运动补偿。另外，还已经使用了被称为H.264和MPEG4 Part10(高级视频编码(AVC))的方案，与MPEG2等相比，这些方案要求更大量的用于编码和解码的操作，但可以实现更高的编码效率。另外，现在，作为下一代图像编码方案的用于高效视频编码(HEVC)的标准化工作正在进展中，从而可以有效地执行对4000×2000像素(其为高清图像的分辨率的四倍)的高分辨率图像的压缩、分发等。
在用于作为下一代图像编码方案的高效视频编码(HEVC)的标准化工作中，JCTVC-A119(参考下文的非专利文献1)提出对具有8×8像素尺寸或更大尺寸的每个块施加去块滤波器。在JCTVC-A119提出的方法中，通过增大要被施加去块滤波器的最小单位块尺寸，可以在一个宏块中的相同方向上的多个块边界上并行地执行滤波处理。
引用列表
非专利文献
非专利文献1：K.Ugur(Nokia),K.R.Andersson(LM Ericsson),A.Fuldseth(Tandberg Telecom),"JCTVC-A119:Video coding technology proposal by Tandberg,Nokia,and Ericsson",Documents of the first meeting of the Joint CollaborativeTeam on Video Coding(JCT-VC),Dresden,Germany,2010年4月15-23日。
发明内容
本发明要解决的问题
然而，在常规的去块滤波处理中，未适当地执行滤波。
从而，本技术的目的是使得能够进行去块滤波处理以适当地施加滤波。
问题的解决方案
根据本技术的第一方面的图像处理装置包括：解码单元，对以具有层结构的单位进行编码的编码流执行解码以生成图像；滤波单元，根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为由所述解码单元生成的图像的块和与该块相邻的相邻块之间的边界；以及控制器，控制所述滤波单元，使得当施加强滤波作为去块滤波器的强度时，针对由所述解码单元生成的图像的亮度分量对去块滤波器施加剪切处理。
所述控制器可以对在施加去块滤波器时改变的部分的值施加剪切处理。
所述控制器根据下面的表达式施加剪切处理：
[数学公式37]
p0i＝p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)＞＞3)；
q0i＝q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)＞＞3)；
p1i＝p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)＞＞2)；
q1i＝q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)＞＞2)；
p2i＝p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)＞＞3)；
q2i＝q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)＞＞3)；
其中i＝0，7，并且pv为剪切值。
所述控制器可以设置去块滤波器的参数的整数倍的值作为在执行剪切处理时使用的剪切值。
所述控制器可以设置去块滤波器的参数的两倍的值作为在执行剪切处理时使用的剪切值。
图像处理装置还包括：滤波器强度确定单元，确定施加到块边界的去块滤波器的强度，并且所述滤波单元可以根据由所述滤波器强度确定单元确定的强度对块边界施加去块滤波器，以及所述控制器可以控制所述滤波单元，使得当所述滤波器强度确定单元确定要施加强滤波时，针对由所述解码单元生成的图像的亮度分量对去块滤波器施加剪切处理。
所述滤波器强度确定单元可以使用多行作为处理单位来确定去块滤波器的强度。
所述滤波器强度确定单元可以使用四行作为处理单位来确定去块滤波器的强度。
该图像处理装置还包括：滤波必要性确定单元，使用多行作为处理单位来确定是否要对所述块边界施加去块滤波器，并且当所述滤波必要性确定单元确定要施加去块滤波器时，所述滤波器强度确定单元可以确定所述去块滤波器的强度。
根据本技术的第一方面的图像处理方法使得图像处理装置执行：对以具有层结构的单位进行编码的编码流执行解码以生成图像；根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为生成的图像的块和与该块相邻的相邻块之间的边界；以及进行控制，使得当施加强滤波作为去块滤波器的强度时，针对生成的图像的亮度分量对去块滤波器施加剪切处理。
根据本技术的第二方面的图像处理装置包括：滤波单元，根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为在对图像进行编码时被本地解码的图像的块和与该块相邻的相邻块之间的边界；控制器，控制所述滤波单元，使得当施加强滤波作为去块滤波器的强度时，针对被本地解码的图像的亮度分量对去块滤波器施加剪切处理；以及编码单元，使用被施加去块滤波器的图像以具有层结构的单位对图像进行编码。
所述控制器可以对在施加去块滤波器时改变的部分的值施加剪切处理。
所述控制器根据下面的表达式施加剪切处理：
[数学公式37]
p0i＝p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)＞＞3)；
q0i＝q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)＞＞3)；
p1i＝p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)＞＞2)；
q1i＝q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)＞＞2)；
p2i＝p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)＞＞3)；
q2i＝q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)＞＞3)；
其中i＝0，7，并且pv为剪切值。
所述控制器可以设置去块滤波器的参数的整数倍的值作为在执行剪切处理时使用的剪切值。
所述控制器可以设置去块滤波器的参数的两倍的值作为在执行剪切处理时使用的剪切值。
图像处理装置还包括：滤波器强度确定单元，确定施加到块边界的去块滤波器的强度，并且所述滤波单元可以根据由所述滤波器强度确定单元确定的强度对块边界施加去块滤波器，以及所述控制器可以控制所述滤波单元，使得当所述滤波器强度确定单元确定要施加强滤波时，针对由所述解码单元生成的图像的亮度分量对去块滤波器施加剪切处理。
所述滤波器强度确定单元可以使用多行作为处理单位来确定去块滤波器的强度。
所述滤波器强度确定单元可以使用四行作为处理单位来确定去块滤波器的强度。
该图像处理装置还包括：滤波必要性确定单元，使用多行作为处理单位来确定是否要对所述块边界施加去块滤波器，并且当所述滤波必要性确定单元确定要施加去块滤波器时，所述滤波器强度确定单元可以确定所述去块滤波器的强度。
根据本技术的第二方面的图像处理方法使得图像处理装置执行：根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为在对图像进行编码时被本地解码的图像的块和与该块相邻的相邻块之间的边界；进行控制，使得当施加强滤波作为去块滤波器的强度时，针对被本地解码的图像的亮度分量对去块滤波器施加剪切处理；以及使用被施加去块滤波器的图像以具有层结构的单位对图像进行编码。
在本发明的第一方面中，对以具有层结构的单位进行编码的编码流执行解码以生成图像；以及根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，其中，所述块边界为生成的图像的块和与该块相邻的相邻块之间的边界。另外，执行控制，使得当施加强滤波作为去块滤波器的强度时，针对生成的图像的亮度分量对去块滤波器施加剪切处理。
在本技术的第二方面中，根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，其中，所述块边界为在对图像进行编码时被本地解码的图像的块和与该块相邻的相邻块之间的边界。另外，执行控制，使得当施加强滤波作为去块滤波器的强度时，针对被本地解码的图像的亮度分量对去块滤波器施加剪切处理；以及使用被施加去块滤波器的图像以具有层结构的单位对图像进行编码。
发明效果
根据本技术，可以使得能够进行去块滤波处理以适当地施加滤波。
附图说明
图1(A)和图1(B)为用于描述常规去块滤波处理的图。
图2为示出当应用于图像编码装置时的配置的图。
图3为示出图像编码操作的流程图。
图4为示出帧内预测处理的流程图。
图5为示出帧间预测处理的流程图。
图6为示出当应用于图像解码装置时的配置的图。
图7为示出图像解码操作的流程图。
图8为用于说明去块滤波单元的基本操作的图。
图9为示出去块滤波单元的第一实施例的配置的图。
图10为示出去块滤波单元的第一实施例的操作的流程图。
图11为示出滤波器运算单元的配置的图。
图12为示出滤波器运算单元的配置的图。
图13(A)和图13(B)为用于描述滤波器运算单元的操作的图。
图14(A)和图14(B)为用于描述滤波器运算单元的操作的图。
图15为示出第五实施例的操作的流程图。
图16为用于说明常规的去块滤波处理的图。
图17为用于描述本技术(第六实施例)的图。
图18为用于描述本技术(第六实施例)的图。
图19为示出在本技术的去块滤波处理中使用的像素的图。
图20为用于描述由于常规的强滤波而改变的像素值的图。
图21为用于说明基于剪切的强滤波的效果的图。
图22为示出去块滤波单元的第六实施例的配置的图。
图23为示出去块滤波单元的第六实施例的操作的流程图。
图24为示出去块滤波单元的第七实施例的配置的图。
图25为示出去块滤波单元的第八实施例的配置的图。
图26为示出去块滤波单元的第八实施例的操作的流程图。
图27为用于描述亮度信号去块处理的流程图。
图28为用于描述R3W2情况的示例的图。
图29为示出多视点图像编码方案的示例的图。
图30为示出应用本技术的多视点图像编码装置的主要部件的示例的图。
图31为示出应用本技术的多视点图像解码装置的主要部件的示例的图。
图32为示出层图像编码方案的示例的图。
图33为示出应用本技术的层图像编码装置的主要部件的示例的图。
图34为示出应用本技术的层图像解码装置的主要部件的示例的图。
图35为示出电视设备的示意性配置的示例的图。
图36为示出移动电话的示意性配置的示例的图。
图37为示出记录/再现装置的示意性配置的示例的图。
图38为示出成像装置的示意性配置的示例的图。
具体实施方式
下面将描述用于实现本技术的实施方式。将以下面的顺序进行描述。
1.常规技术
2.当应用于图像编码装置时的配置
3.图像编码装置的操作
4.当应用于图像解码装置时的配置
5.图像解码装置的操作
6.去块滤波单元的基本操作
7.去块滤波单元的第一实施例
8.去块滤波单元的第二实施例
9.去块滤波单元的第三实施例
10.去块滤波单元的第四实施例
11.去块滤波单元的第五实施例
12.对第六至第八实施例的描述
13.去块滤波单元的第六实施例
14.去块滤波单元的第七实施例
15.去块滤波单元的第八实施例
16.第九实施例
17.第十实施例(多视点图像编码和解码装置)
18.第十一实施例(层图像编码和解码装置)
19.应用示例
[1.常规技术]
将参考图1(A)和图1(B)描述常规的去块滤波处理。
如图1(A)所示，例如，当以各个最大编码单位(LCU)按照光栅顺序执行去块滤波处理时，将对应于从作为上部块的LCUu的块间边界BB起预定行数的图像数据存储在行存储器中，并使用所述图像数据和作为在存储后获得的下部块的LCUl的图像数据来执行垂直滤波处理。例如，如图1(B)所示，当在使用各自对应于从块间边界BB起三行的上部块和下部块的图像数据作为垂直滤波处理的处理范围的同时使用对应于从边界BB起四行的图像数据执行滤波运算时，将对应于从作为上部块的LCUu的边界BB起四行的图像数据存储在行存储器中。在图中，由双圆圈表示去块滤波器的目标像素，并分别由“DBU”和“DBL”表示去块滤波器的滤波器处理范围的上部边界和下部边界。
以此方式，由于对应于从块间边界BB起预定行数的图像数据被存储在行存储器中以便用于滤波器运算，从而，如果水平方向上的像素数目增大，则行存储器的存储器容量增大。
[2.当应用于图像编码装置时的配置]
图2示出当将本技术的图像处理装置应用于图像编码装置时的配置。图像编码装置10包括模拟/数字转换器(A/D转换器)11、帧重排序缓冲器12、减法器13、正交变换器14、量化器15、无损编码器16、累积缓冲器17、以及速率控制器18。图像编码装置10还包括逆量化器21、逆正交变换器22、加法器23、去块滤波单元24、帧存储器25、选择器26、帧内预测器31、运动估计器/补偿器32、以及预测图像/最优模式选择单元33。
A/D转换部分11将模拟图像信号转换为数字图像数据，并将数字图像数据输出到帧重排序缓冲器12。
帧重排序缓冲器12对从A/D转换部分11输出的图像数据的帧进行重排序。帧重排序缓冲器12根据关于编码处理的GOP(图片组)结构执行帧重排序，并将重排序的图像输出到减法器13、帧内预测器31和运动估计器/补偿器32。
向减法器13提供从帧重排序缓冲器12输出的图像数据和通过下述预测图像/最优模式选择单元33选择的预测图像数据。减法器13计算预测误差数据，并将预测误差数据输出到正交变换器14，其中，该预测误差数据是从帧重排序缓冲器12输出的图像数据与从预测图像/最优模式选择单元33提供的预测图像数据之间的差。
正交变换器14针对从减法器13输出的预测误差数据执行诸如离散余弦变换(DCT)或Karhunen-Loeve变换的正交变换处理。正交变换器14将通过执行正交变换处理获得的变换系数数据输出到量化器15。
向量化器15提供从正交变换器14输出的变换系数数据和来自下述速率控制器18的速率控制信号。量化器15对变换系数数据进行量化，并将量化数据输出到无损编码器16和逆量化器21。另外，量化器15基于来自速率控制器18的速率控制信号来切换量化参数(量化比例)，以改变量化数据的比特率。
向无损编码器16提供从量化器15输出的量化数据和来自下述帧内预测器31、运动估计器/补偿器32以及预测图像/最优模式选择单元33的预测模式信息。另外，预测模式信息包括根据帧内预测或帧间预测的宏模块类型、预测模式、运动向量信息、参考图片信息等，其中，宏模块类型使得能够识别预测块尺寸。无损编码器16对量化数据执行无损编码处理，例如可变长度编码或算术编码，以生成编码流，并将该编码流输出到累积缓冲器17。另外，无损编码器16对预测模式信息进行无损编码，以将编码的预测模式信息添加到编码流的头信息。
累积缓冲器17累积来自无损编码器16的编码流。另外，累积缓冲器17以对应于传输线的传输速率输出累积的编码流。
速率控制器18监视累积缓冲器17的自由空间，根据自由空间生成速率控制信号，并将速率控制信号输出到量化器15。速率控制器18例如获取指示来自累积缓冲器17的自由空间的信息。速率控制器18在自由空间减小时利用速率控制信号减小量化数据的比特率。另外，速率控制器18在累积缓冲器17的自由空间足够大时利用速率控制信号增大量化数据的比特率。
逆量化器21对从量化器15提供的量化数据执行逆量化处理。逆量化器21将通过执行逆量化处理获得的变换系数数据输出到逆正交变换器22。
逆正交变换器22将通过对从逆量化器21提供的变换系数数据执行正交变换处理获得的数据输出到加法器23。
加法器23将从逆正交变换器22提供的数据与从预测图像/最优模式选择单元33提供的预测图像数据相加以生成解码图像数据，并将解码图像数据输出到去块滤波单元24和帧存储器25。
去块滤波单元24执行用于减少在图像编码期间出现的块失真的滤波处理。去块滤波单元24执行滤波处理以从自加法器23提供的解码图像数据中移除块失真，并将已经过滤波处理的图像数据输出到帧存储器25。另外，去块滤波单元24根据通过在垂直方向上执行块间边界检测而检测到的边界，在位于该边界的上部的块中控制用于滤波运算的图像范围。以此方式，通过控制用于滤波运算的图像范围，去块滤波单元24使得即使在存储图像数据的行存储器的存储器容量减小时仍可以执行垂直滤波处理。下文将描述详细内容。
帧存储器25保存从加法器23提供的解码图像数据和从去块滤波单元24提供的已经过滤波处理的解码图像数据作为参考图像的图像数据。
选择器26将从帧存储器25读取的滤波处理之前的参考图像数据提供到帧内预测器31以执行帧内预测。另外，选择器26将从帧存储器25读取的已经过滤波处理的参考图像数据提供运动估计器/补偿器32以执行帧间预测。
帧内预测器31利用从帧重排序缓冲器12输出的编码对象图像的图像数据和从帧存储器25读取的滤波处理之前的参考图像数据在全部备选帧内预测模式下执行帧内预测处理。另外，帧内预测器31针对每个帧内预测模式计算成本函数值，并选择计算的成本函数值最小的帧内预测模式(即获得最佳编码效率的帧内预测模式)作为最优帧内预测模式。帧内预测器31将在最优帧内预测模式下生成的预测图像数据、关于最优帧内预测模式的预测模式信息、以及最优帧内预测模式下的成本函数值输出到预测图像/最优模式选择单元33。另外，帧内预测器31将各个帧内预测模式下的帧内预测处理中的关于帧内预测模式的帧内预测模式信息输出到无损编码器16，以获得在下述成本函数值的计算中使用的生成代码量。
运动估计器/补偿器32以对应于宏模块的全部预测块尺寸执行运动估计/补偿处理。运动估计器/补偿器32针对从帧重排序缓冲器12读取的各个预测块尺寸的每个编码对象图像，利用从帧存储器25读取的已经过滤波处理的参考图像数据检测运动向量。另外，运动估计器/补偿器32基于检测到的运动向量对解码图像执行补偿处理以生成预测图像。另外，运动估计器/补偿器32针对每个预测块尺寸计算成本函数值，并选择计算的成本函数值最小的预测块尺寸(即获得最佳编码效率的预测块尺寸)作为最优帧间预测模式。运动估计器/补偿器32将在最优帧内预测模式下生成的预测图像数据、关于最优帧内预测模式的预测模式信息、以及最优帧内预测模式下的成本函数值输出到预测图像/最优模式选择单元33。另外，运动估计器/补偿器32将按照各预测块尺寸的帧内预测处理中的关于帧内预测模式的帧内预测模式信息输出到无损编码器16，以获得在成本函数值的计算中使用的生成代码量。运动估计器/补偿器32还在作为帧间预测模式的跳过宏块模式和直接模式下执行预测。
预测图像/最优模式选择单元33以各个宏块为单位比较从帧内预测器31提供的成本函数值与从运动估计器/补偿器32提供的成本函数值，并选择成本函数值较小的模式作为获得最佳编码效率的最优模式。另外，预测图像/最优模式选择单元33将在最优模式下生成的预测图像数据输出到减法器13和加法器23。另外，预测图像/最优模式选择单元33将最优模式的预测模式信息输出到无损编码器16。预测图像/最优模式选择单元33可以以各个片为单位执行帧内预测或帧间预测。
权利要求中的编码单元包括：生成预测图像数据的帧内预测器31、运动估计器/补偿器32、预测图像/最优模式选择单元33、减法器13、正交变换器14、量化器15、无损编码器16等。
[3.图像编码装置的操作]
图3为示出图像编码处理的操作的流程图。在步骤ST11，A/D转换器11对输入图像信号执行A/D转换。
在步骤ST12，帧重排序缓冲器12执行画面重排序。帧重排序缓冲器12存储从A/D转换器11提供的图像数据，并对各个图片进行重排序，从而以编码顺序对以显示顺序排列的图片进行重排序。
在步骤ST13，减法器13生成预测误差数据。减法器13计算在步骤ST12中重排序的图像的图像数据与通过预测图像/最优模式选择单元33选择的预测图像数据之间的差以生成预测误差数据。预测误差数据具有小于原始图像数据的数据量。从而，相比于图像被原样编码，可以压缩数据量。另外，当预测图像/最优模式选择单元33以各个片为单位选择从帧内预测器31提供的预测图像和来自运动估计器/补偿器32的预测图像时，在从帧内预测器31提供的预测图像被选择的片中执行帧内预测。另外，在来自运动估计器/补偿器32的预测图像被选择的片中执行帧间预测。
在步骤ST14，正交变换器14执行正交变换处理。正交变换器14对从减法器13提供的预测误差数据执行正交变换。具体地，对预测数据执行诸如离散余弦变化或Karhunen-Loeve变换的正交变换，并输出变换系数数据。
在步骤ST15，量化器15执行量化处理。量化器15对变换系数数据进行量化。在执行量化时，如将在步骤ST25的处理中描述的那样执行速率控制。
在步骤ST16，逆量化器21执行逆量化处理。逆量化器21根据与量化器15的特性对应的特性，对被量化器15量化的变换系数数据执行逆量化。
在步骤ST17，逆正交变换器22执行逆正交变换处理。逆正交变换器22根据与正交变换器14的特性对应的特性，对被逆量化器21逆量化的变换系数数据执行逆正交变换。
在步骤ST18，加法器23生成解码图像数据。加法器23将从预测图像/最优模式选择单元33提供的预测图像数据与位于对应于预测图像的位置的在逆正交变换之后的数据相加，以生成解码图像数据。
在步骤ST19，去块滤波单元24执行去块滤波处理。去块滤波单元24对从加法器23输出的解码图像数据执行滤波以移除块失真。另外，去块滤波单元24被配置为即使在存储图像数据的行存储器的存储器容量减小时仍执行垂直滤波处理。具体地，去块滤波单元24根据通过在垂直方向执行块间边界检测而检测到的边界，在位于该边界的上部的块中控制用于滤波运算的图像范围。
在步骤ST20，帧存储器25存储解码图像数据。帧存储器25存储去块滤波处理之前的解码图像数据。
在步骤ST21，帧内预测器31和运动估计器/补偿器32执行预测处理。即，帧内预测器31在帧内预测模式下执行帧内预测处理，并且运动估计器/补偿器32在帧间预测模式下执行运动估计/补偿处理。通过该处理，在全部备选预测模式下执行预测处理，并计算全部备选预测模式下的成本函数值。基于计算的成本函数值选择最优帧内预测模式和最优帧间预测模式，并将在选择的预测模式下生成的预测图像、成本函数、以及预测模式信息提供到预测图像/最优模式选择单元33。
在步骤ST22，预测图像/最优模式选择单元33选择预测图像数据。预测图像/最优模式选择单元33基于从帧内预测部分31和运动估计器/补偿器32输出的各个成本函数值确定获得最佳编码效率的最优模式。另外，预测图像/最优模式选择单元33在确定的最优模式下选择预测图像数据，并将预测图像数据提供到减法器13和加法器23。该预测图像用于如上所述的步骤ST13和ST18中的操作。
在步骤ST23，无损编码器16执行无损编码处理。无损编码器16对从量化器15输出的量化数据执行无损编码。即，对量化数据执行诸如可变长度编码或算术编码的无损编码，从而压缩量化数据。在该情况下，在上述步骤ST22中，还对输入到无损编码器16的预测模式信息(例如，包括宏块类型、预测模式、运动向量信息、参考图片信息等)进行无损编码。另外，将预测模式信息的无损编码数据添加到通过对量化数据进行无损编码而生成的编码流的头信息。
在步骤ST24，累积缓冲器17执行累积处理以累积编码流。累积在存储缓冲器17中的编码流被适当地读取，并经由传输线被传输到解码侧。
在步骤ST25，速率控制器18执行速率控制。速率控制器18控制量化器15的量化操作的速率，从而当累积缓冲器17累积编码流时在累积缓冲器17中不出现上溢或下溢。
下面将描述图3的步骤ST21中的预测处理。帧内预测器31执行帧内预测处理。帧内预测器31在全部备选帧内预测模式下对当前块的图像执行帧内预测。对帧内预测中参考的参考图像的图像数据不进行去块滤波单元24的滤波处理，而是使用存储在帧存储器25中的参考图像数据。尽管下文中描述帧内预测处理的细节，通过该处理，在全部备选帧内预测模式下执行帧内预测，并且计算全部备选帧内预测模式下的成本函数值。另外，基于计算的成本函数值从全部帧内预测模式选择获得最佳编码效率的一个帧内预测模式。运动估计器/补偿器32执行帧间预测处理。运动估计器/补偿器32利用存储在帧存储器25中的已经过滤波处理的参考图像数据在全部备选帧间预测模式(全部预测块尺寸)下执行帧间预测处理。尽管下文中描述帧间预测处理的细节，通过该处理，在全部备选帧间预测模式下执行帧间预测，并且计算全部备选帧间预测模式下的成本函数值。另外，基于计算的成本函数值从全部帧间预测模式选择获得最佳编码效率的一个帧间预测模式。
将参考图4的流程图描述帧内预测处理。在步骤ST31，帧内预测器31在各个预测模式下执行帧内预测。帧内预测器31利用存储在帧存储器25中的滤波处理之前的解码图像数据，在每个帧内预测模式下生成预测图像数据。
在步骤ST32，帧内预测器31计算各个预测模式的成本函数值。例如，在全部备选预测模式下试探地执行无损编码处理，在各个预测模式下计算由下面的公式(1)表示的成本函数值。
cost(mode∈Ω)＝D+λ/R…(1)
这里，“Ω”表示用于对块和宏块进行编码的备选预测模式的全集。“D”表示当在预测模式下执行编码时在解码图像与输入图像之间的差分能量(失真)。“R”表示生成的代码量，包括正交变换系数、预测模式信息等，并且“λ”表示作为量化参数QP的函数给出的拉格朗日乘数。
而且，针对全部备选预测模式，生成预测图像，并计算诸如运动向量信息和预测模式信息的头比特，并在各个预测模式下计算由下面的公式(2)表示的成本函数值。
cost(mode∈Ω)＝D+QPtoQuant(QP)·Head_Bit…(2)
这里，“Ω”表示用于对块和宏块进行编码的备选预测模式的全集。“D”表示当在预测模式下执行编码时在解码图像与输入图像之间的差分能量(失真)。“Head_Bit”是预测模式的头比特，并且“QPtoQuant”是作为量化参数QP的函数给出的函数。
在步骤ST33，帧内预测部分31确定最优帧内预测模式。帧内预测器31基于在步骤ST32计算的成本函数值选择计算的成本函数值最小的一个帧内预测模式，并将该帧内预测模式确定为最优帧内预测模式。
下面将参考图5的流程图描述帧间预测处理。在步骤ST41，运动估计器/补偿器32确定各个预测模式下的运动向量和参考图像。即，运动估计器/补偿器32确定各个预测模式的当前块的运动向量和参考图像。
在步骤ST42，运动估计器/补偿器32在各个预测模式下执行运动补偿。运动估计器/补偿器32在各个预测模式(各个预测块尺寸)下基于在步骤ST41中确定的运动向量对参考图像执行运动补偿，并在各个预测模式下生成预测图像数据。
在步骤ST43，运动估计器/补偿器32在各个预测模式下生成运动向量信息。运动估计器/补偿器32针对在各个预测模式下确定的运动向量，生成包括在编码流中的运动向量信息。例如，利用中值预测来确定预测运动向量，并生成运动向量信息，该运动向量信息指示通过运动估计检测到的运动向量与预测运动向量之间的差。以该方式生成的运动向量信息还在下一个步骤ST44中的成本函数值的计算中使用，并且当通过预测图像/最优模式选择单元33最终选择对应的预测图像时，将运动向量信息包括在预测模式信息中并输出到无损编码器16。
在步骤ST44，运动估计器/补偿器32在各个帧间预测模式下计算成本函数值。运动估计器/补偿器32利用上述公式(1)或公式(2)计算成本函数值。
在步骤ST45，运动估计器/补偿器32确定最优帧间预测模式。运动估计器/补偿器32基于在步骤ST44中计算的成本函数值选择计算的成本函数值最小的一个预测模式。
[4.当应用于图像解码装置时的配置]
经由预定的传输线、记录介质等将通过对输入图像进行编码而生成的编码流提供到图像解码装置并进行解码。
图6示出图像解码装置的配置。图像解码装置50包括累积缓冲器51、无损解码器52、逆量化器53、逆正交变换器54、加法器55、去块滤波单元56、帧重排序缓冲器57、以及D/A转换器58。图像解码装置50还包括帧存储器61、选择器62和65、帧内预测器63以及运动补偿单元64。
累积缓冲器51累积传输到累积缓冲器51的编码流。无损解码器52根据对应于图2中的无损编码器16的编码方案对从累积缓冲器51提供的编码流进行解码。另外，无损解码器52将通过对编码流的头信息进行解码而获得的预测模式信息输出到帧内预测器63和运动补偿单元64。
逆量化器53根据对应于图2的量化器15的量化方案的方案，对通过无损解码器52解码的量化数据执行逆量化。逆正交变换器54根据对应于图2的正交变换器14的正交变换方案的方案，对逆量化器53的输出执行逆正交变换，并将该输出输出到加法器55。
加法器55将经过逆正交变换的数据与从选择器65提供的预测图像数据相加以生成解码图像数据，并将解码图像数据输出到去块滤波单元56和帧存储器61。
类似于图2的去块滤波单元24，去块滤波单元56对从加法器55提供的解码图像数据执行滤波处理以移除块失真，并将解码图像数据输出到帧重排序缓冲器57和帧存储器61。
帧重排序缓冲器57执行画面重排序。即，以初始显示顺序对在图2的帧重排序缓冲器12中使用的根据编码顺序重排序的帧进行重排序，并将其输出到D/A转换器58。
D/A转换器58对从帧重排序缓冲器57提供的图像数据执行D/A转换，并将图像数据输出到显示器(未示出)，由此显示图像。
帧存储器61保存从加法器55提供的滤波处理之前的解码图像数据和从去块滤波单元56提供的已经过滤波处理的解码图像数据作为参考图像的图像数据。
当基于从无损解码器52提供的预测模式信息对已经过帧内预测的预测块进行解码时，选择器62将从帧存储器61读取的滤波处理之前的参考图像数据提供到帧内预测器63。另外，当基于从无损解码器52提供的预测模式信息对已经过帧间预测的预测块进行解码时，选择器26将从帧存储器61读取的已经过滤波处理的参考图像数据提供到运动补偿单元64。
帧内预测器63基于从无损解码部分52提供的预测模式信息生成预测图像，并将生成的预测图像数据输出到选择器65。
运动补偿单元64基于从无损解码器52提供的预测模式信息执行运动补偿，以生成预测图像数据，并将所述预测图像数据输出到选择器65。即，运动补偿单元64针对参考图像基于运动向量信息利用运动向量执行运动补偿，以生成预测图像数据，其中通过基于运动向量信息的参考帧信息和包括在预测模式信息中的参考帧信息指示所述参考图像。
选择器65将通过帧内预测器63生成的预测图像数据提供到加法器55。另外，选择器65将通过运动补偿单元64生成的预测图像数据提供到加法器55。
权利要求中的解码单元包括无损解码器52、逆量化器53、逆正交变换器54、加法器55、帧内预测器63、运动补偿单元64等。
[5.图像解码装置的操作]
下面，将参考图7的流程图描述通过图像解码装置50执行的图像处理操作。
在步骤ST51中，累积缓冲器51累积传输到累积缓冲器51的编码流。在步骤ST52，无损解码器52执行无损解码处理。无损解码器52对从累积缓冲器51提供的编码流进行解码。即，获得通过图2的无损编码器16编码的各个图片的量化数据。另外，无损解码器52对包括在编码流的头信息中的预测模式信息执行无损解码以获得预测模式信息，并将该预测模式信息提供到去块滤波单元56和选择器62、65。另外，当预测模式信息是关于帧内预测模式的信息时，无损解码器52将预测模式信息输出到帧内预测器63。另外，当预测模式信息是关于帧间预测模式的信息时，无损解码器52将预测模式信息输出到运动补偿单元64。
在步骤ST53，逆量化器53执行逆量化处理。逆量化器53根据与图2的量化器15的特性对应的特性，对通过无损解码器52解码的量化数据执行逆量化。
在步骤ST54，逆正交变换器54执行逆正交变换处理。逆正交变换器54根据与图2的正交变换器14的特性对应的特性，对通过逆量化器53逆量化的变换系数数据执行逆正交变换。
在步骤ST55，加法器55生成解码图像数据。加法器55将通过执行正交变换处理获得的数据与下述在步骤ST59中选择的预测图像数据相加，以生成解码图像数据。以此方式，对原始图像进行解码。
在步骤ST56，去块滤波单元56执行去块滤波处理。去块滤波单元56对由加法器55输出的解码图像数据执行滤波处理，以移除解码图像中包括的块失真。
在步骤ST57，帧存储器61存储解码图像数据。
在步骤ST58，帧内预测器63和运动补偿单元64执行预测处理。帧内预测器63和运动补偿单元64对从无损解码器52提供的预测模式信息执行预测处理。
即，当从无损解码器52提供帧内预测的预测模式信息时，帧内预测器63基于预测模式信息执行帧内预测处理以生成预测图像数据。另外，当从无损解码器52提供帧间预测的预测模式信息时，运动补偿单元64基于预测模式信息执行运动补偿以生成预测图像数据。
在步骤ST59，选择器65选择预测图像数据。即，选择器65选择从帧内预测部分63提供的预测图像和由运动补偿单元64生成的预测图像数据，并将预测图像和预测图像数据提供到加法器55，以在上述步骤ST55中被添加到逆正交变换部分54的输出。
在步骤ST60，帧重排序缓冲器57执行画面重排序。即，帧重排序缓冲器57对帧进行重排序，使得以显示顺序对在图2的图像编码装置10的帧重排序缓冲器12中使用的以编码顺序重排序的帧进行重排序。
在步骤ST61，D/A转换器58对来自帧重排序缓冲器57的图像数据执行D/A转换。将该图像输出到显示器(未示出)并显示该图像。
[6.去块滤波单元的基本操作]
通常，根据诸如H.264/AVC或HEVC的图像编码方案的去块滤波处理涉及确定是否需要滤波，并针对确定需要滤波的块间边界执行滤波处理。
块间边界包括这样的边界，即，通过在水平方向上执行块间边界检测而检测到的水平相邻的块间边界(下文中被称为“垂直边界”)。另外，块间边界包括这样的块间边界，即，通过在垂直方向上执行块间边界检测而检测到的垂直相邻的块间边界(下文中被称为“行边界”)。
图8为示出与插入的边界相邻的两个块BKa和BKb中的像素的示例的说明图。在该示例中，尽管使用垂直边界作为示例，对于行边界是相同的。在图8的示例中，通过符号“pi,j”表示块BKa中的像素的图像数据。这里，“i”为像素的列索引，而“j”是像素的行索引。另外，编码处理的最小单位是8×8像素的块，并且从接近垂直边界的列(从左到右)顺序分配0、1、2和3的列索引“i”。从上至下分配0、1、2、...、和7的行索引“j”。图中省略了块BKa的左半边。另一方面，通过符号“qk,j”表示块BKb中的像素的图像数据。这里，“k”为像素的列索引，而“j”是像素的行索引。从接近垂直边界的列(从左到右)顺序分配0、1、2、和3的列索引“k”。图中也省略了块BKb的右半边。
当确定要对边界施加去块滤波并且该边界为垂直边界时，例如，对边界的左侧和右侧上的像素执行滤波处理。针对亮度分量，根据图像数据的值切换具有强滤波器强度的滤波器和具有弱滤波器强度的滤波器。
[亮度分量滤波]
在选择强度时，针对每行(或每列)确定是否满足表达式(3)至(5)的条件。当满足表达式(3)至(5)的全部条件时选择强滤波器，当不满足所述表达式中任一个的条件时选择弱滤波器。
[数学公式1]
d＜(β＞＞2)…(3)
|p3-p0|+|q0-q3|＜(β＞＞3)…(4)
|p0-q0|＜((5*tC+1)＞＞1)…(5)
在表达式(3)中，“d”为基于表达式(6)计算的值。另外，表达式(4)和(5)中的“β”和表达式(5)中的“tc”为基于表1中所示的量化参数Q设置的值。
[数学公式2]
d＝|p2，2-2*p1，2+p0，2|+|q2，2-2*q1，2+q0，2|+|p2，5-2*p1，5+p0，5|+|q2，5-2*q1，5+q0，5|…(6)
[表1]
Q 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
β 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 7 8
t<sub>C</sub> 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
Q 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
β 9 10 11 12 13 14 15 16 17 18 20 22 24 26 28 30 32 34 36
t<sub>C</sub> 1 1 1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4
Q 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55
β 38 40 42 44 46 48 50 52 54 56 58 60 62 64 64 64 64 64
t<sub>C</sub> 5 5 6 6 7 8 9 9 10 10 11 11 12 12 13 13 14 14
在进行弱滤波，通过执行表达式(7)至(11)的运算来计算滤波器处理范围中的各个像素的亮度分量。
[数学公式3]
p1’＝Clip1Y(p1+Δ/2)…(7)
p0’＝Clip1Y(p0+Δ)…(8)
q0’＝Clip1Y(q0-Δ)…(9)
q1’＝Clip1Y(q1-Δ/2)…(10)
Δ＝Clip3(-tC，tC，(13*(q0-p0)+4*(q1-p1)-5*(q2-p0)+16)＞＞5)…(11)
在进行强滤波时，通过执行表达式(12)至(18)的运算来计算滤波器处理范围中的各个像素的亮度分量。
[数学公式4]
p2’＝Clip1Y((2*p3+3*p2+p1+p0+q0+4)＞＞3)…(12)
p1’＝Clip1Y((p2+p1+p0+q0+2)＞＞2)…(13)
p0’＝Clip1Y((p2+2*p1+2*p0+2*q0+q1+4)＞＞3)…(14)
p0’＝Clip1Y((p2+2*p1+2*p0+2*q0+q1+4)＞＞3)…(15)
q0’＝Clip1Y((p1+2*p0+2*q0+2*q1+q2+4)＞＞3)…(16)
q1’＝ClipiY((p0+q0+q1+q2+2)＞＞2)…(17)
q2’＝Clip1Y((p0+q0+q1+3*q2+2*q3+4)＞＞3)…(18)
另外，在对色度分量进行滤波时，通过执行表达式(19)至(21)的运算来计算滤波器处理范围中的各个像素的色度分量。
[数学公式5]
p0’＝Clip1C(p0+Δ)…(19)
q0’＝Clip1C(q0-Δ)…(20)
Δ＝Clip3(-tC，tC，((((q0-p0)＜＜2)+p1-q1+4)＞＞3))…(21)
在上述表达式中，“Clip1Y”和“Clip1c”表示表达式(22)和(23)的运算，并且表达式(22)和(23)中的“Clip3(x，y，z)”表示通过表达式(24)确定的值。
[数学公式6]
Clip1Y(x)＝Clip3(0，(1＜＜BitDepthY)-1，x)…(22)
Clip1C(x)＝Clip3(0，(1＜＜BitDepthC)-1，x)…(23)
Figure BDA0003100230190000231
另外，对于行边界，利用垂直方向上的像素针对每列来执行在垂直边界处的利用水平方向上的像素针对每行执行的操作，并且执行滤波处理。
在去块滤波处理中，需要行存储器的处理是垂直滤波处理，在下文中将详细描述垂直滤波处理中的行存储器的存储器容量的减少。由于图像编码装置10的去块滤波单元24与图像解码装置50的去块滤波单元56具有相同的配置并执行相同的操作，从而将仅描述去块滤波单元24。
[7.去块滤波单元的第一实施例]
图9示出去块滤波单元的第一实施例的配置。去块滤波单元24包括：行存储器241、行边界检测单元242、滤波器强度确定单元243、系数存储器244、滤波器运算单元245以及滤波器控制器246。
行存储器241基于来自滤波器控制器246的信号存储从加法器23提供的图像数据。另外，行存储器241读取存储在行存储器241中的图像数据并将图像数据输出到行边界检测单元242、滤波器强度确定单元243和滤波器运算单元245。
行边界检测单元242检测执行垂直滤波处理的行边界。行边界检测单元242利用从加法器23提供的图像数据和从行存储器241读取的图像数据针对每个块执行滤波必要性确定处理，并检测执行垂直滤波处理的行边界。行边界检测单元242将检测结果输出到滤波器强度确定单元243。
滤波器强度确定单元243确定上述滤波器强度。滤波器强度确定单元243利用与执行垂直滤波处理的插入的行边界相邻的两个块的图像数据，确定要在强滤波模式还是弱滤波模式下执行垂直滤波处理，并将确定结果输出到滤波器运算单元245。
系数存储器244存储在去块滤波处理的滤波运算中使用的滤波器系数。
滤波器运算单元245利用从加法器23提供的图像数据、存储在行存储器241中的图像数据和从系数存储器244读取的滤波器系数，以由滤波器强度确定单元243确定的滤波器强度执行滤波运算。滤波器运算单元245将经过垂直滤波处理的图像数据输出到帧存储器25。另外，滤波器运算单元245基于从滤波控制器246提供的块边界确定结果，在位于行边界的上侧的块中控制滤波运算中使用的图像范围。
滤波控制器246控制行存储器241，以便存储对应于块中的下侧的预定数目行的图像数据。另外，滤波控制器246读取存储在行存储器241中的图像数据。另外，滤波器控制器246包括行边界确定单元2461。行边界确定单元2461确定边界是否是以各个块为单位的行边界(例如，LCU间行边界)，并将确定结果输出到滤波器运算单元245，其中，以各个块为单位在光栅扫描方向上顺序执行处理。滤波器运算单元245执行控制，使得即使在行存储器的存储器容量减少时仍可以执行垂直滤波处理。
图10示出去块滤波单元的第一实施例的操作。在步骤ST71，去块滤波单元24检测块边界。去块滤波单元24检测执行垂直滤波处理的行边界。
在步骤ST72，去块滤波单元24确定滤波器强度。去块滤波单元24确定针对执行垂直滤波处理的行边界是使用强滤波模式还是弱滤波模式。
在步骤ST73，去块滤波单元24确定执行垂直滤波处理的边界是否是LCU间行边界。当执行垂直滤波处理的边界是LCU间行边界时，去块滤波单元24前进到步骤ST74，而当所述边界不是LCU间行边界时，去块滤波单元24前进到步骤ST75。
在步骤ST74，去块滤波单元24执行范围减小的垂直滤波处理。去块滤波单元24在减少用于上部相邻LCU的滤波运算的图像范围的同时执行垂直滤波处理，并且流程前进到步骤ST76。
在步骤ST75，去块滤波单元24执行正常的垂直滤波处理。去块滤波单元24在不减少用于滤波运算的图像范围的情况下利用预定的抽头(tap)和系数执行垂直滤波处理，并且流程前进到步骤ST76。
在步骤ST76，去块滤波单元24确定在边界处的垂直滤波处理是否已经完成。当用于边界的各个列的垂直滤波处理尚未完成时，去块滤波单元24返回到步骤ST76并执行用于下一列的处理。另外，当用于边界的各个列的垂直滤波处理已经完成时，流程前进到步骤ST77。
在步骤ST77，去块滤波单元24确定是否已经完成直到画面结尾的处理。当尚未完成直到画面结尾的处理时，去块滤波单元24返回到步骤ST71，检测新的边界并执行垂直滤波处理。当已经完成直到画面结尾的处理时，去块滤波单元24结束11个画面的处理。
[滤波器运算单元的配置和操作]
图11和图12示出滤波器运算单元的配置。当执行抽头可变垂直滤波处理时，滤波器运算单元245改变抽头的图像数据或改变抽头数目，使得即使在存储图像数据的行数减少时仍可以执行垂直滤波处理。图11示出当在改变抽头的图像数据的同时执行垂直滤波处理时的滤波器运算单元的配置。另外，图12示出当在改变抽头数目的同时执行垂直滤波处理时的滤波器运算单元的配置。
在图11中，滤波器运算单元245包括数据存储单元2451、数据选择单元2452、以及算术处理单元2453。
当行存储器的存储器容量减少时，数据存储单元2451存储要用于所述减少行的位置处的抽头的图像数据。数据存储单元2451将存储在数据存储单元2451中的图像数据输出到数据选择单元2452作为减少行的位置处的抽头的图像数据。
数据选择单元2452选择存储在数据存储单元2451中的图像数据和存储在行存储器中的图像数据之一，并将选择的图像数据输出到算术处理单元2453。
算术处理单元2453利用从加法器23和数据选择单元2452提供的图像数据和从系数存储器244读取的滤波系数执行算术处理，以生成垂直滤波处理之后的图像数据，并将该图像数据输出到帧存储器25。
在图12中，滤波器运算单元245包括算术处理单元2455和算术处理单元2456。
算术处理单元2455以预定数目的抽头执行算术处理，并将垂直滤波处理之后的图像数据输出到数据选择单元2457。
算术处理单元2456在不使用减少行的图像数据的情况下，通过根据行存储器的存储器容量的减少来减少抽头数目以执行算术处理，并将垂直滤波处理之后的图像数据输出到数据选择单元2457。
数据选择单元2457根据边界是否是LCU间行边界选择图像数据。当边界不是LCU间的边界时，数据选择单元2457选择从算术处理单元2455输出的图像数据。另外，当边界是LCU间行边界时，数据选择单元2457选择从算术处理单元2456输出的图像数据。
图13(A)和图13(B)为用于描述滤波器运算单元245的操作的图。附图示出两个相邻块BKu和BKl的各个像素的图像数据。这里，使用各自从边界(行边界)BB起三个像素作为垂直滤波处理的滤波处理范围、并使用各自从边界BB起四个像素作为抽头来执行滤波运算。当确定要在强滤波模式下执行滤波时，通过算术处理单元2453和2455针对每列执行上述表达式(12)至(18)的操作。另外，当确定要在弱滤波模式下执行滤波时，通过算术处理单元2453和2455针对每列执行上述表达式(7)至(10)的操作。
当按照光栅顺序以各个LCU为单位执行去块滤波处理时，确定在强滤波模式下执行垂直滤波处理，并执行上述表达式(12)至(18)的操作。从而，如图13(A)所示，需要在行存储器中存储对应于从边界BB起四行的、在边界BB的上侧的块BKu的图像数据。
这里，滤波器运算单元245在位于边界BB的上侧的块中控制用于滤波运算的图像范围，从而即使在行存储器的存储器容量减少时仍可以执行垂直滤波处理。例如，如图13(B)所示，存储对应于从边界BB起三行的图像数据，并利用存储的图像数据执行垂直滤波处理。即，图11所示的算术处理单元2453执行表达式(25)的操作。另外，图12所示的算术处理单元2456执行表达式(26)的操作，并且数据选择单元2457从算术处理单元2456选择图像数据，并输出该图像数据。在表达式(25)和(26)中，“i”表示像素的列索引，并且当以8×8像素的块为单位执行滤波处理时，“i＝0至7”。
[数学公式7]
p2i’＝Clip1Y((2*p2i+3*p2i+p1i+p0i+q0i+4)＞＞3)…(25)
p2i’＝Clip1Y((5*p2i+p1i+p0i+q0i+4)＞＞3)…(26)
算术处理单元2453复制并使用在朝上的方向上位于滤波器处理范围的上端的上部块BKu中的像素。即，通过使用存储在数据存储单元2451中的位于滤波器处理范围的上端的像素的图像数据p2作为图像数据p3，通过表达式(25)的运算来计算滤波处理之后的图像数据p2i′。
算术处理单元2456减少抽头数目，并利用随着抽头数目的减少而变化的系数，通过表达式(26)的运算来计算滤波处理之后的图像数据p2i′。在该情况下，改变系数使得图像数据p2的系数从“3”变到“5”，以便对应于抽头范围中的上端像素的复制。
当边界BB不是LCU间行边界时，由于不需要使用行存储器241的图像数据，执行与常规运算相同的滤波运算，而不缩小用于滤波运算的图像范围。即，图11所示的算术处理单元2453执行与常规运算相同的滤波运算。另外，图12所示的算术处理单元2455执行与常规运算相同的滤波运算，并且数据选择单元2457从算术处理单元2455选择并输出图像数据。
以此方式，当边界是按照光栅扫描顺序顺次执行处理的块的行边界时，通过控制用于滤波运算的图像范围，即使行存储器的存储器容量减少，仍可以以与在减少前相同的方式执行去块滤波处理。另外，例如，4K×2K的图像的一行对应于2K×1K的图像的两行。另外，在H.264/AVC方案中，包括对应于四行的行存储器，并且对应于4K×2K的图像的一行的存储器容量对应于H.264/AVC方案的存储器容量的50％。从而，提高了在高分辨率图像的情况下减少存储器容量的效果。
[8.去块滤波单元的第二实施例]
去块滤波单元的第二实施例与第一实施例的不同在于，算术处理单元2453和算术处理单元2456的操作与第一实施例中的对应单元不同。
在进行强滤波时，当边界BB是LCU间行边界并且执行上述表达式(12)至(18)的操作时，如图13(A)所示，需要将位于对应于从边界BB起四行的、边界BB的上侧的块BKu的图像数据存储在行存储器中。
这里，滤波器运算单元245在位于边界BB的上侧的块中控制用于滤波运算的图像范围，从而即使在行存储器的存储器容量减少时仍可以执行垂直滤波处理。例如，如图13(B)所示，存储对应于从边界BB起三行的图像数据，并利用存储的图像数据执行垂直滤波处理。即，图11所示的算术处理单元2453执行表达式(27)的操作。另外，图12所示的算术处理单元2456执行表达式(28)的操作，并且数据选择单元2457从算术处理单元2456选择图像数据，并输出该图像数据。在表达式(27)和(28)中，“i”表示像素的列索引，并且当以8×8像素的块为单位执行滤波处理时，“i＝0至7”。
[数学公式8]
p2i’＝Clip1Y((2*p1i+3*p2i+p1i+p0i+q0i+4)＞＞3)…(27)
p2i’＝Clip1Y((3*p2i+3*p1i+p0i+q0i+4)＞＞3)…(28)
算术处理单元2453执行关于滤波器处理范围的上侧的上部块BKu中的像素的镜像复制。即，通过将图像数据p1存储在数据存储单元2451中、对关于滤波器处理范围中的上端像素的图像数据p1进行镜像复制以将图像数据p1用作图像数据p3，通过表达式(27)的运算来计算滤波处理之后的图像数据p2i'。
算术处理单元2456减少抽头数目，并利用随着抽头数目的减少而变化的系数，通过表达式(28)的运算来计算滤波处理之后的图像数据p2i'。在该情况下，改变系数使得图像数据p1的系数从“2”变到“3”，以便对应于关于滤波器处理范围中的上端像素的镜像复制。
当边界BB不是LCU间行边界时，由于不需要使用行存储器241的图像数据，执行与常规运算相同的滤波运算，而不缩小用于滤波运算的图像范围。即，图11所示的算术处理单元2453执行与常规运算相同的滤波运算。另外，图12所示的算术处理单元2455执行与常规运算相同的滤波运算，并且数据选择单元2457从算术处理单元2455选择并输出图像数据。
以此方式，类似于第一实施例，当边界是按照光栅扫描顺序顺次执行处理的块的行边界时，通过控制用于滤波运算的图像范围，即使存储器容量减少，仍可以执行去块滤波处理。
[9.去块滤波单元的第三实施例]
去块滤波单元的第三实施例与第一和第二实施例的不同在于，算术处理单元2453和算术处理单元2456的操作与第一实施例中的对应单元不同。
图14(A)和图14(B)为用于描述滤波器运算单元245的操作的图。附图示出两个相邻块BKu和BKl的各个像素的图像数据。这里，使用各自从边界(行边界)BB起三个像素作为垂直滤波处理的滤波处理范围、并使用各自从边界BB起四个像素作为抽头来执行滤波运算。当确定要在强滤波模式下执行滤波时，通过算术处理单元2453和2455针对每列执行上述表达式(12)至(18)的操作。当确定要在弱滤波模式下执行滤波时，通过算术处理单元2453和2455针对每列执行上述表达式(7)至(10)的操作。
当按照光栅顺序以各个LCU为单位执行去块滤波处理时，确定在强滤波模式下执行垂直滤波处理，并执行上述表达式(12)至(18)的操作。从而，如图14(A)所示，需要在行存储器中存储对应于从边界BB起四行的、在边界BB的上侧的块BKu的图像数据。
这里，滤波器运算单元245在位于边界BB的上侧的块中控制用于滤波运算的图像范围和滤波器处理范围，从而即使在行存储器的存储器容量减少时仍可以执行垂直滤波处理。例如，如图14(B)所示，将在上部块BKu中的滤波器处理范围设置为从边界BB起两个像素的范围，并且存储对应于从边界BB起两行的图像数据。另外，类似于第一实施例，利用存储的图像数据执行垂直滤波处理。即，图11所示的算术处理单元2453执行表达式(29)和(30)的操作。另外，图12所示的算术处理单元2456执行表达式(31)和(32)的操作，并且数据选择单元2457从算术处理单元2456选择图像数据，并输出该图像数据。在表达式(29)至(32)中，“i”表示像素的列索引，并且当以8×8像素的块为单位执行滤波处理时，“i＝0至7”。
[数学公式9]
p1i’＝Clip1Y((p1i+p1i+p0i+q0i+2)＞＞2)…(29)
p0i’＝Clip1Y((p1i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3)…(30)
p1i’＝Clip1Y((2*p1i+p0i+q0i+2)＞＞2)…(31)
p0i’＝Clip1Y((3*p1i+2*p0i+2*q0i+q1i+4)＞＞3)…(32)
算术处理单元2453复制并使用在朝上的方向中位于滤波器处理范围的上端的上部块BKu中的像素。即，通过使用存储在数据存储单元2451中的位于滤波器处理范围的上端的像素的图像数据p1作为图像数据p2，通过表达式(29)和(30)的运算来计算滤波处理之后的图像数据p1i′和p0i′。
算术处理单元2456减少抽头数目，并利用随着抽头数目的减少而变化的系数，通过表达式(31)和(32)的运算来计算滤波处理之后的图像数据p1i′和p0i′。在该情况下，改变系数使得表达式(31)中的图像数据p1的系数从“1”变到“2”、并且表达式(32)中的图像数据p1从“2”变到“3”，以便对应于抽头范围中的上端像素的复制。
当边界BB不是LCU间行边界时，由于不需要使用行存储器241的图像数据，执行与常规运算相同的滤波运算，而不缩小用于滤波运算的图像范围。即，图11所示的算术处理单元2453执行与常规运算相同的滤波运算。另外，图12所示的算术处理单元2455执行与常规运算相同的滤波运算，并且数据选择单元2457从算术处理单元2455选择并输出图像数据。
以此方式，当边界是按照光栅扫描顺序顺次执行处理的块的行边界时，通过控制用于滤波运算的图像范围和滤波器处理范围，即使存储器容量减少，仍可以以与在减少前相同的方式执行去块滤波处理。另外，可以更多地减少存储器容量。
[10.去块滤波单元的第四实施例]
去块滤波单元的第四实施例与第三实施例的不同在于，算术处理单元2453和算术处理单元2456的操作与第三实施例中的对应单元不同。
在进行强滤波时，当边界BB是LCU间行边界并且执行上述表达式(12)至(18)的运算时，如图14(A)所示，需要将位于对应于从边界BB起四行的、在边界BB的上侧的块BKu的图像数据存储在行存储器中。
这里，滤波器运算单元245在位于边界BB的上侧的块中控制用于滤波运算的图像范围和滤波器处理范围，从而即使在行存储器的存储器容量减少时仍可以执行垂直滤波处理。例如，如图14(B)所示，将在上部块BKu中的滤波器处理范围设置为从边界BB起两个像素的范围，并且存储对应于从边界BB起两行的图像数据。另外，类似于第二实施例，利用存储的图像数据执行垂直滤波处理。即，图11所示的算术处理单元2453执行表达式(33)和(34)的运算。另外，图12所示的算术处理单元2456执行表达式(35)和(36)的运算，并且数据选择单元2457从算术处理单元2456选择图像数据，并输出该图像数据。在表达式(33)至(36)中，“i”表示像素的列索引，并且当以8×8像素的块为单位执行滤波处理时，“i＝0至7”。
[数学公式10]
p1i’＝Clip1Y((p0i+p1i+p0i+q0i+2)＞＞2)…(33)
p0i’＝Clip1Y((p0i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3)…(34)
p1i’＝Clip1Y((p1i+2*p0i+q0i+2)＞＞2)…(35)
p0i’＝Clip1Y((2*p1i+3*p0i+2*q0i+q1i+4)＞＞3)…(36)
算术处理单元2453执行关于滤波器处理范围的上侧的上部块BKu中的像素的镜像复制。即，通过将图像数据p0存储在数据存储单元2451中、对关于滤波处理范围中的上端像素的图像数据p0进行镜像复制以将图像数据p0用作图像数据p2，通过表达式(33)和(34)的运算来计算滤波处理之后的图像数据p1i′和p0i′。
算术处理单元2456减少抽头数目，并利用随着抽头数目的减少而变化的系数，通过表达式(35)和(36)的运算来计算滤波处理之后的图像数据p1i′和p0i′。在该情况下，改变系数使得表达式(35)中的图像数据p0的系数从“1”变到“2”、并且表达式(36)中的图像数据p0从“2”变到“3”，以便对应于关于滤波器处理范围中的上端像素的镜像复制。
当边界BB不是LCU间行边界时，由于不需要使用行存储器241的图像数据，执行与常规运算相同的滤波运算，而不缩小用于滤波运算的图像范围。即，图11所示的算术处理单元2453执行与常规运算相同的滤波运算。另外，图12所示的算术处理单元2455执行与常规运算相同的滤波运算，并且数据选择单元2457从算术处理单元2455选择并输出图像数据。
以此方式，当边界是按照光栅扫描顺序顺次执行处理的块的行边界时，通过控制用于滤波运算的图像范围和滤波器处理范围，即使存储器容量减少，仍可以以与在减少前相同的方式执行去块滤波处理。另外，可以更多地减少存储器容量。
[11.去块滤波单元的第五实施例]
上述去块滤波单元在位于边界的上侧的块中控制用于滤波运算的图像范围，并根据边界BB是否是LCU间行边界来控制滤波器处理范围。接着，在第五实施例中，将描述这样的情况，其中提供了当边界BB是LCU间行边界时控制图像范围的模式、以及不管边界BB是否是LCU间行边界均控制图像范围的模式。
图15为示出第五实施例的操作的流程图。在步骤ST81，去块滤波单元24检测行边界。去块滤波单元24检测执行垂直滤波处理的行边界。
在步骤ST82，去块滤波单元24确定滤波器强度。去块滤波单元24针对执行垂直滤波处理的行边界确定是使用强滤波模式还是弱滤波模式。
在步骤ST83，去块滤波单元24确定是否仅针对LCU间行边界执行范围减小的垂直滤波处理(即，是否通过减小用于滤波运算的图像范围来执行垂直滤波处理)。当确定针对小于LCU的尺寸的块的行边界以及LCU间行边界执行范围减小的垂直滤波处理时，去块滤波单元24前进到步骤ST84。另外，当确定仅针对LCU间行边界执行范围减小的垂直滤波处理时，去块滤波单元24前进到步骤ST85。
例如，去块滤波单元24基于以帧单位设置的量化参数确定是否仅针对LCU间行边界执行范围减小的垂直滤波处理。当量化参数较小时，相比于量化参数较大时获得更好的图像质量。从而，当量化参数大于预定阈值时，去块滤波单元24确定将在如下模式下执行垂直滤波处理并前进到步骤ST84，在该模式下，通过仅针对LCU间行边界执行范围减小的垂直滤波处理，并针对小于LCU的尺寸的块的行边界执行正常垂直滤波处理而改善图像质量。另外，当量化参数小于或等于预定阈值时，去块滤波单元24确定将在如下模式下执行垂直滤波处理并前进到步骤ST85，在该模式下，通过针对小于LCU的尺寸的块之间的行边界以及LCU间行边界执行范围减小的垂直滤波处理而使得控制容易。
在步骤ST84，去块滤波单元24确定执行垂直滤波处理的边界是否是LCU间行边界。当执行垂直滤波处理的边界是LCU间行边界时，去块滤波单元24前进到步骤ST85，而当所述边界是小于LCU的尺寸的块的行边界时，则去块滤波单元24前进到步骤ST86。
在步骤ST85，去块滤波单元24执行范围减小的垂直滤波处理。去块滤波单元24在减少用于上部相邻LCU的滤波运算的图像范围的同时执行垂直滤波处理，并且前进到步骤ST87。在范围减小的垂直滤波处理中，可以减小滤波范围。
在步骤ST86，去块滤波单元24执行正常的垂直滤波处理。去块滤波单元24在不减少用于滤波运算的图像范围的情况下执行垂直滤波处理，并且前进到步骤ST87。
在步骤ST87，去块滤波单元24确定在边界处的垂直滤波处理是否已经完成。当用于边界的各个列的垂直滤波处理尚未完成时，去块滤波单元24返回到步骤ST87并执行用于下一列的处理。另外，当用于边界的各个列的垂直滤波处理已经完成时，流程前进到步骤ST88。
在步骤ST88，去块滤波单元24确定是否已经完成直到画面结尾的处理。当尚未完成直到画面结尾的处理时，去块滤波单元24返回到步骤ST81，检测新的边界并执行垂直滤波处理。当已经完成直到画面结尾的处理时，去块滤波单元24结束用于一个画面的处理。
当执行这样的处理时，可以减小行存储器的存储器容量。当针对其它行边界以及LCU间行边界执行范围减小的垂直滤波处理时，不需要切换滤波处理，并且使得控制容易。另外，当仅针对LCU间行边界执行范围减小的垂直滤波处理时，可以获得更好的图像质量。
[12.对第六至第八实施例的描述]
[对常规技术的描述]
在上述描述中，已经描述了这样的示例，其中，图像范围中的抽头的图像数据被复制或镜像复制，并被用作由于缩小用于滤波运算的图像范围导致的在图像范围以外的抽头的图像数据。这里，在本说明书中，复制与填充(padding)同义。
如在本技术中一样，在JCTVC-F053中已经提出了仅利用在LCU的行边界中的填充来执行滤波处理的方法。
参考图16，将描述HEVC方案中的强滤波器的滤波处理和利用针对亮度信号的填充的滤波处理。
图16为示出与插入的行边界垂直相邻的两个块BKu和BKl中的像素的示例的说明图。在图16的示例中，通过符号“pji”表示块BKu中的像素的图像数据。这里，“j”为像素的行索引，而“i”是像素的列索引。另外，编码处理的最小单位是8×8像素的块，并且从接近行边界BB的行(从上到下)顺序分配0、1、2和3的行索引“j”。从块的左至右分配0、1、2、…、和7的列索引“i”。图中省略了块BKu的上半边。另一方面，通过符号“qki”表示块BKl中的像素的图像数据。这里，“k”为像素的行索引，而“i”是像素的列索引。从接近行边界BB的行(从上到下)顺序分配0、1、2、和3的行索引“k”。图中也省略了块BKl的下半边。
在HEVC方案的亮度信号的强滤波中，通过执行表达式(37)至(42)的运算来计算滤波处理范围中的各个像素的亮度分量。表达式(37)至(42)分别对应于表达式(14)、(16)、(13)、(17)、(12)和(18)。
[数学公式11]
p00＝Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3)；i＝0，7…(37)
q00＝Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7…(38)
p10＝Clip0-255((p2i+p1i+p0i+q0i+2)＞＞2)；i＝0，7…(39)
q10＝Clip0-255((p0i+q0i+q1i+q2i+2)＞＞2)；i＝0，7…(40)
p20＝Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)＞＞3)；i＝0，7…(41)
q20＝Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)＞＞3)；i＝0，7…(42)
这里，“Clip0-255”指示当值小于或等于“0”时将值舍入为直到“0”并且当值大于或等于“255”时将值舍入为下至“255”的剪切处理。对下面的表达式施加相同的处理。
相比之下，在上述常规技术中，利用R2W2减小的填充来执行滤波处理，但是仅在LCU的行边界处执行滤波处理。这里，R2W2表示通过参考LCU间行边界上的两个像素，对LCU间行边界上的两个像素施加滤波处理。
在常规技术中的亮度信号的强滤波中，通过执行表达式(43)至(47)的运算来计算滤波处理范围中的各个像素的亮度分量。
[数学公式12]
·p00＝Clip0-255((p1i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3)；i＝0，7…(43)
·q00＝Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7…(44)
·p10＝Clip0-255((p1i+p1i+p0i+q0i+2)＞＞2)；i＝0，7…(45)
·q10＝Clip0-255((p0i+q0i+q1i+q2i+2)＞＞2)；i＝0，7…(46)
·q20＝Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)＞＞3)；i＝0，7…(47)
这里，常规技术中的强滤波的表达式(43)的不同在于，HEVC方案的强滤波的表达式(37)的“p2i”被变为“p1i”。常规技术中的强滤波的表达式(45)的不同在于，HEVC方案的强滤波的表达式(39)的“p2i”被变为“p1i”。常规技术中的强滤波的不同在于，与HEVC方案的强滤波的表达式(41)对应的表达式被删除。
常规技术中的强滤波的表达式(44)、(46)和(47)分别与HEVC方案的强滤波的表达式(38)、(40)和(42)相同。
即，在常规技术中，由于未参考从块Bku的行边界BB起第三行上的像素“p2i”，所以紧接在相同列的第三行之下的行上的像素“p1i”被填充并且被代替地使用。
另外，未对从块Bku的行边界BB起第三行上的像素“p20”施加滤波处理。从而，在常规技术中的强滤波中，删除与HEVC方案的强滤波的表达式(41)对应的表达式。
通过这样，在常规技术中，抑制了行存储器的存储器容量变得大于HEVC方案的存储器容量。
然而，在4k图像的情况下，由于需要较大行存储器，从而需要在去块处理中进一步减小行存储器。然而，在减小行存储器时，需要保持比常规技术的方法更好的对去块处理的块噪声减少功能。
这里，在HEVC方案的块间边界确定中，如下面的表达式(48)所示，对在行边界的两侧均具有恒定倾斜度的波形执行处理。从而，在本技术中，利用在块间边界确定中使用的波形的倾斜度来执行LCU间行边界处的去块处理，这将在下面详细。
[数学公式13]
|p22-2*p12+p02|+|q22-2*q12+q02|+|p25-2*p15+p05|+|q25-2*q15+q05|＜β
…(48)
[对本技术(线性近似)的描述]
在图17中的示例中，示出表达式(48)的在HEVC方案中使用的块间边界确定表达式。
如图17所示，表达式(48)的左侧第一项是用于确定从块Bku的左侧起第三列上的像素的表达式，并且可以由差的差(二阶差)(即，具有恒定倾斜度的二阶微分)来表示。
p22-2＊p12+p02＝(p22-p12)-(p12-p02)
表达式(48)左侧的第二至第四项分别是用于确定从块Bku的左侧起第六列上的像素的表达式、用于确定从块Bkl的左侧起第三列上的像素的表达式、以及用于确定从块Bkl的左侧起第六列上的像素的表达式。这对于表达式(48)左侧的第二至第四项是相同的。
如上所述，在HEVC方案中的块间边界确定中，由于对具有恒定倾斜度的波形进行处理，从而位于LCU间行边界处的去块处理使用在块间边界确定中使用的波形的倾斜度。
在常规技术中，对于无法参考的像素，在LCU间行边界处的去块处理使用填充。相比之下，在本技术中，对于无法参考的像素，位于LCU间行边界处的去块处理利用波形的倾斜度来执行线性近似。
即，在本技术的LCU间行边界处的去块处理中，使用下面的线性近似的表达式(49)。
[数学公式14]
Figure BDA0003100230190000391
如图18所示，当p2i、p1i和p0i的像素值具有倾斜度时，在常规基于R2W2的填充中无法参考p2i的像素值。从而，尽管如阴影圆圈所示，填充并使用紧接在像素p2i之下的p1i的像素值以代替p2i的像素值，然而，由于p2i的实际像素值位于虚线圆圈的位置处，从而出现错误。
相比之下，在本技术的基于R2W2的线性预测中，由于无法参考p2i的像素值，所以如阴影圆圈所示，通过根据基于p1i和p0i的像素值的倾斜度的线性预测而预测的像素值(＝与实际像素值相同的像素值被用作为p2i的像素值。
通过这样，当像素值具有倾斜度时，本技术不会比常规填充方法造成更多的错误。从而，尽管使用基于R2W2的技术，但是可以在保持去块处理的块噪声减小功能的同时减小行存储器。
另外，例如，4K×2K的图像的一行对应于2K×1K的图像的两行。另外，在H.264/AVC方案中，包括对应于四行的行存储器，并且与4K×2K的图像的一行对应的存储器容量对应于H.264/AVC方案的存储器容量的50％。从而，提高了在高分辨率图像的情况下减少存储器容量的效果。
当p2i、p1i、和p0i的像素值不具有倾斜度时，获得与当使用紧接在像素p2i之下的p1i的像素值时基本相同的结果。在该情况下，尽管使用基于R2W2的技术，但是可以在保持去块处理的块噪声减小功能的同时减小行存储器。
[用于R2W2情况的滤波处理]
下面将描述用于R2W2情况的亮度信号的滤波处理。这里，R2表示所参考的像素数目，并且W2表示被施加滤波处理的像素数目。即，如图19所示，R2W2表示通过参考LCU间行边界上的两个像素，对LCU间行边界上的两个像素施加滤波处理。
在图19的示例中，示出了在从图16中的块BKu中的行边界BB起第三列和第四列上的像素无法被参考。
如再次为了比较而示出的那样，在HEVC方案的亮度信号的强滤波中，通过执行表达式(50)至(55)的运算来计算滤波处理范围中的各个像素的亮度分量。表达式(50)至(55)分别对应于表达式(37)至(42)。
[数学公式15]
p00＝Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3)；i＝0，7…(50)
q00＝Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7…(51)
p10＝Clip0-255((p2i+p1i+p0i+q0i+2)＞＞2)；i＝0，7…(52)
q10＝Clip0-255((p0i+q0i+q1i+q2i+2)＞＞2)；i＝0，7…(53)
p20＝Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)＞＞3)；i＝0，7…(54)
q20＝Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)＞＞3)；i＝0，7…(55)
相比之下，在本技术的R2W2情况下的亮度信号的强滤波中，通过执行表达式(56)至(60)的运算来计算滤波处理范围中的各个像素的亮度分量。
[数学公式16]
p00＝Clip0-255((4*p1i+p0i+2*q0i+q1i+4)＞＞3)；i＝0，7…(56)
q00＝Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7…(57)
p10＝Clip0-255((3*p1i+q0i+2)＞＞2)；i＝0，7…(58)
q10＝Clip0-255((p0i+q0i+q1i+q2i+2)＞＞2)；i＝0，7…(59)
q20＝Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)＞＞3)；i＝0，7…(60)
这里，R2W2情况的强滤波的表达式(56)的不同在于，根据线性近似的表达式(49)将HEVC方案的强滤波的表达式(50)中的“p2i+2＊p1i+2＊p0i”改变为“4＊p1i+p0i”。
R2W2情况的强滤波的表达式(58)的不同在于，根据线性近似的表达式(49)将HEVC方案的强滤波的表达式(52)中的“p2i+
2＊p1i+p0i”改变为“3＊p1i”。
R2W2情况中的强滤波的不同在于，与HEVC方案的强滤波的表达式(54)对应的表达式被删除。
即，在本技术的R2W2情况中，由于从块Bku的行边界BB起第三行上的像素“p2i”无法被参考，从而线性近似的表达式(49)被替换并被代替地使用。
另外，未对从块Bku的行边界BB起第三行上的像素“p20”施加滤波处理。从而，在R2W2情况中的强滤波中，删除与HEVC方案的强滤波的表达式(54)对应的表达式。
下面将描述用于行边界处的亮度信号的弱滤波确定表达式和弱滤波。
首先，在HEVC方案中的用于亮度信号的弱滤波确定表达式和弱滤波中，通过执行表达式(61)至(63)的运算来计算滤波处理范围中的各个像素的亮度分量。表达式(61)至(63)的第一项是弱滤波确定表达式。
[数学公式17]
if(abs(delta)＜iThrCut)，delta＝(9*(q0i-p0i)-3*(q1i-p1i))
·p00＝Clip0-255(p0i+Clip(-tc)-tc(delta))；i＝0，7
·q00＝Clip0-255(q0i-Clip(-tc)-tc(delta))；i＝0，7…(61)
if(abs((p22-2*p12+p02)+abs(p25-2*p15+p05)＜iSideThreshold))
·p10＝Clip0-255(p1i+Clip(-tc2)-tc2((((p2i+p0i+1)＞＞1)-p1i+delta)＞＞1)；i＝0，7…(62)
if(abs((q22-2*q12+q02)+abs(q25-2*q15+q05)＜iSideThreshold))
·q10＝Clip0-255(q1i+Clip(-tc2)-tc2((((q2i+q0i+1)＞＞1)-q1i-delta)＞＞1)；i＝0，7…(63)
这里，如上所述，“Clip0-255”指示当值小于或等于“0”时将值舍入为直到“0”并且当值大于或等于“255”时将值舍入为下至“255”的剪切处理。另外，“Clip(-tc)-tc”指示当值小于或等于“-tc”时将值舍入为直到“-tc”并且当值大于或等于“tc”时将值舍入为下至“tc”的剪切处理。“tc2”剪切是一样的。对下面的表达式施加相同的处理。这里，“tc”是基于如表1中所示的参数Q设置的值。
相比之下，在R2W2情况下的用于亮度信号的弱滤波确定表达式和弱滤波中，通过执行表达式(64)至(66)的运算来计算滤波处理范围中的各个像素的亮度分量。表达式(64)至(66)的第一项是弱滤波确定表达式。
[数学公式18]
if(abs(delta)＜iThrCut)，delta＝(9*(q0i-p0i)-3*(q1i-p1i))
·p00＝Clip0-255(p0i+Clip(-tc)-tc(delta))；i＝0，7
·q00＝Clip0-255(q0i-Clip(-tc)-tc(delta))；i＝0，7…(64)
if(abs(0-(p12-p02))+abs(0-(p15-p05))＜iSideThreshold))
·p10＝Clip0-255(p1i+Clip(-tc2)-tc2((((p1i+p1i+1)＞＞1)-p1i+delta)＞＞1)；i＝0，7…(65)
if(abs((q22-2*q12+q02)+abs(q25-2*q15+q05)＜iSideThreshold))
·q10＝Clip0-255(q1i+Clip(-tc2)-tc2((((q2i+q0i+1)＞＞1)-q1i-delta)＞＞1)；i＝0，7…(66)
这里，作为R2W2情况的表达式(65)中的弱滤波表达式的第二项的tc2剪切中的表达式不同于根据线性近似的表达式(49)的HEVC方案的表达式(62)中的第二项的tc2剪切中的表达式。即，HEVC方案的第二项的tc2剪切中的表达式“((((p2i+p0i+1)＞＞1)-p1i+delta)＞＞1)”被改变为第二项的tc2剪切中的表达式“((((p1i+p1i+1)＞＞1)-p1i+delta)＞＞1)”。
另外，作为R2W2情况的表达式(65)中的弱滤波确定表达式的第一项的如果从句中的表达式不同于HEVC方案的表达式(62)中的第一项的如果从句中的表达式。即，在HEVC方案的第一项的如果从句中的表达式“abs(p22-2＊p12+p02)+abs(p25-2＊p15+p05)”被改变为第一项的如果从句中的表达式“abs(0-(p12-p02))+abs(0-(p15-p05))”。
即，在表达式(65)的第一项中，如下面的表达式(67)所示，填充紧接在当前像素之下的像素，而不是对其进行线性近似。换句话说，表达式“abs(0-(p12-p02))”中的“0”表示“0＝p22-p12”，并且表达式“abs(0-(p15-p05))”中的“0”表示“0＝p25-p15”。
[数学公式19]
Figure BDA0003100230190000421
这是因为，对于滤波确定表达式中的倾斜度确定，线性近似的使用使得忽略实际不能忽略的确定。从而，在弱滤波确定表达式的倾斜度确定中，如表达式(67)所示，填充紧接在当前像素之下的像素。这对于下面的强滤波确定表达式和块间边界确定表达式是一样的。
下面，将描述用于行边界处的亮度信号的强滤波确定表达式和块间边界确定表达式。
首先，通过下面的表达式(68)表示HEVC方案中的用于亮度信号的块间边界确定表达式，并通过下面的表达式(69)表示强滤波确定表达式。
[数学公式20]
if(abs((p22-2*p12+p02)+abs(p25-2*p15+p05)+abs((q22-2*q12+q02)+abs((q25-2*q15+q05)+＜β)…(68)
[数学公式21]
d＜(β＞＞2)，d＝abs((p22-2*p12+p02)+abs(p25-2*p15+p05)+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)
and(|p3i-p0i|+|q0i-q3i|)＜(β＞＞3
and|p0i-q0i|＜((5*tc+1)＞＞1)…(69)
相比之下，通过下面的表达式(70)表示本技术的R2W2情况下的块间边界确定表达式，并通过下面的表达式(71)表示强滤波确定表达式。
[数学公式22]
if(abs(0-(p12-p02))+abs(0-(p15-p05))+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)＜β)…(70)
[数学公式23]
d＜(β＞＞2)，d＝abs(0-(p12-p02))+abs(0-(p15-p05))+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)
and(|(p1i-p0i)＜＜1|+|q0i-q3i|)＜(β＞＞3)
and|p0i-q0i|＜((5*tc+1)＞＞1)…(71)
用于R2W2情况的块间边界确定的表达式(70)的如果从句的第一和第二项不同于用于根据用于填充的表达式(67)的HEVC方案的块间边界确定的表达式(68)的如果从句的第一和第二项。即，HEVC方案的如果从句中的第一和第二项“abs(p22-2＊p12+p02)+abs(p25-2＊p15+p05)”被改变为如果从句中的第一和第二项“abs(0-(p12-p02))+abs(0-(p15-p05))”。
另外，用于R2W2情况的强滤波确定的表达式(71)的第一行上的绝对值中的表达式不同于用于根据用于填充的表达式(67)的HEVC方案中的强滤波确定的表达式(69)的第一行上的绝对值中的表达式。即，表达式(69)的第一行上的绝对值中的表达式“abs(p22-2＊p12+p02)+abs(p25-2＊p15+p05)”被改变为表达式(71)的第一行上的绝对值中的表达式“abs(0-(p12-p02))+abs(0-(p15-p05))”。
另外，用于R2W2情况的强滤波确定的表达式(71)的第一个“和”之后出现的表达式不同于HEVC方案中的用于强滤波确定的表达式(69)的第一个“和”之后出现的表达式。即，表达式(69)的第一个“和”之后出现的表达式“(|p3i-p0i<<1|+|q0i-q3i|)<
(β>>3))”被改变为表达式(71)的第一个“和”之后出现的表达式“(|p1i-p0i<<1|+|q0i-q3i|)<(β>>3))”。
由于对该部分的确定是像素值的大小的确定，从而使用用于线性近似的表达式(49)和用于填充的表达式(67)。即，以这样的方式生成在表达式(71)的第一个“和”之后出现的表达式，使得首先通过填充将表达式(69)的第一个“和”之后出现的表达式中的“p3i”近似为“p2i”，并通过线性近似将“p2i”近似为“2＊p1i-p0i”。
[用于R2W1情况的滤波处理]
下面将描述用于R2W1情况的亮度信号的滤波处理。这里，R2表示所参考的像素数目，W1表示被施加滤波处理的像素数目。即，如图19所示，R2W1表示通过参考LCU间行边界上的两个像素，对LCU间行边界上的一个像素施加滤波处理。
在本技术的R2W1情况下的亮度信号的强滤波中，通过执行表达式(72)至(75)的运算来计算滤波处理范围中的各个像素的亮度分量。
[数学公式24]
p00＝Clip0-255((4*p1i+p0i+2*q0i+q1i+4)＞＞3)；i＝0，7…(72)
q00＝Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7…(73)
q10＝Clip0-255((p0i+q0i+q1i+q2i+2)＞＞2)；i＝0，7…(74)
q20＝Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)＞＞3)；i＝0，7…(75)
这里，R2W1情况的强滤波的表达式(72)的不同在于，根据线性近似的表达式(49)将HEVC方案的强滤波的表达式(50)中的“p2i+2＊p1i+2＊p0i”改变为“4＊p1i+p0i”。
R2W1情况中的强滤波的不同在于，与HEVC方案的强滤波的表达式(52)和(54)对应的表达式被删除。
即，在该技术中，由于从块Bku的行边界BB起第三行上的像素“p2i”无法被参考，从而线性近似的表达式(49)被替换并被代替地使用。
另外，未对从块Bku的行边界BB起第二和第三行上的像素“p10”和“p20”施加滤波处理。从而，在R2W1情况下的强滤波中，删除与HEVC方案的强滤波的表达式(52)和(54)对应的表达式。
下面将描述用于行边界处的亮度信号的弱滤波确定表达式和弱滤波。
在R2W1情况下的用于亮度信号的弱滤波确定表达式和弱滤波中，通过执行表达式(76)和(77)的运算来计算滤波处理范围中的各个像素的亮度分量。
[数学公式25]
if(abs(delta)＜iThrCut)，delta＝(9*(q0i-p0i)-3*(q1i-p1i))
p00＝Clip0-255(p0i+Clip(-tc)-tc(delta))；i＝0，7
q00＝Clip0-255(q0i-Clip(-tc)-tc(delta))；i＝0，7…(76)
if(abs((q22-2*q12+q02)+abs(q25-2*q15+q05)＜iSideThreshold))
·q10＝Clip0-255(q1i+Clip(-tc2)-tc2((((q2i+q0i+1)＞＞1)-q1i-delta)＞＞1)；i＝0，7…(77)
这里，在R2W1情况下，未对从块Bku的行边界BB起第二行上的像素“p10”施加滤波处理。从而，在用于R2W1情况的弱滤波确定表达式和弱滤波中，删除与HEVC方案的表达式(62)对应的表达式。
下面，将描述用于行边界处的亮度信号的强滤波确定表达式和块间边界确定表达式。
通过下面的表达式(78)表示R2W1情况下的块间边界确定表达式，并通过下面的表达式(79)表示强滤波确定表达式。
[数学公式26]
if(abs(0-(p12-p02))+abs(0-(p15-p05))+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)＜β)…(78)
[数学公式27]
d＜(β＞＞2)，d＝abs(0-(p12-p02))+abs(0-(p15-p05))+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)
and(|(p1i-p0i)＜＜1|+|q0i-q3i|)＜(β＞＞3)
and|p0i-q0i|＜((5*tc+1)＞＞1)…(79)
用于R2W1情况的块间边界确定的表达式(78)的如果从句中的第一和第二项不同于用于根据用于填充的表达式(67)的HEVC方案的块间边界确定的表达式(68)的如果从句中的第一和第二项。即，HEVC方案的如果从句中的第一和第二项“abs(p22-2＊p12+p02)+
abs(p25-2＊p15+p05)”被改变为如果从句中的第一和第二项“abs(0-(p12-p02))+abs(0-(p15-p05))”。
另外，用于R2W1情况的强滤波确定的表达式(79)的第一行上的绝对值中的表达式不同于用于根据用于填充的表达式(67)的HEVC方案中的强滤波确定的表达式(69)的第一行上的绝对值中的表达式。即，表达式(69)的第一行的绝对值中的表达式“abs(p22-2＊p12+p02)+abs(p25-2＊p15+p05)”被改变为表达式(79)的第一行上的绝对值中的表达式“abs(0-(p12-p02))+abs(0-(p15-p05))”。
另外，用于R2W1情况的强滤波确定的表达式(79)的第一个“和”之后出现的表达式不同于HEVC方案中的用于强滤波确定的表达式(69)的第一个“和”之后出现的表达式。即，在表达式(69)的第一个“和”之后出现的表达式“(|p3i-p0i＜＜1|+|q0i-q3i|)＜(β＞＞3))”被改变为在表达式(79)的第一个“和”之后出现的表达式“(|p1i-p0i＜＜1|+|q0i-q3i|)＜(β＞＞3))”。
如以上结合R2W2情况所述的，由于对该部分的确定是像素值的大小的确定，从而使用用于线性近似的表达式(49)和用于填充的表达式(67)。即，以这样的方式生成在表达式(79)的第一个“和”之后出现的表达式，使得首先将表达式(69)的第一个“和”之后出现的表达式中的“p3i”近似为“p2i”，并将“p2i”近似为“2＊p1i-p0i”。
将参考图22至24描述用于基于线性近似来实现上述确定处理的配置示例和操作，作为去块滤波单元的第六和第七实施例。
如上所述，在该技术中，利用用于线性近似的表达式(49)和用于填充的表达式(67)改变位于行边界处的块间边界确定和强滤波确定表达式。从而，将强滤波处理添加到剪切处理，作为对如下情况的措施，在该情况下，错误地忽略确定表达式，并且错误地执行去块滤波处理。
[对本技术的描述(强滤波中的剪切处理)]
下面，将描述作为第八实施例的强滤波中的剪切处理。R2W2情况下的用于亮度信号的强滤波还可以使用添加了剪切处理的表达式(80)至(84)。
[数学公式28]
p00＝Clip0-255(p00+Clip(-t+)-tc(((4*p1i+p0i+2*q0i+q1i+4)＞＞3)-p00))；i＝0，7…(80)
q00＝Clip0-255(p00+Clip(-tc)-tc(((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)-p00))；i＝0，7…(81)
p10＝Clip0-255(p10+Clip(-tc)-tc(((3*p1i+q0i+2)＞＞2)-p10))；i＝0，7…(82)
q10＝Clip0-255(q10+Clip(-tc)-tc(((p0i+q0i+q1i+q2i+2)＞＞2)-q10))；i＝0，7…(83)
q20＝Clip0-255(q20+Clip(-tc)-tc(((p1i+q0i+q1i+3*q2i+2*q3i+4)＞＞3)-q20))；i＝0，7…(84)
用于强滤波的表达式(90)是用于滤波之后的p00的计算表达式。在用于强滤波的表达式(80)中，对在表达式(56)中的0至255的剪切处理中的表达式与p00之间的差施加(-tc)到tc的剪切处理以获得值，将该值添加到p00以获得另一个值，并对该另一个值执行0至255的剪切处理。
用于强滤波的表达式(81)是用于滤波之后的q00的计算表达式。在用于强滤波的表达式(81)中，对在表达式(57)中的0至255的剪切处理中的表达式与q00之间的差施加(-tc)到tc的剪切处理以获得值，将该值加到q00以获得另一个值，并对该另一个值执行0至255的剪切处理。
用于强滤波的表达式(82)是用于滤波之后的p10的计算表达式。在用于强滤波的表达式(82)中，对在表达式(58)中的0至255的剪切处理中的表达式与p10之间的差施加(-tc)到tc的剪切处理以获得值，将该值加到p10以获得另一个值，并对该另一个值执行0至255的剪切处理。
用于强滤波的表达式(83)是用于滤波之后的q10的计算表达式。在用于强滤波的表达式(83)中，对在表达式(59)中的0至255的剪切处理中的表达式与q10之间的差施加(-tc)到tc的剪切处理以获得值，将该值加到q10以获得另一个值，并对该另一个值执行0至255的剪切处理。
用于强滤波的表达式(84)是用于滤波之后的q20的计算表达式。在用于强滤波的表达式(84)中，对在表达式(60)中的0至255的剪切处理中的表达式与q20之间的差施加(-tc)到tc的剪切处理以获得值，将该值加到q20以获得另一个值，并对该另一个值执行0至255的剪切处理。
通过这样，可以抑制滤波处理的过度施加。
这里，提出Matthias Narroschke、Tomas Wedi、Semih Esenlik的"Results formodified decisions for deblocking,"JCTVC-G590,Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG16WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting，Geneva，CH，2011年11月21-30(下文中被称为非专利文献2)。
在非专利文献2中，描述了以各个块为单位执行强/弱滤波确定处理。然而，在非专利文献2中描述的确定处理中，当对当前行和该行所属的块单元的确定结果不同时(例如，当针对当前行确定弱滤波，而对包括该行的块确定强滤波时，对当前行施加条文信息(article information))，则施加了过度的滤波处理。
另外，在非专利文献2中，由于以四行为单位执行强/弱滤波确定处理，从而在确定和滤波处理之间出现不匹配。作为不匹配的示例，尽管需要确定强滤波，但是确定了弱滤波，以及尽管需要确定弱滤波，但是确定了强滤波。
在HEVC方案(HM-5.0)中的亮度信号的强滤波中，使用下面的表达式(85)至(89)。
[数学公式29]
p0i＝(p2i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3；i＝0，7…(85)
q0i＝(p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3；i＝0，7…(86)
p1i＝(3*p1i+q0i+2)＞＞2；i＝0，7…(87)
q1i＝(p0i+q0i+q1i+q2i+2)＞＞2；i＝0，7…(88)
q2i＝(p0i+q0i+q1i+3*q2i+2*q3i+4)＞＞3；i＝0，7…(89)
在本技术中，为了消除确定处理的不匹配和确定处理的不完全性，执行下面的表达式(90)至(94)中所示的剪切处理。在表达式(90)中，由于将对随着滤波处理而改变的部分Δ值执行剪切处理，从而p0i在剪切处理以外。这对于表达式(91)至(94)是一样的。
[数学公式30]
p0i＝p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)＞＞3)；i＝0，7…(90)
q0i＝q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7…(91)
p1i＝p1i+Clip(-pv)-(pv)((-p1i+q0i+2)＞＞2)；i＝0，7…(92)
q1i＝q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)＞＞2)；i＝0，7…(93)
q2i＝q2i+Clip(-pv)-(pv)((p0i+q0i+q1i-5*q2i+2*q3i+4)＞＞3)；i＝0，7…(94)
这里，剪切值“pv”是参数tc的1倍、2倍、3倍、4倍、5倍、6倍、7倍和8倍中的任一个。即，pv＝tc，2＊tc，3＊tc，4＊tc，5＊tc，6＊tc，7＊tc，8＊tc。尽管剪切值“pv”优选是参数tc的2倍，但是剪切值可以是所述参数的1倍至8倍中的任一个。另外，剪切值不限于1倍至8倍，只要获得相同的效果即可。
另外，“tc”随着量化参数QP而变化。从而，施加到“tc”的剪切值的倍数因子也可以随着QP增大而增大(即，随着QP而变化)。施加到剪切处理的参数(剪切值或施加到“tc”的剪切值的倍数因子的值)还可以被预先设置并被添加到编码流和解码侧的传输终端器。
可以修改上述表达式(90)至(94)，使得如下面的表达式(95)至(99)执行剪切处理。
[数学公式31]
p0i＝Clip0-255(p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)＞＞3))；i＝0，7…(95)
q0i＝Clip0-255(q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)＞＞3))；i＝0，7…(96)
p1i＝Clip0-255(p1i+Clip(-pv)-(pv)((-p1i+q0i+2)＞＞2))；i＝0，7…(97)
q1i＝Clip0-255(q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)＞＞2))；i＝0，7…(98)
q2i＝Clip0-255(q2i+Clip(-pv)-(pv)((p0i+q0i+q1i-5*q2i+2*q3i+4)＞＞3))；i＝0，7…(99)
这里，用于HEVC方案(HM-5.0)的亮度信号的强滤波的表达式(85)至(89)为用于位于行边界处的亮度信号的强滤波的表达式。即，在HEVC方案(HM-5.0)中，由下面的表达式(100)至(105)实际表示亮度信号的强滤波。
[数学公式32]
p0i＝(p2i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3；i＝0，7…(100)
q0i＝(p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3；i＝0，7…(101)
p1i＝(p2i+p1i+p0i+q0i+2)＞＞2；i＝0，7…(102)
q1i＝(p0i+q0i+q1i+q2i+2)＞＞2；i＝0，7…(103)
p2i＝(2*p3i+3*p2i+p1i+p0i+q0i+4)＞＞3；i＝0，7…(104)
q2i＝(p0i+q0i+p1i+3*q2i+2*q3i+4)＞＞3；i＝0，7…(105)
在本技术中，为了消除确定处理的不匹配和确定处理的不完全性，可以如表达式(106)至(1111)所示对用于亮度信号的强滤波施加剪切处理，以便对应于表达式(100)至(105)。在表达式(106)的第一表达式中，类似于上述表达式(90)至(94)，由于要对随着滤波处理而改变的部分Δ值执行剪切处理，从而p0i在剪切处理以外。这对于表达式(107)至(111)的第一表达式是一样的。
[数学公式33]
p0i＝p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)＞＞3)；i＝0，7
＝Clip(-pv)-(pv)((p2i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3)；…(106)
q0i＝q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7
＝Clip(-pv)-(pv)((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)；…(107)
p1i＝p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)＞＞2)；i＝0，7
＝Clip(-pv)-(pv)((p2i+p1i+p0i+q0i+2)＞＞2)；…(108)
q1i＝q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)＞＞2)；i＝0，7
＝Clip(-pv)-(pv)((p0i+q0i+q1i+q2i+2)＞＞2)；…(109)
p2i＝p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)＞＞3)；i＝0，7
＝Clip(-pv)-(pv)((2*p3i+3*p2i+p1i+p0i+q0i+4)＞＞3)；…(110)
q2i＝q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)＞＞3)；i＝0，7
＝Clip(-pv)-(pv)((p0i+q0i+p1i+3*q2i+2*q3i+4)＞＞3)；…(111)
这里，剪切值“pv”是参数tc的1倍、2倍、3倍、4倍、5倍、6倍、7倍和8倍中的任一个。即，pv＝tc，2＊tc，3＊tc，4＊tc，5＊tc，6＊tc，7＊tc，8＊tc。尽管剪切值“pv”优选是参数tc的2倍，但是剪切值可以是所述参数的1倍至8倍中的任一个。另外，剪切值不限于1倍至8倍，只要获得相同的效果即可。
另外，“tc”随着量化参数QP而变化。从而，施加到“tc”的剪切值的倍数因子也可以随着QP增大而增大(即，随着QP而变化)。施加到剪切处理的参数(剪切值或施加到“tc”的剪切值的倍数因子的值)还可以被预先设置并被添加到编码流和解码侧的传输终端器。
图20为示出通过实验获得的随着上述表达式(100)至(105)的HEVC方案(HM-5.0)中的亮度信号的强滤波而变化的像素值的最大值。
AI_HE、RA_HE、LB_HE和LP_HE指示该实验的条件。AI_HE指示在全部帧内高效模式下执行实验。RA_HE指示在随机存取高效模式下执行实验。LB_HE指示在低延迟B高效模式下执行实验。LP_HE指示在低延迟P高效模式下执行实验。
在AI_HE、RA_HE、LB_HE和LP_HE下方出现的“22、27、32和37”为实验中使用的量化参数的值。另外，类型A至类型F指示实验中使用的测试顺序的类型。
如图20所示，随着HEVC方案(HM-5.0)中的亮度信号的强滤波而变化的像素值(即，当剪切处理不存在时随着强滤波而变化的像素值)在一些情况中较大地变化100或更多。
从而，对亮度信号的强滤波施加剪切处理。由此，如图21所示，可以尽可能地抑制确定处理的不匹配和确定处理的不完全性的影响。
在图21的示例中，当存在由实线指示的边沿(不是块边界)时，尽管不执行去块处理，但是，如果根据非专利文献2的技术执行去块处理，则像素值将如虚线所示地极大地变化。
例如，如实线所示，在执行去块处理前，像素p2i、p1i和p0i的值是255，像素q0i、q1i和q2i的值是0，并且像素p0i和q0i的值之间的差D为255。
相比之下，如虚线所示，在执行去块处理之后，像素p2i的值为223，像素p1i的值是191，以及像素p0i的值是159。从而，像素p2i、p1i和p0i的像素值极大地变化。另外，在执行去块处理之后，像素q0i的值为96，像素q1i的值是64，以及像素q2i的值是32。从而，像素q0i、q1i和q2i的像素值极大地变化。
在该情况下，在上述表达式(106)至(111)的强滤波中，执行剪切值为10的剪切处理。
相比之下，如粗线所示，在执行去块处理之后，像素p2i、p1i和p0i的值是245，而像素q0i、q1i和q2i的值是255。从而，可以尽可能地抑制像素值的变化。
将参考后面的图25至图27描述强滤波中的剪切处理的配置示例和操作，作为去块滤波单元的第八实施例。
[13.去块滤波单元的第六实施例]
[去块滤波单元的配置示例]
图22示出去块滤波单元的第六实施例的配置。去块滤波单元24被配置为包括：图像存储器71、块边界确定单元72-1、滤波器强度确定单元73-1、滤波器运算单元74-1、选择器75、系数存储器76、以及滤波控制器77。去块滤波单元24被配置为还包括：行边界/块边界确定单元72-2、行边界滤波器强度确定单元73-2、以及行边界滤波器运算单元74-2。
图像存储器71是对应于图9的行存储器241的单元并且被配置为行存储器。图像存储器71存储从加法器23提供的图像数据。图像存储器71读取存储在图像存储器71中的图像数据并将读取的图像数据提供到块边界确定单元72-1、滤波器强度确定单元73-1和滤波器运算单元74-1。另外，图像存储器71读取存储在图像存储器71中的图像数据并将读取的图像数据提供到行边界/块边界确定单元72-2、行边界滤波器强度确定单元73-2和行边界滤波器运算单元74-2。
在除行边界之外的位置，图像数据未被存储在图像存储器71中，但是可能存在从加法器23提供的图像数据被提供到各个单元并被处理的情况。然而，在图22的示例中，为了方便起见，描述了对已通过图像存储器71的图像数据进行处理。
块边界确定单元72-1在控制器77的控制下执行块间边界确定。即，块边界确定单元72-1使用从图像存储器71读取的图像数据针对每个块执行块间边界确定处理，并检测执行滤波处理的块间边界。块边界确定单元72-1将检测结果输出到滤波器强度确定单元73-1。
滤波器强度确定单元73-1在控制器77的控制下以上述方式确定滤波器强度。即，滤波器强度确定单元73-1利用从图像存储器71提供的具有插入的块间边界的两个块的图像数据来确定将在强滤波模式还是弱滤波模式下针对每行执行滤波处理，并将确定结果输出到滤波器运算单元74-1。
滤波器运算单元74-1利用存储在行存储器71中的图像数据和从系数存储器76读取的滤波器系数，在控制器77的控制下以由滤波器强度确定单元73-1确定的滤波强度针对每行执行滤波运算。滤波器运算单元74-1将经过滤波处理的图像数据输出到选择器75。
当边界为LCU间行边界时，行边界/块边界确定单元72-2在控制器77的控制下执行块间边界确定。即，行边界/块边界确定单元72-2使用从图像存储器71读取的图像数据针对每个块执行块间边界确定处理，并检测执行滤波处理的块间边界。行边界/块边界确定单元72-2将检测结果输出到行边界滤波器强度确定单元73-2。
当边界为LCU间行边界时，行边界滤波器强度确定单元73-2在控制器77的控制下以上述方式确定滤波器强度。即，行边界滤波器强度确定单元73-2利用从图像存储器71提供的与插入的块间边界相邻的两个块的图像数据确定将在强滤波模式还是弱滤波模式下针对每行执行滤波处理，并将确定结果输出到行边界滤波器运算单元74-2。
行边界滤波器运算单元74-2利用存储在行存储器71中的图像数据和从系数存储器76读取的滤波器系数，在控制器77的控制下以由行边界滤波器强度确定单元73-2确定的滤波器强度针对每行执行滤波运算。行边界滤波器运算单元74-2将经过滤波处理的图像数据输出到选择器75。
选择器75在控制器77的控制下选择来自滤波器运算单元74-1的图像数据和来自行边界滤波器运算单元74-2的图像数据中的任一个，并将选择的图像数据输出到帧存储器25。
系数存储器76存储用于去块滤波处理的滤波运算中的滤波器系数。系数存储器76读取存储在系数存储器76中的滤波器系数，并将读取的滤波器系数提供到滤波器运算单元74-1和行边界滤波器运算单元74-2。
控制单元77控制去块滤波单元24的各个单元。例如，控制器77控制图像存储器71，以便存储对应于块中的下侧的预定数目行的图像数据，并读取存储在图像存储器71中的图像数据。控制器77被配置为包括LCU内行确定单元77A。
LCU内行确定单元77A确定边界是否是以各个块为单位LCU间行边界，其中以各个块为单位在光栅扫描方向上顺序执行所述处理，并且所述LCU内行确定单元77A将确定结果提供到块边界确定单元72-1、滤波器强度确定单元73-1和滤波器运算单元74-1，从而所述单元在边界不是行边界时执行处理。另外，LCU内行确定单元77A还将确定结果提供到行边界/块边界确定单元72-2、行边界滤波器强度确定单元73-2和行边界滤波器运算单元74-2，从而所述单元在边界是行边界时执行处理。另外，LCU内行确定单元77A将确定结果提供到选择器75，从而选择器在边界是行边界时从行边界滤波器运算单元74-2选择图像数据，并在边界不是行边界时从滤波器运算单元74-1选择图像数据。
例如，图22所示的去块滤波单元24可以被预先配置为执行R2W2处理，并可被配置为能够与图9的示例类似地控制滤波器处理范围和滤波运算范围。
[去块滤波单元的操作]
下面，将参考图23的流程图描述图22的去块滤波单元24的去块处理。在图23的示例中，将描述执行R2W2处理的情况。
在步骤S91，LCU内行确定单元77A确定施加的滤波器是否是以各个块为单位的LCU边界的垂直滤波器，其中以各个块为单位在光栅扫描方向上顺序执行处理。即，在步骤S91，确定边界是否是LCU间行边界以及施加的滤波器是否是垂直滤波器。
当在步骤S91中确定施加的滤波器是LCU边界的垂直滤波器时，流程前进到步骤S92。在步骤S92，行边界/块边界确定单元72-2在边界是LCU间行边界时在控制器77的控制下执行行边界的块间边界确定。
即，行边界/块边界确定单元72-2使用从图像存储器71读取的图像数据根据上述表达式(70)针对每个块执行块间边界确定处理，并检测执行滤波处理的块间边界。行边界/块边界确定单元72-2将检测结果输出到行边界滤波器强度确定单元73-2。
在步骤S93，行边界滤波器强度确定单元73-2在边界是LCU间行边界时在控制器77的控制下如上所述地确定行边界的滤波器强度。
即，行边界滤波器强度确定单元73-2利用从图像存储器71提供的与块间边界相邻的两个块的图像数据来确定将在强滤波模式还是弱滤波模式下执行滤波处理。根据上述表达式(71)确定强滤波模式。另外，根据上述表达式(64)至(66)的第一项确定弱滤波模式。行边界滤波器强度确定单元73-2将确定结果输出到行边界滤波器运算单元74-2。
在步骤S94，行边界滤波器运算单元74-2在控制器77的控制下执行行边界的滤波处理。即，行边界滤波器运算单元74-2利用存储在行存储器71中的图像数据和从系数存储器76读取的滤波器系数，以由行边界滤波器强度确定单元73-2确定的滤波器强度执行滤波运算。
在强滤波的情况下，根据上述表达式(56)至(60)执行滤波运算。另外，在弱滤波的情况下，根据上述表达式(64)至(66)的第二和第三项执行滤波运算。行边界滤波器运算单元74-2将经过滤波处理的图像数据输出到选择器75。
在步骤S95，LCU内行确定单元77A确定当前行是否是LCU的最后第八行。当在步骤S95中确定当前行不是LCU的最后第八行时，流程返回到步骤S93并重复后续的处理。
另外，当在步骤S95中确定当前行是LCU的最后第八行时，则流程前进到步骤S100。
另一方面，当在步骤S91中确定施加的滤波器不是LCU边界的垂直滤波器时，则流程前进到步骤S96。在步骤S96，块边界确定单元72-1在控制器77的控制下执行块间边界确定。
即，块边界确定单元72-1使用从图像存储器71读取的图像数据根据上述表达式(68)针对每个块执行块间边界确定处理，并检测执行滤波处理的块间边界。块边界确定单元72-1将检测结果输出到滤波器强度确定单元73-1。
在步骤S97，滤波器强度确定单元73-1在控制器77的控制下以上述方式确定滤波器强度。即，滤波器强度确定单元73-1利用从图像存储器71提供的与插入的块间边界相邻的两个块的图像数据确定将针对每行在强滤波模式还是弱滤波模式下执行滤波处理。根据上述表达式(69)确定强滤波模式。另外，根据上述表达式(61)至(63)的第一项确定弱滤波模式。滤波器强度确定单元73-1将确定结果输出到滤波器运算单元74-1。
在步骤S98，滤波器运算单元74-1在控制器77的控制下执行块边界的滤波运算。即，滤波器运算单元74-1利用存储在行存储器71中的图像数据和从系数存储器76读取的滤波器系数，以由滤波器强度确定单元73-1确定的滤波器强度针对每行执行滤波运算。
在强滤波的情况下，根据上述表达式(50)至(55)执行滤波运算。另外，在弱滤波的情况下，根据上述表达式(61)至(63)的第二和第三项执行滤波运算。滤波器运算单元74-1将经过滤波处理的图像数据输出到选择器75。
在步骤S99，LCU内行确定单元77A确定当前行是否是LCU的最后第八行。当在步骤S99中确定当前行不是LCU的最后第八行时，流程返回到步骤S97并重复执行后续的处理。
另外，当在步骤S99中确定当前行是LCU的最后第八行时，则流程前进到步骤S100。
在步骤S100，LCU内行确定单元77A确定当前块是否是图像的最后块。即，在步骤S100，确定边界是否是画面中的另一个块的行边界。
当在步骤S100中确定块是图像的最后块时，去块处理结束。当在步骤S100中确定块不是图像的最后块时，流程返回到步骤S91，并以光栅扫描顺序对下一个LCU重复执行后续处理。
在图22的示例中，LCU内行确定单元77A选择是使用用于除滤波器运算单元74-1中的行边界之外的情况的系数还是使用用于行边界滤波器运算单元74-2中的行边界的情况的系数。以此方式，切换在行边界处的滤波处理和在除行边界之外的位置处的滤波处理。
相比之下，仅可以使用一种系数，并且可以控制要读取的像素的地址，从而切换行边界处的滤波处理和在除行边界之外的位置处的滤波处理。
例如，将描述在基于R2W2的强滤波中的P00的计算作为示例。在用于HEVC方案的强滤波的表达式(50)中，
关于“p(block BKu)”的项为“p2i+2＊P1i+2＊q0i”。
另一方面，在用于HEVC方案的强滤波的表达式(56)中，
关于“p(block BKu)”的项是“4＊P1i+q0i”。
这里，4＊P1i+q0i＝q0i+2＊P1i+2＊P1i。
即，关于表达式(50)中的“p”的项和关于表达式(56)中的“p”的项还以从左侧开始的顺序使用系数1、2和2。从而，通过利用相同的系数替换(改变读取地址)要与所述系数相乘的像素值，可以在行边界处的滤波处理与在除行边界之外的位置处的滤波处理之间切换。
[14.去块滤波单元的第七实施例]
[去块滤波单元的配置示例]
图24示出去块滤波单元的第七实施例的配置。
在图24的示例中，去块滤波单元24被配置为包括：图像存储器71、块边界确定单元72、滤波器强度确定单元73、滤波器运算单元74、系数存储器76、以及控制器77。
在图24的去块滤波单元24中，图像存储器71、系数存储器76和控制器77与图22的去块滤波单元24的所述部件相同。
图24的去块滤波单元24与图22的去块滤波单元24的不同在于，块边界确定单元72-1和行边界/块边界确定单元72-2被一起改变为块边界确定单元72。图24的去块滤波单元24与图22的去块滤波单元24的不同在于，滤波器强度确定单元73-1和行边界滤波器强度确定单元73-2被一起改变为滤波器强度确定单元73。图24的去块滤波单元24与图22的去块滤波单元24的不同在于，滤波器运算单元74-1和行边界滤波器运算单元74-2被一起改变为滤波器运算单元74。
另外，图24的去块滤波单元24与图22的去块滤波单元24的不同在于，控制器77的LCU内行确定单元77A被改变为LCU内行确定单元77B。
即，LCU内行确定单元77B以基于R2W2的强滤波中的P00的计算为例，如上所述地控制从图像存储器71读取的像素的地址。从而，图像存储器71基于LCU内行确定单元77B的控制来读取像素，并将读取的像素提供到块边界确定单元72、滤波器强度确定单元73和滤波器运算单元74。
块边界确定单元72执行块间边界确定。即，块边界确定单元72使用从图像存储器71读取的图像数据针对每个块执行上述块间边界确定处理，并检测执行滤波处理的块间边界。块边界确定单元72将检测结果输出到滤波器强度确定单元73。
滤波器强度确定单元73以上述方式确定滤波器强度。即，滤波器强度确定单元73利用从图像存储器71提供的与插入的块间边界相邻的两个块的图像数据确定将在强滤波模式还是弱滤波模式下针对每行执行滤波处理，并将确定结果输出到滤波器运算单元74。
滤波器运算单元74利用存储在行存储器71中的图像数据和从系数存储器76读取的滤波器系数，以由滤波器强度确定单元73确定的滤波器强度针对每行执行滤波运算。滤波器运算单元74将经过滤波处理的图像数据输出到帧存储器25。
图24的去块滤波单元24的去块滤波处理与上文参考图23描述的去块滤波处理基本相同，从而将不提供对其的描述。
如上所述，利用在块间边界确定中使用的波形的倾斜度来插入由于用于滤波运算的缩小的图像范围而无法参考的像素。从而，即使在缩小LCU间行边界中的图像范围时，仍可以执行当像素值具有倾斜度时的去块处理。
另外，在块间边界确定和强/弱滤波确定中，利用在块间边界确定中使用的波形的倾斜度和填充来插入由于用于滤波运算的缩小的图像范围而无法参考的像素。从而，即使在缩小LCU间行边界中的图像范围时，仍可以执行当像素值具有倾斜度时的去块确定处理。
以此方式，在LCU间行边界中，即使缩小图像范围，仍可以在保持去块处理的功能的同时减小行存储器。
[15.去块滤波单元的第八实施例]
[去块滤波单元的配置示例]
图25示出去块滤波单元的第八实施例的配置。
在图25的示例中，去块滤波单元24被配置为包括：图像存储器81、块边界确定单元82、滤波器强度确定单元83、滤波器运算单元84、系数存储器85、以及控制器86。
图像存储器81是对应于图22的图像存储器71的单元并且被配置为行存储器。图像存储器81存储从加法器23提供的图像数据。图像存储器81读取存储在图像存储器81中的图像数据并将读取的图像数据提供到块边界确定单元82、滤波器强度确定单元83和滤波器运算单元84。
在除行边界之外的位置，图像数据未被存储在图像存储器81中，但是可能存在从加法器23提供的图像数据被提供到各个单元并被处理的情况。然而，在图25的示例中，为了方便起见，描述了对已经通过图像存储器81的图像数据进行处理。
块边界确定单元82在控制器86的控制下每八行导出边界，以计算用于确定的参数，并每四行执行块间边界确定。即，块边界确定单元82利用从图像存储器81读取的图像数据导出TU与PU之间的边界，并导出BS值。另外，块边界确定单元82获得与插入的当前边界相邻的两个区域的量化参数QP的平均值，以计算平均值QP(量化参数)，并基于计算的平均QP计算参数tc和β。
另外，块边界确定单元82确定是否利用从图像存储器81提供的与插入的块间边界相邻的两个块的图像数据以及计算的参数每四行执行滤波。块边界确定单元82将计算的参数与边界确定结果一起提供到滤波器强度确定单元83。
滤波器强度确定单元83在控制器86的控制下每四行确定滤波器强度。即，当块边界确定单元82确定要执行滤波时，滤波器强度确定单元83确定是在强滤波模式还是弱滤波模式下执行滤波处理，并将确定结果输出到滤波器运算单元84。
滤波器运算单元84在控制器86的控制下利用存储在行存储器81中的图像数据和从系数存储器85读取的滤波器系数，以由滤波器强度确定单元83确定的滤波器强度每四行地执行滤波运算。特别地，当滤波器强度确定单元83确定要执行强滤波时，滤波器运算单元84利用上述表达式(106)至(111)执行基于剪切的滤波处理。滤波器运算单元84将经过滤波处理的图像数据输出到后续阶段的帧存储器25。
系数存储器85存储去块滤波处理的滤波运算中使用的滤波器系数。系数存储器85读取存储在系数存储器85中的滤波器系数，并将滤波器系数提供到滤波器运算单元84。
控制器86从操作单元(未示出)(在解码侧的情况下，无损解码器52)接收信息(去块滤波器的接通/断开信息、参数β和tc的偏移值、以及剪切参数)。另外，还向控制器86提供预测模式信息和为去块滤波器所需的参数(例如量化参数)。
例如，控制器86将输入信息提供到对应单元，并基于输入的接通/断开信息控制去块滤波单元24的各个单元。
控制器86控制图像存储器81，以便存储对应于块中的下侧的预定数目行的图像数据，并读取存储在图像存储器81中的图像数据。另外，当执行强滤波时，控制器86控制滤波器运算单元84以执行基于剪切的强滤波处理。在该情况下，控制器86将关于剪切处理的参数(例如，剪切值pv和剪切值的tc的倍数值)提供到滤波器运算单元84。
[去块滤波单元的操作]
下面，将参考图26的流程图描述图25的去块滤波单元24的去块处理。
例如，通过操作单元(未示出)(在解码侧的情况下，无损解码器52)将接通/断开信息、β偏移值、Tc偏移值以及关于剪切处理的参数输入到控制器86。另外，还向控制器86提供预测模式信息和为去块滤波所需的参数(例如量化参数)。
在步骤S201，控制器86设置滤波器偏移(β和Tc偏移)，并将设置的偏移信息提供到滤波器强度确定单元83。
在步骤S202，控制器86基于接通/断开信息确定是否可以使用去块滤波器。当在步骤S202中确定不能使用去块滤波器时，去块滤波处理结束。
当在步骤S202中确定可以使用去块滤波器时，控制器86将通知发送到块边界确定单元82、滤波器强度确定单元83和滤波器运算单元84，并且流程前进到步骤S203。在该情况下，还从控制器86将需要的参数等提供到各个单元。
在步骤S203，块边界确定单元82每8行导出TU与PU之间的边界。在步骤S204，块边界确定单元82基于关于在步骤S203中导出的TU与PU之间的边界的信息和从控制器86提供的预测模式信息等导出边界强度(BS)值。
在步骤S205，块边界确定单元82、滤波器强度确定单元83和滤波器运算单元84执行亮度边界滤波处理。在亮度边界滤波处理中，通过步骤S205的处理对亮度信号执行亮度边界滤波处理，将参考图27对其进行描述。
在步骤S206，块边界确定单元82、滤波器强度确定单元83和滤波器运算单元84执行色度边界滤波处理。通过步骤S206的处理，对色度信号执行色度边界滤波。
在步骤S207，控制器86确定是否已经处理了全部边界。当在步骤S207中确定尚未对全部边界执行处理时，流程返回到步骤S205，并重复执行后续的处理。当在步骤S207中确定已经处理了全部边界时，流程前进到步骤S208。
在步骤S208，控制器86确定是否已经处理了全部CU。当在步骤S208中确定尚未对全部CU执行处理时，流程返回到步骤S203，并重复执行后续的处理。
当在步骤S208中确定已经处理了全部CU时，去块滤波处理结束。
[亮度边界滤波处理的示例]
将参考图27的流程图描述图26的步骤S205中的亮度边界滤波处理。
在步骤S231，块边界确定单元82每八行确定BS值是否大于0。当在步骤S231中确定BS值不大于0时，亮度边界滤波处理结束。即，在该情况下，未对亮度边界执行滤波器运算单元84的滤波处理，并且滤波之前的像素值被原样输出。
当在步骤S231中确定BS值大于0时，流程前进到步骤S232。在步骤S232，块边界确定单元82每八行利用来自图像存储器81的像素值获得与当前边界相邻的两个区域的量化参数QP的平均值，以计算平均值QP(量化参数)。在该情况下，从控制器86提供量化参数QP。
在步骤S233，块边界确定单元82每八行基于在步骤S232中计算的平均值QP计算参数tc和β。
在步骤S234，块边界确定单元82每四行执行滤波器接通/断开确定。即，块边界确定单元82每四行利用计算的参数β等执行滤波器接通/断开确定。例如，该确定处理使用上述表达式(68)。
步骤S234中的接通/断开确定结果与计算的参数一起被提供到滤波器强度确定单元83作为边界确定结果。
另外，在步骤S235，滤波器强度确定单元83每四行执行滤波器强度确定。即，滤波器强度确定单元83利用由块边界确定单元82计算的参数β、tc等每四行地执行滤波器强度确定。例如，该确定处理使用上述表达式(69)和(61)的第一项。
步骤S234中的接通/断开确定结果和步骤S235中的滤波器强度确定结果被提供到滤波器运算单元84。在该情况下，还将参数tc提供到滤波器运算单元84。
在步骤S236，滤波器运算单元84基于来自滤波器强度确定单元83的确定结果确定是否对当前四行施加强滤波。当在步骤S236中确定要对当前四行施加强滤波时，则流程前进到步骤S237。
在步骤S237，滤波器运算单元84在控制器86的控制下利用上述表达式(106)至(111)执行基于剪切的强滤波处理。滤波器运算单元84将滤波处理之后的像素值输出到后续阶段。
当在步骤S236确定未施加强滤波时，滤波器运算单元84基于来自滤波器强度确定单元83的确定结果在步骤S238中确定是否对当前四行施加弱滤波。当在步骤S238中确定要施加弱滤波时，则流程前进到步骤S239。
在步骤S239，去块滤波单元84执行弱滤波处理。滤波器运算单元84将滤波处理之后的像素值输出到后续阶段。
当在步骤S238中确定不施加弱滤波时，则流程前进到步骤S240。在步骤S240，滤波器运算单元84基于来自滤波器强度确定单元83的确定结果不对当前四行执行处理，而是将滤波处理之后的像素值原样输出到后续阶段。
在步骤S240，滤波器运算单元84确定是否完成对于八行的处理，并当确定已经完成对于八行的处理时结束亮度信号去块处理。当在步骤S240中确定未完成对于八行的处理时，流程返回到步骤S234，并重复执行后续的处理。
如上所述，由于当确定要施加强滤波时执行基于剪切的强滤波处理，从而可以尽可能地抑制确定处理的不匹配和确定处理的不完全性的影响。以此方式，可以使得能够进行去块处理以适当地施加滤波。
在上述中，已经描述了线性近似和基于剪切的强滤波处理。在线性近似的描述中，尽管已经描述了R2W2和R2W1的情况，然而，可以以相同的方式执行用于R3W2和R1W1情况的线性近似处理。
[16.第九实施例]
[R3W2的示例]
下文将参考图28描述R3W2情况。在图28的示例中，实线白圆圈指示在去块滤波器之前的图16所示的边界BB附近的各个像素p2i、p1i、p0i、q0i、q1i和q2i的像素值。如图28所示，块BKu与BKl之间的间隙为D＝p0i-q0i。
另外，虚线圆圈指示HEVC方案中的亮度信号的强滤波之后的各个像素值。即，在该情况下，在强滤波之前和之后的像素值之差为：用于q2i的1/8＊D、用于q1i的2/8＊D和用于q0i的3/8＊D。类似地，在强滤波之前和之后的像素值之差为：用于p0i的3/8＊D、用于p1i的2/8＊D和用于p2i的1/8＊D。
这里，考虑用于R3W2情况的亮度信号滤波处理，未对像素p2i进行滤波。即，像素p2i具有由实线上的虚线圆圈指示的像素值，并且与由虚线指示的像素值p1i的差增大。从而，像素值仅在由实线上的虚线圆圈指示的p2i的像素值与由虚线指示的p1i的像素值之间具有陡峭的斜率。
从而，在R3W2情况下，为了使得该斜率平缓，在滤波之前的p0i的像素值(白色圆)与强滤波之后的像素值(阴影圆)之间的差Δp1i由下面的表达式(112)表示。
[数学公式34]
Figure BDA0003100230190000661
即，导出表达式(112)，使得Δp1i取3/16＊D，其为在滤波前的像素值(白色圆)p0i与强滤波之后的像素值(阴影圆)之间的差Δp0i的一半。
由于表达式(112)的最后近似公式的右侧的第二项为滤波前的像素值(白色圆)，从而表达式(112)的最后近似公式的右侧的第一项表示由阴影圆指示的p1i的强滤波之后的像素值。
即，与表达式(112)的最后近似公式的右侧的第一项中的各个像素值相乘的系数用作R3W2情况的强滤波的系数。从而，相比于由图28中的粗线的斜率指示的常规技术的虚线的斜率，可以使得用于R3W2情况的强滤波的结果更平缓。
通过下面的表达式(113)表示用于R3W2情况的强滤波的确定表达式。
[数学公式35]
d＜(β＞＞2)
d＝abs(q22-2*q12+q02)+abs(p25-2*p15+p05)+abs(q22-2*q12+q02)+abs(q25-2*q15+q05)
and(|p2i-p0i|+|q0i-q3i|)＜(β＞＞3)
and|p0i-q0i|＜((5*tc+1)＞＞1)…(113)
用于R3W2情况的强滤波确定的表达式(113)的第一个“和”之后出现的表达式不同于HEVC方案中的强滤波确定的表达式(69)的第一个“和”之后出现的表达式。在R3W2的情况中，由于无法参考p3i，从而未施加填充(即，p3i＝p2i)。
从而，两个表达式的不同仅在于，在表达式(69)的第一个“和”之后出现的表达式“(|p3i-p0i＜＜1|+|q0i-q3i|)＜(β＞＞3))”被改变为在表达式(113)的第一个“和”之后出现的表达式“(|p2i-p0i＜＜1|+|q0i-q3i|)＜(β＞＞3))”。
另外，在R3W2情况的强滤波中，如表达式(114)所示，关于p10的表达式不同于根据上述表达式(112)的用于HEVC方案的强滤波的表达式(52)的表达式。
[数学公式36]
p10＝Clip0-255((4*p2i+5*p1i+4*p0i+3*q0i+8)＞＞4)；i＝0，7
…(114)
在R3W2情况的强滤波中，不需要并省略HEVC方案的强滤波的关于P20的表达式(54)。
以此方式，可以在不使准确度劣化的情况下执行R3W2情况的强滤波。
另外，在本说明书中，去块滤波器的处理单位的尺寸例如可以是H.264/AVC的宏块的尺寸、HEVC编码单位的编码树块的尺寸等。另外，在本说明书中，术语“块”和“宏块”在HEVC的上下文中还包括编码单位(CU)、预测单位(PU)以及变换单位(TU)。
可通过硬件、软件或硬件和软件的组合执行在本说明书中描述的系列处理。当通过软件执行所述处理时，可以通过组装到专用硬件中的计算机的存储器安装并执行包括所述处理序列的程序。可选地，可以通过执行各个处理的通用计算机安装并执行所述程序。
例如，可以预先将程序记录在作为记录介质的硬盘或只读存储器(ROM)中。可选地，可以将程序暂时或永久地记录在例如磁盘(诸如软盘)、光盘(诸如CD-ROM(压缩盘只读存储器))、MO(磁光)盘或DVD(数字通用盘)、以及可移除存储介质(未示出)(诸如半导体存储器)中。可以将这样的可移除存储介质设置为所谓的封装软件。
除了从上述可移除记录介质将程序安装到计算机中之外，还可以从下载站将该程序无线传输到计算机，或经诸如局域网(LAN)或互联网的网络有线地将程序传输到计算机。计算机可以接收以这样的方式传输的程序，并将程序安装到诸如内置硬盘的记录介质上。
[19.第十实施例]
[对多视点图像编码和解码的应用]
该系列处理可以应用于多视点图像编码和解码。图29示出多视点图像编码方案的示例。
如图29所示，多视点图像包括多个视点的图像，并且多个视点中的预定单个视点的图像被设计为基本视点图像。除基本视点图像之外的各个视点图像被视为非基本视点图像。
当对图29所示的多视点图像编码时，在各个视点(相同视点)中，可以设置关于用于强滤波的剪切处理的参数(例如，剪切值和关于剪切值的tc的倍数因子)。另外，在各个视点(不同视点)中，可以共享对其它视点设置的关于用于强滤波的剪切处理的参数。
在该情况下，在至少一个非基本视点处使用对基本视点设置的关于剪切处理的参数。可选地，例如，在基本视点和非基本视点中的至少一个处(view_id＝1)使用对非基本视点(view_id＝0)设置的关于剪切处理的参数。
另外，在各个视点(不同视点)中，可以设置关于用于强滤波的剪切处理的参数。另外，在各个视点(不同视点)中，可以共享对其它视点设置的关于用于强滤波的剪切处理的参数。
在该情况下，在至少一个非基本视点处使用对基本视点设置的关于剪切处理的参数。可选地，例如，在基本视点和非基本视点(view_id＝1)中的至少一个处使用对非基本视点(view_id＝0)设置的关于剪切处理的参数。
以此方式，可以使得能够进行去块处理以适当地施加滤波。
[多视点图像编码装置]
图30为示出执行上述多视点图像编码的多视点图像编码装置的视图。如图30所示，多视点图像编码装置600包括编码单元601、编码单元602和多路复用器603。
编码单元601对基本视点图像进行编码以生成基本视点图像编码流。编码单元602对非基本视点图像进行编码以生成非基本视点图像编码流。多路复用器603对由编码单元601生成的基本视点图像编码流和由编码单元602生成的非基本视点图像编码流进行多路复用，以生成多视点图像编码流。
图像编码装置10(图1)可应用于多视点图像编码装置600的编码单元601和602。在该情况下，多视点图像编码装置600设置由编码单元601设置的关于用于强滤波的剪切处理的参数和由编码单元602设置的关于用于强滤波的剪切处理的参数，并传输该参数。
如上所述，由编码单元601设置的关于用于强滤波的剪切处理的参数可以被传输，从而由编码单元601和602共享。相反地，由编码单元602设置的关于用于强滤波的剪切处理的参数可以被传输，从而由编码单元601和602共享。
[多视点图像解码装置]
图31为示出执行上述多视点图像解码的多视点图像解码装置的视图。如图31所示，多视点图像解码装置610包括多路解复用器611、解码单元612和解码单元613。
多路解复用器611对多路复用了基本视点图像编码流和非基本视点图像编码流的多视点图像编码流执行多路解复用，以提取基本视点图像编码流和非基本视点图像编码流。解码单元612对由多路解复用器611提取的基本视点图像编码流进行解码，以获得基本视点图像。解码单元613对由多路解复用器611提取的非基本视点图像编码流进行解码，以获得非基本视点图像。
图像解码装置50(图6)可应用于多视点图像解码装置610的解码单元612和613。在该情况下，多视点图像编码装置610利用由编码单元601设置并由解码单元612解码的关于用于强滤波的剪切处理的参数和由编码单元602设置并由解码单元613解码的关于用于强滤波的剪切处理的参数来执行处理。
如上所述，存在这样的情况，其中由编码单元601(或编码单元602)设置的关于用于强滤波的剪切处理的参数可以被传输从而由编码单元601和602共享。在该情况下，多视点图像编码装置610利用由编码单元601(或编码单元602)设置并由解码单元612(或解码单元613)解码的关于用于强滤波的剪切处理的参数来执行处理。
[18.第十一实施例]
[对层图像编码和解码的应用]
上述系列处理可以应用于层图像编码和解码。图32示出多视点图像编码方案的示例。
如图32所示，层图像包括多个层(分辨率)的图像，并且多个分辨率中的预定单层的图像被设计为基本层图像。除基本层图像之外的各个层图像被视为非基本层图像。
当执行如图32所示的层图像编码(空间可量测性(space scalability))时，在各个层(相同层)中，可以设置关于用于强滤波的剪切处理的参数。另外，在各个层(不同层)中，可以共享对其它层设置的关于用于强滤波的剪切处理的参数。
在该情况下，在至少一个非基本层处使用对基本层设置的关于用于强滤波的剪切处理的参数。可选地，例如，在基本层和非基本层中的至少一个处(layer_id＝1)使用对非基本层(layer_id＝0)设置的关于用于强滤波的剪切处理的参数。
另外，在各个层(不同层)中，可以设置关于用于强滤波的剪切处理的参数。另外，在各个层(不同层)中，可以共享对其它层设置的关于用于强滤波的剪切处理的参数。
在该情况下，在至少一个非基本层处使用对基本层设置的关于用于强滤波的剪切处理的参数。可选地，例如，在基本层和非基本层中的至少一个处(layer_id＝1)使用对非基本层(layer_id＝0)设置的关于用于强滤波的剪切处理的参数。
以此方式，可以使得能够进行去块处理以适当地施加滤波。
[层图像编码装置]
图33为示出执行上述层图像编码的层图像编码装置的图。如图33所示，层图像编码装置620包括编码单元621、编码单元622和多路复用器623。
编码单元621对基本层图像进行编码以生成基本层图像编码流。编码单元622对非基本层图像进行编码以生成非基本层图像编码流。多路复用器623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行多路复用，以生成层图像编码流。
图像编码装置10(图1)可应用于层图像编码装置620的编码单元621和622。在该情况下，层图像编码装置620设置由编码单元621设置的关于用于强滤波的剪切处理的参数和由编码单元602设置的关于用于强滤波的剪切处理的参数，并传输该参数。
如上所述，由编码单元621设置的关于用于强滤波的剪切处理的参数可以被传输从而由编码单元621和622共享。相反地，由编码单元622设置的关于用于强滤波的剪切处理的参数可以被传输从而由编码单元621和622共享。
[层图像解码装置]
图34为示出执行上述层图像解码的层图像解码装置的图。如图34所示，层图像解码装置630包括多路解复用器631、解码单元632和解码单元633。
多路解复用器631对多路复用了基本层图像编码流和非基本层图像编码流的层图像编码流执行多路解复用，以提取基本层图像编码流和非基本层图像编码流。解码单元632对由多路解复用器631提取的基本层图像编码流进行解码，以获得基本层图像。解码单元633对由多路解复用器631提取的非基本层图像编码流进行解码，以获得非基本层图像。
图像解码装置50(图6)可应用于多视点图像解码装置630的解码单元632和633。在该情况下，多视点图像编码装置630利用由编码单元621设置并由解码单元632解码的关于用于强滤波的剪切处理的参数和由编码单元622设置并由解码单元633解码的关于用于强滤波的剪切处理的参数来执行处理。
如上所述，存在这样的情况，其中由编码单元621(或编码单元622)设置的关于用于强滤波的剪切处理的参数可以被传输从而由编码单元621和622共享。在该情况中，多视点图像编码装置630利用由编码单元621(或编码单元622)设置并由解码单元632(或解码单元633)解码的关于用于强滤波的剪切处理的参数来执行处理。
[19.应用示例]
根据上述实施例的图像编码装置10和图像解码装置50可以应用到：各种电子设备，诸如发送器或接收器，其在有线广播(诸如卫星广播或有线TV)或在互联网上分发信号，并通过蜂窝通信将信号分发到终端；用于将图像记录到介质上的记录装置，所述介质诸如为光盘、磁盘、或闪存；或者用于从这些存储介质再现图像的再现装置。下面将描述四个应用示例。
[第一应用示例]
图35示出应用上述实施例的电视设备的示意配置的实例。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、以及外部接口单元909。电视设备900还包括控制器910、用户接口911等。
调谐器902从经天线901接收的广播信号提取期望信道的信号，并对提取的信号解调制。调谐器902然后将通过解调获得的编码位流输出到多路解复用器903。即，调谐器902用作接收编码图像的编码流的电视设备900的传输装置。
多路解复用器903从编码位流分离将被观看的节目的视频流和音频流，并将每个分离的流输出到解码器904。另外，多路解复用器903从编码位流提取诸如EPG(电子节目指南)的辅助数据等，并将提取的数据提供到控制器910。多路解复用器903可以在编码位流被加扰时进行解扰。
解码器904对从多路解复用器903输入的视频流和音频流执行解码。然后，解码器904将通过解码处理生成的视频数据输出到音频信号处理器905。另外，解码器904将通过解码处理生成的音频数据输出到音频信号处理器907。
视频信号处理器905再现从解码器904输入的视频数据，并使得在显示单元906上显示视频。视频信号处理器905还可以使得显示单元906显示经网络提供的应用画面。另外，例如，视频信号处理器905还可以根据设置对视频数据执行其它处理，例如噪声移除。另外，视频信号处理器905可以生成GUI(图形用户界面)图像，诸如菜单、按钮或光标，并将生成的图像重叠在输出图像上。
显示单元906通过从视频信号处理器905提供的驱动信号驱动，以在显示装置(诸如液晶显示器、等离子体显示器、OLED等)的显示屏上显示视频或图像。
音频信号处理器907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并使得扬声器908输出音频。视频信号处理器907还可以对音频数据执行其它处理，诸如噪声移除。外部接口909是用于将电视设备900连接到外部装置或网络的接口。例如，可通过解码器904对经外部接口909接收的视频流或音频流执行解码。即，外部接口909还用作接收编码图像的编码流的电视设备900的传输装置。
控制器910包括诸如中央处理单元(CPU)的处理器、和诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储通过CPU执行的程序、程序数据、EPG数据、经网络获得的数据等。例如，在启动电视设备900时通过CPU读取存储在存储器中的程序以执行。通过执行程序，CPU根据从例如用户接口911输入的操作信号控制电视设备900的操作。
用户接口911被连接到控制器910。用户接口911包括例如按钮和开关以供用户操作电视设备900、用于接收远程控制信号的接收器等等。用户接口911检测经这些部件的用户的操作，生成操作信号，并将生成的操作信号输出到控制器910。
总线912将调谐器902、多路解复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909以及控制器910相互连接。
在这样配置的电视设备900中，解码器904包括根据上述实施例的图像解码装置50的功能。从而，当在电视设备900中解码图像时，去块滤波处理可以适当地施加滤波。
[第二应用示例]
图36示出应用上述实施例的移动电话的示意配置的实例。移动电话920包括天线921、通信单元922、音频编译码器923、扬声器924、传声器925、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930、控制器931、操作单元932以及总线933。
天线921被连接到通信单元922。扬声器924和传声器925被连接到音频编译码器923。操作单元932被连接到控制器931。总线933将通信单元922、音频编译码器923、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930以及控制器931相互连接。
移动电话920在各个操作模式下执行诸如如下的操作：发送/接收音频信号、发送/接收电子邮件或图像数据、拍摄图像、记录数据等，所述操作模式包括音频通信模式、数据通信模式、成像模式以及视频电话模式。
在音频通信模式中，将通过传声器925生成的模拟音频信号提供到音频编译码器923。音频编译码器923将模拟音频信号转换为音频数据，对转换的音频数据执行A/D转换，并压缩该音频数据。然后，音频编译码器923将压缩的音频数据输出通信单元922。通信单元922对音频数据执行编码和调制，并生成发送信号。通信单元922然后经天线921将生成的发送信号发送到基站(未示出)。另外，通信单元922放大通过天线921接收的无线信号并对其施加频率转换以获得接收信号。然后，通信单元922通过对接收信号执行解调和解码生成音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923对所述音频数据执行扩展和D/A转换，并生成模拟音频信号。然后，音频编译码器923将生成的音频信号提供到扬声器924以使得将音频输出。
在数据通信模式中，例如，控制器931根据用户通过操作单元932的操作生成构成电子邮件的字符数据。另外，控制器931使得显示单元930显示字符。控制器931根据经操作部分932的来自用户的发送指令生成电子邮件数据，并将生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据执行编码和调制，以生成发送信号。通信单元922然后经天线921将生成的发送信号发送到基站(未示出)。另外，通信单元922放大通过天线921接收的无线信号并对其施加频率转换以获得接收信号。然后，通信单元922对接收信号执行解调和解码以恢复电子邮件数据，并将恢复的电子邮件数据输出到控制器931。控制器931使得显示单元930显示电子邮件数据的内容并使得记录/再现单元929的存储介质存储电子邮件数据。
记录/再现单元929包括可任意读取/写入的存储介质。例如，存储介质可以是诸如RAM的内置存储介质和闪存、可以是外部安装的存储介质，诸如硬盘、磁盘、磁光盘、光盘、USB存储器和存储卡。
在成像模式下，例如，相机单元926拍摄主体的图像，以生成图像数据，并将生成的图像数据输出到图像处理器927。图像处理器927对从相机单元926输入的图像数据进行编码，并将编码流存储到记录/再现单元929的存储介质上。
另外，在视频电话模式下，例如，多路解复用块928对通过图像处理器927编码的视频流和从音频编译码器923输入的音频流执行多路复用，并将多路复用的流输出到通信单元922。通信单元922对该流执行编码和调制，以生成发送信号。通信单元922然后经天线921将生成的发送信号发送到基站(未示出)。另外，通信单元922放大通过天线921接收的无线信号并对其施加频率转换以获得接收信号。所述发送信号和接收信号可包括编码位流。然后，通信单元922通过对接收信号执行解调和解码恢复数据流，并将恢复的数据流输出到多路解复用器928。多路解复用器928从输入数据流分离视频流和音频流，并分别将视频流和音频流输出到图像处理块927和音频编译码器923。图像处理器927解码视频流以生成视频数据。视频数据被提供到显示单元930，并通过显示单元930显示图像序列。音频编译码器923对所述音频流执行扩展和D/A转换，以生成模拟音频信号。音频编译码器923然后将生成的音频信号提供到扬声器924以输出音频。
在这样配置的移动电话92中，图像处理器927具有根据上述实施例的图像编码装置10和图像解码装置50的功能。从而，当在移动电话920中编码和解码图像时，去块滤波处理可以适当地施加滤波。
[第三应用示例]
图37示出应用上述实施例的记录/现装置的示意配置的实例。记录/再现装置940对接收广播节目的音频数据和视频数据编码以记录在例如记录介质上。另外，记录/再现装置940可以对另一个设备获得的的音频数据和视频数据编码以记录在例如记录介质上。另外，记录和再现装置940例如根据用户的指令通过监视器和扬声器再现记录在记录介质上的数据。在该情况中，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示)948、控制器949、以及用户接口950。
调谐器941从经天线(未示出)接收的广播信号提取期望信道的信号，并对提取的信号解调。调谐器941然后将通过解调获得的编码位流输出到选择器946。即，调谐器941用作记录/再现装置940中的传输装置。
外部接口942是用于将记录/再现装置940连接到外部装置或网络的接口。外部接口942例如可以为IEEE 1394接口、网络接口、USB接口、闪存接口等等。例如，经外部接口942接收的音频数据和视频数据被输入到编码器943。即，外部接口942用作记录/再现装置940中的传输装置。
编码器943当从外部接口942输入的视频数据和音频数据未被编码时对所述视频数据和音频数据编码。编码器943然后将编码位流输出到选择器946。
HDD 944将压缩了诸如视频和音频的内容数据的编码位流、各个节目以及其它数据记录在内部硬盘上。HDD944在再现视频和音频时从硬盘读取数据。
盘驱动器945在/从安装的记录介质记录和读取数据。安装在盘驱动器945上的记录介质可以是例如DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光光盘(注册商标)等。在记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码位流，并将选择的编码位流输出到HDD 944或盘驱动器945。另外，选择器946在再现视频和音频时将从HDD 944或盘驱动器945输入的编码位流输出到解码器947。
解码器947对编码位流解码，以生成音频数据和视频数据。解码器947然后将生成的视频数据输出到OSD 948。另外，解码器904将生成的音频数据输出到外部扬声器。OSD948再现从解码器947输入的视频数据，并显示视频。另外，OSD 948可以在显示视频上重叠GUI图像，诸如菜单、按钮或光标。
控制器949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储通过CPU执行的程序、程序数据等。通过CPU读取存储在存储器中的程序以在例如启动记录/再现装置940时被执行。通过执行程序，CPU根据从例如用户接口950输入的操作信号控制记录/再现装置940的操作。
用户界面950被连接到控制器949。用户接口950包括例如按钮和开关以供用户操作记录/再现装置940和远程控制信号接收器。用户界面950检测经这些构件的用户的操作，生成操作信号，并将生成的操作信号输出到控制器949。
在这样配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置10的功能。另外，解码器947具有根据上述实施例的图像解码装置50的功能。从而，当在记录/再现装置940中编码和解码图像时，去块滤波处理可以适当地施加滤波。
[第四应用示例]
图38示出应用上述实施例的成像装置的示意配置的实例。成像装置960对主体成像，以生成图像，对图像数据进行编码，并将图像数据记录在记录介质上。
成像装置960包括光学块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制器970、用户接口971、以及总线972。
光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成主体的光学图像。成像单元962包括诸如CCD和CMOS的图像传感器，并通过光电转换将在成像表面上形成的光学图像转换为作为电信号的图像信号。然后，成像单元962对信号处理器963输出图像信号。
信号处理器963对从成像单元962输入的图像信号执行各种相机信号处理，诸如拐点校正(knee correction)、伽马校正或颜色校正。信号处理器963将经过相机信号处理的图像数据输出到图像处理器964。
图像处理器964对从信号处理器963输入的图像数据执行编码，以生成编码数据。然后，图像处理器964将生成的编码数据输出到外部接口966或介质驱动器968。另外，图像处理器964对从外部接口966或介质驱动器968输入的编码数据执行解码，以生成图像数据。图像处理器964然后将生成的图像数据输出显示单元965。图像处理器964还可以将从信号处理块963输入的图像数据输出到显示单元965以显示图像。图像处理器964还可以在输出到显示单元965的图像上重叠从OSD969获得的用于显示的数据。
OSD 969生成GUI图像，诸如菜单、按钮或光标，并将生成的图像输出到图像处理器964上。
外部接口966被配置为例如USB输入/输出终端。外部接口966在例如打印图像时将成像装置960连接到打印机。另外，根据需要将驱动器连接到外部接口966。例如，诸如磁盘或光盘的可移除介质被安装到驱动器中，并且可以在成像装置960中安装从该可移除介质读取的程序。另外，外部接口966可被配置网络接口，其被连接到诸如LAN和互联网的网络。即，外部接口966用作成像装置960中的传输装置。
被安装在介质驱动器968上的记录介质可以是可任意读取和写入的可移除介质，诸如磁盘、磁光盘、光盘、和半导体存储器。另外，例如，可以将记录介质固定安装到介质驱动器968中，以形成非便携的存储单元，诸如内置型硬盘驱动器或SSD(固态驱动器)。
控制器970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储通过CPU执行的程序和程序数据。例如，在启动成像装置960时通过CPU读取存储在存储器中的程序以执行。通过执行程序，CPU根据从例如用户界面971输入的操作信号控制成像装置960的操作。
用户接口971被连接到控制器970。用户接口971包括由用户使用的按钮、开关等以操作例如成像装置960。用户接口971检测经这些部件的用户的操作，生成操作信号，并将生成的操作信号输出到控制器970。
总线972将图像处理器964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制器970相互连接。
在这样配置的成像装置960中，图像处理器964具有根据上述实施例的图像编码装置10和图像解码装置50的功能。从而，当在成像装置960中编码和解码图像时，去块滤波处理可以适当地施加滤波。
在本说明书中，已经描述了这样的示例，其中将诸如关于用于强滤波的剪切处理的参数的各种信息多路复用到编码流中并从编码侧发送到解码侧。然而，用于发送这些信息项的方法不限于该示例。例如，可以将这些信息项发送或记录为与编码位流相关的分离数据，而不在编码位流中多路复用。这里，术语“相关”表示在解码时可以将位流中包括的图像(或图像的部分，诸如片和块)和对应于图像的信息相互关联。即，可以在与图像(或位流)不同的传输线上传输信息。另外，可以将信息记录在与图像(或位流)不同的另一个记录介质(或相同记录介质中的另外记录区域)中。另外，例如，可以在诸如多个帧、一个帧或者帧内的部分的可选单元中将信息和图像(或位流)彼此关联。
另外，本发明不应被解释为限于上述实施例。所述实施例以示例和示意的形式公开了本发明，但是，显然地，在不偏离本发明精神下，本领域技术人员可以想到修改和替换。换句话说，应考虑权利要求确定本发明范围。
注意，本技术的图像处理装置可以包括以下构成。
(1)一种图像处理装置，包括：
解码单元，对以具有层结构的单位进行编码的编码流执行解码以生成图像；
滤波单元，根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为由所述解码单元生成的图像的块和与该块相邻的相邻块之间的边界；以及
控制器，控制所述滤波单元，使得当施加强滤波作为去块滤波器的强度时，针对由所述解码单元生成的图像的亮度分量对去块滤波器施加剪切处理。
(2)根据(1)所述的图像处理装置，其中，
所述控制器对在施加去块滤波器时改变的部分的值施加剪切处理。
(3)根据(2)所述的图像处理装置，其中，
所述控制器根据下面的表达式施加剪切处理：
[数学公式37]
p0i＝p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)＞＞3)；
q0i＝q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)＞＞3)；
p1i＝p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)＞＞2)；
q1i＝q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)＞＞2)；
p2i＝p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)＞＞3)；
q2i＝q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)＞＞3)；
其中i＝0，7，并且pv为剪切值。
(4)根据(3)所述的图像处理装置，其中，
所述控制器设置去块滤波器的参数的整数倍的值作为在执行剪切处理时使用的剪切值。
(5)根据(4)所述的图像处理装置，其中，
所述控制器设置去块滤波器的参数的两倍的值作为在执行剪切处理时使用的剪切值。
(6)根据(1)至(5)中任一项所述的图像处理装置，还包括：
滤波器强度确定单元，确定施加到块边界的去块滤波器的强度，其中，
所述滤波单元根据由所述滤波器强度确定单元确定的强度对块边界施加去块滤波器，以及
所述控制器控制所述滤波单元，使得当所述滤波器强度确定单元确定要施加强滤波时，针对由所述解码单元生成的图像的亮度分量对去块滤波器施加剪切处理。
(7)根据(6)所述的图像处理装置，其中，
所述滤波器强度确定单元使用多行作为处理单位来确定去块滤波器的强度。
(8)根据(7)所述的图像处理装置，其中，
所述滤波器强度确定单元使用四行作为处理单位来确定去块滤波器的强度。
(9)根据(7)所述的图像处理装置，还包括：
滤波必要性确定单元，使用多行作为处理单位来确定是否要对所述块边界施加去块滤波器，其中，
当所述滤波必要性确定单元确定要施加去块滤波器时，所述滤波器强度确定单元确定所述去块滤波器的强度。
(10)一种图像处理方法，用于使得所述图像处理装置执行：
对以具有层结构的单位进行编码的编码流执行解码以生成图像；
根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为生成的图像的块和与该块相邻的相邻块之间的边界；以及
进行控制，使得当施加强滤波作为去块滤波器的强度时，针对生成的图像的亮度分量对去块滤波器施加剪切处理。
(11)一种图像处理装置，包括：
滤波单元，根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为在对图像进行编码时被本地解码的图像的块和与该块相邻的相邻块之间的边界；
控制器，控制所述滤波单元，使得当施加强滤波作为去块滤波器的强度时，针对被本地解码的图像的亮度分量对去块滤波器施加剪切处理；以及
编码单元，使用被施加去块滤波器的图像以具有层结构的单位对图像进行编码。
(12)根据(11)所述的图像处理装置，其中，
所述控制器对在施加去块滤波器时改变的部分的值施加剪切处理。
(13)根据(12)所述的图像处理装置，其中，
所述控制器根据下面的表达式施加剪切处理：
[数学公式37]
p0i＝p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)＞＞3)；
q0i＝q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)＞＞3)；
p1i＝p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)＞＞2)；
q1i＝q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)＞＞2)；
p2i＝p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)＞＞3)；
q2i＝q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)＞＞3)；
其中i＝0，7，并且pv为剪切值。
(14)根据(13)所述的图像处理装置，其中，
所述控制器设置去块滤波器的参数的整数倍的值作为在执行剪切处理时使用的剪切值。
(15)根据(14)所述的图像处理装置，其中，
所述控制器设置去块滤波器的参数的两倍的值作为在执行剪切处理时使用的剪切值。
(16)根据(11)至(15)中任一项所述的图像处理装置，还包括：
滤波器强度确定单元，确定施加到块边界的去块滤波器的强度，其中，
所述滤波单元根据由所述滤波器强度确定单元确定的强度对块边界施加去块滤波器，以及
所述控制器控制所述滤波单元，使得当所述滤波器强度确定单元确定要施加强滤波时，针对由所述解码单元生成的图像的亮度分量对去块滤波器施加剪切处理。
(17)根据(16)所述的图像处理装置，其中，
所述滤波器强度确定单元使用多行作为处理单位来确定去块滤波器的强度。
(18)根据(17)所述的图像处理装置，其中，
所述滤波器强度确定单元使用四行作为处理单位来确定去块滤波器的强度。
(19)根据(17)所述的图像处理装置，还包括：
滤波必要性确定单元，使用多行作为处理单位来确定是否要对所述块边界施加去块滤波器，其中，
当所述滤波必要性确定单元确定要施加去块滤波器时，所述滤波器强度确定单元确定所述去块滤波器的强度。
(20)一种图像处理方法，用于使得所述图像处理装置执行：
根据施加到块边界的去块滤波器的强度对块边界施加去块滤波器，所述块边界为在对图像进行编码时被本地解码的图像的块和与该块相邻的相邻块之间的边界；
进行控制，使得当施加强滤波作为去块滤波器的强度时，针对被本地解码的图像的亮度分量对去块滤波器施加剪切处理；以及
使用被施加去块滤波器的图像以具有层结构的单位对图像进行编码。
附图标记列表
10：图像编码装置
11：A/D转换器
12、57：帧重排序缓冲器
13：减法器
14：正交变换器
15：量化器
16：无损编码器
17：累积缓冲器
18：速率控制器
21、53：逆量化器
22、54：逆正交变换器
23、55：加法器
24、56：去块滤波单元
25、61：帧存储器
26、62、65：选择器
31、63：帧内预测器
32：运动估计器/补偿器
33：预测图像/最优模式选择单元
50：图像解码装置
51：累积缓冲器
52：无损解码器
61：帧存储器
64：运动补偿单元
71：图像存储器
72、72-1：块边界确定单元
72-2：行边界/块边界确定单元
73、73-1：滤波器强度确定单元
73-2：行边界滤波器强度确定单元
74、74-1：滤波器运算单元
74-2：行边界滤波器运算单元
75：选择器
76：系数存储器
77：控制器
77A、77B：LCU内行确定单元
241：行存储器
242：行边界检测单元
243：滤波器强度确定单元
244：系数存储器
245：滤波器运算单元
246：滤波器控制器
2451：数据存储单元
2452：数据选择单元
2453、2455、2456：算术处理单元
2457：数据选择单元
2461：行边界确定单元

Claims (1)

1.一种图像解码装置，包括：
累积缓冲器，累积编码数据，并将该编码数据提供给无损解码单元；
无损解码单元，对由累积缓冲器提供的编码数据的头信息进行解码，将作为解码结果获取的预测模式信息输出到帧内预测单元和运动补偿单元，并将作为解码结果获取的量化数据提供给逆量化单元；
逆量化单元，对从无损解码单元的解码处理中获取的量化数据进行逆量化；
逆正交变换单元，对逆量化单元的输出进行逆正交变换，并将结果输出到加法单元；
加法单元，将经过逆正交变换的数据与从选择单元提供的预测图像数据相加以生成解码图像数据，并将解码图像数据输出到去块滤波单元；
帧存储单元，保存从加法单元提供的滤波处理之前的解码图像数据和从去块滤波单元提供的已经过滤波处理的解码图像数据作为参考图像的图像数据；
帧内预测单元，基于从无损解码单元提供的预测模式信息生成预测图像并输出到选择单元；
运动补偿单元，基于从无损解码单元提供的预测模式信息执行运动补偿，以生成预测图像数据并输出到选择单元；以及
选择单元，将通过帧内预测单元生成的预测图像数据提供到加法单元，并将通过运动补偿单元生成的预测图像数据提供到加法单元。
CN202110628303.8A 2011-06-28 2012-05-28 图像处理装置和图像处理方法 Withdrawn CN113347419A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2011143461 2011-06-28
JP2011-143461 2011-06-28
JP2011240550 2011-11-01
JP2011-240550 2011-11-01
JP2011-243839 2011-11-07
JP2011243839 2011-11-07
JP2012-009326 2012-01-19
JP2012009326 2012-01-19
CN201280030471.6A CN103609126B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280030471.6A Division CN103609126B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法

Publications (1)

Publication Number Publication Date
CN113347419A true CN113347419A (zh) 2021-09-03

Family

ID=47423858

Family Applications (15)

Application Number Title Priority Date Filing Date
CN201910861337.4A Active CN110611810B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910861335.5A Active CN110602492B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201280030471.6A Active CN103609126B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910920489.7A Active CN110611812B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710544404.0A Active CN107318018B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN202110628345.1A Withdrawn CN113347420A (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910889636.9A Active CN110611811B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710677844.3A Active CN107426571B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710544419.7A Active CN107295335B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201410279449.6A Active CN104113764B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN202110628303.8A Withdrawn CN113347419A (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710544421.4A Active CN107454400B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910811013.XA Active CN110519592B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710677853.2A Active CN107454401B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710544405.5A Active CN107318019B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法

Family Applications Before (10)

Application Number Title Priority Date Filing Date
CN201910861337.4A Active CN110611810B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910861335.5A Active CN110602492B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201280030471.6A Active CN103609126B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910920489.7A Active CN110611812B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710544404.0A Active CN107318018B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN202110628345.1A Withdrawn CN113347420A (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910889636.9A Active CN110611811B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710677844.3A Active CN107426571B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710544419.7A Active CN107295335B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201410279449.6A Active CN104113764B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201710544421.4A Active CN107454400B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201910811013.XA Active CN110519592B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710677853.2A Active CN107454401B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
CN201710544405.5A Active CN107318019B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法

Country Status (20)

Country Link
US (8) US10291937B2 (zh)
EP (6) EP3001684A3 (zh)
JP (6) JP6070553B2 (zh)
KR (8) KR102477475B1 (zh)
CN (15) CN110611810B (zh)
AU (3) AU2012277049B2 (zh)
BR (2) BR122015001053B1 (zh)
CA (2) CA3059756C (zh)
CO (1) CO6842008A2 (zh)
DK (1) DK3313074T3 (zh)
ES (1) ES2893754T3 (zh)
HU (1) HUE056075T2 (zh)
MX (2) MX356762B (zh)
MY (1) MY167204A (zh)
PH (1) PH12018501265A1 (zh)
RU (4) RU2608476C2 (zh)
SG (3) SG10201404907QA (zh)
TW (3) TWI637626B (zh)
WO (1) WO2013001957A1 (zh)
ZA (1) ZA201309214B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
MY191819A (en) 2011-02-10 2022-07-18 Sony Group Corp Image processing device and image processing method
DK3313074T3 (da) * 2011-06-28 2021-10-25 Sony Group Corp Anordning til billedbehandling, fremgangsmåde til billedbehandling
TWI568249B (zh) * 2011-11-03 2017-01-21 太陽專利信託 用於解區塊之有效修整技術
CN103621097B (zh) * 2011-11-25 2018-04-24 太阳专利托管公司 图像处理方法及图像处理装置
US8921511B2 (en) 2012-07-27 2014-12-30 E I Du Pont De Nemours And Company Process for forming an aramid copolymer
US10027988B2 (en) 2012-09-20 2018-07-17 Sony Corporation Image processing device and method
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
KR102664196B1 (ko) * 2016-12-28 2024-05-20 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
CN106911934B (zh) * 2017-03-01 2020-03-03 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
US10448009B1 (en) * 2017-12-14 2019-10-15 Amazon Technologies, Inc. Determining sample adaptive offset filter parameters
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
KR102632984B1 (ko) * 2018-03-29 2024-02-05 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JPWO2019225459A1 (ja) 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
CN117528079A (zh) 2018-09-24 2024-02-06 华为技术有限公司 用于执行质量优化去块的图像处理设备和方法
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
WO2020077351A1 (en) * 2018-10-12 2020-04-16 Huawei Technologies Co., Ltd. Apparatus and method for deblocking filter in video coding
EP3881542A4 (en) * 2018-11-14 2022-12-28 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR APPLYING DEBLOCKING FILTERS TO RECONSTRUCTED VIDEO DATA
EP4315851A1 (en) * 2021-03-31 2024-02-07 Telefonaktiebolaget LM Ericsson (publ) Extra-long tap deblocking
US20230245286A1 (en) * 2022-01-28 2023-08-03 V-Silicon Semiconductor (Hefei) Co., Ltd. 2d recursive de-banding

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2435757C (en) * 2001-11-29 2013-03-19 Matsushita Electric Industrial Co., Ltd. Video coding distortion removal method and apparatus using a filter
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
KR100855466B1 (ko) * 2004-01-27 2008-09-01 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
KR100614647B1 (ko) 2004-07-02 2006-08-22 삼성전자주식회사 디블록킹 필터에서의 효과적인 에지 필터링 연산을 위한레지스터 어레이 구조
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
KR100722972B1 (ko) * 2004-10-26 2007-05-30 삼성전자주식회사 디지털방송 수신기의 영상신호 처리 장치 및 방법
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
RU2276355C1 (ru) * 2005-01-27 2006-05-10 Олег Федорович Меньших Устройство распознавания внутренних неоднородностей объекта
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
JP4825524B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
JP4605052B2 (ja) * 2006-03-03 2011-01-05 日本電気株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
TWI384437B (zh) * 2006-12-18 2013-02-01 Sony Corp An image signal processing device, an image signal processing method, and a computer program product
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8913670B2 (en) 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
US8145977B2 (en) * 2007-10-15 2012-03-27 Joseph Schweiray Lee Methods and apparatus for providing error correction to unwritten pages and for identifying unwritten pages in flash memory
EP2213098A2 (en) * 2007-10-16 2010-08-04 Thomson Licensing Methods and apparatus for video encoding and decoding geometrically partitioned super blocks
CN101472177B (zh) * 2007-12-27 2013-03-06 宝利微电子系统控股公司 一种块效应检测方法
JP5232175B2 (ja) * 2008-01-24 2013-07-10 パナソニック株式会社 動画像圧縮装置
JP5413923B2 (ja) * 2008-04-11 2014-02-12 トムソン ライセンシング 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
KR101073150B1 (ko) * 2009-08-28 2011-10-12 성균관대학교산학협력단 공통 데이터 패스 구조를 포함하는 디블록킹 필터링 연산 장치 및 그 방법
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
KR101918904B1 (ko) 2010-06-04 2019-02-08 소니 주식회사 화상 처리 장치 및 방법
MY174587A (en) 2010-12-07 2020-04-28 Sony Corp Image processing device and image processing method
CN103229506B (zh) 2010-12-07 2016-11-09 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US9565436B2 (en) * 2011-01-14 2017-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for filter control and a filtering control device
MY191819A (en) 2011-02-10 2022-07-18 Sony Group Corp Image processing device and image processing method
MY173604A (en) 2011-03-11 2020-02-10 Sony Corp Image processing apparatus and method
US9338476B2 (en) * 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
DK3313074T3 (da) * 2011-06-28 2021-10-25 Sony Group Corp Anordning til billedbehandling, fremgangsmåde til billedbehandling
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP6182719B2 (ja) 2012-06-29 2017-08-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 符号化装置および符号化方法
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding

Also Published As

Publication number Publication date
KR102071201B1 (ko) 2020-01-29
EP2728870A4 (en) 2015-01-14
US10291937B2 (en) 2019-05-14
CN107318018B (zh) 2019-11-01
BR112013033183B1 (pt) 2019-07-16
US20190230383A1 (en) 2019-07-25
AU2012277049B2 (en) 2017-04-06
AU2015213302A1 (en) 2015-09-03
JPWO2013001957A1 (ja) 2015-02-23
US20190191186A1 (en) 2019-06-20
ES2893754T3 (es) 2022-02-10
US11838556B2 (en) 2023-12-05
CN110611810B (zh) 2021-06-01
US11039172B2 (en) 2021-06-15
TWI571104B (zh) 2017-02-11
CN110611811B (zh) 2021-07-06
CN107318018A (zh) 2017-11-03
CN107454401A (zh) 2017-12-08
ZA201309214B (en) 2014-06-25
JP2015136147A (ja) 2015-07-27
CN107295335A (zh) 2017-10-24
US20210344965A1 (en) 2021-11-04
KR20170055554A (ko) 2017-05-19
HUE056075T2 (hu) 2022-01-28
CN110611812B (zh) 2021-07-06
EP3313074A1 (en) 2018-04-25
KR102105497B1 (ko) 2020-04-29
JP6459005B2 (ja) 2019-01-30
JP2018113699A (ja) 2018-07-19
KR20190090888A (ko) 2019-08-02
US20140112396A1 (en) 2014-04-24
US11647231B2 (en) 2023-05-09
CN110519592B (zh) 2021-06-01
US20240056611A1 (en) 2024-02-15
CN103609126B (zh) 2017-09-08
MX352108B (es) 2017-11-09
CN110602492A (zh) 2019-12-20
TW201707450A (zh) 2017-02-16
BR112013033183A2 (pt) 2017-03-01
EP3001684A2 (en) 2016-03-30
CN113347420A (zh) 2021-09-03
US20160286240A1 (en) 2016-09-29
KR102009050B1 (ko) 2019-08-08
US20230232049A1 (en) 2023-07-20
CN107454401B (zh) 2019-11-19
EP4009637A1 (en) 2022-06-08
JP6477939B2 (ja) 2019-03-06
KR20190090066A (ko) 2019-07-31
CN107454400B (zh) 2020-10-20
JP6065037B2 (ja) 2017-01-25
KR20200115675A (ko) 2020-10-07
TW201603560A (zh) 2016-01-16
CN110602492B (zh) 2021-06-01
RU2607243C2 (ru) 2017-01-10
KR20200024958A (ko) 2020-03-09
PH12018501265A1 (en) 2021-01-18
RU2643468C1 (ru) 2018-02-01
CN110519592A (zh) 2019-11-29
US11051043B2 (en) 2021-06-29
JP6468380B2 (ja) 2019-02-13
TWI542195B (zh) 2016-07-11
CN107295335B (zh) 2020-03-17
KR102166220B1 (ko) 2020-10-15
AU2015213302B2 (en) 2017-04-06
CN107426571B (zh) 2019-12-10
EP3313074B1 (en) 2021-09-22
CA3059756A1 (en) 2013-01-03
AU2017202655A1 (en) 2017-05-11
RU2015103069A (ru) 2015-06-20
CN103609126A (zh) 2014-02-26
WO2013001957A1 (ja) 2013-01-03
CN104113764A (zh) 2014-10-22
CN110611810A (zh) 2019-12-24
RU2680349C1 (ru) 2019-02-19
KR20190088573A (ko) 2019-07-26
JP2018113698A (ja) 2018-07-19
CN110611811A (zh) 2019-12-24
BR122015001053A2 (pt) 2018-03-20
CA2837055A1 (en) 2013-01-03
SG10201404907QA (en) 2014-10-30
EP3313075A1 (en) 2018-04-25
CN107318019B (zh) 2020-02-28
EP3001684A3 (en) 2016-07-20
KR20190092623A (ko) 2019-08-07
US20240031610A1 (en) 2024-01-25
KR102067369B1 (ko) 2020-01-16
KR102477475B1 (ko) 2022-12-14
JP2017060202A (ja) 2017-03-23
RU2013156835A (ru) 2015-06-27
US10298958B2 (en) 2019-05-21
CO6842008A2 (es) 2014-01-20
AU2017202655B2 (en) 2018-07-26
KR102067368B1 (ko) 2020-01-16
TW201304550A (zh) 2013-01-16
EP3313075B1 (en) 2021-12-29
CN104113764B (zh) 2017-10-27
CA2837055C (en) 2019-12-31
KR20140043758A (ko) 2014-04-10
CN107426571A (zh) 2017-12-01
MX2013015405A (es) 2015-10-27
JP6070553B2 (ja) 2017-02-01
MY167204A (en) 2018-08-13
EP2728870A1 (en) 2014-05-07
JP2018113697A (ja) 2018-07-19
JP6468381B2 (ja) 2019-02-13
KR102010160B1 (ko) 2019-08-12
CN110611812A (zh) 2019-12-24
CN107454400A (zh) 2017-12-08
DK3313074T3 (da) 2021-10-25
SG10201507034QA (en) 2015-10-29
SG10201507031PA (en) 2015-10-29
TWI637626B (zh) 2018-10-01
MX356762B (es) 2018-06-12
RU2608476C2 (ru) 2017-01-18
CA3059756C (en) 2022-10-18
EP4009638A1 (en) 2022-06-08
AU2012277049A1 (en) 2013-12-12
BR122015001053B1 (pt) 2019-07-09
CN107318019A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN110611812B (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210903

WW01 Invention patent application withdrawn after publication