CN104221389B - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN104221389B
CN104221389B CN201380017807.XA CN201380017807A CN104221389B CN 104221389 B CN104221389 B CN 104221389B CN 201380017807 A CN201380017807 A CN 201380017807A CN 104221389 B CN104221389 B CN 104221389B
Authority
CN
China
Prior art keywords
parameter
filter
image
unit
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380017807.XA
Other languages
English (en)
Other versions
CN104221389A (zh
Inventor
陆硕
池田优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201710709436.1A priority Critical patent/CN107360439B/zh
Priority to CN201710709434.2A priority patent/CN107360437B/zh
Priority to CN201710709435.7A priority patent/CN107360438B/zh
Priority to CN201910861341.0A priority patent/CN110740336B/zh
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201910798928.1A priority patent/CN110493606B/zh
Priority to CN201910793195.2A priority patent/CN110493605B/zh
Priority to CN201910889635.4A priority patent/CN110611822B/zh
Priority to CN201910889637.3A priority patent/CN110611823B/zh
Priority to CN201710709424.9A priority patent/CN107360436B/zh
Priority to CN201710709423.4A priority patent/CN108600770B/zh
Publication of CN104221389A publication Critical patent/CN104221389A/zh
Application granted granted Critical
Publication of CN104221389B publication Critical patent/CN104221389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本公开内容涉及一种可抑制块噪声的图像处理装置和方法。βLUT_input计算器和削波处理器确定βLUT_input,βLUT_input是输入到已有β产生器和扩展β产生器的值。当来自削波处理器的βLUT_input qp的值是51或更小值时,已有β产生器使用符合HEVC标准的LUT确定β,并且将其提供给滤波处理确定单元。当来自削波处理器的βLUT_input qp的值大于51时,扩展β产生器确定扩展β,并且将其提供给滤波处理确定部分。例如,本公开内容可被应用于图像处理装置。

Description

图像处理装置和方法
技术领域
本公开内容涉及一种图像处理装置和方法,尤其涉及一种能够抑制块噪声的图像处理装置和方法。
背景技术
近年来,这样的装置已变得普遍:该装置以数字方式处理图像信息,并且为了在这种情况下以高效率发送和累积信息,通过采用编码方法来执行图像的压缩编码,在该编码方法中,通过正交变换(诸如,离散余弦转换)和使用对于图像信息而言独一无二的冗余性的运动补偿来执行压缩。编码方法的例子包括MPEG(运动图片专家组)或H.264和MPEG-4第10部分(高级视频编码;以下,被称为H.264/AVC)等。
另外,当前,为了相对于H.264/AVC进一步提高编码效率,已由JCTVC(联合协作团队-视频编码)开发被称为HEVC(高效视频编码)的编码方法的标准化,JCTVC是ITU-T和ISO/IEC的联合标准化组。对于HEVC标准,已在2012年2月发布了作为第一草案规范的委员会草案(例如,参考非专利文件1)。
在目前的HEVC的草案中,去块滤波器、自适应环路滤波器和自适应偏移滤波器被用作环内滤波器,并且存在去块滤波器的两个参数,包括参数β和参数Tc。参数β具有0至51的52个值,并且对于大于51的输入而言固定为64。参数Tc具有0至53的54个值,并且对于大于53的输入而言固定为13。
可被用在HEVC中的量化参数QP的范围是0至51,但去块滤波器的参数的偏移的范围是-26至26。因此,理论上,去块滤波器的参数的LUT(查找表)的输入范围是0至77。
引用列表
非专利文件
非专利文件1:Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC)textspecification draft 6",JCTVC-H1003ver20,2012.2.17
发明内容
本发明要解决的问题
然而,由于作为针对LUT的去块滤波器的参数的实际输入的量化参数QP是0至51,所以未在最大程度上使用偏移值。
另外,如上所述,即使使用HEVC中作为参数β的最大值的64和作为参数Tc的最大值的13,也存在可听得见的块噪声保留在一些序列中的情况。
考虑到这种情况而提出本公开内容,并且可抑制块噪声。
问题的解决方案
本公开内容的第一方面的图像处理装置包括:解码单元,通过对编码流进行解码来产生图像;和滤波器单元,利用由解码单元产生的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波。
所述滤波器参数的范围被扩展以便在与已有范围一致的状态下增加滤波器的滤波强度。
所述滤波器参数的范围被调整以便在已有部分和扩展部分中是连续的。
所述滤波器参数的范围通过增加新的滤波器参数而被扩展。
所述滤波器参数是当确定是否执行滤波时使用的阈值。
所述滤波器是去块滤波器,以及滤波器参数是当确定是否需要去块滤波器时或当确定强度选择时使用的参数。
所述滤波器参数的范围按照线性形状被扩展。
所述线性形状的倾斜度是可调整的。
所述滤波器参数的范围按照曲线被扩展。
所述滤波器是去块滤波器,以及滤波器参数是当确定去块滤波器的强度选择时使用的参数或当执行滤波器的滤波时用于削波的参数。
所述滤波器单元可利用由解码单元产生的图像的块边界作为对象,使用通过使用表示滤波器参数的计算表达式的倾斜度来更新表而扩展的参数来执行滤波器的滤波。
所述滤波器单元可利用由解码单元产生的图像的块边界作为对象,使用通过将滤波器参数的偏移与滤波器参数相加而扩展的参数来执行滤波器的滤波。
所述滤波器参数可包括使用共同偏移的两种类型的参数,以及还可提供使用所述共同偏移计算所述两种类型的参数的参数计算单元。
所述滤波器参数可包括两种类型的参数,以及还可提供使用第一参数的偏移计算第一滤波器参数的第一参数计算单元以及使用第一参数的偏移、第一滤波器参数和第二滤波器参数之差和第二参数的偏移计算第二滤波器参数的第二参数计算单元。
所述滤波器是去块滤波器。
所述滤波器是自适应偏移滤波器。
所述解码单元可以以具有分级结构的处理单位对编码流进行解码。
本公开内容的第一方面的图像处理装置的图像处理方法包括:通过对编码流进行解码来产生图像;以及利用产生的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波。
本公开内容的第二方面的图像处理装置包括:滤波器单元,利用本地解码的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波;编码单元,通过使用经过由滤波器单元执行的滤波器的滤波的图像对图像进行编码来产生编码流;以及发送单元,发送由编码单元产生的编码流。
本公开内容的第二方面的图像处理装置的图像处理方法包括:利用本地解码的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波;通过使用经过滤波器的滤波的图像对图像进行编码来产生编码流;以及发送产生的编码流。
在本公开内容的第一方面,对编码流进行解码以产生图像。然后,利用产生的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以增加滤波强度而获得的参数来执行滤波器的滤波。
另外,在本公开内容的第二方面,利用本地解码的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以增加滤波强度而获得的参数来执行滤波器的滤波。然后,通过使用经过滤波器的滤波的图像对图像进行编码来产生编码流,以及发送产生的编码流。
另外,上述图像处理装置可以是独立的装置,或者可以是构成一个图像编码装置或图像解码装置的内部块。
本发明的效果
根据本公开内容的第一方面,可对图像进行解码。特别地,可抑制块噪声。
根据本公开内容的第二方面,可对图像进行编码。特别地,可抑制块噪声。
附图说明
图1是显示图像编码装置的典型示例结构的方框图。
图2是表示编码处理的流程的例子的流程图。
图3是显示图像解码装置的典型示例结构的方框图。
图4是表示解码处理的流程的例子的流程图。
图5是显示AVC方法中的去块滤波器的参数α的值和曲线图的示图。
图6是显示AVC方法中的去块滤波器的参数β的值和曲线图的示图。
图7是显示HEVC方法中的与量化参数Q对应的参数β和Tc的值的示图。
图8是显示本技术的第一扩展方法中的量化参数QP和参数β之间的关系的示图。
图9是显示在作为k=2的线性函数的扩展的情况下的量化参数QP和参数β的值和曲线图的示图。
图10是显示在作为k=4的线性函数的扩展的情况下的量化参数QP和参数β的值和曲线图的示图。
图11是显示在作为k=8的线性函数的扩展的情况下的量化参数QP和参数β的值和曲线图的示图。
图12是显示在作为指数函数的扩展的情况下的量化参数QP和参数β的值和曲线图的示图。
图13是显示本技术的第一扩展方法中的量化参数QP和参数Tc的值和曲线图的示图。
图14是显示应用本技术的去块滤波器的配置的例子的方框图。
图15是显示执行亮度边界的滤波的滤波执行单元的配置的例子的方框图。
图16是显示β产生单元的配置的例子的方框图。
图17是显示扩展β产生单元的配置的例子的方框图。
图18是显示扩展β产生单元的配置的另一例子的方框图。
图19是显示Tc产生单元的配置的例子的方框图。
图20是显示扩展Tc产生单元的配置的例子的方框图。
图21是显示扩展Tc产生单元的配置的另一例子的方框图。
图22是显示执行色差边界的滤波的滤波执行单元的配置的例子的方框图。
图23是表示去块滤波处理的流程图。
图24是表示亮度边界的滤波的流程图。
图25是表示β产生处理的流程图。
图26是表示削波的流程图。
图27是表示Tc产生处理的流程图。
图28是表示削波的另一例子的流程图。
图29是表示色差边界的滤波的流程图。
图30是显示本技术的第二扩展方法中的量化参数QP和参数β(新β)的值和曲线图的示图。
图31是表示量化参数QP和参数tc之间的关系以及近似表达式的调整量的示图。
图32是表示本技术的第三扩展方法中的参数β的例子的示图。
图33是表示本技术的第三扩展方法中的参数Tc的例子的示图。
图34是显示在量化参数QP(0至51)内的扩展的情况下的量化参数QP和参数β的值和曲线图的示图。
图35是显示β产生单元的配置的例子的方框图。
图36是表示β产生处理的流程图。
图37是显示应用本技术的去块滤波器的配置的例子的方框图。
图38是显示执行亮度边界的滤波的滤波执行单元的配置的例子的方框图。
图39是显示β产生单元的配置的例子的方框图。
图40是显示Tc产生单元的配置的例子的方框图。
图41是表示去块滤波处理的流程图。
图42是表示滤波器的配置设置处理的流程图。
图43是表示β产生处理的流程图。
图44是表示Tc产生处理的流程图。
图45是表示偏移的传输的示图。
图46是显示语法的例子的示图。
图47是显示应用本技术的去块滤波器的配置的例子的方框图。
图48是表示滤波器的配置设置处理的流程图。
图49是显示应用本技术的去块滤波器的配置的例子的方框图。
图50是表示滤波器的配置设置处理的流程图。
图51是表示偏移的传输的示图。
图52是显示语法的例子的示图。
图53是显示多视点图像编码方法的例子的示图。
图54是显示应用本技术的多视点图像编码装置的主要配置的例子的示图。
图55是显示应用本技术的多视点图像解码装置的主要配置的例子的示图。
图56是显示分级图像编码方法的例子的示图。
图57是显示应用本技术的分级图像编码装置的主要配置的例子的示图。
图58是显示应用本技术的分级图像解码装置的主要配置的例子的示图。
图59是显示计算机的典型示例结构的方框图。
图60是显示电视设备的示意性结构的一个例子的方框图。
图61是显示便携式电话装置的示意性结构的一个例子的方框图。
图62是显示记录/再现装置的示意性结构的一个例子的方框图。
图63是显示成像装置的示意性结构的例子的方框图。
图64是显示可伸缩编码的使用的例子的方框图。
图65是显示可伸缩编码的使用的另一例子的方框图。
图66是显示可伸缩编码的使用的另一例子的方框图。
具体实施方式
将在以下描述用于执行本公开内容的实施方式(以下被称为实施例)。将按照下面的次序进行描述。
1.装置和操作的概述
2.传统方法的解释
3.第一实施例(第一扩展方法)
4.第二实施例(第二扩展方法)
5.第三实施例(第三扩展方法)
6.第四实施例(第四扩展方法)
7.第五实施例(第一偏移传输方法)
8.第六实施例(第二偏移传输方法)
9.第七实施例(多视点图像编码装置/多视点图像解码装置)
10.第八实施例(分级图像编码装置/分级图像解码装置)
11.第九实施例(计算机)
12.应用
13.可伸缩编码的应用
<1.装置和操作的概述>
[图像编码装置的配置例子]
图1显示作为应用本公开内容的图像处理装置的图像编码装置的实施例的配置。
图1中示出的图像编码装置11使用预测处理对图像数据进行编码。这里,作为编码方法,例如使用HEVC(高效视频编码)方法等。
另外,在HEVC方法中,定义编码单位(CU)。CU也被称为编码树块(CTB),并且是与H.264/AVC方法中的宏块具有相同作用的图片单位的图像的部分区域。后者被固定为16×16像素的大小,而前者的大小不是固定的并且在每个序列中的图像压缩信息中指定。
例如,在将要被输出的编码数据中所包括的序列参数集(SPS)中,定义了CU的最大大小(LCU(最大编码单位))和最小大小(SCU(最小编码单位))。
在每个LCU内,可通过在不小于SCU的大小的范围中设置split-flag(分割标记)=1来执行至具有较小的大小的CU的划分。当split_flag(分割标记)的值为“1”时,具有2N×2N的大小的CU被划分为低一个级别的具有N×N的大小的CU。
另外,CU被划分为预测单位(PU),PU是将要经受帧内或帧间预测处理的区域(图片单位的图像的部分区域),并且CU被划分为变换单位(TU),TU是将要经受正交变换处理的区域(图片单位的图像的部分区域)。目前,在HEVC方法中,除了4×4和8×8之外,还可使用16×16和32×32的正交变换。
图1的图像编码装置11包括A/D(模/数)转换器21、帧重新排序缓冲器22、算术运算单元23、正交变换器24、量化器25、无损编码器26和累积缓冲器27。图像编码装置11还包括逆量化器28、逆正交变换器29、算术运算单元30、去块滤波器31a、帧存储器32、选择器33、帧内预测器34、运动估计器/补偿器35、预测图像选择器36和速率控制器37。
另外,图像编码装置11包括位于去块滤波器31a和帧存储器32之间的自适应偏移滤波器41和自适应环路滤波器42。
A/D转换器21对输入图像数据执行A/D转换,将图像数据输出到帧重新排序缓冲器22,并且将图像数据存储在帧重新排序缓冲器22中。
帧重新排序缓冲器22根据GOP(图片组)结构将以显示次序存储的图像的帧重新排序为用于编码的帧次序。帧重新排序缓冲器22将帧已被重新排序的图像提供给算术运算单元23。另外,帧重新排序缓冲器22还将帧已被重新排序的图像提供给帧内预测器34和运动估计器/补偿器35。
算术操作单元23用从帧重新排序缓冲器22读取的图像减去经由预测图像选择器36从帧内预测器34或运动估计器/补偿器35提供的预测图像,并且将作为结果的差信息输出到正交变换器24。
例如,在对图像执行帧内编码的情况下,算术运算单元23用从帧重新排序缓冲器22读取的图像减去从帧内预测器34提供的预测图像。另外,例如,在对图像执行帧间编码的情况下,算术运算单元23用从帧重新排序缓冲器22读取的图像减去从运动估计器/补偿器35提供的预测图像。
正交变换器24对从算术运算单元23提供的差信息执行正交变换(诸如,离散余弦转换或Karhunen-Loeve变换),并且将变换系数提供给量化器25。
量化器25对从正交变换器24输出的变换系数进行量化。量化器25将量化的变换系数提供给无损编码器26。
无损编码器26对量化的变换系数执行无损编码(诸如,可变长度编码和算术编码)。
无损编码器26从帧内预测器34获取参数(诸如,指示帧内预测模式的信息),并且从运动估计器/补偿器35获取参数(诸如,指示帧间预测模式的信息或运动向量信息)。
无损编码器26对量化的变换系数进行编码,还对获取的每个参数(语法元素)进行编码,并且将结果设置为编码数据的头信息的一部分(多路复用该结果)。无损编码器26将通过编码获得的编码数据提供给累积缓冲器27以累积编码数据。
例如,在无损编码器26中,执行无损编码处理(诸如,可变长度编码或算术编码)。作为可变长度编码,可提及CAVLC(上下文自适应可变长度编码)等。作为算术编码,可提及CABAC(上下文自适应二进制算术编码)等。
累积缓冲器27暂时地保存从无损编码器26提供的编码流(数据),并且在预定定时将保存的编码数据输出到例如下游的记录装置(未示出)或传输路径作为编码图像。也就是说,累积缓冲器27也是用于发送编码流的发送单元。
另外,由量化器25量化的变换系数也被提供给逆量化器28。逆量化器28使用与量化器25的量化对应的方法执行量化的变换系数的逆量化。逆量化器28将获得的变换系数提供给逆正交变换器29。
逆正交变换器29通过与由正交变换器24执行的正交变换处理对应的方法对提供的变换系数执行逆正交变换。通过逆正交变换获得的输出(恢复的差信息)被提供给算术运算单元30。
算术操作单元30将经由预测图像选择器36从帧内预测器34或运动估计器/补偿器35提供的预测图像与逆正交变换的结果(也就是说,从逆正交变换器29提供的恢复的差信息)相加,以获得本地解码的图像(解码图像)。
例如,当差信息对应于被执行帧内编码的图像时,算术运算单元30将从帧内预测器34提供的预测图像与差信息相加。另外,例如,当差信息对应于被执行帧间编码的图像时,算术运算单元30将从运动估计器/补偿器35提供的预测图像与差信息相加。
作为相加结果的解码图像被提供给去块滤波器31a和帧存储器32。
去块滤波器31a通过适当地执行去块滤波来抑制解码图像的块失真。去块滤波器31a具有基于量化参数QP计算的参数β和Tc。参数β和Tc是在关于去块滤波器的确定中使用的阈值(参数)。根据在HEVC方法中定义的β和Tc来扩展作为去块滤波器31a所具有的参数的β和Tc。
另外,去块滤波器31a可通过用户的指令而被禁用,并且通过由用户操作操作单元(未示出)等将关于是否执行去块滤波的接通/断开(ON/OFF)信息输入到去块滤波器31a。另外,上述参数β和Tc的每个偏移的默认值是0。然而,当上述参数β和Tc的每个偏移的默认值是除0之外的值时,用户通过操作操作单元(未示出)等将该值输入到去块滤波器31a。去块滤波器的接通/断开信息(也被称为DisableDeblockingFilter(禁用去块滤波器)标记信息)以及参数β和Tc的每个偏移被无损编码器26编码为去块滤波器的参数,并且被发送给将在稍后描述的图3中示出的图像解码装置51。
去块滤波器31a使用接通/断开信息和上述偏移、以及作为根据HEVC方法中定义的β和Tc而扩展的参数的β和Tc,对来自算术运算单元30的图像执行去块滤波。去块滤波器31a将滤波结果提供给自适应偏移滤波器41。另外,将在稍后参考图14描述去块滤波器31a的详细配置。
自适应偏移滤波器41对在去块滤波器31a的滤波之后的图像执行用于主要抑制振铃(ringing)的偏移滤波(SAO:采样自适应偏移)处理。
偏移滤波器的类型一共包括九种类型,包括两种类型的带偏移、六种类型的边缘偏移以及无偏移。自适应偏移滤波器41使用用于每个四叉树结构和每个划分区域的偏移值对在去块滤波器31a的滤波之后的图像执行滤波,在四叉树结构中,针对每个划分区域确定偏移滤波器的类型。自适应偏移滤波器41将滤波之后的图像提供给自适应环路滤波器42。
另外,在图像编码装置11中,用于每个四叉树结构和划分区域的偏移值由自适应偏移滤波器41计算并且使用。所计算的用于每个四叉树结构和划分区域的偏移值被无损编码器26编码为自适应偏移参数,并且被发送给将在稍后描述的图3中示出的图像解码装置51。
自适应环路滤波器42使用滤波器系数以处理单位对在自适应偏移滤波器41的滤波之后的图像执行自适应环路滤波(ALF:自适应环路滤波)处理。在自适应环路滤波器42中,作为滤波器,例如使用二维维纳滤波器。毫无疑问地,也可使用除维纳滤波器之外的滤波器。自适应环路滤波器42将滤波结果提供给帧存储器32。
另外,虽然在图1的例子中未示出,但在图像编码装置11中,滤波器系数由自适应环路滤波器42计算,以使得每个处理单位和来自帧重新排序缓冲器22的原始图像之间的残差最小化并且使用该残差。所计算的滤波器系数被无损编码器26编码为自适应环路滤波器参数,并且被发送给将在稍后描述的图3中示出的图像解码装置51。
帧存储器32在预定定时通过选择器33将累积的参考图像输出到帧内预测器34或运动估计器/补偿器35。
例如,在对图像执行帧内编码的情况下,帧存储器32通过选择器33将参考图像提供给帧内预测器34。另外,例如,当执行帧间编码时,帧存储器32通过选择器33将参考图像提供给运动估计器/补偿器35。
当从帧存储器32提供的参考图像是被执行帧内编码的图像时,选择器33将参考图像提供给帧内预测器34。另外,当从帧存储器32提供的参考图像是被执行帧间编码的图像时,选择器33将参考图像提供给运动估计器/补偿器35。
帧内预测器34使用画面内的像素值执行用于产生预测图像的帧内预测。帧内预测器34在多个模式(帧内预测模式)下执行帧内预测。
帧内预测器34在所有帧内预测模式下产生预测图像,评估每个预测图像,并且选择最佳模式。一旦选择了最佳帧内预测模式,帧内预测器34通过预测图像选择器36将在最佳模式下产生的预测图像提供给算术运算单元23或算术运算单元30。
另外,如上所述,帧内预测器34适当地将参数(诸如,指示所采用的帧内预测模式的帧内预测模式信息)提供给无损编码器26。
运动估计器/补偿器35使用从帧重新排序缓冲器22提供的输入图像和通过选择器33从帧存储器32提供的参考图像,对被执行帧间编码的图像执行运动估计。另外,运动估计器/补偿器35根据通过运动估计检测到的运动向量执行运动补偿处理,由此产生预测图像(帧间预测图像信息)。
运动估计器/补偿器35通过在所有的候选帧间预测模式下执行帧间预测处理来产生预测图像。运动估计器/补偿器35通过预测图像选择器36将产生的预测图像提供给算术运算单元23或算术运算单元30。
另外,运动估计器/补偿器35将参数(诸如,指示所采用的帧间预测模式的帧间预测模式信息或指示计算出的运动向量的运动向量信息)提供给无损编码器26。
在对图像执行帧内编码的情况下,预测图像选择器36将帧内预测器34的输出提供给算术运算单元23或算术运算单元30,并且在对图像执行帧间编码的情况下,将运动估计器/补偿器35的输出提供给算术运算单元23或算术运算单元30。
速率控制器37基于累积缓冲器27中累积的压缩图像控制量化器25的量化操作的速率,从而不发生上溢或下溢。
[图像编码装置的操作]
将参考图2描述由以上图像编码装置11执行的编码处理的流程。
在步骤S11中,A/D转换器21对输入图像执行A/D转换。在步骤S12中,帧重新排序缓冲器22存储通过A/D转换获得的图像,并且将按照显示次序的各个图片重新排序为编码次序。
当从帧重新排序缓冲器22提供的待处理图像是将要经受帧内处理的块的图像时,从帧存储器32读取将要参考的解码图像并且通过选择器33将该解码图像提供给帧内预测器34。
在步骤S13中,基于这些图像,帧内预测器34在所有的候选帧内预测模式下执行待处理的块的像素的帧内预测。另外,作为将要参考的解码像素,使用没有被去块滤波器31a滤波的像素。
通过这个处理,在所有的候选帧内预测模式下执行帧内预测,并且针对所有的候选帧间预测模式计算成本函数值。然后,基于计算的成本函数值选择最佳帧内预测模式,并且将在最佳帧内预测模式下通过帧内预测产生的预测图像和成本函数值提供给预测图像选择器36。
当从帧重新排序缓冲器22提供的待处理图像是将要经受帧间处理的图像时,从帧存储器32读取将要参考的图像并且通过选择器33将该图像提供给运动估计器/补偿器35。在步骤S14中,运动估计器/补偿器35基于这些图像执行运动估计/补偿处理。
通过这个处理,在所有的候选帧间预测模式下执行运动估计处理,并且在所有的候选帧间预测模式下计算成本函数值。基于计算的成本函数值,确定最佳帧间预测模式。然后,将在最佳帧间预测模式下产生的预测图像和成本函数值提供给预测图像选择器36。
在步骤S15中,预测图像选择器36基于从帧内预测器34和运动估计器/补偿器35输出的各个成本函数值将最佳帧内预测模式或最佳帧间预测模式确定为最佳预测模式。然后,预测图像选择器36选择在确定的最佳预测模式下的预测图像,并且将该预测图像提供给算术运算单元23和30。预测图像被用在将在稍后描述的步骤S16和S21的操作中。
另外,预测图像的选择信息被提供给帧内预测器34或运动估计器/补偿器35。当选择了在最佳帧内预测模式下的预测图像时,帧内预测器34将指示最佳帧内预测模式的信息(也就是说,关于帧内预测的参数)提供给无损编码器26。
当选择了在最佳帧间预测模式下的预测图像时,运动估计器/补偿器35将指示最佳帧间预测模式的信息和与最佳帧间预测模式对应的信息(也就是说,关于运动估计的参数)输出到无损编码器26。作为与最佳帧间预测模式对应的信息,可提及运动向量信息、参考帧信息等。
在步骤S16中,算术运算单元23计算在步骤S12中重新排序的图像和在步骤S15中选择的预测图像之差。在帧间预测的情况下,通过预测图像选择器36将预测图像从运动估计器/补偿器35提供给算术运算单元23,而在帧内预测的情况下,通过预测图像选择器36将预测图像从帧内预测器34提供给算术运算单元23。
与原始图像数据的数据量相比,差数据的数据量减少。因此,与按原样对图像进行编码的情况相比,可压缩数据的量。
在步骤S17中,正交变换器24执行从算术运算单元23提供的差信息的正交变换。具体地讲,执行正交变换(诸如,离散余弦转换或Karhunen-Loeve变换),并且提供变换系数。
在步骤S18中,量化器25量化变换系数。在量化中,如将通过稍后描述的步骤S28的处理所解释的那样控制速率。
如上所述量化的差信息在本地被如下解码。也就是说,在步骤S19中,逆量化器28利用与量化器25的特性对应的特性执行被量化器25量化的变换系数的逆量化。在步骤S20中,逆正交变换器29利用与正交变换器24的特性对应的特性执行已被逆量化器28逆量化的变换系数的逆正交变换。
在步骤S21中,算术运算单元30通过将通过预测图像选择器36输入的预测图像与本地解码的差信息相加来产生本地解码的图像(与算术运算单元23的输入对应的图像)。
在步骤S22中,去块滤波器31a对从算术运算单元30输出的图像执行去块滤波。将参考图23详细地描述去块滤波处理。在这种情况下,根据HEVC方法中定义的β和Tc而扩展的参数β和Tc被用作关于去块滤波器的确定的阈值。来自去块滤波器31a的在滤波之后的图像被输出到自适应偏移滤波器41。
另外,通过由用户操作操作单元(未示出)等而输入的在去块滤波器31a中使用的接通/断开信息以及参数β和Tc的每个偏移被提供给无损编码器26作为去块滤波器的参数。
在步骤S23中,自适应偏移滤波器41执行自适应偏移滤波。通过这个处理,使用用于每个四叉树结构和每个划分区域的偏移值对在去块滤波器31a的滤波之后的图像执行滤波,在四叉树结构中,针对每个划分区域确定偏移滤波器的类型。滤波之后的图像被提供给自适应环路滤波器42。
另外,所确定的用于每个四叉树结构和划分区域的偏移值被提供给无损编码器26作为自适应偏移参数。
在步骤S24中,自适应环路滤波器42对在自适应偏移滤波器41的滤波之后的图像执行自适应环路滤波。例如,使用滤波器系数以处理单位对在自适应偏移滤波器41的滤波之后的图像执行滤波,并且滤波结果被提供给帧存储器32。
在步骤S25中,帧存储器32存储滤波后的图像。另外,未被去块滤波器31a、自适应偏移滤波器41和自适应环路滤波器42滤波的图像也被从算术运算单元30提供给帧存储器32并且被存储。
另一方面,上述在步骤S18中量化的变换系数也被提供给无损编码器26。在步骤S26中,无损编码器26对从量化器25输出的量化后的变换系数和所提供的每个参数进行编码。也就是说,差图像通过无损编码(诸如,可变长度编码或算术编码)而被压缩。这里,作为编码的参数,存在去块滤波器的参数、自适应偏移滤波器的参数、自适应环路滤波器的参数、量化参数、运动向量信息或参考帧信息、预测模式信息等。
在步骤S27中,累积缓冲器27累积编码差图像(也就是说,编码流)作为压缩图像。累积在累积缓冲器27中的压缩图像被适当地读取并且通过传输路径被发送给解码侧。
在步骤S28中,速率控制器37基于累积缓冲器27中累积的压缩图像控制量化器25的量化操作的速率,从而不发生上溢或下溢。
当步骤S28中的处理结束时,编码处理结束。
[图像解码装置的配置例子]
图3显示作为应用本公开内容的图像处理装置的图像解码装置的实施例的配置。图3中示出的图像解码装置51是与图1中示出的图像编码装置11对应的解码装置。
假设:由图像编码装置11编码的编码流(数据)通过预定传输路径被发送给与图像编码装置11对应的图像解码装置51并且被解码。
如图3中所示,图像解码装置51包括累积缓冲器61、无损解码器62、逆量化器63、逆正交变换器64、算术运算单元65、去块滤波器31b、帧重新排序缓冲器67和D/A转换器68。图像解码装置51还包括帧存储器69、选择器70、帧内预测器71、运动估计器/补偿器72和选择器73。
另外,图像解码装置51包括位于去块滤波器31b与帧重新排序缓冲器67和帧存储器69之间的自适应偏移滤波器81和自适应环路滤波器82。
累积缓冲器61也是接收所发送的编码数据的接收单元。累积缓冲器61接收并且累积所发送的编码数据。编码数据已被图像编码装置11编码。无损解码器62使用与图1中示出的无损编码器26的编码方法对应的方法,对在预定定时从累积缓冲器61读取的编码数据进行解码。
无损解码器62将诸如指示解码的帧内预测模式的信息的参数提供给帧内预测器71,并且将诸如指示帧间预测模式的信息或运动向量信息的参数提供给运动估计器/补偿器72。另外,无损解码器62将解码的去块滤波器的参数提供给去块滤波器31b,并且将解码的自适应偏移参数提供给自适应偏移滤波器81。
逆量化器63使用与图1中示出的量化器25的量化方法对应的方法执行通过无损解码器62的解码获得的系数数据(量化系数)的逆量化。也就是说,逆量化器63使用从图像编码装置11提供的量化参数以与图1中示出的逆量化器28相同的方法执行量化系数的逆量化。
逆量化器63将逆量化的系数数据(也就是说,正交变换系数)提供给逆正交变换器64。逆正交变换器64使用与图1中示出的正交变换器24的正交变换方法对应的方法执行正交变换系数的逆正交变换,由此获得与图像编码装置11中的正交变换之前的残余数据对应的解码残余数据。
通过逆正交转换获得的解码残余数据被提供给算术运算单元65。另外,预测图像经由选择器73从帧内预测器71或运动估计器/补偿器72被提供给算术运算单元65。
算术运算单元65将解码残余数据和预测图像相加,以获得与在由图像编码装置11中的算术运算单元23减去预测图像之前的图像数据对应的解码图像数据。算术运算单元65将解码图像数据提供给去块滤波器31b。
去块滤波器31b通过适当地执行去块滤波来抑制解码图像的块失真。以基本上与图1中示出的去块滤波器31a相同的方式配置去块滤波器31b。也就是说,去块滤波器31b具有基于量化参数而计算的参数β和Tc。参数β和Tc是在关于去块滤波器的确定中使用的阈值。根据HEVC方法中定义的β和Tc扩展作为去块滤波器31b所具有的参数的β和Tc。
另外,已被图像编码装置11编码的去块滤波器的接通/断开信息以及参数β和Tc的每个偏移被图像解码装置51接收为去块滤波器的参数,被无损解码器62解码,并且被去块滤波器31b使用。
去块滤波器31b使用接通/断开信息和上述偏移、以及作为根据HEVC方法中定义的β和Tc而扩展的参数的β和Tc,对来自算术运算单元30的图像执行去块滤波。去块滤波器31b将滤波结果提供给自适应偏移滤波器81。另外,将在稍后参考图14描述去块滤波器31b的详细配置。
自适应偏移滤波器81对在去块滤波器31b的滤波之后的图像执行用于主要抑制振铃(ringing)的偏移滤波(SAO)。
自适应偏移滤波器81使用用于每个四叉树结构和每个划分区域的偏移值对在去块滤波器31b的滤波之后的图像执行滤波,在四叉树结构中,针对每个划分区域确定偏移滤波器的类型。自适应偏移滤波器81将滤波之后的图像提供给自适应环路滤波器82。
另外,用于每个四叉树结构和划分区域的偏移值由图像编码装置11的自适应偏移滤波器41计算,并且作为自适应偏移参数被编码和发送。已被图像编码装置11编码的用于每个四叉树结构和划分区域的偏移值被图像解码装置51接收为自适应偏移参数,被无损解码器62解码,并且被自适应偏移滤波器81使用。
自适应环路滤波器82使用滤波器系数以处理单位对在自适应偏移滤波器81的滤波之后的图像执行滤波,并且将滤波结果提供给帧存储器69和帧重新排序缓冲器67。
另外,虽然在图3的例子中未示出,但在图像解码装置51中,由图像编码装置11的自适应环路滤波器42针对每个LUC计算滤波器系数,并且作为自适应环路滤波器参数编码和发送的滤波器系数被无损解码器62解码并且使用。
帧重新排序缓冲器67执行图像重新排序。具体地讲,由图1中的帧重新排序缓冲器22重新排序为编码次序的帧被重新排序为原始显示次序。D/A转换器68对从帧重新排序缓冲器67提供的图像执行D/A转换,并且将转换后的图像输出到显示器(未示出)以显示图像。
另外,自适应环路滤波器82的输出被提供给帧存储器69。
帧存储器69、选择器70、帧内预测器71、运动估计器/补偿器72和选择器73分别对应于图像编码装置11的帧存储器32、选择器33、帧内预测器34、运动估计器/补偿器35和预测图像选择器36。
选择器70从帧存储器69读取帧间处理后的图像和将要被参考的图像,并且将这些图像提供给运动估计器/补偿器72。另外,选择器70从帧存储器69读取用于帧内预测的图像,并且将该图像提供给帧内预测器71。
通过对头信息进行解码而获得的指示帧内预测模式的信息等被适当地从无损解码器62提供给帧内预测器71。基于该信息,帧内预测器71根据从帧存储器69获取的参考图像产生预测图像,并且将产生的预测图像提供给选择器73。
通过对头信息进行解码而获得的信息(预测模式信息、运动向量信息、参考帧信息、标记、各种参数等)被从无损解码器62提供给运动估计器/补偿器72。
基于从无损解码器62提供的信息,运动估计器/补偿器72根据从帧存储器69获取的参考图像产生预测图像,并且将产生的预测图像提供给选择器73。
选择器73选择由运动估计器/补偿器72或帧内预测器71产生的预测图像,并且将选择的预测图像提供给算术运算单元65。
[图像解码装置的操作]
将参考图4描述由以上图像解码装置51执行的解码处理的流程的例子。
当解码处理开始时,在步骤S51中,累积缓冲器61接收和累积所发送的编码流(数据)。在步骤S52中,无损解码器62对从累积缓冲器61提供的编码数据进行解码。由图1中示出的无损编码器26编码的I图片、P图片和B图片被解码。
在这些图片的解码之前,参数信息(诸如,运动向量信息、参考帧信息和预测模式信息(帧内预测模式或帧间预测模式))也被解码。
当预测模式信息是帧内预测模式信息时,预测模式信息被提供给帧内预测器71。当预测模式信息是帧间预测模式信息时,预测模式信息和对应的运动向量信息等被提供给运动估计器/补偿器72。另外,去块滤波器的参数和自适应偏移参数也被解码并且分别被提供给去块滤波器31b和自适应偏移滤波器81。
在步骤S53中,帧内预测器71或运动估计器/补偿器72执行与从无损解码器62提供的预测模式信息对应的预测图像产生处理。
也就是说,当从无损解码器62提供帧内预测模式信息时,帧内预测器71在帧内预测模式下产生帧内预测图像。当从无损解码器62提供帧间预测模式信息时,运动估计器/补偿器72在帧间预测模式下执行运动估计/补偿处理以产生帧间预测图像。
通过这个处理,由帧内预测器71产生的预测图像(帧内预测图像)或由运动估计器/补偿器72产生的预测图像(帧间预测图像)被提供给选择器73。
在步骤S54中,选择器73选择预测图像。也就是说,提供由帧内预测器71产生的预测图像或由运动估计器/补偿器72产生的预测图像。因此,提供的预测图像被选择并且被提供给算术运算单元65,并且在将在稍后描述的步骤S57中与逆正交变换器64的输出相加。
在上述步骤S52中,由无损解码器62解码的变换系数也被提供给逆量化器63。在步骤S55中,逆量化器63利用与图1中示出的量化器25的特性对应的特性执行由无损解码器62解码的变换系数的逆量化。
在步骤S56中,逆正交变换器29利用与图1中示出的正交变换器24的特性对应的特性执行已被逆量化器28逆量化的变换系数的逆正交变换。作为结果,与图1中示出的正交变换器24的输入(算术运算单元23的输出)对应的差信息被解码。
在步骤S57中,算术运算单元65将在上述步骤S54中的处理中选择的并且通过选择器73输入的预测图像与差信息相加。作为结果,原始图像被解码。
在步骤S58中,去块滤波器31b对从算术运算单元65输出的图像执行去块滤波。将参考图23详细地描述去块滤波处理。在这种情况下,根据HEVC方法中定义的β和Tc而扩展的参数β和Tc被用作关于去块滤波器的确定的阈值。来自去块滤波器31b的在滤波之后的图像被输出到自适应偏移滤波器81。另外,在去块滤波处理中,也使用从无损解码器62提供的作为去块滤波器的参数的接通/断开信息以及参数β和Tc的每个偏移。
在步骤S59中,自适应偏移滤波器81执行自适应偏移滤波。通过这个处理,使用用于每个四叉树结构和每个划分区域的偏移值对在去块滤波器31b的滤波之后的图像执行滤波,在四叉树结构中,针对每个划分区域确定偏移滤波器的类型。滤波之后的图像被提供给自适应环路滤波器82。
在步骤S60中,自适应环路滤波器82对在自适应偏移滤波器81的滤波之后的图像执行自适应环路滤波。自适应环路滤波器82使用针对每个处理单位计算的滤波器系数以处理单位对输入图像执行滤波,并且将滤波结果提供给帧重新排序缓冲器67和帧存储器69。
在步骤S61中,帧存储器69存储滤波后的图像。
在步骤S62中,帧重新排序缓冲器67执行在自适应环路滤波器82之后的图像的重新排序。也就是说,由图像编码装置11的帧重新排序缓冲器22为了编码而重新排序的帧按照原始显示的次序被重新排序。
在步骤S63中,D/A转换器68执行来自帧重新排序缓冲器67的图像的D/A转换。这个图像被输出到显示器(未示出),从而显示图像。
当步骤S63中的处理结束时,解码处理结束。
<2.传统方法的解释>
[AVC方法中的去块滤波器的参数]
接下来,将描述AVC方法中的去块滤波器的参数。在AVC方法中,作为用于确定是否需要去块滤波器的参数,存在α和β。根据量化参数QP确定这些值。
图5的A是显示该参数α和量化参数QP之间的关系的曲线图,而图5的B是显示该参数α和量化参数QP之间的关系的表。参数α通过基于下面的表达式(1)的精细调整而被优化。
[数学公式1]
对于0至51的量化参数QP,参数α可采用0至255的值。
图6的A是显示该参数β和量化参数QP之间的关系的曲线图,而图6的B是显示该参数β和量化参数QP之间的关系的表。参数β通过基于下面的表达式(2)的精细调整而被优化。图6的A中的虚线显示表达式(2),而实线显示在表达式(2)的精细调整之后的图6的B中示出的值。
[数学公式2]
β(qp)=round(0.5*qp-7)...(2)
对于0至51的量化参数QP,参数β可采用0至18的值。
[HEVC方法中的去块滤波器的参数]
作为与AVC方法中的参数α和β对应的参数,在HEVC方法中使用参数β和Tc。
参数β和Tc是在关于去块滤波器的确定中使用的滤波器参数。具体地讲,参数β是在关于是否需要去块滤波器的确定和强度选择的确定中使用的阈值,并且是用于调整去块滤波的强度的参数。参数Tc是在强度选择的确定中使用的阈值,并且是用于调整去块滤波的强度的参数。另外,参数Tc是也在滤波期间的削波中使用的值。参数β和Tc是根据量化参数QP设置的值,如图7中所示。图7是显示与量化参数QP对应的参数β和Tc的值的示图。
参数β具有0至51的52个值,并且对于大于51的输入而言固定为64。参数Tc具有0至53的54个值,并且对于大于53的输入而言固定为13。
这里,可被用在HEVC方法中的量化参数QP的范围是0至51,但去块滤波器的参数的偏移的范围是-26至26。因此,理论上,去块滤波器的参数的LUT(查找表)的输入范围是0至77。
然而,由于作为针对LUT的去块滤波器的参数的实际输入的量化参数QP是0至51,所以没有在最大程度上使用偏移值。
另外,如上所述,即使使用HEVC方法中的作为参数β的最大值的64和作为参数Tc的最大值的13,也存在可听得见的块噪声保留在一些序列中的情况。
因此,在本技术中,为了增加去块滤波的强度,参数β和Tc被扩展,并且扩展的参数β和Tc被用在去块滤波器中。也就是说,在去块滤波器中,使用通过扩展用于控制滤波器的滤波器参数(参数β和Tc)的范围以增加滤波强度而获得的参数。
另外,这里的扩展指的是针对已有参数范围来扩展参数范围,已有参数范围具有AVC方法中的参数范围、和作为已有参数范围的在非专利文件1中描述的HEVC方法的ver21中的参数范围。另外,在本技术中,参数范围被扩展,以便针对噪声增加滤波强度,因为存在噪声留在已有参数中的情况。
<3.第一实施例(第一扩展方法)>
[参数β的扩展]
图8是显示本技术中的量化参数QP和参数β之间的关系的示图。另外,在图8中示出的表中,粗框部分是由本技术扩展的部分。
如图8的粗框中所示,扩展(添加)与量化参数QP(52至qpmax)对应的参数β(β(52)至β(qpmax))。另外,例如,将在qpmax是77的情况下给出下面的解释。然而,该值可被设置,并且不限于77。
待扩展的参数β的值可被设置为量化参数的函数,并且存在设置参数β的两种方法。第一β设置方法是将参数β的值设置为量化参数QP的线性函数(线性形状)的方法。第二β设置方法是将参数β的值设置为量化参数QP的指数函数(曲线)的方法。
在指数函数的情况下,可相对于线性函数增加变化。
[第一β设置方法:线性函数的例子]
在HEVC方法中,参数β被表示为量化参数QP的线性函数,如下面的表达式(3)中的0≤qp≤51中所示。
因此,作为第一β设置方法,对于扩展部分,参数β也被设置为量化参数QP的线性函数,如表达式(3)中的52≤qp≤qpmax中所示。
[数学公式3]
这里,k和b可被调整。倾斜度k大于0,并且可通过使已有部分与扩展部分之间的边界连续来计算b。
另外,还是对于扩展部分,当在HEVC方法中作为直线执行扩展时,如下面的表达式(4)中所示,倾斜度k=2并且b=-38。
[数学公式4]
图9的A是显示当作为k=2的线性函数执行扩展时的参数β和量化参数QP之间的关系的曲线图。图9的B是显示当作为k=2的线性函数执行扩展时的参数β和量化参数QP的值的表。另外,在图9的B中示出的表中,粗框部分是由本技术扩展的部分。在这种情况下,对于0至77的量化参数QP,参数β可采用0至116的值。
另外,线性函数的倾斜度可以改变。例如,对于扩展部分,当通过使倾斜度大于HEVC方法中的直线的倾斜度来执行扩展时(也就是说,在倾斜度k=4并且b=-140的情况下)的线性函数由下面的表达式(5)表示。
[数学公式5]
这里,倾斜度k=4的原因在于:在倾斜度k=2的情况下,qp*2=qp<<1(向左移动1位)。另一方面,在倾斜度k=4的情况下,qp*2=qp<<2(向左移动2位)。因此,考虑到由软件执行的计算,这在安装时是合适的。另外,在倾斜度k=4的情况下,设置b=-140以便使已有部分和扩展部分之间的边界是连续函数。
图10的A是显示当通过使倾斜度大于HEVC方法中的直线的倾斜度来执行扩展(也就是说,作为倾斜度k=4的线性函数执行扩展)时的参数β和量化参数QP之间的关系的曲线图。图10的B是显示当作为k=4的线性函数执行扩展时的参数β和量化参数QP的值的表。另外,在图10的B中示出的表中,粗框部分是由本技术扩展的部分。在这种情况下,对于0至77的量化参数QP,参数β刻采用0至168的值。
另外,对于扩展部分,当通过使倾斜度大于HEVC方法中的直线的倾斜度来执行扩展时(也就是说,在倾斜度k=8并且b=-344的情况下)的线性函数由下面的表达式(6)表示。
[数学公式6]
这里,倾斜度k=8的原因在于:在倾斜度k=8的情况下,qp*8=qp<<3(向左移动3位)。因此,考虑到由软件执行的计算,这在安装时是合适的。另外,在倾斜度k=8的情况下,设置b=-344以便使已有部分和扩展部分之间的边界是连续函数。
另外,在以上解释中,倾斜度k=2、4和8的例子已被描述为更合适的例子。然而,只要k>0,本发明就不限于倾斜度k=2、4和8。
图11的A是显示当通过使倾斜度大于HEVC方法中的直线的倾斜度来执行扩展(也就是说,作为倾斜度k=8的线性函数执行扩展)时的参数β和量化参数QP之间的关系的曲线图。图11的B是显示当作为k=4的线性函数执行扩展时的参数β和量化参数QP的值的表。另外,在图11的B中示出的表中,粗框部分是由本技术扩展的部分。在这种情况下,对于0至75的量化参数QP,参数β可采用0至255的值。另外,例如,当量化参数QP是76、77等并且β大于255时,设置β=255。
[第二β设置方法:指数函数的例子]
接下来,作为第二β设置方法,对于扩展部分,参数β被设置为量化参数QP的指数函数,如下面的表达式(7)中的52≤qp≤qpmax中所示。
[数学公式7]
这里,基于上述表达式(1)的AVC方法的去块滤波器中的参数α的值来设置表达式(7)的指数函数。
例如,在下面的表达式(8)中示出的k=0.8、x=6,a=-13并且b=0的情况下,通过使用AVC方法的去块滤波器中的参数α之中的不在HEVC中的值来计算系数(k,x,a,b)。具体地讲,当QP是38时,AVC中的参数α是63。这接近于64,64是当QP是51时的HEVC中的参数β的值。因此,对于52或更高的QP的参数β,为了应用39或更高的QP的在AVC中的参数α,以使得已有部分和扩展部分之间的边界是连续的方式计算系数(k,x,a,b)。
[数学公式8]
图12的A是显示当作为k=0.8、x=6、a=-13并且b=0的指数函数执行扩展时的参数β和量化参数QP之间的关系的曲线图。图12的B是显示当作为k=0.8、x=6、a=-13并且b=0的指数函数执行扩展时的参数β和量化参数QP的值的表。另外,在图12的B中示出的表中,粗框部分是由本技术扩展的部分。在这种情况下,对于0至63的量化参数QP,参数β可采用0至255的值。另外,例如,当量化参数QP是64至77等并且β大于255时,设置β=255。
由于如上所述地扩展参数β,所以可增加去块滤波的强度。
[Tc设置方法]
可按原样应用HEVC方法中的参数Tc。然而,像下面的表达式(9)中示出的近似表达式中一样,也可作为HEVC方法中的函数扩展参数Tc。
[数学公式9]
Tc(qp)=max(round(0.5*qp-13.5),1),
qp∈[53,Tcqpmax]...(9)
另外,实际上,类似于AVC方法中的β,参数Tc通过基于上述表达式(9)的精细调整而被优化。
图13的A是显示当使用HEVC方法中的函数执行扩展时的参数Tc和量化参数QP之间的关系的曲线图。图13的B是显示当使用HEVC方法中的函数执行扩展时的参数Tc和量化参数QP的值的表。另外,在图13的B中示出的表中,粗框部分是由本技术扩展的部分。在这种情况下,对于0至77的量化参数QP,参数Tc可采用1至25的值。
由于如上所述地扩展参数Tc,所以可进一步增加去块滤波的强度。
[去块滤波器的配置的例子]
接下来,将描述图1中示出的图像编码装置中的去块滤波器31a和图3中示出的图像解码装置中的去块滤波器31b的细节。另外,由于图1中示出的图像编码装置中的去块滤波器31a和图3中示出的图像解码装置中的去块滤波器31b具有基本上相同的配置和操作,所以将作为去块滤波器31统一给出下面的解释。
这里,只有下面的点是去块滤波器31a和31b之间的差异。也就是说,在去块滤波器31a的情况下,通过操作单元(未示出)输入关于是否执行去块滤波的接通/断开信息以及参数β和Tc的每个偏移。另一方面,在去块滤波器31b的情况下,已被图像编码装置11编码的关于是否执行去块滤波的接通/断开信息以及参数β和Tc的每个偏移被接收,并且在被无损解码器62解码之后被输入。
图14是显示去块滤波器的配置的例子的方框图。
在图14中示出的例子中,去块滤波器31被配置为包括配置设置单元101和滤波执行单元102。
配置设置单元101接收从示图中未示出的操作单元(或无损解码器62)输入的例如接通/断开信息、β偏移的值和Tc偏移的值,并且在去块滤波器31中执行配置设置。作为配置设置,执行去块滤波器的偏移、去块滤波器的接通/断开、TU和PU之间的边界的导出、BS(边界滤波强度)值的导出等。配置设置单元101将设置的信息提供给滤波执行单元102。
来自算术运算单元30(或算术运算单元65)的在去块滤波之前的像素值被提供给滤波执行单元102。滤波执行单元102基于由配置设置单元101设置的信息计算用于产生参数的量化参数QP,产生参数β和Tc,并且确定是否需要滤波或确定滤波强度。然后,滤波执行单元102基于确定的滤波强度或关于是否需要滤波的确定结果执行滤波。滤波执行单元102将在去块滤波之后的像素值提供给下游的自适应偏移滤波器41(或自适应偏移滤波器81)。
另外,滤波执行单元102对亮度边界和色差边界中的每一个执行上述处理。
[对于亮度边界的滤波执行单元的配置的例子]
图15是显示执行亮度边界的滤波的滤波执行单元的配置的例子的方框图。
在图15中示出的例子中,滤波执行单元102被配置为包括QP计算单元111、β产生单元112、Tc产生单元113、滤波确定单元114和滤波单元115。
来自上游的阶段的在去块滤波之前的像素值被输入到QP获取单元111a和滤波单元115。
QP计算单元111被配置为包括QP获取单元111a和平均QP计算单元111b,接收来自上游的阶段的在去块滤波之前的像素值,并且计算用于产生参数β和Tc的量化参数QP。QP计算单元111将计算的量化参数QP提供给β产生单元112和Tc产生单元113。
QP获取单元111a从去块滤波之前的输入像素值获取共享待处理的边界的两个区域(这两个区域与该边界相邻)的量化参数p_QP和q_QP。例如,当边界沿垂直方向时,获取与边界的左侧相邻的区域p的量化参数p_QP,并且获取与边界的右侧相邻的区域q的量化参数q_QP。另外,例如,当边界沿水平方向时,获取与边界的上侧相邻的区域p的量化参数p_QP,并且获取与边界的下侧相邻的区域q的量化参数q_QP。
另外,例如,在图像编码装置11中,来自量化器25的量化参数QP与运动向量信息或预测模式信息一起被存储在存储器(未示出)中。另外,在图像解码装置51中,由无损解码器62解码的量化参数QP与运动向量信息或预测模式信息一起被存储在存储器(未示出)中。QP获取单元111a从以此方式存储量化参数QP的存储器获取量化参数QP。
QP获取单元111a将获取的量化参数p_QP和q_QP提供给平均QP计算单元111b。
平均QP计算单元111b计算来自QP获取单元111a的量化参数p_QP和q_QP的平均值,并且将该平均值提供给β产生单元112和Tc产生单元113作为用于产生参数β和Tc的量化参数QP。
β产生单元112根据来自平均QP计算单元111b的量化参数QP产生参数β,并且将产生的参数β提供给滤波确定单元114。
Tc产生单元113根据来自平均QP计算单元111b的量化参数QP产生参数Tc,并且将产生的参数Tc提供给滤波确定单元114。
滤波确定单元114使用来自β产生单元112的参数β、来自Tc产生单元113的参数Tc等确定滤波。也就是说,滤波确定单元114使用来自β产生单元112的参数β等确定是否需要滤波。另外,滤波确定单元114使用来自β产生单元112的参数β、来自Tc产生单元113的参数Tc等确定滤波强度。滤波确定单元114将确定的滤波信息提供给滤波单元115。在这种情况下,参数β和Tc也被提供给滤波单元115。例如,参数Tc在滤波单元115中被用于削波。
当滤波确定单元114确定要执行滤波时,滤波单元115按照由滤波确定单元114确定的滤波强度对在去块滤波之前的输入像素值执行滤波。滤波单元115将去块滤波之后的像素值输出到下游的阶段。
另外,当滤波确定单元114确定不执行滤波时,滤波单元115按原样将去块滤波之前的输入像素值作为去块滤波之后的像素值输出到下游的阶段(而不执行滤波)。
[β产生单元的配置的例子]
图16是显示β产生单元的配置的例子的方框图。
在图16中示出的例子中,β产生单元112被配置为包括βLUT_input计算单元121、削波单元122、已有β产生单元123和扩展β产生单元124。
来自平均QP计算单元111b的量化参数QP被提供给βLUT_input计算单元121。由配置设置单元101设置的信息的β偏移的值被提供给βLUT_input计算单元121。另外,由配置设置单元101设置的信息的作为用于产生β的量化参数的最大值的βqpmax被提供给削波单元122。
βLUT_input计算单元121和削波单元122计算βLUT_input,该βLUT_input是输入到已有β产生单元123和扩展β产生单元124的值。
也就是说,βLUT_input计算单元121通过将β偏移的值和来自平均QP计算单元111b的量化参数QP相加来计算βtmp,并且将计算的βtmp提供给削波单元122。
削波单元122在由配置设置单元101设置的值的范围[0,βqpmax]中,对来自βLUT_input计算单元121的βtmp进行削波。削波单元122将削波之后的βtmp提供给已有β产生单元123和扩展β产生单元124作为βLUT_input qp。
已有β产生单元123具有在HEVC方法中定义的LUT(查找表)131。当来自削波单元122的βLUT_input qp的值等于或小于51时,已有β产生单元123使用LUT 131计算β,并且将计算的β提供给滤波确定单元114。
当来自削波单元122的βLUT_input qp的值大于51时,扩展β产生单元124计算扩展β,并且将计算的β提供给滤波确定单元114。
例如,如图17中所示,扩展β产生单元124被配置为包括β(qp)计算单元141。当输入[51,βqpmax]的qp时,β(qp)计算单元141使用预先设置函数参数的由虚线显示的函数表达式(线性函数或指数函数)动态地产生β。
作为第一β设置方法,扩展β产生单元124在上述表达式(3)中的52≤qp≤qpmax的情况下使用线性函数动态地产生β。也就是说,在这种情况下,作为QP的线性函数计算β的值。另外,k和b被设置为函数参数。在这种情况下,k和b可通过语法而被发送给解码侧。
作为第二β设置方法,扩展β产生单元124在上述表达式(7)中的52≤qp≤qpmax的情况下使用指数函数动态地产生β。也就是说,在这种情况下,作为QP的指数函数计算β的值。另外,k、b、x和a被设置为函数参数。在这种情况下,k、b、x和a可通过语法而被发送给解码侧。
另外,例如,如图18中所示,扩展β产生单元124被配置为具有扩展LUT(查找表)153。另外,在图18中示出的例子中,扩展LUT 153被示出为包括已有LUT 131部分。然而,仅阴影部分是扩展部分。在布置在另一计算机151等中的β(qp)计算单元152接收到[0,βqpmax]的任意qp并且预先使用设置函数参数的函数表达式(线性函数或指数函数)计算β之后,存储扩展LUT 153。
当输入[51,βqpmax]的qp时,扩展β产生单元124使用扩展LUT 153计算β。
如上所述,当配置扩展β产生单元124时,可选择是通过定义表达式(函数表达式)还是通过LUT来给出扩展β。
[Tc产生单元的配置的例子]
图19是显示Tc产生单元的配置的例子的方框图。
在图19中示出的例子中,Tc产生单元113被配置为包括Tc_LUT_input计算单元161、削波单元162、已有Tc产生单元163和扩展Tc产生单元164。
来自平均QP计算单元111b的量化参数QP被提供给Tc_LUT_input计算单元161。由配置设置单元101设置的信息的Tc偏移的值被提供给Tc_LUT_input计算单元161。另外,由配置设置单元101设置的信息的作为用来产生Tc的量化参数的最大值的Tc_qpmax被提供给削波单元162。
Tc_LUT_input计算单元161和削波单元162计算Tc_LUT_input,该Tc_LUT_input是输入到已有Tc产生单元163和扩展Tc产生单元164的值。
也就是说,Tc_LUT_input计算单元161通过将Tc偏移的值和来自平均QP计算单元111b的量化参数QP相加来计算Tctmp,并且将计算的Tctmp提供给削波单元162。
削波单元162在由配置设置单元101设置的值的范围[0,Tc_qpmax]中,对来自Tc_LUT_input计算单元161的Tctmp进行削波。削波单元162将削波之后的Tctmp提供给已有Tc产生单元163和扩展Tc产生单元164作为Tc_LUT_input qp。
已有Tc产生单元163具有在HEVC方法中定义的LUT(查找表)171。当来自削波单元162的Tc_LUT_input qp的值等于或小于53时,已有Tc产生单元163使用LUT 171计算Tc,并且将计算的Tc提供给滤波确定单元114。
当来自削波单元122的Tc_LUT_input qp的值大于53时,扩展Tc产生单元164计算扩展Tc,并且将计算的Tc提供给滤波确定单元114。
例如,如图20中所示,扩展Tc产生单元164被配置为包括Tc(qp)计算单元181。当输入[53,Tc_qpmax]的qp时,Tc(qp)计算单元181使用通过扩展已有的QP-Tc的函数而获得的上述表达式(9)动态地产生Tc。
另外,例如,如图21中所示,扩展Tc产生单元164被配置为具有扩展LUT(查找表)193。另外,在图21中示出的例子中,扩展LUT 193被示出为包括已有LUT 171部分。然而,只有阴影部分是扩展部分。在布置在另一计算机191等中的Tc(qp)计算单元192接收到[53,Tc_qpmax]的任意qp并且使用扩展函数计算Tc之后,存储扩展LUT 193。
当输入[53,Tc_qpmax]的qp时,扩展Tc产生单元164使用扩展LUT 193计算Tc。
如上所述,当配置扩展Tc产生单元164时,可选择是通过定义表达式(函数表达式)还是通过LUT来给出扩展Tc。
[对于色差边界的滤波执行单元的配置的例子]
图22是显示执行色差边界的滤波的滤波执行单元的配置的例子的方框图。
图22中示出的滤波执行单元102与图15中示出的滤波执行单元102的不同之处仅在于:去除了β产生单元112和滤波确定单元114。图22中示出的滤波执行单元102与图15中示出的滤波执行单元102的相同之处在于:包括QP计算单元111、Tc产生单元113和滤波单元115。由于共同的单元是重复的,所以其解释将会被省略。
也就是说,在色差边界的情况下,不执行滤波确定,并且滤波单元115使用来自Tc产生单元113的参数Tc执行滤波。例如,参数Tc被用于削波。
[去块滤波器的操作]
接下来,将参考图23中示出的流程图描述去块滤波处理。另外,这个去块滤波处理是图2的步骤S22和图4的步骤S58中的处理。
例如,通过示图中未示出的操作单元(或无损解码器62)输入接通/断开信息、β偏移的值和Tc偏移的值。
在步骤S101中,配置设置单元101设置滤波器的偏移(β偏移和Tc偏移)。配置设置单元101将设置的偏移信息提供给滤波执行单元102的β产生单元112和Tc产生单元113中的每一个。
在步骤S102中,配置设置单元101基于接通/断开信息确定是否可以使用去块滤波器。当在步骤S102中确定无法使用去块滤波器时,去块滤波处理结束。
当在步骤S102中确定可以使用去块滤波器时,该处理前进至步骤S103。
在步骤S103中,配置设置单元101导出TU和PU之间的边界。在步骤S104中,配置设置单元101基于在步骤S103中导出的TU和PU之间的边界的信息、预测模式信息等导出BS(边界滤波强度)值。配置设置单元101将BS值的信息提供给滤波执行单元102的QP计算单元111。
在步骤S105中,滤波执行单元102执行亮度(LUMA)边界的滤波。虽然将在稍后参考图24描述这个处理,但通过步骤S105中的处理对亮度边界执行滤波。
在步骤S106中,滤波执行单元102执行色差(CHROMA)边界的滤波。虽然将在稍后参考图29描述这个处理,但通过步骤S106中的处理对色差边界执行滤波。
在步骤S107中,滤波执行单元102确定是否所有的边界已被处理。当在步骤S107中确定并非所有的边界已被处理时,该处理返回到步骤S105以重复随后的处理。
当在步骤S107中确定所有的边界已被处理时,该处理前进至步骤S108。
在步骤S108中,配置设置单元101确定是否所有的CU已被处理。当在步骤S108中确定并非所有的CU已被处理时,该处理返回到步骤S103以重复随后的处理。
当在步骤S108中确定所有的CU已被处理时,去块滤波处理结束。
[对于亮度边界的滤波的例子]
接下来,将参考图24中示出的流程图描述图23的步骤S105中的亮度边界的滤波。
当接收到来自配置设置单元101的Bs值时,QP计算单元111在步骤S121中确定Bs值是否大于0。当在步骤S121中确定Bs值不大于0时,亮度边界的滤波结束。也就是说,在这种情况下,不对亮度边界执行滤波。
当在步骤S121中确定Bs值大于0时,该处理前进至步骤S122。在步骤S122中,QP计算单元111接收来自上游的阶段的在去块滤波之前的像素值,并且计算共享边界的两个块(区域)的平均QP。
也就是说,QP获取单元111a从在去块滤波之前的输入像素值获取共享待处理的边界的两个区域(这两个区域与该边界相邻)的量化参数p_QP和q_QP。QP获取单元111a将获取的量化参数p_QP和q_QP提供给平均QP计算单元111b。
平均QP计算单元111b计算来自QP获取单元111a的量化参数p_QP和q_QP的平均值,并且将该平均值提供给β产生单元112和Tc产生单元113作为用来产生参数β和Tc的量化参数QP。
在步骤S123中,β产生单元112产生β。虽然将在稍后参考图25描述β产生处理,但通过步骤S123中的处理来产生β,并且β被提供给滤波确定单元114。
在步骤S124中,Tc产生单元113产生Tc。虽然将在稍后参考图26描述Tc产生处理,但通过步骤S124中的处理来产生Tc并且Tc被提供给滤波确定单元114。
在步骤S125中,滤波确定单元114确定滤波。也就是说,滤波确定单元114使用来自β产生单元112的参数β等确定是否需要滤波。另外,滤波确定单元114使用来自β产生单元112的参数β、来自Tc产生单元113的参数Tc等确定滤波强度。滤波确定单元114将确定的滤波信息提供给滤波单元115。
在步骤S126中,滤波单元115按照由滤波确定单元114确定的滤波强度对在去块滤波之前的输入像素值执行滤波。滤波单元115将去块滤波之后的像素值输出到下游的阶段。
另外,在步骤S125中,当确定不执行滤波时,跳过步骤S126中的处理。在这种情况下,滤波单元115按原样将去块滤波之前的输入像素值作为去块滤波之后的像素值输出下游的阶段(而不执行滤波)。
[β产生处理的例子]
接下来,将参考图25中示出的流程图描述图24的步骤S123中的β产生处理。
来自平均QP计算单元111b的量化参数QP被提供给βLUT_input计算单元121。由配置设置单元101设置的信息的β偏移的值被提供给βLUT_input计算单元121。
在步骤S141中,βLUT_input计算单元121通过将β偏移的值和来自平均QP计算单元111b的量化参数QP相加来计算βtmp,并且将计算的βtmp提供给削波单元122。
在步骤S142中,削波单元122在由配置设置单元101设置的值的范围[0,βqpmax]中,对来自βLUT_input计算单元121的βtmp进行削波。虽然将在稍后参考图26描述这个处理的细节,但削波单元122将削波之后的βtmp提供给已有β产生单元123和扩展β产生单元124作为βLUT_input qp。
在步骤S143中,已有β产生单元123和扩展β产生单元124确定来自削波单元122的qp是否大于51。当在步骤S143中确定来自削波单元122的qp等于或小于51时,该处理前进至步骤S144。
在步骤S144中,已有β产生单元123使用已有LUT 131计算β,并且将计算的β提供给滤波确定单元114。
当在步骤S143中确定来自削波单元122的qp大于51时,该处理前进至步骤S145。
在步骤S145中,扩展β产生单元124计算扩展β,并且将计算的β提供给滤波确定单元114。
例如,如以上参考图17所述,扩展β产生单元124(β(qp)计算单元141)使用预先设置函数参数的由虚线显示的函数表达式(线性函数或指数函数)动态地产生β。
例如,如以上参考图18所述,扩展β产生单元124使用扩展LUT 153计算β,其中,在接收到[0,βqpmax]的任意qp并且预先使用设置函数参数的函数表达式(线性函数或指数函数)计算β之后存储该扩展LUT 153。
[削波的例子]
接下来,将参考图26中示出的流程图描述图25的步骤S142中的削波。
在步骤S161中,削波单元122设置βLUT_input qp=来自βLUT_input计算单元121的βtmp。
在步骤S162中,削波单元122确定来自βLUT_input计算单元121的βtmp是否大于βqpmax。当在步骤S162中确定βtmp大于βqpmax时,该处理前进至步骤S163。
在步骤S163中,削波单元122设置βLUT_input qp=βqpmax,并且将βLUT_input qp提供给已有β产生单元123和扩展β产生单元124。
当在步骤S162中确定βtmp等于或小于βqpmax时,跳过步骤S163中的处理并且削波结束。也就是说,在这种情况下,βLUT_input qp(βtmp)被提供给已有β产生单元123和扩展β产生单元124。
[Tc产生处理的例子]
接下来,将参考图27中示出的流程图描述图24的步骤S124中的Tc产生处理。
来自平均QP计算单元111b的量化参数QP被提供给Tc_LUT_input计算单元161。由配置设置单元101设置的信息的Tc偏移的值被提供给Tc_LUT_input计算单元161。
在步骤S181中,Tc_LUT_input计算单元161通过将Tc偏移的值和来自平均QP计算单元111b的量化参数QP相加来计算Tctmp,并且将计算的Tctmp提供给削波单元162。
在步骤S182中,削波单元162在由配置设置单元101设置的值的范围[0,Tc_qpmax]中,对来自Tc_LUT_input计算单元161的Tctmp进行削波。虽然将在稍后参考图28描述这个处理的细节,但削波单元162将削波之后的Tctmp提供给已有Tc产生单元163和扩展Tc产生单元164作为Tc_LUT_input qp。
在步骤S183中,已有Tc产生单元163和扩展Tc产生单元164确定来自削波单元162的qp是否大于53。当在步骤S183中确定来自削波单元162的qp等于或小于53时,该处理前进至步骤S184。
在步骤S184中,已有Tc产生单元163使用已有LUT 171计算Tc,并且将计算的Tc提供给滤波确定单元114。
当在步骤S183中确定来自削波单元162的qp大于51时,该处理前进至步骤S185。
在步骤S185中,扩展Tc产生单元164计算扩展Tc,并且将计算的Tc提供给滤波确定单元114。
例如,如以上参考图20所述,扩展Tc产生单元164(Tc(qp)计算单元181)使用通过扩展已有的QP-Tc的函数而获得的上述表达式(9)动态地产生Tc。
例如,如以上参考图21所述,扩展Tc产生单元164使用扩展LUT 193计算Tc,其中,在接收到[53,Tc_qpmax]的任意qp并且使用扩展函数计算Tc之后存储该扩展LUT 193。
[削波的例子]
接下来,将参考图28中示出的流程图描述图27的步骤S182中的削波。
在步骤S201中,削波单元162设置Tc_LUT_input qp=来自Tc_LUT_input计算单元161的Tctmp。
在步骤S202中,削波单元162确定来自Tc_LUT_input计算单元161的Tctmp是否大于Tc_qpmax。当在步骤S202中确定Tctmp大于Tc_qpmax时,该处理前进至步骤S203。
在步骤S203中,削波单元162设置Tc_LUT_input qp=Tc_qpmax,并且将Tc_LUT_input qp提供给已有Tc产生单元163和扩展Tc产生单元164。
当在步骤S202中确定Tctmp等于或小于Tc_qpmax时,跳过步骤S203中的处理并且削波结束。也就是说,在这种情况下,Tc_LUT_input qp(Tctmp)被提供给已有Tc产生单元163和扩展Tc产生单元164。
[色差边界的滤波的例子]
接下来,将参考图29中示出的流程图描述图23的步骤S106中的色差边界的滤波。
当接收到来自配置设置单元101的Bs值时,QP计算单元111在步骤S221中确定Bs值是否大于1。当在步骤S221中确定Bs值不大于1时,色差边界的滤波结束。也就是说,在这种情况下,不对色差边界执行滤波。
当在步骤S221中确定Bs值大于1时,该处理前进至步骤S222。在步骤S222中,QP计算单元111接收来自上游的阶段的在去块滤波之前的像素值,并且计算共享边界的两个块(区域)的平均QP。
也就是说,QP获取单元111a从在去块滤波之前的输入像素值获取共享待处理的边界的两个区域(这两个区域与该边界相邻)的量化参数p_QP和q_QP。QP获取单元111a将获取的量化参数p_QP和q_QP提供给平均QP计算单元111b。
平均QP计算单元111b计算来自QP获取单元111a的量化参数p_QP和q_QP的平均值,并且将该平均值提供给Tc产生单元113作为用来产生参数Tc的量化参数QP。
在步骤S223中,Tc产生单元113产生Tc。虽然由于Tc产生处理基本上与以上参考图26描述的处理相同而将省略对Tc产生处理的解释,但通过步骤S223中的处理来产生Tc并且Tc被提供给滤波单元115。
在步骤S224中,滤波单元115使用由Tc产生单元113产生的参数Tc等对在去块滤波之前的输入像素值执行滤波。滤波单元115将去块滤波之后的像素值输出到下游的阶段。
另外,在以上解释中,已描述了通过增加参数β和Tc来执行扩展以便增加滤波强度的例子(以下,也被称为第一扩展方法)。然而,参数β和Tc的扩展的例子不限于上述第一扩展方法。接下来,将描述在不增加参数的数量的情况下改变函数的倾斜度的第二扩展方法。
<4.第二实施例(第二扩展方法)>
[参数β的扩展的例子]
首先,将描述通过第二扩展方法执行的参数β的扩展。在HEVC方法中,如下面的表达式(10)所示,通过根据QP的一部分的三个表达式来计算参数β。
[数学公式10]
在第二扩展方法中,这三个表达式的倾斜度(k0,k1,k2)通过语法而被发送给解码侧。在解码侧,对于每个片,使用由编码侧的语法指示的倾斜度更新由下面的表达式(11)显示的表。
[数学公式11]
另外,在k0=0、k1=1和k2=2的情况下,表达式(11)变为上述表达式(10)的表。k0=0、k1=1和k2=2是默认值,并且这些值之中将要改变的值通过语法而被发送给解码侧。
图30是显示在表达式(11)中在k0=0、k1=1和k2=2的情况下的量化参数QP和参数β之间的关系以及当已执行了作为k2=4的更新时的量化参数QP和参数β(新β)之间的关系的示图。
在图30的A中示出的曲线图中,“在更新之前”由虚线显示,并且“在作为k2=4的更新之后”由实线显示。在图30的B中示出的表中,与在更新之后的16≤qp≤51对应的在更新之后的新β的值由粗框包围。在它们之中,与作为k2=4更新的29≤qp≤51对应的新β的值被画上阴影线。
在图30中示出的例子的情况下,对于0至51的量化参数QP,参数β(新β)可采用0至110的值。
另外,虽然在上述例子中在qp=0时的β被设置为0,但在qp=0时的β可以是其它值而不限于0。另外,在上述例子中,已描述了这样的例子:通过根据QP的一部分的三个表达式来计算β。然而,β的表达式的划分部分的数量不限于3。
另外,虽然在上述例子中qp的每个部分的边界是连续的,但qp的每个部分的边界可以是不连续的。另外,虽然在上述例子中β的表达式被表示为线性函数,但β的表达式还可被表示为例如指数函数,而不限于此。
作为将系数(k0,k1,k2)发送给解码侧的方法,例如,可以考虑指数Golomb或固定长度编码。然而,可采用任何种类的编码。
[参数Tc的扩展的例子]
接下来,将描述通过第二扩展方法执行的参数Tc的扩展。此外,在参数Tc的情况下,以基本上与上述参数β相同的概念执行第二扩展方法。
然而,在参数Tc的情况下,与参数β的情况不同,参数Tc在HEVC方法中不是由单个表达式表示。另外,当进行近似时,HEVC方法中的参数Tc由下面的表达式(12)表示。
[数学公式12]
也就是说,如图31中所示,在实际量化参数QP和参数Tc的关系与通过近似该关系而获得的表达式(12)之间存在细微偏差(调整量(Δt))。
在图31的A中,通过近似量化参数QP和参数Tc之间的关系而获得的表达式(12)由虚线表示为“在调整之前”,并且在量化参数QP和参数Tc的关系与表达式(12)之间的偏差的“在调整之后”由实线表示。
在图31的B中,示出量化参数QP和参数Tc的关系以及当该关系由表达式(12)表示时的调整量(Δt)。
因此,在参数Tc的情况下,如下面的表达式(13)中所示,将近似表达式(12)乘以k3和k4,然后调整相对于表达式(12)的偏差的量(调整量Δt)。
[数学公式13]
然后,在第二扩展方法中,这两个表达式的倾斜度(k3,k4)通过语法而被发送给解码侧。在解码侧,对于每个片,使用由编码侧的语法指示的倾斜度更新由上述表达式(13)显示的表。另外,作为将系数(k3,k4)发送给解码侧的方法,例如,可以考虑指数Golomb或固定长度编码。然而,可采用任何种类的编码。
调整量是±k4,并且符号根据qp的值而改变,如图31的B中所示。在图31的B中,当QP是27至29和31时,调整量的值为正。当QP是34和36至42时,调整量的值为负。另外,例如,调整量可固定为图31的B中示出的1,而不管k如何。
在k3=0和k4=1的情况下,表达式(13)变为通过将调整量(Δt)与由上述表达式(12)显示的近似表达式的表相加而获得的表达式。K3=0和k4=1是默认值,并且这些值之中将要改变的值通过语法而被发送给解码侧。
另外,虽然调整量被包括在表达式(13)中,但在假设由上述表达式(12)表示已有参数Tc的情况下,也可使用没有调整量的表达式(14)。
[数学公式14]
另外,在上述表达式(11)中的乘以k0至k2以及在上述表达式(13)或表达式(14)中的乘以k3和k4优选地可以通过比特移位来实现。
另外,根据上述第二扩展方法,量化参数QP的含义不变。量化参数QP的范围与HEVC方法中的范围并没有不同。另外,可根据噪声在流中是如何混合的来增加设置的自由度。另外,可实现这一点而不增加使用的存储器。
<5.第三实施例(第三扩展方法)>
[参数β的扩展的例子]
另外,将描述通过第三扩展方法执行的参数β的扩展。HEVC方法中的参数β的偏移(β_offset)的含义是量化参数QP+β_offset。因此,参数β由下面的表达式(15)表示。
[数学公式15]
β=β[QP+β_offset]...(15)
也就是说,在HEVC方法中,将β_offset与量化参数QP相加,并且获得β。相比之下,作为第三扩展方法,如下面的表达式(16)中所示,直接将β_offset与参数β相加。
[数学公式16]
β=β[QP]+β_offset*α0...(16)
这里,α0是固定值。例如,α0=0、1、2、3、4、…,并且α0的值不受限制。可使用这个α0调整β。另外,α0可以不是固定值。例如,α0可在编码侧被设置并且通过语法而被发送给解码侧。
例如,如参考图32所述,在QP=37、β_offset=6和α0=2的情况下,在HEVC方法中根据上述表达式(15)使用β=β(37+6)=β(43)的值(=48)。
另一方面,在第三扩展方法的情况下,根据上述表达式(16)使用通过将12与β=β(37)+6*2=β(37)的值(=36)相加而获得的值(48)。
如上所述,也可使用β_offset直接扩展β的值的范围。如以下所述,对于参数Tc,同样如此。
[参数Tc的扩展的例子]
接下来,将描述使用第三扩展方法的参数Tc的扩展。HEVC方法中的参数Tc的偏移(Tc_offset)的含义是量化参数QP+Tc_offset。因此,参数Tc由下面的表达式(17)表示。
[数学公式17]
tc=tc[QP+tc_offset]...(17)
也就是说,在HEVC方法中,将Tc_offset与量化参数QP相加,并且获得Tc。相比之下,作为第三扩展方法,如下面的表达式(18)中所示,直接将Tc_offset与参数Tc相加。
[数学公式18]
tc=tc[QP]+tc_offset*α1...(18)
这里,α1是固定值。例如,α1=0、1、2、3、4、…,并且α1的值不受限制。可使用这个α1调整Tc。另外,α1不限于固定值,并且可在编码侧被设置并且通过语法而被发送给解码侧。
例如,如参考图33所述,在QP=37、Tc_offset=6和α1=1的情况下,在HEVC方法中根据上述表达式(17)使用Tc=Tc(37+6)=Tc(43)的值(=8)。
另一方面,在第三扩展方法的情况下,根据上述表达式(18)使用通过将6与Tc=Tc(37)+6*1=Tc(37)的值(=4)相加而获得的值(10)。
如上所述,也可使用Tc_offset直接扩展Tc的值的范围。
另外,在上述表达式(15)中的乘以α0以及在上述表达式(18)中的乘以α1优选地可以通过比特移位来实现。
另外,根据上述第三扩展方法,量化参数QP的含义不变。量化参数QP的范围与HEVC方法中的范围并没有不同。另外,可以实现这一点而不增加使用的存储器。
另外,例如,类似于第一扩展方法,上述第二和第三扩展方法也由图16中示出的扩展β产生单元124和图19中示出的扩展Tc产生单元164来执行。
另外,例如,上述第二扩展方法中的系数(k0至k5)和第三扩展方法中的系数α0和α1可作为头(诸如,片头)而被发送给解码侧。另外,系数(k0至k5)或者系数α0和α1可作为NAL单元(诸如,自适应参数集(APS))而被发送给解码侧。
如上所述,在关于滤波的确定中使用的参数(也就是说,用于确定滤波强度的参数)被扩展以增加滤波强度。因此,由于可以通过滤波强度的增加来抑制块噪声,所以可优化解码图像。
另外,β和Tc被用作用于增加去块滤波的强度的滤波器参数。另外,在当前情况下的参数的范围中,存在留有噪声的地方。因此,执行β和Tc的扩展以进一步增加强度。类似的考虑因素可被应用于自适应偏移滤波器。也就是说,在自适应偏移滤波器中,也可通过扩展当前标准的参数的范围来进一步增加强度。
这里,在上述第一扩展方法中,已描述了扩展在量化参数QP(0至51)之后的值中的参数的范围的例子,该量化参数QP是针对LUT的去块滤波器的参数的输入。在这种情况下,用于保存参数的表的数量大致上增加,或者用于新参数的计算成本增加。
相比之下,将描述这样的例子:可以尽可能简单地增加去块的强度。
<6.第四实施例(第四扩展方法)>
[参数β的扩展]
首先,将参考图34描述在量化参数QP(0至51)内扩展参数的范围的例子。图34的A是显示本技术中的量化参数QP和参数β之间的关系的曲线图。图34的B是显示本技术中的量化参数QP和参数β之间的关系的表。另外,在图34的A中示出的曲线图中,虚线显示相关技术。在图34的B中示出的表中,粗框部分是由本技术扩展的部分。
如图34的粗框内所示,通过增加线性函数的倾斜度(这将参数表示为更大的倾斜度)来扩展量化参数QP(0至51)中的高的部分(也就是说,与量化参数QP(45至51)对应的参数β(β(45)至β(51)))。也就是说,这种扩展β的方法由下面的表达式(19)表示。
[数学公式19]
另外,虽然在这里设置k3=4,但k3不限于4。也就是说,虽然考虑到移位操作,4适合用作k3的值,但k3的值也可以是3、5、6等。
第四实施例中的去块滤波器31基本上与以上参考图14描述的去块滤波器31相同,不同之处在于图15中示出的β产生单元112的配置。因此,接下来将描述具有不同配置的图15的β产生单元112的配置的例子。
[β产生单元的配置的例子]
图35是显示β产生单元的配置的例子的方框图。
在图35中示出的例子中,β产生单元112被配置为包括图16中示出的βLUT_input计算单元121和β产生处理单元251。
来自平均QP计算单元111b的量化参数QP被提供给βLUT_input计算单元121。由配置设置单元101设置的信息的β偏移的值(β_offdset_div2)被提供给βLUT_input计算单元121。
βLUT_input计算单元121计算βtmp,该βtmp是输入到β产生处理单元251的值βLUT_input qp。也就是说,βLUT_input计算单元121通过将β偏移的值和来自平均QP计算单元111b的量化参数QP相加来计算βtmp,并且将计算的βtmp提供给β产生处理单元251。
β产生处理单元251具有基于表达式(19)的离线计算的βLUT(查找表)。β产生处理单元251接收由βLUT_input计算单元121计算的βtmp作为βLUT_input qp,使用βLUT(表达式(19))计算β,并且将计算的β提供给滤波确定单元114。
另外,第四实施例中的去块滤波器31的处理基本上与以上参考图23描述的去块滤波处理相同,不同之处在于图24的步骤S123中的β产生处理。
因此,接下来将参考图36中示出的流程图描述作为不同处理的β产生处理(图24的步骤S123)。
在步骤S251中,βLUT_input计算单元121计算βtmp=QP+β_offdset_div2*2(该βtmp是输入到β产生处理单元251的值βLUT_input qp),并且将计算的βtmp提供给β产生处理单元251。
另外,实际上,β的偏移值(β_offdset_div2)被减半并且被发送,并且当在步骤S251中计算βLUT_input qp时被加倍并且被使用。
在步骤S252中,β产生处理单元251接收由βLUT_input计算单元121计算的βtmp作为βLUT_input qp,使用βLUT(表达式(19))计算β,并且将计算的β提供给滤波确定单元114。
如上所述,通过增加量化参数QP(0至51)中的高的部分的β的线性函数的倾斜度来增加滤波强度。在这种情况下,可以容易地增加当给出偏移时的去块的强度,而对在当前条件下的性能或安装几乎没有影响。
另外,虽然在以上解释中参数β的偏移和参数Tc的偏移被从编码侧发送给解码侧,但接下来将描述共享参数β和Tc的偏移的例子。
<7.第五实施例(第一偏移传输方法)>
[去块滤波器的配置的例子]
图37是显示当共享参数β和Tc的偏移时的去块滤波器的配置的例子的方框图。
在图37中示出的例子中,去块滤波器31被配置为包括配置设置单元301和滤波执行单元302。
与图14中示出的去块滤波器31不同,参数β和Tc中共同的去块偏移的值(dblk_offset_div2)被输入到配置设置单元301。
也就是说,例如,配置设置单元301接收从示图中未示出的操作单元(或无损解码器62)输入的去块偏移的值和禁用去块滤波器(DisableDeblockingFilter)标记信息(也就是说,接通/断开信息)。配置设置单元301基于输入信息在去块滤波器31中执行配置设置。也就是说,在配置设置单元301中,作为一个配置设置,去块偏移的值被设置为去块滤波器的β和Tc的偏移。配置设置单元301将设置的信息提供给滤波执行单元302。
来自算术运算单元30(或算术运算单元65)的在去块滤波之前的像素值被提供给滤波执行单元302。滤波执行单元302基于由配置设置单元301设置的信息(诸如,去块偏移的值)计算用来产生参数的量化参数QP,产生参数β和Tc,并且确定是否需要滤波或确定滤波强度。然后,滤波执行单元302基于确定的滤波强度或关于是否需要滤波的确定结果执行滤波。滤波执行单元302将去块滤波之后的像素值提供给下游的自适应偏移滤波器41(或自适应偏移滤波器81)。
另外,滤波执行单元302对亮度边界和色差边界中的每一个执行上述处理。
[亮度边界的滤波执行单元的配置的例子]
图38是显示执行亮度边界的滤波的滤波执行单元的配置的例子的方框图。
在图38中示出的例子中,滤波执行单元302被配置为包括QP计算单元111、滤波确定单元114、滤波单元115、β产生单元311和Tc产生单元312。
另外,滤波执行单元302与图15中示出的滤波执行单元102的相同之处在于:提供QP计算单元111、滤波确定单元114和滤波单元115。滤波执行单元302与图15中示出的滤波执行单元102的不同之处于:β产生单元112被β产生单元311替换,并且Tc产生单元113被Tc产生单元312替换。
也就是说,类似于β产生单元112,β产生单元311根据来自平均QP计算单元111b的量化参数QP产生参数β。在这种情况下,在β产生单元311中,来自配置设置单元301的去块偏移的值(dblk_offset_div2)被用作偏移的值。β产生单元311将产生的参数β提供给滤波确定单元114。
类似于Tc产生单元113,Tc产生单元312根据来自平均QP计算单元111b的量化参数QP产生参数Tc。在这种情况下,在β产生单元311中,来自配置设置单元301的去块偏移的值(dblk_offset_div2)被用作偏移的值。Tc产生单元312将产生的参数Tc提供给滤波确定单元114。
[β产生单元的配置的例子]
图39是显示β产生单元的配置的例子的方框图。
在图39中示出的例子中,β产生单元311被配置为包括βLUT_input计算单元321和β产生处理单元322。
来自平均QP计算单元111b的量化参数QP被提供给βLUT_input计算单元321。由配置设置单元301设置的信息的去块偏移的值(dblk_offset_div2)被提供给βLUT_input计算单元321。
βLUT_input计算单元321通过将来自平均QP计算单元111b的量化参数QP和去块偏移的值相加来计算βtmp,并且将计算的βtmp提供给β产生处理单元322。
例如,β产生处理单元322具有在HEVC方法中定义的βLUT(查找表)。β产生处理单元322接收来自βLUT_input计算单元321的βtmp作为βLUT_input qp,使用βLUT计算β,并且将计算的β提供给滤波确定单元114。
[Tc产生单元的配置的例子]
图40是显示Tc产生单元的配置的例子的方框图。
在图40中示出的例子中,Tc产生单元312被配置为包括TcLUT_input计算单元331和Tc产生处理单元332。
来自平均QP计算单元111b的量化参数QP被提供给TcLUT_input计算单元331。由配置设置单元301设置的信息的去块偏移的值(dblk_offset_div2)被提供给TcLUT_input计算单元331。
TcLUT_input计算单元331通过将来自平均QP计算单元111b的量化参数QP和去块偏移的值相加来计算Tctmp,并且将计算的Tctmp提供给Tc产生处理单元332。
例如,Tc产生处理单元332具有在HEVC方法中定义的TcLUT(查找表)。Tc产生处理单元332接收来自TcLUT_input计算单元331的Tctmp作为TcLUT_input qp,使用TcLUT计算Tc,并且将计算的Tc提供给滤波确定单元114。
另外,对于执行色差边界的滤波的滤波执行单元的配置的例子,以上参考图22描述的滤波执行单元102中的Tc产生单元113刚好被图38中示出的Tc产生单元312替换。因此,将省略解释。
[去块滤波器的操作]
接下来,将参考图41中示出的流程图描述去块滤波处理。另外,图41的步骤S302至S308中的处理基本上与图23的步骤S102至S108中的处理相同。然而,在步骤S305和S306中的每个边界的滤波中,图24的步骤S123中的β产生处理和步骤S124中的Tc产生处理是不同的。因此,将在稍后参考图43和图44描述细节。
例如,通过示图中未示出的操作单元(或无损解码器62)输入禁用去块滤波器(DisableDeblockingFilter)标记信息(也就是说,接通/断开信息)和去块偏移的值。
在步骤S301中,配置设置单元301设置滤波器的配置。将在稍后参考图42描述配置设置处理的细节。在步骤S301中设置配置。在这种情况下,设置禁用去块滤波器(DisableDeblockingFilter)标记信息,并且设置去块偏移的值(dblk_offset_div2)。
这里设置的去块偏移的值被用在描述步骤S305中的处理的图24的步骤S123中的β产生处理和步骤S124中的Tc产生处理、以及图29的步骤S223中的Tc产生处理中。
在步骤S302中,配置设置单元301基于禁用去块滤波器(DisableDeblockingFilter)标记信息确定是否可以使用去块滤波器。当在步骤S302中确定无法使用去块滤波器时,去块滤波处理结束。
当在步骤S302中确定可以使用去块滤波器时,该处理前进至步骤S303。
在步骤S303中,配置设置单元301导出TU和PU之间的边界。在步骤S304中,配置设置单元301基于在步骤S303中导出的TU和PU之间的边界的信息、预测模式信息等导出BS值。配置设置单元301将BS值的信息提供给滤波执行单元302的QP计算单元111。
在步骤S305中,滤波执行单元302执行亮度(LUMA)边界的滤波。虽然由于以上参考图24描述了这个处理而将省略对这个处理的解释,但通过步骤S105中的处理对亮度边界执行滤波。
在步骤S306中,滤波执行单元302执行色差(CHROMA)边界的滤波。虽然由于以上参考图29描述了这个处理而将省略对这个处理的解释,但通过步骤S106中的处理对色差边界执行滤波。
在步骤S307中,滤波执行单元302确定是否所有的边界已被处理。当在步骤S307中确定并非所有的边界已被处理时,该处理返回到步骤S305以重复随后的处理。
当在步骤S307中确定所有的边界已被处理时,该处理前进至步骤S308。
在步骤S308中,配置设置单元301确定是否所有的CU已被处理。当在步骤S308中确定并非所有的CU已被处理时,该处理返回到步骤S303以重复随后的处理。
当在步骤S308中确定所有的CU已被处理时,去块滤波处理结束。
[滤波器的配置处理]
接下来,将参考图42中示出的流程图描述图41的步骤S301中的滤波器的配置设置处理。
通过示图中未示出的操作单元(或无损解码器62)输入去块控制标记的信息、禁用去块滤波器(DisableDeblockingFilter)标记信息(也就是说,接通/断开信息)和去块偏移的值。
在步骤S321中,配置设置单元301确定去块控制标记是否是1。当在步骤S321中确定去块控制标记是1时,该处理前进至步骤S322。
当去块控制标记是1时,可以发送禁用去块滤波器(DisableDeblockingFilter)标记和去块偏移。因此,在步骤S322中,配置设置单元301读取并且设置禁用去块滤波器(DisableDeblockingFilter)标记。
在步骤S323中,配置设置单元301读取并且设置去块偏移的值(dblk_offset_div2)。
另一方面,当在步骤S321中确定去块控制标记是0时,配置设置处理结束。也就是说,当在步骤S321中确定去块控制标记是0时,不发送禁用去块滤波器(DisableDeblockingFilter)标记和去块偏移。因此,不设置禁用去块滤波器(DisableDeblockingFilter)标记和去块偏移并且使用默认值。
[β产生处理]
接下来,将参考图43中示出的流程图描述图24的步骤S123中的β产生处理。
去块偏移的值(dblk_offset_div2)被从配置设置单元301输入到βLUT_input计算单元321。在步骤S331中,βLUT_input计算单元321计算βtmp=QP+dblk_offset_div2*2(该βtmp是输入到β产生处理单元322的值βLUT_input qp),并且将计算的βtmp提供给β产生处理单元322。
另外,类似于上述β偏移值,实际上,去块偏移值(dblk_offset_div2)被减半并且被发送,并且当在步骤S331中计算βLUT_input qp时被加倍并且被使用。
在步骤S332中,β产生处理单元322接收由βLUT_input计算单元321计算的βtmp作为βLUT_input qp,使用βLUT计算β,并且将计算的β提供给滤波确定单元114。
[Tc产生处理]
接下来,将参考图44中示出的流程图描述图24的步骤S124中的Tc产生处理。
去块偏移的值(dblk_offset_div2)被从配置设置单元301输入到TcLUT_input计算单元331。在步骤S341中,TcLUT_input计算单元331计算Tctmp=QP+dblk_offset_div2*2(该Tctmp是输入到Tc产生处理单元332的值TcLUT_input qp),并且将计算的Tctmp提供给Tc产生处理单元332。
另外,类似于上述β偏移值,实际上,去块偏移值(dblk_offset_div2)被减半并且被发送,并且当在步骤S341中计算TcLUT_input qp时被加倍并且被使用。
在步骤S342中,Tc产生处理单元332接收由TcLUT_input计算单元331计算的Tctmp作为TcLUT_input qp,使用TcLUT计算Tc,并且将计算的Tc提供给滤波确定单元114。
[去块偏移的值(dblk_offset_div2)的传输]
接下来,将参考图45描述去块偏移的值(dblk_offset_div2)的传输。
在图像编码装置11中,去块偏移的值(dblk_offset_div2)通过操作单元(未示出)被输入到去块滤波器31a和无损编码器26。去块偏移的值(dblk_offset_div2)被用于去块滤波器31a中的滤波,并且通过在无损编码器26中写入SVLC(Sin VLC)而被编码。编码的去块偏移的值(dblk_offset_div2)被发送给图像解码装置51作为去块滤波器的参数。
从图像编码装置11发送的去块偏移的值(dblk_offset_div2)通过在图像解码装置51的无损解码器62中读取SVLC(Sin VLC)而被解码,并且被用于去块滤波器31b中的滤波。
[去块偏移的值的语法的例子]
图46是显示去块偏移的值的语法的例子的示图。
在图46中示出的例子中,在disaeble_deblocking_filter_flag的if语句中描述去块偏移的值(dblk_offset_div2),并且如果disaeble_deblocking_filter_flag不是0,则使用dblk_offset_div2的值。
另外,在片头和PPS(图片参数集)中描述这个语法。
如上所述,通过使用参数β和Tc中共同的偏移值,可以减少语法的一个元素,并且可以容易地控制去块滤波强度。
接下来,将描述这样的例子:当对参数β和Tc的偏移进行编码时,参数β的偏移、以及参数β的偏移与参数Tc的偏移之差被编码并且被发送。
<8.第六实施例(第二偏移传输方法)>
[去块滤波器的配置的例子]
图47是显示图像编码装置中的去块滤波器的配置的例子的方框图。
在图47中示出的例子中,去块滤波器31a被配置为包括配置设置单元401和滤波执行单元302。
参数β的偏移值(β_offset_div2)和参数tc的偏移值(tc_offset_div2)被输入到配置设置单元401。
例如,配置设置单元401接收从操作单元(未示出)输入的禁用去块滤波器(DisableDeblockingFilter)标记信息(也就是说,接通/断开信息)、参数β的偏移值和参数tc的偏移值。配置设置单元401基于输入信息在去块滤波器31a中执行配置设置。也就是说,在配置设置单元401中,设置去块滤波器的β和tc的偏移值。配置设置单元401将设置的信息提供给滤波执行单元302。
另外,在这种情况下,配置设置单元401产生参数β的偏移值(β_offset_div2)与参数tc的偏移值(tc_offset_div2)之间的差信息(diff_β_tc_div2)。配置设置单元401将产生的差信息和参数β的偏移值提供给无损编码器26。
滤波执行单元302基本上与图37中示出的滤波执行单元302相同。滤波执行单元302基于由配置设置单元401设置的信息(诸如,去块偏移的值)计算用来产生参数的量化参数QP,产生参数β和Tc,并且确定是否需要滤波或确定滤波强度。
在这种情况下,在图37中示出的滤波执行单元302中,使用去块偏移的值(dblk_offset_div2)。另一方面,在图47中示出的滤波执行单元302中,差异在于:使用参数β的偏移值(β_offset_div2)和参数tc的偏移值(tc_offset_div2)。因此,图47的例子中的滤波执行单元302的配置的例子和形成滤波执行单元302的每个单元的配置的例子将被省略。
另外,图47中示出的去块滤波器31a的去块滤波处理基本上与以上参考图41描述的处理相同,不同之处在于步骤S301中的滤波器的配置设置处理。因此,将参考图48描述作为不同处理的图41的步骤S301中的滤波器的配置设置处理。
[滤波器的配置处理]
接下来,将参考图48中示出的流程图描述图41的步骤S301中的滤波器的配置设置处理。
通过操作单元(未示出)输入去块控制标记的信息、禁用去块滤波器(DisableDeblockingFilter)标记信息(也就是说,接通/断开信息)以及参数β和tc的偏移值。
在步骤S411中,配置设置单元401确定去块控制标记是否是1。当在步骤S411中确定去块控制标记是1时,该处理前进至步骤S412。
当去块控制标记是1时,可以发送禁用去块滤波器(DisableDeblockingFilter)标记和偏移。因此,在步骤S412中,配置设置单元401读取并且设置禁用去块滤波器(DisableDeblockingFilter)标记。
在步骤S413中,配置设置单元401读取并且设置参数β的偏移值(β_offset_div2)。
在步骤S414中,配置设置单元401读取并且设置参数tc的偏移值(tc_offset_div2)。
在步骤S415中,配置设置单元401产生diff_β_tc_div2,diff_β_tc_div2是参数β的偏移值与参数Tc的偏移值之差。配置设置单元401将产生的差信息diff_β_tc_div2与参数β的偏移值一起提供给无损编码器26。
另一方面,当在步骤S411中确定去块控制标记是0时,配置设置处理结束。也就是说,当在步骤S411中确定去块控制标记是0时,不发送禁用去块滤波器(DisableDeblockingFilter)标记和偏移。因此,不设置禁用去块滤波器(DisableDeblockingFilter)标记和偏移并且使用默认值。
[去块滤波器的配置的例子]
图49是显示图像解码装置中的去块滤波器的配置的例子的方框图。
在图49中示出的例子中,去块滤波器31b被配置为包括配置设置单元451和滤波执行单元302。
参数β的偏移值(β_offset_div2)、以及参数β的偏移值与参数Tc的偏移值之间的差信息(diff_β_tc_div2)被输入到配置设置单元451。
例如,配置设置单元451接收从无损解码器62输入的禁用去块滤波器(DisableDeblockingFilter)标记信息(也就是说,接通/断开信息)、参数β的偏移值和差信息。配置设置单元451基于输入信息在去块滤波器31b中执行配置设置。也就是说,在配置设置单元451中,设置去块滤波器的β和tc的偏移值。另外,在这种情况下,通过将差信息和β的偏移值相加来计算并且设置Tc的偏移值。配置设置单元451将设置的信息提供给滤波执行单元302。
滤波执行单元302基本上与图37中示出的滤波执行单元302相同。滤波执行单元302基于由配置设置单元301设置的信息(诸如,去块偏移的值)计算用来产生参数的量化参数QP,产生参数β和Tc,并且确定是否需要滤波或确定滤波强度。
在这种情况下,在图37中示出的滤波执行单元302中,使用去块偏移的值(dblk_offset_div2)。另一方面,在图49中示出的滤波执行单元302中,差异在于:使用参数β的偏移值(β_offset_div2)和参数Tc的偏移值(tc_offset_div2)。因此,图49的例子中的滤波执行单元302的配置的例子和形成滤波执行单元302的每个单元的配置的例子将被省略。
另外,图49中示出的去块滤波器31b的去块滤波处理基本上与以上参考图41描述的处理相同,不同之处在于步骤S301中的滤波器的配置设置处理。因此,将参考图50描述作为不同处理的图41的步骤S301中的滤波器的配置设置处理。
[滤波器的配置处理]
接下来,将参考图50中示出的流程图描述图41的步骤S301中的滤波器的配置设置处理。
通过无损解码器62输入去块控制标记的信息、禁用去块滤波器(DisableDeblockingFilter)标记信息(也就是说,接通/断开信息)、参数β的偏移值(β_offset_div2)和差信息(diff_β_tc_div2)。
在步骤S421中,配置设置单元451确定去块控制标记是否是1。当在步骤S421中确定去块控制标记是1时,该处理前进至步骤S422。
当去块控制标记是1时,可以发送禁用去块滤波器(DisableDeblockingFilter)标记和偏移。因此,在步骤S422中,配置设置单元451读取并且设置禁用去块滤波器(DisableDeblockingFilter)标记。
在步骤S423中,配置设置单元451读取并且设置参数β的偏移值(β_offset_div2)。
在步骤S424中,配置设置单元451通过将参数β的偏移值(β_offset_div2)与差信息diff_β_tc_div2相加来计算并且设置参数Tc的偏移值(tc_offset_div2)。
另一方面,当在步骤S421中确定去块控制标记是0时,配置设置处理结束。也就是说,当在步骤S421中确定去块控制标记是0时,不发送禁用去块滤波器(DisableDeblockingFilter)标记和偏移。因此,不设置禁用去块滤波器(DisableDeblockingFilter)标记和偏移并且使用默认值。
[偏移值和差信息的传输]
接下来,将参考图51描述偏移值(β_offset_div2)和差信息(diff_β_tc_div2)的传输。
在图像编码装置11中,β的偏移值(β_offset_div2)和Tc的偏移值(tc_offset_div2)通过操作单元(未示出)而被输入到去块滤波器31a。在去块滤波器31a中,通过使用β的偏移值(β_offset_div2)和tc的偏移值(tc_offset_div2)来执行滤波。
另外,在去块滤波器31a中,产生差信息(diff_β_tc_div2),并且β的偏移值(β_offset_div2)和差信息(diff_β_tc_div2)被提供给无损编码器26。然后,β的偏移值(β_offset_div2)和差信息(diff_β_tc_div2)通过在无损编码器26中写入SVLC(Sin VLC)而被编码,并且被发送给图像解码装置51作为去块滤波器的参数。
从图像编码装置11发送的β的偏移值(β_offset_div2)和差信息(diff_β_tc_div2)通过在图像解码装置51的无损解码器62中读取SVLC(Sin VLC)而被解码,这些参数被用在去块滤波器31b中,并且计算Tc的偏移值(tc_offset_div2)。然后,在去块滤波器31b中,β的偏移值(β_offset_div2)和计算的Tc的偏移值(tc_offset_div2)被用于滤波。
另外,虽然以上描述了在配置设置单元401中产生两个参数的偏移值之间的差信息并且将差信息提供给无损编码器26的例子,但可在无损编码器26中产生差信息。
[去块偏移的值的语法的例子]
图52是显示去块偏移的值的语法的例子的示图。
在图52中示出的例子中,在disaeble_deblocking_filter_flag的if语句中描述β偏移的值(beta_offset_div2)和差信息(diff_beta_tc_div2)。因此,如果disaeble_deblocking_filter_flag不是0,则使用β偏移的值(beta_offset_div2)和差信息(diff_beta_tc_div2)。
另外,在片头和PPS(图片参数集)中描述这个语法。
另外,虽然在以上解释中与差信息一起发送β的偏移,但也可发送Tc的偏移。在这种情况下,在解码侧,根据差信息和tc的偏移计算β的偏移。
如上所述,替代于发送两个参数的偏移,也可发送参数之一的偏移值以及所述一个参数和另一个参数的偏移之间的差信息。
由于在参数β的偏移的值和参数Tc的偏移的值之间存在相关性,所以这些值在许多情况下关联。在这种情况下,由于差信息是小值,所以可减少在编码期间的比特的数量。
以上,HEVC方法已被用作编码方法的基础。然而,本公开内容不限于此,并且至少包括去块滤波器的其它编码方法/解码方法可被用作环内滤波器。
本公开可被应用于用于例如经网络介质(诸如,卫星广播、有线电视、因特网或便携式电话装置)接收像在HEVC方法中一样使用正交变换(诸如,离散余弦转换)和运动补偿压缩的图像信息(比特流)的图像编码装置和图像解码装置。本公开内容还可被应用于当在存储介质(诸如,光盘或磁盘或闪存)上处理压缩图像信息时使用的图像编码装置和图像解码装置。
<9.第七实施例(多视点图像编码装置/多视点图像解码装置)>
[应用于多视点图像编码和多视点图像解码]
上述一系列处理可被应用于多视点图像编码和多视点图像解码。图53显示多视点图像编码方法的例子。
如图53中所示,多视点图像包括多个视图的图像,并且所述多个视图中的一个预定视图的图像被指定为基本视图的图像。除基本视图的图像之外的每个视图的图像被视为非基本视图的图像。
当如图53中所示执行多视点图像编码时,可以在每个视图(同一视图)中设置去块滤波器参数(标记、参数的偏移值、差信息等)。另外,在每个视图(不同视图)中,也可共享在其它视图中设置的去块滤波器参数。
在这种情况下,在基本视图中设置的去块滤波器参数被用在至少一个非基本视图中。替代地,例如,在非基本视图(view_id=i)中设置的去块滤波器参数被用在基本视图和非基本视图(view_id=j)中的至少一个中。
因此,在去块滤波中,可以合适地应用滤波处理。也就是说,可抑制块噪声。
[多视点图像编码装置]
图54是显示执行上述多视点图像编码的多视点图像编码装置的示图。如图54中所示,多视点图像编码装置600包括编码器601和602以及多路复用器603。
编码器601对基本视图图像进行编码以产生基本视图图像编码流。编码器602对非基本视图图像进行编码以产生非基本视图图像编码流。多路复用器603通过多路复用由编码器601产生的基本视图图像编码流和由编码器602产生的非基本视图图像编码流来产生多视点图像编码流。
对于多视点图像编码装置600的编码器601和602,可以应用图像编码装置11(图1)。在这种情况下,多视点图像编码装置600设置并且发送由编码器601设置的去块滤波器参数和由编码器602设置的去块滤波器参数。
另外,如上所述由编码器601设置的去块滤波器参数可被设置并且发送以在编码器601和602之间共享。相反地,由编码器602一起设置的去块滤波器参数可被设置并且发送以在编码器601和602之间共享。
[多视点图像解码装置]
图55是显示执行上述多视点图像解码的多视点图像解码装置的示图。如图55中所示,多视点图像解码装置610包括多路解复用器611以及解码器612和613。
多路解复用器611对多路复用了基本视图图像编码流和非基本视图图像编码流的多视点图像编码流进行多路解复用,以提取基本视图图像编码流和非基本视图图像编码流。解码器612通过对由多路解复用器611提取的基本视图图像编码流进行解码来获得基本视图图像。解码器613通过对由多路解复用器611提取的非基本视图图像编码流进行解码来获得非基本视图图像。
对于多视点图像解码装置610的解码器612和613,可以应用图像解码装置51(图3)。在这种情况下,多视点图像解码装置610使用由编码器601设置并且由解码器612解码的去块滤波器参数和由编码器602设置并且由解码器613解码的去块滤波器参数来执行处理。
另外,如上所述由编码器601(或编码器602)设置的去块滤波器参数可被设置并且发送以在编码器601和602之间共享。在这种情况下,多视点图像解码装置610使用由编码器601(或编码器602)设置并且由解码器612(或解码器613)解码的去块滤波器参数来执行处理。
<10.第八实施例(分级图像编码装置/分级图像解码装置)>
[应用于分级图像编码和分级图像解码]
上述一系列处理可被应用于分级图像编码和分级图像解码。图56显示多视点图像编码方法的例子。
如图56中所示,分级图像包括多个等级(分辨率)的图像,并且所述多个分辨率中的一个预定等级的图像被指定为基本层的图像。除基本层的图像之外的每个等级的图像被视为非基本层的图像。
当如图56中所示执行分级图像编码(空间可伸缩性)时,可以在每个层(同一层)中设置去块滤波器参数。另外,在每个层(不同层)中,也可共享在其它层中设置的去块滤波器参数。
在这种情况下,在基本层中设置的去块滤波器参数被用在至少一个非基本层中。替代地,例如,在非基本层(layer_id=i)中设置的去块滤波器参数被用在基本层和非基本层(layer_id=j)中的至少一个中。
因此,在去块处理中,可以合适地应用滤波。也就是说,可抑制块噪声。
[分级图像编码装置]
图57是显示执行上述分级图像编码的分级图像编码装置的示图。如图57中所示,分级图像编码装置620包括编码器621和622以及多路复用器623。
编码器621对基本层图像进行编码以产生基本层图像编码流。编码器622对非基本层图像进行编码以产生非基本层图像编码流。多路复用器623通过多路复用由编码器621产生的基本层图像编码流和由编码器622产生的非基本层图像编码流来产生分级图像编码流。
对于分级图像编码装置620的编码器621和622,可以应用图像编码装置11(图1)。在这种情况下,分级图像编码装置620设置并且发送由编码器621设置的去块滤波器参数和由编码器602设置的去块滤波器参数。
另外,如上所述由编码器621设置的去块滤波器参数可被设置并且发送以在编码器621和622之间共享。相反地,由编码器622设置的去块滤波器参数可被设置并且发送以在编码器621和622之间共享。
[分级图像解码装置]
图58是显示执行上述分级图像解码的分级图像解码装置的示图。如图58中所示,分级图像解码装置630包括多路解复用器631以及解码器632和633。
多路解复用器631对多路复用了基本层图像编码流和非基本层图像编码流的分级图像编码流进行多路解复用,以提取基本层图像编码流和非基本层图像编码流。解码器632通过对由多路解复用器631提取的基本层图像编码流进行解码来获得基本层图像。解码器633通过对由多路解复用器631提取的非基本层图像编码流进行解码来获得非基本层图像。
对于分级图像解码装置630的解码器632和633,可以应用图像解码装置51(图3)。在这种情况下,分级图像解码装置630使用由编码器621设置并且由解码器632解码的去块滤波器参数和由编码器622设置并且由解码器633解码的去块滤波器参数来执行处理。
另外,如上所述由编码器621(或编码器622)设置的去块滤波器参数可被设置并且发送以在编码器621和622之间共享。在这种情况下,分级图像解码装置630使用由编码器621(或编码器622)设置并且由解码器632(或解码器633)解码的去块滤波器参数来执行处理。
<11.第九实施例>
[计算机的配置例子]
上述一系列处理可以由硬件或由软件执行。当上述一系列处理由软件执行时,构成该软件的程序被安装在计算机中。需要注意的是,计算机的例子包括嵌入在专用硬件中的计算机和能够通过在其中安装各种程序来执行各种功能的通用个人计算机。
图59是显示使用程序执行上述一系列处理的计算机的硬件配置的例子的方框图。
在计算机800中,CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803通过总线804彼此连接。
另外,输入/输出接口805连接到总线804。输入单元806、输出单元807、存储单元808、通信单元809和驱动器810连接到输入/输出接口805。
输入单元806包括键盘、鼠标、麦克风等。输出单元807包括显示器、扬声器等。存储单元808包括硬盘、非易失性存储器等。通信单元809包括网络接口等。驱动器810驱动可移动介质821,诸如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中,CPU 801通过输入/输出接口805和总线804将例如存储在存储单元808中的程序加载到RAM 803上并且执行该程序,由此执行上述一系列处理。
例如,由计算机800(CPU 801)执行的程序可被记录在作为封装介质等的可移动介质821上并且被提供。另外,可以通过有线或无线传输介质(诸如,局域网、因特网和数字卫星广播)提供程序。
在计算机中,通过将可移动介质821安装在驱动器810上,程序可以通过输入/输出接口805被安装在存储单元808中。另外,程序可以由通信单元809通过有线或无线传输介质接收并且被安装在存储单元808中。另外,程序可被预先安装在ROM 802或存储单元808中。
由计算机执行的程序可以是用于根据在本说明书中描述的顺序以时间次序执行处理的程序,或者用于并行地或在需要的时刻(诸如,响应于调用)执行处理的程序。
在本说明书中,描述记录在记录介质中的程序的步骤包括并行地或彼此独立地执行的处理(如果不必以时间次序执行处理的话)以及根据这里描述的顺序以时间次序执行的处理。
在本说明书中,系统表示包括一个以上装置的整个装备。
另外,以上描述为一个装置(或一个处理单元)的任何结构可被划分为两个或更多的装置(或处理单元)。相反地,以上描述为两个或更多个的装置(或处理单元)的任何结构可被组合为一个装置(或处理单元)。另外,当然可将除上述部件之外的部件添加到任何装置(或处理单元)的结构。另外,一个装置(或处理单元)的一些部件可被包括在另一装置(或处理单元)的结构中,只要作为整体的系统的结构和功能基本上相同即可。也就是说,本技术不限于上述实施例,而是可在不脱离本技术的范围的情况下对其做出各种修改。
根据上述实施例的图像编码装置和图像解码装置可被应用于各种电子装置,诸如:卫星广播、有线广播(诸如,有线TV)、经因特网的分发、经蜂窝通信至终端的分发等的发射器和接收器;记录装置,被配置为将图像记录在介质(诸如,磁盘和闪存)中;和再现装置,被配置为从存储介质再现图像。将在以下描述应用的四个例子。
<12.应用>
[第一应用:电视接收器]
图60显示应用上述实施例的电视设备的示意性配置的例子。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、外部接口909、控制器910、用户接口911和总线912。
调谐器902从经天线901接收到的广播信号提取期望频道的信号,并且解调提取的信号。调谐器902随后将通过解调获得的编码比特流输出到多路解复用器903。也就是说,调谐器902在接收编码图像的编码流的电视设备900中用作发送装置。
多路解复用器903从编码比特流分离将要观看的节目的视频流和音频流,并且将分离的流输出到解码器904。多路解复用器903还从编码比特流提取辅助数据(诸如,EPG(电子节目指南)),并且将提取的数据提供给控制器910。如果编码比特流被加扰,则多路解复用器903可对编码比特流进行解扰。
解码器904对从多路解复用器903输入的视频流和音频流进行解码。解码器904随后将通过解码产生的视频数据输出到视频信号处理器905。解码器904还将通过解码产生的音频数据输出到音频信号处理器907。
视频信号处理器905再现从解码器904输入的视频数据,并且在显示单元906上显示视频数据。视频信号处理器905还可在显示单元906上显示经网络提供的应用画面。另外,视频信号处理器905可根据设置对视频数据执行额外的处理,诸如噪声去除(抑制)。视频信号处理器905还可产生GUI(图形用户界面)(诸如,菜单、按钮或光标)的图像并且将产生的图像叠加在输出图像上。
显示单元906由从视频信号处理器905提供的驱动信号驱动,并且在显示装置(诸如,液晶显示器、等离子体显示器或OELD(有机场致发光显示器)(有机EL显示器))的视频屏幕上显示视频或图像。
音频信号处理器907对从解码器904输入的音频数据执行再现处理(诸如,D/A转换和放大)并且通过扬声器908输出音频。另外,音频信号处理器907可对音频数据执行额外的处理,诸如噪声去除(抑制)。
外部接口909是用于连接电视设备900与外部装置或网络的接口。例如,经外部接口909接收的视频流或音频流可由解码器904解码。也就是说,外部接口909也在接收编码图像的编码流的电视设备900中用作发送装置。
控制器910包括处理器(诸如,CPU)和存储器(诸如,RAM和ROM)。存储器存储将要由CPU执行的程序、节目数据、EPG数据、经网络获取的数据等。例如,当电视设备900启动时,存储在存储器中的程序由CPU读取并且执行。CPU根据从用户接口911输入的控制信号(例如,通过执行程序)控制电视设备900的操作。
用户接口911连接到控制器910。例如,用户接口911包括用于使用户操作电视设备900的按钮和开关以及用于接收遥控信号的接收单元。用户接口911检测由用户经这些部件执行的操作,产生控制信号,并且将产生的控制信号输出到控制器910。
总线912将调谐器902、多路解复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909和控制器910彼此连接。
在具有这种结构的电视设备900中,解码器904具有根据上述实施例的图像解码装置的功能。作为结果,可以在电视设备900中的图像的解码中抑制块噪声。
[第二应用:便携式电话装置]
图61显示应用上述实施例的便携式电话装置的示意性结构的例子。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编码解码器923。操作单元932连接到控制器931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930和控制器931彼此连接。
便携式电话装置920在各种操作模式下执行操作,诸如音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像的拍摄、数据的记录等,所述各种操作模式包括语音呼叫模式、数据通信模式、成像模式和视频电话模式。
在语音呼叫模式下,由麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据,对转换的音频数据执行A/D转换,并且压缩音频数据。音频编码解码器923随后将作为压缩结果得到的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站(未示出)。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。通信单元922随后对接收到的信号进行解调和解码以产生音频数据,并且将产生的音频数据输出到音频编解码器923。音频编解码器923解压缩音频数据并且对音频数据执行D/A转换以产生模拟音频信号。音频编码解码器923随后将产生的音频信号提供给扬声器924以从扬声器924输出音频。
在数据通信模式下,例如,控制器931根据由用户经操作单元932的操作产生将要被包括在电子邮件中的文本数据。控制器931还在显示单元930上显示文本。控制器931还响应于经操作单元932来自用户的用于发送的指令产生电子邮件数据,并且将产生的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站(未示出)。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。通信单元922随后对接收到的信号进行解调和解码以恢复电子邮件数据,并且将恢复的电子邮件数据输出到控制器931。控制器931在显示单元930上显示电子邮件的内容,并且将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读/可写存储介质。例如,存储介质可以是内部存储介质(诸如,RAM或闪存),或者可以是在外部安装的存储介质(诸如,硬盘、磁盘、磁光盘、USB(通用串行总线)存储器或存储卡)。
在成像模式下,例如,相机单元926对对象成像以产生图像数据,并且将产生的图像数据输出到图像处理器927。图像处理器927对从相机单元926输入的图像数据进行编码,并且将编码流存储在存储/再现单元929的存储介质中。
在视频电话模式下,例如,多路解复用器928多路复用由图像处理器927编码的视频流和从音频编码解码器923输入的音频流,并且将多路复用流输出到通信单元922。通信单元922对多路复用流进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站(未示出)。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。待发送的信号和接收到的信号可包括编码比特流。通信单元922随后对接收到的信号进行解调和解码以恢复流,并且将恢复的流输出到多路解复用器928。多路解复用器928从输入流分离视频流和音频流,将视频流输出到图像处理器927并且将音频流输出到音频编解码器923。图像处理器927对视频流进行解码以产生视频数据。视频数据被提供给显示单元930,并且一系列图像由显示单元930显示。音频编解码器923解压缩音频流并且对音频流执行D/A转换以产生模拟音频信号。音频编解码器923随后将产生的音频信号提供给扬声器924以从扬声器924输出音频。
在具有这种结构的便携式电话装置920中,图像处理器927具有根据上述实施例的图像编码装置和图像解码装置的功能。作为结果,可以在便携式电话装置920中的图像的编码和解码中抑制块噪声。
[第三应用:记录/再现装置]
图62显示应用上述实施例的记录/再现装置的示意性结构的例子。例如,记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码,并且将编码数据记录在记录介质中。例如,记录/再现装置940也可对从另一装置获取的音频数据和视频数据进行编码,并且将编码数据记录在记录介质中。例如,记录/再现装置940还响应于来自用户的指令在监视器上以及通过扬声器再现记录在记录介质中的数据。在这种情况下,记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(同屏显示器)948、控制器949和用户接口950。
调谐器941从经天线(未示出)接收到的广播信号提取期望频道的信号,并且解调提取的信号。调谐器941随后将通过解调获得的编码比特流输出到选择器946。也就是说,调谐器941在记录/再现装置中940中具有发送装置的作用。
外部接口942是用于连接记录/再现装置940与外部装置或网络的接口。例如,外部接口942可以是IEEE 1394接口、网络接口、USB接口或闪存接口。例如,经外部接口942接收到的视频数据和音频数据被输入到编码器943。也就是说,外部接口942在记录/再现装置940中具有发送装置的作用。
如果从外部接口942输入的视频数据和音频数据未被编码,则编码器943对视频数据和音频数据进行编码。编码器943随后将编码比特流输出到选择器946。
HDD 944将压缩内容数据(诸如,视频和音频)、各种程序和其它数据的编码比特流记录在内部硬盘中。HDD 944还从硬盘读出数据以再现视频和音频。
盘驱动器945将数据记录在安装在它上面的记录介质中/从安装在它上面的记录介质读出数据。例如,安装在盘驱动器945上的记录介质可以是DVD盘(诸如,DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光Blu-ray(注册商标)盘。
为了记录视频和音频,选择器946选择从调谐器941或编码器943输入的编码比特流,并且将选择的编码比特流输出到HDD 944或盘驱动器945。为了再现视频和音频,选择器946将从HDD 944或盘驱动器945输入的编码比特流选择到解码器947。
解码器947对编码比特流进行解码以产生视频数据和音频数据。解码器947随后将产生的视频数据输出到OSD 948。解码器904还将产生的音频数据输出到外部扬声器。
OSD 948再现从解码器947输入的视频数据并且显示视频。OSD 948还可将GUI图像(诸如,菜单、按钮或光标)叠加在将要显示的视频上。
控制器949包括处理器(诸如,CPU)和存储器(诸如,RAM和ROM)。存储器存储将要由CPU执行的程序、节目数据等。例如,当记录/再现装置940启动时,存储在存储器中的程序由CPU读取并且执行。CPU根据从用户接口950输入的控制信号(例如,通过执行程序)控制记录/再现装置940的操作。
用户接口950连接到控制器949。例如,用户接口950包括用于供用户操作记录/再现装置940的按钮和开关以及用于接收遥控信号的接收单元。用户接口950检测由用户经这些部件执行的操作,产生控制信号,并且将产生的控制信号输出到控制器949。
在具有这种结构的记录/再现装置940中,编码器943具有根据上述实施例的图像编码装置的功能。另外,解码器947具有根据上述实施例的图像解码装置的功能。作为结果,可以在记录/再现装置940中的图像的编码和解码中抑制块噪声。
[第四应用:成像装置]
图63显示应用上述实施例的成像装置的示意性结构的例子。成像装置960对对象成像以产生图像,对图像数据进行编码,并且将编码图像数据记录在记录介质中。
成像装置960包括光学块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制器970、用户接口971和总线972。
光学块961连接到成像单元962。成像单元962连接到信号处理器963。显示单元965连接到图像处理器964。用户接口971连接到控制器970。总线972将图像处理器964、外部接口966、存储器967、介质驱动器968、OSD 969和控制器970彼此连接。
光学块961包括聚焦透镜、光阑等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器(诸如,CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)),并且通过光电转换将形成在成像表面上的光学图像转换成作为电信号的图像信号。成像单元962随后将图像信号输出到信号处理器963。
信号处理器963对从成像单元962输入的图像信号执行各种相机信号处理,诸如拐点校正、伽马校正和颜色校正。信号处理器963将经过相机信号处理的图像数据输出到图像处理器964。
图像处理器964对从信号处理器963输入的图像数据进行编码以产生编码数据。图像处理器964随后将产生的编码数据输出到外部接口966或介质驱动器968。图像处理器964还对从外部接口966或介质驱动器968输入的编码数据进行解码以产生图像数据。图像处理器964随后将产生的图像数据输出到显示单元965。图像处理器964可将从信号处理器963输入的图像数据输出到显示单元965以显示图像。图像处理器964还可将从OSD 969获取的用于显示的数据叠加在将要被输出到显示单元965的图像上。
例如,OSD 969可产生GUI图像(诸如,菜单、按钮或光标)并且将产生的图像输出到图像处理器964。
例如,外部接口966是USB输入/输出端子。例如,外部接口966连接成像装置960和用于图像的打印的打印机。另外,驱动器根据需要连接到外部接口966。例如,可移动介质(诸如,磁盘或光盘)被安装到该驱动器,并且从可移动介质读出的程序可被安装在成像装置960中。另外,外部接口966可以是连接到网络(诸如,LAN或因特网)的网络接口。也就是说,外部接口966在成像装置960中具有发送装置的作用。
将要被安装在介质驱动器968上的记录介质可以是可读/可写的可移动介质,诸如磁盘、磁光盘、光盘或半导体存储器。替代地,例如,记录介质可按照固定方式被安装在介质驱动器968上以形成固定存储单元(诸如,内部硬盘驱动器或SSD(固态驱动器))。
控制器970包括处理器(诸如,CPU)和存储器(诸如,RAM和ROM)。存储器存储将要由CPU执行的程序、节目数据等。例如,当成像装置960启动时,存储在存储器中的程序由CPU读取并且执行。CPU根据从用户接口971输入的控制信号(例如,通过执行程序)控制成像装置960的操作。
用户接口971与控制器970连接。例如,用户接口971包括用于供用户操作成像装置960的按钮和开关。用户接口971检测由用户经这些部件执行的操作,产生控制信号,并且将产生的控制信号输出到控制器970。
在具有这种结构的成像装置960中,图像处理器964具有根据上述实施例的图像编码装置和图像解码装置的功能。作为结果,可以在成像装置960中的图像的编码和解码中抑制块噪声。
<13.可伸缩编码的应用>
[第一系统]
接下来,将描述通过以上参照图56至图58描述的可伸缩编码(分级编码)获得的可伸缩编码数据的特定使用例子。例如,像图64中示出的例子中一样,可伸缩编码被用于待发送的数据的选择。
在图64中示出的数据发送系统1000中,分发服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据,并且通过网络1003将可伸缩编码数据分发给终端装置(诸如,个人计算机1004、AV装置1005、平板装置1006和便携式电话装置1007)。
在这种情况下,分发服务器1002根据终端装置的能力、通信环境等选择并且发送合适质量的编码数据。即使分发服务器1002不必要地发送高质量数据,也未必在终端装置中获得高质量图像,并且这可能是延迟或溢出的原因。另外,这可能不必要地占用通信频带或者可能不必要地增加终端装置的负荷。相反地,即使分发服务器1002不必要地发送低质量数据,可能无法在终端装置中获得足够图像质量的图像。因此,分发服务器1002根据终端装置的能力、通信环境等合适地读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据作为合适质量的编码数据。
例如,假设可伸缩编码数据存储单元1001存储以可伸缩方式编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是既包括基本层又包括增强层的编码数据,并且是可被解码以获得基本层的图像和增强层的图像的数据。
分发服务器1002根据数据将要被发送到的终端装置的能力、通信环境等选择合适的层,并且读取该层的数据。例如,对于具有高处理能力的个人计算机1004或平板装置1006,分发服务器1002从可伸缩编码数据存储单元1001读取高质量可伸缩编码数据(BL+EL)1011并且按原样发送高质量可伸缩编码数据(BL+EL)1011。相比之下,例如,对于具有低处理能力的AV装置1005或便携式电话装置1007,分发服务器1002从可伸缩编码数据(BL+EL)1011提取基本层的数据,并且发送该数据作为可伸缩编码数据(BL)1012,可伸缩编码数据(BL)1012是与可伸缩编码数据(BL+EL)1011相同内容的数据但具有比可伸缩编码数据(BL+EL)1011低的质量。
因此,通过使用可伸缩编码数据,数据量可被容易地调整。因此,可抑制延迟或溢出的发生,或者可抑制终端装置或通信介质的负荷的不必要的增加。另外,在可伸缩编码数据(BL+EL)1011中,层之间的冗余减少。在这种情况下,与每层的编码数据被用作单独数据的情况相比,可减少数据量。因此,可更高效地使用可伸缩编码数据存储单元1001的存储区域。
另外,作为个人计算机1004至便携式电话装置1007,各种装置可被用作终端装置。因此,终端装置的硬件性能根据装置而不同。另外,由于还存在由终端装置执行的各种应用,所以软件的能力也不同。另外,例如,作为网络1003(网络1003是通信介质),可应用有线或无线传输介质(诸如,因特网或LAN(局域网)或包括二者的任何通信网络)。因此,数据传输容量改变。另外,这还可由于其它通信等而变化。
因此,分发服务器1002可在数据传输开始之前与作为数据的传输目的地的终端装置通信以获得关于终端装置的能力的信息(诸如,终端装置的硬件性能或由终端装置执行的应用(软件)的性能)和关于通信环境的信息(诸如,网络1003的可用带宽)。然后,分发服务器1002可基于这里获得的信息选择合适的层。
另外,层的提取可由终端装置执行。例如,个人计算机1004可对发送的可伸缩编码数据(BL+EL)1011进行解码,并且可显示基本层的图像或显示增强层的图像。另外,个人计算机1004可从发送的可伸缩编码数据(BL+EL)1011提取基本层的可伸缩编码数据(BL)1012,并且可存储可伸缩编码数据(BL)1012,或将可伸缩编码数据(BL)1012发送给另一装置,或对可伸缩编码数据(BL)1012进行解码并且显示基本层的图像。
毫无疑问,可使用任何数量的可伸缩编码数据存储单元1001、分发服务器1002、网络1003和终端装置。另外,虽然以上描述了分发服务器1002将数据发送给终端装置的例子,但使用的例子不限于此。数据发送系统1000可被应用于任何系统,只要该系统是当向终端装置发送以可伸缩方式编码的编码数据时根据终端装置的能力、通信环境等选择并且发送合适的层的系统即可。
另外,在上述图64中示出的数据发送系统1000中,通过以与以上参考图56至图58描述的针对分级编码和分级解码的应用相同的方式应用本技术,也可以获得与以上参考图56至图58描述的效果相同的效果。
[第二系统]
例如,像图65中示出的例子中一样,可伸缩编码被用于通过多个通信介质的传输。
在图65中示出的数据发送系统1100中,广播站1101通过地面广播1111发送基本层的可伸缩编码数据(BL)1121。另外,广播站1101通过任意网络1112(网络1112是有线或无线通信网络或者包括二者的通信网络)发送(例如,打包和发送)增强层的可伸缩编码数据(EL)1122。
终端装置1102具有接收广播站1101广播的地面广播1111的功能,并且接收通过地面广播1111发送的基本层的可伸缩编码数据(BL)1121。另外,终端装置1102还具有通过网络1112执行通信的通信功能,并且接收通过网络1112发送的增强层的可伸缩编码数据(EL)1122。
终端装置1102通过对通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121进行解码来获得基本层的图像,或存储可伸缩编码数据(BL)1121,或例如响应于用户指令等将可伸缩编码数据(BL)1121发送给另一装置。
另外,终端装置1102通过组合通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121和通过网络1112获取的增强层的可伸缩编码数据(EL)1122来获得可伸缩编码数据(BL+EL),或通过对可伸缩编码数据(BL+EL)进行解码来获得增强层的图像,或存储可伸缩编码数据(BL+EL),或例如响应于用户指令等将可伸缩编码数据(BL+EL)发送给另一装置。
如上所述,例如,可通过根据每个层而不同的通信介质发送可伸缩编码数据。因此,由于可分散负荷,所以可抑制延迟或溢出的发生。
另外,可根据情况针对每个层选择用于传输的通信介质。例如,可通过宽带宽的通信介质传输具有相对较大的数据量的基本层的可伸缩编码数据(BL)1121,并且可通过窄带宽的通信介质传输具有相对较小的数据量的增强层的可伸缩编码数据(EL)1122。另外,例如,用于传输增强层的可伸缩编码数据(EL)1122的通信介质是网络1112还是地面广播1111可根据网络1112的可用带宽而改变。毫无疑问,对于任何层的数据而言,这是相同的。
通过这种控制,可进一步抑制数据传输的负荷的增加。
毫无疑问,层的数量是任意的,并且用于传输的通信介质的数量也是任意的。另外,作为数据分发目的地的终端装置1102的数量也是任意的。另外,虽然以上描述了来自广播站1101的广播作为例子,但使用的例子不限于此。数据发送系统1100可被应用于任何系统,只要该系统是利用层作为单位将以可伸缩方式编码的编码数据划分为多个单元并且通过多个线路发送数据的系统即可。
另外,在上述图65中示出的数据发送系统1100中,通过以与以上参考图56至图58描述的针对分级编码和分级解码的应用相同的方式应用本技术,也可以获得与以上参考图56至图58描述的效果相同的效果。
[第三系统]
另外,例如,像图66中示出的例子中一样,可伸缩编码被用于编码数据的存储。
在图66中示出的成像系统1200中,成像装置1201执行通过对对象1211成像而获得的图像数据的可伸缩编码,并且将结果提供给可伸缩编码数据存储装置1202作为可伸缩编码数据(BL+EL)1221。
可伸缩编码数据存储装置1202按照根据情况的质量来存储从成像装置1201提供的可伸缩编码数据(BL+EL)1221。例如,在正常状态下,可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221提取基本层的数据,并且以低质量存储该数据作为具有较小数据量的基本层的可伸缩编码数据(BL)1222。相比之下,例如,在关注状态下,可伸缩编码数据存储装置1202以高质量按原样存储具有较大数据量的可伸缩编码数据(BL+EL)1221。
以这种方式,可伸缩编码数据存储装置1202可以仅在必要时存储高质量图像。因此,可在抑制由于图像质量劣化导致的图像的值的减小的同时抑制数据量的增加。作为结果,可提高存储区域的使用效率。
例如,假设成像装置1201是监视相机。当监视对象(例如,侵入者)未被反映在拍摄图像上时(在正常状态下),拍摄图像的内容不重要的可能性高。在这种情况下,优先考虑减少数据量,并且以低质量存储图像数据(可伸缩编码数据)。相比之下,当监视对象作为对象1211被反映在拍摄图像上时(在关注状态下),拍摄图像的内容重要的可能性高。在这种情况下,优先考虑图像的质量,并且以高质量存储图像数据(可伸缩编码数据)。
另外,例如,可通过可伸缩编码数据存储装置1202的图像分析来执行正常状态或关注状态的确定。另外,成像装置1201可执行确定并且将确定结果发送给可伸缩编码数据存储装置1202。
另外,正常状态或关注状态的标准是任意的,并且作为标准的图像的内容是任意的。毫无疑问,除图像的内容之外的条件也可以是标准。例如,条件可根据记录的声音的大小、波形等而改变,或者可以以预定时间间隔改变,或者可响应于外部指令(诸如,用户指令)而改变。
另外,以上描述了正常状态和关注状态的两个状态之间的切换的例子。然而,状态的数量是任意的,并且三个或更多的状态(例如,正常状态、稍微关注状态、关注状态、紧急关注状态等)之间的切换可被设置为是可能的。这里,切换状态的最大数量取决于可伸缩编码数据的层的数量。
另外,成像装置1201可根据状态确定可伸缩编码的层的数量。例如,在正常状态下,成像装置1201可按照低质量产生具有较小数据量的基本层的可伸缩编码数据(BL)1222,并且将可伸缩编码数据(BL)1222提供给可伸缩编码数据存储装置1202。另外,例如,在关注状态下,成像装置1201可按照高质量产生具有较大数据量的基本层的可伸缩编码数据(BL+EL)1221,并且将可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。
虽然以上描述监视相机作为例子,但这个成像系统1200的应用是任意的并且不限于监视相机。
另外,在上述图66中示出的成像系统1200中,通过以与以上参考图56至图58描述的针对分级编码和分级解码的应用相同的方式应用本技术,也可以获得与以上参考图56至图58描述的效果相同的效果。
另外,在本说明书中,已描述了这样的例子:各种信息(诸如,去块滤波器的参数和自适应偏移滤波器的参数)被多路复用到编码流中并且被从编码侧发送给解码侧。然而,发送信息的方法不限于这些例子。例如,信息可被发送或记录为与编码比特流关联的单独数据,而不与编码比特流多路复用在一起。需要注意的是,术语“关联”表示允许比特流中所包含的图像(图像可以是图像的一部分(诸如,片或块))在解码时与关于图像的信息链接。也就是说,可经与图像(或比特流)的传输路径不同的传输路径传输该信息。替代地,该信息可被记录在除图像(或比特流)的记录介质之外的记录介质中(或记录在同一记录介质的不同区域上)。另外,信息和图像(或比特流)可按照任何单位(诸如,以一些帧、一个帧或帧的一部分为单位)彼此关联。
尽管以上参考附图描述了本公开内容的优选实施例,但本公开内容不限于这些例子。明显的是,本公开内容所属领域的普通技术人员可以在权利要求中描述的技术构思内设想各种变化和修改,并且当然应该理解,这些变化和修改落在本公开内容的技术范围内。
另外,本技术还可以具有下面的结构。
(1)一种图像处理装置,包括:
解码单元,通过对编码流进行解码来产生图像;和
滤波器单元,利用由解码单元产生的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波。
(2)如(1)所述的图像处理装置,其中所述滤波器参数的范围被扩展以便在与已有范围一致的状态下增加滤波器的滤波强度。
(3)如(1)或(2)所述的图像处理装置,其中所述滤波器参数的范围被调整以便在已有部分和扩展部分中是连续的。
(4)如(1)所述的图像处理装置,其中所述滤波器参数的范围通过增加新的滤波器参数而被扩展。
(5)如(1)至(4)中任何一项所述的图像处理装置,其中所述滤波器参数是当确定是否执行滤波时使用的阈值。
(6)如(1)至(5)中任何一项所述的图像处理装置,其中所述滤波器是去块滤波器,以及滤波器参数是当确定是否需要去块滤波器时或当确定强度选择时使用的参数。
(7)如(6)所述的图像处理装置,其中所述滤波器参数的范围按照线性形状被扩展。
(8)如(7)所述的图像处理装置,其中所述线性形状的倾斜度是可调整的。
(9)如(1)至(6)中任何一项所述的图像处理装置,其中所述滤波器参数的范围按照曲线被扩展。
(10)如(1)至(5)中任何一项所述的图像处理装置,其中所述滤波器是去块滤波器,以及滤波器参数是当确定去块滤波器的强度选择时使用的参数或当执行滤波器的滤波时用于削波的参数。
(11)如(1)至(5)中任何一项所述的图像处理装置,其中所述滤波器单元利用由解码单元产生的图像的块边界作为对象,使用通过使用表示滤波器参数的计算表达式的倾斜度来更新表而扩展的参数来执行滤波器的滤波。
(12)如(1)至(5)中任何一项所述的图像处理装置,其中所述滤波器单元利用由解码单元产生的图像的块边界作为对象,使用通过将滤波器参数的偏移与滤波器参数相加而扩展的参数来执行滤波器的滤波。
(13)如(1)至(5)中任何一项所述的图像处理装置,其中所述滤波器参数包括使用共同偏移的两种类型的参数,以及还提供使用所述共同偏移计算所述两种类型的参数的参数计算单元。
(14)如(1)至(5)中任何一项所述的图像处理装置,其中所述滤波器参数包括两种类型的参数,以及还提供使用第一参数的偏移计算第一滤波器参数的第一参数计算单元以及使用第一参数的偏移、第一滤波器参数和第二滤波器参数之差和第二参数的偏移计算第二滤波器参数的第二参数计算单元。
(15)如(1)至(14)中任何一项所述的图像处理装置,其中所述滤波器是去块滤波器。
(16)如(1)所述的图像处理装置,其中所述滤波器是自适应偏移滤波器。
(17)如(1)至(16)中任何一项所述的图像处理装置,其中所述解码单元以具有分级结构的处理单位对编码流进行解码。
(18)一种图像处理装置的图像处理方法,包括:
通过对编码流进行解码来产生图像;以及
利用产生的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波。
(19)一种图像处理装置,包括:
滤波器单元,利用本地解码的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波;
编码单元,通过使用经过由滤波器单元执行的滤波器的滤波的图像对图像进行编码来产生编码流;以及
发送单元,发送由编码单元产生的编码流。
(20)一种图像处理装置的图像处理方法,包括:
利用本地解码的图像的块边界作为对象,使用通过扩展用于控制滤波器的滤波器参数的范围以便增加滤波强度而获得的参数来执行滤波器的滤波;
通过使用经过滤波器的滤波的图像对图像进行编码来产生编码流;以及
发送产生的编码流。
标号列表
11 图像编码装置
31、31a、31b 去块滤波器
51 图像解码装置
62 无损解码器
101 配置设置单元
102 滤波执行单元
111 QP计算单元
111a QP获取单元
111b 平均QP计算单元
112 β产生单元
113 Tc产生单元
114 滤波确定单元
115 滤波单元
121 βLUT_input计算单元
122 削波单元
123 已有β产生单元
124 扩展β产生单元
131 LUT
141 β(qp)计算单元
153 扩展LUT
161 Tc_LUT_input计算单元
162 削波单元
163 已有Tc产生单元
164 扩展Tc产生单元
171 LUT
181 Tc(qp)计算单元
193 扩展LUT
201 滤波确定单元
251 β产生处理单元
301 配置设置单元
302 滤波执行单元
311 β产生单元
312 Tc产生单元
321 βLUT_input计算单元
322 β产生处理单元
331 Tc_LUT_input计算单元
332 Tc产生处理单元
401 配置设置单元
451 配置设置单元

Claims (15)

1.一种图像处理装置,包括:
解码单元,对编码流进行解码以产生解码图像;和
滤波器单元,利用具有从第一范围扩展到第二范围以便增加滤波器的滤波强度的滤波器参数的滤波器,根据所述滤波器参数的第二范围对解码图像的块边界进行滤波,其中第二范围大于第一范围。
2.如权利要求1所述的图像处理装置,
其中所述滤波器参数的第二范围被扩展以便在保持与第一范围一致的同时增加滤波器的滤波强度。
3.如权利要求2所述的图像处理装置,
其中所述滤波器参数的第二范围包括与第一范围对应的已有部分和与第二范围对应的扩展部分。
4.如权利要求1所述的图像处理装置,
其中所述滤波器参数的第二范围通过增加新的滤波器参数而被扩展。
5.如权利要求1所述的图像处理装置,
其中所述滤波器是去块滤波器,以及
滤波器参数是当确定是否需要去块滤波器时或当确定强度选择时使用的参数。
6.如权利要求5所述的图像处理装置,
其中所述滤波器参数的第二范围按照线性形状被扩展。
7.如权利要求1所述的图像处理装置,
其中所述滤波器是去块滤波器,以及
滤波器参数是当确定去块滤波器的强度选择时使用的参数或当利用滤波器执行滤波时用于削波的参数。
8.如权利要求1所述的图像处理装置,
其中,所述滤波器的滤波器参数是通过使用计算表达式的倾斜度来更新表而扩展到第二范围,以及
所述滤波器单元利用所述滤波器,根据所述滤波器参数的第二范围对解码图像的块边界进行滤波。
9.如权利要求1所述的图像处理装置,
其中,所述滤波器的滤波器参数是通过将滤波器参数的偏移与滤波器参数相加而扩展到第二范围的,以及
所述滤波器单元利用所述滤波器,根据所述滤波器参数的第二范围对解码图像的块边界进行滤波。
10.如权利要求1所述的图像处理装置,
其中所述滤波器参数包括使用共同偏移的两种类型的参数,以及
还提供根据所述共同偏移计算所述两种类型的参数的参数计算单元。
11.如权利要求1所述的图像处理装置,
其中所述滤波器参数包括第一滤波器参数和第二滤波器参数,以及
还提供使用第一参数的偏移计算第一滤波器参数的第一参数计算单元以及使用第一参数的偏移、第一滤波器参数和第二滤波器参数之差和第二参数的偏移计算第二滤波器参数的第二滤波器参数计算单元。
12.如权利要求1所述的图像处理装置,
其中所述滤波器是去块滤波器。
13.如权利要求1所述的图像处理装置,
其中所述滤波器是自适应偏移滤波器。
14.如权利要求1所述的图像处理装置,
其中所述解码单元以具有分级结构的处理单位对编码流进行解码。
15.一种图像处理装置的图像处理方法,包括:
对编码流进行解码以产生解码图像;以及
利用具有从第一范围扩展到第二范围以便增加滤波器的滤波强度的滤波器参数的滤波器,根据所述滤波器参数的第二范围对解码图像的块边界进行滤波,其中第二范围大于第一范围。
CN201380017807.XA 2012-04-06 2013-03-27 图像处理装置和方法 Active CN104221389B (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201710709435.7A CN107360438B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910861341.0A CN110740336B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910889637.3A CN110611823B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910798928.1A CN110493606B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709434.2A CN107360437B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910889635.4A CN110611822B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709436.1A CN107360439B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709424.9A CN107360436B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709423.4A CN108600770B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910793195.2A CN110493605B (zh) 2012-04-06 2013-03-27 图像处理装置和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012087307 2012-04-06
JP2012-087307 2012-04-06
JP2012-140463 2012-06-22
JP2012140463 2012-06-22
PCT/JP2013/059135 WO2013150945A1 (ja) 2012-04-06 2013-03-27 画像処理装置および方法

Related Child Applications (10)

Application Number Title Priority Date Filing Date
CN201910889637.3A Division CN110611823B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709436.1A Division CN107360439B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709435.7A Division CN107360438B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910889635.4A Division CN110611822B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910798928.1A Division CN110493606B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709424.9A Division CN107360436B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709434.2A Division CN107360437B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709423.4A Division CN108600770B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910793195.2A Division CN110493605B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910861341.0A Division CN110740336B (zh) 2012-04-06 2013-03-27 图像处理装置和方法

Publications (2)

Publication Number Publication Date
CN104221389A CN104221389A (zh) 2014-12-17
CN104221389B true CN104221389B (zh) 2017-09-19

Family

ID=49300435

Family Applications (11)

Application Number Title Priority Date Filing Date
CN201910889637.3A Active CN110611823B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709424.9A Active CN107360436B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910793195.2A Active CN110493605B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910861341.0A Active CN110740336B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709423.4A Active CN108600770B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709436.1A Active CN107360439B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201380017807.XA Active CN104221389B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910889635.4A Active CN110611822B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709435.7A Active CN107360438B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910798928.1A Active CN110493606B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709434.2A Active CN107360437B (zh) 2012-04-06 2013-03-27 图像处理装置和方法

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN201910889637.3A Active CN110611823B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709424.9A Active CN107360436B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910793195.2A Active CN110493605B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910861341.0A Active CN110740336B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709423.4A Active CN108600770B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709436.1A Active CN107360439B (zh) 2012-04-06 2013-03-27 图像处理装置和方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201910889635.4A Active CN110611822B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709435.7A Active CN107360438B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201910798928.1A Active CN110493606B (zh) 2012-04-06 2013-03-27 图像处理装置和方法
CN201710709434.2A Active CN107360437B (zh) 2012-04-06 2013-03-27 图像处理装置和方法

Country Status (8)

Country Link
US (3) US20150304657A1 (zh)
JP (6) JP6064999B2 (zh)
CN (11) CN110611823B (zh)
BR (2) BR112014024265B1 (zh)
MX (3) MX2014011602A (zh)
RU (1) RU2633140C2 (zh)
TW (4) TWI581623B (zh)
WO (1) WO2013150945A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
US20160323579A1 (en) * 2014-03-19 2016-11-03 Nec Corporation Video encoding device, video encoding method, and video encoding program
WO2016200115A1 (ko) * 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
US10965943B2 (en) * 2016-12-28 2021-03-30 Sony Corporation Image processing apparatus and image processing method
US11095896B2 (en) * 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization
US10873778B2 (en) * 2018-03-08 2020-12-22 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
US11463763B2 (en) 2018-03-08 2022-10-04 Dish Network L.L.C. Reducing digital video recorder storage through reduced encoding of certain program portions
WO2020084929A1 (ja) * 2018-10-23 2020-04-30 日本電気株式会社 映像符号化又は復号装置、映像符号化又は復号方法、プログラム、及び記録媒体
GB2580173B (en) * 2018-12-21 2022-07-27 Canon Kk A filter
JP7357481B2 (ja) 2019-07-30 2023-10-06 日本放送協会 デブロッキングフィルタ制御装置及びプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
WO2005028664A2 (en) * 2003-09-17 2005-03-31 University Of Massachusetts Modulation of programmed necrosis
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CN101472175A (zh) * 2007-12-29 2009-07-01 智多微电子(上海)有限公司 一种支持多视频标准的去块效应滤波装置
CN101267560A (zh) * 2008-03-19 2008-09-17 浙江大学 去块滤波方法及装置
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
RU2405200C2 (ru) * 2008-07-17 2010-11-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ и устройство быстрого фильтрования шума цифровых изображений
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
CN102098501B (zh) * 2009-12-09 2013-05-08 中兴通讯股份有限公司 一种视频图像去块效应的方法和装置
EP2532161B1 (en) * 2010-02-05 2017-05-10 Telefonaktiebolaget LM Ericsson (publ) De-blocking filtering control
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
CA3007544C (en) * 2010-04-13 2020-06-30 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP2584781A4 (en) * 2010-06-17 2016-03-09 Sharp Kk IMAGE FILTER DEVICE, DECODING APPARATUS, ENCODING APPARATUS, AND DATA STRUCTURE
KR20120032456A (ko) * 2010-09-28 2012-04-05 삼성전자주식회사 적응적 필터링 방법 및 장치
CN106791878B (zh) * 2010-12-07 2019-05-14 索尼公司 图像处理设备和图像处理方法
ES2856823T3 (es) * 2010-12-07 2021-09-28 Sony Group Corp Dispositivo de procesamiento de imágenes y método de procesamiento de imágenes
CN102055981B (zh) * 2010-12-31 2013-07-03 北京大学深圳研究生院 用于视频编码器的去块滤波器及其实现方法
KR101694986B1 (ko) * 2011-01-06 2017-01-11 어플라이드 머티리얼즈 이스라엘 리미티드 코히어런스 감소를 위한 방법 및 시스템
JP5884313B2 (ja) * 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
CN103404147B (zh) 2011-03-10 2016-08-31 联发科技(新加坡)私人有限公司 去区块滤波器方法及装置
PL4024864T3 (pl) * 2011-11-04 2024-03-18 Lg Electronics, Inc. Sposób i aparat do kodowania/dekodowania informacji wideo
US20130113880A1 (en) * 2011-11-08 2013-05-09 Jie Zhao High Efficiency Video Coding (HEVC) Adaptive Loop Filter
CN103621097B (zh) * 2011-11-25 2018-04-24 太阳专利托管公司 图像处理方法及图像处理装置
US9451258B2 (en) * 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium

Also Published As

Publication number Publication date
US20170289544A1 (en) 2017-10-05
BR122018013415B1 (pt) 2021-05-04
CN107360437A (zh) 2017-11-17
MX339915B (es) 2016-06-17
CN107360438A (zh) 2017-11-17
JP2019054558A (ja) 2019-04-04
CN108600770B (zh) 2019-11-19
CN107360436B (zh) 2020-04-17
CN110611823A (zh) 2019-12-24
US20150304657A1 (en) 2015-10-22
US10887590B2 (en) 2021-01-05
TW201345266A (zh) 2013-11-01
JP6399367B2 (ja) 2018-10-03
RU2633140C2 (ru) 2017-10-11
BR112014024265B1 (pt) 2018-09-25
RU2014139416A (ru) 2016-04-20
CN107360438B (zh) 2020-04-17
MX352719B (es) 2017-12-06
CN107360439A (zh) 2017-11-17
CN104221389A (zh) 2014-12-17
TWI632808B (zh) 2018-08-11
CN107360436A (zh) 2017-11-17
JP6521013B2 (ja) 2019-05-29
JP6064999B2 (ja) 2017-01-25
TWI581623B (zh) 2017-05-01
CN110493605A (zh) 2019-11-22
JP2018026837A (ja) 2018-02-15
TW201720169A (zh) 2017-06-01
CN110493605B (zh) 2021-10-08
JP2017073821A (ja) 2017-04-13
CN110611822A (zh) 2019-12-24
WO2013150945A1 (ja) 2013-10-10
TW201720168A (zh) 2017-06-01
US10419756B2 (en) 2019-09-17
TW201642663A (zh) 2016-12-01
JP2017073820A (ja) 2017-04-13
MX2014011602A (es) 2014-11-21
CN110493606A (zh) 2019-11-22
US20190327468A1 (en) 2019-10-24
JP6471911B2 (ja) 2019-02-20
CN110740336A (zh) 2020-01-31
JP2016184963A (ja) 2016-10-20
TWI667913B (zh) 2019-08-01
TWI569625B (zh) 2017-02-01
CN110611823B (zh) 2021-10-08
CN107360437B (zh) 2019-11-19
CN110611822B (zh) 2021-10-01
CN110740336B (zh) 2021-10-08
JP6399366B2 (ja) 2018-10-03
CN108600770A (zh) 2018-09-28
JPWO2013150945A1 (ja) 2015-12-17
CN107360439B (zh) 2019-11-19
CN110493606B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN104221389B (zh) 图像处理装置和方法
US11381846B2 (en) Image processing device and image processing method
CN103370935B (zh) 图像处理装置和图像处理方法
CN104956675B (zh) 图像处理装置和图像处理方法
CN104380739B (zh) 图像处理设备和图像处理方法
CN106888378A (zh) 图像处理装置和图像处理方法
CN106385586A (zh) 图像处理设备和图像处理方法
CN110115039A (zh) 图像处理装置和图像处理方法
CN104539964B (zh) 图像处理装置和方法
CN105900424A (zh) 解码装置、解码方法、编码装置以及编码方法
CN104620586A (zh) 图像处理装置和方法
CN104205847A (zh) 图像处理装置和图像处理方法
CN103125118A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant