CN103518373B - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN103518373B
CN103518373B CN201280022512.7A CN201280022512A CN103518373B CN 103518373 B CN103518373 B CN 103518373B CN 201280022512 A CN201280022512 A CN 201280022512A CN 103518373 B CN103518373 B CN 103518373B
Authority
CN
China
Prior art keywords
unit
precision
image
processing
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280022512.7A
Other languages
English (en)
Other versions
CN103518373A (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103518373A publication Critical patent/CN103518373A/zh
Application granted granted Critical
Publication of CN103518373B publication Critical patent/CN103518373B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种图像处理装置和方法，其被配置成能够提高编码效率。该图像处理装置包括：运动补偿单元，其在图像编码和图像解码期间进行的加权预测处理期间执行L0和L1的小数点像素精度的运动补偿；加权加法单元，其执行来自运动补偿单元的每个计算结果的加权加法；以及取整单元，其通过在一次取整运算中执行来自加权加法单元的计算结果的所需取整来抑制计算精度的降低。本公开可以应用于图像处理装置。

Description

图像处理装置和方法
技术领域
本发明涉及图像处理装置和方法，更具体地，涉及能够提高编码效率的图像处理装置和方法。
背景技术
近年来，符合诸如MPEG(移动图片专家组)等格式的装置已在诸如广播的信息配送和一般家庭中的信息接收中被广泛使用。这些装置处置作为数字信号的图像信息，利用图像信息特有的冗余优点以便在此时执行极为有效的信息传送和积累，并且通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像。
具体地，MPEG2(ISO(国际标准组织)/IEC(国际电工委员会)13818-2)被定义为通用图像编码格式，并且是涵盖隔行扫描图像和逐行扫描图像，以及标准分辨率图像和高清晰度图像两者的标准。例如，MPEG2现已被普遍用在用于专家使用和消费者使用的范围广泛的应用中。通过采用MPEG2压缩格式，例如对具有720×480个像素的标准分辨率的隔行扫描图像分配4至8Mbps的码量(比特率)，并且对具有1920×1088个像素的高分辨率的隔行扫描图像分配18至22Mbps的码量，从而能够实现高压缩率以及出色的图像质量。
MPEG2主要用于适于广播使用的高图像质量编码，并且不能处置低于MPEG1的码量的码量(比特率)，即具有较高压缩率的编码格式。随着移动终端的普及，从现在起对这样的编码格式的需要将增加，并且作为对这些需要的响应，MPEG4编码格式的标准化已在进行。对于图像编码格式，该规范在1998年12月被批准成为国际标准ISO/IEC 14496-2。
另外，被称为H.26L(ITU-T(国际电信联盟远程通信标准化组织)Q6/16VCEG(视频编码专家组))的标准的标准化近年来已在进行，其最初旨在用于视频会议使用的图像编码。与诸如MPEG2和MPEG4的传统编码技术相比，H.26L在编码和解码中需要较大的计算量，但是已知实现更高的编码效率。再者，目前，作为MPEG4活动的一部分，已基于H.26L进行用于利用H.26L不支持的功能来实现更高编码效率的标准化，作为增强压缩视频编码的联合模型。
作为标准化进度表，H.264和MPEG-4 Part 10(AVC(高级视频编码))在2003年3月变为国际标准。
此外，作为其扩展，在2005年2月已进行了FRExt(保真度范围扩展)的标准化，其包括诸如RGB、4:2:2或4:4:4的商业使用所需的编码工具以及由MPEG-2规定的8×8 DCT(离散余弦变换)和量化矩阵，从而AVC可以被用作能够适当地表达电影中包括的影片噪声的编码格式，并且该编码格式将用于广泛的应用，诸如蓝光盘(注册商标)等。
然而，现今，对更高压缩编码的需要已增加，旨在压缩具有约4000×2000个像素的图像，这是高画质(Hi-Vision)图像的像素数目的四倍，或者旨在在如互联网的具有有限的传送容量的环境中分送高画质图像。因此，在ITU-T控制下的VCEG(视频编码专家组)中，继续进行关于提高编码效率的研究。
顺便提及，对于将在下一代编码方法中处置的诸如UHD(超高清晰度：4000×2000个像素)的大的图像帧，16×16个像素的宏块尺寸不是最优的。
目前，考虑到较之AVC进一步提高编码效率，作为ITU-T和ISO/IEC的联合标准化实体的JCTVC(视频编码联合合作小组)已进行被称为HEVC(高效视频编码)的编码格式的标准化(例如，参见非专利文献1)。
在HEVC编码格式中，定义了与AVC中的宏块相似的编码单元(CU)作为处理单元。如AVC中的宏块，CU未被固定到16×16个像素，并且在每个序列中在图像压缩信息中进行指定。
顺便提及，例如在MPEG2和MPEG4中，在存在运动并且亮度改变的如衰落场景的序列中，没有准备用于吸收亮度改变的编码工具。因此，存在编码效率降低的问题。
为了解决该问题，在AVC中提供了加权预测处理(例如，参见非专利文献2)。在AVC中，可以以码片为单位指定是否使用加权预测。
此外，在AVC中，可以以码片为单位应用加权预测。此外，还公开了以块为单位应用加权预测的方法(强度补偿)(例如，参见非专利文献3)。
引用文献列表
非专利文献
非专利文献1：Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-RainerOhm,Gary J.Sullivan,"Working Draft 1of High-Efficiency Video Coding",JCTVC-C403,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 andISO/IEC JTC1/SC29/WG113rd Meeting:Guangzhou,CN,7-15October,2010
非专利文献2：Yoshihiro Kikuchi,Takeshi Chujoh,"Improved multiple framemotion compensation using frame interpolation",JVT-B075,Joint Video Team(JVT)of ISO/IEC MPEG&ITU-T VCEG(ISO/IEC JTC1/SC29/WGl1and ITU-T SG16 Q.6)2ndMeeting:Geneva,CH，Jan.29-Feb.1,2002
非专利文献3：I.Amonou,N.Cammas,G.Clare,J.Jung,L.Noblet,S.Pateux,S.Matsuo,S.Takamura,C.S.Boon,F.Bossen,A.Fujibayashi,S.Kanumuri,Y.Suzuki,J.Takiue,T.K.Tan,V.Drugeon,C.S.Lim,M.Narroschke,T.Nishi,H.Sasai,Y.Shibahara,K.Uchibayashi,T.Wedi,S.Wittmann,P.Bordes,C.Gomila,P.Guil1ote1,L.Guo,E.Francois,X.Lu,J.Sole,J.Vieron,Q.Xu,P.Yin,Y.Zheng,"Description of videocoding technology proposal by France Telecom,NTT,NTT DOCOMO,Panasonic andTechnicolor",JCTVC-Al14,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG111st Meeting:Dresden,DE,15-23April,2010
发明内容
本发明要解决的问题
然而，在上述加权处理中，执行取整处理用于运动补偿，并且在加权加法之后进一步执行取整处理。因此，存在如下考虑，由于算术运算精度的下降导致编码效率降低。
考虑到前述问题提出了本公开，并且目的在于通过考虑L0和L1运动向量精度在用于运动补偿的积和处理和加权加法处理之后执行取整处理来抑制由于取整处理引起的图像质量劣化。
对问题的解决方案
本公开的一个方面是一种图像处理装置，其包括：运动补偿单元，被配置成执行L0和L1中的每个的子像素精度的运动补偿；加权加法单元，被配置成将加权加法应用于运动补偿单元的算术运算结果；以及取整处理单元，被配置成将取整处理应用于加权加法单元的算术运算结果。
可以进一步包括：确定单元，被配置成确定L0和L1的精度；以及调整单元，被配置成基于确定单元的确定结果来调整精度。
调整单元可以通过使预定系数与L0和L1中的一个相乘来将一个精度调整到另一精度。
调整单元可以在L0和L1之间将较高精度调整到较低精度。
当L0的精度和L1的精度彼此相等时，调整单元能够不执行精度调整。
调整单元可以基于水平方向和竖直方向上的L0的精度以及水平方向和竖直方向上的L1的精度两者来调整精度。
取整处理单元可以在加权加法单元的算术运算处理之后执行2X+Y的除法处理，其中用于运动向量精度调整的乘法处理是2X，并且用于加权预测处理的除法处理是2Y。
加权加法单元可以执行显式加权预测。
加权加法单元可以执行隐式加权预测。
加权加法单元可以执行强度补偿。
本公开的一个方面是一种图像处理装置的图像处理方法，其包括：通过运动补偿单元执行L0和L1中的每个的子像素精度的运动补偿；通过加权加法单元将加权加法应用于算术运算结果；以及通过取整处理单元将取整处理应用于算术运算结果。
本公开的一个方面，执行L0和L1中的每个的子像素精度的运动补偿，使算术运算结果经历加权加法，并且使其算术运算结果经历取整处理。
本发明的效果
根据本公开，能够处理图像。特别地，能够提高编码效率。
附图说明
图1是示出图像编码装置的典型示例结构的框图。
图2是图示小数点像素运动预测/补偿处理的示例的示图。
图3是图示宏块的示例的示图。
图4是描述中值运算的状态的示例的示图。
图5是描述多参考帧的示例的示图。
图6是描述运动搜索系统的示例的示图。
图7是描述加权预测的状态的示例的示图。
图8是描述编码单元的配置示例的示图。
图9是图示加权预测的算术运算的示例的框图。
图10是图示加权预测的算术运算的另一示例的框图。
图11是描述运动预测/补偿单元、加权预测单元和运动向量精度确定单元的主要配置示例的框图。
图12是描述二维运动向量的调整的表格。
图13是描述编码处理的流程的示例的流程图。
图14是描述帧间运动预测处理的流程的示例的流程图。
图15是描述加权预测处理的流程的示例的流程图。
图16是图示图像解码装置的主要配置示例的框图。
图17是描述运动预测/补偿单元、加权预测单元和运动向量精度确定单元的主要配置示例的框图。
图18是描述解码处理的流程的示例的流程图。
图19是描述预测处理的流程的示例的流程图。
图20是描述帧间运动预测处理的流程的示例的流程图。
图21是描述加权预测处理的流程的示例的流程图。
图22是图示个人计算机的主要配置示例的框图。
图23是图示电视设备的示意性配置的示例的框图。
图24是图示便携式电话装置的示意性配置的示例的框图。
图25是图示记录/再现装置的示意性配置的示例的框图。
图26是图示成像装置的示意性配置的示例的框图。
具体实施方式
在下文中，将描述用于实现本发明的实施例(以下称为实施例)。描述将以如下顺序进行。
1.第一实施例(图像解码设备)
2.第二实施例(图像编码装置)
3.第三实施例(个人计算机)
4.第四实施例(电视接收器)
5.第五实施例(便携式电话设备)
6.第六实施例(记录/再现装置)
7.第七实施例(成像装置)
<1.第一实施例>
[图像编码装置]
图1是示出图像编码装置的典型示例结构的框图。
图1中所示的图像编码装置100使用诸如H.264和MPEG(移动图像专家组)4 Part10(AVC(高级视频编码))编码格式的预测处理对图像数据进行编码。
如图1中所示，图像编码装置100包括模拟/数字(A/D)转换器101、帧重排缓冲器102、算术运算单元103、正交变换器104、量化器105、无损编码器106和积累缓冲器107。此外，图像编码装置100包括逆量化器108、逆正交变换器109、算术运算单元110、环路滤波器111、帧存储器112、选择器113、帧内预测单元114、运动预测/补偿单元115、预测图像选择器116和速率控制器117。
此外，图像编码装置100包括加权预测单元121和运动向量精度确定单元122。
A/D转换器101对输入图像数据执行A/D转换，将通过转换获得的图像数据(数字数据)提供给帧重排缓冲器102，并且在其中存储图像数据。帧重排缓冲器102根据GOP(图片组)将以显示顺序存储的具有帧的图像重新排序成编码顺序，并且将具有重新排序的帧的图像提供给算术运算单元103。帧重排缓冲器102将具有重新排序的帧的图像提供给帧内预测单元114和运动预测/补偿单元115。
算术运算单元103在从帧重排缓冲器102读出的图像中减去从帧内预测单元114或运动预测/补偿单元115通过预测图像选择器116提供的预测图像，并且将差信息输出到正交变换器104。
例如，在被应用帧内编码的图像的情况下，算术运算单元103从帧重排缓冲器102读出的图像中减去从帧内预测单元114提供的预测图像。此外，例如，在经历帧间编码的图像的情况下，算术运算单元103从帧重排缓冲器102读出的图像中减去运动预测/补偿单元115提供的预测图像。
正交变换器104对从算术运算单元103提供的差信息应用诸如离散余弦变换或Karhunen-Loeve变换的正交变换。注意，正交变换可以采用任何方法。正交变换器104将变换系数提供给量化器105。
量化器105对从正交变换器104提供的变换系数进行量化。量化器105基于关于从速率控制器117提供的码量的目标值的信息来设定量化参数，并且执行其量化。任何方法可用于量化。量化器105将经量化的变换系数提供给无损编码器106。
无损编码器106根据编码技术对量化器105量化的变换系数进行编码。由于系数数据是在速率控制器117的控制下进行量化的，因此其码量是速率控制器117设定的目标值(或者接近目标值)。
此外，无损编码器106从帧内预测单元114获取指示帧内预测模式等的信息，并且从运动预测/补偿单元115获取指示帧间预测模式、运动向量信息等的信息。无损编码器106进一步获取环路滤波器111使用的滤波器系数等。
无损编码器106根据编码技术对这些各种信息进行编码，使得各种信息被包含作为编码数据的报头信息的一部分(复用信息)。无损编码器106将通过编码获得的编码数据提供给积累缓冲器107并且在其中积累编码数据。
无损编码器106使用的编码技术的示例包括可变长度编码和算术编码。可变长度编码的示例包括在H.264/AVC标准中定义的CAVLC(上下文自适应可变长度编码)。算术编码的示例包括CABAC(上下文自适应二进制算术编码)。
积累缓冲器107临时保存从无损编码器106提供的编码数据。积累缓冲器107将保存的编码数据输出到未示出的下游的记录装置(记录介质)、传送路径等。
量化器105量化的变换系数还被提供给逆量化器108。逆量化器108通过与量化器105的量化对应的方法对经量化的变换系数进行逆量化。该逆量化可以采用任何方法，只要该方法对应于量化器105的量化处理。逆量化器108将获得的变换系数提供给逆正交变换器109。
逆正交变换器109通过与正交变换器104的正交变换处理对应的方法，对从逆量化器108提供的变换系数执行逆正交变换。该逆正交变换可以采用任何方法，只要该方法对应于正交变换器104的正交变换处理。被逆正交变换的输出(恢复的差信息)被提供给算术运算单元110。
算术运算单元110使通过预测图像选择器116从帧内预测单元114或运动预测/补偿单元115提供的预测图像与从逆正交变换器109提供的逆正交变换的结果相加，就是说，与恢复的差信息相加以获得局部重建图像(以下称为重建图像)。重建图像被提供给环路滤波器111或帧存储器112。
环路滤波器111包括解块滤波器、自适应环路滤波器等，并且对从算术运算单元110提供的解码图像执行适当的滤波。例如，环路滤波器111对解码图像执行解块滤波以从解码图像去除块失真。此外，例如，环路滤波器111通过使用Wiener滤波器对解块滤波的结果(块失真被去除的解码图像)执行环路滤波以提高图像质量。
替选地，环路滤波器111可以对解码图像执行特定的滤波。环路滤波器111还可以在必要的情况下将用于滤波的诸如滤波器系数的信息提供给无损编码器106，使得信息将被编码。
环路滤波器111将滤波处理的结果(以下称为解码图像)提供给帧存储器112。
帧存储器112存储从算术运算单元110或环路滤波器111提供的解码图像，并且在预定的定时通过选择器113将存储的解码图像作为参考图像提供给帧内预测单元114或运动预测/补偿单元115。
选择器113指示从帧存储器112输出的参考图像的提供目的地。例如，在帧内预测的情况下，选择器113从帧存储器112读出未经历滤波处理的图像(重建图像)，并且将该图像提供给帧内预测单元114作为周围像素。
此外，例如，在帧间预测的情况下，选择器113从帧存储器112读出经历滤波处理的图像(解码图像)，并且将该图像提供给运动预测/补偿单元115作为参考图像。
帧内预测单元114从帧存储器112获得位于待处理区域周围的周围区域的重建图像作为周围图像。帧内预测单元114执行帧内预测(屏幕内预测)，其中使用待处理图片中的周围图像的像素值来生成待处理区域的预测图像。帧内预测单元114在预先准备的多个模式(帧内预测模式)下执行帧内预测。
帧内预测单元114在所有候选帧内预测模式中生成预测图像，使用从帧重排缓冲器102提供的输入图像估计每个预测图像的成本函数值，并且选择最优模式。当已选择最优帧内预测模式时，帧内预测单元114将在最优模式下生成的预测图像提供给预测图像选择器116。
帧内预测单元114还在必要的情况下向无损编码器106提供指示所采用的帧内预测模式等信息的帧内预测模式信息，使得该信息将被编码。
运动预测/补偿单元115使用从帧重排缓冲器102提供的输入图像以及从帧存储器112提供的解码图像(参考图像)来执行待处理区域的运动预测(帧间预测)，并且根据检测到的运动向量执行运动补偿处理以生成待处理区域的预测图像(帧间预测图像信息)。运动预测/补偿单元115在预先准备的多个模式(帧间预测模式)下执行帧间预测。
运动预测/补偿单元115在所有候选帧间预测模式中生成预测图像，估计每个预测图像的成本函数值，并且选择最优模式。当已选择最优帧间预测模式时，运动预测/补偿单元115将在最优模式下生成的预测图像提供给预测图像选择器116。
此外，在指示所采用的帧间预测模式的解码信息和编码数据中，运动预测/补偿单元115将用于在帧间预测模式中执行处理所需的信息等提供给无损编码器106并且允许无损编码器106对信息等进行编码。
预测图像选择器116选择要提供给算术运算单元103和算术运算单元110的预测图像的源。例如，在帧内编码的情况下，预测图像选择器116选择帧内预测单元114作为预测图像的源，并且将从帧内预测单元114提供的预测图像提供给算术运算单元103和算术运算单元110。此外，在帧间编码的情况下，例如，预测图像选择器116选择运动预测/补偿单元115作为预测图像的源，并且将从运动预测/补偿单元115提供的预测图像提供给算术运算单元103和算术运算单元110。
速率控制器117基于积累缓冲器107中积累的编码数据的码量来控制量化器105的量化操作的速率以避免生成上溢或下溢。
加权预测单元121执行与加权预测相关的处理，诸如确定权重系数以及在运动预测/补偿单元115执行的帧间预测模式中调整运动精度。
运动向量精度确定单元122确定作为运动向量的精度的运动精度，并且在运动预测/补偿单元115执行的帧间预测模式中将确定结果提供给加权预测单元121。
[1/4像素精度运动预测]
图2是描述在AVC编码格式中规定的1/4像素精度的运动预测/补偿处理的状态的示例的示图。在图2中，每个正方形表示像素。在像素中，A表示帧存储器112中存储的整数精度图像的位置，b、c和d表示1/2像素精度的位置，并且e1、e2和e3表示1/4像素精度的位置。
以下，如下式(1)定义函数Clip1()：
[数学式1]
例如，当输入图像是8位精度时，式(1)的max_pix的值是255。
使用6抽头FIR滤波器通过下式(2)和(3)生成位置b和d的像素值：
[数学式2]
F＝A-2-5·A-1+20·A0+20·A1-5·A2+A3…(2)
[数学式3]
b,d＝Clip1((F+16)>>5)…(3)
通过在水平方向和竖直方向上应用6抽头FIR滤波器通过下式(4)至(6)生成位置c的像素值：
[数学式4]
F＝b-2-5·b-1+20·b0+20·b1-5·b2+b3…(4)
替选地，[数学式5]
F＝d-2-5·d-1+20·d0+20·d1-5·d2+d3…(5)
[数学式6]
c＝Clip1((F+512)>>10)…(6)
注意，在水平方向和竖直方向两者上执行积和处理之后，最后执行仅一次Clip处理。
通过下式(7)至(9)利用线性内插生成e1至e3。
[数学式7]
e1＝(A+b+1)>>1...(7)
[数学式8]
e2＝(b+d+1)>>1...(8)
[数学式9]
e3＝(b+c+1)>>1...(9)
[宏块]
再者，在MPEG2中，在帧运动补偿模式中以16×16个像素为单位执行运动预测/补偿处理，并且在场运动补偿模式的情况下，在第一场和第二场中的每个中以16×8个像素为单位执行运动预测/补偿处理。
相反，在AVC中，如图3中所示，由16×16个像素构成的一个宏块被分成16×16、16×8、8×16和8×8的分区中的任何分区，并且这些分区可以彼此独立地包括关于每个子宏块的运动向量信息。此外，如图3中所示，8×8分区被分成8×8、8×4、4×8和4×4子块中的任何子块，并且这些子块可以彼此独立地包括运动向量信息。
然而，如果与MPEG2的情况相似地在AVC图像编码格式中执行该运动预测/补偿处理，则生成大量的运动向量信息。此外，按原样对所生成的运动向量信息进行编码导致编码效率的降低。
[运动向量的中值预测]
作为解决问题的技术，在AVC图像编码中通过如下方法实现运动向量的编码信息的减少。
图4中所示的每条线指示运动补偿块的边界。此外，在图4中，E表示待编码的运动补偿块，并且A至D分别表示与E相邻的编码的运动补偿块。
现在，关于X的运动向量信息是mvX，其中X＝A,B,C,D,和E。
首先，使用关于运动补偿块A、B和C的运动向量信息通过中值运算借助下式(10)生成针对运动补偿块E的预测运动向量信息pmvE：
[数学式10]
pmvE＝med(mvA,mvB,mvC)...(10)
当由于诸如块位于处于图片帧的末端等的原因，关于运动补偿块C的信息不可用时，使用关于运动补偿块D的信息替换该信息。
使用pmvE通过下式(11)生成用作针对运动补偿块E的运动向量信息的、将在图像压缩信息中编码的数据mvdE。
[数学式11]
mvdE＝mvE-pmvE...(11)
注意，针对运动向量信息的水平方向和竖直方向上的各个分量独立地执行实际处理。
[多参考帧]
此外，在AVC中，规定了在诸如MPEG2和H.263的传统的图象编码格式中没有规定的被称为多参考帧(多(多个)参考帧)的格式。
将参照图5描述在AVC中规定的多参考帧。
就是说，在MPEG-2和H.263中，在P图片的情况下，通过参考帧存储器中存储的仅一个参考帧来执行运动预测/补偿处理。在AVC中，如图5中所示，多个参考帧被存储在存储器中，并且对于每个宏块可以参考不同的存储器。
顺便提及，在MPEG2和MPEG4中，例如，在诸如衰落序列的、存在运动并且亮度改变的序列中，没有准备用于吸收亮度改变的编码工具，并且因此编码效率可能降低。
为了解决该问题，在AVC编码格式中，可以执行加权预测处理(参见非专利文献2)。就是说，在P图片中，通过下式(12)生成预测信号：
W0×Y0+D…(12)
其中Y0是运动补偿预测信号，权重系数是W0，并且偏移值是D。
此外，在B图片中，通过下式(13)生成预测信号：
W0×Y0+W1×Y1+D…(13)
其中关于List0和List1的运动补偿预测信号分别是Y0和Y1，它们的权重系数分别是W0和W1，并且偏移值是D。
在AVC中，可以以码片为单位指定是否使用加权预测。
此外，在AVC中，作为加权预测，在码片报头中规定了显式模式和隐式模式，在显式模式中传送W和D，并且在隐式模式中根据时间轴上的图片和参考图片之间的距离计算W。
在P图片中，仅可以使用显式模式。
在B图片中，可以使用显式模式和隐式模式两者。
图7图示了在B图片中在隐式模式的情况下计算W和D的方法。
注意，在AVC的情况下，作为时间距离信息的与tb和td对应的信息不存在，并且因此，使用POC(图片顺序计数)。
此外，在AVC中，可以以码片为单位应用加权预测。此外，非专利文献2还公开了一种以块为单位应用加权预测的方法(强度补偿)。
[运动向量的选择]
顺便提及，为了通过图1中所示的图像编码装置100获得具有高编码效率的图像压缩信息，重要的是根据处理类别选择运动向量和宏块模式。
作为处理示例，存在并入在被称为JM(联合模型)(可公开获得自http:// iphome.hhi.de/suehring/tml/index.htm)的H.264/MPEG-4的参考软件中的技术。
以下，将参照图6描述并入在JM中的运动搜索系统。在图6中，A至I表示整数像素精度的像素值，1至8表示E周围的1/2像素精度的像素值，并且a至h表示6周围的1/4像素精度的像素值。
作为第一步骤，在预定的搜索范围内获得使诸如SAD(绝对差和)的成本函数最小的整数像素精度的运动向量。在图6的示例中，假设E是与整数像素精度的运动向量对应的像素。
作为第二步骤，获得在E和E周围的1/2像素精度1至8中的使成本函数最小的像素值，并且该像素值被用作1/2像素精度的最优运动向量。在图6的示例中，假设6是与1/2像素精度的最优运动向量对应的像素值。
作为第三步骤，获得6和6周围的1/4像素精度a至h中的使成本函数最小的像素值，并且该像素值被用作1/4像素精度的最优运动向量。
[预测模式的选择]
此外，下面将描述在JM中确定的模式确定系统。
在JM中，可以选择两种类型的模式确定方法：高复杂度模式和低复杂度模式。在这两种模式中，计算与每个预测模式相关的成本函数值，并且使成本函数值最小的预测模式被选为块或宏块的最优模式。
高复杂度模式中的成本函数由下式(14)表示：
Cost(Mode∈Ω)＝D+λ*R...(14)
这里，Ω是用于对块或宏块编码的候选模式的全体集合，并且D是当在预测模式中执行编码时在解码图像和输入图像之间的差能量。λ是根据量化参数给出的拉格朗日(Lagrange)乘数。R是当在该模式中执行编码时包括正交变换系数的总码量。
就是说，当执行高复杂度模式中的编码时，需要在所有候选模式中都执行一次临时编码处理以便计算参数D和R。因此，需要更高的算术运算量。
低复杂度模式中的成本函数由下式(15)表示：
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit…(15)
与高复杂度模式不同，这里D是预测图像与输入图像之间的差能量。QP2Quant(QP)是根据量化参数QP给出的，而HeaderBit是与属于报头的诸如运动向量和模式且不包括正交变换系数的信息相关的码量。
就是说，在低复杂度模式中，需要针对每个候选模式执行预测处理。然而，解码图像不是必需的，并且因此不必执行编码处理。因此，较之高复杂度模式，可以通过较低的算术运算量来实现低复杂度模式。
[编码单位]
顺便提及，16×16个像素的宏块尺寸对于诸如下一代编码方法中处置的UHD(超高清晰度，4000×2000个像素)的大图像帧不是最优的。
因此，在AVC中，规定了如图3所示的利用宏块和子宏块的分层结构。然而，例如，在HEVC(高效视频编码)中，规定了如图8所示的编码单位(CU)。
CU还被称为编码树块(CTB)，并且是以图片为单位的图像的部分区域，其作用与AVC中的宏块相似。宏块固定为16×16个像素的尺寸，而CU的尺寸是非固定的，并且在图像压缩信息中在每个序列中指定。
例如，在包括在作为输出的编码数据中的序列参数组(SPS)中，规定了CU的最大尺寸(LCU(最大编码单位))和最小尺寸(SCU(最小编码单位))。
通过在不低于SCU尺寸的范围内满足分割标志(split-flag)＝1，CU可以被分成尺寸更小的CU。在图8的示例中，LCU的尺寸是128，并且最大分层深度为5。具有2N×2N的尺寸的CU被分成具有为N×N的尺寸的CU，其比分割标志的值为“1”时的分层低一层。
此外，CU被分成预测单位(PU)(以图片为单位的图像的部分区域)，PU是帧内预测或帧间预测的处理单位的区域，并且CU被分成变换单位(TU)，TU是正交变换的处理单位的区域(以图片为单位的图像的部分区域)。目前，在HEVC中，除了4×4和8×8之外，可以使用16×16和32×32的正交变换。
如上文所述，在CU被定义并且CU被用作用于执行各种处理的单位的如HEVC的编码格式的情况下，AVC中的宏块可以被视为对应于LCU。注意，CU具有如图8中所示的分层结构。因此，最上层的LCU的尺寸典型地被设定为大于AVC中的宏块，例如，诸如128×128个像素。
[取整处理中的算术运算精度的降低]
顺便提及，如图9中所示，该加权处理执行用于运动补偿的取整处理，并且进一步执行加权加法之后的取整处理。因此，要考虑由于算术运算精度的降低引起的编码效率的降低。
因此，运动预测/补偿单元115、加权预测单元121和运动向量精度确定单元122如图10中所示执行子像素精度的运动补偿处理，执行加权加法，并且随后共同执行算术运算的取整处理。
[运动预测/补偿单元、加权预测单元和运动向量精度确定单元]
图11是图示图1的运动预测/补偿单元115、加权预测单元121和运动向量精度确定单元122的主要配置示例的框图。
如图11中所示，运动预测/补偿单元115包括运动搜索单元151、成本函数值生成单元152、模式确定单元153、运动补偿单元154和运动信息缓冲器155。
此外，加权预测单元121包括权重系数确定单元161和运动精度调整单元162。
运动搜索单元151使用从帧重排缓冲器102获取的输入像素值和从帧存储器112获取的参考图像像素值来执行运动搜索以获得运动信息(运动向量)。
运动搜索单元151将从帧重排缓冲器102获取的输入像素值和从帧存储器112获取的参考图像像素值提供给加权预测单元121的权重系数确定单元161。
权重系数确定单元161基于各像素值确定权重系数，并且将权重系数提供给运动搜索单元151。
注意，运动搜索单元151在所有候选帧间预测模式中执行运动搜索，并且生成运动信息。所有搜索到的运动信息被提供给运动向量精度确定单元122。
运动向量精度确定单元122区分与L0和L1的运动向量精度相关的信息，并且将精度信息(运动精度)提供给加权预测单元121的运动精度调整单元162。运动向量精度确定单元122区分从运动搜索单元151提供的所有帧间预测模式的运动信息的运动精度。运动精度调整单元162确定如何基于从运动向量精度确定单元122提供的运动精度来执行取整处理，并且将控制取整处理的执行的取整控制信息提供给运动搜索单元151。运动精度调整单元162生成关于从运动向量精度确定单元122提供的所有帧间预测模式的运动精度的取整控制信息，并且将该取整控制信息提供给运动搜索单元151。
运动搜索单元151使用以该方式提供的取整控制信息和权重系数来执行运动补偿，并且生成预测图像。运动搜索单元151随后获得生成的预测图像和输入图像之间的差(差图像)。运动搜索单元151将所获得的差图像的像素值(差像素值)连同运动信息一起提供给成本函数值生成单元152。运动搜索单元151在所有帧间预测模式中执行该处理。
成本函数值生成单元152使用从运动信息搜索单元151提供的差像素值来计算成本函数值。此外，成本函数值生成单元152从运动信息缓冲器155获取与从运动信息搜索单元151提供的运动信息对应的周围运动信息。周围运动信息是位于作为与运动信息对应的区域的待处理区域周围的区域(例如，相邻区域)的运动信息。成本函数值生成单元152使用从运动信息缓冲器155获取的周围运动信息来预测该区域的运动信息，并且生成作为预测运动信息和在运动搜索单元151中搜索到的运动信息之间的差的差运动信息。成本函数值生成单元152在所有帧间预测模式中执行该处理，并且获得差运动信息和成本函数值。
成本函数值生成单元152将每个帧间预测模式的差运动信息和成本函数值提供给模式确定单元153。
模式确定单元153将使成本函数值最小的帧间预测模式确定为该区域的最优帧间预测模式，并且将指示最优帧间预测模式以及最优帧间预测模式的差运动信息的最优模式信息提供给运动补偿单元154。
在获取了该信息时，运动补偿单元154基于最优模式信息从运动搜索单元151获取最优帧间预测模式的取整控制信息和权重系数。此外，运动补偿单元154基于最优模式信息从运动信息缓冲器155获取与最优帧间预测模式对应的周围运动信息。运动补偿单元154使用差运动信息和周围运动信息重建最优帧间预测模式的运动信息。
运动补偿单元154通过使用该信息执行运动补偿来生成预测图像。例如，当执行加权预测时，运动补偿单元154使用权重系数执行加权加法，并且基于取整控制信息将取整处理仅应用于加权加法结果一次。
运动补偿单元154将所生成的预测图像像素值提供给预测图像选择器116。此外，运动补偿单元154将权重系数、差运动信息、最优模式信息等提供给无损编码器106，并且使位流添加该信息并且传送到解码侧。
此外，运动补偿单元154将该区域的运动信息提供给运动信息缓冲器155，并且使运动信息缓冲器155存储该信息。运动信息被用作帧间预测中的关于在时间上晚于该区域的其他待处理区域的周围运动信息。
[运动补偿的细节]
接下来，将描述运动补偿的细节。
如上文所述，运动补偿单元154如图10中所示，执行子像素精度的运动补偿处理，执行加权加法，并且随后执行仅一次取整处理，而非如图9中所示，执行子像素精度的运动补偿处理，执行取整处理，执行加权加法，并且随后再次执行取整处理。
将描述如AVC的执行1/4像素精度的运动补偿的示例。当执行1/2像素精度的运动补偿时，在结束时执行2H的除法作为取整处理。当执行1/4像素精度的运动补偿时，在结束时执行2Q的除法作为取整处理。此外，最后执行2W的除法作为加权加法的取整处理。这些值H、Q和W均为正整数。
相反，图像编码装置100在运动精度调整单元162中调整L0和L1的运动向量精度作为第一步骤。例如，假设在LX和LY(X,Y＝{0,1})之间，较之LY对LX执行相似的或者更细微的子像素精度的运动补偿。当LX和LY具有相同的子像素精度时，就是说，当此两者具有整数像素精度、1/2像素精度或1/4像素精度时，没有必要调整LX和LY的精度。运动精度调整单元162生成指令不调整LX和LY的精度的取整控制信息。
当LX和LY具有不同的子像素精度时，运动精度调整单元162如下生成取整控制信息以调整LX和LY的精度。
例如，当LX是整数像素精度，并且LY是1/2像素精度时，使用LX*2H替换LX。例如，当LX是整数像素精度，并且LY是1/4像素精度时，使用LX*2Q替换LX。此外，例如，当LX是1/2像素精度，并且LY是1/4像素精度时，使用LX*2(Q-H)替换LX。
为了简化描述取一维示例给出了描述。然而，实际的运动向量信息是二维信息。因此，运动精度调整单元162根据竖直分量和水平分量的精度如图12中所示的表格调整LX和LY的精度。图12的表格根据L0和L1的水平分量的精度和竖直分量的精度的组合来指示精度调整量。横向方向(从顶部起的第一行中的值的组合)指示L0和L1的水平分量(或竖直分量)的精度的组合，并且竖直方向(从左侧起的第一列中的值的组合)指示L0和L1的竖直分量(或水平分量)的组合。
具有较低精度和较高精度的运动向量信息被调整，使得与图12的表格中指示的L0和L1的水平分量的精度和竖直分量的精度的组合对应的值乘以具有较低精度的运动向量信息。注意，图12的表格中的值“0”指示不执行精度的调整(“0”指示不执行乘法)。
作为第二步骤，图像编码装置100针对LX和LY使用运动搜索单元151或运动补偿单元154中的权重系数来执行加权加法处理，该权重系数如上文所述已被调整。
作为第三步骤，图像编码装置100在运动搜索单元151中或在运动补偿单元154中如下执行取整处理。就是说，假设在以上第一步骤中，需要2X的乘法用于L0和L1的精度调整，并且在AVC格式中，需要2Y的除法用于加权预测处理。在该情况下，执行2X+Y的除法。作为实际处理，通过移位操作而非除法来实现。
如上文所述，在加权加法之后执行一次取整处理。因此，图像编码装置100可以抑制由于取整误差引起的图像质量劣化并且提高算术运算精度，从而提高编码效率。
注意，以上方法可以应用于显式模式和隐式模式两者。此外，以上方法还可以应用于如非专利文献3中提出的强度补偿。
[编码处理的流程]
接下来，将描述如上文所述的图像编码装置100执行的处理流程。首先，将参照图13描述编码处理的流程的示例。
在步骤S101中，A/D转换器101对输入图像执行A/D转换。在步骤S102中，帧重排缓冲器102存储通过A/D转换而获得的图像并且将各个图片从显示顺序重排成编码顺序。
在步骤S103中，帧内预测单元114执行帧内预测处理。在步骤S104中，运动预测/补偿单元115、加权预测单元121和运动向量精度确定单元122执行帧间预测处理。在步骤S105中，预测图像选择器116选择通过帧内预测生成的预测图像或者通过帧间预测生成的预测图像。
在步骤S106中，算术运算单元103计算通过步骤S102的处理所重排的图像和通过步骤S105的处理所选择的预测图像之间的差(生成差图像)。所生成的差图像与原始图像相比，数据量降低。因此，与图像被直接编码的情况相比，可以使数据量更小。
在步骤S107中，正交变换器104对通过步骤S106中的处理生成的差图像进行正交变换。具体地，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出正交变换系数。在步骤S108中，量化器105对通过步骤S107中的处理获得的正交变换系数进行量化。
在步骤S108的处理中量化的差图像被如下本地解码。在步骤S109中，逆量化器108利用与量化器105的特性对应的特性，对通过步骤S108中的处理生成的经量化的正交变换系数(还被称为量化系数)执行逆量化。在步骤S110中，逆正交变换器109利用与正交变换器104的特性对应的特性，对通过步骤S109的处理获得的正交变换系数进行逆正交变换。因此，差图像被恢复。
在步骤S111中，算术运算单元110通过将在步骤S105中选择的预测图像与在步骤S110中生成的差图像相加以生成本地解码的图像(重建图像)。在步骤S112中，环路滤波器111适当地对通过步骤S111的处理获得的重建图像执行包括解块滤波处理和自适应性环路滤波处理的环路滤波处理。
在步骤S113中，帧存储器112存储通过步骤S112的处理生成的解码图像或者通过步骤S111的处理生成的重建图像。
在步骤S114中，无损编码单元106对通过步骤S108的处理量化的正交变换系数进行编码。具体地，对差图像执行诸如可变长度编码或算术编码的无损编码。注意，无损编码器106对关于预测的信息、关于量化的信息等进行编码并且将它们添加在位流中。
在步骤S115中，积累缓冲器107对通过步骤S114的处理获得的位流进行累积。积累缓冲器107中积累的编码数据在必要的情况下被读出并且经由传送路径或记录介质被传送到解码侧。
在步骤S116中，速率控制器117基于通过步骤S115的处理在积累缓冲器107中累积的码量(生成的码量)来控制量化器105的量化操作的速率，以不引起上溢或下溢。
在步骤S116中的处理结束时终止编码处理。
[帧间运动预测处理的流程]
接下来，将参照图14的流程图描述在图13的步骤S104中执行的帧间运动预测处理的流程的示例。
在步骤S131中，权重系数确定单元161确定是否在码片中执行加权预测。当对输入图像像素值和参考图像像素值进行比较并且发生辉度改变，并且确定将执行加权预测时，权重系数确定单元161使处理前往步骤S132。在步骤S132中，运动预测/补偿单元115、加权预测单元121和运动向量精度确定单元122执行加权预测处理。当加权预测处理完成时，运动预测/补偿单元115、加权预测单元121和运动向量精度确定单元122终止帧间运动预测处理，并且使处理返回图13。
在步骤S131中，当确定不执行加权预测时，运动预测/补偿单元115、加权预测单元121和运动向量精度确定单元122使处理前往步骤S133。
在步骤S133中，运动搜索单元151在每个帧间预测模式中执行运动搜索。在步骤S134中，成本函数值生成单元152在每个帧间预测模式中计算成本函数值。
在步骤S135中，模式确定单元153确定最优帧间预测模式。在步骤S136中，运动补偿单元154在最优帧间预测模式中执行运动补偿并且生成预测图像。
在步骤S137中，运动补偿单元154将所生成的预测图像输出到预测图像选择器116。在步骤S138中，运动补偿单元154将最优模式信息和差运动信息输出到无损编码器106。当步骤S138的处理完成时，运动补偿单元154终止帧间运动预测处理，并且使处理返回图13。
[加权预测处理的流程]
接下来，将参照图15的流程图描述图14的步骤S132中执行的加权预测处理的流程的示例。
在步骤S151中，权重系数确定单元161确定码片的权重系数。在步骤S152中，运动搜索单元151在每个帧间预测模式中执行运动搜索。在步骤S153中，运动向量精度确定单元122基于在步骤S152中生成的运动信息来确定每个帧间预测模式中的运动精度。在步骤S154中，运动精度调整单元162在每个帧间预测模式中执行调整运动精度。
在步骤S155中，运动搜索单元151在每个帧间预测模式中执行L0和L1中的每个的内插处理。在步骤S156中，运动搜索单元151在每个帧间预测模式中使用在步骤S151中确定的权重系数来执行加权加法。在步骤S157中，运动搜索单元151在每个帧间预测模式中执行取整处理。
在步骤S158中，成本函数值生成单元152在每个帧间预测模式中计算成本函数值。在步骤S159中，模式确定单元153基于成本函数值确定最优帧间预测模式。
在步骤S160中，运动补偿单元154在最优帧间预测模式中执行L0和L1中的每个的内插处理。在步骤S161中，运动补偿单元154在最优帧间预测模式中执行加权加法。在步骤S162中，运动补偿单元154在最优帧间预测模式中将取整处理应用于运动精度和加权加法。
在步骤S163中，运动补偿单元154将所生成的预测图像输出到预测图像选择器116。在步骤S164中，运动补偿单元154将最优模式信息、差运动信息和权重系数输出到无损编码器106并且使无损编码器106对该信息进行编码。
当步骤S164的处理完成时，运动补偿单元154终止加权预测处理，并且使处理返回图14。
通过执行如上文所述的各种处理，图像编码装置100在加权加法之后共同执行一次取整处理以抑制由于取整误差引起的图像质量劣化，并且提高算术运算精度，从而提高编码效率。
<2.第二实施例>
[图像解码装置]
接下来，将描述如上文所述进行编码的编码数据的解码。图16是图示与图1的图像编码装置100对应的图像解码装置的主要配置示例的框图。
在图16中所示的图像解码装置200通过对应于编码方法的解码方法对图像编码装置100生成的编码数据进行解码。
如图16所示，图像解码装置200包括积累缓冲器201、无损解码器202、逆量化器203、逆正交变换器204、算术运算单元205、环路滤波器206、帧重排缓冲器207和D/A转换器208。此外，图像解码装置200包括帧存储器209、选择器210、帧内预测单元211、运动预测/补偿单元212和选择器213。
此外，图像解码装置200包括加权预测单元221和运动向量精度确定单元222。
积累缓冲器201积累所传送的编码数据，并且将编码数据提供给无损解码器202。无损解码器202通过与无损编码器106的编码格式对应的格式，对图1的无损编码器106编码并且从积累缓冲器201提供的信息进行解码。无损解码器202将通过解码获得的差图像的量化系数数据提供给逆量化器203。
此外，无损解码器202确定选择帧内预测模式还是选择帧间预测模式作为最优预测模式，并且将关于最优预测模式的信息提供给帧内预测单元211和运动预测/补偿单元212之间被确定要选择的模式。就是说，例如，当图像编码装置100选择帧内预测模式作为最优预测模式时，作为关于最优预测模式的帧内预测信息被提供给帧内预测单元211。此外，例如，当图像编码装置100选择帧间预测模式作为最优预测模式时，作为关于最优预测模式的帧间预测信息被提供给运动预测/补偿单元212。
逆量化器203根据与图1中的量化器105的量化技术对应的技术，对通过无损解码器202的解码而获得的量化系数数据执行逆量化，并且将得到的系数数据提供给逆正交变换器204。逆正交变换器204根据与图1中的正交变换器104的正交变换技术对应的技术，对从逆量化器203提供的系数数据执行逆正交变换。逆正交变换器204获得与图像编码装置100中的正交变换之前的差图像对应的差图像。
通过逆正交变换获得的差图像被提供给算术运算单元205。此外，来自帧内预测单元211或运动预测/补偿单元212的预测图像通过选择器213被提供给算术运算单元205。
算术运算单元205将差图像和预测图像相加，并且获得与在图像编码装置100的算术运算单元103减去预测图像之前的图像对应的重建图像。算术运算单元205将重建图像提供给环路滤波器206。
环路滤波器206适当地对所提供的重建图像应用包括解块滤波处理和自适应性环路滤波处理的环路滤波处理以生成解码图像。例如，环路滤波器206通过向重建图像应用解块滤波处理来去除块失真。此外，例如，环路滤波器206通过使用Wiener滤波器将环路滤波处理应用于解块滤波处理的结果(块失真被去除的重建图像)来提高图像质量。
注意，环路滤波器206执行的滤波处理可以是任意类型，并且可以执行除以上处理之外的滤波处理。此外，环路滤波器206可以通过使用从图1的图像编码装置100提供的滤波器系数来执行滤波。
环路滤波器206将作为滤波处理的结果的解码图像提供给帧重排缓冲器207和帧存储器209。注意，环路滤波器206的滤波处理可以被省略。就是说，加法单元205的输出可以存储在帧存储器209中而不经历滤波处理。例如，帧内预测单元211使用图像中包括的像素的像素值作为周围像素的像素值。
帧重排缓冲器207对所提供的解码图像进行重排。具体地，通过图1中的帧重排缓冲器102重排成编码顺序的帧被重排成原始显示顺序。D/A转换器208对从帧重排缓冲器207提供的解码图像应用D/A转换，并且将其输出到显示器(未示出)并且在显示器中显示。
帧存储器209存储所提供的重建图像和解码图像。此外，帧存储器209以预定时序或基于来自诸如帧内预测单元211或运动预测/补偿单元212的外部的请求将所存储的重建图像和解码图像提供给帧内预测单元211和运动预测/补偿单元212。
帧内预测单元211执行与图1的帧内预测单元114基本上相似的处理。注意，帧内预测单元211仅将帧内预测应用于在执行编码时通过帧内预测生成预测图像的区域。
运动预测/补偿单元212执行与运动预测/补偿单元115基本上相似的帧间预测。然而，运动预测/补偿单元212基于从无损解码器202提供的帧间预测信息仅将帧间预测应用于在执行编码时执行帧间预测的区域。运动预测/补偿单元212将所生成的预测图像提供给选择器213。
选择器213将从帧内预测单元211提供的预测图像或者从运动预测/补偿单元212提供的预测图像提供给算术运算单元205。
[运动预测补偿单元、加权预测单元和运动向量精度确定单元]
图17是图示图16的运动预测补偿单元212、加权预测单元221和运动向量精度确定单元222的主要配置示例的框图。
如图17中所示，运动预测/补偿单元212包括权重系数缓冲器251、差运动信息缓冲器252、运动信息重建单元253、运动信息缓冲器254和运动补偿单元255。
此外，加权预测单元221包括权重系数确定单元261和运动精度调整单元262。
运动预测/补偿单元212执行与图像编码装置100的运动预测/补偿单元115基本上相似的处理。运动预测/补偿单元212基于位流中包括并且从编码侧传送的信息仅将帧间预测应用于在执行编码时经历帧间预测的区域。
就是说，运动预测/补偿单元212使用从无损解码器202提供的差运动信息重建运动信息，并且执行运动补偿。此外，在位流中添加加权预测中要使用的权重系数并且从编码侧提供。
权重系数缓冲器251获取并且存储在无损解码器202中从位流提取的权重系数，并且按预定的时序或者基于来自外部的请求将所存储的权重系数提供给加权预测单元221的权重系数确定单元261。
差运动信息缓冲器252获取并且存储在无损解码器202中从位流提取的差运动信息，并且按预定的时序或者基于来自外部的请求将所存储的差运动信息提供给运动信息重建单元253。
当运动信息重建单元253从差运动信息缓冲器252获取差运动信息时，运动信息重建单元253从运动信息缓冲器254获取与差运动信息对应的周围运动信息并且使用该信息重建该区域的运动信息。运动信息重建单元253将重建的运动信息提供给运动补偿单元255和运动向量精度确定单元222。
通过这种方式，使用从编码侧提供的差运动信息重建运动信息。因此，仅当运动补偿单元255执行运动补偿时省略上述取整处理。
与运动向量精度确定单元122的情况相似，运动向量精度确定单元222确定从运动信息重建单元253提供的运动信息的运动精度。与运动精度调整单元162的情况相似，运动精度调整单元262获取确定结果(运动精度)并且基于该信息生成取整控制信息。
此外，权重系数确定单元261将从权重系数缓冲器251获取的权重系数提供给运动补偿单元255。注意，可以在图像解码装置200中计算权重系数。例如，在隐式模式的情况下，权重系数确定单元261计算码片的权重系数。
运动信息缓冲器254获取并且存储在运动信息重建单元253中重建的运动信息。所存储的运动信息返回到运动信息重建单元253，作为周围区域的运动信息。
运动补偿单元255使用从运动信息重建单元253提供的运动信息、从权重系数确定单元261提供的权重系数、从运动精度调整单元262提供的取整控制信息以及从帧存储器209提供的参考图像像素值来适当地执行运动补偿，并且生成预测图像。因此，运动补偿单元255仅将加权预测应用于当执行编码时经历加权预测的区域以生成预测图像。
与图1的图像编码装置100的情况基本上相似，执行运动补偿中的预测图像的生成。就是说，运动补偿单元255在加权预测中在加权预测之后共同执行一次取整处理。在这样操作时，运动补偿单元255可以抑制由于取整误差引起的图像质量劣化并且可以提高算术运算精度。因此，图像解码装置200可以提高编码效率。
[解码处理的流程]
接下来，将描述如上文所述的图像解码装置200执行的处理的流程。首先，将参照图18的流程图描述解码处理的流程的示例。
在步骤S201中，当开始解码处理时，积累缓冲器201积累所传送的位流。在步骤S202中，无损解码器202对从积累缓冲器201提供的位流(经编码的差图像信息)进行解码。
此时，除了差图像信息之外，对位流中包括的诸如帧内预测信息和帧间预测信息的各种类型的信息进行解码。
在步骤S203中，逆量化器203对通过步骤S202中的处理获得的经量化的正交变换系数执行逆量化。在步骤S204中，逆正交变换器204对通过步骤S203中的逆量化获得的正交变换系数执行逆正交变换。
在步骤S205中，帧内预测单元211或运动预测/补偿单元212使用所提供的信息来执行预测处理。在步骤S206中，选择器213选择在步骤S205中生成的预测图像。在步骤S207中，算术运算单元205将在步骤S206中选择的预测图像与在步骤S204中通过逆正交变换获得的差图像信息相加。因此，生成了重建图像。
在步骤S208中，环路滤波器206对在步骤S207中获得的重建图像适当地应用包括解块效应滤波处理和自适应性环路滤波处理的环路滤波处理。
在步骤S209中，帧重排缓冲器207对在步骤S208中通过经历滤波处理而生成的解码图像进行重排。具体地，被图像编码装置100的帧重排缓冲器102重排成编码顺序的帧被重排成原始显示顺序。
在步骤S210中，D/A转换单元208对具有重排的帧的解码图像应用D/A转换。解码图像被输出至显示器(未示出)并在显示器中显示。
在步骤S211中，帧存储器209存储在步骤S209中通过经历滤波处理而获得的解码图像。该解码图像被用作帧间预测处理中的参考图像。
当步骤S211中的处理终止时，解码处理终止。
[预测处理的流程]
接下来，将参照图19的流程图描述在图18的步骤S205中执行的预测处理的流程的示例。
当预测处理开始时，在步骤S231中，帧内预测单元211基于从无损解码器202提供的帧内预测信息或者帧间预测信息来确定当对待处理区域进行编码时是否已执行帧内预测。当确定已执行帧内预测时，帧内预测单元211使处理前往步骤S232。
在该情况下，在步骤S232中帧内预测单元211获取帧内预测模式信息，并且在步骤S233中通过帧内预测生成预测图像。在生成预测图像后，帧内预测单元211终止预测处理并且使处理返回图18。
在步骤S231中，当确定该区域是经历帧间预测的区域时，处理前往步骤S234。在步骤S234中，运动预测/补偿单元212、加权预测单元221和运动向量精度确定单元222执行帧间运动预测处理。在完成帧间运动预测处理时，运动预测/补偿单元212、加权预测单元221和运动向量精度确定单元222终止预测处理，并且使处理返回至图18。
[帧间运动预测处理的流程]
接下来，将参照图20的流程图描述在图19的步骤S234中执行的帧间运动预测处理的流程的示例。
当帧间运动预测处理开始时，在步骤S251中，权重系数确定单元261确定在码片中是否已执行加权预测。当确定已执行加权预测时，权重系数确定单元261使处理前往步骤S252。
在步骤S252中，运动预测/补偿单元212、加权预测单元221和运动向量精度确定单元222执行加权预测处理。当加权预测处理完成时，运动预测/补偿单元212、加权预测单元221和运动向量精度确定单元222终止帧间运动预测处理，并且使处理返回图19。
在步骤S251中，当确定未执行加权预测时，权重系数确定单元261使处理前往步骤S253。在步骤S253中，差运动信息缓冲器252获取差运动信息。
在步骤S254中，运动信息重建单元253重建运动信息。在步骤S255中，运动补偿单元255使用重建的运动信息来重建运动信息。
在步骤S256中，运动补偿单元255将所生成的预测图像输出到算术运算单元205。在步骤S257中，运动信息缓冲器254存储重建的运动信息。当步骤S257的处理完成时，运动信息缓冲器254终止帧间运动预测处理，并且使处理返回图19。
[加权预测处理的流程]
接下来，将参照图21的流程图描述图20的步骤S252中执行的加权预测处理的流程的示例。
在步骤S271中，权重系数确定单元261针对码片确定权重系数。在步骤S272中，差运动信息缓冲器252获取差运动信息。在步骤S273中，运动信息重建单元253使用差运动信息重建运动信息。
在步骤S274中，运动精度调整单元262调整运动向量精度确定单元222确定的运动精度。
在步骤S275中，运动补偿单元255执行L0和L1中的每个的内插处理。在步骤S276中，运动补偿单元255执行L0和L1的加权加法。在步骤S277中，运动补偿单元255执行取整处理。
在步骤S278中，运动补偿单元255输出如上文所述的预测图像。在步骤S279中，运动信息缓冲器254存储运动信息。当步骤S279的处理结束时，运动信息缓冲器254终止加权预测处理，并且使处理返回图20。
通过执行如上文所述的各种处理，图像解码装置200在加权加法之后共同执行一次取整处理以抑制由于取整误差引起的图像质量劣化，从而提高算术运算精度。因此，图像解码装置200可以实现编码效率的提高。
本技术能够应用于用来例如经由诸如卫星广播、有线电视、互联网或便携式电话装置的网络介质接收使用如MPEG和H.26x中的诸如离散余弦变换的正交变换和运动补偿压缩的图像信息(位流)。本技术还能够应用于在对诸如光盘或磁盘或闪速存储器的存储介质上处理压缩图像信息时使用的图像编码装置和图像解码装置。此外，本技术能够应用于包括在这些图像编码装置和图像解码装置中的帧内预测装置等。
<3.第三实施例>
[个人计算机]
上述系列处理可以通过硬件或软件来执行。当通过软件执行上述系列处理时，将构成软件的程序安装在计算机中。注意，计算机的示例包括嵌入在专用硬件中的计算机以及通过在其中安装各种程序能够执行各种功能的通用个人计算机。
在图22中，个人计算机500的中央处理单元(CPU)501根据存储在只读存储器(ROM)502中的程序或从存储单元513加载在随机存取存储器(RAM)503上的程序来执行各种处理。RAM 503还在必要的情况下存储CPU 501执行各种处理所需的数据等。
CPU 501、ROM 502以及RAM 503经由总线504彼此连接。输入/输出接口510也被连接至总线504。
连接至输入/输出接口510具有与其连接的如下部件：包括键盘、鼠标等的输入单元511；包括诸如CRT(阴极射线管)或LCD(液晶显示器)的显示器以及扬声器的输出单元512；包括硬盘等的存储单元513；以及包括调制解调器等的通信单元514。通信单元514经由包括互联网的网络执行通信。
在必要的情况下，驱动器515也连接至输入/输出接口510，并且在必要的情况下，诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质521适当地安装在驱动器上，并且从该可移动盘读取的计算机程序被安装在存储单元513中。
当通过软件执行上述系列处理时，来自网络或记录介质的构成软件的程序被安装。
如图22中的示例所示，例如，记录介质由以下构成：包括磁盘(包括软盘)、光盘(包括CD-ROM(光碟只读存储器)和DVD(数字多功能光碟))、磁光盘(包括MD(微型光碟))或半导体存储器的可移动介质521，在可移动介质521上记录程序并且可移动介质521被分送以将程序与装置本体分离地递送至用户；ROM 502，在ROM 502上记录程序并且ROM 502在预先被并入在装置本体中的情况下被递送至用户；以及包括在存储单元513中的硬盘。
通过计算机执行的程序可以是用于按照在本文中描述的顺序以时间顺序执行处理的程序，或者用于并行地或者在诸如响应于调用的必要的定时执行处理的程序。
在本文中，描述记录在记录介质中的程序的步骤包括在不必按时间顺序执行的情况下并行执行的处理或者彼此独立执行的处理，以及根据这里描述的顺序按时间顺序执行的处理。
在本文中，系统指的是包括不止一个装置的设备整体。
此外，上文描述为一个装置(或一个处理单元)的任何结构可以被分成两个或更多个装置(或处理单元)。相反，上文描述为两个或更多个装置(或处理单元)的任何结构可以组合成一个装置(或处理单元)。此外，显然除了上述部件之外的部件可以被添加到任何装置(或处理单元)的结构。此外，装置(或处理单元)的一些部件可以被并入到另一装置(或处理单元)的结构中，只要系统整体的结构和功能基本上相同即可。就是说，本技术不限于上述实施例，而是可以在不偏离本技术的范围的前提下进行各种修改。
根据上述实施例的图像编码装置和图像解码装置可以被应用于各种电子装置，诸如卫星广播、诸如有线电视的有线广播、经由互联网的分送、经由蜂窝通信针对终端的分送等中使用的发射器和接收器，配置成将图像记录在诸如磁盘或闪速存储器的介质中的记录介质，以及被配置成从存储介质再现图像的再现装置。下文将描述四个应用示例。
<4.第四实施例>
[第一应用：电视接收器]
图23图示了被应用上述实施例的电视设备的示意性配置的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、外部接口909、控制器910、用户接口911以及总线912。
调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。调谐器902然后将通过解调获得的经编码的位流输出至解复用器903。也就是说，调谐器902用作电视设备900中的接收编码图像的编码流的传送装置。
解复用器903使要观看的节目的视频流和音频流与编码位流分离，并且将分离的流输出至解码器904。解复用器903还从编码位流中提取诸如EPG(电子节目指南)的辅助数据，并且将所提取的数据提供给控制器910。如果编码位流被加扰，则解复用器903可以编码位流进行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904然后将通过解码生成的视频数据输出至视频信号处理器905。解码器904还将通过解码生成的音频数据输出至音频信号处理器907。
视频信号处理器905再现从解码器904输入的视频数据，并且在显示单元906上显示视频数据。视频信号处理器905还可以将经由网络提供的应用屏幕显示在显示单元906上。此外，视频信号处理器905可以根据设定对视频数据执行诸如去噪的附加处理。视频信号处理器905还可以生成诸如菜单、按键或光标的GUI(图形用户接口)图像并且将所生成的图像叠加在输出图像上。
显示单元906由从视频信号处理器905提供的驱动信号进行驱动，并且将视频或图像显示在显示装置(诸如液晶显示器、等离子体显示器或OELD(有机致电发光显示器))的视频屏幕上。
音频信号处理器907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且通过扬声器908输出音频。此外，音频信号处理器907可以对音频数据执行诸如去噪的附加处理。
外部接口909是用于将电视设备900与外部装置或网络连接的接口。例如，解码器904可以对经由外部接口909接收的视频流或音频流进行解码。就是说，外部接口909还用作电视设备900中的接收编码图像的编码流的传送装置。
控制器910包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，在电视设备900启动时，CPU读取并执行存储在存储器中的程序。通过执行程序，CPU根据例如从用户接口911输入的控制信号来控制电视设备900的操作。
用户接口911连接至控制器910。用户接口911包括用于用户操作电视设备900的按键和开关以及用于接收例如遥控信号的接收单元。用户接口911经由这些部件检测用户操作，生成控制信号并且将所生成的控制信号输出至控制器910。
总线912使调谐器902、解复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909以及控制器910彼此连接。
在具有该结构的电视设备900中，解码器904具有根据上述实施例的图像解码装置的功能。因此，在电视设备900中对图像编码和解码时，抑制了由于取整误差引起的图像质量劣化，使得可以提高算术运算精度，并且可以提高编码效率。
<5.第五实施例>
[第二应用：便携式电话装置]
图24是被应用上述实施例的便携式电话装置的示意性配置的示例。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理器927、解复用器928、记录/再现单元929、显示单元930、控制器931、操作单元932以及总线933。
天线921被连接至通信单元922。扬声器924和麦克风925被连接至音频编解码器923。操作单元932被连接至控制器931。总线933使通信单元922、音频编解码器923、相机单元926、图像处理器927、解复用器928、记录/再现单元929、显示单元930和控制器931彼此连接。
便携式电话装置920在包括语音呼叫模式、数据通信模式、成像模式以及视频电话模式的各种操作模式中执行诸如传送/接收音频信号，传送/接收电子邮件和图像数据，拍摄图像、记录数据等的操作。
在语音呼叫模式中，通过麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，对经转换的音频数据执行A/D转换，并且压缩音频数据。音频编解码器923随后将通过压缩得到的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成待传送的信号。通信单元922然后将所生成的待传送的信号经由天线921传送至基站(未示出)。通信单元922还对经由天线921接收的无线电信号进行放大并且执行频率转换以获得接收信号。通信单元922然后对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据解压缩并且执行D/A转换以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供给扬声器924以从其输出音频。
在数据通信模式中，例如，控制器931根据经由操作单元932的用户操作生成电子邮件中包括的文本数据。控制器931还将文本显示在显示单元930上。控制器931还根据经由操作单元932来自用户的传送指令生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成待传送的信号。通信单元922随后将所生成的待传送的信号经由天线921传送至基站(未示出)。通信单元922还对经由天线921接收的无线电信号进行放大并且执行频率转换以获得接收信号。通信单元922随后对接收信号进行解调和解码以恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制器931。控制器931将电子邮件的内容显示在显示单元930上并且将电子邮件数据存储到记录/再现单元929的存储介质中。
记录/再现单元929包括可读/可写存储介质。例如，存储介质可以是诸如RAM或闪速存储器的内部存储介质，或者可以是诸如硬盘、磁盘、磁光盘、USB(未分配空间位图)存储器或者存储卡的外部安装的存储介质。
在成像模式中，例如，相机单元926对对象成像以生成图像数据，并且将生成的图像数据输出至图像处理器927。图像处理器927对从相机单元926输入的图像数据进行编码，并且将经编码的流存储在存储/再现单元929的存储介质中。
在视频电话模式中，例如，解复用器928对图像处理器927编码的视频流以及从视频编解码器923输入的音频流进行复用，并且将经复用的流输出至通信单元922。通信单元922对该流进行编码和调制以生成待传送的信号。通信单元922然后将所生成的待传送的信号经由天线921传送至基站(未示出)。通信单元922还对经由天线921接收到的无线电信号进行放大并且执行频率转换以获得接收到的信号。待传送的信号和接收到的信号可以包括编码位流。通信单元922随后对接收到的信号进行解调和解码以恢复该流并且将恢复的流输出至解复用器928。解复用器928将视频流和音频流与输入流分离，并且将视频流输出至图像处理器927并将音频流输出至音频编解码器923。图像处理器927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示图像序列。音频编解码器923对音频流解压并且执行D/A转换以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供给扬声器924以从其输出音频。
在具有该结构的便携式电话装置920中，图像处理器927具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，在便携式电话装置920中对图像编码和解码时，抑制了由于取整误差引起的图像质量劣化，使得可以提高算术运算精度，并且可以提高编码效率。
<6.第六实施例>
[第三应用：记录/再现装置]
图25是被应用上述实施例的记录/再现装置的示意性配置的示例。记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码，并且将编码数据记录在例如记录介质中。记录/再现装置940还对从另外的装置获取的音频数据和视频数据进行编码，并且将编码数据记录在例如记录介质中。响应于来自用户的指令，记录/再现装置940还例如在监视器上和通过扬声器再现记录在记录介质上的数据。在该情况下，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(同屏显示)948、控制单元949以及用户接口950。
调谐器941从经由天线(未示出)接收到的广播信号中提取期望频道的信号并对所提取的信号进行解调。调谐器941然后将通过解调获得的编码位流输出至选择器946。就是说，调谐器941与记录/再现装置940中的传送装置具有相同作用。
外部接口942是将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪速存储器接口。例如，经由外部接口942接收到的视频数据和音频数据被输入至编码器943。就是说，外部接口942与在记录/再现装置940中的传送装置具有相同作用。
如果从外部接口942输入的视频数据和音频数据未被编码，则编码器943对视频数据和音频数据进行编码。编码器943随后将编码位流输出至选择器946。
HDD 944将编码位流、各种程序以及其他数据存储在内部硬盘中，在该编码位流中诸如视频和音频的内容数据被压缩。HDD 944还从硬盘读出该数据用于视频和音频的重现。
盘驱动器945记录并且将数据读入/读出安装在其上的记录介质。安装在盘驱动器945上的记录介质可以是例如DVD盘(诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)，或蓝光(注册商标)盘。
为了记录视频和音频，选择器946选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出至HDD 944或盘驱动器945。为了再现视频和音频，选择器946将从HDD 944或盘驱动器945输入的编码位流选择至解码器947。
解码器947对编码位流进行解码以生成视频数据和音频数据。解码器904然后将所生成的视频数据输出至OSD 948。解码器904还将所生成的音频数据输出至外部扬声器。
OSD 948对从解码器947输入的视频数据进行再现并且显示视频。OSD 948还可以将诸如菜单、按键或光标的CUI图像叠加在要显示的视频上。
控制器949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，当记录/再现装置940启动时，存储在存储器中的程序被CPU读取并执行。例如通过执行程序，CPU根据从用户接口950输入的控制信号来控制记录/再现装置940的操作。
用户接口950连接至控制器949。例如，用户接口950包括用于用户操作记录/再现装置940的按键和开关以及用于接收遥控信号的接收单元。用户接口950检测经由这些部件的用户操作，生成控制信号并且将所生成的控制信号输出至控制器949。
在具有该结构的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置的功能。此外，解码器947具有根据上述实施例的图像解码装置的功能。因此，在记录/再现装置940中对图像编码和解码时，抑制了由于取整误差引起的图像质量劣化，使得可以提高算术运算精度，并且可以提高编码效率。
<7.第七实施方式>
[第四应用：成像装置]
图26图示了被应用上述实施例的成像装置的示意性配置的示例。成像装置960对对象成像以生成图像，对图像数据进行编码并且将编码图像数据记录在记录介质中。
成像装置960包括光学模块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制器970、用户接口971以及总线972。
光学模块961连接至成像单元962。成像单元962连接至信号处理器963。显示单元965连接至图像处理器964。用户接口971连接至控制器970。总线972使图像处理器964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制器970彼此连接。
光学模块961包括聚焦透镜、光圈等。光学模块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。成像单元962随后将图像信号输出至信号处理器963。
信号处理器963对从成像单元962输入的图像信号执行各种相机信号处理，诸如拐点校正、伽马校正以及颜色校正。信号处理器963将经历相机信号处理的图像数据输出至图像处理器964。
图像处理器964对从信号处理器963输入的图像数据进行编码以生成编码数据。图像处理器964然后将所生成的编码数据输出至外部接口966或介质驱动器968。图像处理器964还对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。图像处理器964然后将所生成的图像数据输出至显示单元965。图像处理器964可以将从信号处理器963输入的图像数据输出至显示单元965以显示图像。图像处理器964还可以将从OSD969获取的用于显示的数据叠加在输出至显示单元965的图像上。
例如，OSD 969可以生成诸如菜单、按键或光标的GUI图像并且将所生成的图像输出至图像处理器964。
外部接口966是例如USB输入/输出端子。例如，外部接口966连接成像装置960和打印机用于图像打印。此外，在必要时，驱动器连接至外部接口966。例如，诸如磁盘或光盘的可移动介质被安装至驱动器，并且从可移动介质读取的程序能够被安装在成像装置960中。此外，外部接口966可以是连接至诸如LAN或互联网的网络的网络接口。就是说，外部接口966与成像装置960中的传送装置具有相同作用。
安装在介质驱动器968上的记录介质可以是可读/可写的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。替选地，例如，记录介质可以以固定方式安装在介质驱动器968上以形成诸如内部硬盘驱动器或SSD(固态驱动器)的非移动存储单元。
控制器970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，在成像装置960启动时，CPU读取并执行存储在存储器中的程序。例如，CPU通过执行程序根据从用户接口971输入的控制信号来控制成像装置960的操作。
用户接口971与控制器970连接。例如，用户接口971包括用于用户操作成像装置960的按键和开关。用户接口971检测经由这些部件的用户操作，生成控制信号，并且将所生成的控制信号输出至控制器970。
在具有该结构的成像装置960中，图像处理器964具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，在成像装置960中对图像编码和解码时，抑制了由于取整误差引起的图像质量劣化，使得可以提高算术运算精度，并且可以提高编码效率。
注意，在本文中描述了如下示例，其中诸如差运动信息和权重系数的各种信息被复用在编码流的报头中，并且从编码侧传送至解码侧。然而，传送这些信息的方法不限于这些示例。例如，这些信息可以作为与编码位流相关联的分离的数据而被传送或记录，而不被复用成经编码的位流。注意，术语“关联”指的是在解码中允许包含在位流中的图像(可以是诸如码片或块的图像部分)与关于图像的信息链接。就是说，信息可以经由与图像(或位流)不同的传送路径进行传送。替选地，信息可以记录在与图像(或位流)不同的记录介质(或相同记录介质的不同区域)中。此外，信息和图像(或位流)可以按照诸如一些帧、一个帧或帧的一部分的任何单位而彼此关联。
如上文所述，尽管已经参照附图描述了本公开的优选实施例，但本公开不限于这些示例。显然，本公开所属领域的普通技术人员在所附权利要求的描述的技术思想内可以构思各种变化和修改，并且显然这些变化和修改属于本公开的技术范围内。
本技术还可以具有如下结构。
(1)一种图像处理装置，包括：
运动补偿单元，被配置成执行L0和L1中的每个的子像素精度的运动补偿；
加权加法单元，被配置成将加权加法应用于所述运动补偿单元的各算术运算结果；以及
取整处理单元，被配置成将取整处理应用于所述加权加法单元的算术运算结果。
(2)根据(1)所述的图像处理装置，进一步包括：
确定单元，被配置成确定L0和L1的精度；以及
调整单元，被配置成基于所述确定单元的确定结果来调整所述精度。
(3)根据(2)所述的图像处理装置，其中所述调整单元通过使预定系数与L0和L1中的一个相乘来将一个精度调整到另一精度。
(4)根据(3)所述的图像处理装置，其中所述调整单元在L0和L1之间将较高精度调整到较低精度。
(5)根据(3)或(4)所述的图像处理装置，其中当L0的精度和L1的精度彼此相等时，所述调整单元不执行所述精度调整。
(6)根据(3)至(5)所述的图像处理装置，其中所述调整单元基于水平方向和竖直方向上的L0的精度以及水平方向和竖直方向上的L1的精度两者来调整所述精度。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中所述取整处理单元在所述加权加法单元的算术运算处理之后执行2X+Y的除法处理，其中用于运动向量精度调整的乘法处理是2X，并且用于加权预测处理的除法处理是2Y。
(8)根据(1)至(7)所述的图像处理装置，其中所述加权加法单元执行显式加权预测。
(9)根据(1)至(8)所述的图像处理装置，其中所述加权加法单元执行隐式加权预测。
(10)根据(1)至(9)所述的图像处理装置，其中所述加权加法单元执行强度补偿。
(11)一种图像处理装置的图像处理方法，包括：
通过运动补偿单元执行L0和L1中的每个的子像素精度的运动补偿；
通过加权加法单元将加权加法应用于各算术运算结果；以及
通过取整处理单元将取整处理应用于算术运算结果。
附图标记列表
100 图像编码装置
115 运动预测/补偿单元
121 加权预测单元
122 运动向量精度确定单元
151 运动搜索单元
154 运动补偿单元
161 权重系数确定单元
162 运动精度调整单元
200 图像解码装置
212 运动预测/补偿单元
221 加权预测单元
222 运动向量精度确定单元
251 权重系数缓冲器
252 差运动信息缓冲器
253 运动信息重建单元
254 运动信息缓冲器
255 运动补偿单元
261 权重系数确定单元
262 运动精度调整单元

Claims (10)

1.一种图像处理装置，包括：
运动补偿单元，被配置成执行L0和L1中的每个的子像素精度的运动补偿，其中，L0和L1均表示参考帧；
加权加法单元，被配置成将加权加法应用于所述运动补偿单元的算术运算结果；
调整单元，被配置成基于L0和L1的精度来调整所述精度；以及
取整处理单元，被配置成根据所述调整单元的调整将取整处理应用于所述加权加法单元的算术运算结果。
2.根据权利要求1所述的图像处理装置，其中所述调整单元通过使预定系数与L0和L1中的一个相乘来将一个精度调整到另一精度。
3.根据权利要求2所述的图像处理装置，其中所述调整单元在L0和L1之间将较高精度调整到较低精度。
4.根据权利要求2所述的图像处理装置，其中当L0的精度和L1的精度彼此相等时，所述调整单元不执行所述精度调整。
5.根据权利要求2所述的图像处理装置，其中所述调整单元基于水平方向和竖直方向上的L0的精度以及水平方向和竖直方向上的L1的精度两者来调整所述精度。
6.根据权利要求1所述的图像处理装置，其中所述取整处理单元在所述加权加法单元的算术运算处理之后执行2X+Y的除法处理，其中用于运动向量精度调整的乘法处理是2X，并且用于加权预测处理的除法处理是2Y，其中，(X,Y)＝{0,1}。
7.根据权利要求1所述的图像处理装置，其中所述加权加法单元执行显式加权预测。
8.根据权利要求1所述的图像处理装置，其中所述加权加法单元执行隐式加权预测。
9.根据权利要求1所述的图像处理装置，其中所述加权加法单元执行强度补偿。
10.一种图像处理装置的图像处理方法，包括：
通过运动补偿单元执行L0和L1中的每个的子像素精度的运动补偿，其中，L0和L1均表示参考帧；
通过加权加法单元将加权加法应用于算术运算结果；
通过调整单元基于L0和L1的精度来调整所述精度；以及
通过取整处理单元根据所述精度的调整将取整处理应用于所述加权加法的算术运算结果。
CN201280022512.7A 2011-05-17 2012-05-09 图像处理装置和方法 Expired - Fee Related CN103518373B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011110669A JP5768491B2 (ja) 2011-05-17 2011-05-17 画像処理装置および方法、プログラム、並びに記録媒体
JP2011-110669 2011-05-17
PCT/JP2012/061861 WO2012157488A1 (ja) 2011-05-17 2012-05-09 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN103518373A CN103518373A (zh) 2014-01-15
CN103518373B true CN103518373B (zh) 2017-08-15

Family

ID=47176818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280022512.7A Expired - Fee Related CN103518373B (zh) 2011-05-17 2012-05-09 图像处理装置和方法

Country Status (4)

Country Link
US (1) US10218969B2 (zh)
JP (1) JP5768491B2 (zh)
CN (1) CN103518373B (zh)
WO (1) WO2012157488A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
CN111050182B (zh) * 2019-12-27 2022-02-18 浙江大华技术股份有限公司 运动矢量的预测方法、视频编码方法及相关设备、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549601A (zh) * 1997-06-09 2004-11-24 ������������ʽ���� 运动图象编码方法和运动图象编码设备
CN101379829A (zh) * 2006-02-02 2009-03-04 汤姆逊许可公司 用于运动补偿预测的自适应加权选择的方法和设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000270328A (ja) * 1999-03-17 2000-09-29 Mitsubishi Electric Corp 動きベクトル検出装置
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7933335B2 (en) * 2004-11-30 2011-04-26 Panasonic Corporation Moving picture conversion apparatus
KR100703778B1 (ko) * 2005-04-29 2007-04-06 삼성전자주식회사 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
US8971412B2 (en) * 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8750378B2 (en) * 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
CN102160379A (zh) * 2008-09-24 2011-08-17 索尼公司 图像处理装置和图像处理方法
US20110170604A1 (en) * 2008-09-24 2011-07-14 Kazushi Sato Image processing device and method
US8831087B2 (en) * 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
JP2010161747A (ja) * 2009-01-09 2010-07-22 Toshiba Corp サブピクセル生成装置及び方法並びに動き補償装置
EP2432226B1 (en) * 2009-05-11 2019-06-26 NTT DoCoMo, Inc. Moving image encoding device, method, and program, and moving image decoding device, method, and program
CN102204255B (zh) * 2009-07-07 2014-09-17 松下电器产业株式会社 运动图像解码装置、方法和系统以及集成电路
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
WO2011121942A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム
RU2583040C2 (ru) * 2011-08-30 2016-05-10 Нокиа Текнолоджиз Ой Устройство, способ и компьютерная программа для кодирования и декодирования видеосигналов
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9338452B2 (en) * 2012-07-09 2016-05-10 Qualcomm Incorporated Motion vector difference coding extension for enhancement layer

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549601A (zh) * 1997-06-09 2004-11-24 ������������ʽ���� 运动图象编码方法和运动图象编码设备
CN101379829A (zh) * 2006-02-02 2009-03-04 汤姆逊许可公司 用于运动补偿预测的自适应加权选择的方法和设备

Also Published As

Publication number Publication date
JP2012244301A (ja) 2012-12-10
US10218969B2 (en) 2019-02-26
CN103518373A (zh) 2014-01-15
WO2012157488A1 (ja) 2012-11-22
US20140044170A1 (en) 2014-02-13
JP5768491B2 (ja) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104539969B (zh) 图像处理装置和图像处理方法
CN110381314B (zh) 图像处理设备和方法
TWI592011B (zh) Image processing device and method
CN107770536B (zh) 图像处理设备及方法
CN104471944B (zh) 图像处理装置和方法
TW201811055A (zh) 使用解耦樹結構之視訊內寫碼
CN103907352B (zh) 图像处理设备和方法
CN103636214B (zh) 图像处理设备及图像处理方法
CN103444173B (zh) 图像处理设备和方法
CN104662901B (zh) 图像处理装置及方法
CN104041030B (zh) 图像处理设备和方法
JP6451999B2 (ja) 画像処理装置および方法
CN104054346A (zh) 图像处理装置和方法
CN102160379A (zh) 图像处理装置和图像处理方法
CN103548355A (zh) 图像处理装置及方法
JPWO2012176684A1 (ja) 画像処理装置および方法
CN103518373B (zh) 图像处理装置和方法
CN102160383A (zh) 图像处理装置和方法
CN103597836A (zh) 图像处理设备和方法
CN103891286A (zh) 图像处理装置和方法
CN103959784A (zh) 图像处理装置和方法
CN102986226A (zh) 图像处理装置和方法
CN103843348A (zh) 图像处理装置和方法
CN102823255A (zh) 图像处理设备和图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170815

CF01 Termination of patent right due to non-payment of annual fee