CN103535041A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN103535041A
CN103535041A CN201280022963.0A CN201280022963A CN103535041A CN 103535041 A CN103535041 A CN 103535041A CN 201280022963 A CN201280022963 A CN 201280022963A CN 103535041 A CN103535041 A CN 103535041A
Authority
CN
China
Prior art keywords
bit wide
coefficient
unit
intermediate data
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280022963.0A
Other languages
English (en)
Inventor
铃木关江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103535041A publication Critical patent/CN103535041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种使得能够减小用于正交变换和逆正交变换的存储器量的图像处理装置和方法。本发明的公开内容可以应用于图像处理装置，并且这样的公开内容包括以下：水平一维逆变换单元，对正交变换系数执行水平方向上的逆正交变换，其中，图像数据在水平方向和垂直方向上被正交变换；位宽处理单元，执行修剪处理以减小系数的位宽，该系数是通过水平一维逆变换单元执行的水平方向逆正交变换而获得的；存储单元，存储其位宽被位宽处理单元执行的修剪处理减小的系数作为中间数据；以及垂直一维逆变换单元，在垂直方向上逐行读取存储在存储单元中的中间数据，从而对中间数据执行垂直方向逆正交变换。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理装置和方法，更具体地，涉及一种实现正交变换操作和逆正交变换操作中的存储器使用减少的图像处理装置和方法以及程序。
背景技术
近年来，为了将图像信息处理为数字信息以及实现这样做时的高效信息传送和累积，用于利用图像信息固有的冗余通过诸如离散余弦变换的正交变换和运动补偿来压缩图像信息的符合诸如MPEG（运动图片专家组）的标准的设备已在用于分发信息的广播站当中和用于接收信息的一般家庭当中得到普及。
特别地，MPEG2（ISO（国际标准化组织）/IEC（国际电工技术委员会）13818-2）被定义为通用图像编码标准，并且可适用于交织图像和非交织图像以及标准分辨率图像和高清图像。当前，MPEG2用在用于专业人员和一般消费者的广泛范围的应用中。根据MPEG2压缩标准，4Mbps至8Mbps的位率被分配给具有720×480像素的标准分辨率的交织图像，并且18Mbps至22Mbps的位率被分配给具有1920×1088像素的高分辨率的交织图像。以此方式，可以实现高压缩率和出色的图像质量。
MPEG2被主要设计用于适合于广播的高质量图像编码，但是与比MPEG1低的位率或包括较高压缩率的编码方法不兼容。随着移动终端正变得流行，对这样的编码方法的需求预期在未来增加，并且为了满足该需求，MPEG4编码方法被标准化。对于图像编码方法，ISO/IEC14496-2在1998年12月被认证作为国际标准。
此外，当前正设置原始期望用于对图像进行编码以用于视频会议的、称为H.26L（ITU-T（国际电信联盟电信标准化部门）Q6/16VCEG（视频编码专家组））的标准。与诸如MPEG2和MPEG4的传统编码方法相比，H.26L在编码和解码中需要较大量的计算，但是已知实现较高的编码效率。另外，作为MPEG4活动的一部分，现在正建立“增强压缩视频编码的联合模型”作为用于通过将H.26L不支持的功能并入基于H.26L的功能中来实现更高编码效率的标准。
在标准化日程方面，该标准在2003年3月被认证为名称为H.264和MPEG-4Part10（高级视频编码，下文中称为AVC）的国际标准。
然而，16×16像素的宏块大小可能对于要通过下一代编码方法编码的大帧（诸如UHD（超高清：4000×2000像素）帧）不是最优的。
鉴于此以及为了实现比AVC所实现的编码效率甚至更高的编码效率，现在JCTVC（视频编码联合协作小组）正在标准化称为HEVC（高效视频编码）的编码方法，JCTVC是ITU-T和ISO/IEC的联合标准组织（例如，参见非专利文献1）。
根据HEVC编码方法，编码单位（CU）被定义为如AVC的宏块的处理单位。与AVC的宏块不同，CU不是固定为16×16像素的大小。CU的大小在每个序列中的压缩图像信息中指定。
根据这些编码方法，对图像数据执行正交变换和逆正交变换。在水平方向和垂直方向（两个维度）上执行正交变换和逆正交变换。在正交变换中，例如，首先在水平方向上执行一维正交变换，通过使用转置寄存器来对结果（称为中间数据）进行转置，然后在垂直方向上执行一维正交变换。这同样适用于逆正交变换。即，在这些操作中，需要存储区（转置寄存器）用于暂时保存中间数据。
根据AVC等的用于正交变换和逆正交变换的处理单位大小是8×8像素，而根据HEVC的用于正交变换和逆正交变换的处理单位大小被扩展到例如16×16像素、32×32像素或64×64像素。
然而，当用于正交变换和逆正交变换的处理单位大小变为与上述一样大时，存在用于保存中间数据的转置寄存器（存储区）的容量也增加较大量的可能性。
根据非专利文献1，所需的转置寄存器大小在16×16像素的块的情况下是（21×256）位=5,376位，并且在32×32像素的块的情况下是（25×1024）位=25,600位。这比AVC中的8×8像素的块的情况下大5.25倍和25倍。
鉴于此，建议应该为中间数据设置16位的统一位宽（例如，参见非专利文献2和非专利文献3）。通过该方法，所需的转置寄存器大小在16×16像素的块的情况下是（16×256）位=4,096位，并且在32×32像素的块的情况下是（16×1024）位=16,384位。在该情况下，所需的存储区比AVC的8×8像素的块的情况下大4倍和16倍。
存在多种用于执行正交变换和逆正交变换（诸如离散余弦变换（DCT）、离散正弦变换（DST）和卡洛（Karhunen-Loeve）变换）的方法。另外，例如，提出了用于在水平方向和垂直方向上以不同方式（如以DCT和DST）来执行正交变换和逆正交变换的方法（例如，参见非专利文献4）。
引用列表
非专利文献
非专利文献1：Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivan,"Working Draft1of High-EfficiencyVideo Coding",JCTVC-C403,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG113rdMeeting:广州,中国,10月7日至15日,2010
非专利文献2：A.Fuldseth,G.Bjoentegaard,"Unified transformdesign for HEVC with16bit intermediate data representation",JCTVC-D224,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG16WP3and ISO/IEC JTC1/SC29/WG114th Meeting:大邱,韩国,1月20日至28日,2011
非专利文献3：Kiran Misra,Louis Kerofsky,Andrew Segall,"Ontransform dynamic range",JCTVC-D071,Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG16WP3and ISO/IECJTC1/SC29/WG114th Meeting:大邱,韩国,1月20日至28日,2011
非专利文献4：Ankur Saxena,Felix C.Fernandes,"CE7:Mode-dependent DCT/DST without4*4full matrix multiplicationfor intra prediction",JCTVC-E125,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16WP3and ISO/IECJTC1/SC29/WG115th Meeting:日内瓦,瑞士,3月16至23日,2011
发明内容
本发明要解决的问题
然而，需要防止转置寄存器进一步增加。
本公开是鉴于这些情形而做出的，并且是为了防止由于正交变换操作和逆正交变换操作中的处理单位增加而导致的存储器使用增加。
问题的解决方案
本公开的一个方面是一种图像处理装置，其包括：水平一维逆变换单元，对通过在水平方向和垂直方向上对图像数据执行正交变换而生成的正交变换系数执行水平逆正交变换；位宽处理单元，对系数执行修剪操作以减小位宽，该系数是通过水平一维逆变换单元执行水平逆正交变换而获得的；存储单元，存储该系数作为中间数据，该系数具有通过位宽处理单元执行修剪操作而减小的位宽；以及垂直一维逆变换单元，在垂直方向上从存储单元一次读取一行的中间数据并且执行垂直逆正交变换。
位宽处理单元可执行修剪操作，以将系数调整为根据系数的频带的位宽。
图像处理装置还可包括：减法单元，减去彼此相同的频带的系数，该系数是通过水平一维逆变换单元执行水平逆正交变换而获得的；以及加法电源，将通过减法单元执行的减法而获得的差值与用在减法中的系数之一相加。位宽处理单元可对通过减法获得的差值执行修剪操作，以减小差值的位宽。存储单元可存储由用在减法中的系数之一和具有由位宽处理单元减小的位宽的差值形成的中间数据。加法单元可通过将用在减法中的系数之一与具有减小的位宽的差值相加来恢复用在减法中的系数中的另一个，系数之一和差值是从存储单元读取的。垂直一维逆变换单元可对用在减法中的系数之一以及用在减法中并且通过加法单元执行的加法而恢复的系数中的另一个执行垂直逆正交变换。
加法单元可在垂直方向上从存储单元一次读取一行的中间数据，并且存储单元可存储要由加法单元最后读取的行中的用在减法中的系数之一。
位宽处理单元可执行修剪操作以将差值调整为预定位宽。
位宽处理单元可执行修剪操作以将差值调整为根据差值的频带的位宽。
图像处理装置还可包括：均值计算单元，计算同一频带的系数的均值，该系数是通过水平一维逆变换单元执行水平逆正交变换而获得的。减法单元可计算通过水平一维逆变换单元执行水平逆正交变换而获得的系数与均值计算单元算出的均值之间的差值。位宽处理单元可对减法单元算出的差值执行修剪操作，以减小差值的位宽。存储单元可存储由均值和具有由位宽处理单元减小的位宽的差值形成的中间数据。加法单元可通过将差值与均值相加来恢复用在减法中的系数，差值和均值是从存储单元读取的。垂直一维逆变换单元可对用在减法中的系数执行垂直逆正交变换。
位宽处理单元可执行修剪操作以将差值调整为预定位宽。
位宽处理单元可执行修剪操作以将差值调整为根据差值的频带的位宽。
水平一维逆变换单元和垂直一维逆变换单元可通过彼此不同的变换方法来执行逆正交变换。
本公开的一方面还是一种用于图像处理装置的图像处理方法。该图像处理方法包括：水平一维逆变换单元，对通过在水平方向和垂直方向上对图像数据执行正交变换而生成的正交变换系数执行水平逆正交变换；位宽处理单元，对系数执行修剪操作以减小位宽，该系数是通过水平逆正交变换而获得的；存储单元，存储该系数作为中间数据，该系数具有通过修剪操作而减小的位宽；以及垂直一维逆变换单元，在垂直方向上从存储单元一次读取一行的中间数据并且执行垂直逆正交变换。
本公开的另一方面是一种图像处理装置，其包括：水平一维变换单元，对图像数据执行水平正交变换；位宽处理单元，对系数执行修剪操作以减小位宽，该系数是通过水平一维变换单元执行水平正交变换而获得的；存储单元，存储该系数作为中间数据，该系数具有通过位宽处理单元执行修剪操作而减小的位宽；以及垂直一维变换单元，在垂直方向上从存储单元一次读取一行的中间数据并且执行垂直正交变换。
位宽处理单元可执行修剪操作以将系数调整为根据系数的频带的位宽。
图像处理装置还可包括：减法单元，减去彼此相同的频带的系数，该系数是通过水平一维变换单元执行水平正交变换而获得的；以及加法单元，将通过由减法单元执行的减法而获得的差值与用在减法中的系数之一相加。位宽处理单元可对通过减法获得的差值执行修剪操作，以减小差值的位宽。存储单元可存储由用在减法中的系数之一和具有由位宽处理单元减小的位宽的差值形成的中间数据。加法单元可通过将用在减法中的系数之一与具有减小的位宽的差值相加来恢复用在减法中的系数中的另一个，系数之一和差值是从存储单元读取的。垂直一维变换单元可对用在减法中的系数之一以及用在减法中并且通过加法单元执行的加法而恢复的系数中的另一个执行垂直正交变换。
位宽处理单元可执行修剪操作以将差值调整为预定位宽。
位宽处理单元可执行修剪操作以将差值调整为根据差值的频带的位宽。
水平一维变换单元和垂直一维变换单元可通过彼此不同的变换方法来执行正交变换。
本公开的另一方面还是一种用于图像处理装置的图像处理方法。该图像处理方法包括：水平一维变换单元，对图像数据执行水平正交变换；位宽处理单元，对系数执行修剪操作以减小位宽，该系数是通过水平正交变换而获得的；存储单元，存储该系数作为中间数据，该系数具有通过修剪操作而减小的位宽；以及垂直一维变换单元，在垂直方向上从存储单元一次读取一行的中间数据并且执行垂直正交变换。
在本公开的一方面，对通过在水平方向和垂直方向上对图像数据执行正交变换而生成的正交变换系数执行水平逆正交变换，并且对通过水平逆正交变换获得的系数执行修剪操作以减小位宽。已经受了修剪操作并且其位宽被减小的系数被存储作为中间数据。在垂直方向上一次读取一行所存储的中间数据，并且执行垂直逆正交变换。
在本公开的另一方面，对图像数据执行水平正交变换，并且对通过水平正交变换而获得的系数执行用于减小位宽的修剪操作。已经受了修剪操作并且其位宽被减小的系数被存储作为中间数据。在垂直方向上一次读取一行所存储的中间数据，并且执行垂直正交变换。
本发明的效果
根据本公开，可以对图像进行处理。特别地，可以防止正交变换操作和逆正交变换操作中的存储器使用增加。
附图说明
图1是示出图像解码装置的典型示例结构的框图。
图2是示出示例宏块的图。
图3是用于说明编码单位的示例结构的图。
图4是示出逆正交变换单元的典型示例结构的框图。
图5是用于说明中间数据的频率分布的示例的图。
图6是用于说明中间数据的示例的图。
图7是用于说明解码操作中的示例流程的流程图。
图8是用于说明逆正交变换操作中的示例流程的流程图。
图9是示出逆正交变换单元的另一示例结构的框图。
图10是用于说明中间数据的另一示例的图。
图11是用于说明中间数据的又一示例的图。
图12是用于描述逆正交变换操作中的另一示例流程的流程图。
图13是用于说明逆正交变换操作中的又一示例流程的流程图。
图14是示出逆正交变换单元的又一示例结构的框图。
图15是用于说明中间数据的又一示例的图。
图16是用于说明逆正交变换操作中的又一示例流程的流程图。
图17是用于说明逆正交变换操作中的又一示例流程的流程图。
图18是示出图像编码装置的典型示例结构的框图。
图19是示出正交变换单元的典型示例结构的框图。
图20是用于说明中间数据的频率分布的另一示例的图。
图21是用于说明中间数据的其它示例的图。
图22是用于说明编码操作中的示例流程的流程图。
图23是用于说明正交变换操作中的示例流程的流程图。
图24是示出正交变换单元的另一示例结构的框图。
图25是用于说明中间数据的又一示例的图。
图26是用于说明中间数据的又一示例的图。
图27是用于说明正交变换操作中的另一示例流程的流程图。
图28是用于说明正交变换操作中的又一示例流程的流程图。
图29是示出个人计算机的典型示例结构的框图。
图30是示意性地示出电视设备的示例结构的框图。
图31是示意性地示出便携式电话装置的示例结构的框图。
图32是示意性地示出记录/再现设备的示例结构的框图。
图33是示意性地示出成像设备的示例结构的框图。
具体实施方式
以下是用于执行本发明的模式（下文中称为实施例）的描述。将按以下顺序进行说明。
1.第一实施例（图像解码装置）
2.第二实施例（逆正交变换单元）
3.第三实施例（逆正交变换单元）
4.第四实施例（图像编码装置）
5.第五实施例（正交变换单元）
6.第六实施例（个人计算机）
7.第七实施例（电视接收机）
8.第八实施例（便携式电话装置）
9.第九实施例（记录/再现设备）
10.第十实施例（成像设备）
<1.第一实施例>
[图像解码装置]
图1是示出作为图像处理装置的实施例的图像解码装置的典型示例结构的框图。
图1所示的图像解码装置100是通过获取编码数据并对其进行解码来获得解码图像的装置，该编码数据是使用诸如H.264和MPEG（运动图片专家组）4Part10（AVC（高级视频编码））或HEVC（高效视频编码）的编码方法、在图像编码装置通过预测操作对图像数据进行编码而生成的。
如图1所示，图像解码装置100包括累积缓冲器101、无损解码单元102、逆量化单元103、逆正交变换单元104、算术运算单元105、环路滤波器106、屏幕重排缓冲器107和D/A转换器108。图像解码装置100还包括帧存储器109、选择单元110、帧内预测单元111、运动预测/补偿单元112和选择单元113。
累积缓冲器101累积传送至此的编码数据，并且在预定时间将编码数据提供到无损解码单元102。无损解码单元102通过与图像编码装置的无损编码单元所使用的编码方法兼容的方法，对无损编码单元所编码的并且从累积缓冲器101所提供的信息进行解码。无损解码单元102将作为解码结果获得的关于差别图像的量化系数数据提供到逆量化单元103。
无损解码单元102还确定被选作最优预测模式的预测模式是帧内预测模式还是帧间预测模式，并且将关于最优预测模式的信息提供到与被确定为所选模式的模式兼容的帧内预测单元111或运动预测/补偿单元112。例如，当在图像编码装置中帧内预测模式被选作最优预测模式时，关于帧内预测模式的信息被提供到帧内预测单元111。另外，例如，当在图像编码装置中帧间预测模式被选作最优预测模式时，关于帧间预测模式的信息被提供到运动预测/补偿单元112。
逆量化单元103通过与图像编码装置的量化单元所使用的量化方法兼容的方法，对作为无损解码单元102的解码结果而获得的量化系数数据进行逆量化，并且将所得到的系数数据提供到逆正交变换单元104。
逆正交变换单元104通过与图像编码装置的正交变换单元所使用的正交变换方法兼容的方法，对从逆量化单元103提供的系数数据执行逆正交变换。通过该逆正交变换操作，逆正交变换单元104获得与来自在图像编码装置中的正交变换之前的时间的残差数据等同的解码残差数据。如稍后将详细描述的，逆正交变换单元104执行逆正交变换操作以便限制用作转置寄存器的存储区的容量。
通过逆正交变换获得的解码残差数据被提供到算术运算单元105。预测图像也经由选择单元113从帧内预测单元111或运动预测/补偿单元112被提供到算术运算单元105。
算术运算单元105将解码残差数据与预测图像相加，并且获得与来自在图像编码装置的算术运算单元执行的预测图像减法之前的时间的图像数据对应的解码图像数据。算术运算单元105将解码图像数据提供到环路滤波器106。
环路滤波器106在适当时对所提供的解码图像执行包括解块滤波操作和自适应环路滤波操作的环路滤波操作，并且将所得到的解码图像提供到屏幕重排缓冲器107。
环路滤波器106包括解块滤波器、自适应环路滤波器等，并且在适当时对从算术运算单元105提供的解码图像执行滤波操作。例如，环路滤波器106通过对解码图像执行解块滤波操作而从解码图像去除块失真。另外，环路滤波器106通过例如对解块滤波操作的结果（已去除了块失真的解码图像）执行使用维纳（Wiener）滤波器的环路滤波操作而提高图像质量。
替选地，环路滤波器106可对解码图像执行任意适当的滤波操作。环路滤波器106还可通过使用从图像编码装置提供的滤波器系数来执行滤波操作。
环路滤波器106将滤波操作的结果（滤波操作之后的解码图像）提供到屏幕重排缓冲器107和帧存储器109。从算术运算单元105输出的解码图像可以被提供到屏幕重排缓冲器107和帧存储器109而不经过环路滤波器106。即，可跳过环路滤波器106的滤波操作。
屏幕重排缓冲器107执行图像重排。具体地，以原始显示顺序对图像编码装置的屏幕重排缓冲器以编码顺序重排的帧序列进行重排。D/A转换器108对从屏幕重排缓冲器107提供的图像执行D/A转换，并且将转换后的图像输出到显示器（未示出）以显示该图像。
帧存储器109存储所提供的解码图像，并且在预定时间或者响应于来自帧内预测单元111或运动预测/补偿单元112等的外部请求而将所存储的解码图像作为参考图像提供到选择单元110。
选择单元110选择从帧存储器109提供的参考图像的提供目的地。当对帧内编码图像进行解码时，选择单元110将从帧存储器109提供的参考图像提供到帧内预测单元111。当对帧间编码图像进行解码时，选择单元110将从帧存储器109提供的参考图像提供到运动预测/补偿单元112。
通过对报头信息进行解码而获得的并指示帧内预测模式等的信息在适当时从无损解码单元102被提供到帧内预测单元111。帧内预测单元111通过使用从帧存储器109获取的参考图像，以图像编码装置的帧内预测单元所使用的帧内预测模式执行帧内预测。如此生成预测图像。帧内预测单元111将所生成的预测图像提供到选择单元113。
运动预测/补偿单元112从无损解码单元102获取通过对报头信息进行解码而获得的信息（诸如最优预测模式信息）。
运动/预测补偿单元112通过使用从帧存储器109获取的参考图像，以与图像编码装置的运动预测/补偿单元所使用的帧间预测模式执行帧间预测。如此生成预测图像。运动预测/补偿单元112将所生成的预测图像提供到选择单元113。
选择单元113将从帧内预测单元111或运动预测/补偿单元112提供的预测图像提供到算术运算单元105，以便将预测图像与解码残差数据相加。
[宏块]
在AVC中，由16×16个像素形成的每一个宏块被划分成16×16部分（子宏块）、16×8部分（子宏块）、8×16部分（子宏块）或8×8部分（子宏块），如图2所示，并且这些部分可以具有对于每个子宏块彼此无关的运动矢量信息。每个8×8部分可以进一步被划分成可以具有彼此无关的运动矢量信息的8×8子宏块、8×4子宏块、4×8子宏块或4×4子宏块，如图2所示。
在AVC中或者根据用于对与AVC中相同的每个处理单位执行各种操作的编码方法，对作为（4×4）像素子宏块或（8×8）像素子宏块的处理单位执行正交变换操作。简言之，图1所示的逆正交变换单元104对作为（4×4）像素子宏块或（8×8）像素子宏块的处理单位执行逆正交变换操作。
[编码单位]
16×16像素的宏块大小对于要通过下一代编码方法编码的诸如UHD（超高清：4000×2000像素）帧的大帧不是最优的。
鉴于此，在HEVC中，编码单位（CU）被定义为如图3所示。
CU也被称为编码树块（CTB），并且是具有与AVC中的宏块相同的作用的基于图片的图像的部分区域。尽管宏块的大小限于16×16像素，但是CU的大小不限于特定大小，而是可由每个序列中的压缩图像信息来指定。
例如，在包含在要输出的编码数据中的序列参数集（SPS）中，指定了CU的最大编码单位（LCU）和最小编码单位（SCU）。
在每个LCU中，在不小于SCU大小的范围内设置split_flag=1，以使得每个LCU可以被划分成较小大小的CU。在图3所示的示例中，LCU的大小是128，并且最大层级深度是5。当split_flag的值是“1”时，大小为2N×2N的CU被划分成低一个层级水平的、大小为N×N的CU。
每个CU被进一步划分为作为用于帧内或帧间预测的处理单位区域（基于图片的图像的部分区域）的预测单位（PU），或者被划分成作为用于正交变换的处理单位区域（基于图片的图像的部分区域）的变换单位（TU）。当前，在HEVC中可以使用16×16和32×32正交变换以及4×4和8×8正交变换。
在定义了CU并且如在上述HEVC中在编码操作中对每个CU执行各种处理操作的情况下，AVC中的宏块可以被视为与LCU等同。然而，CU具有如图3所示的层级结构。因此，例如，最高层级水平的LCU的大小通常为128×128像素，这大于AVC中的每个宏块的大小。
在HEVC中或者根据用于对与HEVC中相同的每个处理单位执行各种操作的编码方法，16×16像素和32×32像素以及4×4像素和8×8像素可以用作用于正交变换操作的处理单位。即，图1所示的逆正交变换单元104也可以对作为（16×16）像素TU或（32×32）像素TU的处理单位执行逆正交变换操作。
在下文中，上述宏块、子宏块、CU、PU、TU等也将被称为“区域”。
[逆正交变换单元]
图4是示出图1所示的逆正交变换单元104的典型示例结构的框图。
如图4所示，逆正交变换单元104包括水平一维逆变换单元131、位宽处理单元132、转置寄存器133和垂直一维逆变换单元134。水平一维逆变换单元131、转置寄存器133和垂直一维逆变换单元134是也包括在根据诸如AVC或HEVC的编码方法执行解码操作的图像解码装置的逆正交变换单元中的部件，并且逆正交变换单元104包括位宽处理单元132以及这些部件。
水平一维逆变换单元131对从逆量化单元103提供的正交变换系数数据（下文中也简称为系数数据）执行水平逆正交变换。已经受了对于预定大小（诸如16×16像素或32×32像素）的各个区域的正交变换的系数数据被提供到水平一维逆变换单元131。即，提供16×16或32×32系数数据。水平一维逆变换单元131在垂直方向上从顶部到底部逐行对系数数据执行水平逆正交变换。水平一维逆变换单元131将作为逆正交变换的结果而获得的中间数据（经受了垂直正交变换的系数数据）提供到位宽处理单元132。
位宽处理单元132对所提供的每条中间数据执行修剪操作，并且将每条中间数据的位宽减小与其频带对应的量。这里，对n位的修剪操作是用于将小于-2n-1的每个值改变为-2n-1以及将大于2n-1-1的每个值改变为2n-1-1的操作。位宽处理单元132将具有调整后的位宽的每条中间数据提供到转置寄存器133，该转置寄存器133然后保持该中间数据。
转置寄存器133存储所提供的各条中间数据，以使得中间数据以与原始正交变换系数数据的序列对应的顺序布置，如图4所示。即，转置寄存器133存储中间数据，以使得各行的各个像素的中间数据布置在水平方向上并且各行在垂直方向上彼此相邻。因此，从32×32正交变换系数数据生成的中间数据被存储到（32×32×（每个像素的位宽））存储区中。
垂直一维逆变换单元134从转置寄存器133逐列读取中间数据，并且执行一维逆正交变换操作。即，垂直一维逆变换单元134从在垂直方向上扩展的每列读取存储在转置寄存器133中的中间数据。具体地，垂直一维逆变换单元134通过以与写入中间数据的顺序不同的顺序执行从转置寄存器133读取中间数据来将中间数据的序列从水平方向转置为垂直方向。垂直一维逆变换单元134通过对以上述方式逐列读取的每列中间数据执行逆正交变换来执行垂直逆正交变换。
由于中间数据经受了垂直一维逆变换单元134的垂直逆正交变换，因此可以获得通过在两个维度（在水平方向上和在垂直方向上）对正交变换系数数据执行的逆正交变换而生成的解码残差数据。垂直一维逆变换单元134将解码残差数据提供到算术运算单元105。
在上述操作中，例如，如图5所示，存储在转置寄存器133中的中间数据根据各个频率分量而布置在垂直方向上。具体地，低频分量到高频分量从顶部到底部来布置。越低频率的分量位于越高的部分中，并且越高频率的分量位于越低的部分中。在每一行中，同一频带的分量在水平方向上对准。
例如，如图6的A所示，通过水平一维逆变换单元131执行的逆正交变换而获得的中间数据的位宽是16位。在处理单位区域是32×32的情况下，数据量是（32×32）×16位=16,384位。
例如，如图6的B所示，位宽处理单元132针对每个频率分量而调整每条中间数据的位宽。更具体地，位宽处理单元132限制每条中间数据的位宽，以使得低频分量具有较大位宽而高频分量具有较小位宽。在图6的B中，例如，位宽处理单元132将从顶部开始的第1行（1个水平行）的中间数据的位宽限制为16位，并且将从顶部开始的第2行至第4行的3行（3个水平行）中的每行的中间数据的位宽限制为14位。另外，例如，在图6的B中，位宽处理单元132将从顶部开始的第5行至第16行的12行（12个水平行）中的每行的中间数据的位宽限制为12位，并且将从顶部开始的第17行至第32行的16行（16个水平行）中的每行的中间数据的位宽限制为9位。
利用该布置，数据量变为（32×1）×16位＋(32×3)×14位＋（32×12）×12位＋（32×16）×9位＝11,072位。因此，与所有中间数据的位宽都是16位的上述情况相比，可以使得转置寄存器133的存储器使用减小5,312位。
应注意，每行正交变换系数数据和中间数据可具有任意位宽，并且可具有除图6的B所示的示例之外的位宽。例如，位宽可从顶部开始每次以4行（4个水平行）减小。另外，例如，可使得从顶部到第16行（16个水平行）的中间数据的位宽与正交变换系数数据的位宽相同，并且可使得剩余16行（16个水平行）中的每行的位宽小于正交变换系数数据的位宽。
具体地，位宽处理单元132根据各个频带控制中间数据的位宽。例如，位宽处理单元132根据频带而减小通过对正交变换系数数据执行水平一维逆正交变换而获得的每个水平行的中间数据的位宽，该正交变换系数数据是作为处理单位区域的图像数据的二维正交变换的结果而生成的。
例如，位宽处理单元132将越高频率的分量的每个水平行的中间数据的位宽减小越大的量。一般地，图像相对于越低频率的分量具有越大的绝对值，并且相对于越高频率的分量具有越小的绝对值。因此，通过以上述方式控制位宽，位宽处理单元132可以减小要用在逆正交变换操作中的转置寄存器133的大小，同时防止图像质量劣化。
例如，位宽处理单元132根据正交变换后的图像数据的频率特性而减小各个水平行的中间数据的位宽。通过以此方式控制位宽，位宽处理单元132可以更有效地防止图像质量劣化。
由于减小了转置寄存器133的大小，因此可以减小图像解码操作中所需的存储器容量，并且可以相应地降低图像解码装置100的生产成本。
可能存在中间数据由于位宽处理单元132执行的修剪操作而具有误差的情况。然而，可以通过保证要修剪的足够位宽来减小误差的影响。换言之，图像解码装置100可以通过设置要修剪的位宽来控制图像质量劣化的程度和转置寄存器133的大小。鉴于此，例如，期望根据图像的内容来设置要修剪的位宽以优化内容。
[解码操作流程]
接下来，描述要由上述图像解码装置100执行的各个操作中的流程。首先参照图7所示的流程图，描述解码操作中的示例流程。
当开始解码操作时，在步骤S101中累积缓冲器101累积所传送的位流。在步骤S102中，无损解码单元102对从累积缓冲器101提供的位流进行解码。具体地，对由图像编码装置的无损编码单元所编码的I图片、P图片和B图片进行解码。另外，对包含在位流中的除差别图像信息之外的各种信息（诸如差别运动信息）进行解码。
在步骤S103中，逆量化单元103对在步骤S102的过程中所获得的量化正交变换系数进行逆量化。在步骤S104中，逆正交变换单元104对在步骤S103中逆量化的正交变换系数执行逆正交变换。
在步骤S105中，帧内预测单元111或运动预测/补偿单元112使用所提供的信息执行预测操作。在步骤S106中，选择单元113选择在步骤S105所生成的预测图像。在步骤S107中，算术运算单元105将在步骤S106中所选择的预测图像与通过步骤S104中的逆正交变换而获得的差别图像信息相加。结果，获得解码图像。
在步骤S108中，环路滤波器106在适当时对在步骤S107中所获得的解码图像执行包括解块滤波操作和自适应环路滤波操作的环路滤波操作。
在步骤S109中，屏幕重排缓冲器107对经受了步骤S108中的滤波操作的图像执行重排。具体地，以原始显示顺序对被图像编码装置的屏幕重排缓冲器重排用于编码的帧顺序进行重排。
在步骤S110中，D/A转换器108对具有在步骤S109中重排的帧顺序的图像执行D/A转换。该图像被输出到显示器（未示出）并被显示。
在步骤S111中，帧存储器109存储经受了步骤S108中的滤波操作的图像。该图像用作在步骤S105中生成预测图像时的参考图像。
当步骤S111的过程完成时，解码操作结束。
[逆正交变换操作中的流程]
现在参照图8所示的流程图，描述了要在图7的步骤S104中执行的逆正交变换操作中的示例流程。
在步骤S131中，水平一维逆变换单元131对当前水平行的逆量化后的正交变换系数数据执行水平一维逆正交变换。在步骤S132中，位宽处理单元132对在步骤S131的过程中所获得的一个水平行的中间数据执行修剪操作，以实现根据频带的位宽。在步骤S133中，位宽处理单元132将经受了修剪操作的一个水平行线的中间数据写入到转置寄存器133中的位于比先前写入的一个水平行的中间数据低一行的行中。
在步骤S134中，水平一维逆变换单元131确定是否处理了区域中的所有水平行。当确定当前区域中存在待处理的水平行时，操作返回到步骤S131，并且执行此后的过程。
对于各个水平行，重复步骤S131至S134的过程。当在步骤S134中确定已处理了当前区域中的所有水平行时，水平一维逆变换单元131将操作移动到步骤S135。
垂直一维逆变换单元134在步骤S135中从转置寄存器133读取一个垂直行的中间数据，并且在步骤S136中对所读取的中间数据执行垂直一维逆正交变换。
在步骤S137中，垂直一维逆变换单元134确定是否处理了该区域中的所有垂直行。当确定当前区域中存在待处理的垂直行时，操作返回到步骤S135，并且执行此后的过程。
对于各个垂直行，重复步骤S135至S137的过程。当在步骤S137中确定已处理了当前区域中的所有垂直行时，垂直一维逆变换单元134将操作移动到步骤S138。
在步骤S138中，垂直一维逆变换单元134确定是否处理了图像中的所有区域。当确定存在待处理的区域时，操作返回到步骤S131，并且重复此后的过程。
如上所述，对于各个区域，重复步骤S131至S138的过程。当在步骤S138中确定已处理了所有区域时，垂直一维逆变换单元134结束逆正交变换操作，并且将操作返回到图7。
通过执行如上所述的各个过程，图像解码装置100可以减小在逆正交变换操作中所获得的中间数据的数据量，并且可以减小用作转置寄存器133的存储区的大小。结果，可以减小图像解码操作中所需的存储器容量，并且可以相应地降低图像解码装置100的生产成本。
<2.第二实施例>
[逆正交变换单元]
为了减小每条中间数据的值，可将预定列（垂直行）设置为参考，并且可将相对于该参考的差值作为中间数据存储到转置寄存器133中。具体地，计算水平一维逆变换的结果当中相同频率分量之间的差，并且可将这些差设置为中间数据。
图9是示出逆正交变换单元104的另一示例结构的框图。
在图9所示的示例情况下，逆正交变换单元104不仅包括以上参照图4描述的部件，而且包括在水平一维逆变换单元131与位宽处理单元132之间的减法单元231和在转置寄存器133与垂直一维逆变换单元134之间的加法单元232。
减法单元231设置如上所述的以矩阵（阵列）布置的各个系数当中的作为预定垂直行上的像素的参考像素，并且计算各个水平行中参考像素的系数与除参考像素之外的各个像素的系数之间的差值。
位宽处理单元132对从减法单元231输出的差值执行修剪操作。例如，位宽处理单元132将所提供的每个差值的位宽减小到预定位宽，并且将位宽提供到转置寄存器133，该转置寄存器133然后将位宽存储为中间数据。另外，位宽处理单元132将各个参考像素的系数按原样提供到转置寄存器133，并且这些系数被存储作为中间数据而不减小位宽。
图10是示出存储在转置寄存器133中的中间数据的示例的图。
在图10所示的示例情况下，逆正交变换操作中的每个处理单位区域的大小是n×n像素。水平一维逆变换单元131的输出Aij（0≤i<n，0≤j<n）的位宽是16位。
减法单元231关于这样的输出将最右列（j=n-1）设置为参考像素行，并且计算其它列（0≤j<n-1）与参考像素的系数之间的差值Δaij，如以下等式（1）和（2）所示。
Δaij=ABS(Aij)-ABS(Ai(n-1))···(1)
Bij=MBS(Aij)···(2)
这里，Bij表示Aij（0≤i<n，0≤j<n-1）的符号位。
具体地，减法单元231计算除参考像素之外的每个像素和与该像素位于同一水平行上的参考像素之间的差值。减法单元231关于除参考像素之外的像素（0≤i<n，0≤j<n-1）设置由以上述方式算出的差值Δaij和符号位Bij形成的中间数据，并且将该中间数据提供到位宽处理单元132。减法单元231还关于参考像素行（0≤i<n，j=n-1）设置由16位系数Aij（0≤i<n，j=n-1）形成的中间数据，并且将该中间数据提供到位宽处理单元132。
如以上参照图5描述的，经受了水平一维逆变换的系数具有布置在水平方向上的相同频率分量，并且在水平方向上彼此高度相关。利用高相关性，减法单元231如上所述计算布置在水平方向上的系数之间的差，并且减小每条中间数据的值。如果此时执行带符号的减法，则值可能变得甚至更大。因此，减法单元231如等式（1）所示计算各个系数的绝对值之间的差。这样，减法单元231可以以较高确定度减小中间数据的值。
即，存在可以以比Aij（0≤i<n，j=n-1）小的位宽来表示Δaij（0≤i<n，0≤j<n-1）的高可能性。鉴于此，位宽处理单元132对具有比原始16位小的位宽的所提供的每个差值执行修剪操作。在图10所示的示例中，以12位执行修剪操作。位宽处理单元132以上述方式减小差值的位宽，并且将位宽提供和存储到转置寄存器133中。
这样，与存储所有中间数据同时位宽保持为16位的情况相比，逆正交变换单元104可以将转置寄存器133的大小减小较大量。
对于参考像素，位宽处理单元132将系数Aij（0≤i<n，j=n-1）作为中间数据传送和存储到转置寄存器133中。在图10所示的示例情况下，为了防止图像质量劣化，位宽处理单元132将中间数据Aij（0≤i<n，j=n-1）存储到转置寄存器133（阴影部分）中，同时位宽保持为16位。如果允许一定的图像质量劣化，则中间数据Aij（0≤i<n，j=n-1）也可在位宽处理单元132处经受修剪操作以减小位宽。
在图10所示的示例中，例如，n被设置为32，并且Aij（0≤i<32，0≤j<32）是16位。在Δaij（0≤i<32，0≤j<32）是13位（超过该范围的数据被修剪为13位）的情况下，中间数据的数据量是（31×32）×13位＋（31×32）×1位（符号位）＋（32×1）×16位＝14,400位。利用该布置，可以使得数据量比作为所有中间数据的位宽保持为16位的情况下的数据量的（32×32）×16位=16,384位少2,000位。即，可以将转置寄存器133的大小减小该量。
加法单元232从转置寄存器133读取各个参考像素的中间数据，并且还读取除当前参考像素行之外的垂直行的中间数据（差值）。如以下等式（3）所示，将每个差值与位于与差值相同的水平行上的参考像素的中间数据相加。
ABS(Aij)=ABS(Ai(n-1))+Δaij(0≤i<n,0≤j<n-1)···(3)
加法单元232将符号位Bij与如上算出的Aij的绝对值相加。结果，恢复除参考像素行之外的垂直行的各条中间数据。加法单元232将以上述方式恢复的中间数据提供到垂直一维逆变换单元134。对于参考像素，由于参考像素的中间数据不是差值，因此加法单元232将从转置寄存器133读取的中间数据Aij提供到垂直一维逆变换单元134。
垂直一维逆变换单元134对以上述方式提供的中间数据执行垂直一维逆正交变换操作，并且将图像数据恢复为与正交变换操作之前相同的状态。在如上所述对中间数据执行修剪操作的情况下，存在由修剪操作引起误差的可能性。因此，所恢复的图像数据不可能为与图像编码装置中的正交变换操作之前完全相同的状态，但是由于误差导致的图像质量劣化不大。换言之，要经受修剪操作的位宽应被定义为使得图像质量劣化落入可允许范围内。
任意列可被设置为参考像素行，但是从实现的观点来看，可以通过将最右列设置为参考像素行来提高转置寄存器133的利用效率。
例如，当如图10中示出的示例所示中间数据被存储到转置寄存器133中时，加法单元232从转置寄存器133读取参考像素的中间数据，并且还从最左侧的垂直行开始，一次一行读取除参考像素行之外的垂直行的中间数据。此时，参考像素的中间数据用在对于除参考像素行之外的所有垂直行的差值的加法操作中。即，参考像素的中间数据需要被保存在转置寄存器133中直到结束。
在读取了除参考像素行之外的垂直行的中间数据之后，区域变得可用。该可用区域用于保存下一处理单位区域的中间数据。即，当从左到右一次读取一个垂直行的中间数据时，可以从左到右一次一个垂直行来存储下一区域的中间数据。
当最右垂直行被设置为需要保存至结束的参考像素行时，可以从左到右一次一个垂直行来存储下一区域的中间数据。因此，可以更有效地使用转置寄存器133。另一方面，如果某个其它垂直行被设置为参考像素行，无法将接下来要处理的区域的中间数据写在参考像素行上，或者需要等待直至参考像素行变得可用于写入。结果，操作可能变得复杂，或者处理时间可能变得不必要的长。
在如图11所示使得水平方向和垂直方向（或者行和列）被转置的情况下，写入接下来要处理的区域的中间数据。具体地，当从转置寄存器133读取一个垂直行的中间数据时，一个垂直行变得可用于写入，并且如在当前区域的情况下，一次一个水平行来提供接下来要处理的区域的中间数据。
因此，转置寄存器133将一个水平行的中间数据存储在可用于写入的一个垂直行上。当以此方式执行写入时，在使得如图11所示水平方向和垂直方向被转置的情况下，存储图10中在转置寄存器133中所存储的中间数据的区域之后的区域的中间数据。因此，参考像素行是最下水平行。
由于改变了写入方向，因此也执行读取，其中水平方向和垂直方向被转置。在图11所示的示例情况下，一次读取一个水平行的中间数据。具体地，从顶部到底部一次一个水平行来读取除参考像素行之外的水平行。参考像素的中间数据每次都被读取，并且用在对于除参考像素行之外的各个水平行的加法操作中。
对于之后的区域的中间数据，再次转置水平方向和垂直方向，并且如图10所示存储之后的区域的中间数据。
[逆正交变换操作中的流程]
现在参照图12中的流程图，描述在该情况下的逆正交变换操作中的示例流程。
在步骤S201中，水平一维逆变换单元131对当前水平行的逆量化后的正交变换系数数据执行水平一维逆正交变换。在步骤S202中，减法单元231计算当前水平行中的参考像素的系数与其它像素的系数之间的差值Δaij。
在步骤S203中，位宽处理单元132对在步骤S202中算出的差值Δaij执行修剪操作，以将位宽减小为比原始位宽短的预定位宽。在步骤S204中，位宽处理单元132将经受了修剪操作的差值Δaij与参考像素的系数一起写入到转置寄存器133中。
在步骤S205中，水平一维逆变换单元131确定是否已处理了区域中的所有水平行。当确定当前区域中存在待处理的水平行时，操作返回到步骤S201，并且执行此后的过程。
对于各个水平行，重复步骤S201至S205的过程。当在步骤S205中确定已处理了当前区域中的所有水平行时，水平一维逆变换单元131将操作移动到步骤S206。
在步骤S206中，加法单元232从转置寄存器133读取各个参考像素的中间数据。在步骤S207中，加法单元232从转置寄存器133读取除参考像素行之外的垂直行的中间数据（差值）。在步骤S208中，加法单元232将在步骤S206中读取的并且位于同一水平行上的参考像素的中间数据与在步骤S207中读取的各个差值相加。
在步骤S209中，垂直一维逆变换单元134对作为加法结果获得的一个垂直行的中间数据执行垂直一维逆正交变换。
在步骤S210中，垂直一维逆变换单元134确定是否已处理了区域中除参考像素行之外的所有垂直行。当确定在当前区域的除参考像素行之外的垂直行当中存在待处理的垂直行时，操作返回到步骤S206，并且执行此后的过程。
对于除参考像素行之外的各个像素行，重复步骤S206至S210的过程。当在步骤S210中确定已处理了当前区域中的除参考像素行之外的所有垂直行时，垂直一维逆变换单元134将操作移动到步骤S211。
在步骤S211中，加法单元232从转置寄存器133读取各个参考像素的中间数据。垂直一维逆变换单元134对各个参考像素的中间数据执行垂直一维逆正交变换。
在步骤S212中，垂直一维逆变换单元134确定是否已处理了图像中的所有区域。当确定存在待处理的区域时，操作返回到步骤S201，并且重复此后的过程。
如上所述，对于各个区域，重复步骤S201至步骤S212的过程。当在步骤S212中确定已处理了所有区域时，垂直一维逆变换单元134结束逆正交变换操作，并且将操作返回到图7。
通过执行如上所述的各个过程，图像解码装置100可以减小在逆正交变换操作中所获得的中间数据的数据量，并且可以减小用作转置寄存器133的存储区的大小。结果，可以减小图像解码操作中所需的存储器容量，并且可以相应地降低图像解码转置100的生产成本。
[逆正交变换操作中的另一示例流程]
在以上描述中，位宽处理单元132执行修剪操作以将所有差值调整为同一位宽。然而，在以上述方式算出的差值的情况下，如在第一实施例的中间数据的情况下一样，频率分布与图5所示的相同。因此，如在第一实施例中，位宽处理单元132可根据频带控制各条中间数据（差值）的位宽。
即，例如，如图6的B所示，图9中的位宽处理单元132可针对各个频率分量调整每条中间数据的位宽。更具体地，位宽处理单元132可限制每条中间数据的位宽，以使得低频分量具有较大位宽而高频分量具有较小位宽。
例如，n被设置为32，Δaij（i=0，j<31）的位宽被设置为12位（超过12位的值被修剪为12位），Δaij（1≤i≤3，j<31）的位宽被设置为10位（超过10位的值被修剪为10位），Δaij（4≤i≤15，j<31）的位宽被设置为8位（超过8位的值被修剪为8位），并且Δaij（16≤i≤31，j<31）的位宽为被设置为6位（超过6位的值被修剪为6位）。即，越高频率的分量的位宽被减小越大的量。
同样地，对于Aij（0≤i<n，j=31），Aij（i=0，j=31）的位宽被设置为16位，Aij（1≤i≤3，j=31）的位宽被设置为14位（超过14位的值被修剪为14位），Aij（4≤i≤15，j=31）的位宽被设置为12位（超过12位的值被修剪为12位），并且Aij（16≤i≤31，j=31）的位宽被设置为9位（超过9位的值被修剪为9位）。即，越高频率的分量的位宽被减小越大的量。
结果，中间数据的数据量变为（12位×1×31＋10位×3×31＋8位×12×31＋6位×16×31）＋（16位×1＋14位×3＋12位×12＋9位×16）＋1位×32×31＝8,592位。因此，可以将原始数据量（32×32）×16位＝16,384位减小7,792位。即，可以将转置寄存器133的存储器使用减小相等量。
如在第一实施例中，各行正交变换系数数据和中间数据具有任意位宽。
具体地，在该情况下，位宽处理单元132还根据各个频带控制中间数据的位宽。例如，位宽处理单元132根据频带减小中间数据的位宽。例如，位宽处理单元132将越高频率分量的每个水平行的中间数据的位宽减小越大量。通过以此方式控制位宽，位宽处理单元132可以减小要用在逆正交变换操作中的转置寄存器133的大小，同时防止图像质量劣化。
例如，位宽处理单元132根据正交变换后的图像数据的频率特性而减小各个水平行的中间数据的位宽。通过以此方式控制位宽，位宽处理单元132可以更有效地防止图像质量劣化。
由于减小了转置寄存器133的大小，因此可以减小图像解码操作中所需的存储器容量，并且可以相应地降低图像解码装置100的生产成本。
在如上所述各个水平行的位宽不同的情况下，可能变得难以如以上参照图10和图11描述的那样在转置水平方向和垂直方向的同时存储下一区域的中间数据。在这样的情况下，水平方向和垂直方向没有被转置，并且可在读取了先前区域的所有中间数据之后，将下一区域的中间数据写入到转置寄存器133中。
现在参照图13中的流程图，描述了该情况下的逆正交变换操作中的示例流程。
该情况下的逆正交变换操作中的流程基本上与以上参照图12中的流程图描述的相同。具体地，以与图12的步骤S201至S212的各个过程相同的方式执行步骤S231至S242的各个过程。
然而，在步骤S233中，位宽处理单元132对差值执行修剪操作以根据频带减小位宽。位宽处理单元132还以相同方式对参考像素的中间数据执行修剪操作以根据频带减小位宽。
这样，逆正交变换单元104可以减小转置寄存器133的大小，同时比图12所示的情况更有效地防止图像质量劣化。
<3.第三实施例>
[逆正交变换单元]
取代上述参考像素，可计算每个水平行中的中间数据的均值并将其设置为参考，并且可将各个像素的系数与均值之间的差设置为中间数据。
图14示出了该情况下的逆正交变换单元104的示例结构。
如图14所示，该情况下的逆正交变换单元104不仅包括图9所示的部件，而且包括水平一维逆变换单元131与减法单元231之间的均值计算单元331。
关于水平一维逆变换单元131的输出，例如，如以下等式（4）所示，均值计算单元331计算每个水平行的各个系数的（绝对值的）均值。
μi=(ABS(Ai0)+ABS(Ai1)+···+ABS(Ain))/n(0≤i<n)···(4)
均值计算单元331将水平一维逆变换单元131的输出和算出的均值μi提供到减法单元231。
在每个水平行中，例如，如以下等式（5）和（6）所示，减法单元231计算各个像素的系数与均值之间的差值。
Δaij=ABS(Aij)-μi(0≤i<n,0≤j<n-1)···(5)
Bij=MBS(Aij)(0≤i<n,0≤j<n-1)···(6)
这里，Bij表示Aij（0≤i<n，0≤j<n-1）的符号位。减法单元231将算出的差值（包括符号位）和均值提供到位宽处理单元132。
位宽处理单元132以预定位宽对从减法单元231输出的差值执行修剪操作以减小位宽。位宽处理单元132将作为经受了修剪操作的差值和符号位的中间数据提供和存储到转置寄存器133中。位宽处理单元132还将从减法单元231提供的均值提供和存储到转置寄存器133中。
在该情况下，如图15所示，所有像素的中间数据是差值。另外，在各个水平行中算出的各个均值μi也被存储在转置寄存器133中。（图中没有示出符号位）。
位宽处理单元132将均值和符号位存储到转置寄存器133中，而没有减小位宽。如果允许一定的图像质量劣化，则这些值也可在位宽处理单元132处经受修剪操作以减小位宽。
加法单元232从转置寄存器133一次读取一个垂直行的中间数据（差值）以及读取均值μi。加法单元232将与所读取的差值相同水平行的均值μi与差值相加，如以下等式（7）所示。
ABS(Aij)=Δaij+μi(0≤i<n,0≤j<n-1)···(7)
加法单元232将符号位Bij与如上算出的Aij的绝对值相加。结果，恢复每条中间数据。加法单元232将以上述方式恢复的中间数据提供到垂直一维逆变换单元134。
垂直一维逆变换单元134对以上述方式提供的中间数据执行垂直一维逆正交变换操作，并且将图像数据恢复为与正交变换操作之前相同的状态。
如上所述，通过该方法，所有中间数据可以被表示为差值，并且可以使得对重复操作的控制更容易。然而，在该情况下，转置寄存器133需要存储均值μi，并且其容量需要相应地增加。然而，均值是根据彼此高度相关的系数算出的，并且利用这样的均值，获得较少差值的可能性变高。因此，位宽处理单元132可以进一步减小位宽，同时防止图像质量劣化增加。因此，逆正交变换单元104可以进一步减小转置寄存器133的大小。
[逆正交变换操作中的流程]
现在参照图16中的流程图，描述了该情况下的逆正交变换操作中的示例流程。
在步骤S301中，水平一维逆变换单元131对当前水平行的逆量化后的正交变换系数执行水平一维逆正交变换。在步骤S302中，均值计算单元331计算当前水平行的各个像素的系数Aij的均值μi。
在步骤S303中，减法单元231计算当前像素行的各个系数Aij与在步骤S302中算出的均值μi之间的差值Δaij。
在步骤S304中，位宽处理单元132对在步骤S303中算出的差值执行修剪操作，以将位宽减小为比原始位宽短的预定位宽。在步骤S305中，位宽处理单元132将均值μi和经受了修剪操作的差值Δaij’（包括符号位Bij）写入到转置寄存器133中。
在步骤S306中，水平一维逆变换单元131确定是否已处理了区域中的所有水平行。当确定当前区域中存在待处理的水平行时，操作返回到步骤S301，并且执行此后的过程。
对于各个水平行，重复步骤S301至S306的过程。当在步骤S306中确定已处理了当前区域中的所有水平行时，水平一维逆变换单元131将操作移动到步骤S307。
在步骤S307中，加法单元232从转置寄存器133读取每个均值μi。在步骤S308中，加法单元232从转置寄存器133读取当前垂直行的中间数据（差值）。在步骤S309中，加法单元232将在步骤S307中读取的并且位于与在步骤S308中读取的差值相同水平行上的均值与在步骤S308中读取的各个差值相加。
在步骤S310中，垂直一维逆变换单元134对作为加法结果获得的一个垂直行的中间数据执行垂直一维逆正交变换。
在步骤S311中，垂直一维逆变换单元134确定是否已处理了区域中的所有垂直行。当确定当前区域中存在待处理的垂直行时，操作返回到步骤S307，并且执行此后的过程。
对于区域中的各个垂直行，重复步骤S307至S311的过程。当在步骤S311中确定已处理了当前区域中的所有垂直行时，垂直一维逆变换单元134将操作移动到步骤S312。
在步骤S312中，垂直一维逆变换单元134确定是否已处理了图像中的所有区域。当确定存在待处理的区域时，操作返回到步骤S301，并且执行此后的过程。
如上所述，对于各个区域，重复步骤S301至S312的过程。当在步骤S312中确定已处理了所有区域时，垂直一维逆变换单元134结束逆正交变换操作，并且将操作返回到图7。
通过执行如上所述的各个过程，图像解码装置100可以减少在逆正交变换操作中所获得的中间数据的数据量，并且可以减小用作转置寄存器133的存储区的大小。结果，可以减小图像解码操作中所需的存储器容量，并且可以相应地降低图像解码装置100的生产成本。
[逆正交变换操作中的另一示例流程]
在以上描述中，位宽处理单元132执行修剪操作以将所有差值调整为同一位宽。然而，在以上述方式算出的差值的情况下，如在第一实施例的中间数据的情况下，频率分布与图5所示的相同。因此，如在第一实施例中，位宽处理单元132可根据频带控制各条中间数据（差值）的位宽。
即，例如，如图6的B所示，图14中的位宽处理单元132可针对每个频率分量调整每条中间数据的位宽。更具体地，位宽处理单元132可限制每条中间数据的位宽，以使得低频分量具有较大位宽而高频分量具有较小位宽。
这样，如在第二实施例中，图像解码装置100可以减少转置寄存器133的存储器使用。
如在第一实施例中，各行的正交变换系数数据和中间数据具有任意位宽。
具体地，在该情况下，位宽处理单元132还根据各个频带控制中间数据的位宽。例如，位宽处理单元132根据频带减小中间数据的位宽。例如，位宽处理单元132将越高频率的分量的每个水平行的中间数据的位宽减小越大的量。通过以此方式控制位宽，位宽处理单元132可以减小要用在逆正交变换操作中的转置寄存器133的大小，同时防止图像质量劣化。
例如，位宽处理单元132根据正交变换后的图像数据的频率特性来减小各个水平行的中间数据的位宽。通过以此方式控制位宽，位宽处理单元132可以更有效地防止图像质量劣化。
由于减小了转置寄存器133的大小，因此可以减小图像解码操作中所需的存储器容量，并且可以相应地降低图像解码装置100的生产成本。
[逆正交变换操作中的流程]
现在参照图17中的流程图，描述该情况下的逆正交变换操作中的示例流程。
该情况下的逆正交变换操作中的流程基本上与以上参照图16中的流程图描述的相同。具体地，以与图16的步骤S301至S312的各个过程相同的方式来执行步骤S331至S342的各个过程。
然而，在步骤S334中，位宽处理单元132对差值执行修剪操作以根据频带减小位宽。
这样，逆正交变换单元104可以减小转置寄存器133的大小，同时比图16所示的情况更有效地防止图像质量劣化。
尽管在以上描述中均值用作参考，但是本发明不限于此，并且例如一个水平行的各个系数数据的中值可用作参考。在该情况下，从一个水平行的各条系数数据中选择最靠近系数数据值的范围的中心的值作为中值。除了取代均值而使用中值之外，在该情况下执行与上述相同的操作。通常，选择中值比计算均值更容易。另外，一个水平行中的差值之一肯定被改变为零。
<4.第四实施例>
[图像编码装置]
与上述图像解码装置兼容的图像编码装置也包括与上述逆正交变换单元104相同的逆正交变换单元。因此，在这样的图像编码装置的逆正交变换单元处，可以通过以与任意上述方法相同的方式执行操作来减小转置寄存器的大小。
这样的图像编码装置还包括与逆正交变换单元104兼容的正交变换单元。可以以与任意上述方法相同的方式执行正交变换单元处的操作。结果，可以减小设置在正交变换单元中的转置寄存器的大小。
图18是示出作为图像处理装置的实施例的图像编码装置的典型示例结构的框图。图18所示的图像编码装置400是与图1所示的图像解码装置100兼容的装置，并且通过根据与图像解码装置100所使用的解码方法兼容的编码方法（诸如MPEG、AVC或HEVC）对图像数据进行编码来生成编码数据（位流）。图像解码装置100可以对编码数据进行解码。
如图18所示，图像编码装置400包括A/D转换器401、屏幕重排缓冲器402、算术运算单元403、正交变换单元404、量化单元405、无损编码单元406和累积缓冲器407。图像编码装置400还包括逆量化单元408、逆正交变换单元409、算术运算单元410、环路滤波器411、帧存储器412、选择单元413、帧内预测单元414、运动预测/补偿单元415、预测图像选择单元416和速率控制单元417。
A/D转换器410使得输入的图像数据经受A/D转换，并且将转换后的图像数据（数字数据）提供和存储到屏幕重排缓冲器402中。屏幕重排缓冲器402根据GOP（图片组）结构对具有以显示顺序存储的帧的图像进行重排，以使得以用于编码的帧顺序来布置帧。具有重排后的帧的图像被提供到算术运算单元403。屏幕重排缓冲器402还将具有重排后的帧顺序的图像提供到帧内预测单元414和运动预测/补偿单元415。
算术运算单元403从在屏幕重排缓冲器402中读取的图像减去经由预测图像选择单元416从帧内预测单元414或运动预测/补偿单元415提供的预测图像，并且将差别信息输出到正交变换单元404。
当例如对图像执行帧间编码时，算术运算单元403从在屏幕重排缓冲器402中读取的图像减去从运动预测/补偿单元415提供的预测图像。
正交变换单元404对从算术运算单元403提供的差别信息执行诸如离散余弦变换或卡洛变换的正交变换。通过任意适当方法来执行该正交变换。正交变换单元404将变换系数提供到量化单元405。
量化单元405对从正交变换单元404提供的变换系数进行量化。基于从速率控制单元417提供的目标位率值信息，量化单元405设置量化参数并且执行量化。通过任意适当方法来执行该量化。量化单元405将量化后的变换系数提供到无损编码单元406。
无损编码单元406通过适当编码方法对在量化单元405处量化的变换系数进行编码。由于已在速率控制单元417的控制之下对系数数据进行了量化，因此位率变得等于速率控制单元417设置的目标值（或者接近目标值）。
无损编码单元406从帧内预测单元414获得指示帧内预测模式的信息等，并且从运动预测/补偿单元415获得指示帧间预测模式的信息、运动矢量信息等。无损编码单元406还获得在环路滤波器411处所使用的滤波器系数等。
无损编码单元406通过适当编码方法对这些各种信息进行编码，并且将这些信息并入到编码数据的报头信息中（或者将这些信息与编码数据的报头信息进行复用）。无损编码单元406将通过编码获得的编码数据提供和存储到累积缓冲器407中。
无损编码单元406所使用的编码方法可以是例如可变长度编码或算术编码。可变长度编码可以是例如在H.264/AVC中指定的CAVLC（上下文自适应可变长度编码）。算术编码可以是例如CABAC（上下文自适应二进制算术编码）。
累积缓冲器407暂时保持从无损编码单元406提供的编码数据。累积缓冲器407例如在预定时间将其中保持的编码数据输出到后级的记录装置（记录介质）或传输路径等（未示出）。
在量化单元405处量化的变换系数也被提供到逆量化单元408。逆量化单元408通过与量化单元405执行的量化兼容的方法对量化后的变换系数进行逆量化。逆量化方法可以是任意方法，只要该方法与量化单元405执行的量化操作兼容即可。逆量化单元408将所获得的变换系数提供到逆正交变换单元409。
逆正交变换单元409通过与正交变换单元404执行的正交变换操作兼容的方法，对从逆量化单元408提供的变换系数执行逆正交变换。该逆正交变换可通过任意方法来执行，只要该方法与正交变换单元404执行的正交变换操作兼容即可。经受了逆正交变换的输出（所恢复的差别信息）被提供到算术运算单元410。
算术运算单元410通过将经由预测图像选择单元416从帧内预测单元414或运动预测/补偿单元415提供的预测图像与从逆正交变换单元409提供的逆正交变换结果或所恢复的差别信息相加来获得局部解码图像（解码图像）。解码图像被提供到环路滤波器411或帧存储器412。
环路滤波器411包括解块滤波器、自适应环路滤波器等，并且在适当时对从算术运算单元410提供的解码图像执行滤波操作。例如，环路滤波器411通过对解码图像执行解块滤波操作而从解码图像去除块失真。另外，环路滤波器411例如通过对解块滤波操作的结果（去除了块失真的解码图像）执行使用维纳滤波器的环路滤波操作来提高图像质量。
替选地，环路滤波器411可对解码图像执行任意适当滤波操作。另外，环路滤波器411可以在必要时将诸如在滤波操作中使用的滤波器系数的信息提供到无损编码单元406以对该信息进行编码。
环路滤波器411将滤波操作的结果（滤波操作之后的解码图像）提供到帧存储器412。如上所述，从算术运算单元410输出的解码图像可以被提供到帧存储器412而不通过环路滤波器411。即，可跳过环路滤波器411的滤波操作。
帧存储器412存储所提供的解码图像，并且在预定时间将所存储的解码图像作为参考图像提供到选择单元413。
选择单元413选择从帧存储器412提供的参考图像的提供目的地。在帧间预测的情况下，例如，选择单元413将从帧存储器412提供的参考图像提供到运动预测/补偿单元415。
帧内预测单元414通过使用作为经由选择单元413从帧存储器412提供的参考图像的当前图片中的像素值而执行帧内预测（画面内预测）以生成预测图像。在生成预测图像时，预测单位（PU）基本上用作处理单位。帧内预测单元414以预先准备的多于一种模式（帧内预测模式）执行帧内预测。
帧内预测单元414以所有候选帧内预测模式生成预测图像，通过使用从屏幕重排缓冲器402提供的输入图像来评估各个预测图像的成本函数值，并且选择最优模式。在选择了最优帧内预测模式之后，帧内预测单元414将以最优帧内预测模式生成的预测图像提供到预测图像选择单元416。
如上所述，帧内预测单元414还在适当时将指示所采用的帧内预测模式的帧内预测模式信息提供到无损编码单元406以对帧内预测模式信息进行编码。
使用从屏幕重排缓冲器402提供的输入图像和经由选择单元413从帧存储器412提供的参考图像，运动预测/补偿单元415执行运动预测（帧间预测），并且根据所检测的运动矢量执行运动补偿操作，以生成预测图像（帧间预测图像信息）。在运动预测中，PU基本上用作处理单位。运动预测/补偿单元415以预先准备的多于一种模式（帧间预测模式）执行这样的帧间预测。
运动预测/补偿单元415以所有候选帧间预测模式生成预测图像，评估各个预测图像的成本函数值，并且选择最优模式。在选择了最优帧间预测模式之后，运动预测/补偿单元415将以最优帧间预测模式生成的预测图像提供到预测图像选择单元416。
当对指示所选择的帧间预测模式的信息和编码数据进行解码时，运动预测/补偿单元415将用于以帧间预测模式执行操作的所需信息提供到无损编码单元406以对该信息进行编码。
预测图像选择单元416选择要提供到算术运算单元403和算术运算单元410的预测图像的提供者。在帧间编码的情况下，例如，预测图像选择单元416选择运动预测/补偿单元415作为预测图像的提供者，并且将从运动预测/补偿单元415提供的预测图像提供到算术运算单元403和算术运算单元410。
基于累积在累积缓冲器407中的编码数据的位率，速率控制单元417控制量化单元405的量化操作速率以不引起上溢或下溢。
在图18中，逆正交变换单元409是与第一至第三实施例中的上述图像解码装置100的逆正交变换单元104相同的操作单元，并且执行与逆正交变换单元104相同的操作。具体地，与逆正交变换单元104一样，逆正交变换单元409具有转置寄存器133，并且可以通过以任意上述方法执行逆正交变换操作来减小转置寄存器133的大小。
另外，在图18中，正交变换单元404是与逆正交变换单元409（或逆正交变换单元104）兼容的操作单元，并且执行与要由逆正交变换单元409执行的逆正交变换操作对应的正交变换操作。具体地，该正交变换单元404还具有与逆正交变换单元104的转置寄存器相同的转置寄存器，并且可以通过执行与要通过任意上述方法执行的逆正交变换操作对应的正交变换操作来减小转置寄存器的大小。
[正交变换单元]
图19是示出正交变换单元404的典型示例结构的框图。如图19所示，正交变换单元404包括水平一维变换单元431、位宽处理单元432、转置寄存器433和垂直一维变换单元434。换言之，正交变换单元404具有与图4所示的第一实施例的逆正交变换单元104基本上相同的结构。
水平一维变换单元431是与水平一维逆变换单元131兼容的操作单元，并且一次对一个水平行的图像数据执行水平一维正交变换。图像数据具有用于正交变换操作的处理单位区域，并且一次输入一个水平行的图像数据。具体地，可以由水平一维逆变换单元131对通过水平一维变换单元431对图像数据执行水平一维正交变换而获得的系数数据进行逆变换（成为原始图像数据）（或者可以经受水平一维逆正交变换）。
水平一维变换单元431生成的系数数据被提供到位宽处理单元432。位宽处理单元432对从水平一维变换单元431输出的每条系数数据（中间数据）执行修剪操作，以减小位宽。此时，位宽处理单元432根据频带减小每条中间数据的位宽。位宽处理单元432将具有调整后的位宽的每条中间数据提供到转置寄存器433，转置寄存器433然后保持该中间数据。
与转置寄存器133一样，转置寄存器433存储所提供的各条中间数据，以使得以与原始正交变换系数数据的序列对应的顺序布置中间数据，如图19所示。
垂直一维变换单元434是与垂直一维逆变换单元134兼容的操作单元。垂直一维变换单元434从转置寄存器433一次读取垂直行的中间数据，并且执行一维正交变换操作。即，垂直一维变换单元434从在垂直方向上延伸的每列读取存储在转置寄存器433中的中间数据。具体地，垂直一维变换单元434通过以与写入中间数据的顺序不同的顺序执行从转置寄存器433读取中间数据而将中间数据的序列从水平方向转置为垂直方向。垂直一维变换单元434对从每列读取的每个垂直行的中间数据执行正交变换，并且实现垂直正交变换。
由于中间数据经受垂直一维变换单元434的垂直正交变换，因此获得通过在两个维度（水平方向和垂直方向）对图像数据执行正交变换而获得的正交变换系数数据（也简称为系数数据）。垂直一维变换单元434将系数数据提供到量化单元405。
在上述操作中，例如，如图20所示，根据各个频率分量在水平方向上布置存储在转置寄存器433中的中间数据。具体地，从左到右布置低频分量到高频分量。越低频率的分量位于越靠近左边缘的部分中，并且越高频率的分量位于越靠近右边缘的部分中。在每一列（垂直行）中，布置同一频带的分量。
例如，作为水平一维变换单元431执行的正交变换的结果而获得的中间数据的位宽可以是16位，如图21的A所示。在处理单位区域是32×32的情况下，数据量是（32×32）×16位=16,384位。
例如，如图21的B所示，位宽处理单元432针对每个频率分量调整每条中间数据的位宽。更具体地，位宽处理单元432限制每条中间数据的位宽，以使得低频分量具有较大位宽而高频分量具有较小位宽。例如，在图21的B中，位宽处理单元432将从左侧开始的第1列（1个垂直行）的中间数据的位宽限制为16位，并且将从左侧开始的第2至第4列（3个垂直行）的3列中的每列的中间数据的位宽限制为14位。另外，例如，在图21的B中，位宽处理单元432将从左侧开始的第5至第16列的12列（12个垂直行）中的每列的中间数据的位宽限制为12位，并且将从左侧开始的第17至第32列的16列（16个垂直行）中的每列的中间数据的位宽限制为9位。
利用该布置，数据量变为（32×1）×16位＋(32×3)×14位＋（32×12）×12位＋（32×16）×9位＝11,072位。因此，与所有中间数据的位宽都是16位的上述情况相比，可以使得转置寄存器433的存储器使用减小5,312位。
应注意，图像数据和中间数据的每个像素可具有任意位宽，并且可具有除图21的B所示的示例之外的位宽。例如，可从左侧开始一次以四列（四个垂直行）减小位宽。另外，例如，可使得从左侧到第16列（16个垂直行）的中间数据的位宽与图像数据的位宽相同，并且可使得剩余16列（16个垂直行）中的每列的位宽比图像数据的位宽小。
具体地，位宽处理单元432根据各个频带控制中间数据的位宽。例如，位宽处理单元432根据频带减小通过对处理单位区域的图像数据执行水平一维正交变换而获得的每个水平行的中间数据的位宽。
例如，位宽处理单元432将越高频率的分量的每个水平行的中间数据的位宽减小越大量。一般地，自然图像关于较低频率的分量具有较大的绝对值，并且关于较高频率的分量具有较小的绝对值。因此，通过以上述方式控制位宽，位宽处理单元432可以减小要用在正交变换操作中的转置寄存器433的大小，同时防止图像质量劣化。
例如，位宽处理单元432根据图像数据的频率特性而减小各个水平行的各条中间数据的位宽。通过以此方式控制位宽，位宽处理单元432可以更有效地防止图像质量劣化。
由于减小了转置寄存器433的大小，因此可以减小图像编码操作中所需的存储器容量，并且还可以降低图像编码装置400的生产成本。
可能存在中间数据由于位宽处理单元432执行的修剪操作而具有误差的情况。然而，可以通过保证要修剪的足够位宽来减小误差的影响。换言之，图像编码装置400可以通过设置要修剪的位宽来控制图像质量劣化的程度和转置寄存器433的大小。鉴于此，例如，期望根据图像的内容设置要修剪的位宽以优化内容。
[编码操作流程]
接下来，描述要由上述图像编码装置400执行的每个操作中的流程。首先参照图22所示的流程图，描述了编码操作中的示例流程。
在步骤S401中，A/D转换器401对输入图像执行A/D转换。在步骤S402中，屏幕重排缓冲器402存储经受了A/D转换的图像，并且取代显示顺序而以编码顺序对各个图片进行重排。
在步骤S403中，帧内预测单元414以帧内预测模式执行帧内预测操作。在步骤S404中，运动预测/补偿单元415以帧间预测模式执行帧间运动预测操作以执行运动预测和运动补偿。
在步骤S405中，预测图像选择单元416基于从帧内预测单元414和运动预测/补偿单元415输出的各个成本函数值而确定最优模式。即，预测图像选择单元416选择帧内预测单元414生成的预测图像或运动预测/补偿单元415生成的预测图像。
在步骤S406中，算术运算单元403计算在步骤S402的过程中重排的图像与在步骤S405的过程中选择的预测图像之间的差别。差别数据的数据量小于原始图像数据的数据量。因此，可以使得数据量比对图像直接进行编码的情况下小。
在步骤S407中，正交变换单元404对在步骤S406的过程中生成的差别信息执行正交变换。具体地，执行诸如离散余弦变换或卡洛变换的正交变换，并且输出变换系数。
在步骤S408中，量化单元405对在步骤S407的过程中获得的正交变换系数进行量化。
以以下方式对在步骤S408的过程中量化的差别信息进行局部解码。在步骤S409中，逆量化单元408使用与量化单元405的特性兼容的特性，对在步骤S408的过程中生成的量化正交变换系数（也称为量化系数）进行逆量化。
在步骤S410中，逆正交变换单元409使用与正交变换单元404的特性兼容的特性，对在步骤S407的过程中获得的正交变换系数执行逆正交变换。以与上述第一至第三实施例相同的方式执行该逆正交变换操作，因此，这里不重复操作的具体说明。
在步骤S411中，算术运算单元410将预测图像与局部解码的差别信息相加，并且生成局部解码图像（与算术运算单元403的输入对应的图像）。在步骤S412中，环路滤波器411在适当时对在步骤S411的过程中获得的局部解码图像执行包括解块滤波操作和自适应环路滤波操作的环路滤波操作。
在步骤S413中，帧存储器412存储在步骤S412的过程中经受了环路滤波操作的解码图像。尚未经受环路滤波器411的滤波操作的图像也从算术运算单元410提供并且被存储到帧存储器412中。
在步骤S414中，无损编码单元406对在步骤S408的过程中量化的变换系数进行编码。即，对差别图像执行诸如可变长度编码或算术编码的无损编码。
无损编码单元406还对在步骤S408中算出的量化参数进行编码，并且将编码后的量化参数与编码数据相加。无损编码单元406还对关于在步骤S405的过程中选择的预测图像的预测模式的信息进行编码，并且将编码信息与通过对差别图像进行编码而获得的编码数据相加。即，无损编码单元406还根据从帧内预测单元414提供的最优帧内预测模式信息或从运动预测/补偿单元415提供的最优帧间预测模式对信息进行编码，并且将编码信息与编码数据相加。
在步骤S415中，累积缓冲器407累积在步骤S414的过程中获得的编码数据。在适当时读取在累积缓冲器407中累积的编码数据，并且经由传送路径或记录介质将其传送到解码侧。
在步骤S416中，基于在步骤S415的过程中累积在累积缓冲器407中的编码数据的位率（位生成率），速率控制单元417控制量化单元405的量化操作速率以便不引起上溢或下溢。
当步骤S416的过程完成时，编码操作结束。
[正交变换操作中的流程]
现在参照图23所示的流程图，描述了要在图22的步骤S407中执行的正交变换操作中的示例流程。
在步骤S431中，水平一维变换单元431对当前区域中的一个水平行的图像数据执行水平一维正交变换。
在步骤S432中，位宽处理单元432对在步骤S431的过程中获得的一个水平行的中间数据执行修剪操作，以实现根据频带的位宽。
如以上参照图20所描述的，各个像素的中间数据的频率分量在水平方向上从低频带到高频带变化。即，一个水平行的中间数据包含低频到高频的分量。因此，位宽处理单元432以根据各个频率分量的位宽对一个水平行的每条中间数据执行修剪操作。具体地，根据频带对一个水平行的中间数据进行分类，并且以各个频带中的不同位宽使其经受修剪操作。例如，在各条中间数据是彼此不同的频率分量的情况下，以彼此不同的位宽使各条中间数据经受修剪操作。在上述逆正交变换的情况下，频率分布出现在垂直方向上，因此，以同一位宽使一个水平行的各条中间数据经受修剪操作。然而，在正交变换的情况下，作为这样的修剪操作的结果，一个水平行的各条中间数据可具有彼此不同的位宽。
在步骤S433中，位宽处理单元432将经受了修剪操作的一个水平行的中间数据写入到转置寄存器433中位于比先前写入的一个水平行的中间数据低一行的行中。
在步骤S434中，水平一维变换单元431确定是否处理了区域中的所有水平行。当确定当前区域中存在待处理的水平行时，操作返回到步骤S431，并且执行此后的过程。
对于各个水平行，重复步骤S431至S434的过程。当在步骤S434中确定已处理了当前区域中的所有水平行时，水平一维变换单元431将操作移动到步骤S435。
垂直一维变换单元434在步骤S435中从转置寄存器433读取一个垂直行的中间数据，并且在步骤S436中对所读取的中间数据执行垂直一维正交变换。
在步骤S437中，垂直一维变换单元434确定是否已处理了区域中的所有垂直行。当确定当前区域中存在待处理的垂直行时，操作返回到步骤S435，并且执行此后的过程。
对于各个垂直行，执行步骤S435至S437的过程。当在步骤S437中确定已处理了当前区域中的所有垂直行时，垂直一维变换单元434将操作移动到步骤S438。
在步骤S438中，垂直一维变换单元434确定是否已处理了图像中的所有区域。当确定存在待处理的区域时，操作返回到步骤S431，并且重复此后的过程。
如果在以上述方式针对各个区域重复了步骤S431至S438的过程之后在步骤S438中确定处理了所有区域，则垂直一维变换单元434结束正交变换操作，并且将操作返回到图22。
通过以上述方式执行各个过程，图像编码装置400可以减少在正交变换操作中获得的中间数据的数据量，并且可以减小用作转置寄存器433的存储区的大小。结果，可以减小图像编码操作中所需的存储器容量，并且可以降低图像编码装置400的生产成本。
<5.第五实施例>
[正交变换单元]
在正交变换单元404的情况下，为了减小每条中间数据的值，如在逆正交变换单元104中，可将经受了水平正交变换的预定行（水平行）的系数数据设置为参考，并且可将关于该参考的差值作为中间数据存储到转置寄存器433中。具体地，可计算水平一维变换的结果当中的同一频率分量之间的差，并且可将该差设置为中间数据。
图24是示出该情况下的正交变换单元404的示例结构的框图。如图24所示，该情况下的正交变换单元404不仅包括以上参照图19描述的部件，而且包括水平一维变换单元431与位宽处理单元432之间的减法单元531和转置寄存器433与垂直一维变换单元434之间的加法单元532。
减法单元531设置如上所述的以矩阵（阵列）布置的各个系数当中的作为预定水平行上的像素的参考像素，并且计算各个垂直行中参考像素的系数与除参考像素之外的各个像素的系数之间的差值。
位宽处理单元432对从减法单元531输出的差值执行修剪操作。例如，位宽处理单元432将所提供的每个差值的位宽减小为预定位宽，并且将位宽提供到转置寄存器433，转置寄存器433然后将位宽存储为中间数据。另外，位宽处理单元432将各个参考像素的系数按原样提供到转置寄存器433，并且这些系数被存储为中间数据，而没有减小位宽。
图25是示出存储在转置寄存器433中的中间数据的示例的图。
在图25所示的示例情况下，正交变换操作中的每个处理单位区域的大小是n×n像素。水平一维变换单元431的输出Aij（0≤i<n，0≤j<n）的位宽是16位。
减法单元531将最上行（i=0）设置为关于这样的输出的参考像素行，并且计算其它行（0<i<n-1）的系数与参考像素的系数之间的差值Δaij，如以下等式（8）和（9）所示。
Δaij=ABS(Aij)-ABS(A0i)(0<i<n,0≤j<n)···(8)
Bij=MBS(Aij)(0<i<n,0≤j<n)···(9)
这里，Bij表示Aij的符号位。
即，减法单元531将区域中首先要处理的水平行的各个系数存储为参考像素，并且计算第二或稍后处理的每个水平行的各个像素和与这些像素位于同一垂直行中的参考像素之间的差值。减法单元531关于除参考像素之外的像素（0<i<n，0≤j<n）设置由以上述方式算出的差值Δaij和符号位Bij形成的中间数据，并且将中间数据提供到位宽处理单元432。减法单元531还关于参考像素行（I=0，0≤j<n）设置由16位系数数据Aij形成的中间数据，并且将该中间数据提供到位宽处理单元432。
如以上参照图20所描述的，经受了水平一维变换的系数具有分布在水平方向上的各个频率分量。即，相同的频率分量布置在垂直方向上，并且彼此高度相关。利用垂直方向上的高度相关性，减法单元531如上所述计算布置在垂直方向上的系数之间的差，并且减小每条中间数据的值。如果此时执行带符号的减法，则值可能变得甚至更大。因此，减法单元531如等式（8）所示计算各个系数的绝对值之间的差。这样，减法单元531可以以较高确定度减小中间数据的值。
即，存在可以以比Aij（i=0，0≤j<n）小的位宽来表示Δaij（0<i<n，0≤j<n）的高可能性。鉴于此，位宽处理单元432以比原始16位小的位宽对所提供的每个差值执行修剪操作。在图25所示的示例中，以12位执行修剪操作。位宽处理单元432将差值减小为预定位宽，并且将位宽提供和存储到转置寄存器433中。
这样，与存储所有中间数据同时位宽保持为16位的情况相比，正交变换单元404可以将转置寄存器433的大小减小更大量。
对于参考像素，位宽处理单元432将系数Aij（i=0，0<j<n）作为中间数据传送和存储到转置寄存器433中。在图25所示的示例情况下，为了防止图像质量劣化，位宽处理单元432将中间数据Aij（i=0，0<j<n）存储到转置寄存器433（阴影部分）中，同时位宽保持为16位。如果允许一定的图像质量劣化，则还可使得中间数据Aij（i=0，0<j<n）在位宽处理单元432处经受修剪操作以减小位宽。
加法单元532从转置寄存器433一次读取一个垂直行的中间数据。如图25所示，每个垂直行不仅包括不同值的中间数据，而且包括用于计算差值的参考像素的中间数据。加法单元532将包括在所读取的一个垂直行中的参考像素的中间数据与包括在该垂直行中的各个差值相加，如以下等式（10）所示。
ABS(Aij)=ABS(A0j)+Δaij(0<i<n,0≤j<n)···(10)
加法单元532将符号位Bij与如上算出的Aij的绝对值相加。结果，恢复了除参考像素行之外的垂直行的各条中间数据。加法单元532将以上述方式恢复的中间数据提供到垂直一维变换单元434。加法单元532还将从转置寄存器433读取的包括在垂直行中的参考像素的中间数据提供到垂直一维变换单元434。由于参考像素的中间数据不是差值，因此所读取的参考像素的中间数据按原样被提供到垂直一维变换单元434。
垂直一维变换单元434对如上所提供的中间数据执行垂直一维正交变换操作，并且通过使图像数据经受两个维度（水平方向和垂直方向）的正交变换而生成正交变换系数数据。在如上所述对中间数据执行修剪操作的情况下，存在由修剪操作引起误差的可能性。因此，即使使得系数数据经受逆正交变换，所恢复的图像数据也不可能为与正交变换操作之前完全相同的状态。然而，由于误差导致的图像质量劣化不大。换言之，要经受修剪操作的位宽应被定义为使得图像质量劣化落入可允许范围内。
在正交变换的情况下，所有垂直行包括如上所述的参考像素。因此，任意行可被设置为参考像素行。
在如图26所示使得水平方向和垂直方向（或者行和列）转置的情况下，写入接下来要处理的区域的中间数据。然而，在每个水平行中执行中间数据的读取，在该情况下也使得水平方向和垂直方向被转置。因此，参考像素列（垂直行）可以是任意行。
对于此后的区域的中间数据，水平方向和垂直方向再次被转置，并且如图25所示存储此后的区域的中间数据。
[正交变换操作中的流程]
现在参照图27中的流程图，描述了该情况下的正交变换操作中的示例流程。
在步骤S501中，水平一维变换单元431对当前水平行的图像数据执行水平一维正交变换。在步骤S502中，减法单元531确定当前水平行是否是参考像素行。如果当前水平行被确定为参考像素行，则减法单元531将操作移动到步骤S503。
在步骤S503中，位宽处理单元432将该水平行的系数写入到转置寄存器433中。减法单元531还保持该水平行的各个系数。当完成步骤S503的过程时，位宽处理单元432将操作移动到步骤S507。
如果在步骤S502中确定当前水平行不是参考像素行，则减法单元531将操作移动到步骤S504。在步骤S504中，减法单元531通过从该水平行的各个系数减去位于水平方向上与该水平行的各个系数相同的位置的参考像素的系数来计算差值。
在步骤S505中，位宽处理单元432对每个差值执行修剪操作，以便将位宽减小为预定位宽。在步骤S506中，位宽处理单元432将具有减小位宽的各个差值作为中间数据提供和存储到转置寄存器433中。当完成步骤S506的过程时，位宽处理单元432将操作移动到步骤S507。
在步骤S507中，水平一维变换单元431确定是否已处理了区域中的所有水平行。当确定存在待处理的水平行时，操作返回到步骤S501，并且重复此后的过程。对于该区域中的各个水平行，重复步骤S501至S507的过程。当在步骤S507中确定处理了区域中的所有水平行时，水平一维变换单元431将操作移动到步骤S508。
在步骤S508中，加法单元532从转置寄存器433一次读取一个垂直行的中间数据。在步骤S508中，加法单元532将参考像素的系数与所读取的垂直行中的每个差值相加。
在步骤S510中，垂直一维变换单元434对该垂直行的各个系数执行垂直一维正交变换，并且生成经受了两个维度的正交变换的系数数据。
在步骤S511中，垂直一维变换单元434确定是否处理了区域中的所有垂直行。当确定存在待处理的垂直行时，操作返回到步骤S508，并且重复此后的过程。对于各个垂直行，重复步骤S508至S511的过程。当在步骤S511中确定已处理了区域中的所有垂直行时，垂直一维变换单元434将操作移动到步骤S512。
在步骤S512中，垂直一维变换单元434确定是否处理了图像中的所有区域。当确定存在待处理的区域时，操作返回到步骤S501，并且重复此后的过程。
如果在以上述方式针对各个区域重复了步骤S501至S512的过程之后在步骤S512中确定处理了所有区域，则垂直一维变换单元434结束正交变换操作，并且将操作返回到图22。
通过以上述方式执行各个过程，图像编码装置400可以减少在正交变换操作中获得的中间数据的数据量，并且可以减小用作转置寄存器433的存储区的大小。结果，可以减小图像编码操作中所需的存储器容量，并且可以降低图像编码装置400的生产成本。
[正交变换操作中的另一示例流程]
在以上描述中，位宽处理单元432执行修剪操作以将所有差值调整为同一位宽。然而，如在第四实施例中，在以上述方式算出的差值的情况下，频率分布与图20所示的相同。因此，如在第四实施例中，位宽处理单元432可根据频带而控制各条中间数据（差值）的位宽。
现在参照图28中的流程图，描述了该情况下的正交变换操作中的示例流程。
该情况下的正交变换操作中的流程基本上与以上参照图27中的流程图描述的相同。具体地，以与图27的步骤S501至S512的各个过程相同的方式执行步骤S531至S542的各个过程。
然而，在步骤S535中，位宽处理单元432对差值执行修剪操作以根据频带减小位宽。位宽处理单元432还以相同方式对参考像素的中间数据执行修剪操作以根据频带减小位宽。
这样，正交变换单元404可以减小转置寄存器433的大小，同时比图27所示的情况更有效地防止图像质量劣化。
在每个上述实施例中，在水平方向和垂直方向上执行正交变换操作和逆正交变换操作。然而，在这些操作中，可以使用任意变换方法，并且任意正交变换方法和任意逆正交变换方法可用于水平方向上的每种操作和垂直方向上的每种操作。例如，可以执行DCT、卡洛变换或DST。另外，可在水平方向与垂直方向之间采用不同的变化方法。例如，可在水平方向上执行DCT（IDCT），并且可在垂直方向上执行DST（IDST）。在图4所示的示例情况下，水平一维逆变换单元131可执行IDCT，并且垂直一维逆变换单元134可执行IDST。水平一维逆变换单元131当然可执行IDST，并且垂直一维逆变换单元134可执行IDCT。水平一维逆变换单元131和垂直一维逆变换单元134可采用除IDCT和IDST之外的方法。同样适用于其它实施例。同样适用于图像编码装置400的正交变换单元404和逆正交变换单元409。
本技术可以应用于当例如如在MPEG或H.26x中经由网络介质（诸如卫星广播、有线电视、因特网或便携式电话装置）接收通过诸如离散余弦变换的正交变换而编码的图像信息（位流）时所使用的图像编码装置和图像解码装置。本技术还可以应用于当在存储介质（诸如光盘或磁盘或者闪存）上对压缩图像信息进行处理时所使用的图像编码装置和图像解码装置。此外，本技术还可以应用于包括在这样的图像编码装置和图像解码装置中的正交变换装置和逆正交变换装置。
<6.第六实施例>
[个人计算机]
上述系列操作可以由硬件来执行，并且也可以由软件来执行。当要由软件来执行这系列操作时，构成该软件的程序安装在计算机中。这里，计算机可以是并入专用硬件中的计算机，或者可以是可以在安装了各种程序时执行各种功能的通用个人计算机。
在图29中，个人计算机600的CPU（中央处理单元）601根据存储在ROM（只读存储器）602中的程序或者从存储单元613加载到RAM（随机存取存储器）603中的程序而执行各种操作。CPU601执行各种操作所需的数据等也在必要时存储在RAM603中。
CPU601、ROM602和RAM603经由总线604相互连接。输入/输出接口610也连接到总线604。
输入/输出接口610连接有以下部件：输入单元611，由键盘、鼠标等构成；输出单元612，由诸如CRT（阴极射线管）或LCD（液晶显示器）的显示器和扬声器构成；存储单元613，由硬盘等构成；以及通信单元614，由调制解调器构成。通信单元614经由包括因特网的网络执行通信。
驱动器615在必要时也连接到输入/输出接口610，并且诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸介质616适当地安装在驱动器上。从这样的可拆卸盘读取的计算机程序在必要时被安装到存储单元613中。
在由软件执行上述系列操作的情况下，从网络或记录介质安装构成该软件的程序。
如图29所示，记录介质由其上记录有程序的、与装置分离的被分发用于将程序传递给用户的可拆卸介质616构成，该可拆卸介质616诸如为磁盘（包括软盘）、光盘（包括CD-ROM（致密盘-只读存储器）或DVD（数字通用盘））、磁光盘（包括MD（迷你盘））或半导体存储器。替选地，记录介质可由其中记录有程序的ROM602或包括在存储单元613中的硬盘构成。这样的记录介质在递送到用户之前被预先并入到装置中。
要由计算机执行的程序可以是用于根据该说明书中描述的序列以时间顺序执行操作的程序，或者可以是用于并行地执行操作或在必要时（诸如当存在调用时）执行操作的程序。
在该说明书中，写入要记录在记录介质上的程序的步骤不仅包括要以根据所公开的序列的时间顺序执行的操作，而且包括在不必须以时间顺序的情况下要并行地或者彼此独立地执行的操作。
在该说明书中，“系统”表示由两个或更多个装置（设备）构成的整个设备。
另外，在上述示例中，被描述为一个装置（或者一个处理单元）的任意结构可被划分为两个或更多个装置（或者处理单元）。相反，被描述为两个或更多个装置（或处理单元）的任意结构可被合并以形成一个装置（或者一个处理单元）。另外，当然可以将除上述结构之外的结构添加到任意装置（或者任意处理单元）的结构。此外，只要整个系统的结构和功能保持不变，装置（或者处理单元）的结构的一部分可被并入到其它装置（或者其它处理单元）中。即，本技术的实施例不限于上述实施例，并且在不背离本技术的范围的情况下，可对其进行各种修改。
根据上述实施例的图像编码装置和图像解码装置可以应用于包括以下的各种电子设备：用于卫星广播、有线广播（诸如有线电视）、经由因特网的递送、通过蜂窝通信到终端的递送等的发送机和接收机；将图像记录在诸如光盘、磁盘或闪存的介质上的记录设备；或者再现来自这些存储介质的图像的再现设备。在以下，描述了四个示例应用。
<7.第七实施例>
[第一示例应用：电视接收机]
图30示意性地示出了应用上述实施例的电视设备的示例结构。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。调谐器902将通过解调获得的编码位流输出到解复用器903。即，调谐器902用作电视设备900中接收通过对图像编码而形成的编码流的传送装置。
解复用器903从编码位流分离要观看的表演的视频流和音频流，并且将所分离的各个流输出到解码器904。解复用器903还从编码位流提取诸如EPG（电子节目指南）的辅助数据，并且将所提取的数据提供到控制单元910。在编码位流被加扰的情况下，解复用器903可执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904然后将通过解码操作生成的视频数据输出到视频信号处理单元905。解码器904还将通过解码操作生成的音频数据输出到音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，并且使得显示单元906显示视频图像。另外，视频信号处理单元905可使得显示单元906显示经由网络提供的应用画面。另外，视频信号处理单元905可根据设置对视频数据执行诸如去噪的附加处理。此外，视频信号处理单元905可生成诸如菜单和按钮或光标的GUI（图形用户界面）的图像，并且将所生成的图像叠加在输出图像上。
显示单元906由从视频信号处理单元905提供的驱动信号来驱动，并且在显示装置（诸如液晶显示器、等离子显示器或OELD（有机电致发光显示器））的视频画面上显示视频图像或图像。
音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现操作，并且从扬声器908输出声音。另外，音频信号处理单元907可对音频数据执行诸如去噪的附加处理。
外部接口909是用于将电视设备900连接到外部装置或网络的接口。例如，可由解码器904对经由外部接口909接收的视频流或音频流进行解码。即，外部接口909也用作电视设备900中接收通过对图像编码而形成的编码流的传送装置。
控制单元910包括诸如CPU的处理器以及诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。存储在存储器中的程序在例如激活电视设备900时由CPU读取然后被执行。通过执行程序，CPU例如根据从用户接口911输入的操作信号而控制电视设备900的操作。
用户接口911连接到控制单元910。用户接口911包括例如用于用户操作电视设备900的按钮和开关以及用于远程控制信号的接收单元。用户接口911通过检测用户经由这些部件的操作而生成操作信号，并且将所生成的操作信号输出到控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。
在具有上述结构的电视设备900中，解码器904具有根据上述实施例的图像解码装置的功能。因此，可以减小在电视设备900中的图像解码时要用在逆正交变换操作中的转置寄存器的大小。
<8.第八实施例>
[第二示例应用：便携式电话装置]
图31示意性地示出了应用上述实施例的便携式电话装置的示例结构。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。
便携式电话装置920以各种操作模式（包括音频通信模式、数据通信模式、成像模式和视频电话模式）执行操作，诸如音频信号的传送和接收、电子邮件或图像数据的传送和接收、成像操作以及数据记录。
在音频通信模式，麦克风925生成的模拟音频信号被提供到音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对转换后的音频数据执行压缩和A/D转换。音频编解码器923将压缩后的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成传送信号。通信单元922经由天线921将所生成的传送信号传送到基站（未示出）。通信单元922还对经由天线921接收的无线电信号执行放大和频率转换，并且获得接收信号。通信单元922通过对接收信号进行解调和解码来生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据执行解压缩和D/A转换，以生成模拟音频信号。音频编解码器923然后将所生成的音频信号输出到扬声器924以输出声音。
在数据通信模式，控制单元931根据用户经由操作单元932的操作而生成构成电子邮件的文本数据。控制单元931使得显示单元930显示文本。控制单元931还根据经由操作单元932来自用户的传送指令而生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，以生成传送信号。通信单元922经由天线921将所生成的传送信号传送到基站（未示出）。通信单元922还对经由天线921接收的无线电信号执行放大和频率转换，并且获得接收信号。通信单元922然后通过对接收信号进行解调和解码来恢复电子邮件数据，并且将所恢复的电子邮件数据输出到控制单元931。控制单元931使得显示单元930显示电子邮件的内容，并且将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读/可重写存储介质。例如，存储介质可以是诸如RAM或闪存的内部存储介质，或者可以是外部安装类型的存储介质（诸如硬盘、磁盘、磁光盘、光盘、USB（未分配空间位图）存储器或存储卡）。
在成像模式，摄像装置单元926通过捕获对象的图像而生成图像数据，并且将所生成的图像数据输出到图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码后的流存储到记录/再现单元929的存储介质中。
在视频电话模式，复用/分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用后的流输出到通信单元922。通信单元922对该流进行编码和调制，以生成传送信号。通信单元922经由天线921将所生成的传送信号传送到基站（未示出）。通信单元922还对经由天线921接收的无线电信号执行放大和频率转换，并且获得接收信号。传送信号和接收信号均包括编码位流。通信单元922通过对接收信号进行解调和解码来恢复流，并且将恢复后的流输出到复用/分离单元928。复用/分离单元928从输入的流分离视频流和音频流，并且将视频流输出到图像处理单元927以及将音频流输出到音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供到显示单元930，并且由显示单元930显示一系列图像。音频编解码器923对音频流执行解压缩和D/A转换以生成模拟音频信号。音频编解码器923然后将所生成的音频信号输出到扬声器924以输出声音。
在具有上述结构的便携式电话装置920中，图像处理单元927具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，可以减小在便携式电话920中的图像编码和图像解码时要用在正交变换操作和逆正交变换操作中的转置寄存器的大小。
<9.第九实施例>
[第三示例应用：记录/再现设备]
图32示意性地示出了应用了上述实施例的记录/再现设备的示例结构。记录/再现设备940例如对所接收的广播表演的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质上。记录/再现设备940可例如对从其它设备获取的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质上。记录/再现设备940还例如根据来自用户的指令而通过监视器和扬声器再现记录在记录介质上的数据。在这样做时，记录/再现设备940对音频数据和视频数据进行解码。
记录/再现设备940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（在屏显示）948、控制单元949和用户接口950。
调谐器941从经由天线（未示出）接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。调谐器941将通过解调获得的编码位流输出到选择器946。即，调谐器941用作记录/再现设备940中的传送装置。
外部接口942是用于将记录/再现设备940连接到外部装置或网络的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口或闪存接口。经由外部接口942接收的视频数据和音频数据被输入到例如编码器943。即，外部接口942用作记录/再现设备940中的传送装置。
在从外部接口942输入的视频数据和音频数据没有被编码的情况下，编码器943对视频数据和音频数据进行编码。编码器943然后将编码位流输出到选择器946。
HDD944将通过对内容数据（诸如视频图像和声音）、各种程序和其它数据进行压缩而形成的编码位流记录在内部硬盘上。在再现视频图像和声音时，HDD944从硬盘读取这些数据。
盘驱动器945将数据记录在其上安装的记录介质上以及从该记录介质读取数据。安装在盘驱动器945上的记录介质可以是例如DVD（诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光（注册商标）盘。
在记录视频图像和声音时，选择器946选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出到HDD944或盘驱动器945。在再现视频图像和声音时，选择器946还将从HDD944或盘驱动器945输入的编码位流输出到解码器947。
解码器947对编码位流进行解码，并且生成视频数据和音频数据。解码器947将所生成的视频数据输出到OSD948。解码器947还将所生成的音频数据输出到外部扬声器。
OSD948再现从解码器947输入的视频数据，并且显示视频图像。OSD948可将诸如菜单和按钮或光标的GUI的图像叠加在要显示的视频图像上。
控制单元949包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，存储在存储器中的程序在激活记录/再现设备940时由CPU读取然后被执行。通过执行该程序，CPU例如根据从用户接口950输入的操作信号而控制记录/再现设备940的操作。
用户接口单元连接到控制单元949。用户接口950包括例如用于用户操作记录/再现设备940的按钮和开关以及用于远程控制信号的接收单元。用户接口950通过检测用户经由这些部件的操作而生成操作信号，并且将所生成的操作信号输出到控制单元949。
在具有上述结构的记录/再现设备940中，编码器943具有根据上述实施例的图像编码装置的功能。另外，解码器947具有根据上述实施例的图像解码装置的功能。因此，可以减小在记录/再现设备940中的图像编码和图像解码时要用在正交变换操作和逆正交变换操作中的转置寄存器的大小。
<10.第十实施例>
[第四示例应用：成像设备]
图33示意性地示出了应用了上述实施例的成像设备的示例结构。成像设备960通过对对象进行成像来生成图像，对图像数据进行编码，并且将图像数据记录在记录介质上。
成像设备960包括光学组件961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971和总线972。
光学组件961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970彼此连接。
光学组件961包括聚焦透镜和光圈。光学组件961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）的图像传感器，并且通过光电转换将形成在成像表面上的光学图像转换成作为电信号的图像信号。成像单元962将图像信号输出到信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理，诸如膝点校正、伽马校正和颜色校正。信号处理单元963将经受了摄像装置信号处理的图像数据输出到图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且输出编码数据。图像处理单元964将所生成的编码数据输出到外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。图像处理单元964将所生成的图像数据输出到显示单元965。替选地，图像处理单元964可将从信号处理单元963输入的图像数据输出到显示单元965以显示图像。图像处理单元964还可将从OSD969获取的显示数据叠加在要输出到显示单元965的图像上。
OSD969生成例如诸如菜单和按钮或光标的GUI的图像，并且将所生成的图像输出到图像处理单元964。
外部接口966由例如USB输入/输出端子构成。外部接口966在例如打印图像时将成像设备960连接到打印机。驱动器在必要时也连接到外部接口966。诸如磁盘或光盘的可拆卸介质安装在驱动器上以使得从可拆卸介质读取的程序可以安装在成像设备960中。此外，外部接口966可被设计为连接到诸如LAN或因特网的网络的网络接口。即，外部接口966用作成像设备960中的传送装置。
要安装在介质驱动器968上的记录介质可以是可读/可重写可拆卸介质，诸如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可被固定到介质驱动器968以形成诸如内部硬盘驱动器或SSD（固态驱动器）的非便携式存储单元。
控制单元970包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。存储在存储器中的程序在例如激活成像设备960时由CPU读取然后被执行。通过执行该程序，CPU根据例如从用户接口971输入的操作信号而控制成像设备960的操作。
用户接口971连接到控制单元970。用户接口971包括例如用于用户操作成像设备960的按钮和开关。用户接口971通过检测用户经由这些部件的操作而生成操作信号，并且将所生成的操作信号输出到控制单元970。
在具有上述结构的成像设备960中，图像处理单元964具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，可以减小在成像设备960中的图像编码和图像解码时要用在正交变换操作和逆正交变换操作中的转置寄存器的大小。
在本说明书描述的示例中，除图像数据之外的各种信息（诸如预测模式信息）与位流的报头复用并且从编码侧被传送到解码侧。然而，传送信息的方法不限于以上示例。信息可不与编码位流复用，而是可作为与编码位流相关联的独立数据被传送或记录。这里，术语“相关联”表示在解码时将包括在位流中的图像（或者图像的一部分，诸如切片或块）与对应于该图像的信息联系起来。换言之，信息可通过与图像（或位流）不同的传送路径来传送。另外，信息可记录在与图像（或位流）不同的记录介质（或者同一记录介质中的不同记录区）上。此外，每条信息可与多个帧、一个帧或者图像（或位流）的帧的一部分相关联。
尽管以上参照附图描述了本公开的优选实施例，但是本发明不限于这些示例。明显的是，本领域普通技术人员可以在这里所要求保护的技术精神的范围内进行各种改变或修改，并且自然认为这些改变或修改在本公开的技术范围内。
本技术还可以为以下形式。
（1）一种图像处理装置，包括：
水平一维逆变换单元，对通过在水平方向和垂直方向上对图像数据执行正交变换而生成的正交变换系数执行水平逆正交变换；
位宽处理单元，对系数执行修剪操作以减小位宽，所述系数是通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的；
存储单元，将所述系数存储为中间数据，所述系数具有通过所述位宽处理单元执行所述修剪操作而减小的位宽；以及
垂直一维逆变换单元，在所述垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直逆正交变换。
（2）根据（1）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作，以将所述系数调整为根据所述系数的频带的位宽。
（3）根据（1）所述的图像处理装置，还包括：
减法单元，减去彼此相同的频带的系数，所述系数是通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的；以及
加法单元，将通过所述减法单元执行的减法而获得的差值与用在所述减法中的系数之一相加，
其中，所述位宽处理单元对通过所述减法获得的差值执行所述修剪操作，以减小所述差值的位宽，
所述存储单元存储由用在所述减法中的系数之一和具有所述位宽处理单元减小的位宽的差值形成的中间数据，
所述加法单元通过将用在所述减法中的系数之一与具有减小的位宽的差值相加而恢复用在所述减法中的系数中的另一个，所述系数之一和所述差值是从所述存储单元读取的，以及
所述垂直一维逆变换单元对用在所述减法中的系数之一以及用在所述减法中并且通过所述加法单元执行的加法而恢复的系数中的另一个执行所述垂直逆正交变换。
（4）根据（3）所述的图像处理装置，其中，
所述加法单元在所述垂直方向上从所述存储单元一次读取一行的中间数据，以及
所述存储单元存储要由所述加法单元最后读取的行中的用在所述减法中的系数之一。
（5）根据（3）或（4）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为预定位宽。
（6）根据（3）或（4）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作，以将所述差值调整为根据所述差值的频带的位宽。
（7）根据（3）所述的图像处理装置，还包括：均值计算单元，计算同一频带的系数的均值，所述系数是通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的，
其中，所述减法单元计算通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的系数与所述均值计算单元算出的均值之间的差值，
所述位宽处理单元对所述减法单元算出的差值执行所述修剪操作，以减小所述差值的位宽，
所述存储单元存储由所述均值和具有所述位宽处理单元减小的位宽的差值形成的中间数据，
所述加法单元通过将所述差值与所述均值相加而恢复用在所述减法中的系数，所述差值和所述均值是从所述存储单元读取的，以及
所述垂直一维逆变换单元对用在所述减法中的系数执行所述垂直逆正交变换。
（8）根据（7）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为预定位宽。
（9）根据（7）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为根据所述差值的频带的位宽。
（10）根据（1）至（9）中任一项所述的图像处理装置，其中，所述水平一维逆变换单元和所述垂直一维逆变换单元通过彼此不同的变换方法执行逆正交变换。
（11）一种用于图像处理装置的图像处理方法，所述图像处理方法包括：
水平一维逆变换单元，对通过在水平方向和垂直方向上对图像数据执行正交变换而生成的正交变换系数执行水平逆正交变换；
位宽处理单元，对系数执行修剪操作以减小位宽，所述系数是通过所述水平逆正交变换而获得的；
存储单元，将所述系数存储为中间数据，所述系数具有通过所述修剪操作而减小的位宽；以及
垂直一维逆变换单元，在所述垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直逆正交变换。
（12）一种图像处理装置，包括：
水平一维变换单元，对图像数据执行水平正交变换；
位宽处理单元，对系数执行修剪操作以减小位宽，所述系数是通过所述水平一维变换单元执行所述水平正交变换而获得的；
存储单元，将所述系数存储为中间数据，所述系数具有通过所述位宽处理单元执行所述修剪操作而减小的位宽；以及
垂直一维变换单元，在垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直正交变换。
（13）根据（12）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述系数调整为根据所述系数的频带的位宽。
（14）根据（12）所述的图像处理装置，还包括：
减法单元，减去彼此相同的频带的系数，所述系数是通过所述水平一维变换单元执行所述水平正交变换而获得的；以及
加法单元，将通过所述减法单元执行的减法而获得的差值与用在所述减法中的系数之一相加，
其中，所述位宽处理单元对通过所述减法获得的差值执行所述修剪操作，以减小所述差值的位宽，
所述存储单元存储由用在所述减法中的系数之一和具有所述位宽处理单元减小的位宽的差值形成的中间数据，
所述加法单元通过将用在所述减法中的系数之一与具有减小的位宽的差值相加来恢复用在所述减法中的系数中的另一个，所述系数之一和所述差值是从所述存储单元读取的，以及
所述垂直一维变换单元对用在所述减法中的系数之一以及用在所述减法中的并且通过所述加法单元执行的加法而恢复的系数中的另一个执行所述垂直正交变换。
（15）根据（14）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为预定位宽。
（16）根据（14）所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为根据所述差值的频带的位宽。
（17）根据（12）至（16）中任一项所述的图像处理装置，其中，所述水平一维变换单元和所述垂直一维变换单元通过彼此不同的变换方法执行正交变换。
（18）一种用于图像处理装置的图像处理方法，所述图像处理方法包括：
水平一维变换单元，对图像数据执行水平正交变换；
位宽处理单元，对系数执行修剪操作以减小位宽，所述系数是通过所述水平正交变换而获得的；
存储单元，将所述系数存储为中间数据，所述系数具有通过所述修剪操作而减小的位宽；以及
垂直一维变换单元，在垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直正交变换。
附图标记列表
100图像解码装置，104逆正交变换单元，131水平一维逆变换单元，132位宽处理单元，133转置寄存器，134垂直一维逆变换单元，231减法单元，232加法单元，331均值计算单元，400图像编码装置，404正交变换单元，409逆正交变换单元，431水平一维变换单元，432位宽处理单元，433转置寄存器，434垂直一维变换单元，531减法单元，532加法单元

Claims (18)

1.一种图像处理装置，包括：
水平一维逆变换单元，被配置成对通过在水平方向和垂直方向上对图像数据执行正交变换而生成的正交变换系数执行水平逆正交变换；
位宽处理单元，被配置成对系数执行修剪操作以减小位宽，所述系数是通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的；
存储单元，被配置成将所述系数存储为中间数据，所述系数具有通过所述位宽处理单元执行所述修剪操作而减小的位宽；以及
垂直一维逆变换单元，被配置成在所述垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直逆正交变换。
2.根据权利要求1所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作，以将所述系数调整为根据所述系数的频带的位宽。
3.根据权利要求1所述的图像处理装置，还包括：
减法单元，被配置成减去彼此相同的频带的系数，所述系数是通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的；以及
加法单元，被配置成将通过所述减法单元执行的减法而获得的差值与用在所述减法中的系数之一相加，
其中，所述位宽处理单元对通过所述减法获得的差值执行所述修剪操作，以减小所述差值的位宽，
所述存储单元存储由用在所述减法中的系数之一和具有所述位宽处理单元减小的位宽的差值形成的中间数据，
所述加法单元通过将用在所述减法中的系数之一与具有减小的位宽的差值相加而恢复用在所述减法中的系数中的另一个，所述系数之一和所述差值是从所述存储单元读取的，以及
所述垂直一维逆变换单元对用在所述减法中的系数之一以及用在所述减法中并且通过所述加法单元执行的加法而恢复的系数中的另一个执行所述垂直逆正交变换。
4.根据权利要求3所述的图像处理装置，其中，
所述加法单元在所述垂直方向上从所述存储单元一次读取一行的中间数据，以及
所述存储单元存储要由所述加法单元最后读取的行中的用在所述减法中的系数之一。
5.根据权利要求3所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为预定位宽。
6.根据权利要求3所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作，以将所述差值调整为根据所述差值的频带的位宽。
7.根据权利要求3所述的图像处理装置，还包括：均值计算单元，被配置成计算同一频带的系数的均值，所述系数是通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的，
其中，所述减法单元计算通过所述水平一维逆变换单元执行所述水平逆正交变换而获得的系数与所述均值计算单元算出的均值之间的差值，
所述位宽处理单元对所述减法单元算出的差值执行所述修剪操作，以减小所述差值的位宽，
所述存储单元存储由所述均值和具有所述位宽处理单元减小的位宽的差值形成的中间数据，
所述加法单元通过将所述差值与所述均值相加而恢复用在所述减法中的系数，所述差值和所述均值是从所述存储单元读取的，以及
所述垂直一维逆变换单元对用在所述减法中的系数执行所述垂直逆正交变换。
8.根据权利要求7所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为预定位宽。
9.根据权利要求7所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为根据所述差值的频带的位宽。
10.根据权利要求1所述的图像处理装置，其中，所述水平一维逆变换单元和所述垂直一维逆变换单元通过彼此不同的变换方法执行逆正交变换。
11.一种用于图像处理装置的图像处理方法，所述图像处理方法包括：
水平一维逆变换单元，对通过在水平方向和垂直方向上对图像数据执行正交变换而生成的正交变换系数执行水平逆正交变换；
位宽处理单元，对系数执行修剪操作以减小位宽，所述系数是通过所述水平逆正交变换而获得的；
存储单元，将所述系数存储为中间数据，所述系数具有通过所述修剪操作而减小的位宽；以及
垂直一维逆变换单元，在所述垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直逆正交变换。
12.一种图像处理装置，包括：
水平一维变换单元，被配置成对图像数据执行水平正交变换；
位宽处理单元，被配置成对系数执行修剪操作以减小位宽，所述系数是通过所述水平一维变换单元执行所述水平正交变换而获得的；
存储单元，被配置成将所述系数存储为中间数据，所述系数具有通过所述位宽处理单元执行所述修剪操作而减小的位宽；以及
垂直一维变换单元，被配置成在垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直正交变换。
13.根据权利要求12所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述系数调整为根据所述系数的频带的位宽。
14.根据权利要求12所述的图像处理装置，还包括：
减法单元，被配置成减去彼此相同的频带的系数，所述系数是通过所述水平一维变换单元执行所述水平正交变换而获得的；以及
加法单元，被配置成将通过所述减法单元执行的减法而获得的差值与用在所述减法中的系数之一相加，
其中，所述位宽处理单元对通过所述减法获得的差值执行所述修剪操作，以减小所述差值的位宽，
所述存储单元存储由用在所述减法中的系数之一和具有所述位宽处理单元减小的位宽的差值形成的中间数据，
所述加法单元通过将用在所述减法中的系数之一与具有减小的位宽的差值相加来恢复用在所述减法中的系数中的另一个，所述系数之一和所述差值是从所述存储单元读取的，以及
所述垂直一维变换单元对用在所述减法中的系数之一以及用在所述减法中的并且通过所述加法单元执行的加法而恢复的系数中的另一个执行所述垂直正交变换。
15.根据权利要求14所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为预定位宽。
16.根据权利要求14所述的图像处理装置，其中，所述位宽处理单元执行所述修剪操作以将所述差值调整为根据所述差值的频带的位宽。
17.根据权利要求12所述的图像处理装置，其中，所述水平一维变换单元和所述垂直一维变换单元通过彼此不同的变换方法执行正交变换。
18.一种用于图像处理装置的图像处理方法，所述图像处理方法包括：
水平一维变换单元，对图像数据执行水平正交变换；
位宽处理单元，对系数执行修剪操作以减小位宽，所述系数是通过所述水平正交变换而获得的；
存储单元，将所述系数存储为中间数据，所述系数具有通过所述修剪操作而减小的位宽；以及
垂直一维变换单元，在垂直方向上从所述存储单元一次读取一行的中间数据并且执行垂直正交变换。
CN201280022963.0A 2011-05-19 2012-05-11 图像处理装置和方法 Pending CN103535041A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011112314A JP2012244397A (ja) 2011-05-19 2011-05-19 画像処理装置および方法
JP2011-112314 2011-05-19
PCT/JP2012/062088 WO2012157541A1 (ja) 2011-05-19 2012-05-11 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN103535041A true CN103535041A (zh) 2014-01-22

Family

ID=47176861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280022963.0A Pending CN103535041A (zh) 2011-05-19 2012-05-11 图像处理装置和方法

Country Status (4)

Country Link
US (1) US20140056535A1 (zh)
JP (1) JP2012244397A (zh)
CN (1) CN103535041A (zh)
WO (1) WO2012157541A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320668A (zh) * 2014-10-31 2015-01-28 上海交通大学 Hevc/h.265的dct变换和反变换的simd优化方法
CN109076242A (zh) * 2016-05-13 2018-12-21 索尼公司 图像处理设备和方法
CN110546916A (zh) * 2017-07-11 2019-12-06 索尼半导体解决方案公司 固态成像装置和信息处理装置
CN116489370A (zh) * 2022-01-19 2023-07-25 杭州海康威视数字技术股份有限公司 一种系数解码方法、装置、图像解码器及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762921B2 (en) * 2012-12-19 2017-09-12 Qualcomm Incorporated Deblocking filter with reduced line buffer
GB2521349A (en) * 2013-12-05 2015-06-24 Sony Corp Data encoding and decoding
EP3447652A4 (en) * 2016-04-19 2019-05-29 Nec Corporation DIGITAL FILTER DEVICE, METHOD FOR DIGITAL FILTERING AND PROGRAMMING MEDIUM
JP7259280B2 (ja) * 2018-11-19 2023-04-18 株式会社リコー 符号化装置、符号化方法及び符号化プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818972A (ja) * 1994-07-04 1996-01-19 Nippon Telegr & Teleph Corp <Ntt> 画像復号化方法
JP3591994B2 (ja) * 1996-08-01 2004-11-24 日本電気エンジニアリング株式会社 直交変換符号化方式
JP3667481B2 (ja) * 1997-02-10 2005-07-06 日本電気エンジニアリング株式会社 直交変換符号化用適応量子化方式
US8010711B2 (en) * 2007-01-26 2011-08-30 Digital Video Chip, Llc Universal multimedia

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320668A (zh) * 2014-10-31 2015-01-28 上海交通大学 Hevc/h.265的dct变换和反变换的simd优化方法
CN104320668B (zh) * 2014-10-31 2017-08-01 上海交通大学 Hevc/h.265的dct变换和反变换的simd优化方法
CN109076242A (zh) * 2016-05-13 2018-12-21 索尼公司 图像处理设备和方法
CN109076242B (zh) * 2016-05-13 2023-01-03 索尼公司 图像处理设备和方法
CN110546916A (zh) * 2017-07-11 2019-12-06 索尼半导体解决方案公司 固态成像装置和信息处理装置
CN110546916B (zh) * 2017-07-11 2023-07-18 索尼半导体解决方案公司 固态成像装置和信息处理装置
CN116489370A (zh) * 2022-01-19 2023-07-25 杭州海康威视数字技术股份有限公司 一种系数解码方法、装置、图像解码器及电子设备
CN116489370B (zh) * 2022-01-19 2024-10-29 杭州海康威视数字技术股份有限公司 一种系数解码方法、装置、图像解码器及电子设备

Also Published As

Publication number Publication date
JP2012244397A (ja) 2012-12-10
WO2012157541A1 (ja) 2012-11-22
US20140056535A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
TWI703858B (zh) 圖像處理裝置、圖像處理方法、電腦程式及記錄媒體
WO2012165040A1 (ja) 画像処理装置及び画像処理方法
CN102934430A (zh) 图像处理装置和方法
CN103535041A (zh) 图像处理装置和方法
CN103220512A (zh) 图像处理器和图像处理方法
RU2663359C1 (ru) Устройство и способ обработки изображений
CN102823254A (zh) 图像处理设备和方法
JP6527263B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
CN104539969A (zh) 图像处理装置和图像处理方法
CN104380740A (zh) 编码装置、编码方法、解码装置和解码方法
CN102714734A (zh) 图像处理设备和方法
CN106878745B (zh) 图像处理设备和图像处理方法
CN102972026A (zh) 图像处理装置和图像处理方法
KR20200023498A (ko) 화상 처리 장치 및 방법
CN102577390A (zh) 图像处理设备和方法
CN104471944A (zh) 图像处理装置和方法
CN102939757A (zh) 图像处理装置和方法
CN103636214A (zh) 图像处理设备及图像处理方法
CN104662901A (zh) 图像处理装置及方法
CN102939759A (zh) 图像处理设备和方法
CN103907353A (zh) 图像处理设备和方法
CN103548355A (zh) 图像处理装置及方法
CN102301719A (zh) 图像处理装置、图像处理方法和程序
WO2013047325A1 (ja) 画像処理装置および方法
CN103636219A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140122