CN102577388B - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN102577388B
CN102577388B CN201080043968.2A CN201080043968A CN102577388B CN 102577388 B CN102577388 B CN 102577388B CN 201080043968 A CN201080043968 A CN 201080043968A CN 102577388 B CN102577388 B CN 102577388B
Authority
CN
China
Prior art keywords
piece
motion vector
aberration
unit
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080043968.2A
Other languages
English (en)
Other versions
CN102577388A (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43826126&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102577388(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201410815270.8A priority Critical patent/CN104639945B/zh
Priority to CN201410809336.2A priority patent/CN104539969B/zh
Publication of CN102577388A publication Critical patent/CN102577388A/zh
Application granted granted Critical
Publication of CN102577388B publication Critical patent/CN102577388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种能够提高色差信号的编码效率并减少存储器访问的地址计算数量的图像处理装置和方法。在正交变换的块尺寸是4×4并且亮度信号的宏块由添加有0或1的四个4×4像素块构成的情况下，使四个亮度信号块与添加有C的一个色差信号4×4块对应。四个亮度信号块的每一个具有运动矢量信息，即mv0、mv1、mv2和mv3。使用上述运动矢量信息的四个集合，通过平均处理来计算一个色差信号4×4块的运动矢量信息(mvc)。例如，所提供的图像处理装置和方法可以应用于基于H.264/AVC格式编码的图像编码装置。

Description

图像处理装置和方法
技术领域
本发明涉及一种图像处理装置和方法，具体地涉及如下图像处理装置和方法，该图像处理装置和方法实现色差信号的编码效率的提高和存储器访问的地址计算的减少。
背景技术
近年来，如下装置得到了广泛应用：为了执行信息的高效传输和存储，该装置通过采用将图像信息作为数字来处理的编码格式对图像进行压缩编码，并且此时利用作为图像信息的特征的冗余，通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像。该编码格式的示例包括MPEG(运动图像专家组)等。
具体地，MPEG(ISO/IEC13818-2)被定义为通用图像编码格式，并且是涵盖隔行扫描图像和顺序扫描图像以及标准分辨率图像和高清晰度图像的标准。例如，MPEG2现在已被用于专业用途和消费者用途的大范围的应用广泛采用。通过采用MPEG2压缩格式，例如，在具有720×480像素的标准分辨率的隔行扫描图像的情况下分配4Mbps到8Mbps的代码量(比特率)。通过采用MPEG2压缩格式，例如，在具有1920×1088像素的高分辨率的隔行扫描图像的情况下分配18Mbps到22Mbps的代码量(比特率)。因此，可以实现高压缩率和良好的图像质量。
MPEG2主要旨在用于广播用途的高图像质量编码，然而并不处理比MPEG1(即，具有更高压缩率的编码格式)的代码量低的代码量(比特率)。由于个人数字助理的普及，预期对这种编码格式的需求从现在起将会增长，响应于此，执行了MPEG4编码格式的标准化。关于图像编码格式，其规范在1998年12月被确认为国际标准ISO/IEC14496-2。
此外，近年来，以用于电视会议用途的图像编码作为目标，被称作H.26L(ITU-TQ6/16VCEG)的标准的标准化取得了进步。对于H.26L，已知虽然与诸如MPEG2或MPEG4的传统编码格式相比其编码和解码需要更大的计算量，但是其实现了更高的编码效率。此外，当前，作为MPEG4的活动的部分，以H.26L作为用于实现较高编码效率的基础、利用不由H.26L支持的功能的标准化，已被执行为增强压缩视频编码的联合模型。关于标准化的进度，H.264和MPEG-4的第10部分(高级视频编码，下文中称作H.264/AVC)在2003年3月成为国际标准。
此外，作为其扩展，在2005年2月完成了包括诸如RGB、4:2:2或4:4:4的商业用途所需的编码工具、以及由MPEG-2规定的8x8DCT和量化矩阵的FRExt(保真度范围扩展)的标准化。因此，H.264/AVC可以用作能够适当地表达甚至电影中包括的胶片噪声的编码格式，并变得用于诸如蓝光光盘(Blu-RayDisc，注册商标)等的大范围应用。
然而，现在，增加了对进一步高压缩编码的需要，诸如旨在压缩作为具有约4000×2000像素(其是高版本图像的四倍)的图像，或替代地，增加了对进一步高压缩编码的需要，诸如旨在将高版本图像分发到类似因特网的具有有限传输能力的环境内。因此，利用在以上提到的ITU-T的控制下的VCEG(＝视频编码专家组)，已经持续进行了关于编码效率的提高的研究。
现在，利用根据H.264/AVC格式的运动预测补偿，通过执行具有四分之一像素精度预测/补偿处理提高预测效率。
例如，利用MPEG2格式，通过线性插值处理来执行半像素精度运动预测/补偿处理。另一方面，利用H.264/AVC格式，执行使用6抽头FIR(有限脉冲响应滤波器)滤波器作为插值滤波器的四分之一像素精度预测/补偿处理。
图1是用于描述利用H.264/AVC格式的四分之一像素精度的预测/补偿处理的图。利用H.264/AVC格式，使用6抽头FIR(有限脉冲响应滤波器)滤波器来执行四分之一像素精度预测/补偿处理。
在图1的示例中，位置A表示整数精度像素位置，位置b、c和d表示半像素精度位置，并且位置e1、e2和e3表示四分之一像素精度位置。首先，以下Clip()被定义为如下表达式(1)。
[数学表达式1]
注意，在输入图像具有8比特精度的情况下，max_pix的值是255。
使用6抽头FIR滤波器，根据以下表达式(2)生成位置b和d处的像素值。
[数学表达式2]
F＝A-2-5·A-1+20·A0+20·A1-5·A2+A3
b，d＝Clipl((F+16)＞＞5)...2)
在水平方向和竖直方向上，使用6抽头FIR滤波器，根据以下表达式(3)生成位置c处的像素值。
[数学表达式3]
F＝b-2-5·b-1+20·b0+20·b1-5·b2+b3
或
F＝d-2-5·d-1+20·d0+20·d1-5·d2+d3
c＝Clip1((F+512)＞＞10)...(3)
注意，在水平方向和竖直方向上执行了乘积和处理之后，仅在末尾处执行一次Clip处理。
根据以下表达式(4)，通过线性插值生成位置e1至e3。
[数学表达式4]
e1＝(A+b+1)＞＞1
e2＝(b+d+1)＞＞1
e3＝(b+c+1)＞＞1...(4)
图2是描述利用H.264/AVC格式关于色差信号的预测/补偿处理的图。利用H.264/AVC格式，如以上参照图1所述执行四分之一像素预测/补偿处理，但是在4:2:0信号的情况下，关于色差信号执行1/8像素精度预测/补偿处理。
在图2的示例中，黑点是存储在帧存储器中的整数像素精度的像素，并且赋予黑点的A至D表示像素的像素值。如果我们说白点的位置(dx，dy)是由用A至D指示的像素围绕的矩形区域内的1/8像素精度的运动矢量信息指示的位置，则根据以下表达式(5)生成白点的位置处的预测像素值v。
[数学表达式5]
v = ( s - d x ) ( s - d y ) A + d x ( s - d y ) B + ( s - d x ) d y C + d x d y D s 2 - - - ( 5 )
其中s＝8。
此外，在获得具有高编码效率的压缩图像时，用何种处理来选择如上所述的小数像素精度中获得的运动矢量是重要的。该处理的一个示例是NPL1中公开的称作JM(联合模型)的参考软件(referencesoftware)中实现的方法。
接着，将参照图3描述JM中的实现的运动搜索方法。
在图3的示例中，像素A至I表示具有整数像素精度的像素值的像素(下文中被称作整数像素精度像素)。像素1至8是像素E周围的具有半像素精度的像素值的像素(下文中被称作半像素精度像素)。像素a至h是像素6周围的四分之一像素精度的像素值的像素(下文中被称作四分之一像素精度像素)。
利用JM，在第一步骤中，获得预定搜索范围内成本函数值诸如SAD(绝对差的和)最小的运动矢量。假定与以这种方式获得的运动矢量对应的像素是像素E。
接着，在第二步骤中，从像素E以及围绕像素E的半像素精度的像素1至8获得具有使上述成本函数值最小的像素值的像素，并且以该像素(在图2中的示例的情况下为像素6)作为与半像素精度的最佳运动矢量对应的像素。
然后，在第三步骤中，从像素6以及围绕像素6的四分之一像素精度的像素a至h获得具有使上述成本函数值最小的像素值的像素。因此，与所获得的像素对应的运动矢量是四分之一像素精度的最佳运动矢量。
如上所述，利用H.264/AVC格式执行四分之一像素精度预测/补偿处理，并针对此四分之一像素精度预测/补偿处理提出了用于进一步提高编码效率的多个技术。
例如，利用H.264/AVC格式，已经预先确定了用以关于以上参照图1所述的小数像素精度运动矢量生成采样位置的像素值的用于插值滤波器的滤波器系数，如NPL2中所述。
因此，NPL3中提出了适应性地切换滤波器系数使得对于每个预测帧而言预测残差最小。
也就是说，在NPL3中，首先，在第一步骤中，执行通常的H.264/AVC格式运动预测处理，并针对每个运动补偿块计算运动矢量值。
在第二步骤中，执行滤波器优化使得对于在第一步骤中获得的运动矢量值而言运动残差最小。
然后，在第三步骤中，使用在第二步骤中获得的滤波器系数再次执行运动搜索，并更新运动矢量值。因此，可以提高编码效率。
可以通过进一步重复以上步骤来优化滤波器系数和运动矢量值。
此外，如上所述，在H.264/AVC格式中宏块尺寸被定义为16×16像素。然而，诸如在作为新一代代编码格式的目标的UHD(超高清晰度；4000像素×2000像素)中，16×16像素的宏块尺寸对于大图像帧而言不是最佳的。
因此，例如在NPL4等中提出了将宏块尺寸扩展到32像素×32像素的尺寸。
注意，在下文中也使用上述图1至图3描述本发明。
引用列表
非专利文献
NPL1：H.264/AVCSoftwareCoordination，InstitutNachrichtentechnikHeinrich-Hertz-Institut，(2009年8月24日搜索)，因特网网址<URL：http://iphome.hhi.de/suehring/tml/index.htm>
NPL2：″8.4.2.2.1Lumasampleinterpolationprocess″，″ITU-TRecommendationH.264Advancedvideocodingforgenericaudiovisual″，P162-P164，2007年11月
NPL3：″PredictionofP-andB-FramesUsingaTwo-dimensionalNon-separableAdaptiveWienerInterpolationforH.264/AVC″，VCEG-AD08，ITU-TelecommunicationsStandardizationSectorSTUDYGROUPQuestion6VideocodingExpertsGroup(VCEG)，23-27，2006年10月
NPL4：″VideoCodingUsingExtendedBlockSizes″，VCEG-AD09，ITU-TelecommunicationsStandardizationSectorSTUDYGROUPQuestion16-Contribution123，2009年1月
发明内容
当前，在亮度信号的运动补偿块是4×4像素的情况下，如果输入信号是4:2:0，则色差信号的运动补偿块将是2×2像素。
然而，在H.264/AVC格式中规定的正交变换的最小单位是4×4像素。因此，在色差信号运动补偿块是2×2像素的情况下，这意味着在正交变换块内将存在运动补偿块之间的边界。
此外，在运动补偿块是2×2像素的情况下，必需以这些增量执行用于存储器访问的地址计算，这将会压迫编码侧和解码侧装置处的存储器带宽。
此事实不限于亮度信号的运动补偿块是4×4像素的情况，并且还存在于8×4像素和4×8像素的情况。
鉴于此情形做出了本发明，并且本发明使得能够实现色差信号的编码效率的提高以及用于存储器访问的地址计算的减少。
根据本发明的第一方面的图像处理装置包括：运动预测装置，被配置成执行要编码的亮度块的运动预测，并生成运动矢量；块确定装置，被配置成将与已由所述运动预测装置关于其生成了运动矢量的亮度块对应的色差块归类到基于正交变换的块尺寸的类别；以及色差运动矢量生成装置，被配置成在所述色差块已被所述块确定装置归类到尺寸小于正交变换的块尺寸的类别的情况下，关于多个所述亮度块对应单个色差块，以便生成所述单个色差块的运动矢量。
色差运动矢量生成装置可以使用由运动预测装置生成的多个亮度块的运动矢量中的至少一个生成单个色差块的运动矢量。
色差运动矢量生成装置可以按照使用由运动预测装置生成的多个亮度块的运动矢量中的至少一个的函数生成单个色差块的运动矢量。
图像处理装置还可以包括：编码装置，被配置成对由运动预测装置生成的亮度块的运动矢量的信息进行编码；其中，色差运动矢量生成装置按照使用由运动预测装置所获得的多个所述亮度块的运动矢量中的至少一个的函数，来生成单个色差块的预测运动矢量，并获得已生成的所述预测运动矢量与从以所述预测运动矢量为中心的预定范围搜索到的所述单个色差块的运动矢量之间的差；并且其中，编码装置对由色差运动矢量生成装置获得的所述差的信息进行编码。
在色差块被块确定装置归类到尺寸等于或大于正交变换块尺寸的类别的情况下，运动预测装置可以按照基于编码标准的方法生成色差块的运动矢量。
根据本发明的第一方面的图像处理方法包括步骤：利用图像处理装置，执行要编码的亮度块的运动预测，并生成运动矢量，将与已关于其生成了所述运动矢量的所述亮度块对应的色差块归类到基于正交变换的块尺寸的类别，以及在已将所述色差块归类到尺寸小于正交变换的块尺寸的类别的情况下，关于多个所述亮度块对应单个色差块，以便生成所述单个色差块的运动矢量。
根据本发明的第二方面的图像处理装置包括：解码装置，被配置成对要解码的亮度块的预测模式的信息进行解码；块确定装置，被配置成基于由所述解码装置解码的所述预测模式的信息所指示的所述亮度块的尺寸，将与所述亮度块对应的色差块归类到与正交变换的块尺寸对应的类别；以及色差运动矢量生成装置，被配置成在所述色差块已被所述块确定装置归类到尺寸小于正交变换的块尺寸的类别的情况下，关于多个所述亮度块对应单个色差块，以便生成所述单个色差块的运动矢量。
解码装置可以对亮度块的运动矢量的信息进行解码；其中，色差运动矢量生成装置使用由解码装置解码的多个亮度块的运动矢量中的至少一个生成单个色差块的运动矢量。
色差运动矢量生成装置按照使用由解码装置解码的多个亮度块的运动矢量中的至少一个的函数生成单个色差块的运动矢量。
解码装置对如下矢量之间的差的信息进行解码：通过使用在编码侧编码的多个所述亮度块的运动矢量计算平均值而生成的所述单个色差块的预测运动矢量，以及从以所述预测运动矢量为中心的预定范围搜索的所述单个色差块的运动矢量；并且其中，所述色差运动矢量生成装置按照使用由所述运动预测装置获得的多个所述亮度块的运动矢量中的至少一个的函数生成所述单个色差块的预测运动矢量，并将已生成的所述预测运动矢量与由所述解码装置解码的所述差的信息相加，来生成所述单个色差块的的运动矢量。
图像处理装置还可以包括：预测图像生成装置，被配置成使用亮度块的运动矢量生成亮度块的预测图像；其中，在色差块被块确定装置归类到尺寸等于或大于正交变换块尺寸的类别的情况下，预测图像生成装置按照基于编码标准的方法生成色差块的运动矢量，并生成色差块的预测图像。
根据本发明的第二方面的图像处理方法包括步骤：图像处理装置执行以下操作，对要解码的亮度块的预测模式的信息进行解码；基于由已解码的所述预测模式的信息所指示的所述亮度块的尺寸，将与所述亮度块对应的色差块归类到与正交变换的块尺寸对应的类别；以及在所述色差块已被归类到尺寸小于正交变换的块尺寸的类别的情况下，关于多个所述亮度块对应单个色差块，以便生成所述单个色差块的运动矢量。
根据本发明的第三方面，一种使用根据本发明的第二方面的图像处理装置的电视接收器。
根据本发明的第四方面，一种使用根据本发明的图像处理装置的移动电话。
根据本发明的第五方面，一种使用根据本发明的图像处理装置的硬盘记录器。
根据本发明的第六方面，一种使用根据本发明的图像处理装置的照相机。
根据本发明的第一方面，执行对要编码的亮度块的运动预测，生成运动矢量，并将与关于其已生成运动矢量的亮度块对应的色差块归类到基于正交变换的块尺寸的类别。此外，在色差块被归类到尺寸小于正交变换的块尺寸的类别的情况下，关于多个亮度块使单个色差块对应，并针对单个色差块生成运动矢量。
根据本发明的第二方面，对要解码的亮度块的预测模式的信息进行解码，并基于由已经解码的预测模式的信息所指示的亮度块的尺寸，将与亮度块对应的色差块归类到与正交变换的块尺寸对应的类别。此外，在将色差块归类到尺寸小于正交变换的块尺寸的类别的情况下，关于多个亮度块使单个色差块对应，并针对单个色差块生成运动矢量。
注意，上述图像处理装置可以是独立的装置，或可以是构成单个图像编码装置或图像解码装置的内部块。
发明的有益效果
根据本发明的第一方面，可以提高色差信号的编码效率。此外，根据本发明的第一方面，可以减少用于存储器访问的地址计算。
根据本发明的第二方面，可以提高色差信号的编码效率。此外，根据本发明的第二方面，可以减少用于存储器访问的地址计算。
附图说明
图1是说明根据H.264/AVC格式的四分之一像素精度运动预测/补偿处理的图。
图2是说明根据H.264/AVC格式的色差信号的运动预测/补偿处理的图。
图3是说明根据H.264/AVC格式的运动搜索方法的图。
图4是示出应用本发明的图像编码装置的实施例的配置的框图。
图5是用于说明具有可变的块尺寸的运动预测/补偿处理的图。
图6是用于说明多参考帧的运动预测/补偿格式的图。
图7是用于说明运动矢量信息生成方法的示例的图。
图8是示出图4中的运动预测/补偿单元和色差运动矢量确定单元的配置示例的框图。
图9是说明色差信号的运动预测处理的图。
图10是用于说明图4中的图像编码装置的编码处理的流程图。
图11是用于说明图10中的步骤S21中的预测处理的流程图。
图12是用于说明图11中的步骤S31中的帧内预测处理的流程图。
图13是用于说明图11中的步骤S32中的使用亮度信号的帧间运动预测处理的流程图。
图14是用于说明图11中的步骤S34中的关于色差信号的运动预测处理的流程图。
图15是示出图4中的运动预测/补偿单元和色差运动矢量确定单元的另一配置示例的框图。
图16是用于说明图11中的步骤S34中的关于色差信号的运动预测处理的另一示例的流程图。
图17是示出应用本发明的图像解码装置的实施例的配置的框图。
图18是示出图17中的运动预测/补偿单元和色差运动矢量确定单元的配置示例的框图。
图19是用于说明图17中的图像解码装置的解码处理的流程图。
图20是用于说明图19中的步骤S138中的预测处理的流程图。
图21是用于说明图20中的步骤S176中的关于色差信号的运动补偿处理的流程图。
图22是用于说明图20中的步骤S176中的关于色差信号的运动补偿处理的另一示例的流程图。
图23是示出扩展的块尺寸的示例的图。
图24是示出4:2:2的输入信号的情况的示例的图。
图25是示出计算机的硬件的配置示例的框图。
图26是示出应用本发明的电视接收器的主要配置示例的框图。
图27是示出应用本发明的移动电话的主要配置示例的框图。
图28是示出应用本发明的硬盘记录器的主要配置示例的框图。
图29是示出应用本发明的照相机的主要配置示例的框图。
具体实施方式
下文中，将参照附图说明本发明的实施例。
[图像编码装置的配置示例]
图4表示用作应用本发明的图像处理装置的图像编码装置的实施例的配置。
该图像编码装置51输入有例如4:2:0格式输入信号的图像，并使用H.264和MPEG-4第10部分(高级视频编码)(下文中，记作H.264/AVC)格式对该输入图像进行压缩编码。
在图4的示例中，图像编码装置51包括：A/D转换单元61、画面重排缓冲器62、计算单元63、正交变换单元64、量化单元65、无损编码单元66、存储缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、解块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、色差块确定单元76、色差运动矢量确定单元77、预测图像选择单元78、以及速率控制单元79。
A/D转换单元61将输入图像从模拟转换成数字，并输出到画面重排缓冲器62来存储。画面重排缓冲器62将用于显示的存储次序的帧的图像排序成用于根据GOP(图像组)编码的帧的次序。
计算单元63从自画面重排缓冲器62读出的图像中减去由预测图像选择单元78选择的来自帧内预测单元74的预测图像或来自运动预测/补偿单元75的预测图像，并将其差信息输出至正交变换单元64。正交变换单元64对来自计算单元63的差信息进行正交变换(诸如离散余弦变换、KL变换等)，并输出其变换系数。量化单元65对正交变换单元64输出的变换系数进行量化。
作为量化单元65的输出的量化的变换系数被输入到无损编码单元66，并对其进行无损编码(诸如可变长编码、算术编码等)和压缩。
无损编码单元66从帧内预测单元74获得指示帧内预测的信息，并从运动预测/补偿单元75获得指示帧间预测模式的信息等。注意，下文中，指示帧内预测的信息和指示帧间预测的信息将分别被称作帧内预测模式信息和帧间预测模式信息。
无损编码单元66对量化的变换系数进行编码，还对指示帧内预测的信息、指示帧间预测模式的信息等进行编码，并将这些用作压缩图像中的头信息部分。无损编码单元66将编码的数据提供给存储缓冲器67来存储。
例如，利用无损编码单元66执行诸如可变长编码、算术编码等的无损编码处理。可变长编码的示例包括通过H.264/AVC格式确定的CAVLC(基于上下文的自适应变长编码)。算术编码的示例包括CABAC(基于上下文的自适应二进制编码)。
存储缓冲器67将从无损编码单元66提供的数据输出到例如图中未示出的下游存储装置或传输路径等，作为通过H.264/AVC格式编码的压缩图像。
此外，从量化单元65输出的量化的变换系数还被输入至逆量化单元68，对其进行逆量化，然后在逆正交变换单元69处进一步进行逆正交变换。通过计算单元70将经过了逆正交变换的输出与从预测图像选择单元78提供的预测图像相加，并将该经过了逆正交变换的输出变成局部解码的图像。解块滤波器71从该解码的图像去除块失真，然后提供给帧存储器72来存储。还将解块滤波器71执行解块滤波处理之前的图像提供给帧存储器72来存储。
开关73将存储在帧存储器72中的参考图像输出到运动预测/补偿单元75或帧内预测单元74。
利用该图像编码装置51，例如，将来自画面重排缓冲器62的I图片、B图片和P图片提供给帧内预测单元74作为要进行帧内预测(还称作帧内处理)的图像。此外，将从画面重排缓冲器62读出的B图片和P图片提供给运动预测/补偿单元75作为要进行帧间预测(还称作帧间处理)的图像。
帧内预测单元74基于从画面重排缓冲器62读出的要进行帧内预测的图像以及从帧存储器72提供的参考图像来执行所有候选帧内预测模式的帧内预测处理，以生成预测图像。
此时，帧内预测单元74关于所有候选帧内预测模式计算成本函数值，并选择所计算出的成本函数值提供最小值的帧内预测模式作为最佳帧内预测模式。稍后，将参照图12说明该成本函数值的细节。
帧内预测单元74将以最佳帧内预测模式生成的预测图像和其成本函数值提供给预测图像选择单元78。在预测图像选择单元78选择了以最佳帧内预测模式生成的预测图像的情况下，帧内预测单元74将指示最佳帧内预测模式的信息提供给无损编码单元66。无损编码单元66对该信息进行编码，并以其作为压缩图像中的头信息部分。
向运动预测/补偿单元75提供从画面重排缓冲器62读出的要进行帧间处理的图像，以及经由开关73从帧存储器72提供的参考图像。运动预测/补偿单元75使用亮度信号针对所有候选帧间预测模式执行块运动预测，生成每个块的运动矢量，并存储这些运动矢量。
运动预测/补偿单元75使用已预测的块的运动矢量，关于所有候选帧间预测模式计算成本函数值。运动预测/补偿单元75将对块提供所计算出的成本函数值之中的最小值的的预测模式确定为最佳帧间预测模式，并将确定的预测模式的信息提供给色差块确定单元76。
运动预测/补偿单元75基于最佳帧间预测模式的运动矢量对参考图像进行补偿处理，并生成当前亮度信号块(下文中，还被适当地称作亮度块或亮度信号块)的预测图像。在从色差运动矢量确定单元77提供了控制信号的情况下，运动预测/补偿单元75通过H.264/AVC格式生成当前色差信号块(下文中，还被适当地称作色差块或色差信号块)的运动矢量。然后，运动预测/补偿单元75使用所生成的运动矢量来生成色差信号块的预测图像。此外，在从色差运动矢量确定单元77提供了色差运动矢量信息的情况下，运动预测/补偿单元75使用由该信息指示的色差信号的运动矢量来生成色差信号块的预测图像。
运动预测/补偿单元75将已生成的最佳帧间预测模式的当前块(亮度信号块和色差信号块)的预测图像和其成本函数值提供给预测图像选择单元78。在预测图像选择单元78选择了最佳帧间预测模式中的当前块的预测图像的情况下，运动预测/补偿单元75将指示最佳帧间预测模式的信息(帧间预测模式信息)输出到无损编码单元66。
此时，还将运动矢量信息、参考帧信息等输出到无损编码单元66。无损编码单元66还对来自运动预测/补偿单元75的信息进行无损编码处理(诸如可变长编码或算术编码)，并将其插入到压缩图像的头部分。
色差块确定单元76根据来自运动预测/补偿单元75的预测模式的信息所指示的亮度信号块的块尺寸来确定色差信号块的块尺寸。色差块确定单元76将已确定的色差块尺寸的信息提供给色差运动矢量确定单元77。
在图4的示例中，输入信号是4:2:0，所以在亮度信号块的块尺寸是8×8像素时，色差块确定单元76确定对应的色差信号块的块尺寸是4×4像素。
基于来自色差块确定单元76的色差块尺寸的信息，色差运动矢量确定单元77对色差信号块属于两个类别中的哪个类别进行归类。例如，块尺寸为4×4像素或更大的色差信号块属于第一类别。块尺寸小于4×4像素的色差信号块属于第二类别。
在色差信号块被归类到第一类别的情况下，色差运动矢量确定单元77将控制信号提供给运动预测/补偿单元75，以根据H.264/AVC格式执行色差信号的运动预测。另一方面，在色差信号块被归类到第二类别的情况下，色差运动矢量确定单元77关于多个亮度信号块对应单个色差信号块，并以其为单位对色差信号执行运动矢量生成。例如，通过运动预测/补偿单元75生成与多个亮度信号块对应的单个色差信号块的运动矢量，并且该运动矢量是使用所存储的多个亮度信号块的运动矢量中的至少一个生成的。将所生成的色差运动矢量的信息提供给运动预测/补偿单元75。
注意，可以如下布置：在该布置中，关于对应于多个亮度信号块的单个色差信号块执行运动搜索，生成关于使用如上所述的多个亮度信号块的运动矢量生成的运动矢量的差信息，并将其发送到解码侧。在此情况下，将所生成的差信息提供给无损编码单元66，如虚线所示。
预测图像选择单元78基于从帧内预测单元74或运动预测/补偿单元模式75输出的成本函数值，从最佳帧内预测模式和最佳帧间预测模式中确定最佳预测模式。然后，预测图像选择单元78选择所确定的最佳预测模式中的预测图像，并提供给计算单元63和70。此时，预测图像选择单元78将预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元75。
速率控制单元79基于存储在存储缓冲器67中的压缩图像来控制量化单元65的量化操作的速率，从而不会导致上溢或下溢。
注意，下文中，当对块、亮度信号块、色差信号块等进行简单说明时，其表示用于运动预测/补偿的块。
[H.264/AVC格式的说明]
图5是示出根据H.264/AVC格式的运动预测/补偿的块尺寸的示例的图。对于H.264/AVC格式，以块尺寸作为变量来执行运动预测/补偿。
在图5中的上层按顺序从左开始示出被分割成16×16像素分区、16×8像素分区、8×16像素分区和8×8像素分区的、由16×16像素构成的宏块。此外，在图5中的下层按顺序从左开始示出被分割成8×8像素子分区、8×4像素子分区、4×8像素子分区和4×4像素子分区的8×8像素分区。
具体地，对于H.264/AVC格式，一个宏块可以被分割成16×16像素分区、16×8像素分区、8×16像素分区和8×8像素分区中的一个，其中每个分区具有独立的运动矢量信息。此外，8×8像素分区可以被分割成8×8像素子分区、8×4像素子分区、4×8像素子分区和4×4像素子分区中的一个，其中每个子分区具有独立的运动矢量信息。
图6是用于说明根据H.264/AVC格式的多个参考帧的预测/补偿处理的图。对于H.264/AVC格式，确定了多个参考帧(Multi-ReferenceFrame)的运动预测/补偿方法。
利用图6的示例，示出了从现在起要编码的当前帧Fn、以及已编码的帧Fn-5至Fn-1。在时间轴上，帧Fn-1是在当前帧Fn之前一个帧的帧，帧Fn-2是在当前帧Fn之前两个帧的帧，并且帧Fn-3是在当前帧Fn之前三个帧的帧。类似地，帧Fn-4是在当前帧Fn之前四个帧的帧，并且帧Fn-5是在当前帧Fn之前五个帧的帧。一般地，帧在时间轴上与当前帧Fn越靠近，要添加的参考图片编号(ref_id)越小。具体地，帧Fn-1具有最小的参考图片编号，下文中，参考图片编号按照Fn-2，...，Fn-5的顺序变小。
对于当前帧Fn，示出了块A1和块A2，在假定块A1与作为当前帧Fn之前两个帧的帧Fn-2的块A1′相关的情况下，搜索运动矢量V1。类似地，在假定块A2与作为当前帧Fn之前四个帧的帧Fn-4的块A2′相关的情况下，搜索运动矢量V2。
如上所述，对于H.264/AVC格式，利用存储在存储器中的多个参考帧可以在一帧(图片)中参考不同的参考帧。具体地，例如，使得块A1参考帧Fn-2，块A2参考帧Fn-4，针对一个图片中的每个块可以提供独立的参考帧信息(参考图片编号(ref_id))。
这里，块指示以上参照图5说明的16×16像素分区、16×8像素分区、8×16像素分区和8×8像素分区中的一个。8×8像素子块分区内的参考帧必须一致。
利用H.264/AVC格式，通过执行以上参照图1说明的四分之一像素精度运动预测/补偿处理以及以上参照图5和图6说明的运动预测/补偿处理，生成大量的运动矢量信息。如果对这些大量的运动矢量信息无改变地编码，则这将会导致编码效率的恶化。关于这一点，利用H.264/AVC格式，根据图7所示的方法，实现了运动矢量编码信息的减少。
图7是用于说明根据H.264/AVC格式的运动矢量信息生成方法的图。
利用图7的示例，示出了从现在起要编码的当前块E(例如，16×16像素)、以及与当前块E邻接的已编码的块A至D。
具体地，块D与当前块E的左上侧邻接，块B与当前块E的上侧邻接，块C与当前块E的右上侧邻接，并且块A与当前块E的左侧邻接。注意，块A至D未被分割的原因是因为每个块代表具有以上参照图4说明的16×16像素至4×4像素的一个结构的块。
例如，假定用mvX表示关于X(＝A，B，C，D，E)的运动矢量信息。首先，通过使用关于块A、B和C的运动矢量信息的中值预测，根据以下表达式(6)生成关于当前块E的预测运动矢量信息pmvE。
pmvE＝med(mvA，mvB，mvC)...(6)
由于诸如图像帧的边缘、编码之前等的原因可以不使用关于块C的运动矢量信息(会不可用)。在此情况下，使用关于块D的运动矢量信息来替代关于块C的运动矢量信息。
使用pmvE根据以下表达式(7)生成用作关于当前块E的运动矢量
mvdE＝mvE-pmvE...(7)
注意，实际上，关于运动矢量信息的水平方向和竖直方向上的分量中的每一个单独执行处理。
以这种方式，生成预测运动矢量信息，并将基于与邻接块的相关性生成的预测运动矢量信息与运动矢量信息之间的差添加到压缩图像的头部分，由此可以减少运动矢量信息。
[运动预测/补偿单元和色差运动矢量确定单元的配置示例]
图8是示出运动预测/补偿单元75和色差运动矢量确定单元77的详细配置示例的框图。注意，图8省略了图4中的开关73。
在图8的示例中，运动预测/补偿单元75由运动搜索单元81、模式确定单元82和运动补偿单元83构成。
色差运动矢量确定单元77由块分类单元91和色差运动矢量生成单元92构成。
将来自帧存储器72的参考图像像素值提供给运动搜索单元81、模式确定单元82和运动补偿单元83。此外，将来自画面重排缓冲器62的用于帧间处理的图像(输入图像)像素值提供给运动搜索单元81和模式确定单元82。
运动搜索单元81使用用于帧间处理的图像和整数像素精度的参考图像像素值，来关于所有候选帧间预测模式执行亮度信号的每个当前块的运动搜索。注意，基于以上参照图3说明的JM(联合模型)中实现的运动搜索方法，在运动搜索单元81处获得整数像素精度运动矢量，并获得小数像素精度运动矢量。将通过运动搜索单元81关于亮度信号的每个当前块获得的每个运动矢量信息提供给模式确定单元82。
针对运动搜索单元81已关于其获得了运动矢量的所有候选帧间预测模式，模式确定单元82使用用于帧间处理的图像和整数像素精度的参考图像像素值来计算稍后参照图12说明的成本函数值。模式确定单元82将得到所计算出的成本函数值的最小值的帧间预测模式确定为该当前块的最佳帧间预测模式。
模式确定单元82将所确定的最佳帧间预测模式的信息和与其对应的运动矢量信息提供给运动补偿单元83。模式确定单元82还将所确定的最佳帧间预测模式的信息提供给色差块确定单元76。
此外，在预测图像选择单元78选择了最佳帧间预测模式的预测图像的情况下，模式确定单元82将最佳帧间预测模式的信息、对应于计算成本函数值时获得的最佳帧间预测模式的运动矢量的差信息、参考帧信息等提供给无损编码单元66。
运动补偿单元83基于来自模式确定单元82的最佳帧间预测模式的运动矢量对参考图像进行补偿处理，并生成当前亮度信号块的预测图像。此外，在从块分类单元91提供了控制信号的情况下，运动补偿单元83根据H.264/AVC格式生成色差信号运动矢量，并且使用所生成的运动矢量来执行补偿处理并生成当前色差信号块的预测图像。在从色差运动矢量生成单元92提供了色差运动矢量信息的情况下，运动补偿单元83使用由该信息指示的色差信号的运动矢量来执行补偿处理，并生成当前色差信号块的预测图像。
运动补偿单元83将最佳帧间预测模式的当前块的所生成的预测图像和其成本函数值提供给预测图像选择单元78。注意，该成本函数值可以是正提供的由模式确定单元82计算出的成本函数值，或者可以在运动补偿单元83处再次获得并提供给预测图像选择单元78。
基于来自色差块确定单元76的色差块尺寸的信息，块分类单元91对于色差信号块属于两个类别中的哪个类别进行归类。在色差信号块被归类到第一类别的情况下，块分类单元91将控制信号提供给运动补偿单元83，并使得在此根据H.264/AVC格式执行色差信号的运动预测。此外，在色差信号块被归类到第二类别的情况下，块分类单元91将控制信号提供给色差运动矢量生成单元92，并使得在此执行色差信号运动预测。
色差运动矢量生成单元92基于来自块分类单元91的控制信号，使得单个色差信号块对应于多个亮度信号块。然后，色差运动矢量生成单元92使用从模式确定单元82获得的多个亮度信号块的运动矢量信息来生成对应的单个色差信号块的运动矢量。色差运动矢量生成单元92将所生成的色差信号运动矢量信息提供给运动补偿单元83。
[色差信号运动预测处理的说明]
现在，将再次参照图5详细地说明色差信号运动预测处理。
在运动预测/补偿单元75处，根据图5中示出的运动分区(块)尺寸或子运动分区尺寸之一来执行运动预测/补偿处理。注意，图5中示出的尺寸与亮度信号相关，并且在输入图像信号是4:2:0格式的情况下，关于色差信号的块的水平和竖直尺寸均为关于亮度信号的块的水平和竖直尺寸的1/2。
将与已经对亮度信号进行了运动预测的块尺寸相关的信息(即，预测模式的信息)提供给色差块确定单元76。在色差块确定单元76处，根据预测模式信息所指示的亮度信号的当前块的块尺寸来辨别色差信号的当前块的块尺寸，并且将辨别出的色差块尺寸的信息提供给块分类单元91。
在块分类单元91处，当前块被归类到上述两个类别。也就是说，图5中的亮度信号的块尺寸中的16×16像素、16×8像素、8×16像素和8×8像素的尺寸之一的块属于第一类别。此外，亮度信号的块尺寸中的其它尺寸的块属于第二类别。
此外，在输入信号是4:2:0的情况下，在色差信号的块尺寸中的8×8像素、8×4像素、4×8像素和4×4像素的尺寸之一的块属于第一类别。此外，色差信号的块尺寸中的其它尺寸(即，4×2像素、2×4像素和2×2像素)的块属于第二类别。
现在，正交变换单元64执行的正交变换的块尺寸是4×4像素。也就是说，块分类单元91将色差信号的块归类到基于正交变换块尺寸的类别。换言之，第一类别是尺寸等于或大于正交变换块尺寸的块所属的类别，第二类别是小于正交变换块尺寸的块所属的类别。
关于以这种方式被归类到第一类别的当前块，块分类单元91将控制信号提供给运动补偿单元83，该控制信号使得执行根据H.264/AVC格式的色差信号运动预测。
另一方面，关于以这种方式被归类到第二类别的当前块，块分类单元91将控制信号提供给色差运动矢量生成单元92，该控制信号使得执行接下来参照图9说明的色差信号运动预测。
图9是用于说明色差运动矢量生成单元92处的色差信号运动预测处理的图。注意，图9中的A示出了亮度信号的宏块由四个4×4像素块构成的情况下的色差信号的示例。图9中的B示出了亮度信号的宏块由两个8×4像素块构成的情况下的色差信号的示例。图9中的C示出了亮度信号的宏块由两个4×8像素块构成的情况下的色差信号的示例。
首先，在亮度信号的宏块由添加有0到3的四个4×4像素块构成的情况下，这四个亮度信号块与添加有C的单个色差信号4×4块对应，如图9中的A所示。
以供参考，在H.264/AVC格式的情况下，色差信号由四个2×2块构成。也就是说，单个色差信号4×4块与四个亮度信号块、而不是与编码协定中对应的四个色差信号2×2块重新对应。为了进一步重申这一点，重新使得单个色差信号4×4块与四个亮度信号块对应。
此时，关于四个亮度信号块，存在四个运动矢量信息mv0、mv1、mv2和mv3。色差运动矢量生成单元92使用这四个运动矢量信息，如以下表达式(8)所示计算上述的一个色差信号4×4块的运动矢量信息mvC。
mvC＝f(mv0，mv1，mv2，mv3)...(8)
在表达式(8)中，针对f()例如利用平均执行处理。在此情况下，在色差运动矢量生成单元92处，针对水平分量和竖直分量的每一个计算运动矢量信息mvC，如后面的表达式(9)所示。
[数学表达式6]
mv c = mv 0 + mv 1 + mv 2 + mv 3 + 4 8 - - - ( 9 )
注意，在输入信号为4:2:0格式的情况下，色差信号仅具有关于亮度信号的分辨率的一半，所以在表达式(9)的右侧，除以8(/8)而不是除以4(/4)。
替代地，使用根据以下表达式(10)计算出的关于色差信号的预测运动矢量信息pmvc以及来自关于色差信号执行的运动搜索的运动矢量信息mvc，如以下表达式(11)那样获得运动矢量差信息dmvc。
pmvc＝f(mv0，mv1，mv2，mv3)...(10)
同样在表达式(10)中，针对f()执行例如如表达式(9)所示的利用平均的处理。
dmvc＝mvc-pmvc...(11)
可以将该运动矢量差信息发送到解码侧。注意，稍后将参照图15和图16说明其细节。
可以针对Cb/Cr两者或针对Cb/Cr的每一个单独地执行色差信号的上述运动预测处理。也就是说，可以使Cb/Cr两者具有单个运动矢量信息mvc，或可以使Cb/Cr单独地具有运动矢量信息mvcb和运动矢量信息mvcr。
现在，虽然在以上说明中已经关于亮度信号的当前块是4×4像素的情况(图9中的A的情况)进行了说明，但是在亮度信号的当前块是8×4像素的情况下，使得由C指示的单个色差信号4×4块对应于由0和1指示的两个亮度信号，如图9中的B所示。然后，使用两个8×4块的运动矢量信息来计算单个色差信号4×4块的运动矢量信息mvc。
以同样的方式，在亮度信号的当前块是4×8像素的情况下，使得由C指示的单个色差信号4×4块对应于由0和1指示的两个亮度信号块，如图9中的C所示。然后，使用两个4×8块的运动矢量信息来计算单个色差信号4×4块的运动矢量信息mvc。
顺便说，在H.264/AVC格式的情况下，当亮度信号由两个4×8像素块构成时，色差信号由两个2×4像素块构成。当亮度信号由两个8×4像素块构成时，色差信号由两个4×2像素块构成。
此外，除了利用平均的处理之外，在上述表达式(8)中，可以针对f()执行后面的表达式(12)中示出的处理。注意，理所当然地，在表达式(10)中也可以针对f()执行例如表达式(12)中示出的处理。
[数学表达式7]
mv ci = mv i + 1 2 ; i = 0 , . . . , 3 - - - ( 12 )
具体地，色差运动矢量生成单元92使用对应于四个亮度信号块的运动矢量信息mv0、mv1、mv2和mv3，如表达式(12)所示来计算mvci，并从i＝0至3中选择具有最小残差的实现最高编码效率的mvci作为mvc。
也就是说，色差运动矢量生成单元92从对应的亮度信号块的运动矢量中选择关于色差信号产生最高编码效率的运动矢量，并考虑例如4:2:0的色差信号的格式执行其缩放，从而生成色差信号块的运动矢量。此时，色差运动矢量生成单元92生成与使用i＝0至3中的哪个i有关的标记，并将其提供给无损编码单元66，从而添加到压缩图像的头中以发送到解码侧。
可以针对水平方向和竖直方向分别发送标记，或者可以针对水平方向和竖直方向两者发送一个标记。稍后说明的图像解码装置101可以对压缩图像进行解码并获得该标记，从而重新构建mvc。
如上所述，在色差信号的块尺寸小于正交变换的块尺寸的情况下，使用多个亮度信号块的运动矢量生成对应于多个亮度信号块的单个色差信号块的运动矢量。
这意味着在与色差相关的4×4块尺寸内不存在运动预测(补偿)的块的边界，并减少了由于正交变换而导致的非零系数的出现，由此可以提高编码效率。
此外，在运动预测时，如果亮度信号的当前块为4×4像素，则关于色差信号需要利用H.264/AVC格式计算四个2×2块的地址并执行存储器访问。与之相比，通过执行上述处理，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
[图像编码装置的编码处理的说明]
接下来，将参照图10中的流程图来说明图4中的图像编码装置51的编码处理。
在步骤S11中，A/D转换单元61将输入图像从模拟转换成数字。在步骤S12中，画面重排缓冲器62存储从A/D转换单元61提供的图像，并从用于显示图片的序列排序用于编码的序列。
在步骤S13中，计算单元63计算在步骤S12中排序的图像与预测图像之间的差。在执行帧间预测的情况下，经由预测图像选择单元78将预测图像从运动预测/补偿单元75提供给计算单元63，并且在执行帧内预测的情况下，经由预测图像选择单元78将预测图像从帧内预测单元74提供给计算单元63。
与原始图像数据相比，差数据的数据量小。因此，与无改变地对原始图像进行编码的情况相比，可以压缩数据量。
在步骤S14中，正交变换单元64对从计算单元63提供的差信息进行正交变换。具体地，执行诸如离散余弦变换、KL变换等的正交变换，并输出变换系数。在步骤S15中，量化单元65将变换系数量化。在进行该量化时，控制速率使得将说明步骤S25中的稍后说明的处理。
如下对如此量化的差信息进行局部解码。具体地，在步骤S16中，逆量化单元68使用与量化单元65的特性对应的特性，对由量化单元65量化的变换系数进行逆量化。在步骤S17中，逆正交变换单元69使用与正交变换单元64的特性对应的特性，对由逆量化单元68进行了逆量化的变换系数进行逆正交变换。
在步骤S18中，计算单元70将经由预测图像选择单元78输入的预测图像与局部解码的差信息相加，并生成局部解码的图像(与计算单元63的输入对应的图像)。在步骤S19中，解块滤波器71对从计算单元70输出的图像进行滤波。从而，消除了块失真。在步骤S20中，帧存储器72存储经过了滤波的图像。注意，未由解块滤波器71进行滤波处理的图像也从计算单元70提供给帧存储器72来存储。
在步骤S21中，帧内预测单元74和运动预测/补偿单元75均执行图像预测处理。具体地，在步骤S21中，帧内预测单元74以帧内预测模式执行帧内预测处理。运动预测/补偿单元75以帧间预测模式执行运动预测和补偿处理。
尽管稍后将参照图11说明步骤S21中的预测处理的细节，但是首先，由于该处理，以所有候选帧内预测模式的每个执行预测处理，并针对所有候选帧内预测模式均获得成本函数值。然后，基于计算出的成本函数值选择最佳帧内预测模式，并将通过最佳帧内预测模式的帧内预测生成的预测图像和其成本函数值提供给预测图像选择单元78。
此外，由于该处理，以所有候选帧间预测模式的每个执行预测处理，并针对所有候选帧间预测模式均获得成本函数值。基于计算出的成本函数值，从帧间预测模式中选择最佳帧间预测模式。
注意，具体地，针对亮度信号，执行运动预测、成本函数值的计算以及最佳帧间预测模式的确定。根据最佳帧间预测模式中指示的块尺寸将当前块归类到类别，并且针对色差信号执行根据归类的类别的运动预测。然后以最佳帧间预测模式生成预测图像，并且将所生成的预测图像和其成本函数值提供给预测图像选择单元78。
在步骤S22中，预测图像选择单元78基于从帧内预测单元74和运动预测/补偿单元75输出的成本函数值，将最佳帧内预测模式和最佳帧间预测模式之一确定为最佳预测模式。然后，预测图像选择单元78选择所确定的最佳预测模式中的预测图像，并提供给计算单元63和70。如上所述，该预测图像用于步骤S13和S18中的计算。
注意，将该预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元75。在选择了最佳帧内预测模式中的预测图像的情况下，帧内预测单元74将指示最佳帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元66。
在选择了最佳帧间预测模式中的预测图像的情况下，运动预测/补偿单元75将指示最佳帧间预测模式的信息以及必要时还将根据最佳帧间预测模式的信息提供给无损编码单元66。根据最佳帧间预测模式的信息的示例包括运动矢量信息、参考帧信息等。
在步骤S23中，无损编码单元66对从量化单元65输出的量化的变换系数进行编码。具体地，对差图像进行诸如可变长编码、算术编码等的无损编码并进行压缩。此时，还对在上述步骤S22中输入到无损编码单元66的、来自帧内预测单元74的帧内预测模式信息或来自运动预测/补偿单元75的根据最佳帧间预测模式的信息等进行编码，并将其添加到头信息。
例如，针对每个宏块，对指示帧间预测模式的信息进行编码。针对每个当前块，对运动矢量信息和参考帧信息进行编码。
注意，在步骤S21中通过帧间运动预测生成了色差信号的运动矢量差信息的情况下，从色差运动矢量确定单元77提供所生成的色差信号的运动矢量差信息，所以还对该信息进行编码。稍后将参照图15和图16对此进行详细的说明。
在步骤S24中，存储缓冲器67存储差图像作为压缩图像。适当地读出存储在存储缓冲器67中的压缩图像，并经由传输路径将压缩图像传输到解码侧。
在步骤S25中，速率控制单元79基于存储在存储缓冲器67中的压缩图像来控制量化单元65的量化操作的速率，从而不会导致上溢或下溢。
[预测处理的说明]
接着，将参照图11中的流程图说明图10中的步骤S21中的预测处理。
在从画面重排缓冲器62提供的、待处理的图像是要进行帧内处理的块中的图像的情况下，从帧存储器72读出要参考的解码图像，并经由开关73将其提供给帧内预测单元74。在步骤S31中，基于这些图像，帧内预测单元74使用所有候选帧内预测模式执行关于要处理的块中的像素的帧内预测。注意，使用未经解块滤波器71进行解块滤波的像素作为要参考的解码像素。
尽管稍后将参照图12说明步骤S31中的帧内预测处理的细节，但是根据该处理，使用所有候选帧内预测模式执行帧内预测，并且关于所有候选帧内预测模式计算成本函数值。然后，基于计算出的成本函数值选择最佳帧内预测模式，并且将通过最佳帧内预测模式的帧内预测生成的预测图像和其成本函数值提供给预测图像选择单元78。
在从画面重排缓冲器62提供的、待处理的图像是要进行帧间处理的图像的情况下，从帧存储器72读出要参考的图像，并经由开关73将其提供给运动搜索单元81。在步骤S32中，基于这些图像，运动搜索单元81使用亮度信号执行帧间运动预测处理。也就是说，运动搜索单元81参考从帧存储器72提供的图像，以在所有候选帧间预测模式中使用亮度信号执行运动预测处理。
稍后将参照图13说明步骤S32中的帧间运动预测处理的细节。根据该处理，使用亮度信号以所有候选帧间预测模式执行运动预测处理，并且模式确定单元82针对所有候选帧间预测模式中的每一个计算成本函数值。
在步骤S33中，模式确定单元82基于计算出的成本函数值，从所有候选帧间预测模式中确定最佳帧间预测模式。也就是说，模式确定单元82将其成本函数值最小的预测模式确定为最佳帧间预测模式。
模式确定单元82将已确定的最佳帧间预测模式的信息和与其对应的运动矢量信息提供给运动补偿单元83。此外，模式确定单元82还将已确定的最佳帧间预测模式的信息提供给色差块确定单元76。
在步骤S34中，色差块确定单元76、色差运动矢量确定单元77和运动补偿单元83执行关于色差信号的运动预测处理。
稍后将参照图14说明步骤S34中的关于色差信号的运动预测处理的细节。由于该处理，根据最佳帧内预测模式的块尺寸执行色差信号运动预测。
也就是说，基于根据最佳帧内预测模式所指示的块尺寸确定的色差信号块尺寸，将色差信号块归类到类别，并针对色差信号块生成运动矢量。
在步骤S35中，运动补偿单元83基于来自模式确定单元82的最佳帧间预测模式中的运动矢量，对参考图像进行补偿处理，并针对当前块生成预测图像。
也就是说，运动补偿单元83基于来自模式确定单元82的最佳帧间预测模式中的运动矢量对参考图像进行补偿处理，并针对当前亮度信号块生成预测图像。在从块分类单元91提供了控制信号的情况下，运动补偿单元83之后通过H.264/AVC格式生成色差信号的运动矢量，并使用生成的运动矢量来生成当前色差信号块的预测图像。另一方面，在从色差运动矢量生成单元92提供了色差运动矢量信息的情况下，运动补偿单元83使用该信息所指示的色差信号的运动矢量来执行补偿处理，并生成当前色差信号块的预测图像。
将如上所述生成的最佳帧间预测模式的预测图像和其成本函数值提供给预测图像选择单元78。
[帧内预测处理的说明]
接着，将参照图12中的流程图说明图11中的步骤S31中的帧内预测处理。注意，在图12的示例中，将关于亮度信号作为示例的情况进行说明。
在步骤S41中，帧内预测单元74执行关于4×4像素、8×8像素和16×16像素的帧内预测模式的帧内预测。
关于亮度信号的帧内预测模式，提供了九种4×4像素和8×8像素的块单位的预测模式以及四种16×16像素的宏块单位的预测模式，并且关于色差信号的帧内预测模式，提供了具有四种8×8像素的块单位的预测模式。可以与亮度信号的帧内预测模式独立地设置色差信号的帧内预测模式。关于亮度信号的4×4像素和8×8像素的帧内预测模式，针对4×4像素和8×8像素的每个亮度信号块定义一个帧内预测模式。关于亮度信号的16×16像素的帧内预测模式和色差信号的帧内预测模式，关于一个宏块定义一个预测模式。
具体地，帧内预测单元74参照从帧存储器72读出并经由开关73提供的解码图像，关于待处理的块中的像素执行帧内预测。以帧内预测模式执行该帧内预测处理，因此，生成帧内预测模式的预测图像。注意，使用未经解块滤波器71进行解块滤波的像素作为要参考的解码像素。
在步骤S42中，帧内预测单元74关于4×4像素、8×8像素和16×16像素的帧内预测模式计算成本函数值。这里，基于高复杂度模式或低复杂度模式的一种技术来执行成本函数值的计算。在作为H.264/AVC格式的参考软件的JM中确定这些模式。
具体地，在高复杂度模式中，作为步骤S41中的处理，暂时关于所有候选预测模式执行直到编码处理。然后，关于该预测模式计算利用以下表达式(13)表示的成本函数值，并且选择提供其最小值的预测模式作为最佳预测模式。
Cost(Mode)＝D+λ·R...(13)
D表示原始图像与解码图像之间的差(失真)，R表示包括正交变换系数的所生成的代码量，并且λ表示被设置为量化参数QP的函数的拉格朗日乘子。
另一方面，在低复杂度模式中，生成预测图像，作为步骤S41中的处理，关于所有候选预测模式计算直到运动矢量信息的头比特、预测模式信息、标记信息等。然后，关于该预测模式计算利用以下表达式(13)表示的成本函数值，并且选择提供其最小值的预测模式作为最佳预测模式。
Cost(Mode)＝D+QPtoQuant(QP)·Header_bit...(14)
D表示原始图像与解码图像之间的差(失真)，Header_bit表示关于预测模式的头比特，并且QPtoQuant是被设置为量化参数QP的函数的函数。
在低复杂度模式中，仅关于所有预测模式生成预测图像，并且不需要执行编码处理和解码处理，因此可以减少计算量。
在步骤S43中，帧内预测单元74关于4×4像素、8×8像素和16×16像素的帧内预测模式确定最佳模式。具体地，如上所述，在帧内4×4预测模式和帧内8×8预测模式的情况下，预测模式类型的数目是九，并且在帧内16×16预测模式的情况下，预测模式类型的数目是四。因此，帧内预测单元74基于步骤S42中计算出的成本函数值，从其中确定最佳帧内4×4预测模式、最佳帧内8×8预测模式和最佳帧内16×16预测模式。
在步骤S44中，帧内预测单元74基于步骤S42中计算出的成本函数值，从关于4×4像素、8×8像素和16×16像素的帧内预测模式确定的最佳模式中选择最佳帧内预测模式。具体地，帧内预测单元74从关于4×4像素、8×8像素和16×16像素确定的最佳模式中选择其成本函数值是最小值的模式作为最佳帧内预测模式。然后，帧内预测单元74将以最佳帧内预测模式生成的预测图像和其成本函数值提供给预测图像选择单元78。
[使用亮度信号的帧间运动预测处理的说明]
接着，将参照图17中的流程图说明图11的步骤S32中的使用亮度信号的帧间运动预测处理。注意，在运动搜索单元81处，基于以上参照图3说明的JM中实施的运动搜索方法，获得整数像素精度的运动矢量，并获得小数像素精度的运动矢量。
在步骤S61中，针对如上参照图5说明的由16×16像素至4×4像素构成的八种帧间预测模式的每一个，运动搜索单元81使用亮度信号来确定运动矢量和参考图像。
也就是说，运动搜索单元81被提供有来自画面重排缓冲器62的用于帧间处理的图像，以及来自帧存储器72的整数像素精度的参考图像像素值。针对每个帧间预测模式，运动搜索单元81使用这些图像的亮度信号在候选参考图像的预定搜索范围内获得产生诸如SAD等的最小成本函数值的整数像素精度运动矢量和参考图像。此外，运动搜索单元81获得产生诸如SAD等的最小成本函数值的半像素精度运动矢量和参考图像，并且进一步获得产生诸如SAD等的最小成本函数值的四分之一像素精度运动矢量和参考图像。
因此，关于每个帧间预测模式中待处理的当前块，针对亮度信号各自确定运动矢量和参考图像。将运动搜索单元81关于亮度信号的每个当前块获得的每个运动矢量信息提供给模式确定单元82。
模式确定单元82执行以下步骤S62至S64的处理以计算上述表达式(13)或表达式(14)中示出的成本函数值。
也就是说，在步骤S62中，模式确定单元82基于来自运动搜索单元81的运动矢量，对参考图像执行补偿处理。具体地，模式确定单元82通过使用来自帧存储器72的整数像素精度的参考图像像素值、小数像素精度的运动矢量信息以及插值滤波器的滤波器系数，执行小数像素精度像素值的插值来生成当前块的预测图像。
在步骤S63中，模式确定单元82关于由16×16像素至4×4像素构成的八种帧间预测模式生成差运动矢量信息mdvE。此时，使用以上参照图7说明的运动矢量生成方法。
具体地，模式确定单元82使用邻接块运动矢量信息，来按照上述表达式(6)中的中值预测来计算关于当前块E的预测运动矢量信息pmvE。然后，模式确定单元82根据来自模式确定单元82的运动矢量信息mvE与已经计算出的预测运动矢量信息pmvE之间的差获得差运动矢量信息mdvE。
在下一步骤S64中计算成本函数值时使用所获得的计算出的差运动矢量信息，并且在预测图像选择单元78最终选择对应的预测图像的情况下，将差运动矢量信息与预测模式信息和参考帧信息等一起提供给无损编码单元66。
在步骤S64中，模式确定单元82针对由16×16像素至4×4像素构成的八种帧间预测模式的每一种计算上述表达式(13)或表达式(14)中示出的成本函数值。
具体地，模式确定单元82使用来自画面重排缓冲器62的用于帧间处理的图像、来自帧存储器72的整数像素精度的参考图像像素值、小数像素精度的运动矢量信息、以及差运动矢量信息等，来计算成本函数值。在上述图11中的步骤S33中确定最佳帧间预测模式时，使用这里计算出的成本函数值。
[关于色差信号的运动预测处理的说明]
接下来，将参照图14中的流程图说明关于色差信号的运动预测处理。
来自模式确定单元82的最佳帧间预测模式的信息被提供给色差块确定单元76。色差块确定单元76根据最佳帧间预测模式所指示的亮度信号块的块尺寸来确定色差信号块的块尺寸，并将已确定的色差块尺寸的信息提供给块分类单元91。
也就是说，在亮度信号的块尺寸是16×16像素、16×8像素、8×16像素或8×8像素的情况下，色差块确定单元76确定色差信号处的块尺寸分别是8×8像素、8×4像素、4×8像素或4×4像素。此外，在亮度信号的块尺寸是8×4像素、4×8像素或4×4像素的情况下，色差块确定单元76确定色差信号处的块尺寸是4×2像素、2×4像素或2×2像素。
在步骤S71中，块分类单元91将色差信号块归类到类别。例如，在色差信号的块尺寸是8×8像素、8×4像素、4×8像素或4×4像素中的一种尺寸的情况下，块分类单元91色差信号块被归类到第一类别。另一方面，在色差信号的块尺寸是4×2像素、2×4像素或2×2像素中的一种尺寸的情况下，块分类单元91色差信号块被归类到第二类别。
在步骤S72中，块分类单元91确定色差信号块是否为属于第一类别的块。
在步骤S72中确定块不属于第一类别(即，是属于第二类别的块)的情况下，处理进入步骤S73。在此情况下，将使得执行色差信号的运动补偿的控制信号从块分类单元91提供给色差运动矢量生成单元92。
相应地，在步骤S73中，色差运动矢量生成单元92生成色差运动矢量信息。也就是说，如以上参照图9中的A所说明的，色差运动矢量生成单元92使单个色差信号块(例如，一个4×4块)与被认为属于第二类别的多个亮度信号块(例如，四个4×4块)对应。然后，色差运动矢量生成单元92使用从模式确定单元82获得的运动矢量信息，生成单个色差信号块的运动矢量信息。
所生成的色差运动矢量信息被提供给运动补偿单元83，并用于在图11中的步骤S35中生成色差信号预测图像。
另一方面，在步骤S72中确定块属于第一类别的情况下，处理进入步骤S74。在此情况下，将用于使得执行根据H.264/AVC格式的色差信号的运动预测的控制信号从块分类单元91输出到运动补偿单元83。
因此，在步骤S74中，运动补偿单元83根据H.264/AVC格式执行色差运动预测处理。例如，在亮度信号块是8×8像素块的情况下，运动补偿单元83对作为4×4像素块的色差信号块执行参照图2说明的运动预测处理。
所生成的色差运动矢量信息用于在图11的步骤S35中生成色差信号的预测图像。
如上所述，使用亮度信号块的运动矢量信息来生成色差运动矢量信息，所以无需将色差运动矢量信息发送到解码侧。另一方面，可以进行如下布置：如接下来所说明的，获得预测运动矢量信息，还搜索色差信号块的运动矢量，并将它们的差信息发送到解码侧。
[运动预测/补偿单元和色差运动矢量确定单元的配置示例]
图15是示出将色差运动矢量差信息发送到解码侧的情况下的运动预测/补偿单元75和色差运动矢量确定单元77的详细配置示例的框图。
图15中的运动预测/补偿单元75与图8中的运动预测/补偿单元75的共同点在于具有运动搜索单元81、模式确定单元82和运动补偿单元83。图15中的色差运动矢量确定单元77与图8中的色差运动矢量确定单元77的共同点在于具有块分类单元91。另一方面，图15中的色差运动矢量确定单元77的不同点在于用色差预测运动矢量生成单元95替换了色差运动矢量生成单元92，并添加了色差运动矢量搜索单元96。然而，注意，色差预测运动矢量生成单元95仅名称不同，并且基本上执行与图8中的色差运动矢量生成单元92相同的处理。
也就是说，色差预测运动矢量生成单元95基于来自块分类单元91的控制信号，关于多个亮度信号块对应单个色差信号块。然后，色差预测运动矢量生成单元95使用从模式确定单元82获得的多个亮度块的运动矢量信息，根据上述表达式(10)生成色差信号的单个块的预测运动矢量信息。
将生成的色差信号的预测运动矢量信息(色差预测运动矢量信息)提供给色差运动矢量搜索单元96。
色差运动矢量搜索单元96使用来自帧存储器72的参考图像像素值，来获得已由色差预测运动矢量生成单元95将其与多个亮度信号对应的色差信号块的运动矢量信息。此时，色差运动矢量搜索单元96在以由色差预测运动矢量生成单元95生成的色差预测运动矢量为中心的预定搜索范围内获得色差信号的运动矢量。
注意，还在这种情况下，基于以上参照图3说明的JM中实施的运动搜索方法，获得整数像素精度运动矢量，并获得小数像素精度运动矢量。因此，获得诸如SAD的成本函数值，并获得最佳运动矢量，所以尽管附图中省略了，但还输入来自画面重排缓冲器62的用于帧间的图像。
色差运动矢量搜索单元96将关于色差信号块获得的色差运动矢量信息提供给运动补偿单元83。此外，色差运动矢量搜索单元96获得色差运动矢量信息与来自色差预测运动矢量生成单元95的色差预测运动矢量信息之间的差，并将该色差运动矢量差信息提供给无损编码单元66。
[关于色差信号的运动预测处理的说明]
接着，将参照图16的流程图说明图15的情况下的图11的步骤S34中关于色差信号的运动预测处理。注意，其它处理是基本与以上参照图10说明的图8的情况的处理相同的处理，将省略会多余的说明。此外，图16中的步骤S91、S92和S95的处理与图14中的步骤S71、S72和S74的处理相同。
来自模式确定单元82的最佳帧间预测模式的信息被提供给色差块确定单元76。色差块确定单元76根据最佳帧间预测模式所指示的亮度信号块的块尺寸来确定色差信号块的块尺寸，并将已确定的色差块尺寸的信息提供给块分类单元91。
在步骤S91中，块分类单元91将色差信号块归类到类别。例如，在色差信号的块尺寸是8×8像素、8×4像素、4×8像素或4×4像素中的一种尺寸的情况下，块分类单元91色差信号块被归类到第一类别。另一方面，在色差信号的块尺寸是4×2像素、2×4像素或2×2像素中的一种尺寸的情况下，块分类单元91色差信号块被归类到第二类别。
在步骤S92中，块分类单元91确定色差信号块是否为属于第一类别的块。
在步骤S92中确定块不属于第一类别(即，是属于第二类别的块)的情况下，处理进入步骤S93。在此情况下，将使得执行色差信号的运动补偿的控制信号从块分类单元91提供给色差预测运动矢量生成单元95。
另一方面，在步骤S93中，色差预测运动矢量生成单元95生成色差预测运动矢量信息。也就是说，如以上参照图9中的A所说明的，色差预测运动矢量生成单元95使单个色差信号块与被认为属于第二类别的多个亮度信号块对应。然后，色差预测运动矢量生成单元95使用从模式确定单元82获得的运动矢量信息，生成单个色差信号块的运动预测矢量信息。
所生成的色差预测运动矢量信息被提供给色差运动矢量搜索单元96。在步骤S94中，色差运动矢量搜索单元96计算色差运动矢量差。也就是说，色差运动矢量搜索单元96使用来自帧存储器72的参考图像像素值，来在以由色差预测运动矢量生成单元95生成的预测运动矢量信息为中心的搜索范围内获得关于色差信号块的运动矢量信息。然后，色差运动矢量搜索单元96计算色差运动矢量信息与来自色差预测运动矢量生成单元95的色差预测运动矢量之间的差。
所获得的色差运动矢量信息被提供给运动补偿单元83，并在图11中的步骤S35中用于生成色差信号的预测图像。
此外，计算出的色差运动矢量差信息被提供给无损编码单元66，并且在图10中的步骤S22中选择通过帧间预测的预测图像的情况下，在步骤S23中对其进行编码，并添加到压缩图像的头且传输到解码侧。
另一方面，在步骤S92中确定块属于第一类别的情况下，处理进入步骤S95。在此情况下，将用于使得根据H.264/AVC格式执行色差信号的运动预测的控制信号从块分类单元91提供给运动补偿单元83。
因此，在步骤S95中，运动补偿单元83根据H.264/AVC格式执行色差运动预测处理。例如，在亮度信号块是8×8像素块的情况下，运动补偿单元83对作为4×4像素块的色差信号块执行参照图2说明的运动预测处理。
所生成的色差运动矢量信息用于在图11中的步骤S35中生成色差信号的预测图像。
编码的压缩图像经由预定传输路径进行传输，并由图像解码装置进行解码。
[图像解码装置的配置示例]
图17表示用作应用本发明的图像处理装置的图像解码装置的实施例的配置。
图像解码装置101包括：存储缓冲器111、无损解码单元112、逆量化单元113、逆正交变换单元114、计算单元115、解块滤波器116、画面重排缓冲器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、色差运动矢量确定单元123、色差块确定单元124、以及开关125。
存储缓冲器111存储传输的压缩图像。无损解码单元112使用与图4中的无损编码单元66的编码格式对应的格式，对从存储缓冲器111提供且由无损编码单元66编码的信息进行解码。逆量化单元113使用与图4中的量化单元65的量化格式对应的格式，对由无损解码单元112解码的图像进行逆量化。逆正交变换单元114使用与图4中的正交变换单元64的正交变换格式对应的格式，对逆量化单元113的输出进行逆正交变换。
通过利用计算单元115将经过逆正交变换的输出与从开关125提供的预测图像相加，来对经过逆正交变换的输出进行解码。解块滤波器116消除解码图像的块失真，然后提供给帧存储器119来存储，并且还输出到画面重排缓冲器117。
画面重排缓冲器117执行图像的重排。具体地，将由图4中的画面重排缓冲器62重排成编码序列的帧序列重排成原始显示序列。D/A转换单元118将从画面重排缓冲器117提供的图像从数字转换成模拟，并输出到未示出的显示器来显示。
开关120从帧存储器119读出要进行帧间处理的图像和要参考的图像，将其输出到运动预测/补偿单元122，并且还从帧存储器119读出要用于帧内预测的图像，并将其提供给帧内预测单元121。
将通过对头信息进行解码所获得的指示帧内预测模式的信息从无损解码单元112提供给帧内预测单元121。帧内预测单元121基于该信息生成预测图像，并将生成的预测图像输出到开关125。
将通过对头信息进行解码所获得的信息中的预测模式信息、差运动矢量信息、参考帧信息等从无损解码单元112提供给运动预测/补偿单元122。针对每个宏块，向其传输帧间预测模式信息。针对每个当前块，向其传输运动矢量信息和参考帧信息。
运动预测/补偿单元122以从无损解码单元112提供的帧间预测模式信息的预测模式，针对亮度信号生成关于当前块的预测图像的像素值。
此外，在从色差块确定单元124提供了控制信号的情况下，运动预测/补偿单元122以H.264/AVC格式生成色差信号的运动矢量，并使用所生成的运动矢量来生成当前色差信号块的预测图像。在从色差运动矢量确定单元123提供了色差运动矢量信息的情况下，运动预测/补偿单元122使用由该信息指示的色差信号的运动矢量来生成当前色差信号块的预测图像。经由开关125将所生成的预测图像的像素值提供给计算单元115。
以与图4中的色差运动矢量确定单元77相同的方式，色差运动矢量确定单元123基于来自色差块确定单元124的色差块尺寸信息，对色差信号块属于两个类别中的哪个类别进行归类。
在色差信号块被归类到第一类别的情况下，色差运动矢量确定单元123将控制信号提供给运动预测/补偿单元122，以使得按照H.264/AVC格式执行色差信号的运动预测。另一方面，在色差信号块被归类到第二类别的情况下，色差运动矢量确定单元123关于多个亮度信号块对应单个色差信号块，并以其为单位生成色差信号运动矢量。例如，使用多个亮度信号块的至少一个运动矢量生成与多个亮度信号块对应的单个色差信号块的运动矢量。所生成的色差运动矢量信息被提供给运动预测/补偿单元122。
注意，在生成色差矢量差信息并从图像编码装置51发送该色差矢量差信息的情况下(图16的情况)，将该色差矢量差信息从无损解码单元112提供给色差运动矢量确定单元123，如虚线所示。
在此情况下，色差运动矢量确定单元123计算与多个亮度信号块对应的单个色差信号块的预测运动矢量，并使用计算出的预测运动矢量和提供的色差矢量差信息来获得色差运动矢量。
与图4中的色差块确定单元124一样，色差块确定单元124根据来自运动预测/补偿单元122的预测模式信息所指示的亮度信号块的块尺寸，来确定色差信号块的块尺寸。色差块确定单元124将所确定的色差块尺寸信息提供给色差运动矢量确定单元123。
开关125选择由运动预测/补偿单元122或帧内预测单元121生成的预测图像并将其提供给计算单元115。
注意，利用图4中的图像编码装置51，作为该装置内运动搜索和模式确定的结果，获得运动矢量信息和编码模式信息。与之相比，在图像解码装置101处，将这些信息添加到已编码的发送的压缩图像信息，并作为无损解码处理的结果获得这些信息。除了该不同点之外，图4中的图像编码装置51的操作原理与图像解码装置101相同。
[运动预测/补偿单元和色差运动矢量确定单元的配置示例]
图18是示出运动预测/补偿单元122和色差运动矢量确定单元123的详细配置示例的框图。注意，在图18中，省略了图17中的开关120和125。
在图18中的示例中，运动预测/补偿单元122由运动矢量缓冲器131、模式信息缓冲器132以及预测图像生成单元133构成。
色差运动矢量确定单元123由块分类单元141和色差运动矢量生成单元142构成。
运动矢量缓冲器131存储来自无损解码单元112的当前块的运动矢量信息。模式信息缓冲器132存储来自无损解码单元112的每个宏块的帧间预测模式信息。
预测图像生成单元133从运动矢量缓冲器131获得当前块的运动矢量信息，并从模式信息缓冲器132获得帧间预测模式信息。预测图像生成单元133使用这些获得的信息和从帧存储器119获得的参考图像像素值，关于当前亮度信号块生成预测图像的像素值。
此外，在从块分类单元141提供了控制信号的情况下，预测图像生成单元133按照H.264/AVC格式生成色差信号的运动矢量，使用所生成的运动矢量来执行补偿处理，并生成当前色差信号块的预测图像。另一方面，在从色差运动矢量生成单元142提供了色差运动矢量信息的情况下，预测图像生成单元133使用该信息所指示的色差信号的运动矢量，执行补偿处理，并生成当前色差信号块的预测图像。
块分类单元141基于来自色差块确定单元124的色差块尺寸信息，对色差信号块属于两个类别中的哪个类别进行归类。在色差信号块被归类到第一类别的情况下，块分类单元141将控制信号提供给预测图像生成单元133，以使得按照H.264/AVC格式执行色差信号的运动预测。另一方面，在色差信号块被归类到第二类别的情况下，块分类单元141将控制信号提供给色差运动矢量生成单元142，以执行色差信号运动预测。
基于来自块分类单元141的控制信号，色差运动矢量生成单元142关于多个亮度信号块对应单个色差信号块。然后，色差运动矢量生成单元142使用从运动矢量缓冲器131获得的多个亮度信号块的运动矢量信息，生成已经对应的单个色差信号块的运动矢量。色差运动矢量生成单元142将已生成的色差信号的运动矢量信息提供给预测图像生成单元133。
注意，在生成色差矢量差信息并从图像编码装置51发送色差矢量差信息的情况下(图16的情况)，将色差矢量差信息从无损解码单元112提供给色差运动矢量生成单元142，如虚线所示。
在此情况下，色差运动矢量生成单元142根据上述表达式(10)计算与多个亮度信号块对应的单个色差信号块的预测运动矢量。然后，色差运动矢量生成单元142使用计算出的预测运动矢量和提供的色差矢量差信息来获得色差运动矢量。
[图像解码装置的解码处理的说明]
接着，将参照图19的流程图说明图像解码装置101执行的解码处理。
在步骤S131中，存储缓冲器111存储所传输的图像。在步骤S132中，无损解码单元112对从存储缓冲器111提供的压缩图像进行解码。具体地，对由图4中的无损编码单元66编码的I图片、P图片和B图片进行解码。
此时，还对运动矢量信息、参考帧信息、预测模式信息(指示帧内预测模式或帧间预测模式的信息)等进行解码。
具体地，在预测模式信息是帧内预测模式信息的情况下，将预测模式信息提供给帧内预测单元121。在预测模式信息是帧间预测模式信息的情况下，将与预测模式信息对应的差运动矢量信息和参考帧信息提供给运动预测/补偿单元122。
此外，关于其已执行了图16的处理并发送到此的图像的头还添加有色差运动矢量差信息，在此情况下，还对色差运动矢量差信息进行解码并将其提供给色差运动矢量确定单元123。
在步骤S133中，逆量化单元113使用与图4中的量化单元65的特性对应的特性，对由无损解码单元112解码的变换系数进行逆量化。在步骤S134中，逆正交变换单元114使用与图4中的正交变换单元64的特性对应的特性，对由逆量化单元113逆量化的变换系数进行逆正交变换。从而，对与图4中的正交变换单元64的输入(计算单元63的输出)对应的差信息进行了解码。
在步骤S135中，计算单元115将稍后说明的步骤S139的处理中所选择的并经由开关135输入的预测图像与该差信息相加。从而，对原始图像进行解码。在步骤S136中，解块滤波器116对从计算单元115输出的图像进行滤波。从而，消除了块失真。在步骤S137中，帧存储器119存储滤波后的图像。
在步骤S138中，帧内预测单元121或运动预测/补偿单元122响应于从无损解码单元112提供的预测模式信息而执行对应的图像预测处理。
也就是，在从无损解码单元112提供了帧内预测模式信息的情况下，帧内预测单元121以帧内预测模式执行帧内预测处理。在从无损解码单元112提供了帧间预测模式信息的情况下，运动预测/补偿单元122以帧间预测模式执行运动预测和补偿处理。此时，针对色差信号，运动预测/补偿单元122根据通过帧间预测模式指示的块尺寸归类到的类别，关于当前块生成预测图像的像素值。
尽管稍后将参照图20说明步骤S138中的预测处理的细节，但是根据该处理，将由帧内预测单元121生成的预测图像或运动预测/补偿单元122生成的预测图像提供给开关125。
在步骤S139中，开关125选择预测图像。具体地，提供由帧内预测单元121生成的预测图像或由运动预测/补偿单元122生成的预测图像。因此，选择所提供的预测图像，并将其提供给计算单元115，并且如上所述，在步骤S134中将该预测图像与逆正交变换单元114的输出相加。
在步骤S140中，画面重排缓冲器117执行重排。具体地，将图像编码装置51的画面重排缓冲器62为编码而重排的帧序列重排成原始显示序列。
在步骤S141中，D/A转换单元118对来自画面重排缓冲器117的图像执行D/A转换。将该图像被输出到未示出的显示器，并显示该图像。
[图像解码装置的预测处理的说明]
接着，将参照图20中的流程图说明图19中的步骤S138中的预测处理。
在步骤S171中，帧内预测单元121确定是否已经对当前块进行了帧内编码。在将帧内预测模式信息从无损解码单元112提供给帧内预测单元121时，在步骤S171中，帧内预测单元121确定已经对当前块进行了帧内编码，并且处理进入步骤S172。
在步骤S172中，帧内预测单元121获得帧内预测模式信息，并且在步骤S173中执行帧内预测。
也就是说，在待处理的图像是要进行帧内处理的图像的情况下，从帧存储器119读出所需图像，并经由开关120将其提供给帧内预测单元121。在步骤S173中，帧内预测单元121根据步骤S172中获得的帧内预测模式信息来执行帧内预测，以生成预测图像。所生成的预测图像被输出到开关125。
另一方面，在步骤S171中确定尚未执行帧内编码的情况下，处理进入步骤S174。
在当前图像是要进行帧间处理的图像的情况下，从无损解码单元112向运动预测/补偿单元122提供帧间预测模式信息、参考帧信息和运动矢量信息。
在步骤S174中，运动预测/补偿单元122从无损解码单元112获得帧间预测模式信息等。也就是说，获得帧间预测模式信息、参考帧信息和运动矢量信息。所获得的运动矢量信息被存储在运动矢量缓冲器131中，并且帧间预测模式信息被存储在模式信息缓冲器132中。
在步骤S175中，预测图像生成单元133生成亮度信号的预测图像。也就是说，预测图像生成单元133从运动矢量缓冲器131获得当前块的运动矢量信息，并且从模式信息缓冲器132获得对应的帧间预测模式信息。预测图像生成单元133使用从帧存储器119获得的参考图像像素值，生成与当前亮度信号块对应的预测图像的像素值。
在步骤S176中，关于色差信号执行运动预测处理。稍后将参照图21说明对色差信号的运动预测处理的细节。由于步骤S176中的处理，通过由帧间预测模式信息指示的块尺寸将当前色差信号块归类到第一或第二类别，并且根据归类的类别获得色差信号块的运动矢量。
在步骤S177中，预测图像生成单元133使用通过步骤S176中的处理获得的色差信号的运动矢量并执行补偿处理，以生成关于当前色差信号块的预测图像。
所生成的预测图像被经由开关125提供给计算单元115，并与步骤S134中逆正交变换单元114的输出相加。
接着，将参照图21中的流程图说明图20的步骤S176中的关于色差信号的运动预测处理。
色差块确定单元124根据来自模式信息缓冲器132的最佳帧间预测模式所指示的亮度信号块的块尺寸来确定色差信号块的块尺寸。色差块确定单元124将已确定的色差块尺寸的信息提供给块分类单元141。
在步骤S181中，块分类单元141基于来自色差块确定单元124的色差块尺寸，将色差信号块归类到两个类别中的它们所属的类别。
例如，在色差信号的块尺寸是8×8像素、8×4像素、4×8像素或4×4像素中的一种尺寸的情况下，块分类单元141色差信号块被归类到第一类别。另一方面，在色差信号的块尺寸是4×2像素、2×4像素或2×2像素中的一种尺寸的情况下，块分类单元141色差信号块被归类到第二类别。
在步骤S182中，块分类单元141然后确定色差信号块是否为属于第一类别的块。在步骤S182中确定块不属于第一类别(即，是属于第二类别的块)的情况下，处理进入步骤S183。在此情况下，将使得执行色差信号的运动补偿的控制信号从块分类单元141提供给色差运动矢量生成单元142。
相应地，在步骤S183中，色差运动矢量生成单元142生成色差运动矢量信息。也就是说，如以上参照图9中的A所说明的，色差运动矢量生成单元142使单个色差信号块(例如，一个4×4块)与被认为属于第二类别的多个亮度信号块(例如，四个4×4块)对应。然后，色差运动矢量生成单元142使用从运动矢量缓冲器131获得的运动矢量信息，生成单个色差信号块的运动矢量信息。
所生成的色差运动矢量信息被提供给预测图像生成单元133，并用于在图20中的步骤S177中生成色差信号预测图像。
另一方面，在步骤S182中确定块属于第一类别的情况下，处理进入步骤S184。在此情况下，将使得执行根据H.264/AVC格式的色差信号的运动预测的控制信号从块分类单元141提供给预测图像生成单元133。
因此，在步骤S184中，预测图像生成单元133根据H.264/AVC格式执行色差运动预测处理。例如，在亮度信号块是8×8像素块的情况下，预测图像生成单元133对作为4×4像素块的色差信号块执行参照图2说明的运动预测处理。
所生成的色差运动矢量信息用于在图20中的步骤S177中生成色差信号的预测图像。
如上所述，使用亮度信号块的运动矢量信息来生成色差运动矢量信息。另一方面，如下面所说明的，在从编码侧发送了色差运动矢量差信息的情况下，从该差信息取得使用亮度信号块的运动矢量信息生成的色差运动矢量预测信息的差，并生成色差矢量。
接着，将参照图22中的流程图说明从编码侧发送了色差运动矢量差信息的情况下、关于色差信号的运动预测处理。注意，图22的步骤S191、S192和S196中的处理与图21的步骤S181、S182和S184中的处理相同。
色差块确定单元124根据来自模式信息缓冲器132的预测模式信息所指示的亮度信号块的块尺寸来确定色差信号块的块尺寸。色差块确定单元124将确定的色差块尺寸信息提供给块分类单元141。
在步骤S191中，块分类单元141基于来自色差块确定单元124的色差块尺寸，将色差信号块归类到两个类别中的它们所属的类别。
然后，在步骤S192中，块分类单元141确定色差信号块是否为属于第一类别的块。在步骤S192中确定块不属于第一类别(即，是属于第二类别的块)的情况下，处理进入步骤S193。在此情况下，将使得执行色差信号的运动补偿的控制信号从块分类单元141提供给色差运动矢量生成单元142。
相应地，在步骤S193中，色差运动矢量生成单元142生成色差运动矢量信息。也就是说，如以上参照图9中的A所说明的，色差运动矢量生成单元142使单个色差信号块与被认为属于第二类别的多个亮度信号块对应。然后，色差运动矢量生成单元142使用从运动矢量缓冲器131获得的运动矢量信息，生成单个色差信号块的运动矢量信息。
在步骤S194中，色差运动矢量单元142从无损解码单元112获得色差运动矢量差信息。
在步骤S195中，色差运动矢量生成单元142将所生成的运动差预测运动矢量信息与所获得的色差运动矢量差信息相加，从而生成色差运动矢量信息。
所生成的色差运动矢量信息被提供给预测图像生成单元133，并用于在图20中的步骤S177中生成色差信号预测图像。
另一方面，在步骤S192中确定块属于第一类别的情况下，处理进入步骤S196。在此情况下，将使得执行根据H.264/AVC格式的色差信号的运动预测的控制信号输出到预测图像生成单元133。
因此，在步骤S196中，预测图像生成单元133根据H.264/AVC格式执行色差运动预测处理。所生成的色差运动矢量信息用于在图20中的步骤S177中生成色差信号的预测图像。
如上所述，利用图像编码装置51和图像解码装置101，根据基于用于色差信号的运动预测/补偿的块的尺寸而归类的类别，来执行色差信号的运动预测。也就是说，在用于色差信号的运动预测/补偿的当前块的块尺寸小于正交变换块的尺寸的情况下，使用多个亮度信号块的运动矢量来生成对应于多个亮度信号块的单个色差信号块的运动矢量。
这意味着在与色差相关的4×4尺寸块内不存在用于运动补偿的块的边界，并减少了由于正交变换而导致的非零系数的出现，由此可以提高编码效率。
此外，在运动预测时，如果亮度信号的当前块是4×4像素，则需要利用H.264/AVC格式计算四个2×2块的地址并执行存储器访问。与之相比，通过执行上述处理，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
此外，尽管以上说明中关于16×16像素的情况说明了宏块的尺寸，但是本发明也可以应用于如上述NPL4所述的扩展的宏块尺寸。
[对扩展的宏块尺寸应用的说明]
图23是示出扩展的宏块尺寸的示例的图。在NPL4中，宏块尺寸被扩展到32×32像素。
图23的上层按顺序从左开始示出被分割成32×32像素、32×16像素、16×32像素和16×16像素的块(分区)的、由32×32像素构成的宏块。图23的中层按顺序从左开始示出被分割成16×16像素、16×8像素、8×16像素和8×8像素的块的、由16×16像素构成的块。此外，图23的下层按顺序从左开始示出被分割成8×8像素、8×4像素、4×8像素和4×4像素的块的、由8×8像素构成的块。
换言之，32×32像素的宏块可以以图23的上层示出的32×32像素、32×16像素、16×32像素和16×16像素的块来处理。
此外，按照与H.264/AVC格式相同的方式，上层右侧示出的16×16像素的块可以以中层示出的16×16像素、16×8像素、8×16像素和8×8像素的块来处理。
按照与H.264/AVC格式相同的方式，中层右侧示出的8×8像素的块可以以下层示出的8×8像素、8×4像素、4×8像素和4×4像素的块来处理。
这些块可以被归类到以下三个层级等级。也就是说，图23的上层示出的32×32像素、32×16像素和16×32像素的块将被称作第一层级等级。上层的右侧的16×16像素的块、以及中层的16×16像素、16×8像素、8×16像素的块将被称作第二层级等级。中层的右侧的8×8像素的块、以及底层的8×8像素、8×4像素、4×8像素和4×4像素的块将被称作第三层级等级。
通过采用这样的层级结构，利用NPL1中的建议，关于16×16像素块或更小像素块定义更大的块作为其超集，同时保持与H.264/AVC格式的兼容性。
以下是如何将本发明应用于如上提出的扩展的宏块尺寸。
例如，在根据上述层级结构对32×32宏块进行编码的情况下，对亮度信号进行编码的最小单位是如利用H.264/AVC格式所规定的4×4像素，即，用于对色差信号进行编码的最小单位是2×2像素。因此，在正交变换的最小单位是4×4像素的情况下，图9中的A示出的方法是可用的。
此外，对于扩展的宏块尺寸可以想到以下情况：其中，在图23所示的层级结构中，不使用小于8×8像素的块尺寸，所以正交变换的最小单位是包括色差信号的8×8像素。在这样的情况下，在输入信号的格式是4:2:0的情况下，这意味着色差信号块的最小单位是4×4像素，其小于正交变换的最小单位。
在这样的情况下，通过应用图9中的A示出的方法，可以抑制色差块的最小单位小于正交变换的最小单位的情形，在图9中的A中附加有1至3和C的块的尺寸是8×8像素。
此外，尽管已经关于输入信号的格式为4:2:0的情况进行了说明，但接下来将参照图24考虑输入信号的格式为4:2:2的情况。
注意，在输入信号的格式为4:4:4的情况下，亮度信号块和色差信号块尺寸相同，所以将不存在如上所述的色差块的最小单位小于正交变换的最小单位的情形。
在输入信号的格式为4:2:2且亮度信号块是如图9的B所示的8×4像素的情况下，对应的色差信号块将为4×4像素，所以将不存在色差块的最小单位小于正交变换的最小单位的情形。
另一方面，在亮度信号块为如图24所示的4×4像素或4×8像素的情况下，可以应用本发明。
也就是说，在图24的A的示例中，示出了输入信号的格式为4:2:2并且亮度信号块是4×4像素的情况。在此情况下，由C表示的色差信号的一个4×4块对应于用0和1表示的亮度信号的两个4×4块。
因此，在图24的A的情况下，可以根据与由0和1表示的两个亮度信号块对应的运动矢量信息mv0和mv1，生成与由C表示的色差信号块对应的运动矢量信息mvc或预测运动矢量信息pmvc。
此外，在图24的B的示例中，示出了输入信号的格式为4:2:2并且亮度信号块是4×8像素的情况。在此情况下，由C表示的色差信号的一个4×8块对应于由0和1表示的亮度信号的两个4×8块。
因此，在图24的B的情况下，同样可以根据与由0和1表示的两个亮度信号块对应的运动矢量信息mv0和mv1，生成与由C表示的色差信号块对应的运动矢量信息mvc或预测运动矢量信息pmvc。
然而，注意，虽然由C表示的色差信号块的尺寸是4×8，但是正交变换的尺寸是4×4像素，如图24的B所示。
尽管到现在为止基于用于编码格式的H.264/AVC格式进行了说明，但是本发明不限于此，在一个宏块被分割成多个运动分区的情况下，可以应用另一编码格式/解码格式执行运动补偿，并关于差值执行正交变换。
注意，可以将本发明应用于如下时刻使用的图像编码装置和图像解码装置：例如根据MPEG、H.26X等，经由网络介质(诸如卫星广播、有线电视、因特网、移动电话等)接收通过正交变换(诸如离散余弦变换等)和运动补偿压缩的图像信息(比特流)时。此外，可以将本发明应用于对存储介质(诸如光盘、磁盘和闪存)上的图像信息进行处理时使用的图像编码装置和图像解码装置。此外，可以将本发明应用于这样的图像编码装置和图像解码装置等中包括的运动预测补偿装置。
上述处理系列可以通过硬件执行，或可以通过软件执行。在通过软件执行该处理系列的情况下，构成其软件的程序被安装在计算机中。这里，计算机的示例包括被构建成专用硬件的计算机、以及通用个人计算机，通过将各种程序安装到其上可以利用其执行各种功能。
[个人计算机的配置示例]
图25是示出使用程序执行上述处理系列的计算机的硬件的配置示例的框图。
在该计算机中，CPU(中央处理单元)201、ROM(只读存储器)202和RAM(随机存取存储器)203经由总线204而相互连接。
此外，输入/输出接口205连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器310连接到输入/输出接口205。
输入单元206由键盘、鼠标、麦克风等组成。输出单元207由显示器、扬声器等组成。存储单元208由硬盘、非易失性存储器等组成。通信单元209由网络接口等组成。驱动器210驱动可移除介质211(诸如磁盘、光盘、磁光盘、半导体存储器等)。
利用如此配置的计算机，例如，CPU201经由输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM203，并执行该程序，从而执行上述处理系列。
例如，计算机(CPU201)执行的程序可以通过记录在用作封装介质等的可移除介质211中来提供。此外，可以经由有线或无线传输介质(诸如局域网、因特网、或数字广播)提供该程序。
利用该计算机，通过将可移除介质211安装在驱动器210上，可以经由输入/输出接口205将程序安装到存储单元208中。此外，可以经由有线或无线传输介质由通信单元209接收该程序，并将其安装到存储单元208中。另外，可以预先将该程序安装到ROM202或存储单元208中。
注意，计算机执行的程序可以是按照本说明书中说明的顺序以时间顺序执行处理的程序，或者可以是并行地或在诸如执行调用的必要时刻执行处理的程序。
本发明的实施例不限于上述实施例，并且可以在不背离本发明的本质的情况下进行各种修改。
例如，上述图像编码装置51和图像解码装置101可以应用于可选电子装置。下文中，将说明其示例。
[电视接收器的配置示例]
图26是示出电视接收器的主要配置示例的框图，该电视接收器使用应用本发明的图像解码装置。
图26所示的电视接收器300包括地面调谐器313、视频解码器315、视频信号处理电路318、图形生成电路319、面板驱动电路320、以及显示面板321。
地面调谐器313经由天线接收地面模拟广播的广播波信号，进行解调，获得视频信号，并将其提供给视频解码器315。视频解码器315对从地面调谐器313提供的视频信号进行解码处理，并将所获得的数字分量信号提供给视频信号处理电路318。
视频信号处理电路318对从视频解码器315提供的视频数据进行诸如噪声去除等的预定处理，并将所获得的视频数据提供给图形生成电路319。
图形生成电路319生成要在显示面板321上显示的程序的视频数据、或由于基于要经由网络等提供的应用程序的处理而得到的图像数据，并将所生成的视频数据或图像数据提供给面板驱动电路320。此外，图形生成电路319还执行诸如将视频数据适当地提供给面板驱动电路320的处理，其中，通过向用户生成显示用于项目选择等的画面的视频数据(图形)并将其叠加到程序的视频数据上而获得该视频数据。
面板驱动电路320基于从图形生成电路319提供的数据驱动显示面板321，以在显示面板321上显示程序的视频或上述各种画面。
显示面板321由LCD(液晶显示器)等组成，并根据面板驱动电路320的控制来显示程序的视频等。
此外，电视接收器300还包括音频A/D(模拟/数字)转换电路314、音频信号处理电路322、回声消除/音频合成电路323、音频放大器电路321、以及扬声器325。
地面调谐器313对接收到的广播波信号进行解调，从而不仅获得视频信号还获得音频信号。地面调谐器313将所获得的音频信号提供给音频A/D转换电路314。
音频A/D转换电路314对从地面调谐器313提供的音频信号进行转换处理，并将所获得的数字音频信号提供给音频信号处理电路322。
音频信号处理电路322对从音频A/D转换电路314提供的音频数据进行诸如噪声去除等的预定处理，并将所获得的音频数据提供给回声消除/音频合成电路323。
回声消除/音频合成电路323将从音频信号处理电路322提供的音频数据提供给音频放大器电路324。
音频放大器电路324对从回声消除/音频合成电路323提供的音频数据进行D/A转换处理，进行放大器处理以调节到预定音量，然后从扬声器325输出音频。
此外，电视接收器300还包括数字调谐器316、以及MPEG解码器317。
数字调谐器316经由天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，进行解调以获得MPEG-TS(运动图像专家组-输送流)，并将其提供给MPEG解码器317。
MPEG解码器317对从数字调谐器316提供的MPEG-TS给出的扰频进行解扰，并提取包括用作回放对象(浏览对象)的程序的数据的流。MPEG解码器317对构成提取流的音频包进行解码，并将所获得的音频数据提供给音频信号处理电路322，并还对构成该流的视频包进行解码，并将所获得的视频数据提供给视频信号处理电路318。此外，MPEG解码器317经由未示出的路径将从MPEG-TS提取的EPG(电子节目指南)数据提供给CPU332。
电视接收器300使用上述图像解码装置101作为用于以这种方式对视频包进行解码的MPEG解码器317。因此，以与图像解码装置101的情况相同的方式，在色差信号的块尺寸小于正交变换的块尺寸的情况下，MPEG解码器317使用多个亮度信号块的运动矢量，针对与多个亮度信号块对应的单个色差信号块生成运动矢量。因此，减少了由于正交变换而导致的非零系数的出现，由此可以提高编码效率。此外，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
以与从视频解码器315提供的视频数据的情况相同的方式，在视频信号处理电路318处对从MPEG解码器317提供的视频数据进行预测处理。然后，在图形生成电路319处将经过了预定处理的视频数据适当地叠加在生成的视频数据等上，并经由面板驱动电路320提供给显示面板321，并在其上显示其图像。
以与从音频A/D转换电路314提供的音频数据的情况相同的方式，在音频信号处理电路322处对从MPEG解码器317提供的音频数据进行预定处理。然后，经由回声消除/音频合成电路323将经过了预定处理的音频数据提供给音频放大器电路324，并对其进行D/A转换处理和放大器处理。其结果是，从扬声器325输出以预定音量调节的音频。
此外，电视接收器300还包括麦克风326、以及A/D转换电路327。
A/D转换电路327接收由设置于电视接收器300的麦克风326所收集的用户的音频信号用于音频转换。A/D转换电路327对接收到的音频信号进行A/D转换处理，并将获得的数字音频数据提供给回声消除/音频合成电路323。
在已从A/D转换电路327提供电视接收器300的用户(用户A)的音频数据的情况下，回声消除/音频合成电路323以用户A的音频数据作为对象来执行回声消除。在消除回声之后，回声消除/音频合成电路323经由音频放大器电路324从扬声器325输出通过与其它音频数据等合成而获得的音频数据。
此外，电视接收器300还包括音频编码解码器328、内部总线329、SDRAM(同步动态随机存取存储器)330、闪存331、CPU332、USB(通用串行总线)接口333、以及网络接口334。
A/D转换电路327接收由设置于电视接收器300的麦克风326收集的用户的音频信号用于音频转换。A/D转换电路327对接收到的音频信号进行A/D转换处理，并将获得的数字音频数据提供给音频编码解码器328。
音频编码解码器328将从A/D转换电路327提供的音频数据转换成用于经由网络传输的预定格式的数据，并经由内部总线329提供给网络接口334。
网络接口334经由安装在网络终端335上的线缆连接到网络。例如，网络接口334将从音频编码解码器328提供的音频数据传输到连接到其网络的另一装置。此外，网络接口334经由网络终端335，例如接收经由网络从与其连接的另一装置传输的音频数据，并经由内部总线329将其提供给音频编码解码器328。
音频编码解码器328将从网络接口334提供的音频数据转换成预定格式的数据，并将其提供给回声消除/音频合成电路323。
回声消除/音频合成电路323以从音频编码解码器328提供的音频数据作为对象，执行回声消除，并经由音频放大器电路324从扬声器325输出通过与其它音频数据等合成而获得的音频数据。
SDRAM330存储CPU332执行处理所需的各种类型的数据。
闪存331存储要由CPU332执行的程序。CPU332在诸如启动电视接收器300等的预定定时读出存储在闪存331中的程序。经由数字广播获得的EPG数据、经由网络从预定服务器获得的数据等也被存储在闪存331中。
例如，包括通过CPU332的控制经由网络从预定服务器获得的内容数据的MPEG-TS被存储在闪存331中。例如，闪存331通过CPU332的控制，经由内部总线329将其MPEG-TS提供给MPEG解码器317。
MPEG解码器317以与从数字调谐器316提供的MPEG-TS的情况相同的方式来处理其MPEG-TS。以这种方式，电视接收器300经由网络接收由视频、音频等组成的内容数据，使用MPEG解码器317进行解码，由此可以显示其视频，并可以输出其音频。
此外，电视接收器300还包括用于接收从远程控制器351发送的红外信号的光接收单元337。
光接收单元337接收来自远程控制器351的红外线，并将通过解调获得的表示用户操作的内容的控制代码输出到CPU332。
CPU332执行存储在闪存331中的程序，以根据从光接收单元337等提供的控制代码来控制电视接收器300的整体操作。CPU332和电视接收器300的单元经由未示出的路径连接。
USB接口333关于经由安装在USB终端336上的USB线连接的电视接收器300的外部装置来执行数据的发送/接收。网络接口334经由安装在网络终端335上的线连接到网络，还关于连接到网络的各个装置执行除了音频数据之外的数据的发送/接收。
电视接收器300使用图像解码装置10作为MPEG解码器317，由此可以提高编码效率。其结果是，电视接收器300可以根据经由天线接收的广播波信号、或经由网络获得的内容数据来获得具有更高精度的解码图像，并显示该解码图像。
[移动电话的配置示例]
图27是示出移动电话的主要配置示例的框图，该移动电话使用应用本发明的图像编码装置和图像解码装置。
图27所示的移动电话400包括用于整体地控制单元的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、照相机接口单元454、LCD控制单元455、图像解码器456、多路复用/分离单元457、记录/回放单元462、调制/解调电路单元458、以及音频编码解码器459。这些单元经由总线460相互连接。
此外，移动电话400包括操作键419、CCD(电荷耦合器件)照相机416、液晶显示器418、存储单元423、发送/接收电路单元463、天线414、麦克风(MIC)421、以及扬声器417。
在呼叫结束并且通过用户操作开启电源键时，电源电路单元451通过从电池组向单元供电将移动电话400激活到操作状态。
移动电话400在由CPU、ROM、RAM等构成的主控制单元450的控制之下，在诸如语音呼叫模式、数据通信模式等的各种模式中执行各种操作，诸如音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像拍摄、数据记录等。
例如，在语音呼叫模式下，移动电话400通过音频编码解码器459将由麦克风(MIC)421收集的音频信号转换成数字音频数据，在调制/解调电路单元458处对其进行谱扩展处理，在发送/接收电路单元463处对其进行数字/模拟转换处理和频率转换处理。移动电话400经由天线414将通过其转换处理获得的用于发送的信号发送到未示出的基站。经由公共电话网络将发送至基站的用于发送的信号(音频信号)提供给通信方的移动电话。
此外，例如，在语音呼叫模式下，移动电话400将在天线414和发送/接收电路单元463处接收的接收信号放大，还对其进行频率转换处理和模拟/数字转换处理，在调制/解调电路单元458处对其进行逆谱扩展处理，并通过音频编码解码器459将其转换成模拟音频信号。移动电话400从扬声器417输出其转换的和获得的模拟音频信号。
此外，例如，在以数据通信模式发送电子邮件的情况下，移动电话400接受操作输入控制单元452处通过操纵键419的操作输入的电子邮件的文本数据。移动电话400在主控制单元450处对其文本数据进行处理，并经由LCD控制单元455在液晶显示器418上将其显示为图像。
此外，移动电话400基于由操作输入控制单元452接受的文本数据、用户的指令等而在主控制单元450处生成电子邮件数据。移动电话400在调制/解调电路单元458处对其电子邮件数据进行谱扩展处理，在发送/接收电路单元463处对其进行数字/模拟转换处理和频率转换处理。移动电话400经由天线414将通过其转换处理获得的用于发送的信号发送到未示出的基站。将发送至基站的用于发送的信号(电子邮件)经由网络、邮件服务器等提供给预定目的地。
此外，例如，在以数据通信模式接收电子邮件的情况下，移动电话400利用发送/接收电路单元463接收经由天线414从基站发送的信号，进行放大，并且进一步地进行频率转换处理和模拟/数字转换处理。移动电话400在调制/解调电路单元458处对其接收信号进行逆谱扩展处理以恢复原始电子邮件数据。移动电话400经由LCD控制单元455在液晶显示器418上显示恢复的电子邮件数据。
注意，移动电话400可以经由记录/回放单元462将所接收的电子邮件数据记录(存储)到存储单元423中。
存储单元423是可选的可重写存储介质。存储单元423可以例如是半导体存储器(诸如RAM、内置的闪存等)，可以是硬盘，或者可以是可移除介质(诸如磁盘、磁光盘、光盘、USB存储器、存储卡等)。不用说，存储单元423可以是除了上述存储器之外的存储器。
此外，例如，在以数据通信模式发送图像数据的情况下，移动电话400通过在CCD照相机416处成像而生成图像数据。CCD照相机416包括CCD，其用作诸如透镜、光圈等的光学装置并用作光电装置，CCD对被摄体成像、将接收的光的强度转换成电信号，并生成被摄体图像的图像数据。经由照相机接口单元454，在图像编码器453处使用例如像MPEG2、MPEG4等的预定编码格式对其图像数据进行压缩编码，从而将其图像数据转换成编码的图像数据。
移动电话400采用上述图像编码装置51作为用于执行这种处理的图像编码器453。因此，以与图像编码装置51的情况相同的方式，在色差信号的块尺寸小于正交变换的块尺寸的情况下，图像编码器453使用多个亮度信号块的运动矢量生成与多个亮度信号块对应的单个色差信号块的运动矢量。因此，减少了由于正交变换而导致的非零系数的出现，所以可以提高编码效率。此外，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
注意，此时，在音频编码解码器459处，移动电话400同时将麦克风(MIC)421收集的音频从模拟转换成数字，还在CCD照相机416成像期间对其进行编码。
移动电话400使用预定方法在多路复用/分离单元457处对从图像编码器453提供的编码的图像数据和从音频编码解码器459提供的数字音频数据进行多路复用。移动电话400在调制/解调电路单元458处对作为其结果获得的多路复用数据进行谱扩展处理，并且在发送/接收电路单元463处进行数字/模拟转换处理和频率转换处理。移动电话400经由天线414将通过其转换处理获得的用于发送的信号发送到未示出的基站。将发送至基站的用于发送的信号(图像数据)经由网络等提供给通信方。
注意，在不发送图像数据的情况下，代替图像编码器453，移动电话400还可以经由LCD控制单元455在液晶显示器418上显示在CCD照相机416处生成的图像数据。
此外，例如，在以数据通信模式接收链接至简单网站的运动图像文件的数据等的情况下，移动电话400经由天线414在发送/接收电路单元463处接收从基站发送的信号，进行放大，并进一步进行频率转换处理和模拟/数字转换处理。移动电话400在调制/解调电路单元458处对接收的信号进行逆扩展处理以恢复原始的多路复用数据。移动电话400在多路复用/分离单元457处将其多路复用的数据分离为编码的图像数据和音频数据。
移动电话400使用与诸如MPEG2、MPEG4等的预定编码格式对应的解码格式在图像解码器456处对编码的图像数据进行解码，从而生成回放运动图像数据，并经由LCD控制单元455将其显示在液晶显示器418上。因此，例如将链接到简单网站的运动图像文件中所包括的运动图像数据显示在液晶显示器418上。
移动电话400采用上述图像解码装置101作为用于执行这种处理的图像解码器456。因此，以与图像解码装置101相同的方式，在色差信号的块尺寸小于正交变换块尺寸的情况下，图像解码器456使用多个亮度信号块的运动矢量，生成与多个亮度信号块对应的单个色差信号块的运动矢量。因此，减少了由于正交变换而导致的非零系数的出现，所以可以提高编码效率。此外，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
此时，在音频编码解码器459处，移动电话400同时将数字音频数据转换成模拟音频信号，并从扬声器417输出该信号。因此，例如播放链接至简单网站的运动图像文件中所包括的音频数据。
注意，以与电子邮件的情况相同的方式，移动电话400可以经由记录/回放单元462将链接至简单网站的接收数据等记录(存储)到存储单元423中。
此外，移动电话400在主控制单元450处对通过由CCD照相机416成像而获得的二维代码进行分析，由此可以获得以二维代码记录的信息。
此外，移动电话400可以使用红外线在红外通信单元481处与外部装置进行通信。
移动电话400采用图像编码装置51作为图像编码器453，由此可以实现高速处理，并且还可以提高编码效率。结果，移动电话400可以以较高速度将具有良好的编码效率的编码数据提供给另一装置。
此外，移动电话400采用图像解码装置101作为图像解码器456，由此可以实现高速处理，并且还可以提高编码效率。其结果是，移动电话400可以从链接至简单网站的运动图像文件中获得具有较高精度的解码图像，并例如以较高速度显示该解码图像。
注意，尽管至此已说明了移动电话400采用CCD照相机416，然而代替CCD照相机416，移动电话400可以采用使用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在此情况下，以与采用CCD照相机416的情况相同的方式，移动电话400同样可以对被摄体成像，并生成被摄体图像的图像数据。
此外，尽管至此已经关于移动电话400进行了说明，但是以与移动电话400的情况相同的方式，图像编码装置51和图像解码装置101可以应用于任何类型的装置，只要该装置是具有与移动电话400的成像功能和通信功能相同功能的装置，例如，诸如PDA(个人数字助理)、智能手机、UMPC(超移动个人计算机)、网络书、笔记本大小的个人计算机等。
[硬盘记录器的配置示例]
图28是示出硬盘记录器的主要配置示例的框图，该硬盘记录器采用应用本发明的图像编码装置和图像解码装置。
图28所示的硬盘记录器(HDD记录器)500是如下装置：该装置将由调谐器接收的以及从卫星或地面天线等发送的广播波信号(电视信号)中包括的广播节目的音频数据和视频数据存储到内置的硬盘中，并根据用户的指令定时将存储的数据提供给用户。
例如，硬盘记录器500可以从广播波信号提取音频数据和视频数据，适当地对音频数据和视频数据进行解码，并将其存储在内置的硬盘中。此外，例如硬盘记录器500还可以经由网络从另一装置获得音频数据和视频数据，适当地对音频数据和视频数据进行解码，并将其存储在内置的硬盘中。
此外，例如，硬盘记录器500对记录在内置的硬盘中的音频数据和视频数据进行解码，将其提供给监视器560，并将其图像显示在监视器560的屏幕上。此外，硬盘记录器500可以从监视器560的扬声器输出其声音。
例如，硬盘记录器500对从经由调谐器获得的广播波信号中提取的音频数据和视频数据或经由网络从另一装置获得的音频数据和视频数据进行解码，提供给监视器560，并在监视器560的屏幕上显示其图像。此外，硬盘记录器500可以从监视器560的扬声器输出其声音。
不用说，可以执行这些操作之外的操作。
如图28所示，硬盘记录器500包括接收单元521、解调单元522、解多路复用器523、音频解码器5224、视频解码器525、以及记录器控制单元526。硬盘记录器500还包括EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD(屏幕上显示)控制单元531、显示控制单元532、记录/回放单元533、D/A转换器534、以及通信单元535。
此外，显示转换器530包括视频编码器541。记录/回放单元533包括编码器551和解码器552。
接收单元521从远程控制器(未示出)接收红外信号，将其转换成电信号，并输出到记录器控制单元526。记录器控制单元526由例如微处理器等构成，并根据存储在程序存储器528中的程序来执行各种类型的处理。此时，记录器控制单元526根据需要使用工作存储器529。
连接到网络的通信单元535经由网络与另一装置执行通信处理。例如，通信单元535由记录器控制单元526控制以与调谐器(未示出)通信，并主要将通道选择控制信号输出到调谐器。
解调单元522对从调谐器提供的信号进行解调，并将其输出到解多路复用器523。解多路复用器523将从解调单元522提供的数据分离为音频数据、视频数据和EPG数据，并分别输出到音频解码器524、视频解码器525和记录器控制单元526。
音频解码器524例如使用MPEG格式对输入的音频数据进行解码，并输出到记录/回放单元533。视频解码器525例如使用MPEG格式对输入的视频数据进行解码，并输出到显示转换器530。记录器控制单元526将输入的EPG数据提供给EPG数据存储器527来存储。
显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元526提供的视频数据编码成例如遵循NTSC(国际电视标准委员会)格式的视频数据，并输出到记录/回放单元533。此外，显示转换器530将从视频解码器525或记录器控制单元526提供的视频数据的画面的尺寸转换成与监视器560的尺寸对应的尺寸。显示转换器530还将已使用视频编码器541将画面尺寸转换成遵循NTSC格式的视频数据的视频数据，转换成模拟信号，并输出到显示控制单元532。
显示控制单元532在记录器控制单元526的控制下将从OSD(屏幕上显示)控制单元531输出的OSD信号叠加到从显示转换器530输入的视频信号上，并输出到监视器560的显示器来显示。
此外，已使用D/A转换器534将从音频解码器524输出的音频数据转换成模拟信号，并提供给监视器560。监视器560从内置的扬声器输出该音频信号。
记录/回放单元533包括硬盘作为存储介质，其中记录视频数据、音频数据等。
记录/回放单元533例如使用MPEG格式，通过编码器551对从音频解码器524提供的音频数据进行编码。此外，记录/回放单元533使用MPEG格式通过编码器551对从显示转换器530的视频编码器541提供的视频数据进行编码。记录/回放单元533使用多路复用器将其音频数据的编码数据与其视频数据的编码数据合成。记录/回放单元533通过通道编码将合成的数据放大，并经由记录头将其数据写入到硬盘中。
记录/回放单元533经由回放头播放记录在硬盘中的数据，对该数据进行放大，并使用解多路复用器将该数据分离为音频数据和视频数据。记录/回放单元533使用MPEG格式，通过解码器552对音频数据和视频数据进行解码。记录/回放单元533将解码的音频数据从数字转换成模拟，并将其输出到监视器560的扬声器。此外，记录/回放单元533将解码的视频数据从数字转换成模拟，并将其输出到监视器560的显示器。
记录器控制单元526基于通过经由接收单元521从远程控制器接收的的红外信号指示的用户指令从EPG数据存储器527读出最近的EPG数据，并将该EPG数据提供给OSD控制单元531。OSD控制单元531生成与输入的EPG数据对应的图像数据，并将该图像数据输出到显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出到监视器560的显示器来显示。因此，在监视器560的显示器上显示EPG(电子节目指南)。
此外，硬盘记录器500可以经由诸如因特网等的网络获得从另一装置提供的各种类型的数据，诸如视频数据、音频数据、EPG数据等。
通过记录器控制单元526控制通信单元535以获得经由网络从另一装置发送的诸如视频数据、音频数据、EPG数据等的编码的数据，并将该编码的数据提供给记录器控制单元526。例如，记录器控制单元526将所获得的视频数据和音频数据的编码数据提供给记录/回放单元533，并存储在硬盘中。此时，记录器控制单元526和记录/回放单元533可以根据需要执行诸如重新编码等的处理。
此外，记录器控制单元526对所获得的视频数据和音频数据的编码的数据进行解码，并将所获得的视频数据提供给显示转换器530。显示转换器530以与从视频解码器525提供的视频数据相同的方式来处理从记录器控制单元526提供的视频数据，经由显示控制单元532提供给监视器560以显示其图像。
替代地，可以如下布置：根据该图像显示，记录器控制单元526经由D/A转换器534将解码的音频数据提供给监视器560，并从扬声器输出其音频。
此外，记录器控制单元526对所获得的EPG数据的编码数据进行解码，并将解码的EPG数据提供给EPG数据存储器527。
如此配置的硬盘记录器500采用图像解码装置101作为视频解码器525、解码器552、以及容纳在记录器控制单元526中的解码器。因此，以与图像解码装置101相同的方式，在色差信号的块尺寸小于正交变换块尺寸的情况下，视频解码器525、解码器552、以及容纳在记录器控制单元526中的解码器使用多个亮度信号块的运动矢量，生成与多个亮度信号块对应的单个色差信号块的运动矢量。因此，减少了由于正交变换而导致的非零系数的出现，由此可以提高编码效率。此外，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
因此，硬盘记录器500可以实现高速处理。其结果是，例如硬盘记录器500可以以更高的速度从经由调谐器接收的视频数据的编码数据、从记录/回放单元533的硬盘读出的视频数据的编码数据、或经由网络获得的视频数据的编码数据来获得解码的图像，并将解码的图像显示在监视器560上。
此外，硬盘记录器500采用图像编码装置51作为编码器551。因此，以与编码器551相同的方式，在色差信号的块尺寸小于正交变换块尺寸的情况下，编码器551使用多个亮度信号块的运动矢量，生成与多个亮度信号块对应的单个色差信号块的运动矢量。因此，减少了由于正交变换而导致的非零系数的出现，由此可以提高编码效率。此外，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
因此，例如硬盘记录器500可以实现高速处理，并还可以提高要记录在硬盘中的编码数据的编码效率。其结果是，硬盘记录器500可以更高效地使用硬盘的存储区域。
注意，到现在已关于用于将视频数据和音频数据记录到硬盘中的硬盘记录器500进行了说明，但是不用说，可以采用任何类型的记录介质。例如，甚至在应用除了硬盘之外的记录介质(诸如闪存、光盘、视频带等)的记录器的情况下，以与上述硬盘记录器500的情况相同的方式，可以对其应用图像编码装置51和图像解码装置101。
[照相机的配置示例]
图29是示出照相机的主要配置示例的框图，该照相机采用应用本发明的图像解码装置和图像编码装置。
图29所示的照相机600对被摄体成像，在LCD616上显示被摄体的图像，并将其作为图像数据记录到记录介质633中。
透镜块611将光(即，被摄体的视频)输入到CCD/CMOS612。CCD/CMOS612是采用CCD或CMOS的图像传感器，将接收到的光的强度转换成电信号，并提供给照相机信号处理单元613。
照相机信号处理单元613将从CCD/CMOS612提供的电信号转换成色差信号Y、Cr和Cb，并提供给图像信号处理单元614。图像信号处理单元614例如在控制器621的控制下，对从照相机信号处理单元613提供的图像信号进行预定的图像处理，或使用例如MPEG格式由编码器641对其图像信号进行编码。图像信号处理单元614将通过对图像信号进行编码生成的编码的数据提供给解码器615。此外，图像信号处理单元614获得在屏幕上显示器(OSD)620处生成的用于显示的数据，并将其提供给解码器615。
利用上述处理，照相机信号处理单元613根据需要利用经由总线617连接的DRAM(动态随机存取存储器)618来将图像数据、根据其图像数据编码的编码数据等保存在其DRAM618中。
解码器615对从图像信号处理单元614提供的编码的数据进行解码，并将获得的图像数据(解码的图像数据)提供给LCD616。此外，解码器615将从图像信号处理单元614提供的用于显示的数据提供给LCD616。LCD616将从解码器615适当地提供的解码图像数据的图像和用于显示的数据的图像合成，并显示其合成图像。
屏幕上显示器620在控制器621的控制下，经由总线617将由符号、字符或图组成的菜单屏幕或图标等用于显示的数据输出到图像信号处理单元614。
基于指示由用户使用操作单元622命令的内容的信号，控制器621执行各种类型的处理，并且还经由总线617控制图像信号处理单元614、DRAM618、外部接口619、屏幕上显示器620、介质驱动器623等。将控制器621执行各种类型的处理所需的程序、数据等存储在闪存ROM624中。
例如，代替图像信号处理单元614和解码器615，控制器621可以对存储在DRAM618中的图像数据进行编码或对存储在DRAM618中的编码数据进行解码。此时，控制器621可以使用与图像信号处理单元614和解码器615的编码和解码格式相同的格式执行编码和解码处理，或者可以使用图像信号处理单元614和解码器615均不可以处理的格式执行编码和解码处理。
此外，例如，在从操作单元622指示开始图像打印的情况下，控制器621从DRAM618读出图像数据，并将其提供给经由总线617连接到外部接口619的打印机来打印。
此外，例如，在从操作单元622指示图像记录的情况下，控制器621从DRAM618读出编码数据，并经由总线617将其提供给安装在介质驱动器623上的记录介质633来存储。
记录介质633例如是可选的可读/写的可移除介质，诸如磁带、磁光盘、光盘、半导体存储器等。不用说，记录介质633关于可移除介质的类型也是可选的，并由此可以是带装置，或可以是盘，或可以是存储卡。不用说，记录介质633可以是非接触IC卡等。
替代地，介质驱动器623和记录介质633可以被配置成集成到诸如内置的硬盘驱动器、SSD(固态装置)等的非可运输的记录介质中。
外部接口619由例如USB输入/输出端子等配置成，并在执行图像打印的情况下连接到打印机634。此外，驱动器631根据需要连接到外部接口619，其上适当地安装有磁盘、光盘或磁光盘等，并且根据需要将从其读出的计算机程序安装到闪存ROM624中。
此外，外部接口619包括连接到诸如LAN、因特网等的预定网络的网络接口。例如，根据来自操作单元622的指令，控制器621可以从DRAM618读出编码数据，并将其提供从外部接口619提供到经由网络连接的另一装置。此外，控制器621可以经由外部接口619获得经由网络从另一装置提供的编码数据或图像数据，并将其保存到DRAM618中或将其提供给图像信号处理单元614。
如此配置成的照相机600采用图像解码装置101作为解码器615。因此，以与图像解码装置101相同的方式，在色差信号的块尺寸小于正交变换块尺寸的情况下，解码器615使用多个亮度信号块的运动矢量，生成与多个亮度信号块对应的单个色差信号块的运动矢量。因此，减少了由于正交变换而导致的非零系数的出现，由此可以提高编码效率。此外，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
因此，照相机600可以实现高速处理，并且还生成具有高精度的预测图像。其结果是，照相机600可以例如根据在CCD/CMOS612处生成的图像数据、从DRAM618或记录介质633读出的视频数据的编码数据、或经由网络获得的视频数据的编码数据来获得经由更高精度的解码图像，并以更高的速度显示在LCD616上。
此外，照相机600采用图像编码装置51作为编码器641。因此，以与图像解码装置51相同的方式，在色差信号的块尺寸小于正交变换块尺寸的情况下，编码器614使用多个亮度信号块的运动矢量，生成与多个亮度信号块对应的单个色差信号块的运动矢量。因此，减少了由于正交变换而导致的非零系数的出现，由此可以提高编码效率。此外，存储器访问计算仅需要执行一次，所以可以减少所需要的存储器带宽。
因此，例如照相机可以提高要记录在硬盘中的编码数据的编码效率。其结果是，照相机600可以以更高的速度按照更有效的方式使用DRAM618或记录介质633的存储区。
注意，图像解码装置101的解码方法可以应用于控制器621执行的解码处理。类似地，图像编码装置51的编码格式可以应用于控制器621执行的编码处理。
此外，照相机600拍摄的图像数据可以是运动图像，或可以是静止图像。
不用说，图像编码装置51和图像解码装置101可以应用于上述装置之外的装置或系统。
附图标记列表
51图像编码装置
66无损编码单元
74帧内预测单元
75运动预测/补偿单元
76色差块确定单元
77色差运动矢量确定单元
81运动搜索单元
82模式确定单元
83运动补偿单元
91块分类单元
92色差运动矢量生成单元
95色差预测运动矢量生成单元
96色差运动矢量搜索单元
101图像解码装置
112无损解码单元
121帧内预测单元
122运动预测/补偿单元
123色差运动矢量精度确定单元
124色差块确定单元
131运动矢量缓冲器
132模式信息缓冲器
133预测图像生成单元
141块分类单元
142色差运动矢量生成单元

Claims (14)

1.一种图像处理装置，包括：
运动预测装置，被配置成执行对要编码的亮度块的运动预测，并生成所述要编码的亮度块的运动矢量；
色差运动矢量生成装置，在与所述要编码的亮度块对应的色差块为比正交变换的块尺寸小的尺寸的情况下，使单个色差块与多个所述亮度块对应，以便生成所述单个色差块的运动矢量，
预测图像生成装置，使用由所述色差运动矢量生成装置生成的运动矢量，生成所述色差块的预测图像，并使用由所述运动预测装置生成的运动矢量，生成所述要编码的亮度块的预测图像，
编码装置，利用由所述预测图像生成装置生成的所述色差块的预测图像和所述要编码的亮度块的预测图像，对所述色差块和所述要编码的亮度块进行编码。
2.根据权利要求1所述的图像处理装置，其中，所述色差运动矢量生成装置使用多个所述亮度块的运动矢量中的至少一个，来生成所述单个色差块的运动矢量。
3.根据权利要求2所述的图像处理装置，其中，所述色差运动矢量生成装置按照使用多个所述亮度块的运动矢量中的至少一个的函数，来生成所述单个色差块的运动矢量。
4.根据权利要求2所述的图像处理装置，其中，在所述色差块为尺寸等于或大于所述正交变换的块尺寸的情况下，所述色差运动矢量生成装置按照与现有的编码标准相同的方法生成所述色差块的运动矢量。
5.一种图像处理方法，包括以下步骤：
图像处理装置进行如下操作：
执行对要编码的亮度块的运动预测，并生成所述要编码的亮度块的运动矢量；
在与所述要编码的亮度块对应的色差块为比正交变换的块尺寸小的尺寸的情况下，使单个色差块与多个所述亮度块对应，以便生成所述单个色差块的运动矢量，
使用所生成的所述色差块的运动矢量，生成所述色差块的预测图像，并使用所生成的所述要编码的亮度块的运动矢量，生成所述要编码的亮度块的预测图像，
利用所生成的所述色差块的预测图像和所述要编码的亮度块的预测图像，对所述色差块和所述要编码的亮度块进行编码。
6.一种图像处理装置，包括：
解码装置，被配置成对要解码的亮度块的预测模式的信息进行解码，并对所述要解码的亮度块的运动矢量进行解码，
色差运动矢量生成装置，在基于由所述解码装置解码的所述预测模式的信息所指示的、所述要解码的亮度块的尺寸而判断出与所述要解码的亮度块对应的色差块为比正交变换的块尺寸小的尺寸的情况下，使单个色差块与多个所述亮度块对应，以便生成所述单个色差块的运动矢量，
预测图像生成装置，使用由所述色差运动矢量生成装置生成的所述色差块的运动矢量，生成所述色差块的预测图像，并使用由所述解码装置解码的所述要解码的亮度块的运动矢量，生成所述要解码的亮度块的预测图像，
其中，所述解码装置还被配置成利用由所述预测图像生成装置生成的所述色差块的预测图像和所述要解码的亮度块的预测图像，对所述色差块和所述要解码的亮度块进行解码。
7.根据权利要求6所述的图像处理装置，其中，所述色差运动矢量生成装置使用多个所述亮度块的运动矢量中的至少一个来生成所述单个色差块的运动矢量。
8.根据权利要求7所述的图像处理装置，其中，所述色差运动矢量生成装置按照使用多个所述亮度块的运动矢量中的至少一个的函数来生成所述单个色差块的运动矢量。
9.根据权利要求7所述的图像处理装置，其中，
在所述色差块为等于或大于所述正交变换的块尺寸的尺寸的情况下，所述色差运动矢量生成装置按照与现有的编码标准相同的方法生成所述色差块的运动矢量，并生成所述色差块的预测图像。
10.一种图像处理方法，包括以下步骤：
图像处理装置进行如下操作：
对要解码的亮度块的预测模式的信息进行解码，并对所述要解码的亮度块的运动矢量进行解码，
在基于由所解码的所述预测模式的信息所指示的、所述要解码的亮度块的尺寸而判断出与所述要解码的亮度块对应的色差块为比正交变换的块尺寸小的尺寸的情况下，使单个色差块与多个所述亮度块对应，以便生成所述单个色差块的运动矢量，
使用所生成的所述色差块的运动矢量，生成所述色差块的预测图像，并使用所解码的所述要解码的亮度块的运动矢量，生成所述要解码的亮度块的预测图像，
利用所生成的所述色差块的预测图像和所生成的所述要解码的亮度块的预测图像，对所述色差块和所述要解码的亮度块进行解码。
11.一种电视接收器，包括根据权利要求6-9之一所述的图像处理装置。
12.一种移动电话，包括根据权利要求1-4或6-9之一所述的图像处理装置。
13.一种硬盘记录器，包括根据权利要求1-4或6-9之一所述的图像处理装置。
14.一种照相机，包括根据权利要求1-4或6-9之一所述的图像处理装置。
CN201080043968.2A 2009-09-30 2010-09-22 图像处理装置和方法 Active CN102577388B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410815270.8A CN104639945B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法
CN201410809336.2A CN104539969B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-226220 2009-09-30
JP2009226220A JP5234368B2 (ja) 2009-09-30 2009-09-30 画像処理装置および方法
PCT/JP2010/066388 WO2011040302A1 (ja) 2009-09-30 2010-09-22 画像処理装置および方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201410809336.2A Division CN104539969B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法
CN201410815270.8A Division CN104639945B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法

Publications (2)

Publication Number Publication Date
CN102577388A CN102577388A (zh) 2012-07-11
CN102577388B true CN102577388B (zh) 2016-05-25

Family

ID=43826126

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201410815270.8A Active CN104639945B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法
CN201410809336.2A Active CN104539969B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法
CN201080043968.2A Active CN102577388B (zh) 2009-09-30 2010-09-22 图像处理装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201410815270.8A Active CN104639945B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法
CN201410809336.2A Active CN104539969B (zh) 2009-09-30 2010-09-22 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (7) US8744182B2 (zh)
JP (1) JP5234368B2 (zh)
CN (3) CN104639945B (zh)
WO (1) WO2011040302A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
JP2013110517A (ja) * 2011-11-18 2013-06-06 Canon Inc 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9743091B2 (en) 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
JP6399433B2 (ja) * 2013-05-31 2018-10-03 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
DE102014220809A1 (de) * 2014-10-14 2016-04-14 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Detektieren eines sich bewegenden Objekts
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
CN109218733B (zh) * 2017-06-30 2022-03-29 华为技术有限公司 一种确定预测运动矢量预测的方法以及相关设备
CN107392838B (zh) * 2017-07-27 2020-11-27 苏州浪潮智能科技有限公司 基于OpenCL的WebP压缩并行加速方法及装置
TW201944778A (zh) * 2018-04-09 2019-11-16 晨星半導體股份有限公司 幀內預測模式決定裝置與幀內預測模式決定方法
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN110636297B (zh) 2018-06-21 2021-05-14 北京字节跳动网络技术有限公司 分量相关的子块分割
GB2589769B (en) 2018-07-15 2023-02-15 Beijing Bytedance Network Tech Co Ltd Cross-component coding order derivation
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN113597760A (zh) 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
US11632563B2 (en) * 2019-02-22 2023-04-18 Qualcomm Incorporated Motion vector derivation in video coding
BR112021017841A2 (pt) * 2019-03-11 2021-11-30 Fraunhofer Ges Forschung Codificador e decodificador, método de codificação e decodificação, sinal de vídeo e sistema
CN112655201B (zh) * 2020-04-23 2022-02-11 华为技术有限公司 一种图像编解码的方法、装置及系统、和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101164336A (zh) * 2005-04-22 2008-04-16 松下电器产业株式会社 影像信息记录装置、影像信息记录方法、影像信息记录程序、以及记录了影像信息记录程序的记录介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1047055A (zh) * 1989-05-10 1990-11-21 夏敬释 车辆大灯自动变光控制装置
JP3063380B2 (ja) * 1992-04-28 2000-07-12 三菱電機株式会社 高能率符号化装置
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
JP2907663B2 (ja) * 1992-12-21 1999-06-21 松下電器産業株式会社 動きベクトル検出方法
JPH06311533A (ja) * 1993-04-27 1994-11-04 Matsushita Electric Ind Co Ltd 動き補償装置
JPH07236159A (ja) * 1994-02-21 1995-09-05 Sony Corp 動き補償符号化方法、動き補償符号化装置、伝送装置および記録装置
EP0779744A3 (en) * 1995-12-06 1997-08-20 Thomson Multimedia Sa Method and device for coding digital video signals
JP3440830B2 (ja) 1998-06-26 2003-08-25 ソニー株式会社 画像符号化装置及び方法、並びに記録媒体
MXPA05006718A (es) * 2003-02-21 2005-09-08 Matsushita Electric Ind Co Ltd Metodo de codificacion de imagenes y metodo de decodificacion de imagenes.
NO319007B1 (no) * 2003-05-22 2005-06-06 Tandberg Telecom As Fremgangsmate og apparat for videokomprimering
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
JP3955303B2 (ja) 2005-04-25 2007-08-08 有限会社ムゲンコーポレーション コンテナ等の防振装置およびその使用方法
JP4820191B2 (ja) * 2006-03-15 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
NO325859B1 (no) * 2006-05-31 2008-08-04 Tandberg Telecom As Kodek-preprosessering
WO2008032660A1 (en) 2006-09-11 2008-03-20 Panasonic Corporation Image decoding device, image decoding method, image decoding system, and system lsi
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
TW200845758A (en) * 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
US8754990B2 (en) * 2007-09-14 2014-06-17 Broadcom Corporation Method and system for processing chroma signals
JP2010035137A (ja) 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8588295B2 (en) * 2009-03-09 2013-11-19 Mediatek Inc. Methods and electronic devices for quantization and de-quantization
KR102333204B1 (ko) * 2009-08-12 2021-12-02 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 인트라 색차 엔코딩 및 디코딩을 위한 방법 및 장치
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
JP6301624B2 (ja) 2013-10-03 2018-03-28 株式会社東芝 放送受信装置、情報処理システムおよび情報処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101164336A (zh) * 2005-04-22 2008-04-16 松下电器产业株式会社 影像信息记录装置、影像信息记录方法、影像信息记录程序、以及记录了影像信息记录程序的记录介质

Also Published As

Publication number Publication date
JP5234368B2 (ja) 2013-07-10
US20150131735A1 (en) 2015-05-14
WO2011040302A1 (ja) 2011-04-07
US20140185946A1 (en) 2014-07-03
CN104539969B (zh) 2018-06-26
US10911772B2 (en) 2021-02-02
US20150131905A1 (en) 2015-05-14
CN104539969A (zh) 2015-04-22
JP2011077761A (ja) 2011-04-14
US9979981B2 (en) 2018-05-22
US9544614B2 (en) 2017-01-10
CN104639945B (zh) 2018-11-20
CN102577388A (zh) 2012-07-11
CN104639945A (zh) 2015-05-20
US8744182B2 (en) 2014-06-03
US20120219216A1 (en) 2012-08-30
US20150131737A1 (en) 2015-05-14
US9510014B2 (en) 2016-11-29
US9503748B2 (en) 2016-11-22
US20180199056A1 (en) 2018-07-12
US9510015B2 (en) 2016-11-29
US20170048542A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
CN102577388B (zh) 图像处理装置和方法
RU2665885C2 (ru) Устройство и способ обработки изображений
CN102342108B (zh) 图像处理设备和方法
CN102318347B (zh) 图像处理设备和方法
TWI411310B (zh) Image processing apparatus and method
CN102224734B (zh) 图像处理设备和方法
CN102415098B (zh) 图像处理设备和方法
CN102160384A (zh) 图像处理设备和方法
CN102160381A (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
CN105723707A (zh) 用于视频译码的色彩残差预测
CN102318346A (zh) 图像处理设备和方法
CN102714734A (zh) 图像处理设备和方法
CN102934430A (zh) 图像处理装置和方法
CN102396226A (zh) 图像处理设备和方法
CN102714735A (zh) 图像处理设备和方法
CN102160382A (zh) 图像处理设备和图像处理方法
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN104380739A (zh) 图像处理设备和图像处理方法
CN102160380A (zh) 图像处理设备和方法
CN102742272A (zh) 用于图像处理的设备和方法以及程序
CN102301723A (zh) 图像处理设备和方法
CN102939759A (zh) 图像处理设备和方法
CN102792693A (zh) 图像处理设备和方法
CN102696227A (zh) 图像处理设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170607

Address after: Dublin, Ireland

Patentee after: Velos Media, LLC

Address before: Tokyo, Japan

Patentee before: Sony Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221205

Address after: Tokyo

Patentee after: Sony Group

Address before: Irish Dublin

Patentee before: Velos Media, LLC