CN102986226A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN102986226A
CN102986226A CN2011800330716A CN201180033071A CN102986226A CN 102986226 A CN102986226 A CN 102986226A CN 2011800330716 A CN2011800330716 A CN 2011800330716A CN 201180033071 A CN201180033071 A CN 201180033071A CN 102986226 A CN102986226 A CN 102986226A
Authority
CN
China
Prior art keywords
motion
unit
subregion
motion vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800330716A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102986226A publication Critical patent/CN102986226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种可以改进编码效率的图像处理装置和方法。该图像处理装置包括：运动预测/补偿单元，其对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及编码单元，其对通过运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。所公开的技术可应用到例如图像处理装置。

Description

图像处理装置和方法
技术领域
本技术涉及一种图像处理装置和方法，并且更具体地，涉及一种能够实现更高的编码效率的图像处理装置和方法。
背景技术
近年来，在广播电台等的信息发送和普通家庭的信息接收双方中如下装置正变得普及：该装置通过采用把图像信息处理为数字信号的编码方式来使图像经受压缩编码、同时为了执行对信息的高效传输和存储，利用作为图像信息的特征的冗余，通过正交变换（诸如离散余弦变换等）和运动补偿来压缩图像。该编码方法的示例包括MPEG（运动图片专家组）等。
具体地，MPEG2（ISO（国际标准化组织）/IEC（国际电工技术委员会）13818-2）被定义为通用图像编码方式，并且是涵盖了隔行扫描图像和逐行扫描图像、以及标准分辨率图像和高清晰度图像的标准。例如，当前在用于专业使用和用于消费使用的广泛而多样的应用程序中广泛地使用MEPG2。通过采用MPEG2压缩方式，在具有720×480像素的标准分辨率隔行扫描图像的情况下，分配4至8Mbps的编码量（比特率）。通过采用MPEG2压缩方式，例如在具有1920×1080像素的高清晰度隔行扫描图像的情况下，分配18至22Mbps的编码量（比特率），借此可以实现高压缩比和优秀的图像质量。
MPEG2主要针对适合于广播使用的高图像质量编码，但是不处理比MPEG1的编码量更低的编码量（比特率），即具有更高的压缩率的编码方式。预期由于个人数字助理的普遍因此对于这样的编码方式的需求将增长，并且响应于此，执行了MPEG4编码方案的标准化。关于图像编码方式，其规范在1998年12月被确认为ISO/IEC 14496-2的国际标准。
此外，近年来，以用于电视会议使用的图像编码为目的的、被称为H.26L的标准（ITU-T（国际电信联盟远程通信标准部）Q6/16VCEG（视频编码专家组））的标准化处于发展之中。已知尽管相比于传统的编码方法（诸如MPEG2和MEPG4），利用H.26L进行编码和解码需要较大计算量，但是，H.26L实现更高的编码效率。此外，当前，作为MPEG4活动的一部分，基于该H.26L、用于利用H.26L所不支持的功能以实现更高编码效率的标准化被执行为增强的压缩视频编码的联合模型。
关于标准化的时间表，H.264和MPEG-4部分10（高级视频编码，在下文中称为AVC）在2003年3月成为国际标准。
现在，对于将由下一代编码方法处理的、诸如UHD（超高清晰度;4000×2000像素）的大图像帧，16×16个像素的传统宏块尺寸不是最优的。因此，NPL（非专利文献）1等提议将宏块尺寸放大为64×64个像素、32×32个像素等的尺寸。
即，利用NPL 1，通过采用层级结构，16×16个像素或更小的块保持与当前AVC中的宏块兼容，同时定义更大的块作为其超集。
这些块（宏块、宏块被划分成多个区域的子宏块）用作运动预测/补偿处理的单位（increment）的运动分区。
现在，利用AVC编码方式，提供了跳过模式和直接模式。跳过模式和直接模式不需要传送运动向量信息，并且具体地，被用于更大的区域，由此有助于改进的编码效率。
引用列表
非专利文献
非专利文献1：Peisong Chenn,Yan Ye,Marta Karczewicz,“VideoCoding Using Extended Block Sizes”,COM16-C123-E,Qualcomm Inc,January 2009
发明内容
技术问题
然而，利用NPL 1提议的技术，跳过模式和直接模式仅应用于作为运动分区的块中的正方形块，因此存在如下忧虑：编码效率有可能不提高。
鉴于这样的情况做出了本公开内容，并且其目的是使得跳过模式和直接模式应用于长方形块以及提高编码效率。
问题的解决方案
本公开的一个方面是一种图像处理装置，其包括：运动预测/补偿单元，其被配置成对于作为要编码图像的非正方形的运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及编码单元，其被配置成对通过运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。
该图像处理装置还可包括标志生成单元，其被配置成在运动预测/补偿单元对非正方形运动分区执行运动预测/补偿的情况下，生成指示是否以所述预测模式执行运动预测/补偿的标志信息。
在运动预测/补偿单元以所述预测模式对非正方形运动分区执行运动预测/补偿的情况下，标志生成单元可将标志信息的值设置为1，并且在以不同于所述预测模式的模式执行运动预测/补偿的情况下，标志生成单元可将标志信息值设置为0。
编码单元可对标志生成单元生成的标志信息连同差分信息一起进行编码。
运动分区可以是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个的非正方形子宏块。
预定尺寸可以是16×16像素。
子宏块可以是长方形。
子宏块可以是二分割宏块的区域。
子宏块可以是不对称地二分割宏块的区域。
子宏块可以是在斜方向上二分割宏块的区域。
本公开的另一方面还是一种图像处理装置的图像处理方法，该方法包括：运动预测/补偿单元对于作为要编码图像的非正方形的运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及编码单元对通过已执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。
本公开的另一方面是一种图像处理装置，其包括：解码单元，其被配置成解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；运动预测/补偿单元，其被配置成以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码单元解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及生成单元，其被配置成通过使通过解码单元解码码流而获得的差分信息和运动预测/补偿单元生成的预测图像相加，生成解码图像。
在由解码单元解码并且指示是否以所述预测模式执行运动预测/补偿的标志信息指示非正方形运动分区经受了所述预测模式的运动预测/补偿的情况下，运动预测/补偿单元可以以所述预测模式执行非正方形运动分区的运动预测/补偿。
运动分区可以是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个的非正方形子宏块。
预定尺寸可以是16×16像素。
子宏块可以是长方形。
子宏块可以是二分割宏块的区域。
子宏块可以是不对称地二分割宏块的区域。
子宏块可以是在斜方向上二分割宏块的区域。
本公开的另一方面是一种图像处理装置的图像处理方法，该方法包括：解码单元解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；运动预测/补偿单元以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及生成单元通过使通过解码码流而获得的差分信息和所生成的预测图像相加，生成解码图像。
根据本公开的一个方面，对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及对通过已执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。
根据本公开的另一方面，解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及通过使通过解码码流而获得的差分信息和所生成的预测图像相加，生成解码图像。
根据本公开，可以处理图像。具体地，可以改进编码效率。
附图说明
图1是示出小数像素精确度的运动预测/补偿处理的示例的图。
图2是示出宏块的示例的图。
图3是用于描述如何执行中值运算的示例的图。
图4是用于描述多参考帧的示例的图。
图5是用于描述如何执行时间直接模式的示例的图。
图6是用于说明宏块的另一示例的图。
图7是示出图像编码装置的主要配置的框图。
图8是示出运动预测/补偿单元的详细配置示例的框图。
图9是示出成本函数计算单元的详细配置示例的框图。
图10是示出长方形跳过/直接编码单元的详细配置示例的框图。
图11是用于描述编码处理的流程的示例的流程图。
图12是用于描述帧内预测处理的流程的示例的流程图。
图13是用于描述长方形跳过/直接运动向量信息生成处理的流程的示例的流程图。
图14是示出图像解码装置的主要配置示例的框图。
图15是示出运动预测/补偿单元的详细配置示例的框图。
图16是示出长方形跳过/直接解码单元的详细配置示例的框图。
图17是用于描述解码处理的的流程的示例的流程图。
图18是用于描述预测处理的流程的示例的流程图。
图19是用于描述帧内预测处理的流程的示例的流程图。
图20是用于描述NPL 2中描述的技术的图。
图21是用于描述NPL 3中描述的技术的图。
图22是用于描述NPL 4中描述的技术的图。
图23是示出个人计算机的主要配置示例的框图。
图24是示出电视接收器的主要配置示例的框图。
图25是示出移动电话的主要配置示例的框图。
图26是示出硬盘记录器的主要配置示例的框图。
图27是示出摄像装置的主要配置示例的框图。
具体实施方式
在下文中，将描述用于实施本技术的实施例（在下文中称为实施例）。将以下述顺序进行描述：
1.第一实施例（图像编码装置）
2.第二实施例（图像解码装置）
3.第三实施例（个人计算机）
4.第四实施例（电视接收器）
5.第五实施例（移动电话）
6.第六实施例（硬盘记录器）
7.第七实施例（摄像装置）
<1.第一实施例>
[具有小数像素精确度的运动预测/补偿处理]
利用诸如MPEG-2等的编码方式，通过线性插值处理执行了具有1/2像素精确度的运动预测/补偿处理，利用AVC编码方式，使用6抽头FIR（有限冲激响应）滤波器作为插值滤波器执行了具有1/4像素精确度的运动预测/补偿处理，并且因此改善了编码效率。
图1是用于描述AVC编码方式中规定的具有1/4像素精确度的运动预测/补偿处理的图。在图1中，正方形表示像素。其中，“A”表示帧存储器112中所存储的具有整数像素精确度的位置，位置b、c以及d表示具有1/2像素精确度的位置，以及位置e1、e2以及e3表示具有1/4像素精确度的位置。
在此，如在以下表达式（1）中限定函数Clip1（）。
[数学表达式1]
Clip 1 ( a ) = 0 ; if ( a < 0 ) a ; otherwise max _ pix ; if ( a > max _ pix )
···(1)
例如，在输入图像具有8比特精确度的情况下，表达式（1）中的max_pix的值为255。
如根据以下表达式（2）和表达式（3），使用6抽头FIR滤波器生成位置b和d中的像素值。
[数学表达式2]
F=A-2-5·A-1+20·A0+20·A1-5·A2+A3  ...(2)
[数学表达式3]
b,d=clip1((F+16)>>5)  ...(3)
如根据以下表达式（4）至（6）、通过在水平方向和垂直方向上应用6抽头FIR滤波器生成位置c中的像素值。
[数学表达式4]
F=b-2-5·b-1+20·b0+20·b1-5·b2+b3  ...(4)
或者
[数学表达式5]
F=d-2-5·d-1+20·d0+20·d1-5·d2+d3  ...(5)
[数学表达式6]
c=Clip1((F+512)>>10)  ...(6)
注意，在水平方向和垂直方向上均执行了积和处理之后，仅在最后执行一次Clip处理。
如以下表达式（7）至（9）所示、通过线性插值生成e1至e3。
[数学表达式7]
e1=(A+b+1)>>1  ...(7)
[数学表达式8]
e2=(b+d+1)>>1  ...(8)
[数学表达式9]
e3=(b+c+1)>>1  ...(9)
[运动预测/补偿处理]
另外，根据MPEG2，在帧运动补偿模式的情况下，以16×16个像素的单位执行运动预测/补偿处理，并且在场运动补偿模式的情况下，关于16×8个像素的单位中的第一场和第二场中的每个执行运动预测/补偿处理。
另外，根据AVC，如图2所示，一个由16×16个像素所构成的宏块可以被划分为16×16个像素、16×8个像素、8×16个像素以及8×8个像素分区中的任一个分区，其中每个子宏块具有独立的运动向量信息。另外，如图3所示，8×8个像素分区可以被划分为8×8个像素、8×4个像素、4×8个像素以及4×4个像素子分区中的任一个子分区，其中每个子宏块具有独立的运动向量信息。
然而，根据AVC图像编码方式，以与根据MPEG-2相同的方式执行这样的运动预测/补偿处理会导致生成大量运动向量信息。如果所生成的运动向量信息在没有改变的情况下被编码，则可能导致编码效率的退化。
作为解决该问题的技术，利用AVC图像编码方式，根据以下技术，实现了运动向量编码信息的减少。
图3中的线表示运动补偿块的边界。另外，在图3中，E表示现在开始要编码的当前运动补偿块，并且A至D表示已经被编码的、与当前块E相邻的运动补偿块。
假设X=A，B，C，D，E，用mvx代表关于X的运动向量信息。
首先，根据以下表达式（10），通过使用关于运动补偿块A、B以及C的运动向量信息的中值运算来生成关于运动补偿块E的预测运动向量信息pmvE。
[数学表达式10]
pmvE=med(mvA,mvB,mvC)  ...(10)
在由于处于图像帧的边缘的原因而“无法获得”关于块C的运动向量信息的情况下，替代使用关于块D的运动向量信息。
使用pmvE、根据以下表达式（11）来生成要编码为关于当前块E的运动向量信息的数据mvdE。
[数学表达式11]
mvdE=mvE-pmvE  ...(11)
注意，在实际的处理中，关于运动向量信息的水平方向和垂直方向上的分量，独立地执行处理。
此外，根据AVC，规定了传统图像编码方案（诸如MPEG-2和H.263等）所未规定的、被称为Multi-Reference Frame（多参考帧）的方式。
将参照图4描述根据AVC规定的多参考帧（Multi-Reference Frame）。
即，根据MPEG-2和H.263，在P图片的情况中，通过仅参考帧存储器中所存储的一个参考帧来执行运动预测/补偿处理，但是，根据AVC，如在图4中所示，在存储器中存储了多个参考帧，并且对于每个宏块可以参照不同的存储器。
现在，尽管关于B图片的运动向量信息的信息量巨大，但是根据AVC，设置了被称为Direct Mode（直接模式）的模式。
在直接模式（Direct Mode）中，运动向量信息不存储在图像压缩信息中。在图像解码装置，根据周围块的运动向量信息、或作为与参考帧中要处理的块相同位置处的块的位于同一位置块的运动向量信息，计算当前块的运动向量信息。
直接模式（Direct Mode）包括Spatial Direct Mode（空间直接模式）和Temporal Direct Mode（时间直接模式）两种模式，这些模式可以对于每个切片（slice）切换。
根据空间直接模式（Spatial Direct Mode），如以下表达式（12），计算关于要处理的补偿块E的运动向量信息mvE。
mvE=pmvE    …(12)
即，通过Median（中值）预测所生成的预测运动向量信息被应用为当前块的运动向量信息。
在下面，将参照图5描述时间直接模式（Temporal Direct Mode）。
在图5中，根据L0参考图片，与当前块相同空间地址的块将被称为位于同一位置的块，并且假设位于同一位置的块的运动向量信息为mvcol。此外，假设当前图片与L0参考图片之间在时间轴上的距离为TDB，并且L0参考图片与L1参考图片之间在时间轴上的距离为TDD。
此时，可以根据以下表达式（13）和（14）来计算当前图片中L0运动向量信息mvL0和L1运动向量信息mvL1。
[数学表达式12]
mv L 0 = TD B TD D mv col
···(13)
[数学表达式13]
mv L 1 = TD D - TD B TD D mv col
···(14)
注意，根据AVC图像压缩信息，因为不存在表示在时间轴上的距离的信息TD，所以采用POC（图片顺序计数）来执行上述表达式（12）和表达式（13）的计算。
此外，根据AVC图像压缩信息，可以以16×16个像素宏块的单位、或以8×8个像素块的单位限定直接模式（Direct Mode）。
[预测模式的选择]
现在，根据AVC编码方式，为了实现更高的编码效率，选择适当的预测模式是重要的。
对于选择方法的示例，可以给出在被称为JM（联合模型）的H.264/MPEG-4/AVC 的参考软件（在http://iphome.hhi.de/suehring/tml/index.htm公开）中所实现的方法。
根据JM，可以从以下描述的High Complexity Mode（高复杂度模式）和Low Complexity Mode（低复杂度模式）的两种模式确定方法中进行选择。根据这两者，关于各个预测模式计算成本函数值，并且选择产生最小成本函数值的预测模式作为对于当前子宏块或当前宏块的最优模式。
在High Complexity Mode中，根据以下表达式（15）来表示成本函数。
Cost(Mode∈Ω)=D+λ×R  ...(15)
在此，Ω是用于对当前块至宏块进行编码的候选模式的总集（wholeset），D是在以当前预测模式编码的情况下，解码图像和输入图像之间的差分能量。λ是作为量化参数的函数而给定的拉格朗日待定乘子。R是在以当前模式编码的情况下的总编码量，其包括正交变换系数。
即，为了根据High Complexity Mode执行编码，需要通过所有候选模式执行试验性编码处理以计算以上参数D和R，其需要大量计算。
如以下表达式（16）所示表示Low Complexity Mode的成本函数。
Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit  ...(16)
在此，不同于High Complexity Mode的情况，D是预测图像和输入图像之间的差分能量。QP2Quant(QP)是作为量化参数QP的函数而给定的，并且HeaderBit是不包括正交变换系数、诸如运动向量和模式、有关属于头（Header）的信息的编码量。
即，在Low Complexity Mode中，需要关于每个候选模式执行预测处理，但是因为不需要获得解码图像，所以不需要执行编码处理。因此，使得能够以相比High Complexity Mode更少的计算量实现LowComplexity Mode。
现在，对于将由下一代编码方法处理的、诸如UHD（超高清晰度;4000×2000像素）的大的图像帧，16×16个像素的宏块尺寸不是最优的。因此，如在图6中所示，NPL 1等提议将宏块尺寸放大为64×64个像素或32×32个像素等。
即，根据NPL 1，通过采用如在图6中所示的层级结构，16×16个像素或更少尺寸的块保持与当前AVC的宏块兼容，同时定义更大的块作为其超集。
现在，根据AVC编码方法，跳过模式还被设置为不需要以与直接模式相同的方式发送运动向量信息的模式。跳过模式和直接模式不一定传送运动向量信息，并且具体地，通过应用于更宽的区域，有助于改进编码效率。
然而，根据NPL 1中提议的技术，跳过模式和直接模式仅应用于作为运动分区的块中的正方形块，因此存在如下忧虑：编码效率可能不改进。
因此，将使跳过模式和直接模式也应用于长方形块，使得可以改进编码效率。
[图像编码装置]
图7表示作为图像处理装置的图像编码装置的实施例的配置。
图7中所示的图像编码装置100是例如使用H.264方案和MPEG(运动图像专家组）4部分10（AVC（高级视频编码））（在下文中称为H.264/AVC）方式来使图像经受编码的编码装置。然而，注意，图像编码装置100将跳过模式和直接模式不但应用于正方形块而且应用于长方形块。因此，图像编码装置100可以改进编码效率。
根据图7的示例，图像编码装置100具有A/D（模拟/数字）转换单元101、画面重排缓冲102、计算单元103、正交变换单元104、量化单元105、无损编码单元106以及存储缓冲107。图像编码装置100还具有逆量化单元108、逆正交变换单元109、计算单元110、去块效应滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116以及码率控制单元117。
A/D转换单元101对于输入的图像数据执行A/D转换并且输出至画面重排缓冲102并存储。
画面重排缓冲102根据GOP（图片组）结构将图像帧从用于显示的存储顺序重排为用于编码的帧的顺序。画面重排缓冲102将重排了帧顺序的图像提供至计算单元103。画面重排缓冲102还将重排了帧顺序的图像提供至帧内预测单元114和运动预测/补偿单元115。
计算单元103从由画面重排缓冲102所读取的图像中减去经由选择单元116从帧内预测单元114或运动预测/补偿单元115所提供的预测图像，并且将其差分信息输出至正交变换单元104。
例如，在要对其执行帧内编码的图像的情况下，计算单元103从由画面重排缓冲102所读取的图像中减去帧内预测单元114所提供的预测图像。此外，例如，在对其要执行帧间编码的图像的情况下，计算单元103从由画面重排缓冲102所读取的图像中减去从运动预测/补偿单元115所提供的预测图像。
正交变换单元104使来自计算单元103的差分信息经受正交变换（诸如离散余弦变换、Karhunen-Loéve变换等），并且将其变换系数提供至量化单元105。
量化单元105量化正交变换单元104所输出的变换系数。量化单元105基于码率控制单元117所提供的信息设置量化参数，并且执行量化。量化单元105将量化的变换系数提供至无损编码单元106。
无损编码单元106使量化的变换系数经受无损编码（诸如可变长度编码、算术编码等）。
无损编码单元106从帧内预测单元114获得表示帧内预测的信息等，并且从运动预测/补偿单元115获取表示帧间预测模式的运动向量信息等。注意，表示帧内预测（画面内预测）的信息在下文中也被称为帧内预测模式信息。此外，表示帧间预测（画面间预测）的信息在下文中也被称为帧间预测模式信息。
无损编码单元106对量化的变换系数进行编码，并且将滤波器系数、帧内预测模式信息、帧间预测模式信息、以及量化参数等作为为编码数据的头信息的一部分（复用）。无损编码单元106将通过编码所获得的编码数据提供至存储缓冲107以用于存储。
例如，利用无损编码单元106，执行无损编码处理诸如可变长度编码或算术编码等。可变长度编码的示例包括由H.264.AVC方式所规定的CAVLC（上下文自适应可变长度编码）。算术编码的示例包括CABAC（上下文自适应二进制算术编码）。
存储缓冲107暂时保存无损编码单元106所提供的编码数据，并且例如在预定定时将编码数据输出至图中未示出的后段的记录装置、传输路径等作为通过H.264/AVC方式编码的编码图像。
此外，从量化单元105输出的量化的变换系数也被提供至逆量化单元108。逆量化单元108根据对应于量化单元105的量化的方法对量化的变换系数进行逆量化。逆量化单元108将所获得的变换系数提供至逆正交变换单元109。
逆正交变换单元109根据对应于正交变换单元104的正交变换处理的方法对所提供的变换系数执行逆正交变换。经受逆正交变换的输出（复原的差分信息）被提供至计算单元110。
计算单元110将逆正交变换单元109所提供的逆正交变换结果（即，复原的差分信息）加到经由选择单元116从帧内预测单元114或运动预测/补偿单元115所提供的预测图像，来获得局域解码图像（解码图像）。
例如，在差分信息对应于要对其执行帧内编码的图像时，计算单元110将帧内预测单元114所提供的预测图像加到该差分信息。此外，例如，在差分信息对应于要对其执行帧间编码的图像时，计算单元110将运动预测/补偿单元115所提供的预测图像加到该差分信息。
其相加结果被提供至去块效应滤波器111或帧存储器112。
去块效应滤波器111通过适当地执行去块效应滤波处理来从解码图像移除块噪声，并且通过例如使用Wiener滤波器（Wiener Filter）适当地执行环路滤波处理来执行图像质量改进。去块效应滤波器111执行每个像素的类分类并且对于每个类执行合适的滤波处理。去块效应滤波器111然后将滤波处理结果提供至帧存储器112。
帧存储器112在预定定时经由选择单元113将存储的参考图像输出至帧内预测单元114或运动预测/补偿单元115。
例如，在要对其执行帧内编码的图像的情况下，帧存储器112经由选择单元113将参考图像提供至帧内预测单元114。此外，在要对其执行帧间编码的图像的情况下，帧存储器112经由选择单元113将参考图像提供至运动预测/补偿单元115。
在要对其执行帧内编码的图像的情况下，选择单元113将帧存储器112所提供的参考图像提供至帧内预测单元114。此外，在要对其执行帧间编码的图像的情况下，选择单元113将参考图像提供至运动预测/补偿单元115。
帧内预测单元114使用画面内的像素值来执行生成预测图像的帧内预测（画面内预测）。帧内预测单元114通过多个模式（帧内预测模式）执行帧内预测。
帧内预测单元114以所有的帧内预测模式生成预测图像，评估预测图像以及选择最优模式。在选择最优帧内预测模式时，帧内预测单元114经由选择单元116将以该最优模式生成的预测图像提供至计算单元103和计算单元110。
此外，如上所述，帧内预测单元114将表示采用的帧内预测模式的信息（诸如帧内预测模式信息）适当地提供至无损编码单元106。
关于要经受帧间编码的图像，运动预测/补偿单元115使用画面重排缓冲102所提供的输入图像和用作经由选择单元113从帧存储器112所提供的参考图像的解码图像，根据检测到的运动向量执行运动补偿处理，并且生成预测图像（帧间预测图像信息）。
运动预测/补偿单元115对于所有的候选帧间预测模式执行帧间预测处理，并且生成预测图像。此时，例如，如NPL 1所提议的，即使在取长方形子宏块作为大于16×16个像素的扩展宏块中的运动分区的情况下，运动预测/补偿单元115也应用跳过模式和直接模式。运动预测/补偿单元115对于也包括候选中的这样的跳过模式和直接模式的每个模式计算成本函数值，并且选择最优模式。
运动预测/补偿单元115经由选择单元116将生成的预测图像提供至计算单元103和计算单元110。
运动预测/补偿单元115还将表示采用的帧间预测模式的帧间预测模式信息和表示计算的运动向量的运动向量信息提供至无损编码单元106。
再者，稍后详细描述，在取长方形子宏块作为扩展宏块中的运动分区的情况下，运动预测/补偿单元115生成被称为block_skip_direct_flag的标志，其表示是跳过模式还是直接模式。运动预测/补偿单元115也包括这个标志计算成本函数。注意，即使在作为基于成本函数的模式选择的结果、取长方形块作为运动分区的模式的情况下，运动预测/补偿单元115也将block_skip_direct_flag提供至无损编码单元106以被编码、并且传送到解码侧。
选择单元116在用于执行帧内编码的图像的情况下，将帧内预测单元114的输出提供至计算单元103和计算单元110，并且在用于执行帧间编码的图像的情况下，将运动预测/补偿单元115的输出提供至计算单元103和计算单元110。
码率控制单元117基于存储缓冲107中所存储的压缩图像来控制量化单元105的量化操作的码率，使得不发生上溢或下溢。
[运动预测/补偿单元]
图8是示出图7中的运动预测/补偿单元115的详细配置示例的框图。
如图8所示，运动预测/补偿单元115包括成本函数计算单元131、运动搜索单元132、正方形跳过/直接编码单元133、长方形跳过/直接编码单元134、模式确定单元135、运动补偿单元136、以及运动向量缓冲137。
成本函数计算单元131以每个帧间预测模式（对于所有候选模式）计算成本函数。尽管成本函数的计算方法是可选的，但是例如，可以按与上述AVC编码方式相同的方式执行该方法。
例如，成本函数计算单元131获得运动搜索单元132生成的关于每个模式的运动向量信息和预测图像信息，并且计算成本函数。运动搜索单元132使用从画面重排缓冲102获得的输入图像信息和从帧存储器112获得的参考图像信息，生成关于每个候选模式（用于每个运动分区的每个帧内预测模式）的运动向量信息和预测图像信息。
运动搜索单元132不仅关于AVC编码方式等中规定的16×16像素的宏块（在下文中被称为正常宏块）、而且关于大于16×16像素的尺寸的宏块（诸如NPL 1等中提议的宏块）（在下文中也被称为扩展宏块），生成运动向量信息和预测图像信息。然而，注意，运动搜索单元132不关于跳过模式和直接模式执行处理。
成本函数计算单元131使用运动搜索单元132所提供的运动向量信息和预测图像信息，对于每个候选模式计算成本函数。注意，在扩展宏块的长方形子宏块作为运动分区的情况下，成本函数计算单元131生成指示模式是跳过模式还是直接模式的block_skip_direct_flag。
如上所述，运动搜索单元132不关于跳过模式和直接模式执行处理。即，在该情况下，成本函数计算单元131将block_skip_direct_flag的值设置为0。注意，成本函数计算单元131计算包括该block_skip_direct_flag的成本函数。
另外，成本函数计算单元131获得作为关于正方形跳过/直接编码单元133生成的跳过模式和直接模式的运动向量信息的长方形跳过/直接运动向量信息，并且计算成本函数。
正方形跳过/直接编码单元133取正常宏块或其子宏块、或扩展宏块或其子宏块的正方形子宏块作为运动分区（在下文中也被称为正方形运动分区），并且以跳过模式或直接模式生成运动向量信息。
在跳过模式或直接模式的情况下，使用已生成的周围块的运动向量来生成运动向量。正方形跳过/直接编码单元133向运动向量缓冲137请求需要的周围块的向量信息，并且获得该信息。正方形跳过/直接编码单元133将以该方式生成的正方形跳过/直接运动向量信息提供给成本函数计算单元131。
此外，成本函数计算单元131获得作为关于长方形跳过/直接编码单元134生成的跳过模式和直接模式的运动向量信息的长方形跳过/直接运动向量信息，并且计算成本函数。
长方形跳过/直接编码单元134取扩展宏块的子宏块的长方形子宏块作为运动分区（在下文中被称为长方形运动分区），并且以跳过模式或直接模式生成运动向量信息。
以与正方形相同的方式，在跳过模式或直接模式的情况下，使用已生成的周围块的运动向量来生成运动向量。长方形跳过/直接编码单元134向运动向量缓冲137请求需要的周围块的向量信息，并且获得该信息。对于长方形运动分区和正方形运动分区两者，以跳过模式和直接模式获得运动向量的方式基本相同。然而，注意，取决于形状，要参考的周围块的位置不同。
长方形跳过/直接编码单元134将以此方式生成的长方形跳过/直接运动向量信息提供给成本函数计算单元131。
在该情况下，成本函数计算单元131如上所述生成block_skip_direct_flag，将其值设置为1，并且计算包括block_skip_direct_flag的成本函数。
成本函数计算单元131将每个候选模式的所计算的成本函数值连同预测图像、运动向量信息、以及block_skip_direct_flag等提供给模式确定单元135。
模式确定单元135确定候选模式中的其成本函数值最小、要成为最优帧内预测模式的模式，并且向运动补偿单元136通知该模式。模式确定单元135向运动补偿单元136提供所需的所选候选模式的模式信息、以及该模式的预测图像、运动向量信息、以及block_skip_direct_flag等。
运动补偿单元136向选择单元116提供被选择作为最优帧内预测模式的模式的预测图像。另外，在选择单元116选择帧内预测模式的情况下，运动补偿单元136向无损编码单元106提供诸如该模式的模式信息、运动向量信息、以及block_skip_direct_flag等的所需信息。
另外，运动补偿单元136向运动向量缓冲137提供被选择作为最优帧内预测模式的模式的运动向量信息，以便保存该运动向量信息。在随后执行的关于运动分区的处理中，运动向量缓冲137中保存的运动向量信息被参考作为周围块的运动向量信息。
由于不需要传送运动向量信息，因此跳过模式和直接模式应用的区域越大，它们越有助于改进的编码效率。近些年来，图像的更高分辨率在进展中，因此，即使诸如NPL 1中的扩展宏块的较大区域也被提议。即，期望实现要应用于这样的扩展宏块的跳过模式和直接模式用于改进编码效率。
然而，区域越大，包括在单个区域中的元素类型数越大，并且将包括不适合于跳过模式和直接模式的元素的可能性越大。根据诸如AVC编码方式等的传统方式，根据跳过模式和直接模式，仅对正方形运动分区进行规定，因此在不适合于跳过模式或直接模式的图像包括在扩展宏块的部分中的情况下，即使其它分区是适合于跳过模式或直接模式的图像，也不选择跳过模式或直接模式，或者该其它分区必须划分成不必要的较小分区。以任一方式，存在如下忧虑：对改进编码效率的贡献度将受损害。
相反，运动预测/补偿单元115借助于长方形跳过/直接编码单元134也将跳过模式或直接模式应用到长方形运动分区，作为一个候选模式计算运动向量信息，并且评估成本函数。
因此，运动预测/补偿单元115可以将跳过模式或直接模式应用到更大的区域，并且可以改进编码效率。
[成本函数计算单元]
图9是示出图8中的成本函数计算单元131的主要配置的框图。
如图9所示，成本函数计算单元131具有运动向量获得单元151、标志生成单元152、以及成本函数计算单元153。
运动向量获得单元151从运动搜索单元132、正方形跳过/直接编码单元133以及长方形跳过/直接编码单元134中的每个关于每个候选模式获得运动向量信息等。运动向量获得单元151将所获得的信息提供给成本函数计算单元153。
然而，现在，在从运动搜索单元132或长方形跳过/直接编码单元134获得运动向量信息的情况下，运动向量获得单元151向标志生成单元152通知该结果，并且生成block_skip_direct_flag。
标志生成单元152关于取扩展宏块的长方形子宏块作为运动分区的模式生成block_skip_direct_flag。标志生成单元152在跳过模式或直接模式的情况下将block_skip_direct_flag的值设置为1，否则将block_skip_direct_flag设置为0。标志生成单元152将所生成的block_skip_direct_flag提供至成本函数计算单元153。
基于运动向量获得单元151所提供的信息，成本函数计算单元153计算候选模式的成本函数。在从标志生成单元152提供block_skip_direct_flag的情况下，计算包括block_skip_direct_flag的成本函数。
成本函数计算单元153将所计算的成本函数值和其它信息提供至模式确定单元135。
根据NPL 1，为图7中示出的扩展宏块的第一层级的各个64×64运动分区、64×32运动分区、32×64运动分区、32×32运动分区的每个code_number分配0或1、2、3或8。对于64×64运动分区，在以跳过模式或直接模式编码的情况下code_number是0，否则code_number是1。
相反，对于64×32运动分区和32×64运动分区，标志生成单元152生成block_skip_direct_flag并且添加到语法（syntax）元素。在要以跳过模式或直接模式对这些运动分区编码的情况下，标志生成单元152将block_skip_direct_flag的值设置为1。此时，要是P切片，如果长方形运动补偿分区不具有运动向量信息也不具有正交变换系数，则模式是跳过模式，此外，要是B切片，如果不具有运动向量信息，则作为直接模式执行编码。
注意，图7中示出的第一层级和第二层级中的长方形运动分区可使用block_skip_direct_flag。
通过实现这样的编码处理，扩展尺寸块可以使用长方形运动分区的跳过模式和直接模式（根据NPL 1不可能使用），并且可以实现更高的编码效率。
注意，尽管跳过模式和直接模式可以指定为模式信息的一部分，但是例如关注图8中的64×32运动分区，对于上方和下方运动分区两者都是跳过模式或直接模式的情况、仅上方运动分区是跳过模式或直接模式的情况、仅下方运动分区是跳过模式或直接模式的情况、以及上方和下方运动分区都不是跳过模式或直接模式的情况，以单个code_number表示的模式必须要以四个code_number表示，因此存在如下忧虑：这将导致输出图像压缩信息中比特数增大。
如上所述，运动预测/补偿单元115与模式信息分离生成指示是跳过模式还是直接模式的block_skip_direct_flag，并且其被传送到解码侧，因此可以抑制这样不必要的比特量的增加，并且可以改进编码效率。
[长方形跳过/直接编码单元]
图10是示出图8中的长方形跳过/直接编码单元134的主要配置示例的框图。
如图10所示，长方形跳过/直接编码单元134具有相邻分区限定单元171和运动向量生成单元172。
相邻分区限定单元171确定对其生成运动向量的运动分区，并且限定与该运动分区相邻的相邻分区。
如上所述，在跳过模式和直接模式中，对于生成运动向量，需要周围块（相邻分区）的运动向量。在运动分区是长方形的情况下，相邻块取决于其位置和形状而不同。
相邻分区限定单元171将关于要处理的运动分区的位置和形状的信息提供给运动向量缓冲137，并且请求关于相邻分区的运动向量信息。
运功向量缓冲137基于要处理的运动分区的位置和形状，将相邻于要处理的运动分区的相邻分区的运动向量信息提供至相邻分区限定单元171。
在从运动向量缓冲137获得相邻分区运动向量信息时，相邻分区限定单元171将相邻分区运动向量信息以及有关要处理的运动分区的位置和形状的信息提供至运动向量生成单元172。
运动向量生成单元172基于相邻分区限定单元171所提供的各种类型信息，生成要处理的运动分区的运动向量。运动向量生成单元172将所生成的运动向量信息（长方形跳过/直接运动向量信息）提供至成本函数计算单元131。
如上所述，相邻分区限定单元171根据运动分区的形状从运动向量缓冲137获得正确的相邻分区运动向量信息，因此，长方形跳过/直接编码单元134可以生成正确的运动向量信息。
[编码处理流程]
接下来，将描述图像编码装置100所执行的每个处理的流程。首先，将参照图11的流程图描述编码处理的流程的示例。
在步骤S101中，A/D转换单元101对于输入图像执行A/D转换。在步骤S102中，画面重排缓冲102存储A/D转换的图像，并且执行从显示图片的顺序至用于编码的顺序的重排。
在步骤S103中，计算单元103计算通过步骤S102的处理所重排的图像与预测图像之间的差分。在执行帧间预测的情况下，预测图像经由选择单元116从运动预测/补偿单元115输入，并且在执行帧内预测的情况下，预测图像经由选择单元116从帧内预测单元114输入，并且预测图像被提供至计算单元103。
与原始图像数据相比，差分数据的数据量较小。因此，与原样编码图像的情况相比，可以压缩数据量。
在步骤S104中，正交变换单元104使通过步骤S103的处理所生成的差分信息执行正交变换。具体地，执行正交变换（诸如离散余弦变换）Karhunen-Loéve变换等），并且输出变换系数。
在步骤S105中，量化单元105量化通过步骤S104的处理所获的正交变换系数。
如下局部解码通过步骤S105的处理所量化的差分信息。即，在步骤S106中，逆量化单元108使用对应于量化单元105的属性的属性，使通过步骤S105的处理所量化的正交变换系数（也称为量化系数）经受逆量化。在步骤S107中，逆正交变换单元109根据对应于正交变换单元104的属性的属性，使通过步骤S106的处理所获得的正交变换系数经受逆正交变换。
在步骤S108中，计算单元110将预测图像加到局部解码的差分信息，并且生成局部解码图像(对应于输入到计算单元103的图像）。在步骤S109中，去块效应滤波器111使通过步骤S108的处理所生成的图像经受滤波。因此，移除块失真。
在步骤S110中，帧存储器112存储通过步骤S109的处理经受块失真移除的图像。注意，未经受去块效应滤波器111的滤波处理的图像也被从计算单元110提供至帧存储器112以用于存储。
在步骤S111中，帧内预测单元114以帧内预测模式执行帧内预测处理。在步骤S112中，运动预测/补偿单元115以帧间预测模式执行帧间运动预测处理，该处理执行运动预测和运动补偿。
在步骤S113中，选择单元116基于帧内预测单元114以及运动预测/补偿单元115所输出的成本函数值来确定最优预测模式。即，选择单元116选择帧内预测单元114所生成的预测图像和运动预测/补偿单元115所生成的预测图像中的任一个。
此外，选择了哪一个预测图像的选择信息被提供至其预测图像被选择的帧内预测单元114以及运动预测/补偿单元115中的一个。在选择了最优帧内预测模式的预测图像的情况下，帧内预测单元114将表示最优帧内预测模式的信息（即，帧内预测模式信息）提供至无损编码单元106。
在选择了最优帧间预测模式的预测图像的情况下，运动预测/补偿单元115将表示最优帧间预测模式的信息并且如果必要将对应于最优帧间预测模式的信息输出至无损编码单元106。对应于最优帧间预测模式的信息的示例包括运动向量信息、标记信息以及参考帧信息等。
在步骤S114中，无损编码单元106对于通过步骤105的处理所量化的量化的变换系数进行编码。即，不同图像（帧间情况下的二次差分图像）经受无损编码诸如可变长度编码、算术编码等。
注意，无损编码单元106对步骤S105中计算的量化参数进行编码，并且将其加到编码数据。
此外，无损编码单元106对通过步骤S113的处理所选择的关于预测图像的预测模式的信息进行编码，并且将其加到通过对差分图像进行编码所获得的编码数据。即，无损编码单元106还对帧内预测单元114所提供的帧内预测模式信息或对根据运动预测/补偿单元115所提供的最优帧间预测模式的信息等进行编码，并且将其加到编码数据。
在步骤S115中，存储缓冲107存储无损编码单元106所输出的编码数据。在存储缓冲107中所存储的编码数据适当地被读取并且经由传输路径发送至解码侧。
在步骤S116中，码率控制单元117基于通过步骤S115的处理在存储器缓冲107中所存储的压缩图像来控制量化单元105的量化操作的码率，以不发生上溢或下溢。
在步骤S116的处理结束时，编码处理结束。
[帧间运动预测处理的流程]
接下来，将参照图12中的流程图描述图11中的步骤S112中执行的帧间运动预测处理的流程的示例。
在帧间运动预测处理开始时，在步骤S131中，运动搜索单元132对于用于正方形运动分区的模式中的每个模式当中的除了跳过模式和直接模式之外的模式执行运动搜索，并且生成运动向量信息。
在成本函数计算单元131的运动向量获得单元151获得运动向量信息时，在步骤S132中，成本函数计算单元153对于用于正方形运动分区的每个模式（不包括跳过模式和直接模式）计算成本函数。
在步骤S133中，运动搜索单元132对用于长方形运动分区的每个模式（不包括跳过模式和直接模式）执行运动搜索，并且生成运动向量信息。
在成本函数计算单元131的运动向量获得单元151获得运动向量信息时，在步骤S134中，标志生成单元152生成值为0的block_skip_direct_flag（block_skip_direct_flag=0）。在步骤S135中，成本函数计算单元153计算包括标志值的成本函数。
在步骤S136中，正方形跳过/直接编码单元133关于正方形运动分区、以跳过模式和直接模式生成运动向量信息。
在成本计算函数131的运动向量获得单元151获得运动向量信息时，在步骤S137中，成本函数计算单元153对于正方形运动分区、以跳过模式和直接模式计算成本函数。
在步骤S138中，成本函数计算单元131确定要处理的宏块是否是扩展宏块，并且在确定其是扩展宏块的情况下，流程前进到步骤S139。
在步骤S139中，长方形跳过/直接编码单元134对于长方形运动分区、以跳过模式和直接模生成运动向量信息。
在成本函数计算单元131的运动向量获得单元151获得运动向量信息时，在步骤S140中，标志生成单元152生成值为1的block_skip_direct_flag（block_skip_direct_flag=1）。在步骤S141中，成本函数计算单元153计算包括标志值的成本函数。
在步骤S141的处理结束时，成本函数计算单元131将成本函数值等提供至模式确定单元135，并且流程前进到步骤S142。另外，在步骤S138中确定处理的对象不是扩展宏块的情况下，成本函数计算单元131省略步骤S139至S141的处理，将成本函数值等提供至模式确定单元135，并且使流程前进到步骤S142。
在步骤S142中，模式确定单元135基于所计算出的每个模式的成本函数值，选择最优帧间预测模式。在步骤S143中，运动补偿单元136以所选模式（最优帧间预测模式）执行运动补偿。此外，运动补偿单元136将所选模式的运动向量信息保存在运动向量缓冲137中，结束帧间运动预测处理，使流程返回到图11中的步骤S112，并且使得执行随后处理。
[长方形跳过/直接运动向量信息生成处理的流程]
接下来，将参照图13中的流程图描述图12的步骤S139中执行的、长方形跳过/直接运动向量信息生成处理的流程的示例。
在长方形跳过/直接运动向量信息生成处理开始时，长方形跳过/直接编码单元134的相邻分区限定单元171与运动向量缓冲137协作在步骤S161中识别相邻分区，并且在步骤S162中获得其运动向量信息。
在步骤S163中，运动向量生成单元172使用在步骤S162中获得的运动向量来以跳过模式或直接模式生成运动向量信息（长方形跳过/直接运动向量信息）。在步骤S163的处理结束时，长方形跳过/直接编码单元134结束长方形跳过/直接运动向量信息生成处理，使流程返回至图12中的步骤S139，并且使得执行随后处理。
因此，作为帧内预测模式之一，在运动预测/补偿单元115，图像编码装置100取扩展宏块的长方形子宏块作为运动分区，并且以跳过模式和直接模式执行运动预测/补偿。
因此，跳过模式和直接模式可以应用到更大区域，并且可以改进编码效率。
另外，在以此方式取扩展宏块的长方形子宏块作为运动分区的情况下，图像编码装置100与code_number分离生成指示是跳过模式还是直接模式的block_skip_direct_flag，并且将其提供至码流的解码侧。
因此，可以抑制由于code_number的比特的增加而导致的编码效率的降低。
<2.第二实施例>
[图像解码装置]
图14是示出图像解码装置的主要配置示例的框图。图14所示的图像解码装置200是对应于图7中的图像编码装置100的解码装置。
图像编码装置100所编码的编码数据经由预定的传输路径被发送至对应于图像编码装置100的图像解码装置200，并且被解码。
如在图14中所示，图像解码装置200由存储缓冲201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、去块效应滤波器206、画面重排缓冲207以及D/A转换单元208构成。图像解码装置200还具有帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212以及选择单元213。
存储缓冲201存储发送到其的编码数据。该编码数据由图像编码装置100编码。无损解码单元202使用对应于图7的无损编码单元106的编码方式的方式在预定定时解码从存储缓冲201所读取的编码数据。
逆量化单元203使用对应于图7的量化单元105的量化方式的方式来使无损解码单元202解码的所获得的系数数据（量化系数）经受逆量化。
逆量化单元203将经受逆量化的系数数据（即，正交变换系数）提供至逆正交变换单元204。逆正交变换单元204使用对应于图7的正交变换单元104的正交变换方式的方式，使正交变换系数经受逆正交变换，并且获得对应于图像编码装置100处的正交变换前的残留数据的解码残留数据。
通过经受逆正交变换所获得的解码残留数据被提供至计算单元205。此外，预测图像从帧内预测单元211或运动预测/补偿单元212经由选择单元213被提供至计算单元205。
计算单元205将解码残留数据和预测图像相加，并且获得与图像编码装置100的计算单元103进行的预测图像相减之前的图像数据相对应的解码图像数据。计算单元205将解码图像数据提供至去块效应滤波器206。
去块效应滤波器206移除提供的解码图像的块失真，并且随后将解码图像提供至画面重排缓冲207。
画面重排缓冲207执行图像的重排。即，图7的画面重排缓冲102将重排用于编码的帧的顺序重排为原始显示顺序。D/A转换单元208对于画面重排缓冲207所提供的图像执行D/A转换，并且将其输出至未示出的显示器并显示。
去块效应滤波器206的输出还被提供至帧存储器209。
帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212以及选择单元213分别对应于图7中示出的图像编码装置100的帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115以及选择单元116。
选择单元210从帧存储器209读取用于帧间处理的图像和要参考的图像，并且将图像提供至运动预测/补偿单元212。此外，选择单元210从帧存储器209读取用于帧内预测的图像，并且将图像提供至帧内预测单元211。
通过解码头信息等而获得的表示帧内预测模式的信息从无损解码单元202适当地提供至帧内预测单元211。帧内预测单元211基于此信息、根据从帧存储器209所获得的参考图像生成预测图像，并且将生成的预测图像提供至选择单元213。
运动预测/补偿单元212从无损解码单元202获得通过解码头信息而获得的信息（预测模式信息、运动向量信息、参考帧信息、标志以及各种参数）。
运动预测/补偿单元212基于无损解码单元202所提供的这些信息、根据从帧存储器209所获得的参考图像来生成预测图像，并且将生成的预测图像提供至选择单元213。
选择单元213选择运动预测/补偿单元212所生成的或帧内预测单元211所生成的预测图像，并且将其提供至计算单元205。
[运动预测/补偿单元]
图15是示出图14中的运动预测/补偿单元212的主要配置示例的框图。
如图15所示，运动预测/补偿单元212包括运动向量缓冲231、模式缓冲232、正方形跳过/直接解码单元233、长方形跳过/直接解码单元234、以及运动补偿单元235。
运动向量缓冲231获得并保存在可逆解码单元202处解码的运动向量信息。模式缓冲232保持在可逆解码单元202处解码的模式信息和block_skip_direct_flag等。
模式缓冲232基于所获得的模式信息和block_skip_direct_flag，在不是跳过模式或直接模式的情况下，指示运动向量缓冲231将运动向量信息提供至运动补偿单元235。运动向量缓冲231遵循指示，将要处理的运动分区的运动向量信息提供至运动补偿单元235。
此外，在是正方形运动分区的跳过模式或直接模式的情况下，基于所获得的模式信息和block_skip_direct_flag，模式缓冲232将通知该结果的正方形跳过/直接模式信息提供至正方形跳过/直接解码单元233。
正方形跳过/直接解码单元233将正方形跳过/直接模式信息中所包括的、要处理的运动分区的位置和形状提供至运动向量缓冲231，并且请求生成用于要处理的运动分区的运动向量所需要的相邻分区的运动向量信息。
运动向量缓冲231根据请求识别相邻分区，并且将运动向量信息提供至正方形跳过/直接解码单元233。正方形跳过/直接解码单元233使用从运动向量缓冲231获得的运动向量，以跳过模式或直接模式生成用于要处理的运动分区的运动向量，并且将正方形跳过/直接运动向量信息提供至运动补偿单元235。
此外，在是长方形运动分区的跳过模式或直接模式的情况下，基于所获得的模式信息和block_skip_direct_flag，模式缓冲232将通知该结果的长方形跳过/直接模式信息提供至长方形跳过/直接解码单元234。
长方形跳过/直接解码单元234将长方形跳过/直接模式信息中所包括的、要处理的运动分区的位置和形状提供至运动向量缓冲231，并且请求生成用于要处理的运动分区的运动向量所需要的相邻分区的运动向量信息。
运动向量缓冲231根据请求识别相邻分区，并且将运动向量信息提供至长方形跳过/直接解码单元234。长方形跳过/直接解码单元234使用从运动向量缓冲231获得的运动向量信息，以跳过模式或直接模式生成用于要处理的运动分区的运动向量，并且将长方形跳过/直接运动向量信息提供至运动补偿单元235。
运动补偿单元235使用所提供的运动向量信息，从帧存储器209获得参考图像信息，并且使用该信息来生成预测图像。运动补偿单元235将所生成的预测图像提供至选择单元213作为用于帧间预测模式的预测图像（预测图像信息）。
[长方形跳过/直接解码单元]
图16是示出图15中的长方形跳过/直接解码单元234的主要配置示例的框图。如图16所示，长方形跳过/直接解码单元234具有相邻分区限定单元251和运动向量生成单元252。
在从模式缓冲232接收到长方形跳过/直接模式信息时，相邻分区限定单元251将有关要处理的运动分区的位置和形状的信息提供至运动向量缓冲231，并且请求生成用于要处理的运动分区的运动向量所需要的相邻分区的运动向量信息。
在从运动向量缓冲231接收到相邻分区运动向量信息时，相邻分区限定单元251将该信息提供至运动向量生成单元252。
运动向量生成单元252使用所提供的相邻分区运动向量信息，以跳过模式或直接模式生成用于要处理的运动分区的运动向量信息。
运动向量生成单元252将包括所生成的运动向量的长方形跳过/直接运动向量信息提供至运动补偿单元235。
如上所述，图像解码装置200根据对应于图像编码装置100的编码方法的方法，对图像编码装置100编码的码流进行解码。运动预测/补偿单元212基于模式信息和block_skip_direct_flag而检测长方形运动分区的跳过模式或直接模式，并且在长方形跳过/直接解码单元234处生成运动向量。即，图像解码装置200对于长方形运动分区，也可以正确地对应用了跳过模式或直接模式的码流进行解码。
因此，图像解码装置200可以改进编码效率。
[解码处理的流程]
接下来，将描述上述图像解码装置200所执行的每个处理的流程。首先，将参照图17的流程图描述解码处理的流程的示例。
在解码处理开始时，在步骤S201中，存储缓冲201存储发送的编码数据。在步骤S202中，无损解码单元202解码存储缓冲201所提供的编码数据。具体地，解码图7的无损编码单元106所编码的I图片、P图片以及B图片。
此时，还解码运动向量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）、诸如标志和量化参数等的信息。
具体地，在预测模式信息是帧内预测模式信息的情况下，预测模式信息被提供至帧内预测单元211。在预测模式信息是帧间预测模式信息的情况下，预测模式信息和对应的运动向量信息被提供至运动预测/补偿单元212。
在步骤S203中，逆量化单元203使用对应于图7的量化单元105的量化处理的方法、逆量化通过在无损解码单元202处解码而获得的量化的正交变换系数。在步骤S204中，逆正交变换单元204使用对应于图7的正交变换单元104的方法、使逆量化单元203逆量化的正交变换系数经受逆正交变换。这意味着解码对应于图7的正交变换单元104的输入（计算单元103的输出）的差分信息。
在步骤S205中，计算单元205将预测图像加到通过步骤S204的处理所获的差分信息。以该方式，解码原始图像数据。
在步骤S206中，去块效应滤波器206使通过步骤S205的处理所获的解码图像数据经受滤波。因此，从解码图像中适当地移除块失真。
在步骤S207中，帧存储器209存储经受滤波的解码图像数据。
在步骤S208中，帧内预测单元211或运动预测/补偿单元212与无损解码单元202所提供的预测模式信息一致地执行图像预测处理。
即，在从无损解码单元202提供帧内预测模式信息的情况下，帧内预测单元211以帧内预测模式执行帧内预测处理。此外，在从无损解码单元202提供帧间预测模式信息的情况下，运动预测/补偿单元212以帧间预测模式执行运动预测处理。
在步骤S209中，选择单元213选择预测图像。即，帧内预测单元211所生成的预测图像或运动预测/补偿单元212所生成的预测图像被提供至选择单元213。选择单元213选择提供了预测图像的一侧，并且将该预测图像提供至计算单元205。通过步骤S205的处理，预测图像被加到差分信息。
在步骤S210中，画面重排缓冲207执行重排解码图像数据的帧。具体地，图像编码装置100的画面重排缓冲102（图7）将重排用于编码的解码图像数据的帧的顺序重排为原始显示顺序。
在步骤S211中，D/A转换单元208对于来自画面重排缓冲207的、对其重排了帧的解码图像数据执行D/A转换。解码图像数据被输出至未示出的显示器，并且显示图像。
[预测处理的流程]
接下来，将参照图18的流程图描述图17的步骤S208中所执行的预测处理的详细流程的示例。
在预测处理开始时，在步骤S231中，无损解码单元202基于解码预测模式信息而确定编码数据是否被帧内编码。
在确定编码数据被帧内编码的情况下，无损解码单元202使流程前进到步骤S232。
在步骤S232中，帧内预测单元211从无损解码单元202获得用于生成预测图像所需要的信息，诸如帧内预测模式信息等。在步骤S233中，帧内预测单元211从帧存储器209获得参考图像，以帧内预测模式执行帧内预测处理，并且生成预测图像。
在生成预测图像时，帧内预测单元211将所生成的预测图像经由选择单元213提供至计算单元205，结束预测处理，使处理返回至图17中的步骤S208，并且使得执行步骤S209以后的随后处理。
此外，在图18中的步骤S231中确定编码数据被帧间编码的情况下，无损解码单元202使流程前进到步骤S234。
在步骤S234中，运动预测/补偿单元212执行帧间预测处理，并且以编码时采用的帧间预测模式来生成预测图像。
在生成预测图像时，运动预测/补偿单元212将所生成的预测图像经由选择单元213提供至计算单元205，结束预测处理，使处理返回至图17中的步骤S208，并且使得执行步骤S209以后的随后处理。
[帧间预测处理的流程]
接下来，将参照图19中的流程图来描述图18的步骤S234中所执行的帧间预测处理的流程示例。
在帧间预测处理开始时，在步骤S251中，无损解码单元202对模式信息进行解码。在步骤S252中，模式缓冲232根据解码的模式信息确定处理的对象是否是长方形运动分区。在确定处理的对象是长方形运动分区的情况下，模式缓冲232使处理前进到步骤S253。
在步骤S253中，无损解码单元202对block_skip_direct_flag进行解码。在步骤S254中，模式缓冲232确定block_skip_direct_flag的值是否是1。在确定block_skip_direct_flag是1的情况下，模式缓冲232使处理前进到步骤S255。
在步骤S255中，长方形跳过/直接解码单元234执行长方形跳过/直接运动向量信息生成处理，其中，根据相邻分区的运动向量来生成运动向量。以与参照图13中的流程图描述的情况相同的方式执行该长方形跳过/直接运动向量信息生成处理。
在生成了长方形跳过/直接运动向量信息时，长方形跳过/直接解码单元234使流程前进到步骤S257。
此外，在步骤S252中确定处理的对象不是长方形运动分区的情况下，模式缓冲232使处理前进到步骤S256。此外，在步骤S254中确定block_skip_direct_flag是0的情况下，模式缓冲232使处理前进到步骤S256。
在步骤S256中，运动向量缓冲231或正方形跳过/直接解码单元233以指定模式生成运动向量信息。实际上，在除了跳过模式或直接模式之外的情况下，运动向量缓冲231选择已解码的、要处理的运动分区的运动向量信息，并且在跳过模式或直接模式的情况下，正方形跳过/直接解码单元233根据相邻分区的运动向量来生成要处理的运动分区的运动向量信息。
在步骤S256的处理结束时，运动向量缓冲231或正方形跳过/直接解码单元233使流程前进到步骤S257。
在步骤S257中，运动补偿单元235使用所准备的运动向量信息来生成预测图像。
在步骤S257的处理结束时，运动补偿单元235结束帧间预测处理，使处理返回到图18中的步骤S234，结束预测处理，使处理返回到图17中的步骤S208，并且使得执行随后处理。
因此，图像解码装置200可以正确地对图像编码装置100编码的码流进行解码。因此，图像解码装置200可以改进编码效率。
注意，关于仅对于扩展宏块、跳过模式和直接模式应用于长方形运动分区的第一实施例和第二实施例进行了描述，但不限于此。
例如，可进行如下布置：仅对于32×32个像素或64×64个像素或更大尺寸的宏块，跳过模式和直接模式应用于长方形运动分区，或者可进行如下布置：仅对于8×8个像素或4×4个像素或更大尺寸的宏块，跳过模式和直接模式应用于长方形运动分区，或者可进行如下布置：对于所有尺寸的宏块，跳过模式和直接模式应用于长方形运动分区。
此外，尽管关于仅在取二分割宏块的长方形子宏块作为运动分区的情况下应用跳过模式和直接模式的第一实施例和第二实施例进行了描述，但是其不限于此。可在在取使宏块三分割以上的长方形子宏块作为运动分区的情况下应用跳过模式和直接模式。
此外，其可应用于只要是非正方形运动分区的、任意形状的分区。例如，根据Ken McCann,Woo-Jin Han,Il-Koo Kim"Samsung's Response tothe Call for Proposals on Video Compression Technology",JCTVC-A124,April 2010（在下文中被称为NPL 2），提议根据诸如图20中示出的不对称分割的运动分区。可进行如下布置：取根据这样的不对称分割来二分割的运动分区作为上述长方形运动分区，其被应用跳过模式和直接模式。
此外，根据Marta Karczewicz,Peisong Chen,Raj an Joshi,XianglinWang,Wei-Jung Chien,Rahul Panchal,"Video coding technologyproposal by Qualcomm Inc.",JCTVC-A121,April 2010（下文中被称为NPL 3），提议了如图21所示的、θ和ρ作为编码参数、并且在斜方向上进行分割的运动补偿分区模式。可进行如下布置：取根据这样的斜分割来二分割的运动分区作为上述长方形运动分区，其被应用跳过模式和直接模式。
注意，如上所述，通常，跳过模式或直接模式所应用的区域越大，则对改进的编码效率的贡献越大。换句话说，将跳过模式或直接模式应用于非常小的区域不利于改进的编码效率。因此，可进行如下布置：对跳过模式或直接模式要应用的区域的尺寸设置限制，使得仅对于大于预定阈值的区域进行应用。
具体地，在图20和图21中示出的分割方法的情况下，可以设想将生成非常小的区域。因此，可以进行如下布置：对要作为长方形运动分区的区域的尺寸设置限制（最小值），由此不将跳过模式和直接模式应用于这样的区域，由此减少编码处理的负荷。
现在，为了改进使用诸如图3中示出的中值预测的运动向量编码，Jungyoup Yang,Kwanghyun Won,Byeungwoo Jeon,Hayoon Kim,"Motion Vector Coding with Optimal PMV Selection",VCEG-AI22,July2008（在下文中被称为NPL 4）提议了以下方法。
即，除了AVC编码方式中限定的、通过中值预测获得的“SpatialPredictor（空间预测）”，稍后描述的“Temporal Predictor（时间预测）”和“Spatio-Temporal Predictor（空间-时间预测）”之一还适应性地用作预测运动向量信息。
即，在图22中，利用“mvcol”作为关于当前块的位于同一位置的块（参考图像中其xy坐标与当前块中的xy坐标相同的块）的运动向量信息、以及mvtv（k=0至8）作为周围块的运动向量信息，通过以下表达式（17）至（19）限定各个预测运动向量信息（Predictor）。
Temporal Predictor：
[数学表达式14]
mvtm5=median{mvcol,mvt0,…,mvt3}  ...(17)
[数学表达式15]
mvtm9=median{mvcol,mvt0,…,mvt8}  ...(18)
Spatio-Temporal Predictor:
[数学表达式16]
mvspt=median{mvcol,mvcol,mva,mvb,mvc,}  ...(19)
根据图像编码装置100，使用每个块的各个预测运动向量信息来计算成本函数，并且选择最优预测运动向量信息。利用图像压缩信息，关于每个块，传送指示有关使用哪个预测运动向量信息的信息的标志。
诸如图22中所示，在通过Motion Vector Competition执行运动向量编码时，也可以应用本技术。
尽管以上对根据与AVC兼容的方式执行编码的图像编码装置和根据与AVC兼容的方式执行解码的图像解码装置进行了描述，但是本技术的应用范围不限于此，并且涉及跳过模式或直接模式运动预测/补偿的编码处理可以应用于所有图像编码装置和图像解码装置。
此外，例如，上述诸如block_skip_direct_flag的信息可以添加到编码数据的预定位置、或者可与编码数据分离传送到解码侧。例如，无损编码单元106可将比特流中的这些信息描述为语法。此外，无损编码单元106可将这些信息存储在预定区域作为辅助信息并且传送该信息。例如，这些信息可存储在SEI（补充增强信息）等的参数集（例如，序列或图片头等）中。
此外，可进行如下布置：无损编码单元106将这些信息与编码数据分离地（作为分离文件）从图像编码装置100传送到图像解码装置200。在这种情况下，需要明确这些信息与编码数据之间的相关性（使得在解码侧能够理解），该方法是可选的。例如，可分离地创建指示相关性的表格信息，或者指示相关性数据的链接信息可嵌入在每个其它数据中。
<3.第三实施例>
[个人计算机]
上述描述的处理序列可通过硬件执行并且可通过软件执行。在这种情况下，例如，可由如图22所示的个人计算机进行配置。
在图22中，个人计算机500的中央处理器单元（CPU）501根据ROM（只读存储器）502中所存储的程序或根据从存储单元513载入到RAM（随机存取存储器）503的程序来执行各种处理。RAM 503也适当地存储CPU 501执行各种处理时所需的数据等。
CPU 501、ROM 502以及RAM 503经由总线504彼此相连。总线504也连接至输入/输出接口510。
输入/输出接口510连接至输入单元511（由诸如键盘、鼠标等构成）、输出单元512（由诸如CRT（阴极射线管）或LCD（液晶显示屏）等的显示器、扬声器等构成）、由硬盘等构成的存储单元513以及由调制解调器等构成的通信单元514。通信单元514经由包括因特网的网络执行通信处理。
如果必要输入/输出接口510还连接至驱动器515，可拆卸介质521（诸如磁盘、光盘、磁光盘或半导体存储器等）适当地安装到驱动器515，如果必要从这些介质所读取的计算机程序被安装在存储单元513中。
在通过软件执行上述处理序列的情况下，从网络或记录介质安装构成软件的程序。
如在图22中所示，例如，该记录介质不但由可拆卸介质521构成，而且由在其中程序以预先内置于装置主体的状态被记录并分发到用户的ROM 502、存储单元513中所包括的硬盘等构成，可拆卸介质521由磁盘（包括软盘）、光盘（包括CD-ROM（光盘只读存储器）和DVD（数字通用磁盘）、磁光盘（包括MD（迷你光盘））或半导体存储器等构成，在该可拆卸介质521中，程序被记录和分发以便将程序分发至分离于设备主体的用户。
注意，计算机所执行的程序可以是依照在本说明中所描述的顺序、以时间序列方式执行处理的程序，或者可以是以并行方式或在必要的时间点（诸如响应调用）执行处理的程序。
此外，根据本说明书，描述记录介质中所记录的程序的步骤当然包括依照所描述的顺序以时间序列执行的处理，并且还包括不需要以时间序列执行的、以并行方式或各自地执行的处理。
此外，根据在本说明书，术语系统表示由多个装置（多个装置）构成的装置的整体。
此外，以上描述为一个装置（或处理单元）的配置可被分成并配置为多个装置（或处理单元）。相反，以上描述为多个装置（或处理单元）的配置可被整合并配置为单一的装置（或处理单元）。此外，以上讨论的这些配置之外的配置当然可添加至所述装置（或处理单元）。此外，只要整体系统的配置和操作基本相同，特定装置（或处理单元）的配置的部分可包括在另一装置（或另一处理单元）的配置中。即，本技术的实施例不限于上述的实施例，并且可以在不背离本技术的本质的情况下做出各种修改。
例如，上述的图像编码装置和图像解码装置可以应用到任意期望的电子装置，将在以下描述其示例。
<4.第四实施例>
[电视接收器]
图23是示出使用图像解码装置200的电视接收器的主要配置示例的框图。
图23中所示的电视接收器1000包括地面广播调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020以及显示面板1021。
地面广播调谐器1013经由天线接收地面模拟广播的广播波信号，解调放广播波信号，获得视频信号、以及将视频信号提供至视频解码器1015。视频解码器1015使地面广播调谐器1013所提供的视频信号经受解码处理，并且将获得的数字分量信号提供至视频信号处理电路1018。
视频信号处理电路1018使视频解码器1015所提供的视频数据经受预定的处理（诸如噪声去除处理等），并且将获得的视频数据提供至图形生成电路1019。
图形生成电路1019生成将要显示在显示面板1021上的节目的视频数据、基于经由网络等所提供的应用程序通过处理所获得的图像数据等，并且将生成的视频数据或图像数据提供至面板驱动电路1020。此外，图形生成电路1019还执行以下处理：生成用于显示用户所使用的、用于选择项目等的屏幕的视频数据（图形），以及酌情将通过在节目的视频数据上叠加视频数据而获得的视频数据提供至面板驱动电路1020。
面板驱动电路1020基于图形生成电路1019所提供的数据而驱动显示面板1021，以在显示面板1021上显示节目的视频的视频或以上描述的各种屏幕。
显示面板1021由LCD（液晶显示屏）等构成，并且依照面板驱动电路1020的控制来显示节目等的视频等。
此外，电视接收器1000还包括音频A/D（模拟/数字）转换电路1014、音频信号处理电路1022、回波消除/音频合成电路1023、音频放大电路1024以及扬声器1025。
地面广播调谐器1013解调接收到的广播波信号以借此获得音频信号和视频信号。地面广播调谐器1013将获得的音频信号提供至音频A/D转换电路1014。
音频A/D转换电路1014使地面广播调谐器1013所提供的音频信号经受A/D转换处理以获得数字音频信号，并且将获得的数字音频信号提供至音频信号处理电路1022。
音频信号处理电路1022使音频A/D转换电路1014所提供的音频数据经受预定的处理（诸如噪声去除处理等），并且将获得的音频数据提供至回波消除/音频合成电路1023。
回波消除/音频合成电路1023将音频信号处理电路1022所提供的音频数据提供至音频放大电路1024。
音频放大电路1024使回波消除/音频合成电路1023所提供的音频数据经受D/A转换处理、经受放大处理以调整至预定的音量，并且然后从扬声器1025输出音频。
此外，电视接收器1000还包括数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播（地面数字广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，解调广播波信号以获得MPEG-TS（运动图像专家组-传输流），并且将MPEG-TS提供至MPEG解码器1017。
MPEG解码器1017解扰给予数字调谐器1016所提供的MPEG-TS的扰乱，并且提取包括充当播放对象（观看对象）的节目的数据的流。MPEG解码器1017解码构成提取的流的音频包，将获得的音频数据提供至音频信号处理电路1022，还解码构成流的视频包，以及将获得的视频数据提供至视频信号处理电路1018。此外，MPEG解码器1017经由未示出的通道将从MPEG-TS中所提取的电子节目指南（EPG）数据提供至CPU 1032。
电视接收器1000使用上述的图像解码装置200作为以该方式解码视频包的MPEG解码器1017。注意，从广播电台等所发送的MPEG-TS由图像编码装置100编码。
以与图像解码装置200相同的方式，MPEG解码器1017可以基于模式信息和block_skip_direct_flag而检测长方形运动分区的跳过模式和直接模式，并且以各个模式执行解码处理。以该方式，MPEG解码器1017可以正确地对其中跳过模式和直接模式应用于长方形运动分区的码流进行解码，由此可以改进编码效率。
MPEG解码器1017所提供的视频数据以与视频解码器1015所提供的视频数据的情况相同的方式，经受视频信号处理电路1018处的预定处理，在图形生成电路1019适当地叠加在生成的视频数据等上，经由面板驱动电路1020提供至显示面板1021，以及在其上显示其图像。
MPEG解码器1017所提供的音频数据以与音频A/D转换电路1014所提供的音频数据的情况相同的方式，经受音频信号处理电路1022处的预定处理，经由回波消除/音频合成电路1023提供至音频放大电路1024，并且经受D/A转换处理和放大处理。结果，预定的音量调整的音频从扬声器1025输出。
此外，电视接收器1000还包括麦克风1026和A/D转换电路1027。
A/D转换电路1027接收设置到电视接收器1000的用于音频转换的麦克风1026所收集的用户的音频信号，使接收到的音频信号经受A/D转换处理，并且将获得的数字音频数据提供至回波消除/音频合成电路1023。
在A/D转换电路1027提供了电视接收器1000的用户（用户A）的音频数据的情况下，回波消除/音频合成电路1023对于作为对象的用户A的音频数据执行回波消除，并且经由音频放大电路1024从扬声器1025输出通过合成用户A的音频数据和其它音频数据等而获得的音频数据。
此外，电视接收器1000还包括音频编解码器1028、内部总线1029、SDRAM（同步动态随机存取存储器）1030、闪速存储器1031、CPU 1032、USB（通用串行总线）I/F 1033以及网络I/F 1034。
A/D转换电路1027接收设置到电视接收器1000的用于音频转换的麦克风1026所收集的用户的音频信号，使接收到的音频信号经受A/D转换处理，并且将获得的数字音频数据提供至音频编解码器1028。
音频编解码器1028将A/D转换电路1027所提供的音频数据转换为用于经由网络传输的预定格式的数据，并且将其经由内部总线1029提供至网络I/F 1034。
网络I/F 1034经由安装在网络终端1035上的电缆连接至网络。网络I/F 1034将音频编解码器1028所提供的音频数据发送至例如连接至其网络的另一装置。此外，例如，网络I/F 1034经由网络终端1035接收经由网络连接至其的另一装置所发送的音频数据，并且将音频数据经由内部总线1029提供至音频编解码器1028。
音频编解码器1028将网络I/F 1034所提供的音频数据转换为预定的格式的数据，并且将转换的音频数据提供至回波消除/音频合成电路1023。
回波消除/音频合成电路1023对于作为对象的、音频编解码器1028所提供的音频数据执行回波消除，并且将通过合成音频数据和其它数据等所获得的音频数据经由音频放大电路1024从扬声器1025输出。
SDRAM 1030存储CPU 1032执行处理所需的各种类型的数据。
闪速存储器1031存储CPU 1032要所执行的程序。CPU 1032在预定定时（诸如当电视接收器1000启动时等）读取闪速存储器1031中所存储的程序。经由数字广播所获得的EPG数据、经由网络从预定的服务器所获得的数据等也存储在闪速存储器1031中。
例如，包括通过CPU 1032的控制、经由网络从预定的服务器所获得的内容数据的MPEG-TS存储在闪速存储器1031中。例如，闪速存储器1031通过CPU 1032的控制将其MPEG-TS经由内部总线1029提供至MPEG解码器1017。
MPEG解码器1017以与数字调谐器1016所提供的MPEG-TS的情况相同的方式处理其MPEG-TS。以该方式，电视接收器1000经由网络接收由视频、音频等构成的内容数据，使用MPEG解码器1017解码内容数据，借此可以显示其视频并且可以输出其音频。
此外，电视接收器1000还包括光接收单元1037，其用于接收远程控制器1051所发送的红外信号。
光接收单元1037从远程控制器1051接收红外射线，将通过解调获得的、表示用户的操作的内容的控制代码输出至CPU 1032。
CPU 1032执行闪速存储器1031中所存储的程序，以根据光接收单元1037所提供的控制代码等来控制电视接收器1000的整体操作。CPU 1032和电视接收器1000的单元经由未示出的通路连接。
USB I/F 1033关于电视接收器1000的、经由安装在USB终端1036上的USB电缆连接的外部装置执行数据的发送/接收。网络I/F 1034经由安装在网络终端1035上的电缆连接至网络，并且关于连接到网络的各种装置执行除音频数据之外的数据的发送/接收。
电视接收器1000通过使用图像解码装置200作为MPEG解码器1017，即使在跳过模式和直接模式应用于长方形运动分区而对经由天线所接收的广播信号或经由网络所获得的内容数据编码的情况下，也可以正确地解码码流，由此可以改进编码效率。
<5.第五实施例>
[移动电话]
图24是示出使用图像编码装置100和图像解码装置200的移动电话的主要配置示例框图。
图24所示出的移动电话1100包括被配置成整体地控制单元的主控制单元1150、供电电路单元1151、操作输入控制单元1152、图像编码器1153、摄像装置I/F单元1154、LCD控制单元1155、图像解码器1156、复用/分离单元1157、记录/播放单元1162、调制/解调电路单元1158以及音频编解码器1159。这些单元经由总线1160彼此相连。
此外，移动电话1100包括操作键119、CCD（电荷耦合装置）摄像装置1116、液晶显示屏1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风（mike）1121以及扬声器1117。
当通过用户操作结束呼叫并且接通电源键时，供电电路单元1151通过将电力从电池包提供至单元来将移动电话1100激活为可操作状态。
移动电话1100基于由CPU、ROM、RAM等构成的主控制单元1150的控制、以各种模式（诸如语音呼叫模式、数据通信模式等）执行各种操作，诸如音频信号的发送/接收、e-mail和图像数据的发送/接收、图像拍摄、数据记录等。
例如，在语音呼叫模式中，移动电话1100通过音频编解码器1159将麦克风（mike）1121所收集的音频信号转换为数字音频数据，使其在调制/解调电路单元1158经受频谱扩展处理，以及使其在发送/接收电路单元1163经受数字-模拟转换处理和频率转换处理。移动电话1100将通过其转换处理所获得的传输信号经由天线1114发送至未示出的基站。发送至基站的传输信号（音频信号）经由公共电话网提供至通信对方的移动电话。
此外，例如，在语音呼叫模式中，移动电话1100在发送/接收电路单元1163放大在天线1114接收到的接收信号，还使其经受频率转换处理和模拟/数字转换处理，在调制/解调电路单元1158使其经受逆频谱扩展处理，以及通过音频编解码器1159转换为模拟音频信号。移动电话1100从扬声器1117输出转换后和所获得的模拟音频信号。
此外，例如，在以数据通信模式发送e-mail的情况下，移动电话1100在操作输入控制单元1152接受通过操作键1119的操作所输入的e-mail的文本数据。移动电话1110在主控制单元1150处理其文本数据，并且经由LCD控制单元1155在液晶显示屏1118上将文本数据显示为图像。
此外，移动电话1100在主控制单元1150基于通过操作输入控制单元1152所接受的文本数据、用户指令等生成e-mail数据。移动电话1100使其e-mail数据在调制/解调电路单元1158经受频谱扩展处理，并且在发送/接收电路单元1163经受数字/模拟转换处理和频率转换处理。移动电话1100经由天线1114将通过其转换处理所获得的传输信号发送至未示出的基站。发送至基站的传输信号（e-mail）经由网络、邮件服务器等提供至预定的目的地。
此外，例如，在以数据通信模式接收e-mail的情况下，移动电话1100借助于发送/接收电路单元1163经由天线1114接收基站所发送的信号，放大信号，以及还使信号经受频率转换处理和模拟/数字转换处理。移动电话1100使其接收信号在调制/解调电路单元1158经受逆频谱扩展处理以复原原始e-mail数据。移动电话1100经由LCD控制单元1155在液晶显示屏1118上显示复原的e-mail数据。
注意，移动电话1100可经由记录/播放单元1162将接收到的e-mail数据记录（存储）在存储单元1123中。
存储单元1123是可选的可重写的记录介质。存储单元1123可以是半导体存储器（诸如RAM或内置闪速存储器等）、可以是硬盘或可以是可拆卸介质（诸如磁盘、磁光盘、光盘、USB存储器、存储卡等）。自然地，存储单元1123可能是上述设备之外的设备。
另外，例如，在以数据通信模式发送图像数据的情况下，移动电话1100在CCD摄像装置1116通过成像来生成图像数据。CCD摄像装置1116包括充当光学装置（诸如透镜、膜片等）并且充当光电转换装置的CCD，CCD摄像装置1116使对象成像、将所接收到的光的强度转换为电信号以及生成对象图像的图像数据。CCD摄像装置1116经由摄像装置I/F 1154、在图像编码器1153执行图像数据的编码，并且将其转换为编码图像数据。
移动电话1100使用上述的图像编码装置100作为执行这样的处理的图像编码器1153。因此，以与于图像编码装置100的情况相同的方式，跳过模式和直接模式也应用于长方形分区，其中作为一个候选模式计算运动向量信息，并且估计成本函数。因此，以与图像编码装置100相同的方式，图像编码器1153可以将跳过模式和直接模式应用于更大的区域，并且可以改进编码效率。
注意，此时，同时，移动电话1100在音频编解码器1159、在利用CCD摄像装置1116拍摄的同时，将麦克风（mike）1121所收集的音频从模拟转换为数字，并且还编码音频。
移动电话1100在复用/分离单元1157使用预定的方法复用图像编码器1153所提供的编码图像数据和音频编解码器1159所提供的数字音频数据。移动电话1100在调制/解调电路单元1158使作为其结果所获得的复用数据经受频谱扩展处理，并且在发送/接收电路单元1163使其经受数字/模拟转换处理和频率转换处理。移动电话1100将通过其转换处理所获得的传输信号经由天线1114发送至未示出的基站。被发送至基站的传输信号（图像数据）经由网络等提供至通信对方。
注意，在未发送图像数据的情况下，移动电话1100可经由LCD控制单元1155而不是图像编码器1153在液晶显示屏1118上显示在CCD摄像装置1116生成的图像数据。
此外，例如，在以数据通信模式接收链接至简单的网站等的运动图像文件的数据的情况下，移动电话1100在发送/接收电路单元1163经由天线1114接收基站所发送的信号，放大信号，以及还使信号经受频率转换处理和模拟/数字转换处理。移动电话1100在调制/解调电路单元1158使接收到的信号经受逆频谱扩展处理以复原原始复用数据。移动电话1100在复用/分离单元1157将其复用的数据分离为编码图像数据和音频数据。
移动电话1100在图像解码器1156对编码图像数据解码以生成播放运动图像数据，并且经由LCD控制单元1155在液晶显示屏1118上显示运动图像数据。因此，例如，在液晶显示屏1118上显示链接至简单网站的运动图像文件中所包括的运动图像数据。
移动电话1100使用上述的图像解码装置200作为执行这样的处理的图像解码器1156。即，以与图像解码装置200相同的方式，图像解码器1156可以检测长方形运动分区的跳过模式和直接模式，并且以各个模式执行解码处理。因此，图像解码器1156可以正确地对其中跳过模式和直接模式应用于长方形运动分区的码流进行解码，由此可以改进编码效率。
此时，同时，移动电话1100在音频编解码器1159将数字音频数据转换为模拟音频数据，并且从扬声器1117输出模拟音频数据。因此，例如，播放链接至简单网站的运动图像文件中所包括的音频数据。
注意，以与e-mail的情况相同的方式，移动电话1100可经由记录/播放单元1162在存储单元1123中记录（存储）链接至简单网站等的接收到的数据。
此外，移动电话1100在主控制单元1150分析通过CCD摄像装置1116获得的所成像的二维编码，借此可以获得以二维编码所记录的信息。
此外，移动电话1100可以在红外通信单元1181使用红外射线与外部装置通信。
因为移动电话1100使用图像编码装置100作为图像编码器1153，因此例如当编码并且发送CCD摄像装置1116所生成的图像数据时，可以将跳过模式和直接模式应用于图像数据中的长方形运动分区以便被编码，由此改进编码效率。
此外，因为移动电话1100使用图像解码装置200作为图像解码器1156，因此可以正确地解码其中以应用于长方形运动分区的跳过模式和直接模式对链接至简单网站等的运动图像文件的数据（编码数据）进行编码的码流，由此可以改进编码效率。
注意，至此对移动电话1100使用CCD摄像装置1116进行了描述，但是移动电话1100可使用采用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）代替CCD摄像装置1116。在这种情况下，移动电话1100可以以与使用CCD摄像装置1116的情况相同的方式成像对象并且生成对象图像的图像数据。
此外，至此关于移动电话1100进行了描述，但是只要装置具有与移动电话1100的这些装置相同的成像功能和通信功能，则图像编码装置100和图像解码装置200可以以与移动电话1100的情况相同的方式被应用到任何装置诸如，例如，PDA（个人数字助理）、智能电话、UMPC（超便携移动个人电脑）以及上网本、笔记本式个人计算机等。
<6.第六实施例>
[硬盘记录器]
图25是示出使用图像编码装置100和图像解码装置200的硬盘记录器的主要配置示例的框图。
图25中所示的硬盘记录器（HDD记录器）1200是如下装置：该装置在内置的硬盘中存储通过调谐器所接收的并且从卫星或地面天线等所发送的广播波信号（电视信号）中所包括的广播节目的音频数据和视频数据，并且以依照用户指示的时序将所存储的数据提供至用户。
硬盘记录器1200例如可以从广播波信号中提取音频数据和视频数据，适当地解码数据，以及在内置的硬盘中存储数据。此外，硬盘记录器1200还可以例如从另一装置经由网络获取音频数据和视频数据，适当地解码数据，以及在内置的硬盘中存储数据。
此外，硬盘记录器1200可以解码内置硬盘中所记录的音频数据和视频数据，将数据提供至监视器1260，在监视器1260的屏幕上显示其图像，以及从监视器1260的扬声器输出其声音。此外，硬盘记录器1200可以例如解码从经由调谐器所获得的广播信号中所提取的音频数据和视频数据，或可以解码经由网络从另一装置所获得的音频数据和视频数据，将数据提供至监视器1260，在监视器1260的屏幕上显示其图像，以及从监视器1260的扬声器输出其声音。
自然地，可执行以上操作以外的操作。
如在图25中所示，硬盘记录器1200包括接收单元1221、解调单元1222、分用器1223、音频解码器1224、视频解码器1225以及记录控制单元1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（屏幕显示）控制单元1231、显示控制单元1232、记录/播放单元1233、D/A转换器1234以及通信单元1235。
此外，显示转换器1230包括视频编码器1241。记录/播放单元1233包括编码器1251和解码器1252。
接收单元1221从远程控制器（未示出）接收红外信号，将信号转换为电信号，以及将信号输出至记录控制单元1226。记录控制单元122由例如微处理器等构成，并且依照程序存储器1228中所存储的程序执行各种处理。此时，根据需要记录控制单元1226使用工作存储器1229。
通信单元1235连接至网络，并且经由网络执行与另一装置的通信处理。例如，通信单元1235由记录控制单元1226所控制，与调谐器（未示出）通信，以及主要地将频道选择控制信号输出至调谐器。
解调单元1222解调调谐器所提供的信号，并且将解调的信号输出至分用器1223。分用器1223将解调单元1222所提供的数据分离为音频数据、视频数据以及EPG数据，并且将数据分别输出至音频解码器1224、视频解码器1225以及记录控制单元1226。
音频解码器1224解码输入的音频数据并且将其输出至记录/播放单元1223。视频解码器1225解码输入的视频数据并且将其输出至显示转换器1230。记录控制单元1226将输入的EPG数据提供至EPG数据存储器1227以用于存储。
显示转换器1230例如使用视频编码器1241将视频解码器1225或记录控制单元1226所提供的视频数据编码为遵守NTSC（国家电视制式委员会）格式的视频数据，并且将视频数据输出至记录/播放单元1233。此外，显示转换器1230将视频解码器1225或记录控制单元1226所提供的视频数据的屏幕的尺寸转换为对应于监视器1260的尺寸的尺寸，使用视频编码器1241将视频数据转换为遵守NTSC格式的视频数据，转换为模拟信号，以及将模拟信号输出至显示控制单元1232。
显示控制单元1232在记录控制单元1226的控制下、将OSD（屏幕显示）控制单元1231所输出的OSD信号叠加在显示转换器1230所输入的视频信号上，并且将视频信号输出至监视器1260的显示器上以用于显示。
此外，音频解码器1224所输出的音频数据由D/A转换器1234转换为模拟信号，并且被提供至监视器1260。监视器1260从内置的扬声器输出该音频信号。
记录/播放单元1233包括硬盘作为在其中记录视频数据、音频数据等的存储介质。
例如，记录/播放单元1233通过编码器1251编码音频解码器1224所提供的音频数据。此外，记录/播放单元1233通过编码器1251编码显示转换器1230的视频编码器1241所提供的视频数据。记录/播放单元1233使用复用器合成其音频数据的编码数据和其视频数据的编码数据。记录/播放单元1233通过频道编码来放大合成的数据并且经由记录头将其数据写入到硬盘。
记录/播放单元1233经由播放头来播放硬盘中所记录的数据，放大数据，以及使用分用器将数据分离为音频数据和视频数据。记录/播放单元1233通过解码器1252来解码音频数据和视频数据。记录/播放单元1233将解码音频数据从模拟转换为数字，并且将数据输出至监视器1260的扬声器。此外，记录/播放单元1233对于解码视频数据执行D/A转换，并且将数据输出至监视器1260的显示器。
记录控制单元1226基于通过经由接收单元1221所接收的、来自远程控制器的红外信号所表示的用户指令从EPG数据存储器1227读取最近的EPG数据，并且将EPG数据提供至OSD控制单元1231。OSD控制单元1231生成对应于输入的EPG数据的图像数据，并且将图像数据输出至显示控制单元1232。显示控制单元1232将OSD控制单元1231所输入的视频数据输出至监视器1260的显示器以用于显示。因此，EPG（电子节目指南）被显示在监视器1260的显示器上。
此外，硬盘记录器1200经由网络（诸如因特网等）可以获得各种类型的数据诸如从另一装置所提供的视频数据、音频数据、EPG数据等。
通信单元1235通过记录控制单元1226所控制，经由网络获得另一装置所发送的编码数据诸如视频数据、音频数据、EPG数据等，并且将编码数据提供至记录控制单元1226。记录器控制器1226将获得的视频数据和音频数据的编码数据提供至记录/播放单元1233，并且例如将其存储在在硬盘中。此时，根据需要，记录控制单元1226和记录/播放单元1233可执行诸如再次编码等处理。
此外，记录控制单元1226解码获得的视频数据和音频数据的编码数据，并且将获得的视频数据提供至显示转换器1230。以与视频解码器1225所提供的视频数据相同的方式，显示转换器1230处理记录控制单元1226所提供的视频数据，将视频数据经由显示控制单元1232提供至监视器1260以用于显示其图像。
可替选地，可进行如下布置：根据该图像显示，记录控制单元1226经由D/A转换器1234将解码音频数据提供至监视器1260，并且从扬声器输出其声音。
此外，记录控制单元1226解码获得的EPG数据的编码数据，并且将解码EPG数据提供至EPG数据存储器1227。
这样配置的硬盘记录器1200使用图像解码装置200作为视频解码器1225、解码器1252以及在记录控制单元1226中所容纳的解码器。因此，以与图像解码装置200相同的方式，视频解码器1225、解码器1252以及在记录控制单元1226中所容纳的解码器可以检测长方形运动分区的跳过模式和直接模式，并且以各个模式执行解码处理。因此，视频解码器1225、解码器1252以及在记录控制器单元1126中所容纳的解码器可以正确地对其中跳过模式和直接模式应用于长方形运动分区的码流进行解码，由此可以改进编码效率。
因此，即使在例如以应用到长方形运动分区的跳过模式和直接模式对经由调谐器或通信单元1235所接收的视频数据（编码数据）和记录/播放单元1233所播放的视频数据（编码数据）进行编码的情况下，硬盘记录器1200也可以正确地对码流进行解码，由此可以改进编码效率。
此外，硬盘记录器1200使用图像编码装置100作为编码器1251。因此，利用编码器1251，以与图像编码装置100的情况相同的方式，跳过模式和直接模式可以也应用于长方形运动分区，其中作为一个候选模式计算运动向量信息，并且估计成本函数。因此，编码器1251可以将跳过模式和直接模式应用于更大的区域，并且可以改进编码效率。
因此，例如，硬盘记录器1200可以例如在生成要记录到硬盘的编码数据时，将跳过模式和直接模式应用于要记录的图像数据的长方形运动分区，并且因此被编码，由此改进编码效率。
注意，至此对用于在硬盘中记录视频数据和音频数据的硬盘记录器1200进行了描述，但是自然地，可以使用任意类型的记录介质。例如，即使利用应用硬盘之外的记录介质（诸如闪速存储、光盘、视频磁带等）的记录器，图像编码装置100和图像解码装置200也可以以与上述硬盘记录器1200的情况相同的方式应用到该记录器。
<7.第七实施例>
[摄像装置]
图26是示出使用图像编码装置100和图像解码装置200的摄像装置的主要配置示例的框图。
图26中所示的摄像装置1300使对象成像，在LCD 1316上显示对象图像，以及在记录介质1333中将对象图像记录为图像数据。
透镜块1311将光（即，对象的图片）输入至CCD/CMOS 1312。CCD/CMOS 1312是使用CCD或CMOS的图像传感器，将接收到的光的强度转换为电信号，以及将电信号提供至摄像装置信号处理单元1313。
摄像装置信号处理单元1313将CCD/CMOS 1312所提供的电信号转换为色差信号Y、Cr以及Cb，并且将色差信号提供至图像信号处理单元1314。图像信号处理单元1314在控制器1321的控制下使摄像装置信号处理单元1313所提供的图像信号经受预定的图像处理，并且例如使用MPEG格式由编码器1341编码其图像信号。图像信号处理单元1314将通过编码图像信号而生成的编码数据提供至解码器1315。此外，图像信号处理单元1314获得屏幕显示（OSD）1320所生成的显示数据，并且将显示数据提供至解码器1315。
利用上述的处理，根据需要，摄像装置信号处理单元1313适当地利用经由总线1317连接的DRAM（动态随机存取存储器）1318，来将图像数据、从其图像数据编码的编码图像数据等存储在其DRAM 1318中。
解码器1315对图像信号处理单元1314所提供的编码数据解码，并且将获得的图像数据（解码图像数据）提供至LCD 1316。此外，解码器1315将图像信号处理单元1314所提供的显示数据提供至LCD 1316。LCD 1316适当地合成解码器1315所提供的解码图像数据的图像和显示数据的图像，并且显示其合成的图像。
屏幕显示1320在控制器1321的控制下、将显示数据（诸如由标志、字符或图形构成的图标或菜单屏幕）经由总线1317输出至图像信号处理单元1314。
基于表示通过用户使用操作单元1322所命令的内容的信号，控制器1321执行各种类型的处理，并且还经由总线1317控制图像信号处理单元1314、DRAM 1318、外部接口1319、屏幕显示1320、媒体驱动器1323等。控制器1321执行各种类型的处理所必须的程序、数据等被存储在闪速ROM 1324中。
例如，代替图像信号处理单元1314和解码器1315，控制器1321可以编码DRAM 1318中存储的图像数据或解码DRAM 138中所存储的编码数据。此时，控制器1321可使用与图像信号处理单元1314和解码器1315的编码和解码方式相同的方式执行编码和解码处理，并且可使用图像信号处理单元1314和解码器1315都不能处理的方式执行编码/解码处理。
此外，例如，在从操作单元1322指示开始打印图像的情况下，控制器1321从DRAM 1318读取图像数据并且经由总线1317将图像数据提供至连接至外部接口1319的打印机1334以用于打印。
此外，例如，在从操作单元1322指示记录图像的情况下，控制器1321从DRAM 1318读取编码数据并且经由总线1317将编码数据提供至安装在媒体驱动器1323上的记录介质1333以用于存储。
记录介质1333是可选的可读/可写可拆卸介质，诸如，例如磁盘、磁光盘、光盘、半导体存储器等。自然地，记录介质1333还可关于可拆卸介质的类型是可选的，并且因此可以是磁带装置、或可以是磁盘、或可以是存储卡。自然地，记录介质1333可能是非接触IC卡等。
可替选地，媒体驱动器1323和记录介质1333可被配置成整合为例如非便携记录介质，诸如内置硬盘驱动器、SSD（固态驱动器）等。
外部接口1319由例如USB输入/输出终端等构成，并且在执行图像的打印的情况下连接至打印机1334。此外，根据需要驱动器1331连接至外部接口1319，并且可拆卸介质1331诸如磁盘、光盘或磁光盘被适当地安装在驱动器1331上，以及根据需要从驱动器1331所读取的计算机程序被安装在闪速ROM 1324中。
此外，外部接口1319包括连接至预定的网络（诸如LAN、因特网等）的网络接口。例如，依照来自操作单元1322的指令，控制器1321可以从DRAM 1318读取编码数据，并且将编码数据从外部接口1319提供至经由网络连接的另一装置。此外，控制器1321可以经由外部接口1319获得从经由网络的另一装置所提供的编码数据或图像数据，将数据存储在DRAM 1318中，或将数据提供至图像信号处理单元1314。
这样配置的摄像装置1300使用图像解码装置200作为解码器1315。即，以与图像解码装置200相同的方式，解码器1315可以检测长方形运动分区的跳过模式和直接模式，并且以各个模式执行解码处理。因此，解码器1315可以正确地对其中跳过模式和直接模式应用于长方形运动分区的码流进行解码，由此可以改进编码效率。
因此，即使在以应用于长方形运动分区的跳过模式和直接模式对在CCD/CMOS 1312所生成的图像数据、从DRAM 1318或记录介质1333所读取的视频数据的编码数据、以及经由网络所获取的视频数据的编码数据进行编码的情况下，摄像装置1300也可以正确地对码流进行解码，由此可以改进编码效率。
此外，摄像装置1300使用图像编码装置100作为编码器1341。因此，以与图像编码装置100的情况相同的方式，编码器1341也可以将跳过模式和直接模式应用于长方形分区，其中作为一个候选模式计算运动向量信息，并且估计成本函数。因此，编码器1341可以将跳过模式和直接模式应用于更大的区域，并且可以改进编码效率。
因此，摄像装置1300可以在生成在DRAM 1318或记录介质1333中所记录的编码数据和被提供至其它装置的编码数据时，将跳过模式和直接模式应用于所记录的或所提供的图像数据的长方形分区以便被编码，由此改进编码效率。
注意，图像解码装置200的解码方法可被应用到控制器1321所执行的解码处理。以相同方式，图像编码装置100的编码方法可被应用到控制器1321所执行的编码处理。
此外，摄像装置1300所捕获的图像数据可以是运动图像或者可以是静止图像。
自然地，图像编码装置100和图像解码装置200可被应用到上述的装置之外的装置或系统。
注意，本技术可以被应用到如下图像编码装置和图像解码装置：其用于经由网络介质（诸如卫星广播、有线电视、因特网、移动电话等）接收通过如利用MPEG、H.26x等的正交变换（诸如离散余弦变换等）和运动补偿压缩的图像信息（比特流）。此外，本技术可以被应用到如下图像编码装置和图像解码装置：其用于对存储介质（诸如光盘、磁盘、闪速存储器等）进行处理。
注意，本技术也可假设以下配置。
（1）一种图像处理装置，其包括：
运动预测/补偿单元，其被配置成对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及
编码单元，其被配置成对通过运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。
（2）根据（1）的图像处理装置，还可包括:
标志生成单元，其被配置成在运动预测/补偿单元对非正方形运动分区执行运动预测/补偿的情况下，生成指示是否以所述预测模式执行运动预测/补偿的标志信息。
（3）根据（2）的图像处理装置，其中，在运动预测/补偿单元以所述预测模式对非正方形运动分区执行运动预测/补偿的情况下，标志生成单元将标志信息的值设置为1，并且在以不同于所述预测模式的模式执行运动预测/补偿的情况下，标志生成单元将标志信息值设置为0。
（4）根据（2）或（3）的图像处理装置，其中，编码单元对标志生成单元生成的标志信息连同差分信息一起进行编码。
（5）根据（1）至（4）中的任一个的图像处理装置，其中，运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
（6）根据（5）的图像处理装置，其中，预定尺寸是1616像素。
（7）根据（5）或（6）的图像处理装置，其中子宏块是长方形。
（8）根据（5）至（7）中的任一个的图像处理装置，其中子宏块是二分割宏块的区域。
（9）根据（8）的图像处理装置，其中，子宏块是不对称地二分割宏块的区域。
（10）根据（8）的图像处理装置，其中，子宏块是在斜方向上二分割宏块的区域。
（11）一种图像处理装置的图像处理方法，该方法包括：
运动预测/补偿单元对于作为作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及
编码单元对通过已执行的运动预测/补偿而生成的预测图像与该图像之间的差分信息进行编码。
（12）一种图像处理装置，其包括：
解码单元，其被配置成解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；
运动预测/补偿单元，其被配置成以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码单元解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及
生成单元，其被配置成通过使通过解码单元解码码流而获得的差分信息和运动预测/补偿单元生成的预测图像相加，生成解码图像。
（13）根据（12）的图像处理装置，其中，在由解码单元解码并且指示是否以所述预测模式执行运动预测/补偿的标志信息指示非正方形运动分区经受了所述预测模式的运动预测/补偿的情况下，运动预测/补偿单元以所述预测模式执行非正方形运动分区的运动预测/补偿。
（14）根据（12）或（13）的图像处理装置，其中，运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
（15）根据（14）的图像处理装置，其中，预定尺寸是1616像素。
（16）根据（14）或（15）的图像处理装置，其中子宏块是长方形。
（17）根据（14）至（17）中的任一个的图像处理装置，其中子宏块是二分割宏块的区域。
（18）根据（17）的图像处理装置，其中，子宏块是不对称地二分割宏块的区域。
（19）根据（17）的图像处理装置，其中，子宏块是在斜方向上二分割宏块的区域。
（20）一种图像处理装置的图像处理方法，该方法包括：
解码单元解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为该要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成预测图像；
运动预测/补偿单元以所述预测模式对非正方形运动分区执行运动预测/补偿，使用通过解码码流而获得的周围运动分区的运动向量信息来生成运动向量，并且生成预测图像；以及
生成单元通过使通过解码码流而获得的差分信息和所生成的预测图像相加，生成解码图像。
附图标记列表
100图像编码装置
115运动预测/补偿单元
131成本函数计算单元
132运动搜索单元
133正方形跳过/直接编码单元
134长方形跳过/直接编码单元
135模式确定单元
136运动补偿单元
137运动向量缓冲
151运动向量获得单元
152标志生成单元
153成本函数计算单元
171相邻分区限定单元
172运动向量生成单元
200图像解码装置
212运动预测/补偿单元
213运动向量缓冲
232模式缓冲
233正方形跳过/直接解码单元
234长方形跳过/直接解码单元
235运动补偿单元
251相邻分区限定单元
252运动向量生成单元
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，其包括：
运动预测/补偿单元，其被配置成对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；
标志生成单元，其被配置成在所述运动预测/补偿单元对所述非正方形运动分区执行运动预测/补偿的情况下，生成指示是否以所述预测模式执行运动预测/补偿的标志信息；以及
编码单元，其被配置成对通过所述运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。
2.（删除）
3.根据权利要求1所述的图像处理装置，其中，在所述运动预测/补偿单元以所述预测模式对所述非正方形运动分区执行运动预测/补偿的情况下，所述标志生成单元将所述标志信息的值设置为1，并且在以不同于所述预测模式的模式执行运动预测/补偿的情况下，所述标志生成单元将所述标志信息值设置为0。
4.根据权利要求1所述的图像处理装置，其中，所述编码单元对所述标志生成单元生成的所述标志信息连同所述差分信息一起进行编码。
5.根据权利要求1所述的图像处理装置，其中，所述运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
6.根据权利要求5所述的图像处理装置，其中，所述预定尺寸是16×16像素。
7.根据权利要求5所述的图像处理装置，其中，所述子宏块是长方形。
8.根据权利要求5所述的图像处理装置，其中，所述子宏块是二分割所述宏块的区域。
9.根据权利要求8所述的图像处理装置，其中，所述子宏块是不对称地二分割所述宏块的区域。
10.根据权利要求8所述的图像处理装置，其中，所述子宏块是在斜方向上二分割所述宏块的区域。
11.一种图像处理装置的图像处理方法，所述方法包括：
运动预测/补偿单元对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；
标志生成单元在对所述非正方形运动分区执行运动预测/补偿的情况下，生成指示是否以所述预测模式执行运动预测/补偿的标志信息；以及
编码单元对通过已执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。
12.一种图像处理装置，其包括：
解码单元，其被配置成解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为所述要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成所述预测图像；
运动预测/补偿单元，其被配置成在由所述解码单元解码并且指示是否以所述预测模式执行了运动预测/补偿的标志信息指示以所述预测模式对所述非正方形运动分区执行运动预测/补偿的情况下，以所述预测模式对所述非正方形运动分区执行运动预测/补偿，使用通过所述解码单元解码所述码流而获得的所述周围运动分区的运动向量信息来生成所述运动向量，并且生成所述预测图像；以及
生成单元，其被配置成通过使通过所述解码单元解码所述码流而获得的所述差分信息和所述运动预测/补偿单元生成的所述预测图像相加，生成解码图像。
13.（删除）
14.根据权利要求12所述的图像处理装置，其中，所述运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
15.根据权利要求14所述的图像处理装置，其中，所述预定尺寸是16×16像素。
16.根据权利要求14所述的图像处理装置，其中，所述子宏块是长方形。
17.根据权利要求14所述的图像处理装置，其中，所述子宏块是二分割所述宏块的区域。
18.根据权利要求17所述的图像处理装置，其中，所述子宏块是不对称地二分割所述宏块的区域。
19.根据权利要求17所述的图像处理装置，其中，所述子宏块是在斜方向上二分割所述宏块的区域。
20.一种图像处理装置的图像处理方法，所述方法包括：
解码单元解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为所述要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成所述预测图像；
运动预测/补偿单元在由所述解码单元解码并且指示是否以所述预测模式执行了运动预测/补偿的标志信息指示以所述预测模式对所述非正方形运动分区执行运动预测/补偿的情况下，以所述预测模式对所述非正方形运动分区执行运动预测/补偿，使用通过解码所述码流而获得的所述周围运动分区的运动向量信息来生成所述运动向量，并且生成所述预测图像；以及
生成单元通过使通过解码所述码流而获得的所述差分信息和所生成的预测图像相加，生成解码图像。

Claims (20)

1.一种图像处理装置，其包括：
运动预测/补偿单元，其被配置成对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及
编码单元，其被配置成对通过所述运动预测/补偿单元执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。
2.根据权利要求1所述的图像处理装置，还包括：
标志生成单元，其被配置成在所述运动预测/补偿单元对所述非正方形运动分区执行运动预测/补偿的情况下，生成指示是否以所述预测模式执行运动预测/补偿的标志信息。
3.根据权利要求2所述的图像处理装置，其中，在所述运动预测/补偿单元以所述预测模式对所述非正方形运动分区执行运动预测/补偿的情况下，所述标志生成单元将所述标志信息的值设置为1，并且在以不同于所述预测模式的模式执行运动预测/补偿的情况下，所述标志生成单元将所述标志信息值设置为0。
4.根据权利要求2所述的图像处理装置，其中，所述编码单元对所述标志生成单元生成的所述标志信息连同所述差分信息一起进行编码。
5.根据权利要求1所述的图像处理装置，其中，所述运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
6.根据权利要求5所述的图像处理装置，其中，所述预定尺寸是16×16像素。
7.根据权利要求5所述的图像处理装置，其中，所述子宏块是长方形。
8.根据权利要求5所述的图像处理装置，其中，所述子宏块是二分割所述宏块的区域。
9.根据权利要求8所述的图像处理装置，其中，所述子宏块是不对称地二分割所述宏块的区域。
10.根据权利要求8所述的图像处理装置，其中，所述子宏块是在斜方向上二分割所述宏块的区域。
11.一种图像处理装置的图像处理方法，所述方法包括：
运动预测/补偿单元对于作为要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿；以及
编码单元对通过已执行的运动预测/补偿而生成的预测图像与所述图像之间的差分信息进行编码。
12.一种图像处理装置，其包括：
解码单元，其被配置成解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为所述要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成所述预测图像；
运动预测/补偿单元，其被配置成以所述预测模式对所述非正方形运动分区执行运动预测/补偿，使用通过所述解码单元解码所述码流而获得的所述周围运动分区的运动向量信息来生成所述运动向量，并且生成所述预测图像；以及
生成单元，其被配置成通过使通过所述解码单元解码所述码流而获得的所述差分信息和所述运动预测/补偿单元生成的所述预测图像相加，生成解码图像。
13.根据权利要求12所述的图像处理装置，其中，在由所述解码单元解码并且指示是否以所述预测模式执行了运动预测/补偿的标志信息指示所述非正方形运动分区经受了所述预测模式的运动预测/补偿的情况下，所述运动预测/补偿单元以所述预测模式执行所述非正方形运动分区的运动预测/补偿。
14.根据权利要求12所述的图像处理装置，其中，所述运动分区是把作为所述图像的编码处理单位的部分区域的、大于预定尺寸的宏块分割成多个而成的非正方形子宏块。
15.根据权利要求14所述的图像处理装置，其中，所述预定尺寸是16×16像素。
16.根据权利要求14所述的图像处理装置，其中，所述子宏块是长方形。
17.根据权利要求14所述的图像处理装置，其中，所述子宏块是二分割所述宏块的区域。
18.根据权利要求17所述的图像处理装置，其中，所述子宏块是不对称地二分割所述宏块的区域。
19.根据权利要求17所述的图像处理装置，其中，所述子宏块是在斜方向上二分割所述宏块的区域。
20.一种图像处理装置的图像处理方法，所述方法包括：
解码单元解码其中对预测图像和要编码图像之间的差分信息进行编码的码流，其中，对于作为所述要编码图像的非正方形运动预测/补偿处理单位的部分区域的运动分区、使用已生成的周围运动分区的运动向量来生成运动向量，并且以不需要向解码侧传送所生成的运动向量的预测模式执行运动预测/补偿来生成所述预测图像；
运动预测/补偿单元以所述预测模式对所述非正方形运动分区执行运动预测/补偿，使用通过解码所述码流而获得的所述周围运动分区的运动向量信息来生成所述运动向量，并且生成所述预测图像；以及
生成单元通过使通过解码所述码流而获得的所述差分信息和所生成的预测图像相加，生成解码图像。
CN2011800330716A 2010-07-09 2011-07-01 图像处理装置和方法 Pending CN102986226A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-156706 2010-07-09
JP2010156706A JP2012019447A (ja) 2010-07-09 2010-07-09 画像処理装置および方法
PCT/JP2011/065209 WO2012005194A1 (ja) 2010-07-09 2011-07-01 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN102986226A true CN102986226A (zh) 2013-03-20

Family

ID=45441173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800330716A Pending CN102986226A (zh) 2010-07-09 2011-07-01 图像处理装置和方法

Country Status (4)

Country Link
US (1) US20130107968A1 (zh)
JP (1) JP2012019447A (zh)
CN (1) CN102986226A (zh)
WO (1) WO2012005194A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247864A (zh) * 2013-05-31 2016-01-13 索尼公司 图像处理装置、图像处理方法及程序
CN106127293A (zh) * 2016-07-06 2016-11-16 太仓诚泽网络科技有限公司 一种昆虫自动计数系统及其计数方法
CN111556314A (zh) * 2020-05-18 2020-08-18 郑州工商学院 一种计算机图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870884B1 (en) * 1992-01-29 2005-03-22 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
KR100718133B1 (ko) * 2004-07-15 2007-05-15 삼성전자주식회사 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법
EP1797722B1 (en) * 2004-10-05 2019-05-29 Vectormax Corporation Adaptive overlapped block matching for accurate motion compensation
JP4977094B2 (ja) * 2008-06-25 2012-07-18 株式会社東芝 画像符号化方法
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US9420289B2 (en) * 2012-07-09 2016-08-16 Qualcomm Incorporated Most probable mode order extension for difference domain intra prediction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IAIN E. G. RICHARDSON: "《H.264 and MPEG-4 Video Compression》", 31 December 2003 *
KEN MCCANN ET.AL: "Samsung’s Response to the Call for Proposals on Video Compression Technology", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
MARTA KARCZEWICZ ET.AL: "Video coding technology proposal by Qualcomm Inc.", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247864A (zh) * 2013-05-31 2016-01-13 索尼公司 图像处理装置、图像处理方法及程序
CN106127293A (zh) * 2016-07-06 2016-11-16 太仓诚泽网络科技有限公司 一种昆虫自动计数系统及其计数方法
CN111556314A (zh) * 2020-05-18 2020-08-18 郑州工商学院 一种计算机图像处理方法

Also Published As

Publication number Publication date
WO2012005194A1 (ja) 2012-01-12
JP2012019447A (ja) 2012-01-26
US20130107968A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
TWI577179B (zh) Image processing apparatus and method, program, and recording medium
CN102934430A (zh) 图像处理装置和方法
CN102342108B (zh) 图像处理设备和方法
CN102318347B (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
CN102577390A (zh) 图像处理设备和方法
CN104539969A (zh) 图像处理装置和图像处理方法
CN102714734A (zh) 图像处理设备和方法
CN102812708A (zh) 图像处理设备和方法
CN102714716A (zh) 图像处理设备和方法
KR20200023499A (ko) 화상 처리 장치 및 방법
JP6451999B2 (ja) 画像処理装置および方法
CN103503453A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN102939757A (zh) 图像处理装置和方法
CN102714718A (zh) 图像处理装置、方法和程序
JP5556996B2 (ja) 画像処理装置および方法
CN104662901A (zh) 图像处理装置及方法
CN102939759A (zh) 图像处理设备和方法
CN102160380A (zh) 图像处理设备和方法
CN102714735A (zh) 图像处理设备和方法
WO2011086963A1 (ja) 画像処理装置および方法
CN103548355A (zh) 图像处理装置及方法
CN103535041A (zh) 图像处理装置和方法
CN103748878A (zh) 图像处理装置和方法
CN103283228A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130320