CN102934439A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN102934439A
CN102934439A CN2011800232094A CN201180023209A CN102934439A CN 102934439 A CN102934439 A CN 102934439A CN 2011800232094 A CN2011800232094 A CN 2011800232094A CN 201180023209 A CN201180023209 A CN 201180023209A CN 102934439 A CN102934439 A CN 102934439A
Authority
CN
China
Prior art keywords
image
resolution
subregion
picture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800232094A
Other languages
English (en)
Inventor
土屋寿治
和田彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102934439A publication Critical patent/CN102934439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及能够在抑制负荷增加的同时进一步提高编码效率的图像处理设备和图像处理方法。例如，在用于AVC的16×16像素或更小的尺寸的宏块作为编码处理目标的情况中，运动搜索和补偿单元115使用具有未缩小的原始尺寸的图像来执行运动搜索。另外，例如，在具有大于16×16像素的尺寸的扩展宏块作为编码处理目标的情况中，运动搜索和补偿单元115使用缩小的图像执行运动搜索。例如，本发明可以被应用于图像处理设备。

Description

图像处理设备和方法
技术领域
本发明涉及图像处理设备和图像处理方法，并且更具体地涉及能够抑制负荷的增加并提高编码效率的图像处理设备和图像处理方法。
背景技术
近年来，这样的装置对于在广播站的信息发送和普通家庭中的信息接收已经变得很普遍了，这些装置数字地处置图像信息，致力于高效地发送和累积信息，使用图像信息特有的冗余，并且基于用于通过诸如离散余弦变换的正交变换和运动补偿来进行压缩的诸如MPEG（运动图片专家组）的方法。
特别地，被定义为通用图像编码方法的MPEG2（ISO（国际标准化组织）/IEC（国际电工委员会）13818-2）是一种标准，其包括隔行扫描图像和逐行扫描图像，以及标准分辨率图像和高分辨率图像，并且被广泛地应用于专业用途和消费者的各种应用中。通过使用MPEG2压缩方法，例如，4到8Mbps的比特率被分配给具有720×480像素的标准分辨率的隔行扫描图像，并且18到22Mbps的比特率被分配给具有1920×1088像素的高分辨率的隔行扫描图像，从而实现高压缩率和良好的图像质量。
MPEG2主要针对适合于广播的高图像质量编码，而不支持低于MPEG1中的比特率的比特率，即，较高压缩率的编码方法。随着便携式终端的普及，未来对这样的编码方法的需求被认为可能会增加，并且MPEG4编码方法已经被标准化了，以应对这一需求。与图像编码方法相比，其规范已经在1998年12月作为ISO/IEC14496-2的国际标准被批准。
另外，近年来，最初的目的在于视频会议的图像编码，H.26L（ITU-T（国际电信联盟电信标准化部门）Q6/16VCEG（视频编码专家组））的标准化已经取得了进展。与诸如MPEG2或MPEG4的现有技术中的编码方法相比，H.26L在编码和解码中需要大量的计算，但已知其实现较高的编码效率。另外，目前，作为MPEG4活动的一部分，用于并入不由H.26L支持的功能并用于实现较高的编码效率的标准化正在作为基于H.26L的增强压缩视频编码的联合模型（Joint Model of Enhanced-Compression Video Coding）进行。
作为标准化时间表，H.264和MPEG-4Part10（高级视频编码；下文中被称为AVC）已经在2003年3月变成了具有这些名称的国际标准。
此外，作为其扩展，在2005年2月已经完成了包括诸如RGB或4:2:2或4:4:4的业务所需的编码工具、以及在MPEG-2中规定的8x8DCT或量化矩阵的FRExt（保真度范围扩展名，Fidelity RangeExtension）的标准化，从而该编码方法还可以使用AVC来良好地表达包含在电影里的影片噪声，并被用于诸如Blu-Ray光盘的各种应用。
但是，现今，存在对于进一步更高的压缩率编码的日益增加的需求，这是由于希望压缩作为高视觉图像的四倍大小的大约4096×2048像素的图像，或者希望在诸如互联网的发送容量受限的情形中发送高视觉图像。出于这一原因，在附属于上述ITU-T的VCEG中正在进行与提高编码效率有关的研究。
但是，迄今为止，在作为图像编码方法的MPEG1、MPEG2、ITU-T H.264和MPEG4-AVC中，作为图像编码时的图像分割单位（编码处理单位）的宏块的像素大小全部是16×16像素。另一方面，提出了NPL1，即，作为下一代图像编码规范的基本技术，在水平和垂直方向上扩展宏块的像素数量。根据该提议，除了在MPEG1、MPEG2、ITU-T H.264、MPEG4-AVC等中规定的16×16像素的宏块的像素大小以外，还提出了使用由32×32像素或64×64像素形成的宏块。这是期望提高未来在水平和垂直方向上进行编码的图像的像素大小，但是，在这种情况中，其目的在于，通过在运动彼此类似的区域中使用较大的区域作为单位来执行运动补偿和正交变换，提高编码效率。
作为在运动搜索中的评估指数，第一方法被认为是，例如，搜索目标图像与参考图像之间的差绝对值和（在下文中，称为SAD）的最小点的块匹配方法。例如，如图1的A所示，具有大于16×16像素的尺寸的扩展宏块（EBS（扩展块大小））被分成16×16像素的区域，并且以与16×16像素尺寸的宏块的情况相同的方式在每个区域中执行搜索。例如，当使用该方法搜索64×64像素时，具有用于搜索现有的16×16像素的性能的装置可以以时分方式被驱动16次。
另外，第二方法被认为是这样的方法，其中，例如，如图1的B所示，通过将整个宏块（例如，64×64像素）作为单个区域使用来计算SAD。
引文列表
非专利文献
NPL1:Peisong Chenn,Yan Ye,Marta Karczewicz,"VideoCoding Using Extended Block Sizes",COM16-C123-E,Qualcomm Inc
发明内容
技术问题
但是，在第一方法的情况中，由于64×64像素的宏块被分割成4×4像素并在每个块中执行搜索，因此针对每个16×16像素，所有搜索点的结果需要相加并且保持，直到从左上角块中的搜索到右下角块中的搜索都完成。因此，有这样的一个问题，即，需要保持大量的数据，因此编码处理所需的资源增加了。另外，还有一个问题，即，使用16个宏块的单位会发生延迟。
另外，为了实现第二方法，需要用于计算对应于64×64像素的量的SAD的处理性能。
鉴于这些情形而提出了本发明，并且本发明的目的在于能够抑制在编码处理中负荷的增加并提高编码效率。
解决问题的方案
本发明的一个方面是图像处理设备，其包括：分辨率确定部件，用于确定其中每一个部分区域被编码的图像中的部分区域的图像的分辨率的大小；以及运动搜索部件，用于在部分区域中使用与由分辨率确定部件确定的分辨率的大小相对应的分辨率的部分区域的图像来执行运动搜索。
该图像处理设备还可以包括：分辨率转换部件，用于对部分区域的图像的分辨率进行转换；以及选择部件，用于如果分辨率确定部件确定部分区域的图像的分辨率大于预定的阈值，则选择由分辨率转换部件转换分辨率的部分区域的图像，如果确定部分区域的图像的分辨率等于或小于该阈值，则选择没有由分辨率转换部件转换分辨率的部分区域的图像，并且，这里，运动搜索部件可以使用由选择部件选择的部分区域的图像来执行运动搜索。
阈值可以是由现有编码规范规定的部分区域的分辨率的最大值。
该阈值可以是16×16像素。
分辨率转换部件可以把部分区域的图像的分辨率转换为多个分辨率，分辨率确定部件可以针对多个阈值确定部分区域的图像的分辨率的大小，以及根据由分辨率确定部件确定的部分区域的图像的分辨率的大小与多个阈值之间的大小关系，选择部件选择可以通过分辨率转换部件转换分辨率而获得的多个分辨率的部分区域的图像和在转换分辨率之前的部分区域的图像中的任一个。
图像处理设备还可以包括精度转换部件，其用于将通过运动搜索部件的运动搜索检测到的运动向量的精度转换为在由分辨率转换部件转换之前的部分区域的图像的分辨率的精度。
图像处理设备还可以包括运动补偿部件，其用于使用由精度转换部件转换精度的运动向量和在由分辨率转换部件转换之前的部分区域的图像来执行运动补偿，并且生成预测图像。
图像处理设备还可以包括编码部件，其用于使用由运动补偿部件生成的预测图像来编码部分区域的图像。
图像处理设备还可以包括运动补偿部件，其用于使用通过运动搜索部件的运动搜索检测到的运动向量和由选择部件选择的部分区域的图像来执行运动补偿，并且生成预测图像。
图像处理设备还可以包括编码部件，其用于使用由运动补偿部件生成的预测图像来编码部分区域的图像。
图像处理设备还可以包括：第一分辨率转换部件，用于对要编码的部分区域的图像的分辨率进行转换；第一选择部件，用于如果确定要编码的部分区域的图像的分辨率大于预定的阈值，那么选择由第一分辨率转换部件转换分辨率的部分区域的图像，如果确定要编码的部分区域的图像的分辨率等于或小于该阈值，那么选择没有由第一分辨率转换部件转换分辨率的要编码的部分区域的图像；第二分辨率转换部件，用于对通过对部分区域的编码图像进行解码而获得的部分区域的解码图像的分辨率进行转换；以及第二选择部件，用于如果分辨率确定部件确定要编码的部分区域的图像的分辨率大于预定的阈值，则选择由第二分辨率转换部件转换分辨率的部分区域的解码图像，如果确定要编码的部分区域的图像的分辨率等于或小于该阈值，则选择没有由第二分辨率转换部件转换分辨率的部分区域的解码图像，并且，这里，运动搜索部件可以使用由第一选择部件选择的部分区域的图像作为输入图像并使用由第二选择部件选择的部分区域的解码图像作为参考图像来执行运动搜索。
运动搜索部件可以使用部分区域的图像以多种预定精度执行运动搜索。
本发明的一个方面是图像处理设备的图像处理方法，其包括：使分辨率确定部件确定其中每一个部分区域被编码的图像中的部分区域的图像的分辨率的大小；以及使运动搜索部件在部分区域中使用与确定的分辨率的大小相对应的分辨率的部分区域的图像来执行运动搜索。
本发明的另一个方面是图像处理设备，其包括：解码部件，用于针对每一个部分区域对编码数据进行解码，该编码数据是通过针对每一个部分区域把图像的分辨率从第一分辨率转换为第二分辨率并通过对该图像进行编码而获得的；以及运动补偿部件，用于使用通过由解码部件进行解码而获得的第二分辨率的部分区域的图像来执行运动补偿，并且生成用于由解码部件对编码数据进行解码的第二分辨率的预测图像。
该图像处理设备还可以包括：第一分辨率转换部件，用于把通过由解码部件进行解码而获得的部分区域的图像的分辨率转换为第一分辨率；以及第二分辨率转换部件，用于把通过由第一分辨率转换部件转换而获得的第一分辨率的部分区域的图像转换为第二分辨率，并且，这里，运动补偿部件可以使用通过由第二分辨率转换部件转换而获得的第二分辨率的部分区域的图像来执行运动补偿。
本发明的另一个方面是图像处理设备的图像处理方法，其包括：使解码部件针对每一个部分区域对编码数据进行解码，该编码数据是通过针对每一个部分区域把图像的分辨率从第一分辨率转换为第二分辨率并通过对该图像进行编码而获得的；以及使运动补偿部件使用通过解码而获得的第二分辨率的部分区域的图像来执行运动补偿，并且生成用于对编码数据进行解码的第二分辨率的预测图像。
在本发明的一个方面中，在其中每一个部分区域被编码的图像中确定部分区域的图像的分辨率的大小；以及在部分区域中，使用与确定的分辨率的大小相对应的分辨率的部分区域的图像来执行运动搜索。
在本发明的另一个方面中，针对每一个部分区域对编码数据进行解码，该编码数据是通过针对每一个部分区域把图像的分辨率从第一分辨率转换为第二分辨率并通过对该图像进行编码而获得的，使用通过进行解码而获得的第二分辨率的部分区域的图像来执行运动补偿，并且生成用于对编码数据进行解码的第二分辨率的预测图像。
本发明的有益效果
根据本发明，可以对图像数据进行编码或对编码的图像数据进行解码。特别地，可以在抑制负荷增加的同时提高编码效率。
附图说明
[图1]图1是示出现有技术中的运动搜索方法的例子的示图。
[图2]图2是示出应用本发明的图像编码装置的主要配置例子的框图。
[图3]图3是示出宏块的例子的示图。
[图4]图4是示出宏块缩小的状态的例子的示图。
[图5]图5是示出运动搜索和补偿单元的配置例子的框图。
[图6]图6是示出编码处理的流程的例子的流程图。
[图7]图7是示出预测处理的流程的例子的流程图。
[图8]图8是示出帧间运动预测处理（inter-motion predictionprocess）的流程的例子的流程图。
[图9]图9是示出运动搜索处理和运动补偿处理的流程的状态的例子的时序图。
[图10]图10是示出帧间运动预测处理的流程的另一个例子的流程图。
[图11]图11是示出应用本发明的图像编码装置的另一个配置例子的框图。
[图12]图12是示出宏块的例子的示图。
[图13]图13是示出宏块缩小的状态的另一个例子的示图。
[图14]图14是示出运动搜索和补偿单元的另一个配置例子的框图。
[图15]图15是示出帧间运动预测处理的流程的另一个例子的流程图。
[图16]图16是示出运动搜索处理和运动补偿处理的流程的状态的例子的时序图。
[图17]图17是示出应用本发明的图像编码装置的另一个配置例子的框图。
[图18]图18是示出运动搜索和补偿单元的另一个配置例子的框图。
[图19]图19是示出帧间运动预测处理的流程的另一个例子的流程图。
[图20]图20是示出应用本发明的图像解码装置的主要配置例子的框图。
[图21]图21是示出解码处理的流程的例子的流程图。
[图22]图22是示出预测处理的流程的例子的流程图。
[图23]图23是示出帧间运动预测处理的流程的例子的流程图。
[图24]图24是示出应用本发明的个人计算机的主要配置例子的框图。
[图25]图25是示出应用本发明的电视接收机的主要配置例子的框图。
[图26]图26是示出应用本发明的移动电话的主要配置例子的框图。
[图27]图27是示出应用本发明的硬盘记录器的主要配置例子的框图。
[图28]图28是示出应用本发明的照相机的主要配置例子的框图。
具体实施方式
在下文中，将对实施例进行描述。将按照下面的顺序进行描述。
1.第一实施例（图像编码装置）
2.第二实施例（图像编码装置）
3.第三实施例（图像编码装置）
4.第四实施例（图像解码装置）
5.第五实施例（个人计算机）
6.第六实施例（电视接收机）
7.第七实施例（移动电话）
8.第八实施例（硬盘记录器）
9.第九实施例（照相机）
<1.第一实施例>
[图像编码装置]
图2示出作为应用本发明的图像处理装置的图像编码装置的实施例的配置。
图2中示出的图像编码装置100是使用例如H.264和MPEG（运动图片专家组）4Part10（AVC（高级视频编码））（在下文中，称为H.264/AVC）方法来压缩并编码图像的编码装置。但是，当执行扩展宏块的帧间编码（inter-coding）时，图像编码装置100使用宏块的缩小图像来执行运动搜索。
在图2中示出的例子中，图像编码装置100包括：A/D（模拟/数字）转换单元101、画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。另外，图像编码装置100包括：逆量化单元108、逆正交变换单元109、计算单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测（intra-prediction）单元114、运动搜索和补偿单元115、选择单元116和速率控制单元117。这些处理单元与基于H.264/AVC规范的图像编码装置的处理单元相同。
图像编码装置100还包括：缩小单元121、缩小画面重排缓冲器122、选择单元123、缩小单元124、缩小帧存储器125和选择单元127。
帧存储器112至选择单元116，以及缩小单元121至选择单元127构成生成预测图像的预测图像生成部120。
A/D转换单元101对输入的图像数据进行A/D转换，从而输出并存储到画面重排缓冲器102中。另外，A/D转换单元101还将A/D转换后的图像数据供应到缩小单元121。
画面重排缓冲器102将以存储的显示顺序的帧的图像重排为用于根据GOP（图片组）结构进行解码的顺序的帧。画面重排缓冲器102将帧的顺序被改变的图像供应到计算单元103和帧内预测单元114。另外，画面重排缓冲器102还将帧的顺序被改变的图像经由选择单元123供应到运动搜索和补偿单元115。
计算单元103将经由选择单元116从帧内预测单元114或运动搜索和补偿单元115供应的预测图像从读取自画面重排缓冲器102的图像减去，并将其差信息输出到正交变换单元104。
例如，在进行帧内编码的图像的情况中，计算单元103将从帧内预测单元114供应的预测图像从读取自画面重排缓冲器102的图像减去。另外，例如，在进行帧间编码的图像的情况中，计算单元103将从运动搜索和补偿单元115供应的预测图像从读取自画面重排缓冲器102的图像减去。
正交变换单元104对从计算单元103供应的差信息执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并将其变换系数供应到量化单元105。量化单元105将由正交变换单元104输出的变换系数进行量化。量化单元105将量化的变换系数供应到无损编码单元106。
无损编码单元106对量化的变换系数执行诸如可变长度编码或算术编码的无损编码。
无损编码单元106从帧内预测单元114获取指示帧内预测的信息等，并从运动搜索和补偿单元115获取指示帧间预测模式的信息、运动向量信息等。另外，指示帧内预测（帧内画面预测）的信息在下文中也被称为帧内预测模式信息。另外，指示帧间预测（帧间画面预测）的信息模式的指示信息在下文中也被称为帧间预测模式信息。
无损编码单元106对量化的变换系数进行编码，并将诸如滤波系数、帧内预测模式信息、帧间预测模式信息和量化参数的各种信息设置（复用）为编码数据的头信息的部分。无损编码单元106将通过编码获得的编码数据供应到累积缓冲器107以便进行累积。
例如，在无损编码单元106中，诸如可变长度编码或算术编码的无损编码处理被执行。可变长度编码可以包含在H.264/AVC方法中定义的CAVLC（上下文自适应可变长度编码）。算术编码可以包含CABAC（上下文自适应二进制算术编码）。
累积缓冲器107临时地保持从无损编码单元106供应的编码数据，并在后续阶段中在预定定时处将该数据作为使用H.264/AVC方法进行编码的编码图像输出到，例如，记录装置或发送路径（未示出）。
另外，在量化单元105中量化的变换系数也被供应到逆量化单元108。逆量化单元108使用对应于由量化单元105执行的量化的方法来对量化的变换系数进行逆量化，并将获得的变换系数供应到逆正交变换单元109。
逆正交变换单元109使用对应于由正交变换单元104执行的正交变换处理的方法来对供应的变换系数执行逆正交变换。已经进行了逆正交变换的输出（恢复的差信息）被供应到计算单元110。
计算单元110将经由选择单元116从帧内预测单元114或运动搜索和补偿单元115供应的预测图像添加到从逆正交变换单元109供应的逆正交变换结果，即，恢复的差信息，从而获得部分解码的图像（解码图像）。
例如，在差信息对应于进行帧内编码的图像的情况中，计算单元110将从帧内预测单元114供应的预测图像与差信息相加。另外，例如，在差信息对应于进行帧间编码的图像的情况中，计算单元110将从运动搜索和补偿单元115供应的预测图像与差信息相加。
相加结果被供应到去块滤波器111或帧存储器112。
去块滤波器111通过执行适合的去块滤波处理来去除解码图像的块失真，并通过使用例如Wiener滤波器的适合的环路滤波处理来提高图像质量。去块滤波器111生成像素的分类，并对每个分类执行适合的滤波处理。去块滤波器111将滤波处理结果供应到帧存储器112和缩小单元124。
帧存储器112在预定定时将累积的参考图像经由选择单元113或选择单元126输出到帧内预测单元114或运动搜索和补偿单元115。
例如，在进行帧内编码的图像的情况中，帧存储器112将参考图像经由选择单元113供应到帧内预测单元114。另外，在进行帧间编码并且其宏块尺寸小于预定尺寸的图像的情况中，帧存储器112经由选择单元113和选择单元126将参考图像供应到运动搜索和补偿单元115。
在图像编码装置100中，例如，来自画面重排缓冲器102的I图片、B图片和P图片被作为进行帧内预测（也被称为帧内处理）的图像供应到帧内预测单元114。另外，从画面重排缓冲器102读取的B图片和P图片作为进行帧间预测（也被称为帧间处理）的图像经由选择单元123被供应到运动搜索和补偿单元115。
在从帧存储器112供应的参考图像是进行帧内编码的图像的情况中，选择单元113将该参考图像供应到帧内预测单元114。另外，在从帧存储器112供应的参考图像是进行帧间编码的图像的情况中，选择单元113将该参考图像供应到运动搜索和补偿单元115。
帧内预测单元114使用画面中的像素值来执行帧内预测（帧内画面预测）以便生成预测图像。帧内预测单元114以多种模式（帧内预测模式）执行帧内预测。
帧内预测单元114以所有的帧内预测模式生成预测图像，并通过对每个预测图像进行评估来选择最佳模式。当最佳帧内预测模式被选择时，帧内预测单元114将以最佳模式生成的预测图像经由选择单元116供应到计算单元103。
另外，如上所述，帧内预测单元114将诸如指示采用的帧内预测模式的帧内预测模式信息的信息适当地供应到无损编码单元106。
运动搜索和补偿单元115使用从选择单元123供应的输入图像和从选择单元126供应的参考图像来针对运动向量搜索进行帧间编码的图像，并根据检测到的运动向量执行运动补偿，以生成预测图像（帧间预测图像信息）。
例如，在具有比预定尺寸大的尺寸的宏块中，运动搜索和补偿单元115使用通过缩小输入图像获得的缩小图像来执行运动搜索，该宏块诸如为比由AVC规定的16×16像素的宏块大的扩展宏块。将描述其细节。
运动搜索和补偿单元115在成为候选的所有帧间预测模式中执行帧间预测处理，从而生成预测图像。运动搜索和补偿单元115将生成的预测图像经由选择单元116供应到计算单元103或计算单元110。
此外，运动搜索和补偿单元115将指示采用的帧间预测模式的帧间预测模式信息或指示计算的运动向量的运动向量信息供应到无损编码单元106。
在进行帧内编码的图像的情况中，选择单元116将来自帧内预测单元114的输出供应到计算单元103或计算单元110，并且，在进行帧间编码的图像的情况中，选择单元116将来自运动搜索和补偿单元115的输出供应到计算单元103或计算单元110。
速率控制单元117基于在累积缓冲器107中累积的压缩图像控制量化单元105的量化操作的速率，从而使得不发生溢出(overflow)或下溢（underflow）。
缩小单元121转换从A/D转换单元101输出的输入图像的尺寸（分辨率）。例如，缩小单元121以预定的缩小率N缩小尺寸。可以使用任何方法缩小图像。例如，可以以根据缩小率的比率提取代表性像素值，或者可以根据缩小率针对每一种数量的像素计算平均值。
例如，出于缩小具有大于预设尺寸（阈值）的尺寸的宏块的图像的目的，缩小单元121将输入图像缩小，以便具有等于或小于预设尺寸（阈值）的尺寸。例如，缩小单元121缩小64×64像素、32×32像素等的扩展宏块的图像，以便具有作为在诸如AVC的规范中使用的宏块尺寸的16×16像素或更少的像素。
例如，如果64×64像素的图像被缩小到16×16像素的图像，那么缩小率是N=4。也就是说，图像尺寸被缩小到1/N2。这样，缩小率N的值是在考虑要被缩小的图像的尺寸和图像尺寸的阈值的情况下被设置的。
通常，要被缩小的输入图像的宏块的尺寸被从多个预设尺寸中选择并被设置，并且可允许的值的范围是有限的。另外，可以设置任何阈值。因此，可以优选地设置缩小率N，从而使得要被缩小的输入图像的宏块的最大尺寸变得等于或小于阈值。
基本上，阈值或缩小率N是在开始图像编码处理前事先设置的固定值。但是，例如，根据图像的内容，在图像编码处理期间，阈值或缩小率可以被设置为变化的。
在下文中，将在假定作为在AVC等中使用的宏块尺寸的16×16像素被设置为阈值并且具有大于16×16像素的尺寸的扩展宏块是要被缩小的目标的情况下进行描述。
当输入图像被缩小时，缩小单元121将缩小的图像供应到缩小画面重排缓冲器122以便存储。缩小画面重排缓冲器122保持从缩小单元121供应的缩小图像，并且当来自缩小画面重排缓冲器122的输出被选择单元123选择时，缩小画面重排缓冲器122将保持的缩小图像经由选择单元123供应到运动搜索和补偿单元115。
选择单元123选择来自画面重排缓冲器102的输出和来自缩小画面重排缓冲器122的输出中的任一个作为供应到运动搜索和补偿单元115的输入图像。
从画面重排缓冲器102输出的图像是具有未缩小的原始尺寸的输入图像。相反地，从缩小画面重排缓冲器122输出的图像是在缩小单元121中以缩小率N被缩小的输入图像。
换句话说，当运动搜索和补偿单元115使用缩小图像执行运动搜索时，选择单元123选择来自缩小画面重排缓冲器122的输出并将输出的图像作为输入图像供应到运动搜索和补偿单元115。换句话说，更具体地，当运动搜索和补偿单元115在扩展宏块中执行运动搜索时，选择单元123选择从缩小画面重排缓冲器122输出的缩小图像并将其作为输入图像供应到运动搜索和补偿单元115。
另外，当运动搜索和补偿单元115使用未缩小的图像执行运动搜索时，选择单元123选择来自画面重排缓冲器102的输出并将输出图像作为输入图像供应到运动搜索和补偿单元115。换句话说，更具体地，当运动搜索和补偿单元115在16×16像素或更少像素的宏块中执行运动搜索时，选择单元123选择从画面重排缓冲器102输出的图像并将其作为输入图像供应到运动搜索和补偿单元115。
缩小单元124以与缩小单元121相同的方式转换从去块滤波器111输出的部分解码图像的尺寸（分辨率）。例如，缩小单元124以预定缩小率N缩小图像。缩小率N对缩小单元121是同样的。缩小单元124将生成的缩小图像供应到缩小帧存储器125。
当来自缩小帧存储器125的输出被选择单元126选择时，缩小帧存储器125保持从缩小单元124供应的缩小图像，并且将保持的缩小图像经由选择单元126作为参考图像供应到运动搜索和补偿单元115。
选择单元126选择来自选择单元113（帧存储器112）的输出和来自缩小帧存储器125的输出中的任一个作为供应到运动搜索和补偿单元115的参考图像，并将选择的输出作为参考图像供应到运动搜索和补偿单元115。
经由选择单元113从帧存储器112输出的图像是具有未缩小的原始尺寸的参考图像。相反地，从缩小帧存储器125输出的图像是在缩小单元124中以缩小率N被缩小的参考图像。
也就是说，当运动搜索和补偿单元115使用缩小图像作为参考图像来执行运动搜索时，选择单元126选择来自缩小帧存储器125的输出并将输出图像作为参考图像供应到运动搜索和补偿单元115。换句话说，更具体地，当运动搜索和补偿单元115在扩展宏块中执行运动搜索时，选择单元126选择从缩小帧存储器125输出的缩小图像并将其作为参考图像供应到运动搜索和补偿单元115。
另外，当运动搜索和补偿单元115使用未缩小的图像执行运动搜索时，选择单元123选择来自选择单元113（帧存储器112）的输出并将输出图像作为参考图像供应到运动搜索和补偿单元115。换句话说，更具体地，当运动搜索和补偿单元115在16×16像素或更少像素的宏块中执行运动搜索时，选择单元123选择从选择单元113（帧存储器112）输出的图像并将其作为参考图像供应到运动搜索和补偿单元115。
这样，当运动搜索和补偿单元115使用具有大于诸如扩展宏块的预定尺寸的尺寸的图像执行运动搜索时，通过使用缩小图像，可以更容易地执行运动搜索。另外，当使用具有小于预定尺寸的尺寸的图像执行运动搜索时，运动搜索和补偿单元115可以通过使用具有未缩小的原始尺寸的图像来抑制运动向量的精度的不希望的降低。
另外，在任何情况中，运动搜索和补偿单元115使用具有未缩小的原始尺寸的参考图像来执行运动补偿处理。
[宏块]
图3示出宏块尺寸的例子。如图3所示，可以使用任何尺寸的宏块，并且可以设置诸如64×64像素或32×32像素的比AVC中使用的16×16像素或更少像素的宏块大的扩展宏块。
例如，如果由虚线131包围的在AVC中使用的16×16像素或更少像素的宏块是编码处理目标，那么如上所述，运动搜索和补偿单元115使用具有未缩小的原始尺寸的图像执行运动搜索。另外，例如，如果由虚线132包围的具有大于16×16像素的尺寸的扩展宏块是编码处理目标，那么如上所述，运动搜索和补偿单元115使用缩小的图像执行运动搜索。
[缩小]
在N=4的情况中，例如，如图4所示的缩小单元121和缩小单元124与16×16像素的4×4宏块（MB0到MB15）相对应地从64×64像素的扩展宏块生成16×16像素的单个宏块（MB-1）。
运动搜索和补偿单元115在宏块（MB-1）中执行运动搜索。因此，以与在AVC等中使用的16×16像素的单个宏块中执行运动搜索的情况相同的负荷，运动搜索和补偿单元115可以在64×64像素的扩展宏块中执行运动搜索。
[运动搜索和补偿单元的配置]
图5是示出图2中示出的图像编码装置100内部的运动搜索和补偿单元115的配置例子的框图。
如图5所示，运动搜索和补偿单元115包括：运动搜索部分151、精度转换部分152和运动补偿部分153。运动搜索部分151使用从选择单元123供应的输入图像和从选择单元126供应的参考图像执行运动搜索。在运动搜索部分151使用具有未缩小的原始尺寸的参考图像或输入图像来执行运动搜索的情况中，诸如检测到的运动向量的各种参数被供应到运动补偿部分153。
相反地，当使用缩小图像执行运动搜索时，检测到的运动向量的精度被降低N倍。因此，运动搜索部分151将诸如检测到的运动向量的各种参数供应到精度转换部分152。
精度转换部分152将供应的运动向量的精度提高N倍以供应到运动补偿部分153。
运动搜索部分151以整数精度、比该精度更精细的1/2精度，以及比该精度进一步更精细的1/4精度执行运动搜索。例如，在16×16像素或更少像素的宏块的情况中，运动搜索部分151使用具有未缩小的原始尺寸的图像执行运动搜索，因此可以检测高达1/4精度的运动向量。相反地，在扩展宏块的情况中，运动搜索部分151使用缩小图像执行运动搜索，因此仅可以检测达到N/4精度的运动向量。
精度转换单元152以这种方式转换使用缩小图像检测到的运动向量的精度，以便将该精度调整为使用具有未缩小的原始尺寸的图像检测到的运动向量的正常精度。
运动补偿部分153通过使用从运动搜索部分151或精度转换部分152供应的参数以及从选择单元126供应的具有未缩小的原始尺寸的图像执行运动补偿来生成预测图像。
运动补偿部分153将生成的预测图像供应到选择单元116。另外，运动补偿部分153将帧间预测模式信息供应到无损编码单元106。此外，运动搜索部分151将指示检测到的运动向量的运动向量信息供应到无损编码单元106。
[编码处理]
接下来，将描述由如上所述的图像编码装置100执行的每个处理的流程。首先，将参考图6的流程图描述编码处理的流程的例子。
在步骤ST101中，A/D转换单元101对输入的图像进行A/D转换。在步骤S102中，画面重排缓冲器102存储A/D转换的图像，并将各个图片被显示的顺序改变为它们被编码的顺序。
在步骤S103中，预测图像生成部120的各单元执行图像的预测处理。
例如，帧内预测单元114以帧内预测模式执行帧内预测处理，并且运动搜索和补偿单元115以帧间预测模式执行运动预测补偿处理。
在步骤S104中，选择单元116基于从帧内预测单元114和运动搜索和补偿单元115输出的各个成本函数值设置最佳预测模式。换句话说，选择单元116选择由帧内预测单元114生成的预测图像和由运动搜索和补偿单元115生成的预测图像中的任一个。
另外，指示哪一个预测图像被选择的选择信息被供应到输出该被选择的预测图像的帧内预测单元114以及运动搜索和补偿单元115中的任一个。在选择处于最佳帧内预测模式的预测图像的情况中，帧内预测单元114将指示最佳帧内预测模式的信息（即，帧内预测模式信息）供应到无损编码单元106。
在选择处于最佳帧间预测模式的预测图像的情况中，运动搜索和补偿单元115将指示最佳帧间预测模式的信息输出到无损编码单元106，并且，如果需要，将对应于最佳帧间预测模式的信息也输出到无损编码单元106。作为对应于最佳帧间预测模式的信息，可以给出运动向量信息、标志信息、参考帧信息等。
在步骤S105中，计算单元103计算通过在步骤S102中的处理重排的图像与通过在步骤S103中的预测处理获得的预测图像之间的差。在帧间预测的情况中，预测图像从运动搜索和补偿单元115经由选择单元116供应到计算单元103，在帧内预测的情况中，预测图像从帧内预测单元114经由选择单元116供应到计算单元103。
与原始图像数据相比，差数据在数据量上减小了。因此，与按照原样对图像进行编码的情况相比，数据量可以被压缩。
在步骤S106中，正交变换单元104对通过在步骤S105中的处理生成的差信息执行正交变换。具体地说，通过诸如离散余弦变换或Karhunen-Loeve变换的正交变换来输出变换系数。在步骤S107中，量化单元105对通过步骤S106中的处理生成的变换系数进行量化。
在步骤S108中，无损编码单元106对通过在步骤S107中的处理进行量化的变换系数进行编码。换句话说，针对差图像（在帧间的情况中，二次差图像）执行诸如可变长度编码或算术编码的无损编码。
另外，无损编码单元106对关于通过在步骤S104中的处理选择的预测图像的预测模式的信息进行编码，并将该信息添加到通过对差图像进行编码获得的编码数据的头信息。
也就是说，无损编码单元106还对从帧内预测单元114供应的帧内预测模式信息、从运动搜索和补偿单元115供应的对应于最佳帧间预测模式的信息等进行编码，以便将它们添加到头信息。
在步骤S109中，累积缓冲器107累积从无损编码单元106输出的编码数据。在累积缓冲器107中累积的编码数据被适当地读取并经由发送路径发送到解码侧。
在步骤S110中，速率控制单元117控制量化单元105的量化操作的速率，从而使得在通过步骤S109中的处理在累积缓冲器107中累积的压缩图像的基础上不会发生溢出或下溢。
另外，通过步骤S107中的处理进行量化的差信息按照如下被部分地解码。换句话说，在步骤S111中，逆量化单元108使用对应于量化单元105的特性的特性对通过步骤S107中的处理生成的量化系数进行逆量化。在步骤S112中，逆正交变换单元109使用对应于正交变换单元104的特性的特性对通过步骤S111中的处理获得的变换系数执行逆正交变换。
在步骤S113中，计算单元110将通过步骤S104中的处理选择的预测图像与部分解码的差信息（对应于到计算单元103的输入的图像）相加，从而生成部分解码图像。在步骤S114中，去块滤波器111对通过步骤S113中的处理生成的图像进行滤波。从而，去除块失真。
在步骤S115中，缩小单元124以缩小率N缩小通过步骤S114中的处理从其去除了块失真的图像。
在步骤S116中，帧存储器112存储通过步骤S114中的处理从其去除了块失真的图像。另外，未进行去块滤波器111中的滤波处理的图像也从计算单元110被供应并存储在帧存储器112中。此外，缩小帧存储器125存储通过步骤S115中的处理生成的缩小图像。
当步骤S116中的处理完成时，编码处理完成。例如，针对每个宏块重复地执行编码处理。
[预测处理]
接下来，参考图7的流程图，将对图6的步骤S103中执行的预测处理的流程的例子进行描述。
在步骤S131中，预测图像生成部120（帧间预测单元114）以作为候选的所有帧内预测模式对要被处理的块的像素执行帧内预测。
在从画面重排缓冲器102供应并且作为处理目标的图像是进行帧间处理的图像的情况中，被参考的图像被从帧存储器112读取并经由选择单元113供应到运动搜索和补偿单元115。在步骤S132中，运动搜索和补偿单元115基于该图像执行帧间运动预测处理。预测图像生成部120以作为候选的所有帧间预测模式执行运动预测处理。
在步骤S133中，在步骤S132中计算的帧间预测模式中的成本函数值中，运动搜索和补偿单元115将给出最小值的预测模式设置为最佳帧间预测模式。另外，运动搜索和补偿单元115将进行帧间处理的图像与在最佳帧间预测模式中生成的二次差信息之间的差，以及最佳帧间预测模式中的成本函数值供应到选择单元116。
[帧间运动预测处理]
图8是示出在图7的步骤S132中执行的帧间运动预测处理的流程的例子的流程图。
如果帧间运动预测处理开始，那么在步骤S151中，缩小单元121以缩小率N将输入图像缩小并生成输入图像的缩小图像。在步骤S152中，缩小画面重排缓冲器122以与画面重排缓冲器102相同的方式重排通过步骤S151中的处理生成的缩小图像。
预测图像生成部120在步骤S153中检查作为处理目标的宏块的宏块尺寸，并在步骤S154中确定作为处理目标的宏块的尺寸是否等于或小于事先设置的预定阈值（16×16像素）。
如果确定作为处理目标的宏块的尺寸等于或小于16×16像素，那么预测图像生成部120控制选择单元123和选择单元126，从而使处理前进到步骤S155。在这种情况中，选择单元123选择来自画面重排缓冲器102的输出，并且选择单元126选择来自选择单元113的输出（从帧存储器112读取的图像）。
在步骤S155中，运动搜索和补偿单元115的运动搜索部分151使用输入图像和具有未缩小的原始尺寸的参考图像以整数精度执行运动搜索。
另外，在步骤S156中，运动搜索部分151使用输入图像和具有未缩小的原始尺寸的参考图像以1/2精度执行运动搜索。此外，在步骤S157中，运动搜索部分151使用输入图像和具有未缩小的原始尺寸的参考图像以1/4精度执行运动搜索。当在步骤S157中的处理完成时，运动搜索和补偿单元115使处理前进到步骤S162。
另外，如果在步骤S154中确定作为处理目标的宏块的尺寸大于预定的阈值（16×16像素），那么预测图像生成部120控制选择单元123和选择单元126，从而使处理前进到步骤S158。在这种情况中，选择单元123选择来自缩小画面重排缓冲器122的输出，并且选择单元126选择来自缩小帧存储器125的输出。
在步骤S158中，运动搜索和补偿单元115的运动搜索部分151使用输入图像和以缩小率N被缩小的缩小图像的参考图像以整数精度执行运动搜索。
另外，在步骤S159中，运动搜索部分151使用输入图像和以缩小率N被缩小的缩小图像的参考图像以1/2精度执行运动搜索。此外，在步骤S160中，运动搜索部分151使用输入图像和以缩小率N被缩小的缩小图像的参考图像以1/4精度执行运动搜索。
在步骤S161中，精度转换部分152转换运动向量的精度。如果在步骤S161中的处理完成，那么运动搜索和补偿单元115使处理前进到步骤S162。
在步骤S162中，运动补偿部分153使用搜索到的运动向量和具有未缩小的原始尺寸的参考图像来执行运动补偿，从而生成预测图像。在每个模式中如此生成预测图像。在生成的预测图像中，在被选作最佳帧间预测模式的模式中的预测图像被供应到选择单元116。在步骤S163中，如果选择帧间预测，那么运动搜索部分151输出诸如运动向量信息的各种信息，以将其供应到无损编码单元106。另外，运动补偿部分153输出诸如帧间预测模式信息的各种信息，以将其供应到无损编码单元106。如果帧内预测模式被选择，那么省略步骤S163中的处理。
当直到步骤S163的处理都完成时，预测图像生成部120结束帧间运动预测处理，并使处理返回到图7的步骤S132，以执行步骤S133中的处理。
[时序图]
如上所述，通过执行每个处理，运动搜索处理和运动补偿处理以例如如图9所示的过程被执行。
图9的A示出在AVC中的处理流水线的例子。在图9中，“运动搜索1”指示以整数精度进行的运动搜索处理，并且“运动搜索2”指示以子像素精度进行的运动搜索处理。“运动补偿”指示运动补偿处理。“运动搜索1”、“运动搜索2”和“运动补偿”的每一个处理中的右侧的每个矩形都指示针对宏块的处理。MB0到MB15指示具有16×16像素的尺寸的不同宏块。也就是说，“运动搜索1”、“运动搜索2”和“运动补偿”的每一个处理中的右侧的每个矩形都指示针对每个宏块的处理。
在AVC的情况中，如图9的A所示，各个宏块一个接一个地被顺序地处理。
在图像编码装置100中，如果作为处理目标的宏块具有16×16像素或更少像素的尺寸，那么如图9的B所示，各个宏块以与AVC的情况（图9的A）相同的方式被顺序地处理。
但是，如果作为处理目标的宏块具有大于16×16像素的尺寸，那么使用缩小的宏块（MB-1）执行在“运动搜索1”和“运动搜索2”中的每个处理。因此，如图9的C所示，执行在“运动搜索1”、“运动搜索2”和“运动补偿”中的每个处理。在图9的C中的情况中，通过使用利用MB-1检测到的运动向量来执行针对MB0到MB15中的每一个的运动补偿。
如上所述，图像编码装置100使用与作为编码处理单位的部分区域的尺寸相对应的尺寸（分辨率）的图像来执行运动搜索。例如，图像编码装置100使用缩小图像（分辨率缩小的图像）在作为部分区域的扩展宏块中执行运动搜索，该部分区域具有比事先设置的预定尺寸大的尺寸并且是编码处理单位。以这种方式，在抑制编码处理中的延迟时间或负荷的增加的同时，图像编码装置100可以提高编码效率。另外，通过使用缩小图像，可以降低用于运动搜索所需的存储器容量，这样可以抑制成本或功率消耗的增加。
另外，从图像编码装置100输出的编码数据可以通过诸如AVC的现有技术中的规范中的图像解码装置来进行解码。
[帧间运动预测处理]
另外，在上述描述中，在使用具有原始尺寸的图像执行运动搜索的情况和使用缩小图像执行运动搜索的情况中，用于执行运动搜索的精度彼此相同；但是，精度也可以彼此不同。例如，在使用缩小图像执行运动搜索的情况中，运动搜索可以以想要的精度执行。
将参考图10的流程图描述在该情况中的帧间运动预测处理的流程的例子。该流程图对应于图8的流程图。
图10的步骤S201到S207中的各个处理以与图8的步骤S151到S157中的处理相同的方式被执行。
如果在步骤S204中确定作为处理目标的宏块的尺寸大于预定阈值（16×16像素），那么预测图像生成部120使处理前进到步骤S208。在这种情况中，选择单元123选择来自缩小画面重排缓冲器122的输出，并且选择单元126选择来自缩小帧存储器125的输出。
在步骤S208中，运动搜索和补偿单元115的运动搜索部分151使用输入图像和以缩小率N被缩小的缩小图像的参考图像以整数精度执行运动搜索。
在步骤S209中，运动搜索部分151将变量M设置为初始值（例如，2）。
在步骤S210中，运动搜索部分151在1/N2缩小图像中以1/M精度执行运动搜索。在步骤S211中，运动搜索部分151确定变量M是否达到了预定值（m）。如果确定变量M的值达到了预定值（m），那么运动搜索部分151使处理前进到步骤S212，以使变量M递增（例如，+1），然后使处理返回到步骤S210，以重复执行其后的处理。也就是说，运动搜索部分151重复地执行步骤S210到S212中的各个处理，直到以想要的精度执行运动搜索。
如果在步骤S211中确定变量M达到事先设置的预定值（m），那么精度转换部分152使处理前进到步骤S213，从而转换运动向量的精度（乘以N）。如果完成步骤213中的处理，那么精度转换部分152使处理前进到步骤S214。
步骤S214到S215中的各个处理以与图8中的步骤S162和S163中的各个处理相同的方式执行。
这样，运动搜索部分151可以以任何精度执行运动搜索。因此，图像编码装置100可以抑制由于使用缩小图像执行运动搜索而导致的运动向量的精度的降低。
另外，也是在这种情况中，从图像编码装置100输出的编码数据可以通过诸如AVC的现有技术中的规范中的图像解码装置来进行解码。
<2.第二实施例>
[图像编码装置]
用于运动搜索的缩小图像的缩小率N的值可以是多个。也就是说，可以生成多个不同缩小率的缩小图像，并且，其中，可以使用对应于宏块尺寸的缩小率N的缩小图像来执行运动搜索。
图11是示出该情况中的图像编码装置的配置例子的框图。在图11中示出的图像编码装置300是与图2中的图像编码装置100基本上相同的装置并且执行相同的处理，但是两个缩小图像以不同的缩小率N。
如图11所示，图像编码装置300包括预测图像生成部320。
预测图像生成部320是对应于图2中的预测图像生成部120的处理器，并且基本上执行与预测图像生成部120中相同的处理。
但是，预测图像生成部320包括运动搜索和补偿单元315，代替预测图像生成部120的运动搜索和补偿单元115。另外，预测图像生成部320包括代替预测图像生成部120的缩小单元121的第一缩小单元321和第二缩小单元322，代替缩小画面重排缓冲器122的第一缩小画面重排缓冲器323和第二缩小画面重排缓冲器324，以及代替选择单元123的选择单元325。
第一缩小单元321和第二缩小单元322基本上分别具有与缩小单元121相同的配置并以相同方式缩小输入图像，但是缩小率不同。两者的缩小率N可以具有任何值，只要它们彼此不同即可。在下面，作为例子，将在假定第一缩小单元321的缩小率是N=4，并且第二缩小单元322的缩小率是N=2的情况下进行描述。
第一缩小画面重排缓冲器323和第二缩小画面重排缓冲器324基本上分别具有与缩小画面重排缓冲器122相同的配置并执行相同的处理。第一缩小画面重排缓冲器323存储从第一缩小单元321输出的缩小图像。第二缩小画面重排缓冲器324存储从第二缩小单元322输出的缩小图像。
选择单元325基本上具有与选择单元123相同的配置并且执行相同的处理。但是，选择单元325选择来自画面重排缓冲器102的输出、来自第一缩小画面重排缓冲器323的输出和来自第二缩小画面重排缓冲器324的输出中的任意一个作为供应到运动搜索和补偿单元315的输入图像。
例如，如果作为处理目标的宏块的尺寸大于第一阈值（例如，32×32像素），那么选择单元325选择从第一缩小画面重排缓冲器323输出的缩小率N=4的图像，并将其作为输入图像供应到运动搜索和补偿单元315。
另外，例如，如果作为处理目标的宏块的尺寸等于或小于第一阈值（例如，32×32像素）并大于比第一阈值小的第二阈值（例如，16×16像素），那么选择单元325选择从第二缩小画面重排缓冲器324输出的缩小率N=2的图像，并将其作为输入图像供应到运动搜索和补偿单元315。
此外，例如，如果作为处理目标的宏块的尺寸等于或小于第二阈值（例如，16×16像素），那么选择单元325选择未缩小并从画面重排缓冲器102输出的图像，并将其作为输入图像供应到运动搜索和补偿单元315。
此外，预测图像生成部320包括代替预测图像生成部120的缩小单元124的第一缩小单元326和第二缩小单元327，代替缩小帧存储器125的第一缩小帧存储器328和第二缩小帧存储器329，以及代替选择单元126的选择单元330。
第一缩小单元326和第二缩小单元327基本上分别具有与缩小单元124相同的配置并以相同方式缩小输入图像，但是其缩小率彼此不同。这两者的缩小率N的值分别与第一缩小单元321和第二缩小单元322的缩小率的值相同。也就是说，在图11中示出的例子的情况中，第一缩小单元326的缩小率是N=4，第二缩小单元327的缩小率是N=2。
第一缩小帧存储器328和第二缩小帧存储器329基本上分别具有与缩小帧存储器125相同的配置并且执行相同的处理。第一缩小帧存储器328存储从第一缩小单元326输出的缩小图像。第二缩小帧存储器329存储从第二缩小单元327输出的缩小图像。
选择单元330基本上具有与选择单元126相同的配置并且执行相同的处理。但是，选择单元330选择来自帧存储器112（选择单元113）的输出、来自第一缩小帧存储器328的输出和来自第二缩小帧存储器329的输出中的任意一个作为供应到运动搜索和补偿单元315的参考图像。
例如，如果作为处理目标的宏块的尺寸大于第一阈值（例如，32×32像素），那么选择单元330选择从第一缩小帧存储器328输出的缩小率N=4的图像，并将其作为参考图像供应到运动搜索和补偿单元315。
另外，例如，如果作为处理目标的宏块的尺寸等于或小于第一阈值（例如，32×32像素）并大于比第一阈值小的第二阈值（例如，16×16像素），那么选择单元325选择从第二缩小帧存储器329输出的缩小率N=2的图像，并将其作为参考图像供应到运动搜索和补偿单元315。
此外，例如，如果作为处理目标的宏块的尺寸等于或小于第二阈值（例如，16×16像素），那么选择单元325选择未缩小并从帧存储器112（选择单元113）输出的图像，并将其作为参考图像供应到运动搜索和补偿单元315。
运动搜索和补偿单元315基本上具有与运动搜索和补偿单元115相同的配置并执行相同的处理。运动搜索和补偿单元315使用供应的输入图像和参考图像执行运动搜索处理或运动补偿处理，并通过帧间预测生成预测图像。
运动搜索和补偿单元315将生成的预测图像供应到选择单元116，并将要被发送的信息（诸如，帧间预测模式信息或运动向量信息）供应到无损编码单元106。
[宏块]
图12示出宏块尺寸的例子。例如，如图12所示，如果由虚线341包围的在AVC中使用的16×16像素或更少像素的宏块是编码处理目标，那么运动搜索和补偿单元315使用具有未缩小的原始尺寸的图像执行运动搜索。另外，例如，如果由虚线342包围的具有大于16×16像素并等于或小于32×32像素的尺寸的扩展宏块是编码处理目标，那么运动搜索和补偿单元315使用缩小率N=2的缩小图像执行运动搜索。
此外，例如，如果由虚线343包围的具有大于32×32像素的尺寸的扩展宏块是编码处理目标，那么运动搜索和补偿单元315使用缩小率N=4的缩小图像执行运动搜索。
[缩小]
由于缩小率是N=4，因此，例如，如图13所示，第一缩小单元321和第一缩小单元326与16×16像素的4×4宏块（MB0到MB15）相对应地从64×64像素的扩展宏块生成16×16像素的单个宏块（MB-1）。
相反地，由于缩小率是N=2，因此，例如，如图13所示，第二缩小单元322和第二缩小单元327与16×16像素的2×2宏块（MB-2到MB-4）相对应地从32×32像素的扩展宏块生成16×16像素的单个宏块（MB-1）。
运动搜索和补偿单元115在宏块（MB-1）中执行运动搜索。因此，以与在AVC等中使用的16×16像素的单个宏块中执行运动搜索的情况相同的负荷，运动搜索和补偿单元115可以在32×32像素的扩展宏块或64×64像素的扩展宏块中执行运动搜索。
[运动搜索和补偿单元的配置]
图14是示出图11中示出的图像编码装置300内部的运动搜索和补偿单元315的配置例子的框图。也就是说，图14对应于图5。
如图14所示，运动搜索和补偿单元315基本上具有与运动搜索和补偿单元115相同的配置，但是，运动搜索和补偿单元315包括运动搜索部分351而非运动搜索部分151。
另外，运动搜索和补偿单元315包括第一精度转换部分352和第二精度转换部分353而非精度转换部分152。
运动搜索部分351基本上具有与运动搜索部分151相同的配置并执行相同的处理，但是，运动搜索部分351可以在诸如缩小率N=4和缩小率N=2的多个缩小率的缩小图像中执行运动搜索。
在运动搜索部分351使用具有未缩小的原始尺寸的参考图像或输入图像来执行运动搜索的情况中，诸如检测到的运动向量的各种参数被供应到运动补偿部分153。
相反地，在使用第一缩小率（缩小率N=4）的缩小图像执行运动搜索的情况中，运动搜索部分351将诸如检测到的运动向量的各种参数供应到第一精度转换部分352。第一精度转换部分352将供应的运动向量的精度以第一缩小率（N=4）进行提高以供应到运动补偿部分153。
另外，在使用第二缩小率（缩小率N=2）的缩小图像执行运动搜索的情况中，运动搜索部分351将诸如检测到的运动向量的各种参数供应到第二精度转换部分353。第二精度转换部分353将供应的运动向量的精度以第二缩小率（N=2）进行提高以供应到运动补偿部分153。
运动补偿部分153通过使用从运动搜索部分351、第一精度转换部分352或第二精度转换部分353供应的参数以及从选择单元330供应的具有未缩小的原始尺寸的图像执行运动补偿来生成预测图像。
运动补偿部分153将生成的预测图像供应到选择部分116。另外，运动补偿部分153将帧间预测模式信息供应到无损编码单元106。此外，运动搜索部分151将指示检测到的运动向量的运动向量信息供应到无损编码单元106。
[帧间运动预测处理]
在这种情况中，编码处理以与参考图6中的流程图描述的图像编码装置100所执行的编码处理的情况相同的方式被执行。
另外，预测处理以与参考图7中的流程图描述的图像编码装置100所执行的编码处理的情况相同的方式被执行。
参考图15的流程图，将对在这种情况中的帧间运动预测处理的流程的例子进行描述。图15的流程图对应于图8的流程图。
在步骤S301到S307中的各个处理以与图8的步骤S151到S157中的各个处理相同的方式被执行。
如果在步骤S304中确定作为处理目标的宏块的尺寸大于第二阈值（16×16像素），那么预测图像生成部320使处理前进到步骤S308。
在步骤S308中，预测图像生成部320确定作为处理目标的宏块的尺寸是否等于或小于预定的第一阈值（32×32像素）。如果确定作为处理目标的宏块的尺寸等于或小于第一阈值（32×32像素），那么预测图像生成部320控制选择单元325和选择单元330，从而使处理前进到步骤S309。在这种情况中，选择单元325选择来自第二缩小画面重排缓冲器324的输出，并且选择单元330选择来自第二缩小帧存储器329的输出。
在步骤S309中，运动搜索和补偿单元315的运动搜索部分351使用输入图像和以第二缩小率（N=2）被缩小的缩小图像（即，1/22-缩小图像）的参考图像以整数精度执行运动搜索。
另外，在步骤S310中，运动搜索部分351使用输入图像和以第二缩小率（N=2）被缩小的缩小图像（即，1/22-缩小图像）的参考图像以1/2精度执行运动搜索。另外，在步骤S311中，运动搜索部分351使用输入图像和以第二缩小率（N=2）被缩小的缩小图像（即，1/22-缩小图像）的参考图像以1/4精度执行运动搜索。
在步骤S312中，第二精度转换部分353将运动向量的精度以第二缩小率转换（即，乘以2）。如果在步骤S312中的处理完成，那么运动搜索和补偿单元315使处理前进到步骤S317。
如果在步骤S308中确定作为处理目标的宏块的尺寸大于第一阈值（32×32像素），那么预测图像生成部320控制选择单元325和选择单元330，从而使处理前进到步骤S313。
在这种情况中，选择单元325选择来自第一缩小画面重排缓冲器323的输出，并且选择单元330选择来自第一缩小帧存储器328的输出。
在步骤S313中，运动搜索和补偿单元315的运动搜索部分351使用输入图像和以第一缩小率（N=4）被缩小的缩小图像（即，1/42-缩小图像）的参考图像以整数精度执行运动搜索。
另外，在步骤S314中，运动搜索部分351使用输入图像和以第一缩小率（N=4）被缩小的缩小图像（即，1/42-缩小图像）的参考图像以1/2精度执行运动搜索。此外，在步骤S315中，运动搜索部分351使用输入图像和以第一缩小率（N=4）被缩小的缩小图像（即，1/42-缩小图像）的参考图像以1/4精度执行运动搜索。
在步骤S316中，第一精度转换部分352将运动向量的精度以第一缩小率转换（即，乘以4）。如果在步骤S316中的处理完成，那么运动搜索和补偿单元315使处理前进到步骤S317。
步骤S317到S318中的各个处理以与步骤S162和S163中的各个处理相同的方式被执行。
当直到步骤S318的处理都完成时，预测图像生成部320结束帧间运动预测处理，并使处理返回到图7的步骤S132，以执行步骤S133中的处理。
[时序图]
图16示出在这种情况中的运动搜索处理和运动补偿处理的时序图。图16的时序图对应于图9的时序图。图16的A示出与图9的A的方式相同的AVC中的处理流水线的例子。
在图像编码装置300中，如果作为处理目标的宏块具有16×16像素或更少像素的尺寸，那么如图16的B所示，各个宏块以与AVC的情况（图16的A）相同的方式被顺序地处理。
另外，如果作为处理目标的宏块具有32×32像素或更少像素的尺寸，那么使用缩小图像，这样，如图16的C所示，运动搜索的数量被减小。另外，如果作为处理目标的宏块具有大于32×32像素的尺寸，那么使用进一步缩小的图像，这样，如图16的D所示，运动搜索的数量被进一步减小。
因此，也是在这种情况中，图像编码装置300可以以与第一实施例的情况相同的方式在抑制编码处理中的延迟时间或负荷增加的同时，提高编码效率。另外，可以抑制成本或功率消耗的增加。
另外，从图像编码装置300输出的编码数据可以通过诸如AVC的现有技术中的规范中的图像解码装置来进行解码。
如上所述，提供宏块尺寸的多个阈值，并且图像编码装置300根据这些阈值使用对应于宏块尺寸的尺寸（分辨率）的图像来执行运动搜索。以这种方式，图像编码装置300可以与参考图1到图9描述的图像编码装置100的情况相比进一步地抑制运动向量的精度的降低。另外，由于帧间运动预测处理可以比参考图10描述的情况更容易地执行，因此图像编码装置300可以抑制负荷的增加。
<3.第三实施例>
[图像编码装置]
在上述描述中，尽管缩小图像仅在运动搜索中被使用，但本发明并不限于此，并且，在具有大于预定阈值的尺寸的扩展宏块的情况中，缩小图像也可以被用于运动补偿中，从而，可以对缩小图像的差信息进行编码。
图17是示出该情况中的图像编码装置的配置例子的框图。
在图17中示出的图像编码装置400基本上具有与在图11中示出的图像编码装置300相同的配置，并具有相同的处理。但是，图像编码装置400包括预测图像生成部420而非预测图像生成部320。
预测图像生成部420基本上具有与预测图像生成部320相同的配置并执行相同的处理，但是预测图像生成部420包括运动搜索和补偿单元415而非运动搜索和补偿单元315。另外，预测图像生成部420包括：代替第一缩小画面重排缓冲器323的第一缩小画面重排缓冲器423、代替第二缩小画面重排缓冲器324的第二缩小画面重排缓冲器424，以及代替选择单元325的选择单元425。
第一缩小画面重排缓冲器423以与第一缩小画面重排缓冲器323相同的方式基本上存储从第一缩小单元321供应并以第一缩小率（N=4）被缩小的输入图像。但是，第一缩小画面重排缓冲器423不仅将缩小图像供应到选择单元425，还供应到选择单元431。也就是说，存储在第一缩小画面重排缓冲器423中的缩小图像被用于生成差信息以及用于运动搜索。
第二缩小画面重排缓冲器424以与第二缩小画面重排缓冲器324相同的方式基本上存储从第二缩小单元322供应并以第二缩小率（N=2）被缩小的输入图像。但是，第二缩小画面重排缓冲器424不仅将缩小图像供应到选择单元425，还供应到选择单元431。也就是说，存储在第二缩小画面重排缓冲器424中的缩小图像被用于生成差信息以及用于运动搜索。
选择单元425以与选择单元325相同的方式选择来自画面重排缓冲器102的输出、来自第一缩小画面重排缓冲器423的输出和来自第二缩小画面重排缓冲器424的输出中的任意一个作为供应到运动搜索和补偿单元415的输入图像。
运动搜索和补偿单元415具有与运动搜索和补偿单元315相同的配置并执行相同的处理。但是，运动搜索和补偿单元315仅对运动搜索使用缩小图像，而运动搜索和补偿单元415还对运动补偿使用缩小图像。也就是说，运动搜索和补偿单元415生成以缩小率N被缩小的预测图像。运动搜索和补偿单元415将缩小图像的预测图像供应到选择单元116。
在针对具有大于预定尺寸的尺寸的扩展宏块的帧间预测的情况中，选择单元116选择缩小图像的预测图像，然后将其供应到计算单元103和计算单元110。换句话说，在这种情况中，通过图像编码装置400生成的差信息是以缩小率N被缩小的图像。
图像编码装置400还包括选择单元431和上转换器（up-converter）432。
根据预测模式或作为处理目标的宏块的尺寸，选择单元431选择来自画面重排缓冲器102的输出、来自第一缩小画面重排缓冲器423的输出，以及来自第二缩小画面重排缓冲器424的输出的其中之一作为供应到计算单元103的图像。
例如，如果在帧间预测模式中作为处理目标的宏块的尺寸大于第一阈值（32×32像素），那么选择单元431选择从第一缩小画面重排缓冲器423输出并以第一缩小率（N=4）被缩小的缩小图像，并将该缩小图像供应到计算单元103。在这种情况中，运动搜索和补偿单元415使用从第一缩小画面重排缓冲器423输出并以第一缩小率（N=4）被缩小的缩小图像来执行运动搜索和运动补偿。因此，运动搜索和补偿单元415将以第一缩小率（N=4）被缩小的缩小图像的预测图像经由选择单元116供应到计算单元103。
计算单元103从来自第一缩小画面重排缓冲器423的输出减去来自运动搜索和补偿单元415的输出，从而生成差信息。换句话说，差信息是以第一缩小率（N=4）被缩小的缩小图像。
另外，例如，如果在帧间预测模式中作为处理目标的宏块的尺寸等于或小于第一阈值（32×32像素）并且大于第二阈值（16×16像素），那么选择单元431选择从第二缩小画面重排缓冲器424输出并以第二缩小率（N=2）被缩小的缩小图像，并将该缩小图像供应到计算单元103。在这种情况中，运动搜索和补偿单元415使用从第二缩小画面重排缓冲器424输出并以第二缩小率（N=2）被缩小的缩小图像执行运动搜索和运动补偿。因此，运动搜索和补偿单元415将以第二缩小率（N=2）被缩小的缩小图像的预测图像经由选择单元116供应到计算单元103。
计算单元103从来自第二缩小画面重排缓冲器424的输出减去来自运动搜索和补偿单元415的输出，从而生成差信息。换句话说，差信息是以第二缩小率（N=2）被缩小的缩小图像。
此外，例如，如果在帧间预测模式中作为处理目标的宏块的尺寸等于或小于第二阈值（16×16像素），那么选择单元431选择从画面重排缓冲器102输出且未被缩小的输入图像，并将该图像供应到计算单元103。在这种情况中，运动搜索和补偿单元415使用从画面重排缓冲器102输出且未被缩小的输入图像来执行运动搜索和运动补偿。因此，运动搜索和补偿单元415将具有未缩小的原始尺寸的预测图像经由选择单元116供应到计算单元103。
计算单元103从来自画面重排缓冲器102的输出减去来自运动搜索和补偿单元415的输出，从而生成差信息。换句话说，差信息是具有未缩小的原始尺寸的图像。
另外，也是在帧间预测模式的情况中，选择单元431选择来自画面重排缓冲器102的输出。换句话说，使用具有未缩小的原始尺寸的图像生成差信息。
如上所述，在使用缩小图像生成差信息的情况中，从累积缓冲器107输出的编码数据是从缩小图像的差信息生成的。因此，在这种情况中，图像编码装置400可以降低编码数据的比特率。
由于比特率降低，因此解码图像的图像质量劣化。但是，通常，在使用诸如扩展宏块的大区域作为编码处理单位的情况中，区域的图案简单，并且运动很少。换句话说，即使区域的比特率降低，对图像质量的影响也相对较小。
通过使用这些特性，图像编码装置400对于诸如扩展宏块的具有大于预定尺寸的尺寸的大区域使用缩小图像来执行运动搜索、运动补偿以及差信息的生成，并对于诸如具有正常尺寸的宏块的具有等于或小于预定尺寸的尺寸的小区域使用未缩小的图像来执行运动搜索、运动补偿以及差信息的生成，从而抑制图像质量的劣化并降低编码数据的比特率。
另外，当通过使用缩小图像对于诸如扩展宏块的具有大尺寸的区域执行运动补偿时，图像编码装置400可以降低在运动补偿中访问存储器（DRAM）的数据量，这样可以降低运动补偿的负荷。
另外，图像编码装置400可以向解码侧提供指示在1/N2分辨率画面上生成的差信息（即，使用缩小图像生成的差信息）的标志、用于生成缩小画面的滤波器的系数信息、以及当缩小画面返回到原始分辨率时到上转换器的滤波器的系数信息。
例如，该信息可以被添加到编码数据的任何位置，或者可以被与编码数据分开地发送到解码侧。例如，无损编码单元106可以将比特流中的信息描述为语法。另外，无损编码单元106可以将预定区域中的信息作为辅助信息来存储，从而将其发送。例如，信息可以被存储在诸如SEI（补充增强信息）的参数集（例如，图片的序列或头）中。
另外，无损编码单元106可以将该信息与编码数据分开地（作为分离的文件）从图像编码装置发送到图像解码装置。在这种情况中，需要阐明该信息与编码数据之间的对应关系（以便在解码侧被掌握），并且可以使用任何方法。例如，指示该对应关系的表格信息可以被分开创建，或者指示对应目的地的数据的链接信息可以被埋入交互数据中。
另外，例如，在缩小画面中的块尺寸和运动搜索是固定的并且被链接的情况中，可以省略指示在1/N2分辨率画面上生成的差信息的标志的发送。另外，如果用于生成缩小画面的滤波器的系数信息和当缩小画面返回到原始分辨率时到上转换器的滤波器的系数信息也可以事先在解码侧被掌握，那么它们不必一定被发送。
接下来，将描述被部分解码的图像。在图像编码装置400中，具有未缩小的原始尺寸的解码图像被供应到预测图像生成部420的去块滤波器111、帧存储器112、第一缩小单元326和第二缩小单元327。
换句话说，例如，如上所述，当使用缩小图像生成差信息时，上转换器432放大缩小图像，从而使其返回到原始尺寸。可以使用任何的上转换器方法。
[运动搜索和补偿单元的配置]
图18是示出图17中示出的图像编码装置400内部的运动搜索和补偿单元415的配置例子的框图。
如图18所示，运动搜索和补偿单元415基本上具有与运动搜索和补偿单元315相同的配置并执行相同的处理，而且使用缩小图像执行运动补偿，因此不包括第一精度转换部分352和第二精度转换部分353。运动搜索和补偿单元415包括运动搜索部分451和运动补偿部分452。
运动搜索部分451以与运动搜索部分351相同的方式执行运动搜索，但是其将诸如运动向量的信息供应到运动补偿部分452，而不论输入图像或参考图像的尺寸如何。运动补偿部分452使用具有与运动搜索中相同的尺寸的参考图像来执行运动补偿。
运动补偿部分452将生成的预测图像供应到选择部分116。另外，运动补偿部分452将要提供给解码侧的帧间预测模式信息、标志、参数等供应到无损编码单元106。此外，运动搜索部分451将运动向量信息供应到无损编码单元106。
[帧间运动预测处理]
接下来，将描述该处理的流程。图像编码装置400以与参考图6的流程图描述的情况相同的方式来执行编码处理。但是，当在图6的步骤S104中选择单元116选择预测图像时，选择单元431选择输入图像。
另外，如果在步骤S105中使用缩小图像生成差信息，那么在步骤S113中计算单元110将预测图像与解码图像相加，并且上转换器432将相加结果放大到原始尺寸。
预测图像生成部420以与参考图7的流程图描述的情况相同的方式来执行预测处理。
参考图19的流程图，将对在这种情况中的帧间运动预测处理的流程的例子进行描述。图19的流程图对应于图15的流程图。
换句话说，在步骤S401到S408中的各个处理以与图15中的步骤S301到S307和S317中的各个处理相同的方式被执行。如果完成步骤408中的处理，那么运动补偿部分452使处理前进到步骤S420。
另外，在图19的步骤S409到S412中的各个处理也以与图15中的步骤S308到S311中的处理相同的方式被执行。
在步骤S413中，运动向量的精度转换没有如图15的情况那样被执行，并且运动搜索和补偿单元415的运动补偿部分452使用以第二缩小率（N=2）被缩小的缩小图像（即，1/22-缩小图像）的参考图像来执行运动补偿。在步骤S414中，运动补偿部分452适当地生成要被提供到解码侧的信息，诸如标志或参数。如果完成步骤414中的处理，那么运动补偿部分452使处理前进到步骤S420。
另外，在图19的步骤S415到S417中的各个处理也以与图15中的步骤S313到S315中的处理相同的方式被执行。
在步骤S418中，运动向量的精度转换没有如图15的情况那样被执行，并且运动搜索和补偿单元415的运动补偿部分452使用以第一缩小率（N=4）被缩小的缩小图像（即，1/42-缩小图像）的参考图像来执行运动补偿。在步骤S419中，运动补偿部分452适当地生成要被提供到解码侧的信息，诸如标志或参数。如果完成步骤419中的处理，那么运动补偿部分452使处理前进到步骤S420。
在步骤S420中，当进行帧间预测的预测图像被选作预测图像时，运动搜索和补偿单元415的运动搜索部分451和运动补偿部分452将诸如运动向量信息、帧间预测模式信息、标志和各种参数的要被发送的信息发送到无损编码单元106。
如果完成步骤420中的处理，那么预测图像生成部420完成帧间运动预测处理，并将处理返回到图7的步骤S132，以使处理前进到步骤S133。
如上所述，以与第一实施例的情况相同的方式，图像编码装置400使用对应于作为编码处理单位的部分区域的尺寸的尺寸（分辨率）的图像来执行运动搜索，因此，可以在抑制编码处理中的延迟时间或负荷的增加的同时提高编码效率。另外，可以抑制成本或功率消耗的增加。
此外，以与图像编码装置300的情况相同的方式，在图像编码装置400中，可以提供宏块尺寸的多种阈值。以这种方式，图像编码装置400可以与参考图1到图9描述的图像编码装置100的情况相比进一步地抑制运动向量的精度的降低。另外，由于帧间运动预测处理可以比参考图10描述的情况更容易地执行，因此图像编码装置400可以抑制负荷的增加。
另外，在图像编码装置400中，可以以与图像编码装置100相同的方式提供宏块尺寸的单个阈值。此外，如参考图10所述，运动搜索可以以任何精度被执行。
<4.第四实施例>
[图像解码装置]
在第三实施例中描述的从图像编码装置400输出的编码数据可能包括通过将缩小图像的差信息进行编码获得的数据，这样，不能说该数据可以由诸如AVC的现有技术中的规范中的图像解码装置来解码。为了对由图像编码装置400生成的编码数据进行解码，需要准备对应于图像编码装置400的图像解码装置。
在下面，将描述应于第三实施例中的图像编码装置400的图像解码装置。图20是示出应用本发明的图像解码装置的主要配置例子的框图。在图20中示出的图像解码装置500是对应于图像编码装置400的解码装置。
由图像编码装置400进行编码的编码数据经由预定的发送路径被发送到对应于图像编码装置400的图像解码装置500，然后被解码。
如图20所示，图像解码装置500包括：累积缓冲器501、无损解码单元502、逆量化单元503、逆正交变换单元504、计算单元505、去块滤波器506、画面重排缓冲器507和D/A转换器508。另外，图像解码装置500包括：帧存储器509、选择单元510、帧间预测单元511、运动补偿单元512和选择单元513。
此外，图像解码装置500包括上转换器514。
累积缓冲器501累积发送的编码数据。该编码数据是由图像编码装置400进行编码的数据。使用对应于图17的无损编码单元106的编码方法的方法，无损解码单元502在预定定时对从累积缓冲器501读取的编码数据进行解码。
使用对应于图17的图像数据累积装置105的量化方法的方法，逆量化单元503对通过无损解码单元502进行解码获得的系数数据进行逆量化。逆量化单元503将逆量化的系数数据供应到逆正交变换单元504。逆正交变换单元504使用对应于图17的正交变换单元104的正交变换方法的方法来对系数数据执行逆正交变换，获得与在图像编码装置400中进行正交变换之前的剩余数据相对应的解码的剩余数据。
通过逆正交变换获得的解码的剩余数据被供应到计算单元505。另外，预测图像经由选择单元513从帧内预测单元511或运动补偿单元512被供应到计算单元505。
计算单元505将解码的剩余数据与预测图像相加，并获得与预测图像被图像编码装置400的计算单元103减去之前的图像数据相对应的解码的图像数据。计算单元505将解码的图像数据供应到上转换器514。
如果从计算单元505供应的解码图像是缩小图像，即，解码图像是通过对编码数据进行解码获得的，该编码数据是通过在图像编码装置400中对使用缩小图像生成的剩余信息进行编码获得的，那么上转换器514对该解码图像进行上转换，以将解码图像的图像放大到原始尺寸。
上转换器514将通过上转换获得的具有原始图像尺寸的解码图像供应到去块滤波器506。另外，如果从计算单元505供应的解码图像是具有原始尺寸的图像，那么上转换器514省略上转换，并将该解码图像供应到去块滤波器506。
去块滤波器506从供应的解码图像去除块失真，并将结果供应到画面重排缓冲器507。
画面重排缓冲器507重排图像。换句话说，由图17的画面重排缓冲器102为了编码而改变的帧的顺序被改变为原始显示的顺序。D/A转换器508对从画面重排缓冲器507供应的图像进行D/A转换，并将结果输出到显示器（未示出），以便显示。
此外，图像解码装置500包括：第一缩小单元521、第二缩小单元522、第一缩小帧存储器523、第二缩小帧存储器524和选择单元525。
来自去块滤波器506的输出被供应到帧存储器509、第一缩小单元521和第二缩小单元522。
帧存储器509、选择单元510、帧内预测单元511、运动补偿单元512和选择单元513分别对应于图像编码装置400的帧存储器112、选择单元113、帧内预测单元114、运动搜索和补偿单元415、以及选择单元116。另外，第一缩小单元521、第二缩小单元522、第一缩小帧存储器523、第二缩小帧存储器524和选择单元525分别对应于图像编码装置400的第一缩小单元326、第二缩小单元327、第一缩小帧存储器328、第二缩小帧存储器329和选择单元330。
选择单元510从帧存储器509读取进行帧间处理的图像和被参考的图像，并将这些图像供应到运动补偿单元512。另外，选择单元510从帧存储器509读取用于帧内预测的图像，并将该图像供应到帧内预测单元511。
通过对头信息进行解码获得的指示帧内预测模式的信息等被适当地从无损解码单元502供应到帧内预测单元511。帧内预测单元511基于该信息生成预测图像并将生成的预测图像供应到选择单元513。
运动补偿单元512从无损解码单元502获取通过对头信息进行解码获得的信息（预测模式信息、运动向量信息、参考帧信息、标志、各种参数等）。
当供应指示帧间预测模式的信息时，运动补偿单元512控制选择单元525以选择从无损解码单元502供应的由标志、各种参数等指定的来自帧存储器509的输出、来自第一缩小帧存储器523的输出或来自第二缩小帧存储器524的输出，并获取该输出。另外，运动补偿单元512基于从无损解码单元502供应的信息生成预测图像，并将生成的预测图像供应到选择单元513。
选择单元513选择由运动补偿单元512或帧内预测单元511生成的预测图像，并将该图像供应到计算单元505。
帧存储器509至选择单元513，以及第一缩小单元521至选择单元525构成预测图像生成部520。如果解码图像是缩小图像，那么预测图像生成部520将缩小图像的预测图像供应到计算单元505，如果解码图像是具有原始尺寸的图像，那么将具有原始尺寸的预测图像供应到计算单元505。
[解码处理]
接下来，将对由图像解码装置500执行的每个处理的流程进行描述。首先，将参考图21的流程图描述解码处理的流程的例子。
如果解码处理开始，在步骤S501中，累积缓冲器501累积发送的编码数据。在步骤S502中，无损解码单元502对从累积缓冲器501供应的编码数据进行解码。换句话说，对已经由图17的无损编码单元106进行编码的I图片、P图片和B图片进行解码。
此时，诸如运动向量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）、以及标志或参数的信息也被解码。
如果预测模式信息是帧内预测模式信息，那么预测模式信息被供应到帧内预测单元511。如果预测模式信息是帧间预测模式信息，那么对应于预测模式信息的运动向量信息被供应到运动补偿单元512。
在步骤S503中，逆量化单元503使用对应于图17的量化单元105的特性的特性对由无损解码单元502解码的变换系数进行逆量化。在步骤S504中，逆正交变换单元504使用对应于图17的正交变换单元104的特性的特性来对已经由逆量化单元503进行了逆量化的变换系数执行逆正交变换。从而，对应于到图17的正交变换单元104的输入（来自计算单元103的输出）的差信息被解码。
在步骤S505中，帧内预测单元511或运动补偿单元512针对每个处理执行预测处理，从而对应于从无损解码单元502供应的预测模式信息。
也就是说，当从无损解码单元502供应帧内预测模式信息时，帧内预测单元511以帧内预测模式执行帧内预测处理。另外，当从无损解码单元502供应帧间预测模式信息时，运动补偿单元512以帧间预测模式执行运动预测处理。
在步骤S506中，选择单元513选择预测图像。也就是说，由帧内预测单元511生成的预测图像或由运动补偿单元512生成的预测图像被供应到选择单元513。选择单元513选择供应预测图像的预测单元，并将预测图像供应到计算单元505。
在步骤S507中，计算单元505将通过步骤S506中的处理选择的预测图像与通过步骤S504中的处理获得的差信息相加。从而，对原始图像数据进行解码。
在步骤S508中，如果从计算单元505供应的解码图像是缩小图像，那么上转换器514将该解码图像进行上转换，从而将其转换为原始尺寸。在步骤S509中，去块滤波器506适当地对从上转换器514供应的解码图像进行滤波。从而，从该解码图像适当地去除块失真。
在步骤S510中，第一缩小单元521以第一缩小率（N=4）缩小滤波的解码图像。另外，第二缩小单元522以第二缩小率（N=2）缩小滤波的解码图像。
在步骤S511中，帧存储器509存储滤波的解码图像。另外，第一缩小帧存储器523存储从第一缩小单元521输出的缩小图像。此外，第二缩小帧存储器524存储从第二缩小单元522输出的缩小图像。
在步骤S512中，画面重排缓冲器507对解码图像数据的帧进行重排。换句话说，由图像编码装置400的（图17）画面重排缓冲器102为了编码而改变的解码图像数据的帧的顺序被改变为原始显示的顺序。
在步骤S513中，D/A转换器508对其帧由画面重排缓冲器507重排的解码图像数据进行D/A转换。解码图像数据被输出到显示器（未示出），并且显示其图像。
[预测处理]
接下来，参考图22的流程图，将描述在图21中的步骤S505中执行的预测处理的流程的例子。
如果预测处理开始，那么无损解码单元502确定是否基于帧内预测模式信息执行帧内编码。如果确定帧内编码被执行，那么无损解码单元502将帧内预测模式信息供应到帧内预测单元511并使处理前进到步骤S532。
在步骤S532中，帧内预测单元511执行帧内预测处理。如果帧内预测处理完成，那么图像解码装置500使处理返回到图21，从而使得步骤S506之后的处理被执行。
另外，如果在步骤S531中确定帧间编码被执行，那么无损解码单元502将诸如帧间预测模式信息的各种信息供应到运动补偿单元512，并使处理前进到步骤S533。
在步骤S533中，运动补偿单元512执行帧间运动预测处理。如果帧间运动预测处理完成，那么图像解码装置500使处理返回到图21，从而使得步骤S506之后的处理被执行。
[帧内预测处理]
接下来，参考图23的流程图，将描述在图21中的步骤S533中执行的帧间运动预测处理的流程的例子。
如果帧间运动预测处理开始，那么在步骤S551中，运动补偿单元512基于从无损解码单元502供应的信息选择预测图像的分辨率。在步骤S552中，运动补偿单元512基于运动向量信息设置参考图像的位置（区域）。在步骤S553中，运动补偿单元512生成预测图像。如果生成了预测图像，那么帧间运动预测处理结束。运动补偿单元512使得处理返回到图22的步骤S533，从而结束该预测处理，并使处理前进到图21的步骤S505，从而执行步骤S506之后的处理。
如上所述，图像解码装置500可以基于从图像编码装置400供应的各种信息对已经由图像编码装置400进行编码的编码数据进行解码。
换句话说，图像编码装置400使用具有与作为编码处理单位的部分区域的尺寸相对应的尺寸（分辨率）的图像通过运动搜索或运动补偿来生成差信息，并且图像解码装置500可以以相同的方式使用具有与作为编码处理单位的部分区域的尺寸相对应的尺寸（分辨率）的预测图像对通过对该差信息进行编码而获得的编码数据进行解码。
换句话说，图像解码装置500可以抑制图像编码装置400的负荷的增加，并进一步提高编码效率。
<5.第五实施例>
[个人计算机]
上述的一系列处理可以由硬件或软件执行。在这种情况中，例如，可以配置如图24所示的个人计算机。
在图24中，个人计算机600的CPU（中央处理单元）601根据存储在ROM（只读存储器）602中的程序或者从存储单元613导入RAM（随机存取存储器）603的程序来执行各种处理。RAM603适当地存储CPU601执行各种处理所需的数据等。
CPU601、ROM602和RAM603经由总线彼此连接。总线604也被连接到输入和输出接口610。
输入和输出接口610被连接到输入单元611、输出单元612、存储单元613和通信单元614，其中，输入单元611由键盘、鼠标等构成，输出单元612由包括CRT（阴极射线管）或LCD（液晶显示器）的显示器、扬声器等构成，存储单元613由硬盘等构成，通信单元614由调制解调器等构成。通信单元614经由包括互联网的网络来执行通信处理。
在必要的时候，输入和输出接口610被连接到驱动器615，诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质621被适当地安装在其中，并且，从该可移动介质读取的计算机程序在必要的时候被安装到存储单元613中。
在上述一系列处理由软件执行的情况中，构成该软件的程序从网络或记录介质被安装。
记录介质不仅由例如如图24所示的可移动介质621构成，还由包括在存储单元613中的ROM602或硬盘构成，该可移动介质621诸如为磁盘（包括软盘）、光盘（包括CD-ROM（光盘-只读存储器）和DVD（数字多功能盘））、磁光盘（MD（Mini Disc））或半导体存储器，被分布为与装置主体分开地向用户传送程序并在其上存储有程序，包括在存储单元613中的ROM602或硬盘以被事先并入装置主体的状态被传送给用户并在其上存储有程序。
另外，由计算机执行的程序可以是按照根据本说明书中描述的顺序的时间序列执行处理的程序，或者可以是并行地执行处理或在诸如被访问的定时的必要定时执行处理的程序。
另外，在本说明书中，用于描述记录在记录介质上的程序的步骤不仅包括按照根据描述的顺序的时间序列执行的处理，而且包括并行地执行或者即使不必一定按照时间序列执行也分开执行的处理。
另外，在本说明书中，系统是指由多个装置构成的整个装置。
另外，在上面的描述中，被描述为单个装置（或处理器）的配置可以被分开，从而被配置作为多个装置（或处理器）。相反地，在上面的描述中，被描述为多个装置（处理器）的配置可以被集中，从而被配置作为单个装置（或处理器）。另外，上述的其它配置可以被添加到每个装置（或每个处理器）的配置。另外，某个装置（或处理器）的部分配置可以被包括在其它装置（或其它处理器）的配置中，只要它们在整个系统的配置或操作中基本上相同即可。换句话说，本发明的实施例并不限于上述实施例，并且，在不脱离本发明的精神的的范围内对本发明的实施例进行各种修改。
例如，上述图像编码装置或图像解码装置可以被应用于任何电子设备。在下文中，将描述其例子。
<6.第六实施例>
[电视接收机]
图25是示出使用应用本发明的图像解码装置500的电视接收机的主要配置例子的框图。
图25中示出的电视接收机1000包括地面波调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。
地面波调谐器1013经由天线接收模拟地面广播的广播波信号，通过对它进行解调来获得视频信号，并且将该视频信号供应给视频解码器1015。视频解码器1015对从地面波调谐器1013供应的视频信号执行解码，并且，将获得的数字分量信号供应给视频信号处理电路1018。
视频信号处理电路1018对从视频解码器1015供应的视频数据执行诸如噪声去除的预定处理，并且，将获得的视频数据供应至图形产生电路1019。
图形产生电路1019产生在显示面板1021上显示的节目的视频数据、通过基于经由网络提供的应用的处理的图像数据等，并且将产生的视频数据或图像数据供应到面板驱动电路1020。另外，图形产生电路1019适当地执行生成用于显示用于由用户选择项目的画面的视频数据（图形）、以及将通过将该画面叠加到节目的视频数据上而获得的视频数据供应给面板驱动电路1020的处理。
面板驱动电路1020基于从图形产生电路1019供应的数据驱动显示面板1021，并且在显示面板1021上显示节目的视频或上述各种画面。
显示面板1021包括LCD（液晶显示器）等，并在面板驱动电路1020的控制下显示节目的视频。
此外，电视接收机1000具有音频A/D（模拟/数字）转换电路1014、音频信号处理电路1022、回声消除和音频合成电路1023、音频放大电路1024和扬声器1025。
地面波调谐器1013通过对接收到的广播波信号进行解调来获取视频信号和音频信号。地面波调谐器1013将获取的音频信号供应到音频A/D转换电路1014。
音频A/D转换电路1014对从地面波调谐器1013供应的音频信号执行A/D转换处理，并且将获得的数字音频信号供应到音频信号处理电路1022。
音频信号处理电路1022对从音频A/D转换电路1014供应的音频数据执行诸如噪声去除的预定处理，并且将获得的音频数据供应至回声消除和音频合成电路1023。
回声消除和音频合成电路1023将从音频信号处理电路1022供应的音频数据供应到音频放大电路1024。
音频放大电路1024对从回声消除和音频合成电路1023供应的音频数据执行D/A转换处理，通过放大处理将其调节为预定音量，然后从扬声器1025输出音频。
另外，电视接收机1000包括数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播（数字地面广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播波信号，通过解调获得MPEG-TS（运动图片专家组-传输流），并且将该MPEG-TS供应到MPEG解码器1017。
MPEG解码器1017去除施加到从数字调谐器1016供应的MPEG-TS的扰码，并提取包括作为再现目标（观看目标）的节目的数据的流。MPEG解码器1017对构成提取的流的音频分组进行解码，将获得的音频数据供应到音频信号处理电路1022，对构成该流的视频分组进行解码，并且将获得的视频数据供应到视频信号处理电路1018。此外，MPEG解码器1017经由路径（未示出）将从MPEG-TS提取的EPG（电子节目指南）数据供应到CPU1032。
电视接收机1000使用上述的图像解码装置500作为以这种方式对视频分组进行解码的MPEG解码器1017。另外，从广播站等发送的MPEG-TS由图像编码装置400进行编码。
以与图像解码装置500的情况相同的方式，MPEG解码器1017使用缩小图像的预测图像对从广播站（图像编码装置400）供应的缩小图像的编码数据进行解码。因此，MPEG解码器1017可以使图像编码装置400抑制负荷的增加并进一步提高编码效率。
以与从视频解码器1015供应的视频数据的情况相同的方式，从MPEG解码器1017供应的视频数据在视频信号处理电路1018中进行预定处理，在图形产生电路1019中与生成的视频数据叠加，并经由面板驱动电路1020被供应到显示面板1021，从而显示其图像。
以与从音频A/D转换电路314供应的音频数据的情况相同的方式，从MPEG解码器1017供应的音频数据在音频信号处理电路1022中进行预定处理，经由回声消除和音频合成电路323被供应到音频放大器电路1024，并且进行D/A转换处理或放大处理。结果，从扬声器1025输出被调节为预定音量的音频。
另外，电视接收机1000包括麦克风1026和A/D转换电路1027。
A/D转换电路1027接收用于音频对话的由安装在电视接收机1000中的麦克风1026接收的用户的音频信号，对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据供应到回声消除和音频合成电路1023。
当电视接收机1000的用户（用户A）的音频数据被从A/D转换电路1027供应时，回声消除和音频合成电路1023对用户A的音频数据执行回声消除，并将通过与其它音频数据的合成获得的音频数据经由音频放大电路1024从扬声器1025输出。
此外，电视接收机1000还包括音频编解码器1028、内部总线1029、SDRAM（同步动态随机存取存储器）1030、闪存1031、CPU1032、USB（通用串行总线）I/F1033和网络I/F1034。
A/D转换电路1027接收用于音频对话的由安装在电视接收机1000中的麦克风1026接收的用户的音频信号，对接收到的音频信号执行A/D转换处理，并且将获得的数字音频数据供应到音频编解码器1028。
音频编解码器1028将从A/D转换电路1027供应的音频数据转换为预定格式的数据以便经由网络发送，并且将该数据经由内部总线1029供应至网络I/F1034。
网络I/F1034经由安装在网络端子1035处的线缆连接到网络。例如，网络I/F1034将从音频编解码器1028供应的音频数据发送到与网络连接的其它装置。另外，例如，网络I/F1034通过网络端子1035接收从经由网络连接的其它装置发送的音频数据，并将该音频数据经由内部总线1029供应到音频编解码器1028。
音频编解码器1028将从网络I/F1034供应的音频数据转换为预定格式的数据，并且将该数据供应到回声消除和音频合成电路1023。
回声消除和音频合成电路1023对从音频编解码器1028供应的音频数据执行回声消除，并且使通过与其它音频数据合成而获得的音频数据经由音频放大器电路1024从扬声器1025输出。
SDRAM1030存储CPU1032执行处理所需的各种数据。
闪存1031存储由CPU1032执行的程序。
存储在闪存1031中的程序在诸如当电视接收机1000被激活的时刻的预定定时由CPU1032读取。闪存1031还存储经由数字广播获取的EPG数据、经由网络从预定服务器获取的数据等。
例如，闪存1031在CPU1032的控制下存储包括经由网络从预定服务器获取的内容数据的MPEG-TS。例如，闪存1031在CUP1032的控制下经由内部总线1029将MPEG-TS供应到MPEG解码器1017。
以与从数字调谐器1016供应的MPEG-TS的情况相同的方式，MPEG解码器1017处理MPEG-TS。这样，电视接收机1000经由网络接收由视频或音频形成的内容数据，并可以通过使用MPEG解码器1017对该数据进行解码来显示视频或输出音频。
另外，电视接收机1000包括接收从遥控器1051发送的红外信号的光接收单元1037。
光接收单元1037接收来自遥控器1051的红外线，并且将通过解调获得的表示用户操作的内容的控制代码输出到CPU1032。
CPU1032执行在闪存1031中存储的程序并且响应于从光接收单元1037供应的控制代码来控制整个电视接收机1000的操作。CPU1032和电视接收机1000的每个单元经由路径（未示出）彼此连接。
USB I/F1033将数据发送到电视接收机1000的外部设备以及从电视接收机1000的外部设备接收数据，该外部设备经由安装在USB端子的USB线缆进行连接。网络I/F1034经由安装在网络端子1035处的线缆被连接到网络，并将除了音频数据的其它数据发送到连接到网络的各种装置以及从连接到网络的各种装置接收除了音频数据的其它数据。
电视接收机1000使用图像解码装置500作为MPEG解码器1017，从而可以在抑制了负荷的增加的同时提高经由天线接收的广播波信号或经由网络获取的内容数据的编码效率，并且，结果，可以以更低的成本实现实时处理。
<7.第七实施例>
[移动电话]
图26是示出使用应用本发明的图像编码装置和图像解码装置的移动电话的主要配置例子的框图。
在图26中示出的移动电话1100包括：全面控制各个单元的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、照相机I/F单元1154、LCD控制单元1155、图像解码器1156、复用和分离单元1157、记录和再现单元1162、调制和解调单元1158和音频编解码器1159。这些单元经由总线1160相互连接。
另外，移动电话1100包括操作键1119、CCD（电荷耦合器件）照相机1116、液晶显示器1118、存储单元1123、发送和接收电路单元1163、天线1114、麦克风（mic）1121和扬声器1117。
当通话结束并且通过用户的操作接通电源键时，通过从电池组向各个单元供电，电源电路单元1151将移动电话1100激活为可操作状态。
基于由CPU、ROM、RAM等构成的主控制单元1150的控制，移动电话1100在诸如语音呼叫模式或数据通信模式的各种模式中执行各种操作，例如，发送和接收音频信号、发送和接收电子邮件或图像数据、图像捕获或者数据记录。
例如，在语音呼叫模式中，移动电话1100使用音频编解码器1159将由麦克风（mic）1121收集的音频信号转换为数字音频数据，使用调制和解调单元1158对该数据执行谱扩展处理，并且使用发送和接收电路单元1163对该数据执行数字模拟转换处理和频率转换处理。移动电话1100经由天线1114将通过转换处理的发送信号发送到基站（未示出）。发送到基站的发送信号（音频信号）经由公共电话网络被供应到打电话的另一个人的移动电话。
另外，例如，在语音呼叫模式中，移动电话1100使用发送和接收电路单元1163来放大经由天线1114接收的接收信号，进一步执行频率转换处理和模拟数字转换处理，使用调制和解调单元1158执行谱逆扩展处理，并且使用音频编解码器1159将该信号转换为模拟音频信号。移动电话1100从扬声器1117输出通过转换获得的模拟音频信号。
此外，例如，在以数据通信模式发送电子邮件的情况中，通过对操作输入控制单元1152中的操作键1119的操作，移动电话1100接收文本数据。移动电话1100在主控制单元1150中处理文本数据，并且经由LCD控制单元1155使该数据作为图像显示在液晶显示器1118上。
另外，移动电话1100在主控制单元1150中基于通过操作输入控制单元1152接收的文本数据、用户指令等生成电子邮件数据。移动电话1100使用调制和解调单元1158对电子邮件数据执行谱扩展处理，并且使用发送和接收电路单元1163执行数字模拟转换处理和频率转换处理。
移动电话1100经由天线1114将通过转换处理获得的发送信号发送到基站（未示出）。发送到基站的发送信号（电子邮件）经由网络和邮件服务器被供应到预定目的地。
另外，例如，当在数据通信模式中接收电子邮件的情况中，移动电话1100使用发送和接收电路单元1163经由天线1114接收从基站发送的信号，放大该邮件，并执行频率转换处理和模拟数字转换处理。移动电话1100使用调制和解调单元1158对接收到的信号执行逆谱扩展处理，以恢复原始的电子邮件数据。移动电话1100经由LCD控制单元1155在液晶显示器1118上显示恢复的电子邮件数据。
另外，移动电话1100可以经由记录和再现单元1162将接收到的电子邮件数据记录（存储）在存储单元1123中。
存储单元1123是可重写的任何存储介质。例如，存储单元1123可以是RAM、诸如内置闪存的半导体存储器，可以是硬盘，或者可以是可移动介质，诸如，磁盘、磁光盘、光盘、USB存储器或存储卡。当然，也可以使用其它的存储介质。
另外，例如，当在数据通信模式中发送图像数据的情况中，移动电话1100使用CCD照相机1116通过成像生成图像数据。CCD照相机1116包括诸如透镜和光圈的光学装置以及用作光电转换装置的CCD，对被摄体成像，将接收到的光的强度转换为电信号，并且产生被摄体的图像的图像数据。CCD照相机1116经由照相机I/F单元1154使用图像编码器1153对图像数据进行编码，从而将其转换为编码图像数据。
移动电话1100使用上述的图像编码装置100、图像编码装置300或图像编码装置400作为执行这样的处理的图像编码器1153。如果作为处理目标的宏块是扩展宏块，那么以与图像编码装置相同的方式，图像编码器1153使用缩小图像来执行运动搜索。通过使用用缩小图像生成的预测图像来对图像数据进行编码，图像编码器1153可以在抑制负荷的增加的同时进一步提高编码效率。
另外，图像编码装置400也使用缩小图像执行运动补偿。因此，图像编码器1153可以通过使用图像编码装置400进一步提高编码效率。
此外，在使用CCD照相机1116成像的同时，移动电话1100在音频编解码器1159中对由麦克风（mic）1121收集的音频进行模拟数字转换，以进一步编码。
移动电话1100在复用和分离单元1157中使用预定的方法对从图像编码器1153供应的编码的图像数据和从音频编解码器1159供应的数字音频数据进行复用。移动电话1100使用调制和解调单元1158对作为其结果获得的复用数据执行谱扩展处理，并且使用发送和接收电路单元1163执行数字模拟转换处理和频率转换处理。移动电话1100经由天线1114将通过转换处理获得的发送信号发送到基站（未示出）。发送到基站的发送信号（图像数据）经由网络等被供应到通信伙伴。
另外，在没有发生图像数据的情况中，移动电话1100可以在不使用图像编码器的情况下经由LCD控制单元1155在液晶显示器1118上显示使用CCD照相机生成的图像数据。
此外，例如，当在数据通信模式中接收与简单主页链接的运动图像文件数据的情况中，移动电话1100使用发送/接收电路单元1163经由天线1114接收从基站发送的信号，放大该信号，并且进一步执行频率转换处理和模拟数字转换处理。移动电话1100使用调制和解调单元1158对接收到的信号执行逆谱扩展处理，以恢复原始复用数据。移动电话1100在复用和分离单元1157中将复用数据分离成编码的图像数据和音频数据。
移动电话1100在图像解码器1156中对编码的图像数据进行解码，从而生成再现运动图像数据，并经由LCD控制单元1155将该数据在液晶显示器1118上显示。因此，例如，包含在与简单主页链接的运动图像文件中的运动图片数据被显示在液晶显示器1118上。
移动电话1100使用上述的图像解码装置500作为执行这种处理的图像解码器1156。换句话说，以与图像解码装置500的情况相同的方式，图像解码器1156可以使用缩小图像对使用缩小图像生成的差信息的编码数据执行帧间编码。因此，图像解码器1156使图像编码装置400在抑制负荷的增加的同时进一步提高编码效率。
此时，移动电话设备1100同时在音频编解码器1159中将数字音频数据转换为模拟音频信号，并且将该信号从扬声器1117输出。
因此，例如，再现在与简单主页链接的运动图像文件中包含的音频数据。
另外，以与电子邮件的情况相同的方式，移动电话1100可以经由记录和再现装置1162将接收到的与简单主页链接的数据记录（存储）在存储单元1123中。
另外，移动电话1100可以在主控制单元1150中分析使用CCD照相机1116成像并获得的二维代码，并获取以该二维代码记录的信息。
此外，移动电话1100可以使用红外通信单元1181通过红外线与外部设备进行通信。
移动电话1100使用图像编码装置100、图像编码装置300或图像编码装置400作为图像编码器1153，从而，例如，可以在抑制负荷的增加的同时提高当在CCD照相机1116中生成的图像数据被编码和发送时的编码效率，并且，结果，可以以更低的成本实现实时处理。
另外，移动电话1100使用图像解码装置500作为图像解码器1156，从而，例如，可以在抑制负荷的增加的同时提高与简单主页等链接的运动图像文件的数据（编码数据）的编码效率，并且，结果，可以以更低的成本实现实时处理。
另外，尽管，在上述描述中，移动电话1100使用CCD照相机1116，但是可以使用利用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）来代替CCD照相机1116。也是在这种情况中，以与使用CCD照相机1116的情况相同的方式，移动电话1100可以对被摄体成像并生成被摄体的图像的图像数据。
另外，尽管在上述描述中已经描述了移动电话1100，但是，以与移动电话1100的情况相同的方式，应用本发明的图像编码装置和图像解码装置可以被应用于任何设备，只要该设备具有与移动电话1100相同的成像功能或通信功能即可，所述设备诸如为，PDA（个人数字助理）、智能电话、UMPC（超移动个人计算机）、上网本或笔记本个人计算机。
<8.第八实施例>
[硬盘记录器]
图27是示出使用应用本发明的图像编码装置和图像解码装置的硬盘记录器的主要配置例子的框图。
在图27中示出的硬盘记录器（HDD记录器）1200是这样的一种设备，其将包括在广播波信号（电视信号）中的由调谐器接收且从卫星或地面天线等发送的广播节目的音频数据和视频数据保留在内置硬盘中，并在对应于来自用户的指令的定时将保留的数据提供给用户。
例如，硬盘记录器1200可以从广播波信号提取音频数据和视频数据，并适当地对它们进行解码，从而使它们被存储在内置硬盘中。另外，例如，硬盘记录器1200可以经由网络从其它设备获取音频数据或视频数据，并适当地对它们进行解码，从而使它们被存储在内置硬盘中。
此外，例如，硬盘记录器1200可以对记录在内置硬盘中的音频数据或视频数据进行解码，从而将其供应到监视器1260，并将其图像显示在监视器1260的屏幕上且将其音频从监视器1260的扬声器输出。另外，例如，硬盘记录器1200可以对经由调谐器获取的从广播波信号提取的记录的音频数据或视频数据或者经由网络从其它设备获取的音频数据或视频数据进行解码，以便将其供应到监视器1260，并将其图像显示在监视器1260的屏幕上且将其音频从监视器1260的扬声器输出。
当然，也可以进行其它操作。
如图26所示，硬盘记录器1200包括：接收单元1221、解调单元1222、分用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200还包括：EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD（同屏显示器）控制单元1231、显示控制单元1232、记录和再现单元1233、D/A转换器1234和通信单元1235。
另外，显示转换器1230包括视频编码器1241。记录和再现单元1233包括编码器1251和解码器1252。
接收单元1221从遥控器（未示出）接收红外信号，以便将其转换为被输出到记录器控制单元1226的电信号。记录器控制单元1226由例如微处理器等构成，并根据存储在程序存储器1228中的程序执行各种处理。此时，在必要的时候，记录器控制单元1226使用工作存储器1229。
通信单元1235被连接到网络并且经由网络与其它装置进行通信。例如，通信单元1235由记录器控制单元1226控制，从而与调谐器（未示出）进行通信，并且将调谐控制信号主要地输出到该调谐器。
解调单元1222对从调谐器供应的信号进行解调，从而将其输出到分用器1223。分用器1223将从解调单元1222供应的数据分离为音频数据、视频数据和EPG数据，从而将它们分别输出到音频解码器1224、视频解码器1225和记录器控制单元1226。
音频解码器1224对输入的音频数据进行解码，从而将其输出到记录和再现单元1233。视频解码器1225对输入的视频数据进行解码，从而将其输出到显示转换器1230。记录器控制单元1226将输入的EPG数据供应到EPG数据存储器1227，从而使其被存储。
显示转换器1230使用视频编码器1241将从视频解码器1225或记录器控制单元1226供应的视频数据编码为例如NTSC（国家电视标准委员会）类型的视频数据，从而将其输出到记录和再现单元1233。另外，显示转换器1230将从视频解码器1225或记录器控制单元1226供应的视频数据的画面尺寸转换为与监视器1260的尺寸相对应的尺寸，使用视频编码器1241将视频数据转换为NTSC类型的视频数据，从而将其转换为被输出到显示控制单元1232的模拟信号。
显示控制单元1232在记录器控制单元1226的控制下将由OSD（同屏显示器）控制单元1231输出的OSD信号叠加在从显示转换器1230输入的视频信号上，从而将其输出到监视器1260的显示器，并且将其显示。
由音频解码器1224输出的音频数据被D/A转换器1234转换为模拟信号并被供应到监视器1260。监视器1260将音频信号从内置扬声器输出。
记录和再现单元1233包括作为记录介质的硬盘，该记录介质记录视频数据、音频数据等。
例如，记录和再现单元1233使用编码器1251对从音频解码器1224供应的音频数据进行编码。另外，记录和再现单元1233使用编码器1251对从显示转换器1230的视频解码器1224供应的视频数据进行编码。记录和再现单元1233使用复用器将音频数据的编码数据与视频数据的编码数据进行合成。记录和再现单元1233通过信道编码放大合成的数据，并经由记录头将该数据写入硬盘。
记录和再现单元1233经由再现头对记录在硬盘中的数据进行再现，放大该数据，并且使用分用器将该数据分离为音频数据和视频数据。记录和再现单元1233使用解码器1252对音频数据和视频数据进行解码。记录和再现单元1233对解码的音频数据进行D/A转换，以将其输出到监视器1260的扬声器。另外，记录和再现单元1233对解码的视频数据进行D/A转换，以将其输出到监视器1260的显示器。
记录器控制单元1226基于由来自遥控器的红外信号指示的经由接收单元1221接收的用户指令从EPG数据存储器1227读取最新的EPG数据，以将其供应到OSD控制单元1231。OSD控制单元1231产生与输入的EPG数据相对应的图像数据，以将其输出到显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出到监视器1260的显示器，以将其显示。从而，在监视器1260的显示器上显示EPG（电子节目指南）。
另外，硬盘记录器1200可以获取经由诸如互联网的网络从其它装置供应的各种数据，诸如，视频数据、音频数据或EPG数据。
通信单元1235由记录器控制单元1226控制，以获取经由网络从其它装置发送的诸如视频数据、音频数据和EPG数据的编码数据，并将它们供应到记录器控制单元1226。例如，记录器控制单元1226将获取的视频数据或音频数据的编码数据供应给记录和再现单元1233，以将其存储在硬盘中。此时，记录器控制单元1226以及记录和再现单元1233在必要的时候可以执行诸如重新编码的处理。
另外，记录器控制单元1226对获取的视频数据或音频数据的编码数据进行解码，并将获得的的视频数据供应到显示转换器1230。
以与从视频解码器1225供应的视频数据相同的方式，显示转换器1230处理从记录器控制单元1226供应的视频数据，并经由显示控制单元1232将该视频数据供应到监视器1260，从而使得其图像被显示。
另外，与该图像的显示同步，记录器控制单元1226可以经由D/A转换器1234将解码的音频数据供应到监视器1260，并将其音频从扬声器输出。
此外，记录器控制单元1226对获取的EPG数据的编码数据进行解码，并且将解码的EPG数据供应到EPG数据存储器1227。
如上所述的硬盘记录器1200使用图像解码装置500作为在视频解码器1225、解码器1252和记录器控制单元1226中内置的解码器。换句话说，以与图像解码装置500的情况相同的方式，在视频解码器1225、解码器1252和记录器控制单元1226中内置的解码器使用缩小图像对由图像编码装置400使用缩小图像进行编码的编码数据执行帧间编码。因此，在视频解码器1225、解码器1252和记录器控制单元1226中内置的解码器可以在抑制负荷的增加的同时进一步提高编码效率。
因此，例如，硬盘记录器200可以在抑制负荷的增加的同时提高由调谐器或通信单元1235接收的视频数据（编码数据）或由记录和再现单元1233再现的视频数据的编码效率，并且，结果，可以以更低的成本实现实时处理。
另外，硬盘记录器1200使用图像编码装置100、图像编码装置300或图像编码装置400作为编码器1251。因此，以与图像编码装置100、图像编码装置300或图像编码装置400的情况相同的方式，编码器1251使用缩小图像执行运动搜索。以这种方式，编码器1251可以在抑制负荷的增加的同时进一步提高编码效率。
因此，例如，硬盘记录器1200可以在抑制负荷的增加的同时提高记录在硬盘上的编码数据的编码效率，并且，结果，可以以更低的成本实现实时处理。
另外，尽管在上述描述中已经描述了将视频数据或音频数据记录在硬盘上的硬盘记录器1200，但是可以使用任何记录介质。例如，即使在采用除了硬盘的其它记录介质（诸如，闪存、光盘或录像带）的记录器中，以与上述硬盘记录器1200的情况相同的方式，应用本发明的图像编码装置和图像解码装置也可以被应用于该记录器。
<9.第九实施例>
[照相机]
图28是示出使用应用本发明的图像编码装置和图像解码装置的照相机的主要配置例子的框图。
在图28中示出的照相机1300对被摄体成像，并将被摄体的图像显示在LCD1316上或将该图像作为图像数据记录在记录介质1333上。
透镜块1311使光（即，被摄体的像）入射到CCD/CMOS1312。CCD/CMOS1312是使用CCD或CMOS的图像传感器，将接收的光的强度转换为被供应到照相机信号处理单元1313的电信号。
照相机信号处理单元1313将从CCD/CMOS1312供应的电信号转换为被供应到图像信号处理单元1314的Y、Cr和Cb的颜色差信号。在控制器1321的控制下，图像信号处理单元的1314对从照相机信号处理单元1313供应的图像信号执行预定图像处理，或使用编码器1341对该图像信号进行编码。图像信号处理单元的1314对图像信号进行编码，并将生成的编码数据供应到解码器1315。另外，图像信号处理单元1314获取在同屏显示器（OSD）1320中生成的显示数据并将该数据供应到解码器1315。
在上述处理中，照相机信号处理单元1313适当地使用经由总线1317连接的DRAM（动态随机存取存储器）1318，并在必要的时候将图像数据或通过对图像数据进行编码获得的编码数据保持在DRAM1318中。
解码器1315对从图像信号处理单元1314供应的编码数据进行解码，并且将获得的图像数据（解码的图像数据）供应到LCD1316。另外，解码器1315将从图像信号处理单元1314供应的显示数据供应到LCD1316。LCD1316将从解码器1315供应的解码图像数据的图像和显示数据的图像适当地合成，并且显示合成图像。
同屏显示器1320在控制器1321的控制下经由总线1317将显示数据（诸如，由符号、字符或数字构成的菜单画面或图标）输出到图像信号处理单元1314。
控制器1321基于指示用户使用操作单元1322命令的内容的信号来执行各种处理，并且经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口1319、同屏显示器1320和介质驱动器1317。在闪速ROM1324中存储控制器1321执行各种处理所需的程序、数据等。
例如，代替图像信号处理单元1314或解码器1315，控制器1321可以对存储在DRAM1318中的图像数据进行编码，或者对存储在DRAM1318中的编码数据进行解码。此时，控制器1321可以使用与图像信号处理单元1314和解码器1315的编码和解码方法相同的方法来执行编码和解码处理，并且可以使用不由图像信号处理单元1314或解码器1315处置的方法来执行编码和解码处理。
另外，例如，在从操作单元1322指示开始图像打印的情况中，控制器1321从DRAM1318读取图像数据，并通过将该数据经由总线1317供应到连接到外部接口1319的打印机1334来开始打印。
此外，例如，在从操作单元1322指示图像记录的情况中，控制器1321从DRAM1318读取编码数据，并将该数据经由总线1317供应到安装在介质驱动器1323中的记录介质1333，以将其进行存储。
记录介质1333是可读写的任何可移动介质，例如，磁盘、磁光盘、光盘或半导体存储器。当然，任何类型的记录介质1333都可以被用作可移动介质，并且，可以使用磁带装置、盘或存储器卡。当然，可以使用非接触式IC卡。
另外，介质驱动器1323和记录介质1333可以被集成地形成，并且可以由诸如内置硬盘驱动器或SSD（固态驱动器）的非便携式记录介质构成。
外部接口1319由例如USB输入和输出端子等构成，并且当打印图像时被连接到打印机1334。另外，在必要的时候，外部接口1319被连接到驱动器1331，诸如磁盘、光盘、或磁光盘的可移动介质1332被适当地安装在其中，并且，从该可移动介质读取的计算机程序在必要的时候被安装到闪速ROM1324中。
此外，外部接口1319包括与诸如LAN或互联网的预定网络连接的网络接口。例如，响应于来自操作单元1322的指令，控制器1321可以从DRAM1318读取编码数据，并将该数据从外部接口1319供应到经由网络连接的其它装置。另外，控制器1321可以使用外部接口1319获取经由网络从其它装置供应的编码数据或图像数据，并将该数据保持在DRAM1318中或将该数据供应到图像信号处理单元1314。
上述的照相机1300使用图像解码装置500作为解码器1315。换句话说，以与图像解码装置500的情况相同的方式，解码器1315使用缩小图像对从图像编码装置400供应并使用缩小图像生成的编码数据执行帧间编码。因此，解码器1315可以在抑制负荷的增加的同时进一步提高编码效率。
因此，例如，照相机1300可以在抑制负荷的增加的同时提高由CCD/CMOS1312生成的图像数据、从DRAM1318或记录介质1333读出的视频数据的编码数据或经由网络获取的视频数据的编码数据的编码效率，并且，结果，可以以更低的成本实现实时处理。
另外，照相机1300使用图像编码装置100、图像编码装置300或图像编码装置400作为编码器1341。以与这样的图像编码装置的情况相同的方式，编码器1341使用缩小图像执行运动搜索。以这种方式，编码器1341可以在抑制负荷的增加的同时进一步提高编码效率。
因此，例如，照相机1300可以在抑制负荷的增加的同时提高记录在DRAM1318或记录介质1333中的编码数据或供应到其它装置的编码数据的编码效率，并且，结果，可以以更低的成本实现实时处理。
另外，图像解码装置500的解码方法可以应用于由控制器1321执行的解码处理。类似地，图像编码装置100、图像编码装置300和图像编码装置400的编码方法可以被应用于由控制器1321执行的编码处理。
另外，由照相机1300捕获的图像数据可以是运动图像或静止图像。
当然，应用本发明的图像编码装置和图像解码装置可以被应用于除了上述设备以外的其它设备或系统。
附图标记列表
100:图像编码装置
115:运动搜索和补偿单元
121:缩小单元
122:缩小画面重排缓冲器
123:选择单元
124:缩小单元
125:缩小帧存储器
126:选择单元
151:运动搜索部分
152:精度转换部分
153:运动补偿部分

Claims (16)

1.一种图像处理设备，包括：
分辨率确定部件，用于确定其中每一个部分区域被编码的图像中的部分区域的图像的分辨率的大小；以及
运动搜索部件，用于在部分区域中使用与由分辨率确定部件确定的分辨率的大小相对应的分辨率的部分区域的图像来执行运动搜索。
2.根据权利要求1所述的图像处理设备，还包括：
分辨率转换部件，用于对部分区域的图像的分辨率进行转换；以及
选择部件，用于如果分辨率确定部件确定部分区域的图像的分辨率大于预定的阈值，则选择由分辨率转换部件转换分辨率的部分区域的图像，如果确定部分区域的图像的分辨率等于或小于该阈值，则选择没有由分辨率转换部件转换分辨率的部分区域的图像，
其中，运动搜索部件使用由选择部件选择的部分区域的图像来执行运动搜索。
3.根据权利要求2所述的图像处理设备，其中，阈值是由现有编码规范规定的部分区域的分辨率的最大值。
4.根据权利要求2所述的图像处理设备，其中，阈值是16×16像素。
5.根据权利要求2所述的图像处理设备，其中，分辨率转换部件把部分区域的图像的分辨率转换为多个分辨率，
分辨率确定部件针对多个阈值确定部分区域的图像的分辨率的大小，以及
根据由分辨率确定部件确定的部分区域的图像的分辨率的大小与多个阈值之间的大小关系，选择部件选择通过分辨率转换部件转换分辨率而获得的多个分辨率的部分区域的图像和在转换分辨率之前的部分区域的图像中的任一个。
6.根据权利要求2所述的图像处理设备，还包括：
精度转换部件，用于将通过运动搜索部件的运动搜索检测到的运动向量的精度转换为在由分辨率转换部件转换之前的部分区域的图像的分辨率的精度。
7.根据权利要求2所述的图像处理设备，还包括：
运动补偿部件，用于使用由精度转换部件转换精度的运动向量和在由分辨率转换部件转换之前的部分区域的图像来执行运动补偿，并且生成预测图像。
8.根据权利要求7所述的图像处理设备，还包括：
编码部件，用于使用由运动补偿部件生成的预测图像来编码部分区域的图像。
9.根据权利要求2所述的图像处理设备，还包括：
运动补偿部件，用于使用通过运动搜索部件的运动搜索检测到的运动向量和由选择部件选择的部分区域的图像来执行运动补偿，并且生成预测图像。
10.根据权利要求9所述的图像处理设备，还包括：
编码部件，用于使用由运动补偿部件生成的预测图像来编码部分区域的图像。
11.根据权利要求1所述的图像处理设备，还包括：
第一分辨率转换部件，用于对要编码的部分区域的图像的分辨率进行转换；
第一选择部件，用于如果确定要编码的部分区域的图像的分辨率大于预定的阈值，那么选择由第一分辨率转换部件转换分辨率的部分区域的图像，如果确定要编码的部分区域的图像的分辨率等于或小于该阈值，那么选择没有由第一分辨率转换部件转换分辨率的要编码的部分区域的图像；
第二分辨率转换部件，用于对通过对部分区域的编码图像进行解码而获得的部分区域的解码图像的分辨率进行转换；以及
第二选择部件，用于如果分辨率确定部件确定要编码的部分区域的图像的分辨率大于预定的阈值，则选择由第二分辨率转换部件转换分辨率的部分区域的解码图像，如果确定要编码的部分区域的图像的分辨率等于或小于该阈值，则选择没有由第二分辨率转换部件转换分辨率的部分区域的解码图像，
其中，运动搜索部件使用由第一选择部件选择的部分区域的图像作为输入图像并使用由第二选择部件选择的部分区域的解码图像作为参考图像来执行运动搜索。
12.根据权利要求1所述的图像处理设备，其中，运动搜索部件使用部分区域的图像以多种预定精度执行运动搜索。
13.一种图像处理设备的图像处理方法，包括：
使分辨率确定部件确定其中每一个部分区域被编码的图像中的部分区域的图像的分辨率的大小；以及
使运动搜索部件在部分区域中使用与确定的分辨率的大小相对应的分辨率的部分区域的图像来执行运动搜索。
14.一种图像处理设备，包括：
解码部件，用于针对每一个部分区域对编码数据进行解码，该编码数据是通过针对每一个部分区域把图像的分辨率从第一分辨率转换为第二分辨率并通过对该图像进行编码而获得的；以及
运动补偿部件，用于使用通过由解码部件进行解码而获得的第二分辨率的部分区域的图像来执行运动补偿，并且生成用于由解码部件对编码数据进行解码的第二分辨率的预测图像。
15.根据权利要求14所述的图像处理设备，还包括：
第一分辨率转换部件，用于把通过由解码部件进行解码而获得的部分区域的图像的分辨率转换为第一分辨率；以及
第二分辨率转换部件，用于把通过由第一分辨率转换部件转换而获得的第一分辨率的部分区域的图像转换为第二分辨率，
其中，运动补偿部件使用通过由第二分辨率转换部件转换而获得的第二分辨率的部分区域的图像来执行运动补偿。
16.一种图像处理设备的图像处理方法，包括：
使解码部件针对每一个部分区域对编码数据进行解码，该编码数据是通过针对每一个部分区域把图像的分辨率从第一分辨率转换为第二分辨率并通过对该图像进行编码而获得的；以及
使运动补偿部件使用通过解码而获得的第二分辨率的部分区域的图像来执行运动补偿，并且生成用于对编码数据进行解码的第二分辨率的预测图像。
CN2011800232094A 2010-05-18 2011-04-25 图像处理设备和方法 Pending CN102934439A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-114577 2010-05-18
JP2010114577A JP2011244210A (ja) 2010-05-18 2010-05-18 画像処理装置および方法
PCT/JP2011/060015 WO2011145437A1 (ja) 2010-05-18 2011-04-25 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN102934439A true CN102934439A (zh) 2013-02-13

Family

ID=44991548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800232094A Pending CN102934439A (zh) 2010-05-18 2011-04-25 图像处理设备和方法

Country Status (4)

Country Link
US (1) US20130058416A1 (zh)
JP (1) JP2011244210A (zh)
CN (1) CN102934439A (zh)
WO (1) WO2011145437A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208263A (zh) * 2014-06-24 2015-12-30 佳能株式会社 图像处理装置及其控制方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5763578B2 (ja) * 2012-04-17 2015-08-12 三菱電機ビルテクノサービス株式会社 画像符号化装置、画像符号化方法及びプログラム
KR102194635B1 (ko) * 2014-01-29 2020-12-23 삼성전자주식회사 디스플레이 컨트롤러 및 이를 포함하는 디스플레이 시스템
TWI749855B (zh) * 2020-11-09 2021-12-11 瑞昱半導體股份有限公司 訊號傳輸裝置、連接裝置與轉接線
CN115691390B (zh) * 2022-11-02 2023-09-26 上海傲显科技有限公司 一种显示面板补偿方法、装置及显示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004241880A (ja) * 2003-02-04 2004-08-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
CN1557099A (zh) * 2002-07-15 2004-12-22 ������������ʽ���� 图像编码装置、图像编码方法、图像解码装置、图像解码方法和通信装置
JP2005303710A (ja) * 2004-04-13 2005-10-27 Seiko Epson Corp 動画像符号化方法、画像処理装置および画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69535800D1 (de) * 1994-06-08 2008-09-11 Matsushita Electric Ind Co Ltd Bildumsetzungsvorrichtung
CN1243635A (zh) * 1997-01-10 2000-02-02 松下电器产业株式会社 图像处理方法、图像处理装置及数据记录媒体
EP0951184A4 (en) * 1997-11-05 2006-08-30 Sony Corp METHOD FOR CONVERTING DIGITAL SIGNALS AND APPARATUS FOR CONVERTING DIGITAL SIGNALS
JPH11341496A (ja) * 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
EP1322121A3 (en) * 2001-12-19 2003-07-16 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder with improved motion detection precision
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4594201B2 (ja) * 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
JP4784322B2 (ja) * 2006-01-31 2011-10-05 ソニー株式会社 画像処理装置
KR100734314B1 (ko) * 2006-02-11 2007-07-02 삼성전자주식회사 움직임 보상 기반의 영상 압축 시스템에서의 영상 신호의공간 해상도 변환 방법
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
WO2010092740A1 (ja) * 2009-02-10 2010-08-19 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1557099A (zh) * 2002-07-15 2004-12-22 ������������ʽ���� 图像编码装置、图像编码方法、图像解码装置、图像解码方法和通信装置
JP2004241880A (ja) * 2003-02-04 2004-08-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005303710A (ja) * 2004-04-13 2005-10-27 Seiko Epson Corp 動画像符号化方法、画像処理装置および画像処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208263A (zh) * 2014-06-24 2015-12-30 佳能株式会社 图像处理装置及其控制方法
CN105208263B (zh) * 2014-06-24 2019-04-12 佳能株式会社 图像处理装置及其控制方法
US10430660B2 (en) 2014-06-24 2019-10-01 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, and storage medium

Also Published As

Publication number Publication date
US20130058416A1 (en) 2013-03-07
JP2011244210A (ja) 2011-12-01
WO2011145437A1 (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
CN102484714B (zh) 图像处理装置和方法
CN102342108B (zh) 图像处理设备和方法
CN102934430A (zh) 图像处理装置和方法
CN102318347B (zh) 图像处理设备和方法
CN102577390A (zh) 图像处理设备和方法
CN104539969A (zh) 图像处理装置和图像处理方法
CN102823254A (zh) 图像处理设备和方法
CN102668569B (zh) 图像处理设备和方法及程序
CN102160379A (zh) 图像处理装置和图像处理方法
CN103220512A (zh) 图像处理器和图像处理方法
CN103716626A (zh) 图像处理设备和方法
CN102474617A (zh) 图像处理装置和方法
CN102884790A (zh) 图像处理装置和方法
CN102812708A (zh) 图像处理设备和方法
CN102318346A (zh) 图像处理设备和方法
CN102939757A (zh) 图像处理装置和方法
CN102714718A (zh) 图像处理装置、方法和程序
CN102160380A (zh) 图像处理设备和方法
CN102714735A (zh) 图像处理设备和方法
CN102160382A (zh) 图像处理设备和图像处理方法
CN102884791A (zh) 图像处理设备和方法
CN102792693A (zh) 图像处理设备和方法
CN111314694A (zh) 图像处理装置及方法
CN102696227A (zh) 图像处理设备和方法
CN103548355A (zh) 图像处理装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130213