CN101060628A - 图像数据传输方法、图像处理装置和摄像系统 - Google Patents

图像数据传输方法、图像处理装置和摄像系统 Download PDF

Info

Publication number
CN101060628A
CN101060628A CNA2007100902602A CN200710090260A CN101060628A CN 101060628 A CN101060628 A CN 101060628A CN A2007100902602 A CNA2007100902602 A CN A2007100902602A CN 200710090260 A CN200710090260 A CN 200710090260A CN 101060628 A CN101060628 A CN 101060628A
Authority
CN
China
Prior art keywords
image
data transfer
unit
storage unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007100902602A
Other languages
English (en)
Other versions
CN101060628B (zh
Inventor
田中康晴
北村臣二
永田太一
屿津义久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101060628A publication Critical patent/CN101060628A/zh
Application granted granted Critical
Publication of CN101060628B publication Critical patent/CN101060628B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像数据传输方法，该方法可以提高图像数据的数据传输效率。该方法包括：(a)将保存在第1图像存储部的具有由第1和第2方向的座标表示各自位置的多个像素的2维图像的像素的数据，以在所述第1方向相邻的规定数目个像素的数据为单位进行打包，将所得到的数据传输单位在所述第2方向上扫描读出；(b)将所述步骤(a)中读出的数据传输单位，突发式写入临时数据存储部，该临时数据存储部用于将数据保存在由第1和第2地址组合所指定的位置，写入区域为所述第1地址连续且所述第2地址固定的区域；(c)将写入所述临时数据存储部的数据传输单位，从所述第1地址连续且所述第2地址固定的区域中突发式读出，写入第2图像存储部。

Description

图像数据传输方法、图像处理装置和摄像系统
技术领域
本发明涉及一种进行图像处理的装置，特别涉及一种用于传输图像的方法及装置。
背景技术
能够以高压缩率压缩运动图像的技术发展，被用于数码相机、数码摄像机中。作为运动图像的压缩方法，通常已知的是由国际标准化组织(ISO)规定的MPEG(Moving Picture Experts Group)。
在MPEG中，按照每个宏块，处理利用帧内相关性进行编码(Intra编码)、或利用帧间相关性进行编码(Inter编码)而得到的比特流，其中，所述宏块由图像中的水平NX×垂直NY像素构成。只进行Intra编码所构成的图像称为I图片，Intra编码及Inter编码混在一起进行编码的图像称为P图片或者B图片。
在编码时所生成的MPEG比特流、及解码时所输入的MPEG比特流中，进行逆量化、逆DCT和运动补偿等各种处理，所得到的重构图像保存(store)在临时数据存储部中。所保存的图像作为参考图像被读出。
考虑用同步动态随机存取存储器(SDRAM)作为临时数据存储部的情况。在编码/解码处理时，对该SDRAM会发生多次传输重构图像及参考图像的情况。作为高速地进行这种传输的一般方法有，扩展SDRAM的数据总线宽度来一次传输多个像素的方法。例如，如果SDRAM的数据总线宽度是像素数据宽度的4倍，则将如图11所示的水平16×垂直16像素的数据传输给SDRAM时，如图12所示对每个水平方向排列的4个像素数据进行打包并将其作为数据传输的单位，这样，就可以如图13那样传输水平4×垂直16个数据传输单位(数据包)。此时，与每次传输1个像素时相比，能够将传输时间减少到1/4。
考虑实际传输1个宏块的重构图像的亮度信号的情况。图51是保存在SDRAM中的数据的映射示例说明图。将图13的数据包P0、P1、P2、P3、......P60、......P63分别传输给如图51所示SDRAM的地址SD(ADXR，ADYR)、SD(ADXR+1，ADYR)、SD(ADXR+2，ADYR)、SD(ADXR+3，ADYR)、......SD(ADXR，ADYR+15)、......SD(ADXR+3，ADYR+15)时，按照下面的过程进行传输。
将行地址设置为ADYR后，传输数据包P0～P3；然后将行地址改变为ADYR+1后，传输数据包P4～P7；接着将行地址改变为ADYR+2后，传输数据包P8～P11；之后，采用同样方法改变行地址并传输数据包P12～P63。
另外，在日本特开2002-152756号公报中公开了一种编码装置的例子，该编码装置采用线存储器(line memory)来减少对参考图像的传输。
对图13的数据包P0～P7的传输过程，再稍微具体地说明。图52是将数据包按照图51写入时的SDRAM的时序图。假设SDRAM的突发长度(BL)为4。
首先，在时刻t0，进行行地址ADYR的设置(“act”命令)，在时刻t1，进行列地址(colume address)ADXR的设置(“write”命令)，连续写入数据包P0～P3。
接着，为了改变行地址，SDRAM在时刻t5执行“pre”命令，在时刻t6进行下一个行地址ADYR+1的设置(“act”命令)。然后，在时刻t7，进行列地址ADXR+1的设置(“write”命令)，连续写入数据包P4～P7。以后，重复进行同样的处理。
这里，如果将从当前“act”命令到下一个“act”命令之间的时间看成传输重构图像的1行所需的时间，则传输1行需要8个周期的时间。其中，进行数据传输的时间只需要4个周期，除此之外的时间需要用于地址设置处理上。也就是说，每传输4个数据时，就会用4个周期来进行地址设置，这样非常没有效率。
下面，对参考图像的读出进行描述。图53是对按照图51所保存的数据包进行读出时的SDRAM的时序图。这里示出了对具有1个宏块大小、即水平方向4×垂直方向16的数据包的参考图像进行读出的情况。在该读出处理中，传输4个数据同样也需要8个周期，其中4个周期要用在地址设置处理上。
图54是示出传输17个像素的模式图。在参考图像为水平17×垂直17像素的图像时，由于在水平方向上进行4像素打包，所以为了发送1行的17个像素需要5个数据包。例如，将从重构图像R0的数据P0中所包含的最左边的像素开始在水平方向上错开4n(n为整数)像素的位置作为读出开始位置时，如果读出5个数据包，则能够获得17个像素的全部信息(参照图54(a))。同样，将从最左边的像素开始在水平方向上错开4n+1、4n+2、4n+3像素的位置作为读出开始位置时，如果读出5个数据包，则也能够获得17个像素的全部信息(分别参照图54(b)、(c)、(d))。
图55是参考图像为水平17×垂直17像素时，对按照图51所保存的数据包进行读出时的SDRAM的时序图。由于对垂直方向不进行像素打包，所以如果读出17行(line)的数据，则可以获得垂直17像素的信息。因此，进行水平方向5个数据×垂直方向17个数据的读出即可。
这里，假设SDRAM的突发长度(BL)＝4，所以通过1次“read”命令只能读出4个数据。因此，为了在同一行地址中能够将5个数据连续地读出，在时刻t4再次执行“read”命令，之后，在时刻t5执行“pre”命令，以改变行地址。
由此可见，在传输参考图像的过程中，需要进行与行的数目相应的地址设置处理，所以也和传输重构图像时一样没有效率。该读出/写入传输周期的数目可以通过下式进行计算。
(向SDRAM的同一行地址的访问次数+SDRAM的地址设置时间)×SDRAM的行地址改变次数......(C1)
其中，SDRAM的地址设置所需要的时间是：
SDRAM的地址设置时间×SDRAM的行地址改变次数......(C2)
在这里所使用的SDRAM中，“SDRAM的地址设置时间”＝4个周期，这可以通过图52(写入时)、图53(读出时)可以知道。每个宏块中，“向SDRAM的同一行地址的访问次数”＝4，“SDRAM的行地址改变次数”＝16，所以1个宏块的重构图像的写入周期的数目为：(4+4)×16＝128个周期。由此可以知道，传输1个数据包需要2(＝128/64)个周期。
同样，再考虑4:2:0形式的色差信号的传输情况。由于亮度信号为每1个宏块水平16×垂直16像素，所以蓝色差信号及红色差信号均是每1个宏块水平8×垂直8像素。在进行了水平4像素打包时，某一色差信号的数据包个数为水平2×垂直8。当利用式(C1)计算传输周期的数目时，“向SDRAM的同一行地址的访问次数”＝2，“SDRAM的行地址改变次数”＝8，所以需要(2+4)×8＝48个周期。这样，传输两种色差信号时需要96个周期(＝48×2)。由此可知，传输1个数据包需要3(＝96/32)个周期。
上述时间与帧大小成比例地增长。高清晰度(HD)大小的图像，每帧具有2,073,600个像素，当每秒处理60帧时，应处理的总像素数为每秒124,416,000(＝2,073,600×60)像素。此外，为了实现高速传输，如果如前所述那样进行数据打包(4个像素组成一个数据包)，则对SDRAM的存取数据包数为每秒31,104,000(＝124,416,000/4)个数据包。
考虑将这样打包的数据向SDRAM传输的情况。现在，假设一个系统传输重构图像及参考图像的宏块的数目均是每宏块1个，这时应传输的数据的量非常大，总共为每秒62,208,000(＝31,104,000×2)个数据。由于亮度信号的SDRAM存取周期为“1个数据＝2个周期”，所以为了全部传输完1秒的亮度信号，需要124,416,000(＝62,208,000×2)个周期。其中的一半周期是SDRAM的地址设置时间。
同样的，下面对色差信号的传输进行计算。由于4:2:0形式的色差信号(蓝色差信号+红色差信号)具有亮度信号的一半的信息量，所以应向SDRAM传输的数据数为：每秒31,104,000(＝62,208,000/2)。由于色差信号的SDRAM存取周期为“1个数据＝3个周期”，所以为了全部传输完1秒的色差信号，需要93,312,000(＝31,104,000×3)个周期。其中的2/3的周期是SDRAM的地址设置时间。
因此，亮度信号和两种色差信号总共需要每秒217,728,000个周期。其中的124,416,000个周期是SDRAM的地址设置时间。这实际上是没有效率的传输。由此为了实现高速传输，当然需要让SDRAM高速地工作，从而造成消耗功率也增大。
图56是以场为单位保存在SDRAM的不同区域的数据的映射示例说明图。在隔行扫描(interlace)处理中，将宏块分成前场(top field)和后场(bottom field)这2个场处理，前场由图26所示的奇数行的像素(P0、P1、P2、P3、P8、P9、P10、P11、......、P59)组成，后场由图26所示的偶数行的像素(P4、P5、P6、P7、P12、P13、P14、P15、......、P63)组成。
在很多情况下，将这两个场保存在SDRAM上时，如图56所示，将前场和后场保存于不同的区域。这是因为，从SDRAM读出(参考图像的传输)时，有时会发生以场为单位的传输请求，此时，如果两个场的数据混在一起，则无法实现高效的传输。
对于图56的情况，利用式(C1)求出传输所需要的周期数。对于每个宏块，“向SDRAM的同一行地址的访问次数”＝4、“SDRAM的行地址改变次数”＝8，所以每个宏块需要(4+4)×8＝64个周期，两个场加起来需要128(＝64×2)个周期。因而，传输1个数据需要2(＝128/64)个周期，这种传输和图51所示的逐行处理一样没有效率。
发明内容
本发明的目的在于，提高进行图像处理的装置和存储图像数据的存储器等之间的图像数据的数据传输效率。
本发明中的图像传输方法，包括以下步骤：
(a)、将保存在第1图像存储部的、具有由第1及第2方向的座标表示各自位置的多个像素的2维图像的像素的数据，以在所述第1方向相邻的规定数目个像素的数据为单位进行打包，将所得到的数据传输单位在所述第2方向上扫描读出；
(b)、将所述步骤(a)中所读出的数据传输单位，突发式写入临时数据存储部，该临时数据存储部用于将数据保存在由第1和第2地址的组合所指定的位置，其中，突发式写入的区域为所述第1地址连续且所述第2地址固定的区域；
(c)、将写入所述临时数据存储部的数据传输单位，从所述第1地址连续且所述第2地址固定的区域中突发式读出，并写入第2图像存储部。
根据该方法，数据传输单位的个数在第1方向少于进行打包之前的像素的个数，而在第2方向等于进行打包之前的像素的个数。对于在第2方向上扫描读出的数据传输单位，进行突发式写入及突发式读出，所以能够提高与临时数据存储部之间的数据传输效率，实现高速的数据传输。
此外，本发明中的图像数据传输方法，是一种需要临时的存储区域的图像处理中的图像数据传输方法，被作为处理单位的图像具有第1方向DX×第2方向DY个数据传输单位时，其中DX、DY为自然数，如果DX＞＝DY，则在所述第1方向上扫描所述图像，并将每DX个所述数据传输单位突发式写入所述存储区域的连续地址；如果DX＜DY，则在所述第2方向上扫描所述图像，并将每DY个所述数据传输单位突发式写入所述存储区域的连续地址。
根据该方法，在图像中，在第1及第2方向之中，在数据传输单位个数多的方向上扫描并进行突发式写入，所以不论数据传输单位所占据的图像上的形状、图像的纵横比等如何，都能够实现高速的数据传输。
另外，本发明的图像处理装置，包括：
第1读出部，用于将保存在第1图像存储部的、具有由第1和第2方向的座标表示各自位置的多个像素的2维图像的像素的数据，以在所述第1方向相邻的规定数目个像素的数据为单位进行打包，将所得到的数据传输单位在所述第2方向上扫描读出，将所述读出的数据传输单位，突发式写入临时数据存储部，该临时数据存储部用于将数据保存在由第1和第2地址的组合所指定的位置，其中，突发式写入的区域为所述第1地址连续且所述第2地址固定的区域；
第1写入部，用于将写入所述临时数据存储部的数据传输单位，从所述第1地址连续且所述第2地址固定的区域中突发式读出，并写入第2图像存储部。
另外，本发明的摄像系统，包括：
模拟/数字转换器，用于将模拟信号转换为数字信号；
图像处理装置，用于对所述数字信号进行图像处理；
其中，所述图像处理装置，包括：
读出部，用于将所述图像处理后保存在第1图像存储部的、具有由第1和第2方向的座标表示各自位置的多个像素的2维图像的像素的数据，以在所述第1方向相邻的规定数目个像素的数据为单位进行打包，将所得到的数据传输单位在所述第2方向上扫描读出，将所述读出的数据传输单位突发式写入临时数据存储部，该临时数据存储部用于将数据保存在由第1和第2地址的组合所指定的位置，突发式写入的区域为所述第1地址连续且所述第2地址固定的区域；
写入部，用于将写入所述临时数据存储部的数据传输单位，从所述第1地址连续且所述第2地址固定的区域中突发式读出，并写入第2图像存储部。
综上所述，通过本发明，能够在图像存储部和临时数据存储部之间，实现高速的数据传输，所以对于使用SDRAM等可突发式传输的存储器作为临时数据存储部的图像处理，能够实现高速的图像处理。
附图说明
图1是本发明的第1实施方式中的图像处理装置的结构框图；
图2是关于运动估计的说明图；
图3是生成P图片及B图片时的图片的参考说明图；
图4是作为编码处理对象的图像示例说明图；
图5是图1的重构图像存储部中的重构图像说明图；
图6是亮度信号及色差信号(4:4:4形式)的示例说明图；
图7是亮度信号及色差信号(4:2:2形式)的示例说明图；
图8是亮度信号及色差信号(4:2:0形式)的示例说明图；
图9是用于运动估计的参考区域的示例说明图；
图10是用于1/2像素精度下的搜索的参考区域说明图；
图11是保存在图1的重构图像存储部中的重构图像的1宏块的像素数据(亮度信号)的说明图；
图12是用数据包示出图11的像素数据的说明图；
图13是对应于图像上的位置表示1宏块的亮度信号的数据包的说明图；
图14是示出图1的帧垂直扫描读出部对图13的数据进行传输的顺序说明图；
图15是保存在图1的临时数据存储部中的数据的映射示例说明图；
图16是如图14、图15所示进行数据写入时的图1中的临时数据存储部的时序图；
图17是示出在图1的临时数据存储部中各宏块的保存位置说明图；
图18是以数据包为单位表示图5的一部分的说明图；
图19是示出多个宏块保存在图1的临时数据存储部中的数据包的映射说明图；
图20是亮度信号及各色差信号的各宏块保存在图1的临时数据存储部中的位置说明图；
图21是示出按水平4像素打包的水平64×垂直64像素的重构图像和临时数据存储部上的映射图像的说明图；
图22是作为参考图像读出的区域示例说明图；
图23是图1的临时数据存储部在读出图22的参考图像时的时序图；
图24是示出图1的参考图像存储部中的数据包的说明图；
图25是示出本发明第2实施方式中的图像处理装置的结构框图；
图26是将图13的像素数据分为两个场的说明图；
图27是示出图25的场垂直扫描读出部对图26的数据进行传输的顺序的说明图；
图28是保存在图25的临时数据存储器中的数据的映射示例说明图；
图29是亮度信号及色差信号的各宏块保存在图25的临时数据存储部中的位置说明图；
图30是保存在图25的临时数据存储器中的数据的另一映射示例说明图；
图31是对应于画面上的位置示出帧结构图像中的1宏块的蓝色差信号及红色差信号(4:2:0形式)的数据包的说明图；
图32是图1的临时数据存储部中的色差信号的映射示例说明图；
图33是图1的临时数据存储部中的色差信号的另一映射示例说明图；
图34是对应于画面上的位置示出场结构图像中的1宏块的蓝色差信号及红色差信号(4:2:0形式)的数据包的说明图；
图35是图25的临时数据存储部中的色差信号的映射示例说明图；
图36是图25的临时数据存储部中的色差信号的另一映射示例说明图；
图37是图1的临时数据存储部中的亮度信号及色差信号的映射示例说明图；
图38是图25的临时数据存储部2中的亮度信号及色差信号的映射示例说明图；
图39是本发明的第4实施方式中的图像处理装置的结构框图；
图40是示出图39的图像处理装置和可高速工作的临时数据存储部的框图；
图41是图39的图像处理装置的一个变形例的结构框图；
图42是图39的图像处理装置的另一个变形例的结构框图；
图43是多编解码器处理的示例时序图；
图44是示出图39的图像处理装置的又一变形例的结构框图；
图45是示出在本发明的第5实施方式中保存在临时数据存储部中的重构图像的说明图；
图46是本发明的第6实施方式中的图像处理装置的结构框图；
图47是示出进行调停时的数据传输的一个例子的时序图；
图48是示出进行调停时图46的图像处理装置进行数据传输的一个例子的时序图；
图49中，(a)是表示数据包和合成数据包的最前头位置一致时的两者关系说明图；(b)是表示数据包和合成数据包的最前头位置不一致时的两者关系说明图；
图50是本发明的第7实施方式中的摄像系统的结构框图；
图51是保存在SDRAM中的数据的映射示例说明图；
图52是如图51所示对数据包进行写入时的SDRAM的时序图；
图53是读出按照图51保存的数据包时的SDRAM的时序图；
图54是示出传输17像素的模式图；
图55是在参考图像为水平17×垂直17像素的情况下，读出按照图51保存的数据包时的SDRAM的时序图；
图56是每个场保存在SDRAM的不同区域中的数据的映射示例说明图。
符号说明
4  帧/场转换部
5  场/帧转换部
8  存储器调停部
23、24  选择器
30  重构图像生成部
32  帧垂直扫描读出部
33  场垂直扫描读出部
34  重构图像存储部(storage)(第1图像存储部)
40  运动估计/补偿部
42  帧垂直扫描写入部
43  场垂直扫描写入部
44  参考图像存储部(第2图像存储部)
100、200、300、300B、300C、400、500  图像处理装置
700  摄像系统
712  光学系统
714  传感器
716  模拟/数字转换器
具体实施方式
下面参照附图说明本发明的实施方式。其中，相同的构成要素附上相同的参考编号。
(第1实施方式)
图1是本发明的第1实施方式中的图像处理装置的结构框图。该图像处理装置用于提高帧结构的图像的传输效率。
图1所示的图像处理装置100包括：减法器12、离散余弦变换(DCT，discretecosine transform)处理部14、量化处理部16、可变长编码解码部18、开关21、22、逆量化处理部26、逆DCT处理部28、重构图像生成部30、运动估计/补偿部40、宏块(MB)类型控制部52和比率控制部54。其中，重构图像生成部30具有：帧垂直扫描读出部32和作为第1图像存储部的重构图像存储部34。运动估计/补偿部40具有：帧垂直扫描写入部42和作为第2图像存储部的参考图像存储部44。
帧垂直扫描读出部32从重构图像存储部34中读出数据，并将该数据写入临时数据存储部2。帧垂直扫描写入部42从临时数据存储部2中读出数据，并将该数据写入参考图像存储部44。这里，作为例子，假设临时数据存储部2为SDRAM。下面，假设该SDRAM的突发长度(BL)为4。重构图像存储部34及参考图像存储部44为，例如静态随机存取存储器(SRAM)或触发器。
-编码时-
下面对编码时的图像处理装置100的工作进行描述。用于表示编码对象图像的图片编码类型(I图片、P图片、或B图片)的图片编码类型信号TY输入到开关21及MB类型控制部52。
当图片编码类型信号TY表示图片编码类型为I图片时，开关21成为断开状态(非导通状态)；当图片编码类型信号TY表示图片编码类型为P图片或B图片时，开关21成为接通状态(导通状态)。
MB类型控制部52根据图片编码类型信号TY及运动估计/补偿部40输出的信号，对开关22进行控制。具体而言，当图片编码类型信号TY表示图片编码类型为I图片时，MB类型控制部52将开关22断开。此外，当图片编码类型信号TY表示图片编码类型为P图片或B图片时，MB类型控制部52根据运动估计/补偿部40输出的运动估计结果，将宏块的编码类型确定为Intra编码或者Inter编码。
当编码类型为Intra编码时，开关22成为断开状态，当编码类型为Inter编码时，开关22成为接通状态。MB类型控制部52将宏块的编码类型也输出给可变长编码解码部18。比率控制部54监视可变长编码解码部18产生的编码量，并根据它来确定量化参数，并将该量化参数输出给量化处理部16。
下面对I图片的生成进行描述。当图片编码类型信号TY表示的图片编码类型为I图片时，开关21、22成为断开状态。编码对象图像IM以宏块为单位输入到减法器12中。由于开关22为断开状态，所以减法器12将编码对象图像IM原封不动地输出给DCT处理部14。
DCT处理部14对减法器12输出的数据进行DCT处理，并将其结果输出给量化处理部16。量化处理部16对DCT处理后的数据进行量化处理，并将其结果输出给可变长编码解码部18和逆量化处理部26。可变长编码解码部18对量化处理后的数据进行可变长编码处理，并将所得到的代码CD输出到外部。
逆量化处理部26对从量化处理部16接收到的量化处理后的数据进行逆量化处理，并将其结果输出给逆DCT处理部28。逆DCT处理部28对逆量化处理后的数据进行逆DCT处理，并将其结果输出给重构图像生成部30。
由于开关22为断开状态，所以运动估计/补偿部40的输出不会提供到重构图像生成部30。因此，重构图像生成部30将逆DCT处理部28发送的数据原封不动地写入重构图像存储部34。之后，帧垂直扫描读出部32读出重构图像存储部34的数据，将其保存于临时数据存储部2。保存于重构图像存储部34并发送给临时数据存储部2的图像数据被称为重构图像，用作对P图片或B图片进行编码时的参考图像。
下面对P图片的生成进行描述。当图片编码类型信号TY表示的图片编码类型为P图片时，开关21成为接通状态。编码对象图像IM以宏块为单位输入至减法器12和运动估计/补偿部40。
图2是关于运动估计的说明图。帧垂直扫描写入部42从临时数据存储部2中读出与所输入的编码对象图像IM(对象块)相同位置的图像及其周围的图像，并将其保存到参考图像存储部44。该读出的像素区域称为参考区域。编码对象图像IM具有水平NX×垂直NY像素(NX、NY为自然数)，参考区域(水平MX×垂直MY像素)大于编码对象图像IM(MX、MY为满足MX＞NX、MY＞NY的整数)。运动估计/补偿部40利用编码对象图像IM和参考区域上的参考块(水平NX×垂直NY像素)进行运动估计。
块匹配法为一种通常使用的运动估计方法。该方法是：对对象块和参考区域的参考块进行比较，求出与对象块最匹配的参考块的位置，并将该参考块的位置与对象块的位置之间的坐标差作为运动矢量检测。
对象块与参考块之间的块匹配通过求出评价函数为最小值的参考块来进行，该评价函数为构成块的像素所具有的像素值的差值的绝对值和，即：
(评价函数)＝∑|Ref(Mx+x，My+y)-Org(x，y)|......(1)
其中，Ref(Mx+x，My+y)表示参考图像内的位置(Mx+x，My+y)的像素值，该参考图像对于对象块位于相对位置(Mx，My)，Org(x，y)表示对象块内的位置(x，y)上的像素值。
运动估计/补偿部40求出评价函数的最小值，并将其结果输出给MB类型控制部52。MB类型控制部52根据该评价函数的最小值，将宏块的编码类型确定为Intra编码或Inter编码中的一个，并将其结果输出给可变长编码解码部18及开关22。可变长编码解码部18生成表示宏块的编码类型的代码并将其输出。
当编码类型确定为Intra编码时，开关22成为断开状态，之后的编码处理与I图片生成时一样。当编码类型确定为Inter编码时，运动估计/补偿部40进行运动补偿图像的生成。该运动补偿图像是指进行上述运动估计处理后评价函数为最小值的参考块。在Inter编码的情况下，开关22成为接通状态，运动估计/补偿部40将生成的运动补偿图像通过开关22输出给减法器12。减法器12从外部输入的编码对象图像IM中减去所生成的运动补偿图像，并将其结果输出给DCT处理部14。
当开关22为接通状态(Inter编码时)时，重构图像生成部30将经过DCT处理部14、量化处理部16、逆量化处理部26和逆DCT处理部28处理的图像和运动估计/补偿部40输出的运动补偿图像相加，并其结果写入重构图像存储部34。另外，当开关22为断开状态(Intra编码时)时，重构图像生成部30将逆DCT处理部28输出的图像原封不动地写入重构图像存储部34。
之后，帧垂直扫描读出部32读出重构图像存储部34中的数据，并将所读出的重构图像写入临时数据存储部2。在其它方面，和I图片的生成的情况基本相同。
下面对B图片的生成进行描述。图3是对生成P图片及B图片时的图片参考的说明图。生成P图片时，将按时间顺序在前的I图片或P图片用作参考区域(前向参考区域)；而生成B图片时，不仅将按时间顺序在前的I图片或P图片用作参考区域(前向参考区域)，而且还将按时间顺序在后的I图片或P图片也用作参考区域(后向参考区域)。因此，作为B图片的后向参考区域所使用的I图片或P图片需要比该B图片先进行编码处理(参考图3)。所以，图1的运动估计/补偿部40不仅需要从临时数据存储部2中读出前向参考区域，还需要读出后向参考区域。
另外，因为B图片生成时所生成的重构图像不被用作其他图片的参考图像，所以在生成B图片时，不进行经过逆量化处理部26、逆DCT处理部28和重构图像生成部30的重构图像的生成处理。在其它方面，和P图片生成的情况基本相同。
-解码时-
解码时，可变长编码解码部18对所输入的代码CD进行解码。此时，得到图片编码类型(I图片、P图片、B图片)和宏块类型(Intra/Inter编码)，并将其发送给MB类型控制部52。
MB类型控制部52根据可变长编码解码部18发来的帧类型和宏块类型，对开关22进行控制。具体而言，当帧类型为I图片时，或者当帧类型为P图片或B图片且宏块类型为Intra编码时，将开关22断开。当帧类型为P图片或B图片且宏块类型为Inter编码时，将开关22接通。
在进行I图片的解码时，重构图像生成部30将经过可变长编码解码部18、逆量化处理部26和逆DCT处理部28处理后的数据写入重构图像存储部34。重构图像生成部30将保存在重构图像存储部34中的数据作为再生图像RP输出到外部。并且，帧垂直扫描读出部32读出重构图像存储部34的数据，由临时数据存储器2保存该数据。临时数据存储部2的数据用作解码P图片或B图片时的参考图像。
下面对P图片的解码进行描述。可变长编码解码部18将通过对代码CD进行解码所得到的运动矢量信息输出给运动估计/补偿部40。运动估计/补偿部40从临时数据存储部2读出参考图像，根据运动矢量信息对该参考图像进行运动补偿，并将其结果输出给开关22。
当开关22为接通状态(Inter编码时)时，重构图像生成部30将经过可变长编码解码部18、逆量化处理部26和逆DCT处理部28处理后的图像，和运动估计/补偿部40输出的运动补偿图像相加，并将其结果写入重构图像存储部34。另外，当开关22为断开状态(Intra编码时)时，重构图像生成部30将逆DCT处理部28输出的图像原封不动地写入重构图像存储部34。
和I图片的情况一样，重构图像生成部30将保存在重构图像存储部34中的数据作为再生图像RP输出到外部。另外，帧垂直扫描读出部32读出重构图像存储部34的数据，由临时数据存储器2保存该数据。临时数据存储部2的数据用作解码P图片或B图片时的参考图像。
在进行B图片的解码时，不仅将按时间顺序在前的I图片或P图片用作参考区域，而且还将按时间顺序在后的I图片或P图片也用作参考区域，在此不进行重构图像的生成处理。在其它方面，和P图片的解码情况基本相同。
-重构图像的传输-
图4是作为编码处理对象的图像的示例说明图。图4的图像具有用水平方向和垂直方向的座标表示各自位置的水平64×垂直64个像素。若将宏块的大小设为水平16×垂直16像素，则图4的图像就具有16个(水平4×垂直4)宏块M0、M1、......、M15。编码处理是按照宏块M0、M1、......、M15的顺序，以宏块为单位进行。对应于宏块M0～M15，分别生成重构图像R0、R1、......、R15。重构图像按照R0、R1、......、R15的顺序生成，并保存在重构图像存储部34。
图5是示出图1的重构图像存储部34中的重构图像的说明图。为了在重构图像存储部34上再现水平64×垂直64像素的整个帧的图像，重构图像R0～R15在不破坏帧内的像素之间的关系的情况下，保存到重构图像存储部34。这是因为传输参考图像时，有时需要对跨过宏块的参考图像进行传输，此时可以容易地取出参考图像。
图6是亮度信号和色差信号(4:4:4形式)的示例说明图。重构图像有3个信号：亮度信号(Y)和两种色差信号(即蓝色差信号(Cb)和红色差信号(Cr))。在4:4:4形式时，如图6所示，3个信号都具有相同信息量。
图7是亮度信号和色差信号(4:2:2形式)的示例说明图。因为人的眼睛对亮度敏感，而对颜色并不那么敏感，所以存在使色差信号的信息量少于亮度信号的情况。例如，在国家电视系统委员会(NTSC)标准中，每1帧，亮度信号为水平720×垂直480像素，而蓝色差信号和红色差信号在水平方向上被二次抽样(缩减)后，只有水平360×垂直480像素(图7)。蓝色差信号和红色差信号的像素数均为亮度信号的一半。
图8是亮度信号和色差信号(4:2:0形式)的示例说明图。在4:2:0形式时，相对于亮度信号为水平720×垂直480像素，蓝色差信号和红色差信号在水平和垂直两个方向上被二次抽样后，只有水平360×垂直240像素。此时，蓝色差信号和红色差信号的像素数均为亮度信号的1/4。在图6～图8的任一情况下，重构图像的亮度信号、蓝色差信号和红色差信号分别保存在临时数据存储部2中的不同区域中。
图9是用于运动估计的参考区域的示例说明图。将运动估计范围在水平方向和垂直方向都设为±16像素的情况下，图9示出用于图4的宏块M5的运动估计的亮度信号的参考区域。此时，运动估计/补偿部40读出水平3×垂直3宏块、即水平48×垂直48像素的数据，并进行运动估计。
在运动估计/补偿部40进行“运动估计和运动补偿”时和只进行“运动补偿”时，从临时数据存储部2读出的参考区域的范围不同。当然，执行运动估计时，需要读出较大范围的参考图像。运动估计只在编码时进行，在解码时不进行。此外，一般来说，运动估计所使用的数据只是亮度信号，而不使用色差信号。
图10是示出用于1/2像素精度下的搜索的参考区域的说明图。在进行运动估计时，除了进行整数像素精度下的搜索的情况外，还存在进行1/2像素精度下的搜索的情况。
在水平方向上搜索移位1/2像素的点时，运动估计/补偿部40插入水平方向相邻的2个像素(参照图10的右下方)，生成1/2像素精度的像素，并利用该1/2像素精度的像素进行运动估计。因此，需要水平17×垂直16像素的整数像素。同样，在垂直方向上搜索移位1/2像素的点时，需要水平16×垂直17像素的整数像素。在水平和垂直方向上搜索移位1/2像素的点时，运动估计/补偿部40利用水平2×垂直2的4个像素进行插入(参照图10的右下方)，并生成1/2像素精度的像素。因此，需要水平17×垂直17像素的整数像素。
下面对运动补偿进行说明。当通过整数像素精度下的搜索或1/2像素精度下的搜索确定评价函数最小点时，运动估计/补偿部40对该点实施运动补偿(水平16×垂直16像素的参考图像的生成)。如果评价函数最小点为1/2像素精度的点，则当然利用水平或垂直17个像素进行补偿。
对于编码时的亮度信号，运动估计/补偿部40可以使用在运动估计时从临时数据存储部2读出的参考图像来实施运动补偿。对于编码时的色差信号以及解码时的亮度信号和色差信号，运动估计/补偿部40重新从临时数据存储部2中读出像素，并进行运动补偿。
图11是示出保存在图1的重构图像存储部34中的重构图像的1宏块的像素数据(亮度信号)的说明图。1个宏块由16×16像素构成。假设构成临时数据存储部2的SDRAM的数据总线宽度为像素数据的宽度(例如8比特)的4倍。假设帧垂直扫描读出部32对图11的像素，对每水平方向相邻的4像素的数据进行打包，并将4像素的像素数据作为1个数据传输单位(下面称为数据包)，以每个数据包为单位传输给临时数据存储部2。
图12是用数据包表示图11的像素数据的说明图。如果使用数据包，则进行4×16次传输即可，所以与按每像素进行数据传输的情况相比，能够缩短传输图像数据所需的时间。下面举个例子，假设像素数据的宽度为1字节，SDRAM的数据总线宽度为4字节。
图13是将1个宏块的亮度信号的数据包对应于图像上位置的说明图。数据包P0对应于图12的像素D0、D1、D2、D3，同样，数据包P1、P2、......、P63分别对应于像素D4～D7、像素D8～D11、......像素D252～D255。
图14是表示图1的帧垂直扫描读出部32对图13的数据进行传输的顺序的说明图。帧垂直扫描读出部32首先从重构图像存储部34将图14的最左列的数据按照数据包P0、P4、P8、......、P60的顺序传输给临时数据存储部2，然后，从重构图像存储部34将图14的左边起第2列的数据按照数据包P1、P5、P9、......、P61的顺序传输给临时数据存储部2。
接着，帧垂直扫描读出部32从重构图像存储部34将图14的左边起第3列的数据按照数据包P2、P6、P10、......、P62的顺序传输给临时数据存储部2，然后，从重构图像存储部34将图14的最右列的数据按照数据包P3、P7、P11、......、P63的顺序传输给临时数据存储部2。如上所述，进行垂直方向扫描，1宏块的传输结束。
图15是保存在图1的临时数据存储部2中的数据的映射示例说明图。下面，使用列地址ADX和行地址ADY，用地址SD(ADX，ADY)表示临时数据存储部2所具有的SDRAM中的数据保存位置。帧垂直扫描读出部32将图14的1列的数据包，突发式写入至临时数据存储部2中的列地址ADX连续、行地址ADY固定的区域中。
具体而言，帧垂直扫描读出部32在不改变行地址的情况下，将图14的左边第1列数据包P0、P4、P8、......、P60突发式写入到临时数据存储部2的地址SD(ADXR，ADYR)、SD(ADXR+1，ADYR)、SD(ADXR+2，ADYR)、......SD(ADXR+15，ADYR)中。之后，帧垂直扫描读出部32将行地址从ADYR改变成ADYR+1，然后在不改变行地址的情况下，将图14的左边起第2列数据包P1、P5、P9、......、P61突发式写入到地址SD(ADXR，ADYR+1)、SD(ADXR+1，ADYR+1)、SD(ADXR+2，ADYR+1)、......SD(ADXR+15，ADYR+1)中。
同样的，帧垂直扫描读出部32将行地址改变成ADYR+2后，将图14的左边起第3列的数据写入到同一行，然后将行地址改变成ADYR+3后，将图14的右边列的数据写入到同一行。通过以上方法，传输1个宏块时，可以将行地址改变次数从16次减少到4次。
将如上所述的按照图15保存数据包的方式称为帧映射保存模式。
图16是图1的临时数据存储部2按照图14和图15进行数据写入时的时序图。首先，帧垂直扫描读出部32对临时数据存储部2在时刻t0进行行地址ADYR的设置(“act”命令)，在时刻t1设置列地址ADXR，并开始进行数据包的写入(“write”命令)。在时刻t1～t4期间连续地写入数据包P0、P4、P8、P12。
之后，帧垂直扫描读出部32对临时数据存储部2在t5设置列地址ADXR+4，并开始进行数据包的写入(“write”命令)。于是，数据包P16、P20、P24、P28被连续地写入。同样，图14的左边列的剩余数据包P32、P36、......，P60也对应每个“write”命令以4个数据包为单位被写入。
接着，帧垂直扫描读出部32为了改变临时数据存储部2的行地址，在时刻t8执行“pre”命令，在时刻t9进行下一个行地址ADYR+1的设置(“act”命令)。然后，在时刻t10设置列地址ADXR，并开始进行数据包的写入(“write”命令)。于是，数据包P1、P5、P9、P13被连续地写入。同样，图14的左边起第2列的剩余数据包P17、P21、......，P61也对应每个“write”命令以4个数据包为单位被写入。
现在，将从当前“act”命令到下一个“act”命令之间的时间假设为传输重构图像的1列数据所需要的时间，则传输1列需要20个周期的时间。其中，数据传输处理的进行需要16个周期，除此之外的时间是地址设置处理所需要的。因而，每1像素的传输周期数为1.25个周期，可以看出，与图52所示的重构图像传输(每1像素需要2个周期)相比，传输速度提高了。
如上所述，在本实施方式中，以垂直方向扫描重构图像后读出，临时数据存储部2按照行地址固定的方向扫描，对所读出的数据进行写入。即，图15等中的临时数据存储部2(SDRAM)上的横方向(行地址固定的方向)对应于重构图像的垂直方向，纵方向(列地址固定的方向)对应于重构图像的水平方向。
-宏块间的位置关系-
图17是示出在图1的临时数据存储部2中保存各宏块的位置说明图。图17中，横方向(左右方向)的座标对应于列地址，纵方向(上下方向)的座标对应于行地址。临时数据存储部2按照图17保存图5所示的重构图像R0～R15(分别对应宏块M0～M15)。
例如，宏块M6是宏块M5其次处理的宏块。在原图像的帧上，宏块M6位于宏块M5的右侧(图4、图5)。临时数据存储部2在保存这些宏块的重构图像时，将重构图像R6保存在重构图像R5的下侧(即，列地址和重构图像R5一样，行地址比重构图像R5增加4)。
图18是以数据包为单位示出图5一部分的说明图。图19是示出多个宏块保存在图1的临时数据存储部2中的数据包的映射说明图。
图18中，着重说明分别位于宏块M5的数据P3的上边和右边的宏块M1的数据P63和宏块M6的数据P0，分别位于宏块M5的数据P63的下边和右边的宏块M9的数据P3和宏块M6的数据P60进行描述。
在临时数据存储部2中，与重构图像存储部34中相比互换水平轴和垂直轴来进行映射，所以宏块M1的数据P63和宏块M6的数据P0在图19中分别位于宏块M5的数据P3的左边和下边，宏块M9的数据P3和宏块M6的数据P60在图19中分别位于宏块M5的数据P63的右边和下边。
如上所述，即使在水平轴和垂直轴互换后的临时数据存储部2上，像素数据之间的位置关系也不会破坏，所以可以容易地只提取出重构图像的必要部分作为参考图像进行传输。
图20是示出对于亮度信号和各色差信号，图1的临时数据存储部2中保存各宏块的位置说明图。如图20所示，临时数据存储部2将重构图像R0～R15的亮度信号、蓝色差信号和红色差信号分别保存于不同的区域。
图21是示出按水平4像素所打包的水平64×垂直64像素的重构图像和临时数据存储部2上的映射图像的说明图。在重构图像中是横(水平)方向4×纵(垂直)方向16数据，而在临时数据存储部2中是横方向(同一行地址)16×纵方向(同一列地址)4数据。
-参考图像的传输-
下面对参考图像的传输(从临时存储部2读出)进行说明。图22是作为参考图像所读出的区域的示例说明图。这里，假设读出1宏块的参考图像的情况。该区域的数据被保存在由横方向16×纵方向4个地址所指定的区域中。
图23是图1的临时数据存储部2在读出图22的参考图像时的时序图。针对图22的参考图像的各行，帧垂直扫描写入部42从列地址ADX连续且行地址固定的区域中突发式读出写入在临时数据存储部2中的数据包，并将其写入参考图像存储部44。
具体而言，帧垂直扫描写入部42在时刻t0让临时数据存储部2执行“act”命令从而进行行地址ADYS的设置，在时刻t1让临时数据存储部2执行“read”命令从而进行列地址ADXS的设置。临时数据存储部2在规定的周期后(时刻t2)，对地址SD(ADXS，ADYS)～SD(ADXS+3，ADYS)的4个地址的数据包Q0、Q1、Q2、Q3进行突发式读出后输出。
之后，帧垂直扫描写入部42让临时数据存储部2在时刻t3、t4、t5执行“read”命令，从而分别设置列地址ADXS+4、ADXS+8和ADXS+12，临时数据存储部2每次对4个地址的数据包Q4～Q7、Q8～Q11、Q12～Q15进行输出。
这样，临时数据存储部2在同一行地址中读出数据包Q0～Q15。参考图像存储部44保存所读出的数据包Q0～Q15。执行“read”命令后，在输出数据之前需要规定数目的周期，考虑到这个情况需要事先执行“act”命令。
帧垂直扫描写入部42检测到数据包Q0～Q15全被读出后，为了改变行地址，让临时数据存储部2执行“pre”命令(时刻t6)和“act”命令(时刻t7)，从而设置行地址ADYS+1，之后，按同样的方式进行该行的数据包Q16～Q31的读出处理。
同样的，帧垂直扫描写入部42将行地址改变成ADYS+2后，从同一行中读出参考图像的第3行数据，将行地址改变成ADYS+3后，将参考图像的第4行数据写入到同一行中。参考图像存储部44保存所读出的各行数据包。通过这样方式，在传输1宏块时，可以使改变行地址的次数为4次。
图24是示出图1的参考图像存储部44中的数据包的说明图。帧垂直扫描写入部42从临时数据存储部2中读出数据包，并将其按照图24写入参考图像存储部44。即，将临时数据存储部2中保存在同一行的数据包写入到参考图像存储部44的同一列，从而水平轴和垂直轴被互换，能够恢复原来的图像。
下面考虑将1宏块作为参考图像进行传输的情况。如果参照前面给出的式(C1)进行计算，则“向SDRAM的同一行地址的访问次数＝16、“SDRAM的地址设置时间”＝4、“SDRAM的行地址改变次数”＝4，所以传输1宏块需要(16+4)×4＝80个周期，每个数据包的传输周期数为1.25(＝80/64)个周期。由此可知，和现有(每个数据包2个周期)相比，在参考图像的传输过程中，传输效率也提高了。
另外，再考虑将水平17×垂直17像素作为参考图像进行传输的情况。在不采用本实施方式的传输方法时，向同一行地址的访问次数为5，行地址改变次数为17，需要(5+4)×17＝153个周期。而按照图23一样方式传输时，向同一行地址的访问次数为17，行地址改变次数为5，所以用(17+4)×5＝105个周期完成传输。此时，每个数据包的传输周期数为大约1.23个周期。
对于色差信号，也进行和亮度信号一样的传输处理。对于色差信号，参照式(C1)计算跟临时数据存储部2有关的传输的传输周期数。再有，向临时数据存储部2写入时和从临时数据存储部2读出时都需要相同的传输周期数。
4:2:0形式的情况下，各种色差信号(蓝色差信号或红色差信号)在每宏块中具有水平8×垂直8像素，所以如果对水平方向上排列的4像素进行打包，则得到水平2×垂直8个数据包。对于每1个宏块，“向SDRAM的同一行地址的访问次数”＝8、“SDRAM的行地址改变次数”＝2，所以传输时需要(8+4)×2＝24个周期。另外，传输两种色差信号时需要48个周期。因此，每个数据包的传输周期数是1.5(＝48/(2×8×2))个周期。
在不使用本实施方式的传输方法时，对于每1个宏块，“向SDRAM的同一行地址的访问次数”＝2、“SDRAM的行地址改变次数”＝8，所以传输时需要(2+4)×8＝48个周期。即，每个数据包需要3个周期。从而可知，通过本实施方式，传输效率提高了。
4:2:2形式的情况下，各种色差信号(蓝色差信号或红色差信号)在每宏块中具有水平8×垂直16像素，所以如果对水平方向上排列的4像素进行打包，则得到水平2×垂直16个数据包。对于每1个宏块，“向SDRAM的同一行地址的访问次数”＝16、“SDRAM的行地址改变次数”＝2，所以传输时需要(16+4)×2＝40个周期。另外，传输两种色差信号时需要80个周期。因此，每个数据包的传输周期数是1.25(＝80/(2×16×2))个周期。
在不使用本实施方式的传输方法时，对于每1个宏块，“向SDRAM的同一行地址的访问次数”＝2、“SDRAM的行地址改变次数”＝16，所以传输时需要(2+4)×16＝96个周期。即，每个数据包需要3个周期。由此可知，通过本实施方式，传输效率提高了。
色差信号为4:4:4形式时，可以和亮度信号一样的方式进行计算，所以省略说明。
以上对宏块具有水平方向4×垂直方向16个数据包的情况进行了说明，但宏块所具有的数据包的个数并不局限于此。例如，宏块具有水平方向DX×垂直方向DY个(DX、DY为自然数)数据包时，如果DX＞＝DY，则可以在水平方向上对宏块进行扫描，并每次DX个数据包地将数据包突发式写入临时数据存储部2的连续地址中，如果DX＜DY，则可以在垂直方向上对宏块进行扫描，并每次DY个数据包地将数据包突发式写入临时数据存储部2的连续地址中。
按照上述方法，根据数据包的排列方式来切换扫描方向，所以不论数据包所占的图像形状或图像的纵横比等如何，都可以实现高速的数据传输。
(第2实施方式)
图25是本发明的第2实施方式中的图像处理装置的结构框图。该图像处理装置用于提高场结构图像的传输效率。
图25的图像处理装置200，在图1的图像处理装置100的基础上，代替图1的图像处理装置100中的重构图像生成部30和运动估计/补偿部40，包括重构图像生成部230和运动估计/补偿部240。重构图像生成部230具有场垂直扫描读出部33和重构图像存储部34。运动估计/补偿部240具有场垂直扫描写入部43和参考图像存储部44。
图26是示出以场为单位划分图13的像素数据的说明图。图27是示出图25的场垂直扫描读出部33对图26的数据进行传输的顺序的说明图。场垂直扫描读出部33将属于图13的图像中奇数行(前(TOP)场)的数据包和属于偶数行(后(BOTTOM)场)的数据包独立地读出，并将其写入临时数据存储部2。
具体而言，场垂直扫描读出部33，首先从重构图像存储部34中将图27的前场图像中最左边列的数据按照数据包P0、P8、P16、......、P56的顺序传输给临时数据存储部2，然后从重构图像存储部34中将图27的前场图像中左边起第2列数据按照数据包P1、P9、P17、......、P57的顺序传输给临时数据存储部2。
接着，场垂直扫描读出部33从重构图像存储部34中，将图27的前场图像中左边起第3列数据按照数据包P2、P10、P18、......、P58的顺序传输给临时数据存储部2。然后，场垂直扫描读出部33从重构图像存储部34中，将图27的前场图像中最右边列的数据按照数据包P3、P11、P19、......、P59的顺序传输给临时数据存储部2。由此，1宏块的前场的传输结束。
之后，场垂直扫描读出部33从重构图像存储部34中，将图27的后场图像中最左边列的数据按照数据包P4、P12、P20、......、P60的顺序传输给临时数据存储部2。其后按照同样的方式，场垂直扫描读出部33从重构图像存储部34中，将图27的后场图像按照数据包P5、P13、P21、......、P61，P6、P14、P22、......、P62，P7、P15、P23、......、P63的顺序传输给临时数据存储部2。由此，1宏块的后场的传输结束，1宏块的传输完成。
图28是保存在图25的临时数据存储部2中的数据的映射示例说明图。场垂直扫描读出部33将属于前场的数据包和属于后场的数据包突发式写入到临时数据存储部2的不同区域中。
具体而言，场垂直扫描读出部33在不改变行地址的情况下，将图27的前场的左边列的数据包P0、P8、P16、......、P56突发式写入到临时数据存储部2的地址SD(ADXR，ADYT)、SD(ADXR+1，ADYT)、SD(ADXR+2，ADYT)、......、SD(ADXR+7，ADYT)的各自地址中。之后，场垂直扫描读出部33将行地址从ADYT改变成ADYT+1后，在不改变行地址的情况下，将前场的左边起第2列数据包P1、P9、P17、......、P57突发式写入到地址SD(ADXR，ADYT+1)、SD(ADXR+1，ADYT+1)、SD(ADXR+2，ADYT+1)、......、SD(ADXR+7，ADYT+1)的各自地址中。
按照同样的方式，场垂直扫描读出部33将行地址改变成ADYT+2后，将前场的左边起第3列数据写入同一行中，将行地址改变成ADYT+3后，将前场的右边列的数据写入同一行中。
接着，场垂直扫描读出部33在不改变行地址的情况下，将图27的后场的左边列的数据包P4、P12、P20、......、P60突发式写入到临时数据存储部2的地址SD(ADXR，ADYB)、SD(ADXR+1，ADYB)、SD(ADXR+2，ADYB)、......、SD(ADXR+7，ADYB)的各自地址中。
按照同样的方式，场垂直扫描读出部33将行地址改变成ADYB+1后，将后场的左边起第2列数据写入同一行中，将行地址改变成ADYB+2后，将后场的左边起第3列数据写入同一行中，将行地址改变成ADYB+3后，将后场的右边列的数据写入同一行中。通过这种方式，在场结构的图像中，也可以减少数据传输时改变行地址的次数。
将如上所述的按照图28保存数据包的方式称为场映射保存模式。
向临时数据存储部2传输重构图像时，对于每1个宏块的各场，“向SDRAM的同一行地址的访问次数”＝8、“SDRAM的地址设置时间”＝4、“SDRAM的行地址改变次数”＝4。参照式(C1)计算，则传输1宏块的一场需要(8+4)×4＝48个周期，每个数据包的传输周期数是1.5(＝48×2/60)个周期。由此可知，和现有(每个数据包2(＝(4+4)×8×2/64)个周期)相比，传输效率提高了。
图29是示出图25的临时数据存储部2中保存亮度信号和色差信号的各个宏块的位置的说明图。临时数据存储部2按照如图29将重构图像R0～R15中的用于前场的信号和用于后场的信号保存在不同的区域中。
和图21的情况一样，由于在临时数据存储部2中像素数据之间的位置关系也没有破坏，所以可以容易地只提取出重构图像中需要场的需要部分并作为参考图像进行传输。
场垂直扫描写入部43除了从临时数据存储部2独立地突发式读出前场的数据包和后场的数据包这点之外，进行参考图像的传输(读出)基本和图23的情况一样。即，对于每个场从4(将水平17×垂直17像素作为参考图像时是5)个行地址读出，从同一行地址读出8(将水平17×垂直17像素作为参考图像时是9)个列地址的数据包。
下面考虑将1宏块作为参考图像进行传输的情况。对于每个场，“向SDRAM的同一行地址的访问次数”＝8、“SDRAM的地址设置时间”＝4、“SDRAM的行地址改变次数”＝4，所以和向临时数据存储部2进行传输时同样的，传输1宏块的1场需要48个周期，每个数据包的传输周期数是1.5个周期。由此可知，和现有(每个数据包为2个周期)相比，在进行参考图像的传输中，传输效率也提高了。
下面考虑将水平17×垂直17像素作为参考图像进行传输的情况。在不使用本实施方式的传输方法时，对于每个场，向同一行地址的访问次数为5，行地址改变次数为9，参照式(C1)时，需要(5+4)×9＝81个周期。而采用本实施方式时，向同一行地址的访问次数为9，行地址改变次数为5，所以用(9+4)×5＝65个周期完成传输。此时，每个数据包的传输周期数是大约1.44个周期。
对于色差信号，也和亮度信号一样地进行传输处理。对于色差信号，参照式(C1)计算跟临时数据存储部2有关的传输的传输周期数。再有，向临时数据存储部2写入时和从临时数据存储部2读出时都需要相同的传输周期数。
4:2:0形式的情况下，各种色差信号(蓝色差信号或红色差信号)在每宏块中具有水平8×垂直8像素，所以如果对水平方向上排列的4像素进行打包，则每个场得到水平2×垂直8个数据包。对于1个宏块的每个场，“向SDRAM的同一行地址的访问次数”＝4、“SDRAM的行地址改变次数”＝2，所以传输时需要(4+4)×2＝16个周期。另外，传输两个场的两种色差信号时需要64个周期。因此，每个数据包的传输周期数是2(＝64/(2×4×2×2))个周期。
在不使用本实施方式的传输方法时，对于1个宏块的每个场，“向SDRAM的同一行地址的访问次数”＝2、“SDRAM的行地址改变次数”＝4，所以传输时需要(2+4)×4＝24个周期。即，每个数据包需要3个周期。由于可知，通过本实施方式，传输效率提高了。
4:2:2形式的情况下，各种色差信号在每宏块中具有水平8×垂直16像素，所以如果对水平方向上排列的4像素进行打包，则每个场得到水平2×垂直8个数据包。对于1个宏块的每个场，“向SDRAM的同一行地址的访问次数”＝8、“SDRAM的行地址改变次数”＝2，所以传输时需要(8+4)×2＝24个周期。另外，传输两个场的两种色差信号时需要96个周期。因此，每个数据包的传输周期数是1.5(＝96/(2×8×2×2))个周期。
在不使用本实施方式的传输方法时，对于1个宏块的每个场，“向SDRAM的同一行地址的访问次数”＝2、“SDRAM的行地址改变次数”＝8，所以传输时需要(2+4)×8＝48个周期。即，每个数据包需要3个周期。由此可知，通过本实施方式，传输效率提高了。
色差信号为4:4:4形式时，可以和亮度信号同样的方式进行计算，所以省略说明。
在临时数据存储部2中，如图28所示，对保存前场数据的列地址的范围ADXR～ADXR+7和保存后场数据的列地址的范围相同的情况进行了说明，但保存不同场数据的列地址的范围也可以不同。
图30是保存在图25的临时数据存储部2中的数据的映射的另一示例说明图。按照图30所示的场映射的另一例子，也可以将属于前场一排的数据包和属于后场一排的数据包，写入相同的行地址。
例如，将前场的数据和后场的数据轮流进行传输。也就是说，在传输图26的数据包时，首先按照数据包P0、P8、P16、......、P56的顺序传输前场的最左列，之后，按照数据包P4、P12、P20、......、P60的顺序传输后场的最左列。此时，将这些数据包按照图30保存在同一行地址ADYR中。
接着，按照数据包P1、P9、P17、......、P57的顺序传输前场的第2列。之后，按照数据包P5、P13、P21、......、P61的顺序传输后场的第2列。这些数据包保存在图30的行地址ADYR+1中。
接着，按照数据包P2、P10、P18、......、P58的顺序传输前场的第3列。之后，按照数据包P6、P14、P22、......、P62的顺序传输后场的第3列。这些数据包保存在图30的行地址ADYR+2中。
最后，按照数据包P3、P11、P19、......、P59的顺序传输前场的最右列。之后，按照数据包P7、P15、P23、......、P63的顺序传输后场的最右列。这些数据包保存在图30的行地址ADYR+3中。
当按照图30所示的映射进行保存时，由于将前场和后场的重构图像的同列像素保存在相同行地址，所以前场和后场加在一起，每个宏块只需要改变4次行地址即可。由于每个场不再需要改变4次行地址，所以可以加快数据传输。
(第3实施方式)
本实施方式中，说明保存色差信号的例。首先，对图1的图像处理装置处理帧结构图像的情况进行说明。
图31是对应画面上的位置，示出帧结构图像中的1宏块的蓝色差信号和红色差信号(4:2:0形式)的数据包。图31中，按照和亮度信号同样的方式，对各种色差信号(分别包括水平8×垂直8像素)以水平方向4像素为单位进行打包。
图32是色差信号在图1的临时数据存储部2中的映射示例说明图。该图32示出的是按照第1实施方式将蓝色差信号和红色差信号保存在不同区域的情况。在此情况下，如图32所示，图1的帧垂直扫描读出部32将图31的蓝色差信号按照P0→P2→......→P14→P1→P3→......→P15的顺序写入临时数据存储部2，然后，将红色差信号按照P0→P2→......→P14→P1→P3→......→P15的顺序写入临时数据存储部2。此时，蓝色差信号P0、P2、......、P14被写入同一行地址中，蓝色差信号P0、P2、......、P14被写入与上述蓝色差信号的行地址不同的同一行地址中。
图33是色差信号在图1的临时数据存储部2中的另一映射示例说明图。不论图像形式为4:4:4形式、4:2:2形式或4:2:0形式中的哪一个，蓝色差信号和红色差信号的信息量都相同。此外，两种色差信号的相同位置的数据(例如，图31中的蓝色差信号P0和红色差信号P0)被用于表示相同像素，因此应该在相同时间被读出。
所以，如图33所示，图1的帧垂直扫描读出部32按照图31的蓝色差信号P0→红色差信号P0→蓝色差信号P2→红色差信号P2→......→蓝色差信号P14→红色差信号P14的顺序写入临时数据存储部2。此时，蓝色差信号P0、P2、......、P14和红色差信号P0、P2、......、P14被写入到同一行地址。也就是说，将图31的蓝色差信号的数据包的1列和红色差信号的数据包的1列保存在同一行地址，将两种色差信号保存在同一区域中。
对于图32的情况，在每个宏块需要指定4次行地址来传输色差信号。如果采用式(C1)计算传输两种色差信号所需要的周期数，则由于针对每个宏块，“向SDRAM的同一行地址的访问次数”＝8、“SDRAM的地址设置时间”＝4、“SDRAM的行地址改变次数”＝4，所以传输时需要(8+4)×4＝48个周期，每个数据包的传输周期数为1.5(＝48/(2×8×2))个周期。
对于图33的情况，在每个宏块指定2次行地址即可。针对每个宏块，“向SDRAM的同一行地址的访问次数”＝16、“SDRAM的行地址改变次数”＝2，所以传输两种色差信号所需要的周期数是(16+4)×2＝40个周期。每个数据包的传输周期数为1.25(＝40/(2×8×2))个周期。从而传输效率提高了。
下面，说明图25的图像处理装置处理场结构图像的情况。图34是对应于画面上的位置，示出场结构图像中的1宏块的蓝色差信号和红色差信号(4:2:0形式)的数据包的说明图。图34中，按照和亮度信号同样的方式，对各种色差信号(分别为水平8×垂直8像素)以水平方向4像素为单位进行打包。
图35是色差信号在图25的临时数据存储部2中的映射示例说明图。该图35示出的是按照第2实施方式将蓝色差信号和红色差信号保存在不同区域的情况。在此情况下，如图35所示，图25的场垂直扫描读出部33将图34的前场的蓝色差信号按照P0→P4→......→P12→P1→P5→......→P13的顺序写入临时数据存储部2，将后场的蓝色差信号按照P2→P6→......→P14→P3→P7→......→P15的顺序写入临时数据存储部2，然后，将前场的红色差信号按照P0→P4→......→P12→P1→P5→......→P13的顺序写入临时数据存储部2，将后场的红色差信号按照P2→P6→......→P14→P3→P7→......→P15的顺序写入临时数据存储部2。此时，蓝色差信号P0、P4、......、P12被写入同一行地址，红色差信号P0、P4、......、P12被写入与上述蓝色差信号的行地址不同的同一行地址。
图36是色差信号在图25的临时数据存储部2中的另一映射示例说明图。在场结构图像中，两种色差信号的相同位置的数据(例如，图34中的蓝色差信号P0和红色差信号P0)也被用于表示相同像素，因此应该在相同时间被读出。
所以，如图36所示，图25的场垂直扫描读出部33按照图34的蓝色差信号P0→红色差信号P0→蓝色差信号P4→红色差信号P4→......→蓝色差信号P12→红色差信号P12的顺序写入临时数据存储部2。此时，蓝色差信号P0、P4、......、P12和红色差信号P0、P4、......、P12被写入到同一行地址。也就是说，将图34的蓝色差信号的数据包的1列和红色差信号的数据包的1列保存在同一行地址，将两种色差信号保存在同一区域中。
对于图35的情况，在每个宏块需要指定8次行地址来传输色差信号。如果采用式(C1)计算传输两种色差信号所需要的周期数，则由于针对每个宏块，“向SDRAM的同一行地址的访问次数”＝4、“SDRAM的地址设置时间”＝4、“SDRAM的行地址改变次数”＝8，所以传输时需要(4+4)×8＝64个周期，每个数据包的传输周期数为2(＝64/(2×8×2))个周期。
对于图36的情况，在每个宏块指定4次行地址即可。针对每个宏块，“向SDRAM的同一行地址的访问次数”＝8、“SDRAM的行地址改变次数”＝4，所以传输两种色差信号所需要的周期数是(8+4)×4＝48个周期。每个数据包的传输周期数为1.5(＝48/(2×8×2))个周期，从而传输效率提高了。
上述对4:2:0形式的图像的情况进行了说明，但对于4:2:2形式或4:4:4形式的图像的情况也可以按照与图33和图36同样的方式保存色差信号。
图37是亮度信号和色差信号在图1的临时数据存储部2中的映射示例说明图。当图像形式为4:4:4形式时，由于亮度信号、蓝色差信号和红色差信号的信息量均相同，所以，如图37所示，图1的帧垂直扫描读出部32也可以以1个数据包为单位，将亮度信号、蓝色差信号和红色差信号依次保存在临时数据存储部2的同一行地址。
图38是亮度信号和色差信号在图25的临时数据存储部2中的映射示例说明图。当图像形式为4:4:4形式时，如图38所示，图25的场垂直扫描读出部33也可以以1个数据包为单位，将亮度信号、蓝色差信号和红色差信号依次保存在临时数据存储部2的同一行地址。
通过图37和图38，可以减少数据传输时改变SDRAM行地址的次数，所以能够提高传输效率。
另外，根据需要处理的图像形式，也可以相应地切换对临时数据存储部2的数据保存方法。也就是说，当图像形式为4:2:0形式或4:2:2形式时，可以采用图33或图36所示的仅轮流映射色差信号的方法，当图像形式为4:4:4形式时，也可以采用图37或图38所示的包括亮度信号的轮流映射方法。
此外，在图35、图36、图38中，也可以如图30所示，将前场的像素数据(亮度信号和色差信号)和后场的像素数据保存在相同的行地址。
此外，在编码时，对亮度信号进行帧映射模式保存，而对两种色差信号可以选择帧映射模式、场映射模式以及帧映射模式和场映射模式的结合这三种之中的任何一种进行保存。
(第4实施方式)
图39是本发明的第4实施方式的图像处理装置的结构框图。图39的图像处理装置300，在图1的图像处理装置的基础上，代替图1的图像处理装置中的重构图像生成部30和运动估计/补偿部40，包括重构图像生成部330和运动估计/补偿部340。
重构图像生成部330在图1的重构图像生成部30的基础上还包括场垂直扫描读出部33，运动估计/补偿部340在图1的运动估计/补偿部40的基础上还包括场垂直扫描写入部43。此外，用临时数据存储部2A、2B取代临时数据存储部2。在此作为例子，假设临时数据存储部2A、2B为SDRAM。
和第1实施方式基本相同的，帧垂直扫描读出部32按照图14在垂直方向上扫描图像，将亮度信号的数据包以宏块为单位按照扫描顺序从重构图像存储部34传输给临时数据存储部2A，临时数据存储部2A以帧映射模式保存。帧垂直扫描读出部32同样在垂直方向上扫描图像，将色差信号的数据包以宏块为单位按照扫描顺序从重构图像存储部34传输给临时数据存储部2A，临时数据存储部2A以帧映射模式保存。
和第2实施方式基本相同的，场垂直扫描读出部33按照图27在垂直方向上扫描图像，将亮度信号的数据包以宏块为单位按照扫描顺序从重构图像存储部34传输给临时数据存储部2B，临时数据存储部2B以场映射模式保存。场垂直扫描读出部33同样在垂直方向上扫描图像，将色差信号的数据包以宏块为单位按照扫描顺序从重构图像存储部34传输给临时数据存储部2B，临时数据存储部2B以场映射模式保存。
此外，运动估计/补偿部340以宏块为单位从临时数据存储部2A、2B中读出参考图像。该运动估计/补偿部340可以以宏块为单位，在帧估计/补偿和场估计/补偿之间进行切换。
也就是说，在进行帧估计/补偿时，帧垂直扫描写入部42从数据以帧映射模式保存的临时数据存储部2A中读出数据，并存入参考图像存储部44。在进行场估计/补偿时，场垂直扫描写入部43从数据以场映射模式保存的临时数据存储部2B中读出数据，并存入参考图像存储部44。
这样，利用临时数据存储部2A和临时数据存储部2B，以帧映射和场映射这两种模式保存图像，所以无论进行帧处理或场处理中的哪个，都可以高效地进行参考图像的传输。此外由于可以在临时数据存储部2A和临时数据存储部2B中并行地进行写入，所以可以高速地进行重构图像的写入。
参考图像是从临时数据存储部2A或临时数据存储部2B之中的一个读出，因此，对临时数据存储部2A、2B之中，对不用于读出的一个停止时钟供给。从而，可以减少消耗功率。
图40是示出图39的图像处理装置和可高速工作的临时数据存储部2C的框图。如此所示，图39的图像处理装置还可以使用临时数据存储部2C。假设临时数据存储部2C例如是SDRAM，可以以图39的临时数据存储部2A或2B的2倍速度传输数据。
图40中，帧垂直扫描读出部32和场垂直扫描读出部33不是将数据传输传输给临时数据存储部2A和2B，而是传输给临时数据存储部2C的不同区域，所传输的数据由临时存储部2C保存。并且，帧垂直扫描写入部42或场垂直扫描写入部43从临时数据存储部2C中读出数据，并由参考图像存储部44保存所读出的数据。这样，可以只使用1个临时数据存储部2C。
图41是图39的图像处理装置的变形例的结构框图。图41的图像处理装置300B在图39的图像处理装置的基础上，代替图39的图像处理装置中的重构图像生成部330包括图1的重构图像生成部30，还包括帧/场转换部4。
帧垂直扫描读出部32和第1实施方式基本相同，将亮度信号和色差信号的数据包从重构图像存储部34传输给临时数据存储部2C，由临时数据存储部2C以帧映射模式保存。之后，帧/场转换部4读出保存在临时数据存储部2C中的帧映射模式的重构图像，将所读出的数据以场映射模式保存在与临时数据存储部2C中用于帧映射模式的区域不同的区域中。
这样，通过图41的图像处理装置也可以以帧映射模式和场映射模式这两种模式保存重构图像。
图42是图39的图像处理装置的另一变形例的结构框图。图42的图像处理装置300C在图39的图像处理装置的基础上，代替图39的图像处理装置中的重构图像生成部330包括图25的重构图像生成部230，还包括场/帧转换部5。
场垂直扫描读出部33和第2实施方式基本相同，将亮度信号和色差信号的数据包从重构图像存储部34传输给临时数据存储部2C，由临时数据存储部2C以场映射模式保存。之后，场/帧转换部5读出保存在临时数据存储部2C中的场映射模式的重构图像，将所读出的数据以帧映射模式保存在与临时数据存储部2C中的用于场映射模式的区域不同的区域中。
这样，通过图42的图像处理装置也可以以帧映射模式和场映射模式这两种模式保存重构图像。
根据图41和图42的图像处理装置，存在一种折衷(trade-off)关系：虽然从重构图像生成部30、230所传输的重构图像数据减少，但临时数据存储部2C工作的时间延长。
图40～图42的临时数据存储部2C中，基本上需要确保用于帧映射模式和用于场映射模式这两种模式的数据区域。但是，临时数据存储部2C也可以只按照帧映射模式或场映射模式中的一种模式保存重构图像数据。此外，根据条件，临时数据存储部2C也可以只按照帧映射模式，或者只按照场映射模式，或者按照帧映射模式和场映射模式这两种模式(以下称作3种映射模式)保存重构图像数据。
当需要处理的图像大小(size)为CIF(水平384×垂直288像素)时，使用两种映射模式进行处理容易，但当需要处理的图像大小为HD(水平1920×垂直1080像素)时，为了使用两种映射模式处理，需要在临时数据存储部2C上确保2个(用于帧映射模式和用于场映射模式)HD大小的区域，所以需要大容量的SDRAM，从而成本增加。因此，例如在进行HD图像处理时，要使用帧映射模式或场映射模式中的任意一种模式的重构图像数据进行处理。也就是说，要根据处理对象的图像大小使用3种映射模式中的一种模式的重构图像数据。从而，不管临时数据存储部2C的结构如何，都能够发挥相应结构的最高性能。
在解码时，可变长编码解码部18分析所要解码的代码的头部，可以根据其头部信息所包含的图像大小信息，选择临时数据存储部2C中的映射模式。从而，可以使用适应于图像大小的区域，能够有效地进行解码处理。
此外，考虑其它处理部共用临时数据存储部2C的系统时，也可以根据对临时数据存储部2C的访问负荷，切换映射模式。例如，在其它处理部频繁地使用临时数据存储部2C时，可以使用能够减少对临时数据存储部2C的访问的映射模式，即帧映射模式或场映射模式，当来自其它处理部的访问少时，也可以使用两种映射模式。
这样，如果根据对临时数据存储部2C的负荷(总线的通信量)切换映射模式，则临时数据存储部2C不管承受多少负荷，都可以发挥很高的性能。
图43是表示多编解码器(Multi-Codec)的处理例的时序图。考虑图40的图像处理装置处理4个用户即用户CLI0、CLI1、CLI2和CLI3的请求的情况。假设各个用户的请求如下：
用户CLI0：SD(水平720×垂直480)大小图像的编码处理；
用户CLI1：QVGA(水平320×垂直240)大小图像的解码处理；
用户CLI2：CIF(水平384×垂直288)大小图像的编码处理；
用户CLI3：HD(水平1920×垂直1080)大小图像的解码处理。
在图43的时刻t0，没有任何用户的请求。在时刻t1，由用户CLI0发出SD大小图像的编码处理请求，图40的图像处理装置300开始该编码处理。在时刻t2，由用户CLI1发出QVGA大小图像的解码处理请求，图像处理装置300在时刻t2之后，在用户CLI0的编码处理和用户CLI1的解码处理之间，以帧为单位进行切换并轮流进行分时处理。
在时刻t3，用户CLI2发出CIF大小图像的编码处理请求，图像处理装置300在用户CLI0的编码处理、用户CLI1的解码处理和用户CLI2的编码处理之间，以帧为单位进行切换并轮流进行分时处理。之后，在时刻t4，用户CLI0的编码处理结束，在时刻t5，用户CLI1的解码处理结束。从时刻t5到用户CLI3发出HD大小图像的解码处理请求的时刻t6之间，图像处理装置300只执行用户CLI2的编码处理。
从时刻t6开始，图像处理装置300除了执行用户CLI2的编码处理外，还以帧为单位执行用户CLI3的解码处理。在时刻t7，用户CLI3的解码处理结束，在时刻t8，用户CLI2的编码处理结束，从而来自所有用户的请求处理完成。其中，假设使用临时数据存储部2C中的不同区域进行各个用户的处理。
在使用帧映射模式和场映射模式进行时刻t1的用户CLI0的SD大小图像的编码处理时，对于之后的时刻t2的用户CLI1的QVGA大小图像的解码处理，需要使用临时数据存储部2C中用户CLI0的编码处理没有使用的区域。
图像处理装置300从用户CLI1接收到解码处理请求时，求出临时数据存储部2C中未使用区域的容量，并根据所求出的容量选择映射模式。也就是说，如果能够确保使用两种映射模式所需要的区域，则使用两种映射模式开始用户CLI1的处理即可，如果无法确保，则只使用帧映射模式或场映射模式中的一种模式开始处理即可。通过这样控制，在开始用户的请求时，对该新用户能够提供临时数据存储部2C中的最佳区域。
再有，从新用户接收到图像处理请求时，或者在处理结束时，对包括当前正在处理中的用户在内的所有用户，也可以重新选择映射模式，并重新分配区域。在时刻t3，用户CLI2发出处理请求。在这一时间点，例如对于包括用已分配的区域正在处理中的用户CLI0和CLI1在内的3个用户，重新选择映射模式。并且，在时刻t4，用户CLI0的处理结束。在这一时间点，例如对处理中的两个用户CLI1和CLI2重新选择映射模式。
这样，由于每当用户数变化时，确定对所有用户的处理的映射模式，所以对各处理的映射模式能够一直处于最佳模式。
此外，各个用户在发出处理请求时可以指定所希望的映射模式，在不能确保该请求的映射区域时，可以向该用户通知。例如，当用户发出希望使用两种映射模式进行处理的处理请求时，如果临时数据存储部2C能够确保使用该处理所需的两种映射模式的区域，则使用两种映射模式进行处理即可，如果无法确保，则将该情况通知给用户。
收到该通知的用户，可以重新发出将区域限定为可靠区域的处理(例如，只使用帧映射模式的处理)请求，或者，为了获得区域，还可以对当前执行中的其他用户发出释放请求。用户由于在无法确保需要的区域时收到通知，所以不用对临时数据存储部2C的剩余容量进行检查，就可以执行处理请求。
下面对图43的多编解码器的处理中的具体例子进行描述。在时刻t5，除了用户CLI2的请求以外，没有其它请求，因此，假设临时数据存储部2C处于仅确保用户CLI2的编码处理所使用的两种映射模式的区域的状态。在之后的时刻t6，接收用户CLI3的希望“使用两种映射模式的处理”的HD大小图像的解码处理请求。
此时，图像处理装置300检查临时数据存储部2C中用户CLI2不使用的区域，并确认在该区域上是否能够确保进行两种映射模式的区域。如果能够确保，图像处理装置300使用两种映射模式开始用户CLI3的处理，如果不能确保，则向用户CLI3通知无法确保的信息。
如果可以使用帧映射模式或场映射模式处理用户CLI3的处理的情况下，用户CLI3重新指定“使用帧映射模式的处理”或“使用场映射模式的处理”后，发出解码请求即可。
但是，在像需要“使用两种映射模式的处理”的情况下，不能开始进行处理。此时，用户CLI3可以放弃处理本身，或者可以向其它用户(此时为用户CLI2)发出释放区域的请求。如果用户CLI2根据该请求释放区域，则图像处理装置300对该区域判断是否能够确保两种映射模式的区域，如果能够确保，则使用两种映射模式开始处理，如果不能确保，则将该情况通知给用户CLI3。从而，就容易确保处理中所需的区域。
这样，实时监视临时数据存储部2C中的区域分配情况，一直能够实现最佳的区域分配，所以对于临时数据存储部2C，可以进行高效的传输。
图44是图39的图像处理装置的又一个变形例的结构框图。图44的图像处理装置400在图39的图像处理装置的基础上，还包括选择器23、24。
选择器23根据从外部输入的映射类型信号MT，选择帧垂直扫描读出部32或场垂直扫描读出部33。当选择帧垂直扫描读出部32时，临时数据存储部2C以帧映射模式保存重构图像，当选择场垂直扫描读出部33时，临时数据存储部2C以场映射模式保存重构图像，
选择器24根据映射类型信号MT，选择帧垂直扫描写入部42或场垂直扫描写入部43。保存在临时数据存储部2C中的重构图像传输到帧垂直扫描写入部42和场垂直扫描写入部43中被选择的写入部。
由于映射类型信号MT是以帧为单位切换，所以通过图像处理装置400，在逐行扫描图像和隔行扫描图像混在一起的动画中，对逐行扫描图像采用帧映射模式，对隔行扫描图像采用场映射模式，可动态地选择适当的映射类型。因此，根据图像的种类，能够在临时数据存储部2C中确保适当的区域。
该映射类型信号MT可以在编码/解码时根据系统的具体应用而指定，或者，在解码时通过分析所要解码的代码的头部，可以根据其头部信息进行适当的切换。
(第5实施方式)
本实施方式对第1实施方式中向临时数据存储部2保存重构图像的方法进行了变形。参照图1进行说明。
图45是示出本发明第5实施方式中保存在临时数据存储部2中的重构图像的说明图。图45示出按照图17映射的区域在列方向(处理对象图像的垂直方向)上进一步扩展2个宏块的区域。这里举一个例子，将处理对象图像的帧大小设为图4所示的水平64×垂直64像素(水平4×垂直4宏块)，将运动估计范围设为水平、垂直方向上都是±16像素。
第n(n为自然数)帧的重构图像被用作第n+1帧的处理中。这时，生成第n+1帧的重构图像，所生成的重构图像被用作下一个第n+2帧的参考图像。在处理第n+1帧时，前面帧(第n帧)的重构图像(R0n0、R1n0、......R15n0)已经被写入临时数据存储部2中。
帧垂直扫描写入部42为了处理第n+1帧的宏块M0(参照图4)，将处理对象的宏块M0对应的重构图像R0n0和其周围宏块对应的重构图像R1n0、R4n0、R5n0作为参考图像读出，写入参考图像存储部44。
同样的，帧垂直扫描写入部42在处理宏块M1时，读出宏块M1对应的重构图像R1n0和其周围的宏块对应的重构图像R0n0、R2n0、R4n0、R5n0、R6n0；在处理宏块M5时，读出宏块M5对应的重构图像R5n0和其周围的宏块对应的重构图像R0n0、R1n0、R2n0、R4n0、R6n0、R8n0、R9n0、R10n0。
在处理第n+1帧的宏块M0时，生成重构图像R0n1，由帧垂直扫描读出部32将所生成的重构图像R0n1写入临时数据存储部2。由于在处理宏块M1、M4、M5时也需要重构图像R0n0，所以在宏块M5的处理结束之前，需要持续保留重构图像R0n0。也就是说，不能将重构图像R0n1保存在图45的重构图像R0n0的区域中。如果还考虑其它宏块的处理，则需要将第n+1帧的重构图像保存在重构图像R0n0～R15n0的区域之外的区域中。
所以，将保存重构图像的区域在列方向上扩展2个宏块，在扩展区域中保存第n+1帧的重构图像R0n1～R7n1。宏块M7的处理结束时，图45的左边列的重构图像R0n0～R3n0不被用作参考图像读出，可以不要这些重构图像，所以，在该区域中保存第n+1帧的重构图像R8n1～R11n1；在宏块M11的处理结束时，由于从图45的左边起第2列的重构图像R4n0～R7n0可以不要，所以，在该区域中保存第n+1帧的重构图像R12n1～R15n1。
同样的，在重构图像R8n0～R15n0的区域中保存第n+2帧的重构图像R0n2～R7n2，在重构图像R0n1～R7n1的区域中保存第n+2帧的重构图像R8n2～R15n2。之后也一样地将能够保存1帧的重构图像的区域加上扩展区域的区域用作环形缓冲区，保存重构图像。
这样，除了确保1画面的重构图像区域之外，还确保用于保存作为图4的编码处理对象的图像中的2行宏块所对应的重构图像的扩展区域即可，而不需要确保用于保存两个画面的重构图像的区域。因此，能够控制编码/解码装置的电路规模。
扩展区域需要根据运动估计/补偿范围而确保。一般而言，当临时数据存储部2以帧映射模式保存数据时，扩展区域只需要具有能够保存在作为编码处理对象的2维图像的宏块的行之中处理对象的宏块和其上方的用于运动估计或运动补偿的宏块所属的行的容量即可。
此外，当临时数据存储部2以场映射模式保存数据时，对于每个保存各场数据的区域，需要确保扩展区域。此时，各个扩展区域只需要具有以帧映射模式保存数据时的扩展区域的一半容量即可。
(第6实施方式)
图46是本发明第6实施方式的图像处理装置的结构框图。图46的图像处理装置500在图1的图像处理装置的基础上，代替图1的图像处理装置中重构图像生成部30和运动估计/补偿部40，包括重构图像生成部530和运动估计/补偿部540。
重构图像生成部530具有帧垂直扫描读出部532和重构图像存储部34。运动估计/补偿部540具有帧垂直扫描写入部542和参考图像存储部44。帧垂直扫描读出部532和帧垂直扫描写入部542除了以下要说明的点之外，分别和图1的帧垂直扫描读出部32和帧垂直扫描写入部42一样。
本实施方式中，说明多个装置(用户)共用临时数据存储部2的情况。存储器调停部8用于调停各用户向临时数据存储部2的访问。
图47是执行调停时的数据传输的一个示例时序图。这里，示出按照图13的每行向临时数据存储部2进行写入的情况，即突发式传输数据包P0～P3，之后依次突发式传输数据包P4～P7、P8～P11的情况。为了简单，假设其它的用户没有输出传输请求。
首先，在存储器调停部8和用户之间进行信息交换(期间HS)。如图47所示，用户向存储器调停部8输出TRANS_REQ、TRANS_WR、TRANS_SIZE和TRANS_XPOS/TRANS_YPOS。其中，所述TRANS_REQ为传输请求信号；所述TRANS_WR为表示要进行的传输是有关“写入”还是“读出”的传输的信号；所述TRANS_SIZE为表示该传输的数据量(以数据包为单位)的信号；所述TRANS_XPOS/TRANS_YPOS为表示写入所传输的数据的存储器空间内的位置、或读出所传输的数据的存储器空间内的位置的信号。存储器调停部8收到这样的传输请求时，如果在和发出请求的用户之间是可以进行收发数据的状况，则将应答信号TRANS_ACK输出给该用户。由此过程进行信息交换。
信息交换完成后，接着进行数据的传输。存储器调停部8将传输使能信号TRANS_EN设为有效。在该信号为有效的期间DT内进行数据传输。在此，也可以让用户输出传输使能信号TRANS_EN。
数据传输时，每1个周期传输1个数据包。对于图47的情况，每进行4个数据包的传输，为进行信息交换需要2个周期。这样，每次进行传输时进行信息交换，为此需要2个周期，所以传输效率低。
图48是执行调停时图46的图像处理装置中的数据传输示例时序图。首先说明存储器调停部8和图像处理装置500的帧垂直扫描读出部532之间的数据传输。
为了传输重构图像存储部34读出的数据包，在存储器调停部8和帧垂直扫描读出部532之间进行信息交换。在这除了表示数据量的信号TRANS_SIZE为16这点上不同之外，其它和图47的情况一样。
信息交换完成后，存储器调停部8将传输使能信号TRANS_EN设为有效。像参照图14描述的情况一样，帧垂直扫描读出部532在垂直方向上进行扫描的同时，从重构图像存储部34中读出数据包。帧垂直扫描读出部532在传输使能信号TRANS_EN为有效的期间DT内，将所读出的16个数据包作为1个突发传输单位输出给存储器调停部8。虽然用于信息交换还是需要2个周期，但是，信息交换是在每传输16个数据包时进行，所以和图47的情况相比，传输效率提高。
这样，根据图46的图像处理装置，由于帧垂直扫描读出部532在读出时进行垂直扫描，突发式传输1列数据包，所以如图48所示，可以减少传输次数。由于可以减少进行信息交换的频率，所以即使由存储器调停部8进行调停的情况下，也可以提高帧结构图像的传输效率。
下面，对存储器调停部8和临时数据存储部2之间的数据传输进行描述。首先假设帧垂直扫描读出部532和存储器调停部8之间的数据总线宽度等于1个数据包的大小，存储器调停部8和临时数据存储部2之间的数据总线宽度等于2个数据包的大小。此时，存储器调停部8重新对2个数据包进行打包，将所得到的合成数据包传输给临时数据存储部2。存储器调停部8在每1个周期传输一个合成数据包。
图49(a)是表示数据包和合成数据包的前头位置一致时的两者关系说明图。图49(b)是表示数据包和合成数据包的前头位置不一致时的两者关系说明图。
对于图49(a)的情况，存储器调停部8可以将从图像处理装置500接收的16个数据包重新打包，用8个周期写入临时数据存储部2。而对于图49(b)的情况，为了将接收到的16个数据包写入临时数据存储部2，需要9个周期。这样，在数据总线宽度不固定时，可能造成传输效率低下。图46的图像处理装置由于对每16个数据包进行突发式传输，所以将图49(b)所示传输效率低下的机会，可以减少为图47所示对每4个数据包进行突发式传输时的1/4。
下面参照图9和图13说明防止传输效率低下的方法。作为例子，考虑传输图9的宏块R5数据的情况。图9的宏块R5由图13所示数据包构成，现在假设传输图13的最左边列数据包P0、P4、P8、......、P60。
数据包和合成数据包的关系为图49(b)所示的情况时，最初的合成数据包中只包含数据包P0，最后的合成数据包中只包含数据包P60。这里，为了防止传输效率的低下，存储器调停部8将宏块R5的数据包P0和宏块R1的数据包P60重新打包，将所得到的合成数据包传输给临时数据存储部2。并且，存储器调停部8将宏块R5的数据包P60和宏块R9的数据包P0重新打包，将所得到的合成数据包传输给临时数据存储部2。
也就是说，在对宏块R1进行重新打包时剩下1个数据包P60的情况下，存储器调停部8在宏块R5的数据包P0到达之前，保留宏块R1的数据包P60，等这些数据齐备后，使用这些数据得到合成数据包。同样的，在对宏块R5进行重新打包时剩下1个数据包P60的情况下，存储器调停部8在宏块R9的数据包P0到达之前，保留宏块R5的数据包P60，等这些数据齐备后，使用这些数据得到合成数据包。
这样，图49(b)所示的情况下，存储器调停部8将最下行的数据包P60、P61、P62、P63分别和与下边相邻的宏块的最上行数据包P0、P1、P2、P3进行重新打包，生成与存储器调停部8和临时数据存储部2之间的数据总线宽度相同大小的合成数据包，并传输所得到的合成数据包。由于可以使合成数据包的一部分不为空，所以可以防止传输效率的低下。
从临时数据存储部2中读出数据时，按照与上述相反的顺序进行传输。即，存储器调停部8从临时数据存储部2中读出合成数据包，并分解成数据包。在存储器调停部8和图像处理装置500的帧垂直扫描写入部542之间进行信息交换，并完成信息交换后，存储器调停部8将所得到的数据包传输给帧垂直扫描写入部542。
再有，存储器调停部8还可以改变TRANS_XPOS/TRANS_YPOS(图48)的值后输出给临时数据存储部2，其中，所述TRANS_XPOS/TRANS_YPOS是图像处理装置500输出给存储器调停部8的用于表示存储器空间内的位置的信号。
另外，本实施方式相当于在第1实施方式中进一步使用存储器调停部8的情况，第2～第4实施方式中也同样可以使用存储器调停部8。
(第7实施方式)
图50是本发明第7实施方式的摄像系统的结构框图。图50的摄像系统700，比如为数字静止图像照相机(digital still camera)，包括光学系统712、传感器714、模拟/数字转换器(ADC)716、图像处理装置718、记录传输电路722、再生电路724、临时数据存储部726、时间控制电路732和系统控制电路734。图像处理装置718为第1～第6实施方式中描述的任意一个图像处理装置，临时数据存储部726为对应该图像处理装置的临时数据存储部。
光学系统712使入射的图像(入射光)IL在传感器714上成像。传感器714由时间控制电路732驱动，收集所入射的图像IL，光电转换成电信号，将所得到的模拟图像信号输出给模拟/数字转换器716。模拟/数字转换器716将该信号转换为数字信号，并输出给图像处理装置718。
图像处理装置718进行Y/C处理、边缘处理、图像的扩大缩小和图像的编码/解码(压缩伸展处理)等图像处理，其中，所述图像的编码/解码包括第1～第6实施方式所述的与临时数据存储部726之间的图像数据传输。图像处理装置718将图像处理后的信号输出给记录传输电路722，记录传输电路722将该信号记录到记录媒体，或传输给摄像系统700的外部。记录传输电路722从记录媒体读出信号，或者接收从外部传输过来的信号，并将该信号传输给再生电路724。再生电路724再生所接收到的信号。
模拟/数字转换器716和图像处理装置718由时间控制电路732控制，系统控制电路734控制着该整个摄像系统700。
另外，图像处理装置718不仅对基于通过光学系统712入射到传感器714中的入射光IL的信号进行图像处理，还可以对例如从摄像系统700的外部以电信号输入的图像信号进行处理。
再有，在以上实施方式中描述了使用SDRAM作为临时数据存储部2、2A、2B、2C的情况，但还可以使用其他可突发读/写的存储元件等。
此外，在以上实施方式中，描述了使用SDRAM作为重构图像存储部34和参考图像存储部44的情况，但还可以使用可随机存取的其他存储元件等。
此外，在以上实施方式中，通过举具体例子来说明图像编码/解码处理，但对于以块为单位进行处理的其他图像处理，也可以采用同样的技术。
此外，临时数据存储部2、2A、2B、2C所用的行地址和列地址，可以是临时数据存储部2、2A、2B、2C的物理地址，也可以是逻辑地址。
如上所述，本发明由于能够在图像处理装置和存储器等之间实现高速的数据传输，所以作为图像处理装置是有用的，特别对于数码相机、带相机的手机、数码摄像机和网络摄影机等含有运动图像摄影功能的设备是有用的。

Claims (45)

1、一种图像数据传输方法，该方法包括以下步骤：
(a)、将保存在第1图像存储部的、具有由第1和第2方向的座标表示各自位置的多个像素的2维图像的像素的数据，以在所述第1方向相邻的规定数目个像素的数据为单位进行打包，将所得到的数据传输单位在所述第2方向上扫描读出；
(b)、将所述步骤(a)中读出的数据传输单位，突发式写入临时数据存储部，该临时数据存储部用于将数据保存在由第1和第2地址的组合所指定的位置，其中，突发式写入的区域为所述第1地址连续且所述第2地址固定的区域；
(c)、将写入所述临时数据存储部的数据传输单位，从所述第1地址连续且所述第2地址固定的区域中突发式读出，并写入第2图像存储部。
2、根据权利要求1所述的图像数据传输方法，其特征在于，
所述步骤(a)中，将所述2维图象中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，独立地在所述第2方向上扫描读出；
所述步骤(b)中，将属于所述第奇数行的数据传输单位和属于所述第偶数行的数据传输单位写入不同的区域。
3、根据权利要求2所述的图像数据传输方法，其特征在于，
所述步骤(b)中，将所述读出的属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，写入所述第二地址相同的区域。
4、根据权利要求2所述的图像数据传输方法，其特征在于，该方法进一步包括场/帧转换步骤，读出写入在所述临时数据存储部中的数据传输单位，将所读出的数据传输单位以帧映射模式重新写入所述临时数据存储部。
5、根据权利要求1所述的图像数据传输方法，其特征在于，该方法进一步包括帧/场转换步骤，读出写入在所述临时数据存储部中的数据传输单位，将所读出的数据传输单位以场映射模式重新写入所述临时数据存储部。
6、根据权利要求5所述的图像数据传输方法，其特征在于，
所述帧/场转换步骤中，将所述读出的所述2维图像中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，写入所述第2地址相同的区域。
7、根据权利要求1所述的图像数据传输方法，其特征在于，
所述步骤(a)中，将蓝色差信号和红色差信号作为所述像素的数据分别进行打包，并读出所得到的数据传输单位；
所述步骤(b)中，轮流写入蓝色差信号的数据传输单位和红色差信号的数据传输单位。
8、根据权利要求1所述的图像数据传输方法，其特征在于，
所述步骤(a)中，将亮度信号、蓝色差信号和红色差信号作为所述像素的数据分别进行打包，并读出所得到的各信号的数据传输单位；
所述步骤(b)中，轮流写入亮度信号、蓝色差信号和红色差信号的各自的数据传输单位。
9、根据权利要求1所述的图像数据传输方法，其特征在于，该方法进一步包括以下步骤：
(a1)、将保存在所述第1图像存储部的所述2维图像中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，独立地在所述第2方向上扫描读出，
(b1)、将所述读出的属于第奇数行的数据传输单位，突发式写入另一临时数据存储部，该另一临时数据存储部用于将数据保存在由第3和第4地址的组合所指定的位置，其中，突发式写入的区域为所述第3地址连续所述第4地址固定的区域；
(b2)、将所述读出的属于第偶数行的数据传输单位，突发式写入所述另一临时数据存储部，其中，突发式写入的区域为与所述步骤(b1)中写入的区域不同的、所述第3地址连续且所述第4地址固定的区域；
(c1)、将写入所述另一临时数据存储部的数据传输单位，从所述第3地址连续且所述第4地址固定的区域中突发式读出，并写入所述第2图像存储部；
其中，该方法执行所述步骤(c)或步骤(c1)中的任意一个。
10、根据权利要求9所述的图像数据传输方法，其特征在于，
所述步骤(b1)和步骤(b2)中，将所述读出的属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，写入所述第4地址相同的区域。
11、根据权利要求9所述的图像数据传输方法，其特征在于，
进行所述步骤(c)时，停止向所述另一临时数据存储部的时钟供给；
进行所述步骤(c1)时，停止向所述临时数据存储部的时钟供给。
12、根据权利要求1所述的图像数据传输方法，其特征在于，该方法进一步包括以下步骤：
(a1)、将保存在所述第1图像存储部的所述2维图像中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，独立地在所述第2方向上扫描读出；
(b1)、将所述读出的属于第奇数行的数据传输单位，突发式写入所述临时数据存储部，其中，突发式写入的区域为与所述步骤(b)中写入的区域不同的、所述第1地址连续且所述第2地址固定的区域；
(b2)、将所述读出的属于第偶数行的数据传输单位，突发式写入所述临时数据存储部，其中，突发式写入的区域为与所述步骤(b)和(b1)中写入的区域不同的、所述第1地址连续且所述第2地址固定的区域。
13、根据权利要求12所述的图像数据传输方法，其特征在于，
根据输入的映射类型信号，在进行所述步骤(b)，和进行所述步骤(b1)、(b2)之间，选择其中任意一种进行。
14、根据权利要求13所述的图像数据传输方法，其特征在于，
所述映射类型信号以帧为单位切换。
15、根据权利要求13所述的图像数据传输方法，其特征在于，
当需要再生的运动图像为逐行扫描图像时，切换所述映射类型信号以进行所述步骤(b)；
当需要再生的运动图像为隔行扫描图像时，改变所述映射类型信号以进行所述步骤(b1)和(b2)。
16、根据权利要求12所述的图像数据传输方法，其特征在于，
在进行所述步骤(b)，和进行所述步骤(b1)和(b2)，和进行所述步骤(b)、(b1)和(b2)之间，适当地选择其中任意一种进行。
17、根据权利要求16所述的图像数据传输方法，其特征在于，
根据处理对象的图像的帧大小，进行所述选择。
18、根据权利要求16所述的图像数据传输方法，其特征在于，
根据所述临时数据存储部的负荷，进行所述选择。
19、根据权利要求16所述的图像数据传输方法，其特征在于，
根据头部信息所包含的图像大小信息，进行所述选择。
20、根据权利要求16所述的图像数据传输方法，其特征在于，
分时处理来自多个用户的图像处理请求，对所述多个用户分别进行所述选择。
21、根据权利要求20所述的图像数据传输方法，其特征在于，
从新用户接收图像处理请求时，计算所述临时数据存储部中未使用的区域的容量，并根据所述未使用的区域的容量，进行所述选择。
22、根据权利要求21所述的图像数据传输方法，其特征在于，
当不能确保处理中所需要的区域时，向所述新用户通知。
23、根据权利要求22所述的图像数据传输方法，其特征在于，
当不能确保用于进行所述步骤(b)、(b1)和(b2)的区域时，进行所述通知。
24、根据权利要求22所述的图像数据传输方法，其特征在于，该方法进一步包括：
当所述新用户接收到所述通知时，请求所述多个用户中进行所述步骤(b)、(b1)和(b2)的用户释放一部分区域；
如果区域被释放，则使用所释放的区域，进行所述新用户的处理。
25、根据权利要求20所述的图像数据传输方法，其特征在于，
当从新用户收到图像处理请求时，对所述多个用户和所述新用户，重新进行所述选择。
26、根据权利要求1所述的图像数据传输方法，其特征在于，
所述步骤(a)中，如果所述2维图像中所述数据传输单位在所述第1方向上的个数少于在所述第2方向上的个数，则将所述数据传输单位在所述第2方向上扫描读出，否则，将所述数据传输单位在所述第1方向上扫描读出。
27、根据权利要求1所述的图像数据传输方法，其特征在于，
所述第1图像存储部中保存对运动图像进行编码或解码时所生成的重构图像；从所述第2图像存储部中读出对运动图像进行编码或解码时所使用的参考图像。
28、根据权利要求27所述的图像数据传输方法，其特征在于，
所述步骤(b)中，对能够保存1帧的重构图像的区域加上扩展区域的区域，进行写入。
29、根据权利要求28所述的图像数据传输方法，其特征在于，
所述扩展区域具有能够保存所述2维图像的宏块的行中处理对象的宏块和其上方的用于运动估计或运动补偿的宏块所属的行的容量。
30、根据权利要求27所述的图像数据传输方法，其特征在于，该方法进一步包括以下步骤：
(a1)、将保存在所述第1图像存储部的所述2维图像中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，独立地在所述第2方向上扫描读出，
(b1)、将所述读出的属于第奇数行的数据传输单位，突发式写入所述临时数据存储部，其中，突发式写入的区域为与所述步骤(b)中进行写入的区域不同的、所述第1地址连续且所述第2地址固定的区域；
(b2)、将所述读出的属于第偶数行的数据传输单位，突发式写入所述临时数据存储部，其中，突发式写入的区域为与所述步骤(b)和(b1)中进行写入的区域不同的、所述第1地址连续且所述第2地址固定的区域；
其中，
对亮度信号进行所述步骤(b)；
对蓝色差信号和红色差信号，在进行所述步骤(b)，和进行所述步骤(b1)和(b2)，和进行所述步骤(b)、(b1)和(b2)之间，选择其中任意一种进行。
31、根据权利要求30所述的图像数据传输方法，其特征在于，
所述步骤(b1)和(b2)中，分别对能够保存1帧的重构图像的区域加上扩展区域的区域，进行写入。
32、根据权利要求31所述的图像数据传输方法，其特征在于，
所述扩展区域分别具有能够保存所述2维图像的宏块的行中处理对象的宏块和其上方的用于运动估计或运动补偿的宏块所属的行的容量的一半的容量。
33、根据权利要求1所述的图像数据传输方法，其特征在于，
所述步骤(b)包括以下步骤：
(d)、为了传输所述步骤(a)中读出的数据传输单位，在包括所述第1及第2图像存储部的装置和存储器调停部之间，进行信息交换；
(e)、将所述步骤(a)中读出的数据传输单位，通过所述存储器调停部传输给所述临时数据存储部；
所述步骤(c)包括以下步骤：
(f)、为了传输由所述临时数据存储部读出的数据传输单位，在所述装置和所述存储器调停部之间，进行信息交换；
(g)、将由所述临时数据存储部读出的数据传输单位，通过所述存储器调停部传输给所述第2图像存储部。
34、根据权利要求33所述的图像数据传输方法，其特征在于，
所述步骤(e)中，通过所述存储器调停部，对所述步骤(a)中读出的数据传输单位，按规定数目打包得到新的数据传输单位，将所得到的新的数据传输单位传输给所述临时数据存储部，当剩下不足所述规定数目的数目个数据传输单位时，读出与所述剩下的数据传输单位在第2方向上相邻的数据传输单位后，使用所述剩下的数据传输单位和所述相邻的数据传输单位得到包括所述规定数目的数据传输单位的新的数据传输单位，并将其传输。
35、一种图像数据传输方法，用于需要临时的存储区域的图像处理，其特征在于，
被作为处理单位的图像具有第1方向DX×第2方向DY个数据传输单位时，其中DX、DY为自然数，
如果DX＞＝DY，则在所述第1方向上扫描所述图像，并将每DX个所述数据传输单位突发式写入所述存储区域的连续地址；
如果DX＜DY，则在所述第2方向上扫描所述图像，并将每DY个所述数据传输单位突发式写入所述存储区域的连续地址。
36、一种图像处理装置，该装置包括：
第1读出部，用于将保存在第1图像存储部的、具有由第1和第2方向的座标表示各自位置的多个像素的2维图像的像素的数据，以在所述第1方向相邻的规定数目个像素的数据为单位进行打包，将所得到的数据传输单位在所述第2方向上扫描读出，将所述读出的数据传输单位，突发式写入临时数据存储部，该临时数据存储部用于将数据保存在由第1和第2地址的组合所指定的位置，其中，突发式写入的区域为所述第1地址连续且所述第2地址固定的区域；
第1写入部，用于将写入所述临时数据存储部的数据传输单位，从所述第1地址连续且所述第2地址固定的区域中突发式读出，并写入第2图像存储部。
37、根据权利要求36所述的图像处理装置，其特征在于，
所述第1读出部，用于将在所述2维图象中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，独立地在所述第2方向上扫描读出，并将属于所述第奇数行的数据传输单位和属于所述第偶数行的数据传输单位写入不同的区域。
38、根据权利要求37所述的图像处理装置，其特征在于，该装置进一步包括场/帧转换部，用于读出写入所述临时数据存储部中的数据传输单位，将所读出的数据传输单位，以帧映射模式重新写入所述临时数据存储部。
39、根据权利要求36所述的图像处理装置，其特征在于，该装置进一步包括：
第2读出部，用于将保存在所述第1图像存储部的所述2维图像中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，独立地在所述第2方向上扫描读出，将所述读出的属于第奇数行的数据传输单位突发式写入另一临时数据存储部，该另一临时数据存储部用于将数据保存在由第3和第4地址的组合所指定的位置，其中，突发式写入的区域为所述第3地址连续且所述第4地址固定的区域，将所述读出的属于第偶数行的数据传输单位突发式写入所述另一临时数据存储部中与属于所述第奇数行的数据传输单位进行写入的区域不同的、所述第3地址连续且所述第4地址固定的区域；
第2写入部，用于将写入所述另一临时数据存储部的数据传输单位，从所述第3地址连续且所述第4地址固定的区域中突发式读出，并写入所述第2图像存储部。
40、根据权利要求36所述的图像处理装置，其特征在于，该装置进一步包括：
第2读出部，用于将保存在所述第1图像存储部的所述2维图像中在所述第2方向上属于第奇数行的数据传输单位和属于第偶数行的数据传输单位，独立地在所述第2方向上扫描读出，将所述读出的属于第奇数行的数据传输单位突发式写入所述临时数据存储部中与所述第1读出部进行写入的区域不同的、所述第1地址连续且所述第2地址固定的区域，将所述读出的属于第偶数行的数据传输单位，突发式写入所述临时数据存储部中与所述第1读出部进行写入的区域和进行属于所述第奇数行的数据传输单位的写入的区域不同的、所述第1地址连续且所述第2地址固定的区域。
41、根据权利要求40所述的图像处理装置，其特征在于，该装置进一步包括：选择器，用于根据映射类型信号，在所述第1读出部和第2读出部的输出之中选择其中任意一个输出，并将其输出给所述临时数据存储部。
42、根据权利要求36所述的图像处理装置，其特征在于，该装置进一步包括：帧/场转换部，用于读出写入所述临时数据存储部中的数据传输单位，并将所读出的数据传输单位以场映射模式重新写入所述临时数据存储部。
43、根据权利要求36所述的图像处理装置，其特征在于，
该装置进一步包括：存储器调停部，用于与所述第1读出部之间、以及与所述第1写入部之间进行信息交换；
所述第1读出部，用于与所述存储器调停部之间进行信息交换后，将要写入所述临时数据存储部的数据传输单位，通过所述存储器调停部传输给所述临时数据存储部；
所述第1写入部，用于与所述存储器调停部之间进行信息交换后，通过所述存储器调停部接收从所述临时数据存储部读出的数据传输单位。
44、一种摄像系统，该系统包括：
模拟/数字转换器，用于将模拟信号转换为数字信号；
图像处理装置，用于对所述数字信号进行图像处理；
其中，所述图像处理装置，包括：
读出部，用于将所述图像处理后保存在第1图像存储部的、具有由第1和第2方向的座标表示各自位置的多个像素的2维图像的像素的数据，以在所述第1方向相邻的规定数目个像素的数据为单位进行打包，将所得到的数据传输单位在所述第2方向上扫描读出，将所述读出的数据传输单位突发式写入临时数据存储部，该临时数据存储部用于将数据保存在由第1和第2地址的组合所指定的位置，突发式写入的区域为所述第1地址连续且所述第2地址固定的区域；
写入部，用于将写入所述临时数据存储部的数据传输单位，从所述第1地址连续且所述第2地址固定的区域中突发式读出，并写入第2图像存储部。
45、根据权利要求44所述的摄像系统，其特征在于，该系统进一步包括：
传感器，用于将图像转换为所述模拟图像信号并输出；
光学系统，用于使入射的图像成像在所述传感器上。
CN2007100902602A 2006-04-17 2007-04-17 图像数据传输方法、图像处理装置和摄像系统 Expired - Fee Related CN101060628B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006113560 2006-04-17
JP2006-113560 2006-04-17
JP2006113560 2006-04-17
JP2007075709A JP4909779B2 (ja) 2006-04-17 2007-03-23 画像データ転送方法、画像処理装置、及び撮像システム
JP2007075709 2007-03-23
JP2007-075709 2007-03-23

Publications (2)

Publication Number Publication Date
CN101060628A true CN101060628A (zh) 2007-10-24
CN101060628B CN101060628B (zh) 2011-02-09

Family

ID=38789554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100902602A Expired - Fee Related CN101060628B (zh) 2006-04-17 2007-04-17 图像数据传输方法、图像处理装置和摄像系统

Country Status (3)

Country Link
US (1) US7978198B2 (zh)
JP (1) JP4909779B2 (zh)
CN (1) CN101060628B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301723A (zh) * 2008-12-09 2011-12-28 索尼公司 图像处理设备和方法
CN102947859A (zh) * 2010-06-17 2013-02-27 Ntt电子股份有限公司 图像处理装置
CN104658578A (zh) * 2015-03-10 2015-05-27 广东工业大学 一种高速数据采集系统中的sdram控制方法
CN113259540A (zh) * 2020-12-18 2021-08-13 深圳怡化电脑股份有限公司 扫描图像数据的处理方法、装置、设备及存储介质
CN111746400B (zh) * 2020-06-29 2021-11-05 珠海全志科技股份有限公司 倒车冷启动影像快速显示方法、计算机装置及计算机可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010035378A1 (ja) * 2008-09-29 2010-04-01 パナソニック株式会社 画像符号化装置、画像符号化方法及び撮像システム
JP5780795B2 (ja) 2011-03-24 2015-09-16 オリンパス株式会社 データ処理装置およびデータ処理方法
JP5734715B2 (ja) 2011-03-24 2015-06-17 オリンパス株式会社 データ処理装置およびデータ処理方法
JP5780796B2 (ja) 2011-03-24 2015-09-16 オリンパス株式会社 データ処理装置およびデータ処理方法
JP5738639B2 (ja) 2011-03-24 2015-06-24 オリンパス株式会社 データ処理装置およびデータ処理方法
JP5898409B2 (ja) 2011-03-24 2016-04-06 オリンパス株式会社 データ処理装置およびデータ処理方法
JP6012207B2 (ja) * 2012-03-08 2016-10-25 株式会社メガチップス データ転送装置
CN102647541B (zh) * 2012-04-28 2014-08-20 大连民族学院 一种基于有损压缩链码的图像编码方法
JP6490896B2 (ja) * 2013-12-17 2019-03-27 株式会社メガチップス 画像処理装置
CN114422853B (zh) * 2021-12-29 2023-09-26 南京汇川工业视觉技术开发有限公司 图像传输方法、装置、设备、视觉系统以及存储介质

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54130830A (en) * 1978-03-21 1979-10-11 Vital Ind Special television effect device
US4266242A (en) * 1978-03-21 1981-05-05 Vital Industries, Inc. Television special effects arrangement
US4288242A (en) * 1980-03-25 1981-09-08 Monsanto Company Alpha-chloro-alkoxymethyl-N-(2,6-dialkoxyphenyl)acetamides as effective turfgrass regulants
FR2520177B1 (fr) * 1982-01-15 1986-05-23 Pierre Jutier Dispositif de saisie et de restitution en temps reel d'une image formee de trames successives de lignes de balayage
US4620136A (en) * 1984-11-29 1986-10-28 Rca Corporation Digital vertical beam landing correction circuit
JPS6211977A (ja) * 1985-07-10 1987-01-20 Toshiba Corp 画像メモリ
US4763203A (en) * 1985-10-17 1988-08-09 Ampex Corporation Time base corrector with accurate timing corrector control
US4926247A (en) * 1986-10-15 1990-05-15 Olympus Optical Co., Ltd. Color imaging apparatus including a means for electronically non-linearly expanding and compressing dynamic range of an image signal
FR2648254B2 (fr) * 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
US4905084A (en) * 1989-01-30 1990-02-27 Carole Broadcasting Technologies, Inc. Compatible and spectrum efficient high definition television
DE69031865T2 (de) * 1990-02-28 1998-08-06 Texas Instruments Inc Ein SIMD-Prozessor als digitales Filter
KR970010395B1 (ko) * 1992-07-08 1997-06-25 미쯔비시덴끼 가부시끼가이샤 컬러화상 표시장치
US5880786A (en) * 1994-06-15 1999-03-09 Hitachi, Ltd. Apparatus for picture decoding having frame memories commonly connected to one data bus and one address bus
TW245871B (en) * 1994-08-15 1995-04-21 Gen Instrument Corp Method and apparatus for efficient addressing of dram in a video decompression processor
US5581310A (en) 1995-01-26 1996-12-03 Hitachi America, Ltd. Architecture for a high definition video frame memory and an accompanying data organization for use therewith and efficient access therefrom
US5663961A (en) * 1995-02-24 1997-09-02 Motorola, Inc. Packet switch with centralized buffering for many output channels
KR100203243B1 (ko) * 1995-07-31 1999-06-15 윤종용 에스디알에이엠에 프레임의 영상신호를 기록하는 방법
US5629723A (en) * 1995-09-15 1997-05-13 International Business Machines Corporation Graphics display subsystem that allows per pixel double buffer display rejection
JP3307807B2 (ja) * 1995-09-29 2002-07-24 三洋電機株式会社 映像信号処理装置
US5765023A (en) * 1995-09-29 1998-06-09 Cirrus Logic, Inc. DMA controller having multiple channels and buffer pool having plurality of buffers accessible to each channel for buffering data transferred to and from host computer
FR2745650B1 (fr) 1996-02-29 1998-05-22 Sgs Thomson Microelectronics Adressage d'une zone memoire d'un decodeur mpeg
US5995080A (en) * 1996-06-21 1999-11-30 Digital Equipment Corporation Method and apparatus for interleaving and de-interleaving YUV pixel data
DE19636380A1 (de) * 1996-09-09 1998-03-12 Dystar Textilfarben Gmbh & Co Dispersionsfarbstoffmischungen
EP0841820A3 (en) * 1996-11-08 2005-11-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding, multiplexing and transmitting a video signal
JPH1155676A (ja) * 1997-08-07 1999-02-26 Hitachi Ltd 同期型メモリを用いた動画像データ符号化装置
US6061094A (en) * 1997-11-12 2000-05-09 U.S. Philips Corporation Method and apparatus for scaling and reducing flicker with dynamic coefficient weighting
US6028612A (en) 1997-11-18 2000-02-22 Stmicroelectronics, Inc. Picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
US6311237B1 (en) * 1998-01-05 2001-10-30 Canon Kabushiki Kaisha System including single host buffer for transmit and receive data and reception buffer in interface device having stand-by area for use by host buffer when abnormal state is detected
US6388241B1 (en) * 1998-02-19 2002-05-14 Photobit Corporation Active pixel color linear sensor with line—packed pixel readout
US6359911B1 (en) * 1998-12-04 2002-03-19 Koninklijke Philips Electronics N.V. (Kpenv) MPEG-2 transport demultiplexor architecture with non-time-critical post-processing of packet information
AU2001234532A1 (en) * 2000-01-21 2001-07-31 Sorceron, Inc. System and method for delivering rich media content over a network
JP2002152756A (ja) 2000-11-09 2002-05-24 Mitsubishi Electric Corp 動画像符号化装置
US7240350B1 (en) * 2002-01-07 2007-07-03 Slt Logic, Llc System and method for providing communications to processes
SG105533A1 (en) 2002-01-31 2004-08-27 St Microelectronics Asia Memory transfer controller and method of transfer control of video line data and macroblock data
EP1530373A2 (en) * 2003-11-06 2005-05-11 Matsushita Electric Industrial Co., Ltd. Memory arrangement for a quick read access to image blocks according to a different scan order
JP4376040B2 (ja) * 2003-11-27 2009-12-02 株式会社日立製作所 複数のプロセッサを用いて情報処理を行う装置及び方法
JP4458864B2 (ja) * 2004-01-30 2010-04-28 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
KR100668302B1 (ko) * 2004-07-28 2007-01-12 삼성전자주식회사 비디오 디코더/엔코더에서의 메모리 맵핑 장치 및 그 방법
US7333177B2 (en) * 2004-11-30 2008-02-19 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
US8099548B2 (en) * 2006-03-23 2012-01-17 Microsoft Corporation Power efficient media playback on general purpose portable devices

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301723A (zh) * 2008-12-09 2011-12-28 索尼公司 图像处理设备和方法
CN102947859A (zh) * 2010-06-17 2013-02-27 Ntt电子股份有限公司 图像处理装置
US9286018B2 (en) 2010-06-17 2016-03-15 Ntt Electronics Corporation Image processing device for improved access efficiency
CN102947859B (zh) * 2010-06-17 2016-03-30 Ntt电子股份有限公司 图像处理装置
CN104658578A (zh) * 2015-03-10 2015-05-27 广东工业大学 一种高速数据采集系统中的sdram控制方法
CN111746400B (zh) * 2020-06-29 2021-11-05 珠海全志科技股份有限公司 倒车冷启动影像快速显示方法、计算机装置及计算机可读存储介质
CN113259540A (zh) * 2020-12-18 2021-08-13 深圳怡化电脑股份有限公司 扫描图像数据的处理方法、装置、设备及存储介质
CN113259540B (zh) * 2020-12-18 2024-04-02 深圳怡化电脑股份有限公司 扫描图像数据的处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US7978198B2 (en) 2011-07-12
US20070279426A1 (en) 2007-12-06
JP4909779B2 (ja) 2012-04-04
CN101060628B (zh) 2011-02-09
JP2007312358A (ja) 2007-11-29

Similar Documents

Publication Publication Date Title
CN101060628A (zh) 图像数据传输方法、图像处理装置和摄像系统
CN1076935C (zh) 运动图象变换系数逆变换时防止舍入误差的方法和设备
CN1297148C (zh) 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
CN1251518C (zh) 数字信号转换方法和数字信号转换装置
CN1134975C (zh) 图像处理装置
CN1315331C (zh) 图像信号转换方法和设备以及图像提供系统
CN1056716C (zh) 动态图象的编码/解码方法、装置及其存储介质
CN1926576A (zh) 用于数字编码3d立体视频图像的方法和系统
CN1778110A (zh) 图像解码设备和图像解码方法
CN1257650C (zh) 运动图像编码方法和装置
CN1630374A (zh) 用于前向预测的隔行扫描视频帧的场的预测运动矢量
CN1725844A (zh) 数字媒体流的反向表示
CN1701616A (zh) 图像信息编码装置和方法,以及图像信息解码装置和方法
CN1874409A (zh) 图像信号处理设备、照相机系统及图像信号处理方法
CN1578468A (zh) 视频解码设备
CN1335724A (zh) 编码装置和编码方法
CN1719905A (zh) 编码装置、编码方法、编码方法程序及相应的记录媒体
CN1867034A (zh) 图像信号处理装置,照相机系统和图像信号处理方法
CN1596547A (zh) 移动图像编码设备、移动图像解码设备、移动图像编码方法、移动图像解码方法、程序和存储程序的计算机可读记录媒介
CN1956545A (zh) 图像处理装置、图像处理方法、记录介质和程序
CN1934866A (zh) 视频解码设备
CN1744720A (zh) 可变长度解码装置
CN1252646C (zh) 图像处理方法和图像处理装置
CN1216199A (zh) 数字图象填补方法、图象处理装置及数据记录媒体
CN1252202A (zh) 编码方法、编码装置和记录媒体,以及解码方法、解码装置和记录媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110209

Termination date: 20130417