CN101052128B - 运动检测装置和方法、运动检测集成电路和图像编码装置 - Google Patents

Abstract

本发明提供一种在从外部帧存储器向内部参照用局部存储器进行数据传输的次数减少了的运动检测装置，兼顾了存储容量的减小和安装电路规模或处理步骤的减少两者。在参照存储器管理部(812)和内部参照用存储器(830)中，把要更新的区域的高度设定为L像素(L为2的乘方)，把容易进行地址计算的大小的逻辑地址区段分配在图像空间，进行FIFO管理，或者增加辅助存储器，辅助存储器以外用过去的画面宽度的矩形区域进行FIFO管理，由此来简化地址计算，实现内部参照存储器和参照存储器管理单元中的安装电路的削减。

Description

运动检测装置和方法、运动检测集成电路和图像编码装置

技术领域

本发明涉及对构成图像的块的运动进行检测的运动检测装置、运动检测方法、运动检测集成电路和图像编码装置。

背景技术

近几年，迎来了对声音、图像及其他像素值进行综合处理的多媒体时代，提出了把过去的信息媒体即报纸、杂志、电视、无线电广播、电话等的信息传输给人的手段作为多媒体的对象。一般所谓“多媒体”不仅仅显示文字，还将图形、声音、尤其是图像等关联起来显示，但是要把上述过去的信息媒体作为多媒体的对象，则用数字形式来表示其信息是必须条件。

然而，若把上述各种信息媒体所具有的信息量按数字信息量估算，则在文字的情况下，每个字的信息量是1～2个字节，而在声音的情况下，每1秒需要64Kbits(按电话质量)，另外，对动画来说，每秒需要100Mbits(按现有电视接收质量)以上的信息量，在上述信息媒体中，目前不能直接以数字形式处理这样庞大的信息。例如，可视电话，虽然已实际使用具有64Kbits/秒～1.5Mbits/秒的传输速度的综合服务数字网(ISDN)，但是不可能直接用ISDN发送电视摄像机的影像。

因此，需要信息压缩技术，例如，在可视电话的情况下，采用由ITU-T(国际电信联合会电信标准化部门)建议的H.261或H.263标准的动画压缩技术。并且，若采用MPEG-1标准的信息压缩技术，则在通常的音乐用CD(激光唱盘)上，也可以和声音信息一起加入图像信息。

这里，所谓MPEG(Moving Picture Expects Group)，是指由ISO/IEC (国际标准化组织国际电工标准会议)制定的运动图像信号压缩的国际标准，MPEG-1是把运动图像信号压缩到1.5Mbits/秒，即把电视信号的信息压缩到约一百分之一的标准。并且，MPEG-1标准中，将作为对象的质量设定为能够以主要约1.5Mbps(Mbits/秒)的传输速度实现的中等程度，因此，在用于满足更高质量要求的标准MPEG-2中，对运动图像信号，利用2～15Mbps来实现电视播放质量。再者，现状是，由推进了MPEG-1、MPEG-2和标准化的工作组(ISO/IEC JTC1/SC29/WG11)制定了MPEG-4，该MPEG-4实现比MPEG-1、MPEG-2高的压缩率，且能够以物体为单位进行编码、解码、操作，实现了多媒体时代所必要的新功能。当初MPEG-4是为了实现低位速率的编码方法的标准化而推进的，但是，现在已扩展成既包含隔行扫描图像也包含高位速率的、更通用的编码。

再者，2003年，ISO/IEC和ITU-T共同制定了更高压缩率的图像编码方式，即制定了MPEG-4AVC和H.264。现在，正在制定适合于高清(HD)图像等High Profile对应修改标准方案。作为H.264标准的应用，预计将会和MPEG-2及MPEG-4一样扩展到数字广播、DVD(数字视盘)播放机/刻录机、硬盘播放机/刻录机、摄像机、可视电话等方面。

一般，在动图像编码中，通过削减时间方向和空间方向的冗余性来进行信息量的压缩。因此，在以削减时间冗余性为目的的画面间预测编码(帧间预测编码)中，参照前方或后方的图像，以块为单位来进行运动检测和预测图像的制作，并对取得的预测图像和编码对象图像的差分值进行编码。这里，所谓图像是表示一个画面的术语，在逐行扫描的图像中表示帧，在隔行扫描图像中表示帧或场。这里，所谓隔行扫描图像是指一个帧由不同时刻的2个场构成的图像。在隔行扫描图像的编码和解码处理中，对于一个帧，可在保持帧状态下进行处理，或者作为2个场来进行处理，或者对于帧内的每个块，作为帧结构或场结构来进行处理。

不参照图像而进行画面内预测编码(帧内预测编码)的图像称为I 图像。此外，仅参照一张参照图像来进行画面间预测编码的图像称为P图像。此外，能够同时参照2张参照图像来进行画面间预测编码的图像称为B图像。B图像可以参照2张图像，可参照按显示时间的前或者后的任意组合的2张图像。参照图像可以按照编码的基本单位即宏块进行指定，但将进行了编码的位流中前面描述的参照图像称为第1参照图像，将后面描述的参照图像称为第2参照图像，来加以区别。但是，作为对这些图像进行编码时的条件，参照的图像必须是已编码的。

在P图像或B图像的编码中，采用了运动补偿画面间预测编码。所谓运动补偿画面间预测编码是指在画面间预测编码中适用运动补偿的编码方式。所谓运动补偿是指这样一种方式，它并非单纯根据参照帧的像素值来进行预测，而是检测出图像内的各部分的运动量(以下称为运动向量)，考虑该运动量进行预测，由此提高预测精度，并减少数据量。例如，检测出编码对象图像的运动向量，对移动了该运动向量的大小的预测值和编码对象图像的预测残差进行编码，由此减少数据量。在该方式的情况下，解码时需要运动向量的信息，所以运动向量也进行编码来记录或传输。

按宏块单位检测运动向量，具体来说，对编码对象图像侧的宏块加以固定，使参照图像侧的宏块在检索范围内移动，寻找与标准块最相似的参照块的位置，由此检测出运动向量。

图1是用于说明过去的画面间预测编码装置800的框图。

该画面间预测编码装置800具有：运动检测器801、多帧存储器800、减法器803、减法器804、运动补偿器805，编码器806、加法器807、运动加法器808和运动向量加法器808。

运动检测器801把从多帧存储器802输出的运动检测参照像素MEp和画面信号Vin进行比较，输出运动向量MV和参照帧编号RN。参照帧编号RN是用于确定从多个参照图像中选择的、在对象图像的编码中参照的参照图像的识别信号。运动向量MV在运动加法器808中暂存之后输出，作为附近运动向量PvMV，用作在运动向量加法器808中为了 预测预测运动向量PdMV而参照的附近运动向量PvMV。减法器804从运动向量MV中减去预测运动向量PdMV，输出将其差，作为运动向量预测差分DMV。

另一方面，多帧存储器802将参照帧编号RN和运动向量MV表示的像素输出导运动补偿参照像素参照用局部存储器811，运动补偿器805生成小数像素精度的参照像素，输出参照画面像素MCp2。减法器803从画面信号Vin中减去参照画面像素MCp2，输出画面预测误差DP。

编码器806对画面预测误差DP、运动向量预测差分DMV和参照帧编号RN进行可变长编码，输出编码信号Str。而且，在编码时，还同时输出画面预测误差的解码结果即解码画面预测误差RDP。解码画面预测误差RDP是在画面预测误差DP上重叠了编码误差的结果，它与由画面间预测编码装置900对编码信号Str进行编码所得的画面间预测误差一致。

加法器807把解码画面预测误差RDP加到参照画面像素MCp2上，存储到多帧存储器802，作为解码画面RP。但是，为了有效利用多帧存储器802的容量，多帧存储器802所存储的画面的区域在不需要时释放)，并且，不需要存储在多帧存储器802内的画面的解码画面RP不存储在多帧存储器802内。

图2是用于说明过去的画面间预测编码装置900的框图。在该图中，和图1相同的符号表示相同的构件，其说明从略。

图2所示的过去的画面间预测解码装置900，对利用图1所示的过去的画面间预测编码装置800进行了编码的编码信号Str进行解码，输出解码画面信号Vout，具有：多帧存储器901、运动补偿器902、加法器903、加法器904、运动向量存储器905、运动向量加法器904和解码器907。

解码器907对编码信号Str进行解码，输出解码画面预测误差RDP、运动向量预测差分DMV和参照帧编号RN。加法器904将从运动向量加法器904输出的预测运动向量PdMV和运动向量预测差分DMV相加， 对运动向量MV进行解码。

多帧存储器901输出由参照帧编号RN和运动向量MV表示的像素，作为运动补偿参照像素MCpe11，运动补偿器902生成小数像素精度的参照图像，并输出参照画面像素MCpe12。加法器903把解码画面预测误差RDP与参照画面像素MCpe12相加，作为解码画面RP而存储在多帧存储器901。但是，为了有效地利用多帧存储器901的容量，多帧存储器901中存储的画面的区域在不需要时被释放，并且，在多帧存储器901中不存储不必在多帧存储器901中存储的画面的解码画面RP。如上所述，能够从编码信号Str准确地解码出解码画面信号Vout即解码画面RP。

此外，用于安装图1所示的画面间预测编码装置800所用的结构，作为一例例如公开于专利文献1等。如专利文献1表示，在用LSI等安装画面间预测编码装置800的情况下，图1所示的多帧存储器802被划分为在LSI外部连接的外部帧存储器和LSI内部的局部存储器而被安装，所述局部存储器在块匹配检索时由运动检测器801直接进行访问。

图3是用于说明表示多帧存储器802的具体例的画面间预测编码装置800和帧存储器的连接结构的概要图。在该图中，与图1相同的符号表示相同的构建，其说明从略。多帧存储器802包括外部帧存储器820和LSI内部的参照用局部存储器811。外部帧存储器820是连接在包含画面间预测编码装置800的LSI外面的外部帧存储器。参照用局部存储器811是LSI内部的存储器，由运动检测器801在块匹配检索时直接进行访问。LSI是包含画面间预测编码装置800的LSI，参照用局部存储器811以外从略。

在图3中进行运动检测的情况下，首先，作为检索对象的图像区域从外部帧存储器820通过外部连接总线Bus1被传输到参照用局部存储器811。然后，从参照用局部存储器811通过内部总线Bus2读出数据，由运动检测器801进行运动检测。通过这种结构，削减了LSI的内部存储器容量。

图4是表示按每1个画面进行传输的参照像素的状态的模式图。该图的上边部分表示外部帧存储器EMF中的一个画面量的参照图像。该图的下边表示参照用局部存储器811中存储的作为检索对象的图像区域、以及为下面的检索对象进行传输的图像区域。在该图中，示出如下情况：在用IMB(宏块)单位(＝16像素×16像素)进行运动检测处理的情况下，为了进行IMB行量的运动检测，需要(检索范围的纵向长度)×(1个画面的横向宽度)大小的像素数的存储器传输。还示出如下的情况：在进行1个画面大小的运动检测时，需要乘上1个画面的纵向的MB数的大小的像素数的存储器传输量。也就是说，在利用MPEG-2等的SD尺寸图像(720像素×480像素、45MB×30MB)，把每次移动纵横1MB量的像素范围作为检索范围的情况下，在每一个画面的运动检测中

(16+16×2)×720×30＝1,036,800

的像素被传输。

其中，若考虑假定H.264的SD尺寸图像的参照用局部存储器的管理状态，则在小数像素精度的运动补偿中采用6抽头的滤波器，所以，与过去的MPEG-2等相比，需要更多的周边像素(例如参见非专利文献1)。也就是说，在MPEG-2等中，根据包围小数精度像素位置的4的整数像素制作了小数精度像素。但在6抽头滤波器的情况下，根据36的整数像素制作小数精度像素，所以用相同区域进行检索的情况下，与MPEG-2相比，需要上2行、下2行、左2列、右2列的像素。因此，用H.264等的SD尺寸图像，把每次纵横各移动1MB的像素范围作为检索范围的情况下，在每个画面的运动检测中

(16+16×2+4)×720×30＝1,123,200

的像素被传输。

并且，在对HD尺寸(1920像素×1088像素、120MB×68MB)的图像进行处理的情况下，尤其在用H.264进行编码的情况下，上述每个画面的像素传输量大幅度增加，可能超过图3所示的外部总线Bus1的 传输能力。

例如，假定对MPEG-2的HD尺寸图像进行了假定的参照用局部存储器的管理状态。在此情况下，HD尺寸的图像，相对于SD尺寸的图像来说具有约6倍的像素数。所以为了简化，如果对上下、左右分别各检索2.5倍的参照区域，则纵横的检索范围变成每次纵横各移动40像素的像素范围，同样，

(16+40×2)×1,920×68＝12,533,760

的像素在每一个画面的运动检测中被传输。

再者，假定对H.264的HD尺寸图像已进行了假定的参照用局部存储器的管理状态的情况下，同样

(16+40×2+4)×1,920×68＝13,056,000

的像素在每一个画面的运动检测中被传输。

这样，尤其在处理H.264的HD尺寸的图像的情况下，像素的传输量比MPEG-2的SD尺寸大很多。因此，考虑采用牺牲面积成本来减小图像传输量的方法。图5是表示在减少参照像素的传输量的情况下的存储器更新状态的模式图。

在编码对象的数据流中所包含的1个图像Pic采用帧结构的情况下，按照SD图像尺寸，图像的宽度PicWidth和高度PicHeight，分别为45MB(＝720像素)和30MB(＝480像素)；在HD图像尺寸中，分别为120MB(＝1,920像素)和68MB(＝1,088像素)。以下，设图像的宽度picWidth和高度picHeight分别为M(MB)和N(MB)。

在运动检测器801中，对原图像的第n行的MB进行运动检测的情况下，在参照用局部存储器811中，存储了用原图像的第n行的MB参照的图像的宽度picWidth×参照高度大小的图像数据。也就是说，SD图像尺寸中，在与原图像的第n行对应的行的MB中，存储有每次上下增加1MB的参照高度量的像素数据。并且，在HD图像尺寸中，在与原图像的第n行对应的行的MB中，存储有上下每次增加40像素的参照高度的像素数据。而且，用于原图像中的第m列第n行的编码对象 MB的参照图像中的检索中心meCnt，也许成为与原图像的对象MB相同的位置，但也许使偏移到不同位置上的位置成为检索中心meCnt。

这样，通过留下比实际检索区域大的区域，作为备用存储区域，即可使图像传输量大致上减小到(1MB单位高度)/(检索范围的纵向高度)。

此外，图6是表示在减少安装存储器容量的情况下的存储像素的管理状态的模式图。参照区域RefArea是运动检测器801中参照的区域；备用存储区域SubArea是在运动检测处理中在与编码对象块的参照时不使用、但在当前处理以后的运动检测中的参照中使用的区域；下次取得区域NxArea是用于与下一编码对象块的参照中使用的区域；并且，下次释放区域RelArea是在下一编码对象块以后的参照中不需要的区域，作为物理存储区域写入到下次取得区域NxArea。为了抑制面积成本的增加，如该图所示，在参照用局部存储器811中配置的区域，可通过减少备用存储区域SubArea实现。

但是，如图6所示，若对参照用局部存储器811中组合矩形区域的区域的存储地址进行FIFO处理，则很难进行地址管理。

图7是利用FIFO管理时的参照存储器的逻辑边界的物理地址配置图。为了简化，在该图中，示出了横向320像素×纵向240像素的QVGA尺寸的图像，还示出了在运动检测范围的垂直水平方向，分别为±16像素，每个字存储8个像素的情况下，在用光栅地址从左上边进行地址映射时，跨越0地址的附近的地址状态。

在图7(a)中，由虚线包围的区域HLA表示参照用局部存储器811中从地址0到最终地址能够一次存储的区域，在该图中变成从图像的开头起分配地址0时的区域。作为例子，假定包括了横向并排40字(320像素)纵向并排32字(240像素)的区域(加上了右下斜线和横线的部分)，以及横向为检索区域的一部分的6字(48像素)和更新区域的2字(16像素)、纵向并排16字(纵向16像素)的区域(加上了点的部分)的合计1408字。并且，图7(b)示出构成开头的1MB(宏块)量 的物理地址号码。在图7(b)中，示出了如下状态：1MB的横向为16像素的2字构成，画面横向的尺寸为320像素(＝40字)，所以纵向分配40刻度的地址号码。

图7(c)表示超过由虚线包围的区域HLA的区域的边界周边的像素空间的物理地址。在通过像素传输全部填埋区域HLA之后，再存储下次传输的MB的情况下，按照FIFO处理参照用局部存储器811，对于与下次释放区域RelArea即图像左上角相同的物理地址进行分配。也就是说，将超过不能一次存储到参照用局部存储器811中的、用右上斜线部分表示的区域HLA的部分，写入到存储有即使作为运动检测使用结束而消去也没有问题的画面左上的MB像素的物理地址(图7(b)的物理地址)上。

所以，在进行图7(c)的圆圈标记附近的像素传输的情况下，在跨越区域HLA的部分，地址产生不匹配，不能够用一般的光栅地址进行数据存取。并且，对于跨越该0地址的水平位置，也由于取决于垂直位置，所以不能够唯一地决定，地址计算更加困难。

如以上说明，在参照用局部存储器811中，在需要对由矩形区域的组合构成的区域的物理地址进行FIFO管理的情况下，在未填满的像素空间位置，地址被重复利用，所以，很难处理，不仅需要乘法运算，还需要大量的除法运算和余数计算。因此，需要复杂的地址计算的结果存在有以下问题：在硬件安装的情况下，电路面积增大，或者处理频率周围的动作定时很严格，另一方面，在软件安装的情况下，需要庞大的处理循环数。

[专利文献1]：日本特许第2963269号公报

[非专利文献1]：ISO/IEC 14496-10，International Standard：“Information technology-Coding of Audio-Visual objects-Part 10：Advanced Video Coding”(2004-10-01).

发明内容

因此，本发明是针对上述情况而提出的，其目的在于提供一种运动检测装置、运动检测方法、运动检测集成电路和图像编码装置，在从外部帧存储器向内部参照用局部存储器进行数据传输的次数减少了的运动检测装置中，兼顾了存储容量的减小和安装电路规模或处理步骤的减少两者。

为了达到上述目的，本发明的运动检测装置，对构成图像的每个块检测运动，其特征在于，具有：存储单元，存储参照图像；参照存储器单元，存储上述参照图像中构成从上述存储单元传输的传输区域的像素数据；运动检测单元，利用上述参照存储器单元中存储的传输区域中所包含的检索区域的图像数据，检测作为运动检测对象的对象块的运动；以及存储器管理单元，更新上述传输区域的一部分，以供下一对象块使用，上述传输区域包括第1至第3矩形区域；上述第1矩形区域包含上述检索区域；上述第2矩形区域的宽度是从上述参照图像左端的像素起到与第1矩形区域左端的左边相邻接的像素为止的宽度，上述第2矩形区域的高度比第1矩形区域的高度小L像素，上述第2矩形区域的下端是与第1矩形区域的下端相同的水平位置；上述第3矩形区域的宽度是从上述参照图像右端的像素起到与第1矩形区域右端的右边相邻接的像素为止的宽度，上述第3矩形区域的高度比第1矩形区域的高度小L像素，上述第3矩形区域的上端是与第1矩形区域的上端相同的水平位置；上述L由2的乘方表示；上述存储器管理单元将与第1区域的右边相邻接且与第3区域的下边相邻接的高度L像素宽度K像素构成的更新区域的像素数据，从上述存储单元传输到上述参照存储器单元内的存储区域中位于上述第1区域内的左上方的、用于存储高度L像素宽度K像素大小的像素数据的存储区域。

这样，减少从多帧存储器向局部参照存储器的参照像素数据传输量，能够减少局部参照存储器的安装量，同时能够简化用参照存储器管理单元进行的运算，还能够减少电路安装量。

这里，上述存储器管理单元也可以将参照图像在纵向上等分成M 列，对每高度L像素在横向上进行划分，将传输区域的横向划分的纵向划分数设定为N行，将参照存储器单元划分成M×(N-1)+1以上且M×N-1以下个数的存储体，对划分后的存储体按先进先出方式循环地进行管理。这样，用参照存储器管理单元来进行的向物理存储变换的地址变换中，能够减少复杂的除法、余数计算、乘法等运算，还能够减化用参照存储器管理单元来进行的运算，并能够减少电路安装量。

并且，上述存储器管理单元也可以将包含参照图像且在水平方向上具有2的乘方个地址的虚拟空间在纵向上等分成由2的乘方表示的M列，对每高度L像素在横向上进行划分，将传输区域的横向划分的纵向划分数设定为N行，将参照存储器单元划分成M×(N-1)+1以上且M×N-1以下个数的存储体，对划分后的存储体按先进先出方式循环地进行管理。这样，在利用参照存储器管理单元进行的向物理存储变换的地址变换中，能够通过位移、位屏蔽以及连接等来进行安装，所以，还能够简化用参照存储器管理单元进行的运算，也能够减少电路安装量。

并且，上述第1矩形区域也可以包括作为从其下端到L像素的高度的部分的第4矩形区域及其以外的第5矩形区域，上述参照存储器单元具有第1存储器部和辅助存储器部，上述第1存储器部按先进先出方式存储上述第5矩形区域、上述第2矩形区域和上述第3矩形区域，上述辅助存储器部按先进先出方式存储上述第4矩形区域，上述参照存储器管理部将上述第4矩形区域左端的纵L像素横K像素大小的像素数据，从辅助存储器部传输到第1存储器部，再将上述更新区域的像素数据按先进先出方式从上述存储单元传输到上述辅助存储器部，以供下一对象块使用。这样，除上述第4矩形区域以外，能够用(参照图像宽度)×(检索区域的高度-更新区域的高度)的存储容量进行管理，所以能够简化用参照存储器管理单元进行的运算，能够减少电路安装量。

并且，上述辅助存储器部也可以还存储与上述第4矩形区域的整个下边相连接且横向宽度相同的第6矩形区域；上述存储器管理单元将上述第4矩形区域左端的纵L像素横K像素大小的像素数据，从上述辅助存储器部传输到第1存储器部，再将上述第4矩形区域和第6矩形区 域合并，并按先进先出方式管理上述辅助存储器部，将使上述更新区域向下扩展的扩展更新区域从上述存储单元传输到上述辅助存储器部，以供下一对象块使用；上述运动检测单元利用上述第4矩形区域、第5矩形区域和第6矩形区域进行运动检测的检索。这样，虽然帧存储器的传输量增加，但通过增加最低限的存储器，能够扩大运动检测的检索范围的高度。

并且，上述第1矩形区域也可以包括作为从其上端到L像素高度的部分的第7矩形区域及其以外的第8矩形区域，上述参照存储器单元具有第1存储器部和辅助存储器部，上述第1存储器部按先进先出方式来存储上述第8矩形区域、第2矩形区域和第3矩形区域，上述辅助存储器部按先进先出方式存储上述第7矩形区域，上述参照存储器管理部将上述第7矩形区域右端的纵L像素横K像素大小的像素数据，从上述第1存储器部传输到上述辅助存储器部，再将上述更新区域的像素数据按先进先出方式从上述存储单元传输到第1存储器部，以供下一对象块使用。这样，除上述第7矩形区域外，能够按照(参照图像宽度)×(检索区域的高度-更新区域的高度)的存储容量进行管理，所以能够简化用参照存储器管理单元来进行的运算，能够减少电路安装量。

并且，上述辅助存储器部也可以还存储与上述第7矩形区域的整个上边相连接且横向宽度相同的第9矩形区域；上述存储器管理单元将上述第7矩形区域右端的纵L像素横K像素大小的像素数据，从第1存储器部传输到上述辅助存储器部，再将上述第7矩形区域和第9矩形区域合并，并按先进先出方式管理上述辅助存储器部，将上述更新区域从上述存储单元传输到上述第1存储器部，以供下一对象块使用。

也可以由上述运动检测单元利用上述第7矩形区域、上述第8矩形区域和上述第9矩形区域进行运动检测的检索。这样，使帧存储器的传输量增加，但通过增加最低限的存储器，能够扩大运动检测的检索范围的高度。

而且，本发明不仅能够作为这样的运动检测装置来实现，而且也可以作为以这种运动检测装置所具有的特征性手段为步骤的运动检测方法来实现，或者作为使计算机执行这些步骤的程度来实现。并且，不言而喻，这种程序能够通过CD-ROM等记录媒体和互联网等传输媒体发送。

发明效果

从以上的说明中可以看出，根据本发明的运动检测装置，能够减少从外部帧存储器向内部参照用局部存储器的数据传输次数，同时能够兼顾使存储容量的减小和硬件安装电路规模或者软件安装的处理步骤的减少。

有关本发明的技术背景的详细信息

本申请中参考并合并了2006年2月3日提交的日本的专利申请No.2006-102563。

附图说明

从以下参照附图对本发明的实施方式进行的说明中可以看出本发明的目的、优点和特征。

图1是用于说明过去的画面间预测编码装置的框图。

图2是用于说明过去的画面间预测解码装置的框图。

图3是用于说明画面间预测编码装置和帧存储器的连接结构的概要图。

图4是表示按每1个画面传输的参照像素的状态的模式图。

图5是表示在减少参照像素的传输量的情况下的存储器更新状态的模式图。

图6是表示在减少安装存储器容量的情况下的存储像素的管理状态的模式图。

图7是利用FIFO管理时的参照存储器的逻辑边界的物理地址配置图。

图8是表示采用涉及本发明第1实施方式的运动检测装置的画面间 预测编码装置的结构的框图。

图9是表示画面间预测编码装置和帧存储器的连接结构的概要图。

图10是表示高速缓冲器和参照用局部存储器的存储区域的模式图。

图11是表示存储在高速缓冲器内的矩形区域结构的模式图。

图12是表示进行下次运动检测时的矩形区域结构的模式图。

图13是表示本发明第1实施方式的运动检测装置中的地址变换的中间信息的位置的模式图。

图14A、14B是本发明第1实施方式的运动检测装置中用于进行地址变换的流程图。

图15是表示本发明第2实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图。

图16是表示本发明第2实施方式的运动检测装置中的地址变换的中间信息的位置的模式图。

图17是表示本发明第2实施方式的运动检测装置中的用于进行地址变换的流程图。

图18是表示本发明第3实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图。

图19是表示本发明第3实施方式的运动检测装置中的地址变换的中间信息的位置的模式图。

图20是表示本发明第3实施方式的运动检测装置中的用于地址变换的流程图。

图21A、21B是表示检索区域是画面端的情况下的矩形区域结构的模式图。

图22是表示本发明第5实施方式的画面间预测编码装置和帧存储器的连接结构的框图。

图23A、23B是表示本发明第5实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图。

图24是表示本发明第6实施方式的画面间预测编码装置和帧存储 器的连接结构的框图。

图25A、25B是表示本发明第6实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图。

图26A、26B是表示本发明第6实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图的变形。

图27是表示实现H.264刻录机的AV处理部的结构的框图。

具体实施方式

以下，分别参照图8至图27，说明本发明的各个实施方式。

<第1实施方式)

图8是表示采用本发明第1实施方式的运动检测装置的画面间预测编码装置的结构的框图。此外，对于与用于说明图1所示的过去的画面间预测编码装置的框图相同的部分，标注相同的符号，其说明从略。

本发明实施方式的画面间预测编码装置和图1所示的过去的画面间预测编码装置的不同点是：取代多帧存储器802而配备了外部多帧存储器820和内部参照用存储器820，以及增加了参照存储器管理部812。内部参照用存储器830设置在LSI的内部，该LSI包含画面间预测编码装置内的外部多帧存储器820以外的结构要素。外部多帧存储器820例如是对上述LSI上外加的SDRAM等大容量存储器。参照存储器管理部812控制从外部多帧存储器820向内部参照用存储器830的数据传送。

工作流程大致上与图1所示的过去的画面间预测编码装置的动作相同，作为来自加法器807的加法运算结果的解码画面RP被存储在外部多帧存储器820内。然后，从外部多帧存储器820中把运动补偿预测中所使用的区域输出到参照用局部存储器811内。并且，由参照存储器管理部812控制外部多帧存储器820和内部参照存储器830之间的数据传输。

图9是表示画面间预测编码装置和帧存储器的连接结构的概要图。在该图中，与图8和图3相同的符号表示同一结构，其说明从略。内部 参照存储器830由高速缓冲器106和参照用局部存储器107阶段性地构成，所述高速缓冲器106用于对来自外部多帧存储器820的像素传输进行暂存，所述参照用局部存储器107用于用运动检测器801实际进行像素检索。这是因为，将高速缓冲器106用作减少来自LSI外部的像素传输量的一级缓冲器；将参照用局部存储器107用作以更高存取频度实际进行检索的存储器。

以下，继续说明由参照存储器管理部812控制的内部参照存储器830的动作。

图10是表示高速缓冲器和参照用局部存储器的存储区域的模式图。在该图中，参照区域Area RLM表示存储在参照用局部存储器811内的区域，它包括检索区域以及与其右侧相邻接的更新用区域。高速缓冲器区域Area Ocm包括参照区域Area RLM，表示存储在高速缓冲器106内的区域。

图11是表示存储在高速缓冲器内的矩形区域结构的模式图。进一步详细说明高速缓冲器区域Area Ocm的区域形状。矩形区域1ARect1是包含参照区域Area RLM的矩形区域。矩形区域2ARec2是位于矩形区域1ARect1左侧的矩形区域，矩形区域2ARect2的宽度是指从参照图像左端像素起到与矩形区域1A Rect1左端的与左面相邻接的像素为止的宽度，矩形区域2ARect2的高度比矩形区域1A Rect1的高度小L个像素，矩形区域2A Rect2的下端是与矩形区域1A Rect1的下端相同的水平位置。并且，矩形区域3A Rect3是位于矩形区域1ARect1右侧的矩形区域，矩形区域3A Rect3的宽度是从上述参照图像右端像素起到矩形区域1A Rect1右端的与右侧相邻接的像素为止的宽度，矩形区域3A Rect3的高度比矩形区域1A Rect1的高度小L个像素，矩形区域3A Rect3的上端是与矩形区域1A Rect1上端相同的水平位置。并且，下次取得区域ARenew是为了检索下一块而增加的存储区域，下次释放区域A Erase是位于矩形区域1A Rect1内的左上方的高度区域，在高速缓冲器106中，下次释放区域A Erase和下次取得区域ARenew是物理 性质相同的存储区域，它相当于FIFO的开头(下次取得区域ARenew)和末尾(下次释放区域AErase)，是被写上的区域。这里，设参照图像Refpic的横向设为W像素，纵向设为H像素，进行运动检测的区域的横宽度为J像素以下，纵宽度为I像素以下，下次取得区域ARenew和下次释放区域A Erase的大小为横K像素、纵L像素时，矩形区域1ARect1的对顶角的坐标为(X，Y)和(X+I-1，Y+J-1)，矩形区域2A Rect2的对顶角的坐标为(0，Y+L)和(X-1，Y+J-1)，矩形区域3A Rect3的对顶角的坐标为(X+I、Y)和(W-1，Y+J-L-1)。

图12是表示进行下次运动检测时的矩形区域结构的模式图。在该图中，与图11相同的符号表示相同内容，其说明从略。但是，下次取得区域ARenew和下次释放区域A Erase变成为对前一个块的运动检索状态的位置。运动检索块前进一个，从图11的状态变成图12时矩形区域1A Rect1的对顶角的坐标成为(X+K，Y)和(X+I+K-1，Y+J-1)，矩形区域2A Rect2的对顶角的坐标成为(O，Y+L)和(X+K-1，Y+J-1)，矩形区域3A Rect3的对顶角的坐标成为(X+K+I、Y)和(W-1，Y+J-L-1)。

基本区域操作按图11和图12所示进行。以下，表示物理地址的计算方法。在本发明的第1实施方式中，下次取得区域ARenew的纵向长度和下次释放区域A Erase的纵向长度限定在2的乘方的长度，由此，能够很容易从逻辑空间地址变换为物理地址。例如，即使编码块的纵向高度为12像素，也把L设定为16(＝2^4、^表示乘方)像素来进行更新。并且，希望1个字的像素结构数也是2的乘方。

图13是表示本发明第1实施方式的运动检测装置中的地址变换的中间信息的位置的模式图。在该图中，为了简化，和图7同样地表示横320像素×纵240像素的QVGA大小的图像，1个字由8个像素构成。并且，在表示运动检测的纵向为±16像素、横向为±16像素(±2字)，更新区域为(横16像素(＝2字))×(纵向48像素)的情况下，由粗线围起来的区域HLA表示物理地址0到1407被映射(变换)的一区域，在超越粗线的逻辑空间位置发生存储器写入的情况下，通过在物理上写 入前面的数据，按照FIFO使用高速缓冲器106。换言之，多个区域HLA的各个开头像素必须存储在按照FIFO循环管理的高速缓冲器106的固定的特定地址(例如物理地址0号码)上。

在该图中，小区域SA表示(1字)×(L像素)的小区域，在本实施方式1中，把L设定为2的乘方，这样，容易进行地址计算。AO和A1表示小区域SA从左上的原点起按照光栅顺序有多少个。BO和B1表示在粗线围起来的区域HLA中是第几个小区域SA，C0和C1表示小区域SA存在于由第几条粗线围起来的区域HLA中。并且，DO和EO表示在对象图像最初的区域HLA中，作为与小区域SA相同的物理存储地址位置的位置的小区域SA单位的水平位置和垂直位置。

图14A和图14B是本发明第1实施方式的运动检测装置中用于进行地址变换的流程图。图14A是和过去一样用光栅地址计算物理地址的流程图。图14B是在小区域SA内按照形成连续地址的方法进行计算的流程图。以下说明这些地址变换的流程。

在图14A中，S700表示地址变换处理的开始。在假定要变换的空间坐标为(X0、Y0)时，首先，求出A0和小区域SA内的相对坐标(delta-x0，delta-y0)(S701步骤)。这里，在图13中，把L设定为16像素，1字也设定为8像素，所以求出A0和相对坐标(delta-x0，delta-y0)时，求除法运算和剩余时，能够用位移位和位屏蔽来对应。以下“＞＞”表示位移，“&”表示位与，“％”表示剩余运算，“/”表示整数除法运算。

A0＝(y0＞＞4)*40+(x0＞＞3)；(公式1)

delta_x0＝x0&0x7；          (公式2)

delta_y0＝y0&0xF；          (公式3)

以下利用由粗线把A0围起来的区域HLA的结构字数88进行除法运算并求出余数，求出B0和C0(S702步骤)。

B0＝A0％88；   (公式4)

C0＝A0/88；    (公式5)

以下，利用参照图像RefPic的横宽字数40，来进行除法运算并计算出余数，求出D0和E1(S703步骤)。

D0＝B0％40；    (公式6)

E1＝B0/40；     (公式7)

最后，判断出B0是否小于80(S704步骤)，如果相等，则用(公式8)(S705步骤)；如果不相等，则用(公式9)(S706步骤)，变换成物理地址adr0。

adr0＝D0+(E0*40)＜＜4+delta_y0*40；    (公式8)

adr0＝D0+(E0*40)＜＜4+delta_y0*8；     (公式9)

这里，假定小区域SA的高度L为2的乘方，所以即使(公式8)和(公式9)也可以不用乘法运算，而是用位移(4位左移)来对应。

再者，如图14B所示，通过将地址分配为在小区域SA内连续，能够进一步简化计算。S710表示地址变换处理的开始。当设要变换的空间坐标为(x1、y1)时，首先求出A1和小区域SA内的相对坐标(delta_x1，delta_y1)(S711步骤)。这里，和图14A一样，设1字为8像素，所以，在求A1和相对坐标(delta_x1，delta_y1)时，进行除法运算并求出余数时，可用位移和位屏蔽来对应。

A1＝(y1＞＞4)*40+(x1＞＞3)；    (公式10)

delta_x1＝x1&0x7；              (公式11)

delta_y1＝y1&0xF；              (公式12)

以下，利用由粗线把A1围起来的区域HLA的结构字数88，来进行除法运算并求出余数，求出B1和C1(S712步骤)。

B1＝A1％88；    (公式13)

C1＝A1/88；     (公式14)

最后用(公式15)(S713步骤)变换成物理地址adr1.

Adr1＝B1＜＜4+delta_y1；    (公式15)

这里也同样设小区域SA的高度L为2的乘方，所以即使是(公式15)也并非用乘法运算，而是用位移(4位左移)来适应。

<第2实施方式>

以下，说明利用第2实施方式中的参照存储器管理部812来进行控制的内部参照存储器830的动作。

图15是表示本发明第2实施方式的运动检测装置中所用的、存储参照图像像素的管理区域的模式图。在本发明第2实施方式中，在高速缓冲器106上的逻辑空间内，横方向把图像宽度划分为2的乘方个，划分成以纵向高度设为下次取得区域ARenew的高度L的区段，对上述区段按FIFO进行循环管理。在该图中，表示区段1～9循环地出现在逻辑空间内的状态。物理图memmap2表示配置区段1到区段9的状态，在区段9的区域中，用密集点表示的区域写在用稀疏点表示的区域。

再者，利用图16和图17，详细说明地址计算方法。图16是表示本发明第2实施方式的运动检测装置中的地址变换的中间信息的位置的模式图。在该图中，为了简化，和图7一样，表示横320像素×纵240像素的QVGA尺寸的图像，1字由8像素构成。管理区段的宽度是利用2的乘方4去除图像宽度所得的值10进行管理。这时，在用2的乘方除不尽图像宽度的情况下，将最右边的区段处理为进入有无效像素。也就是说，即使图像宽度为38字，也按照有40字来进行处理。

在该图中，与图13相同的符号表示相同内容，其说明从略。并且，在小区SA为(1字)×(L像素)＝(8像素)×(16像素)的小区域时，A2表示小区域SA从左上的原点起按光栅顺序为第几个。B2表示从参照图像RefPic的左上起按光栅顺序计数是第几个区段，C2表示在由粗线围起来的区域HLA内是第几个区段。

图17是表示本发明第2实施方式的运动检测装置中的用于进行地址变换的流程图。以下，利用流程图说明第2实施方式的地址变换流程。

S1000表示地址变换处理的开始。当设希望变换的空间坐标为(x2，y2)时，首先求出A2和小区域SA内的相对坐标(delta_x2，delta_y2)(S1001步骤)。

A2＝(y2＞＞4)*40+(x2＞＞3)；    (公式15)

delta_x2＝x2&0x7；              (公式16)

delta_y2＝y2&0xF；              (公式17)

以下，求出B2和C2(S1002步骤)。

B2＝(y2＞＞4)＜＜2+((x2＞＞3/10)；    (公式18)

C2＝B2％9；                           (公式19)

最后，求出物理地址adr2(S1003步骤)。

adr＝((C2*160)+(delta_y2*10+((x2＞＞3)％10))；(公式20)

如以上说明，在本实施方式中，参照存储器管理部812，在纵向上把参照图像的宽度等分成M个，在横向上按每个纵向L像素进行划分，设采用传输区域的横向划分的纵向划分数为N，把高速缓冲器106划分成“M×(N-1)+1”以上“M×N-1”以下的个数的存储体，对划分后的存储体按先进先出方式循环地进行管理。在上述例中，说明了M＝4、N＝3、存储体数为9的情况。

在第1实施方式中，在(公式4)～(公式7)、(公式13)～(公式14)中需要进行除法运算并计算余数，在(公式8)～(公式9)中需要乘法运算和条件判断，需要大量的运算；但是，在第2实施方式的(公式18)～(公式20)中，利用区段宽度(10字)中的除法运算和余数、区段管理数(9区段)的余数、2次乘法运算即可实现。并且，除法/余数计算中的除数，也可以比第1实施方式中的除数88小，所以，电路安装成本也能够降低。

<第3实施方式>

以下，说明利用第3实施方式中的参照存储器管理部812来进行控制的内部参照存储器830的动作。

图18是表示本发明第3实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图。在本发明的第3实施方式中，在高速缓冲器106上，在水平方向为2的乘方的宽度的虚拟逻辑空间内，划分 为横方向是适当的2的乘方的宽度、并且纵向高度设为下次取得区域ARenew的高度L的区段，按FIFO对上述区段进行循环管理。这里，因为区段是2的乘方宽度，所以参照图像RefPic右端也可能在管理区域上产生无效区域。在该图中，表示区段1至区段9循环地出现在逻辑空间内的状态。物理图memmap3表示配置区段1～区段9的状态，在区段9的区域内，用密集点表示的区域写在用稀疏点表示的区域上，在区段2和区段6中，由于原来超越了画面右端，所以，变成了不存在实像素的无效区域。

另外，利用图19和图20，详细说明地址计算方法。图19是表示本发明第3实施方式的运动检测装置中的地址变换的中间信息的位置的模式图。在该图中，为了简化，和图7一样表示横320像素×纵240像素的QVGA大小的图像，1字由8像素构成。这里，表示管理区域的宽度，由作为2的乘方的16字来进行控制，虚拟空间有64字(＝2^6)的横宽。实际布置像素的是其中的前3个区段(48＝16×3)。

在该图中，与图13相同的符号表示相同内容，其说明从略。并且，小区域SA设定为(1字)×(L像素)＝(8像素)×(16像素)的小区域时，A3表示SA从左上的原点起按光栅顺序为几个。B3表示从参照图像RefPic左上起按光栅顺序计数为第几个区段，C3表示在由粗线围起来的区域HLA内的第几个区段。

图20是表示本发明第3实施方式的运动检测装置中的用于地址变换的流程图。以下，利用流程图，说明第3实施方式的地址变换流程。

S1300表示地址变换处理的开始。当把希望变换的空间坐标设定为(x3，y3)时，首先求出A3和小区域SA内的相对坐标(delta_x3，delta_y3)(S1301步骤)。

A3＝(y3＞＞4)＜＜6+(x3＞＞3)；    (公式21)

delta_x3＝x3&0x7；                (公式22)

delta_y3＝y3&0xF；                (公式23)

以下，求出B3和C3(S1302步骤)

B3＝(y3＞＞4)＜＜2+((x2＞＞3)＞＞4)；    (公式24)

C3＝B3％7；                              (公式25)

最后，求出物理地址adr3(S1303步骤)。

adr3＝((C3＜＜4)＜＜4)+((delta_y3＜＜4)+((x3＞＞3)&0xF))；(公式26)

如以上说明，本实施方式中的参照存储器管理部812把包含参照图像而且在水平方向上具有2的乘方个地址的虚拟空间，在纵向上等分成由2的乘方表示的M个，在横向上按每个纵L像素进行划分，设采用传输区域的横向划分的纵方向的划分数为N，把高速缓冲器106划分成“M×(N-1)+1”以上“M×N-1”以下个数的存储体，对划分后的存储体按先进先出方式循环地进行管理。在上述例中，说明了M＝4，N＝3，存储体数为9的情况。

在第2实施方式的(公式14)～(公式20)中，需要用区段宽度(10字)的除法运算和余数计算、区段管理数(9区段)的余数计算、以及2次乘法运算，但在第3实施方式的(公式24)～(公式26)中，(公式25)以外的除法运算、余数、乘法运算等运算可以用位移和位屏蔽来安装，在硬件安装时，对于(公式26)等加法运算，仅通过位连接即可安装，能够降低电路安装成本。并且，同样，在软件安装时，可以减少大量步骤数。

<第4实施方式>

以下，说明利用第4实施方式中的参照存储器管理部812进行控制的内部参照存储器830的动作。在用运动检测器801来检索的像素区域为参照图像RefPic端的情况下，必须更改高速缓冲器106的区域管理。

图21是表示检索区域是画面端的情况下的矩形区域结构的模式图。在该图中，矩形区域1左ARect1L是图11的矩形区域1ARect1被划分成参照图像RefPic的左右端时的画面左的矩形区域，矩形区域1右ARect1是同样地被划分的画面右的矩形区域，矩形区域OARect0，相 对矩形区域1左ARect1L，相当于图11的矩形区域3ARect3，相对矩形区域1右ARect1R，相当于图11的矩形区域2ARect2，是不马上使用的备用存储区域。

在对图11和图12所示的矩形区域进行更新的情况下，若矩形区域1ARect1到达画面右端，则下次取得区域在再一个从左端区域开始进行更新。所以，若进行编码，则从图11和图12的状态变成图21A的状态，这时，对检索区域ASrchR中进行运动检测。但进一步若检索中心越过参照画面的右端，则变成图21B的状态，对检索区域ASrchL中进行运动检测。

<第5实施方式>

以下，利用图22和图23，对第5实施方式进行说明。

图22是表示本发明第5实施方式的画面间预测编码装置和帧存储器的连接结构的框图。在该图中，与图9所示的符号相同的符号表示相同内容，其说明从略。与图9所示的结构图的不同点如下：在内部参照存储器830中，又增加辅助存储器108，把外连接总线Bus1连接到辅助存储器108上；另外，设置从辅助存储器108向高速缓冲器106传输的内部总线，将来自高速缓冲器106的内部总线Bus3和来自辅助存储器108的内部总线Bus4构成为把由像素选择部MS选择的图像传输到参照用局部存储器107。

图23A、23B是表示本发明第5实施方式的运动检测装置中所用的、存储参照图像像素的管理区域的模式图。在该图中，与图11相同的符号表示相同内容，其说明从略。在图23A中，矩形区域1ARect1划分成下侧的矩形区域4ARect4、和上侧的矩形区域5ARect5的上下2个区域，将矩形区域5Arect5的垂直的高度设定为与矩形区域3ARect3相同的高度。并且，矩形区域6ARect6是比图11增加的区域。并且，图23B表示各矩形区域分别被存储在哪个存储器内，在高速缓冲器106内存储矩形区域2ARect2、矩形区域5ARect5和矩形区域3ARect3，在辅助存 储器108内存储矩形区域4ARect4和矩形区域6ARect6。

这时，像素的流程如下。首先，从外部帧存储器820存储到辅助存储器108中，在辅助存储器108中，像素信息按FIFO方式处理。通过FIFO管理，从辅助存储器108中废除老的数据，但被废除的像素数据中，关于矩形区域4ARect4中所包含的部分，作为向高速缓冲器106内的输入，在高速缓冲器106上同样进行FIF0管理。最终，从高速缓冲器106和辅助存储器108通过像素选择部MS而有选择地传输存储到参照用局部存储器107，为了利用运动检测器801来进行运动检测，采用参照像素。

通过采用以上结构，高速缓冲器106的物理地址管理中，能够以FIFO方式管理(图像宽度W)×(检索区域的高度J-下次取得区域的高度L)部分的存储器，因此，从物理性质上地址循环的部位不会偏移，容易安装。另一方面，关于辅助存储器108的物理地址管理，和第2实施方式及第3实施方式所示的区段一样，若按照以2的乘方划分的宽度和2的乘方的宽度来管理图像宽度，则容易安装。并且，由于增加矩形区域6ARect6的部分，所以增加来自外部帧存储器820的像素传输量，但可在不会使安装存储器量增加太多的情况下，即可扩大垂直方向的运动检索范围。作为别的应用例，H.264标准的MBAFF(Macroblock-Adaptive Frame-Field Coding)是利用上下2个MB对来进行编码的工具。在与该MBAFF等相适应的情况下，作为矩形区域6ARect6，通过增加1MB的高度部分，也能够很简单地达到对应。

<第6实施方式>

以下，利用图24至图26，详细说明第6实施方式。

图24是表示本发明第6实施方式的画面间预测编码装置和帧存储器的连接结构的框图。在该图中，与图9所示的符号相同的符号表示相同内容，其说明从略。与图9所示的结构图的不同点在于，在内部参照存储器830中又增加了辅助存储器108，在高速缓冲器106和辅助存储 器108两者上连接了外部连接总线Bus1，还设置了从高速缓冲器106向辅助存储器108传输的内部总线，将来自高速缓冲器106的内部总线Bus3、以及来自辅助存储器108的内部总线Bus4构成为向参照用局部存储器107传输由像素选择部MS选择的图像。

图25A、图25B是表示本发明第6实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图。在该图中，与图11相同的符号表示相同内容，其说明从略。在图25A中，矩形区域1ARect1划分成上侧的矩形区域7ARect7和下侧的矩形区域8ARect8的上下2个区域，矩形区域8ARect8的垂直高度设定为和矩形区域2ARect2的高度相同。并且，矩形区域9ARect9是比图11增加的区域。并且，图25B表示各矩形区域分别存储在哪个存储器内，在高速缓冲器106中存储矩形区域2ARect2、矩形区域8ARect8和矩形区域3ARect3，在辅助存储器108内存储矩形区域7ARect7和矩形区域9ARect9。

这时，像素的流程如下。首先，从外部多帧存储器820中存储到高速缓冲器106，在高速缓冲器106内按FIFO来处理像素信息。通过FIFO管理，从高速缓冲器106的矩形区域3ARect3废除老的数据，变成向辅助存储器108的输入，在辅助存储器108上同样进行FIFO管理。这时，同时，关于辅助存储器108的矩形区域9ARect9的部分，能够从外部帧存储器820传输扩展检索用的像素数据。最终，从高速缓冲器106和辅助存储器108通过像素选择部MS有选择地向参照用局部存储器107传输存储，为了通过运动检测器801进行运动检测，使用参照像素。

通过采用以上结构，高速缓冲器106的物理地址管理，可以按FIFO来管理(图像宽度W)×(检索区域的高度J-下次取得区域的高度L)部分的存储器，所以在物理结构上地址循环的部位不会偏移，容易进行安装。另一方面，关于辅助存储器108的物理地址管理，和第2实施方式及第3实施方式所示的区段一样，若图像宽度按照以2的乘方来划分的宽度和2的乘方的宽度来进行管理，则容易安装。并且，由于增加了矩形区域9ARect9部分，所以虽然使来自外部帧存储器820的像素传输 量增加，但是可在安装存储器量不增加很多的情况下，即可扩充垂直方向的运动检索范围。作为别的实用例，和第5实施方式一样，在使其对应于H.264标准的MBAFF时，为了扩展纵向检索范围，也可以增加矩形区域9ARect9。

再者，在减小存储容量的情况下，采用下述结构。图26A、26B是表示本发明第6实施方式的运动检测装置中所用的存储参照图像像素的管理区域的模式图的变形。在该图中，与图25A和图25B相同的符号表示相同内容，其说明从略。与图25A、图25B的不同点在于，在辅助存储器108中，取消运动检索范围扩充用的矩形区域9ARect9，减小矩形区域7ARect7的横宽，用作传输到参照用局部存储器107之前的小规模高速缓冲器。内部参照存储器830由运动检测器801直接使用的参照用局部存储器107、作为备用存储区域使用的高速缓冲器106和辅助存储器108构成的情况下，容易进行物理地址管理，此外，能够把存储容量减到最小限度。

<第7实施方式>

再者，在此说明上述实施方式所示的画面间预测编码装置的应用例。图27是表示实现H.264刻录机的AV处理部的结构的框图。

AV处理部700是采用DVD刻录机和硬盘刻录机等，再生数字压缩的声音和图像的处理部，如图27所示，具有：流输入输出部727、存储器输入输出部728、AV控制部729、图像编解码部721、声音编解码部722、图像处理部723、图像输入输出部724、声输处理部725、声音输入输出部726和总线B。

流输入输出部727与总线B相连接，对声音和图像的流数据St进行输入输出，图像编解码部721与总线B相连接，进行图像的编码和解码。声音编解码部722与总线B相连接，进行声音的编码和解码。存储器输入输出部728是存储器710的数据信号的输入输出接口，与总线B相连接。这里，存储器710存储流数据、编码数据以及解码数据等数据， 包括图8所示的外部多帧存储器区域。

图像处理部723与总线B相连接，对图像信号进行预处理和后处理。图像输入输出部724把在图像处理部723中处理的或者在图像处理部723中未处理而仅仅是通过的图像数据信号作为图像信号Vs输出到外部，或者从外部取入图像信号VS。

声音处理部725与总线B相连接，对声音信号进行预处理和后处理。声音输入输出部726把在声音处理部725中处理的或者在声音处理部725中未处理而仅仅是通过的声音数据信号作为声音信号exASig输出到外部，或者从外部取入声音信号exAsig。

并且，AV控制部729进行AV处理部700的整体控制。总线B传输流数据和声音、图像的解码数据等数据。

这里，利用图27仅说明编码动作。最初，图像信号VS输入到图像输入输出部724，声音信号exAsig输入到声音输入输出部726。然后，利用已输入到图像输入输出部724的图像信号VS，在图像处理部723中进行用于滤波处理和编码的特征量抽出等，通过存储器输入输出部728，作为原图像存储到存储器710。然后，再通过存储器输入输出部728把原图像数据和参照图像数据从存储器710传输到图像编解码部721，相反，把在图像编解码部721编码了的图像流数据和局部复原数据从图像编解码部721传输到存储器710。

这里，图像编解码部721大致上相当于图8整体，图像流相当于该图的编码信号Str，再者，存储器710包括该图的外部多帧存储器820的区域。

另一方面，利用已输入到声音输入输出部726的声音信号exASig，在声音处理部725中，进行用于滤波处理和编码的特征量抽出等，通过存储器输入输出部728存储到存储器710，作为原声音数据。然后，再通过存储器输入输出部728从存储器710取出原声音数据，进行编码，再次作为声音流数据存储到存储器710。

最后，图像流、声音流和其他流信息作为一个流数据来进行处理， 通过流输入输出部727输出流数据St，并向光盘和硬盘等存储媒体内进行写入处理。

并且，框图(图8和图27等)的各个功能块，典型的方式是以集成电路LS1来实现。这些功能既可以分别进行单芯片化，也可以单芯片化为包含一部或全部功能(例如也可以是存储器以外的功能块进行单片化)。但是，图1的外部多帧存储器820和图27的存储器710必须保存大量数据，所以一般是利用外加到LS1上的大容量DRAM等进行安装，但也可以通过提高技术来实现一个封装或和单芯片化。

这里，将其称为用LS1，但根据其集成度不同，也可以称为IC、系统LS1、超级LS1、极级LS1。并且，集成电路化的方法不限于LS1，也可以借助专用电路或通用处理器来实现。也可利用在制造LS1后可编程的FPGA(现场可编程序门阵列)、以及可重构LS1内部的电路单元的连接和设定的可重构处理器。再者，如果因半导体技术的进步或者派生的别的技术出现代替LS1的集成电路化技术，则当然可以利用该技术来进行功能块的集成化。也有可能利用生物技术等。

本发明的运动检测装置能够抑制内部参照存储器的安装成本的增加，能够大幅度减少运动检测中使用的参照像素的传输量，同时能够进一步减少参照存储器管理单元中的电路安装量。所以有助于实现例如采用H.264标准的处理大图像尺寸的DVD刻录机、硬盘刻录机以及摄录相机等。

虽然对本发明已参照附图通过实施例进行了详细说明，但是应当指出，熟悉该技术的人员能够做出产生各种变形和改进。所以，在不脱离本发明的精神的各种变形和改进应当包括在本发明的范围内。

Claims (15)

1.一种运动检测装置，对构成图像的每个块检测运动，其特征在于，具有：

存储单元，存储参照图像；

参照存储器单元，存储上述参照图像中构成从上述存储单元传输的传输区域的像素数据；

运动检测单元，利用上述参照存储器单元中存储的、传输区域中所包含的检索区域的图像数据，检测作为运动检测对象的对象块的运动；以及

存储器管理单元，更新上述传输区域的一部分，以供下一对象块使用，

上述传输区域包括第1至第3矩形区域；

上述第1矩形区域包含上述检索区域；

上述第2矩形区域的宽度是从上述参照图像左端的像素起到与第1矩形区域左端的左边相邻接的像素为止的宽度，上述第2矩形区域的高度比第1矩形区域的高度小L像素，上述第2矩形区域的下端是与第1矩形区域的下端相同的水平位置；

上述第3矩形区域的宽度是从上述参照图像右端的像素起到与第1矩形区域右端的右边相邻接的像素为止的宽度，上述第3矩形区域的高度比第1矩形区域的高度小L像素，上述第3矩形区域的上端是与第1矩形区域的上端相同的水平位置；

上述L由2的乘方表示；

上述存储器管理单元将与第1区域的右边相邻接且与第3区域的下边相邻接的高度L像素宽度K像素构成的更新区域的像素数据，从上述存储单元传输到上述参照存储器单元内的存储区域中位于上述第1区域内的左上方的、用于存储高度L像素宽度K像素大小的像素数据的存储区域，

上述存储器管理单元随着上述对象块的移动的进行，将上述第1矩形区域的右端到达上述参照图像的右端之后的第1矩形区域划分成第1右矩形区域和第1左矩形区域，

第1右矩形区域包含参照图像的右端，

第1左矩形区域包含参照图像的左端，位于比第1右矩形区域低L像素的位置，

当上述第1矩形区域已被划分时，把第2和第3矩形区域合并为一个矩形区域，

被合并的矩形区域在横向上被第1右矩形区域和第1左矩形区域夹着，被合并的矩形区域的下端是与第1右矩形区域的下端相同的水平位置，被合并的矩形区域的上端是与第1左矩形区域的上端相同的水平位置，

上述存储器管理单元不划分上述检索区域，而是把上述检索区域设定在第1右矩形区域和第1左矩形区域中的某一个中。

2.如权利要求1所述的运动检测装置，其特征在于：

存储在上述存储单元中的上述参照图像的左上像素的坐标是(0，0)，上述参照图像具有横W像素纵H像素的尺寸，

对应于对象块的上述第1矩形区域的左上的坐标是(X，Y)，上述第1矩形区域具有横I像素纵J像素的尺寸，

对应于对象块的上述第2矩形区域的左上坐标是(0，Y+L)，其右下坐标是(X-1，Y+J-1)，

对应于对象块的上述第3矩形区域的左上坐标是(X+I，Y)，其右下坐标是(W-1，Y+J-L-1)。

3.如权利要求2所述的运动检测装置，其特征在于，

上述存储器管理单元，

将上述更新区域的像素数据从上述存储单元传输到上述参照存储器单元内的存储区域中的、用于存储以上述第1区域内的左上坐标(X，Y)、右下坐标(X+K，Y+L)作为对顶角的高度L像素宽度K像素大小的像素数据的存储区域，以供下一对象块使用，由此

将对应于下一对象块的第1矩形区域的左上坐标更新为(X+K，Y)，将其右下坐标更新为(X+I+K-1，Y+J-1)，

将对应于下一对象块的上述第2矩形区域的左上坐标更新为(0，Y+L)，将其右下坐标更新为(X+K-1，Y+J-1)，

将对应于下一对象块的上述第3矩形区域的左上坐标更新为(X+K+I，Y)，将右下坐标更新为(W-1，Y+J-L-1)。

4.如权利要求1所述的运动检测装置，其特征在于，

上述参照存储器单元具有：

第1存储器部，存储构成上述第1至第3矩形区域的像素数据；以及

第2存储器部，存储从上述第1存储器部传输的、构成上述第1矩形区域中的上述检索区域的像素数据，

上述存储器管理单元将构成上述检索区域的像素数据从第1存储器部传输到第2存储器部，

上述运动检测单元从上述第2存储器部取得像素数据，对对象块的运动进行检测。

5.如权利要求1所述的运动检测装置，其特征在于，

上述存储器管理单元将上述参照图像的(X，Y)坐标所表示的逻辑地址变换成在光栅方向上被分配的物理地址，

在从上述存储单元向上述参照存储器单元的传输中，按先进先出方式来管理上述参照存储器单元。

6.如权利要求5所述的运动检测装置，其特征在于，

上述存储器管理单元将参照图像在纵向上等分成M列，对每高度L像素在横向上进行划分，将传输区域的横向划分的纵向划分数设定为N行，

将参照存储器单元划分成M×(N-1)+1以上且M×N-1以下个数的存储体，对划分后的存储体按先进先出方式循环地进行管理。

7.如权利要求5所述的运动检测装置，其特征在于，

上述存储器管理单元，

将包含参照图像且在水平方向上具有2的乘方个地址的虚拟空间在纵向上等分成由2的乘方表示的M列，对每高度L像素在横向上进行划分，将传输区域的横向划分的纵向划分数设定为N行，

将参照存储器单元划分成M×(N-1)+1以上且M×N-1以下个数的存储体，对划分后的存储体按先进先出方式循环地进行管理。

8.如权利要求1所述的运动检测装置，其特征在于：

上述第1矩形区域包括作为从其下端到L像素高度的部分的第4矩形区域及其以外的第5矩形区域，

上述参照存储器单元具有第1存储器部和辅助存储器部，

上述第1存储器部按先进先出方式存储上述第5矩形区域、上述第2矩形区域和上述第3矩形区域，

上述辅助存储器部按先进先出方式存储上述第4矩形区域，

上述参照存储器管理部将上述第4矩形区域左端的纵L像素横K像素大小的像素数据，从辅助存储器部传输到第1存储器部，再将上述更新区域的像素数据按先进先出方式从上述存储单元传输到上述辅助存储器部，以供下一对象块使用。

9.如权利要求8所述的运动检测装置，其特征在于，

上述辅助存储器部还存储第6矩形区域，该第6矩形区域与上述第4矩形区域的整个下边相连接，且该第6矩形区域的横向宽度与上述第4矩形区域相同；

上述存储器管理单元将上述第4矩形区域左端的纵L像素横K像素大小的像素数据，从上述辅助存储器部传输到第1存储器部，再将上述第4矩形区域和上述第6矩形区域合并，并按先进先出方式管理上述辅助存储器部，将使上述更新区域向下扩展的扩展更新区域从上述存储单元传输到上述辅助存储器部，以供下一对象块使用；

上述运动检测单元利用上述第4矩形区域、第5矩形区域和第6矩形区域进行运动检测的检索。

10.如权利要求1所述的运动检测装置，其特征在于，

上述第1矩形区域包括作为从其上端到L像素的高度的部分的第7矩形区域及其以外的第8矩形区域，

上述参照存储器单元具有第1存储器部和辅助存储器部，

上述第1存储器部按先进先出方式来存储上述第8矩形区域、上述第2矩形区域和上述第3矩形区域，

上述辅助存储器部按先进先出方式存储上述第7矩形区域，

上述参照存储器管理部将上述第7矩形区域右端的纵L像素横K像素大小的像素数据，从上述第1存储器部传输到上述辅助存储器部，再将上述更新区域的像素数据按先进先出方式从上述存储单元传输到第1存储器部，以供下一对象块使用。

11.如权利要求10所述的运动检测装置，其特征在于：

上述辅助存储器部还存储与上述第7矩形区域的整个上边相连接且横向宽度相同的第9矩形区域；

上述存储器管理单元将上述第7矩形区域右端的纵L像素横K像素大小的像素数据，从第1存储器部传输到上述辅助存储器部，再将上述第7矩形区域和上述第9矩形区域合并，并按先进先出方式管理上述辅助存储器部，将上述更新区域从上述存储单元传输到上述第1存储器部，以供下一对象块使用；

上述运动检测单元利用上述第7矩形区域、上述第8矩形区域和上述第9矩形区域进行运动检测的检索。

12.如权利要求10所述的运动检测装置，其特征在于，

上述参照存储器单元还具有第2参照存储器，辅助存储器部和第1存储器部中所存储的第7矩形区域和第8矩形区域中的、检索区域的像素数据、以及与检索区域的整个右边相连接的横向宽度K像素大小的更新用附加区域的像素数据传输到该第2参照存储器中，

上述运动检测单元利用从上述第2参照存储器取得的参照像素数据，检测对象块的运动，

上述参照存储器管理部以更新用附加区域的像素数据作为末尾，按先进先出方式管理辅助存储器部。

13.一种运动检测方法，对构成图像的每个块检测运动，其特征在于，具有以下步骤：

传输步骤，从存储参照图像的存储部，将上述参照图像中所包含的构成传输区域的像素数据传输到参照存储器；

检测步骤，利用上述参照存储器中存储的传输区域中所包含的检索区域的像素数据，对作为运动检测对象的对象块检测运动；以及

更新步骤，对上述参照存储器的上述传输区域的一部分进行更新，以供下一对象块使用，

上述传输区域包括第1至第3矩形区域，

上述第1矩形区域包含上述检索区域，

上述第2矩形区域的宽度是从上述参照图像左端的像素起到与第1矩形区域左端的左边相邻接的像素为止的宽度，上述第2矩形区域的高度比第1矩形区域的高度小L像素，上述第2矩形区域的下端是与第1矩形区域的下端相同的水平位置；

上述第3矩形区域的宽度是从上述参照图像右端的像素起到与第1矩形区域右端的右边相邻接的像素为止的宽度，上述第3矩形区域的高度比第1矩形区域的高度小L像素，上述第3矩形区域的上端是与第1矩形区域的上端相同的水平位置；

上述L由2的乘方表示；

在上述更新步骤，将与第1区域的右边相邻接且与第3区域的下边相邻接的高度L像素宽度K像素构成的更新区域的像素数据，从上述存储部传输到上述参照存储器内的存储区域中位于上述第1区域内的左上方的、用于存储高度L像素宽度K像素大小的像素数据的存储区域，

在上述更新步骤，随着上述对象块的移动的进行，将上述第1矩形区域的右端到达上述参照图像的右端之后的第1矩形区域划分成第1右矩形区域和第1左矩形区域，

第1右矩形区域包含参照图像的右端，

第1左矩形区域包含参照图像的左端，位于比第1右矩形区域低L像素的位置，

当上述第1矩形区域已被划分时，把第2和第3矩形区域合并为一个矩形区域，

被合并的矩形区域在横向上被第1右矩形区域和第1左矩形区域夹着，被合并的矩形区域的下端是与第1右矩形区域的下端相同的水平位置，被合并的矩形区域的上端是与第1左矩形区域的上端相同的水平位置，

在上述更新步骤，不划分上述检索区域，而是把上述检索区域设定在第1右矩形区域和第1左矩形区域中的某一个中。

14.一种图像编码装置，是对构成图像的每个块检测运动的集成电路，具有：

参照存储器单元，对构成从存储参照图像的外部存储部传输的传输区域的像素数据进行存储；

运动检测单元，利用上述参照存储器单元中存储的传输区域中所包含的检索区域的图像数据，检测作为运动检测对象的对象块的运动；以及

存储器管理单元，更新上述传输区域的一部分，以供下一对象块使用，

上述传输区域包括第1至第3矩形区域；

上述第1矩形区域包含上述检索区域；

上述第2矩形区域的宽度是从上述参照图像左端的像素起到与第1矩形区域左端的左边相邻接的像素为止的宽度，上述第2矩形区域的高度比第1矩形区域的高度小L像素，上述第2矩形区域的下端是与第1矩形区域的下端相同的水平位置；

上述第3矩形区域的宽度是从上述参照图像右端的像素起到与第1矩形区域右端的右边相邻接的像素为止的宽度，上述第3矩形区域的高度比第1矩形区域的高度小L像素，上述第3矩形区域的上端是与第1矩形区域的上端相同的水平位置；

上述L由2的乘方表示；

上述存储器管理单元将与第1区域的右边相邻接且与第3区域的下边相邻接的高度L像素宽度K像素构成的更新区域的像素数据，从上述存储部传输到上述参照存储器单元内的存储区域中位于上述第1区域内的左上方的、用于存储高度L像素宽度K像素大小的像素数据的存储区域，

上述存储器管理单元随着上述对象块的移动的进行，将上述第1矩形区域的右端到达上述参照图像的右端之后的第1矩形区域划分成第1右矩形区域和第1左矩形区域，

第1右矩形区域包含参照图像的右端，

第1左矩形区域包含参照图像的左端，位于比第1右矩形区域低L像素的位置，

当上述第1矩形区域已被划分时，把第2和第3矩形区域合并为一个矩形区域，

被合并的矩形区域在横向上被第1右矩形区域和第1左矩形区域夹着，被合并的矩形区域的下端是与第1右矩形区域的下端相同的水平位置，被合并的矩形区域的上端是与第1左矩形区域的上端相同的水平位置，

上述存储器管理单元不划分上述检索区域，而是把上述检索区域设定在第1右矩形区域和第1左矩形区域中的某一个中。

15.一种图像编码装置，对构成图像的每个块检测运动，并根据运动对图像进行编码，其特征在于，具有：

存储单元，存储参照图像；

参照存储器单元，存储上述参照图像中构成从上述存储单元传输的传输区域的像素数据；

运动检测单元，利用上述参照存储器单元中存储的、传输区域中所包含的检索区域的图像数据，检测作为运动检测对象的对象块的运动；以及

存储器管理单元，更新上述传输区域的一部分，以供下一对象块使用，

上述传输区域包括第1至第3矩形区域；

上述第1矩形区域包含上述检索区域；

上述第2矩形区域的宽度是从上述参照图像左端的像素起到与第1矩形区域左端的左边相邻接的像素为止的宽度，上述第2矩形区域的高度比第1矩形区域的高度小L像素，上述第2矩形区域的下端是与第1矩形区域的下端相同的水平位置；

上述第3矩形区域的宽度是从上述参照图像右端的像素起到与第1矩形区域右端的右边相邻接的像素为止的宽度，上述第3矩形区域的高度比第1矩形区域的高度小L像素，上述第3矩形区域的上端是与第1矩形区域的上端相同的水平位置；

上述L由2的乘方表示；

上述存储器管理单元将与第1区域的右边相邻接且与第3区域的下边相邻接的高度L像素宽度K像素构成的更新区域的像素数据，从上述存储单元传输到上述参照存储器单元内的存储区域中位于上述第1区域内的左上方的、用于存储高度L像素宽度K像素大小的像素数据的存储区域，

上述存储器管理单元随着上述对象块的移动的进行，将上述第1矩形区域的右端到达上述参照图像的右端之后的第1矩形区域划分成第1右矩形区域和第1左矩形区域，

第1右矩形区域包含参照图像的右端，

第1左矩形区域包含参照图像的左端，位于比第1右矩形区域低L像素的位置，

当上述第1矩形区域已被划分时，把第2和第3矩形区域合并为一个矩形区域，

被合并的矩形区域在横向上被第1右矩形区域和第1左矩形区域夹着，被合并的矩形区域的下端是与第1右矩形区域的下端相同的水平位置，被合并的矩形区域的上端是与第1左矩形区域的上端相同的水平位置，

上述存储器管理单元不划分上述检索区域，而是把上述检索区域设定在第1右矩形区域和第1左矩形区域中的某一个中。

Images