CN1415171A - 运动矢量检测装置 - Google Patents

Abstract

运动矢量检测部7A是对各像素图形来指定多个搜寻矢量，搜寻窗存储器部2及交换器3输出所指定的搜寻矢量及像素图形的像素数据，评价部4计算对所指定的搜寻矢量及像素图形的评价值，像素图形累积器8计算其评价值的累积，运动矢量检测部7A则将在评价值的累积值为小的搜寻矢量的评价值累积予以切断，从运动矢量的候选来削除其搜寻矢量。

Description

运动矢量检测装置

技术领域

本发明是关于在H.261方式及MPEG(Moving Picture ExpertsGroup)方式等的图像处理方式中，对于分割图像数据中的帧的各区块，检测已被编码的帧的运动矢量的运动矢量检测装置。

背景技术

图1是显示现有的运动矢量检测装置的构成的方块图。图2是显示控制图1的搜寻窗存储器部中的存储器的输出输入的电路之一例的方块图。图3是显示图1的交换器的构成例的方块图，而图4是显示图3的水平交换器的选择器部的构成例的方块图，而图5是显示图3的垂直交换器的选择器部的构成例的方块图。图6是显示控制图1的参考存储器部中的存储器的输入输出的电路之一例的方块图。

还有，该现有的运动矢量检测装置是其参考区块为16行16列，而分割参考区块时的分割区块为4行4列的情形。

在图1中，1是在H.261方式及MPEG方式等的图像处理方式中通过帧间预测编码而为已被编码的帧的像素数据，并为可存储编码在现时刻的帧中做为预测用的像素数据的已编码帧存储器。还有，在编码现时刻的帧的预测上，是可对于分割被编码的帧的各区块来检测运动矢量。即，将在现时刻被编码的帧中的其区块的位置与对应于已被编码的帧中的其区块的范围的位置的水平方向及垂直方向的距离做为运动矢量予以检测。

102是搜寻窗存储器部，其包括：存储器111-(I，J)，可存储于与将参考区块分割成所定个数时的分割区块为同一大小的区域来分割搜寻窗时的、在分割后的区域中的同一行I且同一列J的像素数据。即，存储器111-(I，J)是仅设置成与分割区块的像素数目为同一数目，在在将参考区块分割成N个时的分割区块中搜寻窗被分割成(N×M)个的场合时，在各存储器111-(I，J)存储各区域中的同一行I且同一列J的(N×M)个像素数据。

图2中，141是于写入像素数据至存储器111-(I，J)时供给写入地址，在从存储器111-(I，J)读出像素数据时供给读出地址，并根据写入/检测切换信号的值，来将这些地址的任一个供给至存储器111-(I，J)的选择器。

131是计算搜寻矢量的水平成分与来自搜寻窗的左上角的参考区块的左上角的水平方向的位置之和，而输出其计算结果的加法器。132是从加法器131的输出值减去存储器111-(I，J)的列号码I，而输出其计算结果的减法器。133是计算减法器132的输出值与常数3的和，而输出其计算结果的加法器。142是计算加法器133的输出值与将分割区块的水平地址q(后述)乘上4倍的值的和，而输出其计算结果的加法器。134是输出将加法器142的输出值除以常数4的值的整数部的除法器。

135是计算搜寻矢量的垂直成分与来自搜寻窗的左上角的参考区块的左上角的垂直方向的位置的和，而输出其计算结果的加法器。136是从加法器135的输出值减去存储器111-(I，J)的行号码J，而输出其计算结果的减法器。137是计算减法器136的输出值与常数3的和，而输出其计算结果的加法器。150是计算加法器137的输出值与将分割区块的垂直地址q(后述)乘上4倍的值的和，而输出其计算结果的加法器。138是输出将加法器150的输出值除以常数4的值的整数部的除法器。139是计算除法器138的输出值与常数14的积，而输出其计算结果的乘法器。

140是计算除法器134的输出值与乘法器139的输出值的和，而将其计算结果以做为对于存储器111-(I，J)的读出地址而供给至选择器141的加法器。

回到图1，103是以与存储在搜寻窗存储器部102的存储器111-(0，0))～111-(3，3)的像素数据里的、参考区块的分割区块为同一大小，来供给含于距离参考区块的分割区块的位置仅搜寻矢量的位置的搜寻区块的像素数据，而将做为搜寻分割区块中的座标值(I，J)的各像素数据分别输出至评价部104的像素比较部113-(I，J)的交换器。

在图3所示的交换器103中，114是以每搜寻分割区块的行J从存储器111-(0，J)～111-(3，J)来供给像素数据，而通过内藏的选择器部151-(0，J)～151-(3，J)从所有的像素数据以根据搜寻矢量的水平成分的值分别来选择1个像素数据，而予以输出的水平交换部。115是从水平交换部114的选择器部151-(I，0)～151-(I，3)，将像素数据供给至内藏的选择器部152-(I，0)～152-(I，3)，并通过内藏的选择器部152-(I，0)～152-(I，3)从所有的像素数据以根据搜寻矢量的垂直成分的值分别来选择1个像素数据，而予以输出的垂直交换部。

在图4所示的选择器部151-(I，J)中，123是计算选择器部151-(I，J)的列号码I与搜寻矢量的水平成分的和，而将其计算结果输出至ROM124的加法器。124是对于来自加法器123的值将除以4的余数的值做为选择信号而供给至选择器125的ROM。125是根据来自ROM124的选择信号的值SS来选择存储器111-(SS，J)的值，而予以输出的选择器。

图5所示的选择器152-(I，J)中，126是计算152-(I，J)的行号码J与搜寻矢量的垂直成分的和，而将其计算结果输出至ROM127的加法器。127是对于来自加法器126的值将除以4的余数的值做为选择信号而供给至选择器128的ROM。128是根据来自ROM127的选择信号的值SS来选择选择器部151-(I，SS)的值，而予以输出的选择器。

回到图1，5是可存储编码在现时刻的帧的像素数据的编码帧存储器。

106是参考窗存储器部，其包括：存储器111-(I，J)，可存储于将分割被编码在现时刻的帧成为16行16列的区块里的任一个区块(参考区块)予以分割成所定个数的分割区块时的、在其分割的区块中的同一行I且同一列J的像素数据。即，存储器111-(I，J)是仅设置成与分割区块的像素数目为同一数目，在将参考区块分割成M个的分割区块的场合时，在各存储器116-(I，J)存储各区域中的同一行I且同一列的M个像素数据。

在图6中，145是计算由区块累积器108的垂直4进计数器144所供给的分割区块的垂直地址r与常数4的积，而将其计算结果输出的乘法器。146是计算乘法器的输出值与由区块累积器108的水平4进计数器143所供给的分割区块的水平地址q与之和，而将其计算结果做为对存储器116-(I，J)的读出位指而输出至选择器147的加法器。147是于写入像素数据至存储器116-(I，J)时供给写入地址，而于从存储器116-(I，J)读出像素数据时供给读出地址，并根据写入/检测切换信号的值，将这些地址的任一个供给至存储器116-(I，J)的选择器。

回到图1，104是评价部，其包括：像素比较部113-(I，J)，分别比较参考存储器部106的各存储器116-(I，J)(I＝0、...，3，J＝0、...，3)的像素数据与来自交换器103的选择部152-(I，J)的像素数据。

108是通过图6所示的水平4进计数器143及垂直4进计数器144以对水平方向及垂直方向来计数参考区块内的分割区块，将这些的计数器值以做为分割区块的垂直地址r及分割区块的水平地址q来供给至交换器103及参考存储器部106，同时以每一分割区块暂时地蓄积其评价部104的各像素比较部113-(I，J)，并整理对构成区块的所有分割区块的上述比较结果而输出至运动矢量检测部107的区块累积器。

107是基于来自区块累积器108的1区块分的比较结果，而将最适的搜寻矢量做为运动矢量予以检测，同时设定在搜寻窗存储器部102及交换器103的搜寻矢量的运动矢量检测部。例如，由各像素比较部113-(I，J)算出2个像素数据的差，而将在参考区块中这些的差的绝对值的总和为最小时的搜寻矢量做为运动矢量。

其次，说明有关动作。

图7是显示搜寻窗及搜寻分割区块之一例的图，图8是显示实施形态二中的搜寻分割区块及搜寻分割区块的水平地址及垂直地址的图。

首先，已编码帧存储器1是将分割搜寻窗成与参考区块的分割区块为同一大小的区域时的、在分割后的区域中同一行I且同一列J的像素数据予以输出至搜寻窗存储器部102的存储器111-(I，J)。

此时，例如如图7及图8的所示那样，将区块内的分割区块的水平地址q及垂直地址r予以分配至分割区块时的各分割区块，只要一分配在搜寻窗中的水平地址h及垂直地址v，则存储器111-(I，J)就将在水平地址h及垂直地址v的分割区块中的第J行第I列的像素数据予以存储在值(14×v+h)的地址。

其次，在执行运动矢量的搜寻，从运动矢量检测部107来供给搜寻矢量至搜寻窗存储器部102及交换器103，同时从区块累积器108依顺序来供给搜寻矢量至搜寻窗存储器部102、交换器103、及参考存储器部106。

在搜寻窗存储器部102中，搜寻矢量的水平成分为被供给至加法器131，而搜寻矢量的垂直成分为被供给至加法器135。而且，将搜寻分割区块的水平地址q乘以4倍的值予以供给至加法器142，并搜寻分割区块的垂直地址r乘以4倍的值予以供给至加法器150。

因而，通过加法器131、133、135、137、140、142、150、减法器132、136、除法器134、138、及乘法器139，算出对以对应于所供给的搜寻矢量及分割区块的水平地址q及垂直地址r的存储器111-(I，J)的读出地址。存储器111-(I，J)将存储于所供给的读出地址的像素数据输出至交换器103的选择器151-(0，J)～151-(3，J)。

还有，对存储器111-(I，J)的读出地址A(I，J)于将x做为搜寻矢量的水平成分，将y做为搜寻矢量的垂直成分、将SWHO做为来自搜寻窗的左上角的参考区块的左上角的水平方向的位置、及将SWVO做为来自搜寻窗的左上角的参考区块的左上角的垂直方向的位置时，通过加法器131、133、135、137、140、142、150、减法器132、136、除法器134、138、及乘法器139，根据以下式子算出。

A(I，J)＝(int((SWV0+y-J+r×4+3)/4)×14+int((SWH0+x-I+q×4+3)/4)

在此，int( )是舍弃引数的小数点以下的函数或运算元。

因而，在交换器103中，水平交换部114的各选择器151-(I，J)为根据由运动矢量检测部107所供给的搜寻矢量的水平成分，来选择来自存储器111-(0，J)～151-(3，J)的值的任一个，将所选择的值予以输出至垂直交换部115的选择器部152-(I，0)-152-(I，3)。

此时，在各选择器部151-(I，J)中，通过加法部123及ROM124，以基于选择器部151-(I，J)的列号码I及搜寻矢量的水平成分来计算选择信号，并供给至选择器125。。因而，根据其选择信号的值SS，可输出来自存储器111-(SS，J)的值。还有，选择信号的值SS是基于选择器部151-(I，J)的列号码I及搜寻矢量的水平成分x，由加法部123及ROM124根据以下式子算出

SS＝mod(I+x，4)

在此，mod(a，b)是以b除a时的余数。

之后，垂直交换部115的各选择器部152-(I，J)是根据由运动矢量检测部107所供给的搜寻矢量的垂直成分，来选择来自选择器部151-(I，0)-151-(I，3)的值的任一个，而将所选择的值输出至评价部104的像素比较部113-(I，J)。

此时，在各选择器部152-(I，J)中，通过加法部126及ROM127，以基于选择器部152-(I，J)的行号码及搜寻矢量的垂直成分而可计算选择信号，并供给至选择器128。因而，根据其选择信号的值SS，而可输出来自选择器部151-(I，SS)的值。还有，选择信号的值SS是基于选择器部152-(I，J)的行号码及搜寻矢量的垂直成分y，由加法部126及ROM127根据以下的式子计算。

SS＝mod(J+y，4)

另外，编码帧存储器105将分割被编码的区块里的任一个区块的像素数据按分割区块中的同一行I且同一列J的像素数据而存储于存储器116-(I，J)。

因而，参考存储器部106的存储器116-(0，0)-116-(3，3)是将对应于所供给的水平地址q及垂直地址r的分割区块的像素数据分别供给至评价部104的像素比较部113-(0，0)-113-(3，3)。

此时，在参考存储器部106中，通过乘法器145及加法器146，可从水平地址q及垂直地址r来计算读出地址(＝r×4+q)，并通过选择器147来供给至存储器116-(0，0)-116-(3，3)。

只要从交换器103及参考存储器部106分别来供给像素数据，则评价部104的像素比较部113-(I，J)是计算来自交换器103的选择器部152-(I，J)的像素数据与来自参考存储器部106的存储器116-(I，J)的像素数据的差，并将其差供给至区块累积器108。区块累积器108是一供给像素数据的差，则输出可指定次一分割区块的水平地址q及垂直地址r，同时一蓄积1区块分的像素数据的差，则就将其像素数据的差输出于运动矢量检测部107。运动矢量检测部107是关连于此时的搜寻矢量，并由评价部104将所供给的像素数据的差做为评价值来加以存储。

因而，运动矢量检测部107是基于所定的顺序号码、或基于与已计算的搜寻矢量的评价值的关系，将新的搜寻矢量供给至搜寻窗存储器部102及交换器103。

如此而来，运动矢量检测部107是至所定的顺序号码完毕为止、或评价值至所定的值以下为止来更新搜寻矢量，而决定将评价值为最小时的搜寻矢量做为运动矢量。

如上所述，在该现有的运动矢量检测装置中，使以分割参考区块的分割区块而构成的像素数据存储于参考存储器部106。并于搜寻窗存储器部102，使以与分割已编码的帧中的窗成为与分割区块为同一大小的区域时的、每一个分割后的区域中的同一行且同一列的像素数据，来存储已编码的帧中的像素数据，并分别选择存储在搜寻窗存储器部102的存储器111-(I，J)的分割后的区域中的同一行且同一列的像素数据里的任一个，而从分割区块的位置来选择仅离开搜寻矢量的位置的搜寻分割区块，并以每一像素来比较存储在参考存储器部106的像素数据与所选择的像素数据，以积逾期比较的结果而可检测运动矢量。

因为现有的运动矢量检测装置是如以上那样地加以构成，所以可降低评价部104的像素比较部113-(I，J)的数目而使电路规模变小，因而可降低装置的成本，而需要对构成区块全域的所有区块来执行像素数据的比较，所以会有所谓为了降低关于该点要检测运动矢量的所需要时间而产生困难的课题。

而且，因为现有的运动矢量检测装置是如以上那样地加以构成，所以于执行双方向预测的场合时，用于检测前方向的运动矢量与检测后方向的运动矢量的装置需要2个，会有装置的规模变大等的课题。

本发明是为了解决如上述那样的课题而做成，所以其包括：第一存储装置，存储以构成区块的多个像素图形所构成的像素数据；第二存储装置，在已编码的帧中的所定范围，以每一个分别以每隔所定的像素数的所定数的像素而构成的多个像素图形中同一位置的像素数据，来存储已编码的帧中的所定范围的像素数据；选择装置，供给所定的搜寻矢量，在其所定的范围，来选择以其搜寻矢量所指定的区块中的1个像素图形；比较装置，按每一像素将由前述选择装置所选择的像素图形与其像素图形为同一个存储在第一存储装置的像素图形来比较；及检测装置，基于由比较装置所得的比较结果来检测运动矢量，而其目的为得到：运动矢量检测装置，以使对各像素图形的比较结果近似于对区块全域的比较结果，并根据于比较结果所做成为必要的精度，使得对构成区块全域的所有像素图形未必需要执行比较，而可以短时间来得到对各区块的比较结果，并可以短时间来检测运动矢量。

而且，本发明是为了解决如上述那样的课题而做成，所以其包括：第一存储装置，存储以构成区块的多个像素图形或多个分割区块所构成的像素数据；第二存储装置，以每一构成已编码的帧中的所定范围的多个像素图形或多个分割区块中同一位置的像素数据，来存储已编码的帧中的所定范围的像素数据；选择装置，供给做为运动矢量的候选的多个搜寻矢量，在前述所定的范围依顺序来选择以各搜寻矢量所指定的区块中的同一像素图形或各分割区块；比较装置，以每一像素将由选择装置所选择的像素图形或分割区块来比较与其像素图形或分割区块为同一个的存储在第一存储装置的像素图形；及搜寻矢量收敛装置，在对一个搜寻矢量的有关依据比较装置的全像素图形或全分割区块的比较完毕以前，根据至现时刻为止的像素图形或分割区块的比较结果，使依据对其搜寻矢量的选择装置及比较装置的处理中止，从运动矢量的候选来削除其搜寻矢量；及检测装置，基于由比较装置所得的比较结果，从运动矢量的候选来检测运动矢量，而其目的为得到：运动矢量检测装置，以切断可能性较高的无法成为运动矢量的搜寻矢量，而降低测出运动矢量为止的计算量，而可以短时间来检测运动矢量。

再者，本发明是为了解决如上述那样的课题而做成，所以其包括：第一存储装置，存储以构成区块的像素数据里的所定数目的像素数据；第二存储装置，存储编码后的帧中的前方向的运动矢量检测用的第一范围内、及后方向的运动矢量检测用的第二范围内的像素数据；选择装置，供给前方向的运动矢量及后方向的运动矢量，选择前述第二存储装置所存储的像素数据里、距离区块的位置仅为搜寻矢量的位置、与区块为同一大小范围的像素数据里的所定数目的像素数据；比较装置，比较第一存储装置所存储的所定数目的像素数据与由选择装置所选择的所定数目的像素数据；及检测装置，基于比较装置所得的比较结果，来检测前方向的运动矢量及后方向的运动矢量，而其目的为得到：运动矢量检测装置，以能增加必要的存储容量于第二存储装置，而不增加其他构成要素，检测前方向的运动矢量及后方向的运动矢量。

发明的公开

本发明的运动矢量检测装置包括：第一存储装置，存储以构成区块的多个像素图形所构成的像素数据；第二存储装置，在已编码的帧中的所定范围，以每一个分别以每隔所定的像素数的所定数的像素而构成的多个像素图形中同一位置的像素数据，来存储已编码的帧中的所定范围的像素数据；选择装置，供给所定的搜寻矢量，在其所定的范围，来选择以其搜寻矢量所指定的区块中的1个像素图形；比较装置，以每一像频素将由前述选择装置所选择的像素图形与其像素图形为同一个存储在第一存储装置的像素图形来比较；及检测装置，基于由比较装置所得的比较结果来检测运动矢量，因此，而可得到所谓的以使对各像素图形的比较结果近似于对区块全域的比较结果，并根据于比较结果所做成为必要的精度，使得对构成区块全域的所有像素图形未必需要执行比较，可以短时间来得到对各区块的比较结果，并可以短时间来检测运动矢量的效果。

本发明的运动矢量检测装置包括：第一存储装置，存储以构成区块的多个像素图形或多个分割区块所构成的像素数据；第二存储装置，以每一构成已编码的帧中的所定范围的多个像素图形或多个分割区块中同一位置的像素数据，来存储已编码的帧中的所定范围的像素数据；选择装置，供给做为运动矢量的候选的多个搜寻矢量，在前述所定的范围依顺序来选择以各搜寻矢量所指定的区块中的同一像素图形或各分割区块；比较装置，以每一像素将由选择装置所选择的像素图形或分割区块与其像素图形或分割区块为同一个存储在第一存储装置的像素图形来比较；及搜寻矢量收敛装置，在对一个搜寻矢量的有关依据比较装置的全像素图形或全分割区块的比较完毕以前，根据至现时刻为止的像素图形或分割区块的比较结果，使依据对其搜寻矢量的选择装置及比较装置的处理中止，从运动矢量的候选来削除其搜寻矢量；及检测装置，基于由比较装置所得的比较结果，从运动矢量的候选来检测运动矢量。因此，而可得到所谓的以切断可能性较高的无法成为运动矢量的搜寻矢量，而降低测出运动矢量为止的计算量，可以短时间来检测运动矢量的效果。

若依据本发明的运动矢量检测装置，搜寻矢量收敛装置是以每一对于多个搜寻矢量的同一个像素图形或同一块分割区块，在每一其同一个像素图形或同一块分割区块的比较完毕之后，在满足所定条件的场合从运动矢量的候选来削除前述多个搜寻矢量里的至少一个。这样，可以得到用于中止评价值的累积的处理变得简单的效果。

若依据本发明的运动矢量检测装置，则比较装置以做为比较结果而算出评价值，搜寻矢量收敛装置对于各搜寻矢量来计算在多个像素图形的评价值的累积值，将对多个搜寻矢量的评价值的累积值依上升顺序或下降顺序排列并予以存储，以基于其排列中的评价值的顺序从运动矢量的候选来削除1个或多个搜寻矢量。因此，可得到所谓的于切断评价值的累积的搜寻矢量之际，改为不需要参考对所有搜寻矢量的评价值的累积值，而可讯速地执行切断评价值的累积的搜寻矢量的选择的效果。

若依据本发明的运动矢量检测装置，则比较装置以做为比较结果而算出评价值，搜寻矢量收敛装置是在对于多个搜寻矢量的评价值的累积值来选择对应于最小值或最大值的评价值的搜寻矢量，并执行对所选择的搜寻矢量的评价值累积，而检测装置是于最小值或最大值的评价值的累积次数为所定次数的场合时，将其搜寻矢量做为运动矢量。因此，可得到所谓的更可进行对可能性较高的成为搜寻矢量的评介值累积，而以更短时间来检测矢量。

若依据本发明的运动矢量检测装置，则搜寻矢量收敛装置将对多个搜寻矢量的评价值的累积值依上升顺序或下降顺序排列并予以存储，而选择对应于其排列的最前面的搜寻矢量，并执行对所选择的搜寻矢量的评价值的累积，将对多个搜寻矢量的评价值的累积值依上升顺序或下降顺序再排列，而于排列的最前面的评价值的累积次数为所定次数的场合时，将其搜寻矢量做为运动矢量。因此，可得到所谓的在选择其次执行评价值累积之际，也可以简单地选择排列的最前面的搜寻矢量，而不需参考对各搜寻矢量的评价值的累积值，而可迅速地执行切断评价值累积的搜寻矢量的选择的效果。

本发明的运动矢量检测装置包括：第一存储装置，存储以构成区块的像素数据里的所定数目的像素数据；第二存储装置，存储编码后的帧中的前方向的运动矢量检测用的第一范围内、及后方向的运动矢量检测用的第二范围内的像素数据；选择装置，供给前方向的运动矢量及后方向的运动矢量，而选择前述第二存储装置所存储的像素数据里、距离区块的位置仅为搜寻矢量的位置、与区块为同一大小范围的像素数据里的所定数目的像素数据；比较装置，比较第一存储装置所存储的所定数目的像素数据与由选择装置所选择的所定数目的像素数据；及检测装置，基于比较装置所得的比较结果，来检测前方向的运动矢量及后方向的运动矢量。因此，可得到所谓的以能增加必要的存储容量于第二存储装置，不增加其他构成要素，可检测前方向的运动矢量及后方向的运动矢量的效果。

附图的简单说明：

图1是显示现有的运动矢量检测装置的构成的方块图。

图2是显示控制图1的搜寻窗存储器部中的存储器的输入输出的电路之一例的图。

图3是显示图1的交换器的构成例的方块图。

图4是显示图3的水平交换部中的选择器部的构成例的方块图。

图5是显示图3的垂直交换部中的选择器部的构成例的方块图。

图6是显示控制图1的参考存储器部中的存储器的输出输入的电路之一例的方块图。

图7是显示搜寻窗及搜寻分割区块之一例的图。

图8是显示实施形态二的搜寻分割区块及搜寻分割区块的水平地址及垂直地址的图。

图9是显示本发明的实施形态一的运动检测装置的构成的方块图。

图10是显示控制图9的搜寻窗存储器部中的存储器的输出输入的电路之一例的图。

图11是显示图9的交换器的构成例的方块图。

图12是显示图11的水平交换部中的选择器部的构成例的方块图。

图13是显示图11的垂直交换部中的选择器部的构成例的方块图。

图14是显示搜寻窗存储器部中的各像素数据的地址与存储其各像素数据的存储器的对应关系之一例、及搜寻窗存储器部中的像素图形之一例的图。

图15是显示参考存储器部中的各像素数据的地址与存储其各像素数据的存储器的对应关系的一例、及搜寻窗存储器部中的像素图形的一例的图。

图16是显示像素图形的选择顺序的一例的图。

图17是显示由分割区块所使用的像素、及由像素图形所使用的像素的一例的图。

图18是显示本发明的实施形态二的运动矢量检测装置的构成的方块图。

图19是显示本发明的实施形态二的运动矢量检测部及像素图形累积部的构成例的方块图。

图20是显示存储在存储装置的对各搜寻矢量的评价值的累积次数与累积值等的一例的图。

图21是说明实施形态三中的评价值累积的切断的一例的图。

图22是显示实施形态四中的运动矢量检测部及像素图形累积器的存储装置的构成的方块图。

图23是显示图22中的各存储部的构成例的方块图。

图24是显示实施形态五中的评价值累积的顺序的一例的图。

图25是显示实施形态六的运动矢量检测装置中的运动矢量检测部的构成例的方块图。

图26是显示前方向的搜寻窗及前方向的搜寻区块的一例的图。

图27是显示后方向的搜寻窗及后方向的搜寻区块的一例的图。

用于实施发明的最佳形态

以下，为了更详细说明该发明，根据所附上的附图来说明做为实施该发明的最佳形态。实施形态一

图9是显示该发明的实施形态一所依据的运动矢量检测装置的构成的方块图。图10是显示图9的控制在搜寻窗存储器部中输出输入的一个电路例子的方块图。图11是显示图9的交换器的构成例的方块图，而图12是显示在图11的水平交换部中的选择部的构成例的方块图，图13是显示在图11的垂直交换部中的选择部的构成例的方块图。

还有，该实施形态一的运动矢量检测装置是参考区块为16行16列，而参考区块为以16个像素图形所构成的情形。

在图9中，1是在H.261方式、及MPEG方式等的图像处理方式中通过帧间预测编码而被编码成帧的图像数据，并可存储在现时刻被编码的帧中的做为预测的图像数据的已编码帧存储器。还有，在现时刻被编码的帧的预测中，是检测对于分割被编码的帧的各区块的运动矢量。即，可将在现时刻被编码的帧中的其区块的位置与对应于已编码的帧中的其区块的范围的位置间的水平方向及垂直方向的距离做为运动矢量予以检测。

2是搜寻窗存储器部(第二存储装置、选择装置)，存储于每一分别以搜寻窗内的每隔所所定的像素数的所定数目的像素所构成的多个图像图形中的同一位置的图像数据来构成编码后帧中的搜寻窗的图像数据。

在该实施形态一的搜寻窗存储器部2中，11-(I，J)是存储将窗分割成与参考区块为同一大小的各分割区块而构成的多个像素图形中的同一位置的像素数据的存储器。例如窗大小为64像素×32像素、参考区块的大小为16像素×16像素、及以每隔纵横3像素的像素来构成各像素图形的场合时，窗首先以分割成纵向2个横向4个合计为8个的区块，而在其各区块(纵向16像素、横向16像素)中的纵横4像素的16个区域(I，J)(I＝0、...，3，J＝0、...，3)的像素数据则分别存储在16个存储器11-(I，J)上。

即，该情形时，在各区块，为p(p＝0、...，3)及q(q＝0、...，3)，则各像素图形是以像素(0+p，0+q)、像素(4+p，0+q)、像素(8+p，0+q)、(12+p，0+q)、(0+p，4+q)、(4+p，4+q)、(8+p，4+q)、(12+p，4+q)、(0+p，8+q)、(4+p，8+q)、(8+p，8+q)、(12+p，8+q)、(0+p，12+q)、(4+p，12+q)、及(8+p，12+q)、(12+p，12+q)的16个像素所构成。因此，可同时从16个存储器11-(I，J)来读出构成以16个像素所构成的像素图形的像素数据。

图10中，41是于将像素数据写入存储器11-(I，J)时供给写入地址，并根据写入/检测切换信号的值，来将这些的任一地址供给给存储器11-(I，J)的选择器。42是从存储器11-(0，0)～存储器11-(3，3)，以根据式(1)来运算可同时使构成1个像素图形的像素数据输出之际的存储器11-(I，J)的读出地址A(I，J)的读出地址运算部。

A(I，J)＝(int((y1+12-4×j)/16)×4+mod(y1，4))×16+int((x1+12-4×i)/16)×4+mod(x1，4)...(1)

在此，x1＝24+x+p、y1＝8+y+q，而将(x，y)做为搜寻矢量。还有，该式是针对搜寻窗的原点而做为运动0的位置为(24，8)的情形。

回到图9，3是从存储于搜寻窗存储器部2的存储器11-(0，0)～11-(3，3)的像素里的参考区块的位置来供给至由在仅以搜寻矢量离开的位置的搜寻区块中的任一个像素图形而构成的像素数据，而将构成其像素图形的16个像素数据以所定顺序加以排列并分别输出于评价部4的像素比较部13-(I，J)的交换器(选择装置)。

在图11所示的交换器3中，14是以每一行J从存储器11-(0，J)～11-(3，J)来供给像素数据，并通过内藏的选择器部51-(0，J)～51-(3，J)而从所有像素数据以根据搜寻矢量的水平成分的值分别选择出1个像素数据并加以输出的水平交换部。15是从水平交换部14的选择器部51-(0，J)～51-(3，J)来将像素数据供给于选择器部52-(0，J)～51-(3，J)来将像素数据供给于选择器部52-(0，J)～52-(3，J)，并通过选择器部52-(0，J)～52-(3，J)从所有像素数据以根据搜寻矢量的垂直成分的值分别选择出1个像素数据并加以输出的垂直交换部。

在图12所示的选择器部51-(I，J)中，21是基于选择器部51-(I，J)的号码I、搜寻矢量的水平成分x、及像素图形的水平方向的偏移值p，并根据式(2)来产生具有运算过的值Sh的选择信号的选择信号产生部。

Sh＝mod(int(24+x+p+4×I)/4，4)...(2)

22是根据来自选择信号产生部21的选择信号的值Sh来选择存储器11-(Sh，J)的值并加以输出的选择器。

在图13所示的选择器部52-(I，J)中，26是基于选择器部52-(I，J)的号码J、搜寻矢量的垂直成分y、及像素图形的垂直方向的偏移值q，并根据式(3)来产生具有运算过的值Sv的选择信号的选择信号产生部。

Sv＝mod(int(8+y+q+4×J)/4，4)...(3)

27是根据来自选择信号产生部26的选择信号的值Sv来选择存储器51-(I，Sv)的值并加以输出的选择器。

回到图9，5是存储编码在现时刻的帧的像素数据的编码帧存储器。

6是参考存储器部(第一存储器装置)，其包括：存储器16-(I，J)，分别存储在以分割在现时刻编码的帧的16行16列的区块里的任一区块而构成的多个像素图形中的同一位置的像素数据。即，存储器16-(I，J)是仅设置与构成像素图形的像素数为相同的数目，在参考区块为M个像素图形所构成的场合时，在各存储器16-(I，J)，存储在各像素图形中的同一位置的M个像素数据。

4是评价部(比较装置)，其包括：像素比较部13-(I，J)，分别比较参考存储器部6的各存储器16-(I，J)(I＝0，...，3，J＝0，...，3)的像素数据与来自交换器3的选择器部52-(I，J)的像素数据。

8是根据所定号码而依顺序选择像素图形的偏移值的水平成分p及垂直成分q，并将这些的值p、q供给至搜寻窗存储器部2、交换器3、及参考存储器部6，同时将评价部4的各像素比较部13-(I，J)的比较结果以每一像素图形暂时地予以储存，并整理对于构成区块的所有像素图形的上述比较结果来输出给运动矢量检测部7的像素图形累积器(检测装置)。

7是基于来自像素图形累积器8的1区块部分的比较结果，来设定搜寻窗存储器部2及交换器3中的次一搜寻矢量，将最适的搜寻矢量做为运动矢量加以检测的运动矢量检测部(检测装置)。例如通过各像素比较部13-(I，J)来算出2个像素数据的差，而以参考区块中的这些的差的绝对值的总和为最小时的搜寻矢量来做出运动矢量。

其次，来说明其动作。

图14是显示在搜寻存储器部中各像素数据的地址与其各像素数据所存储的存储器的对应关系之一例、及在搜寻窗中的像素图形之一例的图。图15是显示在参考存储器部中各像素数据的地址与其各像素数据所存储的存储器的对应关系之一例、及在搜寻窗中的像素图形之一例的图。图16是显示像素图形的选择顺序之一例的图。

搜寻窗存储器部2是以每一多个像素图形中的同一位置的像素数据，来存储以在已编码帧存储器1中所编码的帧中的搜寻窗而构成的像素数据。即，构成1个像素图形的各像素存储于相互不同的存储器11-(I，J)。

例如如图14的所示，搜寻窗存储器部2中的存储器11-(I，J)存储在将搜寻窗予以分割成与参考区块为同一大小而构成的各分割区块的多个像素图形中的同一位置的像素数据。该场合时，如图14的所示，搜寻窗的大小为64像素×32像素，参考区块的大小为16像素×16像素，在以每隔纵横3像素的像素来构成各像素图形的场合时，搜寻窗为被分割成纵向2个横向4个合计8个的区块，在其各区块(纵16像素，横16像素)中的纵横4像素的16个区域(I，J)(I＝0、...，3，J＝0、...，3)的像素数据则分别存储在16个存储器11-(I，J)上。

因而，搜寻窗存储器部2的读出地址运算部42是基于来自像素图形累积器8的像素图形的偏移值(p，q)及来自运动矢量检测部7的搜寻矢量(x，y)，根据式(1)来运算存储器11-(I，J)的读出地址A(I，J)，并供给至选择器41。在读出像素数据时，是通过选择器41，将其读出地址供给至其存储器11-(I，J)，并将其地址的像素数据供给至交换器3。例如图14表示搜寻矢量为(19，-6)，偏移值为(2，1)场合时的像素图形。

交换器3是将来自搜寻窗存储器部2的像素图形所构成的像素数据依所定的顺序排列并分别输出于评价部4的像素比较部13-(I，J)。

此时，在交换器3，水平交换器14首先以每一行J从存储器11-(0，J)～存储器11-(3，J)来供给像素数据，通过内藏的选择器部51-(0，J)～51-(3，J)根据搜寻矢量的水平成分的值而从所有像素数据分别来选择1个像素数据，并输出至垂直交换部15。此时，在各选择器部51-(J，J)中，由选择信号产生部21将具有根据式(2)所运算的值Sh的选择信号供给选择器部22，并通过选择器部22以根据其选择信号的值Sh来选择来自存储器11-(Sh，J)的值。

在交换器3中，其次垂直交换部15为通过内藏的选择器部52-(I，J)根据搜寻矢量的垂直成分的值而从所有像素数据分别来选择1个像素数据，输出来自水平交换部14的选择器部51-(I，0)～51-(I，3)的像素数据，此时，在各选择器部52-(I，J)中，由选择信号产生部26将具有根据式(3)所运算的值Sv的选择信号供给到选择器部27，并通过选择器部27以根据其选择信号的值Sv来选择来自存储器11-(Sv，J)的值。

如此而来，可将以根据搜寻矢量(x，y)及偏移值(p，q)所选择的像素图形而构成的像素数据供给至评价部4。

另外，参考存储器部6从编码帧存储器5分别来读出在以分割编码在现时刻的帧为16行16列的区块里的任一区块而构成的多个像素图形中的同一位置的像素数据，存储于内藏的存储器16-(I，J)。即，构成1个像素图形的各像素存储于相互不同的存储器16-(I，J)。因而，参考存储器部6是例如如图15的所示，将以来自像素图形累积器8的偏移值(p，q)(图15的场合时，p＝2、q＝1)所指定的像素图形以用与从交换器3至评价部4的像素数据的排列为相同的排列，分别输出于评价部4的像素比较部13-(I，J)。

因而，评价部4是将来自参考存储器部6的各存储器16-(I，J)的像素数据与来自交换器3的选择部52-(I，J)的像素数据分别在像素比较部13-(I，J)予以比较，并将做为其比较结果的评价值供给至像素图形累积器8。此时的评价值为来自参考存储器部6的各存储器16-(I，J)的像素数据与来自交换器3的选择器部52-(I，J)的像素数据的差的绝对值的总和。还有，也可将此时的评价值做为两者像素数据的差的平方的总和。

像素图形累积器8根据所定号码而依顺序选择像素图形的偏移值的水平成分p及垂直成分q，并将这些的值p、q供给至搜寻窗存储器部2、交换器3、及参考存储器部6，在各偏移值p、q的场合时予以累积来自评价部4的各像素比较部13-(I，J)的评价值，并对于各搜寻矢量，整理对构成区块的所有像素图形的评价值而输出于运动矢量检测部7。

此时，像素图形累积器8是例如如图16(a)所示，公平地选择像素图形的偏移值(p，q)。因此，根据3次选择的偏移值的3个像素图形成为如图16(b)。

运动矢量检测部7基于来自像素图形累积器8的1区块部分的评价值，来设定在搜寻窗存储器部2及交换器3中的次一搜寻矢量，而将最适的搜寻矢量做为运动矢量来检测。

如上所述，若依据该实施形态一，则因为将以构成区块的多个像素图形而构成的像素数据存储于参考存储器部6，并在编码后的帧中的所定搜寻窗中以每一在每隔所定像素数而分别被构成的多个像素图形中的同一位置的像素数据，来存储其搜寻窗中的像素数据于搜寻窗存储器部2，而根据来自运动矢量检测部7的搜寻矢量通过搜寻窗存储器部2及交换器3来选择1个像素图形，通过评价部4，以每一像素来比较其所选择的像素图形、及与其像素图形为相同的存储于参考存储器部6的像素图形，通过像素图形累积器8，来整理依据有关多个像素图形的评价部4的比较结果，通过运动矢量检测部7基于这些的比较结果而检测运动矢量，所以在区块中的像素里，为了将被使用于比较的像素分散于区块全域，有关各像素图形的比较结果为近似于有关区块全域的比较结果，根据比较结果所需要的精度，则未必需要对于构成区块全域的所有像素图形来执行比较，可以短时间得到有关各区块的比较结果，并得到所谓可以短时间来检测运动矢量的效果。

图17是显示分割区块所使用的像素、及像素图形所使用的像素的一例的图。即，如图17的所示，在以如现有技术那样对分割区块来执行比较的场合时(图17(a))，虽是在区块中局部地参考像素数据，但如该实施形态一，在对上述的像素图形来执行比较的场合时(图17(b))，在区块中可均匀地参考像素数据。实施形态二

该发明的实施形态二的运动矢量检测装置是对于1个像素图形来计算在多个搜寻矢量的评价值累积，并切断对于评价值的累积值为小的搜寻矢量的评价值累积，而可从运动矢量的候选来削除其搜寻矢量。

图18是显示该发明的实施形态二的运动矢量检测装置的构成的方块图。在图18中，7A是除了与运动矢量检测部7为同样地动作外，并在对于1个搜寻矢量以完成依据有关的全像素图形或全分割区块的评价部4的评价值算出以前，根据至现时刻为止的像素图形的评价值，中止依据有关其搜寻矢量的交换器3及评价部4的处理，并将搜寻矢量从运动矢量的候选予以削除的运动矢量检测部(检测装置、搜寻矢量精炼装置)。

图19是显示该实施形态二的运动矢量检测部7A及像素图形累积器8的构成例的方块图。在图19中，61是将来自评价部4的评价值与来自存储装置66的过去评价值累积的值加在一起的加法器，66是存储有关各搜寻矢量的评价值的累积次数及累积值的寄存器、及存储器等的存储装置，67是基于有关各搜寻矢量的评价值的累积次数及累积值来决定切断评价值的计算的搜寻矢量的定序器、及微处理器等的运算装置。

还有，因为有关于图18中的其他构成要素，是与实施形态一为相同，所以省略其说明。

其次，说明其动作。

运动矢量检测部7A并非以每一搜寻矢量使对于全像素图形的评价值的累积值得以连续而加以计算，对于各像素图形的偏移值(p，q)使搜寻矢量(x，y)变化，而以各像素图形的偏移值(p，q)来并行计算多个搜寻矢量。

此时，运算装置67对于各像素图形的偏移值(p，q)使搜寻矢量(x，y)变化，并将其偏移值(p，q)供给至搜寻窗存储器部2、交换器3、及参考存储器部6，将其搜寻矢量(x，y)供给至搜寻窗存储器部2及交换器3，使有关其搜寻矢量的评价值的累积值从存储装置66供给至加法器61。

因而，对于其偏移值及搜寻矢量的评价值从评价部4供给至加法器61，计算评价值的累积值，以其值更新被存储于存储装置66的评价值的累积值。图20是显示有关被存储于存储装置66的各搜寻矢量的评价值的累积次数及累积值等的一例的图。

而且，运算装置67基于有关各搜寻矢量的评价值的累积值，来选择可切断评价值累积的搜寻矢量，对于所选择的搜寻矢量是不执行以下的评价值的计算，而从运动矢量的候选予削除。

还有，因为有关其他的构成要素的动作是与实施形态一为相同，所以省略其说明。

如上所述，若依据该实施形态二，则因为运动矢量检测部8A是对于各像素图形依顺序选择多个搜寻矢量，并对于各搜寻矢量，执行在其像素图形的每一像素的比较，而在对于1个搜寻矢量以完成全像素图形之比较以前，根据至现时刻为止的像素图形的比较结果，切断对有关其搜寻矢量的以下的像素图形的比较，从运动矢量的候选来削除其搜寻矢量，并基于来自剩余搜寻矢量的比较结果，检测运动矢量，所以以切断无法成为运动矢量的可能性较高的搜寻矢量，降低检测出运动矢量为止的计算量，而得到所谓以短时间来检测运动矢量的效果。

还有，如以并非为多个像素图形的现有技术那样将区块分割成多个分割区块，而对于1个分割区块来计算在多个搜寻矢量的评价值累积，并切断在评价值累积上为较低的搜寻矢量的评价值累积，也可得到与从运动矢量的候选来削除其搜寻矢量为同样的效果。实施形态三

该发明的实施形态三的运动矢量检测装置是运动矢量检测部7A的运算装置67为在各累积次数中，基于有关各搜寻矢量的评价值累积，来选择切断评价值累积的搜寻矢量，而从运动矢量的候选中予以削除。

还有，因为有关于实施形态三的运动矢量检测装置的构成，与依据实施形态二相同，所以省略其说明。

其次，说明有关动作。

图21是说明实施形态三的切断评价值累积的一例的图。

运动矢量检测部7A的运算装置67是首先对所定数的搜寻矢量的第一次评价值累积之后，消除这些搜寻矢量里的评价值为较小者的16个以外者。例如在图21中，可切断对搜寻矢量(x0，y0)～(x15，y15)以外的搜寻矢量的评价值累积。

其次，运动矢量检测部7A的运算装置67是对其16个搜寻矢量来执行第二次评价值累积。

因而，在从第二次至所定第八次为止的各次数的评价值累积之后，运算装置67是对有关继续评价值累积的搜寻矢量的评价值累积平均值为1.5倍以上的累积值的搜寻矢量的评价值累积予以切断。例如在图21中，在第二次的评价值累积之后，可切断对搜寻矢量(x4，y4)及搜寻矢量(x7，y7)的评价值累积，第三次的评价值累积之后，切断对搜寻矢量(x13，y13)及搜寻矢量(x15，y15)的评价值累积，第四次的评价值累积之后，切断对搜寻矢量(x1，y1)、搜寻矢量(x12，y12)、及搜寻矢量(x14，y14)的评价值累积，而第五次的评价值累积之后，切断对搜寻矢量(x9，y9)的评价值累积。

其后，在第九次以下的评价值累积上，运算装置67在继续评价值累积的搜寻矢量里，予以切断对评价值的累积值为最大的对1个搜寻矢量的评价值累积。但是，在继续评价值累积的搜寻矢量的数目为2个的场合时，不执行对搜寻矢量的评价值累积的切断。因而在留至最后为止的搜寻矢量里，将评价值为最小者做为运动矢量。

例如在图21中，第九次的评价值累积之后，切断对搜寻矢量(x6，y6)的评价值累积，第十次的评价值累积之后，可切断对搜寻矢量(x0，y0)的评价值累积，第十一次的评价值累积之后，切断对搜寻矢量(x10，y10)的评价值累积，第十二次的评价值累积之后，切断对搜寻矢量(x2，y2)的评价值累积，第十三次的评价值累积之后，切断对搜寻矢量(x8，y8)的评价值累积。因此，在第二次以下，评价值累积的处理是全体以101(＝16+14+11+8+7+7+7+7+6+5+4+3+2+2+2)次完毕。

还有，因为有关其他的构成要素的动作是与依据实施形态二相同，所以省略其说明。而且，在各累积次数中，因为有关切断评价值累积的条件并非被限制于上述方法，所以变更初次及最后一次的搜寻矢量数目、及条件的累积次数等不用说也可以。

如上所述，若依据实施形态三，则因为运动矢量检测部7A的运算装置67为在各累积次数，基于对各搜寻矢量的评价值的累积值，来选择切断评价值累积的搜寻矢量，从运动矢量的候选予以削除，所以可得到所谓做为切断评价值累积的处理变为简单的效果。实施形态四

该发明的实施形态四的运动矢量检测装置是在实施形态三的运动矢量检测装置中，将对多个搜寻矢量的评价值的累积值依上升顺序或下降顺序排列并予以存储，基于其排列中的评价值的顺序将1个或多个搜寻矢量从运动矢量的候选予以削除。

图22是显示实施形态四中的运动矢量检测部7A及像素图形累积器8A的存储装置66的构成的方块图。在图22所示的运动矢量检测部7A中，71-1～71-(n+1)是构成做为存储装置66的移位寄存器的(n+1)个(例如17个)的存储部。图23是显示图22中的各存储部的构成例的方块图。在图23所示的各存储部71中，81是比较寄存器84所存储的累积数据里的累积值E(i)与来自像素图形累积器8A的累积数据里的累积值E(new)的比较器，82是基于来自被内藏的存储部71-i的比较器81的比较结果、前段的存储部71-(i-1)的比较器81的比较结果、及后段的存储部71-(i+1)的比较结果，产生可使选择包括：来自前段的存储部71-(i-1)的累积数据、来自后段的存储部71-(i+1)的累积数据、被内藏的存储部71-i的累积数据、来自像素图形累积器8A的新的累积数据、及所定的最大值以做为累积值的任一累积数据的选择信号的控制电路，83是基于来自控制电路82的选择信号来选择任一累积数据的选择器，84是存储累积数据的寄存器。

图22中，8A是从评价部4来供给评价值，且供给来自存储装置66中的第一号存储部71-1的累积数据，在其累积数据中的评价值的累积值来累积来自评价部4的评价值而产生新的累积数据，供给至各存储部71-i的像素图形累积器。

还有，因为有关实施形态四中的其他构成要素，是与实施形态二为相同，所以省略其说明。

其次，说明其动作。

做为初期状态首先运算装置67控制各存储部71-i的控制电路82而在选择器83选择具有所定最大值的累积数据，并被寄存器84选择。

其次说明关于对n个搜寻矢量的第一次的评价值累积中的运动矢量检测部7A的动作。从像素图形累积器8A将来自评价部4的评价值、现在的搜寻矢量、及以累积次数(＝1)所构成的新的累积数据供给至存储部71-1～71-(n+1)的比较器81及选择器83。

各存储部71-i的比较器81比较寄存器84所存储的累积数据里的累积值E(i)与来自像素图形累积器8A的累积数据里的累积值E(new)，并将其比较结果、即是否为E(i)＞E(new)供给至控制电路82、及前段和后段的存储部71-1(I-1)～71-(i+1)的控制电路82。

因而控制电路82在并非E(i)＞E(new)的场合时，产生可选择寄存器84的累积数据的选择信号，而为E(i)＞E(new)的场合，在对于i＞1而非为E(i-1)＞E(new)的场合时，产生选择来自像素图形累积器8A的新的累积数据的选择信号；在对于i＞1而为E(i-1)＞E(new)的场合时，产生可选择来自71-(i-1)的寄存器84的累积数据的选择信号。控制电路82一产生选择信号就供给至选择器83。选择器83根据其选择信号来选择来自寄存器84的累积数据、来自像素图形累积器8A的累积数据及来自前段的存储部71-(i-1)、71-(i+1)的累积数据里的任一个，供给至寄存器84。寄存器84同步于所定的时脉信号CLK，将所存储的累积数据用被供给的累积数据加以更新。

因此，通过第一次评价值累积，有关n个搜寻矢量的评价值在存储装置66中以上升顺序予以存储。

其次对第二次以下的评价值累积中的运动矢量检测部7A的动作加以说明。

从含有第一号存储部71-1，即，累积值为最小的累积数据的存储部将累积数据供给至运算装置67及像素图形累积器8A。

因而，运算装置67指定其累积数据中的搜寻矢量及次一像素图形，并运算评价值。只要其评价值为从评价部4来供给，则像素图形累积器8A就在来自存储装置66的累积数据中的评价值累积来自评价部4的评价值，并仅使累积次数增加1，而产生新的累积数据，供给至存储装置66的各存储部71-i。

此时，运算装置67控制存储部71-1～71-(n+1)的控制电路82，而使其新的累积数据存储于第(n+1)号的存储部71-(n+1)的寄存器84。因而运算装置67使存储在存储部71-1～71-(n+1)的寄存器84的累积数据移位，并使存储在存储部71-(i+1)(i＝1、...，n)的寄存器84的累积数据存储于存储部71-i的寄存器84。

在此时刻，存储部71-1～71-(n-1)来存储累积次数为1的累积数据，存储部71-n存储累积次数为2的累积数据。

其次，从第一号的存储部71-1将累积数据(累积次数为1的累积数据里的累积值为最小者)供给至运算装置67及像素图形累积器8A。

因而，运算装置67指定其累积数据中的搜寻矢量及次一像素图形，并运算评价值。只要其评价值为从评价部4来供给，则像素图形累积器8A就在来自存储装置66的累积数据中的评价值累积来自评价部4的评价值，并仅使累积次数增加1，而产生新的累积数据，供给至存储装置66的各存储部71-i。

此时，运算装置67仅使可存储累积次数为2的累积数据的存储部71-n的控制电路82动作，判断新的累积值E(new)是否为寄存器84的累积值E(n)以上，在新的累积值E(new)为寄存器84的累积值E(n)以上的场合时，将存储部71-1～71-(n+1)的寄存器84的累积数据依顺序存储于存储部71-1～71-(n+1)的寄存器84，并使新的累积数据存储于存储部71-n的寄存器84。另一方面，在新的累积值E(new)比寄存器84的累积值E(n)为小的场合时，运算装置67使存储部71-2～71-(n-1)的寄存器84的累积数据移位，并依顺序存储于存储部71-1～71-(n-1)的寄存器84，而使新的累积数据存储于存储部71-(n-1)的寄存器84。

在此时刻，存储部71-1～71-(n-2)存储累积次数为1的累积数据，存储部71-(n-1)、及71-n存储累积次数为2的累积数据。

以下，在第二次的评价值累积，同样地对依顺序移位于存储部71-1的第m号的搜寻矢量，计算评价值，并产生新的累积数据，运算装置67仅使存储累积次数为2的累积数据的存储部71-(n-m+1)～71-n的控制电路82动作，在新的累积值E(new)为寄存器84的累积值E(j)(j＝n-m+1、...，n-1)以上，且新的累积值E(new)比寄存器84的累积值E(j+1)小的场合时(而且，新的累积值E(new)为寄存器84的累积值E(j)(j＝n)以上的场合)，使存储部71-2～71-j的寄存器84的累积数据移位，依顺序存储于存储部71-1～71-(j-1)，并使新的累积数据存储于存储部71-j的寄存器84。在将该处理反复执行至对于第n(m＝n)号的搜寻矢量为止的场合时，完成第2次的评价值累积，并于存储部71-1～71-n，累积次数为2的n个累积数据则成为依上升顺序来存储的状态。

到此为止，因为运算装置67供给对所有(n个)的搜寻矢量的累积次数为1的累积数据，所以可判断关于这些累积数据中的累积值是否满足所定条件，来决定切断评价值累积的搜寻矢量。在具有切断评价值累积的搜寻矢量的场合时，如果将切断评价值累积的搜寻矢量的数目做为D，则运算装置67将搜寻矢量的数n的值更新为值(n-D)。

其后，与第2次评价值累积为同样地，来执行第3次以下的累积。

如上所述，若依据实施形态三，则因为将对多个搜寻矢量的评价值累积依上升顺序或下降顺序排列并予以存储，以基于其排列中的评价值的顺序从运动矢量的候选来削除1个或多个搜寻矢量，所以于选择切断评价值累积的搜寻矢量之际，相反地不需参考对所有搜寻矢量的评价值的累积值，而可得到所谓以迅速地执行切断评价值累积的搜寻矢量的选择的效果。实施形态五

该发明的实施形态五的运动矢量检测装置在以依据对多个搜寻矢量的评价部4所得的评价值的累积值上来选择可对应于最小值或最大值的评价值的搜寻矢量，执行对搜寻矢量的评价值累积，在最小值或最大值的评价值的累积次数为所定次数的场合时，可将其搜寻矢量做为运动矢量。

还有，关于发明的实施形态五的运动矢量检测装置是与实施形态二相同，仅运动矢量检测部7A的动作不同。

其次，说明有关动作。

图24是显示实施形态五中的评价值累积的顺序的一例的图。

运动矢量检测部7A的运算装置67首先对所定数目的搜寻矢量的第一次的评价值累积之后，削除这些搜寻矢量里的评价值为较小者的16个以外者。

其次，运动矢量检测部7A的运算装置67对其16个搜寻矢量执行第二次以下的评价值累积。

因而在第二次以下的评价值累积，运算装置67在16个搜寻矢量里，不管累积次数而选择评价值的累积值为最小的搜寻矢量，对其搜寻矢量以偏移值来指定次一像素图形并计算评价值，累积其评价值，更新评价值的累积值。

运算装置67直至评价值的累积值为最小的搜寻矢量的累积次数为所定次数(与像素图形的数目相同)的搜寻矢量出现为止，对评价值的累积值为最小的搜寻矢量予以累积次一像素图形的评价值，并更新评价值的累积值，而将评价值的累积值为最小的搜寻矢量的累积次数为所定次数(像素图形的数目)的搜寻矢量做为运动矢量。

例如如图24的所示，以在括弧内所示的第二次以下的评价值累积中的累积的顺序，选择计算评价值的搜寻矢量，因为在第93次，做为与像素图形数为同数(＝16)的累积次数的搜寻矢量(x5，y5)是做为累积值为最小的搜寻矢量而出现，所以该搜寻矢量(x5，y5)做为运动矢量。因此，在第2次以下，评价值累积的处理是全体为93次完毕。

还有，因为有关其他构成要素是与实施形态二相同，所以省略其说明。而且，不用说也可变更在初次及第2次的评价值累积上的搜寻矢量的数目等。而且，在此虽是将评价值成为最小的搜寻矢量做为运动矢量，但通过评价值的计算方法也可将评价值成为最大的搜寻矢量做为运动矢量。

如上所述，若依据实施形态五，则因为在依据对多个搜寻矢量的评价部4所得的评价值的累积值，来选择可对应于最小值或最大值的评价值的搜寻矢量，执行对所选择的搜寻矢量的评价值累积，在最小值或最大值的评价值的累积次数为所定次数的场合时，可将其搜寻矢量做为候选的运动矢量，所以为了更能进行对成为运动矢量的可能性较高的搜寻矢量的评价值累积，而得到所谓可以更短时间来检测运动矢量的效果。而且，因为恒常可选择累积值为最小的搜寻矢量，所以确实可将以所定的累积次数成为累积值最小的搜寻矢量做为运动矢量。实施形态六

该发明的实施形态六的运动矢量检测装置是在实施形态五的运动矢量检测装置中，将对多个搜寻矢量的评价值累积依上升顺序或下降顺序排列并予以存储，而选择对应于其排列的最前面的搜寻矢量，执行对所选择的搜寻矢量的评价值累积，并将对多个搜寻矢量的评价值累积依上升顺序或下降顺序再排列，在排列的最前面的评价值的累积次数为所定次数的场合时，而将其搜寻矢量做为运动矢量。

图25是显示实施形态六的运动矢量检测装置中的运动矢量检测部7A的构成例的方块图。图25中，71-1～71-n是以将n个(例如为16个)搜寻矢量的评价值累积成为上升顺序那样地构成存储n个累积数据的移位寄存器的n个存储部，运算装置67是执行对存储部71-1的累积数据中的搜寻矢量的评价值累积，将对多个搜寻矢量的评价值累积依上升顺序再排列，在排列的最前面的评价值的累积次数为所定次数的场合时，将其搜寻矢量做为运动矢量的运算装置。

还有，因为有关实施形态六的运动矢量检测装置中的其他构成要素，是与实施形态五相同，所以省略其说明。而且，存储部71-i是与图23所示的存储部71-i相同。

其次，说明有关动作。

做为初期状态首先运算装置67控制各存储部71-i的控制电路82而在选择器83选择具有所定最大值的累积数据，并被寄存器84选择。

其次说明在第一次的评价值累积中的运动矢量检测部7A的动作。运算装置67对于各搜寻矢量以偏移值来指定第1号像素图形并依顺序计算第一次的评价值。各评价值从评价部4供给至像素图形累积器8A。因而，从像素图形累积器8A，将来自评价部4的评价值、及以现在的搜寻矢量及累积次数(＝1)所构成的新的累积数据供给至存储部71-1～71-n的比较器81及选择器83。

各存储部71-i的比较器81比较存储在寄存器84的累积数据中的累积值E(i)与来自像素图形累积器8A的累积数据中的E(new)，将其比较结果、即是否为E(i)＞E(new)供给至控制电路82、及前段和后段的存储部71-(I-1)～71-(i+1)的控制电路82。

控制电路82在并非E(i)＞E(new)的场合时，产生可选择寄存器84的累积数据的选择信号，而为E(i)＞E(new)的场合时，在对于i＞1而非为E(i-1)＞E(new)的场合，则产生可选择来自像素图形累积器8A的新的累积数据的选择信号，而于对于i＞1而为E(i-1)＞E(new)的场合，则产生可选择来自前段的71-(i-1)的寄存器84的累积数据的选择信号。控制电路82一产生选择信号就供给至选择器83。选择器83根据其选择信号来选择来自寄存器84的累积数据、来自像素图形累积器8A的累积数据、及来自前段的存储部710(i-1)、71-(i+1)的累积数据里的任一个，而供给至寄存器84。寄存器84同步于所定的时脉信号CLK，将所存储的累积数据更新为被供给的累积数据。

因此，通过第一次评价值累积，有关n个搜寻矢量的累积数据为在存储装置66中存储成评价值(的累积值)的上升顺序。

其次对第二次以下的评价值累积的场合时的运动矢量检测部7A的动作加以说明。

在第二次以下的评价值累积上，运算装置67对于存储在最前面的存储部71-1的累积数据、即累积值为最小的累积数据中的搜寻矢量以偏移值来指定次一像素图形并计算次一评价值。其评价值从评价部4供给至像素图形累积器8A。因而，从像素图形累积器8A供给新的累积数据至存储部71-1～71-n的比较器81及选择器83。

各存储部71-i的比较器81比较寄存器84所存储的累积数据里的累积值E(i)与来自像素图形累积器8A的累积数据里的累积值E(new)，并将其比较结果、即是否为E(i)＞E(new)供给至控制电路82、及前段和后段的存储部71-(I-1)～71-(i+1)的控制电路82。

因而在存储部71-i(i＝1，...，n-1)的控制电路82并非E(i+1)＞E(new)的场合时，产生选择来自后段存储部71-(i+1)的累积数据的选择信号，而非为E(i)＞E(new)，且E(i+1)＞E(new)的场合时，产生选择来自像素图形累积器8A的新的累积数据的选择信号，在为E(i)＞E(new)，且E(i+1)＞E(new)的场合时，产生可选择来自寄存器84的累积数据的选择信号。而且存储部71-n的控制电路82是于E(i)＞E(new)的场合时，产生选择来自像素图形累积器8A的新的累积数据的选择信号。控制电路82一产生选择信号就供给至选择器83。选择器83根据其选择信号来选择来自寄存器84的累积数据、来自像素图形累积器8A的累积数据、及来自后段的存储部71-(i+1)的累积数据里的任一个，供给至寄存器84。寄存器84同步于所定的时脉信号CLK，而将所存储的累积数据更新为被供给的累积数据。

因此，在第二次以下的评价值累积，依顺序执行对累积值为最小的搜寻矢量的评价值累积，并将对其搜寻矢量的新的累积数据供给至存储装置66，其搜寻矢量的原来的累积数据则被抛弃，含有新的累积数据的n个累积数据则被依累积值的上升顺序予以排列。

还有，因为有关其他构成要素与实施形态五相同，所以省略其说明。而且，在此虽是依评价值的累积值的上升顺序予以排列，但也有以根据评价值的计算方法而依累积值的下降顺序予以排列的情形。

如上所述，若依据实施形态六，则因为将对多个搜寻矢量的评价值的累积值依上升顺序或下降顺序排列并予以存储，选择对应于其排列的最前面的搜寻矢量，来执行对所选择的搜寻矢量的评价值累积，而依上升顺序或下降顺序再排列对多个搜寻矢量的评价值的累积值，在排列的最前面的评价值的累积次数为所定的次数的场合时，将其搜寻矢量做为运动矢量，所以于选择其次可执行评价值累积的搜寻矢量之际，若单纯地选择排列的最前面的搜寻矢量也可，而不需要参考对各搜寻矢量的评价值的累积值，可得到所谓可迅速地执行切断评价值累积的搜寻矢量的选择的效果。实施形态七

该发明的实施形态七的运动矢量检测装置是在如MPEG2方式等那样地来执行双方向预测之际，将以编码的帧中的依据区块的位置的所定的行及所定的列的前方向的运动矢量检测用的第一搜寻窗、及后方向的运动矢量检测用的第二搜寻窗的像素数据存储于搜寻窗存储器部2，而与上述同样地，可检测出前方向的运动矢量及后方向的运动矢量。

还有，有关实施形态七的运动矢量检测装置的构成虽是与实施形态一～六的任一个相同，但是于搜寻窗存储器部2的存储器11-(I，J)存储在前方向及后方向双方向的搜寻窗中的像素数据。

其次，说明有关动作。

图26是显示前方向的搜寻窗及前方向的搜寻区块之一例的图。图27是显示后方向的搜寻窗及前方向的搜寻区块之一例的图。

例如如图26及图27的所示那样，在搜寻窗存储器部2的存储器11-(I，J)存储前方向的搜寻窗中的像素数据，并于其后的地址可存储后方向的搜寻窗中的像素数据。

因而，首先在前方向的搜寻窗中，前方向的运动矢量为可如上述实施形态一～六那样地被搜寻并检测到。其后，在后方向的搜寻窗中，后方向的运动矢量为可如上述实施形态一～六那样地被搜寻并检测到。

如上所述，若依据该实施形态七，则因为将以编码的帧中的依据区块的位置的所定的行及所定的列的前方向的运动矢量检测用的第一搜寻窗、及后方向的运动矢量检测用的第二搜寻窗的像素数据存储于搜寻窗存储器部2，检测出前方向的运动矢量及后方向的运动矢量，所以可得到所谓虽然于搜寻窗存储器部2增加必要的存储容量，但不增加其他构成要素，就可检测前方向及后方向的运动矢量的效果。

还有，实施形态七虽是适用于实施形态一～六，但也可适用于现有技术的运动矢量检测装置。

还有，在上述的搜寻窗、区块、及像素图形中的像素的数、及存储器11-(I，J)，16-(I，J)的数等只不过是一个例子，根据需要也可为其他的数。

工业上的可利用性

如上所述，该发明是在执行运动预测的图像处理方式上适于检测运动矢量。

Claims (7)

1.一种运动矢量检测装置，对于分割图像数据中的帧的各区块，来检测对已编码的帧的运动矢量，其特征在于包括：

第一存储装置，存储构成前述区块的多个像素图形所构成的像素数据；

第二存储装置，在前述已编码的帧中的所定范围，以每一个分别以每隔所定的像素数的所定数的像素而构成的多个像素图形中同一位置的像素数据，来存储前述已编码的帧中的所定范围的像素数据；

选择装置，供给所定的搜寻矢量，而在前述所定的范围，来选择以其搜寻矢量所指定的区块中的1个像素图形；

比较装置，按每一像素将由前述选择装置所选择的像素图形与其像素图形为同一个存储在前述第一存储装置的像素图形进行比较；及

检测装置，基于由前述比较装置所得的比较结果来检测前述运动矢量。

2.一种运动矢量检测装置，对于分割图像数据中的帧的各区块，来检测对已编码的帧的运动矢量，其特征在于包括：

第一存储装置，存储构成前述区块的多个像素图形或多个分割区块所构成的像素数据；

第二存储装置，以每一构成前述已编码的帧中的所定范围的多个像素图形或多个分割区块中同一位置的像素数据，来存储前述已编码的帧中的前述所定范围的像素数据；

选择装置，供给做为前述运动矢量的候选的多个搜寻矢量，在前述所定的范围顺序选择以各搜寻矢量所指定的区块中的同一像素图形或各分割区块；

比较装置，以每一像素将由前述选择装置所选择的像素图形或分割区块与其像素图形或分割区块为一个的存储在前述第一存储装置的像素图形进行比较；

搜寻矢量收敛装置，在对一个搜寻矢量的有关依据前述比较装置的全像素图形或全分割区块的比较完毕以前，根据至当前时刻点为止的像素图形或分割区块的比较结果，使依据对其搜寻矢量的前述选择装置及比较装置的处理中止，从前述运动矢量的候选来削除其搜寻矢量；及

检测装置，基于由前述比较装置所得的比较结果，从前述运动矢量的候选来检测前述运动矢量。

3.如权利要求2的运动矢量检测装置，其中，搜寻矢量收敛装置是以每一对于多个搜寻矢量的同一个像素图形或同一块分割区块，在每一其同一个像素图形或同一块分割区块的比较完毕之后，在满足所定条件的场合从运动矢量的候选来削除前述多个搜寻矢量里的至少一个。

4.如权利要求3的运动矢量检测装置，其中，比较装置做为比较结果而算出评价值；搜寻矢量收敛装置是对于各搜寻矢量来计算在多个像素图形的评价值的累积值，将对多个搜寻矢量的前述评价值的累积值依上升顺序或下降顺序排列并予以存储，以基于其排列中的前述评价值的顺序从运动矢量的候选削除1个或多个搜寻矢量。

5.如权利要求2的运动矢量检测装置，其中，比较装置做为比较结果算出评价值；搜寻矢量收敛装置是在对于前述多个搜寻矢量的前述评价值的累积值来选择对应于最小值或最大值的评价值的搜寻矢量，并执行对所选择的搜寻矢量的前述评价值的累积，而检测装置是于最小值或最大值的评价值的累积次数为所定次数的场合时，将其搜寻矢量做为运动矢量。

6.如权利要求5的运动矢量检测装置，其中，搜寻矢量收敛装置是将对多个搜寻矢量的评价值的累积值依上升顺序或下降顺序排列并予以存储，选择对应于其排列的最前面的搜寻矢量，并执行对所选择的搜寻矢量的前述评价值的累积，将对多个搜寻矢量的评价值的累积值依上升顺序或下降顺序再排列，在排列最前面的评价值的累积次数为所定次数的场合时，将其搜寻矢量做为运动矢量。

7.一种运动矢量检测装置，对于分割图像数据中的帧的各区块，来检测对已编码的帧的运动矢量，其特征在于包括：

第一存储装置，存储构成前述区块的像素数据中的所定数目的像素数据；

第二存储装置，存储前述编码后的帧中的前方向的运动矢量检测用的第一范围内、及后方向的运动矢量检测用的第二范围内的像素数据；

选择装置，供给前方向的搜寻矢量及后方向的搜寻矢量，选择前述第二存储装置所存储的前述像素数据里、距离前述区块的位置仅为前述搜寻矢量的位置、与前述区块为同一大小范围的像素数据里的所定数目的像素数据；

比较装置，比较前述第一存储装置所存储的所定数目的像素数据与由前述选择装置所选择的所定数目的像素数据；及

检测装置，依据前述比较装置所得的比较结果，来检测前方向的运动矢量及后方向的运动矢量。

Images