CN101009843B - 信号处理设备、图像捕捉设备、网络照相系统和视频系统 - Google Patents

Abstract

本发明公开了一种信号处理设备、图像捕捉设备、网络照相系统和视频系统，用于通过参照包括在基准帧图像中的多个基准宏块图像而估计包括在目标帧图像中的目标宏块图像的运动，所述信号处理设备包括：目标图像存储部分，用于存储包括在所述目标帧图像中的所述目标宏块图像；基准图像存储部分，用于存储多个基准宏块图像，该基准宏块图像位于在与基准帧图像中包括的多个基准宏块图像的目标宏块图像相对应的基准宏块图像周围，在所述目标宏块图像在其中处理的第一方向和与所述第一方向垂直的第二方向上，并具有多个基准存储区部分，该多个基准存储区部分为物理上单独划分的区域，各区域包括位于第二方向上的预定数量的基准宏块图像；以及运动估计部分，用于通过参照存储在所述基准图像存储部分的所述多个基准存储区部分中的多个基准宏块，相对于目标图像存储部分中的目标宏块图像进行运动估计。

Description

信号处理设备、图像捕捉设备、网络照相系统和视频系统

本申请要求享有2006年1月13日提出的申请号为No.2006-006112的日本专利申请的优先权，在此将其全部内容结合进来作为参考。

技术领域

本发明涉及一种用于在运动补偿预测编码中估计运动矢量的信号处理设备以及使用该信号处理设备的图像捕捉设备、网络照相系统和视频系统，其中该运动补偿预测编码为一种运动图像压缩方法。更具体地，本发明涉及运动估计处理的速度和编码效率方面的改进。

背景技术

目前，以高压缩比压缩图像的先进信号处理技术在数码相机或数字可携式摄像机中得到利用。

作为压缩运动图像的方法，公知的有MPEG(运动图像专家组)。MPEG利用运动补偿预测，其通过仅对物体的位移和图像的差别数据进行编码，可更有效地压缩图像数据。在该运动补偿预测中，表示物体位移的运动矢量由诸如块匹配方法等算法计算得到。

以下将参照图27说明其中仅使用先前帧图像的帧间(inter-frame)预测编码。将先前帧图像划分为多个宏块。将这些宏块中的几个宏块指定为基准宏块，参照该基准宏块而估计当前帧图像中兴趣宏块(也称为目标宏块)的运动矢量。在图28中，将总共9个基准宏块指定为基准宏块，各宏块为块(x，y)＝16像素×16像素(即，在x方向上16个像素，在y方向上16个像素)，且将运动补偿以后基准宏块O与位于图28中心的基准宏块R之间的间距计算为运动矢量M(MVx，MVy)。

以下将描述用于估计兴趣宏块运动的运动估计设备的结构。该结构在例如日本未审查专利申请公开号No.2005-210647中得到说明。图29示出了传统的运动估计设备的内部结构。

在图29中，运动估计设备61包括系统存储器62、目标图像存储器63以及基准图像存储器64。系统存储器62具有可存储在当前帧图像紧接之前至少一帧图像(基准帧图像)的容量。目标图像存储器63具有可存储用于当前帧图像的运动估计的一个宏块(目标宏块)的像素数据以及用于下一帧图像的运动估计的下一个目标宏块的像素数据的容量。基准图像存储器64物理上由单独存储器组成，其为允许同时进行读操作和写操作的两端口存储器。基准图像存储器64具有可存储全部12个基准宏块(长度方向上3个，宽度方向上4个)的图像数据的4列块区域的容量，并通过单独的数据总线D1与系统存储器62相连接。各目标宏块和基准宏块具有例如如图28所示的(x，y)＝16像素×16像素的大小。

在图29中，65表示用于控制目标图像存储器63的目标图像存储器控制电路、66表示用于控制基准图像存储器64的基准图像存储器控制电路以及67表示用于根据来自基准图像存储器控制电路66的控制信号控制系统存储器62的系统图像存储器控制电路。并且，68表示运动估计电路，其分别通过总线D2和D3与目标图像存储器63和基准图像存储器64相连接，并控制目标图像存储器控制电路65和基准图像存储器控制电路66以将目标宏块和下一目标宏块的图像数据传送给目标图像存储器63，并将来自系统存储器62的多个基准宏块连续地传送给基准图像存储器64。运动估计电路68也读取传送给目标图像存储器63的目标宏块的图像数据和传送给基准图像存储器64的基准宏块的图像数据，并在参照该基准宏块的同时进行相对于该目标宏块的运动估计，并输出运动矢量M(MVx，MVy)和运动补偿以后的基准宏块的图像数据。

接下来将参照图30说明图29的运动估计设备61的操作。注意到，为了方便起见，如图30所示，假定一帧由(x，y)＝5×3个宏块(＝80像素×48像素)组成，并且用于运动估计的搜索范围由(x，y)＝3×3个宏块组成。在本说明书中，如图30所示的数字指出，具有数字n(n＝0到14)的基准宏块由基准宏块“n”表示，且具有数字n的目标宏块由目标宏块“n”表示。

在图30中，在步骤1，将目标宏块“0”的图像数据输入到目标图像存储器63。同时，将与目标宏块“0”位于相同位置和其周围的4个基准宏块“0”、“1”、“5”和“6”从系统存储器62中传送出并存储在基准图像存储器64的第二和第三列上的块区域中。

接下来，在步骤2中，将目标图像存储器63中的目标宏块“0”的图像数据输出给运动估计电路68，并且将基准图像存储器64中的基准宏块“0”、“1”、“5”和“6”的图像数据输出给运动估计电路68，并且此后，进行相对于目标宏块“0”的运动估计。与此并行地，将下一目标宏块“1”的图像数据存储在目标图像存储器63中，并且将位于下一目标宏块“1”周围的基准宏块“0”到“2”和“5”到“7”中除了已经存储的基准宏块以外的基准宏块“2”和“7”从系统存储器62中传送出并存储在基准图像存储器64第4列中的块区域中，这是为相对于下一目标宏块“1”进行运动估计做准备。这里，在基准图像存储器64中，从第二和第三列块区域中读取数据和向第四列块区域中写入数据同步进行。由于这些读操作和写操作相对于不同列的块区域进行，所以这是可能的，且基准图像存储器64为允许并行进行读操作和写操作的两端口类型。

当相对于目标宏块“0”的运动估计完成时，操作进行到步骤3。在步骤3中，与上述相似，将下一目标宏块“1”的图像数据和基准宏块“0”到“2”和“5”到“7”的图像数据输出到运动估计电路68，并进行相对于目标宏块“1”的运动估计，并且此后，在将下一目标宏块“2”的图像数据存储在目标图像存储器63中的同时，将位于与下一目标宏块“2”相同位置和其周围的基准宏块“1”到“3”和“6”到“8”中除了已存储的基准宏块以外的基准宏块“3”和“8”从系统存储器62中传送出并存储在基准图像存储器64的第一列块区域中。

接下来，当相对于目标宏块“1”的运动估计完成时，操作进行到步骤4。在步骤4中，与上述相似，在参照基准宏块“1”到“3”和“6”到“8”的图像数据的同时，进行相对于目标宏块“2”的运动估计，并且在将下一目标宏块“3”的图像数据存储在目标图像存储器63中的同时，将在相对于下一目标宏块“3”的运动估计中作为参照的基准宏块“4”和“9”再由系统存储器62中传送出并存储在基准图像存储器64的第二列块区域中。

此后，当相对于目标宏块“2”的运动估计完成时，操作进行到步骤5。在步骤5中，与上述相似，在参照基准宏块“2”到“4”和“7”到“9”的图像数据的同时，进行相对于目标宏块“3”的运动估计，并且在将下一目标宏块“5”的图像数据存储在目标图像存储器63中的同时，在相对于下一目标宏块“5”的运动估计中作为参照的三个基准宏块“0”、“5”和“10”的图像数据再从系统存储器62中传送出并存储在基准图像存储器64的第三列块区域中。

此后，重复进行与上述相似的操作以进行相对于块“4”到“14”的运动估计。在上述操作中，不必重复地从系统存储器62中将相同基准宏块的图像数据传送给基准图像存储器64，从而可高效地进行相对于各目标宏块的运动估计。

在运动补偿预测编码中，将上述的运动估计称为“全像素精度运动估计”，并且为了提高“全像素精度运动估计”的精确性，可使用“半像素精度运动估计”。以下进行“半像素精度运动估计”的运动估计。如图31所示，关于使用通过上述运动估计获得的运动矢量M(MVx，MVy)进行运动补偿的全像素精度基准图像数据(该图像数据的位置由阴影线的圆圈表示)，对彼此垂直或水平相邻的两段图像数据进行过滤处理以生成位于这些段图像数据之间的图像数据。通过重复进行这个过程，具有半像素精度的图像数据(该图像数据的位置由图31的空心圆圈表示)，并且例如，运动矢量M的顶点位置由全像素精度图像数据P改变为周围半像素精度图像数据a到h中的八段数据中的任意一个，从而进一步提高运动估计的精度。

然而，上述传统的运动估计设备具有以下缺陷。

特别地，当除了上述的全像素精度运动估计以外再进行半像素精度运动估计时，最初要进行全像素精度运动估计，且此后，在全像素精度运动估计中已经使用的多个基准宏块的图像数据的一部分需要在半像素精度运动估计中再次使用。所以，如图32A和32B所示，当仅进行全像素精度运动估计时，一个时隙(time slot)可具有如图32A所示的预定时间。然而，当额外进行半像素精度运动估计时，需要在全像素精度运动估计以后继续进行半像素精度运动估计，且所需的一个时隙需要设定为比全像素精度运动估计中更长的时间。结果，虽然提高了运动估计的精度，但是也不利地花费更长的时间进行运动估计。

另外，在上述传统的运动估计中，基准图像存储器64包括四列块区域，各块区域对应于上述的三个基准宏块，并且该四列块区域中的三个分配用于相对于目标宏块的运动估计，且剩余的一列块区域分配用于相对于下一目标宏块的运动估计的准备。因此，在基准图像存储器64中的四列块区域固定地使用。所以，即使当图像的运动显著时，用于运动估计的搜索范围也固定的狭窄，因此不能实现精确的运动估计。

发明内容

本发明的目的在于提供一种全像素精度运动估计和半像素精度运动估计的并行处理以及与显著运动无关的高精度运动估计。

为了实现该目的，本发明公开一种基准图像存储器的配置和基准图像存储器与运动估计电路之间的连接关系，其允许并行地进行全像素精度运动估计和半像素精度运动估计，并允许对用于运动估计的搜索范围进行可变化设定。

特别地，本发明提供一种信号处理设备，用于通过参照包括在基准帧图像中的多个基准宏块图像而估计包括在目标帧图像中的目标宏块图像的运动，该设备包括：目标图像存储部分，用于存储包括在所述目标帧图像中的所述目标宏块图像；基准图像存储部分，用于存储与包括在基准帧图像中的多个基准宏块图像的目标宏块图像相对应的基准宏块图像周围并且位于处理所述目标宏块图像的第一方向和与所述第一方向垂直的第二方向的多个基准宏块图像，并具有多个基准存储区部分，该多个基准存储区部分为物理上单独划分的区域，各区域包括位于第二方向上的预定数量的基准宏块图像；以及运动估计部分，用于通过参照存储在所述基准图像存储部分的多个基准存储区部分中的所述多个基准宏块，相对于目标图像存储部分中的目标宏块图像进行运动估计。

在本发明的信号处理设备的一个技术方案中，基准图像存储部分的所述多个基准存储区部分适于分配给至少：全像素精度基准存储区部分，用于存储相对于目标宏块图像的全像素精度运动估计的多个基准宏块图像；备用传送基准存储区部分，用于存储为下一周期进行相对于该下一周期目标宏块图像中的目标宏块图像进行运动估计的多个基准宏块图像；以及半像素精度基准存储区部分，用于存储相对于目标宏块图像以前预定数量周期的目标宏块图像进行半像素精度运动估计的多个基准宏块图像。所有包括在基准图像存储部分中的基准存储区部分与运动估计部分通过各自单独的信号线相连接。

在本发明的信号处理设备的一个技术方案中，所述信号处理设备进一步包括：传送控制部分，用于控制存储在基准图像存储部分的多个基准存储区部分中的多个基准宏块图像的传送。该传送控制部分在将存储在全像素精度基准存储区部分中的多个基准宏块图像和存储在半像素精度基准存储区部分中的多个基准宏块图像传送给运动估计部分的同时，进行全/半像素精度搜索并行执行控制以将用于下一周期的多个基准宏块图像存储到备用传送基准存储区部分。

在本发明的信号处理设备的一个技术方案中，传送控制部分进行全/半像素搜索串行执行控制而不是全/半像素搜索并行执行控制，以将用于下一周期的多个基准宏块图像存储到备用传送基准存储区部分，并且此后，将存储在全像素精度基准存储区部分中的多个基准宏块图像作为用于半像素精度的多个基准宏块图像传送给运动估计部分，同时将存储在全像素精度基准存储区部分中的多个基准宏块图像传送给运动估计部分。

在本发明的信号处理设备的一个技术方案中，所述信号处理设备进一步包括：存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量。该存储区配置指定部分接收关于所需图像性能的信息，并根据接收的所需性能而改变基准图像存储部分的存储区配置。根据由存储区配置指定部分改变的基准图像存储部分的存储区配置，存储区控制部分转换全/半像素精度搜索并行执行控制和全/半像素精度搜索串行执行控制。

在本发明的信号处理设备的一个技术方案中，所述信号处理设备进一步包括：存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量。该存储区配置指定部分接收关于所需图像性能的信息，并根据接收的所需性能而改变基准图像存储部分的存储区配置，并且当接收的所需性能为高时，扩大全像素精度基准存储区部分、备用传送基准存储区部分以及半像素精度基准存储区部分的存储区域。

在本发明的信号处理设备的一个技术方案中，关于所需图像性能的信息为图像的图像质量。

在本发明的信号处理设备的一个技术方案中，关于所需图像性能的信息为图像的尺寸。

在本发明的信号处理设备的一个技术方案中，关于所需图像性能的信息为图像的帧率。

在本发明的信号处理设备的一个技术方案中，图像的运动估计以双向预测进行。基准图像存储部分的全像素精度基准存储区部分、备用传送基准存储区部分以及半像素精度基准存储区部分被分为向前预测专用部分和向后预测专用部分。基准宏块图像从向前预测专用全像素精度基准存储区部分、备用传送基准存储区部分以及半像素精度基准存储区部分，以及向后预测专用全像素精度基准存储区部分、备用传送基准存储区部分以及半像素精度基准存储区部分传送给运动估计部分。

在本发明的信号处理设备的一个技术方案中，所述信号处理设备进一步包括：预测精度检测部分，用于通过运动估计部分检测在图像的设定范围中运动估计的预测精度；以及存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量。根据由预测精度检测部分检测的预测精度而改变基准图像存储部分的存储区配置，并且当预测精度为低时，增加所用基准存储区部分的数量。

在本发明的信号处理设备的一个技术方案中，所述图像的设定范围为该图像的一帧。

在本发明的信号处理设备的一个技术方案中，根据由预测精度检测部分检测的图像的一帧中的预测精度，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与其中已检测预测精度的帧紧接的下一帧的运动估计。

在本发明的信号处理设备的一个技术方案中，所述图像的设定范围为包括位于第二方向的多个块行的图像的一帧中的一个块行，各块行包括位于第一方向上的多个宏块。

在本发明的信号处理设备的一个技术方案中，根据由预测精度检测部分检测的图像的一个块行中的预测精度，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与其中已检测预测精度的块行紧接的下一块行的运动估计。

在本发明的信号处理设备的一个技术方案中，运动估计部分对于各目标宏块图像计算运动矢量。该信号处理设备进一步包括：比较部分，用于通过运动估计部分将图像的设定范围中对于各目标宏块的运动估计与基准值比较；和存储区配置指定部分，用于指定在基准图像存储部分中用作存储器配置的基准存储区部分的数量。根据比较部分中的比较结果，存储器配置指定部分改变基准图像存储部分中的存储区配置。

在本发明的信号处理设备的一个技术方案中，比较部分对超出基准值的目标宏块图像的运动矢量的数量进行计数，并且当计数值大于或等于设定值时，存储区配置指定部分增加在基准图像存储部分中所用的基准存储区部分的数量。

在本发明的信号处理设备的一个技术方案中，图像的设定范围为图像的一帧。

在本发明的信号处理设备的一个技术方案中，根据比较部分的比较结果，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与包括其中运动矢量已检测的目标宏块的帧紧接的下一帧的运动估计。

在本发明的信号处理设备的一个技术方案中，所述图像的设定范围为包括位于第二方向的多个块行的图像的一帧中的一个块行，各块行包括位于第一方向上的多个宏块。

在本发明的信号处理设备的一个技术方案中，根据比较部分的比较结果，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与包括其中运动矢量已检测的目标宏块的块行紧接的下一块行的运动估计。

在本发明的信号处理设备的一个技术方案中，所述比较部分将各目标宏块图像的运动矢量的第一方向分量和第二方向分量与第一方向基准值和第二方向基准值分别进行比较。根据比较部分中第一方向和第二方向的比较结果，存储区配置指定部分改变基准图像部分中的存储区配置。

在本发明的信号处理设备的一个技术方案中，所述信号处理设备进一步包括：存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量。

本发明还提供一种图像捕捉设备，包括：如上所述的信号处理设备；以及图像捕捉部分，用于捕捉运动图像，并将该图像信号输出至信号处理设备。该图像捕捉部分具有在所述运动图像被捕捉时用于检测图像位置变化的变化检测部分。包括在信号处理设备中的存储区配置指定部分的一部分也用作图像捕捉部分中的变化检测部分。

本发明还提供一种网络系统，包括：具有图像捕捉部分的网络照相机；以及多个图像终端，用于请求由网络照相机的图像捕捉部分捕捉的运动图像的分配，并且各自具有用于显示分配的运动图像的图像显示设备。所述网络照相机具有如上所述的信号处理设备。根据同时发出分配运动图像请求的图像终端的数量，包括在信号处理设备中的存储区配置指定部分改变基准图像存储部分的存储区配置。

在本发明的网络照相机系统的一个技术方案中，所述信号处理设备具有传送控制部分。该传送控制部分使用由存储区配置指定部分改变的基准图像存储部分的存储区配置而恒定执行全/半像素精度搜索并行执行控制。

在本发明的网络照相机系统的一个技术方案中，该信号处理设备具有传送控制部分。根据由存储区配置执行部分改变的基准图像存储部分的存储区配置，该传送控制部分转换并控制全/半像素精度搜索并行执行控制和全/半像素精度搜索串行执行控制。

在本发明的网络照相机系统的一个技术方案中，假定当运动图像分配给任一所述多个图像终端时，从另一图像终端发出运动图像分配的请求，当存储区配置指定部分不能响应于从另一图像终端发出的运动图像分配请求而改变基准图像存储部分的存储区配置时，网络照相机将该事件通知给发出该分配请求的另一图像终端。

在本发明的网络照相机系统的一个技术方案中，发出分配请求的其它图像终端，在从网络照相机接收到表示基准图像存储部分的存储区配置不能改变的通知时，传送给网络照相机其中运动图像的所需性能已降低的分配请求，并且网络照相机的信号处理设备的存储区配置指定部分当从其它图像终端接收到其中运动图像的所需性能已降低的分配请求时，试图根据所需的性能而改变基准图像存储部分的存储区配置。

在本发明的网络照相机系统的一个技术方案中，当根据从其它图像终端发出的运动图像分配请求存储区配置指定部分不能改变基准图像存储部分的存储区配置时，网络照相机通知正在分配运动图像的图像终端一个查询，即：基准存储区部分优先分配给发出分配请求的其它图像终端是否允许。

在本发明的网络照相机系统的一个技术方案中，正在分配运动图像的图像终端响应于网络照相机关于基准存储区部分优先分配给发出分配请求的其它图像终端是否允许的查询，并且当从正在分配运动图像的图像终端接收允许将基准存储区部分优先分配给发出分配请求的其它图像终端的响应时，网络照相机进行优先分配。

本发明还提供一种视频系统，包括：图像处理部分，其包括如上所述的信号处理设备并用于进行图像处理；传感器，用于将图像信号输出至图像处理部分的信号处理设备；以及光学系统，用于使光在所述传感器上成像。

本发明还提供一种视频系统，包括：图像处理部分，其包括如上所述的信号处理设备并用于进行图像处理；以及A/D转换部分，用于接收具有模拟值的图像信号，将该图像信号转换为数字值，并将该数字值输出至图像处理部分的信号处理设备。

本发明还提供一种信号处理方法，用于通过参照包括在基准帧图像中的多个基准宏块图像而估计包括在目标帧图像中的目标宏块图像的运动。所述运动估计包括以全像素单元估计目标宏块图像的第一运动估计以及以半像素单元估计目标宏块图像的第二运动估计，该信号处理方法包括：执行第一运动估计的第一步骤；以及执行第二运动估计的第二步骤，且所述第一步骤和第二步骤并行进行。

本发明还提供一种信号处理设备，用于通过参照包括在基准帧图像中的多个基准宏块图像而估计包括在目标帧图像中的目标宏块图像的运动。所述运动估计包括以全像素单元估计目标宏块图像的第一运动估计以及以半像素单元估计目标宏块图像的第二运动估计，该信号处理设备包括：基准图像存储部分，用于存储在对应于包括在基准帧图像中的多个基准宏块图像的目标宏块图像的基准宏块图像的周围并位于水平方向和垂直方向的多个基准宏块图像；以及运动估计部分，用于通过参照存储在所述基准图像存储部分中的所述多个基准宏块进行第一运动估计和第二运动估计，并且第一运动估计和第二运动估计在运动估计部分中并行进行。

在本发明的信号处理设备的一个技术方案中，基准图像存储部分为提供在所述信号处理设备中的嵌入式存储器。

在本发明的信号处理设备的一个技术方案中，所述嵌入式存储器为SRAM。

在本发明的信号处理设备的一个技术方案中，当用于运动估计的搜索范围包括处理方向中n个基准图像宏块时，相对于第(m+n)个宏块的第一运动估计和相对于第m个宏块的第二运动估计并行进行。

如上所述，在本发明的信号处理设备中，基准图像存储部分包括物理上可单独划分的基准存储区部分。这些基准存储区部分适于分配给全像素精度运动估计、半像素精度运动估计以及备用传送。基准存储区部分的基准宏块通过各自单独的信号线传送到运动估计电路。从而，运动估计部分使用全像素精度基准宏块和半像素精度基准宏块并行地进行全像素精度运动估计和半像素精度运动估计。所以，与串行进行全像素精度运动估计和半像素精度运动估计时相比，可高速和高精度地进行运动估计。

这里，存储在分配给全像素精度的基准存储区部分中的基准宏块的图像数据用于进行全像素精度运动估计以后，该基准宏块的图像数据保持不变。在几个周期以后，当该图像数据不再用于相对于目标宏块的全像素精度运动估计时，分配给全像素精度的基准存储区部分可改变用作半像素精度基准存储区部分。如果存储在该基准存储区部分中的基准宏块的图像数据传送给用于半像素精度运动估计的运动估计部分，同样基准宏块的图像数据不需要重复地写入基准图像存储部分中。

并且，在本发明的信号处理设备中，基准图像存储部分的存储区配置根据运动估计的预测精度或运动矢量的幅值而改变。所以，当图像的运动显著时，用于运动估计的搜索范围可扩大，从而可恒定实现高精度的运动估计，因而使编码效率提高。

并且，在本发明的图像捕捉设备中，当运动图像被捕捉时图像位置的变化由图像捕捉部分的变化检测部分进行检测。使用由变化检测部分检测的该图像位置变化，信号处理设备的存储区配置指定部分改变基准图像存储部分的存储区配置，从而变化检测部分不需要单独的增加到信号处理设备中。

另外，在本发明的网络照相机系统中提供有上述信号处理设备。所以，全像素精度运动估计和半像素精度运动估计的并行处理以及全像素精度运动估计和半像素精度运动估计的串行处理可适于转换，并且用于运动估计的搜索范围可根据图像的运动而扩大或减小，从而可获得高的编码效率。

附图说明

图1所示为根据本发明第一实施方式的信号处理设备的整体结构的示意图；

图2为描述图1的运动估计设备的操作的示意图；

图3A为描述全像素精度运动估计和半像素精度运动估计的并行处理的示意图，而图3B为描述全像素精度运动估计和半像素精度运动估计的串行处理的示意图，图3C为描述其中仅进行全像素精度运动估计的操作的示意图；

图4A和图4B所示为根据本发明第二实施方式的作为信号处理设备的图像运动估计设备的整体结构的示意图，图4A为当使用不同的基准存储区(bank)存储器并行进行全像素精度运动估计和半像素精度运动估计时的示意图，而图4B为当使用相同的基准存储区存储器串行进行全像素精度运动估计和半像素精度运动估计时的示意图；

图5A和图5B所示为根据本发明第三实施方式的作为信号处理设备的图像运动估计设备的整体结构的示意图，图5A示出了当搜索范围设定为初始范围时在基准图像存储器中存储区的分配，而图5B示出了当搜索范围设定为扩大的范围时在基准图像存储器中存储区的分配；

图6为描述在MPEG的运动补偿预测中使用的向前预测和向后预测的双向预测的示意图；

图7A和图7B所示为根据本发明第四实施方式的作为信号处理设备的图像运动估计设备的整体结构的示意图，图7A示出了在仅使用向前预测的编码方法中基准图像存储器的存储区的分配，而图7B示出了在使用双向预测的编码方法中基准图像存储器的存储区的分配；

图8所示为根据本发明第五实施方式的作为信号处理设备的图像运动估计设备的整体结构的示意图；

图9A和图9B所示为在图8的运动估计设备中基准图像存储器的存储区分配的示意图，图9A示出了当搜索范围设定为正常范围时的情况，而图9B示出了当搜索范围设定为扩大范围时的情况；

图10为在图8的运动估计设备中运动估计操作的控制流程图；

图11所示为根据本发明第六实施方式的作为信号处理设备的图像运动估计设备的运动估计操作的控制流程图；

图12所示为根据本发明第七实施方式的作为信号处理设备的图像运动估计设备的整体结构的示意图；

图13所示为在图12的运动估计设备中运动估计操作的控制流程图；

图14所示为根据本发明第八实施方式的作为信号处理设备的图像运动估计设备的运动估计操作的控制流程图；

图15所示为根据本发明第九实施方式的作为信号处理设备的图像运动估计设备的整体结构的示意图；

图16所示为在图15的运动估计设备中运动估计操作的控制流程图；

图17A到图17D所示为在图15的运动估计设备中基准图像存储器的存储区的分配的示意图，图17A示出了当搜索范围设定为正常范围时的情况，图17B示出了当搜索范围在水平和垂直方向上扩大时的情况，图17C示出了当搜索范围仅在水平方向上扩大时的情况，而图17D示出了当搜索范围仅在垂直方向上扩大时的情况；

图18所示为根据本发明第十实施方式的作为信号处理设备的图像运动估计设备的整体结构的示意图；

图19所示为根据本发明第十一实施方式的包括作为信号处理设备的图像运动估计设备的网络照相机的整体结构的示意图；

图20为示出了图19的网络照相机中待编码的通道数目和请求处理速度之间的关系示意图；

图21所示为第十一实施方式的运动估计设备的整体结构的示意图；

图22A到图22D所示为在图19的运动估计设备中基准图像存储器的存储区的分配的示意图，图22A示出了当通道数目为1时的情况，图22B示出了当通道数目为2时的情况，图22C示出了当通道数目为3时的情况，而图22D示出了当通道数目为4时的情况；

图23所示为根据本发明第十二实施方式的包括作为信号处理设备的图像运动估计设备的网络照相机的整体结构的示意图；

图24为示出了图23的网络照相机中控制状态的状态转换的状态转换示意图，图中包括向请求客户发送通知的状态；

图25为示出了图23的网络照相机中控制状态的状态转换的状态转换示意图，图中包括向另一客户发送通知的状态；

图26所示为根据本发明第十三实施方式的包括作为信号处理设备的图像运动估计设备的图像捕捉系统的整体结构的示意图；

图27所示为帧间预测编码的顺序的示意图；

图28所示为全像素精度运动搜索概念的示意图；

图29所示为传统的图像运动估计设备的整体结构的示意图；

图30为描述图29的传统图像运动估计设备的示意图；

图31所示为半像素精度运动搜索概念的示意图；

图32A和图32B所示为在图29的传统图像运动估计设备中运动估计处理的时序示意图，图32A示出了其中仅进行全像素精度运动估计的操作，图32B示出了其中串行进行全像素精度运动估计和半像素精度运动估计的操作。

具体实施方式

以下将参照附图描述本发明的优选实施方式。

(第一实施方式)

图1所示为根据本发明实施方式的信号处理设备的整体结构的示意图。图1的信号处理设备为用于估计图像中运动的设备。

在图1的运动估计设备中，2表示系统存储器、3表示目标图像存储器以及4表示基准图像存储器。系统存储器2具有可存储至少一帧图像的容量。目标图像存储器(目标图像存储部分)3从终端3T处连续接收一个宏块的像素数据，该宏块为运动估计的目标(以下称为目标宏块)，并且该目标图像存储器3包括五个物理上分离的单端口目标块存储器3a到3e。这里，例如，如图28所示，宏块是指块(x，y)＝16像素×16像素。例如，包括8×8宏块(即，宽度方向上8个，而长度方向上8个)的图像数据构成帧图像(＝128像素×128像素)。存储在系统存储器2中的一帧图像为一个基准帧图像的图像数据，该基准帧作为存储在目标图像存储器4中的目标宏块的运动估计中的参照。以下将构成基准帧图像的64个宏块称为基准宏块。

基准图像存储器(基准图像存储部分)4包括物理上分离的基准存储区存储器(基准存储区部分)4a到4g，其包括七个单独的单端口SRAM。基准存储区存储器4a到4g各具有可存储(x，y)＝1×3个宏块的图像数据的容量，并且通过七条各自的总线BS1与系统存储器2分别连接。三个基准宏块的图像数据可从系统存储器2分别提供给各基准存储区存储器4a到4g。七个基准存储区存储器4a到4g中，将任意三个基准存储区存储器分配给全像素精度，将任意的其它三个基准存储区存储器分配给半像素精度，并且将剩余的一个基准存储区存储器分配给备用传送(spare transfer)。如下所述，将七个基准存储区存储器分配给全像素精度、半像素精度和备用传送的方式在每周期可以作适应性改变。

另外，在图1中，5表示目标图像存储器控制电路，6表示基准图像存储器控制电路，7表示系统存储器控制电路，以及8表示运动估计电路(运动估计部分)。目标图像存储器控制电路5通过五条总线BS2与五个目标块存储器3a到3e相连接，并单独控制五个目标块存储器3a到3e，从而将来自终端3T的目标宏块的图像数据输入至目标图像存储器3中的五个目标块存储器3a到3e其中之一。基准图像存储器控制电路6通过七条总线BS3与基准图像存储器4中的七个基准存储区存储器4a到4g相连接，并单独控制基准存储区存储器4a到4g，从而将来自系统存储器2的三个基准宏块的图像数据传送至基准图像存储器4中七个基准存储区存储器4a到4g中的任意一个。另外，当由系统存储器2输入的基准宏块为帧图像中的最后基准宏块时，基准图像存储器控制电路6将控制信号输出至系统存储器控制电路7。当从基准图像存储器控制电路6接收控制信号时，系统存储器控制电路7将读取自系统存储器2的基准帧转换到下一帧。

并且，运动估计电路8通过五条总线BS4与目标图像存储器3中的五个目标块存储器3a到3e相连接，并通过七条总线(信号线)BS5与基准图像存储器4中的七个基准存储区存储器4a到4g分别相连接。并且，运动估计电路8控制目标图像存储器控制电路5和基准图像存储器控制电路6，从而将来自目标图像存储器3中的五个目标块存储器3a到3e的目标宏块的图像数据以及来自基准图像存储器4中的七个基准存储区存储器4a到4g的基准宏块的图像数据分别传送至其自身(运动估计电路8)(即，运动估计电路8也用作传送控制部分)，并进行全/半像素精度搜索并行执行控制。全/半像素精度搜索并行执行控制为一种控制，其中如下所详述的(这里将描述该操作)，当存储在分配给全像素精度的基准存储区存储器中的多个基准宏块的图像数据以及存储在分配给半像素精度的基准存储区存储器中的多个基准宏块的图像数据同时传送给运动估计电路8时，用于相对于下一目标宏块的运动估计的多个基准宏块的图像数据由系统存储器2传送至分配给备用传送的基准存储区存储器。运动估计电路8通过全/半像素精度搜索并行执行控制，同时进行相对于目标宏块的全像素精度运动估计，以及在经过全像素精度运动估计之后相对于目标宏块的半像素精度运动估计，并由输出终端9输出运动补偿基准宏块的图像数据。

以下将粗略描述由运动估计电路8检测的最优基准宏块的运动矢量和图像数据的后续处理。由此获得的最优基准宏块的运动矢量和图像数据传送给其中生成预测图像的运动补偿部分(未示出)。此后，计算预测图像与输入图像之间的差。将预测误差通过DCT部分(未示出)转换为DCT系数。将该DCT系数量化。将已量化的DCT系数和运动矢量转换为作为比特流依次输出的可变长度代码。将DCT系数进行反量化和反DCT以获得预测误差数据。将预测误差数据加到预测图像中以获得先前帧图像。将该先前帧的图像存储到系统存储器2中。

接下来，将参照图2具体描述通过三个控制电路5到7和运动估计电路8进行的全像素精度运动估计和半像素精度运动估计。请注意，为方便起见，如图2所示，将范围(x，y)＝7×3宏块(＝112像素×48像素)定义为一帧，并且将范围(x，y)＝3×3宏块定义为用于运动估计的搜索范围。在本说明书中，如图2所示，具有数字n(n＝0到20)的基准宏块由基准宏块“n”表示，并且具有数字n的目标宏块由目标宏块“n”表示。

在图2中，在步骤1，将目标宏块“0”的图像数据输入到目标图像存储器3的目标块存储器3a。同时，在位于与目标宏块“0”相同位置和周围的基准宏块“0”、“1”、“7”和“8”中，将位于垂直方向的两个基准宏块“0”和“7”从系统存储器2中传送出并存储在基准图像存储器4的基准存储区存储器4a中，并且将位于垂直方向的剩余两个基准宏块“1”和“8”存储在基准图像存储器4的基准存储区存储器4b中。因此，在步骤1中，将基准存储区存储器4a和4b分配给全像素精度。

其后，在步骤2中，将目标块存储器3a中的目标宏块“0”的图像数据输出给运动估计电路8，并且将基准存储区存储器4a和4b中的基准宏块“0”、“1”、“7”和“8”的图像数据输出给运动估计电路8，并且此后，进行相对于目标宏块“0”的全像素精度运动估计。与此并行，将目标宏块“1”的图像数据存储在目标图像存储器3的目标块存储器3b中，并且在位于与目标宏块“1”相同位置和周围的基准宏块“0”到“2”和“7”到“9”中，除了已存储的基准宏块以外的基准宏块“2”和“9”从系统存储器2中传送出并存储在基准图像存储器4的基准存储区存储器4c中以为相对于下一目标宏块“1”的运动估计做准备。所以，在步骤2中，将基准存储区存储器4c分配给备用传送。

接下来，在步骤3中，与上述相似，将目标宏块“1”的图像数据和基准宏块“0”到“2”和“7”到“9”的图像数据输出到运动估计电路8，并且此后，进行相对于目标宏块“1”的全像素精度运动估计，并且在将下一目标宏块“2”的图像数据存储在目标图像存储器3的目标块存储器3c的同时，在位于与目标宏块“2”相同位置和周围的基准宏块“1”到“3”和“8”到“10”中，除了已经存储的基准宏块以外的基准宏块“3”和“10”从系统存储器2中传送出并存储在基准图像存储器4的基准存储区存储器4d中。

接下来，在步骤4中，在参照基准宏块“1”到“3”和“8”到“10”的图像数据的同时，进行相对于目标宏块“2”的全像素精度运动估计，并且在将下一个目标宏块“3”的图像数据存储在目标图像存储器3的目标块存储器3d中的同时，在目标宏块的运动估计中作为基准的基准宏块“4”和“11”再由系统存储器2中传送出并存储在基准图像存储器4的基准存储区存储器4e中。此时，保持存储在基准图像存储器4的基准存储区存储器4a中沿垂直方向的基准宏块“0”和“7”的图像数据。

此后，在步骤5中，在参照基准宏块“2”到“4”和“9”到“11”的图像数据的同时，进行相对于目标宏块“3”的全像素精度运动估计，并且在将下一个目标宏块“4”的图像数据存储在目标图像存储器3的目标块存储器3e中的同时，将在相对于目标宏块的运动估计中作为基准的基准宏块“5”和“12”的图像数据从系统存储器2中传送出并存储在基准图像存储器4的基准存储区存储器4f中。所以，在步骤5中，将基准存储区存储器4c到4e分配给全像素精度运动估计，并且将基准存储区存储器4f分配给备用传送。此时，存储在基准图像存储器4的基准存储区存储器4a和4b中的四个基准宏块“0”、“1”、“7”和“8”，即用于相对于目标宏块“0”的半像素精度运动估计的基准宏块不是用于相对于目标宏块“3”的全像素精度运动估计的图像数据。所以，当进行相对于目标宏块“3”的全像素精度运动估计时，在目标图像存储器3的目标块存储器3a中的目标宏块“0”的图像数据以及存储在基准图像存储器4的基准存储区存储器4a和4b中的四个基准宏块“0”、“1”、“7”和“8”的图像数据一起输出给运动估计电路8，并且此后，进行相对于目标宏块“0”的半像素精度运动估计。所以，在步骤5中，将基准存储区存储器4a和4b分配给从全像素精度改变的半像素精度。由此，在步骤5中，同步进行相对于目标宏块“3”的全像素精度运动估计以及使用不在全像素精度运动估计中使用的基准宏块“0”、“1”、“7”和“8”相对于目标宏块“0”的半像素精度运动估计。这里，由于同时进行全像素精度运动估计和半像素精度运动估计，所以来自基准图像存储器4的基准存储区存储器4c到4e以及4a和4b的图像数据同时输出至运动估计电路8。在这种情况下，由于基准存储区存储器4a到4g通过各自专用的总线BS5与运动估计电路8相连接，所以图像数据可同时输出。并且，并行于全像素精度运动估计和半像素精度运动估计，将相对于下一目标宏块“4”的运动估计中使用的基准宏块“5”和“12”的图像数据从系统存储器2传送至基准图像存储器4的基准存储区存储器4f，该传送为向不用于全像素精度运动估计和半像素精度运动估计的基准存储区存储器4f的数据传送，并且由此是可行的。

此后，在步骤6中，在参照基准宏块“3”到“5”和“10”到“12”的图像数据的同时，进行相对于目标宏块“4”的全像素精度运动估计，并且在将下一个目标宏块“5”的图像数据存储在目标图像存储器3的目标块存储器3a中的同时，将在相对于目标宏块的运动估计中作为基准的基准宏块“6”和“13”的图像数据再从系统存储器2中传送出并存储在基准图像存储器4的基准存储区存储器4g中。此时，存储在基准图像存储器4的基准存储区存储器4a到4c中的六个基准宏块“0”到“2”和“7”到“9”的图像数据是不用于相对于目标宏块“4”的全像素精度运动估计的图像数据。所以，再进行相对于目标宏块“4”的全像素精度运动估计的同时，将目标图像存储器3的目标块存储器3b中的目标宏块“1”的图像数据以及存储在基准图像存储器4的基准存储区存储器4a到4c中的六个基准宏块“0”到“2”和“7”到“9”的图像数据一起输出给运动估计电路8，并且此后，进行相对于目标宏块“1”的半像素精度运动估计。

此后，在步骤7到10中，与上述相似，同时进行相对于目标宏块“K”(5≤K≤20)的全像素精度运动估计以及相对于目标宏块“K-3”的半像素精度运动估计。

所以，在该实施方式中，如图3A所示，当运动估计的搜索范围设定为包括在与目标宏块具有相同数字的基准宏块周围的全部九个相邻基准宏块时，在对该目标宏块进行全像素精度运动估计的同时，可对三个时隙前的目标宏块同时进行半像素精度运动估计(在图3A中，当对目标宏块“3”进行运动估计时，相对于目标宏块“0”进行半像素精度运动估计)。所以，如图3B所示，相比于当相对于相同目标宏块连续地进行全像素精度运动估计和半像素精度运动估计时的情况，可以缩短一个时隙的时间，从而可有效地增加高精度运动估计的处理速度。所以，即使对于HDTV运动图像等也可实现高质量编码。

请注意，在本实施方式中，如上所述，运动估计电路8的操作并行控制全像素精度运动估计、半像素精度运动估计以及用于相对于下一目标宏块的运动估计的基准宏块的图像数据的备用传送。然而，当存在运动估计的处理速度的富余(margin)时，该控制取决于该富余可转换到其中仅进行如图3C所示的全像素精度运动估计的控制，或者转换到其中进行如图3B所示的全像素精度运动估计和半像素精度运动估计的全/半像素精度搜索串行执行的控制。全/半像素精度搜索串行执行控制具体进行如下。当将存储在分配给全像素精度的基准存储区存储器中的多个基准宏块的图像数据传送给运动估计电路8时，将用于相对于下一目标宏块的运动估计的多个基准宏块的图像数据由系统存储器2传送至分配给备用传送的基准存储区存储器。此后，执行全像素精度运动估计。此后，将分配给全像素精度的基准存储区存储器中的基准宏块的图像数据作为用于半像素精度的多个基准宏块的图像数据传送给运动估计电路8。

另外，在本实施方式中，假设用于相对于下一目标宏块的运动估计的搜索范围为范围(x，y)＝3×3基准宏块，然而，可以将搜索范围设定为任一范围，例如5×5基准宏块的范围、7×7基准宏块的范围等。

(第二实施方式)

接下来将描述本发明的第二实施方式。该实施方式涉及运动估计设备，其中相对于目标宏块的运动估计的控制方法不是固定的并随需要改变。

本实施方式的运动估计设备在图4A和4B中示出。图4A和4B的运动估计设备的整体结构与图1的运动估计设备相似。请注意，在图4A和4B中，目标图像存储器3和基准图像存储器4具有比图1的相应部件更大的容量。

在如图4A所示的运动估计设备1中，将关于图像所需性能，诸如图像的图像质量(比特率等)、尺寸、帧率等的所需性能信息Inf输入至运动估计电路(存储区配置指定部分)8。当输入的所需性能信息Inf表明所要求的图像性能较高时(例如，当图像的所要求的图像质量超过先前设定的标准图像质量时，当图像的尺寸大于先前设定的标准图像的尺寸时，或当帧率大于先前设定的标准帧率时等)，各单位时间待处理的图像数据量将变大，并且因此，运动估计应该以高速执行。所以，在这种情况下，运动估计电路8以如第一实施方式的并行方式(全/半像素精度搜索并行执行控制方法)进行全像素精度运动估计、半像素精度运动估计以及对下一目标存储器块的运动估计的基准存储器块的备用传送。换言之，如图4A所示，在该控制方法中，当指明基准存储区存储器4的存储区结构从而三个基准存储区存储器4F用于全像素精度基准宏块时，其它三个基准存储区存储器4H用于半像素精度基准宏块，并且另一个基准存储区存储器4P用于备用传送。

另一方面，当所要求的图像性能正常时(例如，当图像的所要求的图像质量等于标准图像质量(正常图像质量)时，当图像的尺寸为标准尺寸(正常尺寸)时，当帧率为标准帧率(正常帧率)时等)，运动估计以常速进行。所以，在这种情况下，将控制方法转变为常规的全/半像素精度搜索串行执行控制方法，其中在执行全像素精度运动估计的同时，对下一目标存储器块的运动估计的基准存储器块进行备用传送，并且此后执行半像素精度运动估计。换言之，在这种情况下，如图4B所示，指定基准存储区存储器4中的存储区结构从而任意三个基准存储区存储器4F用作全像素精度和后续的半像素精度的基准宏块，并且另一基准存储区存储器4P用于备用传送。

所以，在本实施方式中，根据系统所需的图像性能，如图像的图像质量、尺寸、帧率等，可以改变运动估计控制方法，从而可实现灵活地支持系统需要的图象编码。

(第三实施方式)

接下来将描述根据本发明第三实施方式的运动估计设备。虽然在第二实施方式中可改变目标宏块的运动估计的控制方法，但是在本实施方式中用于运动估计的搜索范围可改变。

图5A和5B示出了根据本实施方式的运动估计设备1的整体结构。如第一实施方式中的情况，图5A和5B的运动估计电路8执行运动估计控制方法，其中并行地执行全像素精度运动估计、半像素精度运动估计以及用于相对于下一目标宏块的运动估计的基准宏块的图像数据的备用传送。如第二实施方式中的情况，运动估计电路8接收关于图像所需性能的诸如图像的图像质量(比特率等)、尺寸、帧率等的所需性能信息Inf。基于所需性能信息Inf，运动估计电路8确定系统的所需图像性能是否过高。当所需图像性能过高时，将具有与目标宏块相同数字的基准宏块周围的九个相邻基准宏块(在水平方向上的像素的数量在-16到+15.5的范围内)设定为对应于所需图像性能的初始搜索范围。在这种情况下，如图5A所示，需要使用以阴影线表示的目标图像存储器3中的五个目标块存储器3x、用于全像素精度的三个基准存储区存储器4F、用于半像素精度的三个基准存储区存储器4H以及基准图像存储器4中用于备用传送的一个基准宏块4P。

另一方面，当所需性能信息Inf表明所要求的图像性能较低时，即运动估计处理的执行速度有富余时，运动估计电路8将包括九个相邻基准宏块的初始搜索范围扩大到包括，例如具有与目标宏块相同数字的基准宏块之上和之下的三个基准宏块以及基准宏块之左和之右的五个基准宏块(在水平方向上的像素数量在-32到+31.5的范围内)的扩大的搜索范围。所以，在这种情况下，如图5B所示，在基准存储区存储器4中使用五个基准存储区存储器4F’用于全像素精度、五个基准存储区存储器4H’用于半像素精度以及一个基准宏块4P用于备用传送。在这种情况下，使用目标图像存储器3中由阴影线表示的七个目标块存储器3y。

所以，在本实施方式中，根据系统的所需图像性能，可改变用于运动估计的搜索范围。所以，当所需图像性能较低时，搜索范围将大于所需图像性能较高时的情况，从而将增加用于运动估计的图像数据的数量。从而，可有效利用运动估计能力的余量，使得运动估计精度得到改进。

(第四实施方式)

接下来将描述根据本发明第四实施方式的运动估计设备。在本实施方式中，在基准图像存储器中对于各基准存储区存储器的基准宏块的分配将根据编码方法而改变。

在MPEG中，关于运动补偿预测，使用向前预测和向后预测(双向预测)以提高编码效率。双向预测按照如下方式进行。如图6所示，初始地，对I-图像I0进行帧内(intra-frame)编码，并对P-图像P3进行向前预测编码。此后，对B-图像B 1和B-图像B2使用I-图像I0和P-图像P3连续地进行双向预测编码。在本实施方式中，基准图像存储器中基准宏块的分配将根据双向预测编码和仅以向前预测的编码之间的编码方法的差别而改变。

图7A和7B示出了本实施方式的运动估计设备1的整体结构。图7A和7B的运动估计设备1的结构与图1的运动估计设备相似。运动估计电路8接收表示编码方法是否使用双向预测或向前预测的信息C。如图7A所示，基于有关编码方法的输入信息C，当编码方法利用仅使用I-图像和P-图像的向前预测时，运动估计电路8使用基准图像存储器4中任意三个用于全像素精度基准宏块的基准存储区存储器4F、其它三个用于半像素精度基准宏块的基准存储区存储器4H以及另一个用于备用传送的基准存储区存储器4P。

另一方面，当有关编码方法的信息C表示利用I-图像、P-图像和B-图像的双向预测时，运动估计电路8将由三行基准存储区存储器的实心线包围的最上行基准存储器分配给向前预测块，并使用三个用于全像素精度基准宏块的基准存储区存储器4Ff、其它三个用于半像素精度基准宏块的基准存储区存储器4Hf以及另一个用于备用传送的基准存储区存储器4Pf。如图7B所示，运动估计电路8还将由虚线包围的中间行基准存储区存储器分配给向后预测块，并在基准图像存储器4中，使用三个用于全像素精度基准宏块的基准存储区存储器4Fb、其它三个用于半像素精度基准宏块的基准存储区存储器4Hb以及另一个用于备用传送的基准存储区存储器4Pb。另外在目标图像存储器3中，相似地，将五个在最上行由实心线包围的目标块存储器3f分配给向前预测块，并且将在中间行由虚线包围的五个目标块存储器3b分配给向后预测块。

(第五实施方式)

图8示出了本发明的第五实施方式。在本实施方式中，用于运动估计的搜索范围不是固定的并可随需要改变。

在图8的运动估计设备1中，系统存储器2、目标图像存储器3、基准图像存储器4、目标图像存储器控制电路5、基准图像存储器控制电路6、系统存储器控制电路7以及运动估计电路8的结构与图1的相似。所以，在图8的运动估计设备1中，并行地进行全像素精度运动估计、半像素精度运动估计以及用于相对于下一目标宏块的运动估计的基准宏块的图像数据的备用传送。虽然在本实施方式中用于运动估计的控制中并行地进行这三个操作，但本发明并不限于此。例如，可进行其中仅进行全像素精度运动估计的控制，或其中串行进行如图32A和32B所示的全像素精度运动估计和半像素精度运动估计的控制。

在图8的运动估计设备1中，由于将用于运动估计的搜索范围设定为可变，所以将目标图像存储器3和基准图像存储器4的容量设定为大于图1相应部件的容量。目标图像存储器3包括七个目标块存储器3a到3g，并且基准图像存储器4包括22个基准存储区存储器4a到4u。这些容量不受到具体限制。

图8的运动估计设备1与图1的不同之处在于，在图1的部件以外还进一步增加有搜索范围设定电路20、比较电路21以及计数器电路22。以下将详细描述在运动估计电路8中对于运动估计的操作。在该运动估计操作中，对256个像素计算目标宏块和基准宏块中相应像素值之间的差，并计算这些块之间像素值差的绝对值的总和值SAD。并且，对于包括64个宏块的一帧重复进行这些操作以获得对于各自单独的宏块而最终得到的像素值差的绝对值的总和值SAD(N)(N＝1到64)。

比较电路21从外部终端23接收像素值差的绝对值的总和值SAD的阈值SAD(max)，将来自运动估计电路8的像素值差的绝对值的总和值SAD(N)与来自外部终端23的阈值SAD(max)进行比较，并将比较的结果输出至计数器电路22。基于来自比较电路21的比较结果，计数器电路22仅在SAD(max)小于SAD(N)时对计数值加一，并将计数值CT输出至搜索范围设定电路20。搜索范围设定电路20接收来自外部终端23先前为计数器电路22的计数值设定的最大值CT(max)，并当运动估计电路8完成相对于一帧中64个宏块的运动估计时，从运动估计电路8接收帧完成信号，并当接收了该完成信号时，将来自外部终端23的最大值CT(max)与来自计数器电路22的计数值CT进行比较，并当CT(max)小于CT时，确定存在显著的运动(即，预测精度为低)，并将搜索范围从正常范围(x，y)＝3×3宏块扩大到范围5×5宏块，并将基准图像存储器4的存储区结构从七个基准宏块(图9A)的正常范围改变为全部22个宏块(图9B)的扩大范围。在图9B中，示出了扩大的存储区结构，其中11个宏块沿水平方向(处理目标宏块图像的第一方向)排列，并且五个宏块以垂直方向(与第一方向垂直的第二方向)排列。所以，当运动为正常时，搜索范围为范围(x，y)＝3×3基准宏块，且当运动显著时(即，预测精度为低时)，搜索范围扩大为5×5基准宏块。比较电路21和计数器电路22构成预测精度检测部分24，用于在设定范围(x，y)＝3×3基准宏块的图像中检测运动估计的预测精度。

接下来将根据图10的控制流程图描述本实施方式的运动估计操作。

在开始以后，在步骤S1中，将用于运动估计的搜索范围设定为正常范围(x，y)＝3×3宏块，并且将基准图像存储器4的存储区结构设定为图9A的正常范围。另外，将对于一个宏块的像素值差的绝对值的总和值SAD的阈值SAD(max)从外部终端23输入至比较电路21，并将计数值的最大值CT(max)输入至搜索范围设定电路20(初始设定)。此后，在步骤S2中，激活运动估计电路8以开始运动估计操作。在步骤S3中，将运动估计已完成的宏块的数字N初始设定为N＝1，并且将计数器电路22的计数值CT初始设定为CT＝0。

此后，在步骤S4中，相对于第一目标宏块进行运动估计，计算对于一个宏块的像素值差的绝对值的总和值SAD(N＝1)。在步骤S5中，判断当前计算的像素值差的绝对值的总和值SAD的目标宏块是否为一帧的最后宏块。由于判断的结果最初为NO，在步骤S6中，将当前获得的像素值差的绝对值的总和值SAD(N)与阈值SAD(max)进行比较。当SAD(N)超过阈值(SAD(max)小于SAD(N))时，在步骤S7中对计数值CT加1(CT＝CT+1)并将操作进行到步骤S8。当SAD(N)小于或等于阈值(SAD(max)≥SAD(N))时，操作立即进行到步骤S8，并且对已经进行运动估计的目标宏块的数字N加1(N＝N+1)，并且该操作返回到步骤S4。此后，在步骤5中，重复进行以上操作，直到当前进行运动估计的目标宏块为一帧的最后宏块，并在当前目标宏块最终为一帧的最后宏块时，操作进行到步骤S9。

在步骤S9中，由于相对于一帧的运动估计已完成，将计数器电路22的计数值CT与最大值CT(max)(设定值)进行比较。当CT(max)大于CT时，确定该预测精度为高。在这种情况下，在步骤S10中，将搜索范围设定为正常范围(x，y)＝3×3宏块，并且将基准图像存储器4的存储区结构设定为图9A的正常范围。当预测精度为低(CT(max)小于CT)时，在步骤S11中，将搜索范围设定为5×5宏块的扩大范围，且将基准图像存储器4的存储区结构设定为图9B的扩大范围。此后，在步骤S12中，判断运动估计操作是否结束。当没有结束并且操作进行相对于下一帧的运动估计时，则操作返回到步骤S3。当运动估计操作结束时，运动估计操作立即结束。

所以，在本实施方式中，作为相对于一帧的运动估计的结果，当运动显著并且预测精度确定为低时，用于运动估计的搜索范围将大于正常范围，从而可提高运动估计的预测精度。另一方面，当预测精度确定为高时，用于运动估计的搜索范围保持正常范围。所以，与当搜索范围设定为扩大的范围时相比，可以在保持高预测精度的同时，当对在该扩大范围中的大量图像数据进行运动估计时，可以抑制功耗的增加。

(第六实施方式)

图11示出了本发明的第六实施方式。虽然在第五实施方式中相对于一帧进行运动估计以判断该预测精度为高或低，但是在本实施方式中，将相对于块行(block line)进行运动估计以确定该预测精度为高或低，该块行紧接着位于水平方向上包括当前正进行运动估计的目标宏块的块行之上。本实施方式的运动估计设备的整体结构与图8的相同，而不再描述。

图11的运动估计的控制流程与图10的控制流程不同之处在于步骤S5改变为步骤S5’，并增加了S13和S14。在图11的控制流程中，在步骤S4中进行运动估计以后，在步骤S5’中判断当前进行运动估计的目标宏块是否为该目标宏块所属块行的最后的宏块。当该目标宏块为最后宏块时，在步骤S9中立即将该块行的计数器电路22的计数值CT与最大值CT(max)进行比较。如果CT(max)小于CT，则在步骤S11中扩大搜索范围。如果CT(max)≥CT，择在步骤S10中将搜索范围设定为初始的标准范围。并且，在基于当前块行的预测精度改变搜索范围以后，计数值CT返回到初始值(CT＝0)，从而在步骤S13中进行相对于下一块行的运动估计。此后，在步骤S14中，判断该目标宏块是否为一帧中的最后宏块，即，进行运动估计的宏块的数目N是否为最大值N(max)(＝64)。如果N不等于N(max)，则操作返回到步骤S4并对下一块行进行运动估计。

所以，在本实施方式中，搜索范围基于相对于紧接着先前块行的运动估计的精度而改变。所以，相对于第五实施方式中搜索范围基于紧接着先前帧的预测精度而改变，该实施方式中搜索范围改变的频率增加，从而即使在图像中存在显著的运动时也可进一步提高编码效率。

(第七实施方式)

接下来将描述本发明的第七实施方式。虽然在第五实施方式中搜索范围基于紧接着先前帧的运动估计的预测精度而改变，但是在本实施方式中，可获得作为运动矢量(运动补偿预测)的在具有相应像素间差值的绝对值的总和最小的最优预测基准宏块和目标宏块之间的运动位置信息，并基于该运动矢量的值而改变搜索范围。

图12示出了本实施方式的运动估计设备1的整体结构。运动估计设备1的整体结构与图8中第五实施方式的相似。在图12的运动估计设备1中，运动估计电路8计算运动矢量MV，其具有从最优预测基准宏块延伸到目标宏块的方向和距离，并作为目标宏块和在预先设定的图像范围(x，y)＝3×3基准宏块中的最优预测基准宏块之间的运动位置信息。对N(N＝64)个分离的目标宏块重复计算运动矢量MV，并将各个分离的目标宏块的运动矢量MV(N)输出至比较电路21。比较电路21也从外部终端23接收先前设定的运动矢量MV的最大值MV(max)(基准值)。比较电路(比较部分)21将各目标宏块的运动矢量MV与设定的最大值MV(max)进行比较。

图13为图12的运动估计设备1的运动估计的控制流程图。图13的控制流程与图10的基本相似，除了在步骤S1’中将来自外部终端23的已设定的运动矢量MV的最大值MV(max)输入给比较电路21，以及在步骤S6’中，每次获得目标宏块N(N＝1到64)的运动矢量MV(N)，将该MV(N)与设定的最大值MV(max)进行比较，以及当MV(max)小于MV(N)时，在步骤S7中对计数器电路22中的计数值CT加1(CT＝CT+1)以外。

所以，在本实施方式中，运动估计的搜索范围基于运动矢量的幅值而改变。所以，如第五实施方式中的情况，当图像中的运动显著时(即预测精度为低)，则用于运动估计的搜索范围将扩大，从而可提高运动估计的预测精度。另外，当预测精度为高时，用于运动估计的搜索范围保持正常范围，从而可减少功耗的增加。

(第八实施方式)

接下来描述本发明的第八实施方式。

虽然在第七实施方式中，是相对于一帧进行运动估计以确定预测精度，但是在本实施方式中，如第六实施方式是对于水平方向的各个块行确定预测精度。

图14的本实施方式的运动估计的控制流程与图11的第六实施方式的控制流程相似，仅除了一下不同，虽然在图11的控制流程中计算了相应差值的绝对值的总和SAD(N)，但在图14的控制流程中计算运动矢量MV(N)，并不再详细描述。

(第九实施方式)

接下来将描述本发明的第九实施方式。虽然，在第八实施方式中当运动矢量MV超过设定的最大值MV(max)时，搜索范围将扩大，从而在基准图像存储器4中使用的基准存储区存储器的数量将增加，但是在本实施方式中将判断已计算的运动矢量MV的水平分量(距离)或垂直分量(距离)是否大于另一个，并将搜索范围沿对应于更大分量的方向上扩大。

图15为本实施方式的运动估计设备1的整体结构。图15的运动估计设备1的整体结构与图12的相似，仅除了以下几点。具体地，运动估计电路8将已计算的运动矢量MV(N)的水平方向距离MVX(N)和垂直方向距离MVY(N)分离并输出至比较电路21。比较电路21也从外部终端23接收运动矢量的水平方向距离最大值MVX(max)(水平方向基准值)和运动矢量的垂直方向距离最大值MVY(max)(垂直方向基准值)。比较电路21将输入的运动矢量的水平方向距离MVX(N)与水平方向距离最大值MVX(max)进行比较。当MVX(max)小于MVX(N)时，对水平方向的计数值CTX加1，并将输入的运动矢量垂直方向距离MVY(N)与垂直方向距离的最大值MVY(max)进行比较。当MVY(max)小于MVY(N)时，对垂直方向的计数值CTY加1，并将计数值CTX和CTY输出至搜索范围设定电路20。搜索范围设定电路20也从外部终端23分别接收水平方向的计数值CTX和垂直方向的计数值CTY的最大值CTX(max)和CTY(max)，并分别将这些最大值CTX(max)和CTY(max)与来自计数器电路22的水平方向和垂直方向的计数值CTX和CTY进行比较。此后，搜索范围设定电路20控制基准图像存储器控制电路6以增加在基准图像存储器4中使用的基准存储区存储器的数量(即，当CTX(max)小于CTX时，在水平方向上扩大搜索范围，并当CTY(max)小于CTY时，在垂直方向上扩大搜索范围)，并相应地增加目标图像存储器3中使用的目标块存储器3a到3g的数量。

接下来将参照图16的控制流程描述本实施方式中运动估计的控制。

在图16的控制流程中，在开始以后，在步骤S1中，将用于运动估计的搜索范围设定为正常范围(x，y)＝3×3宏块，并且将基准图像存储器4的存储区结构初始设定为图17A所示的正常范围。该正常范围为图17A中水平方向上所使用的七个基准宏块的范围。另外，在步骤S1的初始设定中，将运动矢量MV的水平方向(X方向)的最大值MVX(max)和垂直方向(Y方向)的最大值MVY(max)从外部终端23输入至比较电路21(初始设定)，并将计数器电路22的计数值CT的X方向的最大值CTX(max)和Y方向的最大值CTY(max)从外部终端23输入至搜索范围设定电路20(初始设定)。

此后，在步骤S2中，激活运动估计电路8以开始运动估计操作。在步骤S3中，将已经进行运动估计的宏块的数目N初始设定为N＝1，并且将计数器电路22中X方向和Y方向的计数值CTX和CTY分别初始设定为CTX＝0和CTY＝0。

此后，在步骤S4中，相对于第一目标宏块(N＝1)进行运动估计以计算运动矢量MV(N＝1)。该运动矢量MV由水平方向距离MVX(N)和垂直方向距离MVY(N)的组合值表示。接下来，在步骤S5中，判断当前进行运动估计的目标宏块N是否为其所属帧的最后宏块。当目标宏块N不是最后宏块时，在步骤S6和S7中将运动矢量MV的水平方向距离MVX(N)和垂直方向距离MVY(N)与设定的最大值MVX(max)和MVY(max)进行比较。当MVX(max)小于MVX(N)时，在步骤S8中向水平方向的计数值CTX加1。当MVY(max)小于MVY(N)时，在步骤S9中向垂直方向的计数值CTY加1。此后，在步骤S10中，将已经进行运动估计的宏块的数目N加1。此后，操作返回到步骤S4，并相对于下一目标宏块进行运动估计。

最后，当相对于一帧中所有目标宏块的运动估计结束时，操作从步骤S5转到步骤S11，其中运动补偿的精度按照如下方式确定。最初地，将水平方向的计数值CTX与设定的最大值CTX(max)进行比较。如果CTX(max)≥CTX，则确定运动补偿的精度为满意，并在步骤S12中将水平方向的搜索范围设定为标准范围。另一方面，如果CTX(max)小于CTX，则将沿水平方向的运动补偿的精度确定为低，并在步骤S13中将水平方向的搜索范围设定为扩大范围。该扩大范围为例如(x，y)＝5×3宏块，并且如图17C所示，将基准图像存储器4的存储区结构设定为在水平方向上具有11个基准宏块。同样地，在步骤S14中，将垂直方向的计数值CTY与设定的最大值CTY(max)进行比较。如果CTY(max)≥CTY，则将垂直方向的运动补偿的精度确定为满意，并在步骤S15中将垂直方向的搜索范围设定为标准范围。如果CTY(max)小于CTY，则将垂直方向的运动补偿的精度确定为低，并在步骤S16中将垂直方向的搜索范围设定为扩大范围。该扩大范围为例如(x，y)＝3×5宏块，并且如图17D所示，在垂直方向上使用两个基准存储区存储器，从而该扩大范围在垂直方向上由5个基准宏块组成。作为在步骤S11和S14中计数值的比较结果，当搜索范围在X方向和Y方向上都扩大时，该搜索范围为例如(x，y)＝5×5宏块的范围，且如图17B所示，基准图像存储器4的存储区结构具有在X方向上使用11个基准宏块以及在Y方向上使用5个基准宏块的范围。

此后，在步骤S17中，判断运动估计操作是否结束。当运动估计操作没有结束并且进行相对于下一帧的运动估计时，则操作返回到步骤S3。当运动估计操作结束时，运动估计操作立即结束。

所以，在本实施方式中，搜索范围的X方向和Y方向的预测精度分别确定。运动估计的搜索范围仅在预测精度为低的方向上扩大。所以，搜索范围可限定在能够确保高预测精度的小范围内。所以，可提高预测精度而不会增加超过必要的用于运动估计的图像数据量或增加数据处理时间。

(第十实施方式)

图18示出了本发明的第十实施方式。在第五到第九实施方式中，提供有比较电路21和计数器电路22，从而将由运动估计电路8检测的图像数据的差值的绝对值的总和或运动矢量与设定值进行比较，并根据比较的结果确定运动补偿的预测精度，并根据预测精度是否为高或低，可变化地改变搜索范围。在本实施方式中，没有提供比较电路21和计数器电路22，并且关于运动补偿预测精度的信息由另一设备获得，从而可变地设定搜索范围。

特别地，在图18中，25表示用于对输入的图像信号进行熵编码(entropy-coding)的图象编码设备，其包括图1的运动估计设备1和图8的搜索范围设定电路20。26表示集成在数码相机或数字可携式摄像机(图像捕捉部分，未示出)中并且包括相机-抖动检测电路27的相机信号处理部分。相机-抖动检测电路(变化检测部分)27为一种电路，其可以在操作者操作相机机体以捕捉物体视频时，检测由于相机机体的相机-抖动造成的视频中连续帧之间的运动(位置变化)。这与在第七实施方式中描述的运动矢量MV相似，可获得表示物体的视频中两个连续帧之间的位置变化的信息。例如，在相对于图像帧之间的图像数据进行比较计算的电子相机-抖动校正电路中，相机-抖动检测电路27可以是进行比较计算的电路。在使用镜头校正由于相机-抖动造成的光轴偏离的光学相机-抖动校正电路中，相机-抖动检测电路27可以是使用陀螺仪-传感器检测相机倾斜的电路。

图像编码设备25的搜索范围设定电路20接收来自相机信号处理部分26的相机-抖动检测电路27的位置变化信息，并根据该位置变化信息，当两帧之间的位置变化大时扩大用于运动估计的搜索范围，以及当位置变化小时设定搜索范围为正常范围。

所以，在本实施方式中，在运动估计设备中仅加入搜索范围设定电路20，并且基于搜索范围可变地设定的信息由外部输入，从而可减小运动估计设备的尺寸。

(第十一实施方式)

接下来将描述第十一实施方式。本实施方式应用于网络照相机。

网络照相机为，例如，通过因特网、LAN等由个人电脑、移动电话等实时捕捉被监控的一个或多个地点的视频的监视照相机。关于这种网络照相机，如图19所示，具有一个或多个图像捕捉部分(未示出)的网络照相机30提供作为视频服务器，并提供有通过因特网等与网络照相机30相连接的多个客户(图像终端)31a、31b...、以及31n。当任一客户向网络照相机30输出请求图像的信号时，网络照相机30输出对应于该请求信号的允许信号，并向发出请求的客户传送预定的图像信号。这里假定输出图像请求信号的客户数目为1个(一个通道)。在这种情况下，如图20所示，用于图像信号编码和编码数据向请求客户传送的时间可为一个时隙的整个时间。然而，当输出请求信号的客户数量增加时(两个通道、三个通道等)，编码处理需要在逐渐减少的时间内完成，例如一个时隙的一半，一个时隙的1/3等，并且因此，对图像数据编码的处理速度需要增加。而且，根据图像尺寸或图像帧率，需要改变编码方法或搜索范围，从而可支持由客户持有的诸如移动电话的摄像头、个人电脑等不同类型的视频设备。在这种情况中可使用本实施方式的运动估计设备。

图21示出了本实施方式的运动估计设备的结构。除了提供有搜索范围设定电路20和分配确定电路35以外，图21的运动估计设备1的整体结构与图1的运动估计设备相似。

分配确定电路35从外部终端23接收关于同时向网络照相机30输出图像请求信号的客户数量(即，通道的数量CN)，以及各客户的视频设备的图像尺寸PS和帧率FR的信息。基于关于这些的信息，分配确定电路35还从输出终端36向发出请求信号的所有或部分客户输出允许信号，并根据允许的客户的数量，将包括通道的数量CN、图像尺寸PS以及帧率FR的控制信号输出给搜索范围设定电路20，从而设定用于运动估计的搜索范围。

基于包括在由分配确定电路35接收的控制信号中的通道的数量CN，搜索范围设定电路20设定搜索范围。特别地，当通道数量CN＝3时，将搜索范围设定为正常范围，该正常范围包括具有与目标宏块(在X和Y方向上-16到+15.5个像素)相同数目的基准宏块周围的九个基准宏块。当通道数量CN＝2时，搜索范围在水平方向上扩大并设定为所有15个基准宏块的范围，其包括与目标宏块(X方向上-32到+31.5个像素和Y方向上-16到+15.5个像素)相同数目的基准宏块周围在X方向上具有五个宏块以及在Y方向上三个宏块。当通道数量CN＝1时，搜索范围在X方向和Y方向上均扩大，并设定为具有与目标宏块(X方向和Y方向上-32到+31.5个像素)相同数目的基准宏块周围的全部25个宏块的范围。

在图22A到图22D中示出了通过搜索范围设定电路20的基准图像存储器4中基准存储区存储器的分配(以下称为存储区分配)。图22A到图22D中示出了基准图像存储器4包括22个基准存储区存储器的情况。图22A到图22D中示出了在第一到第三实施方式中描述的运动估计方法的存储区分配，即在并行进行全像素精度运动估计、半像素精度运动估计以及用于相对于下一目标宏块的运动估计的基准存储区存储器的图像数据的备用传送的控制中使用的存储区分配。在图22C对正常搜索范围的存储区分配中，对三个通道各分配七个基准存储区存储器。在图22B对水平方向上扩大的搜索范围的存储区分配中，对两个通道各分配11个基准存储区存储器。在图22A对在水平方向和垂直方向均扩大的搜索范围的存储区分配中，所有22个基准存储区存储器分配并指定给一个通道。图22B和图22C示出了各通道之间图像尺寸PS和帧率FR相同的情况。然而，当各通道之间图像尺寸PS和帧率FR不相同时，分配给具有更大图像尺寸PS和帧率FR通道的基准存储区存储器的数量可变大。

图22D示出了通道数量CN＝4的存储区分配。在本发明的第一实施方式中，由于运动估计方法使用并行进行全像素精度运动估计、半像素精度运动估计以及用于相对于下一目标宏块的运动估计的图像数据的备用传送，各通道需要至少七个基准存储区存储器。所以，当通道数量CN大至CN＝4时，难于在基准存储区存储器的数量为22的情况下使用本发明的运动估计方法。所以，当图22D中通道数量CN＝4时，使用图31的上述传统的运动估计方法，其中顺序地进行全像素精度运动估计和半像素精度的动估计。当图22D中通道数量CN＝4时，三个通道各使用六个基准存储区存储器，并对剩余的一个通道使用四个基准存储区存储器。

所以，在本实施方式中，根据待编码的通道数量改变搜索范围。如果通道数量小，则扩大搜索范围，从而当各通道的处理时间大时可提高运动估计的预测精度。另一方面，当通道数量大时，则收窄搜索范围以限制各通道的处理时间，从而可相对于所有通道进行运动估计。

(第十二实施方式)

接下来将描述第十二实施方式。本实施方式为第十一实施方式的网络照相机的变形。

图23示出了包括本实施方式的网络照相机的系统的示意性结构。在图23中，当有来自任一客户31a到31n的图像传送的请求时，网络照相机30将检查基准图像存储器4中基准存储区存储器的分配。结果，当存储区配置没有富余时，则不改变分配，将通知发出传送请求的客户表示这种事件的消息(也称为通知)(第一功能)，并将通知除了发出传送请求的客户以外的客户表示基准图像存储器4中基准存储区存储器将优先分配给发出传送请求的客户的消息(第二功能)。

第一功能将参照图24的状态传送图描述。在图24中，当网络照相机30在网络照相机30正进行运动估计处理的状态F1中从任一客户处接收到图像请求信号时，假定该请求已被接收，则网络照相机30进行到状态F2，其中网络照相机30确定基准图像存储器4中基准存储区存储器的分配。结果，在状态F3中，如果存储区的配置有富余，则网络照相机30改变基准图像存储器4中基准存储区存储器的分配。另一方面，如果存储区的配置没有富余，在状态F4中，网络照相机30将通知发出图像请求信号的客户表示这种事件的消息。当接收到该消息的请求客户取消图像请求时，网络照相机30返回到状态F1并继续先前的运动估计处理。在这种情况下，当客户将图像性能改变为低于先前请求的运动图像性能并再次发出分配的请求时，网络照相机30由于新近请求的图像性能而试图改变存储区分配，并在确定分配可以改变时，在状态F3中改变基准图像存储器4中基准存储区存储器的分配。

接下来，将参照图25描述第二功能。在图25中，在图24的状态F1到F4以外增加了状态F5。在状态F5中，作为在状态F2中确定对应于来自客户的图像请求的基准存储区存储器的分配结果，当基准图像存储器4中存储区配置没有富余时，将通知除了请求客户以外的客户是否允许优先将基准存储区存储器分配给发出图像请求的请求客户的查询。此后，当其它客户响应该查询并通知网络照相机30表示允许对请求客户的基准存储区存储器的优先分配的消息时，网络照相机30在状态F3中改变基准图像存储器4的分配以进行优先分配。另一方面，其它客户通知网络照相机30表示不允许优先分配的消息，网络照相机30在状态F4中通知请求客户该事件。

所以，在本实施方式中，在网络照相机对图像进行编码并为任一客户传送编码图像数据的情况下，当网络照相机从另一客户接收到图像请求时，基准图像存储器4中存储区配置可能没有富余，并因此，难于将图像传送给请求客户。即使在这种情况下，如果请求客户发出其中图像的所需性能降低的分配请求，或者其它客户允许对请求客户的基准存储区存储器的优先分配，则基准图像存储器4中存储区配置就改变。所以，将图像尽可能传送给后发出图像请求的客户，从而图像可并行地传送给更多的客户，从而可提高网络照相机的性能。

(第十三实施方式)

接下来将描述本发明的第十三实施方式。本实施方式示出了示例性的图像捕捉系统(视频系统)，诸如数码相机等，其将利用上述的运动估计设备。

图26示出了本实施方式的图像捕捉系统。在图26的图像捕捉系统中，通过光学系统50进入的图像光在传感器51上成像，其中对所述光进行光电转换。通过光电转换获得的电信号通过A/D转换电路52转换为数字值，并此后，输 入到包括例如图1的运动估计设备1的图像处理电路53。在图像处理电路(图像处理部分)53中，将进行Y/C处理、边缘处理、图像的放大/缩小、压缩/解压缩处理(例如，JPEG、MPEG等)等。图像处理信号通过记录系统/传输系统54记录并传输。已记录或传输的信号通过回放系统55复制。传感器51和运动估计设备1由时序控制电路56控制。光学系统50、记录系统/传输系统54、回放系统55以及时序控制电路56由系统控制电路57控制。

虽然已描述了在图26的图像捕捉系统中，相机设备等通过光学系统50进入的图像光在传感器51上成像，并且将得到的电信号输入到A/D转换电路52，但是本发明并不限于此。可替代地，诸如电视机等AV设备的模拟视频输入可直接输入给A/D转换电路52。

Claims (35)

1.一种信号处理设备，用于通过参照包括在基准帧图像中的多个基准宏块图像而估计包括在目标帧图像中的目标宏块图像的运动，该设备包括：

目标图像存储部分，用于存储包括在所述目标帧图像中的所述目标宏块图像；

基准图像存储部分，用于存储多个基准宏块图像，该基准宏块图像位于在所述基准帧图像中包括的多个基准宏块图像的与所述目标宏块图像相对应的基准宏块图像周围，在所述目标宏块图像在其中处理的第一方向、与所述第一方向垂直的第二方向以及与所述第一方向和所述第二方向倾斜交叉的第三方向上，并具有多个基准存储区部分，该多个基准存储区部分为物理上单独划分的区域，各区域包括位于所述第二方向上的预定数量的基准宏块图像；以及

运动估计部分，用于通过参照存储在所述基准图像存储部分的所述多个基准存储区部分中的多个基准宏块，相对于所述目标图像存储部分中的目标宏块图像进行运动估计，

所述基准图像存储部分的多个基准存储区部分适于分配至少：

全像素精度基准存储区部分，用于存储相对于目标宏块图像进行全像素精度运动估计的多个基准宏块图像；

备用传送基准存储区部分，用于存储为下一周期相对于该下一周期的目标宏块图像中的目标宏块图像进行运动估计的多个基准宏块图像；以及

半像素精度基准存储区部分，用于存储为相对于目标宏块图像之前预定数量周期的目标宏块图像进行半像素精度运动估计的多个基准宏块图像，

其中所有包括在所述基准图像存储部分中的基准存储区部分与所述运动估计部分通过各自分离的信号线相连接，

所述信号处理设备进一步包括：

传送控制部分，用于控制存储在所述基准图像存储部分的多个基准存储区部分中的多个基准宏块图像的传送，

其中所述传送控制部分在将存储在所述全像素精度基准存储区部分中的多个基准宏块图像和存储在所述半像素精度基准存储区部分中的多个基准宏块图像同时传送给所述运动估计部分时，进行全/半像素精度搜索并行处理控制以将用于所述下一周期的多个基准宏块图像存储到所述备用传送基准存储区部分中。

2.根据权利要求1所述的信号处理设备，其特征在于，进一步包括：

存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量，

其中存储区配置指定部分接收关于所需图像性能的信息，并根据接收的所需性能改变基准图像存储部分的存储区配置，以及

根据由存储区配置指定部分改变的基准图像存储部分的存储区配置，存储区控制部分转换全/半像素精度搜索并行处理控制和全/半像素精度搜索串行处理控制。

3.根据权利要求1所述的信号处理设备，其特征在于，进一步包括：

存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量，

其中存储区配置指定部分接收关于所需图像性能的信息，并根据接收的所需性能改变基准图像存储部分的存储区配置，并且当接收的所需性能为高时，扩大全像素精度基准存储区部分、备用传送基准存储区部分以及半像素精度基准存储区部分的存储区域。

4.根据权利要求2所述的信号处理设备，其特征在于，所述关于所需图像性能的信息为图像的图像质量。

5.根据权利要求2所述的信号处理设备，其特征在于，所述关于所需图像性能的信息为图像的尺寸。

6.根据权利要求2所述的信号处理设备，其特征在于，所述关于所需图像性能的信息为图像的帧率。

7.根据权利要求1所述的信号处理设备，其特征在于，图像的运动估计以双向预测进行，

基准图像存储部分的全像素精度基准存储区部分、备用传送基准存储区部分以及半像素精度基准存储区部分被划分为向前预测专用部分和向后预测专用部分，并且

基准宏块图像从向前预测专用全像素精度基准存储区部分、备用传送基准存储区部分以及半像素精度基准存储区部分以及向后预测专用全像素精度基准存储区部分、备用传送基准存储区部分和半像素精度基准存储区部分传送给运动估计部分。

8.根据权利要求1所述的信号处理设备，其特征在于，进一步包括：

预测精度检测部分，用于通过运动估计部分检测在图像的设定范围中运动估计的预测精度；以及

存储区配置指定部分，用于指定在基准图像存储部分用作存储区配置的基准存储区部分的数量，

其中根据由预测精度检测部分检测的预测精度，改变基准图像存储部分的存储区配置，并且当预测精度为低时，增加所使用的基准存储区部分的数量。

9.根据权利要求8所述的信号处理设备，其特征在于，所述图像的设定范围为该图像的一帧。

10.根据权利要求9所述的信号处理设备，其特征在于，根据由预测精度检测部分检测的图像的一帧中的预测精度，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与其中已检测预测精度的该帧紧接的下一帧的运动估计。

11.根据权利要求8所述的信号处理设备，其特征在于，所述图像的设定范围为包括位于第二方向的多个块行的图像的一帧中的一个块行，各块行包括位于第一方向的多个宏块。

12.根据权利要求11所述的信号处理设备，其特征在于，根据由预测精度检测部分检测的图像的一个块行中的预测精度，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与其中已检测预测精度的该块行紧接的下一块行的运动估计。

13.根据权利要求1所述的信号处理设备，其特征在于，所述运动估计部分对于各目标宏块图像计算运动矢量，

所述信号处理设备进一步包括：

比较部分，用于通过运动估计部分将图像的设定范围中对于各目标宏块的运动向量与基准值比较；以及

存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量，并且

根据所述比较部分中比较的结果，存储区配置指定部分改变基准图像存储部分中的存储区配置。

14.根据权利要求13所述的信号处理设备，其特征在于，所述比较部分对超出基准值的目标宏块图像的运动矢量的数量进行计数，并且

当计数值大于或等于设定值时，存储区配置指定部分增加在基准图像存储部分中所使用的基准存储区部分的数量。

15.根据权利要求13所述的信号处理设备，其特征在于，所述图像的设定范围为图像的一帧。

16.根据权利要求15所述的信号处理设备，其特征在于，根据比较部分的比较结果，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与包括其中运动矢量已检测的目标宏块的帧紧接的下一帧的运动估计。

17.根据权利要求13所述的信号处理设备，其特征在于，所述图像的设定范围为包括位于第二方向的多个块行的图像的一帧中的一个块行，各块行包括位于第一方向的多个宏块。

18.根据权利要求17所述的信号处理设备，其特征在于，根据比较部分的比较结果，存储区配置指定部分改变基准图像存储部分中基准存储区部分的数量，该基准存储区部分用于相对于与包括其中运动矢量已检测的目标宏块的块行紧接的下一块行的运动估计。

19.根据权利要求13所述的信号处理设备，其特征在于，所述比较部分对各目标宏块图像的运动矢量的第一方向分量和第二方向分量与第一方向基准值和第二方向基准值分别进行比较，并且

根据比较部分中第一方向和第二方向的比较结果，存储区配置指定部分改变基准图像部分中的存储区配置。

20.根据权利要求1所述的信号处理设备，其特征在于，进一步包括：

存储区配置指定部分，用于指定在基准图像存储部分中用作存储区配置的基准存储区部分的数量。

21.一种图像捕捉设备，包括：

如权利要求20所述的信号处理设备；以及

图像捕捉部分，用于捕捉运动图像，并将该图像信号输出至所述信号处理设备，

其中所述图像捕捉部分具有在捕捉所述运动图像时用于检测图像位置变化的变化检测部分，并且

包括在信号处理设备中的存储区配置指定部分的一部分也用作包括在图像捕捉部分中的变化检测部分。

22.一种网络照相机系统，包括：

具有图像捕捉部分的网络照相机；以及

多个图像终端，用于请求由网络照相机的图像捕捉部分捕捉的运动图像的分配，并且各自具有用于显示分配的运动图像的图像显示设备，

其中所述网络照相机具有如权利要求20的信号处理设备，并且

根据同时发出运动图像分配请求的图像终端的数量，包括在信号处理设备中的存储区配置指定部分改变基准图像存储部分的存储区配置。

23.根据权利要求22所述的网络照相机系统，其特征在于，该信号处理设备具有如权利要求1所述的传送控制部分，并且

该传送控制部分使用由存储区配置指定部分改变的基准图像存储部分的存储区配置而恒定执行全/半像素精度搜索并行处理控制。

24.根据权利要求22所述的网络照相机系统，其特征在于，该信号处理设备具有如权利要求1所述的传送控制部分，并且

根据由存储区配置指定部分改变的基准图像存储部分的存储区配置，该传送控制部分转换并控制全/半像素精度搜索并行处理控制和全/半像素精度搜索串行处理控制。

25.根据权利要求22所述的网络照相机系统，其特征在于，假定当将运动图像分配给任一所述多个图像终端时从另一图像终端发出有运动图像分配的请求，当响应从另一图像终端发出的运动图像分配请求，存储区配置指定部分不能改变基准图像存储部分的存储区配置时，网络照相机将该事件通知给发出该分配请求的另一图像终端。

26.根据权利要求25所述的网络照相机系统，其特征在于，所述发出分配请求的其它图像终端在从网络照相机接收到表示基准图像存储部分的存储区配置不能改变的通知时，向网络照相机发出其中运动图像的所需性能已降低的分配请求，并且

网络照相机的信号处理设备的存储区配置指定部分在从其它图像终端接收到其中运动图像的所需性能已降低的分配请求时，试图根据所需性能改变基准图像存储部分的存储区配置。

27.根据权利要求25所述的网络照相机系统，其特征在于，当根据从其它图像终端发出的运动图像分配请求，存储区配置指定部分不能改变基准图像存储部分的存储区配置时，网络照相机通知正在分配运动图像的图像终端一个查询，即是否允许基准存储区部分优先分配给发出分配请求的其它图像终端。

28.根据权利要求27所述的网络照相机系统，其特征在于，关于基准存储区部分优先分配给发出分配请求的其它图像终端是否允许的查询，正在分配运动图像的图像终端响应网络照相机，并且

当从正在分配运动图像的图像终端接收允许将基准存储区部分优先分配给发出分配请求的其它图像终端的响应时，网络照相机进行优先分配。

29.一种视频系统，包括：

图像处理部分，其包括如权利要求1所述的信号处理设备并用于进行图像处理；

传感器，用于将图像信号输出至图像处理部分的信号处理设备；以及

光学系统，用于使光在所述传感器上成像。

30.一种视频系统，包括：

图像处理部分，其包括如权利要求1所述的信号处理设备并用于进行图像处理；以及

A/D转换部分，用于接收具有模拟值的图像信号，将该图像信号转换为数字值，并将该数字值输出至图像处理部分的信号处理设备。

31.一种信号处理方法，用于通过参照包括在基准帧图像中的多个基准宏块图像而估计包括在目标帧图像中的目标宏块图像的运动，其中，

所述运动估计包括，当参照相对于目标宏块图像进行全像素精度运动估计的多个基准宏块图像时以全像素单元估计目标宏块图像的第一运动估计，以及当参照相对于目标宏块图像进行半像素精度运动估计的多个基准宏块图像时以半像素单元估计目标宏块图像的第二运动估计，

该信号处理方法包括：

执行第一运动估计的第一步骤；以及

执行第二运动估计的第二步骤，且

当同时参照相对于所述目标宏块图像进行全像素精度运动估计的多个基准宏块图像和相对于所述目标宏块图像进行半像素精度运动估计的多个基准宏块图像时，所述第一步骤和所述第二步骤并行进行。

32.一种信号处理设备，用于通过参照包括在基准帧图像中的多个基准宏块图像而估计包括在目标帧图像中的目标宏块图像的运动，其中，

所述运动估计包括以全像素单元估计目标宏块图像的第一运动估计，以及以半像素单元估计目标宏块图像的第二运动估计，

该信号处理设备包括：

基准图像存储部分，用于存储在包括在所述基准帧图像中的多个基准宏块图像的对应于所述目标宏块图像的基准宏块图像的周围、位于水平方向、垂直方向和倾斜方向的多个基准宏块图像，存储相对于所述目标宏块图像进行全像素精度运动估计的多个基准宏块图像和相对于所述目标宏块图像进行半像素精度运动估计的多个基准宏块图像；以及

运动估计部分，用于通过参照存储在所述基准图像存储部分中的进行所述全像素精度运动估计的多个基准宏块图像和进行所述半像素精度运动估计的多个基准宏块图像，进行第一运动估计和第二运动估计，并且当同时参照进行所述全像素精度运动估计的多个基准宏块图像和进行所述半像素精度运动估计的多个基准宏块图像时，所述第一运动估计和所述第二运动估计在所述运动估计部分中并行进行。

33.根据权利要求32所述的信号处理设备，其特征在于，所述基准图像存储部分为提供在所述信号处理设备中的嵌入式存储器。

34.根据权利要求33所述的信号处理设备，其特征在于，所述嵌入式存储器为SRAM。

35.根据权利要求32所述的信号处理设备，其特征在于，当用于运动估计的搜索范围包括处理方向中的n个基准图像宏块时，相对于第(m+n)个宏块的第一运动估计和相对于第m个宏块的第二运动估计并行进行。

Images