CN1961338A - 图像处理设备和方法、记录介质以及程序 - Google Patents

Abstract

本发明涉及图像处理设备和方法，以及记录介质和程序，通过它们可以求出像素的可能的运动向量，其中像素的运动向量未在处理的前一阶段中求出。针对在后续阶段的处理中未获得运动向量的有关区域，计算在后续阶段的处理中针对有关区域周围的外围像素求出的运动向量，以及表示补偿候选向量的可靠性的评估值，其中每个评估值包括零向量等等。比较所计算的评估值，以及有选择地获得确定为具有最高概率的补偿候选向量，以作为部分有关区域的运动向量。本发明适用于执行从24P信号到60P信号帧频率转换的信号处理设备。

Description

图像处理设备和方法、记录介质以及程序

技术领域

本发明涉及图像处理设备和方法、记录介质以及程序。具体地，本发明涉及基于运动向量增加图像的质量的图像处理设备和方法、记录介质和程序。

背景技术

在通过使用例如专利文献1中描述的梯度方法、块匹配等等转换图像上的帧频率的现有技术图像处理设备中，运动向量被检测，并且所检测的运动向量被分配给生成的内插帧(interpolated frame)。然而，在上述运动向量检测方法中，没有经常检测运动向量。因此，这些方法可能存在运动向量可靠性的问题，例如不能检测有关的像素的运动向量，或所检测的运动向量的不稳定性问题。

另外，当所检测的运动向量被分配给生成的内插帧时，运动向量未被分配给该内插帧中的所有像素。

图像处理设备通过保持运动向量仍然未检测的状态或通过把运动向量设置为零向量(即，固定状态)来应对这种情况。

[专利文献1]日本未审查的专利申请公开说明书60-158786

发明内容

然而，仍然未检测的运动向量以及设置为零向量的运动向量并不总是表示适于有关像素所属的对象的运动。因此，当使用运动向量生成图像时，产生这样的问题，即上述运动向量导致例如间断的不小的视觉退化。

另外，在许多情况下，虽然运动向量表示相同对象中的运动，但是通过现有技术的运动向量检测方法检测的运动向量或分配给内插帧中的像素的运动向量被发现作为没有运动相关的运动向量(不同于外围像素(peripheral pixels))。因此，存在错误发现运动向量的可能性，即运动向量通常不太可能存在。

鉴于上述情况提出了本发明，并且本发明的目的是找到其运动向量未能被发现的像素的可能的运动向量。

本发明要解决的问题

本发明的图像处理设备包括向量确定装置，其用于确定是否在第一帧或第二帧的有关区域中设置高可靠的运动向量，该有关区域包含一或多个像素，以及向量设置装置，其用于当向量确定装置确定未在有关区域的至少一部分中设置高可靠运动向量时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

图像处理设备还可以包括向量检测装置，其用于检测第一帧中的运动向量，以及可靠性计算装置，其用于计算表示由向量检测装置针对有关区域检测的第一帧中的运动向量的可靠性的评估值，其中基于可靠性计算装置的操作结果，向量检测装置确定是否在第一帧中有关区域中设置高可靠运动向量，并且向量设置装置在有关区域中把在第一帧中有关区域附近的外围像素上检测的运动向量中最可靠的运动向量设置为有关区域的运动向量。

图像处理设备还可以包括有效像素确定装置，其用于确定操作块中的像素是否在检测运动向量方面有效，该像素经历检测运动向量的操作，以及运动向量检测装置，其用于通过使用有效像素确定装置确定有效的像素执行操作来检测运动向量。基于有效像素确定装置的确定结果，向量确定装置可以确定是否在第一帧有关区域中设置高可靠的运动向量，并且向量设置装置可以把在第一帧中有关区域的附近检测的运动向量中最可靠的运动向量设置为有关区域的该部分的运动向量。

图像处理设备还可以包括向量分配装置，其用于把第一帧中所检测的运动向量分配给第二帧中有关区域。基于由向量分配装置分配运动向量的结果，向量确定装置可以确定高可靠的运动向量是否被分配给第二帧中有关区域，并且向量设置装置可以把在第二帧有关区域的附近检测的运动向量中最可靠的运动向量设置为有关区域的该部分的运动向量。

向量设置装置可以把在第二帧中有关区域的附近检测的运动向量中最可靠的运动向量设置为一个部分的运动向量，其中向量确定装置确定高可靠的运动向量未被分配给该部分。

图像处理设备还可以包括候选向量设置装置，其用于当向量确定装置确定高可靠的运动向量未被设置在有关区域中时，把针对有关区域附近的外围像素获得的运动向量设置为有关区域的运动向量的候选向量。候选向量设置装置也可以把由向量设置装置在设置有关区域的运动向量之前在外围像素上设置的运动向量设置为有关区域的运动向量的候选向量。

向量设置装置可以把针对有关区域附近的外围像素获得的运动向量设置为一个部分中的候选向量，其中向量确定装置确定高可靠的运动向量未被设置在该部分中。

本发明的图像处理方法包含向量确定步骤，其确定高可靠的运动向量是否被设置在第一帧和第二帧之一的有关区域中，该有关区域包含一或多个像素，以及向量设置步骤，其当在向量确定步骤确定高可靠的运动向量未被设置在有关区域的一部分中时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

本发明的记录介质上记录的程序包含向量确定步骤，其确定高可靠的运动向量是否被设置在第一帧和第二帧之一的有关区域中，该有关区域包含一或多个像素，以及向量设置步骤，其当在向量确定步骤确定高可靠的运动向量未被设置在有关区域的一部分中时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

本发明的程序包含向量确定步骤，其确定高可靠的运动向量是否被设置在第一帧和第二帧之一的有关区域中，该有关区域包含一或多个像素，以及向量设置步骤，其当在向量确定步骤确定高可靠的运动向量未被设置在有关区域的一部分中时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

在本发明中，当确定在包含第一帧或第二帧中一或多个像素的有关区域的至少一部分上设置高可靠的运动向量时，在针对有关区域附近的外围像素获得的运动向量中，将最可靠的运动向量设置为该部分有关区域的运动向量。

基于本发明，针对未能找到其运动向量的像素，可以找到可能的运动向量。另外，基于本发明，提高了运动向量检测的准确性和运动向量分配的准确性。此外，基于本发明，可以提高生成图像的质量以及可以提高帧频率转换的准确性。

附图说明

图1是示出本发明的信号处理设备的结构的例子的模块图。

图2是示出图1所示的信号处理设备的结构的模块图。

图3是本发明的处理的原理的图解。

图4是本发明的处理的详细图解。

图5是信号处理设备中使用的评估值的图解。

图6是图解信号处理设备中帧频率转换过程的流程图。

图7是示出图像插入单元的结构的模块图。

图8是图解图像插入过程的流程图。

图9是示出向量检测单元的结构的模块图。

图10是向量检测单元中使用的梯度法的图解。

图11是使用初始向量的递归梯度法的图解。

图12是图解运动向量检测过程的流程图。

图13是示出偏移初始向量分配单元的结构的模块图。

图14是偏移初始向量的概念的图解。

图15是偏移初始向量的具体图解。

图16是偏移初始向量的具体图解。

图17是确定偏移初始向量的方法的图解。

图18是偏移初始向量分配的例子的图解。

图20是图解偏移初始向量分配过程的流程图。

图21是示出偏移初始向量选择单元的结构的模块图。

图22是围绕初始向量的外围区域的图解。

图23是初始向量的候选块的图解。

图24是图解初始向量选择过程的流程图。

图25是示出递归梯度操作单元的结构的模块图。

图26是示出有效像素确定单元的结构的模块图。

图27是示出梯度操作单元的结构的模块图。

图28是涉及运动向量的检测块和操作块的图解。

图29是检测块中的对象的运动的图解。

图30是在具有同样运动的对象的检测块中的亮度状态的图解。

图31是在具有不同运动的对象的检测块中的亮度状态的图解。

图32是像素单元处理中的操作块的例子的图解。

图33是图29中示出的检测块中的像素单元处理的图解。

图34是图解递归梯度操作过程的流程图。

图35是图解有效像素确定过程的流程图。

图36是图解梯度操作过程的流程图。

图37是图解像素单元递归梯度操作过程的流程图。

图38是示出向量分配单元的结构的模块图。

图39是本发明的四点插入过程的图解。

图40是向量分配过程的概述的图解。

图41是运动向量和内插帧之间的交点附近的像素的例子的图解。

图42是评估分配的候选运动向量的方法的图解。

图43是向量分配中的四点插入的例子的图解。

图44是图解向量分配过程的流程图。

图45是图解像素定位操作过程的流程图。

图46是图解所分配向量评估过程的流程图。

图47是示出分配补偿单元的结构的模块图。

图48是示出分配补偿单元的结构的模块图。

图49A是分配补偿过程的原理的图解。

图49B是块模式分配补偿过程的原理的图解。

图49C是块模式中评估补偿的候选向量的例子的图解。

图50是运动相关的原理的图解。

图51是围绕有关像素的外围像素的结构的例子的图解。

图52是有关像素的运动向量的补偿候选向量的例子的图解。

图53是有关像素的运动向量的补偿候选向量的例子的图解。

图54是有关像素的运动向量的补偿候选向量的例子的图解。

图55是补偿候选向量的评估的例子的图解。

图56是补偿候选向量的评估的例子的图解。

图57是补偿候选向量的评估的例子的图解。

图58是选择补偿候选向量作为有关像素的运动向量的例子的图解。

图59A是图解分配补偿过程的流程图。

图59B是图解块模式分配补偿过程的流程图。

图60是图解向量补偿过程的流程图。

图61是示出信号处理设备的另一种结构的模块图。

图62是示出检测补偿单元的结构的模块图。

图63是示出向量补偿单元的结构的模块图。

图64是图解信号处理设备中帧频率转换过程的另一个例子的流程图。

图65是图解运动向量检测过程的另一个例子的流程图。

图66是图解检测补偿过程的流程图。

图67是图解向量补偿过程的另一个例子的流程图。

图68是示出向量检测单元的另一种结构的模块图。

图69是图解运动向量检测过程的另一个例子的流程图。

图70是示出向量检测单元的另一种结构的模块图。

附图标记

1信号处理设备

11CPU

12ROM

13RAM

31磁盘

32光盘

33磁光盘

34半导体存储器

51帧存储器

52向量检测单元

53检测向量存储器

54向量分配单元

55分配向量存储器

56分配标志存储器

57分配补偿单元

58图像插入单元

101初始向量选择单元

103递归梯度操作单元

104向量评估单元

105偏移初始向量分配单元

106评估值存储器

107偏移初始向量存储器

201分配位置计算单元

202评估值比较单元

203偏移初始向量替换单元

204评估值替换单元

251候选向量位置操作单元

252检测向量获得单元

253偏移初始向量获得单元

254偏移位置操作单元

255评估值操作单元

256评估值比较单元

257最优候选向量存储寄存器

401模式选择单元

402选择器

403有效像素确定单元

404梯度操作单元

405延迟单元

411瞬时像素差计算单元

412像素差确定单元

413有效像素计数器

414梯度操作继续确定单元

421瞬时像素差计算单元

422像素差确定单元

423水平垂直像素差计算单元

424梯度累积单元

425向量计算单元

701像素信息操作单元

702评估值操作单元

703有关像素差操作单元

704向量评估单元

705向量选择单元

711像素差确定单元

712评估值确定单元

801分配向量确定单元

802向量补偿单元

811补偿单元

812评估值操作单元

821存储器

911确定结果标志存储器

912检测补偿单元

921检测向量确定单元

922向量补偿单元

951块匹配操作单元

952向量评估单元

具体实施方式

参考附图描述本发明的实施例。

图1示出了本发明应用于的信号处理设备1的结构的例子。信号处理设备1由例如个人计算机等等构成。在图1中，中央处理单元(CPU)11基于只读存储器(ROM)12或存储单元18中存储的程序执行各种处理。随机访问存储器(RAM)13在需要的情况下存储由CPU 11执行的程序和数据。CPU 11，ROM 12和RAM 13通过总线14彼此连接。

CPU 11通过总线14连接到输入/输出接口15。输入/输出接口15连接到包含键盘、鼠标和话筒的输入单元16，并且连接到包含显示器和扬声器的输出单元17。CPU 11响应从输入单元16输入的指令执行各种处理。CPU 11向输出单元17输出在处理中获得的图像、音频等等。

连接到输入/输出接口15的存储单元18由例如硬盘构成，并且存储由CPU 11执行的程序和各种数据。通信单元19通过因特网或其它网络与外部设备通信。程序可以通过通信单元19获得并且可以被存储在存储单元18。

当加载磁盘31、光盘32、磁光盘33或半导体存储器34时，连接到输入/输出接口15的驱动器20驱动所加载的记录介质并且获得记录在其上的程序和数据。在需要的情况下，所获得的程序和数据被传送和存储在存储单元18中。

例如，可以使用电视接收器或光盘播放器，或其信号处理单元作为信号处理设备1。

图2是示出信号处理设备1的模块图。

信号处理设备1的功能可以由硬件或软件实现。换言之，这个说明书中的模块图可以被看作硬件模块图或软件模块图。

图2中示出的信号处理设备1基于具有24赫兹帧频率的渐变图像信号(此后被称作″24P信号″)接收图像。信号处理设备1把输入图像转换成基于具有60赫兹帧频率的渐变图像信号(此后被称作″60P信号″)的图像，并且输出所转换的图像。换言之，图2示出信号处理设备1的结构，其充当图像处理设备。

把基于输入到信号处理设备1的24P信号的图像提供给帧存储器51、向量检测单元52、向量分配单元54、分配补偿单元57和图像插入单元58。帧存储器51以帧为单位存储输入图像。帧存储器51存储在时间t+1处的输入图像前面的时间t处的帧。把时间t处的存储在帧存储器51中的帧提供给向量检测单元52、向量分配单元54、分配补偿单元57和图像插入单元58。在下面的描述中，帧存储器51中在时间t处的帧此后被称作″帧t″，并且输入图像在时间t+1处的帧此后被称作″帧t+1″。

向量检测单元52检测在帧存储器51中的帧t中有关块和在输入图像的帧t+1中的对象块之间的运动向量，并且把所检测的运动向量存储在检测向量存储器53中。使用例如梯度法或块匹配的方法作为检测上述两个帧之间的运动向量的方法。后面会描述向量检测单元52的结构的细节。检测向量存储器53存储由向量检测单元52在帧t中检测的运动。

向量分配单元54把24P信号帧t中检测的运动向量分配给分配向量存储器55中用于插入的60P信号帧中的像素。在下面的描述中，60P信号帧此后还被称作″插入帧″，以便与24P信号帧区分。向量分配单元54把分配标志存储器56中的分配标志改写成一(真)。后面会描述向量分配单元54的结构的细节。

分配向量存储器55按其中所分配的运动向量与插入帧的每个像素相关的形式存储由向量分配单元54分配的运动向量。分配标志存储器56针对插入帧的每个像素存储指示是否存在所分配的运动向量的分配标志。例如，当分配标志为真(一)时，指示运动向量被分配给对应像素。当分配标志为假(零)时，指示运动向量未被分配给对应像素。

参考分配标志存储器56中的分配标志，分配补偿单元57就围绕有关像素周围的外围像素的运动向量补偿向量分配单元54未分配运动向量的有关像素，并且把所补偿的像素分配到分配向量存储器55中的插入帧。此时，分配补偿单元57重写运动向量被分配给的有关像素中的分配标志，使得它为一(真)。后面会描述分配补偿单元57的细节。

图像插入单元58通过使用分配给分配向量存储器55的插入帧的运动向量和帧t和下一帧t+1中的像素执行插入以生成插入帧中的像素。图像插入单元58通过输出生成的插入帧并且接着在需要的情况下，输出帧t+1，向后续级段(未示出)输出60P信号图像。在下面的描述中，像素值此后还被称作″亮度″。

图3图解了通过本发明的信号处理设备1执行的处理的原理。在图3示出的例子中，点线指示在时间t、t+1和t+2处的24P信号帧，并且实线指示所生成的在时间t、t+0.4、t+0.8、t+1.2、t+1.6和t+2处的插入60P信号帧。

通常，为了把24P信号转换成60P信号，需要5/2倍帧。换言之，根据两个24P信号图像，必须生成五个60P信号图像。在这种情况下，所生成的60P信号插入帧被布置在24P信号上时间相位为0.0、0.4、0.8、1.2和1.6的位置上，以便具有相等的帧间隔。在这些帧中，除了时间相位为0.0的时间t处的一个帧之外，四个帧(时间t+0.4、t+0.8、t+1.2和t+1.6处的帧)是不存在于24P信号上的图像。因而，当输入24P信号图像时，由时间t和t+1处的两个帧生成四个插入帧。因此，信号处理设备1输出由时间t、t+0.4、t+0.8、t+1.2和t+1.6处的五个帧组成的60P信号图像。

如上所述，信号处理设备1执行把24P信号图像转换为60P信号图像的帧频率转换。

在原理上，如上所述，根据时间t和t+1处的两个24P信号帧，生成时间t、t+0.4、t+0.8、t+1.2和t+1.6处的五个60P信号帧。实际上，在图3的例子中，基于时间t和t+1处的两个24P信号帧，生成时间t、t+0.4和t+0.8处的60P信号帧。基于时间t+1和t+2处的两个24P信号帧，生成时间t+1.2、t+1.6和t+2处的60P信号帧。

图4是本发明的处理的更加具体的图解。在图4示出的例子中，粗箭头指示状态的改变，并且箭头T指示状态81到85中时间经过的方向。状态81到85概念上表示在针对构成信号处理设备1的每个单元的输入/输出模式下，在24P信号的时间t处的帧t中，在另一时间t+1处的帧t+1中，以及帧t和帧t+1之间生成的60P信号插入帧F的状态。换言之，实际上，未输入如状态82指示的检测到运动向量的帧。帧和运动向量被分别输入。

状态81指示被输入到向量检测单元52的24P信号帧t和t+1的每个状态。状态81的帧t中的黑点指示帧t中的像素。向量检测单元52检测状态81的帧t中的像素在时间t+1处的下一帧能够运动到的位置，并且如状态82中的帧t所示，输出运动以作为对应于像素的运动向量。使用块匹配、梯度法等等作为检测两个帧之间的运动向量的方法。当在这种情况下针对一个像素检测多个运动向量时，向量检测单元52求出运动向量的评估值(以后描述)，并且基于评估值选择运动向量。

状态82表示被输入到向量分配单元54的帧t和t+1的每个状态。在状态82中，来自帧t中的像素的箭头指示通过向量检测单元52检测的运动向量。

向量分配单元54将针对帧t中的像素检测的运动向量延伸到下一帧t+1，并且求出运动向量在预定时间相位(例如，图3中的t+0.4)的插入帧F中经过的位置。这是由于，假定运动向量的运动在帧t和t+1之间是恒定的，运动向量穿过插入帧F的点充当插入帧F中的像素位置。因此，向量分配单元54把一个通过运动向量分配给状态83中的插入帧F中的四个相邻像素。另外，此时可能出现不存在根据插入帧F中的像素的运动向量的情况，或多个运动向量将充当补偿候选的情况。在后一种情况下，类似于向量检测单元52，向量分配单元54求出运动向量的评估值，并且基于评估值选择要分配的运动向量。

状态83表示被输入到分配补偿单元57的帧t、帧t+1和运动向量被分配到的插入帧F的每个状态。在状态83的插入帧F中，示出了由向量分配单元54分配了运动向量的像素和未分配运动向量的像素。

分配补偿单元57通过使用给未分配运动向量的像素周围的外围像素分配的运动向量，针对未分配运动向量的状态83的一个像素进行补偿。这是由于，如果有关像素周围的相邻区域具有类似运动的假设成立，则有关像素周围的外围像素的运动向量和有关像素中的运动向量类似。这将准确到某种程度的运动向量提供给甚至未分配运动向量的像素，使得运动向量被分配给状态84的插入帧F的所有像素。在这种情况下，也存在外围像素的运动向量作为候选，类似于向量分配单元54，分配补偿单元57求出评估值或运动向量，并且基于评估值选择要分配的运动向量。

状态84表示帧t、帧t+1和向所有像素分配运动向量的插入帧F的每个状态。这些帧被输入到图像插入单元58。基于分配给所有像素的运动向量，图像插入单元58确定插入帧F中的像素和两个帧t和t+1中的像素之间的位置关系。因此，通过使用分配给插入帧F的运动向量和帧t和t+1中的像素，图像插入单元58执行插入以生成插入帧F中的像素，如状态85的插入帧F中的黑点所示。图像插入单元58通过输出生成的插入帧并且接着输出帧t+1，输出60P信号图像到后续级段(未示出)。

接着，参考图5在下面描述本发明的信号处理设备1中使用的运动向量的评估值。参考图4的描述，在信号处理设备1的功能单元中(向量检测单元52，向量分配单元54和分配补偿单元57)，选择对于后续阶段中的处理最优的运动向量。在这种情况下，每个信号处理设备1使用表示两个帧中偏移有关向量值的块之间的相关数值的偏移帧差(DFD)，来作为运动向量的评估值。

如图5所示的例子示出了两个块，即在时间t处的帧t中像素位置p周围的m×n个块，和像素位置p+v周围的m×n个块，所述像素位置p+v相对时间t+1处的帧t+1的像素位置偏移有关运动向量v的向量值。两个块之间计算的偏移帧差DFDt(p)由下面的表达式(1)表示。

[表达式]

${\mathrm{DFD}}_t\left(p\right)=\underset{x,y}{\overset{m\×n}{\mathrm{\Σ}}}|F_{t+1}(p_{x,y}+v)-F_t\left(p_{x,y}\right)|---\left(1\right)$

在这个表达式中，F_t(p)表示时间t处像素位置p的亮度，并且m×n表示用于求出偏移帧差的DFD操作范围(块)。偏移帧差表示两个帧中的DFD操作范围(块)之间的相关数值。因而，通常，偏移帧差越小，则帧之间的块的波形彼此越一致。因此，确定偏移帧差越小，则运动向量v的可靠性越高。因此，偏移帧差用于从多个运动向量中选择最可能的运动向量。

因此，在下面的描述中，在信号处理设备1的功能单元(向量检测单元52，向量分配单元54和分配补偿单元57)中，偏移帧差(此后还被称作″评估值DFD″)在选择运动向量时被用作评估值。

接着，参考图6所示的流程图描述信号处理设备1的帧频率转换过程。

在步骤S1，输入图像在时间t+1处的帧t+1的像素值和帧存储器51中的输入图像在时间t处的在前帧t的像素值被输入到向量检测单元52。处理前进到步骤S2。此时，输入图像在时间t+1处的帧t+1的像素值和帧存储器51中的输入图像在时间t处的在前帧t的像素值被输入到向量分配单元54，分配补偿单元57和图像插入单元58。

在步骤S2，向量检测单元52执行运动向量检测过程，并且执行到步骤S3。换言之，向量检测单元52检测帧存储器51中的帧t中有关块和作为输入图像的下一帧t+1中的对象块之间的运动向量。向量检测单元52把所检测的运动向量存储在检测向量存储器53中，并且执行到步骤S3。使用梯度法、块匹配等等来检测两个帧之间的运动向量。另外，当存在候选运动向量时，求出运动向量的评估值DFD，并且检测基于求出的评估值DFD的高可靠运动向量。换言之，在这种情况下，在要从中检测运动向量的有关块中，选择和检测最可能的运动向量。后面会描述步骤S2中运动向量检测过程的细节。

在步骤S3，向量分配单元54执行向量分配过程，并且执行到步骤S4。具体地，向量分配单元54把在帧t中求出的运动向量分配给分配向量存储器55中的插入帧中的进行插入的有关像素，并且重写分配标志存储器56中的、对应于具有分配的运动向量的像素的分配标志，使得它为一(真)。例如，为真的分配标志指示运动向量被分配给对应像素，并且为假的分配标志指示运动向量未被分配给对应像素。当每个像素具有多个候选运动向量时，求出运动向量的评估值，并且分配基于评估值DFD的高可靠运动向量。换言之，在这种情况下，对于要分配运动向量的有关像素，选择和分配高可靠的运动向量。后面会描述步骤S3中向量分配过程的细节。

在步骤S4，分配补偿单元57执行分配补偿过程，并且执行到步骤S5。换言之，在步骤S4，通过参考分配标志存储器56中的分配标志，分配补偿单元57就有关像素周围的外围像素中的运动向量补偿向量分配单元54未分配运动向量的有关像素，并且把所获得的像素分配到分配向量存储器55中的插入帧。此时，分配补偿单元57补偿运动向量，并且重写所分配的有关像素的分配标志，使得它为一(真)。当有关像素具有多个外围像素的运动向量时，求出运动向量的评估值DFD，并且分配基于所获得的评估值DFD的高可靠运动向量。换言之，在这种情况下，对于要被分配运动向量的有关像素，选择和分配最可能的运动向量。后面会描述步骤S4中分配补偿过程的细节。

在步骤S5，图像插入单元58执行图像补偿过程。换言之，在步骤S5，图像插入单元58通过使用分配给分配向量存储器55的插入帧的运动向量和帧t和t+1中的像素执行补偿以生成插入帧中的像素值。处理前进到步骤S6。后面会描述步骤S5中图像补偿过程的细节。在步骤S6，图像插入单元58通过输出生成的插入帧并且根据需要接着输出帧t+1，输出60P信号图像。处理前进到步骤S7。

在步骤S7，向量检测单元52确定所有帧的处理是否已经完成。如果确定所有帧的处理未曾完成，则过程返回到步骤S1并且重复执行后续步骤。如果在步骤S7确定所有帧的处理已经完成，则向量检测单元52完成帧频率转换过程。

如上所述，本发明的信号处理设备1检测来自24P信号图像的帧的运动向量，把所检测的运动向量分配给60P信号帧中的像素，并且基于所分配的运动向量生成60P信号帧中的像素值。此时，信号处理设备1在每次处理时基于评估值DFD(偏移帧差)选择高可靠的运动向量，并且输出运动向量到后续级段。因此，由于例如运动丢失的缺陷被抑制，所以信号处理设备1可以生成更高质量的图像。

接着，参考图7描述图像插入单元58的细节。

图7是示出图像插入单元58的结构的模块图。在图7中示出其结构的图像插入单元58通过使用分配给分配向量存储器55中插入帧的运动向量以及输出60P信号图像来执行进行插入以生成插入帧的像素的过程。

在图7的例子中，时间t处的帧t被输入到空间滤波器92-1，同时时间t+1处的帧t+1被输入到空间滤波器92-2和缓冲器95。

插入控制单元91选择分配向量存储器55中的插入帧中的像素，并且基于分配给所选择的像素的运动向量求出插入帧中的像素和两个帧t和t+1中的像素之间的位置关系(空间偏移)。具体地，插入控制单元91使用插入帧中的像素作为参考，并且由帧t中与像素的运动向量相关的位置和对应于插入帧中像素的帧t中的位置，求出涉及两个帧的空间偏移。插入控制单元91向空间滤波器92-1提供所获得的空间偏移。类似地，插入控制单元91使用插入帧中的像素作为参考，并且由与像素的运动向量相关的帧t+1中的位置和对应于插入帧中像素的帧t+1中的位置，求出涉及两个帧的空间偏移。插入控制单元91向空间滤波器92-2提供所获得的空间偏移。

另外，基于事先设置的插入帧中的时间相位(时间)，插入控制单元91求出帧t和t+1之间的插入权重，并且在乘法器93-1和93-2中设置所获得的插入权重。例如，当插入帧中的时间在与帧t+1的时间t+1相距距离″k″的位置处，并且在与帧t的时间t相距距离″1-k″的位置处时，即当在把时间t和t+1内部地分成″1-k″：″k″的时间处生成插入帧时，插入控制单元91在乘法器93-1中设置插入权重″1-k，并且在乘法器93-2中设置插入权重″k″。

空间滤波器92-1和92-2由例如立方滤波器(cubic filters)等等构成。基于输入的帧t中的像素的像素值，以及插入控制单元91提供的空间偏移(spatial shift)，空间滤波器92-1求出帧t中对应于插入帧中像素的像素值，并且向乘法器93-1输出所获得的像素值。基于输入的帧t+1中的像素的像素值，以及插入控制单元91提供的空间偏移，空间滤波器92-2求出帧t+1中对应于插入帧中像素的像素值，并且向乘法器93-2输出所获得的像素值。

当插入帧中的像素的位置与帧t或帧t+1中的像素的位置不一致时，即当插入帧的位置具有等于或小于帧t或帧t+1中的像素值的分量时，通过使用帧t或帧t+1中插入帧中像素周围的四个相邻像素的像素值，空间滤波器92-1或92-2求出到相邻像素的距离的倒数比(reciprocalratio)的总和，从而求出帧中对应于插入帧中像素的像素值。换言之，通过基于到相邻像素的距离的线性插值来求出等于或小于参考像素值的像素值。

乘法器93-1把从空间滤波器92-1输入的帧t中的像素值与插入控制单元91中设置的插入权重″1-k相乘，并且向加法器94输出加权像素值。乘法器93-2把从空间滤波器92-2输入的帧t+1中的像素值与插入控制单元91中设置的插入权重″k″相乘，并且向加法器94输出加权像素值。

加法器94通过把从乘法器93-1输入的像素值和从乘法器93-2输入的像素值相加来生成插入帧中的像素的像素值，并且向缓冲器95输出插入帧中所生成的像素值。缓冲器95缓冲输入帧t+1。缓冲器95输出生成的插入帧。接着，在需要的情况下，通过基于事先设置的60P帧的时间相位(时间)输出缓冲帧t+l，缓冲器95向后续级段(未示出)输出60P信号图像。

参考图8示出的流程图描述具有上述结构的图像插入单元58的图像插入过程的细节。

在步骤S51，基于要处理的插入帧的时间相位，插入控制单元91求出帧t和t+1之间的插入帧的插入权重(例如，″k″和″1-k″)，并且在乘法器93-1和93-2中设置所获得的插入权重。处理前进到步骤S52。在步骤S52，插入控制单元91选择分配向量存储器55中的插入帧中的像素，并且执行到步骤S53。按光栅扫描顺序从帧中左上像素开始选择插入帧中的像素。

在步骤S53，基于分配给所选择的像素的运动向量，插入控制单元91求出插入帧中像素以及两个帧t和t+1中的每个像素之间的位置关系(空间偏移)。插入控制单元91向空间滤波器92-1和92-2提供所获得的空间偏移，并且处理前进到步骤S54。具体地，在步骤S53，通过使用插入帧中的像素作为参考，由与其运动向量相关的帧t中的位置，和对应于插入帧中的像素的帧t中的像素的位置，插入控制单元91求出涉及两个帧的空间偏移并且向空间滤波器92-1提供所获得的空间偏移。类似地，通过使用插入帧中的像素，插入控制单元91由与运动向量相关的帧t+1中的位置，和对应于插入帧中的像素的帧t+1中的像素的位置，求出涉及两个帧的空间偏移并且向空间滤波器92-2提供所获得的空间偏移。

在时间t处的图像的帧t中的像素值被输入到空间滤波器92-1，同时在时间t+1处的图像的帧t+1中的像素值被输入到空间滤波器92-2。在步骤S54，基于帧t和t+1中的像素的像素值和插入控制单元91提供的空间偏移，空间滤波器92-1和92-2求出帧中对应于插入帧中像素的像素值，并且向乘法器93-1和93-2输出所获得的像素值。

在步骤S55，乘法器93-1和93-2使用由插入控制单元91设置的插入权重来加权从乘法器93-1和93-2输入的帧中的像素值，并且向加法器94输出加权像素值。处理前进到步骤S56。具体地，乘法器93-1把从空间滤波器92-1输入的帧t中的像素值与插入控制单元91设置的插入权重″1-k″相乘，并且向加法器94输出加权像素值。乘法器93-2把从空间滤波器92-2输入的帧t+1中的像素值与插入控制单元91设置的插入权重″k″相乘，并且向加法器94输出加权像素值。

在步骤S56，加法器94通过把由乘法器93-1加权的像素值和由乘法器93-2加权的像素值相加来生成插入帧中的像素的像素值。加法器94向缓冲器95输出所生成的像素值，并且处理前进到步骤S57。在步骤S57，插入控制单元91确定插入帧中的所有像素的处理是否已经完成。如果插入控制单元91确定插入帧中的所有像素的处理未曾完成，则过程返回到步骤S52，并且重复执行后续步骤。如果在步骤S57，插入控制单元91确定插入帧中的所有像素的处理已经完成，则图像插入过程完成。

如上所述，基于分配给插入帧的运动向量生成插入帧中的像素的像素值。在上述图6中的步骤S6，缓冲器95输出插入帧，并且接着输出帧t+1，从而60P信号图像被输出到后续级段(未示出)。因此，最可能的运动向量被分配给插入帧中的像素。因而，可以生成高质量的插入帧。

接着，描述向量检测单元52的结构的细节。

图9是示出向量检测单元52的结构的模块图。在图9中示出其结构的向量检测单元52通过使用输入图像在时间t处的帧t和输入图像在时间t+1处的帧t+1来检测帧t中的运动向量。针对由多个像素组成的每个预定块执行运动向量的这个检测。

由检测过去运动向量的结果获得的高可靠的运动向量被初始向量选择单元101作为充当用于梯度法的初值的初始向量V0输出到每个预定块的递归梯度操作单元103。具体地，初始向量选择单元101选择检测向量存储器53中存储的、过去获得的外设块的运动向量和存储在偏移初始向量存储器107中的偏移初始向量，以作为初始向量的候选向量。初始向量选择单元101通过使用帧t和帧t+1求出候选向量的评估值DFD，并且从候选向量中选择基于所获得的评估值DFD的最可靠向量。初始向量选择单元101输出所选择的向量以作为初始向量V0。后面会描述初始向量选择单元101的结构的细节。

由低通滤波器或高斯滤波器构成前置滤波器102-1和102-2。前置滤波器102-1和102-2消除来自输入图像的帧t和帧t+1的噪声分量，并且向递归梯度操作单元103输出所获得的帧。

递归梯度操作单元103通过使用从初始向量选择单元101输入的初始向量V0和通过前置滤波器102-1和102-2输入的帧t和t+1，使用梯度法计算每个预定块的运动向量Vn。递归梯度操作单元103向向量评估单元104输出初始向量V0和所计算的运动向量Vn。另外，递归梯度操作单元103通过基于向量评估单元104的运动向量评估的结果递归执行梯度操作，来计算运动向量Vn。下面描述递归梯度操作单元103的结构的细节。

向量评估单元104求出来自递归梯度操作单元103的运动向量Vn-1(或初始向量V0)和运动向量Vn的评估值DFD，并且基于所获得的评估值DFD控制递归梯度操作单元103以递归执行梯度操作。最终，向量评估单元104基于评估值DFD选择高可靠向量，并且在检测向量存储器53中存储所选择的向量作为运动向量V。接着，向量评估单元104向偏移初始向量分配单元105提供运动向量V的评估值DFD和运动向量V。

当来自向量评估单元104的运动向量V和及其评估值DFD被提供给偏移初始向量分配单元105时，在偏移初始向量分配单元105中，穿过下一帧中有关块的运动向量被设置成偏移到有关块的偏移初始向量。换言之，偏移初始向量分配单元105把一个运动向量设置为偏移初始向量，该运动向量以下一帧中与运动向量V的终点处的块位置相同的有关块作为初始点，并且与运动向量V的量值和取向相同。偏移初始向量分配单元105以与有关块相关的形式把所设置的偏移初始向量分配给偏移初始向量存储器107。

具体地，偏移初始向量分配单元105以与有关块相关的形式把分配为偏移初始向量的运动向量V的评估值DFD存储在评估值存储器106中。偏移初始向量分配单元105比较评估值DFD和穿过相同有关块(即，与有关块位置相同的过去帧中的块被用作终点)的另一个运动向量V的评估值DFD。接着，偏移初始向量分配单元105把基于评估值DFD的高可靠运动向量V偏移到有关块，并且把作为有关块中偏移初始向量的偏移运动向量分配给偏移初始向量存储器107。后面会描述偏移初始向量分配单元105的结构的细节。

接着，描述向量检测单元52中使用的梯度法的原理。首先，在运动图像中，坐标(x，y，t)处的像素的亮度表示为g(x，y，t)。当坐标(x0，y0，t0)处的有关像素在一分钟时间偏移了(dx，dy，dt)时，其中分别用gx(x0，y0，t0)，gy(x0，y0，t0)，gt(x0，y0，t0)表示水平、垂直和时基梯度(差之差值)时，通过下列表达式(2)以Taylor扩展逼近来表示所偏移的像素的亮度。

$g(x0+\mathrm{dx},y0+\mathrm{dy},t0+\mathrm{dt})\≅g(x0,y0,t0)+\mathrm{gx}(x0,y0,t0)\mathrm{dx}+\mathrm{gy}(x0,y0,t0)\mathrm{dy}+\mathrm{gt}(x0,y0,t0)\mathrm{dt}---\left(2\right)$

当在一个帧之后运动图像中有关像素运动水平距离vx和垂直距离vy(此后被称作″(vx，vy)″)时，由下列表达式(3)表示像素的亮度。

g(x0+vx，y0+vy，t0+1)＝g(x0，y0，t0)   (3)

通过用表达式(2)替换表达式(3)，由下列表达式(4)表示表达式(3)。

gx(x0，y0，t0)vx+gy(x0，y0，t0)vy+gt(x0，y0，t0)

＝0        (4)

表达式(4)有两个变量，vx和vy。因而，不可能求解针对一个有关像素的单个表达式。因此，如下所述，作为有关像素周围的外围区域的块被当作一个处理单元，并且假定块(外围区域)中的所有像素执行相同运动(vx，vy)，为每个像素编写类似表达式。通过把该假设用作条件，可以针对该两个变量获得数量等于外围像素数量的表达式。

因此，同时地求解所获得的表达式以求出数值(vx，vy)，其中块中的所有像素的运动补偿帧差的平方的总和最小。

当在一个帧期间像素(x，y，t)被移动数值(vx，vy)时，由下列表达式(5)表示运动补偿帧间差d。

d＝g(x+vx，y+vy，t+1)-g(x，y，t)

＝Δxvx+Δyvy+Δt                     (5)

在这个表达式中，Δx＝gx(x，y，t)，其表示水平梯度，Δy＝gy(x，y，t)，其表示垂直梯度，以及Δt＝gt(x，y，t)，其表示瞬时梯度。通过使用这些以及用E表示运动补偿帧间差的平方的总和，由下列表达式(6)表示E。

E＝∑d²

＝∑(Δx²vx²+Δy²vy²+2ΔxΔyvxvy

+2ΔxΔtvx+2ΔyΔtvy+Δt²)

＝vx²∑Δx²+vy²∑Δy²+2vxvy∑ΔxΔy

+2vx∑ΔxΔt+2vy∑ΔyΔt+∑Δt²       (6)

在表达式(6)中，当每个变量的偏微分值为零，即当条件δE/δvx＝δE/δvy＝0成立时，获得数值(vx，vy)，其中E最小。因而，根据表达式(6)，获得下列表达式(7)和(8)。

vx∑Δx²+vy∑ΔxΔy+∑ΔxΔt＝0       (7)

vy∑Δy²+vx∑ΔxΔy+∑ΔyΔt＝0       (8)

根据表达式(7)和(8)，可以通过求解下列表达式(9)来计算数值(vx，vy)，其是要检测的运动。

[表达式2]

$\mathrm{vx}=-\frac{\left(\mathrm{\Σ\Δ}{y}^2\right)\left(\mathrm{\Σ\Δt\Δx}\right)-\left(\mathrm{\Σ\Δx\Δy}\right)\left(\mathrm{\Σ\Δt\Δy}\right)}{\left(\mathrm{\Σ\Δ}{x}^2\right)\left(\mathrm{\Σ\Δ}{y}^2\right)-{\left(\mathrm{\Σ\Δx\Δy}\right)}^2}$

$\mathrm{vy}=-\frac{\left(\mathrm{\Σ\Δ}{x}^2\right)\left(\mathrm{\Σ\Δt\Δy}\right)-\left(\mathrm{\Σ\Δx\Δy}\right)\left(\mathrm{\Σ\Δt\Δx}\right)}{\left(\mathrm{\Σ\Δ}{x}^2\right)\left(\mathrm{\Σ\Δ}{y}^2\right)-{\left(\mathrm{\Σ\Δx\Δy}\right)}^2}---\left(9\right)$

图10被用于具体描述。在图10的例子中，箭头X指示水平方向，并且箭头Y指示垂直方向。另外，箭头T指示从时间t处位于图10背景的右边的帧t到时间t+1处位于图10前景的左边的帧t+1的时间经过的方向。在图10的例子中，在每个帧中，只有用于梯度操作的8×8个像素的区域被示出为由参考字母p表示的有关像素周围的外围区域(块)。

通过以下方法能够计算运动向量V(vx，vy)：在帧t中，针对有关像素p(位于从左上像素向下的第五行和从左上像素向右的第五列)周围的外围区域(8×8像素)中所有像素的每一个，通过求出在有关像素的x和y方向获得的相邻像素px和py之间的亮度差方面的差(即，梯度)Δx和Δy，相对在帧t+1中获得的位置与有关像素q同相的像素q在亮度差方面的时基差Δt(梯度)，以及使用表达式(9)执行基于亮度差方面的差的操作，从而使用梯度法求出有关像素p的运动向量V(vx，vy)。

换言之，在梯度法中，计算两个帧之间的梯度Δx，Δy和Δt，并且根据所获得的Δx，Δy和Δt，通过使用差的平方的总和来统计地计算运动向量V(vx，vy)。

通常，在使用上述梯度法的运动向量检测中，获得一分钟运动的非常准确的结果。然而，当在实际运动图像中求出运动时，由于图像中的运动量过大，所以这个梯度法是不实际的。为了消除这个缺陷，梯度法可以递归执行多次。通过递归地执行梯度法，操作中的运动量收敛。因而，逐渐地计算出准确的运动。

然而，根据执行实时处理时的操作时间方面，只递归地执行梯度法并不实际。因此，在向量检测单元52中，基于过去和当前帧之间外围像素的运动求出的初始向量被用作初值，因而降低了递归执行梯度法的次数。换言之，通过从充当运动的初始点的有关像素开始、事先将偏移与由初始向量表示的位置相加以计算粗略运动，并且使用梯度法从加有偏移的位置执行操作，可以执行包含像素内的运动的精细调节。这允许检测准确的运动向量而无需增加操作时间。

图11是通过使用初始向量执行的递归梯度法的具体图解。在图11示出的例子中，箭头T指示从在前景的左边示出的时间t处的帧t到背景的右边示出的时间t+1处的帧t+1的时间流逝。中心分别为像素p、q0、q1、q2和q3的块指示用于像素的梯度操作的外围区域(块)。

在图11的例子中，针对帧t中的有关像素p，在帧t+1中，不仅位置与有关像素p同相的像素q0，而且事先求出的初始向量v0被偏移(移动)以计算位置(像素)q1。首先执行梯度操作，其中位置q1作为初始点。这产生运动向量v1。

接着，通过使用从像素q0偏移v0+v1而计算的位置作为初始点来执行第二梯度操作。这产生运动向量v2。因此，如下列表达式(10)求出运动向量V。

V＝v0+v1+v2                (10)

如上所述，通过使用初始向量执行梯度操作，可以计算非常准确的运动向量，同时降低所需要的操作时间。

接着，参考图12所示的流程图描述运动向量检测过程的细节。向量检测单元52接收输入的时间t处的帧t和输入的时间t+1处的帧t+1。

在步骤S101，初始向量选择单元101选择帧t中进行处理的块作为有关块，并且处理前进到步骤S102。在该帧中，按光栅扫描顺序从左上块执行处理。

在步骤S102，初始向量选择单元101执行初始向量选择过程。初始向量选择单元101从在步骤S101针对生组的块检测过去运动向量的结果中选择高可靠的运动向量，向递归梯度操作单元103输出所选择的运动向量以作为用于梯度法的初值的初始向量V0。处理前进到步骤S103。

换言之，在初始向量选择单元101中，当过去在梯度操作评估过程(下述步骤S103)中求出之后存储在检测向量存储器53中的外设块的运动向量，以及过去通过偏移初始向量分配过程(下述步骤S104)存储在偏移初始向量存储器107中的偏移初始向量，被选择作为初始候选向量。初始向量选择单元101使用帧t和帧t+1求出候选向量的评估值DFD，从候选向量中基于所获得的评估值DFD选择最可靠的向量，并且输出所选择的向量以作为初始向量V0。下面描述步骤S102中初始向量选择过程的细节。

在步骤S103，递归梯度操作单元103和向量评估单元104执行递归梯度操作评估过程(此后还被称作″递归梯度操作过程″)，并且执行到步骤S104。具体地，在步骤S103，通过使用从初始向量选择单元101输入的初始向量V0和分别通过前置滤波器102-1和102-2输入的帧t和帧t+1，递归梯度操作单元103递归地执行梯度操作以基于运动向量评估的结果计算运动向量Vn。另外，向量评估单元104求出运动向量Vn-1和运动向量Vn的评估值DFD，基于所获得的评估值DFD选择高可靠的运动向量，并且把所选择的运动向量作为运动向量V存储在检测向量存储器53中。此时，向量评估单元104向偏移初始向量分配单元105提供运动向量V的评估值DFD和运动向量V。后面会描述步骤S103中递归梯度操作的细节。

在步骤S104，偏移初始向量分配单元105执行偏移初始向量分配过程，并且执行到步骤S105。当从向量评估单元104提供运动向量V及其评估值DFD给偏移初始向量分配单元105时，在步骤S104，在偏移初始向量分配单元105中，在下一帧中穿过有关块的运动向量被设置成偏移到有关块的偏移初始向量。换言之，以下一帧中与运动向量V终点处的块位置相同的有关块作为初始点并且与运动向量V的量值和取向相同的运动向量，被设置成偏移初始向量。偏移初始向量分配单元105以与有关块相关的形式把所设置的偏移初始向量分配给偏移初始向量存储器107。

具体地，偏移初始向量分配单元105执行操作：以与有关块相关的形式在评估值存储器106中存储分配为偏移初始向量的运动向量V的评估值DFD，比较所存储的评估值DFD和穿过相同的有关块(即，与有关块的位置相同的过去帧中的块)的另一个运动向量V的评估值DFD，偏移高可靠的运动向量V(基于评估值DFD)到该块以便成为偏移初始向量，以及以与偏移块相关的形式分配偏移初始向量到偏移初始向量存储器107。后面会描述偏移初始向量分配单元105的结构的细节。

在步骤S105，初始向量选择单元101确定帧t的所有块的处理是否已经完成。如果确定帧t的所有块的处理未完成，则过程返回到步骤S101并且重复执行后续步骤。如果在步骤S105，初始向量选择单元101已经确定帧t的所有块的处理已经完成，即，如果初始向量选择单元101已经确定在帧t的所有块的每个块中已经检测运动向量V，则运动向量检测过程完成。

如上所述，从过去检测的运动向量中选择初始向量，并且基于所选择的初始向量使用梯度操作重复地计算运动向量。从所计算的运动向量中检测基于评估值DFD的高可靠(即，最可能的)运动向量。结果，在检测向量存储器53中存储帧t的所有块的运动向量V。

接着，描述偏移初始向量分配单元105的结构的细节。

图13是示出偏移初始向量分配单元105的结构的模块图。在图13中示出结构的偏移初始向量分配单元105执行操作：基于由向量评估单元104检测的运动向量V设置充当初始候选向量的偏移初始向量，以及向偏移初始向量存储器107分配所设置的偏移初始向量。由向量评估单元104检测的运动向量V和运动向量V的评估值DFD被输入到偏移初始向量分配单元105。

分配位置计算单元201执行操作以求出由向量评估单元104检测的运动向量V在下一时间处的帧中穿过的块位置，即，与在当前帧中检测的运动向量V的终点处的块位置相同的下一帧中的块位置，并且向评估值存储器106和偏移初始向量替换单元203提供所计算的该块位置。

当输入运动向量V和运动向量V的评估值DFD时，评估值比较单元202从评估值存储器106中读取来自分配位置计算单元201的该块位置处的评估值DFD。评估值比较单元202比较从评估值存储器106读取的评估值DFD和由向量评估单元104检测的运动向量V的评估值DFD。当确定所检测的运动向量V的评估值DFD较低时，评估值比较单元202控制偏移初始向量替换单元203在偏移初始向量存储器107中用基于评估值DFD、确定为高可靠的运动向量V重写由偏移初始向量分配单元105提供的块位置处的偏移初始向量。同时，评估值比较单元202控制评估值替换单元204用运动向量V的评估值DFD重写由分配位置计算单元201选择的块位置的评估值DFD。

偏移初始向量替换单元203在偏移初始向量存储器107中用从评估值比较单元202提供的运动向量V重写在分配位置计算单元201提供的块位置处的偏移初始向量，即与运动向量V的量值和取向相同的运动向量。在评估值比较单元202的控制下，评估值替换单元204用运动向量V的评估值DFD重写分配位置计算单元201选择的块位置的评估值DFD。

评估值存储器106以块为单位存储下一帧中针对分配给各块的初始候选向量的评估值DFD。在偏移初始向量存储器107中，在下一帧中的每个块中评估值DFD最小的运动向量被存储为偏移初始向量，以便与块相关。

图14是由偏移初始向量分配单元105分配的偏移初始向量的一维图解。在图14示出的例子中，按从上开始的顺序示出在时间T＝t-1处的帧t-1，在时间T＝t处的帧t，以及在时间T＝t+1处的帧t+1。帧中的分界线(partition)指示帧中的块边界。

在图14的例子中，由运动向量V(图14中实线箭头)表示在帧t-1的块B中检测的运动向量，由块Bt表示初始点为块B、基于运动向量V的帧t中的运动补偿块(此后被称作″偏移块″)。另外，由偏移初始向量SV(图14中的点线箭头)表示通过偏移帧t-1中的运动向量V到块Bt而获得的运动向量。在这种情况下，偏移块表示块Bt，其与在帧t-1中检测的运动向量V的终点处的块的位置相同。术语″偏移″意味着与在帧t-1中检测的运动向量V取向相同的运动向量的初始点被用作帧t中的块Bt，其与帧t-1中的运动向量V的终点处的块的位置相同。换言之，偏移初始向量SV是把与帧t-1中检测的运动向量V的终点处的块位置相同的帧t中的块Bt作为初始点的运动向量。

通常，在顺序帧之间，运动对象的运动量具有某个等级的连续性并且略微变化。因而，在图14的例子中，当块B上的对象以固定速度或接近于固定的速度运动时，在许多情况下，块Bt中的运动向量也充当运动向量V或与之接近的运动向量。

因此，与只使用外围块的运动向量作为初始候选向量的情况相比较，在检测有关块Bt的运动向量的情况下，通过使用这个偏移初始向量SV作为要针对梯度操作提供的初始候选向量，可以通过梯度操作在运动向量检测中获得更加适当的初始向量。

下面参考图15和16具体描述上面的情况。在图15和16中，每个帧中示出9个块。

图15示出进行大运动的对象穿过的块，以及外围块的运动向量的例子。在图15的情况下，由一个块形成的对象O1的图像对象具有进行较大运动的运动向量V1，并且从帧t-1中的最右端块通过帧t左边的第五块运动到帧t+1中的最左边的块。另外，由四个块形成的对象O2具有比运动向量V1的运动更小的运动向量V2，从帧t-1左边的第三到第六(四个)块通过帧t左边的第四到第七(四个)块运动到帧t+1左边的第五到第八(四个)块。换言之，在帧t左边的第五块中，对象O1的图像对象和对象O2的图像对象彼此交叉，其中对象O1的图像对象居先定位。

此时，为了在从外围块的运动中提取初始向量的情况下在帧t中检测对象O1的图像对象随运动向量V1穿过的左边第五块的运动向量，则由于对象O2的图像对象以不同于对象O1的图像对象的向量的向量V2的形式穿过外围块(第四或第六块)，所以不存在适当运动向量。甚至在这种情况下，偏移初始向量SV1(由图15中点线箭头指示)是通过把过去帧t-1中检测的运动向量V1偏移到帧t的左边第五块的运动向量(即，与运动向量v1的量值和取向相同的运动向量，并且其初始点是与在帧t-1中检测的运动向量V1的终点处的块位置相同的块(帧t中))。因而，保证可以获得偏移初始向量SV1。

图16示出运动对象的边界上的块，以及外围块的运动向量的例子。在图16示出的情况中，由一个块形成的对象O3的图像对象具有运动向量V3，并且从帧t-1的左边第六块通过帧t左边第五块运动到帧t+1左边第四块。另外，由至少9个块形成的对象O4的图像对象具有不同于运动向量V1的运动向量V4，从帧t-1的所有9个块通过帧t左边第二到第九(至少8个)块运动到帧t+1左边第三到第九(7个)块。换言之，对象O3的图像对象在帧t-1左起第六块，帧t左起第五块和帧t+1左起第四块中在对象O4的图像对象前经过。

此时，如果从外围块的运动中提取初始向量以便检测对象O3的图像对象以运动向量V3的形式穿过的左起第五块的运动向量，则由于在外围块(左起第四或第六块)中，对象O4的图像对象以不同于对象O3的图像对象的运动向量V4的形式穿过，所以不存在适当运动向量。然而，同样在这种情况下，类似于图15的情况，偏移初始向量SV3(由点线箭头指示)是通过以下方式而获得的向量：把过去帧t-1中检测的运动向量V3偏移到帧t右起第五块，即，所获得的向量与运动向量V3的量值和取向相同，并且把与帧t-1中检测的运动向量V3的终点处的块位置相同的帧t中的块作为初始点。因而，确保获得偏移初始向量SV3。

如上所述，对于如图15所示具有较大运动的对象以及如图16所示的运动对象的边界，在许多情况下，能够充当要从中检测运动向量的有关块中的初始候选向量的外围块没有作为有关块的初始向量的最优运动向量。相反，由于偏移初始向量与一个运动向量(其初始点是与过去帧t-1中检测的运动向量的终点处的块位置相同的帧t中的块)的量值和取向相同，所以偏移初始向量不依赖于块之间的空间距离。因而，即使在外围块中不存在作为有关块的初始向量的适当运动向量，仍保证获得偏移初始向量，并且偏移初始向量能够被用作最优初始候选向量。

回到图14，描述确定偏移初始向量的方法。在如图14示出的情况中，在搜索穿过有关块Bt的运动向量并同时使用帧t中进行运动向量检测过程的有关块Bt作为参考的情况下，必须搜索帧t-1中的所有块的运动向量。这需要大量处理。因此，在这种情况下，当执行运动向量检测时，必须执行大量处理所需的极大数量的操作。因而，难于实现(以硬件形式)大量处理。

因此，当执行帧t-1中的运动向量检测时，偏移初始向量分配单元105求出有关块Bt中检测的运动向量V在下一时间的帧t中穿过的块(即，与运动向量V的终点处的块的位置相同的帧t中的块)的位置，并且事先分配运动向量V作为块Bt的偏移初始向量SV。这降低了帧t中的运动向量检测所需的搜索偏移初始向量的操作的数量，并且建立其所需的硬件。因此，实际上，偏移初始向量能够被用作初始候选向量。

参考图17具体描述由偏移初始向量分配单元105确定偏移初始向量的方法。在图17示出的例子中，箭头T指示从时间t-1处的帧t-1左前面到时间t处的帧t的右后面的时间流逝。帧中的圆圈指示像素。

在帧t-1中，块B0包括4×4像素。当Vb表示在块B0中检测的运动向量时，通过偏移(对其执行运动补偿)块B0获得的、以致在帧t中的偏移块(与块B0的运动向量Vb的终点处的块位置相同的帧t中的块)A0通常与帧t中的四个块Bt1到Bt4重叠，每个块包括4×4个像素。因此，在图17的情况中，与偏移块A0重叠的块Bt1到Bt4中的所有四个块充当要分配运动向量Vb的块。

如上所述，在前一帧中检测的运动向量被分配为偏移初始向量。在这种情况下，要分配的块的位置取决于运动向量的量值和取向。因此，如图18所示，根据帧t-1中检测的运动向量的分布，在帧t中，多个偏移初始向量进行分配，使得生成冲突的块，和未分配偏移初始向量的块。

图18示出偏移初始向量分配的例子。在图18示出的例子中，帧之间的每个分界线指示块边界。在帧t-1中，图18中从左边起示出块B1到B5，并且，在帧t中，图18中从左边起示出块Bt1到Bt5。

在块B1中，检测运动向量V1，并且块B1的偏移块A1与帧t中的块Bt1和Bt2重叠。在块B2中，检测运动向量V2，并且块B2的偏移块A2与帧t中的块Bt1和Bt2重叠。在块B3中，检测运动向量V3，并且块B3的偏移块A3与帧t中的块Bt4和Bt5重叠。在块B4中，检测运动向量V4，并且块B4的偏移块A4与块Bt4和Bt5重叠。在块B5中，检测运动向量V5，并且块B5的偏移块A5与帧t中的块Bt5和相邻块(未示出)重叠。

换言之，在图18的情况下，运动向量V1和V2中的一个被作为偏移初始向量分配给块Bt1和Bt2。运动向量V3和V4中的一个被作为偏移初始向量分配给帧t中的块Bt4。运动向量V3、V4和V5中的一个被作为偏移初始向量分配给帧t中的块Bt5。然而，在帧t中的块Bt3中，用作候选偏移初始向量的运动向量不存在。因此，未分配偏移初始向量。

因此，偏移初始向量分配单元105把作为偏移初始向量的零向量分配给未分配偏移初始向量的块，例如块Bt3。另外，偏移初始向量分配单元105基于其中多个运动向量相互冲突的块(例如块Bt1、Bt2、Bt4和Bt5)的上述评估值，即评估值DFD来选择高可靠的运动向量，并且把所选择的运动向量作为偏移初始向量分配给每个块。

在图18的情况下，为了描述的简洁，以相对帧t略微偏移的形式示出偏移块A。

图19是冲突的运动向量的例子的图解。在图19示出的情况下，从帧t-1中的块B1和B2开始，从中检测的运动向量V1和V2穿过帧t中的块Bt。换言之，块Bt是与在帧t-1中的运动向量V1的终点位置相同的帧t中的块，并且是与帧t-1中的向量V2的终点位置相同的帧t中的块。如上所述，当多个运动向量针对相同块相互冲突时，比较运动向量V1的评估值DFD1和向量V2的评估值DFD2，并且评估值DFD较低的一个运动向量(即更可靠的运动向量)被选择作为块Bt的偏移初始向量SV2。这使得能够基于评估值DFD获得高可靠的偏移初始向量。

接着，参考图20所示的流程图描述偏移初始向量分配过程的细节。当在前一阶段中向量评估单元104检测帧t-1中的有关块的运动向量V时，向量评估单元104向偏移初始向量分配单元105提供针对所检测的运动向量V获得的评估值DFD以及运动向量V。

在步骤S201，运动向量V及其评估值DFD被从向量评估单元104输入到评估值比较单元202。另外，此时，运动向量V被输入到分配位置计算单元201，并且处理前进到步骤S202。在步骤S202，评估值比较单元202求出帧t中要偏移(运动补偿)以及进行分配的块的位置。换言之，分配终点计算单元201求出与在帧t-1中检测的运动向量V的终点处的块位置相同的帧t中的每个块的位置。处理前进到步骤S203。在步骤S203，分配位置计算单元201从所获得的分配块中选择一个分配块(进行分配)。分配位置计算单元201向评估值存储器106和偏移初始向量替换单元203提供所选择的分配块。处理前进到步骤S204。在步骤S203，从帧t中的左上块开始顺序地选择分配块。

在步骤S204，评估值比较单元202从评估值存储器106获得所选择的分配块的评估值DFD。处理前进到步骤S205。在步骤S205，确定在步骤S201输入的运动向量V的评估值DFD是否小于评估值存储器106中的评估值DFD，即，运动向量V的评估值DFD的可靠性是否比评估值存储器106中的评估值DFD的可靠性更高。如果确定运动向量V的评估值DFD小于评估值存储器106中的评估值DFD，则处理前进到步骤S206。

在步骤S206，评估值比较单元202控制偏移初始向量替换单元203通过运动向量V重写由分配位置计算单元201选择的分配块(偏移初始向量存储器107中)的偏移初始向量，即与运动向量V的量值和取向相同的运动向量。执行到步骤S207，评估值比较单元202控制评估值替换单元204用运动向量V的评估值DFD重写由分配位置计算单元201选择的分配块的评估值DFD。处理前进到步骤S208。

如果在步骤S205确定在步骤S201输入的运动向量V的评估值DFD不小于存储在评估值存储器106中的评估值DFD，则跳过步骤S206和S207，并且处理前进到步骤S208。换言之，在这种情况下，确定评估值存储器106中的评估值DFD比运动向量V的评估值DFD更可靠，不重写评估值存储器106和偏移初始向量存储器107中的值。

在步骤S208，分配位置计算单元201确定要分配运动向量V的所有分配块的处理是否已经完成。如果在步骤S208确定所有分配块的处理未完成，则处理前进到步骤S203并且重复执行后续步骤。如果在步骤S208分配位置计算单元201已经确定所有分配块的处理已经完成，则偏移初始向量分配过程完成。

在第一处理中，所选择的分配块的偏移初始向量尚未被存储在偏移初始向量存储器107。因此，当偏移初始向量的评估值DFD尚未被存储在评估值存储器106中的对应分配块中时，在步骤S201，未从所选择的分配块获得评估值DFD。因而，在步骤S205的确定结果是肯定的，因而执行步骤S206和S207。

如上所述，在检测有关块的运动向量的情况下，基于运动对象的运动量在顺序帧之间具有某种程度的连续性以及运动量略微变化的事实，通过使用偏移初始向量作为初始候选向量，并且该偏移初始向量是从前一时间(过去)帧穿过下一时间处的帧中有关块的运动向量，即与运动向量V的量值和取向相同，并且其初始点是与在过去帧中检测的运动向量V的终点处的块位置相同的下一帧中的块的运动向量，则与象在现有技术中那样只把先前在外围块中获得的运动向量用作初始候选向量的情况比较，尤其是在运动对象的边界中，可以将更适当的运动向量提供为梯度操作的初值。这允许通过梯度操作增加运动向量检测的准确性。

在精细化偏移初始向量的情况下，求出在前一时间处的帧中检测的、穿过下一时间处的帧的块，即与在帧t-1中检测的运动向量V的终点处的块位置相同的帧t中的块，并且在所获得的块中的运动向量被分配作为在下一时间处的帧中有关块中的偏移初始向量。因而，与从在前一时间处的帧中的所有块中的所有运动向量中搜索穿过有关块的运动向量的情况相比较，降低了处理所需的操作数量。因此，实现了由于操作的巨大数量所以很难实现的硬件的建立。

接着，描述评估值比较单元202的结构的细节。

图21是示出初始向量选择单元101的结构的模块图。在图21示出结构的初始向量选择单元101中，从例如在前一(过去)帧中检测的运动向量和偏移初始向量的候选向量(此后也被称作″初始候选向量″)中选择高可靠的运动向量作为初始向量。在时间t处的帧t和在时间t+1处的帧t+1被输入到初始向量选择单元101。

当接收输入帧t时，候选向量位置操作单元251选择帧t中将被处理的有关块，从有关块的外围区域中求出要从中获得有关块的初始候选向量的候选块的位置，被用作初始候选向量的运动向量的类型和优先级，并且按所获得的优先级值的顺序，向检测向量获得单元252和偏移初始向量获得单元253提供候选块的位置信息和初始候选向量的类型信息。另外，候选向量位置操作单元251也向偏移位置操作单元254提供候选块的位置信息。

在信号处理设备1中，基于初始向量准确性和硬件性能之间的平衡把初始候选向量的数量设置成预定数量。另外，如参考图23描述的那样，事先设置候选块的位置和初始候选向量的类型和优先级。初始候选向量的类型包含偏移初始向量SV，偏移初始向量SV是通过将穿过预定块的运动向量偏移到该预定块而获得的运动向量，即与运动向量V的量值和取向相同、并且其初始点是与在过去帧中检测的运动向量的终点处的块位置相同的下一帧中的块的运动向量；在过去帧中检测的运动向量(此后被称作″过去向量PV″)；在当前帧中有关块前面的块中检测的运动向量(此后还被称作″当前向量CV″)；零向量。

因此，当事先设置的初始候选向量的类型信息表示过去向量或当前向量时，候选向量位置操作单元251向检测向量获得单元252提供候选块的位置信息和初始候选向量的类型信息。当事先设置的初始候选向量的类型信息表示偏移初始向量时，候选向量位置操作单元251向偏移初始向量获得单元253提供候选块的位置信息和初始候选向量的类型信息。在另一种情况下，例如，当事先设置的初始候选向量的类型信息表示零向量时，候选向量位置操作单元251设置零向量，并且向偏移位置操作单元254提供零向量和候选块的位置信息。

检测向量获得单元252从检测向量存储器53基于从候选向量位置操作单元251提供的候选块的位置信息以及初始候选向量的类型信息获得运动向量。检测向量获得单元252向偏移位置操作单元254输出所获得的运动向量以作为初始候选向量。

基于从候选向量位置操作单元251提供的候选块的位置信息和初始候选向量的类型信息，偏移初始向量获得单元253从偏移初始向量存储器107获得对应于候选块的位置信息的偏移初始向量，并且向偏移位置操作单元254输出所获得的偏移初始向量以作为初始候选向量。另外，当未在候选向量位置操作单元251指定的块位置处分配偏移初始向量时，偏移初始向量获得单元253向偏移位置操作单元254输出零向量。当未分配偏移初始向量时，零向量可以被事先存储在偏移初始向量存储器107中。

当从检测向量获得单元252或偏移初始向量获得单元253输入初始候选向量(或来自候选向量位置操作单元251的零向量)时，偏移位置操作单元254基于从候选向量位置操作单元251提供的候选块的位置信息执行算术运算，以求出所获得的偏移块的块位置，使得针对每个初始候选向量，帧t中有关块被偏移(运动补偿)，以便在帧t+1中。偏移位置操作单元254向评估值操作单元255输出候选块的位置信息和偏移块位置的信息，以及初始候选向量。

当接收候选块的位置信息和偏移块位置的信息以及初始候选向量时，评估值操作单元255通过使用帧t和帧t+1求出初始候选向量的评估值DFD。评估值操作单元255向评估值比较单元256输出所获得的评估值DFD和初始候选向量。

评估值比较单元256把由评估值操作单元255输入的评估值DFD和存储在最优候选向量存储寄存器257中的最优候选向量的评估值DFD相比较。当评估值比较单元256确定初始候选向量的评估值DFD小于最优候选向量的评估值DFD，即，初始候选向量比最优候选向量更可靠时，评估值比较单元256把最优候选向量及其评估值DFD替换为确定为更可靠的初始候选向量及其评估值DFD。最终，评估值比较单元256控制最优候选向量存储寄存器257向递归梯度操作单元103输出作为初始向量V0的、已经确定为所有候选向量中最可靠的最优候选向量。

最优候选向量存储寄存器257存储作为最优候选向量的、已经由评估值比较单元256确定为具有较小评估值DFD(高可靠)的初始候选向量及其评估值DFD。在评估值比较单元256的控制下，最优候选向量存储寄存器257向递归梯度操作单元103输出作为初始向量V0的、最终存储的最优候选向量。

图22示出可以被用作初始向量的候选块的外围区域。在图22示出的例子中，箭头T指示从位于图22的前景左边的时间t-1处的过去(前一)帧t-1到位于背景右边的时间t处的当前帧t的时间流逝方向。在图22示出的例子中，能被用于初始候选向量的外围区域由围绕有关块Bt的7×7个块形成，并且每个块包括4×4个像素。

按光栅扫描顺序从帧的左上块开始执行运动向量检测过程。因此，在对当前帧t中的有关块Bt的运动向量检测中，在初始向量选择单元101中，检测运动向量直到最后块的结果可以被用作初始候选向量。

换言之，围绕有关块Bt的外围区域包括在处理有关块Bt之前处理的块CVB，和在处理有关块Bt之后处理的块PVB。因此，当求出有关块Bt的初始向量时，可以从在块CVB中当前帧t中检测的运动向量(当前向量CV)和在块PVB中过去帧t-1中检测的运动向量(过去向量)中选择初始候选向量。在这种情况下，也可以把分配给相同外围区域中的块的偏移初始向量用作初始候选向量。

图23示出在候选向量位置操作单元251中设置的初始向量的候选块的例子。在图23示出的例子中，在围绕有关块Bt的外围区域中，载有字母数字符号的8个预定块被设置成从中获得初始候选向量的候选块。在8个预定块的每个块中，在其间具有斜线标记的符号分别表示″初始候选向量类型″和″优先级″。在初始候选向量类型中，字母P表示在过去帧t-1中检测的过去向量PV，字母C表示在当前帧t中检测的当前向量，以及字母S表示偏移初始向量SV。

有关块Bt的表示″S/1″指示分配给有关块Bt的偏移初始向量SV被用作具有″第一″优先级的初始候选向量。左邻近有关块Bt的块的表示″C/2″指示在当前帧t中检测的块的当前向量CV被用作具有″第二″优先级的初始候选向量。在有关块Bt的右上方的块的表示″C/3″指示在当前帧t中检测的块的当前向量CV被用作具有″第三″优先级的初始候选向量。在有关块Bt的右下方的块的表示″P/4″指示在过去帧t-1中检测的块的过去向量PV被用作具有″第四″优先级的初始候选向量。

从7×7块的外围区域的左上角起在右下方的块的表示″C/6″指示在当前帧t中检测的块的当前向量CV被用作具有第六优先级的初始候选向量。从7×7块的外围区域的右上角起在左下方的块的表示″C/5″指示在当前帧t中检测的块的当前向量CV被用作具有第五优先级的初始候选向量。从7×7块的外围区域的左下角起在右上方的块的表示″P/7″指示过去帧t-1中检测的块的过去向量PV被用作具有第七优先级的初始候选向量。从7×7块的外围区域的右下角起在左上方的块的表示″P/8″指示过去帧t-1中检测的块的过去向量PV被用作具有第八优先级的初始候选向量。

如上所述，在图23示出的例子中，在有关块Bt和与之相邻的块中，有关块Bt、在有关块Bt的左边、右上和右下方的块的向量被用作初始候选向量。在与有关块Bt不相邻的块中，选择相对7×7块的外围区域的角部向内偏移一个块的位置处的块的向量。

换言之，在图23示出的例子中，设置优先级，使得相邻(空间和时间上接近)于有关块Bt的块的优先级比相距某个距离的块的优先级更高，以及在当前帧t中检测的当前向量的优先级比在过去帧t-1中检测的过去向量的优先级更高。基于空间相关性、时间相关性等等设置上述初始候选向量的位置、类型和优先级，所述相关性不仅包含有关块Bt附近的块，而且包含相距某个距离的块，以便可以从最少数量的候选向量中获得可能的初始候选向量。因此，按照这种方式，通过使用事先设置为初始候选向量的预定块的运动向量，可以降低由于初始候选向量的数量增加造成的算术运算的巨大数量。

候选块的类型和位置不限于图23中的例子。可以使用其它类型的块和其它位置的块。另外，当考虑不存在最优向量的情况时，可以使用在这种情况下抑制退化的零向量。候选块的数量也可以大于或小于8。

接着，参考图24所示的流程图描述初始向量选择过程的细节。

在步骤S251，候选向量位置操作单元251从围绕所选择的有关块的外围区域中求出将从中获得初始候选向量的候选块的位置，以及初始候选向量的类型和优先级，其中位置、类型和优先级被事先设置。在步骤S252，候选向量位置操作单元251确定候选块中初始候选向量的类型信息是过去向量和当前向量的哪个。如果在步骤S252候选向量位置操作单元251确定候选块中的初始候选向量的类型是过去和当前向量中的一个，则处理前进到步骤S253。在步骤S253，候选向量位置操作单元251向检测向量获得单元252提供候选块的位置信息和初始候选向量的类型信息。在候选向量位置操作单元251的控制下，检测向量获得单元252基于候选块的位置信息和初始候选向量的类型信息从检测向量存储器53获得运动向量(过去向量PV或当前向量CV)，并且向偏移位置操作单元254输出所获得的运动向量。处理前进到步骤S257。

如果在步骤S252候选向量位置操作单元251确定候选块中的初始候选向量的类型不是过去和当前向量中的一个，则处理前进到步骤S254。在步骤S254，候选向量位置操作单元251确定候选块中的初始候选向量的类型是否是偏移初始向量。如果在步骤S254候选向量位置操作单元251确定候选块中的初始候选向量的类型是偏移初始向量，则处理前进到步骤S255。在步骤S255，候选向量位置操作单元251向偏移初始向量获得单元253提供候选块的位置信息和初始候选向量的类型信息。另外，在候选向量位置操作单元251的控制下，偏移初始向量获得单元253从偏移初始向量存储器107获得对应于候选块的位置信息的偏移初始向量，并且向偏移位置操作单元254输出所获得的偏移初始向量。处理前进到步骤S257。

如果在步骤S254，候选向量位置操作单元251确定候选块中的初始候选向量的类型不是偏移初始向量，即确定候选块中的初始候选向量的类型是零向量，则处理前进到步骤S256。候选向量位置操作单元251设置零向量为初始候选向量，并且向偏移位置操作单元254提供候选向量的位置信息和零向量。处理前进到步骤S257。同样在步骤S253和S255，候选向量位置操作单元251向偏移位置操作单元254提供候选块的位置信息。

在步骤S257，当接收通过检测向量获得单元252或偏移初始向量获得单元253输入的初始候选向量时，基于候选向量位置操作单元251提供的候选块的位置信息，偏移位置操作单元254执行算术运算以求出通过在帧t+1上偏移帧t中的有关块而获得的偏移块的块位置。偏移位置操作单元254向评估值操作单元255输出候选块的位置信息和偏移块的位置信息以及初始候选向量，并且处理前进到步骤S258。

当评估值操作单元255从偏移位置操作单元254接收候选块的位置信息和偏移块的位置信息和初始候选向量时，在步骤S258，评估值操作单元255通过使用帧t和帧t+1求出初始候选向量的评估值DFD，并且向评估值比较单元256输出所获得的评估值DFD和初始候选向量。处理前进到步骤S259。

在步骤S259，评估值比较单元256确定通过评估值操作单元255获得的评估值DFD是否小于存储在最优候选向量存储寄存器257中的最优候选向量的评估值DFD。如果评估值比较单元256确定通过评估值操作单元255获得的评估值DFD小于存储在最优候选向量存储寄存器257中的最优候选向量的评估值DFD，即，初始候选向量比最优候选向量更可靠，则在步骤S260，评估值比较单元256把最优候选向量存储寄存器257中的最优候选向量及其评估值DFD重写为确定为更可靠的初始候选向量及其评估值DFD。处理前进到步骤S261。

如果在步骤S259评估值比较单元256确定通过评估值操作单元255获得的评估值DFD不小于存储在最优候选向量存储寄存器257中的最优候选向量的评估值DFD，则跳过步骤S260并且处理前进到步骤S261。

在步骤S261，候选向量位置操作单元251确定所有初始候选向量(图23示出的例子中的8个向量)的处理是否已经完成。如果候选向量位置操作单元251确定所有初始候选向量的处理未完成，则过程返回到步骤S252并且重复执行后续步骤。

如果在步骤S261候选向量位置操作单元251确定所有初始候选向量的处理已经完成，则处理前进到步骤S262。评估值比较单元256控制最优候选向量存储寄存器257向递归梯度操作单元103输出所有初始候选向量、所有初始候选向量中确定具有最高可靠性的、作为初始向量V0的最优候选向量。初始向量选择过程完成。

如上所述，当在有关块中求出多个初始候选向量的评估值DFD之后，可以选择具有最小评估值DFD(即最高可靠性)的初始候选向量作为初始向量。因而，可以提供用于后续级段中的运动向量检测的最优初始向量。这导致在后续级段中运动向量检测的准确性的增加。在步骤，通过使用事先设置为初始候选向量的预定块的运动向量，可以降低由于初始候选向量的数量增加造成的算术运算的巨大数量。

基于运动对象的运动量在顺序帧之间具有一定程度的连续性以及运动量略微变化的事实，偏移初始向量(即从前一帧穿过有关块的运动向量)被用作初始候选向量。因而，象在现有技术中那样，与只使用在外围块中获得的过去运动向量作为初始候选向量的情况相比较，可以执行更准确的运动检测。这在运动对象的边界上尤其有效。

接着，描述递归梯度操作单元103的结构的细节。

图25是示出递归梯度操作单元103的结构的模块图。递归梯度操作单元103通过使用所输入的在时间t处的帧t和在时间t+1处的帧t+1来执行最优运动向量检测过程。针对包括多个像素的每个预定块执行这个运动向量检测过程。在每个块中，递归梯度操作单元103基于评估值DFD，通过以块为单位或以像素为单位重复执行梯度操作来输出高可靠的最优运动向量。

在时间t处的帧t和在时间t+1处的帧t+1通过前置滤波器102-1和102-2被输入到递归梯度操作单元103，并且初始向量V0被从初始向量选择单元101输入到递归梯度操作单元103。

在有效像素确定单元403的控制下，针对每个预定块，模式选择单元401选择梯度操作的处理模式，并且从初始向量选择单元101输出初始向量V0到选择器402和向量评估单元104。梯度操作的处理模式包括使用块来从中检测运动向量的块单元处理模式，以及使用像素来从中检测运动向量的像素单元处理模式。选择块单元处理模式作为初值。在向量评估单元104的控制下，选择器402向有效像素确定单元403和梯度操作单元404输出来自模式选择单元401的初始向量V0和来自梯度操作单元404的运动向量Vn之一，以作为用作梯度操作的初值的运动向量(此后被称作″偏移向量″)。

当接收通过选择器402选择的偏移向量时，通过使用分别通过前置滤波器102-2和102-1输入的在时间t处的帧t和在时间t+1处的帧t+1，同时把通过偏移偏移向量而计算的位置用作起始点，有效像素确定单元403确定在任一单元处理模式的操作块中，梯度操作中的有效像素的数量是否大于阈值。有效像素确定单元403根据确定的结果在处理方法之间切换。换言之，如果有效像素确定单元403确定梯度操作中的有效像素的数量等于或小于阈值，则有效像素确定单元403控制模式选择单元401把处理模式或预定块改变为像素单元处理模式并且终止梯度操作。如果有效像素确定单元403确定梯度操作中的有效像素的数量大于阈值，则有效像素确定单元403控制梯度操作单元404在任一处理单元中执行梯度操作。

当接收从选择器402输入的偏移向量时，通过使用分别通过前置滤波器102-2和102-1输入的时间t处的帧t和时间t+1处的帧t+1，同时使用通过偏移来自选择器402的偏移向量而计算的位置作为起始点，梯度操作单元404执行任一单元处理模式中的梯度操作，并且向延迟单元405和向量评估单元104输出所计算的运动向量Vn。

延迟单元405存储从梯度操作单元404输出的运动向量Vn直到有效像素确定单元403和梯度操作单元404的下一处理周期，并且响应选择器402的控制向有效像素确定单元403输出所存储的运动向量Vn。

图26是示出有效像素确定单元403的结构的详细模块图。在图26示出的例子中，有效像素确定单元403包含时间像素差计算单元411，像素差确定单元412，有效像素计数器413以及梯度操作继续确定单元414。

当接收通过选择器402选择的偏移向量时，时间像素差计算单元411选择块单元操作块中的像素，通过使用偏移向量以及分别通过前置滤波器102-2和102-1输入的时间t处的帧t和时间t+1处的帧t+1来计算所选择的像素的时基像素差Δt，以及向像素差确定单元412输出所计算的时基像素差Δt。

像素差确定单元412确定通过时间像素差计算单元411计算的时基像素差Δt是否小于预定阈值(此后被称作″像素差″)。如果像素差确定单元412确定时基像素差Δt小于预定的像素差，则像素差确定单元412把有效像素计数器413的有效像素的数量递增一。有效像素计数器413对被像素差确定单元412确定为每个操作块中的有效像素的像素数量进行计数。在每个操作块中复位有效像素计数器413。

梯度操作继续确定单元414确定在任一单元处理模式的操作块中，梯度操作的有效像素的数量是否小于阈值。如果梯度操作继续确定单元414确定在任一单元处理模式的操作块中，梯度操作的有效像素的数量大于阈值，则梯度操作继续确定单元414输出允许梯度操作单元404执行任一单元处理模式的梯度操作的标志(flg＝1)。如果梯度操作继续确定单元414确定在任一单元处理模式的操作块中，梯度操作的有效像素的数量小于阈值，则梯度操作继续确定单元414控制模式选择单元401选择另一单元处理模式并且向梯度操作单元404输出中止梯度操作的标志(flg＝0)。

图27是示出梯度操作单元404的结构的详细模块图。在图27示出的例子中，梯度操作单元404包含时间像素差计算单元421，像素差确定单元422，水平垂直像素差计算单元423，梯度累积单元424和向量计算单元425。

时间像素差计算单元421基于从有效像素确定单元403输入的标志控制梯度操作单元404的各部分。换言之，当标志指示一(flg＝1)时，时间像素差计算单元421允许梯度操作单元404的各部分执行梯度操作。具体地，当接收来自有效像素确定单元403的标志时，通过使用分别通过前置滤波器102-2和102-1输入的时间t处的帧t和时间t+1处的帧t+1，时间像素差计算单元421选择通过偏移来自选择器402的偏移向量而计算的像素周围的任一单元处理模式操作块中的像素，计算所选择的像素的时基像素差Δt，以及向像素差确定单元422输出所计算的时基像素差Δt和偏移向量。另外，当操作块中的像素的处理完成时，时间像素差计算单元421向向量计算单元425输出偏移向量，并且控制向量计算单元425计算在进行检测的块中的运动向量。

可选地，当标志指示零(flg＝0)时，时间像素差计算单元421不计算操作块中像素的时基像素差Δt。梯度操作单元404的每个部分不执行梯度操作以中止处理。此时，时间像素差计算单元421控制向量计算单元425设置运动向量V为零向量。

像素差确定单元412确定通过时间像素差计算单元421计算的时基像素差Δt是否小于预定阈值(此后被称作″像素差″)。如果像素差确定单元422确定通过时间像素差计算单元421计算的时基像素差Δt小于预定阈值，则像素差确定单元422使用该像素作为进行梯度操作的像素，并且向水平垂直像素差计算单元423输出时基像素差Δt和偏移向量。换言之，具有已经确定为小于预定像素差的像素差Δt的像素在水平垂直像素差计算单元423和梯度累积单元424中进行算术运算。另外，如果像素差确定单元422确定时基像素差Δt不小于预定像素差，则像素差确定单元422允许水平垂直像素差计算单元423和梯度累积单元424禁止像素处理。

当接收来自像素差确定单元422的偏移向量时，通过使用分别通过前置滤波器102-2和102-1输入的时间t处的帧t和时间t+1处的帧t+1，水平垂直像素差计算单元423计算通过偏移偏移向量而计算的像素周围的任一单元处理模式操作块中的像素(其时基像素差Δt被确定为小于预定像素差)的水平像素差Δx和垂直像素差Δy。另外，水平垂直像素差计算单元423向梯度累积单元424输出时基像素差Δt，水平像素差Δx和垂直像素差Δy。梯度累积单元424累积其时基像素差Δt被确定为具有小于预定像素差的值的像素的梯度。换言之，梯度累积单元424累积通过时间像素差计算单元421计算的时基像素差Δt，通过水平垂直像素差计算单元423计算的水平像素差Δx和垂直像素差Δy，并且向向量计算单元425输出所累积的梯度。

当接收来自时间像素差计算单元421的偏移向量时，向量计算单元425通过使用由梯度累积单元424累积的梯度和表达式(9)中的最小平方加法来计算运动向量Vn。另外，向量计算单元425通过把来自时间像素差计算单元421的偏移向量与所计算的运动向量Vn相加来求出运动向量Vn，并且向向量评估单元104和延迟单元405输出所获得的运动向量Vn。

接着，描述要从中检测运动向量的块以及运动向量的操作块。当考虑图像中对象的运动时，在许多情况下，在对象相同的情况下，对象通常进行相同的运动。因此，如图28所示，对于检测运动向量的检测过程的单位，常见以块为单位执行该过程。

在图28示出的例子中，箭头X指示水平方向，并且箭头Y指示垂直方向。箭头T还指示从时间t处位于图10的前景的右边的帧t到时间t+1处位于背景的左边的帧t+1的时间流逝方向。

在图28的例子中，示出由8×8个像素组成的块(此后被称作″8×8像素块″)以作为每个帧中进行检测的检测块K。检测块K表示这样一个块，其中当执行对8×8像素块的运动向量检测时，求出8×8像素块的相同运动。

另外，梯度法的运动向量检测(或操作)具有能够检测每个像素的运动向量的特性。然而，在以像素为单位执行运动向量操作的情况下，使用最小平方方法的统计解的梯度法的缺陷在于检测准确性明显降低。因此，通常，对于处理的每个块和每个像素，当执行运动向量操作时，常见的是用于梯度操作的像素以块(操作块)为单位进行配置。

如上所述，用于梯度操作的像素是8×8操作块中的像素。换言之，在图28的例子中，可以说，通过使用操作块(8×8像素)执行梯度操作而获得的运动向量对应于检测块K中的所有像素(8×8像素)。

然而，如图29所示，对于在如上所述以操作块为单位处理用于梯度操作的像素时出现的一个问题，存在构成检测块K的像素包含具有不同运动的对象的像素的情况。

在图29示出的例子中，在包括8×8像素(64个像素)的检测块K(或操作块)中，以左上端的像素作为参考的28个像素(由粗圆圈指示)进行由箭头A指示的向左上方倾斜的运动。在包括8×8个像素的检测块K中，具有右下端像素的36个像素进行由箭头B指示的水平右移。

因此，在检测块K中，像素具有相同运动的上述假设不成立。在通过使用包含具有不同运动的像素的操作块执行梯度操作的情况下，运动向量检测准确性降低。换言之，这是涉及在具有不同运动的对象之间的边界上产生的对象消灭区域(所覆盖的背景区域)和对象生成区域(未覆盖的背景区域)的检测准确性降低的问题。消灭区域是被定位成对应于前景中对象行进方向的前端的前景区域的混合区域，并且表示随着时间流逝其背景分量变得被前景覆盖的区域。反之，生成区域是被定位成对应于前景中对象行进方向的后端的前景区域的混合区域，并且表示随着时间流逝其背景分量变得未被覆盖的区域。

图30是具有相同对象的检测块的亮度状态的图解。在图30的左边，箭头X指示水平方向，并且箭头Y指示垂直方向。箭头T指示从时间t处位于图30的背景的右边的帧t到时间t+1处位于图30的前景的左边的帧t+1的时间流逝方向。在图30的右边，箭头X指示水平方向，并且箭头L指示亮度。换言之，图30的右边的亮度Lp1，Lp2，Lp3，...，Lpi(3＜i＜7)，...，Lp7表示在图30的左边帧t中的8×8像素的检测块中从顶部起下面第五行中的像素p1，p2，p3，...，pi(3＜i＜7)，...，p7，...的亮度。类似地，亮度Lq1，Lq2，Lq3，...，Lqi(3＜i＜7)，...，Lq7表示在图30的左边的帧t+1中的8×8像素的检测块中从顶部起下面第五行中的像素q1，q2，q3，...，qi(3＜i＜7)，...，q7，...的亮度，其中像素q1，q2，q3，...，qi(3＜i＜7)，...，q7与像素p1，p2，p3，...，pi(3＜i＜7)，...，p7等等同相。另外，亮度Lp1到Lp7和亮度Lq1到Lq7之间的箭头指示帧t中的每个像素和帧t+1中的每个像素之间的每个时基像素差Δt。

因此，在图30示出的例子中，像素p1和q1之间的时基像素差Δt由亮度Lp1和Lq1之间的差表示。像素p2和q2之间的时基像素差Δt由亮度Lp2和Lq2之间的差表示。像素p3和q3之间的时基像素差Δt由亮度Lp3和Lq3之间的差表示。像素pi和qi之间的时基像素差Δt由亮度Lpi和Lqi之间的差表示。像素p7和q7之间的时基像素差Δt由亮度Lp7和Lq7之间的差表示。亮度的差以这种形式略微改变，即连接亮度Lp1到Lp7的曲线，和连接亮度Lq1到Lq7的曲线具有基本相同的形状。

如上所述，当检测块中的像素是相同的对象(或运动相同)时，对应的时间像素的亮度不明显变化。

图31是在同时存在具有不同运动的对象的像素的情况下，在检测块中的亮度状态的图解。在图30中，对应于图31中的那些部分的部分用对应附图标记表示。因此，省略对这些部分的描述。在图31示出的例子中，在帧t中的像素p7在运动方面不同于其它像素。

例如，当帧t中的像素p7在运动方面与帧t+1中的其它像素相同时，位置与像素p7同相的q7的亮度必须用亮度Lq7-1表示。然而，由于在图31示出的例子中，像素p7在运动方面不同于其它像素，所以如亮度Lq7-2所示，像素q7的亮度明显地从亮度Lq7-1向下变化。因此，像素p7和q7之间的时基像素差Δt，即亮度Lp7和Lq7-2之间的差大大变化。

如上所述，例如，当在检测块中上述对象消灭、生成、转换等等导致同时存在具有不同运动的对象的像素的状态时，存在对应像素的亮度明显变化的许多情况，并且这可以导致运动不规则的可能性。因此，有效像素确定单元403被配置成确定具有小亮度变化的像素在被用于运动向量检测时有效，并且反之，确定具有大亮度变化的像素在用于运动向量检测时无效。换言之，通过注意亮度变化的量值的元素，以及基于像素亮度的变化量确定像素是否有效，其亮度略微变化的像素可被用于运动向量检测，并且反之，亮度明显变化的像素不能被用于运动向量检测。这允许增加运动向量检测的准确性。

具体地，针对操作块中的每个像素，有效像素确定单元403对时基像素差Δt设置预定像素差(阈值)。当时基像素差Δt小于设置的预定像素差时，确定像素对运动向量检测有贡献(有效)，并且在执行运动向量检测的情况下在梯度法中使用该像素。当时基像素差Δt不小于设置的预定像素差时，确定该像素被视为有可能产生运动不规则性，并且在执行运动向量检测的情况下从梯度操作中排除该像素。这防止包含不同的运动，以便执行更稳定的梯度操作。结果，检测到可能的运动向量。

然而，由于如上所述梯度操作是作为统计解的基于最小平方方法的算术运算，通过把像素分成用于梯度操作的像素以及不用于梯度操作的像素，用于梯度操作的像素极大减少。如果这种极少数量的像素被用于执行梯度操作，则操作的可靠性降低，因而导致运动向量检测的准确性减少的可能性。

因此，当用于梯度操作的像素数量较小时，有效像素确定单元403认为检测块(8×8像素)的处理单元中的梯度操作不稳定，并且通过切换到用于如图32所示8×8像素块中(64)像素的每个的操作单元来执行处理。

图32是像素单元处理中的操作块的例子的图解。图32示出的例子表明，当帧中的(8×8像素)检测块K被切换到像素单元处理时，像素p的操作块E(在图32中包括9×9像素)位于检测块K的左上端。

换言之，当求出像素p的运动向量时，使用围绕像素p的操作块E(在图32中包括9×9像素)。例如，当求出与像素p右相邻的右相邻像素的运动向量时，使用相对像素p的右相邻像素周围的9×9像素操作块(未示出)。

因此，例如，即使在检测块K中多数像素进行不同于像素p的运动，在检测块K(8×8像素)中，用于梯度操作的像素数量被计数，并且如果计数数量小，则处理被切换到像素单元处理。如图32所示，对像素单元处理中的操作块E执行梯度操作。

当如上所述通过把像素分成用于梯度操作的像素和不用于梯度操作的像素而使得用于梯度操作的像素极大减少时，不是通过停止检测块K(8×8像素)中的所有像素的运动向量的检测，而是通过切换到像素单元处理并且以针对每个像素改变操作块E中的像素的形式执行梯度操作，可以尽可能地防止包含不用于梯度操作的像素，并且可以根据像素执行更加准确的运动向量检测。

图33是对图29示出的检测块K(操作块)中像素进行像素单元处理的应用的例子的图解。在图33示出的例子中，在检测块K(8×8像素)中执行像素单元处理，其中检测块K包括具有两种不同运动的像素，即具有由箭头A指示的向左上方倾斜运动的像素(粗圆圈)以及具有由箭头B指示的水平向右运动的像素(细圆圈)。在这种情况下，当检测检测块K中进行检测的左上端检测像素p的运动向量时，使用围绕检测像素p的操作块E(9×9像素块)。

操作块E中的像素除了右下角具有箭头B指示的水平向右运动的三个像素(细圆圈)之外具有箭头A指示的向左上方的倾斜运动。类似于块单元处理的情况，针对操作块E中的每个像素，对时基像素差Δt设置预定阈值(像素差)。当时基像素差Δt小于设置的阈值时，确定该像素对运动向量检测有贡献，并且在执行运动向量检测的情况下在梯度操作中使用该像素。当时基像素差Δt大于所设置的阈值时，确定该像素具有在运动中产生不规则性的可能性，并且在执行运动向量检测的情况下在梯度操作中不使用该像素。

换言之，在图33的例子中，在操作块E中，除右下角的三个像素(细圆圈)之外的像素(粗圆圈)被确定为在检测像素p的梯度操作中有效。有效像素被用于执行梯度操作。因而，与使用图29示出的检测块K(8×8像素)作为操作块来执行的块单元处理中的梯度操作相比较，执行更稳定的梯度操作，使得检测出可能的运动向量。

在每个像素的操作块中，当通过把像素分成用于梯度操作的像素和不用于梯度操作的像素而使得用于梯度操作的像素极大减少时，确定运动向量检测危险，并且中止梯度操作。换言之，这是由于如果确定检测到具有某个量值的运动(尽管运动向量检测不稳定)，则所检测的运动向量可能是不可能的，即可能与实际图像中对象的运动不匹配。在许多情况下，通过使用不可能的运动向量执行后续处理(例如，向量分配过程或向量补偿过程)而产生的图像可能具有例如非连续运动和出现块噪声的视觉退化。

因此，例如当用于像素单元梯度操作的像素极大减少时，零向量(即固定状态)被用作所检测的运动向量。这防止运动向量影响后续处理，因而抑制在所产生的图像中的较大视觉退化。

接着，参考图34所示的流程图描述递归梯度操作的细节。从前一级段向模式选择单元401输入初始向量V0。

在步骤S401，模式选择单元401选择块单元处理模式。模式选择单元401把作为帧t中的块的检测块(操作块)用作检测块(操作块)，并且向402和向量评估单元104输出初始向量V0。处理前进到步骤S402。这允许递归梯度操作单元103的每个部分执行块单元处理。在步骤S402，响应向量评估单元104的控制，选择器402选择从模式选择单元401输入的初始向量V0作为偏移向量，并且向时间像素差计算单元411和时间像素差计算单元421输出所选择的偏移向量。处理前进到步骤S403。

在步骤S403，时间像素差计算单元411和像素差确定单元412使用(在这种情况下，偏移初始向量V0)所选择的偏移向量以执行块单元有效像素确定过程。处理前进到步骤S404。参考图35描述块单元有效像素确定过程的细节。在块单元有效像素确定过程中，有效像素计数器413计数块单元操作块中的像素的数量，在这些像素中像素差被确定为小于预定像素差，即在后续级段的梯度操作中有效。

在步骤S404，梯度操作继续确定单元414确定在有效像素计数器413中计数的像素(有效像素)的数量是否大于预定阈值α。如果确定有效像素的数量大于预定阈值α，则梯度操作继续确定单元414以块为单位输出允许梯度操作单元404执行梯度操作的标志(flg＝1)。处理前进到步骤S405。

在步骤S405，基于来自梯度操作继续确定单元414的标志，梯度操作单元404使用来自选择器402的偏移向量(在这种情况下，初始向量V0)执行块单元梯度操作过程。处理前进到步骤S406。参考图36描述梯度操作过程的细节。这个梯度操作过程求出运动向量Vn，并且把所获得的运动向量Vn输出到向量评估单元104和延迟单元405。运动向量Vn是在第一梯度操作中计算的运动向量vn和偏移向量Vn-1的总和(Vn＝Vn-1+vn)。例如，运动向量V1是在第一梯度操作中计算的运动向量V1和偏移向量(初始向量V0)的总和(V1＝V0+v1)。

在步骤S406，向量评估单元104求出在梯度操作中获得的运动向量Vn的评估值DFD(n)以及用作偏移向量的运动向量Vn-1的评估值DFD(n-1)。向量评估单元104确定评估值DFD(n)是否小于评估值DFD(n-1)，即在梯度操作中获得的运动向量Vn是否比用作偏移向量的运动向量Vn-1更可靠。具体地，例如在第一处理中，所获得的运动向量V1的评估值DFD(1)与初始向量V0的评估值DFD(0)相比较。在第二处理中，所获得的运动向量V2的评估值DFD(2)与所获得的运动向量V1的评估值DFD(1)相比较。

如果在步骤S406确定评估值DFD(n)小于评估值DFD(n-1)，即运动向量Vn比运动向量Vn-1更可靠，则在步骤S407，向量评估单元104设置所计算的运动向量Vn(第一次的运动向量V1，第二次的运动向量V2)为检测块中的运动向量V。处理前进到步骤S408。在步骤S408，向量评估单元104在处理前进到S409之前把重复次数n递增一。在步骤S409，向量评估单元104确定重复次数n是否达到所设置的最大重复次数(例如，2)。如果在步骤S409确定重复次数n未达到所设置的最大重复次数，则向量评估单元104控制选择器402，使得过程返回到步骤S402并且重复后续步骤。

换言之，在步骤S402，在从向量计算单元425输出之后存储在延迟单元405中的运动向量V1被选择器402选择作为偏移向量。在步骤S403，时间像素差计算单元411和像素差确定单元412通过把运动向量V1用作偏移向量来执行块单元有效像素确定过程，并且过程重复后续步骤。因此，在步骤S405计算的运动向量V2是在第二梯度操作中计算的运动向量V2和用作偏移向量的运动向量V1的总和(即，V2＝V1+v2＝V0+v1+v2)。

如果在步骤S406确定评估值DFD(n)不小于评估值DFD(n-1)，即运动向量Vn-1比运动向量Vn更可靠，则向量评估单元104执行到步骤S410。在步骤S410，在梯度操作中用作偏移的运动向量Vn-1(第一次的初始向量V0，第二次的运动向量V1)被向量评估单元104设置成检测块中的运动向量V，并且处理前进到步骤S411。如果在步骤S409确定重复次数n达到所设置的最大重复次数，则向量评估单元104执行到步骤S411。

在步骤411，向量评估单元104确定运动向量V是否位于事先设置为运动向量检测的范围的搜索区域中。如果确定运动向量V位于搜索区域中，则向量评估单元104执行到步骤S415，并且以与检测块相关的形式把运动向量V存储在检测向量存储器53中。之后，过程结束。

另外，如果在步骤S411确定运动向量V未位于搜索区域中，则向量评估单元104执行到步骤S412并且设置运动向量V为零向量。执行到步骤S415，向量评估单元104把运动向量V(零向量)存储在检测向量存储器53中，并且完成递归梯度操作过程。

如果在步骤S404确定有效像素计数器413中的有效像素的数量等于或小于预定阈值α，则梯度操作继续确定单元414执行到步骤S413。在步骤S413，梯度操作继续确定单元414控制模式选择单元401在执行到步骤S414之前选择像素单元处理模式。这允许递归梯度操作单元103的每个部分以像素为单位执行处理。在步骤S414，模式选择单元401执行像素单元递归梯度操作过程，并且执行到步骤S415。下面参考图37描述像素单元递归梯度操作过程的细节。由于以像素为单位的递归梯度操作过程求出在检测块中所有像素的运动向量V，所以在步骤S415，向量评估单元104以与检测块中的每个像素相关的形式把每个运动向量V存储在检测向量存储器53中，并且递归梯度操作过程结束。

在上述步骤S406中，通过比较在梯度操作过程中获得的运动向量Vn的评估值DFD(n)和用作偏移向量的运动向量Vn-1的评估值DFD(n-1)来执行运动向量可靠性的评估。同时与评估值DFD相比，也可以通过确定在梯度操作中获得的运动向量Vn(在相加偏移向量之前获得的运动向量)的范数(norm)的数值(|vn|)是否小于预定量值(例如，在8×8像素操作块的情况下为16)来执行评估。

范数表示向量空间中向量的量值。例如，从原点(0，0)开始到(x，y)的向量v的范数由下列表达式(11)表示。

[表达式3]

$\left|v\right|=\sqrt{x^2+y^2}$

换言之，在梯度操作中，通常获得非常准确的结果。然而，当在梯度操作中获得的运动向量的范数|vn|超出预定量值时，不总获得较大运动向量Vn的非常准确的结果。因此，和评估值DFD一起，通过确定在梯度操作中获得的每个运动向量的范数|vn|是否超出预定量值，并且排除其范数|vn|超出预定量值的运动向量，在这个梯度操作中，对于细小运动或较大运动，可以获得非常准确的结果，并且可以提高运动向量检测的准确性。

在基于评估值DFD和范数的确定的情况下，如果在步骤S406，|vn|≤16并且评估值DFD(n-1)＞评估值DFD(n)，则处理前进到步骤S407，并且执行设置使得V＝Vn。如果在步骤S406，|vn|＞16或评估值DFD(n-1)≤评估值DFD(n)，则处理前进到步骤S410，并且执行设置使得V＝Vn-1。

接着，参考图35所示的流程图描述有效像素确定过程的细节。图35示出图34中步骤S403中的有效像素确定过程的例子。

当从选择器402输入偏移向量时，在步骤S431，时间像素差计算单元411控制像素差确定单元412复位有效像素计数器413。执行到步骤S432，时间像素差计算单元411选择块单元操作块中的像素，并且执行到步骤S433。按光栅扫描顺序从左上端像素开始选择像素。

在步骤S433，通过使用偏移向量，以及分别通过前置滤波器102-2和102-1输入的时间t处的帧t和时间t+1处的帧t+1，所选择的像素的时基像素差Δt，并且向像素差确定单元412输出所计算的时基像素差Δt。处理前进到步骤S434。

在步骤S434，像素差确定单元412确定由时间像素差计算单元411计算的时基像素差Δt是否小于预定像素差，即所计算的时基像素差Δt在后续级段的梯度操作中是否有效。如果确定所计算的时基像素差Δt小于预定像素差，则处理前进到步骤S435。像素差确定单元412把有效像素计数器413中的有效像素的数量递增一，并且处理前进到步骤S436。如果在步骤S412确定时基像素差Δt等于或大于预定像素差，则像素差确定单元412确定时基像素差Δt在后续级段的梯度操作中无效，并且跳过步骤S435执行到步骤S436。

在步骤S436，时间像素差计算单元411确定操作块中所有像素的处理是否已经完成。如果时间像素差计算单元411确定操作块中所有像素的处理未完成，则过程返回到步骤S432，并且选择下一个像素重复后续步骤。如果在步骤S436时间像素差计算单元411确定操作块中所有像素的处理已经完成，则有效像素确定过程在返回到图34的步骤S404之前结束。

在上述过程中，有效像素计数器413计数像素的数量，所述像素的每个中像素差Δt小于预定像素差并且该像素在后续级段的梯度操作中有效。因此，通过在图34的步骤S404中参考有效像素计数器413的像素数量，梯度操作继续确定单元414可以确定是否执行块单元梯度操作或像素单元梯度操作。

接着，参考图36所示的流程图描述块单元梯度操作过程的细节。图36示出图34的步骤S405中的块单元梯度操作过程的例子。因此，在图36的例子中，执行梯度操作的标志(flg＝1)从梯度操作继续确定单元414输入到时间像素差计算单元421。

当从梯度操作继续确定单元414输入标志(flg＝1)时，在步骤S451，时间像素差计算单元421选择块单元操作块中的像素并且执行到步骤S452。按光栅扫描顺序从操作块的左上端像素开始选择像素。

在步骤S452，通过使用来自选择器402的偏移向量，以及分别通过前置滤波器102-2和102-1输入的时间t处的帧t和时间t+1处的帧t+1，时间像素差计算单元421计算所选择的像素的时基像素差Δt，并且向像素差确定单元412输出所计算的时基像素差Δt和偏移向量。处理前进到步骤S453。

在步骤S453，像素差确定单元422确定由时间像素差计算单元421计算的时基像素差Δt是否小于预定像素差，即所选择的像素在后续级段中的梯度操作中是否有效。如果确定时基像素差Δt小于预定像素差，则处理前进到步骤S454，并且像素差确定单元422控制水平垂直像素差计算单元423计算确定有效的像素的水平像素差Δx。像素差确定单元422中的预定像素差可以等于或不同于时间像素差计算单元421中的预定像素差。此时，像素差确定单元422向水平垂直像素差计算单元423输出由时间像素差计算单元421计算的所计算的时基像素差Δt和偏移向量。

在步骤S454，通过使用偏移向量，以及分别通过前置滤波器102-2和102-1输入的时间t处的帧t和时间t+1处的帧t+1，水平垂直像素差计算单元423计算确定有效的像素的水平像素差Δx。执行到步骤S455，水平垂直像素差计算单元423计算确定有效的像素的垂直像素差Δy，并且向梯度累积单元424输出时基像素差Δt、水平像素差Δx和垂直像素差Δy。处理前进到步骤S456。在步骤S456，梯度累积单元424累积时基像素差Δt，水平像素差Δx和垂直像素差Δy，并且向向量计算单元425输出所累积的结果。处理前进到步骤S457。

如果在步骤S453确定时基像素差Δt等于或大于预定像素差，则像素差确定单元422跳过步骤S454到456并且执行到步骤S457。换言之，像素的像素差(梯度)指示由于其在后续级段的梯度操作中无效，所以未在梯度操作中使用该像素。

在步骤S457，时间像素差计算单元421确定操作块中所有像素的处理是否已经完成。如果确定操作块中所有像素的处理未完成，则过程返回到步骤S451，并且选择下一个像素重复后续步骤。可选地，如果在步骤S457确定操作块中所有像素的处理已经完成，则时间像素差计算单元421向向量计算单元425输出偏移向量，并且处理前进到步骤S458。当接收来自时间像素差计算单元421的偏移向量时，向量计算单元425通过使用来自梯度累积单元424的梯度累积结果和表达式(9)中的最小平方方法来计算运动向量vn。向量计算单元425通过把所计算的运动向量vn与来自时间像素差计算单元421的偏移向量相加来计算运动向量Vn，并且向向量评估单元104输出所计算的运动向量Vn。梯度操作过程结束并且返回到图34的步骤S406。

如上所述，当时基像素差Δt等于或大于所设置的预定像素差时，认为该像素有产生运动不规则性的可能，并且因而在运动向量检测的情况下从梯度操作中排除该像素。因而，执行更稳定的梯度操作，使得可能的运动向量被检测，因而提高运动向量检测的准确性。

接着，参考图37所示的流程图描述像素单元递归梯度操作过程的细节。图37示出图34的步骤S414中的像素单元递归梯度操作过程的例子。针对检测块中的每个像素执行这个过程。

在设置像素单元处理模式之后，在步骤S471，模式选择单元401选择检测块中的像素作为进行检测的像素，并且向选择器402和向量评估单元104输出操作块(例如，9×9像素)中的像素的初始向量V0。处理前进到步骤S472。按光栅扫描顺序从检测块的左上端像素开始选择像素。在步骤S472，响应向量评估单元104的控制，选择器402选择从模式选择单元401输入的初始向量V0作为偏移向量，并且向时间像素差计算单元411和时间像素差计算单元421输出所选择的偏移向量。处理前进到步骤S473。

在步骤S473，时间像素差计算单元411和像素差确定单元412通过使用所选择的偏移向量(通过把初始向量V0用作偏移)来执行像素单元有效像素确定过程，并且处理前进到步骤S474。由于除参考图5描述的块单元有效像素确定过程和进行处理的操作块(块范围以及构成块的像素)不同之外，基本上执行类似处理，所以省略对有效像素确定过程的细节的详细描述。在有效像素确定过程中，有效像素计数器413得到所有被确定为在像素单元操作块中像素差小于预定像素差，即在后续级段的梯度操作中有效的像素的计数数量。用于以像素为单位的有效像素确定的预定像素差可以等于或不同于在以块为单位的确定的情况下的数值。

在步骤S474，梯度操作继续确定单元414确定有效像素计数器413中的像素计数数量(有效像素的数量)是否大于预定阈值β。如果确定有效像素的数量大于预定阈值β，则梯度操作继续确定单元414输出执行梯度操作的标志(flg＝1)，并且执行到步骤S475。阈值β也可以等于或不同于在块单元的情况下的阈值α。

在步骤S475，基于来自梯度操作继续确定单元414的标志，梯度操作单元404使用来自选择器402的偏移向量(初始向量V0)执行像素单元梯度操作过程，并且处理前进到步骤S476。由于除参考图36描述的块单元梯度操作过程和进行处理的操作块(范围以及构成块的像素)不同之外，基本上执行类似处理，所以省略对梯度操作过程的详细描述。这个梯度操作过程求出进行检测的像素的运动向量Vn，并且向向量评估单元104和延迟单元405输出所获得的运动向量Vn。运动向量Vn是通过第一梯度操作获得的运动向量vn和偏移向量的总和(Vn＝Vn-1+vn)。

在步骤S476，向量评估单元104求出通过梯度操作过程计算的运动向量Vn的评估值DFD(n)和用作偏移的运动向量Vn-1的评估值DFD(n-1)，并且确定评估值DFD(n)是否小于评估值DFD(n-1)，即通过梯度操作过程计算的运动向量Vn是否比用作偏移的运动向量Vn-1更可靠。

如果在步骤S476确定评估值DFD(n)小于评估值DFD(n-1)，即运动向量Vn比运动向量Vn-1更可靠，则在步骤S477，所计算的运动向量Vn(第一次的运动向量V1，第二次的运动向量V2)被设置成进行检测的像素的运动向量V，并且处理前进到步骤S478。在步骤S478，向量评估单元104把重复次数n递增一。执行到步骤S479，向量评估单元104确定重复次数n是否达到最大重复次数(例如，2)。如果确定重复次数n未达到最大重复次数，则向量评估单元104控制选择器402返回到步骤S472以重复后续步骤。

换言之，在步骤S472，在从向量计算单元425输出之后存储在延迟单元405中的运动向量V1被选择器402选择作为偏移向量。在步骤S473，时间像素差计算单元411和像素差确定单元412偏移作为偏移向量的运动向量V1，并且执行像素单元有效像素确定过程以重复后续步骤。因而，在步骤S475获得的运动向量V2是在第二梯度操作中计算的运动向量V2和用作偏移的运动向量V1的总和(V2＝V0+v1+v2)。

如果在步骤S476确定评估值DFD(n)大于评估值DFD(n-1)，即运动向量Vn-1比运动向量Vn更可靠，则处理前进到步骤S480。在步骤S480，在梯度操作中用作偏移的运动向量Vn-1(第一次的初始向量V0，第二次的运动向量V1)被设置成检测块中的运动向量V，并且处理前进到步骤S481。另外，如果在步骤S479重复次数n达到最大重复次数，则向量评估单元104执行到步骤S481。

在步骤S481，向量评估单元104确定运动向量V是否在事先设置为运动向量检测范围的搜索区域中。如果确定运动向量V在搜索区域中，则处理前进到步骤S483。如果在步骤S481确定运动向量V不在搜索区域中，则处理前进到步骤S482，并且运动向量V被设置成零向量。处理前进到步骤S483。

如果在步骤S474确定有效像素计数器413中的有效像素的数量小于预定阈值β，则梯度操作继续确定单元414向梯度操作单元404输出中止梯度操作的标志(flg＝0)，并且处理前进到步骤S482。时间像素差计算单元421基于该标志控制向量计算单元425，并且设置运动向量V为零向量。处理前进到步骤S483。

在步骤S483，模式选择单元401确定检测块中所有像素的处理是否已经完成。如果确定检测块中所有像素上的处理未完成，则过程返回到步骤S471。检测块中的下一个像素被用作进行检测的像素，并且重复后续步骤。如果在步骤S483确定检测块中所有像素的处理已经完成，则模式选择单元401完成像素单元递归梯度操作过程，并且返回到图34的步骤S415。换言之，像素单元递归梯度操作过程求出检测块中的所有像素的运动向量V，过程返回到图34中的步骤S415，并且向量评估单元104以与检测块中的每个像素相关的形式把每个运动向量V存储在检测向量存储器53中。之后，递归梯度操作过程完成。

在步骤S476对运动向量可靠性的评估中，类似于步骤S406的情况，可以结合使用基于评估值DFD的确定和基于范数的确定两者。

如上所述，通过针对梯度操作只使用其每一个在操作块中的像素差小于预定像素差的像素，可以把具有不同运动的像素从要对其执行算术运算的块中排除，使得通过梯度操作获得的运动向量概率得到提高，因而提高运动向量检测的准确性。

另外，当由于操作块中的像素差大于预定像素差而使得梯度操作中未使用的像素数量大于预定阈值时，自适应地控制梯度操作过程。因而，具体地，在对象之间的运动边界上，运动向量检测的准确性可以被提高，使得可以获得更可能的运动向量。

具体地，当由于操作块中的像素差大于预定像素差而使得梯度操作中未使用的像素数量大于预定阈值时，块单元模式被切换到像素单元模式，针对检测块中的每个像素设置操作块，并且执行有效像素确定过程和梯度操作过程。因而，可以执行运动向量的更准确的检测。另外，当由于操作块中的像素差大于预定像素差而使用梯度操作中未使用的像素数量大于预定阈值时，可以抑制不规则运动向量检测，因而进行更安全的运动向量检测。

接着，描述向量分配单元54的结构的细节。

图38是图2所示的向量分配单元54的结构的模块图。在具有图38所示的结构的向量分配单元54中，通过使用24P信号图像的时间t处的帧t和时间t+1处的帧t+1，在帧t中检测的运动向量被分配给用于插入的插入帧(在分配向量存储器55中)。

在图38示出的例子中，时间t处的帧t和时间t+1处的帧t+1被输入到像素信息操作单元701，评估值操作单元702以及有关像素差操作单元703。

像素信息操作单元701按光栅扫描顺序从左上端像素开始获得检测向量存储器53中从帧t中的像素检测的运动向量，在下一时间处的帧t+1的方向延伸每个获得的运动向量，以及计算所延伸的运动向量和插入帧之间的交点。由所计算的运动向量和插入帧之间的交点，像素信息操作单元701设置运动向量要分配到的像素(此后也被称作″分配像素″)，并且向向量选择单元705输出运动向量和分配像素的信息。另外，像素信息操作单元701计算通过运动向量与分配像素相关的帧t中的位置P和帧t+1中的位置Q，并且向评估值操作单元702和有关像素差操作单元703输出涉及帧t和帧t+1的所计算的位置信息。

当从像素信息操作单元701接收通过运动向量相关的分配像素和涉及帧t和帧t+1的位置信息时，评估值操作单元702设置围绕位置P的DFD操作范围(m×n像素)和围绕位置Q的DFD操作范围(m×n像素)以便执行操作以求出帧t和t+1中位置P和Q处的评估值DFD，并且确定每个DFD操作范围是否位于图像帧中。如果确定每个DFD操作范围位于图像帧中，则评估值操作单元702通过使用DFD操作范围执行操作来求出运动向量的分配像素的评估值DFD，并且向向量评估单元704输出所获得的评估值DFD。

当从像素信息操作单元701接收通过运动向量相关的分配像素和涉及帧t和帧t+1的位置信息时，有关像素差操作单元703使用帧t中的位置P和帧t+1中的位置Q求出分配像素的亮度差的绝对值，并且向向量评估单元704输出所获得的亮度差的绝对值。

向量评估单元704包含像素差确定单元711和评估值确定单元712。像素差确定单元711确定从有关像素差操作单元703输入的亮度差的绝对数值(分配像素的)是否小于预定阈值。如果像素差确定单元711确定从有关像素差操作单元703输入的亮度差(分配像素)的绝对数值小于预定阈值，则评估值确定单元712确定从评估值操作单元702输入的(分配像素的)评估值DFD是否小于向量选择单元705中的DFD表中的最小评估值。如果确定从评估值操作单元702输入的评估值DFD(分配像素)小于DFD表中的最小评估值，则评估值确定单元712确定对应于分配像素的运动向量高可靠，并且向向量选择单元705输出分配像素的评估值DFD。

向量选择单元705具有DFD表，其存储插入帧中像素的最小评估值。针对插入帧中的每个像素，在分配零向量时获得的评估值DFD被事先作为每个像素的最小评估值存储在DFD表中的接口中。当接收来自向量评估单元704的分配像素的评估值DFD时，向量选择单元705基于分配像素的位置信息把分配标志存储器56的标志重写成一(真)，并且把DFD表中分配像素的最小评估值重写为分配像素的评估值DFD。另外，基于来自像素信息操作单元701的分配像素的位置信息，向量选择单元705在分配向量存储器55中把来自像素信息操作单元701的运动向量分配给分配像素。

接着，描述低于象素尺寸的运动向量准确性。在表达式(1)表示的FD评估操作中，通过把帧t中的像素位置p偏移向量v而获得的帧t+1中的相位p+v通常与24P信号的帧t+1中的像素位置实际上不一致，并且在这种情况下的亮度未被定义。因此，为了针对具有低于象素尺寸的准确性的运动向量V执行评估值DFD，必须通过某种方法产生低于象素尺寸的同相亮度。

在与之对应的方法中，以不变的形式使用具有与通过把帧t中的像素位置p偏移向量v而获得的帧t+1中的相位p+v最接近的相位的像素的亮度。然而，在这个方法中，舍入了低于象素尺寸的所评估运动向量的分量。因而，可以说丢弃了低于象素尺寸的所评估运动向量的分量。因而，所获得的评估值DFD具有低可靠性。

因此，本发明使用基于四个外围像素的亮度的四点插入过程。图39是本发明的四点插入过程的概念的图解。在图39中，箭头X指示帧t+1的水平方向，并且箭头Y指示帧t+1的垂直方向。在帧t+1中，白色圆圈指示帧t+1中的像素位置，并且黑圆圈指示低于象素尺寸的位置。在窗口E中放大示出帧t+1中的左上端的黑圆点p+v和四个外围像素。在窗口E中，白色圆圈中的字母数字符号表示四个外围像素的亮度。

假定帧t+1中的左上端的黑圆点p+v是通过把帧t中的像素位置p偏移向量v而获得的像素位置的相位p+v，则通过使用低于象素尺寸的水平分量α，低于象素尺寸的垂直分量β和具有相位p+v的四个外围像素的亮度L0到L4，通过到四个外围像素的距离的倒数比的和来求出相位p+v的亮度Ft+1(p+v)。换言之，亮度Ft+1(p+v)由下列表达式(12)表示。

Ft+1(p+v)

＝(1-α)(1-β)L0+α(1-β)L1+(1-α)βL2+αβL3     (12)

如上所述，通过使用在四点插入过程获得的亮度Ft+1(p+v)执行DFD评估的算术运算，可以防止评估值DFD的可靠性的降低而无需增加硬件实现成本。下列描述涉及一个例子，其中四点插入过程被应用于例如向量分配中的评估值DFD的数值以及亮度差的绝对数值的算术运算。显然，在上述初始向量选择过程和向量检测过程的操作中，以及在例如分配补偿过程(以后描述)的向量评估的情况下的评估值DFD的操作中，也使用四点插入过程。

接着，描述向量分配过程的概念。例如，当假定对象以速度v在24P信号图像上运动，并且假定在两个任意帧之间有关这个对象的运动的均匀速度假设成立时，可以插入新帧。在这种情况下，当从24P信号对象延伸运动向量v时，运动向量v和插入帧之间的交点在相同的对象中并且具有相同的速度v。

因此，通过把由检测向量存储器53检测的24P信号帧(此后也被称作″初始帧″)中的运动向量分配给运动向量和要插入的60P信号插入帧之间的交点，可以求出插入帧中每个像素的运动。反之，由所分配的运动向量，在24P信号帧中可以求出插入帧中的像素已从哪个位置移动。

图40以一维的形式示出在24P信号初始帧中检测的运动向量和插入帧中的像素的例子。在图40中，例如，两个插入帧(在时间t+0.4处的插入帧F1和在时间t+0.8处的插入帧F2)被插入在两个帧(时间t处的24P信号帧t和时间t+1处的24P信号帧t+1)之间。如上所述，基于60P信号帧被布置在这样的位置(所述位置在24P信号上的时间相位为0.0，0.4，0.8，1.2和1.6)上的事实，事先在信号处理设备1中设置这些插入帧的位置。

每个帧中的圆圈指示像素。由向量检测单元52在前一阶段中检测的运动向量v1，v2和v3在帧t+1的方向被延伸。当这些运动向量被分配给插入帧F1和F2中的像素时，穿过每个插入帧中的每个像素附近的运动向量充当分配给该像素的候选向量(此后也被称作″分配候选向量″)。

因此，从帧t的左端像素引向帧t+1中左起第四和第五像素附近的运动向量v1在插入帧F1中左起第二和第三像素之间穿过，并且在插入帧F2中左起第三和第四像素之间穿过。因此，运动向量v1充当要分配给运动向量v1与插入帧F1和F2相交的点的附近区域N1中包含的像素(插入帧F1中左起第二和第三像素以及插入帧F2中左起第三和第四像素)的分配候选向量。

从帧t中左起第三个像素引向第二和第三像素附近的运动向量v2在插入帧F1中左起第二和第三像素之间穿过，并且在插入帧F2中左起第二和第三像素之间穿过。因此，向量V2充当要分配给向量V2与插入帧F1和F2相交的点的附近区域N2中包含的像素(插入帧F1中左起第二和第三像素以及插入帧F2中左起第二和第三像素)的分配候选向量。

从帧t中左起第五个像素引向帧t+1中左起第四和第五个像素的附近的运动向量v3在插入帧F1中左起第四和第五像素之间穿过，并且在插入帧F2中左起第四和第五像素之间穿过。因此，运动向量V3充当要分配给运动向量V3与插入帧F1和F2相交的点的附近区域N3中包含的像素(插入帧F1中左起第四和第五像素以及插入帧F2中左起第四和第五像素)的分配候选向量。

换言之，插入帧F2中左起第二像素的分配候选向量是向量V2，并且插入帧F1中左起第二和第三像素以及插入帧F2中左起第三像素的分配候选向量是运动向量v1和v2。插入帧F2中左起第四像素的分配候选向量是向量v1和v3，并且插入帧F1中左起第四和第五像素以及插入帧F2中左起第五像素的分配候选向量是运动向量V3。

如上所述，从在初始帧中检测的运动向量中，求出要分配给插入帧中的像素的分配候选向量。对于插入帧F1和F2中的左端像素和右端像素，未示出穿过附近的向量。换言之，插入帧F1和F2中左端像素和右端像素没有要分配的分配候选向量。因此，针对这些像素，通过在以后描述的后续级段中的分配补偿单元57执行分配补偿过程。

此外，参考图41详细描述初始帧中检测的运动向量和60P信号插入帧中的像素。在图41示出的例子中，箭头T指示从位于图41的前景左边的时间t处的帧t到位于图41的背景右边的时间t+1处的帧t+1的时间流逝方向。插入帧F1被布置在时间t和时间t+1之间的时间t+pos_t处。

在图41示出的情况中，在帧t中的像素(x_a，y_a)处检测的运动向量v_a(x_va，y_va)沿帧t+1的方向延伸，并且计算所延伸的运动向量和插入帧F1之间的交点(x_ia，y_ia)。交点是这样获得的点，其使得在24P信号帧t中的运动向量v_a的端点处的像素被移动。因而，交点由下列表达式(13)和(14)表示。

x_ia＝x_a+pos_txv_a                          (13)

y_ia＝y_a+pos_ty_va                          (14)

如上所述，当运动向量v_a具有低于象素尺寸的准确性时，运动向量v_a的交点不总是与插入帧F1中的像素位置一致。当如图41所示两者彼此不一致时，运动向量v_a被分配给插入帧F1中交点附近的四个像素G1到G4。换言之，运动向量v_a被偏移(转换)到附近的像素G1到G4，并且被用作要分配给每个像素的分配候选向量。之后，执行分配补偿过程。

在这种情况下，一个运动向量可以被用作要分配给附近的四个像素的候选向量。因而，根据像素，多个运动向量被用作分配候选向量。在这种情况下，通过针对插入帧中的像素和经由运动向量相关的初始帧中的位置之间的每个运动向量计算初始帧中的交点，并且使用该交点，向量分配单元54最终确定要分配给插入帧中的像素的运动向量。

参考图42描述向量分配单元54的运动向量评估。图42以一维的形式从底部开始示出在图41中示出的在时间t处的帧t、在时间t+pos_t处的插入帧F1和在时间t+1处的帧t+1。

在图42示出的例子中，获得运动向量sv_a，使得在帧t中的像素(x_a，y_a)中检测的运动向量v_a被偏移(转换)为附近像素G4到像素G4的分配候选向量。在图42中，分别由参考字母P和Q指示运动向量sv_a与帧t和帧t+1的交点(使得帧t中的像素(x_a，y_a)中检测的运动向量v_a被偏移)。

在第一评估中，向量分配单元54首先求出在点P和Q周围的DFD操作范围，并且确定所获得的DFD操作范围是否超出图像帧。因此，如果所获得的点P和Q周围的DFD操作范围超出图像帧，则从候选向量中排除运动向量sv_a。

另外，当点P和Q属于不同对象时，点P的亮度F_t(P)和点Q的亮度F_t+1(Q)有较大差。因此，在运动向量sv_a的第二评估中，向量分配单元54通过使用点P和Q求出像素G4处的亮度差的绝对值dp，并且确定亮度差的绝对数值dp是否大于预定数值。如果确定亮度差的绝对数值dp大于预定数值，则确定像素G4处的运动向量sv_a具有低可靠性，并且从候选向量中排除运动向量sv_a。亮度差的绝对数值dp由下列表达式(15)表示。

dp＝|F_t(P)-F_t+1(Q)|                        (15)

在第三评估中，向量分配单元54基于表示点P和Q周围的DFD操作范围上的相关值的差的绝对值来执行评估。换言之，向量分配单元54通过使用像素P和Q周围的DFD操作范围求出在像素G4处的运动向量sv_a的评估值DFD，并且确定所获得的评估值DFD是否小于评估值DFD表中的最小评估值。向量分配单元54向像素G4分配通过上述评估检测的具有所获得的评估值DFD中最小的评估值DFD的运动向量。

如上所述，通过不仅使用进行分配的分配像素的评估值DFD，而且使用分配像素处的亮度差的绝对值来评估作为插入帧中像素处的分配候选向量的运动向量。因而，与只使用评估值DFD的现有技术的情况比较，可以把可能的运动向量分配给分配向量。这导致向量分配的准确性的提高。

如上所述，为了评估作为插入帧中像素处的分配候选向量的运动向量，使用通过运动向量相关的初始帧中的位置，其中插入帧中的像素被用作参考。然而，当求出亮度差的绝对值dp和评估值DFD时，由于以像素位置为参考来延伸作为分配候选向量的运动向量，所以运动向量和初始帧之间的交点可能与初始帧中的像素位置不一致。因而，在这个状态保持不变的情况下不可能求出像素值。在这种情况下，执行参考图39描述的四点插入过程。

图43示出向量分配过程中四点插入的例子。在图43中，对应于图41和42所示部分的部分用对应参考符号表示，并且省略对应部分的重复描述。

在图43示出的例子中，运动向量sv_a被延伸，其中插入帧F1中的像素位置G4被用作参考。因而，运动向量sv_a和帧t之间的交点P与帧t中的像素位置(白圆圈)不一致，并且另外，运动向量sv_a和帧t+1之间的交点Q与帧t+1中的像素位置(白圆圈)不一致。因此，在帧t和帧t+1中，通过使用交点P和Q周围每个附近部分的四个像素(帧t和帧t+1中的白圆圈)，执行上述四点插入操作以求出交点P和Q处的像素值。

由于如上所述在本发明的向量分配过程中通过四点插入过程获得的交点P和Q处的像素值被用于计算亮度差的绝对值dp和评估值DFD，所以可以求出准确性高于舍入低于象素尺寸的分量的现有技术方法中的准确性的亮度差的绝对值dp和评估值DFD。

接着，参考图44所示的流程图描述向量分配过程的细节。作为24P信号初始帧的时间t处的帧t和时间t+1处的帧t+1被输入到像素信息操作单元701、评估值操作单元702和有关像素差操作单元703。

当接收初始帧时，在步骤S701，像素信息操作单元701控制向量选择单元705把分配标志存储器56中的分配标志初始化成零(假)，并且执行到步骤S702。在步骤S702，像素信息操作单元701控制向量选择单元705把分配向量存储器55中的分配标志初始化成零向量，并且执行到步骤S703。结果，零向量被分配给没有分配运动向量的像素。

在步骤S703，像素信息操作单元701控制评估值操作单元702通过使用零向量来计算插入帧中的所有像素的每个像素的评估值DFD0，并且控制向量选择单元705把针对作为插入帧中每个像素的最小评估值的零向量的所计算的评估值DFD0存储在DFD表中。处理前进到步骤S704。换言之，在步骤S703，评估值操作单元702使用零向量计算插入帧中所有像素的评估值DFD0，并且通过向量评估单元704向向量选择单元705输出所计算的评估值DFD0。向量选择单元705把通过向量评估单元704输入的、作为对应像素的最小评估值的评估值DFD0存储在DFD表中。

在步骤S704，像素信息操作单元701在检测向量存储器53中从初始帧选择像素，并且执行到步骤S705。在这种情况下，按光栅扫描顺序从左端像素起选择像素。

在步骤S705，像素信息操作单元701执行像素定位操作过程，并且执行到步骤S706。参考图45描述像素定位操作过程的细节。在这个像素定位操作过程中，计算在步骤S704选择的像素处检测的运动向量所分配到的插入帧中的分配像素，并且计算通过运动向量相关的初始帧中的像素位置，其中所计算的分配像素被用作参考。

在步骤S706，像素信息操作单元701选择所计算的分配像素，并且在执行到步骤S707之前向向量选择单元705输出所选择的分配像素及其运动向量。同时，像素信息操作单元701向评估值操作单元702和有关像素差操作单元703输出通过运动向量相关的初始帧中的像素位置的信息。在步骤S706，当多个分配像素存在时，像素信息操作单元701从左端像素起选择像素。

在步骤S707，像素信息操作单元701执行分配向量评估过程并且执行到步骤S708。以后参考图46描述分配向量评估过程的细节。在分配向量评估过程中，求出运动向量的评估值DFD和分配像素处的亮度差的绝对值，并且确定在分配像素处的运动向量的可靠性。在确定之后，分配向量存储器55中的运动向量被确定为高可靠的运动向量所重写。

在步骤S708，像素信息操作单元701确定所有分配像素的处理是否已经完成。如果确定所有分配像素的处理未完成，则像素信息操作单元701返回到步骤S706，选择下一个分配像素，并且重复后续步骤。

如果在步骤S708确定所有分配像素的处理已经完成，则在步骤S709，像素信息操作单元701确定检测向量存储器53中的初始帧中的所有像素的处理是否已经完成。如果在步骤S709确定检测向量存储器53中的初始帧中的所有像素的处理未完成，则像素信息操作单元701返回到步骤S704并且选择下一个像素以重复后续步骤。如果在步骤S709确定检测向量存储器53中的初始帧中的所有像素的处理已经完成，则像素信息操作单元701完成向量分配过程。

接着，参考图45所示的流程图描述像素定位操作过程的细节。图45示出图44的步骤S705中的像素定位操作过程的例子。

在步骤S721，像素信息操作单元701从检测向量存储器53获得在步骤S704选择的像素处检测的运动向量，并且执行到步骤S722。由于所选择的像素的运动向量是零向量，所以事先在分配向量存储器55中存储作为初值的零向量，跳过后续步骤S722到S724，以及图44的步骤S706到S708，并且处理前进到步骤S709。

在步骤S722，像素信息操作单元701计算所获得的运动向量和插入帧之间的交点。具体地，像素信息操作单元701在下一帧t+1的方向上延伸所获得的运动向量，计算所延伸的运动向量和插入帧之间的交点，并且执行到步骤S723。

在步骤S723，像素信息操作单元701根据基于运动向量和插入帧计算的交点设置分配像素，并且执行到步骤S724。当交点与插入帧中的像素位置一致时，像素信息操作单元701设置交点为分配像素。可选地，当交点与插入帧中的像素位置不一致时，如上所述，由像素信息操作单元701把在插入帧中交点附近的四个像素设置成分配像素。

在步骤S724，通过使用每个分配像素作为参考，像素信息操作单元701计算通过所获得的运动向量相关的初始帧中的像素位置。评估值操作单元702和有关像素差操作单元703需要像素位置以求出评估值DFD和亮度差的绝对值。具体地，在步骤S724，像素信息操作单元701偏移(转换)所获得的运动向量到所设置的分配像素，求出偏移运动向量和初始帧中的位置之间的交点的位置，并且完成像素定位操作过程。过程返回到图43中的步骤S706。

接着，参考图46所示的流程图描述所分配的向量评估过程的细节。图46示出图44的步骤S707中的分配向量评估过程的例子。

在图44的步骤S706中，通过使用所选择的分配像素作为参考，由像素信息操作单元701求出通过其运动向量相关的初始帧中的像素位置。初始帧中的位置的信息被输入到评估值操作单元702和有关像素差操作单元703。

当从像素信息操作单元701接收初始帧中的位置的信息时，在步骤S741，为了求出分配像素处的运动向量的评估值DFD，评估值操作单元702求出帧t和帧t+1周围的DFD操作范围(m×n像素)，并且执行到步骤S742。在步骤S742，评估值操作单元702确定所获得的DFD操作范围是否在图像帧中。如果在步骤S742确定DFD操作范围超出图像帧，则评估值操作单元702确定运动向量未充当要分配给分配像素的分配候选向量。因此，跳过步骤S743到S749，并且在返回到图44中的步骤S708之前完成分配向量评估过程。

如果在步骤S742确定每个所获得的DFD操作范围在图像帧中，则评估值操作单元702执行到步骤S743。在步骤S743，通过使用确定在图像帧中的DFD操作范围，评估值操作单元702执行操作以求出分配像素的评估值DFD，并且在执行到步骤S744之前向评估值确定单元712输出所获得的评估值DFD。如果此时初始帧中的位置是除了像素位置之外的位置，则通过使用上述四点插入过程求出初始帧中的交点的亮度，获得分配像素的评估值DFD。

当从像素信息操作单元701接收初始帧中的位置时，在步骤S744，有关像素差操作单元703求出分配像素处的亮度差的绝对值dp，并且向像素差确定单元711输出所获得的亮度差的绝对值dp。处理前进到步骤S745。同样，在这种情况下，当初始帧中的位置是除了像素位置之外的位置时，通过使用上述四点插入过程求出初始帧中的交点的亮度，有关像素差操作单元703计算分配像素处的亮度差的绝对值dp。

如果在步骤S745像素差确定单元711确定来自有关像素差操作单元703的分配像素的亮度差的绝对值dp是否等于或小于预定阈值。如果确定分配像素的亮度差的绝对值dp等于或小于预定阈值，则像素差确定单元711确定帧t和帧t+1中的交点可能分别属于不同对象，即像素差确定单元711确定运动向量在分配像素处具有低可靠性并且不充当分配给分配像素的分配候选向量。因此，跳过步骤S746到S749，并且在返回到图44中的步骤S708之前完成分配向量评估过程。

如果在步骤745像素差确定单元711确定亮度差的绝对值dp小于预定阈值，则处理前进到步骤S746。在步骤S746，通过参考向量选择单元705中的DFD表，评估值确定单元712确定来自评估值操作单元702的评估值DFD是否小于存储在DFD表中的分配像素的最小评估值(零向量的评估值DFD0)。如果确定来自评估值操作单元702的分配像素的评估值DFD等于或大于存储在DFD表中的分配像素的最小评估值，则评估值确定单元712确定运动向量在分配像素处具有低可靠性。因此，跳过步骤S747到S749，并且在返回到图44中的步骤S708之前完成分配向量评估过程。

可选地，如果在步骤S746确定来自评估值操作单元702的分配像素的评估值DFD小于存储在DFD表中的分配像素的最小评估值，则评估值确定单元712基于评估值DFD确定在已经比较的运动向量中该运动向量具有最高可靠性，并且向向量选择单元705输出确定具有最高可靠性的分配像素的评估值DFD。处理前进到步骤S747。

当从评估值确定单元712接收分配像素的评估值DFD时，在步骤S747，向量选择单元705把分配标志存储器56中的分配像素的分配标志重写成一(真)，并且执行到步骤S748。在步骤S748，向量选择单元705把DFD表中分配像素对应的最小评估值重写成确定具有最高可靠性的评估值DFD，并且执行到步骤S749。

在步骤S706，从像素信息操作单元701向向量选择单元705输入所选择的分配像素及其运动向量。因此，在步骤S749，向量选择单元705用对应于确定具有最高可靠性的评估值DFD的运动向量重写分配向量存储器55中分配给分配像素的运动向量，并且在返回到图44的步骤S708之前完成分配向量评估过程。

如上所述，当选择要分配给插入帧中的分配像素的运动向量时，分别处理和评估评估值DFD，和基于通过运动向量相关的初始帧中的位置获得的分配像素的亮度差的绝对值。因而，与只使用评估值DFD的现有技术的情况比较，从分配候选向量中选择最可能的运动向量并且向分配像素分配该最可能的运动向量。这提高了向量分配准确性，因而抑制在后续阶段的图像插入过程中产生的图像间断等等，使得图象质量可以被提高。

另外，由于在求出评估值DFD和亮度差的绝对值的情况下，当需要除了像素位置之外的位置处的像素值时，通过基于到该位置附近的四个像素的距离的线性插值来计算像素值，所以可以执行针对该位置的具有准确性的处理。此外，与舍入除了像素位置之外的位置的分量的现有技术的方法比较，能够以更高准确性求出亮度差的绝对值dp和评估值DFD。这使得能够将分配候选向量中最可能的运动向量分配给有关像素。换言之，提高了向量分配过程的准确性。

另外，在基于零向量的评估值DFD被事先存储为初值之后，在按顺序处理运动向量的同时，当基于运动向量的评估值DFD在该时刻充当最小评估值时，根据需要更新DFD表中的最小评估值和分配向量存储器55中分配的运动向量。因而，可以有效地使用时间和资源。

接着，描述分配补偿单元57的结构的细节。

图47是示出分配补偿单元57的结构的模块图。在图47中示出结构的分配补偿单元57包含分配向量确定单元801和向量补偿单元802。分配补偿单元57把像素周围的外围像素的运动向量分配给向量分配单元54未对其分配运动向量的60P信号插入帧中的像素。

由向量分配单元54向分配向量存储器55中的插入帧的像素分配运动向量。另外，针对由向量分配单元54对其分配运动向量的像素，在分配标志存储器56的分配标志中写入一(真)，并且针对未对其分配运动向量的像素，在分配标志存储器56的分配标志中写入零(假)。

通过参考分配标志存储器56中的分配标志，分配向量确定单元801确定是否由向量分配单元54向有关像素分配运动向量。分配向量确定单元801选择向量分配单元54未对其分配运动向量的有关像素，并且针对所选择的有关像素，控制向量补偿单元802选择以及在分配向量存储器55中向插入帧分配外围像素的运动向量。

向量补偿单元802从分配向量存储器55获得分配给有关像素周围的外围像素的运动向量。通过使用时间t处的输入帧t和时间t+1处的输入帧t+1求出所获得的运动向量的评估值DFD，并且比较所获得的评估值DFD，向量补偿单元802在分配向量存储器55中向有关像素分配运动向量，该运动向量是分配给有关像素周围的外围像素的运动向量中基于评估值DFD具有最高可靠性的运动向量。另外，向量补偿单元802使用一(真)来重写运动向量被分配到的有关像素的分配标志。

图48是示出向量补偿单元802的结构的模块图。图48示出的向量补偿单元802包含补偿单元811和评估值操作单元812。

补偿单元811包含存储器821，其存储最小评估值DFD和作为候选向量的最小评估值DFD的运动向量(此后也被称作″补偿候选向量″)。存储器821存储零向量的评估值DFD以作为最小评估值和作为由分配向量确定单元801选择的所选择的有关像素的初值，并且存储作为补偿候选向量的零向量。通过参考分配标志存储器56，补偿单元811确定是否存在有关像素周围的外围像素的运动向量，从分配向量存储器55获得分配给外围像素的运动向量，并且控制评估值操作单元812计算运动向量的评估值DFD。

补偿单元811确定由评估值操作单元812计算的每个评估值DFD是否小于最小评估值。如果确定所计算的评估值DFD小于最小评估值，则补偿单元811用所计算的评估值DFD及其运动向量重写存储在存储器821中的补偿候选向量和最小评估值。最终，把确定为具有最小评估值DFD的外围像素的运动向量(补偿候选向量)作为有关像素的运动向量在分配向量存储器55中作为有关像素的运动向量分配给有关像素。补偿单元811使用一(真)来重写分配标志存储器56中运动向量被分配到的有关像素的分配标志。

在从分配向量存储器55获得外围像素的运动向量之后，评估值操作单元812通过使用输入24P信号图像的帧t(时间t处)和帧t+1(时间t+1处)计算来自分配向量存储器55的运动向量的评估值DFD，并且向补偿单元811输出所计算的评估值DFD。

图49是分配补偿过程的原理的图解。在图49示出的例子中，示出插入帧中的像素。从像素延伸的箭头指示分配给像素的运动向量。没有箭头的像素指示未分配运动向量的像素。

从分配给有关像素P附近的外围像素的运动向量中，选择基于评估值DFD具有最高可靠性的运动向量，并且将其分配给向量分配单元54未分配运动向量的有关中心像素P。在图49示出的例子中，像素的运动向量(粗箭头指示的)被选择以及分配给有关像素P。这是如下所述基于运动相关性执行的过程。

图50是运动相关性的原理的图解。在图50示出的例子中，对象O1在帧中以运动v1运动，并且对象O2在帧中以运动v2运动。属于对象O1的有关像素P1及其附近部分K1具有与对象O1的运动基本相同的运动v1。另外，属于对象O2的有关像素P2及其附近部分K2具有与对象O2的运动基本相同的运动v2。

如上所述，运动相关性表示这样的事实，即在许多情况下，在相同单个时间的空间(相同帧)中，属于一个对象的像素的运动基本相同。因此，针对未被分配运动向量的像素，通过利用相同时间在空间(相同帧)中这种运动相关性的存在，从外围像素的运动向量中选择对应于该像素的运动向量。尽管省略其描述，但这也适合于时间相关性。

接着，参考图51到57描述基于运动相关性执行的运动向量补偿过程。具体地，在运动向量补偿过程中，从外围像素的运动向量中选择运动向量，并且作为有关像素的运动向量用于补偿。在图51示出的例子中，白圆圈指示插入帧中的像素。在要求出运动向量的有关像素P周围示出8个外围像素。通过参考8个外围像素的运动向量求出有关像素P的运动向量。

在图52示出的例子中，在有关像素P周围的8个外围像素中，左上、右上以及右下方的像素(黑圆圈所指示的)具有通过在前一阶段中的处理(例如，上述向量分配过程)而获得的运动向量(箭头所示)。换言之，在这种情况下，左上、右上和右下方的像素充当有关像素P的补偿候选向量。由于在帧中按光栅扫描顺序从帧中左上端像素起求出运动向量，所以可能在8个外围像素中存在未求出其运动向量的像素。这种运动向量不能用作补偿候选向量。

如图53的例子所示，在8个外围像素中，除了具有通过在前一阶段中的处理求出的运动向量的像素(黑圆圈)之外，也存在具有通过这个过程求出的运动向量的像素(由阴影圆圈指示)。换言之，在这个过程中，也使用在前一阶段中通过这个过程获得的结果。因此，在图53示出的例子中，有关像素P的补偿候选向量由其运动向量已经存在的像素(黑圆圈)的运动向量，以及具有在前一阶段中通过这个过程求出的运动向量的像素(阴影圆圈)的运动向量组成。

另外，如图54的例子所示，运动量为零的零向量S0(固定向量)也可以被用作补偿候选向量。在图53示出的例子中，分别示出具有通过这个过程求出的运动向量的像素和其运动向量已经存在的像素。然而，两者在具有运动向量方面是相同的。因此，在图54到57中，认为具有通过这个过程求出的运动向量的像素也被包含在其运动向量已经存在的像素(黑圆圈)中。因此，在图54示出的例子中，有关像素P的补偿候选向量由其运动向量已经存在的像素(黑圆圈)和零向量S0组成。

为了比较如上所述形成的补偿候选向量的可靠性(概率)，如图55到57所示求出用于运动向量评估的评估值DFD。图55示出零向量S0被用作补偿候选向量。图56示出8个外围像素中的左上像素VK1被用作补偿候选向量。图57示出8个外围像素中的顶部中央像素VK2被用作补偿候选向量。

在图55示出的例子中，从图55的左边示出的有关像素P的补偿候选向量中，选择零向量S0，并且求出所选择的零向量S0的评估值DFD。换言之，求出零向量S0的评估值DFD，使得在其间提供有有关像素P(60P信号插入帧)的24P信号图像的帧t和帧t+1中，通过使用插入帧中的有关像素P，求出与所选择的零向量S0相关的交点，使用该交点作为中心来计算由预定的m×n像素范围形成的DFD操作范围D1-1和D1-2，并且所计算的DFD操作范围D1-1和D1-2被用于执行基于表达式(1)的操作。

在图56示出的例子中，从图56左边示出的有关像素P的补偿候选向量中，选择8个外围像素的左上像素的运动向量VK1以及所选择的运动向量VK1的评估值DFD。换言之，求出8个外围像素的左上像素的运动向量VK1的评估值DFD，使得在其间提供有有关像素P(插入帧中)的帧t和帧t+1中，通过使用有关像素P作为参考，求出与所选择的运动向量VK1相关的交点，使用该交点作为中心计算由预定的m×n像素范围形成的DFD操作范围D2-1和D2-2，并且所计算的DFD操作范围D2-1和D2-2被用于执行基于表达式(1)的操作。

在图57示出的例子中，从图57左边示出的有关像素P的补偿候选向量中，选择8个外围像素的顶部中央像素的运动向量VK2以及所选择的运动向量VK2的评估值DFD。换言之，求出外围像素的顶部中央像素的运动向量VK2的评估值DFD，使得在其间提供有有关像素P(插入帧中)的帧t和帧t+1中，通过使用有关像素P作为参考，求出与所选择的运动向量VK2相关的交点，使用该交点作为中心计算由预定的m×n像素范围形成的DFD操作范围D3-1和D3-2，并且所计算的DFD操作范围D3-1和D3-2被用于执行基于表达式(1)的操作。

针对图57左边示出的其它补偿候选向量，执行基本上相同的处理。因此，省略其描述。如上所述，求出有关像素P周围的外围像素的所有补偿候选向量的评估值DFD，所获得的评估值DFD彼此比较，并且在所获得的评估值DFD中，如图58所示，选择具有最小评估值DFD的补偿候选向量以作为具有最高可靠性的、要分配给有关像素P的可能的运动向量。

在图58示出的例子中，确定有关像素P的外围像素的补偿候选向量中，8个外围像素的左上像素的运动向量VK1的评估值DFD最小，并且运动向量VK1被分配给有关像素P的运动向量。

如上所述，通过使用运动相关性，由外围像素的运动向量来补偿向量分配单元54不能分配运动向量的像素的运动向量。因而，与未分配运动向量的情况，例如分配零向量的情况相比，可以抑制运动的不规则性。另外，按照这种方式补偿的像素的运动向量也可以被再次用作另一像素的补偿候选向量。换言之，空间邻近的运动向量和时间邻近的运动向量均可以被用作补偿候选向量。对于一个对象中进行基本相同的运动的像素，选择具有基本相同运动的向量，使得可以获得具有更低误差的稳定运动向量。这提高了向量分配的准确性。

接着，参考图59所示的流程图描述分配补偿过程的细节。在前一阶段中通过向量分配单元54在分配向量存储器55中向插入帧的像素分配运动向量。在由向量分配单元54分配运动向量的每个像素的、在分配标志存储器56中的分配标志上，写入一(真)。在未分配运动向量的每个像素的、在分配标志存储器56中的分配标志上，写入零(假)。

在步骤S801，分配向量确定单元801在分配标志存储器56中选择插入帧中的像素作为有关像素，并且执行到步骤S802。分配向量确定单元801按光栅扫描顺序从左上端像素开始选择像素。

在步骤S802，分配向量确定单元801确定分配标志存储器56中有关像素的分配标志是否为零(假)。如果确定分配标志存储器56中有关像素的分配标志为零(假)，则分配向量确定单元801确定未分配运动向量。执行到步骤S803，分配向量确定单元801控制补偿单元811执行向量补偿过程，并且执行到步骤S804。以后参考图60描述向量补偿过程的细节。在向量补偿过程中，从分配给外围像素的运动向量中，把具有最小评估值DFD的运动向量作为补偿候选向量存储在存储器821中。

在步骤S804，补偿单元811将存储器821中的补偿候选向量作为有关像素的运动向量分配给向量存储器55，并且执行到步骤S805。补偿单元811重写分配标志存储器56中有关像素的分配标志，并且处理前进到步骤S806。

如果在步骤S802确定分配标志存储器56中有关像素的分配标志为一(真)，则分配向量确定单元801确定运动向量已经分配给有关像素，并且执行到步骤S806，跳过步骤S803到S805。

在步骤S806，分配向量确定单元801确定分配标志存储器56中插入帧的所有像素的处理是否已经完成。如果确定所有像素的处理未完成，则过程返回到步骤S801，并且选择分配标志存储器56中插入帧的下一个像素。执行后续步骤。如果在步骤S806确定分配标志存储器56中插入帧的所有像素的处理已经完成，则分配补偿过程完成。

接着，参考图60所示的流程图描述向量补偿过程的细节。图60示出图59中步骤S803的向量补偿过程的例子。

在步骤S821，补偿单元811控制评估值操作单元812通过使用零向量来计算评估值DFD0，并且处理前进到步骤S822。具体地，在步骤S821，通过使用如上参考例如图55所述输入的在时间t处的帧t和时间t+1处的帧t+1，评估值操作单元812在使用零向量的情况下计算评估值DFD0，并且向补偿单元811输出所计算的评估值DFD0。

在步骤S822，补偿单元811把评估值DFD0作为最小评估值存储在存储器821中。执行到步骤S823，补偿单元811把零向量作为补偿候选向量存储在存储器821中。在步骤S824，补偿单元811从分配向量确定单元801选择的有关像素周围的8个外围像素中选择一个外围像素，并且执行到步骤S825。此时，补偿单元811按光栅扫描顺序从左上端像素开始选择8个外围像素。

在步骤S825，通过参考分配标志存储器56，补偿单元811确定所选择的外围像素是否具有运动向量。如果分配标志存储器56中外围像素的分配标志为一(真)，则在步骤S825，补偿单元811确定分配给所选择的外围像素的运动向量存在。执行到步骤S826，补偿单元811从分配向量存储器55获得外围像素的运动向量，并且处理前进到步骤S827。接着，同样从分配向量存储器55向评估值操作单元812输出外围像素的运动向量。

当从分配向量存储器55接收外围像素的运动向量时，在步骤S827，通过使用输入的时间t处的帧t和时间t+1处的帧t+1，评估值操作单元812计算来自分配向量存储器55的运动向量的评估值DFD，并且向补偿单元811输出所计算的评估值DFD。处理前进到步骤S828。

当从评估值操作单元812接收评估值DFD时，在步骤S828，补偿单元811确定评估值DFD是否小于存储在存储器821中的有关像素的最小评估值。如果确定评估值DFD小于存储在存储器821中的最小评估值，则补偿单元811执行到步骤S821并且通过确定为小于最小评估值的评估值DFD来重写存储器821中的最小评估值。执行到步骤S830，补偿单元811通过最小评估值的运动向量重写存储器821中的补偿候选向量。处理前进到步骤S831。

如果在步骤S825分配标志存储器56中外围像素的分配标志为零(假)，则补偿单元811确定所选择的外围像素未分配运动向量，并且执行到步骤S831，跳过步骤S826到S830。另外，如果在步骤S828确定评估值DFD等于或大于存储在存储器821中的有关像素的最小评估值，补偿单元811执行到步骤S831，跳过步骤S829和S830。

在步骤S831，补偿单元811确定有关像素周围的所有8个外围像素的处理是否已经完成。如果确定有关像素周围的所有8个外围像素的处理未完成，则补偿单元811返回到步骤S824并且选择下一个外围像素重复后续步骤。如果在步骤S831确定有关像素周围的所有8个外围像素的处理已经完成，则在返回到图59的步骤S804之前完成向量补偿过程。

在上述描述中，针对向量分配单元54未执行分配的每个像素执行向量补偿过程。然而，针对通过某种处理未求出其运动向量的每个像素，例如向量检测单元52未检测到向量(检测到零向量)的像素，可以执行向量补偿过程。另外，针对所检测的运动向量或所分配的运动向量是不可能的(不可靠)的每个像素，可以执行向量补偿过程。

在上述描述中，在每个像素层次执行分配补偿过程。换言之，在图51到58的例子中，在执行分配补偿过程之前评估每个像素。

然而，作为处理的更简化的例子，如图49B和49C所示，可以通过使用一次评估包含多个像素的块的块模式，一次评估一个块中的像素。

例如如图49B的例子所示，有关块B包含四个像素，并且有关块B附近的像素(在图49B的情况下为12个像素)充当外围像素。在有关块B中的四个像素中，分配标志为一的像素(已经存在所分配的向量的像素)可以被用作外围像素。在这种情况下，如图49C所示，类似于图55到57的情况，使用有关块B作为参考来计算用于补偿的候选向量的评估值DFD。有关块B不需要包含四个像素，但可以包含例如不同数量的像素(例如9个像素)，其包含有关块B附近的不同有关块中的像素，有关块B附近的多个像素等等。接着，参考图59B中的流程图描述其中用于每个像素的处理(此后也被称作像素模式过程)被应用于图49B中的有关块B的分配补偿过程。

图59B示出对应于图59A中针对每个像素的分配补偿的针对块的分配补偿过程。在图59B中，类似于图59A的例子的步骤用相同步骤号表示，并且在必要时由于它们是重复的，所以省略其描述。

在图59B的例子中，在步骤S860，分配向量确定单元801选择分配标志存储器56中插入帧的像素作为有关块，并且处理前进到步骤S861。此时，分配向量确定单元801按光栅扫描的顺序从帧的左上像素开始选择例如包含四个像素的有关块。

在步骤S861，分配向量确定单元801确定有关块是否包含分配标志存储器56中分配标志为零(假)的像素。如果分配向量确定单元801确定有关块包含分配标志存储器56中分配标志为零(假)的像素，则分配向量确定单元801认为该有关块包含其运动向量不存在的像素。处理前进到步骤S803。在步骤S803，分配向量确定单元801控制补偿单元811执行向量补偿过程。这个向量补偿过程的细节的唯一不同在于将处理有关块。这个过程基本上类似于参考图60描述的过程。因此，省略其描述。

换言之，有关块的评估值DFD0被计算、存储以及与评估值DFD0比较，由此从分配给有关块的外围像素的运动向量中选择评估值DFD最小的运动向量，并且该运动向量被存储在存储器821中。有关块的补偿候选向量可以针对有关块的所有像素而被存储在存储器821中。可以只针对未分配运动向量的有关块的像素而存储补偿候选向量，并且可以只在有关块的预定像素位置存储补偿候选向量。

在步骤S803，有关块的补偿候选向量被存储在存储器821中，并且处理前进到步骤S862。补偿单元811选择有关块中的有关像素，并且在步骤S862，补偿单元811确定有关块中的有关像素的在分配标志存储器56中的分配标志是否为零(假)。如果确定有关像素的分配标志为零(假)，则在步骤S804，类似于图59A的情况，存储器821中的补偿候选向量在分配向量存储器55中被分配作为有关像素的运动向量。处理前进到步骤S805，分配标志存储器56中有关像素的分配标志被重写为一(真)。处理前进到步骤S863。

如果确定有关像素的分配标志不是零(假)，则补偿单元811执行到步骤S863。在步骤S863，补偿单元811确定有关块中所有像素的处理是否已经完成。如果确定有关块中所有像素的处理未完成，则处理前进到步骤S864，并且选择有关块中下一个有关像素。之后，返回到步骤S862，重复执行后续步骤。

如果在步骤S861确定有关块不包含分配标志存储器56中分配标志为零(假)的像素，或如果在步骤S863确定有关块中的所有像素的处理已经完成，则执行到S865，补偿单元811确定分配标志存储器56中插入帧的所有块的处理是否已经完成。如果确定所有块的处理未完成，则过程返回到步骤S860，并且选择分配标志存储器56中插入帧的下一个块作为有关块。执行后续步骤。如果在步骤S865确定分配标志存储器56中插入帧的所有块的处理已经完成，则分配补偿过程完成。

在上述说明中，运动向量被分配给有关块中的像素(未分配运动向量的像素)。

在上述块模式中，针对仅包含未分配运动向量的像素的块计算的运动向量只为该块分配。另外，在启动块模式之前已经分配给块的像素的运动向量不能被针对该块计算的运动向量替代。此外，根据现有运动向量，向量分配单元54事先把1或0的标志(分配标志存储器56)分配给块中的像素。因而，向量分配单元54不必为了解块中的像素是否具有运动向量而执行重新计算。如上所述，通过在补偿运动向量分配的情况下使用块模式，计算数量比在像素模式中的处理中的计算数量更低。

如上所述，针对向量分配过程未分配运动向量的像素或有关块中的像素，通过利用运动相关性，从像素周围的外围像素的运动向量中，能够获得基于评估值DFD具有最高可靠性的可能的运动向量。因此，与由于不能分配运动向量而分配零向量等等的情况相比，提高了向量分配的准确性，因而抑制了在图像插入过程中产生的图像间断。

从有关像素(或块)周围的外围像素的运动向量中获得的(分配)运动向量是现有运动向量。因而，由于现有运动向量被分配，所以由例如视觉运动向量的分配产生的分配导致的误差未累积在对其执行分配的每个像素中。

另外，在分配补偿过程中，作为分配的候选，还使用在该过程中对其执行新分配的外围像素的运动向量。这表明也使用外围像素(块)的运动向量作为分配候选。换言之，可以从更广范围的外围像素(即，更多外围像素)中搜索要分配的更可靠的运动向量。因此，通过在分配补偿过程中使用外围像素的运动向量，可以把更可靠的运动向量分配给有关像素或有关块。

把通过上述分配补偿过程分配运动向量的像素的分配标志重写为一(真)，并且通过分配补偿过程分配的运动向量被用作下一个像素的补偿候选向量。因而，对于进行基本相同的运动的像素，选择具有基本相同运动的运动向量，使得可以获得具有降低误差的稳定运动向量。结果，降低在后续阶段的图像中产生的块噪声，粉状(powdery)噪声等等以提高图象质量。

另外，针对要求出其运动向量的像素，通过计算零向量的评估值DFD，以及把所计算的评估值DFD作为最小评估值存储在存储器中，与计算所有补偿候选向量的评估值DFD以及从所计算的评估值DFD中选择最小评估值DFD的情况相比，时间和资源可以被有效利用。

接着，描述向量分配单元54的另一例子。

图61是示出信号处理设备1的另一个例子的模块图。图61示出的信号处理设备1与图2中示出的信号处理设备1的结构相同，除了加入确定结果标志存储器911和检测补偿单元912之外。

因此，在图61示出的例子中，24P信号输入图像(时间t+1处的帧t+1)被提供给帧存储器51、向量检测单元52、检测补偿单元912、向量分配单元54、分配补偿单元57和图像插入单元58。把存储在帧存储器51中的时间t处的帧t提供给向量检测单元52、检测补偿单元912、向量分配单元54、分配补偿单元57和图像插入单元58。

向量检测单元52检测在帧存储器51中的帧t的有关块和在输入图像的帧t+1的对象块之间的运动向量，并且把所检测的运动向量存储在检测向量存储器53中。此时，向量检测单元52评估运动向量的可靠性。如果确定运动向量具有高可靠性，则向量检测单元52在确定结果标志存储器911的确定结果标志中存储一(真)。如果确定运动向量具有低可靠性，则向量检测单元52在确定结果标志存储器911的确定结果标志中存储零(假)。使用梯度法，块匹配等等检测两个帧之间的运动向量。在使用梯度法、块匹配等等的情况(后面参照图68描述)下，针对运动向量检测，向量检测单元52求出表示所检测的运动向量的可靠性评估的评估值DFD，并且通过确定所获得的评估值DFD是否小于预定阈值来确定运动向量的可靠性是否高。基于确定的结果，向量检测单元52在确定结果标志存储器911中写入对应值。当梯度法被用于运动向量检测时，向量检测单元52通过确定进行梯度操作的操作块是否在运动向量检测中有许多有效像素来确定运动向量的可靠性是否高。基于确定的结果，向量检测单元52在确定结果标志存储器911中写入对应值。换言之，由于如上所述梯度操作是基于作为统计解的最小平方方法的算术运算，所以运动向量检测中有效像素数量越多，则梯度操作的准确性越高。因而，通过梯度操作计算的运动向量的可靠性提高，即计算更可能的运动向量。

在使用运动向量检测的梯度法的情况下，向量检测单元52的详细结构基本上与如上参考图9和25所述的向量检测单元52的相同。因此，省略图61中向量检测单元52的重复描述。对于图61中的向量检测单元52，有效像素确定单元403确定操作块的运动向量检测中的有效像素数量是否大于预定阈值，并且向梯度操作单元404输出表示确定结果的标志。梯度操作单元404参考来自有效像素确定单元403的标志。当标志表示一(flg＝1)时，标志和所计算的运动向量一起被输出到向量评估单元104。向量评估单元104向检测向量存储器53输出运动向量，并且基于该标志(flg＝1)，向量评估单元104确定在操作块中，运动向量检测的有效像素的数量更大，即运动向量高可靠，向量评估单元104在确定结果标志存储器911中写入一。

另外，通过参考来自有效像素确定单元403的标志，梯度操作单元404发现标志表示一(flg＝0)，梯度操作单元404把标志和零向量输入到向量评估单元104。向量评估单元104向检测向量存储器53输出零向量，并且基于该标志(flg＝0)，向量评估单元104确定在操作块中，运动向量检测的有效像素的数量较少，即运动向量的可靠性低，向量评估单元104在确定结果标志存储器911中写入零(假)。

确定结果标志存储器911针对初始帧中的每个像素存储表示所检测的运动向量的可靠性(即，概率)的确定结果标志。例如，当确定结果标志表示一(真)时，它指示对应像素的运动向量具有高可靠性。当确定结果标志表示零(假)时，它指示对应像素的运动向量具有低可靠性。

当通过参考确定结果标志存储器911中的有关像素的确定结果标志，检测补偿单元912发现确定结果标志表示零(假)时，检测补偿单元912确定向量检测单元52尚未检测到高可靠的运动向量。因此，检测补偿单元912就有关像素周围的外围像素的运动向量补偿有关像素，并且把帧中的运动向量存储在检测向量存储器53中。此时，检测补偿单元912把其中检测到运动向量的有关像素的标志(确定结果标志存储器911中的)重写为一(真)。下面描述检测补偿单元912的结构的细节。

检测补偿单元912基本上与分配补偿单元57的结构相同。具体地，在分配补偿单元57中，进行运动向量补偿的像素是向量分配单元54未分配运动向量的像素。在检测补偿单元912中，代替未分配运动向量的像素，使用未检测到高可靠(可能的)运动向量的像素。下面省略了对检测补偿单元912的重复描述。换言之，分配补偿单元57和检测补偿单元912的不同在于，检测补偿单元912对24P信号帧中的像素执行向量补偿，而分配补偿单元57对60P信号补帧中的像素执行向量补偿。

图62是示出检测补偿单元912的结构的模块图。在图62中示出结构的检测补偿单元912包含检测向量确定单元921和向量补偿单元922。基于上面参考图50描述的运动相关性，检测补偿单元912对向量检测单元52未检测到高可靠运动向量(即，检测到不可能的运动向量)的24P信号帧的像素执行就外围像素的运动向量补偿该像素以及检测该像素的过程。

向量检测单元52在后续阶段中已检测在检测向量存储器53中该帧的像素处的运动向量。另外，把一(真)写入向量检测单元52确定检测到高可靠运动向量的像素的确定结果标志(确定结果标志存储器911中的)中。反之，把零(假)写入向量检测单元52确定检测到低可靠运动向量的像素的确定结果标志(确定结果标志存储器911中的)中。

通过参考确定结果标志存储器911中有关像素的确定结果标志，检测向量确定单元921确定有关像素的可靠性。对于向量检测单元52未检测到高可靠运动向量的有关像素(即，检测到低可靠运动向量)，检测向量确定单元921控制向量补偿单元922选择有关像素周围的外围像素的运动向量以及把该帧中的所选择的运动向量存储在检测向量存储器53中。

向量补偿单元922从检测向量存储器53中获得分配给有关像素周围的外围像素的运动向量。通过使用时间t处的输入帧t和时间t+1处的输入帧t+1求出所获得的运动向量的评估值DFD，并且比较所获得的评估值DFD，向量补偿单元922把在有关像素周围的外围像素中检测的运动向量中基于评估值DFD而具有最高可靠性的运动向量存储在检测向量存储器53中的有关像素中。向量补偿单元922使用一(真)重写基于具有最高可靠性的运动向量的评估值DFD而补偿的有关像素的确定结果标志。

图63是示出向量补偿单元922的结构的模块图。在图63中，对应于图48中的那些部分的部分由对应附图标记表示。因此，省略对这些部分的重复描述。

在图63中，补偿单元811包含存储器821，其用于存储最小评估值DFD以及具有该最小评估值DFD的作为补偿候选向量的运动向量。补偿单元811把在有关像素处已经检测的运动向量的作为最小评估值的评估值DFD，作为检测向量确定单元921选择的有关像素的初值存储在存储器821中，并且把运动向量作为补偿候选向量存储在存储器821中。例如，当操作块具有较小数量的有效像素时，向量检测单元52最终检测到零向量。因而，在这种情况下，把零向量作为补偿候选向量存储在存储器821中。通过参考确定结果标志存储器911，补偿单元811确定有关像素周围的外围像素的运动向量的可靠性，从检测向量存储器53获得在外围像素处检测的运动向量，并且控制评估值操作单元812计算运动向量的评估值DFD。

补偿单元811确定由评估值操作单元812计算的每个评估值DFD是否小于存储在存储器821中的最小评估值。如果确定所计算的评估值DFD小于所存储的最小评估值，则补偿单元811用所计算的评估值DFD及其运动向量来重写存储在存储器821中的补偿候选向量及最小评估值。最终，把确定为具有最小评估值DFD的外围像素的运动向量(补偿候选向量)作为有关像素的运动向量在检测向量存储器53中分配给有关像素。针对就运动向量对其进行补偿并且在其中检测到运动向量的有关像素，补偿单元811使用一(真)来重写确定结果标志存储器911中的确定结果标志。

在从检测向量存储器53获得外围像素的运动向量之后，评估值操作单元812通过使用输入24P信号图像的帧t(时间t处)和帧t+1(时间t+1处)来计算来自检测向量存储器53的运动向量的评估值DFD，并且向补偿单元811输出所计算的评估值DFD。如上所述，分配补偿单元57对在60P信号补帧中的该像素执行向量补偿过程。不同于之处是，检测补偿单元912对24P信号帧中的该像素执行向量补偿过程。因而，评估值操作单元612计算24P信号帧中有关像素处的评估值DFD。

接着，参考图64所示的流程图描述图61示出的信号处理设备1的帧频率转换过程的一个例子。图64示出的步骤S901和S904到S908分别与图6示出的步骤S1和S3到S7基本相同。因此，省略图64中的步骤的重复描述。

在步骤S901，帧存储器51中输入图像的在时间t+1处的帧t+1的像素值和在输入图像的时间t处的前一帧t中的像素值被输入到向量检测单元52。处理前进到步骤S902。此时，帧存储器51中的输入图像的时间t+1处的帧t+1的像素值和输入图像的时间t处的前一帧t中的像素值被输入到向量分配单元54、检测补偿单元912、分配补偿单元57以及图像插入单元58。

在步骤S902，向量检测单元52执行运动向量检测过程，并且执行到步骤S903。换言之，向量检测单元52检测帧存储器51中的帧t的有关块和作为输入图像的下一帧t+1中的对象块之间的运动向量。向量检测单元52把所检测的运动向量存储在检测向量存储器53中，并且执行到步骤S903。使用梯度法，块匹配等等检测两个帧之间的运动向量。当有关像素具有多个候选运动向量时，求出运动向量的评估值DFD，并且基于所获得的评估值DFD检测高可靠的(可能的)运动向量。此时，向量检测单元52确定所检测的运动向量是否高可靠。基于确定的结果，向量检测单元52在确定结果标志存储器911中写入一(真)或零(假)。以后参考图65描述步骤S902的运动向量检测过程的细节。

在步骤S933，检测补偿单元912执行检测补偿过程，并且执行到步骤S904。具体地，在步骤S903，通过参考确定结果标志存储器911中的确定结果标志，检测补偿单元912就有关像素周围的外围像素的运动向量补偿有关像素(在该处向量检测单元52未检测到高可靠运动向量)，并且把帧中所补偿的运动向量存储在检测向量存储器53中。此时，检测补偿单元912使用一(真)重写对应于就运动向量而补偿的有关像素的检测对象标志。当有关像素具有外围像素的多个运动向量时，求出运动向量的评估值DFD，并且基于所获得的评估值DFD检测最可靠的运动向量。以后参考图66描述步骤S903的检测补偿过程的细节。

在步骤S904，向量分配单元54执行向量分配过程，并且执行到步骤S905。具体地，向量分配单元54在分配向量存储器55中在帧t中检测的运动向量分配给进行插入的插入帧中的像素，并且使用一(真)重写分配标志存储器56中对应于该像素的分配标志。

在步骤S905，分配补偿单元57执行分配补偿过程，并且执行到步骤S906。换言之，在步骤S905，通过参考分配标志存储器56中的分配标志，分配补偿单元57就有关像素周围的外围像素处的运动向量对向量分配单元54未分配运动向量的有关像素进行补偿，并且在分配向量存储器55中把所获得的像素分配给插入帧。此时，分配补偿单元57就运动向量进行补偿，并且使用一(真)重写所分配的有关像素的分配标志。

在步骤S906，图像插入单元58执行图像补偿过程。换言之，在步骤S906，图像插入单元58通过使用分配向量存储器55中分配给插入帧的运动向量和帧t和t+1中的像素来执行补偿以产生插入帧中的像素值。处理前进到步骤S907。在步骤S907，图像插入单元58在需要的情况下，通过输出生成的插入帧并且接着输出帧t+1，输出60P信号图像到后续阶段(未示出)。处理前进到步骤S908。

在步骤S908，向量检测单元52确定所有帧的处理是否已经完成。如果确定所有帧的处理未完成，则过程返回到步骤S901并且重复执行后续步骤。如果在步骤S908确定所有帧的处理已经完成，则向量检测单元52完成帧频率转换过程。

接着，参考图65所示的流程图描述图64中的步骤S902的运动向量检测过程的细节。图65示出的步骤S921到923，S925和S926与图12示出的步骤S101到S105基本相同。因此，在需要的情况下，省略对图65中上述步骤的重复描述。

向量检测单元52接收时间t处的输入帧t和时间t+1处的输入帧t+1。在步骤S921，初始向量选择单元101选择帧t中进行处理的块以作为有关块，并且处理前进到步骤S922。在该帧中，按光栅扫描顺序从左上块开始执行处理。

在步骤S922，初始向量选择单元101执行初始向量选择过程。换言之，在步骤S922中，初始向量选择单元101从检测每组块的过去运动向量的结果中选择高可靠的运动向量，向递归梯度操作单元103输出作为初始向量V0、充当用于梯度法的初值的所选择的运动向量。处理前进到步骤S923。

在步骤S923，递归梯度操作单元103和向量评估单元104执行递归梯度操作评估过程，并且执行到步骤S924。具体地，在步骤S923，模式选择单元401选择块单元处理模式和像素单元处理模式中的一个。通过使用通过选择器402输入的初始向量V0和通过前置滤波器102-1输入的帧t+1以及通过前置滤波器102-2输入的帧t，有效像素确定单元403在以块或像素为单位的操作块中对均确定为具有比预定像素差更小的像素差(即，在运动向量检测中有效)的有效像素的数量进行计数。如果确定所计数的有效像素的数量大于预定阈值，则有效像素确定单元403通过梯度操作单元404以块或像素为单位向向量评估单元104输出执行梯度操作的标志(flg＝1)。可选地，如果确定在像素单元操作块中均确定为具有比预定像素差更小的像素差的有效像素的数量不大于预定阈值，则有效像素确定单元403通过梯度操作单元404向向量评估单元104输出标志(flg＝0)。

递归梯度操作单元404通过基于向量评估单元104的运动向量评估的结果递归地执行梯度操作来计算运动向量Vn。另外，向量评估单元104求出运动向量Vn-1和运动向量Vn的评估值DFD，最终基于所获得的评估值DFD选择高可靠的运动向量，并且把所选择的运动向量作为运动向量V存储在检测向量存储器53中。此时，向量评估单元104向偏移初始向量分配单元105提供运动向量V的评估值DFD和运动向量V。

在步骤S924，基于对应于存储在检测向量存储器53中的运动向量V的标志，向量评估单元104在确定结果标志存储器911中写入用于计算运动向量V的操作块中的有效像素的结果(基于该结果的值)。处理前进到步骤S925。换言之，当对应于存储在检测向量存储器53中的运动向量V的标志表示一(flg＝0)时，向量评估单元104确定，由于操作块中有效像素的数量大于预定阈值，所以通过使用这些运动向量检测的运动向量V是高可靠的(可能的)，并且在确定结果标志存储器911中写入一(真)。反之，当对应于存储在检测向量存储器53中的运动向量V的标志表示零(flg＝0)时，向量评估单元104确定，由于操作块中有效像素的数量小于预定阈值，所以通过使用这些运动向量检测的运动向量V(即，零向量)是低可靠的，并且在确定结果标志存储器911中写入零(假)。

在步骤S925，偏移初始向量分配单元105执行偏移初始向量分配过程，并且执行到步骤S926。当提供从向量评估单元104输出的运动向量V及其评估值DFD时，在步骤S925，偏移初始向量分配单元105从所存储的运动向量V中求出穿过下一时间处的帧中任意块的运动向量，并且设置通过把所获得的运动向量偏移到该块而获得的偏移初始向量(即，与运动向量V的量值和取向相同并且其初始点是与运动向量V终点处的块的位置相同的下一帧中的有关块的运动向量)。偏移初始向量分配单元105向偏移初始向量存储器107分配偏移初始向量。

在步骤S926，初始向量选择单元101确定帧t的所有块的处理是否已经完成。如果确定帧t的所有块的处理未完成，则过程返回到步骤S921并且重复执行后续步骤。如果在步骤S926，初始向量选择单元101确定帧t的所有块的处理已经完成，即，如果初始向量选择单元101确定在帧t的所有块的每个块中已经检测运动向量V，则运动向量检测过程完成。

如上所述，在用于梯度操作的操作块中，基于运动向量检测中有效的像素的数量是否更大，表示在每个像素处检测的运动向量的可靠性的标志被存储在确定结果标志存储器911中。因而，通过参考确定结果标志存储器911，检测补偿单元912确定像素的运动向量的可靠性，并且可以对低可靠(不可能的)每个像素执行向量补偿过程。

接着，参考图66所示的流程图描述检测补偿过程的细节。图66示出的检测补偿过程基本上与图59示出的分配补偿过程相同。因此，在需要的情况下，省略对图66中检测补偿过程的重复描述。

向量检测单元52在后续阶段中检测到在检测向量存储器53的帧中的运动向量。另外，把一(真)写入向量检测单元52确定检测到高可靠运动向量的像素的确定结果标志(确定结果标志存储器911中的)中。反之，把零(假)写入向量检测单元52确定检测到低可靠运动向量(例如，零向量)的像素的确定结果标志(确定结果标志存储器911中的)。

在步骤S921，检测向量确定单元921选择分配标志存储器56中的插入帧中的像素作为有关像素，并且执行到步骤S942。检测向量确定单元921按光栅扫描顺序从左上端像素开始选择像素。

在步骤S942，检测向量确定单元921确定有关像素的确定结果标志存储器911中的确定结果标志是否为零(假)。如果确定有关像素的确定结果标志存储器911中的确定结果标志为零(假)，则检测向量确定单元921确定未分配运动向量。执行到步骤S943，检测向量确定单元921控制补偿单元811执行向量补偿过程，并且执行到步骤S944。以后参考图67描述向量补偿过程的细节。在向量补偿过程中，从在外围像素检测的高可靠运动向量中，把具有最小评估值DFD的运动向量作为补偿候选向量存储在存储器821中。

在步骤S944，补偿单元811把补偿候选向量作为检测向量存储器5中的有关像素的运动向量存储在存储器821中，并且执行到步骤S945。补偿单元811重写确定结果标志存储器911中的有关像素的确定结果标志，并且处理前进到步骤S946。

如果在步骤S942确定有关像素的确定结果标志存储器911中的确定结果标志为一(真)，分配向量确定单元801确定在有关像素处已经检测到可能的运动向量，并且执行到步骤S946，跳过步骤S943到S945。

在步骤S946，检测向量确定单元921确定确定结果标志存储器911中的帧中的所有像素的处理是否已经完成。如果确定所有像素的处理未完成，则过程返回到步骤S941，并且选择确定结果标志存储器911中的帧中的下一个像素。之后，执行后续步骤。如果在步骤S946确定确定结果标志存储器911中的帧中的所有像素的处理已经完成，则检测补偿过程结束。

参考图67所示的流程图描述向量补偿过程的细节。图67示出图66中步骤S943的向量补偿过程的例子。因此，图67的例子与图60示出的向量补偿过程基本上相同。因此，在需要的情况下，省略对图67中的例子的重复描述。

在步骤S951，补偿单元811控制评估值操作单元812通过使用已经在有关像素处检测的运动向量来计算评估值DFD0，并且处理前进到步骤S952。具体地，通过使用时间t处的输入帧t和时间t+1处的输入帧t+1，评估值操作单元812计算在有关像素处检测的运动向量的评估值DFD，并且向补偿单元811输出所计算的评估值DFD。

在步骤S952，补偿单元811把所计算的评估值DFD0作为最小评估值存储在存储器821中。执行到步骤S953，补偿单元811把其运动向量作为补偿候选向量存储在存储器821中。在步骤S954，补偿单元811从由检测向量确定单元921选择的有关像素周围的8个外围像素中选择一个外围像素，并且执行到步骤S955。此时，补偿单元811按光栅扫描顺序从左上端像素开始选择8个外围像素。

在步骤S955，通过参考确定结果标志存储器911，补偿单元811确定在所选择的外围像素处是否存在高可靠的运动向量(检测到)。如果外围像素的确定结果标志存储器911中的确定结果标志为一(真)，则在步骤S955，补偿单元811确定在所选择的外围像素处存在高可靠的运动向量。执行到步骤S956，补偿单元811从检测向量存储器53获得外围像素的运动向量，并且处理前进到步骤S957。接着，同样从检测向量存储器53向评估值操作单元812输出外围像素的运动向量。

当从检测向量存储器53接收外围像素的运动向量时，在步骤S957，通过使用时间t处的输入帧t和时间t+1处的输入帧t+1，评估值操作单元812计算来自检测向量存储器53的运动向量的评估值DFD，并且向补偿单元811输出所计算的评估值DFD。处理前进到步骤S958。

当从评估值操作单元812接收评估值DFD时，在步骤S958，补偿单元811确定评估值DFD是否小于存储在存储器821中的有关像素的最小评估值。如果确定评估值DFD小于存储在存储器821中的最小评估值，则补偿单元811执行到步骤S959并且用确定为小于最小评估值的评估值DFD重写存储器821中的最小评估值。执行到步骤S960，补偿单元811用最小评估值的运动向量重写存储器821中的补偿候选向量。处理前进到步骤S961。

如果在步骤S955外围像素的确定结果标志存储器911中的确定结果标志为零(假)，则补偿单元811确定在所选择的外围像素处不存在(未检测到)高可靠的运动向量，并且执行到步骤S961，跳过步骤S956到S960。

在步骤S961，补偿单元811确定有关像素周围的所有8个外围像素的处理是否已经完成。如果确定有关像素周围的所有8个外围像素的处理未完成，则补偿单元811返回到步骤S954并且选择下一个外围像素重复后续步骤。如果在步骤S961确定有关像素周围的所有8个外围像素的处理已经完成，则在返回到图66的步骤S944之前完成向量补偿过程。

如上所述，当梯度操作被用于进行运动向量检测时，通过利用也针对由于操作块中的有效像素数量较少而检测到低可靠(不可能的)运动向量的像素来求出运动相关性的点，从像素周围的外围像素中，可以基于评估值DFD获得最可靠(即，可能的)运动向量。这提高了运动向量检测的准确性。

通过上述检测补偿过程检测到高可靠运动向量的像素的推荐文件被重写为一(真)，并且由检测补偿过程检测的运动向量被用作下一像素的补偿候选向量。因而，对于进行基本相同的运动的像素，选择具有基本相同运动的运动向量，使得可以获得具有较低误差的稳定运动向量。

另外，针对要求出其运动向量的像素，通过事先计算已经检测的运动向量的评估值DFD，以及把所计算的评估值DFD作为最小评估值存储在存储器中，与计算所有补偿候选向量的评估值DFD以及从所计算的评估值DFD中选择最小评估值DFD的情况相比，时间和资源可以被有效利用。

对于向量检测单元52，已经描述了由梯度法检测的运动向量的检测补偿过程。然而，可以把检测补偿过程应用于使用块匹配的运动向量检测。

接着，描述通过块匹配检测的运动向量的检测补偿过程。

图68是图61所示的向量检测单元52的结构的模块图。在图68中示出结构的向量检测单元52通过使用在时间t处的输入帧t和在时间t+1处的输入帧t+1执行块匹配以进行运动向量检测。针对由多个像素组成的每个预定块执行运动向量的这种检测。

由低通滤波器或高斯滤波器构成前置滤波器102-1和102-2。前置滤波器102-1和102-2消除来自输入图像的帧t和帧t+1的噪声分量，并且向块匹配操作单元951输出所获得的帧。

块匹配操作单元951执行块匹配以通过使用分别从前置滤波器102-1和102-2输入的帧t+1和帧t计算每个预定块的运动向量V，并且把所计算的运动向量V存储在检测向量存储器53中。在块匹配中，当运动向量的评估值DFD正被计算时，确定对应于最小评估值DFD的运动向量。因此，块匹配操作单元951把所计算的运动向量V存储在检测向量存储器53中，以及向向量评估单元952输出运动向量V的评估值DFD。

向量评估单元952确定从块匹配操作单元951输出的运动向量V的评估值DFD小于预定阈值。如果确定运动向量V的评估值DFD小于预定阈值，则向量评估单元952把运动向量V视作高可靠的(即，这个运动向量是可能的运动向量)，并且在确定结果标志存储器911中写入一(真)。另外，如果确定运动向量V的评估值DFD等于或大于预定阈值，则向量评估单元952把运动向量V视作低可靠的(即，这个运动向量是不可能的)，并且在确定结果标志存储器911中写入零(假)。

接着，参考图69所示的流程图描述图68中示出的向量检测单元52的运动向量检测过程。这个运动向量检测过程是步骤S902中的运动向量检测过程的另一个例子。

向量检测单元52接收时间t处的输入帧t和时间t+1处的输入帧t+1。当通过前置滤波器102-1和102-2接收输入帧t+1和t时，在步骤S981，块匹配操作单元951选择帧t中进行处理的块作为有关块，并且执行到步骤S982。在该帧中，按光栅扫描顺序从左上块开始执行处理。

在步骤S982，通过使用来自前置滤波器102-1和102-2的帧t+1和t，块匹配操作单元951执行基于块匹配的运动向量检测过程以计算运动向量V。执行到步骤S983，块匹配操作单元951输出所计算的运动向量V以及存储在检测向量存储器53中。此时，块匹配操作单元951输出所计算的运动向量V的评估值DFD到向量评估单元952，并且处理前进到步骤S984。

在步骤S984，向量评估单元952确定来自块匹配操作单元951的运动向量V的评估值DFD是否小于预定阈值。执行到步骤S985，向量评估单元952在确定结果标志存储器911中写入比较的结果，并且处理前进到步骤S986。换言之，如果确定运动向量V的评估值DFD小于预定阈值，则向量评估单元952把运动向量V视作高可靠的(可能的)，并且在确定结果标志存储器911中写入一(真)。反之，如果确定运动向量V的评估值DFD不小于预定阈值，则向量评估单元952把运动向量V视作低可靠的(不可能的)，并且在确定结果标志存储器911中写入零(假)。

在步骤S986，块匹配操作单元951确定帧t的所有块的处理是否已经完成。如果确定帧t的所有块的处理未完成，则过程返回到步骤S981并且重复执行后续步骤。如果在步骤S986块匹配操作单元951确定帧t的所有块的处理已经完成，即，如果初始向量选择单元101确定在帧t的所有块的每个块中已经检测运动向量V，则运动向量检测过程结束。

可以执行基于块匹配的上述运动向量检测过程，即使未使用前置滤波器102-1和102-2。

图70是图61所示的向量检测单元52的结构的另一个例子的模块图。图70中的向量检测单元52与图68示出的向量检测单元52基本上相同，除删除了前置滤波器102-1和102-2之外。因此，省略图70中向量检测单元52的重复描述。换言之，在块匹配中，可以执行运动向量检测而无需前置滤波器。

因此，在图70所示的例子中，通过使用输入帧t+1和t，块匹配操作单元951执行块匹配以计算运动向量V，把所计算的运动向量V存储在检测向量存储器53中，以及向向量评估单元952输出运动向量V的评估值DFD。

向量评估单元952确定从块匹配操作单元951接收的运动向量V的评估值DFD是否小于阈值。如果确定运动向量V的评估值DFD小于预定阈值，则向量评估单元952把运动向量V视作高可靠的，并且在确定结果标志存储器911中写入一(真)。反之，如果确定运动向量V的评估值DFD不小于预定阈值，则向量评估单元952把运动向量V视作低可靠的(即，这个运动向量是不可能的)，并且在确定结果标志存储器911中写入零(假)。

图70中的向量检测单元52的运动向量检测过程与图68中的向量检测单元52的运动向量检测过程基本上相同。因此，省略图70中向量检测单元52的运动向量检测过程的重复描述。

如上所述，基于通过块匹配在像素处检测的运动向量的评估值DFD和预定阈值之间的比较的结果，表示在像素处检测的运动向量的可靠性的标志被存储在确定结果标志存储器911中。因而，通过参考确定结果标志存储器911，检测补偿单元912能够基于在像素处检测的运动向量的评估值DFD知道可靠性。当可靠性低时，可以执行向量补偿过程。

尽管在上述描述中使用块匹配，但是通过使用由梯度法在像素处检测的运动向量的评估值DFD，表示在该像素处检测的运动向量的可靠性的标志可以被存储在确定结果标志存储器911中。运动向量检测不限于上述两种方法，并且本发明的向量补偿过程可以被应用于其它运动向量检测方法。

如上所述，针对某个过程未能求出运动向量的像素，例如向量分配单元54未分配运动向量的像素，或向量检测单元52未检测到运动向量的像素，通过利用像素的运动相关性，可以从像素周围的外围像素的运动向量中获得最可靠的(可能的)运动向量。因此，由于与执行现有技术的向量补偿过程的情况相比，在初始帧中检测到更可能的运动向量，并且可能的运动向量被分配给插入帧，所以提高了运动向量检测的准确性以及运动向量分配的准确性。这导致抑制了在后续阶段中的图像插入过程中的生成图像的退化，因而提高帧频率转换过程的准确性。

尽管在上述实施例的描述中作为差的绝对值的总和的评估值DFD被用作用于运动向量选择的评估值，但是评估值不限于评估值DFD，而且在运动向量的可靠性可以被评估的情况下，可以使用其它类型的值。

另外，尽管上述实施例描述了执行每个过程的块包括例如8×8像素和9×9像素，然而这些是例子，并且构成执行每个过程的块的像素数量不限于上述像素的数量。

此外，尽管上述实施例已经通过示例从24P信号到60P信号的信号转换进行描述，但是本发明可以被应用于例如交错信号转换以及例如运动图像帧频率转换的其它帧速率转换。

上述连续处理可以由硬件或软件执行。当由软件执行连续处理时，构成软件的程序被从程序存储器介质安装到例如建成专用硬件的计算机，或通过安装各种程序建成的、可以执行各种功能的多用途个人计算机。

存储安装到计算机并且由计算机进行执行的程序的程序存储器介质，如图1所示，包含磁盘31(包含软盘)，光盘32(CD-ROM(光盘只读存储器)，DVD(数字化视频光盘))，磁光盘33(包含MD(小型盘片))，以及半导体存储器34的可移动记录介质(包装介质)，以及临时或永久地存储程序的ROM 12。

在这个说明书中，在流程图中示出的步骤包含基于所提供的顺序按时间序列方式执行的处理步骤和在不总是按时间序列方式执行的情况下并行或独立执行的处理步骤。

Claims (10)

1.一种检测第一帧中运动向量以及基于所检测的运动向量产生在第二帧中的像素值的图像处理设备，该图像处理设备包括：

向量确定装置，用于确定是否在第一帧或第二帧的有关区域中设置高可靠的运动向量，该有关区域包含一或多个像素；以及

向量设置装置，用于当所述向量确定装置确定未在有关区域的至少一部分中设置高可靠运动向量时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

2.如权利要求1所述的图像处理设备，还包括：

向量检测装置，用于检测第一帧中的运动向量；以及

可靠性计算装置，用于计算表示由向量检测装置针对有关区域检测的第一帧中的运动向量的可靠性的评估值，

其中

基于所述可靠性计算装置的操作结果，所述向量检测装置确定是否在第一帧中有关区域中设置高可靠运动向量；并且

所述向量设置装置在有关区域中把在第一帧中有关区域附近的外围像素上检测的运动向量中最可靠的运动向量设置为有关区域的运动向量。

3.如权利要求1所述的图像处理设备，还包括：

有效像素确定装置，用于确定操作块中的像素是否在检测运动向量方面有效，该像素进行检测运动向量的操作；以及

运动向量检测装置，用于通过使用有效像素确定装置确定有效的像素执行操作来检测运动向量，

其中

基于所述有效像素确定装置的确定结果，所述向量确定装置确定是否在第一帧中有关区域中设置高可靠的运动向量；并且

所述向量设置装置把在第一帧中有关区域的附近检测的运动向量中最可靠的运动向量设置为有关区域的该部分的运动向量。

4.如权利要求1所述的图像处理设备，还包括向量分配装置，用于把第一帧中所检测的运动向量分配给第二帧中有关区域，

其中

基于由所述向量分配装置分配运动向量的结果，所述向量确定装置确定高可靠的运动向量是否被分配给第二帧中有关区域；并且

所述向量设置装置把在第二帧有关区域的附近检测的运动向量中最可靠的运动向量设置为有关区域的该部分的运动向量。

5.如权利要求4所述的图像处理设备，其中所述向量设置装置把在第二帧中有关区域的附近检测的运动向量中最可靠的运动向量设置为一个部分的运动向量，其中向量确定装置确定高可靠的运动向量未被分配给该部分。

6.如权利要求1所述的图像处理设备，还包括候选向量设置装置，用于当所述向量确定装置确定高可靠的运动向量未被设置在有关区域中时，把针对有关区域附近的外围像素获得的运动向量设置为有关区域的运动向量的候选向量，

其中所述候选向量设置装置也把由所述向量设置装置在设置有关区域的运动向量之前在外围像素上设置的运动向量设置为有关区域的运动向量的候选向量。

7.如权利要求6所述的图像处理设备，其中所述向量设置装置把针对有关区域附近的外围像素获得的运动向量设置为一个部分中的候选向量，其中所述向量确定装置确定高可靠的运动向量未被设置在该部分中。

8.一种图像处理设备中用于检测第一帧中的运动向量以及基于所检测的运动向量在第二帧中产生像素值的图像处理方法，该图像处理方法包括：

向量确定步骤，确定高可靠的运动向量是否被设置在第一帧或第二帧的有关区域中，该有关区域包含一或多个像素；以及

向量设置步骤，当在向量确定步骤确定高可靠的运动向量未被设置在有关区域的一部分中时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

9.一种记录有程序的记录介质，该程序允许计算机执行检测第一帧中的运动向量以及基于所检测的运动向量在第二帧中产生像素值的处理，该程序包括：

向量确定步骤，确定高可靠的运动向量是否被设置在第一帧或第二帧的有关区域中，该有关区域包含一或多个像素；以及

向量设置步骤，当在向量确定步骤确定高可靠的运动向量未被设置在有关区域的一部分中时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

10.一种允许计算机执行检测第一帧中的运动向量以及基于所检测的运动向量产生第二帧中的像素值的处理的程序，该程序包括：

向量确定步骤，确定高可靠的运动向量是否被设置在第一帧或第二帧的有关区域中，该有关区域包含一或多个像素；以及

向量设置步骤，当在向量确定步骤确定高可靠的运动向量未被设置在有关区域的一部分中时，在有关区域中把针对有关区域附近的外围像素获得的运动向量中最可靠的运动向量设置为该部分有关区域的运动向量。

Images