CN1388710A - 图像运动检测电路 - Google Patents

Abstract

本发明的目的在于提供即使对于由不同静止图像相互接续的图像序列,也能进行精度良好的运动检测的图像运动检测电路与图像运动检测方法。其中,首先由多个寄存器保持输入图像信号的预定帧期间的帧间差分绝对值,然后从此多个寄存器保持的帧间差分绝对值中抽取最大值,从预定帧期间的帧间差分绝对值的合计值中减去此最大值,而检测出图像序列全体的运动。

Description

图像运动检测电路

技术领域

本发明涉及检测电视信号等图像序列全体运动量的图像运动检测电路以及图像运动检测方法。

技术背景

作为有关电视信号运动检测电路的已有技术，例如已知有特许第2585544号公报中所描述的。图4是示明上述公报中所述运动检测电路结构的框图。此运动检测电路如图4所示，包括输入端401、帧存储器402、减法器403、运动信息转换电路404、积分电路405与输出端406。输入到输入端401的电视信号输入帧存储器402中。减法电路403算出帧存储器402的输入输出差即帧间的差。然后运动信息转换电路404将帧间的差分信号转换为表示运动的信号。积分电路405将同一像素或外围像素的过去的有限帧期间中的运动信息积分。通过以上操作，已有的运动检测电路可从输出端406输出运动信息。

但上述已有的运动检测电路构成为，在将帧间差分的绝对值转换为运动信息后，于过去的预定周期中对此运动信息进行积分，因此当某个静止图像与另一静止图像接续时，即在发生所谓场景更换的情形中会计算出大的帧间差分值。结果将图像序列全体的运动作为大的运动检测，影响到运动检测精度变差。

上述问题在积分周期长时不构成大的问题，但随着积分周期变短就逐渐使问题加重。

由于积分周期相当于运动检测中所需的时间，从减少存储器的观点考虑，也要求缩短积分周期。

发明内容

因此，本发明的目的在于提供这样的图像运动检测电路与图像运动检测方法，它们即使是对于不同的静止图像相互接续的图像序列，也能进行精度良好的运动检测。

本发明技术方案1的图像运动检测电路的特征在于具有：根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取装置；保持N(N为≥4的自然数)个上述帧间差分绝对值的保持装置；从由上述第一抽取装置抽取的1个帧间差分绝对值和上述保持装置所保持的N个帧间差分绝对值中，从大的一方开始抽取M(M是符合1≤m≤N/4的自然数)个帧间差分绝对值的第二抽取装置；对上述N+1个帧间差分绝对值，除去上述抽取的M个帧间差分绝对值，进行加法运算的加法装置。

本发明技术方案2的图像运动检测电路的特征在于具有：根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取装置；根据输入图像信号以帧为单位抽取水平邻接像素差分值的累加值的第二抽取装置；根据上述帧间差分绝对值与上述水平邻接像素差分值的累加值计算帧运动量的计算装置；保持N(N为≥4的自然数)个上述帧的运动量的保持装置；从上述计算装置计算出的1个帧运动量和上述保持装置保持的N个帧运动量内，从大的一方开始抽取M(M为符合1≤M≤N/4的自然数)个帧运动量的第三抽取装置；对上述N+1个帧运动量，除去上述抽取的M个帧运动量，进行加法运算的加法装置。

本发明的技术方案3的图像运动检测方法的特征在于具有：根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取步骤；保持N(N为≥4自然数)个上述帧间差分绝对值的保持步骤；从由上述第一抽取步骤抽取的1个帧间差分绝对值和上述保持步骤所保持的N个帧间差分绝对值中，从大的一方开始抽取M(M是符合1≤M≤N/4的自然数)个帧间差分绝对值的第二抽取步骤；对上述N+1个帧间差分绝对值，除去上述抽取的M个帧间差分绝对值，进行加法运算的加法运算步骤。

本发明技术方案4的图像运动检测方法的特征在于具有：根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取步骤；根据输入图像信号以帧为单位抽取水平邻接像素差分值的累加值的第二抽取步骤；根据上述帧间差分绝对值与上述水平邻接像素差分值的累加值计算帧运动量的计算步骤；保持N(N为≥4的自然数)个上述帧的运动量的保持步骤；从上述计算装置计算出的1个帧运动量和上述保持装置保持的N个帧运动量中，从大的一方开始抽取M(M为符合1≤M≤N/4的自然数)个帧运动量的第三抽取步骤；对上述N+1个帧运动量，除去上述抽取的M个帧运动量，进行加法运算的加法步骤。

如上所述，根据本发明，通过对输入图像信号的预定帧期间部分的帧间差分绝对值，除去从大的一方开始预定个数部分的帧间差分绝对值，进行加法运算检测出图像序列全体的运动，即使是对不同静止图像相互接续的图像序列，也能忽略此种接续点而检测出图像序列的运动，由此可以取得提高图像全体运动检测精度的效果。特别是需要在短时间内检测出图像运动时，这方面的有效性尤为显著。

此外，根据本发明，由于是依据输入图像信号的帧间差分绝对值与此帧为单位的水平邻接像素差分的累加值计算以帧为单位的运动量，对预定帧期间部分的运动量，除去从大的一方开始所得预定个数部分的帧运动量，通过加法运算检测图像序列全体的运动，故能以帧为单位不依赖空间频率进行运动量的计算，而且即使是不同静止图像相互接续的图像序列，也能忽略此种接续点而检测出图像序列的运动，由此可以取得提高图像全体运动检测精度的效果。特别是需要在短时间内检测出图像运动时，这方面的有效性尤为显著。

附图说明

图1是示明本发明实施形式1的图像运动检测电路结构的框图。

图2是示明本发明实施形式2的图像运动检测电路结构的框图。

图3是用于说明本发明实施形式1的图像运动检测方法的流程图。

图4是示明已有的运动检测电路结构的框图。

图中各标号的意义如下：

100、200，图像运动检测电路；101，帧存储器；102、108，减法器；103、绝对值转换电路；104，累加电路；105、寄存器；106、特异点抽取电路；107，积分电路；201、水平邻接像素差分计算电路；202、帧运动量计算电路。

具体实施方式

下面用图1～3说明本发明的图像运动检测电路。

(实施形式1)

图1是例示本发明实施形式1的图像运动检测电路100的结构的框图，图像运动检测电路100具有：将输入图像信号延迟1帧期间的帧存储器101；算出输入图像信号的存在于同一空间位置的图像帧间级差的减法器102；求出减法器102对各像素算出的级差的绝对值的绝对值转换电路103；于帧的开头将累加结果置0，以帧为单位对上述绝对值作累加运算而求出累加值的累加电路104；以帧为单位保持N(N为≥4的自然数)个帧间差分绝对值的累加值的N个寄存器105；于累加电路104输出的1个累加值和N个寄存器105保持的N个累加值中，从大的一方开始从帧开头中抽取M(M为符合1≤M≤N/4的自然数)个部分的累加值的特异点抽取电路106。此外，在以下说明中，除非特加说明，累加值是指帧间差分绝对值的累加值。再有，图像运动检测电路100具有：将作为累加电路104输出的1个累加值与N个寄存器105保持的N个累加值，但不包括特异点抽取电路106抽取的M个累加值，相加的装置，即积分电路107与减法器108。积分电路107对累加电路104输出的1个累加值与N个寄存器105保持的N个累加值进行加法运算，求其合计值。减法器108从积分电路107求得的累加值的合计值中减去由特异点抽取电路106抽取的M个累加值。

此外，能够有效地识别由两个图像序列接续而成的场景变更的最少帧数一般为6，因而N最好是≥4的自然数。本实施形式1中，图像运动检测电路100以具有4个寄存器105(寄存器105a～105d)，检测6帧期间的运动量为例进行说明。

现来详细说明以上构成的图像运动检测电路100的操作。首先输入图像信号。输入图像信号在由帧存储器101延迟1帧期间的同时被输入减法器102中。减法器102根据输入图像信号与帧存储器101的输出，计算出同一空间处存在的像素级差。绝对值转换电路103将减法器102算出的帧间像素级差分值转换为绝对值。累加电路104以帧为单位对上述绝对值进行累加运算，计算出帧间差分绝对值的累加值，由累加电路104计算出的累加值然后通过串行连接的4个寄存器105a～105d，以帧为单位顺次移位并保持。以上操作的结果，使寄存器105a～105d所保持的4个累加值与累加电路104输出的1个累加值，一起输入特异点抽取电路106与积分电路107。

特异点抽取电路106在输入的5个累积加法运算值内，从大的一方开始抽取M个累加值。考虑到N+1帧期间因2个图像序列接续导致场景变更时，由于M的值为符合1≤M≤N/4的自然数时有效，于是在检测6帧期间的运动量时，M的值成为1。由此，特异点抽出电路106抽取5个累加值在内的最大值。这种情形下，例如在静止图像相互接续的图像序列中，不同的静止图像相连续的所谓场景变更时，帧间差分绝对值的累加值就成为非常大的值。于是抽取的最大值便相当于场景变更时帧间差分绝对值的累加值。与此相反，积分电路107则算出5个累加值的合计值。

由特异点抽取电路106抽取的最大值以及由积分电路107算出的合计值输入减法器108。减法器108从5个累加值的合计值中减去其最大值。由此算出除去此最大值外的四个累加值的合计值。图像运动检测电路100将此合计值作为图像序列全体的运动量输入。

如上所述，图像运动检测电路100在求出6帧期间的运动量时，是把6帧期间的帧间差分绝对值的累加值除去其最大值进行加法运算，在检测出图像序列全体的运动量后相对于静止图像相互接续的图像序列求出运动量时，能够检测出忽略场景变更部分的运动量。此外，在与所谓静止图像的连续或动态图像的连续这样相同的运动是连续的图像序列时，即使是从多个帧间差分绝对值的累加值中忽略1个值，也不会影响所检测出的图像序列全体的运动量。

以下用图3说明应用本实施形式1的图像运动检测电路100进行的图像运动检测方法，首先将寄存器105，累加电路104以及帧存储器101的各数据初始化为0(步骤S301)。再将图1中各寄存器105a～105d中所保持的累加值从寄存器105a开始依序作为frame1、frame2、frame3、frame4，而由累加电路104以帧为单位保持的累加值则作为frame0，下面对此进行说明。

接着，将图像信号以帧为单位输入，判断输入图像信号的帧开头(步骤S302)。判断的结果不是帧的开头时，由减法器计算构成输入图像信号1帧的像素的级与由帧存储器101延迟1帧期间的图像信号的像素级的差分值即帧间差分值，将此差分值由绝对值转换电路103绝对值化，计算帧间差分绝对值(pixel-abs-diff)(步骤S307)。此pixel-abs-diff可相对于1帧期间部分的像素进行不断的计算。然后由累加电路104对pixel-abs-diff进行累积加法运算，计算帧间差分绝对值的累加值(frame-abs-diff)(步骤S308)。此frame-abs-diff用于由累加电路104在1帧期间内对pixel-abs-diff进行累加运算时使用。

另一方面，当步骤S302的判断结果是帧的开头时，将累加电路104计算出的frame-abs-diff作为frame 0，以帧为单位保持，此外，由寄存器105a-105d，将以帧为单位保持的累加值顺次移位保持。这就是说，通过移位操作，在以帧为单位保持的情况下，frame 0置换为frame 1，frame 1置换为frame 2，frame2置换为frame3，frame3置换为frame4(步骤303)。

然后从累加电路104中作为frame 0保持的以及寄存器105a-105d中作为frame1、frame2、frame3、frame4保持的帧间差分绝对值的累积加法运算值中，由特异点抽取电路106抽取出最大值(frame-max)(步骤S304)，再由积分电路107求出前述5个累加值(frame0-frame4)的合计值，而从积分电路107求出的合计值中由减法器108减去特异点抽取电路106抽取的最大值，由此来检测图像全体的运动量(步骤S305)。最后，将为进行帧间差分绝对值的累加运算而在不断计算中所用的frame-abs-diff复位到零。

如上所述，根据本实施形式1的图像运动检测电路或图像运动检测方法，从输入图像信号的预定帧期间的帧间差分绝对值之中抽取出最大值的同时，将预定帧期间的期间帧间差分绝对值除去前述最大值再进行加法运算，检测出图像序列全体的运动后，能够在场景变更时除去计算出特异值而检测图像序列全体的运动，可以提高图像的运动检测精度。

此实施形式1是在检测6帧期间的运动量之际，将5个帧间差分绝对值的累加值在除去了最大值的条件下进行加法运算，将其合计值作为图像序列全体的运动量检测时进行的说明，但在检测延迟有可能更大的系统中，此图像运动检测电路100则可以采用更多的累加值来检测图像序列全体的运动量，在此种检测延迟有可能延长时，由于场景变更的次数也增多，故不仅要除去最大值，还需要除去从大值开始的若干个值进行检测。例如用10个帧间差分绝对值的累加值来检测图像序列全体的运动量时，可将从其中大的一方除去2个累加值的结果作为图像序列全体的运动量检测。此时，图1所示的图像动态检测电路100具有9个寄存器105，由特异点抽取电路106从10个帧间差分绝对值的累加值内大的一方开始抽取2个累加值，由积分电路107算出10个帧间差分绝对值的累加值。然后由减法器108从10个累加值的合计值减去上述抽取的2个累加值的合计值，而检测出图像序列全体的运动量。

(实施形式2)

图2是示明本发明实施形式2的图像运动检测电路200结构的框图，其中与图1所示图像动态检测电路100相同的部件附以相同标号而略去其说明。本实施形式2与实施形式1同样地是以图像动态检测电路200具有4个寄存器105(寄存器105a-105d)，检测6帧期间的运动量为例进行说明。

本实施形式2的图像运动检测电路200如图2所示，具有水平邻接像素差分计算电路201和帧运动量计算电路202，这一点与图像运动检测电路100不同。此水平邻接像素差分计算电路201对输入图像信号的水平邻接像素差分以帧为单位进行累加运算，求出累加值(H)。帧运动量计算电路202用累加值(H)校正帧间差分绝对值的累加值(F)，计算出帧运动量。

下面详细说明本实施形式2的图像运动检测电路200的操作。首先输入图像信号。输入图像信号于帧存储器101延迟1周期，同时输入减法器102，减法器102根据输入图像信号与帧存储器101的输出，算出同一空间位置中存在的像素的级差。绝对值转换电路103将减法器102计算出的帧间的像素级差分值转换为绝对值。累加电路104以帧为单位对此绝对值进行累加运算，求出帧间差分绝对值的累加值(F)。水平邻接像素差分计算电路201根据各帧的输入图像信号，计算水平邻接像素差分，对此差分以帧为单位进行累加运算，计算出累加值(H)。

帧运动量计算电路202输入累加值(F)与累加值(H)，计算以帧为单位的运动量。此计算例如可通过求出F/H(H＝0除外)形式的F与H之比来进行。这样，对于空间频率高(即H大)的图像，即使有少许运动时，F组也会非常之大，与此相反，对于空间频率低(即H小)的图像，即使作同样的运动，对F值的变小也能校正。

通过帧运动量计算电路202计算出的以帧为单位的运动量，此后便通过串行连接的寄存器105a-105d以帧为单位顺次移位，保持。由以上操作的结果，寄存器105a-105d所保持的4个帧的运动量与累加电路104输出的1个帧的运动量，被输入特异点抽取电路106与积分电路107。

特异点抽取电路106从输入的5个累加值内的大的一方开始抽取M个累加值。考虑N+1帧期间内2个图像序列接续时发生的场景变更情形，由于M值在符合1≤M≤N/4的自然数时为有效，故在检测6帧期间的运动量时，M值成为1。此时，例如静止图像相互接续的图像序列中，不同静止图像相连续的所谓场景变更时的帧运动量就成了非常大的值。由此，抽取的最大值便对应于场景变更时的帧运动量。与此相反，积分电路107便计算输入的5个帧运动量的合计值。

由特异点抽取电路106抽取的最大值以及由积分电路107计算出的合计值被输入减法器108，减法器108从5个帧的运动量合计值中减去其中的最大值。由此计算出5个帧运动量内除最大值外4个帧运动量的合计值。图像动态检测电路200将此合计值作为图像序列全体的运动量输出。

下面由图3说明应用本实施形式2的图像运动检测电路200进行的图像运动检测方法，此图像运动检测方法与实施形式1所述的图像运动检测方法有以下各点不同。首先如图3所示的步骤S302中在判断不存在帧的开头的情况下的处理不同。具体地说是在进行步骤S307的处理的同时，由水平邻接像素差分计算电路201求出输入图像信号的水平邻接像素差分的累加值，由帧运动检测电路200根据步骤S308求出的frame-abs-diff与水平邻接像素差分的累加值求出帧运动量，然后是相对于帧运动量进行实施形式1说明的步骤S303-步骤S306的处理时的情况不同。

如上所述，根据本实施形式2的图像运动检测电路或图像运动检测方法，从输入图像信号的帧间差分绝对值与以帧为单位的水平邻接像素差分的累积加法运算值中抽取帧单位的运动量，从预定帧期间的帧运动量内抽取其中的最大值，同时从预定的帧期间的帧运动量中除去上述最大值后对其进行加法运算，而检测图像序列全体的运动，据此能在场景变更时除去计算出的特异值检测图像序列全体的运动，可以提高图像运动的检测精度。

本实施形式2是在检测6帧期间的运动量之际，对5个帧运动量除去其中的最大值进行加法运算，而将此合计值作为图像序列全体的运动量进行检测的情形作说明，但在检测延迟可能更大的系统时，此图像运动检测电路200可以采用更多的帧运动量来检测图像序列全体的运动量。在此检测延迟有可能延长时，由于场景变更次数也增多，故不仅需要除去最大值，还需要从大的一方开始除去若干个值来检测运动量。例如用10个帧运动量来检测图像序列全体的运动量时，可将从帧运动量大的一方开始除去2个值作为图像序列全体的运动量检测。此时，图2所示的图像运动检测电路200具有9个寄存器105，由特异点抽取电路106从10个帧运动量内大的一方开始抽取2个帧运动量，由积分电路107计算10个帧运动量的合计值。然后由减法器108从10个帧运动量的合计值中减去上述抽取的2个帧运动量的合计值，而检测出图像序列全体的运动量。

Claims (4)

1.一种图像运动检测电路，其特征在于具有：

根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取装置；

保持N(N为≥4的自然数)个上述帧间差分绝对值的保持装置；

从由上述第一抽取装置抽取的1个帧间差分绝对值和上述保持装置所保持的N个帧间差分绝对值中，从大的一方开始抽取M(M是符合1≤M≤N/4的自然数)个帧间差分绝对值的第二抽取装置；

对上述N+1个帧间差分绝对值，除去上述抽取的M个帧间差分绝对值，进行加法运算的加法运算装置。

2.一种图像运动检测电路，其特征在于具有：

根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取装置；

根据输入图像信号以帧为单位抽取水平邻接像素差分值的累加值的第二抽取装置；

根据上述帧间差分绝对值与上述水平邻接像素差分值的累加值计算帧运动量的计算装置；

保持N(N为≥4的自然数)个上述帧的运动量的保持装置；

从上述计算装置计算出的1个帧运动量和上述保持装置保持的N个帧运动量内，从大的一方开始抽取M(M为符合1≤M≤N/4的自然数)个帧运动量的第三抽取装置；

对上述N+1个帧运动量，除去上述抽取的M个帧运动量，进行加法运算的加法装置。

3.一种图像运动检测方法，其特征在于具有：

根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取步骤；

保持N(N为≥4的自然数)个上述帧间差分绝对值的保持步骤；

从由上述第一抽取步骤抽取的1个帧间差分绝对值和上述保持步骤所保持的N个帧间差分绝对值中，从大的一方开始抽取M(M是符合1≤M≤N/4的自然数)个帧间差分绝对值；

对上述N+1个帧间差分绝对值，除去上述抽取的M个帧间差分绝对值，进行加法运算的加法运算步骤。

4.一种图像运动检测方法，其特征在于具有：

根据输入图像信号以帧为单位抽取帧间差分绝对值的第一抽取步骤；

根据输入图像信号以帧为单位抽取水平邻接像素差分值的累积加法运算值的第二抽取步骤；

根据上述帧间差分绝对值与上述水平邻接像素差分值的累加值计算帧运动量的计算步骤；

保持N(N为≥4的自然数)个上述帧运动量的保持步骤；

从上述计算步骤计算出的1个帧运动量和上述保持装置保持的N个帧运动量内，从大的一方开始抽取M(M为符合1≤M≤N/4的自然数)个帧运动量的第三抽取步骤；

对上述N+1个帧运动量，除去上述抽取的M个帧运动量，进行加法运算的加法步骤。

Images