CN103548055B - 运动图像区域判定装置或其方法 - Google Patents

Abstract

通过简单的结构判定矩形运动图像区域。运动单位块判断单元（5）关于各单位块，在比较对象帧的相同位置的单位块的代表值超过阈值时，作为运动单位块。运动列块确定单元（7）将与某单位块属于相同列的单位块的集合定义成列块，在各列块存在运动单位块时确定作为运动列块。运动行块确定单元（9）在各行块存在运动单位块时确定作为运动行块。第1矩形运动图像区域确定单元（11）确定通过属于运动行块和运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域。

Description

运动图像区域判定装置或其方法

技术领域

本发明涉及运动图像区域的判定方法，特别是涉及矩形的运动图像区域判定。

背景技术

当前，对输入的动态图像或静态图像的信号进行高分辨率化而输出的技术备受瞩目。例如，如果能够仅对显示区域中的动态图像区域进行提高分辨率的处理，则即使是粗糙的输入动态图像，也能够清晰可辨地显示。

如果涉及的动态图像区域是固定的，则能够手动进行指定，但是，在该情况下，指定处理也很复杂。更不用说在所述动态图像区域移动的情况下，所述手动指定存在极限。

关于动态图像区域的指定，已提出各种方法。例如，在专利文献1中公开有以块为单位的移动检测。具体地讲，对前后帧中的同一像素的灰度值进行比较，在灰度值不同时判断为动态像素，以块为单位，求出动态像素的像素数量比例，在该比例比阈值大时，将该块判断为动态图像的块。

现有技术文献

专利文献

专利文献1：日本特开平11-007266号公报

发明内容

发明要解决的课题

但是，在上述专利文献1公开的判定方法中，是对每一个像素进行比较之后，按照每个块对像素数进行计数，因此，需要对一帧的全部像素进行比较，实现成本和设计难易度提高。

本发明的目的在于，解决上述问题，提供以简单的结构判定矩形运动图像区域的判定方法或其装置。

用于解决课题的手段

(1)本发明的矩形运动图像区域确定方法，确定显示于在行方向和列方向上矩阵状地配置有像素的显示区域的一部分上的矩形运动图像区域，该矩形运动图像区域确定方法具有：运动单位块判断步骤，将所述显示区域分割成由规定数量的像素构成的单位块，并且，判断各单位块是否是存在运动的运动单位块；运动列块确定步骤，将所述单位块中的、与位于最上部的各单位块属于相同列的单位块的集合定义成列块，当各列块至少存在一个以上的运动单位块时，确定该列块作为运动列块；运动行块确定步骤，将所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合定义成行块，当各行块至少存在一个以上的运动单位块时，确定该行块作为运动行块；第1矩形运动图像区域确定步骤，确定由属于所述运动行块和所述运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域；以及第2矩形运动图像区域确定步骤，关于构成所述矩形运动图像区域的单位块中的、构成外周的四边的单位块，根据这些单位块内的各像素，将由所述矩形运动图像区域内的边缘定义的区域作为所述矩形运动图像区域。

如上所述，按照每个所述单位块判断是否是运动单位块，确定所述运动行块和运动列块，确定由属于其双方的单位块指定的矩形区域作为矩形运动图像区域，从而能够确定运动图像区域。另外，关于构成该区域的单位块中的、构成外周的四边的单位块，根据这些单位块内的各像素，将由所述矩形运动图像区域内的边缘定义的区域作为所述矩形运动图像区域，从而能够确定更精确的运动图像区域。

(2)在本发明的矩形运动图像区域确定方法中，在所述第2矩形运动图像区域确定步骤中，关于所述构成外周的四边的单位块，对于这些单位块内的行方向，确定各行的代表像素值不同的行作为所述矩形运动图像区域的边界，对于这些单位块内的列方向，确定各列的代表像素值不同的列作为所述矩形运动图像区域的边界。因此，能够根据每行的代表像素值确定边界。

(3)在本发明的矩形运动图像区域确定方法中，在所述第2矩形运动图像区域确定步骤中，关于所述构成外周的四边的单位块，对于这些单位块内的各像素，判断是否是在不同帧之间存在运动的运动像素，确定所述矩形运动图像区域的边界。因此，能够根据各像素的运动向量确定边界。

(4)在本发明的矩形运动图像区域确定方法中，在所述第2矩形运动图像区域确定步骤中，关于所述构成外周的四边的单位块，对于这些单位块内的各像素，提取构成行方向边缘和列方向边缘的像素，根据对于各行构成行方向边缘的像素的总数和对于各列构成列方向边缘的像素的总数，确定所述矩形运动图像区域的边界。

(5)在本发明的矩形运动图像区域确定方法中，在所述第2矩形运动图像区域确定步骤之前，进行判定所确定的矩形运动图像区域是否由于滚动而使图像在帧间不同的滚动符合判定。因此，能够区别是否为滚动。另外，在判断为滚动时，不进行所述第2矩形运动图像区域确定步骤。因此，在为滚动时能够进行迅速的判断。

(6)在本发明的矩形运动图像区域确定方法中，在所述滚动相关判定中，关于所确定的矩形运动图像区域的各像素，根据与周边像素之间的像素值的差，判断是否是边缘，关于不是所述边缘的像素在行方向或列方向上存在规定数量以上的行或列，识别为文字间隙存在区域，根据所述文字间隙存在区域相对于所述确定的矩形运动图像区域的比例，进行滚动相关判定。因此，能够可靠地判断滚动包含文字的图像的情况。

(7)在本发明的矩形运动图像区域确定方法中，关于在所述第1矩形运动图像区域确定步骤中确定的矩形运动图像区域，在第2矩形运动图像区域确定步骤之前，重复执行所述运动列块确定步骤、所述运动行块确定步骤以及所述第1矩形运动图像区域确定步骤。因此，即使在存在多个待检测的运动图像区域时，也能够正确地进行检测。

(8)本发明的矩形运动图像区域确定装置，其确定显示于在行方向和列方向上矩阵状地配置有像素的显示区域的一部分上的矩形运动图像区域，该矩形运动图像区域确定装置具有：1)运动单位块判断单元，其将所述显示区域分割成由规定数量的像素构成的单位块，并且，判断各单位块是否是存在运动的运动单位块；2)运动列块确定单元，其将所述单位块中的、与位于最上部的各单位块属于相同列的单位块的集合定义成列块，当各列块至少存在一个以上的运动单位块时，确定该列块作为运动列块；3)运动行块确定单元，其将所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合定义成行块，当各行块至少存在一个以上的运动单位块时，确定该行块作为运动行块；4)第1矩形运动图像区域确定单元，其确定由属于所述运动行块和所述运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域；以及5)第2矩形运动图像区域确定单元，其关于构成所述矩形运动图像区域的单位块中的、构成外周的四边的单位块，根据这些单位块内的各像素，将由所述矩形运动图像区域内的边缘定义的区域作为所述矩形运动图像区域。

如上所述，按照每个所述单位块判断是否是运动单位块，确定所述运动行块和运动列块，确定由属于其双方的单位块指定的矩形区域作为矩形运动图像区域，从而能够确定运动图像区域。另外，关于构成该区域的单位块中的、构成外周的四边的单位块，根据这些单位块内的各像素，将由所述矩形运动图像区域内的边缘定义的区域作为所述矩形运动图像区域，从而能够确定更精确的运动图像区域。

(9)在本发明的矩形运动图像区域确定装置中，所述第2矩形运动图像区域确定单元关于构成外周的四边的单位块，对于这些单位块内的行方向，确定各行的代表像素值不同的行作为所述矩形运动图像区域的边界，对于这些单位块内的列方向，确定各列的代表像素值不同的列作为所述矩形运动图像区域的边界。因此，能够根据每行的代表像素值确定边界。

(10)在本发明的矩形运动图像区域确定装置中，所述第2矩形运动图像区域确定单元关于构成外周的四边的单位块，对于这些单位块内的各像素，判断是否是在不同帧之间存在运动的运动像素，确定所述矩形运动图像区域的边界。因此，能够根据各像素的运动向量确定边界。

(11)在本发明的矩形运动图像区域确定装置中，所述第2矩形运动图像区域确定单元关于构成外周的四边的单位块，对于这些单位块内的各像素，提取构成行方向和列方向边缘的像素，根据关于各行的行方向的总数和关于各列构成列方向边缘的像素的总数，确定所述矩形运动图像区域的边界。因此，能够根据行方向边缘和列方向边缘确定边界。

(12)在本发明的矩形运动图像区域确定装置中，所述矩形运动图像区域确定装置具有重复单元，该重复单元关于所述第1矩形运动图像区域确定单元确定的矩形运动图像区域，重复执行所述运动列块确定单元、所述运动行块确定单元以及所述矩形运动图像区域确定单元的处理。因此，即使在存在多个待检测的运动图像区域时，也能够正确地进行检测。

(17)本发明的矩形运动图像区域确定方法，确定显示于在行方向和列方向上矩阵状地配置有像素的显示区域的一部分上的矩形运动图像区域，该矩形运动图像区域确定方法具有：运动单位块判断步骤，将所述显示区域分割成由规定数量的像素构成的单位块，并且，判断各单位块是否是存在运动的运动单位块；运动列块确定步骤，将所述单位块中的、与位于最上部的各单位块属于相同列的单位块的集合定义成列块，当各列块至少存在一个以上的运动单位块时，确定该列块作为运动列块；运动行块确定步骤，将所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合定义成行块，当各行块至少存在一个以上的运动单位块时，确定该行块作为运动行块；以及第1矩形运动图像区域确定步骤，确定通过属于所述运动行块和所述运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域。

如上所述，按照每个所述单位块判断是否是运动单位块，确定所述运动行块和运动列块，确定通过属于其双方的单位块指定的矩形区域作为矩形运动图像区域，从而能够确定运动图像区域。

(18)在本发明的矩形运动图像区域确定方法中，在所述第1矩形运动图像区域确定步骤中，关于所确定的矩形区域，进一步重复执行所述运动列块确定步骤和所述运动行块确定步骤。因此，即使在存在多个待检测的运动图像区域时，也能够正确地进行检测。

(19)本发明的滚动区域判定装置，其判定画面内的判定对象区域是否是滚动区域，其特征在于，该滚动区域判定装置具有：边缘像素判断单元，其关于所述判定对象区域的各像素，根据与周边像素之间的像素值的差，判断是否是边缘；文字间隙存在区域判断单元，其将在同一行或同一列上存在规定数量以上的不是所述边缘的像素的行或列判断为文字间隙存在区域；以及滚动区域判断单元，其根据所述文字间隙存在区域相对于所述判定对象区域的比例，判断是否是滚动区域。

因此，能够可靠地判断滚动包含文字的图像的情况。

(20)本发明的边界确定装置，其确定存在于一个画面的矩形区域的边界，其特征在于，该边界确定装置具有：边缘像素判断单元，其根据判定对象像素中的各像素的像素值，判断构成边缘的像素；行方向边界确定单元，其提取构成行方向边缘的像素作为行方向边缘像素，对各行运算所述行方向边缘的总数，根据各行的所述行方向边缘的总数，确定行方向的边界；列方向边界确定单元，其提取构成列方向边缘的像素作为列方向边缘像素，对各列运算所述列方向边缘的总数，根据各列的所述列方向边缘的总数，确定列方向的边界；以及矩形区域确定单元，其确定所述确定的行方向边界和所述列方向边界作为所述矩形区域的边界。

因此，能够根据行方向边缘和列方向边缘确定边界。

(21)在本发明的边界确定装置中，所述边缘像素判断单元是确定作为判定对象的像素的单元，具有粗略区域确定单元，该粗略区域确定单元具有以下单元：

1)运动单位块判断单元，其将在行方向和列方向上矩阵状地配置有像素的显示区域分割成由规定数量的像素构成的单位块，并且，判断各单位块是否是存在运动的运动单位块；

2)运动列块确定单元，其将所述单位块中的、与位于最上部的各单位块属于相同列的单位块的集合定义成列块，当各列块至少存在一个以上的运动单位块时，确定该列块作为运动列块；

3)运动行块确定单元，其将所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合定义成行块，当各行块至少存在一个以上的运动单位块时，确定该行块作为运动行块；

4)第1矩形运动图像区域确定单元，其确定通过属于所述运动行块和所述运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域；以及

5)对象像素确定单元，其确定属于构成所述矩形运动图像区域的单位块中的、构成外周的四边的单位块的像素作为判定对象。

因此，能够更迅速地进行边界判断。

另外，在本说明书中，“像素值”当然包含亮度值，而且还包含RGB值等全部用于指定图像信息的数值。另外，“矩形运动图像区域”是指像素值在多个帧之间不同且构成运动图像区域的矩形区域。

“列块”是指单位块中的、与位于最上部的各单位块属于相同列的单位块的集合。在本实施方式中，虽然是指定位于最上部的1个单位块来确定列块，但是，只要在结果上包含位于该最上部的1个单位块，则也可以从最上部以外的行进行指定。“行块”是指所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合。只要在结果上包含位于该左端部的1个单位块，则指定办法怎样均可。

在实施方式中，“第1矩形运动图像区域确定步骤”、“第2矩形运动图像区域确定步骤”分别相当于运动图像区域确定处理(图3的步骤S7)、边界确定处理(图3的步骤S9)。

另外，“列方向”是指配置各行的方向，在实施方式中，是指α方向。“行方向边缘”是指与行方向平行的方向的边缘，“列方向边缘”是指与列方向平行的方向的边缘。

附图说明

图1是矩形运动图像区域确定装置1的功能框图。

图2是使用CPU构成矩形运动图像区域确定装置1时的硬件结构的一例。

图3是整体流程图。

图4示出存在运动图像区域110～112的显示区域100。

图5是运动块确定处理的流程图。

图6是示出检测到运动块的结果的图。

图7是运动图像区域确定处理的流程图。

图8是示出运动列块的图。

图9是运动图像区域确定处理的流程图(后续)。

图10是示出运动行块的图。

图11是示出运动图像区域140的图。

图12是边界确定处理的流程图。

图13是示出一个单位块内的32×32像素的图。

图14示出存在大量运动图像区域的显示区域200。

图15示出检测到的运动图像区域301～304。

图16示出从运动图像区域301检测到的运动图像区域311、312。

图17是边界确定处理的流程图。

图18是用于边缘像素判断的过滤器和运算式。

图19是用于说明基于时间轴方向的历史的边界判断的动态图像例。

图20是滚动判定处理的流程图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

(1.1功能块)

图1示出本发明的1个实施方式的矩形运动图像区域确定装置1的功能框图。矩形运动图像区域确定装置1是确定显示于在行方向和列方向上矩阵状地配置有像素的显示区域的一部分上的矩形运动图像区域的装置，具有运动单位块判断单元5、运动列块确定单元7、运动行块确定单元9、第1矩形运动图像区域确定单元11、重复单元13以及第2矩形运动图像区域确定单元14。

运动单位块判断单元5将所述显示区域分割成由规定数量的像素构成的单位块，并且，判断为各单位块是存在运动的运动单位块。运动列块确定单元7将所述单位块中的、与位于最上部的各单位块属于相同列的单位块的集合定义成列块，当各列块存在至少一个以上的运动单位块时，确定该列块作为运动列块。运动行块确定单元9将所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合定义成行块，当各行块存在至少一个以上的运动单位块时，确定该行块作为运动行块。第1矩形运动图像区域确定单元11确定通过属于所述运动行块和所述运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域。重复单元13关于第1矩形运动图像区域确定单元11确定的矩形运动图像区域，重复执行运动列块确定单元7、运动行块确定单元9以及矩形运动图像区域确定单元11的处理。第2矩形运动图像区域确定单元14关于构成所述矩形运动图像区域的单位块中的、构成外周的四边的单位块，根据这些单位块内的各像素，将由所述矩形运动图像区域内的边缘定义的区域作为所述矩形运动图像区域。

(1.2硬件结构)

图2示出矩形运动图像区域确定装置1的硬件结构。矩形运动图像区域确定装置1具有CPU23、RAM25以及闪存26。在闪存26中存储有程序26p。程序26p如后所述进行矩形运动图像区域确定处理。RAM25存储运算结果等。帧存储器27保持一个画面的图像数据。

CPU23按照程序26p，根据存储于存储器27的构成显示区域的像素值，判断是否是由存在运动的像素构成的运动图像区域，将结果存储到RAM25。

(1.3流程图的说明)

使用图3对图2所示的程序26p的处理进行说明。以下，如图4所示，以显示器的作为一帧的图像区域100存在3个矩形运动图像区域110～112的情况为例进行说明。

图像区域100在行方向α和列方向β上以矩阵状配置有像素。

CPU23进行块分割(图3步骤S1)。在本实施方式中，将32×32像素作为一个块，将图4所示的显示区域100以矩阵状分割成多个块。以下，在α方向上分割成n+1个块，在β方向上分割成m+1个块。

CPU23对全部块确定代表值(图3步骤S3)。作为代表值，不是直接使用一个块内的像素值的平均值、起始的像素值乃至该值，也可以将CRC等哈希值作为代表值。另外，平均值在32×32×8bit图像中能够用18比特长度来表现，但是，也可以舍去上下10比特而仅使用中间的8比特。由此，将(n+1)×(m+1)个块代表值存储到RAM25。

CPU23确定(n+1)×(m+1)个块中的运动块(步骤S5)。使用图5对运动块确定处理进行说明。

CPU23对处理块编号i、j进行初始化(图5步骤S11、S13)。关于块(0，0)与前一帧的代表值进行比较(步骤S15)。在本实施方式中是对时刻t与时刻t-1的代表值进行比较。CPU23判断代表值的差分是否超过阈值thb(步骤S17)，在代表值的差分超过阈值thb时判断为运动块(步骤S19)。另一方面，在代表值的差分不超过阈值thb时判断为非运动块(步骤S21)。

CPU23判断处理块编号j是否是最终(步骤S23)。此时，由于j＝0且不是最终，因此对处理块编号j进行递增(步骤S25)，重复进行步骤S15之后的处理。如果在步骤S23中处理块编号j是最终，则前进到步骤S27，CPU23判断处理块编号i是否是最终。此时，由于不是最终，因此对处理块编号i进行递增(步骤S29)，重复进行步骤S13之后的处理。如果在步骤S27中处理块编号i是最终，则结束处理。

由此，如图6所示，关于(n+1)×(m+1)个块，确定运动块。在该例子中，块(4，2)、(4，3)、(4，4)…被确定为运动块。

CPU23进行运动图像区域确定处理(图3步骤S7)。使用图7、图9详细说明运动图像区域确定处理。

CPU23对处理块编号j进行初始化(图7步骤S31)。CPU23判断块(0，0)所属的列的块是否存在至少一个运动块(步骤S33)。此时，如图6所示，由于块(0，0)及其纵向的块(1，0)～(m，0)不存在运动块，因此，将该列判断为非运动列(图7步骤S37)。CPU23判断是否存在相加存储后的临时运动列(步骤S39)。此时，由于不存在，因此前进到步骤S46，判断处理块编号j是否是最终。此时，由于j＝0且不是最终，因此对处理块编号j进行递增(步骤S47)，重复进行步骤S33之后的处理。

在处理块编号j＝2时，块(0，2)纵向的块存在运动块。因此，CPU23将该列作为临时运动列而进行相加存储(步骤S35)。

CPU23判断处理块编号j是否是最终(步骤S46)。此时，由于j＝2且不是最终，因此对处理块编号j进行递增(步骤S47)，重复进行步骤S33之后的处理。

重复进行步骤S35的处理，直到处理块编号j＝8为止。在处理块编号j＝9时，块(0，9)的列不存在运动块。因此，CPU23将该列判断为非运动列(步骤S37)。CPU23判断是否存在相加存储后的临时运动列(步骤S39)，在存在时，判断相邻的这些临时运动列的集合是否具有超过阈值thw的宽度(步骤S41)。在本实施方式中，阈值thw为2块以上。此时，由于存在块(0，2)～(0，8)的相加存储后的临时运动列，超过所述阈值thw，因此将临时运动列作为运动列(步骤S45)。

CPU23判断处理块编号j是否是最终(步骤S46)。

在处理块编号j＝10时，块(0，10)的列不存在运动块。因此，CPU23将该列判断为非运动列(步骤S37)。CPU23判断是否存在检测完的临时运动列(步骤S39)，此时，由于不存在，因此CPU23判断处理块编号j是否是最终(步骤S46)。

以下，直到j＝n-7为止均判断为非运动列。在处理块编号j＝n-6时，存在运动块(m-3，n-6)。因此，CPU23作为临时运动列进行相加存储(步骤S35)。

在处理块编号j＝n-5时，块(0，n-5)的列不存在运动块。因此，CPU23将该列判断为非运动列(步骤S37)。CPU23判断是否存在检测完的临时运动列(步骤S39)，在存在时，判断相邻的这些临时运动列的集合是否具有超过阈值thw的宽度(步骤S41)。在本实施方式中，阈值thw为2块以上，因此临时运动列的宽度不超过所述阈值thw，因此将临时运动列作为非运动列(步骤S43)。由此，能够防止错误地将鼠标等的图像区域认定为运动图像区域。

以下同样地，关于行方向α，依次逐列判断是否是存在运动块的列。

另外，还存在作为最终列的块(0，n)的列为临时运动列的情况。此时，在步骤S49中，判断是否存在相加存储后的临时运动列，在存在时，执行步骤S41之后的处理。

图8示出检测后的运动列。此时，确定区域121作为运动列。相对于此，由于运动块(6，n-3)、(m-3，n-6)所属的区域122、123在箭头α方向上不具有阈值thw以上的宽度，因此不确定作为运动列。

接着，CPU23对处理块编号i进行初始化(图9步骤S51)。CPU23判断块(0，0)的行是否存在至少一个运动块(步骤S53)。此时，如图6所示，块(0，0)及其横向的块(0，1)～(0，n)不存在运动块，因此将该行判断为非运动行(步骤S57)。CPU23判断是否存在相加存储后的运动行(步骤S59)。此时，由于不存在检测完的运动行，因此前进到步骤S66，判断处理块编号i是否是最终。此时，由于i＝0且不是最终，因此对处理块编号i进行递增(步骤S68)，重复进行步骤S53之后的处理。

在处理块编号i＝4时，块(4，0)的行存在运动块。因此，CPU23将该行作为临时运动行进行相加存储(步骤S55)。

以下同样地，直到i＝8为止，作出是块(i，0)的行存在运动块的运动行的判断。在i＝9时，块(i，0)的行不存在运动块，因此将该行判断为非运动行(步骤S57)。CPU23判断是否存在相加存储后的运动行(步骤S59)。此时，由于存在相加存储后的运动行，因此判断这些运动行的集合是否具有超过阈值thw的宽度(步骤S61)。在本实施方式中，阈值thw为2块以上。此时，由于存在块(4，0)～(8，0)的检测完的运动行，因此超过所述阈值thw，因此将临时运动行作为运动行(步骤S65)。

以下同样地，关于列方向β，依次逐行判断是否是存在运动块的列。步骤S69的意义与步骤S49相同，因此省略说明。

图10示出检测后的运动行。此时，确定区域131作为运动行。运动块(6，n-3)属于区域131。相对于此，由于运动块(m-3，n-6)所属的区域132在箭头β方向上不具有阈值thw以上的宽度，因此不确定作为运动行。

CPU23确定属于运动列和运动行双方的块作为运动图像区域(图9的步骤S70)。此时，确定属于图11所示的区域121与区域131重复的区域140的块作为运动图像区域。当与图6的运动块进行比较时，排除运动块(6，n-3)、(m-3，n-6)，另一方面，确定块(4，5)等作为运动图像区域。由此，能够通过与周边块之间的关系防止意外。

CPU23进行边界确定处理(图3的步骤S9)。关于图11所示的区域140，得到由32×32像素构成的块中的运动图像区域的边界。通过步骤S9的处理，如图13所示，能够得到一个像素单位的运动图像区域的边界150。使用图12详细说明步骤S9。

CPU23提取上侧块(图12的步骤S80)。此时，提取图13所示的块(4，2)～(4，8)共7个块。CPU23对处理行编号P进行初始化(步骤S81)，提取全部已提取的块的第P行的像素，并且运算其代表值(步骤S83)。此时，提取块(4，2)的第0行的32个像素、块(4，3)的第0行的32个像素…这样的7×32像素，运算其代表值。在本实施方式中，代表值为已提取的像素的平均值。

接着，CPU23提取全部已提取的块的处理行编号第P+1行的像素，并且运算其代表值(步骤S85)。此时，提取块(4，2)的第1行的32个像素、块(4，3)的第1行的32个像素…这样的7×32像素，运算其代表值。

CPU23判断在步骤S83中求出的代表值与在步骤S85中求出的代表值是否不同(步骤S87)。当在步骤S87中两者不同时，判断为像素(P，0)的行为边界(步骤S93)。当在步骤S87中两者没有不同时，对处理行编号P进行递增(步骤S89)，重复进行步骤S83之后的处理直到成为提取块的最终像素(此时是32个像素)为止(步骤S91)。即使是最终像素，也在步骤S87中两者没有不同时，判断为已提取的块的端部为边界(步骤S95)。

在图12中，对提取上部的块中的一个像素单位的边界的情况进行了说明，但是下部的块也是同样的。

如上所述，关于外周的块，如果是上部、下部，则横向提取一行的像素，将其代表值与相邻的行进行比较，从而能够取得块内的一个像素单位的边界。

另外，关于左右的边界，只要纵向提取一列的像素，将其代表值与相邻的列进行比较即可。

在本装置中，能够自动地检测运动图像区域。另外，其判断也能够通过几帧进行检测。因此，即使动态图像区域自身在显示器上动态地变动时，也能够大致实时地检测动态图像区域。

(2.第2实施方式)

在上述实施方式中，以检测对象为1个的情况为例进行了说明。在第2实施方式中，关于已确定的运动图像区域，进一步重复进行图3的步骤S7的处理，从而即使在存在多个图14所示的运动图像区域201～207时，也能够检测运动图像区域。

当进行一次图3的步骤S7的处理时，确定图15所示的运动图像区域301～304。区域207不具有阈值thw以上的宽度，不能检测成为运动图像区域。

在该状态中，运动区域301还包含原本不是运动图像区域的区域。由于存在这种情况，因此，CPU23将区域301～304分别视为整体的图像区域，再次进行运动图像区域的检测。由此，例如在区域301的情况下，检测到通过块坐标(y1，x1)、(y3，x11)定义的区域311和通过块坐标(y1，x12)、(y3，x13)定义的区域312。其它的区域302～304也是同样的。

关于区域311，同样地将区域311视为整体的图像区域，再次进行运动图像区域的检测。由此，检测到通过块坐标(y1，x1)、(y11，x11)定义的区域。区域312也是同样的。

可以进行该重复检测直到不能再分割为止，也可以预先确定重复检测的上限次数。

(3.第3实施方式)

在第1、第2实施方式中，在以块为单位进行检测之后，关于构成外周的四边的单位块，如果是行方向则对各行求出代表值，在与相邻的行不同时，判断为边界。列方向也是同样的。关于相应的检测，也能够如下进行边界判断。使用图17进行说明。

CPU23提取上侧块中的去除端部后的块(图17的步骤S100)。此时，提取图13所示的块(4，3)～(4，7)共5个块。如上所述去除端部是因为两端部的块有可能一部分没有边缘。但是，也可以采用该端部块。

CPU23对处理行编号r、处理像素编号g进行初始化(图17的步骤S101、S102)，判断行编号“0”的已提取的块的第g个像素是否是横边缘像素(行方向边缘)(步骤S103)。关于是否是横边缘像素，只要根据与相邻像素之间的亮度差来确定即可。在本实施方式中，采用图18A所示的过滤器和运算式。

当判断为第P个像素是横边缘像素时，CPU23对总数Et进行递增(图17的步骤S105)。CPU23判断一行是否已全部结束(步骤S107)，如果没有结束，则对处理像素编号g进行递增(步骤S109)，重复进行步骤S103～步骤S107。

当对一行的全部像素判断是否是横边缘时，CPU23判断该行中的横边缘的总数Et是否比预先设定的阈值ths大(步骤S111)。这是因为，在动态图像区域内作为轮廓也存在横边缘的像素，因此需要将其排除。CPU23在横边缘的总数Et比阈值ths大时，将其作为边界(步骤S113)。由此，能够得到横边缘的集合超过阈值ths的边界。

另外，阈值ths可以是固定阈值，并且，也可以是预先设定比率，根据检测到的区域的大小(块数)进行计算。

在步骤S111中为“否”时，CPU23判断全行是否已结束(步骤S113)。如果全行没有结束，则CPU23对处理行编号r进行递增，重复进行步骤S102～步骤S111。

由此，能够以一个像素为单位判断边界。下部的块中的一个像素单位的边界也是同样的。

关于左右的边界，只要对位于最右部和最左部的单位块，同样地使用图18B所示的过滤器和运算式检测纵边缘(列方向边缘)即可。

在本实施方式中，是按照纵边缘和横边缘的总数进行边界判断。因此，即使是杂乱背景上的动态图像区域也能够进行检测。另外，检测精度提高，动态图像区域的摇晃减少。

在本实施方式中，在求出边界时，采用在图11中求出的块中的去除端部后的全部块的像素，但是，也可以进一步通过其一部分进行判断。

在本实施方式中，是用一行的总计与阈值ths进行比较，但是，在边缘像素连续规定数量以上时，也可以判断为边界。而且，有时在自然图像中也存在边缘图像。因此，也可以将没有连续一定数量以上的边缘从总数的计算中去除。

在本实施方式中，应用于确定所述矩形区域，求出与其外周相当的块的一个像素单位的边界的情况，但是，也能够应用于一般的运动估计以及其它领域。另外，也可以求出多个像素单位(例如2×2像素单位)的边界而不是求出一个像素单位的边界。

在本实施方式中，是提取边缘像素来确定边界，但是，关于对象块内的各像素，也可以判断是否是在不同帧之间存在运动向量的像素，将能够检测到运动向量的像素与不能检测到运动向量的像素的交界线判断为边界。

另外，在指定的帧中，有时动态图像区域与背景之间几乎没有亮度差。例如，在图19A所示的帧t中，背景与动态图像区域之间的边界部分几乎没有亮度差。有可能在如上所述的帧中只用1个帧不能进行边界检测。因此，依次存储各帧的边界，在某个帧中不能检测边界时，也可以采用积蓄的边界。在本实施方式中，积蓄的帧数是十几帧。

在本实施方式中，对预先进行由多个像素构成的以块为单位的检测(以下称作粗略处理)的情况进行了说明，但是，也可以不进行该处理而判定矩形的边界。

而且，能够用作静态图像中的矩形的边界确定装置，而不是多个帧中的矩形的边界确定装置。

(4.第4实施方式)

当根据上述说明的帧间的像素信息判断是否是动态图像区域时，在指定的矩形区域中滚动文本数据的情况下，有可能错误地判断为动态图像区域。如下所示进行滚动判定，在滚动处理时，也可以不进行边界判断。

关于文本数据，在横写的情况下，在文字与文字之间存在行间距。即，当按照每行观察时，在记载有文字的区域存在大量边缘像素，具有当成为行间距时完全不存在边缘像素的特性。因此，能够通过是否存在该性质，区别是否是动态图像区域。

CPU23对对象行编号Q和一致行数k进行初始化(图20的步骤S121)，计测已提取的块的第Q行的总边缘像素数Enq(步骤S123)。关于是否是边缘像素，只要根据与周边像素之间的亮度差来确定即可。

CPU23判断总边缘像素数Enq是否比阈值thm大，并且之前的总边缘像素数En(q-1)是否比阈值thn小(步骤S125)。CPU23在步骤S125中的判断为“是”时，对一致行数k进行递增(步骤S127)。

CPU23判断是否已对全部行完成判断(步骤S131)。在没有对全部行完成判断时，CPU23对处理行编号Q进行递增(步骤S133)，重复进行步骤S123～步骤S127。

当在步骤S131中判断为已对全部行完成判断时，CPU23判断所述一致行数k是否比阈值thg大(步骤S135)。在一致行数k比阈值thg大时，判断为是由滚动引起的运动(步骤S137)。

该滚动判定是在图3的步骤S7与步骤S9之间进行的，在判断为是滚动判定时，只要不进行步骤S9的处理即可。

由此，能够防止在滚动浏览器内的文字而移动时，将该区域判定为动态图像。

另外，关于所述滚动判定，也可以在一部分行中进行判断，而不是对该区域中的全行进行判断。

在本实施方式中，对文本数据为横写的情况进行了说明，但是即使是纵写也同样能够进行判定。另外，滚动判定不限定于该办法，也可以是公知的滚动判定。

另外，对应用于动态图像区域判断中的滚动判定的情况进行了说明，但是也能够应用于一般的滚动判定。

另外，即使不是滚动，也能够判定指定区域是否是文本区域。该指定区域不限于基于动态图像区域检测的动态图像区域，不管是静态图像还是动态图像，均可以是图像内的指定区域。

(5.其它实施方式)

在本实施方式中，采用亮度值作为像素值，但是，也可以是RGB值等。

在本实施方式中，在图5的步骤S15中，通过第t帧和第t+1帧判断是否是构成运动图像区域的块，但是，只要是存在时间偏差的多个帧，则不限于此，例如，也可以判断在第t帧与第t+2帧之间是否存在移动。另外，也可以不是通过2个帧进行比较，而是再加上前后帧而例如采用16个帧。

在本实施方式中，图3的步骤S9的边界线确定处理是任意的，在不需要像素单位的边界线时也可以不用进行。另外，在边界线确定处理中，对位于外周的全部块全部使用一行全部或一列全部的像素值，但是，也能够采用部分间取处理或代表值。另外，也可以通过一部分的块进行判断而不是通过全部块进行判断。

另外，如图5的步骤S15所示，也可以保持过去的相同位置的代表值进行比较。

在本实施方式中，是由32×32像素构成1个块，但是不限于此。

在使用任意一个像素的值自身(例如该块左上角的像素值)而不是像素的平均值或哈希值时，作为图3的步骤S9的处理，也可以在其外周配置1个块而求出边界。例如，当在步骤S7的处理中将7×5个块作为运动图像区域进行检测时，通过在其周围增加1个块后的9×7个块进行步骤S9的处理。

也能够构成为包含本实施方式的矩形运动图像区域确定装置的显示器或机顶盒。另外，该机顶盒也可以构成为用于对输入数据的输出目的地显示器进行切换的切换集线器。

在上述各实施方式中，能够进行1个像素精度的矩形运动图像区域的检测。而且，还能够进行多个矩形运动图像区域的判别。另外，能够去除宽度小的小区域运动。例如，能够应对鼠标指针等的伪运动。另外，由于能够对图像内的运动区域、静止区域进行区别，因此能够进行最佳的控制。

在上述实施方式中，关于是否是运动单位块的判断，将所述显示区域分割成由规定数量的像素构成的单位块，并且，根据属于各单位块的所述规定数量的像素的像素值，运算各单位块的代表像素值，关于所述各单位块，与比较对象帧的相同位置的单位块的代表值进行比较，在所述代表值超过阈值时，判断为存在运动的运动单位块。但是，不限于此，也可以采用能够判断各单位块是否是存在运动的运动单位块的方法。如已经说明的那样，能够采用公知的运动单位块判断步骤，例如，将规定数量的帧的相同块的代表值相加后的值彼此比较等。

在上述实施方式中，为了实现图1所示的功能，使用CPU23通过软件来实现。但是，也可以通过逻辑电路等硬件来实现其一部分或全部。另外，也可以使操作系统(OS)执行程序的一部分处理。

标号说明

23CPU

25RAM

26闪存

Claims (17)

1.一种矩形运动图像区域确定方法，确定显示于在行方向和列方向上矩阵状地配置有像素的显示区域的一部分上的矩形运动图像区域，该矩形运动图像区域确定方法具有：

运动单位块判断步骤，将所述显示区域分割成由规定数量的像素构成的单位块，并且，判断各单位块是否是存在运动的运动单位块；

运动列块确定步骤，将所述单位块中的、与位于最上部的各单位块属于相同列的单位块的集合定义成列块，当各列块至少存在一个以上的运动单位块时，确定该列块作为运动列块；

运动行块确定步骤，将所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合定义成行块，当各行块至少存在一个以上的运动单位块时，确定该行块作为运动行块；

第1矩形运动图像区域确定步骤，确定由属于所述运动行块和所述运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域；以及

第2矩形运动图像区域确定步骤，关于构成所述矩形运动图像区域的单位块中的、构成外周的四边的单位块，根据这些单位块内的各像素，将由所述矩形运动图像区域内的边缘定义的区域作为所述矩形运动图像区域。

2.根据权利要求1所述的矩形运动图像区域确定方法，其特征在于，

在所述第2矩形运动图像区域确定步骤中，关于所述构成外周的四边的单位块，对于这些单位块内的行方向，确定各行的代表像素值不同的行作为所述矩形运动图像区域的边界，对于这些单位块内的列方向，确定各列的代表像素值不同的列作为所述矩形运动图像区域的边界。

3.根据权利要求1所述的矩形运动图像区域确定方法，其特征在于，

在所述第2矩形运动图像区域确定步骤中，关于所述构成外周的四边的单位块，对于这些单位块内的各像素，判断是否是在不同帧之间存在运动的运动像素，确定所述矩形运动图像区域的边界。

4.根据权利要求1所述的矩形运动图像区域确定方法，其特征在于，

在所述第2矩形运动图像区域确定步骤中，关于所述构成外周的四边的单位块，对于这些单位块内的各像素，提取构成行方向边缘和列方向边缘的像素，根据对于各行构成行方向边缘的像素的总数和对于各列构成列方向边缘的像素的总数，确定所述矩形运动图像区域的边界。

5.根据权利要求1～4中的任意一项所述的矩形运动图像区域确定方法，其特征在于，

在所述第2矩形运动图像区域确定步骤之前，进行判定所确定的矩形运动图像区域是否由于滚动而使图像在帧间不同的滚动符合判定，在判断为滚动时，不进行所述第2矩形运动图像区域确定步骤。

6.根据权利要求5所述的矩形运动图像区域确定方法，其特征在于，

在所述滚动符合判定中，关于所确定的矩形运动图像区域的各像素，根据与周边像素之间的像素值的差，判断是否是边缘，关于不是所述边缘的像素在行方向或列方向上存在规定数量以上的行或列，识别为文字间隙存在区域，根据所述文字间隙存在区域相对于所述确定的矩形运动图像区域的比例，进行滚动符合判定。

7.根据权利要求1～4、6中的任意一项所述的矩形运动图像区域确定方法，其特征在于，

关于在所述第1矩形运动图像区域确定步骤中确定的矩形运动图像区域，在第2矩形运动图像区域确定步骤之前，重复执行所述运动列块确定步骤、所述运动行块确定步骤以及所述第1矩形运动图像区域确定步骤。

8.根据权利要求5所述的矩形运动图像区域确定方法，其特征在于，

关于在所述第1矩形运动图像区域确定步骤中确定的矩形运动图像区域，在第2矩形运动图像区域确定步骤之前，重复执行所述运动列块确定步骤、所述运动行块确定步骤以及所述第1矩形运动图像区域确定步骤。

9.根据权利要求1所述的矩形运动图像区域确定方法，其特征在于，

在所述第1矩形运动图像区域确定步骤中，关于所确定的矩形区域，进一步重复执行所述运动列块确定步骤和所述运动行块确定步骤。

10.一种矩形运动图像区域确定装置，其确定显示于在行方向和列方向上矩阵状地配置有像素的显示区域的一部分上的矩形运动图像区域，该矩形运动图像区域确定装置具有：

运动单位块判断单元，其将所述显示区域分割成由规定数量的像素构成的单位块，并且，判断各单位块是否是存在运动的运动单位块；

运动列块确定单元，其将所述单位块中的、与位于最上部的各单位块属于相同列的单位块的集合定义成列块，当各列块至少存在一个以上的运动单位块时，确定该列块作为运动列块；

运动行块确定单元，其将所述单位块中的、与位于最左端部的各单位块属于相同行的单位块的集合定义成行块，当各行块至少存在一个以上的运动单位块时，确定该行块作为运动行块；

第1矩形运动图像区域确定单元，其确定由属于所述运动行块和所述运动列块双方的单位块指定的矩形区域，作为矩形运动图像区域；以及

第2矩形运动图像区域确定单元，其关于构成所述矩形运动图像区域的单位块中的、构成外周的四边的单位块，根据这些单位块内的各像素，将由所述矩形运动图像区域内的边缘定义的区域作为所述矩形运动图像区域。

11.根据权利要求10所述的矩形运动图像区域确定装置，其特征在于，

所述第2矩形运动图像区域确定单元关于构成外周的四边的单位块，对于这些单位块内的行方向，确定各行的代表像素值不同的行作为所述矩形运动图像区域的边界，对于这些单位块内的列方向，确定各列的代表像素值不同的列作为所述矩形运动图像区域的边界。

12.根据权利要求10所述的矩形运动图像区域确定装置，其特征在于，

所述第2矩形运动图像区域确定单元关于构成外周的四边的单位块，对于这些单位块内的各像素，判断是否是在不同帧之间存在运动的运动像素，确定所述矩形运动图像区域的边界。

13.根据权利要求10所述的矩形运动图像区域确定装置，其特征在于，

所述第2矩形运动图像区域确定单元关于构成外周的四边的单位块，对于这些单位块内的各像素，提取构成行方向边缘和列方向边缘的像素，根据关于各行的行方向的总数和关于各列构成列方向边缘的像素的总数，确定所述矩形运动图像区域的边界。

14.根据权利要求10～13中的任意一项所述的矩形运动图像区域确定装置，其特征在于，

所述矩形运动图像区域确定装置具有重复单元，该重复单元关于所述第1矩形运动图像区域确定单元确定的矩形运动图像区域，重复执行所述运动列块确定单元、所述运动行块确定单元以及所述矩形运动图像区域确定单元的处理。

15.一种显示器，其中，该显示器包含权利要求10～14中的任意一项所述的矩形运动图像区域确定装置。

16.一种机顶盒，其中，该机顶盒包含权利要求10～14中的任意一项所述的矩形运动图像区域确定装置。

17.根据权利要求16所述的机顶盒，其特征在于，

该机顶盒是用于对输入数据的输出目的地显示器进行切换的切换集线器。