CN101540052A - 图像信号处理器、图像信号处理方法和程序 - Google Patents

Abstract

一种图像信号处理装置，被配置为追踪在图像中运动的对象，包括：设置单元，被配置为在构成运动图像的图像中设置刨除区域；运动向量检测单元，被配置为在构成运动图像的图像中检测对象，并且利用图像中除该刨除区域以外的区域来检测与该对象对应的运动向量；以及估计单元，被配置为基于检测到的运动向量来估计该对象向哪个位置运动。

Description

图像信号处理器、图像信号处理方法和程序

技术领域

本发明涉及图像信号处理装置、图像信号处理方法和程序，更具体地，涉及适用于追踪在图像中运动的对象的图像信号处理装置、图像信号处理方法和程序。

背景技术

例如，当执行图像处理，例如检测和追踪用保安摄像机拍摄的图像中的可疑人物然后执行噪声消除，分析足球比赛的图像中某个足球运动员的轨迹，或者追踪和剪切体育节日的图像中你自己的孩子时，在构成运动图像的时序图像中追踪对象(例如可疑人物、足球运动员或孩子)的处理被实施。

根据现有技术，为了追踪在图像中运动的对象，存在这样的方法，例如将运动图像设为追踪目标，追踪设在追踪目标上的追踪点，估计包括追踪目标的区域，并且以这样的区域为单位来实施追踪。在任一方法中，都检测图像中的点和区域的运动向量。

用于检测图像中的运动向量的一种典型方法是块匹配方法。在块匹配方法中，具有预定尺寸(水平象素×垂直象素)的图像块(此后称为“匹配区域”)被设在时间上连续的两张图像之一中，大于匹配区域的搜索区域被设在另一幅图像中。接着，匹配区域和搜索区域的象素值的总绝对差被计算作为估计值。估计值最小化的位置被确定为匹配区域的目的地，且块区域的运动向量被检测。

当图像中存在黑条(black bar)时，利用块匹配方法时有下列不便。

例如图1所示，当匹配区域被设在黑条附近时，即使如图2所示在水平方向运动，计算出的估计值也不会有太大变化，这样很难确定估计值最小化的位置。因此，很有可能无法检测准确的运动向量。如果没有检测到准确的运动向量，则检测的运动向量将在时间上不连续。

因此，只要运动对象追踪是基于在时间上不连续的、不准确的运动向量，就很难准确地追踪运动对象。

因此，可以检测图像中的黑条，于是可以避免在检测出的黑条附近用块匹配来检测运动向量。

至于图像中黑条的检测方法，存在这样的方法，即基于例如低亮度水平或相邻象素之差，在图像信号的每帧中检测黑条和实际图像之间的边界位置，判断检测出的边界位置的时间连续性(例如，参考日本未审查专利申请公布No.9-270996)，并且假定黑条存在于距屏幕边缘的某一线期间内来检测黑条(例如，参考日本未审查专利申请公布No.7-298200)。

发明内容

根据日本未审查专利申请公布No.9-270996描述的方法，当黑条的亮度不足够低时，当字幕和屏上文字(telop)被包含在黑条中时，和/或当在屏幕中间整个画面的亮度变低时，每帧中黑条的边界位置可能被错误地检测。结果，黑条位置的时间连续性的判断可能受影响，因此，黑条的最终位置的检测结果可能受影响。

根据日本未审查专利申请公布No.7-298200，取决于要处理的图像，检测结果可能受预定线期间中的设置值的影响。

以这种方式，当黑条没有被准确地检测时，无法从执行块匹配的区域中准确地刨除黑条，因而无法准确地检测运动向量。因此，难以准确地追踪运动对象。

针对这种情况，构思本发明使得可以准确地追踪在图像中运动的对象。

根据本发明实施例的一种图像信号处理装置，被配置为追踪在图像中运动的对象，包括：设置装置，在构成运动图像的图像中设置刨除区域；运动向量检测装置，在构成运动图像的图像中检测对象，并且利用该图像中除刨除区域以外的区域来检测与该对象对应的运动向量；以及估计装置，基于检测到的运动向量来估计该对象向哪个位置运动。

运动向量检测装置可以从构成运动图像的图像中除刨除区域以外的区域中检测对象，并且利用该图像中除刨除区域以外的区域来检测与该对象对应的运动向量。

估计装置可以在除刨除区域以外的区域中基于检测到的运动向量来估计对象向哪个位置运动。

设置装置可以包括：黑条检测装置，在构成运动图像的图像中检测黑条；以及刨除区域确定装置，基于检测到的黑条来确定刨除区域。

黑条检测装置可以包括：第一检测装置，检测图像中的低亮度范围；第二检测装置，在检测出的低亮度范围中检测黑条的边界候选；以及识别装置，基于检测出的低亮度范围和检测出的边界候选来识别黑条的边界。

根据本发明实施例的一种用于被配置为追踪在图像中运动的对象的图像信号处理装置的图像信号处理方法，该方法包括下列步骤：在构成运动图像的图像中设置刨除区域；在构成运动图像的图像中检测对象，并且利用图像中除刨除区域以外的区域来检测与该对象对应的运动向量；以及基于检测到的运动向量来估计该对象向哪个位置运动。

根据本发明实施例的一种用于控制被配置为追踪在图像中运动的对象的图像信号处理装置的程序，该程序由图像信号处理装置中的计算机执行，该程序可以包括下列步骤：在构成运动图像的图像中设置刨除区域；在构成运动图像的图像中检测对象，并且利用图像中除刨除区域以外的区域来检测与该对象对应的运动向量；以及基于检测到的运动向量来估计该对象向哪个位置运动。

根据本发明的实施例，在构成运动图像的图像中的刨除区域被设置；在构成运动图像的图像中的对象被检测；并且利用图像中除刨除区域以外的区域来检测与该对象对应的运动向量。接着，基于检测到的运动向量来估计该对象向哪个位置运动。

根据本发明的实施例，在图像中运动的对象可以被准确地追踪。

附图说明

图1示出黑条对为运动向量检测而设置的匹配区域的影响；

图2示出黑条对为运动向量检测而设置的匹配区域的影响；

图3是示出根据本发明实施例的对象追踪设备的示例配置的框图；

图4A和4B示出在图像信号的画面中的黑条；

图5是图3所示的黑条检测器的示例配置的框图；

图6示出图5所示的低亮度范围检测器的操作；

图7示出图5所示的低亮度范围检测器的操作；

图8示出图5所示的边界候选检测器的操作；

图9示出示例边界候选；

图10示出在图像信号的画面上显示的示例直线边缘；

图11示出被检测为直线边缘的示例PinP和示例屏上文字；

图12示出对应于图像的顶部和底部的黑条而设置的刨除区域；

图13示出对应于图像的左边和右边的黑条而设置的刨除区域；

图14A到14D示出对应于直线边缘而设置的刨除区域；

图15示出对应于直线边缘而设置的刨除区域；

图16示出对象中存在重复图案的情形；

图17示出对象中存在重复图案的情形；

图18是示出对象追踪处理的流程图；

图19是详细描述图18中步骤S1的流程图；

图20是详细描述图19中步骤S101的流程图；

图21是详细描述图19中步骤S102的流程图；

图22是详细描述图19中步骤S103的流程图；

图23是详细描述图19中步骤S104的流程图；

图24示出黑条检测处理；

图25示出响应于黑条检测处理的输出；

图26示出响应于黑条检测处理的输出；

图27示出响应于黑条检测处理的输出。

具体实施方式

将参考附图详细描述本发明实施例的细节。

图3示出根据本发明实施例的对象追踪设备的示例配置。该对象追踪设备10检测在输入图像信号的图像(运动图像)中运动的对象并追踪检测的对象。对象追踪设备10可以包括在图像处理器中，该图像处理器执行图像处理例如在用保安摄像机拍摄的图像中检测和追踪可疑人物并且消除噪声，在例如足球比赛的图像中分析特定的足球运动员的轨迹，以及在学校运动会的图像中追踪或剪切特定的孩子。

如图3所示，对象追踪设备10包括：刨除区域检测器11，被配置为检测从处理范围中除去的区域(此后称为“刨除区域”)，在该处理范围中将实施诸如图像中的对象检测一类的处理；以及追踪处理器16，被配置为指定通过检测图像中的运动而被追踪的对象，并且追踪该特定的对象。

刨除区域检测器11包括：黑条检测器12，被配置为检测图像中的黑条；直线边缘检测器13，被配置为检测图像中的直线边缘；重复图案检测器14，被配置为检测图像中的重复图案；以及刨除区域设置单元15，被配置为基于检测到的黑条、直线边缘和重复图案来设置刨除区域。

黑条检测器12检测如图4A所示被加到实际图像的顶部和底部的黑条，或如图4B所示设在实际图像的左边和右边的黑条。接着，黑条检测器12发送检测到的黑条与实际图像的边界位置(此后简称为“边界”)。

图5示出黑条检测器12的详细配置。黑条检测器12包括：低亮度范围检测器21，被配置为检测在图像信号的每帧中象素亮度低的范围(低亮度范围)；边界候选检测器22，被配置为检测在检测出的低亮度范围中的边界候选；综合识别单元23，被配置为基于检测出的低亮度范围和边界候选来识别每帧中边界的位置；以及输出处理器25，被配置为基于识别结果在时间上的连续性将每帧中的边界位置输送给下游单元。

低亮度范围检测器21按顺序处理从上游单元输入的图像信号的各帧，从要处理的帧的边缘(上、下、左或右)逐个设置目标线，并且在目标线上逐个设置目标象素，如图6所示。接着，低亮度范围检测器21确定目标象素的亮度是否小于或等于预定的亮度阈值。当亮度小于等于阈值的象素的数目大于等于第一阈值时，确定目标线在低亮度范围内，并且在目标线中将低亮度标记设置为“1”。

由于每帧的纵线的象素数目与横线的象素数目不同，所以当目标线位于图像的上边和下边时以及当目标线位于图像的左边和右边时，第一阈值被设置为不同的值。

以这种方式，通过确定每帧中的目标线是否包括在低亮度范围内，在每帧的边缘处检测低亮度范围，如图7所示。图7示出在帧的上、下边缘检测低亮度范围的例子。在没有包括黑条的帧中不检测低亮度范围。

边界候选检测器22依次处理从上游单元输入的图像信号的各帧，在要处理的帧的边缘(上、下、左或右)处由低亮度范围检测器21检测出的低亮度范围内按顺序逐个设置一条线作为目标线，并且将与目标线相邻的线(下一目标线)设置为“邻线”。如图8所示，目标线上的象素被依次设置为目标象素。接着，计算目标象素与邻线上的相邻象素之间的绝对亮度差，确定该绝对亮度差是否大于或等于预定差阈值。当具有绝对亮度差的象素的数目大于或等于预定第二阈值时，目标线被确定为边界候选。

以这种方式，通过确定边界候选，即使如图9所示在字幕和屏上文字被显示在黑条中时也可以检测边界，而不会将字幕和屏上文字的边缘检测为黑条的边界候选(不会错误地检测边界)。

基于低亮度范围检测器21检测出的低亮度范围以及边界候选检测器22检测出的边界候选，综合识别单元23识别每帧中边界的位置，并且识别边界的位置在时间上的连续性。更具体地，检测每帧中黑条厚度基本相同的上和下边缘或者左和右边缘处的边界候选的组合，并且按帧数计数检测出的边界候选的组合在时间上的连续性。综合识别单元23具有存储器24，存储器24被配置为保存计数值和前一帧中边界的位置。

基于综合识别单元23识别出的边界位置在时间上的连续性，输出处理器25确定每帧中边界的位置，并且通知刨除区域设置单元15。在适当的时候，输出处理器25参考综合识别单元23的存储器24中的信息。

重新参考图3，直线边缘检测器13采用根据现有技术的方法来检测图像中的直线边缘，并且向刨除区域设置单元15发送与检测出的直线边缘有关的位置信息。检测出的直线边缘可以是例如图10所示的图像(网球场的图像)中的直线，可以是图11所示的画中画(PinP)的轮廓和屏上文字(字幕)的边框，或可以是屏上显示(OSD)(未示出)。

重复图案检测器14采用根据现有技术的方法来检测图像中的重复图案，并且向刨除区域设置单元15发送与检测出的重复图案有关的位置信息。

基于从黑条检测器12发送来的与黑条(的边界)有关的位置信息、从直线边缘检测器13发送来的与直线边缘有关的位置信息以及从重复图案检测器14发送来的与重复图案有关的位置信息，刨除区域设置单元15设置刨除区域。接着，刨除区域设置单元15将刨除区域发送到追踪处理器16的运动对象检测器17和追踪点估计器18。

对于黑条的位置信息，如图12所示，当在图像的上、下边检测到黑条时(图中仅示出上边黑条)，基于在追踪处理器16检测到运动向量时设置的匹配区域的垂直宽度，将刨除区域(图中虚线以上的区域)设置为当与黑条相关的象素(用图中的黑色圆圈表示)包括在匹配区域中时匹配区域的中心象素(用图中的白色圆圈表示)可能存在的区域。

例如图13所示，当在图像的左边和右边检测到黑条时(图中仅示出左边黑条)，基于在追踪处理器16检测到运动向量时设置的匹配区域的水平宽度，将刨除区域(图中虚线左边的区域)设置为当与黑条相关的象素(用图中的黑色圆圈表示)包括在匹配区域中时匹配区域的中心象素(用图中的白色圆圈表示)可能存在的区域。

例如图14A所示，当在图像中检测到水平直线边缘ed1时，基于在追踪处理器16检测到运动向量时设置的匹配区域的垂直宽度，将刨除区域(图14A中的阴影区域)设置为当直线边缘ed1包括在匹配区域中时匹配区域的中心象素可能存在的区域。

类似地，例如图14B所示，当在图像中检测到垂直直线边缘ed2时，基于在追踪处理器16检测到运动向量时设置的匹配区域的水平宽度，将刨除区域(图14B中的阴影区域)设置为当直线边缘ed2包括在匹配区域中时匹配区域的中心象素可能存在的区域。

尽管没有在图中示出，类似地，当在图像中检测到倾斜的直线边缘时，基于在追踪处理器16检测到运动向量时设置的匹配区域的尺寸，将刨除区域设置为当检测出的直线边缘包括在匹配区域中时匹配区域的中心象素可能存在的区域。

例如图14C所示，当在图像中检测到多个直线边缘时，形成与直线边缘对应的刨除区域之间相互重叠的区域。然而，这个重叠区域不包括在刨除区域中。换句话说，如图14D所示，当在图像中检测到多个直线边缘时，排除重叠区域来设置刨除区域。

例如图15所示，当在图像中检测到多个平行的直线边缘时，与直线边缘对应的刨除区域之间相互重叠的区域被包括在刨除区域中。

对于重复图案，如图16所示，将刨除区域设置为当重复图案被包括在整个匹配区域中时匹配区域的中心象素可能存在的区域。换句话说，如图17所示，当重复图案被包括在匹配区域的一部分中时匹配区域的中心象素可能存在的区域不被设置为刨除区域。

重新参考图3，追踪处理器16包括运动对象检测器17和追踪点估计器18。

运动对象检测器17检测从上游单元输入的图像信号的图像中除刨除区域以外的区域中的对象，估计包括检测出的对象的区域，并且检测设在估计出的区域中的目标上的运动向量。然而，当匹配区域的中心象素不在刨除区域内时，不计算运动向量。

基于运动对象检测器17检测出的运动向量，追踪点估计器18估计目标点的运动(下一帧中目标点的位置)。然而，当为该估计而设置的匹配区域的中心象素位于刨除区域内时，检测出的运动经常是不准确的。因此，目标点被改变为另一预定候选。再接着，确定与预定候选对应的匹配区域的中心象素是否位于刨除区域内。目标点被改变为其它候选，直到确定与候选对应的匹配区域的中心象素位于刨除区域内为止。可以根据例如日本未审查专利申请公布No.2005-303983中描述的方法将目标点改变为另一候选。

当为目标点估计而设置的搜索区域与刨除区域重叠时，包括目标点的估计目的地的匹配区域的中心位于刨除区域内。因此，目标点的运动可能在下一帧内被不准确地估计。为了稳定并连续地追踪目标点，目标点被改变为另一预定候选。同样，在这样的情形下，目标点被改变为其它候选，直到确定与预定候选对应的匹配区域的中心象素不位于刨除区域内为止。

将参考图18所示的流程图描述由对象追踪设备10实现的对象追踪处理。响应于从对象追踪设备10输送来的图像信号，对象追踪处理开始。

在步骤S1中，刨除区域检测器11的黑条检测器12检测图像中的黑条，并向刨除区域设置单元15发送检测到的黑条与实际图像的边界的位置。

将参考图19详细描述在步骤S1中由黑条检测器12实现的处理(此后称为“黑条检测处理”)。

在步骤S101中，黑条检测器12的低亮度范围检测器21按顺序处理从上游单元输入的图像信号的各帧，并且检测正处理的帧中的低亮度范围。

将参考图20所示的流程图描述在步骤S101中的低亮度范围检测处理。

按顺序对从上游单元输入的图像信号的各帧实施低亮度范围检测处理。在步骤S111中，低亮度范围检测器21按顺序将目标帧的上边缘、下边缘、左边缘和右边缘设为目标。在步骤S112中，低亮度范围检测器21按顺序将从目标边缘指向帧的中心的每条线设置为目标线。在步骤S113中，目标线中的每个象素被按顺序设置为目标象素，如图6所示。

在步骤S114中，低亮度范围检测器21确定目标象素的亮度是否小于或等于预定亮度阈值。当确定目标象素的亮度小于或等于预定亮度阈值时，处理前进到在步骤S115中，使第一计数器值cnt1加1，第一计数器值cnt1指示目标线中亮度小于或等于亮度阈值的象素的数目。

在步骤S114中，当目标象素的亮度被确定为不是小于或等于亮度阈值时，步骤S115的处理被跳过。

在步骤S116中，低亮度范围检测器21确定当前的目标象素是否是目标线的最后一个象素(末尾的象素)。当确定当前的目标象素不是目标线的最后一个象素时，处理返回到步骤S113，并且重复随后的处理。接着，在步骤S116中，当确定当前的目标象素是目标线的最后一个象素时，处理前进到步骤S117。

在步骤S117中，低亮度范围检测器21确定当前的目标线是否是帧的中心线。当确定当前的目标线不是帧的中心线时，处理返回到步骤S112，并且重复随后的处理。接着，在步骤S117中，当确定当前的目标线是帧的中心线时，处理前进到步骤S118。

在步骤S118中，低亮度范围检测器21确定在目标帧中是否所有上、下、左和右边缘都已被设为目标。当存在边缘没有被设为目标时，处理返回到步骤S111，并且重复随后的处理。接着，在步骤S118中，当确定所有上、下、左和右边缘都已被设为目标时，处理前进到步骤S119。此时，要处理的帧中的所有线都曾是目标线，并且与每条目标线对应的第一计数器值cnt1都已经被计数。

在步骤S119中，低亮度范围检测器21按顺序将目标帧的上边缘、下边缘、左边缘和右边缘设为目标，在步骤S120中，低亮度范围检测器21按顺序将从目标边缘指向帧的中心的每条线设置为目标线。

在步骤S121中，低亮度范围检测器21确定与目标线对应的第一计数器值cnt1是否大于或等于第一阈值。当确定与目标线对应的第一计数器值cnt1大于或等于第一阈值时，处理前进到步骤S122，将与目标线对应的低亮度范围标记设置为“1”。

在步骤S121中，当确定与目标线对应的第一计数器值cnt1不是大于或等于第一阈值时，低亮度范围检测器21将与目标线对应的低亮度范围标记设置为“0”，步骤S122中的处理被跳过。

在步骤S123中，低亮度范围检测器21确定当前的目标线是否是帧的中心线。当确定当前的目标线不是帧的中心线时，处理返回到步骤S120，并且重复随后的处理。接着，在步骤S123中，当确定当前的目标线是帧的中心线时，处理前进到步骤S124。

在步骤S124中，低亮度范围检测器21确定在目标帧中是否所有上、下、左和右边缘都已被设为目标。当存在边缘没有被设为目标时，处理返回到步骤S119，并且重复随后的处理。接着，在步骤S124中，当确定所有上、下、左和右边缘都已被设为目标时，完成低亮度范围检测处理。

如上所述，确定要处理的帧的每条线是否被包括在低亮度范围内。确定结果被设置为低亮度线标记。处理返回到图19中的步骤S102。

重新参考图19，在步骤S102中，边界候选检测器22按顺序处理从上游单元输入的图像信号的每帧，并且在要处理的帧的边缘(上、下、左和右)处由低亮度范围检测器21检测出的低亮度范围内检测边界候选。将参考图21的流程图详细描述步骤S102中的边界候选检测处理。

边界候选检测处理与低亮度范围检测处理的相似之处在于：从上游单元输入的图像信号的每帧被按顺序处理。在步骤S131中，边界候选检测器22按顺序将在目标帧的上边缘、下边缘、左边缘和右边缘处检测出的低亮度范围设为目标，接着，在步骤S132中，按顺序将从低亮度范围的边缘指向帧的中心的每条线设置为目标线和邻线。接着，在步骤S133中，边界候选检测器22将目标线上的象素按顺序设置为目标象素。

在步骤S134中，边界候选检测器22计算目标象素的亮度与相邻象素的亮度的绝对差，并且确定计算出的亮度绝对差是否大于或等于预定差阈值。当确定计算出的亮度绝对差大于或等于预定差阈值时，处理前进到步骤S135，第二计数器值cnt2加1，第二计数器值cnt2指示目标线中与相邻象素的绝对差大于或等于差阈值的象素的数目。

在步骤S134中，当确定计算出的亮度绝对差不是大于或等于差阈值时，步骤S135的处理被跳过。

在步骤S136中，边界候选检测器22确定当前的目标象素是否是目标线的最后一个象素(末尾的象素)。当确定当前的目标象素不是目标线的最后一个象素时，处理返回到步骤S133，并且重复随后的处理。接着，在步骤S136中，当确定当前的目标象素是目标线的最后一个象素时，处理前进到步骤S137。

在步骤S137中，边界候选检测器22确定当前的目标线是否为靠近帧中心的边缘线。当确定该目标线不是靠近帧中心的边缘线时，处理返回到步骤S132，并且重复随后的处理。接着，在步骤S137中，当确定当前的目标线是靠近帧中心的边缘线时，处理前进到步骤S138。

在步骤S138中，边界候选检测器22确定在目标帧中是否所有上、下、左和右边缘都已被设为目标。当存在边缘没有被设为目标时，处理返回到步骤S131，并且重复随后的处理。接着，在步骤S138中，当确定所有上、下、左和右边缘都已经被设为目标时，处理前进到步骤S139。此时，要处理的帧中的所有线都曾是目标线，并且与每条目标线对应的第二计数器值cnt2已经被计数。

在步骤S139中，边界候选检测器22按顺序将在目标帧的上边缘、下边缘、左边缘和右边缘处检测出的低亮度范围设为目标，接着，在步骤S140中，按顺序将从目标低亮度范围指向帧中心的每条线设置为目标线。

在步骤S141中，边界候选检测器22确定与目标线对应的第二计数器值cnt2是否大于或等于预定的第二阈值。当确定与目标线对应的第二计数器值cnt2大于或等于第二阈值时，处理前进到步骤S142，并且目标线被设置为边界候选(黑条和实际图像的边界的候选)。

在步骤S141中，当确定与目标线对应的第二计数器值cnt2不是大于或等于第二阈值时，步骤S142的处理被跳过。

在步骤S143中，边界候选检测器22确定当前的目标线是否是靠近目标低亮度范围内的帧中心的边缘线。当确定当前的目标线不是目标低亮度范围内的帧中心的边缘线时，处理返回到步骤S140，并且重复随后的处理。接着，在步骤S143中，当确定当前的目标线是靠近目标低亮度范围内的帧中心的边缘线时，处理前进到步骤S144。

在步骤S144中，边界候选检测器22确定在上、下、左和右边缘处检测出的所有低亮度范围是否都已被设为目标。当存在低亮度范围没有被设为目标时，处理返回到步骤S139，并且重复随后的处理。接着，在步骤S144中，当确定在上、下、左和右边缘处检测的所有低亮度范围都已被设为目标，结束低亮度范围检测处理。

如上所述，确定在要处理的帧中检测出的低亮度范围中的每条线是否为边界候选。确定结果被输送到综合识别单元23。处理返回到图19中的步骤S103。

重新参考图19，基于低亮度范围检测器21检测出的低亮度范围以及边界候选检测器22检测出的边界候选，综合识别单元23识别每帧中边界的位置。将参考图22的流程图详细描述步骤S103中的综合识别处理。

对图像信号的每帧实施低亮度范围检测处理。在步骤S151中，在边界候选检测器22检测出的边界候选中，综合识别单元23比较在帧上部检测出的低亮度范围的边界候选与在帧的下部检测出的低亮度范围的边界候选，并且检测具有基本相同的厚度(即，在上部的黑条的厚度与在下部的黑条的厚度基本相同)的边界候选的组合(此后称为“边界候选对”)。当没有检测到低亮度范围和/或没有检测到边界候选时，步骤S151被跳过。

在步骤S152中，在边界候选检测器22检测出的边界候选中，综合识别单元23比较在帧左部检测出的低亮度范围的边界候选与在帧的右部检测出的低亮度范围的边界候选，并且检测具有基本相同的厚度(即，在左部的黑条的厚度与在右部的黑条的厚度基本相同)的边界候选的组合(此后称为“边界候选对”)。当没有检测到低亮度范围和/或没有检测到边界候选时，步骤S152被跳过。

在步骤S153中，综合识别单元23确定是否在步骤S151和S152至少之一中检测到边界候选对。当黑条被包括在图像信号中时，它们通常被设在帧的上和下边缘或左和右边缘。因此，边界候选对在步骤S151或S152中被检测。在步骤S153中，当确定边界候选对在步骤S151或S152中被检测到时，处理前进到步骤S154。在步骤S154中，综合识别单元23确定在前一帧中与当前帧中检测出的边界候选对基本相同的位置处是否检测到边界候选对。当确定已经检测到边界候选对时，处理前进到步骤S155。

在步骤S155中，综合识别单元23将第三计数器值cnt3加1，第三计数器值cnt3指示检测出的边界候选对在时间上的连续性。接着，结束综合识别处理。

在步骤S154中，当确定在前一帧中与当前帧中检测的边界候选对基本相同的位置处没有检测到边界候选对时，处理前进到步骤S157。

在步骤S157中，综合识别单元23将第三计数器值cnt3初始化为0，第三计数器值cnt3指示检测出的边界候选对在时间上的连续性。接着，结束综合识别处理。

在步骤S153中，当确定在步骤S151或S152中没有检测到边界候选对时，处理前进到步骤S156。在步骤S156中，综合识别单元23确定前一帧中的边界位置是否被包括在当前帧的低亮度范围中。当确定前一帧中的边界位置被包括在当前帧的低亮度范围中时，结束综合识别处理，同时保持第三计数器值cnt3。在步骤S156中，当确定前一帧中的边界位置没有被包括在当前帧的低亮度范围中时，处理前进到步骤S157，第三计数器值cnt3被初始化为0。接着，结束综合识别处理。

如上所述，在指示检测出的边界候选对在时间上的连续性的第三计数器值cnt3递增、被初始化为0或被保持之后，处理返回到图19所示的步骤S104。

重新参考图19，在步骤S104中，基于综合识别单元23设置的、指示检测出的边界候选对在时间上的连续性的第三计数器值cnt3，输出处理器25确定每帧中边界的位置，并且将这些位置输出到下游单元。将参考图23的流程图详细描述在步骤S104中的输出处理。

在步骤S161中，输出处理器25确定综合识别单元23是否在当前帧中检测到边界候选对。当确定检测到边界候选对时，处理前进到步骤S162。在步骤S162中，输出处理器25确定与检测出的边界候选对对应的第三计数器值cnt3是否大于或等于预定的第三阈值。当确定第三计数器值cnt3大于或等于预定的第三阈值时，处理前进到步骤S163。

在步骤S163中，输出处理器25将在当前帧中检测到的边界候选对的位置发送到刨除区域设置单元15。

在步骤S161中，当综合识别单元23确定在当前帧中没有检测到边界候选对时，或在步骤S162中确定与检测出的边界候选对对应的第三计数器值cnt3不是大于或等于第三阈值时，处理前进到步骤S164。

在步骤S164中，输出处理器25将在前一帧中输出的边界位置作为当前帧中边界的位置发送到刨除区域设置单元15。

如上所述，通过输出处理，当在当前帧中检测到边界候选对时以及当检测出的边界候选对具有在时间上的连续性时，边界被检测到，并且它的位置被通知给刨除区域设置单元15。替代地，当没有检测到边界候选对时和/或当检测出的边界候选对不具有在时间上的连续性时，前一帧中边界的位置被通知给刨除区域设置单元15。相应地，结束黑条检测处理。

将参考图24到27描述通过上述黑条检测处理输出的与图像信号的每帧对应的边界位置的例子。

图24示出包含设在帧的上和下边缘的黑条的图像信号的转变，其中在帧的纵向上象素的示例数目是240。

换句话说，在直到帧f0的帧的上和下边缘设有厚度为20象素的低亮度范围，并且仅靠近帧中心的边缘被检测为边界候选。在帧f1中，厚度为20象素的低亮度范围存在于上和下边缘，与低亮度范围内的字幕对应的多个边界候选被检测到，而不仅仅在靠近帧中心的边缘处。在帧f2中，整个图像是低亮度范围，边界候选被检测。

如图24所示，当在帧f0中图像信号转变时，在帧的上、下边缘处检测到的边界候选对的位置，即距上、下边缘20象素的位置被通知作为边界位置。在帧f1中，虽然上边缘处的边界候选增多，仍仅存在一个具有在时间上的连续性的边界候选对。因此，距上、下边缘20象素的位置继续被通知作为边界位置。在帧f2中，虽然没有检测到边界候选，但响应于前一帧f1而输出的边界位置(距帧的上、下边缘20象素的位置)被包括在检测出的低亮度范围之内。因此，边界位置(距帧的上、下边缘20象素的位置)被发出。

图25-27示出包含设在帧的上、下边缘的黑条的图像信号的转变中关于上边缘侧的信息。在图25-27中，与第三计数器值比较的第三阈值是7。

图25示出紧跟在黑条检测处理开始之后的一个例子(帧f0-f11(与图24中的f0-f2不同))。在图中所示的情形下，在帧f0-f6中，虽然距上边缘20象素的位置被检测为边界位置，但由于不具有在时间上的连续性，该边界位置没有被发送到帧f6。接着，在帧f7和随后的帧中，确定检测出的边界位置具有在时间上的连续性(即第三计数器值大于或等于第三阈值)，并且检测出的边界位置(距上边缘20象素的位置)被发出。

图26示出因为黑屏而使整个图像的亮度变低的示例情形。在图中，虽然在帧f103中整个图像的亮度降低，但低亮度范围延伸到距上边缘119象素的位置，没有检测到边界位置，在前一帧中响应于帧f102发出的边界位置(距帧的上边缘20象素的位置)被包括在检测出的低亮度范围之内。因此，响应于帧f102发出的边界位置(距帧的上边缘20象素的位置)被发出。

图27示出画面被从有黑条的电影切换到没有黑条的广告节目的示例情形。在图中，在帧f203和随后的帧中低亮度范围消失。由于在帧f203中没有检测到边界候选对，所以第三计数器值被初始化为0。然而，在帧f203到f209中，新的边界位置(距上边缘0象素的位置)不具有在时间上的连续性。因此，响应于帧f202发出的边界位置(距上边缘20象素的位置)被发出。接着，在帧f210和随后的帧中，确定检测出的边界位置具有在时间上的连续性(第三计数器值大于或等于第三阈值)，并且检测出的边界位置(距上边缘0象素的位置)被发出。

根据上述黑条检测处理，当图像信号中存在噪声时以及当黑条包括字幕和屏上文字时，可以高精度地检测黑条的边界。即使在使整个图像变黑的场景被包括在图像信号的中间时，也可以高精度地检测黑条的边界。

如上所述，黑条的边界位置被发送给刨除区域设置单元15，并且处理返回到图18。在步骤S2中，直线边缘检测器13检测图像中的直线边缘，并且将与检测出的直线边缘有关的位置信息发送给刨除区域设置单元15。如上所述，检测出的直线边缘包括PinP的输出线、包围屏上文字的外框以及图像中OSD的轮廓。

在步骤S3中，重复图案检测器14检测图像中的重复图案，并且将与检测出的重复图案有关的位置信息发送给刨除区域设置单元15。

在步骤S1-S3中的处理被描述为以步骤S1、S2和S3的次序实施。然而，处理的次序可以改变，或处理可以同时被实施。

在步骤S4中，基于从黑条检测器12发送来的与黑条(的边界)有关的位置信息、从直线边缘检测器13发送来的与直线边缘有关的位置信息以及从重复图案检测器14发送来的与重复图案有关的位置信息，刨除区域设置单元15设置刨除区域。接着，刨除区域设置单元15将与刨除区域有关的信息发送给运动对象检测器17和追踪点估计器18。

在步骤S5中，追踪处理器16的运动对象检测器17检测从上游单元输入的图像信号的图像中的对象，估计包括检测到的对象的区域，在估计的区域中设置追踪点，并且检测追踪点的运动向量。当为运动向量检测提供的匹配区域的中心象素位于从刨除区域设置单元15发送来的刨除区域内时，不计算运动向量。

在步骤S6中，基于运动对象检测器17检测到的运动向量，追踪处理器16的追踪点估计器18估计追踪点的运动(在下一帧中追踪点的位置)，并且将估计结果作为与运动对象有关的位置信息输出到下游单元。

当为估计而设置的匹配区域的中心象素位于刨除区域内时，追踪点被改变为另一预定候选。再接着，确定与新的追踪点对应的匹配区域中的中心象素是否位于刨除区域内。目标点被改变为另一候选，直到确定与候选对应的匹配区域中的中心象素不位于刨除区域内为止。

当为估计追踪点而设置的搜索区域与刨除区域重叠时，追踪点估计器18将目标点改变为另一预定候选。同样在这样的情形下，目标点被改变为另一候选，直到确定与候选对应的匹配区域的中心象素不位于刨除区域内为止。完成对象追踪处理的描述。

通过上述由对象追踪设备10执行的对象追踪处理，图像中的黑条可以被准确地检测。由于检测出的黑条可以从为块匹配而设置的匹配区域中准确地刨除，所以可以准确地检测运动向量。结果，运动对象可以被准确地追踪。

图像中的直线边缘和重复图案也可以被检测。因此，检测出的直线边缘和重复图案可以从为块匹配而设置的匹配区域中准确地刨除。因此可以准确地检测运动向量，结果，运动对象可以被准确地追踪。

本发明可以被应用于被配置为处理图像信号的电子设备，例如视频播放器、视频记录器、电视调谐器和电视接收器。

上述处理系列可以用硬件或软件来执行。为了用软件来执行处理系列，构成软件的程序被从程序记录介质安装到包括在专用硬件中的计算机或通用个人计算机，这些计算机能够通过安装各种程序完成各种功能。

由计算机执行的程序可以是按本发明实施例中描述的顺序依次处理的程序，可以是同时处理的程序，或者可以是在调用时处理的程序。

可以由一台计算机处理程序或可以通过多台计算机执行的分布式处理来处理程序。程序可以在传送到远程计算机之后被执行。

本发明的实施例虽不局限于上述公开的这些，而是可以在本发明的范围内以多种方式进行修改。

本发明包含涉及2008年3月18日提交给日本特许厅的日本优先权专利申请JP 2008-068809的主题，通过引用而将其全文并入本文中。

应该理解，本领域技术人员可根据设计要求和其它因素进行不同的修改、组合、子组合和替代，只要其在所附权利要求或其等同物的范围之内。

Claims (8)

1.一种图像信号处理装置，被配置为追踪在图像中运动的对象，包括：

设置装置，在构成运动图像的图像中设置刨除区域；

运动向量检测装置，在构成运动图像的所述图像中检测对象，并且利用所述图像中除所述刨除区域以外的区域来检测与该对象对应的运动向量；和

估计装置，基于检测到的运动向量来估计该对象向哪个位置运动。

2.根据权利要求1的图像信号处理装置，其中，所述运动向量检测装置从构成运动图像的所述图像中除所述刨除区域以外的区域中检测所述对象，并且利用所述图像中除所述刨除区域以外的区域来检测与所述对象对应的运动向量。

3.根据权利要求2的图像信号处理装置，其中，所述估计装置在除所述刨除区域以外的区域中基于检测到的运动向量来估计所述对象向哪个位置运动。

4.根据权利要求2的图像信号处理装置，其中，所述设置装置包括：

黑条检测装置，在构成运动图像的所述图像中检测黑条；和

刨除区域确定装置，基于检测到的黑条来确定所述刨除区域。

5.根据权利要求4的图像信号处理装置，其中，所述黑条检测装置包括：

第一检测装置，检测所述图像中的低亮度范围；

第二检测装置，在检测出的低亮度范围中检测黑条的边界候选；以及

识别装置，基于检测出的低亮度范围和检测出的边界候选来识别黑条的边界。

6.一种用于被配置为追踪在图像中运动的对象的图像信号处理装置的图像信号处理方法，该方法包括下列步骤：

在构成运动图像的图像中设置刨除区域；

在构成运动图像的所述图像中检测对象，并且利用所述图像中除所述刨除区域以外的区域来检测与该对象对应的运动向量；以及

基于检测到的运动向量来估计该对象向哪个位置运动。

7.一种控制被配置为追踪在图像中运动的对象的图像信号处理装置的程序，由该图像信号处理装置中的计算机执行，所述程序包括下列步骤：

在构成运动图像的图像中设置刨除区域；

在构成运动图像的所述图像中检测对象，并且利用所述图像中除所述刨除区域以外的区域来检测与该对象对应的运动向量；以及

基于检测到的运动向量来估计该对象向哪个位置运动。

8.一种图像信号处理装置，被配置为追踪在图像中运动的对象，包括：

设置单元，被配置为在构成运动图像的图像中设置刨除区域；

运动向量检测单元，被配置为在构成运动图像的所述图像中检测对象，并且利用所述图像中除所述刨除区域以外的区域来检测与该对象对应的运动向量；以及

估计单元，被配置为基于检测到的运动向量来估计该对象向哪个位置运动。

Images