CN100592339C

CN100592339C - 检测设备和检测方法

Info

Publication number: CN100592339C
Application number: CN200710152516A
Authority: CN
Inventors: 安部素嗣; 西口正之
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-09-27
Filing date: 2007-09-27
Publication date: 2010-02-24
Anticipated expiration: 2027-09-27
Also published as: JP4720705B2; CN101154290A; JP2008083894A; US20080181492A1; US8254677B2; US20110293176A1

Abstract

本发明提供一种检测设备、检测方法和计算机程序，该检测设备基于第一图像与第二图像之间的相似度检测画面变化，包括：用于生成所述第一图像和所述第二图像各自的亮度直方图和颜色直方图其中之一的单元；用于生成表示所述第一图像与所述第二图像的空间布局之间的相关性的空间相关图像的单元；用于计算表示所述第一图像的直方图与所述第二图像的直方图之间的相似度的直方图相似度的单元；用于计算表示所述第一图像的空间相关图像与所述第二图像的空间相关图像之间的相似度的空间相关图像相似度的单元；以及用于基于所述直方图相似度和所述空间相关图像相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化的单元。

Description

检测设备和检测方法

技术领域

本发明涉及一种检测设备、检测方法以及计算机程序。更具体地，本发明涉及一种用于以高精度检测画面变化(cutchange)的检测设备、检测方法以及计算机程序。

背景技术

在图像的分析、加密以及搜索中，从图像检测画面变化的处理是有用的。

这里的“画面(cut)”指空间中连续的图像块(图像片段(image clip))，画面变化指画面之间的连结点，即连结不连续图像片段的边界。

画面变化还被称为镜头变化(shot change)、场景变化或图像变化点。在本说明书中，使用术语“画面变化”。

现有的画面变化检测方法包括统计差分法(statisticaldifference method)、像素差分法(pixel difference method)、编码数据法、边缘法等。直方图差分法(histogram difference method)被认为是最精确的画面变化检测方法。

直方图差分法使用直方图之间的差。

直方图是图像的亮度或者颜色的分布，并且根据每个像素的亮度灰度级或者颜色灰度级(一般采用16～64个灰度级)，通过将投票(ballot)放入格子(bin)中来生成直方图。由此确定图像的亮度或颜色出现的频率的分布。

直方图差分法分为简单直方图差分法和分割直方图差分法。

简单直方图差分法计算待处理的两帧图像的直方图之间的差，作为评价值(如由Akio NAGASAKA和Yuzuru TANAKA在Transactions of Information Processing Society of Japan Vol.33，No.4，pp.543-550中所公开的)。

在简单直方图差分法中，计算直方图相应格子之间的差的绝对值的和(以下称之为直方图差的绝对和)作为评价值。

在分割直方图差分法中，将两帧中的每一帧的完整图像分割为预定数量的块(例如，由Akio NAGASAKA和YuzuruTANAKA在Transactions of Information Processing Society ofJapan Vol.33，No.4，pp.543-550中所公开的16块)，确定每块中的直方图之间的差，并且仅利用从最小差开始的预定数量的块来计算评价值(由Akio NAGASAKA和Yuzuru TANAKA在Transactions of Information Processing Society of Japan Vol.33，No.4，pp.543-550中所公开的，以及由John S.B oreczky，Lawrence A.Rowe在Storage and Retrieval for Image and VideoDatabase(SPIE)(1996)pp.170-179中发表的标题为“Comparisonof Video Short Boundary Detection Techniques”的论文)。

图像画面的变化包括由照相机的运动、被摄体的运动和形状变化所引起的变化(以下还称为位置、姿势和形状的变化)、光圈(aperture stop)的变化、色彩平衡的变化、被摄体的亮度和颜色的变化(下面还称之为亮度和颜色变化)、以及由滚动消息(ticker)的出现和快速运动物体的出现或消失所引起的变化(以下还称之为出现触发的变化)。

如果使用直方图差分法，则在直方图的生成过程中，会丢失与要拍摄的被摄体的形状和空间位置相关的大多数信息。将对于画面中最频繁发生的位置、姿势以及形状变化的灵敏度控制到低水平。因此，采用直方图差分法的画面变化检测的精度高于其它画面变化检测方法的精度。

在直方图差分法中，与要拍摄的被摄体的形状和空间位置相关的信息的丢失所产生的副作用是，对于亮度和颜色变化以及出现触发的变化的灵敏度变得不必要地高。

由John S.Boreczky，Lawrence A.Rowe在Storage andRetrieval for Image and Video Database(SPIE)(1996)pp.170-179中发表的标题为“Comparison of Video Short Boundary DetectionTechniques”的论文指出，在上述画面检测方法中，直方图差分法提供了最高的检测精度水平，并且简单直方图差分法提供85％的检测率，分割直方图差分法提供90％的检测率。

即使具有高精度的分割直方图差分法也还有十分之一的画面变化不能检测出来，即，错过将十分之一的画面变化检测为画面变化，或者检测出实际上不是画面变化的画面变化。所达到的精度水平不是足够地高。

参考图1A和1B以及图2A和2B，结合直方图差分法，对画面图像中的变化与直方图之间的关系进行说明。

图1A和1B示出直方图随着整个图像的亮度水平的变化而变化。

如图1A和1B所示，帧F1和帧F2是待处理的两帧，它们在时间上彼此相邻。直方图H1和直方图H2分别是帧F1和帧F2的整个图像的亮度直方图。

如图1A和1B所示，被摄体的形状和空间位置在帧F1与帧F2之间通常保持不变。整个图像的亮度降低。与直方图H1相比，直方图H2通常被左移(向较低亮度值移位)。

应该将帧F1与帧F2之间图像的变化看作画面图像的变化。利用简单直方图差分法，如果直方图H1与直方图H2之间的差高于预定阈值，则帧F1与帧F2之间的点可能被错误地当作画面变化。

利用分割直方图差分法，如果整个图像的亮度发生变化，则在帧F1与帧F2之间所有块的每个直方图发生变化，画面变化也可能被错误地检测为画面变化。

图2A和2B示出在滚动消息出现的情况下的直方图。

如图2A和2B所示，帧F11和帧F12是待处理的两帧，它们在时间上彼此相邻。直方图H11和直方图H12是帧F11和帧F12的整个图像的亮度直方图。

在图2A和2B中，帧F11和帧F12的图像之间的变化主要是突然出现的滚动消息。与直方图H11相比，直方图H12包括与滚动消息区域相对应的格子，而不包括与被滚动消息区域覆盖的区域相对应的格子。

帧F11和帧F12的图像之间的变化应该被看作画面内的变化。如果在简单直方图差分法的情况下，直方图H11和直方图H12之间的差大于预定阈值，则帧F11和帧F12之间的切换点可能被错误地检测为画面变化。

如果采用分割直方图差分法，则滚动消息的块之外的各块的直方图之间的差是小的。如果在计算评价值时采用的块数少，则帧F11和帧F12的图像之间的变化被识别为不是画面变化。该变化不可能被错误地检测为画面变化。

根据分割直方图差分法，在计算评价值时使用从最小的直方图之间的差开始的预定数量的块。由于部分地使用与被摄体的形状和空间位置相关的信息，因而与简单直方图差分法相比，提高了画面变化精度水平。如果整个图像的亮度如图1A和1B所示发生变化，或者如果被摄体以高速移动穿过各块之间的边界，则错误画面检测的可能性提高。

利用直方图差分法(分割直方图差分法和简单直方图差分法)，可能将亮度的微小变化错误地检测为画面变化。

参考图3～图5A和5B，说明亮度的微小变化与直方图差分法中的直方图之间的关系。

图3示出正确检测到画面变化的直方图的变化。

如图3所示，帧F31～帧F33示出了在时间上连续的一系列图像。以帧F31开始，一次连续处理两帧，以检测画面变化。更具体地，处理帧F31和帧F32，然后处理帧F32和帧F33。

直方图H31～H33分别是帧F31～帧F33的亮度直方图。

如图3所示，帧F31和帧F32的图像之间的变化主要是由作为被摄体的移动的人引起的。直方图H31的分布与直方图H32的分布基本相同。

计算直方图H31与直方图H32之间的直方图差的绝对和，作为直方图H31与直方图H32之间的差。直方图差的绝对和足够小。由于直方图H31与直方图H32之间的差足够小，因而帧F31与帧F32之间的变化被正确识别为不是画面变化。

相反，帧F32中的被摄体(人)与帧F33中的被摄体(山)大不相同。直方图H32极大地不同于直方图H33。

计算直方图H32与直方图H33之间的直方图差的绝对和，作为直方图H32与直方图H33之间的差。直方图差的绝对和足够大。由于直方图H32与直方图H33之间的差足够大，因而帧F32与帧F33之间的差别被正确识别为画面变化。

图4示出亮度发生微小变化的直方图。

如图4所示，帧F41～帧F45是在时间上连续的一系列图像。以帧F41开始，每两个连续的帧被处理，以检测画面变化。首先，处理帧F41和帧F42，然后，处理帧F42和帧F43。随后，顺序处理每两个连续的帧。

直方图H41～直方图H45分别是帧F41～帧F45的亮度直方图。

帧F41～F45是单色图像，而且整个图像的亮度是均匀的。

如图4所示，直方图的格子数量是64，每个格子具有四个灰度级的宽度。例如，格子边界存在于第76个灰度级与第77个灰度级之间以及第80个灰度级与第81个灰度级之间。帧F41～F45在亮度发生微小变化的情况下具有亮度值73、75、77、79和81。整个图像的亮度逐渐增加。由于帧F41～F45的每个帧的整个图像的亮度保持不变，因而在直方图H41～H45的每个直方图中，出现频率集中于一个格子中。出现频率集中于特定格子上的部分被称为直方图峰值。

帧F41～F45的变化，即微小的亮度变化是画面内的变化，而不是画面变化。

帧F43具有略微高于帧F42的亮度值75的亮度值77。整个图像的亮度跨越亮度值76与亮度值77之间的格子边界。在直方图H43中，使直方图峰值移位到位于直方图H42的格子右侧的格子。直方图H42与直方图H43之间的直方图差的绝对值变为最大，并且帧F42与帧F43之间的切换点可能被错误地检测为画面变化。

帧F45的整个图像的亮度从帧F44的水平79略微地增加到水平81。整个图像的亮度升高到超过亮度值80与亮度值81之间的格子边界。在直方图H45中，直方图峰值移位到位于直方图H44的格子右侧的格子。直方图H44与直方图H45之间的直方图差的绝对值变为最大，并且帧F44与帧F45之间的切换点可能被错误地检测为画面变化。

在处理单色图像时，通常会错误地检测到画面变化。即使在处理多色普通图像时，如果响应于亮度或者颜色的微小变化而移位越过格子边界的直方图峰值引起格子的像素数量的巨大变化，则会进行错误检测。随着待处理的两帧之间的亮度或颜色的微小变化，在两个图像的直方图之间发生变化。这样导致画面变化的检测精度降低。

日本特开2006-121274号公报提出了一种技术。根据所公开的技术，使全部两个图像的亮度的平均值相等，以使这两个图像的直方图沿亮度轴移位(以下将该处理称为直方图移位)。在直方图移位后，计算直方图之间的差。根据该技术，在直方图移位之后，直方图基本上具有相同的形状且位于相同的位置。消除了直方图之间的变化，使错误检测得到控制。

在如图5A和5B所示的情况下，可能发生错误检测。图5A和5B示出在该图像的左半部分和右半部分均发生微小变化时发生的直方图的变化。

如图5A和5B所示，帧F51和帧F52是在时间上连续的两个图像。直方图H51和H52分别是帧F51和帧F52的亮度直方图。

帧F51和帧F52各自的左半部分和右半部分都是单色图像。

如图5A和5B所示，直方图的格子数量是64，格子宽度是4个灰度级。格子边界可以在第76个灰度级与第77个灰度级之间和第80个灰度级与第81个灰度级之间。

帧F51的左半部分和右半部分的亮度值分别是75和81。帧F52的左半部分和右半部分的亮度值分别是77和83。帧F51在包括亮度值75和亮度值81的格子内具有直方图峰值，帧F52在包括亮度值77和亮度值83的格子内具有直方图峰值。

帧F51和帧F52的图像之间的变化，即亮度的微小变化是画面内的变化。帧F51和帧F52之间的边界不是画面变化。

帧F52的左半部分的亮度从帧F51的左半部分的亮度值75略微增大到亮度值77。图像的左半部分的亮度跨越亮度值76与亮度值77之间的格子边界。帧F52的右半部分的亮度从帧F51的右半部分的亮度值81略微增大到亮度值83，但是图像的亮度不会跨越格子边界。在直方图H51与直方图H52之间，仅左侧直方图峰值穿过亮度值76与亮度值77之间的格子边界移位到位于其右侧的格子。结果，如果直方图H51与直方图H52之间的直方图差的绝对和达到了预定阈值，则帧F51和帧F52的图像之间的变化有可能被错误地检测为画面变化。

如果直方图的形状响应于亮度的微小变化而变化，则单独的直方图移位不能消除直方图之间的变化。更具体地，如果图像的变化比图4所示的变化复杂，则直方图移位的有效性丧失。

日本特开2004-282318号公报公开了一种生成直方图的技术。根据所公开的技术，不仅将投票放入相应的格子中，而且还以预定比例将投票放入与相应的格子相邻的格子中。

如果与直方图的格子宽度相比，整个图像的亮度的变化小，则这种技术缓和了直方图之间的变化。如果整个图像的亮度的变化相对于格子宽度不能忽略不计，则不能通过将投票放入相邻格子中来消除直方图之间的变化。

直方图差分法难以减少由亮度或者颜色的微小变化所引起的画面变化的错误检测。

通常在相邻图像之间发生画面变化，并将该画面变化称为标准画面变化。相反，当两个画面在前后图像的混合内连结时，可能发生画面变化。这种画面变化被称为混合画面变化。

在标准画面变化的检测中，计算待处理的两个图像之间的相似度作为评价值。如果相似度低于预定阈值，即，如果非相似度高于预定阈值，则这两个图像之间的变化被确定为画面变化。

利用这种方法，难以准确检测混合画面变化。图6示出标准画面变化。帧F61～帧F63是在时间上连续的一系列图像。以帧F61开始，处理每两个帧以检测画面变化。更具体地说，处理帧F61和帧F62，然后处理帧F62和帧F63。

如图6所示，具有作为被摄体的人的帧F61与具有作为被摄体的房屋的帧F62之间的相似度低。如果该相似度低于预定阈值，则将帧F61和帧F62的图像之间的变化确定为标准画面变化。具有作为被摄体的房屋的帧F62与具有作为被摄体的房屋的帧F63之间的相似度高。如果该相似度高于预定阈值，则该变化被确定为不是画面变化。

图7示出混合画面变化。如图7所示，帧F71～帧F73是在时间上连续的一系列图像。以帧F71开始，处理每两个连续图像。例如，处理帧F71和帧F72，然后处理帧F72和帧F73。

具有作为被摄体的人和房屋的帧F72是具有作为被摄体的人的帧F71和具有作为被摄体的房屋的帧F73的混合图像。两个画面在帧F72内连结。因此，帧F72是混合画面变化。

当在相同图像场(field)之间发生画面变化时(下面称之为场画面变化)，当通过图像滤波器使连续图像混合时，当在加密或解密期间使连续图像混合时，或者当在编辑期间使连续图像混合时，会发生这种混合画面变化。

如图7所示，帧F72包含类似于帧F71和帧F73的部分，并且帧F72与帧F71和帧F73都具有高相似度。基于两个连续图像之间的相似度检测画面变化的方法难以检测到混合画面变化。

日本特开2000-295624号公报公开了一种将场画面变化检测为混合画面变化之一的技术。根据所公开的技术，基于每三个帧中的每个第二帧被跳过的两帧之间的相似度，而不是基于两个连续帧之间的相似度，来检测画面变化。

如果每帧中的图像快速移动，则日本特开2000-295624号公报公开的技术难以检测到画面变化。

如图8所示，帧F81～F83是在时间上连续的一系列图像，并且它们表示人离开房屋向左行走的场景。帧F81～F83示出在画面上快速向左移动的人。没有发生画面变化。

如图8所示，在图像中具有作为被摄体的整个人的图像和房屋的左侧部分的帧F81与在图像中具有作为被摄体的整个人的图像和房屋的更多左侧部分的帧82之间的相似度高。帧F82与具有作为被摄体的人的图像的右半部分和整个房屋图像的帧F83之间的相似度高。由于人快速移动，所以在图像中具有作为被摄体的整个人的图像和房屋的左侧部分的帧F81与具有作为被摄体的人的图像的右半部分和整个房屋图像的帧F83之间的相似度低。

根据日本特开2000-295624号公报所公开的技术，可以对每三个帧(帧F81～F83)中的每个第二帧(帧F82)被跳过的的两帧(例如，帧F81和F83)进行画面变化检测。由于帧F81与帧F83之间的相似度低，所以贯穿帧F81～F83的变化可能被错误地识别为混合画面变化。

日本特开2002-64823号公报公开了一种利用加密数据进行场画面变化检测的技术。然而，该技术采用对特定加密方法的加密图像唯一的特征量，因此，该技术只能应用于利用该加密方法加密后的图像。

日本特开2000-324499号公报公开了另一种用于检测画面变化的技术。所公开的技术允许以彼此不同的标准画面变化和场画面变化来检测画面变化。根据所公开的技术，确定待处理的两个图像上的相应像素之间的差，对差的绝对值求和(以下称之为差的绝对和)，并且确定差的绝对和的和之间的差。该技术也难以以高精度水平检测混合画面变化(包括场画面变化)。

发明内容

现有技术难以准确检测画面变化。而且，由于在当前广播服务中，滚动消息被频繁地插入到图像中，因而准确检测画面变化变得更加困难。

需要一种以较高精度检测画面变化的方法。

因此，希望提供一种高精度画面变化检测方法。

根据本发明的实施例，用于基于第一图像与第二图像之间的相似度检测画面变化的方法包括以下步骤：直方图生成步骤，用于生成所述第一图像和所述第二图像各自的亮度直方图和颜色直方图其中之一；空间相关图像生成步骤，用于生成表示所述第一图像和所述第二图像的空间布局之间的相关性的空间相关图像；直方图相似度计算步骤，用于计算表示所述第一图像的直方图与所述第二图像的直方图之间的相似度的直方图相似度；空间相关图像相似度计算步骤，用于计算表示所述第一图像的空间相关图像与所述第二图像的空间相关图像之间的相似度的空间相关图像相似度；以及判断步骤，用于基于所述直方图相似度和所述空间相关图像相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。其中，所述空间相关图像生成步骤包括：生成滤波图像和马赛克图像中的至少一个，作为所述空间相关图像，所述滤波图像是通过减少所述第一图像和所述第二图像各自的低频分量和高频分量而获得的图像，所述马赛克图像由多个区域构成，所述第一图像和所述第二图像各自的整个图像被分割为所述多个区域，并且通过各区域的平均亮度和各区域的平均颜色其中之一来表示该区域。

该检测画面变化的方法可以进一步包括计算平均相似度的步骤，所述平均相似度是在所述直方图相似度计算步骤中计算出的多个相邻帧的图像的直方图相似度的平均和在所述空间相关图像相似度计算步骤中计算出的多个相邻帧的图像的空间相关图像相似度的平均中的至少一个，其中，所述判断步骤包括：基于所述直方图相似度、所述空间相关图像相似度以及所述平均相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

该检测画面变化的方法可以进一步包括计算相邻平均颜色的步骤，所述相邻平均颜色是与所述第一图像相邻的多个帧的图像的亮度或者颜色的平均，其中，所述判断步骤包括：基于所述直方图相似度、所述空间相关图像相似度以及所述相邻平均颜色，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

该检测画面变化的方法可以进一步包括以下步骤：生成所述第一图像和所述第二图像各自的亮度和颜色其中之一的精细直方图；通过对所述精细直方图进行滤波，计算特征分布；计算所述第一图像的特征分布与所述第二图像的特征分布之间的相似度；提取与所述第一图像和所述第二图像不同的第三图像的特征；计算所述第一图像、所述第二图像以及所述第三图像中的两个图像之间的相似度；生成所述第一图像、所述第二图像以及所述第三图像各自的缩小图像；生成所述第一图像的缩小图像和所述第三图像的缩小图像的合成图像；以及计算所述合成图像与所述第二图像的缩小图像之间的相似度，其中，所述判断步骤包括：基于所述特征分布之间的相似度、所述第一图像、所述第二图像和所述第三图像中的两个图像之间的相似度以及所述合成图像与所述第二图像的缩小图像之间的相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

根据本发明的一个实施例，一种基于第一图像与第二图像之间的相似度检测画面变化的设备包括：直方图生成部件，用于生成所述第一图像和所述第二图像各自的亮度直方图和颜色直方图其中之一；空间相关图像生成部件，用于生成表示所述第一图像与所述第二图像的空间布局之间的相关性的空间相关图像；用于计算表示所述第一图像的直方图与所述第二图像的直方图之间的相似度的直方图相似度的单元；直方图相似度计算部件，用于计算表示所述第一图像的空间相关图像与所述第二图像的空间相关图像之间的相似度的空间相关图像相似度；以及空间相关图像相似度计算部件，用于基于所述直方图相似度和所述空间相关图像相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。其中，所述空间相关图像生成部件生成滤波图像和马赛克图像中的至少一个，作为所述空间相关图像，所述滤波图像是通过减少所述第一图像和所述第二图像各自的低频分量和高频分量而获得的图像，所述马赛克图像由多个区域构成，所述第一图像和所述第二图像各自的整个图像被分割为所述多个区域，并且通过各区域的平均亮度和各区域的平均颜色其中之一来表示该区域。

根据本发明的实施例，生成第一图像和第二图像各自的亮度直方图和颜色直方图其中之一。生成作为表示第一图像和第二图像的空间布局之间的相关性的图像的空间相关图像。计算作为第一图像的直方图与第二图像的直方图之间的相似度的直方图相似度。计算作为第一图像的空间相关图像与第二图像的空间相关图像之间的相似度的空间相关图像相似度。基于直方图相似度和空间相关图像相似度，判断第一图像与第二图像之间的边界是否是画面变化。

根据本发明的实施例，可以以高精度检测画面变化。

附图说明

图1A和1B示出整个图像的亮度水平发生变化的直方图；

图2A和2B示出响应于滚动消息的出现而引起的直方图的变化；

图3示出响应于画面变化而引起的直方图的变化；

图4示出响应于亮度的微小变化而引起的直方图的变化；

图5A和5B示出响应于每帧的左半部分和右半部分亮度的微小变化而引起的直方图的变化；

图6示出标准画面变化的示例；

图7示出混合画面变化的示例；

图8示出快速移动的被摄体的示例；

图9是示出根据本发明一个实施例的检测设备的框图；

图10是示出根据本发明一个实施例的画面变化检测器的框图；

图11是示出画面变化检测处理的流程图；

图12是示出根据本发明一个实施例的第一处理器的框图；

图13是示出第一处理的流程图；

图14是示出根据本发明一个实施例的第一处理器的功能框图；

图15是示出图14的第一处理器的第一处理的流程图；

图16是示出根据本发明一个实施例的第一处理器的功能框图；

图17是示出图16的第一处理器的第一处理的流程图；

图18是示出根据本发明一个实施例的第一处理器的功能框图；

图19是示出图18的第一处理器的第一处理的流程图；

图20示出原始图像；

图21A～21C示出直方图、滤波图像以及马赛克图像(mosaic image)；

图22示出生成滤波图像的滤波器的滤波特性；

图23A～23C示出直方图的重叠率(overlapping rate)；

图24是示出用于计算图像的相似度的相似度计算处理的流程图；

图25示出用于搜索最大相关值的搜索操作；

图26是示出用于计算马赛克图像的相似度的相似度计算处理的流程图；

图27A～27C示出匹配像素的计数；

图28是示出根据本发明一个实施例的判断器(determiner)的框图；

图29是示出图28的判断器的判断处理的流程图；

图30是示出根据本发明一个实施例的判断器的功能框图；

图31是示出图30的判断器的判断处理的流程图；

图32是示出根据本发明一个实施例的第一处理器的功能框图；

图33是示出图32的第一处理器的第一处理的流程图；

图34是示出根据本发明一个实施例的第一处理器的功能框图；

图35是示出图34的第一处理器的第一处理的流程图；

图36是示出根据本发明一个实施例的第二处理器的框图；

图37是示出图36的第二处理器的第二处理的流程图；

图38示出精细直方图和特征分布的变化；

图39示出低通滤波器的频率响应特性；

图40A～40C示出非线性滤波器的滤波处理；

图41是示出根据本发明一个实施例的相似度计算器的框图；

图42是示出图37的步骤S404中的相似度计算处理的流程图；

图43示出样本之间的对应关系；

图44是示出根据本发明一个实施例的第三处理器的框图；

图45是示出第三处理器的第三处理的流程图；

图46示出合成图像的生成；

图47是示出图44的判断器的判断处理的流程图；

图48A～48G示出图像图案与画面变化之间的关系；

图49示出相似度1、相似度2以及画面变化的判断结果的关系；

图50是示出根据本发明一个实施例的图10的判断器的功能框图；

图51是示出根据本发明一个实施例的图10的判断器的功能框图；以及

图52示出画面变化检测的性能评价。

具体实施方式

在说明本发明实施例之前，下面论述本发明的特征与本发明的说明书或附图中公开的实施例之间的对应关系。该声明旨在确保在说明书或者附图中描述了支持所附权利要求的实施例。因此，即使在本说明书或者附图中描述了实施例，但该实施例在此没有被描述为与本发明的特征相关，这并不必然意味着该实施例与本发明的该特征无关。相反地，即使实施例在此被描述为与本发明的特定特征相关，这并不意味着该实施例与本发明的其它特征无关。

根据本发明的实施例，用于使计算机基于第一图像与第二图像之间的相似度检测画面变化的计算机程序和方法其中之一包括以下步骤：直方图生成步骤，用于生成所述第一图像和所述第二图像各自的亮度直方图和颜色直方图其中之一(例如，在图13的步骤S31)；空间相关图像生成步骤，用于生成表示所述第一图像和所述第二图像的空间布局之间的相关性的空间相关图像(例如，在图13的步骤S32)；直方图相似度计算步骤，用于计算表示所述第一图像的直方图与所述第二图像的直方图之间的相似度的直方图相似度(例如，在图13的步骤S34)；空间相关图像相似度计算步骤，用于计算表示所述第一图像的空间相关图像与所述第二图像的空间相关图像之间的相似度的空间相关图像相似度(例如，在图13的步骤S35)；以及判断步骤，用于基于所述直方图相似度和所述空间相关图像相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化(例如，在图11的步骤S5)。

该计算机程序可以进一步包括计算平均相似度的步骤(例如，在图33的步骤S248)，所述平均相似度是在所述直方图相似度计算步骤中计算出的多个相邻帧的图像的直方图相似度的平均和在所述空间相关图像相似度计算步骤中计算出的多个相邻帧的图像的空间相关图像相似度的平均中的至少一个，其中，所述判断步骤包括：基于所述直方图相似度、所述空间相关图像相似度以及所述平均相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

该计算机程序可以进一步包括计算相邻平均颜色的步骤(例如，在图35的步骤S269)，所述相邻平均颜色是与所述第一图像相邻的多个帧的图像的亮度或者颜色的平均，其中，所述判断步骤包括：基于所述直方图相似度、所述空间相关图像相似度以及所述相邻平均颜色，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

该计算机程序可以进一步包括以下步骤：生成所述第一图像和所述第二图像各自的亮度和颜色其中之一的精细直方图(例如，在图37的步骤S401)；通过对所述精细直方图进行滤波，计算特征分布(例如，在图37的步骤S402)；计算所述第一图像的特征分布与所述第二图像的特征分布之间的相似度(例如，在图37的步骤S404)；提取与所述第一图像和所述第二图像不同的第三图像的特征(例如，在图45的步骤S601)；计算所述第一图像、所述第二图像以及所述第三图像中的两个图像之间的相似度(例如，在图45的步骤S602)；生成所述第一图像、所述第二图像以及所述第三图像各自的缩小图像(例如，在图45的步骤S603)；生成所述第一图像的缩小图像和所述第三图像的缩小图像的合成图像(例如，在图45的步骤S604)；以及计算所述合成图像与所述第二图像的缩小图像之间的相似度(例如，在图45的步骤S605)，其中，所述判断步骤包括：基于所述特征分布之间的相似度、所述第一图像、所述第二图像和所述第三图像中的两个图像之间的相似度以及所述合成图像与所述第二图像的缩小图像之间的相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

根据本发明的一个实施例，一种基于第一图像与第二图像之间的相似度检测画面变化的设备(例如，图9的个人计算机1)包括：用于生成所述第一图像和所述第二图像各自的亮度直方图和颜色直方图其中之一的单元(例如，图12的直方图生成器101)；用于生成表示所述第一图像与所述第二图像的空间布局之间的相关性的空间相关图像的单元(例如，图12的空间相关图像生成器102)；用于计算表示所述第一图像的直方图与所述第二图像的直方图之间的相似度的直方图相似度的单元(例如，图12的直方图相似度计算器104)；用于计算表示所述第一图像的空间相关图像与所述第二图像的空间相关图像之间的相似度的空间相关图像相似度的单元(例如，图12的空间相关图像相似度计算器105)；以及用于基于所述直方图相似度和所述空间相关图像相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化的单元(例如，图10的判断器64)。

下面，参考附图说明本发明的实施例。

图9是示出根据本发明一个实施例的检测设备的框图。

如图9所示，作为检测设备的个人计算机1包括：中央处理单元(CPU)21、只读存储器(ROM)22、随机存取存储器(RAM)23、总线24、输入输出接口25、输入单元26、输出单元27、存储单元28、通信单元29、驱动器30以及可移动介质31。

总线24与CPU 21、ROM 22、RAM 23以及输入输出接口25相连接。输入输出接口25依次与总线24、输入单元26、输出单元27、存储单元28、通信单元29以及驱动器30相连接。

CPU 21根据存储在ROM 22和存储单元28其中之一上的程序，进行各种处理。响应于从输入单元26输入的指令，CPU 21进行各种处理并且将处理结果输出到输出单元27。

ROM 22存储CPU 21要执行的程序。

RAM 23存储CPU 21要执行的程序和必要的数据。RAM 23还包括用于临时存储从外部输入的图像的缓冲器。

输入单元26包括键盘、鼠标、麦克风等。

输出单元27包括显示器、扬声器等。

包括硬盘的存储单元28存储CPU 21要执行的程序和各种数据。

通过例如因特网或局域网等的网络，通信单元29与外部装置进行通信。

可以通过通信单元29获取程序，然后，将该程序存储在存储单元28上。

当装载例如磁盘、光盘、磁光盘或者半导体存储器等的可移动介质31时，驱动器30驱动所装载的介质，获取存储在该介质上的程序和数据。必要时，将所获取的程序和数据传送到存储单元28进行存储。

用于存储安装在计算机上并且准备由计算机运行的程序的程序记录介质包括可移动介质31。可移动介质31是包括磁盘(包括软盘)、光盘(例如，压缩光盘只读存储器(CD-ROM)或数字通用光盘(DVD))、磁光盘以及半导体存储器在内的封装介质中的一个。程序记录介质还包括ROM 22或形成存储单元28的硬盘。利用包括局域网、因特网和数字广播卫星的有线或者无线通信介质，通过例如路由器和调制解调器等的通信单元29，将程序存储在程序记录介质上。

个人计算机1通过执行存储在ROM 22和存储单元28其中之一上的程序，发挥画面变化检测器51的功能。

图10是示出由个人计算机1的软件结构构造的画面变化检测器51的框图。

如图10所示，画面变化检测器51通过从RAM 23的缓冲器读取图像，从外部接收该图像，并且进行画面变化检测处理。

画面变化检测器51包括：第一处理器61、第二处理器62、第三处理器63以及判断器64。

第一处理器61、第二处理器62和第三处理器63中的每一个接收输入到画面变化检测器51的图像数据。

响应于提供的图像数据，第一处理器61进行稍后说明的第一处理，并且将由此产生的第一相似度提供给判断器64。

响应于提供的图像数据，第二处理器62进行稍后说明的第二处理，并且将由此产生的第二相似度提供给判断器64。

响应于提供的图像数据，第三处理器63进行稍后说明的第三处理，并且将由此产生的第三相似度提供给判断器64。

响应于第一处理器61提供的第一相似度、第二处理器62提供的第二相似度以及第三处理器63提供的第三相似度，判断器64进行稍后说明的判断处理。

下面，参考图11所示的流程图说明图10的画面变化检测器51的画面变化检测处理。

当用户发出开始命令以开始进行画面变化检测处理时，启动画面变化检测处理。

在步骤S1，画面变化检测器51中的第一处理器61、第二处理器62和第三处理器63从RAM 23的缓冲器接收图像数据。

将画面变化检测器51接收到的最近三帧按时间顺序称为第二最近帧、第一最近帧和当前帧。

在步骤S2，第一处理器61对之前刚接收到的两帧，即第一最近帧和当前帧，进行第一处理，然后，将由此产生的的第一相似度提供给判断器64。在第一处理中，从直方图和空间相关图像来计算相似度。稍后，参考图12～35详细说明第一处理。

在步骤S3，第二处理器62对之前刚接收到的两帧，即第一最近帧和当前帧，进行第二处理，然后，将由此产生的第二相似度提供给判断器64。在第二处理中，通过对特征分布进行间取(decimate)，获得相似度。稍后，参考图36～43详细说明第二处理。

在步骤S4，第三处理器63对之前刚接收到的三帧，即第二最近帧、第一最近帧和当前帧，进行第三处理。第三处理器63将由此产生的第三相似度提供给判断器64。在第三处理中，利用由合成缩小图像产生的图像，计算相似度。稍后，参考图44～51详细说明第三处理。

实际上，可并行执行步骤S2～S4中的第一处理～第三处理。

在步骤S5，判断器64基于第一处理器61提供的第一处理的相似度、第二处理器62提供的第二处理的相似度以及第三处理器63提供的第三处理的相似度，进行判断处理。判断器64对在第一处理～第三处理中确定的相似度进行整合，从而最终判断目标帧是否是画面变化。稍后，参考图28～31详细说明判断处理。

在步骤S6，判断器64参考RAM 23的缓冲器，并且判断是否可获得下一帧。如果在步骤S6中判断为可获得下一帧，则处理返回步骤S1，以重复上述处理。

如果在步骤S6中判断为不能获得下一帧，则画面变化检测处理结束。

下面详细说明第一处理。

图12是示出根据本发明一个实施例的图10的第一处理器61的框图。

如图12所示，第一处理器61包括直方图生成器101、空间相关图像生成器102、缓冲器103、直方图相似度计算器104以及空间相关图像相似度计算器105。

直方图生成器101接收在第一处理器61的第一处理中处理的第一最近帧和当前帧的图像数据。

直方图生成器101生成第一最近帧和当前帧各自的亮度直方图和颜色直方图其中之一，然后，将所生成的亮度直方图和颜色直方图其中之一提供给缓冲器103。

亮度直方图包括用于亮度信号(Y信号)的Y图像直方图，颜色直方图包括用于与红色、绿色以及蓝色(RGB)信号对应的R图像、G图像和B图像的直方图。

通常，颜色直方图允许以较高精度检测画面变化。

空间相关图像生成器102接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。

空间相关图像生成器102生成表示第一最近帧与当前帧的空间布局之间的相关性的空间相关图像，然后，将该空间相关图像提供给缓冲器103。

缓冲器103存储直方图生成器101提供的第一最近帧和当前帧的直方图，同时，还存储空间相关图像生成器102提供的第一最近帧和当前帧的空间相关图像。

直方图相似度计算器104从缓冲器103读取第一最近帧和当前帧的直方图，计算第一最近帧和当前帧的直方图之间的相似度，然后，将由此产生的直方图相似度提供给判断器64。

空间相关图像相似度计算器105从缓冲器103读取第一最近帧和当前帧的空间相关图像，计算第一最近帧的空间相关图像与当前帧的空间相关图像之间的空间相关图像相似度，然后，将由此产生的空间相关图像相似度提供给判断器64。

下面，参考图13的流程图对图12的第一处理器61的第一处理进行说明。

直方图生成器101接收在第一处理器61的第一处理中处理的第一最近帧和当前帧的图像数据。在步骤S31，直方图生成器101生成所提供的第一最近帧和当前帧的图像数据的直方图。

空间相关图像生成器102接收在第一处理器61的第一处理中处理的第一最近帧和当前帧的图像数据。在步骤S32，空间相关图像生成器102生成表示第一最近帧和当前帧的空间布局之间的相关性的空间相关图像。

直方图和空间相关图像是表示原始图像的特征的特征量。步骤S31和S32是特征量提取处理。

在步骤S33，缓冲器103存储直方图生成器101提供的第一最近帧和当前帧的直方图，同时，还存储空间相关图像生成器102提供的第一最近帧和当前帧的空间相关图像。

在步骤S34，直方图相似度计算器104从缓冲器103读取第一最近帧和当前帧的直方图，计算第一最近帧的直方图与当前帧的直方图之间的直方图相似度，然后，将直方图相似度提供给判断器64。稍后，参考图20、21A～21C以及23A～23C具体说明直方图的生成和直方图相似度的计算。

在步骤S35，空间相关图像相似度计算器105从缓冲器103读取第一最近帧和当前帧的空间相关图像，计算第一最近帧的空间相关图像和当前帧的空间相关图像之间的空间相关图像相似度，然后，将由此产生的空间相关图像相似度提供给判断器64。处理返回到图11的步骤S2。空间相关图像的生成和空间相关图像的相似度计算对应于滤波图像或者马赛克图像的生成和相似度的计算，参考图20～22、25以及27A～27C来说明空间相关图像的生成和空间相关图像的相似度计算。

下面将计算直方图与空间相关图像的特征量之间的相似度的处理称为相似度计算处理。图13的步骤S34和S35是相似度计算处理。

图14是示出根据本发明一个实施例的图10的第一处理器61的另一示例的功能框图。

如图14所示，与图12所示的元件相同的元件用相同的附图标记来指定，并且在此省略对这些元件的说明。这同样适用于其它附图。

如图14所示，第一处理器61包括直方图生成器101、缓冲器103、直方图相似度计算器104、用于空间相关图像生成器102的滤波图像生成器121以及用于空间相关图像相似度计算器105的滤波图像相似度计算器122。

滤波图像生成器121接收在第一处理器61的第一处理中处理的第一最近帧和当前帧的图像。

滤波图像生成器121从所提供的第一最近帧和当前帧生成作为空间相关图像的滤波图像，然后，将由此产生的滤波图像提供给缓冲器103。

滤波图像是通过减少原始图像的空间频率的低频分量和高频分量而产生的图像。

通过利用滤波器对图像数据进行滤波而获得滤波图像。该滤波器具有：低频截止效果，以减少低频分量特别是DC分量；以及高频截止效果，以减少高频分量。高频分量截止作用使细图案变钝。

高频截止效果是通过将原始图像分割为多个块，并且求每块像素值的平均来实现的。低频截止效果是通过从原始图像的每个像素值减去所有像素值的平均值来实现的。通过精确设计的带通滤波器来提供高频截止效果和低频截止效果。

当通过从原始图像减少高频分量来生成滤波图像时，减少了有效像素的数量。因此，通过对实际无效的像素进行间取，降低了空间采样率。还减少了数据量，并且提高了后续阶段的计算效率。

滤波图像相似度计算器122从缓冲器103读取第一最近帧和当前帧的滤波图像，计算第一最近帧和当前帧的滤波图像之间的滤波图像相似度，并且将由此产生的滤波图像相似度提供给判断器64。

下面，参考图15的流程图对图14的第一处理器61的第一处理进行说明。

图14的直方图生成器101接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。在步骤S51，直方图生成器101生成所提供的第一最近帧和当前帧的直方图，然后，将由此产生的直方图提供给缓冲器103。

图14的滤波图像生成器121接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。在步骤S52，滤波图像生成器121生成作为空间相关图像的所提供的第一最近帧和当前帧的滤波图像，然后，将由此产生的滤波图像提供给缓冲器103。

处理S51和S52是特征量提取处理。

在步骤S53，缓冲器103存储直方图生成器101提供的第一最近帧和当前帧的直方图，同时，还存储滤波图像生成器121提供的第一最近帧和当前帧的滤波图像。

在步骤S54，直方图相似度计算器104从缓冲器103读取第一最近帧和当前帧的直方图，计算第一最近帧与当前帧的直方图之间的直方图相似度，然后，将由此产生的直方图相似度提供给判断器64。

在步骤S55，滤波图像相似度计算器122从缓冲器103读取第一最近帧和当前帧的滤波图像，计算第一最近帧的滤波图像和当前帧的滤波图像之间的滤波图像相似度，然后，将该滤波图像相似度提供给判断器64。处理返回到图11的步骤S2。稍后，参考图20、22以及25对滤波图像的生成和滤波图像的相似度的计算进行说明。

步骤S54和S55是相似度计算处理。

图16是示出根据本发明一个实施例的图10的第一处理器61的另一示例的功能框图。

如图16所示，第一处理器61包括直方图生成器101、缓冲器103、直方图相似度计算器104、用于空间相关图像生成器102的马赛克图像生成器131以及用于空间相关图像相似度计算器105的马赛克图像相似度计算器132。

马赛克图像生成器131接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。马赛克图像生成器131生成所提供的第一最近帧和当前帧的马赛克图像作为空间相关图像，然后，将由此产生的空间相关图像提供给缓冲器103。

通过将原始图像分割为块，每块的大小为水平8个像素和垂直8个像素，或者水平32个像素和垂直32个像素，并且通过用每块的亮度平均值或者颜色平均值表示该块，来产生马赛克图像。通过原始图像的亮度或颜色的粗略空间布局，来表示马赛克图像。还可以将由水平8个像素×垂直8个像素的块构成的整个图像称为颜色布局。

马赛克图像相似度计算器132读取第一最近帧和当前帧的马赛克图像，计算第一最近帧的马赛克图像与当前帧的马赛克图像之间的马赛克图像相似度，然后，将由此产生的马赛克图像相似度提供给判断器64。

下面，参考图17的流程图对图16的第一处理器61的第一处理进行说明。

直方图生成器101接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。在步骤S91，直方图生成器101生成所提供的第一最近帧和当前帧的直方图，然后，将由此产生的直方图提供给缓冲器103。

马赛克图像生成器131接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。在步骤S92，马赛克图像生成器131生成所提供的第一最近帧和当前帧的马赛克图像作为空间相关图像，然后，将由此产生的马赛克图像提供给缓冲器103。

步骤S91和S92是特征量提取处理。

在步骤S93，缓冲器103存储直方图生成器101提供的第一最近帧和当前帧的直方图，同时，还存储马赛克图像生成器131提供的第一最近帧和当前帧的马赛克图像。

在步骤S94，直方图相似度计算器104从缓冲器103读取第一最近帧和当前帧的直方图，计算第一最近帧的直方图与当前帧的直方图之间的直方图相似度，然后，将由此产生的直方图相似度提供给判断器64。

在步骤S95，马赛克图像相似度计算器132从缓冲器103读取第一最近帧和当前帧的马赛克图像，计算第一最近帧的马赛克图像和当前帧的马赛克图像之间的马赛克图像相似度，然后，将由此产生的马赛克图像相似度提供给判断器64。处理返回到图11的步骤S2。稍后，参考图20、21A～21C以及27A～27C说明马赛克图像的生成和马赛克图像的相似度的计算。

步骤S94和S95是相似度计算处理。

图18是示出根据本发明一个实施例的图10的第一处理器61的另一示例的功能框图。

如图18所示，第一处理器61包括直方图生成器101、空间相关图像生成器102、缓冲器103、直方图相似度计算器104以及空间相关图像相似度计算器105。空间相关图像生成器102包括滤波图像生成器121和马赛克图像生成器131。空间相关图像相似度计算器105包括滤波图像相似度计算器122和马赛克图像相似度计算器132。

下面，参考图19的流程图对图18的第一处理器61的第一处理进行说明。

直方图生成器101接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。在步骤S121，直方图生成器101生成所提供的第一最近帧和当前帧的直方图，然后，将所产生的直方图提供给缓冲器103。该处理与图13的步骤S31、图15的步骤S51以及图17的步骤S91中的每个步骤相同。

当接收到图20的原始图像P101的图像数据时，生成图21A所示的直方图。

在图21A中，横轴表示亮度，纵轴表示出现频率。原始图像P101包括灰度背景以及白色和黑色的圆形区域。直方图H101包括出现频率高的较低亮度(黑色)、中间亮度(灰色)以及较高亮度(白色)。

空间相关图像生成器102接收在第一处理器61的第一处理中处理的第一最近帧和当前帧。将第一最近帧和当前帧提供给滤波图像生成器121和马赛克图像生成器131中的每一个。

在步骤S122，滤波图像生成器121生成所提供的第一最近帧和当前帧的滤波图像作为空间相关图像。该处理与图15的步骤S52相同。

更具体地，滤波图像生成器121通过对输入图像数据应用具有图22所示的特性C1的滤波器，生成滤波图像。如图22所示，横轴表示频率，纵轴表示从滤波器输出的图像数据的水平。

如图22所示，滤波器特性C1是生成滤波图像的滤波器的特性，而滤波器特性C2是检测边缘的滤波器的特性。

当通过滤波器特性C1生成滤波图像时，输出没有DC分量的低频分量到中频分量。该处理不同于通过滤波器特性C2提取中频分量到高频分量的边缘提取处理。不同于边缘被去除的图像，滤波图像使用较低频分量到中频分量的特征。

通过对图20的原始图像P101进行滤波，生成图21B的滤波图像PF101。由于低频截止效果，滤波图像PF101在原始图像P101的亮度变化小的区域内具有小的值，而在原始图像P101的亮度变化大的区域内具有大的值。例如，原始图像P101的黑色圆环的轮廓具有相对小的数值。由于高频截止效果，滤波图像PF101通常有点模糊。

在步骤S123，马赛克图像生成器131生成第一最近帧和当前帧的马赛克图像作为空间相关图像。步骤S123与图17的步骤S92相同。

马赛克图像生成器131将滤波图像PF101分割为多个块，通过每块的平均像素值来表示该块。因此，如图21C所示，生成具有10×8个块的马赛克图像PM101。

马赛克图像PM101粗略地表示原始图像P101的亮度或颜色的空间布局。

图19的步骤S121～S123是特征量提取处理。

在步骤S124，缓冲器103存储直方图生成器101提供的第一最近帧和当前帧的直方图、滤波图像生成器121提供的第一最近帧和当前帧的滤波图像以及马赛克图像生成器131提供的第一最近帧和当前帧的马赛克图像。

在步骤S125，直方图相似度计算器104从缓冲器103读取第一最近帧和当前帧的直方图，计算第一最近帧的直方图与当前帧的直方图之间的直方图相似度，并且将由此产生的直方图相似度提供给判断器64。步骤S125与图13的步骤S34、图15的步骤S54以及图17的步骤S94中的每一步骤相同。

直方图相似度是第一最近帧和当前帧的直方图的重叠率。

如图23所示，直方图H111和直方图H112的重叠率是直方图H111和直方图H112共有的区域(如通过直方图上的阴影区域表示的)。

直方图相似度可以是包含直方图的各要素(格子中)的出现频率的向量(以下称之为直方图向量)之间的相似度。直方图向量之间的相似度可以是直方图向量的绝对距离，即曼哈坦(Manhattan)距离(等同于直方图的重叠率)或者作为直方图之间距离的平方的欧几里德(Euclidean)距离。

直方图相似度是几乎没有关于要拍摄的被摄体的形状以及该被摄体的空间布局的信息的直方图的相似度。直方图相似度不可能受位置、姿势以及形状变化的影响。由于直方图相似度对亮度和颜色的灵敏度，因而直方图相似度可以用作对亮度和颜色变化进行量化的相似度。

在步骤S126，滤波图像相似度计算器122从缓冲器103读取第一最近帧和当前帧的滤波图像，计算第一最近帧的滤波图像和当前帧的滤波图像之间的滤波图像相似度，然后，将由此产生的滤波图像相似度提供给判断器64。步骤S126与图13的步骤S55相同。

图24的流程图示出了滤波图像相似度计算处理。

滤波图像相似度计算器122从缓冲器103读取第一最近帧和当前帧的滤波图像，并且在步骤S151，提取例如第一最近帧的滤波图像的中央部分。

在步骤S152，滤波图像相似度计算器122使在步骤S151提取的第一最近帧的中央部分相对于当前帧的滤波图像相对移位，同时，计算第一最近帧的滤波图像的中央部分与当前帧的滤波图像之间的相关值。

在步骤S153，滤波图像相似度计算器122检测在步骤S152计算出的相关值的最大相关值。

更具体地，如图25所示，提取帧F111的滤波图像PF111的中央部分作为第一最近帧。使滤波图像PF111的中央部分相对于作为当前帧的帧F112的滤波图像PF112移位。搜索使滤波图像PF111的中央部分与滤波图像PF112之间的相关性最大化的相对位置，从而获得最大相关值。

可选地，计算整个滤波图像或部分滤波图像的绝对距离(绝对差的和)或者整个滤波图像或部分滤波图像的距离平方(平方差的和)，并且计算计算结果的最小值(以下称之为最小距离)。该最小值可以用作滤波图像相似度。最小距离本身表示滤波图像之间的非相似度，并且需要例如通过反转其符号而使其转换为相似度。

滤波图像相似度是DC分量被降低的滤波图像之间的相似度，而且亮度和颜色变化，例如整个图像的亮度的变化，根本不影响滤波图像相似度。滤波图像相似度是高频分量被降低的滤波图像之间的相似度，因而它不受细图案变化的影响。因此，滤波图像相似度量化位置、姿势以及形状变化。

滤波图像相似度是由最大相关值或第一最近帧的滤波图像与当前帧的滤波图像的最小距离产生的。因此，滤波图像相似度很少受由于照相机运动或正拍摄的被摄体的运动而引起的图像变化的影响。

由于滤波图像相似度几乎不受整个图像的亮度变化的影响，因而如图1所示，当整个图像的亮度发生变化时，对直方图相似度的下降进行补偿。

返回到图19，在步骤S127，马赛克图像相似度计算器132从缓冲器103读取第一最近帧和当前帧的马赛克图像，计算第一最近帧的马赛克图像与当前帧的马赛克图像之间的马赛克图像相似度，并且将计算出的马赛克图像相似度提供给判断器64。处理返回到图11的步骤S2。

图19的步骤S125～S127是相似度计算处理。

图26的流程图示出马赛克图像相似度计算处理。

马赛克图像相似度计算器132从缓冲器103读取第一最近帧和当前帧的马赛克图像。在步骤S171，马赛克图像相似度计算器132检测差值等于或者小于预定阈值的第一最近帧的马赛克图像与当前帧的马赛克图像的相应像素作为匹配像素。

在步骤S172，马赛克图像相似度计算器132确定在步骤S171检测到的匹配像素的数量或者匹配像素的数量与所有像素数量之比。

图27示出匹配像素的计数。如图所示，空圆符号表示匹配像素，字母x表示马赛克图像PM111与马赛克图像PM112之间的不匹配像素。

马赛克图像相似度不对两个马赛克图像的像素之间的差进行量化。如图27所示，在马赛克图像PM111中没有出现的滚动消息出现在马赛克图像PM112中，因此，导致马赛克图像PM112中的相应像素具有与其它像素基本不同的值。因此，马赛克图像相似度防止这种像素变得比其它像素更突出。

在如图2所示出现滚动消息时，对出现触发的变化的灵敏度低的马赛克图像相似度对直方图相似度的下降进行补偿。

生成滤波图像或马赛克图像，作为表示在进行画面变化检测时要处理的两个图像的空间布局之间的相关性的空间相关图像。亮度和颜色变化以及滚动消息的出现等出现触发的变化没有被误检测为画面变化。因此，提供了一种声音画面变化检测方法。

如图10所示，判断器64基于与第一处理器61、第二处理器62以及第三处理器63提供的相似度相关的信息，进行最终判断处理。这里所述的判断器64仅基于图18的第一处理器16提供的相似度，进行判断处理。

图28是示出仅基于第一处理器61提供的相似度进行判断处理的判断器64的功能框图。

如图28所示，判断器64包括加权处理器151～153、加法器154以及阈值判断器155。

加权处理器151从图18的第一处理器61内的直方图相似度计算器104接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的直方图相似度的直方图相似度信息。

加权处理器151将所提供的直方图相似度信息与预定加权系数W1相乘，然后，将由此产生的加权直方图相似度信息提供给加法器154。

加权处理器152从图18的第一处理器61内的滤波图像相似度计算器122接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的滤波图像相似度的滤波图像相似度信息。

加权处理器152将所提供的滤波图像相似度信息与预定加权系数W2相乘，然后，将由此产生的加权滤波图像相似度信息提供给加法器154。

加权处理器153从图18的第一处理器61内的马赛克图像相似度计算器132接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的马赛克图像相似度的马赛克图像相似度信息。

加权处理器153将所提供的马赛克图像相似度信息与预定加权系数W3相乘，然后，将由此产生的加权马赛克图像相似度信息提供给加法器154。

加法器154对从加权处理器151接收到的加权直方图相似度信息、从加权处理器152接收到的加权滤波图像相似度信息以及从加权处理器153接收到的加权马赛克图像相似度信息进行求和，并且将表示累加相似度的累加相似度信息提供给阈值判断器155。

阈值判断器155将加法器154提供的累加相似度信息与预定阈值进行比较，从而判断第一图像与第二图像之间的边界是否是作为包括在图像按时间的离散变化中的边界的画面变化。

下面，参考图29的流程图对图28的判断器64的判断处理进行说明。

加权处理器151从图18的第一处理器61内的直方图相似度计算器104接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的直方图相似度的直方图相似度信息。加权处理器152从图18的第一处理器61内的滤波图像相似度计算器122接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的滤波图像相似度的滤波图像相似度信息。加权处理器153从图18的第一处理器61内的马赛克图像相似度计算器132接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的马赛克图像相似度的马赛克图像相似度信息。

在步骤S201，加权处理器151将所提供的直方图相似度信息与预定加权系数W1相乘，然后，将由此产生的加权直方图相似度信息提供给加法器154。加权处理器152将所提供的滤波图像相似度信息与预定加权系数W2相乘，然后，将由此产生的加权滤波图像相似度信息提供给加法器154。加权处理器153将所提供的马赛克图像相似度信息与预定加权系数W3相乘，然后，将由此产生的加权马赛克图像相似度信息提供给加法器154。

在步骤S202，加法器154对从加权处理器151接收到的加权直方图相似度信息、从加权处理器152接收到的加权滤波图像相似度信息以及从加权处理器153接收到的加权马赛克图像相似度信息进行求和，并且将表示累加相似度的累加相似度信息提供给阈值判断器155。

在步骤S203，阈值判断器155判断加法器154提供的累加相似度信息是否等于或低于预定阈值。如果在步骤S203判断为累加相似度信息等于或者低于预定阈值，则在步骤S204，阈值判断器155判断为第一图像与第二图像之间的边界是画面变化。

如果在步骤S203判断为累加相似度信息高于预定阈值，则在步骤S205，阈值判断器155判断为第一图像与第二图像之间的边界不是画面变化。

图30是示出仅基于第一处理器61提供的相似度进行判断处理的判断器64的功能框图。

如图30所示，判断器64除了包括图28所示的加权处理器151～153、加法器154和阈值判断器155以外，还包括非线性变换器161～163。

非线性变换器161从图18的第一处理器61内的直方图相似度计算器104接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的直方图相似度的直方图相似度信息。

非线性变换器161对所提供的直方图相似度信息进行非线性变换，然后，将由此产生的非线性直方图相似度信息提供给加权处理器151。

非线性变换器162从图18的第一处理器61内的滤波图像相似度计算器122接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的滤波图像相似度的滤波图像相似度信息。

非线性变换器162对所提供的滤波图像相似度信息进行非线性变换，然后，将由此产生的非线性滤波图像相似度信息提供给加权处理器152。

非线性变换器163从图18的第一处理器61内的马赛克图像相似度计算器132接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的马赛克图像相似度的马赛克图像相似度信息。

非线性变换器163对所提供的马赛克图像相似度信息进行非线性变换，然后，将由此产生的非线性马赛克图像相似度信息提供给加权处理器153。

下面，参考图31的流程图对图30的判断器64的判断处理进行说明。

非线性变换器161从图18的第一处理器61内的直方图相似度计算器104接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的直方图相似度的直方图相似度信息。非线性变换器162从图18的第一处理器61内的滤波图像相似度计算器122接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的滤波图像相似度的滤波图像相似度信息。非线性变换器163从图18的第一处理器61内的马赛克图像相似度计算器132接收表示在进行画面变化检测时要处理的第一图像与第二图像之间的马赛克图像相似度的马赛克图像相似度信息。

在步骤S221，非线性变换器161对所提供的直方图相似度信息进行非线性变换，然后，将由此产生的非线性直方图相似度信息提供给加权处理器151。非线性变换器162对所提供的滤波图像相似度信息进行非线性变换，然后，将由此产生的非线性滤波图像相似度信息提供给加权处理器152。非线性变换器163对所提供的马赛克图像相似度信息进行非线性变换，然后，将由此产生的非线性马赛克图像相似度信息提供给加权处理器153。

在步骤S222，加权处理器151将所提供的直方图相似度信息与预定加权系数W1相乘，然后，将由此产生的加权直方图相似度信息提供给加法器154。加权处理器152将所提供的滤波图像相似度信息与预定加权系数W2相乘，然后，将由此产生的加权滤波图像相似度信息提供给加法器154。加权处理器153将所提供的马赛克图像相似度信息与预定加权系数W3相乘，然后，将由此产生的加权马赛克图像相似度信息提供给加法器154。

在步骤S223，加法器154对从加权处理器151接收到的加权直方图相似度信息、从加权处理器152接收到的加权滤波图像相似度信息以及从加权处理器153接收到的加权马赛克图像相似度信息进行求和，然后，将表示累加相似度的累加相似度信息提供给阈值判断器155。

在步骤S224，阈值判断器155判断加法器154提供的累加相似度信息是否等于或低于预定阈值。如果在步骤S224判断为累加相似度信息等于或低于预定阈值，则在步骤S225，阈值判断器155判断为第一图像与第二图像之间的边界是画面变化。

如果在步骤S224判断为累加相似度信息高于预定阈值，则在步骤S226，阈值判断器155判断为第一图像与第二图像之间的边界不是画面变化。

代替使用与匹配像素的数量线性成比例的相似度作为马赛克图像相似度，可以使用非线性变换后的相似度。例如，当至少一半像素是匹配像素时，可通过赋予最大马赛克相似度，进行非线性变换。由此提高了画面变化检测精度。

为了判断画面变化，除了上述判断方法，判断器64还可以采用例如基于贝叶斯定理确定事件概率的贝叶斯识别、神经网络、应用统计学习理论的支持向量机等的统计判别法。

图32是示出根据本发明一个实施例的图10的第一处理器61的另一示例的框图。

第一处理器61除了包括图18所示的直方图生成器101、缓冲器103、直方图相似度计算器104、滤波图像生成器121、滤波图像相似度计算器122、马赛克图像生成器131以及马赛克图像相似度计算器132以外，还包括平均相似度计算器171。

如图32所示，平均相似度计算器171计算直方图相似度计算器104提供的预定数量的相邻帧(in-close frame)(例如，8帧)的直方图相似度的平均，然后，将由此产生的平均直方图相似度提供给判断器64。平均相似度计算器171计算滤波图像相似度计算器122提供的预定数量的相邻帧的滤波图像相似度的平均，然后，将由此产生的平均滤波图像相似度提供给判断器64。平均相似度计算器171计算马赛克图像相似度计算器132提供的预定数量的相邻帧的马赛克图像相似度的平均，然后，将由此产生的平均马赛克图像相似度提供给判断器64。

下面还将平均直方图相似度、平均滤波图像相似度以及平均马赛克图像相似度均称为平均相似度。

下面，参考图33的流程图对图32的第一处理器61的第一处理进行说明。

如图33所示，步骤S241～S247分别与图19的步骤S121～S127相同。

在步骤S248，图32的平均相似度计算器171计算直方图相似度计算器104提供的预定数量的相邻帧的直方图相似度的平均，然后，将由此产生的平均直方图相似度提供给判断器64。平均相似度计算器171计算滤波图像相似度计算器122提供的预定数量的相邻帧的滤波图像相似度的平均，然后，将平均滤波图像相似度提供给判断器64。平均相似度计算器171计算马赛克图像相似度计算器132提供的预定数量的相邻帧的马赛克图像相似度的平均，然后，将平均马赛克图像相似度提供给判断器64。处理返回到图11的步骤S2。

在图像快速运动的整个视频段内，图像之间的相似度下降，不是真正的画面变化的图像之间的边界常常被误检测为画面变化。在这种情况下，与其它相似度结合的平均相似度的使用可以消除图像快速运动的整个视频段与图像保持几乎不运动的整个视频段之间的各种相似度的变化。因此，无论图像快速运动还是保持几乎不运动，都可以提供高精度的画面变化检测能力。

图34是示出根据本发明一个实施例的图10的第一处理器61的另一示例的框图。

第一处理器61除了包括图18所示的直方图生成器101、缓冲器103、直方图相似度计算器104、滤波图像生成器121、滤波图像相似度计算器122、马赛克图像生成器131和马赛克图像相似度计算器132以外，还包括平均颜色计算器181和相邻平均颜色生成器182。

如图34所示，平均颜色计算器181接收输入到第一处理器61的图像。

平均颜色计算器181计算整个输入图像的平均亮度或平均颜色，并且将由此产生的平均亮度或平均颜色提供给相邻平均颜色生成器182。

相邻平均颜色生成器182计算与进行画面变化检测要处理的第一图像相邻的预定数量的帧内的、平均颜色计算器181提供的平均亮度的平均值或者平均颜色计算器181提供的平均颜色的平均值，作为相邻平均颜色。然后，相邻平均颜色生成器182将计算出的相邻平均颜色提供给判断器64。

下面，参考图35的流程图对图34的第一处理器61的第一处理进行说明。

图35所示的步骤S261～S267分别与图19所示的步骤S121～S127相同。

平均颜色计算器181接收输入到第一处理器61的图像。在步骤S268，平均颜色计算器181计算输入图像的平均亮度或者平均颜色，然后，将计算出的平均亮度或者平均颜色提供给相邻平均颜色生成器182。

在步骤S269，相邻平均颜色生成器182计算与进行画面变化检测要处理的第一图像(当前帧)相邻的预定数量的帧(例如，8帧)内的、平均颜色计算器181提供的平均亮度的平均值或者平均颜色计算器181提供的平均颜色的平均值，作为相邻平均颜色。然后，相邻平均颜色生成器182将计算出的相邻平均颜色提供给判断器64。处理返回到图11的步骤S2。

在例如夜间或者室内环境下拍摄的图像等的整个图像的亮度值相对较低的整个视频段内，直方图之间或者滤波图像之间的差变小。直方图相似度和滤波图像相似度变高，从而导致检测不到画面变化。如果亮度或者颜色低，则还采用相邻平均颜色。因此，在图像暗时，即使微小变化也被判断为画面变化。在图像亮时，仅大的变化被判断为画面变化。这样，通过对整个图像的亮度和颜色量值的变化进行补偿，可以以高精度可靠地进行画面变化检测。

下面，说明第二处理。

图36是示出图10的第二处理器62的框图。

参考图36，第二处理器62包括：精细直方图生成器401、特征分布计算器402、间取处理器403以及相似度计算器404。

精细直方图生成器401接收输入到第二处理器62的图像。精细直方图生成器401生成所提供图像的精细直方图，例如，256级灰度直方图中的一个灰度级的精细直方图，然后，将该精细直方图提供给特征分布计算器402。

特征分布计算器402对精细直方图生成器401提供的精细直方图进行滤波，并且将由此产生的特征分布提供给间取处理器403。特征分布计算器402优选地采用低通滤波器对该精细直方图进行滤波。可选地，还可以采用非线性响应滤波器。

间取处理器403对特征分布计算器402提供的特征分布进行间取处理。在间取处理中，间取处理器403以与落入可以忠实再现特征分布(根据采样原理)的范围内的采样频率对应的间隔，对特征分布进行间取。然后，将经过了间取处理的特征分布提供给相似度计算器404。

进行间取处理器403的间取处理，以降低数据量，并且节省存储容量，如果不需要，则可以跳过该间取处理。

相似度计算器404将间取处理器403提供的第一图像的间取后的特征分布与第二图像的间取后的特征分布进行比较，然后，计算第一图像的间取后的特征分布与第二图像的间取后的特征分布之间的相似度。

可以以与标准直方图差分法相同的方式计算特征分布之间的相似度。例如，确定第一图像的特征分布与先于第一图像的第二图像的特征分布之间的距离，该距离越小，所获得的相似度越高。

下面，参考图37的流程图，说明在图11的步骤S3进行的图36的第二处理器62的第二处理。

图36的精细直方图生成器401接收输入到第二处理器62的图像。在步骤S401，精细直方图生成器401生成所提供图像的精细直方图，并且将所生成的精细直方图提供给特征分布计算器402。

如图38的第一行所示，帧F211和帧F212是待处理的图像。该图像与图5的帧F51和帧F52具有相同的亮度分布。帧F211的图像的左半部分的亮度值为75，帧F211的图像的右半部分的亮度值为81。帧F212的左半部分的亮度值为77，帧F212的右半部分的亮度值为83。图38的第二行示出的直方图H211和H212是根据帧F211和帧F212的图像生成的精细直方图。精细直方图H211在亮度值75和81处具有直方图峰值，精细直方图H212在亮度值77和83处具有直方图峰值。

如果输入图像具有N个灰度级，则图38的精细直方图H211优选具有N个格子。这样，直方图生成计算中的不连续数量保持与该图像最初具有的量化水平的数量相等。由此防止引入新的误差。为了降低计算量和节省存储容量，可以将格子的数量设置为小于N。然而，与在通常的直方图差分法中一样，由于直方图生成计算中的不连续性，因而灰度级的数量越粗，引入的误差就越大。

在步骤S402，特征分布计算器402对精细直方图生成器401提供的滤波图像进行滤波，并且将由此产生的特征分布提供给间取处理器403。

通过对精细直方图H211进行滤波，获得图38第三行所示的特征分布C211。通过对精细直方图H212进行滤波，获得特征分布C212。

在滤波处理中，优选采用图39所示的低通滤波器。与将投票放入下一个格子内的情况相同，低通滤波器对由于亮度的微小变化而引起的直方图的变化进行补偿，而不会由于直方图生成计算中的不连续性而引入新的误差。

由低通滤波器的滤波处理所产生的特征分布具有比在直方图中减少更多的高频分量。通过在采样定理允许的范围内进行间取处理，可以减少计算量，同时在滤波处理和间取处理中不引入误差或者少引入误差。

如上所述，特征分布由于直方图生成计算中的不连续性而没有误差。实际上，直方图差分法中包括这种误差。由于利用该特征分布计算待处理的图像的相似度，因而可以以高精度检测画面变化。

在滤波处理中，特征分布计算器402还可以采用提供非线性响应的非线性滤波器，来代替低通滤波器。

利用特征分布的对数，非线性滤波器可以对特征值轴进行对数缩小或放大。

图40A～40C示出通过对特征分布集中在特定亮度的图像进行非线性滤波所获得的特征分布。

图40A示出要滤波的图像。图40B示出通过对该图像进行线性滤波所获得的特征分布。图40C示出通过经由非线性滤波器对该图像进行非线性滤波所获得的特征分布。

图40A是具有简单颜色的物体被放置在复杂背景中的图像。

如图40B所示，具有简单颜色的物体的特征分布集中在特定亮度值。如前所述，具有简单颜色的物体的亮度变化对画面变化检测结果起主导作用。

如图40C所示，通过非线性滤波操作限制过高亮度，以使特征分布不集中在特定亮度值。

在步骤S403，间取处理器403对特征分布计算器402提供的特征分布进行间取处理，更具体地，每4个灰度级对特征分布进行间取，然后，将间取后的特征分布提供给相似度计算器404。对图38的第三行所示的特征分布C211和特征分布C212进行间取处理产生图38的第四行所示的分布D211和特征分布D212。

在步骤S404，相似度计算器404将间取处理器403提供的第一图像的间取后的特征分布与第二图像(前一帧)的间取后的特征分布进行比较，并计算第一图像的间取后的特征分布与第二图像(前一帧)的间取后的特征分布之间的相似度。处理返回到图11的步骤S3。

为了进行相似度计算处理，如图41所示构造图36所示的相似度计算器404。相似度计算器404包括对应样本计算器431和相似度确定器432。

对应样本计算器431将第一图像的间取后的特征分布与第二图像的间取后的特征分布进行比较，确定提供第一图像和第二图像的特征分布的形状之间的最佳匹配的样本的对应关系，并将表示该对应关系的对应关系信息提供给相似度确定器432。

基于对应样本计算器431提供的对应关系信息，相似度确定器432确定第一图像的特征分布与第二图像的特征分布之间的距离，并将所确定的特征分布相似度提供给判断器64。在特征分布相似度中，该距离越短，相似度越高。

下面，参考图42的流程图说明图36的相似度计算器404的相似度计算处理。

在步骤S421，对应样本计算器431将间取处理器403提供的第一图像的间取后的特征分布与第二图像的间取后的特征分布进行比较，确定提供如图43所示的第一图像和第二图像的特征分布的形状之间的最佳匹配的样本的对应关系，并将表示该对应关系的对应关系信息提供给相似度确定器432。在此，单词“样本”是指特征分布的格子。

图43的上部示出作为第一图像的帧F231的特征分布，图43的下部示出作为第二图像的帧F232的特征分布。

如图43所示，在帧F231的特征分布与帧F232的特征分布之间，如箭头线所示，样本互相相关，从而使得这两个特征分布在形状上互相匹配。

现有的确定特征分布之间的对应关系的方法包括最大化特征分布之间的相关性的方法、最小化特征分布的平方误差的方法以及使特征分布的重心对齐的方法。

由于亮度变化导致特征分布的形状失真，所以可以利用例如动态规划(DP，dynamic programming)匹配等的非线性方法来确定该对应关系。

在步骤S422，相似度确定器432基于对应样本计算器431提供的对应关系信息，确定第一图像的特征分布与第二图像的特征分布之间的距离。然后，将特征分布相似度提供给判断器64。在特征分布相似度中，该距离越短，相似度越高。

如上所述，当亮度发生微小变化时，直方图差分法可能存在画面变化检测误差。这是因为在计算直方图时，跨越格子边界进行不连续计算。在特开2004-282318号公报中公开的技术可以缓和计算中的不连续性，从而将画面变化检测误差控制到一定程度。然而，所公开的技术没有完全克服格子边界。所公开的技术的有效性是有限的。相反，由于本实施例使样本相互关联以使得特征分布在形状上匹配，从而使格子边界的影响最小化。

下面说明第三处理。

图44是示出根据本发明一个实施例的图10的判断器64的框图。

如图44所示，第三处理器63包括特征提取器811、特征量缓冲器812、相似度计算器813、缩小图像生成器814、缩小图像缓冲器815、合成图像生成器816以及相似度计算器817。

特征提取器811接收输入到第三处理器63的图像。

将输入到第三处理器63的三个图像，即第二最近图像、第一最近图像和当前图像，按时间顺序分别称为第一目标图像、第二目标图像和第三目标图像。

特征提取器811从第一～第三目标图像提取特征，然后，将提取的特征提供给特征量缓冲器812。

根据本实施例，直方图被用作特征量。可选地，可以采用滤波图像、马赛克图像、特征分布或者由任何通常采用的画面变化检测方法产生的其它特征量。例如，如由Akio NAGASAKA和Yuzuru TANAKA在Transactions of Information ProcessingSociety of Japan Vol.33，No.4，pp.543-550中所公开的以及由John S.Boreczky，Lawrence A.Rowe在Storage and Retrieval forImage and Video Database(SPIE)(1996)pp.170-179中发表的标题为“Comparison of Video Short Boundary DetectionTechniques”的论文所公开的，可用作特征量的有亮度的平均值或者方差、加密时所获得的DCT系数或运动矢量、或者在边缘检测中获得的边缘。

特征量缓冲器812存储特征提取器811提供的第一～第三目标图像。特征量缓冲器812存储至少三个最近图像，即第一～第三目标图像。

相似度计算器813从特征量缓冲器812读取第一～第三目标图像，并且计算第一目标图像的特征量与第三目标图像的特征量之间第一相似度1、第一目标图像的特征量与第二目标图像的特征量之间的第二相似度1、以及第二目标图像的特征量与第三目标图像的特征量之间的第三相似度1。然后，相似度计算器813将第一～第三相似度1提供给判断器64。

在本实施例中，相似度1是直方图相似度。可选地，可以将滤波图像、马赛克图像、特征分布或者由任何通常采用的画面变化检测方法产生的其它特征量用作相似度1。可以采用由AkioNAGASAKA和Yuzuru TANAKA在Transactions of InformationProcessing Society of Japan Vol.33，No.4，pp.543-550中所公开的以及由John S.Boreczky，Lawrence A.Rowe在Storage andRetrieval for Image and Video Database(SPIE)(1996)pp.170-179中发表的标题为“Comparison of Video Short Boundary DetectionTechniques”的论文中所公开的特征量。例如，两个相邻图像的平均亮度值或者方差值之间的差、两个相邻图像的绝对差的和或者平方差的和、直方图绝对差的和、DCT系数的差值、利用运动矢量预测的图像与实际图像之间的预测误差的大小以及边缘数量或边缘分布的差。

缩小图像生成器814接收输入到第三处理器63的图像，即第一～第三目标图像。缩小图像生成器814生成第一～第三目标图像中的每个图像的缩小图像，然后，将缩小图像提供给缩小图像缓冲器815。缩小图像具有8像素×8像素或者16像素×16像素的缩小大小。

缩小图像缓冲器815存储缩小图像生成器814提供的第一～第三目标图像的缩小图像。缩小图像缓冲器815存储至少三个最近图像，即第一～第三目标图像。

合成图像生成器816从缩小图像缓冲器815读取位于第二目标图像之前的第一目标图像和位于第二目标图像之后的第三目标图像的缩小图像，并由第一目标图像的缩小图像和第三目标图像的缩小图像生成合成图像。然后，合成图像生成器816将合成图像提供给相似度计算器817。

设F₁(x，y)表示第一目标图像的缩小图像的像素值，F₃(x，y)表示第三目标图像的缩小图像的像素值，利用预定常数a和b将合成图像中的点(x，y)处的像素值G(x，y)表示如下：

G(x，y)＝aF₁(x，y)+bF₃(x，y) …公式

其中x和y分别表示每个图像中的X坐标和Y坐标。

相似度计算器817从缩小图像缓冲器815读取第二目标图像的缩小图像，计算第二目标图像的缩小图像与合成图像生成器816提供的由第一目标图像的缩小图像和第三目标图像的缩小图像合成的图像之间的相似度2，然后，将该相似度2提供给判断器64。

相似度2可以是符号被反转的、合成图像与缩小图像间的相应像素之间的平方差的和，或者是合成图像与缩小图像之间的最大相关值。

下面，参考图45的流程图说明图44的第三处理器63的第三处理。

特征提取器811接收输入到第三处理器63的图像。

输入到第三处理器63的三个最近图像，即第二最近图像、第一最近图像和当前图像，按时间顺序为图46所示的帧F511、帧F512和帧F513的图像。人作为被摄体的帧F511与房屋作为被摄体的帧F513之间的相似度低。帧F512是前一帧F511和后一帧F513的图像的混合。帧F511的图像和帧F512的图像之间的相似度以及帧F512的图像与帧F513的图像之间的相似度高。换句话说，帧F512包含作为到帧F511的画面与自帧F513之后的画面之间的边界的混合画面变化。

在步骤S601，特征提取器811从所提供的帧F511～F513中提取特征量。更具体地，与图19的步骤S121一样，生成直方图。将所生成的直方图存储在特征量缓冲器812上。

在步骤S602，相似度计算器813读取帧F511～F513的特征量，并且计算帧F511的特征量与帧F513的特征量之间的第一相似度1、帧F511的特征量与帧F512的特征量之间的第二相似度1以及帧F512的特征量与帧F513的特征量之间的第三相似度1。然后，相似度计算器813将计算出的第一～第三相似度1提供给判断器64。更具体地，以与图19的步骤S125相同的方式，计算直方图相似度。

缩小图像生成器814接收输入到第三处理器63的图像，即帧F511～F513的图像。

在步骤S603，缩小图像生成器814生成帧F511～F513的图像的缩小图像，并且使缩小图像缓冲器815存储该缩小图像。例如，将要显示在液晶显示器(LCD)上的图像缩小到8像素×8像素的大小。可以通过将原始图像分割为8×8个块、并且确定各块的平均值，进行缩小处理。

在步骤S604，合成图像生成器816从缩小图像缓冲器815读取帧F512之前的帧F511的缩小图像和帧F512之后的帧F513的缩小图像，根据所述公式，生成帧F511的缩小图像和帧F513的缩小图像的合成图像，并将该合成图像提供给相似度计算器817。

在步骤S605，相似度计算器817从缩小图像缓冲器815读取帧F512的缩小图像，并且计算帧F512的缩小图像与合成图像生成器816提供的帧F511的缩小图像和帧F513的缩小图像的合成图像之间的相似度2。更具体地，相似度2可以是符号被反转的、合成图像与缩小图像间的相应像素之间的平方差的和，或者是合成图像与缩小图像之间的最大相关值。然后，将相似度2提供给判断器64。处理返回到图11的步骤S4。

如图10所示，判断器64响应于第一处理器61、第二处理器62以及第三处理器63提供的相似度，进行判断处理。仅基于第三处理器63提供的相似度，进行参考图47的流程图所述的由图44的判断器64进行的判断处理。

当图45的第三处理中的处理返回时，开始该判断处理。

判断器64从图44的相似度计算器813接收第一～第三相似度1，并且从图44的相似度计算器817接收相似度2。

在步骤S631，判断器64判断帧F511的图像与帧F513的图像之间的相似度1(第一相似度1)是否高于预定阈值。如果在步骤S631判断为第一相似度1高于预定阈值，则判断器64在步骤S635判断为帧F511～F513的图像的变化不是画面变化。

如图48A所示，在帧F511～F513的图像中，几乎没有变化。如图48B所示，在帧F511与帧F513的图像之间，几乎没有变化，但是帧F512的图像与帧F511和F513的图像不同(例如，因为闪烁或者帧丢失)。在这种情况下，该变化不是画面变化。

如果在步骤S631判断为第一相似度1不高于预定阈值，则在步骤S632，判断器64判断帧F511与帧F512的图像之间的第二相似度1是否高于预定阈值。

如果在步骤S632判断为帧F511与F512的图像之间的第二相似度1高于预定阈值，则在步骤S633，判断器64判断帧F512的图像与帧F513的图像之间的第三相似度1是否高于预定阈值。

如果在步骤S633判断为第三相似度1高于其阈值，则在步骤S634，判断器64判断相似度2是否高于其预定阈值。

如果在步骤S634判断为相似度2不高于阈值，换句话说，帧F511与F513的图像之间的相似度1低于其阈值，帧F511与F512的图像之间的相似度1高于其阈值，帧F512与F513的图像之间的相似度1高于其阈值，并且相似度2低于其阈值，则在步骤S635，判断器64判断为帧F511～F513的图像中的变化不是画面变化。

如图48C所示，在帧F511～F513的图像中，人快速行走离开房屋。帧F511的图像与帧F513的图像不相似。帧F511的图像与帧F512的图像相似，帧F512的图像与帧F513的图像相似。由帧F511和F513的缩小图像合成的图像与帧F512的缩小图像不相似。判断器64判断为该图像中的变化不是画面变化。

如果在步骤S634判断为相似度2高于其阈值，换句话说，帧F511与F513的图像之间的相似度1低于其阈值，帧F511与F512的图像之间的相似度1高于其阈值，帧F512与F513的图像之间的相似度1高于其阈值，并且相似度2高于其阈值，则在步骤S636，判断器64判断为帧F511～F513的图像中的变化是混合画面变化。

如图48G所示，帧F511中的人的图像与帧F513中的房屋的图像不相似。由于帧F512的图像是人和房屋的合成图像，所以帧F511的图像与帧F512的图像相似，并且帧F512的图像与帧F513的图像相似。由帧F511和F513的缩小图像合成的图像与帧F512的缩小图像相似。判断器64判断为该变化是混合画面变化。

如果在步骤S632判断为第二相似度1低于其阈值，则在步骤S637，判断器64判断帧F512与F513之间的第三相似度1是否高于其预定阈值。如果在步骤S637判断为第三相似度1高于其阈值，即，帧F511与F513的图像之间的相似度1低于其阈值，帧F511与F512的图像之间的相似度1低于其阈值，帧F512与F513的图像之间的相似度1高于其阈值，则在步骤S639，判断器64判断为帧F511～F513的图像中的变化是标准画面变化。

如图48D所示，帧F511中的人的图像与帧F513中的房屋的图像不相似，帧F513的图像是房屋的图像。帧F511和F512的图像彼此不相似，而帧F512与帧F513的图像彼此相似。然后，判断器64判断为该图像中的变化是标准画面变化。

如果在步骤S633判断为第三相似度1低于其阈值，即，帧F511与F513的图像之间的相似度1低于其阈值，帧F511与F512的图像之间的相似度1高于其阈值，并且帧F512与F513的图像之间的相似度1低于其阈值，则在步骤S639，判断器64判断为帧F511～F513的图像中的变化是画面变化。

如图48E所示，帧F511中的人的图像与帧F513中的房屋的图像不相似，并且帧F512包括人的图像。帧F511的图像与帧F512的图像相似，并且帧F512的图像与帧F513的图像不相似。判断器64判断为该图像中的变化是标准画面变化。

如果在步骤S637判断为第三相似度1低于其阈值，则在步骤S638，判断器64判断相似度2是否高于其预定阈值。如果在步骤S638判断为相似度2高于其阈值，即，帧F511与F513的图像之间的相似度1低于其阈值，帧F511与F512的图像之间的相似度1低于其阈值，帧F512与F513的图像之间的相似度1低于其阈值，并且相似度2高于其阈值，则在步骤S636，判断器64判断为帧F511～F513的图像中的变化是混合画面变化。

如图48G所示，帧F511中的人的图像与帧F513中的房屋的图像不相似，并且帧F512是人和房屋的合成图像。判断为帧F511和F512的图像彼此不相似，帧F512与F513的图像彼此不相似。在这种情况下，如果帧F11和F513的缩小图像的合成图像与帧F512的缩小图像相似，则判断器64判断为该图像中的变化是混合画面变化。

如果在步骤S638判断为相似度2低于其阈值，即，帧F511与F513的图像之间的相似度1低于其阈值，帧F511与F512的图像之间的相似度1低于其阈值，帧F512与F513的图像之间的相似度1低于其阈值，并且相似度2低于其阈值，则在步骤S639，判断器64判断为帧F511～F513的图像中的变化是标准画面变化。

如图48F所示，帧F511中的人的图像与帧F513中的山的图像不相似，并且帧F512显示房屋的图像。帧F511与F512的图像彼此不相似，并且帧F512与F513的图像彼此不相似。如果帧F511和F513的缩小图像的合成图像与帧F512的缩小图像不相似，则判断器64判断为该图像中的变化是标准画面变化。

如上所述，图44的判断器64基于相似度计算器813提供的第一～第三相似度1以及相似度计算器817提供的相似度2，判断帧F511～F513中的变化是标准画面变化还是混合画面变化。

判断器64判断第一～第三相似度1和相似度2是否分别高于分别对其设置的阈值，从而基于该判断结果，判断变化是否是画面变化。即使相似度值等于各自的阈值，判断器64也判断为该相似度值高于或者低于各自的阈值。

图49是总结图47的判断处理与图48A～48G的三帧图像的图像的图案之间的关系的表。

如图49所示，相似度“大”表示该相似度高于其阈值。相似度“小”表示该相似度低于其阈值。

如果在图49所示的第二行，帧F511与F513之间的相似度1为“大”，则判断器64判断为该变化不是画面变化，而与其它相似度是“大”还是“小”无关。图48A和48B示出了对应于这种情况的图像图案。

如果如图49的第三行所示，帧F511与F513之间的相似度1为“小”，帧F511与F512之间的相似度1为“大”，帧F512与F513之间的相似度1为“大”，并且相似度2为“大”，则判断器64判断为该变化是混合画面变化。图48G示出了对应于这种情况的图像图案。

如果如图49的第四行所示，帧F511与F513之间的相似度1为“小”，帧F511与F512之间的相似度1为“大”，帧F512与F513之间的相似度1为“大”，并且相似度2为“小”，则判断器64判断为该变化不是画面变化。图48C示出了对应于这种情况的图像图案。

如果如图49的第五行所示，帧F511与F513之间的相似度1为“小”，帧F511与F512之间的相似度1为“大”，帧F512与F513之间的相似度1为“小”，则判断器64判断为该变化是标准画面变化，而与相似度2是“大”还是“小”无关。图48E示出了对应于这种情况的图像图案。

如果如图49的第六行所示，帧F511与F513之间的相似度1为“小”，帧F511与F512之间的相似度1为“小”，帧F512与F513之间的相似度1为“大”，则判断器64判断为该变化是标准画面变化，而与相似度2是“大”还是“小”无关。图48D示出了对应于这种情况的图像图案。

如果如图49的第七行所示，帧F511与F513之间的相似度1为“小”，帧F511与F512之间的相似度1为“小”，帧F512与F513之间的相似度1为“小”，并且相似度2为“大”，则判断器64判断为该变化是混合画面变化。图48G示出了对应于这种情况的图像图案。

如果如图49的第八行所示，帧F511与F513之间的相似度1为“小”，帧F511与F512之间的相似度1为“小”，帧F512与F513之间的相似度1为“小”，并且相似度2为“小”，则判断器64判断为该变化是标准画面变化。图48F示出了对应于这种情况的图像图案。

混合画面变化是在采用例如淡化(fade)、溶解(dissolve)、擦除(wipe)等包括连续变化的图像效果的视频段的连结处的图像中的变化。这种混合画面变化被检测为画面变化。由此准确地检测混合画面变化。

利用例如贝叶斯识别、神经网络、或支持向量机等的统计判别法，图44的判断器64基于第一～第三相似度1以及相似度2，判断画面变化。

结合第一处理，图28和30示出了判断器64。图50和51也示出了根据本发明一个实施例的图10的判断器64的示例。

如图50所示，加权处理器151从图10的第一处理器61接收第一处理的相似度。加权处理器151将所提供的第一处理的相似度信息与预定加权系数W31相乘，然后，将第一处理的加权相似度提供给加法器154。如果输入直方图相似度、空间相关图像相似度、滤波图像相似度以及马赛克图像相似度作为第一处理的相似度，则将它们与各自的加权系数相乘，然后，将加权相似度提供给加法器154。

加权处理器152从图10的第二处理器62接收第二处理的相似度，即特征分布信息。加权处理器152将所提供的第二处理的相似度与预定加权系数W32相乘，然后，将第二处理的加权相似度提供给加法器154。

加权处理器153从图10的第三处理器63接收第三处理的相似度。加权处理器153将第三处理器63提供的第三处理的相似度与预定加权系数W33相乘，然后，将第三处理的加权相似度提供给加法器154。如果输入第一～第三相似度1和相似度2，则将它们与各自的加权系数相乘，然后，将加权相似度提供给加法器154。

加法器154对加权处理器151提供的第一处理的相似度信息、加权处理器152提供的第二处理的相似度信息以及加权处理器153提供的第三处理的相似度信息进行求和。加法器154将表示累加相似度的累加相似度信息提供给阈值判断器155。

阈值判断器155将加法器154提供的累加相似度信息与预定阈值进行比较，从而判断第一图像与第二图像之间的边界和第二图像与第三图像之间的边界其中之一是否是作为包括时间上的不连续变化的边界的画面变化。

图51的判断器64包括分别在图50的加权处理器151～153之前的非线性变换器161～163。非线性变换器161～163的功能与参考图30所述的功能相同。

图52示出图10所示实施例的画面变化检测的性能评价结果。

如图52的第二行所示，分别捕获12个单元的视频，每个单元持续约120分钟，具有总共260个画面。从该视频中检测画面变化。画面变化检测失败的数量为5，画面变化过检测(overdection)情况的数量为4。画面变化检测的再现率为98.1(＝(260-5)/260)，而画面变化检测的成功率为98.5(＝(260-4)/260)。

如图52的第三行所示，记录在DVD记录器或者电视个人计算机上的广播节目或者商务消息(CM，commercial message)具有19个单元的视频，每个单元持续约120分钟，具有1891个画面。画面变化检测失败的数量为15，画面变化过检测的数量为27。再现率是99.2(＝(1891-15)/1891)，而成功率是98.6(＝(1891-27)/1891)。

这样，本实施例以高精度检测画面变化。

在上面的说明中，以每帧为单位来处理图像。可选地，可以以每场为单位来处理图像。

按照所述的时间序列顺序，进行用于描述要存储在程序记录介质上的程序的处理步骤。可选地，可以并行或者单独进行这些处理步骤。

本发明实施例可以利用硬件来实现。可选地，本发明实施例也可以利用软件来实现。

本发明可以应用于用于检测图像的各种检测设备，例如，广播设备、图像编辑设备、便携式摄像机、用于图像处理的个人计算机、DVD记录器以及硬盘记录器。

本领域的技术人员应该理解，可以根据设计要求以及其它因素进行各种修改、组合、子组合以及改变，只要它们在所附权利要求或者其等同物的范围内即可。

本发明包含与2006年9月27日在日本专利局提交的日本专利申请JP2006-261867有关的主题，其全部内容通过引用包含于此。

Claims

1.一种基于第一图像与第二图像之间的相似度检测画面变化的方法，该方法包括以下步骤：

直方图生成步骤，生成所述第一图像和所述第二图像各自的亮度直方图和颜色直方图其中之一；

空间相关图像生成步骤，生成表示所述第一图像与所述第二图像的空间布局之间的相关性的空间相关图像；

直方图相似度计算步骤，计算表示所述第一图像的直方图与所述第二图像的直方图之间的相似度的直方图相似度；

空间相关图像相似度计算步骤，计算表示所述第一图像的空间相关图像与所述第二图像的空间相关图像之间的相似度的空间相关图像相似度；以及

判断步骤，基于所述直方图相似度和所述空间相关图像相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化，其中

所述空间相关图像生成步骤包括：生成滤波图像和马赛克图像中的至少一个，作为所述空间相关图像，所述滤波图像是通过减少所述第一图像和所述第二图像各自的低频分量和高频分量而获得的图像，所述马赛克图像由多个区域构成，所述第一图像和所述第二图像各自的整个图像被分割为所述多个区域，并且通过各区域的平均亮度和各区域的平均颜色其中之一来表示该区域。

2.根据权利要求1所述的检测画面变化的方法，其特征在于，所述直方图相似度是所述第一图像的直方图与所述第二图像的直方图之间的重叠率。

3.根据权利要求1所述的检测画面变化的方法，其特征在于，所述空间相关图像是所述滤波图像，以及

其中，所述空间相关图像相似度是通过在相对位置内整个或者部分地移位所述第一图像和所述第二图像的空间相关图像而计算出的相关值的最大值。

4.根据权利要求1所述的检测画面变化的方法，其特征在于，所述空间相关图像是所述滤波图像，以及

其中，所述空间相关图像相似度是通过在相对位置内整个或者部分地移位所述第一图像和所述第二图像的空间相关图像而计算出的绝对差的和的最小值与平方差的和的最小值其中之一。

5.根据权利要求1所述的检测画面变化的方法，其特征在于，所述空间相关图像是所述马赛克图像，以及

其中，所述空间相关图像相似度是差等于或者低于预定阈值的、所述第一图像和所述第二图像的空间相关图像之间的相应像素的数量与差等于或者低于预定阈值的相应像素的数量对全部像素的比值其中之一。

6.根据权利要求1所述的检测画面变化的方法，其特征在于，所述判断步骤包括：通过将由所述直方图相似度和所述空间相关图像相似度的加权求和而产生的值与预定阈值进行比较，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

7.根据权利要求6所述的检测画面变化的方法，其特征在于，所述判断步骤包括：通过将由非线性直方图相似度和非线性空间相关图像相似度的加权求和而产生的值与预定阈值进行比较，判断所述第一图像与所述第二图像之间的边界是否是画面变化，其中利用非线性函数将所述直方图相似度变换为所述非线性直方图相似度，利用非线性函数将所述空间相关图像相似度变换为所述非线性空间相关图像相似度。

8.根据权利要求1所述的检测画面变化的方法，其特征在于，还包括计算平均相似度的步骤，所述平均相似度是在所述直方图相似度计算步骤中计算出的多个相邻帧的图像的直方图相似度的平均和在所述空间相关图像相似度计算步骤中计算出的多个相邻帧的图像的空间相关图像相似度的平均中的至少一个，

其中，所述判断步骤包括：基于所述直方图相似度、所述空间相关图像相似度以及所述平均相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

9.根据权利要求1所述的检测画面变化的方法，其特征在于，还包括计算相邻平均颜色的步骤，所述相邻平均颜色是与所述第一图像相邻的多个帧的图像的亮度或者颜色的平均，

其中，所述判断步骤包括：基于所述直方图相似度、所述空间相关图像相似度以及所述相邻平均颜色，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

10.根据权利要求1所述的检测画面变化的方法，其特征在于，还包括以下步骤：

生成所述第一图像和所述第二图像各自的亮度和颜色其中之一的精细直方图；

通过对所述精细直方图进行滤波，计算特征分布；

计算所述第一图像的特征分布与所述第二图像的特征分布之间的相似度；

提取与所述第一图像和所述第二图像不同的第三图像的特征；

计算所述第一图像、所述第二图像以及所述第三图像中的两个图像之间的相似度；

生成所述第一图像、所述第二图像以及所述第三图像各自的缩小图像；

生成所述第一图像的缩小图像和所述第三图像的缩小图像的合成图像；以及

计算所述合成图像与所述第二图像的缩小图像之间的相似度，

其中，所述判断步骤包括：基于所述特征分布之间的相似度、所述第一图像、所述第二图像和所述第三图像中的两个图像之间的相似度以及所述合成图像与所述第二图像的缩小图像之间的相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

11.一种基于第一图像与第二图像之间的相似度检测画面变化的设备，该设备包括：

直方图生成部件，用于生成所述第一图像和所述第二图像各自的亮度直方图和颜色直方图其中之一；

空间相关图像生成部件，用于生成表示所述第一图像与所述第二图像的空间布局之间的相关性的空间相关图像；

直方图相似度计算部件，用于计算表示所述第一图像的直方图与所述第二图像的直方图之间的相似度的直方图相似度；

空间相关图像相似度计算部件，用于计算表示所述第一图像的空间相关图像与所述第二图像的空间相关图像之间的相似度的空间相关图像相似度；以及

判断部件，用于基于所述直方图相似度和所述空间相关图像相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化，其中

所述空间相关图像生成部件生成滤波图像和马赛克图像中的至少一个，作为所述空间相关图像，所述滤波图像是通过减少所述第一图像和所述第二图像各自的低频分量和高频分量而获得的图像，所述马赛克图像由多个区域构成，所述第一图像和所述第二图像各自的整个图像被分割为所述多个区域，并且通过各区域的平均亮度和各区域的平均颜色其中之一来表示该区域。

12.根据权利要求11所述的检测画面变化的设备，其特征在于，所述直方图相似度是所述第一图像的直方图与所述第二图像的直方图之间的重叠率。

13.根据权利要求11所述的检测画面变化的设备，其特征在于，所述空间相关图像是所述滤波图像，以及

14.根据权利要求11所述的检测画面变化的设备，其特征在于，所述空间相关图像是所述滤波图像，以及

15.根据权利要求11所述的检测画面变化的设备，其特征在于，所述空间相关图像是所述马赛克图像，以及

16.根据权利要求11所述的检测画面变化的设备，其特征在于，所述判断部件通过将由所述直方图相似度和所述空间相关图像相似度的加权求和而产生的值与预定阈值进行比较，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

17.根据权利要求16所述的检测画面变化的设备，其特征在于，所述判断部件通过将由非线性直方图相似度和非线性空间相关图像相似度的加权求和而产生的值与预定阈值进行比较，判断所述第一图像与所述第二图像之间的边界是否是画面变化，其中利用非线性函数将所述直方图相似度变换为所述非线性直方图相似度，利用非线性函数将所述空间相关图像相似度变换为所述非线性空间相关图像相似度。

18.根据权利要求11所述的检测画面变化的设备，其特征在于，还包括计算平均相似度的部件，所述平均相似度是由所述直方图相似度计算部件所计算出的多个相邻帧的图像的直方图相似度的平均和由所述空间相关图像相似度计算部件所计算出的多个相邻帧的图像的空间相关图像相似度的平均中的至少一个，

其中，所述判断部件基于所述直方图相似度、所述空间相关图像相似度以及所述平均相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

19.根据权利要求11所述的检测画面变化的设备，其特征在于，还包括计算相邻平均颜色的部件，所述相邻平均颜色是与所述第一图像相邻的多个帧的图像的亮度或者颜色的平均，

其中，所述判断部件基于所述直方图相似度、所述空间相关图像相似度以及所述相邻平均颜色，判断所述第一图像与所述第二图像之间的边界是否是画面变化。

20.根据权利要求11所述的检测画面变化的设备，其特征在于，还包括以下部件：

生成所述第一图像和所述第二图像各自的亮度和颜色其中之一的精细直方图的部件；

通过对所述精细直方图进行滤波来计算特征分布的部件；

计算所述第一图像的特征分布与所述第二图像的特征分布之间的相似度的部件；

提取与所述第一图像和所述第二图像不同的第三图像的特征的部件；

计算所述第一图像、所述第二图像以及所述第三图像中的两个图像之间的相似度的部件；

生成所述第一图像、所述第二图像以及所述第三图像各自的缩小图像的部件；

生成所述第一图像的缩小图像和所述第三图像的缩小图像的合成图像的部件；以及

计算所述合成图像与所述第二图像的缩小图像之间的相似度的部件，

其中，所述判断部件基于所述特征分布之间的相似度、所述第一图像、所述第二图像和所述第三图像中的两个图像之间的相似度以及所述合成图像与所述第二图像的缩小图像之间的相似度，判断所述第一图像与所述第二图像之间的边界是否是画面变化。