CN101494726B - 场景切换点检测器、记录和重现装置、事件生成器和方法 - Google Patents

Abstract

一种场景切换点检测器，包括：特征信息生成单元，其生成指示每个目标帧的特征的特征信息；反向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于相似度计算帧的特征信息和时间上位于所述相似度计算帧之前的目标帧的特征信息来计算反向相似度；正向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于相似度计算帧的特征信息和时间上位于所述相似度计算帧之后的目标帧的特征信息来计算正向相似度；以及场景切换点检测器，其基于反向相似度和正向相似度来检测形成场景切换点的目标帧。

Description

场景切换点检测器、记录和重现装置、事件生成器和方法

技术领域

本发明涉及场景切换点检测器、场景切换点检测方法、记录装置、事件生成器、事件生成方法、重现装置和计算机程序，其适合应用于记录和重现视频信号的DVD记录器、HD记录器等。

更具体地，本发明涉及一种场景切换点检测器等，其可以通过按照顺序将在输入视频信号的每个固定时间处的每个目标帧设置为相似度计算帧，基于相似度计算帧和时间上位于相似度计算帧之前的预定数目的目标帧的特征信息来计算反向相似度，基于相似度计算帧和时间上位于相似度计算帧之后的预定数目的目标帧的特征信息来计算正向相似度，以及基于每个目标帧的反向相似度和正向相似度来检测形成场景切换点的目标帧，以适当的间隔检测场景切换点。

本发明还涉及一种事件生成器等，其可以通过将从关于多个系统中的场景切换点的信息获得的每个场景切换点设置为事件候选点，并且基于根据关于多个系统中的场景切换点的信息计算的每个事件候选点的分数，选择预定点来设置为事件。

背景技术

在过去，当由DVD记录器、HD记录器等记录涉及电视广播、由摄像机成像的视频信号等的视频信号时，可以想象的是检测场景切换点、与视频信号关联地记录关于场景切换点的信息，并且使用该信息作为关于用于检查内容或搜索编辑点的重现跳过点位置的信息(参见例如JP-A-2002-27411)。

在过去，作为检测场景切换点的方法，已经提出了各种方法，如分析视频信号以检测场景切换点的方法和分析与视频信号相关联记录的声音信号以检测场景切换点的方法。

发明内容

当关于场景改变点的信息用作关于场景切换点的信息时，出现了以下所述的问题。在涉及电视广播的视频信号的情况下，场景改变的频率高。当用户执行用于跳过重现位置以便检查内容或搜索编辑点的操作时，跳过操作被执行许多次并且操作复杂。

在由摄像机成像的视频信号(个人内容)的情况下，一个场景的长度实际上波动，并且在一些情况下，该长度等于或长于10分钟。因此，当用户执行用于跳过重现位置以便检查内容或搜索编辑点的操作时，由于跳过间隔实际上波动，所以困扰了用户。

因此，期望以适当的间隔检测场景切换点。还期望从关于多个系统中的场景切换点的信息令人满意地生成例如可以用作重现跳过位置信息的事件。

根据本发明的实施例，提供了一种场景切换点检测器，包括：

特征信息生成单元，其将在每个固定时间处的帧设置为目标帧，并且生成指示每个目标帧的特征的特征信息；

反向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成单元生成的相似度计算帧的特征信息、和时间上位于所述相似度计算帧之前的预定数目的目标帧的特征信息，计算反向相似度；

正向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成单元生成的相似度计算帧的特征信息、和时间上位于所述相似度计算帧之后的预定数目的目标帧的特征信息，计算正向相似度；以及

场景切换点检测器，其基于由反向相似度计算单元计算的每个目标帧的反向相似度和由正向相似度计算单元计算的每个目标帧的正向相似度来检测形成场景切换点的目标帧。

在该实施例中，在输入视频信号的每个固定时间处的帧设置为用于检测场景切换点的目标帧。特征信息生成单元生成指示每个目标帧的图像的特征的特征信息。

设置每个目标帧作为相似度计算帧。反向相似度计算单元基于相似度计算帧的特征信息和时间上位于所述相似度计算帧之前的预定数目的目标帧的特征信息计算反向相似度。例如，反向相似度计算单元通过计算相似度计算帧和时间上位于所述相似度计算帧之前的预定数目的目标帧之间的相似度并且计算各相似度的和来计算反向相似度。

当特征信息是特征矢量时，通过计算各特征矢量之间的距离获得相似度计算帧和位于所述相似度计算帧之前的预定数目的目标帧之间的相似度。

正向相似度计算单元基于相似度计算帧的特征信息和时间上位于相似度计算帧之后的预定数目的目标帧的特征信息计算正向相似度。例如，正向相似度计算单元通过以与计算反向相似度相同的方式计算相似度计算帧和时间上位于相似度计算帧之后的预定数目的目标帧之间的相似度并且计算各相似度的和，来计算正向相似度。

场景切换点检测单元基于如上所述计算的每个目标帧的反向相似度和每个目标帧的正向相似度来检测形成场景切换点的目标帧。例如，将其反向相似度突然下降并且正向相似度突然上升的目标帧设为形成场景切换点的目标帧。

如上所述，基于目标帧的反向相似度和目标帧的正向相似度检测场景切换点(形成场景切换点的目标帧)。因此，因为组合了相互类似到一定程度的场景，所以可以以适当的间隔检测场景切换点。

优选的是，例如，场景切换点检测器还包括场景改变点检测单元，其按照顺序设置每个目标帧作为场景改变检测帧，比较由特征信息生成单元生成的场景改变检测帧的特征信息与时间上位于场景改变检测帧之前或之后的目标帧的特征信息，并且检测形成场景改变点的目标帧，其中当基于由反向相似度计算单元计算的目标帧的反向相似度和由正向相似度计算单元计算的目标帧的正向相似度检测的形成场景改变点的目标帧、与由场景改变点检测单元检测的形成场景改变点的目标帧一致时，场景切换点检测单元设置后者的目标帧作为形成场景切换点的目标帧。因为还以此方式使用关于场景改变点(形成场景改变点的目标帧)的信息，所以可以防止选择一个场景中的点(帧)作为场景切换点的不便。

视频信号和由场景切换点检测器检测的关于场景切换点的信息一起、并且关联地记录在记录介质中。在此情况下，只有由场景切换点检测器检测的关于场景切换点的信息可以被记录。可替代地，关于场景切换点的信息可以与关于另一系统中的场景切换点的信息一起记录。以此方式记录在记录介质中的关于场景切换点的信息用于例如生成用作重现期间的跳过位置信息的事件。

根据本发明的另一实施例，提供了一种事件生成器，包括：

分数计算单元，其接收关于多个系统中的场景切换点的信息的输入，设置每个场景切换点作为事件候选点，并且在每个事件候选点处基于关于多个系统中的场景切换点的信息来计算在每个事件候选点的分数；以及

事件选择单元，其基于由分数计算单元计算的每个事件候选点的分数，选择预定点作为事件。

在该实施例中，输入关于多个系统中的切换点的信息。关于多个系统中的场景切换点的信息从例如记录介质中重现，关于场景切换点的信息和视频信号一起、并且关联地记录在该记录介质中。该分数计算单元在每个事件候选点处基于关于多个系统中的场景切换点的信息来计算在每个事件候选点的分数。

在该情况下，例如，通过对每个事件候选点求和从关于多个系统中的场景切换点的信息获得的第一值来计算分数。例如，当关于场景切换点的信息(形成场景切换点的帧)是指示场景切换点的时间日期(时间代码)信息时，当预定事件候选点是由关于特定系统中的场景切换点的信息指示的场景切换点时，将从在预定事件候选点处的关于特定系统中的场景切换点的信息获得的第一值设置为1。否则，将第一值设置为0。

例如，当关于场景切换点的信息是指示在每个固定时间处的每个时间日期(时间代码)的场景切换点的可能性的值时，将从在预定事件候选点处的关于特定系统中的场景切换点的信息获得的第一值设置为指示在预定事件候选点处的场景切换点的可能性的值。

事件选择单元基于如上所述计算的在每个事件候选点处的分数选择预定点作为事件。例如，选择满足分数等于或高于阈值的条件的事件候选点作为事件。因此，选择各事件候选点中更适当的事件候选点作为事件。

例如，选择满足这样的条件的事件候选点作为事件，该条件为分数等于或高于阈值，并且在所述事件候选点之前和之后的最短事件间隔的范围内不存在具有高于所述事件候选点的分数的分数的其它事件候选点。这使得可以防止在所述最短事件间隔生成多个事件。

例如，当在与选择为事件的另一事件候选点的最短事件间隔之后和最长事件间隔之前的固定范围内不存在满足这样的条件的事件候选点时，在所述固定范围中的事件候选点当中选择具有最大分数的事件候选点作为事件，该条件为分数等于或高于阈值、和在所述事件候选点之前和之后的最短事件间隔的范围内不存在具有高于所述事件候选点的分数的分数的其它事件候选点。这使得可以防止要选择的事件间隔变得长于最长事件间隔。

例如，当固定范围内不存在事件候选点时，选择该固定范围内的预定点作为事件。例如，作为所述预定点，在通过将最短事件间隔加到选择为事件的另一事件候选点获得的点、和通过将最长事件间隔加到选择为事件的另一事件候选点并且从所述另一事件候选点中减去最短事件间隔获得的点中选择时间上靠后的点作为事件。这使得可以防止选择的事件间隔变得长于最长事件间隔。

优选的是，事件生成器还包括权重系数生成单元，其生成对应于关于多个系统中的场景切换点的信息的权重系数，并且所述分数计算单元通过将从关于多个系统中的场景切换点的信息中获得的每个第一值乘以由权重系数生成单元生成的权重系数，为每个事件候选点计算第二值，并且将各第二值求和以便计算分数。在这种情况下，如果将关于期望的系统中的场景切换点的信息的权重设置得高，则可以增加该关于场景切换点的信息的影响。

如上所述，将从关于多个系统中的场景切换点的信息获得的每个场景切换点设置为事件候选点，并且基于根据关于多个系统中的场景切换点的信息计算的每个事件候选点的分数选择要设置为事件的预定点。因此，可以令人满意地生成事件。

事件生成器例如包括在重现装置中。该重现装置包括重现单元，其从记录介质中重现视频信号和关于多个系统中的场景切换点的信息，在该记录介质中相互关联地记录了视频信号和关于视频信号的关于多个系统中的场景切换点的信息。由事件生成器生成的事件用作用于控制重现操作(例如，在搜索编辑点中，视频信号的内容或重现跳过位置的掌握)的控制信息。

根据各实施例，按照顺序将在输入视频信号的每个固定时间处的目标帧设置为相似度计算帧，基于相似度计算帧和位于所述相似度计算帧之前的预定数目的目标帧的特征信息来计算反向相似度；基于相似度计算帧和位于所述相似度计算帧之后的预定数目的目标帧的特征信息来计算正向相似度；并且基于每个目标帧的反向相似度和正向相似度来检测形成场景切换点的目标帧。因此，可以以适当的间隔检测场景切换点。

根据各实施例，将从关于多个系统中的场景切换点的信息获得的每个场景切换点设置为事件候选点，并且基于根据关于多个系统中的场景切换点的信息计算的每个事件候选点的分数选择要设置为事件的预定点。因此，可以令人满意地生成可以用作例如重现跳过位置信息的事件。

附图说明

图1是根据本发明实施例的记录和重现装置的配置示例的方块图；

图2是场景切换点检测器的配置示例的方决图；

图3A和3B是用于说明指示每个目标帧的图像的特征的特征矢量的生成的图；

图4是用于说明反向相似度和正向相似度的计算的示例的图；

图5是用于将特征矢量间距离dsit(Xi，Xj)转换为相似度Sim(Xi，Xj)的转换函数的示例的图；

图6是用于说明基于反向相似度Bwdsim(i)和正向相似度Fwdsim(i)检测场景切换点的处理的图；

图7是用于说明场景切换点检测器的操作的图；

图8是事件生成器的配置示例的方块图；

图9是用于说明基于事件选择单元中的每个事件候选点的事件生成处理的流程图；以及

图10是要选择或生成的事件候选点和事件的示例的图。

具体实施方式

以下将参照附图描述本发明的实施例。图1是根据该实施例的记录和重现装置100的配置示例的图。

记录和重现装置100包括控制单元101、用户操作单元102、视频信号输入端子103V、音频信号输入端子103A、记录和重现处理单元104、场景切换点检测单元105、光盘驱动器106、作为记录介质的DVD107、事件生成器108、视频信号输出端子109V和音频信号输出端子109A。

控制单元101控制记录和重现装置100的各单元的操作。用户操作单元102配置用户界面并连接到控制单元101。用户操作单元102包括键、按钮、转盘(dial)、远程控制器的发射机接收机等。

在记录期间，记录和重现处理单元104对输入到输入端子103V和103A的视频信号和音频信号应用记录处理(如对应于记录格式的压缩编码)，以生成视频和音频数据作为记录数据，并将该数据提供给光盘驱动器106。例如，记录和重现处理单元104对MPEG(运动图像专家组)格式的视频信号应用编码以生成视频基本流(ES)。此外，记录和重现处理单元104对MPEG格式的音频信号应用编码以生成音频基本流。记录和重现处理单元104对视频和音频基本流和各种控制信号应用多路复用，以生成传送流(TS)作为记录数据。

在重现期间，记录和重现处理单元104对由光盘驱动器106重现的视频和音频数据应用解码以生成视频信号和音频信号。例如，记录和重现处理单元104将视频和音频基本流从重现数据中分离，并且对MPEG(运动图像专家组)格式的视频和音频基本流应用解码。记录和重现处理单元104将重现的视频信号提供给视频信号输出端子109V，并且将重现的音频信号提供给音频信号输出端子109A。

场景切换点检测单元105包括多个场景切换点检测器105-1到105-n。场景切换点检测器105-1到105-n使用例如相互不同的方法检测场景切换点。场景切换点检测器105-1到105-n处理输入到输入端子103V和103A的视频信号和音频信号的任何一个或两个以检测场景切换点。

例如，处理音频信号以检测场景切换点的场景切换点检测器使用信号电平或频率分量来检测场景切换点。例如，处理视频信号以检测场景切换点的场景切换点检测器使用例如特征矢量来检测场景切换点，该特征矢量包括通过处理每个分割的块的帧图像的像素信号获得的多个矢量元素、或通过处理帧图像的像素信号获得的色差和亮度的柱状图。

例如，处理视频信号以检测场景切换点的场景切换点检测器使用特定对象的检测(例如，脸部检测)的检测输出来检测场景切换点。

将从场景切换点检测器105-1到105-n输出的、关于多个系统中的场景切换点的信息提供给控制单元101。关于每个系统中的场景切换点的信息是与增加到视频信号并记录的时间代码相关联的时间日期(time-of-day)信息。例如，在增加到视频信号并记录的一系列时间代码中，将在检测的场景切换点的时间代码设置为关于场景切换点的信息。稍后说明了场景切换点检测器的配置示例。

光盘驱动器106对作为记录介质的DVD 17应用记录和重现。在记录期间，光盘驱动器106将由记录和重现处理单元104生成的视频和音频记录数据记录在DVD 107中。光盘驱动器106将由场景切换点检测单元105的场景切换点检测器105-1到105-n获得的、关于多个系统中的场景切换点的信息记录在DVD 107中。在该情况下，视频和音频记录数据和关于场景切换点的信息记录为分开的文件，但是相互关联地记录。

在重现期间，光盘驱动器106从DVD 107重现视频和音频数据，并将视频和音频数据提供给记录和重现处理单元104。当光盘驱动器106从DVD 107重现视频和音频数据时，光盘驱动器106重现与视频和音频数据相关联记录的、关于多个系统中的场景切换点的信息，并将关于场景切换点的信息提供给控制单元101。

事件生成器108基于由光盘驱动器106重现的、关于多个系统中的场景切换点的信息，选择预定点作为事件。例如，事件生成器108将从关于多个系统中的场景切换点的信息获得的每个场景切换点设置为事件候选点，在每个事件候选点基于关于多个系统中的场景切换点的信息检测分数，并且基于每个事件候选点的分数选择预定点作为事件。稍后说明了事件生成器108的配置示例。

以下说明了图1所示的记录和重现装置100的操作。

首先，说明了记录期间的操作。将输入到输入端子103V和103A的视频信号和音频信号提供给记录和重现处理单元104。记录和重现处理单元104对输入到输入端子103V和103A的视频信号和音频信号应用记录处理(如对应于记录格式的压缩编码)，以生成视频和音频数据作为记录数据。将该视频和音频数据提供给光盘驱动器106并记录在DVD 107中。

将输入到输入端子103V和103A的视频信号和音频信号提供给场景切换点检测单元105。场景切换点检测单元105的场景切换点检测器105-1到105-n处理视频信号和音频信号的任何一个或两个以检测场景切换点。由场景切换点检测器105-1到105-n获得的、关于多个系统中的场景切换点的信息经由控制单元101提供给光盘驱动器106，并且与视频和音频数据相关联地记录在DVD 107中。

以下说明了重现期间的操作。光盘驱动器106从DVD 107重现视频和音频数据。作为重现数据的视频和音频数据提供给记录和重现处理单元104。记录和重现处理单元104对视频和音频数据应用解码处理等，以生成视频信号和音频信号。

以此方式由记录和重现处理单元104生成的视频信号和音频信号输出到输出端子109V和109A。因此，将视频信号和音频信号提供给连接到输出端子109V和109A的监视器110。重现的图像显示在监视器110上，并且重现的声音从监视器110输出。

光盘驱动器106从DVD 107重现与视频和音频数据相关联记录的、关于多个系统中的场景切换点的信息。关于多个系统中的场景切换点的信息经由控制单元101提供给事件生成器108。事件生成器108基于该关于多个系统中的场景切换点的信息选择预定点作为事件。由事件生成器108生成的事件提供给控制单元101。

控制单元101使用由事件生成器108生成的事件作为例如用于重现跳过位置的控制信息。当用户使用用户操作单元102执行重现位置的跳过操作以便检查内容或搜索编辑点时，控制单元101顺序跳过重现位置到由事件生成器108生成的事件点。

说明了包括在场景切换点检测单元105中的预定场景切换点检测器105A的配置示例。图2是场景切换点检测器105A的配置示例的图。场景切换点检测器105A包括特征矢量生成单元111、缓冲器112、场景改变点检测单元113、反向相似度计算单元114、正向相似度计算单元115和场景切换点检测单元116。

特征矢量生成单元111配置特征信息生成单元。特征矢量生成单元111将在视频信号SV的每个固定时间(例如，每0.5秒)处的帧设置为目标帧，并且生成指示每个目标帧的特征的特征矢量。特征矢量生成单元111将目标帧的图像划分为多个块，处理每个块的像素信号以计算矢量元素，并且生成由每个矢量元素形成的特征矢量。

例如，如图3A所示，在垂直和水平方向的每个方向上将帧的图像划分为5个块，总共25块。在每个块中，处理亮度(Y)、红色差(Cr)和蓝色差(Cb)的像素信号，并且计算涉及亮度(Y)、红色差(Cr)和蓝色差(Cb)的矢量元素。当在块中存在n个像素信号x1到xn时，作为对像素信号的处理，执行用于计算由公式(1)指示的平均值的处理、用于计算由公式(2)指示的标准偏差的处理、由公式(3)指示的处理等。公式(2)和(3)中的x横杠指示x1到xn的平均值。

矢量元素＝(x1+x2+…+xn)/n    ...(1)

在每个块中，计算涉及亮度(Y)、红色差(Cr)和蓝色差(Cb)的矢量元素。因此，当如上所述将帧的图像划分为25块时，如图3B所示，获得75(25×3)个矢量元素。特征矢量生成单元111输出包括75个矢量元素的特征矢量。

缓冲器112暂时存储由特征矢量生成单元111生成的每个目标帧的特征矢量，以便在用于检测场景切换点的处理中使用各特征矢量。

场景改变点检测单元113按照顺序将每个目标帧设置为场景改变点检测帧，并且检测场景改变点，即，形成场景改变点的目标帧。场景改变点检测单元113比较存储在缓冲器112中的场景改变点检测帧的特征矢量、和时间上位于该场景改变点检测帧之前或之后的目标帧的特征矢量，并且检测该场景改变点检测帧是否是形成场景改变点的目标帧。

在该情况下，当场景改变点检测帧的特征矢量和时间上位于该场景改变点检测帧之前或之后的目标帧的特征矢量之间的矢量间距离(即，相互对应的矢量元素之间的差的绝对值的和)大于事先设置的阈值时，将该场景改变点检测帧检测为场景改变点。

反向相似度计算单元114按照顺序将每个目标帧设置为相似度检测帧，并且计算反向相似度。反向相似度计算单元114基于由特征矢量生成单元111生成的相似度计算帧的特征矢量和时间上位于该相似度计算帧之前的预定数目(m条)的目标帧的特征矢量，计算反向相似度。在该情况下，反向相似度计算单元114计算相似度计算帧和时间上位于该相似度计算帧之前的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算反向相似度。

正向相似度计算单元115按照顺序将每个目标帧设置为相似度计算帧，并且计算正向相似度。正向相似度计算单元115基于由特征值生成单元111生成的相似度计算帧的特征矢量和时间上位于该相似度计算帧之后的预定数目(m条)的目标帧的特征矢量，计算正向相似度。在该情况下，正向相似度计算单元115计算相似度计算帧和时间上位于该相似度计算帧之后的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算正向相似度。

参照图4说明了反向相似度和正向相似度的计算的示例。在以下说明中，相似度计算帧是第i个目标帧。

当假设每个目标帧的特征矢量包括n个矢量元素时，第i个目标帧的特征矢量Xi由公式(4)表示。位于第i个目标帧之前或之后的第j个目标帧的特征矢量由公式(5)表示。在公式(4)中，xi1到xin是形成特征矢量Xi的n个矢量元素。在公式(5)中，xj1到xjn是形成特征矢量Xj的n个矢量元素。

$X_i=\left[\begin{array}{c}\mathrm{Xi}1\\ \mathrm{Xi}2\\ |\\ |\\ |\\ \mathrm{Xin}\end{array}\right]...\left(4\right)$

$X_j=\left[\begin{array}{c}\mathrm{Xj}1\\ \mathrm{Xj}2\\ |\\ |\\ |\\ \mathrm{Xjn}\end{array}\right]...\left(5\right)$

通过公式(6)计算特征矢量Xi和特征矢量Xj之间的距离，即，特征矢量间距离dsit(Xi，Xj)。通过使用公式(7)的转换函数将特征矢量间距离dsit(Xi，Xj)转换为相似度Sim(Xi，Xj)。图5是转换函数的示例的图。在图5所示的转换函数的情况下，当特征矢量间距离dsit(Xi，Xj)在xa内时，相似度Sim(Xi，Xj)取固定值Ya。然而，当特征矢量间距离dsit(Xi，Xj)超过xa时，随着该值增加，相似度Sim(Xi，Xj)从固定值Ya下降。当特征矢量间距离dsit(Xi，Xj)超过xb时，相似度Sim(Xi，Xj)下降到0。

$\mathrm{dsit}(\mathrm{Xi},\mathrm{Xj})=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}|\mathrm{xik}-\mathrm{xjk}|...\left(6\right)$

Sim(Xi，Xj)＝f(dist(Xi，Xj))        ...(7)

如公式(8)所示，按照第i个目标帧和第i-m到第i-1个目标帧之间的相似度Sim(Xi，Xi-m)到Sim(Xi，Xi-1)的和计算第i个目标帧的反向相似度Bwdsim(i)。类似地，如公式(9)所示，按照第i个目标帧和第i+1到第i+m个目标帧之间的相似度Sim(Xi，Xi+1)到Sim(Xi，Xi+m)的和计算第i个目标帧的正向相似度Bwdsim(i)。

$\mathrm{Bwdsim}\left(i\right)=\underset{j=i-m}{\overset{i-1}{\mathrm{\Σ}}}\mathrm{Sim}(\mathrm{Xi},\mathrm{Xj})...\left(8\right)$

$\mathrm{Fwdsim}\left(i\right)=\underset{j=i+1}{\overset{i+m}{\mathrm{\Σ}}}\mathrm{Sim}(\mathrm{Xi},\mathrm{Xj})...\left(9\right)$

场景切换点检测单元116基于由反向相似度计算单元114计算的每个目标帧的反向相似度和由正向相似度计算单元115计算的每个目标帧的正向相似度来检测场景切换点，即，形成场景切换点的检测帧。场景切换点检测单元116将例如其反向相似度突然下降而其正向相似度突然上升的目标帧检测为形成场景切换点的目标帧。

在该情况下，场景切换点检测单元116可以通过选择从第i-1个目标帧的反向相似度Bwdsim(i-1)减去第i个目标帧的反向相似度Bwdsim(i)获得的值(Bwdsim(i-1)-Bwdsim(i))和0中较大的一个(Max(Bwdsim(i-1)-Bwdsim(i)，0))，检测第i个目标帧的反向相似度Bwdsim(i)是否突然下降。当第i个目标帧的反向相似度Bwdsim(i)突然下降时，Max(Bwdsim(i-1)-Bwdsim(i)，0)取大的值。

场景切换点检测单元116可以通过选择从第i个目标帧的正向相似度Fwdsim(i)减去第i-1个目标帧的正向相似度Fwdsim(i-1)获得的值(Fwdsim(i)-Fwdsim(i-1))和0中较大的一个(Max(Fwdsim(i)-Fwdsim(i-1)，0))，检测第i个目标帧的正向相似度Fwdsim(i)是否突然上升。当第i个目标帧的正向相似度Fwdsim(i)突然上升时，Max(Fwdsim(i)-Fwdsim(i-1)，0)取大的值。

假设反向相似度Bwdsim(i)如图6(a)所示改变，而正向相似度Fwdsim(i)如图6(c)所示改变。在该情况下，Max(Bwdsim(i-1)-Bwdsim(i)，0)如图6(b)所示改变，而Max(Fwdsim(i)-Fwdsim(i-1)，0)如图6(d)所示改变。因此，在该情况下，场景切换点检测单元116根据反向相似度Bwdsim(i)和正向相似度Fwdsim(i)，将在TM处的点设置为场景切换点，在该点处Max(Bwdsim(i-1)-Bwdsim(i)，0)和Max(Fwdsim(i)-Fwdsim(i-1)，0)都取大的值。

当如上所述检测的根据反向相似度Bwdsim(i)和正向相似度Fwdsim(i)的场景切换点(形成场景切换点的目标帧)与由场景改变点检测单元113检测的场景改变点(形成场景改变点的目标帧)一致时，场景切换点检测单元116设置后者的目标帧作为场景切换点，即，形成场景切换点的目标帧。

场景切换点检测单元116将如上所述检测的形成场景切换点的目标帧的时间日期信息(与增加到视频信号并记录的时间代码相关联的时间日期信息)输出作为关于场景切换点的信息。

以下参照图7说明了图2所示的场景切换点检测器105A的操作。

将其中应当检测场景切换点的视频信号SV(见图7(a))提供给特征矢量生成单元111。特征矢量生成单元111将在视频信号SV的每个固定时间(例如，每0.5秒)处的帧设置为目标帧，并且生成指示每个目标帧的图像的特征的特征矢量(见图7(c))。由特征矢量生成单元111生成的每个目标帧的特征矢量暂时存储在缓冲器112中，以便用于检测场景切换点的处理。

场景改变点检测单元113按照顺序将每个目标帧设置为场景改变点检测帧，并且检测场景改变点，即，形成场景改变点的目标帧(见图7(b))。在该情况下，场景改变点检测单元113比较存储在缓冲器112中的场景改变点检测帧的特征矢量和时间上位于该场景改变点检测帧之前或之后的目标帧的特征矢量，并且检测该场景改变点检测帧是否是形成场景改变点的目标帧。场景改变点检测单元113的检测输出提供给场景切换点检测单元116。

反向相似度计算单元114按照顺序将每个目标帧设置为相似度检测帧，并且计算反向相似度(见图7(d))。在该情况下，反向相似度计算单元114基于相似度计算帧的特征矢量和时间上位于该相似度计算帧之前的m条目标帧的特征矢量来计算反向相似度。反向相似度计算单元114的计算结果提供给场景切换点检测单元116。

正向相似度计算单元115按照顺序将每个目标帧设置为相似度计算帧，并且计算正向相似度(见图7(e))。在此情况下，正向相似度计算单元115基于相似度计算帧的特征矢量和时间上位于该相似度计算帧之后的m条目标帧的特征矢量来计算正向相似度。正向相似度计算单元115的计算结果提供给场景切换点检测单元116。

场景切换点检测单元116基于由反向相似度计算单元114计算的每个目标帧的反向相似度和由正向相似度计算单元115计算的每个目标帧的正向相似度来检测场景切换点，即，形成场景切换点的目标帧。例如，场景切换点检测单元116将其反向相似度突然下降而其正向相似度突然上升的目标帧检测为形成场景切换点的目标帧。

当如上所述检测的根据反向相似度和正向相似度的场景切换点(形成场景切换点的目标帧)与由场景改变点检测单元113检测的场景改变点(形成场景改变点的目标帧)一致时，场景切换点检测单元116设置后者的目标帧作为场景切换点TM(见图7(f))。

场景切换点检测单元116将指示场景切换点(形成场景切换点的帧)的时间日期信息(与增加到视频信号并记录的时间代码相关联的时间日期信息)输出作为关于场景切换点的信息。

除了硬件以外，图2所示的场景切换点检测器105A也可以由软件实现。当场景切换点检测器105A由软件实现时，处理程序使得计算机以与图2所示的场景切换点检测器105A的各单元相同的方式工作。

图2所示的场景切换点检测器105A生成特征矢量作为每个目标帧的图像的特征信息，并且使用该特征矢量。然而，可以使用通过处理目标帧的图像的像素信号生成的色差或亮度的柱状图作为特征信息。在该情况下，可以获得相似度计算帧和位于该相似度计算帧之前或之后的目标帧之间的相似度作为柱状图的交集。

以下说明了事件生成器108的配置示例。图8是事件生成器108的配置示例的图。事件生成器108包括分数计算单元121、系数选择单元222、系数集(权重系数的组合)123-1到123-n和事件选择单元124。

关于多个系统(在该示例中，m个系统)中的场景切换点的信息S1到信息Sm从控制单元101提供给分数计算单元121。分数计算单元121将每个场景切换点设置为事件候选，并且基于关于m个系统中的场景切换点的信息S1到Sm计算每个事件候选点的分数。期望在由关于场景切换点的信息指示的各场景切换点中存在重叠点。因此，基于关于m个系统中的场景切换点的信息S1到Sm的场景切换点的最后数目等于或小于由关于每个场景切换点的信息指示的场景切换点的总数目。

分数计算单元121基本通过将在各事件候选点中、从关于m个系统中的场景切换点的信息S1到Sm获得的第一值求和，计算每个事件候选点的分数。在该实施例中，如上所述，关于场景切换点的信息是指示场景切换点的时间日期信息(与增加到视频信号并记录的时间代码相关联的时间日期信息)。当预定事件候选点是由关于特定系统中的场景切换点的信息指示的场景切换点时，将从在预定事件候选点处的、关于所述特定系统中的场景切换点的信息获得的第一值设置为1。否则，将第一值设置为0。

系数选择单元122从N个系数集123-1到123-N选择对应于m个系统中的场景切换点的信息S1到Sm的权重系数w1到wm，并且将该权重系数w1到wm输出到分数计算单元121。控制单元101基于用户对用户操作单元102的操作，控制系数选择单元122中的系数集的选择。系数选择单元122和系数集123-1到123-N配置权重系数生成单元。

为了计算每个事件候选点的分数，分数计算单元121不直接将在每个事件候选点处、从关于m个系统中的场景切换点的信息S1到Sm获得的第一值求和。相反，分数计算单元121将每个事件候选点中从关于m个系统中的场景切换点的信息S1到Sm获得的第一值，乘以来自系数选择单元122的权重系数w1到wm，以计算第二值，并且将各第二值求和以计算分数。

当在该候选点处、从关于m个系统中的场景切换点的信息S1到Sm获得的第一值是Si1到Sim时，通过公式(10)计算第i个事件候选点的分数Si。

$\mathrm{Si}=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sij}\·\mathrm{wj}...\left(10\right)$

如上所述，分数计算单元121将从关于m个系统中的场景切换点的信息S1到Sm获得的第一值乘以权重系数w1到wm以计算第二值，并且将各第二值求和以计算分数。利用该配置，例如，如果将关于期望系统中的场景切换点的信息的权重设为高，则可以增加该关于场景切换点的信息的影响。

如上所述，从N个系数集123-1到123-N选择对应于关于m个系统中的场景切换点的信息S1到Sm的权重系数w1到wm。利用该配置，可以改变关于每个系统中的场景切换点的信息的权重，并且改变权重的影响。此外，可以改变要选择作为事件的事件候选点。

在上面的说明中，输入到分数计算单元121的、关于m个系统中的场景切换点的信息是关于指示场景切换点(形成场景切换点的帧)的时间日期(时间代码)的信息。然而，输入到分数计算单元121的、关于m个系统中的场景切换点的信息可以是指示在每个固定时间处的、在每个时间日期(时间代码)的场景切换点的可能性的值(一种分数)。在该情况下，将从关于特定系统中的场景切换点的信息中获得的、并且用于在分数计算单元121中计算预定事件候选点的分数的第一值设置为指示在该预定事件候选点处的、特定系统中的场景切换点的可能性的值。

将由分数计算单元121计算的每个事件候选点的分数Si提供给事件选择单元124。事件选择单元124基于每个事件候选点的分数Si生成预定点作为事件。事件选择单元124根据图9的流程图生成事件。

首先，在步骤ST1，事件选择单元124开始事件选择的处理，然后，转到步骤ST2的处理。在步骤ST2，事件选择单元124执行初始值设置。事件选择单元124将哑事件Ep设置为T1-Lmin，设置“i”为1，并且设置“p”为0。Ep指示第p个事件，T1指示第一事件候选点的时间日期(时间代码)，Lmin指示最短的事件间隔，并且“i”指示事件候选点的数目。

随后，在步骤ST3，事件选择单元124确定是否存在未处理的事件候选点。当存在未处理的事件候选点时，在步骤ST4，事件选择单元124递增“i”，然后转到步骤ST5的处理

在步骤ST5，事件选择单元124在范围Tk-Lmin＜Tk＜Tk+Lmin中按照顺序从第i个事件候选点起搜索事件候选点Tk，其中Sk＞Th，并且Sk是最大值，并且Ep+Lmin＜Tk＜Ep+Lmax(事件候选点匹配条件1)。Tk指示第k个事件候选点，Lmax指示最长的事件间隔，Sk指示第k个事件候选点Tk的分数，而Th指示阈值。阈值Th是用于选择为事件的最小分数。

在步骤ST6，事件选择单元124确定是否存在匹配条件1的事件候选点。当存在匹配条件1的事件候选点Tk时，在步骤ST7，事件选择单元124递增“p”，然后在步骤ST8，将匹配条件1的事件候选点Tk设置为第p个事件Ep。在步骤ST8中的处理后，在步骤ST9，事件选择单元124将“i”设置为k，返回到步骤ST3的处理，然后转到用于未处理事件候选点的处理。

当在步骤ST6中不存在匹配条件1的事件候选点Tk时，在步骤ST10，事件选择单元124在范围Ep+Lmin＜Tk＜Ep+Lmax中按照顺序从第i个事件候选点起搜索事件候选点Tk，其中分数Sk是最大值(事件候选点匹配条件2)。

在步骤ST11，事件选择单元124确定是否存在匹配条件2的事件候选点。当存在匹配条件2的事件候选点Tk时，在步骤ST13，事件选择单元124递增“p”，然后在步骤ST13，将匹配条件2的事件候选点Tk设置为第p个事件Ep。在步骤ST13中的处理后，在步骤ST9，事件选择单元124将“i”设置为k，返回到步骤ST3的处理，然后转到用于未处理事件候选点的处理。

当不存在匹配条件2的事件候选点Tk时，在步骤ST11，事件选择单元124转到步骤ST14的处理。在步骤ST14，事件选择单元124将范围Ep+Lmin到Ep+Lmax中的预定点(例如，Ep+Lmax-Lmin和Ep+Lmin中时间上靠后的点)设置为第p+1个事件Ep+1(根据条件3的事件)。在步骤ST14的处理后，在步骤ST15，事件选择单元124递增“p”。在步骤ST9，事件选择单元124将“i”设置为k，返回到步骤ST3的处理，然后转到用于未处理事件候选点的处理。

当在步骤ST3中不存在未处理的候选点时，事件选择单元124立刻进行到步骤ST16，并且结束选择事件的处理。

图10是事件候选点的示例的图。事件候选点的位置由线条位置指示，而事件候选点的分数由线条的长度指示。当在该示例中存在事件候选点时，如该图中所示生成匹配条件1的事件、匹配条件2的事件和根据条件3的事件。在该情况下，从各事件候选点中选择匹配条件1和条件2的事件。然而，在各事件候选点中不存在根据条件3的事件。在图10中，根据条件3的事件由虚线的线条指示。虚线的线条不表示事件候选点。线条的长度没有意义。

从控制单元101(见图1)给出用于事件选择单元124的事件选择处理的阈值Th、最短事件间隔Lmin、最长事件间隔Lmax。用户可以操作用户操作单元102以改变阈值Th、最短事件间隔Lmin和最长事件间隔Lmax的值。

事件选择单元124选择其分数Sk等于或大于阈值Th的事件候选点Tk作为事件，并且选择各事件候选点中更适当的事件候选点作为事件。因为可以根据用户的操作改变阈值Th的值，所以可以改变阈值Th并且调整可以选择为事件的事件候选点的数目。

事件选择单元124选择满足这样的条件的事件候选点Tk作为事件，该条件为分数Sk等于或大于阈值Th，并且在所述事件候选点Tk之前和之后的最短事件间隔Lmin的范围内，不存在具有高于所述事件候选点Tk的分数Sk的分数的其它事件候选点。因此，可以防止在最短事件间隔Lmin中生成多个事件。因为可以根据用户的操作改变最短事件间隔Lmin的值，所以可以任意调整要选择的事件的最短间隔。

当在与选择作为事件的另一事件候选点的最短事件间隔Lmin之后和最长事件间隔Lmax之前的固定范围内不存在满足这样的条件的事件候选点Tk时，该条件为分数Sk等于或大于阈值Th，并且在所述事件候选点Tk之前和之后的最短事件间隔Lmin的范围内不存在具有高于所述事件候选点Tk的分数Sk的分数的其它事件候选点，事件选择单元124选择在该固定范围内的各事件候选点中具有最大分数的事件候选作为事件。因此，可以防止选择的事件间隔变得长于最长的事件间隔Lmax。因为可以根据用户的操作改变最长事件间隔Lmax的值，所以可以任意调整要选择的事件的最长间隔。

当在与选择作为事件的另一事件候选点的最短事件间隔Lmin之后和最长事件间隔Lmax之前的固定范围内不存在事件候选点时，事件选择单元124选择该固定范围内的预定点作为事件。因此，可以防止要选择的事件变得长于最长事件间隔Lmax。

除了硬件以外，图8所示的事件生成器108也可以由软件实现。当事件生成器108由软件实现时，处理程序使得计算机以与图8所示的事件生成器108的各单元相同的方式工作。

如上所述，在图1所示的记录和重现装置100中，包括在场景切换点检测单元105(见图2)中的场景切换点检测器105A按照顺序将在输入视频信号的每个固定时间处的每个目标帧设置为相似度计算帧，基于相似度计算帧和位于该相似度计算帧之前的m条目标帧的特征信息(特征矢量)来计算反向相似度；并且基于相似度计算帧和位于该相似度计算帧之后的m条目标帧的特征信息(特征矢量)来计算正向相似度。

场景切换点检测器105A基于每个目标帧的反向相似度和正向相似度检测场景切换点，即，形成场景切换点的目标帧。因为以此方式使用反向相似度和正向相似度，所以组合相似的场景。因此，可以以适当的间隔检测场景切换点。

当基于反向相似度和正向相似度检测的形成场景切换点的目标帧与由场景改变点检测单元113检测的目标帧一致时，场景切换点检测器105A设置后者的目标帧作为形成场景切换点的目标帧。因为以此方式进一步使用关于场景改变点(形成场景改变点的目标帧)的信息，所示可以防止选择一个场景中的点(帧)作为场景切换点的不便。

在图1所示的记录和重现装置100中，事件生成器108将从关于m个系统中的场景切换点的信息获得的每个场景切换点设置为事件候选点，并且基于根据关于m个系统中的场景切换点的信息S1到Sm计算的每个事件候选点的分数Si选择预定点作为事件。因此，可以令人满意地生成事件。

在上述实施例中，本发明应用于采用DVD 107作为记录介质的记录和重现装置100。然而，不必说本发明还可以应用于处理其它记录介质(如HD(硬盘)和半导体存储器)的记录和重现装置。

本发明可以以适当的间隔检测场景切换点，可以从关于多个系统中的场景切换点的信息令人满意地生成可以用作重现跳过位置信息等的事件，并且可以应用于采用DVD、HD、半导体存储器等作为记录介质的记录和重现装置。

本领域技术人员应当理解的是，依赖于设计要求和其它因素，可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效的范围内。

相关申请的交叉引用

本发明包含涉及于2008年1月25日向日本专利局提交的日本专利申请JP 2008-014419的主题，在此通过引用并入其全部内容。

Claims (4)

1.一种场景切换点检测器，包括：

特征信息生成单元，其将在输入视频信号的每个固定时间处的帧设置为目标帧，并且生成指示每个目标帧的特征的特征信息；

反向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成单元生成的相似度计算帧的特征信息、和时间上位于所述相似度计算帧之前的预定数目的目标帧的特征信息，计算反向相似度；

正向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成单元生成的相似度计算帧的特征信息、和时间上位于所述相似度计算帧之后的预定数目的目标帧的特征信息，计算正向相似度；以及

场景切换点检测器，其基于由反向相似度计算单元计算的每个目标帧的反向相似度和由正向相似度计算单元计算的每个目标帧的正向相似度来检测形成场景切换点的目标帧；

场景改变点检测单元，其按照顺序设置每个目标帧作为场景改变检测帧，比较由特征信息生成单元生成的场景改变检测帧的特征信息与时间上位于场景改变检测帧之前或之后的目标帧的特征信息，并且检测形成场景改变点的目标帧，其中

当基于由反向相似度计算单元计算的每个目标帧的反向相似度和由正向相似度计算单元计算的每个目标帧的正向相似度检测的形成场景改变点的目标帧、与由场景改变点检测单元检测的形成场景改变点的目标帧一致时，场景切换点检测单元设置后者的目标帧作为形成场景切换点的目标帧，

其中

反向相似度计算单元计算相似度计算帧和时间上位于相似度计算帧之前的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算反向相似度；以及

正向相似度计算单元计算相似度计算帧和时间上位于相似度计算帧之后的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算正向相似度。

2.如权利要求1所述的场景切换点检测器，其中特征信息生成单元将目标帧划分为多个块，为每个块处理像素信号以便计算矢量元素，并且生成由从多个块计算的矢量元素形成的特征矢量作为特征信息。

3.一种场景切换点检测方法，包括以下步骤：

将在输入视频信号的每个固定时间处的帧设置为目标帧，并且生成指示每个目标帧的特征的特征信息；

按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成步骤生成的相似度计算帧的特征信息和时间上位于相似度计算帧之前的预定数目的目标帧的特征信息来计算反向相似度；

按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成步骤生成的相似度计算帧的特征信息和时间上位于相似度计算帧之后的预定数目的目标帧的特征信息来计算正向相似度；

基于在反向相似度计算步骤中计算的每个目标帧的反向相似度和在正向相似度计算步骤中计算的每个目标帧的正向相似度来检测形成场景切换点的目标帧，

按照顺序设置每个目标帧作为场景改变检测帧，比较由特征信息生成步骤生成的场景改变检测帧的特征信息与时间上位于场景改变检测帧之前或之后的目标帧的特征信息，并且检测形成场景改变点的目标帧，其中

当基于由反向相似度计算步骤计算的每个目标帧的反向相似度和由正向相似度计算步骤计算的每个目标帧的正向相似度检测的形成场景改变点的目标帧、与由场景改变点检测步骤检测的形成场景改变点的目标帧一致时，场景切换点检测步骤设置后者的目标帧作为形成场景切换点的目标帧，

其中

反向相似度计算步骤计算相似度计算帧和时间上位于相似度计算帧之前的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算反向相似度；以及

正向相似度计算步骤计算相似度计算帧和时间上位于相似度计算帧之后的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算正向相似度。

4.一种记录装置，包括：

多个场景切换点检测器，其检测视频信号的场景切换点；以及

记录单元，其在记录介质中相互关联地记录视频信号、和由多个场景切换点检测器对视频信号检测的关于多个系统中的场景切换点的信息，

其中

多个场景切换点检测器包括预定场景切换点检测器，其将在输入视频信号的每个固定时间处的帧设置为目标帧，并且检测场景切换点；以及

所述预定场景切换点检测器包括：

特征信息生成单元，其生成指示每个目标帧的特征的特征信息；

反向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成单元生成的相似度计算帧的特征信息、和时间上位于所述相似度计算帧之前的预定数目的目标帧的特征信息，计算反向相似度；

正向相似度计算单元，其按照顺序设置每个目标帧作为相似度计算帧，并且基于由特征信息生成单元生成的相似度计算帧的特征信息、和时间上位于所述相似度计算帧之后的预定数目的目标帧的特征信息，计算正向相似度；以及

场景切换点检测器，其基于由反向相似度计算单元计算的每个目标帧的反向相似度和由正向相似度计算单元计算的每个目标帧的正向相似度来检测形成场景切换点的目标帧；

场景改变点检测单元，其按照顺序设置每个目标帧作为场景改变检测帧，比较由特征信息生成单元生成的场景改变检测帧的特征信息与时间上位于场景改变检测帧之前或之后的目标帧的特征信息，并且检测形成场景改变点的目标帧，其中

当基于由反向相似度计算单元计算的每个目标帧的反向相似度和由正向相似度计算单元计算的每个目标帧的正向相似度检测的形成场景改变点的目标帧、与由场景改变点检测单元检测的形成场景改变点的目标帧一致时，场景切换点检测单元设置后者的目标帧作为形成场景切换点的目标帧，

其中

反向相似度计算单元计算相似度计算帧和时间上位于相似度计算帧之前的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算反向相似度；以及

正向相似度计算单元计算相似度计算帧和时间上位于相似度计算帧之后的预定数目的目标帧之间的相似度，并且计算各相似度的和以便计算正向相似度。

Images