CN1856993A - 信息信号处理设备和信息信号处理方法 - Google Patents

Abstract

一种信息信号处理设备，能够有效地和有效率地使用记录在大容量记录媒体上的多个信息信号并实现对包含信息信号的记录媒体的有效使用。当将图像信号记录到记录媒体(8)上时，图像分类单元(5)对图像信号的相似图像作出判断并将相似图像分类成组。在分类显示单元(19)上将每组相似图像间隔的图像之一显示成缩略画面，从而使用户能够通过缩略画面列表显示来有效地和有效率地掌握记录在记录媒体(8)上的图像信号的内容。

Description

信息信号处理设备和信息信号处理方法

技术领域

本发明一般涉及将诸如音频和视频信号之类的信息信号记录到记录媒体上的信息信号处理设备和这样的信息信号处理设备采用的信息信号处理方法，以及涉及从记录媒体中再现信息信号的信息信号处理设备和这样的信息信号处理设备采用的信息信号处理方法。

背景技术

近年来，大量各种各样的视频和音频信号不仅通过常规地波广播展示出来，而且通过诸如BS(广播卫星)数字广播和通信网络之类的各种通信路径展示出来。就通信网络来说，通过它可以高速地将大量数字视频和音频信号展示给最终用户。

另外，各种记录媒体的存储容量或各种类型记录媒体的存储容量也大踏步地增大，同时，记录媒体的价格也在短时间内降下来。记录媒体包括诸如硬盘之类的磁盘、诸如DVD(数字多功能盘)之类的光盘、和称为MO盘的磁光盘。因此，最终用户通过使用它自己拥有的记录/再现设备，能够将通过各种通信路径展示给用户的诸如视频和音频信号之类的大量信息信号作为大量数据存储在也是用户本身拥有的记录媒体中，并且使用这些信号。

顺便提一下，如果诸如广播节目的视频和音频信号之类的信息信号已经如上所述存储在诸如具有大存储容量的硬盘之类的盘状记录媒体中，则通过利用盘状记录媒体提供的可访问性优点，能够高速地从媒体中搜索到所需广播节目的所需场景，以便能够迅速地再现该场景，可以满足对于有效的且有效率的利用信息信号方面可以想到的提高的要求。

尽管记录媒体的存储容量很大，但其容量也决不是没有极限，需要考虑尽可能有效率地利用记录媒体和避免由存储容量的不足引起的问题。

因此，本发明的目标是解决上述问题，以提供能够有效地和高效率地将大量信息信号记录到用于存储信息信号的具有大存储容量的记录媒体上并能够高效率地利用该记录媒体的信息信号处理设备，以及提供该信息信号处理设备要采用的信息信号处理方法。

发明内容

在将电视广播节目等的视频和音频信号记录到记录媒体中的处理中，本发明提供的记录/再现设备检测关于视频信号的特征的信息，根据检测的特征进行相似性确定处理，并进行将画面分类成每一个由相似画面组成的相似画面分段(segment)的处理。

在通过本发明的另一个实施例实现的记录/再现设备中，通过将主要信息和概要信息相互关联，管理主要信息和概要信息。当在记录媒体中存留的记录区存储大小变得不足时，有意地使概要信息优先于主要信息留在记录媒体中，以便可以有效地和高效率地利用记录媒体，另外，也可能有效率地和有效地利用诸如存留在记录媒体上的视频信号之类的信息信号。

除此之外，在通过本发明的再一个实施例实现的记录/再现设备中，当在第一记录媒体中存留的记录区存储大小变成小于预确定值时，将最老的主要信息移动到第二记录媒体，以增大第一记录媒体中存留的记录区存储大小，从而，在将新的主要信息记录到第一记录媒体上之前，在第一记录媒体中分配较大的剩余记录区。因此，可能避免诸如由于第一记录媒体的剩余存储容量不足而无法存储新节目的主要信息之类的问题。

并且，在通过本发明的又一个实施例实现的记录/再现设备中，在将多个电视广播节目的视频和音频信号记录到记录媒体上的处理中，识别相似画面分段，以列表格式(多画面格式)将位于相似画面分段头上的画面显示成缩小画面(shrunk picture)(或缩略画面(thumb-nail picture))，并不时地更新以列表格式的显示。因此，即使缩小画面的显示随着时间的流逝而改变，也可以有效地和高效率地掌握记录在记录媒体上的电视广播节目的内容。

此外，在通过本发明的又一个实施例实现的记录/再现设备中，按照节目类型或按照用户输入的命令，选择用于从记录媒体中再现节目的有效摘要再现模式，以便可以进行有效的以及有效率的摘要再现处理。

附图说明

图1是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第一实施例实现的记录/再现设备的说明性方块图；

图2A到2C是示出通过如图1所示的第一实施例实现的记录/再现设备进行的操作的概况的说明图；

图3是示出通过如图1所示的第一实施例实现的记录/再现设备进行的操作的概况的说明图；

图4是示出应用在通过如图1所示的第一实施例实现的记录/再现设备中的画面分类处理单元的说明性方块图；

图5示意出应用在通过如图1所示的第一实施例实现的记录/再现设备中的画面分类处理单元进行的操作；

图6示意出应用在通过如图1所示的第一实施例实现的记录/再现设备中的画面分类处理单元进行的操作；

图7是示出应用在通过如图1所示的第一实施例实现的记录/再现设备中的声音分类处理单元的说明性方块图；

图8是参照了通过如图1所示的第一实施例实现的记录/再现设备进行的操作的说明的流程图；

图9示出了如图8所示的流程图的续流程图；

图10是参照了如图1所示的第一实施例实现的记录/再现设备进行的其它操作的说明的流程图；

图11示出了如图10所示的流程图的续流程图；

图12是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第二实施例实现的记录/再现设备的说明性方块图；

图13A和13B是示出通过如图12所示的第二实施例实现的记录/再现设备进行的操作的概况的说明图；

图14A到14B是示出通过如图12所示的第二实施例实现的记录/再现设备进行的操作的概况的说明图；

图15A到15B是示出通过如图12所示的第二实施例实现的记录/再现设备进行的操作的概况的说明图；

图16是参照了通过如图12所示的第二实施例实现的记录/再现设备进行的操作的说明的流程图；

图17示出了如图16所示的流程图的续流程图；

图18是参照了通过如图12所示的第二实施例实现的记录/再现设备进行的其它操作的说明的流程图；

图19是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第三实施例实现的记录/再现设备的说明性方块图；

图20是参照了通过如图19所示的第三实施例实现的记录/再现设备进行的操作的说明的流程图；

图21示出了如图20所示的流程图的续流程图；

图22示出了如图20所示的流程图的另一个续流程图；

图23是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第四实施例实现的记录/再现设备的说明性方块图；

图24A到24B是示出通过如图23所示的第四实施例实现的记录/再现设备进行的操作的概况的说明图；

图25A到25C是示出通过如图23所示的第四实施例实现的记录/再现设备进行的操作的概况的说明图；

图26是参照了如图23所示的第四实施例实现的记录/再现设备进行的操作的说明的流程图；

图27是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第五和第六实施例实现的记录/再现设备的说明性方块图；

图28A到28C是示出通过如图27所示的第五实施例实现的记录/再现设备进行的操作的概况的说明图；

图29A到29C是示出通过如图27所示的第五实施例实现的记录/再现设备进行的操作的概况的说明图；

图30是参照了通过如图27所示的第五实施例实现的记录/再现设备进行的操作的说明的流程图；

图31示出了如图30所示的流程图的续流程图；

图32示出了如图31所示的流程图的续流程图；

图33A和33B是示出通过如图27所示的第六实施例实现的记录/再现设备进行的操作的概况的说明图；

图34A到34C是示出通过如图27所示的第六实施例实现的记录/再现设备进行的操作的概况的说明图；

图35是参照了通过如图27所示的第六实施例实现的记录/再现设备进行的操作的说明的流程图；和

图36示出了如图35所示的流程图的续流程图。

优选实施例

通过参照附图，下面的描述将说明实现本发明提供的信息信号处理设备和信息信号处理方法的实施例。下面所述的实施例在它们的典型应用中每一个都将本发明提供的信息信号处理设备和信息信号处理方法实现成将电视广播节目的视频和音频信号记录到记录媒体上和从记录媒体上再现视频和音频信号的记录/再现设备。

<第一实施例>

图1是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第一实施例实现的记录/再现设备100的说明性方块图。图2A到2C和3是示出通过这个实施例实现的记录/再现设备100的操作原理的说明图。

通过第一实施例实现的记录/再现设备100能够不再现信号的所有细节而从具有良好可访问性和大存储容量的记录媒体中回放通常是电视广播节目的信息信号，以便迅速、简单和精确地掌握该信号的记录内容，从而促进该记录信号的有效地和高效率地使用。这样记录媒体的一个例子是硬盘。

<操作原理>

首先，说明通过第一实施例实现的记录/再现设备100的操作原理。如图1所示的记录/再现设备100能够接收通常是电视广播节目的模拟视频和音频信号，作为信息信号，将该信号转换成数字数据，并采用MPEG(运动图像专家组)方法压缩该数字数据。记录/再现设备100还能够在将多路复用的经压缩数据记录到记录媒体8上之前，以时分为基础多路复用经压缩视频数据和经压缩音频数据。记录媒体8通常是具有大存储容量的盘状记录媒体。这样的盘状记录媒体的一个例子是硬盘。

另外，如图1所示的记录/再现设备100还能够从记录媒体8中读出多路复用的经压缩信号并多路分用从记录媒体8读出的多路复用的经压缩信号，以生成压缩的视频数据和音频数据。记录/再现设备100还能够解压缩该经压缩视频和音频数据，以分别恢复成压缩前的视频和音频数据，以及将压缩前的视频和音频数据转换成模拟信号。

在将视频和音频信号记录到记录媒体8上的处理中，如图1所示的记录/再现设备100进行将视频信号分类成每一个由相似画面组成的分段的处理。分类处理应用于称为MPEG数据的经压缩的视频数据。注意，由于可以假定图示的(pictorial)图像是从帧到帧不频繁改变的图像，所以通过只对每个I(内部码)画面(帧)检测相似性进行分类处理，以便将帧分类成每一个由相似画面或帧组成的分段。由此，进行分类处理，以识别每一个由连续相似帧组成的相似画面分段，并识别彼此类似的相似画面分段。

正如后面还要描述的那样，应用在如图1所示的记录/再现设备100中的视频分类处理单元5进行检测相似画面的处理和将检测的相似画面分类成相似画面分段的处理。因此，可以识别出包括连续相似画面的每个相似画面分段，也可以确定彼此类似的相似画面分段。

举例来说，如图2A所示，假设输入画面信号序列由31个连续画面组成。让这个输入画面信号序列经受分类处理，以识别出相似画面分段A1、A2、A3、B1、B2和B3，其每一个中I画面彼此相似。另一方面，分类处理还检测出分段C1和C2作为非相似画面分段，其每一个中I画面彼此不相似。

另外，如图1所示的记录/再现设备100还具有能够将与前面紧接的I画面不相似的I画面识别成位于场景改变点上的I画面的功能。通过执行这种功能，记录/再现设备100能够检测出每一个由图2A中的箭头所指的I画面，作为每一个位于场景改变点上的I画面。也就是说，第1、4、5、6、7、10、11、12、17、21和29I画面的每一个被检测成位于场景改变点上的I画面。

此外，还进行进一步分类相似画面分段的分类处理，以便把彼此类似的相似画面分段放在彼此类似的一组相似画面分段中。在这种输入画面信号序列的情况下，将相似画面分段A1、A2和A3放在彼此类似的一组相似画面分段中，将相似画面分段B1、B2和B3放在彼此类似的另一组相似画面分段中，并将相似画面分段C1和C2放在彼此类似的又一组相似画面分段中。

因此，当通过这个实施例实现的记录/再现设备100接收到如图2A所示的输入画面信号序列时，记录/再现设备100将包括在输入画面信号序列中的相似画面分段分类成三组彼此类似的相似画面分段，即，由彼此类似的相似画面分段A1、A2和A3组成的第一组、由彼此类似的相似画面分段B1、B2和B3组成的第二组、和由彼此类似的非相似画面分段C1和C2组成的第三组。记录/再现设备100还找出有多少个I画面包括在构成每个组的每个相似画面分段中。

在将信息信号记录到记录媒体8上的处理中，如上所述，由图1所示的这个实施例实现的记录/再现设备100进行在画面当中检测相似性和将画面分类成相似画面分段的处理。然后，在诸如记录处理结束时刻之类的预确定时刻，将相似画面分段的分类结果显示成如图3所示那样。

在这种情况下，对于彼此类似的每一组相似画面分段显示分类结果。将彼此类似的一组相似画面分段的分类结果显示在一行上，作为I画面的缩小形式的队列，这些I画面每一个位于相似画面分段中一个的起首。具体地说，从具有最高相似性检测频率的队列或容纳最大数量相似I画面的队列开始显示。另外，每个队列从容纳在队列中的I画面当中帧号码最小的I画面开始，后面接着以帧号码增加的顺序排列的I画面。显示在每个队列中的I画面每一个都是位于队列所代表的组中的转变点上或通过分类处理检测的场景改变点上的画面的缩小形式。

注意，有必要关心如下事实，带有摄像机摇摄(pan)的相似画面分段具有随摄像机摇摄而改变的画面场景。因此，当从画面相似性的观点考虑这样的相似画面分段时，这些画面场景被认为是彼此不相似的画面。另一方面，对于只存在摄像机摇摄，也可以认为该分段是不包括割点(cut point)(或场景改变)的分段。也就是说，不存在可用于确定某些画面是否彼此相似的绝对标准，并且一个组中的转变时刻也未必与场景改变时刻相同。

另外，在如上所述的例子中，如果每一个由彼此类似的相似画面分段组成的两个或更多个组具有相等的相似性检测频率，首先显示以最小帧号码的I画面开始的组，后面接着以较大帧号码的I画面开始的组。

在如图3所示的典型显示中，屏幕被划分成8×8个小屏幕单元的矩阵，用于只显示每一个位于队列中场景改变点上的画面的缩小形式。这些I画面作为如图2A所示的分类处理的结果而获得，更具体地说，在矩阵的每个水平行上的小屏幕单元用于显示位于包括在彼此类似的一组相似画面分段中的相似画面分段起首的场景改变点处的画面的缩小形式，在矩阵的每个垂直列上的小屏幕单元用于显示每一个位于每个相似画面分段起首的场景改变点处的画面的缩小形式。

因此，具体地说，在如图3所示的典型显示中，顶端水平行c1用于显示分别位于在相似画面分段A1、A2和A3起首的场景改变点处的第1、12和21I画面的缩小形式。

同样，第2行c2用于显示分别位于在相似画面分段B1、B2和B3起首的场景改变点处的第7、17和29I画面的缩小形式。同样，水平行c3用于显示位于彼此类似的非相似画面分段C1和C2起首的场景改变点处的第4和10I画面的缩小形式。

如上所述，通过第一实施例实现的记录/再现设备100在记录过程中进行在画面当中检测相似性和将画面分类成相似画面分段的处理，并且，在进行记录时、在记录结束时、或在记录过程结束之后的适当时刻，显示画面分类处理的结果。因此，可能能够迅速地和可靠地知道那些广播节目已经被记录到记录媒体上。也就是说，无需再现已记录信息信号的所有细节，就可以迅速地和可靠地掌握已记录广播节目的内容，从而，可以有效地和有效率地利用信息信号。

另外，为了提供如图3所示示出分类结果的列表显示(或多画面显示)，需要缩小画面(或缩略画面)。图2B示出以如图2A所示的时序排列的缩小画面的队列，其时序与利用MPEG方法压缩其数据的I画面的时序相同。通过将这个序列的缩小画面事先存储在记录媒体中，可以在分类处理之后立即提供缩小画面(或缩略画面)的列表显示。

这里，考虑在记录结束时将缩小画面显示成如图3所示那样的情况。在这种情况下，在记录过程期间，创建缩小画面，并将其与原画面数据一起存储到记录媒体上，以缩短信号处理时间。如果在记录原画面的过程中没有创建缩小画面，必须既进行解码原数据的处理也进行创建缩小画面的处理。这是因为，原画面的数据是压缩数据。因此，缩小画面不能得到迅速显示。

为了解决这个问题，如图2B所示，与原画面数据一起创建缩小画面，并将其与原画面数据一起存储到记录媒体上，以缩短信号处理时间。另外，可以容易地把是I画面的原画面的每一个与它的缩小画面相关联。

但是，如果将如图2B所示的缩小画面都存储在记录媒体中，缩小画面数据量太大，以致于想像得到这种情况，即由于缩小画面数据量大，存储容量有限的记录媒体不再得到有效利用的情况。为了解决这个问题，通过第一实施例实现的记录/再现设备100通过将缩小画面与每一个位于场景改变点上的原画面相关联，只存储位于场景改变点上的缩小画面，以便将缩小画面数据量降到最低程度。

现在，考虑用“0”和“1”表示如图3所示的列表显示(或多画面显示)的基带区域中缩小画面的数据量。在如图3所示的典型显示的情况下，缩小画面的数据具有与对应于缩小画面的原画面的大小的1/8(八分之一)倍相等的大小。也就是说，缩小画面的高度(垂直长度)和宽度(水平长度)是原画面的垂直和水平长度的1/8倍。

用Y信号(亮度信号)、Cb信号(蓝色色差信号)和Cr信号(红色色差信号)表示每个原画面的数据，每一个信号都有8个位大小，并且每个原画面的分辨率是352(水平方向)×240(垂直方向)。在这种情况下，可以按照如下公式(1)表示每个缩小画面的数据量：

每个缩小画面的数据量＝3×8位×(352×240)×(1/8)×(1/8)＝31,680位4千字节                                                …(1)

假设，例如，广播节目的记录时间是2个小时，该节目每秒包括30个帧，其被压缩成由每GOP(画面组)15个画面组成的MPEG流。在这种情况下，可以按照如下公式(2)表示所有缩小画面的数据量：

所有缩小画面的数据量＝2小时×60分钟/小时×60秒/分钟×31,680位×30帧/秒×(1/15)＝54兆字节                                 …(2)

从上面的方程中可明显看出，甚至所有缩小画面的数据量也是很大的。

但是，包括在如图2A所示的任何相似画面分段中的画面都彼此相似。因此，对于每个相似画面分段，有必要只生成位于相似画面分段起首的原画面的缩小画面，即，位于相似画面分段的场景改变点上的原画面的缩小画面。通过只存储这样的缩小画面及其原画面，可以减少缩小画面的数据量。

例如，由于相似画面分段A1中的第1、2和3原画面彼此相似，仅仅位于相似画面分段A1的场景改变点上的第1原画面的缩小画面被创建并存储在记录媒体中。把选择为该原画面生成缩小画面的原画面的技术应用于其它相似画面分段A2、A3、B2、B2和B3。

至于非相似画面分段C1和C2，包括在其中的画面彼此不相似。因此，为包括在每个非相似画面分段中的所有原画面的每一个创建缩小画面，并将其与原画面一起存储在记录媒体中。具体地说，在非相似画面分段C1的情况下，为第4、5和6原画面的每一个创建缩小画面，并且将该缩小画面存储在记录媒体中。把选择为该原画面的每一个生成缩小画面的原画面的技术应用于其它非相似画面分段C2。

如上所述，通过选择为该原画面的每一个生成缩小画面的原画面，如图2C所示的第1、4、5、6、7、10、11、12、17、21和29原画面的每一个被选为为其生成缩小画面的原画面，并且将生成的缩小画面与所有原画面一起存储在记录媒体中。

由此，可以使为如图2C所示的原画面创建的缩小画面的数据量比为如图2B所示的原画面创建的缩小画面的数据量小得多。这是因为，基本上只为位于相似画面分段起首的原画面，即，每一个位于相似画面分段的场景改变点上的原画面创建对于如图2C所示队列的缩小画面。如果假设广播节目的记录时间是如上所述的2个小时，并且相似画面分段的平均持续时间是大约3秒钟，则通过使用处理像那些图2C所示的较少原画面的方法来选择原画面，只对这样的原画面创建缩小画面，将缩小画面的数据量减少到约18百万字节。

注意，采用诸如JPEG(联合图像专家组)之类的数据压缩技术可以进一步压缩缩小画面，以便进一步减少该缩小画面的数据量。

通过如图1所示的第一实施例实现的记录/再现设备100能够采用只选择像那些图2B所示的原画面的方法以及只选择像那些图2C所示的原画面的方法。但是，在如下的描述中，假设主要采用只选择像那些图2C所示的原画面的方法。

<通过第一实施例实现的记录/再现设备100的操作和配置>

如下的描述将说明通过如图1所示的第一实施例实现的记录/再现设备100的操作和配置。如图1所示的配置可以被划分成在记录媒体8的左侧和右侧的部分。左侧的部分主要是记录系统，而右侧的部分主要是再现系统。

<记录系统>

首先，说明记录系统。将供应给通过第一实施例实现的记录/再现设备100的模拟音频信号(音频输入)馈送到音频模拟-数字转换器1，下文将音频模拟-数字转换器缩写成音频A/D转换器，它将模拟音频信号转换成要供应给音频编码器2和音频分类处理单元20的数字音频信号。

音频编码器2通过采用诸如MPEG音频方法之类的预确定压缩技术，对数字音频信号进行频带压缩处理。将作为对数字音频信号进行频带压缩处理的结果获得的音频数据供应给多路复用处理单元6。

音频分类处理单元20通常对每个预确定分段检测数字音频信号中频谱峰的连续性，以确定数字音频信号是否是音乐信号。将确定结果供应给多路复用处理单元6、系统控制器17、和画面场景分类显示和再现位置显示单元19。下文也将画面场景分类显示和再现位置显示单元19适当地称为分类显示单元。

注意，取代处理从音频A/D转换器1接收的数字音频信号，也可以将音频分类处理单元20设计成这样的配置：用于接收作为音频编码器2对音频A/D转换器1生成的数字模拟信号进行频带压缩处理的结果获得的音频数据，如图1所示的虚线所指；并用于对该音频数据进行如上所述的分类处理。

另一方面，将供应给通过第一实施例实现的记录/再现设备100的模拟视频信号(视频输入)馈送到视频模拟-数字转换器3，下文将视频模拟-数字转换器缩写成视频A/D转换器，它将模拟视频信号转换成要供应给视频编码器4的数字视频信号。

视频编码器4通过采用诸如MPEG2方法之类的预确定压缩技术，对供应给其的数字视频信号进行频带压缩处理。将作为对数字视频信号进行频带压缩处理的结果获得的视频数据供应给视频分类处理单元5、多路复用处理单元6、I-画面检测单元21和缩小画面处理单元22。

视频分类处理单元5检测从视频编码器4接收的视频数据的I画面的画面特征，并根据检测的特征识别画面相似性。另外，通过参照图2A到2C，如早先的解释，视频分类处理单元5还进行一系列画面分类处理，包括对相似画面分段、非相似画面分段及每个均由彼此类似的相似画面分段组成的组的识别。视频分类处理单元5还生成用于识别相似画面分段、非相似画面分段及每个均由彼此类似的相似画面分段组成的组的识别信息信号，并将该信号供应给多路复用处理单元6和分类显示单元19。

识别信息信号包括视频数据的位置信息。视频数据的位置信息包括有关在每个相似画面分段中包括多少个相似帧的信息。另外，视频分类处理单元5还能够对画面相似性确定的处理检测场景改变点，并将它们报告给系统控制器17。

注意，取代从视频编码器4接收压缩视频数据，视频分类处理单元5也可以接收视频A/D转换器3输出的数字视频信号，如图1所示的虚线所指，并根据该数字视频信号，如上所述，以帧为单元识别和分类数字视频数据的相似画面的处理。

另外，也可能提供这样的配置，其中，作为分类视频和音频信号的处理结果获得的识别信息信号也可以由系统控制器17根据从视频分类处理单元5和音频分类处理单元20接收的分类处理结果生成，并被供应给多路复用处理单元6。

任何图中都没有示出，系统控制器17是微型计算机，包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)、非易失性(non-volatile)存储器和定时电路，这些部件用于控制构成记录/再现设备100的其它部件。

另外，如图1所示的配置中的I-画面检测单元21是用于从视频数据中检测I画面并向系统控制器17报告诸如检测时刻之类的检测信息的部件。只检测I画面是因为，如上所述，通过这个实施例实现的记录/再现设备100以I-画面为单元进行画面相似性检测处理及画面分类处理。系统控制器17能够根据从I-画面检测单元21接收的检测信息，控制视频分类处理单元5和缩小画面处理单元22。

按照系统控制器17执行的控制，缩小画面处理单元22从因此而接收的视频数据(更具体地说，每一个位于场景改变点上的I画面)中生成缩小画面数据，并且将数据供应给多路复用处理单元6和分类显示单元19。

在这个实施例中，分类显示单元19接收来自音频分类处理单元20的分类结果、来自视频分类处理单元5的识别信息信号、和来自缩小画面处理单元22的缩小画面数据，显示排列在矩阵行上每一个与彼此类似的一组相似画面分段相对应并且每一个代表如图3所示的相似画面分段中一个的缩小画面的分类。也就是说，通过这个实施例实现的记录/再现设备100能够在进行将原画面记录到记录媒体上的处理的同时，显示对于所记录的原画面的缩略画面。

另外，多路复用处理单元6通常通过对音频数据、视频数据、缩小画面数据、和从视频分类处理单元5接收的识别信息信号进行时分多路复用处理，来生成多路复用数据，然后将该多路复用数据供应给记录处理单元7。记录处理单元7进行包括把纠错码加入多路复用数据中的处理和交织(interleave)数据以创建要记录的信号的处理在内的处理，然后将信号记录到记录媒体8中的预确定区域中。

然后，在这个实施例的情况下，如前所述，通过利用多路复用在多路复用的数据中的识别信息信号，可能能够识别相似画面分段、非相似画面分段和每一个由彼此类似的相似画面分段组成的组，并且将原画面与代表原画面的缩小画面相关联。因此，可能能够在记录处理期间，或在记录结束时，或在记录处理结束之后的预确定时刻，显示排列在矩阵行上每一个与彼此类似的一组相似画面分段相对应并且每一个代表如图3所示的相似画面分段的一个的缩小画面的分类。

<画面分类处理>

下面具体说明通过应用在记录/再现设备100中的视频分类处理单元5进行的画面分类处理。图4是示出画面分类处理单元5的说明性方块图，而图5和6每一个示出视频分类处理单元5进行的画面分类处理的操作原理。

在本实施例中，视频分类处理单元5从通常采用MPEG2方法压缩的视频数据中检测视频数据的特征，以分类画面。

当应用在视频分类处理单元5中的特征数据检测单元51从视频编码器4接收到I画面时，特征数据检测单元51将I画面的帧数据划分成像那些图5所示的25个画面区或25个分画面区。然后，特征数据检测单元51生成亮度矢量Ay，亮度矢量Ay如图6所示的公式(1)所表示的那样，是具有25个分量的25阶(degree)矢量。这25个分量分别是从25个画面区中Y分量(或亮度分量)的DCT(离散余弦变换)分量当中选择出来的DC系数的平均值。同样，特征数据检测单元51生成蓝色色差矢量Ab，蓝色色差矢量Ab如图6所示的公式(2)所表示的那样，是具有25个分量的25阶矢量。这25个分量分别是从25个画面区中Cb分量(或蓝色色差分量)的DCT分量当中选择出来的DC系数的平均值。同样，特征数据检测单元51生成红色色差矢量Ar，红色色差矢量Ar如图6所示的公式(3)所表示的那样，是具有25个分量的25阶矢量。这25个分量分别是从25个画面区中Cr分量(或红色色差分量)的DCT分量当中选择出来的DC系数的平均值。

特征数据检测单元51把以这种方式依次生成的矢量数据段(piece)供应给其中存储数据的数据缓冲器52、以及处理单元53。数据缓冲器52和处理单元53包括在如图4所示的配置中。处理单元53按照图6所示的公式(4)，计算在分类处理时的参考矢量数据和每个帧的矢量数据之间的矢量间距离Vd。在数据缓冲器52中已经对于所有帧存储了每个帧的矢量数据。在分类处理时的参考矢量数据是特征数据检测单元51最近供应给处理单元53的矢量数据。然后，处理单元53从对所有帧计算的矢量间距离Vd当中找出最短距离Vdmin。

ID缓冲器55是用于存储指定给已经存储在数据缓冲器52中的矢量数据段的ID(识别符)的存储器。ID被一对一地指定给矢量数据段。也就是说，ID被一对一地指定给帧，这些帧的矢量数据段已经存储在数据缓冲器52中。

然后，根据处理单元53输出的处理结果，系统控制器17参照ID缓冲器55，以获得指定给特定帧的ID，该帧的矢量具有的相对于参考矢量的矢量间距离等于最短距离Vdmin。随后，如果最短距离Vdmin没有超过事先确定的阈值Th，系统控制器17确定其矢量相对于参考矢量的矢量间距离等于最短距离Vdmin的特定帧是与具有参考矢量的帧相似的帧。在这种情况下，输出作为特定帧的ID的识别符IDdet，作为识别信息信号，识别符IDdet绕过ID生成单元54，存储在ID缓冲器55中。正如在前面给出的描述中所暗示的那样，特定帧和具有参考矢量的帧的每一个都是I画面。

包括在如图4所示的配置中的ID生成单元54是初始值为0(零)的16-位计数器。如果最短距离Vdmin超过事先确定的阈值Th，系统控制器17确定其矢量相对于参考矢量的矢量间距离等于最短距离Vdmin的特定帧(I画面)是与拥有参考矢量的帧(I画面)不相似的帧。在这种情况下，输出ID生成单元54的当前值，作为指定给具有参考矢量的帧的ID，并且将其存储在ID缓冲器55中。然后，ID生成单元54将它的内容加1，以生成要指定给下一个要处理的帧的ID。

如上所述，同一ID被指定给具有高相似度的帧(I画面)。因此，可以将由具有相同ID的帧组成的分段确定为相似画面分段。另外，可以将被其它分段彼此分开的相似画面分段确定为与彼此类似的一组相似画面分段有关的分段。

此外，视频分类处理单元5能够根据完成分类处理的I画面和紧邻在特定I画面之前的I画面之间的差异，确定完成分类处理的特定I画面是否是位于场景改变点(或割点)上的画面。通过以这种方式检测场景改变点，可能能够容易地实现只对位于场景改变点上的原画面生成缩小画面并且在分类显示单元19上显示该缩小画面作为图2C所示的缩略画面的处理，以及将缩小画面多路复用成要存储在记录媒体中的如前所述的多路复用数据的处理。

然后，这个实施例的系统控制器17根据从视频分类处理单元5接收的信息，创建识别信息信号，并且将这个信号供应给多路复用处理单元6。识别信息信号包括识别所记录电视广播节目的信息、识别电视广播节目的每个缩小画面的信息、指示每个所识别的缩小画面在多画面显示器上的位置的信息、和识别对该原画面生成识别的缩小画面的原画面的信息。

注意，指示所识别缩小画面在多画面显示器上的位置的信息可以根据特定相似画面分段和一组相似画面分段的I画面的个数找出。作为识别对其生成识别的缩小画面的原画面的信息，可以使用帧号码或时间印记。

<声音分类处理>

如下的描述具体说明应用在如上所述的记录/再现设备100中的音频分类处理单元20为了分类声音而进行的处理。图7是示出声音分类处理单元20的具体配置的说明性方块图。这个实施例的音频分类处理单元20可以被认为是包括识别音乐音频信号的音乐信号部分和识别会话语音音频信号的语音信号部分的单元。

将音频A/D转换器1生成的数字音频信号供应给应用在音频分类处理单元20中的预确定信号分段检测单元201。预确定信号分段检测单元201从供应给其的数字音频信号中提取长度在0.5到5秒范围内的音频信号分段，并且将所提取的音频信号分段供应给FFT信号处理单元202。

从数字音频信号中提取的音频信号分段具有在如上所述的预确定范围内的长度，这是因为，如果音频信号分段的持续时间太短，就不可能高精度地确定音频信号是音乐音频信号还是会话语音音频信号。

FFT信号处理单元202对供应给它的数字音频信号进行FFT(快速付里叶变换)处理，将该信号变换成有关频率分量的信息。然后，FFT信号处理单元202将有关频率分量的信息供应给峰-频率检测单元203。峰-频率检测单元203从有关所供应的数字音频信号的频率分量的信息中检测谱-峰频率，并且把所检测的谱-峰频率供应给峰-频率连续性确定单元204。

根据所供应的谱-峰频率，峰-频率连续性确定单元204确定在预确定范围内是否连续地存在谱-峰频率，以便确定正在处理的音频信号是否是音乐音频信号。

峰-频率连续性确定单元204将确定结果供应给上面参照图1说明的多路复用处理单元6。多路复用处理单元6将确定结果多路复用成多路复用信号，作为指示受到处理的音频信号是否是音乐音频信号的信息。峰-频率连续性确定单元204还通过系统控制器17或直接把确定结果供应给分类显示单元19。分类显示单元19在预确定屏幕中利用确定结果，以通过将缩略画面分类成音乐部分和非音乐部分，显示音频信号的缩略画面。

另外，音频分类处理单元20输出的确定结果还可以用于将音频信号分类成音乐信号分段和非音乐信号分段，并且以与显示位于如前所述的场景改变点上的缩略画面相同的方式，将在标记音频信号的分段类别的改变的时刻上的场景显示成缩小画面。在这种情况下，通过明确地相互分开节目的音乐部分和说明部分，显示广播节目，以便可以，例如，只再现音乐部分或说明部分。

<再现系统>

接着，说明再现系统。系统控制器17生成的控制信号控制再现控制单元9，以从记录媒体8中读出用户指定的多路复用数据，并且将该数据供应给再现处理单元10。再现处理单元10进行包括对供应给它的多路复用数据进行解交织处理在内的预确定处理，并且把经处理的多路复用数据供应给分离处理单元11。分离处理单元11多路分用供应给它的多路复用数据，以生成音频数据、视频数据、缩小画面数据和识别信息信号，仅举这几个。

将分离处理单元11生成的音频数据供应给音频解码器12。供应给音频解码器12的音频数据是采用预确定压缩方法压缩的数据。因此，音频解码器12解压缩供应给它的压缩音频数据，并且把作为解压缩结果获得的音频数据供应给音频数字/模拟转换器13，下文将音频数字/模拟转换器缩写成音频D/A转换器。

音频D/A转换器13将供应给它的数字音频信号转换成模拟音频信号，并且将该模拟音频信号输出到扬声器。扬声器根据供应给它的模拟音频信号生成声音。

另外，将分离处理单元11生成的视频数据供应给视频解码器14。供应给视频解码器14的视频数据是采用预确定压缩方法压缩的数据。因此，视频解码器14解压缩供应给它的压缩视频数据，并且把作为解压缩结果获得的视频数据供应给视频数字/模拟转换器15，下文将视频数字/模拟转换器15缩写成视频D/A转换器。

视频D/A转换器15将供应给它的数字视频信号转换成模拟视频信号，并且将该模拟视频信号输出到监视器接收器。监视器接收器根据供应给它的模拟视频信号显示画面。

将分离处理单元11生成的识别信息信号供应给识别信号检测单元16。识别信号检测单元16从供应给它的识别信息信号中检测必要识别信息信号，并且将该识别信息供应给系统控制器17和分类显示单元19。

另外，识别信号检测单元16还从供应给它的识别信息信号中提取预确定时间印记信号或帧号码，并且将时间印记信号或帧号供应给系统控制器17。通过根据时间印记信号检测再现时刻，也可以在分类显示单元19上显示再现位置。

然后，当通过用户输入I/F18而输入命令，作为做出这样的请求的命令时，即请求显示对记录在记录媒体8上的广播节目进行的分类，系统控制器17根据供应给它的识别信息信号控制再现控制单元9，以便从记录媒体8中读出所需广播节目的缩小画面，并且通过再现处理单元10和分离处理单元11将缩小画面供应给分类显示单元19。另外，系统控制器17根据识别信息信号控制分类显示单元19，以便像图3所示那样，显示记录在记录媒体8上的广播节目的分类。

如上所述，甚至在记录处理结束之后的预确定时刻，通过利用识别信息信号以及缩小画面信号这两种根据画面相似性确定处理和分类处理生成然后存储在记录媒体中的信号，画面的分类能够像图3所示那样显示。

注意，作为一个例子，本实施例是通过给出记录一个电视广播节目的情况来示范的。但是，本发明的实施例决不局限于这样的情况。例如，本实施例也可以应用于显示作为对特定信道、特定节目分段、或特定时间分段进行画面相似性确定处理和分类处理的结果获得的分类。通常，特定信道、特定节目分段、或特定时间分段可能涉及通过预确定信道广播的所有节目、预确定节目的一部分或预确定广播信道的预确定时间分段。也就是说，只在适当的分段期间进行画面相似性确定处理和分类处理，以便为那个分段显示画面的分类。

另外，在记录处理期间，也可能对摘要再现处理生成画面数据及对浏览再现处理生成画面数据，并且与广播节目的主要画面数据一起存储这些数据段，以便可以进行广播节目的摘要和浏览再现处理。

注意，在本说明书中，摘要再现处理指的是通过从节目中的一个位置跳到另一个位置再现记录在记录媒体上的广播节目，以便使用户掌握节目的概况的处理。例如，摘要再现处理可以通过只从物理上分离的信号分段中连续地再现广播节目的部分来实现，该分离信号分段的每一个在场景改变之前和之后，并且具有等于或高于预确定值的音频电平。

另一方面，浏览再现处理是这样的处理：只再现从记录在记录媒体上的广播节目的那些当中选取的场景，作为与用户指定的一个相似的场景。

如果希望进行诸如摘要或浏览再现处理之类的预确定特殊再现处理，用户需要通过用户输入I/F18输入命令。当接收到用户输入的命令信息时，系统控制器17控制再现控制单元9为所需特殊再现方法读出画面数据，以便使所需特殊再现方法的画面得到再现。

<记录/再现设备100的操作>

接着，通过参照如图8到11所示的流程图，说明在记录过程中通过如上所述的第一实施例实现的记录/再现设备100进行的操作。图8和9是参照了通过第一实施例实现的记录/再现设备进行的操作的说明的流程图。如下的描述将说明一种典型情况，其中，把每一个位于场景改变点上的画面存储在记录媒体中，作为如图2C所示的缩小画面，并且在记录处理结束时作为分类结果显示该缩小画面。

当接收到用户通过用户输入I/F18输入的操作命令时，系统控制器17进行如图8和9所示的流程图所代表的操作。该流程图从确定命令所请求的处理是再现处理还是记录处理的步骤S1开始。如果在步骤S1中获得的确定结果指示请求的处理是记录处理，则操作流程转到步骤S2，在步骤S2中，系统控制器17控制应用在记录/再现设备100中的部件，以将它们自己置于开始将音频和视频信号记录到记录媒体8上的处理的记录模式下。

然后，在下一个步骤S3中，视频分类处理单元5像上面参照图4到6所说明的那样，检测每个I画面的画面特征。随后，在下一个步骤S4中，视频分类处理单元5对I画面进行相似性确定处理和分类处理。在步骤S4中进行处理的段对应于如前所述生成识别信息信号的处理。

然后，在下一个步骤S5中，系统控制器17根据分类处理的结果，将当前正在处理的特定I画面与在这个特定I画面之前紧邻的I画面相比较，以便通过找出特定I画面是否与在前面紧邻的I画面不相似，确定特定I画面是否是位于割点(或场景改变点)上的I画面。对所有随后的I画面进行步骤S5的操作。

随后，在下一个步骤S6中，系统控制器17检查当前正在处理的特别I画面，以确定特别I画面是否是位于在步骤S5中检测的割点的任何一个上的I画面。如果当前正在处理的特别I画面是位于割点的任何一个上的I画面，操作流程转到步骤S7，在步骤S7中，系统控制器17控制缩小画面处理单元22以生成特别I画面的缩小画面，并且把生成的缩小画面供应给多路复用处理单元6。

在完成了在步骤S7中进行的操作或在步骤S6中获得的确定结果指示当前正在处理的特别I画面不是位于割点的任何一个上的I画面之后，操作流程转到步骤S8，在步骤S8中，除了其它之外，系统控制器17还创建指示多少个连续帧彼此相似的信息，作为指示位置的信息，并且在步骤S8中，把指示位置的信息供应给多路复用处理单元6。注意，在MPEG数据的情况下，时间印记信息可以用作指示位置的信息。

然后，在下一个步骤S9中，多路复用处理单元6多路复用识别信息信号和要记录的原信号，以便生成多路复用信号，并且通过记录处理单元7将多路复用信号记录到记录媒体8上。包括音频和视频数据，要记录的原信号已经提前供应给多路复用处理单元6。识别信息信号包括指示位置的信息或时间印记信号。

随后，在下一个步骤S10中，系统控制器17确定用户是否已经通过用户输入I/F18输入了停止记录处理的命令。如果确定结果指示用户还没有输入停止记录处理的命令，操作流程转到步骤S3，从这个步骤开始重复如上所述的操作，以便继续进行将供应给记录/再现设备100的音频和视频信号记录到记录媒体上的处理。

另一方面，如果在步骤S10中获得的确定结果指示用户已经输入了停止记录处理的命令，操作流程转到步骤S11，以确定是否已经作出分类显示的请求。通常，在开始记录处理之前，用户指示在处理结束时是否作出对分类显示的请求。

如果在步骤S11中获得的确定结果指示没有作出对分类显示的请求，结束如图8和9所示的流程图所代表的操作的执行。然后，记录/再现设备100通常进入等待用户输入下一个命令的状态。另一方面，如果在步骤S11中获得的确定结果指示已经作出对分类显示的请求，操作流程转到步骤S12，在步骤S12中，将分类显示输出到分类显示单元19，以便像图3所示的那样，示出存储在记录媒体上的缩小画面。

在显示了画面分类之后，操作流程转到步骤S13，在步骤S13中，系统控制器17确定用户是否已经输入了再现命令。如果在步骤S13中获得的确定结果指示用户还没有输入再现命令，结束如图8和9所示的流程图所代表的操作的执行。然后，记录/再现设备100通常进入等待用户输入下一个命令的状态。

注意，通过本实施例实现的记录/再现设备100能够只再现这样一组相似画面分段，其中的相似画面分段彼此类似并包括与从在分类显示中示出的那些当中所选取的缩小画面相对应的原画面。

另一方面，如果在步骤S1中获得的确定结果指示请求的处理是再现处理或如果在步骤S13中获得的确定结果指示用户已经输入了再现命令，操作流程转到如图9所示的续流程图的步骤S14。在这个步骤中，系统控制器17控制应用在再现系统中的部件，以把记录/再现设备100置于再现模式下。

然后，在下一个步骤S15中，系统控制器17确定请求的再现处理是特殊再现处理还是普通再现处理。特殊再现处理的例子是摘要再现处理和浏览再现处理。

如果在步骤S15中获得的确定结果指示请求的再现处理是特殊再现处理，操作流程转到步骤S16，在步骤S16中，系统控制器17控制应用在再现系统中的部件，以把记录/再现设备100置于请求的特殊再现处理的模式下，并且进行请求的特殊再现处理。在这个请求的特殊再现处理中，作为用户请求的特殊再现操作，进行摘要再现、浏览再现或分类显示再现。

然后，在下一个步骤S17中，系统控制器17确定用户是否已经输入了停止特殊再现处理的命令。如果确定结果指示用户已经输入了停止特殊再现处理的命令，结束如图8和9所示的流程图所代表的操作的执行。然后，记录/再现设备100通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S17中获得的确定结果指示用户还没有输入停止特殊再现处理的命令，操作流程转到步骤S18，以确定是否已经作出记录处理的请求，也就是说，是否已经输入了将再现模式改变成记录模式的命令。

如果在步骤S18中获得的确定结果指示还没有作出记录处理的请求，操作流程返回到步骤S18，以继续进行特殊再现处理。另一方面，如果在步骤S18中获得的确定结果指示已经作出了记录处理的请求，操作流程返回到如图8所示的主流程图的步骤S1，从这个步骤开始全面重复上述操作。

另一方面，如果在步骤S15中获得的确定结果指示请求的再现处理不是特殊再现处理，操作流程转到步骤S19，在步骤S19中，系统控制器17控制应用在再现系统中的部件，以把记录/再现设备100置于普通再现处理的模式下，并且进行普通再现处理。

然后，在下一个步骤S20中，系统控制器17确定用户是否已经输入了停止普通再现处理的命令。如果确定结果指示用户已经输入了停止普通再现处理的命令，结束如图8和9所示的流程图所代表的操作的执行。然后，记录/再现设备100通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S20中获得的确定结果指示用户还没有输入停止普通再现处理的命令，操作流程转到步骤S21，以确定是否已经作出记录处理的请求，也就是说，是否已经输入了将再现模式改变成记录模式的命令。

如果在步骤S21中获得的确定结果指示还没有作出记录处理的请求，操作流程返回到步骤S19，继续进行普通再现处理。另一方面，如果在步骤S21中获得的确定结果指示已经作出了记录处理的请求，操作流程返回到如图8所示的主流程图的步骤S1，从这个步骤开始全面重复上述操作。

注意，图10和11是流程图，参照了记录/再现设备以与图2B所示的原画面相同的帧顺序显示所有原画面的缩小画面而进行的其它操作的说明。如图10和11所示的流程图几乎与如图8和9所示的流程图相同，但是，由于以与原画面相同的帧顺序记录缩小画面，不需要指示位置的信息。因此，在如图10所示的流程图中，不需要在如图8所示的流程图的步骤S8中进行的操作。

如图10和11所示的流程图的其它步骤与如图8和9所示的流程图的相应步骤相同。在如图10和11所示的流程图中，与如图8和9所示的流程图中它们的对应步骤相同的其它步骤用与对应步骤相同的标号表示，并且不再重复对应步骤的说明。

<第一实施例总结>

如上所述，在将电视广播节目的视频和音频信号记录到记录媒体上的处理中，通过第一实施例实现的记录/再现设备100识别包括在视频信号中的画面的特征，并根据所识别的特征，进行相似性确定处理和分类处理，以分类相似画面。

同时，检测场景改变点。如果数个连续帧存在相似画面，只创建位于分类画面的场景改变点上的原画面的缩小画面，并检测指示缩小画面和原画面在时基上的位置的信息或指示帧的位置的信息等。然后，将诸如缩小画面的数据和指示位置的信息之类的识别信息信号与原视频数据一起记录到记录媒体上。

与记录处理同时、在记录处理结束时或在记录处理之后的某预确定时刻，快速地对包括在记录处理中的分类处理的每个分类显示缩小画面。也就是说，像那个图3所示的那样的多画面显示出现在显示单元上，作为分类显示。从这个分类显示中，可以有效率地和有效地掌握记录的数据。另外，可以立即进行诸如摘要再现处理之类的特殊处理。

因此，这个实施例能够解决诸如像传统VTR(磁带录像机)的情况那样，不再现整个视频数据就不能识别记录的视频数据之类的问题。也就是说，与记录处理同时，正好在记录处理结束之后或在记录处理之后的某预确定时刻，可以迅速地和精确地掌握记录的视频数据。

注意，在第一实施例的描述中，用作记录的主要对象的第一信息信号包括电视广播节目等的视频和音频信号。但是，用作记录的主要对象的第一信息信号决不局限于这样的信号。例如，用作记录的主要对象的第一信息信号可以只是视频信号或音频信号。

如果第一信息信号只是音频信号，作为第二信息信号，通常可能能够使用在记录/再现设备中创建的显示消息。这样显示消息的例子是第一音乐部分、第二音乐部分、男声部分和女声部分。

注意，虽然音乐声音部分和会话语音部分是像上面所述的那样检测的，但音频信号的男声部分和女声部分也可以根据音频信号的频率分量来检测。

另外，第一信息信号可以是包括视频信号、节目数据、和文本数据的组合数据，或包括音频信号、节目数据、和文本数据的组合数据。也就是说，本发明可以应用于其它情况，只要在每一种其它情况中，以预确定单元进行相似性确定处理，并且将可以分类成相似画面分段的信息信号用作第一信息信号即可。

另外，不仅可以以节目为单元进行相似性确定处理和分类处理，而且可以在记录处理期间的所有时刻进行相似性确定处理和分类处理。作为另一种选择，将时基划分成时段，还可以对每个时段进行相似性确定处理，以及分类处理。作为又一种选择，也可以只对适当的单元，譬如，节目内的时间单元或第一预确定时期进行相似性确定处理，以及分类处理。

另外，也许屏幕容纳不下分类显示。在这种情况下，可以沿着水平(宽度)方向或垂直(高度)方向滚动分类显示，以便使用户能够观看所有缩小画面。

<第二实施例>

图12是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第二实施例实现的记录/再现设备200的说明性方块图。图13A、13B、14和15是示出通过第二实施例实现的记录/再现设备的操作原理的说明图。

通过如图12所示的第二实施例实现的记录/再现设备200具有几乎与通过如图1所示的第一实施例实现的记录/再现设备相同的配置，除了通过第二实施例实现的记录/再现设备200不包括应用在如图1所示的第一实施例的记录/再现设备100中的I-画面检测单元21和缩小画面处理单元22，以及记录/再现设备200新配备了剩余记录容量检测单元31、记录媒体初始化状态检测单元32和显示系统33。

由于如上所述的原因，在通过图12所示的第二实施例实现的记录/再现设备200中，与它们的应用在通过图1所示的第一实施例实现的记录/再现设备100中的对应物相同的部件用与其对应物相同的标号表示，并且不再重复相同对应物的详细说明。

除了包括电视广播节目的所有视频和音频信号的主要信息(第一信息信号)之外，通过第二实施例实现的记录/再现设备200还将摘要使用信号(概要信息或第二信息信号)存储在记录媒体8上，因此，能够进行摘要再现处理。摘要使用信号包括用于对电视广播节目进行摘要再现处理的摘要再现视频信号(概要视频信息)和摘要再现音频信号(概要音频信息)。

概要信息与电视广播节目的主要信号相结合形成一对。通过观看从记录媒体8中再现的概要信息，用户可以掌握主要信息的内容概况，并且确定是否有必要正常地再现和观看主要信息。这样，由于用户通过只观看从记录媒体8中再现的概要信息，就可以掌握主要信息的内容概况，因此存在着许多没有必要正常再现主要信息的情况。

另外，尽管记录媒体的存储容量很大，但容量决非无限。因此，如果总是成对地管理主要信息和概要信息，那么，还完全有可能无意删除必要概要信息。但是，如果完全将存储主要信息的记录区和存储概要信息的记录区彼此分开地管理，那么，难以将主要信息与概要信息关联在一起。

因此，为了解决这个问题，在通过第二实施例实现的记录/再现设备中，通过将主要信息和概要信息相互关联，来管理主要信息和概要信息，并且，当记录媒体8中存留的记录区的存储容量变得不足以存储新主要信息时，从记录媒体8中删除最早日期的主要信息，但有意使概要信息优先于主要信息保留在记录媒体8中，以便可以有效地利用记录媒体8。其结果是，可以有效地和高效率地利用诸如存储在记录媒体8上的视频信号之类的信息信号。

注意，概要信息是用于进行摘要再现处理的信息。概要信息的一个例子是通过从主要信号中提取分段的视频和音频信号而创建的信息，这些分段的每一个先于和后于通常由摄像机工作的改变而引起的场景改变，并且具有等于或高于预确定值的音频电平。

具体地说，通过提取分段A1、A2和A3的视频和音频信号，创建像那个如图13B所示的那样的概要信息，这些分段的每一个先于和后于如图13A所示的场景改变，并且具有等于或高于预确定值的音频电平。

另外，举另一个例子来说，想像得出，还可以从作为具有电视广播节目的相似音频信号的部分而检测的相似部分的音频和视频信号中创建供摘要再现使用的概要信息。可以认为新闻节目是这个其它例子。在这种情况下，可以想像，通过只再现出现新闻播音员的场景，就可以掌握新闻的概况。另外，在流行歌曲节目的情况中，通过只对播放音乐的场景进行摘要再现处理，就可以掌握节目的内容。

注意，在如上所述的第二实施例中，如图13A和13B所示，概要信息是通过提取分段的视频和音频信号而创建的，这些分段的每一个先于和后于场景改变，并且具有等于或高于预确定值的音频电平。

<操作原理>

首先，说明通过第二实施例实现的记录/再现设备200的操作原理。正如前面也描述过的那样，通过第二实施例实现的记录/再现设备200能够将包含电视广播节目的所有视频和音频信号的主要信息、及概要信息存储在记录媒体8上。概要信息是主要信息的所谓摘要。概要信息是用于掌握电视广播节目的概况的摘要再现信号，该电视广播节目否则只能通过再现主要信息来观看。

另外，在通过第二实施例实现的记录/再现设备200的情况中，如图14A所示，记录媒体8的记录区被划分成用作只存储概要信息的记录区的区域R1和用作只存储主要信息的记录区的区域R2。因此，概要信息存储在记录媒体8的记录区R1中，而主要信息存储在记录媒体8的记录区R2中。

应用在记录/再现设备200中的系统控制器17通过剩余记录容量检测单元31监视记录媒体8的剩余存储容量。如下的描述将说明如图14A所示的情况，其中，对第1到第4节目完成了存储概要信息和主要信息的操作之后，如在记录与第5节目有关的概要信息和主要信息的操作中所检测到的那样，存储主要信息的记录区R2的存留存储容量变得不足。

在这样的情况下，将第5节目的概要信息原样存储在配备在记录媒体8中作为分配给概要信息的区域的记录区R1中，并将第5节目的主要信息存储在用于存储在最早记录日期记录的第1节目的主要信息的记录区中，覆盖(叠置)如图14B所示的第1节目的主要信息。

如果第5节目的主要信息不能全部容纳在用于存储第1节目的主要信息的记录区中，将第5节目的主要信息的存留信息记录在接在用于存储第4节目的主要信息的记录区之后的区域中。

但是，通过像如上所述那样存储第5节目的信息，尽管第1节目的主要信息不可避免地被删除，但作为最新节目的第5节目的主要信息可以存储在记录媒体8中。除此之外，由于第1节目的概要信息未被删除，无论何时通过进行再现第1节目的概要信息的摘要再现处理，都可以掌握第1节目的概况。

注意，如果害怕保留在记录媒体8中的记录区R1本身的大小也变得不足，系统控制器17通过显示系统33向用户报告这种状况，从提醒用户关注这种状况。也就是说，请求用户重新安排已经存储在记录媒体8上的信息或扩大它的记录区。

在如图14所示的例子的情况中，如上所述，记录媒体8的记录区事先被划分成分配给概要信息的记录区R1和分配给主要信息的记录区R2。但是，值得注意的是，记录媒体8的记录区的使用决不局限于这样的划分。例如，如图15A所示，还可以将每个主要信息和对于该主要信息的概要信息存储在彼此相邻的区域中。当预计存留的记录区变得不足时，将作为最新节目的第5节目的主要信息存储在用于存储在最早记录日期记录的第1节目的主要信息的记录区中，覆盖(叠置)如图15B所示的第1节目的主要信息。

总之，通过用最新主要信息取代最早主要信息，但使该最早主要信息的概要信息原样保留在记录区中，可以避免这种状况，即与用户感兴趣的主要信息相关联的概要信息也被不可避免地删除掉，致使不能掌握用户感兴趣的主要信息的概况。

<通过第二实施例实现的记录/再现设备200的操作和配置>

如下的描述将说明通过如图12所示的第二实施例实现的记录/再现设备200的配置和由此进行的操作。如图12所示，通过第二实施例实现的记录/再现设备200包括记录媒体初始化状态检测单元32。记录媒体初始化状态检测单元32是确定记录媒体8是否处在初始化状态的部件，初始化状态是没有诸如视频数据和音频数据之类的信息被记录在记录媒体8上的状态。

将记录媒体初始化状态检测单元32生成的确定结果报告给系统控制器17。如果确定的结果指示没有信息信号被记录在记录媒体8上的初始化状态，系统控制器17通过显示系统33向用户报告这种状态，以提醒用户输入选择如图14所示的第一记录方法或如图15所示的第二记录方法，作为将信息信号记录到记录媒体8上的技术的输入。

假设一个例子，用户喜欢如图14所示的第一记录方法。在这种情况下，可以通过将记录媒体8划分成分配给概要信息的记录区R1和分配给主要信息的记录区R2来管理信息信号。因此，记录媒体8对于这种情况是方便的，即，需要容纳通常记录了几个星期的主要信息段，但必须保存记录了至少几个月的概要信息段。

在第一记录方法的情况下，在分配给概要信息的记录区变得不足之前，不发出警告。因此，第一记录方法提供了如下优点：可以高可靠度地存储和保持最近概要信息；和不用频繁地重新排列已经存储在记录媒体8中的信息，就可以可靠地记录和保存最新主要信息段。

另一方面，在如图15所示的第二记录方法的情况下，没有必须事先分配大的第一和第二记录区。因此，可以高效率地使用记录区。另外，由于既不存在专门分配给概要信息的记录区，也不存在专门分配给主要信息的记录区，第二记录方法还具有能够在相对长期的时间记录概要信息和主要信息的优点。但是，由于记录区均用于存储信息，可能出现不能再既记录概要信息又记录主要信息的情况。

第一记录方法或第二记录方法需要按照用户想要利用记录/再现设备的方式来选择。用户通过用户输入I/F18把指定采用哪一种记录方法的输入输入记录/再现设备中。然后，通常将这样的输入设置在应用在系统控制器17中的非易失性存储器中。每当进行记录处理时，对于所采用的记录方法引用非易失性存储器，以便可以按照用户喜欢的记录方法将信息信号记录到记录媒体8中。

注意，通常，将如图14所示的第一记录方法作为默认记录方法事先设置在存储器中。但是，如有必要，可以用如图15所示的第二记录方法取代默认记录方法。不用说，反过来，可以将如图15所示的第二记录方法作为默认记录方法事先设置在存储器中，如有必要，可以用如图14所示的第一记录方法取代默认记录方法。

然后，与通过如前所述的第一实施例实现的记录/再现设备100非常相似，在通过第二实施例实现的记录/再现设备200中，电视广播节目的模拟音频信号经音频A/D转换器1和音频编码器2处理，生成然后供应给多路复用处理单元6的压缩音频数据。另一方面，电视广播节目的模拟视频信号经视频A/D转换器3和视频编码器4处理，生成然后供应给多路复用处理单元6的压缩视频数据。随后，多路复用处理单元6多路复用该视频和音频数据，以生成主要信息。

与应用在通过如前所述的第一实施例实现的记录/再现设备100中的视频分类处理单元5非常相似，应用在通过第二实施例实现的记录/再现设备200中的视频分类处理单元5进行画面相似性确定处理，以将主要信息分类成相似画面分段和非相似画面分段，将确定结果供应给系统控制器17。在这种情况下，视频分类处理单元5将识别信息供应给多路复用处理单元6，作为加入主要信息中的信号输送所需信息。

与应用在通过如前所述的第一实施例实现的记录/再现设备100中的音频分类处理单元20非常相似，应用在通过第二实施例实现的记录/再现设备200中的音频分类处理单元20能够识别音乐信号分段和会话语音信号分段。但是，在第二实施例的情况下，记录/再现设备200还检测音频信号的音频电平，并且把有关检测的音频电平的信息供应给系统控制器17。在这种情况下，音频分类处理单元20将识别信息供应给多路复用处理单元6，作为加入主要信息中的信号输送所需信息。

根据从视频分类处理单元5接收的确定结果以及作为关于所检测的音频电平的信息的从音频分类处理单元20接收的信息，系统控制器17识别每一个先于和后于位于场景改变点上的画面，并且具有等于或高于预确定值的音频电平的预确定视频信号和音频信号分段，作为要用在摘要再现处理中的分段，并且将关于识别的分段的信息供应给多路复用处理单元6。

根据从系统控制器17接收的分段识别信息，多路复用处理单元6从主要信息中提取预确定分段的信息，作为要用在摘要再现处理中的概要信息。也就是说，多路复用处理单元6按照系统控制器17执行的控制，从主要信息中创建概要信息。

通过记录处理单元7把多路复用处理单元6创建的主要和概要信息记录到记录媒体8上。在这种情况下，系统控制器17通过采用如图14所示的第一记录方法或如图15所示的第二记录方法作为如上所述事先选择的记录技术控制记录处理单元7，将主要和概要信息记录到记录媒体8上。

结果是，如图14或15所示，主要和概要信息被记录到记录媒体8上。在第二实施例中，记录处理单元7不仅具有创建记录使用信号的功能，而且拥有用于将所创建的记录使用信号记录到记录媒体上的记录起首单元。系统控制器17控制记录起首单元的位置，以选择要记录记录使用信号的记录区。

注意，与通过第一实施例实现的记录/再现设备100的分类显示非常相似，可以在记录时，在分类显示单元19上显示位于场景改变点上的原画面的缩小画面，或者，也可以将用于摘要再现处理提取的画面和声音输出到分类显示单元19。

另外，以与通过第一实施例实现的记录/再现设备100相同的方式再现已经记录在记录媒体8上的信息信号。但是，如果确定结果指示：通过操作用户输入I/F18，用户输入对节目的摘要再现处理作出请求的命令，则系统控制器17控制再现控制单元9从记录媒体8中读出在命令中指定的节目的概要数据，并且通过再现处理单元10将该概要数据供应给分离处理单元11。分离处理单元11将概要数据的音频部分和视频部分相互分开。

然后，在摘要再现处理中，分离处理单元11通过音频解码器12和音频D/A转换器13将概要数据的音频部分输出到扬声器，并通过视频解码器14和视频D/A转换器15将概要数据的视频部分输出到监视器接收器。

注意，视频分类处理单元5和音频分类处理单元20两者都能够在压缩处理之前，对数据进行分类处理。

<记录/再现设备200的操作>

接着，参照如图16和17所示的流程图，说明通过第二实施例实现的记录/再现设备200进行的操作。为了使说明简单一些，如图16和17所示的流程图假设了这样一种典型情况，即，如同定时视频记录或预定视频记录的情况，根据记录开始时间和记录结束时间事先设置记录时间间隔。

当用户请求开始定时记录时，系统控制器17在步骤S101中通过从指定的记录结束时间减去指定的记录开始时间计算记录时间间隔(从指定的记录开始时间到指定的记录结束时间)。

然后，在下一个步骤S102中，系统控制器17根据从剩余记录容量检测单元31接收到的检测输出，计算分配给概要信息的记录区R1的剩余存储容量。随后，在下一个步骤S103中，系统控制器17确定计算的剩余存储容量是否等于或大于事先确定的值，即，计算的剩余存储容量是否等于或大于对在步骤S101中求出的记录时间间隔估计的概要信息量。

如果在在步骤S103中进行的操作中获得的确定结果指示分配给概要信息的记录区R1的计算的剩余存储容量等于或大于事先确定的值，操作流程转到步骤S104，在步骤S104中，系统控制器17根据从剩余记录容量检测单元31接收到的检测输出，计算分配给主要信息的记录区R2的剩余存储容量。随后，在下一个步骤S105中，系统控制器17确定计算的剩余存储容量是否等于或大于事先确定的容量，即，计算的剩余存储容量是否等于或大于对在步骤S101中求出的记录时间间隔估计的主要信息量。

如果在在步骤S105中进行的操作中获得的确定结果指示分配给主要信息的记录区R2的计算的剩余存储容量等于或大于事先确定的值，操作流程转到步骤S114，在步骤S114中，系统控制器17将记录媒体8中的记录区分配给此时要记录的当前主要信息。然后，在下一个步骤S108中，系统控制器17将主要信息记录到记录媒体8的分配区上。

另一方面，如果在在步骤S105中进行的操作中获得的确定结果指示分配给主要信息的记录区R2的计算的剩余存储容量不足，操作流程转到步骤S106，在步骤S106中，系统控制器17识别用于记录已经记录在记录媒体8上的主要信息段当中的最早主要信息的记录区。然后，在下一个步骤S107中，系统控制器17开始控制记录处理单元7，以将当前主要信息记录到识别的记录区上。随后，在下一个步骤S108中，记录处理单元7将此时记录的当前主要信息覆盖在记录在识别出的记录区中的最早主要信息上。

然后，在下一个步骤S109中，通过在视频分类处理单元5中进行画面相似性处理和画面分类处理，以及在音频分类处理单元20中进行音频电平检测处理，来检测主要信息的特征。随后，在下一个步骤S110中，系统控制器17识别要用在摘要再现处理中的信号分段，并确定正在处理的主要信息是否是要为该主要信息创建概要信息的信号分段的主要信息。

如果在步骤S110中进行操作获得的确定结果指示正在处理的主要信息是要为该主要信息创建概要信息的信号分段的主要信息，操作流程转到步骤S111，在步骤S111中，进行诸如识别处理之类的操作，以便从要用作概要信息的分段中提取主要信息，并把附加信息附在所提取的概要信息上，以创建概要信息。附在概要信息上的附加信息是可以用于指示该概要信息是属于主要信息的信息。然后，在下一个步骤S112中，将概要信息记录到分配给概要信息的记录区R1上。

另一方面，如果在步骤110中进行操作获得的确定结果指示正在处理的主要信息不是要为其创建概要信息的信号分段的主要信息，操作流程转到步骤S113。在完成在步骤S112中进行的操作之后操作流程也转到步骤S113。在步骤S113中，系统控制器17确定用户是否输入了停止记录处理的命令。如果系统控制器17确定用户还没有输入停止记录处理的命令，操作流程返回到步骤S108，从这个步骤开始重复如上所述的操作。

另一方面，如果在步骤S113中进行操作获得的确定结果指示用户已经输入了停止记录处理的命令，结束如图16和17所示的流程图所代表的操作的执行。然后，记录/再现设备200通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S103中进行操作获得的确定结果指示分配给概要信息的记录区R1的计算的剩余存储容量不足，操作流程转到如图17所示的续流程图的步骤S115。在步骤S115中，系统控制器17通过显示系统33向用户发出警告。然后，在下一个步骤S116中，系统控制器17确定用户是否输入了停止记录处理的命令。如果在步骤S116中进行操作获得的确定结果指示用户已经输入了停止记录处理的命令，系统控制器17结束如图16和17所示的流程图所代表的操作的执行。

另一方面，如果在步骤S116中进行操作获得的确定结果指示用户还没有输入停止记录处理的命令或用户已经输入了继续进行记录处理的命令，操作流程转到步骤S117，在步骤S117中，系统控制器17识别已经记录在分配给概要信息的记录区R1中的概要信息段当中的最早概要信息。然后，在下一个步骤S118中，系统控制器17将用于存储识别出的最早概要信息的记录区设置成存储当前概要信息的记录区。随后，操作流程返回到如图16所示的主流程图的步骤S104，从这个步骤开始重复如上所述的步骤。

如下的描述将说明在这种情况下记录/再现设备200进行的操作，即，对于记录媒体8仍然像原来那样处在初始化状态，使记录方法得到选择。图18是流程图，参照了在这种情况下记录/再现设备200进行的其它操作的说明，即，记录媒体8仍然像原来那样处在初始化状态，使记录方法得到选择。

如图18所示的流程图所代表的操作是按照输入的命令进行的处理，该命令作为执行像这样的处理的请求，如，包括定时记录处理的设置处理。如图18所示的流程图所代表的操作从步骤S131开始，在步骤S131中，系统控制器17根据从记录媒体初始化状态检测单元32接收的检测结果，识别记录媒体8的状态。

然后，在下一个步骤S132中，系统控制器17确定记录媒体8是否不含记录在其上面的信息信号，仍然像原来那样处在初始化状态。

如果在步骤S132中进行操作获得的确定结果指示信息信号已经被记录在记录媒体8上，记录/再现设备200从如图18所示的流程图所代表的处理中退出。然后，通常，记录/再现设备200进行如图16和17所示的流程图所代表的处理。

另一方面，如果在步骤S132中进行操作获得的确定结果指示记录媒体8仍然像原来那样处在初始化状态，处理流程转到步骤S133，在步骤S133中，系统控制器17通过显示系统33向用户示出消息。该消息提醒用户输入选择记录方法的输入。然后，系统控制器17接收用户通过用户输入I/F18输入的输入，作为选择记录方法的输入。

然后，在下一个步骤S134中，系统控制器17确定选择记录方法的输入是选择第一记录方法还是第二记录方法。如果在步骤S134中进行操作获得的确定结果指示选择记录方法的输入选择了第一记录方法，处理流程转到步骤S135，在步骤S135中，系统控制器17把指示已经选择了第一记录方法的数据设置在用在系统控制器17中的非易失性存储器中。

另一方面，如果在步骤S134中进行操作获得的确定结果指示选择记录方法的输入选择了第二记录方法，处理流程转到步骤S136，在步骤S136中，系统控制器17把指示已经选择了第一记录方法的数据设置在用在系统控制器17中的非易失性存储器中。在完成了在步骤S135或S136中进行的操作之后，记录/再现设备200从如图18所示的流程图所代表的处理中退出。然后，通常，记录/再现设备200进行如图16和17所示的流程图所代表的处理。注意，在以前已经选择了记录方法并且已经设置了指示所选记录方法的数据的情况下，可以将如图18所示的流程图所代表的处理修改成绕过该操作。

<第二实施例总结>

通过第二实施例实现的记录/再现设备200通过将分配给主要信息的记录区与分配给概要信息的记录区相关联，来管理主要信息和概要信息。如果包括记录区的记录媒体8的剩余存储容量变得不足，有意使概要信息优先于与该概要信息相关联的主要信息而保留在记录媒体8的记录区中，以便可以高效率地利用记录媒体8。其结果是，可以有效地和高效率地利用诸如记录在记录媒体8上的视频信号之类的信息信号。

也就是说，通过优先让概要信息保留在记录媒体8的记录区中，可以防止必要信息被错误地删除，并高效率地利用记录媒体。

另外，由于概要信息优先保留在记录媒体8的记录区中，可以在任何时候进行该概要信息的摘要再现处理，使在短期的时间内高效地掌握与概要信息相关联的主要信息的概况成为可能。其结果是，可以不那么频繁地再现主要信息，并且，即使主要信息被删除，也仍然可以再现大多数其它所需的主要信息段。

除此之外，甚至在将已经记录在记录媒体上的信息复制和移动到另一个记录媒体的操作中，也可以减少复杂地处理记录的信息的处理量，以便可以高效率地进行对记录的信息的处理和重新安排。

注意，第二实施例是通过将电视广播节目的视频信号和音频信号作为一对要记录的信息信号来说明的。但是，本发明的范围决不局限于这个第二实施例。也就是说，信息信号可以只是视频信号，也可以只是音频信号。作为另一种选择，信息信号也可以是文本数据。

另外，按照说明，记录媒体8主要用于记录视频和音频信号。但是，记录媒体8可以包括用于存储节目的记录区和用于存储各种类型的数据的记录区。

除此之外，按照如图15所示的记录方法，成对的概要信息和主要信息像上面所述的那样被存储在彼此相邻的记录区中。但是，未必总需要将相邻记录区分配给这样的一对。当然，可以将记录区分配给这样的概要信息段，即该概要信息段处在与分配给和该概要信息段成对的主要信息段的记录区相隔很远的位置上。

此外，创建具有如此数量的概要信息，使得该概要信息可以用于掌握与该概要信息相关联的整个主要信息所代表的信息的概况，就足够了。因此，在第二实施例中，通过提取为其创建概要信息的主要信息的一些部分来生成概要信息。生成概要信息的方式决不局限于第二实施例采用的技术。例如，概要信息也可以被生成为与对其创建概要信息的主要信息不同的信息并用在摘要再现处理中。

<第三实施例>

图19是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第三实施例实现的记录/再现设备300的说明性方块图。

通过如图19所示的第三实施例实现的记录/再现设备与通过如图12所示的第二实施例实现的记录/再现设备200的不同之处在于，通过第三实施例实现的记录/再现设备没有应用在记录/再现设备200中的记录媒体初始化状态检测单元32。事实上，通过如图19所示的第三实施例实现的记录/再现设备的配置几乎与通过如图12所示的第二实施例实现的记录/再现设备200的配置相同，除了事实上通过第三实施例实现的记录/再现设备新配备了第二记录处理单元41、第二记录媒体42、第二再现控制单元43和记录媒体剩余容量检测单元44。

另外，如上所述，通过如图12所示的第二实施例实现的记录/再现设备200包括许多部分，其每一个具有与应用在通过如图1所示的第一实施例实现的记录/再现设备100中的该部分的对应物相同的配置。因此，在通过如图19所示的第三实施例实现的记录/再现设备300中，许多部分具有与应用在通过图1所示的第一实施例实现的记录/再现设备100中该部分的对应物或应用在通过图12所示的第二实施例实现的记录/再现设备200中该部分的对应物相同的配置，这些部分用与其对应物相同的标号来表示，并且不再重复这些对应物的详细描述。

<操作原理>

与通过第二实施例实现的记录/再现设备200非常相似，在通过第三实施例实现的记录/再现设备300进行的把包括代表电视广播信号的所有视频和音频信号在内的主要信息记录到记录媒体8上的处理中，还将识别符记录在记录媒体8上，作为附加在主要信息上的信息，以便以后在摘要再现处理中可以提取通过识别符识别的概要信息，以像上面参照图13A和13B所说明的那样，再现该主要信息的相互分离部分。

在通过如前所述的第二实施例实现的记录/再现设备200中，还创建了概要信息，作为附加在主要信息上的信息，并且被记录在记录媒体上。在通过第三实施例实现的记录/再现设备300的情况中，在记录处理之后，从将被用在摘要再现处理中的主要信息中提取概要信息。

但是，在通过第三实施例实现的记录/再现设备300的情况中，与通过如前所述的第二实施例实现的记录/再现设备200不同，即使预计记录媒体的存储容量变得不足，也不将新主要信息存储在分配给现有主要信息的区域中，而覆盖现有主要信息。相反，在按原样保留现有主要信息的同时，将新主要信息记录成附加主要信息。

用易于理解的方式来说，记录/再现设备300含有第一记录媒体(或主记录媒体)和第二记录媒体(或次记录媒体)。一般说来，将要提取它的概要信息的主要信息存储在第一记录媒体中。但是，当第一记录媒体的剩余存储容量变成小于预确定值时，将已经存储在第一记录媒体中的主要信息移动到第二记录媒体，以便在第一记录媒体中总是保留至少具有预确定大小的空白区。这样，可以避免第一记录媒体中存储空间的不足。其结果是，可以防止已经现在于第一记录媒体中的主要信息因将新主要信息覆盖在现有主要信息上的操作而被删除。

另外，即使将主要信息移动到第二记录媒体，与移动的主要信息相关联的概要信息仍然留在第一记录媒体中，以便在任何时候都可以容易地进行摘要再现处理，并且，如有必要，也可以在普通再现处理中再现移动到第二记录媒体的主要信息。通过采用这样的技术，作为盘状记录媒体的优点的第一记录媒体所展示的良好可访问性不会丢失。

<通过第三实施例实现的记录/再现设备300的操作和配置>

如图19所示，除了第一记录处理单元7、第一记录媒体8、第一再现控制单元9和剩余记录容量检测单元31之外，通过第三实施例实现的记录/再现设备300还相应地包括第二记录处理单元41、第二记录媒体42、第二再现控制单元43和记录媒体剩余容量检测单元44。

第一记录媒体8起如上所述的主记录媒体的作用。在普通记录处理中，将主要和概要信息记录到第一记录媒体8上。另一方面，第二记录媒体42起如前所述的次记录媒体的作用。当第一记录媒体8的剩余存储容量变得不足时，将已经存储在第一记录媒体8中的主要信息移动到第二记录媒体42。通常，第二记录媒体42是像硬盘那样的盘再现设备或像磁带那样的大容量记录媒体。

通过如图19所示的第三实施例实现的记录/再现设备300在将电视广播节目等的视频和音频信号记录到第一记录媒体8上的处理中，能够存储加在主要信息上的识别符。识别符使概要信息被提取出来。

在记录处理之前，例如，剩余记录容量检测单元31检测第一记录媒体8的剩余存储容量。如果确定剩余存储容量不足，通过第二记录处理单元41将已经存储在第一记录媒体8中的主要信息移动到第二记录媒体42，以增加第一记录媒体8的剩余存储容量。然后，将新主要信息存储在第一记录媒体8中。

在再现记录在第二记录媒体42上的主要信息的普通再现处理中，以与再现存储在记录媒体8中的主要信息的处理相同的方式，通过再现处理单元10、分离处理单元11、音频解码器12、音频D/A转换器13、视频解码器14和视频D/A转换器15，将第二再现控制单元43按照系统控制器17执行的控制从第二记录媒体42读出的主要信息的数据输出到扬声器和监视器。

注意，记录媒体剩余容量检测单元44监视第二记录媒体42的剩余存储容量并向系统控制器17报告监视结果，如果监视结果指示第二记录媒体42的剩余存储容量不足，通常通过显示系统33向用户显示一个警告，提醒用户重新安排存储在第二记录媒体42中的信息或用新记录媒体取代第二记录媒体42。

在通过如前所述的第三实施例实现的记录/再现设备300的情况中，至少，使概要信息留在第一记录媒体8中。当第一记录媒体8中记录区的大小变得不足时，将已经存储在第一记录媒体8中的主要信息移动到第二记录媒体42，以便可以将新主要信息存储到第一记录媒体8中。

注意，在通过图19所示的第三实施例实现的记录/再现设备300中，以与通过如前所述的第一实施例实现的记录/再现设备100相同的方式，对于每个相似画面分段，视频分类处理单元5和音频分类处理单元20创建对于分段专有的ID并将该ID指定给该分段。另外，音频分类处理单元20还能够检测供应给它的音频信号的音频电平。

根据视频分类处理单元5和音频分类处理单元20输出的信号，系统控制器17识别信号分段、作为概要信息的分段，这些段的先于和后于每一个场景的改变，并且具有等于或高于预确定值的音频电平。控制器17把所识别的分段的概要信息供应给多路复用处理单元6，以便多路复用处理单元6可以将概要信息识别符加入主要信息的概要信息部分中。

<记录/再现设备300的操作>

接着，通过参照如图20到22所示的流程图，说明通过第三实施例实现的记录/再现设备300进行的操作。如图20到22所示的流程图参照对通过第三实施例实现的记录/再现设备300进行的记录和再现处理的说明。注意，如图20到22所示的流程图所代表的处理是对每个预确定单元进行的，该单元可以由1个帧至数个帧或1个G0P到数个GOP组成。

如图20到22所示的流程图从步骤S201开始，在步骤S201中，系统控制器17确定通过用户输入I/F18从用户接收的操作命令所指定的处理是再现处理还是记录处理。如果在步骤S201中进行操作生成的确定结果指示所请求的处理是记录处理，操作流程转到步骤S202，在步骤S202中，系统控制器17通过剩余记录容量检测单元31检测第一记录媒体8的剩余存储容量。

然后，在下一个步骤S203中，系统控制器17根据作为检测剩余存储容量的结果的在步骤S202中进行操作生成的检测结果，确定剩余容量是否大到足以既存储新主要信息又存储新概要信息。在步骤S203中，使用，例如，三个小时的典型阈值。也就是说，需要与至少三个小时相对应的剩余存储容量。注意，例如，在定时记录模式的情况下，可以从记录开始时间和记录结束时间求出预定记录间隔。在这种情况下，将剩余记录容量与预定记录间隔相比较。

如果在步骤S203中进行操作生成的检测结果指示第一记录媒体8的剩余容量足够大，操作流程转到步骤S204。系统控制器17控制音频分类处理单元20和视频分类处理单元5分别从供应给音频分类处理单元20和视频分类处理单元5的输入信息(输入数据)中提取用作处理单元的预确定分段的信号。然后，在下一个步骤S205中，音频分类处理单元20和视频分类处理单元5根据检测的特征进行确定相似画面分段的处理并对确定的相似画面分段分类。

随后，在下一个步骤S206中，根据音频分类处理单元20和视频分类处理单元5进行的处理的结果，系统控制器17识别要用在摘要再现处理中的概要信息部分并向多路复用处理单元6报告该概要信息部分。多路复用处理单元6将识别符加入识别的信号分段的多路复用信号中。然后，在下一个步骤S207中，通过第一记录处理单元7将加入了识别符的主要信息记录到第一记录媒体8上。

此外，在这个第三实施例中，要用作概要信息的分段的主要信息的信号分段是根据画面相似性确定处理和画面分类处理的结果识别的。但是，本发明决不局限于这个实施例采用的技术。如前所述，也可以针对音频信号识别相似画面分段。然后，相似画面分段和相似声音分段可以用作概要信息分段，或者，作为另一种选择，通过只利用视频信息或音频信息来识别相似画面分段，并且将信息分段识别成概要信息的分段。

然后，在下一个步骤S208中，系统控制器17确定是否已经从用户那里接收到停止记录处理的命令。如果系统控制器17确定已经从用户那里接收到停止记录处理的命令，结束如图20到22所示的流程图所代表的操作的执行。然后，记录/再现设备300通常进入等待用户输入下一个命令的状态。另一方面，如果在步骤S208中进行操作获得的确定结果指示还没有从用户那里接收到停止记录处理的命令，操作流程转到步骤S209，根据例如记录结束时间的来临或另一个节目代码的到达，确定记录所需广播节目的处理是否已经结束了。

如果在步骤S209中进行操作获得的确定结果指示记录所需广播节目的处理已经结束了，结束如图20到22所示的流程图所代表的操作的执行。然后，记录/再现设备300通常进入等待用户输入下一个命令的状态。另一方面，如果在步骤S209中进行操作获得的确定结果指示记录所需广播节目的处理还没有结束，操作流程转到步骤S210，确定用户是否已经输入改变操作模式的命令。

如果在步骤S210中进行处理生成的确定结果指示用户还没有输入改变操作模式的命令，操作流程返回到步骤S204，从这个步骤开始重复如上所述的操作，继续进行将主要信息和概要信息的处理单元记录到记录媒体8上的处理。另一方面，如果在步骤S210中进行操作生成的确定结果指示用户已经输入改变操作模式的命令，操作流程返回到步骤S201，在步骤S201中，系统控制器17确定处理是再现处理还是记录处理。

另一方面，如果在步骤S203中进行操作生成的确定结果指示记录媒体8的剩余容量不足，操作流程转到如图21所示的续流程图的步骤S211。在步骤S211中，检查已经记录在第一记录媒体8上的主要信息段的记录日期，以便检测日期最早的主要信息。然后，在下一个步骤S212中，提取最早信息的预确定处理单元的主要信号。预确定处理单元的主要信号也被称为预确定分段的主要信号。随后，在下一个步骤S213中，通过第二记录处理单元41将预确定分段的主要信号复制到第二记录媒体42。

然后，操作流程转到步骤S214，检测加入复制的主要信息中的识别符，作为指示主要信息的分段是否是概要信息的分段的识别符。然后，在下一个步骤S215中，检查检测的识别符，以确定该识别符是否指示复制到第二记录媒体42的主要信息的预确定分段是否也是可用作概要信息的概要信息分段。

如果在步骤S215中进行的处理生成的确定结果指示复制到第二记录媒体42的主要信息的预确定分段也是概要信息分段，操作流程转到步骤S216。将这个部分的信号移动到第一记录媒体8的预确定部分，以便防止概要信息段被分散在分离的位置上，或便于在记录媒体8的预确定部分中收集与广播节目有关的概要信息段。

另一方面，如果在步骤S215中进行的处理生成的确定结果指示复制到第二记录媒体42的主要信息的预确定分段不是概要信息分段，操作流程转到步骤S217。从第一记录媒体8中删除分段中的信息，并将用于存储所删除信息的区域用作自由记录区，或将该信息置于使新数据覆盖在其上面的状态下。

在完成了在步骤S216或S217中进行的处理之后，操作流程转到步骤S218。系统控制器17控制音频分类处理单元20和视频分类处理单元5分别从供应给音频分类处理单元20和视频分类处理单元5的输入信息(输入数据)中提取用作处理单元的预确定分段的信号。然后，在下一个步骤S219中，音频分类处理单元20和视频分类处理单元5根据所检测的特征进行确定相似画面分段的处理并对确定的相似画面分段分类。

随后，在下一个步骤S220中，根据音频分类处理单元20和视频分类处理单元5进行的处理的结果，系统控制器17识别要用在摘要再现处理中的概要信息部分并向多路复用处理单元6报告概要信息部分。多路复用处理单元6将识别符加入所识别的信号分段的多路复用的信号中。然后，在下一个步骤S221中，通过第一记录处理单元7将加入了识别符的主要信息记录到第一记录媒体8上。

然后，在下一个步骤S222中，系统控制器17确定是否已经从用户那里接收到停止记录处理的命令。如果系统控制器17确定已经从用户那里接收到停止记录处理的命令，结束如图20到22所示的流程图所代表的操作的执行。然后，记录/再现设备300通常进入等待用户输入下一个命令的状态。另一方面，如果在步骤S222中进行操作获得的确定结果指示还没有从用户那里接收到停止记录处理的命令，操作流程转到步骤S223，根据例如记录结束时间的来临或另一个节目代码的到达，确定记录所需广播节目的处理是否已经结束了。

如果在步骤S223中进行操作获得的确定结果指示记录所需广播节目的处理已经结束了，结束如图20到22所示的流程图所代表的操作的执行。然后，记录/再现设备300通常进入等待用户输入下一个命令的状态。另一方面，如果在步骤S223中进行操作获得的确定结果指示记录所需广播节目的处理还没有结束，操作流程转到步骤S224，确定用户是否已经输入改变操作模式的命令。

如果在步骤S224中进行处理生成的确定结果指示用户已经输入改变操作模式的命令，操作流程返回到如图20所示的主流程图的步骤S201，从这个步骤开始重复如上所述的操作。另一方面，如果在步骤S224中进行操作生成的确定结果指示用户还没有输入改变操作模式的命令，操作流程转到步骤S225，确定把在步骤S211中确定为日期最早的主要信息的所有主要信息从第一记录媒体8复制到第二记录媒体42的处理是否已经完成。

如果在步骤S225中进行处理生成的确定结果指示复制具有最早日期的所有主要信息的处理已经完成，操作流程返回到步骤S218，从这个步骤开始重复如上所述的操作，以便继续进行将新主要信息记录到第一记录媒体8上的处理。另一方面，如果在步骤S225中进行处理生成的确定结果指示复制具有最早日期的所有主要信息的处理还没有完成，操作流程返回到步骤S212，从这个步骤开始重复如上所述的操作，以便继续进行将日期最早的主要信息复制到第二记录媒体直到完成的处理，从而可以将新主要信息记录到第一记录媒体8上。

如果在步骤S201中进行操作生成的确定结果指示所请求的处理是再现处理，操作流程转到如图22所示的另一个续流程图的步骤S226。在步骤S226中，系统控制器17从用户那里接收选择节目的输入。这个输入选择存储在第一记录媒体8(或主记录媒体)中的节目或存储在第二记录媒体42(或次记录媒体)中的节目，并选择普通再现处理或摘要再现处理。

然后，操作流程转到步骤S227，确定要再现存储在第一记录媒体8中的节目还是存储在第二记录媒体42中的节目。如果在步骤S227中进行的处理生成的确定结果指示要再现存储在第一记录媒体8中的节目，操作流程转到步骤S228。设置从第一记录媒体8中再现节目的再现模式。然后，控制第一再现控制单元9，以从第一记录媒体8中读出所选节目的主要或概要信息并采取所选方法再现信息。

随后，操作流程转到步骤S229，在步骤S229中，系统控制器17确定用户是否已经输入停止再现处理的命令。如果确定结果指示用户已经输入停止再现处理的命令，结束如图20到22所示的流程图所代表的操作的执行。然后，记录/再现设备300通常进入等待用户输入下一个命令的状态。另一方面，如果在步骤S229中进行处理生成的确定结果指示用户还没有输入停止再现处理的命令，操作流程转到步骤S230，确定是否已经接收到改变操作模式的命令。

如果在步骤S230中进行处理生成的确定结果指示已经接收到改变操作模式的命令，操作流程返回到如图20所示的主流程图的步骤S201，从这个步骤开始重复如上所述的操作。另一方面，如果确定结果指示还没有接收到改变操作模式的命令，操作流程转到步骤S231，确定是否已经接收到将正在再现的节目改变成另一个节目的命令。

如果在步骤S231中进行处理生成的确定结果指示还没有接收到将正在再现的节目改变成另一个节目的命令，操作流程返回到步骤S228。从这个步骤开始重复如上所述的操作，继续进行再现当前节目的处理。另一方面，如果确定结果指示已经接收到将正在再现的节目改变成另一个节目的命令，操作流程返回到步骤S226。从这个步骤开始重复如上所述的操作，开始再现新节目的处理。

另一方面，如果在步骤S227中进行处理生成的确定结果指示要再现存储在第二记录媒体42中的节目，操作流程转到步骤S232。设置从第二记录媒体42中再现节目的再现模式。然后，控制第二再现控制单元43，以从第二记录媒体42中读出所选节目的主要信息并进行普通再现处理。

随后，在下一个步骤S233中，系统控制器17确定用户是否已经输入了停止再现处理的命令。如果确定结果指示用户已经输入了停止再现处理的命令，结束如图20到22所示的流程图所代表的操作的执行。然后，记录/再现设备300通常进入等待用户输入下一个命令的状态。另一方面，如果在步骤S233中进行处理生成的确定结果指示用户还没有输入停止再现处理的命令，操作流程转到步骤S234，确定是否已经接收到改变操作模式的命令。

如果在步骤S234中进行处理生成的确定结果指示已经接收到改变操作模式的命令，操作流程返回到如图20所示的主流程图的步骤S201，从这个步骤开始重复如上所述的操作。另一方面，如果确定结果指示还没有接收到改变操作模式的命令，操作流程转到步骤S235，确定是否已经接收到将正在再现的节目改变成另一个节目的命令。

如果在步骤S235中进行处理生成的确定结果指示还没有接收到将正在再现的节目改变成另一个节目的命令，操作流程返回到步骤S232。从这个步骤开始重复如上所述的操作，继续进行再现当前节目的主要信息的处理。另一方面，如果确定结果指示已经接收到将正在再现的节目改变成另一个节目的命令，操作流程返回到步骤S226。从这个步骤开始重复如上所述的操作，开始再现新节目的处理。

<第三实施例总结>

如上所述，当第一记录媒体8的剩余存储容量变成小于事先确定的值时，在将新主要信息存储到第一记录媒体8上之前，将最早日期的主要信息从第一记录媒体8移动到第二记录媒体42，以便增加第一记录媒体8的剩余存储容量。因此，可以防止因第一记录媒体8的剩余存储容量变得不足的事实而不能存储新节目的主要信息的问题出现。

另外，有意使具有移动到第二记录媒体42的主要信息的节目的概要信息留在第一记录媒体8中。因此，在任何时候都可以迅速地进行日期最早的节目的概要信息的摘要再现处理。除此之外，在任何时候也可以迅速地进行新节目的主要信息的普通再现处理以及该节目的概要信息的摘要再现处理。也就是说，第一记录媒体8具有的可访问性特征的优点没有变差。

此外，可以使对重新安排及保存存储在记录媒体中的信息信号的管理更简单，从而可以准备好促进有效和高效率使用大量所播放的各种视频和音频信号的环境。

注意，在通过第三实施例实现的记录/再现设备300中，还记录了附加的识别符，以便通过与主要信息相关联而使对主要信息创建的概要信息被存储在记录媒体中。因此，第三实施例使概要信息甚至在记录处理之后也可以被提取出来。但是，本发明决不局限于这样的方案。

例如，与通过如上所述的第二实施例实现的记录/再现设备200的情况一样，将主要信息和概要信息两者都存储在第一记录媒体8中。当第一记录媒体8的剩余存储容量变得不足时，只将最早日期的主要信息从第一记录媒体8移动到第二记录媒体42。

在如上所述的第三实施例中，只将日期最早的一个节目的主要信息从第一记录媒体8移动到第二记录媒体42。但是，也可以按日期的升序将数个节目的主要信息从第一记录媒体8移动到第二记录媒体42。例如，也可以按日期的升序将两个或三个节目的主要信息从第一记录媒体8移动到第二记录媒体42。

另外，可以从日期最早的段开始一段接一段地依次移动多于一段的主要信息，直到保留了第一记录媒体8的预确定剩余存储容量为止。

除此之外，如前所述，将主要信息从第一记录媒体8传送到第二记录媒体42的处理可以是移动处理或复制处理。在移动处理的情况下，在将主要信息从第一记录媒体8传送到第二记录媒体42之后，从第一记录媒体8中删除作为不必要部分保留在第一记录媒体8中的主要信息，以便重新分配空白区。

另一方面，在复制处理的情况下，在将主要信息从第一记录媒体8传送到第二记录媒体42之后，将作为不必要部分保留在第一记录媒体8中的主要信息置于使新主要信息可以覆盖在其上面的状态下。

另外，如前所述，有意使概要信息留在第一记录媒体8中。如果使与传送的主要信息相关联的概要信息留在第一记录媒体8中的分散位置上，那么，使第一记录媒体8的记录区置于虫蚀(worm-eaten)的状态下。为了防止记录区被置于难以使用的状态下，可以进行所谓的碎片整理处理，使第一记录媒体8的记录区可得到有效使用。

除此之外，可以通过显示系统33向用户显示一个消息，以通知用户第一记录媒体8的剩余存储容量已经变得太小了，第二记录媒体42的剩余存储容量也已经变得太小了，已经或正在将主要信息从第一记录媒体8传送到第二记录媒体42，或者已经或正在进行碎片整理处理以防止第一记录媒体8的记录区被置于被虫蚀的状态下，或者向用户报告其它事实。

另外，最好第二记录媒体42的存储容量大于第一记录媒体8的存储容量。

<第四实施例>

图23是示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第四实施例实现的记录/再现设备400的说明性方块图。图24和图25A到25C是示出通过第四实施例实现的记录/再现设备400进行的操作的原理的说明图。

与通过第一实施例实现的记录/再现设备100非常相似，通过第四实施例实现的记录/再现设备400能够在将节目的视频和音频信号记录到记录媒体上的处理中，在预确定的时刻从电视广播节目的视频信号中创建缩小画面(或缩略画面)，并以列表格式显示所创建的缩略画面。但是，通过第四实施例实现的记录/再现设备400与通过第一实施例实现的记录/再现设备100的不同之处在于，记录/再现设备400采用了与记录/再现设备100不同的缩小画面显示格式。

尽管通过第四实施例实现的记录/再现设备400具有几乎与通过第一实施例实现的记录/再现设备100相同的配置，但是，为了分清这些实施例之间的操作差异，将通过第四实施例实现的记录/再现设备400的方块图显示在图23中。下面通过参照图23的框图，详细说明通过第四实施例实现的记录/再现设备400。

<操作原理>

首先，描述通过第四实施例实现的记录/再现设备400的操作原理。如图23所示的记录/再现设备400通常接收电视广播节目的模拟视频和音频信号，作为信息信号。然后，记录/再现设备400将模拟视频和音频信号转换成数字数据，并采用MPEG方法压缩数字数据。然后，将压缩的数字视频数据与要记录到记录媒体8上的压缩的数字音频数据时分多路复用。记录媒体8是具有大存储容量的盘状记录媒体。这样盘状记录媒体的一个例子是硬盘。

在再现处理中，如图23所示的记录/再现设备400从记录媒体8中读出多路复用的信号，使多路复用的信号的视频数据和音频数据相互分开。然后，解压缩视频和音频数据，以恢复压缩前的视频和音频数据。然后，将作为解压缩的结果获得的视频和音频数据转换成模拟输出信号。

另外，如图23所示的记录/再现设备400在将视频和音频信号记录到记录媒体8上的处理中，将视频信号的画面分类成相似画面。与通过第一实施例实现的记录/再现设备100非常相似，对作为压缩的视频数据的MPEG视频数据进行分类处理。以I-画面为单元检测相似画面，并将彼此相似的I画面分类入一个相似画面分段。

图24A示出构成取作一个例子的新闻节目的一系列输入视频信号。该系列的输入视频信号包括31个I画面，它们被分类成每一个由相似I画面组成的相似画面分段A1、A2和A3。

在这种情况下，包括在相似画面分段A1、A2和A3每一个中的I画面是示出读新闻的新闻播音员的画面，因此，在新闻播音员移动方面显示出相对少的变化。然而，对于只有这样相似画面的场景，想像得出，可以相对高效率地掌握节目的内容。对相似画面分段A1、A2和A3的进一步考虑还表明，在许多情况下，想像得出，相似画面分段A1、A2和A 3每一个的起首是示出新闻播音员开始阅读新闻文章的场景的画面。相似画面分段A1、A2和A3每一个的起首画面一般在屏幕的底部显示新闻字幕(telop)(或新闻标题)。

由于如上所述的原因，像图24B所示那样创建每一个位于新闻节目的相似画面分段的起首或与起首非常接近的位置上的I画面的缩小形式。然后，随着时间的流逝，像图25A所示的画面1a到1g那样，按时间顺序依次显示创建的缩小画面。在这样的屏幕中，在许多情况下，想像得出，在画面1a到1g的每一个中还显示出新闻字幕，使得通过仅仅观看这个缩小画面的列表显示(多画面显示)，用户就可以迅速地和可靠地知道新闻的内容是什么。

如果在经过了预确定时期之后再次广播新闻节目，则再次对当前新闻节目进行与对前面紧邻的新闻节目进行的处理相同的处理，以生成如图25B所示的缩小画面1a到1h。作为前面紧邻的新闻节目的缩小画面，图25A所示的缩小画面1a到1g再次显示在与图25B所示的画面2a到2g相同的屏幕上。

假设依次广播8个新闻节目并对随后的新闻节目进行与如上所述相同的处理。在这种情况下，如图25C所示，在屏幕的第1到8水平行上分别显示8个新闻节目。在每个水平行的第a到h列的每一列上，显示出现在那一行上的新闻节目的缩小画面。

如上所述，在沿着垂直方向排列的较低行上，依次显示每一个用缩小画面表示的前面的新闻节目。这样，可以容易地识别出同一新闻随着时间的变化和新的新闻随着时间的发展。

另外，通过参照如图8和9所示的流程图，通过选择以如前所述的列表格式显示的缩小画面中所需的一个，可以再现包括与所选缩小画面相对应的原画面的信号分段，并且该原画面是作为位于其起首的原画面，或进行摘要再现处理，以便让用户知道所需新闻的详细内容。也就是说，可以高效率地既进行普通再现处理又进行摘要再现处理。

注意，为了高精确度地检测新闻字幕的信号，可以与相似画面的检测一起检测字幕。由于在许多情况下，一般用白色显示构成新闻节目的字幕的字符，所以字幕通常被显示在字幕显示位置上，在多数情况下，这个位置是位于屏幕下侧部分的位置。因此，通过识别显示在与屏幕的下侧部分相对应的位置上的画面信号当中的亮度信号的特征，可以检测显示字幕的屏幕，这个屏幕是I画面或帧。

<通过第四实施例实现的记录/再现设备400的操作和配置>

如下的描述将说明通过如图23所示的第四实施例实现的记录/再现设备400的操作和配置。如图23所示的配置可以被划分成在记录媒体8的左侧和右侧的部分。左侧的部分主要是记录系统，而右侧的部分主要是再现系统。

<记录系统>

首先，说明记录系统。将供应给通过第四实施例实现的记录/再现设备400的模拟音频信号(音频输入)馈送到音频A/D转换器1，它将模拟音频信号转换成要供应给音频编码器2和音频分类处理单元20的数字音频信号。

音频编码器2通过采用诸如MPEG音频方法之类的预确定压缩技术，对数字音频信号进行频带压缩处理。将作为对数字音频信号进行频带压缩处理的结果获得的音频数据供应给多路复用处理单元6。

音频分类处理单元20通常对每个预确定分段检测数字音频信号中频谱峰的连续性，以确定数字音频信号是否是音乐信号。将确定结果供应给多路复用处理单元6、系统控制器17、和画面场景分类显示和再现位置显示单元19。下文也将画面场景分类显示和再现位置显示单元19适当地称为分类显示单元。

注意，取代对从音频A/D转换器1接收的数字音频信号的处理，也可以将音频分类处理单元20设计成这样的配置，即该配置用于接收作为音频编码器2对音频A/D转换器1生成的数字音频信号进行频带压缩处理的结果而获得的音频数据，如图23所示的虚线所指，并用于对该音频数据进行如上所述的分类处理。

另一方面，将供应给通过第四实施例实现的记录/再现设备400的模拟视频信号(视频输入)馈送到视频A/D转换器3，它将模拟视频信号转换成要供应给视频编码器4的数字视频信号。

视频编码器4通过采用诸如MPEG2方法之类的预确定压缩技术，对数字视频信号进行频带压缩处理。将作为对数字视频信号进行频带压缩处理的结果获得的视频数据供应给视频分类处理单元5、多路复用处理单元6、I-画面检测单元21和缩小画面处理单元22。

视频分类处理单元5检测从视频编码器4接收的视频数据的I画面的画面特征，并根据检测的特征识别画面相似性。另外，视频分类处理单元5还像上面参照图24所说明的那样识别相似画面分段。视频分类处理单元5还生成用于识别相似画面分段的识别信息信号并将该信号供应给多路复用处理单元6和分类显示单元19。识别信息信号包括视频数据的位置信息，视频数据的位置信息包括关于多少个连续相似帧包括在每个相似画面分段中的信息。

注意，取代从视频编码器4接收压缩的视频数据，视频分类处理单元5也可以如图23所示的虚线所指，接收视频A/D转换器3输出的数字视频信号，并且根据该数字视频信号，进行如上所述，以帧为单元识别和分类数字视频数据的相似画面的处理。

另外，也可以提供这种配置，其中，也可以由系统控制器17根据从视频分类处理单元5和音频分类处理单元20接收的分类处理结果，生成作为分类视频和音频信号的处理结果而获得的识别信息信号，并将它供应给多路复用处理单元6。

与通过如前所述的第一实施例实现的记录/再现设备100的情况一样，系统控制器17是这样的微型计算机，其所包括的CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)、非易失性存储器和定时电路用于控制构成记录/再现设备400的每个部件。

另外，如图23所示的配置中的I-画面检测单元21是从视频数据中检测I画面并向系统控制器17报告诸如检测时刻之类的检测信息的部件。只检测I画面是因为，如上所述，通过这个实施例实现的记录/再现设备400以I-画面为单元进行画面相似性检测处理和画面分类处理。系统控制器17能够根据从I-画面检测单元21接收的检测信息，控制视频分类处理单元5和缩小画面处理单元22。

按照系统控制器17执行的控制，缩小画面处理单元22从由此接收的视频数据(更具体地说，每一个位于相似画面分段起首或与起首非常接近的位置上的I画面)中生成缩小画面数据，并且将该数据供应给多路复用处理单元6和分类显示单元19。

在这个第四实施例中，分类显示单元19接收来自音频分类处理单元20的分类结果、来自视频分类处理单元5的识别信息信号、和来自缩小画面处理单元22的缩小画面数据，并以如图25A到25C所示的格式，按时间顺序显示每一个位于相似画面分段起首的缩小画面。也就是说，通过这个实施例实现的记录/再现设备400能够在进行将原画面记录到记录媒体上的处理的同时为所记录的原画面显示缩略画面。

另外，多路复用处理单元6通常通过对包括音频数据、视频数据、缩小画面数据、和从视频分类处理单元5接收的识别信息信号的信息段进行时分多路复用处理，来生成多路复用数据，然后将该多路复用数据供应给记录处理单元7。记录处理单元7进行包括把纠错码加入多路复用数据中的处理和交织数据以创建要记录的信号的处理在内的处理，然后将该信号记录到记录媒体8中的预确定区域中。

然后，在这个实施例的情况下，如前所述，通过利用多路复用在多路复用数据中的识别信息信号，可能能够识别相似画面分段并将原画面与代表该原画面的缩小画面相关联。因此，可以在记录处理期间、或在记录结束时、或在记录处理结束之后的预确定时刻，以如图25A到25C所示的格式，按时间顺序显示每一个位于相似画面分段起首的缩小画面。

注意，与上面参照图4到6说明的第一实施例非常相似，视频分类处理单元5为用作处理单元的每个I画面检测视频数据的特征，根据所检测的特征识别相似画面，并确定每一个由彼此相似的画面构成的相似画面分段。此外，如前所述，将同一识别符指定给相似的画面，以便通过利用这样的识别符，可以识别哪个范围的画面被包括在每一个相似画面分段中。

另外，与上面参照图7说明的第一实施例非常相似，音频分类处理单元20对每个预确定时间单元识别声音的相似性，并且，与第二实施例和第三实施例非常相似，音频分类处理单元20还检测音频电平。

<再现系统>

接着，说明再现系统。系统控制器17生成的控制信号控制再现控制单元9从记录媒体8中读出用户指定的多路复用数据，并且将该数据供应给再现处理单元10。再现处理单元10进行包括对由此接收的多路复用数据进行解交织处理在内的预确定处理，并且把经处理的多路复用数据供应给分离处理单元11。分离处理单元11多路分用(demultiplex)供应给它的多路复用数据，以生成音频数据、视频数据、缩小画面数据和识别信息信号，仅举这几个。

将分离处理单元11生成的音频数据供应给音频解码器12。供应给音频解码器12的音频数据是采用预确定压缩方法压缩的数据。因此，音频解码器12解压缩由此接收的压缩的音频数据，并且把作为解压缩结果获得的音频数据供应给音频数字/模拟转换器13，下文将音频数字/模拟转换器缩写成音频D/A转换器。

音频D/A转换器13将供应给它的数字音频信号转换成模拟音频信号，并且将该模拟音频信号输出到扬声器。扬声器根据供应给它的模拟音频信号生成声音。

另外，将分离处理单元11生成的视频数据供应给视频解码器14。供应给视频解码器14的视频数据是采用预确定压缩方法压缩的数据。因此，视频解码器14解压缩由此接收的压缩的视频数据，并且把作为解压缩结果获得的视频数据供应给视频数字/模拟转换器15，下文将视频数字/模拟转换器缩写成视频D/A转换器。

视频D/A转换器15将供应给它的数字视频信号转换成模拟视频信号，并且将该模拟视频信号输出到监视器接收器。监视器接收器根据供应给它的模拟视频信号显示画面。

将分离处理单元11分离的识别信息信号供应给识别信号检测单元16。识别信号检测单元16从由此接收的识别信息信号中检测必要识别信息信号，并且将该识别信息供应给系统控制器17和分类显示单元19。

另外，识别信号检测单元16还从由此接收的识别信息信号中提取预确定时间印记信号或帧号码，并且将时间印记信号或帧号码供应给系统控制器17。通过根据时间印记信号检测再现时刻，也可以在分类显示单元19上显示再现位置。

然后，当通过用户输入I/F18输入命令，作为请求显示对记录在记录媒体8上的广播节目分类的命令时，系统控制器17根据供应给系统控制器17的识别信息信号控制再现控制单元9，以便从记录媒体8中读出所需广播节目的缩小画面，并且通过再现处理单元10和分离处理单元11将缩小画面供应给分类显示单元19。另外，系统控制器17根据识别信息信号控制分类显示单元19，以便像图25A到25C所示那样，显示记录在记录媒体8上的广播节目的分类。

如上所述，甚至在记录处理结束之后的预确定时刻，也可以通过利用根据画面相似性确定处理生成、然后存储在记录媒体中的识别信息信号以及缩小画面信号，从而像图25A到25C所示那样，显示画面的分类。

注意，作为一个例子，本实施例是通过给出记录新闻节目的情况来示范的。但是，本发明的实施例决不局限于这样的情况。例如，本实施例也可以应用于将音乐节目等记录到记录媒体上的情况。在将音乐节目记录到记录媒体上的情况下，对每一个示出唱歌的歌手的场景分类。因此，例如，可以从记录媒体中快速地找出示出所需的唱歌歌手的场景，并因此而以正常模式迅速再现包括这样的场景的节目部分。

另外，对于记录诸如棒球或网球节目之类的体育节目的情况，也可以以相同的方式进行如上所述的处理。也就是说，显示位于每个相似画面分段的起首的画面。在棒球节目的情况中，位于相似画面分段起首的画面可以是示出击球手进入击球位置的场景或示出投球手投球的场景。在网球锦标赛的情况中，位于每个相似画面分段起首的画面可以用于在网球节目中搜索发球场景。

除此之外，在记录处理期间也可以为摘要再现处理生成画面数据并为浏览再现处理生成画面数据，并且与广播节目的主要画面数据一起存储这些数据段，以便可以进行广播节目的摘要和浏览再现处理。

如果希望进行诸如摘要或浏览再现处理之类的特殊再现处理，用户需要通过用户输入I/F18把对特殊再现处理作出请求的命令输入记录/再现设备400中。当接收到用户输入的命令时，系统控制器17控制再现控制单元9为所需的特殊再现方法读出画面数据，以便使所需的特殊再现方法的画面得到再现。

<记录/再现设备400的操作>

接着，通过参照如图26所示的流程图，说明在记录过程中通过如上所述的第四实施例实现的记录/再现设备400进行的操作。图26示出的流程图参照了通过第四实施例实现的记录/再现设备400进行的操作的说明。

当系统控制器17接收到用户输入的命令时，进行如图26所示的流程图所代表的处理，以便进行记录例如新闻节目以及显示该节目的分类的处理。

该流程图从步骤S301开始，在步骤S301中，系统控制器17根据，例如，作为包括在数字电视广播的广播信号中的指南的所播放的EPG(电子节目指南)，在系统控制器17的非易失性存储器中分别将一个或多个新闻节目的开始和结束时间设置成记录开始时间和记录结束时间。

在步骤S301进行的操作中，一个或多个新闻节目的开始和结束时间，也可以作为来自用户输入I/F的输入而被接收，并且可以被分别设置成记录开始时间和记录结束时间。也就是说，记录开始时间和记录结束时间也可以由用户人工设置。

注意，系统控制器17包括在图23中未示出的时钟电路。时钟电路提供播放数据、星期几播放、和播放时间。

然后，在下一个步骤S302中，系统控制器17确定用户是否已经输入停止将例如新闻节目记录到记录媒体上的处理以及停止展示分类显示的处理的命令。

如果在步骤S302中进行的操作生成的确定结果指示用户还没有输入停止命令，操作流程转到步骤S303，确定时钟电路计算的播放时间是否已经达到当前新闻节目的记录开始时间。

如果在步骤S303中进行的操作生成的确定结果指示时钟电路计算的播放时间还没有达到当前新闻节目的记录开始时间，则操作流程转到步骤S304，进入等待状态(或待命状态)，从步骤S302开始重复如上所述的操作。

另一方面，如果在步骤S303中进行的操作生成的确定结果指示时钟电路计算的播放时间已经达到当前新闻节目的记录开始时间，操作流程转到步骤S305，在步骤S305中，系统控制器17控制诸如视频分类处理单元5和I画面检测单元21之类的部件，检测要记录到记录媒体上的新闻节目的视频数据的特征。然后，在下一个步骤S306中，进行识别相似画面的操作。

注意，在步骤S305和S306进行的操作中，也可以控制音频分类处理单元20识别要记录到记录媒体上的音频信号中的相似分段，并且，也可以对这样的分段加以考虑。例如，可以将包括相似画面和相似声音的分段的每一个都设置成相似分段。

然后，在下一个步骤S307中，系统控制器17还控制缩小画面处理单元22来进行从每一个位于相似画面分段起首的I画面中创建缩小画面的缩略操作。随后，在下一个步骤S308中，系统控制器17确定时钟电路计算的播放时间是否已经达到当前新闻节目的记录结束时间。

如果在步骤S308中进行的操作生成的确定结果指示时钟电路计算的播放时间已经达到当前新闻节目的记录结束时间，则操作流程转到步骤S309，在步骤S309中，系统控制器17控制分类显示单元19来以多画面显示格式示出像那些如图25A到25C所示的那样的缩小画面的列表显示。

另一方面，如果在步骤S308中进行的操作生成的确定结果指示时钟电路计算的播放时间还没有达到当前新闻节目的记录结束时间，操作流程转到步骤S310。操作流程也可以在完成了在步骤S309中进行的操作之后转到步骤S310。在步骤S310中，系统控制器17确定用户是否已经输入停止将新闻节目记录到记录媒体上的处理和停止展示分类显示的处理的命令。

如果在步骤S310中进行的操作生成的确定结果指示用户还没有输入停止命令，操作流程返回到步骤S303，在步骤S303中，从这个步骤开始重复如上所述的操作，记录下一次接收的新闻节目并对这个新闻节目进行分类显示操作。另一方面，如果在步骤S310中进行的操作生成的确定结果指示用户已经输入停止命令，结束如图26所示的流程图所代表的操作的执行。然后，记录/再现设备400通常进入用户输入下一个命令的状态。

<第四实施例总结>

如上所述，通过第四实施例实现的记录/再现设备400，能够在记录处理中识别电视广播节目的视频信号和音频信号的相似画面分段，并能够以列表显示格式(或多画面显示格式)显示作为缩小画面(或缩略画面)的每一个位于相似画面分段中一个的起首的画面，以及能够通过在屏幕的顶行加入代表新节目的缩小画面的队列来更新列表显示屏幕。因此，可以有效地和高效率地掌握到目前为止记录的多个节目的内容，以示出总是随着时间的流逝而得到更新的内容。

另外，由于以列表格式只能显示信息信号的一些数据，而不是显示信号的所有数据，因此可以在短期时间内高度准确地并高度精确地掌握信息信号的内容。

除此之外，通过指定缩小画面，可以正常地再现从与该缩小画面相对应的画面开始的一系列画面，作为从与该缩小画面相对应的开始时刻开始的画面序列。

如上所述，由于每当处理一个新节目时，可以识别相似画面分段，以列表显示格式显示画面并更新列表显示屏幕，因此可以迅速地和精确地进行诸如掌握节目内容的操作和指定再现时刻的操作之类的处理。

另外，由于缩小画面也存储在记录媒体中，因此可以在任何时候，以如图25A到25C所示的列表格式显示存储的缩小画面。然后，可以再现由缩小画面中的一个所代表的部分，作为所代表的信息信号的所需部分。

除此之外，如果屏幕容纳不下分类显示，可以沿着水平方向或垂直方向滚动分类显示，以便使用户能够观看所有缩小画面。

并且，在第四实施例的情况下，视频信号是第一信息信号，而作为对视频信号的预确定I画面进行缩小的结果而创建的缩小画面(缩略画面)对应于第二信息信号。如上所述，第二信息信号可以是任何信号，只要该信号是作为对第一信息信号的预确定部分进行预确定处理的结果获得的。因此，第二信息信号可以被生成为缩略画面，其每一个作为对包括在视频信号的预确定部分的1个帧中的画面数据进行缩小的结果而获得。

此外，第一信息信号决不局限于视频信号。例如，第一信息信号可以是音频信号。例如，如果音频信号用作第一信息信号，那么在第四实施例中创建的消息可以用作第二信息信号。作为另一个例子，文本数据等也可以用作第一信息信号。

<第五实施例>

图27是说明性方块图，示出通过应用了本发明提供的信息信号处理设备和信息信号处理方法的实施例的第五实施例实现的记录/再现设备500。图28A到28C和29A到29C是示出通过第五实施例实现的记录/再现设备500进行的操作的概况的说明图。

通过第五实施例实现的记录/再现设备500在将电视广播节目记录到记录媒体上的处理期间，使相似画面分段的视频信息可从电视广播节目的主要信息中提取出来，并使所提取的相似画面分段的视频信息可事先使用；或者，在记录处理期间，事先创建要加入主要信息中的概要信息。因此，可以进行所谓的摘要再现处理。

另外，通过第五实施例实现的记录/再现设备500配有多种摘要再现方法，并能够按照所记录的电视广播节目的类型来选择一种合适的方法，作为在摘要再现处理中被采用的方法，或者，能够选择一种合适的方法，作为防止再现时间变长的方法。

<操作原理>

接下来的描述将说明通过第五实施例实现的记录/再现设备500的操作原理。与通过如前所述的实施例实现的记录/再现设备非常相似，如图27所示的记录/再现设备500能够将通常是电视广播节目的模拟视频和音频信号的模拟信息信号转换成数字数据，压缩该数字数据，多路复用所压缩的数字数据，并将多路复用的压缩的数字数据记录到记录媒体8上。记录媒体8通常是具有大存储容量的盘状记录媒体。这样盘状记录媒体的一个例子是硬盘。

另外，如图27所示的记录/再现设备500能够从记录媒体8中读出多路复用的压缩的数字信号，多路分用从记录媒体8读出的多路复用的压缩的数字信号，以生成相互分开的压缩的数字视频和音频数据，对压缩的数字视频和音频数据解压缩，以恢复成压缩前的数字视频和音频数据，将压缩前的数字视频和音频数据转换成模拟视频和音频信号并输出该模拟视频和音频信号。

与通过如前所述的实施例实现的记录/再现设备非常相似，如图27所示的记录/再现设备500还能够识别彼此相似的I画面，将相似画面分类成相似画面分段，将识别信息加入相似画面中以使每个相似画面分段是可识别的，并将相似画面分段记录到记录媒体上。

另外，通过第五实施例实现的记录/再现设备500主要判别包括在输入画面序列中的相似画面，识别相似画面分段(相似画面场景)，并使识别的相似画面分段可用在摘要再现处理中。

但是，正如下面所述的那样，通过第五实施例实现的记录/再现设备500具有四种摘要再现模式A、B、C和D。通过把将如图28A所示的输入画面序列记录到记录媒体上的处理取作例子，在下面说明这些摘要再现模式。

在如图28A所示的输入画面序列中，相似画面分段A1包括彼此相似的画面3、4和5。同样，相似画面分段A2包括彼此相似的画面13、14、15和16。同样，相似画面分段A 3包括彼此相似的画面22、23、24、25和26。

在这样的情况下，摘要再现模式A是沿着如图28B所示的时间序列依次再现相似画面分段A1、A2和A3的模式。如图2B所示的摘要再现模式A对于这种情况是有效的，即，通过只观看节目中的相似画面场景，就可以相对高效率地掌握变化相对小的节目内容。场景的例子在新闻节目的情况下是新闻播音员的画面场景，在现场访谈节目的情况下是特定表演者的画面场景。

画面分段B1包括相似画面分段A1和紧邻在相似画面分段A1之前和之后的分段。同样，画面分段B2包括相似画面分段A2和紧邻在相似画面分段A2之前和之后的分段。同样，画面分段B3包括相似画面分段A3和紧邻在相似画面分段A3之前和之后的分段。摘要再现模式B是沿着如图28C所示的时间序列依次再现相似画面分段B1、B2和B3的模式。摘要再现模式B对于这种情况是有效的，即，相似画面分段在例如棒球比赛节目的情况下是击球场景，或在网球锦标赛节目的情况下是发球场景。

也就是说，如果像包括棒球比赛节目和网球锦标赛节目的某些种类体育节目的情况那样，整个节目都存在连续性，则通过与相似画面分段一起还显示紧邻在每个相似画面分段之前和之后的分段，而不是只显示相似画面分段，紧邻在每个相似画面分段之前和之后的分段可以用于指示每个相似画面分段的前后关系，从而可以有效地和高效率地掌握节目的内容，而不会有不协调的感觉。

另外，可以从包括在电视广播节目的信号中的播放的EPG数据中获取使电视广播节目的类型得到记录的信息，即，指示节目是新闻节目、体育节目还是另一种类型的节目的信息，并且还将获取的信息事先存储到记录媒体上，以便在摘要再现处理中可以自动选择最适合于要再现的节目的类型的摘要再现模式。因此，可以在最佳摘要再现模式下进行摘要再现处理。

不用说，让用户本身指定要用在摘要再现处理中的优选摘要再现模式，以便可以在所选的摘要再现模式下进行摘要再现处理。另外，可以以与应用在如前所述的其它实施例的每一个中的画面分类处理单元进行的处理相同的方式，进行及实现检测相似画面的处理和确定相似画面分段的处理。

这些实施例的描述集中在画面相似性上。但是，也可以把注意力放在音频信号的属性上。通常，音频信号被分类成音乐声音分段和会话语音分段，采用摘要再现模式A或B。

在这种情况下，例如，在音乐节目的摘要再现模式A下，在生成音乐的摘要再现处理中只回放场景，或者，在摘要再现处理中，编辑音乐节目，以只创建生成音乐的场景。因此，可以进行有效的摘要再现处理。

另一方面，在应用于诸如流行歌曲节目之类的音乐节目的摘要再现模式B下，假设，例如，可以在开始歌唱每一首歌曲之前显示歌手或表演者的介绍。因此，可以只对作为介绍出现在流行歌曲节目中的歌曲歌手的部分的每一个在要歌唱的歌曲之前的介绍部分进行摘要再现处理，或者，可以编辑节目，以便只生成在摘要再现处理中要显示的介绍部分。因此，可以进行有效的摘要再现处理。

注意，可以以与应用在如前所述的其它每一个实施例实现的记录/再现设备中的音频分类处理单元20进行的处理相同的方式，进行和实现对音乐声音分段和会话语音分段的检测和分类处理。

顺便提一下，在分别显示在图28B和28C的摘要再现模式A和B的情况中，如果相似画面分段太长，则再现时间也会过分延长，从而，也相像得出这种情况，即，因此在短期时间内不能高效率地掌握所记录节目的内容。

为了解决这个问题，假设在如图29A所示的输入画面序列中，与如图28A到28C所示的输入画面序列的情况一样，相似画面分段C1包括彼此相似的画面3、4和5，相似画面分段C2包括彼此相似的画面13、14、15和16，相似画面分段C3包括彼此相似的画面22、23、24、25和26。如图29A所示的相似画面分段C1、C2和C2用作摘要再现分段。

摘要再现模式C是这样一种模式，如图29B所示，其中，事先确定每个摘要再现分段的长度，即，事先确定用在摘要再现处理中的每个画面分段的长度，以便可以在摘要再现时间不超过摘要再现分段的所确定的长度之和的情况下进行摘要再现处理。

如图29C所示的摘要再现模式D是这样的模式，其中，加快如图29B所示的摘要再现模式C中每个摘要再现分段的摘要再现处理，使其在领先于摘要再现分段的起首预确定的时间间隔的时刻开始。在摘要再现模式D的情况下，与摘要再现模式B的情况相同，也可以掌握相似画面分段和先于该相似画面分段的画面分段之间的场景流。对于像体育节目类型那样的某些节目类型，可以进行更有效的摘要再现处理，并决不使摘要再现时间无必要地延长。

<通过第五实施例实现的记录/再现设备500的操作和配置>

下面说明通过如图27所示的第五实施例实现的记录/再现设备500的操作和配置。如图27所示的配置可以被划分成在记录媒体8的左侧和右侧的部分。左侧的部分主要是记录系统，而右侧的部分主要是再现系统。

<记录系统>

首先，说明记录系统。将供应给通过第五实施例实现的记录/再现设备500的模拟音频信号(音频输入)馈送到音频A/D转换器1，它将模拟音频信号转换成要供应给音频编码器2和音频分类处理单元20的数字音频信号。

音频编码器2通过采用诸如MPEG音频方法之类的预确定压缩技术，对数字音频信号进行频带压缩处理。将作为对数字音频信号进行频带压缩处理的结果获得的音频数据供应给多路复用处理单元6。

音频分类处理单元20通常对每个预确定分段检测数字音频信号中频谱峰的连续性，以确定数字音频信号是否是音乐信号。将确定结果供应给多路复用处理单元6、系统控制器17、和画面场景分类显示和再现位置显示单元19，画面场景分类显示和再现位置显示单元19是示出画面场景分类显示和再现位置显示的单元。下文也将画面场景分类显示和再现位置显示单元19适当地称为分类显示单元。

注意，取代对从音频A/D转换器1接收的数字音频信号的处理，也可以将音频分类处理单元20设计成这样的配置，即，该配置用于接收作为音频编码器2对音频A/D转换器1生成的数字模拟信号进行频带压缩处理的结果获得的音频数据，如图1所示的虚线所指；并用于对该音频数据进行如上所述的分类处理。

另一方面，将供应给通过第四实施例实现的记录/再现设备400的模拟视频信号(视频输入)馈送到视频A/D转换器3，它将模拟视频信号转换成要供应给视频编码器4的数字视频信号。

视频编码器4通过采用诸如MPEG2方法之类的预确定压缩技术，对数字视频信号进行频带压缩处理。将作为对数字视频信号进行频带压缩处理的结果获得的视频数据供应给视频分类处理单元5、多路复用处理单元6、I-画面检测单元21和缩小画面处理单元22。

视频分类处理单元5检测从视频编码器4接收的视频数据的I画面的画面特征，并根据检测的特征识别画面相似性。另外，视频分类处理单元5还像上面参照图28A到28C和29A到29C所说明的那样识别相似画面分段。视频分类处理单元5还生成用于识别相似画面分段的识别信息信号并将该信号供应给多路复用处理单元6和分类显示单元19。识别信息信号包括视频数据的位置信息，视频数据的位置信息包括有关在每个相似画面分段中包括多少个连续相似帧的信息。

注意，取代从视频编码器4接收压缩视频数据，视频分类处理单元5也可以像如图27所示的虚线所指，接收视频A/D转换器3输出的数字视频信号，并根据该数字视频信号，进行如上所述的以帧为单元识别和分类数字视频数据的相似画面的处理。

另外，也可以提供这样的配置，即，其中，也可以由系统控制器17根据从视频分类处理单元5和音频分类处理单元20接收的分类处理结果生成作为对视频和音频信号分类处理的结果而获得的识别信息信号，并将它供应给多路复用处理单元6。

与通过如前所述的第一实施例实现的记录/再现设备100的情况一样，系统控制器17是这样的微型计算机，其包括用于控制构成记录/再现设备500的其它部件的CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)、非易失性存储器和定时电路。

在这个实施例中，分类显示单元19接收来自音频分类处理单元20的分类结果和来自视频分类处理单元5的识别信息信号，与其它信息一道，依次显示画面分类。

另外，多路复用处理单元6通常对音频数据、视频数据、和从视频分类处理单元5接收的附加识别信息信号进行多路复用处理，生成多路复用数据，然后将该多路复用数据供应给记录处理单元7。

除此之外，多路复用数据包括有关节目类型的附加信息，即，指示包含在多路复用数据中的节目是新闻节目、体育节目还是另一种类型的节目的节目类型信息。节目类型信息可以从包括在数字广播信号中的EPG数据中提取，也可以由用户输入。

记录处理单元7进行包括将纠错码加入多路复用数据中的处理和交织数据以创建要记录的信号的处理在内的处理，将信号记录到记录媒体8中的预确定区域中。

然后，在这个实施例的情况下，如前所述，通过利用多路复用在多路复用数据中的识别信息信号，可以识别要用作概要信息的相似画面分段。因此，可以在记录处理结束之后的预确定时刻，采用预确定摘要再现方法进行摘要再现处理。

注意，与上面参照图4到6说明的第一实施例非常相似，视频分类处理单元5为用作处理单元的每个I画面检测关于视频数据的特征的信息，根据检测的特征信息检测相似画面，并确定每一个包括彼此相似的画面的相似画面分段。此外，如前所述，将同一识别符指定给相似的画面，以便通过利用这样的识别信息，可以识别哪个范围的画面包括在每一个相似画面分段中。

另外，与上面参照图7说明的第一实施例非常相似，音频分类处理单元20对每个预确定时间单元检测声音的相似性，并且，与第二实施例和第三实施例非常相似，音频分类处理单元20还检测音频电平。

<再现系统>

接着，说明再现系统。系统控制器17生成的控制信号控制再现控制单元9从记录媒体8中读出用户指定的多路复用数据，并且将该数据供应给再现处理单元10。再现处理单元10进行包括对由此接收的多路复用数据进行解交织处理在内的预确定处理，并且把经处理的多路复用数据供应给分离处理单元11。分离处理单元11多路分用供应给它的多路复用数据，以生成音频数据、视频数据、缩小画面数据和识别信息信号。

将分离处理单元11生成的音频数据供应给音频解码器12。供应给音频解码器12的音频数据是采用预确定压缩方法压缩的数据。因此，音频解码器12解压缩由此接收的压缩音频数据，并且把作为解压缩结果获得的音频数据供应给音频数字/模拟转换器13，下文将音频数字/模拟转换器缩写成音频D/A转换器。

音频D/A转换器13将供应给它的数字音频信号转换成模拟音频信号，并且将模拟音频信号输出到扬声器。扬声器根据供应给它的模拟音频信号生成声音。

另外，将分离处理单元11生成的视频数据供应给视频解码器14。供应给视频解码器14的视频数据是采用预确定压缩方法压缩的数据。因此，视频解码器14解压缩由此接收的压缩视频数据，并且把作为解压缩结果获得的视频数据供应给视频数字/模拟转换器15，下文将视频数字/模拟转换器缩写成视频D/A转换器。

视频D/A转换器15将供应给它的数字视频信号转换成模拟视频信号，并且将该模拟视频信号输出到监视器接收器。监视器接收器根据供应给它的模拟视频信号显示画面。

另外，将分离处理单元11生成的识别信息信号供应给识别信号检测单元16。识别信号检测单元16从由此接收的识别信息信号中检测用于摘要再现的必要识别信息信号，并且将该识别信息信号供应给系统控制器17，如有需要，也供应给分类显示单元19。

另外，识别信号检测单元16还从由此接收的识别信息信号中提取预确定时间印记信号或帧号码，并且将该时间印记信号或帧号码供应给系统控制器17。通过根据时间印记信号检测再现时刻，也可以在分类显示单元19上显示再现位置。

当对指定节目请求摘要再现处理时，从加入节目的多路复用信号中的节目类型信息中识别节目的类型。然后，使再现控制单元9工作，以便在适合于识别的类型的摘要再现模式下进行摘要再现处理。在摘要再现处理中，把按照再现控制单元9执行的控制而由识别信息识别以用作概要信息的相似画面分段的画面数据从记录媒体中读出。

如前所述，通过分类显示单元19、分离处理单元11、音频解码器12、音频D/A转换器13、视频解码器14和视频D/A转换器15，将从记录媒体读出以用作概要信息的画面数据输出到进行摘要再现的扬声器和监视器接收器。

注意，即使摘要再现模式像上述那样被自动识别出来，要使用的摘要再现模式也决不局限于按照自动识别的节目类型自动选择的模式。用户也可以选择要用于进行所请求的摘要再现处理的摘要再现模式并可以作出使用所选摘要再现模式的请求。作为另一种选择，可以事先将摘要再现模式设置成要用于进行所请求的摘要再现处理的模式。

<通过第五实施例实现的记录/再现设备500的操作>

接着，通过参照如图30到32所示的流程图，说明在记录过程中通过如上所述的第五实施例实现的记录/再现设备500进行的操作。注意，为了使说明简单些，如下的描述假设前面参照图28A到28C说明的摘要再现模式A或B用作摘要再现模式。

另外，在这个实施例中，可以按照节目类型选择前面参照图28A到28C说明的摘要再现模式A或B，作为默认特殊再现模式。

记录/再现设备500按照用户通过用户输入I/F18输入的命令进行如图30到32所示的流程图所代表的处理，以进行普通或摘要再现处理。

该流程图从步骤S401开始，在步骤S401中，当用户输入对再现处理作出请求的命令时，系统控制器17确定用户请求的再现处理是普通还是特殊再现处理。普通再现处理是从记录媒体8中再现所有主要信息的处理，而这个实施例中的特殊再现处理是摘要再现处理。

如果在步骤S401中进行的操作生成的确定结果指示用户输入的命令是对普通再现处理作出请求的命令，操作流程转到步骤S402，在步骤S402中，系统控制器17控制再现控制单元9与这个处理相关联的部件，以进行从记录媒体8中再现节目的所有主要信息的普通再现处理。

然后，操作流程转到步骤S403，确定是否已经通过用户输入I/F18接收到停止普通再现处理的命令。如果确定结果指示还没有接收到停止普通再现处理的命令，操作流程返回到步骤S401，从这个步骤开始全面重复如上所述的操作。另一方面，如果在步骤S403中进行的操作生成的确定结果指示已经接收到停止普通再现处理的命令，结束如图30和32所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S401中进行的操作生成的确定结果指示用户输入的命令是对特殊再现处理，即，摘要再现处理作出请求的命令，操作流程转到步骤S404，在步骤S404中，系统控制器17通常检查存储在它自己的非易失性存储器中的设置信息，以便确定是否采用默认再现模式的设置，将默认模式设置成摘要再现模式。

如果不采用默认模式设置来设置摘要再现模式的默认模式，那么，在这个实施例中，采用摘要再现模式A。不用说，可以将摘要再现模式的默认再现模式改变成上面参照图29A到29C所说明的摘要再现模式C或D。

如果在步骤S404中进行的操作生成的确定结果指示采用默认再现模式的设置，操作流程转到步骤S405，在步骤S405中，获取有关要经受摘要再现处理的节目的类型的信息。如上所述，在记录处理中，已经从EPG数据等中提取了有关节目类型的信息，并且将其加入多路复用数据。然后，操作流程转到步骤S406，确定要经受摘要再现处理的节目是否是新闻节目。

如果在步骤S406中进行的操作生成的确定结果指示要经受摘要再现处理的节目是新闻节目，或者，如果在步骤S404中进行的操作生成的确定结果指示不采用默认模式的设置，那么，使用摘要再现模式A。

在步骤S406中指示新闻节目的情况下，操作流程转到步骤S407，在步骤S407中，系统控制器17控制识别信号检测单元16检测加入要经受摘要再现处理的节目中的帧号码。然后，在下一个步骤S408中，检测作为用于对相似画面分段进行识别的信息的加入的识别信息。

随后，操作流程转到步骤S409，确定根据检测的识别信息识别成相似画面分段的视频信号分段是否是新闻播音员的场景。如果相似画面分段是，例如，新闻播音员的场景，想像得出，相似画面分段也与另一个相似画面分段的新闻播音员场景类似。因此，在步骤S409进行的操作中，与另一个相似画面分段类似的相似画面分段被识别成要经受摘要再现处理的相似画面分段。

如果在步骤S409中进行的操作生成的确定结果指示要经受摘要再现处理的相似画面分段是新闻播音员的场景，操作流程转到步骤S410，在步骤S410中，再现相似画面分段的帧。另一方面，如果在步骤S409中进行的操作生成的确定结果指示要经受摘要再现处理的相似画面分段不是新闻播音员的场景，操作流程转到步骤S411，在步骤S411中，跳过相似画面分段的帧。

然后，在两者中任意一个情况下，操作流程转到步骤S412，确定用户是否通过用户输入I/F18输入了停止摘要再现处理的命令。如果确定结果指示用户已经输入了停止摘要再现处理的命令，结束如图30和32所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S412中进行的操作生成的确定结果指示用户还没有输入停止摘要再现处理的命令，操作流程转到步骤S413，确定摘要再现处理是否已经结束。如果在步骤S413中进行的操作生成的确定结果指示摘要再现处理已经结束，终止如图30和32所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S413中进行的操作生成的确定结果指示摘要再现处理还没有结束，操作流程转到步骤S414，确定用户是否通过用户输入I/F18输入了改变再现模式的命令。

如果在步骤S414中进行的操作生成的确定结果指示用户还没有输入改变再现模式的命令，操作流程返回到步骤S407，从这个步骤开始重复如上所述的操作。在这种情况下，在摘要再现模式A下继续进行摘要再现处理。

另一方面，如果在步骤S414中进行的操作生成的确定结果指示用户已经输入了改变再现模式的命令，操作流程返回到步骤S401，从这个步骤开始全面重复如上所述的操作。

另一方面，如果在步骤S406中进行的操作生成的确定结果指示要经受摘要再现处理的节目不是新闻节目，操作流程转到如图31所示的续流程图的步骤S415。在这个步骤中，在摘要再现模式B下开始进行摘要再现处理。

在步骤S415中，系统控制器17控制识别信号检测单元16检测加入要经受摘要再现处理的节目的帧号码。然后，在下一个步骤S416中，通过将变量k设置成0(零)来初始化变量k。变量k是计数从步骤S418开始的循环的迭代执行次数的计数器。

随后，在下一个步骤S417中，系统控制器17是否已经检测到与画面分段相关联的预确定识别信息。识别信息所指示的画面分段是要依次再现的画面分段之一。如上面参照图28C所说明的那样，这个画面分段包括相似画面分段和紧邻在相似画面分段之前和之后的预确定画面分段。

如果在步骤S417中进行的操作生成的确定结果指示已经检测到与画面分段相关联的预确定识别信息，操作流程转到步骤S418。在这个步骤中，为了如后所述的指示这个相似画面分段的摘要再现操作已经完成的目的，将指示已经检测到指定给相似画面分段的帧的预确定识别符的标志设置成1。

然后，操作流程转到步骤S419，在步骤S419中，系统控制器17确定从步骤S420开始的操作是否是第一次执行。由于变量k的值为0，在步骤S419中进行的操作生成的确定结果指示从步骤S420开始的操作到目前为止还没有执行。在这种情况下，操作流程转到步骤S420，在步骤S420中，为了再现紧邻在位于相似画面分段起首的第N帧之前的第(N-a)到第(N-1)帧的目的，将变量n设置成0来初始化第一帧设置变量n。

然后，在下一个步骤S421中，再现紧邻在位于相似画面分段起首的第N帧之前的第(N-a)到第(N-1)帧的第1个。随后，在下一个步骤S422中，将变量n加1。然后，在下一个步骤S423中，将变量k加1。随后，操作流程转到步骤S424，确定第(N-a)到第(N-1)帧是否都得到再现。

如果在步骤S424中进行的操作生成的确定结果指示第(N-a)到第(N-1)帧还没有全部得到再现，操作流程返回到步骤S421，从这个步骤开始重复如上所述的操作。另一方面，如果在步骤S424中进行的操作生成的确定结果指示第(N-a)到第(N-1)帧已全部得到再现，操作流程转到到步骤S425，在步骤S425中，再现相似画面分段的帧。如果在步骤S419中进行的操作生成的确定结果指示紧邻在相似画面分段之前的预确定画面分段已经得到再现，操作流程也转到步骤S425。

随后，在下一个步骤S426中，系统控制器17确定用户是否通过用户输入I/F18输入了停止摘要再现处理的命令。在步骤S426中，如果确定结果指示用户已经输入了停止摘要再现处理的命令，结束如图30和32所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S426中进行的操作生成的确定结果指示用户还没有输入停止摘要再现处理的命令，操作流程转到步骤S427，确定再现所需节目的摘要再现处理是否已经完成。如果在步骤S427中进行的操作生成的确定结果指示再现所需节目的摘要再现处理已经完成，结束如图30和32所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S427中进行的操作生成的确定结果指示再现所需节目的摘要再现处理还没有完成，操作流程转到步骤S428，确定用户是否已经输入改变再现模式的命令。如果在步骤S428中进行的操作生成的确定结果指示用户还没有输入改变再现模式的命令，操作流程返回到步骤S417，从这个步骤开始重复如上所述的操作。在这种情况下，在摘要再现模式B下继续进行摘要再现处理。

另一方面，如果在步骤S428中进行的操作生成的确定结果指示用户已经输入改变再现模式的命令，操作流程返回到如图30所示的主流程图的步骤S401，从这个步骤开始全面重复如上所述的步骤。

如果在步骤S417中进行的操作生成的确定结果指示没有检测到要再现的相似画面分段的预确定识别信息，以证明相似画面分段的再现已经完成，则操作流程转到如图32所示的另一个续流程图的步骤S429。在这个步骤中，开始紧邻在再现的相似画面分段之后的预确定画面分段的摘要再现处理。

首先，在步骤S429中，系统控制器17检查在步骤S418中设置的标志，确定标志是否的确被设置成1，即，再现紧邻在相似画面分段之前的分段和相似画面分段本身的摘要再现处理是否已经完成。

如果在步骤S429中进行的操作生成的确定结果指示标志已经被设置成1，操作流程转到步骤S430，在步骤S430中，将标志重置成0。然后，在下一个步骤S431中，将变量n初始化成0。随后，在下一个步骤S432中，再现紧邻在相似画面分段之后第(N+n)帧。然后，在下一个步骤S433中，将变量n加1。

随后，操作流程转到步骤S434，确定变量n是否超过预确定值b，即，再现紧邻在相似画面分段之后的预确定分段的摘要再现处理是否已经完成。如果在步骤S434中进行的操作生成的确定结果指示再现预确定分段的摘要再现处理还没有完成，操作流程返回到步骤S432，从这个步骤开始重复如上所述的操作。

另一方面，如果在步骤S434中进行的操作生成的确定结果指示再现紧邻在相似画面分段之后的预确定分段的摘要再现处理已经完成，操作流程转到步骤S435，在步骤S435中，系统控制器17确定用户是否通过用户输入I/F18输入了停止摘要再现处理的命令。如果确定结果指示用户输入了停止摘要再现处理的命令，结束如图30和32所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S435中进行的操作生成的确定结果指示用户还没有输入停止摘要再现处理的命令，操作流程转到步骤S436，确定再现所需节目的摘要再现处理是否已经完成。如果在步骤S436中进行的操作生成的确定结果指示再现所需节目的摘要再现处理已经完成，结束如图30和32所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S436中进行的操作生成的确定结果指示再现所需节目的摘要再现处理还没有完成，操作流程转到步骤S437，确定用户是否输入了改变再现模式的命令。如果在步骤S437中进行的操作生成的确定结果指示用户还没有输入改变再现模式的命令，操作流程返回到如图31所示的续流程图的步骤S417，从这个步骤开始重复如上所述的操作。在这种情况下，在摘要再现模式B下继续进行摘要再现处理。

另一方面，如果在步骤S437中进行的操作生成的确定结果指示用户已经输入改变再现模式的命令，操作流程返回到如图30所示的主流程图的步骤S401，从这个步骤开始全面重复如上所述的操作。

注意，另一方面，如果在步骤S429中进行的操作生成的确定结果指示标志还没有被设置成1，操作流程转到步骤S438，在步骤S438中，将标志重置成0。然后，在下一个步骤S439中，跳过正在处理的帧。随后，操作流程转到如图32所示的步骤S435。

还值得注意的是，尽管上面的描述说明了摘要再现模式A和B的使用，但本实施例不局限于这些模式。例如，上面的描述也可应用于摘要再现模式C和D。

另外，如果有关节目类型的信息指示节目是体育节目，还可以使用摘要再现模式B或D。

<第五实施例总结>

如上所述，在从记录媒体中再现节目的分段的摘要再现处理中，通过第五实施例实现的记录/再现设备按照节目的类型或按照用户输入的信息，使用由此选择的摘要再现模式。因此，可以有效地和高效率地进行摘要再现处理。

另外，即使数种摘要再现模式可以用于有效地和高效率地进行摘要再现处理，借助于记录/再现设备的简单配置，可以有效地和高效率地进行摘要再现处理，而不会使配置变得复杂。

注意，摘要再现模式决不局限于前面参照图28A到28C和29A到29C所说明的四种摘要再现模式A、B、C和D。也就是说，也可以使用具有各种各样再现式样的其它任意摘要再现模式。

另外，在通过第五实施例实现的记录/再现设备500中，以I-画面为单元识别画面的相似性和相似画面分段。但是，识别单元决不局限于I-画面。例如，也可以以帧为单元识别画面的相似性和相似画面分段。作为另一种选择，以I-画面为单元识别画面的相似性和相似画面分段，而以帧为单元进行其它的处理。

除此之外，在通过第五实施例实现的记录/再现设备500中，根据关于视频信息的特征的信息，将视频信息分类成相似画面分段。但是，用在将视频信息分类成相似画面分段中的根据决不局限于视频信息的特征。例如，也可以根据音频信号设置可用作概要信息的相似画面分段。作为另一种选择，也可以根据音频和视频信号两者设置可用作概要信息的相似画面分段。

<第六实施例>

即使在如上所述的第五实施例的情况中，如果包括在代表存储在记录媒体上的电视广播节目的视频信号中的每个相似画面分段变得太长，甚至通过进行摘要再现处理来生成相似画面分段，也不能快速地掌握电视广播节目的内容。为了解决这个问题，如图29B和29C所示，只再现每个相似画面分段的预确定部分。

不过，想像得出，还存在包括非常长连续相似画面分段的电视广播节目。这样电视广播节目的例子是新闻分析节目或讨论节目。在新闻分析节目或讨论节目中，示出演讲者的场景持续很长期的时间。另一个例子是马拉松赛跑节目或接力跑节目。在这样的节目中，从不变的摄像机视角拍摄的画面，作为示出运动员的奔跑状况的画面，可能持续很长期的时间。

在这样的情况下，如果进行摘要再现处理，只再现处在每个相似画面分段起首的预确定部分，那么，想像得出，也许不能有效地和高效率地掌握包括摘要再现处理中再现的相似画面分段在内的节目的内容。

为了解决这个问题，在通过第六实施例实现的记录/再现设备中，借助于记录/再现设备的简单配置，即使相似画面分段持续相对长期的时间，也可以有效地和高效率地进行摘要再现处理，而不会使配置变得复杂。

注意，通过第六实施例实现的记录/再现设备具有与通过前面参照图27所述的第五实施例实现的记录/再现设备500相同的配置。因此，也通过参照示出第五实施例实现的记录/再现设备500的图27来说明通过第六实施例实现的记录/再现设备。

与通过第五实施例实现的记录/再现设备500非常相似，具有如图27所示配置的通过第六实施例实现的记录/再现设备500能够数据压缩作为电视广播节目的数字信号的视频和音频信号，将压缩的数字视频和音频信号存储到记录媒体上，并从记录媒体上再现压缩的数字视频和音频信号。

在将压缩的数字视频和音频信号存储到记录媒体上的处理中，与如前所述的其它实施例非常相似，检测相似I画面并将它们分类成相似画面分段，并且，在将视频和音频信号存储到记录媒体上之前，加入识别信息，使每个相似画面分段变成可识别的。

另外，还在通过第六实施例实现的记录/再现设备500的情况中，基本上，还通过再现相似画面分段来进行摘要再现处理。但是，在这种情况下，要对每个相似画面分段的长度加以考虑。图33A和33B以及图34A到34C是示出通过第六实施例实现的记录/再现设备500的操作原理的说明图。

在如图33A所示的输入画面序列中，例如，画面1、2和3彼此相似，画面13、14、15、16和17彼此相似，画面22、23、24、25、26、27、28和29彼此相似。另外，事先将再现分段长度(或设置的分段长度)t设置成被认为是适合于如图33A所示的摘要再现处理的长度。

按照这个设置的分段长度t，将分段A1、A2和A 3取作为用于如图33A所示的摘要再现处理的画面分段。如果相似画面分段具有比设置的分段长度t长的长度，检查相似画面分段在设置的分段长度t之外的部分。如果该部分长于预确定间隔分段长度s，则将该部分在预确定间隔分段长度s之外的部分取作其它附加画面分段。如有必要，还将这个其它附加画面分段修剪成不超过设置的分段长度t的长度。

也就是说，如图33A所示的分段A4是摘要再现处理的其它附加画面分段。在如图33A所示的典型输入画面序列的情况下，代表从如图33A所示的输入画面序列中提取的画面分段A1、A2、A3和A4的视频信号用在如图33B所示的摘要再现处理中。

因此，在相似画面分段具有超过设置的分段长度t和预确定间隔分段长度s之和的长度的情况下，设置用于摘要再现处理的多个画面分段。这样，即使节目包括长相似画面分段，也可以有效地和高效率地掌握经受摘要再现处理的节目的内容。

另外，除了相似画面分段之外，也可以像如图34A到34C所示的例子的情况那样，在设置用于摘要再现处理的画面分段的过程中，对音频信号的电平加以考虑。图34A示出输入画面序列，图34B示出伴随着如图34A所示的输入画面序列的输入声音序列。

在如图34A所示的输入画面序列中，例如，画面1、2和3彼此相似，画面13、14、15、16、17和18彼此相似，画面22、23、24、25、26、27、28和29彼此相似。另外，与如图33A所示的输入信号序列非常相似，设置的分段长度t和预确定间隔分段长度s用在设置要用于摘要再现处理的画面分段中。但是，在如图33A所示的输入画面序列的情况下，最好将具有音频信号超过预确定电平的分段作为画面分段，用于摘要再现处理。

因此，在如图34A所示的输入画面序列的情况下，如上所述，画面13、14、15、16、17和18彼此相似。但是，如图34B所示，与画面16、17和18有关的音频信号的电平较高。于是，作为用于摘要再现处理的画面分段，包括画面16、17和18的分段如图34A所示那样设置。

如上所述，作为音频信号超过预确定电平而长度未超过设置的分段长度t的部分，包括在相似画面分段中的部分被设置成用于摘要再现处理的画面分段。另外，如果相似画面分段太长，以致于它的设置成用于摘要再现处理的画面分段的部分具有大于设置的分段长度t的长度，则检查在设置的分段长度t之外的部分。如果该部分长于预确定间隔分段长度s，将该部分在预确定间隔分段长度s之外的部分取作另一个附加画面分段。如有必要，还将这个其它的附加画面分段修剪成不超过设置的分段长度t的长度。

这样，在如图34A所示的输入画面序列的情况下，分段B1、B2、B3和B4每一个被设置成用于摘要再现处理的画面分段。然后，进行摘要再现处理，像如图34C所示那样，连续再现分段B1、B2、B3和B4。

注意，在像那些如图33A和34A所示的那样的长相似画面分段的情况下，设置用于摘要再现处理的多个画面分段，并且在相似画面分段内导致出现长度等于预确定间隔分段长度s的跳过分段。

<通过第六实施例实现的记录/再现设备500的操作和配置>

下面说明通过如图27所示的第五实施例实现的记录/再现设备500的操作和配置。通过第六实施例的记录系统进行的操作与如前所述的第五实施例中的那些操作相同。但是，如果像上面参照图34A到34C所说明的那样，对音频信号的电平加以考虑，则音频分类处理单元20把用于识别所具有的音频信号电平至少等于预确定电平的音频信号分段的识别信息供应给多路复用单元6。多路复用单元6还将这个识别信息加入多路复用数据中，以便可以将相似画面分段中的画面分段识别为与所具有的音频信号电平至少等于预确定电平的音频信号分段相对应的画面分段。

另外，通过第六实施例的再现系统进行的操作也与如前所述的第五实施例中的那些操作相同。并且，当接收到对摘要再现处理的执行作出请求的命令时，为了进行摘要再现处理，按照受系统控制器17控制的再现控制单元9执行的控制，从记录媒体8中读出用于摘要再现处理的画面分段的信号，作为一部分多路复用数据。多路复用数据与加入到该多路复用数据中作为用于识别相似画面分段的信息的识别信息一起，已经被记录到记录媒体8上，这些相似画面分段作为分类处理的结果被包括在该多路复用数据之中。在这种情况下，如果具有长于设置的分段长度t的长度，进行跳过其持续时间等于间隔分段长度s的部分的处理。

除此之外，将包括由识别信号检测单元16检测的预确定时间印记信号的信号供应给系统控制器17，然后，系统控制器17从这些信号中检测再现时刻，以便在分类显示单元19上显示当前再现位置，并在分类显示单元19等上显示作为代表性画面的在跳过点上的画面场景，这样，可以使摘要再现处理易于被用户理解。

<通过第六实施例实现的记录/再现设备500的操作>

通过参照如图35和36所示的流程图，如下的描述将说明在再现和记录处理期间，第六实施例的记录/再现设备500进行的操作。如图35和36所示的流程图所代表的操作是当用户通过用户输入I/F18输入作出进行再现或记录处理的请求的命令时，记录/再现设备500进行的处理。

注意，在请求再现处理的情况下，在如下的描述中，假设多路复用数据与作为相似性分类处理的结果获得的每个相似画面分段的相同识别信息一起已经存储在记录媒体8上。

当用户输入对进行再现或记录处理作出请求的命令时，流程图从步骤S501开始，在步骤S501中，系统控制器17确定该命令是请求再现处理还是记录处理的命令。如果在步骤S501中进行的操作生成的确定结果指示该命令是作出再现处理的请求的命令，则操作流程转到步骤S502，在步骤S502中，系统控制器17控制记录/再现设备500的部件将记录/再现设备500置于再现模式下，开始从记录媒体8中读出所需节目的多路复用数据的操作。

然后，在下一个步骤S503中，进一步检查再现命令，以确定所请求的再现处理是否是特殊再现处理，即，摘要再现处理。如果在步骤S503中进行的操作生成的确定结果指示所请求的再现处理是摘要再现处理，操作流程转到步骤S504，在步骤S504中，检测要通过识别信号检测单元16再现的多路复用数据的识别信息。由此，操作流程转到步骤S505，确定要再现的信息信号是否是用于摘要再现处理的画面分段的多路复用数据。

如果在步骤S505中进行的操作生成的确定结果指示要再现的信息信号是用于摘要再现处理的画面分段的多路复用数据，操作流程转到步骤S506，在步骤S506中，通过再现多路复用数据进行摘要再现处理，然后，在下一个步骤S507中，检测经过的再现时间的长度。

随后，操作流程转到步骤S508，确定作为经过的再现时间的长度的在步骤S507中检测的长度是否已经变成等于设置的分段长度t。如果在步骤S508中进行的操作生成的确定结果指示该长度等于设置的分段长度t的数据已经得到再现，操作流程转到步骤S509，在步骤S509中，进行跳过间隔分段长度s的操作。随后，操作流程转到步骤S510，确定用户是否已经输入停止摘要再现处理的命令。

如果在步骤S510中进行的操作生成的确定结果指示用户还没有输入停止摘要再现处理的命令，操作流程转到步骤S511，确定用户是否已经输入改变操作模式的命令。如果在步骤S511中进行的操作生成的确定结果指示用户还没有输入改变操作模式的命令，操作流程返回到步骤S504，从这个步骤开始重复如上所述的操作。这样，继续进行摘要再现处理。

另一方面，如果在步骤S511中进行的操作生成的确定结果指示用户已经输入改变操作模式的命令，操作流程返回到步骤S501，从这个步骤开始全面重复如上所述的操作。这样，按照用户输入的命令，可以进行从记录媒体中再现节目的普通再现处理、从记录媒体中再现节目的摘要再现处理、或将节目存储到记录媒体上的记录处理。

另一方面，如果在步骤S510中进行的操作生成的确定结果指示用户已经输入停止摘要再现处理的命令，系统控制器17结束如图35和36所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S508中进行的操作生成的确定结果指示再现长度等于设置的分段长度t的数据的摘要再现处理还没有完成，操作流程转到如图36所示的续流程图的步骤S512，确定用户是否已经输入停止摘要再现处理的命令。

如果在步骤S512中进行的操作生成的确定结果指示用户还没有输入停止摘要再现处理的命令，操作流程转到步骤S513，确定用户是否已经输入改变操作模式的命令。如果在步骤S513中进行的操作生成的确定结果指示用户还没有输入改变操作模式的命令，操作流程返回到如图35所示的主流程图的步骤S504，从这个步骤开始重复如上所述的操作。这样继续进行摘要再现处理。

另一方面，如果在步骤S513中进行的操作生成的确定结果指示用户已经输入改变操作模式的命令，操作流程返回到如图35所示的主流程图的步骤S501，从这个步骤开始全面重复如上所述的操作。这样，按照用户输入的命令，可以进行从记录媒体中再现节目的普通再现处理，从记录媒体中再现节目的摘要再现处理，或将节目存储到记录媒体上的记录处理。

另一方面，如果在步骤S512中进行的操作生成的确定结果指示用户已经输入停止摘要再现处理的命令，系统控制器17结束如图35和36所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在步骤S501中进行的操作生成的确定结果指示该命令是对记录处理作出请求的命令，操作流程转到如图36所示的续流程图的步骤S514。在步骤S514中，系统控制器17控制记录/再现设备500的部件将记录/再现设备500置于记录模式下，开始将供应的视频和音频信号存储到记录媒体8中的操作。

然后，操作流程转到步骤S515，确定用户是否已经输入停止记录处理的命令。如果在步骤S515中进行的操作生成的确定结果指示用户还没有输入停止记录处理的命令，操作流程转到步骤S516，确定用户是否已经输入改变操作模式的命令。

如果在步骤S516中进行的操作生成的确定结果指示用户还没有输入改变操作模式的命令，操作流程返回到步骤S514，从这个步骤开始重复如上所述的操作。这样，继续进行记录处理。

另一方面，如果在步骤S516中进行的操作生成的确定结果指示用户已经输入改变操作模式的命令，操作流程返回到如图35所示的主流程图的步骤S501，从这个步骤开始全面重复如上所述的操作。这样，按照用户输入的命令，可以进行从记录媒体中再现节目的普通再现处理，从记录媒体中再现节目的摘要再现处理，或将节目存储到记录媒体上的记录处理。

另一方面，如果在步骤S514中进行的操作生成的确定结果指示用户已经输入停止记录处理的命令，系统控制器17结束如图35和36所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

另一方面，如果在如图35所示的主流程图的步骤S503中进行的操作生成的确定结果指示所请求的再现处理不是摘要再现处理，操作流程转到如图36所示的续流程图的步骤S517。在这个步骤中，系统控制器17控制记录/再现设备500的部件将记录/再现设备500置于普通再现模式下，开始从记录媒体8中再现所需节目的多路复用数据的普通再现处理。

随后，操作流程转到步骤S518，确定用户是否已经输入停止普通再现处理的命令。如果在步骤S518中进行的操作生成的确定结果指示用户还没有输入停止普通再现处理的命令，操作流程转到步骤S519，确定用户是否已经输入改变操作模式的命令。

如果在步骤S519中进行的操作生成的确定结果指示用户还没有输入改变操作模式的命令，操作流程返回到步骤S517，从这个步骤开始重复如上所述的操作。这样，继续进行摘要再现处理。

另一方面，如果在步骤S519中进行的操作生成的确定结果指示用户已经输入改变操作模式的命令，操作流程返回到如图35所示的主流程图的步骤S501，从这个步骤开始全面重复如上所述的操作。这样，按照用户输入的命令，可以进行从记录媒体中再现节目的普通再现处理，从记录媒体中再现节目的摘要再现处理，或将节目存储到记录媒体上的记录处理。

另一方面，如果在步骤S517中进行的操作生成的确定结果指示用户已经输入停止普通再现处理的命令，系统控制器17结束如图35和36所示的流程图所代表的操作的执行。然后，记录/再现设备500通常进入等待用户输入下一个命令的状态。

<第六实施例总结>

如上所述，在通过第六实施例实现的记录/再现设备中，即使在记录的节目中存在相对长的相似画面分段，也可以通过适当地为摘要再现处理设置画面分段，进行摘要再现处理，以便用户可以有效地和有效率地掌握节目的内容。

注意，当然可以让用户事先或在适当时刻确定设置的分段长度t和间隔分段长度s。

<其它>

在第一到第六实施例中，画面相似性处理和创建相似画面分段的处理基于压缩MPEG数据的I-画面单元。但是，这些处理段的基础决不局限于压缩MPEG数据的I-画面。例如，也可以对压缩前数据的每个帧检测特征，然后，根据检测的特征生成相似画面分段。

另外，也可以提供具有包括通过第一到第六实施例实现的记录/再现设备的所有功能的配置或具有只包括通过第一到第六实施例实现的适当选择的两种或更多种记录/再现设备的功能的配置的记录/再现设备。

除此之外，记录/再现设备的记录媒体8决不局限于诸如硬盘之外的磁盘，而是，记录媒体8可以是诸如光盘、磁光盘或半导体存储器之类具有相对大存储容量的可随机访问记录媒体的任何一种。

并且，通过如上所述的实施例实现的设备决不局限于记录/再现设备，而是，除此之外，该设备还可以是与诸如通信设备和广播用接收设备之类各种类型的家用电子设备连接的网络型家用服务器。

此外，本发明也可通过将包括如前所述的缩小画面(或缩略画面)、如上所述的概要信息、和将缩小画面和概要信息与主要信息相关联的如上所述识别符在内的数据用作所谓的元数据，而用作控制诸如视频和音频信息之类的信息的再现的方法。

工业实用性

记录在大存储容量的记录媒体上的数字信息信号可以得到有效地和有效率地使用，还可以促进记录媒体的有效率使用。另外，可以提供给予用户许多方便的信息信号处理设备。

Claims (30)

1.一种信息信号处理设备，包括：

特征信息检测装置，用于针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

分类处理装置，用于根据所述特征信息检测装置生成的检测结果，将所述第一信息信号的分段分类成呈现所述特征的相似性的分段；

信息信号生成装置，用于针对所述第一信息信号的所述每个预确定处理单元，生成与所述第一信息信号具有关联关系的第二信息信号；

识别信息创建装置，用于根据所述分类处理装置生成的分类结果，创建有关识别符的信息，每个识别符用于识别要用在列表显示中的所述第二信息信号，并用于针对所述分类的分段的每一个来识别所述第二信息信号的显示位置；和

记录装置，用于将所述第一信息信号、所述第二信息信号和所述有关识别符的信息记录到记录媒体上。

2.一种信息信号处理设备，包括：

特征信息检测装置，用于针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

分类处理装置，用于根据所述特征信息检测装置生成的检测结果，将所述第一信息信号的分段分类成呈现所述特征的相似性的分段；

信息信号生成装置，用于针对由所述分类处理装置生成作为分类结果的所述分段的每一个，根据以所述特征信息检测装置生成的检测结果为基础确定的一个处理单元的所述第一信息信号，生成第二信息信号；

识别信息创建装置，用于根据所述分类处理装置生成的分类结果，创建有关识别符的信息，每个识别符用于识别将要用在列表显示中的所述第二信息信号的显示位置；和

记录装置，用于将所述第一信息信号、所述第二信息信号和所述识别信息信号记录到记录媒体上。

3.一种信息信号处理方法，包括如下步骤：

针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

根据有关所述第一信息信号的特征的所述检测的信息，将所述第一信息信号的分段分类成呈现所述特征的相似性的分段；

针对所述第一信息信号的所述每个预确定处理单元，生成与所述第一信息信号具有关联关系的第二信息信号；

根据呈现所述特征的相似性的所述分段的分类结果，创建有关识别符的信息，每个识别符用于识别将要用在列表显示中的所述第二信息信号，并用于针对呈现所述特征的相似性的所述分段的每一个来识别所述第二信息信号的显示位置；和

除了将要记录的所述第一信息信号之外，还把所述第二信息信号和所述识别符记录到记录媒体上。

4.一种信息信号处理方法，包括如下步骤：

针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

根据有关所述第一信息信号的特征的所述检测的信息，将所述第一信息信号的分段分类成呈现所述特征的相似性的分段；

针对呈现所述分类特征的相似性的所述分段的每一个，根据以有关所述第一信息信号的特征的所述检测的信息为基础确定的一个处理单元的所述第一信息信号，创建第二信息信号；

根据针对呈现所述分类特征的相似性的所述分段的每一个的分类结果，创建每一个用于识别将要用在列表显示中的所述第二信息信号的显示位置的识别信息；和

除了将要记录的所述第一信息信号之外，还把所述第二信息信号和所述有关识别符的信息记录到记录媒体上。

5.一种信息信号处理设备，包括：

特性信息检测装置，用于针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

识别信息生成装置，用于根据所述特征信息检测装置生成的检测结果，生成用于识别所述第一信息信号的预确定信号分段的识别信息；和

记录装置，用于将所述第一信息信号记录在记录媒体的第一记录区中以及将第二信息信号记录在所述记录媒体的第二记录区中，其中：

所述第一和第二记录区是按照事先对所述记录媒体确定的记录方法设置的；和

所述第二信息信号作为由所述识别信息识别的所述预确定信号分段中的信息信号，是包括在所述第一信息信号中的信息信号。

6.根据权利要求5所述的信息信号处理设备，其中，所述记录装置将多个所述第一信息信号记录在用于容纳所述第一信息信号且具有可变存储大小的所述第一记录区中，作为一群所述第一信息信号，并将多个所述第二信息信号记录在用于容纳所述第二信息信号且具有可变存储大小的所述第二记录区中，作为一群所述第二信息信号。

7.根据权利要求5所述的信息信号处理设备，其中，所述记录装置提供用于只记录一段所述第一信息信号的所述第一记录区和用于只记录一段所述第二信息信号的所述第二记录区，并将所述段的所述第一信息信号和所述段的所述第二信息信号分别记录在所述第一和第二记录区中。

8.根据权利要求5所述的信息信号处理设备，所述信息信号处理设备还具有用于接收指定所选记录方法的选择输入的选择输入接收装置，其中，所述记录装置：

按照所述选择输入接收装置接收的选择输入所指定的所选记录方法，在所述记录媒体中设置所述第一和第二记录区；和

将第一信息信号存储在所述第一记录区中并将第二信息信号存储在所述第二记录区中。

9.根据权利要求8所述的信息信号处理设备，其中，所述所选记录方法至少可以是：

将多个所述第一信息信号记录在用于容纳所述第一信息信号且具有可变存储大小的所述第一记录区，作为一群所述第一信息信号，和将多个所述第二信息信号记录在用于容纳所述第二信息信号且具有可变存储大小的所述第二记录区，作为一群所述第二信息信号的第一记录方法；或

提供用于只记录一段所述第一信息信号的所述第一记录区和与所述第一记录区相邻作为用于只记录一段所述第二信息信号的区域的所述第二记录区，以形成交替排列，并将所述段的所述第一信息信号和所述段的所述第二信息信号分别记录在所述第一和第二记录区中的第二记录方法。

10.根据权利要求5、6、7、8和9的任何一项所述的信息信号处理设备，还含有：

存储大小检测装置，用于检测保留在所述记录媒体中的空白区的存储大小；和

记录控制装置，用于在将所述第一信息信号记录到所述记录媒体上的处理中，在所述存储大小检测装置生成的检测结果指示保留在所述记录媒体中的空白区的存储大小小到不足以存储所述最早的第一信息信号的情况下，执行控制，将所述最新第一信息信号记录在包括于所述第一记录区之内的子区中所述最早第一信息之上，而不侵蚀(erode)所述第二记录区，其中该子区是作为记录最早第一信息的子区。

11.一种信息信号处理方法，包括如下步骤：

针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

根据有关所述第一信息信号的特征的所述检测的信息，生成用于识别所述第一信息信号的预确定信息信号的识别信息；和

将所述第一信息信号记录在记录媒体的第一记录区中并将第二信息信号记录在所述记录媒体的第二记录区中，其中：

所述第一和第二记录区是按照事先对所述记录媒体确定的记录方法设置的；和

所述第二信息信号是由所述识别信息识别的所述预确定信息信号，位于所述第一信息信号的预确定信号分段中。

12.根据权利要求11所述的信息信号处理方法，由此，将多个所述第一信息信号记录在用于容纳所述第一信息信号且具有可变存储大小的所述第一记录区，作为一群所述第一信息信号，并将多个所述第二信息信号记录在用于容纳所述第二信息信号而具有可变存储大小的所述第二记录区，作为一群所述第二信息信号。

13.根据权利要求11所述的信息信号处理方法，其中，提供用于只记录一段所述第一信息信号的所述第一记录区和用于只记录一段所述第二信息信号的所述第二记录区，并将所述段的所述第一信息信号和所述段的所述第二信息信号分别记录在所述第一和第二记录区中。

14.根据权利要求11所述的信息信号处理方法，还含有如下步骤：

接收指定所选记录方法的选择输入；

按照指定所述所选记录方法的所述选择输入所指定的所选记录方法，在所述记录媒体中设置所述第一和第二记录区；和

将第一信息信号记录在所述第一记录区中，将第二信息信号记录在所述第二记录区中。

15.根据权利要求14所述的信息信号处理方法，其中，所述所选记录方法至少可以是：

将多个所述第一信息信号记录在用于容纳所述第一信息信号且具有可变存储大小的所述第一记录区，作为一群所述第一信息信号，和将多个所述第二信息信号记录在用于容纳所述第二信息信号且具有可变存储大小的所述第二记录区，作为一群所述第二信息信号的第一记录方法；或

提供用于只记录一段所述第一信息信号的所述第一记录区和与所述第一记录区相邻作为用于只记录一段所述第二信息信号的区域的所述第二记录区，以形成交替排列，并将所述段的所述第一信息信号和所述段的所述第二信息信号分别记录在所述第一和第二记录区中的第二记录方法。

16.根据权利要求11、12、13、14和15的任何一项所述的信息信号处理方法，还含有如下步骤：

检测保留在所述记录媒体中的空白区的存储大小；和

在将所述第一信息信号记录到所述记录媒体上的处理中，在所述存储大小检测装置生成的检测结果指示保留在所述记录媒体中的空白区的存储大小小到不足以存储所述最早的第一信息信号的情况下，执行控制，将所述最新第一信息信号记录在包括于所述第一记录区之内的子区中所述最早第一信息之上，而不侵蚀所述第二记录区，其中该子区是作为记录最早第一信息的子区。

17.一种信息信号处理设备，包括：

特征信息检测装置，用于针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

识别信息生成装置，用于根据所述特征信息检测装置生成的检测结果，生成用于识别所述第一信息信号的预确定信息信号的识别信息；

识别信息加入装置，用于将所述识别信息生成装置生成的所述识别信息加入所述第一信息信号中；

第一记录装置，用于将包括由所述识别信息加入装置加入其中的所述识别信息在内的所述第一信息信号记录到第一记录媒体上；

存储大小检测装置，用于检测在预确定时刻保留在所述第一记录媒体中的空白区的存储大小；和

第二记录装置，用于在所述存储大小检测装置生成的检测结果指示保留在所述记录媒体中的空白区的存储大小等于或小于预确定值的情况下，将一个或多个所述第一信息信号的所有数据从所述第一记录媒体移动到第二记录媒体，并在所述第一记录媒体中留下信息信号，该信息信号存储在包括在所述移动的第一信息信号的每一个中的信号分段中并由所述识别符识别，作为第二信息信号。

18.一种信息信号处理设备，包括：

特征信息检测装置，用于针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

识别信息生成装置，用于根据由所述特征信息检测装置生成的检测结果，生成用于识别所述第一信息信号的预确定信息信号的识别信息；

第一记录装置，用于将所述第一信息信号与第二信息信号一起记录到第一记录媒体上，所述第二信息信号是通过所述识别信息识别并包括在所述第一信息信号中的所述预确定信息信号；

存储大小检测装置，用于检测在预确定时刻保留在所述第一记录媒体中的空白区的存储大小；和

第二记录装置，用于在所述存储大小检测装置生成的检测结果指示保留在所述记录媒体中的空白区的存储大小小于预确定值的情况下，只将一个或更多的所述第一信息信号从所述第一记录媒体移动到第二记录媒体。

19.一种信息信号处理方法，包括如下步骤：

针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

根据有关所述第一信息信号的特征的所述检测的信息，生成用于识别所述第一信息信号的预确定信息信号的识别信息；

将所述生成的识别符加入所述第一信息信号中；

将包括加入其中的所述识别信息在内的所述第一信息信号记录到第一记录媒体上；

检测在预确定时刻保留在所述第一记录媒体中的空白区的存储大小；和

在检测结果指示保留在所述第一记录媒体中的空白区的存储大小小于预确定值的情况下，将一个或更多的所述第一信息信号的所有数据从所述第一记录媒体移动到第二记录媒体，并在所述第一记录媒体中留下信息信号，该信息信号存储在包括在所述移动的第一信息信号的每一个中的信号分段中并由所述识别信息识别，作为第二信息信号。

20.一种信息信号处理方法，包括如下步骤：

针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

根据有关所述第一信息信号的特征的所述检测的信息，生成用于识别所述第一信息信号的预确定信息信号的识别信息；

将所述第一信息信号与第二信息信号一起记录到第一记录媒体上，所述第二信息信号是由所述识别信息识别并包括在所述第一信息信号中的所述预确定信息信号；

检测在预确定时刻保留在所述第一记录媒体中的空白区的存储大小；和

在检测结果指示保留在所述第一记录媒体中的空白区的存储大小小于预确定值的情况下，只将一个或更多的所述第一信息信号的全部或一部分从所述第一记录媒体移动到第二记录媒体。

21.一种信息信号处理设备，包括：

特征信息检测装置，用于针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

相似画面分段检测装置，用于根据所述特征信息检测装置生成的检测结果，检测所述第一信息信号的相似画面分段；

信息信号生成装置，用于在按照所述相似画面分段检测装置生成的检测结果事先确定的位置上，生成与包括在所述第一信息信号中的一部分具有关联关系的第二信息信号；

关联信息生成装置，用于生成在时间方面或在位置方面将所述第一信息信号与所述第二信息信号相关联的关联信息；

记录装置，用于将所述第一信息信号、所述信息信号生成装置生成的所述第二信息信号、和所述关联信息生成装置生成的所述关联信息记录到记录媒体上；和

显示控制装置，用于以列表格式，按时间顺序，在显示设备上显示根据所述第二信息信号的信息段。

22.根据权利要求21所述的信息信号处理设备，还含有：

选择输入接收装置，用于接收根据以列表格式显示在所述显示设备上的所述第二信息信号选择至少一个画面的选择输入；和

再现控制装置，用于再现从与由所述选择输入接收装置接收的所述选择输入选择的所述画面相对应的位置开始的所述第一信息信号。

23.一种信息信号处理方法，包括如下步骤：

针对第一信息信号的每个预确定处理单元，检测有关将要记录的所述第一信息信号的特征的信息；

根据有关所述第一信息信号的特征的所述检测的信息，检测所述第一信息信号的相似画面分段；

从位于按照所述检测的相似画面分段事先确定的位置上的所述第一信息信号中生成与包括在所述第一信息信号中的一部分具有关联关系的第二信息信号；

生成在时间方面或在位置方面将所述第一信息信号与所述第二信息信号相关联的关联信息；

将所述第一信息信号、所述第二信息信号、和所述关联信息记录到记录媒体上；和

以列表格式，按时间顺序，在显示设备上显示根据所述第二信息信号的信息段。

24.根据权利要求23所述的信息信号处理方法，还含有如下步骤：

接收根据以列表格式显示在所述显示设备上的所述第二信息信号来选择至少一个画面的选择输入；和

再现从与由所述接收的选择输入选择的所述画面相对应的位置开始的所述第一信息信号。

25.一种信息信号处理设备，用于在完成了对每个预确定处理单元检测所述信息信号的特征，根据所述检测的特征将所述信息信号的分段分类成呈现所述特征的相似性的分段，和将用于识别所述分类的分段的识别符加入所述信息信号中的处理之后，再现记录到记录媒体上的信息信号，所述信息信号处理设备包括：

读取装置，用于读出记录在所述记录媒体上的所述信息信号；

执行命令输入接收装置，用于接收对执行特殊再现处理作出请求的命令输入；

模式选择装置，用于一旦通过所述执行命令输入接收装置接收到对执行特殊再现处理作出请求的命令输入，则根据有关加入到要从所述记录媒体再现的所述信息信号中的特性的信息或根据从用户接收的命令输入，从多种特殊再现模式中选择一种特殊再现模式；和

控制装置，用于按照所述模式选择装置选择的所述特殊再现模式，控制所述读取装置改变要从所述记录媒体中读出的所述信息信号的范围。

26.一种信息信号处理方法，用于在完成了对每个预确定处理单元检测所述信息信号的特征，及根据所述检测的特征将所述信息信号的分段分类成呈现所述特征的相似性的分段的处理之后，再现记录到记录媒体上的信息信号，所述信息信号处理方法包括如下步骤：

接收对执行特殊再现处理作出请求的命令输入；

一旦接收到对执行特殊再现处理作出请求的命令输入，则根据有关加入到要从所述记录媒体再现的所述信息信号中的特性的信息或根据从用户接收的命令输入，从多种特殊再现模式中选择一种特殊再现模式；和

按照所述选择的特殊再现模式，执行控制以改变要从所述记录媒体中读出的所述信息信号的范围。

27.一种信息信号处理设备，用于在完成了对每个预确定处理单元检测所述信息信号的特征，根据所述检测的特征将所述信息信号的分段分类成呈现所述特征的相似性的相似画面分段，和将用于识别所述分类的分段的识别符加入所述信息信号中的处理之后，再现记录到记录媒体上的信息信号，所述信息信号处理设备包括：

执行命令输入接收装置，用于接收对执行特殊再现处理作出请求的命令输入；

读取装置，用于读出正在从所述记录媒体中再现的所述信息信号；和

再现控制装置，用于一旦通过所述执行命令输入接收装置接收到对执行特殊再现处理作出请求的所述命令输入，则执行控制，从所述记录媒体中再现作为所述信息信号的分段的所述读取装置从所述记录媒体中读出的所述分类的分段的每一个的一些部分，其中，从所述记录媒体中再现的所述一些部分的每一个具有等于预确定设置的分段长度的长度并相互分开达预确定间隔分段长度。

28.根据权利要求27所述的信息信号处理设备，还含有重要分段检测装置，用于从包括在所述信息信号中的分段当中检测重要分段，作为呈现所述特征的相似性的所述分段，其中，所述再现控制装置设置这样的再现分段，以使所述再现分段具有等于所述预确定设置的分段长度的长度并包括所述重要分段检测装置检测的所述重要分段。

29.一种信息信号处理方法，用于在完成了对每个预确定处理单元检测所述信息信号的特征，根据所述检测的特征将所述信息信号的分段分类成呈现所述特征的相似性的相似画面分段，和将用于识别所述分类的分段的识别符加入所述信息信号中的处理之后，再现记录到记录媒体上的信息信号，所述信息信号处理方法包括如下步骤：

接收对执行特殊再现处理作出请求的命令输入；

一旦接收到对执行特殊再现处理作出请求的所述命令输入，则读出正在从所述记录媒体中再现的所述信息信号；和

一旦接收到对执行特殊再现处理作出请求的所述命令输入，则执行控制，从所述记录媒体中再现作为所述信息信号的分段的从所述记录媒体中读出的所述分类的分段的每一个的一些部分，其中，从所述记录媒体中再现的所述一些部分的每一个具有等于预确定设置的分段长度的长度并相互分开达预确定间隔分段长度。

30.根据权利要求29所述的信息信号处理方法，还含有如下步骤：从包括在所述信息信号中的分段当中检测重要分段，由此，设置这样的再现分段，以使所述再现分段具有等于所述预确定设置的分段长度的长度并包括所述重要分段检测装置检测的所述检测的重要分段。

Images