CN1551105A - 信号处理装置 - Google Patents

Abstract

本发明提供一种信号处理装置，能够在编辑被编码后的声音信号时，不需进行将声音信号解码的处理，减少编辑点的异常声音的发生。记录再现单元再现包括按照用于控制声音信号的振幅值的归一化信息而编码后的声音信号和上述归一化信息的声音信号序列。归一化信息变更单元变更所再现的上述声音信号序列的上述归一化信息。由上述归一化信息变更单元变更第1归一化信息和第2归一化信息的至少任一方，使得上述第1归一化信息的值和上述第2归一化信息的值相一致；上述第1归一化信息对应于所再现的上述声音信号序列的第1声音信号序列的第1编码声音信号，上述第2归一化信息对应于所再现的上述声音信号序列的第2声音信号序列的第2编码声音信号。

Description

信号处理装置

技术领域

本发明涉及信号处理装置，特别涉及执行编码声音信号的处理的信号处理装置。

背景技术

以往，有能够以由多个声音采样构成的声音帧为单位把声音信号进行编码，把编码声音信号与编码活动图像信号多路化地记录的数码摄像机。如果是具有编辑所拍摄的场景的编辑功能的数码摄像机，则以活动图像的帧单位或者以汇总了活动图像的多个帧的组单位进行编辑(例如，参照日本特开2000-175139号公报。)

但是，在上述以往技术中，因为是进行以活动图像的帧为基准的编辑，所以通常对于与活动图像的帧不同步的声音信号，必须进行对声音信号一次解码，在编辑后再次进行编码的处理。另外，在上述以往技术中，为了抑制音质恶化及为了减少声音信号的处理量，对声音信号也进行以作为编码单位的声音帧为单位的编辑，但是由于没有特别地进行关于声音信号的振幅值控制的处理，因此存在在编辑点(不同的2个场景的连接部分)发生异常声音这样的问题。

发明内容

本发明的目的在于，提供能够在编辑被编码后声音信号时，不需要进行将声音信号解码的处理，减少编辑点中的异常声音的发生的信号处理装置。

另外，本发明的其它目的在于，提供即使在连续再现不同场景的声音时，也能够防止在场景的切换部分中发生异常声音的信号处理装置。

为了达到上述目的，根据本发明第1方案，提供一种信号处理装置，处理编码后的声音信号，包括：再现装置，再现声音信号序列，该声音信号序列包括按照用于控制声音信号的振幅值的归一化信息而编码后的声音信号和上述归一化信息；变更装置，变更由该再现装置所再现的上述声音信号序列的上述归一化信息；其中，上述变更装置变更第1归一化信息的值和第2归一化信息的值的至少一个，使得上述第1归一化信息的值和上述第2归一化信息的值一致；上述第1归一化信息对应于由上述再现装置再现出的上述声音信号序列的第1声音信号序列的第1编码声音信号，上述第2归一化信息对应于由上述再现装置再现出的上述声音信号序列的第2声音信号序列的第2编码声音信号。

优选的是，上述信号处理装置还包括：记录装置，把编码声音信号和归一化信息记录在记录介质中；以及控制装置，控制上述记录装置，使得将由上述变更装置变更后的归一化信息取代变更前所记录的归一化信息，记录到上述记录介质中。

更优选的是，上述记录介质是磁带，上述第1声音信号序列和上述第2声音信号序列分别记录在上述磁带上的多个记录道中；上述变更装置具有存储从上述多个记录道的预定数量的记录道中再现出的上述第1和第2声音信号序列的存储器，变更在上述存储器中存储的第1和第2声音信号序列的至少一方中所包含的归一化信息。

另外，更优选的是，上述控制装置控制上述记录装置，使得从上述存储器中读出包括由上述变更装置变更后的归一化信息的预定数量的记录道的量的第1和第2声音信号序列，在与上述预定数量的记录道对应的记录道中盖写地记录上述所读出的第1和第2声音信号序列内的变更了归一化信息的任一方。

另外，更优选的是，接着上述第1声音信号序列，将上述第2声音信号序列记录在上述磁带上。

优选的是，上述再现装置接着上述第1声音信号序列而再现上述第2声音信号序列，上述变更装置变更紧邻上述第1编码声音信号和上述第2编码声音信号的再现切换位置之前的上述第1归一化信息，和紧邻上述再现切换位置之后的上述第2归一化信息的至少任一方。

更优选的是，编码后的声音信号，是按由预定数量的声音采样构成的声音帧单位来对声音信号进行编码的；上述变更装置变更上述再现切换位置之前以及之后的至少任一方中的预定数量的上述声音帧的归一化信息。

优选的是，上述再现装置接着上述第1声音信号序列地再现上述第2声音信号序列；上述变更装置根据紧邻上述再现切换位置之前的上述第1归一化信息的值，变更紧邻上述第1编码声音信号和上述第2编码声音信号的再现切换位置之后的上述第2归一化信息。

更优选的是，上述信号处理装置还包括解码装置，对由上述再现装置再现出的声音信号序列进行解码；上述解码装置按照由上述变更装置变更后的第2归一化信息，对在紧接上述再现切换位置之后所再现的第2编码声音信号进行解码。

另外，优选的是，上述信号处理装置还包括再现控制装置，控制上述再现装置，使得按照表示上述第1编码声音信号和第2编码声音信号的再现顺序的播放列表数据，再现上述第1编码声音信号和上述第2编码声音信号。

另外，优选的是，上述变更装置把上述第1归一化信息和上述第2归一化信息中较小一方的值变更为较大一方的值。

另外，优选的是，上述变更装置在上述第1归一化信息的值和第2归一化信息的值都小于预定值的情况下，把上述第1归一化信息和第2归一化信息都变更为上述预定值。

另外，优选的是，上述信号处理装置还包括记录装置，把编码声音信号和归一化信息记录在记录介质中；该记录装置将上述第1声音信号序列与表示第1场景的图像信号一起记录，将上述第2声音信号序列与表示第2场景的图像信号一起记录。

另外，优选的是，上述编码声音信号是根据对多个频带的每一个独立地确定的上述归一化信息而被编码的；上述变更装置把上述多个频带的归一化信息全部进行变更。

为了达到上述的目的，根据本发明的第2方案，提供一种信号处理装置，包括：输入装置，输入声音信号；编码装置，按照用于控制上述声音信号的振幅值的归一化信息，对由上述输入装置输入的声音信号进行编码；记录装置，对记录介质记录由被上述编码装置编码后的声音信号和归一化信息构成的声音信号序列；控制装置，对于记录了由被上述编码装置编码后的声音信号和归一化信息构成的第1声音信号序列的上述记录介质，重新在记录第2声音信号的连续记录模式下，根据上述第2声音信号的记录开始的指示，控制上述编码装置，使得基于从上述记录介质中的紧邻上述第2声音信号的记录开始位置之前的位置起再现出的上述第1声音信号序列所包含的归一化信息，对由上述输入装置输入的第2声音信号进行编码。

另外，优选的是，上述编码装置把上述所输入的声音信号分割为多个频带，对上述多个频带的每一个独立地确定上述归一化信息，对上述声音信号进行编码；上述控制装置控制上述编码装置，使得基于与紧邻上述记录开始位置之前的归一化信息具有相同值的归一化信息，对上述多个频带的第2声音信号进行编码。

另外，优选的是，上述记录装置进而将编码后的活动图像信号与上述声音信号一起记录在上述记录介质中，上述记录装置在与上述第1声音信号一起记录的活动图像信号的编码单位和上述第1声音信号的编码单位一致的定时，与上述第2声音信号一起，开始上述编码后的活动图像信号的记录。

为了达到上述目的，根据本发明的第3方案，提供一种再现设备，包括：再现装置，从记录介质再现包括多个声音信号和归一化信息的多个声音信号序列，所述多个声音信号是按照用于分别控制声音信号的振幅值的归一化信息进行编码后的声音信号，所述归一化信息是在上述多个声音信号的编码时所使用的；解码装置，对由上述再现装置再现出的声音信号序列的声音信号进行解码；以及控制装置，控制上述解码装置，使得在按照表示上述记录介质中所记录的声音信号的再现顺序的播放列表数据，一边切换上述多个声音信号一边进行再现的播放列表再现模式中，基于在紧接上述声音信号切换之前再现出的声音信号序列中所包含的归一化信息，对在紧接上述切换之后所再现的声音信号进行解码。

优选的是，上述控制装置控制上述解码装置，使得在紧接上述切换之后的预定期间内，根据紧接上述切换之前再现出的声音信号序列中所包含的归一化信息，对在紧接上述切换之后所再现的声音信号进行解码，在经过上述预定期间以后，根据紧接上述切换之后再现的声音信号序列中所包含的归一化信息进行解码。

另外，优选的是，上述声音信号按分别由预定数量的声音采样构成的声音帧单位进行编码，上述控制装置基于紧接上述切换之前的声音帧的归一化信息，对紧接上述切换之后的预定数量的上述声音帧进行解码。

另外，优选的是，上述声音信号根据对多个频带的每一个独立地确定的归一化信息进行编码，上述控制装置控制上述解码装置，使得基于紧接上述切换之前的归一化信息，对所有的上述多个频带的声音信号进行解码。

本发明的上述以外的目的、特征及优点，可以通过下面的参照附图进行的详细说明而得到明确。

附图说明

图1是表示本发明第1实施形式的具备信号处理装置的VTR的结构的框图。

图2表示编码声音信号的结构。

图3A、3B表示编码活动图像信号和编码声音信号。

图4A、4B用于说明归一化信息的变更处理。

图5A～5F表示再现后的声音信号。

图6是表示归一化信息的变更处理的流程图。

图7表示MPEG流。

图8表示带上记录道的状况。

图9是表示本发明第2实施形式的具备信号处理装置的VTR的结构的框图。

图10是表示连续拍摄时的处理的流程图。

图11是本发明第3实施形式的具备信号处理装置的盘记录器的结构的框图。

图12是表示播放列表再现模式时的归一化信息变更处理的流程图。

具体实施方式

以下，参照附图说明本发明的实施形式。

图1是表示具备本发明第1实施形式的信号处理装置的数字VTR100的结构的框图。

图1中，数字VTR100具备摄像单元101，图像编码单元102，麦克风103，声音编码单元104，流形成单元105，记录再现单元106，流分析单元107，存储器108，归一化信息变换单元109，图像解码单元110，显示单元111，声音解码单元112，扬声器113，控制单元114和操作单元115。

数字VTR100具有如下功能：以MPEG方式对所拍摄的活动图像信号进行编码，并以声音帧单位按照MPEG音频的形式把从麦克风得到的声音信号编码，把编码活动图像信号和声音信号分割为预定数量的数据包后，进行多路化，对带T进行记录再现。

摄像单元101由摄像元件(CCD)等构成，输出与所拍摄的被摄物体图像相对应的活动图像信号。图像编码单元102按照MPEG形式对从摄像单元101输出的图像信号进行编码。麦克风103输出与所输入的声音相对应的声音信号。声音编码单元104按照MPEG音频形式对从麦克风103输出的声音信号进行编码。流形成单元105把图像码单元102所输出的编码图像信号和声音编码单元104所输出的编码声音信号多路化，生成MPEG2-TS或者MPEG2-PS形式等的多路化信号序列。记录再现单元106把由流形成单元105生成的多路化信号序列分别添加一定数量的数据、同步信号或者ID，分割为多个同步块，并实施纠错编码或者数字调制处理等，变换成适于在带T中记录的形式。而且，通过未图示的旋转头在带上如图8所示那样形成多个记录道，记录多路化信号序列。

另外，记录再现单元106从带T中再现多路化信号序列，输出到流分析单元107。流分析单元107对由记录再现单元106再现出的数据实施解调处理和纠错处理，通过检测各同步块而分析多路化信号序列的内容，分离为编码图像信号和编码声音信号。而且，把编码图像信号输出到图像解码单元110中，并把编码声音信号输出到声音解码单元112。另外，流分析单元107如后所述，根据来自控制单元114的指示，存储从记录再现单元106接收的多路化信号序列。另外，存储器108具有能够存储多个记录道的量的多路化信号序列的容量。归一化信息变换单元109根据来自控制单元114的指示，改写存储器108所存储的多路化信号序列中的编码声音信号的归一化信息。

图像解码单元110对流分析单元107所输出的编码图像信号进行解码，输出到显示单元111。显示单元111显示按照图像解码单元110所输出的图像信号的图像，或者按照由摄像单元101得到的图像信号的图像。声音解码单元112把流分析单元107输出的编码声音信号解码，输出到扬声器113。扬声器113输出与声音解码单元112所输出的声音信号相对应的声音。

控制单元114根据操作单元115的指示，控制数字VTR100的各单元的动作。控制单元115具有电源开关和记录开关等用户可操作的各种开关。

其次，说明数字VTR100中的图像信号和声音信号的记录动作。

由图像编码单元102按照MPEG方式对由摄像单元101得到的活动图像信号进行编码，输出到流形成单元105。另一方面，由声音解码单元104按照MPEG音频形式对从麦克风103输入的声音信号进行编码，输出到流形成单元105。另外，由摄像单元101得到的活动图像信号还输出到显示单元111，在记录暂停状态下，在显示单元111中显示由摄像单元101得到的活动图像。

声音编码单元104把所输入的左右2个声道的立体声音信号分割为n个、例如32个频带，在每一个频带中分别以由预定数量的声音采样构成的声音帧单位对声音信号进行编码。图2表示一个频带的声音帧的一个例子。各声音帧包含有把各子频带的归一化系数置换为相对应的归一化信息索引的归一化信息。归一化信息是把各帧内的采样中、具有最大振幅的采样作为1，把其它采样的振幅归一化时得到的信息，是用于控制声音信号的振幅值的增减的信息。而且，与归一化系数相对应，使得归一化系数越大则取越小的值，反之，归一化系数越小则取越大的值。

另外，图2所示的一个声音帧的数据由首部201，位分配202，归一化信息203和子频带信号204构成。

在该状态下，如果通过操作单元115指示记录开始，则控制单元114对流形成单元105进行控制，使得开始编码活动图像信号与编码声音信号的多路化处理，并向记录再现单元106发出指示，使得开始记录从流形成单元105输出的多路化信号序列。

流形成单元105把由图像编码单元102编码了的编码活动图像信号和由声音编码单元104编码了的编码声音信号多路化，生成多路化信号序列，输出到记录再现单元106。

这里，在MPEG2方式中，作为多路化信号序列，规定MPEG2-TS(Transport Stream)形式。在MPEG2-TS中，把编码活动图像信号和编码声音信号分别分割为由预定数量的数据(188字节)构成的数据包(TS包)中，通过把各TS包多路化而生成多路化信号序列。参照图7，说明由流形成单元105生成的MPEG2-TS。

图7中，701是编码活动图像信号，702是编码声音信号。如图7所示，把编码图像信号701和编码声音信号702分别分割成每个188字节，生成TS包，按适当的定时把图像信号的TS包与声音信号的TS包多路化，由此形成多路化信号序列703。

记录再现单元106把从流形成单元105输出的多路化信号序列变换为用于记录在带T上的信号，记录在带T上。另外，记录再现单元106通过未图示的机构以预定的速度输送带T，同时如图8所示，用旋转头在带T上形成多个记录道t，记录多路化信号序列。

在本实施形式中，在相互不同的帧周期内对活动图像信号和声音信号进行编码。图3A、3B表示编码后的编码活动图像信号和编码声音信号的编码周期。在MPEG编码中，以称为GOP(图像组)的预定数量的帧构成的组为单位进行编码。所谓GOP是由1帧的I图像和预定数量的P、B图像构成的编码的单位，能够以该GOP的单位进行解码。另一方面，声音信号以与活动图像信号的GOP周期非同步的预定数量的采样构成的声音帧为单位进行编码。

图3A表示记录在带T上的场景A的编码活动图像信号301和编码声音信号302的帧周期，图3B表示场景B的编码活动图像信号303和编码声音信号304的帧周期。图3A、3B中，301a～301e以及303a～303e分别是一个GOP的数据，302、304中的一个块分别是一个声音帧的数据。在图3A、图3B中，表示了编码活动图像信号的GOP与编码声音信号的帧每4GOP相一致的例子。

其次，说明这样记录的活动图像信号和声音信号的再现处理。

如果通过操作单元115指示进行再现，则控制单元114控制记录再现单元106，输送带T，再现记录在多个记录道中的信号。而且，对所再现出的信号实施纠错等的处理，输出到流分析单元107。

流分析单元107从所再现的多路化信号序列中检测出编码活动图像信号和编码声音信号，把编码活动图像信号输出到图像解码单元110，并把编码声音信号输出到声音解码单元112。图像解码单元110对所输入的编码活动图像信号进行解码，输出到显示单元111。显示单元111显示基于从图像解码单元110输出的解码活动图像信号的再现图像。另外，声音解码单元112把编码声音信号解码，输出到扬声器113。扬声器113输出基于所输入的解码声音信号的再现后的声音。

接着，说明连续拍摄(插入记录)时的处理。

这里，所谓连续拍摄，是例如对记录了图3A的场景A的信号的带T，新记录场景B的信号的处理。

首先，用户确认来自带T的再现图像的同时操作操作单元115，在希望开始连续拍摄的位置指示暂时停止再现。控制单元114如果有暂时停止的指示，则对记录再现单元106进行指示，使得暂时停止带T的输送，并从流分析单元107取得停止位置的记录道编号的信息，存储在控制单元114内部的寄存器中。

在该状态下，如果用户通过操作单元115指示开始记录，则控制单元114对记录再现单元106进行指示，使得把带T回卷预定量以后开始再现。开始再现后，控制单元114监视从流分析单元107输出的记录道编号信息，并控制流形成单元105和记录再现单元106，使得在之前存储的带T的停止位置后，从所再现的编码活动图像信号的GOP周期与声音帧的周期一致的定时的记录道的下一个记录道起，开始记录与场景B相对应的编码活动图像信号以及编码声音信号。控制单元114从记录再现单元106接受开始了连续拍摄记录的记录道编号的信息，存储在内部的寄存器中。另外，控制单元114还从记录再现单元106接受记录了连续拍摄开始后的最初的声音帧的信号的记录道编号的信息，存储在寄存器中。该连续拍摄开始记录道的信息以及最初的声音帧的记录道编号信息在后述的归一化信息变更处理中使用。

例如，在图3A中，在301f的定时指示再现暂时停止后，开始了连续拍摄的情况下，由于在GOP301d以及声音帧302a的定时，GOP的周期与声音帧的周期一致，因此从记录了GOP301d以及声音帧302a的数据的记录道的下一个记录道起开始记录。

另外，新记录的场景，例如图3B中的场景B的信号的起始部分成为GOP303a的起始与声音帧304a的起始的定时相一致的状态。然后，继续记录新的场景，根据记录停止的指示停止记录。

其次，说明这样连续拍摄的编码声音信号中的、连续拍摄位置(编辑点)前后的归一化信息的变更处理。

图6是表示归一化信息的变更处理的流程图。

由连续拍摄进行的记录结束后，控制单元114控制记录再现单元106，把带T回卷到连续拍摄开始(编辑点)记录道的预定量之前的位置，开始再现(S601)。连续拍摄开始记录道的信息，如上述那样，在连续拍摄开始时存储在控制单元114内的寄存器中。

而且，控制流分析单元107，对存储器108输出从带T再现出的多路化信号序列。存储器108存储从流分析单元107顺次输出的数个记录道的量，例如记录了2帧的量的图像信号的n个记录道的量的多路化信号序列。从而，在存储器108中始终存储最新的n个记录道的量的多路化信号序列的数据。

而且，控制单元114控制记录再现单元106，使得在监视从流分析单元107输出的记录道编号信息，检测出连续拍摄开始位置的记录道的情况下，进而持续进行再现，直到再现记录了连续拍摄开始后的最初的声音帧的数据的记录道的数据为止。而且，在再现了记录有最初的声音帧的数据的记录道的数据以后，控制记录再现单元106，停止带T的输送。

因此，记录了连续拍摄位置前后的声音帧的数据的记录道中的多路化信号序列的数据全部被存储在存储器108中(S602)。

其次，归一化信息变更单元109接受来自控制单元114的指示，从存储在存储器108中的多路化信号序列分别检测出编辑点前后的声音帧的归一化信息D1、D2(S603)。如上述那样，归一化信息在归一化系数越大时取越小的值，反之归一化系数越小则取越大的值。另外，归一化信息变更单元109检测出归一化信息D1、D2中、编辑点前后的声音帧中的所有的子频带的归一化信息。

而且，判别各声音帧的归一化信息D1与D2是否都小于预定值C(S604)，如果小，则把D1、D2中的所有子频带的归一化信息的值变更为预定值C(S605)。

而且，归一化信息变换单元109在判断为归一化信息D1的值与归一化信息D2的值的某一个小于预定值C的情况下，把D1的值与D2的值进行比较，把较小一方的值变更为较大一方的值(S606)。

另外，预定值C是本申请人在实验中求出的值。

图4A表示把连续拍摄开始前后的声音帧的归一化信息中、较小一方的值变更为较大一方的值的情况。图4A的A表示变更前的归一化信息D1，B表示变更前的归一化信息D2，B’表示变更后的归一化信息D2。另外，图4B的A表示变更前的归一化信息D1，B表示变更前的归一化信息D2，A’表示变更后的归一化信息D1，B’表示变更后的归一化信息D2。

这样，由归一化信息变换单元109进行了归一化信息变换处理以后，控制单元114控制记录再现单元106，使带T回卷到紧邻连续拍摄开始记录道之前以后，开始带T的再现。而且，控制流形成单元105，在实施了归一化信息的变更处理以后，读出存储在存储器108中的n个记录道的量的多路化信号序列，顺次记录到带T中原来的记录道中(S607)。

这样，依据本实施形式，进行变更使得在连续拍摄位置(编辑点)的前后所记录的声音帧的归一化信息的值一致，由此，在再现时能够在该连续拍摄位置前后使声音信号的振幅一致。因此，不需要像以往那样，把连续拍摄位置前后的声音信号解码、变更了声音信号的振幅以后再次进行编码，能够防止连续拍摄部分中的异常声音的发生。

另外，在本实施形式中，变更了紧邻编辑点之前和之后的一对声音帧的归一化信息，但通过遍及连续的多个声音帧，连续地变更归一化信息，能够更有效地减少编辑点中的异常声音的发生。参照图5A～5F说明这样变更了多个声音帧的归一化信息时的编辑点前后的声音信号的变化。

图5B中所示的501表示归一化信息变更前的场景A(图5A)的声音信号的状态，图5D所示的502表示归一化信息变更前的场景B(图5C)的声音信号的状态，图5F所示的505表示归一化信息变更后的编辑点前后的场景A以及场景B(图5E)的声音信号的状态。另外，图5A～5C中，301～304分别表示场景A以及场景B的编码活动图像信号以及编码声音信号，503、504分别表示连续拍摄后的编码活动图像信号和编码声音信号。

如505所示那样，通过变更紧邻编辑点之后的声音帧的归一化信息，在编辑点前后中不存在声音信号的振幅发生很大变化的情况，能够防止发生异常声音。

其次，说明本发明的第2实施形式。

在上述的第1实施形式中，在进行了连续拍摄以后，变更了连续拍摄位置(编辑点)前后的声音帧中的归一化信息的值，但在本实施形式中，当进行连续拍摄时，根据紧邻连续拍摄开始位置之前的声音帧的归一化信息，确定连续拍摄开始部分的声音帧的归一化信息的值。

图9是表示本实施形式的具备信号处理装置的数字VTR900的结构的框图，具有与图1的数字VTR100几乎相同的结构。图9中，对与图1的数字VTR100相同的结构标注相同的编号并省略详细的说明。

在图9的VTR900中，基本的记录、再现处理与图1的VTR100相同，因此省略说明。在本实施形式中，连续拍摄时的处理不同。

即，在本实施形式中，在连续拍摄时，检测紧邻连续拍摄开始位置之前的声音帧的归一化信息，由归一化信息变换单元901根据该之前紧邻的声音帧中的归一化信息，控制由声音编码单元104进行的编码。以下，说明连续拍摄时的处理。

图10是表示本实施形式中的连续拍摄时的处理的流程图。

在本实施形式中，在进行连续拍摄时，首先，用户确认来自带T的再现图像，在希望开始连续拍摄的位置操作操作单元115，指示再现暂时停止。控制单元114如果收到暂时停止的指示，则对记录再现单元106进行指示，使得暂时停止带T的输送，并从流分析单元107接受停止位置的记录道编号的信息，存储在内部的寄存器中。

在该状态下，如果用户通过操作单元115指示记录开始，则控制单元114对记录再现单元106进行指示，使得把带T回卷预定量(S1001)以后，开始再现(S1002)。再现开始后，控制单元114监视从流分析单元107输出的记录道编号信息，在之前存储的带T的停止位置后，检测出编码活动图像信号的GOP周期与声音帧的周期相一致的定时的声音帧的数据(S1003)，并控制流分析单元107，使得送往归一化信息变换单元901(S1004)。这时，发送到归一化信息变换单元901中的声音帧的数据成为紧邻连续拍摄开始位置之前的声音帧的数据。

归一化信息变换单元901根据来自控制单元114的指示，从由流分析单元107发送来的声音帧的数据中检测出归一化信息，控制声音编码单元104，使得用与该归一化信息的值相同的值，在预定数量的声音帧期间，进行声音信号的编码(归一化)处理(S1005)。

而且，控制单元114控制流形成单元105以及记录再现单元106，使得在带T的停止位置之后，从编码活动图像信号的GOP周期与声音帧的周期一致的定时的记录道的下一个记录道起开始记录(S1006)。归一化信息变换单元901在连续拍摄开始以后，在对预定数量的声音帧的信号编码以后，控制声音编码单元104，使得用任意的归一化信息进行编码。

而且，通过操作单元115的操作，由控制单元114指示记录停止(S1007)后，停止图像、声音信号的记录(S1008)。

这样进行了连续拍摄的结果，所再现的声音信号的状态如图5A～5F所示，即，在连续拍摄的前后不发生异常声音。

其次，说明本发明的第3实施形式。

在本实施形式中，是取代带T，对向盘介质记录多路化信号序列的盘记录器适用了本发明的情况。

图11是表示本实施形式的具备信号处理装置的盘记录器1100的结构的框图。在本实施形式中，也是用MPEG方式把活动图像信号和声音信号编码并记录再现的结构。而且，摄像单元101、图像编码单元102、麦克风103、声音编码单元104、流形成单元105与图1的VTR100相同，把活动图像信号和声音信号编码，生成多路化信号序列。另外，流分析单元107、图像解码单元110、显示单元111、声音解码单元112、扬声器113也与图1的VTR100相同地进行动作，在本实施形式中，不同点是声音解码单元112在后述的播放列表再现时根据来自归一化信息变换单元1103的指示，对声音信号进行解码。

在图11中，记录再现单元1101对从流形成单元105输出的多路化信号序列添加同步信息、ID等，形成同步块，并实施纠错编码处理，变换成符合对盘D的记录格式的形态，记录到盘D中。在本实施形式中，作为盘D，使用DVD等磁光盘。

另外，记录再现单元1101根据控制单元1102的指示，从盘D再现数据，检测多路化信号序列，输出到流分析单元107。控制单元1102控制盘记录器1100的各部分。归一化信息变换单元1103在播放列表再现时，向声音解码单元112传送变换后的归一化信息，控制声音信号的解码处理。播放列表生成单元1104生成表示记录在盘D中的图像、声音数据的再现顺序的播放列表数据，输出到记录再现单元1101。记录再现单元1101也能够对盘D记录该播放列表数据。

其次，说明盘记录器1100中的记录处理。

由摄像单元101得到的活动图像信号由图像编码单元102按照MPEG方式编码，输出到流形成单元105。另一方面，从麦克风103输入的声音信号由声音编码单元104按照MPEG音频形式编码，输出到流形成单元105。另外，由摄像单元101得到的活动图像信号还输出到显示单元111，在记录暂停状态下，在显示单元111中显示由摄像单元101得到的活动图像。

在该状态下，如果通过操作单元115指示记录开始，则控制单元1102对流形成单元105进行控制，使得开始编码活动图像信号和编码声音信号的多路化处理，并对记录再现单元1101发出指示，使得开始记录从流形成单元105输出的多路化信号序列。

流形成单元105把由图像编码单元102编码了的活动图像信号和由声音编码单元104编码了的声音信号多路化，生成多路化信号序列，输出到记录再现单元1101。

记录再现单元1101把从流形成单元105输出的多路化信号序列变换为适合于记录到盘D中的形态，记录到盘D中。而且，如果有记录停止的指示，则控制单元1102指示记录再现单元1101停止记录。记录再现单元1101如果有记录停止的指示，则把从记录开始的指示到记录停止的指示期间记录在盘D中的一连串的多路化信号序列作为一个文件记录到盘D中，结束记录处理。

其次，说明这样记录的活动图像信号和声音信号的再现处理。

如果通过操作单元115进行了再现的指示，则控制单元1102控制再现记录单元1101，从盘D再现所指定的文件的数据。而且，对再现出的信号实施纠错等处理，检测多路化信号序列，输出到流分析单元107。

流分析单元107从所再现出的多路化信号序列中检测编码活动图像信号和编码声音信号，把编码活动图像信号输出到图像解码单元110，并把编码声音信号输出到声音解码单元112。图像解码单元110把所输入的编码活动图像信号解码，输出到显示单元111。显示单元111显示基于从图像解码单元110输入的解码图像信号的再现图像。另外，声音解码单元112把编码声音信号解码，输出到扬声器113。扬声器113输出基于所输入的解码声音信号的再现出的声音。

其次，说明使用了播放列表的编辑处理。

本实施形式的记录器1100具有编辑盘D中的图像、用表示声音信号的再现顺序的播放列表数据记录在盘D上的图像、声音信号的功能。

如果通过操作单元115指示编辑播放列表，则控制单元1102对显示单元111进行控制，使其显示播放列表编辑用的画面。而且，用户在确认该编辑用的画面的同时，通过操作单元115的操作，指定记录在盘D中的图像、声音数据的再现顺序。控制单元1102控制播放列表生成单元1104，生成表示所指定的再现顺序的播放列表数据。而且，如果通过操作单元115的操作而指示播放列表编辑结束，则把由播放列表生成单元104生成的播放列表数据输出到记录再现单元1101，作为一个文件记录在盘D中。

这样，在本实施形式中，生成表示再现顺序的播放列表数据，在再现时，按照该播放列表数据所记述的再现顺序，再现记录在盘D中的图像、声音数据，由此能够实现不需变更记录在盘D中的数据，按照用户指定的顺序再现图像、声音数据的编辑功能。

如果利用这样的播放列表，就能够连续地再现盘D中分开的位置上所记录的两个场景。

其次，说明遵从播放列表的再现处理。图12是表示播放列表再现处理的流程图。

通过操作单元115指定播放列表再现后，控制单元1102控制记录再现单元1101，再现所指定的播放列表数据的文件。再现后的播放列表数据经过流分析单元107而送往控制单元1102。控制单元1102确认所再现的播放列表数据的内容(S1201)，控制记录再现单元1101，使得按照由播放列表所指定的顺序从盘D中再现图像、声音数据(S1202)。

这样，根据播放列表再现图像、声音数据的同时，判别是否成为不同场景的切换位置(S1203)，如果是场景的切换位置，则控制单元1102控制归一化信息变更单元1103进行变更，使得把从切换后的场景起始处到预定数量的声音帧的归一化信息的值成为与切换之前的场景的最后的声音帧中的归一化信息的值相同的值，把变更后的结果输出到声音解码单元112。声音解码单元112根据归一化信息变更单元1103的指示，按照所变更后的归一化信息对场景切换之后的预定数量的声音帧进行解码(S1204)。然后，按照包含在所再现的编码声音信号中的归一化信息对声音信号进行解码。

而且，根据由播放列表指示的再现顺序的再现结束后，结束再现处理(S1205)。

这样，在本实施形式中，在按照播放列表再现多个不同场景的图像、声音信号时，检测场景的切换位置，进行变更使得切换之后的预定数量的声音帧的归一化信息的值成为与切换之前的声音帧的归一化信息相同的值，因此能够防止在场景切换位置中发生异常声音。

另外，在本实施形式中，使用了盘介质作为记录介质，但除此以外，也可以使用存储卡等随机存取介质等，具有同样的效果。

另外，在上述的各实施形式中，说明了对记录再现使编码活动图像信号与编码声音信号多路化后的多路化信号序列的装置适用了本发明的情况，而对于仅记录再现编码声音信号的装置也同样能够适用本发明。

另外，本发明既可适用于由多台设备构成的系统，也可适用于由一台设备构成的装置。

另外，把记录了实现上述实施形式功能的软件的程序代码(图6、图10、图12的流程图)的记录介质提供给系统或者装置，通过该系统或装置的计算机(或者CPU、MPU等)读出并执行保存在记录介质中的程序代码也能够实现本发明的目的。

这种情况下，从记录介质读出的程序代码本身就实现上述各实施形式的功能，存储了该程序代码的记录介质就构成本发明。

这种情况下，从记录了的程序代码的记录介质等直接提供上述程序代码，或者通过与从互联网、商用网络或局域网等连接的未图示的其它计算机或者数据库等下载来提供。

上述程序代码的形式可以由目标代码、由翻译器执行的程序代码、提供给OS(操作系统)的脚本数据等形式构成。

另外，作为用于提供程序代码的记录介质，可以使用例如软盘(Floppy：注册商标)，硬盘，磁光盘，CD-ROM，CD-R，CD-RW，DVD-ROM，DVD-RAM，DVD-RW，DVD+RW，磁带，非易失性的存储卡，ROM等。

另外，不仅是通过计算机执行所读出的程序代码来实现上述实施形式的功能的情况，基于该程序代码的指示，在计算机上运行的OS(操作系统)等进行实际处理的一部分或全部，根据该处理实现上述实施形式的功能的情况当然也包括在内。

进而，从记录介质读出的程序代码被写入到插在计算机中的功能扩展板或者与计算机连接的功能扩展单元所具备的存储器中后，根据该程序代码的指示，该功能扩展板或者功能扩展单元所具备的CPU等进行实际处理的一部分或者全部，根据该处理实现上述实施形式的功能的情况也包括在内。

Claims (23)

1.一种信号处理装置，处理编码后的声音信号，包括：

再现装置，再现声音信号序列，该声音信号序列包括按照用于控制声音信号的振幅值的归一化信息而编码后的声音信号和上述归一化信息；

变更装置，变更由该再现装置所再现的上述声音信号序列的上述归一化信息；

其中，上述变更装置变更第1归一化信息的值和第2归一化信息的值的至少一个，使得上述第1归一化信息的值和上述第2归一化信息的值一致，上述第1归一化信息对应于由上述再现装置再现出的上述声音信号序列的第1声音信号序列的第1编码声音信号，上述第2归一化信息对应于由上述再现装置再现出的上述声音信号序列的第2声音信号序列的第2编码声音信号。

2.根据权利要求1所述的信号处理装置，还包括：

记录装置，把编码声音信号和归一化信息记录在记录介质中；以及

控制装置，控制上述记录装置，使得将由上述变更装置变更后的归一化信息取代变更前所记录的归一化信息，记录到上述记录介质中。

3.根据权利要求2所述的信号处理装置，其特征在于：

上述记录介质是磁带，上述第1声音信号序列和上述第2声音信号序列分别记录在上述磁带上的多个记录道中，

上述变更装置具有存储从上述多个记录道的预定数量的记录道中再现出的上述第1和第2声音信号序列的存储器，变更在上述存储器中存储的第1和第2声音信号序列的至少一方中所包含的归一化信息。

4.根据权利要求3所述的信号处理装置，其特征在于：

上述控制装置控制上述记录装置，使得从上述存储器中读出包括由上述变更装置变更后的归一化信息的预定数量的记录道的量的第1和第2声音信号序列，在与上述预定数量的记录道对应的记录道中盖写地记录上述所读出的第1和第2声音信号序列内的变更了归一化信息的任一方。

5.根据权利要求3所述的信号处理装置，其特征在于：

接着上述第1声音信号序列，将上述第2声音信号序列记录在上述磁带上。

6.根据权利要求1所述的信号处理装置，其特征在于：

上述再现装置接着上述第1声音信号序列而再现上述第2声音信号序列，上述变更装置变更紧邻上述第1编码声音信号和上述第2编码声音信号的再现切换位置之前的上述第1归一化信息，和紧邻上述再现切换位置之后的上述第2归一化信息的至少任一方。

7.根据权利要求6所述的信号处理装置，其特征在于：

编码后的声音信号，是按由预定数量的声音采样构成的声音帧单位来对声音信号进行编码的；上述变更装置变更上述再现切换位置之前以及之后的至少任一方中的预定数量的上述声音帧的归一化信息。

8.根据权利要求1所述的信号处理装置，其特征在于：

上述再现装置接着上述第1声音信号序列地再现上述第2声音信号序列；上述变更装置根据紧邻上述再现切换位置之前的上述第1归一化信息的值，变更紧邻上述第1编码声音信号和上述第2编码声音信号的再现切换位置之后的上述第2归一化信息。

9.根据权利要求8所述的信号处理装置，其特征在于：

还包括解码装置，对由上述再现装置再现出的声音信号序列进行解码，

上述解码装置按照由上述变更装置变更后的第2归一化信息，对在紧接上述再现切换位置之后所再现的第2编码声音信号进行解码。

10.根据权利要求8所述的信号处理装置，其特征在于：

还包括再现控制装置，控制上述再现装置，使得按照表示上述第1编码声音信号和第2编码声音信号的再现顺序的播放列表数据，再现上述第1编码声音信号和上述第2编码声音信号。

11.根据权利要求1所述的信号处理装置，其特征在于：

上述变更装置把上述第1归一化信息和上述第2归一化信息中较小一方的值变更为较大一方的值。

12.根据权利要求1所述的信号处理装置，其特征在于：

上述变更装置在上述第1归一化信息的值和第2归一化信息的值都小于预定值的情况下，把上述第1归一化信息和第2归一化信息都变更为上述预定值。

13.根据权利要求1所述的信号处理装置，其特征在于：

还包括记录装置，把编码声音信号和归一化信息记录在记录介质中；该记录装置将上述第1声音信号序列与表示第1场景的图像信号一起记录，将上述第2声音信号序列与表示第2场景的图像信号一起记录。

14.根据权利要求1所述的信号处理装置，其特征在于：

上述编码声音信号是根据对多个频带的每一个独立地确定的上述归一化信息而被编码的；上述变更装置把上述多个频带的归一化信息全部进行变更。

15.一种信号处理装置，包括：

输入装置，输入声音信号；

编码装置，按照用于控制上述声音信号的振幅值的归一化信息，对由上述输入装置输入的声音信号进行编码；

记录装置，对记录介质记录由被上述编码装置编码后的声音信号和归一化信息构成的声音信号序列；

控制装置，对于记录了由被上述编码装置编码后的声音信号和归一化信息构成的第1声音信号序列的上述记录介质，重新在记录第2声音信号的连续记录模式下，根据上述第2声音信号的记录开始的指示，控制上述编码装置，使得基于从上述记录介质中的紧邻上述第2声音信号的记录开始位置之前的位置起再现出的上述第1声音信号序列所包含的归一化信息，对由上述输入装置输入的第2声音信号进行编码。

16.根据权利要求15所述的信号处理装置，其特征在于：

上述控制装置控制上述编码装置，使得基于具有与紧邻上述记录开始位置之前的归一化信息的值相同值的归一化信息，对上述第2声音信号进行编码。

17.根据权利要求15所述的信号处理装置，其特征在于：

上述控制装置控制上述编码装置，使得在从上述第2声音信号的记录开始的预定期间内，用与紧邻上述记录开始位置之前的归一化信息具有相同值的归一化信息进行上述第2声音信号的编码，在从上述记录开始经过预定期间后，用任意确定的归一化信息进行上述第2声音信号的编码。

18.根据权利要求15所述的信号处理装置，其特征在于：

上述编码装置把上述所输入的声音信号分割为多个频带，对上述多个频带的每一个独立地确定上述归一化信息，对上述声音信号进行编码；上述控制装置控制上述编码装置，使得基于与紧邻上述记录开始位置之前的归一化信息具有相同值的归一化信息，对上述多个频带的第2声音信号进行编码。

19.根据权利要求15所述的信号处理装置，其特征在于：

上述记录装置进而将编码后的活动图像信号与上述声音信号一起记录在上述记录介质中，

上述记录装置在与上述第1声音信号一起记录的活动图像信号的编码单位和上述第1声音信号的编码单位一致的定时，与上述第2声音信号一起，开始上述编码后的活动图像信号的记录。

20.一种再现设备，包括：

再现装置，从记录介质再现包括多个声音信号和归一化信息的多个声音信号序列，所述多个声音信号是按照用于分别控制声音信号的振幅值的归一化信息进行编码后的声音信号，所述归一化信息是在上述多个声音信号的编码时所使用的；

解码装置，对由上述再现装置再现出的声音信号序列的声音信号进行解码；以及

控制装置，控制上述解码装置，使得在按照表示上述记录介质中所记录的声音信号的再现顺序的播放列表数据，一边切换上述多个声音信号一边进行再现的播放列表再现模式中，基于在紧接上述声音信号切换之前再现出的声音信号序列中所包含的归一化信息，对在紧接上述切换之后所再现的声音信号进行解码。

21.根据权利要求20所述的再现设备，其特征在于：

上述控制装置控制上述解码装置，使得在紧接上述切换之后的预定期间内，根据紧接上述切换之前再现出的声音信号序列中所包含的归一化信息，对在紧接上述切换之后所再现的声音信号进行解码，在经过上述预定期间以后，根据紧接上述切换之后再现的声音信号序列中所包含的归一化信息进行解码。

22.根据权利要求20所述的再现设备，其特征在于：

上述声音信号按分别由预定数量的声音采样构成的声音帧单位进行编码，上述控制装置基于紧接上述切换之前的声音帧的归一化信息，对紧接上述切换之后的预定数量的上述声音帧进行解码。

23.根据权利要求20所述的再现设备，其特征在于：

上述声音信号根据对多个频带的每一个独立地确定的归一化信息进行编码，上述控制装置控制上述解码装置，使得基于紧接上述切换之前的归一化信息，对所有的上述多个频带的声音信号进行解码。

Images