CN101076121B - 流生成装置、成像装置、数据处理装置和流生成方法 - Google Patents

Abstract

本发明提供了生成包括运动图像数据的复用流的流生成装置。该装置包括：运动图像编码处理部，通过对允许根据期望定时在基准帧速率和一个以上不同于该基准帧速率的帧速率之间切换的运动图像数据进行编码来生成运动图像流；时间控制信息生成部，为输入到运动图像编码处理部的每个图像帧，生成具有与该基准帧速率相关的图像帧显示周期所对应的一定间隔的再生时间控制信息；以及复用处理部，通过复用运动图像流和再生时间控制信息来生成复用流。

Description

流生成装置、成像装置、数据处理装置和流生成方法

相关申请的交叉参考

本发明包含于2006年5月17日向日本专利局提交的日本专利申请JP 2006-137888的主题，其全部内容结合于本文中作为参考。

发明领域

本发明涉及一种用于生成包括运动图像数据的复用流的流生成装置、一种具有这种类型的流生成功能的成像装置、一种用于处理包括运动图像数据的输入数据的数据处理装置以及一种流生成方法。更特别地，本发明涉及能够处理允许帧速率切换的运动图像数据的流生成装置、成像装置、数据处理装置以及流生成方法。

背景技术

近年来，将运动图像作为数字数据处理已经众所周知，使得诸如可以把拍摄到的运动图像记录为数字数据的数码摄像机的成像装置和可以把电视广播视频等记录为数字数据的数字录像机得到快速普及。根据用于此类装置的运动图像压缩/编码方案，用于再生输出和进行解码的时间控制信息通常和经过压缩的视频数据一起被复用并记录在数据流中。以MPEG(运动图像专家组)方式为例，再生时间控制信息被称为PTS(Presentation Time Stamp，显示时间戳)，并被附加到包括被称为访问单位的解码/再生单位中的先头数据的包的头部(header)。

此外，随着成像设备性能和信号处理技术的进展，诸如数码摄像机的成像装置已经得到改进，使得成像的图像以比符合现有电视广播标准的显示周期更短的时间输出，这引发了配备这种快速成像功能的成像装置的考虑。例如，有一个考虑指出了一种成像装置，其能够通过应用标准或普通帧速率来再生并显示经过成像然后以比标准帧速率快数倍的速率记录而提供的视频数据，从而进行慢动作再生。

作为一种允许改变运动图像再生速度的常规成像装置，要注意提供了一种设想使用在视频流再生时具有可变的操作速度的计数器技术，以使得该计数器的计数值与被附加在视频流中的时间戳同步(例如，参见日本专利公开第2002-33712号，第[0020]～[0032]段以及图1)。

发明内容

然而，在设法完成前面描述的通过快速成像进行记录所提供的视频流慢动作再生的情况下，由于记录时和再生时的时间进行方式的不同，使用常规技术在数据流中记录再生时间控制信息会导致慢动作再生无法满足再生时用户的意图。如果在例如使用快速帧速率进行成像时记录在数据流中的是与实时间同步的再生时间控制信息，那么，基于上述时间信息并根据相同常规技术来以标准帧速率进行再生将使画面与成像时的帧速率一样快进，以致于慢动作再生无法实现，从而引起在标准显示周期期间提供的记录帧发生跳跃。

本发明考虑了上述问题而着手进行，并提供了一种流生成装置和一种流生成方法，它们在接收具有不同于通常帧速率的帧速率的运动图像的输入时，都可以生成一种能够使所接收的运动图像数据容易地以与流生成时的速度不同的速度进行再生的复用流。

本发明还提供了一种成像装置，其被构造为在以不同于通常帧速率的帧速率拍摄图像之后，能够使所拍摄的图像容易地以与成像时的速度不同的速度进行再生。

本发明进一步提供了一种数据处理装置，其被构造为在接收具有不同于通常时间的帧速率的帧速率的运动图像数据的输入时，能够使所接收的运动图像数据容易地以与输入时的速度不同的速度进行再生。

为解决上述问题，本发明的一个实施例提供了一种生成包括运动图像数据的复用流的流生成装置。该流生成装置包括：运动图像编码处理部；时间控制信息生成部；以及复用处理部。运动图像编码处理部通过对允许根据期望定时在基准帧速率和一个以上不同于该基准帧速率的帧速率之间切换的运动图像数据进行编码来生成运动图像流。时间控制信息生成部为输入到运动图像编码处理部的每个图像帧，生成具有与基准帧速率相关的图像帧显示周期所对应的一定间隔的再生时间控制信息。复用处理部通过复用运动图像流和再生时间控制信息来生成复用流。

在上述流生成装置中，运动图像编码处理部接收允许根据期望定时在基准帧速率以及一个以上不同于该基准帧速率的帧速率之间切换的运动图像数据的输入，然后通过对所接收的运动图像数据进行编码来生成运动图像流。时间控制信息生成部为输入到运动图像编码处理部的每个图像帧，生成具有与基准帧速率相关的图像帧显示周期所对应的一定间隔的再生时间控制信息。复用处理部通过复用所生成的运动图像流和所生成的再生时间控制信息来生成复用流。如果用此方式所生成的复用流以基准帧速率所对应的速率进行再生，则只要是以不同于基准帧速率的帧速率被输入到运动图像编码处理部的运动图像数据，就会以不同于运动图像数据输入时的帧速率的帧速率进行再生。

根据本发明实施例的流生成装置，为输入的每个图像帧生成具有与基准帧速率相关的图像帧显示周期所对应的一定间隔的再生时间控制信息，而不管所输入的运动图像数据的帧速率如何，然后将其存储在复用流中。这样，以对应于基准帧速率的速度对这种方式生成的复用流进行的再生允许像以不同于基准帧速率的帧速率输入到运动图像编码处理部中的运动图像数据一样快的运动图像数据能够以不同于运动图像数据被输入时的帧速率的帧速率进行再生。因此，以通常的一定帧速率进行的再生处理能够生成可用来实现诸如慢动作再生等特殊目的的再生操作的复用流。

附图说明

通过下面结合附图对本发明的优选实施例进行的描述，本发明的特征和优势将会变得更加清楚明白，在附图中：

图1是示出根据本发明一个实施例的成像装置的构造的框图；

图2是用于说明该成像装置在记录视频数据和音频数据时的操作的时序图；

图3是示出时间控制信息生成部的第一功能构造实例的框图；

图4是示出该时间控制信息生成部的第二功能构造实例的框图；

图5是示出该时间控制信息生成部的第三功能构造实例的框图；以及

图6是用于说明成像装置在再生视频数据和音频数据时的操作的时间图。

具体实施方式

图1是示出根据本发明一个实施例的成像装置的构造的框图。

图1所示的成像装置包括所谓的数码摄像机，它在拍摄运动图像后将所拍摄的运动图像作为数字数据记录在记录介质中。并且，所示的成像装置使用诸如DVD(数字通用光盘)的光盘10作为记录介质来记录包括视频信号等的数据流。

所示的成像装置具有成像装置11、相机DSP(数字信号处理器)12、视频编码器13、麦克风14、音频数据A/D(模拟/数字)转换器15、音频数据采样速率转换器16、音频编码器17、缓存18、MUX/DEMUX(合路器/分路器)19、ATA(AT附件)接口20、光盘驱动器21、视频解码器22、视频数据缓存23、图形接口24、显示器25、音频解码器26、D/A(数字/模拟)转换器27、扬声器28、CPU(中央处理器)29、和内部总线30。

成像装置11包括诸如CCD(电荷耦合器件)的固态成像装置和CMOS(互补金属氧化物半导体)图像传感器，并将由光学块(未图示)提供的会聚光转换为电信号。

相机DSP 12在CPU 29的控制下，对成像装置11提供的图像信号执行诸如CDS(相关双重采样)和AGC(自动增益控制)的各种模拟信号处理，以及诸如A/D转换的各种数字化处理、对成像操作控制的检测以及图像质量校正。

要注意的是，如后文所述，成像装置11被提供来允许除了标准帧速率以外，还可以用高于标准速率的快速帧速率输出已成像的图像信号。并且，相机DSP 12被提供来允许顺序处理以上面所述的快速帧速率成像的图像信号。

视频编码器13在CPU 29的控制下，根据预定的压缩和编码方案对从相机DSP 12输出来的视频数据进行编码。对于本发明的一个实施例来说，视频编码器13在根据MPEG方式进行压缩和编码之后，把经过编码的视频数据作为视频ES(Elementary Stream，基本流)提供给缓存18。

麦克风14采集音频信号。A/D转换器15把麦克风14所提供的采集的音频信号转换为数字数据。采样速率转换器16根据来自CPU 29的控制信号执行数字化音频数据采样速率的转换。

要注意的是，本实施例提供了一种构造：关于由A/D转换器15以一定的采样速率提供的数字化音频数据，上述的一定采样速率是通过采样速率转换器16中的操作而被转换的。然而，除了安装采样速率转换器16外，也可以改成在A/D转换器15中提供可变的采样速率作为数字转换处理时的采样速率，以便于通过CPU 29来控制这种可变的采样速率。

音频编码器17根据诸如MPEG的预定压缩和编码方案对采样速率转换器16提供的音频数据进行编码，然后把经过编码的音频数据作为音频ES提供给缓存18。

缓存18向处于CPU 29控制下的MUX/DEMUX 19暂存和输出存储在数据流中的各种信息，诸如由视频编码器13和音频编码器17提供的视频ES和音频ES以及从CPU 29输出的各种时间控制信息。在缓存18中，MUX/DEMUX 19所提供的视频ES和音频ES在CPU 29的控制下，同样分别被暂存和输出到视频解码器22和音频解码器26。

MUX/DEMUX 19读出并打包被存放在缓存18中的视频ES和音频ES等，然后复用这些流的包来生成一个PS(节目流)并通过ATA接口20将其输出到光盘驱动器21。在MUX/DEMUX 19中，视频ES、音频ES和各种头部信息从读取自光盘10的PS中被分离出来，然后，各个ES数据被存储到缓存18中，而头部信息则被输出到CPU 29。

ATA接口20包括一个与光盘驱动器21连接的接口电路，并根据来自CPU 29的控制信号对光盘驱动器21的记录/再生操作进行控制。光盘驱动器21把数据写入可取出的光盘10，并从光盘10读取所记录的数据。

视频解码器22读取从光盘10读出、之后又存储在缓存18中而提供的视频ES，然后，在CPU 29的控制下，根据MPEG方式来对视频数据进行解压缩和解码。缓存23暂存从视频解码器22输出的视频数据。

图形接口24把从缓存23或通过内部总线30从相机DSP 12提供的视频数据转换成显示要求的信号，然后将该信号提供给显示器25。显示器25由例如LCD(液晶显示器)构成，并显示正处于拍摄过程的图像或者含在光盘10中的数据的再生图像。

音频解码器26读取从光盘10读出、之后又存储在缓存18中而提供的音频ES，然后，在CPU 29的控制下，对音频数据进行解压缩和解码。D/A转换器27把从音频解码器26提供的音频数据转换成模拟信号，然后把该模拟信号输出到扬声器28，从而提供再生声音。

CPU 29通过执行存放在内存(未图示)中的程序来全面控制成像装置。根据本发明一个实施例的成像装置具有：记录/再生命令处理部31，用于处理将视频/音频数据记录在光盘10中和再生所记录的视频/音频数据的命令；时间控制信息生成部32，在数据记录时生成用于再生和解码的时间控制信息；以及再生/解码时间指定部33，在数据再生时根据时间控制信息来指定再生/解码时间，作为CPU 29的功能。

现在介绍上述的成像装置的基本视频/音频记录和再生操作。首先，当CPU 29得到通过用户操作对输入单元(未图示)的输入所对应的记录请求时，记录/再生命令处理部31响应这一请求使视频编码器13和音频编码器17启动编码处理。从相机DSP 12输出的视频数据被视频编码器13顺序编码为视频ES形式，然后其被存储在缓存18中。从A/D转换器15输出的音频数据通过采样速率转换器16被提供给音频编码器17，然后被顺序编码为音频ES形式，其后被存储在缓存18中。这时，应该注意的是，来自相机DSP 12的视频数据也通过内部总线30被提供到图形接口24，从而使正在拍摄的图像被显示在显示器25上。

随着视频ES和音频ES的生成，时间控制信息生成部32生成用于视频数据再生的表示时间控制信息的PTS和用于视频数据解码的表示时间控制信息的DTS(Decoding Time Stamp，解码时间戳)，并将其顺序存储在缓存18中。

MUX/DEMUX 19在记录/再生命令处理部31的控制下，分别对从缓存18读取的视频ES和音频ES进行打包，并进一步将一个以上的包组成一个大包，从而将这些包复用成PS。这时，都放在缓存18中的PTS和DTS以及从CPU 29输出的各种信息将被存储在预定的包和/或大包的头部区域中。在这些包中，PTS被存储在包含访问单位头数据的各个包的头部，而DTS被存储在包含I或P图像的包的头部。以此方式所生成的PS根据预定的文件格式被记录在光盘10中。

另一方面，如果CPU 29得到用户的操作输入所对应的再生请求，则记录/再生命令处理部31控制ATA接口20使光盘驱动器21读取存放在光盘10中的数据流，从而使所读取的数据流被提供给MUX/DEMUX 19。MUX/DEMUX 19从输入数据中提取PS，然后从所提取的PS中分离视频ES和音频ES，以向缓存18提供视频ES和音频ES，同时向CPU 29输出从头部提取的信息。

再生/解码时间指定部33分别向视频解码器22和音频解码器26提供都被存放在缓存18中的视频ES和音频ES，来为视频解码器22和音频解码器26指定再生/解码时间。特别地，对于视频数据而言，解码定时将是根据被MUX/DEMUX 19分离的DTS来指定的，而再生定时则是根据同样被分离出的PTS来指定的。以此方式，由存放在光盘10中的数据流提供的再生图像就被显示在显示器25上，且再生声音通过扬声器28而被输出。

顺便指出，此类成像装置具有的功能是：除了标准帧速率以外，还可以在用高于此标准帧速率的快速帧速率成像之后将成像图像数据记录在光盘10中。用快速帧速率成像所提供的图像数据被以具有标准帧速率的视频ES的形式生成，然后被记录在光盘10中。通过以通常的标准帧速率来再生所记录的图像数据，这样的处理使得用快速帧速率成像所提供的图像可以以比成像时的速度慢的速度显示。然而，为了实现此类功能，就必需在从以标准帧速率成像切换到以快速帧速率成像时，改变再生和/或解码时间控制信息的计算方式。

图2是用于说明成像装置在记录视频数据和音频数据时的操作的时序图。

本实施例假设提供两种成像模式：以每秒30帧(或每秒60场)的帧速率成像的普通成像模式和以每秒90帧(或每秒180场)的三倍快速帧速率成像的快速成像模式，还允许在成像和记录期间按照需要在这两种成像模式之间进行切换。然后，成像装置11被设置为允许以这两种帧速率输出被成像的图像信号。相机DSP 12被设置为允许与这两种帧速率同步地处理图像信号。

在图2中，真实时间(或称实际操作时间)是按照被指定为解码时基准时钟(STC：系统时钟)频率的90kHz时钟频率的计数值来进行表达的。在图2的一次记录操作中，假设被成像的图像的记录在“t0”时刻开始，且在从“t0”到“t0+6006”的时段内采用普通成像模式进行记录。还假设快速成像模式的切换在“t0+6006”时刻发生以提供三倍快速帧速率成像，随后，在“t0+9009”时刻重新切换回普通成像模式，保持记录的连续性。在图2中，需要注意的是，采用记录启动时间作为起点生成的帧(或视频帧)按照F1、F2、F3…的顺序表达。

还要注意的是，图2中的定时信号Sa和Sb分别表示与普通成像模式和快速成像模式相关的帧生成定时。这些定时信号Sa和Sb由CPU 29生成，并例如在每个成像模式中，可以与用于生成为成像装置11等提供同步定时的垂直同步信号(V_sync)的信号共用。

如果图像的记录在“t0”时刻开始，则记录开始时间的时刻“t0”就被假设为第一个帧F1对应的PTS。对于在下一时刻“t0+3003”所生成的帧F2来说，PTS采取通过把对应于1/30秒的被指定为90kHz计数值的“3003”加上被提供作为记录开始时间的时刻“t0”而得到的值。即，与真实时间相同的信息可以被置为到时刻“t0+6006”为止的PTS。

随后，如果在“t0+6006”时刻模式被切换到快速成像模式，则帧F3对应的PTS此时就变为“t0+6006”。然而，在设置为快速成像模式期间，成像时的帧生成间隔(或来自相机DSP 12的帧的输出间隔)与再生时的帧输出间隔之间存在差异。即，这些帧被假设以成像时速度1/3的速度进行再生。

于是，在时刻“t0+6006”及其之后，应将不同于真实时间的时刻设置为PTS。例如，如果通过将帧F4、F5和F6所对应的各个PTS设置为与真实时间相同的时刻“t0+7007”、“t0+8008”和“t0+9009”来生成数据流，则在以每秒30帧的帧速率对所生成的数据流进行解码时，帧F4和F5会被跳过而不进行再生，在这种情况下，在帧F3的输出1/30秒(被指定为通常的输出周期)之后跟随的是帧F6的输出，导致慢动作再生的出错。

因此，对于切换到快速成像模式之后的时刻“t0+7007”，通过增加相应于普通显示周期的计数值(3003)而得到的“t0+9009”被设置为PTS。类似地，在时刻“t0+8008”，PTS被设置为“t0+12012”，而在时刻“t0+9009”，PTS被设置为“t0+15015”。如上所述，在设置快速成像模式的任意情况下，每个帧所对应的PTS都将被顺序地以与普通成像模式相同的一定值为单位增加，或以与普通成像模式相关的帧输出周期所对应的一定值为单位增加。

在时刻“t0+9009”切换到普通成像模式之后，PTS以成像间隔所对应的时间量(或计数值)顺序增加。例如，在时刻“t0+12012”生成的帧(未图示)的PTS被设为“t0+18018”。

如上所述生成的PTS在被MUX/DEMUX 19复用时，被记录在包含访问单位(或帧)的开头视频数据的包的头部。这同样也适用于音频数据，因此，相同的PTS被记录在包含与上述帧相应的访问单位的开头音频数据的包的头部。

此外，MPEG方式提供了用于向前和向后图像数据的预测编码，使得图像再生顺序有时与图像解码顺序不同，从而导致需要视频数据将DTS与PTS一起记录到包的头部中。再生时间和解码时间不一致的图像是I图像和P图像，所以只需要记录这些图像所对应的DTS。通常的视频ES包括一定数量的位于I图像和P图像之间或位于多个P图像之间的连续B图像，从而允许通过对PTS加上或减去适合于连续B图像数量的一定时间来获得DTS。具体来说，假设连续B图像的数量是n，则可以通过从PTS减去(n+1)倍的与普通成像模式相关的帧周期的期间所对应的时间来获得DTS。

参见图2，例如，如果认为n为2，则帧F1、F2、F4和F5被编码为B图像，帧F3被编码为I图像，且帧F6被编码为P图像。为了把上述帧中的帧F1和F2编码为B图像，就要使用帧F3的数据。于是，被提供为B图像的帧F1和F2的解码需要帧F3的被解码数据。因此，帧F3需要在帧F1和F2解码之前先被解码，从而，帧F3所对应的DTS采用通过从被指定为PTS值的“t0+6006”中减去与三倍帧周期的期间相当的“9009”而得到的值。类似地，被提供为B图像的帧F4和F5的解码需要帧F3和F6，所以帧F6需要在帧F4和F5解码之前先被解码，因此，帧F6所对应的DTS采用的是通过从被指定为PTS值的“t0+9009”中减去“9009”而得到的值。以此方式，用于I和P图像的DTS就是通过从PTS值中减去一个固定值或“9009”而提供的值获得的。

参见图2中的“来自MUX的输出”一栏，以帧输入顺序示出了相应于各个帧的视频和音频包。然而，要注意的是，该图示仅仅是为了简化，与上述相同的顺序并不特别实际应用于预测编码的情况之中。以从视频编码器13输出的视频ES为例，每个帧(或每个图像)的数据都按照解码顺序进行排序。当然，在MUX/DEMUX 19中每个帧所对应的包的输出定时不一定与图2所示的相同。

图3是示出时间控制信息生成部的第一功能构造实例的框图。

图3所示的时间控制信息生成部32包括：选择器301、计数器302、乘法器303、加法器304和减法器305。

选择器301接收分别提供与普通成像模式和快速成像模式相关的帧处理定时的定时信号Sa或Sb的输入。如上所述，例如，从CPU 29输出用来为成像装置设备11等提供垂直同步信号的信号，可被用作定时信号Sa和Sb。定时信号Sb的周期假设为定时信号Sa周期的三分之一。

选择器301获取在记录/再生命令处理部31中根据用户操作管理的成像模式，并且如果当前成像处于普通成像模式的话，就选择定时信号Sa的输入，而在快速成像模式的情况下则选择定时信号Sb。像上述那样的选择操作允许选择器301的输出信号为对应于成像模式的各个帧都生成时间控制信息生成部32的处理定时。选择器301的输出信号可以与指定视频解码器13的定时以启动相应图像的编码的或把已编码的图像输出到缓存18的定时信号基本相同。

计数器302采用记录启动时间作为起点，对从选择器301输出的定时信号计数。具体来说，在普通成像模式中，对时间信号Sa进行计数，而在快速成像模式中，则对时间信号Sb进行计数。这种计数处理使得各个成像模式所提供的按顺序处理的帧数将从计数器302被输出出来。

乘法器303把计数器302中的计数值乘以表示与普通成像模式相关的帧输出周期的固定值“3003”，加法器304把记录开始时读取的时刻t0与来自乘法器303的输出值相加。要注意的是，记录开始时刻t0是通过提供90kHz计数值的内置时钟(未图示)读取的。

利用上面的构造，加法器304的输出值被认为是PTS，它然后与图像数据相应地存储在缓存18中。减法器305从加法器304的输出值中减去普通成像模式帧输出周期3倍时间所对应的固定值“9009”。减法器305的输出值就是DTS，然而，在这种情况下，只有当相应于该DTS值的图像是I或P图像时，才会发生把DTS相应于图像数据存储在缓存18中。或者，只有当相应图像是I或P图像时，也允许使减法器305进入操作状态。

虽然上述构造包括用于增加在记录开始时读取的时刻t0的加法器304，但应注意的是，乘法器303的输出值可以被用作PTS而不需要提供加法器304。

图4是示出时间控制信息生成部的第二功能构造实例的框图。

图4中的第二功能构造提供了一种用于如下情况的构造：累加器311被用来代替图3中显示的部件中的计数器302、乘法器303和加法器304的功能。累加器311根据基于成像模式而来自选择器301的定时信号的输入定时，将代表与普通成像模式相关的帧输出周期的固定值“3003”累加至在记录开始时读取的时刻t0。累加器311的输出值就将是PTS。与图3的构造一样，减法器305从累加器311的输出值中减去固定值“9009”，而该减法器的输出值就是DTS。在图4构造的情况下，允许累加器311也利用作为起点的“0”进行累加，而不需在记录开始时读取时刻t0。

图5是示出时间控制信息生成部的第三功能构造实例的框图。

图3和图4中的构造是根据在记录开始时读取的时刻t0来生成时间控制信息，而图5中的构造允许时间控制信息基于与各个帧处理定时相关的绝对时间生成。举例来说，绝对时间可以是由内置时钟生成的真实时间计数值，或者是在相机DSP 12内以记录开始时间作为起点针对帧的每个输入或输出计数得到的控制计数值。

参见图5，与图3和图4的构造类似，如果当前成像是普通成像模式，选择器301就选择并输出定时信号Sa，而在快速成像模式的情况下则选择并输出定时信号Sb。然而，图5中的选择器301对所选择的定时信号Sa和Sb的输出进行单独操作。

每当从选择器301输入定时信号Sb时，累加器321就将固定值“3003”累加到初始值“0”。仅在设定快速成像模式时才从选择器301输入定时信号Sb，因此，累加器321只在快速成像模式时才进行累加。

当接收到选择器301所选择的定时信号Sa或Sb的输入时，延迟器322通过使累加器321的输出值被延迟直到发生下一次任意定时信号的输入来提供其输出值。

每当从选择器301输入定时信号Sa或Sb时，加法器323都读取绝对时间，然后把延迟器322的输出值加到所读取的绝对时间。加法器323的输出值就是PTS。要注意的是，与图3和图4所示的情况一样，减法器305的功能是把加法器323的输出值减去固定值“9009”，并且，减法器305的输出值就将是DTS。

在这一构造中，只有当设定为快速成像模式时，累加器321在接收到定时信号Sb的输入时进行“3003”的累加。普通成像模式不输入定时信号Sb，所以最后累加获得的值将被完整输出。因此，在普通成像模式的情况下，加法器323上相对于绝对时间的偏移量被认为是固定值，而在快速成像模式的情况下，则每次试图生成帧时就以“3003”为单位增加。然而，对于从一个成像模式切换到另一个成像模式的定时(例如图2中的时刻“t0+6006”和“t0+9009”)，紧邻切换之前的成像模式中提供的偏移量必须被反映在PTS中，所以对加法器323进行的输入要在用延迟器322以输入时钟的一个周期所对应的量对偏移进行延迟之后才能进行。

要注意的是，除了PTS和DTS以外，根据MPEG方式的实际流生成处理还需要生成并附加SCR(系统时钟基准)作为时间控制信息到包头部。SCR用来指定将流存储到解码器一方的虚拟缓冲区(或所谓VBV缓冲区)中的时间。因此，用解码器一方的SCR给标准时钟(或STC)复位能够实现用DTS和PTS对解码和再生进行定时控制。

与PTS的情况一样，SCR也总是通过增加普通成像模式所对应的一定时间获得，而不管设定的是哪种成像模式。然而，与PTS不同的是，SCT是根据用来将食品数据从VBV缓冲区读出到解码器的比特率和存储在VBV缓冲区中的数据量这两者来确定的，并假设在MPEG-2方式的情况下采用27-MHz的计数值。

根据DVD视频标准，一个包是2K字节(或2048字节)长，所以对于将2048字节的视频数据以例如10.08Mbps的速率存储到VBV缓冲区中来说，SCR值就被认为是2048×8(位)/10.08＝43866，于是每个包都增加一固定值“43866”。在成像装置中，当通过MUX/DEMUX 19从缓存18生成单个视频包时，由时间控制信息生成部32生成通过在所有情形时如上所述增加固定值而得到的SCR，然后被存储到包头部中。

下面再次参照图2描述音频数据的获取。假设在普通成像模式下音频数据以48KHz的采样速率进行捕获。根据本发明的一个实施例，在普通成像模式情况下，音频数据A/D转换器15以48KHz的一定采样速率进行数字转换，并且，采样速率转换器16输出不经转换的输入数据。

在快速成像模式中，音频数据的捕获每一次都根据成像定时来进行，在这种情况下，采用的是高达144KHz的三倍快速采样速率。具体来说，当模式被切换到快速成像模式时，采样速率转换器16的功能通过CPU 29的控制而被开启。然后，具有48KHz采样速率的音频数据在根据成像定时被A/D转换器15数字化转换以后，就被采样速率转换器16转换成为具有144KHz采样速率的音频数据。要注意的是，除了安装采样速率转换器16，还允许A/D转换器15的数字转换时的采样速率变为144KHz。

在快速成像模式中记录的音频数据与视频数据一起以三分之一的速度进行再生的情况下，如上的操作不仅能使图像，还能使声音以三分之一的低速进行再生。

图6是用于说明在再生如上所述提供的所记录的视频数据和音频数据时成像装置的操作时序图。

图6所示的操作提供了一种应用于通过图2的操作被成像其后被记录在光盘10中而提供的数据流的再生情况下的操作。参看图6的“包”一栏，虽然为了简化将被再生的视频和音频数据之间的相应关系而示出了视频包和音频包的一种排列，但这些包实际上是以视频数据解码的顺序被输入到MUX/DEMUX 19中的。图6中的真实时间代表根据DTS和PTS设定的90kHz的计数值(或STC)。

在该成像装置中，当再生数据流时，在MUX/DEMUX 19中从数据流的头部中分离出来的各种类型的时间控制信息被提供给CPU 29，CPU 29的再生/解码时间指定部33根据分离出来的SCR来重设系统时钟。不管哪种成像模式被用来记录将要再生的数据流，系统时钟总是以90kHz计数。然后，当MUX/DEMUX 19分离出来的DTS与STC值一致时，再生/解码时间指定部33对视频解码器22指定解码定时，而当PTS与STC值一致时指定再生定时。对于音频解码器26来说，解码和再生定时根据PTS与STC之间一致性的判断来指定。

参照图6，时刻“t0”和“t0+3003”允许以普通成像模式拍摄然后记录而提供的帧(或视频帧)F1和F2以与通常的普通成像模式的帧速率相同的帧速率再生。同时，以48kHz采样速率获取然后记录而提供的音频数据也与帧F1和F2同步地再生。也就是说，这些定时允许图像和声音以与成像时速度相同的速度再生。

另一方面，时刻“t0+6006”和“t0+9009”允许以三倍快速帧速率的快速成像模式拍摄然后记录而提供的帧F3和F4被再生。然而，帧F3和F4所对应的PTS已被记录为与普通成像模式的显示周期一致，使得帧F3和F4还是以与普通成像模式的帧速率相同的帧速率再生。因此，帧F3和F4中每一个的输出周期就都成为成像时输出周期的三倍长，这使得帧F3和F4的慢动作再生能以记录时速度的三分之一进行。

已经以快速成像模式记录的音频数据等同于以三倍于普通成像模式采样速率的采样速率(144kHz)获取然后记录而提供的音频数据，因此可以通过同步于相应帧以记录时速度的三分之一进行再生的方式，作为具有与普通记录模式提供的记录数据的采样速率相同的采样速率(48kHz)的音频数据在音频解码器26中像通常一样进行再生。于是，将被再生的声音的速度就变成记录时速度的三分之一，使得图像和声音以彼此同步的方式再生。

如上所述，根据本发明一个实施例的使用时间控制信息生成部32进行记录的数据流可以毫无疑问地使用提供标准帧速率的解码和再生处理的常规解码器来进行再生。另外，以快速成像模式记录而提供的视频数据和音频数据可以进行拍摄执行者或用户所期望的慢动作再生，而不需在再生时进行任何特殊的设置。因此，可实现提供一中操作简便并且附加价值高的快速成像/慢动作再生功能，同时提高用户在慢动作再生中的便利性。

虽然上述实施例采用一种三倍于普通成像模式的成像周期作为快速成像模式的成像周期，但也可以改成在快速成像模式下多个阶段地改变成像速度。对于这种情况，可根据成像速度输入图3～5中所示的用于快速成像模式的多于一个的定时信号Sb。或者，还允许提供可任意控制的成像速度，在这种情况下，仅仅需要依据成像速度来改变一种类型的定时信号Sa的周期。

除了快速成像模式以外，本发明还可应用于一种帧速率慢于普通成像模式的慢速成像模式。在这种情况下，不管成像模式如何，始终以普通成像模式的帧处理周期所对应的时间为单位进行PTS的顺序增加，从而确保以慢速成像模式拍摄提供的图像可以用比成像时速度快的速度进行再生。在设置的是慢速成像模式的情况(或定时信号Sb对应于慢速成像模式的情况)下，应该理解，图5中所示的时间控制信息生成部32的构造使得PTS可以通过从绝对时间减去延迟器322的输出值而获得。

虽然本发明的上述实施例是参照将本发明应用于把拍摄和采集到的图像和声音记录在记录介质中的成像装置进行描述的，但是也允许将本发明应用于通过对图像和声音信号进行编码来生成数据流、然后通过网络将数据流传送至外部装置的装置。将被编码的图像和声音并不局限于拍摄采集获得，也可以是例如通过电视调谐器接收的广播内容信号，或通过数字或模拟图像/声音输入终端输入的信号。即，本发明可以被应用到一种当接收允许在多于一个的帧速率之间相互切换的图像信号(以及与该图像信号同步的音频信号)的输入时通过对这些图像和声音信号进行编码来生成数据流的装置。

此外，本发明还可以应用于一种当接收允许在多于一个的帧速率之间相互切换的图像信号(以及与该图像信号同步的音频信号)的输入时，基于图像和音频信号来显示图像并输出声音的装置。举例来说，可以实现一种通过执行下面的处理，当输入具有不同于基准帧速率的帧速率的图像信号时进行比常规速度慢的自动再生的特殊目的的再生功能。在将输入图像数据从基准帧速率切换到快速帧速率之后，针对图像帧的每一次输入通过增加基准帧速率的帧周期所对应的时间来生成再生时间控制信息，从而将所生成的再生时间控制信息附加至图像信号(或替换已附加的原始再生时间控制信息)。然后，使已接收到图像信号输入的显示处理部总是基于再生时间控制信息以基准帧速率显示图像。

本领域技术人员应该明白，在权利要求书或其等同物范围之内，可根据设计需求和其他原因进行各种修改、组合、子组合和变更。

Claims (14)

1.一种生成包括运动图像数据的复用流的流生成装置，包括：

运动图像编码处理部，用于通过对运动图像数据进行编码来生成运动图像流，所述运动图像数据允许根据期望的定时、在基准帧速率和一个以上不同于所述基准帧速率的帧速率之间切换；

时间控制信息生成部，用于为输入到所述运动图像编码处理部的每个图像帧，生成具有与所述基准帧速率相关的图像帧显示周期所对应的一定时间间隔的再生时间控制信息；以及复用处理部，用于通过复用所述运动图像流和所述再生时间控制信息来生成所述复用流。

2.根据权利要求1所述的流生成装置，其中：

所述时间控制信息生成部，基于通过将输入到所述运动图像编码处理部的图像帧的数量和与所述基准帧速率相关的所述图像帧显示周期所对应的时间相乘得到的值，生成所述再生时间控制信息。

3.根据权利要求1所述的流生成装置，其中：

所述时间控制信息生成部，基于通过将与所述基准帧速率相关的所述图像帧显示周期所对应的时间进行累加得到的值，为输入到所述运动图像编码处理部的每个图像帧生成所述再生时间控制信息。

4.根据权利要求1所述的流生成装置，其中：

所述时间控制信息生成部保存通过将与所述基准帧速率相关的所述图像帧显示周期所对应的时间进行累加得到的累加值，所述累加的次数与向所述运动图像编码处理部输入具有不同于所述基准帧速率的帧速率的运动图像数据时提供的图像帧的数目一样，然后，基于通过对或从与所述运动图像编码处理部相关的图像帧输入时间加上或减去所述累加值而得到的值，生成所述再生时间控制信息。

5.根据权利要求1所述的流生成装置，其中：

所述运动图像编码处理部具有依据向后-向前双向预测编码对一定数量的连续图像帧进行压缩和编码的功能，针对不使用双向预测编码进行压缩和编码的图像帧，所述时间控制信息生成部通过从关于所述图像帧的相应再生时间控制信息减去预定值来生成用于解压缩和解码所述图像帧的解码时间控制信息，以及

所述复用处理部将所述解码时间控制信息和所述再生时间控制信息一起复用，从而生成复用流。

6.根据权利要求1所述的流生成装置，进一步包括用于将所述复用流记录到记录介质中的流记录部。

7.根据权利要求1所述的流生成装置，进一步包括：通过在接收所述复用流的输入时，基于包含在所述复用流中的所述再生时间控制信息控制图像帧再生时间，来再生包含在所述复用流中的所述运动图像数据的运动图像再生处理部。

8.根据权利要求1所述的流生成装置，进一步包括：

数字音频输入部，用于接收以一定采样速率数字化的音频数据的输入；

音频编码处理部，用于通过对来自所述数字音频输入部的音频数据进行编码以生成音频流，然后把所生成的音频流输出到所述复用处理部；以及

采样速率转换部，用于将在向所述运动图像编码处理部输入具有不同于所述基准帧速率的预定帧速率的所述运动图像数据的同时输入到所述数字音频输入部的所述音频数据的采样速率，转换成为通过将所述预定帧速率与所述基准帧速率之间的比乘以所述一定采样速率得到的值，然后将所转换的采样速率输出到所述音频编码处理部，

其中，所述复用处理部将所述音频流与所述运动图像流以及所述再生时间控制信息一起复用。

9.根据权利要求1所述的流生成装置，进一步包括：

数字转换部，用于在向所述运动图像编码处理部输入具有不同于所述基准帧速率的预定帧速率的运动图像数据时，当接收到模拟音频信号的输入是，将所输入的音频信号数字转换并输出到所述复用处理部，并将所述模拟音频信号的采样速率设置为通过将所述预定帧速率与所述基准帧速率之间的比率乘以在输入具有所述基准帧速率的运动图像数据时提供的模拟音频信号的采样速率而得到的值；以及

音频编码处理部，用于通过对来自所述数字转换部的音频数据进行编码而生成音频流，然后把所生成的音频流输出到所述复用处理部，

其中，所述复用处理部件将所述音频流与所述运动图像流以及所述再生时间控制信息一起复用。

10.一种用于拍摄图像的成像装置，包括：

固态成像装置，允许通过根据期望定时在基准帧速率和一个以上不同于所述基准帧速率的帧速率之间进行切换而输出成像图像；

运动图像编码处理部，用于通过对由所述固态成像装置成像提供的运动图像数据进行编码来生成运动图像流；

时间控制信息生成部，用于为输入到所述运动图像编码处理部的每个图像帧，生成具有与所述基准帧速率相关的图像帧显示周期所对应的一定时间间隔的再生时间控制信息；以及

复用处理部，用于通过复用所述运动图像流和所述再生时间控制信息来生成复用流。

11.根据权利要求10所述的成像装置，进一步包括：

声音拾取部，用于拾取声音并将所述声音作为模拟音频信号输出；

数字转换部，用于以一定采样速率对来自所述声音拾取部的模拟音频信号进行数字转换；

音频编码处理部，用于通过对来自所述数字转换部的音频数据进行编码而生成音频流，然后把所生成的音频流输出到所述复用处理部；以及

采样速率转换部，用于在以不同于所述基准帧速率的预定帧速率通过所述固态成像装置进行成像时，把来自所述数字转换部的音频数据的采样速率转换成为通过将所述预定帧速率与所述基准帧速率之间的比率乘以所述一定采样速率而得到的值，然后把所转换的采样速率输出到所述复用处理部，

其中，所述复用处理部将所述音频流与所述运动图像流以及所述再生时间控制信息一起复用。

12.根据权利要求10所述的成像装置，进一步包括：

声音拾取部，用于拾取声音并将所述声音作为模拟音频信号输出；

数字转换部，用于在以不同于所述基准帧速率的预定帧速率通过所述固态成像装置进行成像时，把来自所述声音拾取部的模拟音频信号进行数字转换并输出到所述复用处理部，并将所输入的模拟音频信号的采样速率设为通过所述预定帧速率与所述基准帧速率之间的比率乘以在用所述基准帧速率进行成像时所提供的模拟音频信号的采样速率而得到的值；以及音频编码处理部，用于通过对来自所述数字转换部的音频数据进行编码而生成音频流，然后把所生成的音频流输出到所述复用处理部，

其中，所述复用处理部将所述音频流与所述运动图像流以及所述再生时间控制信息一起复用。

13.一种用于处理包括运动图像数据的输入数据的数据处理装置，包括：

运动图像输入部，用于接收运动图像数据的输入，所述运动图像数据允许根据期望的定时、在基准帧速率和一个以上不同于所述基准帧速率的帧速率之间切换；时间控制信息生成部，用于为输入到所述运动图像输入部的每个图像帧，生成具有与所述基准帧速率相关的图像帧显示周期所对应的一定时间间隔的再生时间控制信息；以及时间控制信息附加处理部，用于将所述再生时间控制信息附加到已经被输入至所述运动图像输入部的运动图像数据。

14.一种用于生成包括运动图像数据的复用流的流生成方法，包括以下步骤：

使运动图像编码处理部通过对运动图像数据进行编码来生成运动图像流，所述运动图像数据允许根据期望的定时、在基准帧速率和一个以上不同于所述基准帧速率的帧速率之间切换；

使时间控制信息生成部为输入到所述运动图像编码处理部的每个图像帧，生成具有与所述基准帧速率相关的图像帧显示周期所对应的一定间隔的再生时间控制信息；以及使复用处理部通过复用所述运动图像流和所述再生时间控制信息来生成所述复用流。

Images