CN1251129C - 数据变换装置、数据编码装置以及数据记录装置 - Google Patents

Abstract

提供一种将输入的可变帧速率的编码数据变换为固定帧速率的编码数据的数据变换装置、数据编码装置以及数据记录装置。数据变换装置100由暂时存储输入的可变帧速率的编码数据的暂时存储单元101，读取该输入的编码数据的编码数据时间戳的编码数据时间戳读取单元102，将该编码数据时间戳变换为MP4时间戳的时间戳变换单元103和，将可变帧速率的编码数据变换为固定帧速率的编码数据的固定FPS化单元104构成。

Description

数据变换装置、数据编码 装置以及数据记录装置

技术领域

本发明涉及将可变帧速率的编码数据变换为固定帧速率的编码数据的数据变换装置、数据编码装置以及数据记录装置。

背景技术

近年，在因特网和移动终端等窄带环境下发送图像的环境越来越普及。作为在这些窄带环境下的图像压缩编码方式采用在ITU-T标准化的H.263和、在ISO/IEC标准化的MPEG-4等。

上述MPEG-4与用于DVD而广泛普及的MPEG-2不同，可进行可变帧速率编码。在此，可变帧速率的编码是可任一设定帧显示时间间隔的编码，根据压缩图像信号的复杂程度和图像信号的性质(是否活动等)等，在进行最佳编码时一般使用的编码方式。

图10是可变帧速率的编码数据的例子。图中，对30Hz的图像信号的前半帧每隔1个跳跃而以15Hz进行编码，对后半帧每隔2个跳跃而以10Hz进行编码。

以下，根据图11～图16说明图10所示的可变帧速率的编码处理。

首先，根据图11说明现有的数据编码装置的结构。

图11是表示现有的数据编码装置的结构的图。

图11中，现有的数据编码装置具有取得从照相机输入的图像的图像取得单元81，判断是否编码取得的图像的帧信号的编码判断单元82，编码处理该取得的数据的编码单元83，将该编码单元83编码的编码数据变换为MPEG-4标准的文件格式规格(以下，称为“MP4”)的MP4文件编码单元85和记录MP4文件的记录媒体86。

以下，说明具有上述结构的、现有的数据编码装置的一系列处理工作。

首先，数据编码装置在图像取得单元81将从照相机输入的图像变换为图像帧信号(以下，称为“帧”)，将该帧与从取得图像开始以照相机的帧速率(例如30Hz)增加的帧序号一起输出给编码判断单元82。

编码判断单元82从上述帧序号和预先给予的照相机的帧信息计算输入的帧的时间戳。从该时间戳、至此编码的总数据量和、输出比特率，判断是否编码该输入的帧。

另外，是否编码该输入的帧的判断条件依赖于是可变/固定比特率、遵守/忽视规定的缓冲器模型、重视帧的图像质量/重视帧速率等数据编码装置的各种条件、利用目的，在此不示出具体判断条件。

在上述编码判断单元82判断为编码该输入的帧时，将输入的帧和该帧的时间戳输出给编码单元83而进行编码处理。在此，对帧的时间戳进行标度(scale)变换和补偿处理，变换为记录成MP4文件的MP4时间戳。

另一方面，在上述编码判断单元82判断为不编码该输入的帧时，将帧及其时间戳等不输出给编码单元83而丢弃，等待从上述图像取得单元81输入下一帧。

一般说来，上述编码单元83的数据编码处理费时间，而且，根据输入的帧的图像性质，有时上述图像取得单元81在下一取得的帧输出到上述编码判断单元82之前不能结束编码处理。在这种情况下，由于在编码判断单元83丢弃下一取得的帧，该丢弃的帧不输出到编码单元83，所以编码数据被跳跃。

在上述编码单元83编码的编码数据及其编码数据量输出到MP4文件编码单元85。上述编码数据量还输出到上述编码判断单元82。输出到该上述编码判断单元82的编码数据量用于上述的是否编码输入的帧的判断条件中的比特率固定条件和缓冲器模型遵守条件。

MP4文件编码单元85中，上述编码数据及其编码数据量变换为MP4文件，并记录在记录媒体86。

在此，根据图12说明MP4文件的结构。

图12中，图(a)表示可变帧速率的编码数据例，图(b)表示该编码数据的MP4文件的结构。

MP4文件由存储编码数据的大小的Sample Size Atom、存储显示间隔的Sample-To-TimeStamp Atom、存储编码数据的Movie data Atom等，使输入的各帧信息成为表形式的Atom构成。

首先，Sample-To-TimeStamp Atom构成为在每个帧速率一定的区间从编码数据的起始依次记述帧个数num和帧间隔dur的组在由该帧个数和帧间隔构成的表的前面记述区间数。另外，Sample Size Atom构成为以帧序号依次记述各帧的大小，在该帧大小的表的前面记述作为帧总数的要素数。在Movie dataAtom连续存储各取样数据。

例如，在上述编码单元83将上述图像取得单元81取得的帧编码成如图12(a)所示的具有3个不同帧速率的可变帧速率的编码数据时，在MP4文件编码单元85中，如图12(b)所示，在Sample Size Atom记述要素数9和、按帧序号依次记述第1个取样至第9个取样的各帧的编码数据大小，在Movie data Atom连续存储从第1个取样到第9个取样的取样数据，在Sample-To-TimeStamp Atom上述编码数据通过最初3个间隔2的帧，下一2个间隔3的帧，下一4个间隔1的帧，记述要素数3和，在区间1记述帧数num＝3、帧间隔dur＝2，在区间2记述num＝2、dur＝3，在区间3记述num＝4、dur＝1。另外，在此为了简化说明，使1取样＝1帧，但在像语音数据例如1024取样＝1帧时，对各Atom的数据存储方法是同样的。

下面，根据图13和图14说明将编码数据变换为如上述的MP4文件的MP4文件编码单元85。图13是表示现有的MP4文件编码单元的一结构例的图。图14是表示现有的MP4文件编码单元的一系列处理工作的流程图。

首先，根据图13说明MP4文件编码单元85的结构。

在MP4文件编码单元85输入编码数据和编码数据量，以及对该编码数据记录MP4文件时的MP4时间戳。具有：暂时存储该输入的编码数据及其编码数据量的编码数据暂时存储单元41；使用从该编码数据暂时存储单元41输入的编码数据，在mdat atom暂时存储单元46上暂时生成作为记录MP4文件内的编码数据的数据区域的Movie Data Atom的mdat atom生成单元43；使用从上述该编码数据暂时存储单元41输入的编码数据量，在stsz atom暂时存储单元47上生成作为记录MP4文件内的编码数据量的数据区域的Sample Size Atom的stsz atom生成单元44；使用从外部输入的MP4时间戳。在stts atom暂时存储单元48上生成作为记录MP4文件内的帧的时间间隔的数据区域的Sample-To-TimeStamp Atom的stts atom生成单元45和；在输入完要记录的编码数据之后，连结利用上述的各生成单元43～45在各暂时存储单元46～48上分别生成的各Atom的暂时数据连结单元49。另外，还具有在从外部没有对MP4文件编码单元85输入时间戳时，从存储在编码数据暂时存储单元41的编码数据读取编码数据的时间戳并进行标度变换和补偿处理，变换为记录在MP4文件的MP4时间戳的MP4时间戳读取单元42。

在此，上述mdat atom生成单元43的Movie Data Atom生成方法根据目的而不同，但由于与说明本发明无关，所以在此不作具体说明。上述stsz atom生成单元44的Sample Size Atom的生成方法是从起始排列数据量。以后再叙述上述stts atom生成单元45的Sample-To-TimeStamp Atom的生成方法。

在输入完要记录的编码数据之后，在MP4文件编码单元85输入流结束信号，一输入该流结束信号，各atom生成单元43～45则进行在表写入要素数等完成各Atom的处理。之后，利用暂时数据连结单元49将各Atom重新配置在适当位置，输出生成记录媒体86的MP4文件。

以下，根据图14的流程图，说明MP4文件编码单元85的stts atom生成单元45的Sample-To-TimeStamp Atom的生成方法。

首先，在该数据编码装置一开始数据处理，则在MP4文件编码单元85进行初始化(步骤S1)。在此，in表示输入到MP4编码单元85的帧的总数，index表示Sample-To-TimeStamp atom的某个时候的区间序号，n表示在输入到该数据编码装置的帧中没有记述在Sample-To-TimeStamp Atom的未处理帧数，Tp表示前一个编码数据的MP4时间戳。

若在MP4文件编码单元85输入编码数据、编码数据量、以及MP4时间戳。则在Ts设定MP4时间戳。将输入帧数in增加1，将未处理帧数n增加1(步骤S2)。

接着，判断是否in≥3，在in≤2时，进入步骤S6，在in≥3时，进入步骤S4。该分支是因为上述Sample-To-TimeStamp Atom记述帧的时间间隔，最少需要2个帧，而且，由于Sample-To-TimeStamp Atom记述相同帧间隔的帧的个数，在没有最少3个帧时，则不能进行写出第1个要素的处理。

在in≤2时，计算帧间隔d，作为前一帧的MP4时间戳Tp记录当前输入的帧的MP4时间戳Ts(步骤S6)。接着，到在stts atom生成单元45输入表示输入完编码数据的流结束信号为止重复以上的步骤S2～S6处理(步骤S7)。

在上述重复中，在步骤S3中，在in≥3时判断当前帧和前一帧的帧间隔d(＝Ts-Tp)是否与至此计算的帧间隔d一致(步骤S4)，在判断为帧间隔d不一致时，基于Sample-To-TimeStamp Atom的定义，对Sample-To-TimeStampAtom表追加要素(步骤S5)。即，在Sample-To-TimeStamp Atom追加帧个数num＝n-2和帧间隔dur＝d，在Sample-To-TimeStamp Atom追加要素之后，增加1个区间序号index，使未处理帧个数n＝2。该2个帧是成为新帧间隔d(＝Ts-Tp)的区间的第1个(前一个MP4时间戳Tp)帧和，第2个(当前MP4时间戳Ts)帧。

在stts atom生成单元45输入流结束信号时(步骤S7)，stts atom生成单元45进行在表写入要素数等完成Sample-To-TimeStamp Atom的处理。

即，如在步骤S5所述，在步骤7时2个帧的帧间隔信息原样暂时保存在stts atom生成单元45的内部，在Sample-To-TimeStamp Atom表没有追加要素。从而，在输入了上述流结束信号时，需要进行对该2个帧的处理。另外，通常不会有，在输入帧个数in小于2时，必需进行与通常不同的工作。

首先，说明通常不会有的、在输入了上述流结束信号时，输入帧个数in＝0或1的情况。

在输入帧数in＝0，即1个帧也没有输入时进入步骤S9。此时，当然不需要在Sample-To-TimeStamp Atom追加要素。因此，区间序号index＝0(步骤S9)，将其值作为Sample-To-TimeStamp Atom的要素数写入0(步骤S12)。

在输入帧数in＝1时，追加帧数num＝1、帧间隔dur＝du(du；任一数)的要素，使区间序号index＝1之后(步骤S9)，将其值作为Sample-To-TimeStamp Atom的要素数写入1(步骤S12)。另外，由于若没有2个帧，则不定义帧间隔dur，所以在此作为帧间隔dur追加的帧间隔du也可以不是有意义的值，而可以任意确定。

在输入帧数in≥2时，这是通常状态，此时由于依然未处理n个帧，所以在Sample-To-TimeStamp Atom追加它。即，追加帧个数num＝n、帧间隔dur＝d的要素，并对区间序号index增加1之后(步骤S1)，作为Sample-To-TimeStampAtom的要素数写入该增加1的index值(步骤S12)。这样，结束Sample-To-TimeStamp Atom的表生成处理。

接着，根据图17说明利用RTP(实时传输协议)从基站向数据记录装置发送MPEG-4数据时的处理。

图17是表示作为现有的移动终端的数据记录装置的结构的图，从发送单元使用RTP传送MPEG-4数据。

以下，说明现有的数据记录装置。

数据记录装置由RTP接收装置91、RTP接收缓冲器92、RTP解码单元93、MP4文件编码单元95、记录媒体96构成，首先，RTP接收单元91一从作为基站的RTP发送单元90接收分割为视频包单位的、存储在RTP包的MPEG-4的编码数据，则将该RTP包存储到接收缓冲器92。

在此，上述视频包是再分割帧的数据单位，即使丢失某个视频包，或在某个视频包有错误，也可以正确解码其它视频包。另外，在上述RTP包附有RTP时间戳。在具有存储在该RTP包的编码数据的编码数据时间戳设置附加随机补偿的值。通常，在将1帧的编码数据分割为多个RTP包时，在这些分割的多个RTP包的RTP时间戳附有同一值。另外，在上述RTP包附有连续序号(序列号)，在接收侧，即数据记录装置通过检查其序列号的连续性，可以确认包的丢失。

接着，RTP解码单元93从上述接收缓冲器82接收多于1个的具有同一时间戳的RTP包，从该RTP包去除RTP头等而恢复成原来的MPEG-4数据，MP4文件编码单元95将来自该RTP解码单元93的MPEG-4数据变换成MPEG-4文件，并存储到记录媒体96。另外，在上述RTP解码单元93可以从附在RTP包的RTP时间戳和大小取得变换成MP4文件所需的MP4时间戳和帧大小等信息。

另外，从作为基站的RTP发送单元90使用RTP向作为移动终端的数据记录装置传送MPEG-4数据时，从上述RTP发送单元90包没有到达数据记录装置时，例如从RTP发送单元90以分割为多个RTP包的状态发送帧时，丢失几个RTP包或丢失所有构成某个帧的RTP包时，数据记录装置跳跃上述RTP接收单元91没有正确接收的数据，在记录媒体96只MP4文件记录上述RTP接收单元91正确接收到的数据。

但是，上述可变帧速率的编码数据与固定帧速率的编码数据相比，有可以进行对应图像信号压缩的编码的优点，另一方面，由于帧速率有自由度，所以在将其编码数据变换为MP4文件时，记录MP4文件的帧间隔的Sample-To-TimeStamp Atom的表大小由编码数据确定，所以存在不能估计其表大小，或在装置发生异常时难以恢复数据，还有，在MP4文件记录编码数据之后，从其MP4文件解码数据时的数据处理量变大的问题。

具体说来，例如，在图11所示的现有的数据编码装置中，在上述MP4文件编码单元85将可变帧速率的编码数据变换为MP4文件时，根据上述编码判断单元82的判断结果，每次在编码数据的帧间隔变化时，需要在Sample-To-TimeStamp Atom存储新的要素。这样，在MP4文件与Sample SizeAtom和Movie Data Atom同样，还增加Sample-To-TimeStamp Atom的表大小，所以需要比MP4文件记录固定帧速率的编码数据增加记录媒体86的容量。比较将固定帧速率的编码数据变换为MP4文件时的MP4文件的结构图(图12)和、可变帧速率的编码数据的MP4文件的结构图(图15)可知该Sample-To-TimeStamp Atom的表变大。即，如图15所示，在编码数据为固定帧速率时，由于帧间隔一直为dur＝1，所以Sample-To-TimeStamp Atom的表的要素为1个，其表的大小没有变化。

另外，在将可变帧速率的编码数据变换为MP4文件时，上述Sample-To-TimeStamp Atom的生成方法与Sample Size Atom和Movie Data Atom的生成方法不同，根据在编码判断单元82判断输入帧的结果增加其表，所以在开始MP4文件记录上述编码数据时，不能估计最终表的大小。

另外，上述现有的数据编码装置中，在上述MP4文件编码单元85将可变帧速率的编码数据变换为MP4文件时生成上述Sample Size Atom和Movie DataAtom的情况下，由于以1帧的编码数据单位一边依次写入mdat atom暂时存储单元46、stsz atom暂时存储单元47一边进行处理，所以在数据编码装置发生异常时，也可以恢复数据，但在生成Sample-To-TimeStamp Atom时，由于在帧速率变化时确定其表的要素，所以在数据编码装置发生异常时，不能完全恢复Sample-To-TimeStamp Atom表的数据。

以下说明若上述MP4文件的Sample-To-TimeStamp Atom的表变大，则再生记录在记录媒体86的数据时其处理量变大。

首先，解释Sample-To-TimeStamp Atom，从MP4时间戳计算出取样序号，或从取样序号计算出MP4时间戳的处理

在此，根据图16说明从Sample-To-TimeStamp Atom求出对应给予的MP4时间戳(T)的取样序号N的处理。

图16是使用Sample-To-TimeStamp Atom查询对应给予的MP4时间戳的取样的一系列流程的流程图。

首先，设置MP4时间戳T(步骤S21)，初始化区间序号index、该区间序号index所指区间的最初帧的MP4时间戳T0，以及包含到该区间序号index所指区间的帧数NO值(步骤S22)。接着，从Sample-To-TimeStamp Atom取得包含在当前index所指区间的帧数num和其帧间隔dur(步骤S23)，计算当前index所指区间的结束时刻Te(步骤S24)。另外，从T0+num×dur取得当前index所指区间的结束时刻Te。

比较如上得到的当前index所指区间的结束时刻Te和MP4时间戳T，判断MP4时间戳T是否包含在该区间(步骤S25)。

在步骤S25中，在T＜Te时判断为MP4时间戳T包含在当前index所指区间，确定其MP4时间戳T的取样序号(步骤S27)。该取样序号的确定是由于到当前index所指区间为止的时间是该区间序号index所指区间的最初帧的MP4时间戳TO，所以至MP4时间戳T所示的帧为止的时间为T-TO，另外由于该区间的帧间隔为dur，所以其MP4时间戳T所示的取样帧成为从该区间的起始第{(T-TO)/dur}个帧。因此，帧的取样序号N成为NO+(T-TO)/dur。

另一方面，在步骤S25中，在T＞Te时判断为在该当前index所指区间没有包含MP4时间戳T，转移到Sample-To-TimeStamp Atom表的下一要素(步骤S26)。即，设下一区间的开始时间TO，设置步骤S24求出的区间结束时间Te，设至下一区间的要素数为NO，设置至该区间的要素数NO与该区间的帧数num的和，将区间序号index增加1。之后，再次返回到步骤S23，在步骤S25将上述处理重复至T＜Te为止。另外，在步骤S26中index大于要素数时，表示不能估计MP4时间戳T所示的帧。

这样，在Sample-To-TimeStamp Atom表的要素数增加时，需要重复步骤S23～步骤S26的处理，直至搜索到包含该MP4时间戳T的区间，可知从MP4时间戳T搜索到该MP4时间戳所示的帧的区间序号N非常费时。另外，上述处理的逆处理的从取样序号N求出MP4时间戳T的处理与上述处理同样，其数量与Sample-To-TimeStamp Atom的要素数成正比增加。

另外，图17所示的使用RTP的数据发送中，由于不进行重新发送包处理，所以不累积包延迟而进行实时传送，另一方面，若发生网络延迟或暂时切断等，则包被丢失，从而包不能到达作为接收侧的数据记录装置。因这种RTP性质，在作为MP4文件记录从基站的RTP发送单元90使用RTP接收到的MPEG-4数据的数据记录装置丢失该发送的编码数据的概率大，若丢失包，则接收到的编码数据的帧速率频繁改变，所以存储表示帧间隔的Sample-To-TimeStamp Atom表增加特别显著。

而且，在上述数据编码装置或数据记录装置搭载在其物理大小、消耗功率或记录媒体的容量受较大限制的移动终端时，会有上述Ssmple-To-TimeStampAtom数据增大，Sample-To-TimeStamp Atom数据难以完全恢复，而且再生数据时的处理量大的各种问题。

发明内容

本发明是鉴于上述问题而提出的，其目的在于提供一种将可变帧速率的MPEG-4编码数据变换为MP4文件并记录时，将可变帧速率变换为固定帧速率的数据变换装置、数据编码装置以及数据记录装置。

本发明(第1项)的数据编码装置具有：暂时存储单元，暂时存储输入的图像信号数据的编码数据；时间戳读取单元，从存储在上述暂时存储单元的上述编码数据读取作为该编码数据的时间信息的输入时间戳；时间戳变换单元，将上述编码数据的输入时间戳变换为基于输出从外部作为初始信息输入的上述编码数据时的固定帧速率的时间戳；固定帧速率变换单元，将附有基于上述固定帧速率的时间戳的上述编码数据变换为上述固定帧速率的编码数据。

本发明(第2项)的数据编码装置是在第1项所述的数据变换装置中，上述固定帧速率变换单元具有生成有表示非更新的信息的编码数据，对表示该非更新的编码数据作为上述输入时间戳附上任一值的非更新帧生成单元和；确定从上述固定帧速率变换单元输出的编码数据的输出时间戳。比较该输出时间戳和基于上述固定帧速率的时间戳，根据其结果控制选择上述暂时存储单元和上述非更新帧生成单元中的一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据。

本发明(第3项)的数据变换装置是在第1项所述的数据变换装置中，上述固定帧速率变换单元具有生成表示大小0的编码数据，对表示该大小0的编码数据作为上述输入时间戳附加任一值的大小0帧生成单元和；确定上述固定帧速率变换单元输出的编码数据的输出时间戳。比较该输出时间戳和基于上述固定帧速率的时间戳。根据其结果控制选择上述暂时存储单元和上述大小0帧生成单元中的一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据。

本发明(第4项)的数据变换装置是在第2项所述的数据变换装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据。

本发明(第5项)的数据变换装置是在第3项所述的数据变换装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据。

本发明(第6项)的数据变换装置是在第2项所述的数据变换装置中，上述固定帧速率变换单元具有为了使该输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述非更新帧生成单元输出的表示上述非更新的编码数据的输入时间戳的编码数据时间戳连续化单元。

本发明(第7项)的数据变换装置是在第3项所述的数据变换装置中，上述固定帧速率变换单元具有为了使输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据的输入时间戳的编码数据时间戳连续化单元。

本发明(第8项)的数据编码装置是取得输入的图像信号数据，从作为该图像信号数据的时间信息的输入时间戳判断是否编码该图像信号数据，根据该判断结果，在编码单元将上述图像信号数据压缩编码成可变帧速率的编码数据，具有生成有表示非更新的信息的编码数据，对表示该非更新的编码数据作为上述输入时间戳附加任一值，确定基于输出时的固定帧速率的时间戳的非更新帧生成单元，在上述判断结果为不编码上述图像信号数据时，从上述非更新帧生成单元输出表示上述非更新的编码数据和、基于上述固定帧速率的时间戳。

本发明(第9项)的数据编码装置是取得输入的图像信号数据，从作为该图像信号数据的时间信息的输入时间戳判断是否编码该图像信号数据，根据该判断结果，在编码单元将上述图像信号数据压缩编码成可变帧速率的编码数据，具有生成表示大小0的编码数据，对表示该大小0的编码数据作为上述输入时间戳附加任一值，确定基于输出时的固定帧速率的时间戳的大小0帧生成单元，在上述判断结果为不编码上述图像信号数据时，从上述大小0帧生成单元输出表示上述大小0的编码数据和、基于上述固定帧速率的时间戳。

本发明(第10项)的数据记录装置具标接收传送的RTP包的RTP接收单元；暂时存储接收的上述RTP包的RTP接收缓冲器和；将存储在上述RTP接收缓冲器的、具有同一RTP时间戳的RTP包解码成编码数据的RTP解码单元，将上述编码数据变换为标准文件格式并记录到记录媒体的数据记录装置中，具有从上述RTP接收缓冲器取得上述RTP时间戳。并变换为基于输出从外部作为初始信息输入的上述编码数据时的固定帧速率的时间戳的时间戳变换单元和，将附有基于上述固定帧速率的时间戳的上述编码数据变换为上述固定帧速率的编码数据的固定帧速率变换单元，将从上述固定帧速率变换单元输出的上述固定帧速率的编码数据变换为标准文件格式，并记录在上述记录媒体。

本发明(第11项)的数据记录装置是在第10项所述的数据记录装置中，上述固定帧速率变换单元具有生成有表示非更新的信息的编码数据，对表示该非更新的编码数据作为上述输入时间戳附上任一值的非更新帧生成单元；暂时存储来自上述RTP解码单元的上述编码数据的暂时存储单元；确定从上述固定帧速率变换单元输出的编码数据的输出时间戳，比较该输出时间戳和、基于上述固定帧速率的时间戳，利用其结果，控制选择上述暂时存储单元和上述非更新帧生成单元中的一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据。

本发明(第12项)所述的数据记录装置是在第10项所述的数据记录装置中，上述固定帧速率变换单元具有生成表示大小0的编码数据，对表示该大小0的编码数据作为上述输入时间戳附加任一值的大小0帧生成单元；暂时存储来自上述RTP解码单元的上述编码数据的暂时存储单元和；确定上述固定帧速率变换单元输出的编码数据的输出时间戳。比较该输出时间戳和、基于上述固定帧速率的时间戳。利用其结果，控制选择上述暂时存储单元和上述大小0帧生成单元中的一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据。

本发明(第13项)所述的数据记录装置是在第11项所述的数据记录装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据。

本发明(第14项)所述的数据记录装置是在第12项所述的数据记录装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据。

本发明(第15项)所述的数据记录装置是在第11项所述的数据记录装置中，上述固定帧速率变换单元具有为了使该输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述非更新帧生成单元输出的表示上述非更新的编码数据的输入时间戳的编码数据时间戳连续化单元。

本发明(第16项)所述的数据记录装置是在第12项所述的数据记录装置中，上述固定帧速率变换单元具有为了使该输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据的输入时间戳的编码数据时间戳连续化单元。

附图说明

图1是表示本发明实施例1的数据变换装置的结构的图。

图2是表示本发明实施例1的数据变换装置的固定FPS化单元的结构的图。

图3是表示本发明实施例1的数据变换装置的固定FPS化单元内的非更新帧单元、大小0帧插入单元、以及编码数据时间戳连续化单元的结构的图。

图4是表示本发明实施例1的数据变换装置的固定FPS化单元的处理工作的一系列流程的流程图。

图5是表示在本发明实施例1的数据变换装置中，在非更新帧插入单元生成的编码数据(图(a))和、MP4文件的结构(图(b))的图。

图6是表示本发明实施例1的数据变换装置中，在大小0帧插入单元生成的编码数据(图(a))和、MP4文件的结构(图(b))的图。

图7是表示本发明实施例1的输入帧的MP4时间戳ITS波动状态的图。

图8是表示本发明实施例2的数据编码装置的结构的图。

图9是表示本发明实施例3的数据记录装置的结构的图。

图10是表示现有的可变帧速率的编码数据的帧间隔的图。

图11是表示现有的数据编码装置的结构的图。

图12是表示现有的MP4文件编码单元生成的可变帧速率的编码数据(图(a))和、MP4文件的结构(图(b))的图。

图13是表示现有的MP4文件编码单元的结构的图。

图14是表示现有的MP4文件编码单元的处理工作的一系列流程的流程图。

图15是表示固定帧速率的编码数据(图(a))和、MP4文件的结构(图(b))的图。

图16是表示使用现有的Sample-To-TimeStamp Atom，搜索对应给予的MP4时间戳的取样的一系列处理流程的流程图。

图17是表示现有的数据记录装置的结构的图。

具体实施方式

以下，说明本发明的实施例。本发明举例说明在记录为MP4文件时以固定帧速率记录输入的数据，上述输入的数据在实施例1中为可变帧速率的MPEG-4视频编码数据，在实施例2中为没有编码的图像数据，在实施例3中为用传送协议RTP接收的RTP数据的3种不同的数据的情况。

(实施例1)

以下，根据图1～图7说明本实施例1的数据变换装置。

本实施例1的数据变换装置是将可变帧速率的MPEG-4视频编码数据变换成固定帧速率的编码数据。

首先，根据图1说明本实施例1的数据变换装置100的结构。

图1是表示本实施例1的数据变换装置的结构的图。

图中，数据变换装置100由编码数据暂时存储单元101、编码数据时间戳读取单元102、时间戳变换单元103和固定FPS化单元104构成。

编码数据暂时存储单元101存储输入到本数据变换装置100的编码数据，编码数据时间戳读取单元102从存储在上述编码数据暂时存储单元101的编码数据取得编码数据时间戳。

在此，从编码数据取得编码数据时间戳是通过从最初编码数据，或隔几个帧附在编码数据之前的VOL头取得编码数据时间戳的标度(vop-time-increment-resolution)，并且，从各编码数据的VOP头取得编码数据时间戳的增加部分(modulo-time-base，vop-time-increment)，进行适当计算而求出的。

另外，时间戳变换单元103将该编码数据时间戳读取单元102读取的编码数据时间戳变换为在本发明的实施例之间通用表现形式的MP4时间戳。在此所述的本发明的实施例之间通用表现形式的MP4时间戳是以从0开始的形式记录在MP4文件的Sample-To-TimeStamp Atom的时间戳。

另外，固定FPS化单元104将可变帧速率的编码数据变换为固定帧速率的编码数据。

在此，根据图2和图3具体说明上述固定FPS化单元104的结构。图2是表示固定FPS化单元的结构的图，图3是表示非更新帧插入单元(图3(a))、大小0帧插入单元(图3(b))、编码数据时间戳连续化单元(图3(c))的结构的图。

在图2和图3中，上述固定FPS化单元104由非更新帧插入单元201、大小0帧插入单元202、编码数据时间戳连续化单元203构成，对于可变帧速率，现有的是通过在跳跃输入编码数据的时间戳。例如在图12所示的可变帧速率的编码数据的、被跳跃而没有数据的MP4时间戳1、3、5…、处插入虚构帧，成为固定帧速率的编码数据。

上述固定FPS化单元104内的非更新帧插入单元201由输出开关314的切换信号的处理单元311、生成非更新帧的非更新帧生成单元312、存储保存在上述编码数据暂时存储单元101的数据的暂时存储单元313、选择上述非更新帧生成单元312或上述暂时存储单元313的开关314构成，作为上述虚构帧插入作为表示非更新的特殊取样的非更新帧。在此，非更新帧是不含有与前一帧的图像信号的差分信息的编码数据，例如VOP头内的vop_coded为0的帧。还有，由于非更新帧不包含图像信号的差分信息(例如vop_coded＝0)，所以其数据量为几十字节，比通常的编码帧的数据量少。另外，在上述非更新帧也与通常帧同样有编码数据时间戳的区域，在上述非更新帧插入单元201对该区域附上任一值。另外，在该非更新帧中，根据有无形状编码，有无透明度信道，有时vop_coded＝0不表示非更新，此时输出使整个宏块成为MB_not_coded状态的帧。

另外，上述固定FPS化单元104内的大小0帧插入单元202由输出开关324的切换信号的处理单元321、生成大小0的帧的大小0帧生成单元322、存储上述编码数据暂时存储单元101保存的编码数据的暂时存储单元323和、选择上述大小0帧生成单元322或上述暂时存储单元323的开关324构成，作为上述虚构帧插入取样大小0的大小0帧。在此，大小0帧是数据大小为0，在编码数据没有意义的值的帧。

上述固定FPS化单元104内的编码数据时间戳连续化单元203由对于非更新帧插入单元201、大小0帧插入单元202输出的编码数据的编码数据时间戳。按照编码数据的规格从上述非更新帧或大小0帧的MP4时间戳变换为正确的编码数据时间戳。并写入的编码数据时间戳改写单元331和，存储上述各单元201、202输出的编码数据和编码数据量的暂时存储单元332构成。

通常，解码记录在记录媒体120的MP4文件时，由于只参照MP4时间戳进行解码，所以其帧的编码数据时间戳的值是任一值都可以，但从MP4文件只生成编码数据的文件等时，若编码数据具有的编码数据时间戳不正确，则不能生成文件，所以必需正确附上编码数据时间戳。上述编码数据时间戳连续化单元203假设从上述MP4文件生成上述文件，预先进行将附给帧的编码数据时间戳重新附加给正确的编码数据时间戳的处理。

另外，由于MP4文件编码单元110和记录媒体120具有与现有的数据编码装置中所述的同样结构，所以在此不作说明。

以下，根据图4～图7说明具有上述结构的本实施例1的数据变换装置100的一系列处理工作。另外，为了简化说明，本实施例1中，设输入到该装置的编码数据只是I-VOP或P-VOP。

图4是表示本实施例1的非更新帧插入单元或大小0帧插入单元的一系列工作的流程图。

首先，一开始本数据变换装置100的处理，则在编码数据暂时存储单元101保存编码数据。接着，在编码数据时间戳读取单元102从存储在上述编码数据暂时存储单元101的编码数据取得编码数据时间戳。该编码数据时间戳的取得是如上所述，通过从最初编码数据，或隔几个帧附在编码数据之前的VOL头取得编码数据时间戳的标度(vop-time-increment-resolution)，并且，从各编码数据的VOP头取得编码数据时间戳的增加部分(modulo-time-base，vop-time-increment)，进行适当计算而求出的。

在时间戳变换单元103将上述编码数据变换为MP4时间戳。对固定FPS化单元104同时输出存储在编码数据暂时存储单元101的编码数据及其数据大小。

取得上述编码数据、数据大小、MP4时间戳的固定FPS化单元104按照图4所示的流程图，将其可变帧速率的编码数据变换为固定帧速率的编码数据。

首先，输入的编码数据、编码数据量以及输入帧的MP4时间戳ITS输入到固定FPS化单元104内的非更新帧插入单元201和大小0帧插入单元202中的一个。

首先，说明在上述非更新帧插入单元201输入上述编码数据、编码数据量、以及MP4时间戳的情况。

该数据变换装置100一开始进行处理，上述非更新帧插入单元201的处理单元311初始化保存的输出帧的MP4时间戳OTS的值，取得作为初始条件从外部输入的要求时间戳间隔DTS(步骤S41)。接着，在从上述编码数据暂时存储单元101输入编码数据和编码数据量，从上述时间戳变换单元103输入MP4时间戳时，上述编码数据和数据大小存储到暂时存储单元313，上述MP4时间戳作为输入帧的MP4时间戳ITS输入到处理单元311(步骤S42)。

接着，在处理单元311比较在步骤S42取得的输入帧的MP4时间戳ITS和、在处理单元311保存的输出帧的MP4时间戳OTS(步骤S43)。

在步骤S43中，在ITS≤OTS时，从处理单元311输出选择暂时存储单元313的切换信号，输出存储在上述暂时存储单元313的编码数据和、将其编码数据的MP4时间戳ITS改写为保存在处理单元331的输出帧的MP4时间戳OTS并输出(步骤S44)。之后，对保存在处理单元311的输出帧的MP4时间戳相加要求时间戳间隔DTS，作为下一输出帧的MP4时间戳OTS。

另一方面，在步骤S43中，在ITS≥OTS时，从处理单元311输出选择非更新帧生成单元312的切换信号，输出上述非更新帧生成单元312生成的非更新帧和、处理单元331保存的输出帧的MP4时间戳OTS。之后，与上述同样，对保存在处理单元311的输出帧的MP4时间戳相加要求时间戳间隔DTS，作为下一输出帧的MP4时间戳OTS。

进行上述处理之后，从上述非更新帧插入单元201输出的编码数据最终MP4文件记录在记录媒体120，但使用记录在上述记录媒体120之后，从该MP4文件只取出编码数据并生成单独编码数据的独自文件等的上述MP4文件的利用方法时，由于记录在MP4文件的所有编码数据需要正确的编码数据时间戳。所以选择编码数据时间戳连续化单元203，在上述编码数据时间戳改写单元331使用其MP4时间戳将具有输入的编码数据的编码数据时间戳变换为正确的编码数据时间戳。在保存暂时存储单元332存储的编码数据内的编码数据时间戳的区域重新写入上述编码数据时间戳改写单元331生成的正确的编码数据时间戳。另外，在不需要使上述编码数据时间戳成为正确值的处理时，不选择编码数据时间戳连续化单元203，输出从非更新帧插入单元201输出的编码数据、编码数据量以及MP4时间戳即可。

接着，通过将上述固定FPS化单元104输出的上述编码数据、编码数据量以及MP4时间戳输出到上述MP4文件编码单元110，在该MP4文件编码单元110进行与现有同样的处理，将编码数据变换为MP4文件，MP4文件记录到记录媒体120。

在此，根据图5和图12说明通过经由非更新帧插入单元201得到的编码数据和MP4文件的结构。

图5是经由非更新帧插入单元，MP4文件记录时的编码数据(图(a))和、MP4文件的数据结构(图(b))的图。

如图5所示，利用上述数据变换装置100变换为固定帧速率的编码数据与图12所示的现有的可变帧速率的情况相比，由于时间戳的时间间隔固定，所以Sample-To-TimeStamp Atom要素为1个。但是，由于作为非更新帧在现有中跳跃的MP4时间戳处追加非更新帧，所以Movie data Atom和Sample Size Atom变大。

另外，如上所述，通过Sample-To-TimeStamp Atom的要素数一直为1个，从MP4时间戳计算帧序号，或从帧序号计算MP4时间戳变简单。

例如，设MP4时间戳为T，帧序号为N，帧间隔dur为d时，由于T＝d×N的关系成立，所以从MP4时间戳计算帧序号是N＝T/d，从帧序号计算出MP4时间戳是T＝d×N，因此，只用1次相除或相乘就可以算出。

另外，在上述固定FPS化单元104中，从上述各单元201、202输出的编码数据、数据大小MP4时间戳不经由上述编码数据时间戳连续化单元203也不影响MP4文件的数据结构而相同。因为MP4文件的MP4时间戳的确定与编码数据无关，在规格上不会有问题。

以下，说明在上述大小0帧插入单元202输入上述编码数据、编码数据量以及MP4文件时间戳的情况。

此时，也与上述的非更新帧插入单元201同样，按照图4的流程图进行处理。与上述非更新帧插入单元201的不同之处在于在上述非更新帧插入单元201插入非更新帧处插入大小0的帧。

在此，根据图6和图12说明通过经由大小0帧插入单元202得到的编码数据和MP4文件的结构。

图6是表示经由大小0帧插入单元MP4文件记录时的编码数据(图(a))和、MP4文件的数据结构(图(b))的图。

如图6所示，用上述数据变换装置100变换为固定帧速率的编码数据与图12所示的现有的可变帧速率的编码数据相比，Sample-To-TimeStamp Atom的要素为1个。另外，与上述非更新帧插入单元201不同，插入大小0的帧，不追加编码数据，所以上述Movie Data Atom的表大小与现有的可变帧速率的编码数据相同。但是，上述Sample-To-TimeStamp Atom的表大小与上述非更新帧插入单元201相同，追加表示大小0的帧，所以比图12所示的现有的可变帧速率时大。

另外，由于与上述非更新帧插入单元201同样，Sample-To-TimeStamp Atom的要素一直为1个，所以从MP时间戳计算帧序号，或从帧序号计算MP4文件变简单。

另外，与上述非更新帧插入单元201时同样，上述固定FPS化单元104有无经由上述编码数据时间戳连续化单元203不影响MP4文件的数据结构。

从上述说明可知，上述编码数据、编码数据量以及MP4时间戳输入到上述非更新帧插入单元201、或上述大小0帧插入单元202的任一个，都可以得到将可变帧速率的编码数据变换为固定帧速率的变换数据的同样的效果。但是，在输入到大小0帧插入单元202时，由于插入大小0帧，所以有的解码装置不能解码。从而，在重视数据的可移性时，输入到非更新帧速率插入单元201即可。

如上所述，根据该实施例1，将输入的可变帧速率的MPEG-4编码数据MP4文件记录到记录媒体120时，通过使上述可变帧速率的编码数据经由上述固定FPS化单元104，在现有中被跳跃的MP4时间戳处插入非更新帧或大小0帧，数据变换为固定帧速率的编码数据之后，利用MP4文件编码单元110变换为MP4文件，MP4文件记录在上述记录媒体120，所以与固定帧速率时同样，可以使Sample-To-TimeStamp Atom为1个，其结果，Sample-To-TimeStamp Atom表的大小不由编码数据确定，因此在该数据变换装置100发生异常的情况下，也可以完全恢复MP4文件的数据。

另外，由于上述Sample-To-TimeStamp Atom表的大小为一定的，所以可以减少再生MP4文件记录在记录媒体120的数据时的处理。

另外，在将本实施例1的数据变换装置100搭载在其物理上大小、消耗功率或记录媒体的容量受限的移动终端，在移动终端内的记录媒体记录MP4文件时，由于Sample-To-TimeStamp Atom表的要素固定为1个，所以不会产生因上述移动终端内的记录媒体的容量不足等引起的各种问题。

另外，本实施例1的说明中，将判断输出图4的步骤S43输入的编码数据，还是插入非更新帧或大小0帧的判断条件设为ITS≤OTS，通常给予输入到数据编码装置的编码数据的输入时间戳ITS不精确地与要求时间戳间隔DTS的倍数一致，而是在前后波动，即，ITS＝n×OTS±α(n：整数)。在此，α为表示波动分量。

产生该波动的原因是NTSC方式的TV信号的帧间隔为1001/30000＝0.033366666…秒(29.970029…Hz)，由于不是能整除的数，所以在生成编码数据时，在各设备进行舍入处理。该舍入处理的方法(四舍五入、舍去、进位)，以及其帧间隔的位数依赖于各设备，在MP4记录时不能知道其信息。

以下，根据图7说明因上述理由产生波动的情况。图7是表示给予输入帧的时间戳ITS在前后波动一些的状态的图，图(a)是判断条件为ITS≤OTS的情况，图(b)为ITS≤OTS+DTS/2的情况。在此设要求时间戳间隔DTS＝100。

如图7(a)所示，在判断条件为ITS≤OTS时，如第(n-1)个帧，若ITS向小于OTS的方向波动，则判断该第(n-1)个帧为正确的OTS(＝800)的帧，不会出现问题，但如第n个帧，若ITS向大于OTS的方向波动，该第n个帧不判断为正确的OTS(＝900)的帧，而判断为下一OTS(＝1000)的帧。

在这样的情况下，若设图4的步骤S43判断条件为ITS≤OTS+DTS/2，则如图7(b)所示，则该第n个帧判断为正确的OTS(＝900)的帧，可以数据变换因上述理由产生的波动而在MP4记录到记录媒体120之前消除。另外，在此，作为判断条件的一例比较对OTS相加DTS/2，但也可以相加除了DTS/2之外的一定值。

(实施例2)

以下，根据图8说明本实施例2的数据编码装置。

上述实施例1中说明了将可变帧速率的MPEG-4视频编码数据变换为固定帧速率的编码数据的数据变换装置，本实施例2中说明从照相机等输入没有编码的图像信号，将该图像信号编码为固定帧速率的编码数据之后MP4文件记录的数据编码装置。

首先，根据图8说明本实施例2的数据编码装置200的结构。

图8是表示本实施例2的数据编码装置的结构的图。

图8中，数据编码装置200在图11所示的现有的数据编码装置具有非更新帧生成单元84，上述的编码判断单元82判断是否编码得到的帧，基于该判断结果，编码单元83输出是否选择非更新帧生成单元84的开关选择信号。另外，由于其它结构与现有的数据编码装置相同，所以在此不作说明。

上述非更新帧生成单元84生成上述实施例1所述的非更新帧，插入MP4时间戳。另外，非更新帧的编码数据时间戳与实施例1同样，在该非更新帧生成单元84附上任一值。

以下，说明本实施例2的数据编码装置200的处理工作。

首先，数据编码装置200在图像取得单元81将从照相机输入的图像变换为帧，将该帧从读取图像开始与以照相机的帧速率增加的帧序号一起输出到编码判断单元82。

接着，编码判断单元82从上述帧序号和预先给予的照相机的帧信息计算输入的帧的MP4时间戳。从该时间戳、至此编码的总数据量和输出比特速率判断是否编码该输入的帧。至此与现有的同样。

在上述编码判断单元82判断为编码该输入的帧时，该编码判断单元82输出选择编码单元83的开关选择信号，将从照相机输入的帧和、该帧的时间戳输出到编码单元83。

接着，在编码单元83进行上述帧的编码处理之后，将编码数据、编码数据量和MP4时间戳输出到MP4文件编码单元110。

另一方面，在上述编码判断单元82判断为不编码该帧时，该编码判断单元82输出选择非更新帧生成单元84的开关选择信号，在非更新帧生成单元84生成非更新帧，插入该非更新帧的MP4时间戳。将上述非更新帧、非更新帧的大小以及MP4时间戳输出到上述MP4文件编码单元110。另外，上述非更新帧与实施例1所述的相同。

之后，在上述MP4文件编码单元110中，将上述编码单元83或非更新帧生成单元84输出的编码数据或非更新帧变换为MP4文件，MP4文件记录到记录媒体120(参考图5)。

另外，以上说明中，根据上述编码判断单元82的判断，现有中利用非更新帧生成单元84在跳跃数据的MP4时间戳处插入非更新帧，但也可以代替上述非更新帧生成单元84，具有生成大小0的大小0帧，插入MP4时间戳的大小0帧生成单元(未图示)。此时，根据编码判断单元82的判断，在现有中跳跃数据的MP4时间戳处插入大小0帧，得到与上述非更新帧速率生成单元84时相同的效果(参考图6)。但是，将用上述大小0帧生成单元插入大小0帧的编码数据变换为MP4文件并记录到记录媒体120时，有比上述非更新帧生成单元84得到的MP4文件小的优点，但在解码该MP4文件时，有的解码装置不能解码。从而，在重视数据的可移性时，具有上述的非更新帧生成单元84。

另外，在从记录在上述记录媒体120的上述MP4文件只生成编码数据文件等时，由于在编码数据的编码数据时间戳不正确时不能生成文件，所以假设从MP4文件生成这样的文件等时，在上述编码单元83或非更新帧生成单元84(或大小0帧生成单元)和、MP4文件编码单元110之间还具有上述实施例1所述的上述编码数据时间戳连续化单元203，使用MP4时间戳将从上述编码单元83或非更新帧生成单元84输出的编码数据的编码时间戳变换为正确的编码数据时间戳并重新写入。

如上所述，根据本实施例2，在编码从照相机输入的图像信号时，在编码判断单元82判断为编码时，在编码单元83编码输入的图像信号，在判断为不编码时，利用非更新帧生成单元84或大小0帧生成单元(未图示)在现有中跳跃的地方生成并插入非更新帧或大小0帧，所以在MP4文件编码单元110将该数据变换为MP4文件，并MP4文件记录到记录媒体120时，可使Sample-To-TimeStamp Atom如固定帧速率时那样为1，其结果，Sample-To-TimeStamp Atom表的大小不由编码数据确定，在本数据编码装置200产生异常的情况下，也可以完全恢复MP4文件的数据。

另外，由于上述Sample-To-TimeStamp Atom表的大小为一定的，所以可以减少再生MP4记录到记录媒体120的数据时的处理。

在将本实施例2的数据编码装置200搭载在其物理上大小、消耗功率、记录媒体的容量受较大限制的移动终端，由于也可以将Sample-To-TimeStampAtom表的要素固定为1个，所以不会产生因记录媒体120的容量不足等而引起的各种问题。

(实施例3)

以下，根据图9说明本实施例3的数据记录装置。

上述实施例1说明了将可变帧速率的MPEG-4视频编码数据变换为固定帧速率的编码数据的数据变换装置，本实施例3中说明接收并解码发送局使用RTP(实时传输协议)发送的MPEG-4数据，并MP4文件记录到记录媒体的数据记录装置。

首先，根据图9说明本实施例3的数据记录装置300的结构。

图9是表示本实施例3的数据记录装置300的结构的图。

图9中，数据记录装置300在图17所示的现有的数据记录装置具有RTP时间戳变换单元94和固定FPS化单元104，RTP时间戳变换单元94将作为在上述RTP解码单元83取得的RTP包的时间戳的RTP时间戳变换为本发明实施例之间通用的表现形式的MP4时间戳。在此所述的本发明的实施例之间的通用表现形式的MP4时间戳是以从0开始的形式记录到MP4文件的Sample-To-TimeStampAtom的时间戳。

上述RTP时间戳变换单元94的、从RTP时间戳至MP4时间戳的变换如现有的数据记录装置中所述，由于RTP时间戳没有随机补偿，所以从整个RTP包的RTP时间戳减去该补偿，使起始编码数据的时间戳从0开始，并且，进行使上述RTP时间戳的标度成为本发明通用的MP4时间戳的标度的乘除法运算。

另外，上述固定FPS化单元104的结构与在上述实施例1中根据图2和图3所述同样，本数据记录装置的其它结构与现有的数据记录装置相同，所以在此不作说明。

以下，说明具有上述结构的本实施例3的数据记录装置300的一系列处理工作。本实施例3中说明了数据记录装置300为移动终端，但该数据记录装置300不限于移动终端，从发送局使用RTP接收数据并MP4记录的装置即可。

首先，从基站的RTP发送单元90以视频包单位分割MPEG-4的编码数据，数据记录装置的RTP接收单元91接收存储其各视频包的RTP包。

接着，在RTP接收缓冲器92暂时存储适当数量的上述RTP接收单元91接收到的RTP包。

在该上述RTP接收缓冲器92中，利用排列消除上述RTP包在传送中序号转换的现象，1帧的编码数据分割为多个RTP包并传送时，保存到积累成多于1帧的包。

接着，从上述RTP接收缓冲器92取得的RTP包在RTP解码单元93解码为MPEG-4数据，其编码数据及其编码数据量输出到固定FPS化单元104，同时从RTP包取得RTP时间戳。将该取得的RTP时间戳输出到RTP时间戳变换单元94。

输出到上述RTP时间戳变换单元94的RTP时间戳如上述变换为MP4时间戳。输出到固定FPS化单元104。

由于之后的固定FPS化单元104的处理和MP4文件编码单元110的处理与上述实施例1所述的相同，所以在此不作说明。

如上所述，根据本实施例3，在RTP接收单元91接收RTP发送单元90使用RTP(实时传输协议)发送的、存储在RTP包的MPEG-4数据，在RTP解码单元93将该RTP包解码成MPEG-4数据，同时取得RTP时间戳。在RTP时间戳变换单元94将RTP时间戳变换为MP4时间戳。上述固定FPS化单元104从上述RTP解码单元93取得编码数据和编码数据量，在现有中没有跳跃的MP4时间戳的地方插入非更新帧或大小0帧，数据变换为固定帧速率的编码数据之后，利用MP4文件编码单元110进行MP4文件变换，MP4文件记录到上述记录媒体120，所以可使Sample-To-TimeStamp Atom如固定帧速率时那样为1个，其结果，Sample-To-TimeStamp Atom表的大小不由编码数据确定，在本数据记录装置300产生异常的情况下，也可以完全恢复MP4文件的数据。

另外，由于上述Sample-To-TimeStamp Atom表的大小是一定的，所以可以减少再生MP4文件记录到记录媒体120的数据时的处理。

另外，在将本实施例3的数据记录装置300搭载在其物理上大小、消耗功率、记录媒体的容量受较大限制的移动终端，由于也可以将Sample-To-TimeStamp Atom表的要素固定为1个，所以不会产生因记录媒体120的容量不足等而引起的各种问题。

另外，本实施例3中，设判断输出解码上述发送局传送的RTP包的编码数据，还是插入非更新帧或大小0帧的判断条件为ITS≤OTS，但与上述实施例1同样，通常给予RTP包的输入时间戳ITS因上述理由不精确地与要求时间戳间隔DTS的倍数一致，而是在前后波动。这样的情况下，若将上述判断条件与实施例1同样设为ITS≤OTS+DTS/2，则可以在MP4记录到记录媒体120之前消除因上述理由产生的波动。另外，在此作为判断条件的一例比较了对OTS相加DTS/2，但也可以相加除了DTS/2之外的一定值。

通过上述，根据本发明第1项的数据变换装置，具有：暂时存储单元，暂时存储输入的图像信号数据的编码数据；时间戳读取单元，从存储在上述暂时存储单元的上述编码数据读取作为该编码数据的时间信息的输入时间戳。时间戳变换单元，将上述编码数据的输入时间戳变换为基于输出从外部作为初始信息输入的上述编码数据时的固定帧速率的时间戳。固定帧速率变换单元，将附有基于上述固定帧速率的时间戳的上述编码数据变换为上述固定帧速率的编码数据，因此，可以将以可变帧速率输入的编码数据变换为固定帧速率的编码数据，其结果，具有在以标准文件格式记录编码数据时编码数据的搜索处理简单等提高编码数据的便利性的优点。

根据本发明第2项的数据变换装置，在第1项所述的数据变换装置中，上述固定帧速率变换单元具有生成有表示非更新的信息的编码数据，对表示该非更新的编码数据作为上述输入时间戳附上任一值的非更新帧生成单元和；确定从上述固定帧速率变换单元输出的编码数据的输出时间戳。比较该输出时间戳和、基于上述固定帧速率的时间戳，利用其结果，控制选择上述暂时存储单元和上述非更新帧生成单元中的一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据，因此，可以将可变帧速率的编码数据变换为可移性的固定帧速率的编码数据。

根据本发明第3项的数据变换装置，在第1项所述的数据变换装置中，上述固定帧速率变换单元具有生成表示大小0的编码数据，对表示该大小0的编码数据作为上述输入时间戳附上任一值的大小0帧生成单元和；确定上述固定帧速率变换单元输出的编码数据的输出时间戳，比较该输出时间戳和、基于上述固定帧速率的时间戳。利用其结果，控制选择上述暂时存储单元和上述大小0帧生成单元中的一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据，因此，可以将可变帧速率的编码数据变换为固定帧速率的编码数据。另外，在以标准文件格式将上述编码数据记录到记录媒体等时，可以减小该记录所需的容量。

根据本发明第4项的数据变换装置，在第2项所述的数据变换装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据，因此，在上述处理单元可以消除附在输入的图像数据的时间戳的波动。

根据本发明第5项的数据变换装置，在第3项所述的数据变换装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据，因此，在上述处理单元可以消除附在输入的图像数据的时间戳的波动。

根据本发明第6项的数据变换装置，在第2项所述的数据变换装置中，上述固定帧速率变换单元具有为了使该输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述非更新帧生成单元输出的表示上述非更新的编码数据的输入时间戳的编码数据时间戳连续化单元，因此，补偿附在编码数据的输入时间戳的差错，可以生成具有连续的输入时间戳的编码数据，其结果，可以从上述固定帧速率变换单元输出的数据只生成编码数据文件等。

根据本发明第7项的数据变换装置，在第3项所述的数据变换装置中，上述固定帧速率变换单元具有为了使该输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据的输入时间戳的编码数据时间戳连续化单元，因此，补偿附在编码数据的输入时间戳的差错，可以生成具有连续的输入时间戳的编码数据，其结果，可以从上述固定帧速率变换单元输出的数据只生成编码数据文件等。

根据本发明第8项的数据编码装置，读取输入的图像信号数据，从作为该图像信号数据的时间信息的输入时间戳判断是否编码该图像信号数据，根据该判断结果，在编码单元将上述图像信号数据压缩编码成可变帧速率的编码数据，具有生成有表示非更新的信息的编码数据，对表示该非更新的编码数据作为上述输入时间戳附上任一值，确定基于输出时的固定帧速率的时间戳的非更新帧生成单元，在上述判断结果为不编码上述图像信号数据时，从上述非更新帧生成单元输出表示上述非更新的编码数据和、基于上述固定帧速率的时间戳。因此，因上述编码单元的处理延迟等数据不能编码而跳跃，可以将压缩编码成可变帧速率的编码数据的图像信号数据压缩编码为可移性的固定帧速率的编码数据，其结果，具有在以标准文件格式记录编码数据时使编码数据的搜索处理简单等提高编码数据的便利性的优点。

根据本发明第9项的数据编码装置，读取输入的图像信号数据，从作为该图像信号数据的时间信息的输入时间戳判断是否编码该图像信号数据，根据该判断结果，在编码单元将上述图像信号数据压缩编码成可变帧速率的编码数据，具有生成表示大小0的编码数据，对表示该大小0的编码数据作为上述输入时间戳附上任一值，确定基于输出时的固定帧速率的时间戳的大小0帧生成单元，在上述判断结果为不编码上述图像信号数据时，从上述大小0帧生成单元输出表示上述大小0的编码数据和、基于上述固定帧速率的时间戳。因此，因上述编码单元的处理延迟等数据不能编码而跳跃，可以将压缩编码成可变帧速率的编码数据的图像信号数据压缩编码为可移性的固定帧速率的编码数据，其结果，具有在以标准文件格式记录编码数据时使编码数据的搜索处理简单等提高编码数据的便利性的优点。另外，在将上述编码数据以标准文件格式记录到上述记录媒体时，还可以减小该记录所需的容量。

根据本发明第10项的数据记录装置，具有：接收传送的RTP包的RTP接收单元；暂时存储接收的上述RTP包的RTP接收缓冲器和；将存储在上述RTP接收缓冲器的、具有同一RTP时间戳的RTP包解码成编码数据的RTP解码单元，将上述编码数据变换为标准文件格式并在记录到记录媒体的数据记录装置中，具有从上述RTP接收缓冲器取得上述RTP时间戳。并变换为基于输出从外部作为初始信息输入的上述编码数据时的固定帧速率的时间戳的时间戳变换单元和；将附有基于上述固定帧速率的时间戳的上述编码数据变换为上述固定帧速率的编码数据的固定帧速率变换单元，将从上述固定帧速率变换单元输出的上述固定帧速率的编码数据变换为标准文件格式并记录在上述记录媒体，因此，在将以RTP包传送的编码数据变换为标准文件格式并记录时，在传送中丢失RTP包等，将跳跃数据的可变帧速率的编码数据变换为固定帧速率的编码数据之后，可以标准文件格式记录，其结果，具有使编码数据的搜索处理简单等提高编码数据的便利性的优点。

根据本发明第11项的数据记录装置，在第10项所述的数据记录装置中，上述固定帧速率变换单元具有生成有表示非更新的信息的编码数据，对表示该非更新的编码数据作为上述输入时间戳附上任一值的非更新帧生成单元；暂时存储来自上述RTP解码单元的上述编码数据的暂时存储单元；确定从上述固定帧速率变换单元输出的编码数据的输出时间戳。比较该输出时间戳和、基于上述固定帧速率的时间戳。利用其结果，控制选择上述暂时存储单元和上述非更新帧生成单元中一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据，因此，可以将可变帧速率的编码数据变换为可移性的固定帧速率的编码数据。

根据本发明第12项的数据记录装置，在第10项所述的数据记录装置中，上述固定帧速率变换单元具有生成表示大小0的编码数据，对表示该大小0的编码数据作为上述输入时间戳附上任一值的大小0帧生成单元；暂时存储来自上述RTP解码单元的上述编码数据的暂时存储单元和；确定上述固定帧速率变换单元输出的编码数据的输出时间戳。比较该输出时间戳和、基于上述固定帧速率的时间戳。利用其结果，控制选择上述暂时存储单元和上述大小0帧生成单元中的一个的处理单元，上述处理单元在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据，因此，可以将可变帧速率的编码数据变换为固定帧速率的编码数据。另外，在以标准文件格式将上述编码数据记录到记录媒体时，可以减小该记录所需的容量。

根据本发明第13项的数据记录装置，在第11项所述的数据记录装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述非更新帧生成单元的表示上述非更新的编码数据，因此，在上述处理单元可以消除附在传送的RTP包的时间戳的波动。

根据本发明第14项的数据记录装置，在第12项所述的数据记录装置中，上述处理单元在对上述输出时间戳相加任一值的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据，在对上述输出时间戳相加任一值的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据，因此，在上述处理单元可以消除附在传送的RTP包的时间戳的波动。

根据本发明第15项的数据记录装置，在第11项所述的数据记录装置中，上述固定帧速率变换单元具有为了使该输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述非更新帧生成单元输出的表示上述非更新的编码数据的输入时间戳的编码数据时间戳连续化单元，因此，补偿附在编码数据的输入时间戳的差错，可以生成具有连续的输入时间戳的编码数据，其结果，可以从变换为记录在上述记录媒体的标准文件格式的数据只生成编码数据文件等。

根据本发明第16项的数据记录装置，在第12项所述的数据记录装置中，上述固定帧速率变换单元具有为了使该输入时间戳连续，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、来自上述大小0帧生成单元的表示上述大小0的编码数据的输入时间戳的编码数据时间戳连续化单元，因此，补偿附在编码数据的输入时间戳的差错，可以生成具有连续的输入时间戳的编码数据，其结果，可以从变换为记录在上述记录媒体的标准文件格式的数据只生成编码数据文件等。

Claims (17)

1.一种数据变换装置，其特征在于包括：

暂时存储单元，暂时存储输入的可变帧速率的编码数据；

时间戳读取单元，从存储在上述暂时存储单元的上述编码数据读取作为该编码数据的时间信息的输入时间戳；

时间戳变换单元，将上述编码数据的输入时间戳变换为基于输出从外部作为初始信息输入的上述编码数据时的固定帧速率的时间戳；

固定帧速率变换单元，将带有基于上述固定帧速率的时间戳与上述输入的编码数据所带的时间戳比较，在上述输入的可变帧速率编码数据的、被跳跃而没有数据的时间戳的位置，插入根据预定规则形成的数据，使该可变帧速率的编码数据变换为固定帧速率的编码数据。

2.如权利要求1所述的数据变换装置，其特征在于：

上述固定帧速率变换单元包括：

非更新帧生成单元，生成具有表示非更新的信息的编码数据及该编码数据的数据量，对该表示非更新的编码数据附上作为上述输入时间戳的任一值和；

处理单元，确定从上述固定帧速率变换单元输出的编码数据的输出时间戳，比较该输出时间戳和、基于上述固定帧速率的时间戳，利用其结果，控制选择上述暂时存储单元和上述非更新帧生成单元中的一个，

上述处理单元

在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述非更新帧生成单元发生的表示上述非更新的编码数据及该编码数据的数据量。

3.如权利要求1所述的数据变换装置，其特征在于：

上述固定帧速率变换单元包括：

大小0帧生成单元，生成表示大小空的编码数据及该编码数据的为0的数据量，对该空的编码数据附上任一值作为上述输入时间戳；和

处理单元，确定上述固定帧速率变换单元输出的编码数据的输出时间戳，将该输出时间戳与基于上述固定帧速率的时间戳比较，利用比较结果，控制选择上述暂时存储单元和上述大小0帧生成单元中的一个，

上述处理单元

在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述大小0帧生成单元生成的表示上述空的编码数据及该编码数据的大小为0的数据量。

4.如权利要求2所述的数据变换装置，其特征在于：

上述处理单元

在上述输出时间戳相加任一值后的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳相加任一值后的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述非更新帧生成单元生成的表示上述非更新的编码数据及该编码数据的数据量。

5.如权利要求3所述的数据变换装置，其特征在于：

上述处理单元

在上述输出时间戳相加任一值后的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳相加任一值后的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述大小0帧生成单元生成的表示上述空的编码数据及该编码数据的大小为0的数据量。

6.如权利要求2所述的数据变换装置，其特征在于：

上述固定帧速率变换单元包括编码数据时间戳连续化单元，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述非更新帧生成单元输出的表示上述非更新的编码数据的输入时间戳，使该输入时间戳连续。

7.如权利要求3所述的数据变换装置，其特征在于：

上述固定帧速率变换单元包括编码数据时间戳连续化单元，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述大小0帧生成单元输出的上述空的编码数据的输入时间戳，使该输入时间戳连续。

8.一种数据编码装置，其特征在于包括：

编码判断装置，用于读取输入的图像信号数据，从作为该图像信号数据的时间信息的输入时间戳，计算基于该图像信号数据输入时固定帧速率的时间戳，判断是否编码该图像信号数据；

编码装置，用于将上述图像信号数据进行压缩编码成可变帧速率的编码数据并输出；

插入数据生成装置，用于将根据预定规则形成的插入数据输出；以及‘

选择装置，用于当上述编码判断装置判断为对上述图像信号数据进行编码时，选择上述编码装置，当上述编码判断装置判断为不对上述图像数据进行编码时，选择上述插入数据生成装置，

通过上述选择装置，在上述编码装置所编码的可变帧速率编码数据上，附加上上述插入数据生成装置所生成的插入数据，变换成固定帧速率数据输出。

9.根据权利要求8所述的数据编码装置，其特征在于：

上述插入数据生成装置是这样的非更新帧生成单元，它生成具有表示非更新的信息的编码数据及该编码数据的数据量，对该表示非更新的编码数据附上任一值作为上述输入时间戳后输出。

10.根据权利要求8所述的数据编码装置，其特征在于：

上述插入数据生成装置是这样的大小0帧生成单元，它生成表示空的编码数据及该编码数据的大小为0的编码数据量，对该空的编码数据附上任一值作为上述输入时间戳后输出。

11一种数据记录装置，具有接收传送的RTP包的RTP接收单元，暂时存储接收的上述RTP包的RTP接收缓冲器和，将存储在上述RTP接收缓冲器的、具有同一RTP时间戳的RTP包解码成可变帧速率的编码数据的RTP解码单元，将上述编码数据变换为标准文件格式并记录到记录媒体，其特征在于包括：

时间戳变换单元，从上述RTP接收缓冲器取得上述RTP时间戳，并变换为基于从外部作为初始信息输入的、在输出上述编码数据时的固定帧速率的时间戳，以及

固定帧速率变换单元，将带有基于上述固定帧速率的时间戳与上述输入的编码数据所带的时间戳比较，在上述输入的可变帧速率编码数据的、被跳跃而没有数据的时间戳的位置，插入根据预定规则形成的数据，使该可变帧速率的编码数据变换为固定帧速率的编码数据，

将从上述固定帧速率变换单元输出的上述固定帧速率的编码数据变换为标准文件格式并记录在上述记录媒体。

12.如权利要求11所述的数据记录装置，其特征在于：

上述固定帧速率变换单元包括：非更新帧生成单元，生成具有表示非更新的信息的编码数据及该编码数据的数据量，对该表示非更新的编码数据附上任一值作为上述输入时间戳；

暂时存储单元，暂时存储来自上述RTP解码单元的上述编码数据，和

处理单元，确定从上述固定帧速率变换单元输出的编码数据的输出时间戳，比较该输出时间戳和、基于上述固定帧速率的时间戳，利用其结果，控制选择上述暂时存储单元和上述非更新帧生成单元中一个，

上述处理单元

在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述非更新帧生成单元生成的表示上述非更新的编码数据及该编码数据的数据量。

13.如权利要求11所述的数据记录装置，其特征在于：

上述固定帧速率变换单元包括：大小0帧生成单元，生成表示空的编码数据及该编码数据的大小为0的数据量，对该空的编码数据附上任一值作为上述输入时间戳；

暂时存储单元和，暂时存储来自上述RTP解码单元的上述编码数据；和

处理单元，确定上述固定帧速率变换单元输出的编码数据的输出时间戳，比较该输出时间戳和、基于上述固定帧速率的时间戳，利用其结果，控制选择上述暂时存储单元和上述大小0帧生成单元中的一个，

上述处理单元

在上述输出时间戳大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述大小0帧生成单元生成的表示上述空的编码数据及该编码数据的大小为0的数据量。

14.如权利要求12所述的数据记录装置，其特征在于：

上述处理单元

在上述输出时间戳相加任一值后的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳相加任一值后的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述非更新帧生成单元生成的表示上述非更新的编码数据及该编码数据的数据量。

15.如权利要求13所述的数据记录装置，其特征在于：

上述处理单元

在上述输出时间戳相加任一值后的值大于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、存储在上述暂时存储单元的编码数据及该编码数据的数据量，

在上述输出时间戳相加任一值后的值小于基于上述固定帧速率的时间戳时，控制输出上述输出时间戳和、上述大小0帧生成单元生成的表示上述空的编码数据及该编码数据的大小为0的数据量。

16.如权利要求12所述的数据记录装置，其特征在于：

上述固定帧速率变换单元包括：编码数据时间戳连续化单元基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述非更新帧生成单元输出的表示上述非更新的编码数据的输入时间戳，使该输入时间戳连续。

17.如权利要求13所述的数据记录装置，其特征在于：

上述固定帧速率变换单元包括编码数据时间戳连续化单元，基于上述输出时间戳改写上述暂时存储单元输出的上述编码数据的输入时间戳和、上述大小0帧生成单元输出的上述空的编码数据的输入时间戳，使该输入时间戳连续。

Images