CN103004185B - 影像声音变换装置及影像声音变换方法 - Google Patents

Abstract

在进行速率变换录制时，分离部（101）、影像解码部（102）、声音解码部（103）、影像编码部（104）、声音编码部（105）及复用部（106）高效率地并行动作，由此能够缩短处理时间。分离部（101）、影像解码部（102）、声音解码部（103）、影像编码部（104）、声音编码部（105）及复用部（106）通过监视前段及后段的处理部的处理状态，并进行处理的停止及重启的控制，由此能够使各个处理部以最佳的处理速度进行动作，能够缩短速率变换录制的处理时间。

Description

影像声音变换装置及影像声音变换方法

技术领域

本发明涉及影像声音变换装置及其方法，接收将第一编码影像数据及第一编码声音数据进行复用得到的第一复用数据作为输入，并快速地进行速率变换录制。

背景技术

在过去的HDD（Hard Disk Drive：硬盘驱动）/DVD（Digital VersatileDisc：数字通用盘）录制器等进行通常的记录再现的记录再现装置中，存在具有速率变换录制功能的装置，该功能用于进行将记录在HDD中的尺寸大于DVD的记录容量的影像声音数据变换为能够收纳在DVD中的尺寸的速率变换，并记录在DVD中。

通常，对被记录在HDD等中的按照MPEG（Moving Picture ExpertsGroup：动态图像专家组）等被压缩的影像声音数据进行解码，并进行已解码的影像声音数据的显示控制，同时进行已解码的影像声音数据的编码并记录在DVD等中，由此实现速率变换录制。

但是，在上述控制中，解码及编码是与电视机的输出同步地进行速率变换录制，因而需要与显示时间相同的复制时间。

作为解决这种情况并实现快速的速率变换录制的方法，例如有专利文献1记载的与影像声音数据相关的速率变换录制方法。

在上述专利文献1记载的速率变换录制中，首先在影像声音解码部中开始规定单位的影像声音数据的解码。在解码完成后，从影像声音解码部向影像声音编码部发送解码完成通知。在接收到该完成通知的影像声音编码部中马上开始已被解码的影像声音数据的编码（在编解码的处理中，按照比变换前的压缩率高的压缩率进行影像声音数据的再压缩）。在编码完成后，从影像声音编码部向影像声音解码部发送编码完成通知。在接收到该完成通知的影像声音解码部中马上开始下一个影像声音数据的解码。通过进行这种控制，影像声音解码部及影像声音编码部的处理不再需要与电视机的输出同步，因而能够缩短速率变换录制的处理时间。

现有技术文献

专利文献

专利文献1：国际公开第08/023763号公报

发明概要

发明要解决的问题

但是，在上述专利文献1记载的速率变换技术中，通过逐次处理来切换影像声音解码部和影像声音编码部，并进行速率变换录制。由此，在影像声音解码部及影像声音编码部中分别产生停止期间，因而导致处理的效率降低，速率变换录制的处理时间延长。

发明内容

为了解决上述问题，本发明的目的在于提供一种影像声音变换装置及方法，在进行与影像声音数据相关的速率变换录制时，影像声音解码部及影像声音编码部高效率地并行动作，由此能够缩短处理时间。

用于解决问题的手段

为了达到上述目的，本发明的某个方面涉及的影像声音变换装置从将第一编码影像数据及第一编码声音数据进行复用得到的第一复用数据，生成将第二编码影像数据及第二编码声音数据进行复用得到的第二复用数据，该影像声音变换装置具有：分离部，从第一复用数据复用分离出第一编码影像数据及第一编码声音数据；影像解码部，对由所述分离部复用分离出来的第一编码影像数据进行解码，由此生成影像数据；声音解码部，对由所述分离部复用分离出来的第一编码声音数据进行解码，由此生成声音数据；影像编码部，对由所述影像解码部生成的影像数据进行编码，由此生成第二编码影像数据；声音编码部，对由所述声音解码部生成的声音数据进行编码，由此生成第二编码声音数据；以及复用部，进行由所述影像编码部生成的第二编码影像数据和由所述声音编码部生成的第二编码声音数据的复用，由此生成第二复用数据，所述分离部根据由所述影像解码部及所述声音解码部进行的解码的进展状况，控制由所述分离部进行的复用分离的停止及重启，所述影像解码部根据由所述分离部进行的复用分离的进展状况及由所述影像编码部进行的编码的进展状况，控制由所述影像解码部进行的解码的停止及重启，所述声音解码部根据由所述分离部进行的复用分离的进展状况及由所述声音编码部进行的编码的进展状况，控制由所述声音解码部进行的解码的停止及重启，所述影像编码部根据由所述影像解码部进行的解码的进展状况及由所述复用部进行的复用的进展状况，控制由所述影像编码部进行的编码的停止及重启，所述声音编码部根据由所述声音解码部进行的解码的进展状况及由所述复用部进行的复用的进展状况，控制由所述声音编码部进行的编码的停止及重启，所述复用部根据由所述影像编码部及所述声音编码部进行的编码的进展状况，控制由所述复用部进行的复用的停止及重启。

根据这种结构，各个处理部根据其前后处理部的处理的进展状况来控制自身的处理的停止及重启，以便吸收分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部的处理速度的差。由此，分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部以最佳的处理速度进行动作，由此能够进行快速的速率变换录制。

另外，也可以是，所述分离部还将附加在所述第一复用数据中的时刻信息通知给所述复用部，所述复用部使用由所述分离部通知的所述时刻信息，进行第二编码影像数据和第二编码声音数据的复用，生成所述第二复用数据。

另外，也可以是，所述分离部通过监视在将由所述分离部复用分离出来的第一编码影像数据从所述分离部向所述影像解码部传送时临时存储该第一编码影像数据的第一中间缓冲器的数据蓄积状态，判定由所述影像解码部进行的解码的进展状况，通过监视在将由所述分离部复用分离出来的第一编码声音数据从所述分离部向所述声音解码部传送时临时存储该第一编码声音数据的第二中间缓冲器的数据蓄积状态，判定由所述声音解码部进行的解码的进展状况，所述影像解码部通过监视所述第一中间缓冲器的数据蓄积状态，判定由所述分离部进行的复用分离的进展状况，通过监视在将所述影像解码部生成的影像数据从所述影像解码部向所述影像编码部传送时临时存储该影像数据的第三中间缓冲器的数据蓄积状态，判定由所述影像编码部进行的编码的进展状况，所述声音解码部通过监视所述第二中间缓冲器的数据蓄积状态，判定由所述分离部进行的复用分离的进展状况，通过监视在将所述声音解码部生成的声音数据从所述声音解码部向所述声音编码部传送时临时存储该声音数据的第四中间缓冲器的数据蓄积状态，判定由所述声音编码部进行的编码的进展状况，所述影像编码部通过监视所述第三中间缓冲器的数据蓄积状态，判定由所述影像解码部进行的解码的进展状况，通过监视在将所述影像编码部生成的第二编码影像数据从所述影像编码部向所述复用部传送时临时存储该第二编码影像数据的第五中间缓冲器的数据蓄积状态，判定由所述复用部进行的复用的进展状况，所述声音编码部通过监视所述第四中间缓冲器的数据蓄积状态，判定由所述声音解码部进行的解码的进展状况，通过监视在将所述声音编码部生成的第二编码声音数据从所述声音编码部向所述复用部传送时临时存储该第二编码声音数据的第六中间缓冲器的数据蓄积状态，判定由所述复用部进行的复用的进展状况，所述复用部通过监视所述第五中间缓冲器的数据蓄积状态，判定由所述影像编码部进行的编码的进展状况，通过监视所述第六中间缓冲器的数据蓄积状态，判定由所述声音编码部进行的编码的进展状况。

另外，也可以是，上述的影像声音变换装置还具有同步控制部，用于调整将所述影像解码部生成的影像数据向所述影像编码部传送的定时、和将所述声音解码部生成的声音数据向所述声音编码部传送的定时，所述分离部还将附加在所述第一复用数据中的时刻信息通知所述同步控制部，所述时刻信息包括与影像数据的输出相关的影像输出时刻信息和与声音数据的输出相关的声音输出时刻信息，所述同步控制部响应与系统基准时间成比例地合计的基准时间达到了所述影像输出时刻信息这一情况，进行所述影像解码部生成的影像数据的传送，并且响应与系统基准时间成比例地合计的基准时间达到了所述声音输出时刻信息这一情况，进行所述声音解码部生成的声音数据的传送，由此进行影像数据和声音数据的同步控制，所述影像解码部根据由所述影像编码部进行的编码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制由所述影像解码部进行的解码的停止及重启，所述声音解码部根据由所述声音编码部进行的编码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制由所述声音解码部进行的解码的停止及重启，所述影像编码部进行所述影像解码部生成的影像数据的编码、即进行通过所述同步控制部而同步的影像数据的编码，并根据由所述影像解码部进行的解码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制编码的停止及重启，所述声音编码部进行所述声音解码部生成的声音数据的编码、即进行通过所述同步控制部而同步的声音数据的编码，并根据由所述声音解码部进行的解码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制编码的停止及重启。

根据这种结构，同步控制部进行影像数据和声音数据的同步控制。由此，分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部以最佳的处理速度进行动作，由此能够进行快速的速率变换录制。

另外，也可以是，所述分离部通过监视在将由所述分离部复用分离出来的第一编码影像数据从所述分离部向所述影像解码部传送时临时存储该第一编码影像数据的第七中间缓冲器的数据蓄积状态，判定由所述影像解码部进行的解码的进展状况，通过监视在将由所述分离部复用分离出来的第一编码声音数据从所述分离部向所述声音解码部传送时临时存储该第一编码声音数据的第八中间缓冲器的数据蓄积状态，判定由所述声音解码部进行的解码的进展状况，所述影像解码部通过监视所述第七中间缓冲器的数据蓄积状态，判定由所述分离部进行的复用分离的进展状况，通过监视在将所述影像解码部生成的影像数据从所述影像解码部向所述同步控制部传送时临时存储该影像数据的第九中间缓冲器的数据蓄积状态，判定由所述同步控制部进行的同步控制的进展状况，所述声音解码部通过监视所述第八中间缓冲器的数据蓄积状态，判定由所述分离部进行的复用分离的进展状况，通过监视在将所述声音解码部生成的声音数据从所述声音解码部向所述同步控制部传送时临时存储该声音数据的第十中间缓冲器的数据蓄积状态，判定由所述同步控制部进行的同步控制的进展状况，所述影像编码部通过监视在将由所述同步控制部实施同步控制的影像数据从所述同步控制部向所述影像编码部传送时临时存储该影像数据的第十一中间缓冲器的数据蓄积状态，判定由所述同步控制部进行的同步控制的进展状况，通过监视在将所述影像编码部生成的第二编码影像数据从所述影像编码部向所述复用部传送时临时存储该第二编码影像数据的第十三中间缓冲器的数据蓄积状态，判定由所述复用部进行的复用的进展状况，所述声音编码部通过监视在将由所述同步控制部实施同步控制的声音数据从所述同步控制部向所述声音编码部传送时临时存储该声音数据的第十二中间缓冲器的数据蓄积状态，判定由所述同步控制部进行的同步控制的进展状况，通过监视在将所述声音编码部生成的第二编码声音数据从所述声音编码部向所述复用部传送时临时存储该第二编码声音数据的第十四中间缓冲器的数据蓄积状态，判定由所述复用部进行的复用的进展状况，所述复用部通过监视所述第十三中间缓冲器的数据蓄积状态，判定由所述影像编码部进行的编码的进展状况，通过监视所述第十四中间缓冲器的数据蓄积状态，判定由所述声音编码部进行的编码的进展状况。

另外，也可以是，所述同步控制部以N倍速度进行同步控制，所述N是所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所述声音编码部及所述复用部能够动作的速率变换录制的变换速度的倍速值的最小值。

另外，也可以是，上述的影像声音变换装置还具有：延迟控制部，向所述同步控制部进行延迟的控制通知；第一延迟检测部，监视由所述影像解码部进行的解码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部；第二延迟检测部，监视由所述声音解码部进行的解码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部；第三延迟检测部，监视由所述影像编码部进行的编码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部；以及第四延迟检测部，监视由所述声音编码部进行的编码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部，所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部均是如果检测到延迟，则向所述延迟控制部进行延迟通知，如果检测到延迟的消除，则向所述延迟控制部进行重启通知，所述延迟控制部在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到延迟通知时，作为延迟的控制通知向所述同步控制部进行同步控制的停止通知，在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到重启通知时，作为延迟的控制通知向所述同步控制部进行同步控制的重启通知。

根据这种结构，各个延迟检测部监视在各个处理部中进行的处理的延迟，根据该监视的结果来进行同步控制部的处理。由此，分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部以最佳的处理速度进行动作，由此能够进行快速的速率变换录制。

另外，也可以是，所述第一延迟检测部根据在将所述影像解码部生成的影像数据从所述影像解码部向所述同步控制部传送时临时存储该影像数据的第九中间缓冲器的数据蓄积状态，检测由所述影像解码部进行的解码的延迟，所述第二延迟检测部根据在将所述声音解码部生成的声音数据从所述声音解码部向所述同步控制部传送时临时存储该声音数据的第十中间缓冲器的数据蓄积状态，检测由所述声音解码部进行的解码的延迟，所述第三延迟检测部根据在将所述同步控制部实施了同步控制的影像数据从所述同步控制部向所述影像编码部传送时临时存储该影像数据的第十一中间缓冲器的数据蓄积状态，检测由所述影像编码部进行的编码的延迟，所述第四延迟检测部根据在将所述同步控制部实施了同步控制的声音数据从所述同步控制部向所述声音编码部传送时临时存储该声音数据的第十二中间缓冲器的数据蓄积状态，检测由所述声音编码部进行的编码的延迟。

另外，也可以是，所述第一延迟检测部通过监视所述影像解码部生成的影像数据的帧数和所述同步控制部进行了同步控制的影像数据的帧数，检测由所述影像解码部进行的解码的延迟，所述第二延迟检测部通过监视所述声音解码部生成的声音数据的帧数和所述同步控制部进行了同步控制的声音数据的帧数，检测由所述声音解码部进行的解码的延迟，所述第三延迟检测部通过监视所述同步控制部进行了同步控制的影像数据的帧数和所述影像编码部生成的第二编码影像数据的帧数，检测由所述影像编码部进行的编码的延迟，所述第四延迟检测部通过监视所述同步控制部进行了同步控制的声音数据的帧数和所述声音编码部生成的第二编码声音数据的帧数，检测由所述声音编码部进行的编码的延迟。

另外，也可以是，所述延迟控制部在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到延迟通知时，将同步控制的停止信号通知给所述同步控制部，在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到重启通知时，将同步控制的重启信号通知所述同步控制部，所述同步控制部在从所述延迟控制部接收到停止信号时，保持同步控制的状态但停止同步控制，在从所述延迟控制部接收到重启信号时，在所保持的停止时的状态下重启同步控制。

另外，也可以是，所述同步控制部以N倍速度进行同步控制，所述N是所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所述声音编码部及所述复用部能够动作的速率变换录制的变换速度的倍速值的最小值，所述延迟控制部在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到延迟通知时，将在同步控制中使用的所述N的切换信号通知给所述同步控制部，在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到重启通知时，将同步控制的重启信号通知所述同步控制部，所述同步控制部在从所述延迟控制部接收到切换信号时，使用减去了规定的值后的所述N作为同步控制的倍速值，在从所述延迟控制部接收到重启信号时，使用所述N作为同步控制的倍速值。

另外，也可以是，上述的影像声音变换装置还具有向所述同步控制部进行所述N的通知的倍速通知部。

另外，也可以是，所述倍速通知部根据来自外部的指示，选择所通知的所述N。

另外，也可以是，上述的影像声音变换装置还具有将与动作设定对应的所述N通知给所述倍速通知部的动作模式判定部，所述动作设定将影响到所述分离部的复用分离、所述影像解码部的解码、所述声音解码部的解码、所述影像编码部的编码、所述声音编码部的编码、或者所述复用部的复用，所述倍速通知部将由所述动作模式判定部通知的所述N通知给所述同步控制部。

根据这种结构，通过选择分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部进行最佳动作的N值，能够进行最佳的速率变换录制。因此，影像解码部、声音解码部、影像编码部及声音编码部能够对高画质化、高音质化的处理分配时间，能够生成高质量的第二复用数据。

另外，也可以是，上述的影像声音变换装置还具有倍速测定部，在速率变换录制开始前进行所述N的测定，并将测定到的所述N通知给所述倍速通知部，所述倍速通知部将由所述倍速测定部通知的所述N通知给所述同步控制部。

根据这种结构，不需事前确定每种动作模式的最佳的N值，就能够以分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部进行最佳动作的N值进行速率变换录制。

另外，也可以是，上述的影像声音变换装置还具有：动作模式判定部，判定与动作设定对应的动作模式，所述动作设定将影响到所述分离部的复用分离、所述影像解码部的解码、所述声音解码部的解码、所述影像编码部的编码、所述声音编码部的编码、或者所述复用部的复用；倍速测定部，在速率变换录制开始前进行所述N的测定；以及倍速记录存储器，记录所测定到的所述N，在与动作模式对应的所述N被记录在所述倍速记录存储器中的情况下，所述动作模式判定部将所记录的所述N通知给所述倍速通知部，在与动作模式对应的所述N没有记录在所述倍速记录存储器中的情况下，所述动作模式判定部向所述倍速测定部进行启动通知，所述倍速测定部按照每种动作模式来测定最佳的所述N，将每种动作模式的所述N记录在所述倍速记录存储器中，并将所述N通知给所述倍速通知部。

根据这种结构，不需事前确定每种动作模式的最佳的N值，就能够以分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部进行最佳动作的N值进行速率变换录制。并且，在以相同的动作模式进行动作的情况下，能够缩短截止到开始速率变换录制的时间。

另外，也可以是，上述的影像声音变换装置还具有倍速通知部，在进行速率变换录制的过程中切换进行同步控制的速度的倍率即N，并通知给所述同步控制部。

另外，也可以是，上述的影像声音变换装置还具有倍速测定部，当在规定的期间中基于所述延迟控制部的同步控制的定时调整的发生次数多于规定次数的情况下，所述倍速测定部将从所述N减去规定的值得到的值作为所述N，并通知给所述倍速通知部，在没有发生同步控制的定时调整的情况下，所述倍速测定部将向所述N加上规定的值得到的值作为所述N，并通知给所述倍速通知部，所述延迟控制部通知所述倍速测定部发生了同步控制的定时调整，所述倍速通知部将由所述倍速测定部通知的所述N通知给所述同步控制部。

根据这种结构，即使是在动作模式被切换的情况下，也能够以分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部进行最佳动作的N值进行速率变换录制。另外，也能够结合被输入分离部的第一复用数据，以分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部进行最佳动作的N值进行速率变换录制。

另外，也可以是，上述的影像声音变换装置还具有根据所述N进行动作设定的倍速判定部，所述动作设定将影响到所述分离部的复用分离、所述影像解码部的解码、所述声音解码部的解码、所述影像编码部的编码、所述声音编码部的编码、或者所述复用部的复用。

另外，本发明不仅能够实现为具有这种特征性的处理部的影像声音变换装置，而且也能够实现为将影像声音变换装置所包含的特征性的处理部执行的处理作为步骤的影像声音变换方法。并且，也能够实现为使计算机执行影像声音变换方法所包含的特征性步骤的程序。并且，这种程序当然能够通过CD－ROM（Compact－Disc－Read Only Memory）等计算机可读的非易失性记录介质或因特网等通信网络进行流通。

发明效果

根据本发明，通过进行调整控制，所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所述声音编码部及所述复用部能够以最佳的处理速度进行动作，由此能够进行快速的速率变换录制，所述调整控制用于吸收所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所述声音编码部及所述复用部的处理速度的差。

附图说明

图1是表示实施方式1的影像声音变换装置的功能性结构的框图。

图2是表示实施方式2的影像声音变换装置的功能性结构的框图。

图3是实施方式2的同步控制的定时图。

图4是实施方式2的基于同步定时的基准时间STC’和VPTS及APTS的关系图。

图5是表示实施方式3的影像声音变换装置的功能性结构的框图。

图6是实施方式3的基于停止及重启的延迟控制的定时图。

图7是实施方式3的基于N值调整的延迟控制的定时图。

图8是实施方式3的声音数据没有被供给所述第十中间缓冲器的模式的图。

图9是表示实施方式4的影像声音变换装置的功能性结构的框图。

图10是表示实施方式4的倍速信息表的图。

图11是表示实施方式5的影像声音变换装置的功能性结构的框图。

图12是表示实施方式5的倍速测定控制的动作的流程图。

图13是表示实施方式6的影像声音变换装置的功能性结构的框图。

图14是表示实施方式6的倍速确定控制的动作的流程图。

图15是表示实施方式7的影像声音变换装置的功能性结构的框图。

图16是实施方式7的倍速切换控制的定时图。

图17是表示实施方式7的倍速切换控制的动作的流程图。

图18是表示实施方式8的影像声音变换装置的功能性结构的框图。

图19是表示实施方式8的倍速信息表的图。

具体实施方式

下面，参照附图说明用于实施本发明的方式。

（实施方式1）

图1是表示本发明的实施方式1的影像声音变换装置的功能性结构的框图。

在实施方式1中，HDD001和DVD002是记录单元，在HDD001中记录有例如电视广播的按照MPEG等被压缩的第一复用数据。DVD002用于记录速率变换录制后的第二复用数据。另外，记录单元也可以是HDD、BD、SD卡等记录介质。

影像声音变换装置由分离部101、影像解码部102、声音解码部103、影像编码部104、声音编码部105及复用部106构成。并且，分离部101具有将时刻信息通知复用部106的功能（SIG201），复用部106具有利用时刻信息进行影像数据与声音数据的同步控制的功能。下面，说明这些各个单元和信号的流程。

分离部101进行被记录在HDD001中的第一复用数据的复用分离，并分离为按照MPEG等被实施编码的第一编码影像数据和按照AC－3（AudioCode number3）等被实施编码的第一编码声音数据，将第一编码影像数据存储在第一中间缓冲器301中，将第一编码声音数据存储在第二中间缓冲器302中。并且，分离部101将针对被附加在第一复用数据中的影像数据和声音数据的输出时刻信息（PTS）和解码时刻信息（DTS）、系统时刻基准信息（SCR）、以及程序时刻基准信息（PCR）等时刻信息通知复用部106（SIG201）。

影像解码部102对被存储在第一中间缓冲器301中的第一编码影像数据进行解码处理，将进行解码得到的影像数据存储在第三中间缓冲器303中。

声音解码部103对被存储在第二中间缓冲器302中的第一编码声音数据进行解码处理，将进行解码得到的声音数据存储在第四中间缓冲器304中。

影像编码部104对被存储在第三中间缓冲器303中的影像数据进行编码处理使成为MPEG等的压缩数据，将进行编码得到的第二编码影像数据存储在第五中间缓冲器305中。此时，影像编码部104也可以在对影像解码部102进行解码得到的影像数据另外实施高画质化或者析像度变换等影像处理后，进行编码处理。

声音编码部105对被存储在第四中间缓冲器304中的声音数据进行编码处理使成为规定的压缩数据，将进行编码得到的第二编码声音数据存储在第六中间缓冲器306中。此时，声音编码部105也可以在对声音解码部103进行解码得到的声音数据另外实施高画质化等声音处理后，进行编码处理。

在影像编码部104和声音编码部105的编码处理中，以与记录在HDD001中时的压缩率不同的压缩率对数据进行再压缩（速率变换）。进行再压缩的方法例如有在现有示例中说明的方法，也能够应用于本实施方式。

复用部106使用由分离部101通知的时刻信息，将被存储在第五中间缓冲器305中的第二编码影像数据和被存储在第六中间缓冲器306中的第二编码声音数据，分别配置成为在第一复用数据中的第一编码影像数据和第一编码声音数据之间时间轴上的关系是相同的，由此生成第二复用数据。通过这样控制，在进行第二编码影像数据和第二编码声音数据的同步控制并进行复用后，将第二复用数据记录在DVD002中。

另外，影像声音变换装置也可以仅对影像数据和声音数据中一方进行再压缩。说明仅对影像数据进行再压缩的情况。分离部101进行第一复用数据的复用分离，并分离成为按照MPEG等被实施编码的第一编码影像数据和按照AC－3等被实施编码的第一编码声音数据。第一编码影像数据被传送给第一中间缓冲器301，以后由影像解码部102进行解码，由影像编码部104进行编码，然后传送给第五中间缓冲器305。另一方面，第一编码声音数据不传送给第二中间缓冲器302，而是直接传送给第六中间缓冲器306。复用部106进行被存储在第五中间缓冲器305中的第二编码影像数据和被存储在第六中间缓冲器306中的第一编码声音数据的复用，将第二复用数据记录在DVD002中。在此，对影像数据的再压缩进行了说明，对于仅对声音数据进行再压缩时，也是进行相同的处理。

下面，说明基于分离部101、影像解码部102、声音解码部103、影像编码部104、声音编码部105及复用部106的处理速度之差分的、各个中间缓冲器的上溢和下溢的避免控制。分离部101、影像解码部102、声音解码部103、影像编码部104、声音编码部105及复用部106分别监视位于其前段的中间缓冲器（对于分离部101而言不存在位于其前段的缓冲器，因而不适用）及位于其后段的中间缓冲器（对于复用部106而言不存在位于其后段的中间缓冲器，因而不适用）的数据的蓄积状态。分离部101、影像解码部102、声音解码部103、影像编码部104、声音编码部105及复用部106均是在位于其前段的中间缓冲器内的数据余量低于规定的阈值的情况下，停止处理使得不产生中间缓冲器的下溢，而在数据余量高于规定的阈值的情况下重新开始处理。并且，在位于其后段的中间缓冲器内的空闲余量低于规定的阈值的情况下，停止处理使得不产生中间缓冲器的上溢，而在空闲余量高于规定的阈值的情况下重新开始处理。

根据这种结构，分离部101、影像解码部102、声音解码部103、影像编码部104、声音编码部105及复用部106能够以最佳的处理速度实现速率变换录制。并且，通过使用第一复用数据的时刻信息，可以生成能够实现取得了影像与声音的同步的准确再现的第二复用数据。

另外，本发明的影像声音变换装置的必须的构成要素是分离部101、影像解码部102、声音解码部103、影像编码部104、声音编码部105及复用部106，其它的构成要素也可以设于影像声音变换装置的外部。

（实施方式2）

图2是表示本发明的实施方式2的影像声音变换装置的功能性结构的框图。

与实施方式1相同地，HDD001和DVD002是记录单元，在HDD001中记录有例如电视广播的按照MPEG等被压缩的第一复用数据。DVD002用于记录速率变换录制后的第二复用数据。另外，记录单元也可以是SD卡等。

实施方式2的影像声音变换装置由分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111、复用部112、同步控制部401、第七中间缓冲器501、第八中间缓冲器502、第九中间缓冲器503、第十中间缓冲器504、第十一中间缓冲器505、第十二中间缓冲器506、第十三中间缓冲器507、第十四中间缓冲器508构成。

分离部107进行被记录在HDD001中的第一复用数据的复用分离，并分离为按照MPEG等被实施编码的第一编码影像数据和按照AC－3等被实施编码的第一编码声音数据。

影像解码部108对由分离部107进行复用分离得到的第一编码影像数据进行解码。

声音解码部109对由分离部107进行复用分离得到的第一编码声音数据进行解码。

影像编码部110对由影像解码部108进行解码得到的影像数据进行编码。

声音编码部111对由声音解码部109进行解码得到的声音数据进行编码。

复用部112进行由影像编码部110进行编码得到的第二编码影像数据和由声音编码部111进行编码得到的第二编码声音数据的复用，并生成第二复用数据。

同步控制部401调整由影像解码部108进行解码得到的影像数据向影像编码部110传送的定时、和由声音解码部109进行解码得到的声音数据向声音编码部111传送的定时。

第七中间缓冲器501在将由分离部107进行复用分离得到的第一编码影像数据从分离部107向影像解码部108传送时进行临时存储。

第八中间缓冲器502在将由分离部107进行复用分离得到的第一编码声音数据从分离部107向声音解码部109传送时进行临时存储。

第九中间缓冲器503在将由影像解码部108进行解码得到的影像数据从影像解码部108向同步控制部401传送时进行临时存储。

第十中间缓冲器504在将由声音解码部109进行解码得到的声音数据从声音解码部109向同步控制部401传送时进行临时存储。

第十一中间缓冲器505在将由同步控制部401进行了同步控制的影像数据从同步控制部401向影像编码部110传送时进行临时存储。

第十二中间缓冲器506在将由同步控制部401进行了同步控制的声音数据从同步控制部401向声音编码部111传送时进行临时存储。

第十三中间缓冲器507在将由影像编码部110进行编码得到的第二编码影像数据从影像编码部110向复用部112传送时进行临时存储。

第十四中间缓冲器508在将由声音编码部111进行编码得到的第二编码声音数据从声音编码部111向复用部112传送时进行临时存储。

另外，分离部107具有将时刻信息通知同步控制部401的功能（SIG402）。下面，说明这些各个单元和信号的流程。

图3表示在同步控制部401的同步控制定时。图3中的横轴表示自速率变换录制开始起的经过时间t。

在设速率变换录制的变换速度的倍速值为N的情况下，同步控制部401进行由影像解码部108按照视频帧周期（例如，对于HDTV（High DefinitionTelevision）的1080i是1/29.97Hz）的1/N倍周期进行解码得到的影像数据的传送控制。并且，同步控制部401进行由声音解码部109按照音频帧周期（例如，对于AAC（AdvancedAudio Coding）是1024/48kHz）的1/N倍周期进行解码得到的声音数据的传送控制。即，在N＝1（1倍速）的情况下，按照影像及声音的帧周期进行同步控制，在N＝2（2倍速）的情况下，按照影像及声音的帧周期的1/2周期进行同步控制。

图4是用于说明在同步控制部401的同步控制的图。图4中的横轴表示自速率变换录制开始起的经过时间t，纵轴表示时刻信息的值。

同步控制部401在速率变换录制开始时求出将系统基准时间STC（System Time Clock）与N值（N的值）相乘得到的值，再从由分离部107通知的第一次的时刻信息（时间戳、SCR（System Clock Reference）、或者PCR（Program Clock Reference）等）中减去，求出stc_base。然后，同步控制部401在所述影像数据传送的同步控制定时，将对stc_base加上STC与所述N值相乘得到的值而求出的STC’、与由分离部107通知的时刻信息中所包含的与影像数据的输出相关的影像输出时刻信息（VPTS）进行比较。在从VPTS减去STC’得到的值小于规定的阈值、或者从STC’减去VPTS得到的值小于规定的阈值的情况下，同步控制部401进行由影像解码部108进行解码得到的影像数据的传送控制。在从VPTS减去STC’得到的值大于规定的阈值的情况下，同步控制部401判定为未达到相应的影像数据的输出时间，进行黑色数据或者在前一次的同步控制定时传送的影像数据的传送控制。在从STC’减去VPTS得到的值大于规定的阈值的情况下，同步控制部401判定为已经过相应的影像数据的输出时间，对于相应的影像数据不进行传送而将其废弃，进行下一个VPTS与STC’的比较。在由于影像数据的缺失或者错误使得VPTS是不正常的值的情况下，也进行相同的控制。另外，在影像数据不存在的情况下或者影像数据缺失的情况下，如果分离部107没有通知新的VPTS，同步控制部401进行黑色数据或者在前一次的同步控制定时传送的影像数据的传送控制。求出stc_base及STC’的算式如下所示。

stc_base＝时刻信息－STC×N    …式1

STC’＝stc_base＋STC×N    …式2

另外，同步控制部401在所述声音数据输出的同步控制定时，将所述STC’和由分离部107通知的时刻信息中所包含的与声音数据的输出相关的声音输出时刻信息（APTS）进行比较。在从APTS减去STC’得到的值小于规定的阈值、或者从STC’减去APTS得到的值小于规定的阈值的情况下，同步控制部401进行由声音解码部109进行解码得到的声音数据的传送控制。在从APTS减去STC’得到的值大于规定的阈值的情况下，同步控制部401判定为没有达到相应的声音数据的输出时间，进行无声数据的传送控制。在从STC’减去APTS得到的值大于规定的阈值的情况下，同步控制部401判定为已经过相应的声音数据的输出时间，对于相应的声音数据不进行传送而将其废弃，进行下一个APTS与STC’的比较。在由于声音数据的缺失或者错误而使得APTS是不正常的值的情况下，也进行相同的控制。另外，在声音数据不存在的情况下或者声音数据缺失的情况下，如果分离部107没有通知新的APTS，同步控制部401进行无声数据的传送控制。

由此，影像编码部110和声音编码部111能够在取得了影像数据与声音数据的同步的状态下进行编码。并且，在复用部112中，对于根据影像数据及声音数据的帧周期和编码完成的帧数而确定的复用的时间，可以按照规定的顺序对由影像编码部110和声音编码部111进行编码得到的第二编码影像数据和第二编码声音数据进行复用，因而不需要在实施方式1中示出的同步控制。

另外，关于由于分离部107将时刻信息通知复用部112的定时不固定而导致的时刻信息与STC’的偏差，由于不是要求实时性的等倍的速率变换录制定时，因而不需要进行特殊考虑。

对速率变换录制的变换速度的倍速值的N进行说明。N值是能够保证使用实施方式2示出的影像声音变换装置进行速率变换录制的值，而且在分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112不会产生延迟。下面示出了N值的计算公式。

N＝min（S1，S2，S3，S4，S5，S6）     …式3

S1（S1min≦S1≦S1max）：分离部107的吞吐量（through-put）的倍率

S2（S2min≦S2≦S2max）：影像解码部108的吞吐量的倍率

S3（S3min≦S3≦S3max）：声音解码部109的吞吐量的倍率

S4（S4min≦S4≦S4max）：影像编码部110的吞吐量的倍率

S5（S5min≦S5≦S5max）：声音编码部111的吞吐量的倍率

S6（S6min≦S6≦S6max）：复用部112的吞吐量的倍率

用于计算N的函数min()是从自变量中求出最小的值的函数。另外，各个自变量表示分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111或者复用部112的吞吐量的倍率，由于处理中的变动而取Simin到Simax的值（i表示各个单元的序号）。

例如，在作为函数min()的自变量的各个单元的吞吐量的倍率S取以下的值的情况下，N为2.4。

S1（3.1≦S1≦4.9）

S2（2.7≦S2≦4.0）

S3（2.4≦S3≦4.1）

S4（3.4≦S4≦4.4）

S5（2.9≦S5≦4.7）

S6（2.8≦S6≦3.9）

通过选择最小的N，能够进行速率变换录制，而且分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112相对于同步控制没有延迟。

另外，影像解码部108也可以根据由影像编码部110进行的编码的进展状况、即由同步控制部401进行的同步控制的进展状况，控制由影像解码部108进行的解码的停止及重启。声音解码部109也可以根据由声音编码部111进行的编码的进展状况、即由同步控制部401进行的同步控制的进展状况，控制由声音解码部109进行的解码的停止及重启。影像编码部110也可以进行由影像解码部108生成的影像数据的编码、即进行通过同步控制部401而同步的影像数据的编码，并根据由影像解码部108进行的解码的进展状况、即由同步控制部401进行的同步控制的进展状况，控制编码的停止及重启。声音编码部111也可以进行由声音解码部109生成的声音数据的编码、即进行通过同步控制部401而同步的声音数据的编码，并根据由声音解码部109进行的解码的进展状况、即由同步控制部401进行的同步控制的进展状况，控制编码的停止及重启。

另外，分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112分别监视位于其前段的中间缓冲器（对于分离部107而言不存在位于其前段的缓冲器，因而不适用）及位于其后段的中间缓冲器（对于复用部112而言不存在位于其后段的中间缓冲器，因而不适用）的数据的蓄积状态。分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112均是在位于其前段的中间缓冲器内的数据余量低于规定的阈值的情况下，停止处理使得不产生中间缓冲器的下溢，而在数据余量高于规定的阈值的情况下重新开始处理。并且，在位于其后段的中间缓冲器内的空闲余量低于规定的阈值的情况下，停止处理使得不产生中间缓冲器的上溢，而在空闲余量高于规定的阈值的情况下重新开始处理。由此，能够避免由于分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112的处理速度之差分而导致的各个中间缓冲器的上溢和下溢。

根据这种结构，能够实现也可以应对第一复用数据的时刻信息的异常或者影像数据及声音数据的缺失等异常系统的N倍速的速率变换录制。并且，通过使用第一复用数据的时刻信息，可以生成能够取得影像和声音的同步的准确再现的第二复用数据。

（实施方式3）

图5是表示实施方式3的影像声音变换装置的功能性结构的框图。

实施方式3的影像声音变换装置在图2所示的实施方式2的影像声音变换装置的结构的基础上，还具有倍速通知部1201、延迟控制部701、第一延迟检测部801、第二延迟检测部802、第三延迟检测部803、第四延迟检测部804。

倍速通知部1201将速率变换录制的变换速度的倍速值通知给同步控制部401。

延迟控制部701向同步控制部401进行延迟的控制通知（SIG702）。

第一延迟检测部801检测由影像解码部108进行的解码的延迟。

第二延迟检测部802检测由声音解码部109进行的解码的延迟。

第三延迟检测部803检测由影像编码部110进行的编码的延迟。

第四延迟检测部804检测由声音编码部111进行的编码的延迟。

另外，分离部107具有这样的功能：在第一复用数据异常时，使第一延迟检测部801、第二延迟检测部802、第三延迟检测部803、第四延迟检测部804停止。下面，说明这些各个单元和信号的流程。

倍速通知部1201在速率变换录制开始时将超过根据实施方式2的式3求出的N值的值（例如N＋1等）作为N值，并通知给同步控制部401（SIG1202）。同步控制部401使用来自倍速通知部1201的N值作为同步控制定时及所述STC’的计算值。

第一延迟检测部801检测由影像解码部108进行的解码相对于同步控制的延迟。第二延迟检测部802检测由声音解码部109进行的解码相对于同步控制的延迟。第三延迟检测部803检测由影像编码部110进行的编码相对于同步控制的延迟。第四延迟检测部804检测由声音编码部111进行的编码相对于同步控制的延迟。第一延迟检测部801、第二延迟检测部802、第三延迟检测部803、第四延迟检测部804在检测到延迟的情况下，向延迟控制部701进行延迟通知。

延迟控制部701在从第一延迟检测部801、第二延迟检测部802、第三延迟检测部803及第四延迟检测部804中的任意一方接收到延迟通知时，作为延迟的控制通知向同步控制部401进行同步控制的停止通知。在通过同步控制的停止而消除了延迟时，第一延迟检测部801、第二延迟检测部802、第三延迟检测部803及第四延迟检测部804中进行了延迟通知的单元，向延迟控制部701进行重启通知。延迟控制部701在接收到重启通知后，作为延迟的控制通知向同步控制部401进行同步控制的重启通知（将上述的控制称为延迟控制）。通过所述延迟控制，能够避免由于以超过实施方式2的影像声音变换装置能够保证的N倍的倍速进行同步控制而导致的、分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112的处理相对于同步控制的延迟。

关于延迟控制方法，参照图6进行详细说明。为了简化起见，将数值简单化。图6中的横轴表示自速率变换录制开始起的经过时间t。

同步控制部401在从延迟控制部701接收到停止通知时进行同步控制的停止，并且分别记录同步控制的停止位置（相对于影像数据的同步控制的周期及声音数据的同步控制的周期而前进了的位置）和停止时的STC’（past STC’＝40）。在同步控制停止的期间，分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112继续进行动作。由此，在成为瓶颈的部分被消除后，第一延迟检测部801、第二延迟检测部802、第三延迟检测部803及第四延迟检测部804中已进行了延迟通知的单元，向延迟控制部701进行重启通知，延迟控制部701在接收到延迟重启通知后，向同步控制部401发送重启通知。同步控制部401在接收到重启通知后，在保持停止前的影像数据的传送定时和声音数据的传送定时的状态下重启同步控制。此时，即使是在停止期间中STC也在前进，因而根据式2求出的STC’（＝52）也在前进，需要进行校正。因此，将重启时的STC’（pre STC’＝52）和停止时的STC’（past STC＝40）之差分作为校正值STC’_diff，并从STC’中减去，由此在重启时同步不会错位。另外，在计算式1的stc_base时，STC’_diff被清空为0。包括校正在内的STC’的计算公式如下所示。

STC’_diff＝STC’_diff＋（pre STC－past STC）    …式4

STC’＝stc_base＋STC×N－STC’_diff    …式5

STC’_diff：重启时的校正值

pre STC’：重启时的STC’的值

past STC’：停止时的STC’的值

通过这样进行同步控制定时的状态恢复和STC’的校正，能够重启同步控制，而且即使是在进行延迟控制之后也不会扰乱影像数据的传送定时和声音数据的传送定时。

另外，在来自第一延迟检测部801、第二延迟检测部802、第三延迟检测部803及第四延迟检测部804的延迟通知、重启通知重合的情况下，延迟控制部701能够通过设计例如与各个延迟检测部对应的旗标来进行应对。延迟控制部701进行这样的控制：根据来自各个延迟检测部的延迟通知使旗标升起，根据重启通知使旗标降下，在全部旗标降下的时刻重启同步控制。或者，通过进行在针对多个延迟通知的相同数量的重启通知达到的时刻重启同步控制的控制，即使是在来自第一延迟检测部801、第二延迟检测部802、第三延迟检测部803及第四延迟检测部804的延迟通知、重启通知重合的情况下，也能够实现保持整合性的控制。

另外，关于延迟控制方法也可以不是同步控制的停止、重启控制，而是通过调整速率变换录制的倍速值即N值来进行。

图7是表示基于N值的调整的延迟控制方法的图。图7中的横轴表示自速率变换录制开始起的经过时间t。

延迟控制部701在接收到来自任意一个延迟检测部的延迟通知时，将N值通知给同步控制部401（2→1）。从延迟控制部701接收到N值的同步控制部401，求出将系统基准时间STC与所述N值相乘得到的值，并从STC’中减去，由此校正stc_base。并且，同步控制部401分别切换同步控制的定时（帧周期×1/2→帧周期×1/1）和STC’的合计（countup）值（2→1）来进行同步控制。由此，在成为瓶颈的部分被消除时，发送了延迟通知的延迟检测部向延迟控制部701发送重启通知。延迟控制部701接收到重启通知后，将N值通知给同步控制部401（1→2）。从延迟控制部701接收到N值的同步控制部401，求出将系统基准时间STC与所述N值相乘得到的值，并从STC’中减去，由此校正stc_base。同步控制部401分别切换同步控制的定时（帧周期×1/1→帧周期×1/2）和STC’的合计值（1→2）来进行同步控制。校正时的stc_base的计算公式如下所示。

stc_base＝STC’－STC×N      …式6

通过上述控制，能够通过调整N值来实现延迟控制。

下面，详细说明第一延迟检测部801、第二延迟检测部802、第三延迟检测部803及第四延迟检测部804的动作。

第一延迟检测部801监视第九中间缓冲器503内的数据量，以便检测由影像解码部108进行的解码的延迟。在由于由影像解码部108进行的解码的延迟，使得第九中间缓冲器503内的数据量低于延迟判定用的阈值的情况下，第一延迟检测部801向延迟控制部701进行延迟通知，以便使同步控制临时停止。同步控制通过延迟控制部701的延迟控制而停止，第一中间缓冲器301内的数据不被消耗，因而数据量通过由影像解码部108进行的解码而增加下去。在数据量增加并超过重启判定用的阈值的情况下，第一延迟检测部801向延迟控制部701进行重启通知，以便重启同步控制。由此，能够防止通过使影像解码部108的处理延迟而发生的第九中间缓冲器503的下溢。

另外，第三延迟检测部803监视第十一中间缓冲器505内的数据量，以便检测由影像编码部110进行的编码的延迟。在由于由影像编码部110进行的编码的延迟，使得第十一中间缓冲器505内的数据量超过延迟判定用的阈值的情况下，第三延迟检测部803向延迟控制部701进行延迟通知，以便使同步控制临时停止。同步控制通过延迟控制部701的延迟控制而停止，第十一中间缓冲器505不被供给影像数据，因而数据量通过由影像编码部110进行的编码而减少下去。在数据量减少并低于重启判定用的阈值的情况下，第三延迟检测部803向延迟控制部701进行重启通知，以便重启同步控制。由此，能够防止通过使影像编码部110的编码延迟而发生的第十一中间缓冲器505的上溢。

例如，在对中间缓冲器的数据量设计阈值的情况下，也可以从影像数据的析像度求出1帧量的尺寸，并用作阈值。即，在已被解码的影像数据的析像度是1920×1080为1像素24bit的情况下，以1920×1080×24＝49766400bit（6220800byte）单位计算阈值并使用。

另外，关于延迟检测方法也可以取代对中间缓冲器的数据量的监视，而是监视被存储在中间缓冲器中的帧数。

在此，说明由影像解码部108进行的解码和由影像编码部110进行的编码的延迟，但关于由声音解码部109进行的解码和由声音编码部111进行的编码的延迟，是在第二延迟检测部802和第四延迟检测部804中进行相同的处理。

另外，第一延迟检测部801也可以监视由影像解码部108生成的影像数据的帧数和由同步控制部401进行了同步控制的影像数据的帧数，由此检测由影像解码部108进行的解码的延迟。第二延迟检测部802也可以监视由声音解码部109生成的声音数据的帧数和由同步控制部401进行了同步控制的声音数据的帧数，由此检测由声音解码部109进行的解码的延迟。第三延迟检测部803也可以监视由同步控制部401进行了同步控制的影像数据的帧数和由影像编码部110生成的第二编码影像数据的帧数，由此检测由影像编码部110进行的编码的延迟。第四延迟检测部804也可以监视由同步控制部401进行了同步控制的声音数据的帧数和由声音编码部111生成的第二编码声音数据的帧数，由此检测由声音编码部111进行的编码的延迟。

下面，说明异常系统的延迟控制。图8是表示第十中间缓冲器504不被供给声音数据时的模式的图。对各个模式的延迟控制进行说明。

对由于不存在声音的第一复用数据而使得第十中间缓冲器504不被供给声音数据的情况进行说明。分离部107通过分析例如MPEG的系统标题等的信息，判定不存在第一编码声音数据。通过该判定，在判定为第一复用数据中不存在第一编码声音数据之后，分离部107使第二延迟检测部802和第四延迟检测部804停止（SIG703）。通过这种异常系统的控制，即使是在由于不存在声音的第一复用数据而使得第十中间缓冲器504不被供给声音数据的情况下，同步控制也不会停止。

对由于第一编码声音数据缺失或者第一编码声音数据在不固定的期间中不存在、而使得第十中间缓冲器504不被供给声音数据的情况进行说明。分离部107根据SCR或者PCR等时刻信息和声音输出时刻信息，判定相对于STC’不存在第一编码声音数据的期间。通过该判定，如果判定为是第一复用数据中不存在第一编码声音数据的期间，分离部107使第二延迟检测部802和第四延迟检测部804停止。通过这种异常系统的控制，即使是在由于第一编码声音数据缺失或者第一编码声音数据在不固定的期间中不存在、而使得第十中间缓冲器504不被供给声音数据的情况下，同步控制也不会停止。

在分离部107的复用分离相对于同步控制而延迟、使得第十中间缓冲器504不被供给声音数据的情况下，不需要异常系统的控制，而是进行正常系统的延迟控制。

在此，对声音数据的情况进行了说明，但对于影像数据也是进行相同的处理。

根据这种结构，通过具有与实施方式2相同的异常系统的机构、并以比实施方式2的N值大的N值进行同步控制，并且针对分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112相对于同步控制的延迟进行延迟控制，能够实现比实施方式2更快速的速率变换录制，而且不会扰乱影像数据和声音数据的同步。并且，在提高了各个单元的处理性能的情况下，不需改变其结构，仅需变更N值，即可提高速率变换录制的性能。

（实施方式4）

图9是表示实施方式4的影像声音变换装置的功能性结构的框图。

实施方式4的影像声音变换装置在图5所示的实施方式3的影像声音变换装置的结构的基础上，还具有动作模式判定部1401。下面，说明各个单元和信号的流程。

动作模式判定部1401通过进行影响到速率变换录制时的分离部107的复用分离、影像解码部108的解码、声音解码部109的解码、影像编码部110的编码、声音编码部111的编码或者复用部112的复用的各个要素（例如，没有遗漏地指如下等的全部要素：第一复用数据中的影像数据的析像度、第二复用数据中的影像数据的析像度、第一复用数据的比特率、第二复用数据的比特率、第一复用数据中的影像数据的帧速率、第二复用数据中的影像数据的帧速率、第一复用数据中的声音数据的采样频率、第二复用数据中的声音数据的采样频率、第一复用数据中的影像数据的编解码、第二复用数据中的影像数据的编解码、第一复用数据中的声音数据的编解码、第二复用数据中的声音数据的编解码、第一复用数据中的声音数据的信道数、第二复用数据中的声音数据的信道数、第一复用数据的复用形式、或者第二复用数据的复用形式等）的判定，来确定动作模式。根据析像度、比特率等各个要素的组合，将动作模式分别定义为动作模式1、2、3…。动作模式判定部1401从图10所示的倍速信息表中按照每种动作模式来选择最佳的N值，并通知倍速通知部1201（SIG1402）。接收到N值的倍速通知部1201将N值通知给同步控制部401。

根据这种结构，通过按照每种动作模式来选择分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112进行最佳动作的N值，能够进行最佳的速率变换录制。另外，通过使以N值小于1的倍速进行动作，能够对分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112分配较多的处理时间，因而影像解码部108、声音解码部109、影像编码部110及声音编码部111能够对高画质化、高音质化的处理分配时间，能够生成高质量的第二复用数据。

另外，在本实施方式中示出了根据动作模式来确定N值的示例，但也可以与动作模式无关地，由倍速通知部1201按照来自外部的指示来选择所通知的N。

（实施方式5）

图11是表示实施方式5的影像声音变换装置的功能性结构的框图。

实施方式5的影像声音变换装置在图5所示的实施方式3的影像声音变换装置的结构的基础上，还具有倍速测定部1501。并且，延迟控制部701具有将延迟发生的信息通知倍速测定部1501的功能（SIG1503）。下面，说明这些各个单元和信号的流程。

在实施方式5中，作为与实施方式4不同的速率变换录制的N值的选择方法，说明通过在速率变换录制开始之前测定N值来选择N值的方法。

图12是用于说明在速率变换录制开始之前测定N值的倍速测定方法的流程图。

在S101，倍速测定部1501取得根据所述式3求出的N值。

在S102，倍速测定部1501将在确定了速率变换录制用的N值时使用的N值设为N’保存在缓冲器（未图示）中。

在S103，倍速测定部1501对N值加上规定的值α，由此求出在速率变换录制中使用的N值。

在S104执行规定期间的速率变换录制，倍速测定部1501从延迟控制部701接收延迟发生的信息（SIG1502），并计数延迟控制的发生次数。

在S105，倍速测定部1501判定延迟控制的发生次数和规定的阈值。在此，如果延迟控制的发生次数超过阈值，则进入到S106，如果低于阈值则返回到S102，将N值设为N’保存在缓冲器（未图示）中，再次进行速率变换录制。

在S106，倍速测定部1501将在S102被保存在缓冲器中的N’的值代入N值，由此确定用于通知倍速通知部1201的在实际的速率变换录制中使用的N值。

根据这种结构，不需事前确定每种动作模式的最佳的N值，即可以最分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112进行最佳动作的N值进行速率变换录制。

关于α的值，如果赋予较小的值，则最佳的N值的精度提高，但是达到最佳的值需要花费时间。另外，如果赋予较大的值，虽然达到最佳的值所需要的时间缩短，但是最佳的N值的精度下降。另外，α的值可以是装置固有的值，也可以从外部进行赋值。

（实施方式6）

图13是表示实施方式6的影像声音变换装置的功能性结构的框图。

实施方式6的影像声音变换装置在图5所示的实施方式3的影像声音变换装置的结构的基础上，还具有第二动作模式判定部1601、第二倍速测定部1602和倍速记录存储器1603。下面，说明这些各个单元和信号的流程。

第二动作模式判定部1601判定与动作设定对应的动作模式，所述动作设定将影响到分离部107的复用分离、影像解码部108的解码、声音解码部109的解码、影像编码部110的编码、声音编码部111的编码、或者复用部112的复用。如前面所述，根据析像度、比特率等各个要素的组合，将动作模式分别定义为动作模式1、2、3…。

第二倍速测定部1602在速率变换录制开始前进行所述N的测定。

倍速记录存储器1603记录所测定到的所述N。

在与动作模式对应的所述N被记录在倍速记录存储器1603中的情况下，第二动作模式判定部1601将所记录的所述N通知给倍速通知部1201（SIG1604），在与动作模式对应的所述N没有记录在倍速记录存储器1603中的情况下，第二动作模式判定部1601向第二倍速测定部1602进行启动通知（SIG1605）。

第二倍速测定部1602按照每种动作模式来测定最佳的所述N，将每种动作模式的所述N记录在倍速记录存储器1603中（SIG1607），并将所述N通知给倍速通知部1201（SIG1606）。

在实施方式6中，说明与实施方式4及实施方式5不同的速率变换录制的N值的选择方法。

图14是用于说明在速率变换录制开始之前测定N值的倍速测定方法的流程图。

在S201，第二动作模式判定部1601进行影响到速率变换录制时的动作的各个要素（例如，没有遗漏地指如下等的全部要素：第一复用数据中的影像数据的析像度、第二复用数据中的影像数据的析像度、第一复用数据的比特率、第二复用数据的比特率、第一复用数据中的影像数据的帧速率、第二复用数据中的影像数据的帧速率、第一复用数据中的声音数据的采样频率、第二复用数据中的声音数据的采样频率、第一复用数据中的影像数据的编解码、第二复用数据中的影像数据的编解码、第一复用数据中的声音数据的编解码、第二复用数据中的声音数据的编解码、第一复用数据中的声音数据的信道数、第二复用数据中的声音数据的信道数、第一复用数据的复用形式、或者第二复用数据的复用形式等）的判定，并确定动作模式。

在S202，第二动作模式判定部1601进行在倍速记录存储器1603中是否记录有动作模式的N值的判定。如果记录有N值，则进入到S203，如果没有记录，则进入到S204。

在S203，第二动作模式判定部1601按照每种动作模式从倍速记录存储器1603中选择最佳的N值，并将N值通知给倍速通知部1201（SIG1604），由此确定在速率变换录制中使用的N值。

在S204，第二动作模式判定部1601向第二倍速测定部1602进行启动通知（SIG1605）。

在S205，第二倍速测定部1602取得根据所述式3求出的N值。

在S206，第二倍速测定部1602将在确定了速率变换录制用的N值时使用的N值设为N’保存在缓冲器（未图示）中。

在S207，第二倍速测定部1602向N值加上规定的值α，由此求出在速率变换录制中使用的N值。

在S208执行规定期间的速率变换录制，第二倍速测定部1602从延迟控制部701接收延迟发生的信息（SIG1502），并计数延迟控制的发生次数。

在S209，第二倍速测定部1602判定延迟控制的发生次数和规定的阈值。在此，如果延迟控制的发生次数超过阈值，则进入到S210，如果低于阈值则返回到S206，将N值设为N’保存在缓冲器（未图示）中，再次进行速率变换录制。

在S210，第二倍速测定部1602将在S206被保存在缓冲器中的N’的值代入N值。

在S211，第二倍速测定部1602将N值记录在倍速记录存储器1603中（SIG1607）。

在S212，第二倍速测定部1602将N值通知倍速通知部1201（SIG1606），由此决定在速率变换录制中使用的N值。

根据这种结构，不需事前确定每种动作模式的最佳的N值，即可以分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112进行最佳动作的N值进行速率变换录制。并且，在以相同的动作模式进行动作的情况下，与实施方式5相比，能够缩短到开始速率变换录制为止的时间。

关于α的值，如前面所述，如果赋予较小的值，则最佳的N值的精度提高，但是达到最佳的值需要花费时间。另外，如果赋予较大的值，虽然达到最佳的值所需要的时间缩短，但是最佳的N值的精度下降。另外，α的值可以是装置固有的值，也可以从外部进行赋值。

（实施方式7）

图15是表示实施方式7的影像声音变换装置的功能性结构的框图。

实施方式7的影像声音变换装置在图5所示的实施方式3的影像声音变换装置的结构的基础上，还具有第三动作模式判定部1801和第三倍速测定部1802。下面，说明这些各个单元和信号的流程。

倍速通知部1201在速率变换录制过程中切换向同步控制部401通知的所述N。

当在速率变换录制过程中动作模式被切换的情况下，在同步控制中使用的N值不再是最佳的值，因而认为速率变换录制的速度下降。在实施方式7中说明当在速率变换录制过程中动作模式被切换的情况下切换为最佳的N值的动作。

图16是示出N值切换的图。图16中的横轴表示自速率变换录制开始起的经过时间t。

第三动作模式判定部1801监视在速率变换录制过程中的动作模式的切换。如果动作模式被切换，第三动作模式判定部1801按照每种动作模式来选择最佳的N值，并通知给倍速通知部1201（SIG1803）。接收到N值的倍速通知部1201将N值通知给同步控制部401（2→1）。从倍速通知部1201接收到N值的同步控制部401根据所述式6求出新的stc_base。并且，同步控制部401分别切换同步控制部401的定时（帧周期×1/2→帧周期×1/1）和STC’的合计值（2→1），并进行同步控制。

通过上述控制，能够在速率变换录制过程中切换N值。

图17是用于说明在速率变换录制过程中测定最佳的N值的控制的流程图。

在S301，第三倍速测定部1802在速率变换录制过程中计数规定期间内的延迟发生次数。

在S302，第三倍速测定部1802判定延迟控制的发生次数和规定的阈值。在此，如果延迟控制的发生次数超过阈值，则进入到S303，如果低于阈值则进入到S304。

在S303，第三倍速测定部1802从N值减去规定的值β，由此求出在速率变换录制中使用的N值。

在S304，第三倍速测定部1802判定是否发生了延迟控制。在此，如果没有发生延迟控制则进入到S305，如果发生了则返回到S301，再次进行规定期间的延迟发生次数的计数。

在S305，第三倍速测定部1802向N值加上规定的值γ，由此求出在速率变换录制中使用的N值。

在S306，第三倍速测定部1802将N值通知给倍速通知部1201（SIG1804）。

在S307，倍速通知部1201对N值进行切换控制。

根据这种结构，即使是在动作模式被切换的情况下，也能够以分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112进行最佳动作的N值进行速率变换录制。另外，也能够配合被输入到分离部107的第一复用数据，以分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112进行最佳动作的N值进行速率变换录制。

关于β、γ的值，与α的值相同地，如果赋予较小的值，则最佳的N值的精度提高，但是达到最佳的值需要花费时间。另外，如果赋予较大的值，虽然达到最佳的值所需要的时间缩短，但是最佳的N值的精度下降。另外，β、γ的值可以是装置固有的值，也可以从外部进行赋值。

（实施方式8）

图18是表示实施方式8的影像声音变换装置的功能性结构的框图。

实施方式8的影像声音变换装置在图2所示的实施方式2的影像声音变换装置的结构的基础上，还具有倍速判定部1901和倍速通知部1905。下面，说明这些各个单元和信号的流程。

倍速判定部1901在速率变换录制开始时从倍速通知部1905接收N值（SIG1902），并设定动作模式使能够实现基于N值的速率变换录制（SIG1903）。例如，如图19所示的倍速信息表那样，按照每种N值来选择动作模式，并进行影响到速率变换录制时的动作的各个要素（例如，没有遗漏地指如下等的全部要素：第二复用数据中的影像数据的析像度、第二复用数据的比特率、第二复用数据中的影像数据的帧速率、第二复用数据中的声音数据的采样频率、第二复用数据中的影像数据的编解码、第二复用数据中的声音数据的编解码、第一复用数据中的声音数据的信道数、第二复用数据中的声音数据的信道数、或者第二复用数据的复用形式等）的设定。如果N值在表中所定义的范围之外，则以与表中最接近的值的N值对应的动作模式，进行分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112的设定，并将N值通知倍速通知部1905（SIG1904）。倍速通知部1905将从倍速判定部1901接收到的N值通知同步控制部401（SIG1906）。

另外，作为动作模式的选择方案，也可以追加选择分离部107、影像解码部108、声音解码部109、影像编码部110、声音编码部111及复用部112的优先度或者有无模式变更。

根据这种结构，针对规定倍率的速率变换录制，能够生成高质量的第二复用数据。

上述的各个装置也可以利用硬件来实现。

另外，上述的各个装置具体地讲可以构成为由微处理器、ROM、RAM、硬盘驱动、显示器单元、键盘、鼠标等构成的计算机系统。在RAM或者硬盘驱动中存储有计算机程序。微处理器按照计算机程序而动作，由此各个装置实现其功能。在此，计算机程序为了实现规定的功能，可以组合多个表示对计算机的指令的命令代码而构成。

另外，构成上述各个装置的构成要素的一部分或者全部可以由一个系统LSI（Large Scale Integration：大规模集成电路）构成。系统LSI可以是在一个芯片上集成多个构成部分而制得的超多功能LSI，具体地讲，可以是包括微处理器、ROM、RAM等在内构成的计算机系统。在RAM中存储有计算机程序。微处理器按照计算机程序而动作，由此系统LSI实现其功能。

另外，构成上述各个装置的构成要素的一部分或者全部也可以由能够在各个装置上插拔的IC卡或者单体模块构成。IC卡或者模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或者模块也可以包含上述的超多功能LSI。微处理器按照计算机程序而动作，由此IC卡或者模块实现其功能。该IC卡或者该模块可以具有反篡改性。

另外，本发明也可以是以上所示的方法。并且，也可以是利用计算机实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。

另外，本发明也可以将所述计算机程序或者所述数字信号记录在计算机可以读取的非易失性的记录介质中，所述记录介质例如是软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD（Blu-ray Disc（注册商标）：蓝光光盘）、半导体存储器等。并且，本发明还可以是记录在这些非易失性的记录介质中的所述所述数字信号。

另外，本发明也可以构成为经由电气通信线路、无线或者有线通信线路、以因特网为代表的网络、数据播放等，传输所述计算机程序或所述数字信号。

另外，本发明也可以构成为具有微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器按照所述计算机程序而动作。

另外，本发明也可以构成为将所述程序或者所述数字信号记录在所述非易失性的记录介质中并传输，或者经由所述网络等传输所述程序或者所述数字信号，从而能够利用独立的其他计算机系统来实施。

另外，本发明也可以分别组合上述实施方式和上述变形例来实施。

此次公开的实施方式仅是所有方面中的示例，不能认为是限制性的方式。本发明的范围不在于上述的说明，而在于利用权利要求书公开的内容，并且包含与权利要求书同等意义及范围内的所有变更。

产业上的可利用性

本发明的影像声音变换装置及方法能够应用于进行快速的速率变换录制的影像声音变换装置及方法等。

Claims (28)

1.一种影像声音变换装置，从将第一编码影像数据及第一编码声音数据进行复用得到的第一复用数据，生成将第二编码影像数据及第二编码声音数据进行复用得到的第二复用数据，该影像声音变换装置具有：

分离部，从第一复用数据复用分离出第一编码影像数据及第一编码声音数据；

影像解码部，对由所述分离部复用分离出来的第一编码影像数据进行解码，由此生成影像数据；

声音解码部，对由所述分离部复用分离出来的第一编码声音数据进行解码，由此生成声音数据；

影像编码部，对由所述影像解码部生成的影像数据进行编码，由此生成第二编码影像数据；

声音编码部，对由所述声音解码部生成的声音数据进行编码，由此生成第二编码声音数据；以及

复用部，进行由所述影像编码部生成的第二编码影像数据和由所述声音编码部生成的第二编码声音数据的复用，由此生成第二复用数据，

所述分离部根据由所述影像解码部及所述声音解码部进行的解码的进展状况，控制由所述分离部进行的复用分离的停止及重启，

所述影像解码部根据由所述分离部进行的复用分离的进展状况及由所述影像编码部进行的编码的进展状况，控制由所述影像解码部进行的解码的停止及重启，

所述声音解码部根据由所述分离部进行的复用分离的进展状况及由所述声音编码部进行的编码的进展状况，控制由所述声音解码部进行的解码的停止及重启，

所述影像编码部根据由所述影像解码部进行的解码的进展状况及由所述复用部进行的复用的进展状况，控制由所述影像编码部进行的编码的停止及重启，

所述声音编码部根据由所述声音解码部进行的解码的进展状况及由所述复用部进行的复用的进展状况，控制由所述声音编码部进行的编码的停止及重启，

所述复用部根据由所述影像编码部及所述声音编码部进行的编码的进展状况，控制由所述复用部进行的复用的停止及重启，

所述影像声音变换装置还具有同步控制部，用于调整将所述影像解码部生成的影像数据向所述影像编码部传送的定时、和将所述声音解码部生成的声音数据向所述声音编码部传送的定时，

所述分离部还将附加在所述第一复用数据中的时刻信息通知给所述同步控制部，

所述时刻信息包括与影像数据的输出相关的影像输出时刻信息和与声音数据的输出相关的声音输出时刻信息，

所述同步控制部响应与系统基准时间成比例地合计的基准时间达到了所述影像输出时刻信息这一情况，进行所述影像解码部生成的影像数据的传送，并且响应与系统基准时间成比例地合计的基准时间达到了所述声音输出时刻信息这一情况，进行所述声音解码部生成的声音数据的传送，由此进行影像数据和声音数据的同步控制，

所述影像解码部根据由所述影像编码部进行的编码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制由所述影像解码部进行的解码的停止及重启，

所述声音解码部根据由所述声音编码部进行的编码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制由所述声音解码部进行的解码的停止及重启，

所述影像编码部进行所述影像解码部生成的影像数据的编码、即进行通过所述同步控制部而同步的影像数据的编码，并根据由所述影像解码部进行的解码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制编码的停止及重启，

所述声音编码部进行所述声音解码部生成的声音数据的编码、即进行通过所述同步控制部而同步的声音数据的编码，并根据由所述声音解码部进行的解码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制编码的停止及重启，

所述同步控制部以N倍速度进行同步控制，

所述N是所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所述声音编码部及所述复用部能够动作的速率变换录制的变换速度的倍速值的最小值。

2.根据权利要求1所述的影像声音变换装置，所述影像声音变换装置还具有向所述同步控制部通知所述N的倍速通知部。

3.根据权利要求2所述的影像声音变换装置，所述倍速通知部根据来自外部的指示，选择所通知的所述N。

4.根据权利要求2所述的影像声音变换装置，所述影像声音变换装置还具有将与动作设定对应的所述N通知给所述倍速通知部的动作模式判定部，所述动作设定将影响到所述分离部的复用分离、所述影像解码部的解码、所述声音解码部的解码、所述影像编码部的编码、所述声音编码部的编码、或者所述复用部的复用，

所述倍速通知部将由所述动作模式判定部通知的所述N通知给所述同步控制部。

5.根据权利要求2所述的影像声音变换装置，所述影像声音变换装置还具有倍速测定部，该倍速测定部在速率变换录制开始前进行所述N的测定，并将测定到的所述N通知给所述倍速通知部，

所述倍速通知部将由所述倍速测定部通知的所述N通知给所述同步控制部。

6.根据权利要求2所述的影像声音变换装置，所述影像声音变换装置还具有：

动作模式判定部，判定与动作设定对应的动作模式，所述动作设定将影响到所述分离部的复用分离、所述影像解码部的解码、所述声音解码部的解码、所述影像编码部的编码、所述声音编码部的编码、或者所述复用部的复用；

倍速测定部，在速率变换录制开始前进行所述N的测定；以及

倍速记录存储器，记录所测定到的所述N，

在与动作模式对应的所述N被记录在所述倍速记录存储器中的情况下，所述动作模式判定部将所记录的所述N通知给所述倍速通知部，在与动作模式对应的所述N没有记录在所述倍速记录存储器中的情况下，所述动作模式判定部向所述倍速测定部进行启动通知，

所述倍速测定部按照每种动作模式来测定最佳的所述N，将每种动作模式的所述N记录在所述倍速记录存储器中，并将所述N通知给所述倍速通知部。

7.根据权利要求1所述的影像声音变换装置，所述影像声音变换装置还具有根据所述N进行动作设定的倍速判定部，所述动作设定将影响到所述分离部的复用分离、所述影像解码部的解码、所述声音解码部的解码、所述影像编码部的编码、所述声音编码部的编码、或者所述复用部的复用。

8.一种影像声音变换装置，从将第一编码影像数据及第一编码声音数据进行复用得到的第一复用数据，生成将第二编码影像数据及第二编码声音数据进行复用得到的第二复用数据，该影像声音变换装置具有：

分离部，从第一复用数据复用分离出第一编码影像数据及第一编码声音数据；

影像解码部，对由所述分离部复用分离出来的第一编码影像数据进行解码，由此生成影像数据；

声音解码部，对由所述分离部复用分离出来的第一编码声音数据进行解码，由此生成声音数据；

影像编码部，对由所述影像解码部生成的影像数据进行编码，由此生成第二编码影像数据；

声音编码部，对由所述声音解码部生成的声音数据进行编码，由此生成第二编码声音数据；以及

复用部，进行由所述影像编码部生成的第二编码影像数据和由所述声音编码部生成的第二编码声音数据的复用，由此生成第二复用数据，

所述分离部根据由所述影像解码部及所述声音解码部进行的解码的进展状况，控制由所述分离部进行的复用分离的停止及重启，

所述影像解码部根据由所述分离部进行的复用分离的进展状况及由所述影像编码部进行的编码的进展状况，控制由所述影像解码部进行的解码的停止及重启，

所述声音解码部根据由所述分离部进行的复用分离的进展状况及由所述声音编码部进行的编码的进展状况，控制由所述声音解码部进行的解码的停止及重启，

所述影像编码部根据由所述影像解码部进行的解码的进展状况及由所述复用部进行的复用的进展状况，控制由所述影像编码部进行的编码的停止及重启，

所述声音编码部根据由所述声音解码部进行的解码的进展状况及由所述复用部进行的复用的进展状况，控制由所述声音编码部进行的编码的停止及重启，

所述复用部根据由所述影像编码部及所述声音编码部进行的编码的进展状况，控制由所述复用部进行的复用的停止及重启，

所述影像声音变换装置还具有同步控制部，用于调整将所述影像解码部生成的影像数据向所述影像编码部传送的定时、和将所述声音解码部生成的声音数据向所述声音编码部传送的定时，

所述分离部还将附加在所述第一复用数据中的时刻信息通知给所述同步控制部，

所述时刻信息包括与影像数据的输出相关的影像输出时刻信息和与声音数据的输出相关的声音输出时刻信息，

所述同步控制部响应与系统基准时间成比例地合计的基准时间达到了所述影像输出时刻信息这一情况，进行所述影像解码部生成的影像数据的传送，并且响应与系统基准时间成比例地合计的基准时间达到了所述声音输出时刻信息这一情况，进行所述声音解码部生成的声音数据的传送，由此进行影像数据和声音数据的同步控制，

所述影像解码部根据由所述影像编码部进行的编码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制由所述影像解码部进行的解码的停止及重启，

所述声音解码部根据由所述声音编码部进行的编码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制由所述声音解码部进行的解码的停止及重启，

所述影像编码部进行所述影像解码部生成的影像数据的编码、即进行通过所述同步控制部而同步的影像数据的编码，并根据由所述影像解码部进行的解码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制编码的停止及重启，

所述声音编码部进行所述声音解码部生成的声音数据的编码、即进行通过所述同步控制部而同步的声音数据的编码，并根据由所述声音解码部进行的解码的进展状况、即由所述同步控制部进行的同步控制的进展状况，控制编码的停止及重启，

所述影像声音变换装置还具有：

延迟控制部，向所述同步控制部进行延迟的控制通知；

第一延迟检测部，监视由所述影像解码部进行的解码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部；

第二延迟检测部，监视由所述声音解码部进行的解码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部；

第三延迟检测部，监视由所述影像编码部进行的编码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部；以及

第四延迟检测部，监视由所述声音编码部进行的编码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况通知给所述延迟控制部，

所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部均是如果检测到延迟，则向所述延迟控制部进行延迟通知，如果检测到延迟的消除，则向所述延迟控制部进行重启通知，

所述延迟控制部在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到延迟通知时，作为延迟的控制通知向所述同步控制部进行同步控制的停止通知，在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到重启通知时，作为延迟的控制通知向所述同步控制部进行同步控制的重启通知。

9.根据权利要求8所述的影像声音变换装置，所述第一延迟检测部根据在将所述影像解码部生成的影像数据从所述影像解码部向所述同步控制部传送时临时存储该影像数据的第九中间缓冲器的数据蓄积状态，检测由所述影像解码部进行的解码的延迟，

所述第二延迟检测部根据在将由所述声音解码部生成的声音数据从所述声音解码部向所述同步控制部传送时临时存储该声音数据的第十中间缓冲器的数据蓄积状态，检测由所述声音解码部进行的解码的延迟，

所述第三延迟检测部根据在将由所述同步控制部实施了同步控制的影像数据从所述同步控制部向所述影像编码部传送时临时存储该影像数据的第十一中间缓冲器的数据蓄积状态，检测由所述影像编码部进行的编码的延迟，

所述第四延迟检测部根据在将所述同步控制部实施了同步控制的声音数据从所述同步控制部向所述声音编码部传送时临时存储该声音数据的第十二中间缓冲器的数据蓄积状态，检测由所述声音编码部进行的编码的延迟。

10.根据权利要求8所述的影像声音变换装置，所述第一延迟检测部通过监视所述影像解码部生成的影像数据的帧数和所述同步控制部进行了同步控制的影像数据的帧数，检测由所述影像解码部进行的解码的延迟，

所述第二延迟检测部通过监视所述声音解码部生成的声音数据的帧数和所述同步控制部进行了同步控制的声音数据的帧数，检测由所述声音解码部进行的解码的延迟，

所述第三延迟检测部通过监视所述同步控制部进行了同步控制的影像数据的帧数和所述影像编码部所生成的第二编码影像数据的帧数，检测由所述影像编码部进行的编码的延迟，

所述第四延迟检测部通过监视所述同步控制部进行了同步控制的声音数据的帧数和所述声音编码部生成的第二编码声音数据的帧数，检测由所述声音编码部进行的编码的延迟。

11.根据权利要求8所述的影像声音变换装置，所述延迟控制部在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到延迟通知时，将同步控制的停止信号通知给所述同步控制部，在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到重启通知时，将同步控制的重启信号通知给所述同步控制部，

所述同步控制部在从所述延迟控制部接收到停止信号时，保持同步控制的状态但停止同步控制，在从所述延迟控制部接收到重启信号时，在所保持的停止时的状态下重启同步控制。

12.根据权利要求8所述的影像声音变换装置，所述同步控制部以N倍速度进行同步控制，

所述N是所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所述声音编码部及所述复用部能够动作的速率变换录制的变换速度的倍速值的最小值，

所述延迟控制部在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到延迟通知时，将在同步控制中使用的所述N的切换信号通知给所述同步控制部，在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到重启通知时，将同步控制的重启信号通知给所述同步控制部，

所述同步控制部在从所述延迟控制部接收到切换信号时，使用减去了规定的值后的所述N作为同步控制的倍速值，在从所述延迟控制部接收到重启信号时，使用所述N作为同步控制的倍速值。

13.根据权利要求8所述的影像声音变换装置，所述影像声音变换装置还具有倍速通知部，该倍速通知部在进行速率变换录制的过程中切换进行同步控制的速度的倍率即N，并通知给所述同步控制部。

14.根据权利要求13所述的影像声音变换装置，所述影像声音变换装置还具有倍速测定部，当在规定的期间中基于所述延迟控制部的同步控制的定时调整的发生次数多于规定次数的情况下，所述倍速测定部将从所述N减去规定的值后得到的值作为所述N，并通知给所述倍速通知部，在没有发生同步控制的定时调整的情况下，所述倍速测定部将向所述N加上规定的值后得到的值作为所述N，并通知给所述倍速通知部，

所述延迟控制部通知所述倍速测定部发生了同步控制的定时调整，

所述倍速通知部将由所述倍速测定部通知的所述N通知给所述同步控制部。

15.一种影像声音变换方法，从将第一编码影像数据及第一编码声音数据进行复用得到的第一复用数据，生成将第二编码影像数据及第二编码声音数据进行复用得到的第二复用数据，该影像声音变换方法包括：

分离步骤，从第一复用数据复用分离出影像数据及声音数据；

影像解码步骤，对通过所述分离步骤而复用分离出来的第一编码影像数据进行解码，由此生成影像数据；

声音解码步骤，对通过所述分离步骤而复用分离出来的第一编码声音数据进行解码，由此生成声音数据；

影像编码步骤，对通过所述影像解码步骤而生成的影像数据进行编码，由此生成第二编码影像数据；

声音编码步骤，对通过所述声音解码步骤而生成的声音数据进行编码，由此生成第二编码声音数据；以及

复用步骤，进行通过所述影像编码步骤而生成的第二编码影像数据和通过所述声音编码步骤而生成的第二编码声音数据的复用，由此生成第二复用数据，

在所述分离步骤中，根据在所述影像解码步骤及所述声音解码步骤进行的解码的进展状况，控制复用分离的停止及重启，

在所述影像解码步骤中，根据在所述分离步骤进行的复用分离的进展状况及在所述影像编码步骤进行的编码的进展状况，控制解码的停止及重启，

在所述声音解码步骤中，根据在所述分离步骤进行的复用分离的进展状况及在所述声音编码步骤进行的编码的进展状况，控制解码的停止及重启，

在所述影像编码步骤中，根据在所述影像解码步骤进行的解码的进展状况及在所述复用步骤进行的复用的进展状况，控制编码的停止及重启，

在所述声音编码步骤中，根据在所述声音解码步骤进行的解码的进展状况及在所述复用步骤进行的复用的进展状况，控制编码的停止及重启，

在所述复用步骤中，根据在所述影像编码步骤及所述声音编码步骤进行的编码的进展状况，控制复用的停止及重启，

所述影像声音变换方法还包括同步控制步骤，用于调整为了将通过所述影像解码步骤生成的影像数据在所述影像编码步骤中进行编码而传送该影像数据的定时、和为了将通过所述声音解码步骤生成的声音数据在所述声音编码步骤中进行编码而传送该影像数据的定时，

在所述分离步骤中，还输出被附加在所述第一复用数据中的时刻信息，

所述时刻信息包括与影像数据的输出相关的影像输出时刻信息和与声音数据的输出相关的声音输出时刻信息，

在所述同步控制步骤中，响应与系统基准时间成比例地合计的基准时间达到了所述影像输出时刻信息这一情况，进行在所述影像解码步骤中生成的影像数据的传送，并且响应与系统基准时间成比例地合计的基准时间达到了所述声音输出时刻信息这一情况，进行在所述声音解码步骤中生成的声音数据的传送，由此进行影像数据和声音数据的同步控制，

在所述影像解码步骤中，根据在所述影像编码步骤中进行的编码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制解码的停止及重启，

在所述声音解码步骤中，根据在所述声音编码步骤中进行的编码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制解码的停止及重启，

在所述影像编码步骤中，进行通过所述影像解码步骤而生成的影像数据的编码、即进行通过所述同步控制步骤而同步的影像数据的编码，并根据在所述影像解码步骤中进行的解码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制编码的停止及重启，

在所述声音编码步骤中，进行通过所述声音解码步骤而生成的声音数据的编码、即进行通过所述同步控制步骤而同步的声音数据的编码，并根据在所述声音解码步骤中进行的解码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制编码的停止及重启，

在所述同步控制步骤中，以N倍速度进行同步控制，

所述N是在所述分离步骤、所述影像解码步骤、所述声音解码步骤、所述影像编码步骤、所述声音编码步骤及所述复用步骤中能够进行动作的倍速值的最小值。

16.根据权利要求15所述的影像声音变换方法，所述影像声音变换方法还包括进行所述N的通知的倍速通知步骤，以便实现在所述同步控制步骤中进行的同步控制。

17.根据权利要求16所述的影像声音变换方法，在所述倍速通知步骤中，根据来自外部的指示，选择所通知的所述N。

18.根据权利要求16所述的影像声音变换方法，所述影像声音变换方法还包括通知与动作设定对应的所述N的动作模式判定步骤，以便在所述倍速通知步骤中进行通知，所述动作设定将影响到所述分离步骤中的复用分离、所述影像解码步骤中的解码、所述声音解码步骤中的解码、所述影像编码步骤中的编码、所述声音编码步骤中的编码、或者所述复用步骤中的复用，

在所述倍速通知步骤中，通知通过所述动作模式判定步骤而通知了的所述N，以便实现在所述同步控制步骤中进行的同步控制。

19.根据权利要求16所述的影像声音变换方法，所述影像声音变换方法还包括倍速测定步骤，在速率变换录制开始前进行所述N的测定，并通知测定到的所述N，以便在所述倍速通知步骤中进行通知，

在所述倍速通知步骤中，通知通过所述倍速测定步骤而通知了的所述N，以便在所述同步控制步骤中进行同步控制。

20.根据权利要求16所述的影像声音变换方法，所述影像声音变换方法还包括：

动作模式判定步骤，判定与动作设定对应的动作模式，所述动作设定将影响到所述分离步骤中的复用分离、所述影像解码步骤中的解码、所述声音解码步骤中的解码、所述影像编码步骤中的编码、所述声音编码步骤中的编码、或者所述复用步骤中的复用；

倍速测定步骤，在速率变换录制开始前进行所述N的测定；以及

记录步骤，在倍速记录存储器中记录所测定到的所述N，

在所述动作模式判定步骤中，在与动作模式对应的所述N被记录在所述倍速记录存储器中的情况下，通知所记录的所述N，以便在所述倍速通知步骤中进行通知，在与动作模式对应的所述N没有记录在所述倍速记录存储器中的情况下进行启动通知，以便在所述倍速测定步骤中进行测定，

在所述倍速测定步骤中，按照每种动作模式来测定最佳的所述N，将每种动作模式的所述N记录在所述倍速记录存储器中，并且通知所述N，以便在所述倍速通知步骤中进行通知。

21.根据权利要求15所述的影像声音变换方法，所述影像声音变换方法还包括根据所述N进行动作设定的倍速判定步骤，所述动作设定将影响到所述分离步骤中的复用分离、所述影像解码步骤中的解码、所述声音解码步骤中的解码、所述影像编码步骤中的编码、所述声音编码步骤中的编码、或者所述复用步骤中的复用。

22.一种影像声音变换方法，从将第一编码影像数据及第一编码声音数据进行复用得到的第一复用数据，生成将第二编码影像数据及第二编码声音数据进行复用得到的第二复用数据，该影像声音变换方法包括：

分离步骤，从第一复用数据复用分离出影像数据及声音数据；

影像解码步骤，对通过所述分离步骤而复用分离出来的第一编码影像数据进行解码，由此生成影像数据；

声音解码步骤，对通过所述分离步骤而复用分离出来的第一编码声音数据进行解码，由此生成声音数据；

影像编码步骤，对通过所述影像解码步骤而生成的影像数据进行编码，由此生成第二编码影像数据；

声音编码步骤，对通过所述声音解码步骤而生成的声音数据进行编码，由此生成第二编码声音数据；以及

复用步骤，进行通过所述影像编码步骤而生成的第二编码影像数据和通过所述声音编码步骤而生成的第二编码声音数据的复用，由此生成第二复用数据，

在所述分离步骤中，根据在所述影像解码步骤及所述声音解码步骤进行的解码的进展状况，控制复用分离的停止及重启，

在所述影像解码步骤中，根据在所述分离步骤进行的复用分离的进展状况及在所述影像编码步骤进行的编码的进展状况，控制解码的停止及重启，

在所述声音解码步骤中，根据在所述分离步骤进行的复用分离的进展状况及在所述声音编码步骤进行的编码的进展状况，控制解码的停止及重启，

在所述影像编码步骤中，根据在所述影像解码步骤进行的解码的进展状况及在所述复用步骤进行的复用的进展状况，控制编码的停止及重启，

在所述声音编码步骤中，根据在所述声音解码步骤进行的解码的进展状况及在所述复用步骤进行的复用的进展状况，控制编码的停止及重启，

在所述复用步骤中，根据在所述影像编码步骤及所述声音编码步骤进行的编码的进展状况，控制复用的停止及重启，

所述影像声音变换方法还包括同步控制步骤，用于调整为了将通过所述影像解码步骤生成的影像数据在所述影像编码步骤中进行编码而传送该影像数据的定时、和为了将通过所述声音解码步骤生成的声音数据在所述声音编码步骤中进行编码而传送该影像数据的定时，

在所述分离步骤中，还输出被附加在所述第一复用数据中的时刻信息，

所述时刻信息包括与影像数据的输出相关的影像输出时刻信息和与声音数据的输出相关的声音输出时刻信息，

在所述同步控制步骤中，响应与系统基准时间成比例地合计的基准时间达到了所述影像输出时刻信息这一情况，进行在所述影像解码步骤中生成的影像数据的传送，并且响应与系统基准时间成比例地合计的基准时间达到了所述声音输出时刻信息这一情况，进行在所述声音解码步骤中生成的声音数据的传送，由此进行影像数据和声音数据的同步控制，

在所述影像解码步骤中，根据在所述影像编码步骤中进行的编码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制解码的停止及重启，

在所述声音解码步骤中，根据在所述声音编码步骤中进行的编码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制解码的停止及重启，

在所述影像编码步骤中，进行通过所述影像解码步骤而生成的影像数据的编码、即进行通过所述同步控制步骤而同步的影像数据的编码，并根据在所述影像解码步骤中进行的解码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制编码的停止及重启，

在所述声音编码步骤中，进行通过所述声音解码步骤而生成的声音数据的编码、即进行通过所述同步控制步骤而同步的声音数据的编码，并根据在所述声音解码步骤中进行的解码的进展状况、即在所述同步控制步骤中进行的同步控制的进展状况，控制编码的停止及重启，

所述影像声音变换方法还包括：

延迟控制步骤，进行延迟的控制通知，以便在所述同步控制步骤中进行同步控制；

第一延迟检测步骤，监视在所述影像解码步骤中进行的解码相对于在所述同步控制步骤中进行的同步控制的延迟，并通知延迟状况以便在所述延迟控制步骤中进行延迟控制；

第二延迟检测步骤，监视在所述声音解码步骤中进行的解码相对于在所述同步控制步骤中进行的同步控制的延迟，并通知延迟状况以便在所述延迟控制步骤中进行延迟控制；

第三延迟检测步骤，监视在所述影像编码步骤中进行的编码相对于在所述同步控制步骤中进行的同步控制的延迟，并通知延迟状况以便在所述延迟控制步骤中进行延迟控制；以及

第四延迟检测步骤，监视在所述声音编码步骤中进行的编码相对于在所述同步控制步骤中进行的同步控制的延迟，并通知延迟状况以便在所述延迟控制部步骤中进行延迟控制，

在所述第一延迟检测步骤、所述第二延迟检测步骤、所述第三延迟检测步骤及所述第四延迟检测步骤的各个步骤中，如果检测到延迟，则进行延迟通知，如果检测到延迟的消除，则进行重启通知，

在所述延迟控制步骤中，当在所述第一延迟检测步骤、所述第二延迟检测步骤、所述第三延迟检测步骤及所述第四延迟检测步骤中的任意一个步骤中进行了延迟通知时，作为延迟的控制通知进行同步控制的停止通知，以便在所述同步控制步骤中进行同步控制，当在所述第一延迟检测步骤、所述第二延迟检测步骤、所述第三延迟检测步骤及所述第四延迟检测步骤中的任意一个步骤中进行了重启通知时，作为延迟的控制通知进行同步控制的重启通知，以便在所述同步控制步骤中进行同步控制。

23.根据权利要求22所述的影像声音变换方法，在所述第一延迟检测步骤中，根据为了将通过所述影像解码步骤生成的影像数据在所述同步控制步骤中进行同步控制而临时存储该影像数据的第九中间缓冲器的数据蓄积状态，检测在所述影像解码步骤中进行的解码的延迟，

在所述第二延迟检测步骤中，根据为了将通过所述声音解码步骤生成的声音数据在所述同步控制步骤中进行同步控制而临时存储该声音数据的第十中间缓冲器的数据蓄积状态，检测在所述声音解码步骤中进行的解码的延迟，

在所述第三延迟检测步骤中，根据为了将通过所述同步控制步骤被实施了同步控制的影像数据在所述影像编码步骤中进行编码而临时存储该影像数据的第十一中间缓冲器的数据蓄积状态，检测在所述影像编码步骤中进行的编码的延迟，

在所述第四延迟检测步骤中，根据为了将通过所述同步控制步骤被实施了同步控制的声音数据在所述声音编码步骤中进行编码而临时存储该声音数据的第十二中间缓冲器的数据蓄积状态，检测在所述声音编码步骤中进行的编码的延迟。

24.根据权利要求22所述的影像声音变换方法，在所述第一延迟检测步骤中，通过监视在所述影像解码步骤中生成的影像数据的帧数和在所述同步控制步骤中进行了同步控制的影像数据的帧数，检测在所述影像解码步骤中进行的解码的延迟，

在所述第二延迟检测步骤中，通过监视在所述声音解码步骤中生成的声音数据的帧数和在所述同步控制步骤中进行了同步控制的声音数据的帧数，检测在所述声音解码步骤中进行的解码的延迟，

在所述第三延迟检测步骤中，通过监视在所述同步控制步骤中进行了同步控制的影像数据的帧数和在所述影像编码步骤中生成的影像数据的帧数，检测在所述影像编码步骤中进行的编码的延迟，

在所述第四延迟检测步骤中，通过监视在所述同步控制步骤中进行了同步控制的声音数据的帧数和在所述声音编码步骤中生成的声音数据的帧数，检测在所述声音编码步骤中进行的编码的延迟。

25.根据权利要求22所述的影像声音变换方法，在所述延迟控制步骤中，当在所述第一延迟检测步骤、所述第二延迟检测步骤、所述第三延迟检测步骤及所述第四延迟检测步骤中的任意一个步骤中进行了延迟通知时，通知同步控制的停止信号，以便在所述同步控制步骤中进行同步控制，当在所述第一延迟检测步骤、所述第二延迟检测步骤、所述第三延迟检测步骤及所述第四延迟检测步骤中的任意一个步骤中进行了重启通知时，通知同步控制的重启信号，以便在所述同步控制步骤中进行同步控制，

在所述同步控制步骤中，当在所述延迟控制步骤中通知了停止信号时，保持同步控制的状态但停止同步控制，当在所述延迟控制步骤中通知了重启信号时，在所保持的停止时的状态下重启同步控制。

26.根据权利要求22所述的影像声音变换方法，在所述同步控制步骤中，以N倍速度进行同步控制，

所述N是所述分离步骤、所述影像解码步骤、所述声音解码步骤、所述影像编码步骤、所述声音编码步骤及所述复用步骤能够动作的速率变换录制的变换速度的倍速值的最小值，

在所述延迟控制步骤中，当在所述第一延迟检测步骤、所述第二延迟检测步骤、所述第三延迟检测步骤及所述第四延迟检测步骤中的任意一个步骤中进行了延迟通知时，通知在所述同步控制步骤的同步控制中使用的所述N的切换信号，当在所述第一延迟检测步骤、所述第二延迟检测步骤、所述第三延迟检测步骤及所述第四延迟检测步骤中的任意一个步骤中进行了重启通知时，通知所述同步控制步骤中的同步控制的重启信号，

在所述同步控制步骤中，当在所述延迟控制步骤中通知了切换信号时，使用减去了规定的值后的所述N作为同步控制的倍速值，当在所述延迟控制步骤中通知了重启信号时，使用所述N作为同步控制的倍速值。

27.根据权利要求22所述的影像声音变换方法，所述影像声音变换方法还包括倍速通知步骤，在进行速率变换录制的过程中切换在所述同步控制中进行同步控制的速度的倍率即N，并进行通知，以便在所述同步控制步骤中进行同步控制。

28.根据权利要求27所述的影像声音变换方法，所述影像声音变换方法还包括倍速测定步骤，当在规定的期间中基于所述延迟控制步骤的同步控制的定时调整的发生次数多于规定次数的情况下，将从所述N减去规定的值后得到的值作为所述N并进行通知，以便在所述倍速通知步骤中进行通知，在没有发生同步控制的定时调整的情况下，将向所述N加上规定的值后得到的值作为所述N并进行通知，以便在所述倍速通知步骤中进行通知，

在所述延迟控制步骤中，通知发生了同步控制的定时调整，以便在所述倍速测定步骤中测定定时调整的发生次数，

在所述倍速通知步骤中通知在所述倍速测定步骤中通知了的所述N，以便在所述同步控制步骤中进行同步控制。