CN102640511B - 视频信息再现方法和系统、以及视频信息内容 - Google Patents

Abstract

在内容正篇的最后帧之后追加多张用于显示与正篇的最后帧相同内容的视频的I或P图片，作为再现同步调整用的帧，在与作为基准的再现装置相比再现超前的情况下，再现更多的同步调整用帧（ST11），在再现滞后的情况下，再现更少的同步调整用帧（ST9）。在无法利用PCR进行系统时钟的校正的情況下，在从蓄积介质读出数据并再现、或者利用网络发布来接收数据并再现的情况下，能够使多个再现装置（42）中的再现同步。

Description

视频信息再现方法和系统、以及视频信息内容

技术领域

本发明涉及对经由网络发布的已编码的数据和从蓄积介质读出的已编码的数据进行再现的视频信息再现方法和视频信息再现系统。本发明还涉及经由网络发布或从蓄积介质读出的内容。 

背景技术

作为以不使缓存产生下溢和上溢的方式对多个再现装置发布的内容取得再现同步的方法，一般利用TS（Transport Stream，传送流）所包含的PCR（Program Clock Reference，节目时钟基准）（例如，参照专利文献1）。 

在先技术文献 

专利文献 

专利文献1：日本特开2008-96756号公报 

发明内容

发明要解决的课题 

在地面波数字广播等使用TS（Transport Stream，传送流）的广播中，以所确定的比特率从数据发送侧发送来数据，所以，当解码器的系统时钟与正规的27MHz不完全一致时，缓存为空或者缓存上溢，无法正常进行再现。为了避免该问题，准备使用PCR（Program Clock Reference，节目时钟基准）定期对解码器的系统时钟进行校正的结构。这样，在接收到TS的所有再现装置中将系统时钟调整为同一时刻，所以，成为在并列多个再现装置进行显示的情况下，在所有显示装置间完全取得同步的状态。 

另一方面，在DVD或Blu-ray播放器等对MPEG数据进行再现的设备中，以解码器的缓冲区不会引起下溢或上溢的方式从蓄积介质读出数据，所以，一般不需要使用PCR的系统时钟的时刻校正。因此，例如，在将这些从蓄积介质读出的数据送到多个再现装置并利用该多个再现装置进行显示的情况下，在数小时后产生系统时钟的偏差，所以，有时产生同步偏差。 

在基于网络发布的再现中也可能发生同样的情况。经由网络的发布不像广播那样以所确定的比特率送出数据，所以，一般在再现装置侧保有较大的缓存来进行再现，与DVD等同样，无法使用PCR进行系统时钟的校正。因此，有时在进行长时间再现时，在显示装置间产生同步偏差。 

例如，在标牌（signage）用途中，要求在所有再现装置中同步再现一齐发布的内容，但是，如上所述，在从蓄积介质读出数据、或利用网络发布数据的情况下，无法利用PCR，所以，当在多个显示装置中进行长时间再现时，各个显示装置的显示稍微错开，这成为问题。 

因此，本发明是为了解决上述课题而完成的，其目的在于，在无法利用PCR进行系统时钟的校正的情況下，在从蓄积介质读出数据并利用多个视频信息再现装置进行再现、或者利用多个视频信息再现装置接收网络发布的数据并进行再现的情况下，在再现装置间取得再现的同步。 

用于解决课题的手段 

本发明的视频信息再现方法，利用多个视频信息再现装置从通过网络连接的内容服务器或蓄积介质接收内容，并利用所述视频信息再现装置对所述内容进行解码并再现，所述内容由至少包含帧内编码图像信息和帧间正向预测编码图像信息的序列构成，并且包含时间戳信息，所述视频信息再现方法的特征在于，具有以下步骤：检测步骤，从多个视频信息再现装置中决定作为再现时刻的基准的视频信息再现装置，检测各个视频信息再现装置与作为基准的视频信息再现装置之间的再现时刻的误差；以及调整步骤，在相比于作为基准的视频信息再现装置滞后的情况下，从作为基准的视频信息再现装置所要再现的帧数中减去与滞后时间对应地再现的编码内容的帧数，在相比于作为基准的视频信息再现装置超前的情况下，对作为基准的视频信息再现装置所要再现的帧数加上与超前时间对应地再现的编码内容的帧数，由此对要再现的帧数进行调整。 

发明效果 

根据本发明，在无法进行使用PCR进行的解码器的再现时刻调整时，在流发布的数据或从蓄积介质读出的数据的再现中，也能够在各个再现装置中单独设定各再现 装置中要再现的内容的总帧数，所以，得到如下效果：在多个视频信息再现装置间，能够使再现时刻高精度地同步。 

附图说明

图1是概略地示出在本发明的实施方式1的视频信息再现方法的实施中使用的视频信息再现装置的结构例的框图。 

图2是从概念上示出包括图1的视频信息再现装置和经由网络与该视频信息再现装置连接的内容服务器的视频信息再现系统整体的结构的图。 

图3是示出图1的视频信息再现装置的缓存剩余量的变化的一例的图。 

图4是示出普通的TS流的数据包的结构的一例的图。 

图5是示出图2的视频信息再现系统内的再现时刻最超前的再现装置和最滞后的再现装置的缓存剩余量的变化的一例的图。 

图6是示出本发明的实施方式1的MPEG数据的PES数据包的结构的一例的图。 

图7是示出本发明的实施方式1的TS流的数据包的结构的一例的图。 

图8是示出图7的同步调整用数据包的语法的一例的图。 

图9是示出本发明的实施方式1的视频信息再现方法的流程图。 

图10是示出图9的步骤ST7的详细情况的流程图。 

图11是示出本发明的实施方式1中的为了同步调整而针对每个再现装置追加再现不同数量的帧的状况的图。 

图12是示出普通的MPEG2数据的解码次序和显示次序之间的关系的一例的图。 

图13是示出本发明的实施方式1的为了同步调整用而追加的帧的解码次序和显示次序之间的关系的一例的图。 

图14是示出本发明的实施方式2的视频信息再现方法的流程图。 

具体实施方式

实施方式1. 

图1是概略地示出在本发明的实施方式1的视频信息再现方法的实施中使用的视频信息再现装置的结构例的框图。图示的视频信息再现装置是对从内容服务器经由网络发布的内容进行再现的装置。 

图2是概略地示出包括图1的视频信息再现装置和内容服务器的视频信息再现系统全体的框图。从内容服务器41经由例如由以太网（注册商标）构成的网络43对各视频信息再现装置42发布数据。下面，以在网络43上通过使用UDP（User Datagram Protocol，用户数据报协议）的广播发布来发布数据为前提进行说明。 

图2所示的视频信息再现装置42例如如图1所示那样构成。 

图1所示的视频信息再现装置具有作为从内容服务器41发布的数据的再现单元的再现部10、以及作为执行装置全体的控制的再现控制单元的CPU21。再现部10具有接收从内容服务器41发布的数据的数据接收部11、临时蓄积由数据接收部11接收到的数据的缓存12、将从缓存12读出的数据分离为视频信息和音频信息的各信息的多路信号分离器13、对视频信息进行解码的视频解码器14、以及对音频信息进行解码的音频解码器15。从视频解码器14输出的视频信号被送到外部显示装置31，由外部显示装置31显示视频。从音频解码器15输出的音频信号被送到音频输出装置（未图示），输出音频。 

在本实施方式中，假设对数据接收部11发布的数据是TS（Transport Stream，传送流）。该情况下，视频信息和音频信息被分割为PES（Packetized Elementary Stream，打包基本流）数据包后，进一步分割为TS数据包，视频信息和音频信息以复用后的状态被发布。 

PES数据包是对按照MPEG2、H.264等编码的ES（Elementary Stream，基本流）附加PES头信息而得到的。PES数据包以进行再现时间管理的单位实现数据包化，视频信息例如将1张图像帧（图片）作为1个PES数据包。在PES数据包的头信息中包括时间戳、例如进行再现的时刻信息即PTS（Presentation Time Stamp，显示时间戳）。 

TS数据包为固定长度（188字节），对各个TS数据包的头部分赋予了各个数据类别所固有的PID（Packet ID）。根据该PID，能够识别是视频信息、音频信息还是系统信息（再现控制信息等）。在多路信号分离器13中，读取PID，识别是视频信息还是音频信息，对各个解码器分配数据。 

另外，在本实施方式中，说明了被分割为188字节的TS数据包的情况，但是，只要是能够识别是视频信息还是音频信息的数据格式即可，也可以是TS以外的格式。并且，在没有音频信息而仅发布视频信息的数据的情况下，也可以不分割为TS数据包，而直接利用PES（Packetized Elementary Stream）。该情况下，不需要再现部10的多路信号分离器13和音频解码器15。

在本实施方式的视频信息再现装置中，CPU21作为接收数据的控制单元进行动作，始终监视缓存12的容量，进行控制以使得缓存12不引起下溢或上溢。 

图3是示出缓存12的容量变化的图。CPU21始终监视缓存12的容量，逐次向内容服务器41通知缓存12的剩余量。 

在内容服务器41不发送数据的状态下，再现装置不进行再现，其结果，当缓存12的数据剩余量减少到下限值（第1规定阈值）SR1时，内容服务器41开始（再次开始）对再现装置42发送数据，当缓存12的剩余量达到上限值（第2规定阈值）SR2时，内容服务器41停止对再现装置42发送数据。 

接着，当缓存12的剩余量减少到下限值SR1时，内容服务器41再次开始发送数据。 

通过反复进行以上动作，进行发送数据的控制，以使得缓存12的数据剩余量保持在上限值SR2与下限值SR1之间。 

并且，CPU21还作为如下的单元进行动作：监视同一再现装置42内的视频解码器14的再现时刻，对内容服务器41通知该时刻，并且，依据同一再现装置42内的视频解码器14的再现时刻相对于从内容服务器41得知的作为基准的再现时刻的偏差，使从内容服务器41向缓存12传送的数据尺寸增大或减小，从而进行控制。 

内容服务器41向各再现装置42通知与作为标准的再现装置42的再现时刻之间的偏差量。CPU21进行如下的数据控制：在再现装置42的再现时刻比作为标准的再现装置42的再现时刻超前的情况下，根据由数据接收部11接收到的数据，增加蓄积在缓存12中的数据量，在再现装置42的再现时刻比作为标准的再现装置42的再现时刻滞后的情况下，减少蓄积在缓存12中的数据量。蓄积在缓存12中的数据量的控制的详细说明在后面叙述。 

图4是示出从内容服务器41发布的TS数据的数据结构的图。在TS数据中，视频信息和音频信息被分割为188字节单位的数据包（TS数据包），以视频和音频的再现不会间断的方式，复用（multiplex）了存储有视频数据的视频数据包、存储有音频数据的音频数据包、以及存储有PAT/PMT等系统信息的PSI/SI数据包。 

接着，说明对从内容服务器41发布的内容进行再现之前的步骤。当从用户对内 容服务器41输出再现开始的请求（再现用的数据发送的请求）时，内容服务器41开始利用广播对各再现装置42发送TS数据。（有时通过从再现装置中的某一个发送信号来进行该再现开始的请求，并且，有时通过未图示的另外的控制设备提供该再现开始的请求。） 

各再现装置42利用数据接收部11接收所发布的TS数据，开始蓄积在缓存12中。此时，内容服务器41从全部再现装置42中任意决定代表装置，逐次监视作为代表的再现装置42的缓存12的数据剩余量。当内容服务器41检测到缓存12的剩余量超过第3规定阈值（初始再现开始值）SR3时，对全部再现装置42指示再现的开始（再现装置中的显示、输出的开始），其中，该第3规定阈值（初始再现开始值）SR3大于图3的下限值SR1且小于上限值SR2。 

当从内容服务器41输出再现指示时，在各再现装置42中，缓存12的TS数据的各个数据包被送出到多路信号分离器13，依据该数据包的PID被分离为视频信息、音频信息、以及PSI/SI信息。分离后的视频信息被送出到视频解码器14，解码后的视频信号被输出到外部显示装置31。并且，分离后的音频信息被送出到音频解码器15，解码后的音频信号被输出到音频输出装置（未图示），输出音频。在视频和音频的再现开始后，只要继续从内容服务器41发送数据，则缓存12内的剩余量随着时间而增加。但是，与未利用再现装置进行再现时相比，增加的速度较慢，因此，再现开始之后的剩余量曲线的斜率减小。 

如上所述，CPU21逐次向内容服务器41通知缓存12的剩余量，当内容服务器41检测到缓存12的剩余量达到上限值SR2时，内容服务器41停止传送数据。 

数据的传送停止后，各再现装置42的缓存12的剩余量随着解码器中数据被消耗而逐渐减少。当内容服务器41检测到作为代表的再现装置42的缓存12的剩余量达到下限值SR1时，内容服务器41再次开始发布数据。 

通过反复进行以上动作，缓存12不会引起下溢或上溢，音频或视频不会间断，能够持续进行再现。 

但是，在各内容的最后部分中，即使检测到缓存12的剩余量达到下限值SR1，由于不再存在应该发送的数据，因此，如图3的虚线EOC所示，剩余量进一步减少，最后达到零。 

关于阈值SR1、SR2、SR3的值，应该根据缓存12的容量、要再现的比特率等设定为最佳值，但是，由于不是与本申请直接相关的值，因此，不特意讲述阈值的数值。 

在全部再现装置42中按照以上步骤一齐开始再现，但是，生成视频解码器14的基准时刻的时钟电路22内的石英振荡器的振荡频率并不完全相同，在再现装置42间，振荡频率存在差异。根据该基准时刻，按照视频信息中的（PES数据包的头信息中包含的）PTS控制解码后的视频的输出时刻。即，各PES通过与从再现装置42内的石英振荡器产生的时钟脉冲的计数结果进行比较，一边检测成为由该PES的头信息中包含的PTS指定的时刻（相对于再现内容开头的时刻的相对时刻）的情况，一边进行解码，或者，一边进行解码后的时间调整（延迟），一边在由当该PES的头信息中包含的PTS指定的时刻（从内容的再现开始起的相对时刻）对各PES的图像进行再现输出。上述再现时刻的偏差意味着，利用一个再现装置内的时钟电路22对包含某个PTS的PES数据包在该一个再现装置中的再现进行计时的时刻、与利用其他再现装置内的时钟电路22对包含同一PTS的PES数据包在该其他再现装置中的再现进行计时的时刻之差。 

采用上述结构，所以，由于石英振荡器的频率误差，随着时间经过而使各再现装置42的再现时刻产生偏差。例如，在假设石英振荡器的精度为±20ppm、在显示最超前的再现装置42与显示最滞后的再现装置42之间产生40ppm的误差、24小时连续进行持续再现时，可能产生大约不到3秒的时间偏差。 

并且，内容服务器41将全部再现装置42中的一个再现装置作为代表再现装置42，一边监视其缓存12内的数据剩余量，一边进行数据发布的控制，所以，在将误差最大的再现装置42作为代表的情况下，在其他再现装置42的缓存12中产生缓冲区的下溢或上溢的可能性变高。 

图5示出在开始再现20小时后选择该时刻超前最早的视频再现装置42作为代表的情况下、时刻超前最快的再现装置（F）和最慢的再现装置（S）的缓冲区的剩余量变化。在最快的再现装置（F）的剩余量成为下限值SR1的时刻T1，再次开始来自内容服务器41的数据发布，但是，此时，最慢的再现装置的剩余量（S）的数据残留更多。 

例如，当设视频的编码比特率为10Mbps时，由于上述时间偏差，与再现装置（F）相比，在再现装置（S）中多残留3.5Mbit的数据。 

当设缓存12的容量为10Mbit、下限值SR1为3Mbit、上限值SR2为6Mbit时，在再现装置（F）的剩余量变为6Mbit的时间点，再现装置（S）的剩余量为9.5Mbit，接近缓存容量的极限。当在该状态下继续进行再现（为此的数据发送）时，在超过再现装置（S）的缓存12的容量时，舍弃应该再现的数据，显示丢掉了一部分帧的视频。 

如上述说明的那样，由于石英振荡器的频率偏差，存在如下问题：当长时间持续进行再现时，无法取得各视频信息显示装置间的显示同步，在最差的情况下，产生缓存的上溢或下溢，产生再现的间断或中断。 

图6是示出为了实施本发明的实施方式的视频信息再现方法而改良的视频信息中的PES数据包的排列的一例的图。 

PES数据包中的标号“I”所示的部分表示由I图片构成的部分，标号“P”表示由P图片构成的部分，标号“B”表示由B图片构成的部分。对标号“I”、“P”、“B”附加的下标“1”、“2”、“3”等分别用于区别I、P、B图片彼此，也表示再现的顺序。 

I图片是进行帧内编码后的图像信息（帧内编码图像信息），能够单独解码。P图片是参照此前的图片（I图片或其他P图片）进行正向运动补偿预测编码后的图像信息（帧间正向预测编码图像信息），B图片是参照此前的图片和此后的图片（I图片、P图片或其他B图片）进行双向运动补偿预测编码后的图像信息（帧间双向预测编码图像）。 

这里，当设TS数据的再现时间为60sec、帧速率为30fps时，TS数据成为合计1800（60×30=1800）个PES数据包，但是，在本实施方式中，在由上述1800个PES数据包构成的正篇部分（在不进行本发明的同步调整的情况下，也作为构成TS数据的部分而包含的部分）中，为了再现同步调整，进一步追加10帧的PES数据包，由合计1810个PES数据包构成。该追加的10帧的视频被编码成，反复显示与60sec的最终帧的视频相同的视频。在图示例子中，利用由与最终帧的视频相同视频的数据构成的1帧的I图片数据和用于接着继续显示相同视频的9帧的P图片数据，构成同步调整用帧（组）。 

这样，关于同步调整用帧的追加，可以预先以经编辑的形式保持在内容服务器41中，并且，也可以利用MPEG的虚拟图片（dummypicture）在内容服务器41上进行发布时进行附加。 

所追加的PES数据包的开头的PES数据包为I图片（在H.264的情况下为IDR 图片，但是，这也是进行帧内编码后的图像信息），接着的PES数据包不包含B图片，由P图片或I图片（IDR图片）构成。由于不包含B图片，因此，所追加的同步调整用的10帧图片的显示次序和数据的排列次序一致。与此相对，例如，图6的TS数据的开头部分按照“I₁”、“P₁”、“B₁”、“B₂”、的顺序排列PES数据包，但是，实际显示的次序为“I₁”、“B₁”、“B₂”、“P₁”，排列顺序和显示顺序不同。 

图7是示出为了实施实施方式的视频信息再现方法而改良的TS数据的TS数据包的排列的图。与图4的TS数据的不同之处在于，所追加的10帧的各PES数据包的开头的TS数据包复用有调整信息数据包，该调整信息数据包记述了表示存在于从TS数据的开头起的第几个数据包中的调整数据包信息。 

图8是示出所述同步调整用数据包的语法的图。 

“num_of_PES”是在正篇中追加的能够用于同步调整的PES（帧）的总数。接下来的循环反复进行“num_of_PES”次。在10帧的情况下，“num_of_PES”=10。 

“PTS_for_adjust（i）”表示能够用于同步调整的PES数据包各自的开头的PTS值。 

“SPN_for_adjust（i）”是表示包含“PTS_for_adjust（i）”所示的PES数据包的开头的TS数据包是从TS数据的开头起的第几个数据包的值。 

另外，在本实施方式中，将调整数据包信息复用在TS数据包中并送出到再现装置42，但是，不是必须复用在TS数据包中，也可以在独自的命令中载入调整数据包信息并送出到再现装置42。 

在内容服务器41中存在多个图7那样构成的TS数据，连续对各视频信息再现装置42进行发布。当从用户对内容服务器41发出再现的指示时，按照预先指示的次序开始发布内容服务器41的TS数据。 

在通常再现时，在CPU21中，根据TS数据中包含的调整信息数据包的数据，监视包含有所追加的10帧PES数据包的TS数据包的到达，丢弃SPN_for_adjust（0）以后的TS数据包，不蓄积在缓存12中。 

图9是示出用于使视频信息再现装置42间的再现同步的处理流程的图。步骤ST5、ST6示出内容服务器41中的处理，其他步骤示出再现装置42中的处理。 

在进行通常再现时，即使内容正篇的再现结束，也不进行如上所述所追加的10帧的显示（ST1）。如上所述，石英振荡器的频率为20ppm左右的精度，所以，在再 现了几分钟的程度下，同步偏差处于无法视觉辨认的程度。以几十分钟一次的程度、即每当经过规定时间时（ST2），从内容服务器41对各再现装置42进行当前的再现时刻的确认（ST3）。 

针对来自内容服务器41的再现时刻的确认，从各再现装置42向内容服务器41通知当前的再现时刻（ST4）。 

在内容服务器41中，对所通知的时刻进行汇总，判断是否需要进行再现时刻的同步调整（ST5）。为此，判断最超前的再现时刻与最滞后的再现时刻之差是否为规定值以上，例如1帧以上。 

在判断为再现时刻之差为1帧以上而需要进行调整的情况下，将具有再现时刻中的平均值的再现装置42设为作为基准的再现装置42，将该再现时刻作为基准时刻通知给全部再现装置42（ST6）。 

接收到基准时刻的各再现装置42根据之前自身通知的再现时刻与从内容服务器41通知的基准时刻之差，识别相比于作为基准的再现装置42是再现滞后还是再现超前，并对再现时刻进行调整（ST7）。 

判定与从内容服务器41通知的基准再现时刻之差是否为1帧以内，在再现时刻之差为1帧以内的情况下，再现装置42再现到为了同步调整而追加的10帧内的第5帧，CPU21丢弃SPN_for_adjust（5）以后的数据。由此，当前再现中的TS数据的总再现时间为正篇+5帧，最后的6帧连续显示正篇的最终帧。在再现了所附加的前半部分的5帧后，接着继续进行下一个内容的TS数据的再现。 

图10是详细示出图9的步骤ST7的调整流程的图。首先，判别是否相比于作为基准的再现装置42的再现时刻（基准时刻）滞后1帧以上进行再现（ST8）。 

被判断为相比于基准时刻滞后1帧以上的再现装置42根据基准时刻和自身的再现时刻计算滞后时间，算出与滞后时间相当的帧数，从5帧中减去与滞后时间相当的帧数，由此，计算应该蓄积在缓存12中的数据尺寸。例如在滞后时间为60msec（2帧）的情况下，将在TS数据末端附加的10帧内的前半部分的3帧蓄积在缓存12中，丢弃SPN_for_adjust（3）以后的数据（ST9）。 

其结果，当前再现中的TS数据的总再现时间为正篇+3帧，最后的4帧连续显示正篇的最终帧。在再现了所附加的前半部分的3帧后，接着继续进行下一个内容的TS数据的再现。 

在步骤ST10中，判断是否相比于作为基准的再现装置42的再现时刻超前1帧以上。被判断为超前1帧以上的再现装置42根据基准时刻和自身的再现时刻计算超前时间，算出与超前时间相当的帧数，对5帧加上与超前时间相当的帧数，由此，计算应该蓄积在缓存12中的数据尺寸（ST11）。例如在超前时间为90msec（3帧）的情况下，将在TS数据末端附加的10帧内的前半部分的8帧蓄积在缓存12中，丢弃SPN_for_adjust（8）以后的数据。由此，当前再现中的TS数据的总再现时间为正篇+8帧，最后的9帧连续显示正篇的最终帧。在再现了所附加的前半部分的8帧后，接着继续进行下一个内容的TS数据的再现。 

在步骤ST10中，被判断为超前时间为1帧以内的再现装置42再现到在TS数据末端附加的10帧内的第5帧，丢弃SPN_for_adjust（5）以后的数据（ST12）。由此，当前再现中的TS数据的总再现时间为正篇+5帧，最后的6帧连续显示正篇的最终帧。在再现了所附加的前半部分的5帧后，接着继续进行下一个内容的TS数据的再现。 

在上述情况下，相比于基准时刻滞后的再现装置42的当前再现中的内容的总再现时间相对于作为基准的再现装置42短2帧，再现时刻超前的再现装置42的当前再现中的内容的总再现时间相对于作为基准的再现装置42长3帧。 

图11是示出内容切换前后的各再现装置42的再现时刻的变化的图。当按照上述流程进行再现时，通过使相比于基准时刻滞后的再现装置42当前再现的TS数据的总再现时间比作为基准的再现装置42短滞后的量、使超前的再现装置42当前再现的TS数据的总再现时间比作为基准的再现装置42长超前的量，能够使下一个内容的TS数据的再现开始定时为1帧以内的时间差以下。 

如上所述，为了能够在各再现装置42中高精度地调整TS数据的再现时刻，所附加的调整用TS数据需要若干个制约条件。图12是示出普通的MPEG的帧的排列的图。该情况下，从内容服务器41按照“I₁”、“P₁”、“B₁”、“B₂”、…的顺序发布数据，但是，显示的次序为“I₁”、“B₁”、“B₂”、“P₁”、…。如图12那样，在排列追加数据的情况下，在希望再现到“B₁”的情况下，需要对缓存12输入“I₁”、“P₁”、“B₁”、“B₂”这4帧数据。在解码器14中，再现“I₁”、“B₁”、“B₂”、“P₁”这4帧，所以，本来希望显示的帧数超出2帧。 

同样，在希望再现到“B₂”的情况下或者希望再现到“P₁”的情况下，均再现“I₁”、“B₁”、“B₂”、“P₁”这4帧。这样，当以包含B帧的方式进行编码时，在图12所示的情况下，最大产生2帧的误差，所以，同步精度降低。 

图13是为了以帧单位以1帧的精度进行同步而考虑的帧的排列。与图12的不同之处在于，不使用B帧进行编码。在这样进行编码的情况下，帧的排列顺序和再现顺序一致。因此，在希望再现3帧的情况下，在缓存中蓄积“I₁”、“P₁”、“P₂”这3帧的数据，丢弃以后的帧即可。这样，通过不使用B帧，能够进行帧精度的同步调整。但是，在不使用B帧进行编码的情况下，编码效率降低，所以，为了确保与使用B帧的情况相同的画质，数据尺寸增大。为了避免该情况，优选采用正篇部分使用B帧进行编码而调整用帧不使用B帧进行编码的方法，但是，利用不同规则对正篇和调整用帧进行编码，还存在编码复杂的问题。因此，可以针对要求同步精度的系统，对调整用帧不使用B帧进行编码，在不要求很高的同步精度的情况下，使用B帧进行编码即可。 

如以上说明的那样，使用在末端追加了用于进行再现时刻的同步调整的帧的TS数据，根据与作为基准的再现装置42的再现时刻之间的相对的再现时刻差信息，对在缓存中蓄积的所追加的同步调整用的TS数据量进行调整，由此，能够高精度地实现显示装置间的再现同步。 

另外，在本实施方式的说明中，将再现时刻接近全部再现装置42的再现时刻平均值的再现装置42的再现时刻设定为基准时刻，但是，不是必须为接近平均值的值，例如也可以是中间值，另外，将再现时刻最超前的再现装置42作为基准，使再现时刻最超前的再现装置42再现所追加的全部10帧，使除此之外的再现装置42按照与作为基准的再现时刻之间的误差的大小，从10帧起缩减追加再现的帧数进行再现，也能够得到完全相同的效果。同样，将再现时刻最滞后的再现装置42作为基准，使再现时刻最滞后的再现装置42不再现所追加的帧，使除此之外的再现装置42按照与基准再现时刻之间的误差的大小，增加追加再现的帧进行再现，也能够得到完全相同的效果。 

本发明例如能够应用于在汽车、火车、建筑物等中的在多个画面上进行显示的显示装置，得到能够高精度地使多个显示装置间的再现时刻同步的效果。 

实施方式2. 

在实施方式1中，说明了使各再现装置42间的再现时刻的偏差处于为了进行调整而准备的帧数范围以内的情况下的调整方法。但是，在再现装置42内对CPU21施 加了紧急的负载、由于电噪声的影响而使再现装置42重置，在再现准备完成之前来自内容服务器41的数据发布已经开始的情况下，有时再现产生大幅的同步偏差。在该情况下，偏差时间甚至达到几秒钟，所以，在利用实施方式1的调整方法取得同步为止，有时需要几十分钟到几小时。 

图14是在再现时刻这样大幅产生偏差时为了在短时间内进行调整而改良的流程图。在该图中，步骤ST18和ST19是在内容服务器41中进行的处理，其他步骤是在各再现装置42中进行的处理。 

首先，判断偏差量是否处于能够利用实施方式1中说明的调整方法相对于作为基准的再现装置42的再现时刻实现同步化的范围内的偏差量（是否处于能够利用实施方式1中说明的方法进行调整的范围内）（ST13）。 

在判断为是能够实现同步化的范围内的情况下，进入步骤ST14，进行通常的调整（参照图10说明的调整）。步骤ST14中的调整的详细情况在实施方式1中进行了详细说明，所以省略。 

当判断为再现时刻的偏差量是能够实现同步化的范围外时，中断当前再现中的内容的再现，清除在缓存12中蓄积的所有数据（ST15）。 

中断了再现的再现装置42等待当前再现中的内容的TS数据的发布完成并等待发布下一个内容的开头的TS数据包的开头数据包（ST16）。当检测到下一个内容的开头的TS数据包时，CPU21开始在缓存12中蓄积数据（ST17）。 

接着，在下一个内容的开头的帧的再现开始时，内容服务器41指示作为基准的再现装置42对内容服务器41进行通知，当从作为基准的再现装置42对内容服务器41通知了下一个内容的再现开始时（ST18），内容服务器41对中断了再现的再现装置42发出再现开始指示（ST19），再次开始中断了再现的再现装置42中的内容的再现。 

在从作为基准的再现装置42向内容服务器41通知再现开始、到从内容服务器41向中断了再现的再现装置42传达再现开始指示为止，存在网络造成的延迟、软件处理时间造成的延迟、从对视频解码器14发出再现指示到显示最开始的帧为止的延迟，所以，在该时间点，中断了再现的再现装置42的再现时刻处于相比于其他再现装置42滞后几帧的状态。但是，该滞后处于能够在通常的调整同步的流程中进行调整的范围内，所以，在下次的调整流程中能够使同步一致。 

如以上说明的那样，针对再现时刻大幅产生偏差的再现装置42，临时中断再现，在作为基准的再现装置42开始再现下一个内容的开头帧的定时再次开始再现，由此，能够利用下一个内容的调整，迅速实现再现时刻的同步。 

本发明例如能够应用于在汽车、火车、建筑物等中在多个画面进行显示的显示装置，得到能够在短时间内使多个显示装置间的再现时刻同步的效果。 

标号说明 

10：再现部；11：数据接收部；12：缓存；13：多路信号分离器；14：视频解码器；15：音频解码器；21：CPU（判别单元、再现控制单元）；31：外部显示装置；41：内容服务器；42：再现装置；43：网络。 

Claims (12)

1.一种视频信息再现方法，利用多个视频信息再现装置接收从通过网络连接的内容服务器发布的内容，并基于石英振荡器产生的时钟脉冲信号、在时间戳信息指定的时刻利用所述视频信息再现装置对所述内容进行解码并再现；所述内容由至少包含帧内编码图像信息和帧间正向预测编码图像信息的序列构成，并且包含所述时间戳信息；其特征在于，所述视频信息再现方法具有：

再现时刻通知步骤，所述多个视频信息再现装置的各视频信息再现装置基于所述时钟脉冲信号，将再现所述内容的时刻即再现时刻通知所述内容服务器；

基准再现时刻通知步骤，所述内容服务器基于所述多个视频信息再现装置通知的所述再现时刻，从所述多个视频信息再现装置中选择基准视频信息再现装置，并将该基准视频信息再现装置通知的所述再现时刻决定为基准再现时刻，以及向所述多个视频信息再现装置通知所述基准再现时刻；

检测步骤，所述多个视频信息再现装置的各视频信息再现装置将所述内容服务器通知的所述基准再现时刻与该视频信息再现装置向所述内容服务器通知的所述再现时刻进行比较，检测两者的误差；以及

调整步骤，所述多个视频信息再现装置的各视频信息再现装置在该视频信息再现装置向所述内容服务器通知的所述再现时刻相比于所述基准再现时刻滞后的情况下，从所述基准视频信息再现装置所要再现的帧数中减去与滞后时间对应地再现的编码内容的帧数，在该视频信息再现装置向所述内容服务器通知的所述再现时刻相比于所述基准再现时刻超前的情况下，对所述基准视频信息再现装置所要再现的帧数加上与超前时间对应的要再现的编码内容的帧数，由此对要再现的帧数进行调整；

其中，所述内容在由至少包含所述帧内编码图像信息和所述帧间正向预测编码图像信息的序列构成的正篇用的帧中，由至少包含所述帧内编码图像信息和所述帧间正向预测编码图像信息的序列构成，在所述正篇用的帧中追加有被编码成显示与包含最终帧的视频相同的视频的同步调整用帧。

2.根据权利要求1所述的视频信息再现方法，其特征在于，

在检测所述误差的步骤中，内容服务器对从各视频信息再现装置通知的再现时刻进行汇总，将再现时刻最接近平均值的视频信息再现装置作为基准。

3.根据权利要求1所述的视频信息再现方法，其特征在于，

在检测所述误差的步骤中，内容服务器对从各视频信息再现装置通知的再现时刻进行汇总，将再现时刻最滞后的视频信息再现装置作为基准。

4.根据权利要求1所述的视频信息再现方法，其特征在于，

在检测所述误差的步骤中，内容服务器对从各视频信息再现装置通知的再现时刻进行汇总，将再现时刻最超前的视频信息再现装置作为基准。

5.根据权利要求1所述的视频信息再现方法，其特征在于，

所述视频信息再现方法还具有以下步骤：

判断步骤，所述多个视频信息再现装置的各视频信息再现装置判断在所述检测步骤中检测到的所述误差是否处于能够通过所述调整步骤的调整而实现同步的范围内；

丢弃步骤，所述多个视频信息再现装置的各视频信息再现装置在上述判断步骤中判断为不处于能够实现同步的范围内的情况下，中断当前再现中的内容的再现，丢弃蓄积在缓存中的内容的数据；

蓄积步骤，所述多个视频信息再现装置的各视频信息再现装置在中断了再现的情况下，从接收到下一个内容的时间点起将内容的数据蓄积在缓存中；以及

开始控制步骤，所述多个视频信息再现装置的各视频信息再现装置在中断了所述再现的情况下，从所述内容服务器接收到所述基准视频信息再现装置开始再现下一个内容的定时的通知时，开始再现下一个内容。

6.根据权利要求1～5中的任意一项所述的视频信息再现方法，其特征在于，

所述帧内编码图像信息和帧间正向预测编码图像信息是按照MPEG2或H.264进行编码的。

7.一种视频信息再现系统，具有内容服务器以及多个视频信息再现装置；所述内容服务器发布内容，所述内容由至少包含帧内编码图像信息和帧间正向预测编码图像信息的序列构成，并且包含时间戳信息；所述多个视频信息再现装置通过网络与所述内容服务器连接，接收所述内容服务器发布的所述内容，并基于石英振荡器产生的时钟脉冲信号、在所述时间戳信息指定的时刻对所述内容进行解码并再现；其特征在于，

所述多个视频信息再现装置的各视频信息再现装置具有通知单元，基于所述时钟脉冲信号，将再现所述内容的时刻即再现时刻通知所述内容服务器；

所述内容服务器基于所述多个视频信息再现装置通知的所述再现时刻，从所述多个视频信息再现装置中选择基准视频信息再现装置，并将该基准视频信息再现装置通知的所述再现时刻决定为基准再现时刻，以及向所述多个视频信息再现装置通知所述基准再现时刻；

所述多个视频信息再现装置的各视频信息再现装置还具有：

将所述内容服务器通知的所述基准再现时刻与该视频信息再现装置向所述内容服务器通知的所述再现时刻进行比较，检测两者的误差的检测单元；以及

在该视频信息再现装置向所述内容服务器通知的所述再现时刻相比于所述基准再现时刻滞后的情况下，从所述基准视频信息再现装置所要再现的帧数中减去与滞后时间对应地再现的编码内容的帧数，在该视频信息再现装置向所述内容服务器通知的所述再现时刻相比于所述基准再现时刻超前的情况下，对所述基准视频信息再现装置所要再现的帧数加上与超前时间对应地再现的编码内容的帧数，由此对要再现的帧数进行调整的调整单元；

其中，所述内容在由至少包含所述帧内编码图像信息和所述帧间正向预测编码图像信息的序列构成的正篇用的帧中，由至少包含所述帧内编码图像信息和所述帧间正向预测编码图像信息的序列构成，在所述正篇用的帧中追加有被编码成显示与包含最终帧的视频相同的视频的同步调整用帧。

8.根据权利要求7所述的视频信息再现系统，其特征在于，

在检测所述误差的单元中，内容服务器对从各视频信息再现装置通知的再现时刻进行汇总，将再现时刻最接近平均值的视频信息再现装置作为基准。

9.根据权利要求7所述的视频信息再现系统，其特征在于，

在检测所述误差的单元中，内容服务器对从各视频信息再现装置通知的再现时刻进行汇总，将再现时刻最滞后的视频信息再现装置作为基准。

10.根据权利要求7所述的视频信息再现系统，其特征在于，

在检测所述误差的单元中，内容服务器对从各视频信息再现装置通知的再现时刻进行汇总，将再现时刻最超前的视频信息再现装置作为基准。

11.根据权利要求7所述的视频信息再现系统，其特征在于，

所述多个视频信息再现装置的各视频信息再现装置还具有：

判断单元，其判断由所述检测单元检测到的所述误差是否处于能够通过所述调整单元的调整而实现同步的范围内；

丢弃单元，其在由上述判断单元判断为不处于能够实现同步的范围内的情况下，中断当前再现中的内容的再现，丢弃蓄积在缓存中的内容的数据；

蓄积单元，其在该视频信息再现装置中断了再现的情况下，从接收到下一个内容的时间点开始将内容的数据蓄积在缓存中；以及

开始控制单元，其在该视频信息再现装置中断了再现的情况下，从所述内容服务器接收到所述基准视频信息再现装置开始再现下一个内容的定时的通知时，开始再现下一个内容。

12.根据权利要求7～11中的任意一项所述的视频信息再现系统，其特征在于，

所述帧内编码图像信息和帧间正向预测编码图像信息是按照MPEG2或H.264进行编码的。