CN104012101A - 视频再现系统 - Google Patents

视频再现系统 Download PDF

Info

Publication number
CN104012101A
CN104012101A CN201280063684.9A CN201280063684A CN104012101A CN 104012101 A CN104012101 A CN 104012101A CN 201280063684 A CN201280063684 A CN 201280063684A CN 104012101 A CN104012101 A CN 104012101A
Authority
CN
China
Prior art keywords
video
distribution
reproducing apparatus
timing information
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280063684.9A
Other languages
English (en)
Inventor
椚田尚亨
李承贤
朴哉
李宅周
池宙营
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN104012101A publication Critical patent/CN104012101A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Abstract

本发明提供了当同时再现多个视频时可以使多个视频的再现定时同步的视频再现系统。一个或多个视频分配设备的每一个赋予包括在要分配给视频再现设备的分配视频中的帧图像以指示这个帧图像的生成定时的定时信息,以及分配被赋予这个定时信息的分配视频。视频再现设备接收一个或多个视频分配设备分配的多个分配视频,以及根据包括在多个分配视频的每一个中的定时信息同步地再现所接收多个分配视频。

Description

视频再现系统
技术领域
本发明涉及同时再现多个视频的视频再现系统、形成这种视频再现系统的视频分配设备和视频再现设备、这种视频再现设备的控制方法和控制程序、以及存储这种控制程序的信息存储介质。
背景技术
再现代表计算机游戏的游戏屏幕的视频、摄像机拍摄获得的视频等的视频再现设备是已知的(参照PTL1)。尤其,如果使用一边接收视频分配设备通过流化分配的视频一边再现视频的视频再现设备,则视频再现设备的用户可以实时地观看使用视频分配设备的另一个用户当前正在进行的游戏的屏幕或当前正在拍摄的视频。
[引用列表]
[专利文献]
[PTL1]
US 2008/1,182,32 A1
发明内容
[技术问题]
存在用户想同时观看代表相同对象的多个视频的情况。该情况的例子包括针对多个用户对象参与的在线游戏,用户同时观看这多个用户的每一个的游戏屏幕的情况、和用户同时观看多台摄像机拍摄实际体育运动的进行获得的视频的情况。在这样的情况下,如果分配这多个视频所花费的时间相互不同,则在一些情况下会在相互不同的定时上再现原来同时生成和代表一个对象的多个视频。
本发明就是鉴于上述情况作出的,本发明的目的是提供当同时再现代表相同对象的多个视频时,可以使这多个视频的再现定时同步的视频再现系统、形成这种视频再现系统的视频分配设备和视频再现设备、这种视频再现设备的控制方法和控制程序、以及存储这种控制程序的信息存储介质。
[问题的解决方案]
按照本发明的视频再现系统的特征在于具有如下配置。具体地说,该视频再现系统包括一个或多个视频分配设备和视频再现设备。该一个或多个视频分配设备的每一个包括向包括在要分配给该视频再现设备的分配视频中的帧图像赋予指示帧图像的生成定时的定时信息的定时信息赋予部件、和分配被赋予定时信息的分配视频的分配部件。该视频再现设备包括接收该一个或多个视频分配设备分配的多个分配视频的接收部件、和根据包括在多个分配视频的每一个中的定时信息同步地再现所接收多个分配视频的再现部件。
该视频再现系统可以具有如下配置。具体地说,包括多个视频再现设备。该多个视频再现设备中的第一视频再现设备进一步包括将再现多个视频时用户输入的消息与指示在输入的定时处再现的帧图像的生成定时的定时信息一起发送给该多个视频再现设备中的第二视频再现设备的部件。该第二视频再现设备的再现部件在按照与该消息一起发送的定时信息使该消息同步的同时与多个视频一起显示发送的消息。
而且,按照本发明的视频再现设备是再现一个或多个视频分配设备分配的多个分配视频的视频再现设备。
该视频再现设备的特征在于包括接收多个分配视频的接收部件、和根据赋予包括在多个分配视频的每一个中的帧图像和指示帧图像的生成定时的定时信息同步地再现多个分配视频的再现部件。
而且,按照本发明的视频分配设备是将分配视频分配给视频再现设备的视频分配设备,其特征在于具有如下配置。具体地说,该视频分配设备包括向包括在分配视频中的帧图像赋予指示帧图像的生成定时的定时信息的定时信息赋予部件、和分配被赋予定时信息的分配视频的分配部件。该赋予定时信息用在该视频再现设备同步再现多个分配视频的时候。
而且,按照本发明的视频再现设备的控制方法是再现一个或多个视频分配设备分配的多个分配视频的视频再现设备的控制方法,以及是其特征在于包括如下步骤的视频再现设备的控制方法:接收多个分配视频的步骤;以及根据赋予包括在多个分配视频的每一个中的帧图像和指示帧图像的生成定时的定时信息同步地再现多个分配视频的步骤。
而且,按照本发明的程序是再现一个或多个视频分配设备分配的多个分配视频的视频再现设备的控制程序,以及是使视频再现设备起如下作用的程序:接收多个分配视频的接收部件;以及根据赋予包括在多个分配视频的每一个中的帧图像和指示帧图像的生成定时的定时信息同步地再现多个分配视频的再现部件。这个程序可以存储在计算机可读信息存储介质中。
附图说明
图1是按照本发明的实施例的视频再现系统的概况图;
图2是按照本发明的实施例的视频分配设备的配置图;
图3是按照本发明的实施例的视频再现设备的配置图;
图4是示出按照本发明的实施例的视频再现系统实现的功能的功能框图;
图5A是示出分配视频的同步控制的一个例子的时序图;
图5B是示出分配视频的同步控制的另一个例子的时序图;
图6是示出分配视频的显示屏幕的一个例子的图形;
图7是示出消息的显示定时控制的一个例子的时序图;
图8是示出开始分配处理时的处理流的一个例子的流程图;以及
图9是视频再现设备接收分配视频时的处理流的一个例子的流程图。
具体实施方式
下面将根据附图详细描述本发明的实施例。
图1是示出按照本发明的一个实施例的视频再现系统1的总体概况的概况图。视频再现系统1被配置成包括一个或多个视频分配设备10和一个或多个视频再现设备20。在下文中,作为一个特例,假设视频再现系统1包括两个视频分配设备10,即,用户U1使用的视频分配设备10a和用户U2使用的视频分配设备10b、和两个视频再现设备20,即,用户U3使用的视频再现设备20a和用户U4使用的视频再现设备20b。而且,在本实施例中,视频再现系统1包括分配管理服务器30、分配中继服务器31、和消息中继服务器22。这些服务器、视频分配设备10、和视频再现设备20经由通信网络35连接。假设每个视频分配设备10都是进行在线游戏的处理的游戏设备,以及这些视频分配设备10的用户进行相同的在线游戏。具体地说,例如,用户U1和用户U2经由网络进行竞赛型在线游戏。每个视频分配设备10经由分配中继服务器31向视频再现设备20分配代表用户当前正在进行的游戏的游戏屏幕的视频(下文称为分配视频D)。每个视频再现设备20同时再现视频分配设备10a分配的分配视频D1和视频分配设备10b分配的分配视频D2两者。
视频分配设备10是像家用游戏机或个人计算机那样的信息处理设备,以及如图2所示,被配置成包括控制部分11、存储部分12、和通信部分13。而且,视频分配设备10与操作设备14和显示设备15连接。
控制部分11是像CPU那样的程序控制设备,依照存储在存储部分12中的程序进行各种类型的信息处理。存储部分12被配置成包括像RAM和ROM那样的存储元件,并存储控制部分11要执行的程序和作为这种程序的处理对象的数据。而且,存储部分12还起控制部分11的工作存储器的作用。
通信部分13是经由通信网络35向和从其它设备发送和接收数据的接口,视频分配设备10经由通信部分13与分配管理服务器30和分配中继服务器31进行信息的发送和接收。顺便说一下,通信网络35可以包括像互联网、局域网和无线通信网络那样的各种类型通信网络。
操作设备14是接受用户的操作输入的设备,可以是,例如,附在家用游戏机上的控制器、键盘、鼠标等。而且,操作设备14可以包括像布置在视频分配设备10的机座表面上的操作按钮和开关那样的操作构件。用户通过对操作设备14作出操作输入来进行游戏。
显示设备15是像液晶显示器或有机EL显示器那样的图像显示设备,按照来自控制部分11的指令显示图像。尤其,在本实施例中,显示设备15显示用户当前正在进行的游戏的屏幕。代表当前正在显示的这个游戏屏幕的分配视频D通过流化分配给视频再现设备20。
与视频分配设备10类似,视频再现设备20是像家用游戏机或个人计算机那样的信息处理设备,以及如图3所示,被配置成包括控制部分21、存储部分22、和通信部分23。而且,视频再现设备20与操作设备24和显示设备25连接。
控制部分21是像CPU那样的程序控制设备,依照存储在存储部分22中的程序进行各种类型的信息处理。存储部分22被配置成包括像RAM和ROM那样的存储元件,并存储控制部分21要执行的程序和作为这种程序的处理对象的数据。而且,存储部分22还起控制部分21的工作存储器的作用。
通信部分23是经由通信网络35向和从其它设备发送和接收数据的接口,视频再现设备20经由通信部分23与分配管理服务器30和分配中继服务器31和消息中继服务器32进行信息的发送和接收。
操作设备24是接受用户的操作输入的设备,可以是,例如,附在家用游戏机上的控制器、键盘、鼠标等。而且,操作设备24可以包括像布置在视频再现设备20的机座表面上的操作按钮和开关那样的操作构件。用户指示视频再现设备20再现和停止视屏,并在再现视频时通过到操作设备24的操作输入来输入与这个视频有关的消息。
显示设备25是像液晶显示器或有机EL显示器那样的图像显示设备,按照来自控制部分21的指令显示图像。尤其,在本实施例中,显示设备25显示视频再现设备20从分配中继服务器31接收的多个分配视频D。
下面使用图4的功能框图描述按照本实施例的视频再现系统1实现的功能。如图4所示,从功能的角度来看,视频再现系统1被配置成包括视频生成器41、定时信息生成器42、视频分配器43、视频接收器44、视频再现器45、和消息交换器46。在这些功能当中,视频生成器41、定时信息生成器42、和视频分配器43由每个视频分配设备10的控制部分11执行存储在存储部分12中的程序来实现。而且,视频接收器44、视频再现器45、和消息交换器46由每个视频再现设备20的控制部分21执行存储在存储部分22中的程序来实现。
视频生成器41生成应该分配给视频再现设备20的分配视频D。在本实施例中,视频分配设备10是如上所述参与在线游戏的游戏设备。因此,视频生成器41进行与这种在线游戏相关的处理,并将其游戏屏幕显示在显示设备15上。视频分配设备10的用户一边观看这个游戏屏幕一边进行游戏。视频生成器41编码这个游戏屏幕的图像以生成应该发送给视频再现设备20的分配视频D。分配视频D可以是基于,例如,MPEG标准的视频数据。
此外,在本实施例中,在生成这个分配视频D时,视频生成器41向构成分配视频D的一个或多个帧图像赋予指示其生成定时的定时信息。这个定时信息由后面要描述的定时信息生成器42生成。如果分配视频D是基于MPEG标准的视频,则可以将这个定时信息存储在视频数据中作为用作视频和音频的同步的PTS(展示时间戳)信息。
视频生成器41可以将定时信息赋予构成分配视频D的所有帧图像,或可以将它赋予每隔预定时间生成的帧图像。而且,如果分配视频D由像MPEG标准中的GOP(画面组)那样每一个包括多个帧图像的多个组形成,则视频生成器41可以将定时信息赋予这些多个组的每一个的前导帧图像。另外,如果分配视频D是恒定帧速率的视频,则视频生成器41可以将定时信息只赋予开始分配时的前导帧图像。在这种情况下,视频再现设备20可以按照帧图像相对于前导帧图像的序数识别每个帧图像的生成定时。在任何情况下,优选的是让视频生成器41将定时信息至少赋予构成分配视频D的前导帧图像。
定时信息生成器42生成视频生成器41要赋予帧图像的定时信息。这个定时信息可以是,例如,指示当前实际时间和日期的时间信息本身或对这个时间信息进行像求模运算那样的预定计算生成的值。一般说来,与互联网连接的信息处理设备通过像NTP(网络时间协议)那样的协议与像NTP服务器那样的时间信息源TS通信,获取有关UTC(协调世界时)的信息来校正它自己的时间信息,以便精确地保持这个信息处理设备计数的时间信息(RTC)。因此,预计从时间信息源TS中获取基于UTC的时间信息的多个视频分配设备10同时计数相同时间信息。因此,如果每个视频分配设备10的定时信息生成器42根据UTC通过相同方法生成定时信息,则多个视频分配设备10可以将相同定时信息赋予在相同定时生成的帧图像。
定时信息生成器42可以获取由预定时间信息源TS提供的时间信息作为定时信息,而不是有关UTC的信息。如果多个视频分配设备10从相同时间信息源TS获取时间信息,则即使这个时间信息不对应于UTC,各个视频分配设备10也可以将相同定时信息赋予在相同定时生成的帧图像。而且,该定时信息可以不是时间信息,而是指示游戏服务器等提供的游戏中的时间进展的信息。在在线游戏中,游戏的进展通过时间计数器等来管理,以便使各自视频分配设备10进行的游戏处理同步。因此,如果定时信息生成器42根据这个时间计数器的值生成定时信息,则多个视频分配设备10可以将相同定时信息赋予游戏的进展状态处在相同定时上时生成的帧图像。在这种情况下,进行在线游戏的处理的游戏服务器(或多个视频分配设备10的任何一个)起时间信息源TS的作用。在任何情况下,通过根据从公用时间信息源TS中获取的时间信息生成定时信息,尽管每个视频分配设备10独立地生成分配视频D,但多个视频分配设备10的定时信息生成器42可以将相同定时信息赋予在相同定时生成的帧图像。
视频分配器43通过流化将视频生成器41生成和被赋予定时信息的分配视频D分配给分配中继服务器31。由分配中继服务器31将从每个视频分配设备10发送的分配视频D发送给请求分配视频的视频再现设备20。在本实施例中,利用如下过程判定分配中继服务器31应该向其分配分配视频D的视频再现设备20。具体地说,当开始可以将分配视频D分配给视频再现设备20的在线游戏时,每个视频分配设备10将那种意思通知分配管理服务器30。同时,每个视频再现设备20从分配管理服务器30获取有关当前可以分配分配视频D的视频分配设备10的信息,并在它们之间选择视频再现设备20希望接收分配的分配视频D,以便将开始分配的请求发送给分配中继服务器31。当接收到这个请求时,分配中继服务器31开始转发分配视频D。
视频接收器44接收多个视频分配设备10的每一个的视频分配器43分配的分配视频D。在本实施例中,所有分配视频D由分配中继服务器31转发,因此视频接收器44从分配中继服务器31接收作为再现目标的多个分配视频D。视频接收器44将每个所接收分配视频D的数据存储在确保在存储部分22中的缓冲区B中。
视频再现器45依次读出视频接收器44接收和存储在缓冲区B中的多个分配视频D的数据,以便再现分配视频D。此时,视频再现器45判定从缓冲区B中读出这些分配视频D的定时,并根据包括在每个分配视频D中的定时信息将它们显示在显示设备25的屏幕上。具体地说,视频再现器45在多个分配视频D之间进行再现定时的同步控制,以便可以将多个视频分配设备10在相同定时生成的帧图像在相同定时显示在屏幕上。
下面将使用图5A和5B的时序图说明视频再现器45在分配视频D1和D2之间进行的同步控制的一个例子。首先,在图5A的例子中,假设视频分配设备10a的视频生成器41在时间t0生成分配视频D1的前导帧图像F1,以及在比时间t0晚由网络延迟等引起的延迟时间T1的时间(t0+T1)将分配视频D1的第一分组存储在视频再现设备20a的缓冲区B中。同时,假设视频分配设备10b的视频生成器41同样地在时间t0生成分配视频D2的前导帧图像F2,以及花费了比延迟时间T1长的延迟时间T2存储在视频再现设备20a的缓冲区B中。这里,如果视频再现器45不作定时调整地在接收到之后马上再现存储在缓冲区B中的分配视频D1和分配视频D2,则在偏移了等于(T2-T1)的时间的定时上再现在相同时间t0生成的两个帧图像。因为两个分配视频D1和D2是相同在线游戏的游戏屏幕的视频,所以这些视频的再现定时的偏移会选成,例如,在多个分配视频D之间存在定时偏移地显示出现在游戏中的一个事件的缺点。因此,视频再现器45进行控制以便延迟从缓冲区B中读取分配视频D的定时,以便可以在相同定时显示在相同定时生成的帧图像。
具体地说,当接收到在先分配视频D1的数据时,视频再现器45参照赋予包括在其中的前导帧图像F1的定时信息以识别这个帧图像F1的生成定时。然后,视频再现器45等待应该同时再现的分配视频D2的前导帧图像F2的接收。当接收到分配视频D2的数据时,视频再现器45参照赋予其中的前导帧图像F2的定时信息以识别这个帧图像F2的生成定时。因为两者的生成定时在这里对应于时间t0,所以视频再现器45以这样的方式同时开始再现分配视频D1和D2,即在比开始接收分配视频D1和D2两者的数据的时间(t0+T2)晚的时间t1上同时显示前导帧图像F1和F2。
与图5A不同,图5B示出了在视频分配设备10a中前导帧图像F1的生成定时t0与视频分配设备10b中前导帧图像F2的生成定时t2之间存在偏移的情况的例子。具体地说,在图5B中,前导帧图像F2的生成定时t2比前导帧图像F1的生成定时t0晚时间T3。在这种情况下,视频再现器45进行这样的同步控制,以致于重复两者的定时之间的偏移。具体地说,在依次接收到分配视频D1和分配视频D2每一个的前导帧图像之后,视频再现器45在按照赋予两者的几个定时信息判定的定时上开始再现各自分配视频D。在图5B的例子中,首先,视频再现器45在时间t3上开始再现分配视频D1,此后在经过了等于时间T3(=t2–t0)的时间的定时(时间t4)上开始再现分配视频D2。这使得在视频再现设备20中再现时重复生成这些帧图像的实际定时偏移。
此外,关于跟随在前导帧图像之后显示的各自帧图像,视频再现器45也继续以这样的方式进行再现处理,即生成各自帧图像的定时在分配视频D1与分配视频D2之间相互对应。具体地说,如果分配视频D1和D2是恒定帧速率的视频数据,则视频再现器45可以以这个帧速率进行视频再现。而且,如果也对随后帧图像赋予定时信息,则如果需要的话,通过一边使用这个定时信息使分配视频D1和D2同步一边进行再现处理,即使分配视频D的分配推迟了以及再现处理暂时中断了,也可以保持随后分配视频D1和D2的同步。
在上面的描述中,假设了视频再现设备20对分配视频D1和D2两者都从前导帧图像开始进行再现。但是,该配置不局限于此。甚至在从中间点接收分配视频D1和D2的情况下,如果也对分配视频D1和D2每一个中的中间帧图像赋予了定时信息,则视频再现器45可以使用赋予中间帧图像的这个定时信息使两者之间同步地再现两者。
而且,视频再现器45与多个分配视频D一起显示正在观看这些视频的用户张贴的消息M。如上所述,在本实施例中,多个视频再现设备20a和20b接收相同分配视频D1和D2并同时再现它们。这里,正在观看分配视频D1和D2的用户U3和U4每一个可以张贴与当前正在再现的分配视频D有关的消息M。消息交换器46将各自用户张贴的消息M发送给正在再现相同分配视频D的其它视频再现设备20。在本实施例中,消息交换器46经由消息中继服务器32将用户张贴的消息M发送给其它视频再现设备20。也就是说,从各自视频再现设备20接收到消息M的消息中继服务器32将接收的消息M发送给正在再现与发送了这些消息M的视频再现设备20相同的分配视频D的其它视频再现设备20。顺便说一下,消息中继服务器32不仅可以将消息M发送给视频再现设备20,而且可以将其发送给正在分配发送了消息M的视频再现设备20当前正在再现的分配视频D的视频分配设备10。除了当前正在再现的分配视频D之外,从消息中继服务器32接收到消息M的视频再现设备20的视频再现器45还将接收的消息M显示在显示设备25的屏幕上。除了视频之外,这使得每个视频再现设备20的用户能够观看由正在观看相同视频的其他用户张贴的消息M。图6示出了以这种方式同时显示多个分配视频D1和D2以及消息M的显示屏的特例。在图6中,除了分配视频D1和D2以及消息M之外,在分配视频D1和D2的下面还显示了正在观看这些分配视频D1和D2的用户的图标。
在本实施例中,还根据赋予这种消息M的定时信息将这种所张贴消息M的显示定时控制成与视频同步。这种控制将在下面使用图7的时序图加以说明。这里,作为一个特例,将对视频再现设备20a的用户U3张贴消息M和视频再现设备20b的视频再现器45与分配视频D一起显示这个消息M的情况加以说明。在该图形中,消息M的发送用双线箭头指示。
当用户U3对操作设备24作出操作输入以便输入消息M时,消息交换器46识别构成分配视频D1和D2的各自一个和在用户U3输入消息M的结束定时(定义为时间t6)上通过视频再现器45显示的帧图像的生成定时。这里,在时间t6上在视频再现设备20a中显示的分配视频D1中的帧图像被定义成帧图像Fx,以及视频分配设备10a生成这个帧图像Fx的定时被定义成时间t5。在这种情况下,如果将定时信息赋予帧图像Fx,则这个定时信息所指的定时是时间t5—这个帧图像的生成定时。即使未将定时信息赋予帧图像Fx,但如果使用有关最后一次显示的带有定时信息的帧图像(定义为帧图像Fy)的信息,也可以识别时间t5。具体地说,通过将从这个帧图像Fy的显示到时间t6所经过的时间与赋予这个帧图像Fy的定时信息所指的定时相加,可以识别在时间t6上显示的帧图像Fx的生成定时t5。消息交换器46将指示以这种方式识别的时间t5的定时信息赋予消息M,并将其发送给消息中继服务器32。
视频再现设备20b经由消息中继服务器32接收视频再现设备20a发送的消息M。视频再现设备20b的视频再现器45参照赋予所接收消息M的定时信息,并判定这个消息M的显示定时。如果在这个定时信息所指的时间t5上生成的帧图像Fx已经得到显示,则视频再现器45马上将所接收消息M显示在屏幕上。另一方面,如果视频再现设备20b对分配视频D1和D2的再现晚于视频再现设备20a,以及视频再现设备20b还未显示帧图像Fx,则视频再现器45不马上显示所接收消息M,而是在显示帧图像Fx的定时(这里,时间t7)上同时显示它。这样的控制可以避免当显示帧图像Fx时,用户U4比帧图像Fx的显示早地观看到用户U3输入的消息M的状况。
通过使用图8的流程图,下面将对视频分配设备10a和10b开始游戏处理和分配视频D的分配处理时的处理流程的一个例子加以说明。
这里,首先,视频分配设备10a向分配管理服务器30作出开始可以多人加入的在线游戏的请求(S1)。响应这个请求,分配管理服务器30发放识别要加入这个游戏中的视频分配设备10和要接受这个游戏的分配视频D的分配的视频再现设备20从现在开始所属的组的组ID(S2)。这个组相当于,例如,正在聊天的聊天室,以及在属于这个组的设备之间共享与分配视频D有关的信息。分配管理服务器30与这个组ID相联系地管理有关使用作出开始在线游戏的请求的视频分配设备10a的用户U1的信息。
接着,视频分配设备10a向分配管理服务器30发送邀请用户U2加入通过在S2中指定的组ID识别的组中的消息(S3)。分配管理服务器30识别用户U2使用的视频分配设备10b,并将邀请消息发送给这个所识别视频分配设备10b(S4)。这里,假设用户U2事先已经使用视频分配设备10b登录到分配管理服务器30中,以及分配管理服务器30已经获得有关用户U2使用的视频分配设备10b的信息。
接收到邀请消息的视频分配设备10b的用户响应该邀请消息发送加入该组中的请求(S5)。分配管理服务器30响应这个加入请求允许用户U2加入,并将用户U2的ID与在S2中发放的组ID相联系(S6)。其结果是,在加入相同组的用户U1和用户U2之间开始在线游戏(S7)。如果视频分配设备10a和10b使用预定时间信息源获得定时信息,则分配管理服务器30可以在这个定时向视频分配设备10b提供有关视频分配设备10a使用的时间信息源的信息。
与开始游戏同时,视频分配设备10a和10b生成带有定时信息的分配视频D,并开始将分配视频D发送给分配中继服务器31(S8)。从那里起,使视频再现设备20的用户能够通过向分配管理服务器30作出请求来接收分配视频D。
通过使用图9的流程图,下面将对视频再现设备20a和20b接收分配视频D时的处理流程的一个例子加以说明。
用户U3向视频再现设备20a发出指令以便访问分配管理服务器30以及在当前正在分配视频的视频分配设备10之间选择用户U2希望观看的视频(S11)。响应这个选择,分配管理服务器30将视频再现设备20a与用户U3选择的组的组ID(在S2中发放的组ID)相联系。此外,分配管理服务器30向视频再现设备20a发送识别分配视频D的信息(例如,分配中继服务器31上分配视频D1和分配视频D2的分配URL(S12)。视频再现设备20a使用在S12中接收的信息请求分配中继服务器31分配多个分配视频D(S13)。响应这个请求,分配中继服务器31将多个分配视频D(这里,分配视频D1和D2)的流化数据分配给视频再现设备20a(S14)。视频再现设备20a在使它们同步的同时再现在S14中分配的多个分配视频D(S15)。同时,在与S11到S15相同的过程中,视频再现设备20b也访问分配管理服务器30和分配中继服务器31,以便加入通过在S2中发放的组ID识别的组中以及开始再现分配视频D(S16到S20)。通过到此为止的处理,将视频分配设备10a和10b和视频再现设备20a和20b与在S2中发放的组ID相联系。从那里起,消息中继服务器32将张贴的消息M从视频再现设备20a和20b发送到与这个组ID相联系的每个设备(S21)。这使得可以在属于相同组的设备之间共享消息M。
按照上述的依照本实施例的视频再现系统1,多个视频分配设备10的每一个向包括在所生成分配视频D中的帧图像赋予指示其生成定时的定时信息,以及视频再现设备20使用这个定时信息在多个分配视频D之间进行同步。因此,可以没有定时偏移地再现多个分配视频D。
本发明的实施例不局限于上述那个。例如,视频分配设备10可以通过流化将分配视频D不分配给分配中继服务器31,而是直接分配给视频再现设备20。类似地,每个视频再现设备20可以直接将消息M发送给再现相同分配视频D的其它视频再现设备20。
而且,分配中继服务器31可以对视频分配设备10分配的分配视频D进行位速率转换等处理,然后将分配视频D分配给视频再现设备20。此外,在进行这样的处理的情况下,分配中继服务器31保留赋予分配视频D中的各自帧图像的定时信息。此外,尽管在上面的描述中视频分配设备10将定时信息赋予分配视频D,但分配中继服务器31可以取而代之地赋予定时信息。在这种情况下,分配中继服务器31从视频分配设备10中获取指示视频分配设备10分别生成帧图像的生成定时的信息,并向这些帧图像赋予指示其生成定时的信息。而且,分配中继服务器31可以合成多个视频分配设备10的每一个生成的分配视频D,以便生成一个合成视频,并将其分配给视频再现设备20。在这种情况下,分配中继服务器31参照赋予每个分配视频D中的帧图像的定时信息,并生成同步显示多个分配视频D的合成视频。
此外,在上面的描述中,多个视频分配设备10每一个都分配一个分配视频D。但是,一个视频分配设备10可以分配多个分配视频D。例如,除了代表当前正显示在显示设备15上的游戏屏幕的分配视频D1之外,视频分配设备10a还可以生成代表从另一个角度观看相同游戏空间的状态的分配视频D3,并将这分配视频D1和D3两者分配给视频再现设备20。此外,在这种情况下,视频分配设备10a将相同定时信息赋予分配视频D1和D3的各自一个中在相同定时上生成的帧图像。然后,接收到分配视频D1和D3的视频再现设备20与上述的例子类似地使用包括在分配视频D1和D3的每一个中的定时信息使两者之间同步地再现两者。这使视频再现设备20的用户可以同时从多个角度观看一个游戏的进行状态。
而且,在上面的描述中,各个视频再现设备20独立地进行多个分配视频D的同步再现。但是,不仅如此,多个视频再现设备20可以相互同步,并在相同定时上再现相同分配视频D。在这种情况下,多个视频再现设备20从公用时间信息源中获取时间信息,并事先使视频再现设备20本身计数的时间与其它视频再现设备20的时间同步。然后,当再现相同分配视频D时,视频再现设备20相互通信,以便在所有视频再现设备20都能够再现分配视频D之后同时再现分配视频D。
此外,在上面的描述中,分配视频D是代表游戏屏幕的视频。但是,分配视频D不局限于这样的视频,而可以是,例如,通过摄像机拍摄获得的视频。例如,假设多个视频分配设备10每一个都与摄像机连接,这些摄像机从相互不同的位置拍摄相同体育运动。每个视频分配设备10将根据UTC等生成的定时信息赋予通过这台摄像机拍摄获得的视频,并作为分配视频D地分配该视频。这使视频再现设备20的用户可以使它们相互同步地观看从不同角度拍摄相同运动获得的多个视频。
而且,在上面的描述中,每个视频分配设备10进行视频分配设备10一边生成分配视频D一边依次分配它的实时分配(流化分配),以及视频再现设备20也一边接收分配视频D一边实时再现它。但是,也可以一次性地将分配视频D下载到视频再现设备20,存储成数据文件。此外,在这种情况下,视频再现设备20可以一边使用定时信息使同时生成的多个分配视频D的数据同步一边再现它们。

Claims (7)

1.一种视频再现系统,包含:
一个或多个视频分配设备;以及
视频再现设备,
其中该一个或多个视频分配设备的每一个包括
向包括在要分配给该视频再现设备的分配视频中的帧图像赋予指示帧图像的生成定时的定时信息的定时信息赋予部件,以及
分配被赋予定时信息的分配视频的分配部件;以及
该视频再现设备包括
接收该一个或多个视频分配设备分配的多个分配视频的接收部件、以及
根据包括在多个分配视频的每一个中的定时信息同步地再现所接收多个分配视频的再现部件。
2.按照权利要求1所述的视频再现系统,
其中包括多个视频再现设备;
该多个视频再现设备中的第一视频再现设备进一步包括
将再现多个视频时用户输入的消息与指示在输入的定时处再现的帧图像的生成定时的定时信息一起发送给该多个视频再现设备中的第二视频再现设备的部件;以及
该第二视频再现设备的再现部件在按照与该消息一起发送的定时信息使该消息同步的同时与多个视频一起显示发送的消息。
3.一种再现一个或多个视频分配设备分配的多个分配视频的视频再现设备,该视频再现设备包含:
接收多个分配视频的接收部件;以及
根据赋予包括在多个分配视频的每一个中的帧图像和指示帧图像的生成定时的定时信息同步地再现多个分配视频的再现部件。
4.一种将分配视频分配给视频再现设备的视频分配设备,该视频分配设备包含:
向包括在分配视频中的帧图像赋予指示帧图像的生成定时的定时信息的定时信息赋予部件;以及
分配被赋予定时信息的分配视频的分配部件,
其中该赋予的定时信息用在该视频再现设备同步再现多个分配视频的时候。
5.一种再现一个或多个视频分配设备分配的多个分配视频的视频再现设备的控制方法,该控制方法包含:
接收多个分配视频的步骤;以及
根据赋予包括在多个分配视频的每一个中的帧图像和指示帧图像的生成定时的定时信息同步地再现多个分配视频的步骤。
6.一种再现一个或多个视频分配设备分配的多个分配视频的视频再现设备的控制程序,该程序使视频再现设备起如下作用:
接收多个分配视频的接收部件;以及
根据赋予包括在多个分配视频的每一个中的帧图像和指示帧图像的生成定时的定时信息同步地再现多个分配视频的再现部件。
7.一种存储按照权利要求6所述的程序的计算机可读信息存储介质。
CN201280063684.9A 2011-12-29 2012-10-05 视频再现系统 Pending CN104012101A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011290275 2011-12-29
JP2011-290275 2011-12-29
PCT/JP2012/076046 WO2013099392A1 (ja) 2011-12-29 2012-10-05 映像再生システム

Publications (1)

Publication Number Publication Date
CN104012101A true CN104012101A (zh) 2014-08-27

Family

ID=48696897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280063684.9A Pending CN104012101A (zh) 2011-12-29 2012-10-05 视频再现系统

Country Status (5)

Country Link
US (1) US20150128195A1 (zh)
EP (1) EP2800365B1 (zh)
JP (1) JP5916244B2 (zh)
CN (1) CN104012101A (zh)
WO (1) WO2013099392A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556963A (zh) * 2019-12-27 2022-05-27 多玩国株式会社 内容生成装置、内容分发服务器、内容生成方法以及内容生成程序

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068806A1 (ja) * 2012-11-05 2014-05-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
KR20150037372A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 영상표시장치, 컨텐츠 동기화 서버 및 그 동작방법
JP2015201701A (ja) * 2014-04-04 2015-11-12 サイレックス・テクノロジー株式会社 再生システム、再生装置、及び、再生方法
JP6383974B2 (ja) * 2015-06-15 2018-09-05 サイレックス・テクノロジー株式会社 再生システム、及び、再生方法
JP6220917B2 (ja) * 2016-04-19 2017-10-25 株式会社 ディー・エヌ・エー リアルタイムの動画を配信するシステム、方法、及びプログラム
JP2018164227A (ja) * 2017-03-27 2018-10-18 株式会社Nttぷらら 映像配信システム及び映像配信方法
JP6342562B2 (ja) * 2017-09-28 2018-06-13 株式会社 ディー・エヌ・エー リアルタイムの動画を配信するシステム、方法、及びプログラム
EP3509312B1 (en) * 2018-01-08 2023-06-07 MySyncster Holding OÜ System for real-time synchronization
JP6675692B2 (ja) * 2018-02-19 2020-04-01 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム端末、及びプログラム
US11457289B2 (en) * 2018-02-22 2022-09-27 Microsoft Technology Licensing, Llc Low latency broadcasting of game engine frames
JP7179089B2 (ja) * 2019-01-17 2022-11-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170760A1 (en) * 2005-01-31 2006-08-03 Collegiate Systems, Llc Method and apparatus for managing and distributing audio/video content
US20060248559A1 (en) * 2005-04-29 2006-11-02 The Directv Group, Inc. Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized
US20070081562A1 (en) * 2005-10-11 2007-04-12 Hui Ma Method and device for stream synchronization of real-time multimedia transport over packet network
US20090187825A1 (en) * 2008-01-23 2009-07-23 Microsoft Corporation Annotating and Sharing Content
US20090249222A1 (en) * 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
US20100079670A1 (en) * 2008-09-30 2010-04-01 Verizon Data Services, Llc Multi-view content casting systems and methods

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US6697869B1 (en) * 1998-08-24 2004-02-24 Koninklijke Philips Electronics N.V. Emulation of streaming over the internet in a broadcast application
JP4009922B2 (ja) * 1999-06-07 2007-11-21 ソニー株式会社 編集装置及び編集方法
JP4489932B2 (ja) * 2000-11-27 2010-06-23 富士通株式会社 複数の通信を同期させるシステム及び方法
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
JP2002290949A (ja) * 2001-03-26 2002-10-04 Just Syst Corp メッセージ提供システム、装置及び方法、並びに記録媒体
US7114172B2 (en) * 2001-06-28 2006-09-26 Koninklijke Philips Electronics N.V. Synchronized personal video recorders
US20040103444A1 (en) * 2002-11-26 2004-05-27 Neal Weinberg Point to multi-point broadcast-quality Internet video broadcasting system with synchronized, simultaneous audience viewing and zero-latency
JP4252324B2 (ja) * 2003-01-28 2009-04-08 三菱電機株式会社 受信機、放送送出装置及び補助コンテンツサーバ
JP4227509B2 (ja) * 2003-12-15 2009-02-18 キヤノン株式会社 通信端末装置及びその制御方法
JP4505280B2 (ja) 2004-08-19 2010-07-21 株式会社ソニー・コンピュータエンタテインメント 映像再生装置および映像再生方法
ES2249994B1 (es) * 2004-09-16 2007-06-01 Mytos S.Ar.L Sistema para la sincronizacion de imagenes para varias maquinas de videojuegos.
US7818770B2 (en) * 2004-11-23 2010-10-19 Palo Alto Research Center Incorporated Methods, apparatus, and program products to support a shared viewing experience from remote locations
WO2006072853A1 (en) * 2005-01-04 2006-07-13 Koninklijke Philips Electronics N.V. Method of and device for synchronizing multiple input streams
US7669219B2 (en) * 2005-04-15 2010-02-23 Microsoft Corporation Synchronized media experience
JP4673862B2 (ja) * 2007-03-02 2011-04-20 株式会社ドワンゴ コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム
CA2682877C (en) * 2007-06-12 2012-03-13 In Extenso Holdings, Inc. Distributed synchronized video viewing and editing
US8111971B2 (en) * 2007-12-05 2012-02-07 Cisco Technology, Inc. Systems and methods of reducing media stream delay through independent decoder clocks
US8181217B2 (en) * 2007-12-27 2012-05-15 Microsoft Corporation Monitoring presentation timestamps
US8358909B2 (en) * 2008-02-26 2013-01-22 Microsoft Corporation Coordinated output of messages and content
US20090235298A1 (en) * 2008-03-13 2009-09-17 United Video Properties, Inc. Systems and methods for synchronizing time-shifted media content and related communications
US8245262B2 (en) * 2008-04-07 2012-08-14 Samsung Electronics Co., Ltd. System and method for synchronization of television signals associated with multiple broadcast networks
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US8312500B2 (en) * 2009-11-25 2012-11-13 Century Link Intellectual Property LLC System and method for social network chat via a set-top box
EP2498494A1 (en) * 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170760A1 (en) * 2005-01-31 2006-08-03 Collegiate Systems, Llc Method and apparatus for managing and distributing audio/video content
US20060248559A1 (en) * 2005-04-29 2006-11-02 The Directv Group, Inc. Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized
US20070081562A1 (en) * 2005-10-11 2007-04-12 Hui Ma Method and device for stream synchronization of real-time multimedia transport over packet network
CN1949879A (zh) * 2005-10-11 2007-04-18 华为技术有限公司 分组网络中多媒体实时传输的唇同步方法及其装置
US20090187825A1 (en) * 2008-01-23 2009-07-23 Microsoft Corporation Annotating and Sharing Content
US20090249222A1 (en) * 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
US20100079670A1 (en) * 2008-09-30 2010-04-01 Verizon Data Services, Llc Multi-view content casting systems and methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114556963A (zh) * 2019-12-27 2022-05-27 多玩国株式会社 内容生成装置、内容分发服务器、内容生成方法以及内容生成程序

Also Published As

Publication number Publication date
WO2013099392A1 (ja) 2013-07-04
EP2800365A1 (en) 2014-11-05
JPWO2013099392A1 (ja) 2015-04-30
JP5916244B2 (ja) 2016-05-11
EP2800365A4 (en) 2015-05-20
US20150128195A1 (en) 2015-05-07
EP2800365B1 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
CN104012101A (zh) 视频再现系统
EP3750301B1 (en) Simulating a local experience by live streaming sharable viewpoints of a live event
KR101434204B1 (ko) 복수의 방송 네트워크들과 연관된 텔레비전 신호들을동기화하기 위한 시스템 및 방법
CN102170584B (zh) 同步hs终端设备之间媒体播放的方法、装置和系统
CN104160708B (zh) 同步内容的分布式控制
JP3573203B2 (ja) 情報再生方法及び情報再生システム。
US10341672B2 (en) Method and system for media synchronization
CN108495152B (zh) 一种视频直播方法、装置、电子设备及介质
KR101243390B1 (ko) 표시 장치 및 이동 장치로의 컨텐츠 전달을 동기화하는 장치, 시스템 및 방법
CN109714622B (zh) 一种视频数据处理方法、装置及电子设备
CN108174233A (zh) 一种直播方法、装置、服务器及介质
CN103368932A (zh) 多屏影片播放系统和相关的多屏控制装置
CN114079813A (zh) 画面同步方法、编码方法、视频播放设备及视频编码设备
CN108650541A (zh) 实现不同设备同步播放视频的方法和系统
JP2011035503A (ja) 同期再生方法、他再生端末選択領域映像再生方法、同期再生停止方法、同期再生システムおよびプログラム
CN106060580A (zh) 图像同步显示方法及装置
JP2006129420A (ja) 情報コミュニケーション端末装置
CN116962747A (zh) 基于网络直播的实时合唱同步方法、装置及网络直播系统
JP2019012973A (ja) 映像配信システム、通信装置、動画配信サーバ及び映像配信方法
US11076197B1 (en) Synchronization of multiple video-on-demand streams and methods of broadcasting and displaying multiple concurrent live streams
CN114339354A (zh) 直播转播方法、装置、设备及可读存储介质
JP2021069100A (ja) 配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
JP2020031262A (ja) 処理装置、処理プログラムおよび処理方法
JPWO2011021249A1 (ja) コンテンツ再生装置およびコンテンツ再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140827

RJ01 Rejection of invention patent application after publication