CN103716650A - 服务器装置和信息处理方法 - Google Patents

服务器装置和信息处理方法 Download PDF

Info

Publication number
CN103716650A
CN103716650A CN201310449534.8A CN201310449534A CN103716650A CN 103716650 A CN103716650 A CN 103716650A CN 201310449534 A CN201310449534 A CN 201310449534A CN 103716650 A CN103716650 A CN 103716650A
Authority
CN
China
Prior art keywords
time
processing
constantly
field picture
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310449534.8A
Other languages
English (en)
Other versions
CN103716650B (zh
Inventor
前川博俊
池本和人
松元秀树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103716650A publication Critical patent/CN103716650A/zh
Application granted granted Critical
Publication of CN103716650B publication Critical patent/CN103716650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

本发明涉及一种服务器装置和信息处理方法。具体地说，提供了一种包括流处理单元、客户机装置以及控制器的服务器装置，所述流处理单元配置为实时地生成帧图像、编码所述帧图像来生成编码数据以及经由网络将编码数据发送到客户机装置，所述客户机配置为解码所述编码数据并且输出所述帧图像，所述控制器配置为从所述客户机装置接收与客户机装置中的所述帧图像的输出时刻有关的信息并且控制所述流处理单元中的所述帧图像的处理时刻，使得在输出时刻和处理时刻之间保持预定的关系。

Description

服务器装置和信息处理方法
技术领域
本公开涉及服务器装置和信息处理方法。
背景技术
在视频或者音频经由网络从服务器分发到客户机的流式系统（streaming system）中，例如，由于网络的通信状态的变化而存在数据传输率的改变（抖动）。在数据传输率比设计的值低的通信状态持续时，可能出现帧丢失。即，帧丢失意味着在正常情况下本该已经显示的帧图像由于数据传输的延迟而没有在客户机上显示。
为了防止帧丢失的出现，例如，已经提出了如日本未审专利申请公报No.2011-119971中所公开的技术。在这些技术中，服务器的数据传输率根据客户机中的帧图像的数据的缓冲（buffer）状态来变化。在客户机中缓冲的帧图像的数据减少时，可以通过降低数据的传输率来防止帧丢失的出现，但是这引起图像质量的劣化。
发明内容
然而，在服务器中实时地生成的帧图像被顺序地编码然后发送到客户机的流式系统中，必须使从服务器生成帧图像时到客户机输出帧图像时的时间差尽可能地小。在这种情况下，期望使在客户机中缓冲的帧图像尽可能地小。因此，在如上所述的流式系统中，客户机中的缓冲的尺寸可以进一步比日本未审专利申请公报No.2011-119971或者其它相关技术中所公开的技术中的尺寸更小。
因此，必须以高精度来减少由于如上所述的网络延迟而引起的帧丢失及其影响，并且更进一步地，除了这个之外，还必须采取措施来防止即使在网络延迟小时出现的帧丢失或者缓冲溢出。根据本公开的实施例，提供一种新颖和改进的服务器装置和信息处理方法，该服务器装置和信息处理方法能够鉴别上述帧丢失或者缓冲溢出的原因并且以较高精度来控制在流式系统中的客户机侧实时生成的帧图像的缓冲状态。
根据本公开的实施例，提供了一种服务器装置，其包括：流处理单元，所述流处理单元配置为实时地生成帧图像、编码所述帧图像以产生编码数据、以及经由网络将所述编码数据发送到客户机装置，所述客户机装置配置为解码所述编码数据并且输出所述帧图像；以及控制器，所述控制器配置为从所述客户机装置接收与所述客户机装置中的所述帧图像的输出时刻有关的信息并且控制所述流处理单元中的所述帧图像的处理时刻，使得在所述输出时刻和所述处理时刻之间保持预定关系。
此外，根据本公开的实施例，提供了一种信息处理方法，其包括：实时地生成帧图像、编码所述帧图像以生成编码数据、以及经由网络将所述编码数据发送到客户机装置，所述客户机装置配置为解码所述编码数据并且输出所述帧图像；以及从所述客户机装置接收与所述客户机装置中的所述帧图像的输出时刻有关的信息，并且控制所述帧图像的处理时刻使得在所述输出时刻和所述处理时刻之间保持预定关系。
在通过所述客户机装置输出帧图像的时刻和通过所述服务器装置处理所述帧图像的时刻之间保持预定关系，从而以更合适的状态保持所述客户机装置中的所述帧图像的缓冲状态。
根据本公开的实施例，在实时地生成帧图像的流式系统中，能够以高精度来控制在客户机侧的缓冲状态。
附图说明
图1是示出了根据本公开的实施例的流式系统的整体配置的示意图；
图2是示出了根据本公开的实施例的流式系统中的信息流的示例的示意图；
图3是示出了根据本公开的实施例的流式系统中的客户机和服务器的功能配置的示意图；
图4是示出了根据本公开的实施例的流处理单元的功能配置的示意图；
图5是用于说明根据本公开的实施例的同步信号的控制的示意图；
图6是示出了根据本公开的实施例的控制同步信号的第一示例的示意图；
图7是示出了根据本公开的实施例的根据周期差的处理的示例的流程图；
图8是示出了根据本公开的实施例的控制同步信号的第二示例的示意图；
图9是示出了根据本公开的实施例的控制同步信号的第三示例的示意图；以及
图10是用于说明信息处理设备的硬件配置的框图。
具体实施方式
以下参考附图详细地描述本公开的优选实施例。要注意的是，在本说明书和附图中，实质上具有相同功能和结构的结构元件利用相同的附图标记来表示，并且省去这些结构元件的重复的说明。
按以下顺序来给出描述：
1.流式系统配置
1-1.整体配置
1-2.客户机和服务器配置
1-3.流处理单元配置
2.用于控制同步信号的配置
2-1.第一示例
2-2.第二示例
2-3.第三示例
3.硬件配置
4.附录
（1.流式系统配置）
将参考图1-4描述应用了本公开的实施例的流式系统的配置。
（1-1.整体配置）
图1是示出了根据本公开的实施例的流式系统的整体配置的示意图。参考图1，流式系统10包括客户机100和配置为将流式内容分发给客户机100的服务器（服务商210、节点220以及边缘230（edge，边缘服务器））。客户机100和每个服务器通过各种类型的有线或者无线网络彼此连接。
服务商210（servicer）保存原始内容211。节点220是构成内容递送网络（CDN）并且保存通过复制由服务商210保存的原始内容所获得的内容221的节点。边缘230执行与客户机110的直接交互并且应请求适当地处理内容以及将所处理的内容提供给客户机100。在这种情况下，边缘230获得通过节点220保存的内容作为高速缓存（cache）231并且应来自客户机100的请求将该内容提供给客户机100。
图2是示出了根据本公开的实施例的流式系统中的信息流的示例的示意图。在内容的分发前，客户机100访问服务商210的用户认证模块213，以登录到服务中。在客户机100成功地登录到服务里时，客户机100访问边缘230的会话控制器233并且请求会话控制器233启动用于客户机100的处理。响应于这个请求，会话控制器233启动处理235。
边缘230允许处理235为了每个客户机100启动并且响应于来自每个客户机100的请求来执行用于分发内容的处理。因此，在边缘230向多个客户机100提供服务时，多个处理235可以在边缘230中启动。每个处理235由调度器237来调度。调度器237由会话控制器233控制。
另一方面，由服务商210保存的原始内容211通过节点220预先地复制并且作为内容221保存在节点220中。在边缘230中激活的处理235中，响应于来自客户机100的请求，获得保存在节点220中的内容221作为高速缓存，内容221被适当地处理，并且经处理的内容被提供给客户机100。在这种情况下，响应于来自客户机100的何种请求而如何提供内容的日志可以记录在处理235中。这个日志和其它信息可以通过处理235被提供给节点220并且可以作为节点220中的信息223被保存。例如，通过服务商210的附加功能可以使用包含该日志等的信息223。
（1-2.客户机和服务器配置）
图3是示出了根据本公开的实施例的流式系统中的客户机和服务器的功能结构的示意图。参考图1和2，服务器300用作如上所述的流式系统中的边缘230。在图3中，实线表示要被分发给客户机100的流式内容的流动，并且虚线表示与流式内容的再现有关的控制信息的流动。
客户机100是向用户提供流式内容的装置，并且可以是各种类型的个人计算机、平板终端、移动电话（包括智能手机）、媒体播放机、游戏控制台等。另一方面，服务器300可以是单个服务器装置或者可以是由彼此通过各种有线或者无线网络连接的多个服务器装置的合作所实施的功能的集合。例如，利用稍后要描述的信息处理设备的硬件配置可以实施客户机100和构成服务器300的每个服务器装置。图3中示出的结构元件之中的除诸如输入和输出装置的装置之外的部件和数据（存储在存储装置中）可以通过诸如中央处理单元（CPU）的处理器以软件来实施。
在客户机100中，输入装置110获得用户的操作输入。输入装置110获得与诸如登录到服务或者选择内容之类的内容之外（outside of content）有关的操作输入和与诸如静止/运动图像切换、图像放大/缩小或者音频的音质切换之类的内容以内（inside of content）有关的操作输入。与内容之外有关的操作输入由会话控制器120来处理。会话控制器120可以发送与登录到服务商210有关的输入信息并且可以在登录后向服务器300发送请求以启动处理。另一方面，与内容以内有关的操作输入从输入发送器130发送到服务器300。
在服务器300中，响应于来自客户机100的启动处理的请求，会话控制器233启动处理235。该处理235获得通过由客户机100的输入装置110所获得的内容选择操作指定的内容221并且将所获得的内容作为内容高速缓存231保存。内容高速缓存231是编码数据并且通过服务器300中的解码器310来解码。经解码的内容数据在流处理器/发送器320中被处理。
另一方面，与通过客户机100的输入装置110所获得的内容以内有关的操作输入由输入接收器330接收并且被提供给播放控制器340。播放控制器340根据操作输入来控制解码器310或者流处理器/发送器320。流处理器/发送器320根据播放控制器340的控制来从内容数据生成视频和音频。此外，流处理器/发送器320编码所生成的视频或者音频并且将它发送到客户机100。在示出的示例中，该内容包括视频和音频，但是在其它示例中，该内容可以包括视频和音频之一。
发送到客户机100的编码数据通过流接收器/处理器140来解码并且渲染为视频或者音频，然后从输出装置150输出给用户。服务器侧的流处理器/发送器320由管理器350管理，并且客户机侧的流接收器/处理器140由管理器160管理。服务器侧管理器350和客户机侧管理器160根据需要通过交换信息来彼此合作。
（1-3、流处理单元配置）
图4是示出了根据本公开的实施例的流处理单元的功能配置的示意图。在图4中，示出了客户机100的流接收器/处理器140和服务器300的流处理器/发送器320的功能配置。
（客户机侧）
流接收器/处理器140包括流接收器141、解码器143、帧缓冲器145以及渲染器147。流接收器141根据预定的协议从服务器侧的流发送器327接收数据。在示出的示例中，使用实时传送协议（RTP）。在这种情况下，流接收器141向解码器143提供所接收的数据。此外，流接收器141检测诸如数据的延迟的通信状态，并且利用RTP控制协议（RTCP）向流发送器327报告所检测的通信状态。
解码器143解码从流接收器141所提供的数据，以获得视频或者音频数据。解码器143包括解码视频数据的视频解码器143a和解码音频数据的音频解码器143b。在流接收器/处理器140中，可以设有可以根据要被处理的数据的格式被选择性地使用的多个类型的视频解码器143a和音频解码器143b中的每一个。在以下的描述中，视频解码器143a和音频解码器143b中的任何一个或者两者可以简称为解码器143（在涉及其中任一者时，将指定要被这一者处理的数据是视频还是音频）。
帧缓冲器145逐帧地暂时地存储通过解码器143所获得的视频和音频数据。帧缓冲器145包括存储视频数据的帧缓冲器145a和存储音频数据的帧缓冲器145b。帧缓冲器145在管理器160的控制下在预定时刻向渲染器147提供每个帧中的视频或者音频数据。在以下的描述中，帧缓冲器145a和帧缓冲器145b中的任何一个或者两者可以简称为帧缓冲器145（在涉及其中任一者时，将指定要被这一者处理的数据是视频还是音频）。
渲染器147包括视频渲染器147a和音频渲染器147b。视频渲染器147a渲染视频数据并且将经渲染的数据提供给诸如显示器的输出装置。音频渲染器147b渲染音频数据并且将经渲染的数据提供给诸如扬声器的输出装置。视频渲染器147a和音频渲染器147b分别使在被输出的视频和音频的帧同步。此外，渲染器147向管理器160报告所输出的帧的ID、执行输出的时间等。在以下的描述中，视频渲染器147a和音频渲染器147b中的任何一个或者两者可以简称为渲染器147（在涉及其中任一者时，将指定要被这一者处理的数据是视频还是音频）。
（服务器侧）
流处理器/发送器320包括渲染器321、帧缓冲器323、编码器325以及流发送器327。渲染器321使用通过解码器310解码的内容数据作为原始材料并且根据基于用户的操作输入的播放控制器340的控制来生成视频数据和音频数据。用于视频和音频数据的帧被限定，并且视频数据作为连续帧图像被生成。
帧缓冲器323逐帧地暂时地存储通过渲染器321生成的视频和音频数据。帧缓冲器323包括存储视频数据的帧缓冲器323a和存储音频数据的帧缓冲器323b。存储在帧缓冲器323中的视频数据和音频数据被编码器325顺序地编码。在以下的描述中，帧缓冲器323a和帧缓冲器323b中的任何一个或者两者可以简称为帧缓冲器323（在涉及其中任一者时，将指定要被这一者处理的数据是视频还是音频）。
编码器325包括编码视频数据的视频编码器325a和编码音频数据的音频编码器325b。在流处理器/发送器320中，可以设有可以根据客户机100能够使用的视频解码器143a和音频解码器143b的类型或者要被处理的视频或者音频数据的特性被选择性地使用的多个类型的视频编码器325a和音频编码器325b中的每一个。通过编码器325所编码的视频数据和音频数据从流发送器327发送到客户机100。在以下的描述中，视频编码器325a和音频编码器325b中的任何一个或者两者可以简称为编码器325（在涉及其中任一者时，将指定要被这一者处理的数据是视频还是音频）。
根据如上所述的根据本实施例的流式系统的配置，在用作边缘的服务器中，可以根据用户的操作输入来实时地生成视频或者音频并且将它分发到客户机。因此，可以通过流式方法来提供应用同时保持对用户的操作输入的响应。这种应用包括例如正如日本未审专利申请公报No.2010-117828中所描述的自由地缩小/放大或者移动图像的应用或者诸如大尺寸图像或者视频的浏览、在线游戏、模拟之类的各种应用。
（2、用于控制同步信号的配置）
参考图5-9，描述与根据本公开的实施例的同步信号周期的控制有关的配置。
图5是用于说明根据本公开的实施例的同步信号的控制的示意图。
在流式系统10中，在提供具有如上所述的高实时特性的内容时，在从客户机100输出之前缓冲的帧图像被设置为尽可能地小。在这种情况下，除了由于很可能出现的网络延迟而引起的帧丢失之外，即使网络延迟较小，帧丢失或者缓冲溢出也可能出现。因此，必须以高精度减少由于网络延迟而引起的帧丢失及其影响，并且进一步地，除了这个之外，还必须设法防止由不同因素所引起的帧丢失或者缓冲溢出。
在进一步研究后，作为如上所述的帧丢失或者缓冲溢出的原因中的一个，已经发现在服务器300和客户机100之间存在时滞。在服务器300和客户机100之间设置公共的帧率，并且根据该帧率通过以预定的周期所生成的同步信号（例如，垂直同步信号（V Sync））来在每个装置中限定帧图像的生成和编码、解码以及输出帧图像的时刻。然而，如果在服务器300和客户机100中的每一个中均存在时间上的滞后，则在服务器300中所生成的同步信号的时刻和客户机100中所生成的同步信号的时刻之间的关系会被改变。因此，出现帧丢失或者缓冲溢出。
例如，限定每个装置中的时间间隔的晶体振荡器的频率根据晶体振荡器自身、温度变化等的特性来改变。由于那个原因，在装置之间时间间隔可能是不同的。如果每个装置的时间间隔相互之间是不同的，则对于基于每个装置的时间间隔所限定的同步信号的周期而言，在它们之间会有时滞。如果这个时滞累积，则一个装置的处理时刻越来越早于其它装置的处理时刻。例如，如果客户机100的同步信号的周期比服务器300的同步信号的周期短，则客户机100的处理时刻越来越早于服务器300的处理时刻。因此，所接收的帧图像在比预计时刻更早的时刻从客户机100逐渐地输出，从而，可能引起的帧丢失。相反地，如果服务器300的同步信号的周期比客户机100的同步信号的周期短，则服务器300的处理时刻越来越早于客户机100的处理时刻。因此，从服务器300的传输在客户机100输出所接收的帧图像前持续进行，从而，可能引起缓冲溢出。
另一方面，即使在每个装置的时间间隔彼此一致时，例如，如果网路中存在拥塞，则在该装置的时间本身中可能存在时滞。然后，对于生成基于该时间设置的同步信号的时刻而言，在装置之间存在时滞。例如，如果在某种程度上客户机100的时间早于服务器300的时间，则客户机100的同步信号在比预计时刻更早的时刻生成。因此、来自服务器300的数据在帧图像要从客户机100输出的时刻仍然没有到达，因此，可能引起帧丢失。即使没有出现帧丢失，通过客户机100缓冲的帧图像的数量小于预计的数量，因此很可能出现由于网络延迟等而引起的帧丢失。相反地，如果在某种程度上服务器300的时间早于服务器300的时间，则服务器300的同步信号在比预计时刻更早的时刻生成。因此，客户机100将在它输出先前的帧图像前发送后续的帧图像，并且因此可能引起缓冲溢出。
在正常的流式系统中，因为提供给客户机的缓冲大，如上所述的时滞的影响被该缓冲吸收，因此没有显露出来。然而，在提供具有高实时特性的内容的流式系统10中，提供给客户机的缓冲小，因此如上所述的时滞的影响可以引起帧丢失或者缓冲溢出。
因此，在本实施例中，客户机100的管理器160从渲染器147获得与帧图像的输出时刻有关的信息并且将所获得的信息发送到服务器300的管理器350。管理器350基于所接收的信息来控制流处理器/发送器320的处理时刻，使得在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间保持预定的关系。
更具体地说，管理器350控制生成限定生成帧图像的时刻的同步信号（例如，垂直同步信号（V Sync））的时刻，同步信号由渲染器321使用。关于这一点，管理器350可以改变服务器300中的同步信号的周期，或者可以提前或者推迟在服务器300中生成同步信号的时刻，使得客户机100和服务器300之间的同步信号的周期的差值变小。此外，管理器350可以改变服务器300中同步信号的周期，或者可以提前或者推迟在服务器300中生成同步信号的时刻，使得客户机100和服务器300之间的同步信号的时间上的差值落入预定范围内。在控制生成同步信号的时刻时，渲染器321将与在该控制后生成同步信号的时刻有关的信息通知给编码器325。
接下来，描述从客户机100通过管理器350接收的信息和基于该信息的要被执行的处理的时刻的控制的第一到第三示例。
（2-1、第一示例）
图6是示出了根据本公开的实施例的同步信号的控制的第一示例的示意图。在示出的示例中，客户机100的渲染器147向管理器160报告在帧图像的输出处理被启动时的时间tc[n]。服务器300的管理器350比较时间tc[n]和时间ts[n]。时间ts[n]是渲染器321启动用于生成帧图像的处理的时间。在以下的描述中，[n]表示时间等是用于第n帧的值。
（基于周期差的控制）
管理器350可以基于时间tc[n]和时间ts[n]之间的差值来计算周期TC和周期TS之间的周期差。周期TC是限定在客户机100中输出帧图像的时刻的同步信号的周期。周期TS是限定在服务器300中处理帧图像的时刻的同步信号的周期。更具体地说，管理器350基于第n帧图像的时间tc[n]和时间ts[n]之间的差与第（n-1）帧图像的时间tc[n-1]和时间ts[n-1]之间的差值，利用以下公式（1）来计算周期差d[n]。
d[n]=(tc[n]-ts[n])-(tc[n-1]-ts[n-1])     (1)
在上述公式（1）中，将时间tc[n]设置在对应于周期TC（tc[n]-tc[n-1]=TC）的预定时刻，并且将时间ts[n]设置在对应于周期TS（ts[n]-ts[n-1]=TS）的预定时刻。因此，如果周期TC与周期TS一致，则d[n]变为0（d[n]=0）。此外，在周期TC和周期TS之间具有差值的情况下，如果TC小于TS（TC<TS），则d[n]小于0（d[n]<0），但是如果TC>TS，则d[n]>0。
图7是示出了根据本公开的实施例的根据周期差的处理的示例的流程图。如图所示，服务器300的管理器350计算预定时间段上的周期差d[n]。根据通过将计算出的周期差的平均值D与预定阈值比较所获得的结果，管理器350可以改变服务器300中的同步信号的周期TS，或者可以提前或者推迟在服务器300中处理帧图像的时刻。
作为初始值，n被设置为等于n0（n=n0）（步骤S101）。例如，n0对应于从其开始管理器350开始控制同步信号的可选帧。接下来，管理器350在预定时间段计算周期差d[n]的移动平均值D（步骤S103）。移动平均值D表示在预定时间段中周期TC和周期TS之间的周期差的平均值。
关于这一点，例如通过窗口尺寸w（n0>w）来限定预定的时间段。管理器350基于从第（n-w）帧到第n帧的w+1帧的时间tc[n]和时间ts[n]之间的差值来计算周期TC和周期TS之间的周期差，并且通过以下公式（2）来获得移动平均值D。
D = &Sigma; k = n - w n d [ k ] w + 1 - - - ( 2 )
接下来，管理器350将移动平均值D与正阈值TP比较（步骤S105）。如果步骤S105中的比较结果表明D大于TP（D>TP）（是），则管理器350以时间dT1递增服务器300中的同步信号的周期TS（步骤S107）。例如，如果周期TC被保持为比周期TS长TP，则阈值TP被设置为如下的值：其使得很可能不久出现缓冲溢出。时间dT1可以基于移动平均值D的值来动态地设置（例如dT1=D），并且可以是诸如等于阈值TP的值的恒定值。
另一方面，在步骤S105中，如果D不大于TP（否），则管理器350将移动平均值D与负的阈值TM比较（步骤S109）。如果步骤S105中的比较结果表明D小于TM（D<TM）（是），则管理器350以时间dT2递减服务器300中的同步信号的周期TS（步骤S111）。例如，如果周期TS被保持为比周期TC长TM，则阈值TM被设置为如下的值：其使得很可能不久出现帧丢失。时间dT2可以基于移动平均值D的值来动态地设置（例如dT2=|D|），并且可以是诸如等于阈值TM的大小（|TM|）的值的恒定值。
在步骤S109中，如果D不大于TM（否），则管理器350在这个循环中不改变服务器300中的同步信号的周期TS。管理器350在设置n=n+1后进行到要对随后的帧执行的处理（步骤S113）。
（基于时间差的控制）
管理器350可以基于时间tc[n]和时间ts[n]之间的差值计算在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间的时间差。更具体地说，管理器350将时间tc[n]和时间ts[n]之间的时间差限定为在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间的时间差。为了说明，在附图中时间差被示出为比同步信号的周期（TC或者TS）短，但事实上，帧图像在客户机100中被缓冲并且因此时间差可以比同步信号的周期长。
例如，如果由于网路中的拥塞而在客户机100中的时间与服务器300中的时间之间具有时间差，则时间差很可能大于或者小于设计的容许范围。如果时间差太小，即，时间tc[n]太接近时间ts[n]，则在客户机100中缓冲的帧图像的数量小于帧图像的预计数量。因此，如果网络延迟增加，则可能出现帧丢失。另一方面，如果时间差太大，即，时间tc[n]离时间ts[n]太远，则在那时不会出现缓冲溢出。然而，例如，此后，如果网络延迟降低并且大量帧图像到达客户机100，则可能出现缓冲溢出。
因此，管理器350可以改变服务器300中同步信号的周期，或者可以提前或者推迟在服务器300中处理帧图像的时刻，使得在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间的时间差落入预定范围内。例如，通过考虑假定在服务器300和客户机100之间的网络延迟的状态或者可以在客户机100中适当地缓冲的帧图像的数量，可以确定时间差的预定范围。关于这一点，管理器350不需要调整客户机100或者服务器300的时间本身。为了用于客户机100中的帧图像的缓冲被保持在正常状态下并且帧图像以流畅的方式输出，必须保持在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间的预定关系。
即使在该控制是以与参考图7的如上所述的基于周期差的控制的类似的方式基于如上所述的时间差来执行时，希望通过计算在预定时间段上的时间差并且使它流畅来执行该控制。在这种情况下，在图7的步骤S103中，利用以下公式（3）来计算d[n]。
d[n]=(tc[n]-ts[n])-tsc          (3)
在上述公式（3）中，tsc是在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间的时间差的设计值。接着，在步骤S105和S107中，通过将设计值（预定值）从利用公式（3）计算出的时间差减去所获得的差值d[n]的移动平均值D（利用公式（2）计算出）与正的阈值TP和负的阈值TM两者相比。因此，在这个示例中，设计值tsc限定时间差的预定范围的参考值，阈值TP限定时间差的预定范围的上限，以及阈值TM限定时间差的预定范围的下限。
（2-2.第二示例）
图8是示出了根据本公开的实施例的同步信号的控制的第二示例的示意图。在示出的示例中，客户机100的渲染器147（或流接收器141）向管理器160报告逝去时间p[n]。逝去时间p[n]是从客户机100接收到编码数据到输出帧图像的时间段。服务器300的管理器350可以基于逝去时间p[n]来计算周期差或者时间差。
（基于周期差的控制）
管理器350可以基于每个帧的逝去时间p[n]来计算周期TC和周期TS之间的周期差。周期TC是限定在客户机100中输出帧图像的时刻的同步信号的周期。周期TS是限定在服务器300中处理帧图像的时刻的同步信号的周期。更具体地说，管理器350基于第n帧图像的逝去时间p[n]和第（n-1）帧图像的逝去时间p[n-1]之间的差值利用以下公式（4）来计算周期差d[n]。
d[n]=p[n]-p[n-1]              (4)
在第二示例中，周期TC是客户机100中的垂直同步信号（V Sync）的周期。因此，逝去时间p[n]的末端与周期TC的末端一致。此时，垂直同步信号被生成并且帧图像被输出（显示）。另一方面，逝去时间p[n]的开始是从服务器300中的周期TS开始的时候到在渲染器321中生成帧图像的时间、通过编码器325编码帧图像的时间以及将帧图像从流发送器327发送到流接收器141的时间逝去时的时间。处理和发送的这些时间经常是恒定的，因此逝去时间p[n]的开始反映周期TS。
因此，如果周期TC与周期TS一致，则每个逝去时间p[n]大体上是恒定的，并且因此利用公式（4）计算出的d[n]变为0（d[n]=0）。另一方面，在周期TC和周期TS之间存在差值的情况下，如果周期TC小于周期TS（TC<TS），则逝去时间p[n]的末端（输出时刻：周期TC）逐渐地接近逝去时间p[n]的开始（接收时刻：周期TS）。因此，逝去时间p[n]逐渐变得更短并且d[n]变为小于0（d[n]<0）。此外，如果周期TC大于周期TS（TC>TS），则逝去时间p[n]的末端（输出时刻：周期TC）逐渐地远离逝去时间p[n]的开始（接收时刻：周期TS）。因此，逝去时间p[n]逐渐变得更长并且d[n]变为大于0（d[n]>0）。
关于这一点，服务器300的管理器350以与第一示例相似的方式计算在预定时间段上的周期差d[n]，并且可以改变服务器300中的同步信号的周期TS，或者可以根据通过将计算出的周期差的平均值与预定阈值比较所获得的结果来提前或者推迟在服务器300中处理帧图像的时刻。这个处理除了周期差d[n]利用上述公式（4）计算之外与参考图7的如上所述的处理相似，因此省去其详细描述。（基于时间差的控制）
管理器350可以将逝去时间p[n]视为表示在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间的时间差的值。更具体地说，管理器350将在服务器300中的帧图像的处理时间或者发送时间当作预定时间，并且基于逝去时间p[n]的改变来检测时间差的变化。为了说明，逝去时间p[n]在附图中被示出为比同步信号的周期（TC或者TS）更短，但事实上，帧图像在客户机100中缓冲并且因此逝去时间p[n]可以比同步信号的周期长。
逝去时间p[n]表示在客户机100中缓冲的帧图像的数量（所缓冲的帧图像的数量=逝去时间p[n]/周期TC），因此管理器350可以改变服务器300中的同步信号的周期，或者可以提前或者推迟在服务器300中处理帧图像的时刻，使得逝去时间p[n]落入预定范围内。可替换地，管理器350通过将对应于处理时间或者发送时间的预定时间加到逝去时间p[n]上来计算时间差，并且可以改变服务器300中的同步信号的周期，或者可以提前或者推迟在服务器300中处理帧图像的时刻，使得计算出的时间差落入预定范围内。例如，通过考虑假定在服务器300和客户机100之间的网络延迟的状态或者可以在客户机100中适当地缓冲的帧图像的数量可以确定时间差的预定范围。
即使在该控制是以与基于参考图7的如上所述的示例的控制的类似方式基于如上所述的时间差来执行时，希望通过计算在预定时间段上的逝去时间或者时间差并且使它流畅来执行该控制。在这种情况下，例如，在图7的步骤S103中，利用以下公式（5）来计算d[n]。
d[n]=p[n]-pc          (5)
在上述公式（5）中，pc是从客户机100接收编码数据时到输出帧图像时的逝去时间的设计值。接着，在步骤S105和S107中，通过将设计值（预定值）从利用公式（5）计算出的逝去时间减去所获得的差值d[n]的移动平均值D（利用公式（2）计算出）与正的阈值TP和负的阈值TM两者作比较。因此，在这个示例中，设计值pc限定逝去时间的预定范围的参考值，阈值TP限定逝去时间的预定范围的上限，以及阈值TM限定逝去时间的预定范围的下限。
（2-3.第三示例）
图9是示出了根据本公开的实施例的同步信号的控制的第三示例的示意图。在示出的示例中，通知在客户机100中生成同步信号（例如，垂直同步信号（V Sync））的时刻从客户机100的管理器160发送到服务器300的管理器350。管理器350可以基于通知被接收的时间tr[n]来计算周期差或者时间差。
（基于周期差的控制）
管理器350可以基于每个帧的该通知的接收时间tr[n]来计算周期TC和周期TS之间的周期差。周期TC是限定在客户机100中输出帧图像的时刻的同步信号的周期。周期TS是限定在服务器300中处理帧图像的时刻的同步信号的周期。更具体地说，管理器350通过将通知发送中的网络延迟视为大体恒定并将第n帧的通知的接收时间tr[n]和第（n-1）帧的通知的接收时间tr[n-1]之间的差值视为等于周期TC来利用以下公式（6）计算周期差d[n]。
d[n]=(tr[n]-tr[n-1])-TS            (6)
明显的是，在上述公式（6）中，如果周期TC与周期TS一致，则d[n]变为0（d[n]=0），如果TC小于TS（TC<TS），则d[n]小于0（d[n]<0），但是如果TC>TS（TC>TS），则d[n]变为大于0（d[n]>0）。
关于这一点，服务器300的管理器350以与第一示例相似的方式计算在预定时间段上的周期差d[n]，并且可以改变服务器300中的同步信号的周期TS，或者可以根据通过将计算出的周期差的平均值与预定阈值比较所获得的结果来提前或者推迟在服务器300中处理帧图像的时刻。这个处理除了周期差d[n]利用上述公式（6）计算之外与参考图7的如上所述的处理相似，因此省略其详细描述。
（基于时间差的控制）
管理器350可以将帧的通知的接收时间tr[n]视为表示在客户机100中输出帧图像的时刻和在服务器300中处理帧图像的时刻之间的时间差的值。更具体地说，管理器350将通知发送中的网络延迟视为大体恒定，并且基于接收时间tr[n]和渲染器321开始生成帧图像的处理的时间ts[n]（在服务器300中生成同步信号的时间）之间的差值的变化来检测时间差的变化。按照与第一示例相似的方式，管理器350改变服务器300中的同步信号的周期，或者管理器350提前或者推迟在服务器300中处理帧图像的时刻，使得时间tr[n]和时间ts[n]之间的差值落入预定范围内。可替换地，管理器350通过将网络延迟的预计时间从时间tr[n]和时间ts[n]之间的差值减去来计算时间差，并且可以改变服务器300中的同步信号的周期，或者可以提前或者推迟在服务器300中处理帧图像的时刻，使得计算出的时间差落入预定范围内。例如可以通过考虑假定在服务器300和客户机100之间的网络延迟的状态或者可以在客户机100中适当地缓冲的帧图像的数量来确定时间差的预定范围。
即使在该控制是以与基于参考图7的如上所述的示例类似的方式基于如上所述的时间差来执行时，希望通过计算在预定时间段上的时间tr[n]和时间ts[n]之间的差值或者时间差来执行该控制并且使它流畅。在这种情况下，在图7的步骤S103中，利用以下公式（7）来计算d[n]。
d[n]=(tr[n]-ts[n])-trs         (7)
在上述公式（7）中，trs是在服务器300中生成同步信号的时间和通过服务器300接收在客户机100中生成同步信号时刻发送的通知的时间之间的差值的设计值。接着，在步骤S105和S107中，通过将设计值（预定值）从利用公式（7）计算出的时间差减去所获得的差值d[n]的移动平均值D（利用公式（2）计算）与正的阈值TP和负的阈值TM两者作比较。因此，在这个示例中，设计值pc限定时间差的预定范围的参考值，阈值TP限定时间差的预定范围的上限，以及阈值TM限定时间差的预定范围的下限。
已经描述了来自客户机100由管理器350接收的信息和基于该信息的要被执行的处理时刻的控制的第一到第三示例。然而，本公开的实施例不限于上述示例。例如，从其可以提取类似信息的其它信息可以从客户机100报告给服务器300。此外，可以实施在每个示例中所描述的基于周期差的控制和基于时间差的控制中的任何一个或者两者。
（3.硬件配置）
参考图10描述根据本公开的实施例的信息处理设备的硬件配置。图10是用于说明信息处理设备的硬件配置的框图。所示出的信息处理设备900例如可以作为如上所述的实施例中的客户机100和服务器300来实施。
信息处理设备900包括CPU（中央处理单元）901、ROM（只读存储器）903、RAM（随机存取存储器）905。此外，信息处理设备900可以包括主机总线907、电桥909、外部总线911、接口913、输入单元915、输出单元917、存储单元919、驱动器921、连接端口923以及通信单元925。可替换地，信息处理设备900可以包括诸如DSP（数字信号处理器）的处理电路，或者除了CPU901之外，信息处理设备900还可以包括诸如DSP（数字信号处理器）的处理电路。
CPU901用作操作处理器和控制器，并且根据记录在ROM903、RAM905、存储单元919或者可移除记录介质927中的各种程序来控制信息处理设备900中的所有或者一些操作。ROM903存储由CPU901使用的程序和操作参数。RAM905主要存储在CPU901的执行中使用的程序和在该执行中适当地修改的参数。CPU901、ROM903以及RAM905通过配置为包括诸如CPU总线的内部总线的主机总线907彼此连接。此外，主机总线907通过电桥909连接到诸如PCI（外围部件互连/接口）总线的外部总线911。
输入单元915可以是诸如鼠标、键盘、触板、按钮、开关以及手柄的通过用户操作的装置。输入单元915例如可以是利用红外光或者其它无线电波的遥控单元或者可以是诸如可响应于信息处理设备900的操作而操作的便携式电话的外部连接单元929。此外，输入单元915包括在通过基于用户输入的信息生成输入信号并且将该输入信号输出到CPU901的输入控制电路。通过操作输入单元915，用户可以将各种类型的数据输入到信息处理设备900或者发出用于使信息处理设备900执行处理操作的指令。
输出单元917包括能够可视地或者可听地通知用户所获得的信息的装置。输出单元917可以包括诸如LCD（液晶显示器）、PDP（等离子体显示板）、有机EL（电致发光）显示器的显示装置、诸如扬声器以及头戴式耳机的音频输出装置以及诸如打印机的外围装置。输出单元917能够以诸如文本或者图像的视频和诸如语音或者声音的音频的形式输出从信息处理设备900的处理获得的结果。
存储单元919是作为信息处理设备900的存储单元的示例被配置的用于数据存储的装置。存储单元919例如包括诸如HDD（硬盘驱动器）的磁存储器装置、半导体存储器装置、光存储装置或者磁光存储装置。存储单元919存储要由CPU901执行的程序、各种数据以及从外部获得的数据。
驱动器921是用于诸如磁盘、光盘、磁光盘或者半导体存储器的可移除记录介质927的读取器/写入器并且嵌入在信息处理设备900中或者外部地附接在信息处理设备900。驱动器921读取记录在附接至其的可移除记录介质927中的信息并且将读取的信息输出到RAM905。此外，驱动器921可以在附接至其的可移除记录介质927中写入。
连接端口923是用于将装置直接地连接到信息处理设备900的端口。连接端口923可以包括USB（通用串行总线）端口、IEEE1394端口以及SCSI（小型计算机系统接口）端口。连接端口923还可以包括RS-232C端口、光学音频终端、HDMI（高清晰度多媒体接口）端口等。外部连接单元929与连接端口923的连接使得能够在信息处理设备900和外部连接单元929之间交换各种数据。
通信单元925例如是包括用于与通信网络931连接的通信装置等的通信接口。通信单元925例如可以是用于有线或者无线LAN（局域网）、蓝牙（注册商标）、WUSB（无线USB）等的通信卡。此外，通信单元925可以是用于光通信的路由器、用于ADSL（非对称数字订户线路）的路由器、用于各种通信的调制解调器等。通信单元925可以基于诸如TCP/IP的预定协议将信号发送到例如因特网或者其它通信装置并且从例如因特网或者其它通信装置接收信号。此外，连接到通信单元925的通信网络931可以是以有线或者无线方式连接的网络等，例如可以是因特网、家用LAN、红外通信、无线电波通信、卫星通信等。
以上已经描述信息处理设备900的示例性硬件配置。上述组成元件中的每一个可以利用通用部件来被配置或者可以通过每个组成元件的功能所专用的硬件来被配置。因此，要被使用的硬件配置可以根据在实施该实施例时的技术水平适当地修改。
（4、附录）
本公开的实施例可以包括如上所述的服务器装置、系统、在服务器装置或者该系统中执行的信息处理方法、用于使服务器装置运行的程序以及具有记录在其上的程序的记录介质。
本领域技术人员应该理解的是，根据设计要求和其它因素可以出现各种变型、组合、子组合以及改变，只要它们在附加的权利要求或者它们的等效的范围内。
另外，本技术还可以如下地配置：
（1）一种服务器装置，包括：
流处理单元，所述流处理单元配置为实时地生成帧图像、编码所述帧图像以产生编码数据、以及经由网络将所述编码数据发送到客户机装置，所述客户机装置配置为解码所述编码数据并且输出所述帧图像；以及
控制器，所述控制器配置为从所述客户机装置接收与所述客户机装置中的所述帧图像的输出时刻有关的信息并且控制所述流处理单元中的所述帧图像的处理时刻，使得在所述输出时刻和所述处理时刻之间保持预定关系。
（2）如（1）所述的服务器装置，其中所述控制器接收表示限定所述输出时刻的第一同步信号的周期的信息，并且控制所述处理时刻使得所述第一同步信号的所述周期和限定所述处理时刻的第二同步信号的周期之间的周期差小。
（3）如（2）所述的服务器装置，其中所述控制器接收表示在所述客户机装置中启动用于所述帧图像的输出处理的第一时刻的信息，并且通过将所述第一时刻与在所述流处理单元中启动所述帧图像的生成的第二时刻作比较来计算所述周期差。
（4）如（2）所述的服务器装置，其中所述控制器接收表示从所述客户机装置接收所述编码数据时到输出所述帧图像时的逝去时间的信息，并且基于所述逝去时间的变化来计算所述周期差。
（5）如（2）所述的服务器装置，其中所述控制器接收在所述第一同步信号的每一周期中由所述客户机装置发送的信号，并且通过将接收所述信号的周期与所述第二同步信号的所述周期作比较来计算所述周期差。
（6）如（2）至（5）中的任一项所述的服务器装置，其中所述控制器计算在预定时间段上的所述周期差，并且根据通过将所计算的周期差的平均值与预定阈值作比较所获得的结果来控制所述处理时刻。
（7）如（1）至（6）中的任一项所述的服务器装置，其中所述控制器控制所述处理时刻，使得表示所述处理时刻和所述输出时刻之间的时间差的值落入预定范围内。
（8）如（7）所述的服务器装置，其中所述控制器接收表示在所述客户机装置中启动用于所述帧图像的输出处理的第一时刻的信息，并且通过将所述第一时刻与在所述流处理单元中启动所述帧图像的生成的第二时刻作比较来计算表示所述时间差的值。
（9）如（7）所述的服务器装置，其中所述控制器接收表示从所述客户机装置接收所述编码数据时到输出所述帧图像时的逝去时间的信息，并且控制所述处理时刻使得所述逝去时间落入预定范围内。
（10）如（7）所述的服务器装置，其中所述控制器接收在限定所述输出时刻的第一同步信号的每一周期中由所述客户机装置发送的信号，并且控制所述处理时刻使得接收所述信号的时刻和所述处理时刻之间的时间差落入预定范围内。
（11）如（7）至（10）中的任一项所述的服务器装置，其中所述控制器获得表示在预定时间段上的所述时间差的值，并且根据通过将所获得的值的平均值与预定阈值作比较所获得的结果来控制所述处理时刻。
（12）如（1）至（11）中的任一项所述的服务器装置，其中所述控制器通过改变限定所述处理时刻的第二同步信号的周期来控制所述处理时刻。
（13）如（1）至（11）中的任一项所述的服务器装置，其中所述控制器通过提前或者推迟所述处理时刻来控制所述处理时刻。
（14）如（1）至（13）中的任一项所述的服务器装置，还包括：
接收器，所述接收器配置为经由所述网络接收在所述客户机装置中所获得的操作输入，
其中所述流处理单元根据所述操作输入实时地生成所述帧图像。
（15）一种信息处理方法，包括：
实时地生成帧图像、编码所述帧图像以生成编码数据、以及经由网络将所述编码数据发送到客户机装置，所述客户机装置配置为解码所述编码数据并且输出所述帧图像；以及
从所述客户机装置接收与所述客户机装置中的所述帧图像的输出时刻有关的信息，并且控制所述帧图像的处理时刻使得在所述输出时刻和所述处理时刻之间保持预定关系。
（16）如（15）所述的信息处理方法，其中
所述接收步骤包括：接收表示限定所述输出时刻的第一同步信号的周期的信息；并且
所述控制步骤包括：控制所述处理时刻，使得所述第一同步信号的所述周期和限定所述处理时刻的第二同步信号的周期之间的周期差小。
（17）如（15）所述的信息处理方法，其中
所述控制步骤包括：控制所述处理时刻，使得表示所述处理时刻和所述输出时刻之间的时间差的值落入预定范围内。
本公开包括与2012年10月5日向日本特许厅提交的日本在先专利申请JP2012-223047中公开的主题有关的主题，其全部内容通过引用合并于此。

Claims (15)

1.一种服务器装置，包括：
流处理单元，所述流处理单元配置为实时地生成帧图像、编码所述帧图像以产生编码数据、以及经由网络将所述编码数据发送到客户机装置，所述客户机装置配置为解码所述编码数据并且输出所述帧图像；以及
控制器，所述控制器配置为从所述客户机装置接收与所述客户机装置中的所述帧图像的输出时刻有关的信息并且控制所述流处理单元中的所述帧图像的处理时刻，使得在所述输出时刻和所述处理时刻之间保持预定关系。
2.如权利要求1所述的服务器装置，其中所述控制器接收表示限定所述输出时刻的第一同步信号的周期的信息，并且控制所述处理时刻使得所述第一同步信号的所述周期和限定所述处理时刻的第二同步信号的周期之间的周期差小。
3.如权利要求2所述的服务器装置，其中所述控制器接收表示在所述客户机装置中启动用于所述帧图像的输出处理的第一时刻的信息，并且通过将所述第一时刻与在所述流处理单元中启动所述帧图像的生成的第二时刻作比较来计算所述周期差。
4.如权利要求2所述的服务器装置，其中所述控制器接收表示从所述客户机装置接收所述编码数据时到输出所述帧图像时的逝去时间的信息，并且基于所述逝去时间的变化来计算所述周期差。
5.如权利要求2所述的服务器装置，其中所述控制器接收在所述第一同步信号的每一周期中由所述客户机装置发送的信号，并且通过将接收所述信号的周期与所述第二同步信号的所述周期作比较来计算所述周期差。
6.如权利要求2所述的服务器装置，其中所述控制器计算在预定时间段上的所述周期差，并且根据通过将所计算的周期差的平均值与预定阈值作比较所获得的结果来控制所述处理时刻。
7.如权利要求1所述的服务器装置，其中所述控制器控制所述处理时刻，使得表示所述处理时刻和所述输出时刻之间的时间差的值落入预定范围内。
8.如权利要求7所述的服务器装置，其中所述控制器接收表示在所述客户机装置中启动用于所述帧图像的输出处理的第一时刻的信息，并且通过将所述第一时刻与在所述流处理单元中启动所述帧图像的生成的第二时刻作比较来计算表示所述时间差的值。
9.如权利要求7所述的服务器装置，其中所述控制器接收表示从所述客户机装置接收所述编码数据时到输出所述帧图像时的逝去时间的信息，并且控制所述处理时刻使得所述逝去时间落入预定范围内。
10.如权利要求7所述的服务器装置，其中所述控制器接收在限定所述输出时刻的第一同步信号的每一周期中由所述客户机装置发送的信号，并且控制所述处理时刻使得接收所述信号的时刻和所述处理时刻之间的时间差落入预定范围内。
11.如权利要求7所述的服务器装置，其中所述控制器获得表示在预定时间段上的所述时间差的值，并且根据通过将所获得的值的平均值与预定阈值作比较所获得的结果来控制所述处理时刻。
12.如权利要求1所述的服务器装置，其中所述控制器通过改变限定所述处理时刻的第二同步信号的周期来控制所述处理时刻。
13.如权利要求1所述的服务器装置，其中所述控制器通过提前或者推迟所述处理时刻来控制所述处理时刻。
14.如权利要求1所述的服务器装置，还包括：
接收器，所述接收器配置为经由所述网络接收在所述客户机装置中所获得的操作输入，
其中所述流处理单元根据所述操作输入实时地生成所述帧图像。
15.一种信息处理方法，包括：
实时地生成帧图像、编码所述帧图像以生成编码数据、以及经由网络将所述编码数据发送到客户机装置，所述客户机装置配置为解码所述编码数据并且输出所述帧图像；以及
从所述客户机装置接收与所述客户机装置中的所述帧图像的输出时刻有关的信息，并且控制所述帧图像的处理时刻使得在所述输出时刻和所述处理时刻之间保持预定关系。
CN201310449534.8A 2012-10-05 2013-09-27 服务器装置和信息处理方法 Active CN103716650B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012223047A JP2014075736A (ja) 2012-10-05 2012-10-05 サーバ装置および情報処理方法
JP2012-223047 2012-10-05

Publications (2)

Publication Number Publication Date
CN103716650A true CN103716650A (zh) 2014-04-09
CN103716650B CN103716650B (zh) 2018-02-27

Family

ID=50409151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310449534.8A Active CN103716650B (zh) 2012-10-05 2013-09-27 服务器装置和信息处理方法

Country Status (3)

Country Link
US (1) US9560105B2 (zh)
JP (1) JP2014075736A (zh)
CN (1) CN103716650B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278459A (zh) * 2018-03-16 2019-09-24 上海小麦互动企业发展有限公司 内容控制系统及其控制方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9800641B2 (en) * 2015-05-04 2017-10-24 Google Inc. Pre-fetched encoding for application streaming
WO2022066316A1 (en) * 2020-09-22 2022-03-31 Becton, Dickinson And Company Methods for continuous measurement of baseline noise in a flow cytometer and systems for same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045051A (ja) * 1999-07-27 2001-02-16 Victor Co Of Japan Ltd サーバクライアント型システム
CN1443403A (zh) * 2000-07-20 2003-09-17 汤姆森特许公司 异步数字家庭网络中的多媒体抖动消除
US20040109519A1 (en) * 2002-09-09 2004-06-10 Kenichi Mizukami Synchronization method and system, and decoder
US20060165166A1 (en) * 2004-12-10 2006-07-27 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates
CN101924753A (zh) * 2009-06-12 2010-12-22 索尼公司 信息处理装置、同步校正方法和计算机程序
CN102160390A (zh) * 2009-06-10 2011-08-17 索尼公司 信息处理设备、方法及程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3825677B2 (ja) * 2001-08-07 2006-09-27 株式会社ルネサステクノロジ ディジタル信号処理装置、ｄｖデコーダ及びこれを用いた記録装置及び信号処理方法
KR20040020639A (ko) * 2002-08-31 2004-03-09 삼성전자주식회사 실시간 멀티미디어 데이터 생성율의 동적 제어방법 및 그장치
EP1450514A1 (en) * 2003-02-18 2004-08-25 Matsushita Electric Industrial Co., Ltd. Server-based rate control in a multimedia streaming environment
JP4623650B2 (ja) * 2005-09-06 2011-02-02 パナソニック株式会社 動画像符号化装置，動画像符号化方法
US8356324B2 (en) * 2007-09-21 2013-01-15 Broadcom Corporation Implementing network personal video recorder for digital video settop boxes
KR101610765B1 (ko) * 2008-10-31 2016-04-11 삼성전자주식회사 음성 신호의 부호화/복호화 방법 및 장치
JP5538843B2 (ja) 2009-12-03 2014-07-02 三菱電機株式会社 コンテンツ再生装置及び方法
GB2477515B (en) * 2010-02-03 2012-09-26 Orbital Multi Media Holdings Corp Data flow control method and apparatus
WO2011120204A1 (en) * 2010-04-02 2011-10-06 Telefonaktiebolaget L M Ericsson (Publ) Methods, apparatuses and computer program products for pausing video streaming content
US20120200774A1 (en) * 2011-02-07 2012-08-09 Ehlers Sr Gregory Allen Audio and video distribution system with latency delay compensator

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045051A (ja) * 1999-07-27 2001-02-16 Victor Co Of Japan Ltd サーバクライアント型システム
CN1443403A (zh) * 2000-07-20 2003-09-17 汤姆森特许公司 异步数字家庭网络中的多媒体抖动消除
US20040109519A1 (en) * 2002-09-09 2004-06-10 Kenichi Mizukami Synchronization method and system, and decoder
US20060165166A1 (en) * 2004-12-10 2006-07-27 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates
CN102160390A (zh) * 2009-06-10 2011-08-17 索尼公司 信息处理设备、方法及程序
CN101924753A (zh) * 2009-06-12 2010-12-22 索尼公司 信息处理装置、同步校正方法和计算机程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278459A (zh) * 2018-03-16 2019-09-24 上海小麦互动企业发展有限公司 内容控制系统及其控制方法

Also Published As

Publication number Publication date
CN103716650B (zh) 2018-02-27
JP2014075736A (ja) 2014-04-24
US20140101327A1 (en) 2014-04-10
US9560105B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
US11368731B2 (en) Method and apparatus for segmenting data
CN104618786A (zh) 音视频同步方法和装置
WO2014054325A1 (ja) 符号化制御装置および符号化制御方法
CN104919780A (zh) 针对超文本传输协议(http)请求的弹性响应时间
CN112437122A (zh) 通信方法、装置、计算机可读介质及电子设备
WO2020125153A1 (zh) 一种基于流媒体技术的网络视频流畅播放控制方法
CN106385620A (zh) 一种基于流媒体的数据平滑输出方法
CN113661692B (zh) 接收媒体数据的方法、装置和非易失性计算机可读存储介质
US10701124B1 (en) Handling timestamp inaccuracies for streaming network protocols
CN114358307A (zh) 基于差分隐私法的联邦学习方法及装置
CN103716596B (zh) 图像处理装置和图像处理方法
JP2008022070A (ja) コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ再生端末、プログラム、コンテンツ配信方法
CN103716650A (zh) 服务器装置和信息处理方法
CN113490029A (zh) 视频播放方法、装置、设备及存储介质
CN103716651A (zh) 图像处理装置、图像处理方法和图像处理系统
US9350796B2 (en) Method and device for receiving multimedia data
CN111327864A (zh) 一种视频通话控制方法、装置、终端设备及存储介质
CN113965779A (zh) 云游戏数据的传输方法、装置、系统及电子设备
WO2023098800A1 (zh) 信息传输方法、装置、终端及网络侧设备
CN111246276A (zh) 一种远程课件播放方法及装置、电子设备
WO2024066362A1 (zh) 数据传输方法、装置、计算机可读介质及电子设备
WO2023098799A1 (zh) 信息传输方法、装置、终端及网络侧设备
CN115942297A (zh) 信息接收、信息上报方法、装置、设备及计算机存储介质
CN105392040A (zh) 一种多设备同步暂停和播放的控制方法及控制系统
WO2024069487A1 (en) Determining a monitoring window for control information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant