JP2022551587A - クラウドゲームサーバとクライアント間のｖｓｙｎｃの同期及びオフセット - Google Patents

クラウドゲームサーバとクライアント間のｖｓｙｎｃの同期及びオフセット Download PDF

Info

Publication number
JP2022551587A
JP2022551587A JP2022520318A JP2022520318A JP2022551587A JP 2022551587 A JP2022551587 A JP 2022551587A JP 2022520318 A JP2022520318 A JP 2022520318A JP 2022520318 A JP2022520318 A JP 2022520318A JP 2022551587 A JP2022551587 A JP 2022551587A
Authority
JP
Japan
Prior art keywords
client
server
vsync
video frames
vsync signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022520318A
Other languages
English (en)
Other versions
JPWO2021067317A5 (ja
Inventor
イー． サーニー マーク
エム． ヨン ケルビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2022551587A publication Critical patent/JP2022551587A/ja
Publication of JPWO2021067317A5 publication Critical patent/JPWO2021067317A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3225—Data transfer within a gaming system, e.g. data sent between gaming machines and users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5593—Details of game data or player data management involving scheduling aspects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/638—Methods for processing data by generating or executing the game program for controlling the execution of the game in time according to the timing of operation or a time limit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

サーバにおいて、サーバＶＳＹＮＣ信号をサーバＶＳＹＮＣ周波数に設定することを含む方法が開示される。サーバＶＳＹＮＣ信号は、サーバＶＳＹＮＣ周波数の複数のフレーム期間中のビデオフレームの生成に対応する。この方法では、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定する。この方法では、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに圧縮ビデオフレームを送信し、圧縮ビデオフレームは、生成ビデオフレームに基づいている。この方法では、クライアントで、圧縮ビデオフレームを復号及び表示し、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間の相対的なタイミングを調整する。【選択図】図４

Description

本開示は、ネットワークを介してコンテンツをストリーミングするように構成されたストリーミングシステム、より具体的には、クラウドゲームサーバとクライアントとの間の待ち時間を短縮するためのクラウドゲームサーバとクライアントとの間の垂直同期（ＶＳＹＮＣ）信号の同期に関する。
近年、クラウドゲームサーバとネットワークを介して接続されたクライアントとの間でストリーミング形式のオンラインまたはクラウドゲームを可能にするオンラインサービスが継続的に推進されている。ストリーミング形式は、オンデマンドのゲームタイトルの利用可能性、マルチプレイヤーゲームのためのプレイヤー間のネットワーク機能、プレイヤー間の資産の共有、プレイヤー及び／または観客間のインスタントエクスペリエンスの共有、友人がフレンドプレイビデオゲームを見ることを可能にする、友人を友人の進行中のゲームプレイに参加させるなどにより、いっそう人気が高まっている。残念ながら、需要は、ネットワーク接続の機能と、クライアントに配信される高品質の画像をレンダリングするのに十分な応答性を備えたサーバとクライアントで実行される処理の制限にも押し上げられている。
例えば、サーバで実行されるすべてのゲームアクティビティの結果は、最高のユーザエクスペリエンスを実現するために、圧縮して、低いミリ秒の待ち時間でクライアントに送り返す必要がある。ラウンドトリップの待ち時間は、ユーザのコントローラ入力からクライアントでのビデオフレームの表示までの全体的な時間として定義できる。これには、コントローラからクライアントへの制御情報の処理と送信、クライアントからサーバへの制御情報の処理と送信、入力に応答するビデオフレームを生成するためのサーバでのその入力の使用、エンコーディングユニットへのビデオフレームの処理と転送（スキャンアウトなど）、ビデオフレームの符号化、クライアントへの符号化されたビデオフレームの送り返し、ビデオフレームの受信と復号、及び表示前のビデオフレームのいずれかの処理またはステージングが含まれる場合がある。
一方向の待ち時間は、サーバでのビデオフレームの符号化ユニットへの転送（スキャンアウトなど）の開始から、クライアントでのビデオフレームの表示の開始までの時間で構成されるラウンドトリップ待ち時間の一部として定義できる。ラウンドトリップ及び一方向の待ち時間の一部は、データストリームが通信ネットワークを介してクライアントからサーバに送信され、サーバからクライアントに送信されるのにかかる時間に関連している。別の部分は、クライアントとサーバでの処理に関連している。フレームの復号と表示に関連する高度な戦略などの、これらの操作の改善により、サーバとクライアント間のラウンドトリップと一方向の待ち時間が大幅に削減され、クラウドゲームサービスのユーザに良質のエクスペリエンスが提供される。
本開示の実施形態は、このような背景の下になされたものである。
本開示の実施形態は、ネットワークを介してコンテンツ（例えば、ゲーム）をストリーミングするように構成されたストリーミングシステム、より具体的には、クラウドゲームサーバとクライアントとの間の待ち時間を短縮することを目的とした、クラウドゲームサーバとクライアントとの間のＶＳＹＮＣ信号の同期に関する。この特許出願の文脈では、「同期」とは、周波数が一致するように信号を調整することを意味すると解釈されるべきだが、位相は異なる場合がある。「オフセット」は、信号間の時間の遅延を意味すると解釈する必要がある。例えば、一方の信号が最大に達してからもう一方の信号が最大に達するまでの時間である。
本開示の実施形態は、方法を開示する。方法は、サーバで、サーバＶＳＹＮＣ信号をサーバＶＳＹＮＣ周波数に設定し、サーバＶＳＹＮＣ信号がサーバＶＳＹＮＣ周波数の複数のフレーム期間中のサーバでの複数のビデオフレームの生成に対応する、設定することを含む。方法は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定することを含む。方法は、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信することを含む。方法は、クライアントで、複数の圧縮ビデオフレームを復号及び表示することを含む。方法は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間の相対的なタイミングを調整することを含む。
本開示の実施形態は、方法を開示する。方法は、フレーム期間がほぼ等しいサイズである、複数のフレーム期間の間にサーバで複数のビデオフレームを生成することを含む。方法は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定することを含む。方法は、複数のビデオフレームに基づく複数の圧縮ビデオフレームをサーバからクライアントに送信することを含む。方法は、クライアントで、複数の圧縮ビデオフレームを復号及び表示することを含む。方法は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、クライアントＶＳＹＮＣ信号の相対的なタイミングを調整し、サーバで複数の圧縮ビデオフレームを生成することを含む。
本開示の他の実施形態は、方法を実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体を開示する。コンピュータ可読媒体は、サーバで、サーバＶＳＹＮＣ信号をサーバＶＳＹＮＣ周波数に設定するためのプログラム命令であって、サーバＶＳＹＮＣ信号がサーバＶＳＹＮＣ周波数の複数のフレーム期間中のサーバでの複数のビデオフレームの生成に対応するプログラム命令を含む。コンピュータ可読媒体は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定するためのプログラム命令を含む。コンピュータ可読媒体は、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信するためのプログラム命令を含む。コンピュータ可読媒体は、クライアントで複数の圧縮ビデオフレームを復号及び表示するためのプログラム命令を含む。コンピュータ可読媒体は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間の相対的なタイミングを調整するためのプログラム命令を含む。
本開示の他の実施形態では、プロセッサと、プロセッサに結合されたメモリとを含むコンピュータシステムが開示され、メモリは命令を格納しており、当命令は、コンピュータシステムにより実行されると、方法をコンピュータシステムに実行させる。方法は、サーバで、サーバＶＳＹＮＣ信号をサーバＶＳＹＮＣ周波数に設定し、サーバＶＳＹＮＣ信号がサーバＶＳＹＮＣ周波数の複数のフレーム期間中のサーバでの複数のビデオフレームの生成に対応する、設定することを含む。方法は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定することを含む。方法は、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信することを含む。方法は、クライアントで、複数の圧縮ビデオフレームを復号及び表示することを含む。方法は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間の相対的なタイミングを調整することを含む。
本開示の他の実施形態は、別の方法を開示する。方法は、サーバで、サーバＶＳＹＮＣ信号を複数のフレーム期間を定義するサーバＶＳＹＮＣ周波数に設定し、サーバＶＳＹＮＣ信号が複数のフレーム期間中のサーバでの複数のビデオフレームの生成に対応する、設定することを含む。方法は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定することを含む。方法は、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信することを含む。方法は、クライアントで、複数の圧縮ビデオフレームを復号及び表示することを含む。方法は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、クライアントにより使用されるフレームバッファリングの量を設定することを含む。
本開示の他の実施形態は、方法を実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体を開示する。コンピュータ可読媒体は、サーバで、サーバＶＳＹＮＣ信号を複数のフレーム期間を定義するサーバＶＳＹＮＣ周波数に設定するためのプログラム命令であって、サーバＶＳＹＮＣ信号が複数のフレーム期間中のサーバでの複数のビデオフレームの生成に対応する、設定するためのプログラム命令を含む。コンピュータ可読媒体は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定するためのプログラム命令を含む。コンピュータ可読媒体は、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信するためのプログラム命令を含む。コンピュータ可読媒体は、クライアントで複数の圧縮ビデオフレームを復号及び表示するためのプログラム命令を含む。コンピュータ可読媒体は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、クライアントにより使用されるフレームバッファリングの量を設定するためのプログラム命令を含む。
本開示の他の実施形態では、プロセッサと、プロセッサに結合されたメモリとを含むコンピュータシステムが開示され、メモリは命令を格納しており、当命令は、コンピュータシステムにより実行されると、方法をコンピュータシステムに実行させる。方法は、サーバで、サーバＶＳＹＮＣ信号を複数のフレーム期間を定義するサーバＶＳＹＮＣ周波数に設定し、サーバＶＳＹＮＣ信号が複数のフレーム期間中のサーバでの複数のビデオフレームの生成に対応する、設定することを含む。方法は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定することを含む。方法は、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信することを含む。方法は、クライアントで、複数の圧縮ビデオフレームを復号及び表示することを含む。方法は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、クライアントにより使用されるフレームバッファリングの量を設定することを含む。
本開示の他の実施形態は、別の方法を開示する。方法は、複数のデバイスにおいて、複数のＶＳＹＮＣ信号を複数のＶＳＹＮＣ周波数に設定することを含み、対応するデバイスの対応するデバイスＶＳＹＮＣ信号は、対応するデバイスＶＳＹＮＣ周波数に設定される。方法は、複数のデバイス間で複数の信号を送信することを含み、これは、少なくとも２つのデバイスの対応するデバイスＶＳＹＮＣ信号間の相対的なタイミングを調整するために分析及び使用される。
本開示の他の実施形態は、方法を実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体を開示する。コンピュータ可読媒体は、複数のデバイスにおいて、複数のＶＳＹＮＣ信号を複数のＶＳＹＮＣ周波数に設定するためのプログラム命令であって、対応するデバイスの対応するデバイスＶＳＹＮＣ信号は、対応するデバイスＶＳＹＮＣ周波数に設定する、プログラム命令を含む。コンピュータ可読媒体は、複数のデバイス間で複数の信号を送信するためのプログラム命令であって、少なくとも２つのデバイスの対応するデバイスＶＳＹＮＣ信号間の相対的なタイミングを調整するために分析及び使用されるプログラム命令を含む。
本開示の他の実施形態では、プロセッサと、プロセッサに結合されたメモリとを含むコンピュータシステムが開示され、メモリは命令を格納しており、当命令は、コンピュータシステムにより実行されると、方法をコンピュータシステムに実行させる。方法は、複数のデバイスにおいて、複数のＶＳＹＮＣ信号を複数のＶＳＹＮＣ周波数に設定することを含み、対応するデバイスの対応するデバイスＶＳＹＮＣ信号は、対応するデバイスＶＳＹＮＣ周波数に設定される。方法は、複数のデバイス間で複数の信号を送信することを含み、これは、少なくとも２つのデバイスの対応するデバイスのＶＳＹＮＣ信号間の相対的なタイミングを調整するために分析及び使用される。
本開示の他の実施形態は、別の方法を開示する。方法は、クライアントで符号化されたビデオフレームを受信することを含み、サーバがアプリケーションを実行してレンダリングされたビデオフレームを生成し、それが次にサーバのエンコーダで符号化されたビデオフレームとして符号化され、符号化されたビデオフレームは、圧縮された１つまたは複数の符号化されたスライスを含む。方法は、１つまたは複数の復号されたスライスを生成するために、クライアントのデコーダで１つまたは複数の符号化されたスライスを復号することを含む。方法は、クライアントで表示するために１つ以上の復号されたスライスをレンダリングすることを含む。方法は、クライアントで１つまたは複数の符号化されたスライスを完全に受信する前にレンダリングされる１つまたは複数の復号されたスライスの表示を開始することを含む。
本開示の他の実施形態は、方法を実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体を開示する。コンピュータ可読媒体は、クライアントで符号化されたビデオフレームを受信するためのプログラム命令であって、サーバがアプリケーションを実行してレンダリングされたビデオフレームを生成し、それが次にサーバのエンコーダで符号化されたビデオフレームとして符号化され、符号化されたビデオフレームは、圧縮された１つまたは複数の符号化されたスライスを有するものであるプログラム命令を含む。コンピュータ可読媒体は、クライアントのデコーダで１つまたは複数の符号化されたスライスを復号して１つまたは複数の復号されたスライスを生成するためのプログラム命令を含む。コンピュータ可読媒体は、クライアントで表示するために１つまたは複数の復号されたスライスをレンダリングするためのプログラム命令を含む。コンピュータ可読媒体は、クライアントで１つまたは複数の符号化されたスライスを完全に受信する前にレンダリングされる１つまたは複数の復号されたスライスの表示を開始するプログラム命令を含む。
本開示の他の実施形態では、プロセッサと、プロセッサに結合されたメモリとを含むコンピュータシステムが開示され、メモリは命令を格納しており、当命令は、コンピュータシステムにより実行されると、方法をコンピュータシステムに実行させる。方法は、クライアントで符号化されたビデオフレームを受信することを含み、サーバがアプリケーションを実行してレンダリングされたビデオフレームを生成し、それが次にサーバのエンコーダで符号化されたビデオフレームとして符号化され、符号化されたビデオフレームは、圧縮された１つまたは複数の符号化されたスライスを含む。方法は、１つまたは複数の復号されたスライスを生成するために、クライアントのデコーダで１つまたは複数の符号化されたスライスを復号することを含む。方法は、クライアントで表示するために１つ以上の復号されたスライスをレンダリングすることを含む。方法は、クライアントで１つまたは複数の符号化されたスライスを完全に受信する前にレンダリングされる１つまたは複数の復号されたスライスの表示を開始することを含む。
本開示の他の態様は、本開示の原理を例として示す、添付図面を併用して以下の詳細な説明から明らかになるであろう。
本開示は、添付図面と併せて、以下の詳細な説明を参照することにより、最も良く理解することができる。
図１Ａは、本開示の一実施形態による、フレーム期間の開始時のＶＳＹＮＣ信号の図である。図１Ｂは、本開示の一実施形態による、ＶＳＹＮＣ信号の周波数の図である。 本開示の一実施形態による、様々な構成において、１つまたは複数のクラウドゲームサーバと１つまたは複数のクライアントデバイスとの間のネットワークを介してゲームを提供するためのシステムの図であり、ＶＳＹＮＣ信号を同期及びオフセットして、一方向の待ち時間を短縮することができる。 本開示の一実施形態による、２つ以上のピアデバイス間でのゲームを提供するための図であり、ＶＳＹＮＣ信号を同期及びオフセットして、デバイス間のコントローラ及び他の情報の受信の最適なタイミングを達成することができる。 本開示の一実施形態による、ソースデバイスとターゲットデバイスとの間のＶＳＹＮＣ信号の適切な同期及びオフセットから利益を得る様々なネットワーク構成を示す。 本開示の一実施形態による、ソースデバイスとターゲットデバイスとの間のＶＳＹＮＣ信号の適切な同期及びオフセットから利益を得る、クラウドゲームサーバと複数のクライアントとの間のマルチテナンシー構成を示す。 本開示の一実施形態による、サーバ上で実行されるビデオゲームから生成されたビデオフレームをストリーミングするときのクロックドリフトによるクラウドゲームサーバとクライアントとの間の一方向の待ち時間の変動を示す。 本開示の一実施形態による、サーバ上で実行されるビデオゲームから生成されたビデオフレームをストリーミングするときのクラウドゲームサーバ及びクライアントを含むネットワーク構成を示し、サーバとクライアントとの間のＶＳＹＮＣ信号は、サーバとクライアントでの操作の重複を可能にするために、及びサーバとクライアントとの間の一方向の待ち時間を短縮するために同期及びオフセットされる。 本開示の一実施形態による、クラウドゲームサーバとクライアントでのそれぞれのクロック間のドリフトによる、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングの可能な変動、及びクライアント及びサーバの動作にかかる時間及びネットワーク待ち時間の変動を示す図である。 本開示の一実施形態による、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングを示すヒストグラムを含み、クラウドゲームサーバとクライアントでのそれぞれのクロック間のドリフトによる後続のヒストグラムにおける測定される復号時間の増加を示す。 本開示の一実施形態による、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングを示すヒストグラムを含み、クラウドゲームサーバとクライアントでのそれぞれのクロック間の測定されるドリフトの補償後、後続のヒストグラムにおける復号時間の首尾一貫した測定値を示す。 本開示の一実施形態による、一方向の待ち時間を短縮する目的で、クラウドゲームサーバとクライアントとの間でＶＳＹＮＣ信号を調整するための方法を示す流れ図である。 本開示の一実施形態による、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングの分布を提供するヒストグラムの構築を含む、一方向の待ち時間を短縮する目的で、クラウドゲームサーバとクライアントとの間でＶＳＹＮＣ信号の調整を実行するときにＶＳＹＮＣ信号をアライメントさせる方法を示す流れ図であり、ヒストグラムがサーバとクライアントでのＶＳＹＮＣ信号間のオフセットの調整を決定するために構成され、ヒストグラムはまた、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間のドリフトを決定するために構成される。 本開示の一実施形態による、一方向の待ち時間を短縮する目的で、クラウドゲームサーバとクライアントとの間でＶＳＹＮＣ信号の調整を実行するときにＶＳＹＮＣ信号を同期させるための別の方法を示す流れ図である。 本開示の一実施形態による、サーバでの圧縮ビデオフレームの生成に関連してクライアントＶＳＹＮＣ信号を調整するための方法を示す流れ図であり、ビデオフレームは、同様のサイズのフレーム期間中に生成される。 本開示の一実施形態による、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングの分布を提供するヒストグラムの構築を示す図であり、ヒストグラムが、サーバとクライアントでのＶＳＹＮＣ信号間のオフセットの調整を決定するために構成されている。 本開示の一実施形態による、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングの分布を提供するヒストグラムの図であり、ヒストグラムが、サーバとクライアントでのＶＳＹＮＣ信号間のオフセットの調整を決定するために構成されている。 サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングの分布を提供するヒストグラムを構築するための方法を示す流れ図であり、ヒストグラムは、クライアントで復号されたビデオフレームの必要なバッファリングの量を決定するために構成されている。 本開示の一実施形態による、２つ以上のデバイス間のＶＳＹＮＣ信号間の相対的なタイミングを調整するための方法を示す流れ図である。 本開示の一実施形態による、クライアントで表示するための解凍されたビデオフレームの受信、復号、及びレンダリングの重複を示している。 本開示の一実施形態による、クラウドゲームの方法を示す流れ図であり、符号化されたフレームがサーバからクライアントで受信され、復号されて表示のためにレンダリングされ、ビデオフレームの復号及び表示は、一方向の待ち時間を短縮する目的で重複することができる。 本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイスの構成要素を示す。
以下の詳細な説明は、例示の目的で多くの特定の詳細を含むが、当業者であれば、以下の詳細に対する多くの変形及び変更が本開示の範囲内にあることを理解するであろう。したがって、以下で説明される本開示の態様は、この説明に続く特許請求の範囲への一般性を失うことなく、また限定を課すことなく示される。
概して、本開示の様々な実施形態は、メディアコンテンツをストリーミングするとき（例えば、ビデオゲームからオーディオ及びビデオをストリーミングするとき）、ソースデバイスとターゲットデバイスとの間の待ち時間及び／または待ち時間の不安定性を低減するように構成された方法及びシステムを説明する。特に、本開示のいくつかの実施形態では、クラウドゲームサーバとクライアントとの間のＶＳＹＮＣ信号は同期され、オフセットされる。クラウドゲームサーバとクライアントでのクロックの違いにより、クラウドゲームサーバとクライアントのＶＳＹＮＣ信号が相互にドリフトする。このドリフトは、最大フレーム期間の待ち時間の不安定性につながる。例えば、ゲームがビデオフレーム生成のために６０Ｈｚで実行されている場合、経時的に変化する追加の０～１６．７ミリ秒の待ち時間がある。クライアントでの圧縮ビデオフレームの最悪または最悪に近い場合の到着時間を分析することにより、クラウドゲームサーバとクライアントの間の理想的なＶＳＹＮＣ関係を決定することができる。この理想的な関係は、クラウドゲームサーバまたはクライアントのいずれかでＶＳＹＮＣ周波数を調整することで確立できるため、待ち時間の不安定性を取り除くことができる。
本開示の他の実施形態では、ゲーム機（例えば、ゲームコンソール）間のＶＳＹＮＣ信号は、同期され、オフセットされて、ピアデバイス間の理想的なＶＳＹＮＣ関係及び最小の一方向の待ち時間を提供する。特に、対面型のゲームにおけるピアデバイス（ゲーム機など）間のクロックの違いにより、それらのＶＳＹＮＣ信号は相互にドリフトし、最大でフレーム期間の待ち時間が不安定になる。例えば、ゲームがビデオフレーム生成のために６０Ｈｚで実行されている場合、経時的に変化する追加の０～１６．７ミリ秒の待ち時間がある。タイムスタンプ情報を交換することにより、ピアデバイス間の理想的なＶＳＹＮＣ関係を決定することができる。この理想的な関係は、ピアデバイスのいずれかでＶＳＹＮＣ周波数を調整することで確立できるため、待ち時間の不安定性を取り除くことができる。
本開示のさらに他の実施形態では、動的クライアントバッファリング、及びクラウドゲームサーバからクライアントで受信されたビデオフレームの選択された使用は、待ち時間の短縮及び調整をもたらす。ビデオフレームの生成のサーバ側のタイミングに関する知識により、クライアントは各フレームの理想的な表示時間を決定できる。クライアントへの圧縮ビデオフレームの到着時間の変動性に基づいて、フレームのバッファリング（シングルバッファリング、ダブルバッファリング、トリプルバッファリングなど）を動的に調整できる。待ち時間到着フレームの表示をスキップすることを選択するなどの、待ち時間の調整がまた、発生し得る。本開示の他の実施形態では、クラウドゲームサーバとクライアントとの間の一方向の待ち時間は、圧縮ビデオフレームとそれらのディスプレイの復号を重複させることによって低減され得る。クラウドゲームのクライアントは、クラウドゲームサーバから圧縮ビデオフレームを受信し、圧縮ビデオフレームを復号する。フレームがクライアントで完全に受信または復号される前にビデオフレームの表示を開始することにより、一方向の待ち時間を減らすことができる。表示のための送信のタイミングは、圧縮ビデオフレームの受信と復号に必要な残り時間を予測する必要がある。
特に、サーバで複雑なフレーム（シーンの変更など）を生成するために必要な追加の時間、サーバで複雑なフレームを符号化／圧縮するための時間の増加、ネットワークを介した可変の通信パス、及びクライアントで複雑なフレームを復号するための時間の増加のために、サーバとクライアントの間に待ち時間の不安定性が生じる可能性がある。また、サーバとクライアントのクロックの違いが原因で待ち時間が不安定になることもある。これにより、サーバとクライアントのＶＳＹＮＣ信号がドリフトする。一実施形態では、この待ち時間の不安定性は、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号のいずれかを調整して、サーバＶＳＹＮＣ信号及びクライアントＶＳＹＮＣ信号を同期されたアライメントに戻す（例えば、同じ周波数で動作する）ことによって取り除くことができる。
別の実施形態では、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間のタイミングオフセットを調整することは、クライアントでビデオフレームを受信及び表示するときの最悪に近い場合の待ち時間の条件を考慮することによって一方向の待ち時間を減らす。さらに別の実施形態では、クライアント側の動的バッファリングは、待ち時間が増加するときにクライアントでより多くの表示バッファを提供し、待ち時間が減少するときに使用する表示バッファを少なくすることによって、追加の待ち時間調整を提供する。別の実施形態では、一方向の待ち時間は、クライアントでのビデオフレームの復号と表示を重複させることによってさらに減らすことができる。
上記の様々な実施形態の全般的な理解により、これより様々な図面を参照して実施形態の例の詳細を説明する。
本明細書全体を通して、「ゲーム」「ビデオゲーム」、または「ゲームアプリケーション」または「アプリケーション」に対する言及は、入力コマンドの実行を通して指示されるいずれかのタイプのインタラクティブアプリケーションを表現することを意味する。例示のみを目的として、対話型アプリケーションは、ゲーミング、文書処理、ビデオ処理、ビデオゲーム処理などのためのアプリケーションを含む。さらに、上で導入されている用語は、交換可能である。
クラウドゲームには、サーバでビデオゲームを実行して、ゲームでレンダリングされたビデオフレームを生成し、次いでそれをクライアントに送信して表示することが含まれる。サーバとクライアントの両方での操作のタイミングは、それぞれの垂直同期（ＶＳＹＮＣ）パラメータに関連付けられている場合がある。ＶＳＹＮＣ信号がサーバ及び／またはクライアント間で適切に同期及び／またはオフセットされると、サーバで実行される操作（例えば、１つ以上のフレーム期間にわたるビデオフレームの生成と送信）は、クライアントで実行される操作と同期される（例えば、フレーム期間に対応する表示フレームまたはリフレッシュレートでディスプレイにビデオフレームを表示する）。特に、サーバで生成されたサーバＶＳＹＮＣ信号とクライアントで生成されたクライアントＶＳＹＮＣ信号は、サーバとクライアントでの動作を同期させるために使用され得る。つまり、サーバとクライアントのＶＳＹＮＣ信号が同期及び／またはオフセットされると、サーバは、クライアントがそれらのビデオフレームを表示する方法と同期してビデオフレームを生成及び送信する。
サーバとクライアント間でメディアコンテンツをストリーミングするときにビデオフレームを生成し、それらのビデオフレームを表示するために、ＶＳＹＮＣシグナリングと垂直帰線区間（ＶＢＩ）が組み込まれている。例えば、サーバは、対応するサーバＶＳＹＮＣ信号で定義された１つまたは複数のフレーム期間で、ゲームレンダリングされたビデオフレームを生成しようとし（例えば、フレーム期間が１６．７ｍｓの場合、フレーム期間ごとにビデオフレームを生成すると、６０Ｈｚの動作になり、２つのフレーム期間ごとに１つのビデオフレームを生成すると、３０Ｈｚの動作になる）、その後、そのビデオフレームを符号化してクライアントに送信する。クライアントでは、受信した符号化されたビデオフレームが復号されて表示され、クライアントは、対応するクライアントＶＳＹＮＣで始まる表示用にレンダリングされた各ビデオフレームを表示する。
説明のために、図１Ａは、ＶＳＹＮＣ信号１１１がフレーム期間の開始をどのように示し得るかを示し、ここで、様々な動作が、サーバ及び／またはクライアントで対応するフレーム期間中に実行され得る。メディアコンテンツをストリーミングする場合、サーバはビデオフレームの生成と符号化にサーバＶＳＹＮＣ信号を使用し、クライアントはビデオフレームの表示にクライアントＶＳＹＮＣ信号を使用する場合がある。ＶＳＹＮＣ信号１１１は、図１Ｂに示すように、定義されたフレーム期間１１０に対応する定義された周波数で生成される。さらに、ＶＢＩ１０５は、前のフレーム期間に最後のラスターラインがディスプレイに描画されてから最初のラスター線（例えば、上）がディスプレイに描画されるまでの期間を定義する。示されるように、ＶＢＩ１０５の後、表示のためにレンダリングされたビデオフレームは、ラスタースキャンライン１０６を介して表示される（例えば、左から右へのラスターラインごとのラスターライン）。
さらに、本開示の様々な実施形態が、メディアコンテンツ（例えば、ビデオゲームコンテンツ）をストリーミングする場合など、ソースデバイスとターゲットデバイスとの間の一方向の待ち時間及び／または待ち時間の不安定性を低減するために開示される。説明のみを目的として、一方向の待ち時間及び／または待ち時間の不安定性を低減するための様々な実施形態が、サーバ及びクライアントのネットワーク構成内で説明されている。しかし、一方向の待ち時間及び／または待ち時間の不安定性を低減するために開示された様々な技術は、図２Ａ～２Ｄに示されるように、他のネットワーク構成内、及び／またはピアツーピアネットワーク上で実施され得ることが理解される。例えば、一方向の待ち時間及び／または待ち時間の不安定性を低減するために開示される様々な実施形態は、様々な構成（例えば、サーバとクライアント、サーバとサーバ、サーバと複数のクライアント、サーバと複数のサーバ、クライアントとクライアント、クライアントと複数のクライアントなど）におけるサーバ及びクライアントデバイスの１つまたは複数の間で実装され得る。
図２Ａは、本開示の実施形態により、様々な構成において、１つまたは複数のクラウドゲームネットワーク２９０及び／またはサーバ２６０と１つまたは複数のクライアントデバイス２１０との間のネットワーク２５０を介してゲームを提供するためのシステム２００Ａの図であり、サーバ及びクライアントのＶＳＹＮＣ信号を同期及びオフセットさせることができ、及び／または動的バッファリングがクライアントで実行される場合、及び／またはクライアントでの復号及び表示操作を重複させて、サーバ２６０とクライアント２１０との間の一方向の待ち時間を短縮することができる。特に、システム２００Ａは、クラウドゲームネットワーク２９０を介してゲームを提供し、本開示の一実施形態によれば、ゲームは、ゲームをプレイしている対応するユーザのクライアントデバイス２１０（例えば、シンクライアント）からリモートで実行されている。システム２００Ａは、シングルプレイヤーモードまたはマルチプレイヤーモードのいずれかで、ネットワーク２５０を介してクラウドゲームネットワーク２９０を介して１つまたは複数のゲームをプレイする１人または複数のユーザにゲームのコントロールをもたらすことができる。いくつかの実施形態において、クラウドゲームネットワーク２９０は、ホストマシンのハイパーバイザ上で実行する複数の仮想マシン（ＶＭ）を含むことができ、１つ以上の仮想マシンは、ホストのハイパーバイザに利用可能であるハードウェアリソースを利用するゲームプロセッサモジュールを実行するように構成される。ネットワーク２５０は、１つまたは複数の通信技術を含み得る。いくつかの実施形態では、ネットワーク２５０は、高度な無線通信システムを有する第５世代（５Ｇ）ネットワーク技術を含み得る。
いくつかの実施形態では、通信は、無線技術を使用して促進され得る。そのような技術には、例えば、５Ｇ無線通信技術が含まれ得る。５Ｇは、セルラーネットワークテクノロジーの第５世代である。５Ｇネットワークはデジタルセルラーネットワークであり、プロバイダーがカバーするサービスエリアはセルと呼ばれる小さな地理的エリアに分割されている。音と画像を表すアナログ信号は、電話でデジタル化され、アナログデジタルコンバーターによって変換され、ビットのストリームとして送信される。セル内のすべての５Ｇワイヤレスデバイスは、他のセルで再利用される周波数のプールからトランシーバーによって割り当てられた周波数チャネルを介して、セル内のローカルアンテナアレイ及び低電力自動トランシーバー（送信機兼受信機）と電波で通信する。ローカルアンテナは、高帯域幅光ファイバまたは無線バックホール接続によって、電話網及びインターネットに接続される。他のセルネットワークと同様に、あるセルから別のセルに移動するモバイルデバイスは、新しいセルに自動的に転送される。５Ｇネットワークは単なる一例のタイプの通信ネットワークであり、本開示の実施形態は、５Ｇに続く後の世代の有線または無線技術と同様に、前世代の無線または有線通信を利用することができることを理解されたい。
示されるように、ゲームネットワーク２９０は、複数のビデオゲームへのアクセスを提供するゲームサーバ２６０を含む。ゲームサーバ２６０は、クラウド内で利用可能な任意の種類のサーバコンピューティングデバイスであり得るもので、１つ以上のホストで実行される１つ以上の仮想マシンとして構成され得る。例えば、ゲームサーバ２６０は、ユーザのゲームのインスタンスをインスタンス化するゲームプロセッサをサポートする仮想マシンを管理し得る。よって、複数の仮想マシンに対応付けられたゲームサーバ２６０の複数のゲームプロセッサは、複数のユーザのゲームプレイに関連付けられた１つまたは複数のゲームの複数のインスタンスを実行するように構成される。そのようにして、バックエンドサーバサポートは、複数のゲームアプリケーションのゲームプレイのメディア（例えば、ビデオ、オーディオなど）のストリーミングを、対応する複数のユーザに提供する。
つまり、ゲームサーバ２６０は、ネットワーク２５０を介して、データ（例えば、対応するゲームプレイのレンダリングされた画像及び／またはフレーム）を対応するクライアントデバイス２１０にストリーミング返信するように構成される。そのようにして、クライアントデバイス２１０によって受信されて転送されたコントローラの入力に応答して、計算の複雑なゲームアプリケーションが、バックエンドサーバで実行し続けることができる。各サーバは、画像及び／またはフレームをレンダリングし、次いでそれらを符号化（例えば、圧縮）して、対応するクライアントデバイスにストリーミングして表示することが可能である。
例えば、複数のユーザは、ストリーミングメディアを受信するように構成された対応するクライアントデバイス２１０を使用して、通信ネットワーク２５０を介して、クラウドゲームネットワーク２９０にアクセスすることができる。一実施形態では、クライアントデバイス２１０は、計算機能（例えば、ゲームタイトル処理エンジン２１１を含む）を提供するように構成されたバックエンドサーバ（例えば、クラウドゲームネットワーク２９０のゲームサーバ２６０）とのインターフェースを提供するシンクライアントとして構成され得る。別の実施形態では、クライアントデバイス２１０は、ビデオゲームの少なくともいくつかのローカル処理のためのゲームタイトル処理エンジン及びゲームロジックで構成され得るもので、バックエンドサーバで実行されるビデオゲームによって生成されるストリーミングコンテンツを受信するために、またはバックエンドサーバサポートによって提供されるその他のコンテンツ用に、さらに利用され得る。ローカル処理の場合、ゲームタイトル処理エンジンには、ビデオゲームを実行するための基本的なプロセッサベースの機能と、ビデオゲームに関連するサービスが含まれている。ゲームロジックは、ローカルクライアントデバイス２１０に格納され、ビデオゲームを実行するために使用される。
特に、対応するユーザ（示さず）のクライアントデバイス２１０は、インターネットなどの通信ネットワーク２５０経由でゲームへのアクセスを要求するために、及びゲームサーバ２６０により実行されるビデオゲームにより生成される表示画像をレンダリングするために構成され、その場合に符号化された画像が対応するユーザと関連する表示のためにクライアントデバイス２１０へ配信されている。例えば、ユーザは、ゲームサーバ２６０のゲームプロセッサ上で実行するビデオゲームのインスタンスとクライアントデバイス２１０を通してインタラクトすることができる。より具体的には、ビデオゲームのインスタンスは、ゲーム作品処理エンジン２１１により実行される。ビデオゲームを実装する対応するゲームロジック（例えば、実行可能コード）２１５は、データストア（図示せず）を介して格納及びアクセス可能であり、ビデオゲームを実行するために使用される。ゲームタイトル処理エンジン２１１は、複数のゲームロジックを使用して複数のビデオゲームをサポートすることができ、それぞれがユーザによって選択可能である。
例えば、クライアントデバイス２１０は、ゲームプレイを駆動するために使用される入力コマンドを介するなどして、対応するユーザのゲームプレイに関連付けられたゲームタイトル処理エンジン２１１とインタラクトするように構成される。特に、クライアントデバイス２１０は、ゲームコントローラ、タブレットコンピュータ、キーボードなどの様々な種類の入力デバイスからの入力、ビデオカメラ、マウス、タッチパッドなどにより取り込まれたジェスチャを、受信し得る。クライアントデバイス２１０は、メモリとプロセッサモジュールとを少なくとも有する任意の種類のコンピューティングデバイスであり得るもので、ネットワーク２５０を介してゲームサーバ２６０に接続することができる。
バックエンドゲームタイトル処理エンジン２１１は、レンダリングされた画像を生成するように構成され、レンダリングされた画像は、クライアントデバイス２１０に関連する対応するディスプレイに表示するためにネットワーク２５０を介して配信される。例えば、クラウドベースのサービスを介して、ゲームレンダリングされた画像は、ゲームサーバ２６０のゲーム実行エンジン２１１で実行される対応するゲームのインスタンスによって配信され得る。すなわち、クライアントデバイス２１０は、符号化された画像（例えば、ビデオゲームの実行を通じて生成されたゲームレンダリング画像から符号化された）を受信し、ディスプレイ１１のためにレンダリングされた画像を表示するように構成される。一実施形態では、ディスプレイ１１は、ＨＭＤを含む（例えば、ＶＲコンテンツを表示する）。いくつかの実施形態では、レンダリングされた画像は、クラウドベースのサービスから直接、またはクライアントデバイス２１０（例えば、プレイステーション（登録商標）リモートプレイ）を介して、無線または有線でスマートフォンまたはタブレットにストリーミングすることができる。
一実施形態では、ゲームサーバ２６０及び／またはゲームタイトル処理エンジン２１１は、ゲーム及びゲームアプリケーションに関連するサービスを実行するための基本的なプロセッサベースの機能を含む。例えば、プロセッサベースの機能には、２Ｄまたは３Ｄレンダリング、物理学、物理シミュレーション、スクリプト、オーディオ、アニメーション、グラフィックス処理、ライティング、シェーディング、ラスター化、レイトレーシング、シャドーイング、カリング、変換、人工知能などが含まれる。さらに、ゲームアプリケーションのサービスには、メモリ管理、マルチスレッド管理、サービス品質（ＱｏＳ）、帯域幅テスト、ソーシャルネットワーキング、ソーシャルフレンドの管理、ソーシャルネットワークのフレンドとの通信、通信チャネル、テキスティング、インスタントメッセージ、チャットサポートなどが含まれる。
一実施形態では、クラウドゲームネットワーク２９０は、分散型ゲームサーバシステム及び／またはアーキテクチャである。具体的には、ゲームロジックを実行する分散型ゲームエンジンが、対応するゲームの対応するインスタンスとして構成されている。一般に、分散型ゲームエンジンは、ゲームエンジンの各機能を取り込み、それらの機能を分散させて多数の処理エンティティによって実行する。個々の機能は、さらに１つ以上の処理エンティティにわたって分散させることができる。処理エンティティは、物理ハードウェア、及び／または仮想コンポーネントまたは仮想マシン、及び／または仮想コンテナなど、様々な構成で構成され得る。コンテナは、仮想化されたオペレーティングシステム上で動作するゲームアプリケーションのインスタンスを仮想化するものであるため、仮想マシンとは異なる。
処理エンティティは、クラウドゲームネットワーク２９０の１つ以上のサーバ（計算ノード）上のサーバ及びその基礎となるハードウェアを利用し、及び／またはそれらに依拠してもよく、サーバは１つ以上のラック上に配置され得る。種々の処理エンティティに対するそれらの機能の実行の協調、割り当て、及び管理は、分散同期層によって行われる。そのようにして、それらの機能の実行が分散同期層によって制御されて、プレイヤーによるコントローラ入力に応答して、ゲームアプリケーション用のメディア（例えば、ビデオフレーム、オーディオなど）を生成することが可能になる。分散同期層は、重要なゲームエンジンコンポーネント／機能が、より効率的な処理のために分散されて再構築されるように、分散処理エンティティ全体で（例えば、負荷バランシングを介して）それらの機能を効率的に実行することが可能である。
ゲームタイトル処理エンジン２１１は、マルチテナンシーＧＰＵ機能を実行するように構成された中央処理装置（ＣＰＵ）及びグラフィックス処理装置（ＧＰＵ）グループを含む。別の実施形態では、複数のＧＰＵデバイスを組み合わせて、対応するＣＰＵ上で実行されている単一のアプリケーションのグラフィックス処理を実行する。
図２Ｂは、２つ以上のピアデバイス間でゲームを提供するための図であり、本開示の一実施形態によれば、ＶＳＹＮＣ信号を同期及びオフセットして、デバイス間のコントローラ及び他の情報の受信の最適なタイミングを達成することができる。例えば、対面型のゲームは、ネットワーク２５０を介して、またはピアツーピア通信（例えば、ブルートゥース（登録商標）、ローカルエリアネットワーキングなど）を介して直接接続された２つ以上のピアデバイスを使用して実行され得る。
示されるように、ゲームは、ビデオゲームをプレイしている対応するユーザのクライアントデバイス２１０（例えば、ゲームコンソール）のそれぞれでローカルに実行されており、クライアントデバイス２１０は、ピアツーピアネットワーキングを介して通信する。例えば、ビデオゲームのインスタンスは、対応するクライアントデバイス２１０のゲームタイトル処理エンジン２１１によって実行されている。ビデオゲームを実施するゲームロジック２１５（例えば実行可能コード）は、該当クライアントデバイス２１０に格納され、ゲームを実行するために使用される。例示として、ゲームロジック２１５は、該当クライアントデバイス２１０に、ポータブルメディア（例えば光学的メディア）を介して、またはネットワークを介して配信され得る（例えばインターネットを介してゲームプロバイダからダウンロードされ得る）。
一実施形態では、対応するクライアントデバイス２１０のゲームタイトル処理エンジン２１１は、ゲーム及びゲームアプリケーションに関連するサービスを実行するための基本的なプロセッサベースの機能を含む。例えば、プロセッサベースの機能には、２Ｄまたは３Ｄレンダリング、物理学、物理シミュレーション、スクリプト、オーディオ、アニメーション、グラフィックス処理、ライティング、シェーディング、ラスター化、レイトレーシング、シャドーイング、カリング、変換、人工知能などが含まれる。さらに、ゲームアプリケーションのサービスには、メモリ管理、マルチスレッド管理、サービス品質（ＱｏＳ）、帯域幅テスト、ソーシャルネットワーキング、ソーシャルフレンドの管理、ソーシャルネットワークのフレンドとの通信、通信チャネル、テキスティング、インスタントメッセージ、チャットサポートなどが含まれる。
クライアントデバイス２１０は、ゲームコントローラ、タブレットコンピュータ、キーボード、ビデオカメラ、マウス、タッチパッドなどによってキャプチャされたジェスチャなどの様々なタイプの入力デバイスから入力を受け取ることができる。クライアントデバイス２１０は、少なくともメモリ及びプロセッサモジュールを有する任意のタイプのコンピューティングデバイスであり得るもので、ゲームタイトル処理エンジン２１１によって実行されるレンダリングされた画像を生成し、レンダリングされた画像をディスプレイ（例えば、ディスプレイ１１、またはヘッドマウントディスプレイ－ＨＭＤを含むディスプレイ１１、など）に表示するために構成される。例えば、レンダリングされた画像は、ゲームプレイを駆動するために使用される入力コマンドなどを介して、対応するユーザのゲームプレイを実装するために、クライアントデバイス２１０上でローカルに実行されるゲームのインスタンスに関連付けられ得る。クライアントデバイス２１０のいくつかの例として、パーソナルコンピュータ（ＰＣ）、ゲーム機、ホームシアターデバイス、汎用コンピュータ、モバイルコンピューティングデバイス、タブレット、電話、または、ゲームのインスタンスを実行することができる任意の他の種類のコンピューティングデバイスが、挙げられる。
図２Ｃは、本開示の実施形態による、ソースデバイスとターゲットデバイスとの間のＶＳＹＮＣ信号の適切な同期及びオフセットから利益を得る、様々なネットワーク構成を示し、図２Ａ～図２Ｂに示す構成を含む。特に、様々なネットワーク構成は、サーバとクライアント間の一方向の待ち時間及び／または待ち時間の変動を減らす目的で、サーバとクライアントのＶＳＹＮＣ信号の周波数の適切なアライメント、及びサーバとクライアントのＶＳＹＮＣ信号のタイミングオフセットから利益が得られる。例えば、１つのネットワークデバイス構成には、クラウドゲームサーバ（例えば、ソース）からクライアント（ターゲット）への構成が含まれる。一実施形態では、クライアントは、ウェブブラウザ内でオーディオ及びビデオ通信を提供するように構成されたウェブＲＴＣクライアントを含み得る。別のネットワーク構成には、クライアント（例えば、ソース）からサーバ（ターゲット）への構成が含まれる。さらに別のネットワーク構成には、サーバ（例えば、ソース）からサーバ（例えば、ターゲット）への構成が含まれる。別のネットワークデバイス構成は、クライアント（例えば、ソース）からクライアント（ターゲット）への構成を含み、クライアントはそれぞれ、例えば、対面型のゲームを提供するためのゲームコンソールであり得る。
特に、ＶＳＹＮＣ信号のアラインメントは、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の周波数の同期を含み、ドリフトを除去する目的で、及び／またはクライアントＶＳＹＮＣ信号とサーバＶＳＹＮＣ信号の間の理想的な関係を維持するために、一方向の待ち時間及び／または待ち時間の変動を減らす目的で、クライアントＶＳＹＮＣ信号とサーバＶＳＹＮＣ信号間のタイミングオフセットを調整することも含み得る。適切なアライメントを達成するために、一実施形態では、サーバ２６０とクライアント２１０のペアとの間の適切なアライメントを実施するために、サーバＶＳＹＮＣ信号を調整することができる。
別の実施形態では、サーバ２６０とクライアント２１０のペアとの間の適切なアライメントを実施するために、クライアントＶＳＹＮＣ信号を調整することができる。クライアントとサーバのＶＳＹＮＣ信号がアライメントすると、サーバのＶＳＹＮＣ信号とクライアントのＶＳＹＮＣ信号は実質的に同じ周波数で発生し、タイミングオフセットによって互いにオフセットされる。タイミングオフセットは随時調整できる。
別の実施形態では、ＶＳＹＮＣ信号のアライメントは、２つのクライアントのＶＳＹＮＣの周波数を同期させることも可能であり、ドリフトを除去する目的で、それらのＶＳＹＮＣ信号間のタイミングオフセットを調整し、及び／またはコントローラ及びその他の情報の最適なタイミングでの受信を達成することを含み得るもので、どちらのＶＳＹＮＣ信号も、このアライメントを達成するように調整できる。
さらに別の実施形態では、アラインメントは、複数のサーバのＶＳＹＮＣの周波数を同期させることも可能であり、また、サーバＶＳＹＮＣ信号及びクライアントＶＳＹＮＣ信号の周波数を同期し、例えば対面型のクラウドゲームの場合に、クライアントＶＳＹＮＣとサーバＶＳＹＮＣ信号との間のタイミングオフセットを調整することを含み得る。サーバからクライアントへの構成及びクライアントからクライアントへの構成では、調整には、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間の周波数の同期、及びサーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間の適切なタイミングオフセットの提供の両方が含まれる場合がある。サーバ間の構成では、アライメントには、タイミングオフセットを設定せずにサーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間の周波数の同期が含まれる場合がある。
図２Ｄは、本開示の一実施形態による、ソースデバイスとターゲットデバイスとの間のＶＳＹＮＣ信号の適切な同期及びオフセットから利益を得る、クラウドゲームサーバ２６０と１つまたは複数のクライアント２１０との間のマルチテナンシー構成を示す。サーバからクライアントへの構成では、調整には、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間の周波数の同期、及びサーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間の適切なタイミングオフセットの提供の両方が含まれる場合がある。マルチテナンシー構成では、一実施形態では、サーバ２６０とクライアント２１０のペアとの間の適切なアラインメントを実装するために、クライアントＶＳＹＮＣ信号が各クライアント２１０で調整される。
例えば、グラフィックスサブシステムは、マルチテナンシーＧＰＵ機能を実行するように構成され得るもので、一実施形態では、１つのグラフィックスサブシステムが、複数のゲームのためのグラフィックス及び／またはレンダリングパイプラインを実装し得る。つまり、グラフィックスサブシステムは、実行されている複数のゲーム間で共有される。特に、ゲームタイトル処理エンジンは、マルチテナンシーＧＰＵ機能を実行するように構成されたＣＰＵ及びＧＰＵグループを含むことも可能であり、一実施形態では、１つのＣＰＵ及びＧＰＵグループが複数のゲームのグラフィックス及び／またはレンダリングパイプラインを実装し得る。つまり、ＣＰＵとＧＰＵグループは、実行されている複数のゲーム間で共有される。ＣＰＵ及びＧＰＵグループは、１つ以上の処理デバイスとして構成できる。別の実施形態では、複数のＧＰＵデバイスを組み合わせて、対応するＣＰＵ上で実行されている単一のアプリケーションのグラフィックス処理を実行する。
図３は、サーバでビデオゲームを実行してゲームレンダリングされたビデオフレームを生成し、それらのビデオフレームをクライアントに送信して表示する一般的なプロセスを示している。従来、ゲームサーバ２６０及びクライアント２１０でのいくつかの操作は、それぞれのＶＳＹＮＣ信号によって定義されるフレーム期間内に実行される。例えば、サーバ２６０は、対応するサーバＶＳＹＮＣ信号３１１によって定義されるように、１つまたは複数のフレーム期間で、３０１でゲームレンダリングされたビデオフレームを生成しようとする。ビデオフレームは、操作３５０で入力デバイスから配信される制御情報（例えば、ユーザの入力コマンド）、または制御情報によって駆動されないゲームロジックのいずれかに応答して、ゲームによって生成される。送信ジッタ３５１は、制御情報をサーバ２６０に送信するときに存在することができ、ジッタ３５１は、クライアントからサーバへのネットワーク待ち時間の変動を測定する（例えば、入力コマンドを送信するとき）。
図示されるように、太い矢印は、制御情報をサーバ２６０に送信するときの現在の遅延を示しているが、ジッタのために、サーバ２６０での制御情報の到着時間の範囲（例えば、点線の矢印で囲まれた範囲）があり得る。フリップ時間３０９で、ＧＰＵは、対応するビデオフレームが完全に生成され、サーバ２６０のフレームバッファに配置されたことを示すフリップコマンドに到達する。その後、サーバ２６０は、サーバＶＳＹＮＣ信号３１１によって定義される後続のフレーム期間にわたって、そのビデオフレームに対してスキャンアウト／スキャンイン（操作３０２、スキャンアウトはＶＳＹＮＣ信号３１１とアライメントされる場合がある）を実行する（ＶＢＩは、わかりやすくするために省略されている）。続いて、ビデオフレームが符号化され（操作３０３）（例えば、ＶＳＹＮＣ信号３１１の発生後に符号化が開始され、符号化の終わりがＶＳＹＮＣ信号とアライメントされない場合がある）、クライアント２１０へ送信される（操作３０４、送信がＶＳＹＮＣ信号３１１とアライメントされない場合がある）。
クライアント２１０において、符号化されたビデオフレームは、受信され（操作３０５、受信はクライアントＶＳＹＮＣ信号３１２とアライメントされない場合がある）、復号され（操作３０６、復号はクライアントＶＳＹＮＣ信号３１２とアライメントされない場合がある）、バッファリングされ、表示される（操作３０７、表示の開始は、クライアントのＶＳＹＮＣ信号３１２とアライメントされる場合がある）。特に、クライアント２１０は、クライアントＶＳＹＮＣ信号３１２の対応する発生で始まる表示のためにレンダリングされる各ビデオフレームを表示する。
一方向の待ち時間３１５は、サーバでのビデオフレームの符号化ユニットへの転送（スキャンアウト３０２など）の開始から、クライアント３０７でのビデオフレームの表示の開始まで、待ち時間として定義できる。つまり、一方向の待ち時間は、クライアントのバッファリングを考慮した、サーバのスキャンアウトからクライアントの表示までの時間である。個々のフレームには、スキャンアウト３０２の開始から復号３０６の完了までの待ち時間があり、符号化３０３と送信３０４、サーバ２６０と付随するジッタ３５２を伴うクライアント２１０間のネットワーク送信、及びクライアントの受信３０５などのサーバの操作の高い度合の変動により、フレームごとに異なり得る。示されるように、真っ直ぐな太い矢印は、対応するビデオフレームをクライアント２１０に送信するときの現在の待ち時間を示すが、ジッタ３５２に起因して、クライアント２１０でのビデオフレームの到着時間の範囲（例えば、点線の矢印で仕切られた範囲）があり得る。
良好なプレイ体験を実現するには、一方向の待ち時間が比較的安定している（例えば、かなり一貫性が保たれている）必要があるため、従来はバッファリング３２０が実行され、その結果、待ち時間の少ない個々のフレームの表示（例えば、スキャンアウト３０２の開始から復号の３０６の完了まで）は、わずかなフレーム期間遅れる。つまり、ネットワークが不安定な場合、または予測できない符号化／復号時間が発生した場合は、一方向の待ち時間を一定に保つために追加のバッファリングが必要になる。
本開示の一実施形態によれば、クラウドゲームサーバとクライアントとの間の一方向の待ち時間は、サーバで実行されるビデオゲームから生成されたビデオフレームをストリーミングするときのクロックドリフトに起因して、変動し得る。すなわち、サーバＶＳＹＮＣ信号３１１及びクライアントＶＳＹＮＣ信号３１２の周波数の違いにより、クライアントＶＳＹＮＣ信号は、サーバ２６０から到着するフレームに対してドリフトする可能性がある。ドリフトは、サーバとクライアントのそれぞれのクロックで使用される水晶発振器のごくわずかな違いが原因である可能性がある。さらに、本開示の実施形態は、サーバとクライアントとの間のアライメントのためにＶＳＹＮＣ信号の１つまたは複数の同期及びオフセットを実行することによって、クライアントに動的バッファリングを提供することによって、及びビデオフレームの復号及びクライアントでの表示を重複させることによって、一方向の待ち時間を短縮する。
図４は、本開示の実施形態による、サーバ上で実行されるビデオゲームから生成されたビデオフレームをストリーミングするときの、高度に最適化されたクラウドゲームサーバ２６０及び高度に最適化されたクライアント２１０を含むネットワーク構成を介するデータの流れを示し、サーバの操作とクライアントの操作を重複させて、一方向の待ち時間が減少し、サーバとクライアント間でＶＳＹＮＣ信号を同期及びオフセットさせ、一方向の待ち時間が減少するだけでなく、サーバとクライアント間の一方向の待ち時間の変動も減少している。特に、図４は、サーバとクライアントのＶＳＹＮＣ信号間の望ましいアライメントを示している。
一実施形態では、サーバＶＳＹＮＣ信号３１１の調整は、サーバ及びクライアントネットワーク構成などにおいて、サーバ及びクライアントＶＳＹＮＣ信号間の適切なアライメントを得るために実行される。別の実施形態では、クライアントＶＳＹＮＣ信号３１２の調整は、マルチテナントサーバからマルチクライアントネットワーク構成へのように、サーバとクライアントＶＳＹＮＣ信号との間の適切なアラインメントを得るために実行される。説明のために、サーバのＶＳＹＮＣ信号３１１の調整が図４に記載されている。これは、サーバ及びクライアントのＶＳＹＮＣ信号の周波数を同期させる、及び／または対応するクライアント及びサーバのＶＳＹＮＣ信号間のタイミングオフセットを調整する目的であるが、クライアントＶＳＹＮＣ信号３１２も調整に使用できることが理解される。
示されるように、図４は、本開示の実施形態において、サーバでビデオゲームを実行してレンダリングされたビデオフレームを生成し、それらのビデオフレームを表示のためにクライアントに送信する改善されたプロセスを示す。このプロセスは、サーバとクライアントでの単一のビデオフレームの生成と表示に関して示されている。特に、サーバは４０１で、ゲームレンダリングされたビデオフレームを生成する。例えば、サーバ２６０は、ゲームを実行するように構成されたＣＰＵ（例えば、ゲームタイトル処理エンジン２１１）を含む。ＣＰＵは、ビデオフレームに対して１つまたは複数のドローコールを生成し、ドローコールは、グラフィックスパイプライン内のサーバ２６０の対応するＧＰＵによって実行するためにコマンドバッファに配置されたコマンドを含む。グラフィックスパイプラインには、シーン内のオブジェクトの頂点に１つ以上のシェーダープログラムを含めて、表示用のビデオフレームにレンダリングされたテクスチャ値を生成できる。この場合、操作は効率を上げるためにＧＰＵを介して並行して実行される。フリップ時間４０９で、ＧＰＵは、対応するビデオフレームが完全に生成され、及び／またはサーバ２６０のフレームバッファにレンダリングされて配置されたことを示す、コマンドバッファのフリップコマンドに到達する。
４０２で、サーバはゲームでレンダリングされたビデオフレームのスキャンアウトをエンコーダに実行する。特に、スキャンアウトは、スキャンラインごとに、または連続するスキャンラインのグループで実行され、スキャンラインは、例えば、画面の端から画面の端までの表示の単一の水平線を指す。これらのスキャンラインまたは連続するスキャンラインのグループは、スライスと呼ばれることもあり、本明細書ではスクリーンスライスと呼ばれる。特に、スキャンアウト４０２は、別のフレームバッファでそれをオーバーレイし、または別のフレームバッファからの情報でそれを囲むためにそれを縮小することを含む、ゲームレンダリングフレームを変更するいくつかのプロセスを含み得る。スキャンアウト４０２の間、次に、修正されたビデオフレームは、圧縮のためにエンコーダにスキャンされる。一実施形態では、スキャンアウト４０２は、ＶＳＹＮＣ信号３１１の発生３１１ａで実行される。他の実施形態では、スキャンアウト４０２は、フリップ時間４０９などで、ＶＳＹＮＣ信号３１１の発生の前に実行され得る。
４０３で、ゲームレンダリングされたビデオフレーム（変更された可能性がある）は、エンコーダでエンコーダスライスごとにエンコーダスライスに符号化されて、１つまたは複数の符号化スライスを生成する。この場合、符号化スライスは、スキャンラインまたはスクリーンスライスとは無関係である。そのため、エンコーダは１つ以上の符号化された（例えば、圧縮された）スライスを生成する。
一実施形態では、符号化プロセスは、対応するビデオフレームのスキャンアウト４０２のプロセスが完全に終了する前に開始する。さらに、符号化４０３の開始及び／または終了は、サーバＶＳＹＮＣ信号３１１とアライメントされてもされなくてもよい。符号化されたスライスの境界は、単一のスキャンラインに制限されず、単一のスキャンラインまたは複数のスキャンラインで構成され得る。さらに、符号化されたスライスの終了及び／または次のエンコーダスライスの開始は、必ずしも表示画面の端で発生するわけではなく（例えば、画面の中央またはスキャンラインの中央のどこかで発生する可能性がある）、符号化されたスライスは、表示画面の端から端まで完全にトラバースする必要はない。示されているように、１つまたは複数の符号化されたスライスは、ハッシュマークを有する圧縮された「符号化されたスライスＡ」を含めて、圧縮及び／または符号化され得る。
４０４で、符号化されたビデオフレームは、サーバからクライアントに送信され、送信は、符号化されたスライスごとに行われ得るもので、各符号化されたスライスは、圧縮されたエンコーダスライスである。一実施形態では、送信プロセス４０４は、対応するビデオフレームの符号化プロセス４０３が完全に終了する前に開始する。さらに、送信４０４の開始及び／または終了は、サーバＶＳＹＮＣ信号３１１とアライメントされてもされなくてもよい。示されているように、圧縮された符号化されたスライスＡは、レンダリングされたビデオフレームの他の圧縮されたエンコーダスライスとは独立してクライアントに送信される。エンコーダスライスは、一度に１つずつ、または並行して送信できる。
４０５で、クライアントは、再び符号化されたスライスごとに、圧縮ビデオフレームを受信する。さらに、受信４０５の開始及び／または終了は、クライアントＶＳＹＮＣ信号３１２とアライメントされ得るか、またはされ得なくてもよい。示されているように、圧縮された符号化されたスライスＡがクライアントによって受信される。送信ジッタ４５２は、サーバ２６０とクライアント２１０との間に存在することができ、ジッタ４５２は、サーバ２６０からクライアント２１０へのネットワーク待ち時間の変動を測定する。ジッタの値が低いほど、接続がより安定する。示されるように、太い真っ直ぐな矢印は、対応するビデオフレームをクライアント２１０に送信するときの現在の待ち時間を示すが、ジッタに起因して、クライアント２１０でのビデオフレームの到着時間の範囲（例えば、点線の矢印で仕切られた範囲）があり得る。待ち時間の変動は、符号化４０３や送信４０４などのサーバでの１つ以上の操作、及びビデオフレームをクライアント２１０に送信するときに待ち時間をもたらすネットワークの問題が原因である可能性もある。
４０６で、クライアントは、圧縮ビデオフレームを、再び符号化されたスライスごとに復号し、復号されたスライスＡ（ハッシュマークなしで示される）を生成し、これは、現在、表示の準備ができている。一実施形態では、復号プロセス４０６は、受信プロセス４０５が対応するビデオフレームについて完全に完了する前に開始する。さらに、復号４０６の開始及び／または終了は、クライアントＶＳＹＮＣ信号３１２とアライメントされ得るか、またはされ得なくてもよい。４０７で、クライアントは、復号されたレンダリングされたビデオフレームをクライアントのディスプレイに表示する。すなわち、復号されたビデオフレームは、例えば、スキャンラインごとにディスプレイデバイスにストリーミングされるディスプレイバッファに配置される。
一実施形態では、表示プロセス４０７（すなわち、ディスプレイデバイスへのストリーミングアウト）は、復号プロセス４０６が対応するビデオフレームに対して完全に終了した後、すなわち、復号されたビデオフレームがディスプレイバッファに完全に常駐した後に開始する。別の実施形態では、表示プロセス４０７は、復号プロセス４０６が対応するビデオフレームについて完全に終了する前に開始する。つまり、ディスプレイデバイスへのストリームアウトは、復号されたフレームバッファの一部のみがディスプレイバッファに常駐する時点で、ディスプレイバッファのアドレスから開始される。次に、表示バッファは、表示に間に合うように対応するビデオフレームの残りの部分で更新または満たされ、その結果、表示バッファの更新は、それらの部分がディスプレイにストリームアウトする前に実行される。さらに、ディスプレイ４０７の開始及び／または終了は、クライアントＶＳＹＮＣ信号３１２とアライメントされる。
一実施形態では、サーバ２６０とクライアント２１０との間の一方向の待ち時間４１６は、スキャンアウト４０２が開始されてからディスプレイ４０７が開始されるまでの経過時間として定義され得る。本開示の実施形態は、サーバとクライアントとの間のＶＳＹＮＣ信号をアライメントさせ（例えば、周波数を同期させ、オフセットを調整する）、サーバとクライアントとの間の一方向の待ち時間を低減し、サーバとクライアント間の待ち時間の一方向の変動を低減することができる。例えば、本開示の実施形態は、サーバＶＳＹＮＣ信号３１１とクライアントＶＳＹＮＣ信号３１２との間のオフセット４３０に対する最適な調整を計算することができ、その結果、符号化４０３及び送信４０４などのサーバの処理に必要な最悪に近い場合の時間のときでも、サーバ２６０とクライアント２１０との間の最悪に近い場合のネットワーク待ち時間のときでも、また受信４０５及び復号４０６などの最悪に近い場合のクライアント処理のときでも、復号されたレンダリングされたビデオフレームは、表示プロセス４０７に間に合うように利用可能である。つまり、サーバＶＳＹＮＣとクライアントＶＳＹＮＣの間の絶対オフセットを決定する必要はない。復号されたレンダリングされたビデオフレームが表示プロセスに間に合うようにオフセットを調整するだけで十分である。
特に、サーバＶＳＹＮＣ信号３１１及びクライアントＶＳＹＮＣ信号３１２の周波数は、同期によってアライメントされ得る。同期は、サーバのＶＳＹＮＣ信号３１１またはクライアントのＶＳＹＮＣ信号３１２を調整することによって実現される。説明のために、調整はサーバのＶＳＹＮＣ信号３１１に関連して説明されているが、調整は代わりにクライアントのＶＳＹＮＣ信号３１２で実行され得ることが理解される。例えば、図４に示すように、サーバフレーム期間４１０（例えば、サーバＶＳＹＮＣ信号３１１の２つの発生３１１ｃと３１１ｄの間の時間）は、クライアントフレーム期間４１５（例えば、クライアントＶＳＹＮＣ信号３１２の２つの発生３１２ａと３１２ｂの間の時間）に実質的に等しい。これは、サーバのＶＳＹＮＣ信号３１１とクライアントのＶＳＹＮＣ信号３１２の周波数も実質的に等しいことを示している。
サーバとクライアントのＶＳＹＮＣ信号の周波数の同期を維持するために、サーバのＶＳＹＮＣ信号３１１のタイミングを操作することができる。例えば、サーバＶＳＹＮＣ信号３１１の垂直帰線区間（ＶＢＩ）は、例えば、サーバＶＳＹＮＣ信号３１１とクライアントＶＳＹＮＣ信号３１２との間のドリフトを説明するために、ある期間にわたって増加または減少され得る。ＶＢＩにおける垂直帰線（ＶＢＬＡＮＫ）ラインの操作は、サーバＶＳＹＮＣ信号３１１の１つまたは複数のフレーム期間についてＶＢＬＡＮＫに使用されるスキャンラインの数を調整することを実現する。ＶＢＬＡＮＫのスキャンラインの数が減ると、サーバＶＳＹＮＣ信号３１１の２つの発生間の対応するフレーム期間（例えば、時間間隔）が短縮される。逆に、ＶＢＬＡＮＫのスキャンラインの数を増やすと、ＶＳＹＮＣ信号３１１の２つの発生間の対応するフレーム期間（例えば、時間間隔）が増える。
このようにして、サーバＶＳＹＮＣ信号３１１の周波数は、クライアントとサーバのＶＳＹＮＣ信号３１１と３１２との間の周波数が実質的に同じ周波数になるようアライメントすべく調整される。また、サーバとクライアントのＶＳＹＮＣ信号間のオフセットは、ＶＢＩを元の値に戻す前に、ＶＢＩを短時間増減することで調整できる。一実施形態では、サーバＶＢＩが調整される。
別の実施形態では、クライアントＶＢＩが調整される。さらに別の実施形態では、２つのデバイス（サーバ及びクライアント）の代わりに、複数の接続されたデバイスがあり、それらのそれぞれは、調整された対応するＶＢＩを有し得る。一実施形態では、複数の接続されたデバイスのそれぞれは、独立したピアデバイスであり得る（例えば、サーバデバイスなしで）。別の実施形態では、複数のデバイスは、１つまたは複数のサーバ／クライアントアーキテクチャ、マルチテナントサーバ／クライアント（複数可）アーキテクチャ、またはそれらのいくつかの組み合わせに配置された１つまたは複数のサーバデバイス及び／または１つまたは複数のクライアントデバイスを含み得る。
あるいは、一実施形態では、サーバのピクセルクロック（例えば、サーバのノースブリッジ／サウスブリッジコアロジックチップセットのサウスブリッジに位置する）を操作して、ある期間にわたってサーバのＶＳＹＮＣ信号３１１の周波数の大まかな調整及び／または微調整を実行し、サーバとクライアントのＶＳＹＮＣ信号３１１と３１２との間の周波数の同期を戻してアライメント状態にすることができる。具体的には、サーバのサウスブリッジのピクセルクロックをオーバークロックまたはアンダークロックして、サーバのＶＳＹＮＣ信号３１１の全体的な周波数を調整することができる。このようにして、サーバＶＳＹＮＣ信号３１１の周波数は、クライアントとサーバのＶＳＹＮＣ信号３１１と３１２との間の周波数が実質的に同じ周波数になるようアライメントすべく調整される。サーバとクライアントのＶＳＹＮＣ間のオフセットは、クライアントサーバのピクセルクロックを元の値に戻す前に、ピクセルクロックを短時間増減することで調整できる。
一実施形態では、サーバピクセルクロックが調整される。別の実施形態では、クライアントピクセルクロックが調整される。別の実施形態では、クライアントピクセルクロックが調整される。さらに別の実施形態では、２つのデバイス（サーバ及びクライアント）の代わりに、複数の接続されたデバイスがあり、それらのそれぞれは、調整された対応するピクセルクロックを有し得る。一実施形態では、複数の接続されたデバイスのそれぞれは、独立したピアデバイスであり得る（例えば、サーバデバイスなしで）。別の実施形態では、複数の接続されたデバイスは、１つまたは複数のサーバ／クライアントアーキテクチャ、マルチテナントサーバ／クライアント（複数可）アーキテクチャ、またはそれらのいくつかの組み合わせに配置された１つまたは複数のサーバデバイス及び１つまたは複数のクライアントデバイスを含み得る。
図５Ａは、本開示の一実施形態による、クラウドゲームサーバ２６０のそれぞれのクロックとクライアント２１０の間のドリフト３９０、ならびに符号化４０３及び送信４０４などのサーバの操作により費やされる時間の変動、ネットワーク待ち時間、及び受信４０５及び復号４０６などのクライアントの操作に起因して、サーバ２６０で実行されたビデオゲームから生成されたビデオフレームをストリーミングするときのクライアント２１０による復号４０６の完了のタイミングの可能な変動を示す図である。
ｙ軸５０１はミリ秒単位の時間を示す。ｘ軸５０２は、時間を分単位で示す。本開示の実施形態では、サーバ２６０は、圧縮ビデオフレームと共にタイムスタンプ情報をクライアント２１０に送信するか、またはサーバは、圧縮ビデオフレームとは別にタイムスタンプ情報を送信することができる。
一実施形態では、このタイムスタンプ情報は、サーバ２６０のピクセルクロックから導出された、対応するビデオフレームのスキャンアウト４０２の直前のサーバＶＳＹＮＣ信号の発生の時間を表すことができる。つまり、タイムスタンプは、ビデオフレームがすぐに表示されるかどうかなど、対応するビデオフレームの望ましい表示タイミングを示す。
別の実施形態では、このタイムスタンプ情報は、サーバ２６０のピクセルクロックから導出された、フリップ時間、例えば、対応するビデオフレームのレンダリングの完了の時間を表すことができる。さらに別の実施形態では、サーバＶＳＹＮＣ信号の代わりに通常のフレーム期間が使用され、このタイムスタンプ情報は、サーバ２６０のピクセルクロックから導出された、対応するフレーム期間の開始または終了の時間を表すことができる。
復号４０６の完了時に、クライアント２０６は、クライアントのピクセルクロックから導出された時間を記録し、この時間を（サーバから配信された）タイムスタンプから差し引いて、「復号タイムスタンプ」（すなわち、対応するビデオフレームの復号にかかる時間ではなく、復号が完了した時間）を作成する。したがって、復号タイムスタンプは、サーバによって指定された（例えば、タイムスタンプによって示される）望ましい表示時間と比較して、対応するビデオフレームのクライアントでの表示の可用性を示す。図５Ａに示されるように、一実施形態では、クライアントによって受信された第１の圧縮ビデオフレームの復号タイムスタンプは、ゼロの値が割り当てられる（すなわち、正規化される）。
また、他のすべての復号タイムスタンプは、正規化を参照して計算される（つまり、減算され、正規化が考慮される）。サーバとクライアントの操作のばらつき、及びネットワーク待ち時間のために、一連の圧縮ビデオフレームに対して測定された復号タイムスタンプは、前述のように、最初の圧縮ビデオフレーム５１１にゼロの復号タイムスタンプが割り当てられた分布５１０としてプロットされる場合がある。これらの復号タイムスタンプは、以下でさらに十分に説明する図５Ｂに示されるように、ヒストグラム５１５を作成するためにビニングされ得る。測定値５２０、５３０、及び５４０は、クライアントで受信された後続のビデオフレームについて計算された復号タイムスタンプの分布を示している。測定値５２０、５３０、及び５４０の復号タイムスタンプは、第１の圧縮ビデオフレーム５１１によって定義された正規化を参照して計算される。
図５Ｂは、本開示の一実施形態による、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミング（例えば、対応するタイムスタンプ）を示すヒストグラムを含み、クラウドゲームサーバとクライアントでのそれぞれのクロック間のドリフトによる後続のヒストグラムにおける復号のタイムスタンプの増加を示す。特に、後続のビデオフレームについて後で決定される測定値５２０、５３０、及び５４０のそれぞれの復号タイムスタンプは、対応するヒストグラムを作成するためにビニングされ得る。例えば、測定値５２０にプロットされた復号タイムスタンプは、ヒストグラム５２５を作成するためにビニングされ得る。同様に、測定５３０でプロットされた復号タイムスタンプは、ヒストグラム５３５を作成するためにビニングされ得るもので、測定５４０でプロットされた復号タイムスタンプは、ヒストグラム５４５を作成するためにビニングされ得る。ヒストグラム５１５、５２５、５３５、及び５４５のそれぞれは、固有の特性を有し得る。示されているように、測定値５１５、５２５、５３５、及び５４５のそれぞれにおける復号タイムスタンプの分布の幅はほぼ類似しているが、後で決定されたヒストグラムは、ＶＳＹＮＣ周波数の生成に使用されるサーバクロックとクライアントクロック間のドリフトなどに起因して、それらがそれぞれ右にシフトされるにつれて復号タイムスタンプの増加を示す。
特に、後続のビデオフレームについて後で決定された復号タイムスタンプの測定値５２０、５３０、及び５４０（及び図５Ｂに示されるそれらの対応するヒストグラム５２５、５３５、及び５４５）は、サーバＶＳＹＮＣ信号３１１とクライアントＶＳＹＮＣ信号３１２（すなわち、図３のドリフト３９０）の間の違いの作用を示している。サーバクロックとクライアントクロックとの間のドリフト３９０は、対応するＶＳＹＮＣ信号に反映されるように、図５Ｂに５９０として示され得る。例えば、サーバとクライアントでＶＳＹＮＣ周波数を生成するために使用される水晶発振器の不正確さによるサーバとクライアントのクロックの１０ｐｐｍ（ｐａｒｔｓ ｐｅｒ ｍｉｌｌｉｏｎ）の違いは、サーバとクライアント間で約３０分ごとに１フレーム期間（１６．７ｍｓ）のドリフトをもたらす。ドリフトは、サーバのＶＳＹＮＣ３１１がクライアントＶＳＹＮＣ信号３１２よりもわずかに高い周波数であるか低い周波数であるかに応じて、復号タイムスタンプの減少または増加の形をとることができる。
図５Ｃは、本開示の一実施形態による、サーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングを示すヒストグラムを含み、クラウドゲームサーバとクライアントでのそれぞれのクロック間の測定されるドリフトの補償後、後続のヒストグラムにおける復号時間の首尾一貫した測定値を示す。一実施形態では、ヒストグラムを動的に再生成することにより、ドリフトの量を計算することができる。ドリフトの量を知ることで、ＶＳＹＮＣ周波数の対応する調整とドリフトの除去が可能になり、経時的に５１６、５２６、５３６、５４６などのヒストグラムが得られる。そのようにして、プロットされた測定値５２０、５３０、及び５４０は、復号タイムスタンプの増加を示さない（例えば、図５Ａのｘ軸５０１に沿って垂直に上方にシフトする）が、図５Ａでは、測定値５１０とより水平にアライメントしてプロットされる（すなわち、一方向の待ち時間の増加はない）。これは図５Ｃに反映されている。この図で、ライン５９０‘は、サーバクロックとクライアントクロックとの間のゼロドリフトを示し、対応するＶＳＹＮＣ信号に反映される（すなわち、ヒストグラム５２６、５３６、及び５４６の一方向の待ち時間の増加を示さない）。
別の実施形態では、サーバは、フレーム期間ごとに（フレーム期間はほぼ等しい長さである）圧縮ビデオフレームを送信し、対応するサーバタイムスタンプ（例えば、復号タイムスタンプの計算で使用される）がサーバからクライアントに送信されるのではなく、代わりに、対応するサーバのタイムスタンプ（受信中の対応するビデオフレームの場合）は、以前に計算されたサーバのタイムスタンプ（例えば、受信された前のビデオフレームの場合）にフレーム期間を追加することによってクライアントによって計算される。初期ビデオフレームの初期サーバタイムスタンプ及び／またはタイミング信号は、タイミングプロセスを開始するためにサーバからクライアントに配信され得る。
さらに別の実施形態では、ドリフトは、例えば、タイムスタンプ情報とクライアントでのタイムスタンプ情報の受信のタイミングとの間の分散を分析することによって、圧縮ビデオフレームとは別にまたは一緒に、サーバからクライアントに送信されるタイムスタンプ情報を使用して計算される。さらに他の実施形態では、サーバは、サーバＶＳＹＮＣ信号を使用する代わりに、サイズがほぼ等しいフレーム期間を使用し、クライアントＶＳＹＮＣ（またはその数倍ぶん）に対するサーバフレーム期間のドリフトを計算することができる。そのため、サーバのフレーム期間は、ドリフトの計算に応じて調整できる。
他の実施形態では、２つのデバイス（サーバ及びクライアント）の代わりに、複数の接続されたデバイスがあり、それらのそれぞれは、１つまたは複数の他のデバイスに対してそれらのドリフトを測定することができる。一実施形態では、複数の接続されたデバイスのそれぞれは、独立したピアデバイスであり得る（例えば、サーバデバイスなしで）。別の実施形態では、複数のデバイスは、１つまたは複数のサーバ／クライアントアーキテクチャ、マルチテナントサーバ／クライアント（複数可）アーキテクチャ、またはそれらのいくつかの組み合わせに配置された１つまたは複数のサーバデバイス及び１つまたは複数のクライアントデバイスを含み得る。
したがって、２つのデバイス（例えば、サーバとクライアント、またはサーバ、クライアント、及び独立したピアを備えた複数のネットワークデバイス内の任意の２つのデバイス）間のＶＳＹＮＣ信号の周波数間の測定されたドリフトを使用して、ＶＳＹＮＣ信号を１つまたは複数のデバイスに調整できる。調整には、対応するフレーム期間の垂直帰線区間のラスタースキャンラインの除去または追加が含まれる場合がある。調整には、対応するクロックのオーバークロックまたはアンダークロックも含まれる場合がある。調整は動的に実行でき、対応するＶＳＹＮＣ信号の調整は時間と共に変化する。いくつかの実施形態では、サーバは、ＶＳＹＮＣ信号を使用する代わりに、サイズがほぼ等しいフレーム期間を使用することができ、サーバフレーム期間は、ドリフトの計算に応答して調整することができる。
さらに、図４に示されるようなサーバ及びクライアントのＶＳＹＮＣ信号のアライメントは、対応するクライアントとサーバのＶＳＹＮＣ信号の間に適切なタイミングオフセット４３０を設けるようにサーバＶＳＹＮＣ信号３１１を調整することを含み得る。一実施形態では、ヒストグラムデータ（例えば、少なくとも図５Ａ～５Ｃに示される）を使用して、受信ビデオフレームの所定の数または閾値（例えば、９９．９９パーセント）が時間内にクライアントに到着するように、タイミングオフセットを決定することができ、クライアントＶＳＹＮＣ信号３１２の次の適切な発生時に表示される。
すなわち、タイミングオフセット４３０（例えば、図４に示される）は、クライアントＶＳＹＮＣ信号３１２の次の発生までの最小時間に間に合うように、ビデオフレームが表示する準備ができている（例えば、受信され、復号され、クライアントでのストリームアウトのための表示バッファに配置される）ようにビデオフレームの最悪に近い場合のシナリオに対応するように調整される。例として、９９．９９パーセントの閾値は、サーバ２６０で生成され、クライアント２１０で表示される１万のビデオフレームのうちの１つの欠落したビデオフレームを提供する。
特に、適切なオフセット４３０を確立するために、サーバＶＳＹＮＣ信号３１１の周波数は、ある期間（例えば、１つまたは複数のフレーム期間）にわたって操作されて、対応するサーバＶＳＹＮＣ信号３１１の１つまたは複数の発生のタイミングを移動させ、それにより、両方のＶＳＹＮＣ信号がそれぞれの周波数を同期すると、クライアントとサーバのＶＳＹＮＣ信号間の相対的なタイミングオフセットをシフトまたは調整することができる。クライアントＶＳＹＮＣ信号３１２の周波数も同様に操作して、クライアントとサーバのＶＳＹＮＣ信号の間の相対的なタイミングオフセットを代替的に調整することができる。適切なオフセットの決定は、ＶＳＹＮＣ信号の対応する動的操作を使用して、動的に、例えば経時的に繰り返し実行することができる。
他の実施形態では、最初にサーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間のドリフトを除去し、次にＶＳＹＮＣ信号間の適切なオフセットを確立するのではなく、代わりに、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号の周波数をより頻繁に操作して相対的なタイミングオフセットを調整することによって、オフセットが維持される。さらに他の実施形態では、サーバは、サーバＶＳＹＮＣ信号を使用する代わりに、サイズがほぼ等しいフレーム期間を使用し、サーバフレーム期間またはクライアントＶＳＹＮＣ信号を操作して、クライアントＶＳＹＮＣ（またはその倍数）について、サーバフレーム期間の相対的なタイミングオフセットを調整することができる。
さらに他の実施形態では、２つのデバイス（サーバ及びクライアント）の代わりに、複数の接続されたデバイスがあり、それらのそれぞれは、自らのＶＳＹＮＣ信号を操作して、１つまたは複数の他のデバイスのＶＳＹＮＣに関してＶＳＹＮＣの相対的なタイミングオフセットを調整することができる。一実施形態では、複数の接続されたデバイスのそれぞれは、独立したピアデバイスであり得る（例えば、サーバデバイスなしで）。別の実施形態では、複数のデバイスは、１つまたは複数のサーバ／クライアントアーキテクチャ、マルチテナントサーバ／クライアント（複数可）アーキテクチャ、またはそれらのいくつかの組み合わせに配置された１つまたは複数のサーバデバイス及び１つまたは複数のクライアントデバイスを含み得る。
図２Ａ～２Ｄの様々なクライアントデバイス２１０及び／またはクラウドゲームネットワーク２９０（例えば、ゲームサーバ２６０内）の詳細な説明と共に、図６Ａ～６Ｃの流れ図６００Ａ、６００Ｂ、及び６００Ｃは、本開示の一実施形態による、一方向の待ち時間を短縮する目的で、クラウドゲームサーバとクライアントとの間でＶＳＹＮＣ信号を調整するための方法を示す。
特に、図６Ａは、本開示の一実施形態による、一方向の待ち時間を短縮する目的で、クラウドゲームサーバとクライアントのＶＳＹＮＣ信号間の相対的なタイミングを調整するための方法を示す。例えば、流れ図６００Ａを実行して、図４に示される対応するクライアント及びサーバのＶＳＹＮＣ信号間のタイミングを調整することができる。
６０１で、この方法は、サーバで、サーバＶＳＹＮＣ信号をサーバＶＳＹＮＣ周波数に設定することを含む。前述のように、サーバＶＳＹＮＣ信号は、サーバＶＳＹＮＣ周波数の複数のフレーム期間中のサーバでの複数のビデオフレームの生成に対応する。例えば、サーバは、ストリーミングモードでビデオゲームを実行し、サーバのＣＰＵは、ストリーミング用に使用可能なグラフィックスパイプラインを使用してゲームレンダリングされたビデオフレームを生成するために、ユーザからの入力コマンドに応答してビデオゲームを実行することができる。
６０３で、この方法は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定することを含む。クライアントＶＳＹＮＣ信号は、クライアントに関連付けられたディスプレイへのレンダリングに使用される。つまり、クライアントでビデオフレームをレンダリング及び表示するタイミングは、クライアントＶＳＹＮＣ信号を基準にすることができる。例えば、ビデオフレームは、対応するクライアントＶＳＹＮＣ信号の発生から開始して表示できる。
一実施形態では、クライアントＶＳＹＮＣ周波数は、サーバＶＳＹＮＣ周波数にほぼ設定される。例えば、サーバは、制御信号をクライアントに送信することができ、制御信号は、クライアントによって、クライアントのＶＳＹＮＣ信号をサーバのＶＳＹＮＣ信号の見かけの周波数に設定するために使用される。つまり、制御信号には、クライアントＶＳＹＮＣ信号が設定されている見かけの周波数が含まれている場合がある。つまり、クライアントＶＳＹＮＣ周波数は、サーバＶＳＹＮＣ周波数と同じ見かけの周波数に設定されるが、サーバとクライアントのクロックに使用される水晶振動子の違いにより、実際のサーバとクライアントのＶＳＹＮＣ周波数は、一致しない場合がある。
６０５で、この方法は、複数のビデオフレームに基づく複数の圧縮ビデオフレームを、サーバＶＳＹＮＣ信号を使用してネットワークを介してサーバからクライアントに送信することを含む。特に、ストリーミングモードでのサーバによるビデオゲームの処理に応答して生成されたゲームレンダリングされたビデオフレームは、圧縮を実行し、複数の圧縮ビデオフレームを生成するように構成されたエンコーダに配信される（例えば、スキャンアウト４０２される間に）。前述のように、対応するビデオフレームの符号化の開始は、サーバＶＳＹＮＣ信号の対応する発生とアライメントされる場合もあれば、フリップタイムなどの対応する発生の前に発生する場合もある。圧縮ビデオフレームは、ゲームセッション中に表示するためにクライアントに送信及び／または配信される。ビデオフレームの送信は、サーバＶＳＹＮＣ信号にアライメントさせて開始する必要はなく、図４に示すように、対応するビデオフレームの一部または完全なビデオフレームが符号化されるとすぐ、開始することができる。
６０７で、この方法は、クライアントで、複数の圧縮ビデオフレームを復号及び表示することを含む。前述のように、クライアントは複数の圧縮ビデオフレームを受信し、それらは次いでクライアントのデコーダによって復号される。例えば、クライアントは、対応する圧縮ビデオフレームの１つ以上の符号化されたスライスを受信する。次に、圧縮ビデオフレームが復号され、ディスプレイバッファに配置される。例えば、次に、対応する圧縮ビデオフレームの符号化されたスライスが復号され、復号されたビデオフレームが表示バッファに配置される。復号中に、復号されたスライスを表示用にレンダリングすることができ、レンダリングには、対応するビデオフレームの復号されたスライスから画面スライス（例えば、スキャンライン）を生成することが含まれ、これはその後、クライアントのディスプレイにストリーミングされる。特に、対応するビデオフレームの復号されたスライスのピクセルデータは、クライアントのディスプレイへのストリーミング（例えば、スキャンラインごと）のために、ディスプレイバッファの適切なアドレスに配置され得る。
６１０で、方法は、クライアントが複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作のタイミングを分析して、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間の相対的なタイミングを調整することを含む。例えば、サーバとクライアント間の一方向の待ち時間を減らし、一方向の待ち時間の変動を減らす目的で、サーバとクライアントのＶＳＹＮＣ信号間の適切なアライメント（例えば、周波数の同期とオフセットの調整）を実現するために、相対的なタイミングが調整される。一実施形態では、サーバとクライアントのＶＳＹＮＣ信号の間の適切なタイミングは、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の少なくとも１つを調整することによって達成される。サーバとクライアントのＶＳＹＮＣ信号間の相対的なタイミングを調整することについてのより詳細な議論は、以下の図６Ｂ～６Ｃに提供されている。
図６Ｂは、本開示の一実施形態による、クラウドゲームサーバとクライアントとの間でＶＳＹＮＣ信号の調整を実行するときにＶＳＹＮＣ信号をアライメントさせるための方法を示す流れ図６００Ｂである。例えば、アライメントには、一方向の待ち時間を減らす目的などでの、周波数の同期、及び／またはサーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号間のオフセットの調整が含まれる。特に、図６Ｂは、図６Ａの操作６１０に概説されているサーバとクライアントのＶＳＹＮＣ信号の間の相対的なタイミングの調整に関する追加の詳細を提供する。
６１１で、この方法は、複数のビデオフレーム（例えば、ゲームでレンダリングされたビデオフレームとしてサーバによって生成された）に関連するタイムスタンプ情報をサーバからクライアントに送信することを含む。一実施形態では、タイムスタンプ情報は、複数の圧縮ビデオフレームと共にクライアントに送信される。別の実施形態では、タイムスタンプ情報は、複数の圧縮ビデオフレームとは別にクライアントに送信される。
特に、タイムスタンプ情報には、サーバのピクセルクロックによって導出された、サーバで生成された対応するビデオフレームの対応するタイムスタンプが含まれる。一実施態様では、対応するビデオフレームのタイムスタンプは、スキャンアウト中（例えば、対応するビデオフレームのスキャンアウトの直前のサーバＶＳＹＮＣ信号の発生）など、対応するビデオフレームをエンコーダにスキャンするために使用されるサーバＶＳＹＮＣ信号の対応する発生時に発生し得る。別の実施態様では、対応するビデオフレームのタイムスタンプは、サーバでの対応するフリップ時間に発生する可能性がある。タイムスタンプは、ネットワークを介した送信なしで、ローカルディスプレイへのスキャンやストリーミングなど、ビデオゲームによって決定された対応するビデオフレームの望ましい表示タイミングを示す。
クライアントが圧縮ビデオフレームを受信して復号すると、タイムスタンプ情報が処理され、サーバによって指定された所望の表示時間（タイムスタンプ）と比較して、対応するビデオフレームのクライアントでの表示の可用性を示す復号タイムスタンプが作成される。前に説明したように、クライアントは、対応するビデオフレームの復号の完了時に、クライアントのピクセルクロックから導出された時間を記録する。この復号の完了時間は、サーバから配信された対応するタイムスタンプから差し引かれ、復号タイムスタンプが作成される。さらに、復号される第１の圧縮ビデオフレームは、その後に測定及び／または計算されるすべての復号時間に適用（例えば、加算または減算）され得る正規化係数を使用して、その復号タイムスタンプがゼロに調整されるように正規化され得るもので、その後クライアントで圧縮ビデオフレームを受信できるようにする。
６１３で、この方法は、測定及び／または計算された復号タイムスタンプに基づいて１つまたは複数のヒストグラムを構築することを含む。特に、対応するヒストグラムは、ある期間にわたってクライアントで受信された圧縮ビデオフレームについて測定された復号タイムスタンプ情報をビニングすることによって作成される。上記のように、対応するビデオフレームに対して測定及び正規化された復号タイムスタンプは、サーバタイムスタンプによって示される所望の表示時間と比較して、復号されたビデオフレームがクライアントでいつ表示可能であるかを示す。このようにして、対応するヒストグラムは、複数のビデオフレームに対してサーバによって指定された所望の表示時間に対するクライアントによる復号の完了のタイミングの分布を提供する。したがって、サーバとクライアント間の一方向の待ち時間及び／または一方向の待ち時間の変動を減らす目的で、１つまたは複数の生成されたヒストグラムを使用して、サーバとクライアントのＶＳＹＮＣ信号間の相対的なタイミングを調整し得る。
６１５で、サーバとクライアントのＶＳＹＮＣ信号間の相対的なタイミングは、サーバＶＳＹＮＣ信号のサーバＶＳＹＮＣ周波数とクライアントＶＳＹＮＣ信号のクライアントＶＳＹＮＣ周波数とを同期させるように調整される。一実施形態では、ドリフトは、対応するヒストグラムを使用して、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間で決定される。例えば、クライアントが受信したビデオフレームから生成された１つ以上のヒストグラムは、継続的かつ動的に更新される。ヒストグラムを分析して、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間のドリフトを判別する。例えば、図５Ｂは、前述のように、複数のヒストグラムをプロットするときにドリフト（例えば、線５９０によって反映される）がどのように決定され得るかを示している。
サーバとクライアントのＶＳＹＮＣ信号間のドリフトを決定するための代替方法を同期に使用できる。例えば、ある期間にわたる復号タイムスタンプの分析を実行して、復号タイミングの増加または減少の傾向を決定することができ、これを使用してドリフトを決定することができる。別の例では、ドリフトは、サーバで生成されたタイムスタンプ情報と、サーバベースのタイムスタンプ情報の受信のクライアントベースのタイミングとの間の分散を分析することによって計算され得る。また、ドリフトは、ピアツーピアアーキテクチャ、サーバ／クライアントアーキテクチャ、またはそれらの組み合わせで配置された、独立したピアデバイス、サーバとクライアントデバイスであり得る、接続された複数のデバイス間で、測定できる。
さらに、サーバからクライアントに送信されるタイムスタンプ情報に基づいて、サーバＶＳＹＮＣ周波数及びクライアントＶＳＹＮＣ周波数のうちの少なくとも１つを調整して、測定されたドリフトを補償することができる。例えば、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号の周波数は、サーバとクライアントのＶＳＹＮＣ信号の実際の周波数がその期間にわたってほぼ同じになるように、一定期間調整できる。このようにして、サーバとクライアントのＶＳＹＮＣ信号の周波数が同期される。
前述のように、対応するサーバまたはクライアントのＶＳＹＮＣ信号の周波数は、対応するフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加することによって調整することができ、ＶＳＹＮＣ信号を一定期間調整することができる。調整には、サーバまたはクライアントの対応するピクセルクロックを、一定期間オーバークロックまたはアンダークロックすることが含まれる場合がある。さらに、調整は、対応するＶＳＹＮＣ信号を経時的に適切に、動的に調整することによって、継続的に実行することができる。
６１７では、タイムスタンプ情報に基づいてサーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間の相対オフセットを調整することにより、サーバとクライアントのＶＳＹＮＣ信号の間の相対的なタイミングが調整される。同様に、サーバとクライアントのＶＳＹＮＣ信号間の相対位相は、タイムスタンプに基づいて調整できる。サーバとクライアントのＶＳＹＮＣ信号の周波数が同期されると、サーバとクライアントのＶＳＹＮＣ信号の相対位相またはオフセットの調整をサーバまたはクライアントのＶＳＹＮＣ信号に適用できる。
特に、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間のオフセットの調整は、対応するヒストグラムで示される最悪に近い場合の復号タイムスタンプに基づいて決定される。例えば、タイミングオフセットは、受信したビデオフレームの所定の数または閾値（例えば、９９．９９パーセント）が、クライアントＶＳＹＮＣ信号の次の適切な発生時に復号及び表示される時間内にクライアントに到着するように決定できる。このように、サーバとクライアントのＶＳＹＮＣ信号間のタイミングオフセットを調整するときに、ビデオフレームの一方向の待ち時間の最悪に近いシナリオでも考慮され、最悪に近い場合のシナリオのビデオフレームが受信され、復号され、クライアントディスプレイへのストリームアウトのためにディスプレイバッファでペース調整される。適切なタイミングオフセットを決定することは、図８Ａ～８Ｂに関連してさらに説明される。
前述のように、サーバとクライアントのＶＳＹＮＣ信号間のタイミングオフセットの調整は、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号を１つまたは複数のフレーム期間で調整することによって実現できる。例えば、タイミングオフセットの調整は、対応するサーバまたはクライアントのＶＳＹＮＣの周波数を１つまたは複数のフレーム期間調整することによって実行できる。特に、対応するサーバまたはクライアントのＶＳＹＮＣ信号の周波数は、対応するフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加するか、サーバまたはクライアントの対応するピクセルクロックをオーバークロックまたはアンダークロックすることによって調整できる。
いくつかの実施形態では、最初にサーバとクライアントのＶＳＹＮＣ信号の間のドリフトを除去し、次にＶＳＹＮＣ信号間の適切なオフセットを確立するのではなく、代わりに、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号の周波数をより頻繁に操作して相対的なタイミングオフセットを調整することによって、タイミングオフセットが維持される。つまり、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間のオフセットの調整は、対応するヒストグラムによって示される最悪に近い場合の復号タイムスタンプに基づいて継続的に決定され、ヒストグラムが、タイミングオフセットの頻繁な決定と操作で短い時間にわたり発生され得る。
図６Ｃは、本開示の一実施形態による、一方向の待ち時間を短縮する目的で、クラウドゲームサーバとクライアントとの間でＶＳＹＮＣ信号の調整を実行するときにＶＳＹＮＣ信号をアライメントさせるための別の方法を示す流れ図６００Ｃである。前述のように、アライメントには、一方向の待ち時間を減らす目的などでの、周波数の同期、及び／またはサーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号間のオフセットの調整が含まれる。特に、図６Ｃは、図６Ａの操作６１０に概説されているサーバとクライアントのＶＳＹＮＣ信号の間の相対的なタイミングの調整に関する追加の詳細を提供する。
具体的には、操作６２１及び６２３を含め、操作６２０で概説されるように、サーバ及びクライアントのＶＳＹＮＣ信号間のドリフトを決定するための代替方法が同期のために使用される。特に、６２１で、この方法は、サーバからクライアントにタイミング情報を定期的に送信することを含む。例えば、サーバピクセルクロックから決定されるタイミング情報は、対応するフレーム期間の開始、対応するフレーム期間の時間の長さ、エンコーダへのビデオフレームのスキャンアウトタイミング、対応するビデオフレームのフリップ時間などを含み得る。
また、６２３で、タイミング情報が分析されて、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間のドリフトが決定される。例えば、ドリフトは、サーバで生成されたタイミング情報と、サーバベースのタイミング情報の受信のクライアントベースのタイミングとの間の分散を分析することによって計算され得る。他の実施形態では、ドリフトは、ビデオフレームを生成するために使用されるサーバフレーム期間について測定され得るもので、サーバフレーム期間のドリフトは、クライアントＶＳＹＮＣ信号、またはその数倍ぶんを参照して測定される。また、ドリフトは、ピアツーピアアーキテクチャ、サーバ／クライアントアーキテクチャ、またはそれらの組み合わせで配置された、独立したピアデバイス、サーバとクライアントデバイスであり得る、接続された複数のデバイス間で、測定できる。
ドリフトが決定されると、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号の周波数を調整してドリフトを補償することができ、調整は一定期間にわたって適用することができる。前述のように、サーバとクライアントのＶＳＹＮＣ信号の周波数間で測定されたドリフトを使用して、サーバまたはクライアントで一定期間ＶＳＹＮＣ信号を調整することができる。ＶＳＹＮＣ信号の調整には、対応するフレーム期間の垂直帰線区間のラスタースキャンラインの除去または追加が含まれる場合があるか、または、サーバまたはクライアントの対応するピクセルクロックのオーバークロックまたはアンダークロックが含まれる場合がある。
サーバとクライアントのＶＳＹＮＣ信号の周波数間のドリフトを補償した後、サーバとクライアントのＶＳＹＮＣ信号間の相対的な位相またはオフセットは、タイムスタンプ情報に基づいて調整でき、調整は、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号に適用できる。特に、相対位相またはオフセットの調整は、サーバで生成されたビデオフレームに関連付けられたタイムスタンプ情報に基づいて実行される。
特に、６１１で、タイムスタンプ情報がサーバからクライアントに送信される。実施形態では、タイムスタンプ情報は、複数のビデオフレームと共に送信されるか、または複数のビデオフレームとは別に送信される。流れ図６００Ｃの操作６１１は、図６Ｂの流れ図６００Ｂに関連して以前に説明された。例えば、サーバピクセルクロックによって決定されるタイムスタンプ情報は、対応するビデオフレームをエンコーダにスキャンするために使用されるサーバＶＳＹＮＣ信号の対応する発生のタイミングを示し得る（例えば、スキャンアウト中）。別の実施態様では、タイムスタンプ情報は、対応するビデオフレームの対応するフリップ時間のタイミングを示し得る。
前述のように、タイムスタンプ情報は、復号タイムスタンプを作成するためにクライアントによって使用され、各々は、サーバによって指定された所望の表示時間（タイムスタンプ）と比較して、対応するビデオフレームのクライアントでの表示の可用性を示す。復号タイムスタンプは、対応するサーバベースのタイムスタンプ情報から、対応するビデオフレームの復号の完了を示すクライアントでの時間を差し引くことによって導出することができる。正規化は、復号タイムスタンプを生成するときにも適用できる。
ドリフトはタイムスタンプ情報を使用せずに実行できるため、例えば複数のヒストグラムを生成するために、特定の時間に１つのヒストグラムが生成され、サーバとクライアントのＶＳＹＮＣ信号間のタイミングオフセットを調整するために使用される。つまり、ヒストグラムは、ヒストグラムに含まれる復号タイムスタンプを拡張することによって更新できるが、異なる期間にわたる複数のヒストグラムを生成する必要はない。特に、６１３－Ａでは、ヒストグラムは復号タイムスタンプに基づいて作成される。流れ図６００Ｃの操作６１３－Ａは、図６Ｂの流れ図６００Ｂに関連して前述した操作６１３と同様である。例えば、復号タイムスタンプ情報は、経時的にクライアントによって受信及び復号されたビデオフレームに対してビニングされ、サーバによって指定された所望の表示時間（サーバタイムスタンプ情報など）に対するクライアントによる復号の完了のタイミングの分布を提供する。
６１７で、サーバとクライアントのＶＳＹＮＣ信号の間の相対的な位相またはオフセットは、タイムスタンプ情報に基づいて調整され得るもので、調整は、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号に適用され得る。流れ図６００Ｃの操作６１７は、図６Ｂの流れ図６００Ｂに関連して以前に説明された。特に、オフセットの調整は、継続的に更新されるヒストグラムによって示される最悪に近い場合の復号タイムスタンプに基づいて決定される。例えば、タイミングオフセットは、受信したビデオフレームの所定の数の閾値（例えば、９９．９９パーセント）が、クライアントＶＳＹＮＣ信号の次の適切な発生時に復号及び表示される時間内にクライアントに到着するように決定できる。適切なタイミングオフセットの決定は、図８Ａ～８Ｂに関連してさらに説明される。
サーバとクライアントのＶＳＹＮＣ信号間のタイミングオフセットの調整は、サーバまたはクライアントのＶＳＹＮＣ信号を１つ以上のフレーム期間調整することによって実行される。例えば、調整は、対応するフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加することによって、またはサーバまたはクライアントの対応するピクセルクロックをオーバークロックまたはアンダークロックすることによって、１つまたは複数のフレーム期間のサーバまたはクライアントのＶＳＹＮＣ信号の周波数を調整することによって実行できる。
いくつかの実施形態では、図６Ｃのドリフト操作６２０は、ＶＳＹＮＣ信号間に適切なオフセットを確立する場合、実行されない。代わりに、タイミングオフセットは、サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号の周波数をより頻繁に操作して、相対的なタイミングオフセットを調整することによって維持される。すなわち、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間のオフセットへの調整は、対応するヒストグラムによって示される最悪に近い場合の復号タイムスタンプに基づいて継続的に決定され、オフセットへの調整は、短縮された間隔期間で実行され得る。
図２Ａ～２Ｄの様々なクライアントデバイス２１０及び／またはクラウドゲームネットワーク２９０（例えば、ゲームサーバ２６０内）の詳細な説明と共に、図７の流れ図７００は、本開示の一実施形態による、クラウドゲームサーバとクライアントとの間の一方向の待ち時間を短縮するための代替の方法を示している。特に、流れ図７００は、本開示の一実施形態による、サーバでの圧縮ビデオフレームの生成に関連してクライアントＶＳＹＮＣ信号を調整するための方法を示し、ビデオフレームは、同様のサイズのフレーム期間中に生成される。
７１０で、方法は、フレーム期間がほぼ等しいサイズである、複数のフレーム期間の間にサーバで複数のビデオフレームを生成することを含む。一実施形態では、ビデオフレームをクライアントにストリーミングするときにサーバに表示する必要がないので、クラウドゲームサーバは、サーバＶＳＹＮＣ信号をオフにするか、または実装しないことができる。代わりに、サーバは、ビデオゲームを処理するときにゲームレンダリングされたビデオフレームの生成中のタイミングに使用される規則的（例えば、周期的）またはほぼ規則的な信号を利用することができる。例えば、サーバは、サーバのＶＳＹＮＣ信号を使用する代わりに、サイズがほぼ等しいフレーム期間を使用する場合がある。複数のビデオフレームの生成は、ゲームレンダリングされたビデオフレームが対応するフレーム期間内に生成されるように、複数のフレーム期間内に発生する。サーバは、ストリーミングモードでビデオゲームを実行し、サーバのＣＰＵは、グラフィックスパイプラインを使用してゲームレンダリングされたビデオフレームを生成するために、ユーザからの入力コマンドに応答してビデオゲームを実行することができる。
７２０で、この方法は、クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定することを含む。クライアントＶＳＹＮＣ信号は、クライアントに関連付けられたディスプレイへのレンダリングに使用される。クライアントでビデオフレームをレンダリング及び表示するタイミングは、クライアントＶＳＹＮＣ信号を基準にすることができ、対応するビデオフレームは、対応するクライアントＶＳＹＮＣ信号の発生から開始して表示できる。
７３０で、方法は、複数のビデオフレームに基づく複数の圧縮ビデオフレームをサーバからクライアントに送信することを含む。特に、ゲームレンダリングされたビデオフレームは、サーバのエンコーダに（例えば、スキャンアウト４０２中に）配信され、エンコーダは、ゲームレンダリングされたビデオフレームに対して圧縮を実行するように構成される。複数の圧縮ビデオフレームは、ゲームセッション中などに表示するためにクライアントに送信（例えばストリーミング）される。圧縮ビデオフレームの送信は、フレーム期間と一致している必要はなく、その結果、送信は、対応するビデオフレームの一部であるとすぐに、または完全なビデオフレームが符号化されたときに、行われる可能性がある。
７４０で、この方法は、クライアントで、複数の圧縮ビデオフレームを復号及び表示することを含む。前述のように、クライアントは複数の圧縮ビデオフレームを受信して復号する。例えば、クライアントは、対応する圧縮ビデオフレームの１つまたは複数の符号化されたスライスを受信でき、それを復号する。復号されたビデオフレームは、ディスプレイバッファに配置される。復号中に、復号されたスライスを表示用にレンダリングすることができ、レンダリングには、対応するビデオの復号されたスライスから画面スライス（例えば、スキャンライン）を生成することが含まれ、これはその後、クライアントのディスプレイにストリーミングされる。例えば、対応するビデオフレームの復号されたスライスのピクセルデータは、ディスプレイへのストリーミング（例えば、スキャンラインごと）のために、ディスプレイバッファの適切なアドレスに配置され得る。
７５０では、この方法は、複数のフレーム期間に関連するタイミング情報をサーバからクライアントに送信することを含む。タイミング情報は、各フレーム期間がサーバでいつ始まるかを示している場合がある。フレーム期間はほぼ等しいため、クライアントに配信される１つのフレーム期間のタイミング（サーバのタイムスタンプなど）により、クライアントは各フレーム期間のタイミングを追跡できる（例えば、最後に計算されたタイムスタンプに定期的にフレーム期間を追加する）。
このようにして、クライアントは、サーバから受信した、またはクライアントで計算したタイミング情報を、クライアントで受信した対応するビデオフレームに相関させることができる。クライアントで決定されたタイミング情報は、ビデオフレームが生成され、理論的にスキャンまたはローカルディスプレイへストリーミングされたときなど、クライアントで実行されているビデオゲームによって決定された対応するビデオフレームの所望の表示タイミングの指標を、ネットワーク経由での送信なしで与えることができる。
７６０で、方法は、１つまたは複数のクライアント操作のタイミングを分析して、クライアントＶＳＹＮＣ信号の相対的なタイミングを調整し、クライアントが複数の圧縮ビデオフレームを受信するときにサーバで複数の圧縮ビデオフレームを生成することを含む。特に、サーバフレーム期間（例えば、持続時間）またはクライアントＶＳＹＮＣ信号は、クライアントＶＳＹＮＣ信号（またはその数倍ぶん）に関してサーバフレーム期間の相対的なタイミングオフセットを調整するように操作され得る。
例えば、クライアントが計算したサーバフレーム期間とクライアントＶＳＹＮＣ信号との間のドリフトを決定することができる。ドリフトの補償は、同期のためにサーバフレーム期間またはクライアントＶＳＹＮＣ信号に適用できる。例えば、クライアントでは、クライアントＶＳＹＮＣ信号の周波数は、対応するフレーム期間の垂直平衡間隔のラスタースキャンラインを除去または追加することによって調整することができ、ＶＳＹＮＣ信号を一定期間調整することができる。また、調整には、クライアントのピクセルクロックのオーバークロックまたはアンダークロックが含まれる場合がある。さらに、相対オフセットを調整するために、１つまたは複数のヒストグラムをクライアントで作成することができ、ｏは、サーバでビデオフレームが生成されたときと比較して、復号されたビデオフレームがクライアントでいつ利用可能かを示す（例えば、必要な表示時間）。ヒストグラムは、ビデオフレームがいつ生成され、表示されるかを示すためにクライアントが決定したフレーム期間を使用するなど、わずかな変更を加えて、前述と同じ手法を使用して作成できる。
図８Ａは、ビデオフレームの復号タイムスタンプの分布を提供するヒストグラム８５０の構築及び使用を示す図８００Ａであり、前述のように、サーバによって指定された所望の表示時間に対するビデオフレームのクライアントでの表示の可用性を示し、ヒストグラムは、本開示の一実施形態に従って、サーバとクライアントでのＶＳＹＮＣ信号間の オフセットの調整を決定するために構成される。示されるように、ビデオフレームはサーバで生成され（操作４０１）、スキャンアウトは、圧縮（操作４０３）のためにエンコーダ（操作４０２）にゲームレンダリングされたビデオフレームで実行され、クライアントに送信される（操作４０４）。クライアントは、符号化されたビデオフレームを受信し（操作４０５）、符号化されたビデオフレームを解凍し（操作４０６）、表示のためにビデオフレームをレンダリングする（例えば、操作４０７において、復号されたビデオフレームをスキャンラインに変換する）。
前述のように、サーバベースのタイムスタンプ情報は、オフセットの決定に使用される１つ以上のヒストグラムを作成する目的で、圧縮／符号化されたビデオフレームに関連してクライアントに配信される。タイムスタンプ情報は、サーバによって指定された望ましい表示時間を提供する。サーバは、フレーム期間ごとに圧縮ビデオフレームを送信しない場合がある。特に、ヒストグラムは、サーバによって指定された所望の表示時間（例えば、サーバベースのタイムスタンプ情報）と比較して、ビデオフレームのクライアントでの表示の可用性を示す復号タイムスタンプを含み得る。サーバのタイムスタンプとクライアントのタイムスタンプは、同期されていない個々のクロックによって定義される可能性があるため、復号のタイムスタンプを正規化すると便利な場合がある。例えば、正規化には、すべての復号タイムスタンプから最初の復号タイムスタンプの値を減算することが含まれる場合がある。これにより、最初の復号タイムスタンプはゼロになり、後続のすべてのタイムスタンプはそれに関連する。
図８Ａに示されるように、構築されたヒストグラム８５０は、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号との間の適切なオフセットを決定するために使用され得る。前述のように、ヒストグラムは復号タイムスタンプの分布を提供する。これは、所望の表示時間に対する表示の可用性を示す。サーバとクライアントとの間のＶＳＹＮＣオフセット４３０は、受信されたビデオフレームの所定の数または閾値（例えば、９９．９９パーセント）がクライアントに到着し、クライアントＶＳＹＮＣ信号の次の適切な発生時に表示されるように時間内に復号されるように存在する。一実施形態では、残りの数（例えば、０．０１パーセント）は、表示するには遅すぎて、漏れる可能性がある。言い換えれば、ＶＳＹＮＣオフセット４３０は、レンダリングされたビデオフレームを受信、復号、及び表示するときに、最悪に近い場合の待ち時間に対応する。
図８Ａの符号化４０３、送信４０４、受信４０５、及び復号４０６は、最悪に近いフレーム（例えば、９９．９９パーセンタイル）を示している。適切なＶＳＹＮＣオフセット４３０が確立されている場合、このフレームの復号とその表示の間にマージンはない。１つまたは複数のクライアントバッファ８２０は、符号化４０３、送信４０４、受信４０５、及び復号４０６が早い段階でヒストグラム（例えば、２５パーセンタイル未満）においてビニングされるように、復号タイムスタンプが低い（例えば、一方向の待ち時間が最も短いことを示す）ビデオフレームに対応するように実装できる。この特定の例では、４つのバッファが必要で、３つは復号時のフレーム用（３つのバッファ８２０）、もう１つは現在表示されているフレーム用（図示せず）である。
一連の理論的なタイミング図８５０Ａから８５０Ｄが、クライアントＶＳＹＮＣ信号３１２のために提供され、タイミング図８５０Ｃ（及び付随するディスプレイ４０７）は、理想的なクライアントＶＳＹＮＣ３１２Ｃを示している。クロックまたはタイムスタンプの直接同期がないため（例えば、ユニバーサルクロックなどのサードパーティのタイミングメカニズムを介して）、オフセット４３０は直接設定されず、代わりに、現在のクライアントＶＳＹＮＣ３１２は、ヒストグラムの最悪に近い場合のタイミング情報を使用して調整され、前述のように理想的なクライアントＶＳＹＮＣタイミング３１２Ｃになる。または、前述のように、サーバＶＳＹＮＣを調整して適切なオフセットを作成することもできる。
サーバのタイムスタンプ情報は、クライアントによって収集及び／または受信される。前述のように、タイムスタンプ情報には、対応するビデオフレームが生成された時刻が含まれる場合がある（例えば、フリップ時間、スキャンアウトが発生したとき、スキャンアウトが発生したときのサーバＶＳＹＮＣ信号の発生など）。追加情報は、サーバ及び／またはクライアントで収集され、ヒストグラムの作成または解釈に使用される場合があり、以下でより詳細に説明するように、「ヒストグラム情報」と呼ばれる。
サーバ側では、追加のヒストグラム情報に、シーンの変化数、Ｉフレームの符号化時間の平均及び／または標準偏差、及びＰフレームの符号化時間の平均及び／または標準偏差のような符号化時間の統計が含まれる場合がある。符号化時間の統計は、サーバからクライアントに定期的なメッセージとして配信される場合がある。さらに、ヒストグラム情報には、エンコーダによってエンコーダスライスを準備する時間が含まれる場合がある。これは、サーバからクライアントに定期的なメッセージとして配信される場合がある。また、ヒストグラム情報には、実際のサーバ側のＶＳＹＮＣタイミングとターゲットのＶＳＹＮＣタイミングが含まれる場合があり、これらはパケットヘッダーに追加される場合がある。さらに、ヒストグラム情報は、Ｉフレーム対Ｐフレームあたりのスライスの平均数を含み得る。
サーバでは、ヒストグラムの情報に、符号化されたスライス（例えば、圧縮されたエンコーダスライス）を送信するための一方向のネットワーク待ち時間を導出するためのラウンドトリップ時間（ＲＴＴ）測定が含まれる場合がある。ＲＴＴ測定は、パケットをクライアントに送信するために必要な送信時間を決定するために使用され得る（例えば、復号及びレンダリングなどのクライアントによって実行されるさらなる処理なしで）。例えば、ＲＴＴは、ハートビートパケットをサーバからクライアントに送信することによって決定できる。このパケットには、一意の識別子が含まれている。クライアントは、サーバがＲＴＴを計算できるように、一意の識別子と共にハートビート応答をサーバに送り返す。一方向のネットワーク待ち時間は、ＲＴＴの約半分である。ヒストグラムを作成するために使用される場合、ＲＴＴを定期的に測定することにより、ネットワークまたは伝送ジッタを分析及び／または決定できる（例えば、ＲＴＴのスパイク）。例えば、ＲＴＴを介して測定された一方向ネットワーク待ち時間の測定値は、次のＲＴＴ測定までに受信されたすべてのビデオフレームの送信時間として使用できる。
クライアントでは、追加のヒストグラム情報に、受信した符号化されたビデオフレームごとの復号時間が含まれる場合がある。さらに、ヒストグラム情報は、復号されたビデオフレームごとのレンダリング準備時間を含むことができ、レンダリング準備は、復号されたビデオフレームスライスをスキャンラインまたはスクリーンスライスに変換することを含み得る。
さらに、サーバでは、追加のヒストグラム情報に、サーバがクライアントに利用可能であると考える総ネットワークスループット（帯域幅など）を定義する最大送信レートが含まれる場合がある。これは、符号化されたビデオフレームのエンコーダスライスを送信できる最大レートを決定するために使用できる。最大レートはクライアントへのネットワーク接続の安定性に基づいて変動し、オフセットは変動に対応するように動的に調整できる。さらに、最大送信速度は、エンコーダのパラメータとは無関係に調整できるため、エンコーダが最大送信速度でスライスを生成しないように構成されている場合、スライスをより迅速に送信できる。
例えば、最大帯域幅または最大送信速度は、クライアントからのフィードバックメカニズムによって決定され得る。これを実行する１つの方法は、クライアントがインクリメンタルシーケンスＩＤ（識別子）の範囲またはフレームの範囲で受信したパケットの数を返すようにすることである。例えば、クライアントは、シーケンスＩＤ１００～２５０に対して１５０フレームのうち１４５フレーム受信したといったことを報告する場合がある。サーバはパケット損失を計算し、その一連のパケット中に送信された帯域幅の量を認識し、クライアントの最大帯域幅を判別できる。送信される帯域幅の量は、可変ビットレート、シーンの複雑さなどのために絶えず変動しているため、クライアントはこの決定を行うことができない。つまり、クライアントは、任意の所与の瞬間、サーバがクライアントが処理できる最大帯域幅を送信しているかどうかわからない。例えば、最大帯域幅は１５Ｍｂｐｓ（メガビット／秒）だが、ユーザがメニューを表示しているため、シーンの複雑さは低くなる可能性がある（静的ビデオフレームは複雑さが低く、フレーム間の変動がない）。その結果、２Ｍｂｐｓのみが送信される。したがって、クライアントが０％のパケット損失を報告した場合、クライアントが１５Ｍｂｐｓを依然処理できるかどうかはサーバに通知されない。したがって、サーバが最大帯域幅を送信している場合にのみ、真の最大帯域幅を決定できる。
図８Ｂは、復号タイムスタンプの分布を示すヒストグラム８５０を示している。この場合、一実施形態では、数値的に最小の復号タイムスタンプにゼロの値が割り当てられるように（例えば、最小の復号タイムスタンプがすべての復号タイムスタンプから差し引かれる）、正規化される。特に、ｘ軸は、０～６０ミリ秒（ｍｓ）を超えるなど、対応する復号タイムスタンプの時間をミリ秒単位で示す。ｙ軸は、対応する復号タイムスタンプに対してクライアントが受信したビデオフレームの数を示す。
純粋に説明のために、復号のタイムスタンプは約６０ミリ秒（ミリ秒）の範囲で変化する可能性があり、サーバによって指定された所望の表示時間と比較して、ビデオフレームのクライアントでの表示の可用性に６０ミリ秒の変動があることを示す。つまり、一部のフレームは、他のフレームと比較して約６０ｍｓ早くまたは遅く表示できる場合がある。表示用の特定のフレームの可用性の変動は、サーバとクライアントの処理の変動、シーンの複雑さ、ネットワークパスの変動、パケット遅延の変動、及びその他の要因が原因である可能性がある。
最悪または最悪に近い復号タイムスタンプを分析することにより、サーバＶＳＹＮＣ信号とクライアントＶＳＹＮＣ信号の間の理想的な関係を決定することができる。つまり、前述のように、クライアントＶＳＹＮＣ信号とサーバＶＳＹＮＣ信号のタイミング間の理想的な相対オフセットを決定して、適切なクライアントＶＳＹＮＣ信号で表示できる受信及び解凍されたビデオフレームの数を、最大化することができる。そのようにして、図８００Ｂは、復号タイムスタンプ７５５の分布の幅（例えば、約５７ミリ秒）を示し、その範囲内で、クライアントによって受信されたビデオフレームの９９．９９パーセントが到着し、クライアントＶＳＹＮＣ信号の次の適切な発生時に表示するのに間に合うように復号される。
復号タイムスタンプ７５５の分布のこの幅（最悪に近い場合までのすべての復号タイムスタンプを含むが、それを超えるものを除く）を使用して、復号されたビデオフレームに必要な全体的なバッファリングの必要量を決定することができる。幅７５５がフレーム期間よりも小さい場合は、２つのバッファが必要である。１つは復号時にフレームに必要であり、もう１つは表示に必要である。例えば、幅が１フレーム期間よりも大きく、２フレーム期間よりも小さい場合は、３つのバッファが必要になる。５７ｍｓの幅の特定の例では、フレーム期間が１６．６７ｍｓの場合、５つのフレームバッファが必要である。復号タイムスタンプは、所望の表示時間に対する復号されたフレームの可用性を示し、したがって、復号タイムスタンプが低いビデオフレームは、表示前により長い期間バッファに保持され、復号タイムスタンプが高いビデオフレームは、表示前のより短い時間バッファに保持される。
一実施形態では、ヒストグラムは動的に再生成される。別の実施形態では、フレームバッファリングの量は、経時的にクライアントによって動的に設定される。さらに別の実施形態では、到着し、復号が遅すぎて所望の表示時間に表示できないフレームはスキップされる（すなわち、表示されない）。
図２Ａ～２Ｄの様々なクライアントデバイス２１０及び／またはクラウドゲームネットワーク２９０（例えば、ゲームサーバ２６０内）の詳細な説明と共に、図９の流れ図９００は、本開示の一実施形態による、ビデオフレームがクラウドゲームサーバで生成されてから到着するまで、及び／またはクライアントに表示する準備ができるまでのビデオフレームの経過タイミングの分布を提供するヒストグラムを構築する方法を示し、ヒストグラムは、クライアントでのバッファサイズの決定に対して構成される。前述のように、ヒストグラムは、サーバとクライアントでのＶＳＹＮＣ信号間の適切なオフセットを決定するためにも構成される。
操作６０１、６０３、６０５、６１１、及び６１３は、図６Ａの流れ図６００Ａ及び図６Ｂの流れ図６００Ｂに関連して以前に説明され、サーバとクライアントのＶＳＹＮＣ信号間の相対的なタイミングの調整を開示する（例えば、周波数を同期し、タイミングオフセットまたは位相を調整する）。要約すると、６０１で、この方法は、サーバにおいて、サーバＶＳＹＮＣ信号のフレーム期間中のサーバでのビデオフレームの生成に対応するサーバＶＳＹＮＣ信号を周波数に設定することを含む。６０３で、この方法は、クライアントで、周波数に対応するクライアントＶＳＹＮＣ信号を、クライアントに関連付けられたディスプレイへのレンダリングに使用されるクライアントＶＳＹＮＣ信号を設定することを含む。６０５で、この方法は、サーバＶＳＹＮＣ信号を使用して、ネットワークを介してサーバからクライアントに生成ビデオフレームに基づいて圧縮ビデオフレームを送信することを含む。
６１１で、この方法は、圧縮ビデオフレームに関連するタイムスタンプ情報をクライアントに送信することを含む。例えば、タイムスタンプ情報は、圧縮ビデオフレームと共に、またはそれとは別に送信され得るもので、タイムスタンプ情報は、理論的にスキャンまたはローカルディスプレイにストリーミングするときなど、ビデオゲームによって決定されるときに、ネットワーク経由での送信なしで対応するビデオフレームの所望の表示タイミングの指標を与える。クライアントが圧縮ビデオフレームを受信及び復号すると、タイムスタンプ情報が処理され、サーバによって指定された所望の表示時間（例えば、サーバタイムスタンプ）と比較して、対応するビデオフレームのクライアントでの表示の可用性を示す復号タイムスタンプが作成される。一実施形態では、サーバ及びクライアントのタイミングは、同期されていない対応する個々のクロックによって定義され得るので、復号タイムスタンプは正規化され得る。タイムスタンプ情報に関する完全な議論は、図６Ｂ～６Ｃ、及び８Ａ～８Ｂに関連して提供され、図９に関連して等しく適用可能である。
６１３で、この方法は、クライアントで測定及び／または計算された復号タイムスタンプに基づいてヒストグラムを構築することを含む。例えば、対応するヒストグラムは、ある期間にわたってクライアントで受信及び復号された圧縮ビデオフレームに関連する復号タイムスタンプ情報をビニングすることによって作成され得る。復号タイムスタンプは、サーバによって指定された所望の表示時間（サーバタイムスタンプなど）と比較して、ビデオフレームのクライアントでの表示の可用性を示すことを示しているため、ヒストグラムはサーバ（サーバのタイムスタンプ情報など）によって指定された所望の表示時間に関連してクライアントが受信したビデオフレームの復号完了のタイミングの分布も提供する。タイムスタンプ情報に関する完全な議論は、図６Ｂ～６Ｃ、及び８Ａ～８Ｂに関連して提供され、図９に関連して等しく適用可能である。
９１０で、この方法は、特定の時点でのヒストグラムの幅を測定することを含む。例えば、ヒストグラムにおける復号タイムスタンプの分布の幅は、受信されたビデオフレームの所定の数または閾値（例えば、９９．９９パーセント）が、クライアントＶＳＹＮＣ信号３１２の次の適切な発生時に表示される時間内にクライアントに到着するように測定され得る（明確にするために、受信したビデオフレームの残りの０．０１％は、幅を測定するときに含まれていない）。
特に、ヒストグラムの幅は、特定の時点でクライアントが必要とするフレームバッファリングの量を設定するために使用できる。したがって、９２０で、この方法は、ヒストグラムの幅と、同期されたサーバ及びクライアントＶＳＹＮＣ信号のフレーム期間に基づいて、クライアントに多数の表示バッファを動的に設定し、ヒストグラム７５０は、時間内の特定の点で生成される。前述のように、幅がフレーム期間未満の場合は、例えば２つのフレームバッファが必要になる。このように、復号タイムスタンプが低いビデオフレームはバッファに長期間保持されるが、ビデオフレームは復号タイムスタンプが高いほど、バッファに保持される期間が短くなる。
図２Ａ～２Ｄの様々なクライアントデバイス２１０及び／またはクラウドゲームネットワーク２９０（例えば、ゲームサーバ２６０内）の詳細な説明と共に、図１０の流れ図１０００は、本開示の一実施形態による、２つ以上のデバイス間のＶＳＹＮＣ信号間の相対的なタイミングを調整するための方法を示している。特に、流れ図１０００は、ドリフトを補償するため、及び／または対応するデバイスの２つ以上のＶＳＹＮＣ信号間のオフセットまたは位相を調整するために使用され得る。
１０１０で、この方法は、複数のデバイスにおいて、複数のＶＳＹＮＣ信号を複数のＶＳＹＮＣ周波数に設定することを含み、対応するデバイスの対応するデバイスＶＳＹＮＣ信号は、対応するデバイスのＶＳＹＮＣ周波数に設定される。つまり、各デバイスは、対応するピクセルクロックを使用して対応するＶＳＹＮＣ信号を設定する。さらに、周波数は、同じ見かけの周波数に設定されるなど、類似している場合があるが、実際の周波数は、様々なピクセルクロック間の差異のために異なる場合がある。これらのＶＳＹＮＣ信号は、ビデオフレームの生成（サーバ／クライアントアーキテクチャのサーバなど）及び／またはビデオフレームの表示（サーバ／クライアントアーキテクチャのクライアントなど）に使用できる。また、これらのＶＳＹＮＣ信号は、ビデオフレームの生成とビデオフレームの表示の両方に使用できる。例えば、各デバイスがローカルでビデオゲームを実行しているピアツーピアアーキテクチャのデバイスでは、そのタイミングはビデオフレームの実行と表示を調整することができる。
１０２０で、この方法は、複数のデバイス間で複数の信号を送信することを含み、これは、少なくとも２つのデバイスの対応するデバイスのＶＳＹＮＣ信号間の相対的なタイミングを調整するために分析及び使用される。相対的なタイミングは、サーバ／クライアントアーキテクチャで構成されたデバイス間、またはピアツーピアアーキテクチャで構成されたデバイス間で調整できる。例えば、信号は、前述のように、対応するビデオフレームがいつサーバによって表示されることを意図されているかについての指示を与えるサーバタイムスタンプ情報またはサーバタイミング情報を含み得る。そのようにして、複数のデバイスのＶＳＹＮＣ信号は、少なくとも２つのＶＳＹＮＣ信号間のドリフトを決定することによって同期化され得る（例えば、ＶＳＹＮＣ信号の周波数を同期化する）。また、タイミングオフセット及び／またはタイミング位相は、少なくとも２つのＶＳＹＮＣ信号間で調整することができる。
特に、一実施形態では、デバイスのうちの少なくとも２つは、サーバ／クライアントアーキテクチャで構成され得る。別の実施形態では、デバイスは、マルチテナント構成（例えば、複数のクライアントデバイス用の１つのサーバ）に配置される。例えば、第１のデバイスは、サーバＶＳＹＮＣ信号がサーバＶＳＹＮＣ周波数に設定されるサーバデバイスであり得る。サーバＶＳＹＮＣ信号は、サーバＶＳＹＮＣ周波数の複数のフレーム期間中のサーバデバイスでのアプリケーションの実行中の複数のビデオフレームの生成に対応する。複数の圧縮ビデオフレームが、サーバＶＳＹＮＣ信号に基づいて、ネットワークを介してサーバデバイスから複数のデバイス内の残りのデバイス（クライアントデバイスなど）のそれぞれに送信される。例えば、サーバＶＳＹＮＣ信号は、サーバでのビデオフレームの生成と符号化のタイミングを提供する。圧縮ビデオフレームはサーバデバイスによって生成されているビデオフレームに基づく。各受信デバイス（残りのデバイスなど）は、受信された圧縮ビデオフレームを復号して表示する。復号されたビデオフレームの表示は、各受信デバイス間で同期させることができる。
特に、相対タイミングは、ドリフトを補償するために、及び／またはデバイスのＶＳＹＮＣ信号間のタイミングオフセットまたは位相を調整するために、デバイス間で調整され得る。ドリフト及びタイミングオフセットまたは位相の調整は、図６Ａ～６Ｃ、７、及び８Ａ～８Ｂに関連して前述した技法を使用して決定することができる。２つのデバイスのＶＳＹＮＣ信号間の相対的なタイミングの調整は、どちらのデバイスでも発生する可能性があり、対応するデバイスの対応するデバイスＶＳＹＮＣ信号の対応するフレーム周期の垂直帰線区間のラスタースキャンラインを除去または追加することによる周波数の調整、または対応するデバイスの対応するクロックのオーバークロックまたはアンダークロックを含む場合がある。
特に、一実施形態では、デバイスのうちの少なくとも２つは、ピアツーピアアーキテクチャで構成され得る。例えば、各デバイスは独立したピアデバイスである場合がある。つまり、どのデバイスもサーバデバイスではない。そのようにして、デバイスは、ピアツーピアゲーム用に構成され得る。各デバイスは、同じビデオゲームを処理することによって複数のビデオフレームを生成している。独立したピアデバイスは、マルチプレイヤーゲームセッションを制御するバックエンドサーバサポートを使用して、特定のビデオゲームのマルチプレイヤーモードで動作している場合がある。
バックエンドサーバは、マルチプレイヤーゲームセッションの各ユーザの状態データを管理することにより、デバイス間の状態共有を可能にすることができる。状態データは、特定箇所における該当ユーザの（ゲームアプリケーションの）ゲームプレイの状態を定義するゲーム状態データを含み得る。例えば、ゲーム状態データには、ゲームキャラクター、ゲームオブジェクト、ゲームオブジェクト属性、ゲーム属性、ゲームオブジェクト状態、グラフィックオーバーレイなどが含まれ得る。このようにして、オブジェクトとキャラクターを、マルチプレイヤーゲームセッションに参加しているユーザの各ゲーム環境に挿入でき、各ユーザのゲームプレイが状態の共有を介して各ユーザにカスタマイズされるようにする。
また、各ユーザのゲームプレイは、状態共有に基づいて同期することができる。すなわち、各デバイスで表示されているビデオフレームは、同期されたゲームプレイに反映されるように同期され得る。このように、あるユーザは、他のユーザのゲームプレイのビデオフレームよりも早く、対応するデバイス上でビデオフレームを継続的に受信及び表示することによって利点を得ることができない場合がある。または、バックエンドサーバは関与せず、この場合ピア間のＶＳＹＮＣ関係は、他のピアからの制御または状態情報の受信と、他のピアから受信した情報を使用するビデオフレームの表示との間の待ち時間を最小限に抑えるように最適化される。
図１１Ａは、本開示の一実施形態による、クライアント２１０で表示するための解凍されたビデオフレームの受信、復号、及びレンダリングの重複を示している。特に、クラウドゲームアプリケーションにおけるサーバ（図示せず）とクライアント２１０との間の一方向の待ち時間は、特定のビデオフレームの受信、復号、及び表示の重複する操作によって低減され得る。
例えば、クラウドゲームアプリケーションのクライアントは、ビデオフレームを受信して復号する。特に、受信操作４０５で符号化されたビデオフレーム１１０５を受信するクライアントは、サーバがビデオゲームを実行してゲームレンダリングされたビデオフレームを生成し、次にサーバのエンコーダで符号化され、符号化されたビデオフレーム１１０５としてクライアントに配信される。符号化されたビデオフレーム１１０５は、サーバのエンコーダによって圧縮される１つまたは複数の符号化されたスライスを含む。クライアントは、復号操作４０６で、符号化されたビデオフレーム内の１つまたは複数の符号化されたスライスを復号するように構成されたデコーダを含む。一実施形態では、復号プロセスは、対応するビデオフレームがクライアントで完全に受信される前に開始する。デコーダは、符号化されたスライスごとに復号を実行するため、復号されたビデオフレーム１１０６は、１つまたは複数のエンコーダスライスを含む。その後、復号されたビデオフレーム１１０６は、次に、復号されたビデオフレーム１１０６内の情報をスキャンラインまたはスクリーンスライスにレンダリングするなどの表示のために準備される。その後、クライアントレンダリングされたビデオフレーム１１０７は、表示の準備ができている。
サーバとクライアントとの間の一方向の待ち時間は、ビデオフレームが操作４０６で完全に復号される前に、クライアント２１０に操作４０７でビデオフレームの表示を開始させることによって減らすことができる。特に、ビデオフレームの１つまたは複数の復号されたスライスは、ビデオフレームが完全に復号される前に、ディスプレイにレンダリングするために準備され得る。すなわち、４０７での表示操作は、４０６での復号操作と重複する。特に、最初に符号化されたスライス（スライスＡなど）は、クライアントのスキャンアウトが表示を開始する前に到着して復号する必要がある。さらに、後続のすべての符号化されたスライスは、それぞれの解凍されたデータがレンダリングされて表示のためにスキャンアウトされる前に、到着して復号される必要がある。
さらに、クライアントでの受信及び復号操作の重複に加えて、サーバによって送信された符号化されたビデオフレームがクライアントで完全に受信される前であっても、次いで表示の準備においてレンダリングされる１つまたは複数の復号されたスライスの表示が発生する可能性がある。つまり、クライアントでの受信、復号、及び表示操作の１つまたは複数が、対応するビデオフレームに対して重複する場合がある。さらに、サーバとクライアントの両方で複数の操作を重複させている場合、サーバでのスキャンアウト操作が完全に完了する前であっても、表示の準備において次いでレンダリングされるレンダリングされたビデオフレームの１つ以上の復号されたスライスをクライアントで表示でき、この場合一実施形態で、スキャンアウトは、ゲームでレンダリングされたビデオフレームをサーバのエンコーダに配信する。
操作４０７での表示と操作４０６での復号の重複は、エンコーダスライスごとに実行することができる。このようにして、１つまたは複数の後続の符号化されたスライスが受信される前に、符号化されたスライスを表示することができる。これを行うには、前方誤り訂正（ＦＥＣ）データを、対応するビデオフレームの符号化されたスライス間でインターリーブする必要がある。特に、符号化されたスライスは、１つまたは複数のネットワークパケットに分割され得る。ＦＥＣパケットは、スライスに関連付けられた１つ以上のパケットを修正するために使用できる。そのため、ＦＥＣパケットは、複数のスライスのパケット間でインターリーブされる場合がある。このようにして、前方誤り訂正を早期に使用して、フレームのパケットのセット全体（例えば、データ及びＦＥＣ）がクライアントによって受信されるのを待たずに、スライスの欠落及び／または破損したパケットを訂正できる。これにより、クライアントでの復号操作と表示操作を重複させることができる。
一実施形態では、復号タイムスタンプをスライスごとに作成することができ、サーバによって指定された所望の表示時間と比較して、クライアントで表示するためのスライスの可用性を示す。復号タイムスタンプは、クライアントでのスライスの復号４０６の完了時間を取り、フレームの理想的な表示時間を示すサーバから受信したタイムスタンプを差し引き、表示プロセス４０７内での解凍されたスライスが使用される時間を加算する（つまり、例えば、解凍されたスライスデータがすぐに必要な場合は０ｍｓを追加し、１６．６７ｍｓのフレーム期間の途中でスライスデータが必要な場合は８．３３ｍｓを追加する）ことによって計算することができる。他のすべてのタイムスタンプから最初の復号タイムスタンプを差し引くなど、何らかの方法で復号タイムスタンプを正規化すると便利な場合がある。
復号タイムスタンプは、図５Ａ～５Ｂ及び８Ａ～８Ｂに示されているものと同様のヒストグラムに配置することができる。ヒストグラムによって決定される最悪の場合または最悪に近い場合（例えば、９９．９９９％）の復号タイムスタンプを使用して、相対的なサーバとクライアントのＶＳＹＮＣタイミングを調整し、それによって一方向の待ち時間を減らすことができる。スライスが到着して遅れて復号されると、表示バッファの既存のコンテンツが表示に使用され、目に見える破損または「ティアリング」が発生するため、９９．９９９％などの非常に高い閾値が望ましく、サーバ２６０で生成され、クライアント２１０で表示されるビデオフレーム１０万フレームのうち、１フレームが欠落することを規定する。
図２Ａ～２Ｄの様々なクライアントデバイス２１０及び／またはクラウドゲームネットワーク２９０（例えば、ゲームサーバ２６０内）の詳細な説明と共に、本開示の実施形態によれば、図１１Ｂの流れ図１１００Ｂは、符号化されたフレームがサーバからクライアントで受信され、復号されて表示のためにレンダリングされるクラウドゲームの方法を示し、ビデオフレームの復号及び表示は、一方向の待ち時間を短縮する目的で重複することができる。クライアントでの１つまたは複数の操作を重複できることは、図４～１０で前述したように、サーバとクライアントとの間の一方向の待ち時間を管理することによって達成される。例えば、サーバとクライアントのＶＳＹＮＣ信号間の相対的なタイミングは、サーバとクライアント間の一方向の待ち時間の変動を低減及び／または最小化するように調整される。
１１１０で、この方法はクライアントで符号化されたビデオフレームを受信することを含み、サーバがアプリケーションを実行してレンダリングされたビデオフレームを生成し、それが次にサーバのエンコーダで符号化されたビデオフレームとして符号化され、符号化されたビデオフレームは、圧縮された１つまたは複数の符号化されたスライスを含む。例えば、サーバはサーバＶＳＹＮＣ信号を使用して複数のビデオフレームを生成する。各ビデオフレームは、圧縮のためにエンコーダに送信することができ、各ビデオフレームは、１つまたは複数の符号化されたスライスに符号化することができる。前述のように、対応するビデオフレームの符号化の開始は、サーバＶＳＹＮＣ信号にアライメントすることができる。次に、圧縮ビデオフレームがクライアントに送信され、送信はサーバＶＳＹＮＣ信号と一致している必要はなく、エンコーダスライスまたは完全なビデオフレームが符号化されるとすぐに開始される。圧縮ビデオフレームはクライアントによって受信される。
１１２０で、この方法は、１つまたは複数の復号されたスライスを生成するために、クライアントのデコーダで１つまたは複数の符号化されたスライスを復号することを含む。一実施形態では、１つまたは複数の符号化されたスライスの復号は、クライアントで符号化されたビデオフレームを完全に受信する前に開始することができる。例えば、クライアントは、対応するビデオフレームの１つ以上の符号化されたスライスを受信する。次に、符号化されたスライスのそれぞれが復号され、表示バッファに配置され、復号されたビデオフレームが表示バッファに配置される。
１１３０で、この方法は、クライアントで表示するために１つ以上の復号されたスライスをレンダリングすることを含む。特に、復号のプロセスの間に、復号されたスライスを表示用にレンダリングすることができ、レンダリングには、対応するビデオフレームの復号されたスライスから画面スライス（例えば、スキャンライン）を生成することが含まれ、これはその後、クライアントのディスプレイにストリーミングされる。
１１４０で、この方法は、一実施形態では、クライアントで１つまたは複数の符号化されたスライスを完全に受信する前にレンダリングされる１つまたは複数の復号されたスライスの表示を開始することを含む。特に、ディスプレイバッファに配置された復号されたスライスは、クライアントのディスプレイにすぐにストリーミングされる場合がある。そのため、受信と表示のクライアント操作が重複する場合がある。
別の実施形態では、この方法は、１つまたは複数の符号化されたスライスを完全に復号する前に、ディスプレイでレンダリングされる１つまたは複数の復号されたスライスの表示を開始することを含む。特に、ディスプレイバッファに配置された復号されたスライスは、クライアントのディスプレイにすぐにストリーミングされる場合がある。そのため、復号と表示のクライアント操作が重複する場合がある。
図１２は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス１２００の構成要素を示す。例えば、図１２は、本開示の実施形態による、サーバまたはクライアントのＶＳＹＮＣ信号を調整して、サーバとクライアント間のＶＳＹＮＣ信号のオフセットを同期及び／または調整するなど、メディアコンテンツのストリーミング及び／またはストリーミングメディアコンテンツの受信に適し、クライアントで動的バッファリングを提供するのに適し、クライアントでのビデオフレームの重複する復号及び表示に適している例示的なハードウェアシステムを示している。
このブロック図は、各々が本発明の実施形態を実施するために適した、パーソナルコンピュータ、サーバコンピュータ、ゲーム機、モバイル機器、または他のデジタルデバイスを組み込むことができる、またはそれらである場合があるデバイス１２００を示す。デバイス１２００は、ソフトウェアアプリケーション及び任意選択的にオペレーティングシステムを作動させる中央処理装置（ＣＰＵ）１２０２を含む。ＣＰＵ１２０２は、１つまたは複数の同種または異種の処理コアで構成され得る。
様々な実施形態によれば、ＣＰＵ１２０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。さらなる実施形態は、ゲーム実行中のグラフィック処理のために構成されたアプリケーションの、媒体及び双方向エンターテインメントアプリケーションなどのきわめて並列かつ計算集約的なアプリケーションに特に適合されたマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用し、実装することができる。
メモリ１２０４は、ＣＰＵ１２０２及びＧＰＵ１２１６が使用するアプリケーション及びデータを格納する。ストレージ１２０６は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、ストレージ１２０６には、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ‐ＲＯＭ、ＤＶＤ‐ＲＯＭ、Ｂｌｕ‐ｒａｙ（登録商標）、ＨＤ‐ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体が含まれ得る。ユーザ入力デバイス１２０８は、１人以上のユーザからのユーザ入力をデバイス１２００に伝達するものであり、その例としては、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルまたはビデオレコーダ／カメラ、及び／またはマイクロフォンがあり得る。
ネットワークインターフェース１２０９は、デバイス１２００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、かつ、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークを介する有線または無線通信を含み得る。音声プロセッサ１２１２は、ＣＰＵ１２０２、メモリ１２０４、及び／またはストレージ１２０６により提供される命令及び／またはデータから、アナログまたはデジタルの音声出力を生成するように適合される。ＣＰＵ１２０２、グラフィックスサブシステム１２１４、例えばＧＰＵ１２１６及びＧＰＵキャッシュ１２１８、メモリ１２０４、データストレージ１２０６、ユーザ入力デバイス１２０８、ネットワークインターフェース１２０９、及び音声プロセッサ１２１２を含むデバイス１２００の構成要素は、１つ以上のデータバス１２２２を介して接続されている。
グラフィックスサブシステム１２１４はさらに、データバス１２２２及びデバイス１２００の構成要素と接続されている。グラフィックスサブシステム１２１４は、グラフィック処理ユニット（ＧＰＵ）１２１６と、グラフィックスメモリ１２１８とを含む。グラフィックスメモリ１２１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えばフレームバッファ）を含む。グラフィックスメモリ１２１８は、ＧＰＵ１２１６と同じデバイスに統合されてもよく、ＧＰＵ１２１６と別個のデバイスとして接続されてもよく、かつ／またはメモリ１２０４内に実装されてもよい。画素データは、直接ＣＰＵ１２０２からグラフィックスメモリ１２１８へ提供され得る。あるいは、ＣＰＵ１２０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ１２１６に提供し、これによりＧＰＵ１２１６は、１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ１２０４及び／またはグラフィックスメモリ１２１８に格納され得る。実施形態において、ＧＰＵ１２１６は、シーンの形状、照明、シャドウィング、質感、動き、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ１２１６はさらに、シェーダープログラムを実行することができる１つ以上のプログラム可能実行ユニットを含み得る。
グラフィックスサブシステム１２１４は、グラフィックスメモリ１２１８から画像の画素データを定期的に出力して、ディスプレイデバイス１２１０に表示させる、または投影システム（図示せず）により投影させる。ディスプレイデバイス１２１０は、デバイス１２００からの信号に応じて視覚情報を表示することができる任意のデバイスであり得るもので、これにはＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。デバイス１２００は、ディスプレイデバイス１２１０に、例えばアナログ信号またはデジタル信号を提供することができる。
グラフィックスサブシステム１２１４を最適化するための他の実施形態は、ＧＰＵインスタンスが複数のアプリケーション間で共有されるマルチテナンシーＧＰＵ操作、及び単一のゲームをサポートする分散ＧＰＵを含むことができる。グラフィックスサブシステム１２１４は、１つまたは複数の処理デバイスとして構成することができる。
例えば、グラフィックスサブシステム１２１４は、マルチテナンシーＧＰＵ機能を実行するように構成され得るもので、一実施形態では、１つのグラフィックスサブシステムが、複数のゲームのためのグラフィックス及び／またはレンダリングパイプラインを実装し得る。つまり、グラフィックスサブシステム１２１４は、実行されている複数のゲーム間で共有される。
他の実施形態では、グラフィックスサブシステム１２１４は、対応するＣＰＵ上で実行されている単一のアプリケーションのためにグラフィック処理を実行するために組み合わされる複数のＧＰＵデバイスを含む。例えば、複数のＧＰＵは、フレームレンダリングの代替形式を実行でき、この場合、例えばＧＰＵ１は最初のフレームをレンダリングし、ＧＰＵ２は２番目のフレームを連続したフレーム期間でレンダリングし、最後のＧＰＵに到達すると、最初のＧＰＵが次のビデオフレームをレンダリングする（例えば、ＧＰＵが２つしかない場合、ＧＰＵ１は３番目のフレームをレンダリングする）。つまり、フレームをレンダリングするときにＧＰＵが回転する。レンダリング操作は重複する可能性があり、それにおいて、ＧＰＵ１が最初のフレームのレンダリングを終了する前にＧＰＵ２が２番目のフレームのレンダリングを開始できる。
別の実施形態では、複数のＧＰＵデバイスに、レンダリング及び／またはグラフィックスパイプラインで異なるシェーダー操作を割り当てることができる。マスターＧＰＵがメインのレンダリングと合成を実行している。例えば、３つのＧＰＵを含むグループでは、マスターＧＰＵ１がメインレンダリング（例えば、最初のシェーダー操作）を実行し、スレーブＧＰＵ２とスレーブＧＰＵ３からの出力の合成を実行でき、スレーブＧＰＵ２は２番目のシェーダー（例えば、川などの流体エフェクト）操作を実行でき、スレーブＧＰＵ３は３番目のシェーダー（例えば、粒子の煙）操作を実行でき、マスターＧＰＵ１は、ＧＰＵ１、ＧＰＵ２、及びＧＰＵ３のそれぞれからの結果を合成する。このようにして、様々なＧＰＵを割り当てて、様々なシェーダー操作（フラグを振る、風、煙の発生、火など）を実行してビデオフレームをレンダリングできる。さらに別の実施形態では、３つのＧＰＵのそれぞれを、ビデオフレームに対応するシーンの異なるオブジェクト及び／または部分に割り当てることができる。上記の実施形態及び実施態様では、これらの操作は、同じフレーム期間で（同時に並行して）、または異なるフレーム期間で（順次並列に）実行することができる。
したがって、本開示は、サーバまたはクライアントのＶＳＹＮＣ信号を調整してサーバとクライアントとの間のＶＳＹＮＣ信号のオフセットを同期及び／または調整することを含む、メディアコンテンツをストリーミングするため及び／またはストリーミングメディアコンテンツを受信するため、クライアントで動的バッファリングを提供するため、及びクライアントでビデオフレームの復号と表示を重複させるために構成された方法及びシステムを説明する。
本明細書で定義される様々な実施形態が、本明細書に開示する様々な特徴を使用し、特定の実施態様に結合され得る、または組み込まれ得ることを理解されたい。したがって、提供される実施例は、いくつかの可能な実施例にすぎず、様々な要素を組み合わせることでより多くの実施態様を定義することが可能な様々な実施態様に限定されない。ある例では、ある実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能な消費者向け電気製品、ミニコンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施されてよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。
上記の実施形態を念頭に置いて、本開示の実施形態がコンピュータシステムに格納されたデータを含む様々なコンピュータ実装の動作を使用し得ることを理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。開示の実施形態はまた、これら動作を実行するためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築されてもよい。または、装置は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータであってもよい。具体的には、本明細書の教示に従って書かれたコンピュータプログラムと共に様々な汎用マシンを使用することができる、あるいは、必要な動作を実行するためにさらに特化した装置を構築するほうがより好都合である場合もある。
本開示はまた、コンピュータ可読媒体上のコンピュータ可読コードとしても具現化することができる。コンピュータ可読媒体は、後でコンピュータシステムにより読み出され得るデータを格納できる任意のデータストレージデバイスである。コンピュータ可読媒体の例には、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスが含まれる。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で格納され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。
方法の動作を特定の順序で記載したが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他のハウスキーピング動作が実行されてよく、または動作がわずかに異なる時間に起こるように調整されてよく、またはシステム内に動作を分散することで、処理に関連する様々な間隔で処理動作が起こることを可能にしてよいことを、理解すべきである。
前述の開示は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本開示の実施形態は、本明細書に提供される詳細に限定されるものではなく、添付の特許請求の範囲内及び均等物内で変更されてもよい。

Claims (94)

  1. サーバで、サーバＶＳＹＮＣ信号をサーバのＶＳＹＮＣ周波数に設定し、前記サーバＶＳＹＮＣ信号が前記サーバＶＳＹＮＣ周波数の複数のフレーム期間中の前記サーバでの複数のビデオフレームの生成に対応し、
    クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信し、
    前記クライアントで、前記複数の圧縮ビデオフレームを復号及び表示し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整する、方法。
  2. さらに、生成された前記複数のビデオフレームに関連するタイムスタンプ情報を前記サーバから前記クライアントに送信する、請求項１に記載の方法。
  3. 前記タイムスタンプ情報が前記複数の圧縮ビデオフレームと共に送信されるか、または前記タイムスタンプ情報が前記複数の圧縮ビデオフレームとは別に送信される、請求項２に記載の方法。
  4. 前記タイムスタンプ情報は、生成された対応するビデオフレームに対応するタイムスタンプを含み、
    前記対応するタイムスタンプは、前記サーバでの対応するフリップ時間、または前記対応するビデオフレームをエンコーダにスキャンするために使用される前記サーバＶＳＹＮＣ信号の対応する発生時に発生する、請求項２に記載の方法。
  5. 前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ周波数の少なくとも１つを類似するように調整することをさらに含む、請求項２に記載の方法。
  6. 前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ信号の間の前記相対的なオフセットを調整することをさらに含む、請求項２に記載の方法。
  7. 前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号の少なくとも１つを調整して、前記相対的なタイミングを調整することをさらに含む、請求項１に記載の方法。
  8. クライアントの操作の前記タイミングを継続的に分析し、かつ、
    前記分析に基づいて、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号の少なくとも１つを調整することにより、前記相対的なタイミングを動的に調整することをさらに含む、請求項１に記載の方法。
  9. さらに、前記サーバまたはクライアントで、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ周波数の間のドリフトを決定し、かつ、
    前記サーバまたはクライアントで、前記対応するサーバＶＳＹＮＣ周波数または前記クライアントＶＳＹＮＣ周波数を１つ以上のフレーム期間で調整して、前記ドリフトを補償する、請求項７に記載の方法。
  10. 前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号の少なくとも１つの調整では、
    前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号のフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加する、請求項７に記載の方法。
  11. 前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号の少なくとも１つの前記調整では、
    前記サーバまたは前記クライアントの対応するクロックをオーバークロックまたはアンダークロックする、請求項７に記載の方法。
  12. 前記サーバは、前記複数の圧縮ビデオフレームを生成するためのエンコーダを含み、前記複数の圧縮ビデオフレームは、ストリーミングモードで前記サーバによるアプリケーションの処理に応答して生成され、セッション中に前記クライアントに配信される、請求項１に記載の方法。
  13. 前記クライアントは、前記クライアントに関連付けられたディスプレイにレンダリングするために、前記複数の圧縮ビデオフレームを受信及び解凍するように構成される、請求項１２に記載の方法。
  14. 前記複数の圧縮ビデオフレームの前記クライアントによる前記復号のタイミングが分析され、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整するために使用される、請求項１に記載の方法。
  15. さらに、前記複数の圧縮ビデオフレーム内の複数の符号化されたスライスの前記クライアントにより前記復号のタイミングを分析し、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整する、請求項１４に記載の方法。
  16. 前記複数の圧縮ビデオフレームの最悪に近い場合の復号時間が分析され、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整する、請求項１４に記載の方法。
  17. 前記最悪に近い場合の復号時間は、前記クライアントで受信された前記複数の圧縮ビデオフレームの復号時間の分布を測定することによって決定される、請求項１６に記載の方法。
  18. 前記対応するビデオフレームの対応するスキャンアウトでエンコーダに生成される前記複数のビデオフレームのそれぞれについて、前記サーバで対応するタイムスタンプを提供し、
    前記複数のビデオフレームの前記対応するタイムスタンプを前記クライアントに配信し、
    前記複数のビデオフレームのそれぞれのタイミングを与えるヒストグラムを構築し、前記ビデオフレームは、前記サーバで提供される前記対応するタイムスタンプに関連する前記クライアントにおける対応する復号時間の前記クライアントに対して生成及び配信されるものであり、
    前記複数の圧縮ビデオフレームの閾値パーセンテージが前記クライアントに到着し、前記対応するタイムスタンプによって示される前記クライアントＶＳＹＮＣ信号の対応する発生時に表示するために時間内に復号されるように、前記サーバＶＳＹＮＣ信号から前記クライアントＶＳＹＮＣ信号をオフセットすることをさらに含む、請求項１に記載の方法。
  19. フレーム期間がほぼ等しいサイズである複数のフレーム期間の間に前記サーバが複数のビデオフレームを生成し、
    クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定し、
    前記複数のビデオフレームに基づく複数の圧縮ビデオフレームを前記サーバからゼクライアントに送信し、
    前記クライアントで、前記複数の圧縮ビデオフレームを復号及び表示し、かつ、
    １つまたは複数のクライアント操作の前記タイミングを分析して、前記クライアントＶＳＹＮＣ信号の前記相対的なタイミングを調整し、前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、前記サーバで前記複数の圧縮ビデオフレームを生成する、方法。
  20. さらに、前記複数のフレーム期間に関連するタイムスタンプ情報を前記サーバから前記クライアントに定期的に送信する、請求項１９に記載の方法。
  21. さらに、前記サーバまたはクライアントで、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ周波数の間のドリフトを決定し、かつ、
    前記サーバまたはクライアントで、前記対応するサーバＶＳＹＮＣ周波数または前記クライアントＶＳＹＮＣ周波数を１つ以上のフレーム期間で調整して、前記ドリフトを補償する、請求項１９に記載の方法。
  22. 前記対応するサーバＶＳＹＮＣ周波数または前記クライアントＶＳＹＮＣ周波数の調整では、
    さらに、前記サーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号のフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加する、請求項２１に記載の方法。
  23. 前記対応するサーバＶＳＹＮＣ周波数または前記クライアントＶＳＹＮＣ周波数の前記調整では、
    前記サーバまたは前記クライアントの対応するクロックをオーバークロックまたはアンダークロックする、請求項２１に記載の方法。
  24. 方法を実行するためのコンピュータプログラムを格納する非一時的なコンピュータ可読媒体であって、
    サーバＶＳＹＮＣ信号を、サーバで、サーバのＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、前記サーバＶＳＹＮＣ信号が前記サーバＶＳＹＮＣ周波数の複数のフレーム期間中の前記サーバでの複数のビデオフレームの生成に対応し、
    クライアントＶＳＹＮＣ信号を、クライアントで、クライアントＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信するためのプログラム命令を有し、
    前記クライアントが前記複数の圧縮ビデオフレームを復号及び表示するためのプログラム命令を有し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整するためのプログラム命令を有する、非一時的コンピュータ可読媒体。
  25. 生成された前記複数のビデオフレームに関連するタイムスタンプ情報を前記サーバから前記クライアントに送信するためのプログラム命令をさらに有し、
    前記タイムスタンプ情報は、生成された対応するビデオフレームに対応するタイムスタンプを含み、
    前記対応するタイムスタンプは、前記サーバでの対応するフリップ時間、または前記対応するビデオフレームをエンコーダにスキャンするために使用される前記サーバＶＳＹＮＣ信号の対応する発生時に発生する、請求項２４に記載の非一時的コンピュータ可読媒体。
  26. さらに、前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ周波数の少なくとも１つを類似するように調整する、請求項２４に記載の非一時的コンピュータ可読媒体。
  27. 前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ信号の間の前記相対的な位相またはオフセットを調整するためのプログラム命令をさらに有する、請求項２４に記載の非一時的コンピュータ可読媒体。
  28. 前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号の少なくとも１つを調整して、前記相対的なタイミングを調整するためのプログラム命令をさらに有する、請求項２４に記載の非一時的コンピュータ可読媒体。
  29. 前記サーバまたはクライアントで、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ周波数の間のドリフトを決定するためのプログラム命令、及び、
    前記サーバまたはクライアントで、前記対応するサーバＶＳＹＮＣ周波数または前記クライアントＶＳＹＮＣ周波数を１つ以上のフレーム期間で調整して、前記ドリフトを補償するためのプログラム命令をさらに有する、請求項２８に記載の非一時的コンピュータ可読媒体。
  30. 前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号の少なくとも１つを調整するための前記プログラム命令は、
    対応するサーバＶＳＹＮＣ信号またはクライアントＶＳＹＮＣ信号のフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加するためのプログラム命令を有する、請求項２８に記載の非一時的コンピュータ可読媒体。
  31. 前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号の少なくとも１つを調整するためのプログラム命令は、
    前記サーバまたは前記クライアントの対応するクロックをオーバークロックまたはアンダークロックするためのプログラム命令を有する、請求項２８に記載の非一時的コンピュータ可読媒体。
  32. サーバＶＳＹＮＣ信号を、サーバで、複数のフレーム期間を定義するサーバのＶＳＹＮＣ周波数に設定し、前記サーバＶＳＹＮＣ信号は、前記複数のフレーム期間中の前記サーバでの複数のビデオフレームの生成に対応するものであり、
    クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信し、
    前記クライアントで、前記複数の圧縮ビデオフレームを復号及び表示し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記クライアントにより使用されるフレームバッファリングの前記量を設定する、方法。
  33. 前記フレームバッファリングの量は、経時的に前記クライアントによって動的に設定される、請求項３２に記載の方法。
  34. 前記フレームバッファリングの量が、前記クライアントでバッファリングするフレームの数を定義する、請求項３２に記載の方法。
  35. さらに、前記１つまたは複数のクライアント操作の前記タイミングに基づいて、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号の間の相対的なタイミングを調整する、請求項３２に記載の方法。
  36. 前記複数のビデオフレームに関連付けられたタイムスタンプ情報を送信し、
    各ビデオフレームの前記タイミングを与えるヒストグラムを構築し、前記ビデオフレームは、前記対応するタイムスタンプ情報に関連する前記クライアントでの対応する復号時間の前記クライアントに対して生成及び配信されるものであり、
    ある瞬間の前記ヒストグラムの幅を測定し、かつ、
    前記ヒストグラムの前記幅と前記フレーム期間に基づいて、前記クライアントで表示バッファの数を動的に設定する、請求項３２に記載の方法。
  37. 対応する生成されたビデオフレームの対応するタイムスタンプ情報は、前記サーバでの対応するフリップタイムで発生するか、または、前記対応するビデオフレームをエンコーダにスキャンするために使用される前記サーバＶＳＹＮＣ信号の対応する発生時に発生する、請求項３６に記載の方法。
  38. 前記クライアントによって使用される前記フレームバッファリングの量は、待ち時間調整のための入力であり、前記待ち時間調整は、前記フレームが所定の時間より遅く到着した場合に前記クライアントでのフレームの表示をスキップすることを決定することを有する、請求項３２に記載の方法。
  39. 復号される前記複数の圧縮ビデオフレームは、前記クライアントＶＳＹＮＣ信号を使用して表示される、請求項３２に記載の方法。
  40. 方法を実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体であって、
    ＶＳＹＮＣ信号を、サーバで、複数のフレーム期間を定義するサーバのＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、前記サーバＶＳＹＮＣ信号は、前記複数のフレーム期間中の前記サーバでの複数のビデオフレームの生成に対応するものであり、
    クライアントＶＳＹＮＣ信号を、クライアントで、クライアントＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信するためのプログラム命令を有し、
    前記複数の圧縮ビデオフレームを、前記クライアントで、復号及び表示するためのプログラム命令を有し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記クライアントにより使用されるフレームバッファリングの前記量を設定するためのプログラム命令を有する、非一時的コンピュータ可読媒体。
  41. 前記方法において、前記フレームバッファリングの量は、経時的に前記クライアントによって動的に設定される、請求項４０に記載の非一時的コンピュータ可読媒体。
  42. 前記方法において、前記フレームバッファリングの量は、前記クライアントで前記バッファリングするフレームの数を定義する、請求項４０に記載の非一時的コンピュータ可読媒体。
  43. 前記１つまたは複数のクライアント操作の前記タイミングに基づいて、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号の間の前記相対的なタイミングを調整するためのプログラム命令をさらに有する、請求項４０に記載の非一時的コンピュータ可読媒体。
  44. 前記複数のビデオフレームに関連付けられたタイムスタンプ情報を送信するためのプログラム命令を有し、
    各ビデオフレームの前記タイミングを与えるヒストグラムを構築するためのプログラム命令を有し、前記ビデオフレームは、前記対応するタイムスタンプ情報に関連する前記クライアントでの対応する復号時間の前記クライアントに対して生成及び配信される
    ある瞬間の前記ヒストグラムの幅を測定するためのプログラム命令を有し、かつ、
    前記ヒストグラムの前記幅と前記フレーム期間に基づいて、前記クライアントで表示バッファの数を動的に設定するためのプログラム命令をさらに有する、請求項４０に記載の非一時的コンピュータ可読媒体。
  45. 前記方法において、生成される、前記対応するビデオフレームの対応するタイムスタンプ情報は、前記サーバでの対応するフリップタイムで、または前記対応するビデオフレームをエンコーダにスキャンするために使用される前記サーバＶＳＹＮＣ信号の対応する発生時に発生する、請求項４４に記載の非一時的コンピュータ可読媒体。
  46. 前記方法において、前記クライアントによって使用される前記フレームバッファリングの量は、待ち時間調整のための入力であり、前記待ち時間調整は、前記フレームが所定の時間より遅く到着した場合に前記クライアントでのフレームの表示をスキップすると決定する、請求項４０に記載の非一時的コンピュータ可読媒体。
  47. 前記方法において、前記復号される前記複数の圧縮ビデオフレームが、前記クライアントＶＳＹＮＣ信号を使用して表示される、請求項４０に記載の非一時的コンピュータ可読媒体。
  48. コンピュータシステムであって、
    プロセッサと、
    前記プロセッサに接続され、命令を格納しており、コンピュータシステムにより実行されると、方法を前記コンピュータシステムに実行させるメモリとを含み、前記方法では、
    サーバＶＳＹＮＣ信号を、サーバで、複数のフレーム期間を定義するサーバのＶＳＹＮＣ周波数に設定し、前記サーバＶＳＹＮＣ信号は、前記複数のフレーム期間中の前記サーバでの複数のビデオフレームの生成に対応するものであり、
    クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信し、
    前記クライアントで、前記複数の圧縮ビデオフレームを復号及び表示し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記クライアントにより使用されるフレームバッファリングの前記量を設定する、コンピュータシステム。
  49. 前記方法において、前記フレームバッファリングの量は、経時的に前記クライアントによって動的に設定される、請求項４８に記載のコンピュータシステム。
  50. 前記方法において、前記フレームバッファリングの量が、前記クライアントでバッファリングするフレームの数を定義する、請求項４８に記載のコンピュータシステム。
  51. 前記方法では、さらに、
    前記複数のビデオフレームに関連付けられたタイムスタンプ情報を送信し、
    各ビデオフレームの前記タイミングを与えるヒストグラムを構築し、前記ビデオフレームは、前記対応するタイムスタンプ情報に関連する前記クライアントでの対応する復号時間の前記クライアントに対して生成及び配信されるものであり、
    ある瞬間の前記ヒストグラムの幅を測定し、かつ、
    前記ヒストグラムの前記幅と前記フレーム期間に基づいて、前記クライアントで表示バッファの数を動的に設定する、請求項４８に記載のコンピュータシステム。
  52. 方法であって、
    複数のデバイスにおいて、複数のＶＳＹＮＣ信号を複数のＶＳＹＮＣ周波数に設定し、対応するデバイスの対応するデバイスＶＳＹＮＣ信号は、対応するデバイスのＶＳＹＮＣ周波数に設定され、
    前記複数のデバイス間で複数の信号を送信し、これらの信号は、少なくとも２つのデバイスの対応するデバイスのＶＳＹＮＣ信号間の相対的なタイミングを調整するために分析及び使用される、方法。
  53. さらに、第１のデバイスはサーバデバイスであり、前記サーバデバイスに対してサーバＶＳＹＮＣ信号をサーバＶＳＹＮＣ周波数に設定し、前記サーバＶＳＹＮＣ信号は、前記サーバＶＳＹＮＣ周波数の前記複数の間にサーバデバイスでアプリケーションを実行する間の複数のフレーム期間のビデオフレームの生成に対応し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して、前記サーバデバイスから前記複数のデバイスの残りのデバイスのそれぞれに、前記複数のビデオフレームに基づく複数の圧縮ビデオフレームを送信し、かつ、
    前記複数のデバイスの前記残りのデバイスのそれぞれが、前記複数の圧縮ビデオフレームを復号及び表示し、
    前記複数のデバイスの前記残りのデバイスのそれぞれでの前記複数の圧縮ビデオフレームの前記表示は同期されている、請求項５２に記載の方法。
  54. 前記複数のデバイスの前記残りのデバイスのそれぞれは、サーバ及び前記サーバデバイスを備えたクライアントアーキテクチャで構成されたクライアントデバイスである、請求項５３に記載の方法。
  55. 前記サーバデバイスは、前記複数のデバイスのうちの前記残りのデバイスと共にマルチテナント構成で構成される、請求項５４に記載の方法。
  56. さらに、前記複数のデバイスの対応するデバイスでアプリケーションを処理するときに、対応する複数のビデオフレームを生成し、かつ、
    前記複数の前記複数のデバイスのそれぞれの前記対応するデバイスが、前記対応する複数のビデオフレームを表示し、
    前記複数のデバイスでの対応する複数のビデオフレームの表示は同期されている、請求項５２に記載の方法。
  57. 前記複数のデバイスのそれぞれは、独立したピアデバイスであり、
    前記複数のデバイスは、ピアツーピアゲームのためにピアツーピア構成で配置されている、請求項５２に記載の方法。
  58. 前記複数の信号のうちの少なくとも１つがタイムスタンプ情報を有する、請求項５２に記載の方法。
  59. 前記複数の信号が分析されて、前記複数のデバイスのデバイスＶＳＹＮＣ信号が同期される、請求項５２に記載の方法。
  60. 少なくとも２つのデバイスの対応するデバイスＶＳＹＮＣ信号間の前記相対的なタイミングは、
    対応するデバイスの対応するデバイスのＶＳＹＮＣ信号の対応するフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加することによって調整される、請求項５９に記載の方法。
  61. 少なくとも２つのデバイスの対応するデバイスＶＳＹＮＣ信号間の前記相対的なタイミングは、
    対応するデバイスの対応するクロックをオーバークロックまたはアンダークロックすることにより調整される、請求項５９に記載の方法。
  62. さらに、第１のデバイスの第１のデバイスのＶＳＹＮＣ周波数と第２のデバイスの第２のデバイスのＶＳＹＮＣ周波数との間のドリフトを決定し、かつ、
    前記ドリフトを補償するために、前記第１のデバイスまたは前記第２のデバイスが、対応するデバイスのＶＳＹＮＣ周波数を１つまたは複数のフレーム期間で調整する、請求項５２に記載の方法。
  63. 方法を実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体であって、
    複数のデバイスにおいて、複数のＶＳＹＮＣ信号を複数のＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、対応するデバイスの対応するデバイスＶＳＹＮＣ信号は、対応するデバイスのＶＳＹＮＣ周波数に設定するものであり、かつ、
    前記複数のデバイス間で複数の信号を送信するためのプログラム命令を有し、前記複数の信号は、少なくとも２つのデバイスの対応するデバイスＶＳＹＮＣ信号間の前記相対的なタイミングを調整するために分析及び使用される、非一時的コンピュータ可読媒体。
  64. サーバＶＳＹＮＣ信号を、サーバで、サーバのＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、前記サーバＶＳＹＮＣ信号が前記サーバＶＳＹＮＣ周波数の複数のフレーム期間中の前記サーバでのアプリケーションの複数のビデオフレームの生成に対応するものであり、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記複数のデバイスに、ビデオフレームに基づく複数の圧縮ビデオフレームを送信するためのプログラム命令を有し、かつ、
    複数のデバイスのそれぞれが、複数の圧縮ビデオフレームを復号及び表示するためのプログラム命令をさらに有し、
    前記複数のデバイスでの前記複数の圧縮ビデオフレームの前記表示は同期されている、請求項６３に記載の非一時的コンピュータ可読媒体。
  65. 前記方法では、前記複数のデバイスのそれぞれがクライアントデバイスであり、
    前記方法では、前記複数のデバイスのそれぞれがサーバ及びクライアントアーキテクチャで構成される、請求項６４に記載の非一時的コンピュータ可読媒体。
  66. 前記複数のデバイスの対応するデバイスでのアプリケーションの対応する複数のビデオフレームを生成するためのプログラム命令と、及び、
    前記複数の複数のデバイスのそれぞれの対応するデバイスが、前記対応する複数のビデオフレームを表示するためのプログラム命令をさらに有し、
    前記複数のデバイスでの対応する複数のビデオフレームの表示は同期されている、請求項６３に記載の非一時的コンピュータ可読媒体。
  67. 前記方法では、前記複数のデバイスのそれぞれは、独立したピアデバイスであり、
    前記方法では、前記複数のデバイスは、ピアツーピアゲームのためにピアツーピア構成で配置されている、請求項６６に記載の非一時的コンピュータ可読媒体。
  68. 前記方法において、前記複数の信号が分析されて、複数のデバイスのデバイスＶＳＹＮＣ信号を同期させる、請求項６３に記載の非一時的コンピュータ可読媒体。
  69. コンピュータシステムであって、
    プロセッサと、
    前記プロセッサに接続され、命令を格納しており、前記コンピュータシステムにより実行されると、方法を前記コンピュータシステムに実行させるメモリとを有し、前記方法では、
    複数のデバイスにおいて、複数のＶＳＹＮＣ信号を複数のＶＳＹＮＣ周波数に設定し、対応するデバイスの対応するデバイスＶＳＹＮＣ信号は、対応するデバイスのＶＳＹＮＣ周波数に設定し、
    前記複数のデバイス間で複数の信号を送信し、前記複数の信号は、少なくとも２つのデバイスの対応するデバイスのＶＳＹＮＣ信号間の相対的なタイミングを調整するために分析及び使用される、コンピュータシステム。
  70. 前記方法では、さらに、
    サーバＶＳＹＮＣ信号を、サーバで、サーバＶＳＹＮＣ周波数に設定し、前記サーバＶＳＹＮＣ信号は、前記サーバＶＳＹＮＣ周波数の複数のフレーム期間中の前記サーバでのアプリケーションの複数のビデオフレームの生成に対応し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記複数のデバイスに、ビデオフレームに基づく複数の圧縮ビデオフレームを送信し、かつ、
    複数のデバイスのそれぞれが、複数の圧縮ビデオフレームを復号及び表示し、
    前記複数のデバイスでの前記複数の圧縮ビデオフレームの前記表示は同期されている、請求項６９に記載のコンピュータシステム。
  71. 前記方法では、前記複数のデバイスのそれぞれがクライアントデバイスであり、
    前記方法では、前記複数のデバイスのそれぞれがサーバ及びクライアントアーキテクチャで構成される、請求項７０に記載のコンピュータシステム。
  72. さらに、前記複数のデバイスの対応するデバイスでのアプリケーションの対応する複数のビデオフレームを生成し、かつ、
    前記複数の前記複数のデバイスのそれぞれの対応するデバイスが、前記対応する複数のビデオフレームを表示し、
    前記複数のデバイスでの対応する複数のビデオフレームの表示は同期されている、請求項６９に記載のコンピュータシステム。
  73. 前記方法では、前記複数のデバイスのそれぞれは、独立したピアデバイスであり、
    前記方法では、前記複数のデバイスは、ピアツーピアゲームのためにピアツーピア構成で配置されている、請求項７２に記載のコンピュータシステム。
  74. 前記方法において、前記複数の信号が分析されて、前記複数のデバイスのデバイスＶＳＹＮＣ信号が同期される、請求項６９に記載のコンピュータシステム。
  75. クラウドゲームの方法であって、
    クライアントで符号化されたビデオフレームを受信し、サーバがアプリケーションを実行してレンダリングされたビデオフレームを生成し、それが次に前記サーバのエンコーダで符号化されたビデオフレームとして符号化され、前記符号化されたビデオフレームは、圧縮された１つまたは複数の符号化されたスライスを有するものであり、
    １つまたは複数の復号されたスライスを生成するために、前記クライアントのデコーダで前記１つまたは複数の符号化されたスライスを復号し、
    前記クライアントで表示するために前記１つ以上の復号されたスライスをレンダリングし、かつ、
    前記クライアントで前記１つまたは複数の符号化されたスライスを完全に受信する前にレンダリングされる前記１つまたは複数の復号されたスライスの表示を開始する、方法。
  76. 前記クライアントで前記符号化されたビデオフレームを完全に受信する前に、前記１つ以上の符号化されたスライスの復号を開始することをさらに有する、請求項７５に記載の方法。
  77. レンダリングされる前記１つまたは複数の復号されたスライスの表示の開始では、
    前記１つまたは複数の符号化されたスライスを完全に復号する前にレンダリングされる前記１つまたは複数の復号されたスライスの表示を開始る、請求項７５に記載の方法。
  78. さらに、前記サーバで、サーバＶＳＹＮＣ信号をサーバのＶＳＹＮＣ周波数に設定し、前記サーバＶＳＹＮＣ信号は、前記サーバＶＳＹＮＣ周波数の複数のフレーム期間中の前記サーバでの複数のレンダリングされたビデオフレームの生成に対応し、
    前記クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のレンダリングされたビデオフレームに基づく複数の圧縮ビデオフレームを送信し、
    前記クライアントで、前記複数の圧縮ビデオフレームを復号及び表示し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整する、請求項７５に記載の方法。
  79. 前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングの調整がなされ、この調整は、
    生成された前記複数のビデオフレームに関連するタイムスタンプ情報を前記サーバから前記クライアントに送信し、ここで、対応するレンダリングされた生成されたビデオフレームの対応するタイムスタンプは、前記サーバでの対応するフリップタイムで、または前記対応するビデオフレームをエンコーダにスキャンするために使用される前記サーバＶＳＹＮＣ信号の対応する発生時に発生するものであり、
    前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数とクライアントのＶＳＹＮＣ周波数の少なくとも１つを類似するように調整し、かつ、
    前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ信号の間の前記相対的なオフセットを調整することによって行われる、請求項７８に記載の方法。
  80. 前記タイムスタンプ情報が前記複数の圧縮ビデオフレームと共に送信されるか、または前記タイムスタンプ情報が前記複数の圧縮ビデオフレームとは別に送信される、請求項７９に記載の方法。
  81. 前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングは、
    前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号のフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加することによって調整される、請求項７８に記載の方法。
  82. クラウドゲームの方法を実行するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体であって、
    クライアントで符号化されたビデオフレームを受信するためのプログラム命令を有し、サーバがアプリケーションを実行してレンダリングされたビデオフレームを生成し、それが次に前記サーバのエンコーダで前記符号化されたビデオフレームとして符号化され、前記符号化されたビデオフレームは、圧縮された１つまたは複数の符号化されたスライスを有するものであり、
    １つまたは複数の復号されたスライスを生成するために、前記クライアントのデコーダで前記１つまたは複数の符号化されたスライスを復号するためのプログラム命令を有し、
    前記クライアントで表示するために前記１つまたは複数の復号されたスライスをレンダリングするためのプログラム命令を有し、かつ、
    前記クライアントで前記１つまたは複数の符号化されたスライスを完全に受信する前にレンダリングされる前記１つまたは複数の復号されたスライスの表示を開始するためのプログラム命令を有する、非一時的コンピュータ可読媒体。
  83. 前記クライアントで符号化されたビデオフレームを完全に受信する前に、前記１つ以上の符号化されたスライスの復号を開始するためのプログラム命令をさらに有する、請求項８２に記載の非一時的コンピュータ可読媒体。
  84. レンダリングされる前記１つまたは複数の復号されたスライスの表示を開始するための前記プログラム命令が、
    前記１つまたは複数の符号化されたスライスを完全に復号する前にレンダリングされる前記１つまたは複数の復号されたスライスの表示を開始するためのプログラム命令を有する、請求項８２に記載の非一時的コンピュータ可読媒体。
  85. 前記サーバで、サーバＶＳＹＮＣ信号をサーバのＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、前記サーバＶＳＹＮＣ信号は、前記サーバＶＳＹＮＣ周波数の複数のフレーム期間中の前記サーバでの複数のレンダリングされたビデオフレームの生成に対応するものであり、
    前記クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定するためのプログラム命令を有し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のレンダリングされたビデオフレームに基づく複数の圧縮ビデオフレームを送信するためのプログラム命令を有し、
    前記クライアントで、前記複数の圧縮ビデオフレームを復号及び表示するためのプログラム命令を有し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整するためのプログラム命令をさらに有する、請求項８２に記載の非一時的コンピュータ可読媒体。
  86. 前記プログラム命令において、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングの調整がなされ、この調整は、
    生成された前記複数のレンダリングされたビデオフレームに関連するタイムスタンプ情報を前記サーバから前記クライアントに送信するためのプログラム命令であって、対応するレンダリングされた生成されたビデオフレームの対応するタイムスタンプは、前記サーバでの対応するフリップタイムで、または前記対応するビデオフレームをエンコーダにスキャンするために使用される前記サーバＶＳＹＮＣ信号の対応する発生時に発生するものである、プログラム命令と、
    前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ周波数の少なくとも１つを類似するように調整するためのプログラム命令と、
    前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ信号の間の前記相対的な位相またはオフセットを調整するためのプログラム命令と、によって行われる、請求項８５に記載の非一時的コンピュータ可読媒体。
  87. 前記方法において、前記タイムスタンプ情報が前記複数の圧縮ビデオフレームと共に送信されるか、または前記タイムスタンプ情報が前記複数の圧縮ビデオフレームとは別に送信される、請求項８６に記載の非一時的コンピュータ可読媒体。
  88. 前記方法において、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングは、
    前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号のフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加することによって調整される、請求項８５に記載の非一時的コンピュータ可読媒体。
  89. コンピュータシステムであって、
    プロセッサと、
    前記プロセッサに接続され、命令を格納しており、前記コンピュータシステムにより実行されると、クラウドゲームの方法を前記コンピュータシステムに実行させるメモリを含み、前記方法では、
    クライアントで符号化されたビデオフレームを受信し、サーバがアプリケーションを実行してレンダリングされたビデオフレームを生成し、それが次に前記サーバのエンコーダで符号化されたビデオフレームとして符号化され、前記符号化されたビデオフレームは、圧縮された１つまたは複数の符号化されたスライスを有するものであり、
    １つまたは複数の復号されたスライスを生成するために、前記クライアントのデコーダで前記１つまたは複数の符号化されたスライスを復号し、
    前記クライアントで表示するために前記１つ以上の復号されたスライスをレンダリングし、かつ、
    前記クライアントで前記１つまたは複数の符号化されたスライスを完全に受信する前にレンダリングされる前記１つまたは複数の復号されたスライスの表示を開始する、コンピュータシステム。
  90. 前記方法では、
    前記クライアントで符号化されたビデオフレームを完全に受信する前に、前記１つ以上の符号化されたスライスの復号を開始することをさらに有する、請求項８９に記載のコンピュータシステム。
  91. 前記方法において、レンダリングされる前記１つまたは複数の復号されたスライスの表示の開始では、
    前記１つまたは複数の符号化されたスライスを完全に復号する前に前記ディスプレイでレンダリングされる前記１つまたは複数の復号されたスライスの表示を開始する、請求項８９に記載のコンピュータシステム。
  92. 前記方法では、さらに、
    前記サーバで、サーバＶＳＹＮＣ信号をサーバのＶＳＹＮＣ周波数に設定し、前記サーバＶＳＹＮＣ信号は、前記サーバＶＳＹＮＣ周波数の複数のフレーム期間中の前記サーバでの複数のレンダリングされたビデオフレームの生成に対応するものであり、
    前記クライアントで、クライアントＶＳＹＮＣ信号をクライアントＶＳＹＮＣ周波数に設定し、
    前記サーバＶＳＹＮＣ信号を使用して、ネットワークを介して前記サーバから前記クライアントに前記複数のレンダリングされたビデオフレームに基づく複数の圧縮ビデオフレームを送信し、
    前記クライアントで、前記複数の圧縮ビデオフレームを復号及び表示し、かつ、
    前記クライアントが前記複数の圧縮ビデオフレームを受信するときに、１つまたは複数のクライアント操作の前記タイミングを分析して、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングを調整する、請求項８９に記載のコンピュータシステム。
  93. 前記方法において、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングの調整がなされ、この調整は、
    生成された前記複数のビデオフレームに関連するタイムスタンプ情報を前記サーバから前記クライアントに送信し、ここで、対応するレンダリングされた生成されたビデオフレームの対応するタイムスタンプは、前記サーバでの対応するフリップタイムで、または前記対応するビデオフレームをエンコーダにスキャンするために使用される前記サーバＶＳＹＮＣ信号の対応する発生時に発生するものであり、
    前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数とクライアントのＶＳＹＮＣ周波数の少なくとも１つを類似するように調整し、及び
    前記サーバから前記クライアントに送信された前記タイムスタンプ情報に基づいて、前記サーバＶＳＹＮＣ周波数と前記クライアントＶＳＹＮＣ信号の間の前記相対的なオフセットを調整することによって行われる、請求項９２に記載のコンピュータシステム。
  94. 前記方法において、前記サーバＶＳＹＮＣ信号と前記クライアントＶＳＹＮＣ信号との間の前記相対的なタイミングは、
    前記サーバＶＳＹＮＣ信号または前記クライアントＶＳＹＮＣ信号のフレーム期間の垂直帰線区間のラスタースキャンラインを除去または追加することによって調整される、請求項９２に記載のコンピュータシステム。
JP2022520318A 2019-10-01 2020-09-29 クラウドゲームサーバとクライアント間のｖｓｙｎｃの同期及びオフセット Pending JP2022551587A (ja)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201962909132P 2019-10-01 2019-10-01
US201962909152P 2019-10-01 2019-10-01
US201962909142P 2019-10-01 2019-10-01
US201962909118P 2019-10-01 2019-10-01
US62/909,118 2019-10-01
US62/909,142 2019-10-01
US62/909,152 2019-10-01
US62/909,132 2019-10-01
US16/696,125 2019-11-26
US16/696,125 US11110349B2 (en) 2019-10-01 2019-11-26 Dynamic client buffering and usage of received video frames for cloud gaming
US16/696,214 US11235235B2 (en) 2019-10-01 2019-11-26 Synchronization and offset of VSYNC between gaming devices
US16/696,214 2019-11-26
US16/696,363 US11020661B2 (en) 2019-10-01 2019-11-26 Reducing latency in cloud gaming applications by overlapping reception and decoding of video frames and their display
US16/696,040 2019-11-26
US16/696,040 US10974142B1 (en) 2019-10-01 2019-11-26 Synchronization and offset of VSYNC between cloud gaming server and client
US16/696,363 2019-11-26
PCT/US2020/053343 WO2021067317A2 (en) 2019-10-01 2020-09-29 Synchronization and offset of vsync between cloud gaming server and client

Publications (2)

Publication Number Publication Date
JP2022551587A true JP2022551587A (ja) 2022-12-12
JPWO2021067317A5 JPWO2021067317A5 (ja) 2023-07-27

Family

ID=75161623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022520318A Pending JP2022551587A (ja) 2019-10-01 2020-09-29 クラウドゲームサーバとクライアント間のｖｓｙｎｃの同期及びオフセット

Country Status (5)

Country Link
US (12) US11110349B2 (ja)
EP (1) EP4037787B1 (ja)
JP (1) JP2022551587A (ja)
CN (1) CN114761096A (ja)
WO (1) WO2021067317A2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3135506A1 (en) * 2019-04-10 2020-10-15 Elc Management Llc Reconfigurable container-closure system
US11524230B2 (en) * 2019-10-01 2022-12-13 Sony Interactive Entertainment Inc. Encoder tuning to improve tradeoffs between latency and video quality in cloud gaming applications
CN111265863B (zh) * 2020-01-17 2022-05-24 腾讯科技（深圳）有限公司 一种目标对象的位置纠正方法、装置、设备及介质
US11418852B2 (en) * 2020-05-28 2022-08-16 Nvidia Corporation Detecting latency anomalies from pipeline components in cloud-based systems
CN115552467A (zh) * 2021-05-21 2022-12-30 商汤国际私人有限公司 一种边缘计算方法、装置、边缘设备及存储介质
CN113364767B (zh) * 2021-06-03 2022-07-12 北京字节跳动网络技术有限公司 一种流媒体数据显示方法、装置、电子设备及存储介质
EP4131192A1 (en) * 2021-08-04 2023-02-08 Play'n Go Marks Ltd A method for operating a gaming system
WO2024047262A1 (es) * 2022-08-30 2024-03-07 Take Profit Gaming, S.L. Método de interacción online eliminando el efecto de la latencia de red
KR20240070084A (ko) * 2022-11-14 2024-05-21 에스케이플래닛 주식회사 단말장치 및 클라우드 스트리밍 서비스 방법
US20240196033A1 (en) * 2022-12-09 2024-06-13 Advanced Micro Devices, Inc. Server-side frame render timing delay to reduce client-side frame present delay

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974566A (ja) 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
WO2000028518A2 (en) * 1998-11-09 2000-05-18 Broadcom Corporation Graphics display system
AUPR212600A0 (en) 2000-12-18 2001-01-25 Canon Kabushiki Kaisha Efficient video coding
US7047435B2 (en) 2000-12-19 2006-05-16 Siemens Corporate Research, Inc. System and method for clock-synchronization in distributed systems
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8845434B2 (en) 2002-12-10 2014-09-30 Ol2, Inc. System and method for improving the graphics performance of hosted applications
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US10075750B2 (en) 2002-12-10 2018-09-11 Sony Interactive Entertainment America Llc Porting locally processed media data with low latency to a remote client device via various wireless links
US8840477B2 (en) * 2002-12-10 2014-09-23 Ol2, Inc. System and method for improving the graphics performance of hosted applications
US8661496B2 (en) 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
US7668243B2 (en) 2004-05-18 2010-02-23 Texas Instruments Incorporated Audio and video clock synchronization in a wireless network
CN101036389B (zh) * 2004-09-02 2012-05-02 索尼株式会社 内容接收器、视频/音频输出定时控制方法和内容提供系统
US8223845B1 (en) 2005-03-16 2012-07-17 Apple Inc. Multithread processing of video frames
US7478256B2 (en) * 2006-01-24 2009-01-13 National Instruments Corporation Coordinating data synchronous triggers on multiple devices
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
KR101044065B1 (ko) * 2008-12-04 2011-06-23 주식회사 케이티 Ｉｐｔｖ 서비스 망에서의 시각 동기 방법
US9375635B2 (en) 2009-03-23 2016-06-28 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US8537699B2 (en) 2009-06-16 2013-09-17 Qualcomm Incorporated Managing video adaptation algorithms
US8351437B2 (en) * 2009-11-12 2013-01-08 Sony Mobile Communications Ab Stereo bit clock tuning
US9781477B2 (en) 2010-05-05 2017-10-03 Cavium, Inc. System and method for low-latency multimedia streaming
US9094564B2 (en) 2010-05-07 2015-07-28 Microsoft Technology Licensing, Llc Clock synchronization for shared media playback
US20130039408A1 (en) 2011-02-07 2013-02-14 Screenovate Technologies Ltd Method for enhancing compression and transmission process of a screen image
US9578354B2 (en) 2011-04-18 2017-02-21 Verizon Patent And Licensing Inc. Decoupled slicing and encoding of media content
US8597118B2 (en) * 2011-08-29 2013-12-03 Bally Gaming, Inc. Method, apparatus and system for video tuning of a video switching device for a gaming machine
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US8793393B2 (en) 2011-11-23 2014-07-29 Bluespace Corporation Video processing device, video server, client device, and video client-server system with low latency thereof
EP2624486A1 (en) * 2012-02-01 2013-08-07 Sony Ericsson Mobile Communications AB A client communication device, a server communication device, and clock synchronization method therein
CA2774674C (en) * 2012-03-08 2015-11-24 Research In Motion Limited Unified transform coefficient encoding and decoding
US8923372B2 (en) * 2012-04-10 2014-12-30 Insight Scientific International (Shanghai) Ltd. Method and apparatus for improved parallel RF testing of multiple devices
US20140086310A1 (en) 2012-09-21 2014-03-27 Jason D. Tanner Power efficient encoder architecture during static frame or sub-frame detection
JPWO2014054325A1 (ja) 2012-10-05 2016-08-25 ソニー株式会社 符号化制御装置および符号化制御方法
US20140187331A1 (en) * 2012-12-27 2014-07-03 Nvidia Corporation Latency reduction by sub-frame encoding and transmission
WO2014107065A1 (ko) 2013-01-04 2014-07-10 삼성전자 주식회사 슬라이스 세그먼트의 엔트로피 부호화 방법 및 그 장치, 슬라이스 세그먼트의 엔트로피 복호화 방법 및 그 장치
US9088390B1 (en) * 2013-03-15 2015-07-21 Arris Enterprises, Inc. Re-synchronization of timing between communication devices
WO2014145921A1 (en) * 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9036084B2 (en) 2013-04-11 2015-05-19 Qualcomm Incorporated Apparatus and method for synchronous display of video data
US10092834B2 (en) * 2013-05-23 2018-10-09 Kabushiki Kaisha Square Enix Holdings Dynamic allocation of rendering resources in a cloud gaming system
JP5481606B1 (ja) 2013-07-22 2014-04-23 株式会社ｆｕｚｚ 画像生成システムおよび画像生成用プログラム
US9826015B2 (en) * 2013-09-04 2017-11-21 Qualcomm Incorporated Dynamic and automatic control of latency buffering for audio/video streaming
US9497358B2 (en) 2013-12-19 2016-11-15 Sony Interactive Entertainment America Llc Video latency reduction
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
US9332216B2 (en) 2014-03-12 2016-05-03 Sony Computer Entertainment America, LLC Video frame rate compensation through adjustment of vertical blanking
JP6055433B2 (ja) * 2014-04-01 2016-12-27 株式会社ソニー・インタラクティブエンタテインメント ゲーム提供サーバ
US20150296215A1 (en) 2014-04-11 2015-10-15 Microsoft Corporation Frame encoding using hints
US9998634B2 (en) 2014-11-03 2018-06-12 Google Llc Video frame playback scheduling
WO2016118058A1 (en) 2015-01-23 2016-07-28 Telefonaktiebolaget Lm Ericsson (Publ) Vlc-based video frame synchronization
JP2017005611A (ja) * 2015-06-15 2017-01-05 富士通株式会社 動画像復号装置及び動画像復号方法
US11040281B2 (en) 2015-09-30 2021-06-22 Sony Interactive Entertainment LLC Multi-user demo streaming service for cloud gaming
JP6646677B2 (ja) * 2015-10-09 2020-02-14 株式会社日立製作所 音声信号処理方法および装置
US20170105010A1 (en) * 2015-10-09 2017-04-13 Microsoft Technology Licensing, Llc Receiver-side modifications for reduced video latency
US10238965B2 (en) * 2016-04-28 2019-03-26 Sony Interactive Entertainment America Llc Cloud gaming device handover
US10868848B2 (en) * 2016-07-25 2020-12-15 Peraso Technologies Inc. Wireless multimedia communications system and method
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US10306180B2 (en) 2016-10-21 2019-05-28 Liquidsky Software, Inc. Predictive virtual reality content streaming techniques
US10679314B2 (en) 2017-03-15 2020-06-09 Microsoft Technology Licensing, Llc Techniques for reducing perceptible delay in rendering graphics
US10675544B2 (en) * 2017-03-31 2020-06-09 Sony Interactive Entertainment LLC Personalized user interface based on in-application behavior
US10574995B2 (en) 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
JP7429512B2 (ja) * 2019-09-30 2024-02-08 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像データ転送装置、画像処理方法、および画像データ転送方法
JP7389602B2 (ja) * 2019-09-30 2023-11-30 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像処理装置、および動画配信方法

Also Published As

Publication number Publication date
US11826643B2 (en) 2023-11-28
US20210093955A1 (en) 2021-04-01
US20210354031A1 (en) 2021-11-18
US20230103010A1 (en) 2023-03-30
US20220152490A1 (en) 2022-05-19
US11235235B2 (en) 2022-02-01
US20210093966A1 (en) 2021-04-01
US11110349B2 (en) 2021-09-07
US11980811B2 (en) 2024-05-14
US11701584B2 (en) 2023-07-18
EP4037787A2 (en) 2022-08-10
WO2021067317A2 (en) 2021-04-08
US20230356077A1 (en) 2023-11-09
CN114761096A (zh) 2022-07-15
US20210228983A1 (en) 2021-07-29
US20210093965A1 (en) 2021-04-01
US10974142B1 (en) 2021-04-13
US20210093956A1 (en) 2021-04-01
EP4037787B1 (en) 2024-05-15
US20240082708A1 (en) 2024-03-14
US11020661B2 (en) 2021-06-01
US20210394056A1 (en) 2021-12-23
US11801442B2 (en) 2023-10-31
US20240058695A1 (en) 2024-02-22
WO2021067317A3 (en) 2021-06-17
US11517817B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
US11980811B2 (en) Synchronization of a VSYNC signal of a first device to a VSYNC signal of a second device
US11344799B2 (en) Scene change hint and client bandwidth used at encoder for handling video frames after a scene change in cloud gaming applications
US11539960B2 (en) Game application providing scene change hint for encoding at a cloud gaming server
US11998840B2 (en) Determining targeted display time of a video frame for a client based on server side timing information
JP2022550440A (ja) サーバにおける符号化及び伝送の重ね合わせ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230719