JP2012521268A5 - - Google Patents

Claims (30)

1. オンラインゲームのためのコンピュータ実施システムにおいて、
   ユーザにより操作されるクライアントから送信されるオンラインビデオゲーム又はアプリケーションに関連したユーザ入力を受信し、それに応答して、ビデオゲームのプログラムコードを実行して、ビデオゲーム又はアプリケーションの実行から生じるビデオ画像のシーケンスをレンダリングするビデオゲーム又はアプリケーションサーバーと、
   前記ビデオ画像のシーケンスを圧縮し、そしてクライアント装置のユーザとの生のゲームセッション中に生のビデオストリームを発生する第１のストリームエンコーダと、
   を備え、前記第１のストリームエンコーダは、前記クライアント装置からチャンネルフィードバック信号を受信し、それに応答して、そのチャンネルフィードバック信号に基づいて前記ビデオ画像のシーケンスの圧縮を適応させ、更に、前記第１のストリームエンコーダは、ユーザとの生のゲームセッション中に前記クライアント装置へ生のビデオストリームを送信し続け、前記クライアント装置は、ユーザが見るために生のビデオストリームをデコードし及びレンダリングするものであり、
   前記クライアント装置から送信されるユーザ入力を受信し、前記ビデオゲーム又はアプリケーションサーバーにおいて前記ビデオゲーム又はアプリケーションを実行し、前記第１のストリームエンコーダにより前記ビデオゲームのシーケンスを圧縮して生のビデオストリームをストリーミングし、そしてユーザが見るために生のビデオストリームをデコードしてレンダリングする前記動作は、前記選択されたビデオゲーム又はアプリケーションがクライアントから受信されるユーザ入力に即座に応答するという感覚をユーザがもつように遂行され、更に、
   ユーザとの生のゲームセッション中に前記チャンネルフィードバック信号とは無関係の特定のビデオ画質及び／又は圧縮比でビデオ画像のシーケンスを圧縮して、生のビデオストリームより比較的高いビデオ画質及び／又は低い圧縮比をもつ高画質（ＨＱ）ビデオストリームを発生する第２のストリームエンコーダと、
   要求があった際にクライアント装置のユーザ及び他のユーザへその後に再生するために前記ＨＱビデオストリームを記憶する記憶装置と、
   を備えたシステム。
2. 前記チャンネルフィードバック信号は、パケットがクライアント装置によって首尾良く受信及び／又はデコードされたかどうか指示し、前記第１のストリームエンコーダは、１つ以上のパケットが首尾良く受信及び／又はデコードされなかったと決定された際にその圧縮を動的に適応させる、請求項１に記載のシステム。
3. 前記圧縮を動的に適応させることは、Ｉフレーム又はＩタイルを発生することを含む、請求項２に記載のシステム。
4. 前記圧縮を動的に適応させることは、クライアント装置において首尾良く受信及び／又はデコードされたことが知られている最後のフレーム／タイルに依存すべき新たな圧縮フレーム／タイルを発生することを含む、請求項２に記載のシステム。
5. 前記新たなフレーム／タイルは、Ｐフレーム／タイルであり、そしてクライアント装置において首尾良く受信及び／又はデコードされたことが知られている最後のフレーム／タイルは、Ｐフレーム／タイルである、請求項４に記載のシステム。
6. 前記生のストリームエンコーダは、１つ以上のパケットが首尾良く受信及び／又はデコードされなかったことをチャンネルフィードバック信号が指示するまで、Ｐフレーム／タイルを使用してビデオ画像のシーケンスを圧縮する、請求項３に記載のシステム。
7. 前記第１のストリームエンコーダは、ビデオ画像の圧縮されたシーケンスがクライアント装置へ送信されるときにチャンネルフィードバック信号において通信される待ち時間を短縮するようビデオ画像のシーケンスの圧縮を適応させる、請求項１に記載のシステム。
8. 前記特定のビデオ画質は、特定のフレームレートでの特定の解像度を含む、請求項１に記載のシステム。
9. 前記記憶装置は、１人以上のユーザへ送信する前にＨＱビデオストリームを一時的にバッファするための遅延バッファを含む、請求項１に記載のシステム。
10. 前記ＨＱビデオストリームを、ユーザによって特定された新たな解像度へスケーリング及び再圧縮するためのスケーリング及び再圧縮ロジックを更に備えた、請求項１に記載のシステム。
11. 前記ビデオ画像のシーケンスを、ユーザとの生のゲームセッション中に、チャンネルフィードバック信号とは無関係な対応する複数の特定のビデオ画質レベル及び／又は圧縮比で圧縮して、異なるビデオ画質レベル及び／又は圧縮比の複数のビデオストリームを発生するための複数の付加的なストリームエンコーダを更に備えた、請求項１に記載のシステム。
12. １つ以上のＨＱストリーム及び複数の付加的なストリームを選択するためのルーティングロジックと、
    前記選択されたＨＱストリーム及び／又は複数の付加的なストリームを各々特定の解像度及び／又はサイズでスケーリング及び／又は再圧縮するスケーリング及び／又は再圧縮ロジックと、
    を更に備えた請求項１１に記載のシステム。
13. １人以上の要求側ユーザのクライアント及び／又は１つ以上の他のゲームサーバーへ、要求があった際に、ＨＱストリームをマルチキャストするためのマルチキャストロジックを更に備えた、請求項１に記載のシステム。
14. 他のゲームサーバー及び／又は要求側ユーザのクライアントへ、要求があった際に、ＨＱストリームを直接的にルーティングし、及び／又はある遅延の後に記憶装置からＨＱストリームを読み取って、その遅延されたＨＱストリームを、要求があった際に、他のゲームサーバー及び／又は要求側ユーザのクライアントへルーティングするためのルーティングロジックを更に備えた、請求項１に記載のシステム。
15. 前記ＨＱビデオストリームと音声を混合するための混合ロジックと、
    その混合された音声及びＨＱビデオストリームを、要求があった際に、ユーザのクライアントへルーティングするためのルーティングロジックと、
    を更に備えた請求項１に記載のシステム。
16. オンラインゲームのためのコンピュータ実施方法において、
    オンラインビデオゲーム又はアプリケーションに関連したクライアントからのユーザ入力を受信し、それに応答して、ビデオゲームのプログラムコードを実行して、前記ビデオゲーム又はアプリケーションの実行から生じるビデオ画像のシーケンスをレンダリングする段階と、
    ビデオ画像のシーケンスを圧縮し、クライアント装置のユーザとの生のゲームセッション中に生のビデオストリームを発生する段階と、
    クライアント装置からチャンネルフィードバック信号を受信し、それに応答して、そのチャンネルフィードバック信号に基づいてビデオ画像のシーケンスの圧縮を適応させる段階と、
    ユーザとの生のゲームセッション中にクライアント装置へ生のビデオストリームを送信し続ける段階であって、クライアント装置は、ユーザが見るために生のビデオストリームをデコードしそしてレンダリングする段階と、
    を備え、
    前記クライアント装置から送信されるユーザ入力を受信し、前記ビデオゲーム又はアプリケーションサーバーにおいて前記ビデオゲーム又はアプリケーションを実行し、前記第１のストリームエンコーダにより前記ビデオゲームのシーケンスを圧縮して生のビデオストリームをストリーミングし、そしてユーザが見るために生のビデオストリームをデコードしてレンダリングする前記動作は、前記選択されたビデオゲーム又はアプリケーションがクライアントから受信されるユーザ入力に即座に応答するという感覚をユーザがもつように遂行され、更に、
    ユーザとの生のゲームセッション中に前記チャンネルフィードバック信号とは無関係の特定のビデオ画質及び／又は圧縮比でビデオ画像のシーケンスを圧縮して、生のビデオストリームより比較的高いビデオ画質及び／又は低い圧縮比をもつ高画質（ＨＱ）ビデオストリームを発生する段階と、
    要求があった際にクライアント装置のユーザ及び他のユーザへその後に再生するために前記ＨＱビデオストリームを記憶装置に記憶する段階と、
    を備えた方法。
17. 前記チャンネルフィードバック信号は、パケットがクライアント装置によって首尾良く受信及び／又はデコードされたかどうか指示し、前記方法は、更に、１つ以上のパケットが首尾良く受信及び／又はデコードされなかったと決定された際にその圧縮を動的に適応させる段階を含む、請求項１６に記載の方法。
18. 圧縮を動的に適応させる前記段階は、Ｉフレーム又はＩタイルを発生することを含む、請求項１７に記載の方法。
19. 圧縮を動的に適応させる前記段階は、クライアント装置において首尾良く受信及び／又はデコードされたことが知られている最後のフレーム／タイルに依存すべき新たな圧縮フレーム／タイルを発生することを含む、請求項１７に記載の方法。
20. 前記新たなフレーム／タイルは、Ｐフレーム／タイルであり、そしてクライアント装置において首尾良く受信及び／又はデコードされたことが知られている最後のフレーム／タイルは、Ｐフレーム／タイルである、請求項１９に記載の方法。
21. ビデオ画像のシーケンスを圧縮して生のビデオストリームを発生する前記段階は、１つ以上のパケットが首尾良く受信及び／又はデコードされなかったことをチャンネルフィードバック信号が指示するまで、Ｐフレーム／タイルを使用してビデオ画像のシーケンスを圧縮することを更に含む、請求項１８に記載の方法。
22. 圧縮を適応させる前記段階は、更に、ビデオ画像の圧縮されたシーケンスがクライアント装置へ送信されるときにチャンネルフィードバック信号において通信される待ち時間を短縮するようビデオ画像のシーケンスの圧縮を変更させる、請求項１６に記載の方法。
23. 前記特定のビデオ画質は、特定のフレームレートでの特定の解像度を含む、請求項１６に記載の方法。
24. 前記記憶装置は、１人以上のユーザへ送信する前にＨＱビデオストリームを一時的にバッファするための遅延バッファを含む、請求項１６に記載の方法。
25. 前記ＨＱビデオストリームを、ユーザによって特定された新たな解像度へスケーリング及び再圧縮する段階を更に備えた、請求項１６に記載の方法。
26. 前記ビデオ画像のシーケンスを、ユーザとの生のゲームセッション中に、チャンネルフィードバック信号とは無関係な対応する複数の特定のビデオ画質レベル及び／又は圧縮比で圧縮して、異なるビデオ画質レベル及び／又は圧縮比の複数のビデオストリームを発生する段階を更に備えた、請求項１６に記載の方法。
27. １つ以上のＨＱストリーム及び複数の付加的なストリームを選択する段階と、
    前記選択されたＨＱストリーム及び／又は複数の付加的なストリームを各々特定の解像度及び／又はサイズでスケーリング及び／又は再圧縮する段階と、
    を更に備えた請求項２６に記載の方法。
28. １人以上の要求側ユーザのクライアント及び／又は１つ以上の他のゲームサーバーへ、要求があった際に、ＨＱストリームをマルチキャストする段階を更に備えた、請求項１６に記載の方法。
29. 他のゲームサーバー及び／又は要求側ユーザのクライアントへ、要求があった際に、ＨＱストリームを直接的にルーティングし、及び／又はある遅延の後に記憶装置からＨＱストリームを読み取って、その遅延されたＨＱストリームを、要求があった際に、他のゲームサーバー及び／又は要求側ユーザのクライアントへルーティングする段階を更に備えた、請求項１６に記載の方法。
30. 前記ＨＱビデオストリームと音声を混合する段階と、
    その混合された音声及びＨＱビデオストリームを、要求があった際に、ユーザのクライアントへルーティングする段階と、
    を更に備えた請求項１６に記載の方法。