JP2019195163A - ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法 - Google Patents
ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法 Download PDFInfo
- Publication number
- JP2019195163A JP2019195163A JP2019080820A JP2019080820A JP2019195163A JP 2019195163 A JP2019195163 A JP 2019195163A JP 2019080820 A JP2019080820 A JP 2019080820A JP 2019080820 A JP2019080820 A JP 2019080820A JP 2019195163 A JP2019195163 A JP 2019195163A
- Authority
- JP
- Japan
- Prior art keywords
- vram
- video content
- computer
- multimedia content
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 193
- 239000000872 buffer Substances 0.000 claims abstract description 63
- 238000004590 computer program Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 151
- 238000009877 rendering Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 238000001802 infusion Methods 0.000 claims 3
- 230000015654 memory Effects 0.000 abstract description 19
- 238000005265 energy consumption Methods 0.000 abstract description 3
- 238000002156 mixing Methods 0.000 description 22
- 230000002452 interceptive effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 15
- 238000002347 injection Methods 0.000 description 10
- 239000007924 injection Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
最後に、フレームバッファの新しい画像をターゲットビデオにエンコード(Encode)する。キャプチャ、コピー、及びブレンド動作は、システムの大量の別途の動作が必要である。システムバス(system bus)、システムメモリ、及びCPUリソースは、何れも影響を受ける。高同時ユーザ(ConCurrent User,CCU)のシステムでは、これら別途の動作がサーバの低パフォーマンス及び抗電力消費を引き起こす可能性がある。
VRAM内でオーバーレイ/アンダーレイを行うことができるため、システムバス、システムメモリ、及びCPUの使用量を減らすことができる。
一実施例において、バックバッファ216などの追加のバッファが、VRAM204内において適切なメモリ領域を設定することによって提供され得る。一実施例において、1つ以上のバッファ216は、ビデオ再生中のちらつきを軽減するために、ダブルバッファリング機能をサポートするために1つ以上のバックバッファ216が提供されることができる。一実施例において、バックバッファ216は、レンダリング(rendering)及び/又はブレンディング(blending)動作の結果を記憶させることができ、これについては以下で更に説明する。
他の実施例において、VRAM位置305は、フレームバッファ206を含む。一実施例において、プライマリマルチメディアソース301は、ゲームアプリケーションプログラムよって生成される。プライマリマルチメディアソース301は、直接VRAM204にレンダリングされるので、プライマリマルチメディアソース301を「キャプチャする」ためにリソースを費やす必要はない。他の実施例において、プライマリマルチメディアソース301は、その他の場所にレンダリングされ、次いでVRAM204にコピーされる。
一実施例において、セカンダリマルチメディアソース302は、VRAM位置305にレンダリングされる。他の実施例において、セカンダリマルチメディアソース302は、プライマリマルチメディアソース301を生成したのと同じアプリケーションプログラムよって生成される。他の実施例において、セカンダリマルチメディアソース302は、異なるアプリケーションプログラムよって生成される。更に他の実施例において、セカンダリマルチメディアソース302は、TVカード(TV card)などのハードウェアデバイスによって生成される。本実施例において、セカンダリマルチメディアソース302は、SRAM207から取り出され、それをVRAM位置305にロードする必要がある。
一実施例において、プライマリマルチメディアソース301のレンダリング、セカンダリマルチメディアソース302のレンダリング、及びプライマリマルチメディアソース301とセカンダリマルチメディアソース302との混合は、同じVRAM位置305で行われる。実施例において、プライマリマルチメディアソース301とセカンダリマルチメディアソース302のレンダリング動作が実行されるとき、所定の混合も同時に完了されるので、追加の混合プロセスは要求されない。
次いで、ターゲットビデオはSRAM207に転送され得る。一実施例において、ターゲットビデオは、そのうち1つのバックバッファ216に送信できる。他の実施例において、ターゲットビデオは、ディスプレイ308に直接送信されることができる。更に他の実施例において、ターゲットビデオは、反復プロセスにおいて、同じVRAM位置305にレンダリングされることができ、例えば、多重オーバーレイの機能を達成することができる。このプロセスは、図3中のフレームバッファ206からVRAM位置305に戻るデータパスによって表される。多重オーバーレイは、例えば、3D表面又はテクスチャのレンダリングに用いることができる。
一実施例において、該VRAMの位置は、そのうち1つのバックバッファ216に対応する。他の実施例において、該VRAM位置は、1つ以上のフレームバッファ206に対応する。更に他の実施例において、該VRAM位置は、バックバッファ又はフレームバッファとは異なる位置に対応する。少なくとも1つの実施例において、同一のVRAM位置にプライマリマルチメディアソース及びオーバーレイ/アンダーレイ(セカンダリ)マルチメディアソースをレンダリングする動作は、また所定の混合動作も完了し、従って追加の混合ステップは必要とされない。
ステップ405bにおいて、オーバーレイ/アンダーレイ動作の結果は、表示装置に直接表示される。ステップ405cにおいて、オーバーレイ/アンダーレイ動作の結果は、1回以上ステップ402に返送され、反復プロセスにより多重のオーバーレイを行う。クラウドゲームにおいて、インタラクティブコンテンツをゲームプロセスにオーバーレイする。
クラウドゲームのターゲットは、ゲームコンテンツを様々な異なる種類のクライアント装置504に配信することであるので、一般に、異なるタイプのクライアント装置に対応するために追加のユーザインタフェース機能が必要である。一実施例において、前記追加のユーザインタフェース機能は、ゲーム501によって出力されたゲームビデオコンテンツ上に1つ以上のユーザインタフェースを重ね合わせることによって実行され、該ゲーム501のアプリケーションプログラムを変更する必要がない。
本実施例において、該コンピュータは、複数のGPU713を含むクラウドサーバである。該プライマリマルチメディアソース7110は、コンピュータ710によって実行されるゲームアプリケーションプログラムのゲームプロセス711(第1プロセスとも称される)によって生成される。該コンピュータ710は、該ゲームアプリケーションプログラムを実行して該第1プロセス(ゲームプロセス)を動作させ、プライマリマルチメディアソース7110のビデオコンテンツを生成する。ゲームプロセス711によって生成されたプライマリマルチメディアソース7110は、頂点、テクスチャ、シェーディング、メッシュなどのグラフィックオブジェクトである複数のプライマリマルチメディアコンテンツアイテム7151、7152、7153を含む。該GPU713は、第1プロセス(ゲームプロセス711)によって生成されたビデオコンテンツ内のプライマリマルチメディアコンテンツアイテム7151、7152、7153を直接キャプチャし、VRAM714のVRAM位置715に記憶する。これらのプライマリマルチメディアコンテンツアイテム7151、7152、7153は、VRAM714のVRAM位置715に直接レンダリングされる。
本実施例において、該VRAM位置715は、該ゲームアプリケーションプログラムのゲームプロセス711によって構成及び管理されている。プライマリマルチメディアソース7110のプライマリマルチメディアコンテンツアイテム7151、7152、7153は、VRAM714に直接レンダリングされるので、プライマリマルチメディアソース7110を「キャプチャする」ことにリソースを費やす必要はない。即ち、レンダリング動作のためにこれらのプライマリマルチメディアコンテンツアイテム7151、7152、及び7153をSRAM7181に転送する必要はない。
一実施例において、該セカンダリマルチメディアコンテンツアイテム7154、7155は、頂点、テクスチャ、シェーディング、メッシュなどの視覚化されたグラフィックオブジェクトを含む。本実施例において、クラウドゲームプロセス712は、クラウドゲームアプリケーションプログラムよって実施され、このクラウドゲームアプリケーションは、該ゲームアプリケーションから独立している。
これにより、ゲームアプリケーションプログラムを変更することなく、VRAM内においてマルチソースメディアをオーバーレイする機能を実現することができる。該ゲームアプリケーションプログラム711及びクラウドゲームアプリケーションプログラム712の両方は、何れもハードディスク、ソリッドステートハードディスク(SSD)、フラッシュメモリカード又は光ディスクなどの非一時的コンピュータ可読媒体に記憶されたコンピュータ命令を含み、コンピュータ710によって読み取られ実行されることができる。しかしながら、本発明の他の実施例において、該ゲームアプリケーションプログラム711及びクラウドゲームアプリケーション712の両方を実施できるようにゲームアプリケーションプログラムを修正することもできる。本実施例において、セカンダリマルチメディアソース7120のセカンダリマルチメディアコンテンツアイテム7154、7155は、VRAM714のVRAM位置715に直接レンダリングされるので、レンダリング動作のためにセカンダリマルチメディアコンテンツアイテム7154、7155をSRAM7181に転送する必要はない。
本実施例において、該セカンダリマルチメディアソース7120に対する混合動作は、該プライマリマルチメディアソース7110によってレンダリングされたのと同じ該VRAM714の該VRAM位置715で行われるので、混合プロセスは追加のバッファの使用を必要としない。即ち、プライマリマルチメディアソース7110のレンダリング、セカンダリマルチメディアソース7120のレンダリング、及びプライマリマルチメディアソース7110及びセカンダリマルチメディアソース7120の混合によるターゲット画像(混合後のビデオコンテンツとも称される)を生成する動作はすべて同じ1つのVRAM位置715で実行される。好ましくは、プライマリマルチメディアソース7110及びセカンダリマルチメディアソース7120を同じVRAM位置715にレンダリングする動作が同時に所定の混合動作も完成でき、混合ステップを別途独立して行う必要はない。
次に、ターゲット画像は、ターゲットビデオの一部としてエンコードされ、それからターゲットビデオを以下のうちの1つに転送することができる:SRAM7181、バックバッファ717、ディスプレイ7182、又は反復プロセスにおいて同じVRAM位置715にレンダリングされ、多重のオーバーレイを行うことができる。本実施例において、該エンコード後のターゲット画像(エンコード後の混合ビデオコンテンツとも称される)がストリーミングモジュール719に送られて処理されてビデオストリームとなり、その後、ネットワーク730を介して該ビデオストリームをクライアント装置720に送信する。クライアント装置720は、クライアントゲームプロセスを実行し、該コンピュータ710上のゲームプロセス及び該クラウドゲームプロセスと協働するようにクライアントゲームプロセスを実行することができ、クライアント装置720は、デコーダ722によって該エンコードされたターゲット画像をデコードし、それからデコード後のターゲット画像をクライアント装置721のディスプレイ723で再生する。
第2プロセス(クラウドゲームプロセス712)が該セカンダリマルチメディアコンテンツアイテムを生成する時、該第2プロセスは、該制御入力を受信し、該制御入力に基づいて、第1プロセス(ゲームプロセス711)にコードを注入すること(injecting code)によって第1プロセスと通信する。該第2プロセスは、受信した制御入力に基づいてVRAM位置715に該互換性のあるオーバーレイ面を作成する。一実施例において、該第1プロセスは1つ以上のレンダリング動作を実行し、該第2プロセスは、各レンダリング動作の終了時に該第1プロセスをフック(hooks)し、該第1プロセスに該第2プロセスのインジェクションコードを呼び出させる。
本実施例において、該クライアント装置は、スマートフォン、デジタルタッチタブレット、又はタッチスクリーン(ディスプレイ723とも称される)を内蔵したコンピュータとすることができるが、これらに限定されない。該タッチスクリーン(ディスプレイ723)は、デコード後のターゲット画像を表示することができるだけでなく、ユーザのタッチ動作も表示することができ、それに応じてコンピュータ710のクラウドゲームプロセス712に送信する制御入力を生成することができる。
図11に示す実施例において、該ゲームプロセス711によって生成されたプライマリマルチメディアソース7110の該プライマリマルチメディアコンテンツアイテム7151、7152、及び7153は、複数のグラフィックアイテム7151a、7151b、7151c及び複数の仮想制御キー7152a、7152b、7152c、7153a、7153b、7153c、7153dを含む。これらのグラフィックアイテム7151a、7151b、7151c及び仮想制御キー7152a、7152b、7152c、7153a、7153b、7153c、7153dは、該ゲームプロセス711によって生成される。
該グラフィックアイテム7151a、7151b、及び7151cは、該デコード後のターゲット画像のグラフィックオブジェクト及びシーンを表示するためにのみ使用される。しかし、該仮想制御キー7152a、7152b、7152c、7153a、7153b、7153c、7153dは、グラフィカルキーを表示するだけでなく、それらが表示される位置において入力機能も定義する。ユーザが該タッチスクリーン(ディスプレイ723)に表示されたそのうち1つの仮想制御キー7152a、7152b、7152c、7153a、7153b、7153c、7153dにタッチする時、クライアント装置720は、該タッチされた仮想制御キーに対応する制御入力を制止し、該制御入力を遠隔地にあるコンピュータ710に送信する。
該グラフィックアイテム(セカンダリマルチメディアコンテンツアイテム7155)は、追加のコンテンツ、クラウドゲームの特定コンテンツ、広告などのグラフィックアイテムであり得る。該広告は、非インタラクティブ広告又はインタラクティブ広告にすることもできる。広告がインタラクティブである時、ユーザが該広告の位置にタッチすると、URLリンクなどのハイパーリンク(hyperlink)が起動され、該広告に関連するウェブページにユーザを誘導する。該仮想制御キー(セカンダリマルチメディアコンテンツアイテム7154)は、1つ以上の特定の種類のクライアント装置に合わせたインタフェース、双方向制御、又は装置制御インタフェースであることができる。
仮想制御キー(セカンダリマルチメディアコンテンツアイテム7154)は、グラフィカルキーを表示するだけでなく、それが表示する位置において入力機能も定義する。該ユーザがタッチスクリーン(ディスプレイ723)に表示されたそのうち1つの仮想制御キー(セカンダリマルチメディアコンテンツアイテム7154)にタッチすると、クライアント装置720は、タッチされた仮想制御キーに対応する制御入力を生成する。そして、制御入力を遠隔地にあるコンピュータ710のクラウドゲームプロセス712に送信する。一実施例において、セカンダリマルチメディアコンテンツアイテム7154の仮想制御キーの機能の1つは、これに限定するものではないが、いくつかのプライマリマルチメディアコンテンツアイテムの仮想制御キー7152a、7152b、7152c、7153a、7153b、7153c、7153dを所定の順序で押すことに相当する特別な機能をトリガするものであることができる。例えば、図11に示す「X」キー(セカンダリマルチメディアコンテンツアイテム7154)を単に押すと、該プライマリマルチメディアコンテンツアイテムの該グラフィックアイテム7151aに特殊な攻撃動作を実行させ、該「X」キーがない場合、ユーザは、同じ特殊攻撃動作をトリガするために短時間内に「A」(7152a)、「B」(7152b)、及び「Δ」(7153a)の3つのキーを素早く押さなければならない。該クラウドゲームプロセス712がクライアント装置720によって生成された制御入力を受信する時、該クラウドゲームプロセス712は、該制御入力が、ユーザがゲームプロセス711のプライマリマルチメディアコンテンツアイテム7152a、7152b、7152c、7153a又はクラウドゲームプロセス712のセカンダリマルチメディアコンテンツアイテム7154、7155の何れにタッチしたことによって生成されたものであるかを判断する。
該制御入力が該プライマリマルチメディアコンテンツアイテム7152a、7152b、7152c、7153a、7153b、7153c、7153dをタッチして生成されたものである時、該制御入力は、該ゲームプロセス711を制御するために直接ゲームプロセス711に送信される。該制御入力がセカンダリマルチメディアコンテンツアイテム7154、7155をタッチしたことによって生成された時、該クラウドゲームプロセス712は、どの機能が該制御入力によって起動されるかを決定し、次いで該クラウドゲームプロセス712は該機能を起動し、次のうち1つを実行する。対応する一連の制御入力信号を生成してゲームプロセスに送信し、該ゲームプロセスの動作を制御し、新しいセカンダリマルチメディアコンテンツアイテムを生成するか、又は既存の第2マルチメディアコンテンツアイテムを変更、削除又は移動する。
102 ネットワーク
103 クライアント装置
110 CPU
111 ストレージユニット
112 メモリ
120 CPU
121 ストレージユニット
122 メモリ
131 コンピュータプログラム製品
203 GPU
204 VRAM
206 フレームバッファ
207 システムRAM
212 フロントシステムバス
216 バックバッファ
217 CPU
301 プライマリマルチメディアソース
302 セカンダリ(オーバーレイ)マルチメディアソース
305 VRAM位置
308 ディスプレイ
502 サーバ
501 ゲーム
504 クライアント装置
506 ディスプレイ
507 スピーカ
601 ゲームプロセス
606 システムバス
7110 プライマリマルチメディアソース
7120 セカンダリ(オーバーレイ)マルチメディアソース
715 VRAM位置
716 フレームバッファ
717 バックバッファ
7182 ディスプレイ
719 ストリームモジュール
730 インターネット
721 インタフェース
722 デコーダ
723 ディスプレイ
801 ゲームプロセス
804 クライアント装置
805 クラウドゲームプロセス
Claims (12)
- 中央処理装置(CPU)、システムランダムアクセスメモリ(SRAM)、及びビデオランダムアクセスメモリ(VRAM)が内蔵されたグラフィックプロセッサ(GPU)を少なくとも備えるコンピュータに適用される、ビデオランダムアクセスメモリにおいてマルチソースメディアをオーバーレイする方法であって、
前記方法は、
前記コンピュータが第1プロセスを実行してビデオコンテンツを生成し、前記ビデオコンテンツは、前記第1プロセスによって生成された少なくとも1つのプライマリマルチメディアコンテンツアイテムを含むステップと、
前記GPUが前記第1プロセスによって生成された前記ビデオコンテンツの前記プライマリマルチメディアコンテンツアイテムをキャプチャし、キャプチャした前記プライマリマルチメディアコンテンツアイテムを前記VRAMのVRAM位置に直接記憶するステップと、
第2プロセスを実行して少なくとも1つのセカンダリマルチメディアコンテンツアイテムを生成し、前記第2プロセスは、前記VRAM位置において互換性のあるオーバーレイ面を作成し、前記互換性のあるオーバーレイ面は、少なくとも1つのセカンダリマルチメディアコンテンツアイテムを含むステップと、
前記GPUは、前記第2プロセスによって生成された前記互換性のあるオーバーレイ面を前記第1プロセスによって生成された前記ビデオコンテンツに直接混合し、混合後のビデオコンテンツを前記VRAMのフレームバッファに記憶し、前記プライマリマルチメディアコンテンツアイテム及び前記セカンダリマルチメディアコンテンツアイテムをSRAMに送信する必要がなく、前記互換性のあるオーバーレイ面のビデオ記憶フォーマットは、前記フレームバッファに記憶される前記混合後のビデオコンテンツのビデオ記憶フォーマットと互換性があるステップと、
を含み、前記第2プロセスを実行して前記セカンダリマルチメディアコンテンツアイテムを生成するステップにおいて、前記第2プロセスは、制御入力を受信し、前記制御入力に基づいて前記第1プロセスにコードを注入する(injecting code)ことによって前記第1プロセスと通信し、前記第2プロセスは、受信した前記制御入力に基づいて前記VRAM位置に互換性のあるオーバーレイ面を作成する、方法。 - 前記第1プロセスは、1つ以上のレンダリング動作を実行し、前記第2プロセスは、各前記レンダリング動作の終了時に前記第1プロセスをフック(hooks)し、前記第1プロセスに前記第2プロセスの注入コードを呼び出させる請求項1に記載の方法。
- 前記第1プロセスは、ゲームアプリケーションプログラムよって起動されるゲームプロセスであり、
前記第2プロセスは、クラウドゲームプロセスであり、
前記クラウドゲームプロセスは、プロセスの介入によって前記ゲームアプリケーションプログラム内で実行され、
前記クラウドゲームプロセスは、ゲームアプリケーションプログラムを変更することなく、スクリーンキーボード、仮想マウス、ダイアログ情報、仮想キー、及び1つ以上の広告のうちの1つ以上の機能を提供することができる請求項2に記載の方法。 - 前記制御入力は、前記コンピュータの遠隔地に位置するクライアント装置によって生成され、
前記クライアント装置は、ネットワークを介して前記制御入力を前記コンピュータに送信し、
前記コンピュータは、前記フレームバッファに記憶されている前記混合後のビデオコンテンツをキャプチャしてエンコードし、その後、前記エンコード後の前記混合後のビデオコンテンツを前記ネットワークを介して前記クライアント装置に送信し、
前記クライアント装置は、前記エンコード後の前記混合後のビデオコンテンツを受信してデコードした後に再生する請求項2に記載の方法。 - 前記混合後のビデオコンテンツのエンコード動作は、前記GPUによって前記VRAMにおいて実行され、前記混合後のビデオコンテンツをSRAMに送信する必要がなく、
前記混合後のビデオコンテンツは、ユーザインタフェース、追加のコンテンツ、クラウドゲームの特定コンテンツ、広告、及び1つ以上のタイプに適用するように設計された装置制御インタフェースのうちの少なくとも1つを含む請求項2に記載の方法。 - 中央処理装置(CPU)、システムランダムアクセスメモリ(SRAM)、及びビデオランダムアクセスメモリ(VRAM)が内蔵されたグラフィックプロセッサ(GPU)を少なくとも備えるコンピュータを含む、ビデオランダムアクセスメモリにおいてマルチソースメディアをオーバーレイするシステムであって、
前記コンピュータが第1プロセスを実行してビデオコンテンツを生成し、前記ビデオコンテンツは、前記第1プロセスによって生成された少なくとも1つのプライマリマルチメディアコンテンツアイテムを含み、
前記コンピュータは、第2プロセスを実行し、少なくとも1つのセカンダリマルチメディアコンテンツアイテムを生成し、
前記GPUは、以下の動作を実行するように構成され、
前記第1プロセスによって生成された前記ビデオコンテンツの前記プライマリマルチメディアコンテンツアイテムをキャプチャし、キャプチャした前記プライマリマルチメディアコンテンツアイテムを前記VRAMのVRAM位置に直接記憶し、
前記第2プロセスにより前記VRAM位置において互換性のあるオーバーレイ面を作成し、前記互換性のあるオーバーレイ面は、少なくとも1つのセカンダリマルチメディアコンテンツアイテムを含み、
前記GPUは、前記第2プロセスによって生成された前記互換性のあるオーバーレイ面を前記第1プロセスによって生成された前記ビデオコンテンツに直接混合し、混合後のビデオコンテンツを前記VRAMのフレームバッファに記憶し、前記プライマリマルチメディアコンテンツアイテム及び前記セカンダリマルチメディアコンテンツアイテムをSRAMに送信する必要がなく、前記互換性のあるオーバーレイ面のビデオ記憶フォーマットは、前記フレームバッファに記憶される前記混合後のビデオコンテンツのビデオ記憶フォーマットと互換性があり、
前記第2プロセスを実行して前記セカンダリマルチメディアコンテンツアイテムを生成するステップにおいて、前記第2プロセスは、制御入力を受信し、前記制御入力に基づいて前記第1プロセスにコードを注入する(injecting code)ことによって前記第1プロセスと通信し、前記第2プロセスは、受信した前記制御入力に基づいて前記VRAM位置に互換性のあるオーバーレイ面を作成する、システム。 - 前記第1プロセスは、1つ以上のレンダリング動作を実行し、前記第2プロセスは、各前記レンダリング動作の終了時に前記第1プロセスをフック(hooks)し、前記第1プロセスに前記第2プロセスの注入コードを呼び出させる請求項6に記載のシステム。
- 前記第1プロセスは、ゲームアプリケーションプログラムよって起動されるゲームプロセスであり、
前記第2プロセスは、クラウドゲームプロセスであり、
前記クラウドゲームプロセスは、プロセスの介入によって前記ゲームアプリケーションプログラム内で実行され、
前記クラウドゲームプロセスは、ゲームアプリケーションプログラムを変更することなく、スクリーンキーボード、仮想マウス、ダイアログ情報、仮想キー、及び1つ以上の広告のうちの1つ以上の機能を提供することができる請求項7に記載のシステム。 - 前記制御入力は、前記コンピュータの遠隔地に位置するクライアント装置によって生成され、
前記クライアント装置は、ネットワークを介して前記制御入力を前記コンピュータに送信し、
前記コンピュータは、前記フレームバッファに記憶されている前記混合後のビデオコンテンツをキャプチャしてエンコードし、その後、前記エンコード後の前記混合後のビデオコンテンツを前記ネットワークを介して前記クライアント装置に送信し、
前記クライアント装置は、前記エンコード後の前記混合後のビデオコンテンツを受信してデコードした後に再生する請求項7に記載のシステム。 - 前記混合後のビデオコンテンツのエンコード動作は、前記GPUによって前記VRAMにおいて実行され、前記混合後のビデオコンテンツをSRAMに送信する必要がなく、
前記混合後のビデオコンテンツは、ユーザインタフェース、追加のコンテンツ、クラウドゲームの特定コンテンツ、広告、及び1つ以上のタイプに適用するように設計された装置制御インタフェースのうちの少なくとも1つを含む請求項7に記載のシステム。 - コンピュータによって実行可能な複数のコンピュータ命令を含む、非一時的コンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
前記コンピュータは、中央処理装置(CPU)、システムランダムアクセスメモリ(SRAM)、及びビデオランダムアクセスメモリ(VRAM)が内蔵されたグラフィックプロセッサ(GPU)を少なくとも備え、前記複数のコンピュータ命令は、前記コンピュータによって実行され、
前記コンピュータが第1プロセスを実行してビデオコンテンツを生成し、前記ビデオコンテンツは、前記第1プロセスによって生成された少なくとも1つのプライマリマルチメディアコンテンツアイテムを含むステップと、
前記GPUが前記第1プロセスによって生成された前記ビデオコンテンツの前記プライマリマルチメディアコンテンツアイテムをキャプチャし、キャプチャした前記プライマリマルチメディアコンテンツアイテムを前記VRAMのVRAM位置に直接記憶するステップと、
第2プロセスを実行して少なくとも1つのセカンダリマルチメディアコンテンツアイテムを生成し、前記第2プロセスは、前記VRAM位置において互換性のあるオーバーレイ面を作成し、前記互換性のあるオーバーレイ面は、少なくとも1つのセカンダリマルチメディアコンテンツアイテムを含むステップと、
前記GPUは、前記第2プロセスによって生成された前記互換性のあるオーバーレイ面を前記第1プロセスによって生成された前記ビデオコンテンツに直接混合し、混合後のビデオコンテンツを前記VRAMのフレームバッファに記憶し、前記プライマリマルチメディアコンテンツアイテム及び前記セカンダリマルチメディアコンテンツアイテムをSRAMに送信する必要がなく、前記互換性のあるオーバーレイ面のビデオ記憶フォーマットは、前記フレームバッファに記憶される前記混合後のビデオコンテンツのビデオ記憶フォーマットと互換性があるステップと、
を実行し、前記第2プロセスを実行して前記セカンダリマルチメディアコンテンツアイテムを生成するステップにおいて、前記第2プロセスは、制御入力を受信し、前記制御入力に基づいて前記第1プロセスにコードを注入する(injecting code)ことによって前記第1プロセスと通信し、前記第2プロセスは、受信した前記制御入力に基づいて前記VRAM位置に互換性のあるオーバーレイ面を作成する、コンピュータプログラム製品。 - 前記第1プロセスは、1つ以上のレンダリング動作を実行し、前記第2プロセスは、各前記レンダリング動作の終了時に前記第1プロセスをフック(hooks)し、前記第1プロセスに前記第2プロセスの注入コードを呼び出させる請求項11に記載のコンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/971,640 US10332296B2 (en) | 2016-07-05 | 2018-05-04 | Overlaying multi-source media in VRAM |
US15/971,640 | 2018-05-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019195163A true JP2019195163A (ja) | 2019-11-07 |
JP7278850B2 JP7278850B2 (ja) | 2023-05-22 |
Family
ID=68469381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019080820A Active JP7278850B2 (ja) | 2018-05-04 | 2019-04-22 | ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7278850B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064291A (ja) * | 2012-04-12 | 2014-04-10 | Square Enix Holdings Co Ltd | 動画配信サーバ、制御方法、プログラム、記録媒体、及び動画配信システム |
JP2017046175A (ja) * | 2015-08-26 | 2017-03-02 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2017507395A (ja) * | 2013-12-31 | 2017-03-16 | マイクロソフト テクノロジー ライセンシング,エルエルシー | マルチモード・ゲーミング・サーバー |
JP2017098948A (ja) * | 2015-11-04 | 2017-06-01 | ユビタス インコーポレイテッドUbitus Inc. | ビデオストリームで実行される対話型アプリケーション |
JP2018005226A (ja) * | 2016-07-05 | 2018-01-11 | ユビタス インコーポレイテッドUbitus Inc. | Vramでマルチソースメディアをオーバーレイするシステム及び方法 |
JP2018029968A (ja) * | 2013-06-07 | 2018-03-01 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウンテッドディスプレイ上でのゲームプレイの移行 |
-
2019
- 2019-04-22 JP JP2019080820A patent/JP7278850B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014064291A (ja) * | 2012-04-12 | 2014-04-10 | Square Enix Holdings Co Ltd | 動画配信サーバ、制御方法、プログラム、記録媒体、及び動画配信システム |
JP2018029968A (ja) * | 2013-06-07 | 2018-03-01 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウンテッドディスプレイ上でのゲームプレイの移行 |
JP2017507395A (ja) * | 2013-12-31 | 2017-03-16 | マイクロソフト テクノロジー ライセンシング,エルエルシー | マルチモード・ゲーミング・サーバー |
JP2017046175A (ja) * | 2015-08-26 | 2017-03-02 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2017098948A (ja) * | 2015-11-04 | 2017-06-01 | ユビタス インコーポレイテッドUbitus Inc. | ビデオストリームで実行される対話型アプリケーション |
JP2018005226A (ja) * | 2016-07-05 | 2018-01-11 | ユビタス インコーポレイテッドUbitus Inc. | Vramでマルチソースメディアをオーバーレイするシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7278850B2 (ja) | 2023-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10521879B2 (en) | Overlaying multi-source media in VRAM | |
US10332296B2 (en) | Overlaying multi-source media in VRAM | |
US7667704B2 (en) | System for efficient remote projection of rich interactive user interfaces | |
US20140087877A1 (en) | Compositing interactive video game graphics with pre-recorded background video content | |
CN109309842B (zh) | 直播数据处理方法和装置、计算机设备和存储介质 | |
CN102375687A (zh) | 在无线显示表面上显示计算机桌面 | |
US10921948B1 (en) | Dynamic resource management for cloud-based services | |
Mouton et al. | Collaborative visualization: current systems and future trends | |
US20140344469A1 (en) | Method of in-application encoding for decreased latency application streaming | |
WO2022257699A1 (zh) | 图像画面显示方法、装置、设备、存储介质及程序产品 | |
US8860720B1 (en) | System and method for delivering graphics over network | |
WO2024037110A1 (zh) | 数据处理方法、装置、设备以及介质 | |
CN113840154A (zh) | 基于虚拟礼物的直播互动方法、系统及计算机设备 | |
CN112843676A (zh) | 数据处理方法、装置、终端、服务器及存储介质 | |
CN116821040B (zh) | 基于gpu直接存储器访问的显示加速方法、装置及介质 | |
Lee et al. | FLUID-XP: Flexible user interface distribution for cross-platform experience | |
JP2015035996A (ja) | ゲームを提供するサーバ及び方法 | |
CN104007986A (zh) | 跨系统远程实时交互技术 | |
JP7278850B2 (ja) | ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法 | |
CN108664498A (zh) | 一种网页内容的显示方法及终端 | |
US20160301736A1 (en) | Systems and methods for providing remote access to an application | |
JP2018005226A (ja) | Vramでマルチソースメディアをオーバーレイするシステム及び方法 | |
CN115243092A (zh) | 视频播放方法、装置及存储介质 | |
US11140216B2 (en) | Dynamically providing host input control for streaming applications | |
CN112118213B (zh) | 一种线上的视频数据输出方法、系统及云平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7278850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |