JP2014519635A - グラフィックス共有 - Google Patents

グラフィックス共有 Download PDF

Info

Publication number
JP2014519635A
JP2014519635A JP2014508450A JP2014508450A JP2014519635A JP 2014519635 A JP2014519635 A JP 2014519635A JP 2014508450 A JP2014508450 A JP 2014508450A JP 2014508450 A JP2014508450 A JP 2014508450A JP 2014519635 A JP2014519635 A JP 2014519635A
Authority
JP
Japan
Prior art keywords
graphics
exchange server
terminal
receiving terminal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014508450A
Other languages
English (en)
Other versions
JP6219813B2 (ja
Inventor
ジジュン ユアン
ヤンファン ユー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2014519635A publication Critical patent/JP2014519635A/ja
Application granted granted Critical
Publication of JP6219813B2 publication Critical patent/JP6219813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet

Abstract

グラフィックス提供端末は、Canvas規格によって提供されるグラフィカルインターフェースを介して、既定のサンプリングレートに従ってグラフィックス情報を取得するために、Canvas規格に基づいてグラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングする。グラフィックス提供端末は、既定のグラフィックス共有契約に基づいてメッセージパケットを取得するためにグラフィックス情報をパッキングし、次いで、グラフィックス提供端末とグラフィックス交換サーバとの間の永続的接続を介して、メッセージパケットをグラフィックス交換サーバへ送信する。グラフィックス交換サーバは、グラフィックス情報を取得するためにメッセージパケットをアンパッキングし、グラフィックス受信端末とグラフィックス交換サーバとの間の永続的接続を介して、グラフィックス情報をグラフィックス受信端末へ送信する。

Description

本開示は、インターネット技術の分野に関し、より具体的には、グラフィックス共有のための方法、システム、および端末に関する。
関連出願の相互参照
本明細書は、2011年4月25日付出願の中国特許出願第201110103855.3号、名称「Graphic Sharing Method, System,and Terminal」の外国優先権を主張し、その全体を参照により本明細書に組み入れる。
HTML5は、ウェブブラウザによってサポートされる次世代のHTML標準であり、開発者により多くの機能性を提供する。HTML5は、WebSocket、Worker、WebSQL、Canvas等のいくつかのサブ標準を含む。現在、Internet Explorer(IE)、Firefox、Chrome、およびSafariを含む複数のウェブブラウザがこれらの標準をサポートしている。
上記の標準において、Canvasは、HTML5の描画サブ標準であり、異種の3Dおよび2Dグラフィックスを生成するために主に使用される。したがって、開発者は、ゲームを作成するため、さらにはシステムプラットフォームを作成するためにCanvasを使用することができる。近年、ウェブブラウザのアプリケーションは、爆発的に増加し、グラフィックスを描画するための要件が増大している。このため、Canvasのアプリケーションおよび開発は、広範囲の研究を経てきた。現在、Canvasに基づくグラフィックス生成技術は依然として最新技術であり、その実装は引き続き向上している。グラフィックス上のより高速の動作を達成するために、ハードウェアでグラフィックスを加速化することが用いられている。
現在の技法の下では、ある条件においてグラフィックスを遠隔で共有する必要性が存在する(デスクトップ画像を遠隔で共有する場合等)。現在の技法は、異なるコンピュータ間のグラフィックス共有を実装するために制御を使用する。具体的には、グラフィックス共有を実施するために主に使用される制御は、まず最初に、コンピュータにダウンロードすることが必要である。制御は、コンピュータのグラフィックスを捕捉し、それを別のコンピュータに送信する。現在の技法はブラウザ間のグラフィックス伝送を実施することが可能ではないので、異なるウェブブラウザのために異なる制御を開発することが必要であり、このために、大量の労働力および資源を消耗する。
本開示の例示的実施形態は、ブラウザ間でグラフィックスを伝送するためのグラフィックス共有の方法およびシステムを提供する。本開示の例示的実施形態は、端末も提供する。
本開示の例示的実施形態は、グラフィックスを共有するための方法を提供する。既定のサンプリングレートに従って、グラフィックス提供端末は、Canvas規格によって提供されるグラフィカルインターフェースを介して、グラフィックス情報を取得するために、Canvas規格に基づいてグラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングする。グラフィックス提供端末は、既定のグラフィックス共有契約に基づいて、メッセージパケットを取得するために、取得したグラフィックス情報をパッキングし、次いで、グラフィックス提供端末とグラフィックス交換サーバとの間の永続的接続を介して、メッセージパケットをグラフィックス交換サーバへ送信する。グラフィックス交換サーバは、グラフィックス情報を読み出すためにメッセージパケットをアンパッキングし、グラフィックス受信端末とグラフィックス交換サーバとの間の永続的接続を介して、グラフィックス情報をグラフィックス受信端末へ送信する。
グラフィックス提供端末のウェブブラウザはまた、インタラクティブベクタグラフィックスをサポートするプラグインおよびFlash等のウェブ動画標準等の何らかのソフトウェアをインストールしてもよい。グラフィックス提供端末は、永続的接続を使用して、メッセージパケットをグラフィックス交換サーバへ送信する。例えば、グラフィックス提供端末は、メッセージパケットをグラフィックス交換サーバへ送信するために、Flashがサポートされるメッセージ通信標準によって提供される、FlashSocketインターフェースによって確立される永続的接続を使用する。
別の例において、グラフィックス提供端末は、メッセージパケットをエンコードしてもよく、メッセージパケットをグラフィックス交換サーバへ送信するために、ブラウザがサポートされるメッセージ通信標準によって提供される、WebSocketインターフェースによって確立される永続的接続を使用する。
グラフィックス交換サーバは、グラフィックス情報をグラフィックス受信端末へ送信するために、グラフィックス受信端末との永続的接続を使用する。例えば、グラフィックス受信端末によって送信されるハンドシェイク情報から、グラフィックス交換サーバは、グラフィックス受信端末によってサポートされるメッセージ通信標準を判定する。グラフィックス受信端末によってサポートされるメッセージ通信標準がFlashがサポートされるメッセージ通信標準であると判定されたとき、グラフィックス交換サーバは、既定のグラフィックス共有契約に基づいて、グラフィックス情報をメッセージパケット内にパッキングし、Flashがサポートされるメッセージ通信標準によって提供される、FlashSocketインターフェースによって確立される永続的接続を使用することによって、それをグラフィックス受信端末へ送信する。グラフィックス受信端末によってサポートされるメッセージ通信標準がグラフィックス受信端末のブラウザによってサポートされるメッセージ通信標準であると判定されたとき、グラフィックス交換サーバは、既定のグラフィックス共有契約に基づいて、グラフィックス情報をメッセージパケット内にパッキングし、グラフィックス受信端末のウェブブラウザでブラウザがサポートされるメッセージ通信標準によって提供される、WebSocketインターフェースによって確立される永続的接続を使用することによって、それをグラフィックス受信端末へ送信する。
既定のサンプリングレートは、複数の方法によって設定されてもよい。例えば、グラフィックス提供端末は、グラフィックス交換サーバによって送信されるハンドシェイク情報の中に含まれるグラフィックス受信端末の周波数リフレッシュレートに基づいてサンプリングレートを設定する。
本開示の例示的実施形態は、グラフィックスを共有するためのシステムを提供する。システムは、グラフィックス提供端末と、グラフィックス受信端末と、グラフィックス交換サーバとを含む。既定のサンプリングレートに従って、グラフィックス提供端末は、Canvas規格によって提供されるグラフィカルインターフェースを介して、グラフィックス情報を提供するために、Canvas規格に基づいてグラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングする。グラフィックス提供端末は、既定のグラフィックス共有契約に基づいて、メッセージパケットを取得するために、取得したグラフィックス情報をパッキングし、次いで、グラフィックス提供端末とグラフィックス交換サーバとの間の永続的接続を介して、メッセージパケットをグラフィックス交換サーバへ送信する。グラフィックス交換サーバは、グラフィックス情報を読み出すためにメッセージパケットをアンパッキングし、グラフィックス受信端末とグラフィックス交換サーバとの間の永続的接続を介して、グラフィックス情報をグラフィックス受信端末へ送信する。
本開示の例示的実施形態はまた、サンプリングユニットと、パッキングユニットと、送信ユニットとを含む端末を提供する。既定のサンプリングレートに従って、サンプリングユニットは、Canvas規格によって提供されるグラフィカルインターフェースを介して、グラフィックス情報を取得するために、Canvas規格に基づいて端末のウェブブラウザによって生成されるグラフィックスをサンプリングする。パッキングユニットは、既定のグラフィックス共有契約に基づいて、メッセージパケットを取得するために、取得されたグラフィックス情報をパッキングする。送信ユニットは、グラフィックス交換サーバとの永続的接続を介して、パッキングユニットから取得したメッセージパケットをグラフィックス交換サーバへ送信する。
本開示によって提供される本技法は、多数の利益ある結果を実現する。例えば、本技法の下では、グラフィックス提供端末は、Canvas規格によって提供されるグラフィカルインターフェースを介して、グラフィックス情報を取得するために、Canvas規格に基づいてグラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングする。グラフィックス提供端末は、グラフィックス提供端末とグラフィックス交換サーバとの間の永続的接続を介して、メッセージパケットをグラフィックス交換サーバへ送信する。グラフィックス交換サーバは、グラフィックス受信端末とグラフィックス交換サーバとの間の永続的接続を介して、グラフィックス情報をグラフィックス受信端末へ送信する。このように、本技法は、制御を開発およびダウンロードすることなく、グラフィックス情報の共有を達成するために、端末間の永続的接続を使用する。本技法はまた、大量の労働力および資源を消耗する、異なるブラウザのために異なる制御を開発するという現在の技術的課題を解決する、ブラウザ間のグラフィックス伝送を可能にする。加えて、本技法はまた、Canvasによって生成されるグラフィックス共有を開示し、Canvasの下でのグラフィックス共有技術の空白部分を埋める。
本開示の実施形態をわかりやすく例示するため、以下に実施形態の説明において使用される図面を簡単に示す。以下の図面が本開示のいくつかの実施形態にのみ関係することは自明であろう。当業者は、革新的努力を要さず、本開示の図面に従って他の図面を取得することができる。
本開示に従うグラフィックス共有のための例示的方法のフローチャートを示す。 本開示に従うグラフィックス共有のための例示的システムのフローチャートを示す。 本開示に従うグラフィックス共有のための例示的方法のフローチャートを詳細に示す。 高速モードの下でのグラフィックス共有の例示的フローチャートを示す。 高速モードの下でのグラフィックス共有の例示的フローチャートを示す。 グラフィックス共有のための例示的システムを示す。 例示的端末の構造図を示す。
ブラウザ間のグラフィックス伝送をサポートせず、大量の労働力および資源を消耗することにつながる、現在のグラフィックス共有技法の課題を解決するために、本開示は新しいグラフィックス共有技法を開示する。本グラフィックス共有技法は、グラフィックス制御を端末にダウンロードすることを必要とすることなく、グラフィックス共有を実装することが可能である。グラフィックスを便利かつ容易に共有するとき、本技法はまた、ブラウザの非互換性の問題なく、ブラウザ間のグラフィックス伝送を達成する。
本技法は、添付の図面を参照することにより、以下に詳細を説明する。
本開示の例示的実施形態は、グラフィックス共有のための方法を提供する。図1は、本開示に従うグラフィックス共有のための例示的方法のフローチャートを示す。
102で、Canvas規格によって提供されるグラフィカルインターフェースに基づいて、グラフィックス提供端末は、Canvas規格に基づいてグラフィックス提供端末でブラウザによって生成されるグラフィックス情報を取得する。
グラフィックス情報は、Canvas規格に基づいて生成することができる、ほぼあらゆる可視グラフィックスを含んでもよい。例えば、そのようなグラフィックス情報は、線、円、弧、任意曲線、およびチャート等のコンピュータ生成画像であってもよい。
グラフィックス情報がその後、グラフィックス提供端末とグラフィックス受信端末との間で共有された後、グラフィックス受信端末は、グラフィックス情報を表示することがさらに必要な場合がある。このため、グラフィックス提供端末によってグラフィックス受信端末に提供される1秒あたりのグラフィックス情報の合計量は、グラフィックス受信端末でグラフィックス情報を表示する品質を保証するために、グラフィックス受信端末の表示画面リフレッシュレート要件を満たさなければならない。
例えば、サンプリングレートは、グラフィックス交換サーバによって送信されるハンドシェイク情報の中に含まれる、グラフィックス受信端末の表示画面リフレッシュレートに基づいて設定されてもよい。グラフィックス提供端末は、既定のサンプリングレートに基づいてグラフィックス情報のサンプリングを実施する。グラフィックス情報のサンプリングは、グラフィックス情報の中に含まれる画素数をサンプリングすることを含んでもよい。例えば、グラフィックス情報が1280×1024の画素数を含み、グラフィックス受信端末の表示モニタが1024×768の画素数をサポートし、グラフィックス受信端末の表示画面リフレッシュレートが75Hzである場合、1秒あたり1280×1024の画素数を含むグラフィックス情報のサンプリングを実施することと、各々1024×768の画素数を含む75のグラフィックス情報のサンプリングレートを取得することとを満たすことが必要である。
104で、既定のグラフィックス共有契約に基づいて(既定のグラフィックス共有契約に基づくデータ/パケット構造の詳細は、以下の表1を参照されたい)、グラフィックス提供端末は、メッセージパケットを取得するために、取得したグラフィックス情報をパッキングし、グラフィックス提供端末とグラフィックス交換サーバとの間の永続的接続を使用して、メッセージパケットをグラフィックス交換サーバへ送信する。
グラフィックス交換サーバは、それぞれグラフィックス提供端末とグラフィックス受信端末との永続的接続に基づいて、グラフィックス情報のルーティング、パッキング、および他の機能を達成するために、グラフィックス提供端末とグラフィックス受信端末との間の情報の交換を提供するためのサーバである。104で、グラフィックス提供端末は、取得したグラフィックス情報をグラフィックス交換サーバへ送信するので、グラフィックス交換サーバは、ステップ106で動作を完了することができる。
106で、グラフィックス交換サーバは、グラフィックス情報を読み出すためにメッセージパケットをアンパッキングし、グラフィックス情報をグラフィックス受信端末へ送信するために、グラフィックス受信端末との永続的接続を使用する。
例示的実施形態において、グラフィックス提供端末のブラウザがインタラクティブベクタグラフィックスと、ウェブ動画標準(Adobe社によって提供されるソフトウェアであるFlash等)とをサポートするときに、グラフィックス提供端末が永続的接続を介してメッセージパケットをグラフィックス交換サーバへ送信しようとする場合、そのような永続的接続は、Flashがサポートされるメッセージ通信標準によって提供されるFlashSocketインターフェースによって確立されてもよい。代替として、メッセージパケットは、Base64エンコーディングによってエンコードされてもよく、メッセージパケットは、ブラウザがサポートされるメッセージ通信標準によって提供されるWebSocketインターフェースによって確立された永続的接続を介して送信される。前者の伝送手法の利点は、メッセージパケット上でBase64エンコーディングを実施する必要がないことであり、このため、伝送レートが高いが、一方、後者の伝送手法の利点は、Flashが端末のブラウザ上にインストールされているかどうかの制限がないことであり、このため、互換性が高い。
同様に、グラフィックス交換サーバが、グラフィックス情報をグラフィックス受信端末へ送信するために、グラフィックス受信端末とのその永続的接続を使用するとき、ここでも複数の代替が存在する。グラフィックス交換サーバが、グラフィックス情報をグラフィックス受信端末へ送信しようとするとき、グラフィックス受信端末によって送信されるハンドシェイク情報から、グラフィックス受信端末によってサポートされるメッセージ通信標準を最初に判定してもよい。グラフィックス受信端末によってサポートされるメッセージ通信標準が、Flashがサポートされるメッセージ通信標準であると判定された場合、グラフィックス交換サーバは、既定のグラフィックス共有契約に基づいてグラフィックス情報をメッセージパケット内にパッキングし、Flashがサポートされるメッセージ通信標準によって提供されるFlashSocketインターフェースによって確立される永続的接続を使用して、メッセージパケットをグラフィックス受信端末へ送信する。グラフィックス受信端末によってサポートされるメッセージ通信標準が、グラフィックス受信端末のブラウザによってサポートされるメッセージ通信標準であると判定された場合、グラフィックス交換サーバは、既定のグラフィックス共有契約に基づいてグラフィックス情報をメッセージパケット内にパッキングし、メッセージパケット上でBase64エンコーディングを実施し、ブラウザがサポートされるメッセージ通信標準によって提供されるWebSocketインターフェースによって確立される永続的接続を使用して、エンコードされたメッセージパケットをグラフィックス受信端末へ送信する。
図2は、本開示に従いグラフィックス共有のための例示的方法を実装する例示的システムの略図を示す。図2は、グラフィックス提供端末202、グラフィックス受信端末204、およびグラフィックス提供端末202とグラフィックス受信端末204との間のグラフィックス交換サーバ206を示す。グラフィックス提供端末202、グラフィックス受信端末204、およびグラフィックス交換サーバ206は、グラフィックス共有を実装するために協働することができる。例えば、グラフィックス提供端末202は、Canvas規格に基づいてそのブラウザによって生成されたグラフィックス情報をグラフィックス受信端末204へ伝送しようとして、グラフィックス提供端末202は、グラフィックス情報を取得し、それをグラフィックス交換サーバ206へ送信する。グラフィックス交換サーバ206は、受信したグラフィックス情報上で、圧縮動作等の1つ以上の動作を実施し、圧縮したグラフィックス情報を処理(例えば、グレースケールを実施)して処理したグラフィックス情報を取得するために、1つ以上のグラフィックスフィルタリングクラスタ208を使用する。次いで、グラフィックス交換サーバ206は、処理したグラフィックス情報をグラフィックス受信端末204へ送信する。グラフィックス受信端末204は、グラフィックス情報上で描画動作等の1つ以上の動作を実施する。このように、グラフィックス情報は、グラフィックス提供端末202とグラフィックス受信端末204との間で共有され、グラフィックス受信端末204で表示される。
上記の動作はさらに以下のように説明することができる。図3は、本開示に従うグラフィックス共有のための例示的方法のフローチャートを詳細に示す。
302で、グラフィックス提供端末202は、グラフィックス交換サーバ206との永続的接続を確立する。
304で、グラフィックス提供端末202は、グラフィックス交換サーバ206との既定のグラフィックス共有契約(グラフィックス共有契約のパケット構造については以下の表1を参照されたい)のハンドシェイクを開始する。306で、グラフィックス交換サーバ206は、ハンドシェイクを受信し、グラフィックス提供端末202のIPアドレス情報を登録し、グラフィックス提供端末202の1秒あたりのフレーム数(FPS)等のハンドシェイク情報を取得する。
308で、グラフィックス交換サーバ206は、ハンドシェイク情報をTokeyTyrantサーバ(TTサーバ)等のサーバ内に記憶する。TTサーバは、Key:Value(キー値のペア)に基づく一種の高効率データベースシステムである。ハンドシェイク情報は、グラフィックス提供端末202によってサポートされるメッセージ通信標準、グラフィックス提供端末202の画面リフレッシュレートまたはFPS等の情報を含んでもよい。
グラフィックス提供端末202の役割とグラフィックス受信端末204の役割とは交換可能である。グラフィックス提供端末202がまたグラフィックス受信端末として動作してもよく、グラフィックス受信端末204がまたグラフィックス提供端末として動作してもよい。グラフィックス提供端末202の役割がグラフィックス受信端末に変更されるとき、そのFPSは、対応するグラフィックス提供端末によるサンプリングレートの基準として使用することができる。グラフィックス提供端末202がグラフィックス受信端末として動作するとき、グラフィックス提供端末202によってサポートされるメッセージ通信標準は、グラフィックス交換サーバ206がグラフィックス情報を送信するために使用するメッセージ通信標準の基準として使用することができる。ハンドシェイクが成功した後、グラフィックス交換サーバ206は、フィードバック応答をグラフィックス提供端末へ送信する。
310で、グラフィックス提供端末202は、グラフィックス共有の準備状態に入る。グラフィックス提供端末202は、グラフィックス情報を送信するための準備状態に入る。
312で、グラフィックス受信端末204は、グラフィックス交換サーバ206との永続的接続を確立する。
314で、グラフィックス受信端末204は、グラフィックス交換サーバ206との既定のグラフィックス共有契約のハンドシェイクを開始する。ハンドシェイク情報は、グラフィックス受信端末204によってサポートされるメッセージ通信標準、グラフィックス受信端末204のFPS、およびグラフィックス受信端末によってサポートされるグラフィックス情報の形式等を含んでもよい。
316で、ハンドシェイクに成功した後、グラフィックス受信端末204は、グラフィックス共有の準備状態に入る。318で、グラフィックス受信端末204は、Canvas規格を使用してグラフィックス提供端末202によって生成されたグラフィックス情報を読み出すことをリクエストするグラフィックス情報共有リクエストを、グラフィックス交換サーバ206へ送信する。
320で、グラフィックス交換サーバ206は、グラフィックス共有の命令をグラフィックス提供端末202へ送信する。グラフィックス共有の命令は、グラフィックス提供端末202に、グラフィックス情報を伝送するためにグラフィックス共有のためのチャネルを開くように伝達する。
322で、グラフィックス提供端末202は、グラフィックス共有のためにグラフィックス情報を収集する。324で、グラフィックス提供端末202は、グラフィックス情報をグラフィックス交換サーバ206へ送信する。
326で、グラフィックス交換サーバ206は、グラフィックス提供端末202からグラフィックス情報を受信する。328で、グラフィックス交換サーバ206は、受信したグラフィックス情報を処理する動作を実施する。例えば、グラフィックス交換サーバ206は、グラフィックス情報を1つ以上のグラフィックスフィルタリングクラスタ328へ送信してもよい。330で、グラフィックスフィルタリングクラスタ328は、グラフィックス情報の圧縮および最適化等、グラフィックス情報上で1つ以上の動作を実施する。グラフィックス情報がグラフィックスフィルタリングクラスタ328によって処理された後、グラフィックスフィルタリングクラスタ328は、処理したグラフィックス情報をグラフィックス交換サーバ206へ送信する。(いくつかの他の例では、実際の状況に基づいて、グラフィックス交換サーバ206は、処理のためにグラフィックス情報をグラフィックスフィルタリングクラスタ208へ送信しなくてもよい。)
332で、グラフィックス交換サーバ206は、処理されたグラフィックス情報をグラフィックス受信端末204へ送信する。
334で、グラフィックス受信端末204は、グラフィックス情報を受信する。336で、グラフィックス受信端末204は、グラフィックス情報を描画し、表示する。
Figure 2014519635
いくつかの例示的実施形態において、WebSocketまたはFlashSocketは、グラフィックス提供端末202とグラフィックス交換サーバ206との間の永続的接続、およびグラフィックス受信端末204とグラフィックス交換サーバ206との間の永続的接続を維持するために使用されてもよい。永続的接続は、グラフィックス情報の伝送のためのチャネルとして働く。以下の2つの例示的実施形態は、それぞれFlashSocketまたはWebSocketに基づく状況を示す。
第1の例示的実施形態を以下に詳細に示す。第1の例示的実施形態は、グラフィックス情報を共有する端末のブラウザ上にFlashがインストールされた状況を中心とする。この状況の下でのグラフィックス共有モードはまた、「高速モード」と言及されてもよい。図4は、高速モードの下でのグラフィックス共有の例示的フローチャートを示す。
グラフィックス提供端末202でPIX_Reader.js404等の画素読み取りプログラムを呼び出すために使用される、Image_Share1.swf402等のグラフィックス共有プログラムは、グラフィックス受信端末204のFPSに従い、PIX_Reader.js404の中のグラフィックス情報サンプリングメソッドを呼び出すために、Flashの中のTimerを使用する。(例えば、メソッドは、ReaderCanvasと呼ばれる。)FPSは、グラフィックス提供端末202がグラフィックス交換サーバ206とハンドシェイクを実施するとき、グラフィックス交換サーバ206から受信される。
PIX_Reader.js404は、Canvas規格に基づいて生成されたグラフィックス情報406を読み取る、および/または収集するためにCanvasのAPIを呼び出してから、次いで、読み取ったグラフィックス情報を、配列等のデータ形式でImage_Share1.swf402に戻す。
Image_Share1.swf402は、既定のグラフィックス共有契約に基づいて、グラフィックス情報をグラフィックス共有契約パケットにパッキングする。Flashがグラフィックス提供端末202のブラウザ上にインストールされている場合、グラフィックス提供端末202は、グラフィックス共有契約パケットをグラフィックス交換サーバ206へ送信するために、FlashSocketに基づいて確立された永続的接続を使用する。
グラフィックス交換サーバ206は、グラフィックス共有契約パケットからグラフィックス情報406を読み出し、グレースケーリング等の処理をグラフィックス情報406上で実施する。グラフィックス交換サーバ206が、グラフィックス受信端末204とのハンドシェイク情報に基づいて、グラフィックス受信端末204のブラウザもFlashをインストールしていることを確認した場合、グラフィックス交換サーバ206は、処理されたグラフィックス情報406をグラフィックス共有契約パケットにパッキングし、グラフィックス共有契約パケットをグラフィックス受信端末204へ送信するために、FlashSocketに基づいて確立された永続的接続を使用する。
グラフィックス共有契約パケットを受信した後、グラフィックス受信端末204は、グラフィックス共有契約パケットをアンパッキングしてグラフィックス情報406を取得するためにImage_Share2.swf408を使用する、およびグラフィックス情報406をグラフィックス情報データの配列内に記憶するためにPIX_Reader.js410を呼び出す等、グラフィックス情報406上で1つ以上の処理動作を実施してもよい。
グラフィックス受信端末204は、グラフィックス情報406の描画および表示を終了するために、CanvasのAPIを呼び出すためにPIX_Reader.js410を使用する。
第2の例示的実施形態も以下に詳細に示す。第2の例示的実施形態は、グラフィックス情報を共有する端末のブラウザ上にFlashがインストールされていない状況を中心とする。この状況の下でのグラフィックス共有モードはまた、「互換性モード」と言及されてもよく、上記の「高速モード」とは異なる。「互換性モード」の下での端末のブラウザはFlashをインストールしないので、FlashSocketおよびTimerは存在しない。代わりに、対応する機能を実装するためにWebSocketおよびWorker等のスレッドが使用される。図5は、高速モードの下でのグラフィックス共有の例示的フローチャートを示す。
グラフィックス提供端末202のスレッドは、グラフィックス情報504をサンプリングする、Image−Share1.js502等のプログラムを呼び出す。スレッドは、Workerであってもよい。Image_Share1.js502は、グラフィックス提供端末202がグラフィックス交換サーバ206とハンドシェイクを実施するとき、グラフィックス交換サーバ206によって送信される、グラフィックス受信端末204のFPSに従って、Canvas規格に基づいて生成されるグラフィックス情報504をサンプリングする。
Image_Share1.js502は、既定のグラフィックス共有契約に基づいて、グラフィックス情報504をグラフィックス共有契約パケットにパッキングする。グラフィックス提供端末202のブラウザがFlashをインストールしないため、グラフィックス提供端末202は、グラフィックス共有契約パケット上でBase64エンコーディングを実施してから、次いで、WebSocketに基づいて確立される永続的接続を介して、それをグラフィックス交換サーバ206へ伝送する。
グラフィックス交換サーバ206は、グラフィックス共有契約パケットからグラフィックス情報504を読み出し、グラフィックス情報504上でグレースケーリング等の処理を実施する。グラフィックス交換サーバ206が、グラフィックス受信端末204とのハンドシェイク情報に基づいて、グラフィックス受信端末204のブラウザがFlashをインストールしていないことを確認した場合、グラフィックス交換サーバ206は、処理されたグラフィックス情報504をグラフィックス共有契約パケットにパッキングし、グラフィックス共有契約パケット上でBase64エンコーディングを実施し、グラフィックス共有契約パケットをグラフィックス受信端末204へ送信するために、WebSocketに基づいて確立された永続的接続を使用する。
グラフィックス共有契約パケットを受信した後、グラフィックス受信端末204は、グラフィックス共有契約パケットをアンパッキングしてグラフィックス情報504を取得するために、Image_Share2.js506を使用する等、グラフィックス共有契約パケット上で1つ以上の動作を実施する。
グラフィックス受信端末204は、グラフィックス情報504の描画および表示を終了するために、CanvasのAPIを呼び出す。
第1の例示的実施形態および第2の例示的実施形態から示されるように、グラフィックス共有のプロセスは、高速モードおよび互換性モードの下で類似する。1つの違いは、互換性モードの下では、WebSocketに基づいて確立された永続的接続はバイナリデータを送信することがまだ可能ではなく、伝送するためにはグラフィックス共有契約パケットがBase64エンコーディングによってエンコードされる必要があり、それによって、情報伝送効率に影響を与える点である。このため、互換性モードと比較すると、Flashが少なくとも1つの端末でインストールされているという前提要件があるが、高速モードの下での伝送効率のほうが高い。
本開示のグラフィックス共有のための方法に対応して、本開示はグラフィックス共有のためのシステムも開示する。図6は、グラフィックス共有のための例示的システム600を示す。システム600は、グラフィックス提供端末602と、グラフィックス受信端末604と、グラフィックス交換サーバ606とを含む。
既定のサンプリングレートに従って、グラフィックス提供端末602は、Canvas規格によって提供されるグラフィカルインターフェースを介して、グラフィックス情報を取得するためにCanvas規格に基づいてグラフィックス提供端末602のウェブブラウザによって生成されるグラフィックスをサンプリングする。グラフィックス提供端末602は、既定のグラフィックス共有契約に基づいて、メッセージパケットを取得するために取得されたグラフィックス情報をパッキングしてから、次いで、グラフィックス提供端末602とグラフィックス交換サーバ606との間の永続的接続を介して、メッセージパケットをグラフィックス交換サーバ606へ送信する。
グラフィックス交換サーバ606は、グラフィックス情報を読み出すためにメッセージパケットをアンパッキングし、グラフィックス受信端末604とグラフィックス交換サーバ606との間の永続的接続を介して、グラフィックス情報をグラフィックス受信端末604へ送信する。
例えば、サンプリングレートは、グラフィックス交換サーバ606によって送信されるハンドシェイク情報の中に含まれる、グラフィックス受信端末604の表示画面リフレッシュレートに基づいて、ブラフィックス提供端末602によって設定されてもよい。グラフィックス受信端末604がグラフィックを表示する必要がない場合、グラフィックス受信端末604の周波数リフレッシュレートに基づいてサンプリングレートを設定する必要はない。一例示的実施形態において、グラフィックス提供端末602のブラウザが、インタラクティブベクタグラフィックスと、Flash等のウェブ動画標準とをサポートしているとき、グラフィックス提供端末602は、永続的接続を使用することによって、メッセージパケットをグラフィックス交換サーバ606へ送信する。グラフィックス提供端末602は、メッセージパケットをグラフィックス交換サーバ606へ送信するために、Flashがサポートされるメッセージ通信標準によって提供される、FlashSocketインターフェースによって確立される永続的接続を使用する。
代替として、グラフィックス提供端末602は、別の手法に従って永続的接続を使用してメッセージパケットをグラフィクス交換サーバ606へ送信してもよい。例えば、グラフィックス提供端末602は、メッセージパケットをエンコードした後、メッセージパケットをグラフィックス交換サーバ606へ送信するために、ブラウザがサポートされるメッセージ通信標準によって提供される、WebSocketインターフェースによって確立される永続的接続を使用する。
グラフィックス交換サーバ606は、グラフィックス情報をグラフィックス受信端末604へ送信するために、グラフィックス受信端末604とのその永続的接続を使用する。
例えば、グラフィックス交換サーバ606は、グラフィックス受信端末604によって送信されるハンドシェイク情報から、グラフィックス受信端末604によってサポートされるメッセージ通信標準を判定する。グラフィックス受信端末604によってサポートされるメッセージ通信標準がFlashがサポートされるメッセージ通信標準であると判定された場合、グラフィックス交換サーバは、既定のグラフィックス共有契約に基づいて、グラフィックス情報をメッセージパケットにパッキングし、Flashがサポートされるメッセージ通信標準によって提供されるFlashSocketインターフェースによって確立される永続的接続を使用して、メッセージパケットをグラフィックス受信端末604へ送信する。グラフィックス受信端末604によってサポートされるメッセージ通信標準がグラフィックス受信端末604のブラウザによってサポートされるメッセージ通信標準であると判定された場合、グラフィックス交換サーバ606は、既定のグラフィックス共有契約に基づいて、グラフィックス情報をメッセージパケットにパッキングし、メッセージパケット上でBase64エンコーディング等のエンコーディングを実施し、ブラウザがサポートされるメッセージ通信標準によって提供されるWebSocketインターフェースによって確立される永続的接続を使用することによって、エンコードされたメッセージパケットをグラフィックス受信端末604へ送信する。
本開示は端末も提供する。図7は、例示的端末700の構造図を示す。端末700は、1つ以上のプロセッサ702と、メモリ704とを含んでもよいが、これらに限定されない。メモリ704は、ランダムアクセスメモリ(RAM)等の揮発性メモリおよび/または読み取り専用メモリ(ROM)またはフラッシュRAM等の不揮発性メモリの形式におけるコンピュータ可読媒体を含んでもよい。メモリ704は、コンピュータ記憶媒体の例である。
コンピュータ記憶媒体は、コンピュータ実行可能命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶のために、任意の方法または技術において実装される、揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含む。コンピュータ記憶媒体の例として、相変化メモリ(PRAM)、静的ランダムアクセスメモリ(SRAM)、動的ランダムアクセスメモリ(DRAM)、他の種類のランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み取り専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいはコンピューティングデバイスによってアクセスするために情報を記憶するために使用することが可能である任意の他の非伝送媒体が挙げられるが、これらに限定されない。本明細書に定義される場合、コンピュータ記憶媒体は、変調データ信号および搬送波等の一時的媒体を含まない。
メモリ704は、その中にプログラムユニットまたはモジュールと、プログラムデータとを記憶してもよい。一実施形態において、ユニットは、サンプリングユニット706と、パッキングユニット708と、送信ユニット710とを含んでもよい。これらのユニットは、従って、1つ以上のプロセッサ702によって実行することが可能であるソフトウェアにおいて実装されてもよい。他の実装において、ユニットは、ファームウェア、ハードウェア、ソフトウェア、またはこれらの組み合わせにおいて実装されてもよい。
既定のサンプリングレートに従って、サンプリングユニット706は、Canvas規格によって提供されるグラフィカルインターフェースを介して、グラフィックス情報を取得するために、Canvas規格に基づいてグラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングする。
既定のグラフィックス共有契約に基づいて、パッキングユニット708は、メッセージパケットを取得するために、サンプリングユニット706によって取得されたグラフィックス情報をパッキングする。
送信ユニット710は、端末700とグラフィックス交換サーバ712との間の永続的接続を介して、メッセージパケットをグラフィックス交換サーバ712へ送信する。
ウェブブラウザがインタラクティブベクタグラフィックスと、Flash等のウェブ動画標準とをサポートするとき、送信ユニット710は、Flashがサポートされるメッセージ通信標準によって提供される、FlashSocketインターフェースによって確立される永続的接続を使用することによって、メッセージパケットをグラフィックス交換サーバへ送信してもよい。
代替として、送信ユニット710は、メッセージパケットをエンコードしてもよく、メッセージパケットをグラフィックス交換サーバ712へ送信するために、ブラウザがサポートするメッセージ通信標準によって提供される、WebSocketインターフェースによって確立される永続的接続を使用する。
上記の例示的な実施形態から、当業者は、開示される方法およびシステムが、ソフトウェアおよび汎用ハードウェアプラットフォームを使用して実装されてもよいことを明確に理解することができる。この理解に基づいて、本開示の技術スキーム、または既存の技術に寄与する部分は、ROM/RAM、ハードドライブ、および光ディスク等のコンピュータ記憶媒体の中に記憶されるソフトウェア製品の形式で実装されてもよい。ソフトウェアは、コンピューティングデバイス(例えば、パーソナルコンピュータ、サーバ、またはネットワークに接続されたデバイス)が本開示の例示的実施形態に記載される方法を実行するコンピュータ実行可能命令を含む。
多様な例示的実施形態は、本開示において漸進的に記載する。例示的実施形態の同一または類似部分は相互に参照することができる。各例示的実施形態は、他の例示的実施形態とは異なる焦点を有する。特に、例示的なデバイスの実施形態は、例示的方法とのその基本的対応のために、比較的簡単な様式に記載した。その詳細は、例示的方法の関連部分を参照することによって見出すことができる。上記の例示的デバイスの説明は、例示的目的のみを意味する。その中で個別の構成要素として記載されるユニットまたはモジュールは、物理的に分離していても、または分離していなくてもよい。実施形態において記載するモジュールまたはユニットは、1つのモジュールに統合されても、または複数のサブモジュールにさらに分けられてもよい。一実施形態において記載する1つ以上のモジュールまたはユニットは、別の実施形態に統合されてもよい。ユニットまたはモジュールの観点で例示した構成要素は、物理的ユニットであっても、なくてもよく、例えば、1つの場所に位置してもよく、または複数のネットワークユニットの間に分散されてもよい。実際の必要性に依存して、例示的実施形態の目標は、モジュールの一部または全てを選択することによって達成されてもよい。当業者は、一切の革新的努力なく、開示されるシステムを理解し、実装することができる。
本開示は、本開示の方法、装置(システム)、およびコンピュータソフトウェア製品のフローチャートおよび略図を参照して記載する。コンピュータ実行可能命令は、各フローチャートおよび/または図面の略図、あるいはこれらの組み合わせを実装することができることが理解され得る。このようなコンピュータ実行可能命令は、フローチャートの1つ以上のフロープロセスおよび/または略図面の1つ以上の略図によって指定される機能を実現するために、コンピュータまたは他のプログラム可能なデータ処理デバイスによって実行される命令を使用することができる機械を実装するように、汎用目的のコンピュータ、特殊目的のコンピュータ、埋め込み型デバイス、または任意の他のプログラマブルデータ処理デバイスに埋め込むことができる。
そのようなコンピュータ実行可能命令はまた、コンピュータまたはプログラム可能なデータ処理デバイスが、そのようなコンピュータの動作によって機能を実現するために複数の演算ステップを実行することができるように、コンピュータまたは任意の他のプログラム可能なデータ処理デバイスにロードされてもよい。このように、コンピュータまたは任意の他のプログラム可能なデータ処理デバイスで実施されるコンピュータ実行可能命令は、フローチャート図の1つ以上のフロープロセスおよび/または略図面の1つ以上の略図によって指定される機能を実装する。
本開示は、プログラムモジュール等、コンピュータによって実行されるコンピュータ実行可能命令の一般的状況において記載されてもよい。一般的に、プログラムモジュールは、具体的なタスクを実行するため、または具体的な抽象データ型を実装するための、ルーチン、プログラム、オブジェクト、モジュール、データ構造、コンピュータ実行可能命令等を含む。開示される方法およびデバイスはまた、分散コンピューティング環境に実装されてもよい。分散コンピューティング環境において、タスクは、通信ネットワークを介して接続される遠隔の処理デバイスによって実行される。分散コンピューティング環境において、プログラムモジュールは、ローカルおよび/または遠隔コンピュータのコンピュータ記憶媒体(記憶デバイスを含む)に位置されてもよい。
開示される方法およびシステムは、ソフトウェアを含む汎用コンピュータシステムまたは特殊なコンピュータシステムの環境または構成において使用されてもよい。例として、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたは携帯デバイス、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットアップボックス、プログラマブルカスタマ電子デバイス、ネットワークPC、小型コンピュータ、大型コンピュータ、および上記の任意のシステムまたはデバイスを含む分散コンピューティング環境が挙げられる。
上記は、本開示の例示的実施形態である。しかしながら、本開示はこれらに限定されない。本明細書において使用される用語は、例示目的であって、本開示を限定するためのものではない。本開示は、本発明の精神または要旨から逸脱することなく、多数の形式を使用して具体的に実装することができるので、上記の例示的実施形態は、上記の詳細に限定されず、請求項に定義される要旨および範囲の下で広義に解釈されるべきである。当業者は、本開示の精神および範囲から逸脱することなく、多数の異なる方式で本開示を変更または変形してもよいことを理解されたい。これらの変更および変形は、従って、本開示の請求項およびそれらの同等物の範囲内に含まれると見なされるべきである。

Claims (20)

  1. コンピュータ実行可能命令を用いて構成される1つ以上のプロセッサによって実施される方法であって、
    グラフィックス提供端末によって、既定のサンプリングレートに従ってグラフィックス情報を取得するために前記グラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングすることと、
    前記グラフィックス提供端末によって、既定のグラフィックス共有契約に基づいてメッセージパケットを取得するために前記グラフィックス情報をパッキングすることと、
    前記グラフィックス提供端末によって、前記グラフィックス提供端末とグラフィックス交換サーバとの間の永続的接続を介して、前記メッセージパケットを前記グラフィックス交換サーバへ送信することと、
    を含む、方法。
  2. 前記ウェブブラウザが、インタラクティブベクタグラフィックスと、ウェブ動画標準とをサポートする、請求項1に記載の方法。
  3. 前記グラフィックス提供端末によって、前記永続的接続を介して前記メッセージパケットを前記グラフィックス交換サーバへ前記送信することが、
    前記ウェブ動画標準によってサポートされるメッセージ通信標準によって提供されるインターフェースを介して、前記グラフィックス提供端末と前記グラフィックス交換サーバとの間の前記永続的接続を確立することを含む、
    請求項2に記載の方法。
  4. 前記グラフィックス提供端末によって、前記永続的接続を介して前記メッセージパケットを前記グラフィックス交換サーバへ前記送信することが、
    前記グラフィックス提供端末によって、前記メッセージパケットをエンコードすることと、
    ブラウザがサポートされるメッセージ通信標準によって提供されるインターフェースを介して、前記グラフィックス提供端末と前記グラフィックス交換サーバとの間の前記永続的接続を確立することと、
    を含む、請求項1に記載の方法。
  5. 前記グラフィックス交換サーバによって、前記グラフィックス情報を取得するために前記メッセージパケットをアンパッキングすることと、
    前記グラフィックス交換サーバによって、前記グラフィックス情報を処理することと、
    前記グラフィックス交換サーバによって、前記グラフィックス情報を別のメッセージパケット内にパッキングすることと、
    前記グラフィックス交換サーバによって、グラフィックス受信端末と前記グラフィックス交換サーバとの間の永続的接続を介して、前記別のメッセージパケットを前記グラフィックス受信端末へ送信することと、
    をさらに含む、請求項1に記載の方法。
  6. 前記グラフィックス提供端末と、前記グラフィックス受信端末とが交換可能である、請求項5に記載の方法。
  7. 前記グラフィックス交換サーバによって、前記グラフィックス受信端末と前記グラフィックス交換サーバとの間の前記永続的接続を介して、前記グラフィックス情報を前記グラフィックス受信端末へ前記送信することが、
    前記グラフィックス交換サーバによって、前記グラフィックス受信端末によって送信されるハンドシェイク情報に基づいて前記グラフィックス受信端末によってサポートされるメッセージ通信標準を判定することを含む、
    請求項5に記載の方法。
  8. 前記メッセージ通信標準がウェブ動画標準によってサポートされる通信標準であると判定された場合、前記ウェブ動画標準によってサポートされる前記メッセージ通信標準によって提供されるインターフェースを介して、前記グラフィックス受信端末と前記グラフィックス交換サーバとの間の前記永続的接続を確立することをさらに含む、請求項7に記載の方法。
  9. 前記メッセージ通信標準がブラウザがサポートされる通信標準であると判定された場合、
    前記別のメッセージパケットをエンコードすることと、
    前記ブラウザがサポートされるメッセージ通信標準によって提供されるインターフェースを介して、前記グラフィックス受信端末と前記グラフィックス交換サーバとの間の前記永続的接続を確立することと、
    を含む、請求項7に記載の方法。
  10. 前記グラフィックス提供端末によって、前記グラフィックス交換サーバによって送信されるハンドシェイク情報の中に含まれる、グラフィックス受信端末の周波数リフレッシュレートに基づいて前記既定のサンプリングレートを設定することをさらに含む、
    請求項1に記載の方法。
  11. 1つ以上のプロセッサと、メモリと、を備えるグラフィックス提供端末であって、
    Canvas規格によって提供されるグラフィカルインターフェースを介して、既定のサンプリングレートに従ってグラフィックス情報を取得するために前記Canvas規格に基づいて前記グラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングし、
    既定のグラフィックス共有契約に基づいてメッセージパケットを取得するために、前記グラフィックス情報をパッキングし、
    前記グラフィックス提供端末と前記グラフィックス交換サーバとの間の永続的接続を介して、前記メッセージパケットを前記グラフィックス交換サーバへ送信する、グラフィックス提供端末
    を備える、システム。
  12. 前記ウェブブラウザが、インタラクティブベクタグラフィックスと、Flashを含むウェブ動画標準とをサポートし、
    前記グラフィックス提供端末と前記グラフィックス交換サーバとの間の前記永続的接続が、Flashがサポートされるメッセージ通信標準によって提供されるFlashSocketインターフェースを介して確立される、
    請求項11に記載のシステム。
  13. 前記グラフィックス提供端末が、前記メッセージパケットをさらにエンコードし、
    前記グラフィックス提供端末と前記グラフィックス交換サーバとの間の前記永続的接続が、ブラウザがサポートされるメッセージ通信標準によって提供されるWebSocketインターフェースを介して確立される、
    請求項11に記載のシステム。
  14. 前記グラフィックス交換サーバが、前記グラフィックス情報を取得するために前記メッセージパケットをアンパッキングし、前記グラフィックス受信端末と前記グラフィックス交換サーバとの間の永続的接続を介して、前記グラフィックス情報を前記グラフィックス受信端末へ送信する、請求項11に記載のシステム。
  15. 前記グラフィックス交換サーバがさらに、
    前記グラフィックス受信端末によって送信されるハンドシェイク情報に基づいて、前記グラフィックス受信端末によってサポートされるメッセージ通信標準を判定し、
    前記メッセージ通信標準がFlashがサポートされる通信標準であると判定された場合、前記Flashがサポートされるメッセージ通信標準によって提供されるFlashSocketインターフェースを介して、前記グラフィックス受信端末と前記グラフィックス交換サーバとの間の前記永続的接続を確立し、
    前記メッセージ通信標準がブラウザがサポートされる通信標準であると判定された場合、
    前記グラフィックス情報を別のメッセージパケット内にエンコードし、
    前記ブラウザがサポートされるメッセージ通信標準によって提供されるWebSocketインターフェースを介して、前記グラフィックス受信端末と前記グラフィックス交換サーバとの間の前記永続的接続を確立する、
    請求項14に記載のシステム。
  16. 前記グラフィックス提供端末がさらに、前記グラフィックス交換サーバによって送信されるハンドシェイク情報の中に含まれるグラフィックス受信端末の周波数リフレッシュレートに基づいて前記既定のサンプリングレートを設定する、請求項11に記載のシステム。
  17. 前記グラフィックス提供端末と、前記グラフィックス受信端末とが交換可能である、請求項16に記載のシステム。
  18. 1つ以上のプロセッサと、
    前記1つ以上のプロセッサに通信可能に連結されるメモリであって、
    Canvas規格によって提供されるグラフィカルインターフェースを介して、既定のサンプリングレートに従ってグラフィックス情報を取得するために、前記Canvas規格に基づいてグラフィックス提供端末のウェブブラウザによって生成されるグラフィックスをサンプリングする、サンプリングユニットと、
    メッセージパケットを取得するために、前記サンプリングユニットによって取得される前記グラフィックス情報をパッキングする、パッキングユニットと、
    前記グラフィックス提供端末とグラフィックス交換サーバとの間の永続的接続を介して、前記メッセージパケットを前記グラフィックス交換サーバへ送信する、送信ユニットと、を含む、前記1つ以上のプロセッサによって実行可能である構成要素を記憶する、メモリと、
    を備える、端末。
  19. 前記ウェブブラウザが、インタラクティブベクタグラフィックスと、Flashを含むウェブ動画標準とをサポートし、
    前記グラフィックス提供端末と前記グラフィックス交換サーバとの間の前記永続的接続が、Flashがサポートされるメッセージ通信標準によって提供されるFlashSocketインターフェースを介して確立される、
    請求項18に記載の端末。
  20. 前記送信ユニットが、前記エンコードされたメッセージパケットを前記グラフィックス交換サーバへ送信する前に、前記メッセージパケットをさらにエンコードし、
    前記グラフィックス提供端末と前記グラフィックス交換サーバとの間の前記永続的接続が、ブラウザがサポートされるメッセージ通信標準によって提供されるWebSocketインターフェースを介して確立される、
    請求項18に記載の端末。
JP2014508450A 2011-04-25 2012-04-20 グラフィックス共有 Active JP6219813B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110103855.3 2011-04-25
CN201110103855.3A CN102761564B (zh) 2011-04-25 2011-04-25 图形共享方法、系统与终端
PCT/US2012/034567 WO2012148825A1 (en) 2011-04-25 2012-04-20 Graphic sharing

Publications (2)

Publication Number Publication Date
JP2014519635A true JP2014519635A (ja) 2014-08-14
JP6219813B2 JP6219813B2 (ja) 2017-10-25

Family

ID=47055885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014508450A Active JP6219813B2 (ja) 2011-04-25 2012-04-20 グラフィックス共有

Country Status (7)

Country Link
US (2) US8909801B2 (ja)
EP (1) EP2702583A4 (ja)
JP (1) JP6219813B2 (ja)
CN (1) CN102761564B (ja)
HK (1) HK1172467A1 (ja)
TW (1) TWI513257B (ja)
WO (1) WO2012148825A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057709A (ja) * 2014-09-05 2016-04-21 村田機械株式会社 電子会議システム、電子会議システムにおける表示制御方法及びプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102405430B (zh) 2009-02-05 2014-09-24 日本航空电子工业株式会社 光连接器装置
US10187859B2 (en) 2011-02-14 2019-01-22 Qualcomm Incorporated Power control and user multiplexing for heterogeneous network coordinated multipoint operations
CN103024043B (zh) * 2012-12-14 2016-01-27 腾讯科技(深圳)有限公司 一种数据共享方法、服务器及系统
US9444872B2 (en) 2012-12-14 2016-09-13 Tencent Technology (Shenzhen) Company Limited Method, server and system for data sharing
CN103067458A (zh) * 2012-12-17 2013-04-24 百度在线网络技术(北京)有限公司 控制方法及终端设备、服务器
CN103678009B (zh) * 2013-12-05 2017-06-16 新浪网技术(中国)有限公司 网页页面的订阅者接收网络数据的方法和装置
CN103685269B (zh) * 2013-12-12 2017-12-12 Tcl集团股份有限公司 一种web浏览器与服务器进行双向通讯的方法和系统
US20150341472A1 (en) * 2014-05-20 2015-11-26 Jason Russell Yanofski System for real-time, graphics-based web communication using HTML 5 WebSockets
TWI684143B (zh) 2014-08-29 2020-02-01 科科科技股份有限公司 線上物件預訂系統與方法
US10437288B2 (en) 2014-10-06 2019-10-08 Fasetto, Inc. Portable storage device with modular power and housing system
CN104486327B (zh) * 2014-12-10 2019-02-05 北京奇虎科技有限公司 页面与长连接服务器间的通信方法及客户端
JP6754369B2 (ja) * 2015-03-11 2020-09-09 ファセット・インコーポレーテッド ウェブapi通信システムおよび方法
CN107295079A (zh) * 2017-06-19 2017-10-24 深圳市麦谷科技有限公司 一种物联网流量卡的实名照片上传方法及系统
CN107749843A (zh) * 2017-10-13 2018-03-02 北京中教在线科技有限公司 一种电子画板共享方法
CN107967184A (zh) * 2017-11-30 2018-04-27 北京奇艺世纪科技有限公司 远程协助中复制粘贴方法、装置及电子设备
CN112584228A (zh) * 2020-11-25 2021-03-30 山东宁泓信息技术有限公司 一种基于web的低延迟投屏方法及系统
TWI777683B (zh) * 2021-07-22 2022-09-11 鴻海精密工業股份有限公司 影像處理裝置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002544625A (ja) * 1999-05-12 2002-12-24 ユニシス コーポレーション リモートコンソールエミュレーションのためのシステムおよびアダプタカード
JP2003050767A (ja) * 2001-08-07 2003-02-21 Sony Corp 情報配信システム及び情報配信方法、並びに情報供給装置及び情報供給方法
JP2005136567A (ja) * 2003-10-29 2005-05-26 Fuji Photo Film Co Ltd パレットデータ生成装置および方法、画像生成装置および方法、動画像配信装置、メール中継装置並びにプログラム
US20090037517A1 (en) * 2007-08-02 2009-02-05 Randall Wayne Frei Method and system to share content between web clients

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6105055A (en) 1998-03-13 2000-08-15 Siemens Corporate Research, Inc. Method and apparatus for asynchronous multimedia collaboration
US6668273B1 (en) 1999-11-18 2003-12-23 Raindance Communications, Inc. System and method for application viewing through collaborative web browsing session
US7728838B2 (en) 2000-09-15 2010-06-01 Invensys Systems, Inc. Method and system for animating graphical user interface elements via a manufacturing/process control portal server
US20050278641A1 (en) 2000-11-30 2005-12-15 Steve Mansour Javascript Calendar Application Delivered to a Web Browser
US20030014476A1 (en) * 2001-01-03 2003-01-16 Peterson David Allen Thin client computer operating system
US6862022B2 (en) * 2001-07-20 2005-03-01 Hewlett-Packard Development Company, L.P. Method and system for automatically selecting a vertical refresh rate for a video display monitor
US7222305B2 (en) * 2003-03-13 2007-05-22 Oracle International Corp. Method of sharing a desktop with attendees of a real-time collaboration
US20050021626A1 (en) 2003-05-22 2005-01-27 Cisco Technology, Inc. Peer-to-peer dynamic web page sharing
US7586484B2 (en) * 2004-09-27 2009-09-08 Idc, Llc Controller and driver features for bi-stable display
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
US7683906B2 (en) * 2005-06-30 2010-03-23 Microsoft Corporation Frame buffer control for smooth video display
US20070038717A1 (en) * 2005-07-27 2007-02-15 Subculture Interactive, Inc. Customizable Content Creation, Management, and Delivery System
US20070139446A1 (en) * 2005-12-15 2007-06-21 Xerox Corporation Systems and methods for manipulating high resolution scan images using web-based user interfaces
US20070174429A1 (en) * 2006-01-24 2007-07-26 Citrix Systems, Inc. Methods and servers for establishing a connection between a client system and a virtual machine hosting a requested computing environment
US7933956B2 (en) 2006-01-24 2011-04-26 Simulat, Inc. System and method to create a collaborative web-based multimedia layered platform
US7933955B2 (en) * 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
CN101179406B (zh) * 2006-11-30 2011-01-12 腾讯科技(深圳)有限公司 一种电子宠物旅游方法、旅游服务器与系统
US9350701B2 (en) * 2007-03-29 2016-05-24 Bomgar Corporation Method and apparatus for extending remote network visibility of the push functionality
US8201164B2 (en) * 2007-07-20 2012-06-12 Microsoft Corporation Dynamically regulating content downloads
US8514842B1 (en) * 2007-09-28 2013-08-20 Adobe Systems Incorporated Systems and methods for enabling communication between users of common virtual spaces
FR2922662A1 (fr) 2007-10-18 2009-04-24 France Telecom Systeme et procede d'echange d'informations dans un terminal multimedias
US9582234B2 (en) * 2008-09-30 2017-02-28 Rockwell Automation Technologies, Inc. System and method for the automatic aggregation of industrial automation displays
US20100121919A1 (en) 2008-11-13 2010-05-13 Arhus Universitet System and a method for sharing information interactively among two or more users
CN102405631B (zh) * 2009-02-20 2015-02-18 思杰系统有限公司 用于中间设备压缩通过远程显示协议传递的数据的系统和方法
US8676926B2 (en) * 2009-04-15 2014-03-18 Wyse Technology L.L.C. System and method for handling remote drawing commands
US20100268694A1 (en) * 2009-04-17 2010-10-21 Laurent Denoue System and method for sharing web applications
US9459936B2 (en) * 2009-05-01 2016-10-04 Kaazing Corporation Enterprise client-server system and methods of providing web application support through distributed emulation of websocket communications
CN101577007A (zh) * 2009-06-16 2009-11-11 腾讯科技(深圳)有限公司 一种生成图片的方法及装置
US20110004888A1 (en) * 2009-07-06 2011-01-06 Sudharshan Srinivasan Screen sharing method with selective access to both data and logic of a shared application using a helper application
US9733886B2 (en) 2009-11-24 2017-08-15 Clearslide, Inc. Method and system for browser-based screen sharing
JP5741171B2 (ja) * 2010-04-23 2015-07-01 株式会社リコー 画像処理装置及び画像処理プログラム
US20150161277A1 (en) * 2011-03-14 2015-06-11 Browsium, Inc. Methods and systems for one browser version to use a rendering engine of another browser version for displaying information
US8949294B2 (en) * 2011-03-23 2015-02-03 Red Hat, Inc. Data grid supporting multiple protocols

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002544625A (ja) * 1999-05-12 2002-12-24 ユニシス コーポレーション リモートコンソールエミュレーションのためのシステムおよびアダプタカード
JP2003050767A (ja) * 2001-08-07 2003-02-21 Sony Corp 情報配信システム及び情報配信方法、並びに情報供給装置及び情報供給方法
JP2005136567A (ja) * 2003-10-29 2005-05-26 Fuji Photo Film Co Ltd パレットデータ生成装置および方法、画像生成装置および方法、動画像配信装置、メール中継装置並びにプログラム
US20090037517A1 (en) * 2007-08-02 2009-02-05 Randall Wayne Frei Method and system to share content between web clients

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057709A (ja) * 2014-09-05 2016-04-21 村田機械株式会社 電子会議システム、電子会議システムにおける表示制御方法及びプログラム

Also Published As

Publication number Publication date
CN102761564B (zh) 2015-04-22
JP6219813B2 (ja) 2017-10-25
EP2702583A1 (en) 2014-03-05
WO2012148825A1 (en) 2012-11-01
HK1172467A1 (en) 2013-04-19
EP2702583A4 (en) 2014-12-31
US20150100699A1 (en) 2015-04-09
US20130046813A1 (en) 2013-02-21
US10110672B2 (en) 2018-10-23
CN102761564A (zh) 2012-10-31
US8909801B2 (en) 2014-12-09
TWI513257B (zh) 2015-12-11
TW201244432A (en) 2012-11-01

Similar Documents

Publication Publication Date Title
JP6219813B2 (ja) グラフィックス共有
US10412130B2 (en) Method and apparatus for playing media stream on web browser
US10284644B2 (en) Information processing and content transmission for multi-display
CN102413150B (zh) 服务器、虚拟桌面控制方法以及虚拟桌面控制系统
EP2649533B1 (en) Methods and systems for facilitating a remote desktop session utilizing long polling
JP2012533102A (ja) 変化するイメージの更新のクライアント・デバイスに対する選択的配布
CN105407369A (zh) 一种基于Web应用的终端通信方法与装置
JP6966675B2 (ja) スクリーンコンテンツの伝送及びディスプレイ
US11809771B2 (en) Orchestrated control for displaying media
CN112843676B (zh) 数据处理方法、装置、终端、服务器及存储介质
CN111625211B (zh) 一种屏幕投屏方法、装置、安卓设备及显示设备
CN110290398B (zh) 视频下发方法、装置、存储介质及电子设备
CN104349177A (zh) 一种在桌面云下转向播放多媒体文件的方法、虚拟机及系统
JP2016540289A (ja) リモートモニタリングのための方法、及び信号取得及びリモートモニタリングのためのシステム
CN114650434A (zh) 一种基于云服务的渲染方法及其相关设备
JP2015035996A (ja) ゲームを提供するサーバ及び方法
CN114302176A (zh) 视频播放方法及装置
Quax et al. Remote rendering solutions using web technologies
CN113473180B (zh) 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置
CN114564260B (zh) 一种触摸终端远程控制方法及系统、触摸终端、存储介质
JP5504370B1 (ja) 動画をクライアント端末に表示させるサーバ及び方法
CN113893525A (zh) 云游戏运行方法、装置、电子设备及计算机可读介质
CN117793249A (zh) 一种视频彩铃xr应用方法及系统
JP2015036111A (ja) ゲームを提供するサーバ及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170928

R150 Certificate of patent or registration of utility model

Ref document number: 6219813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250