JP2017511511A - スクリーンコンテンツの伝送及びディスプレイ - Google Patents

スクリーンコンテンツの伝送及びディスプレイ Download PDF

Info

Publication number
JP2017511511A
JP2017511511A JP2016532120A JP2016532120A JP2017511511A JP 2017511511 A JP2017511511 A JP 2017511511A JP 2016532120 A JP2016532120 A JP 2016532120A JP 2016532120 A JP2016532120 A JP 2016532120A JP 2017511511 A JP2017511511 A JP 2017511511A
Authority
JP
Japan
Prior art keywords
web
point
screen
screen content
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016532120A
Other languages
English (en)
Other versions
JP6966675B2 (ja
Inventor
ユアン ジージュン
ユアン ジージュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2017511511A publication Critical patent/JP2017511511A/ja
Application granted granted Critical
Publication of JP6966675B2 publication Critical patent/JP6966675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1093In-session procedures by adding participants; by removing participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1094Inter-user-equipment sessions transfer or sharing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Abstract

投影端末及びディスプレイ端末は、ウェブに基づいたオペレーティングシステム(OS)によって提供されるポイントツーポイント通信リンクを確立するポイントツーポイント接続インタフェースを使用する。投影端末は、ウェブに基づいたOSによって提供されるスクリーンコンテンツにアクセスするためにスクリーン訪問インタフェースを使用して、リアルタイムでスクリーンコンテンツデータにスクリーンコンテンツを変換し、及び通信リンクを介してスクリーンコンテンツデータを伝送する。ディスプレイ端末は、スクリーンコンテンツデータを受け、及びウェブに基づいたOSによって提供されるコンテンツディスプレイ制御を使用してスクリーン上にスクリーンコンテンツデータをディスプレイする。本技術は、ウェブに基づいたOSを備えたスクリーン投影を実行し、スクリーン投影技術の使用法を拡大し、及び実行が容易である2台の装置を可能にする。

Description

関連特許出願の相互参照
この出願は、「Method and Apparatus for Transmitting and Displaying Screen Content Based on web−Based OS Operating Environment」の表題の2013年12月27日に出願のChinese Patent Application No.201310741237.0に対する外国優先権を請求し、これはその全体を参照文献として本明細書に援用する。
本開示は、スクリーン投影技術の分野に、より詳細にはウェブに基づいたオペレーティングシステム(OS)動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための方法に関する。スクリーンコンテンツは、イメージまたはビデオを含む。本開示は、またウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送するための実施例方法及びウェブに基づいたOS動作環境に基づいたスクリーンコンテンツをディスプレイするための対応する実施例方法を提供する。本開示は、またウェブに基づいたオペレーティングシステム(OS)動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例装置を提供する。
背景
スクリーンをもつ電子装置は、我々の日常生活及びビジネス環境において広く使用されている。異なるスクリーンを十分に活用するために、スクリーンコンテンツは、共有されることが多い。スクリーンコンテンツを共有するための一般的な方法は、スクリーン共有技術、スクリーンマッピング技術及びスクリーン投影技術を含む。スクリーン投影技術は、1つのディスプレイスクリーンに現在示されているコンテンツを、一定の方法または装置を介して別の1つまたは複数のディスプレイスクリーンに投影する技術をいう。スクリーン投影技術は、プロジェクタまたはスマート端末装置の分野において普及しており、及び使用されることが多い。スクリーン投影技術は、2つの方法を含む。第1の方法は、第1のスクリーンにおけるスクリーンコンテンツデータを第2のスクリーンに伝送するデータ通信方法である。第2の方法は、第2のスクリーンにて受信したスクリーンコンテンツデータをディスプレイすることである。2つのプロセスは、完全なスクリーン投影方法を形成する。本開示において、明快さのために、スクリーン投影は、スクリーンコンテンツ伝送及びディスプレイをいい、第1のプロセスは、スクリーンコンテンツ伝送をいい、及び第2のプロセスは、スクリーンコンテンツディスプレイをいう。
以前は、スクリーン投影は、スクリーンを共有する2台の装置を接続し、及びデータ線を使用してスクリーンコンテンツデータを伝送するために特別なデータ線を必要とした。ネットワークの開発に伴い、電子装置は、ネットワークのノードになる能力を一般に有する。したがって、ネットワークを使用して直接スクリーンコンテンツを共有することができるようになる。
既存の技術下では、ネットワークを使用してスクリーン投影を実行するための方法は、主にモバイル装置を介し、モバイル装置の同じローカルエリアネットワーク内にある特定の大スクリーン装置のスクリーンに、モバイル装置のスクリーンコンテンツをワイヤレスで投影する。たとえば、Apple(商標)装置(iPad(商標)、iPhone(商標)、iPod(商標)またはiMac(商標)など)は、WiFiを介してApple(商標)TVのスクリーンにそのスクリーンを投影する。Xiaomモバイル装置、iOS(商標)装置またはPCは、同じローカルエリアネットワーク内で接続されたXiaomi TVのスクリーンにそのスクリーンを投影するか、またはそのスクリーンをXiaomiボックスに投影し、及び次いでXiaomiボックスがXiaomi TVにスクリーンコンテンツデータを伝送する。
既存の技術の落とし穴は、装置間の接続には専門のソフトウェアのサポートを必要とし、及びしたがって、このような接続は、一般性を欠いている。たとえば、Appleモバイル装置(商標)からApple(商標)TVへのスクリーン投影は、特定のApple(商標)製品に限定され、及び専売のプロトコルに基づく。Xiaomiモバイル装置またはiOS(商標)モバイル装置からXiaomiボックスまたはXiaomi TVへのスクリーン投影は、専売のXiaomiソフトウェアをインストールする必要があり、及びAndroid(商標)またはiOS(商標)モバイル装置とXiaomiボックスとの間のスクリーン投影のみをサポートする。このようなスクリーン投影を実行するためには、専門のアプリケーションをダウンロードすること、及びインストールすることが必要である。このような専門のアプリケーションは、ダウンローディング後に購入及び精算がたいてい必要である。したがって、既存の技術は、使用するのに高い閾を有する。
この概要は、詳細な説明においてさらに後述する単純化された形態の概念の選択を導入するために提供される。この概要は、請求された主題の全ての重要な特徴または必須特徴を同定することを意図しないし、請求された主題の範囲を決定する際の補助として単独で使用されることは意図されない。用語「技術」は、たとえば上記状況により、及び本開示の全体にわたって認められるとおりの装置、システム、方法及び/またはコンピュータ実行可能命令をいい得る。
本開示は、既存のスクリーン投影技術の問題を解決するためにウェブに基づいたオペレーティングシステム(OS)作動環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例方法を提供する。
本開示は、以下の操作を含んでいてもよいウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例方法を提供する。
投影端末及びディスプレイ端末は、ウェブに基づいたOSによって提供されるポイントツーポイント接続インタフェースを使用してポイントツーポイント通信リンクを確立する。投影端末は、ウェブに基づいたOSによって提供されるスクリーン訪問インタフェースを使用してスクリーンコンテンツにアクセスし、スクリーンコンテンツをリアルタイムでスクリーンコンテンツデータに変換し、及び通信リンクを介してスクリーンコンテンツデータを伝送する。
ディスプレイ端末は、スクリーンコンテンツデータを受け、及びウェブに基づいたOSによって提供されるコンテンツディスプレイ制御を使用してスクリーン上にスクリーンコンテンツデータをディスプレイする。
任意に、投影端末とディスプレイ端末との間にポイントツーポイント通信リンクを確立する工程を実行する前に、実施例方法は、以下の操作を含んでいてもよい。投影端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、ユニフォームリソースロケータ(URL)を介してウェブサーバを訪問して、ウェブサーバからコンピュータ可読のコードまたは論理コードをロードし、及び投影端末の登録及び初期化に関するコンピュータ実行可能なコードを実行する。ディスプレイ端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、URLを介してウェブサーバを訪問して、ウェブサーバからコンピュータ可読のコードまたは論理コードをロードし、及びディスプレイ端末の登録及び初期化に関するコンピュータにより実行可能なコードを実行する。
任意に、投影端末及びディスプレイ端末は、ウェブサーバの連携を介して、これらのそれぞれの登録情報を介してポイントツーポイント通信リンクを確立する。
任意に、ウェブに基づいたOS動作環境は、ウェブリアルタイム通信(WebRTC)アプリケーションでのハイパーテキストマークアップランゲージ(HTML)5作動環境である。
任意に、ウェブに基づいたOSを使用する投影端末及びディスプレイ端末によって提供されるポイントツーポイントインタフェースを介して確立されるポイントツーポイント通信リンクは、RTCPeerConnectionインタフェースを介して確立される。
任意に、ウェブに基づいたOSによって提供され、及びスクリーンコンテンツにアクセスするために投影端末によって使用されるスクリーン訪問インタフェースは、WebRTCのMediaStreamインタフェースを介して実行される。
任意に、ディスプレイ端末によって使用されるコンテンツディスプレイ制御は、HTML5のビデオ制御である。
任意に、スクリーン上にスクリーンコンテンツデータディスプレイするためにウェブに基づいたOSによって提供されるディスプレイ端末がスクリーンコンテンツデータを受け、及びコンテンツディスプレイ制御を使用する前に、実施例方法は、以下の操作をさらに含んでいてもよい。
ディスプレイ端末に内蔵されたウェブに基づいたOS動作環境は、1つの解像度を選択してスクリーンコンテンツデータをディスプレイする。解像度は、ディスプレイ端末のスクリーン解像度、投影端末などの送信端末のスクリーン解像度または自ら定義したスクリーン解像度を含んでいてもよい。
任意に、投影端末及びディスプレイ端末がウェブに基づいたOSによって提供されるポイントツーポイント接続インタフェースを使用してポイントツーポイント通信リンクを確立する工程において、通信リンクは、以下の少なくとも1つを含んでいてもよい:ローカルエリアネットワーク(LAN)に有線通信リンク、LANにおいてWiFiまたはBluetoothを介して確立されるワイヤレス通信リンク及びインターネットを介して確立される遠隔ポイントツーポイント通信リンク。
本開示は、ウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送するための実施例方法をまた提供し、これは以下の操作を含んでいてもよい。
ポイントツーポイント通信リンクは、ウェブに基づいたOSによって提供されるポイントツーポイント接続インタフェースを介してディスプレイ端末と確立される。ウェブに基づいたOSによって提供されるスクリーン訪問インタフェースを使用してスクリーンコンテンツにアクセスして、リアルタイムでスクリーンコンテンツデータにスクリーンコンテンツを変換し、及び通信リンクを介してディスプレイ端末にスクリーンコンテンツデータを伝送する。
任意に、ディスプレイ端末とポイントツーポイント通信リンクを確立する工程を実行する前に、実施例方法は、以下の操作を含んでいてもよい。最初に内蔵されたウェブに基づいたOS動作環境は、ユニフォームリソースロケータ(URL)を介してウェブサーバを訪問して、ウェブサーバからコンピュータ可読のコードまたは論理コードをロードして、投影端末の初期化に関するコンピュータにより実行可能なコードを実行し、及びウェブサーバでの登録を完了する。
任意に、ウェブサーバでの登録は、以下の操作を含んでいてもよい。初期化を完了するウェブに基づいたOS動作環境を介して、装置の登録に関連した情報が得られ、及びウェブサーバにアップロードされ登録を完了する。
任意に、ウェブに基づいたOSによって提供されるポイントツーポイント通信インタフェースを介してディスプレイ端末とポイントツーポイント通信リンクを確立する工程は、以下の操作を含んでいてもよい。内蔵ウェブに基づいたOS動作環境は、新たなRTCPeerConnectionインタフェースを定義し、及びRTCPeerConnectionインタフェースの初期化を完了する。内蔵ウェブに基づいたOS動作環境は、ポイントツーポイント接続要求メッセージをディスプレイ端末に送信する。ディスプレイ端末からの応答メッセージを受信した後、RTCPeerConnectionインタフェースに関するコンピュータにより実行可能なコードを実行してディスプレイ端末とポイントツーポイント通信リンクを確立する。
任意に、スクリーンコンテンツデータを読み込み、及び送信するための方法は、以下の操作を含んでいてもよい。内蔵ウェブに基づいたOS動作環境は、新たなMediaStreamインタフェースを定義し、及び初期化し、及びMediaStreamインタフェースを使用して現在のスクリーンのスクリーンコンテンツデータを読み込む。内蔵ウェブに基づいたOS動作環境は、WebRTCを実行し、及び得られた現在のスクリーンのスクリーンコンテンツデータをRTCPeerConnectionインタフェースに追加する。RTCPeerConnectionインタフェースは、ポイントツーポイント通信リンクを介してスクリーンコンテンツデータをディスプレイ端末に送信するために提供される。
本開示は、ウェブに基づいたOS動作環境に基づいたスクリーンコンテンツをディスプレイするための実施例方法をまた提供し、これは以下の操作を含んでいてもよい。
ポイントツーポイント通信リンクは、ウェブに基づいたOSによって提供されるポイントツーポイント接続インタフェースを介してディスプレイ端末と確立される。受信スクリーンコンテンツデータは、ウェブに基づいたOSによって提供されるコンテンツディスプレイ制御を使用することによってスクリーン上に示される。
任意に、投影端末とポイントツーポイント通信リンクを確立する工程を実行する前に、実施例方法は、以下の操作を含んでいてもよい。最初に内蔵されたウェブに基づいたOS動作環境は、ユニフォームリソースロケータ(URL)を介してウェブサーバを訪問して、ウェブサーバからコンピュータ可読のコードまたは論理コードをロードして、ディスプレイ端末の初期化に関するコンピュータにより実行可能なコードを実行し、及びウェブサーバにて登録を完了する。
任意に、ウェブサーバにおける登録は、以下の操作を含んでいてもよい。初期化を完了するウェブに基づいたOS動作環境を介して、装置の登録に関連した情報が得られ、及びウェブサーバにアップロードされ登録を完了する。
任意に、ウェブに基づいたOSによって提供されるポイントツーポイント通信インタフェースを介して投影端末とポイントツーポイント通信リンクを確立する工程は、以下の操作を含んでいてもよい。内蔵ウェブに基づいたOS動作環境は、新たなRTCPeerConnectionインタフェースを定義し、及びRTCPeerConnectionインタフェースの初期化を完了する。内蔵ウェブに基づいたOS動作環境は、投影端末からポイントツーポイント接続要求メッセージを受けて、投影端末に応答メッセージを返し、及び次いで、RTCPeerConnectionインタフェースに関するコンピュータにより実行可能なコードを実行して投影端末とポイントツーポイント通信リンクを確立する。
任意に、ウェブに基づいたOSによって提供されるコンテンツディスプレイ制御を使用することによってスクリーン上へ受信スクリーンコンテンツデータをディスプレイする工程は、以下の操作を含んでいてもよい。内蔵ウェブに基づいたOS動作環境は、新たなビデオ制御を定義し、及び初期化する。RTCPeerConnectionインタフェースから受けたスクリーンコンテンツデータは、ビデオ制御を介して得られる。内蔵ウェブに基づいたOS操作環境は、1つの解像度を選択する。解像度は、ディスプレイ端末のスクリーン解像度、投影端末などの送信端末のスクリーン解像度または自ら定義したスクリーン解像度を含んでいてもよい。ビデオ制御は、選択されたスクリーン解像度に従ってディスプレイ端末のスクリーン上へスクリーンコンテンツデータをディスプレイする。
本開示は、またウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例装置を提供する。装置は、通信リンク確立ユニット、スクリーンコンテンツデータ変換ユニット及びスクリーンコンテンツデータディスプレイユニットを含んでいてもよい。
通信リンク確立ユニットは、投影端末とディスプレイ端末との間のウェブに基づいたOSによって提供されるポイントツーポイント通信インタフェースを介してポイントツーポイント通信リンクを確立する。
スクリーンコンテンツデータ変換ユニットは、投影端末がスクリーンコンテンツにアクセスするためにウェブに基づいたOSによって提供されるスクリーン訪問インタフェースを使用するときに、スクリーンコンテンツをリアルタイムでスクリーンコンテンツデータに変換し、及びポイントツーポイント通信リンクを介してスクリーンコンテンツデータを送信する。
スクリーンコンテンツディスプレイユニットは、ディスプレイ端末がスクリーンコンテンツデータを受けるときに、ウェブに基づいたOSによって提供されるコンテンツディスプレイ制御を使用してスクリーン上にスクリーンコンテンツデータをディスプレイする。
任意に、装置は、登録初期化ユニットをさらに含んでいてもよい。登録初期化するユニットは、サーバ接続サブユニット及び登録初期化サブユニットを含んでいてもよい。
サーバ接続サブユニットは、内蔵されたウェブに基づいたOS動作環境を介して、それぞれディスプレイ端末またはプロジェクト端末とウェブサーバとの間に接続を確立する。
登録初期化サブユニットは、投影端末またはディスプレイ端末がそれぞれ内蔵されたこれらウェブに基づいたOSを使用することによってURLを介してウェブサーバを訪問するときに、それぞれウェブサーバから投影端末またはディスプレイ端末の登録及び初期化のための必要とされるコンピュータ可読のコードまたは論理コードをロードし、及び登録及び初期化に関するコンピュータにより実行可能なコードを実行する。
任意に、装置は、ディスプレイ端末に内蔵されたウェブに基づいたOS動作環境下でスクリーンコンテンツデータをディスプレイするための1つの解像度を選択するスクリーン解像度選択ユニットをさらに含んでいてもよい。解像度は、ディスプレイ端末のスクリーン解像度、投影端末などの送信端末のスクリーン解像度または自ら定義したスクリーン解像度を含んでいてもよい。
本技術は、少なくとも以下の技術的利点を有する。本技術は、広く適用されてもよい。本技術は、任意の専用の支援ソフトウェアに依存することなく一般に内蔵されたウェブに基づいたOS動作環境に基づき、本技術は、一般性を有し、及び種々のタイプの電子装置の間でスクリーン投影を実行してもよい。加えて、本技術は、適用の閾を有意に低下させる。本技術は、専用のサポートソフトウェアをインストールすることなく種々のタイプの電子装置の間でスクリーン投影を実行し、スクリーン投影装置に対する閾を著しく低くし、その結果装置の大多数が本技術を使用してスクリーン投影を実行し得る。本技術は、任意の専用の支サポートソフトウェアを必要とせず、本技術は、また一般的な使用者に対する閾を有意に低下させ、その結果より多くの使用者が本技術を使用し得る。
その上、本技術下で、スクリーン投影するための装置は、LANまたはインターネットにおける有線または無線接続を介して接続してもよく、これにより、スクリーン投影の投影範囲及びスクリーン投影技術の使用範囲を増加させる。本技術は、また特定の投影装置を購入すること、または専用のソフトウェアをインストールすることを必要とせず、及びしたがって、低い実行コストを有する。
本開示の第1の実施例実施形態に従ったウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例システムの線図である。 本開示の第1の実施例実施形態に従ったウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例方法のフローチャートである。 本開示の第2の実施例実施形態に従った投影端末にてスクリーンコンテンツを伝送するための実施例方法のフローチャートである。 本開示の第3の実施例実施形態に従ったディスプレイ端末にてスクリーンコンテンツをディスプレイするための実施例方法のフローチャートである。 本開示の第4の実施例実施形態に従ったウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例装置の線図である。
以下の記述は、多くの具体的な詳細を提供して、本開示を理解するのを補助する。しかし、本開示は、本明細書において記述したもの以外の多くの方法で実行してもよい。当業者は、本開示を侵害することなく類似の変形例を行ってもよい。したがって、本開示は、本明細書における記述によって限定されない。
図1は、本開示の第1の実施例実施形態に従ったウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例システムの線図である。
本開示は、ウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例方法を提供し、これは以下の操作を含んでいてもよい。
投影端末102及びディスプレイ端末104は、ウェブに基づいたOS106によって提供されるポイントツーポイント接続インタフェースを使用してウェブサーバ108の連絡を経てポイントツーポイント通信リンクを確立する。投影端末102は、ウェブに基づいたOS動作環境106によって提供されるスクリーン訪問インタフェースを使用してスクリーンコンテンツにアクセスし、通信リンクを介してスクリーンコンテンツデータをディスプレイ端末104に送信する。ディスプレイ端末104は、スクリーンコンテンツデータを受けて、ウェブに基づいたOS動作環境106によって提供されるコンテンツディスプレイ制御を使用してスクリーン解像度を選択し、及びディスプレイ端末104のスクリーン上にスクリーンコンテンツデータをディスプレイする。
ウェブサーバ108は、インターネット上の一定のタイプのコンピュータに属するコンピュータプログラムを含むことに留意すべきである。プログラムは、ドキュメンテーションを、要求を送信するブラウザに提供して、及びWWW、Email及びFTPなどの種々のインターネットサービスをウェブブラウザ(クライアント)に提供し得る。ウェブサーバは、インターネット上のもう一つのコンピュータで実行するウェブブラウザ(クライアント)が要求を送信するときに、ウェブサーバが反応するだろう受動的なプログラムである。ウェブブラウザ(クライアント)がウェブサーバ108につながり、及びファイルを要求するとき、ウェブサーバ108は、要求を処理し、及びファイルを見る方法をウェブブラウザ(クライアント)に知らせる添付情報(すなわち、ファイル種別)と共にウェブブラウザ(クライアント)にファイルを返すだろう。
さらに、投影端末102及びディスプレイ端末104は、ウェブサーバ108と接続を確立するために上記のウェブブラウザ(クライアント)を有する。この実施例実施形態において、ウェブブラウザ(クライアント)は、投影端末102及びディスプレイ端末104に内蔵されたウェブに基づいたOS動作環境106である。ウェブに基づいたOS動作環境106は、ウェブにてコンピュータにより実行可能なコードを実施し、及び実行することに基づいたオペレーティングシステムである。ウェブに基づいたOSは、多様な実施形態を有する。1つの可能な技術計画は、HTML5技術に基づいて開発されており、及びこのようなウェブに基づいたOS動作環境は、HTML5特徴、特にWebRTC技術などのリアルタイムオーディオまたはビデオ通信のためのウェブブラウザをサポートするHTML5における技術をサポートする。
図2は、本開示の第1の実施例実施形態に従ったウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例方法のフローチャートである。
202にて、投影端末及びディスプレイ端末は、これらの内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバとの接続を確立して、ウェブサーバを訪問して初期化のためのコードを得て、及び初期化のためのコードを実行する。
ウェブサーバとウェブブラウザ(クライアント)との間の情報通信は、ハイパーテキスト伝送プロトコル(HTTP)を介して行われることに留意すべきである。ウェブサーバにアクセスして情報を得るために、ウェブブラウザ(クライアント)は、ウェブサーバとのHTTP接続を確立する。この実施例実施形態において、投影端末またはディスプレイ端末に内蔵されたウェブに基づいたOS動作環境とウェブサーバとの間のHTTP接続の確立は、以下の操作を含んでいてもよい。
(1)投影端末及びディスプレイ端末は、ダイヤル呼出しなど、これらのそれぞれのアクセスルータと物理的な接続を確立する。物理的な接続は、ケーブルコネクタなどの有線接続またはWiFiまたはBluetoothなどのワイヤレス接続を含んでいてもよい;
(2)投影端末及びディスプレイ端末は、内蔵されたオリジナルのウェブに基づいたOS動作環境を介してこれらのそれぞれのIPアドレスを得る。
(3)投影端末及びディスプレイ端末は、これらのそれぞれの内蔵されたオリジナルのウェブに基づいたOS動作環境を介してルータとデータリンクを確立する。
(4)投影端末及びディスプレイ端末は、内蔵されたオリジナルのウェブに基づいたOS動作環境を介して、ウェブサーバのIPアドレスを得る。
(5)投影端末及びディスプレイ端末は、これらのそれぞれの内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバとTCP接続を確立する。
(6)投影端末及びディスプレイ端末は、これらのそれぞれの内蔵されたオリジナルのウェブに基づいたOS動作環境を介して、ウェブサーバとHTTP接続を確立する。この工程が完了された後、投影端末及びディスプレイ端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、ウェブサーバとアクセスし、及び情報を交換してもよい。
投影端末またはディスプレイ端末とウェブサーバとの間の接続が確立された後、投影端末またはディスプレイ端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、ウェブサーバを訪問して、ウェブサーバから初期化のためのコンピュータ可読のコードをロードし、及び初期化のためのコンピュータにより実行可能なコードを実行して初期化を完了し、これは以下の操作を含んでいてもよい。
投影端末及びディスプレイ端末は、アクセス要求メッセージをウェブサーバに送信する。ウェブサーバは、アクセス要求メッセージを受け、及びアクセスに同意するメッセージを返す。投影端末及びディスプレイ端末がアクセスに同意するメッセージを受けた後、投影端末及びディスプレイ端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、URLを介してウェブサーバにアクセスし、及びウェブサーバから初期化のためのコンピュータ可読のコードまたは論理コードをロードする。ウェブに基づいたOS動作環境は、初期化のためのコンピュータ可読のものをロードした後、初期化のためのコンピュータにより実行可能なコードを実行し、及びそれぞれ投影端末及びディスプレイ端末のための初期化を完了する。初期化の後、投影端末は、ウェブに基づいたOS動作環境を完了して、スクリーン投影を実行し、及びディスプレイ端末は、またウェブに基づいたOS動作環境を完了してスクリーン上へ受信したスクリーンコンテンツデータをディスプレイする。
投影端末及びディスプレイ端末にて内蔵されたオリジナルのウェブに基づいたOS動作環境は、異なる装置にて異なってもよいことに留意すべきである。いくつかの投影端末または装置は、完全なオリジナルのウェブに基づいたOS動作環境にすでに内蔵されてもよく、及びスクリーン投影を直接実行してもよい。あるいは、いくつかのディスプレイ端末または装置は、完全なオリジナルのウェブに基づいたOS動作環境にすでに内蔵されてもよく、及びスクリーンコンテンツデータを受けるときに、スクリーン上へスクリーンコンテンツデータを直接ディスプレイしてもよい。
しかし、いくつかの装置は、単に基本ネットワーク接続機能を有するが、いくつかの複雑な機能を有しないオリジナルのウェブに基づいたOS動作環境を有してもよく、これはウェブサーバにアクセスを介して得てもよい。上記の記述は、上記の投影端末及びディスプレイ端末がオリジナルのウェブに基づいたOS動作環境を有するだけであると仮定する。上記の初期化は、オリジナルのウェブに基づいたOS動作環境に基づいた完全なウェブに基づいたOS動作環境を有するプロセスである。この実施例実施形態において、ウェブに基づいたOS動作環境は、HTML5動作環境である。この動作環境は、WebRTCアーキテクチャ構成をサポートすることを必要とする。WebRTCは、ウェブリアルタイム通史委の頭字語であり、またはリアルタイムウェブページ通信と呼ばれて得る。
WebRTCアーキテクチャ構成は、ウェブブラウザ間のリアルタイムオーディオまたはビデオ通信をサポートする。
204にて、投影端末及びディスプレイ端末は、それぞれこれらの内蔵ウェブに基づいたOS動作環境を介して登録情報をウェブサーバに送信する。
投影端末及びディスプレイ端末が完全なHTML5環境を有する後、投影端末及びディスプレイ端末は、より多くの機能を達成し得る。登録の目的は、ウェブサーバの連携を介して投影端末とディスプレイ端末との間に通信リンクを確立することである。実施例登録プロセスは、以下の通りである。
最初の工程にて、それぞれ、投影端末及びディスプレイ端末は、それ自体の装置情報を得る。装置情報は、装置のIPアドレス、装置同定及びスクリーン解像度を含んでいてもよい。
第2の工程にて、投影端末及びディスプレイ端末は、それぞれの内蔵されたウェブに基づいたOS動作環境を介してウェブサーバにこれらのそれ自体の装置情報を送信して登録を完了する。
206にて、投影端末は、内蔵ウェブに基づいたOS動作環境によって提供されるRTCPeerConnectionインタフェースに関連したコードを実行し、及びディスプレイ端末の情報のためのコードを構成する。
RTCPeerConnectionインタフェースは、WebRTCアーキテクチャ構成によって提供される第三の開発者のための標準的なアプリケーションプログラミングインタフェース(API)である。APIは、使用者が2つの実行しているブラウザ間の直接通信関係を確立することを可能にする。
投影端末が内蔵されたウェブに基づいたOS動作環境を使用してRTCPeerConnectionインタフェースに関連したコードを実行し、及びディスプレイ端末の情報のためのコードを構成する実施例実行方法は、以下の通りでもよい。
// Establish a connection based on ICE
var peer = new RTCPeerConnection (iceServers, optionalArgument);
// Configure a media data stream
peer.onaddstream = function (event) {
config.onaddstream (event.stream, config.to);
// Configure information of a receiving terminal at the projecting terminal
peer.createOffer (function (sdp) {
peer.setLocalDescription (sdp);
RTCPeerConnectionインタフェースに関連したコード及びディスプレイ端末に関連した情報の配置のためのコードは、投影端末とディスプレイ端末との間にポイントツーポイントリンクを確立するための方法に対応するコードをいうことに留意すべきである。加えて、本明細書において記述したコードの類似のコードまたは代わりのコードを、同じ機能(すなわち、ディスプレイ端末と投影端末との間にポイントツーポイント通信リンクを確立すること)を実行するために使用してもよい。本開示は、任意の制限を課さない。
加えて、RTCPeerConnectionオブジェクトは、2つのブラウザの間の直通通信を可能にすることに留意すべきである。通信は、シグナルパスを介して連繋される。同時に、この接続は、またオーディオ及びディスプレイデータを移すために使用してもよい。実用的な適用において、RTCPeerConnectionインタフェースがポイントツーポイント通信リンクを確立してスクリーンコンテンツデータを伝送するために使用されるときに、ネットワーク帯域幅の要求は、相対的に高い。たとえば、投影端末及びディスプレイ端末は、同じLANにあってもよい。投影端末及びディスプレイ端末は、有線接続またはWiFi接続を介して同じルータに接続する。加えて、スクリーン投影イメージ品質及びリアルタイム効率の最も優れた程度に達するためには、クラウドOSプラットホームの実行が最善の効果を有し得る。スクリーン投影イメージ品質及びリアルタイム効率を保証することに基づいて、本技術は、またその他の接続を使用してもよい。本開示は、任意の制限を課さない。
208にて、ディスプレイ端末は、内蔵ウェブに基づいたOS動作環境によって提供されるRTCPeerConnectionインタフェースに関連したコードを実行し、及び投影端末の情報のためのコードを構成する。
工程206に対応して、ディスプレイ端末が内蔵されたウェブに基づいたOS動作環境を使用してRTCPeerConnectionインタフェースに関連したコードを実行し、及び投影端末の情報のためのコードを構成する実施例実行プロセスは、以下の通りでもよい。
// Establish a connection based on ICE
var peer = new RTCPeerConnection (iceServers, optionalArgument);
// // Configure a media data stream
peer.onaddstream = function (event) {
config.onaddstream (event.stream, config.to);
};
// Configure information of the projecting terminal at the displaying terminal
peer.setRemoteDescription (new RTCSessionDescription (config.sdp));
peer.createAnswer (function (sdp) {
peer.setLocalDescription (sdp);
RTCPeerConnectionインタフェースに関連したコード及び受信端末に関連した情報の配置のためのコードは、投影端末とディスプレイ端末との間にポイントツーポイント通信リンクを確立するための方法に対応するコードをいうことに留意すべきである。加えて、本明細書において記述したコードの類似のコードまたは代わりのコードを、同じ機能(すなわち、ディスプレイ端末と投影端末との間にポイントツーポイント通信リンクを確立すること)を実行するために使用してもよい。本開示は、任意の制限を課さない。
上記の工程206及び208の実行の後、投影端末とディスプレイ端末との間のポイントツーポイント通信リンクの確立が完了される。
210にて;投影端末は、ウェブに基づいたOSによって提供されるMediaStream訪問インタフェースを使用して投影端末のスクリーンにアクセスし、及び上記の工程を介して確立されたポイントツーポイント通信リンクを介してディスプレイ端末に得られたスクリーンコンテンツデータを送信する。実施例プロセスは、以下の通りである。
(1)投影端末は、内蔵ウェブに基づいたOSによって提供されるMediaStream訪問インタフェースを使用して投影端末の現在のスクリーンコンテンツデータを検索する。
投影端末にて現在のスクリーンコンテンツデータを検索する投影端末のための実施例方法は、以下の通りである:
var constraints = {
audio: false,
video: screen_constraints
};
navigator.getUserMedia (constraints, onstream, onerror);
MediaStreamインタフェースが投影端末にて現在のスクリーンコンテンツデータを検索した後、これが工程206及び208にて確立されたポイントツーポイント通信リンクを介してディスプレイ端末にスクリーンコンテンツデータを送信する。
MediaStreamインタフェースを使用して遠隔ノードに伝送するデータストリームを送信して、または遠隔ノードからデータストリームを受けることに留意するべきである。さらに、MediaStreamインタフェースは、スクリーンコンテンツデータを検索するための実施例方法として使用される。いくつかのその他のインタフェースまたは方法を、スクリーンコンテンツデータを得るために使用してもよい。本開示は、任意の制限を課さない。
(2)スクリーンコンテンツデータは、HTML5によってサポートされるオーディオ及びビデオストリームに変換される。この実施例実施形態において、スクリーンコンテンツデータは、内蔵ウェブに基づいたOS動作環境によってサポートされるオーディオ及びビデオストリームに変換される。
Hypertext Markup Language(HTML)5は、OGGフォーマット、WEBMフォーマット及びMP4フォーマットを含むが、限定されないフォーマットにおけるオーディオ及びビデオストリームをサポートすることに留意すべきである。スクリーンイメージデータがオーディオ信号である場合、それはOGGフォーマットに変換してもよい。スクリーンコンテンツデータがビデオ信号である場合、それはWEBMまたはMP4フォーマットに変換してもよい。IE(商標)ブラウザなどのいくつかのブラウザは、WEBMフォーマットをサポートしないが、MP4フォーマットは、両方のオーディオ及びビデオ信号をサポートするので、MP4フォーマットは、いくつかの実施例における最適であり得る。
Firefox、インターネットエクスプローラ(IE)、Googleブラウザ、Maxthonブラウザ、ブラウザ360及びTencentブラウザを含む現在の主要なブラウザは、標準的なHTML5をすべてサポートし、及びしたがって、HTML5によってサポートされるオーディオ及びビデオストリームディスプレイすることをサポートする点にさらに留意されるべきである。
(3)MediaStreamインタフェースは、工程208にて記述したRTCPeerConnectionインタフェースによって呼ばれる。すなわち、MediaStreamインタフェースは、スクリーンコンテンツデータから変換されたオーディオ及びビデオストリームを得て、次いでこれはRTCPeerConnectionインタフェースを介してディスプレイ端末に送信される。
212にて、ディスプレイ端末が投影端末から送られるスクリーンコンテンツデータを受けた後、ディスプレイ端末は、ディスプレイ端末にて内蔵されたウェブに基づいたOS動作環境を介して適切なスクリーン解像度を選択する。
ディスプレイ端末がRTCPeerConnectionインタフェースを介して投影端末からスクリーンコンテンツデータを受けた後、ディスプレイ端末にて内蔵されたウェブに基づいたOS動作環境は、ディスプレイ端末にて使用されるスクリーン解像度選択を選択する。解像度は、ディスプレイ端末のスクリーン解像度、投影端末などの送信端末のスクリーン解像度または自ら定義したスクリーン解像度を含んでいてもよい。解像度が選択された後、次の操作が実行される。
214にて、ディスプレイ端末は、ウェブに基づいたOSによって提供されるビデオ制御を使用してディスプレイ端末の現在のスクリーン上にスクリーンコンテンツデータをディスプレイする。
ディスプレイ端末は、ウェブに基づいたOSによって提供されるHTML5ビデオ制御を使用してスクリーン上にオーディオ及びビデオストリームをディスプレイする。実施例コード実行プロセスは、以下の通りである:
var video = document.createElement (’video’);
video.id = ’self’;
video [? isFirefox ’mozSrcObject’: ’src’] = isFirefox stream: window.webkitURL.createObjectURL (stream);?
video.autoplay = true;
video.controls = true;
ビデオ制御は、本開示の現在のスクリーン上に受信したスクリーンコンテンツデータをディスプレイするための実施例方法であることに留意すべきである。その他の制御または方法を、スクリーンコンテンツデータをディスプレイするために使用してもよい。本開示は、任意の制限を課さない。
実施例実施形態において使用した具体的コード及び環境は、これらが2つのブラウザの間に通信を介してスクリーンコンテンツデータの伝送及びディスプレイを実行し得る限り、技術の開発と共に変化してもよい。
本開示は、また本開示の第2の実施例実施形態におけるウェブに基づいたOS動作環境に基づいたスクリーンコンテンツデータを伝送するための実施例方法を提供する。
図3は、本開示の第2の実施例実施形態に従った投影端末にてスクリーンコンテンツを伝送するための実施例方法のフローチャートである。
302にて、投影端末は、その内蔵されたウェブに基づいたOSオリジナルの動作環境を介してウェブサーバと接続を確立する。
ウェブサーバは、インターネット上の一定のタイプのコンピュータに属するコンピュータプログラムを含むことに留意すべきである。プログラムは、ドキュメンテーションを、要求を送信するブラウザに提供して、及びWWW、Email及びFTPなどの種々のインターネットサービスをウェブブラウザ(クライアント)に提供し得る。ウェブサーバは、インターネット上のもう一つのコンピュータで実行するウェブブラウザ(クライアント)が要求を送信するときに、ウェブサーバが反応するだろう受動的なプログラムである。ウェブブラウザ(クライアント)がウェブサーバにつながり、及びファイルを要求するとき、ウェブサーバ108は、要求を処理し、及びファイルを見る方法をウェブブラウザ(クライアント)に知らせる添付情報(すなわち、ファイル種別)と共にウェブブラウザ(クライアント)にファイルを返すだろう。
さらに、投影端末及びディスプレイ端末は、ウェブサーバと接続を確立するために上記のウェブブラウザ(クライアント)を有する。この実施例実施形態において、ウェブブラウザ(クライアント)は、投影端末及びディスプレイ端末に内蔵されたウェブに基づいたOS動作環境である。ウェブに基づいたOS動作環境は、ウェブにてコンピュータにより実行可能なコードを実施し、及び実行することに基づいたオペレーティングシステムである。ウェブに基づいたOSは、多様な実施形態を有する。1つの可能な技術計画は、HTML5技術に基づいて開発されており、及びこのようなウェブに基づいたOS動作環境は、HTML5特徴、特にWebRTC技術などのリアルタイムオーディオまたはビデオ通信のためのウェブブラウザをサポートするHTML5における技術をサポートする。
その上、ウェブサーバとウェブブラウザ(クライアント)との間の情報通信は、HTTPを介して行われてもよい。ウェブサーバにアクセスして情報を得るために、ウェブブラウザ(クライアント)は、ウェブサーバとのHTTP接続を確立することを必要とする。この実施例実施形態において、投影端末に内蔵されたウェブに基づいたOS動作環境とウェブサーバとの間のHTTP接続の確立は、以下の操作を含んでいてもよい。
(1)投影端末は、ダイヤル呼出しを介して確立され得るアクセスルータと物理的な接続を確立する。物理的な接続は、ケーブルコネクタなどの有線接続またはWiFiまたはBluetoothなどのワイヤレス接続を含んでいてもよい;
(2)投影端末は、内蔵されたオリジナルのウェブに基づいたOS動作環境を介してそのIPアドレスを得る。
(3)投影端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介してルータとデータリンクを確立する。
(4)投影端末は、内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバのIPアドレスを得る。
(5)投影端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバとTCP接続を確立する。
(6)投影端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバとHTTP接続を確立する。この工程が完了された後、投影端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、ウェブサーバとアクセスし、及び情報を交換してもよい。
304にて、投影端末は、内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバにアクセスして、ウェブサーバから初期化のためのコンピュータにより実行可能なコードをロードし、及び初期化のためのコンピュータにより実行可能なコードを実行する。
投影端末での内蔵されたオリジナルのウェブに基づいたOS動作環境は、異なる装置にて異なってもよい。いくつかの投影端末または装置は、完全なオリジナルのウェブに基づいたOS動作環境にすでに内蔵されてもよく、及びスクリーン投影を直接実行してもよい。しかし、いくつかの装置は、単に基本ネットワーク接続機能を有するが、いくつかの複雑な機能を有しないオリジナルのウェブに基づいたOS動作環境を有してもよく、これはウェブサーバにアクセスを介して得てもよい。上記の記述は、投影端末がオリジナルのウェブに基づいたOS動作環境を有するだけであると仮定する。
最初に、投影端末は、アクセス要求メッセージをウェブサーバに送信する。ウェブサーバは、アクセス要求メッセージを受け、及び投影端末にアクセスに同意するメッセージを返す。投影端末がアクセスに同意するメッセージを受けた後、投影端末は、投影端末に内蔵されたオリジナルのウェブに基づいたOS動作環境を使用することによってURLを介してウェブサーバにアクセスし、及びウェブサーバから初期化のためのコンピュータ可読のコードまたは論理コードをロードする。投影端末は、初期化のためのコンピュータ可読のものをロードした後、初期化のためのコンピュータにより実行可能なコードを実行し、及び投影端末のために初期化を完了する。初期化の後、投影端末は、ウェブに基づいたOS動作環境を完了して、スクリーン投影を実行する。
投影端末及びディスプレイ端末は、アクセス要求メッセージをウェブサーバに送信する。ウェブサーバは、アクセス要求メッセージを受け、及びアクセスに同意するメッセージを返す。投影端末及びディスプレイ端末がアクセスに同意するメッセージを受けた後、投影端末及びディスプレイ端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、URLを介してウェブサーバにアクセスし、及びウェブサーバから初期化のためのコンピュータ可読のコードまたは論理コードをロードする。ウェブに基づいたOS動作環境は、初期化のためのコンピュータ可読のものをロードした後、初期化のためのコンピュータにより実行可能なコードを実行し、及びそれぞれ投影端末及びディスプレイ端末のための初期化を完了する。初期化の後、投影端末は、ウェブに基づいたOS動作環境を完了して、スクリーン投影を実行し、及びディスプレイ端末は、またウェブに基づいたOS動作環境を完了してスクリーン上へ受信したスクリーンコンテンツデータをディスプレイする。
306にて、投影端末は、内蔵されたウェブに基づいたOS動作環境を介して登録情報をウェブサーバに送信する。
投影端末が完全なHTML5環境を有する後、投影端末は、より多くの機能を達成し得る。登録の目的は、ウェブサーバの連携を介して投影端末とディスプレイ端末との間に通信リンクを確立することである。実施例登録プロセスは、以下の通りである。
最初の工程にて、投影端末は、それ自体の装置情報を得る。装置情報は、装置のIPアドレス、装置同定及びスクリーン解像度を含んでいてもよい。
第2の工程にて、投影端末は、内蔵されたウェブに基づいたOS動作環境を介してウェブサーバにその自体の装置情報を送信して登録を完了する。
308にて、投影端末は、ウェブに基づいたOSによって提供されるポイントツーポイントリンクインタフェースを介してディスプレイ端末と接続する。
たとえば、この工程において記述するポイントツーポイントリンクインタフェースは、RTCPeerConnectionでもよい。RTCPeerConnectionインタフェースは、WebRTCアーキテクチャ構成によって提供される第三者のデベロッパーのための標準的なAPIである。APIは、使用者が2つの実行しているブラウザ間の直接通信関係を確立することを可能にする。
投影端末が内蔵されたウェブに基づいたOS動作環境を使用してRTCPeerConnectionインタフェースに関連したコードを実行し、及びディスプレイ端末の情報のためのコードを構成する実施例実行プロセスは、以下の通りでもよい。
// Establish a connection based on ICE
var peer = new RTCPeerConnection (iceServers, optionalArgument);
// Configure a media data stream
peer.onaddstream = function (event) {
config.onaddstream (event.stream, config.to);
// Configure information of a receiving terminal at the projecting terminal
peer.createOffer (function (sdp) {
peer.setLocalDescription (sdp);
RTCPeerConnectionインタフェースに関連したコード及びディスプレイ端末に関連した情報の配置のためのコードは、投影端末とディスプレイ端末との間にポイントツーポイント通信リンクを確立するための方法に対応するコードをいうことに留意すべきである。加えて、本明細書において記述したコードの類似のコードまたは代わりのコードを、同じ機能(すなわち、投影端末とディスプレイ端末との間にポイントツーポイント通信リンクを確立すること)を実行するために使用してもよい。本開示は、任意の制限を課さない。
加えて、RTCPeerConnectionオブジェクトは、2つのブラウザの間の直通通信を可能にすることに留意すべきである。通信は、シグナルパスを介して連繋される。同時に、この接続は、またオーディオ及びディスプレイデータを移すために使用してもよい。実用的な適用において、RTCPeerConnectionインタフェースがポイントツーポイント通信リンクを確立してスクリーンコンテンツデータを伝送するために使用されるときに、ネットワーク帯域幅の要求は、相対的に高い。たとえば、投影端末及びディスプレイ端末は、同じLANにあってもよい。投影端末及びディスプレイ端末は、有線接続またはWiFi接続を介して同じルータに接続する。加えて、スクリーン投影イメージ品質及びリアルタイム効率の最も優れた程度に達するためには、クラウドOSプラットホームの実行が最善の効果を有し得る。スクリーン投影イメージ品質及びリアルタイム効率を保証することに基づいて、本技術は、またその他の接続を使用してもよい。本開示は、任意の制限を課さない。
310にて、投影端末は、ウェブに基づいたOSによって提供されるMediaStream訪問インタフェースを使用してスクリーンコンテンツデータを検索して、及びポイントツーポイント通信リンクを介してディスプレイ端末にスクリーンコンテンツデータを送信する
(1)投影端末は、内蔵ウェブに基づいたOSによって提供されるMediaStream訪問インタフェースを使用して投影端末の現在のスクリーンコンテンツデータを検索する。投影端末にて現在のスクリーンコンテンツデータを検索するための投影端末のための実施例プロセスは、以下の通りである:
内蔵ウェブに基づいたOSによって提供されるMediaStream訪問インタフェースを使用してスクリーンコンテンツデータを検索する実施例方法は、以下の通りである:
var constraints = {
audio: false,
video:screen_constraints
};
navigator.getUserMedia (constraints, onstream, onerror);
MediaStreamインタフェースが投影端末にて現在のスクリーンコンテンツデータを検索した後、これが工程308にて確立されたポイントツーポイント通信リンクを介してディスプレイ端末にスクリーンコンテンツデータを送信する。
MediaStreamインタフェースを使用して遠隔ノードに伝送するデータストリームを送信して、または遠隔ノードからデータストリームを受ける。MediaStreamインタフェースは、スクリーンコンテンツデータを検索するための実施例方法として使用されること留意するべきである。いくつかのその他のインタフェースまたは方法を、スクリーンコンテンツデータを得るために使用してもよい。本開示は、任意の制限を課さない。
(2)スクリーンコンテンツデータは、HTML5によってサポートされるオーディオ及びビデオストリームに変換される。この実施例実施形態において、スクリーンコンテンツデータは、内蔵ウェブに基づいたOS動作環境によってサポートされるオーディオ及びビデオストリームに変換される。
Hypertext Markup Language(HTML)5は、OGGフォーマット、WEBMフォーマット及びMP4フォーマットを含むが、限定されないフォーマットでオーディオ及びビデオストリームをサポートすることに留意すべきである。スクリーンイメージデータがオーディオ信号である場合、それはOGGフォーマットに変換してもよい。スクリーンコンテンツデータがビデオ信号である場合、それはWEBMまたはMP4フォーマットに変換してもよい。IE(商標)ブラウザなどのいくつかのブラウザは、WEBMフォーマットをサポートしないが、MP4フォーマットは、両方のオーディオ及びビデオ信号をサポートするので、MP4フォーマットは、いくつかの実施例における最適であり得る。
Firefox、インターネットエクスプローラ(IE)、Googleブラウザ、Maxthonブラウザ、ブラウザ360及びTencentブラウザを含む、現在の主要なブラウザは、標準的なHTML5をすべてサポートし、及びしたがって、HTML5によってサポートされるオーディオ及びビデオストリームディスプレイすることをサポートする点にさらに留意されるべきである。
(3)MediaStreamインタフェースは、工程208にて記述したRTCPeerConnectionインタフェースによって呼ばれる。すなわち、MediaStreamインタフェースは、スクリーンコンテンツデータから変換されたオーディオ及びビデオストリームを得て、次いでこれはRTCPeerConnectionインタフェースを介してディスプレイ端末に送信される。
上記の記述された具体的環境及びサポート状況は、ただの実施例である。技術の開発に伴い、環境及びサポート状況は、本開示における実態に影響してもよいが、これは影響を受けないであろう。
本開示は、また本開示の第3の実施例実施形態におけるウェブに基づいたOS動作環境に基づいたスクリーンコンテンツデータをディスプレイするための実施例方法を提供し、これは、第2の実施例実施形態におけるウェブに基づいたOS動作環境に基づいたスクリーンコンテンツデータを伝送してローカルブラウザにてスクリーンコンテンツデータをディスプレイするための実施例方法と組み合わせられる。
図4は、本開示の第3の実施例実施形態に従ったスクリーンコンテンツをディスプレイするための実施例方法のフローチャートである。
402にて、ディスプレイ端末は、その内蔵されたウェブに基づいたOSオリジナルの動作環境を介してウェブサーバと接続を確立する。
投影端末が302にてその内蔵されたウェブに基づいたOSオリジナルの動作環境を介してウェブサーバと接続を確立する実施例プロセスと同様に、ディスプレイ端末がウェブサーバとHTTP接続する実施例プロセスは、以下の通りである。
(1)ディスプレイ端末は、ダイヤル呼出しを介して確立され得るアクセスルータと物理的な接続を確立する。物理的な接続は、ケーブルコネクタなどの有線接続またはWiFiまたはBluetoothなどのワイヤレス接続を含んでいてもよい;
(2)ディスプレイ端末は、内蔵されたオリジナルのウェブに基づいたOS動作環境を介してそのIPアドレスを得る。
(3)ディスプレイ端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介してルータとデータリンクを確立する。
(4)ディスプレイ端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバのIPアドレスを得る。
(5)ディスプレイ端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバとTCP接続を確立する。
(6)ディスプレイ端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバとHTTP接続を確立する。この工程が完了された後、ディスプレイ端末に内蔵されたオリジナルのウェブに基づいたOS動作環境は、ウェブサーバとアクセスし、及び情報を交換してもよい。
404にて、ディスプレイ端末は、内蔵されたオリジナルのウェブに基づいたOS動作環境を介してウェブサーバにアクセスして、ウェブサーバから初期化のためのコンピュータにより実行可能なコードをロードし、及び初期化のためのコンピュータにより実行可能なコードを実行する。
ディスプレイ端末は、その内蔵されたオリジナルのウェブに基づいたOS動作環境を介して402にてウェブサーバと確立された接続を介してウェブサーバにアクセス要請を送信する。ウェブサーバは、アクセス要求メッセージを受けて、及びディスプレイ端末にアクセスに同意するメッセージを返す。
ディスプレイ端末がアクセスに同意するメッセージを受けた後、ディスプレイ端末は、ディスプレイ端末に内蔵されたオリジナルのウェブに基づいたOS動作環境を使用することによってURLを介してウェブサーバにアクセスし、及びウェブサーバから初期化のためのコンピュータ可読のコードまたは論理コードをロードする。ディスプレイ端末は、初期化のためのコンピュータ可読のものをロードした後、初期化のためのコンピュータにより実行可能なコードを実行し、及び投影端末のために初期化を完了する。初期化の後、ディスプレイ端末は、ウェブに基づいたOS動作環境を完了して、スクリーン投影を実行する。
406にて、ディスプレイ端末は、内蔵ウェブに基づいたOS動作環境を介して登録情報をウェブサーバに送信する。
実施例登録プロセスは、以下の通りである。最初の工程にて、投影端末は、その装置情報を得る。装置情報は、装置のIPアドレス、装置同定及びスクリーン解像度を含んでいてもよい。
第2の工程にて、ディスプレイ端末は、内蔵されたウェブに基づいたOS動作環境を介してその装置情報をウェブサーバに送信して登録を完了する。
408にて、ディスプレイ端末は、ウェブに基づいたOSによって提供されるポイントツーポイントリンクインターフェースを介して投影端末とポイントツーポイント通信リンクを確立する。
第2の実施例実施形態における工程308に対応して、たとえば、ディスプレイ端末は、以下の通りにウェブに基づいたOS動作環境によって提供されるRTCPeerConnectionインタフェースを介して投影端末と接続する。
// Establish a connection based on ICE
var peer = new RTCPeerConnection (iceServers, optionalArgument);
// Configure the media data stream
peer.onaddstream = function (event) {
config.onaddstream (event.stream, config.to);
// Configure information of the projecting terminal at the displaying terminal
peer.createOffer (function (sdp) {
peer.setLocalDescription (sdp);
RTCPeerConnectionインタフェースに関連したコード及びディスプレイ端末に関連した情報の配置のためのコードは、投影端末とディスプレイ端末との間にポイントツーポイントリンクを確立するための方法に対応するコードをいうことに留意すべきである。加えて、本明細書において記述したコードの類似のコードまたは代わりのコードを、同じ機能(すなわち、ディスプレイ端末と投影端末との間にポイントツーポイント通信リンクを確立すること)を実行するために使用してもよい。本開示は、任意の制限を課さない。
この工程408及び対応する工程308が完了された後、投影端末とディスプレイ端末との間のポイントツーポイント通信リンクが確立される。
410にて、ディスプレイ端末がRTCPeerConnectionインタフェースを介して投影端末からスクリーンコンテンツデータを受けた後、ディスプレイ端末は、ディスプレイ端末にて内蔵されたウェブに基づいたOS動作環境を介してスクリーンコンテンツデータをディスプレイするための解像度を選択する。解像度は、ディスプレイ端末のスクリーン解像度、投影端末などの送信端末のスクリーン解像度または自ら定義したスクリーン解像度を含んでいてもよい。次の工程は、解像度選択の後に実行される。
412にて、ディスプレイ端末は、HTML5ビデオ制御を使用して現在のスクリーン上にスクリーンコンテンツデータをディスプレイする。
最初に、ディスプレイ端末は、工程408にてRTCPeerConnectionインタフェースを介して工程310にて投影端末によって送信されたオーディオ及びビデオストリームを受ける。
ディスプレイ端末は、ウェブに基づいたOSによって提供されるHTML5ビデオ制御を使用してスクリーン上にオーディオ及びビデオストリームをディスプレイする。実施例プロセスは、以下の通りである:
var video = document.createElement (’video’);
video.id = ’self’;
video [? isFirefox ’mozSrcObject’: ’src’] = isFirefox stream: window.webkitURL.createObjectURL (stream);?
video.autoplay = true;
video.controls = true;
ビデオ制御は、本開示の現在のスクリーン上に受信したスクリーンコンテンツデータをディスプレイするための実施例方法であることに留意すべきである。いくつかのその他の制御または方法を、スクリーンコンテンツデータをディスプレイするために使用してもよい。本開示は、任意の制限を課さない。
本開示は、またウェブに基づいたOS動作環境に基づいたスクリーンコンテンツデータを伝送する、及びディスプレイするための装置を提供する。
図5は、本開示の第4の実施例実施形態に従ったウェブに基づいたOS動作環境に基づいたスクリーンコンテンツを伝送する、及びディスプレイするための実施例装置500の線図である。
装置500は、1つまたは複数のプロセッサ502またはデータ処理機械及びメモリ504を含んでいてもよい。メモリ504は、コンピュータ可読媒体の実施例である。メモリ504は、登録初期化ユニット506、通信リンク確立ユニット508、スクリーンコンテンツデータ変換ユニット510、スクリーン解像度選択ユニット512及びスクリーンコンテンツデータディスプレイユニット514を含む複数のモジュールまたはユニットをその中に格納してもよい。
登録初期化するユニット506は、サーバ接続サブユニット506−2及び登録初期化サブユニット506−4を含んでいてもよい。
サーバ接続サブユニット506−2は、内蔵されたウェブに基づいたOS動作環境を介して、それぞれディスプレイ端末及び/またはプロジェクト端末とウェブサーバとの間に接続を確立する。
たとえば、ウェブサーバとウェブブラウザ(クライアント)との間の情報通信は、HTTPを介して行われる。ウェブサーバにアクセスして情報を得るために、ウェブブラウザ(クライアント)は、ウェブサーバとHTTP接続を確立する。
登録初期化するユニット506−4は、初期化サブユニット及び登録サブユニット(図5において示されない)を含んでいてもよい。
投影端末及びディスプレイ端末がアクセス要求メッセージをウェブサーバに送信した後、ウェブサーバは、アクセス要求メッセージを受け、及び投影端末及びディスプレイ端末にアクセスに同意するメッセージを送信する。投影端末及びディスプレイ端末がウェブサーバからアクセスに同意するメッセージを受ける後、初期化サブユニットは、投影端末またはディスプレイ端末がこれらのそれぞれの内蔵されたウェブに基づいたOSを使用することによってURLを介してウェブサーバを訪問するときに、それぞれウェブサーバから投影端末またはディスプレイ端末の登録及び初期化のために必要とされるコンピュータ可読のコードまたは論理コードをロードし、及びオリジナルのウェブに基づいたOS動作環境を介して登録及び初期化に関するコンピュータにより実行可能なコードを実行する。初期化の完了後、投影端末は、完全なウェブに基づいたOS動作環境を有してスクリーン投影を実行し、及びディスプレイ端末は、完全なウェブに基づいたOS動作環境を有してスクリーン上へ受信したスクリーンコンテンツデータをディスプレイする。
登録サブユニットは、内蔵ウェブに基づいたOS動作環境を介してディスプレイ端末または投影端末の装置情報を得て、及び装置情報をウェブサーバに送信して登録を完了する。装置情報は、装置のIPアドレス、装置同定及びスクリーン解像度を含んでいてもよい。
通信リンク確立ユニット508は、投影端末とディスプレイ端末との間にウェブに基づいたOSによって提供されるポイントツーポイント通信インタフェースを介してポイントツーポイント通信リンクを確立する。
たとえば、通信リンク確立ユニット508は、内蔵ウェブに基づいたOS動作環境によって提供されるインタフェースに関連したコードを実行し、及び投影端末にてディスプレイ端末の情報のためのコードを構成する。通信リンク確立ユニット508は、また内蔵ウェブに基づいたOS動作環境によって提供されるインタフェースに関連したコードを実行し、及びディスプレイ端末にて投影端末の情報のためのコードを構成する。投影端末及びディスプレイ端末のためのコードが実行された後、投影端末とディスプレイ端末との間のポイントツーポイント通信リンクが確立される。
スクリーンコンテンツデータ変換ユニット510は、投影端末がスクリーンコンテンツデータを検索するときに、スクリーンコンテンツデータにスクリーンコンテンツを変換する。
たとえば、投影端末がウェブに基づいたOSによって提供されるMediaStream訪問インタフェースを介してスクリーンコンテンツデータを得るとき、スクリーンコンテンツデータ変換ユニット510は、スクリーンコンテンツデータをHTML5によってサポートされるオーディオ及びビデオストリームに変換する。たとえば、スクリーンコンテンツデータは、内蔵ウェブに基づいたOS動作環境及びオーディオによってサポートされるオーディオ及びビデオストリームに変換され、及び次いでビデオストリームはRTCPeerConnectionインタフェースを介してディスプレイ端末に伝送される。
スクリーン解像度選択ユニット512は、解像度を選択して、スクリーンコンテンツデータをディスプレイする。たとえば、スクリーン解像度選択ユニット512は、ディスプレイ端末がRTCPeerConnectionインタフェースを介して投影端末からスクリーンコンテンツデータを受けた後、解像度を選択してディスプレイ端末にて内蔵されたウェブに基づいたOS動作環境下でスクリーンコンテンツデータをディスプレイする。選択可能なスクリーン解像度は、ディスプレイ端末のスクリーン解像度、投影端末などの送信端末のスクリーン解像度または自ら定義したスクリーン解像度を含んでいてもよい。たとえば、ディスプレイ端末がRTCPeerConnectionインタフェースを介して投影端末からスクリーンコンテンツデータを受けた後、スクリーン解像度選択ユニット512は、スクリーン解像度を選択してディスプレイ端末にて内蔵されたウェブに基づいたOS動作環境を介して現在のスクリーンにてスクリーンコンテンツデータをディスプレイする。
スクリーンコンテンツディスプレイユニット514は、ディスプレイ端末がスクリーンコンテンツデータを受けるときに、スクリーン上にスクリーンコンテンツデータをディスプレイする。たとえば、スクリーン解像度ディスプレイユニット514は、ウェブに基づいたOSによって提供されるビデオ制御を使用してディスプレイ端末にてスクリーン上へ投影端末から受けたスクリーンコンテンツデータをディスプレイする。ディスプレイ端末にてスクリーンコンテンツデータをディスプレイするために選択されるスクリーン解像度は、スクリーンコンテンツデータディスプレイユニット512が選択するスクリーン解像度である。
上記の記述は、本開示の実施例実施形態を記述し、これは本開示を限定するために使用されるべきでない。当業者は、本技術に任意の修正または変更を行ってもよい。本技術の趣旨及び範囲を逸脱することのなく任意の変化、均等物置換または改善は、なおも本開示の請求項の範囲に該当するものとする。
標準的な配置構成において、本開示に記載されてとおりのコンピューティング装置またはシステムは、1つまたは複数の中央プロセシングユニット(CPU)、1つまたは複数の入力し/出力インタフェース、1つまたは複数のイネットワークンタフェース及びメモリを含んでいてもよい。
メモリは、(非永続的メモリ、ランダムアクセスメモリ(RAM)及び/またはコンピュータ可読媒体における読取り専用メモリ(ROM)及びフラッシュランダムアクセスメモリ(フラッシュRAM)などの不揮発性メモリなどの形態を含んでいてもよい。メモリは、コンピュータ可読媒体の実施例である。
コンピュータ可読媒体は、任意の方法または技術を使用して情報記憶を実行し得る永久及び非永続、可動及び非可動の媒体を含む。情報は、コンピュータ可読命令、データ構造、ソフトウェアモジュールまたは任意のデータでもよい。コンピュータ記憶媒体の例は、相−変化メモリ(PCM)、スタティックRAM(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、その他のタイプRAM、ROM、電気的消去可能なPROM(EEPROM)、フラッシュメモリ、内部メモリ、CD−ROM、DVD、光学メモリ、磁気テープ、磁気ディスク、任意のその他の磁気記憶装置またはコンピューティング装置によってアクセス可能に情報を格納し得る任意のその他の非通信媒体を含むが、限定されない。本明細書で定義したとおり、コンピュータ可読媒体は、変調されたデータ信号及び搬送波などの一時的媒体を含まない。
当業者は、実施例実施形態が方法、システムまたはコンピュータソフトウェア製品の形態で存在してもよいことを理解するだろう。したがって、本技術は、ハードウェア、コンピュータソフトウェアまたはその組み合わせによって実行され得る。加えて、本技術は、コンピュータ実行可能またはコンピュータ可読の説明書を含む1つまたは複数のコンピュータ記憶媒体(ディスク、CD−ROMまたは光学的な貯蔵装置を含むが、限定されない)の形態でコンピュータソフトウェア製品として実行してもよい。

Claims (20)

  1. 投影端末によってスクリーンコンテンツを伝送するための方法であって、前記方法は:
    前記投影端末においてウェブに基づいたオペレーティングシステム(OS)によって提供されるポイントツーポイントリンクインターフェースを介してディスプレイ端末とポイントツーポイント通信リンクを確立すること;
    前記ウェブに基づいたOSによって提供されるスクリーン訪問インタフェースを使用してスクリーンコンテンツを検索すること;
    前記スクリーンコンテンツをスクリーンコンテンツデータに変換すること;及び
    前記ポイントツーポイント通信リンクを介して前記ディスプレイ端末に前記スクリーンコンテンツデータを送信すること、
    を含む、前記方法。
  2. 請求項1の方法であって、前記スクリーンコンテンツをスクリーンコンテンツデータに変換することは、リアルタイムで前記スクリーンコンテンツを前記スクリーンコンテンツデータに変換することを含む、前記方法。
  3. 請求項1の方法であって:
    前記ウェブに基づいたオペレーティングによってシステム(OS)を提供される前記ポイントツーポイントリンクインターフェースを介して前記ディスプレイ端末と前記ポイントツーポイント通信リンクを確立する前に、
    前記ウェブに基づいたOSを介してウェブサーバを訪問すること;
    前記ウェブサーバから初期化のためのコンピュータにより実行可能なコードをロードすること;
    前記投影端末のために必要とされる初期化のための前記コンピュータにより実行可能なコードを実行すること;及び
    前記ウェブサーバにて前記投影端末を登録すること、
    をさらに含む、前記方法。
  4. 請求項3の方法であって、前記ウェブサーバにて投影端末を登録することは:
    初期化を完了する前記ウェブに基づいたOSを介して前記ウェブサーバに前記投影端末の登録関連情報をアップロードすること;及び
    登録を完了すること、
    を含む、前記方法。
  5. 請求項1の方法であって、前記ウェブに基づいたOSは、ウェブリアルタイム通信(WebRTC)アプリケーションでのハイパーテキストマークアップランゲージ(HTML)5作動環境をサポートする、前記方法。
  6. 請求項5の方法であって、前記投影端末にてウェブに基づいたオペレーティングシステム(OS)によって提供される前記ポイントツーポイントリンクインターフェースを介して前記ディスプレイ端末と前記ポイントツーポイント通信リンクを確立することは:
    前記ウェブに基づいたOSを介してRTCPeerConnectionインタフェースを定義すること;
    前記RTCPeerConnectionインタフェースの開始を完了すること;
    ポイントツーポイント接続メッセージを前記ディスプレイ端末に送信すること;
    前記ディスプレイ端末から応答メッセージを受けること;
    前記RTCPeerConnectionインタフェースに関連したコンピュータにより実行可能なコードを実行すること;及び
    前記ディスプレイ端末と前記ポイントツーポイント通信リンクを確立すること、
    を含む、前記方法。
  7. 請求項6の方法であって、前記ウェブに基づいたOSによって提供される前記スクリーン訪問インタフェースを使用して前記スクリーンコンテンツを検索することは:
    MediaStreamインタフェースを定義すること、及び初期化すること;及び
    前記MediaStreamインタフェースを介して前記スクリーンコンテンツにアクセスすること、
    を含む、前記方法。
  8. 請求項7の方法であって、前記ポイントツーポイント通信リンクを介して前記ディスプレイ端末に前記スクリーンコンテンツデータを送信することは:
    前記RTCPeerConnectionインタフェースに前記スクリーンコンテンツデータを送信すること;及び
    前記RTCPeerConnectionインタフェースから前記ポイントツーポイント通信リンクを介して前記ディスプレイ端末に前記スクリーンコンテンツデータを送信すること、
    を含む、前記方法。
  9. 請求項1の方法であって、
    前記ポイントツーポイント通信リンクは、以下の少なくとも1つヲ含む、前記方法:
    ローカルエリアネットワーク(LAN)における有線通信リンク;
    WiFiまたはLANにおけるBluetoothを介して確立されるワイヤレス通信リンク;または
    インターネットを介して確立される遠隔ポイントツーポイント通信リンク。
  10. ディスプレイ端末によってスクリーンコンテンツをディスプレイするための方法であって、前記方法は:
    前記ディスプレイ端末にてウェブに基づいたオペレーティングシステム(OS)によって提供されるポイントツーポイントリンクインターフェースを介して投影端末とポイントツーポイント通信リンクを確立すること;及び
    スクリーンにて前記投影端末から受けたスクリーンコンテンツデータをディスプレイすること、
    を含む、前記方法。
  11. 請求項10の方法であって、前記スクリーンにて前記投影端末から受けた前記スクリーンコンテンツデータをディスプレイすることは、前記ウェブに基づいたOSによって提供されるビデオ制御を使用して前記スクリーンコンテンツデータをディスプレイすることを含む、前記方法。
  12. 請求項10の方法であって:
    前記ウェブに基づいたオペレーティングシステム(OS)によって提供された前記ポイントツーポイントリンクインターフェースを介して前記投影端末と前記ポイントツーポイント通信リンクを確立する前に、
    前記ウェブに基づいたOSを介してウェブサーバを訪問すること;
    前記ウェブサーバからの初期化のためのコンピュータにより実行可能なコードをロードすること;
    前記ディスプレイ端末のために必要とされる初期化のための前記コンピュータにより実行可能なコードを実行すること;及び
    前記ウェブサーバにて前記ディスプレイ端末を登録すること、
    を含む、前記方法。
  13. 請求項12の方法であって、前記ウェブサーバにて前記投影端末を登録することは:
    初期化を完了する前記ウェブに基づいたOSを介して前記ウェブサーバに前記投影端末の登録関連情報をアップロードすること;及び
    登録を完了すること、
    を含む、前記方法。
  14. 請求項10の方法であって、前記ウェブに基づいたOSは、ウェブリアルタイム通信(WebRTC)アプリケーションでのハイパーテキストマークアップランゲージ(HTML)5作動環境をサポートする、前記方法。
  15. 請求項14の方法であって、前記投影端末にて前記ウェブに基づいたオペレーティングシステム(OS)によって提供される前記ポイントツーポイントリンクインターフェースを介して前記ディスプレイ端末と前記ポイントツーポイント通信リンクを確立することは:
    前記ウェブに基づいたOSを介してRTCPeerConnectionインタフェースを定義すること;
    前記RTCPeerConnectionインタフェースの開始を完了すること;
    ポイントツーポイント接続メッセージをディスプレイ端末に送信すること;
    前記ディスプレイ端末から応答メッセージを受けること;
    前記RTCPeerConnectionインタフェースに関連したコンピュータにより実行可能なコードを実行すること;及び
    前記ディスプレイ端末と前記ポイントツーポイント通信リンクを確立すること、
    を含む、前記方法。
  16. 請求項15の方法であって、前記スクリーンにて前記投影端末から受けたスクリーンコンテンツデータをディスプレイすることは、前記ウェブに基づいたOSによって提供されるコンテンツディスプレイ制御を使用して前記スクリーンにて前記スクリーンコンテンツデータをディスプレイすることを含む、前記方法。
  17. 請求項16の方法であって、前記ウェブに基づいたOSによって提供される前記コンテンツディスプレイ制御を使用して前記スクリーンにて前記スクリーンコンテンツデータをディスプレイすることは:
    ビデオ制御を定義すること、及び初期化すること;
    前記コンテンツディスプレイ制御を使用し前記RTCPeerConnectionインタフェースから受けた前記スクリーンコンテンツデータを検索すること;
    スクリーン解像度を選択して前記スクリーンコンテンツデータをディスプレイすること;及び
    前記ビデオ制御を使用して、前記スクリーン解像度に従って前記スクリーンにて前記スクリーンコンテンツデータをディスプレイすること、
    を含む、前記方法。
  18. 請求項17の方法であって、前記スクリーン解像度は、以下の少なくとも1つを含む、前記方法:
    投影端末のスクリーン解像度;
    ディスプレイ端末のスクリーン解像度;または
    使用者によって定義されるスクリーン解像度。
  19. スクリーンコンテンツを伝送する、及びディスプレイするための装置であって、前記装置は:
    投影端末とディスプレイ端末との間にウェブに基づいたOSによって提供されるポイントツーポイント通信インタフェースを介してポイントツーポイント通信リンクを確立する通信リンク確立ユニット;
    前記投影端末が前記スクリーンコンテンツにアクセスするために前記ウェブに基づいたOSによって提供されるスクリーン訪問インタフェースを使用するとき、リアルタイムで前記スクリーンコンテンツをスクリーンコンテンツデータに変換し、及び前記ポイントツーポイント通信リンクを介して前記スクリーンコンテンツデータを送信するスクリーンコンテンツデータ変換ユニット;及び
    前記ディスプレイ端末が前記スクリーンコンテンツデータを受けるとき、前記ウェブに基づいたOSによって提供されるコンテンツディスプレイ制御を使用してスクリーン上へ前記スクリーンコンテンツデータをディスプレイするスクリーンコンテンツディスプレイユニット、
    を含む、前記装置。
  20. 請求項19の装置であって、登録初期化ユニットをさらに含み、前記登録初期化ユニットは:
    前記ウェブに基づいたOS動作環境を介してそれぞれ前記ディスプレイ端末または前記投影端末とウェブサーバとの間に接続を確立するサーバ接続サブユニット;及び
    前記投影端末または前記ディスプレイ端末が前記ウェブサーバを訪問するとき、前記ウェブサーバから前記投影端末または前記ディスプレイ端末の登録及び初期化のための必要とされるコンピュータ可読のコードまたは論理コードをロードし、及び登録及び初期化に関する前記コンピュータ−実行可能コードを実行する登録初期化サブユニット、
    を含む、前記装置。
JP2016532120A 2013-12-27 2014-12-24 スクリーンコンテンツの伝送及びディスプレイ Active JP6966675B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310741237.0A CN104753989B (zh) 2013-12-27 2013-12-27 基于Web-based OS运行环境的屏幕影像传输播放方法及装置
CN201310741237.0 2013-12-27
PCT/US2014/072360 WO2015100417A1 (en) 2013-12-27 2014-12-24 Transmitting and displaying screen content

Publications (2)

Publication Number Publication Date
JP2017511511A true JP2017511511A (ja) 2017-04-20
JP6966675B2 JP6966675B2 (ja) 2021-11-17

Family

ID=53479703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016532120A Active JP6966675B2 (ja) 2013-12-27 2014-12-24 スクリーンコンテンツの伝送及びディスプレイ

Country Status (8)

Country Link
US (1) US10498801B2 (ja)
EP (1) EP3087502B1 (ja)
JP (1) JP6966675B2 (ja)
KR (1) KR20160102419A (ja)
CN (1) CN104753989B (ja)
HK (1) HK1207761A1 (ja)
TW (1) TWI627858B (ja)
WO (1) WO2015100417A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131145B (zh) * 2016-06-29 2019-04-19 成都中科创达软件有限公司 一种移动终端的投影方法
US10572031B2 (en) * 2016-09-28 2020-02-25 Salesforce.Com, Inc. Processing keyboard input to cause re-sizing of items in a user interface of a web browser-based application
US10642474B2 (en) * 2016-09-28 2020-05-05 Salesforce.Com, Inc. Processing keyboard input to cause movement of items in a user interface of a web browser-based application
KR20180076720A (ko) 2016-12-28 2018-07-06 주식회사 케이티 동영상 전송 장치 및 동영상 재생 장치
CN107016289B (zh) * 2017-02-15 2020-04-10 中国科学院信息工程研究所 基于Web操作系统的移动瘦终端安全模型建立方法及装置
CN115836528A (zh) 2020-04-24 2023-03-21 海信视像科技股份有限公司 一种显示设备及投屏方法
CN113556590B (zh) * 2020-04-24 2022-11-11 海信视像科技股份有限公司 一种投屏视频流有效分辨率检测方法及显示设备
CN112328941A (zh) * 2020-11-19 2021-02-05 Oppo广东移动通信有限公司 基于浏览器的应用投屏方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152772A (ja) * 2008-12-26 2010-07-08 Mitsubishi Electric Corp 情報処理装置及び情報処理方法及びプログラム
WO2013103726A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Wireless display with multiscreen service
US20130328997A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Multiple channel communication using multiple cameras

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020023265A1 (en) * 2000-08-08 2002-02-21 Metcalf Darrell J. Wireless controller with publicly-accessible communications link for controlling the content seen on large-screen systems
AU2001284799A1 (en) 2000-08-10 2002-02-25 Mike Fullerton Method for screen image sharing
US7180475B2 (en) * 2001-06-07 2007-02-20 Infocus Corporation Method and apparatus for wireless image transmission to a projector
US7599989B2 (en) * 2005-01-24 2009-10-06 Microsoft Corporation System and method for gathering and reporting screen resolutions of attendees of a collaboration session
US7933955B2 (en) * 2006-07-11 2011-04-26 Igor Khalatian One-click universal screen sharing
JP2009116630A (ja) 2007-11-07 2009-05-28 Sony Corp ウェブ画面の共有システム、その共有用端末機およびその共有プログラム
US8175639B2 (en) 2007-11-26 2012-05-08 Nasrin Chaparian Amirmokri NanoPC mobile personal computing and communication device
JP5262359B2 (ja) 2008-07-02 2013-08-14 パナソニック株式会社 自動販売機の内扉ロック装置
JP5305894B2 (ja) 2008-12-26 2013-10-02 株式会社東芝 画面共有システム、設定変更方法、クライアント装置、およびプログラム
US9733886B2 (en) 2009-11-24 2017-08-15 Clearslide, Inc. Method and system for browser-based screen sharing
US8527549B2 (en) * 2010-02-22 2013-09-03 Sookasa Inc. Cloud based operating and virtual file system
US8342696B2 (en) * 2010-03-26 2013-01-01 Seiko Epson Corporation System and method for displaying remote content through multiple projectors
US9143570B2 (en) 2010-05-04 2015-09-22 Microsoft Technology Licensing, Llc Desktop screen sharing over HTTP
US8364130B2 (en) * 2010-05-12 2013-01-29 Sony Mobile Communications Ab Establishing sessions between devices in a network
CN102325144B (zh) * 2011-09-29 2014-07-30 Tcl集团股份有限公司 一种媒体设备间互联互通的方法、系统及多媒体设备
US8941673B2 (en) 2011-11-08 2015-01-27 Red Hat, Inc. Rendering images in a remote web browser
US9268517B2 (en) 2011-12-07 2016-02-23 Adobe Systems Incorporated Methods and systems for establishing, hosting and managing a screen sharing session involving a virtual environment
US8881170B2 (en) 2012-04-30 2014-11-04 Genesys Telecommunications Laboratories, Inc Method for simulating screen sharing for multiple applications running concurrently on a mobile platform
US9705729B2 (en) * 2012-06-01 2017-07-11 Dell Products L.P. General client engine with load balancing for client-server communication
US20130332857A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Photo edit history shared across users in cloud system
US20140053182A1 (en) * 2012-08-20 2014-02-20 Veiko Jääger Method and system for evaluating and sharing media
US9113033B2 (en) * 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
KR101422808B1 (ko) * 2012-09-21 2014-08-14 주식회사 팬택 드로잉 화면 공유 서비스의 제공 장치 및 방법과 이를 위한 휴대 단말
KR102220267B1 (ko) * 2013-07-11 2021-02-25 삼성전자주식회사 전자문서를 공유하는 방법 및 이를 위한 장치들
US9369491B2 (en) * 2014-11-10 2016-06-14 Cisco Technology, Inc. Inspection of data channels and recording of media streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152772A (ja) * 2008-12-26 2010-07-08 Mitsubishi Electric Corp 情報処理装置及び情報処理方法及びプログラム
WO2013103726A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Wireless display with multiscreen service
US20130328997A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Multiple channel communication using multiple cameras

Also Published As

Publication number Publication date
CN104753989A (zh) 2015-07-01
CN104753989B (zh) 2018-09-14
KR20160102419A (ko) 2016-08-30
US20150188998A1 (en) 2015-07-02
EP3087502A4 (en) 2017-09-06
JP6966675B2 (ja) 2021-11-17
EP3087502A1 (en) 2016-11-02
EP3087502B1 (en) 2018-12-19
TW201526620A (zh) 2015-07-01
US10498801B2 (en) 2019-12-03
HK1207761A1 (en) 2016-02-05
WO2015100417A1 (en) 2015-07-02
TWI627858B (zh) 2018-06-21

Similar Documents

Publication Publication Date Title
JP6966675B2 (ja) スクリーンコンテンツの伝送及びディスプレイ
US11882195B2 (en) Systems and methods for enabling access to third party services via a service layer
CN106797392B (zh) M2m-iot服务的发布和发现
WO2020093500A1 (zh) 智能调度方法、终端设备、边缘节点集群与智能调度系统
TWI686702B (zh) 檔案傳輸方法及裝置
WO2015007245A1 (zh) 跨终端进行下载的方法、系统、云端服务器和终端
CN108476236B (zh) 物联网数据的基于语义的内容规范
US20110185038A1 (en) Apparatus and method for providing a terminal web service
JP7005141B2 (ja) リモートモニタリングのための方法、及び信号取得及びリモートモニタリングのためのシステム
WO2016041322A1 (zh) 移动智能终端下转发应用内流量的方法
CN112511598A (zh) 一种投屏显示方法、智能终端、存储介质
CN114070833A (zh) 多协议服务兼容方法、系统、设备、介质和程序产品
US20210144192A1 (en) Method and apparatus for providing web service using edge computing service
Zachariah et al. The internet of things still has a gateway problem
CN110677443A (zh) 数据发送和接收方法、发送端、接收端、系统及存储介质
Corujo et al. MINDiT: A framework for media independent access to things
TW201513651A (zh) 決定在一資料處理裝置與另一個資料處理裝置之間傳輸多媒體檔案之前橫跨其間的格式相容性
CN112383617A (zh) 进行长连接的方法、装置、终端设备以及介质
CN107948232B (zh) 基于Hook API的代理实现方法、数据传输方法、装置及系统
JP2015069547A (ja) サーバ装置、端末装置、通信方法およびコンピュータプログラム
CN109963198B (zh) 应用处理方法及装置
WO2023213101A1 (zh) 一种通信方法、装置及设备
KR101442640B1 (ko) 홈 네트워크 프록시 서버를 이용한 원격 사용자 인터페이스 제공 시스템 및 제공방법
CN106921715B (zh) 在移动设备上提供服务发布能力的方法和装置
CN116126263A (zh) 非镜像投屏方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190807

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190813

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190820

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20191025

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20191029

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200707

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200825

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20201222

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

C092 Termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C092

Effective date: 20210608

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210629

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210803

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210803

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210831

R150 Certificate of patent or registration of utility model

Ref document number: 6966675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150