JP2013525874A - ディスプレイデバイスならびにそのようなデバイスを組み込むシステムおよび方法 - Google Patents

ディスプレイデバイスならびにそのようなデバイスを組み込むシステムおよび方法 Download PDF

Info

Publication number
JP2013525874A
JP2013525874A JP2013500822A JP2013500822A JP2013525874A JP 2013525874 A JP2013525874 A JP 2013525874A JP 2013500822 A JP2013500822 A JP 2013500822A JP 2013500822 A JP2013500822 A JP 2013500822A JP 2013525874 A JP2013525874 A JP 2013525874A
Authority
JP
Japan
Prior art keywords
wireless communication
mobile wireless
communication device
user
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013500822A
Other languages
English (en)
Inventor
ルナール セロ
ボーグラン ファブリス
ホック フレデリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2013525874A publication Critical patent/JP2013525874A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、リモートサーバからワイヤレスに配信されたコンテンツをユーザディスプレイデバイスでユーザに表示し、モバイル無線通信デバイスからのコンテンツをユーザに表示する方法および関連システムを提供し、本方法は、リモートサーバからコンテンツをモバイル無線通信デバイス経由でユーザディスプレイデバイスにルーティングするステップと、モバイル無線通信デバイスからコンテンツを表示するためのユーザディスプレイデバイスに配信するステップとを含み、このようにして、モバイル電話のようなユーザデバイスは、たとえばリモートサーバとして作動しているPCアプリケーションとともに、表示するためのリモートディスプレイデバイスに表示の対象を配信することができ、さらに、ディスプレイデバイスに関連付けられたユーザインターフェースデバイスを用いて、リモートサーバおよびモバイル無線通信デバイスと対話することができる。

Description

本発明は、複数のディスプレイデバイスにデータ/コンテンツを通信するためのシステム、およびそのようなディスプレイデバイス自体、さらにはデータ/コンテンツの必要な表示を提供する方法に関する。
[優先権の主張]
その内容が参照により本明細書に組み込まれる、2010年3月26日に出願された英国特許出願第1005128.2号に対する優先権が主張される。
必要なときに、データ/コンテンツは通常、電子ディスプレイデバイスによってユーザに提示され、多種多様なメディアが利用できることから、ユーザが対話することに興味を持っている2つの異なるアプリケーションにしばしば関係する特定のコンテンツを表示するように各々が構成された複数のディスプレイデバイスに、ユーザはアクセスすることが非常に多い。したがって、複数のディスプレイデバイスの各々は通常、何らかの形のユーザインターフェース手段、一般にはタッチスクリーン、マウス、トラックボールおよび/またはキーボード/パッドに関連付けられ、その結果、ユーザがディスプレイデバイスのうちの1つのコンテンツと対話することを希望する場合には、それぞれのインターフェースデバイスにアクセスする必要がある。
様々なインターフェースデバイスの間を行ったり来たりする必要があることは、結果的に不都合なことがあり、特にインターフェース手段の使用に関して一時的にせよセキュリティ措置を乗り越える際に経験するかもしれない遅延の観点から、ユーザの時間の潜在的に非効率的な使用および利用できる各種リソースの潜在的に非効率的な使用を意味する場合がある。
特に、モバイル電話または携帯情報端末のようなパーソナルモバイル無線通信デバイスが普及しており、通常はユーザの近くに位置する1つのそのようなディスプレイデバイスは、そのようなモバイルデバイスである。そのようなユーザがたとえばPCデバイスと、PCのスクリーンによって対話している場合、ユーザは、各々がユーザの注意を要求する2つの明らかに別個のデバイスを提示され、それぞれのインターフェース構成によってアクセスされる。
また、いわゆる「シンクライアント」アーキテクチャの出現に伴い、ユーザは通常、リモートサーバデバイスへの接続によって効果的に作動しているローカルユーザディスプレイデバイスに表示されるコンテンツと対話する。
したがって、そのようなシンクライアント構成のユーザディスプレイデバイス、およびユーザのモバイル無線通信デバイスは、上記の複数のディスプレイデバイスの例であり、現在ではユーザがアクセスするときの制限および非効率性を示している。
中国特許公開第101557496号明細書 米国特許公開第2007/250867号明細書 韓国公開特許第2004-0089313号公報 韓国公開特許第2002-0077787号公報 韓国公開特許第2002-0067746号公報
したがって本発明は、複数のデバイスの、またそのようなデバイス自体へのコンテンツの表示のための方法および関連システム、ならびに既知のそのようなシステム、方法およびデバイスよりも有利な方法および関連システムを提供することを目的とする。
様々な分割スクリーン方式のビデオシステムが、たとえば中国特許公開101557496、米国特許公開2007-250867および大韓民国特許公開2004-0089313により知られているが、これらの構成はいずれも、ユーザが2つの別個のデバイスと対話しているときに当技術分野で示されている上記の問題に関係ないか、まったく対処していない。
また、標準的なシンクライアント構成も大韓民国特許公開2002-0077787および大韓民国特許公開2002-0067746により知られているが、同様に、これらの公報はいずれも、本発明が直面し克服する問題に対処していない。
さらなる態様として、本発明は、ワイヤレスにコンテンツを表示するようにデバイスが構成された、改善されたシステムおよび関連する方法およびデバイスを提供することを目的とする。
本発明の第1の態様によれば、リモートサーバから配信されたコンテンツをユーザディスプレイデバイスでユーザに表示し、モバイル無線通信デバイスからのコンテンツをユーザに表示する方法が提供され、本方法は、リモートサーバからコンテンツをモバイル無線通信デバイス経由でユーザディスプレイデバイスにルーティングするステップと、モバイル無線通信デバイスからコンテンツを表示するためのユーザディスプレイデバイスに配信するステップとを含む。
このようにして本発明は、ユーザが対話しなければならないディスプレイデバイスの数を、ユーザが対話を希望するデバイスおよび関連するアプリケーションの数にかかわりなく、単一のデバイスへと有利に減らすことができる。
したがって、本発明は、ユーザが複数のディスプレイデバイスと対話できる格段に便利で効率的な構成を表す。
一構成では、モバイル無線通信デバイスからコンテンツをユーザのディスプレイデバイスに配信するステップは、選択的に開始されるステップを含むことができる。
有利なことに、このステップの開始は、モバイル無線通信デバイス内のアプリケーションの処理に応答したものでありうる。たとえば、モバイル無線通信デバイスからのコンテンツの配信は、モバイル無線通信デバイスに到着した着信信号、および/または当該信号の到着に対するユーザの応答に応答したものでありうる。
さらに、リモートサーバから配信されたコンテンツの表示は、モバイル無線通信デバイスからのコンテンツの表示と同時に生じうる。
また、本発明のすべての態様の中で、モバイル無線通信デバイスからのコンテンツは、たとえばキーパッド、トラックボールなどのモバイル無線アプリケーションデバイスの特徴をエミュレートするデータを含むことができる。
一構成では、同時表示は、リモートサーバからのコンテンツとモバイル無線通信デバイスからのコンテンツとの結合により、モバイル無線通信デバイスでローカルに生じうる。
追加的または代替的な構成では、リモートサーバデバイスからのコンテンツとモバイル無線通信デバイスからのコンテンツとの結合は、リモートサーバで完成しうる。
特に有利なさらなる特徴によれば、本方法は、ユーザディスプレイデバイスに関連付けられたユーザインターフェース手段によって、モバイル無線通信デバイスとインターフェースをとるステップを含む。そのようにインターフェースをとることは、キーボードおよび/またはマウスなどの任意の適切な手段によって達成されうる。
したがって有利には、ユーザディスプレイデバイスに関連付けられたユーザインターフェースデバイスから生じる制御シグナリングが、モバイル無線通信デバイスに配信される。
さらに、ユーザディスプレイデバイスに関連付けられたユーザインターフェースデバイスからの制御シグナリングは、モバイル無線通信デバイス経由でリモートサーバに配信されうる。
モバイル無線通信デバイスにおいて、ユーザディスプレイデバイスに関連付けられたユーザインターフェースデバイスから到着した制御シグナリングを選択的に用いて、モバイル無線通信デバイスおよび/またはリモートサーバとインターフェースをとることができる。
このようにして、リモートサーバおよびモバイル無線通信デバイスから発生するコンテンツを表示するための単一のディスプレイデバイスをもっぱら要求することに加えて、ユーザはさらに、リモートサーバおよびモバイル無線通信デバイスと対話するために、特にユーザディスプレイデバイスに表示されるサーバおよびモバイル無線通信デバイスからのコンテンツと対話するために、ユーザディスプレイデバイスに関連付けられたユーザインターフェースデバイスのような単一のインターフェース構成をもっぱら要求する。
本発明の別の態様によれば、内蔵アプリケーションによるコンテンツを表示し、リモートサーバからコンテンツを受信し、リモートサーバからのコンテンツを無線通信デバイスから離れているユーザディスプレイデバイスに配信し、アプリケーションから導出されたコンテンツを表示するためのユーザディスプレイデバイスにさらに配信するように構成されたモバイル無線通信デバイスが提供される。
有利なことに、モバイル無線通信デバイスにおけるアプリケーションに関係するコンテンツの配信は、選択的かつ/またはアプリケーションに応答したものでありうる。
さらなる特徴によれば、モバイル無線通信デバイスは、ユーザディスプレイデバイスに関連付けられたユーザインターフェースデバイスから制御シグナリングを受信し、そのような制御シグナリングをリモートサーバに配信し、かつ/または前記制御シグナリングによるアプリケーションの制御を可能にするように構成される。
この場合も、制御シグナリングによるアプリケーションの制御は、選択的かつ/または応答的に達成されうる。
本発明のさらに別の態様によれば、ユーザディスプレイデバイス、ユーザディスプレイデバイスから離れており、コンテンツをユーザディスプレイデバイスに配信するためのサーバ、およびユーザがアクセスするモバイル無線通信デバイスを含む通信システムが提供され、本システムは、サーバからコンテンツをモバイル無線通信デバイス経由でユーザディスプレイデバイスにルーティングし、モバイル無線通信デバイスからのコンテンツをユーザディスプレイデバイスに表示するように構成される。
もちろん、上で定義したワイヤレス通信システムは、同じく上で定義したようなモバイル無線通信デバイスを含むことができる。
本発明の別の態様によれば、モバイル無線通信デバイスのアプリケーションに関するコンテンツの表示を制御する方法であって、コンテンツを、リモートサーバからモバイル無線通信デバイス経由でワイヤレスで配信されたコンテンツを表示するようにさらに構成されたリモートユーザディスプレイデバイスに配信するステップを含む方法が提供される。
本発明はまた、上で定めた方法のうちの1つまたは複数のステップを実行するための命令を含むコンピュータプログラム、コンピュータプログラム製品およびコンピュータ可読媒体を提供することができる。
さらに諒解されるように、コンテンツはワイヤレスまたは幅広い方法で、たとえば非同期デジタル加入者回線などによってユーザディスプレイデバイスに配信されうる。
諒解されるように、本発明により、複数のデバイスと対話することを求めているユーザのために効率性の向上を実現でき、特にたとえばモバイルアプリケーションをリモートデスクトップアプリケーションおよびリモートデスクトップに一般に関連付けられた共通ユーザディスプレイデバイスにレンダリングすることによって、「ユーザエクスペリエンス」の改善を実現できる。
本発明については、単に例として、添付の図面を参照して以下でさらに説明する。
ユーザによる対話を要求する現在のマルチデバイスシステム構成の概略図である。 同様の概略的構成であるが、本発明の一実施形態によるシステムの一実施形態を示す図である。 本発明を具現化するシステムのさらなる要約概略図である。 本発明の実施形態に従って用いられるようなシステム要素のブロック概略図である。 本発明の一実施形態による方法を示す動作フロー図である。 本発明のさらに別の実施形態による方法を示すさらなる動作フロー図である。
最初に図1に目を向けると、当技術分野で現在見出され、特定の一実施形態において本発明が関係するシステムの概略図が提供されている。
マルチディスプレイデバイスシステム10は、「シンクライアント」アーキテクチャを用いており、たとえば仮想PCを示すリモートサーバ構成12、ならびにユーザディスプレイ16、ユーザキーボード18およびユーザマウス20を備えるローカルユーザデバイス14を含む。
シンクライアントアーキテクチャは、ユーザがスクリーン16、キーボード18およびマウス20によってローカルで「クライアント」構成14とインターフェースをとりながらも、必要な処理およびコンテンツ生成のすべてをリモートサーバ12で実行することを可能にする。
適切な通信リンク22は、たとえば、リモートサーバ12から仮想PCレンダリングデータフロー24を受信し、それを26で表示するためのユーザディスプレイデバイス16に配信する。
スクリーン16の表示されたコンテンツと対話するために、ヒューマンインターフェースデバイス(HID)事象が28でキーボード18および/またはマウス20から通信リンク22に配信され、30でリモートサーバ構成12に進み、その結果、たとえば、ユーザはリモートサーバ12で作動しているアプリケーションと対話することができる。そしてユーザは、たとえば要求されるアプリケーションを実行している間に、スクリーン16に表示されるレンダリング済みデータ24、26に影響を与えることができる。
データの通信先または通信元となることが可能で、複数のスクリーンおよび/またはユーザインターフェース構成のうちの少なくとも1つも提示する、図1のモバイルデバイス32のような追加デバイスも、キーボード18およびマウス20を利用するユーザは通常保有している。
したがって、図1に示すシナリオの範囲内で、ユーザは、たとえば、シンクライアント構成の外部スクリーン16を使用するいくつかのPCアプリケーションを実行することができる。しかしながら同時に、たとえばモバイルデバイスアプリケーションを、モバイルデバイス32の内部スクリーンおよびキーボード、およびたとえばそのキーボード/トラックボールによって実行する必要がありうる。
こうした二重の動作を実現するために、ユーザはリモートスクリーン/キーボード/マウスの組合せ16、18および20と、またはモバイルデバイス32と別個にインターフェースをとらなければならない。
このような構成は、ユーザが複数のスクリーンおよびたとえばキーボードなどとインターフェースをとらなければならない限り、結果的に不都合なほど厄介となりうる。
次に図2に目を向けると、本発明の一実施形態の要約概略図が提供されており、これは図1に関して上述したような不利点を克服するのに役立つ。
本発明に関するこの示された実施形態では、スクリーン40、キーボード42およびマウス44を含むローカルユーザインターフェース構成38を提示するシンクライアントアーキテクチャの一部としてリモートサーバ36を用いるマルチデバイスシステム34がやはり提供されている。示されたシナリオはここでも、複数のディスプレイデバイスのうちの1つとしてモバイルデバイス46を用いており、重要なことに、モバイルデバイス46は、リモートサーバ36とユーザインターフェース構成38との間におけるコンテンツ/データの通信のためのノードとしての役割を果たすことを可能にする機能47を含む。
したがって、シンクライアントアーキテクチャのリモートサーバ36とユーザインターフェース構成38との間の通信リンクはワイヤレスリンクを含み、モバイルデバイス46のノード47の機能は、リモートサーバ36からレンダリングデータフロー48を受信し、当該データフロー50をユーザディスプレイスクリーン40に配信することである。加えて、モバイルデバイス46の内部スクリーンによって表示されるデータに関するモバイルレンダリングデータフロー52を含む必要があり、その結果、ユーザディスプレイスクリーン40は、リモートサーバ36から発生するレンダリングデータフローと、モバイルデバイス46から発生するモバイルアプリケーションのレンダリングデータフローの両方を同時に表示することができる。
本明細書内の関連する説明から諒解されるように、モバイルアプリケーションのレンダリングデータフロー52の追加は選択的に実現でき、そのような選択性は、着信信号によって引き起こされるモバイルアプリケーションの開始のような、モバイルデバイス46の目下の動作特性に応じて制御されうる。
たとえば、モバイルデバイス46が音声コールまたはテキストメッセージなどの着信コールを受信したことが識別された場合、リモートサーバ36から到着した48に対するモバイルアプリケーションのレンダリングデータフロー52の追加が、当該コールの到着に伴い、またはモバイルデバイス46のユーザによる当該コールの受け入れに伴い開始されうる。
リモートサーバ36からのレンダリングデータフローとモバイルデバイス46からのモバイルアプリケーションのレンダリングデータフローとを共通ユーザディスプレイスクリーン40に結合して表示することを、本発明が有利に可能にしうる限り、リモートサーバ36とモバイルデバイス46の両方で作動するアプリケーションが、キーボード42およびマウス44を含む共通インターフェース構成によって制御されることも、本発明は有利に可能にしうる。
したがって、図2に示すように、HID事象54は、キーボード/マウスの組合せ42、44から配信され、リモートサーバ36に配信されるHID事象56、またはモバイルデバイス46に配信されるHID事象58として、適切なターゲットデバイスに向けてモバイルデバイス46の機能ノード47内でルーティングされるように構成される。
その結果ユーザは、キーボード/マウスの組合せ42、44、およびユーザディスプレイスクリーン40に示された結合コンテンツによって、リモートサーバアプリケーションまたはモバイルデバイスアプリケーションと容易にかつ効率的に対話することができる。
リモートサーバ36からのレンダリングデータフローおよびモバイルデバイス46からのモバイルアプリケーションのレンダリングデータフローの潜在的な同時表示と同様に、キーボード/マウスの組合せ42、44からのHID事象54が、選択的かつ/または応答的に適切なターゲットデバイスに配信されうる。
したがって、上記から諒解されるように、ユーザがたとえばシンアーキテクチャ36、38によりPCファイルを編集している間に、着信モバイル電話コールが到着した場合、ユーザは、キーボード/マウスの組合せ42、44およびユーザディスプレイスクリーン40だけで、モバイルデバイス36と対話することができる。その結果、(この例では、モバイルデバイス46で生じる着信電話コールを含む)アプリケーションを処理するために当該インターフェース構成38から注意をそらす現実的必要性はない。
図3は、本発明を具現化し、モバイルデバイス46と、リモートサーバ36との間のワイヤレス接続性(制限的な例では基地局58による)、および総じてよりローカルな、ユーザディスプレイ、キーボードおよびマウスデバイスを含むユーザインターフェース構成38とのワイヤレス通信60を示すそのようなシステムのさらなる概略図を提供している。
そのような構成では、モバイルデバイス46が内部スクリーンを一般に示すのに対し、インターフェース構成38は外部スクリーンおよび外部HIDを含むことを諒解されたい。
このさらなる図示で確認されるように、モバイルデバイス46は、基地局58からの標準的なネットワーク通信シグナリングと、たとえばリモートサーバ36で作動するリモートアプリケーションに関係し、ユーザインターフェース構成38のユーザディスプレイスクリーン向けのレンダリングデータの両方を受信するように構成される。
したがって、モバイルデバイスでローカルに作動するアプリケーションに関するコンテンツは、リモートサーバからのリモートPCアプリケーションのレンダリングデータに積み重ねられ(incrusted)、それにより、モバイルデバイスの内部スクリーンではなく、またはそのような内部スクリーンに加えて、シンクライアント構成の外部スクリーンに提示される。
以下でより詳細にさらに説明するように、本発明は、共通ユーザディスプレイデバイスに結合された表示を提供するために、モバイルアプリケーションのレンダリングとモバイルハードウェアエミュレーションのレンダリングの両方をリモートPCアプリケーションのレンダリングデータ内に積み重ねることを有利に行うことができる。そのような結合された表示は、リモートPCアプリケーションに関係するレンダリング、実際のモバイルアプリケーションに関係するレンダリングの両方を含み、および実際に、モバイルハードウェアデバイスのエミュレーションに関係するレンダリングを含み、その結果、実際のデバイスに対応する画像が、レンダリング済みモバイルアプリケーションデータに加えて、共通ディスプレイスクリーンに現れうる。
有利なことに、モバイルハードウェアエミュレーションは、ユーザがエミュレートされたボタンを使用して(たとえば、通話ボタンまたは検索ボタンを押すなどして)モバイル電話アプリケーションと対話することを可能にする。
次に、本発明のさらなる態様について、図4に関連してより詳細に説明する。図4は、本出願の図2および図3に示すような様々なシステム要素の概略図を含む。
図4の中に、たとえば図3に示すようなリモートサーバ36、ユーザディスプレイスクリーン40、ユーザキーボード42、ユーザマウス44、およびユーザモバイルデバイス46が示されている。
最初に上記のリモートサーバ36に目を向けると、これは、たとえばPCアプリケーション64を実行しているシンクライアントサーバ62を含みうる。
モバイルデバイス46に関して、第1のアプリケーションに関係するレンダリングデータを生成するための第1のモジュール66、および第2のアプリケーションに従いレンダリングを生成する第2のモジュール68が提供される。第1のアプリケーションは、たとえば、シンクライアント技術によってローカルまたはリモートで生成されるPCアプリケーション70を含むことができ、第2のアプリケーション72は、モバイルデバイス46の中でローカルに生じるモバイルアプリケーションを含むことができる。
モバイルアプリケーション72のレンダリングを、モバイルデバイス46のエミュレートされた周辺装置(たとえば、キーパッドおよびトラックボール)に関係するレンダリングと結合するモジュール74が提供され、アプリケーション70のレンダリングを、モジュール74で生じた結合レンダリングの出力と結合する追加モジュール76が提供される。
決定モジュール78がさらに提供され、これは、特定のアプリケーション事象を検出するように構成される。これは、たとえば、モジュール76によって提供される結合レンダリングを、たとえば、着信コールの到着または実際にそのようなコールの到着に対するユーザの応答を含みうる特定のアプリケーション事象に応答する形で完成させることができる手段を提供する。
説明の目的で、モバイルデバイス46の内部スクリーン80およびキーボード82にも言及すると、モジュール74によって達成されるレンダリングの結合の観点から、スクリーン80、当然ながらスクリーン80に表示されるデータ、およびキーパッド82を含むローカルモバイルデバイス46の外側の画像を、モジュール76の中でアプリケーション70のレンダリングと結合して、図4の中に示すユーザディスプレイスクリーン40に表示することができる。
次に、本出願の図5および図6を参照する。これは、図4が示す内容に加えて、本発明を示す一実施形態の2つのシナリオをさらに示している。
最初に図5に目を向けると、すでに示したデバイス46のようなモバイルデバイス内でローカルに出力が生成される本発明の一例の流れ図が示されている。
図4を参照して示したように、そのようなモバイルデバイス46は、シンクライアントサーバと接続することができ、以下の説明で、図5および6を参照して、モバイルデバイス内で生じる任意のレンダリングデータ(たとえば、画像、ビデオ)が「出力データ」と呼ばれ、キー/マウス事象のような任意の要求されるユーザ入力がいわゆる「入力データ」を生成する役割を果たすことを諒解されたい。
また、図5と図6の両方で、ユーザディスプレイデバイス40、ユーザキーボードおよびマウス42、44、モバイルデバイス内部ディスプレイ80、およびモバイルデバイスのキーパッド82の概略図が示されている。
上述のモジュール74、76および78も示されている。
フローチャートではまずモジュール74を参照する。モジュール74は、判断モジュール78の制御下で、該当するレンダリングデータの必要な結合を開始する役割を果たし、このようにして、キーパッド82のようなモバイルデバイス周辺装置のレンダリングRP1と、モバイルデバイス46内で発生し、ディスプレイ80に表示されるモバイルアプリケーションを含む図4の第2のアプリケーション72のレンダリングRA2との結合を行う。上記のように、モジュール74におけるレンダリングのそのような結合の出力は、追加モジュール76に入力される。追加モジュール76は、サーバ側接続A1Sから示されるシンクライアント接続によって導出されうる第1のアプリケーション70のレンダリングRA1を受信するようにさらに構成される。
モジュール76内で生じるそのようなさらなる結合レンダリングも、ユーザディスプレイスクリーン40に示す出力となる。
諒解されるように、レンダリングデータを結合することを目指すモジュール74、76はいずれも、たとえば第2のアプリケーション72のレンダリングRA2のための任意の適切な透明値で動作する任意のアルファブレンディングを用いることができる。
もちろん、代替的なオーバーレイ層のような様々な他のイメージング構成を用いることもできる。
図5にも示されているように、モジュール76とユーザキーボード/マウス42、44の組み合わせとの接続性に起因して、これらの周辺デバイス42、44から生じる入力は、第1のアプリケーションのクライアント側A1CまたはモバイルアプリケーションA2のいずれかの方へ示されているように、モジュール76によって方向付けることができる。
このようにして、どのアプリケーションがその時点で周辺デバイスのキーボード42およびマウス44によって制御されるかによって、そのような実施形態のターゲットアプリケーションは必要に応じて変わりうる。
次に図6に目を向けると、図5に似たフローチャートが示されているが、このシナリオでは、ユーザディスプレイ40に出力される結合レンダリング済みデータの生成に、少なくとも部分的にリモートの態様がある。
上記と似た最初のステップを踏み、モジュール74は、モバイルデバイスキーパッド82のレンダリングデータRP1とモバイルアプリケーション、すなわち図4の第2のアプリケーション72のレンダリングデータRA2とを結合する役割を果たし、次いでそのようなデータはモジュール76(この例では、サーバ側モジュール76sを含む)に配信される。
サーバ側モジュール76に到着した結合レンダリング済みデータは、サーバ側の第1のアプリケーションデータA1Sとのリモート結合のためにクライアント側モジュール76cを含むリモート場所に配信され、A1Sは、第1のアプリケーションのクライアント側A1CにおけるレンダリングデータRA1によって、ユーザディスプレイ40に示されるもののように見える。
同じく、キーボード42およびマウス44を含む周辺デバイスを使用してモバイルデバイスとインターフェースをとることで、第1のアプリケーションまたは第2のアプリケーションのいずれかに対する必要な制御を実現することができる。
図5および図6の上記の例の両方で、モジュール74からのグラフィック出力を、アプリケーション出力データの任意の適切なデジタル合成によって実施できることを諒解されたい。
さらに、モジュール76からの出力は、第1のアプリケーションに割り当てられた層の上へのオーバーレイとして先行モジュール74の出力を設定することによって実施すること、または第1のアプリケーションに関連付けられた出力データと第2のアプリケーションに関連付けられた出力データとの間のアルファブレンディング動作を使用して実施することができる。
ただし一般的には、任意の適切な画像処理技法を用いて出力データを生成することができ、例として、たとえば回転および拡大のようなユークリッド幾何学変換、2つ以上の画像の結合によるデジタル合成、分析目的で表示を単純化するためのセグメント化および補間があるが、この列挙を決して網羅的だと考えるべきではないことを諒解されたい。
たとえばモバイルデバイスアプリケーションをローカルで実行することができ、PCアプリケーションをリモートサーバによって動作する仮想化されたPCにおいてリモートで実行することができるツーインワン型モバイルPCデバイスを、本発明が有利に提供できることを諒解されたい。
本発明が前述の実施形態の詳細に限定されないことをさらに諒解されたい。たとえば、システムは、任意の適切な数の多種多様なディスプレイ発展型デバイス(display-developing devices)、および実際に、リモートサーバによって作動するユーザディスプレイデバイスとローカルモバイル無線通信デバイスの両方とインターフェースをとるための任意の適切な形態のインターフェースデバイスを含むことができる。モバイル無線通信デバイスがモバイルデバイスを含む例を示してきたが、何らかの形の通信機能を発揮する任意の適切なモバイルデバイスを使用できることが諒解されよう。加えて、本発明はワイヤレス通信システムに限定されず、(たとえば、ADSLまたは光ファイバー接続による)有線通信システムにも適用できることを諒解されたい。本出願の文脈内で、通信への言及は、1つのデバイスから別のデバイスへの、たとえば制御、表示などを目的としたコンテンツ/データ/シグナリング/の配信を広く包含するように意図されていることをさらに諒解されたい。
10 マルチディスプレイデバイスシステム
12 リモートサーバ構成
14 ローカルユーザデバイス、「クライアント」構成
16 ユーザディスプレイ、スクリーン
18 ユーザキーボード
20 ユーザマウス
22 通信リンク
24 仮想PCレンダリングデータフロー、レンダリング済みデータ
26 レンダリング済みデータ
32 モバイルデバイス
34 マルチデバイスシステム
36 リモートサーバ、シンアーキテクチャ
38 ローカルユーザインターフェース構成、シンアーキテクチャ
40 スクリーン、ユーザディスプレイスクリーン
42 キーボード
44 マウス
46 モバイルデバイス
47 機能、ノード
48 レンダリングデータフロー
52 モバイルレンダリングデータフロー、モバイルアプリケーションのレンダリングデータフロー
54 HID事象
56 HID事象
58 HID事象
58 基地局
60 ワイヤレス通信
62 シンクライアントサーバ
64 PCアプリケーション
66 第1のモジュール
68 第2のモジュール
70 PCアプリケーション
72 第2のアプリケーション、モバイルアプリケーション
74 モジュール
76 追加モジュール
76c クライアント側モジュール
76s サーバ側モジュール
78 判断モジュール
80 内部スクリーン、モバイルデバイス内部ディスプレイ
82 キーボード、キーパッド

Claims (24)

  1. リモートサーバから配信されたコンテンツをユーザディスプレイデバイスでユーザに表示し、モバイル無線通信デバイスからのコンテンツを前記ユーザに表示する方法であって、前記リモートサーバから前記コンテンツを前記モバイル無線通信デバイス経由で前記ユーザディスプレイデバイスにルーティングするステップと、前記モバイル無線通信デバイスからコンテンツを表示するための前記ユーザディスプレイデバイスに配信するステップとを含む方法。
  2. 前記モバイル無線通信デバイスから前記コンテンツを前記ユーザのディスプレイデバイスに配信する前記ステップは、選択的に開始されるステップである、請求項1に記載の方法。
  3. 前記開始ステップは、前記モバイル無線通信デバイス内のアプリケーションに応答したものである、請求項2に記載の方法。
  4. 前記モバイル無線通信デバイスからのコンテンツの前記配信は、前記モバイル無線通信デバイスに到着した着信信号、および/または当該信号の前記到着に対する前記ユーザの応答に応答したものである、請求項3に記載の方法。
  5. 前記リモートサーバから配信されたコンテンツの表示は、前記モバイル無線通信デバイスからのコンテンツの前記表示と同時に生じる、請求項1から4のいずれか一項に記載の方法。
  6. 前記同時表示は、前記リモートサーバからの前記コンテンツと前記モバイル無線通信デバイスからの前記コンテンツとの結合により、前記モバイル無線通信デバイスでローカルに生じる、請求項5に記載の方法。
  7. 前記リモートサーバデバイスからの前記コンテンツと前記モバイル無線通信デバイスからの前記コンテンツとの結合は、前記リモートサーバで完成する、請求項5に記載の方法。
  8. 前記ユーザディスプレイデバイスに関連付けられたユーザインターフェース手段によって、前記モバイル無線通信デバイスとインターフェースをとるステップをさらに含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記ユーザディスプレイデバイスに関連付けられた前記ユーザインターフェースデバイスから生じる制御シグナリングが、前記モバイル無線通信デバイスに配信される、請求項8に記載の方法。
  10. 前記ユーザディスプレイデバイスに関連付けられた前記ユーザインターフェースデバイスから生じる制御シグナリングが、前記モバイル無線通信デバイス経由で前記リモートサーバに配信されうる、請求項8または9に記載の方法。
  11. 前記モバイル無線通信デバイスにおいて、前記ユーザディスプレイデバイスに関連付けられた前記ユーザインターフェースデバイスから到着した前記制御シグナリングを選択的に用いて、前記モバイル無線通信デバイスおよび/または前記リモートサーバとインターフェースをとる、請求項8から10のいずれか一項に記載の方法。
  12. 内蔵アプリケーションによるコンテンツを表示し、リモートサーバからコンテンツを受信し、前記リモートサーバからの前記コンテンツをモバイル無線通信デバイスから離れているユーザディスプレイデバイスに配信し、前記アプリケーションから導出された前記コンテンツを表示するための前記ユーザディスプレイデバイスにさらに配信するように構成されたモバイル無線通信デバイス。
  13. 前記モバイル無線通信デバイスにおける前記アプリケーションに関係するコンテンツの配信は、選択的かつ/または前記アプリケーションに応答したものである、請求項12に記載のモバイル無線通信デバイス。
  14. 前記ユーザディスプレイデバイスに関連付けられたユーザインターフェースデバイスから制御シグナリングを受信し、そのような制御シグナリングを前記リモートサーバに配信し、かつ/または前記制御シグナリングによる前記アプリケーションの制御を可能にするように構成される、請求項12または13に記載のモバイル無線通信デバイス。
  15. 前記制御シグナリングによる前記アプリケーションの前記制御は、選択的かつ/または応答的に達成されるように構成される、請求項12から14のいずれか一項に記載のモバイル無線通信デバイス。
  16. 前記コンテンツの結合のための少なくとも1つのモジュールさらに含む、請求項12から15のいずれか一項に記載のモバイル無線通信デバイス。
  17. モバイルアプリケーションデータ、および前記モバイル無線通信デバイスの外部特性に関するモバイル通信デバイスエミュレーションデータをレンダリングするための第1のモジュールをさらに含む、請求項16に記載のモバイル無線通信デバイス。
  18. 前記リモートサーバからのサーバベースのアプリケーションに関するレンダリングデータと前記第1のモジュールの出力とを結合するための第2のモジュールをさらに含む、請求項17に記載のモバイル無線通信デバイス。
  19. ユーザディスプレイデバイスと、前記ユーザディスプレイデバイスから離れており、コンテンツを前記ユーザディスプレイデバイスに配信するためのサーバと、ユーザがアクセスするモバイル無線通信デバイスとを含む通信システムであって、前記サーバからコンテンツを前記モバイル無線通信デバイス経由で前記ユーザディスプレイデバイスにルーティングし、前記モバイル無線通信デバイスからのコンテンツを前記ユーザディスプレイデバイスに表示するように構成されるシステム。
  20. 前記コンテンツは、前記ユーザディスプレイデバイスにワイヤレスに配信される、請求項19に記載の通信システム。
  21. 請求項1から11のいずれか一項に記載の方法により動作するように構成される、請求項19または20に記載のシステム。
  22. 請求項12から18のいずれか一項に定めるモバイル無線通信デバイスをさらに含む、請求項19から21のいずれか一項に記載のシステム。
  23. モバイル無線通信デバイスのアプリケーションに関係するコンテンツの前記表示を制御する方法であって、前記コンテンツを、リモートサーバから前記モバイル無線通信デバイス経由で配信されたコンテンツを表示するようにさらに構成されたリモートユーザディスプレイデバイスに配信するステップを含む方法。
  24. 請求項1から11および23のいずれか一項の方法のうちの1つまたは複数の前記ステップを実行するための命令を含む、コンピュータプログラム、コンピュータプログラム製品、またはコンピュータ可読媒体。
JP2013500822A 2010-03-26 2011-03-28 ディスプレイデバイスならびにそのようなデバイスを組み込むシステムおよび方法 Pending JP2013525874A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1005128.2 2010-03-26
GB1005128A GB2478994A (en) 2010-03-26 2010-03-26 Displaying content delivered from a remote server via a mobile radio communication device in combination with the content from the mobile communication device
PCT/JP2011/058469 WO2011118859A1 (en) 2010-03-26 2011-03-28 Display device and system and method incorporating such device

Publications (1)

Publication Number Publication Date
JP2013525874A true JP2013525874A (ja) 2013-06-20

Family

ID=42228421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013500822A Pending JP2013525874A (ja) 2010-03-26 2011-03-28 ディスプレイデバイスならびにそのようなデバイスを組み込むシステムおよび方法

Country Status (6)

Country Link
US (1) US20130080894A1 (ja)
EP (1) EP2553585A1 (ja)
JP (1) JP2013525874A (ja)
CN (1) CN102985912A (ja)
GB (1) GB2478994A (ja)
WO (1) WO2011118859A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2712152B1 (en) * 2012-09-24 2016-09-14 Denso Corporation Method and Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122957A (ja) * 1998-10-15 2000-04-28 Matsushita Electric Ind Co Ltd 分散型インターネットブラウザシステムとその表示方法
US6633759B1 (en) * 1999-09-30 2003-10-14 Kabushiki Kaisha Toshiba Communication system, and mobile communication device, portable information processing device, and data communication method used in the system
JP2005135346A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 情報処理方法、情報処理装置、及び情報処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1628450B (zh) * 2001-05-01 2010-05-26 Meta4hand公司 无线网络计算
JP2003324543A (ja) * 2002-05-07 2003-11-14 Fujitsu Ltd 情報処理装置の操作による移動電話機の制御
WO2005088947A1 (en) * 2004-03-17 2005-09-22 Swedect Ab Mobile phone system
JP2005295149A (ja) * 2004-03-31 2005-10-20 Ntt Comware Corp 音声通話システム、ウェブブラウザ端末、パソコン端末、音声通話方法ならびに端末プログラム
JP2009128980A (ja) * 2007-11-20 2009-06-11 Hitachi Ltd 通信装置
WO2009130605A2 (en) * 2008-04-21 2009-10-29 Vaka Corporation Methods and systems for customizing and embedding widgets in instant messages
CN102027450B (zh) * 2008-05-20 2015-05-13 思杰系统有限公司 由移动计算装置使用外部显示装置的方法和系统
US9241062B2 (en) * 2009-05-20 2016-01-19 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122957A (ja) * 1998-10-15 2000-04-28 Matsushita Electric Ind Co Ltd 分散型インターネットブラウザシステムとその表示方法
US6633759B1 (en) * 1999-09-30 2003-10-14 Kabushiki Kaisha Toshiba Communication system, and mobile communication device, portable information processing device, and data communication method used in the system
JP2005135346A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 情報処理方法、情報処理装置、及び情報処理システム

Also Published As

Publication number Publication date
WO2011118859A1 (en) 2011-09-29
GB2478994A (en) 2011-09-28
GB201005128D0 (en) 2010-05-12
CN102985912A (zh) 2013-03-20
EP2553585A1 (en) 2013-02-06
US20130080894A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
US11785056B2 (en) Web browser interface for spatial communication environments
EP2520065B1 (en) Screen sharing
WO2022188595A1 (zh) 应用画面的显示方法、装置、终端、投屏系统及介质
US9813463B2 (en) Phoning into virtual communication environments
KR101385364B1 (ko) 애플리케이션 인터페이스 부분들을 주변의 컴퓨터 디바이스들 상에 제공하기 위한 방법 및 장치
US20090247136A1 (en) Assisted application operation service for mobile devices using screen sharing
US20130036366A1 (en) Adaptive user interface for multi-source systems
CN108431763B (zh) 通过网络服务管理多个云存储装置
WO2018169735A1 (en) Event conditioned views for teleconferencing sessions
KR102136474B1 (ko) 가상 세션에서의 클라이언트 측 키보드 레이아웃과 서버 측 키보드 레이아웃의 동기화
JP7168671B2 (ja) サービス処理方法及び移動通信端末
CN109891836B (zh) 具有智能回复和漫游草稿的电子邮件
JP2013214911A (ja) 電話端末および画面共有方法
CN112839007B (zh) 一种网络攻击的防御方法及装置
CN112274910A (zh) 虚拟按键配置方法、虚拟按键方法及相关装置
US20220368667A1 (en) Method and apparatus for forwarding content between different application programs
JP2013525874A (ja) ディスプレイデバイスならびにそのようなデバイスを組み込むシステムおよび方法
WO2016040200A1 (en) Accessibility features in content sharing
JP2017062645A (ja) 画像配信システム、画像配信方法及びプログラム
US20170364247A1 (en) Drawing integration into e-mail system
CN103201727A (zh) 用于向设备应用动态分配外部外设的方法
KR102537913B1 (ko) 특정영역에서의 vmi화면과 로컬화면 표시 방법 및 장치
WO2023160457A1 (zh) 消息发送方法、装置和电子设备
JP2022046432A (ja) 着信転換基盤のユーザ端末の電話番号を維持する方法およびシステム{method and system for keeping phone number of user terminal based on call forwarding}
JP2022046431A (ja) 二重着信転換基盤の仮想番号接続方法およびシステム{method and system for connecting virtual number based on double call forwarding}

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140212

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150529

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151117