JP2021519482A - マルチ画面ディスプレイと操作（ｉｎｔｅｒａｃｔｉｏｎ）のためのシステムと方法 - Google Patents

Abstract

マルチ画面操作のための様々なシステム及び方法が説明される。第１の画面上の第１のディスプレイからのコンテンツ及びオブジェクトは、様々なジェスチャを使用して他の画面上の他のディスプレイに転送され得る。いくつかの実施形態では、第１のディスプレイ上のアクティブ領域は、様々な他のディスプレイに対応し、そのアクティブ領域に対応するジェスチャは、第１のディスプレイ上のコンテンツ又はオブジェクトを他のディスプレイへ転送することを可能にする。いくつかの実施形態では、コンテンツは、音声コンテンツを含むことが可能であり、音声コンテンツは、第１ディスプレイから選択された様々な音声出力デバイスにおいて再生可能である。

Description

説明される実施形態は、マルチ画面操作のためのシステム及び方法に関し、特に、複数の表示装置の間でメディアオブジェクトと相互作用し、メディアオブジェクトを転送するためのシステム及び方法に関する。

複数の画面及び他の出力装置を有する、プレゼンテーション及び他のシステムを含むコンピューティングシステムはよく知られている。異なる画面上のディスプレイの間にコンテンツを配置することは一般的に面倒であり、時間がかかり、また不便である。

コンピューティングシステムに接続された複数の画面又は他の出力装置にわたって異なるディスプレイ上にコンテンツを配置する、簡便で直感的な方法が求められている。

第１の態様では、本発明のいくつかの実施形態は、複数のディスプレイの操作の方法を提供する。これは、ディスプレイ、入力装置、プロセッサ、及びメモリを備える複数の表示装置を提供することと、第１の表示装置に関連付けられた第１のディスプレイにオブジェクトを表示することと、オブジェクト上の第１の点で始まり、第２の点で終了する入力ジェスチャを受信することと、第１の点と第２の点との間に線を決定することと、その線の投影が複数のアクティブ領域のうちの第１のアクティブ領域と交差する場合には、そのオブジェクトを第１のアクティブ領域に移動させ、オブジェクトを第１のアクティブ領域に対応する第２の表示装置に関連付けて、そのオブジェクトを第２のディスプレイ上に表示することと、交差しない場合には、その線の投影に沿ってオブジェクトを移動させることと、を含む。

いくつかの実施形態において、この方法は、第１の点と第２の点の間の入力速度ベクトルを決定し、その入力速度ベクトルに基づいてオブジェクトを移動させることを更に含み得る。

いくつかの実施形態において、この方法は、第１の点と第２の点の間の入力加速度ベクトルを決定し、その入力加速度ベクトルに基づいてオブジェクトを移動させることを更に含んでよい。

いくつかの実施形態において、この方法は、オブジェクトの質量及び速度に基づいて第２の点におけるオブジェクトの運動量を決定することと、オブジェクトをオブジェクトの運動量で投影線に沿って移動させ、オブジェクトの移動に伴ってオブジェクトの運動量を減少させることと、を更に含む。

いくつかの実施形態において、この方法では、各表示装置はさらに音声デバイスを備えてもよく、オブジェクトは音声コンテンツ及び映像コンテンツを含んでもよく、オブジェクトを表示することが、映像コンテンツを表示装置上に表示し、音声コンテンツを音声デバイスで再生することを更に含んでもよい。

いくつかの実施形態において、この方法は、第１の表示装置に関連付けられた前記オブジェクトを変更すること（modifying）を更に含んでよい。

いくつかの実施形態において、この方法は、第２の表示装置に関連付けられたオブジェクトを変更することと、オブジェクト上の第３の点で始まり、第４の点で終了する第２の入力ジェスチャを受信することと、第３の点と第４の点との間に第２の線を決定することと、その第２の線が複数のアクティブ領域のうちの第２のアクティブ領域と交差する場合には、オブジェクトを第２アクティブ領域に移動させ、オブジェクトを第２アクティブ領域に対応する第１の表示装置に関連付けて、そのオブジェクトを第１の表示装置に表示することと、交差しない場合には、オブジェクトを第２の線の方向に移動させることと、をさらに含んでよい。

いくつかの実施形態において、この方法は、複数の選択肢を有するオブジェクトに関連付けられた操作フィールドと、複数の選択肢からの選択に対応する第２の入力ジェスチャを受信することと、選択に基づいて操作フィールドを変更することと、オブジェクトを第１の表示装置に関連付けることと、を更に含んでよい。

いくつかの実施形態において、この方法は、第１の表示装置が第１のオーディエンス情報を含んでよく、第２の表示装置が第２のオーディエンス情報を含んでよく、オブジェクトが第１のオーディエンスコンテンツ及び第２のオーディエンスコンテンツを含んでよく、オブジェクトを表示することが、第１のオーディエンス情報に基づいて第１のディスプレイ上に第１のオーディエンスコンテンツを表示し、第２のオーディエンス情報に基づいて第２のディスプレイ上に第２のオーディエンスコンテンツを表示することを更に含んでもよい。

第２の態様では、本発明のいくつかの実施形態は、オブジェクトと複数の表示装置とを備え、各表示装置が、オブジェクトを格納するメモリ、ディスプレイ、プロセッサ、及び入力ジェスチャを受信する入力装置を備える、マルチ画面操作システムを提供する。
ここで、第１の表示装置のディスプレイがオブジェクトを表示する。第１の表示装置のプロセッサが、入力装置から、ディスプレイ上の点においてジェスチャに対応する複数の点（その第１の点がジェスチャの開始に対応し、第２の点がジェスチャの終了に対応する）を受信し、第１の点から第２の点まで形成される線を決定し、その線の投影を決定し、その投影が複数のアクティブ領域のうちの第１のアクティブ領域と交差するかどうかを判定し、オブジェクトを第１のアクティブ領域に移動させて、オブジェクトを第１のアクティブ領域に対応する第２の表示装置へ送信し、交差しない場合には、第１の表示装置のディスプレイ上の投影に沿ってオブジェクトを移動させるように構成される。また、第２の表示装置のプロセッサは、第１の表示装置からオブジェクトを受信し、オブジェクトを第２の表示装置のメモリに格納し、第２の表示装置のディスプレイにそのオブジェクトを表示するように命令するように構成される。

いくつかの実施形態において、このシステムは、音声デバイスを更に備える複数の表示装置の各々と、映像コンテンツ及び音声コンテンツを更に含むオブジェクトと、映像コンテンツをディスプレイ上に表示し、音声コンテンツを音声デバイス上で再生するように更に構成された複数の表示装置の各々のプロセッサと、を更に備えてもよい。

いくつかの実施形態において、このシステムは、オブジェクトを変更するように更に構成された、複数の表示装置のうちの第１の表示装置のプロセッサを更に備え得る。

いくつかの実施形態において、このシステムは、オブジェクトを変更するように更に構成された、複数の表示装置のうちの第２の表示装置のプロセッサを更に備えてもよい。

いくつかの実施形態において、このシステムは、オブジェクトを第１の表示装置に送信するように更に構成された、複数の表示装置のうちの第２の表示装置のプロセッサと、第２の表示装置からオブジェクトを受信するように更に構成された、複数の表示装置のうちの第１の表示装置のプロセッサと、を更に備えてもよい。

第３の態様では、本発明のいくつかの実施形態は、マルチ画面操作システムの第１の表示装置から第２の表示装置へオブジェクトを転送する方法を提供する。この方法は、第１の表示装置と第２の表示装置を提供し、第１の表示装置上にオブジェクトを表示し、オブジェクトにおける並進ベクトルを含む入力ジェスチャを受信し、並進ベクトルの投影を決定し、並進ベクトルに基づいて第１の表示装置上のオブジェクトを移動させ、オブジェクトが第１の表示装置上の第１のアクティブ領域と交差することを検出し、オブジェクトを第１の表示装置から第１のアクティブ領域に関連付けられた第２の表示装置へ転送する、ことを含む。

いくつかの実施形態において、並進ベクトルは入力速度ベクトルを更に含むことができ、並進ベクトルの投影を決定することが、並進速度ベクトルを決定することを更に含んでもよい。

いくつかの実施形態において、並進ベクトルは入力加速度ベクトルを更に含むことができ、並進ベクトルの投影を決定することが、並進加速度ベクトルを決定することを更に含んでよい。

いくつかの実施形態において、この方法は、オブジェクトの運動量を決定することと、運動量に基づいてオブジェクトを移動させ、オブジェクトの移動に伴ってオブジェクトの運動量を減少させること、を更に含んでもよい。

いくつかの実施形態において、この方法は、オブジェクトが音声コンテンツ及び映像コンテンツを更に含むことと、第１の表示装置及び第２の表示装置は、音声デバイスを更に備えることと、オブジェクトを表示することが、映像コンテンツを表示し、表示装置の音声デバイス上で音声コンテンツを再生することを更に含むことと、オブジェクトを第１の表示装置から第２の表示装置へ転送することが、音声コンテンツの再生を第１の表示装置から第２の表示装置へ転送することを更に含むことと、を更に含んでもよい。

いくつかの実施形態において、この方法では、オブジェクトがさらに状態を含んでもよい。

いくつかの実施形態において、この方法はさらに、第１の表示装置と第２の表示装置がネットワーク通信をし、第１の表示装置から第２の表示装置へオブジェクトを転送することが、オブジェクトをシリアル化し、そのネットワーク通信を利用してシリアル化したオブジェクトを第２の表示装置へ転送し、第２の表示装置のメモリ内へオブジェクトを実体化することを更に含む、ことを備えてよい。

第４の態様では、本発明のいくつかの実施形態は、マルチ画面操作システムの第１の表示装置から第２の表示装置へオブジェクトを転送するシステムを提供する。このシステムは、ディスプレイ、プロセッサ、メモリ、及びユーザ入力装置を備える第１の表示装置と、ディスプレイ、プロセッサ、メモリ、及びユーザ入力装置を備える第２の表示装置とを備える。ここで、第１の表示装置のメモリはオブジェクトを含み、第１の表示装置と第２の表示装置はネットワーク通信を行い、オブジェクトは第１の表示装置のディスプレイ上に表示され、第１の表示装置のプロセッサは、ユーザ入力装置からのユーザ入力に基づいて線投影を決定し、線投影とアクティブ領域との間の交差を検出し、ディスプレイ上に表示されるオブジェクトを移動させ、オブジェクトをシリアル化し、シリアル化されたオブジェクトをネットワーク通信を利用して第２の表示装置へ通信するように動作可能であり、第２の表示装置のプロセッサは、ネットワーク通信を利用してシリアル化されたオブジェクトを受信し、オブジェクトをシリアル化されたオブジェクトからメモリ内へ実体化するように動作可能である。

いくつかの実施形態において、第１の表示装置のプロセッサは、入力速度ベクトルを決定し、並進速度ベクトルを決定し、入力加速度ベクトルを決定し、並進加速度ベクトルを決定し、オブジェクト運動量を決定し、並進速度ベクトル、並進加速度ベクトル、及びオブジェクトの運動量に基づいてオブジェクトを移動させるようにさらに動作可能である。

いくつかの実施形態において、このシステムでは、オブジェクトが音声コンテンツ及び映像コンテンツを更に含んでもよく、第１の表示装置及び第２の表示装置は、音声デバイスを更に備えてもよく、オブジェクトは映像コンテンツに基づいて第１の表示装置上に表示されてもよく、オブジェクトは音声コンテンツに基づいて第１の表示装置の音声デバイス上で再生されてもよく、オブジェクトのシリアル化には、音声コンテンツ及び映像コンテンツのシリアル化が含まれてもよい。

いくつかの実施形態において、このシステムにおいて、オブジェクトは状態を更に含んでもよい。

以下に説明するように、図面は本明細書に記載の様々な例示的実施形態の態様及び特徴を例示することを目的として提供され、限定することを目的としていない。さらに、表示を単純かつ明確にするために、対応する又は類似する要素やステップを示すために適当と考えられる場合には、図面間で参照番号を繰り返し使用する場合があることを理解されたい。

次に、本発明の好ましい実施形態を、図面を参照して詳細に説明する。

例示的な実施形態に係る、複数の表示装置及びサーバのシステム図である。 例示的な実施形態に係る、表示装置のシステム図である。 例示的な実施形態に係る、表示装置のソフトウェアコンポーネント図である。 例示的な実施形態に係る、オブジェクトのマルチ画面操作のための第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、オブジェクトを用いたユーザ入力に応答する、第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、オブジェクトがアクティブ領域と交差する、第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、オブジェクトが第２の表示装置に関連付けられている、第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、図４Ｃの第１の表示装置のアクティブ領域に関連付けられた、第２の表示装置のユーザインタフェースである。 例示的な実施形態に係る、オブジェクトを用いたユーザ入力に応答する、第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、オブジェクトがアクティブ領域と交差しない、第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、タッチ操作のための第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、タッチ操作のための第１の表示装置のユーザインタフェースである。 例示的な実施形態に係る、オブジェクトを第１の表示装置から第２の表示装置へ転送するためのシステム図である。 例示的な実施形態に係る、表示装置上でのマルチ画面操作の方法を示すフロー図である。 例示的な実施形態に係る、オブジェクトを第１の表示装置から第２の表示装置へ転送するための方法を示すフロー図である。 例示的な実施形態に係る、オブジェクトのソフトウェアコンポーネント図である。 例示的な実施形態に係る、オブジェクトのシリアル化された表現である。 例示的な実施形態に係る、表示装置の画面上でのオブジェクト移動のグラフ表示である。 例示的な実施形態に係る、表示装置の画面上でのユーザ入力速度に基づくオブジェクト移動のグラフ表示である。 例示的な実施形態に係る、表示装置の画面上でのユーザ入力加速度に基づくオブジェクト移動のグラフ表示である。 例示的な実施形態に係る、複数の関連するオブジェクトを有するユーザインタフェースである。 例示的な実施形態に係る、別個のオーディエンスコンテンツを有する複数の関連するオブジェクトを有するユーザインタフェースである。

本明細書に記載される様々な実施形態は、一般に、メディアオブジェクトのマルチ画面操作のための方法（及びその方法を実行するように構成された関連システム）に関する。

組織は、一般的に複数の画面を有する対話システムを使用することがある。本明細書に開示のマルチ画面操作システムと方法は、マーケティングのプレゼンテーションや、教室での講義を含む教育用のプレゼンテーションを含むプレゼンテーション、あるいは本発明で規定する複数の表示装置内に各人が表示装置を有する複数のユーザ間での共同作業を遂行するために使用することが可能である。ここでプレゼンテーションとは、教育者、教師又はリーダーの役割を果たす個人によって配布及び議論される一連のメディアコンテンツのアイテムを指す場合がある。

本明細書に開示されているマルチ画面操作システム及び方法は、参加者間の対話型の作業又は共同作業の遂行に利用することが可能である。そのような作業には、参加者が取り組むべき問題集や小テストを含む対話型の講義、参加者間で共有されるメディアコンテンツアイテムを複数の参加者で編集または修正する共同作業、または、参加者それぞれがメディアコンテンツの各人のローカルコピーを編集または修正する共同作業などが含まれるが、これに限るものではない。参加者がメディアコンテンツのローカルコピーを編集または修正する場合、修正はローカルに保存することもリモートに保存することも可能である。そうして、参加者は、メディアコンテンツに対する修正を、教師又はマルチ画面操作システムの他の参加者と共有することも可能である。

先ず図１を参照する。図１は、複数の表示装置１０２ａ、１０２ｂ、及び１０２ｃのシステム図１００を示している。例えば３つの表示装置が図示されているが、表示装置は２つしかない場合もあり、あるいは非常に多数（例えば、数百又は数千）の表示装置があってもよいことを理解されたい。複数の表示装置は、ネットワーク１０４によって相互に接続されている。ネットワーク１０４は、ＴＣＰ／ＩＰスイッチドネットワーク、ＬＡＮネットワーク、ＷＡＮネットワーク、又はインターネットであってもよい。表示装置のネットワーク１０４への接続は、イーサネット（登録商標）、Firewire（登録商標）、Bluetooth（登録商標）、ワイヤレス（８０２．１１など）、モデム、またはデジタル加入者線接続で提供され得る。

サーバ１０６は、データベースサーバ、アプリケーションサーバ、コンテンツ配信ネットワーク、又はこの技術分野で知られているその他のインターネットベースのソフトウェア配信技術のうちの少なくとも１つを含み得る。サーバ１０６は、MySQL、MongoDB、Postgresなどのデータベースソフトウェアを操作可能である。サーバ１０６は、Apache Tomcat、Glassfish、Oracle WebLogic等のアプリケーションサーバを操作可能である。

システム１００は、ソフトウェアプログラムコードとして実装されて、任意の既知の手段によって複数の表示装置及びサーバに配信されてもよい。

図２を参照する。図２は、表示装置２００のシステム図を示している。表示装置２００は、ディスプレイ画面（又は単に画面）２０２、スピーカ２０４、プロセッサ２０６、入力装置２０８、ネットワーク装置２１０、及びメモリ（揮発性、不揮発性の両方）２１２を有し得る。ディスプレイ画面２０２は、ＬＣＤ、ＣＲＴ、ＬＥＤ、ＯＬＥＤ、又はプラズマスクリーンであってもよい。画面２０２及び入力装置２０８は、例えば参加者の１つ又は複数の指を使用し、任意選択的にスタイラスを使用する静電容量方式のタッチディスプレイシステムを用いて、組み合わせ可能である。
表面接触検知システム及び方法の追加的説明は、２０１３年３月３日出願の米国特許第９、５８２、１１６号「表面上の放射線遮蔽物体を検知・追跡するシステムおよび方法」、２０１３年８月２７日出願の米国特許第９、４５３、７２６号「面上の放射遮蔽体の検出と追跡のためのシステム及び方法」、２０１２年１２月２日出願の米国特許第９、３９５、１８５号「モジュール型位置検出システムと方法」、２０１１年１２月１６日出願の米国特許第８、９６９、８２２号「２次元及び３次元位置検出システム、及びそのセンサ」、２０１２年１２月２日出願の米国特許第９、３９５、１８５号「モジュール型位置検出システムと方法」、２０１１年１２月１６日出願の米国特許第８、９６９、７６９号「２次元位置検出システム、及びそのセンサ」、２０１３年８月２７日出願の米国特許第９、４５３、７２６号「位置検出センサ、システム及び方法」、２０１１年３月１８日出願の米国特許第８、４０５、８２４号「位置検出センサ、システム及び方法」、に記載されている。
画面２０２は、ユーザに画像コンテンツの再生又は映像コンテンツの再生を提供可能である。プロセッサに接続されたスピーカ２０４は、参加者に音声コンテンツの再生を提供可能である。プロセッサ２０６は、任意の既知のプロセッサであってよく、例えば、インテル（登録商標）ｘ８６又はｘ８６＿６４アーキテクチャ、ＡＲＭ（登録商標）マイクロプロセッサ、Ｑｕａｌｃｏｍｍ（登録商標）、Ｓｎａｐｄｒａｇｏｎ（登録商標）を用いたもの、又は仮想化環境で提供されるプロセッサであってよい。
入力装置は、マウス、キーボード、コントローラ、タッチスクリーン、アイフォーカストラッキング装置（eye focus tracking device）、トラックパッド、運動検知加速度計（motion sensing accelerometer）、トラックボール、マイクロフォン等であってよい。表示装置２００は、携帯電話、タブレットデバイス、デスクトップコンピュータ、ラップトップコンピュータ、グーグル（登録商標）グラスなどのウェアラブルコンピュータ、ソニー（登録商標）プレイステーションＶＲ（登録商標）又はOculus（登録商標）Rift（登録商標）などの仮想現実デバイス、又はその他の任意の好適なデバイスであってよい。

図３を参照する。図３は、表示装置のソフトウェアコンポーネント図を示している。表示装置３００には、ディスプレイモジュール３０２、入力モジュール３０４、ネットワークモジュール３０６、物理モジュール３０８、オブジェクトモジュール３１０、及び音声モジュール３１２が含まれてよい。

ディスプレイモジュール３０２は、ユーザが見るユーザインタフェースを描画する役割を果たすことができる。そして実際に、表示装置に関連付けられたオブジェクトを画面上に描画（又はレンダリング）する役割を果たす。

入力モジュール３０４は、マウスのような指示デバイスや、静電容量方式のＬＣＤタッチスクリーンのような接触検知方式のスクリーン入力デバイスなどのユーザ入力装置からのユーザ入力を受信する役割、又はマイクロフォンで受信されたユーザからの口頭命令を受信する役割を果たすことができる。

ネットワークモジュール３０６は、他の表示装置又は遠隔地に配置されたサーバと通信する役割を果たすことができる。ネットワークモジュールは、表示装置が、別のオブジェクトにリンクしているメディアオブジェクトに関連付けられている場合に、同期又は非同期に接続を管理する役割を果たすことができる。

物理モジュール３０８は、ユーザ入力から決定されたユーザ入力ベクトルなどのベクトルを決定するように動作することができる。例えば、物理モジュールは、ユーザ入力装置によって入力された一連の点に基づいて、結果として生じる入力ベクトルを決定することができる。ユーザ入力ベクトルに基づくオブジェクト並進ベクトルや、オブジェクト速度ベクトルや、又はオブジェクト加速度ベクトルを含む、他のベクトルも決定することが可能である。物理モジュールは、モバイルデバイス内の複数の加速度計からの入力などの、多次元入力を受信して、３次元空間内のベクトルを決定することができる。
物理モジュール３０８は、移動中のオブジェクトの挙動を決定することもできる。例えば、他のオブジェクトまたは壁との交差を決定するか、表示装置上のオブジェクトの運動量を決定するか、あるいはオブジェクトが別のオブジェクト又は壁と交差するときに結果として生じる運動量を決定する。物理モジュールは、ユーザ入力ベクトルを提供してもよい。

オブジェクトモジュール３１０は、オブジェクトのプロパティを格納し、オブジェクトのプロパティを編集し、オブジェクトのメタデータを格納し、オブジェクトのメタデータを編集及び更新することができる。オブジェクトモジュールは、他のモジュールがオブジェクトのプロパティ、オブジェクトのメタデータ、及びオブジェクトを生成し、読み出し、更新し、又は削除するためのアプリケーション・プログラミング・インタフェース（ＡＰＩ）を提供することができる。

音声モジュール３１２は、オブジェクト内の音声コンテンツの再生をサポートすることができる。

図４Ａを参照する。図４Ａは、マルチ画面操作のための、第１の表示装置のユーザインタフェース４００を示している。ユーザインタフェースは、複数のアクティブ領域４０２ａ、４０２ｂと、オブジェクト４０４とを含むことができる。

アクティブ領域４０２ａ、４０２ｂは、サイズと形状を設定することができる。例えば、正方形、長方形、又は円形であってもよい。アクティブ領域もまた設定することができる。２つのアクティブ領域４０２ａ、４０２ｂが示されているが、ユーザインタフェース４００には３つ以上のアクティブ領域があってもよい。アクティブ領域は、その領域の対象となる表示装置をユーザが指定するように構成されてもよい。構成は例えば、対象の表示装置から受信したビデオ会議フィードの位置とサイズによって自動的に決まってもよい。一例では、ユーザのグループがビデオ会議をアクティブにし、各ユーザが他のユーザからのビデオフィードを見る。そして、ビデオフィードの各境界ボックスが表示装置上のアクティブ領域として自動的に動作して、ユーザはオブジェクトをそこへ「投げ込んで」対象となるユーザの表示装置へオブジェクトを送信することができる。

ユーザインタフェース４００は、任意選択で、ゼロ、１つ、又は２つ以上のオブジェクトを一度に表示することができる。オブジェクト４０４のようなオブジェクトについては、図１０Ａでより詳細に説明する。

図４Ｂを参照する。図４Ｂは、ユーザ入力に応答することができる第１の表示装置のユーザインタフェース４２０を示している。ユーザは入力装置を操作して、第１の点を選択する。そうして選択イベントが継続する間は、選択が解除されるまで入力点を追跡する（以下の図６Ａ〜図６Ｂで更に説明する）。第１の点がオブジェクト４２４の境界内にある場合は、ユーザインタフェース４２０は、オブジェクトを移動させてユーザ入力に応答する。

ユーザ入力により決定された線は、画面の端への投影線（projection line）４２２を決定するために使用され得る。オブジェクト４２４は、投影線４２２に沿って移動することができる。

任意選択により、選択イベントが継続する間は、オブジェクトはユーザのカーソルの現在点又はタッチ入力点へ移動することができる。こうして、オブジェクトは、選択イベントが終了するまで、ユーザのカーソル又は指入力に従うように見えてもよい。

図４Ｃを参照する。図４Ｃは、第１の表示装置のユーザインタフェース４４０を示している。ここでは、図４Ｂのオブジェクトを表すオブジェクト４４２が移動して、第２の表示装置に関連付けられたアクティブ領域４４４と交差する。交差は、アクティブ領域４４４の各々とオブジェクト境界４４２との重なりによって定義される。

図４Ｄを参照する。図４Ｄは、第１の表示装置のユーザインタフェース４６０を示している。そこでは、図４Ｃのオブジェクトは、第２の表示装置に関連付けられて、もはや画面４６２上には表示されていない。任意選択で、オブジェクトは、複数の表示装置に関連付けられるように構成されてもよく、オブジェクトが追加的に第２の表示装置に関連付けられた後も、オブジェクトが第１の表示装置に表示されたままにすることも可能である。そのようなオブジェクト構成では、第１の表示装置及び第２の表示装置に同時に且つ同期して表示される、リンクされたオブジェクトを可能とすることができる。

図４Ｅを参照する。図４Ｅは、図４Ｃのアクティブ領域４４４に関連付けられた第２の表示装置のユーザインタフェース４８０を示している。オブジェクト４８２は、第２の表示装置の画面４８４上に表示されている。オブジェクト４８２と第２の表示装置との関連付けにより、オブジェクト４８２の再生が起動（trigger）され得る。例えば、オブジェクトが第２の表示装置に関連付けられると、音声コンテンツや映像コンテンツが再生を開始するか、画像コンテンツが表示され得る。

図５Ａを参照する。図５Ａは、第１の表示装置のユーザインタフェース５００を示している。ユーザインタフェースは、アクティブ領域５０２ａ、５０２ｂ、オブジェクト５０４、及びユーザ入力に基づく線投影５０６がある。この図の線投影５０６は、アクティブ領域５０２ａ、５０２ｂのいずれとも交差していない。

図５Ｂを参照する。図５Ｂは、第１の表示装置のユーザインタフェース５５０を示している。そこでは、オブジェクト５５２が移動されているが、アクティブ領域５５２ａ、５５２ｂとは交差していない。

図６Ａ、図６Ｂを参照する。図６Ａ、図６Ｂは、ユーザの入力選択に応答するユーザインタフェース６００を示している。選択は第１の点におけるユーザ入力イベント、例えば、ユーザがマウスのボタンかキーボードのボタンを押したとき、あるいはユーザがタッチインタフェースへ指を置いたときの「マウスダウン（mouse-down）」に基づいて開始されてもよい。一連の点が完了する第２の点は、例えば、ユーザがマウスのボタンを離したとき、又はユーザがタッチインタフェースから指又はスタイラスを取り去ったときの「マウスアップ（mouse-up）」に基づいてもよい。

任意選択により、選択線６０６、６５６には、第１の点と第２の点とが含まれる。

任意選択により、選択線６０６、６５６には、第１の点６０４、６５４で始まり、第２の点６０８、６５８で終わる一連の点が含まれる。第１の点から第２の点６０８、６５８への選択線は、実質的に直線６０６であってもよく、曲線６５６であってもよい。

任意選択により、「マウスダウン」イベントの後で「マウスアップ」イベントの前において、オブジェクトは最新のカーソルポイント、あるいはタッチインタフェースが使用されている場合にはタッチポイントに従って移動し得る。こうして、オブジェクトは、選択線６０６、６５６に沿ってユーザの指又はカーソルに追従することができる。

投影線は、選択線６０６、６５６の一連の点の線形回帰により形成される、直線の投影線（本明細書では、投影ベクトル（projection vector）又は並進ベクトル（translation vector）とも称する）６１０、６６０を形成することもできる。投影線は選択線の第２の点で始まることができる。投影線６１０、６６０は、表示装置の画面端部の点６１２、６６２で終端する。図６Ａは、アクティブ領域６０２ａと交差する投影線６１０を示す。図６Ｂは、アクティブ領域６５２ａと交差しない投影線６６０を示す。

任意選択により、投影線は、湾曲した投影線（本明細書では、並進ベクトルとも称す）であってもよい。この場合、回帰は、多項式、指数、対数、あるいはそのようなフィッティングに使用されるその他の任意の数学モデルであってよい。

任意選択により、入力速度ベクトルは、選択線６０６、６５６に基づいて、その選択線の一次導関数を見つけることによって決定され得る。並進ベクトルに沿ったオブジェクトの移動は、入力速度ベクトルに基づくことができる。例えば、ユーザ入力に基づいて、オブジェクトは選択線に沿ってユーザ入力速度に比例する速度で移動することができる。

任意選択により、入力加速度ベクトルは、選択線６０６、６５６に基づいて、その選択線の二次導関数を見つけることによって決定され得る。並進ベクトルに沿ったオブジェクトの移動は、入力加速度ベクトルに基づくことができる。例えば、ユーザ入力に基づいて、オブジェクトは選択線に沿ってユーザ入力速度に比例する加速度で移動することができる。

図７を参照する。図７は、第１の表示装置から第２の表示装置へオブジェクトを転送するためのシステム７００を示している。システム７００は、３つの表示装置７０２ａ、７０２ｂ、及び７０２ｃと、表示装置７０２ｂ上の２つのアクティブ領域７０４ａ、７０４ｂとを含む。表示装置は２つしかない場合もあるが、図示したように３つよりも多い場合、おそらくは数百又は数千の場合もある。アクティブ領域７０４ａは、表示装置７０２ａに関連付けられており、アクティブ領域７０４ｂは、表示装置７０２ｃに関連付けられている。表示装置７０２ｂに関連付けられたオブジェクト（図示せず）は、オブジェクトをアクティブ領域７０４ａ上へ移動させるユーザ入力を与えることによって、表示装置７０２ａへ転送され得る。同様に、表示装置７０２ｂに関連付けられたオブジェクトは、オブジェクトをアクティブ領域７０４ｂ上へ移動させるユーザ入力を与えることによって、表示装置７０２ｃへ転送され得る。

図８を参照する。図８は、表示装置におけるマルチ画面操作の方法のフロー図８００を示している。ステップ８０２において、本明細書に開示するように、複数の表示装置が提供される。表示装置は、１つの教室、複数の教室、又は地理的に分散された複数の教室にも提供され得る。表示装置のユーザには、教師、生徒、管理者、役員、従業員、あるいは他の人と対話する任意の個人が含まれ得る。

ステップ８０４において、オブジェクトは、第１の装置に関連付けられた第１のディスプレイに表示される。オブジェクトは、ユーザによって生成されてもよいし、別のユーザから受信されてもよいし、自動的に生成されてもよいし、リモートサーバなどにより提供されてもよい。オブジェクトは、第１の表示装置の画面上に表示される。オブジェクトは、本明細書で説明するようなコンテンツを有していてもよく、表示装置上でのオブジェクトの表示は、そのコンテンツに応じて、画像の表示、映像の再生、音声の再生、あるいはメディアの再生を含み得る。再生は自動的に開始されてもよい。

ステップ８０６において、表示装置は、選択線の始点を表す第１の点を含む一連の点から成るユーザ入力を受信する。この第１の点は、マウスボタンが押される「マウスダウン」イベントに対応するか、あるいはタッチインタフェース上でユーザの指又はスタイラスが表面に接触し始める「マウスダウン」イベントに対応する場合がある。一連の点は、第２の点を更に含んでもよい。第２の点は、マウスボタンが開放される「マウスアップ」イベントに対応するか、あるいはタッチインタフェース上でユーザの指又はスタイラスが表面との接触を終了する「マウスアップ」イベントに対応する場合がある。入力ジェスチャは、実質的に直線である選択線を含んでいてもよく、選択線は曲線であってもよい。この選択線は、上記の図６Ａ〜図６Ｂにおいて詳細が説明されている。

任意選択により、オブジェクトは、「マウスダウン」イベントの後で「マウスアップ」イベントの前に、選択線に沿ってユーザのカーソル又は指／スタイラスに追従するように移動することができる。

ステップ８０８において、選択線（又は選択ベクトル）は、一連の点の中の第１の点と第２の点の間で決定され得る。これにより、これらの２つの点に基づいて選択線を近似することが可能である。

任意選択により、ステップ８０８で決定される選択線は、単純にユーザの入力ジェスチャから受信した一連の点であってもよい。

ステップ８１０では、投影線 （又は投影ベクトル）が、選択線に基づいて決定され得る。この投影線の決定は、上記の図６Ａ〜図６Ｂにより詳細が説明されている。投影線は、第１の点と第２の点だけに基づいて決定されてもよい。投影線は、一連の点に基づいて決定されてもよいし、複数点の回帰によって決定されてもよい。

任意選択により、ステップ８０６〜８１４は、「マウスダウン」イベントの後、「マウスアップ」イベントの前に、一連の点のうちの各点に対して繰り返し適用することができる。

ステップ８１２では、オブジェクトが投影線に沿って移動される。オブジェクトは ｘ座標とｙ座標とを有する点に表示される。移動には、オブジェクトの表示点を投影線上の連続する点に繰り返し変更し、移動の発生とともにオブジェクトの表示を更新することが含まれていてもよい。

この移動はアニメーション化することができ、オブジェクトは画面上を実質的にスムーズに移動することができる。任意選択により、移動はアニメーション化されず、オブジェクトは単に消えたり再表示されたりし、移動は画面上に表示されない場合もある。

移動は、アクティブ領域を含む画面上の様々な領域に向けて、オブジェクトを「投げる」ことに類似する場合もある。

ステップ８１４において、オブジェクトの位置と寸法を用いて、オブジェクトとアクティブ領域とが交差するか否かが判定される。交差は、オブジェクト領域とアクティブ領域との重なりとして定義される。交差がない場合には、オブジェクトの移動は継続され得る。

ステップ８１６において、オブジェクトがアクティブ領域と交差する場合には、オブジェクトは第２の表示装置に関連付けられ得る。この関連付け（association）には、オブジェクトのメタデータを更新して、第２の表示装置への新規の参照（reference）を指定することが含まれ得る。これは、表示装置を一意的に識別する表示装置ＩＤへの参照を追跡するオブジェクトによって達成可能である。

任意選択により、関連付けは、代わりに、オブジェクトを参照する表示装置における関連付けを参照してもよい。これは、オブジェクトを一意的に識別するオブジェクトＩＤへの参照を追跡する表示装置によって達成可能である。

任意選択により、オブジェクトは、表示装置ＩＤに対する参照を有してもよいし、表示装置は、オブジェクトＩＤに対する参照を有していてもよい。表示装置ＩＤは、関連する表示装置を一意的に識別し、オブジェクトＩＤは、オブジェクトを一意的に識別する。

任意選択により、オブジェクトをシリアル化することもできる（すなわち、第１の表示装置のメモリ内にあるオブジェクトが、その状態を保持するようにフォーマットされたテキスト又はバイナリ文字列に変換される）。第２の表示装置によってシリアル化されたオブジェクトが受信されると、オブジェクトは実体化され得る（すなわち、オブジェクトは、テキストまたはバイナリ文字列からその状態を保持するようにして第２の表示装置のメモリ内へ変換される）。

任意選択により、サーバに対してＡＰＩ呼び出しを行って、オブジェクトの第２の表示装置への関連付けを起動（trigger）する。

任意選択により、オブジェクトが画面の端部と交差する場合又は別の場合に、表示装置はオブジェクトの方向を変更して「跳ね返す（bounce）」可能性がある。２つのオブジェクトが交差する場合には、各オブジェクトの計算された運動量と衝突に関する運動量保存の法則に基づいて、結果的な方向と速度を決定することができる。

図９を参照する。図９は、第１の表示装置から第２の表示装置へオブジェクトを転送する方法のためのフロー図９００を示している。フロー図９００に開示された方法は、コンテンツを有するオブジェクトを１つの表示装置から別の表示装置に転送するように動作可能である。

ステップ９０２において、第１の表示装置と第２の表示装置とが提供される。これらの表示装置は、会議室又は教室に共に配置されて複数人に使用されてもよいし、あるいは少なくとも２人のユーザのいる複数の場所に分散されてもよい。

ステップ９０４において、オブジェクトが第１の表示装置に表示される。オブジェクトには、本明細書で開示したように、音声、映像又は画像コンテンツを含むメディアが含まれてもよい。オブジェクトの表示（displaying）又は提示（showing）は、メディアの再生を開始することを意味する場合がある。

ステップ９０６において、表示されたオブジェクトは、ユーザからの入力ジェスチャを受信する。これには一連の点が含まれ、第１の点は、ディスプレイ上のオブジェクト内にある。オブジェクトは、ユーザの入力動作に応答する。ステップ９０６〜９１４は、ユーザが選択線を描くときに、繰り返し実行することができる。

ステップ９０８において、オブジェクトは、ユーザの入力ジェスチャからの一連の点に基づいて、選択ベクトルを決定することができる。本明細書で開示されるように、この選択ベクトルは、第１の点と第２の点であって、第１の点がユーザ入力の開始を表し、第２の点がユーザ入力の終了を表してもよい。これに代えて、選択ベクトルは、第１の点、第２の点、及び一連の点であってもよく、実質的に直線又は曲線であってもよい。

ステップ９１０において、オブジェクトは、選択ベクトルの投影ベクトルを決定することができる。図６Ａ〜図６Ｂに示すように、投影は、一連の点の線形回帰に基づいてもよい。

ステップ９１２において、オブジェクトは、投影ベクトルに基づいて第１の表示装置上を移動することができる。この移動には、オブジェクトの点を（ｘ座標とｙ座標により）投影線上の連続点へと移動することが含まれる場合がある。

ステップ９１４において、オブジェクトは、画面上のオブジェクトがアクティブ領域と交差したか否かを検出することができる。この交差は、オブジェクト領域とアクティブ領域との重なりとして定義される。オブジェクトが画面の端部又は他のオブジェクトと交差する場合には、オブジェクトはその方向を変えて「跳ね返る（bounce）」可能性がある。２つのオブジェクトが交差する場合には、各オブジェクトの計算された運動量と衝突に関する運動量保存の法則に基づいて、結果的な方向と速度を決定することができる。

ステップ９１６において、オブジェクトがアクティブ領域と交差する場合には、オブジェクトは、そのアクティブ領域に関連付けられた第２の表示装置に移動することが可能である。これには、オブジェクトのシリアル化されたコピーのネットワークを超える転送と、第２の表示装置での実体化とが含まれていてもよい。

任意選択により、転送には、第２の表示装置へのオブジェクトの転送を始動するサーバが含まれてもよい。

図１０Ａを参照する。図１０Ａは、オブジェクトのソフトウェアコンポーネント図１０００である。オブジェクトは、コンテンツ（本明細書では、メディアとも称する）を有し得る。コンテンツには、映像コンテンツ１００２、音声コンテンツ１００４、画像コンテンツ１００６、オブジェクトメタデータ１０１０（本明細書では、プロパティ又はオブジェクトプロパティとも称する）、オーディエンス基準１０１２、状態１００８、１つ又は複数の表示装置との関連（又は参照）１０１４、及びプログラムコード１０１６を含む。オブジェクトは、複数のメディアコンテンツアイテム及び複数のオブジェクトメタデータを含み得る。オブジェクトには、スライドなどの教育情報、音楽作品、共同編集に利用できるメディアが含まれ得る。オブジェクトは、メディアの組み合わせであってもよい。メディアの組み合わせは、１つのオブジェクトから同時に再生することができる。複数のオブジェクトを有する表示装置は、一度に複数のオブジェクトから同時に再生を得ることができる。オブジェクトは、表示装置のメモリに格納されて、表示装置のプロセッサによって実行可能な命令（即ち、プログラムコード）１０１６を含み得る。オブジェクトは、表示装置でのそれらの機能を記述するプログラムコード１０１６を有することができる。例えば、そのプログラムコードは、１つの表示装置から別の表示装置に対話型のテストを送信することを可能としてもよい。オブジェクトは、そのオブジェクトが別のタイプのオブジェクト共に表示装置に表示された場合に、特定の相互作用を生じさせるプログラムコード１０１６を有してもよい。

メディアは、テキストコンテンツ（図示せず）、映像コンテンツ１００２、画像コンテンツ１００６、音声コンテンツ１００４、アニメーションコンテンツ、楽譜コンテンツ、教育コンテンツ（例えば、簡単なテスト）、又は他の任意のコンテンツのいずれかを含み得る。メディアコンテンツは、バイナリデータ表現、ベクトルベース表現、あるいは他の任意のデータストレージ表現を含む、様々な形式でオブジェクトに格納することができる。オブジェクトのメディアは、オブジェクトのインスタンスに格納されてもよいし、リモートサーバへの参照によって参照されてもよい。メディアがリモートサーバへの参照である場合、コンテンツはそのサーバからストリーミングされてもよい。

オブジェクトは、１つ又は複数の他のオブジェクト（図示せず）への参照を有する場合があり、他のオブジェクトへの参照によって一緒にリンクさせることが可能である。このオブジェクトのリンクは、１つの表示装置上でなされた変更を、同時に複数の表示装置にわたって適用させることが可能である。１つのオブジェクトは、１つ又は複数の表示装置への参照を有することができる。これにより、例えば映像コンテンツなどのコンテンツの配信を、複数の表示装置上で同期して再生することが可能となり得る。音声コンテンツ及び映像コンテンツを、リンクされた１つのオブジェクトから別のリンクされたオブジェクトへストリーミングすることも可能である。

図１０Ｂを参照する。図１０Ｂは、オブジェクトのシリアル化された表現１０５０を示している。シリアル化された表現１０５０は、ＪＳＯＮ（表示したもの）、ＹＡＭＬ、ＸＭＬ、又は任意の適切なマークアップ言語の形式にすることができる。シリアル化された表現は、例えば、映像コンテンツ（video content）、画像コンテンツ（image content）、又は音声コンテンツ（audio content）のバイナリデータ表現を含むことができる。１０５０のシリアル化された例は、様々なメタデータ（metadata）、オーディエンス基準（audience criteria）、状態、及びコンテンツを示している。シリアル化された表現は、オブジェクトの状態が第１の表示装置と第２の表示装置との間で保存され、オブジェクトがプログラムで実体化されるようにして転送された場合に、第２の表示装置で読み取ることができる。

図１１Ａ〜図１１Ｃを参照する。図１１Ａ〜図１１Ｃは、表示装置の画面上でのオブジェクト移動のグラフ表示１１００、１１３０、１１６０を示している。図１１Ａでは、オブジェクトは、ユーザ入力によって決定されていない、固定された一定の速度で画面上を移動することができる。図１１Ｂでは、オブジェクトは、ユーザ入力に基づいて決定された一定の速度で画面上を移動することができる。図１１Ｂの傾斜がより大きいことが観察される。図１１Ｃでは、オブジェクトは、ユーザ入力の加速度に基づいて決定される、次第に増加する速度で画面上を移動することができる。

図１２を参照する。図１２は、複数の関連するオブジェクト１２０８、１２１０、１２１２を有するユーザインタフェース１２００を示している。これらのオブジェクトは、ユーザの決定に基づいて関連付けられて（又はリンクされて）いてもよく、自動的に関連付けられていてもよい。表示装置１２０２ａ、１２０２ｂ、及び１２０２ｃは、それぞれリンクされたオブジェクトを表示する。したがって、オブジェクト１２０８、１２１０、１２１２の表示は、同じコンテンツであり得る。例えば、図１２に笑っている顔が表示されている間、リンクされたコンテンツには、映像コンテンツ、音声コンテンツなどを含むことが可能であり、３つの表示装置すべてにおける再生は、実質的に同期することが可能である。

関連付け又はリンクは、分散化された方法によって実行することができ、その方法では、各表示装置における各オブジェクトのインスタンスは、別の表示装置上の少なくとも１つの他のオブジェクトのインスタンスへの参照を有することができる。図１２では、オブジェクトのインスタンス１２０８は、オブジェクトのインスタンス１２１２への参照１２０４ａを有し、オブジェクトのインスタンス１２１２は、オブジェクトのインスタンス１２１０への参照１２０４ｃを有し、オブジェクトのインスタンス１２１０は、オブジェクトのインスタンス１２０８への参照１２０４ｂを有する。これらの参照は、オブジェクトのインスタンスが自分自身を参照するオブジェクトのリストを保持するように、双方向であってもよい。

任意選択により、関連付け又はリンクは、サーバによって集中管理される方法で実行することができる。また、参照又は関連付けは、サーバ上のＡＰＩを用いて、生成、読み出し、更新、又は破棄することが可能である。

図１３を参照する。図１３は、異なるオーディエンスコンテンツを有する、複数の関連するオブジェクト１３００を有するユーザインタフェースを示している。第１の表示装置１３０２ａは第１オブジェクト１３０６を示し、第２の表示装置１３０２ｂは第２オブジェクト１３０８を示し、第３表示装置１３０２ｃは第３オブジェクト１３１０を示している。オブジェクト１３０６、１３０８、及び１３１０は、相互に関連付けられるか、又はリンクされていてもよい。第１の表示装置１３０２ａは、年齢、教育レベル、地理的位置などの人口統計情報に基づいて、関連付けられた第１オーディエンスプロフィールを有してもよい。同様に、表示装置１３０２ｂ、１３０２ｃは、それぞれ第２オーディエンスプロフィール、第３オーディエンスプロフィールを有していてもよく、第１、第２、第３のオーディエンスプロフィールはそれぞれ固有であってもよい。オブジェクト１３０６は、表示装置１３０２ａのオーディエンスプロフィールに対応して、第１オーディエンスプロフィールに基づいてコンテンツを表示する。オブジェクト１３０８は、表示装置１３０２ｂのオーディエンスプロフィールに対応して、第２オーディエンスプロフィールに基づいてコンテンツを表示する。オブジェクト１３１０は、表示装置１３０２ｃのオーディエンスプロフィールに対応して、第３オーディエンスプロフィールに基づいてコンテンツを表示する。オブジェクトのオーディエンス基準は、表示装置上の特定のオーディエンスプロフィールに対して表示されるべきコンテンツを記述することができる。

本明細書に記載の例示的実施形態の完全なる理解を提供するために、多くの特定の詳細が提示されていることが理解されるであろう。ただし、本明細書に記載の実施形態はこれらの特定の詳細なしで実施可能であることが当業者には理解されるであろう。他の例では、本明細書に記載の実施形態をわかりにくくしないために、周知の方法、手順及び構成要素を詳細には記述していない。さらに、本記述及び図面は本明細書に記載の実施形態の範囲をいかなる点においても制限するものではなく、本明細書に記載の様々な実施形態の実施を単に説明するものとして考慮されるべきである。

本明細書で使用される「実質的に」、「約」及び「近似的に」などの程度を表す用語は、被修飾語の偏差が妥当な量であって、最終的な結果が大きくは変化しないことを意味することに、留意されるべきである。また、これらの程度を表す用語は、その偏差が修飾する用語の意味を否定しない限りは、被修飾語の偏差を含むものと見なすべきである。

さらに、本明細書で使用される「及び／又は」という表現は包含的論理和を表すことを意図している。すなわち、例えば「Ｘ及び／又はＹ」は、Ｘ又はＹ、あるいはその両方を意味することを意図している。更なる例として、「Ｘ、Ｙ及び／又はＺ」は、Ｘ又はＹ又はＺ、あるいはそれらの任意の組合せを意味することを意図している。

本明細書に記載のシステム及び方法の実施形態は、ハードウェア又はソフトウェア、あるいはその両者の組合せによって実施されてもよい。これらの実施形態は、プログラム可能なコンピュータ上で実行されるコンピュータプログラムに実装されてもよく、各コンピュータは、少なくとも１つのプロセッサ、データ記憶システム（揮発メモリ、不揮発メモリ又は他のデータ記憶素子、あるいはそれらの組合せを含む）、及び少なくとも１つの通信インタフェースを含む。例えば、これに限定されないが、プログラム可能なコンピュータ（以下、コンピューティング装置と称する）は、サーバ、ネットワークアプライアンス、組み込みデバイス、コンピュータ拡張モジュール、パーソナルコンピュータ、ラップトップ、モバイル情報端末、携帯電話、スマートフォンデバイス、タブレットコンピュータ、ワイヤレスデバイスや、本明細書に記載の方法を実行するように構成可能な他の任意のコンピューティング装置であってよい。

いくつかの実施形態では、通信インタフェースはネットワーク通信インタフェースであってもよい。要素が組み合わされる実施形態において、通信インタフェースは、プロセス間通信（ＩＰＣ）用のものなどのソフトウェア通信インタフェースであってもよい。さらに他の実施形態では、ハードウェア、ソフトウェア、及びそれらの組合せとして実装される通信インタフェースの組合せであってもよい。

プログラムコードが入力データに適用されて、本明細書に記載の機能を遂行し、出力情報を生成することが可能である。出力情報は、周知の方法によって１つ又は複数の出力装置に適用される。

各プログラムは、コンピュータシステムと通信するために、高度な手続き型又はオブジェクト指向のプログラム言語及び／又はスクリプト言語、あるいはその両方に実装されてもよい。ただし、必要に応じて、プログラムはアセンブリ言語又は機械語で実装されてもよい。いずれの場合でも、言語はコンパイル形式又はインタプリタ形式の言語であってよい。このようなコンピュータプログラムは各々、汎用又は専用のプログラム可能なコンピュータにより読み取り可能な記憶媒体又は記憶装置（例えば、ＲＯＭ、磁気ディスク、光ディスク）に格納されて、記憶媒体又は記憶装置がコンピュータによって読み取られると本明細書に記載の手順を実行するようにコンピュータを構成しかつ動作させることが可能である。本システムの実施形態はまた、コンピュータプログラムで構成された非一時的コンピュータ可読記憶媒体として実装されるように考慮されていてもよい。ここで、このように構成された記憶媒体は、特定及び所定の方法でコンピュータを動作させて本明細書に記載の機能を実行させる。

さらに、記載された実施形態のシステム、プロセス及び方法は、１つ又は複数のプロセッサのための、コンピュータで使用可能な命令を有するコンピュータ可読媒体を含むコンピュータプログラム製品で配布することが可能である。媒体は、１つ又は複数のディスケット、コンパクトディスク、テープ、チップ、有線通信、衛星通信、インターネット通信又はダウンロード、磁気又は電子の記憶媒体、デジタル及びアナログの信号、などを含む、様々な形態で提供可能である。コンピュータで使用可能な命令もまた、コンパイルされたコード及びコンパイルされていないコードを含む、様々な形式であってよい。

本明細書では、様々な実施形態を単に例示として説明した。これらの例示的な実施形態に対しては、添付の特許請求の範囲によってのみ限定される、本発明の精神および範囲から逸脱することなく、様々な変更及び変形が行われ得る。また、図に例示される様々なユーザインタフェースにおいて、図示されたユーザインタフェースのテキスト及び制御は、単に例示としてのみ提供されたものであり、限定を意図するものではないことを理解されたい。他の適切なユーザインタフェース要素もあり得る。

Claims (25)

1. マルチディスプレイ操作のための方法であって、
   ディスプレイ、入力装置、プロセッサ、及びメモリを備える複数の表示装置を提供すること、
   第１の表示装置に関連付けられた第１のディスプレイにオブジェクトを表示すること、
   前記オブジェクト上の第１の点で始まり、第２の点で終了する入力ジェスチャを受信すること、
   前記第１の点と前記第２の点との間に選択線を決定すること、
   前記選択線に基づいて投影線を決定すること、
   前記投影線に沿って前記オブジェクトを移動させること、及び、
   前記オブジェクトが複数のアクティブ領域のうちの第１のアクティブ領域と交差する場合に、前記オブジェクトを前記第１のアクティブ領域に対応する第２の表示装置に関連付けて、前記オブジェクトを前記第２のディスプレイ上に表示すること、
   を含む、方法。
2. 前記第１の点と第２の点との間の入力速度ベクトルを決定し、前記入力速度ベクトルに基づいて前記オブジェクトを移動させること、を更に含む、請求項１に記載の方法。
3. 前記第１の点と第２の点との間の入力加速度ベクトルを決定し、前記入力加速度ベクトルに基づいて前記オブジェクトを移動させること、を更に含む、請求項２に記載の方法。
4. オブジェクトの質量及び速度に基づいて前記第２の点におけるオブジェクトの運動量を決定すること、
   前記オブジェクトを前記オブジェクトの運動量で前記投影線に沿って移動させ、前記オブジェクトの移動に伴って前記オブジェクトの運動量を減少させること、
   を更に含む、請求項３に記載の方法。
5. 表示装置の各々は音声デバイスを更に備え、
   前記オブジェクトは音声コンテンツ及び映像コンテンツを含み、
   前記オブジェクトを表示することが、前記映像コンテンツを前記表示装置に表示すること、及び前記音声コンテンツを前記音声デバイスで再生することを更に含む、
   請求項４に記載の方法。
6. 第１の表示装置に関連付けられた前記オブジェクトを変更することを更に含む、
   請求項５に記載の方法。
7. 第２の表示装置に関連付けられた前記オブジェクトを変更すること、
   前記オブジェクト上の第３の点で始まり、第４の点で終了する第２の入力ジェスチャを受信すること、
   前記第３の点と前記第４の点との間に第２の選択線を決定すること、
   前記第２の選択線に基づいて第２の投影線を決定すること、
   前記オブジェクトを前記第２の投影線に沿って移動すること、
   前記オブジェクトが複数のアクティブ領域のうちの第２のアクティブ領域と交差する場合に、前記オブジェクトを前記第２のアクティブ領域に対応する前記第１の表示装置に関連付けて、前記オブジェクトを前記第１ディスプレイ上に表示すること、
   を更に含む、請求項５に記載の方法。
8. 複数の選択肢を有する前記オブジェクトに関連付けられた操作フィールド、
   前記複数の選択肢からの選択に対応する第２の入力ジェスチャを受信すること、
   前記選択に基づいて前記操作フィールドを変更すること、及び、
   前記オブジェクトを前記第１の表示装置に関連付けること、
   を更に含む、請求項５に記載の方法。
9. 前記第１の表示装置は第１のオーディエンス情報を含み、
   前記第２の表示装置は第２のオーディエンス情報を含み、
   前記オブジェクトは第１のオーディエンスコンテンツ及び第２のオーディエンスコンテンツを含み、
   前記オブジェクトを表示することが、前記第１のオーディエンス情報に基づいて前記第１のディスプレイ上に前記第１のオーディエンスコンテンツを表示し、前記第２のオーディエンス情報に基づいて前記第２のディスプレイ上に前記第２のオーディエンスコンテンツを表示することを含む、
   請求項７に記載の方法。
10. マルチ画面操作システムであって、
    オブジェクトと、各々が前記オブジェクトを格納するメモリ、ディスプレイ、プロセッサ、及び入力ジェスチャを受信する入力装置を含む複数の表示装置と、を備え、
    第１の表示装置のディスプレイが前記オブジェクトを表示し、
    第１の表示装置の前記プロセッサが、
    前記入力装置から、前記ディスプレイ上の点においてジェスチャに対応する複数の点を受信し、前記複数の点のうちの第１の点がジェスチャの開始に対応し、前記複数の点のうちの第２の点がジェスチャの終了に対応し、
    前記第１の点から前記第２の点まで形成される選択ベクトルを決定し、
    前記選択ベクトルに基づいて投影ベクトルを決定し、
    前記投影ベクトルに沿って前記オブジェクトを移動させ、
    前記オブジェクトが複数のアクティブ領域のうちの第１のアクティブ領域と交差するかどうかを判定し、交差する場合は、前記オブジェクトを前記第１のアクティブ領域に対応する第２の表示装置に送信するように構成され、
    第２の表示装置の前記プロセッサが、
    前記第１の表示装置から前記オブジェクトを受信し、
    前記オブジェクトを前記第２の表示装置の前記メモリに格納し、
    前記第２の表示装置の前記ディスプレイに前記オブジェクトを表示するように命令するように構成された、
    システム。
11. 前記複数の表示装置の各々は音声デバイスを更に備え、
    前記オブジェクトは音声コンテンツ及び映像コンテンツを更に含み、
    前記複数の表示装置各々のプロセッサが、前記映像コンテンツを前記ディスプレイ上に表示し、前記音声コンテンツを前記音声デバイス上で再生するように更に構成された、 請求項１０に記載のシステム。
12. 前記複数の表示装置のうちの第１の表示装置の前記プロセッサが、前記オブジェクトを変更するように更に構成された、請求項１１に記載のシステム。
13. 前記複数の表示装置のうちの第２の表示装置の前記プロセッサが、前記オブジェクトを変更するように更に構成された、請求項１２に記載のシステム。
14. 前記複数の表示装置のうちの第２の表示装置の前記プロセッサが、前記オブジェクトを前記第１の表示装置に送信するように更に構成され、
    前記複数の表示装置のうちの第１の表示装置の前記プロセッサが、前記第２の表示装置から前記オブジェクトを受信するように更に構成された、
    請求項１３に記載のシステム。
15. マルチ画面操作システムの第１の表示装置から第２の表示装置へオブジェクトを転送する方法であって、
    第１の表示装置と第２の表示装置とを提供し、
    前記第１の表示装置上にオブジェクトを表示し、
    一連の点を有する入力ジェスチャを受信し、
    前記一連の点に基づいて選択ベクトルを決定し、
    前記選択ベクトルの投影ベクトルを決定し、
    前記投影ベクトルに基づいて前記第１の表示装置上の前記オブジェクトを移動させ、
    前記オブジェクトが、前記第１の表示装置上の第１のアクティブ領域と交差することを検出し、
    前記オブジェクトを、前記第１の表示装置から前記第１のアクティブ領域に関連付けられた前記第２の表示装置へ転送する、
    ことを含む、方法。
16. 前記投影ベクトルは入力速度ベクトルを更に含み、
    前記並進ベクトルに基づいて投影ベクトルを決定することが、前記選択ベクトルに基づいて並進速度ベクトルを決定することを更に含む、
    請求項１５に記載の方法。
17. 前記並進ベクトルは入力加速度ベクトルを更に含み、
    前記並進ベクトルの投影ベクトルを決定することが、前記選択ベクトルに基づいて並進加速度ベクトルを決定することを更に含む、
    請求項１６に記載の方法。
18. 前記オブジェクトの運動量を決定すること、
    前記運動量に基づいて前記オブジェクトを移動させ、前記オブジェクトの移動に伴って前記オブジェクトの運動量を減少させること、
    を更に含む、請求項１７に記載の方法。
19. 前記オブジェクトは音声コンテンツ及び映像コンテンツを更に含み、
    前記第１の表示装置及び前記第２の表示装置は音声デバイスを更に備え、
    前記オブジェクトを表示することが、前記映像コンテンツを表示し、前記表示装置の前記音声デバイス上で前記音声コンテンツを再生することを更に含み、
    前記オブジェクトを前記第１の表示装置から前記第２の表示装置へ転送することが、前記音声コンテンツの前記再生を前記第１の表示装置から前記第２の表示装置へ転送することを更に含む、
    請求項１８に記載の方法。
20. 前記オブジェクトは状態を更に備える、請求項１９に記載の方法。
21. 前記第１の表示装置と前記第２の表示装置がネットワーク通信をし、
    前記第１の表示装置から前記第２の表示装置へ前記オブジェクトを転送することが、前記オブジェクトのシリアル化すること、前記ネットワーク通信を利用して前記シリアル化されたオブジェクトを前記第２の表示装置へ転送すること、及び前記第２の表示装置のメモリ内に前記オブジェクトを実体化することを更に含む、
    請求項２０に記載の方法。
22. マルチ画面操作システムであって、
    ディスプレイ、プロセッサ、メモリ、及びユーザ入力装置を備える第１の表示装置と、
    ディスプレイ、プロセッサ、メモリ、及びユーザ入力装置を備える第２の表示装置と、
    を備え、
    前記第１の表示装置の前記メモリはオブジェクトを含み、
    前記第１の表示装置と前記第２の表示装置とはネットワーク通信を行い、
    前記オブジェクトは前記第１の表示装置の前記ディスプレイ上に表示され、
    前記第１の表示装置の前記プロセッサは、
    前記ユーザ入力装置からのユーザ入力に基づいて投影線を決定し、
    前記ディスプレイ上に表示されている前記オブジェクトを前記投影線に沿って移動させ、
    前記オブジェクトとアクティブ領域との間の交差を検出し、
    前記オブジェクトをシリアル化し、
    前記シリアル化されたオブジェクトを、前記ネットワーク通信を利用して前記第２の表示装置へ通信するように動作可能であり、
    前記第２の表示装置の前記プロセッサは、
    前記ネットワーク通信を利用して前記シリアル化されたオブジェクトを受信し、
    前記オブジェクトを前記シリアル化されたオブジェクトからメモリ内へ実体化するように動作可能である、
    システム。
23. 前記第１の表示装置の前記プロセッサは、
    入力速度ベクトルを決定し、
    並進速度ベクトルを決定し、
    入力加速度ベクトルを決定し、
    並進加速度ベクトルを決定し、
    オブジェクトの運動量を決定し、
    前記並進速度ベクトル、前記並進加速度ベクトル、及び前記オブジェクトの運動量に基づいて、前記オブジェクトを移動させるように、更に動作可能である、
    請求項２２に記載のシステム。
24. 前記オブジェクトは音声コンテンツ及び映像コンテンツを更に含み、
    前記第１の表示装置及び前記第２の表示装置は音声デバイスを更に備え、
    前記オブジェクトは前記映像コンテンツに基づいて前記第１の表示装置上に表示され、
    前記オブジェクトは前記音声コンテンツに基づいて前記第１の表示装置の前記音声デバイス上で再生され、
    前記オブジェクトのシリアル化は、前記音声コンテンツ及び前記映像コンテンツのシリアル化を含む、
    請求項２３に記載のシステム。
25. 前記オブジェクトは状態を更に備える、請求項２４に記載のシステム。
    

Images