JP2019503004A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2019503004A5 JP2019503004A5 JP2018535039A JP2018535039A JP2019503004A5 JP 2019503004 A5 JP2019503004 A5 JP 2019503004A5 JP 2018535039 A JP2018535039 A JP 2018535039A JP 2018535039 A JP2018535039 A JP 2018535039A JP 2019503004 A5 JP2019503004 A5 JP 2019503004A5
- Authority
- JP
- Japan
- Prior art keywords
- command
- command message
- content
- workspace
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims description 11
- 230000002452 interceptive Effects 0.000 claims description 10
- 230000001902 propagating Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 2
- 239000011089 white board Substances 0.000 claims 2
- 230000000694 effects Effects 0.000 description 11
- 239000003550 marker Substances 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000000875 corresponding Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003278 mimic Effects 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 230000002093 peripheral Effects 0.000 description 1
- 230000002085 persistent Effects 0.000 description 1
- 230000000576 supplementary Effects 0.000 description 1
Images
Description
発明の概要
全般的に、本発明の実施形態はコンテントを伝播する方法に関する。方法は、デバイスでユーザから入力を検出することと、コマンドを特定するため入力を解釈することと、コマンドに応じて更新済みのコンテントをデバイスで表示することとを含む。方法は、コマンドに基づいて、少なくとも1つの他のデバイスに表示されているコンテントが更新されるべきであるとする第1の判断を下すことをさらに含む。方法は、第1の判断に応じて、少なくとも部分的にはコマンドに基づいて、コマンドメッセージを生成することと、コマンドメッセージをワークスペース管理システム(WMS)へ伝送することであって、少なくとも1つの他のデバイスはWMSに作動自在に接続される、該伝送することとをさらに含む。
全般的に、本発明の実施形態はコンテントを伝播する方法に関する。方法は、デバイスでユーザから入力を検出することと、コマンドを特定するため入力を解釈することと、コマンドに応じて更新済みのコンテントをデバイスで表示することとを含む。方法は、コマンドに基づいて、少なくとも1つの他のデバイスに表示されているコンテントが更新されるべきであるとする第1の判断を下すことをさらに含む。方法は、第1の判断に応じて、少なくとも部分的にはコマンドに基づいて、コマンドメッセージを生成することと、コマンドメッセージをワークスペース管理システム(WMS)へ伝送することであって、少なくとも1つの他のデバイスはWMSに作動自在に接続される、該伝送することとをさらに含む。
以降の説明で、図1〜10は、本発明の実施形態によるインタラクティブデバイスの一形態を、すなわちeフリップチャート装置を、説明する。本発明は、これ以降図1〜10で説明するeフリップチャート装置であるインタラクティブデバイスのみを含むワークスペースであると限定されない。図11〜20Bは、本発明の1つ以上の実施形態でマルチデバイスワークスペースの中にある複数インタラクティブデバイスの相互作用を対象としている。図21A〜32Bは、本発明の1つ以上の実施形態に従ってマルチデバイスワークスペースでコンテントを表示し、デバイス間でコンテントを伝播することを対象としている。
本発明の1つ以上の実施形態において、eフリップチャート装置の反射ディスプレイ(106)の少なくとも1部分は双安定であってよい。本発明の一実施形態において、反射ディスプレイは米国特許第5,930,026号で説明されている反射ディスプレイに相当してよい。本発明は上述した特許で説明されている反射ディスプレイに限定されない。
図1に示されていないが、eフリップチャート装置はある種の入力を、例えばジェスチャ認識を、検出するカメラを含んでよい。
加えて、図4の説明において示されているように、eプレゼンテーション(500)は1つ以上のページ(例えばページ1(504)、ページN(506))から構成されてよい。さらに、それぞれのページ(504、506)にはコンテント(データ)とメタデータが付いている。例えば、図5に示されているように、ページ(504)は、ページID(508)と、状態(510)と、ディスプレイID(512)と、順序情報(514)とを有する。ページID(508)はeプレゼンテーションの中でそのページを一意に識別する。ページID(508)は、数字、アルファベット、記号、またはこれらの任意の組み合わせであってよい。本発明の一実施形態において、それぞれのページには状態(510)が結び付けられてよい。かかる実施形態において、ページ(504)の状態(510)は、アクティブ状態または非アクティブ状態であってよく、ただしこれらに限定されない。アクティブ状態は、eフリップチャートにより、または別のデバイスにより、ページ(504)が現在表示されていることを、あるいは書き込まれていることを、意味する(例えば図10を参照されたい)。非アクティブ状態は、ページ(504)がeプレゼンテーションの一部であるが、現在表示されている、または書き込まれている、ページではないことを意味する(つまりページは表示されていない)。本発明の範囲から逸脱することなく、ページには別の状態が結び付けられてもよく、例えば、ページがオフラインで編集されている編集状態が結び付けられてよいこと、またはページがeプレゼンテーションにリンクされているがオフラインであるかパーシステントメモリに保管されているオフライン状態が結び付けられてよいことを、当業者は理解するであろう。
本発明の一実施形態において、それぞれのページにはディスプレイID(512)が結び付けられてよい。かかる実施形態において、ディスプレイID(512)はページ(504)をディスプレイデバイスに結び付ける。例えば、ページ(504)がeフリップチャートで表示されるシナリオでは、ディスプレイIDはeフリップチャートのIDであってよい。代替実施形態において、ページ(504)はeフリップチャート上で現在修正されているeプレゼンテーションにリンクされているが、そのeプレゼンテーションのアクティブページではないと仮定する。この場合、ページ(504)はネットワークを介して第2のデバイスと共有でき、第2のデバイスのオーナーはページ(504)を編集できる(例えば図9A〜9、10を参照されたい)。このシナリオで、ページ(504)のディスプレイID(512)はページ(504)の編集が行われている第2のデバイスのIDとなる。したがって、eプレゼンテーションにリンクされたページ(504)のディスプレイID(512)はいつでも変わることができる。1つ以上の実施形態では、複数のディスプレイID(512)があってよく、それぞれのディスプレイID(512)はページ(504)が現在見られているデバイスに対応する。さらに、1つ以上の実施形態において、ディスプレイIDは、ページの状態がアクティブであるときにだけ割り当てることができる。ページの状態が非アクティブであるときに、eプレゼンテーションのデータ構造でディスプレイIDフィールドはヌルであってよい。
本発明の1つ以上の実施形態において、ページ(504)の順序情報(514)は、ページ(504)をeプレゼンテーションの中にある別のページに特定の順序でリンクし、eプレゼンテーションのページがどのようにして横断され得るかを指示する。具体的に述べると、eフリップチャート装置は通常の紙式フリップチャート装置の使用を模倣しており、紙式フリップチャート装置では、フリップチャート装置で現在のページをめくることによって新たなページが得られる。通常のフリップチャート装置ではページを順番にめくるため、ページをスキップしてプレゼンテーションの特定のページを得ることはできない。同様に、eフリップチャート装置の場合、eプレゼンテーションの各ページ(504)は、eプレゼンテーションの中でページ(504)に先行する少なくとも1つのページとページ(504)に後続する少なくとも1つのページとへリンクされてよい。本発明の1つ以上の実施形態において、順序情報(514)は少なくともページ(504)に先行するページとページ(504)に後続するページのページIDを含んでよい。本発明の範囲から逸脱することなく、コントローラがばらばらの順序でページにスキップすることを助長できることを当業者は理解するであろう。
ステップ604でeフリップチャート装置によって検出される入力は、Bluetooth信号、無線周波信号、または他の無線ネットワーク信号など、ボタンの押下によって提供される無線入力であってよく、デジタルマーカ入力、タッチ入力、ジェスチャ入力、または他の何らかの適当なタイプの入力であってもよい。検出される入力のタイプに基づいて、特定のアクションがeフリップチャート装置によって遂行されてよい。このように、入力が検出されると(ステップ604)、その入力がタッチ入力であるかジェスチャ入力であるかを判断する(ステップ610)。検出される入力がユーザジェスチャである場合、eフリップチャート装置は、ジェスチャ検出を遂行するように、またはユーザインターフェース(UI)コンポーネントを稼働させるように、構成されてよい(ステップ608)。それ以外の入力タイプの場合は、eフリップチャート装置によってしかるべきアクションが遂行される(ステップ612)。例えば、検出される入力(ステップ604)がタッチ入力でもジェスチャ入力でもなく(ステップ610で「いいえ」)、無線信号である場合は、例えばデジタルマーカでのボタン押下である場合は、対応する外部イベントが作動されてよい(ステップ612)。例えば、入力がBluetooth信号である場合(ステップ610で「いいえ」)、eフリップチャート装置は、周辺デバイスを、または外部のBluetooth受信器を、作動させるように構成されてよい(ステップ612)。外部イベント入力は、本発明の1つ以上の実施形態において、eフリップチャート装置の近くで1人以上の人の存在を検出する近接センサ、運動センサ、特定のデシベル閾値などを上回る音を検出するサウンドセンサであってもよい。例えば、近接センサは超音波センサまたは赤外線センサを含み得る。本発明のさらに別の一実施形態において、検出される入力(ステップ604)がデジタルマーカまたはデジタイザを使ったペンストロークである場合(ステップ610)、eフリップチャート装置は、デジタルマーカ先端の経路を検出し、なおかつその動きを模擬インクストロークの表示に変換するように構成されてよい(ステップ612)。したがって、eフリップチャートによって遂行される特定のアクションは受け取る入力のタイプに応じて変わり得る。
検出される入力がジェスチャまたはタッチ入力である場合、作動されるコンポーネントは表示エリアでデータを表示してよく、ページをめくってよく、表示されたコンテントを拡大してよく、あるいはタッチジェスチャ入力に応じて他の何らかの適当なアクションを遂行してよい。本発明の1つ以上の実施形態において、eフリップチャート装置は入力の検出に応じてアクションを遂行した後に「レディーモード」の基本状態に戻る。1つ以上の実施形態において、eフリップチャート装置はこのモードで、装置の双安定反射ディスプレイコンポーネントで電力を使用せず、画像を表示し続ける。遂行されてよいアクションのタイプの例は図7A〜7Eで後述する。
ステップ806では、eプレゼンテーションに関連するメタデータを保管するデータ構造(例えば図5に示されたもの)にページIDとディスプレイIDが投入される。加えて、ページIDを有する現在のページの状態がアクティブに変えられる。本発明の1つ以上の実施形態において、データ構造はデータが投入され、eフリップチャート装置のメモリにローカル保管されてよく、あるいは、例えばeプレゼンテーションサーバかクラウドコンピューティング環境にリモート保管されてもよい。データ構造がローカル保管される場合は、リモートサーバかクラウドコンピューティング環境でデータ構造がバックアップ(例えばミラーリング)されてよい。この段階で様々なアクションが遂行され、現在のページで筆記や描画が行われてよい。ステップ808では新たなページの表示に結び付く入力が検出されてよい。例えば、ページめくりに結び付くタッチ入力またはジェスチャが検出されてもよい。
デバイス1(1007)はeフリップチャート(1006)と同じ物理的位置にあり、デバイス2(1010)はリモートデバイスであると仮定する。eフリップチャート装置(1006)の司会者/ユーザは、eプレゼンテーションを編集または表示しながら、eフリップチャート装置で作成されeフリップチャート装置で提示されているeプレゼンテーションで協働し、筆記または描画の形で入力を提供することを対象者に勧めることができる。この場合、司会者/ユーザは、eプレゼンテーションを編集する許可をデバイス2(1010)に与える入力を提供できる。このようなシナリオにおいて、デバイス2(1010)はネットワーク(1004)を介してeプレゼンテーションサーバに接続し、eプレゼンテーションをダウンロードし、デバイス1(1008)およびeフリップチャート装置(1006)と共にeプレゼンテーションを編集してよい。デバイス2(1010)が編集を終了すると、eプレゼンテーションサーバはデバイス2のディスプレイIDを削除してよい。図10のシステムを用いて、eプレゼンテーションの複数のページが個別に共有されてよく、またはeプレゼンテーションの全体が共有されてよい。さらに、eプレゼンテーションの複数のページが並行して編集されてよく、eプレゼンテーションサーバは編集が完了したときにeプレゼンテーションの同期をとるように構成されてよい。
本発明の1つ以上の実施形態において、ワークスペース管理システム(1102)は、マルチデバイスワークスペース(図示せず)に結び付けられたメタデータを追跡し管理するように構成された何らかのコンピューティングシステムであってよい(例えば図25を参照されたい)。本発明の1つ以上の実施形態において、ワークスペース管理システム(1102)はクラウドコンピューティング環境で稼働してよい。具体的に述べると、ワークスペース管理システム(1102)は(図11Bによる)ユーザ活動記録(1110)を保管するクラウドストレージを含んでよく、1つ以上のワークスペースデバイス(1106,1108)を追跡してよく、各々のワークスペースデバイスはマルチデバイスワークスペースの一部を構成する表示エリアを有する。本発明の1つ以上の実施形態において、ワークスペース管理システム(1102)はインタラクティブデバイスの識別子を保管することによってワークスペース記録(1112)を保管してよい(それぞれのワークスペースに結び付けられたインタラクティブデバイス)。ユーザ活動記録(1110)とワークスペース記録(1112)はユーザに関係するデータを保管するデータ構造であってよい。
ネットワーク(1104)へ接続する機能を備えたインタラクティブデバイスを含む他の適当なインタラクティブデバイスが、本発明から逸脱せずに使用できることを当業者は理解するであろう。よって、例えば、ワークスペースデバイス(デバイス1(1106)、デバイスN(1108))が1部屋に4台のeフリップチャート装置を含む場合は、各eフリップチャート装置の総表示エリアからなるマルチデバイスワークスペースが形成される。つまり、4台のeフリップチャート装置の合同表示エリアがマルチデバイスワークスペースとして認識され、コンテントオブジェクトを提示するために、またはコンテントオブジェクトを見るために、使用できる。同様に、ワークスペースデバイス(デバイス1(1106)、デバイスN(1108))が1台のスマートフォンと3台のインタラクティブタブレットを含む場合は、全4台のデバイスの合同表示エリアがマルチデバイスワークスペースであり、そこでコンテントオブジェクトを見る/提示することができる。
本発明の1つ以上の実施形態において、仮想カンバスID(1116)は仮想カンバスを一意に識別する。本発明の一実施形態において、絶対カンバスはマルチデバイスワークスペースで選択および/または表示できるコンテントオブジェクトを表す。コンテントオブジェクトはテキストおよび/または画像データを含み得る。本発明の1つ以上の実施形態において、仮想カンバスはファイルであってよく、そのファイルに結び付けられたコンテントオブジェクトはそのファイルに含まれたテキストおよび/または画像データであってよい。ファイル内の全データを含むファイル全体が仮想カンバスである。例えば、図1〜10で上述したeフリップチャート装置に表示されるeプレゼンテーションは、本明細書で仮想カンバス(1116)と呼ばれることがあるファイルである。仮想カンバスの中のコンテントオブジェクトはファイルの部分を含んでよい。例えば、コンテントオブジェクトはファイルのテキストデータの一部分であってよく、あるいはファイルに含まれた1つ以上の画像であってよい。eプレゼンテーションの例を用いると、コンテントオブジェクトはeフリップチャートプレゼンテーションのページであってよい。
図11Bの説明を継続し、本発明の一実施形態において、ユーザ活動記録(1110)に保管されるユーザログイン認証情報(1118)は、ユーザを識別するために使用できる1タイプ以上のユーザ認証情報を含み得る。例えば、ユーザログイン認証情報(1118)は、ユーザ名/パスワードのペア、生体認証データ、無線周波識別子、Bluetooth識別子、近距離通信(NFC)タグID、または他の何らかの一意な識別子、または前述したタイプのユーザログイン認証情報の任意の組み合わせであってよい。上述したように、ワークスペースデバイスがマルチデバイスワークスペースの一部になるためには、同じユーザがそれぞれのワークスペースデバイスにログインされる。ただし、それぞれのワークスペースデバイスでユーザログインの方法は異なる場合がある。例えば、ユーザは第1のワークスペースデバイスでユーザ名/パスワードのペアを使ってログインしてよく、光ラベルを使って第2のワークスペースデバイスにログインしてよい。代わりに、図12〜17で後述するように、全てのワークスペースデバイスにログインするために同じログイン方法が使われてもよい。ワークスペース管理システムはユーザ活動記録(1110)でユーザ活動を追跡するため、タイプの異なる各ログインは同じユーザとして認識される。さらに、ユーザ活動記録(1110)の一部として保管されるユーザログイン活動(1124)は、ユーザがどのデバイスにログインされたかを追跡するログと、ログインが行われたときのタイムスタンプと、ワークスペースデバイスのログインに使われたログイン方法である。本発明の一実施形態において、ユーザ活動記録はユーザがデバイスに正常にログインされたかどうかだけを追跡してよく、ユーザがデバイスへのログインに使った認証情報は記録しない。
図11Bの説明を継続し、本発明の一実施形態において、デバイス情報(1120)はそれぞれのワークスペースデバイスの位置に関する情報を含んでよい。位置情報は、GPS機能が備わったワークスペースデバイスの場合は、GPS情報を用いて得られ、ユーザ活動記録に保管されてよい。位置情報は地理的な位置情報であってよい。デバイス情報(1120)として保管されるワークスペースデバイスの地理的位置は、市、建物、部屋、またな何らかの細分度の他の何らかの地理的情報であってよい。ワークスペースデバイスの位置情報は、ワークスペースデバイスへのログインに使われる二次ユーザデバイスから得られてよい。例えば、本発明の1つ以上の実施形態において、ユーザは、NFCタグで符号化された、またはBluetooth Low Energy(BLE)が装備された、パーソナルスマートフォンを使ってワークスペースデバイスにログインしてよい。この場合は、ユーザを識別してワークスペースデバイスにログインするため二次デバイスとして使われるユーザのスマートフォンによってワークスペースデバイスの位置情報が得られてよい。本発明の別の一実施形態において、ユーザがデバイスの位置を提供するよう催促されてよく、ワークスペース管理システムはこの情報をユーザ活動記録に保管してよい。
本発明の一実施形態において、ワークスペースデバイスIDはワークスペースの中でデバイスを一意に識別する。さらに、それぞれのワークスペースデバイスにどのワークスペースデバイスIDが割り当てられているかをユーザに視覚的に伝えるため、デバイスにワークスペースデバイスIDが割り当てられると、そのワークスペースデバイスIDがワークスペースデバイスに一時的に表示されてよい(例えば図17を参照されたい)。
図17は図16で上述したものと同様のマルチデバイスワークスペースを示しており、ここでユーザは図16の左から右への順序とは異なる順序で4つのワークスペースデバイスにログインした。図17は、二次デバイス(1200)を使用するユーザが、ワークスペースデバイスIDの順序をデバイスの左から右への物理的順序に合わせることができることを示している。具体的に述べると、ワークスペース管理システムは図17において、第4の登録済みデバイス(1206)が第1の登録済みデバイス(1202)の右に位置し、第3の登録済みデバイス(1208)が第4の登録済みデバイス(1206)の右に位置し、第2の登録済みデバイス(1210)が第3の登録済みデバイス(1208)の右に位置することを反映するため、自身の記録を更新した。ワークスペース管理システムはこの情報を使用し、ユーザが「このコンテントを左側のデバイスへ送る」といったUI操作でコンテントオブジェクトを期待されるデバイスへ送ることを可能にする。
図19は本発明の1つ以上の実施形態に従ってマルチデバイスワークスペースでコンテントを表示するフローチャートを示している。ステップ1902では、マルチデバイスワークスペースの中で新規デバイスのためのコンテントが存在するかどうかを判断する。具体的に述べると、本発明の1つ以上の実施形態において、ワークスペース管理システムは、マルチデバイスワークスペースが作られた後に、ユーザが前のマルチデバイスワークスペースセッション(例えばユーザがログインし、仮想カンバスでコンテントオブジェクトを追加、削除、および/または修正した前回)でコンテントオブジェクトを作成したかどうかを判断する。より具体的に述べると、ワークスペース管理システムはユーザ(マルチデバイスワークスペースを作ったユーザ)のユーザ活動記録を解析し、仮想カンバスの最終状態が存在するかどうかを判断する(図11B、1122参照)。仮想カンバスの最終状態が存在しないならプロセスはステップ1904へ進む。代わりに、仮想カンバスの最終状態が存在するならプロセスはステップ1906へ進む。本発明の一実施形態において、ユーザは、仮想カンバスの最終状態が存在する場合でも、ステップ1906へ進む代わりに、新たな仮想カンバスを作るため、ステップ1904へ進むことを選んでよい。
図19を継続し、ステップ1906で表示するコンテントオブジェクトが選択されると、ワークスペース管理システムは仮想カンバスのコンテントオブジェクトが表示される第1のワークスペースデバイスを特定する(ステップ1908)。ステップ1908での判断は、図18のプロセスを用いて作られたマルチデバイスワークスペースの一部をなすデバイスに割り当てられたワークスペースデバイスID(例えば図12〜17を参照されたい)を用いて行われてよい。換言すると、マルチデバイスワークスペースにある各ワークスペースデバイスに対する順次番号割り当てが実行され、第1のデバイスが特定される。
図20Bは図20Aと同じ仮想カンバス(2000)を示している。図20Bで4つのデバイスの各々に表示されているコンテントオブジェクトグループ(2010、2012、2014、2016)は仮想カンバス(2000)の全体(仮想カンバスのファイル内の全コンテント)を表示している。より具体的に述べると、仮想カンバス(2000)のコンテントオブジェクトグループは仮想カンバス(2000)の隣接部分として表示されている。図20Bではマルチデバイスワークスペースにまたがって単一のファイルが均等に配分されており、4つのデバイスの各々は異なるコンテントオブジェクトグループ(2010、2012、2014、2016)を隣接させて示している。例えば、図20Bは、仮想カンバスのファイルが4つのページを有し、ページ1がデバイス1に表示され、ページ2がデバイス2に表示され、ページ3がデバイス3で表示され、ページ4がデバイス4で表示される例を表している。仮想カンバスコンテントが、ページ数や仮想カンバスの他の構成に関わりなく、全てのワークスペースデバイスにまたがって均等に配分されてよいことを当業者は理解するであろう。仮想カンバスはワークスペースデバイスにまたがって均等に分割されているため、それぞれのワークスペースデバイスは仮想カンバスの一部分を隣接させて表示している。
図23Aの説明を継続し、ステップ2308では現在のデバイスに表示されているコンテントが更新され、デバイスに表示される更新済みコンテントはコマンドを用いて判断される。例えば、ステップ2308の前に現在のデバイスはファイルのページ1を表示しており、ステップ2308の後に現在のデバイスはファイルのページ2を表示している。本発明の一実施形態において、ステップ2308は、(i)現在のデバイスで表示されるべき更新済みコンテントをWMS(または別のソース)から取得すること、または(ii)以前に取得したファイルのどの部分が現在のデバイスで表示されるべきかを判断すること、を含んでよい(例えば10ページを含むファイルが以前に取得され、ステップ2308の後に当該ファイル内の別のページが現在のデバイスに表示される)。
図23Aの説明を継続し、ステップ2310ではコマンドメッセージが生成される。本発明の一実施形態では、現在のデバイスが、少なくとも1つの他のデバイスで表示されているコンテントの更新をコマンドが要求していると判断する場合に限り、コマンドメッセージが生成されてよい。本発明の別の一実施形態において、コマンドメッセージは常に生成され、あるいは特定の1セットのコマンドのために生成される。
本発明の一実施形態において、コマンドメッセージはコマンド(例えば右カスケード)を指定するだけでよい。本発明の別の一実施形態において、コマンドメッセージは現在のデバイスで表示されているコンテントがどのように更新されたかを指定するだけでよく、例えばデバイスBはファイルfooのページ2を表示しており、あるいはデバイスBは125%のズームレベルでファイルfooの特定部分にズームインした。本発明の別の一実施形態において、コマンドメッセージは、特定のデバイスと、そのデバイスで表示されるべき特定のコンテントとを、指定してよい(例えばデバイスBでファイルfooのページ3を表示)。本発明は前述した例に限定されない。ステップ2312ではステップ2310で生成されたコマンドメッセージがWMSへ伝送される。
ステップ2406では1つ以上のコマンドメッセージが生成される。本発明の一実施形態では、ステップ2404で特定される各ターゲットデバイスにつき1つのコマンドメッセージが生成されてよい。コマンドメッセージの内容は本発明の実装次第で異なってよい。例えば、本発明の一実施形態において、ステップ2406で生成されるコマンドメッセージはステップ2402で受信されるコマンドメッセージと同じ内容(または概ね同じ内容)を含む。本発明の別の一実施形態において、ステップ2406で生成されるコマンドメッセージはコマンドメッセージから引き出された情報を含むが、ステップ2402で受信されるコマンドメッセージの情報は含まない(あるいはステップ2402で受信されるコマンドメッセージのごく限られた量の情報を含む)。例えば図26A〜図32Bを参照されたい。
図27Aではユーザ(2700)がデバイス1(2701)で第2のジェスチャ(2712)を追加で実行する。第2のジェスチャを解釈することによって第2のTSOと第2のターゲットコンテントが特定される。第2のジェスチャをキャプチャする1つのストロークに基づき、第2のTSOは、仮想カンバスの次のページまたはエリア(例えば第2のターゲットコンテント)を使って、現在表示されているコンテントを更新することを第1のデバイスに指図する命令を含む。第2のTSOの命令の後に、デバイス1(2701)は図27Bに描かれているように、仮想カンバスの次のページを使用し、または何らかのコンテントB(2706)を使用し、現在表示されているコンテントを更新する。この場合は、第2のTSOが第2のターゲットコンテントを他のデバイスに伝播する補足的命令を除外したため、第2のメッセージは生成されず、WMSへ転送されない。
本発明の別の一実施形態において(例えば図23A〜24を参照されたい)、図28A〜28Fに示されたコンテント伝播は、(i)デバイス1(2801)が複合ジェスチャ(2812、2810)からのコマンドに基づいて自身のコンテントを更新することによって、(ii)デバイス1(2801)がWMS(図示せず)へコマンドメッセージを送信することによって、(iii)WMSがコンテントで更新されるべき各デバイスにつきコマンドメッセージを生成し、生成したコマンドメッセージを特定されたデバイス(例えば2802、2803、2804)の各々へ伝送することにって、達成されてよい。このようなシナリオにおいて、WMSから送信されるコマンドメッセージは、例えばデバイス1(2801)が新たなコンテント(2806)を現在表示していることを指定してよい。このようなコマンドメッセージの受信に応じて、それぞれのデバイス(例えば2802、2803、2804)は、受信したコマンドメッセージに入っている情報とデバイスの表示モードとに基づいて表示すべきコンテントを判断してよい。例えば、デバイス1(2801)がコンテント(2806)を現在表示していることを指定するコマンドメッセージをデバイス2(2802)がWMSから受信する場合、デバイス2(2802)はコマンドメッセージと表示モード(例えば右カスケード)を用いてコンテント(2807)を表示することを判断する。このようなシナリオでは、WMSがデバイス間でコマンドメッセージを伝送しているときに、個々のデバイスでコマンドメッセージの解釈が行われる。
最初にデバイス1(3101)でコンテント(3103)が表示されるシナリオを検討する。ユーザがその後ジェスチャ(3102)を実行し、このジェスチャはマルチデバイスワークスペース内のデバイス(3102、3104、3106、3108)にまたがってコンテント(3103)を表示するコマンドであると解釈される。対応するコマンドメッセージが生成され、WMSへ送信される。WMSはその後デバイス(3102、3104、3016、3108)ごとにコマンドメッセージを生成し、このコマンドメッセージはマルチデバイスワークスペース内のデバイスにまたがってコンテント(3103)が表示されるべきであることを指定する。ただしこの例で、WMSは、各デバイスでコンテントのどの部分を表示するかを指定せず、あるいは各デバイスでコンテントを表示するズームレベルを指定しない。むしろ、コマンドメッセージを受け取った各デバイスは、表示モード(この例では「ビッグスクリーンモード」)に基づいて、またマルチデバイスワークスペースにおける他のデバイスに対する自身の位置に関する情報に基づいて、コマンドメッセージを解釈する。したがって、それぞれのデバイスは各自が表示するコンテントの部分(3103A、3103B、3103C、3103D)とコンテントを表示するズームレベルを判断する。
Claims (20)
- コンテントを伝播する方法であって、
デバイスでユーザから入力を検出することと、
コマンドを特定するため前記入力を解釈することと、
前記コマンドに応じて更新済みのコンテントを前記デバイスで表示することと、
前記コマンドに基づいて、少なくとも1つの他のデバイスで表示されているコンテントが更新されるべきであるとする第1の判断を下すことと、
前記第1の判断に応じて、少なくとも部分的には前記コマンドに基づいて、コマンドメッセージを生成することと、
前記コマンドメッセージをワークスペース管理システム(WMS)へ伝送することであって、前記少なくとも1つの他のデバイスは前記WMSに作動自在に接続される、前記伝送することとを含む、方法。 - 前記デバイスで前記入力を検出する前に、
前記デバイスの表示モードを設定することをさらに含み、
前記デバイスで前記更新済みコンテントを表示することは、前記デバイスで表示する前記更新済みコンテントを判断するため前記表示モードを使用することを含む、
請求項1に記載の方法。 - 前記表示モードは、カスケード、スナップビュー、およびビッグスクリーンモードからなる群から選択されるいずれか1つである、請求項2に記載の方法。
- 第2のデバイスから第2のコマンドメッセージを受信することと、
前記第2のコマンドメッセージに応じて、前記デバイスで第2の更新済みコンテントを表示することとをさらに含む、
請求項1に記載の方法。 - 前記第2のコマンドメッセージは第2のコマンドを指定し、前記デバイスで前記第2の更新済みコンテントを表示することは、前記第2のコマンドと前記デバイスの表示モードとを使用することを含む、請求項4に記載の方法。
- 前記デバイスと前記第2のデバイスはマルチデバイスワークスペースの一部である、請求項4に記載の方法。
- 前記第2のコマンドメッセージは、前記第2のデバイスがファイルの第1の部分を表示していること、また前記第2の更新済みコンテントが前記ファイルの第2の部分に相当することを指定する、請求項6に記載の方法。
- 前記コマンドメッセージは前記少なくとも1つの他のデバイスで実行されるべきコマンドを指定する、請求項1に記載の方法。
- 前記コマンドは、カスケードコマンド、スナップビューコマンド、またはビッグスクリーンコマンドからなる群から選択されるいずれか1つである、請求項8に記載の方法。
- 前記コマンドメッセージは、前記少なくとも1つの他のデバイスで実行されるべきコマンドと、前記少なくとも1つの他のデバイスで表示されるべきコンテントがどれなのかを特定するコンテント特定情報とを指定する、請求項1に記載の方法。
- 前記コマンドメッセージは前記デバイスが前記更新済みコンテントを表示していることを指定する、請求項1に記載の方法。
- 前記ワークスペース管理システム(WMS)から第2のコマンドメッセージを受信することと、
前記第2のコマンドメッセージの受信に応じて、
前記第2のコマンドメッセージの前記受信を前記ユーザに通知することと、
前記通知に応じて、前記ユーザから、前記第2のコマンドメッセージの受け入れを受信することと、
前記受け入れに応じて、前記デバイスで第2の更新済みコンテントを表示することとをさらに含む、
請求項1に記載の方法。 - 前記通知は前記現在のデバイスのディスプレイの少なくとも一部分における視覚的通知である、請求項12に記載の方法。
- 前記視覚的通知は前記第2の更新済みコンテントの少なくとも一部分を含む、請求項12に記載の方法。
- 前記入力は、タッチスクリーン指ジェスチャ、デジタルペンジェスチャ、およびユーザインターフェース(UI)制御コンポーネントの直接操作からなる群から選択されるいずれか1つを含む、請求項1に記載の方法。
- 前記コマンドを特定することは、
ジェスチャストロークのシーケンスを特定することと、
ジェスチャストロークシーケンスのレポジトリにアクセスすることと、
前記特定されたジェスチャストロークのシーケンスを前記ジェスチャストロークシーケンスのいずれか1つと照合することと、
前記照合に基づいて前記コマンドを特定することとを含む、請求項1に記載の方法。 - 前記デバイスは、スマートインタラクティブホワイトボード、コンピュータタブレット、スマートフォン、電子ブックリーダー、コンピュータ一体型モニタ、eフリップチャート装置、およびスマートテレビジョンからなる群から選択されるいずれか1つである、請求項1に記載の方法。
- 前記コマンドを特定することは、
ユーザインターフェース(UI)制御コンポーネントの直接操作を検出することと、
前記検出に基づいて前記コマンドを特定することとを含む、請求項1に記載の方法。 - コンテントを伝播する方法であって、
デバイスでユーザから入力を検出することと、
コマンドを特定するため前記入力を解釈することと、
少なくとも部分的には前記コマンドに基づいてコマンドメッセージを生成することと、
前記コマンドメッセージをワークスペース管理システム(WMS)へ伝送することと、
前記コマンドメッセージを前記WMSへ伝送した後に、前記WMSから第2のコマンドメッセージを受信することと、
前記第2のコマンドメッセージの処理に応じて更新済みのコンテントを前記デバイスで表示することであって、前記第2のメッセージはコンテント特定情報を含む、前記表示することとを含む、方法。 - 前記デバイスは、スマートインタラクティブホワイトボード、コンピュータタブレット、スマートフォン、電子ブックリーダー、コンピュータ一体型モニタ、eフリップチャート装置、およびスマートテレビジョンからなる群から選択されるいずれか1つである、請求項19に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662275133P | 2016-01-05 | 2016-01-05 | |
US62/275,133 | 2016-01-05 | ||
PCT/CA2016/051536 WO2017117656A1 (en) | 2016-01-05 | 2016-12-23 | Method to exchange visual elements and populate individual associated displays with interactive content |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019503004A JP2019503004A (ja) | 2019-01-31 |
JP2019503004A5 true JP2019503004A5 (ja) | 2020-02-06 |
Family
ID=59273160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018535039A Pending JP2019503004A (ja) | 2016-01-05 | 2016-12-23 | 視覚的要素を交換し、個々の関連ディスプレイにインタラクティブコンテントを投入する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10620898B2 (ja) |
EP (1) | EP3400532A4 (ja) |
JP (1) | JP2019503004A (ja) |
CN (1) | CN108780438A (ja) |
CA (1) | CA3010434A1 (ja) |
WO (1) | WO2017117656A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6546455B2 (ja) * | 2015-06-12 | 2019-07-17 | シャープ株式会社 | イレーサ装置および指示入力システム |
JP6747025B2 (ja) * | 2016-04-13 | 2020-08-26 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示システムの制御方法 |
CN107491280B (zh) * | 2017-08-22 | 2021-05-14 | 北京小米移动软件有限公司 | 信息更新方法及装置 |
US20190132398A1 (en) * | 2017-11-02 | 2019-05-02 | Microsoft Technology Licensing, Llc | Networked User Interface Back Channel Discovery Via Wired Video Connection |
USD870139S1 (en) * | 2018-06-04 | 2019-12-17 | Apple Inc. | Display screen or portion thereof with graphical user interface |
GB2576359B (en) * | 2018-08-16 | 2023-07-12 | Displaylink Uk Ltd | Controlling display of images |
CN111400024B (zh) * | 2019-01-03 | 2023-10-10 | 百度在线网络技术(北京)有限公司 | 渲染过程中的资源调用方法、装置和渲染引擎 |
US11416205B2 (en) * | 2019-04-16 | 2022-08-16 | Apple Inc. | Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display |
WO2020214153A1 (en) * | 2019-04-16 | 2020-10-22 | Hewlett-Packard Development Company, L.P. | Components power state control for input pens |
JP2020201330A (ja) * | 2019-06-07 | 2020-12-17 | セイコーエプソン株式会社 | 表示装置の動作方法および表示装置 |
US11404028B2 (en) | 2019-12-16 | 2022-08-02 | Microsoft Technology Licensing, Llc | Sub-display notification handling |
US11487423B2 (en) | 2019-12-16 | 2022-11-01 | Microsoft Technology Licensing, Llc | Sub-display input areas and hidden inputs |
KR20210155663A (ko) * | 2020-06-16 | 2021-12-23 | 에스케이하이닉스 주식회사 | 메모리 장치 및 그 동작 방법 |
US11853480B2 (en) | 2021-06-04 | 2023-12-26 | Zouheir Taher Fadlallah | Capturing touchless inputs and controlling a user interface with the same |
US11507197B1 (en) * | 2021-06-04 | 2022-11-22 | Zouheir Taher Fadlallah | Capturing touchless inputs and controlling an electronic device with the same |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7430721B2 (en) * | 2003-04-08 | 2008-09-30 | Tidebreak, Inc. | Pointright: a system to redirect mouse and keyboard control among multiple machines |
EP1977312A2 (en) * | 2006-01-16 | 2008-10-08 | Zlango Ltd. | Iconic communication |
JP2009251287A (ja) * | 2008-04-07 | 2009-10-29 | Seiko Epson Corp | 表示システム |
US20130067420A1 (en) * | 2011-09-09 | 2013-03-14 | Theresa B. Pittappilly | Semantic Zoom Gestures |
JP5719325B2 (ja) * | 2012-03-30 | 2015-05-13 | 楽天株式会社 | 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体 |
JP6281245B2 (ja) * | 2013-10-31 | 2018-02-21 | 日本電気株式会社 | 情報処理装置及び表示拡大方法、並びにコンピュータ・プログラム |
US9596319B2 (en) * | 2013-11-13 | 2017-03-14 | T1V, Inc. | Simultaneous input system for web browsers and other applications |
-
2016
- 2016-12-23 CN CN201680082088.3A patent/CN108780438A/zh active Pending
- 2016-12-23 US US16/066,964 patent/US10620898B2/en not_active Expired - Fee Related
- 2016-12-23 CA CA3010434A patent/CA3010434A1/en not_active Abandoned
- 2016-12-23 JP JP2018535039A patent/JP2019503004A/ja active Pending
- 2016-12-23 EP EP16882826.7A patent/EP3400532A4/en not_active Withdrawn
- 2016-12-23 WO PCT/CA2016/051536 patent/WO2017117656A1/en active Application Filing
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019503004A5 (ja) | ||
KR102319417B1 (ko) | 협업 서비스를 제공하는 서버 및 방법, 그리고 협업 서비스를 제공받는 사용자 단말 | |
US10209770B2 (en) | Information processing apparatus and information processing method | |
CN104778001B (zh) | 一种图片控制方法及图片控制系统 | |
JP6306307B2 (ja) | 情報伝送方法及びシステム並びにその機器 | |
JP2019503004A (ja) | 視覚的要素を交換し、個々の関連ディスプレイにインタラクティブコンテントを投入する方法 | |
CN106415722A (zh) | 音乐正在播放用户界面 | |
CN104067204A (zh) | 指示笔计算环境 | |
CN105302784A (zh) | 复制/剪切和粘贴数据的方法和系统 | |
JP5813792B2 (ja) | システムおよびデータ提供方法並びに電子機器 | |
CN110090444A (zh) | 游戏中行为记录创建方法、装置、存储介质及电子设备 | |
CN102681870A (zh) | 在登录时自动执行动作 | |
CN105393200A (zh) | 用户接口反馈元素 | |
US8868795B2 (en) | Data processing device for multiple hardware systems, switching method and computer program product | |
JP2016045725A (ja) | 表示装置、伝送システムおよび伝送方法 | |
CN105706038A (zh) | 具有自动内容分类的两步内容选择 | |
JP6538482B2 (ja) | 電子機器及び方法 | |
CN105723314A (zh) | 两步内容选择 | |
CN111539219B (zh) | 一种用于自然语言内容标题消歧的方法、设备和系统 | |
KR101969583B1 (ko) | 컨텐츠 관리 방법과 장치 및 기록 매체 | |
JP6293903B2 (ja) | 情報を表示するための電子機器および方法 | |
US20140358306A1 (en) | Apparatus and method for processing data in energy management system | |
CN115657903A (zh) | 文档交互的方法、装置、设备和存储介质 | |
US11687312B2 (en) | Display apparatus, data sharing system, and display control method | |
US20180189253A1 (en) | Method for commenting on the interactive contents and reenacting the commenting scenario |