JP2006338667A - ユーザ−マシン間通信方法、装置、インターフェイス・プロセッサ、及びプログラム - Google Patents

Abstract

【課題】画面上に表示された様々なオブジェクトをつなぐ始点及び終点を有する線を用いたユーザ−マシン間インターフェイスの提供。
【解決手段】ユーザ入力を受け取り、このユーザ入力に基づいてアクションを実行するためのユーザ−マシン間通信方法は、少なくとも２つのオブジェクト（１０２〜１１０）を表示画面上に表示することと、少なくとも２つのオブジェクト（１０２〜１１０）を線（１１６）で接続することと、少なくとも２つのオブジェクト（１０２〜１１０）に関するコマンドを実行することとを含む。
【選択図】図１９

Description

本発明は、画面上に表示された様々なオブジェクトをつなぐ始点及び終点を有する線を用いたユーザ−マシン間インターフェイスに関する。即ち、ユーザ入力を受け取り、該ユーザ入力に基づいてアクションを実行する、ユーザ−マシン間通信方法、この通信方法を実行する装置、ユーザ−マシン間インターフェイス・プロセッサ、及びプログラムに関する。

画面上に表示されるアイコン、及びポインタを操作するマウスの導入により、ユーザ−マシン間インターフェイスは大きく進歩した。周知のように、アイコンをマウスで指示し、クリックして保持することによって、アイコンを「つかむ」ことができ、そのアイコンを画面上の任意の場所に移動させることができる。例えば、アイコンを「シュレッダー」アイコンの中に移動させると、そのアイコン、又はそのアイコンによって表される文書が消去され得る。
例えば、非特許文献１では、グラフィカルインタラクティブ（対話）システムにおいて、ポインティング動作に替わる、或いはこれを補完するパラダイムとして、境界をクロス（横断）させる動作によるユーザーインターフェースが提案されている。また、非特許文献２では、複数装置を介したノート書き取りのための共有された自由入力インターフェイスが提案され、ここではペンによる書き取りと同様の動作により入力を行うことができる。
アコットら（Accot et al），「ｉの点を打つだけではない：線の交差に基づくインターフェイスの基礎（More than dotting the I's - foundations for crossing-based interfaces）」，ＩＢＭアルマデン研究所（IBM Almaden Research Center），紙：滑らかな移動（Paper: Smooth Moves），ＣＨＩ２００２，２００２年４月２０日〜２５日，第４巻，第１号，ｐ．７３−８０ ドヌら（Denoue et al），「複数装置にわたるノート記録のための共有型自由入力（Shared Freedom Input for Note Taking across Devices）」，ＦＸパロアルト研究所（FX Palo Alto Laboratory），ショートトーク：携帯装置のためのインタラクション技術（Short Talk: Interaction Techniques for Handheld Devices），ＣＨＩ２００３，２００３年４月５日〜１０日，ｐ．７１０−７１１

本発明は、装置と直感的に或いは簡単に通信するためのユーザ−マシン間通信方法、該方法を実行する装置、インターフェイス・プロセッサ、及びプログラムを提供することを目的とする。

本明細書においては、画面上に表示された様々なオブジェクトをつなぐ始点及び終点を有する線を用いたユーザ−マシン間インターフェイスが開示される。線は、ソース（起点又は発信側）オブジェクトを始点として、他のオブジェクトと交差して延び、画面上の何らかの所望の位置を終点としてもよい。線の始点の位置により、ソースオブジェクトの特定の部分がソースとして識別されてもよい。線がコマンドオブジェクトと交差して延びる場合には、そのソースは、そのコマンドオブジェクトに対応するコマンド（命令）によって処理される入力として用いられてもよい。線がシンク（受信側）オブジェクトを終点とする場合には、処理されたソースは、その線の終点によって識別される位置に配置されてもよい。線の終点をオブジェクトと関連付けることができない場合には、処理されたデータは、例えば、単に線の終点の位置に表示されてもよい。

線は、様々な線形状を含んでもよい。例えば、線が、ソースオブジェクトの一部を実質的に囲むことによって開始する場合には、線によって囲まれた部分は、その後のコマンドによって処理されるべきソースとして識別される。線の始点における線形状は、そのソースに対して実行されるべきコマンドを意味してもよい。例えば、線の始点が、ソースオブジェクトの或る単語を特定の方向（例えば右から左）に取消線のように横断する場合には、この線形状は、ソースオブジェクトからその単語をカットするコマンドであってもよい。

線は、どのオブジェクトとも交差しない線形状として延びてもよい。そのような線形状は、コマンドとして解釈されてもよい。例えば、単純なループは「挿入」コマンドを示してもよい。従って、線が、ソースオブジェクト内の或る単語と取消線のように横断する直線で始まって、ループとなって延び、シンクオブジェクト内の特定の点で終わる場合には、ソースオブジェクト内のその単語がカットされて、線の終点によって示される位置に挿入されてもよい。

オブジェクトは、１つ以上のソース、シンク、又はコマンドであってよい。コマンドアイコンは、例えば、単に、画面を２つの部分に分けるように画面を横断して描画された線（コマンドバー）であってもよい。画面の一部分を始点として、コマンドバーと交差し、画面の別の部分に延びる線は、例えば、画面の第１の部分から画面の第２の部分へのテキストのコピー（又はカット）を示してもよい。ソースオブジェクト及びシンクオブジェクトは任意の種類のものであってよく、テキストに限定されない。例えば、ソースオブジェクト及びシンクオブジェクトは、電子メールアドレス、携帯電話番号、ＴＶ局やラジオ局等といったネットワークに関するものであってもよい。更に、コマンドは、音声合成器、ビデオディスプレイ、ヘッドホン等といった、テキスト以外のものに関連してもよい。

上記を考慮して、キーボードを介して又はマウスを用いてコマンドを入力する代わりに、様々な形状を構成し且つ様々なオブジェクトと交差する実質的に連続した線を描画することにより、装置と通信するための直感的で簡単な方法が提供される。このようなユーザ−マシン間インターフェイスは、ディスプレイ式コマンド入力領域を有するコピー機やプリンタ等といった電子写真装置、ＰＤＡや携帯電話等といった携帯ユニット等を含む任意のタイプの装置に、容易に適応させることができよう。

本発明の第１の実施態様は、ユーザ入力を受け取り、該ユーザ入力に基づいてアクションを実行する、ユーザ−マシン間通信方法であって、少なくとも２つのオブジェクトを（表示制御手段により表示画面上に）表示することと、前記表示画面に表示された少なくとも２つのオブジェクトを（線形成手段により）線で接続することと、前記少なくとも２つのオブジェクトに関するコマンドを（実行手段により）実行することと、を含むことを特徴とする。

本発明の第２の実施態様は、前記２つのオブジェクトのうちの第１のオブジェクトに前記線の始点を（線形成手段により）配置することと、前記線の前記始点に基づき（識別手段により）ソースを識別することと、前記２つのオブジェクトのうちの第２のオブジェクトに前記線の終点を（線形成手段により）配置することと、前記線の前記終点に基づきシンクを（識別手段により）識別することと、を更に含むことを特徴とする第１の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第３の実施態様は、前記線の前記始点として第１の線形状を（線形成手段により）形成することと、前記第１の線形状を前記ソースに関する第１の位置に（線形成手段により）配置することと、を更に含むことを特徴とする、第２の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第４の実施態様は、前記第１の線形状と関連付けられたソースコマンドを（コマンド識別手段により）識別することと、前記ソースコマンドに基づき前記ソースを（処理手段により）処理することと、を更に含むことを特徴とする第３の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第５の実施態様は、（識別手段により、）前記２つのオブジェクトのうちの第１のオブジェクトを選択し、始点に関連付けることと、（識別手段により、）第１の実質的に閉じた境界線の実質的に中にあるデータを前記ソースとして選択し、前記第１の実質的に閉じた境界線に関連付けることと、（識別手段により、）テキストをソースとして選択し、前記テキストに重なる第１の実質的な直線に関連付けることと、（識別手段により、）前記第１の実質的な直線を左から右に延ばすことに、前記ソースをコピーすることを関連付け、且つ、前記第１の実質的な直線を右から左に延ばすことに、前記ソースをカットすることを関連付けるか、或いは、前記第１の実質的な直線を左から右に延ばすことに、前記ソースをカットすることを関連付け、且つ、前記第１の実質的な直線を右から左に延ばすことに、前記ソースをコピーすることを関連付けることと、を更に含むことを特徴とする第４の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第６の実施態様は、前記２つのオブジェクトのうちの前記第１のオブジェクトと関連付けられたソースコマンドを（コマンド識別手段により）識別することと、前記ソースを取得するために前記ソースコマンドを（実行手段により）実行することと、を更に含むことを特徴とする、第２の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第７の実施態様は、前記ソースコマンドが、電子メールの受信、ファクシミリの受信、ＴＶ又はラジオ放送を含む公共放送情報の受信、ダウンロードの受信、又は、電話通話の受信、の１つ以上を含むことを特徴とする第６の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第８の実施態様は、前記線の前記終点として第２の線形状を（線形成手段により）形成することと、前記第２の線形状を前記シンクに関する第２の位置に（線形成手段により）配置することと、前記コマンドの結果を（実行手段により）前記シンクに配置することと、を更に含むことを特徴とする第２の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第９の実施態様は、前記第２の線形状と関連付けられたシンクコマンドを（識別手段により）識別することと、前記シンクコマンドに基づき前記結果を（処理手段により）処理することと、を更に含むことを特徴とする第８の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１０の実施態様は、（識別手段により、）前記結果を前記終点と関連付けられた位置に配置し、前記終点に関連付けることと、（識別手段により、）前記結果を第２の実質的に閉じた境界線の実質的に中に配置し、前記第２の実質的に閉じた境界線に関連付けることと、（識別手段により、）前記結果を第２の実質的な直線の向き及び位置に配置し、前記第２の実質的な直線に関連付けることと、を更に含むことを特徴とする第９の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１１の実施態様は、前記２つのオブジェクトのうちの前記第２のオブジェクトと関連付けられたシンクコマンドを（識別手段により）識別することと、前記結果を配置するために前記シンクコマンドを（実行手段により）実行することと、を更に含むことを特徴とする第８の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１２の実施態様は、前記シンクコマンドが、前記結果を電子メールとして送信すること、前記結果をファクシミリとして送信すること、前記結果をインスタントメッセージとして送信すること、前記結果をアップロードすること、前記結果を表示すること、前記結果を次のコマンドのために出力すること、前記結果に基づき可聴音を生成すること、前記結果を音声合成すること、又は、前記結果を拡大すること、の１つ以上を含むことを特徴とする第１１の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１３の実施態様は、前記線を（線形成手段により）第３のオブジェクトに交差させることと、前記第３のオブジェクトと関連付けられたコマンドを前記コマンドとして（実行手段により）実行することと、を更に含むことを特徴とする第１の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１４の実施態様は、前記第３のオブジェクトと関連付けられた前記コマンドが、前記ソースを前記シンクに移動させること、前記第３のオブジェクトと関連付けられたパラメータに基づき前記ソースを変更すること、及び、前記変更されたソースをオブジェクトの結果として出力すること、の１つ以上を含むことを特徴とする第１３の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１５の実施態様は、ａ．前記線を（線形成手段により）次のオブジェクトと交差させることと、ｂ．更に別のオブジェクトに関連付けられたコマンドに基づき、（実行手段により）前記次のオブジェクトの結果を変更することと、前記次のオブジェクトの結果を（実行手段により）前記変更された次のオブジェクトの結果と置き換えることと、前記線の前記終点に達するまで、上記ａ及びｂを繰り返すことと、を更に含むことを特徴とする第１４の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１６の実施態様は、第３の線形状を（線形成手段により）形成することと、前記第３の線形状に関連付けられたコマンドを前記コマンドとして（実行手段により）実行することと、を更に含むことを特徴とする第１の実施態様のユーザ−マシン間通信方法であってよい。

本発明の第１７の実施態様は、ユーザ−マシン間インターフェイス・プロセッサであって、複数のオブジェクトを表示画面上に表示する表示制御手段と、始点を前記表示画面に表示された第１のオブジェクトに有し且つ終点を前記表示画面に表示された第２のオブジェクトに有する線を形成する線形成手段と、前記始点、前記終点、及び前記線の前記始点と前記終点との間にある前記線の部分を有する線形状に、それぞれ対応するコマンドを関連付ける線形状識別手段と、１つ以上の線形状に対応するコマンドを実行する実行手段と、を含むことを特徴とする。

本発明の第１８の実施態様は、前記線を前記表示画面に表示された第３のオブジェクトに交差させる手段と、前記第３のオブジェクトに関連付けられたコマンドを実行する実行手段と、を更に含むことを特徴とする第１７の実施態様のユーザ−マシン間インターフェイス・プロセッサであってよい。

本発明の第１９の実施態様は、第１の実施態様の方法を実行する装置であって、電子写真コピー機、電子写真プリンタ、パーソナル・デジタル・アシスタント、携帯電話、パーソナルコンピュータ、又は、ワークステーション、の１つ以上を含むことを特徴とする。

本発明の第２０の実施態様は、ユーザ入力を受け取り、該ユーザ入力に基づいてアクションを実行する、ユーザ−マシン間通信方法であって、少なくとも２つのオブジェクトを（表示制御手段により表示画面上に）表示することと、前記少なくとも２つのオブジェクトを（線形成手段により）線で接続することと、前記少なくとも２つのオブジェクトに関するコマンドを（実行手段により）実行することと、前記２つのオブジェクトのうちの第１のオブジェクトに前記線の始点を（線形成手段により）配置することと、前記線の前記始点に基づきソースを（識別手段により）識別することと、前記２つのオブジェクトのうちの第２のオブジェクトに前記線の終点を（線形成手段により）配置することと、前記線の前記終点に基づきシンクを（識別手段により）識別することと、前記線の前記始点として第１の線形状を（線形成手段により）形成することと、前記第１の線形状を前記ソースに関する第１の位置に（線形成手段により）配置することと、前記第１の線形状と関連付けられたソースコマンドを（コマンド識別手段により）識別することと、前記ソースコマンドに基づき前記ソースを（処理手段により）処理することと、前記線の前記終点として第２の線形状を（線形成手段により）形成することと、前記第２の線形状を前記シンクに関する第２の位置に（線形成手段により）配置することと、前記コマンドの結果を前記シンクに（処理手段により）配置することと、前記第２の線形状と関連付けられたシンクコマンドを（識別手段により）識別することと、前記シンクコマンドに基づき前記結果を（処理手段により）処理することと、前記線を第３のオブジェクトに（線形成手段により）交差させることと、前記第３のオブジェクトと関連付けられたコマンドを前記コマンドとして（実行手段により）実行することと、を含むことを特徴とする。

本発明の第２１の実施態様は、入力手段を介してユーザ入力を受け取り、該ユーザ入力に基づいて実行手段によりアクションを実行させるためのプログラムであって、前記プログラムはコンピュータに、表示制御手段により表示画面上に少なくとも２つのオブジェクトを表示する処理と、前記少なくとも２つのオブジェクトを線形成手段により線で接続する処理と、前記少なくとも２つのオブジェクトに関するコマンドを実行手段により実行する処理と、を実行させることを特徴とする。

本発明により、キーボードを介して又はマウスを用いてコマンドを入力する代わりに、表示画面上に様々な形状を構成し且つ様々なオブジェクトと交差する実質的に連続した線を描画することで、より簡単に、直感的に、様々な装置と通信することができる。

添付の図面を参照し、ここに開示されるシステム及び方法の様々な例示的な実施形態を詳細に説明する。

図１は、オブジェクト１０２〜１１０を表示する例示的な表示画面１００を示す。この例では、オブジェクト１０２〜１０６はソース／シンクオブジェクトであり、オブジェクト１０８及び１１０はコマンドオブジェクトである。ソース／シンクオブジェクト１０２〜１０６は、データが入出力され得る文書／ファイル／ポート／ネットワーク接続等を表してもよい。コマンドオブジェクト１０８〜１１０は、ソース／シンクオブジェクト１０２〜１０６又はその中のデータに関して実行され得るアクション（動作）を表してもよい。

例えば、図２は、オブジェクト１０２を始点とし、オブジェクト１０８と交差して、オブジェクト１０６を終点とする、実質的に連続した線１１６を示す。実質的に連続した線１１６は、表示画面として、例えば、タッチスクリーン（touch sensitive screen）を用いて、ポインタやスタイラス等の通常の手段によって形成されてもよい。線を形成するための上記及びその他の方法では、線に小さい隙間を含むこともある。いずれにしても、線における何らかの隙間の大きさは、複数の線から１つの線を区別するための適切な技術にとって十分に小さくなければならない。破線の円１１２を用いて線１１６の始点を識別し、破線の二重円１１４を用いて線１１６の終点を識別する。破線の円１１２及び破線の二重円１１４は実際には表示されなくてもよいが、ここでは、線の始点及び終点を示すために用いられている。線１１６とオブジェクト１０８との交点は、図２に示されるようにオブジェクト１０８と交差していてもよく、又は、線１１６がオブジェクト１０８からの或る設定距離の範囲内に入ってさえいれば、線１１６がオブジェクト１０８を含むことが意図されていると解釈されるような、パラメータが設定されてもよい。

線１１６は、オブジェクト１０２又はオブジェクト１０２の一部を入力として用いて、オブジェクト１０８で表される機能を実行し、出力をオブジェクト１０６内に配置するよう、装置に指示するコマンドを表す。従って、例えば、オブジェクト１０２を選択して、ある機能を実行するためにオブジェクト１０２をオブジェクト１０８までドラッグするために、ポインタ及びマウスを用いる代わりに、ソース／シンクオブジェクトとコマンドオブジェクトとをつなぐ線１１６が可視のエンティティ（実体）として実際に描画される。

図３は別の例を示す。この例では、線１１８はソース側に線形状１２０を含み、シンクオブジェクト１０２に至るまでに２つのコマンドオブジェクト１０８及び１１０を結んでいる。図３に示されるように、線形状１２０は、ソースを識別するためにオブジェクト１０４の一部分を囲む実質的に閉じた境界線（perimeter）を有してもよい。閉じた境界線が完全に閉じているか否かは重要ではない。実質的に閉じた境界線の目的は、ソースをはっきりと識別することである。この識別機能を実行するのに十分な、任意の形状が許容可能である。

識別されたソースに対して実行されるべき機能は、コマンドオブジェクト１０８及び１１０によって表される２つの機能の組み合わせである。コマンドオブジェクト１０８及び１１０と関連付けられた機能の実行後の結果は、オブジェクト１０２内の、線１１８の終点によって識別される位置に配置されることができる。コマンド１０８及び１１０は、ソースからシンクへと線１１８に沿った順序で実行されてもよい。線１１８によって含まれるコマンドオブジェクトのタイプに基づく解決順等といった、他の順序スキームが構築されてもよい。

図４は別の例を示す。この例では、線１２２は、線形状１２４、１２６及び１２８を含む。線形状１２４は、線形状１２０と同様に、ソースデータを識別することができ、それに加えて、例えばコピーやカット等の機能を指定してもよい。線１２２は、ソースに関係するコマンドオブジェクトと交差していない。その代わりに線形状１２６が含まれており、これは所定の機能を伴うものであると解釈されてもよい。更に、線形状１２８は、処理された結果を配置すべき位置を指定するだけでなく、例えば、テキストのリフロー（あふれ）、サイズ等を調節することによって処理された結果を嵌め込むべき特定の空間も指定する。従って、線形状１２４、１２６及び１２８を用いて、オブジェクト１０４内のデータを識別し、線形状１２４及び線形状１２６によって識別された機能により処理し、その結果を、オブジェクト１０２内の線形状１２８によって識別された位置に配置することができる。更なるコマンドを指定するために、複数の線形状が含まれてもよい。例えば、ソースデータをコピーして、下線を有する太字フォントにする場合には、１つの線形状１２６の代わりに、太字と下線とにそれぞれ対応する２つの異なる線形状が用いられてもよい。

図５は、表示セクション２０４、コマンドバー２０６、及び表示セクション２０８を含む表示画面２００の一例を示す。例えばスタイラスの使用に備えるために、表示セクション２０４及び２０８はタッチセンシティブ（センサ）であってもよい。タッチスクリーン以外に、例えばマウスやキーボードのキーを用いて線及び線形状を描画するための他の方法も周知である。コマンドバー２０６は一種のコマンドオブジェクトであり、コマンドバー２０６と交差するように線を延ばすことによりコマンドが「入力」される。図５は、例えば、ＰＤＡや携帯電話を用いて文書２１０〜２１４を確認しているユーザが、「ｇｏｏｄ ｃｏｎｃｅｐｔ」等といったインクコメント２２２を入力することを決定する例を表し得る。この場合、ユーザは、文書２１０の特定の位置にコメントを配置することを望むかもしれない。従って、図６に示されるように、ユーザはスタイラスを用いて、インクコメント２２２を始点とし、文書２１０内のインクコメント２２２を配置すべき位置を終点とする線２２４を描画してもよい。コマンドプロセッサは、線２２４を受け取ったら、インクコメント２２２をカットして、文書２１０の表示サイズに基づきインクコメント２２２をサイズ調整し、サイズ調整されたインクコメント２２２を、図７に示されるように、線２２４の終点によって示される位置に配置してもよい。

図８は、線２１８の終点にある線形状２１６を示しており、線形状２１６は、インクコメント２２２をどのように配置するかを示している。図９は別の例を示しており、この例では、線２２０はインクコメント２２２を始点とし、実質的に閉じた境界線の線形状２２６内を終点として、インクコメント２２２をどこにどのように配置すべきかを指定している。図示されるように、インクコメント２２２はリフロー及びサイズ調整されて、線形状２２６によって実質的に囲まれた空間に嵌め込まれる。図１０は更に別の例を示しており、この例では、線形状２３０は、「ｅｘａｍｐｌｅ」という単語を、インクコメント２２２の下の位置にコピーされるソースデータとして識別している。このケースでは、線形状２３０は「コピー」として解釈される。線形状２３０が、「ｅｘａｍｐｌｅ」という単語を、例えば右から左ではなく左から右に横切っている場合には、コマンドプロセッサは、線形状２３０を「カット」として解釈するよう設定されてもよい。図１１は、実質的に閉じた境界線の線形状２３２の一例を示しており、線形状２３２は文書２１４内のグラフを囲み、そのグラフを、線２３４を介して表示セクション２０８にコピーする（又は移動させる）。

図１２は、フィールド３０８〜３１４を含むコマンドバー３０６を示している。各フィールド３０８〜３１４は、複数の実行可能な機能を表すよう定義されてもよい。これらの機能は、所定であってもよく、ユーザによって直接設定されてもよく、又は、例えばプロファイルを用いて設定されてもよい。図１１では、フィールド３０８〜３１４はラベル付けされた矩形として識別されているが、これらのフィールドは、色、アイコン、又は、ユーザにとって馴染みがある他の簡便且つ有意なシンボルによって識別されてもよい。

図１３では、線３０４は、インクコメント２２２を始点とし、フィールド３１０及び３１４と交差し、文書２１２を終点としている。フィールド３１０及び３１４は、インクコメント２２２が送信され得る他のアクセス可能な機器を識別してもよい。例えば、フィールド３１０〜３１４はユーザの同僚を表してもよい。従って、線３０４を形成したユーザは、フィールド３１０及び３１４に対応する同僚にインクコメント２２２を送信して、同意を伝える。フィールド３０８及び３１２に対応する同僚は、たとえ文書２１２を見ていても、インクコメント２２２を受信しない。フィールド３１０及び３１４に対応する同僚も文書２１２を見ている場合には、それらの同僚の文書２１２のコピーの、ユーザによって示された位置に、インクコメントが配置されてもよい。

図５〜図１３に示されている例は、表示セクション２０８内にインクコメント２２２を示しているが、表示セクション２０８内には他のタイプのオブジェクトが配置されてもよい。例えば、図１４は、ソースオブジェクトとしての電子メール４０２と、電子メール４０２を始点として表示セクション２０４内の所望の位置を終点とする線４０４とを示している。コマンドバー２０６と交差している線４０４は、電子メール４０２を受信して、その内容を表示セクション２０４に文書２１３として表示するコマンドとして解釈されることができる。図１５は、ユーザが、文書２１５を始点としてシンクオブジェクト４０８を終点とする線４０６を配置し得る一例を示す。シンクオブジェクト４０８は「送信」オブジェクトであってもよく、これは、例えば、関連付けられたアドレスファイルのリストに記載されているアドレスに、ネットワーク接続を介して電子メール及びファクシミリの少なくとも一方を送信するために、起動され得る。従って、線４０６は、アドレスファイル内で示されるアドレスに文書２１５を電子メールとして送信するコマンドに対応し得る。更に、図１５は別の線４１２を示しており、線４１２はインクコメント４１４を始点とし、インスタントメッセージのセッションを表してもよいシンクオブジェクト４１０を終点とする。従って、線４１２は、オブジェクト４１０と関連付けられたインスタントメッセージの相手にインクコメント４１４を送るようコマンドする。ユーザがインスタントメッセージを明示的に「受信」する必要がないように、インスタントメッセージのセッションは、メッセージ入力を自動的に表示してもよい。

図１６では、コマンドバー２０６がコマンドバー３０６と置き換えられ、電子メール４０２が開かれて表示セクション２０４に表示されている。フィールド３０８は「セルフ（自分自身）」又は「パーソナル」を表してもよく、電子メールは他者には送信されない。また、音声ファイルやビデオクリップの送受信、ＴＶ局やラジオ局、インターネット接続、又は、テキスト−音声変換や音声−テキスト変換を介した携帯電話との通信等といった、他のネットワークタイプの通信が可能であってもよい。

図１〜図４と関連して述べたように、コマンドオブジェクトは任意の形状であってよく、図５〜図１６と関連して述べたコマンドバー２０６及び３０６に限定されない。例えば、図１７は、馴染みのあるアイコンの形状のコマンドオブジェクト５０６及び５０８を示している。コマンドオブジェクト５０６は、テキストを発音するためのテキスト−音声変換を行う音声合成器アイコンであってもよい。コマンドオブジェクト５０８は、選択されたテキストを拡大表示する拡大鏡コマンドであってもよい。

図１７に示されるように、線５０４は、文書２１２の特定の段落を識別する線形状５０２を含む。線５０４は、コマンドオブジェクト５０６を終点としてもよい。この場合には、装置は選択されたテキストを音声合成器に入力し、選択されたテキストを「読み上げる」ために音声出力を生成する。ユーザが、破線で示される線の部分５１０を用いて線５０４を更に延ばし、コマンドオブジェクト５０８を終点とした場合には、選択されたテキストは、更に、例えば表示画面２００の部分５１２に表示されてもよく、ハイライト５１４で示されるように、現在発音されている単語がハイライト（強調）されてもよい。このようにして、表示スペース及び解像度が限られている携帯ユニットのユーザは、表示されている文書の一部を音声で読み上げさせてもよく、所望であれば、確認のために文書のその部分が表示されてもよい。プライバシーのために音声をヘッドホンに出力する場合には、ヘッドホンアイコンが用いられてもよい。

図１８は、上述の線を介したコマンド入力と関連する機能を実行し得る装置６００の例示的なブロック図を示す。装置６００は、ＰＤＡ（情報端末装置）や携帯電話、ディスプレイ及びマウス・キーボード等の入力装置を有するパーソナルコンピュータ等を含む、コンピュータであってよい。装置６００は、コマンドプロセッサ（処理手段又は実行手段）６０２と、メモリ（記憶手段）６０４と、線形状弁別器（線形状弁別手段又は線形状識別手段）６０６と、コマンド弁別器（コマンド弁別手段又はコマンド識別手段）６０８と、入出力コントローラ（入出力制御手段）６１０と、表示コントローラ（表示制御手段）６１２と、ネットワークインターフェイス（通信インターフェイス手段）６１４とを含んでよい。これらの構成要素６０２〜６１４は、１つ以上のバス６１６を介して接続されてよい。

図１８は、バス・アーキテクチャ・フォーマットで構成された装置６００を示しているが、当業者に周知の他のアーキテクチャを用いてもよい。更に、様々な機能ユニットを図示するために別個のブロックを用いたが、利用可能な技術に基づき、これらのブロックは組み合わされてもよく、又は、更に分けられてもよい。特定用途向け集積回路（ＡＳＩＣ）等のハードウェア実装や、ＤＳＰ等の汎用又は特定用途向けプロセッサを用いたソフトウェア実装を用いてよい。

電源投入後、入出力コントローラ６１０は、ユーザが線入力を入力したか否かをモニタする。入出力コントローラ６１０は、例えば、スタイラスや指がタッチスクリーン等の表示画面（１００、２００）に接触したことをリアルタイムで検出するために十分に高速であってよく、スタイラスの動きをリアルタイムで追跡して、線が入力されているか、及び、オブジェクトに交差しているかを判定する。即ち、表示画面表示されたオブジェクトに対するユーザによる入力ストローク(例えば、ペンダウンからペンアップまでの手書きストローク)を検出し、検出されたストロークに基づいて、オブジェクトに対する線を受け付け(線又は線形状の入力)、ストロークの示す位置情報に対応して、オブジェクトに対する線を形成する(線形成手段)、形成結果を表示画面上に表示する(表示制御手段)。上記の手書き入力自体は公知である。入出力コントローラ６１０が、線が終わったと判定した場合には、特定の線形状が描画されたか否かを判定するために、入力された情報は線形状弁別器６０６に送ることができる。線形状はリアルタイムで判定されてもよい。線形状が描画された場合には、線形状弁別器６０６は、様々な線形状を例えばコードに変換してよく、ユーザが何のコマンドを入力したかを判定するために、線形状コードはコマンド弁別器６０８に送られることができる。

コマンド弁別器６０８は、コマンドプロセッサ６０２にコマンドを送信することができ、コマンドプロセッサ６０２は、メモリ６０４からの情報にアクセスし、コマンドに基づきソースデータを処理し、処理したデータをメモリ６０４の適切な部分に出力することができる。ユーザのコマンドが、ネットワークリソースのアクセスを要求する場合には、コマンドプロセッサ６０２は、ネットワークインターフェイス６１４を介して、そのようなリソースにアクセスしてよい。コマンドが処理されたら、コマンドプロセッサ６０２は、実行されたコマンドの結果のフィードバックをユーザに提供するために、表示コントローラ６１２を介して表示画面を更新してよい。

図１９は、上述のように線を処理するための例示的な処理のフローチャート７００を示す。即ち、記憶手段に格納されたフローチャート７００に対応するプログラムがＣＰＵなどの処理手段により読み出されて実行されることにより、フローチャートに対応した機能が実現できる。このような各ステップに対応した機能を手段等を付けて呼ぶことができる(例えば、ステップ７０２、７０４、７１０、７１４、７１５、７１８、７２０、では線形状識別手段、ステップ７０６、７０８、７１２、７１６、７２２ではコマンド識別手段、ステップ７２４では実行手段等々)。議論を簡単にするため、フローチャート７００は、例えば、コマンド入力のためのタッチスクリーンを用いたスタイラスをリアルタイムで追跡するために、処理が十分に高速であることを前提とする。

電源投入後、処理はステップ７０２に進むことで開始し、そこで、線の入力が開始したか否かを判定する。線の入力が開始した場合には、処理はステップ７０４に進む。開始していない場合には、処理はステップ７０２に戻る。ステップ７０４では、処理は、線形状が入力されたか否かを判定する。線形状が入力された場合には、処理はステップ７０８に進む。入力されていない場合には、処理はステップ７０６に進む。ステップ７０６では、処理は、線の始点の位置に基づき、データのソースを識別する。例えば、線が表示セクション２０８等の入力領域を始点とする場合には、全インクコメント２２２がソースであると判定されることができる。上述したように、線の始点によって選択され得る、電子メール、ファクシミリ、インスタントメッセンジャー等を表し得る他のタイプのアイコンを用いてもよい。

ステップ７０８では、処理は、入力された特定の線形状に基づき、ソースを識別すると共に、コマンドも含まれているか否かを識別する。例えば、線形状が、文書の或る段落を実質的に囲んでいる場合には、その全段落がソースデータとして識別されてもよい。線形状が、その下にあるテキストの特定の部分と交差する略直線である場合には、初期設定され得る様々なパラメータによって決定されるように、そのようなテキストはコピー又はカットされてもよい。

ステップ７０６又はステップ７０８の後に、処理はステップ７１０に進む。ステップ７１０では、処理は、ソース／シンクオブジェクトと関連付けられていない線形状が入力されたか否かを判定する。そのような線形状が入力された場合には、処理はステップ７１２に進む。そうでない場合には、処理はステップ７１４に進む。ステップ７１２では、処理は、入力された線形状のタイプを判定し、入力された線形状と関連付けられたコマンドを識別する。その線形状にコマンドが関連付けられていない場合には、処理は、例えば、コマンドは意図されなかったと仮定してもよく、コマンドを識別せずにステップ７１４に進む。ステップ７１４では、処理は、線がオブジェクトと交差しているか否かを判定する。線がオブジェクトと交差した場合には、処理はステップ７１５に進む。交差していない場合には、処理はステップ７１８に進む。ステップ７１５では、処理は、交差されたオブジェクトがコマンドであるか又はソース／シンクオブジェクトであるかを判定する。オブジェクトがシンクオブジェクトである場合には、処理はステップ７２４に進む。そうでない場合には、処理はステップ７１６に進む。ステップ７１６では、処理はコマンドを識別し、そのコマンドを適切な時に実行するためにキューに加え、ステップ７１８に進む。

ステップ７１８では、処理は、線が終わったか否かを判定する。線が終わった場合には、処理はステップ７２０に進む。終わっていない場合には、処理はステップ７１０に戻る。従って、処理は、複雑な機能を実行するために、複数の線形状／線オブジェクトのシーケンスを許容することができる。例えば、ユーザは、或るオブジェクトの特定のテキストを囲むように線を延ばして、そのテキストをソースとして識別し、次に、その線を更に延ばして、先に選択されたテキストを太字フォントに変換するための太字コマンドとして解釈されることができる別の線形状にし、次に、その線を更に延ばして、選択されたテキストをイタリック体にする別の線形状にし、次に、線をシンクオブジェクトで終わらせて特定の位置を識別することにより、太字のイタリック体に変換された選択テキストがシンクオブジェクト内の識別された位置に配置されるようにすることができる。このように、複雑な処理を生じる複数の操作の組み合わせを達成するために、複数のコマンドが選択されてもよい。

ステップ７１８の後に、処理はステップ７２０に進む。ステップ７２０では、処理は、線の終端部に線形状が入力されたか否かを判定する。線形状が入力された場合には、処理はステップ７２２に進む。線形状が入力されていない場合には、処理はステップ７２４に進む。ステップ７２２では、処理は、その線形状によって示されるコマンドを識別する（例えば、そのコマンドの結果を配置すべき特定の位置を識別する）。ステップ７２２の後に、処理はステップ７２４に進む。ステップ７２４では、処理は、その線によって識別されるコマンドを実行することができる。フローチャート７００は、コマンドがステップ７２４で実行されるように示しているが、コマンドのタイプに応じて、コマンドは、識別された時に、又は必要な全ての情報が入手可能となった時に、実行されてもよい。ステップ７２４の後に、処理はステップ７２６に進む。ステップ７２６では、処理は、処理がオフにされたか否かを判定する。処理がオフにされた場合には、処理はステップ７２８に進んで終了する。そうでない場合には、処理はステップ７０２に戻り、新たな線の入力が開始したか否かを検出する。

上述のユーザ−マシン間インターフェイスは、表示画面が用いられる任意の状況に適用されてよい。例えば、プリンタやコピー機等の電子写真装置では、しばしばコマンドパネルを使用可能であり、コマンドパネルには上述の線システムを用いてもよい。ＰＤＡや携帯電話を用いる場合には、これらの小型の装置とのインターフェイスのために、スタイラスやユーザの指、鉛筆等を用いて線を描画できるように、タッチスクリーン技術を用いてもよい。

なお、様々な上記及びその他の特徴及び機能や、その代替物を、所望に応じて、他の多くの異なるシステムやアプリケーションに組み込んでもよい。また、現在のところ予見できない又は予期できない様々な代替物、変更物、変形物、又は改良物が、後から当業者によって作られ得るが、それらも添付の特許請求の範囲によって包含されることが意図される。

オブジェクトを表示している表示画面の一例を示す図である。 線を用いて様々なオブジェクトをつなぐことによってコマンドを入力する一例を示す図である。 コマンドのパラメータを指定するために、特定の線形状を用いる一例を示す図である。 コマンド又はコマンドのパラメータを指定するために、１つの線に複数の形状を用いる別の例を示す図である。 コマンドバーによって分割された表示画面の一例を示す図である。 コマンドバーと交差する線を描画することによってコマンドを入力する一例を示す図である。 図６に示されるコマンドの例示的な結果を示す図である。 線の終点部における、コマンドとして作用する線形状の一例を示す図である。 出力の配置を指定する線形状の別の例を示す図である。 始点における、コマンドを指定する線形状の一例を示す図である。 始点における線形状コマンドの別の例を示す図である。 コマンドバー内のフィールドの一例を示す図である。 コマンドバー内の複数のフィールドと交差する線を描画することによって入力されたコマンドを示す図である。 電子メールやインスタントメッセージの送受信等の機能に関するコマンドを入力する一例を示す図である。 電子メールやインスタントメッセージの送受信等の機能に関するコマンドを入力する一例を示す図である。 図１４及び図１５に示される機能に対するコマンドバー内のフィールドの使用を示す図である。 単一の線を用いて複数の機能をコマンドする一例を示す図である。 装置の例示的なブロック図である。 例示的な処理のフローチャートである。

符号の説明

１００ 表示画面
１０２〜１１０ オブジェクト
１１６ 線
１２２ 線
１２４、１２６、１２８ 線形状
６００ 装置
６０２ コマンドプロセッサ
６０４ メモリ
６０６ 線形状弁別器
６０８ コマンド弁別器
６１０ 入出力コントローラ
６１２ 表示コントローラ
６１４ ネットワークインターフェイス

Claims (21)

1. ユーザ入力を受け取り、該ユーザ入力に基づいてアクションを実行する、ユーザ−マシン間通信方法であって、
   少なくとも２つのオブジェクトを表示制御手段により表示画面上に表示することと、
   前記表示画面に表示された少なくとも２つのオブジェクトを線形成手段により線で接続することと、
   前記少なくとも２つのオブジェクトに関するコマンドを実行手段により実行することと、
   を含むことを特徴とするユーザ−マシン間通信方法。
2. 前記２つのオブジェクトのうちの第１のオブジェクトに前記線の始点を線形成手段により配置することと、
   前記線の前記始点に基づき識別手段によりソースを識別することと、
   前記２つのオブジェクトのうちの第２のオブジェクトに前記線の終点を線形成手段により配置することと、
   前記線の前記終点に基づきシンクを識別手段により識別することと、
   を更に含むことを特徴とする請求項１記載のユーザ−マシン間通信方法。
3. 前記線の前記始点として第１の線形状を線形成手段により形成することと、
   前記第１の線形状を前記ソースに関する第１の位置に線形成手段により配置することと、
   を更に含むことを特徴とする請求項２記載のユーザ−マシン間通信方法。
4. 前記第１の線形状と関連付けられたソースコマンドをコマンド識別手段により識別することと、
   前記ソースコマンドに基づき前記ソースを処理手段により処理することと、
   を更に含むことを特徴とする請求項３記載のユーザ−マシン間通信方法。
5. 識別手段により、前記２つのオブジェクトのうちの第１のオブジェクトを選択し、始点に関連付けることと、
   識別手段により、第１の実質的に閉じた境界線の実質的に中にあるデータを前記ソースとして選択し、前記第１の実質的に閉じた境界線に関連付けることと、
   識別手段により、テキストをソースとして選択し、前記テキストに重なる第１の実質的な直線に関連付けることと、
   識別手段により、前記第１の実質的な直線を左から右に延ばすことに、前記ソースをコピーすることを関連付け、且つ、前記第１の実質的な直線を右から左に延ばすことに、前記ソースをカットすることを関連付けるか、或いは、前記第１の実質的な直線を左から右に延ばすことに、前記ソースをカットすることを関連付け、且つ、前記第１の実質的な直線を右から左に延ばすことに、前記ソースをコピーすることを関連付けることと、
   を更に含むことを特徴とする請求項４記載のユーザ−マシン間通信方法。
6. 前記２つのオブジェクトのうちの前記第１のオブジェクトと関連付けられたソースコマンドをコマンド識別手段により識別することと、
   前記ソースを取得するために前記ソースコマンドを実行手段により実行することと、
   を更に含むことを特徴とする、請求項２記載のユーザ−マシン間通信方法。
7. 前記ソースコマンドが、
   電子メールの受信、
   ファクシミリの受信、
   ＴＶ又はラジオ放送を含む公共放送情報の受信、
   ダウンロードの受信、又は
   電話通話の受信
   の１つ以上を含むことを特徴とする請求項６記載のユーザ−マシン間通信方法。
8. 前記線の前記終点として第２の線形状を線形成手段により形成することと、
   前記第２の線形状を前記シンクに関する第２の位置に線形成手段により配置することと、
   前記コマンドの結果を実行手段により前記シンクに配置することと、
   を更に含むことを特徴とする請求項２記載のユーザ−マシン間通信方法。
9. 前記第２の線形状と関連付けられたシンクコマンドを識別手段により識別することと、
   前記シンクコマンドに基づき前記結果を処理手段により処理することと、
   を更に含むことを特徴とする請求項８記載のユーザ−マシン間通信方法。
10. 識別手段により、前記結果を前記終点と関連付けられた位置に配置し、前記終点に関連付けることと、
    識別手段により、前記結果を第２の実質的に閉じた境界線の実質的に中に配置し、前記第２の実質的に閉じた境界線に関連付けることと、
    識別手段により、前記結果を第２の実質的な直線の向き及び位置に配置し、前記第２の実質的な直線に関連付けることと、
    を更に含むことを特徴とする請求項９記載のユーザ−マシン間通信方法。
11. 前記２つのオブジェクトのうちの前記第２のオブジェクトと関連付けられたシンクコマンドを識別手段により識別することと、
    前記結果を配置するために前記シンクコマンドを実行手段により実行することと、
    を更に含むことを特徴とする請求項８記載のユーザ−マシン間通信方法。
12. 前記シンクコマンドが、
    前記結果を電子メールとして送信すること、
    前記結果をファクシミリとして送信すること、
    前記結果をインスタントメッセージとして送信すること、
    前記結果をアップロードすること、
    前記結果を表示すること、
    前記結果を次のコマンドのために出力すること、
    前記結果に基づき可聴音を生成すること、
    前記結果を音声合成すること、又は
    前記結果を拡大すること
    の１つ以上を含むことを特徴とする請求項１１記載のユーザ−マシン間通信方法。
13. 前記線を線形成手段により第３のオブジェクトに交差させることと、
    前記第３のオブジェクトと関連付けられたコマンドを前記コマンドとして実行手段により実行することと、
    を更に含むことを特徴とする請求項１記載のユーザ−マシン間通信方法。
14. 前記第３のオブジェクトと関連付けられた前記コマンドが、
    前記ソースを前記シンクに移動させること、
    前記第３のオブジェクトと関連付けられたパラメータに基づき前記ソースを変更すること、及び
    前記変更されたソースをオブジェクトの結果として出力すること
    の１つ以上を含むことを特徴とする請求項１３記載のユーザ−マシン間通信方法。
15. ａ．前記線を線形成手段により次のオブジェクトと交差させることと、
    ｂ．更に別のオブジェクトに関連付けられたコマンドに基づき、実行手段により前記次のオブジェクトの結果を変更することと、
    前記次のオブジェクトの結果を実行手段により前記変更された次のオブジェクトの結果と置き換えることと、
    前記線の前記終点に達するまで、上記ａ及びｂを繰り返すことと、
    を更に含むことを特徴とする請求項１４記載のユーザ−マシン間通信方法。
16. 第３の線形状を線形成手段により形成することと、
    前記第３の線形状に関連付けられたコマンドを前記コマンドとして実行手段により実行することと、
    を更に含むことを特徴とする請求項１記載のユーザ−マシン間通信方法。
17. 複数のオブジェクトを表示画面上に表示する表示制御手段と、
    始点を前記表示画面に表示された第１のオブジェクトに有し且つ終点を前記表示画面に表示された第２のオブジェクトに有する線を形成する、線形成手段と、
    前記始点、前記終点、及び前記線の前記始点と前記終点との間にある前記線の部分を有する線形状に、それぞれ対応するコマンドを関連付ける線形状識別手段と、
    １つ以上の線形状に対応するコマンドを実行する実行手段と、
    を含むことを特徴とするユーザ−マシン間インターフェイス・プロセッサ。
18. 前記線を前記表示画面に表示された第３のオブジェクトに交差させる手段と、
    前記第３のオブジェクトに関連付けられたコマンドを実行する実行手段と、
    を更に含むことを特徴とする請求項１７記載のユーザ−マシン間インターフェイス・プロセッサ。
19. 請求項１記載の方法を実行する装置であって、
    電子写真コピー機、
    電子写真プリンタ、
    パーソナル・デジタル・アシスタント、
    携帯電話、
    パーソナルコンピュータ、又は
    ワークステーション
    の１つ以上を含む装置。
20. ユーザ入力を受け取り、該ユーザ入力に基づいてアクションを実行する、ユーザ−マシン間通信方法であって、
    少なくとも２つのオブジェクトを表示制御手段により表示画面上に表示することと、
    前記少なくとも２つのオブジェクトを線形成手段により線で接続することと、
    前記少なくとも２つのオブジェクトに関するコマンドを実行手段により実行することと、
    前記２つのオブジェクトのうちの第１のオブジェクトに前記線の始点を線形成手段により配置することと、
    前記線の前記始点に基づきソースを識別手段により識別することと、
    前記２つのオブジェクトのうちの第２のオブジェクトに前記線の終点を線形成手段により配置することと、
    前記線の前記終点に基づきシンクを識別手段により識別することと、
    前記線の前記始点として第１の線形状を線形成手段により形成することと、
    前記第１の線形状を前記ソースに関する第１の位置に線形成手段により配置することと、
    前記第１の線形状と関連付けられたソースコマンドをコマンド識別手段により識別することと、
    前記ソースコマンドに基づき前記ソースを処理手段により処理することと、
    前記線の前記終点として第２の線形状を線形成手段により形成することと、
    前記第２の線形状を前記シンクに関する第２の位置に線形成手段により配置することと、
    前記コマンドの結果を前記シンクに処理手段により配置することと、
    前記第２の線形状と関連付けられたシンクコマンドを識別手段により識別することと、
    前記シンクコマンドに基づき前記結果を処理手段により処理することと、
    前記線を第３のオブジェクトに線形成手段により交差させることと、
    前記第３のオブジェクトと関連付けられたコマンドを前記コマンドとして実行手段により実行することと、
    を含むことを特徴とするユーザ−マシン間通信方法。
21. 入力装手段を介してユーザ入力を受け取り、該ユーザ入力に基づいて実行手段によりアクションを実行するために、コンピュータに、
    表示制御手段により表示画面上に少なくとも２つのオブジェクトを表示する処理と、
    前記少なくとも２つのオブジェクトを線形成手段により線で接続する処理と、
    前記少なくとも２つのオブジェクトに関するコマンドを実行手段により実行する処理と、
    を実行させるためのプログラム。

Images