JP4301842B2 - ユーザインタフェースの利用方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、計算装置へのユーザインタフェース、より詳細には表示されたオブジェクトがマウス又はスタイラスを用いて選択されるアプリケーションに関する。
【０００２】
【従来の技術】
現在利用されているインタラクティブ描画／スケッチ／編集アプリケーションは２種類あり、いずれも描画オペレーションを通じた新たな画像マテリアルの作成、編集オペレーションを通じた既存の材料の選択及び処理をサポートしている。インタラクティブアプリケーションの種類は、「スケッチ」オペレーションと「編集」オペレーションとのいずれに重点を置くかで区別される。画像「編集」プログラムの主な作業は、画像オブジェクトの選択及び処理である。ゆえに、スタイラスやマウスによるインタラクションは主としてスタイラスの入力を選択のジェスチャと解釈するよう設計されており、マウス又はスタイラスの作業のデフォルト解釈は、既存の画像オブジェクトを処理用に選択することである。オブジェクトに描画を行うツールは、補助コマンドオブジェクト（通常は、メニュー）により与えられる。
【０００３】
これに対し、「スケッチ」プログラムの主な作業は、「描画」オペレーションである。スケッチ処理を容易にするため、ユーザは、各描画時にメニューの開始コマンドを実行しなくても、手書き又はスケッチによる線等の一連のマーキングを短時間で行えることが重要である。これらのプログラムは、描画オペレーションをマウス又はスタイラスの動作のデフォルト解釈とすることができるよう設計されている。この種類のプログラムの不利点として、描画オペレーションが優先されている場合に選択オペレーションの作業性が低下し、このため選択を行うためには明示的なメニュー選択又はボタンのクリックが必要となり、複数の選択及び処理オペレーションの平滑な流れが妨げられる点が挙げられる。
【０００４】
現在利用できるこのようなツールを用いる場合、マーキングの中で特徴の集合を随意に選択、移動、削除もしくは変更することは非常に困難な場合がある。詳細には、ユーザインタフェースの多くは、マウスを利用して、対象オブジェクトを囲む矩形をドラッグする、対象オブジェクトを囲む自由軌跡を描画する、或いは対象オブジェクトを囲む多角形の頂点を定義する方法により、オブジェクトを選択している。ユーザはこの中のいずれの選択方法を利用するのかを手動で特定しなければならず、この３つの選択方法を全て利用できるようにする技術は開発されていない。また、選択モードを選択することで、タスクの流れが妨げられる。
【０００５】
図形による画像化システムを開示する特許文献（「図形オブジェクト選択のためのジェスチャインジケータ」（Saund他））がある（例えば、特許文献１参照。）。このシステムでは、各オブジェクトについて計算されるパラメータ「ポーズ」を示す第一の特徴記述子によって、画像におけるオブジェクトの概略の位置、サイズ及び形状を要約する。第二の特徴記述子（例えば、「ジェスチャ適合」機能）は、ユーザの選択ジェスチャとの適合性の最も高い１つのオブジェクト又は１組のオブジェクトを選択するためのものである。最良の適合が得られると、第一及び第二の重要な特徴記述子は、双方に空間的にオーバラップする広範な１組の図形オブジェクトの中からユーザの簡単で自然なジェスチャで識別することができるようにさせる。ユーザのジェスチャとして、オブジェクトを横切るように斜線を引く、又はオブジェクトの形状をすばやく大まかになぞることができる。
【０００６】
ペン、スタイラス又はマウス等のポインタ制御装置と連結された中央演算装置を教示する特許文献（「動作ハンドルを利用してデータオブジェクトとインタラクションする方法及び装置」（Berman他））がある（例えば、特許文献２参照。）。ポインタ制御装置は、データオブジェクトと関連されたディスプレイ上でユーザがポインタを選択的に位置決めし、動作ハンドルを起動することを可能とする。動作ハンドルが起動されると、データオブジェクトと関連された選択が中央演算装置に信号で伝えられる。動作ハンドルをタップ又はクリックすると、当該データオブジェクトに関して起動される少なくとも１つのコマンドを含む、コンテキストメニューが表示される。動作ハンドルをドラッグすると、ドラッグ関連のオペレーション（ドラッグアンドドロップ等）のため、動作ハンドル、及び対応するデータオブジェクトの移動又はドラッグが示される。
【０００７】
【特許文献１】
米国特許第5,485,565号明細書
【特許文献２】
米国特許第5,760,773号明細書
【０００８】
【発明が解決しようとする課題】
本発明は、ユーザがメニュー又は他の中間段階を明示的に利用して選択方法を特定しなくても、マウス又はスタイラスを用いて４種類の選択方法（クリック／タップ、矩形ドラッグ、描画、多角形の描画）のうち任意の方法を実行することを可能とする、ユーザインタフェース技術を提供する。
【０００９】
【課題を解決するための手段】
概要を述べると、本発明の一態様は、システム上で操作すべき画像オブジェクトを選択するためのユーザインタフェースを有する、図形入力及び表示システムである。このシステムは、電子画像オブジェクトをディスプレイに入力するための画像オブジェクト入力デバイスと、ユーザの選択コマンドを受け取るためのユーザ入力デバイスと、を含む。このシステムに接続されたプロセッサは、種々の画像要素選択オペレーションに関する要求を受け取り、メモリ構造にアクセスする。システムのメモリ構造は、要素選択モードを予め選択せずにユーザが画像要素を選択できるようにするためのユーザインタラクションモジュールと、データメモリと、を含む。
【００１０】
本発明の別の態様は、要素選択モードを予め選択せずに、図形入力及び表示システム上で操作すべき画像オブジェクトを選択するために前記システムのユーザインタフェースを利用する方法である。このシステムは、ユーザ入力を受け取った後、入力された選択の選択モードを決定し、選択オペレーションを行う。
【００１１】
【発明の実施の形態】
本明細書は、電子画像を編集するためのマウス及びスタイラスによるオブジェクト選択方法及び装置を開示する。以下の説明では、本発明を完全に理解できるよう、数多くの特定の詳細について述べたが、これら特定の詳細を用いずとも本発明を実施できることは当業者には明白である。また、文書の画像から特徴を抽出するためのパース（parse）技術等の特定の実施上の詳細は、本発明を不明瞭にするおそれがあるため説明を省略した。
【００１２】
以下の説明で明らかとなる通り、本発明の利点は画像に含まれるテキストや線画の編集にある。ファックスで送られた文書や、デジタルコピー機で複写された文書には、主としてテキストと図形とを含む画像が含まれる場合が多い。画像に含まれる何らかのテキストを編集するには、一般に光学的文字認職（ＯＣＲ）等の付帯処理や、画像情報を複数の層に並べる処理を行う必要がある。本発明は、画像における広範なテキスト及び図形データを編集できるようにするため、付帯処理を最小化し、テキストと図形情報との両方をより柔軟に定義できるようにする。
【００１３】
既存のユーザインタフェースでは、マウスクリック、マウスリリース、マウスドラッグ等の数多くの標準的なイベント処理技術が利用されている。マウスドラッグイベントは、マウスボタンを押しながらマウスを移動させるものである。マウスに代えてスタイラスを利用してもよい。この場合、マウスプレス及びマウスリリースイベントはスタイラスによるタッチ及びリフトイベントで置き換えられる。このようなイベント処理技術を図１に示す。図１には、不連続なオブジェクト１１０が示されている。オブジェクト１１０は、ディスプレイ画面上に表示されていてもよい。不連続なオブジェクト「Ｒ」上の点１２０をマウスで１回クリックするかスタイラスで１回タップすると、「Ｒ」が選択される。表示されたオブジェクト１３０では、自由軌跡１４０で囲むことでオブジェクト「Ｂ」、「Ｒ」、「Ｐ」が選択されている。表示されたオブジェクト１５０では、矩形１６０で囲んでこの矩形をドラッグすることでオブジェクト「Ｂ」、「Ｇ」、「Ｒ」、「Ｐ」が選択されている。表示された不連続なオブジェクト１７０では、多角形の囲み線１８０によって「Ｂ」、「Ｇ」、「Ｒ」及び台形が選択されている。既存のユーザインタフェースではこれらの選択方法はいずれも可能であるが、ユーザはオブジェクト選択オペレーションの実行前にどのモードを使うのかを特定しなければならない。この作業は一般的にツールバーのアイコンをクリックして行われる。
【００１４】
図２を参照する。システム２００は、画像入力デバイス２２０及びユーザ入力デバイス２３０からの信号を受け取るよう接続されたプロセッサ２１０を含む。画像入力デバイス２２０は、スキャナ、ファクシミリ受信機、他の画像受信装置、カメラ、ペンデジタイジングテーブル、装備されたスタイラス、他の適切なデバイス、或いは画像、複数の画像、デジタルインクストローク又は表示媒体で表示可能な他のデータオブジェクトをデジタル形式で記憶するローカルもしくはリモートメモリの一部とすることができる。ユーザ入力デバイス２３０は、例えばマウス付きキーボードとしてもよい。プロセッサ２１０は、画像出力デバイス２４０とも接続することができる。画像出力デバイス２４０は、画面ディスプレイ、プリンタ、ファクシミリ送信機又は他の画像送信装置、或いは画像をデジタル形式で記憶するローカルもしくはリモートメモリの一部とすることができる。また、プロセッサ２１０をプログラムメモリ２５０及びデータメモリ２６０と接続し、これらにアクセス可能としてもよい。プログラムメモリ２５０はユーザインタラクションモジュール２５４を含む。データメモリ２６０は、表示されるオブジェクトのデータ構造２６２、選択される領域のデータ構造、選択ジェスチャのデータ構造２６６、及び選択されるオブジェクトのデータ構造２７０を含む。
【００１５】
図３はマウスプレスイベント中に行われるステップを示す。ステップ３１０で、ユーザはマウスプレスイベント（タップ又はマウスクリック）を行う。ステップ３２０で、多角形入力モードが現在選択されているか否かが判断される。多角形入力モードが現在選択されている場合、ステップ３３０で、システムはマウスプレスイベントが直前のマウスプレスイベントと同位置またはほぼ同位置で発生したか否かを判断する。これにより、マウスプレスがリピートクリック／タップであるか否かを決定する。クリック／タップ動作がリピートプレスである場合、ステップ３３５で、プロセッサは現在の選択多角形で囲まれたオブジェクトを選択し、多角形入力モードを終了する。クリック／タップ動作がリピートプレスでない場合、ステップ３４０で、プロセッサは次の多角形の頂点をドロップする。ステップ３２０に戻り、多角形入力モードが現在選択されていない場合、ステップ３５０で、プロセッサは選択可能なオブジェクト上にマウス又はスタイラスがあるか否かを判断する。選択可能なオブジェクト上にマウス又はスタイラスがある場合、ステップ３６０でこのオブジェクトが選択される。選択可能なオブジェクト上にマウス又はスタイラスがない場合、ステップ３７０で、システムは直前のマウスプレスイベント（があった場合、このイベント）と同位置またはほぼ同位置で、クリック／タップが発生したか否かを判断することで、クリック／タップがリピートクリック／タップであるか否かを決定する。クリック／タップ動作がリピート動作である場合、ステップ３８０で、プロセッサは多角形入力モードを選択し、このマウス位置を第一の頂点として選択多角形の起点とする。ステップ３７０で、クリック／タップ動作がリピート動作でないと判断された場合、ステップ３９０で、プロセッサは軌跡／矩形入力モードを開始する。
【００１６】
状況により、一定の画像オブジェクト（「アンカー」画像オブジェクトと呼ぶ）に対してはステップ３６０のマウスクリック選択機能を無効にすることが望ましい。アンカー画像オブジェクト上でマウスプレスを行ってもアンカー画像オブジェクトは選択されず、処理はステップ３７０に進む。ステップ３７０では、多角形入力モード又は自由軌跡／矩形入力モードの選択ができる。
【００１７】
図４は、マウスドラッグイベント中に行われるステップを示すフローチャートである。ステップ４１０で、マウスドラッグイベントがユーザインタラクションモジュールに渡される。ステップ４２０で、システムは多角形入力モードが現在選択されているか否かを判断する。多角形入力モードが現在選択されている場合、ステップ４２５で、プロセッサはマウスドラッグイベントに関連するマウス／スタイラス位置に応じて現在の多角形の頂点を調整する。多角形入力モードが現在選択されていない場合、ステップ４３０で、システムは軌跡／矩形入力モードが現在選択されているか否かを判断する。軌跡／矩形入力モードが現在選択されていない場合、ステップ４４０で、プロセッサは１つ以上のオブジェクトが現在選択されているか否かを判断する。オブジェクトが選択されている場合、ステップ４４５で、選択されたオブジェクトをドラッグイベントに関連するマウス／スタイラス位置に応じて移動する。オブジェクトが選択されていない場合、プロセッサは動作を起こさない。ステップ４３０に戻り、軌跡／矩形入力モードが現在選択されている場合、ステップ４３５で、現在のドラッグ選択軌跡を、マウスドラッグイベントにより示される位置まで延長する。ステップ４５０で、現在のドラッグ軌跡を評価する。ドラッグ軌跡が矩形による選択ジェスチャであると評価された場合、ステップ４６０で、プロセッサはドラッグ矩形を表示する。選択ジェスチャが自由軌跡によるものであると評価された場合、ステップ４７０で、ドラッグ軌跡が表示される。選択ジェスチャの区別が不明瞭である場合、ステップ４８０で、ドラッグ矩形とドラッグ軌跡の両方が表示される。
【００１８】
このように、自由軌跡による選択ジェスチャと、オブジェクトを囲む矩形による選択ジェスチャは、いずれも１回のマウスクリック（選択可能なオブジェクト上で行われたものではない）という同一イベントにより開始される。この状態でジェスチャの空間的特性を分析し、自由軌跡、矩形、又はその両方の特性を有しているか否かを判断する。分析結果を基にして、軌跡、矩形又はその両方を表示する。この判断は、例えばディスプレイ画面５００を図示する図５に示すようにして、ステップ４５０で行うことができる。点５１０を選択ジェスチャの開始点とすると、点５２０はジェスチャにおいて点５１０から最も遠い点であり、点５３０は現在のジェスチャ位置（マウス／スタイラスの現在位置）である。開始点５１０と点５３０との距離が、点５２０（最大点）と点５３０との距離よりも短ければ、選択ジェスチャは自由軌跡による選択であると判断される。開始点５１０と点５３０との距離が、点５２０（最大点）と点５３０との距離よりも長ければ、選択ジェスチャの区別は不明瞭であると判断される。この判断基準は一例であり、当業者には周知の別の判断基準を利用してもよく、その判断基準も本発明の範囲に含まれる。
【００１９】
図６は、区別が不明瞭な選択ジェスチャにおけるディスプレイを示す。この例では、ディスプレイ画面６００には、オブジェクト６３０を選択しているドラッグ矩形によるジェスチャ６１０と自由軌跡による選択ジェスチャ６２０の両方が示されている。選択ジェスチャが行われている間、ドラッグ矩形によるジェスチャ６１０と、自由軌跡による選択ジェスチャ６２０はいずれもディスプレイ上で見える状態にある。別の方法でジェスチャを行うユーザの多くは、表示された自由軌跡又はドラッグ矩形を無視することができる。図７に示すように、自由軌跡／矩形選択モードからマウスリリースが行われると、最終的なジェスチャが自由軌跡、或いはオブジェクトを囲む矩形であるとみなすか否かを判断する際に同一判断基準が使用される。
【００２０】
図７を参照する。マウスリリースイベント７１０が行われると、ステップ７２０で、現在のモードが自由軌跡又は矩形モードであるか否かを判断する。自由軌跡又は矩形モードではないと判断されると、何もなされない。自由軌跡又は矩形モードであると判断された場合、ステップ７３０で、システムは前述した基準に基づいて、或いは他の公知の手段により、選択軌跡が自由軌跡であるか、又はオブジェクトを囲む矩形であるかについて評価する。選択ジェスチャがオブジェクトを囲む矩形であるとみなされる場合、ステップ７４０で、オブジェクトは矩形により選択される。ジェスチャが自由軌跡であるとみなされる場合、ステップ７５０で、軌跡により囲まれたオブジェクトが選択される。更に、ステップ７４０及び７５０で、軌跡／矩形入力モードを終了する。
【００２１】
本発明の変形された実施態様では、ユーザがドラッグ又は自由軌跡によりオブジェクトを選択すると、矩形もしくは他のパラメータ形状をドラッグするか、又は多角形の頂点を配置することで、変形された形態で表示されるオブジェクトだけでなく、選択ジェスチャにより囲まれた部分全体が明瞭な強調表示部として表示される。例えば、図８に示した実施態様では、不連続なオブジェクト８３０が表示されている。オブジェクト「Ｒｅｄ」及び「丸印」が自由軌跡８１０で選択されている。これらのオブジェクトの前景画素から一定範囲内にある背景画素８４０を事前に選択した色（例えば、半透明のグリーン）で表示することで、選択されたこれらの前景画像オブジェクトが強調表示される。次いで、選択ジェスチャの囲まれた部分８２０を、より明るいグリーン又は事前に選択した他の色の影をつけて強調してもよい。この強調は、図７のステップ７４０（「矩形でオブジェクトを選択」）、図７のステップ７５０（「自由軌跡でオブジェクトを選択」）、図３のステップ３３５（「多角形で囲まれたオブジェクトを選択」）で行われる。
【００２２】
本実施態様には、システムによる選択ジェスチャに関する解釈をユーザに提示するという利点がある。また、ユーザは選択ジェスチャにより選択された全ての前景画像オブジェクトの位置を視覚的に認識する際に、これにより支援される。最後に、強調された、囲まれた部分自体が「アクティブ」となり、この囲まれた部分の任意の場所でマウス／スタイラス動作を行うことにより、移動、ポップアップメニュー又は他のコマンドオペレーションを起動する。アドバンスト画像編集システム（本願と同時係属中の「電子画像の編集システム及び方法」（米国特許出願番号未付与）を参照）との関連では、選択されたオブジェクトの移動又は修正を行う際、選択された前景オブジェクト上にマウス／スタイラスを直接置く必要をなくすことで、ユーザインタラクションを促進する。
【００２３】
本発明は、不連続な画像オブジェクトを含む画像マテリアルと、ラスタ又はビットマップ表示を有する未区分（undifferentiated）画像に含まれる画像マテリアルの両方に適用することができる。不連続な画像オブジェクトの場合、オブジェクトを囲む矩形又は自由軌跡による選択軌跡が画像オブジェクトと交差しない場合がある。この場合、本願と同時係属中の「電子画像の編集システム及び方法」（米国特許出願番号未付与）に従って画像オブジェクトを細分化してもよい。更に、選択軌跡又は矩形と交差するオブジェクトの任意の一部又は全部を選択するか否かを決定する際に、本願と同時係属中の「不明確なオブジェクト選択軌跡の解釈方法及びシステム」（米国特許出願番号未付与）に記載された技術を利用してもよい。
【図面の簡単な説明】
【図１】マウス又はスタイラスを用いたオブジェクト選択を表す図である。
【図２】本発明に従って画像編集を行うシステムの構成要素全般を示すブロック図である。
【図３】クリック／タップ、及び多角形の線を用いた選択方法のステップを示すフローチャートである。
【図４】矩形をドラッグすることによる選択方法のステップを示すフローチャートである。
【図５】自由軌跡による選択ジェスチャを表す図である。
【図６】区別が不明瞭な選択ジェスチャにおけるディスプレイを表す図である。
【図７】描画による選択方法のステップを示すフローチャートである。
【図８】本発明に従った、選択部分の強調を示す図である。
【符号の説明】
２００ 図形入力及び表示システム
２２０ 画像入力デバイス
２３０ ユーザ入力デバイス
２５０ プログラムメモリ
２６０ データメモリ

Claims (5)

1. ユーザ入力手段、画像入力手段、プロセッサ及びユーザインタラクションモジュールを有する図形入力及び表示システム上で操作すべき画像オブジェクトを選択するためのオブジェクト選択モードを予め選択せずに、複数の画像オブジェクトから少なくとも一つの画像オブジェクトを選択するために前記システムのユーザインタフェースを利用する方法であって、
   ユーザによって入力された選択を受け取り、
   入力された前記選択の選択モードを自動的に決定し、選択オペレーションを実行する、
   方法であって、
   ユーザによって入力された前記選択はマウス又はスタイラスによるドラッグイベントを含み、
   入力された前記選択の選択モードの自動的な決定は、
   前記マウス又はスタイラスによるドラッグイベントの軌跡を評価し、
   前記軌跡が明らかに矩形による選択ジェスチャである場合、ドラッグ矩形を表示し、
   前記軌跡が明らかに自由軌跡である場合、ドラッグ軌跡を表示し、
   前記軌跡が、区別が不明瞭な選択ジェスチャである場合、ドラッグ軌跡とドラッグ矩形の両方を表示する、
   ことを含み、
   選択ジェスチャの開始点と前記軌跡上の現在位置との距離が、該開始点からもっとも遠い軌跡上の点と該現在位置との距離よりも短い場合には、明らかに矩形による選択ジェスチャであると判断し、
   選択ジェスチャの開始点と前記軌跡上の現在位置との距離が、該開始点からもっとも遠い軌跡上の点と該現在位置との距離よりも長い場合には、区別が不明瞭な選択ジェスチャであると判断し、
   前記選択モードは、矩形ドラッグモード、自由軌跡モード、多角形囲みモード、要素のクリックもしくはタップを含む、複数の選択モードを含む、
   方法。
2. ユーザによって入力された前記選択はマウスによるクリック又はスタイラスによるタップイベントを含む、請求項１に記載のシステム上で操作すべき画像オブジェクトを選択するために図形入力及び表示システムのユーザインタフェースを利用する方法。
3. 入力された前記選択の選択モードの決定は、
   前記クリック又はタップイベントが画像オブジェクト上で実行される場合にこのオブジェクトを選択し、
   前記クリック又はタップイベントが前記画像オブジェクト上で実行されない場合に軌跡／矩形モードを開始し、
   第二のクリック又はタップイベントが実行される場合に多角形入力モードを開始する、
   ことを含む、請求項１に記載のシステム上で操作すべき画像オブジェクトを選択するために図形入力及び表示システムのユーザインタフェースを利用する方法。
4. ユーザによって入力された前記選択はマウスのリリース又はスタイラスのリフトイベントを含む、請求項１に記載のシステム上で操作すべき画像オブジェクトを選択するために図形入力及び表示システムのユーザインタフェースを利用する方法。
5. 入力された前記選択の選択モードの決定は、
   前記マウスのリリース又はスタイラスのリフトイベントの発生前に描画された軌跡を評価し、
   前記軌跡が明らかに矩形による選択ジェスチャであると評価される場合、前記オブジェクトを選択し、
   前記軌跡が明らかに自由軌跡による選択ジェスチャであると評価される場合、前記自由軌跡で囲まれたオブジェクトを選択する、
   ことを含む、
   請求項４に記載のシステム上で操作すべき画像オブジェクトを選択するために図形入力及び表示システムのユーザインタフェースを利用する方法。

Images