JP2001022494A - 対話型グラフィカル・ユーザ・インタフェース内でオーバラップするウィンドウの音声識別子を有する、データ・プロセッサ制御による表示システム - Google Patents

対話型グラフィカル・ユーザ・インタフェース内でオーバラップするウィンドウの音声識別子を有する、データ・プロセッサ制御による表示システム

Info

Publication number
JP2001022494A
JP2001022494A JP2000166126A JP2000166126A JP2001022494A JP 2001022494 A JP2001022494 A JP 2001022494A JP 2000166126 A JP2000166126 A JP 2000166126A JP 2000166126 A JP2000166126 A JP 2000166126A JP 2001022494 A JP2001022494 A JP 2001022494A
Authority
JP
Japan
Prior art keywords
window
pointing device
windows
display
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000166126A
Other languages
English (en)
Inventor
Madalozzo John Jr
ジョン・マダロッゾ・ジュニア
Francis Makuburiatei Gerald
ジェラルド・フランシス・マクブリアティ
Men-Han C Johnnie
ジョニー・メン−ハン・シー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2001022494A publication Critical patent/JP2001022494A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Abstract

(57)【要約】 【課題】 複雑なウィンドウ階層グラフィカル・ユーザ
・インタフェースにおける、ウィンドウの対話処理及び
整理のための、ユーザ・フレンドリな表示インタフェー
ス・システムを提供すること。 【解決手段】 本システムは、選択順序に従い互いにオ
ーバラップして表示可能で、各々が部分的に見ることの
できる複数のウィンドウの階層の記憶を準備する。表示
画面上に、これらの複数の部分的にオーバラップするウ
ィンドウを表示する手段が提供される。これらのウィン
ドウの各々に対して、異なる音声識別子が提供され、記
憶される。更に、カーソルなどのポインティング・デバ
イスを表示画面上であちこち移動させ、位置決めする装
置が提供され、ポインティング・デバイスに応答して、
ポインティング・デバイスが入力する各ウィンドウに対
応する音声識別子を表明する手段と協働する。ポインテ
ィング・デバイスはユーザ制御式カーソルであったり、
タッチ・センシティブ表示システムにおいては、スタイ
ラスまたは指であっても良い。音声識別子は好適には、
ウィンドウのタイトル・バー内の名前である。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はユーザ対話型コンピ
ュータ支援表示技術に関し、特に、ユーザ・フレンドリ
であって、対話ユーザに容易に使用可能なインタフェー
ス環境を提供するグラフィカル・ユーザ・インタフェー
スに関する。
【０００２】
【従来の技術】１９９０年代は、データ処理業界と家電
業界との収束により導かれた技術革命により記される。
この進歩は過去２年間に渡る、消費者及びビジネスのイ
ンターネットとの広範囲に渡る関わり合いにより一層加
速された。これらの変化の結果、事実上、産業界におけ
る人間の努力の全ての面は、人とコンピュータとのイン
タフェースを要求するかのように思われる。コンピュー
タにより指示される活動を世界の人口の大部分、すなわ
ち数年前まではコンピュータの知識の無かった人々や、
せいぜいコンピュータに無関心であった人々によりアク
セス可能にすることが望まれる。巨大なコンピュータ支
援市場が継続し、商業的に生産的であるためには、コン
ピュータに無関心な消費者の大半が、コンピュータ・イ
ンタフェースに関係することが必要である。
【０００３】コンピュータの能力の向上により、対話ユ
ーザにとって使用可能な機能及び資源は多大に増加し
た。しかしながら、機能のこの増加に伴い、表示画面イ
ンタフェース内でユーザが使用可能なウィンドウの数及
び種類が著しく増加した。これは勿論、インタフェース
をより一層複雑化し、アイコンなどの対話データ要素を
含む数十個の、または潜在的に数百個の使用可能なウィ
ンドウが存在する。これらがオーバラップするウィンド
ウのスタックとして配列され、その表示が、例えば米国
特許第５２４１６５６号で述べられるデプス（depth）
・バッファなどの、多層表示またはフレーム・バッファ
を通じて制御及び追跡される。
【０００４】実際、ウィンドウの多層階層は非常に大規
模となり、それらはしばしば複数のデスクトップ・セッ
ション・レベルに配列される。デスクトップ・セッショ
ンは通常、オーバラップするウィンドウの幾つかの層か
ら成り、これらをデプス・フレーム・バッファが索引付
けし、追跡する。更に、ウィンドウ・インタフェース
は、層化されたウィンドウの追加のデスクトップ・セッ
ションを扱うようにセットアップされ、それらは非活動
状態でフレーム・バッファの外部に記憶されるが、セッ
ションが活動化されるときに、対話式にフレーム・バッ
ファ内に、またはフレーム・バッファから移動され得
る。こうした複雑な構成では、その時々で、相当な数の
ウィンドウがオーバラップするウィンドウにより完全に
または部分的に埋め込まれるか、隠されることが明らか
である。
【０００５】
【発明が解決しようとする課題】ウィンドウ環境が最初
に開発されたとき、対話ユーザはほんの少数のウィンド
ウを扱うだけでよかった。それ以来、各ウィンドウを、
そのウィンドウの名前またはタイトルを含むタイトル・
バーにより識別することが通例となった。ウィンドウが
少ない場合、たとえオーバラップが存在しても、ユーザ
が自分のカーソルによりウィンドウをシフトさせ、タイ
トル・バーを露呈し、ウィンドウを識別することが容易
であった。現今では、上述のようなウィンドウの数及び
複雑な階層のために、ユーザが表示ウィンドウをシフト
またはドラッグして、タイトル・バーを十分に露呈し、
それぞれのウィンドウを識別することは、しばしば飽き
飽きする困難な作業である。本発明はこうしたウィンド
ウ識別を単純化する技術を提供する。
【０００６】
【課題を解決するための手段】本発明は、複雑なウィン
ドウ階層グラフィカル・ユーザ・インタフェースにおけ
る、ウィンドウの対話処理及び整理のための、ユーザ・
フレンドリな表示インタフェース・システムを提供す
る。本システムは、選択順序に従い互いにオーバラップ
して表示可能で、各々が部分的に見ることのできる複数
のウィンドウの階層の記憶を準備する。表示画面上に、
これらの複数の部分的にオーバラップするウィンドウを
表示する手段が提供される。これらのウィンドウの各々
に対して、異なる音声識別子が提供され、記憶される。
カーソルなどのポインティング・デバイスを表示画面上
であちこち移動させ、位置決めする手段が提供され、ポ
インティング・デバイスに応答して、ポインティング・
デバイスが入力する各ウィンドウに対応する音声識別子
を表明（announce）する手段と協働する。ポインティン
グ・デバイスはユーザ制御式カーソルであったり、タッ
チ・センシティブ表示システムにおいては、スタイラス
または指であっても良い。音声識別子は好適には、ウィ
ンドウのタイトル・バー内の名前である。
【０００７】
【発明の実施の形態】図１を参照すると、本発明に従い
処理されるウィンドウ・スタック階層を制御し、ウィン
ドウにポインティング・デバイスが入力するとき、ウィ
ンドウの音声記憶及び表明を提供するコンピュータ制御
表示端末として機能する、典型的なデータ処理システム
が示される。中央処理ユニット（ＣＰＵ）１０は、ＩＢ
Ｍにより配布されるＰＣマイクロプロセッサの１つ、ま
たはＲＩＳＣシステム／６０００（商標）（ＲＳ／６０
００）シリーズなどのワークステーションであり（ＲＩ
ＳＣシステム／６０００はＩＢＭの商標）、システム・
バス１２により、様々な他のコンポーネントに相互接続
される。オペレーティング・システム４１はＣＰＵ１０
上で実行されて、制御を提供し、図１の様々なコンポー
ネントの機能を調整するために使用される。オペレーテ
ィング・システム４１は、ＩＢＭから提供されるＡＩＸ
６０００（商標）オペレーティング・システムまたはＯ
Ｓ／２（商標）オペレーティング・システム（ＡＩＸ６
０００及びＯＳ／２はＩＢＭの商標）、マイクロソフト
社のウィンドウズ９８（商標）またはウィンドウズＮＴ
（商標）、或いはＵＮＩＸ及びＡＩＸオペレーティング
・システムなどの、市販のウィンドウ・タイプのオペレ
ーティング・システムの１つである。アプリケーション
・プログラム４０はシステムにより制御され、主メモリ
すなわちランダム・アクセス・メモリ（ＲＡＭ）１４
に、またはＲＡＭ１４から移動される。これらのプログ
ラムは、ウィンドウのための音声識別子を提供する後述
の本発明のプログラムを含む。読出し専用メモリ（ＲＯ
Ｍ）１６は、システム・バス１２を介してＣＰＵ１０に
接続され、基本コンピュータ機能を制御する基本入出力
システム（ＢＩＯＳ）を含む。ＲＡＭ１４、Ｉ／Ｏアダ
プタ１８、及び通信アダプタ３４もまた、システム・バ
ス１２に接続される。オペレーティング・システム４１
及びアプリケーション４０を含むソフトウェア・コンポ
ーネントは、コンピュータ・システムの主メモリである
ＲＡＭ１４にロードされる。Ｉ／Ｏアダプタ１８は、デ
ィスク記憶装置２０すなわちハード・ドライブと通信す
る小型コンピュータ・システム・アダプタである。通信
アダプタ３４はシステム・バス１２を外部ネットワーク
と相互接続し、データ処理システムが他のこうしたシス
テムと通信することを可能にする。今日のシステムで
は、ウィンドウ式データが、インターネットなどのネッ
トワーク内の他のコンピュータ・ステーションから伝送
され得る。
【０００８】Ｉ／Ｏ装置もまた、ユーザ・インタフェー
ス・アダプタ２２及び表示アダプタ３６を介してシステ
ム・バス１２に接続される。キーボード２４、トラック
ボール３２、マウス２６及びスピーカ２８が全て、ユー
ザ・インタフェース・アダプタ２２を介してシステム・
バス１２に相互接続される。本発明の表示に関わるユー
ザ対話機能は、こうした入力装置を通じて実現される。
表示アダプタ３６はフレーム・バッファ３９を含み、こ
れは表示画面３８上の各画素の表現を保持する記憶装置
である。デジタル−アナログ変換器（図示せず）など
の、様々なコンポーネントを介してモニタ３８上に表示
するためのイメージが、フレーム・バッファ内に記憶さ
れる。上述のように、オーバラップして隠されるウィン
ドウの階層を調整するために、フレーム・バッファ３９
は、例えば米国特許第５２４１５６５号で述べられるよ
うな、デプス・バッファであるべきである。上述のＩ／
Ｏ装置を使用することにより、ユーザはキーボード２
４、トラックボール３２またはマウス２６を通じてシス
テムに情報を入力し、出力情報をスピーカ２８及び表示
装置３８を介してシステムから受信することができる。
勿論、ポインティング・デバイスまたはカーソルが入力
するウィンドウは、スピーカ２８を通じて対話ユーザに
表明される。
【０００９】次に、図２乃至図４の表示画面に関連し
て、本発明の単純な実施例について述べることにする。
画面イメージについて述べるとき、それらが（例えば従
来のウィンドウ・オペレーティング・システム内の）イ
メージ及びテキスト生成プログラムを、図１のシステム
のＲＡＭ１４に記憶することにより、描画されることが
理解されよう。図１ではオペレーティング・システム
は、オペレーティング・システム４１として示される。
図２乃至図４の表示画面は、図１の表示モニタ３８上の
ビューアに提供される。従来技術によれば、ユーザは図
１のマウス２６などの従来のＩ／Ｏ装置を通じて画面を
対話式に制御する。マウスはユーザ・インタフェース２
２を介して動作することにより、ＲＡＭ１４内のプログ
ラムを呼び出し、オペレーティング・システム４１と協
力して、イメージを表示アダプタ３６のフレーム・バッ
ファ３９内に生成し、モニタ３８上の表示を制御する。
上述のように、特定のウィンドウＩＤの音声表明がスピ
ーカ２８を介して行われる。
【００１０】図２を参照すると、オーバラップするウィ
ンドウの階層またはスタックの多くが部分的に隠され、
画面を占有する。説明図の都合上、幾つかのオブジェク
トまたはアイコン及びテキストは、下側にあるウィンド
ウから除去され、アイコンの一部だけが最上層のウィン
ドウ５０内に示される。スタック内の残りの部分的に見
ることのできるウィンドウは、ウィンドウ５１、５２、
５３、５４、５５及び５６である。これらのウィンドウ
の各々は、それぞれのウィンドウの頂部にあるタイトル
・バー内のそれらの名前により、視覚的に識別される。
本発明によれば、ウィンドウの名前がコンピュータの音
声システム内に記録され、図５に示されるテーブル６０
として記憶される。テーブル６０内には、それぞれのウ
ィンドウ５０乃至５６の名前が、それぞれの複数の表明
６１として記憶され、これらはカーソル５７が最初に各
ウィンドウに入力するときに表明される。図２ではカー
ソル５７がウィンドウ５３内にあるので、カーソルが最
初にこのウィンドウに入力するとき、その音声表明は"
フリーランス・ヘルプ"である。また図３に示されるよ
うに、カーソル５７が最初にウィンドウ５２に入力する
とき、音声表明は"制御パネル"であり、図４に示される
ように、カーソル５７が最初にウィンドウ５６に入力す
るとき、音声表明は"無題ペイント"である。
【００１１】次に図６を参照することにより、カーソル
がウィンドウ階層内のウィンドウに入力する度に、その
ウィンドウの名前の音声表明を動的に行う、本発明に従
うプログラムにより実行されるプロセスについて述べ
る。プログラム・ルーチンは、図６のプロセスにより生
成され、図２乃至図５に関連して述べた操作を実行す
る。図６のフロー図では、ステップ７１で、ウィンドウ
の階層を管理する任意のオペレーティング・システムに
より、基本タイプ・オペレーティング・システムがセッ
トアップされる。こうしたオペレーティング・システム
には、ウィンドウズ９５（商標）、ＯＳ／２（商標）、
及びＵＮＩＸ（登録商標）またはＡＩＸ用のＭｔｉｆな
どが含まれる。次に、プロセスはステップ７２で、ウィ
ンドウ階層内の各ウィンドウの音声識別子を記録及び記
憶する。好適には、この識別子は、ウィンドウ・タイト
ル・ボックス内に現れるそれぞれのウィンドウの名前で
ある。次に、プロセスはステップ７３で、各識別子の記
録された音声表明を発声する準備をする。次にステップ
７４で、カーソルが移動してウィンドウに入力すること
に応答して、入力されたウィンドウの音声識別子の音声
表明を行う。この表明は、ステップ７５で、音声識別子
を記憶する更新可能なテーブルに由来し、サポートされ
る。
【００１２】以上、基本プログラムについて述べたの
で、次に図７を参照して、複数のウィンドウのそれぞれ
の識別子の音声表明のためのプログラムの実行を示す、
単純な操作フローについて述べる。最初にステップ８１
で、ウィンドウの階層が表示される。それらの多くは部
分的にオーバラップされて見ることができる。次にステ
ップ８２で、カーソルまたは他のポインティング・デバ
イス位置が、既にウィンドウ・オペレーティング・シス
テムによりこの目的のために使用されたプロセスにより
追跡される。ステップ８３で、カーソルが新たなウィン
ドウに入力したか否かが判断される。入力しない場合、
プロセスはステップ８２に戻り、カーソルの追跡が継続
される。入力した場合、ステップ８４で、入力されたウ
ィンドウの音声識別子が、図５の音声テーブル内で探索
され、ステップ８５で、その音声識別子が表明される。
次にステップ８６で、セッションが終了か否かが判断さ
れる。終了の場合、セッションが終了される。そうでな
い場合、プロセスはステップ８２に戻り、上述のよう
に、カーソルの追跡が継続される。
【００１３】テキストを表すコードを直接読出し、こう
したコードを音声出力に変換する従来使用可能なシステ
ムを用いて、ウィンドウのテキスト名が音声出力に直接
変換される場合、最善の結果が得られる。こうしたテキ
スト−音声出力変換システムは、Cokerらによる米国特
許第３７０４３４５号、Linらによる米国特許第４３９
８０５８号、及びAnotovらによる米国特許第４２７８８
３８号で述べられている。こうしたシステムによりウィ
ンドウが活動化されるときに、個々のウィンドウ内のタ
イトル・ボックスまたは他のテキスト識別子が読出さ
れ、動的に変換される。或いは、図５の音声テーブル内
のテキストが必要に応じて読出され、音声出力に変換さ
れる。
【００１４】本発明の好適な実施例の１つは、オペレー
ティング・システム内のルーチンとして、コンピュータ
動作の間に、図１のＲＡＭ１４内に存在するプログラミ
ング・ステップまたは命令から構成される。コンピュー
タ・システムにより要求されるまで、プログラム命令
は、例えばディスク・ドライブ２０や、ＣＤ−ＲＯＭコ
ンピュータ入力用の光ディスクなどの取り外し可能メモ
リ、またはフロッピー（登録商標）・ディスク・ドライ
ブ・コンピュータ入力用のフロッピー・ディスクなど
の、別の読出し可能媒体に記憶されても良い。更にプロ
グラム命令は、本発明のシステムにおいて使用される前
に別のコンピュータのメモリに記憶され、本発明のユー
ザにより要求されるときに、ローカル・エリア・ネット
ワーク（ＬＡＮ）またはインターネットなどの広域ネッ
トワーク（ＷＡＮ）を介して伝送されても良い。
【００１５】当業者であれば、本発明を制御するプロセ
スが、様々な形態のコンピュータ読取り可能媒体により
分配され得ることが理解できよう。
【００１６】まとめとして、本発明の構成に関して以下
の事項を開示する。
【００１７】（１）コンピュータ制御による対話型表示
システムであって、表示画面上に互いにオーバラップし
て、部分的に見ることのできる複数のウィンドウの階層
を表示する手段と、前記階層内の各ウィンドウの音声識
別子を提供する手段と、前記表示画面上でポインティン
グ・デバイスを位置決めする手段と、前記ポインティン
グ・デバイスに応答して、該ポインティング・デバイス
が入力する各ウィンドウの音声識別子を表明する手段と
を含む、表示システム。 （２）前記ポインティング・デバイスがユーザ制御式カ
ーソルである、前記（１）記載の表示システム。 （３）前記ポインティング・デバイスがスタイラスであ
る、前記（１）記載の表示システム。 （４）前記音声識別子が、ウィンドウのタイトル・バー
内に現れるウィンドウ名の少なくとも一部を含む、前記
（１）記載の表示システム。 （５）コンピュータ制御による対話型表示装置におい
て、部分的に隠されたウィンドウを識別する方法であっ
て、表示画面上に互いにオーバラップして、部分的に見
ることのできる複数のウィンドウの階層を表示するステ
ップと、前記階層内の各ウィンドウの音声識別子を提供
するステップと、前記表示画面上でポインティング・デ
バイスを位置決めするステップと、前記ポインティング
・デバイスに応答して、該ポインティング・デバイスが
入力する各ウィンドウの音声識別子を表明する手段とを
含む、方法。 （６）前記ポインティング・デバイスの前記位置決め
が、ユーザ制御式カーソルを通じて実行される、前記
（５）記載の方法。 （７）前記ポインティング・デバイスの前記位置決め
が、ユーザ・スタイラスを通じて実行される、前記
（５）記載の方法。 （８）前記音声識別子が、ウィンドウのタイトル・バー
内に現れるウィンドウ名の少なくとも一部を含む、前記
（５）記載の方法。 （９）コンピュータ読取り可能媒体上に含まれる表示シ
ステムの対話制御のためのプログラム・コードを有す
る、コンピュータ制御による表示プログラムであって、
表示画面上に互いにオーバラップして、部分的に見るこ
とのできる複数のウィンドウの階層を表示する手段と、
前記階層内の各ウィンドウの音声識別子を提供する手段
と、前記表示画面上でポインティング・デバイスを位置
決めする手段と、前記ポインティング・デバイスに応答
して、該ポインティング・デバイスが入力する各ウィン
ドウの音声識別子を表明する手段とを含む、コンピュー
タ・プログラム。 （１０）前記ポインティング・デバイスがユーザ制御式
カーソルである、前記（９）記載のコンピュータ・プロ
グラム。 （１１）前記ポインティング・デバイスがスタイラスで
ある、前記（９）記載のコンピュータ・プログラム。 （１２）前記音声識別子が、ウィンドウのタイトル・バ
ー内に現れるウィンドウ名の少なくとも一部を含む、前
記（９）記載のコンピュータ・プログラム。
【図面の簡単な説明】
【図１】本発明の音声ウィンドウ識別及び表明を実現可
能な中央処理ユニットを含む対話型データ・プロセッサ
制御表示システムのブロック図である。
【図２】スタック内に各ウィンドウの音声識別を含み、
あるウィンドウ内のポインティング・デバイスすなわち
カーソルを示す、本発明を説明するために使用されるウ
ィンドウのスタックまたは階層を示す表示画面の図であ
る。
【図３】別のウィンドウ内に移動されるカーソルを有す
る、図２の表示画面と同一の図である。
【図４】更に別のウィンドウ内に移動されるカーソルを
有する、図３の表示画面と同一の図である。
【図５】図３の各ウィンドウをその記憶音声識別子に関
連付ける記憶テーブルの概念図である。
【図６】本発明の音声ウィンドウ識別システムをセット
アップするためのプログラム・ステップのフロー図であ
る。
【図７】図６のプログラム内でセットアップされたステ
ップの実行例のフロー図である。
【符号の説明】
１０ 中央処理ユニット（ＣＰＵ） １２ システム・バス １４ ランダム・アクセス・メモリ（ＲＡＭ） １６ 読出し専用メモリ（ＲＯＭ） １８ Ｉ／Ｏアダプタ ２０ ディスク記憶装置 ２２ ユーザ・インタフェース・アダプタ ２４ キーボード ２６ マウス ２８ スピーカ ３２ トラックボール ３４ 通信アダプタ ３６ 表示アダプタ ３８ 表示画面 ３９ フレーム・バッファ ４０ アプリケーション・プログラム ４１ オペレーティング・システム ５０、５１、５２、５３、５４、５５、５６ ウィンド
ウ ５７ カーソル ６０ テーブル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジェラルド・フランシス・マクブリアティ アメリカ合衆国78759、テキサス州オース チン、ベイリッジコバー 10709 (72)発明者 ジョニー・メン−ハン・シー アメリカ合衆国78731、テキサス州オース ティン、アプバレー・ラン 5908

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】コンピュータ制御による対話型表示システ
    ムであって、 表示画面上に互いにオーバラップして、部分的に見るこ
    とのできる複数のウィンドウの階層を表示する手段と、 前記階層内の各ウィンドウの音声識別子を提供する手段
    と、 前記表示画面上でポインティング・デバイスを位置決め
    する手段と、 前記ポインティング・デバイスに応答して、該ポインテ
    ィング・デバイスが入力する各ウィンドウの音声識別子
    を表明する手段とを含む、表示システム。
  2. 【請求項２】前記ポインティング・デバイスがユーザ制
    御式カーソルである、請求項１記載の表示システム。
  3. 【請求項３】前記ポインティング・デバイスがスタイラ
    スである、請求項１記載の表示システム。
  4. 【請求項４】前記音声識別子が、ウィンドウのタイトル
    ・バー内に現れるウィンドウ名の少なくとも一部を含
    む、請求項１記載の表示システム。
  5. 【請求項５】コンピュータ制御による対話型表示装置に
    おいて、部分的に隠されたウィンドウを識別する方法で
    あって、 表示画面上に互いにオーバラップして、部分的に見るこ
    とのできる複数のウィンドウの階層を表示するステップ
    と、 前記階層内の各ウィンドウの音声識別子を提供するステ
    ップと、 前記表示画面上でポインティング・デバイスを位置決め
    するステップと、 前記ポインティング・デバイスに応答して、該ポインテ
    ィング・デバイスが入力する各ウィンドウの音声識別子
    を表明する手段とを含む、方法。
  6. 【請求項６】前記ポインティング・デバイスの前記位置
    決めが、ユーザ制御式カーソルを通じて実行される、請
    求項５記載の方法。
  7. 【請求項７】前記ポインティング・デバイスの前記位置
    決めが、ユーザ・スタイラスを通じて実行される、請求
    項５記載の方法。
  8. 【請求項８】前記音声識別子が、ウィンドウのタイトル
    ・バー内に現れるウィンドウ名の少なくとも一部を含
    む、請求項５記載の方法。
  9. 【請求項９】コンピュータ読取り可能媒体上に含まれる
    表示システムの対話制御のためのプログラム・コードを
    有する、コンピュータ制御による表示プログラムであっ
    て、 表示画面上に互いにオーバラップして、部分的に見るこ
    とのできる複数のウィンドウの階層を表示する手段と、 前記階層内の各ウィンドウの音声識別子を提供する手段
    と、 前記表示画面上でポインティング・デバイスを位置決め
    する手段と、 前記ポインティング・デバイスに応答して、該ポインテ
    ィング・デバイスが入力する各ウィンドウの音声識別子
    を表明する手段とを含む、コンピュータ・プログラム。
  10. 【請求項１０】前記ポインティング・デバイスがユーザ
    制御式カーソルである、請求項９記載のコンピュータ・
    プログラム。
  11. 【請求項１１】前記ポインティング・デバイスがスタイ
    ラスである、請求項９記載のコンピュータ・プログラ
    ム。
  12. 【請求項１２】前記音声識別子が、ウィンドウのタイト
    ル・バー内に現れるウィンドウ名の少なくとも一部を含
    む、請求項９記載のコンピュータ・プログラム。
JP2000166126A 1999-06-03 2000-06-02 対話型グラフィカル・ユーザ・インタフェース内でオーバラップするウィンドウの音声識別子を有する、データ・プロセッサ制御による表示システム Pending JP2001022494A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/325,404 US6728675B1 (en) 1999-06-03 1999-06-03 Data processor controlled display system with audio identifiers for overlapping windows in an interactive graphical user interface
US09/325404 1999-06-03

Publications (1)

Publication Number Publication Date
JP2001022494A true JP2001022494A (ja) 2001-01-26

Family

ID=23267753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000166126A Pending JP2001022494A (ja) 1999-06-03 2000-06-02 対話型グラフィカル・ユーザ・インタフェース内でオーバラップするウィンドウの音声識別子を有する、データ・プロセッサ制御による表示システム

Country Status (6)

Country Link
US (1) US6728675B1 (ja)
JP (1) JP2001022494A (ja)
KR (1) KR100369213B1 (ja)
CN (1) CN1177274C (ja)
CA (1) CA2307296A1 (ja)
TW (1) TW469397B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100419728C (zh) * 2001-03-02 2008-09-17 精工爱普生株式会社 利用分立操作设备的数据处理系统及其控制方法
CN100440189C (zh) * 2003-06-04 2008-12-03 无敌科技(西安)有限公司 结合图形描绘的语言学习系统及其运作方法

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
US7594246B1 (en) 2001-08-29 2009-09-22 Vulcan Ventures, Inc. System and method for focused navigation within a user interface
US20030046695A1 (en) * 2001-08-29 2003-03-06 Digeo, Inc. System and method for enabling focused navigation using filtering and direct-tune buttons
US7055104B1 (en) * 2002-03-29 2006-05-30 Digeo, Inc. System and method for focused navigation using filters
US20030046694A1 (en) * 2001-08-29 2003-03-06 Digeo, Inc. System and method for displaying option representations with multiple levels of specificity
US7735102B1 (en) 2001-08-29 2010-06-08 Billmaier James A System and method for focused navigation within a user interface
WO2003021916A2 (en) * 2001-08-29 2003-03-13 Digeo, Inc. System and method for capturing video frames for focused navigation within a user interface
US20030046693A1 (en) * 2001-08-29 2003-03-06 Digeo, Inc. System and method for focused navigation within an interactive television user interface
US7650569B1 (en) * 2001-08-29 2010-01-19 Allen Paul G System and method for focused navigation within a user interface
US7107532B1 (en) * 2001-08-29 2006-09-12 Digeo, Inc. System and method for focused navigation within a user interface
US8099680B1 (en) 2002-03-12 2012-01-17 Arris Group, Inc. System and method of contextual pre-tuning
US7193609B2 (en) * 2002-03-19 2007-03-20 America Online, Inc. Constraining display motion in display navigation
US7502480B2 (en) * 2003-08-19 2009-03-10 Microsoft Corporation System and method for implementing a flat audio volume control model
US8744852B1 (en) * 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
US7735012B2 (en) * 2004-11-04 2010-06-08 Apple Inc. Audio user interface for computing devices
US7321856B1 (en) * 2005-08-03 2008-01-22 Microsoft Corporation Handling of speech recognition in a declarative markup language
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
KR100754211B1 (ko) * 2006-03-15 2007-09-03 삼성전자주식회사 멀티태스킹을 위한 사용자 인터페이스 방법 및 그 방법을수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
KR100699050B1 (ko) * 2006-06-30 2007-03-28 삼성전자주식회사 문자정보를 음성정보로 출력하는 이동통신 단말기 및 그방법
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8473868B1 (en) 2006-10-27 2013-06-25 Arris Group, Inc. System and method for reverse hierarchical navigation within a user interface
US20080104944A1 (en) * 2006-10-31 2008-05-08 Caterpillar Inc. Engine emissions control system
JP4403561B2 (ja) * 2007-01-31 2010-01-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 画面の表示を制御する技術
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20080282230A1 (en) * 2007-05-07 2008-11-13 International Business Machines Corporation Product, method and system for using window authentication in testing graphical user interface applications
US7847677B2 (en) * 2007-10-04 2010-12-07 International Business Machines Corporation Method and system for providing auditory feedback for the visually impaired when defining visual models
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
DE112011100329T5 (de) 2010-01-25 2012-10-31 Andrew Peter Nelson Jerram Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8433828B2 (en) 2010-02-26 2013-04-30 Apple Inc. Accessory protocol for touch screen device accessibility
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140173500A1 (en) * 2012-12-19 2014-06-19 Qnx Software Systems Limited User interface with navigation context
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200731A1 (en) 2013-06-13 2014-12-18 Apple Inc. System and method for emergency calls initiated by voice command
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US20150348496A1 (en) * 2014-05-30 2015-12-03 Pixtronix, Inc. Systems and methods for selecting display operation modes
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
USD861023S1 (en) * 2017-10-27 2019-09-24 Canva Pty Ltd. Display screen or portion thereof with a graphical user interface

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305435A (en) * 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
FR2693810B1 (fr) * 1991-06-03 1997-01-10 Apple Computer Systemes d'interfaces d'utilisateurs a acces direct a une zone secondaire d'affichage.
JPH0540589A (ja) * 1991-08-02 1993-02-19 Canon Inc マルチウインドウ表示方法及びその装置
US5223828A (en) * 1991-08-19 1993-06-29 International Business Machines Corporation Method and system for enabling a blind computer user to handle message boxes in a graphical user interface
US5186629A (en) * 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US6046722A (en) * 1991-12-05 2000-04-04 International Business Machines Corporation Method and system for enabling blind or visually impaired computer users to graphically select displayed elements
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface
JP3286339B2 (ja) * 1992-03-25 2002-05-27 株式会社リコー ウインドウ画面制御装置
JP3426267B2 (ja) * 1992-09-29 2003-07-14 沖電気工業株式会社 音声出力制御方法
JP3160462B2 (ja) * 1993-06-01 2001-04-25 松下電器産業株式会社 音声出力機能付きマルチウインドウ装置
US5956030A (en) * 1993-06-11 1999-09-21 Apple Computer, Inc. Computer system with graphical user interface including windows having an identifier within a control region on the display
CA2133877A1 (en) * 1993-10-25 1995-04-26 Mark A. Malamud Quick info windows and audio information cursors
JP2610114B2 (ja) * 1993-12-30 1997-05-14 インターナショナル・ビジネス・マシーンズ・コーポレイション ポインティング・システム、コンピュータ・システムおよび力応答方法
US5534887A (en) * 1994-02-18 1996-07-09 International Business Machines Corporation Locator icon mechanism
JPH08166867A (ja) * 1994-12-15 1996-06-25 Fujitsu Ltd 音声ガイダンス装置
US5826051A (en) * 1995-12-27 1998-10-20 Intel Corporation Method and apparatus for simplifying active window selection, application activation, and shared command execution in a multi-application environment
US6147684A (en) * 1998-02-06 2000-11-14 Sun Microysytems, Inc. Techniques for navigating layers of a user interface

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100419728C (zh) * 2001-03-02 2008-09-17 精工爱普生株式会社 利用分立操作设备的数据处理系统及其控制方法
CN100440189C (zh) * 2003-06-04 2008-12-03 无敌科技(西安)有限公司 结合图形描绘的语言学习系统及其运作方法

Also Published As

Publication number Publication date
KR100369213B1 (ko) 2003-01-24
KR20010020890A (ko) 2001-03-15
US6728675B1 (en) 2004-04-27
TW469397B (en) 2001-12-21
CN1291741A (zh) 2001-04-18
CA2307296A1 (en) 2000-12-03
CN1177274C (zh) 2004-11-24

Similar Documents

Publication Publication Date Title
JP2001022494A (ja) 対話型グラフィカル・ユーザ・インタフェース内でオーバラップするウィンドウの音声識別子を有する、データ・プロセッサ制御による表示システム
US5748191A (en) Method and system for creating voice commands using an automatically maintained log interactions performed by a user
US8161407B2 (en) Multiple sorting of columns in a displayed table in a user interactive computer display interface through sequential radial menus
JP4012263B2 (ja) アプリケーション間タスクのための多モード自然言語インタフェース
US7490313B2 (en) System and method for making user interface elements known to an application and user
US7093199B2 (en) Design environment to facilitate accessible software
US20150243288A1 (en) Mouse-free system and method to let users access, navigate, and control a computer device
US6643721B1 (en) Input device-adaptive human-computer interface
JP3014284B2 (ja) ダイアログ・ボックスの表示方法及びシステム
US6493006B1 (en) Graphical user interface having contextual menus
KR101120756B1 (ko) 사용자 인터페이스 상에서의 사용자 액션을 설명하는텍스트를 자동으로 생성하는 시스템, 방법 및 그 컴퓨터실행가능 명령어를 포함하는 컴퓨터 판독가능 매체
US7594192B2 (en) Method and apparatus for identifying hotkey conflicts
JPH0778782B2 (ja) 対話型コンピュータ・システムならびにその使用環境適合化装置および方法
US7206747B1 (en) Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands
MXPA03011916A (es) Asistente de contenido activo: ejecucion de tareas y contenido estructurado.
JP2006228210A (ja) 既存のコンテンツを用いた、タスクを実行するためのアクティブコンテンツウィザード実行可能ファイルの生成
US20040250214A1 (en) Automatic image capture for generating content
JP2000215022A (ja) コンピュ―タ制御対話式表示システム、音声コマンド入力方法および記録媒体
JP2002521746A (ja) 表示装置に表示したデータの解釈を視覚的に支援する方法とツール
US20060020902A1 (en) Interactive graphical user interfaces for computer display systems with simplified implementation for exposing completely hidden windows
US20050156925A1 (en) Graphical user interface for pre-boot operating environment
CN104571804B (zh) 一种对跨应用程序的文档界面进行关联的方法和系统
CN107368568A (zh) 一种笔记生成的方法、装置、设备和存储介质
Kumar Human computer interaction
JP2735780B2 (ja) オブジェクト指向プログラミング・システムにおけるウィンドウ環境の管理方法及び装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040127