JP2000200094A - ディスプレイ上にフィ―ドバックを表示する方法および装置 - Google Patents

ディスプレイ上にフィ―ドバックを表示する方法および装置

Info

Publication number
JP2000200094A
JP2000200094A JP11330852A JP33085299A JP2000200094A JP 2000200094 A JP2000200094 A JP 2000200094A JP 11330852 A JP11330852 A JP 11330852A JP 33085299 A JP33085299 A JP 33085299A JP 2000200094 A JP2000200094 A JP 2000200094A
Authority
JP
Japan
Prior art keywords
command
display
voice command
voice
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11330852A
Other languages
English (en)
Other versions
JP3516334B2 (ja
Inventor
Richard Tannenbaum Alan
アラン・リチャード・タネンバウム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2000200094A publication Critical patent/JP2000200094A/ja
Application granted granted Critical
Publication of JP3516334B2 publication Critical patent/JP3516334B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 エンド・ユーザの注意散漫と、ＧＵＩユーザ
・インターフェース上に与えられるアプリケーションの
可視性の低下とを避けることができる音声コマンド・シ
ステムにおいて近接フィードバックを表示する方法およ
び装置を提供する。 【解決手段】 音声作動コンピュータ・システムにおい
て、表示画面上の別個の位置に関係し、または別個の位
置から促された、エンド・ユーザからの音声コマンド
が、解析される。解析に応じ、確認領域は、音声入力の
解析された内容とコンテキスト、または、発声が促され
た画面位置に機能的に関連した位置において表示画面上
に表示される。認識された発声は、ユーザの視線が集中
できかつ発声を起こさせるもとになる表示画面上の位置
に近接するように、コマンドすなわち制御発声の内容に
機能的に関連した可変位置で、表示画面上に空間的に置
かれた確認領域に表示される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、音声コマンド・コ
ンピュータ・システム、特に、エンド・ユーザにコマン
ドのフィードバックを与えるシステムに関する。
【０００２】
【従来の技術】コンピュータの分野が、成熟してくるに
つれて、エンド・ユーザがシステムとインターフェース
できる方法を容易にすることに、大きな改善がなされて
きた。初めは、エンド・ユーザのキーボード入力を求め
る、未熟なコマンド・ライン・インターフェースであっ
たものは、今では、コンピュータとのより自然なヒュー
マン・インターフェースを容易にする手法および装置の
豊かな装いに進化した。これの代表的な例は、マウス、
トラックボール、タッチスクリーン、およびコンピュー
タ化された音声認識の進歩によって可能にされた音声作
動インターフェースなどの、多種のポインティング・デ
バイスを含む。
【０００３】このような音声認識は、２つの主なカテゴ
リに区分される。第１のカテゴリは、音声データ入力用
に開発されたシステムであり、その例は、IBM Corporat
ionとDragon Systemsによって市場に出されたような音
声書き取り、すなわち“音声−テキスト”システムを含
む。コンピュータ化された音声認識技術のさらに他の第
２のカテゴリは、エンド・ユーザの音声パターンが検出
され、そして解析される、コマンド・制御システムによ
って代表される。このコマンド・制御技術の特定の形式
は、“デスクトップ・ナビゲータ”によって代表され
る。この“デスクトップ・ナビゲータ”では、ユーザ
が、メニュー・コマンド、ボタン上のラベル、見慣れた
マウス・カーソルを動かすための“上へ”と“左へ”の
ような方向性コマンド等を単に話すことによって、コン
ピュータ・システムのグラフィカル・ユーザ・インター
フェース（ＧＵＩ）を介してナビゲートすることができ
る。
【０００４】そのような音声認識システムに固有の音声
認識エラーによって、一部はその技術の状態のため、一
部はユーザの音声パターンおよび発声すべき正確な入力
の記憶が変わりやすいため、そのようなシステムは、一
般的に、システムのユーザ発声解釈を表示するＧＵＩの
専用の所定領域を予約する。この領域を点検することに
よって、ユーザは、彼または彼女がちょうど行った発声
が、実際に解釈され、または正しく実行されたかの、確
認を求める。
【０００５】
【発明が解決しようとする課題】現在の音声認識システ
ムは、制御ウィンドウ内のＧＵＩの画面上の、一定位置
の制御ウィンドウ内に、この“最良の推測”を表示す
る。この制御ウィンドウの空間的配置は、いくつかの実
施においては、エンド・ユーザによって所望のように変
更でき、あるいは現在のアプリケーションのタイトル・
バーのように、一定位置に置かれるが、この技術に関連
した多くの問題が残っている。これらの解釈されたコマ
ンドを表示するこれらの方法は、アプリケーションの他
の重要な部分の可視性を妨げない位置に、確認領域を配
置しようとしている。しかしながら、そのようにする
と、エンド・ユーザが音声認識の確認領域に視線を集中
している画面の領域から視線の動きをそらしまたは中断
することを必要とする。このため、ユーザは、確認領域
の表示に起因して中断する前にユーザが視線を集中して
いた画面の領域に、彼または彼女の視線を移し、再び視
線を集中しなければならない。さらに、現システムは、
コマンドの解釈が簡単に報じられるので、コマンドの解
釈を考慮することなく、音声認識システムの結果を表示
する。
【０００６】そのような音声認識コンピュータ・システ
ムによる作業期間中に、それらの欠点が、肉体的および
精神的両面できわめて悪影響を与え、音声認識システム
またはナビゲーション・システムの前述の利点を、殆ど
事実上否定するように、エンド・ユーザの生産性に悪い
影響を与えることが、容易に分かるであろう。現在の方
法および技術は、前述した、ディスプレイの重要領域の
可視性の維持、および視線の集中および再集中について
の重大な問題を簡単に除去することができない。
【０００７】従って、エンド・ユーザの注意散漫と、Ｇ
ＵＩユーザ・インターフェース上に与えられるアプリケ
ーションの可視性の低下とを避けることができるような
音声コマンド・制御システムが、強く望まれていた。
【０００８】
【課題を解決するための手段】音声作動コンピュータ・
システムにおいて、表示画面上の別個の位置に関連し、
または別個の位置から促された、コマンドおよび／また
は制御発声のような、エンド・ユーザからの音声入力
は、コンピュータ・システムによって解析される。その
ような解析に応じて、確認領域は、音声入力の解析され
た内容、または、発声が促された位置に機能的に関連し
た位置において表示画面上に表示される。確認領域内で
は、発声のコンピュータ・システムの解釈は、所定の期
間、表示され、そして所定の速度で徐々に消滅される。
このような継続および消滅は、エンド・ユーザによって
選択的に調整される。このように、コマンドすなわち制
御発声の解釈の表示は、確認領域に配置される。ユーザ
の視線が集中できて、発声を起こさせるもとになる、表
示画面上の位置に近接するように、コマンドすなわち制
御発声の内容に機能的に関連した可変位置で、確認領域
は表示画面上に空間的に配置される。このようにして、
（１）表示画面上の興味のある内容を覆い隠し、および
／または（２）画面上の興味のある位置から、確認が表
示される異なる位置に視線を移すことを要求することに
よってエンド・ユーザの視線の集中を中断させる、従来
技術における一定位置での確認に関連した注意散漫が回
避される。本発明の重要な要素は、発声の解釈、従っ
て、コマンドの真の目標である。アプリケーションの機
能性に対する正しい解釈が決定できるまで、フィードバ
ックは、ほとんどの場合わずかな期間、好適に保留され
る。
【０００９】さらに一般的な場合、本発明は、対話と、
カーソル・ターゲット、メニュー項目、ポインティング
・デバイス、ツール・バーとの連携とから成る従来技術
のプログラマーのグラフィカル・モデルに限定すること
を意図するものではない。むしろ、本発明は、認識され
た音声コマンドを、音声コマンドを生起させ促したグラ
フィカル・ユーザ・インターフェースにおいて視線集中
する領域に近接して、認識された音声コマンドを、自然
言語およびフィードバック・アクションの形態で表示す
るための視覚メカニズムを意図している。そのようなフ
ィードバック・アクションは、正しく話されたアクショ
ンが所望の集中すなわち目標領域においてとられたこと
を、エンド・ユーザにフィードバックするように、テキ
スト上のテキスト、ビジュアル、色変更、アニメーショ
ン、自動的に目標領域に消えていく画像またはメッセー
ジの段階的縮小を、含むことができる。
【００１０】
【発明の実施の形態】図１には、従来技術による、図５
のシステムのモニター２１上に生じる、代表的なディス
プレイ３０の単純化された図が示されている。このシス
テムでは、ユーザは、対話することができ、従って、図
５のシステムにおいて音声コマンドが解析されかつ実行
されることを促すディスプレイ３０の領域３２に視線を
集中している。いったん、音声認識システムが、そのよ
うな発声を認識しようと試みると、このコマンドのコン
ピュータの解釈または翻訳を確認領域３４に表示するこ
とは、一般的である。例えば、もし、ユーザが、“辞書
を開け”のような音声で作動可能な選択のメニューが存
在するアプリケーションの領域３２を見ているならば、
彼または彼女は、このコマンドを発声することができ
る。それに応答して、コンピュータ・システムは、コマ
ンドを認識した後、解釈に関してその最良の推測を与え
る。この解釈（もし発声が正しく解釈されたならば、
“辞書を開け”のような）は、この確認領域３４に現れ
る。
【００１１】前述した音声コマンド・システムのこの動
作における重大な欠点は、図１のこの従来技術画面３０
に関して明らかに分かる。エンド・ユーザが領域３２に
視線を集中し、これにより促された音声コマンドに応答
して、彼または彼女は、コマンドがどのように解釈され
たかに関してフィードバックを確認領域３４に受ける。
この確認領域は、初めにコマンドを促した領域３２か
ら、ユーザ・インターフェース画面上でかなりの距離、
空間的に離れていることが分かる。このことは、ユーザ
に、音声コマンドが正しく解釈されたか否かを識別する
ためには、画面３０の対角線上の対向端にある確認領域
３４に、彼または彼女の視線を、再集中させなければな
らない。もしそうならば、ユーザは、彼または彼女の視
線を領域３２に横切って戻し、再集中して、この領域３
２の内容への集中を取り戻さなければならない。画面３
０上の一定のじゃまにならない位置に長時間固定される
この確認領域３４を配置する、歴史的な１つの理由は、
アプリケーションの他の情報内容が表示されるべき画面
３０の他の関連部分を、覆い隠さないことである。
【００１２】図２、図３には、図１の従来技術画面３０
に相当する画面３０の対応例が示されている。これら図
では、本発明の特徴と利益が、明らかに分かる。まず、
図２によれば、図５のコンピュータ・システムで実行す
る音声作動アプリケーションにより代表的画面が表示さ
れる画面３０が、再び示されている。この画面３０にお
いては、画面３０の上部左側コーナーに関連したプルダ
ウン・メニュー３５を有することができる標準的なツー
ル・バー３４が表されていることが分かる。このプルダ
ウン・メニュー３５に表される１つの音声認識可能コマ
ンドを、“ファイルを開け”３７とすることができる。
エンド・ユーザが、図１のインターフェースの場合と同
様に、この“ファイルを開け”コマンド３７を発声した
とき、見慣れた確認領域３６を、メニュー３５に近接し
て表れるようにすることができる。確認領域３６には、
音声認識された発声“ファイルを開け”（またはシステ
ムが認識したもの）が現れ、これによりユーザの音声が
正しく認識されているか否かについて、ユーザにフィー
ドバックを与えている。
【００１３】同様に、図３において、さらに他の一連の
音声認識可能コマンドに関連した画面３０の上部のタス
クまたはツール・バー３４に関係したさらに他のプルダ
ウン・メニュー３８を、現すことができる。このプルダ
ウン・メニューは、図２のものと異なった画面３０上の
位置にあり、このプルダウン・メニューは、このプルダ
ウン・メニューに表示される“印刷”３９のような異な
る音声作動可能コマンドを有することができることが分
かる。ユーザが、図１、図２の場合と同様に、この音声
作動可能コマンド“印刷”を発声すると、図３におい
て、音声作動可能“印刷”３９のコマンドが現れる箇所
に近接した表示画面３０上に確認領域３６が現れること
が分かる。
【００１４】これら図２、図３と、図１の従来技術のユ
ーザ・インターフェースとを比較すると、重要でかつ大
きな差異が明らかになる。前に述べたように、従来技術
の図１のインターフェースの場合、エンド・ユーザが視
線を集中する領域３２は、デフォルト確認領域３４が現
れる所から空間的にかなりの距離にあり、視線を集中す
ることの中断に関係する不所望な結果を生じ、領域３２
と３４の間を視線が横切るときに、視線の再集中などを
必要とさせる。
【００１５】しかしながら、対照的に、図２、３のユー
ザ・インターフェース例において、大きな差異は、この
確認領域３６が、確認領域３６の表示を引き起こす音声
コマンドを生起する画面上の領域に近接した画面３０上
の領域に表示され、そこにユーザの視線が集中されるこ
とである。例えば、図２において、確認領域は、プルダ
ウン・メニューに、音声作動可能“ファイルを開け”コ
マンド３５が表示される画面３０上の位置に近接してお
り、例えば、その位置の真下にある。コマンドは、発声
されると、画面上の確認領域３６と認識された“ファイ
ルを開け”との表示を生起させる。同様に、図３の例に
おいて、確認領域３６は、画面上で図２の位置とは異な
る位置に、すなわち、図２の“ファイル”コマンドを含
むプルダウン・メニュー３５とは異なる位置に現れるプ
ルダウン・メニュー３８に関連した“印刷”音声作動可
能コマンド３９に近接する位置に、現れる。このよう
に、音声作動コマンドが、確認領域３６に表示されると
きに正しく解釈されていることを確認するために、ユー
ザの視線は、音声作動可能コマンドを促した表示画面上
の位置から中断させる程の大きな距離を横切る必要はな
い。
【００１６】さらに、以下のことは、本発明のさらなる
重要な特徴である。すなわち、確認領域３６に解釈され
たコマンドを解析および表示する音声ナビゲーション・
プログラムの中に、所望かつ適切に人工知能の要素を含
むことができるコンテキスト・センシティブ解析機能
を、音声認識システムに組み込んで、コマンドの意図さ
れたかつ適切な目標の近辺の画面３０上に、確認領域３
６を配置し、確認領域に解釈されたコマンドを表示させ
るようにする。例えば、エンド・ユーザが“ファイルを
開け”と発声すると、図５のシステム上で実行される音
声認識プログラムのサブルーチンまたはプログラム・フ
ィーチャーが以下のことを決定する。すなわち、“ファ
イルを開け”コマンドは、画面３０の上部左側コーナー
に、現在表示されているので、確認領域３６は、ツール
・バー３４のドロップダウン・メニュー３５において
“ファイルを開け”コマンドが現れる場所に近接した所
に、適切に表示されなければならない。同様に、音声認
識システムが、コマンド“印刷”３９が発声されたこと
を検出し、これを、このコマンドが画面３０の上部右側
コーナーに表示される事実に関連づけると、本発明のシ
ステムは、以下のことを決定する。すなわち、図２の確
認領域３６を表示する位置とは対照的に、表示画面上の
異なる位置、例えば、エンド・ユーザから“印刷”の発
声を生起させる“印刷”コマンド３９が現れた場所に近
接する位置に、図３の確認領域３６を表示することが、
より適切である。
【００１７】図４には、本発明の前述した特徴を実施す
るために、図５のシステム上で実行されるプログラム・
コードがどのように提供されるかを示すフロー図が描か
れている。まず、図５のシステム上で実行される音声認
識またはナビゲーション・アプリケーションをエンド・
ユーザが呼び出したものとする（ボックス４０に示され
るように）。エンド・ユーザにとっては、図４の処理を
続ける前に、確認領域３６の継続と消滅を調整すること
が望ましい。従って、ボックス４２で示されるように、
プログラム・コードを、この特徴を含ませるように適合
することができる。あるいは、本発明の特徴は、例え
ば、音声認識システムがエンド・ユーザの発声を認識し
た信頼度の関数として、この継続と消滅を自動的、選択
的に変更できることが分かるであろう。例えば、音声認
識システムが、用語“アプリケーションを閉じろ”が認
識されたことを表すほぼ１００％の信頼係数を有するな
らば、確認メッセージの継続時間と消滅時間が、望まし
くは、十分に少なくされるであろう。というのは、エン
ド・ユーザにとって、このフィード・バックが、あまり
重要でなさそうであるからである。他方、音声認識アプ
リケーションが、発声を認識するのが困難ならば、確認
メッセージの継続時間および消滅時間を、自動的に長く
することが望まれるであろう。これは、エンド・ユーザ
に、コマンドが正確に解釈されないことに気づき、およ
び確認領域に正しい要求コマンドを手動で入力し、また
は、キーボードまたはポインティング・デバイスの使用
によってコマンドを手動で実行し、または、取消フィー
チャーを呼び出すなどの矯正的な動作をとることに、よ
り多くの時間を与えるであろう。
【００１８】図４において、いったん、音声認識アプリ
ケーション・プログラムが、呼び出されて実行される
と、エンド・ユーザは、画面３０上に表示された関連コ
マンドを見ることによって、ボックス４４に示されるよ
うに、音声認識コマンドを入力するものとする。このよ
うな入力は、図５のシステムに示されたマイクロフォン
手段２８によって、および、図５のモニタ２１上の１つ
以上の表示画面３０を見ることによって行うことができ
る。
【００１９】いったん、音声認識コマンドが発声される
と、その後、図５のシステムは、確認領域３６において
エンド・ユーザにフィードバックを与える適切な空間的
位置を検出する。このステップは、図４のブロック４６
に示されている。上述のように、この機能ブロックの実
行は、アプリケーションとのユーザの前の対話を検出す
る人工知能の要素を含むさまざまな要因を適切に含むこ
とができることが、思い起こされるであろう。加えて、
ブロック４６でのそのような検出は、表示画面３０上に
どの音声作動可能コマンドが表示されているかの解析を
さらに含むことができ、また、音声作動可能プログラム
との前の対話の解析に基づいて、エンド・ユーザの視線
および知的集中が、表示画面３０上で次にどこに発生す
るかについての知的予測を含むことができる。
【００２０】図４において、いったん、プログラム・コ
ードが、確認領域３６にフィードバック用の所望空間位
置を検出すると、その後、システムは、ボックス４６の
機能に関して前に行われた解析に基づき、画面３０（図
２、３）上に位置する確認領域３６に適切なフィードバ
ック・メッセージ４８を表示させる。１つの適切なその
ようなフィードバック・メッセージは、音声認識プログ
ラムによって解釈された、エンド・ユーザからの発声さ
れたコマンドすなわち命令の英数字バージョンを簡単に
表示する、例えば、ポップアップ・メニュー３５におい
て音声作動可能コマンドの選択として、“ファイルを開
け”を見ることに応じて、エンド・ユーザが用語“ファ
イルを開け”を発声したと思われることを検出すると、
確認領域３６において用語“ファイルを開け”を表示す
ることが分かる。
【００２１】発声された音声コマンドの、この“最良の
推測”解釈が、いったん、表示されると（図４の処理４
８）、その後、他のメッセージまたはコマンドが、エン
ド・ユーザによって発声されたかどうか照会する（図４
の判断ブロック５０によって示される）。他のメッセー
ジが検出されると、フローは、経路５２に沿ってブロッ
ク４４に戻り、そこで、次の音声コマンド発声入力が解
析される。そして、フローは、図４のフロー図に沿って
垂直下方に続き、次の発声のための確認領域３６用の次
の所望の空間位置が検出され、特定コマンドが解析され
る。他方、判断ブロック５０での照会に応じて、他の音
声コマンドが、入力されず、または入力されないであろ
う（例えば、音声ナビゲーション可能アプリケーション
がクローズされているため）ことが判別されると、処理
は、判断ブロック５０の左方に出て、処理を終了する
（処理５４）。
【００２２】本発明が有利に用いられるコンピュータ・
システムのブロック図を説明する前に、いくつかの追加
点に注意しなければならない。前述したことから、確認
領域３６が、継続と消滅の適切な長さの後、いったん消
えてしまうと、コマンドが正しく認識されたならば、コ
マンドはシステムによって自動的に実行されることが容
易に分かる。他方、確認領域が、まだ継続している間、
および消滅する前に、コマンドが正しく認識されない
と、エンド・ユーザは、キーボードのマニュアル入力、
または要求されるポインティング・デバイスの使用、ま
たは“停止”のような特別の音声コマンドの発声によっ
て、認識されたコマンドをオーバーライドする（また
は、コマンドが認識されなかった場合、正しいコマンド
を実行させる）ことができる（ユーザ決定の選択に基づ
いて）。
【００２３】さらに、他の点は、前述の説明において、
音声認識が、表示されたプルダウン・メニューなどから
選ぶためのエンド・ユーザ用の所定のコマンド選択に対
して用いられてきたが、本発明は、そのように限定され
るものではない。従って、画面上に現れるメッセージに
関連しない音声作動可能な動作が、可能である。この代
表的例は、“カーソルを下へ動かせ”または“図を拡大
せよ”のような直接制御である。そのような発声された
命令は、また、画面上に表示されたコマンド選択のメニ
ューに対すると同様に、音声システムによって認識で
き、また、キーボードまたはポインティング・デバイス
に対する、認識されたコマンドの実行またはその訂正の
前に、確認領域３６に現れる、発声された用語の確認と
共に、実行できる。また、本発明の基礎的概念を保持し
ながら、選択すべき話されたコマンドのメニューが存在
しないような場合でさえ、音声認識システムは、エンド
・ユーザによって発声された用語に従って、確認領域３
６をどこに配置するかを知的に決定できるという意味
で、コマンド・コンテキスト・センシティブであると考
えられる。例えば、エンド・ユーザが、“カーソルを２
インチ右に動かせ”と発声したならば、システムは、用
語“カーソル”を認識することによって、カーソルに関
連するある動作、例えば移動、形状変更などが要求され
たと、判別することができる。従って、システムは、確
認領域３６を、自動的に表示するが、このとき認識され
たコマンドは、表示画面３０上のカーソルの現在位置に
近接して表示される。もちろん、これは、エンド・ユー
ザが、コマンドの直前に、カーソルに彼または彼女の視
線を集中し、これにより、現在のカーソル位置に近接す
る所に確認メッセージが現れることを予期することがで
きるという可能性を認めることである。
【００２４】図５は、本発明の改善されたポインティン
グ・デバイス分析システムを有利に用いることができる
コンピュータ・システムの実施の形態を示す。このシス
テムは、ＣＰＵ１０、ＲＯＭ(read only memory)１１、
ＲＡＭ(random access memory)１２、Ｉ／Ｏアダプタ１
３、ユーザ・インターフェース・アダプタ１８、通信ア
ダプタ１４、およびディスプレイ・アダプタ１９を備
え、すべて共通アドレス／データおよび制御経路または
バス１６を介して接続されている。上記の構成要素のそ
れぞれは、当業者に知られた標準的な技術を用いて共通
バスにアクセスし、そして、ＣＰＵがバス・マスタであ
る場合に、システムの各構成要素に対して特定のアドレ
ス範囲を専用にするような方法を含む。図５においてさ
らに示されるように、ＤＡＳＤ(direct access storage
device)１５のようなこれらの外部装置は、Ｉ／Ｏアダ
プタ１３のようなそれぞれのアダプタによって共通バス
１６とインターフェースする。ディスプレイ２１のよう
な他の外部装置は、ディスプレイ・アダプタ１９のよう
なそれぞれのアダプタを同様に使用して、バス１６と、
ディスプレイ２１または他のデバイスとの間のデータ・
フローを与える。さまざまなユーザ・インターフェース
手段が、相互接続および使用のために、ユーザ・インタ
ーフェース・アダプタ１８に設けられる。図では、ジョ
イスティック２３、マウス２５、キーボード１７、スピ
ーカーおよび／またはマイクロフォン２７のような代表
的なユーザ入力デバイスが、ユーザ・インターフェース
・アダプタ１８に接続されている。それらのユニットの
それぞれは、そういうものとしてよく知られており、従
ってここでは、詳細に説明しない。
【００２５】本発明は、本質的にどのコンピュータ・シ
ステムおよび対応するマイクロプロセッサ、例えば、Ａ
ＩＸ（登録商標）およびＯＳ／２（登録商標）オペレー
ティング・システムを実行する、ＲＳ／６０００（登録
商標）、ＲＩＳＣベース・ワークステーション、IBM Co
rporationのパーソナル・コンピュータ、または、他の
ベンダーからの同様のマシン、例えばＲＳ／６０００ワ
ークステーションの場合、６０４ＰｏｗｅｒＰＣ（登録
商標）ＲＩＳＣチップを組み込んだマシン上での実行を
可能とする。（ＲＳ／６０００、ＩＢＭ、ＡＩＸ、ＯＳ
／２およびＰｏｗｅｒＰＣは、IBM Corporationの登録
商標である。）
【００２６】図５のＣＰＵ１０には、一般的に、１つ以
上のマイクロプロセッサが含まれ、これらは、図５のシ
ステムの正しいオペレーションに必要な、システムのア
ドレス、データ、制御機能を実行する。本発明は、ここ
で開示された実施の形態においては、さまざまなマイク
ロプロセッサ構造への適用を可能とするが、マイクロプ
ロセッサは、IBM Corporationによって製造されたＰｏ
ｗｅｒＰＣ６０４の形を取り、これはＲＩＳＣ(reduced
instruction set computer)マイクロプロセッサとして
知られる種類のマイクロプロセッサである。そのような
マイクロプロセッサのアーキテクチャとオペレーション
に関するさらなる詳細は、刊行物“PowerPC 604 RISC M
icroprocessor Users Manual、Document #MPC604UM/ A
D、November、1994、copyrigt IBM Corporation”から
得ることができる。
【００２７】本発明のコンテキストにおいては、ユーザ
は、マウス２５および音声作動ナビゲーションのような
さまざまなポインティング・デバイスによって操作する
ことができる、画面２１上のカーソルおよびポップアッ
プまたはポップダウン・メニューのようなさまざまな対
象を見る。ＲＡＭ１２および／またはＤＡＳＤ１５に常
駐するオペレーティング環境およびアプリケーション・
コードと共に、ポインティング・デバイス２５およびマ
イクロフォン２７用のデバイス・ドライバとして、ユー
ザ・インターフェース・アダプタ１８に関係したプログ
ラム・コードは、マイクロフォン２７に話された、相関
する音声コマンドに応答しおよび関連して、表示画面２
１上のカーソルの動きを容易かつ可能にする。
【００２８】本発明の真の趣旨から逸脱すること無し
に、実施の形態において、さまざまな変更および変形を
行うことができることは、前述の記載から理解されるで
あろう。この記載は、説明のみを目的とし、限定された
意味に解釈すべきでないことを意図している。本発明の
範囲は、請求項の言葉によってのみ、限定されるべきで
ある。
【００２９】まとめとして、本発明の構成に関して以下
の事項を開示する。 （１）音声認識アプリケーションを実行する音声コマン
ド認識コンピュータ・システムのディスプレイ上にフィ
ードバックを表示する方法であって、音声コマンドを検
出するステップと、この検出した音声コマンドの機能と
して、前記ディスプレイ上の複数の位置の１つを選択す
るステップと、前記複数の位置の前記１つに近接し、お
よび前記コマンドに対応する確認領域にフィードバック
を表示するステップとを含む方法。 （２）前記表示後、一度に前記フィードバックを消滅さ
せるステップを、さらに含む上記（１）記載の方法。 （３）前記表示後、前記コマンドを自動的に実行するス
テップを、さらに含む上記（２）記載の方法。 （４）前記消滅のタイミングが動的に選択され、前記フ
ィードバックが、前記ディスプレイ上の色変更、アニメ
ーション、メッセージ、画像縮小を含むグループから選
択される、上記（３）記載の方法。 （５）前記検出の精度に対応する信頼係数を決定するス
テップを、さらに含み、前記消滅タイミングが前記信頼
係数に対応する、上記（３）記載の方法。 （６）前記音声コマンドに対応する情報を前記ディスプ
レイ上の箇所に描くステップを含み、前記音声コマンド
は前記情報に対応し、前記複数の位置の前記１つが前記
箇所に対応する、上記（５）記載の方法。 （７）前記音声コマンドを解析するステップを含み、前
記複数の位置の前記１つが、前記解析の機能である、上
記（５）記載の方法。 （８）前記コンピュータ・システムが、前記ディスプレ
イ上のグラフィカル・ユーザ・インターフェースと、ポ
インティング・デバイスとを備え、前記音声コマンド
が、前記ポインティング・デバイスによって作動可能な
前記グラフィカル・ユーザ・インターフェース上に表示
されるコマンドに対応する、上記（５）記載の方法。 （９）次の音声コマンドを検出するステップと、前記検
出した次の音声コマンドの機能として、前記表示画面上
の複数の位置の次の１つを選択するステップと、前記複
数の位置の前記次の１つに近接した、および前記次の音
声コマンドに対応する次の確認領域に次のフィードバッ
クを表示するステップとを、さらに含む上記（１）記載
の方法。 （１０）前記信頼係数と前記消滅タイミングとが、反対
の関係にある、上記（５）記載の方法。 （１１）音声認識アプリケーションを実行する音声コマ
ンド認識コンピュータ・システムのディスプレイ上にフ
ィードバックを表示する装置であって、音声コマンドを
検出する手段と、この検出した音声コマンドの機能とし
て、前記ディスプレイ上の複数の位置の１つを選択する
手段と、前記複数の位置の前記１つに近接し、および前
記コマンドに対応する確認領域にフィードバックを表示
する手段とを備える装置。 （１２）前記表示後、一度に前記フィードバックを消滅
させる手段を、さらに備える上記（１１）記載の装置。 （１３）前記表示後、前記コマンドを自動的に実行する
手段を、さらに備える上記（１２）記載の装置。 （１４）前記消滅のタイミングが動的に選択され、前記
フィードバックが、前記ディスプレイ上の色変更、アニ
メーション、メッセージ、画像縮小を含むグループから
選択される、上記（１３）記載の装置。 （１５）前記検出の精度に対応する信頼係数を決定する
手段を、さらに備え、前記消滅タイミングが前記信頼係
数に対応する、上記（１３）記載の装置。 （１６）前記音声コマンドに対応する情報を前記ディス
プレイ上の箇所に描く手段を備え、前記音声コマンドは
前記情報に対応し、前記複数の位置の前記１つが前記箇
所に対応する、上記（１５）記載の装置。 （１７）前記音声コマンドを解析する手段を備え、前記
複数の位置の前記１つが、前記解析の機能である、上記
（１５）記載の装置。 （１８）前記コンピュータ・システムが、前記ディスプ
レイ上のグラフィカル・ユーザ・インターフェースと、
ポインティング・デバイスとを備え、前記音声コマンド
が、前記ポインティング・デバイスによって作動可能な
前記グラフィカル・ユーザ・インターフェース上に表示
されるコマンドに対応する、上記（１５）記載の装置。 （１９）前記コンピュータ・システムが、前記ディスプ
レイ上のグラフィカル・ユーザ・インターフェースと、
ポインティング・デバイスとを備え、前記音声コマンド
が、グラフィカル環境上でランするアプリケーションに
よって解釈された非可視性のコマンドに対応する、上記
（１５）記載の装置。 （２０）次の音声コマンドを検出する手段と、前記検出
した次の音声コマンドの機能として、前記表示画面上の
複数の位置の次の１つを選択する手段と、前記複数の位
置の前記次の１つに近接し、および前記次の音声コマン
ドに対応する次の確認領域に次のフィードバックを表示
する手段とを、さらに備える上記（１１）記載の装置。 （２１）前記信頼係数と前記消滅タイミングが、反対の
関係にあり、前記コンピュータ・システムが、前記ディ
スプレイ上のグラフィカル・ユーザ・インターフェース
と、ポインティング・デバイスとを、さらに備え、前記
音声コマンドが、前記グラフィカル・ユーザ・インター
フェースにおいて実行されるアプリケーションによって
解釈された非可視性のコマンドに対応する、上記（１
５）記載の装置。 （２２）音声認識アプリケーションを実行する音声コマ
ンド認識コンピュータ・システムのディスプレイ上にフ
ィードバックを表示するプログラム製品であって、音声
コマンドを検出するプログラム・コード手段と、この検
出した音声コマンドの機能として、前記ディスプレイ上
の複数の位置の１つを選択するプログラム・コード手段
と、前記複数の位置の前記１つに近接し、および前記コ
マンドに対応する確認領域にフィードバックを表示する
プログラム・コード手段とを備えるプログラム製品。 （２３）前記表示後、一度に前記フィードバックを消滅
させるプログラム・コード手段を、さらに備える上記
（２２）記載のプログラム製品。 （２４）前記表示後、前記コマンドを自動的に実行する
プログラム・コード手段を、さらに備える上記（２３）
記載のプログラム製品。 （２５）前記消滅のタイミングが動的に選択され、前記
フィードバックが、前記ディスプレイ上の色変更、アニ
メーション、メッセージ、画像縮小を含むグループから
選択される、上記（２４）記載のプログラム製品。 （２６）前記検出の精度に対応する信頼係数を決定する
プログラム・コード手段を、さらに備え、前記消滅タイ
ミングが前記信頼係数に対応する、上記（２４）記載の
プログラム製品。 （２７）前記音声コマンドに対応する情報を前記ディス
プレイ上の箇所に描くプログラム・コード手段を備え、
前記音声コマンドは前記情報に対応し、前記複数の位置
の前記１つが前記箇所に対応する、上記（２６）記載の
プログラム製品。 （２８）前記音声コマンドを解析するプログラム・コー
ド手段を備え、前記複数の位置の前記１つが、前記解析
の機能である、上記（２６）記載のプログラム製品。 （２９）前記コンピュータ・システムが、前記ディスプ
レイ上のグラフィカル・ユーザ・インターフェースと、
ポインティング・デバイスとを備え、前記音声コマンド
が、前記ポインティング・デバイスによって作動可能な
前記グラフィカル・ユーザ・インターフェース上に表示
されるコマンドに対応する、上記（２６）記載のプログ
ラム製品。 （３０）前記コンピュータ・システムが、前記ディスプ
レイ上のグラフィカル・ユーザ・インターフェースと、
ポインティング・デバイスとを備え、前記音声コマンド
が、グラフィカル環境上でランするアプリケーションに
よって解釈された非可視性のコマンドに対応する、上記
（２６）記載のプログラム製品。 （３１）次の音声コマンドを検出するプログラム・コー
ド手段と、前記検出した次の音声コマンドの機能とし
て、前記表示画面上の複数の位置の次の１つを選択する
プログラム・コード手段と、前記複数の位置の前記次の
１つに近接し、および前記次の音声コマンドに対応する
次の確認領域に次のフィードバックを表示するプログラ
ム・コード手段とを、さらに備える上記（２２）記載の
プログラム製品。 （３２）前記信頼係数と前記消滅タイミングとが、反対
の関係にある、上記（２６）記載のプログラム製品。
【図面の簡単な説明】
【図１】確認領域を表示する従来技術の方法を説明す
る、音声作動コンピュータ・システムにおける代表的な
表示画面の図である。
【図２】音声コマンド・制御システムに関連した確認領
域の改良されたディスプレイ用の本発明による表示画面
を説明する図である。
【図３】音声コマンド・制御システムに関連した確認領
域の改良されたディスプレイ用の本発明による表示画面
を説明する図である。
【図４】図２、図３に示された改良された確認領域を実
施するための本発明のコンピュータ・システムにおいて
実行されるプログラム・コードで実施可能なフロー図で
ある。
【図５】本発明の特徴が効果的に実現される音声作動コ
ンピュータ・システムを示す単純化されたブロック図で
ある。
【符号の説明】
１０ ＣＰＵ １１ ＲＯＭ １２ ＲＡＭ １３ Ｉ／Ｏアダプタ １４ 通信アダプタ １５ ＤＡＳＤ １６ 共通バス １７ キーボード １８ ユーザ・インターフェース・アダプタ １９ ディスプレイ・アダプタ ２１ ディスプレイ ２３ ジョイスティック ２５ マウス ２７ スピーカーおよび／またはマイクロフォン

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】音声認識アプリケーションを実行する音声
    コマンド認識コンピュータ・システムのディスプレイ上
    にフィードバックを表示する方法であって、 音声コマンドを検出するステップと、 この検出した音声コマンドの機能として、前記ディスプ
    レイ上の複数の位置の１つを選択するステップと、 前記複数の位置の前記１つに近接し、および前記コマン
    ドに対応する確認領域にフィードバックを表示するステ
    ップとを含む方法。
  2. 【請求項２】前記表示後、一度に前記フィードバックを
    消滅させるステップを、さらに含む請求項１記載の方
    法。
  3. 【請求項３】前記表示後、前記コマンドを自動的に実行
    するステップを、さらに含む請求項２記載の方法。
  4. 【請求項４】前記消滅のタイミングが動的に選択され、 前記フィードバックが、前記ディスプレイ上の色変更、
    アニメーション、メッセージ、画像縮小を含むグループ
    から選択される、請求項３記載の方法。
  5. 【請求項５】前記検出の精度に対応する信頼係数を決定
    するステップを、さらに含み、 前記消滅タイミングが前記信頼係数に対応する、請求項
    ３記載の方法。
  6. 【請求項６】前記音声コマンドに対応する情報を前記デ
    ィスプレイ上の箇所に描くステップを含み、 前記音声コマンドは前記情報に対応し、 前記複数の位置の前記１つが前記箇所に対応する、請求
    項５記載の方法。
  7. 【請求項７】前記音声コマンドを解析するステップを含
    み、 前記複数の位置の前記１つが、前記解析の機能である、
    請求項５記載の方法。
  8. 【請求項８】前記コンピュータ・システムが、 前記ディスプレイ上のグラフィカル・ユーザ・インター
    フェースと、ポインティング・デバイスとを備え、 前記音声コマンドが、前記ポインティング・デバイスに
    よって作動可能な前記グラフィカル・ユーザ・インター
    フェース上に表示されるコマンドに対応する、請求項５
    記載の方法。
  9. 【請求項９】次の音声コマンドを検出するステップと、 前記検出した次の音声コマンドの機能として、前記表示
    画面上の複数の位置の次の１つを選択するステップと、 前記複数の位置の前記次の１つに近接した、および前記
    次の音声コマンドに対応する次の確認領域に次のフィー
    ドバックを表示するステップとを、さらに含む請求項１
    記載の方法。
  10. 【請求項１０】前記信頼係数と前記消滅タイミングと
    が、反対の関係にある、請求項５記載の方法。
  11. 【請求項１１】音声認識アプリケーションを実行する音
    声コマンド認識コンピュータ・システムのディスプレイ
    上にフィードバックを表示する装置であって、 音声コマンドを検出する手段と、 この検出した音声コマンドの機能として、前記ディスプ
    レイ上の複数の位置の１つを選択する手段と、 前記複数の位置の前記１つに近接し、および前記コマン
    ドに対応する確認領域にフィードバックを表示する手段
    とを備える装置。
  12. 【請求項１２】前記表示後、一度に前記フィードバック
    を消滅させる手段を、さらに備える請求項１１記載の装
    置。
  13. 【請求項１３】前記表示後、前記コマンドを自動的に実
    行する手段を、さらに備える請求項１２記載の装置。
  14. 【請求項１４】前記消滅のタイミングが動的に選択さ
    れ、 前記フィードバックが、前記ディスプレイ上の色変更、
    アニメーション、メッセージ、画像縮小を含むグループ
    から選択される、請求項１３記載の装置。
  15. 【請求項１５】前記検出の精度に対応する信頼係数を決
    定する手段を、さらに備え、 前記消滅タイミングが前記信頼係数に対応する、請求項
    １３記載の装置。
  16. 【請求項１６】前記音声コマンドに対応する情報を前記
    ディスプレイ上の箇所に描く手段を備え、 前記音声コマンドは前記情報に対応し、 前記複数の位置の前記１つが前記箇所に対応する、請求
    項１５記載の装置。
  17. 【請求項１７】前記音声コマンドを解析する手段を備
    え、 前記複数の位置の前記１つが、前記解析の機能である、
    請求項１５記載の装置。
  18. 【請求項１８】前記コンピュータ・システムが、 前記ディスプレイ上のグラフィカル・ユーザ・インター
    フェースと、ポインティング・デバイスとを備え、 前記音声コマンドが、前記ポインティング・デバイスに
    よって作動可能な前記グラフィカル・ユーザ・インター
    フェース上に表示されるコマンドに対応する、請求項１
    ５記載の装置。
  19. 【請求項１９】前記コンピュータ・システムが、 前記ディスプレイ上のグラフィカル・ユーザ・インター
    フェースと、ポインティング・デバイスとを備え、 前記音声コマンドが、グラフィカル環境上でランするア
    プリケーションによって解釈された非可視性のコマンド
    に対応する、請求項１５記載の装置。
  20. 【請求項２０】次の音声コマンドを検出する手段と、 前記検出した次の音声コマンドの機能として、前記表示
    画面上の複数の位置の次の１つを選択する手段と、 前記複数の位置の前記次の１つに近接し、および前記次
    の音声コマンドに対応する次の確認領域に次のフィード
    バックを表示する手段とを、さらに備える請求項１１記
    載の装置。
  21. 【請求項２１】前記信頼係数と前記消滅タイミングが、
    反対の関係にあり、 前記コンピュータ・システムが、 前記ディスプレイ上のグラフィカル・ユーザ・インター
    フェースと、ポインティング・デバイスとを、さらに備
    え、 前記音声コマンドが、前記グラフィカル・ユーザ・イン
    ターフェースにおいて実行されるアプリケーションによ
    って解釈された非可視性のコマンドに対応する、請求項
    １５記載の装置。
JP33085299A 1998-12-16 1999-11-22 ディスプレイ上にフィードバックを表示する方法および装置 Expired - Fee Related JP3516334B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/213,857 US6233560B1 (en) 1998-12-16 1998-12-16 Method and apparatus for presenting proximal feedback in voice command systems
US09/213857 1998-12-16

Publications (2)

Publication Number Publication Date
JP2000200094A true JP2000200094A (ja) 2000-07-18
JP3516334B2 JP3516334B2 (ja) 2004-04-05

Family

ID=22796783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33085299A Expired - Fee Related JP3516334B2 (ja) 1998-12-16 1999-11-22 ディスプレイ上にフィードバックを表示する方法および装置

Country Status (4)

Country Link
US (1) US6233560B1 (ja)
JP (1) JP3516334B2 (ja)
KR (1) KR20000047589A (ja)
TW (1) TW480474B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116854A (ja) * 2000-10-11 2002-04-19 Canon Inc 情報入力装置、情報入力方法及び記憶媒体

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275617B1 (en) 1998-12-17 2012-09-25 Nuance Communications, Inc. Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands
JP2001100781A (ja) * 1999-09-30 2001-04-13 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
US7292986B1 (en) * 1999-10-20 2007-11-06 Microsoft Corporation Method and apparatus for displaying speech recognition progress
WO2002009093A1 (en) * 2000-07-20 2002-01-31 Koninklijke Philips Electronics N.V. Feedback of recognized command confidence level
US6792408B2 (en) * 2001-06-12 2004-09-14 Dell Products L.P. Interactive command recognition enhancement system and method
US6839808B2 (en) * 2001-07-06 2005-01-04 Juniper Networks, Inc. Processing cluster having multiple compute engines and shared tier one caches
US7099829B2 (en) * 2001-11-06 2006-08-29 International Business Machines Corporation Method of dynamically displaying speech recognition system information
US7246062B2 (en) * 2002-04-08 2007-07-17 Sbc Technology Resources, Inc. Method and system for voice recognition menu navigation with error prevention and recovery
US6910911B2 (en) 2002-06-27 2005-06-28 Vocollect, Inc. Break-away electrical connector
KR100668297B1 (ko) 2002-12-31 2007-01-12 삼성전자주식회사 음성인식방법 및 장치
DE10313310A1 (de) * 2003-03-25 2004-10-21 Siemens Ag Verfahren zur sprecherabhängigen Spracherkennung und Spracherkennungssystem dafür
US20050010418A1 (en) * 2003-07-10 2005-01-13 Vocollect, Inc. Method and system for intelligent prompt control in a multimodal software application
US20050010892A1 (en) * 2003-07-11 2005-01-13 Vocollect, Inc. Method and system for integrating multi-modal data capture device inputs with multi-modal output capabilities
KR100601947B1 (ko) 2004-03-30 2006-07-14 삼성전자주식회사 영상의 색 보정 장치 및 방법
KR100652672B1 (ko) * 2004-09-20 2006-12-06 엘지전자 주식회사 이동 통신 단말기의 시력 검사 장치와 방법 및 시력에따른 글자 크기 변경 방법
US7624019B2 (en) * 2005-10-17 2009-11-24 Microsoft Corporation Raising the visibility of a voice-activated user interface
US8060821B2 (en) * 2005-12-09 2011-11-15 Apple Inc. Enhanced visual feedback of interactions with user interface
US8417529B2 (en) 2006-12-27 2013-04-09 Nuance Communications, Inc. System and methods for prompting user speech in multimodal devices
TWI377745B (en) * 2007-04-27 2012-11-21 Delta Electronics Thailand Public Co Ltd Electronic apparatus with power connection interface
US7962344B2 (en) * 2007-06-29 2011-06-14 Microsoft Corporation Depicting a speech user interface via graphical elements
USD626949S1 (en) 2008-02-20 2010-11-09 Vocollect Healthcare Systems, Inc. Body-worn mobile device
KR20090107365A (ko) * 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
US8494140B2 (en) 2008-10-30 2013-07-23 Centurylink Intellectual Property Llc System and method for voice activated provisioning of telecommunication services
US8386261B2 (en) 2008-11-14 2013-02-26 Vocollect Healthcare Systems, Inc. Training/coaching system for a voice-enabled work environment
US8412531B2 (en) * 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US8659397B2 (en) 2010-07-22 2014-02-25 Vocollect, Inc. Method and system for correctly identifying specific RFID tags
USD643400S1 (en) 2010-08-19 2011-08-16 Vocollect Healthcare Systems, Inc. Body-worn mobile device
USD643013S1 (en) 2010-08-20 2011-08-09 Vocollect Healthcare Systems, Inc. Body-worn mobile device
US9600135B2 (en) 2010-09-10 2017-03-21 Vocollect, Inc. Multimodal user notification system to assist in data capture
US20120131466A1 (en) 2010-11-23 2012-05-24 Embarq Holdings Company, Llc User-Based Monitoring and Control
US9190074B1 (en) 2013-01-30 2015-11-17 Google Inc. Multi-level voice menu
US9368113B2 (en) 2013-01-30 2016-06-14 Google Inc. Voice activated features on multi-level voice menu
US9530410B1 (en) 2013-04-09 2016-12-27 Google Inc. Multi-mode guard for voice commands
US9575720B2 (en) 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
US9430186B2 (en) * 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
JP2017173530A (ja) * 2016-03-23 2017-09-28 富士通株式会社 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置
US20170357480A1 (en) * 2016-06-12 2017-12-14 The HintBox!, Inc. Proactive deep-analysis virtual assistant application and integration
KR102496603B1 (ko) * 2018-05-30 2023-02-03 삼성에스디에스 주식회사 어플리케이션 실행 화면의 위치 선정 방법
US11544591B2 (en) 2018-08-21 2023-01-03 Google Llc Framework for a computing system that alters user behavior
KR102330496B1 (ko) * 2019-08-20 2021-11-24 주식회사 포켓메모리 음성인식 방법 및 장치
CN112911354B (zh) * 2019-12-03 2022-11-15 海信视像科技股份有限公司 显示设备和声音控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5965899A (ja) * 1982-10-08 1984-04-14 トヨタ自動車株式会社 車両用音声認識方式
JPS6237734A (ja) * 1985-08-12 1987-02-18 Matsushita Electric Ind Co Ltd 命令選択装置
JPH01130262A (ja) * 1987-11-16 1989-05-23 Canon Inc 音声ワードプロセッサ
JPH07219589A (ja) * 1994-01-27 1995-08-18 Sanyo Electric Co Ltd パスワード管理装置
JPH07219587A (ja) * 1994-01-28 1995-08-18 Canon Inc 音声処理装置および方法
JPH07295784A (ja) * 1994-04-25 1995-11-10 Hitachi Ltd 音声による情報処理装置
JPH09292896A (ja) * 1996-04-24 1997-11-11 Denso Corp 車両用ナビゲーション装置
JPH1021254A (ja) * 1996-06-28 1998-01-23 Toshiba Corp 音声認識機能付き情報検索装置
JPH11249689A (ja) * 1998-03-04 1999-09-17 Mitsubishi Electric Corp 音声認識装置および地図表示装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5688501A (en) * 1979-12-21 1981-07-18 Matsushita Electric Ind Co Ltd Heater
US4451895A (en) * 1980-07-17 1984-05-29 Telesis Corporation Of Delaware, Inc. Interactive computer aided design system
JPS58195957A (ja) 1982-05-11 1983-11-15 Casio Comput Co Ltd 音声によるプログラム実行方式
US4726065A (en) 1984-01-26 1988-02-16 Horst Froessl Image manipulation by speech signals
US5068900A (en) 1984-08-20 1991-11-26 Gus Searcy Voice recognition system
US4783759A (en) * 1986-09-09 1988-11-08 International Business Machines Corporation Floating command line
US5231670A (en) 1987-06-01 1993-07-27 Kurzweil Applied Intelligence, Inc. Voice controlled system and method for generating text from a voice controlled input
US5027406A (en) 1988-12-06 1991-06-25 Dragon Systems, Inc. Method for interactive speech recognition and training
US5157384A (en) 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5214743A (en) 1989-10-25 1993-05-25 Hitachi, Ltd. Information processing apparatus
JPH04235630A (ja) 1990-07-30 1992-08-24 Ronald L Colier 可聴コマンドでコンピュータのプログラミングを行うための方法及び装置
US5133011A (en) 1990-12-26 1992-07-21 International Business Machines Corporation Method and apparatus for linear vocal control of cursor position
US5251130A (en) * 1991-04-18 1993-10-05 International Business Machines Corporation Method and apparatus for facilitating contextual language translation within an interactive software application
WO1993007562A1 (en) 1991-09-30 1993-04-15 Riverrun Technology Method and apparatus for managing information
US5222146A (en) 1991-10-23 1993-06-22 International Business Machines Corporation Speech recognition apparatus having a speech coder outputting acoustic prototype ranks
US5386494A (en) 1991-12-06 1995-01-31 Apple Computer, Inc. Method and apparatus for controlling a speech recognition function using a cursor control device
US5305244B2 (en) 1992-04-06 1997-09-23 Computer Products & Services I Hands-free user-supported portable computer
US5428707A (en) 1992-11-13 1995-06-27 Dragon Systems, Inc. Apparatus and methods for training speech recognition systems and their users and otherwise improving speech recognition performance
US5452397A (en) 1992-12-11 1995-09-19 Texas Instruments Incorporated Method and system for preventing entry of confusingly similar phases in a voice recognition system vocabulary list
DE69326431T2 (de) 1992-12-28 2000-02-03 Kabushiki Kaisha Toshiba, Kawasaki Spracherkennungs-Schnittstellensystem, das als Fenstersystem und Sprach-Postsystem verwendbar ist
US5671328A (en) 1992-12-30 1997-09-23 International Business Machines Corporation Method and apparatus for automatic creation of a voice recognition template entry
US5698834A (en) 1993-03-16 1997-12-16 Worthington Data Solutions Voice prompt with voice recognition for portable data collection terminal
CA2115210C (en) 1993-04-21 1997-09-23 Joseph C. Andreshak Interactive computer system recognizing spoken commands
US5465317A (en) 1993-05-18 1995-11-07 International Business Machines Corporation Speech recognition system with improved rejection of words and sounds not in the system vocabulary
EP0645757B1 (en) 1993-09-23 2000-04-05 Xerox Corporation Semantic co-occurrence filtering for speech recognition and signal transcription applications
US5602963A (en) 1993-10-12 1997-02-11 Voice Powered Technology International, Inc. Voice activated personal organizer
AU703597B2 (en) 1994-03-18 1999-03-25 Nuance Communications, Inc. Speech controlled vehicle alarm system
GB2292500A (en) 1994-08-19 1996-02-21 Ibm Voice response system
US5638486A (en) 1994-10-26 1997-06-10 Motorola, Inc. Method and system for continuous speech recognition using voting techniques
US5729659A (en) 1995-06-06 1998-03-17 Potter; Jerry L. Method and apparatus for controlling a digital computer using oral input
US5864815A (en) * 1995-07-31 1999-01-26 Microsoft Corporation Method and system for displaying speech recognition status information in a visual notification area
US6018711A (en) * 1998-04-21 2000-01-25 Nortel Networks Corporation Communication system user interface with animated representation of time remaining for input to recognizer

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5965899A (ja) * 1982-10-08 1984-04-14 トヨタ自動車株式会社 車両用音声認識方式
JPS6237734A (ja) * 1985-08-12 1987-02-18 Matsushita Electric Ind Co Ltd 命令選択装置
JPH01130262A (ja) * 1987-11-16 1989-05-23 Canon Inc 音声ワードプロセッサ
JPH07219589A (ja) * 1994-01-27 1995-08-18 Sanyo Electric Co Ltd パスワード管理装置
JPH07219587A (ja) * 1994-01-28 1995-08-18 Canon Inc 音声処理装置および方法
JPH07295784A (ja) * 1994-04-25 1995-11-10 Hitachi Ltd 音声による情報処理装置
JPH09292896A (ja) * 1996-04-24 1997-11-11 Denso Corp 車両用ナビゲーション装置
JPH1021254A (ja) * 1996-06-28 1998-01-23 Toshiba Corp 音声認識機能付き情報検索装置
JPH11249689A (ja) * 1998-03-04 1999-09-17 Mitsubishi Electric Corp 音声認識装置および地図表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116854A (ja) * 2000-10-11 2002-04-19 Canon Inc 情報入力装置、情報入力方法及び記憶媒体

Also Published As

Publication number Publication date
JP3516334B2 (ja) 2004-04-05
KR20000047589A (ko) 2000-07-25
US6233560B1 (en) 2001-05-15
TW480474B (en) 2002-03-21

Similar Documents

Publication Publication Date Title
JP3516334B2 (ja) ディスプレイ上にフィードバックを表示する方法および装置
US8831956B2 (en) Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands
US6795806B1 (en) Method for enhancing dictation and command discrimination
US5857172A (en) Activation control of a speech recognizer through use of a pointing device
US7684985B2 (en) Techniques for disambiguating speech input using multimodal interfaces
US7206747B1 (en) Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands
US9372605B2 (en) Method and apparatus for controlling the operation of an operating system and application programs by ocular control
US6499015B2 (en) Voice interaction method for a computer graphical user interface
EP3088997A1 (en) Delay warp gaze interaction
JP2004152217A (ja) タッチパネル付き表示装置
CA2948523C (en) Modification of visual content to facilitate improved speech recognition
JP3399674B2 (ja) 画面制御装置とその方法
WO2020105349A1 (ja) 情報処理装置および情報処理方法
JPH08166866A (ja) 対話型インターフェースを具備した編集支援システム
EP3891730B1 (en) Technique for generating a command for a voice-controlled electronic device
JP2003263308A (ja) 画面制御装置とその方法
Alsuraihi et al. How effective is it to design by voice?
US7643999B2 (en) Microphone feedback and control
GB2326490A (en) Voice activated control system and method
JPH0944182A (ja) 音声認識装置および音声認識方法
CA2240459A1 (en) Voice activated control system and method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040106

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20040107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100130

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100130

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110130

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110130

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110130

Year of fee payment: 7

S202 Request for registration of non-exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R315201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110130

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130130

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130130

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees