JP2003091298A - 音声認識及び自然言語を用いる家庭活動の自動制御 - Google Patents

音声認識及び自然言語を用いる家庭活動の自動制御

Info

Publication number
JP2003091298A
JP2003091298A JP2002160637A JP2002160637A JP2003091298A JP 2003091298 A JP2003091298 A JP 2003091298A JP 2002160637 A JP2002160637 A JP 2002160637A JP 2002160637 A JP2002160637 A JP 2002160637A JP 2003091298 A JP2003091298 A JP 2003091298A
Authority
JP
Japan
Prior art keywords
user
information
parser
natural language
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002160637A
Other languages
English (en)
Other versions
JP3711089B2 (ja
Inventor
John Howard
ジョン・ハワード
Jean-Claude Junqua
ジャン−クロード・ジャンクア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2003091298A publication Critical patent/JP2003091298A/ja
Application granted granted Critical
Publication of JP3711089B2 publication Critical patent/JP3711089B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 【課題】 最適な量で正しい内容の情報がユーザに提示
される家庭活動制御システムを提供する。 【解決手段】 音声認識及び自然言語構文解析コンポー
ネントが、ユーザの音声入力の意味を抽出するために用
いられる。システム30は、電子作業ガイド42の意味表現
を記憶していて、ガイドの内容は、自然言語パーサーに
よって用いられる文法の中にマッピングされている。従
って、ユーザは、電子作業ガイドの複雑なメニュー構造
内を移動したいとき、自然言語の文で話すだけでよい。
システムは、ガイドの内容を自動的にフィルタリング
し、画面表示あるいは合成音声による、ユーザの要求に
対する応答を提示する。システムによって、ユーザは、
ホームネットワーク10あるいはホームゲートウェイ12と
通信する様々な装置と、自然な方法で通信することがで
きる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この出願は、1999年8月26日
に出願され、「音声認識及び自然言語を用いるテレビ内
容の自動フィルタリング」と題された米国特許出願番号
09/383,758の一部と関連する。
【０００２】本発明は、一般的には、対話型情報検索に
関する。より詳細には、本発明は、電子的に格納された
情報のメニュー構造内を移動することによって、最適な
量で正しい内容の情報がユーザに提示される音声を発す
ることが可能なシステムに関する。
【０００３】
【従来の技術及び発明が解決しようとする課題】家庭の
隅々までコンピュータネットワークの到達範囲を拡張す
ることに対する関心が高まっている。ホームゲートウェ
イが開発され、家庭の隅々まで、ネットワークサービス
や、ホームオートメーションや、情報へのアクセスが行
き渡りつつある。このようなアクセスを行き渡らせるこ
とに関する問題の１つは、情報検索である。コンピュー
タの大型ディスプレイは、当然に、使用に便利なよう
に、整然としたフォーマットで、情報を適切に表示する
ことができるが、家庭内の多くの器具やシステムは、こ
のサイズあるいは品質のディスプレイを備えてはいな
い。このように、大部分の消費者向け電化製品や器具
は、これまで、簡単なメッセージや少量の情報しか表示
できなかった。
【０００４】将来は、ホームネットワークの発達に伴っ
て、ユーザが、様々な消費者向け電化製品や家庭の器具
をホームネットワークに接続して、このような製品や器
具がデータを共有し、相互に連動することを望むことが
予想される。この点に関して、ホームネットワークは、
様々なチャネルを介した通信をサポートすることができ
る。様々なチャネルとは、例えば、現存する電話の配線
や、コンピュータネットワークの配線や、交流の電力線
に重畳されたデータ信号や、スペクトラム拡散無線周波
数やブルートゥース(bluetooth)技術を含む様々な技術
を用いた無線通信のことである。
【０００５】いったん、ホームネットワークが構築さ
れ、様々な電化製品や器具が接続されれば、ユーザは、
疑いなく、それらの接続された製品や器具を、ホームネ
ットワークへのポータル（入り口）として使うことを望
むであろう。このことに関する問題は、現在の技術が、
非常に扱いにくいユーザインターフェースしか提供でき
ない点であり、特に、ディスプレイのサイズが小さい
か、あるいは品質が低い場合に顕著である。現在の技術
では、メニュー上の情報を表示してユーザに伝えるの
に、時折、長い時間がかかることがある。更に、画面上
のメニュー表示との対話は煩わしいものであり、特に、
暗い部屋でマウスによる作業あるいはキーボード操作を
行わなければならない場合に顕著である。最後に、ユー
ザインターフェース画面を家族全員にとって理想的な場
所に配置することは不可能であるし、このようなインタ
ーフェースの個数も限られている。
【０００６】
【課題を解決するための手段】本発明は、１以上の電子
作業ガイドの支援によって、情報を選別し、かつ複雑な
メニュー構造内を移動するための音声を発することが可
能なシステムを提供する。このシステムは、ユーザに対
して、次の作業を選択するのに最適な量の情報を提供す
るように構成されている。
【０００７】本発明は、従来の画面ベースのインターフ
ェースの限界に対処するために、音声認識及び自然言語
の構文解析を用いて、電子作業ガイドの内容を自動的に
選別するので、ユーザの次の選択のために、最適な数に
微調整された選択肢が、音声によって、もしくは従来の
押しボタン制御を介して、もしくはその他の方法によっ
て提示される。
【０００８】本発明は、ユーザが特定の作業を選択する
際に、迅速で、より煩わしくないインターフェースを提
供する。しばしば、これは、１つの文で要求を完成させ
ることが可能である。このような場合には、表示装置は
必要ないし、もし、それが用意されていたとしても、そ
れを見る必要はない。
【０００９】本発明は、ネットワークに接続された任意
の装置に、その装置あるいはネットワークに接続された
他の装置を操作するためのポータル（入り口）としての
役割を果たさせることが可能である。そのネットワーク
が、ゲートウェイまたは他の適当な接続部を介してイン
ターネットに接続されていれば、このポータル（入り
口）から、インターネットにアクセスすることも可能で
ある。
【００１０】本発明は、ユーザの入力音声から意味情報
を抽出するためのパーサーを有する音声認識システムを
用いる。データ記憶装置は、１以上の電子作業ガイドの
表現を記憶している。これらのガイドは、自然言語によ
る対話の分野を、特定の装置、システム、または対話に
限定する能力を持っている。これにより、システムは、
はるかに正確に、ユーザの入力音声に対応する意味を解
釈することができる。自然言語対話モジュールは、電子
作業ガイドにアクセスし、ユーザの入力音声の意味を解
釈し、そして、ネットワークに適切な情報を提供して、
ネットワークに接続されている、いずれかの装置から、
あるいは、インターネットに接続されているのであれ
ば、インターネットから、特定の情報を検索する。ま
た、自然言語対話モジュールは、ネットワークを介して
通信している装置に、制御命令及びメニュー移動命令を
与えることができる。このように、本発明は、情報を入
手し、かつ家庭の至る所の装置、器具、コンピュータ、
及びその他のシステムを制御する、自然発音モードをユ
ーザに提供する。
【００１１】例として、ほぼ買い物旅行をする準備が整
ったユーザは、冷蔵庫に付随しているマイクロフォンに
向かって話しかけ、「ディナーに何を作ることができる
か？」と尋ねる。自然言語対話モジュールは、適切な電
子作業ガイド（冷蔵庫に対応しているもの）にアクセス
し、冷蔵庫内の品目で可能なディナーのメニューに関す
る情報を検索する。システムは、可能なメニューについ
て提案すると共に、摂取する必要がある成分についてユ
ーザの注意を喚起する。これに対して、ユーザは、「今
夜はチキンシチューを作ろうと思う。買い物リストをプ
リントして下さい。」などと言うことができる。する
と、システムは、現在、どの品目が冷蔵庫内で見あたら
ないかを確かめた上で、プリントのために、ユーザのコ
ンピュータにプリントジョブを送る。
【００１２】１つの好ましい実施において、ネットワー
クを介して通信する各器具もしくは他の装置は、その個
々の分野に対する対話文法を確認する、対応する電子作
業ガイドを有している。自然言語対話モジュールは、ネ
ットワークの全域で共有される。ユーザが、ネットワー
クを介して通信する器具あるいは装置に取り付けられる
か、あるいは近くにあるマイクロフォンに向かって話し
かけると、自然言語対話モジュールは、入力音声の意味
を、電子作業ガイド、すなわち入力音声に最も適合する
特定の文法を用いて解釈する。システムは、最高の意味
認識得点が得られる文法を割り出すことによって、最適
な作業ガイドを選択する。このように、ユーザは、冷蔵
庫ポータル（入り口）の前に立って、システムに、イン
ターネット上のストックプロセス(stock process)を調
べるように要求し、システムのテキスト−音声合成器を
用いて、冷蔵庫のスピーカから合成音声を再生させるこ
とができる。例えば、冷蔵庫に取り付けられるか、ある
いは近くにあるマイクロフォンを介して、ユーザが、入
力音声を入力したとしても、自然言語対話モジュール
は、インターネットに接続されたホームゲートウェイに
対応する電子作業ガイドを用いて、ストックプライス(s
tock prices)のための要求を解釈する。
【００１３】残りの明細書、及び添付した図を参照する
ことによって、本発明及びその多くの可能性、目的、及
び利点が、更に完全に理解される。
【００１４】
【発明の実施の形態】図１は、インターネットに接続さ
れたコンピュータネットワーク及びホームゲートウェイ
と共に示された、本発明の現時点での好ましい実施形態
のブロック図である。
【００１５】図２は、いかにして、音声認識装置及び自
然言語パーサーが、対話マネージャ及び対応する電子作
業ガイドと連係して動作するかを示す、より詳細なブロ
ック図である。
【００１６】図３は、現時点での好ましい実施形態にお
ける自然言語パーサーの構成要素を示すブロック図であ
る。
【００１７】図４は、現時点での好ましい実施形態にお
けるローカルパーサーの構成要素を示すブロック図であ
る。
【００１８】図１を参照すると、家庭活動制御システム
が、コンピュータネットワーク 10に不可欠な構成要素
として示されている。それは、適当な接続部を介してイ
ンターネット 14 に接続されているゲートウェイ 12 を
含んでいてもよい。既に述べたように、ネットワーク 1
0 は、有線及び無線技術、並びに光技術を含む様々な通
信技術によって実現される。
【００１９】本発明のいくつかの可能性を示すために、
様々な装置が、ネットワーク 10 に接続されたものとし
て示されている。これらは、オーディオ／ビデオ装置 1
6 、器具 18 、コンピュータ 20 、及び他のシステム 2
2 を含んでいる。この点に関して、現時点では、大部分
の家庭には、ネットワークに接続可能なオーディオ／ビ
デオ装置や器具は備えられていない。しかし、将来のオ
ーディオ／ビデオ装置や家庭器具は、ネットワーキング
能力を持ち、これらの装置が、ホームゲートウェイ及び
ネットワークシステムの制御下にある構成要素として、
あるいは更に、自然言語での対話のための入り口（ポー
タル）としての役割を果たすようになることが予想され
る。
【００２０】ゲートウェイ 12 は、簡単なネットワーク
ハブ装置から、インターネットへの広帯域接続が可能
な、より複雑なハブ及びスイッチングシステムまで、様
々な形をとることができる。要望があれば、ゲートウェ
イには、照明制御機能や、火災及び盗難警報機能や、冷
暖房システム制御機能や、電話応答及び切換機能等を含
む、様々なホームオートメーション機能を実現するため
の構成要素を備えることもできる。あるいは、これらの
ホームオートメーション機能を、ネットワークに接続さ
れた、符号24に図示された補助装置によって実現するこ
ともできる。
【００２１】できれば、ネットワーク 10 に接続される
各装置は、図１における符号16〜24で示された装置のよ
うに、独立した処理能力と、少なくとも、いくらかの限
られたデータ記憶能力とを持っているとよい。また、こ
れらの装置は、内蔵ディスプレイ画面及びユーザ入力制
御装置を含んでいてもよい。ユーザ入力制御装置とは、
例えば、押しボタン制御装置や、ポインティングデバイ
ス制御装置や、キーボード等のことである。現時点での
好ましい実施形態では、各装置は、そのネットワークへ
の接続とは独立に動作するように形成されている。従っ
て、何らかの理由で、ネットワークのサービスが停止し
たとしても、これらの装置は、それまで通り、それぞれ
の機能を遂行するであろう。その後、ネットワークが、
元のサービスが稼働している状態に戻ると、それらの装
置は、できれば、通信が停止した時に記録された状態に
基づいて、お互いを更新するために、お互いに通信する
ことができるとよい。
【００２２】本発明によれば、音声認識及び自然言語対
話システムが提供され、ユーザが、自然言語の音声を用
いて、ネットワークに接続された様々な装置及びシステ
ムと通信することが可能になっている。実例として、音
声認識及び自然言語対話システムが、符号30に図示され
ている。このシステム 30 は、図１においては、ネット
ワーク 10 に接続されたものとして示されている。これ
は、単に、システム 30 の音声認識及び自然言語対話処
理サービスが、ネットワーク 10 を介して通信する装
置、器具、及び他のシステムで利用可能とされているこ
とを、実例を用いて説明するためのものである。従っ
て、システム 30 は、物理的には、ホームゲートウェイ
12 の中に組み込まれていてもよいし、ネットワークを
介して通信する他の装置、器具、コンピュータ、オート
メーションシステム、及び、他のシステムのうちのいず
れかの中に組み込まれていてもよい。それに加えて、あ
るいは、その代りに、システム 30 によって提供される
機能が、インターネット 14 から得られるコンポーネン
ト(components)によって実現されるものであってもよ
い。例えば、これらのコンポーネントが、オンデマンド
で（要求に応じて）、インターネット 14 からホームゲ
ートウェイ 12 内にダウンロードされるものであっても
よい。
【００２３】好ましい実施形態における、音声認識及び
自然言語処理システム 30 は、入力音声が供給される１
つ以上のマイクロフォン 32 を備えている。これらは、
防騒音型マイクロフォンであってもよく、かつ、物理的
には、様々な位置、例えば、ネットワーク 10 を介して
通信する構成要素のいずれかの内部に配置されていても
よい。マイクロフォンへの入力は、音声入力処理モジュ
ール 34 に供給され、ここで、入力音声はデジタル化さ
れ、音声認識装置 36 が必要とする形式に変換される。
一般に、家庭環境には、多くのにせのバックグラウンド
ノイズがあるので、音声入力処理モジュール 34 は、音
声の開始及び終了を検出するための処理部を有してい
て、これにより、人間の音声の特性に合わないバックグ
ラウンドノイズ成分を遮断する。
【００２４】音声認識装置 36 は、予め調整され、もし
くは適合された複数の音声モデル 38 のセットを有して
いて、これらの音声モデルは、話された発声をテキスト
の形式または記号の形式に変換するために、前記認識装
置によって用いられる。一実施形態においては、前記音
声モデル 38 は、話者に依存しない、連続的な音声モデ
ルであり、単語及び熟語の豊富な語いを、テキストまた
は記号の形式に変換することが可能なものである。要望
があれば、このシステムは、このシステムを使う予定の
話者の発声に基づく調整または適合化によって、音声モ
デル 38 を更新可能なものとしてもよい。そのような場
合には、この音声モデルは、話者に依存し、かつ適合し
たモデルに修正される。
【００２５】音声認識装置 36 の出力は、自然言語対話
モジュール 40 に供給される。このモジュールの構成及
び動作を、以下で更に十分に説明する。自然言語対話モ
ジュールは、符号42に集合的に示され、かつ符号44、4
6、48及び50に個別的に示された複数の電子作業ガイド
のセットと共に機能する。更に十分に説明するが、これ
らの電子作業ガイドは、自然言語対話モジュールの分野
を特定するのに役立ち、音声認識装置 36 から前記対話
モジュールに伝送されたテキストまたは記号表現から、
意味内容(semantic content)すなわち意味(meaning)を
抽出することを可能にする。多種多様な構成要素、装
置、器具、システム等との対話を扱うことが可能な、グ
ローバルな電子作業ガイドを設けることも可能ではある
が、現時点での好ましい実施形態においては、それぞれ
の装置のために、別々の電子作業ガイドを用いている。
各装置のために電子作業ガイドを分割すると、システム
を設計する際の、このガイドのプログラミング及びトラ
ブルシューティングがより容易になる。
【００２６】自然言語対話モジュールは、テキストから
音声を合成するテキスト−音声合成器 52 に接続されて
いて、このテキスト−音声合成器 52 は、さらに、符号
54に図示したスピーカを有する適当なオーディオシステ
ムにも接続されている。テキスト−スピーチ合成器は、
自然言語による対話の一部として、ユーザに、音声によ
る助言を与える。テキスト−スピーチ合成器 52 は、テ
キストの内容を、耳で聞くことができる合成音声の形式
で再生するので、ユーザは、情報を入手するために、デ
ィスプレイの画面を見る必要はない。自然言語対話モジ
ュールは、ユーザの入力音声の意味内容(semantic cont
ent)すなわち意味(meaning)を確かめ、ネットワーク 10
を介して通信している、対応する装置に適切な命令を
与える。
【００２７】現時点での好ましい実施形態における認識
及び自然言語システムを図２に示す。ユーザからの入力
音声は、適当なオーディオインターフェース及びデジタ
イザを介して音声認識モジュール 110 に供給される。
音声認識モジュール 110 の出力は、自然言語パーサー
112 に供給される。このパーサーは、このパーサーが解
釈可能なものの意味規則を定義した文法 114 のセット
と共に機能する。パーサーの詳細を、以下で、更に十分
に説明する。しかしながら、本質的に、このパーサー
は、目的指向型の原理に基づいて動作し、認識されたス
ピーチから、キーワード及びフレーズを割り出す。そし
て、これらの認識されたワード（単語）及びフレーズ
（熟語）を用いて、予め定義されたテンプレートまたは
フレーム内のスロットを埋めるが、これは、別の目的指
向型のタスクを表している。
【００２８】このパーサーは、また、電子作業ガイド
( EAG ) の意味表現と共に機能する。図２においては、
意味表現は、符号116に格納される。EAG は、文法 114
内にマッピングされる。そして、自然言語パーサーは、
符号116に格納された意味表現を調べ、システムが、ど
のような選択肢または応答をユーザに対して提示するか
を決定する。システムが、ユーザを、絶えず変化する電
子作業ガイドのデータと連係させることを可能にするた
めに、電子作業ガイドの内容をローカルパーサーの文法
の中にダウンロードもしくは更新するためのメカニズム
が備えられている。この機能は、ガイド−マッピングモ
ジュール 118 によって実現される。このマッピングモ
ジュールは、符号120に木構造として図示されたEAGをダ
ウンロードし、ガイドの内容を、ローカルパーサーの文
法の中にマッピングする。ガイド−マッピングモジュー
ルは、電子作業ガイドの全体構造の演繹的な知識を有し
ている。従って、マッピングモジュールは、例えば、テ
レビもしくはビデオレコーダに対応する電子作業ガイド
が、映画、スポーツ、ニュース、天気予報等のために別
々の分野を有していることを認識している。そして、マ
ッピングモジュールは、この演繹的な知識を用いて、電
子作業ガイドの中間及びリーフ(leaf)ノードで見つけた
情報を文法の中にマッピングする。例えば、映画に対応
する意味表現は、コメディ、ドラマ、ＳＦのような異な
るタイプの映画に対応するスロットや、監督の名前のた
めのスロットや、俳優の名前のためのスロット等を有し
ている。例えば、冷蔵庫の中身の意味表現は、様々なタ
イプの食品の品目に対応するスロットを有している。
【００２９】時々、電子作業ガイドの全体構造は変化す
る。これは、例えば、新しい構成要素がネットワークに
追加されるときに起こる。システムは、このような変化
に適応するように構成されており、マッピングモジュー
ル更新装置 122 を有している。このモジュール更新装
置には、ネットワークや、インターネットや、もしくは
他の遠隔通信のリンクを介して、最新情報が供給され
る。もし電子作業ガイドの全体構造が変化したら、プロ
グラムガイド−マッピングモジュールは、もはや全ての
ガイドの内容を正しくマッピングしないので、このマッ
ピングモジュールは、更新装置 122 によって更新され
る。この更新は、追加のプラグインモジュールの形であ
ってもよいし、あるいは完全に新しいバージョンのマッ
ピングモジュールの形であってもよい。
【００３０】このシステムの１つの目的は、ネットワー
クを介して通信する装置間の連係を簡単にすることであ
る。このシステムは、ユーザが話した要求の意味規則に
基づいて、電子作業ガイド内で見つかった情報をフィル
タリングすることによって、上記を実現する。ユーザと
の対話から、直ちに、ユーザが感心を持っている情報に
関する１つの作業あるいは項目を割り出すことができる
場合もあるが、多くの場合には、ユーザが何を行おうと
しているのかを割り出すために、一連の対話が必要にな
る。
【００３１】これを容易にするために、好ましい実施形
態においては、対話マネージャ 124が用いられている。
この対話マネージャ 124 は、自然言語パーサー 112 を
用いて、ユーザの要求をかみくだき、画面上に表示され
るか、あるいは合成音声によって提示される、意味をな
すものにする。対話マネージャは、予め、システムの表
示能力に関する情報を記憶しているので、画面上でユー
ザに提示する適切な量の情報を決めることができる。例
えば、１つの要求に応じて５０本の映画の選択肢をユー
ザに提示するのは、画面の解像度やフォントの高さの制
限があるので、画面上に容易に表示するには多すぎる。
一方、与えられた要求に応じて２本のプログラムのみを
割り出せば、対話マネージャは、ユーザから追加の問い
合わせを引き出して、ユーザが更に多くの情報を見たい
かどうかを突き止めることができるかもしれない。
【００３２】電子作業ガイドの意味表現を用いることに
よって、システムは、電子プログラムガイド 120 に含
まれている情報のフィルタリングを遂行する。この機能
は、図２においては、フィルタモジュール 126 として
図示されている。
【００３３】対話マネージャは、特性データ記憶装置 1
28 と共に機能する。このデータ記憶装置は、例えば、
そのユーザが以前に何を要求したかといったデータのよ
うな、ユーザ特性情報を記憶している。この情報は、例
えば、対話マネージャ及び対応するフィルタリング機能
が、そのユーザが興味を持っている可能性がある情報、
あるいは持っていない可能性がある情報をつきとめる際
の規準として用いられる。例えば、そのユーザが、前の
夜に、特定のプログラムを見たならば、この事実は、デ
ータ記憶装置 128 内に記憶され、対話マネージャは、
次の夜に、このプログラムを表示することを控えること
ができる。同様に、そのユーザが、ディナーにホウレン
ソウのシチューを選択することを、いつも拒否するよう
であれば、対話マネージャは、今後、この選択肢の提示
を控えるであろう。また、前記特性データ記憶装置を、
そのユーザが、どの程度の量の情報が、画面に表示され
るか、あるいは合成音声によって提示されることを望む
かについての、そのユーザの好みを記憶するために用い
ることもできる。特定のユーザのための特性データは、
話者の検証あるいは鑑定を用いて選択されてもよい。こ
の点に関して、認識システムは、各ユーザにおける、特
有の、もしくは識別している音声特性を記憶する。それ
以降、そのユーザが入力音声を供給すると、システム
は、音声特性に基づく話者鑑定を行うことによって、話
者を識別するか、あるいは、スピーチ特性に基づく話者
検証を行うことによって、話者から提供された身元を証
明することができる。
【００３４】自然言語パーサー 112 は、電子作業ガイ
ドの意味表現と共に、音声認識システムの中心部を形成
している。好ましい自然言語パーサーの詳細を説明す
る。
【００３５】図３に、自然言語パーサー 112 の構成要
素を、より詳細に示す。特に、音声認識モジュール 228
は、所定の該当するタスクに関連する断片を割り出す
ためのローカルパーサー 260 を有している。音声認識
モジュール 228 は、また、話者の要求の全体の意味規
則を抽出するためのグローバルパーサー 262 も有して
いる。
【００３６】好ましい実施形態におけるローカルパーサ
ー 260 は、パース(parse)の仮説を提供するための、そ
れぞれのパス(passes)と、独特の得点メカニズムとに沿
った、小さな複数の文法を使用する。例えば、新たなロ
ーカルパーサー 260 は、このアプローチフレーズ、例
えば、日付、人名、映画のカテゴリー、食品のカテゴリ
ー等によって認識を行う。もし、話者が、ホームエンタ
ーテイメントシステムに向かって、「メル ブルックス
主演で、１月２３日以前に放映されるコメディを録画し
て下さい。」と発言したら、ローカルパーサーは、「コ
メディ」を映画のカテゴリーとして認識し、「１月２３
日」を日付として認識し、かつ「メルブルックス」を俳
優として認識する。グローバルパーサーは、これらの項
目（映画のカテゴリー、日付等）を組み合わせ、話者
が、所定の制約がある映画の録画を望んでいることを認
識する。
【００３７】音声認識モジュール 228 は、ある分野の
意味規則（すなわち、到達すべき目標）を符号化する知
識データベース 263 を有している。この意味で、知識
データベース 263 は、好ましくは、符号265に図示され
たような、分野特有のデータベースであり、対話マネー
ジャ 230 によって、所定の目標への到達に対応する特
定の動作が可能であるかどうかを決定するために用いら
れる。
【００３８】好ましい実施形態においては、フレームデ
ータ構造 264 を介して意味規則が符号化される。フレ
ームデータ構造 264 は、空のスロット 266 を有してい
て、この空のスロット 266 は、グローバルパーサー 26
2 の意味解釈がフレームに合致したとき、埋められる。
例えば、（分野がチューナーのコマンドである）フレー
ムデータ構造は、ある時間帯において視聴者が要求する
チャンネルを指定するための空のスロットを有してい
る。もし、視聴者がチャンネルを提示したならば、空の
スロットは、その情報で埋められる。しかしながら、特
定のフレームが、視聴者が初めに要求を提示した後に、
埋められる必要がある場合には、対話マネージャ 230
は、応答モジュール 234 に指示して、視聴者に所望の
チャンネルを提示するように要求させる。応答モジュー
ル 234 は、テキスト−音声合成器を有していてもよ
い。
【００３９】フレームデータ構造 264 は、好ましく
は、複数のフレームを有していて、その各々は、さら
に、複数のスロットを有している。テレビのチューニン
グの例においては、１つのフレームは、映画の属性、監
督、及び映画のタイプ向けのスロットを有していてもよ
い。別のフレームは、その映画が上演されている場所
や、チャンネル等に関する属性向けのスロットを有して
いるかもしれない。
【００４０】以下の参照は、グローバルパーサー及びフ
レームについて論じている。: R. Kuhn and R. D. Mon,
Spoken Dialogues with Computers (Chapter 14: Sent
enceInterpretation), Academic Press, Boston (1998)
【００４１】対話マネージャ 230 は、話者に情報を要
請する前に空のスロットを埋める際の支援を行う対話履
歴データファイル 267 を用いる。対話履歴データファ
イル267 は、本発明の装置を介して行われた会話のログ
を収録する。例えば、話者が、今夜のディナーが４人分
であることを話したとする。すると、対話マネージャ23
0 は、対話履歴データファイル 267 内に、人数の記録
を格納する。それ以降、もし、その話者が、「今夜はバ
ーベキューを作りたい。」と発言したら、対話マネージ
ャ 230 は、冷蔵庫に対応するデータベースを調べ、ど
の品目が利用可能であるかを明らかにする。そして、対
話マネージャ 230 は、対話履歴データファイル 267 を
用いて、４人分の利用可能なポークチョップがあるとい
う理由により、「ポークチョップ」を勧めるかもしれな
い。もし、利用可能なチキンが１人分のみであれば、対
話マネージャは、対話履歴に基づいて、チキンを勧めな
いであろう。十分な数のスロットが埋められると、本発
明は、話者に、メニューの選択を検証(verify)して確認
(confirm)するように要請するであろう。従って、も
し、対話履歴データファイル 267 を用いて対話マネー
ジャ 230 が定めた、いずれかの仮定が、誤っているこ
とが分かったら、話者は、ここで、この仮定を訂正する
ことができる。
【００４２】自然言語パーサー 112 は、対話あるいは
音声認識システムに用いられる自動音声認識システム
( ASR ) の出力として生成される、緩い構造の自然言語
のテキストから、意味的に重要で有意義な話題を分析し
て抽出する。自然言語パーサー 112 は、自然言語のテ
キストを、話題情報及びデータを含む厳格に構造化され
たタグを生成し、各々のタグをタグが付けられる情報を
含む入力テキストのセグメントと結び付けることによっ
て、新しい表現に変換する。更に、タグは、別途のリス
トあるいは意味フレームのような他の形式で生成されて
もよい。
【００４３】自然言語パーサー 112 の特徴は、入力が
文法的に誤った英語の文を含んでいてもよいように、耐
性が強いことである。その理由は、以下の通りである。
認識装置への入力が、カジュアルな対話スタイルなの
で、音声入力が正しいと考えられる時でさえも、自然な
音声は、文法に反した文、不完全な熟語、及び、挿入、
省略、または、音声認識装置によるエラーの誤認識を含
んでいる可能性がある。自然言語パーサー 112 は、全
てのタイプの入力に、強い耐性で対処し、可能な限り多
くの情報を抽出する。ここでは例として英語が挙げられ
ているが、本発明は、いかなる言語にも適用することが
できる。
【００４４】図４に、自然言語パーサー 112 の新しい
ローカルパーサー 260 の様々な構成要素を示す。自然
言語パーサー 112 は、好ましくは、定点評価として、
マルチパスアプローチ(multi-pass approach)におい
て、一般化されたパース（構文解析）技法を利用する。
各々の話題(topic)は、曖昧さを許容する、文脈に敏感
なＬＲ（左−右、及び、最も右の派生）文法として記述
される。下記のものは、文脈に敏感なＬＲ文法 に関す
る参照である。: A. Aho and J. D. Ullman, Principle
s of Compiler Design, Addison Wesley Publishing C
o., Reading, Massachusetts (1977); 及び N. Tomita,
Generalized Parsing, Kluwer Academic Publishers,
Boston, Massachusetts (1991)
【００４５】評価の各々のパスにおいて、それぞれのタ
ーゲットの話題とは関係なく、一般化されたパース（構
文解析）アルゴリズムが、全ての可能性がある（完全
な、または不完全な、 ) パースツリー(parse trees)を
生成するために用いられる。各々のパスは、もしかする
と、いくつかの代替のパースツリーを生成するかもしれ
ない。各々のパースツリーは、ことによると、ある特定
の話題に対して異なる解釈を表現するかもしれない。好
ましくは並列で独立した道を通る複数のパスは、実質的
に、曖昧さ、及び、異なる話題との間の重複を除去す
る。一般的なパースアルゴリズム(parsing algorithm)
は、可能性がある全てのパースツリーを評価する体系化
された方法であるので、システム内に存在する文脈上の
情報を利用して、Ｎ個の最良の候補を選択する。
【００４６】ローカル パース システム 260 は、語彙
分析 320 と、それぞれの話題のための並列なパースフ
ォレストの生成（例えば、生成器 330 及び 332 ）と、
概略、符号 334 によって示されたような、構文解析さ
れた要素の分析及び合成との３段階を実行する。
【００４７】語彙分析：話者が発したフレーズは、自動
音声認識装置 317 によって認識され、この自動音声認
識装置 317 は、入力文 318 を生成する。語彙分析段階
320 は、語彙フィルタ 326 及び 328 を用いて、入力
文 318 中の話題（これは広範囲な文法を必要としな
い）のためのタグを確認して生成する。これらは、例え
ば、ホームエンターテイメントへの適用においては、映
画の題名、映画のカテゴリ、監督、男優及び女優の名前
を含んでいる。前記の典型的なタグに関連したキーワー
ドを用いる、入力文 318 の通常表現の走査は、一般
に、このレベルで十分である。また、特別な文法の語彙
の一部ではない、入力文中の単語へのタグ付けは、この
段階で行われる。これらの単語は、Ｘタグを用いて示さ
れるので、そのようなノイズ単語は、文字「Ｘ」に置き
換えられる。
【００４８】並列なパースフォレストの生成：パーサー
112 は、各話題を別々に記述及び構文解析するための
高水準の通常パース（構文解析）方針を用いて、タグを
生成し、入力の流れに対して、それらをマッピングする
（割り当てる）。構造化されていない入力テキスト 318
の性質のため、個々の話題のパーサーは、好ましく
は、重要な単語以外の全てを無視し、挿入及び削除エラ
ーに対処して、できる限り広範な言語を受け入れる。そ
れぞれの話題のパース（構造解析）は、LRパースの中で
用いられるものに、かなり似た、メタ(meta)レベルの仕
様言語を用いる、文脈に敏感な文法規則を含んでいる。
文法の例は、文法 A 340 、及び、文法 B 342 を含んで
いる。本発明のアプローチを用いて、話題の文法 340
及び 342 は、それらがLR型の文法であるかのように、
重複を含んで、ずれを除去せずに、矛盾を減少させて、
記述される。入力文の構造解析の結果は、文法仕様に基
づく、可能性がある構造解析の全てである。
【００４９】生成器 330 及び 332 は、それらの話題の
ために、パースフォレスト 350 及び 352 を生成する。
タグの生成は、パース（構造解析）の間に得られるパー
スツリーの中で発見される、実際の情報を合成すること
によって行われる。タグの生成は、タグ及び得点生成器
360 及び 362 によって達成され、それぞれ、タグ364
及び 366 を生成する。それぞれの識別されたタグは、
また、入力文中のどの単語の組（セット）がタグによっ
てカバーされたかについての情報も有している。続い
て、タグは、そのカバー−セットと入れ替わる。好まし
い実施形態においては、文脈情報 367 が、生成器 360
及び 362 によるもののような、タグ及び得点生成のた
めに利用される。文脈情報 367 は、以下で説明する発
見的得点要因技法(heuristic scoring factor techniqu
e)と関連する重みを調節するために、発見的方法の評価
(scoring heuristics)において利用される。文脈情報 3
67は、好ましくは、単語信用ベクトル 368 、及び、対
話文脈重み 369 を含んでいる。しかしながら、パーサ
ー 112 が、単語信用ベクトル 368 、及び、対話文脈重
み369 の両方を用いるものに限定されず、一方を用いて
他方を用いないものや、文脈情報 367 を利用しないも
のも含まれることは、理解されるべきである。
【００５０】自動音声認識処理ブロック 317 は、単語
信用ベクトル 368 を生成し、それは、どれほど良く、
入力文 318 中の単語が認識されたかを示す。対話マネ
ージャ230 は、対話の状態を見極めることによって、対
話文脈重み 369 を生成する。例えば、対話マネージャ
230 は、ユーザに、例えば、どの視聴時間が望ましい
か、といった、特定の話題について尋ねる。この要求に
よって、対話マネージャ230 は、対話の状態が時間指向
であるものと見極める。対話マネージャ 230 は、検出
された時間指向の単語を、更に大きく重み付ける、適切
な処理を通知するために、対話文脈重み 369 を供給す
る。
【００５１】タグ要素の合成：前の段階の、話題を見分
けるパーサーは、ローカルパーサーの最終的な出力を形
成するために、分析され、かつ共に結合される必要があ
る情報を、かなりの量、生成する。パーサー 112 は、
好ましくは、複数のタグの候補の生成をもたらす、各々
の話題を見分ける際に、できる限り「攻撃的」であった
方がよい。その上、数字または所定のキーワード、例え
ば「間」、「前」、「そして」、「あるいは」、「あた
り」等があり、特に、これらの単語が、認識エラーのた
めに、差し込まれるか、あるいは落とされたならば、多
くの代替タグ候補を形成することが可能である。例え
ば、入力文は、挿入または削除エラーを有している可能
性がある。結合段階では、どのタグが、より意味がある
入力の解釈を形成するかを見極める。パーサー 112
は、発見的方法(heuristics)を定義し、これに基づい
て、Ｎ個の最良候補選択手順を用いて、選択を行う。そ
れぞれの生成されたタグは、入力された単語の列の中
の、タグのカバー−セットと呼ばれる単語の組に対応す
る。
【００５２】タグのカバー−セットを考慮に入れる発見
的方法は、得点を生成するために用いられる。得点は、
おおよそ、カバー−セットのサイズ、カバーされた項目
の中の、いくつかの単語の隔たりの大きさ、及び、所定
のキーワードの存在に対して割り当てられた重みによ
る。好ましい実施形態においては、ＡＳＲから得られた
信用ベクトル及び対話文脈情報が、優先順位をタグに割
り当てるために利用される。例えば、チャンネル−タグ
のパース（構文解析）の適用は、初めに、チャンネルに
関する数字を取り除くかもしれない。それは、入力の流
れから、一意に識別することが容易であり、他のタグに
よって曖昧さを引き起こす原因となる数字を、ほとんど
残さない。好ましくは、対話文脈情報が、優先順位を調
整するために用いられる。
【００５３】Ｎ個の最良の候補の選択：各パスの終り
に、 Ｎ個の最良プロセッサ 370 は、タグに関する得点
に基づいて、Ｎ個の最良の候補を選択し、そして、対応
するパースツリー内で発見された情報を各々が表す話題
タグを生成する。いったん、話題が、この方法で発見さ
れたならば、入力における対応する単語は、タグ情報に
よって置き換えられる。この置換変換は、現在の入力テ
キストから、対応する単語を削除する。各パスの出力 3
80 は、新たな入力として、次のパスにフィードバック
される。なぜなら、この置換は、競合する文法間の一定
の曖昧さを除去するのに役立つ。もしくは、オーバーラ
ップしているシンボルをフィルタにかけて取り除くこと
によって、より良いパースツリーを生成する助けにな
る。
【００５４】最後のパスにおいて追加のタグが生成され
ないとき、評価は終了する。最後のパスの出力は、グロ
ーバルパーサー 262 に対する、ローカルパーサーの出
力になる。各段階は、その入力中の単語数を減少させる
ことのみを行い、入力テキストの長さは有限であるの
で、定点評価におけるパスの数は、その入力のサイズに
よって、直線的に制限される。
【００５５】後述する新たな得点要因は、以下のパース
ツリーの属性に基づいて、代替パースツリーのランク付
けを行うのに用いられる。 ・終端のシンボルの数 ・終端ではないシンボルの数 ・パースツリーの深さ ・終端のシンボルにおける隔たりの大きさ ・各々の終端のシンボルに対応するＡＳＲ信用度 ・各々の終端のシンボル及び終端ではないシンボルに対
応する文脈−調節可能重み
【００５６】各経路は、独自に展開することが可能な、
別々の話題に対応していて、評価的に安い方法で、少量
のデータで動作することが好ましい。パーサー 112 の
構造は、柔軟な、モジュール方式であるので、新たな話
題のために、あるいは、特定の話題が率直であるために
発見的方法(heuristics)を変更するために、追加の経路
及び文法を組み込むことを可能にする。これは、また、
異なるシステム間で容易に共有可能な、再利用可能な要
素を展開することも可能にする。
【００５７】
【発明の効果】以上より、本発明が、別の見方をすれば
複雑な電子プログラムガイドと連係する、ユーザーフレ
ンドリーで高速な方法を提供することが明らかになっ
た。自然言語による会話を通して、ユーザは、このシス
テムに、プログラムガイド内の情報を見つけるように要
求することができ、また、返される情報は、理解しやす
い部分の中に提示される。その結果は、情報提示の混合
であって、画面上への表示による率直な提示と共に、自
然言語による気軽な対話を提供する。本発明を、現時点
での好ましい形態に沿って説明してきたが、本発明が、
添付した請求項の中で明らかにされた、発明の意図から
はずれることがない変形が可能であることは、理解され
るであろう。
【図面の簡単な説明】
【図１】 インターネットに接続されたコンピュータ
ネットワーク及びホームゲートウェイと共に示された、
本発明の現時点での好ましい実施形態のブロック図であ
る。
【図２】 いかにして、音声認識装置及び自然言語パ
ーサーが、対話マネージャ及び対応する電子作業ガイド
と連係して動作するかを示す、より詳細なブロック図で
ある。
【図３】 現時点での好ましい実施形態における自然
言語パーサーの構成要素を示すブロック図である。
【図４】 現時点での好ましい実施形態におけるロー
カルパーサーの構成要素を示すブロック図である。
【符号の説明】
10 コンピュータネットワーク 12 ゲートウェイ 14 インターネット 16 オーディオ／ビデオ装置 18 器具 20 コンピュータ 22 他のシステム 24 補助装置 30 音声認識及び自然言語処理システム 32 マイクロフォン 34 音声入力処理モジュール 36 音声認識装置 38 音声モデル 40 自然言語対話モジュール 42 電子作業ガイド 44 他のシステム 46 冷蔵庫 48 テレビ 50 ホームオートメーション 52 テキスト−音声合成器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 17/60 １７６ Ｇ１０Ｌ 3/00 ５７１Ｕ Ｇ１０Ｌ 13/00 ５５１Ｇ 15/00 ５５１Ａ 15/18 ５５１Ｓ 15/28 ５３７Ａ 17/00 ５４５Ａ ５１１ Ｒ ５５１Ｎ (72)発明者 ジャン−クロード・ジャンクア アメリカ合衆国・カリフォルニア・ 93110・サンタ・バーバラ・ニューシー ズ・ドライヴ・4543 Ｆターム(参考） 5B075 QP01 5B091 BA19 CB12 CB32 5D015 AA03 AA05 DD02 HH00 KK01 KK04 LL06 LL11 5D045 AB01 AB30

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 ホームネットワークと通信する少なく
    とも１つの家庭用品を有する、前記ホームネットワーク
    のための情報フィルタリングシステムにおいて、 ユーザの入力音声から意味情報を抽出するためのパーサ
    ーを有する音声認識装置と、 少なくとも１つの電子作業ガイドを記憶しているデータ
    記憶装置と、 前記意味情報に基づいて、記憶された電子作業ガイドを
    フィルタリングし、かつ、前記家庭用品に対応する、フ
    ィルタリングされた情報を提供するための対話マネージ
    ャとを具備することを特徴とする情報フィルタリングシ
    ステム。
  2. 【請求項２】 前記家庭用品は、オーディオ／ビデオ
    装置、器具、コンピュータ、ホームオートメーションシ
    ステム、火災報知システム、盗難警報システム、電話シ
    ステム、インターホンシステム、ゲートウェイシステム
    及びインターネットアクセスシステムから成るグループ
    の中から選択されることを特徴とする請求項１に記載の
    システム。
  3. 【請求項３】 前記対話マネージャは、聴覚的あるい
    は視覚的な形式で、ユーザに、前記フィルタリングされ
    た情報を提供することを特徴とする請求項１に記載のシ
    ステム。
  4. 【請求項４】 電子作業ガイドの情報ソースから、前
    記データ記憶装置の内容を更新するために、前記データ
    記憶装置と接続されたマッピングモジュールを更に具備
    することを特徴とする請求項１に記載のシステム。
  5. 【請求項５】 前記ネットワークをインターネットに
    接続するホームゲートウェイモジュールを更に具備し、
    前記フィルタリングシステムは、前記意味情報に基づい
    て、インターネットを介して獲得した情報をフィルタリ
    ングすることを特徴とする請求項１に記載のシステム。
  6. 【請求項６】 複数の家庭用品が前記ネットワークと
    通信していて、前記フィルタリングシステムは、前記複
    数の家庭用品に対応する複数の電子作業ガイドを有して
    いることを特徴とする請求項１に記載のシステム。
  7. 【請求項７】 前記家庭用品は、ユーザが入力音声を
    供給する、対応するマイクロフォンを有していることを
    特徴とする請求項１に記載のシステム。
  8. 【請求項８】 前記家庭用品は、前記対話マネージャ
    が前記フィルタリングされた情報を提示する、対応する
    ディスプレイを有していることを特徴とする請求項１に
    記載のシステム。
  9. 【請求項９】 前記対話マネージャは、ユーザに合成
    音声による情報を提供するための音声合成器を有してい
    ることを特徴とする請求項１に記載のシステム。
  10. 【請求項１０】 前記対話マネージャは、ユーザに合
    成音声による前記フィルタリングされた情報を提供する
    ための音声合成器を有していることを特徴とする請求項
    １に記載のシステム。
  11. 【請求項１１】 前記パーサーは、前記電子作業ガイ
    ド内で表現された情報に対応するスロットを有する複数
    の目的指向型フレームを定義する、目的指向型パーサー
    であることを特徴とする請求項１に記載のシステム 。
  12. 【請求項１２】 前記パーサーは、前記電子作業ガイ
    ド内で表現された情報に対応する所定の文法の組を有す
    る自然言語パーサーであることを特徴とする請求項１に
    記載のシステム。
  13. 【請求項１３】 前記マッピングモジュールは、遠隔
    サイトから獲得した情報に基づいて、前記マッピングモ
    ジュールの機能を更新するためのマッピングモジュール
    更新システムを有していることを特徴とする請求項４に
    記載のシステム。
  14. 【請求項１４】 前記対話マネージャは、前記フィル
    タリングシステムのユーザが過去に使用した表現を記憶
    するためのユーザ特性データ記憶装置を有していて、前
    記対話マネージャは、記憶された電子作業ガイドの表現
    を更にフィルタリングするために、前記特性データ記憶
    装置を用いることを特徴とする請求項１に記載のシステ
    ム。
  15. 【請求項１５】 ユーザ特性データ記憶装置と、前記
    ユーザ特性データ記憶装置にアクセスするための話者検
    証システムとを更に具備することを特徴とする請求項１
    に記載のシステム。
  16. 【請求項１６】 ユーザ特性データ記憶装置と、前記
    ユーザ特性データ記憶装置にアクセスするための話者識
    別システムとを更に具備することを特徴とする請求項１
    に記載のシステム。
JP2002160637A 2001-06-06 2002-05-31 音声認識及び自然言語を用いる家庭活動の自動制御 Expired - Fee Related JP3711089B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/875,740 2001-06-06
US09/875,740 US6513006B2 (en) 1999-08-26 2001-06-06 Automatic control of household activity using speech recognition and natural language

Publications (2)

Publication Number Publication Date
JP2003091298A true JP2003091298A (ja) 2003-03-28
JP3711089B2 JP3711089B2 (ja) 2005-10-26

Family

ID=25366284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002160637A Expired - Fee Related JP3711089B2 (ja) 2001-06-06 2002-05-31 音声認識及び自然言語を用いる家庭活動の自動制御

Country Status (5)

Country Link
US (1) US6513006B2 (ja)
EP (1) EP1265227B1 (ja)
JP (1) JP3711089B2 (ja)
CN (1) CN1213400C (ja)
DE (1) DE60217579T2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079624A (ja) * 2004-09-09 2006-03-23 At & T Corp 自動化されたダイアログシステムからの情報を報告するシステム及び方法
JP2007206886A (ja) * 2006-01-31 2007-08-16 Canon Inc 情報処理装置および方法
CN102722186A (zh) * 2012-06-28 2012-10-10 深圳大学 一种基于语音识别的移动伺服平台及语音控制方法
JP5099367B2 (ja) * 2006-03-10 2012-12-19 日本電気株式会社 要求内容識別システム、自然言語による要求内容の識別方法及びプログラム
JP2014010449A (ja) * 2012-06-27 2014-01-20 Samsung Electronics Co Ltd ディスプレイ装置、ディスプレイ装置の制御方法および対話型システム
KR101838095B1 (ko) * 2013-01-06 2018-03-13 후아웨이 테크놀러지 컴퍼니 리미티드 음성 인식을 위한 방법, 상호 작용 장치, 서버 및 시스템
JP2018528528A (ja) * 2015-08-05 2018-09-27 フェイスブック，インク． デバイス・クラウドの制御
US10522139B2 (en) 2016-10-12 2019-12-31 Qingdao Hisense Electronics Co., Ltd. Electronic device and control method thereof
JP2020042313A (ja) * 2016-01-06 2020-03-19 グーグル エルエルシー 音声認識システム
KR20210010528A (ko) * 2018-10-08 2021-01-27 구글 엘엘씨 스마트 어플라이언스 상태들의 요약 전달
WO2022249509A1 (ja) * 2021-05-27 2022-12-01 有限会社アクアプラネット 記録整理プログラム、記録整理方法、記録整理装置、および、記録媒体

Families Citing this family (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7089218B1 (en) * 2004-01-06 2006-08-08 Neuric Technologies, Llc Method for inclusion of psychological temperament in an electronic emulation of the human brain
US8001067B2 (en) * 2004-01-06 2011-08-16 Neuric Technologies, Llc Method for substituting an electronic emulation of the human brain into an application to replace a human
US7925492B2 (en) 2004-01-06 2011-04-12 Neuric Technologies, L.L.C. Method for determining relationships through use of an ordered list between processing nodes in an emulated human brain
US20070156625A1 (en) * 2004-01-06 2007-07-05 Neuric Technologies, Llc Method for movie animation
US8725493B2 (en) * 2004-01-06 2014-05-13 Neuric Llc Natural language parsing method to provide conceptual flow
US7831930B2 (en) * 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US6513006B2 (en) * 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
JP2001197379A (ja) * 2000-01-05 2001-07-19 Matsushita Electric Ind Co Ltd 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体
DE10002321C2 (de) * 2000-01-20 2002-11-14 Micronas Munich Gmbh Sprachgesteuerte Vorrichtung und System mit einer derartigen sprachgesteuerten Vorrichtung
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
US20020087316A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented grammar-based speech understanding method and system
EP1380153B1 (en) * 2001-04-19 2009-09-02 BRITISH TELECOMMUNICATIONS public limited company Voice response system
US20030023431A1 (en) * 2001-07-26 2003-01-30 Marc Neuberger Method and system for augmenting grammars in distributed voice browsing
US20030078783A1 (en) * 2001-10-18 2003-04-24 Shinichi Yamamoto Method and system for preventing accident
EP1315147A1 (en) * 2001-11-27 2003-05-28 Sony International (Europe) GmbH Method for processing user requests with respect to a network of electronic devices
WO2003058575A1 (en) * 2002-01-08 2003-07-17 Koninklijke Philips Electronics N.V. Controlling application devices simultaneously
US7949513B2 (en) * 2002-01-22 2011-05-24 Zi Corporation Of Canada, Inc. Language module and method for use with text processing devices
US6895379B2 (en) * 2002-03-27 2005-05-17 Sony Corporation Method of and apparatus for configuring and controlling home entertainment systems through natural language and spoken commands using a natural language server
WO2003085511A1 (fr) * 2002-04-09 2003-10-16 Matsushita Electric Industrial Co., Ltd. Systeme fournisseur de parole, serveur, machine client, serveur de gestion fournisseur d'informations et procede fournisseur de parole
US7073193B2 (en) * 2002-04-16 2006-07-04 Microsoft Corporation Media content descriptions
US7640563B2 (en) * 2002-04-16 2009-12-29 Microsoft Corporation Describing media content in terms of degrees
US7062339B2 (en) * 2002-05-09 2006-06-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for communicating between a portable device and a server
US7617511B2 (en) * 2002-05-31 2009-11-10 Microsoft Corporation Entering programming preferences while browsing an electronic programming guide
US20030225777A1 (en) * 2002-05-31 2003-12-04 Marsh David J. Scoring and recommending media content based on user preferences
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7836466B2 (en) 2002-06-06 2010-11-16 Microsoft Corporation Methods and systems for generating electronic program guides
US20040001081A1 (en) * 2002-06-19 2004-01-01 Marsh David J. Methods and systems for enhancing electronic program guides
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
JP4300767B2 (ja) 2002-08-05 2009-07-22 ソニー株式会社 ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体
US7249019B2 (en) 2002-08-06 2007-07-24 Sri International Method and apparatus for providing an integrated speech recognition and natural language understanding for a dialog system
US20040044515A1 (en) * 2002-08-30 2004-03-04 Michael Metcalf Automated natural language inference system
AU2003283391A1 (en) * 2002-11-13 2004-06-03 Bernd Schonebeck Voice processing system, method for allocating acoustic and/or written character strings to words or lexical entries
US20040215634A1 (en) * 2002-12-06 2004-10-28 Attensity Corporation Methods and products for merging codes and notes into an integrated relational database
US7249023B2 (en) * 2003-03-11 2007-07-24 Square D Company Navigated menuing for industrial human machine interface via speech recognition
US7296223B2 (en) * 2003-06-27 2007-11-13 Xerox Corporation System and method for structured document authoring
US20050010416A1 (en) * 2003-07-09 2005-01-13 Gensym Corporation System and method for self management of health using natural language interface
EP1661124A4 (en) * 2003-09-05 2008-08-13 Stephen D Grody PROCESSES AND DEVICES FOR PROVIDING SERVICES THROUGH THE USE OF LANGUAGE IDENTIFICATION
US20080243741A1 (en) * 2004-01-06 2008-10-02 Neuric Technologies, Llc Method and apparatus for defining an artificial brain via a plurality of concept nodes connected together through predetermined relationships
US20070250464A1 (en) * 2004-01-06 2007-10-25 Neuric Technologies, Llc Historical figures in today's society
US7668720B2 (en) * 2004-02-20 2010-02-23 Vangard Voice Systems, Inc. Methodology for voice enabling applications
CA2505329C (en) * 2004-04-26 2013-01-22 General Mills Ip Holdings Ii, Llc Low sugar presweetened dry coated cereals and method of preparation
JP2005321730A (ja) * 2004-05-11 2005-11-17 Fujitsu Ltd 対話システム、対話システム実行方法、及びコンピュータプログラム
WO2006016307A1 (en) * 2004-08-06 2006-02-16 Philips Intellectual Property & Standards Gmbh Ontology-based dialogue system with application plug-and-play and information sharing
KR100695127B1 (ko) 2004-10-08 2007-03-14 삼성전자주식회사 다 단계 음성 인식 장치 및 방법
US7970600B2 (en) * 2004-11-03 2011-06-28 Microsoft Corporation Using a first natural language parser to train a second parser
US8473449B2 (en) * 2005-01-06 2013-06-25 Neuric Technologies, Llc Process of dialogue and discussion
KR100679043B1 (ko) * 2005-02-15 2007-02-05 삼성전자주식회사 음성 대화 인터페이스 장치 및 방법
US20060194181A1 (en) * 2005-02-28 2006-08-31 Outland Research, Llc Method and apparatus for electronic books with enhanced educational features
US20060235701A1 (en) * 2005-04-13 2006-10-19 Cane David A Activity-based control of a set of electronic devices
US20060235698A1 (en) * 2005-04-13 2006-10-19 Cane David A Apparatus for controlling a home theater system by speech commands
US8041570B2 (en) * 2005-05-31 2011-10-18 Robert Bosch Corporation Dialogue management using scripts
US20060277028A1 (en) * 2005-06-01 2006-12-07 Microsoft Corporation Training a statistical parser on noisy data by filtering
US7865478B2 (en) 2005-06-04 2011-01-04 International Business Machines Corporation Based on repeated experience, system for modification of expression and negating overload from media and optimizing referential efficiency
US7774713B2 (en) * 2005-06-28 2010-08-10 Microsoft Corporation Dynamic user experience with semantic rich objects
US7438414B2 (en) 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7620549B2 (en) * 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8265939B2 (en) 2005-08-31 2012-09-11 Nuance Communications, Inc. Hierarchical methods and apparatus for extracting user intent from spoken utterances
EP1934971A4 (en) 2005-08-31 2010-10-27 Voicebox Technologies Inc DYNAMIC LANGUAGE SCRIPTURE
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8620667B2 (en) * 2005-10-17 2013-12-31 Microsoft Corporation Flexible speech-activated command and control
US20070003913A1 (en) * 2005-10-22 2007-01-04 Outland Research Educational verbo-visualizer interface system
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7606700B2 (en) * 2005-11-09 2009-10-20 Microsoft Corporation Adaptive task framework
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US20070106496A1 (en) * 2005-11-09 2007-05-10 Microsoft Corporation Adaptive task framework
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
US7831585B2 (en) * 2005-12-05 2010-11-09 Microsoft Corporation Employment of task framework for advertising
US20070130134A1 (en) * 2005-12-05 2007-06-07 Microsoft Corporation Natural-language enabling arbitrary web forms
US7933914B2 (en) * 2005-12-05 2011-04-26 Microsoft Corporation Automatic task creation and execution using browser helper objects
JP5248867B2 (ja) * 2006-01-31 2013-07-31 本田技研工業株式会社 会話システムおよび会話ソフトウェア
US7996783B2 (en) * 2006-03-02 2011-08-09 Microsoft Corporation Widget searching utilizing task framework
US7657434B2 (en) * 2006-05-30 2010-02-02 Motorola, Inc. Frame goals for dialog system
US7505951B2 (en) * 2006-05-30 2009-03-17 Motorola, Inc. Hierarchical state machine generation for interaction management using goal specifications
US7797672B2 (en) * 2006-05-30 2010-09-14 Motorola, Inc. Statechart generation using frames
US7626572B2 (en) * 2006-06-15 2009-12-01 Microsoft Corporation Soap mobile electronic human interface device
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
DK2066662T3 (da) * 2006-09-21 2013-01-07 Kyorin Seiyaku Kk Serinhydrolaseinhibitorer
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US20080147364A1 (en) * 2006-12-15 2008-06-19 Motorola, Inc. Method and apparatus for generating harel statecharts using forms specifications
US20080165195A1 (en) * 2007-01-06 2008-07-10 Outland Research, Llc Method, apparatus, and software for animated self-portraits
US8078502B2 (en) * 2007-02-01 2011-12-13 International Business Machines Corporation Populating an E-commerce shopping cart and other E-commerce fields based upon content extracted from natural language input
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US8630841B2 (en) 2007-06-29 2014-01-14 Microsoft Corporation Regular expression word verification
US20090018818A1 (en) * 2007-07-10 2009-01-15 Aibelive Co., Ltd. Operating device for natural language input
US8868479B2 (en) 2007-09-28 2014-10-21 Telogis, Inc. Natural language parsers to normalize addresses for geocoding
US8112280B2 (en) * 2007-11-19 2012-02-07 Sensory, Inc. Systems and methods of performing speech recognition with barge-in for use in a bluetooth system
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
JP5049934B2 (ja) * 2008-09-22 2012-10-17 株式会社東芝 対話文生成装置及び方法
US20100088262A1 (en) * 2008-09-29 2010-04-08 Neuric Technologies, Llc Emulated brain
TWI383752B (zh) 2008-10-28 2013-02-01 Ind Tech Res Inst 結合語音辨識功能之食品製造裝置
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
DE102009011395A1 (de) * 2009-03-03 2010-09-09 Rohde & Schwarz Gmbh & Co. Kg System zur sprachgesteuerten Steuerung von Messgeräten
US8463720B1 (en) 2009-03-27 2013-06-11 Neuric Technologies, Llc Method and apparatus for defining an artificial brain via a plurality of concept nodes defined by frame semantics
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8380520B2 (en) 2009-07-30 2013-02-19 Industrial Technology Research Institute Food processor with recognition ability of emotion-related information and emotional signals
US8560311B2 (en) * 2009-09-23 2013-10-15 Robert W. Williams System and method for isolating uncertainty between speech recognition and natural language processing
US9502025B2 (en) 2009-11-10 2016-11-22 Voicebox Technologies Corporation System and method for providing a natural language content dedication service
US9171541B2 (en) 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
CN102132945B (zh) * 2010-01-21 2014-04-02 财团法人工业技术研究院 结合语意辨识功能的食品制造装置
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9342500B2 (en) * 2010-03-15 2016-05-17 Michael V. Liguori Object memory management system
CN102237087B (zh) 2010-04-27 2014-01-01 中兴通讯股份有限公司 语音控制方法和语音控制装置
KR20120066180A (ko) * 2010-12-14 2012-06-22 한국전자통신연구원 시맨틱 홈 네트워크 관리 시스템, 시맨틱 홈 네트워크 관리를 위한 클라우드 추론 장치, 시맨틱 홈 네트워크, 시맨틱 홈 네트워크 접속 장치
CN102075797A (zh) * 2010-12-29 2011-05-25 深圳市同洲电子股份有限公司 一种语音浏览频道或节目的方法及数字电视接收终端
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
JP5758713B2 (ja) * 2011-06-22 2015-08-05 株式会社日立製作所 音声合成装置、ナビゲーション装置および音声合成方法
DE102011109932B4 (de) * 2011-08-10 2014-10-02 Audi Ag Verfahren zum Ansteuern funktioneller Einrichtungen in einem Fahrzeug bei Sprachbefehl-Bedienung
EP2754286B1 (en) * 2011-09-06 2018-05-02 Savant Systems LLC Integrated private branch exchange and device control system
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
TWI528760B (zh) 2011-12-22 2016-04-01 萬國商業機器公司 用於在無線感測網路中路由資料的方法
CN103297389B (zh) * 2012-02-24 2018-09-07 腾讯科技（深圳）有限公司 人机对话方法及装置
US9317605B1 (en) 2012-03-21 2016-04-19 Google Inc. Presenting forked auto-completions
FR2989209B1 (fr) * 2012-04-04 2015-01-23 Aldebaran Robotics Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot
US9431012B2 (en) * 2012-04-30 2016-08-30 2236008 Ontario Inc. Post processing of natural language automatic speech recognition
US9093076B2 (en) 2012-04-30 2015-07-28 2236008 Ontario Inc. Multipass ASR controlling multiple applications
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9734839B1 (en) * 2012-06-20 2017-08-15 Amazon Technologies, Inc. Routing natural language commands to the appropriate applications
US9053708B2 (en) * 2012-07-18 2015-06-09 International Business Machines Corporation System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9922646B1 (en) 2012-09-21 2018-03-20 Amazon Technologies, Inc. Identifying a location of a voice-input device
US8473300B1 (en) * 2012-09-26 2013-06-25 Google Inc. Log mining to modify grammar-based text processing
US20140156281A1 (en) * 2012-12-03 2014-06-05 Qualcomm Incorporated Voice-controlled configuration of an automation system
US20140195233A1 (en) * 2013-01-08 2014-07-10 Spansion Llc Distributed Speech Recognition System
KR102112742B1 (ko) * 2013-01-22 2020-05-19 삼성전자주식회사 전자장치 및 그 음성 처리 방법
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9646606B2 (en) 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
KR101834546B1 (ko) * 2013-08-28 2018-04-13 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
CN103474071A (zh) * 2013-09-16 2013-12-25 重庆邮电大学 嵌入式便携语音控制器及语音识别的智能家居系统
US10089976B2 (en) * 2013-10-14 2018-10-02 Honeywell International Inc. Building automation systems with voice control
USRE49284E1 (en) 2013-10-17 2022-11-08 Panasonic Intellectual Property Corporation Of America Method for controlling cordless telephone device, handset of cordless telephone device, and cordless telephone device
JP6309382B2 (ja) * 2013-10-17 2018-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ コードレス電話機器の制御方法、コードレス電話機器の子機及びコードレス電話機器
US10832005B1 (en) * 2013-11-21 2020-11-10 Soundhound, Inc. Parsing to determine interruptible state in an utterance by detecting pause duration and complete sentences
US10162813B2 (en) 2013-11-21 2018-12-25 Microsoft Technology Licensing, Llc Dialogue evaluation via multiple hypothesis ranking
CN104700831B (zh) * 2013-12-05 2018-03-06 国际商业机器公司 分析音频文件的语音特征的方法和装置
US10846112B2 (en) 2014-01-16 2020-11-24 Symmpl, Inc. System and method of guiding a user in utilizing functions and features of a computer based device
US20150286486A1 (en) * 2014-01-16 2015-10-08 Symmpl, Inc. System and method of guiding a user in utilizing functions and features of a computer-based device
EP2933796B1 (en) * 2014-04-17 2018-10-03 Softbank Robotics Europe Executing software applications on a robot
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9703616B2 (en) 2014-08-05 2017-07-11 International Business Machines Corporation Executing a command on an optimal smart device
EP3180782A1 (en) * 2014-08-13 2017-06-21 Thomson Licensing Emergency alert system (eas) atsc alarms
US10019889B2 (en) 2014-08-13 2018-07-10 Thomson Licensing Enhanced detection devices using consumer communication devices for additional notifications
EP3195145A4 (en) 2014-09-16 2018-01-24 VoiceBox Technologies Corporation Voice commerce
WO2016044321A1 (en) 2014-09-16 2016-03-24 Min Tang Integration of domain information into state transitions of a finite state transducer for natural language processing
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
WO2016061309A1 (en) 2014-10-15 2016-04-21 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US20160125721A1 (en) * 2014-10-29 2016-05-05 Verizon Patent And Licensing Inc. Alerting users when a user device is dropped
KR20160056548A (ko) * 2014-11-12 2016-05-20 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
CN104360664A (zh) * 2014-11-25 2015-02-18 智房科技股份有限公司 家居生活智能化控制系统
US10614799B2 (en) 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
EP3079372A1 (en) * 2015-04-10 2016-10-12 Thomson Licensing Tv control by natural language input
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10412160B2 (en) 2015-08-05 2019-09-10 Facebook, Inc. Controlling a device cloud
US10425392B2 (en) 2015-08-05 2019-09-24 Facebook, Inc. Managing a device cloud
US10348798B2 (en) * 2015-08-05 2019-07-09 Facebook, Inc. Rules engine for connected devices
US10567479B2 (en) * 2015-08-05 2020-02-18 Facebook, Inc. Managing a device cloud
US10339916B2 (en) 2015-08-31 2019-07-02 Microsoft Technology Licensing, Llc Generation and application of universal hypothesis ranking model
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10018977B2 (en) 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
CN105185378A (zh) * 2015-10-20 2015-12-23 珠海格力电器股份有限公司 声控方法、声控系统及能够进行声控的空调
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
CN107404567A (zh) * 2016-05-19 2017-11-28 美的集团股份有限公司 通过语音盒控制移动终端的方法和系统
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
WO2018023106A1 (en) 2016-07-29 2018-02-01 Erik SWART System and method of disambiguating natural language processing requests
CN107765838A (zh) * 2016-08-18 2018-03-06 北京北信源软件股份有限公司 人机交互辅助方法及装置
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11354089B2 (en) * 2016-12-09 2022-06-07 Robert Bosch Gmbh System and method for dialog interaction in distributed automation systems
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN107221328B (zh) * 2017-05-25 2021-02-19 百度在线网络技术（北京）有限公司 修改源的定位方法及装置、计算机设备及可读介质
US10546023B2 (en) 2017-10-03 2020-01-28 Google Llc Providing command bundle suggestions for an automated assistant
CN108039172A (zh) * 2017-12-01 2018-05-15 Tcl通力电子（惠州）有限公司 智能蓝牙音箱语音交互方法、智能蓝牙音箱及存储介质
US11182122B2 (en) 2017-12-08 2021-11-23 Amazon Technologies, Inc. Voice control of computing devices
US10503468B2 (en) * 2017-12-08 2019-12-10 Amazon Technologies, Inc. Voice enabling applications
US10991369B1 (en) * 2018-01-31 2021-04-27 Progress Software Corporation Cognitive flow
KR20230136696A (ko) 2018-05-07 2023-09-26 구글 엘엘씨 자동 어시스턴트 루틴에 포함을 위한 자동 어시스턴트 액션 추천
US10607610B2 (en) 2018-05-29 2020-03-31 Nortek Security & Control Llc Audio firewall
DE102018213024A1 (de) * 2018-08-03 2020-02-06 Robert Bosch Gmbh Verfahren zur Sprachbedienung zumindest eines elektronischen Gerätes, insbesondere eines Hausgerätes eines Haushalts, sowie System
US10885904B2 (en) 2018-11-21 2021-01-05 Mastercard International Incorporated Electronic speech to text conversion systems and methods with natural language capture of proper name spelling
CN113168829A (zh) * 2018-12-03 2021-07-23 谷歌有限责任公司 语音输入处理
US10856041B2 (en) * 2019-03-18 2020-12-01 Disney Enterprises, Inc. Content promotion using a conversational agent
CA3190074A1 (en) * 2020-08-19 2022-02-24 Wayne M. KENNARD System and method for generating decision confidence index scores and bias assessment scores for interactive decision-making
US20220108695A1 (en) * 2020-10-01 2022-04-07 Arris Enterprises Llc System and method for controlling a media device to provide an improved sonic environment for the reception of a voice command

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5887120A (en) * 1995-05-31 1999-03-23 Oracle Corporation Method and apparatus for determining theme for discourse
US5890123A (en) * 1995-06-05 1999-03-30 Lucent Technologies, Inc. System and method for voice controlled video screen display
US5832439A (en) * 1995-12-14 1998-11-03 U S West, Inc. Method and system for linguistic command processing in a video server network
WO1997048230A1 (en) * 1996-06-13 1997-12-18 Starsight Telecast, Inc. Method and apparatus for searching a guide using program characteristics
US5893064A (en) * 1997-05-14 1999-04-06 K2 Interactive Llc Speech recognition method and apparatus with voice commands and associated keystrokes
EP0895396A3 (en) * 1997-07-03 2004-01-14 Texas Instruments Incorporated Spoken dialogue system for information access
EP0911808B1 (en) * 1997-10-23 2002-05-08 Sony International (Europe) GmbH Speech interface in a home network environment
US6199067B1 (en) * 1999-01-20 2001-03-06 Mightiest Logicon Unisearch, Inc. System and method for generating personalized user profiles and for utilizing the generated user profiles to perform adaptive internet searches
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
US6314398B1 (en) * 1999-03-01 2001-11-06 Matsushita Electric Industrial Co., Ltd. Apparatus and method using speech understanding for automatic channel selection in interactive television
EP1045374B1 (en) * 1999-04-13 2010-08-11 Sony Deutschland GmbH Merging of speech interfaces for concurrent use of devices and applications
US6324512B1 (en) * 1999-08-26 2001-11-27 Matsushita Electric Industrial Co., Ltd. System and method for allowing family members to access TV contents and program media recorder over telephone or internet
US6513006B2 (en) * 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
US6901366B1 (en) * 1999-08-26 2005-05-31 Matsushita Electric Industrial Co., Ltd. System and method for assessing TV-related information over the internet
US6330537B1 (en) * 1999-08-26 2001-12-11 Matsushita Electric Industrial Co., Ltd. Automatic filtering of TV contents using speech recognition and natural language

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079624A (ja) * 2004-09-09 2006-03-23 At & T Corp 自動化されたダイアログシステムからの情報を報告するシステム及び方法
JP2007206886A (ja) * 2006-01-31 2007-08-16 Canon Inc 情報処理装置および方法
JP4603988B2 (ja) * 2006-01-31 2010-12-22 キヤノン株式会社 情報処理装置および方法
JP5099367B2 (ja) * 2006-03-10 2012-12-19 日本電気株式会社 要求内容識別システム、自然言語による要求内容の識別方法及びプログラム
JP2014010449A (ja) * 2012-06-27 2014-01-20 Samsung Electronics Co Ltd ディスプレイ装置、ディスプレイ装置の制御方法および対話型システム
CN102722186A (zh) * 2012-06-28 2012-10-10 深圳大学 一种基于语音识别的移动伺服平台及语音控制方法
US10229684B2 (en) 2013-01-06 2019-03-12 Huawei Technologies Co., Ltd. Method, interaction device, server, and system for speech recognition
KR101838095B1 (ko) * 2013-01-06 2018-03-13 후아웨이 테크놀러지 컴퍼니 리미티드 음성 인식을 위한 방법, 상호 작용 장치, 서버 및 시스템
US10971156B2 (en) 2013-01-06 2021-04-06 Huawei Teciinologies Co., Ltd. Method, interaction device, server, and system for speech recognition
US11676605B2 (en) 2013-01-06 2023-06-13 Huawei Technologies Co., Ltd. Method, interaction device, server, and system for speech recognition
JP2018528528A (ja) * 2015-08-05 2018-09-27 フェイスブック，インク． デバイス・クラウドの制御
JP2020042313A (ja) * 2016-01-06 2020-03-19 グーグル エルエルシー 音声認識システム
US10522139B2 (en) 2016-10-12 2019-12-31 Qingdao Hisense Electronics Co., Ltd. Electronic device and control method thereof
KR20210010528A (ko) * 2018-10-08 2021-01-27 구글 엘엘씨 스마트 어플라이언스 상태들의 요약 전달
KR102499734B1 (ko) 2018-10-08 2023-02-15 구글 엘엘씨 스마트 어플라이언스 상태들의 요약 전달
KR20230026528A (ko) * 2018-10-08 2023-02-24 구글 엘엘씨 스마트 어플라이언스 상태들의 요약 전달
KR102543676B1 (ko) 2018-10-08 2023-06-14 구글 엘엘씨 스마트 어플라이언스 상태들의 요약 전달
WO2022249509A1 (ja) * 2021-05-27 2022-12-01 有限会社アクアプラネット 記録整理プログラム、記録整理方法、記録整理装置、および、記録媒体

Also Published As

Publication number Publication date
US20010041980A1 (en) 2001-11-15
DE60217579T2 (de) 2007-11-08
CN1389852A (zh) 2003-01-08
EP1265227B1 (en) 2007-01-17
JP3711089B2 (ja) 2005-10-26
DE60217579D1 (de) 2007-03-08
CN1213400C (zh) 2005-08-03
EP1265227A1 (en) 2002-12-11
US6513006B2 (en) 2003-01-28

Similar Documents

Publication Publication Date Title
JP3711089B2 (ja) 音声認識及び自然言語を用いる家庭活動の自動制御
JP3550536B2 (ja) 音声認識及び自然言語を用いたテレビジョン内容の自動的なフィルタリング
JP3554262B2 (ja) テレビジョン及びマルチメディアの検索及び要求に対して自然言語のモダリティーを可能にする汎用遠隔制御
US6324512B1 (en) System and method for allowing family members to access TV contents and program media recorder over telephone or internet
JP3577454B2 (ja) 記録されたテレビジョン放送についての情報を記憶するための機構
US9263039B2 (en) Systems and methods for responding to natural language speech utterance
JP3566194B2 (ja) インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法
US6415257B1 (en) System for identifying and adapting a TV-user profile by means of speech technology
US7222073B2 (en) System and method for speech activated navigation
US20020077823A1 (en) Software development systems and methods
EP1079615A2 (en) System for identifying and adapting a TV-user profile by means of speech technology
JP2000250591A (ja) テレビ番組自動検索システム
US6456978B1 (en) Recording information in response to spoken requests
CN102096667A (zh) 一种信息检索方法及系统
US6741791B1 (en) Using speech to select a position in a program
Gruenstein Toward widely-available and usable multimodal conversational interfaces
Manione et al. Deliverable 5.1 Language Modelling, Dialogue and User Interface the First Set-top-box Related DICIT Prototype

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050811

R150 Certificate of patent or registration of utility model

Ref document number: 3711089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080819

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090819

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090819

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100819

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110819

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110819

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130819

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees