JP2001148814A - テレビジョン及びマルチメディアの検索及び要求に対して自然言語のモダリティーを可能にする汎用遠隔制御 - Google Patents
テレビジョン及びマルチメディアの検索及び要求に対して自然言語のモダリティーを可能にする汎用遠隔制御Info
- Publication number
- JP2001148814A JP2001148814A JP2000255970A JP2000255970A JP2001148814A JP 2001148814 A JP2001148814 A JP 2001148814A JP 2000255970 A JP2000255970 A JP 2000255970A JP 2000255970 A JP2000255970 A JP 2000255970A JP 2001148814 A JP2001148814 A JP 2001148814A
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- component
- control system
- user
- program guide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42208—Display device provided on the remote control
- H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42224—Touch pad or touch panel provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42226—Reprogrammable remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/31—Voice input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
Abstract
が視聴又は記録する番組を容易に選択できる遠隔制御シ
ステムを提供する。 【解決手段】 リモートコントローラは、自然言語の音
声を入力できるマイクロフォンを備え、上記入力はユー
ザの音声の意味的内容を抽出する自然言語構文解析部に
よって認識及び解釈される。上記構文解析部は電子番組
ガイドと関連して動作し、本遠隔制御システムは、上記
電子番組ガイドを介して視聴又は記録のために利用可能
な番組を確認し、適当なプロンプトをユーザへ供給す
る。リモートコントローラは、ユーザがプロンプトを見
るか、スタイラス等によって選択を実行するタッチスク
リーンを含んでもよい。上記実行された選択はユーザと
本システムとの対話の文脈を自動的に制限し、自然な対
話を可能にする。本システムは従来技術によって設計さ
れたものを含む任意のマルチメディア装置を制御でき
る。
Description
マルチメディアの検索及び要求に対して自然言語のモダ
リティー(様式)を可能にする汎用遠隔制御に関する。
制御は、世界中のテレビジョンを視聴している部屋の中
の全てのコーヒーテーブルの上に実質的にたどり着く。
テレビジョンのスイッチを入れたり、予め記録された映
画を見たりするような全く単純なコマンドを実行しよう
と試みるが、彼又は彼女が遠隔制御ユニットの上のどの
ボタン又は複数のボタンを押すべきかが理解できないた
めに邪魔をされ、不満を経験しなかったテレビジョンの
視聴者はほとんどいない。
定する1つの試みにおいて、多くの会社が、さまざまな
異なるオーディオ−ビデオコンポーネントを操作するこ
とができる汎用遠隔制御を提供している。これらのリモ
ートコントローラは、ユーザのマルチメディアの装置構
成において全てのデバイスの基本的機能を制御する目的
で、必要のために、多くは二重の機能を有する複数のボ
タンからなる形態を有することを特徴とする。
は、コーヒーテーブルの上に複数の遠隔制御ユニットを
有することに対する必要を除去するかもしれないが、そ
れは、ユーザの、彼又は彼女のオーディオ−ビデオ又は
マルチメディアシステムとの対話を単純化することにほ
とんど寄与しない。逆に、多数の汎用遠隔制御ユニット
は、複雑なために、実際にはユーザが装置を制御する能
力を妨げる。
て、ユーザに対して遠隔制御ユニットへ単純に発話し、
彼又は彼女のコマンドを実行させることを可能にする、
音声技術認識と従来の自然言語構文解析構成要素とを用
いて取り組む。発話されたコマンドは「VCRを再生し
なさい」又は「6チャンネルを記録しなさい」というよ
うな単純なコマンドであることができるが、自然言語構
文解析部はこれよりももっとさらに複雑なコマンドを提
供する。例えば、ユーザは「マリリン・モンローが出演
した面白い映画を見せなさい(Show me a funny movie
starring Marilyn Monroe)」と発話することができ
る。音声認識及び構文解析部の構成要素を用いて、シス
テムは電子番組ガイド又は映画データベースを検索し、
(例えば)「お熱いのがお好き(Some Like It Hot)」
が次の金曜日に放送されるとユーザに応答することがで
きる。次いでユーザは、例えば、そのときが来たら映画
を記録するようにシステムに命令することができる。
される必要はない。むしろ、ユーザは「今夜のトロント
対ロサンゼルスの野球の試合の最後の5分間を記録しな
さい(Record the last five minutes of tonight's To
ronto-Los Angeles baseballgame)」のようなコマンド
を入力することができる。再び、音声認識及び構文解析
部の構成要素は、この複雑なコマンドを、ユーザのシス
テムに適当な時刻で要求された記録を実行させる複数の
動作のシーケンスに変換する。
析部及び音声認識部の構成要素の全てを基板上に有す
る、自己で完備した単一のユニットとして構成すること
ができ、又は、それは複数の構成要素にわけて製造さ
れ、より複雑な計算の演算のうちのいくつかがテレビジ
ョンセット、セットトップボックス、又は補助マルチメ
ディア制御ユニットの中に設置されたプロセッサによっ
て実行されることを許してもよい。後者の場合では、ハ
ンドヘルドのリモートコントローラ及びリモートコマン
ドユニットは、無線送信によって互いに通信する。好ま
しくは、ハンドヘルドの遠隔制御ユニットは赤外線ポー
トを含み、上記赤外線ポートを介して、リモートコント
ローラはユーザのマルチメディアの装置構成の中のより
古い装置と対話することができる。従って、本発明のリ
モートコントローラは、複雑な自然言語の音声のコマン
ドが、それらのより古いオーディオ−ビデオコンポーネ
ントに与えられることさえ可能にする。
理解のためには、以下の明細書及び添付の図面を参照せ
よ。
多数の形態を取ることができる。図1において例示的な
実施形態が図示され、そこにおいてリモートコントロー
ラは10で図示され、例示的なテレビジョンセットが1
2で図示されている。好ましい実施形態において、リモ
ートコントローラ10及びテレビジョン12では、適当
な無線周波リンク又は赤外線リンクを介して、互いに無
線で通信している。
ィジタル対話型テレビジョンとハードディスクレコーダ
の装置だけではなく、複数のより古いモデルのテレビジ
ョン、VCR、DVD及びレーザディスクプレーヤ、サ
ラウンドサウンドプロセッサ、チューナなどを操作す
る。よって、リモートコントローラは発光ダイオードの
送信部14を含み、上記送信部を用いてユニットは全て
の人気のあるホームエンターテインメント及びマルチメ
ディアのコンポーネントと通信してもよい。この同一の
送信部がリモートコントローラとテレビジョンの間の通
信リンクとして(ここに記述された特徴のいくつかを実
装するために)役立つことができる。
コントローラ10及びテレビジョン12は、音声認識及
び自然言語構文解析の構成要素をマルチメディアシステ
ムの中のリモートコントローラ、テレビジョン及びオプ
ションの他のコンポーネントの間に分散することを可能
にする、双方向的なデータ通信リンクを介して通信す
る。
とは要求されていないが、好ましい本リモートコントロ
ーラ10は、また、電子番組ガイドから抽出された情報
と同様にユーザに対して複数のプロンプトを供給する発
光ディスプレイ16を含む。スクリーンはタッチに感応
するか、又はタップに感応し、メニューオプションを選
択することと、スタイラス18を介して入力された手書
きを提供することとをユーザに許してもよい。ペンに基
づいた携帯用情報端末(PDA)のデバイスを常に使用
するユーザは、スタイラスの入力のモダリティーが特に
有用であることを発見するだろう。
によるチャンネル選択と、音量を増大及び減少させるよ
うな、他の共通に実行される操作とを実行するための複
数の押しボタン20の相補物を含む。また、ジョグシャ
トルホイール22が含まれ、ユーザが、複数のレコーダ
及び複数のディスクプレーヤに関係してこの特徴を用い
ることを可能にする。
ン12の間の双方向的なリンクの特長によって、システ
ムは、24で図示されているようにテレビジョンモニタ
スクリーン上と、リモートコントローラの表示スクリー
ン16上との双方に、スクリーン上の複数のプロンプト
及び番組ガイド情報を表示することができる。所望する
ならば、スクリーン上への表示24は抑圧することがで
き、ユーザは、番組を見ている間、テレビジョン上に同
一の情報を表示する必要なしに、リモートコントローラ
のスクリーンを用いて複数のメニューアイテム選択及び
複数の電子番組ガイド選択を実行してもよい。
様は、その自然言語構文解析のモダリティーである。リ
モートコントローラは、26としてマイクロフォンを備
える。ユーザは自然言語の文で発話し、これらの発話音
声はマイクロフォン26によって拾われ、従来の音声理
解システムに供給される。上記音声理解システムは、ユ
ーザが、テレビジョンセット及び他の関連付けられた
(ハードディスクレコーダ又はVCRレコーダのよう
な)装置に対話式の自然言語で検索及び記録コマンドを
与えることを可能にする。
ザはマイクロフォンに「マリリン・モンローが出演した
面白い映画を見せなさい」と言うことができる。その音
声認識及び構文解析部の構成要素を用いて、システムは
電子番組ガイド又は映画データベースを検索し、任意の
オプションがユーザの要求に合致するか否かについてユ
ーザに応答する。システムは、例えば、「お熱いのがお
好き」が次の金曜日に放送されると応答する。
いのがお好きを記録してください(Please record Some
Like It Hot)」と発話することで映画を記録すること
を決定してもよい。
テムのおかげで全く明示的であることができる。従っ
て、ユーザは「今夜のトロント対ロサンゼルスの野球の
試合の最後の5分間を記録しなさい」のような複雑な記
録コマンドを入力することができる。再び、音声認識及
び構文解析部の構成要素は、この複雑なコマンドを、シ
ステムの中のレコーダが実行する複数の動作のシーケン
スに変換する。
の主要な機能の構成要素が図示されている。この点で
は、遠隔制御システムの複数の構成要素を遠隔制御デバ
イス自身の中に完全にパッケージ化できること、又はこ
れらの構成要素の1つ又はそれよりも多くをシステムの
中の他の複数の構成要素の中に分散又は実装できるとい
うことを理解することが重要である。システムのプロセ
ッサにより集中化された機能は、例えば、複数のセット
トップボックス、複数の対話型ディジタルテレビジョン
セット、複数のマルチメディア記録システムなどのよう
な、より大きく、よりパワーの大きい複数のコンポーネ
ントに位置した複数のプロセッサによって実行されても
よい。
複数の基本的構成要素とは、遠隔制御ユニットの中に収
容され、残りの複数の構成要素は装置のもう1つの部分
に収容されてもよい。所望するならば、音声認識部はそ
れ自身複数の構成要素にさらに分割することができ、そ
れらのいくつかはリモートコントローラに収容され、そ
れらの他のものは他の場所に収容される。例として、リ
モートコントローラに収容された構成要素は、音声の特
徴量を抽出することによって入力された音声を処理して
もよく、上記音声の特徴量に基づいて音声モデルがトレ
ーニングされる。次いで、リモートコントローラは、さ
らに音声認識処理をするために他の場所に設置された構
成要素にこれらの抽出された特徴量を送信する。それに
代わって、入力された音声は、音声領域におけるリモー
トコントローラによって別の場所に設置された音声認識
構成要素に単純に送信されてもよい。これらはもちろ
ん、本発明の機能を分散型の方式で展開する方法につい
てのいくつかの可能な例にすぎない。
声入力は、最初にディジタル化され、音声認識モジュー
ル40に供給される。音声認識モジュール40の出力
は、自然言語構文解析部42に供給される。この構文解
析部は、システムがユーザの発話された命令の背後にあ
る意味を解釈することを可能にする、複数の文法のセッ
ト44と関係して動作する。好ましい本実施形態におい
て、これらの文法は、入力されたユーザの音声から認識
された複数の単語に基づいてシステムが充てんする1つ
又はそれより多くのスロットを有する複数のフレーム文
のコレクションを備えた目的付けられた文法である。好
ましい本構文解析部及びこれらの目的付けられた文法の
より詳細な説明は以下に示される。
ド46の記憶された意味的表現へのアクセスを有する。
電子番組ガイドは、インターネットからダウンロードす
るか、又はエンターテインメントシステムのケーブル又
は衛星リンクを介して供給することができる。電子番組
ガイドのこれらの情報源は、一般に50で図示されてい
る。典型的には、テレビジョンチューナ52は、この情
報を取得し、それを46で記憶された意味的表現に与え
るために用いてもよい。それに代わって、この情報を、
適当なインターネットサービスプロバイダ又は専用の電
子番組ガイドサービスプロバイダへの電話接続によって
供給することができる。
の番組内容をタイプに従って分類する複雑な階層的構造
を表現する。従って、番組ガイドは、複数の番組を、映
画、スポーツ、ニュース、天気などのような異なるカテ
ゴリに分類する。これらのカテゴリはさらに細かく分類
してもよい。従って、映画は、コメディー、ドラマ、サ
イエンスフィクションなどのようなカテゴリにさらに分
類される。電子番組ガイドの内容の意味的表現は、自然
言語構文解析部によって用いられるものと同一の目的付
けられた文法構造に基づいて、46で記憶される。この
ことは、構文解析部が、視聴のために何が利用可能であ
るかについての情報を即座に発見することを可能にす
る。ユーザがコメディー映画を請求したとき、意味的表
現のコメディー映画の部分が構文解析部によってアクセ
スされ、次いでこのカテゴリに該当する利用可能な番組
が、以下により詳細に記述されるように、ユーザに対し
て表示される。
部は、ユーザが見ることに興味を持っている1つの番組
を即座に識別する。他の複数の例においては、複数の選
択の候補が存在することがあり、又は選択の候補が存在
しないことがある。これらの多数の可能性に適応させる
ために、システムは対話管理部54を含む。上記対話管
理部は自然言語構文解析部42とインターフェースを取
り、ユーザに対する合成された音声又はスクリーン上へ
の表示のための対話型のプロンプトを生成する。これら
のプロンプトは、ユーザからさらに多くの情報を引き出
すようにデザインされ、自然言語構文解析部が、ユーザ
が興味を持っているかもしれない番組の放送を発見する
ことを補助する。対話管理部はユーザプロファイルデー
タ記憶装置56を有し、上記ユーザプロファイルデータ
記憶装置は、ユーザの以前の情報選択についての情報
と、またユーザはどのように情報が表示されることを好
むかについての情報とを記憶する。従って、このデータ
記憶装置は、対話管理部がそのプロンプトをユーザの期
待に最も適当であるように選局することを補助する。
述される。図3は、自然言語構文解析部42の構成要素
をより詳細に図示している。特に、音声理解モジュール
128は、予め決定された関係するタスクに関連した複
数の断片を識別するための局所的構文解析部160を含
む。また、音声理解モジュール128は、話者の要求の
全体の意味を抽出する大域的構文解析部162を含む。
形態において、いくつかのパス(pass)に加えて、小さ
い複数の文法と、構文解析の仮定を提供するための一意
なスコアリング機構とを利用する。例えば、新しい局所
的構文解析部102は、このアプローチに従って、日
付、人名、及び映画のカテゴリのようなフレーズを認識
する。話者が「メル・ブルックスが出演して、1月23
日より前に放送されたコメディーを記録しなさい(tell
me about a comedy in which Mel Brooks starsand is
shown before January 23rd)」と発話したとき、局所
的構文解析部は、「コメディー」を映画のカテゴリとし
て、「1月23日」を日付として、そして「メル・ブル
ックス」を俳優として認識する。大域的構文解析部は、
それらのアイテム(映画のカテゴリ、日付など)をとも
にアセンブルし、話者がある拘束条件で映画を記録する
ことを望んでいるということを認識する。
(すなわち、達成されるべきゴール)の意味を符号化す
る知識データベース163を含む。この意味で、知識デ
ータベース163は、好ましくは参照番号165で図示
されるような特定分野のデータベースであり、予め決定
された目標を達成することに関連した特定の動作が可能
であるか否かを決定するために、対話管理部130によ
って用いられる。
164を介して意味を符号化する。上記フレームデータ
構造164は、大域的構文解析部162の意味的解釈が
フレームに合致したときに充てんされる空スロット16
6を含む。例えば、(領域が同調したコマンドである)
フレームデータ構造は、1つの時間周期に対して視聴者
によって要求されたチャンネルを特定するための空スロ
ットを含む。視聴者120がチャンネルを提供したと
き、その空スロットはその情報で充てんされる。しかし
ながら、その特定のフレームが、視聴者が最初にその要
求を提供した後で充てんされる必要があるときは、対話
管理部130はコンピュータ応答モジュール134に命
令して、視聴者120に所望のチャンネルを提供するよ
うに依頼する。
は、それぞれ代わる代わるに複数のスロットを有する複
数のフレームを含む。1つのフレームは、映画、監督、
及び映画のタイプの属性に割り当てられた複数のスロッ
トを有してもよい。もう1つのフレームは、映画が放送
されている時間、チャンネルなどに関連付けられた属性
に割り当てられた複数のスロットを有してもよい。
及び複数のフレームを議論している。R. Kuhn and R.
D. Mori, Spoken Dialogues, with Computers (Chapter
14:Sentence Interpretation), Academic Press, ボス
トン,1998年。
ル167を用い、情報のために話者に尋ねる前に、複数
の空スロットを充てんすることを補助する。対話履歴デ
ータファイル167は、本発明の装置を介して発生した
会話のログを含む。例えば、話者が「もう1つのマリリ
ン・モンローの映画を見たい(I'd like to watch anot
her Marilyn Monroe movie)」と発話するとき、対話管
理部130は対話履歴データファイル167を検査し
て、何の映画をユーザがすでに見たことがあるか、又は
以前の対話のやり取りにおいて拒否したかをチェックす
る。話者が以前に「お熱いのがお好き(Some Like It H
ot)」を拒否していたときは、対話管理部130は映画
のタイトルの空スロットを異なるタイトルの映画で充て
んする。十分な数のスロットが充てんされたとき、本発
明は話者に尋ねて、番組の選択を照合しかつ確認する。
従って、対話履歴データファイル167の使用を介して
対話管理部130によって作られた任意の仮定が正しく
ないと証明されたとき、話者はその仮定を訂正すること
ができる。
れた自然言語のテキストから、意味的に重要で有意なト
ピックを分析し、かつ抽出する。上記テキストは、対話
又は音声理解システムによって用いられる自動音声認識
システム(ASR)の出力として生成された。トピック
情報及びデータを含むよく構成された複数のタグを生成
し、タグ付けされた情報を含む入力テキストの複数のセ
グメントと各タグを関連付けることによって、自然言語
構文解析部42は自然言語のテキストの入力を新しい表
現に翻訳する。それに加えて、複数のタグは、分離した
リスト、又は意味的なフレームのような他の形式で生成
されてもよい。
に正しくない英文を含むことがあるので、頑健さは自然
言語構文解析部42の特徴である。その理由は、認識部
への入力はカジュアルな、対話のスタイルであること、
自然言語は中断された文、部分的なフレーズ、挿入、省
略を含むことがあり、又は音声の入力が正しいと考えら
れるときでさえも、音声認識部によって誤りであると間
違って認識されることがあるということである。自然言
語構文解析部42は全てのタイプの入力を頑健に扱い、
可能な限り多くの情報を抽出する。
文解析部160の異なる構成要素を図示している。自然
言語構文解析部42は、好ましくは、固定小数点の計算
としてマルチパスのアプローチにおける一般化された構
文解析技術を利用する。各トピックは、文脈依存のLR
(左−右及び最右導出)文法として記述され、曖昧さを
許容する。以下は、文脈依存のLR文法に関連した参考
文献である。A. Aho and J. D. Ullman, Principal of
Compiler Design, Addison Wesley PublishingCo., Rea
ding, Massachusetts (1977); and N Tomita, Generali
zed LR Parsing, Kluwer Academic Publishers, Bosto
n, Massachusetts (1991)。
解析アルゴリズムは好ましくは、各目的とされたトピッ
ク(targeted topic)に対して独立に、全ての可能な
(完全及び部分的の両方の)構文解析木を生成するため
に用いられる。各パスはいくつかの選択肢となる複数の
構文解析木を潜在的には生成可能で、各構文解析木は特
定のトピックの可能な異なる解釈を表現する。好ましく
は平行で独立したパスを通る複数のパスにより、結果と
して、異なるトピックの間の曖昧さ及び重複が実質的に
除去される。一般化された構文解析アルゴリズムは、シ
ステムに存在する文脈情報を利用して(N)ベスト候補
が選択されるように、全ての可能な構文解析木をスコア
計算するシステマティックな方法である。
析220と、各トピックに対する平行な構文解析森の生
成(例えば生成器230及び232)と、一般に参照番
号234で図示される、構文解析された成分の分析及び
合成との、3つのステージで実行される。
によって認識されるフレーズを発話する。語彙解析ステ
ージ220は識別をし、語彙フィルタ226及び228
を用いて、入力文218の中の(拡張文法(extensive
grammars)を必要としない)複数のトピックに対して複
数のタグを生成する。これらは、例えば映画名、映画の
カテゴリ、製作者、男優及び女優の名前などを含む。言
及された例示的な複数のタグにおいて必要とされる複数
のキーワードを用いた、入力文218の通常の拡張スキ
ャン(regular-expansion scan)は、典型的にはこのレ
ベルで十分である。また、このステージで実行されるこ
とは、特定の文法の辞書(lexicon)の一部ではない、
入力文の中の複数の単語のタグ付けである。これらの単
語は、そのような雑音の単語(noise words)が文字
「X」で置き換えられるように、X−タグを用いて表示
される。
文解析するために、高レベルの一般的な構文解析戦略を
用い、複数のタグを生成し、それらを入力ストリームに
マッピングする。組織されていない入力テキスト218
の性質により、各個別のトピックの構文解析部は、好ま
しくは、できるだけ多くの言語を受容し、重要ではない
全ての単語を無視し、挿入及び削除の誤りを扱う。各ト
ピックの構文解析は、LR構文解析において用いられる
ものとよく似たメタレベルの性質を有する言語を用い
て、文脈依存の文法の複数のルールをデザインすること
を必要とする。文法の例は、文法A240及び文法B2
42を含む。本発明のアプローチを用いて、トピックの
文法240及び242は、LR型文法であり、複数の冗
語を含み、シフトの除去及びコンフリクトの減少を除く
ように記述される。入力文の構文解析の結果は、文法の
性質に基づいて、全ての可能な構文解析結果である。
50及び252をそれらのトピックに対して生成する。
タグ生成は、構文解析の間に取得された構文解析木にお
いて発見された実際の情報を合成することによって実行
される。タグ生成は、それぞれタグ264及び266を
生成する、タグ及びスコア生成器260及び262を介
して達成される。また、各識別されたタグは、入力文中
の複数の入力単語のどのセットが上記タグによってカバ
ーされるかについて、情報を搬送する。続いて、上記タ
グはそのカバーセット(cover-set)を置き換える。好
ましい実施形態において、文脈情報267は、生成器2
60及び262などによって、タグ及びスコア生成のた
めに利用される。文脈情報267は、以下で議論され
る、発見的スコア係数の技術に関連付けられた重みを調
整するためのスコアの発見において利用される。文脈情
報267は、好ましくは、単語コンフィデンスベクトル
268及び対話文脈荷重269を含む。しかしながら、
構文解析部42は、単語コンフィデンスベクトル268
及び対話文脈荷重269の双方を用いることに制限され
ず、文脈情報267を用いないことと同様に、一方を用
いて他方を排除することを含むことが理解されるべきで
ある。
分218中の複数の単語がどの程度十分に認識されたか
を示す単語コンフィデンスベクトル268を生成する。
対話管理部130は、対話の状態を決定することによっ
て、対話文脈荷重269を生成する。例えば、対話管理
部130は、ユーザに、どの視聴時刻が好ましいのかと
いった特定のトピックについて尋ねる。この要求のため
に、対話管理部130は、対話の状態が時刻に対して適
応されているということを決定する。対話管理部130
は、検出された時刻に対して適応された単語により重い
荷重をかける適当な処理を通知するために、対話文脈荷
重269を提供する。
所的構文解析部の最終の出力を形成するために分析さ
れ、かつ互いに結合される必要がある、非常に多くの量
の情報を生成する。構文解析部42は、好ましくは、各
トピックを見分けて、結果として複数のタグの候補を生
成するということにおいて、可能な限り「積極的(aggr
essive)」である。それに加えて、複数の数字、又は
「間に(between)」「前に(before)」「及び(an
d)」「又は(or)」「辺りに(around)」などのよう
な、あるキーワードが存在し、そして特にこれらの単語
が認識の誤りによって導入又は紛失されるときに、それ
に代わる多くのタグの候補を構成することが可能であ
る。例えば、入力文は挿入又は削除の誤りを有すること
がある。結合するフェーズは、どの複数のタグが入力の
より有意な解釈を形成するかを決定する。構文解析部4
2は発見的方法を決定し、N−ベスト候補の選択処理を
用いるそれらに基づいて選択をする。各生成されたタグ
は、タグのカバーセットと呼ばれる、入力された単語の
ストリングの中の複数の単語のセットに対応する。
するために用いられる、発見的方法が用いられる。上記
スコアは、おおよそ、カバーセットのサイズと、カバー
された複数のアイテムの中の複数のギャップの多くの単
語におけるサイズと、あるキーワードの存在に割り当て
られた荷重とに依存する。好ましい実施形態において、
ASRから導出されたコンフィデンスベクトルと対話文
脈情報とは、複数のタグに優先度を割り当てるために利
用される。例えば、チャンネルのタグの構文解析を最初
に適用することで、入力されたストリームから一意に識
別することがより容易であるチャンネルに関連した数を
除去することが潜在的に可能であり、他の複数のタグと
の曖昧さを生成するためにはより少ない数が残される。
好ましくは、対話文脈情報は優先度を調整するために用
いられる。
のタグに関連付けられた複数のスコアに基づいてN−ベ
スト候補を選択し、それぞれ対応する構文解析木におい
て発見された情報を表現するトピック−タグを生成す
る。いったんこの方法で複数のトピックが発見される
と、入力の中の対応する複数の単語はタグ情報によって
置換することができる。上記置換変換は、現在の入力テ
キストから対応する複数の単語を除去する。各パスの出
力280は、新しい入力として次のパスへフィードバッ
クされ、上記置換は、競合する文法の間の、あるあいま
いさを除去することを補助し、又は重複するシンボルを
フィルタリングすることによって、よりよい構文解析木
を生成することを補助する。
れないとき、計算は終了する。最後のパスの出力は、局
所的構文解析部から大域的構文解析部162への出力に
なる。各フェーズはその入力の中の単語の数のみを減少
させ、入力テキストの長さは有限なので、固定小数点の
計算におけるパスの数は、その入力のサイズによって線
形に有界である。
属性に基づいた、それに代わる構文解析木のランク付け
に用いられる。 ・終端のシンボルの数。 ・終端でないシンボルの数。 ・構文解析木の深さ。 ・終端のシンボルにおけるギャップのサイズ。 ・各終端のシンボルに関連付けられたASR−コンフィ
デンス基準。 ・各終端のシンボル及び終端でないシンボルに関連付け
られた文脈に応じて調整可能な荷重。
少ない量のデータで動作させることができ、計算機的に
は安価な方法である、個別のトピックに対応する。自然
言語構文解析部42のアーキテクチャは、新しいトピッ
クに対して付加的な複数のパス及び文法を組み込むよう
に柔軟でかつモジュール化されていて、又は、複数の特
定のトピックに対して発見的方法を変更することは容易
であり、またこのことは異なるシステムの間で共有する
ことができる再利用可能な構成要素を容易に開発するこ
とを可能にする。
テムは、現在あるどの電子番組ガイド制御システム又は
遠隔制御システムにも見出されない、極めてユーザフレ
ンドリーな機能を提供することが理解されるだろう。本
発明はその好ましい本実施形態において記述されたが、
添付された請求項に示された本発明の精神から離れるこ
となく、本発明を変形できることが理解されるだろう。
実施形態の平面図である。
を図示するブロック図である。
構文解析部の構成要素を図示するブロック図である。
文解析部の構成要素を図示するブロック図である。
Claims (27)
- 【請求項1】 少なくとも1つのオーディオ/ビデオコ
ンポーネントを制御するための遠隔制御システムであっ
て、 ハンドヘルドケースと、 上記ケースに設けられ、ユーザからの音声入力を受信す
るマイクロフォンと、 上記ケースに設けられ、上記ハンドヘルドケースから離
れた位置に複数のデータ信号を送信する通信システム
と、 上記入力音声を処理する音声認識部と、 電子番組ガイドの表現を記憶するメモリと、 上記音声認識部及び上記メモリを通信する自然言語構文
解析部とを備え、上記構文解析部は、上記処理された音
声入力から意味的内容を抽出することに動作し、かつ上
記オーディオ/ビデオコンポーネントに対する制御命令
を生成するために上記抽出された意味的内容を用いて上
記電子番組ガイドにアクセスするように動作する遠隔制
御システム。 - 【請求項2】 上記音声認識部は上記ハンドヘルドケー
スの中に設けられた請求項1記載の遠隔制御システム。 - 【請求項3】 上記ハンドヘルドケースから離れてプロ
セッサ構成要素をさらに備え、上記音声認識部は上記プ
ロセッサ構成要素に設けられた請求項1記載の遠隔制御
システム。 - 【請求項4】 上記自然言語構文解析部は上記ハンドヘ
ルドケースの中に設けられた請求項1記載の遠隔制御シ
ステム。 - 【請求項5】 上記ハンドヘルドケースから離れてプロ
セッサ構成要素をさらに備え、上記自然言語構文解析部
は上記プロセッサ構成要素に設けられた請求項1記載の
遠隔制御システム。 - 【請求項6】 上記メモリに接続され、電気通信リンク
を介して上記電子番組ガイドの表現をダウンロードする
電子番組ガイド取得システムをさらに備えた請求項1記
載の遠隔制御システム。 - 【請求項7】 上記電気通信リンクはインターネットで
ある請求項6記載の遠隔制御システム。 - 【請求項8】 上記電気通信リンクはオーディオ/ビデ
オ番組内容配送システムである請求項6記載の遠隔制御
システム。 - 【請求項9】 上記オーディオ/ビデオコンポーネント
はチューナを含み、上記遠隔制御システムは上記チュー
ナと通信し、上記電子番組ガイドの表現を取得する請求
項1記載の遠隔制御システム。 - 【請求項10】 上記自然言語構文解析部は、上記電子
番組ガイドの意味的構造を表現する複数のスロットを有
する複数のフレームを備えた文法を使用するタスクに基
づいた構文解析部である請求項1記載の遠隔制御システ
ム。 - 【請求項11】 上記構文解析部と通信し、上記抽出さ
れた意味的内容に基づいてユーザに対する複数のプロン
プトを生成する対話管理部をさらに備えた請求項1記載
の遠隔制御システム。 - 【請求項12】 音声合成部を有し、上記抽出された意
味的内容に基づいてユーザに対する複数の音声プロンプ
トを生成する対話管理部をさらに備えた請求項1記載の
遠隔制御システム。 - 【請求項13】 上記ハンドヘルドケースに設けられ、
ユーザから供給された情報をペンを用いて入力をするた
めのディジタイジングタブレットをさらに備えた請求項
1記載の遠隔制御システム。 - 【請求項14】 上記ディジタイジングタブレットは、
上記構文解析部が意味的内容を抽出する文脈を制限する
ようにペンによって動作可能である複数のプロンプトを
表示する請求項13記載の遠隔制御システム。 - 【請求項15】 上記ハンドヘルドケースに設けられ、
ユーザに対して情報を提供する表示ユニットをさらに備
えた請求項1記載の遠隔制御システム。 - 【請求項16】 通信インターフェースを介して制御命
令がリモート構成要素に発行される、上記通信インター
フェースを有するハンドヘルドケースと、 上記ケースに設けられた表示スクリーンと、 上記ケースに設けられたマイクロフォンと、 上記マイクロフォンに接続された音声認識システムと、 上記音声認識システム及び上記表示スクリーンに接続さ
れ、上記通信インターフェースを介して複数の制御コマ
ンドを発行し、上記表示スクリーン上に情報を表示する
対話管理部とを備えた遠隔制御デバイス。 - 【請求項17】 上記音声認識システムは、上記マイク
ロフォンを介して入力された音声情報から意味的情報を
抽出する自然言語構文解析部を含む請求項16記載の遠
隔制御デバイス。 - 【請求項18】 上記音声理解システムは、電子番組ガ
イドの表現を含む関連付けられたデータ記憶装置を有す
る自然言語構文解析部を含み、上記構文解析部は、上記
マイクロフォンを介して入力された音声情報に基づい
て、上記番組ガイドから情報を選択的に抽出する請求項
16記載の遠隔制御デバイス。 - 【請求項19】 上記音声認識システムは、電子番組ガ
イドの表現を含むデータ記憶装置と、上記データ記憶装
置の内容を選択的に更新するシステムとを含む請求項1
6記載の遠隔制御デバイス。 - 【請求項20】 上記データ記憶装置の内容を選択的に
更新する上記システムは、電子番組ガイド情報の情報源
にアクセスするチューナを含む請求項19記載の遠隔制
御デバイス。 - 【請求項21】 上記データ記憶装置の内容を選択的に
更新する上記システムは、電子番組ガイド情報の情報源
にアクセスするインターネットアクセスシステムを含む
請求項19記載の遠隔制御デバイス。 - 【請求項22】 上記音声認識部は、上記ハンドヘルド
ケースの中に設けられた第1の構成要素と、上記ハンド
ヘルドケースの外部に設けられた第2の構成要素とを有
する請求項16記載の遠隔制御デバイス。 - 【請求項23】 上記第1の構成要素は、上記第2の構
成要素へ送信するための可聴領域信号を生成する請求項
22記載の遠隔制御デバイス。 - 【請求項24】 上記第1の構成要素は、ユーザより入
力された音声から複数の音声パラメータを抽出し、上記
パラメータを認識のために上記第2の構成要素に送信す
る請求項22記載の遠隔制御デバイス。 - 【請求項25】 上記音声認識部は、上記ハンドヘルド
ケースの中に設けられた第1の構成要素と、上記ハンド
ヘルドケースの外部に設けられた第2の構成要素とを有
する請求項1記載の遠隔制御デバイス。 - 【請求項26】 上記第1の構成要素は、上記第2の構
成要素へ送信するための可聴領域信号を生成する請求項
25記載の遠隔制御デバイス。 - 【請求項27】 上記第1の構成要素は、ユーザより入
力された音声から複数の音声パラメータを抽出し、上記
パラメータを認識のために上記第2の構成要素に送信す
る請求項25記載の遠隔制御デバイス。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/383762 | 1999-08-26 | ||
US09/383,762 US6553345B1 (en) | 1999-08-26 | 1999-08-26 | Universal remote control allowing natural language modality for television and multimedia searches and requests |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001148814A true JP2001148814A (ja) | 2001-05-29 |
JP3554262B2 JP3554262B2 (ja) | 2004-08-18 |
Family
ID=23514622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000255970A Expired - Lifetime JP3554262B2 (ja) | 1999-08-26 | 2000-08-25 | テレビジョン及びマルチメディアの検索及び要求に対して自然言語のモダリティーを可能にする汎用遠隔制御 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6553345B1 (ja) |
EP (1) | EP1079371B1 (ja) |
JP (1) | JP3554262B2 (ja) |
DE (1) | DE60023613D1 (ja) |
ES (1) | ES2251942T3 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100500962B1 (ko) * | 2002-11-29 | 2005-07-14 | 주식회사 알티캐스트 | 터치 스크린이 구비된 대화형 텔레비전의 무선 입력 장치 |
JP2005538583A (ja) * | 2002-08-20 | 2005-12-15 | テレノール アーアスアー | 通信ネットワークを介しサービス、アプリケーション及び/またはコンテンツにアクセスするためのシステム及び方法 |
WO2007049569A1 (ja) * | 2005-10-24 | 2007-05-03 | Advanced Media, Inc. | 情報検索システム及びサーバ装置 |
JP2008518570A (ja) * | 2004-10-26 | 2008-05-29 | ヤフー! インコーポレイテッド | サーチ結果を提示するためのシステム及び方法 |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040160414A1 (en) * | 1996-07-05 | 2004-08-19 | Armstrong Brad A. | Image controller |
EP1222655A1 (en) * | 1999-10-19 | 2002-07-17 | Sony Electronics Inc. | Natural language interface control system |
US6982962B1 (en) * | 2000-04-10 | 2006-01-03 | 3Com Corporation | System and method for selecting a network access provider using a portable information device |
EP1281173A1 (en) * | 2000-05-03 | 2003-02-05 | Koninklijke Philips Electronics N.V. | Voice commands depend on semantics of content information |
DE10021389A1 (de) * | 2000-05-03 | 2001-11-08 | Nokia Mobile Phones Ltd | Verfahren zum Steuern eines Systems, insbesondere eines elektrischen und/oder elektronischen Systems mit zumindest einer Anwendungseinrichtung |
US6711699B1 (en) | 2000-05-04 | 2004-03-23 | International Business Machines Corporation | Real time backup system for information based on a user's actions and gestures for computer users |
US20020019732A1 (en) * | 2000-07-12 | 2002-02-14 | Dan Kikinis | Interactivity using voice commands |
JP2002055763A (ja) * | 2000-08-11 | 2002-02-20 | Alps Electric Co Ltd | コントローラ |
US7162422B1 (en) * | 2000-09-29 | 2007-01-09 | Intel Corporation | Apparatus and method for using user context information to improve N-best processing in the presence of speech recognition uncertainty |
AU2001295080A1 (en) * | 2000-09-29 | 2002-04-08 | Professorq, Inc. | Natural-language voice-activated personal assistant |
US6728676B1 (en) * | 2000-10-19 | 2004-04-27 | International Business Machines Corporation | Using speech recognition to improve efficiency of an inventory task |
US6941266B1 (en) * | 2000-11-15 | 2005-09-06 | At&T Corp. | Method and system for predicting problematic dialog situations in a task classification system |
US20040085162A1 (en) * | 2000-11-29 | 2004-05-06 | Rajeev Agarwal | Method and apparatus for providing a mixed-initiative dialog between a user and a machine |
US20020087316A1 (en) * | 2000-12-29 | 2002-07-04 | Lee Victor Wai Leung | Computer-implemented grammar-based speech understanding method and system |
US7027987B1 (en) * | 2001-02-07 | 2006-04-11 | Google Inc. | Voice interface for a search engine |
WO2002073449A1 (en) | 2001-03-14 | 2002-09-19 | At & T Corp. | Automated sentence planning in a task classification system |
US7574362B2 (en) | 2001-03-14 | 2009-08-11 | At&T Intellectual Property Ii, L.P. | Method for automated sentence planning in a task classification system |
US7729918B2 (en) | 2001-03-14 | 2010-06-01 | At&T Intellectual Property Ii, Lp | Trainable sentence planning system |
US7039590B2 (en) * | 2001-03-30 | 2006-05-02 | Sun Microsystems, Inc. | General remote using spoken commands |
EP1259069A1 (en) * | 2001-05-15 | 2002-11-20 | Deutsche Thomson-Brandt Gmbh | Method for modifying a user interface of a consumer electronic apparatus, corresponding consumer electronic apparatus |
US6996528B2 (en) * | 2001-08-03 | 2006-02-07 | Matsushita Electric Industrial Co., Ltd. | Method for efficient, safe and reliable data entry by voice under adverse conditions |
US20030061033A1 (en) * | 2001-09-26 | 2003-03-27 | Dishert Lee R. | Remote control system for translating an utterance to a control parameter for use by an electronic device |
US7324947B2 (en) | 2001-10-03 | 2008-01-29 | Promptu Systems Corporation | Global speech user interface |
DE60222852D1 (de) | 2001-12-18 | 2007-11-22 | Matsushita Electric Ind Co Ltd | Fernsehapparat mit Spracherkennungsfunktion |
US7203644B2 (en) * | 2001-12-31 | 2007-04-10 | Intel Corporation | Automating tuning of speech recognition systems |
US20030191629A1 (en) * | 2002-02-04 | 2003-10-09 | Shinichi Yoshizawa | Interface apparatus and task control method for assisting in the operation of a device using recognition technology |
US8126713B2 (en) * | 2002-04-11 | 2012-02-28 | Shengyang Huang | Conversation control system and conversation control method |
US7007234B2 (en) * | 2002-06-05 | 2006-02-28 | Thomson Licensing | Method and apparatus for performing a set up operation for a video system |
US20040064839A1 (en) * | 2002-09-30 | 2004-04-01 | Watkins Daniel R. | System and method for using speech recognition control unit |
US7774815B1 (en) | 2002-09-30 | 2010-08-10 | Arris Group, Inc. | Context-sensitive interactive television ticker |
US20030115062A1 (en) * | 2002-10-29 | 2003-06-19 | Walker Marilyn A. | Method for automated sentence planning |
AU2003293071A1 (en) * | 2002-11-22 | 2004-06-18 | Roy Rosser | Autonomous response engine |
US20060206335A1 (en) * | 2003-03-17 | 2006-09-14 | Eric Thelen | Method for remote control of an audio device |
US7885963B2 (en) * | 2003-03-24 | 2011-02-08 | Microsoft Corporation | Free text and attribute searching of electronic program guide (EPG) data |
US20040203387A1 (en) * | 2003-03-31 | 2004-10-14 | Sbc Knowledge Ventures, L.P. | System and method for controlling appliances with a wireless data enabled remote control |
US8301436B2 (en) * | 2003-05-29 | 2012-10-30 | Microsoft Corporation | Semantic object synchronous understanding for highly interactive interface |
US20050027539A1 (en) * | 2003-07-30 | 2005-02-03 | Weber Dean C. | Media center controller system and method |
EP1661124A4 (en) * | 2003-09-05 | 2008-08-13 | Stephen D Grody | PROCESSES AND DEVICES FOR PROVIDING SERVICES THROUGH THE USE OF LANGUAGE IDENTIFICATION |
US7349758B2 (en) * | 2003-12-18 | 2008-03-25 | Matsushita Electric Industrial Co., Ltd. | Interactive personalized robot for home use |
US20050146507A1 (en) * | 2004-01-06 | 2005-07-07 | Viredaz Marc A. | Method and apparatus for interfacing with a graphical user interface using a control interface |
EP1562180B1 (en) * | 2004-02-06 | 2015-04-01 | Nuance Communications, Inc. | Speech dialogue system and method for controlling an electronic device |
US20090164215A1 (en) * | 2004-02-09 | 2009-06-25 | Delta Electronics, Inc. | Device with voice-assisted system |
US20050256720A1 (en) * | 2004-05-12 | 2005-11-17 | Iorio Laura M | Voice-activated audio/visual locator with voice recognition |
KR100621593B1 (ko) * | 2004-09-24 | 2006-09-19 | 삼성전자주식회사 | 다중양식의 입력을 이용하는 통합 원격 제어 장치 및 방법 |
US7716056B2 (en) | 2004-09-27 | 2010-05-11 | Robert Bosch Corporation | Method and system for interactive conversational dialogue for cognitively overloaded device users |
GB2422700A (en) * | 2005-01-27 | 2006-08-02 | Inventec Multimedia & Telecom | Digitised wireless remote control of personal video recorder |
US20060173681A1 (en) * | 2005-02-01 | 2006-08-03 | Bae Systems Information And Electronic Systems Integration Inc | Semi-covert emergency transmitter |
US20060212898A1 (en) * | 2005-03-17 | 2006-09-21 | Ryan Steelberg | System and method for broadcast target advertising |
KR100723404B1 (ko) * | 2005-03-29 | 2007-05-30 | 삼성전자주식회사 | 음성 인식 및 반응을 위한 음성 처리 장치와 방법 |
US20060235701A1 (en) * | 2005-04-13 | 2006-10-19 | Cane David A | Activity-based control of a set of electronic devices |
US20060235698A1 (en) * | 2005-04-13 | 2006-10-19 | Cane David A | Apparatus for controlling a home theater system by speech commands |
US20060253272A1 (en) * | 2005-05-06 | 2006-11-09 | International Business Machines Corporation | Voice prompts for use in speech-to-speech translation system |
US7460996B2 (en) * | 2005-06-23 | 2008-12-02 | Microsoft Corporation | Using strong data types to express speech recognition grammars in software programs |
US8265939B2 (en) | 2005-08-31 | 2012-09-11 | Nuance Communications, Inc. | Hierarchical methods and apparatus for extracting user intent from spoken utterances |
JP4849662B2 (ja) * | 2005-10-21 | 2012-01-11 | 株式会社ユニバーサルエンターテインメント | 会話制御装置 |
JP4849663B2 (ja) * | 2005-10-21 | 2012-01-11 | 株式会社ユニバーサルエンターテインメント | 会話制御装置 |
JP4846336B2 (ja) * | 2005-10-21 | 2011-12-28 | 株式会社ユニバーサルエンターテインメント | 会話制御装置 |
US8700403B2 (en) * | 2005-11-03 | 2014-04-15 | Robert Bosch Gmbh | Unified treatment of data-sparseness and data-overfitting in maximum entropy modeling |
JP2007142840A (ja) * | 2005-11-18 | 2007-06-07 | Canon Inc | 情報処理装置及び情報処理方法 |
US9247175B2 (en) * | 2005-11-30 | 2016-01-26 | Broadcom Corporation | Parallel television remote control |
US8054294B2 (en) * | 2006-03-31 | 2011-11-08 | Sony Corporation | Touch screen remote control system for use in controlling one or more devices |
US8607281B2 (en) | 2006-09-07 | 2013-12-10 | Porto Vinci Ltd. Limited Liability Company | Control of data presentation in multiple zones using a wireless home entertainment hub |
US9319741B2 (en) | 2006-09-07 | 2016-04-19 | Rateze Remote Mgmt Llc | Finding devices in an entertainment system |
US9386269B2 (en) | 2006-09-07 | 2016-07-05 | Rateze Remote Mgmt Llc | Presentation of data on multiple display devices using a wireless hub |
US20080114604A1 (en) * | 2006-11-15 | 2008-05-15 | Motorola, Inc. | Method and system for a user interface using higher order commands |
US7640272B2 (en) * | 2006-12-07 | 2009-12-29 | Microsoft Corporation | Using automated content analysis for audio/video content consumption |
US9569587B2 (en) | 2006-12-29 | 2017-02-14 | Kip Prod Pi Lp | Multi-services application gateway and system employing the same |
US20170344703A1 (en) | 2006-12-29 | 2017-11-30 | Kip Prod P1 Lp | Multi-services application gateway and system employing the same |
US9602880B2 (en) | 2006-12-29 | 2017-03-21 | Kip Prod P1 Lp | Display inserts, overlays, and graphical user interfaces for multimedia systems |
US11783925B2 (en) | 2006-12-29 | 2023-10-10 | Kip Prod P1 Lp | Multi-services application gateway and system employing the same |
US11316688B2 (en) | 2006-12-29 | 2022-04-26 | Kip Prod P1 Lp | Multi-services application gateway and system employing the same |
US8281010B2 (en) | 2006-12-29 | 2012-10-02 | Prodea Systems, Inc. | System and method for providing network support services and premises gateway support infrastructure |
US20080235763A1 (en) * | 2007-03-20 | 2008-09-25 | At&T Knowledge Ventures, Lp | System and method of providing security for a multimedia timeline |
US20080235595A1 (en) * | 2007-03-20 | 2008-09-25 | At&T Knowledge Ventures, Lp | Device and method for accessing a multimedia timeline |
US20080231595A1 (en) * | 2007-03-20 | 2008-09-25 | At&T Knowledge Ventures, Lp | Remote control apparatus and method of interacting with a multimedia timeline user interface |
US20080235247A1 (en) * | 2007-03-20 | 2008-09-25 | At&T Knowledge Ventures, Lp | System and method of adding data objects to a multimedia timeline |
US20080235590A1 (en) * | 2007-03-20 | 2008-09-25 | At&T Knowledge Ventures, Lp | System and method of accessing a multimedia timeline |
US20080235403A1 (en) * | 2007-03-20 | 2008-09-25 | At&T Knowledge Ventures, Lp | System, method, and device to wirelessly communicate multimedia timeline data |
US8745501B2 (en) * | 2007-03-20 | 2014-06-03 | At&T Knowledge Ventures, Lp | System and method of displaying a multimedia timeline |
US8301618B2 (en) | 2008-02-26 | 2012-10-30 | Microsoft Corporation | Techniques to consume content and metadata |
US8358909B2 (en) * | 2008-02-26 | 2013-01-22 | Microsoft Corporation | Coordinated output of messages and content |
US9264669B2 (en) | 2008-02-26 | 2016-02-16 | Microsoft Technology Licensing, Llc | Content management that addresses levels of functionality |
EP2141674B1 (de) * | 2008-07-01 | 2019-03-06 | Deutsche Telekom AG | Anordnung mit fernbedienbarem Gerät |
US9129008B1 (en) * | 2008-11-10 | 2015-09-08 | Google Inc. | Sentiment-based classification of media content |
US8291459B2 (en) * | 2009-07-15 | 2012-10-16 | Comcast Cable Communications, Llc | Communication signaling engine |
US20110067059A1 (en) * | 2009-09-15 | 2011-03-17 | At&T Intellectual Property I, L.P. | Media control |
US8694313B2 (en) * | 2010-05-19 | 2014-04-08 | Google Inc. | Disambiguation of contact information using historical data |
KR20120020853A (ko) * | 2010-08-31 | 2012-03-08 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US9858343B2 (en) | 2011-03-31 | 2018-01-02 | Microsoft Technology Licensing Llc | Personalization of queries, conversations, and searches |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US9244984B2 (en) | 2011-03-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Location based conversational understanding |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
US8897897B2 (en) | 2011-05-25 | 2014-11-25 | Remote Technologies, Inc. | Companion control interface for smart devices |
US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
US8830165B1 (en) | 2012-01-24 | 2014-09-09 | Google Inc. | User interface |
CN103297725A (zh) * | 2012-02-28 | 2013-09-11 | 联想(北京)有限公司 | 一种电子设备控制方法及装置、遥控器 |
US9804759B2 (en) | 2012-05-09 | 2017-10-31 | Apple Inc. | Context-specific user interfaces |
JP6073881B2 (ja) * | 2012-06-19 | 2017-02-01 | 株式会社Nttドコモ | 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム |
US9053708B2 (en) * | 2012-07-18 | 2015-06-09 | International Business Machines Corporation | System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment |
TW201408050A (zh) * | 2012-08-09 | 2014-02-16 | Wistron Corp | 控制方法與影音播放系統 |
CN103578472A (zh) * | 2012-08-10 | 2014-02-12 | 海尔集团公司 | 电器设备的控制方法和控制装置 |
US8473300B1 (en) * | 2012-09-26 | 2013-06-25 | Google Inc. | Log mining to modify grammar-based text processing |
US9191707B2 (en) | 2012-11-08 | 2015-11-17 | Bank Of America Corporation | Automatic display of user-specific financial information based on audio content recognition |
US9027048B2 (en) | 2012-11-14 | 2015-05-05 | Bank Of America Corporation | Automatic deal or promotion offering based on audio cues |
KR20140093303A (ko) * | 2013-01-07 | 2014-07-28 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어 방법 |
WO2014143776A2 (en) | 2013-03-15 | 2014-09-18 | Bodhi Technology Ventures Llc | Providing remote interactions with host device using a wireless device |
US20150032238A1 (en) | 2013-07-23 | 2015-01-29 | Motorola Mobility Llc | Method and Device for Audio Input Routing |
CN104750257A (zh) * | 2013-12-30 | 2015-07-01 | 鸿富锦精密工业(武汉)有限公司 | 键盘组合及语音识别方法 |
US11314826B2 (en) | 2014-05-23 | 2022-04-26 | Samsung Electronics Co., Ltd. | Method for searching and device thereof |
US9990433B2 (en) | 2014-05-23 | 2018-06-05 | Samsung Electronics Co., Ltd. | Method for searching and device thereof |
US20150350146A1 (en) | 2014-05-29 | 2015-12-03 | Apple Inc. | Coordination of message alert presentations across devices based on device modes |
EP4365725A2 (en) * | 2014-05-30 | 2024-05-08 | Apple Inc. | Continuity |
DE102014108371B4 (de) * | 2014-06-13 | 2016-04-14 | LOEWE Technologies GmbH | Verfahren zur Sprachsteuerung von unterhaltungselektronischen Geräten |
EP4036685A1 (en) | 2014-06-27 | 2022-08-03 | Apple Inc. | Reduced size user interface |
TWI647608B (zh) | 2014-07-21 | 2019-01-11 | 美商蘋果公司 | 遠端使用者介面 |
US10339293B2 (en) | 2014-08-15 | 2019-07-02 | Apple Inc. | Authenticated device used to unlock another device |
EP4050467A1 (en) | 2014-09-02 | 2022-08-31 | Apple Inc. | Phone user interface |
DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
AU2017100667A4 (en) | 2016-06-11 | 2017-07-06 | Apple Inc. | Activity and workout updates |
DK201670622A1 (en) | 2016-06-12 | 2018-02-12 | Apple Inc | User interfaces for transactions |
US10992795B2 (en) | 2017-05-16 | 2021-04-27 | Apple Inc. | Methods and interfaces for home media control |
US11431836B2 (en) | 2017-05-02 | 2022-08-30 | Apple Inc. | Methods and interfaces for initiating media playback |
US20220279063A1 (en) | 2017-05-16 | 2022-09-01 | Apple Inc. | Methods and interfaces for home media control |
CN111343060B (zh) | 2017-05-16 | 2022-02-11 | 苹果公司 | 用于家庭媒体控制的方法和界面 |
CN107871500B (zh) * | 2017-11-16 | 2021-07-20 | 百度在线网络技术(北京)有限公司 | 一种播放多媒体的方法和装置 |
US10991369B1 (en) * | 2018-01-31 | 2021-04-27 | Progress Software Corporation | Cognitive flow |
US11010121B2 (en) | 2019-05-31 | 2021-05-18 | Apple Inc. | User interfaces for audio media control |
EP4231124A1 (en) | 2019-05-31 | 2023-08-23 | Apple Inc. | User interfaces for audio media control |
US11477609B2 (en) | 2019-06-01 | 2022-10-18 | Apple Inc. | User interfaces for location-related communications |
US11481094B2 (en) | 2019-06-01 | 2022-10-25 | Apple Inc. | User interfaces for location-related communications |
US11392291B2 (en) | 2020-09-25 | 2022-07-19 | Apple Inc. | Methods and interfaces for media control with dynamic feedback |
US11847378B2 (en) | 2021-06-06 | 2023-12-19 | Apple Inc. | User interfaces for audio routing |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05143640A (ja) * | 1991-11-20 | 1993-06-11 | Csk Corp | 日本語構文解析システム |
JPH06266779A (ja) * | 1993-03-15 | 1994-09-22 | Hitachi Ltd | 制御装置 |
JPH09322086A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Ltd | 番組予約システム |
JPH10191468A (ja) * | 1996-10-25 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 音声及び映像システム |
JPH10512420A (ja) * | 1995-10-02 | 1998-11-24 | スターサイト テレキャスト インコーポレイテッド | テレビジョンスケジュール情報を供給するシステム及び方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5267323A (en) | 1989-12-29 | 1993-11-30 | Pioneer Electronic Corporation | Voice-operated remote control system |
US5774859A (en) | 1995-01-03 | 1998-06-30 | Scientific-Atlanta, Inc. | Information system having a speech interface |
DE19615437C1 (de) * | 1996-04-19 | 1997-07-31 | Univ Karlsruhe | Verfahren und Einrichtung zur Programmierung eines Videorecorders |
AU3294997A (en) | 1996-06-13 | 1998-01-07 | Starsight Telecast Incorporated | Method and apparatus for searching a guide using program characteristics |
US5878385A (en) | 1996-09-16 | 1999-03-02 | Ergo Linguistic Technologies | Method and apparatus for universal parsing of language |
CA2267895A1 (en) | 1996-10-08 | 1998-04-16 | Allen Chang | Talking remote control with display |
EP0911808B1 (en) * | 1997-10-23 | 2002-05-08 | Sony International (Europe) GmbH | Speech interface in a home network environment |
JPH11224179A (ja) * | 1998-02-05 | 1999-08-17 | Fujitsu Ltd | 対話インタフェース・システム |
US6246981B1 (en) * | 1998-11-25 | 2001-06-12 | International Business Machines Corporation | Natural language task-oriented dialog manager and method |
US6314398B1 (en) | 1999-03-01 | 2001-11-06 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method using speech understanding for automatic channel selection in interactive television |
US6643620B1 (en) | 1999-03-15 | 2003-11-04 | Matsushita Electric Industrial Co., Ltd. | Voice activated controller for recording and retrieving audio/video programs |
US6324512B1 (en) * | 1999-08-26 | 2001-11-27 | Matsushita Electric Industrial Co., Ltd. | System and method for allowing family members to access TV contents and program media recorder over telephone or internet |
-
1999
- 1999-08-26 US US09/383,762 patent/US6553345B1/en not_active Expired - Lifetime
-
2000
- 2000-08-15 DE DE60023613T patent/DE60023613D1/de not_active Expired - Lifetime
- 2000-08-15 ES ES00306975T patent/ES2251942T3/es not_active Expired - Lifetime
- 2000-08-15 EP EP00306975A patent/EP1079371B1/en not_active Expired - Lifetime
- 2000-08-25 JP JP2000255970A patent/JP3554262B2/ja not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05143640A (ja) * | 1991-11-20 | 1993-06-11 | Csk Corp | 日本語構文解析システム |
JPH06266779A (ja) * | 1993-03-15 | 1994-09-22 | Hitachi Ltd | 制御装置 |
JPH10512420A (ja) * | 1995-10-02 | 1998-11-24 | スターサイト テレキャスト インコーポレイテッド | テレビジョンスケジュール情報を供給するシステム及び方法 |
JPH09322086A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Ltd | 番組予約システム |
JPH10191468A (ja) * | 1996-10-25 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 音声及び映像システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005538583A (ja) * | 2002-08-20 | 2005-12-15 | テレノール アーアスアー | 通信ネットワークを介しサービス、アプリケーション及び/またはコンテンツにアクセスするためのシステム及び方法 |
KR100500962B1 (ko) * | 2002-11-29 | 2005-07-14 | 주식회사 알티캐스트 | 터치 스크린이 구비된 대화형 텔레비전의 무선 입력 장치 |
JP2008518570A (ja) * | 2004-10-26 | 2008-05-29 | ヤフー! インコーポレイテッド | サーチ結果を提示するためのシステム及び方法 |
WO2007049569A1 (ja) * | 2005-10-24 | 2007-05-03 | Advanced Media, Inc. | 情報検索システム及びサーバ装置 |
Also Published As
Publication number | Publication date |
---|---|
DE60023613D1 (de) | 2005-12-08 |
JP3554262B2 (ja) | 2004-08-18 |
EP1079371A1 (en) | 2001-02-28 |
US6553345B1 (en) | 2003-04-22 |
EP1079371B1 (en) | 2005-11-02 |
ES2251942T3 (es) | 2006-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3554262B2 (ja) | テレビジョン及びマルチメディアの検索及び要求に対して自然言語のモダリティーを可能にする汎用遠隔制御 | |
JP3711089B2 (ja) | 音声認識及び自然言語を用いる家庭活動の自動制御 | |
JP3550536B2 (ja) | 音声認識及び自然言語を用いたテレビジョン内容の自動的なフィルタリング | |
JP3577454B2 (ja) | 記録されたテレビジョン放送についての情報を記憶するための機構 | |
US6324512B1 (en) | System and method for allowing family members to access TV contents and program media recorder over telephone or internet | |
EP1033701B1 (en) | Apparatus and method using speech understanding for automatic channel selection in interactive television | |
JP3566194B2 (ja) | インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法 | |
US6415257B1 (en) | System for identifying and adapting a TV-user profile by means of speech technology | |
US8805691B2 (en) | Providing programming information in response to spoken requests | |
JP3657844B2 (ja) | テレビ番組自動検索システム | |
US6643620B1 (en) | Voice activated controller for recording and retrieving audio/video programs | |
EP1079615A2 (en) | System for identifying and adapting a TV-user profile by means of speech technology | |
KR20100067174A (ko) | 음성 인식을 이용한 메타데이터 검색기, 검색 방법, iptv 수신 장치 | |
US6741791B1 (en) | Using speech to select a position in a program | |
WO2001084539A1 (en) | Voice commands depend on semantics of content information | |
Wittenburg et al. | The prospects for unrestricted speech input for TV content search | |
KR101606170B1 (ko) | Iptv 방송 시스템, 서버 및 발성목록 생성 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040506 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3554262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |