JP2001169269A - インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法 - Google Patents

インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法

Info

Publication number
JP2001169269A
JP2001169269A JP2000255968A JP2000255968A JP2001169269A JP 2001169269 A JP2001169269 A JP 2001169269A JP 2000255968 A JP2000255968 A JP 2000255968A JP 2000255968 A JP2000255968 A JP 2000255968A JP 2001169269 A JP2001169269 A JP 2001169269A
Authority
JP
Japan
Prior art keywords
information
user
search
natural language
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000255968A
Other languages
English (en)
Other versions
JP3566194B2 (ja
Inventor
Roland Kuhn
ローランド・クーン
Jean-Claude Junqua
ジャン−クロード・ジュンカ
Tony Davis
トニー・デイビス
Weiying Li
ウェイイン・リ
Yi Zhao
イ・ザオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2001169269A publication Critical patent/JP2001169269A/ja
Application granted granted Critical
Publication of JP3566194B2 publication Critical patent/JP3566194B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 ユーザと対話することで、ユーザが必要とす
る情報をインターネットから検索しかつ提供する対話型
テレビジョンシステムを提供する。 【解決手段】 ユーザは音声認識部及び自然言語構文解
析部を含む音声制御可能なシステムに対して自然言語の
要求を発話し、上記構文解析部は目的付けられた複数の
文法に基づいてユーザの音声から意味的内容を抽出す
る。検索エンジン指令部はそれに応答して、複数の検索
エンジンを同時に動作させ、複数の検索エンジンから得
られた結果は、電子番組ガイド及び予め記憶されたユー
ザプロファイルデータから抽出された情報に基づいてフ
ィルタリングされる。上記結果はスクリーン上、又は合
成された音声を介して表示される。好ましいシステムは
固定された文法と、更新可能な又はダウンロードされた
文法とを含み、それによってシステムが拡張のための学
習なしに用いられ、さらにユーザの特定の目的に対応す
る能力を可能にする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般に、対話式の
テレビジョンと情報の検索とに関する。特に本発明は、
音声制御可能なシステムであって、それによって情報に
対するユーザの発話された要求が、認識され、構文解析
され、ユーザの要求に対して適切な情報を検索するため
の検索エンジンへと供給されるシステムに関する。
【０００２】
【従来の技術】視聴者にとって利用可能なテレビジョン
番組の数と種類は急速に拡大している。従って、視聴者
は、彼らの嗜好や必要に適した放送を検索する迅速でユ
ーザフレンドリーな方法を必要としている。テレビジョ
ン番組についての多くの情報をさまざまなインターネッ
トサイトの上で利用できるが、それらのサイトへのアク
セスにはコンピュータにログオンして、キーワードをタ
イプすることが必要とされる。
【０００３】
【発明が解決しようとする課題】理想的には、ユーザ
は、テレビジョンに向かって声に出された要求をして、
それに要求された情報を取得させることによって、彼又
は彼女がテレビジョンを使用している間に複数のインタ
ーネットサイトから情報を取得できることを希望する。
このように、ユーザは彼又は彼女が何を見たいかを、例
えば「水球の国際試合を何か見せなさい（Show me any
international water polo event）」とテレビジョンに
言うだけで、テレビジョンはインターネットにアクセス
し、そのような番組がいつ、どのチャンネルで放送され
るかを発見する。ダウンロードされた情報を用いて、テ
レビジョンは、「どのチームが競技しているか（What t
eams are playing ?）」というような放送についての質
問にも答えることができる。
【０００４】さらに例として山登りについての特定の番
組を見ているユーザは、最も高い山頂や、それらが初め
て登られたときについてのより多くの情報を望むかもし
れない。ユーザはテレビジョンにこれらの質問に対する
答えを見つけ、次いで、結果をスクリーン上で表示し、
又は合成された音声の応答を介して示すように要求でき
ることを希望する。残念ながら、テレビジョンとの、こ
のタイプの複雑な対話は可能ではなかった。
【０００５】
【課題を解決するための手段】本発明はこの事項におい
て新しい分野を切り開く。本発明は、ユーザの発話され
た指令又は照会から意味的内容又は意味を抽出し、１つ
又はそれ以上のインターネット検索エンジンに供給する
ことに適するように検索要求を定式化する、関連付けら
れた言語構文解析部を備えた音声認識システムを提供す
る。上記構文解析部は変更可能な文法を含み、それによ
って、それは与えられた文脈の中のユーザの発話された
要求の意味を理解することができる。上記文法は、ユー
ザが現在何を視聴しているかという知識に基づき、イン
ターネットを介してそれ自身で変更してもよい。この知
識は、電子番組ガイドによって、又はディジタルテレビ
ジョンのデータストリームの一部として供給されてもよ
い。
【０００６】複数の検索エンジンから得られる結果は、
構文解析部によってさらに分析され、ユーザの元の照会
に応答する最も適当な候補を選択してもよい。次いで、
これらの結果は、スクリーン上で、又は合成された音声
を介して、又はその両方でユーザに提供される。
【０００７】本発明と、その目的及び利点のより完全な
理解のためには、以下の明細書及び添付の図面を参照せ
よ。
【０００８】
【発明の実施の形態】図１を参照すると、音声制御可能
な情報アクセスシステムの好ましい本実施形態は、適当
なマイクロフォンインターフェースを介して入力された
音声を供給する音声認識部１０を備える。この点につい
て、上記マイクロフォンは、音声認識部１０に、ケーブ
ルによって取り付けられているか、又は無線接続を介し
て接続されている。上記マイクロフォンは、例えば、テ
レビジョンのハンドヘルドのリモートコントローラ又は
他の情報機器の中にパッケージ化されていてもよい。
【０００９】音声認識部１０の出力は、自然言語構文解
析部１２に接続されている。上記自然言語構文解析部
は、ユーザによって供給された発話された単語、フレー
ズ及び文の意味解釈又は意味を抽出する。以下でより完
全に議論されるように、自然言語構文解析部１０は、好
ましくは目的付けられたタスクに基づいて構成される予
め画成された複数の文法のセットを用いて動作する。好
ましい本実施形態においては、これらの文法は２つのタ
イプ、すなわち固定された文法１４及びダウンロードさ
れた文法１６のうちの１つとしてカテゴリに分けられて
もよい。
【００１０】上記固定された文法は、システムがインス
トレーションしたときに即座に実行することができる、
目的づけられた複数のタスクの予め画成されたセットを
表現する。例えば、固定された文法は、自然言語構文解
析部に「水球の国際試合を見つけてください（Please f
ind me an international water polo event）」といっ
た文を理解できるようにする。
【００１１】固定された文法を拡張して、オプションの
ダウンロードされた文法をシステムに付加することがで
き、自然言語構文解析部に、もとは元のパッケージには
提供されなかった、異なるクラスの文を理解する能力を
与える。これらの付加的なダウンロードされた文法は、
システムの能力を周期的（システムの製造業者が新しい
機能強化又は新しい特徴を開発したとき）に拡張するこ
とに、又はユーザが特に関心を持ったサードパーティー
の機能強化を付加することに用いることができる。
【００１２】例えば、特定のユーザが、世界中のユーザ
と対話的にチェスをすることに関心を持っているとき、
ダウンロードされた文法を増大させて、チェスの駒を動
かす指令を与えるために必要な文法をシステムに含ませ
ることができる。
【００１３】システムの基礎を成す能力のほとんどは、
インターネット上で発見される豊富な情報のコンテンツ
にアクセスするその能力に由来する。システムは、自然
言語構文解析部１２からの意味的命令を受信する検索エ
ンジン指令部１８を含む。上記検索エンジン指令部は、
多くの情報取り扱い処理のハブに存在している。検索エ
ンジン指令部はインターネット接続モジュール２０に接
続され、上記インターネット接続モジュール２０は、イ
ンターネット２２へのアクセスを与える適当なサービス
プロバイダとの通信に必要な適当なＴＣＰ／ＩＰプロト
コルを有する。検索エンジン指令部は、自然言語構文解
析部１２によって抽出されたユーザの入力に基づいて、
複数の検索要求を定式化する。上記指令部１８は、イン
ターネット上の複数のサードパーティーによって保持さ
れる１つ又はそれ以上の検索エンジンにハンドオフする
ために適当なように、複数の検索要求を定式化する。図
１において、２４において３つの検索エンジンが図示さ
れている。適当な検索エンジンの例は、ヤフー（登録商
標）（Ｙａｈｏｏ（登録商標））、アルタビスタ（Ａｌ
ｔａＶｉｓｔａ（登録商標））、エキサイト（Ｅｘｃｉ
ｔｅ）、ライコス（Ｌｙｃｏｓ）、ゴートゥー（ＧｏＴ
ｏ）などを含む。本質的には、検索エンジン指令部１８
は、全ての検索エンジンと平行して通信し、ユーザの発
話された照会に応答して、位置情報のタスク上のそれら
の各々に送る。
【００１４】次いで、複数の検索エンジンは、インター
ネット上で発見されたユーザの要求に応答する情報を識
別する。典型的には、このタイプの検索エンジンは、検
索された情報がユーザの要求に対してどのくらい適当に
応答するかを示す、優先度のスコア又は確率のスコアを
返信する。この点では、異なる検索エンジンは、そのよ
うな確率を決定するために異なるアルゴリズムを用いて
いる。従って、複数の検索エンジンに平行してアクセス
する能力を有することは、検索された情報の豊富さを向
上させる。言い換えると、全ての検索エンジンが全ての
行われた照会に同一の情報を返信するわけではないが、
複数の検索エンジンを用いることの結合された効果は、
いかなる単一の検索エンジンのみよりも、より豊富な結
果を生成する。
【００１５】複数の検索エンジンは、要求に応答する複
数のリンク（例えば、ハイパーテキストリンク又はＵＲ
Ｌアドレス）のリストを返信する。典型的には、関連し
た情報を最も含みそうなサイトが最初に示されるよう
に、返信された情報は確率のスコアによって分類され
る。
【００１６】返信された複数の結果は検索エンジン指令
部１８にフィードバックされ、次いで、検索エンジン指
令部１８はフィルタリングのために検索結果プロセッサ
２６に結果を渡す。典型的には、このシステムのユーザ
は、複数の検索エンジンによって識別された全ての情報
を見ることを望んでいない。むしろ、ユーザは典型的に
は最良の１つ又は２つの情報リソースに関心がある。結
果をフィルタリングするために、検索エンジンプロセッ
サ２６は、ユーザが示した好みに基づく、オプションの
複数の情報フィルタ２８を有していてもよい。これらの
情報フィルタは、どの応答がユーザにとってより興味深
いらしいかということと、どの応答が棄却されるべきか
ということとをプロセッサ２６が決定することを補助す
る。好ましい本実施形態は、ユーザがシステムを利用す
ることで収集された履歴データに基づいて、ユーザごと
の基準でこれらの情報フィルタを更新する。
【００１７】検索結果をフィルタリングすることにおい
て非常に重要な情報のアイテムは、ユーザが現在何を見
ているかということの知識から得られる。この情報は、
検索エンジン指令部によるアクセスのために３０に局所
的に記憶されていてもよい、電子番組ガイドから抽出さ
れる。上記電子番組ガイドは、予め決められた時間間隔
での視聴に対して利用可能な各番組についての情報を含
む。上記ガイドは、番組の日付及び時刻、番組タイト
ル、及び番組がどのカテゴリに含まれるか（例えば、コ
メディー、ドラマ、ニュース、スポーツなど）、番組に
どの俳優が出演するか、誰が番組を監督したかなどとい
った他の有用な情報を含む。しばしば、この情報は、ユ
ーザがどの情報を検索することに関心があるかというこ
との決定に関係する。
【００１８】例えば、ユーザがマリリン・モンロー（Ma
rilyn Monroe）が出演している映画を見ているとき、ユ
ーザはこの女優の生涯についてより多くの知識を得るこ
とに関心を持つかもしれない。従って、ユーザはシステ
ムに「主演女優の人生についてもっと教えなさい（Tell
me more about the main actress' life）」と頼み、
システムは、電子番組ガイドから、女優がマリリン・モ
ンローであることを確かめる。
【００１９】電子番組ガイドに含まれる情報は複数の方
法で使用することができる。検索エンジン指令部はこの
情報を利用して、検索エンジン２４に送られる、情報の
ためのそれの複数の要求を定式化することができる。そ
れに加えて、情報が複数の検索エンジンによって返信さ
れたとき、検索エンジン指令部１８は、検索結果プロセ
ッサ２６に、複数の検索結果に加えて、関連した電子番
組ガイドのデータを渡す。このことは、検索結果プロセ
ッサに、得られた結果をフィルタリングするときに、関
連した電子番組ガイドの情報を用いることを可能にす
る。
【００２０】電子番組ガイドは時間を通して変化するた
め、電子番組ガイドデータ記憶装置３０の内容を周期的
な基準で更新することが必要である。検索エンジン指令
部は、インターネットにアクセスすることによって、こ
のことを自動的に実行する。それに代わって、希望する
ならば、電子番組ガイドの情報をテレビジョンシステム
のケーブル又は衛星のリンクを介して取得することがで
きる。
【００２１】上述のシステムがインターネット上で利用
可能な任意の情報にアクセスする能力を有するとき、特
に頑健な実施形態が、ユーザが興味を持っているものと
して選択した情報を含む、ある予め決められた複数のサ
イト、又は多くの視聴者にとって関心のある情報を含む
ようにシステムの製造業者によって指示された複数のサ
イトを指示することによって実装される。そのような予
め指示された複数のサイトから検索された情報は、ユー
ザに対してより高速に検索及び通信されるが、なぜなら
ば複数の検索エンジンを呼び出して、インターネット上
で利用可能な情報の全体を探し回る必要がないからであ
る。
【００２２】説明のために、システムは、ユーザが視聴
している番組について共通して要求された情報を供給す
ることに用いられる、オンライン百科辞典のインターネ
ットサイトにアクセスするように予め構成されていても
よい。例えば、ユーザがインドについての映画を見てい
るとき、システムはその国についての関連した統計を自
動的に検索し、ユーザの要求に応答してそれらをスクリ
ーン上に提供する。
【００２３】この能力の興味深い拡張は、予め選択され
たインターネットウェブサイトからの、マルチメディア
データ又はストリーミングデータの提示を必要とする。
スクリーニングデータの提供によって、ユーザは、フィ
ルムクリップ又はアニメーションとしての補足の素材を
現時点で視聴していることの経験を与えられる。そのよ
うな複数のフィルムクリップ又はアニメーションは、例
えば、コマーシャルによる中断の間に視聴することがで
きる。それに代わって、ユーザがビデオオンデマンドで
提供されるテレビジョンシステムを楽しんでいるとき、
ユーザは元の番組の伝送を一時停止することができ、予
め決められたインターネットサイトから提供された補足
的な情報の視聴を可能にする。
【００２４】検索エンジン指令部は、それ自身、システ
ムの有用さをさらに拡張するために用いてもよいユーザ
プロファイルデータ記憶装置３２を保持する。ユーザプ
ロファイルデータ記憶装置に記憶されたユーザの好み
は、電子番組ガイドの中の情報と結合されて、検索要求
を自動的に生成することができる。従って、システム
が、以前の使い方から、視聴者がある国際試合に興味を
持ったことを確かめたとき、検索エンジン指令部は関連
した情報のための複数の要求を送り、そのような情報が
現在視聴しているコンテキストにおいて適当か否かに基
づいて、上記関連した情報をスクリーン上に表示させる
ことができる。例えば、視聴者の居住している国や地域
についての重要なニュースが発見されたならば、それ
は、国際的なニュースが視聴されている間は、スクリー
ン上に表示することができる。視聴者が映画を見てい
て、同時に記録しているとき、同一のメッセージは抑制
される。
【００２５】好ましい本実施形態は、目的付けられた自
然言語構文解析部を用いる。図２は、自然言語構文解析
部１２の構成要素をより詳細に図示している。特に、音
声理解モジュール１２８は、予め決定された関係するタ
スクに関連した複数の断片を識別するための局所的構文
解析部１６０を含む。また、音声理解モジュール１２８
は、話者の要求の全体の意味を抽出する大域的構文解析
部１６２を含む。
【００２６】局所的構文解析部１６０は、好ましい実施
形態において、いくつかのパス（pass）に加えて、小さ
い複数の文法と、構文解析の仮定を提供するための一意
なスコアリング機構とを利用する。例えば、新しい局所
的構文解析部１０２は、このアプローチに従って、日
付、人名、及び映画のカテゴリのようなフレーズを認識
する。話者が「メル・ブルックスが出演して、１月２３
日より前に放送されたコメディーについて教えなさい
（tell me about a comedy in which Mel Brooks stars
and is shown before January 23rd）」と発話したと
き、局所的構文解析部は、「コメディー」を映画のカテ
ゴリとして、「１月２３日」を日付として、そして「メ
ル・ブルックス」を俳優として認識する。大域的構文解
析部は、それらのアイテム（映画のカテゴリ、日付な
ど）をともにアセンブルし、話者がある拘束条件で映画
についての情報を検索することを望んでいるということ
を認識する。
【００２７】音声理解モジュール１２８は、ある領域
（すなわち、達成されるべきゴール）の意味を符号化す
る知識データベース１６３を含む。この意味で、知識デ
ータベース１６３は、好ましくは参照番号１６５で図示
されるような特定分野のデータベースであり、予め決定
された目標を達成することに関連した特定の動作が可能
であるか否かを決定するために、対話管理部１３０によ
って用いられる。
【００２８】好ましい実施形態は、フレームデータ構造
１６４を介して意味を符号化する。上記フレームデータ
構造１６４は、大域的構文解析部１６２の意味的解釈が
フレームに合致したときに充てんされる空スロット１６
６を含む。例えば、（領域が同調したコマンドである）
フレームデータ構造は、１つの時間周期に対して視聴者
によって要求されたチャンネルを特定するための空スロ
ットを含む。視聴者１２０がチャンネルを提供したと
き、その空スロットはその情報で充てんされる。しかし
ながら、その特定のフレームが、視聴者が最初にその要
求を提供した後で充てんされる必要があるときは、対話
管理部１３０はコンピュータ応答モジュール１３４に命
令して、視聴者１２０に所望のチャンネルを提供するよ
うに依頼する。
【００２９】フレームデータ構造１６４は、好ましく
は、それぞれ代わる代わるに複数のスロットを有する複
数のフレームを含む。１つのフレームは、映画、監督、
及び映画のタイプの属性に割り当てられた複数のスロッ
トを有してもよい。もう１つのフレームは、映画が放送
されている時間、チャンネルなどに関連付けられた属性
に割り当てられた複数のスロットを有してもよい。
【００３０】以下の参考文献は複数の大域的構文解析部
及び複数のフレームを議論している。R. Kuhn and R.
D. Mori, Spoken Dialogues, with Computers (Chapter
14:Sentence Interpretation), Academic Press, ボス
トン，１９９８年。
【００３１】対話管理部１３０は対話履歴データファイ
ル１６７を用い、情報のために話者に尋ねる前に、複数
の空スロットを充てんすることを補助する。対話履歴デ
ータファイル１６７は、本発明の装置を介して発生した
会話のログを含む。例えば、話者が「もう１つのマリリ
ン・モンローの映画を見たい（I'd like to watch anot
her Marilyn Monroe movie）」と発話するとき、対話管
理部１３０は対話履歴データファイル１６７を検査し
て、何の映画をユーザがすでに見たことがあるか、又は
以前の対話のやり取りにおいて拒否したかをチェックす
る。話者が以前に「お熱いのがお好き（Some Like It H
ot）」を拒否していたときは、対話管理部１３０は映画
のタイトルの空スロットを異なるタイトルの映画で充て
んする。十分な数のスロットが充てんされたとき、本発
明は話者に尋ねて、番組の選択を照合しかつ確認する。
従って、対話履歴データファイル１６７の使用を介して
対話管理部１３０によって作られた任意の仮定が正しく
ないと証明されたとき、話者はその仮定を訂正すること
ができる。
【００３２】自然言語構文解析部１２は、ゆるく構成さ
れた自然言語のテキストから、意味的に重要で有意なト
ピックを分析し、かつ抽出する。上記テキストは、対話
又は音声理解システムによって用いられる自動音声認識
システム（ＡＳＲ）の出力として生成された。トピック
情報及びデータを含むよく構成された複数のタグを生成
し、タグ付けされた情報を含む入力テキストの複数のセ
グメントと各タグを関連付けることによって、自然言語
構文解析部１２は自然言語のテキストの入力を新しい表
現に翻訳する。それに加えて、複数のタグは、分離した
リスト、又は意味的なフレームのような他の形式で生成
されてもよい。
【００３３】入力文は以下のような理由によって文法的
に正しくない英文を含むことがあるので、頑健さは自然
言語構文解析部１２の特徴である。その理由は、認識部
への入力はカジュアルな、対話のスタイルであること、
自然言語は中断された文、部分的なフレーズ、挿入、省
略を含むことがあり、又は音声の入力が正しいと考えら
れるときでさえも、音声認識部によって誤りであると間
違って認識されることがあるということである。自然言
語構文解析部１２は全てのタイプの入力を頑健に扱い、
可能な限り多くの情報を抽出する。
【００３４】図３は自然言語構文解析部２４の局所的構
文解析部１６０の異なる構成要素を図示している。自然
言語構文解析部１２は、好ましくは、固定小数点の計算
としてマルチパスのアプローチにおける一般化された構
文解析技術を利用する。各トピックは、文脈依存のＬＲ
（左−右及び最右導出）文法として記述され、曖昧さを
許容する。以下は、文脈依存のＬＲ文法に関連した参考
文献である。A. Aho and J. D. Ullman, Principal of
Compiler Design, Addison Wesley PublishingCo., Rea
ding, Massachusetts (1977); and N Tomita, Generali
zed LR Parsing, Kluwer Academic Publishers, Bosto
n, Massachusetts (1991)。
【００３５】計算の各パスにおいて、一般化された構文
解析アルゴリズムは好ましくは、各目的とされたトピッ
ク（targeted topic）に対して独立に、全ての可能な
（完全及び部分的の両方の）構文解析木を生成するため
に用いられる。各パスはいくつかの選択肢となる複数の
構文解析木を潜在的には生成可能で、各構文解析木は特
定のトピックの可能な異なる解釈を表現する。好ましく
は平行で独立したパスを通る複数のパスにより、結果と
して、異なるトピックの間の曖昧さ及び重複が実質的に
除去される。一般化された構文解析アルゴリズムは、シ
ステムに存在する文脈情報を利用して（Ｎ）ベスト候補
が選択されるように、全ての可能な構文解析木をスコア
計算するシステマティックな方法である。
【００３６】局所的構文解析システム１６０は、語彙解
析２２０と、各トピックに対する平行な構文解析森の生
成（例えば生成器２３０及び２３２）と、一般に参照番
号２３４で図示される、構文解析された成分の分析及び
合成との、３つのステージで実行される。
【００３７】語彙解析（Lexical analysis） 話者は、入力文２１８を生成する自動音声認識部２１７
によって認識されるフレーズを発話する。語彙解析ステ
ージ２２０は識別をし、語彙フィルタ２２６及び２２８
を用いて、入力文２１８の中の（拡張文法（extensive
grammars）を必要としない）複数のトピックに対して複
数のタグを生成する。これらは、例えば映画名、映画の
カテゴリ、製作者、男優及び女優の名前などを含む。言
及された例示的な複数のタグにおいて必要とされる複数
のキーワードを用いた、入力文２１８の通常の拡張スキ
ャン（regular-expansion scan）は、典型的にはこのレ
ベルで十分である。また、このステージで実行されるこ
とは、特定の文法の辞書（lexicon）の一部ではない、
入力文の中の複数の単語のタグ付けである。これらの単
語は、そのような雑音の単語（noise words）が文字
「Ｘ」で置き換えられるように、Ｘ−タグを用いて表示
される。
【００３８】平行な構文解析森の生成 構文解析部１２は、各トピックを個別に記述し、かつ構
文解析するために、高レベルの一般的な構文解析戦略を
用い、複数のタグを生成し、それらを入力ストリームに
マッピングする。組織されていない入力テキスト２１８
の性質により、各個別のトピックの構文解析部は、好ま
しくは、できるだけ多くの言語を受容し、重要ではない
全ての単語を無視し、挿入及び削除の誤りを扱う。各ト
ピックの構文解析は、ＬＲ構文解析において用いられる
ものとよく似たメタレベルの性質を有する言語を用い
て、文脈依存の文法の複数のルールをデザインすること
を必要とする。文法の例は、文法Ａ２４０及び文法Ｂ２
４２を含む。本発明のアプローチを用いて、トピックの
文法２４０及び２４２は、ＬＲ型文法であり、複数の冗
語を含み、シフトの除去及びコンフリクトの減少を除く
ように記述される。入力文の構文解析の結果は、文法の
性質に基づいて、全ての可能な構文解析結果である。
【００３９】生成器２３０及び２３２は、構文解析森２
５０及び２５２をそれらのトピックに対して生成する。
タグ生成は、構文解析の間に取得された構文解析木にお
いて発見された実際の情報を合成することによって実行
される。タグ生成は、それぞれタグ２６４及び２６６を
生成する、タグ及びスコア生成器２６０及び２６２を介
して達成される。また、各識別されたタグは、入力文中
の複数の入力単語のどのセットが上記タグによってカバ
ーされるかについて、情報を搬送する。続いて、上記タ
グはそのカバーセット（cover-set）を置き換える。好
ましい実施形態において、文脈情報２６７は、生成器２
６０及び２６２などによって、タグ及びスコア生成のた
めに利用される。文脈情報２６７は、以下で議論され
る、発見的スコア係数の技術に関連付けられた重みを調
整するためのスコアの発見において利用される。文脈情
報２６７は、好ましくは、単語コンフィデンスベクトル
２６８及び対話文脈荷重２６９を含む。しかしながら、
構文解析部１２は、単語コンフィデンスベクトル２６８
及び対話文脈荷重２６９の双方を用いることに制限され
ず、文脈情報２６７を用いないことと同様に、一方を用
いて他方を排除することを含むことが理解されるべきで
ある。
【００４０】自動音声認識処理ブロック２１７は、入力
分２１８中の複数の単語がどの程度十分に認識されたか
を示す単語コンフィデンスベクトル２６８を生成する。
対話管理部１３０は、対話の状態を決定することによっ
て、対話文脈荷重２６９を生成する。例えば、対話管理
部１３０は、ユーザに、どの視聴時刻が好ましいのかと
いった特定のトピックについて尋ねる。この要求のため
に、対話管理部１３０は、対話の状態が時刻に対して適
応されているということを決定する。対話管理部１３０
は、検出された時刻に対して適応された単語により重い
荷重をかける適当な処理を通知するために、対話文脈荷
重２６９を提供する。
【００４１】タグ−成分の合成 前のステージの、トピックを見分ける構文解析部は、局
所的構文解析部の最終の出力を形成するために分析さ
れ、かつ互いに結合される必要がある、非常に多くの量
の情報を生成する。構文解析部１２は、好ましくは、各
トピックを見分けて、結果として複数のタグの候補を生
成するということにおいて、可能な限り「積極的（aggr
essive）」である。それに加えて、複数の数字、又は
「間に（between）」「前に（before）」「及び（an
d）」「又は（or）」「辺りに（around）」などのよう
な、あるキーワードが存在し、そして特にこれらの単語
が認識の誤りによって導入又は紛失されるときに、それ
に代わる多くのタグの候補を構成することが可能であ
る。例えば、入力文は挿入又は削除の誤りを有すること
がある。結合するフェーズは、どの複数のタグが入力の
より有意な解釈を形成するかを決定する。構文解析部１
２は発見的方法を決定し、Ｎ−ベスト候補の選択処理を
用いるそれらに基づいて選択をする。各生成されたタグ
は、タグのカバーセットと呼ばれる、入力された単語の
ストリングの中の複数の単語のセットに対応する。
【００４２】複数のタグのカバーセットがスコアを生成
するために用いられる、発見的方法が用いられる。上記
スコアは、おおよそ、カバーセットのサイズと、カバー
された複数のアイテムの中の複数のギャップの多くの単
語におけるサイズと、あるキーワードの存在に割り当て
られた荷重とに依存する。好ましい実施形態において、
ＡＳＲから導出されたコンフィデンスベクトルと対話文
脈情報とは、複数のタグに優先度を割り当てるために利
用される。例えば、チャンネルのタグの構文解析を最初
に適用することで、入力されたストリームから一意に識
別することがより容易であるチャンネルに関連した数を
除去することが潜在的に可能であり、他の複数のタグと
の曖昧さを生成するためにはより少ない数が残される。
好ましくは、対話文脈情報は優先度を調整するために用
いられる。
【００４３】Ｎ−ベスト候補の選択 各パスの最後に、Ｎ−ベストプロセッサ２７０は、複数
のタグに関連付けられた複数のスコアに基づいてＮ−ベ
スト候補を選択し、それぞれ対応する構文解析木におい
て発見された情報を表現するトピック−タグを生成す
る。いったんこの方法で複数のトピックが発見される
と、入力の中の対応する複数の単語はタグ情報によって
置換することができる。上記置換変換は、現在の入力テ
キストから対応する複数の単語を除去する。各パスの出
力２８０は、新しい入力として次のパスへフィードバッ
クされ、上記置換は、競合する文法の間の、あるあいま
いさを除去することを補助し、又は重複するシンボルを
フィルタリングすることによって、よりよい構文解析木
を生成することを補助する。
【００４４】最後のパスにおいて付加的なタグが生成さ
れないとき、計算は終了する。最後のパスの出力は、局
所的構文解析部から大域的構文解析部１６２への出力に
なる。各フェーズはその入力の中の単語の数のみを減少
させ、入力テキストの長さは有限なので、固定小数点の
計算におけるパスの数は、その入力のサイズによって線
形に有界である。
【００４５】以下のスコア係数は、構文解析木の以下の
属性に基づいた、それに代わる構文解析木のランク付け
に用いられる。 ・終端のシンボルの数。 ・終端でないシンボルの数。 ・構文解析木の深さ。 ・終端のシンボルにおけるギャップのサイズ。 ・各終端のシンボルに関連付けられたＡＳＲ−コンフィ
デンス基準。 ・各終端のシンボル及び終端でないシンボルに関連付け
られた文脈に応じて調整可能な荷重。
【００４６】各パスは、好ましくは、独立に発達させ、
少ない量のデータで動作させることができ、計算機的に
は安価な方法である、個別のトピックに対応する。自然
言語構文解析部１２のアーキテクチャは、新しいトピッ
クに対して付加的な複数のパス及び文法を組み込むよう
に柔軟でかつモジュール化されていて、又は、複数の特
定のトピックに対して発見的方法を変更することは容易
であり、またこのことは異なるシステムの間で共有する
ことができる再利用可能な構成要素を容易に開発するこ
とを可能にする。
【００４７】
【発明の効果】前述のことから、本発明はテレビジョン
の視聴者にインターネットから取得された有用な情報を
提供することに効果的に適応される。音声制御可能な、
自然言語のインターフェースは、テレビジョンとインタ
ーネットの双方の楽しみと有用さを大幅に拡張すること
ができる、ユーザフレンドリーで、使うことが簡単なシ
ステムを生成する。システムを用いた結果は、受動的な
テレビジョンの視聴と、対話的なインターネットの情報
検索との自然な混合である。
【００４８】本発明はその好ましい本実施形態において
記述されたが、添付された請求項に示された本発明の精
神から離れることなく、本発明を変形できることが理解
されるだろう。
【図面の簡単な説明】
【図１】 本発明の好ましい本実施形態のブロック図で
ある。
【図２】 本発明の好ましい本実施形態に係る自然言語
構文解析部の構成要素を図示するブロック図である。
【図３】 本発明の好ましい本実施形態に係る局所的構
文解析部の構成要素を図示するブロック図である。
【符号の説明】
１０…音声認識部、 １２…自然言語構文解析部、 １４…固定された文法、 １６…ダウンロードされた文法、 １８…検索エンジン指令部、 ２０…インターネット接続モジュール、 ２２…インターネット、 ２４…検索エンジン、 ２６…検索結果プロセッサ、 ２８…情報フィルタ、 ３０…電子番組ガイド、 ３２…ユーザプロファイルデータ記憶装置、 １２８…音声理解モジュール、 １３０…対話管理部、 １３４…コンピュータ応答モジュール、 １６０…局所的構文解析部、 １６２…大域的構文解析部、 １６３…知識データベース、 １６４…フレームデータ構造、 １６５…特定分野、 １６６…空スロット、 １６７…対話履歴データファイル、 ２１７…自動音声認識部、 ２１８…入力文、 ２２０…語彙解析、 ２２６，２２８…語彙フィルタ、 ２３０，２３２…構文解析森生成器、 ２３４…構文解析された成分の分析及び合成、 ２４０…文法Ａ、 ２４２…文法Ｂ、 ２６０，２６２…タグ及びスコア生成器、 ２６４，２６６…タグ、 ２６７…文脈情報、 ２６８…単語コンフィデンスベクトル、 ２６９…対話文脈荷重、 ２７０…Ｎ−ベストプロセッサ、 ２８０…出力。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 3/16 ３３０ Ｇ０６Ｆ 3/16 ３３０Ｅ 17/30 １１０ 17/30 １１０Ｆ １７０ １７０Ｄ ３３０ ３３０Ｃ Ｇ１０Ｌ 15/18 Ｈ０４Ｎ 5/44 Ａ 15/00 5/445 Ｚ Ｈ０４Ｎ 5/44 Ｇ１０Ｌ 3/00 ５３７Ａ 5/445 ５３７Ｆ ５５１Ｇ (72)発明者 トニー・デイビス アメリカ合衆国93101カリフォルニア州サ ンタ・バーバラ、ウエスト・キャノン・ペ ルディド・ストリート709番 (72)発明者 ウェイイン・リ カナダ、エイチ２エイ・１ダブリュー９、 モントリオール、ジャン−タロン・イース ト3430番、アパートメント・ナンバー１ (72)発明者 イ・ザオ アメリカ合衆国93117カリフォルニア州ゴ レタ、ゲイリー・ウォーク715番、ナンバ ー203

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 音声／動画の番組についての、ネットワ
    ーク上に存在する補足的な情報にアクセスするためのシ
    ステムであって、 ネットワーク上に存在する情報をそれを介して取得する
    ネットワーク接続と、 番組についての情報に対するユーザの入力音声要求を受
    信する音声認識部と、 上記音声認識部に接続され、上記ユーザの情報に対する
    要求の意味的表現を抽出する自然言語構文解析部と、 電子番組ガイドの表現を記憶するデータ記憶装置と、 上記構文解析部に接続され、上記意味的表現及び上記電
    子番組ガイドに基づいて、少なくとも１つの検索要求を
    上記ネットワーク接続を介して少なくとも１つの検索エ
    ンジンに発行する検索エンジン指令部と、 上記検索要求に応答した検索結果を受信し、上記受信さ
    れた検索結果の少なくとも一部を音声／動画の番組につ
    いての情報として上記ユーザに提供する検索結果プロセ
    ッサとを備えたシステム。
  2. 【請求項２】 上記検索結果プロセッサに接続され、音
    声／動画の番組についての合成された音声の情報を上記
    ユーザに提供する音声合成器をさらに備えた請求項１記
    載のシステム。
  3. 【請求項３】 上記ネットワーク接続はインターネット
    への接続を提供する請求項１記載のシステム。
  4. 【請求項４】 上記検索エンジンは、音声／動画の番組
    に関係する予め決められた複数のトピックについての情
    報を含む、予め決められた少なくとも１つのサイトにア
    クセスする請求項１記載のシステム。
  5. 【請求項５】 上記検索エンジン指令部は、ユーザによ
    る情報に対する以前の要求についての履歴データを記憶
    するユーザプロファイルデータ記憶装置を含む請求項１
    記載のシステム。
  6. 【請求項６】 上記検索エンジン指令部は、上記電子番
    組ガイドのデータ記憶装置を更新する機構を含む請求項
    １記載のシステム。
  7. 【請求項７】 上記自然言語構文解析部は、予め画成さ
    れ目的付けられた複数の文法のセットを含む請求項１記
    載のシステム。
  8. 【請求項８】 上記自然言語構文解析部は、上記ネット
    ワーク接続を介してダウンロードされた複数の文法のセ
    ットを記憶するデータ記憶装置を含む請求項１記載のシ
    ステム。
JP2000255968A 1999-08-26 2000-08-25 インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法 Expired - Lifetime JP3566194B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/383,763 US6901366B1 (en) 1999-08-26 1999-08-26 System and method for assessing TV-related information over the internet
US09/383763 1999-08-26

Publications (2)

Publication Number Publication Date
JP2001169269A true JP2001169269A (ja) 2001-06-22
JP3566194B2 JP3566194B2 (ja) 2004-09-15

Family

ID=23514629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000255968A Expired - Lifetime JP3566194B2 (ja) 1999-08-26 2000-08-25 インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法

Country Status (3)

Country Link
US (1) US6901366B1 (ja)
EP (1) EP1094406A3 (ja)
JP (1) JP3566194B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282285A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 音声認識方法及び音声認識装置、並びにそれを用いた番組指定装置
JP2004029268A (ja) * 2002-06-25 2004-01-29 Matsushita Electric Ind Co Ltd 音声対話装置及び音声対話方法
JP2004362280A (ja) * 2003-06-05 2004-12-24 Hitachi Ltd 放送番組蓄積装置
JP2007519047A (ja) * 2004-01-20 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 会話の話題を決定して関連するコンテンツを取得して提示する方法及びシステム
CN100372372C (zh) * 2003-03-24 2008-02-27 微软公司 电子节目指南数据的自由文本和属性搜索
JP2015524105A (ja) * 2012-05-24 2015-08-20 サウンドハウンド，インコーポレイテッド 自然言語処理を可能にするシステム及び方法
JP2015531914A (ja) * 2012-07-31 2015-11-05 ベベオ， インコーポレイテッド 会話型相互作用におけるユーザの意図の曖昧性の解消
JP2017503273A (ja) * 2013-12-31 2017-01-26 グーグル インコーポレイテッド 文脈情報に基づいて検索結果を生成するための方法、システム、および媒体
US10204104B2 (en) 2015-04-14 2019-02-12 Google Llc Methods, systems, and media for processing queries relating to presented media content
US10333767B2 (en) 2013-03-15 2019-06-25 Google Llc Methods, systems, and media for media transmission and management
US10448110B2 (en) 2013-12-31 2019-10-15 Google Llc Methods, systems, and media for presenting supplemental information corresponding to on-demand media content

Families Citing this family (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6513063B1 (en) 1999-01-05 2003-01-28 Sri International Accessing network-based electronic information through scripted online interfaces using spoken input
US6519562B1 (en) * 1999-02-25 2003-02-11 Speechworks International, Inc. Dynamic semantic control of a speech recognition system
US7268823B2 (en) * 1999-06-14 2007-09-11 Medialink Worldwide Incorporated Method and system for the automatic collection and conditioning of closed caption text originating from multiple geographic locations, and resulting databases produced thereby
US7518657B2 (en) * 1999-06-14 2009-04-14 Medialink Worldwide Incorporated Method and system for the automatic collection and transmission of closed caption text
US6513006B2 (en) * 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7047196B2 (en) 2000-06-08 2006-05-16 Agiletv Corporation System and method of voice recognition near a wireline node of a network supporting cable television and/or video delivery
US8095370B2 (en) 2001-02-16 2012-01-10 Agiletv Corporation Dual compression voice recordation non-repudiation system
US7970648B2 (en) * 2001-04-27 2011-06-28 Accenture Global Services Limited Advertising campaign and business listing management for a location-based services system
US7437295B2 (en) * 2001-04-27 2008-10-14 Accenture Llp Natural language processing for a location-based services system
US6944447B2 (en) * 2001-04-27 2005-09-13 Accenture Llp Location-based services
US6848542B2 (en) * 2001-04-27 2005-02-01 Accenture Llp Method for passive mining of usage information in a location-based services system
US7698228B2 (en) * 2001-04-27 2010-04-13 Accenture Llp Tracking purchases in a location-based services system
US7366712B2 (en) 2001-05-31 2008-04-29 Intel Corporation Information retrieval center gateway
US20030074188A1 (en) * 2001-10-12 2003-04-17 Tohgo Murata Method and apparatus for language instruction
US20030093580A1 (en) * 2001-11-09 2003-05-15 Koninklijke Philips Electronics N.V. Method and system for information alerts
EP1315147A1 (en) * 2001-11-27 2003-05-28 Sony International (Europe) GmbH Method for processing user requests with respect to a network of electronic devices
EP1333671A1 (fr) 2002-01-22 2003-08-06 Koninklijke Philips Electronics N.V. Dispositif d'interface destiné à être utilisé avec un dispositif de restitution de contenu multimédia pour faire des recherches sur un contenu multimédia en cours de restitution
US7143035B2 (en) * 2002-03-27 2006-11-28 International Business Machines Corporation Methods and apparatus for generating dialog state conditioned language models
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US20030229895A1 (en) * 2002-06-10 2003-12-11 Koninklijke Philips Electronics N. V. Corporation Anticipatory content augmentation
US7693720B2 (en) * 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
WO2004012431A1 (en) * 2002-07-29 2004-02-05 British Telecommunications Public Limited Company Improvements in or relating to information provision for call centres
US8793127B2 (en) * 2002-10-31 2014-07-29 Promptu Systems Corporation Method and apparatus for automatically determining speaker characteristics for speech-directed advertising or other enhancement of speech-controlled devices or services
US7519534B2 (en) * 2002-10-31 2009-04-14 Agiletv Corporation Speech controlled access to content on a presentation medium
WO2004109549A2 (en) * 2003-06-05 2004-12-16 Koninklijke Philips Electronics N. V. System and method for performing media content augmentation on an audio signal
CA2537977A1 (en) * 2003-09-05 2005-03-17 Stephen D. Grody Methods and apparatus for providing services using speech recognition
US7460652B2 (en) * 2003-09-26 2008-12-02 At&T Intellectual Property I, L.P. VoiceXML and rule engine based switchboard for interactive voice response (IVR) services
US7356475B2 (en) * 2004-01-05 2008-04-08 Sbc Knowledge Ventures, L.P. System and method for providing access to an interactive service offering
US7936861B2 (en) 2004-07-23 2011-05-03 At&T Intellectual Property I, L.P. Announcement system and method of use
US8165281B2 (en) * 2004-07-28 2012-04-24 At&T Intellectual Property I, L.P. Method and system for mapping caller information to call center agent transactions
US20060026049A1 (en) * 2004-07-28 2006-02-02 Sbc Knowledge Ventures, L.P. Method for identifying and prioritizing customer care automation
US7580837B2 (en) 2004-08-12 2009-08-25 At&T Intellectual Property I, L.P. System and method for targeted tuning module of a speech recognition system
US7602898B2 (en) * 2004-08-18 2009-10-13 At&T Intellectual Property I, L.P. System and method for providing computer assisted user support
US20060062375A1 (en) * 2004-09-23 2006-03-23 Sbc Knowledge Ventures, L.P. System and method for providing product offers at a call center
US7197130B2 (en) * 2004-10-05 2007-03-27 Sbc Knowledge Ventures, L.P. Dynamic load balancing between multiple locations with different telephony system
US7742911B2 (en) * 2004-10-12 2010-06-22 At&T Intellectual Property Ii, L.P. Apparatus and method for spoken language understanding by using semantic role labeling
US8015184B2 (en) * 2004-10-26 2011-09-06 Yahoo! Inc. Method and apparatus for a search-enabled remote control device
US7668889B2 (en) 2004-10-27 2010-02-23 At&T Intellectual Property I, Lp Method and system to combine keyword and natural language search results
US7657005B2 (en) * 2004-11-02 2010-02-02 At&T Intellectual Property I, L.P. System and method for identifying telephone callers
US7724889B2 (en) * 2004-11-29 2010-05-25 At&T Intellectual Property I, L.P. System and method for utilizing confidence levels in automated call routing
US7242751B2 (en) 2004-12-06 2007-07-10 Sbc Knowledge Ventures, L.P. System and method for speech recognition-enabled automatic call routing
US7864942B2 (en) * 2004-12-06 2011-01-04 At&T Intellectual Property I, L.P. System and method for routing calls
US20060126808A1 (en) * 2004-12-13 2006-06-15 Sbc Knowledge Ventures, L.P. System and method for measurement of call deflection
US20060126811A1 (en) * 2004-12-13 2006-06-15 Sbc Knowledge Ventures, L.P. System and method for routing calls
EP1672891A1 (en) * 2004-12-14 2006-06-21 Alcatel Method for transferring messages
US8340971B1 (en) * 2005-01-05 2012-12-25 At&T Intellectual Property Ii, L.P. System and method of dialog trajectory analysis
US7751551B2 (en) 2005-01-10 2010-07-06 At&T Intellectual Property I, L.P. System and method for speech-enabled call routing
US7627096B2 (en) * 2005-01-14 2009-12-01 At&T Intellectual Property I, L.P. System and method for independently recognizing and selecting actions and objects in a speech recognition system
US7450698B2 (en) * 2005-01-14 2008-11-11 At&T Intellectual Property 1, L.P. System and method of utilizing a hybrid semantic model for speech recognition
US7627109B2 (en) 2005-02-04 2009-12-01 At&T Intellectual Property I, Lp Call center system for multiple transaction selections
US8130936B2 (en) * 2005-03-03 2012-03-06 At&T Intellectual Property I, L.P. System and method for on hold caller-controlled activities and entertainment
US8223954B2 (en) 2005-03-22 2012-07-17 At&T Intellectual Property I, L.P. System and method for automating customer relations in a communications environment
US7933399B2 (en) * 2005-03-22 2011-04-26 At&T Intellectual Property I, L.P. System and method for utilizing virtual agents in an interactive voice response application
US8751240B2 (en) * 2005-05-13 2014-06-10 At&T Intellectual Property Ii, L.P. Apparatus and method for forming search engine queries based on spoken utterances
US7636432B2 (en) * 2005-05-13 2009-12-22 At&T Intellectual Property I, L.P. System and method of determining call treatment of repeat calls
US8005204B2 (en) 2005-06-03 2011-08-23 At&T Intellectual Property I, L.P. Call routing system and method of using the same
US7657020B2 (en) 2005-06-03 2010-02-02 At&T Intellectual Property I, Lp Call routing system and method of using the same
US8503641B2 (en) 2005-07-01 2013-08-06 At&T Intellectual Property I, L.P. System and method of automated order status retrieval
US8175253B2 (en) * 2005-07-07 2012-05-08 At&T Intellectual Property I, L.P. System and method for automated performance monitoring for a call servicing system
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US8526577B2 (en) * 2005-08-25 2013-09-03 At&T Intellectual Property I, L.P. System and method to access content from a speech-enabled automated system
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8548157B2 (en) 2005-08-29 2013-10-01 At&T Intellectual Property I, L.P. System and method of managing incoming telephone calls at a call center
US7634409B2 (en) 2005-08-31 2009-12-15 Voicebox Technologies, Inc. Dynamic speech sharpening
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070192800A1 (en) * 2006-02-10 2007-08-16 Sbc Knowledge Ventures, Lp Dynamic multimedia channel grouping
US20080005070A1 (en) * 2006-06-28 2008-01-03 Bellsouth Intellectual Property Corporation Non-Repetitive Web Searching
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
NZ575907A (en) * 2006-09-21 2011-03-31 Kyorin Seiyaku Kk 5-substituted benzoxazines
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
JP5464785B2 (ja) * 2006-12-05 2014-04-09 キヤノン株式会社 情報処理装置および情報処理方法
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US8175885B2 (en) * 2007-07-23 2012-05-08 Verizon Patent And Licensing Inc. Controlling a set-top box via remote speech recognition
US8000972B2 (en) * 2007-10-26 2011-08-16 Sony Corporation Remote controller with speech recognition
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8392392B1 (en) * 2008-09-11 2013-03-05 Smith Micro Software, Inc Voice request broker
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20100153112A1 (en) * 2008-12-16 2010-06-17 Motorola, Inc. Progressively refining a speech-based search
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
WO2011059997A1 (en) 2009-11-10 2011-05-19 Voicebox Technologies, Inc. System and method for providing a natural language content dedication service
US9171541B2 (en) 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
WO2013012107A1 (ko) 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US8577671B1 (en) 2012-07-20 2013-11-05 Veveo, Inc. Method of and system for using conversation state information in a conversational interaction system
CN102833633B (zh) * 2012-09-04 2016-01-20 深圳创维－Rgb电子有限公司 一种电视机语音控制系统及方法
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR102211595B1 (ko) * 2012-12-07 2021-02-04 삼성전자주식회사 음성 인식 장치 및 그 제어 방법
US9123330B1 (en) * 2013-05-01 2015-09-01 Google Inc. Large-scale speaker identification
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
TWI521959B (zh) 2013-12-13 2016-02-11 財團法人工業技術研究院 影片搜尋整理方法、系統、建立語意辭組的方法及其程式儲存媒體
KR20150084520A (ko) * 2014-01-14 2015-07-22 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
EP3195145A4 (en) 2014-09-16 2018-01-24 VoiceBox Technologies Corporation Voice commerce
US9898459B2 (en) 2014-09-16 2018-02-20 Voicebox Technologies Corporation Integration of domain information into state transitions of a finite state transducer for natural language processing
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
WO2016061309A1 (en) 2014-10-15 2016-04-21 Voicebox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
US10431214B2 (en) 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10614799B2 (en) 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
US9854049B2 (en) 2015-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for resolving ambiguous terms in social chatter based on a user profile
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10331784B2 (en) 2016-07-29 2019-06-25 Voicebox Technologies Corporation System and method of disambiguating natural language processing requests
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10490185B2 (en) 2017-09-27 2019-11-26 Wipro Limited Method and system for providing dynamic conversation between application and user
US11195534B1 (en) * 2020-03-30 2021-12-07 Amazon Technologies, Inc. Permissioning for natural language processing systems
US20230094234A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Channel-aware semantic coding
DE102022003532A1 (de) 2022-09-27 2024-01-04 Mercedes-Benz Group AG Sprachdialogsystem und Verfahren zu dessen Betrieb sowie Fahrzeug

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5809471A (en) * 1996-03-07 1998-09-15 Ibm Corporation Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary
US5884262A (en) * 1996-03-28 1999-03-16 Bell Atlantic Network Services, Inc. Computer network audio access and conversion system
US5819220A (en) * 1996-09-30 1998-10-06 Hewlett-Packard Company Web triggered word set boosting for speech interfaces to the world wide web
FI106990B (fi) 1996-12-31 2001-05-15 Nokia Mobile Phones Ltd Menetelmä informaation välittämiseksi käyttäjälle
US6209028B1 (en) * 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
US6108706A (en) * 1997-06-09 2000-08-22 Microsoft Corporation Transmission announcement system and method for announcing upcoming data transmissions over a broadcast network
EP0895396A3 (en) 1997-07-03 2004-01-14 Texas Instruments Incorporated Spoken dialogue system for information access
EP1051844B1 (en) 1998-01-23 2012-08-29 Index Systems Inc Home entertainment system and method of its operation
US6266094B1 (en) * 1999-06-14 2001-07-24 Medialink Worldwide Incorporated Method and apparatus for the aggregation and selective retrieval of television closed caption word content originating from multiple geographic locations
US6330537B1 (en) * 1999-08-26 2001-12-11 Matsushita Electric Industrial Co., Ltd. Automatic filtering of TV contents using speech recognition and natural language

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282285A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 音声認識方法及び音声認識装置、並びにそれを用いた番組指定装置
JP2004029268A (ja) * 2002-06-25 2004-01-29 Matsushita Electric Ind Co Ltd 音声対話装置及び音声対話方法
CN100372372C (zh) * 2003-03-24 2008-02-27 微软公司 电子节目指南数据的自由文本和属性搜索
JP2004362280A (ja) * 2003-06-05 2004-12-24 Hitachi Ltd 放送番組蓄積装置
JP2007519047A (ja) * 2004-01-20 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 会話の話題を決定して関連するコンテンツを取得して提示する方法及びシステム
JP2015524105A (ja) * 2012-05-24 2015-08-20 サウンドハウンド，インコーポレイテッド 自然言語処理を可能にするシステム及び方法
JP2015531914A (ja) * 2012-07-31 2015-11-05 ベベオ， インコーポレイテッド 会話型相互作用におけるユーザの意図の曖昧性の解消
US10333767B2 (en) 2013-03-15 2019-06-25 Google Llc Methods, systems, and media for media transmission and management
JP2017503273A (ja) * 2013-12-31 2017-01-26 グーグル インコーポレイテッド 文脈情報に基づいて検索結果を生成するための方法、システム、および媒体
US10448110B2 (en) 2013-12-31 2019-10-15 Google Llc Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10992993B2 (en) 2013-12-31 2021-04-27 Google Llc Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10997235B2 (en) 2013-12-31 2021-05-04 Google Llc Methods, systems, and media for generating search results based on contextual information
US11941046B2 (en) 2013-12-31 2024-03-26 Google Llc Methods, systems, and media for generating search results based on contextual information
US10204104B2 (en) 2015-04-14 2019-02-12 Google Llc Methods, systems, and media for processing queries relating to presented media content
US10984038B2 (en) 2015-04-14 2021-04-20 Google Llc Methods, systems, and media for processing queries relating to presented media content

Also Published As

Publication number Publication date
EP1094406A3 (en) 2001-06-06
JP3566194B2 (ja) 2004-09-15
EP1094406A2 (en) 2001-04-25
US6901366B1 (en) 2005-05-31

Similar Documents

Publication Publication Date Title
JP3566194B2 (ja) インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法
JP3550536B2 (ja) 音声認識及び自然言語を用いたテレビジョン内容の自動的なフィルタリング
JP3554262B2 (ja) テレビジョン及びマルチメディアの検索及び要求に対して自然言語のモダリティーを可能にする汎用遠隔制御
US6513006B2 (en) Automatic control of household activity using speech recognition and natural language
JP3577454B2 (ja) 記録されたテレビジョン放送についての情報を記憶するための機構
EP1033701B1 (en) Apparatus and method using speech understanding for automatic channel selection in interactive television
US6324512B1 (en) System and method for allowing family members to access TV contents and program media recorder over telephone or internet
US6415257B1 (en) System for identifying and adapting a TV-user profile by means of speech technology
US6480819B1 (en) Automatic search of audio channels by matching viewer-spoken words against closed-caption/audio content for interactive television
US7222073B2 (en) System and method for speech activated navigation
JP2004505563A (ja) ビデオ強調用のトランスクリプト・トリガー情報
US20150019217A1 (en) Systems and methods for responding to natural language speech utterance
EP1079615A2 (en) System for identifying and adapting a TV-user profile by means of speech technology
Wittenburg et al. The prospects for unrestricted speech input for TV content search
KR101473264B1 (ko) Tv 디바이스 및 tv 디바이스에서의 대화 서비스 제공 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040609

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3566194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term