JP2001103402A - 記録されたテレビジョン放送についての情報を記憶するための機構 - Google Patents

記録されたテレビジョン放送についての情報を記憶するための機構

Info

Publication number
JP2001103402A
JP2001103402A JP2000255971A JP2000255971A JP2001103402A JP 2001103402 A JP2001103402 A JP 2001103402A JP 2000255971 A JP2000255971 A JP 2000255971A JP 2000255971 A JP2000255971 A JP 2000255971A JP 2001103402 A JP2001103402 A JP 2001103402A
Authority
JP
Japan
Prior art keywords
user
recorded
program
program guide
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000255971A
Other languages
English (en)
Other versions
JP3577454B2 (ja
Inventor
Jean-Claude Junqua
ジャン−クロード・ジュンカ
Roland Kuhn
ローランド・クーン
Tony Davis
トニー・デイビス
Yi Zhao
イ・ザオ
Weiying Li
ウェイイン・リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2001103402A publication Critical patent/JP2001103402A/ja
Application granted granted Critical
Publication of JP3577454B2 publication Critical patent/JP3577454B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/40Combinations of multiple record carriers
    • G11B2220/41Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/107Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36Monitoring, i.e. supervising the progress of recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

(57)【要約】 【課題】 記録されたテレビジョン放送についての情
報を記憶するための機構を備えた対話型のテレビジョン
を提供する 【解決手段】 記憶媒体に記録された番組はリプレイフ
ァイルシステムによってインデックスを付けられてい
る。本システムは、各記録された番組に対する記憶位置
及び番組の識別、及び適当な電気通信リンクからダウン
ロードされた電子番組ガイドからの他のデータを保持す
る。本システムは、ユーザの過去の使用についてのユー
ザデータを、ユーザの記録した任意のインデックスとと
もに記憶してもよい。本システムは、ユーザの関心を調
べるためにユーザに発話させる対話システムに接続され
た音声認識部及び自然言語構文解析部を含むので、自然
言語の音声入力を介してアクセスしてもよい。上記構文
解析部は、ファイルシステムによって保持された電子番
組ガイドのデータ及びユーザデータに対してキーが付与
されたタスクに基づいた文法を用いて動作する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般に、対話型の
テレビジョン、及び対話型の「リプレイ」テレビジョン
に関する。
【0002】
【従来の技術】特に、本発明は、各テレビジョンの所有
者の記憶された複数のテレビジョン放送の「ライブラ
リ」の内容を記述するカタログを自動的に生成するため
の、音声制御可能なシステムに関する。
【0003】
【課題を解決するための手段】ユーザは、情報に対する
要求を複雑な自然言語で話すことによって、システムと
対話する。システムの音声認識部及び自然言語構文解析
部は、ユーザの要求の意味を解釈し、所有者のライブラ
リの中で上記要求に最もよく応答する記録された複数の
アイテムの位置を捜し出す。この方法で、ユーザは、時
間のかかる検索の必要なしに、任意の前もって記録され
た情報に直ちにアクセスすることができる。
【0004】また、システムは、どの記録された番組に
ユーザはより最近になってアクセスしたのか(又は1度
もアクセスしなかったか)についての情報のような、ユ
ーザの特性情報のデータベースを保持する。この情報
は、例えば、記録デバイスの容量が全て占有されている
フル状態に近いときに、どの記録された番組を削除して
もよいかをユーザに提案するために用いてもよい。
【0005】本発明と、その目的及び利点のより完全な
理解のためには、以下の明細書及び添付の図面を参照せ
よ。
【0006】
【発明の実施の形態】基本的な対話型の、リプレイテレ
ビジョンは、ユーザに、どの番組をあとで視聴するため
に記憶するべきかを条件として指定することを可能にす
る。現在の技術は番組内容を記憶するためにハードディ
スクレコーダを用いる。将来においては、ハードディス
クレコーダは、光学的な媒体及び不揮発性のランダムア
クセスメモリを含む他の媒体によって置き換えられるか
もしれない。
【0007】用いられる記憶媒体のタイプに関わらず、
基本的問題は、後の時刻に記憶された情報の位置をどの
ように捜し出すかということである。
【0008】好ましい本実施形態は、情報を記憶し、か
つ検索するための、対話型のマルチモーダルなユーザイ
ンターフェースを提供する。好ましい実施形態のリプレ
イファイルシステムは、ケーブル、衛星又はインターネ
ットを介して利用可能な電子番組ガイドから、各記録さ
れた番組についての情報を取り込む。
【0009】図1を参照すると、ハードディスクレコー
ダの媒体のような記憶媒体が10において図示されてい
る。上記媒体は、情報を後日に検索するために用いられ
るファイルシステム内容アクセステーブルを用いて、番
組内容(すなわち記録された放送)をともに記憶するよ
うに適当に分割されていてもよい。図式的に12で図示
される記憶された番組内容は、任意の適当な物理的ファ
イル記憶装置構造に従って、媒体10上に記憶されても
よい。例えば、内容は、記憶媒体内の特定された開始位
置において、予め決定されたサイズの複数のブロックに
記憶してもよい。
【0010】記憶された番組内容にアクセスするために
用いられるリプレイファイルシステム14もまた媒体1
0上に、又はそれに代わって、何か他の記憶装置又はメ
モリ上に記憶してもよい。ファイルシステムの構造は、
一般に16で図示されている。上記構造は、各記録され
た番組のための記憶位置の記録18を含む。各記憶位置
の記録に記憶された情報は、特定の記憶された番組内容
が存在する場所を示す、媒体10へのポインタ又はアド
レスを構成してもよい。
【0011】各記憶位置の記録に関連付けられたもの
は、以下でより完全に議論されるような、電子番組ガイ
ドから抽出された付加的なデータの集合物である。この
付加的な情報は、例えば、番組の名前又は他の適当なラ
ベルであってもよい、番組の識別子の記録20を含んで
もよい。それに加えて、他の電子番組ガイドのデータ
は、各番組のI.D.と関連して記憶されてもよい。こ
の他の電子番組ガイドのデータは一般に22において図
示され、ネットワークが番組内容を放送する番組のカテ
ゴリ(映画、ニュース、天気など)、放送の日付と時
刻、放送に出演している俳優たち、監督などのような付
加的な情報を含んでもよい。番組のI.D.が知られて
いないならば、この他の電子番組ガイドのデータは記録
された番組の位置を捜し出すように要求されないが、番
組のタイトル又はラベルが知られていないとき、付加的
なデータはユーザとシステムの間の相互の対話を拡張す
るために非常に有用である。
【0012】それに加えて、リプレイファイルシステム
は24において図示される関連付けられたユーザデータ
の記録を含んでもよい。これらの付加的なユーザデータ
の記録は、例えば、特定の番組内容が視聴された日付及
び時刻、番組内容の特に好きな部分を識別するためにユ
ーザが付加した、任意の記録された複数のインデックス
などを含んでもよい。番組が以前に視聴された日付及び
時刻は、記憶媒体が全て占有されているフル状態に近づ
くときに、媒体の内容を選択的に消去する方法を調整す
る、システムの特別の特徴に用いることができる。ユー
ザはユーザデータの記録24に好みを記録することがで
き、上記ユーザデータ記録は、予め決められた時間の後
で特定の記録された選択が自動的に消去されるか否か、
又はそれが視聴されたあとでのみ選択的に消去されるか
否か、又はユーザによって明示的に要求されない限り決
して消去されないか否かということを示す。
【0013】好ましい本実施形態のリプレイファイルシ
ステムの重要な態様は、記録された番組内容の位置を捜
し出すために用いられる情報が、ユーザによって明示的
にファイルシステムに書きこまれる必要がないというこ
とである。むしろ、システムは、ケーブルテレビジョン
又は衛星放送のインフラストラクチャから、又はインタ
ーネット上で利用可能な電子番組ガイドの情報源から、
適当な識別する情報を自動的に抽出する。ユーザが番組
内容を記録するとき、システムは自動的に電子番組ガイ
ドの情報を抽出する。システムは、このことを、特定の
実施形態に依存する、いくつかの機構のうちの1つを介
して実行する。
【0014】1つの実施形態において、番組内容32
が、ユーザによって視聴される、又は記憶媒体10に記
憶されるように、チューナ30は特定のチャンネルに選
局する。チューナは、例えば、適当なケーブルテレビジ
ョンのインフラストラクチャ又は衛星のインフラストラ
クチャに接続されてもよい。チューナが番組内容にアク
セスしている間に、またそれは同一のケーブル又は衛星
のインフラストラクチャから電子番組ガイドのデータ3
4を取得する。チューナ30は電子番組ガイドの情報を
リプレイファイルシステム14にパスし、上記リプレイ
ファイルシステムにおいて、適当な情報が抽出され、記
録された番組のためのファイルシステムの記録に含まれ
る。
【0015】それに代わる実施形態において、電子番組
ガイドの情報は、個別のインターネットアクセスモジュ
ール36によってインターネットからアクセスされても
よい。上記インターネットアクセスモジュール36は、
ケーブルモデムによってインターネットへ、又は電話に
よってインターネットサービスプロバイダへ接続するこ
とができる。上記インターネットアクセスモジュール
は、視聴されている番組に関係する関連する電子番組ガ
イドの情報を取得し、この情報をリプレイファイルシス
テムに記憶する。
【0016】いったん記憶された番組内容及びその関連
付けられたファイルシステム情報が記録されると、ユー
ザはこの記録された情報を検索するために多数の異なる
オプションを有する。システムは、従来の、音声制御可
能でマルチモーダルなユーザインターフェースを使用
し、それによってユーザは、リプレイのための記録され
た情報を要求するために、音声及び/又は(リモートコ
ントローラの押しボタンなどを介して)スクリーン上で
指示された入力の結合を用いることができる。
【0017】音声認識部50は、リモートコントロー
ラ、コーヒーテーブルなどの側に置かれたハンズフリー
デバイス、記憶装置又はテレビジョンセットの中に組み
込まれてもよい適当なマイクロフォンを介して発話され
た要求を受信する。音声認識部からの出力は、自然言語
構文解析部52に供給される。
【0018】好ましい実施形態の自然言語構文解析部
は、異なるユーザの要求を識別するための、予め決めら
れた目的付けられた複数の文法を用いる目的付けられた
構文解析部である。上記目的付けられた複数の文法は、
記憶された番組内容がそれによってインデックスを付け
られる、電子番組ガイドの情報に対応して構成される。
【0019】システムは、自然言語構文解析部52から
の出力と、またスクリーン上で指示された入力との双方
に応答する対話システム54を含む。上記対話システム
は、ユーザと対話し、ユーザがどの記憶された番組又は
複数の番組を検索することに関心を持っているかを確認
するために、必要なときは、付加的な複数の質問をユー
ザに尋ねる能力を有する。上記対話システムはファイル
システムアクセスモジュール56を備える。上記モジュ
ールはリプレイファイルシステムの記録にアクセスし、
ユーザの要求に合致する全てのファイルシステムの記録
を返信する。
【0020】例えば、ユーザはシステムに「映画を見た
い(I would like to watch a movie)」と話すことが
できる。対話システムはそのファイルシステムアクセス
モジュールを用い、記憶媒体上に記録された映画が存在
するか否かを確認する。システム上に記憶された多数の
映画が存在するときは、例えば、対話システムはユーザ
に要求を絞るように指示してもよい。上記指示は、スク
リーン上の指示又は合成された音声の指示、又はその双
方として供給することができる。この場合、指示はユー
ザに、彼又は彼女がどのカテゴリの映画を見ることに興
味を持っているかを尋ね、現在記憶された番組のカテゴ
リを列挙する。次いでユーザはカテゴリを選択すること
ができ、ユーザが視聴するための1つの番組を選択する
まで、システムはユーザに指示することを続ける。
【0021】また、対話システム54は、記録動作又は
他の保守機能を含む、他のシステム動作を介してユーザ
をガイドしてもよい。例えば、ディスクが全て占有され
ているフル状態に近いときに対話システムが呼び出され
てもよく、システムは、電子番組ガイドのデータをチェ
ックすることによって、要求された番組がディスクの残
りの部分に入らないということを決定することができ
る。対話システムは、番組を記録することを止めるか、
または空場所を作るために1つ又はそれよりも多くの以
前に記録された番組を消去するように、ユーザに指示す
ることができる。
【0022】図2は、自然言語構文解析部52の構成要
素をより詳細に図示している。特に、音声理解モジュー
ル128は、予め決定された関係するタスクに関連した
複数の断片を識別するための局所的構文解析部160を
含む。また、音声理解モジュール128は、話者の要求
の全体の意味を抽出する大域的構文解析部162を含
む。
【0023】局所的構文解析部160は、好ましい実施
形態において、いくつかのパス(pass)に加えて、小さ
い複数の文法と、構文解析の仮定を提供するための一意
なスコアリング機構とを利用する。例えば、新しい局所
的構文解析部102は、このアプローチに従って、日
付、人名、及び映画のカテゴリのようなフレーズを認識
する。話者が「メル・ブルックスが出演して、1月23
日より前に放送されたコメディーを記録しなさい(tell
me about a comedy in which Mel Brooks starsand is
shown before January 23rd)」と発話したとき、局所
的構文解析部は、「コメディー」を映画のカテゴリとし
て、「1月23日」を日付として、そして「メル・ブル
ックス」を俳優として認識する。大域的構文解析部は、
それらのアイテム(映画のカテゴリ、日付など)をとも
にアセンブルし、話者がある拘束条件で映画を記録する
ことを望んでいるということを認識する。
【0024】音声理解モジュール128は、ある領域
(すなわち、達成されるべきゴール)の意味を符号化す
る知識データベース163を含む。この意味で、知識デ
ータベース163は、好ましくは参照番号165で図示
されるような特定分野のデータベースであり、予め決定
された目標を達成することに関連した特定の動作が可能
であるか否かを決定するために、対話管理部130によ
って用いられる。
【0025】好ましい実施形態は、フレームデータ構造
164を介して意味を符号化する。上記フレームデータ
構造164は、大域的構文解析部162の意味的解釈が
フレームに合致したときに充てんされる空スロット16
6を含む。例えば、(領域が同調したコマンドである)
フレームデータ構造は、1つの時間周期に対して視聴者
によって要求されたチャンネルを特定するための空スロ
ットを含む。視聴者120がチャンネルを提供したと
き、その空スロットはその情報で充てんされる。しかし
ながら、その特定のフレームが、視聴者が最初にその要
求を提供した後で充てんされる必要があるときは、対話
管理部130はコンピュータ応答モジュール134に命
令して、視聴者120に所望のチャンネルを提供するよ
うに依頼する。
【0026】フレームデータ構造164は、好ましく
は、それぞれ代わる代わるに複数のスロットを有する複
数のフレームを含む。1つのフレームは、映画、監督、
及び映画のタイプの属性に割り当てられた複数のスロッ
トを有してもよい。もう1つのフレームは、映画が放送
されている時間、チャンネルなどに関連付けられた属性
に割り当てられた複数のスロットを有してもよい。
【0027】以下の参考文献は複数の大域的構文解析部
及び複数のフレームを議論している。R. Kuhn and R.
D. Mori, Spoken Dialogues, with Computers (Chapter
14:Sentence Interpretation), Academic Press, ボス
トン,1998年。
【0028】対話管理部130は対話履歴データファイ
ル167を用い、情報のために話者に尋ねる前に、複数
の空スロットを充てんすることを補助する。対話履歴デ
ータファイル167は、本発明の装置を介して発生した
会話のログを含む。例えば、話者が「もう1つのマリリ
ン・モンローの映画を見たい(I'd like to watch anot
her Marilyn Monroe movie)」と発話するとき、対話管
理部130は対話履歴データファイル167を検査し
て、何の映画をユーザがすでに見たことがあるか、又は
以前の対話のやり取りにおいて拒否したかをチェックす
る。話者が以前に「お熱いのがお好き(Some Like It H
ot)」を拒否していたときは、対話管理部130は映画
のタイトルの空スロットを異なるタイトルの映画で充て
んする。十分な数のスロットが充てんされたとき、本発
明は話者に尋ねて、番組の選択を照合しかつ確認する。
従って、対話履歴データファイル167の使用を介して
対話管理部130によって作られた任意の仮定が正しく
ないと証明されたとき、話者はその仮定を訂正すること
ができる。
【0029】自然言語構文解析部52は、ゆるく構成さ
れた自然言語のテキストから、意味的に重要で有意なト
ピックを分析し、かつ抽出する。上記テキストは、対話
又は音声理解システムによって用いられる自動音声認識
システム(ASR)の出力として生成された。トピック
情報及びデータを含むよく構成された複数のタグを生成
し、タグ付けされた情報を含む入力テキストの複数のセ
グメントと各タグを関連付けることによって、自然言語
構文解析部52は自然言語のテキストの入力を新しい表
現に翻訳する。それに加えて、複数のタグは、分離した
リスト、又は意味的なフレームのような他の形式で生成
されてもよい。
【0030】入力文は以下のような理由によって文法的
に正しくない英文を含むことがあるので、頑健さは自然
言語構文解析部52の特徴である。その理由は、認識部
への入力はカジュアルな、対話のスタイルであること、
自然言語は中断された文、部分的なフレーズ、挿入、省
略を含むことがあり、又は音声の入力が正しいと考えら
れるときでさえも、音声認識部によって誤りであると間
違って認識されることがあるということである。自然言
語構文解析部52は全てのタイプの入力を頑健に扱い、
可能な限り多くの情報を抽出する。
【0031】図3は自然言語構文解析部24の局所的構
文解析部160の異なる構成要素を図示している。自然
言語構文解析部52は、好ましくは、固定小数点の計算
としてマルチパスのアプローチにおける一般化された構
文解析技術を利用する。各トピックは、文脈依存のLR
(左−右及び最右導出)文法として記述され、曖昧さを
許容する。以下は、文脈依存のLR文法に関連した参考
文献である。A. Aho and J. D. Ullman, Principal of
Compiler Design, Addison Wesley PublishingCo., Rea
ding, Massachusetts (1977); and N Tomita, Generali
zed LR Parsing, Kluwer Academic Publishers, Bosto
n, Massachusetts (1991)。
【0032】計算の各パスにおいて、一般化された構文
解析アルゴリズムは好ましくは、各目的とされたトピッ
ク(targeted topic)に対して独立に、全ての可能な
(完全及び部分的の両方の)構文解析木を生成するため
に用いられる。各パスはいくつかの選択肢となる複数の
構文解析木を潜在的には生成可能で、各構文解析木は特
定のトピックの可能な異なる解釈を表現する。好ましく
は平行で独立したパスを通る複数のパスにより、結果と
して、異なるトピックの間の曖昧さ及び重複が実質的に
除去される。一般化された構文解析アルゴリズムは、シ
ステムに存在する文脈情報を利用して(N)ベスト候補
が選択されるように、全ての可能な構文解析木をスコア
計算するシステマティックな方法である。
【0033】局所的構文解析システム160は、語彙解
析220と、各トピックに対する平行な構文解析森の生
成(例えば生成器230及び232)と、一般に参照番
号234で図示される、構文解析された成分の分析及び
合成との、3つのステージで実行される。
【0034】語彙解析(Lexical analysis) 話者は、入力文218を生成する自動音声認識部217
によって認識されるフレーズを発話する。語彙解析ステ
ージ220は識別をし、語彙フィルタ226及び228
を用いて、入力文218の中の(拡張文法(extensive
grammars)を必要としない)複数のトピックに対して複
数のタグを生成する。これらは、例えば映画名、映画の
カテゴリ、製作者、男優及び女優の名前などを含む。言
及された例示的な複数のタグにおいて必要とされる複数
のキーワードを用いた、入力文218の通常の拡張スキ
ャン(regular-expansion scan)は、典型的にはこのレ
ベルで十分である。また、このステージで実行されるこ
とは、特定の文法の辞書(lexicon)の一部ではない、
入力文の中の複数の単語のタグ付けである。これらの単
語は、そのような雑音の単語(noise words)が文字
「X」で置き換えられるように、X−タグを用いて表示
される。
【0035】平行な構文解析森の生成 自然言語構文解析部52は、各トピックを個別に記述
し、かつ構文解析するために、高レベルの一般的な構文
解析戦略を用い、複数のタグを生成し、それらを入力ス
トリームにマッピングする。組織されていない入力テキ
スト218の性質により、各個別のトピックの構文解析
部は、好ましくは、できるだけ多くの言語を受容し、重
要ではない全ての単語を無視し、挿入及び削除の誤りを
扱う。各トピックの構文解析は、LR構文解析において
用いられるものとよく似たメタレベルの性質を有する言
語を用いて、文脈依存の文法の複数のルールをデザイン
することを必要とする。文法の例は、文法A240及び
文法B242を含む。本発明のアプローチを用いて、ト
ピックの文法240及び242は、LR型文法であり、
複数の冗語を含み、シフトの除去及びコンフリクトの減
少を除くように記述される。入力文の構文解析の結果
は、文法の性質に基づいて、全ての可能な構文解析結果
である。
【0036】生成器230及び232は、構文解析森2
50及び252をそれらのトピックに対して生成する。
タグ生成は、構文解析の間に取得された構文解析木にお
いて発見された実際の情報を合成することによって実行
される。タグ生成は、それぞれタグ264及び266を
生成する、タグ及びスコア生成器260及び262を介
して達成される。また、各識別されたタグは、入力文中
の複数の入力単語のどのセットが上記タグによってカバ
ーされるかについて、情報を搬送する。続いて、上記タ
グはそのカバーセット(cover-set)を置き換える。好
ましい実施形態において、文脈情報267は、生成器2
60及び262などによって、タグ及びスコア生成のた
めに利用される。文脈情報267は、以下で議論され
る、発見的スコア係数の技術に関連付けられた重みを調
整するためのスコアの発見において利用される。文脈情
報267は、好ましくは、単語コンフィデンスベクトル
268及び対話文脈荷重269を含む。しかしながら、
構文解析部52は、単語コンフィデンスベクトル268
及び対話文脈荷重269の双方を用いることに制限され
ず、文脈情報267を用いないことと同様に、一方を用
いて他方を排除することを含むことが理解されるべきで
ある。
【0037】自動音声認識処理ブロック217は、入力
分218中の複数の単語がどの程度十分に認識されたか
を示す単語コンフィデンスベクトル268を生成する。
対話管理部130は、対話の状態を決定することによっ
て、対話文脈荷重269を生成する。例えば、対話管理
部130は、ユーザに、どの視聴時刻が好ましいのかと
いった特定のトピックについて尋ねる。この要求のため
に、対話管理部130は、対話の状態が時刻に対して適
応されているということを決定する。対話管理部130
は、検出された時刻に対して適応された単語により重い
荷重をかける適当な処理を通知するために、対話文脈荷
重269を提供する。
【0038】タグ−成分の合成 前のステージの、トピックを見分ける構文解析部は、局
所的構文解析部の最終の出力を形成するために分析さ
れ、かつ互いに結合される必要がある、非常に多くの量
の情報を生成する。構文解析部52は、好ましくは、各
トピックを見分けて、結果として複数のタグの候補を生
成するということにおいて、可能な限り「積極的(aggr
essive)」である。それに加えて、複数の数字、又は
「間に(between)」「前に(before)」「及び(an
d)」「又は(or)」「辺りに(around)」などのよう
な、あるキーワードが存在し、そして特にこれらの単語
が認識の誤りによって導入又は紛失されるときに、それ
に代わる多くのタグの候補を構成することが可能であ
る。例えば、入力文は挿入又は削除の誤りを有すること
がある。結合するフェーズは、どの複数のタグが入力の
より有意な解釈を形成するかを決定する。構文解析部5
2は発見的方法を決定し、N−ベスト候補の選択処理を
用いるそれらに基づいて選択をする。各生成されたタグ
は、タグのカバーセットと呼ばれる、入力された単語の
ストリングの中の複数の単語のセットに対応する。
【0039】複数のタグのカバーセットがスコアを生成
するために用いられる、発見的方法が用いられる。上記
スコアは、おおよそ、カバーセットのサイズと、カバー
された複数のアイテムの中の複数のギャップの多くの単
語におけるサイズと、あるキーワードの存在に割り当て
られた荷重とに依存する。好ましい実施形態において、
ASRから導出されたコンフィデンスベクトルと対話文
脈情報とは、複数のタグに優先度を割り当てるために利
用される。例えば、チャンネルのタグの構文解析を最初
に適用することで、入力されたストリームから一意に識
別することがより容易であるチャンネルに関連した数を
除去することが潜在的に可能であり、他の複数のタグと
の曖昧さを生成するためにはより少ない数が残される。
好ましくは、対話文脈情報は優先度を調整するために用
いられる。
【0040】N−ベスト候補の選択 各パスの最後に、N−ベストプロセッサ270は、複数
のタグに関連付けられた複数のスコアに基づいてN−ベ
スト候補を選択し、それぞれ対応する構文解析木におい
て発見された情報を表現するトピック−タグを生成す
る。いったんこの方法で複数のトピックが発見される
と、入力の中の対応する複数の単語はタグ情報によって
置換することができる。上記置換変換は、現在の入力テ
キストから対応する複数の単語を除去する。各パスの出
力280は、新しい入力として次のパスへフィードバッ
クされ、上記置換は、競合する文法の間の、あるあいま
いさを除去することを補助し、又は重複するシンボルを
フィルタリングすることによって、よりよい構文解析木
を生成することを補助する。
【0041】最後のパスにおいて付加的なタグが生成さ
れないとき、計算は終了する。最後のパスの出力は、局
所的構文解析部から大域的構文解析部162への出力に
なる。各フェーズはその入力の中の単語の数のみを減少
させ、入力テキストの長さは有限なので、固定小数点の
計算におけるパスの数は、その入力のサイズによって線
形に有界である。
【0042】以下のスコア係数は、構文解析木の以下の
属性に基づいた、それに代わる構文解析木のランク付け
に用いられる。 ・終端のシンボルの数。 ・終端でないシンボルの数。 ・構文解析木の深さ。 ・終端のシンボルにおけるギャップのサイズ。 ・各終端のシンボルに関連付けられたASR−コンフィ
デンス基準。 ・各終端のシンボル及び終端でないシンボルに関連付け
られた文脈に応じて調整可能な荷重。
【0043】各パスは、好ましくは、独立に発達させ、
少ない量のデータで動作させることができ、計算機的に
は安価な方法である、個別のトピックに対応する。構文
解析部52のアーキテクチャは、新しいトピックに対し
て付加的な複数のパス及び文法を組み込むように柔軟で
かつモジュール化されていて、又は、複数の特定のトピ
ックに対して発見的方法を変更することは容易であり、
またこのことは異なるシステムの間で共有することがで
きる再利用可能な構成要素を容易に開発することを可能
にする。
【0044】
【発明の効果】前述のことから、本発明のシステムは、
動的に構成されたりプレイファイルシステムを備える対
話型のリプレイシステムを提供することが理解されよ
う。ファイルシステム構造は、ケーブル、衛星及び/又
はインターネットを介して利用可能な電子番組ガイドの
情報源から、関連する情報を自動的に抽出するので、記
憶された情報の位置を捜し出し、リプレイするために非
常に内容が豊富な相互の対話を可能にしながら、システ
ムはユーザの側にほとんど努力を要求しない。
【0045】本発明はその好ましい本実施形態において
記述されたが、添付された請求項に示された本発明の精
神から離れることなく、本発明を変形できることが理解
されるだろう。
【図面の簡単な説明】
【図1】 好ましい本ファイルシステムの構造を図示す
る、記録された情報を記憶するためのシステムの、シス
テムブロック図である。
【図2】 本発明の好ましい本実施形態に係る自然言語
構文解析部の構成要素を図示するブロック図である。
【図3】 本発明の好ましい本実施形態に係る局所的構
文解析部の構成要素を図示するブロック図である。
【符号の説明】
10…記憶媒体、 12…記憶された番組内容、 14…リプレイファイルシステム、 16…ファイルシステム構造、 18…記憶位置の記録、 20…番組の識別子の記録、 22…他の電子番組ガイドのデータ、 24…ユーザのデータの記録、 30…チューナ、 32…番組内容、 34…電子番組ガイドのデータ、 36…インターネットアクセスモジュール、 50…音声認識部、 52…自然言語構文解析部、 54…対話システム、 56…ファイルシステムアクセスモジュール、 128…音声理解モジュール、 130…対話管理部、 134…コンピュータ応答モジュール、 160…局所的構文解析部、 162…大域的構文解析部、 163…知識データベース、 164…フレームデータ構造、 165…特定分野、 166…空スロット、 167…対話履歴データファイル、 217…自動音声認識部、 218…入力文、 220…語彙解析、 226,228…語彙フィルタ、 230,232…構文解析森生成器、 234…構文解析された成分の分析及び合成、 240…文法A、 242…文法B、 260,262…タグ及びスコア生成器、 264,266…タグ、 267…文脈情報、 268…単語コンフィデンスベクトル、 269…対話文脈荷重、 270…N−ベストプロセッサ、 280…出力。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/91 H04N 5/91 Z 7/025 7/08 A 7/03 7/035 (72)発明者 トニー・デイビス アメリカ合衆国93101カリフォルニア州サ ンタ・バーバラ、ウエスト・キャノン・ペ ルディド・ストリート709番 (72)発明者 イ・ザオ アメリカ合衆国93117カリフォルニア州ゴ レタ、ゲイリー・ウォーク715番、ナンバ ー203 (72)発明者 ウェイイン・リ カナダ、エイチ2エイ・1ダブリュー9、 モントリオール、ジャン−タロン・イース ト3430番、アパートメント・ナンバー1

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 記録された、番組内容の複数のアイテム
    を組織するためのファイルシステムであって、 番組のタイトルの識別子、番組のカテゴリ、放送してい
    るネットワーク、放送の日付、放送の時刻、俳優たち、
    及び監督からなるグループから選択された少なくとも1
    つの電子番組ガイドの属性に関連した、記録された、番
    組内容のアイテムの位置を記憶するデータ構造を有する
    メモリと、 記憶されるべき番組内容の特定のアイテムについての、
    電子番組ガイドの属性の情報を受信するインターフェー
    スと、 上記記憶されるべき番組内容のアイテムについての上記
    電子番組ガイドの属性の情報を、上記データ構造に自動
    的に記憶するファイル書き込み機構と、 上記データ構造からアクセスされた上記少なくとも1つ
    の電子番組ガイドの属性に基づいて、記録された、番組
    内容のアイテムの記憶位置を確認するファイル読み出し
    機構とを備えたファイルシステム。
  2. 【請求項2】 上記ファイル読み出し機構と対話し、ユ
    ーザの発話された要求に基づいて、上記読み出し機構に
    電子番組ガイドの属性の複数の質問を供給する自然言語
    対話システムをさらに備えた請求項1記載のファイルシ
    ステム。
  3. 【請求項3】 上記データ構造は、記録された、番組内
    容のアイテムの上記位置と関連した少なくとも1つのユ
    ーザデータの属性をさらに含む請求項1記載のファイル
    システム。
  4. 【請求項4】 上記ユーザデータの属性は、番組内容の
    アイテムがユーザによっていつ視聴されたかについての
    記録を記憶する請求項3記載のファイルシステム。
  5. 【請求項5】 上記ユーザデータの属性は、記録された
    アイテムの中のユーザによって決定された位置を識別す
    る、ユーザによって決定された少なくとも1つのインデ
    ックスを記憶する請求項3記載のファイルシステム。
  6. 【請求項6】 上記ユーザデータの属性の少なくともそ
    の部分に基づいて、以前に記録された、番組内容の複数
    のアイテムを選択的に消去する記憶システム保守システ
    ムをさらに備えた請求項3記載のファイルシステム。
  7. 【請求項7】 電子番組ガイドの情報を検索する上記イ
    ンターフェースは、電子番組ガイドの情報を提供するイ
    ンターネットに基づいた少なくとも1つのプロバイダに
    アクセスできるインターネットアクセスシステムを備え
    た請求項1記載のファイルシステム。
  8. 【請求項8】 電子番組ガイドの情報を検索する上記イ
    ンターフェースは、番組内容の供給者から電子番組ガイ
    ドの情報を検索するチューナを備えた請求項1記載のフ
    ァイルシステム。
  9. 【請求項9】 番組内容を記録するシステムであって、
    少なくとも1つの番組内容のアイテムを記憶する記憶媒
    体と、請求項1に記載されたファイルシステムとを備え
    たシステム。
  10. 【請求項10】 上記記憶媒体はディスクメモリである
    請求項9記載のシステム。
  11. 【請求項11】 上記記憶媒体はテープメモリである請
    求項9記載のシステム。
  12. 【請求項12】 上記記憶媒体は電子式メモリである請
    求項9記載のシステム。
JP2000255971A 1999-08-26 2000-08-25 記録されたテレビジョン放送についての情報を記憶するための機構 Expired - Fee Related JP3577454B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38375999A 1999-08-26 1999-08-26
US09/383759 1999-08-26

Publications (2)

Publication Number Publication Date
JP2001103402A true JP2001103402A (ja) 2001-04-13
JP3577454B2 JP3577454B2 (ja) 2004-10-13

Family

ID=23514611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000255971A Expired - Fee Related JP3577454B2 (ja) 1999-08-26 2000-08-25 記録されたテレビジョン放送についての情報を記憶するための機構

Country Status (3)

Country Link
US (1) US20040236778A1 (ja)
EP (1) EP1079387A3 (ja)
JP (1) JP3577454B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928405B2 (en) * 2001-09-05 2005-08-09 Inventec Corporation Method of adding audio data to an information title of a document

Families Citing this family (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7177798B2 (en) * 2000-04-07 2007-02-13 Rensselaer Polytechnic Institute Natural language interface using constrained intermediate dictionary of results
JP3671882B2 (ja) * 2001-07-30 2005-07-13 船井電機株式会社 情報再生装置
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
KR100582953B1 (ko) * 2002-06-05 2006-05-23 엘지전자 주식회사 기록매체의 기록 스트림 관리방법
FR2845555A1 (fr) * 2002-10-07 2004-04-09 Thomson Licensing Sa Procedes de reception et de diffusion de television interactive et dispositifs associes
KR20060017808A (ko) 2003-06-04 2006-02-27 마츠시타 덴끼 산교 가부시키가이샤 정보 프리젠테이션 시스템, 관리장치, 및 단말장치
JP3882799B2 (ja) 2003-09-04 2007-02-21 ソニー株式会社 番組データ記録方法及び装置
US7290211B2 (en) * 2005-01-05 2007-10-30 Digital Networks North America, Inc. Method and system for reconfiguring a selection system based on layers of categories descriptive of recordable events
US7657151B2 (en) 2005-01-05 2010-02-02 The Directv Group, Inc. Method and system for displaying a series of recordable events
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070157222A1 (en) * 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for managing content
US20080059458A1 (en) * 2006-09-06 2008-03-06 Byron Robert V Folksonomy weighted search and advertisement placement system and method
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080086491A1 (en) * 2006-10-04 2008-04-10 Mediatek Inc. Multimedia management and playback apparatus
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9110569B2 (en) * 2007-08-22 2015-08-18 Linkedin Corporation Indicating a content preference
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
KR101644789B1 (ko) * 2009-04-10 2016-08-04 삼성전자주식회사 방송 프로그램 연관 정보 제공 장치 및 방법
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9258175B1 (en) 2010-05-28 2016-02-09 The Directv Group, Inc. Method and system for sharing playlists for content stored within a network
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10019994B2 (en) 2012-06-08 2018-07-10 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
KR20140089871A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 대화형 서버, 그 제어 방법 및 대화형 시스템
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
CN105190607B (zh) 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
CN112230878B (zh) 2013-03-15 2024-09-27 苹果公司 对中断进行上下文相关处理
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN103902723A (zh) * 2014-04-10 2014-07-02 中央电视台 一种媒体文件编目元数据聚合方法及装置
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10770067B1 (en) 2015-09-08 2020-09-08 Amazon Technologies, Inc. Dynamic voice search transitioning
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
KR102071582B1 (ko) * 2017-05-16 2020-01-30 삼성전자주식회사 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20190005590A1 (en) * 2017-06-30 2019-01-03 Accenture Global Solutions Limited Outcome driven case management
CN111147905A (zh) * 2019-12-31 2020-05-12 深圳Tcl数字技术有限公司 媒体资源查找方法、电视机、存储介质及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353121A (en) * 1989-10-30 1994-10-04 Starsight Telecast, Inc. Television schedule system
EP1585321B1 (en) * 1990-09-10 2011-07-13 Starsight Telecast, Inc. User interface for television schedule system
WO1992022983A2 (en) * 1991-06-11 1992-12-23 Browne H Lee Large capacity, random access, multi-source recorder player
US5410367A (en) * 1994-02-23 1995-04-25 Aqi Ltd. Television program scheduler for providing an indication to a user that a television program is about to start
JPH0832922A (ja) * 1994-07-14 1996-02-02 Hitachi Ltd 磁気記録再生装置
US5748974A (en) * 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US6002394A (en) * 1995-10-02 1999-12-14 Starsight Telecast, Inc. Systems and methods for linking television viewers with advertisers and broadcasters
US6075575A (en) * 1995-10-02 2000-06-13 Starsight Telecast, Inc. Remote control device and method for using television schedule information
US5832439A (en) * 1995-12-14 1998-11-03 U S West, Inc. Method and system for linguistic command processing in a video server network
AU716998B2 (en) * 1996-06-17 2000-03-16 Rovi Guides, Inc. Television schedule system with enhanced features
US5999896A (en) * 1996-06-25 1999-12-07 Microsoft Corporation Method and system for identifying and resolving commonly confused words in a natural language parser
US5878386A (en) * 1996-06-28 1999-03-02 Microsoft Corporation Natural language parser with dictionary-based part-of-speech probabilities
US6643620B1 (en) * 1999-03-15 2003-11-04 Matsushita Electric Industrial Co., Ltd. Voice activated controller for recording and retrieving audio/video programs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928405B2 (en) * 2001-09-05 2005-08-09 Inventec Corporation Method of adding audio data to an information title of a document

Also Published As

Publication number Publication date
JP3577454B2 (ja) 2004-10-13
US20040236778A1 (en) 2004-11-25
EP1079387A3 (en) 2003-07-09
EP1079387A2 (en) 2001-02-28

Similar Documents

Publication Publication Date Title
JP3577454B2 (ja) 記録されたテレビジョン放送についての情報を記憶するための機構
JP3554262B2 (ja) テレビジョン及びマルチメディアの検索及び要求に対して自然言語のモダリティーを可能にする汎用遠隔制御
JP3550536B2 (ja) 音声認識及び自然言語を用いたテレビジョン内容の自動的なフィルタリング
US6324512B1 (en) System and method for allowing family members to access TV contents and program media recorder over telephone or internet
US6415257B1 (en) System for identifying and adapting a TV-user profile by means of speech technology
JP3566194B2 (ja) インターネット上でテレビジョンに関連した情報にアクセスするためのシステム及び方法
JP3711089B2 (ja) 音声認識及び自然言語を用いる家庭活動の自動制御
US6314398B1 (en) Apparatus and method using speech understanding for automatic channel selection in interactive television
US6643620B1 (en) Voice activated controller for recording and retrieving audio/video programs
JP3657844B2 (ja) テレビ番組自動検索システム
KR100661687B1 (ko) 대화형 음성 응답 애플리케이션 구현 장치 및 방법, 머신 판독가능 매체 및 대화형 음성 응답 시스템
US8805691B2 (en) Providing programming information in response to spoken requests
JP4459267B2 (ja) 辞書データ生成装置及び電子機器
EP1079615A2 (en) System for identifying and adapting a TV-user profile by means of speech technology
WO1998025216A9 (en) Indirect manipulation of data using temporally related data, with particular application to manipulation of audio or audiovisual data
WO1998025216A1 (en) Indirect manipulation of data using temporally related data, with particular application to manipulation of audio or audiovisual data
WO2001084539A1 (en) Voice commands depend on semantics of content information
US6741791B1 (en) Using speech to select a position in a program
KR20040070511A (ko) 다기능 디지털 레코더

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040712

R150 Certificate of patent or registration of utility model

Ref document number: 3577454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070716

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080716

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees