JP2004029268A

JP2004029268A - 音声対話装置及び音声対話方法

Info

Publication number: JP2004029268A
Application number: JP2002183920A
Authority: JP
Inventors: Mitsuru Endo; 遠藤　充; Takeshi Inoue; 井上　剛; Hiroyasu Kuwano; 桑野　裕康
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-06-25
Filing date: 2002-06-25
Publication date: 2004-01-29

Abstract

【課題】従来の音声対話装置では、蓄積された番組に関する情報は、周期的に削除されるため、一定期間が経過した過去分に関する番組に関する情報を得ることが不可能であり、また、番組に関する情報源もＥＰＧに限られているため、使用者の嗜好を含んだ番組に関する情報を得ることは不可能であるという問題点が存在する。
【解決手段】番組データベース１０３に蓄積したデータの削除する場合は、使用者の嗜好を考慮し、選択的に蓄積データの削除を行い、更に、ＥＰＧ以外の情報であるニュースの字幕放送、使用者の電子メール及びネットワーク上に蓄積されている画像及び音楽データと、番組に関する知識内容を関連付けすることで、過去、現在及び未来の放送番組に関する情報が得られる音声対話装置が可能となる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は音声対話装置、特にＴＶ番組に関する情報を問い合わせることができる音声対話装置に関する。
【０００２】
【従来の技術】
従来、音声対話装置は特開２０００−２５０５７５号公報に記載されたものが知られている。図１５に従来の音声対話装置の構成を示す。
【０００３】
１００１は、電子番組ガイド（Ｅｌｅｃｔｒｉｃ　Ｐｒｏｇｒａｍ　Ｇｕｉｄｅ：ＥＰＧ）をデコードする電子番組ガイドデコーダを示し、１００２は、ＥＰＧから番組に関する情報を、音声理解技術に合わせたキーワードとして抽出する知識抽出部を示し、１００３は、知識抽出部が抽出した番組に関する情報を蓄積する番組データベースを示し、１００４は、番組データベースに蓄積された番組情報を周期的に削除するイクスパイヤ部を示し、１００５は、入力される音声信号から口述リクエストの語義内容を解釈する音声理解部を示し、１００６は、キーワードからリクエストされた番組に関する情報を番組データベースから検索する対話制御部を示し、１００７は、口述リクエストの内容を補完するために、質問事項を音声信号として出力する音声出力部を示す。
【０００４】
従来の音声対話装置は、情報を蓄積する処理と口述リクエストに基づき情報を検索し、番組を選択する処理である。
【０００５】
情報を蓄積する処理は、電子番組デコーダによりデコードしたＥＰＧを知識抽出部に出力し、知識抽出部が番組に関する情報を音声理解技術に合わせたキーワードとして抽出し、番組データベースに蓄積する。ここで、番組データベースの蓄積内容はイクスパイヤ部により監視され、放送終了など番組選択上意味のなくなった番組レコードが周期的に取り除かれる。
【０００６】
次に、口述リクエストに基づき情報を検索し、番組を選択する処理は、音声理解部により口述リクエストから語義内容を解釈し、番組に関するキーワードを抽出し、対話制御部が、得られたキーワードにより番組データベースの検索及び番組の選択を行い、テレビチャンネルを選局する。また、音声理解部に入力される口述リクエストの内容が、チャンネル選択に不足している場合は、対話制御部の要求に従って質問を出力し、情報不足を補完する。
【０００７】
【発明が解決しようとする課題】
しかし、従来の音声対話装置では、蓄積された番組に関する情報は、周期的に削除されるため、一定期間が経過した過去分に関する番組に関する情報を得ることが不可能であり、また、番組に関する情報源もＥＰＧに限られているため、ユーザ個人の事情を含んだ番組に関する情報を得ることは不可能であるという問題点が存在する。
【０００８】
【課題を解決するための手段】
この課題を解決するために本発明は、番組データベースに蓄積したデータの削除する場合は、ユーザの嗜好を考慮し、選択的に蓄積データの削除を行い、更に、ＥＰＧ以外の情報であるニュースの字幕放送、ユーザの電子メール及びネットワーク上に蓄積されている画像及び音楽データと、番組に関する知識内容を関連付けすることで、過去、現在及び未来の放送番組に関する情報が得られる音声対話装置が可能となる。
【０００９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力信号からテレビ番組表を電子化した電子番組ガイドを抽出する電子番組ガイドデコーダと、前記電子番組ガイドの項目を統合又は分割し、検索用識別子を付与した番組レコードに変換する知識抽出部と、前記番組レコードを記憶する番組データベースと、前記番組レコードを予め定めた基準により整理するデータベース整理部と、番組に関する情報を要求する口述リクエストの音声信号が入力され、前記音声信号から語義内容を解釈する音声理解部と、前記音声理解部の出力信号を用いて前記番組データベースを検索し、前記検索結果を用いて応答文を作成する対話制御部と、前記応答文を出力する音声出力部とを含む音声対話装置としたものであり、ＥＰＧ情報から抽出された番組レコードを番組データベースとして蓄積し、音声対話によって、番組に関する情報を提供することができるという作用を有する。
【００１０】
本発明の請求項２に記載の発明は、番組レコードが、更に、番組の出演者を示す項目を含む請求項１記載の音声対話装置としたものであり、出演者名による番組の検索や、番組レコード内の出演者名の提供が行えるという作用を有する。
【００１１】
本発明の請求項３に記載の発明は、番組レコードが、更に、西暦又は和暦により番組放送の日時を示す項目を含む請求項１又は２記載の音声対話装置としたものであり、ＥＰＧの放送日時を西暦又は和暦により表示することで、検索を容易にすることができるという作用を有する。
【００１２】
本発明の請求項４に記載の発明は、番組レコードが、更に、録画、視聴及び検索の有無を示す重要度の項目を含む請求項１ないし３のいずれか記載の音声対話装置としたものであり、番組レコードの並べ替えや削除などの処理を容易にすることができるという作用を有する。
【００１３】
本発明の請求項５に記載の発明は、番組レコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項１ないし４のいずれか記載の音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００１４】
本発明の請求項６に記載の発明は、データベース整理部が、予め定めた放送日時の番組レコード、視聴された番組レコード、録画された番組レコード及び対話制御部により検索された番組レコードを番組データベースに残す請求項１ないし５のいずれか記載の音声対話装置としたものであり、使用者の嗜好に合わせた番組レコードの保存ができるという作用を有する。
【００１５】
本発明の請求項７に記載の発明は、字幕放送信号から字幕放送データを抽出し、検索用識別子を付加した字幕放送レコードを出力する字幕放送デコーダと、前記字幕放送レコードを記憶する字幕データベースとを更に含み、対話制御部が、更に、前記字幕放送データベースを検索する請求項１ないし６記載の音声対話装置としたものであり、音声対話により、字幕放送レコード及び番組レコードが関連付けられた番組情報を、提供することができるという作用を有する。
【００１６】
本発明の請求項８に記載の発明は、字幕放送レコードが、更に、録画、視聴及び検索の有無を示す重要度の項目を含む請求項７記載の音声対話装置としたものであり、字幕放送レコードの並べ替えや削除などの処理を容易にすることができるという作用を有する。
【００１７】
本発明の請求項９に記載の発明は、字幕放送レコードが、更に、西暦又は和暦により放送の日時を示す項目を含む請求項７又は８記載の音声対話装置としたものであり、字幕放送レコードの放送日時を西暦又は和暦により表示することで、検索を容易にすることができるという作用を有する。
【００１８】
本発明の請求項１０に記載の発明は、字幕放送レコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項７ないし９のいずれか記載の音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００１９】
本発明の請求項１１に記載の発明は、データベース整理部が、予め定めた放送日時の字幕放送レコード、視聴された字幕放送レコード及び対話制御部により検索された字幕放送レコードを字幕放送データベースに残す請求項７ないし１０のいずれか記載の音声対話装置としたものであり、使用者の嗜好に合わせた番組レコードの保存ができるという作用を有する。
【００２０】
本発明の請求項１２に記載の発明は、電子メールを取り込み、検索用識別子を付与した電子メールレコードに変換する電子メールインポート部と、前記電子メールを記憶する電子メールデータベースとを更に含み、対話制御部が、更に、前記電子メールデータベースを検索する請求項１ないし１１のいずれか記載の音声対話装置としたものであり、音声対話により、電子メールレコード及び番組レコードが関連付けられた番組情報を、提供することができるという作用を有する。
【００２１】
本発明の請求項１３に記載の発明は、電子メールレコードが、更に、検索の有無を示す重要度の項目を含む請求項１２記載の音声対話装置としたものであり、電子メールレコードの並べ替えや削除などの処理を容易にすることができるという作用を有する。
【００２２】
本発明の請求項１４に記載の発明は、電子メールレコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項１２又は１３記載の音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００２３】
本発明の請求項１５に記載の発明は、データベース整理部が、予め定めた送信日の電子メールレコード及び対話制御部により検索された電子メールレコードを電子メールデータベースに残す請求項１２ないし１４のいずれか記載の音声対話装置としたものであり、使用者の嗜好に合わせた電子メールレコードの保存ができるという作用を有する。
【００２４】
本発明の請求項１６に記載の発明は、画像又は音楽を記憶する画像・音楽ライブラリと、前記画像又は音楽を出力する画像・音楽出力部とを更に含み、対話制御部が、更に、前記画像又は音楽を前記画像・音楽ライブラリから読み出しする請求項１ないし１５のいずれか記載の音声対話装置としたものであり、ＥＰＧ情報から抽出された番組情報を番組データベースとして蓄積し、音声対話によって情報を提供することができると共に、画像・音楽コンテンツを提示することができるという作用を有する。
【００２５】
本発明の請求項１７に記載の発明は、画像又は音楽が、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項１６記載の音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００２６】
本発明の請求項１８に記載の発明は、応答文が、テレビ番組に関する情報である請求項１ないし１７のいずれか記載の音声対話装置としたものであり、音声対話によりテレビ番組に関する情報を提供できるという作用を有する。
【００２７】
本発明の請求項１９に記載の発明は、電子番組ガイドを含む信号を入力する第１のステップと、前記入力信号をデコードし、前記電子番組ガイドを出力する第２のステップと、前記電子番組ガイドの項目を統合又は分割し、検索用識別子を付与した番組レコードに変換する第３のステップと、前記番組レコードを番組データベースに蓄積する第４のステップと、前記番組レコードを予め定めた基準により保存の継続を判断する第５のステップと、保存の継続を中止した前記番組レコードを削除する第６のステップと、番組に関する口述リクエストの音声信号を入力する第７のステップと、前記音声信号から語義内容を解釈する第８のステップと、前記第８ステップの出力信号を用いて前記番組データベースを検索する第９のステップと、前記第９ステップの検索結果の個数が複数であるかを判断する第１０のステップと、前記第１０ステップの判断結果が真である場合に、前記口述リクエストを限定する条件を含む応答文を作成する第１１のステップと、前記第１１ステップの応答文を音声により出力する第１２のステップと、前記第１０ステップの判断結果が偽である場合に、前記第９ステップの前記検索結果を用いて応答文を作成する第１３のステップと、前記第１３ステップの応答文を出力する第１４のステップとを有する音声対話方法としたものであり、ＥＰＧ情報から抽出された番組レコードを番組データベースとして蓄積し、音声対話によって、番組に関する情報を提供することができるという作用を有する。
【００２８】
本発明の請求項２０に記載の発明は、字幕放送データを含む信号を入力する第１５のステップと、前記入力信号をデコードし、前記字幕放送データを出力する第１６のステップと、前記字幕放送データに、検索用識別子を付与し、字幕放送レコードに変換する第１７のステップと、前記字幕放送レコードを字幕データベースに蓄積する第１８のステップと、前記字幕放送レコードを予め定めた基準により保存の継続を判断する第１９のステップと、保存の継続を中止した前記字幕放送レコードを削除する第２１のステップとを更に含み、第９ステップが、第８ステップの出力信号を用いて、更に、字幕データベースを検索する請求項１９記載の音声対話方法としたものであり、音声対話により、字幕放送レコード及び番組レコードが関連付けられた番組情報を、提供することができるという作用を有する。
【００２９】
本発明の請求項２１に記載の発明は、電子メールを取り込む第２２のステップと、前記電子メールに、検索用識別子を付与し、電子メールレコードに変換する第２３のステップと、前記電子メールレコードを電子メールデータベースに蓄積する第２４のステップと、前記電子メールレコードを予め定めた基準により保存の継続を判断する第２５のステップと、保存の継続を中止した前記電子メールレコードを削除する第２６のステップとを更に含み、第９ステップが、第８ステップの出力信号を用いて、更に、電子メールデータベースを検索する請求項１９又は２０記載の音声対話方法としたものであり、音声対話により、電子メールレコード及び番組レコードが関連付けられた番組情報を、提供することができるという作用を有する。
【００３０】
本発明の請求項２２に記載の発明は、前記第１０ステップの判断結果が偽である場合に、前記第９ステップの前記検索結果を用いて、画像・音楽データベースを検索する第２７のステップと、前記第２７ステップの検索結果の有無を判断する第２８のステップと、前記第２８ステップの判断結果が真である場合は、画像又は音楽を出力する第２９のステップとを更に含む請求項１９ないし２１のいずれか記載の音声対話方法としたものであり、ＥＰＧデータから抽出された番組情報を番組データベースに蓄積し、音声対話により情報を提供することができ、更に、画像及び音楽を提示することができるという作用を有する。
【００３１】
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
【００３２】
（実施の形態１）
本発明の技術によれば、音声対話技術を用いて、テレビ番組に関する知識内容を知ることができる。
【００３３】
図１は、本発明第１の実施の形態による音声対話装置を示す。ここで、１０１は、入力信号からテレビ番組表を電子化した電子番組ガイドを抽出する電子番組ガイドデコーダを示し、１０２は、電子番組ガイドの項目を統合又は分割し、検索用識別子を付与した番組レコード３０１に変換する知識抽出部を示し、１０３は、番組レコード３０１を記憶する番組データベースを示し、１０４は、番組レコード３０１を予め定めた基準により整理するデータベース整理部を示し、１０５は、口述リクエストの音声信号が入力され、音声信号から語義内容を解釈する音声理解部を示し、１０６は、音声理解部１０５の出力信号を用いて番組データベース１０３を検索し、検索結果を用いて応答文を作成する対話制御部を示し、１０７は、応答文を出力する音声出力部を示す。
【００３４】
音声対話装置は、テレビに内蔵されていることが好ましい。しかし、この装置は、外付けテレビチューナ（Ｓｅｔ　Ｔｏｐ　Ｂｏｘ：ＳＴＢ）やビデオ録画装置に内蔵することもできる。
【００３５】
また、ＥＰＧデータは、テレビ放送信号、電話通信回線を介するインターネット系サービスプロバイダ及び専用のダイヤル呼出式ＥＰＧサービスプロバイダからダウンロードすることができる。
【００３６】
音声対話装置の動作には、ＥＰＧから番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、入力された口述リクエストの語義を解釈し、番組情報を含む応答文を出力する第２の処理がある。
【００３７】
図２に第１の処理のフローチャートを示し、図３に第２の処理のフローチャートを示す。
【００３８】
まず、第１の処理について説明する。電子番組ガイドを含む信号が入力され（Ｓ２０１）、電子番組ガイドデコーダ１０１は、入力信号をデコードし（Ｓ２０２）、テキスト形式に変換及びフォーマットされたＥＰＧデータとし、図１には図示していないが、必要ならばテレビ画面などに表示され、知識抽出部１０２に出力される。
【００３９】
ここで、図４に、デコードされたＥＰＧデータ２０１を示す。項目としては、ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）、開始日、開始時間、持続時間、ジャンル、タイトル及びテキストを示す。ＩＤは、テレビ番組を特定する識別子を示し、開始日は、テレビ番組の放送開始の日付を示し、開始時間は、放送開始の時刻を示し、持続時間は、テレビ番組の放送時間を示し、ジャンルは、テレビ番組の属するジャンルを示し、タイトルは、テレビ番組のタイトルを示し、テキストは、テレビ番組に関する内容等を示す。
【００４０】
また、開始日は、ディジタル衛星放送（Ｂｒｏａｄｃａｓｔｉｎｇ　Ｓａｔｅｌｌｉｔｅ：ＢＳディジタル放送）のＥＰＧを用いているため、ＢＳディジタル放送開始日である２００１年５月１０日からの相対的な日付が採用されている。
【００４１】
更に、ジャンルには、「映画（邦画）」などの表現が見られる。これは、上位概念＝映画、下位概念＝邦画という概念情報を別途記憶されている。また、タイトルには、「（字）（Ｓ）ドラマＡ『第１０話Ｂ』」と記載され、（字）及び（Ｓ）は、字幕放送及びステレオ放送を示し、『』はサブタイトルを示す。また、テキストは、「監：」は、番組を作製した監督を示し、「出：」は、番組の出演者を示す。
【００４２】
知識抽出部１０２は、デコードされたＥＰＧデータ２０１を番組データベース１０３内に格納し、検索を容易に実行するためのフォーマットに再構成する機能を有する（Ｓ２０３）。再構成された結果を番組レコード３０１と呼ぶ。この番組レコード３０１は、予め決められた一連の項目に関する検索可能な形式を有しており、例えば、これに限るわけではないが、放送日時、タイトル名、出演者及び主題歌を含む項目となる。
【００４３】
図５に、知識抽出部１０２から出力され、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語であるＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ：ＸＭＬ）形式により、記述された番組レコード３０１を示す。ＥＰＧデータ２０１の項目を番組レコード３０１の項目とすることもできるが、より高度な検索を行うためには、ＥＰＧデータ２０１の各項目を検索しやすいように加工した方がよい。また、各項目が＜＞で開始し、＜／＞で終了する。
【００４４】
ＩＤは、テレビ番組に固有の識別子であるため、ここでは、変換することなく使用する。放送日時は、図４で示した開始日とＢＳディジタル放送開始日とから放送日を計算して、更に開始時間を含み、放送開始時間が２００２年４月２０日２１時ならば「２００２０４２０２１００」と表記し、ジャンルには、下位概念を用いて「邦画」と表記し、タイトルには、（字）、（Ｓ）及び『』内のサブタイトルを削除し、映画Ａ又はドラマＡと表記する。
【００４５】
なお、放送開始日時は、和暦であってもよい。
【００４６】
また、番組に関係する人物は、図４のテキストの項目から、「監：」「出：」で始まる文字列をそれぞれ、監督、出演者と判定し、それ続く「、」で区切られた部分を人名と見なし、項目を「監督」及び「出演者」と表記する。
【００４７】
このようにして、図５のように、番組レコード形式のＩＤ、放送日時、ジャンル、タイトル、サブタイトル、監督及び出演者の項目を埋めることができる。
ここで、項目を検索用識別子とすることで、出演者が俳優Ａである番組を検索することや、特定の番組の出演者に対するリクエストに対して、俳優Ａと答えることができる。
【００４８】
番組データベース１０３は、知識抽出部１０２で作成された番組レコード３０１を蓄積し（Ｓ２０４）、対話制御部１０６の応答に対して番組レコード３０１を出力し、更に、データベース整理部１０４により、不要と判断された番組レコード３０１は随時削除される。
【００４９】
データベース整理部１０４は、番組レコード３０１を所定の基準により整理する。例えば、現在放送中の番組、これから放送される番組、放送終了後一週間以内の番組、録画された番組、視聴された番組及び対話制御部１０６により検索された項目を含む番組の番組レコード３０１を残し（Ｓ２０５）、それ以外の番組レコード３０１を削除する（Ｓ２０６）。そのためには、番組レコード３０１に、録画、視聴及び検索の有無を示す重要度の項目を追加し、管理する。
【００５０】
次に、第２の処理について説明する。口述リクエストとして音声信号が、音声理解部１０５に入力される（Ｓ３０１）。音声は、音声認識技術により、音声認識結果の単語列に変換される。ここで、適当な音声認識技術が、リー・Ｋによる「語彙話者不特定連続音声認識（Ｔｈｅ　Ｓｐｈｉｎｘ　Ｓｙｓｔｅｍｓ，　Ｐｈ．Ｄ．　Ｔｈｅｓｉｓ，　Ｃａｒｎｅｇｉｅ　Ｍｅｌｌｏｎ　Ｕｎｉｖｅｒｓｉｔｙ，　１９８８）」に教示されている。音声認識結果の単語列は、音声理解部１０５に含まれるフレーズ辞書を参照して、検索コマンドに変換され、音声理解結果となる（Ｓ３０２）。
【００５１】
図６に、フレーズ辞書４０１を示す。各辞書項目は３つのパートからなる。１つ目のパートは、表記であり、番組レコード３０１内の表現である。２つ目のパートは、表記に対応する読み情報であり、発音記号に変換して音声認識に利用する。ここでは、カタカナで表記する。３つ目のパートは、番組レコード３０１の項目や検索結果の出力に対する指定を表したもので検索コマンドを表記する。
【００５２】
例えば、１行目には、「監督Ａ＋カントクエー＋監督」と記載されており、番組レコード３０１内での表記が監督Ａであり、読み情報がカントクエーであり、項目及び検索コマンドが監督である。
【００５３】
対話制御部１０６は、検索コマンドを用いて、番組データベース１０３から適当な番組レコード３０１を呼び出し、番組レコード３０１内の項目を含むように応答文を生成し、音声出力部１０７に出力する（Ｓ３０３）。応答文の生成は、予め問い合わせ応答文パターンとして、例えば、「〔出演者〕です」を用意しておき、〔〕内を具体的な内容に置きかえることで実現できる（Ｓ３０７）。
【００５４】
音声出力部１０７は、応答文を音声合成し、出力する（Ｓ３０８）。音声合成処理は、テキスト文を発音記号の列に変換し、予め用意しておいた発音記号に対する波形データを、発音記号の列にしたがって接続することで実現できる。
【００５５】
以下に対話例を示す。
【００５６】
ユーザが「ドラマＡで俳優Ａと共演していたのは誰？」と質問し、システムが「俳優Ｂ、俳優Ｃ及び俳優Ｄです。」と応答する。
【００５７】
この対話例は、以下の手順で動作している。
【００５８】
まず、音声理解部１０５が、ユーザの質問を音声認識技術により単語列化する。この単語列は、いくつかのキーフレーズ、すなわち、「ドラマＡ」、「俳優Ａ」「共演していたのは誰？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（タイトル＝ドラマＡ）、（出演者＝俳優Ａ）、（共演者リクエスト＝共演していたのは誰）｝という検索コマンドに変換され、対話制御部１０６に渡される。
【００５９】
次に、対話制御部１０６では、番組データベース１０３から、タイトルが「ドラマＡ」であり、出演者が「俳優Ａ」である番組レコード３０１を検索する。これにより、番組レコード３０１が特定され、出力すべき共演者を求める。すなわち、全出演者｛俳優Ａ、俳優Ｂ、俳優Ｃ、俳優Ｄ｝を得て、俳優Ａを除いた出演者｛俳優Ｂ、俳優Ｃ、俳優Ｄ｝を用いて、応答文「俳優Ｂ、俳優Ｃ及び俳優Ｄです。」を作成し、音声出力部１０７に出力する。
【００６０】
最後に、音声出力部１０７が、音声合成技術により、応答文の文字を音声信号に変換して出力する。
【００６１】
なお、検索結果が複数である場合は（Ｓ３０４）、対話制御部１０６が口述リクエストの検索範囲を限定する応答文を作成し（Ｓ３０５）、音声出力部１０７から出力し（Ｓ３０６）、更なる口述リクエストを要求することで、絞り込みを行うことができる。
【００６２】
このようにして、音声による要求に応じて、番組データベース１０３から所望の項目を検出し、音声による提示が可能となる。
【００６３】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【００６４】
（実施の形態２）
図７は、本発明第２の実施の形態による音声対話装置を示す。ここで、５０１は、字幕放送信号から字幕放送データを抽出する字幕放送デコーダを示し、５０２は、字幕放送レコードを記憶する字幕データベースを示し、５０３は、音声理解部１０５の出力信号を用いて字幕放送データベース及び番組データベース１０３を検索し、検索結果を用いて応答文を作成する対話制御部を示す。
【００６５】
本発明第２の実施の形態による音声対話装置は、字幕放送された内容を用いて、テレビ番組に関する情報を出力するものであり、ＥＰＧデータ２０１から番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、字幕放送からＸＭＬ形式の字幕放送レコード６０１を作製し、字幕データベース５０２に蓄積する第２の処理と、入力された口述リクエストの語義を解釈し、字幕データベース５０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する第３の処理から構成される。
【００６６】
ここで、第１の処理及び第３の処理の入力された口述リクエストの語義の解釈に関する処理は、第１の実施の形態と同様の動作をするので、説明を省略し、残りの第２の処理及び第３の処理の字幕データベース５０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する処理について説明する。
【００６７】
また、図８は第２の実施の形態による第２の処理のフローチャートを示す。
【００６８】
まず、第２の処理について説明する。字幕放送を含む信号が入力され（Ｓ８０１）、字幕放送デコーダ５０１は、字幕放送信号から字幕放送データを抽出し（Ｓ８０２）、字幕のテキストに変換し、放送日時などのタグ付き情報を加えて、字幕放送レコードを作成する（Ｓ８０３）。字幕放送レコード６０１を図９に示す。項目として、放送日時と字幕放送の内容が記述されている。放送日時は、２００２年４月５日１９時であるため、「２００２０４０５１９」と記述される。また、内容については、字幕放送データをフレーズに変換することによる装置への負荷を軽減するために、字幕放送データを全て記述する。また、各項目は番組レコード３０１と同様に、＜＞により開始し、＜／＞により終了している。
【００６９】
また、字幕データベース５０２は、字幕放送デコーダ５０１により作成された字幕放送レコードを蓄積し（Ｓ８０４）、対話制御部５０３の応答に対して字幕放送レコードを出力し、更に、第１の実施の形態と同様にデータベース整理部１０４により、不要と判断された場合は（Ｓ８０５）、字幕放送レコードは随時削除される（Ｓ８０６）。そのためには、字幕放送レコード６０１に、録画、視聴及び検索の有無を示す重要度の項目を追加し、管理する。
【００７０】
次に、第３の処理について説明する。対話制御部５０３は、音声理解部１０５から入力される音声理解結果を用いて字幕放送データベースを検索し、検索結果を踏まえて、更に番組データベース１０３を検索し、応答文を作成する。
【００７１】
以下に対話例を示す。
【００７２】
口述リクエストが「Ｂ事件が発生した時期に、俳優Ａの出演していたドラマは何？」と入力され、音声出力部１０７が「ドラマＡです。」と出力する。
【００７３】
この対話例は、以下の手順で動作している。まず、音声理解部１０５により、口述リクエストが音声認識技術により単語列化する。この単語列は、いくつかのキーフレーズ、すなわち、「Ｂ事件が発生した時期」、「俳優Ａ」「ドラマは何？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（放送日時＝（字幕検索＝Ｂ事件））、（出演者＝俳優Ａ）、（タイトルリクエスト＝出演していたドラマは何？）｝という検索コマンドに変換され、対話制御部５０３に渡される。
【００７４】
次に、対話制御部５０３では、字幕データベース５０２から「Ｂ事件」を含む字幕放送レコードを検索し、その放送日時を得る。この放送日時が２００２年４月５日１９時であったとする。この日時で検索を行っても良いが、検索範囲を広げるために、２００２年４月ＸＸ日ＸＸ時とした方が良い。ここで、ＸＸは、任意の数字と照合できるものとする。この日付を用いて、上記の検索コマンドは、｛（放送日時＝２００２０４ＸＸＸＸ）、（出演者＝俳優Ａ）、（タイトルリクエスト＝出演していたドラマは何？）｝と置きかえられる。次に、番組データベース１０３から、放送日時が「２００２０４ＸＸＸＸ」、出演者が「俳優Ａ」である番組レコード３０１を検索する。これにより、番組レコード３０１が特定され、出力すべきタイトル「ドラマＡ」を得る。そこで、応答文「ドラマＡです。」を作成し、音声出力部１０７に出力する。音声出力部１０７は、音声合成技術により、応答文の文字を音声信号に変換して出力する。
【００７５】
このようにして、音声による口述リクエストに応じて、字幕放送データベース及び番組データベース１０３から所望の項目を求め、音声による応答が可能となる。
【００７６】
なお、字幕の放送日時は、和暦で示されてもよい。
【００７７】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【００７８】
（実施の形態３）
図１０は、本発明第３の実施の形態による音声対話装置を示す。ここで、７０１は、電子メールをＸＭＬ形式に変換して取り込む電子メールインポート部を示し、７０２は、電子メールを記憶する電子メールデータベースを示し、７０３は、音声理解部１０５の出力信号を用いて電子メールデータベース及び番組データベース１０３を検索し、検索結果を用いて応答文を作成する対話制御部を示す。
【００７９】
第３の実施の形態による音声対話装置は、入力された電子メールの内容を用いて、テレビ番組に関する情報を出力するものであり、ＥＰＧデータ２０１から番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、入力された電子メールから電子メールレコード８０１を作製し、電子メールデータベース７０２に蓄積する第２の処理と、入力された口述リクエストの語義を解釈し、電子メールデータベース７０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する第３の処理から構成される。
【００８０】
ここで、第１の処理及び第３の処理の入力された口述リクエストの語義の解釈に関する処理は、第１の実施の形態と同様の動作をするので、説明を省略し、残りの第２の処理及び第３の処理の電子メールデータベース７０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する処理について説明する。
【００８１】
図１１は、第３の実施の形態による第２の処理のフローチャートを示す。
【００８２】
まず、第２の処理について説明する。まず、電子メールインポート部７０１は、携帯電話及びパソコンなどに蓄積されている電子メールを取り込み（Ｓ１１０１）、差出人、宛先、送信日、受信日、件名及び本文などの識別子付けを行った電子メールレコード８０１を作成する（Ｓ１１０２）。
【００８３】
図１２に電子メールレコード８０１を示す。第１の実施の形態に示した番組レコード３０１と同様に、各項目は＜＞により開始し、＜／＞により終了する。ここで、差出人、宛先及び件名は、取り込まれた電子メールから変換することなく記述され、送信日は、２００２年４月２２日の送信日が「２００２０４２２」と記述され、本文は、電子メールデータをフレーズに変換することによる装置への負荷を軽減するために、本文の全てを記述する。
【００８４】
また、電子メールデータベース７０２は、電子メールインポート部７０１により取り込まれた電子メールレコード８０１を蓄積し（Ｓ１１０３）、対話制御部７０３の応答に対して電子メールレコード８０１を出力し、更に、第１の実施の形態と同様にデータベース整理部１０４により、不要と判断された場合は（Ｓ１１０４）、電子メールレコード８０１は随時削除される（Ｓ１１０５）。
【００８５】
次に、第３の処理について説明する。対話制御部７０３は、音声理解部１０５から入力される音声理解結果を用いて電子メールデータベース７０２を検索し、検索結果を踏まえて、更に番組データベース１０３を検索し、応答文を作成する。
【００８６】
以下に、第３の対話例を示す。
【００８７】
口述リクエストが「私が骨折していた時期に放送していた、俳優Ａの出演していたドラマは何？」と入力され、音声出力部１０７が「ドラマＡです。」と出力する。
【００８８】
この対話例は、以下の手順で動作している。まず、音声理解部１０５が、口述リクエストを音声認識技術により単語列化する。この単語列は、いくつかのキーフレーズ、すなわち、「私が骨折していた時期」、「俳優Ａ」「ドラマは何？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（放送日時＝（電子メール検索＝私が骨折））、（出演者＝俳優Ａ）、（タイトルリクエスト＝ドラマは何）｝という検索コマンドに変換され、対話制御部７０３に渡される。
【００８９】
次に、対話制御部７０３では、電子メールデータベース７０２から「私が骨折」を含む電子メールレコード８０１を検索し、その送信日を得る。その際、「私」「が」「骨折」と単語に分割し、それぞれについて検索を実行し、更に３つの単語を検索条件により組み合わせ、検索結果を絞り込むことができる。この電子メール送信日が２００２年４月２２日であったとする。この日付で検索を行っても良いが、検索範囲を広げるために、２００２年４月ＸＸ日ＸＸ時とした方が良い。ここで、ＸＸは、任意の数字と照合できるものとする。この日付を用いて、上記の検索コマンドは、｛（放送日時＝２００２０４ＸＸＸＸ）、（出演者＝俳優Ａ）、（タイトルリクエスト＝ドラマは何）｝と置きかえられる。
【００９０】
更に、番組データベース１０３から、放送日時が「２００２０４ＸＸＸＸ」、出演者が「俳優Ａ」である番組レコード３０１を検索する。これにより、番組レコード３０１が特定され、出力すべきタイトル「ドラマＡ」を得る。そこで、応答文「ドラマＡです。」を作成し、音声出力部１０７に出力する。音声出力部１０７７は、音声合成技術により、応答文の文字を音声信号に変換して出力する。
【００９１】
このようにして、音声による口述リクエストに応じて、電子メールデータベース７０２及び番組データベース１０３から所望の項目を求め、音声による応答が可能となる。
【００９２】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【００９３】
（実施の形態４）
図１３は、本発明第４の実施の形態による音声対話装置を示す。ここで、９０１は、画像又は音楽を記憶する画像・音楽ライブラリを示し、９０２は、音声理解部１０５の出力信号を用いて番組データベース１０３を検索し、前記検索結果を用いて、応答文の作成及び前記画像又は音楽の前記画像・音楽ライブラリ９０１からの読み出しを行う対話制御部を示し、９０３は、前記画像又は音楽を出力する画像・音楽出力部を示し、９０４は、画像・音楽ライブラリ９０１と対話制御部９０２を接続するネットワークを示す。
【００９４】
本発明第４の実施の形態による音声対話装置は、ネットワーク９０４に接続された画像・音楽データベースから、テレビ番組に関する情報を出力するものであり、ＥＰＧデータ２０１から番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、入力された口述リクエストの語義を解釈し、画像・音楽データベース及び番組データベース１０３を検索し、番組情報を含む応答文を出力する第２の処理から構成される。
【００９５】
ここで、第１の処理及び第２の処理の入力された口述リクエストの語義の解釈に関する処理は、第１の実施の形態と同様の動作をするので、説明を省略し、第２の処理の画像・音楽データベース及び番組データベース１０３を検索し、番組情報を含む応答文を出力する処理について説明する。
【００９６】
図１４は、第４の実施の形態による第２の処理のフローチャートを示す。
【００９７】
第２の処理について説明する。まず、画像・音楽ライブラリ９０１は、静止画及び動画を含むテレビ番組に関わる製作者及び出演者の画像、ドラマの主題歌に関するＸＭＬ形式などて記述された画像及び音楽のコンテンツを保持するライブラリであり、音声対話装置の内部にあっても外部にあってもよいが、ここでは、ネットワーク９０４に接続している場合について説明する。
【００９８】
次に、対話制御部９０２は、音声理解結果を用いて番組データベース１０３を検索し、応答文を作成するとともに、必要に応じて画像又は音楽コンテンツを画像・音楽ライブラリ９０１から読み出す。
【００９９】
更に、画像・音楽出力部９０３は、図１３には図示していないが、画像コンテンツをディスプレイに出力、音楽コンテンツをスピーカーから出力することで確認することができる。
【０１００】
以下に対話例を示す。
【０１０１】
口述リクエストが「ドラマＡで俳優Ａと共演していたのは誰？」と入力され、音声出力部１０７が「俳優Ｂ、俳優Ｃ、俳優Ｄです。」と出力する。更に口述リクエストが「俳優Ｃの画像は？」と入力され、音声出力部１０７が「こちらの画像です。」と出力すると同時に、顔画像をテレビ画面に表示する。
【０１０２】
この対話例は、以下の手順で動作している。口述リクエストが入力され（Ｓ１４０１）、音声出力部１０７が応答文を出力する処理は、第１の実施の形態と同様である。続いて、入力される口述リクエストを音声認識技術により単語列化する（Ｓ１４０２）。この単語列は、いくつかのキーフレーズ、すなわち、「俳優Ｃ」、「画像は？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（出演者＝俳優Ｃ）、（画像リクエスト＝画像は？）｝という検索コマンドに変換され、対話制御部９０２に出力される（Ｓ１４０３）。
【０１０３】
次に、対話制御部９０２では、画像・音楽ライブラリ９０１から、俳優Ｃの画像コンテンツを検索し（Ｓ１４０７）、該当する画像又は音楽が蓄積されている場合は（Ｓ１４０８）、画像・音楽出力部９０３に出力し、「こちらの画像です。」という応答文を作成して（Ｓ１４１０）、音声出力部１０７に出力する。
【０１０４】
更に、音声出力部１０７は、音声合成技術により、応答文の文字を音声信号に変換して出力する（Ｓ１４１１）。また、画像・音楽出力部９０３では、画像をテレビ画面に出力する（Ｓ１４０９）。
【０１０５】
このようにして、音声による口述リクエストに応じて、画像・音楽ライブラリ９０１及び番組データベース１０３から所望の項目を求め、音声による応答及びテレビ画面への表示が可能となる。
【０１０６】
なお、検索結果が複数である場合は（Ｓ１４０４）、対話制御部９０２が口述リクエストの検索範囲を限定する応答文を作成し（Ｓ１４０５）、音声出力部１０７から出力し（Ｓ１４０６）、更なる口述リクエストを要求することで、絞り込みを行うことができる。
【０１０７】
なお、放送日時の指定として曜日を指定し、カレンダーを参照して検索を行うことも可能である。
【０１０８】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【０１０９】
【発明の効果】
以上のように本発明によれば、番組データベースに蓄積したデータの削除する場合は、ユーザの嗜好を考慮し、選択的に蓄積データの削除を行い、更に、ＥＰＧ以外の情報であるニュースの字幕放送、ユーザの電子メール及びネットワーク上に蓄積されている画像及び音楽データと、番組に関する知識内容を関連付けすることで、過去、現在及び未来の放送番組に関する情報が得られるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明第１の実施の形態による音声対話装置の構成を示す図
【図２】同第１の実施の形態による第１の処理を示すフローチャート
【図３】同第１の実施の形態による第２の処理を示すフローチャート
【図４】同第１の実施の形態によるＥＰＧデータを示す図
【図５】同第１の実施の形態による番組データベースに記憶される番組レコードを示す図
【図６】同第１の実施の形態による辞書構成を示す図
【図７】同第２の実施の形態による音声対話装置の構成を示す図
【図８】同第２の実施の形態による第２の処理を示すフローチャート
【図９】同第２の実施の形態による字幕放送レコードを示す図
【図１０】同第３の実施の形態による音声対話装置の構成を示す図
【図１１】同第３の実施の形態による第２の処理を示すフローチャート
【図１２】同第３の実施の形態による電子メールレコードを示す図
【図１３】同第４の実施の形態による音声対話装置の構成を示す図
【図１４】同第４の実施の形態による第１の処理を示すフローチャート
【図１５】従来の音声対話装置の構成を示す図
【符号の説明】
１０１　電子番組ガイドデコーダ
１０２　知識抽出部
１０３　番組データベース
１０４　データベース整理部
１０５　音声理解部
１０６　対話制御部
１０７　音声出力部
２０１　ＥＰＧデータ
３０１　番組レコード
４０１　フレーズ辞書
５０１　字幕放送デコーダ
５０２　字幕データベース
５０３　対話制御部
６０１　字幕放送レコード
７０１　電子メールインポート部
７０２　電子メールデータベース
７０３　対話制御部
８０１　電子メールレコード
９０１　画像・音楽ライブラリ
９０２　対話制御部
９０３　画像・音楽出力部
９０４　ネットワーク

Claims

入力信号からテレビ番組表を電子化した電子番組ガイドを抽出する電子番組ガイドデコーダと、前記電子番組ガイドの項目を統合又は分割し、検索用識別子を付与した番組レコードに変換する知識抽出部と、前記番組レコードを記憶する番組データベースと、前記番組レコードを予め定めた基準により整理するデータベース整理部と、番組に関する情報を要求する口述リクエストの音声信号が入力され、前記音声信号から語義内容を解釈する音声理解部と、前記音声理解部の出力信号を用いて前記番組データベースを検索し、前記検索結果を用いて応答文を作成する対話制御部と、前記応答文を出力する音声出力部とを含む音声対話装置。
番組レコードが、更に、番組の出演者を示す項目を含む請求項１記載の音声対話装置。
番組レコードが、更に、西暦又は和暦により番組放送の日時を示す項目を含む請求項１又は２記載の音声対話装置。
番組レコードが、更に、録画、視聴及び検索の有無を示す重要度の項目を含む請求項１ないし３のいずれか記載の音声対話装置。
番組レコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項１ないし４のいずれか記載の音声対話装置。
データベース整理部が、予め定めた放送日時の番組レコード、視聴された番組レコード、録画された番組レコード及び対話制御部により検索された番組レコードを番組データベースに残す請求項１ないし５のいずれか記載の音声対話装置。
字幕放送信号から字幕放送データを抽出し、検索用識別子を付加した字幕放送レコードを出力する字幕放送デコーダと、前記字幕放送レコードを記憶する字幕データベースとを更に含み、対話制御部が、更に、前記字幕放送データベースを検索する請求項１ないし６記載の音声対話装置。
字幕放送レコードが、更に、録画、視聴及び検索の有無を示す重要度の項目を含む請求項７記載の音声対話装置。
字幕放送レコードが、更に、西暦又は和暦により放送の日時を示す項目を含む請求項７又は８記載の音声対話装置。
字幕放送レコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項７ないし９のいずれか記載の音声対話装置。
データベース整理部が、予め定めた放送日時の字幕放送レコード、視聴された字幕放送レコード及び対話制御部により検索された字幕放送レコードを字幕放送データベースに残す請求項７ないし１０のいずれか記載の音声対話装置。
電子メールを取り込み、検索用識別子を付与した電子メールレコードに変換する電子メールインポート部と、前記電子メールを記憶する電子メールデータベースとを更に含み、対話制御部が、更に、前記電子メールデータベースを検索する請求項１ないし１１のいずれか記載の音声対話装置。
電子メールレコードが、更に、検索の有無を示す重要度の項目を含む請求項１２記載の音声対話装置。
電子メールレコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項１２又は１３記載の音声対話装置。
データベース整理部が、予め定めた送信日の電子メールレコード及び対話制御部により検索された電子メールレコードを電子メールデータベースに残す請求項１２ないし１４のいずれか記載の音声対話装置。
画像又は音楽を記憶する画像・音楽ライブラリと、前記画像又は音楽を出力する画像・音楽出力部とを更に含み、対話制御部が、更に、前記画像又は音楽を前記画像・音楽ライブラリから読み出しする請求項１ないし１５のいずれか記載の音声対話装置。
画像又は音楽が、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される請求項１６記載の音声対話装置。
応答文が、テレビ番組に関する情報である請求項１ないし１７のいずれか記載の音声対話装置。
電子番組ガイドを含む信号を入力する第１のステップと、前記入力信号をデコードし、前記電子番組ガイドを出力する第２のステップと、前記電子番組ガイドの項目を統合又は分割し、検索用識別子を付与した番組レコードに変換する第３のステップと、前記番組レコードを番組データベースに蓄積する第４のステップと、前記番組レコードを予め定めた基準により保存の継続を判断する第５のステップと、保存の継続を中止した前記番組レコードを削除する第６のステップと、番組に関する口述リクエストの音声信号を入力する第７のステップと、前記音声信号から語義内容を解釈する第８のステップと、前記第８ステップの出力信号を用いて前記番組データベースを検索する第９のステップと、前記第９ステップの検索結果の個数が複数であるかを判断する第１０のステップと、前記第１０ステップの判断結果が真である場合に、前記口述リクエストを限定する条件を含む応答文を作成する第１１のステップと、前記第１１ステップの応答文を音声により出力する第１２のステップと、前記第１０ステップの判断結果が偽である場合に、前記第９ステップの前記検索結果を用いて応答文を作成する第１３のステップと、前記第１３ステップの応答文を出力する第１４のステップとを有する音声対話方法。
字幕放送データを含む信号を入力する第１５のステップと、前記入力信号をデコードし、前記字幕放送データを出力する第１６のステップと、前記字幕放送データに、検索用識別子を付与し、字幕放送レコードに変換する第１７のステップと、前記字幕放送レコードを字幕データベースに蓄積する第１８のステップと、前記字幕放送レコードを予め定めた基準により保存の継続を判断する第１９のステップと、保存の継続を中止した前記字幕放送レコードを削除する第２１のステップとを更に含み、第９ステップが、第８ステップの出力信号を用いて、更に、字幕データベースを検索する請求項１９記載の音声対話方法。
電子メールを取り込む第２２のステップと、前記電子メールに、検索用識別子を付与し、電子メールレコードに変換する第２３のステップと、前記電子メールレコードを電子メールデータベースに蓄積する第２４のステップと、前記電子メールレコードを予め定めた基準により保存の継続を判断する第２５のステップと、保存の継続を中止した前記電子メールレコードを削除する第２６のステップとを更に含み、第９ステップが、第８ステップの出力信号を用いて、更に、電子メールデータベースを検索する請求項１９又は２０記載の音声対話方法。
前記第１０ステップの判断結果が偽である場合に、前記第９ステップの前記検索結果を用いて、画像・音楽データベースを検索する第２７のステップと、前記第２７ステップの検索結果の有無を判断する第２８のステップと、前記第２８ステップの判断結果が真である場合は、画像又は音楽を出力する第２９のステップとを更に含む請求項１９ないし２１のいずれか記載の音声対話方法。