JP2008136530A

JP2008136530A - 録音データ自動出力システム

Info

Publication number: JP2008136530A
Application number: JP2006322991A
Authority: JP
Inventors: Makoto Umeda; 誠梅田; Naotaka Nomura; 直孝野村
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2006-11-30
Filing date: 2006-11-30
Publication date: 2008-06-19

Abstract

【課題】本発明は、台詞に関連するシーンに対して録音データを出力させる録音データ自動出力システムに関し、特別の操作を要せずに効果音や録音ナレーションを適時に出力可能としてエンターテイメント性の向上を図ることを目的とする。
【解決手段】照合テーブル３４にはキーワードデータとその出現回数と録音データファイル名とが関連付けられ、音声認識手段３１で台詞音声を解析したテキストデータを音声照合手段３２が照合テーブル３４のキーワードデータと照合して一致したときにその出現回数を計数手段３３で計数させると共に、当該キーワードデータ及びその出現回数から照合テーブル３４で対応の録音データファイル名を特定し、録音データ抽出手段３５が録音データＤＢ３６より抽出し、出力制御部１６が入力した台詞音声及び録音データの何れか一方若しくは両方を出力させるべく制御する構成とする
【選択図】図１

Description

本発明は、所定内容の台詞が音声出力され、当該台詞に関連するシーンに対して録音データを出力させる録音データ自動出力システムに関する。

例えば、語り手による台詞読み上げにより物語やあるシーンを表現する場合に、登場人物の台詞に加え、語るシーンに対応した雨の音、ドアの開閉音などの効果音や、物語の客観的状況を説明するための登場人物以外のナレーションを流すこともエンターテイメント性等の向上の一つとして考えられる。このような効果音やナレーションは、予め録音しておいたものでも語りに対する聴取者の臨場感を壊さないため、録音しておいた方が台詞語りも効率的となる。

ところで、会話中に効果音を流す手法として下記の特許文献で開示されているものがある。下記特許文献には、移動体通信装置に関して、予め効果音データとキーワードとが対応付けられて記憶され、ユーザの通話音声信号に含まれるキーワードを音声認識手段が検出したときに、当該キーワードに対応する効果音データを移動体通信装置に送出することが開示されている。

特開２００２−０５１１１６号公報

しかしながら、上記特許文献では、効果音データとキーワードとが単に対応付けられたものであり、ユーザによる通話の時間経過で音声信号に同じキーワードが複数含まれていても、常に同じ効果音が流れることになると共に、これを語りとナレーションの出力に適用した場合に、語りのシーンが切り替わっても同じキーワードでは同じ録音ナレーションを出力するということとなって録音ナレーションの効果が薄れてくるという問題がある。また、台詞と台詞との間に録音ナレーションを出力させるためには、所定のナレーションの選択や出力トリガの発信などのマニュアル操作を必要として、操作自体を行うという煩わしさがあるという問題がある。さらには、語り手がナレーションの内容を記憶していないと録音ナレーションが終了する前に語りを再開してしまい、語り手に負担を強いることとなるという問題もある。

そこで、本発明は上記課題に鑑みなされたもので、特別の操作を要せずに効果音や録音ナレーションを適時に出力可能としてエンターテイメント性の向上を図る録音データ自動出力システムを提供することを目的とする。

上記課題を解決するために、請求項１の発明では、所定内容の台詞が音声出力され、当該台詞に関連するシーンに対して録音データを出力させる録音データ自動出力システムであって、録音データ記憶部、照合テーブル、音声入力部、音声処理部、録音データ抽出手段及び出力制御部を備え、前記録音データ記憶部は、前記台詞に関連するシーンに対応する録音データを記憶し、前記照合テーブルは、所定の台詞をキーワードとしたキーワードデータと、当該キーワードデータの出現回数と、前記録音データ記憶部に記憶されている録音データを特定する情報とが関連付けられ、前記音声入力部は、台詞音声を入力し、前記音声処理部は、前記入力した台詞音声を解析して生成したテキストデータと前記照合テーブルのキーワードデータとを照合して一致したときの当該キーワードの出現回数を計数し、上記キーワードデータ及びその出現回数に基づいて上記照合テーブルを参照して対応の録音データを特定する情報を録音データ抽出手段に出力し、前記録音データ抽出手段は、前記音声処理部からの前記録音データを特定する情報に応じて、対応の録音データを前記録音データ記憶部より抽出して前記出力制御部に出力し、前記出力制御部は、入力した前記台詞音声及び録音データの何れか一方、若しくは両方を出力させるべく制御する、構成とする。

請求項２の発明では、前記出力制御部は、入力した前記台詞音声又は録音データの何れか一方を選択的に出力させるものであり、前記録音データ抽出手段から所定の前記録音データを入力した場合には当該録音データを出力し、当該録音データの出力区間以外のときに台詞音声を出力可能とする、構成である。

請求項１の発明によれば、照合テーブルには所定の台詞をキーワードとしたキーワードデータと、当該キーワードデータの出現回数と、録音データ記憶部に記憶されている録音データを特定する情報とが関連付けられ、音声処理部において、入力した台詞音声を解析して生成したテキストデータと当該照合テーブルのキーワードデータとを照合して一致したときの当該キーワードの出現回数を計数し、上記キーワードデータ及びその出現回数に基づいて当該照合テーブルを参照して対応の録音データを特定し、録音データ抽出手段が特定された録音データを録音データ記憶部より抽出し、出力制御部が入力した台詞音声及び録音データの何れか一方、若しくは両方を出力させるべく制御する構成とすることにより、特別の操作を要せずに効果音や録音ナレーションを適時に出力可能としてエンターテイメント性の向上を図ることができる一方で、キーワードの出現回数を条件とすることで予め定められるキーワードの文字数を短くすることができ、入力される音声の誤解析を防止することができるものである。

請求項２の発明によれば、出力制御部において、入力した台詞音声又は録音データの何れか一方を選択的に出力させ、録音データ抽出手段から所定の録音データを入力した場合には当該録音データを出力し、当該録音データの出力区間以外のときに台詞音声を出力可能とさせることにより、当該録音データが出力されているときに台詞音声を被らないようにさせることができるものである。

以下、本発明の最良の実施形態を図により説明する。
図１に、本発明に係る録音データ自動出力システムのブロック構成図を示す。図１において、録音データ自動出力システム１１は、バス１２、中央制御部１３、ＲＯＭ１４、ＲＡＭ１５、出力制御部１６、ミキシングアンプ１７、音声入力部であるマイク１８、スピーカ１９、音声処理部２０、記憶装置２１、操作部２２及びＡ／Ｄ（アナログ／デジタル）変換部２３を適宜備える。また、音声処理部２０には、音声認識手段３１及び音声照合手段３２を備え、当該音声照合手段３２は計数手段３３を備える。さらに、記憶装置２１には、照合テーブル３４、録音データ抽出手段３５及び録音データ記憶部である録音データＤＢ（データベース）３６が記憶される。

中央制御部１３は、このシステムを統括的に処理制御する物理的なＣＰＵであり、ＲＯＭ１４に記憶されているプログラムに基づくアルゴリズム処理を行う。上記ＲＡＭ１５は、種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。

上記出力制御部１６は、マイク１８から入力した台詞音声及び録音データの何れか一方、若しくは両方をミキシングアンプ１７に出力させるべく制御するものであり、台詞テキストデータをデコードしてミキシングアンプ１７に出力すると共に、録音データをデコードしてミキシングアンプ１７に出力する電子回路である。当該ミキシングアンプ１７は、出力制御部１６からの台詞音声、録音データの何れか一方、若しくは両方をミキシングし、増幅してスピーカ１９より出力させるものである。また、上記操作部２２は、電源ボタンやスタートボタン等のスイッチ類を備えたものである。そして、上記Ａ／Ｄ変換部２３は、マイク１８からの台詞音声をデジタルに変換し、出力制御部１６に入力させると共に、バス１２を介して音声処理部２０（音声認識手段３１）に入力させる電子回路である。

上記音声処理部２０の備える上記音声認識手段３１は、入力される台詞音声を解析してテキストデータとするプログラムでありＲＡＭ１５に展開されて実行される。本実施形態では、例えば、アナログ信号の台詞音声をデジタル変換し、フォントコード化したテキストデータとする。なお、アナログ波形を画像化して解析したテキストデータとしてもよい。

上記音声処理部２０の備える音声照合手段３２は、同じキーワードの出現回数を計数する計数手段３３を備え、音声認識手段３１からのテキストデータと照合テーブル３４（図２で説明する）のキーワードとを照合して一致したときにキーワードの出現回数を計数し、当該キーワードデータ及びその出現回数に基づいて照合テーブル３４を参照して対応の録音データを特定する情報（録音データファイル名）を録音データ抽出手段３５に出力するプログラムであり、ＲＡＭ１５に展開されて実行される。計数手段３３の計数処理は、例えば、ＲＡＭ１５の対応メモリ領域の計数メモリを展開して行われる（図２（Ｂ）で説明する）。

ここで、テキストデータとキーワードとの照合は、例えば、随時入力されて解析されたテキストデータ（フォントコード）を、まずキーワードの最初の一音データ（フォントコード）と照合し、一致したときに順次２番目以降の一音データ（フォントコード）と照合していく処理であり、キーワードの総ての一音データ（フォントコード）とが一致したときに、当該キーワードを特定すると共に、その出現回数を特定する。逆に、一つでも一致しないものがあれば、キーワードの最初の一音データとの照合から繰り返すものである。

記憶装置２１に記憶される照合テーブル３４は、図２（Ａ）で一例を説明するが、所定の台詞中のキーワードと、当該キーワードの出現回数と、録音データに関する情報としてのファイル名（録音データファイル名）とを関連付けたテーブルである。上記記憶装置２１に記憶される録音データ抽出手段３５は、音声照合手段３２から照合結果として出力される上記録音データファイル名に基づいて、対応の録音データ（ファイル）を録音データＤＢ３６より抽出して出力制御部１６に送出するプログラムである。ＲＡＭ１５に展開されて実行される。

上記記憶装置２１に記憶される録音データＤＢ３６は、台詞に関連するシーンに対応する録音データを記憶するデータベースであり、録音データには一例として上述のように、雨の音、ドアの開閉音などの効果音や、物語の客観的状況を説明するための登場人物以外のナレーション等があり、予め録音されたデータである。

ここで、図２に、図１の照合テーブル及び計数手段の説明図を示す。図２（Ａ）は照合テーブルの一例の図であり、図２（Ｂ）は計数手段の計数処理の一例の図である。図２（Ａ）において、照合テーブル３４は、図２（Ａ）に示すように、台詞のキーワードと当該キーワードの出現回数とのＡＮＤ条件で録音データファイル名を対応付けたものであり、同じキーワードが出現してもその出現回数に応じて、すなわち語りのシーンに応じた異なる録音データ（録音データファイル名）とさせる。これによって、同じキーワードが存在しても、対応の録音データファイル名が特定されることとなる。すなわち、総てのキーワードを重複させないようにするためにはキーワード長を長くする必要があるのに比べて、出現回数を条件とすることで予め定められるキーワードの文字数を短くすることができ、入力される音声の誤解析を防止することができるものである。

そして、キーワードとその出現回数で録音データファイル名を特定するにあたり、計数手段３３が、図２（Ｂ）に示すように、上記音声照合手段３２で照合されたキーワード毎に出現回数を計数して、ＲＡＭ１５の対応メモリ領域の計数メモリに記憶しておくもので、当該音声照合手段３２が照合対象としてキーワードを特定したときに計数手段３３が当該キーワードの計数値を更新する。当該音声照合手段３２では照合テーブル３４を参照して当該キーワードと当該更新した計数値とに基づいて録音データファイル名を特定するものである。

そこで、図３に、図１の録音データ出力のフローチャートを示す。図３において、まず、物語などの読み手が台詞を、マイク１８を介して読み上げると、当該マイク１８に入力される読み上げられた台詞音声は、音声処理部２０に入力されると共に、出力制御部１６に一旦入力される（ステップ（Ｓ）１）。音声処理部２０の音声認識手段３１が入力した台詞音声を解析してテキストデータとし、音声照合手段３２が当該テキストデータと照合テーブル３４で定められているキーワードデータとを実時間で順次照合する（Ｓ２）。順次マイク１８より入力される台詞音声に対して照合が繰り返される（Ｓ３）。

音声照合手段３２による照合の結果（Ｓ３）、一致した場合には、計数手段３３が一致したキーワードデータの出現回数をカウントしてＲＡＭ１５の対応メモリ領域に展開された計数メモリの出現回数を更新すると共に、当該キーワード及び出現回数のデータに基づき照合テーブル３４を参照する（Ｓ４）。参照の結果（Ｓ５）、一致したものがなければ順次マイク１８より入力される台詞音声に対して照合が繰り返される。また、一致したものがあれば、当該照合テーブル３４より対応の録音データを特定する録音データファイル名を取得し、録音データ抽出手段３５に送出する（Ｓ６）。

録音データ抽出手段３５では、音声照合手段３２より入力した録音データファイル名に基づいて、対応の録音データを録音データＤＢ３６より抽出して出力制御部１６に送出する（Ｓ７）。そして、出力制御部１６では、ミキシングアンプ１７に対してマイク１８からの台詞音声をデコードして出力すると共に、上記録音データ抽出手段３５で抽出した録音データをデコードして出力するものである。

このように、特別の操作を要せずに効果音や録音ナレーションを適時に出力可能としてエンターテイメント性の向上を図ることができる。また一方で、キーワードの出現回数を条件とすることで予め定められるキーワードの文字数を短くすることができ、入力される音声の誤解析を防止することができるものである。

次に、図４に、本発明に係る録音データ自動出力システムにおける他の実施形態の照合テーブルの説明図を示す。この実施形態は、次の図５と共に、出力される録音データが所定内容の場合に、マイク１８からの台詞音声を重複出力させずに当該録音データの出力を優先的に単独で出力させる場合の形態である。

ここでは、録音データを上記のように効果音と録音ナレーションとの場合として、録音ナレーションの場合にマイク１８からの台詞音声との重複出力をさせないこととしたものである。この場合、出力制御部１６は、マイク１８より入力した台詞音声又は録音データの何れか一方を選択的に出力させるものであり、録音データ抽出手段３５から所定の録音データ（録音ナレーション）を入力した場合には当該録音データ（録音ナレーション）を出力し、当該録音データの出力区間以外のときに台詞音声を出力可能とする制御を行う。なお、効果音に対しては重複出力を容認させるものとして説明するが、当該効果音に対しても重複出力させないこととしてもよい。

図４において、上記照合テーブル３４は、図２（Ａ）に示す台詞キーワード、出現回数及び録音データファイル名の関連付けの他に、当該録音データファイル名で特定される録音データの種別を示すフラグをも関連付けたテーブルとして示している。すなわち、例えば、フラグ「１」の録音データを録音ナレーションとし、フラグ「０」の録音データを効果音としている。

そこで、図５に、本発明に係る録音データ自動出力システムにおける他の実施形態の録音データ出力のフローチャートを示す。図５において、Ｓ１１〜Ｓ１３は、図３のＳ１〜Ｓ３と同様である。すなわち、Ｓ１３において、音声照合手段３２による照合の結果、一致した場合には、計数手段３３が一致したキーワードデータの出現回数をカウントしてＲＡＭ１５の対応メモリ領域に展開された計数メモリの出現回数を更新すると共に、当該キーワード及び出現回数のデータに基づき照合テーブル３４を参照する（Ｓ１４）。参照の結果（Ｓ１５）、一致したものがなければ順次マイク１８より入力される台詞音声に対して照合が繰り返される。また、一致したものがあれば、当該照合テーブル３４より対応の録音データを特定する録音データファイル名及びフラグを取得し、録音データ抽出手段３５に送出する（Ｓ１６）。

録音データ抽出手段３５では、音声照合手段３２より入力した録音データファイル名に基づいて、対応の録音データを録音データＤＢ３６より抽出して音声照合手段３２より送られてきたフラグと共に出力制御部１６に送出する（Ｓ１７）。出力制御部１６では、送られてきた録音データの種別をフラグにより特定する（Ｓ１８）。当該録音データが効果音（フラグ「０」）の場合には、ミキシングアンプ１７に対してデコードした効果音データ及びマイク１８からの台詞音声をデコードして重複出力可能に出力する（Ｓ１９）。ミキシングアンプ１７では、デコードされた台詞音声と録音データの効果音とをミキシングしてスピーカ１９より出力させる。

一方、出力制御部１６において、録音ナレーションが出力されていない区間ではマイク１８からの台詞音声を出力する選択モードとしており、録音データ抽出手段３５より録音データ及びフラグが送られ、当該録音データが録音ナレーションデータ（フラグ「１」）の場合には、ミキシングアンプ１７に対してマイク１８からの台詞音声の出力状態から、録音ナレーションデータの出力状態とする選択モードに切り替える（Ｓ２０）。続いて、録音ナレーションがスピーカ１９より出力され、当該録音ナレーションが終了したときに（Ｓ２１）、ミキシングアンプ１７に対して録音ナレーションデータの出力状態から、マイク１８からの台詞音声の出力状態とする選択モードに切り替えてスピーカ１９より台詞音声を出力させるものである（Ｓ２２）。

このように、特別の操作を要せずに録音ナレーションを適時に出力可能とすると共に、録音ナレーションの録音データが出力されているときに台詞音声を被らないようにさせることで台詞音声と録音ナレーションとの重複出力を回避させることができ、録音ナレーションによるエンターテイメント性の向上を図ることができるものである。

本発明の録音データ自動出力システムは、語り手の台詞が音声出力され、語られる台詞に関連するシーンに対して録音データを出力するシステムに利用可能である。

本発明に係る録音データ自動出力システムのブロック構成図である。図１の照合テーブル及び計数手段の説明図である。図１の録音データ出力のフローチャートである。本発明に係る録音データ自動出力システムにおける他の実施形態の照合テーブルの説明図である。本発明に係る録音データ自動出力システムにおける他の実施形態の録音データ出力のフローチャートである。

符号の説明

１１録音ナレーション自動出力システム
１６出力制御部
２０音声処理部
３１音声認識手段
３２音声照合手段
３３計数手段
３４照合テーブル
３５録音データ抽出手段
３６録音データＤＢ

Claims

所定内容の台詞が音声出力され、当該台詞に関連するシーンに対して録音データを出力させる録音データ自動出力システムであって、
録音データ記憶部、照合テーブル、音声入力部、音声処理部、録音データ抽出手段及び出力制御部を備え、
前記録音データ記憶部は、前記台詞に関連するシーンに対応する録音データを記憶し、
前記照合テーブルは、所定の台詞をキーワードとしたキーワードデータと、当該キーワードデータの出現回数と、前記録音データ記憶部に記憶されている録音データを特定する情報とが関連付けられ、
前記音声入力部は、台詞音声を入力し、
前記音声処理部は、前記入力した台詞音声を解析して生成したテキストデータと前記照合テーブルのキーワードデータとを照合して一致したときの当該キーワードの出現回数を計数し、上記キーワードデータ及びその出現回数に基づいて上記照合テーブルを参照して対応の録音データを特定する情報を録音データ抽出手段に出力し、
前記録音データ抽出手段は、前記音声処理部からの前記録音データを特定する情報に応じて、対応の録音データを前記録音データ記憶部より抽出して前記出力制御部に出力し、
前記出力制御部は、入力した前記台詞音声及び録音データの何れか一方、若しくは両方を出力させるべく制御する、
ことを特徴とする録音データ自動出力システム。
請求項１記載の録音データ自動出力システムであって、前記出力制御部は、入力した前記台詞音声又は録音データの何れか一方を選択的に出力させるものであり、前記録音データ抽出手段から所定の前記録音データを入力した場合には当該録音データを出力し、当該録音データの出力区間以外のときに台詞音声を出力可能とすることを特徴とする録音データ自動出力システム。