JP2010079091A - 音声出力装置、音声出力方法及びプログラム - Google Patents

Abstract

【課題】コンテンツの再生中に、再生すべき音声によるメッセージが発生した場合に、コンテンツの再生をできる限り妨げることなく、音声によるメッセージを、より効果的に音声出力可能な音声出力装置を提供すること。
【解決手段】コンテンツ取得部１３は、再生中のコンテンツのうち、予め定められた区間の前記コンテンツを取得する。コンテンツ分析部１４は、取得したコンテンツを複数の区間に分類し、前記複数の区間の各区間の前記コンテンツの属性情報を生成する。出力方法決定部１２は、少なくともコンテンツの各区間の属性情報に基づいて、メッセージの音声出力に係る制御方法を決定する。出力音声再生部１５は、この制御方法に従ってメッセージを音声出力する。
【選択図】 図１

Description

本発明は、音声出力装置、音声出力方法及びプログラムに関する。

音声出力装置において、例えば、オーディオ装置等による音声再生中に、システム（例えばカーナビゲーションシステム）の音声出力（例えばルート案内の音声出力）が重なる場合がある。

特許文献１には、上記のような場合に、案内音声の出力が聞こえるようにゲインを補正する技術が開示されている。特許文献１では、聞き取り位置での騒音レベルに応じて出力音声に対するゲイン補正を行っており、騒音レベルが変化しても常に案内音声の内容を明瞭に聞き取ることができるようになる。

しかし、システムの音声出力とオーディオ装置等の出力とを並行して出力することによりコンテンツ視聴が阻害され、満足できるコンテンツ視聴ができなくなるという問題点があった。例えば、音楽を再生している状況において、クライマックスの視聴時に案内音声が再生された場合、利用者にストレスを与えてしまう。
特開平１１−１６６８３５公報 Tzanetakis, G.,"Song-specific bootstrapping of singing voice structure", IEEE International Conference On Multimedia And Expo.,vol.3,pp.2027-2030, 2004 E. D. Scheirer and M. Slaney, "Construction and evaluation of a robust multifeature speech-music discriminator," Proc. IEEE ICASSP, vol.2, pp. 1331-1334, 1997

上述したように、従来、システムの音声出力とオーディオ装置等の出力とを並行して出力することによりコンテンツ視聴が阻害され、満足できるコンテンツ視聴ができなくなるという問題点があった。

本発明は、上記事情を考慮してなされたもので、コンテンツの再生中に、再生すべき音声によるメッセージが発生した場合に、コンテンツの再生をできる限り妨げることなく、音声によるメッセージを、より効果的に音声出力可能な音声出力装置、音声出力方法及びプログラムを提供することを目的とする。

本発明に係る音声出力装置は、コンテンツの再生中に発生した音声によるメッセージを音声出力するための音声出力装置であって、再生中の前記コンテンツのうち、予め定められた区間の前記コンテンツを取得するコンテンツ取得部と、取得した前記コンテンツを複数の区間に分類し、前記複数の区間の各区間の前記コンテンツの属性情報を生成する生成部と、少なくとも前記コンテンツの各区間の前記属性情報に基づいて、前記メッセージの音声出力に係る制御方法を決定する出力方法決定部と、前記制御方法に従って前記メッセージを音声出力する出力音声再生部と、を備えることを特徴とする。

本発明によれば、コンテンツの再生中に、再生すべき音声によるメッセージが発生した場合に、コンテンツの再生をできる限り妨げることなく、音声によるメッセージを、より効果的に音声出力することが可能になる。

以下、図面を参照しながら本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る音声出力装置の構成を示すブロック図である。

図１に示されるように、本実施形態の音声出力装置１は、出力音声決定部１１、出力方法決定部１２、コンテンツ取得部１３、コンテンツ分析部１４、出力音声再生部１５を備えている。

音声出力装置１は、音声（音声信号あるいはオーディオ情報）を含むコンテンツの再生中に発生した、再生すべき出力音声（以下、メッセージと呼ぶ。）を再生するものであって、その際、コンテンツに係る音声の再生と、メッセージの再生との出力方法の調整・制御を行うものである。

音声を含むコンテンツは、特に制限はなく、例えば、ＤＶＤ等の記録媒体から読み込んだ音声コンテンツ（例えば音楽コンテンツ）や、音声／映像コンテンツ（例えば映画コンテンツ）などでも良いし、テレビやラジオの放送を受信した番組コンテンツなどでも良いし、インターネットなどのネットワークを介して受信したコンテンツなどでも良い。

ただし、音声出力装置１は、再生中のコンテンツを先読みして分析するものであり、記録媒体からコンテンツを読み込んで再生する場合には、その記憶媒体から先読みが可能である。これに対して、外部から受信するコンテンツは基本的に先読みができないので、再生中のコンテンツの先読み、分析を可能にするためには、外部から受信したコンテンツを一旦、バッファに蓄積した後に再生すれば良い。これによって、外部から受信するコンテンツについても、バッファからの先読みが可能になる。

メッセージは、特に制限はなく、例えば、音声出力装置１内で（例えば出力音声決定部１１が）生成したものであっても良いし、音声出力装置１（の出力音声決定部１１又は図示しないメッセージ取得部が）がシステム（例えば、カーナビゲーションシステム）から与えられたもの、あるいは、インターネット上のサーバから取得されたもの、あるいは、音声出力装置１（の出力音声決定部１１又は図示しない放送受信部が）がメッセージ放送を受信したものであっても良い。また、メッセージは、録音音声であっても良いし、合成音声であっても良い。

また、メッセージは、再生中のコンテンツとは関係なく発生したものであっても良いし、再生中のコンテンツにおいてイベントが発生したことによって発生したものであっても良い。

さて、出力音声決定部１１は、再生すべきメッセージを決定し、そのメッセージに関する情報（メッセージ属性情報）を、そのメッセージに付加して、出力方法決定部１２に出力する。

メッセージ属性情報には、例えば、そのメッセージの再生に必要な再生所要時間（Ｌ１）と、そのメッセージの再生を完了すべき（最も遅い）時刻である必須再生終了時間（Ｔ１）が含まれる。また、そのメッセージの重要度を示すメッセージ重要度情報（Ｗ１）が含まれても良い。

なお、出力音声決定部１１がメッセージを生成する場合には、例えば、Ｌ１、Ｔ１、Ｗ１も出力音声決定部１１が生成しても良い。出力音声決定部１１の外部でメッセージが生成される場合には、例えば、Ｌ１、Ｔ１、Ｗ１は、メッセージに付加されて出力音声決定部１１に与えられても良いし、また、例えば、出力音声決定部１１が、メッセージの内容又はメッセージのヘッダなどから、生成しても良い。

なお、出力音声決定部１１がメッセージを生成する場合には、例えば、出力音声決定部１１は、生成したメッセージをすべて再生すべきメッセージと決定しても良い。メッセージが、外部から取得されたものである場合には、例えば、出力音声決定部１１は、取得されたメッセージをすべて再生すべきメッセージと決定しても良いし、予め定められた基準に従って選択したものだけを、再生すべきメッセージと決定しても良い。

コンテンツ取得部１３は、分析対象となる（再生中の）コンテンツを取得し、コンテンツ分析部１４へと出力する。

コンテンツ分析部１４は、取得されたコンテンツを分析して、そのコンテンツに関する情報（コンテンツ属性情報）を生成し、これを、出力方法決定部１２へ出力する。

コンテンツの分析としては、少なくとも、取得されたコンテンツに対する音声重畳可能性（メッセージを重畳できる可能性）の分析が行われる。これに加えて、例えば、コンテンツ重要度などの分析が行われても良い。

音声重畳可能性の分析の結果、コンテンツの各区間（重畳可否判定区間）の重畳可否を示す重畳可否情報（Ｍ２１）、あるいは、重畳可能度（ここでは、重畳可能度の値が小さいほど、より重畳が可能であるものとする。）を示す重畳可能度情報（Ｍ２２）が生成される。コンテンツ重要度が分析された場合、コンテンツの各区間（重畳可否判定区間）の重要度を示すコンテンツ重要度情報（Ｗ２）が生成される。重畳可能度は、コンテンツ重要度情報と同じ値、又は、コンテンツ重要度情報に基づいて算出される値にしても良いし、コンテンツ重要度情報とは独立して決定される値であっても良い。

コンテンツ属性情報には、Ｍ２１又はＭ２２、あるいは、Ｍ２１又はＭ２２及びＷ２の他に、例えば、そのコンテンツの各区間（又は、メッセージの重畳が可能な区間）の開始時刻（Ｓ２）、終了時刻（Ｅ２）、継続時間（Ｌ２）が含まれる（なお、終了時刻（Ｅ２＝Ｓ２＋Ｌ２）又は継続時間（Ｌ２＝Ｅ２−Ｓ２）の一方は、開始時刻（Ｓ２）と他方から算出できるので、省略可能である）。

出力方法決定部１２は、出力音声決定部１１からのメッセージ属性情報と、コンテンツ分析部１４からのコンテンツ属性情報とに基づき、メッセージの再生制御方法を決定し、メッセージとともに、出力音声再生部１５へ出力する。

メッセージの再生制御方法には、例えば、メッセージを直ちに再生するもの、メッセージの再生開始時刻を調整するもの、メッセージの内容を調整するもの（例えば、メッセージを短くするもの、メッセージを分割するもの、メッセージを短くし且つ分割するもの）、それらを任意に組み合わせたものなどがある。

なお、上記と併せて、コンテンツの再生を調整しても良い。例えば、コンテンツの再生の中断・再開をさせたり、あるいは、コンテンツの再生音声の音量を下げさせたりしても良い。この場合には、出力方法決定部１２から、コンテンツ再生デバイスに対して、コンテンツに係る再生制御方法を伝えれば良い。

出力音声再生部１５は、上記再生制御方法に基づき、上記メッセージを再生する。

なお、メッセージを再生すべき場合に、再生中のコンテンツがないときは、例えば、コンテンツ取得部１３が、その旨を、コンテンツ分析部１４を介して又は直接、出力方法決定部１２へ伝え、出力方法決定部１２は、メッセージを直ちに再生することを決定すれば良い。

ところで、音声出力装置１は、システムに内蔵されたものでも良い。図２は、音声出力装置１が、コンテンツ再生装置（コンテンツ再生部１６）を内蔵するカーナビゲーションシステム２に内蔵された場合を例示している。なお、この場合において、コンテンツ再生装置が、カーナビゲーションシステム２とは独立している形態も可能である。

コンテンツ再生装置は、例えば、音楽プレーヤーあるいはＤＶＤプレーヤー等である。

また、音声出力装置１は、システムに外付けされるものであっても良い。図３は、音声出力装置１が、カーナビゲーションシステム３とコンテンツ再生装置４に外付けされた場合を例示している。なお、この場合において、コンテンツ再生装置４が、カーナビゲーションシステム３に内蔵されている形態も可能である。

なお、図２や図３において、音声出力装置１の出力音声再生部と、カーナビゲーションシステムあるいはコンテンツ再生装置の出力音声再生部とが共用されたものであっても良い。

図４は、音声出力装置１の動作例を示すフローチャートである。

ステップＳ１〜Ｓ５の処理は、メッセージが発生するごとに、各メッセージに対して実行される。ただし、出力すべきメッセージが複数存在する場合には、ステップＳ１，Ｓ２をまとめて行っても構わない。ステップＳ１で、出力音声決定部１１は、メッセージを決定する。ステップＳ２で、コンテンツ取得部１３は、コンテンツを取得する。ステップＳ３で、コンテンツ分析部１４は、コンテンツを分析する。ステップＳ４で、出力方法決定部１２は、再生制御方法を決定する。ステップＳ５で、出力音声再生部１５は、この再生制御方法に従ってメッセージを再生する。

以下、音声出力装置１が行う処理の一例について、音楽再生機能或いはＤＶＤ再生機能を有するカーナビゲーションシステムを例に取って説明する。

経路案内だけでなく、観光情報、渋滞情報、別経路情報など様々な情報を音声で出力可能なカーナビゲーションシステムにおいては、再生するメッセージの重要度は、その内容によって異なる。また、所定時刻内に出力しないと意味を成さない情報もある。出力音声決定部１１は、メッセージの再生所要時刻（Ｌ１）に加え、必須再生終了時間（Ｔ１）を出力するのが望ましい。また、メッセージ重要度（Ｗ１）を用いる場合には、これを出力しても良い。

コンテンツ取得部１３は、再生中のコンテンツの予め定められた区間のコンテンツを取得する。取得する区間としては、予め決定した時間分のコンテンツを取得しても良く、あるいは、当該コンテンツの終了までの情報を全て取得しても良い。

コンテンツ分析部１４は、取得したコンテンツ情報を分析し、各区間が、メッセージの重畳が可能な重畳可能区間であるか、メッセージの重畳が不能な重畳不能区間であるかを決定し、各重畳可能区間の開始時刻情報（Ｓ２）と継続時刻情報（Ｌ２）を出力方法決定部１２へと出力する。また、コンテンツ分析部１４は、それらとともに、各区間のコンテンツ重要度（Ｗ２）を出力しても良い。

メッセージ重要度は、各メッセージの種類によって予め設定した値を用いても良く、あるいは、各情報の重畳許可に関して利用者が、「重畳許可する」「重畳許可しない」（あるいは、「重畳許可する」「重畳許可しない」「お任せ」）のそれぞれの選択結果に基づいて予め定められた値を設定しても良い。図５は、メッセージの重要度を利用者が設定可能な画面インターフェイスの例である。ここで、利用者は音声重畳を許可するかしないかを自由に決定することができ、メッセージの種類ごとに重畳可否を設定することができる。

なお、上記は、コンテンツの各区間のコンテンツ重要度についても同様に可能である。図６は、コンテンツの各区間の重要度を利用者が設定可能な画面インターフェイスの例である。ここで、利用者は音声重畳を許可するかしないかを自由に決定することができ、コンテンツ区間の種類ごとに重畳可否を設定することができる。

また、いずれの重要度についても、重要度を利用者が決定することもでき、「最重要」「重要」「普通」などを設定しても良い。

ここでは、重畳可否や重要度の設定を選択に選ぶ方法を示したが、これに限らず重要度や重畳可能度を数値として入力しても良い。

また、メッセージの内容を分析し、「緊急情報です」などの特定の文や語句が含まれている場合には、メッセージ重要度を高く設定するように調整しても良い。

また、コンテンツ重要度については、例えば、歓声が検出される区間はコンテンツが盛り上がっていると判断して重要度を高く設定しても良く、また、例えば、利用者が好みの音楽が再生されている場合は重要度を高く設定しても良い。

また、コンテンツ音声を分析し、音量の大きさに比例するように、重畳可能度を決定しても良い。

なお、本実施形態では、コンテンツ分析を行うために、メッセージやコンテンツの重要度や、重畳可否等の情報を利用者が設定したが、予め決められたルールに基づいて、重要度や重畳可否等を決定しても良い。

コンテンツ分析部１４が行う重畳区間の判定（重畳可否の判定）には、コンテンツの区間の種類に基づいて判定する方法と、メッセージの種類とコンテンツの区間の種類の組に基づいて判定する方法とがある。

まず、コンテンツの各区間の種類に基づいて判定する方法について説明する。

例えば、コンテンツを分析して、音声のパワー情報が小さい区間を無音であると判断し、無音であると判断された区間を重畳可能区間とし、それ以外の区間を重畳不能区間としてもよい。

また、ＭＦＣＣやＬＰＣなどの音声情報より抽出した特徴量を利用したボーカル区間判定方法を利用することで間奏区間とボーカル区間を抽出することができ（例えば、Tzanetakis, G.,“Song-specific bootstrapping of singing voice structure”, IEEE International Conference On Multimedia And Expo.,vol.3,pp.2027-2030, 2004を参照）、抽出した間奏区間を重畳可能区間とし、ボーカル区間を重畳不能区間としてよい。さらに、繰り替えし現れるボーカル区間をサビ区間とし、サビ区間に対しては、コンテンツの重要度を高く設定してもよい。

また、音声情報より抽出した４Ｈz変調エネルギーなどの特徴量を用いて音声区間と音楽区間を識別する方法を利用し（例えば、E. D. Scheirer and M. Slaney, “Construction and evaluation of a robust multifeature speech-music discriminator,” Proc. IEEE ICASSP, vol.2, pp. 1331-1334, 1997を参照）、抽出された音声区間を重畳可能区間とし、音楽区間を重畳不能区間としても良い。

さらに、話者認識を行い、特定の話者が話していない区間を重畳可能区間とし、それ以外の区間を重畳不能区間としても良い。

また、上記の方法を適宜組み合わせて、判定を行っても良い。

また、利用者の設定に基づいて、判定を行っても良い。例えば、音楽コンテンツの再生時にメッセージの出力を行う場合、図６のように重畳を行って良いかを利用者が設定し、その設定値に基づき重畳可能区間を出力しても良い。

次に、メッセージの種類とコンテンツの各区間の種類の組に基づいて判定する方法について説明する。

例えば、メッセージの種類に応じたメッセージ重要度（Ｗ１）と、コンテンツの区間の種類に応じたコンテンツ重要度（Ｗ２）とを比較し、Ｗ１≧Ｗ２＋ｄ１（ここで、ｄ１は、ｄ１≧０の規定値）である区間を重畳可能区間とし、それ以外の区間を重畳不能区間としても良い。

また、メッセージの種類に応じた重畳可否と、コンテンツの区間の種類に応じた重畳可否が一致すれば、その一致内容を採用し、不一致であれば、予め定められた調整方法によって重畳可否を決するようにしても良い。調整方法は、例えば、メッセージの種類に応じた重畳可否と、コンテンツの区間の種類に応じた重畳可否とのいずれを優先するかを、予め設定しておく方法がある。この設定は、利用者が行っても良い。

この場合に、図５と図６の設定内容を利用しても良い。例えば、メッセージが「ルート案内」で、コンテンツの区間が「無音」であれば、重畳可能区間となる。また、例えば、メッセージが「ルート案内」で、コンテンツの区間が「音楽全体」であれば、設定が不一致であるので、調整が必要であり、例えば、この場合に、「ルート案内」の設定を優先するものとして、「重畳可能区間」とするなどの調整を行なう。

なお、上記では、コンテンツ分析部１４がコンテンツの各区間の重畳可否情報（Ｍ２１）を出力する場合について説明したが、コンテンツの各区間の重畳可能度情報（Ｍ２２）を出力する場合には、最終的な重畳可否は、出力方法決定部１２が行うことになる。この場合、例えば、コンテンツ分析部１４により、コンテンツの各区間に対して、その種類に応じて（例えば、０％〜１００％の範囲で）重畳可能度が与えられ、この重畳可能度に基づいて、重畳可否が決せられる。

例えば、予め設定された基準値（Ｒ１）と重畳可能度（Ｍ２２）とを比較して、Ｒ１≧Ｍ２２＋ｄ２（ここで、ｄ２は、ｄ２≧０の規定値）であれば、重畳可能と判定され、Ｒ１＜Ｍ２２＋ｄ２であれば、重畳不能と判定されるようにしても良い。

また、例えば、出力音声決定部１１によりメッセージの種類に応じて（例えば、０％〜１００％の範囲で）基準値（Ｒ２）が与えられるものとして、Ｒ２とＭ２２とを比較して、Ｒ２≧Ｍ２２＋ｄ２であれば、重畳可能と判定され、Ｒ２＜Ｍ２２＋ｄ２であれば、重畳不能と判定されるようにしても良い。

なお、この場合に、図５や図６の設定内容を利用しても良い。例えば、コンテンツの区間の種類が「無音」について、「重畳許可する」に設定されている場合には、Ｍ２２＝０％、「重畳許可しない」に設定されている場合には、Ｍ２２＝６０％に設定し、コンテンツの区間の種類が「音楽全体」について、「重畳許可する」に設定されている場合には、Ｍ２２＝４０％、「重畳許可しない」に設定されている場合には、Ｍ２２＝１００％に設定するような利用方法が可能である。また、例えば、メッセージの種類が「ルート案内」について、「重畳許可する」に設定されている場合には、Ｒ２＝９０％、「重畳許可しない」に設定されている場合には、Ｒ２＝６０％に設定し、メッセージの種類が「観光案内」について、「重畳許可する」に設定されている場合には、Ｒ２＝８０％、「重畳許可しない」に設定されている場合には、Ｒ２＝３０％に設定するような利用方法が可能である。

出力方法決定部１２は、メッセージの再生所要時刻（Ｌ１）、必須再生終了時刻（Ｅ１）、コンテンツの重畳可否情報（Ｍ２１）、重畳可能区間の開始時刻情報（Ｓ２）と継続時刻情報（Ｌ２）等に基づいて、出力方法を決定する。

以下、音声出力装置１の出力方法決定部１２の動作例を中心に説明する。

図７は、音声出力装置１の出力方法決定部１２と出力音声再生部１５の動作例を示すフローチャートである。

ステップＳ１で、メッセージ属性情報とコンテンツ属性情報を取得する。

ステップＳ２で、コンテンツの区間のうち、現時点において、最初に対象となる区間が、メッセージを重畳可能な重畳可能区間であるかどうか調べる。

直ぐに重畳可能区間がある場合、ステップＳ３で、その重畳可能区間に、メッセージを再生するのに十分な時間があるか調べ、十分な再生時間があるときは、ステップＳ１５で、（その重畳可能区間において）そのままメッセージを再生する。

なお、十分な時間があるかどうかは、メッセージの再生所要時刻（Ｌ１）と、コンテンツの当該区間の継続時間（Ｌ２）とを比較することによって、判定することが可能である。

十分な再生時間がないときは（ステップＳ２，Ｓ３）、ステップＳ４で、その重畳可能区間内にメッセージの再生が完了するように、メッセージの再生時間を調整することが可能か調べ、可能であるならば、ステップＳ１０で、その重畳可能区間内にメッセージの再生が完了するように、（メッセージの再生速度を変更するといった処理を行うことによって）メッセージの再生時間を調整した後に、ステップＳ１５で、（その重畳可能区間において）その再生時間調整したメッセージを再生する。

更に、再生時間の調整も可能でないならば（ステップＳ２〜Ｓ４）、ステップＳ５で、メッセージが複数の再生区間に分割可能であるか調べ、分割可能ならば、ステップＳ１１で、メッセージを複数の再生区間に分割した後に、ステップＳ１５で、（コンテンツの複数の重畳可能区間に渡って）その分割したメッセージを再生する。

なお、上記処理において、メッセージの分割も可能でないならば（ステップＳ５）、このメッセージの出力を取り止める。ただし、コンテンツにおいて規定時間（メッセージの再生を終了すべき時間）以内に他の重畳可能区間があれば、ステップＳ６に移って処理を続ける方法も可能である。

なお、コンテンツにおいて規定時間以内に他の重畳可能区間があるかどうかは、例えば、メッセージの必須再生終了時刻（Ｅ１）と、コンテンツの各区間の終了時刻（Ｅ２）とを比較することによって、判定可能である。

一方、コンテンツの区間のうち、現時点において、最初に対象となる区間が、メッセージを重畳可能な重畳可能区間でない場合（ステップＳ２）、ステップＳ６で、コンテンツにおいて規定時間以内に重畳可能区間があるかどうか調べる。

規定時間以内に重畳可能区間がある場合、ステップＳ７で、その重畳可能区間に、メッセージを再生するのに十分な時間があるか調べ、十分な再生時間があるときは、ステップＳ１２でタイミング調整した後に、ステップＳ１５で、（その重畳可能区間において）そのメッセージを再生する。

十分な再生時間がないときは（ステップＳ２，Ｓ６，Ｓ７）、ステップＳ８で、その重畳可能区間内にメッセージの再生が完了するように、メッセージの再生時間を調整することが可能か調べ、可能であるならば、ステップＳ１３で、その重畳可能区間内にメッセージの再生が完了するように、（メッセージの再生速度を変更するといった処理を行うことによって）メッセージの再生時間を調整し及びタイミング調整した後に、ステップＳ１５で、（その重畳可能区間において）その再生時間調整したメッセージを再生する。

更に、再生時間の調整も可能でないならば（ステップＳ２，Ｓ６〜Ｓ８）、ステップＳ９で、メッセージが複数の再生区間に分割可能であるか調べ、分割可能ならば、ステップＳ１４で、メッセージを複数の再生区間に分割し及びタイミング調整した後に、ステップＳ１５で、（コンテンツの複数の重畳可能区間に渡って）その分割したメッセージを再生する。

なお、上記処理において、メッセージの分割も可能でないならば（ステップＳ１９）、このメッセージの出力を取り止める。ただし、コンテンツにおいて規定時間以内に他の重畳可能区間があれば、ステップＳ戻って移って処理を続ける方法も可能である。

なお、メッセージの再生時間調整とメッセージの分割とを組み合わせた処理も可能である。

また、上記手順は、一例であり、種々変形して実施することが可能である。

以下、各種調整方法についてそれぞれ説明する。

図８は、再生時間調整方法を示す概念図である。

再生時間調整方法としては、メッセージに対し、一定の割合で再生速度変換を行っても良く、あるいは、重畳可能区間と合致するように変換速度を決定しても良い。

また、出力予定音声の特定の箇所のみを早くするように調整をしても良い。

さらに、省略可能な箇所を特定し、その箇所を除いて再生するように調整しても良い。例えば、出力予定の文が、「この近くにレストランＡがあります。その日とれた海の幸を利用した海鮮丼や近くの山で取れたきのこをふんだんに使ったきのこ汁が大人気です。」の場合、「この近くにレストランＡがあります。海鮮丼やきのこ汁が大人気です。」のように修飾節を削除するように調整しても良い。

また、同義でより再生時間が短くなるような表現に変換しても良い。例えば、出力予定の文が「この近くにレストランＡがあります。その日とれた海の幸を利用した海鮮丼や近くの山で取れたきのこをふんだんに使ったきのこ汁が大人気です。」の場合に、「海鮮丼やきのこ汁で人気のレストランＡあり」のように出力しても良い。

このような短縮形による変換は、各単語の短縮ルールや文の短縮ルールを利用して変換しても良く、出力予定音声ごとに短縮形を記述した短縮変換用のルールを用いて出力しても良い。

図９は、分割再生調整方法を示す概念図である。

分割方法としては、一定秒数ごとに分割する方法でも良く、あるいは、分割位置は文ごとの切れ目で良く、構文解析によって取得した節情報を元に切れ目を決定しても良い。例えば、出力予定の文が「この近くにレストランＡがあります。その日とれた海の幸を利用した海鮮丼や近くの山で取れたきのこをふんだんに使ったきのこ汁が大人気です。」の場合に、「この近くにレストランＡがあります。」「その日とれた海の幸を利用した海鮮丼や」「近くの山で取れたきのこをふんだんに使ったきのこ汁が大人気です。」のように意味のまとまりで分割して出力するようにしても良い。

また、分割した場合には、前後の文脈が分かるように情報を付加して出力しても良い。例えば、出力予定の文が「この近くにレストランＡがあります。その日とれた海の幸を利用した海鮮丼や近くの山で取れたきのこをふんだんに使ったきのこ汁が大人気です。」の場合に、「この近くにレストランＡがあります。」「レストランＡですが、その日とれた海の幸を利用した海鮮丼や」「海鮮丼のほかに、近くの山で取れたきのこをふんだんに使ったきのこ汁が大人気です。」のように「レストランＡですが」といった話題の確認や「海鮮丼のほかに」といった並列関係を提示するように、情報を付加して提示しても良い。

また、適切な単位で分割した場合に、出力予定の分割単位音声が重畳対象となる重畳可能区間より長くなるときは、図１０の概念図に示すように、再生時間を調整して分割単位音声を調整しても良い。

すぐに重畳可能ではない場合、図１１に概念図を示すとおり、重畳可能区間が来た所からメッセージの再生を開始するようにタイミングを調整する。

この際、出力内容が時間的な変化を伴うことによって変更するべき場合には、出力内容を修正して出力する。例えば、メッセージが「あと１０分後に到着します」の場合に、１分ほど出力タイミングが変更されたならば、「あと９分後に到着します」とのように時間的変化を考慮した表現に置き換えても良い。

また、重畳可能区間が短い場合は、図１２に示すように再生時間を調整しても良く、あるいは、図１３に示すように分割再生をしても良く、さらに、図１４の通り両者を組みあせた調整を行っても良い。

なお、これらは一例であり、他の調整方法も可能である。

以上のように本実施形態によれば、コンテンツの再生中に発生したメッセージを出力するにあたって、コンテンツの属性情報や、メッセージの属性情報に基づいて、音声出力の制御方法（メッセージとコンテンツとの少なくとも一方に対する出力タイミングの変更、メッセージに対する再生所要時間の変更と、メッセージに対する出力単位の変更と、メッセージに対する出力音声の韻律的な特徴の変更等）を決定し、決定した制御方法に従って音声出力を行うことによって、コンテンツの再生をできる限り妨げることなく、メッセージの効果的な音声出力を行うことが可能となる。

次に、図１５は、音声出力装置１の出力方法決定部１２と出力音声再生部１５の他の動作例を示すフローチャートである。

ここでは、メッセージが緊急な情報であるか否かを判断するとともに、メッセージ重要度（Ｗ１）とコンテンツの各区間のコンテンツ重要度（Ｗ２）をも利用して、再生制御方法を決定するものである。

ステップＳ１０１で、メッセージ属性情報とコンテンツ属性情報を取得する。

ステップＳ１０２で、メッセージが緊急な情報であるか調べ、緊急な情報である場合、ステップＳ１０３で、コンテンツの再生を中断し、ステップＳ１０４で、メッセージを再生し、ステップＳ１０５で、コンテンツの再生を再開する。

なお、メッセージが緊急な情報である場合に、コンテンツの区間のうち、現時点において、最初に対象となる区間が、メッセージを重畳可能な重畳可能区間であり、かつ、その重畳可能区間に、メッセージを再生するのに十分な時間があるときは、（その重畳可能区間において）そのままメッセージを再生し、そうでないときに、上記のように（コンテンツ再生中断、メッセージ再生、コンテンツ再生再開）しても良い。

メッセージが緊急な情報であるかどうかを調べる方法には、種々の方法が考えられる。例えば、緊急な情報に専用の通信プロトコル或いは通信チャネルなどを介してメッセージを受信したか否か、メッセージの例えばヘッダなどに緊急な情報を示すフラグ等が含まれているか否か、あるいは、メッセージの内容に緊急な情報が含まれているか否か、などによって、判断する。

メッセージが緊急な情報でない場合（ステップＳ１０２）、ステップＳ１０６で、規定時間（メッセージの再生を終了すべき時間）内に重畳可能区間があるか調べる。

ステップＳ１０７で、コンテンツの区間のうち、現時点において、最初に対象となる区間が、重畳可能区間である場合、ステップＳ１０８で、その重畳可能区間（第一重畳可能区間）に、メッセージを再生するのに十分な時間があるか調べ、十分な再生時間があるときは、ステップＳ１２３で、（その重畳可能区間において）そのままメッセージを再生する。

十分な再生時間がないときは（ステップＳ１０２，Ｓ１０６〜Ｓ１０８）、ステップＳ１０９で、その重畳可能区間内にメッセージの再生が完了するように、メッセージの再生時間を調整することが可能か調べ、可能であるならば、ステップＳ１１６で、その重畳可能区間内にメッセージの再生が完了するように、（メッセージの再生速度を変更するといった処理を行うことによって）メッセージの再生時間を調整した後に、ステップＳ１２３で、（その重畳可能区間において）その再生時間調整したメッセージを再生する。

更に、再生時間の調整も可能でないならば（ステップＳ１０２，Ｓ１０６〜Ｓ１０９）、ステップＳ１１０で、メッセージが複数の再生区間に分割可能であるか調べ、分割可能ならば、ステップＳ１１７で、メッセージを複数の再生区間に分割した後に、ステップＳ１２３で、（コンテンツの複数の重畳可能区間に渡って）その分割したメッセージを再生する。

更に、分割も可能でないならば（ステップＳ１０２，Ｓ１０６〜Ｓ１１０）、ステップＳ１１１で、メッセージの重要度（Ｗｍ）と、その重畳可能区間の重要度（Ｗｓ）について、Ｗｍ≧Ｗｓ＋ｄ３（ここで、ｄ３は、ｄ３≧０の規定値）が成り立つか調べ、成り立てば、ステップＳ１１８で、コンテンツの音量を小さくし、及び又は、メッセージの音声を大きくする調整を行った後に、ステップＳ１２３で、（その音量調整された重畳可能区間において）そのメッセージを再生する。

なお、上記処理において、Ｗｍ＜Ｗｓ＋ｄ３であるならば（ステップＳ１１１）、このメッセージの出力を取り止める。ただし、コンテンツにおいて規定時間以内に他の重畳可能区間があれば、ステップＳ１１２に移って第２番目以降の重畳可能区間について処理を続ける方法も可能である。

一方、ステップＳ１０７で、コンテンツの区間のうち、現時点において、最初に対象となる区間が、メッセージを重畳可能な重畳可能区間でない場合、ステップＳ１１２で、最初に出現する重畳可能区間に、メッセージを再生するのに十分な時間があるか調べ、十分な再生時間があるときは、ステップＳ１１９でタイミング調整した後に、ステップＳ１２３で、（その重畳可能区間において）そのメッセージを再生する。

十分な再生時間がないときは（ステップＳ１０２，Ｓ１０６，Ｓ１０７，Ｓ１１２）、ステップＳ１１３で、その重畳可能区間内にメッセージの再生が完了するように、メッセージの再生時間を調整することが可能か調べ、可能であるならば、ステップＳ１２０で、その重畳可能区間内にメッセージの再生が完了するように、（メッセージの再生速度を変更するといった処理を行うことによって）メッセージの再生時間を調整し及びタイミング調整した後に、ステップＳ１２３で、（その重畳可能区間において）その再生時間調整したメッセージを再生する。

更に、再生時間の調整も可能でないならば（ステップＳ１０２，Ｓ１０６，Ｓ１０７，Ｓ１１２，Ｓ１１３）、ステップＳ１１４で、メッセージが複数の再生区間に分割可能であるか調べ、分割可能ならば、ステップＳ１２１で、メッセージを複数の再生区間に分割し及びタイミング調整した後に、ステップＳ１２３で、（コンテンツの複数の重畳可能区間に渡って）その分割したメッセージを再生する。

更に、分割も可能でないならば（ステップＳ１０２，Ｓ１０６，Ｓ１０７，Ｓ１１２〜Ｓ１１４）、ステップＳ１１５で、メッセージの重要度（Ｗｍ）と、その重畳可能区間の重要度（Ｗｓ）について、Ｗｍ≧Ｗｓ＋ｄ３（ここで、ｄ３は、ｄ３≧０の規定値）が成り立つか調べ、成り立てば、ステップＳ１２２で、コンテンツの音量を小さくし、及び又は、メッセージの音声を大きくする調整を行った後に、ステップＳ１２３で、（その音量調整された重畳可能区間において）そのメッセージを再生する。

なお、上記処理において、Ｗｍ＜Ｗｓ＋ｄ３であるならば（ステップＳ１１５）、このメッセージの出力を取り止める。ただし、コンテンツにおいて規定時間以内に他の重畳可能区間があれば、ステップＳ１１２に移って第３番目以降の重畳可能区間について処理を続ける方法も可能である。

なお、メッセージの再生時間調整とメッセージの分割とを組み合わせた処理も可能である。

また、上記手順は、一例であり、種々変形して実施することが可能である。

以上のように本実施形態に係る音声出力装置によれば、メッセージの分析結果とコンテンツ音声の分析結果を比較して再生制御方法を決定することにより、コンテンツ再生をできる限り妨げることなく、メッセージの重要度に応じた音声出力を行うことが可能となる。

なお、本実施形態は、（例えば音楽プレーヤーあるいはＤＶＤプレーヤー等）のコンテンツ再生装置とカーナビゲーションシステムを例としたが、これに限らず、例えば、実際の放送波を受信し分析音声を取得可能な構成を持つ放送波受信装置においても適応可能である。また、飛行機のアナウンスなどコンテンツ視聴状態をできるだけ妨げないように予め用意した案内音声を出力することも可能となる。

また、分析対象コンテンツを音声情報としてが、分析対象コンテンツとして映像として利用しても良い。例えば、スポーツ番組などでタイム音声が出続けている区間や特定の人物が出続けている区間に対しては案内音声を出力しないように制御しても良い。

また、コンテンツ分析部において、音声、オーディオ情報を利用して分析する方法について説明したが、映像に付随する字幕情報やＥＰＧ情報を利用して同様の分析を行っても良い。

なお、この音声出力装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、コンテンツ取得部、コンテンツ分析部、音声出力方法決定部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、音声出力装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現しても良い。また、Ｂ及びＣは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る音声出力装置の構成例を示すブロック図 本発明の一実施形態に係る音声出力装置がカーナビゲーションシステムに内蔵された場合について説明するための図 本発明の一実施形態に係る音声出力装置がカーナビゲーションシステムに外付けされた場合について説明するための図 本発明の一実施形態に係る音声出力装置の動作例を示すフローチャート メッセージの重要度決定情報を取得するための画面例について説明するための図 コンテンツの各区間の重要度決定情報を取得するための画面例について説明するための図 本発明の一実施形態に係る音声出力方法決定部の動作例を示すフローチャート 本発明の一実施形態に係る再生時間調整方法の一例を示す概念図 本発明の一実施形態に係る分割再生調整方法の一例を示す概念図 本発明の一実施形態に係る再生時間調整方法及び分割再生調整方法の一例を示す概念図 本発明の一実施形態に係るタイミング調整方法の一例を示す概念図 本発明の一実施形態に係るタイミング調整方法及び再生時間調整方法の一例を示す概念図 本発明の一実施形態に係るタイミング調整方法及び分割再生調整方法の一例を示す概念図 本発明の一実施形態に係るタイミング調整方法、再生時間調整方法及び分割再生調整方法の一例を示す概念図 本発明の一実施形態に係る音声出力方法決定部の他の動作例を示すフローチャート

符号の説明

１…音声出力装置、２，３…カーナビゲーションシステム、４…コンテンツ再生装置、１１…出力音声決定部、１２…出力方法決定部、１３…コンテンツ取得部、１４…コンテンツ分析部、１５…出力音声再生部、１６…コンテンツ再生部

Claims (12)

1. コンテンツの再生中に発生した音声によるメッセージを音声出力するための音声出力装置であって、
   再生中の前記コンテンツのうち、予め定められた区間の前記コンテンツを取得するコンテンツ取得部と、
   取得した前記コンテンツを複数の区間に分類し、前記複数の区間の各区間の前記コンテンツの属性情報を生成する生成部と、
   少なくとも前記コンテンツの各区間の前記属性情報に基づいて、前記メッセージの音声出力に係る制御方法を決定する出力方法決定部と、
   前記制御方法に従って前記メッセージを音声出力する出力音声再生部と、
   を備えることを特徴とする音声出力装置。
2. 前記コンテンツの各区間に係る属性情報は、当該区間について、当該区間への前記メッセージの重畳可否を示す情報と、当該区間の開始時刻及び終了時刻又は継続時間を示す情報と、当該区間の重要度を示す情報との少なくとも一つを含むことを特徴とする請求項１に記載の音声出力装置。
3. 前記出力方法決定部は、前記メッセージの再生に関係する属性情報にも基づいて、前記制御方法を決定することを特徴とする請求項１又は請求項２に記載の音声出力装置。
4. 前記メッセージに係る属性情報は、そのメッセージの再生所要時間を示す情報と、そのメッセージの必須再生終了時間を示す情報と、そのメッセージの重要度を示す情報との少なくとも一つを含むことを特徴とする請求項３に記載の音声出力装置。
5. 前記メッセージに係る属性情報は、少なくとも、前記メッセージの重要度を示す第１の情報を含み、
   前記コンテンツの各区間に係る属性情報は、少なくとも、当該区間について、当該区間への前記メッセージの重畳可否を示す第２の情報と、当該区間の重要度を示す第３の情報とを含み、
   前記出力方法決定部は、少なくとも、前記第１、第２及び第３の情報に基づいて、前記制御方法を決定することを特徴とする請求項３に記載の音声出力装置。
6. 前記制御方法は、前記メッセージと前記コンテンツとの少なくとも一方に対する出力タイミングの変更と、前記メッセージに対する再生所要時間の変更と、前記メッセージに対する出力単位の変更と、前記メッセージに対する出力音声の韻律的な特徴の変更とのうちの一つ以上の変更を行うものであることを特徴とする請求項１乃至請求項５のいずれか１項に記載の音声出力装置。
7. 前記出力方法決定部は、前記コンテンツの各区間の種類、又は前記コンテンツの各区間の種類と前記メッセージの種類との双方に基づいて、当該区間への前記メッセージの重畳が可能か否かを判定することを特徴とする請求項１に記載の音声出力装置。
8. 前記音声出力装置は、システムに内蔵されたもの又は外付けされたものであることを特徴とする請求項１乃至請求項７のいずれか１項に記載の音声出力装置。
9. 前記コンテンツは、音声信号又はオーディオ情報を含むコンテンツであることを特徴とする請求項１乃至請求項８のいずれか１項に記載の音声出力装置。
10. 前記コンテンツ取得部は、再生中の前記コンテンツについて、現在の再生中の情報より先の時刻の情報を取得することを特徴とする請求項１乃至請求項９のいずれか１項に記載の音声出力装置。
11. コンテンツ取得部、生成部、出力方法決定部及び出力音声再生部を備え、コンテンツの再生中に発生した音声によるメッセージを音声出力するための音声出力装置の声出力装置の音声出力方法であって、
    前記コンテンツ取得部が、再生中の前記コンテンツのうち、予め定められた区間の前記コンテンツを取得するステップと、
    前記生成部が、取得した前記コンテンツを複数の区間に分類し、前記複数の区間の各区間の前記コンテンツの属性情報を生成するステップと、
    前記出力方法決定部が、少なくとも前記コンテンツの各区間の前記属性情報に基づいて、前記メッセージの音声出力に係る制御方法を決定するステップと、
    前記出力音声再生部が、前記制御方法に従って前記メッセージを音声出力するステップと、
    を含むことを特徴とする音声出力方法。
12. コンテンツ取得部、生成部、出力方法決定部及び出力音声再生部を備え、コンテンツの再生中に発生した音声によるメッセージを音声出力するための音声出力装置としてコンピュータを機能させるためのプログラムであって、
    前記コンテンツ取得部が、再生中の前記コンテンツのうち、予め定められた区間の前記コンテンツを取得するステップと、
    前記生成部が、取得した前記コンテンツを複数の区間に分類し、前記複数の区間の各区間の前記コンテンツの属性情報を生成するステップと、
    前記出力方法決定部が、少なくとも前記コンテンツの各区間の前記属性情報に基づいて、前記メッセージの音声出力に係る制御方法を決定するステップと、
    前記出力音声再生部が、前記制御方法に従って前記メッセージを音声出力するステップと、
    をコンピュータに実行させるためのプログラム。

Images