JP2007183410A - 情報再生装置および方法 - Google Patents

Abstract

【課題】 音声間引き処理に際してノイズ部分を削除すること
【解決手段】 音声情報の左右の音量レベルの双方が閾値よりも大きいかどうかと、左右の音量レベルの差分が別の閾値よりも大きいかどうかをそれぞれ比較し、双方が閾値よりも小さければ無音区間とし、左右の音量レベルの差分が別の閾値よりも小さければ楽音区間と判定する。無音区間でも楽音区間でもない区間は台詞区間として台詞区間を優先的に残すように間引き、音声処理を行う。
【選択図】 図６

Description

本発明は、話す速度を制御する話速変換に関するものである。

昨今のテレビ放送プログラムへのニーズとして、高齢者が聞き取りやすいようにアナウンサーの話す音声の音程を変えずに速度のみをゆっくりとするデジタル方式の話速変換技術がある。また、話速変換の別の例として、デジタルＡＶ機器での再生において長時間にわたる情報データを短時間で再生しようとする場合も、それらの情報を部分的に再生する際に必要な音声情報の欠落を防ぐ技術も知られている。

どちらの例でも共通する技術は、音声情報の有音区間と無音区間とを判別し、有音区間のみを再生する際にその再生時間を人間の聴覚に好ましい速度に調整することであるが、そのためには有音区間を精度よく抽出することが望ましい。

話速変換の１つの例として入力されたデジタル音声信号の無音区間を切り出し、話速変換する発音の母音切り出しなどの処理を行い、母音を追加して時間を伸ばす技術が知られている（図８）。特許文献１ではさらに、入力された音声信号をバンドパスフィルタで、低域成分と広域成分を減衰させ、中域の音声信号成分だけを抽出して話速変換して再生することでノイズや効果音などを除去する技術が開示されている（図９）。

しかしながら、特許文献１の技術では、バンドパスフィルタが必要になり、処理負荷が大きくなるという欠点がある。一方、MPEGなどのオーディオ情報を高速再生する場合の例であるが、あらかじめ処理能力に余裕のある記録時に無音区間あるいは楽音区間の検出を行い、識別データを生成して音データや映像データとともに記録媒体に記録し、再生時には識別データに基づいて無音区間や楽音区間を読み飛ばすような再生制御を行うことが特許文献２に開示されている（図１０）。

特開２００５−１２８１３２ 特開平１１−１２０６８８

しかしながら特許文献２の技術は、再生する情報データにあらかじめ特定の情報が記録さていることが前提となっており、あらゆる情報データの再生時に適用することができない。

前記課題を解決するために、本発明の話速変換方法は、入力された音声信号を音声ステレオ信号に分離し、分離された音声ステレオ信号Ｌ・Ｒの音量レベルを閾値と比較し、Ｌ・Ｒの音量レベルがともに閾値よりも小さければ無音区間と判定し、さらにＬ・Ｒの音量レベルの差が、所定値よりも大きければ無音区間と判定し、無音区間を除いた有音区間のみを話速変換することを特徴としている。

本発明の上記方法は、ニュース番組などのアナウンサーの音声は音声ステレオ信号Ｌ・Ｒの音量がほぼ同レベルであり、周囲ノイズや効果音などはＬ・Ｒの音量レベルが異なることに着目したものであり、本発明の方法により視聴者が情報として必要とするニュース番組のアナウンサーの台詞などを効果的に抽出し、視聴者の好む速度に変換して再生することができる。

以下に、発明の第１の実施の形態について図１を用いて説明する。
図１は、本発明の第１の実施の形態における話速変換装置の構成を示すブロック図である。
本書ではフレームとはMPEGデータなどを構成する音声の符号化処理単位、フレームメモリは音声データを一時的に保存するメモリと定義する。

図１において、１２は映像や音声情報が記録されている記録媒体、１３は記録媒体から読み出された音声データを一時的に格納するフレームメモリ、１４はフレームメモリから読み出された音声信号をステレオチャネルのＬとＲに分離する信号分離部である。

信号分離部１４で分離されたＬとＲの音声信号は、区間判定部１１に入力される。区間判定部はさらに２つの判定部から構成されている。１つは１１９の無音判定部、もうひとつは１１８の楽音判定部である。無音判定部１１９では、判定区間内の音声データの音量レベルが所定のレベルよりも低い無音区間であるかどうかの判定が行われ、一方、楽音判定部１１８では判定区間に台詞などがなく、ＢＧＭや周囲音などののみが存在する楽音区間であるかどうかを判定する。

区間削除部では、あらかじめＣＰＵなどにより設定されている間引判定時間Ｔと、再生速度Ｑと、区間判定部の判定結果により優先順位の低い音声区間が削除され、残った音声データを再生スピードに基づいて所定の速度に変換され、音声メモリ１７にいったん取り込まれた後にそれぞれＤ／Ａコンバータ１８と１９によってアナログ変換され、スピーカで再生される。

次に、区間判定部１１の動作について詳細に説明する。信号分離部１４においてＬとＲに分離されたステレオ音声は、フレーム単位ごとに区間判定される。区間判定とは、フレーム内の音声が、無音であるか、台詞などではない周囲ノイズやＢＧＭなどの楽音のみが含まれるかの判定である。

図１の区間判定部１１の無音判定部１１９おいてはまず、ＬとＲの音量を音量閾値保持部１１７にＣＰＵ（図示せず）などからあらかじめ設定された値である音量閾値とのそれぞれ大小関係をＬ比較部１１５とＲ比較部１１６で行う。無音判定部１１９はＬ音声とＲ音声ともに音量閾値よりも小さい場合にはその判定対象であるフレームが無音区間であることを示す“０”を、大きければ無音区間ではないことを示す“１”を判定結果Ｙに出力する。一方、楽音判定部１１８は、差分比較部１１４でＬ音声とＲ音声のフレーム区間でのそれぞれ音量ピーク値を検出し、Ｌ音声の音量ピーク値とＲ音声の音量ピーク値の差分の絶対値をとり、これを音量差分閾値保持部１１３にあらかじめ設定された音量差分閾値と比較し、閾値よりも大きければ判定対象であるフレームが台詞を含むことを示す“１”を、小さければ判定対象であるフレームが台詞を含まないことを示す“０”を台詞判定結果Ｘに出力する。

図２は判定を行う音声データとその判定結果を模式的にあらわしたものである。図２のフレームＮｏは説明のためフレームごとに便宜的に番号を振ったものである。（Ｘ，Ｙ）は区間判定部によって判定されたそれぞれのフレームに対応した区間判定結果である。たとえば、フレーム３、フレーム４、フレーム９は区間判定結果（Ｘ，Ｙ）がともに（０，０）であり、無音区間であることがわかる。フレーム１、フレーム２、フレーム３、フレーム５、フレーム１０は、区間判定結果（Ｘ，Ｙ）が（１，１）であり、無音判定結果が“１”、すなわち無音区間ではなく、かつ楽音判定結果Ｘが“１”、つまり楽音ではなく台詞の含まれるフレームであることがわかる。フレーム４、フレーム６、フレーム７、フレーム８、フレーム１０は、区間判定結果（Ｘ，Ｙ）が（０，１）なので、無音判定結果Ｙが“１”、すなわち無音区間ではないが、楽音判定結果Ｘが“０”なので、楽音かあるいは周囲ノイズのみが含まれているフレームであり、台詞が含まれている可能性が低いということがわかる。

さらに一方区間削除部１５では、間引き単位Ｔにより音声データの蓄積が行われている。間引き単位とは、音声間引きを行うフレーム数を言う。たとえば、２フレーム単位で音声の間引きを行うのであれば間引き単位は“２”、４フレーム単位で音声間引きを行うのであれば間引き単位は“４”と呼ぶことにする。つまり、間引き単位Ｔが２であれば区間削除部１５には２フレーム分の音声データを蓄積する。蓄積する一方、区間判定部では蓄積されたフレームごとに区間判定を行い、その結果を（Ｘ，Ｙ）として区間削除部１５に通知する。

区間削除部は音声スピードによって、音声データを間引く割合を決定する。音声スピードとは、台詞区間を再生するスピードである。たとえば映像を２倍のスピードで再生し、音声を標準のスピードで再生したい場合には、間引き単位Ｔの１／２の音声を削除し、通常のスピードで再生することによって映像と音声の再生同期がとれる。

上記の場合の音声フレーム削除方法について図４を用いて図２の（１）２フレーム単位で間引きをする場合を例に説明する。

まず、間引き単位Ｔを区間削除部の所定のレジスタあるいはメモリに設定する（Ｓ０１）。（１）の例の場合には２である。

次に、区間削除部１５の格納バッファに、フレームをＴ個、図２（１）の例の場合は２個格納する（Ｓ０２）。

格納されたＴフレームの中に台詞区間がＴ／２個以上あるかどうか、すなわち区間判定結果（Ｘ，Ｙ）が（１，１）であるフレームがＴ／２個以上あるかどうかを判定する（Ｓ０３）。

もし、（Ｘ，Ｙ）＝（１，１）のフレームがＴ／２個以上あれば、そのうちの時間軸前方から順にＴ／２個の音声フレームを保存し、残りを削除する（Ｓ１１）。図２（１）の例の場合、最初の間引き単位（フレーム１とフレーム２）では、両方の区間判定結果（Ｘ，Ｙ）が（１，１）なのでＳ０３はＹＥＳとなり、Ｓ１１でフレーム１が保存され、フレーム２は削除される。

Ｓ０３でＮｏの場合には、（Ｘ，Ｙ）＝（１，１）だった個数を記憶しておき（Ｓ０４）、今度は（Ｘ，Ｙ）＝（１，１）と（Ｘ，Ｙ）＝（０，１）のフレームがあわせてＴ／２個以上であるかどうかを判定する（Ｓ０５）。もしＴ／２個以上あればそのうち、（Ｘ，Ｙ）＝（１，１）があればその対応フレームをまず保存し、次に（Ｘ，Ｙ）＝（０，１）のフレームを（Ｘ，Ｙ）＝（１，１）のフレームとあわせてＴ／２個になるまで時間軸前方から順に保存して残りを削除する（Ｓ１２）。図２（１）の例では４番目の間引き単位（フレーム７とフレーム８）では区間判定結果（Ｘ，Ｙ）がそれぞれ（０，１）と（０，１）なので（Ｘ，Ｙ）＝（１，１）はなく、（Ｘ，Ｙ）＝（０，１）である初めのフレーム７を保存、フレーム８を削除する。

Ｓ０５でＮｏの場合には、（Ｘ，Ｙ）＝（０，１）だった個数をさらに記憶しておき（Ｓ０６）、今度は（Ｘ，Ｙ）＝（１，１）のフレームを保存し、（Ｘ，Ｙ）＝（０，１）のフレームを保存し、さらにＹ＝０のフレームをあわせてＴ／２個になるまで時間軸前方から順に保存して残りを削除する（Ｓ０７）。図２（１）の例では５番目の間引き単位（フレーム９とフレーム１０）は両方とも（Ｘ，Ｙ）＝（０，０）なので、フレーム９を保存し、フレーム１０が削除される。

以上説明したように図２の（１）のように２フレーム単位で１／２に間引き処理を行った場合、フレーム１からフレーム１０までの音声データのうち、フレーム１、４、５、７、９が残り、フレーム２、３、６、８、１０は削除される。

間引き単位ごとに削除する方法について図４のフローチャートをもとに説明したが、必ずしもこのとおりに間引く必要はなく、図３の優先順位に基づいて優先順位の高い区間判定結果に対応するフレームをできるだけ多く保存し、優先順位の低い区間判定結果に対応するフレームを削除することを間引き単位で行えばよい。

同様に、図２の（２）は間引き単位を４フレームとした場合、図２の（３）は間引き単位を８フレームとした場合に残されるフレームを示したものである。同一の音声データでも、間引き単位によって残される音声データが異なることがわかる。間引き単位が大きいほど、台詞区間の可能性の高い（Ｘ，Ｙ）＝（１，１）に対応するフレームが保存される可能性が高くなり、台詞区間抽出の精度が上がるが、間引き対象の判定を行うために一時的に保存しておくフレーム数が多くなるため必要なメモリ容量が大きくなる。

区間削除部ではさらに、保存されて残っている音声データを再生スピードに基づいて所定の速度に変換される。標準スピードであれば変換は不要であるが、２倍、３倍で再生させる場合には区間削除部にてそれぞれ２倍、３倍のスピードで再生できるようフレーム単位でヘッダ内の再生スピードに関する情報を書き換える。再生スピードが変換された音声データは音声メモリ１７に一旦バッファされ、Ｌ音声、Ｒ音声それぞれＤ／Ａ変換されてスピーカへと転送される。

以上述べた音声再生の方法をまとめたものが図６のフローチャートである。

次に、本処理がブロック図に示すようなCPUを含む一般的なシステム構成によってソフトウェアで実現できることを示すために、図７のブロック図と図６のフローチャートを用いて説明する。

図７において、７０１はMPEGデコーダ、７０３はCPUであり、CPU７０３はデータバスで接続されたプログラムメモリ７０４に格納されたプログラムによって処理を行い、処理したデータは一時的に７０２のデータメモリに格納する。データメモリ７０２とプログラムメモリ７０４は物理的に同一であってもかまわない。また、図７に示すブロック図では各ブロックは一本のデータバスにより接続されているが、もちろんこの限りではなく、各機能ブロックが互いに専用バスで接続されていてもかまわない。
図６のAは初期設定を示すフローである。音声再生処理を始める前に音声レベル閾値設定（S６０１）および差分閾値設定（S６０２）をあらかじめ行っておく。音声レベル閾値や、差分閾値などは、データメモリ７０２の所定のアドレスに格納しておく。
図６のBは実際の音声再生処理の一連の流れである。

まず音声データをMPEGデコーダ７０１などで復号する。復号された音声データはCPU７０３によってデータメモリ７０２に格納される（S６１１）。

CPU７０３は、格納された音声データを順次フレーム単位で読み出し、左音声Lチャネル、右音声Rチャネルそれぞれのフレーム内における音声ピーク値を求め、各チャネルの音声ピーク値が双方ともに初期設定時にデータメモリ７０２に格納してあった音声レベル閾値以上であるかどうかを判定する（S６１２）。

閾値以上であれば、Yという変数に１を代入し（S６１３）、閾値未満であればYという変数に０を代入する（S６１４）。

次に、CPU７０３は、前述の２チャネルの音声ピーク値の差分を求め、初期設定時にデータメモリ７０２に格納してあった差分閾値以上であるかどうかを判定する（S６１５）。

閾値以上であれば、Xという変数に１を代入し（S６１６）、閾値未満であればXという変数に０を代入する（S６１７）。

フレームごとの（X、Y）が求められた後は、前述した図４のフローチャートにしたがって所定の単位ごとに音声データを間引きながら再生する（S６１８）。

以上で処理終了である。図６のフローチャートでは、音量判定をS６１２、S６１５の順に音量判定を行ったが、判定順は逆でもかまわない。
次に、本発明の第１の実施例の第１の変形例を示す。

図５は台詞と楽音の音声データの波形の違いを表したものである。このように、台詞はＬとＲの音声データ波形がほぼ一致しているが、楽音の音声データ波形はＬとＲとが異なる波形を示していることがわかる。区間判定では、たとえば１ｍｓごとにＬとＲとの音量レベル（本図波形では音声データの絶対値のピーク値）を比較し、（Ｘ，Ｙ）を出力し、区間削除部では１フレーム中最も多かった判定結果をそのフレームの区間判定結果として採用する。また、判定する割合も図７のブロック図におけるCPU７０３などから変更できるようにすれば、調整も可能となる。
次に、本発明の第１の実施例の第２の変形例を示す。

前述の第１の変形例では、フレーム全体の音声の特徴を求めてその判定結果をそのフレームの区間判定に用いたが、特定の区間を比較して区間判定を行ってもよい。判定の精度は落ちるが簡易的に判定することができ、処理の負荷を軽減することができる。

以上本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ限定されるものではなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことはもちろんである。

本発明の実施例を説明するための構成図である。 本発明の実施例を説明するためのフレームと区間判定結果と間引きの模式図である。 本発明の実施例を説明するための区間判定結果の優先順位例である。 本発明の実施例を説明するための区間削除の方法を示すフロー図である。 本発明の実施例の第１の変形例を説明するためのピーク値の概念図である。 本発明の実施例を示す全体フロー図である。 本発明の実施例をソフトウェア処理する場合の一般的なブロック図 話速変換の概念図である。 従来の話速変換回路である。 従来の話速変換間引きの概念図である。

Claims (8)

1. 復調した音声情報のレベルに基づき有音または無音を示す第１の情報を得る手段と
   Rチャネル音声情報レベルとLチャネル音声情報レベルとの差分に基づき台詞か楽音かを示す第２の情報を得る手段と
   第１および第２の情報に基づき再生する音声データを得る手段と
   を備える情報再生装置。
2. あらかじめ設定された第１の閾値により前記第１の情報を得る
   ことを特徴とする請求項１記載の情報再生装置。
3. あらかじめ設定された第２の閾値により前記第２の情報を得る
   ことを特徴とする請求項１または２記載の情報再生装置。
4. 前記第１および第２の情報とを得るために対象とする音声情報を再生した場合の時間と、
   前記第１および第２の情報に基づき再生する音声データの再生時間とが異なる
   ことを特徴とする請求項１乃至３記載の情報再生装置
5. 復調した音声情報のレベルを判定して有音または無音を検出し
   Rチャネル音声情報のレベルとLチャネル音声情報のレベルとの差分に基づき台詞か楽音かを検出し、
   検出された前記有音または無音、台詞か楽音かによって音声データを再生する
   情報再生方法。
6. あらかじめ設定された第１の閾値により有音または無音を検出する
   請求項５記載の情報再生方法。
7. あらかじめ設定された第２の閾値により台詞か楽音を検出する
   請求項５または６記載の情報再生方法。
8. 有音または無音、台詞か楽音かを検出するために対象とする音声情報を再生した場合の時間と、
   検出された前記有音または無音、台詞か楽音かによって再生する音声データの再生時間が異なる
   ことを特徴とする請求項５乃至７記載の情報再生方法。
   
   

Images