JP2011085824A - 音響識別装置、その処理方法およびプログラム - Google Patents

Abstract

【課題】音響信号の種類を精度よく識別する。
【解決手段】音響信号分析部２００は、信号線１０１からの音響信号における音声成分および音楽成分の有する周波数スペクトルの時間特性に基づく特徴量を抽出する。この音響信号分析部２００は、音響信号の周波数スペクトルを時系列に生成して、その時系列に生成された周波数スペクトルにおける周波数ごとの差分値を算出する。そして、音響信号分析部２００は、その算出された差分値に基づく度数分布の偏り度合いを示す分散を音響信号の特徴量として抽出する。音響信号識別部１１０は、音響信号の種類が音楽と、音楽および音声の重畳と、音声とのいずれであるかを、その特徴量に基づいて識別する。この音響信号識別部１１０は、音声成分および音楽成分が重畳する音響信号に対応する特徴量よりも小さい音楽閾値を基準として、音響信号の種類が音楽であるか否かを識別する。
【選択図】図１

Description

本発明は、音響識別装置に関し、特に音響信号の種類を識別する音響識別装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、ハードディスクレコーダなどの記録媒体の大容量化が進み、ラジオやテレビ番組などの放送番組の長時間録画が可能となった。このため、長時間記録された番組を検索するための機能を有する録画装置が広く用いられるようになった。このような装置としては、記録媒体に記録された番組の音響信号を音楽、会話等の種類に分類することによって、番組内容を識別する識別装置が考案されている。例えば、オーディオ信号における音の断続性、すなわち、音の疎密度を示す２値化数列分散を用いて、そのオーディオ信号が音声であるか音楽であるかを判定するオーディオ情報分類装置が提案されている（例えば、特許文献１参照。）。

特開２００５−２８４３０８号公報（図１）

上述の従来技術では、音響信号であるオーディオ信号におけるエネルギーの疎密度を示す２値化数列分散を用いることによって、そのオーディオ信号が音声であるか音楽であるかを判定することができる。しかしながら、このような音響識別装置において、音声および音楽が重畳する音響信号に対しては、音声成分に起因する音の断続性が音楽成分の連続性によって打ち消されてしまい、その音響信号の種類を音楽と判定してしまう場合がある。例えば、放送番組において、人が声を発している状況において背景音として音楽が流れているようなシーンでは、そのシーンを音楽区間として判定してしまうことがある。

本発明はこのような状況に鑑みてなされたものであり、音響信号の種類を精度よく識別することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、音楽成分および音声成分の少なくとも一方が含まれる音響信号の周波数スペクトルを時系列に生成する周波数スペクトル生成部と、上記周波数スペクトル生成部により時系列に生成された周波数スペクトルにおける周波数ごとの差分値を算出して上記算出された差分値の度数分布における偏り度合いを上記音響信号の特徴量として抽出する特徴量抽出部と、上記音響信号の種類が音楽と音楽および音声の重畳と音声とのいずれであるかを上記特徴量に基づいて識別する音響信号識別部とを具備する音響識別装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、音響信号識別部により、時系列の周波数スペクトルに対する周波数ごとの差分値の度数分布の偏り度合いに基づいて、音響信号の種類が音楽と音楽および音声の重畳と音声とのいずれであるかを識別させるという作用をもたらす。

また、この第１の側面において、上記特徴量抽出部は、上記特徴量として上記度数分布の分散を抽出するようにしてもよい。これにより、特徴量抽出部において、度数分布の偏り度合いを示す分散を、音響信号の特徴量として抽出させるという作用をもたらす。

また、この第１の側面において、上記特徴量抽出部は、時間軸において連続する上記周波数スペクトルにおける周波数ごとの差分値を算出するようにしてもよい。これにより、特徴量抽出部により、時間軸上において隣接する周波数スペクトルの各周波数の差分値を算出させるという作用をもたらす。

また、この第１の側面において、上記音響信号識別部は、上記音響信号の種類に関する所定の閾値と上記特徴量の大きさとに基づいて上記音響信号の種類を識別するようにしてもよい。これにより、音響信号識別部により、予め定まられた音楽閾値と、音響信号の特徴量の大きさとに基づいて、音響信号の種類が音楽であるか否かを識別させるという作用をもたらす。

本発明によれば、音響信号の種類を精度よく識別することができるという優れた効果を奏し得る。

本発明の実施の形態における音響識別装置１００の一構成例を示すブロック図である。 本発明の実施の形態における音響信号分析部２００の一構成例を示すブロック図である。 本発明の実施の形態における特徴量抽出部２３０の一構成例を示すブロック図である。 音声成分および音楽成分の両者が含まれる音響信号における周波数成分の時間特性の一例を示す図である。 本発明の実施の形態における特徴量抽出部２３０によるヒストグラムの生成手法の一例を示す概念図である。 、本発明の実施の形態におけるヒストグラム生成部２３２により生成されるヒストグラムの例を示す図である。 本発明の実施の形態における音楽区間検出部１２０による音楽区間の開始点の検出例を示す図である。 本発明の実施の形態における音響識別装置１００の音響識別方法の処理手順例を示すフローチャートである。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．音響識別装置の機能（音響信号識別処理：音響識別装置の構成例）
２．音響識別装置の動作（音響信号識別処理：音響信号の種類を識別する手順例）

＜１．音響識別装置の機能＞
［音響識別装置の構成例］
図１は、本発明の実施の形態における音響識別装置１００の一構成例を示すブロック図である。ここでは、音響識別装置１００において、信号線１０１から供給される音響信号における音楽区間を検出して、その検出された音楽区間に関する情報が信号線１０９に出力されることを想定する。また、信号線１０１から供給される音響信号には、放送番組の音響信号のように、音声および音楽の少なくとも一方の信号成分が含まれるものとする。

音響識別装置１００は、音響信号識別部１１０と、音楽区間検出部１２０と、音響信号分析部２００とを備える。音響信号分析部２００は、信号線１０１からの音響信号を分析することによって、音響信号の種類を識別するための特徴量を抽出するものである。この音響信号分析部２００は、音響信号における周波数成分の時間変化量に関する特徴量を抽出する。

この音響信号分析部２００は、例えば、一定の時間間隔により抽出された音響信号のサンプルデータを１つのブロック単位として分析することによって、音響信号の特徴量を算出する。また、音響信号分析部２００は、信号線２０９を介して、その算出された特徴量を音響信号識別部１１０および音楽区間検出部１２０に供給する。なお、音響信号分析部２００は、その他の特徴量として、例えば、音響信号の零交差、エネルギー分散などを特徴量として算出するようにしてもよい。

音響信号識別部１１０は、信号線２０９を介して音響信号分析部２００から供給される特徴量に基づいて、その特徴量に対応する音響信号の種類が、音楽と、音楽および音声の重畳と、音声とのいずれであるかを識別するものである。この音響信号識別部１１０は、例えば、音響信号分析部２００からの特徴量と、音響信号の種類に関する音楽閾値とに基づいて、その音響信号の種類が音楽であるか否かを識別する。

また、音響信号識別部１１０は、音響信号分析部２００から複数の特徴量が供給される場合には、これらの複数の特徴量を用いて、例えば、ニューラルネットワーク、ガウシアンミクスチャーモデルなどの統計的手法により、音響信号の種類を識別する。

また、音響信号識別部１１０は、音響信号の種類が音楽であると識別された場合には音楽である旨を示す識別結果を、音響信号の種類が音楽でないと識別された場合には音楽でない旨を示す識別結果を音楽区間検出部１２０に供給する。なお、音響信号識別部１１０は、特許請求の範囲に記載の音響信号識別部の一例である。

音楽区間検出部１２０は、音響信号識別部１１０からの識別結果に基づいて、音楽であると識別された音響信号の開始点から終了点までの音楽区間を検出するものである。すなわち、この音楽区間検出部１２０は、音響信号識別部１１０により音楽であると識別された音響信号における音楽区間の開始点および終了点を検出する。

この音楽区間検出部１２０は、例えば、音楽でない旨を示す識別結果を受け付けた直後において、音響信号識別部１１０から音楽である旨を示す識別結果が供給された場合には、その識別結果に対応する箇所を音楽の開始点として検出する。また、音楽区間検出部１２０は、音楽である旨を示す識別結果を受け付けた直後において、音響信号識別部１１０から音楽でない旨を示す識別結果が供給された場合には、その識別結果に対応する箇所を音楽の終了点として検出する。

この音楽区間検出部１２０は、例えば、音響信号分析部２００から供給される特徴量の変動量の大きさに基づいて、音楽区間の開始点または終了点を検出する。この例において、音楽区間検出部１２０は、式１に示すように、時刻ｔにおける特徴量をＦ（ｔ）として変動量Ｄ（ｎ）を算出する。ここで、ｎは、自然数であり、予め設定される値である。
Ｄ（ｎ）＝｜Ｆ（ｔ＋ｎ）−Ｆ（ｔ−ｎ）｜ ・・・式１

上式により算出された変動量Ｄ（ｎ）が、予め定められた変動閾値を超えた場合には、音楽区間検出部１２０は、その変動量Ｄ（ｎ）に対応する時刻ｔを、音楽区間の開始点または終了点として検出する。これにより、音楽区間の開始点および終了点を正確に検出することができる。

また、音楽区間検出部１２０は、例えば、音響信号識別部１１０からの識別結果が直前の識別結果と異なるものとなったときに限り、式１に基づいて、音楽区間の開始点または終了点を検出する。また、音楽区間検出部１２０は、その検出された開始点および終了点を示す音楽区間情報を生成して、その生成された音楽区間情報を信号線１０９に出力する。

このように、音響識別装置１００は、音響信号分析部２００により生成された特徴量に基づいて、音響信号の種類を音楽であると識別して、その音響信号における音楽区間を特定する。次に、音響信号の特徴量を生成する音響信号分析部２００の一構成例について図面を参照して説明する。

［音響信号分析部２００の一構成例］
図２は、本発明の実施の形態における音響信号分析部２００の一構成例を示すブロック図である。音響信号分析部２００は、周波数スペクトル生成部２１０と、周波数スペクトル保持部２２０と、特徴量抽出部２３０とを備える。

周波数スペクトル生成部２１０は、音響信号における周波数成分の時間変化に関する特徴量を抽出するために、信号線１０１からの音響信号に基づいて、その周波数成分を示す周波数スペクトルを時系列に生成するものである。すなわち、周波数スペクトル生成部２１０は、信号線１０１からの時間領域の音響信号を、周波数領域の周波数スペクトルに変換する。この周波数スペクトル生成部２１０は、信号線１０１からブロック単位により供給される音響信号のうち、一定のサンプル数であるフレーム単位のサンプルデータを、周波数スペクトルに変換する。

この周波数スペクトル生成部２１０は、例えば、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）によって算出されたフーリエ係数を、周波数スペクトルとしてフレーム単位により生成する。あるいは、この周波数スペクトル生成部２１０は、修正離散余弦変換（ＭＤＣＴ：Modified Discrete Cosine Transform）によって算出されたＭＤＣＴ係数を、周波数スペクトルとしてフレーム単位により生成する。

また、周波数スペクトル生成部２１０は、フレーム単位により生成された周波数スペクトルを周波数スペクトル保持部２２０に供給する。なお、周波数スペクトル生成部２１０は、特許請求の範囲に記載の周波数スペクトル生成部の一例である。

周波数スペクトル保持部２２０は、周波数スペクトル生成部２１０から供給された周波数スペクトルをブロック単位により保持するものである。すなわち、この周波数スペクトル保持部２２０は、周波数スペクトル生成部２１０により時系列に生成された周波数スペクトルをブロック単位ごとに保持する。また、周波数スペクトル保持部２２０は、信号線２２９を介して、その保持された周波数スペクトルをフレーム単位またはブロック単位により特徴量抽出部２３０に出力する。

特徴量抽出部２３０は、周波数スペクトル保持部２２０に保持された周波数スペクトルに基づいて、音響信号における周波数成分の時間変化に基づく特徴量を抽出するものである。すなわち、この特徴量抽出部２３０は、ブロック単位における周波数スペクトルに基づいて、音響信号に含まれた音楽成分および音声成分の割合に応じた特徴量を抽出する。

この特徴量抽出部２３０は、周波数スペクトル生成部２１０により時系列に生成された周波数スペクトルにおける周波数ごとの差分値を算出して、その算出された差分値に基づく度数分布における偏り度合いを、音響信号の特徴量として抽出する。また、特徴量抽出部２３０は、信号線２０９を介して、その抽出された特徴量を音響信号識別部１１０および音楽区間検出部１２０に供給する。なお、特徴量抽出部２３０は、特許請求の範囲に記載の特徴量抽出部の一例である。

このように、特徴量抽出部２３０を設けることによって、音響信号における周波数成分の時間変化に基づく特徴量を抽出することができる。次に、この特徴量抽出部２３０の一構成例について図面を参照して詳細に説明する。

［特徴量抽出部２３０の構成例］
図３は、本発明の実施の形態における特徴量抽出部２３０の一構成例を示すブロック図である。特徴量抽出部２３０は、差分値演算部２３１と、ヒストグラム生成部２３２と、特徴量算出部２３３とを備える。

差分値演算部２３１は、音響信号における周波数スペクトルの時間変化に関する特徴量を抽出するために、周波数スペクトル保持部２２０における周波数スペクトル同士における各周波数の差分値を、ブロック単位ごとに演算するものである。この差分値演算部２３１は、時間軸上において連続する２つの周波数スペクトルに対して差分値を周波数ごとに算出する。すなわち、この差分値演算部２３１は、時間軸上における隣接する周波数スペクトルの時間変化量を周波数ごとに算出する。

この差分値演算部２３１は、例えば、周波数スペクトル保持部２２０から時系列ごとに出力される周波数スペクトルと、直前に出力された周波数スペクトルとの差分値の絶対値を周波数ごとに算出する。すなわち、差分値演算部２３１は、次式のように、時刻ｔにおける周波数ｆの周波数スペクトルＸ（ｆ，ｔ）と、時刻ｔ＋１における周波数ｆの周波数スペクトルＸ（ｆ，ｔ＋１）との差分値Ｄ（ｆ，ｔ）をブロック単位により算出する。
Ｄ（ｆ，ｔ）＝｜Ｘ（ｆ，ｔ＋１）−Ｘ（ｆ，ｔ）｜

また、差分値演算部２３１は、信号線２０９を介して、その算出された差分値をヒストグラム生成部２３２に供給する。なお、ここでの周波数スペクトルの強度としては、振幅値でもよく、パワー値でもよい。なお、差分値演算部２３１は、特許請求の範囲に記載の特徴量抽出部の一例である。

ヒストグラム生成部２３２は、音響信号に含まれる音声成分または音楽成分の周波数スペクトルの時間特性に基づく特徴量を抽出するために、差分値演算部２３１からの差分値の大きさごとにその度数を積算するものである。すなわち、このヒストグラム生成部２３２は、差分値演算部２３１からブロック単位により出力される差分値に基づいて、差分値の度数分布であるヒストグラムを生成する。このヒストグラム生成部２３２は、その生成されたヒストグラムを特徴量算出部２３３に供給する。

特徴量算出部２３３は、ヒストグラム生成部２３２により生成されたヒストグラムのばらつき度合いを、音声成分および音楽成分の周波数スペクトルの時間特性に基づく特徴量として算出するものである。すなわち、この特徴量算出部２３３は、時間軸上において隣接する周波数スペクトルの差分値に基づいて算出された度数分布の偏り度合いを、音響信号の種類を識別するための特徴量として算出する。

この特徴量算出部２３３は、例えば、ヒストグラム生成部２３２により生成されたヒストグラム偏り度合いを示す分散を、音響信号の特徴量として算出する。この例において、その算出された特徴量である分散は、音響信号に含まれる音楽成分の割合が大きいほど小さくなる傾向を示す。なお、特徴量算出部２３３は、特許請求の範囲に記載の特徴量抽出部の一例である。

また、特徴量算出部２３３は、信号線２０９を介して、その算出された特徴量を音響信号識別部１１０および音楽区間検出部１２０に供給する。なお、その他の特徴量の抽出例として、この特徴量算出部２３３は、ヒストグラム生成部２３２により生成されたヒストグラムに対する重心またはモーメントを、音響信号の特徴量として算出するようにしてもよい。

このように、特徴量算出部２３３を設けることによって、ヒストグラム生成部２３２によるヒストグラムの偏り度合いを、音響信号の特徴量として算出することができる。すなわち、音響信号における音声成分または音楽成分の周波数スペクトルの時間特性に基づく特徴量を算出することができる。ここで、音声成分および音楽成分が含まれる音響信号における周波数スペクトルの時間特性を示す周波数スペクトログラムについて図面を参照して以下に説明する。

［音響信号の周波数スペクトログラムの例］
図４は、音声成分および音楽成分の両者が含まれる音響信号における周波数成分の時間特性を例示する図である。図４（ａ）は、音声成分および音楽成分の両者が含まれる音響信号の周波数スペクトログラムの一例を示す概念図である。図４（ｂ）は、図４（ａ）に示した周波数スペクトログラムにおける時間Ｔに対応する周波数スペクトルを示す図である。

図４（ａ）には、実線により音楽高強度線５１１乃至５１４が示され、点線により音声高強度線５２１乃至５２４が示されている。この音楽高強度線５１１乃至５１４および音声高強度線５２１乃至５２４は、音響信号の周波数スペクトルにおける強度がピークとなるピーク周波数の時間特性を表わす。ここでは、縦軸を周波数とし、横軸を時間とする。

音楽高強度線５１１乃至５１４は、音響信号における音楽成分の有する周波数スペクトルの時間特性によって現われる高強度線である。この音楽高強度線５１１乃至５１４は、音楽を構成するメロディーなどによって、特定の周波数に対する強度がある程度の期間高くなるため、直線を示す。

音声高強度線５２１乃至５２４は、音響信号における音声成分の有する周波数スペクトルの時間特性によって現われる高強度線である。この音声高強度線５２１乃至５２４は、人間の発する音声の特性上、時間が経つに従ってピーク周波数が徐々に変化するため、曲線を示す。

図４（ｂ）には、時間Ｔにおける周波数スペクトルの波形が示されている。ここでは、縦軸を強度とし、横軸を周波数とする。このように、周波数スペクトルにおける強度のピークが、周波数の低い順に、音楽高強度線５１４、音声高強度線５２３、音楽高強度線５１２および音声高強度線５２１に対応する。

このように、音楽成分が含まれる音響信号の周波数スペクトログラムには、音楽成分の有する周波数スペクトルの時間特性によって、直線を示す音楽高強度線５１１乃至５１４が現われ易くなる。また、音声成分が含まれる音響信号の周波数スペクトログラムには、音声成分の有する周波数スペクトルの時間特性によって、曲線を示す音声高強度線５２１乃至５２４が現われ易くなる。

また、音声成分および音楽成分の両者が同時に音響信号に含まれる場合においても、互いに打ち消し合うことなく、音楽高強度線５１１乃至５１４と、音声高強度線５２１乃至５２４とが現われる。次に、このような周波数スペクトログラムにおける音楽成分および音声成分の特徴を抽出するための特徴量抽出手法について図面を参照して説明する。

［特徴量を抽出するためのヒストグラムの生成例］
図５は、本発明の実施の形態における特徴量抽出部２３０によるヒストグラムの生成手法の一例を示す概念図である。図５（ａ）は、周波数スペクトル生成部２１０により時系列に生成された周波数スペクトルに基づく周波数スペクトログラムの一部を模式的に例示する図である。図５（ｂ）は、ヒストグラム生成部２３２において差分値演算部２３１から出力された差分値に基づくヒストグラムの一例を示す概念図である。

図５（ａ）には、１つのブロックに対応する時系列ｔ０乃至ｔ２０の周波数スペクトルにおける周波数ｆ０乃至ｆ６の強度が示されている。すなわち、周波数スペクトル保持部２２０に保持された複数の周波数スペクトルの一部が観念的に示されている。

ここでは、便宜上、周波数スペクトルにおける強度がピークとなる周波数が灰色により示され、強度の最も低い周波数が白色により示されている。また、ここでは、周波数スペクトルの強度レベルを８ビット表現とし、灰色に対応する強度レベルを１２８とし、白色に対応する強度レベルを０とする。また、時刻ｔ０乃至ｔ２０の各々は、周波数スペクトル生成部２１０において周波数スペクトルがフレーム単位により生成された時刻に対応する。

この周波数スペクトログラムでは、音楽成分の有する周波数特性によって、時刻ｔ１乃至ｔ１２における周波数ｆ１が灰色を示す。また、音声成分の有する周波数特性によって、時刻ｔ１５における周波数ｆ１、時刻ｔ１６おける周波数ｆ２、時刻ｔ１７における周波数ｆ３、時刻ｔ１８における周波数ｆ４および時刻ｔ１９における周波数ｆ５が灰色を示す。そして、これら以外の周波数スペクトログラムは白色を示す。

図５（ｂ）には、図５（ａ）に示された周波数スペクトログラムに基づいて生成されたヒストグラムが示されている。ここでは、横軸を差分絶対値とし、縦軸をその差分絶対値の頻度とする。ここにいう差分絶対値とは、時間軸上において隣接する周波数スペクトルの周波数ごとの差分値の絶対値のことである。

ここでは一例として、時刻ｔ１およびｔ２における周波数ｆ１の差分絶対値と、時刻ｔ１５およびｔ１６における周波数ｆ１の差分絶対値とが観念的に示されている。この例では、時刻ｔ１およびｔ２における周波数ｆ１の差分絶対値は、両者の強度レベルが「１２８」であるため、「０」となる。すなわち、音楽成分が有する周波数スペクトルの時間特性によって、差分絶対値が「０」となる。これにより、ヒストグラムにおける差分絶対値「０」に対応する頻度が「１」増加する。

一方、時刻ｔ１５およびｔ１６における周波数ｆ１の差分絶対値は、時刻ｔ１５の強度レベルが「１２８」であり、時刻ｔ１６の強度レベルが「０」であるため、「１２８」となる。すなわち、音声成分が有する周波数スペクトルの時間特性によって、差分絶対値が「１２８」となる。これにより、ヒストグラムにおける差分絶対値「１２８」に対応する頻度が「１」増加する。

このように、特徴量抽出部２３０は、周波数スペクトル生成部２１０により時系列に生成された周波数スペクトル同士における各周波数の差分絶対値に基づいて、その差分絶対値の度数分布であるヒストグラムを生成する。このヒストグラムの生成において、音楽成分の有する周波数特性によって差分絶対値「０」の頻度が多くなり、これに対し、音声成分の有する周波数特性によって差分絶対値「１２８」の頻度が高くなる。ここで、特徴量抽出部２３０におけるヒストグラム生成部２３２によって、音声成分および音楽成分の少なくとも一方を含む音響信号に基づいて生成されるヒストグラムの一例について図面を参照して以下に説明する。

［音響信号の種類ごとのヒストグラムの例］
図６は、本発明の実施の形態におけるヒストグラム生成部２３２により生成されるヒストグラムの例を示す概念図である。ここでは、横軸を、時間軸上において隣接する周波数スペクトルにおける周波数ごとの差分絶対値の大きさとし、縦軸を差分絶対値ごとの度数とする。

図６（ａ）は、音楽成分のみが含まれた音響信号におけるヒストグラムである。このヒストグラムは、すなわち、このヒストグラムは、偏り度合いが大きい。

図６（ｂ）は、音楽成分および音声成分が重畳された音響信号におけるヒストグラムである。このヒストグラムは、図６（ａ）に示されたヒストグラムに比べて、「０」付近の頻度が小さい。なお、音声成分および音楽成分が重畳された音響信号としては、例えば、放送番組のように、人が話している状況において背景音として音楽が流れている番組の音響信号が該当する。

図６（ｃ）は、音声成分のみが含まれた音響信号におけるヒストグラムである。このヒストグラムは、図６（ｂ）に示されたヒストグラムに比べて、「０」付近の頻度が小さく、差分絶対値の最大値付近の頻度が大きい。すなわち、このヒストグラムは、偏り度合いが最も小さい。

このように、音響信号の周波数スペクトルにおける各周波数の差分値に基づくヒストグラムは、音楽成分および音声成分の割合に応じてヒストグラムの偏り度合いが変化する。このため、音楽成分および音声成分の両者が含まれる音響信号に対応するヒストグラムは、図６（ａ）に示したヒストグラムと、図６（ｃ）に示したヒストグラムとの中間的な偏り度合いを示す。すなわち、音楽成分および音声成分の両者が重畳された音響信号と、音楽成分または音声成分のみの音響信号とにおける度数分布の偏り度合いには、差異が生じる。

したがって、音響信号における時系列の周波数スペクトルにおける各周波数の差分値に基づく度数分布の偏り度合いを用いることによって、音響信号の種類が音楽と、音楽および音声の重畳と、音声とのいずれであるかを識別することができる。すなわち、放送番組のような音響信号であって音楽成分および音声成分が重畳された音響信号と、音楽成分のみの音響信号と、音声成分のみの音響信号とを精度よく識別することができる。

これにより、本発明の実施の形態では、特徴量算出部２３３において、ヒストグラム生成部２３２により生成された度数分布の偏り度合いを示す分散を算出することによって、音響信号の種類を識別することができる。この場合において、度数分布の分散は、音響信号に含まれる音声成分の割合が大きいほど小さくなり、音楽成分の割合が小さいほど大きくなる。

このため、音響信号識別部１１０は、例えば、特徴量算出部２３３からの分散が一定の音楽閾値よりも大きい場合には音響信号を音声と識別し、分散が音楽閾値以下である場合には音響信号を音楽であると識別する。このとき、音楽成分および音声成分の両者が含まれた音響信号に対応する分散の大きさに比べて小さい値に、音楽閾値を予め設定することによって、放送番組のような音響信号の種類を音楽であると誤って識別することを低減することができる。

また、音声閾値を新たに設けて、音楽成分および音声成分の両者が含まれた音響信号に対応する分散の大きさに比べて大きい値に、音声閾値を設定することによって、放送番組のような音響信号の種類を音声であると誤って識別することを低減することができる。なお、分散の大きさが音楽閾値以上であり、かつ、音声閾値以下である音響信号を、例えば、放送番組という種類として識別するようにしてもよい。次に、音響信号識別部１１０により、音楽と識別された音響信号における開始点を検出する例について図面を参照して説明する。

［音楽区間の開始点の検出例］
図７は、本発明の実施の形態における音楽区間検出部１２０による音楽区間の開始点の検出例を示す図である。ここでは、音響信号の特徴量の時間特性と、時刻ｔにおける音楽開始点とが示されている。また、ここでは、音響信号の特徴量として、ヒストグラム生成部２３２におけるヒストグラムの分散が、信号線２０９を介して音楽区間検出部１２０に供給されることを想定する。また、縦軸を特徴量の大きさとし、横軸を時刻とする。

この例では、音楽区間検出部１２０において、図１で示した式１に基づいて算出された変動量Ｄが、予め定められた変動量閾値を超えたことにより、変動量Ｄに対応する時刻ｔが音楽区間の開始点として検出される例を示している。ここでは、式１に示したｎを「２」としている。

このように、音楽区間検出部１２０において、式１により算出された変動量Ｄに基づいて、音楽区間の開始点を特定することができるため、音声区間および音楽区間の区切りを正確に検出することができる。なお、ここでは一例として、音楽区間の開始点を検出する例について示したが、終了点を検出する場合にも式１により同様に検出することができる。

＜２．音響識別装置１００の動作＞
次に本発明の実施の形態における音響識別装置１００の動作について図面を参照して説明する。

図８は、本発明の実施の形態における音響識別装置１００の音響識別方法の処理手順例を示すフローチャートである。

まず、周波数スペクトル生成部２１０により、フレーム単位ごとに周波数スペクトルが時系列に生成される（ステップＳ９１１）。なお、ステップＳ９１１は、特許請求の範囲に記載の周波数スペクトル生成手順の一例である。

そして、差分値演算部２３１により、時間軸上において連続する周波数スペクトルにおける各周波数の差分値が、ブロック単位により算出される（ステップＳ９１２）。この後、ヒストグラム生成部２３２により、差分値演算部２３１からの差分値の大きさごとの頻度を累計することによって、差分値の度数分布が生成される（ステップＳ９１３）。

そして、特徴量算出部２３３により、ヒストグラム生成部２３２において生成された度数分布の偏り度合いを示す度数分布の分散が、音響信号の特徴量として算出される（ステップＳ９１４）。なお、ステップＳ９１２乃至Ｓ９１４は、特許請求の範囲に記載の特徴量抽出手順の一例である。

続いて、音響信号識別部１１０により、予め定められた音楽閾値と、特徴量算出部２３３からの特徴量である分散の大きさとに基づいて、音響信号の種類が、音楽と音楽および音声の重畳と音声とのいずれであるかが識別される（ステップＳ９１５）。そして、特徴量算出部２３３からの分散が、音楽閾値よりも大きいか否かが判断されたことによって、音響信号の種類が音楽であるか否かが判定される（ステップＳ９１６）。なお、ステップＳ９１５およびＳ９１６は、特許請求の範囲に記載の音響信号識別手順の一例である。

そして、度数分布の分散が音楽閾値未満であるため、音響信号の種類が音楽であると判定された場合には、その分散に対応する最初の音響信号のブロックが音楽区間の開始点として検出される。一方、度数分布の分散が音楽閾値よりも大きいため、音響信号の種類が音楽でないと判定された場合において、直前の音響信号の種類が音楽であるときは、直前の分散値に対応する音響信号のブロックが音楽区間の終了として検出される。これにより、音楽区間検出部１２０において、音響信号における音楽区間が検出される（ステップＳ９１７）。

この後、信号線１０１からの音響信号の供給が終了したか否かが判断されて（ステップＳ９１８）、音響信号の供給が終了するまで一連のステップＳ９１１乃至Ｓ９１７の処理が繰り返される。

このように、本発明の実施の形態によれば、時系列ごとの周波数スペクトルにおける各周波数の差分値の度数分布における分散を算出することによって、音響信号の種類が音楽と、音楽および音声の重畳と、音声とのずれであるかを識別することができる。すなわち、音響識別装置１００は、時系列ごとの周波数スペクトルにおける各周波数の差分値の度数分布の偏り度合いに基づいて、音響信号の種類を識別することができる。

また、特徴量算出部２３３からの特徴量は音楽成分および音声成分の有無に応じて変化するため、音楽成分および音声成分の両者が重畳した音響信号を音楽区間から除外することができる。すなわち、音響識別装置１００は、音響信号に含おける音楽成分および音声成分の周波数スペクトルの時間特性に基づく特徴量を用いることによって、音楽区間を精度よく検出することができる。

なお、本発明の実施の形態は、音響信号を識別する装置として音響識別装置を例に説明したが、音響信号を分析する音声認識装置、音響信号を分類する機能を有する録画装置、再生装置やコンテンツ検索装置などにも適用することができる。

なお、本発明の実施の形態では、音響信号における音楽区間を検出する例について説明したが、特徴量算出部２３３からの特徴量を用いて、音声、拍手や歓声などの区間を検出するようにしてもよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 音響識別装置
１１０ 音響信号識別部
１２０ 音楽区間検出部
２００ 音響信号分析部
２１０ 周波数スペクトル生成部
２２０ 周波数スペクトル保持部
２３０ 特徴量抽出部
２３１ 差分値演算部
２３２ ヒストグラム生成部
２３３ 特徴量算出部

Claims (6)

1. 音楽成分および音声成分の少なくとも一方が含まれる音響信号の周波数スペクトルを時系列に生成する周波数スペクトル生成部と、
   前記周波数スペクトル生成部により時系列に生成された周波数スペクトルにおける周波数ごとの差分値を算出して前記算出された差分値の度数分布における偏り度合いを前記音響信号の特徴量として抽出する特徴量抽出部と、
   前記音響信号の種類が音楽と音楽および音声の重畳と音声とのいずれであるかを前記特徴量に基づいて識別する音響信号識別部と
   を具備する音響識別装置。
2. 前記特徴量抽出部は、前記度数分布の分散を前記特徴量として抽出する請求項１記載の音響識別装置。
3. 前記特徴量抽出部は、時間軸において連続する前記周波数スペクトルにおける周波数ごとの差分値を算出する請求項１記載の音響識別装置。
4. 前記音響信号識別部は、前記音響信号の種類に関する所定の閾値と前記特徴量の大きさとに基づいて前記音響信号の種類を識別する請求項１記載の音響識別装置。
5. 音楽成分および音声成分の少なくとも一方が含まれる音響信号の周波数スペクトルを時系列に生成する周波数スペクトル生成手順と、
   前記周波数スペクトル生成手順により時系列に生成された周波数スペクトルにおける周波数ごとの差分値を算出して前記算出された差分値の度数分布における偏り度合いを前記音響信号の特徴量として抽出する特徴量抽出手順と、
   前記音響信号の種類が音楽と音楽および音声の重畳と音声とのいずれであるかを前記特徴量に基づいて識別する音響信号識別手順と
   を具備する音響識別方法。
6. 音楽成分および音声成分の少なくとも一方が含まれる音響信号の周波数スペクトルを時系列に生成する周波数スペクトル生成手順と、
   前記周波数スペクトル生成手順により時系列に生成された周波数スペクトルにおける周波数ごとの差分値を算出して前記算出された差分値の度数分布における偏り度合いを前記音響信号の特徴量として抽出する特徴量抽出手順と、
   前記音響信号の種類が音楽と音楽および音声の重畳と音声とのいずれであるかを前記特徴量に基づいて識別する音響信号識別手順と
   をコンピュータに実行させるプログラム。