JP2004125944A - 情報識別装置及び方法、並びにプログラム及び記録媒体 - Google Patents
情報識別装置及び方法、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004125944A JP2004125944A JP2002286836A JP2002286836A JP2004125944A JP 2004125944 A JP2004125944 A JP 2004125944A JP 2002286836 A JP2002286836 A JP 2002286836A JP 2002286836 A JP2002286836 A JP 2002286836A JP 2004125944 A JP2004125944 A JP 2004125944A
- Authority
- JP
- Japan
- Prior art keywords
- spectrogram
- power ratio
- horizontal
- component
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】音声信号を含む情報源から、所定の時間区間毎に高精度に音声・音楽を識別して検出する。
【解決手段】スペクトログラム計算部１１は、入力音声信号のスペクトルを所定のブロック単位に周波数分析し、所定の識別区間毎にスペクトログラムを求める。水平直線周波数成分抽出部１３は、小ブロック毎のスペクトログラムを画像と見なして、２次元周波数領域の所定の部分領域内にある水平直線成分を抽出する。水平直線パワー比計算部１４は、抽出された水平直線成分のパワーが２次元周波数領域の全領域のパワーに占める割合を求め、総合パワー比計算部１５は、小ブロック毎に求めた水平直線成分パワー比を評価して、総合水平直線成分パワー比を特徴量として求める。そして、音声・音楽識別部１６は、この総合水平直線成分パワー比を用いて音声か音楽かを識別する。
【選択図】 図４
【解決手段】スペクトログラム計算部１１は、入力音声信号のスペクトルを所定のブロック単位に周波数分析し、所定の識別区間毎にスペクトログラムを求める。水平直線周波数成分抽出部１３は、小ブロック毎のスペクトログラムを画像と見なして、２次元周波数領域の所定の部分領域内にある水平直線成分を抽出する。水平直線パワー比計算部１４は、抽出された水平直線成分のパワーが２次元周波数領域の全領域のパワーに占める割合を求め、総合パワー比計算部１５は、小ブロック毎に求めた水平直線成分パワー比を評価して、総合水平直線成分パワー比を特徴量として求める。そして、音声・音楽識別部１６は、この総合水平直線成分パワー比を用いて音声か音楽かを識別する。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は、音声、音楽、音響を含む音声信号、又はその音声信号を含む情報源から特徴量を抽出することにより、音声や音楽を識別して検出又は検索する情報識別装置及びその方法、並びにプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
放送システムやマルチメディアシステム等において、映像や音声の大量のコンテンツを効率よく管理、分類し、容易に検索可能とすることは重要であるが、これにはコンテンツ中のどの部分がどのような情報をもっているかを知ることが不可欠である。
【０００３】
ここで、多くのマルチメディアコンテンツ、放送コンテンツは、映像信号と共に音声信号を含んでおり、これはコンテンツの分類やシーンの検出において、非常に有用な情報である。特に、情報に含まれる音声信号の音声部分と音楽部分とを識別して検出することで、効率的な情報検索や情報管理が行える。
【０００４】
ところで、音声と音楽とを識別するための技術は、従来から数多く研究されており、零交差数、パワーの変動、スペクトルの変動などを特徴量として用いて識別する手法が提案されている。
【０００５】
例えば、下記の非特許文献１では、零交差数を用いて音声・音楽の識別を行っている。
【０００６】
また、下記の非特許文献２では、４Ｈｚ変調エネルギー、低エネルギーフレーム率、スペクトルロールオフ点、スペクトルセントロイド、スペクトル変動（Ｆｌｕｘ）、零交差率などを含めた１３個の特徴量を用いて音声・音楽を識別し、それぞれの性能を比較評価している。
【０００７】
さらに、下記の非特許文献３では、ケプストラム係数、デルタケプストラム係数、振幅、デルタ振幅、ピッチ、デルタピッチ、零交差数、デルタゼロ交差数を特徴量とし、それぞれの特徴量に混合正規分布モデルを用いることで、音声・音楽を識別している。
【０００８】
この他、音楽のスペクトルピークが特定周波数に安定したまま時間方向に持続するという特徴に基づいた検出手法も研究されている。ここで、スペクトルピークの安定性は、スペクトログラムにおける時間方向の直線成分の有無としても表現される。スペクトログラムとは、縦軸を周波数、横軸を時間とし、スペクトルを時間方向に並べて画像情報として表現したものである。この特徴を用いた発明としては、例えば下記の非特許文献４及び特許文献１が挙げられる。
【０００９】
ここで、特許文献１では、全帯域のエッジ強度を求め、これを閾値と比較することで音楽成分が存在するか否かを判定している。さらに、音楽成分を除去したスペクトルにくし型フィルタを適用し、音声の調波構造（ハーモニック構造）を検出することで音声成分も検出している。
【００１０】
すなわち、先ず周波数帯域ｊにおける時間方向のエッジ強度ｅｄ（ｊ）を以下の式（１）に従って求める。ここで、式（１）においてｆ（ｉ，ｊ）は、スペクトログラム上の画素（ｉ，ｊ）における輝度を示す。
【００１１】
【数１】
【００１２】
次に、全帯域のエッジ強度ＥＤを以下の式（２）に従って求める。
【００１３】
【数２】
【００１４】
そして、このエッジ強度ＥＤの値が閾値ＴＨ以上である場合には、検出範囲に音楽が存在すると判定している。
【００１５】
【非特許文献１】
Ｊ．サウンダース（Ｊ．Ｓａｕｎｄｅｒｓ），「放送された音声／音楽のリアルタイム識別（Ｒｅａｌ−ｔｉｍｅ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｏｆ ｂｒｏａｄｃａｓｔ ｓｐｅｅｃｈ／ｍｕｓｉｃ）」，（米国），電気電子技術者学会報、音響・音声・信号処理に関する国際会議（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ），１９９６年，ｐ．９９３−９９６
【非特許文献２】
Ｅ．シェイアー（Ｅ．Ｓｃｈｅｉｒｅ）及びＭ．スラニー（Ｍ．Ｓｌａｎｅｙ），「ロバストな多特性音声／音楽識別器の作製及び評価（Ｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ ｅｖａｌｕａｔｉｏｎ ｏｆ ａ ｒｏｂｕｓｔ ｍｕｌｔｉｆｅａｔｕｒｅ ｓｐｅｅｃｈ／ｍｕｓｉｃ ｄｉｓｃｒｉｍｉｎａｔｏｒ）」，（米国），電気電子技術者学会報、音響・音声・信号処理に関する国際会議（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ． ｏｎＡｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ），１９９７年，ｐ．１３３１−１３３４
【非特許文献３】
Ｍ．Ｊ．ケア（Ｍ．Ｊ．Ｃａｒｅ）、Ｅ．Ｓ．パリス（Ｅ．Ｓ．Ｐａｒｒｉｓ）及びＨ．ロイド・トーマス（Ｈ．Ｌｌｏｙｄ−Ｔｈｏｍａｓ），「音声，音楽を識別するための特徴比較（Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｆｅａｔｕｒｅｓ ｆｏｒ ｓｐｅｅｃｈ，ｍｕｓｉｃ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ）」，（米国），電気電子技術者学会報、音響・音声・信号処理に関する国際会議（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ），１９９９年３月，ｐ．１４９−１５２
【非特許文献４】
南、阿久津、浜田及び外村，「音情報を用いた映像インデクシングとその応用」，電子情報通信学会論文誌Ｄ−ＩＩ，１９９８年，第Ｊ８１−Ｄ−ＩＩ巻，第３号，ｐ．５２９−５３７
【特許文献１】
特開平１０−１８７１８２号公報
【００１６】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術において、零交差数、パワー変動、スペクトルセントロイドなどを特徴量として用いた識別手法は、どれも単独では識別に十分な特徴量ではなかった。
【００１７】
また、スペクトルのピークの安定性に着目した識別手法は、打撃音などを除き効果的な特徴量であるものの、エッジ強度の時間方向及び周波数方向における単純な総和を識別に用いていたため、特定周波数における時間方向のピーク安定性を十分に表現できない場合があった。つまり、単に全時刻・全帯域での総和をとると、スペクトルピークが周波数方向に揺らいでいる場合やピークが断続している場合であっても、スペクトルが特定周波数に安定して持続している場合、すなわちスペクトログラムにおける時間方向の直線成分が存在する場合との区別がつかないことがあり、これにより識別誤りを起こす可能性があった。
【００１８】
本発明は、このような従来の実情に鑑みて提案されたものであり、上述した従来技術の問題点を解決し、より高精度に音声・音楽を識別して検出する情報識別装置及びその方法、並びに情報識別処理をコンピュータに実行させるプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る情報識別装置は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別装置において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算手段と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出手段と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算手段と、上記パワー比計算手段によって求められたパワー比に基づいて、音声か音楽かを識別する識別手段とを備える。
【００２０】
ここで、本情報識別装置は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割手段を備えていてもよく、この場合、上記水平直流成分抽出手段は、上記小ブロック毎に上記水平直流成分を抽出し、上記パワー比計算手段は、上記小ブロック毎に上記パワー比を求める。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算手段を備えることもでき、この場合、上記識別手段は、上記総合パワー比計算手段によって求められた総合パワー比に基づいて、音声か音楽かを識別する。
【００２１】
このような情報識別装置は、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いる。
【００２２】
また、上述した目的を達成するために、本発明に係る情報識別方法は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別方法において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算工程と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出工程と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算工程と、上記パワー比計算工程にて求められたパワー比に基づいて、音声か音楽かを識別する識別工程とを有する。
【００２３】
ここで、本情報識別方法は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割工程を有していてもよく、この場合、上記成分抽出工程では、上記小ブロック毎に上記水平直流成分が抽出され、上記パワー比計算工程では、上記小ブロック毎に上記パワー比が求められる。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算工程を有してもよく、この場合、上記識別工程では、上記総合パワー比計算工程にて求められた総合パワー比に基づいて、音声か音楽かが識別される。
【００２４】
このような情報識別方法は、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いる。
【００２５】
また、本発明に係るプログラムは、上述した情報識別処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００２６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて、音声信号の所定時間区間毎に音声と音楽とを識別して検出する情報識別装置に適用したものである。
【００２７】
以下では、本実施の形態における情報識別装置の構成及び動作を説明する前に、この情報識別装置における音声・音楽の識別手法の原理について説明する。
【００２８】
先ず音楽の典型的なスペクトログラムの様子を図１（Ａ）に示す。この図は抽象化して示しているが、実際のスペクトログラムは、スペクトルの大きさによって画素の輝度が異なる濃淡画像として得られる。打楽器のみの場合などに例外はあるが、多くの一般的な音楽では、図１（Ａ）に示すように、スペクトログラムに水平方向、すなわち時間方向の直線成分が観察される。これは、音楽ではある周波数帯域のスペクトルピークが時間方向に安定して持続するためである。
【００２９】
一方、音声の典型的なスペクトログラムの様子を図１（Ｂ）に示す。音楽の場合と異なり、音声ではスペクトログラムに水平直線成分が見られず、周波数方向に揺らいで波打っているのが観察される。これは、音声には調波構造（ハーモニクス構造）が見られるものの、周波数ピークが時間とともに揺らいで変動することを示している。また、音声では有声音と無声音とが交互に繰り返されるために、曲線の明確に現れる部分とそうでない部分とが存在する。
【００３０】
したがって、スペクトログラムを画像と見なし、そのスペクトログラム画像における水平直線成分の有無、或いはその程度によって音声と音楽とを識別することができる。
【００３１】
ここで、スペクトログラムを画像と見なした場合の２次元周波数領域を図２に示す。スペクトログラム画像を２次元スペクトルに変換した２次元周波数領域において、スペクトログラム画像における水平直線成分は、図２に斜線で示す領域ＬＵ付近、すなわち水平周波数ｕが０近傍である水平直流成分に集中する。
【００３２】
なお、垂直直流成分（ｖ＝０）付近にも水平直線のスペクトル成分は存在するが、垂直方向に殆ど変化がない成分、すなわち直線とはいえない成分も含まれるため、ｖ＝０付近は領域ＬＵから除いている。
【００３３】
この領域ＬＵ内のスペクトルパワーがスペクトログラムにおける水平直線成分であることから、全領域のスペクトルパワーに対する領域ＬＵ内のスペクトルパワーの比が、スペクトログラムの水平直線成分の程度、すなわちスペクトルの時間方向のピーク持続性を表すことになり、これを特徴量として音声と音楽とを識別することができる。
【００３４】
実際には、図３に示すように、スペクトログラム全体のうち、音声・音楽の識別に大きく寄与する領域ＡＲを複数の小ブロック（小領域）ＳＢに分割し、小ブロックＳＢ毎に上述したパワー比を求めてから、全ての小ブロックＳＢにおける総合的なパワー比を求めるのが好ましい。このように小ブロックＳＢに分割して処理を行うことで、水平直線成分の検出精度が向上する。また、スペクトログラム全体のうち、音声・音楽の識別に大きく寄与する領域ＡＲのみを処理の対象とすることで、識別の精度も向上する。
【００３５】
以上説明した識別手法により音声・音楽を識別する本実施の形態における情報識別装置の概略構成を図４に示す。図４に示すように、情報識別装置１は、音声信号入力部１０と、入力された音声信号のスペクトログラムを求めるスペクトログラム計算部１１と、スペクトログラムを複数の小ブロックＳＢに分割するスペクトログラム分割部１２と、分割されたスペクトログラムの小ブロックＳＢにおける水平直線周波数成分を抽出する水平直線周波数成分抽出部１３と、小ブロックＳＢの水平直線成分の全成分に対するパワー比を求める水平直線パワー比計算部１４と、全小ブロックＳＢの水平直線パワー比から総合水平直線成分パワー比を求める総合パワー比計算部１５と、求めた総合水平直線成分パワー比を特徴量とし、入力音声信号の所定時間区間毎に音声か音楽かを識別する音声・音楽識別部１６と、その識別結果を出力する識別結果出力部１７とを備える。
【００３６】
この情報識別装置１において、音声信号入力部１０は、音声信号を入力し、これをスペクトログラム計算部１１に供給する。スペクトログラム計算部１１は、入力音声信号を所定のブロック毎に周波数分析して周波数スペクトルを計算し、さらに所定の識別時間毎に入力音声信号のスペクトログラムを求めて、スペクトログラムをスペクトログラム分割部１２に供給する。そして、スペクトログラム分割部１２は、スペクトログラム計算部１１から供給されたスペクトログラムを後述するように複数の小ブロックＳＢに分割し、小ブロックＳＢ毎のスペクトログラムを水平直線周波数成分抽出部１３に供給する。
【００３７】
水平直線周波数成分抽出部１３は、スペクトログラムの小ブロックＳＢ毎に、その小ブロックＳＢの水平直線成分に相当する周波数成分を取り出して、水平直線パワー比計算部１４に供給する。そして、水平直線パワー比計算部１４は、全周波数帯域成分に対する水平直線成分のパワー比を計算し、総合パワー比計算部１５は、全ての小ブロックＳＢでの水平直線成分パワー比を評価して、総合水平直線成分パワー比を計算する。
【００３８】
音声・音楽識別部１６は、求められた総合水平直線成分パワー比を特徴量として用いて、閾値判定法やその他の統計的判別手法により入力音声信号の識別区間が音声であるか音楽であるかを識別し、識別結果を識別結果出力部１７に供給する。そして、識別結果出力部１７は、音声・音楽識別部１６から供給された識別結果を出力する。
【００３９】
この情報識別装置１の処理を図５のフローチャートを用いてさらに詳細に説明する。先ずステップＳ１において、入力音声信号の所定の識別時間内におけるスペクトログラムを求める。ここで、識別時間とは、入力音声信号において音声と音楽とを識別するための識別ブロック長であり、数秒程度以上が望ましい。具体的には、音声信号ｘ（ｔ）を入力し、所定の時間毎（例えば６４ミリ秒）にブロック化して周波数分析を行い、スペクトルを求める。
【００４０】
なお、周波数分析ブロックは、隣接ブロックと重複していてもよい。例えば、２０ミリ秒ずつ重複させることができる。また、周波数スケールは、対数スケールやメルスケールなどであってもよい。
【００４１】
そして、ｉ番目の周波数分析ブロックにおける周波数帯域ｋのスペクトルをｆ（ｉ，ｋ）とする。横軸にｉ（時間方向）、縦軸にｋ（周波数方向）をとり、求めたスペクトルｆ（ｉ，ｋ）を２次元画像の輝度として表現したものがスペクトログラムである。
【００４２】
次にステップＳ２において、スペクトログラムを図３に示したようにＭ個の小ブロックＳＢに分割する。この際、識別に寄与すると思われる部分のみを小ブロック化すればよい。本実施の形態では、時間方向にはスペクトログラム全体の時間幅（すなわち識別時間長）に亘って小ブロック化されているが、周波数方向には識別に重要な帯域（例えば、５０Ｈｚ〜４ｋＨｚ）のみが小ブロック化されており、それ以外の帯域を用いない。このように、識別に寄与すると思われる部分のみを小ブロック化することで、識別精度が向上する。ここで、小ブロックＳＢの大きさは、周波数方向にも時間方向にも適当な分解能となるように、例えば３２×３２とする。
【００４３】
なお、小ブロックＳＢは、隣接ブロックと重複していてもよい。本実施の形態では、小ブロックＳＢは半分ずつ重複しているとする。
【００４４】
このように分割した小ブロックＳＢ毎に、後段で水平直線成分のパワー比が求められる。
【００４５】
続いてステップＳ３において、ある小ブロックＳＢｍについて、２次元画像スペクトル上の領域ＬＵの水平直線成分パワー比Ｒ（ｍ）を求める。すなわち、上述のよう分割された小ブロックＳＢ毎に、その小ブロックＳＢ内のスペクトログラムを画像と見なし、２次元フーリエ変換や２次元フィルタなどによりスペクトログラム画像の２次元周波数における領域ＬＵの成分を取り出し、全領域に対するパワー比を求める。
【００４６】
ここで、領域ＬＵの水平直線成分パワー比Ｒ（ｍ）を求める方法には、２次元フーリエ変換によって該当領域のスペクトルから求める方法と、２次元デジタルフィルタを用いて領域ＬＵの帯域成分のみを取り出す方法がある。フーリエ変換による方法では、先ず小ブロックＳＢｍにおけるスペクトログラム画像を２次元フーリエ変換し、得られた２次元パワースペクトルをＦｍ（ｕ，ｖ）とする。そして、領域ＬＵ内のスペクトルパワーの全帯域に対するパワー比を求める。すなわち、小ブロックＳＢｍにおける水平直線成分パワー比Ｒ（ｍ）は、以下の式（３）により求められる。
【００４７】
【数３】
【００４８】
一方、２次元フィルタを用いた場合は、小ブロックＳＢｍにおけるスペクトログラム画像に、領域ＬＵのみ通過させるような２次元帯域通過フィルタを適用する。そして、フィルタ処理された信号のパワーと、フィルタ処理しない原信号のパワーとの比を求めれば水平直線成分パワー比Ｒ（ｍ）が得られる。
【００４９】
ステップＳ４では、全ての小ブロックＳＢの処理が終了したか否かが判別される。全ての小ブロックＳＢについて水平直線成分パワー比Ｒ（ｍ）を求めた場合（Ｙｅｓ）にはステップＳ５に進み、そうでない場合（Ｎｏ）には、次の小ブロックＳＢについて同様にして水平直線成分パワー比Ｒ（ｍ）を求める。
【００５０】
ステップＳ５では、全ての小ブロックＳＢについての総合水平直線パワー比Ｒを求める。例えば、以下の式（４）に示すように、各小ブロックＳＢの水平直線成分パワー比Ｒ（ｍ）の平均を総合水平直線パワー比Ｒとすることができる。ここで、式（４）において、ｍは小ブロックの番号を示し、Ｍは小ブロック数を示す。
【００５１】
【数４】
【００５２】
なお、各小ブロックＳＢの水平直線成分パワー比Ｒ（ｍ）の平均に限定されるものではなく、以下の式（５）に示すように、単純に各小ブロックＳＢの水平直線成分パワー比Ｒ（ｍ）の総和を総合水平直線パワー比Ｒとしてもよい。
【００５３】
【数５】
【００５４】
そしてステップＳ６では、総合水平直線成分パワー比Ｒを特徴量として用いて、音声・音楽の識別を行う。一般に、典型的な音楽ではスペクトルピークが持続するため、この総合水平直線成分パワー比Ｒは大きな値となり、音声では小さい値になる。識別の手法は本発明では限定しないが、最も単純な方法としては、総合水平直線成分パワー比Ｒを閾値Ｔｈと比較し、総合水平直線成分パワー比Ｒが閾値Ｔｈ以上であれば音楽と判別し、閾値Ｔｈ未満であれば音声と判別することが挙げられる。
【００５５】
また、音声、音楽それぞれに対して総合水平直線成分パワー比Ｒの分布を正規分布モデルによって表現し、事後確率の大きい方に判別するといったベイズ決定則などの統計的判別法を用いてもよい。また、この総合水平直線成分パワー比Ｒを他の特徴量と組み合わせて総合的に判別してもよい。
【００５６】
以上説明したように、本実施の形態における情報識別装置１によれば、入力音声信号のスペクトログラムにおける水平直線成分に相当する周波数成分を取り出し、その全体に対するパワー比を特徴量として用いているため、スペクトルにおける特定帯域のピーク持続性を効果的に表現することができ、音声・音楽を高精度に識別することができる。
【００５７】
また、スペクトログラムを予め小ブロックＳＢに分割し、小ブロックＳＢ毎に上述の水平直線成分パワー比Ｒ（ｍ）を求めてから、全小ブロックＳＢにおける総合水平直線成分パワー比Ｒを求めているため、ピーク持続性の分析性能が向上する。
【００５８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５９】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００６０】
【発明の効果】
以上詳細に説明したように本発明に係る情報識別装置は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別装置において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算手段と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出手段と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算手段と、上記パワー比計算手段によって求められたパワー比に基づいて、音声か音楽かを識別する識別手段とを備える。
【００６１】
ここで、本情報識別装置は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割手段を備えていてもよく、この場合、上記水平直流成分抽出手段は、上記小ブロック毎に上記水平直流成分を抽出し、上記パワー比計算手段は、上記小ブロック毎に上記パワー比を求める。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算手段を備えることもでき、この場合、上記識別手段は、上記総合パワー比計算手段によって求められた総合パワー比に基づいて、音声か音楽かを識別する。
【００６２】
このような情報識別装置によれば、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いることで、スペクトルにおける特定帯域のピーク持続性を効果的に表現することができ、音声・音楽を高精度に識別することができる。
【００６３】
また、本発明に係る情報識別方法は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別方法において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算工程と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出工程と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算工程と、上記パワー比計算工程にて求められたパワー比に基づいて、音声か音楽かを識別する識別工程とを有する。
【００６４】
ここで、本情報識別方法は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割工程を有していてもよく、この場合、上記成分抽出工程では、上記小ブロック毎に上記水平直流成分が抽出され、上記パワー比計算工程では、上記小ブロック毎に上記パワー比が求められる。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算工程を有してもよく、この場合、上記識別工程では、上記総合パワー比計算工程にて求められた総合パワー比に基づいて、音声か音楽かが識別される。
【００６５】
このような情報識別方法によれば、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いることで、スペクトルにおける特定帯域のピーク持続性を効果的に表現することができ、音声・音楽を高精度に識別することができる。
【００６６】
また、本発明に係るプログラムは、上述した情報識別処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００６７】
このようなプログラム及び記録媒体によれば、上述した情報識別処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】スペクトログラムの典型例を概念的に説明する図であり、同図（Ａ）は、音楽のスペクトログラムを示し、同図（Ｂ）は、音声のスペクトログラムを示す。
【図２】スペクトログラム画像を２次元スペクトルに変換した２次元周波数領域を示す図である。
【図３】スペクトログラム画像を複数の小ブロックに分割した様子を示す図である。
【図４】本実施の形態における情報識別装置の概略構成を説明する図である。
【図５】同情報識別装置の動作を説明するフローチャートである。
【符号の説明】
１ 情報識別装置、１０ 音声信号入力部、１１ スペクトログラム計算部、１２ スペクトログラム分割部、１３ 水平直線周波数成分抽出部、１４ 水平直線パワー比計算部、１５ 総合パワー比計算部、１６ 音声・音楽識別部、１７ 識別結果出力部
【発明の属する技術分野】
本発明は、音声、音楽、音響を含む音声信号、又はその音声信号を含む情報源から特徴量を抽出することにより、音声や音楽を識別して検出又は検索する情報識別装置及びその方法、並びにプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
放送システムやマルチメディアシステム等において、映像や音声の大量のコンテンツを効率よく管理、分類し、容易に検索可能とすることは重要であるが、これにはコンテンツ中のどの部分がどのような情報をもっているかを知ることが不可欠である。
【０００３】
ここで、多くのマルチメディアコンテンツ、放送コンテンツは、映像信号と共に音声信号を含んでおり、これはコンテンツの分類やシーンの検出において、非常に有用な情報である。特に、情報に含まれる音声信号の音声部分と音楽部分とを識別して検出することで、効率的な情報検索や情報管理が行える。
【０００４】
ところで、音声と音楽とを識別するための技術は、従来から数多く研究されており、零交差数、パワーの変動、スペクトルの変動などを特徴量として用いて識別する手法が提案されている。
【０００５】
例えば、下記の非特許文献１では、零交差数を用いて音声・音楽の識別を行っている。
【０００６】
また、下記の非特許文献２では、４Ｈｚ変調エネルギー、低エネルギーフレーム率、スペクトルロールオフ点、スペクトルセントロイド、スペクトル変動（Ｆｌｕｘ）、零交差率などを含めた１３個の特徴量を用いて音声・音楽を識別し、それぞれの性能を比較評価している。
【０００７】
さらに、下記の非特許文献３では、ケプストラム係数、デルタケプストラム係数、振幅、デルタ振幅、ピッチ、デルタピッチ、零交差数、デルタゼロ交差数を特徴量とし、それぞれの特徴量に混合正規分布モデルを用いることで、音声・音楽を識別している。
【０００８】
この他、音楽のスペクトルピークが特定周波数に安定したまま時間方向に持続するという特徴に基づいた検出手法も研究されている。ここで、スペクトルピークの安定性は、スペクトログラムにおける時間方向の直線成分の有無としても表現される。スペクトログラムとは、縦軸を周波数、横軸を時間とし、スペクトルを時間方向に並べて画像情報として表現したものである。この特徴を用いた発明としては、例えば下記の非特許文献４及び特許文献１が挙げられる。
【０００９】
ここで、特許文献１では、全帯域のエッジ強度を求め、これを閾値と比較することで音楽成分が存在するか否かを判定している。さらに、音楽成分を除去したスペクトルにくし型フィルタを適用し、音声の調波構造（ハーモニック構造）を検出することで音声成分も検出している。
【００１０】
すなわち、先ず周波数帯域ｊにおける時間方向のエッジ強度ｅｄ（ｊ）を以下の式（１）に従って求める。ここで、式（１）においてｆ（ｉ，ｊ）は、スペクトログラム上の画素（ｉ，ｊ）における輝度を示す。
【００１１】
【数１】
次に、全帯域のエッジ強度ＥＤを以下の式（２）に従って求める。
【００１３】
【数２】
そして、このエッジ強度ＥＤの値が閾値ＴＨ以上である場合には、検出範囲に音楽が存在すると判定している。
【００１５】
【非特許文献１】
Ｊ．サウンダース（Ｊ．Ｓａｕｎｄｅｒｓ），「放送された音声／音楽のリアルタイム識別（Ｒｅａｌ−ｔｉｍｅ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ ｏｆ ｂｒｏａｄｃａｓｔ ｓｐｅｅｃｈ／ｍｕｓｉｃ）」，（米国），電気電子技術者学会報、音響・音声・信号処理に関する国際会議（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ），１９９６年，ｐ．９９３−９９６
【非特許文献２】
Ｅ．シェイアー（Ｅ．Ｓｃｈｅｉｒｅ）及びＭ．スラニー（Ｍ．Ｓｌａｎｅｙ），「ロバストな多特性音声／音楽識別器の作製及び評価（Ｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ ｅｖａｌｕａｔｉｏｎ ｏｆ ａ ｒｏｂｕｓｔ ｍｕｌｔｉｆｅａｔｕｒｅ ｓｐｅｅｃｈ／ｍｕｓｉｃ ｄｉｓｃｒｉｍｉｎａｔｏｒ）」，（米国），電気電子技術者学会報、音響・音声・信号処理に関する国際会議（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ． ｏｎＡｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ），１９９７年，ｐ．１３３１−１３３４
【非特許文献３】
Ｍ．Ｊ．ケア（Ｍ．Ｊ．Ｃａｒｅ）、Ｅ．Ｓ．パリス（Ｅ．Ｓ．Ｐａｒｒｉｓ）及びＨ．ロイド・トーマス（Ｈ．Ｌｌｏｙｄ−Ｔｈｏｍａｓ），「音声，音楽を識別するための特徴比較（Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｆｅａｔｕｒｅｓ ｆｏｒ ｓｐｅｅｃｈ，ｍｕｓｉｃ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ）」，（米国），電気電子技術者学会報、音響・音声・信号処理に関する国際会議（Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ），１９９９年３月，ｐ．１４９−１５２
【非特許文献４】
南、阿久津、浜田及び外村，「音情報を用いた映像インデクシングとその応用」，電子情報通信学会論文誌Ｄ−ＩＩ，１９９８年，第Ｊ８１−Ｄ−ＩＩ巻，第３号，ｐ．５２９−５３７
【特許文献１】
特開平１０−１８７１８２号公報
【００１６】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術において、零交差数、パワー変動、スペクトルセントロイドなどを特徴量として用いた識別手法は、どれも単独では識別に十分な特徴量ではなかった。
【００１７】
また、スペクトルのピークの安定性に着目した識別手法は、打撃音などを除き効果的な特徴量であるものの、エッジ強度の時間方向及び周波数方向における単純な総和を識別に用いていたため、特定周波数における時間方向のピーク安定性を十分に表現できない場合があった。つまり、単に全時刻・全帯域での総和をとると、スペクトルピークが周波数方向に揺らいでいる場合やピークが断続している場合であっても、スペクトルが特定周波数に安定して持続している場合、すなわちスペクトログラムにおける時間方向の直線成分が存在する場合との区別がつかないことがあり、これにより識別誤りを起こす可能性があった。
【００１８】
本発明は、このような従来の実情に鑑みて提案されたものであり、上述した従来技術の問題点を解決し、より高精度に音声・音楽を識別して検出する情報識別装置及びその方法、並びに情報識別処理をコンピュータに実行させるプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る情報識別装置は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別装置において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算手段と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出手段と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算手段と、上記パワー比計算手段によって求められたパワー比に基づいて、音声か音楽かを識別する識別手段とを備える。
【００２０】
ここで、本情報識別装置は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割手段を備えていてもよく、この場合、上記水平直流成分抽出手段は、上記小ブロック毎に上記水平直流成分を抽出し、上記パワー比計算手段は、上記小ブロック毎に上記パワー比を求める。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算手段を備えることもでき、この場合、上記識別手段は、上記総合パワー比計算手段によって求められた総合パワー比に基づいて、音声か音楽かを識別する。
【００２１】
このような情報識別装置は、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いる。
【００２２】
また、上述した目的を達成するために、本発明に係る情報識別方法は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別方法において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算工程と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出工程と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算工程と、上記パワー比計算工程にて求められたパワー比に基づいて、音声か音楽かを識別する識別工程とを有する。
【００２３】
ここで、本情報識別方法は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割工程を有していてもよく、この場合、上記成分抽出工程では、上記小ブロック毎に上記水平直流成分が抽出され、上記パワー比計算工程では、上記小ブロック毎に上記パワー比が求められる。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算工程を有してもよく、この場合、上記識別工程では、上記総合パワー比計算工程にて求められた総合パワー比に基づいて、音声か音楽かが識別される。
【００２４】
このような情報識別方法は、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いる。
【００２５】
また、本発明に係るプログラムは、上述した情報識別処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００２６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて、音声信号の所定時間区間毎に音声と音楽とを識別して検出する情報識別装置に適用したものである。
【００２７】
以下では、本実施の形態における情報識別装置の構成及び動作を説明する前に、この情報識別装置における音声・音楽の識別手法の原理について説明する。
【００２８】
先ず音楽の典型的なスペクトログラムの様子を図１（Ａ）に示す。この図は抽象化して示しているが、実際のスペクトログラムは、スペクトルの大きさによって画素の輝度が異なる濃淡画像として得られる。打楽器のみの場合などに例外はあるが、多くの一般的な音楽では、図１（Ａ）に示すように、スペクトログラムに水平方向、すなわち時間方向の直線成分が観察される。これは、音楽ではある周波数帯域のスペクトルピークが時間方向に安定して持続するためである。
【００２９】
一方、音声の典型的なスペクトログラムの様子を図１（Ｂ）に示す。音楽の場合と異なり、音声ではスペクトログラムに水平直線成分が見られず、周波数方向に揺らいで波打っているのが観察される。これは、音声には調波構造（ハーモニクス構造）が見られるものの、周波数ピークが時間とともに揺らいで変動することを示している。また、音声では有声音と無声音とが交互に繰り返されるために、曲線の明確に現れる部分とそうでない部分とが存在する。
【００３０】
したがって、スペクトログラムを画像と見なし、そのスペクトログラム画像における水平直線成分の有無、或いはその程度によって音声と音楽とを識別することができる。
【００３１】
ここで、スペクトログラムを画像と見なした場合の２次元周波数領域を図２に示す。スペクトログラム画像を２次元スペクトルに変換した２次元周波数領域において、スペクトログラム画像における水平直線成分は、図２に斜線で示す領域ＬＵ付近、すなわち水平周波数ｕが０近傍である水平直流成分に集中する。
【００３２】
なお、垂直直流成分（ｖ＝０）付近にも水平直線のスペクトル成分は存在するが、垂直方向に殆ど変化がない成分、すなわち直線とはいえない成分も含まれるため、ｖ＝０付近は領域ＬＵから除いている。
【００３３】
この領域ＬＵ内のスペクトルパワーがスペクトログラムにおける水平直線成分であることから、全領域のスペクトルパワーに対する領域ＬＵ内のスペクトルパワーの比が、スペクトログラムの水平直線成分の程度、すなわちスペクトルの時間方向のピーク持続性を表すことになり、これを特徴量として音声と音楽とを識別することができる。
【００３４】
実際には、図３に示すように、スペクトログラム全体のうち、音声・音楽の識別に大きく寄与する領域ＡＲを複数の小ブロック（小領域）ＳＢに分割し、小ブロックＳＢ毎に上述したパワー比を求めてから、全ての小ブロックＳＢにおける総合的なパワー比を求めるのが好ましい。このように小ブロックＳＢに分割して処理を行うことで、水平直線成分の検出精度が向上する。また、スペクトログラム全体のうち、音声・音楽の識別に大きく寄与する領域ＡＲのみを処理の対象とすることで、識別の精度も向上する。
【００３５】
以上説明した識別手法により音声・音楽を識別する本実施の形態における情報識別装置の概略構成を図４に示す。図４に示すように、情報識別装置１は、音声信号入力部１０と、入力された音声信号のスペクトログラムを求めるスペクトログラム計算部１１と、スペクトログラムを複数の小ブロックＳＢに分割するスペクトログラム分割部１２と、分割されたスペクトログラムの小ブロックＳＢにおける水平直線周波数成分を抽出する水平直線周波数成分抽出部１３と、小ブロックＳＢの水平直線成分の全成分に対するパワー比を求める水平直線パワー比計算部１４と、全小ブロックＳＢの水平直線パワー比から総合水平直線成分パワー比を求める総合パワー比計算部１５と、求めた総合水平直線成分パワー比を特徴量とし、入力音声信号の所定時間区間毎に音声か音楽かを識別する音声・音楽識別部１６と、その識別結果を出力する識別結果出力部１７とを備える。
【００３６】
この情報識別装置１において、音声信号入力部１０は、音声信号を入力し、これをスペクトログラム計算部１１に供給する。スペクトログラム計算部１１は、入力音声信号を所定のブロック毎に周波数分析して周波数スペクトルを計算し、さらに所定の識別時間毎に入力音声信号のスペクトログラムを求めて、スペクトログラムをスペクトログラム分割部１２に供給する。そして、スペクトログラム分割部１２は、スペクトログラム計算部１１から供給されたスペクトログラムを後述するように複数の小ブロックＳＢに分割し、小ブロックＳＢ毎のスペクトログラムを水平直線周波数成分抽出部１３に供給する。
【００３７】
水平直線周波数成分抽出部１３は、スペクトログラムの小ブロックＳＢ毎に、その小ブロックＳＢの水平直線成分に相当する周波数成分を取り出して、水平直線パワー比計算部１４に供給する。そして、水平直線パワー比計算部１４は、全周波数帯域成分に対する水平直線成分のパワー比を計算し、総合パワー比計算部１５は、全ての小ブロックＳＢでの水平直線成分パワー比を評価して、総合水平直線成分パワー比を計算する。
【００３８】
音声・音楽識別部１６は、求められた総合水平直線成分パワー比を特徴量として用いて、閾値判定法やその他の統計的判別手法により入力音声信号の識別区間が音声であるか音楽であるかを識別し、識別結果を識別結果出力部１７に供給する。そして、識別結果出力部１７は、音声・音楽識別部１６から供給された識別結果を出力する。
【００３９】
この情報識別装置１の処理を図５のフローチャートを用いてさらに詳細に説明する。先ずステップＳ１において、入力音声信号の所定の識別時間内におけるスペクトログラムを求める。ここで、識別時間とは、入力音声信号において音声と音楽とを識別するための識別ブロック長であり、数秒程度以上が望ましい。具体的には、音声信号ｘ（ｔ）を入力し、所定の時間毎（例えば６４ミリ秒）にブロック化して周波数分析を行い、スペクトルを求める。
【００４０】
なお、周波数分析ブロックは、隣接ブロックと重複していてもよい。例えば、２０ミリ秒ずつ重複させることができる。また、周波数スケールは、対数スケールやメルスケールなどであってもよい。
【００４１】
そして、ｉ番目の周波数分析ブロックにおける周波数帯域ｋのスペクトルをｆ（ｉ，ｋ）とする。横軸にｉ（時間方向）、縦軸にｋ（周波数方向）をとり、求めたスペクトルｆ（ｉ，ｋ）を２次元画像の輝度として表現したものがスペクトログラムである。
【００４２】
次にステップＳ２において、スペクトログラムを図３に示したようにＭ個の小ブロックＳＢに分割する。この際、識別に寄与すると思われる部分のみを小ブロック化すればよい。本実施の形態では、時間方向にはスペクトログラム全体の時間幅（すなわち識別時間長）に亘って小ブロック化されているが、周波数方向には識別に重要な帯域（例えば、５０Ｈｚ〜４ｋＨｚ）のみが小ブロック化されており、それ以外の帯域を用いない。このように、識別に寄与すると思われる部分のみを小ブロック化することで、識別精度が向上する。ここで、小ブロックＳＢの大きさは、周波数方向にも時間方向にも適当な分解能となるように、例えば３２×３２とする。
【００４３】
なお、小ブロックＳＢは、隣接ブロックと重複していてもよい。本実施の形態では、小ブロックＳＢは半分ずつ重複しているとする。
【００４４】
このように分割した小ブロックＳＢ毎に、後段で水平直線成分のパワー比が求められる。
【００４５】
続いてステップＳ３において、ある小ブロックＳＢｍについて、２次元画像スペクトル上の領域ＬＵの水平直線成分パワー比Ｒ（ｍ）を求める。すなわち、上述のよう分割された小ブロックＳＢ毎に、その小ブロックＳＢ内のスペクトログラムを画像と見なし、２次元フーリエ変換や２次元フィルタなどによりスペクトログラム画像の２次元周波数における領域ＬＵの成分を取り出し、全領域に対するパワー比を求める。
【００４６】
ここで、領域ＬＵの水平直線成分パワー比Ｒ（ｍ）を求める方法には、２次元フーリエ変換によって該当領域のスペクトルから求める方法と、２次元デジタルフィルタを用いて領域ＬＵの帯域成分のみを取り出す方法がある。フーリエ変換による方法では、先ず小ブロックＳＢｍにおけるスペクトログラム画像を２次元フーリエ変換し、得られた２次元パワースペクトルをＦｍ（ｕ，ｖ）とする。そして、領域ＬＵ内のスペクトルパワーの全帯域に対するパワー比を求める。すなわち、小ブロックＳＢｍにおける水平直線成分パワー比Ｒ（ｍ）は、以下の式（３）により求められる。
【００４７】
【数３】
一方、２次元フィルタを用いた場合は、小ブロックＳＢｍにおけるスペクトログラム画像に、領域ＬＵのみ通過させるような２次元帯域通過フィルタを適用する。そして、フィルタ処理された信号のパワーと、フィルタ処理しない原信号のパワーとの比を求めれば水平直線成分パワー比Ｒ（ｍ）が得られる。
【００４９】
ステップＳ４では、全ての小ブロックＳＢの処理が終了したか否かが判別される。全ての小ブロックＳＢについて水平直線成分パワー比Ｒ（ｍ）を求めた場合（Ｙｅｓ）にはステップＳ５に進み、そうでない場合（Ｎｏ）には、次の小ブロックＳＢについて同様にして水平直線成分パワー比Ｒ（ｍ）を求める。
【００５０】
ステップＳ５では、全ての小ブロックＳＢについての総合水平直線パワー比Ｒを求める。例えば、以下の式（４）に示すように、各小ブロックＳＢの水平直線成分パワー比Ｒ（ｍ）の平均を総合水平直線パワー比Ｒとすることができる。ここで、式（４）において、ｍは小ブロックの番号を示し、Ｍは小ブロック数を示す。
【００５１】
【数４】
なお、各小ブロックＳＢの水平直線成分パワー比Ｒ（ｍ）の平均に限定されるものではなく、以下の式（５）に示すように、単純に各小ブロックＳＢの水平直線成分パワー比Ｒ（ｍ）の総和を総合水平直線パワー比Ｒとしてもよい。
【００５３】
【数５】
そしてステップＳ６では、総合水平直線成分パワー比Ｒを特徴量として用いて、音声・音楽の識別を行う。一般に、典型的な音楽ではスペクトルピークが持続するため、この総合水平直線成分パワー比Ｒは大きな値となり、音声では小さい値になる。識別の手法は本発明では限定しないが、最も単純な方法としては、総合水平直線成分パワー比Ｒを閾値Ｔｈと比較し、総合水平直線成分パワー比Ｒが閾値Ｔｈ以上であれば音楽と判別し、閾値Ｔｈ未満であれば音声と判別することが挙げられる。
【００５５】
また、音声、音楽それぞれに対して総合水平直線成分パワー比Ｒの分布を正規分布モデルによって表現し、事後確率の大きい方に判別するといったベイズ決定則などの統計的判別法を用いてもよい。また、この総合水平直線成分パワー比Ｒを他の特徴量と組み合わせて総合的に判別してもよい。
【００５６】
以上説明したように、本実施の形態における情報識別装置１によれば、入力音声信号のスペクトログラムにおける水平直線成分に相当する周波数成分を取り出し、その全体に対するパワー比を特徴量として用いているため、スペクトルにおける特定帯域のピーク持続性を効果的に表現することができ、音声・音楽を高精度に識別することができる。
【００５７】
また、スペクトログラムを予め小ブロックＳＢに分割し、小ブロックＳＢ毎に上述の水平直線成分パワー比Ｒ（ｍ）を求めてから、全小ブロックＳＢにおける総合水平直線成分パワー比Ｒを求めているため、ピーク持続性の分析性能が向上する。
【００５８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００５９】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００６０】
【発明の効果】
以上詳細に説明したように本発明に係る情報識別装置は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別装置において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算手段と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出手段と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算手段と、上記パワー比計算手段によって求められたパワー比に基づいて、音声か音楽かを識別する識別手段とを備える。
【００６１】
ここで、本情報識別装置は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割手段を備えていてもよく、この場合、上記水平直流成分抽出手段は、上記小ブロック毎に上記水平直流成分を抽出し、上記パワー比計算手段は、上記小ブロック毎に上記パワー比を求める。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算手段を備えることもでき、この場合、上記識別手段は、上記総合パワー比計算手段によって求められた総合パワー比に基づいて、音声か音楽かを識別する。
【００６２】
このような情報識別装置によれば、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いることで、スペクトルにおける特定帯域のピーク持続性を効果的に表現することができ、音声・音楽を高精度に識別することができる。
【００６３】
また、本発明に係る情報識別方法は、音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別方法において、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算工程と、上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出工程と、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算工程と、上記パワー比計算工程にて求められたパワー比に基づいて、音声か音楽かを識別する識別工程とを有する。
【００６４】
ここで、本情報識別方法は、上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割工程を有していてもよく、この場合、上記成分抽出工程では、上記小ブロック毎に上記水平直流成分が抽出され、上記パワー比計算工程では、上記小ブロック毎に上記パワー比が求められる。また、上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算工程を有してもよく、この場合、上記識別工程では、上記総合パワー比計算工程にて求められた総合パワー比に基づいて、音声か音楽かが識別される。
【００６５】
このような情報識別方法によれば、音楽のスペクトルピークが時間方向に安定して持続するという特徴に基づいて音声と音楽とを識別する際に、入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求め、このスペクトログラムを画像と見なしたときの水平直流成分のパワーが当該スペクトログラムの全領域のパワーに占める割合を特徴量として用いることで、スペクトルにおける特定帯域のピーク持続性を効果的に表現することができ、音声・音楽を高精度に識別することができる。
【００６６】
また、本発明に係るプログラムは、上述した情報識別処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００６７】
このようなプログラム及び記録媒体によれば、上述した情報識別処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】スペクトログラムの典型例を概念的に説明する図であり、同図（Ａ）は、音楽のスペクトログラムを示し、同図（Ｂ）は、音声のスペクトログラムを示す。
【図２】スペクトログラム画像を２次元スペクトルに変換した２次元周波数領域を示す図である。
【図３】スペクトログラム画像を複数の小ブロックに分割した様子を示す図である。
【図４】本実施の形態における情報識別装置の概略構成を説明する図である。
【図５】同情報識別装置の動作を説明するフローチャートである。
【符号の説明】
１ 情報識別装置、１０ 音声信号入力部、１１ スペクトログラム計算部、１２ スペクトログラム分割部、１３ 水平直線周波数成分抽出部、１４ 水平直線パワー比計算部、１５ 総合パワー比計算部、１６ 音声・音楽識別部、１７ 識別結果出力部
Claims (10)
- 音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別装置において、
入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算手段と、
上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出手段と、
上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算手段と、
上記パワー比計算手段によって求められたパワー比に基づいて、音声か音楽かを識別する識別手段と
を備えることを特徴とする情報識別装置。 - 上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割手段を備え、
上記水平直流成分抽出手段は、上記小ブロック毎に上記水平直流成分を抽出し、
上記パワー比計算手段は、上記小ブロック毎に上記パワー比を求めること
を特徴とする請求項１記載の情報識別装置。 - 上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算手段を備え、
上記識別手段は、上記総合パワー比計算手段によって求められた総合パワー比に基づいて、音声か音楽かを識別すること
を特徴とする請求項２記載の情報識別装置。 - 上記成分抽出手段は、上記スペクトログラムを２次元フーリエ変換して２次元スペクトルを求め、そのスペクトル領域において上記水平直流成分を抽出し、
上記パワー比計算手段は、上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めることで、上記パワー比を計算すること
を特徴とする請求項１記載の情報識別装置。 - 上記成分抽出手段は、上記スペクトログラムに所定の２次元フィルタを適用して上記水平直流成分を抽出し、
上記パワー比計算手段は、上記水平直流成分のパワーがフィルタ処理を施さない原信号の時間領域におけるパワーに占める割合を求めることで、上記パワー比を計算すること
を特徴とする請求項１記載の情報識別装置。 - 音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別方法において、
入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算工程と、
上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出工程と、
上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算工程と、
上記パワー比計算工程にて求められたパワー比に基づいて、音声か音楽かを識別する識別工程と
を有することを特徴とする情報識別方法。 - 上記スペクトログラムの一部を複数の小ブロックに分割するスペクトログラム分割工程を有し、
上記成分抽出工程では、上記小ブロック毎に上記水平直流成分が抽出され、
上記パワー比計算工程では、上記小ブロック毎に上記パワー比が求められること
を特徴とする請求項６記載の情報識別方法。 - 上記小ブロック毎に求められた上記パワー比に基づいて、全小ブロックにおける総合的なパワー比を求める総合パワー比計算工程を有し、
上記識別工程では、上記総合パワー比計算工程にて求められた総合パワー比に基づいて、音声か音楽かが識別されること
を特徴とする請求項７記載の情報識別方法。 - 音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別処理をコンピュータに実行させるプログラムにおいて、
入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算工程と、
上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出工程と、
上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算工程と、
上記パワー比計算工程にて求められたパワー比に基づいて、音声か音楽かを識別する識別工程と
を有することを特徴とするプログラム。 - 音声信号を含む情報源から所定の時間区間毎に音声か音楽かを識別する情報識別処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
入力音声信号を所定のブロック単位で周波数分析し、所定の識別区間毎に、縦軸及び横軸がそれぞれ周波数及び時間であるスペクトログラムを求めるスペクトログラム計算工程と、
上記スペクトログラムを画像と見なしたときの水平直流成分を抽出する水平直流成分抽出工程と、
上記水平直流成分のパワーが上記スペクトログラムの全領域のパワーに占める割合を求めるパワー比計算工程と、
上記パワー比計算工程にて求められたパワー比に基づいて、音声か音楽かを識別する識別工程と
を有することを特徴とするプログラムが記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002286836A JP4099576B2 (ja) | 2002-09-30 | 2002-09-30 | 情報識別装置及び方法、並びにプログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002286836A JP4099576B2 (ja) | 2002-09-30 | 2002-09-30 | 情報識別装置及び方法、並びにプログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004125944A true JP2004125944A (ja) | 2004-04-22 |
| JP4099576B2 JP4099576B2 (ja) | 2008-06-11 |
Family
ID=32279805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002286836A Expired - Fee Related JP4099576B2 (ja) | 2002-09-30 | 2002-09-30 | 情報識別装置及び方法、並びにプログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4099576B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006017940A (ja) * | 2004-06-30 | 2006-01-19 | Sony Corp | 音響信号処理装置及び音声度合算出方法 |
| JP2008064821A (ja) * | 2006-09-05 | 2008-03-21 | Nippon Telegr & Teleph Corp <Ntt> | 信号区間推定装置、方法、プログラム及びその記録媒体 |
| JP2008310138A (ja) * | 2007-06-15 | 2008-12-25 | Toshiba Corp | シーン分類装置 |
| JP2009058970A (ja) * | 2006-10-20 | 2009-03-19 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP4439579B1 (ja) * | 2008-12-24 | 2010-03-24 | 株式会社東芝 | 音質補正装置、音質補正方法及び音質補正用プログラム |
| US7756704B2 (en) | 2008-07-03 | 2010-07-13 | Kabushiki Kaisha Toshiba | Voice/music determining apparatus and method |
| US7844452B2 (en) | 2008-05-30 | 2010-11-30 | Kabushiki Kaisha Toshiba | Sound quality control apparatus, sound quality control method, and sound quality control program |
| US7856354B2 (en) | 2008-05-30 | 2010-12-21 | Kabushiki Kaisha Toshiba | Voice/music determining apparatus, voice/music determination method, and voice/music determination program |
| US7910820B2 (en) | 2006-10-20 | 2011-03-22 | Sony Corporation | Information processing apparatus and method, program, and record medium |
| JP2012083746A (ja) * | 2010-09-17 | 2012-04-26 | Kinki Univ | 音処理装置 |
| WO2013030862A1 (ja) * | 2011-08-26 | 2013-03-07 | パイオニア株式会社 | 表示装置、表示方法、およびプログラム |
| JP2013068975A (ja) * | 2013-01-21 | 2013-04-18 | Yamaha Corp | 楽曲処理装置、およびプログラム |
| JP2018206427A (ja) * | 2013-09-06 | 2018-12-27 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法 |
-
2002
- 2002-09-30 JP JP2002286836A patent/JP4099576B2/ja not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4552533B2 (ja) * | 2004-06-30 | 2010-09-29 | ソニー株式会社 | 音響信号処理装置及び音声度合算出方法 |
| JP2006017940A (ja) * | 2004-06-30 | 2006-01-19 | Sony Corp | 音響信号処理装置及び音声度合算出方法 |
| JP2008064821A (ja) * | 2006-09-05 | 2008-03-21 | Nippon Telegr & Teleph Corp <Ntt> | 信号区間推定装置、方法、プログラム及びその記録媒体 |
| JP4690973B2 (ja) * | 2006-09-05 | 2011-06-01 | 日本電信電話株式会社 | 信号区間推定装置、方法、プログラム及びその記録媒体 |
| JP2009058970A (ja) * | 2006-10-20 | 2009-03-19 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| US7910820B2 (en) | 2006-10-20 | 2011-03-22 | Sony Corporation | Information processing apparatus and method, program, and record medium |
| JP2008310138A (ja) * | 2007-06-15 | 2008-12-25 | Toshiba Corp | シーン分類装置 |
| US7844452B2 (en) | 2008-05-30 | 2010-11-30 | Kabushiki Kaisha Toshiba | Sound quality control apparatus, sound quality control method, and sound quality control program |
| US7856354B2 (en) | 2008-05-30 | 2010-12-21 | Kabushiki Kaisha Toshiba | Voice/music determining apparatus, voice/music determination method, and voice/music determination program |
| US7756704B2 (en) | 2008-07-03 | 2010-07-13 | Kabushiki Kaisha Toshiba | Voice/music determining apparatus and method |
| US7864967B2 (en) | 2008-12-24 | 2011-01-04 | Kabushiki Kaisha Toshiba | Sound quality correction apparatus, sound quality correction method and program for sound quality correction |
| JP2010152015A (ja) * | 2008-12-24 | 2010-07-08 | Toshiba Corp | 音質補正装置、音質補正方法及び音質補正用プログラム |
| JP4439579B1 (ja) * | 2008-12-24 | 2010-03-24 | 株式会社東芝 | 音質補正装置、音質補正方法及び音質補正用プログラム |
| JP2012083746A (ja) * | 2010-09-17 | 2012-04-26 | Kinki Univ | 音処理装置 |
| WO2013030862A1 (ja) * | 2011-08-26 | 2013-03-07 | パイオニア株式会社 | 表示装置、表示方法、およびプログラム |
| JPWO2013030862A1 (ja) * | 2011-08-26 | 2015-03-23 | パイオニア株式会社 | 表示装置、表示方法、およびプログラム |
| JP2013068975A (ja) * | 2013-01-21 | 2013-04-18 | Yamaha Corp | 楽曲処理装置、およびプログラム |
| JP2018206427A (ja) * | 2013-09-06 | 2018-12-27 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4099576B2 (ja) | 2008-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101269296B1 (ko) | 모노포닉 오디오 신호로부터 오디오 소스를 분리하는 뉴럴네트워크 분류기 | |
| US9830896B2 (en) | Audio processing method and audio processing apparatus, and training method | |
| Zhang et al. | Heuristic approach for generic audio data segmentation and annotation | |
| EP2560167B1 (en) | Method and apparatus for performing song detection in audio signal | |
| US20060140413A1 (en) | Method and apparatus for classifying signals, method and apparatus for generating descriptors and method and apparatus for retrieving signals | |
| US6881889B2 (en) | Generating a music snippet | |
| JP4572218B2 (ja) | 音楽区間検出方法、音楽区間検出装置、音楽区間検出プログラム及び記録媒体 | |
| JP4348970B2 (ja) | 情報検出装置及び方法、並びにプログラム | |
| JP4099576B2 (ja) | 情報識別装置及び方法、並びにプログラム及び記録媒体 | |
| Ghosal et al. | Song/instrumental classification using spectrogram based contextual features | |
| JP4201204B2 (ja) | オーディオ情報分類装置 | |
| JP3607450B2 (ja) | オーディオ情報分類装置 | |
| Valero et al. | Narrow-band autocorrelation function features for the automatic recognition of acoustic environments | |
| JPH10187182A (ja) | 映像分類方法および装置 | |
| JP2008186033A (ja) | オーディオ情報分類装置 | |
| Sengupta et al. | Classification of male and female speech using perceptual features | |
| Lee et al. | Detecting music in ambient audio by long-window autocorrelation | |
| JP2004102023A (ja) | 特定音響信号検出方法、信号検出装置、信号検出プログラム及び記録媒体 | |
| JP2002062892A (ja) | 音響分類装置 | |
| Peiris et al. | Musical genre classification of recorded songs based on music structure similarity | |
| Peiris et al. | Supervised learning approach for classification of Sri Lankan music based on music structure similarity | |
| Zhang et al. | A two phase method for general audio segmentation | |
| Kos et al. | On-line speech/music segmentation for broadcast news domain | |
| Joshi et al. | Extraction of feature vectors for analysis of musical instruments | |
| Lin et al. | A new approach for classification of generic audio data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080303 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |