JP2014016423A - 音楽検出通知装置、方法、及びプログラム - Google Patents

Abstract

【課題】入力された音響信号に音楽が含まれているか否かをリアルタイムで知る。
【解決手段】音響特徴抽出部２２が、音響信号バッファ２０からデジタル音響信号を取得し、短時間フレーム毎にフレーム音響特徴値を抽出し、フレーム評価値算出部２４が、フレーム音響特徴値に基づいて、短時間フレーム毎に音響信号に音楽が含まれるか否かを示すフレーム評価値を算出し、通知判断部２８が、現フレームを含む過去の所定フレーム分のフレーム評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを示す通知有無評価値を算出し、算出した通知有無評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを、短時間フレーム毎に判断し、通知制御部３０が、通知判断部２８の判断結果が音響信号に音楽が含まれていることを通知することを示すものであった場合に、その判断結果が外部に通知されるように通知装置１４を制御する。
【選択図】図１

Description

本発明は、音楽検出通知装置、方法、及びプログラムに係り、特に、入力された音響信号に音楽が含まれているか否かを判断し、通知する音楽検出通知装置、方法、及びプログラムに関する。

入力された音響信号に音楽が含まれるか否かを検出する方法として、音響信号から短時間フレーム毎に音響特徴ベクトル列を抽出し、その音響ベクトル列に基づいて、短時間フレーム毎に音楽を含むか否かを示す音楽情報評価値を算出する音楽区間検出方法が提案されている（例えば、特許文献１参照）。

また、音に反応して動く玩具など、何らかの音が検出された場合に、音が検出されたことを示す動作を行う装置が知られている。

特開２００９−８８３６号公報

しかしながら、特許文献１に記載の方法は、著作権管理や分類などを目的として、オフラインで音響信号を処理するものであり、リアルタイムに音響信号に音楽が含まれているか否かを知ることができない、という問題がある。

また、音に反応して動く玩具などは、音楽だけではなく、音一般に反応してしまうため、会話や背景音なども含む音響信号に音楽が含まれているか否かを知ることができない、という問題がある。

本発明は上記事情に鑑みてなされたものであり、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる音楽検出通知装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の音楽検出通知装置は、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出する音響特徴抽出手段と、前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出するフレーム評価値算出手段と、前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断する通知判断手段と、前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する通知制御手段と、を含んで構成されている。

本発明の音楽検出通知装置によれば、音響特徴抽出手段が、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出し、フレーム評価値算出手段が、抽出手段により抽出された音響特徴に基づいて、短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出する。そして、通知判断手段が、フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを、短時間フレーム毎に判断し、通知制御手段が、通知判断手段により音響信号に音楽が含まれていることを通知すると判断された場合に、音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する。

このように、音響信号に音楽が含まれていると判断された場合に、その旨が外部に通知されるため、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる。

また、本発明の音楽検出通知方法は、音響特徴抽出手段が、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出し、フレーム評価値算出手段が、前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出し、通知判断手段が、前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断し、通知制御手段が、前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する方法である。

また、本発明の音楽検出通知プログラムは、コンピュータを、上記の音楽検出通知装置を構成する各手段として機能させるためプログラムである。

以上説明したように、本発明の音楽検出通知装置、方法、及びプログラムによれば、音響信号に音楽が含まれていると判断された場合に、その旨が外部に通知されるため、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる、という効果が得られる。

本実施の形態に係る音楽検出通知装置の機能的構成を示すブロック図である。 本実施の形態に係る音楽検出通知装置における音楽検出通知処理ルーチンの内容を示すフローチャートである。 各部の処理の概要を示す説明図である。 通知判断部の処理の概要を示す説明図である。 本実施の形態に係る音楽検出通知装置を携帯端末に搭載した場合の一例を示すイメージ図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

本実施の形態に係る音楽検出通知装置１０は、図１に示すように、音響信号が入力される入力装置１２と、音響信号に音楽が含まれていることを通知する通知装置１４と、音響信号に音楽が含まれるか否かを判断して通知装置１４を制御するコンピュータ１６とで構成されている。

入力装置１２は、例えば、マイクロホンで構成することができ、周辺の音を集音し、集音した音をアナログ信号に変換し、アナログ信号を所定のサンプリング周波数でサンプリングしたデジタル音響信号に変換して出力する。なお、入力装置１２からはアナログ音響信号を出力し、コンピュータ１６において、アナログ音響信号を取得してデジタル音響信号に変換するようにしてもよい。

通知装置１４は、例えば、ディスプレイ、照明装置、振動装置等で構成することができる。コンピュータ１６により、音響信号に音楽が含まれていることを通知すると判断された場合には、例えば、その旨をディスプレイに表示したり、照明装置を点滅させたり、振動装置を振動させたりすることにより、通知する。

コンピュータ１６は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する音楽検出通知処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えている。このコンピュータは、機能的には、図１に示すように、音響信号バッファ２０と、音響特徴抽出部２２と、フレーム評価値算出部２４と、フレーム評価値バッファ２６と、通知判断部２８と、通知制御部３０とを含んだ構成で表すことができる。

音響信号バッファ２０には、入力装置１２から出力されて、コンピュータ１６に入力されたデジタル音響信号が格納される。

音響特徴抽出部２２は、音響信号バッファ２０からデジタル音響信号を取得し、例えば１００ｍｓｅｃなどの短時間フレーム毎に１つまたは複数の音響特徴（フレーム音響特徴値）を抽出し、フレーム評価値算出部２４に受け渡す。

フレーム評価値算出部２４は、音響特徴抽出部２２から受け取ったフレーム音響特徴値に基づいて、短時間フレーム毎に音響信号に音楽が含まれるか否かを示すフレーム評価値を算出し、フレーム評価値バッファ２６に格納する。

通知判断部２８は、フレーム評価値バッファ２６から、現フレームを含む過去の所定フレーム分のフレーム評価値を取得し、これらのフレーム評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを示す通知有無評価値を算出する。また、通知判断部２８は、算出した通知有無評価値に基づいて、音響信号に音楽が含まれていることを通知するか否かを、短時間フレーム毎に判断し、判断結果を通知制御部３０に受け渡す。

通知制御部３０は、通知判断部２８から受け取った判断結果が、音響信号に音楽が含まれていることを通知することを示すものであった場合に、その判断結果が外部に通知されるように通知装置１４を制御する。

次に、本実施の形態の音楽検出通知装置１０の作用について説明する。入力装置１２からコンピュータ１６へ音響信号が入力されると、コンピュータ１６において、ＣＰＵが図２に示す音楽検出通知処理ルーチンを実行するためのプログラムを読み出して実行する。各部の処理の概要を示す図３及び図４も参照して、音楽検出処理ルーチンについて説明する。

ステップ１００で、音響特徴抽出部２２は、音響信号バッファ２０から１フレーム分のデジタル音響信号を取得する。例えば、図３（Ａ）に示すように、幅Ｗの短時間フレームを、前回ルーチンにおける処理対象フレームからフレームシフト幅（Ｌサンプル）分シフトさせて設定し、設定した短時間フレーム内のＷ点のサンプルを取得する。Ｌの値は、サンプリング周波数とフレームの幅（秒）の関係により決定する。例えば、サンプリング周波数が４４，１００Ｈｚ、フレームの幅（秒）を約１００ミリ秒としたい場合、Ｌ＝４，４１０などとすればよい。なお、図３の例では、Ｌ＜Ｗの場合を示しているが、例えばＷ＝Ｌ、Ｌ＞Ｗなどとしてもよい。

次に、ステップ１０２で、音響特徴抽出部２２は、上記ステップ１００で取得したデジタル音響信号の１フレーム分のサンプルを用いて、図３（Ｂ）に示すように、Ｎ個のフレーム音響特徴値（ｙ^ｊ _ｉ：ｉはフレーム番号、ｊは音響特徴の番号）を抽出する。フレーム音響特徴値としては、音響信号処理で一般的に用いられる特徴値を用いることができ、例えば、短時間フーリエ変換などに基づいて算出されるパワースペクトル、メル周波数ケプストラム係数、ケプストラム係数、対数周波数上に等間隔の中心周波数を持つバンドパスフィルタバンク等を用いることができる。Ｎの値は、例えば、パワースペクトルを用いる場合には、Ｎ＝２５６、５１２、１０２４程度、メル周波数ケプストラム係数、ケプストラム係数、対数周波数上に等間隔の中心周波数を持つバンドパスフィルタバンクを用いる場合には、Ｎ＝２０〜８０程度とすることができる。

次に、ステップ１０４で、フレーム評価値算出部２４は、上記ステップ１０２で抽出された第ｉフレームのフレーム音響特徴値ｙ^ｊ _ｉに基づいて、図３（Ｃ）に示すように、第ｉフレームが音楽を含むか否かを示す評価値であるフレーム評価値ｚ_ｉを算出する。フレーム評価値ｚ_ｉは、第ｉフレームが音楽を含む度合いに関する評価値を表しており、値が大きければ大きいほど、音楽を含む可能性が高いことを示している。フレーム評価値ｚ_ｉを算出する方法としては、例えば、特許文献１における音楽フレーム評価値算出手段などの方法を用いることができる。具体的には、フレーム音響特徴値（ｙ^ｊ _ｉ，ｊ＝１，・・・，Ｎ）を用いた多項式識別関数を計算し、その識別関数が閾値以上の場合には、音楽を含むことを示す値としてｚ_ｉ＝１、識別関数が閾値未満の場合には、音楽を含まないことを示す値としてｚ_ｉ＝０という２値とすることができる。また、フレーム評価値ｚ_ｉを、第ｉフレームに音楽が含まれる確信度（例えば、上記の識別関数）を表す多値または連続値としてもよい。フレーム評価値算出部２４は、算出したフレーム評価値ｚ_ｉをフレーム評価値バッファ２６に格納する。

次に、ステップ１０６で、通知判断部２８は、フレーム評価値バッファ２６に格納されたフレーム評価値を取得して、図３（Ｄ）に示すように、第ｉフレームに音楽が含まれていることを通知するか否かを示す通知有無評価値ｓ_ｉを算出する。

ここで、対応するフレーム評価値ｚ_ｉのみから通知有無評価値ｓ_ｉを算出して、第ｉフレームの通知の有無を判断すると、音楽一般に存在する微小な無音部に敏感に反応し、一連の音楽が続いているのにもかかわらず、フレーム毎に断続的に通知が行われてしまう、という問題が発生してしまう。

そこで、通知判断部２８は、図４に示すように、第ｉフレームを含む過去ｎフレーム分のフレーム評価値（ｚ_{ｉ−ｎ＋１}，・・・，ｚ_ｉ）に基づいて、第ｉフレームの通知有無評価値ｓ_ｉを算出する。例えば、図４に示すように、窓関数ａ_ｋ（ｋ＝１，２，・・・，ｎ） を導入し、下記（１）式により判定値ｕ_ｉを算出する。そして、下記（２）式に従い、閾値Θを用いて、通知有無評価値ｓ_ｉを算出することができる。

窓関数ａ_ｋ及び閾値Θの値は、窓関数を図４で示すような一次関数を利用し、例えば、ａ_ｋ＝２ｋ／ｎ（ｎ＋１）、Θ＝０．４〜０．６などとすることができる。なお、（２）式では、通知有無評価値ｓ_ｉを、通知することを示す値としてｓ_ｉ＝１、通知しないことを示す値としてｓ_ｉ＝０という２値とする場合を示しているが、通知有無評価値ｓ_ｉを連続値または多値とすることもできる。この場合は、ｓ_ｉ＝ｕ_ｉとしたり、ｕ_ｉを量子化してｓ_ｉとしたりすることができる。

次に、ステップ１０８で、通知判断部２８は、上記ステップ１０６で算出された通知有無評価値ｓ_ｉが１か否かを判定する。ｓ_ｉ＝１の場合には、通知をする場合であるため、ステップ１１０へ移行して、通知制御部３０が、第ｉフレームに音楽が含まれていることが外部に通知されるように通知装置１４を制御する。例えば、ディスプレイに音楽が検出されたことを示すサインを表示したり、ＬＥＤ等の照明装置を点滅させたり、振動装置を振動させたりする。なお、通知有無評価値ｓ_ｉを多値または連続値とした場合であって、通知装置１４の強さ（照明の明るさ、ディスプレイの明るさ、ディスプレイに表示されるサイン大きさや色、振動の強さなど）を連続的または多段階的に変化させることができる場合には、通知制御部３０は、多値または連続値の通知有無評価値ｓ_ｉに応じて、通知装置１４の強さを調節してもよい。

図５に、本実施の形態の音楽検出通知装置１０をスマートフォン等の携帯端末に実装した場合の例を示す。音楽検出通知装置１０は、携帯端末自体が備えるマイクロホンを入力装置１２として用い、携帯端末自体が備えるディスプレイ及び振動装置を通知装置１４として用いる。また、携帯端末自体が備えるＣＰＵ、ＲＯＭ、ＲＡＭ等を、コンピュータ１６を構成する各部として機能させる。マイクロホンで集音された音響信号に音楽が含まれていない場合には、同図（Ａ）に示すように、通知は行われない。音響信号に音楽が含まれていることが検出された場合には、同図（Ｂ）に示すように、ディスプレイに音楽が検出されたことを示すサインを表示するか、振動装置を振動させることで、または、サインを表示すると共に振動装置を振動させることで、ユーザに音響信号に音楽が含まれていることを通知する。

以上説明したように、本実施の形態の音楽検出通知装置によれば、音響信号に音楽が含まれていると判断された場合に、通知装置を制御して外部にその旨を通知するため、入力された音響信号に音楽が含まれているか否かをリアルタイムで知ることができる。また、通知の有無を判断する際に、過去の所定フレーム数分のフレーム評価値を用いて判断するため、音響信号に継続的に音楽が含まれているにもかかわらず、通知が断続的になってしまうことを防止することができる。

本実施の形態の音楽検出装置は、日常生活の様々な場面に適用することができる。例えば、鉄道駅等における列車の発着時、横断歩道における交通信号等でサインとして使われている音楽を検出し、聴力に障害を持った人や耳栓をしている健常者などに対し、その音楽によるサインの存在を通知することができる。

また、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 音楽検出通知装置
１２ 入力装置
１４ 通知装置
１６ コンピュータ
２０ 音響信号バッファ
２２ 音響特徴抽出部
２４ フレーム評価値算出部
２６ フレーム評価値バッファ
２８ 通知判断部
３０ 通知制御部

Claims (3)

1. 入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出する音響特徴抽出手段と、
   前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出するフレーム評価値算出手段と、
   前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断する通知判断手段と、
   前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する通知制御手段と、
   を含む音楽検出通知装置。
2. 音響特徴抽出手段が、入力された音響信号に対して短時間フレームを設定し、各短時間フレームに含まれる音響特徴を抽出し、
   フレーム評価値算出手段が、前記抽出手段により抽出された音響特徴に基づいて、前記短時間フレーム毎に音楽が含まれるか否かを示すフレーム評価値を算出し、
   通知判断手段が、前記フレーム評価値算出手段により算出された現フレームを含む過去の所定フレーム分のフレーム評価値から算出される通知の有無を示す通知有無評価値に基づいて、前記音響信号に音楽が含まれていることを通知するか否かを、前記短時間フレーム毎に判断し、
   通知制御手段が、前記通知判断手段により前記音響信号に音楽が含まれていることを通知すると判断された場合に、前記音響信号に音楽が含まれていることが外部に通知されるように通知手段を制御する
   音楽検出通知方法。
3. コンピュータを、請求項１記載の音楽検出通知装置を構成する各手段として機能させるため音楽検出通知プログラム。