JP2008039984A

JP2008039984A - ビブラート検出装置

Info

Publication number: JP2008039984A
Application number: JP2006212124A
Authority: JP
Inventors: Tatsuya Iriyama; 達也入山
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2006-08-03
Filing date: 2006-08-03
Publication date: 2008-02-21

Abstract

【課題】リバーブのかかった歌唱音声（又は演奏音）からビブラート技法が用いられている区間を検出する。
【解決手段】制御部１１は、お手本音声データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成する。次いで、制御部１１は、生成したピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施す。次いで、制御部１１は、メロディピッチデータのノート（音符）毎に、メロディピッチデータの表すピッチをゼロ基準値として、フィルタ処理が施されたピッチデータの表すピッチがゼロクロスする箇所を抽出する。次いで、制御部１１は、抽出されたゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔とその直前又は直後の時間間隔との差値が予め定められた範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を、ビブラート技法が用いられている区間であると特定する。
【選択図】図１

Description

本発明は、ビブラート検出装置に関する。

カラオケ装置においては、歌唱者の歌唱の巧拙を採点したり、歌唱の指導内容を表すメッセージを表示して歌唱指導を行ったりする装置が提案されている。このような装置において、例えば、ビブラート技法について採点や指導を行う場合には、まず、お手本となる音声からビブラート技法が用いられている区間を検出し、その区間について採点や指導を行う方法が考えられる。ビブラート技法が用いられている区間を検出する方法として、例えば、特許文献１には、入力データのピッチが振動する区間をビブラート区間として検出する方法が提案されている。
特開２００４−２０９６３５号公報

ところで、お手本となる歌唱音声をスタジオで収録する場合などは、リバーブ（残響）のかかった歌唱音声となる場合がある。リバーブのかかった音声は、同形状の波形が時間的にずれて重ね合わさったものであり、そのピッチの変化は変則的なものとなるから、従来の技術では、リバーブのかかった歌唱音声からビブラートを正しく検出することは困難であった。これは楽器の演奏音についても同様である。
本発明は上述した背景の下になされたものであり、リバーブのかかった歌唱音声（又は演奏音）であっても、ビブラート技法が用いられている区間を検出することのできる技術を提供することを目的とする。

本発明の好適な態様であるビブラート検出装置は、メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、歌唱音声又は演奏音を表す音声データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値として、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータの表すピッチの変化が、負から正又は正から負に変化する箇所をゼロクロス箇所として抽出するゼロクロス箇所抽出手段と、前記ゼロクロス箇所抽出手段により抽出されたゼロクロス箇所が所定の態様になっている区間を特定する特定手段と、前記特定手段により特定された区間を示す情報を出力する出力手段とを備える。
この態様において、前記特定手段は、前記ゼロクロス箇所抽出手段により抽出されたゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔とその直前又は直後の時間間隔との差値が予め定められた範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を特定してもよい。

本発明によれば、リバーブのかかった歌唱音声（又は演奏音）であっても、ビブラート技法が用いられている区間を検出することができる。

以下、図面を参照して、本発明の実施形態について説明する。
＜Ａ：構成＞
図１は、本実施形態であるカラオケ装置１のハードウェア構成の一例を示すブロック図である。カラオケ装置１は、お手本となる歌唱音声（以下、「お手本音声」）に基づいて、歌唱を練習する者（以下、「練習者」）に歌唱の指導内容を報知する機能を備えている。また、カラオケ装置１は、お手本音声又は練習者の歌唱音声からビブラートを検出するビブラート検出装置として機能する。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、カラオケ装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶表示パネルを備え、制御部１１による制御のもとに各種の画像を表示する表示手段である。操作部１４は、各種キーを備える操作手段であり、操作者による操作に応じた操作信号を制御部１１に出力する。マイクロフォン１５は、収音し、収音した音声を表す音声信号（アナログデータ）を出力する収音手段である。音声処理部１６は、マイクロフォン１５が出力する音声信号（アナログデータ）をデジタルデータに変換して制御部１１に出力する。スピーカ１７は、音声処理部１６から出力される音声信号に応じた強度で放音する放音手段である。

記憶部１２は、図示のように、伴奏データ記憶領域１２１と歌詞データ記憶領域１２２とお手本音声データ記憶領域１２３と練習者音声データ記憶領域１２４とビブラート区間データ記憶領域１２５とを備えている。伴奏データ記憶領域１２１には、ＭＩＤＩ（Musical Instruments Digital Interface）形式などのデータ形式の伴奏データであって、各楽曲の伴奏楽音を構成する伴奏データが記憶されている。この伴奏データは、その曲の伴奏を行う各種楽器の音高（ピッチ）を示す情報が楽曲の進行に伴って記されたデータである。また、この伴奏データには、楽曲のガイドメロディのノート（音符）毎のピッチを示すメロディピッチデータが含まれている。歌詞データ記憶領域１２２には、楽曲の歌詞を示す歌詞データが記憶されている。歌詞データは、カラオケ歌唱の際に歌詞テロップとして表示部１３に表示される。

お手本音声データ記憶領域１２３には、歌唱のお手本として予め収録されたお手本音声データを表すお手本音声データが記憶されている。お手本音声データは、ＷＡＶＥ形式やＭＰ３（MPEG1 Audio Layer-3）形式などのデータ形式である。このお手本音声データの表す音声は、スタジオで収録した等の理由によりリバーブのかかった音声であったり、リバーブ処理が施された音声である場合がある。練習者音声データ記憶領域１２４には、マイクロフォン１５によって収音されて音声処理部１６でデジタルデータに変換される音声データ（以下、「練習者音声データ」という）が記憶される。この練習者音声データも、ＷＡＶＥ形式やＭＰ３形式などのデータ形式である。

ビブラート区間データ記憶領域１２５には、お手本音声において、音の高さをほんのわずかに上下させ震えるような音色を出す、いわゆる「ビブラート」の技法が用いられている区間を示すデータ（以下、「ビブラート区間データ」）が記憶される。このビブラート区間データは制御部１１によって生成されるデータである。

＜Ｂ：実施形態の動作＞
次に、この実施形態の動作について説明する。なお、以下の説明においては、カラオケ装置１の制御部１１が、お手本音声からビブラート技法が用いられている区間を抽出し、抽出した区間を練習者に報知する動作について説明する。
練習者がカラオケ装置１の操作部１４を操作して楽曲を選択すると、選択内容を示す操作信号が操作部１４から制御部１１に出力される。制御部１１は、操作部１４から供給される操作信号に応じて、楽曲を選択し、選択した楽曲について、図２のフローチャートに示す処理を行う。

図２は、制御部１１が行う処理の流れを示すフローチャートである。まず、制御部１１は、選択した楽曲に対応するお手本音声データを、お手本音声データ記憶領域１２３から読み出し、読み出したお手本音声データから、所定時間長（例えば、「３msec」）のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成する（ステップＳ１）。次いで、制御部１１は、生成したピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施す（ステップＳ２）。この実施形態においては、制御部１１は、ピッチデータに対して、特定の範囲内の周波数成分を抽出するバンドパスフィルタをかける処理を行う。

図３は、あるノート（音符）におけるピッチデータの内容の一例を示す図である。図において、横軸は時刻を示し、縦軸はピッチの高低を示している。図３に示す例においては、伴奏データ記憶領域１２１に記憶された伴奏データに含まれるメロディピッチデータに含まれるノートのピッチをゼロ基準値とした場合の、ピッチデータの表すピッチの値が示されている。図において、曲線Ａ１は、メロディピッチデータのピッチをゼロ基準値とした場合の、お手本音声データからピッチを検出することによって生成されたピッチデータ（以下、「オリジナルピッチデータ」）の波形を示している。一方、曲線Ａ２は、メロディピッチデータのピッチをゼロ基準値とした場合の、バンドパスフィルタがかけられたピッチデータ（以下、「フィルタピッチデータ」）の波形を示している。曲線Ａ１に示されるように、フィルタをかける前のピッチデータは、ビブラートがかかっている区間であっても、波形に乱れがある。

図２の説明に戻る。制御部１１は、伴奏データ記憶領域１２１に記憶された伴奏データに含まれるメロディピッチデータのノート（音符）毎に、メロディピッチデータの表すピッチをゼロ基準値として、ステップＳ２においてバンドパスフィルタをかけたピッチデータ（フィルタピッチデータ）の表すピッチの変化が、負から正又は正から負に変化する（ゼロクロスする）箇所をゼロクロス箇所として特定する（ステップＳ３）。具体的には、例えば、図３に示す例においては、フィルタピッチデータを表す曲線Ａ２がゼロクロスする時刻すなわち、時刻Ｐ１，Ｐ２，Ｐ３，Ｐ４などが、ゼロクロス箇所として特定される。

次いで、制御部１１は、ステップＳ３において抽出したゼロクロス箇所が所定の態様になっている（所定の態様で現れる）区間を、ビブラート技法が用いられている区間として特定する（ステップＳ４）。具体的には、制御部１１は、ゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔とその直前（又は直後）の時間間隔との差値が予め定められた範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を、ビブラート技法が用いられている区間として特定する。この処理によって、ゼロクロス箇所がほぼ等間隔で現れる区間がビブラート区間として特定される。図３に示す例においては、矢印Ａ３によって示される時間区間が、ビブラート技法が用いられている区間として特定される。

次いで、制御部１１は、特定した区間を表すビブラート区間データを、ビブラート区間データ記憶領域１２５に記憶する（ステップＳ５）。次いで、制御部１１は、歌詞テロップを表示部１３に表示させるとともに、カラオケ伴奏を開始する。すなわち、制御部１１は、伴奏データ記憶領域１２１から伴奏データを読み出して音声処理部１６に供給し、音声処理部１６は、伴奏データをアナログデータに変換し、スピーカ１７に供給して放音させる。また、制御部１１は、歌詞データ記憶領域１２２から歌詞データを読み出して歌詞テロップを表示部１３に表示させる。

また、制御部１１は、歌詞テロップを表示部１３に表示させるとともに、ビブラート区間データ記憶領域１２５からビブラート区間データを読み出し、表示部１３に出力して、ビブラート区間データの示す区間を表示部１３に表示させることによって報知する（ステップＳ６）。
図４は、ステップＳ６において表示部１３に表示される画面の一例を示す図である。図示のように、制御部１１は、歌詞テロップＷ１，Ｗ２を表示部１３に表示させるとともに、ビブラート区間データ記憶領域１２５からビブラート区間データを読み出し、区間に対応する歌詞の近傍に、ビブラート技法が用いられていることを示す図形Ｉ１，Ｉ２，Ｉ３を表示部１３に表示させる。

練習者は、スピーカ１７から放音される伴奏にあわせて歌唱を行う。このとき、練習者は、画面を参考にすることで、どの部分（区間）でビブラートの技法が用いられているかを把握することができる。このように、この実施形態においては、どの区間でビブラート技法が用いられているかを練習者に報知することができる。

ところで、リバーブのかかったお手本音声についてピッチを検出した場合には、図３の曲線Ａ１に例示したように、その検出結果は正弦波にならず波形の乱れたものとなる。そのため、リバーブのかかったお手本音声からビブラート技法が用いられている区間を検出することが困難であった。更に、お手本音声にリバーブがかかっているか否かをお手本音声データから判定することも困難であった。しかしながら、この実施形態においては、ピッチの検出結果に対してバンドパスフィルタをかけ、その結果がゼロクロスする箇所を抽出するから、お手本音声にリバーブがかかっている場合であっても、ビブラート技法が用いられている区間を好適に抽出することができる。

なお、この実施形態においては、リバーブのかかったお手本音声からビブラート技法が用いられている区間を特定したが、制御部１１は、リバーブのかかっていないお手本音声からもビブラート技法が用いられている区間を特定することができるのは勿論である。すなわち、この実施形態によれば、お手本音声にリバーブがかかっているか否かに関わらず、また、お手本音声にリバーブがかかっているか否かを判定する必要もなく、お手本音声からビブラート技法が用いられている区間を特定することができる。

＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、カラオケ装置１の制御部１１が、お手本音声からビブラート技法が用いられている区間を抽出し、抽出した区間を練習者に報知する場合について説明した。その他にも、例えば、お手本音声からビブラート技法が用いられている区間を抽出するとともに、練習者の歌唱音声からビブラート技法が用いられている区間（以下、「ビブラート区間」）を抽出し、ビブラートを用いるタイミングや頻度を比較することによって、練習者音声を評価する場合についても、この発明を適用することができる。
また、ビブラート技法が用いられている区間を抽出する装置はカラオケ装置に限らず、例えば、カラオケ用のコンテンツを作成するコンピュータ装置であってもよい。この場合は、カラオケ装置で用いるカラオケ用のコンテンツを作成するコンピュータ装置が、お手本音声からビブラート区間を抽出し、抽出した区間を示すデータを含むコンテンツを作成してもよい。
このように、抽出した区間を示すビブラート区間データの利用方法は様々あり、これをどのように用いるかは設計等に応じて変更可能である。

また、上述した実施形態においては、カラオケ装置１の制御部１１が、お手本音声からビブラート技法が用いられている区間を抽出したが、ビブラート区間を抽出する装置（又は環境）はカラオケ装置に限定されるものではなく、パーソナルコンピュータやサーバ装置、携帯電話端末など、様々な装置（又は環境）で実行することが可能である。

（２）上述した実施形態では、制御部１１は、ゼロクロス箇所の現れる時間間隔を測定し、測定された時間間隔とその直前（又は直後）の時間間隔との差値が予め定められた範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を、ビブラート区間として特定した。ビブラート区間の特定方法はこれに限らず、例えば、制御部１１が、ゼロクロス箇所が現れる時間間隔と予め定められた基準値との差値が所定の範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を、ビブラート区間として特定してもよい。また、これらを組み合わせて、ゼロクロス箇所が現れる時間間隔と予め定められた基準時間間隔との差値が所定の範囲内であり、かつ、その時間間隔と直前又は直後の時間間隔との差値が予め定められた範囲内である区間をビブラート区間として特定してもよい。要するに、ゼロクロス箇所が予め定められた態様になっている区間を特定すればよい。

（３）上述した実施形態においては、カラオケ装置１の制御部１１は、ビブラート区間を抽出し、抽出した区間を示す情報（ビブラート区間データ）を、表示部１３に出力した。抽出した区間を示す情報の出力先は、表示部１３に限定されるものではなく、例えば、スピーカ１７に出力し、スピーカ１７から区間を示す音声メッセージや警告音を放音させてもよい。または、通信ネットワークを介して他のコンピュータ装置に送信（出力）してもよく、または、単に記憶部に記憶させることによって出力してもよい。要するに、抽出した区間を示す情報を出力する態様であればどのようなものであってもよい。

（４）上述した実施形態では、ガイドメロディのノート毎にゼロクロス箇所を検出してそのゼロクロス箇所が等間隔に現れる区間をビブラート区間として特定した。ビブラートを検出する単位は、ノート単位に限らず、例えば、複数のノートをまとめた単位であってもよく、また、小節単位やフレーズ単位であってもよい。
また、上述した実施形態では、楽曲のガイドメロディのノート（音符）毎のピッチを示すメロディピッチデータを用いたが、メロディピッチデータはガイドメロディを表すデータに限らず、例えば、歌唱の巧拙を採点するために予め用意されたメロディピッチデータであってもよく、要するに、楽曲のメロディのピッチを表すデータであればどのようなものであってもよい。

（５）上述した実施形態では、制御部１１が、特定の範囲内の周波数成分を抽出するバンドパスフィルタ処理を行ったが、制御部１１が行うフィルタ処理はこれに限らず、例えば、所定周波数以上の周波数成分を取り出すハイパスフィルタ処理であってもよく、また、所定周波数以下の周波数成分を取り出すローパスフィルタ処理であってもよい。要するに、特定の周波数成分を抽出するフィルタ処理であればどのようなものであってもよい。

（６）上述した実施形態においては、歌唱音声を表す音声データからビブラート技法が用いられている区間を抽出した。音声データは、歌唱音声を表すデータに限らず、楽器の演奏音を表す音声データであってもよい。

（７）この実施形態においては、ビブラート区間データの示す区間を表示部１３に表示させることによって報知したが、報知の態様はこれに限らず、例えば、ビブラート区間データの示す区間において警告音や音声メッセージを放音してもよく、要するに、ビブラート区間データの示す区間を報知する態様であればどのようなものであってもよい。

（８）上述した実施形態におけるカラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
また、上述のプログラムを実行する装置はカラオケ装置に限らず、パーソナルコンピュータやサーバ装置などの他の装置であってもよい。

カラオケ装置１のハードウェア構成の一例を示すブロック図である。制御部１１が行う処理の流れを示すフローチャートである。ピッチデータの内容の一例を示す図である。表示部１３に表示される画面の一例を示す図である。

符号の説明

１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロフォン、１６…音声処理部、１７…スピーカ、１２１…伴奏データ記憶領域、１２２…歌詞データ記憶領域、１２３…お手本音声データ記憶領域、１２４…練習者音声データ記憶領域、１２５…ビブラート区間データ記憶領域。

Claims

メロディのピッチを表すメロディピッチデータを記憶する記憶手段と、
歌唱音声又は演奏音を表す音声データから所定時間長のフレーム単位でピッチを検出し、検出したピッチを表すピッチデータを生成するピッチ検出手段と、
前記ピッチ検出手段により生成されたピッチデータに対して、特定の周波数成分を抽出するフィルタ処理を施すフィルタ処理手段と、
前記記憶手段に記憶されたメロディピッチデータの表すピッチをゼロ基準値として、前記フィルタ処理手段によりフィルタ処理が施されたピッチデータの表すピッチの変化が、負から正又は正から負に変化する箇所をゼロクロス箇所として抽出するゼロクロス箇所抽出手段と、
前記ゼロクロス箇所抽出手段により抽出されたゼロクロス箇所が所定の態様になっている区間を特定する特定手段と、
前記特定手段により特定された区間を示す情報を出力する出力手段と
を備えることを特徴とするビブラート検出装置。
前記特定手段は、前記ゼロクロス箇所抽出手段により抽出されたゼロクロス箇所が現れる時間間隔を測定し、測定された時間間隔とその直前又は直後の時間間隔との差値が予め定められた範囲内であり、かつ、その状態が連続して所定回数以上検出された区間を特定する
ことを特徴とする請求項１に記載のビブラート検出装置。