JP2008040259A - 楽曲練習支援装置、動的時間整合モジュールおよびプログラム - Google Patents
楽曲練習支援装置、動的時間整合モジュールおよびプログラム Download PDFInfo
- Publication number
- JP2008040259A JP2008040259A JP2006216058A JP2006216058A JP2008040259A JP 2008040259 A JP2008040259 A JP 2008040259A JP 2006216058 A JP2006216058 A JP 2006216058A JP 2006216058 A JP2006216058 A JP 2006216058A JP 2008040259 A JP2008040259 A JP 2008040259A
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- time
- time unit
- sound
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【解決手段】ユーザの歌唱音を表す第1のオーディオ信号とその手本となる歌手の歌唱音を表す第2のオーディオ信号とを比較しその一致度を点数化して出力するカラオケ装置に、上記第1のオーディオ信号を解析して得られる第1の音響パラメータと上記第2のオーディオ信号を解析して得られる第2の音響パラメータとを正規化した後にそれら音響パラメータに基づき、その楽曲の楽曲構成に応じた探索窓を設定して動的時間整合を行うDTWモジュールを設け、そのDTWモジュールにより互いに対応付けられた時間単位同士で上記第1および第2のオーディオ信号の一致度を評価させる。
【選択図】図2
Description
一方、カラオケ装置を用いて歌唱練習を行うユーザは、自身の好みの歌手の歌唱技法を真似て歌唱したいと考えていることが多く、カラオケ装置を利用して歌唱練習を行う際には、その歌唱技法をどの程度再現できたのかについても評価を受けたいと望んでいる場合がある。
また、従来のカラオケ装置においては、ユーザの歌唱音とガイドメロディとを対比する際に、ユーザの歌唱音とガイドメロディとを1フレームなどの所定の時間単位で分割し、時間単位毎の対応付けを行う動的時間整合を行ってから両者を比較することが一般的でああるが、この動的時間整合の実行には多大な計算回数を要するという問題点もあった。
本発明は、上記課題に鑑みて為されたものであり、種々の技法が駆使された歌唱または演奏を手本として歌唱練習または演奏練習をユーザが行う場合に、それら技法の再現度合いを評価することを可能にするとともに、両者の時間軸の対応付けに要する計算回数を効率的に削減することを可能にする技術を提供することを目的としている。
以下、図面を参照しつつ本発明の第1実施形態について説明する。
(A−1:構成)
図1は、本発明に係る楽曲練習支援装置の第1実施形態であるカラオケ装置1のハードウェア構成の一例を示すブロック図である。図1に示すように、カラオケ装置1は、制御部11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、記憶部14、表示部15、操作部16、音声処理部18およびこれらのデータ授受を仲介するバス10を有している。
制御部11は、例えばCPU(Central Processing Unit)であり、ROM12に記憶されている制御プログラムを読み出してRAM13にロードし、これを実行することにより、カラオケ装置1の各部を制御する。
より詳細に説明すると、伴奏・歌詞データ記憶領域14aに記憶されている伴奏データと歌詞データとには、カラオケ曲を一意に識別する識別子(例えば、英字や記号、数字などからなる楽曲コード:以下、楽曲識別子)が対応付けられており、この楽曲識別子によって伴奏データと歌詞データとが互いに関連付けられている。この楽曲識別子は、練習者にその練習対象である楽曲を指定させる際に利用される。
この基礎分析モジュール21は、図2に示すように、ピッチ検出手段211、音量検出手段212、スペクトル検出手段213、および、微分手段214a〜214cを含んでおり、基礎分析モジュール21へ引き渡された音声データ(すなわち、模範音声データまたは練習者音声データ)は、図2に示す様に3分流され、ピッチ検出手段211、音量検出手段212およびスペクトル検出手段213の各々へ引き渡される。
以上が基礎分析モジュール21の構成である。
DTWモジュール22は、図4に示すように、練習者音声の各時間単位と模範音声の各時間単位との対応関係を特定するためのものであり、図2に示すように、正規化手段221、差分マトリクス生成手段222、最適経路特定手段223、および、探索窓設定手段224を含んでいる。
(数1) AfterDat[i] =(BeforDat[i]) − AVR)/STD
なお、数1において、BeforDat[i]は、基礎分析モジュール21から引き渡されるi番目のフレームについての音響パラメータであり、SDVはその音響パラメータについての標準偏差、AVRはその音響パラメータについての加算平均であり、AfterDat[i]はi番目のフレームについての正規化後の音響パラメータである。
数1に示す正規化を施すことによって、基礎分析モジュール21から引き渡される音響パラメータは、加算平均が“0”で標準偏差が“1”である音響パラメータ(すなわち、標準化された正規分布にしたがうデータ)に変換されることになる。このような正規化を施すことにより、歌唱者音声の収音環境と模範音声の収音環境との差異を取り除いて歌唱者音声と模範音声とを比較することが可能になる。また、模範音声と練習者音声の間に音量レベル差があったり、ピッチがオクターブ単位で異なったりすることは歌唱の巧拙とは関わりがないことがほとんどであるが、そのような個々の音声が本来的に持っている差異などの要因を取り除くことも可能であり、突発的なピッチや音量の変化に起因する影響を緩和することも可能になる。
(数2)Sqr{ (Σ(GuideSpectrum[j][k]−SingerSpectrum[i][k])^2)*WeightScalar[k]
+(Σ(ΔGuideSpectrum[j][k]−ΔSingerSpectrum[i][k])^2)*WeightVector[k]
+(ΔGuidePower[j]−ΔSingerPower[i])^2)
+(ΔΔGuidePower[j]−ΔΔSingerPower[i])^2)
}/num
この数2において、
GuideSpectrum[j][k]:模範音声のj番目のフレームのk番目の通過域のスペクトル成分
SingerSpectrum[i][k]:練習者音声のi番目のフレームのk番目の通過域のスペクトル成分
ΔGuideSpectrum[j][k]:模範音声のj番目のフレームのk番目のスペクトル速度
ΔSingerSpectrum[i][k]:練習者音声のi番目のフレームのk番目のスペクトル速度
ΔGuidePower[j]:模範音声のj番目のフレームの音量速度
ΔSingerPower[i]:練習者音声のi番目のフレームの音量速度
ΔΔGuidePower[j]:模範音声のj番目のフレームの音量加速度
ΔΔSingerPower[i]:練習者音声のi番目のフレームの音量加速度
WeightScalar[k]:重み付け係数
WeightVector[k]:重み付け係数
num:ユークリッド距離を求めるパラメータの数(例えば、練習者音声が第0フレームから第Nフレームに渡っており、模範音声が第0フレームから第Mフレームに渡っている場合には、num=(N+1)×(M+1)) である。
ただし、WeightScalar[k]は、時間変化に依存しない音響パラメータへの重み付けを行う係数であり、練習者歌唱音および模範音声が有音(周期的な音声)であるか、無音(非周期的な音声)であるかに応じて適宜選択される値である。具体的には、練習者歌唱音および模範音声がともに有音である場合には、低域のスペクトルに重みが付与されるようにその値が選択され、練習者歌唱音および模範音声がともに無音である場合には、高域のスペクトルに重みが付与されるようにその値が選択される。なお、練習者歌唱音および模範音声について有音であるか無音であるかの判定は、各々のピッチおよび音量に基づいて為される。具体的には、差分マトリクス生成手段222は、ピッチが所定の閾値以上であり、かつ、音量も所定の閾値以上である場合に、該当する時間単位について有音であると判定し、その他の場合は無音と判定する。
これに対して、WeightVector[k]は、時間変化に依存する音響パラメータへの重み付けを行う係数であり、中域のスペクトルに重みを付与するための係数である。
なお、数2において、Σ記号は、添え字kについての総和(すなわち、全ての通過域についてのスペクトル成分の総和)を意味し、“^2”は2乗を意味し、Sqr{}は平方根を意味している。
より詳細に説明すると、最適経路特定手段223は、上記探索窓内で、以下に説明する規則にしたがって上記最適経路を特定する。
(規則1)差分マトリクスの左下隅から経路の探索を始め、移動先の成分を累算した値が最小になるように移動先を選択する処理を右上隅に至るまで繰り返す。
ただし、1回の移動は、右、上、または右上の何れかに制限する。例えば、(i、j)成分からの移動は、(i、j+1)成分、(i+1、j)成分、または、(i+1、j+1)成分への移動へ制限する。
なお、右へ移動した場合の累積値と上へ移動した場合の累積値が等しい場合には、右への移動を優先する。同様に、右への移動と右上への移動の累積値が等しい場合には、右への移動を優先し、上への移動と右上への移動の累積値が等しい場合には、上への移動を優先する。また、移動先の候補となる3つの成分のうち、上記探索窓の外にある成分については移動先の候補から除外されることは言うまでもない。
(規則2)上記規則1にしたがって選択された経路を右上隅から左下隅まで逆に辿り、最適経路を特定する。
(規則a)リファレンスノートデータの表す発音時間長dが、探索窓幅についての第1の閾値thを超え、かつ、上記第1の閾値よりも大きな値を有する第2の閾値rよりも小さい場合には、そのリファレンスノートデータの表す発音タイミングにおける探索窓幅に上記発音時間長dを設定する。
(規則b)リファレンスノートデータの表す発音時間長dが、探索窓幅についての第1の閾値thよりも小さい場合には、そのリファレンスノートデータの表す発音タイミングにおける探索窓幅に上記第1の閾値thを設定する。
(規則c)リファレンスノートデータの表す発音時間長dが、探索窓幅についての第2の閾値rよりも大きい場合には、そのリファレンスノートデータの表す発音タイミングにおける探索窓幅に上記第2の閾値rを設定する。
以上に説明したように、本実施形態に係るカラオケ装置1のハードウェア構成は、一般的なコンピュータ装置のハードウェア構成と同一であり、本発明に係る楽曲練習支援装置に特徴的な機能はソフトウェアモジュール(すなわち、基礎分析モジュール21およびDTWモジュール22)により実現されている。なお、本実施形態では、本発明に係る楽曲練習支援装置に特徴的な基礎分析モジュールおよびDTWモジュールをソフトウェアモジュールで実現する場合について説明したが、これら各モジュールをハードウェアで実現しても良いことは勿論である。
以上がカラオケ装置1の構成である。
次いで、カラオケ装置1が行う動作のうち、その特徴を顕著に示している動作(すなわち、基礎分析モジュール21およびDTWモジュール22の動作)を中心に図面を参照しつつ説明する。なお、以下に説明する動作例では、カラオケ装置1の電源(図示)は投入済みであり、制御部11はROM12からRAM13へロードした制御プログラムにしたがって作動しているものとする。
次いで、最適経路特定手段223は、(1,1)成分への移動に伴う成分の累積を行うのであるが、ここで注目すべき点は、(1,1)成分への移動パターンとしては、以下に述べる3つのパターンが有り得る点である。すなわち、(0,1)成分から(1、1)成分への上方向の移動と、(0,0)成分から(1,1)成分への右上方向への移動と、(1、0)成分から(1、1)成分への右方向の移動である。
以下、同様に、最適経路特定手段223は、差分マトリクスの右上隅(すなわち、(4、5)成分)に至るまで、移動に伴う成分値の累積を繰り返す(図9参照)。
次いで、最適経路特定手段223は、上記のようにして特定した最適経路候補を逆に辿るとともに、その最適経路候補から外れて移動を行う場合には、その移動に伴って上記累積値が増加することを確かめ、最適経路を特定する(図11参照)。
ここで注目すべき点は、評価モジュール23による評価の基準となるデータが、MIDIデータなどのガイドメロディではなく、練習者が歌唱練習している楽曲を持ち歌とする歌手の歌唱音を表す模範音声データである点である。係る模範音声データには、歌い出しの“ため”などその歌手に特徴的な技法が反映されているのであるが、それら技法が駆使されているが故に歌い出しのタイミングなどが楽譜内容からずれてしまい、練習者の歌唱音と比較することが従来は困難であった。しかしながら、本実施形態に係るカラオケ装置1においては、DTWモジュール22による動的時間整合が為された結果、練習者音声の時間軸と模範音声の時間軸とを対応付け、両者を比較評価することが可能になっている。 このように、本実施形態に係るカラオケ装置1によれば、種々の技法が駆使された歌唱を手本としてユーザが歌唱練習を行う場合に、それら技法の再現度合いを評価することが可能になる、といった効果を奏する。
次いで、本発明の第2実施形態について図面を参照しつつ説明する。
図13は、本発明の第2実施形態に係るカラオケ装置2のハードウェア構成の一例を示すブロック図である。なお、図13においては、カラオケ装置1と同一の構成要素には同一の符号が付されている。
以上、本発明の1実施形態について説明したが、係る実施形態に以下に述べるような変形を加えても良いことは勿論である。
(1)上述した第1実施形態では、練習対象であるカラオケ曲の楽曲構成に応じて探索窓を最適化する場合について説明し、第2実施形態では、練習者の歌唱の癖に応じて探索窓を最適化する場合について説明した。しかしながら、これら2つの態様を組み合わせても良いことは勿論である。具体的には、カラオケ曲の1番部分の歌唱についてはその楽曲構成に応じて探索窓を設定し、2番部分の歌唱については、上記1番部分の歌唱について設定した探索窓を該1番部分の歌唱についての動的時間整合処理の処理結果に応じて平行移動させるようにすれば良い。
また、上述した実施形態では、カラオケ装置1に設けられた記憶部14に模範音声データを記憶させておく場合について説明したが、CD−ROM(Compact Disk-Read Only Memory)やDVD(Digital Versatile Disk)などのコンピュータ装置読み取り可能な記録媒体に模範音声データや模範音声データから抽出される音響パラメータを書き込んで配布し、このような記録媒体からの模範音声データや音響パラメータの読み出しにより、模範音声データや音響パラメータを取得させるようにしても良く、また、インターネットなどの電気通信回線経由で模範音声についての音響パラメータを取得させるようにしても良い。同様に、リファレンスノートデータについても記録媒体経由または電気通信回線経由で取得させるようにしても良い。
また、上述した第1実施形態では、伴奏・歌詞データや、模範音声データの他にリファレンスノートデータを記憶部14に記憶させておく場合について説明したが、伴奏データのうちのメインメロディを表すデータ(ガイドメロディを表すデータ)も各ノートの発音タイミングおよび発音時間長を表すデータであるから、このデータを上記リファレンスノートデータの代わりに用いるようにしても良い。なお、このような態様においては、リファレンスノートデータを別途記憶させておく必要がないことは言うまでもない。
しかしながら、1つの楽曲を複数の歌手が夫々個別に持ち歌としている場合には、その歌手毎に異なる楽曲であるとして、互いに異なる楽曲識別子を付与しても良く、また、その楽曲を一意に識別する楽曲識別子に上記複数の歌手の各々を一意に識別する歌手識別子を対応付け、さらに、この楽曲識別子と歌手識別子の組に、その楽曲識別子で識別される楽曲の、その歌手識別子で識別される歌手による歌唱音を表す模範音声データを対応付けて記憶部14に記憶させておくとしても良い。前述したように、歌手毎にその歌唱技法が異なっていることが一般的であり、同一の楽曲であっても歌い手が異なれば、その歌唱に込められる情感や味わいも異なることが一般的である。上記のように歌い手の識別を可能なように構成すれば、1つの楽曲を複数の歌手が持ち歌としている場合であっても、ユーザは、それら複数の歌手のうちから自身の好みに応じた歌手による歌唱を選択し、その歌唱を真似て歌唱練習を行うことが可能になる。
Claims (6)
- ユーザによる歌唱音または演奏音の波形を表す第1のオーディオ信号を解析し、所定の時間単位毎にその時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第1の音響パラメータを抽出する抽出手段と、
前記ユーザが手本とする歌唱音または演奏音の波形を表す第2のオーディオ信号を解析することにより前記時間単位毎に得られる第2の音響パラメータであって、前記第2のオーディオ信号の表す音の前記各時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第2の音響パラメータと、前記ユーザにより歌唱または演奏される楽曲を構成する各ノートの発音タイミングおよび発音時間長を表すリファレンスノートデータと、を取得する取得手段と、
前記各時間単位の前記第1の音響パラメータに、その平均値および標準偏差を所定の値に変換する正規化を施す一方、前記各時間単位の前記第2の音響パラメータに前記正規化を施す正規化手段と、
前記第1のオーディオ信号の時間軸を一方の座標軸とし、前記第2のオーディオ信号の時間軸を他方の座標軸とする座標平面にて、前記正規化された第1の音響パラメータと前記正規化された第2の音響パラメータとの差から算出される評価値を、前記時間単位を座標値とする格子点毎に算出する算出手段と、
前記取得手段により取得したリファレンスノートデータにしたがって、各ノートの発音タイミングに応じた時間における探索窓をその音の発音時間長に応じて設定する探索窓設定手段と、
前記座標平面上で、両座標値が最小の格子点である始点から、両座標値が最大の格子点である終点に至る経路のうち、その経路上の格子点における前記評価値の総和が最小になる経路を、前記探索窓設定手段により設定された探索窓内で特定する特定手段と、
前記特定手段により特定された経路に沿って、前記第1のオーディオ信号における前記時間単位と前記第2のオーディオ信号における時間単位とを対応付ける対応付け手段と、
を有する動的時間整合モジュール、を備え、
前記第1のオーディオ信号の信号波形と前記第2のオーディオ信号の信号波形とを前記動的時間整合モジュールにより対応付けが為された時間単位毎に比較し、両者の一致の度合いを点数化して出力する
ことを特徴とする楽曲練習支援装置。 - ユーザによる歌唱音または演奏音の波形を表す第1のオーディオ信号を解析し、所定の時間単位毎にその時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第1の音響パラメータを抽出する抽出手段と、
前記ユーザが手本とする歌唱音または演奏音の波形を表す第2のオーディオ信号を解析することにより前記時間単位毎に得られる第2の音響パラメータであって、前記第2のオーディオ信号の表す音の前記各時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第2の音響パラメータを取得する取得手段と、
前記各時間単位の前記第1の音響パラメータに、その平均値および標準偏差を所定の値に変換する正規化を施す一方、前記各時間単位の前記第2の音響パラメータに前記正規化を施す正規化手段と、
前記第1のオーディオ信号の時間軸を一方の座標軸とし、前記第2のオーディオ信号の時間軸を他方の座標軸とする座標平面にて、前記正規化された第1の音響パラメータと前記正規化された第2の音響パラメータとの差から算出される評価値を、前記時間単位を座標値とする格子点毎に算出する算出手段と、
前記座標平面上で、両座標値が最小の格子点である始点から両座標値が最大の格子点である終点に至る経路のうち、その経路上の格子点における前記評価値の総和が最小になる経路を、予め定められた探索窓内で特定する特定手段と、
前記特定手段により特定された経路に沿って、前記第1のオーディオ信号における前記時間単位と前記第2のオーディオ信号における時間単位とを対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果、前記ユーザの歌唱または演奏がその手本に対して遅れている場合には、前記第1のオーディオ信号の時間軸に沿って上方にその遅れの度合い分だけ前記探索窓を平行移動し、前記ユーザの歌唱または演奏がその手本に対して進んでいる場合には、前記第1のオーディオ信号の時間軸に沿って下方にその進みの度合い分だけ前記探索窓を平行移動する探索窓設定手段と、
を有する動的時間整合モジュール、を備え、
前記第1のオーディオ信号の信号波形と前記第2のオーディオ信号の信号波形とを前記動的時間整合モジュールにより対応付けが為された時間単位毎に比較し、両者の一致の度合いを点数化して出力する
ことを特徴とする楽曲練習支援装置。 - ユーザによる歌唱音または演奏音の波形を表す第1のオーディオ信号を解析し、所定の時間単位毎にその時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第1の音響パラメータを抽出する抽出手段と、
前記ユーザが手本とする歌唱音または演奏音の波形を表す第2のオーディオ信号を解析することにより前記時間単位毎に得られる第2の音響パラメータであって、前記第2のオーディオ信号の表す音の前記各時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第2の音響パラメータと、前記ユーザにより歌唱または演奏される楽曲を構成する各ノートの発音タイミングおよび発音時間長を表すリファレンスノートデータと、を取得する取得手段と、
前記各時間単位の前記第1の音響パラメータに、その平均値および標準偏差を所定の値に変換する正規化を施す一方、前記各時間単位の前記第2の音響パラメータに前記正規化を施す正規化手段と、
前記第1のオーディオ信号の時間軸を一方の座標軸とし、前記第2のオーディオ信号の時間軸を他方の座標軸とする座標平面にて、前記正規化された第1の音響パラメータと前記正規化された第2の音響パラメータとの差から算出される評価値を、前記時間単位を座標値とする格子点毎に算出する算出手段と、
前記取得手段により取得したリファレンスノートデータにしたがって、各ノートの発音タイミングに応じた時間における探索窓をその音の発音時間長に応じて設定する探索窓設定手段と、
前記座標平面上で、両座標値が最小の格子点である始点から、両座標値が最大の格子点である終点に至る経路のうち、その経路上の格子点における前記評価値の総和が最小になる経路を、前記探索窓設定手段により設定された探索窓内で特定する特定手段と、
前記特定手段により特定された経路に沿って、前記第1のオーディオ信号における前記時間単位と前記第2のオーディオ信号における時間単位とを対応付ける対応付け手段と、
を有することを特徴とする動的時間整合モジュール。 - ユーザによる歌唱音または演奏音の波形を表す第1のオーディオ信号を解析し、所定の時間単位毎にその時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第1の音響パラメータを抽出する抽出手段と、
前記ユーザが手本とする歌唱音または演奏音の波形を表す第2のオーディオ信号を解析することにより前記時間単位毎に得られる第2の音響パラメータであって、前記第2のオーディオ信号の表す音の前記各時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第2の音響パラメータを取得する取得手段と、
前記各時間単位の前記第1の音響パラメータに、その平均値および標準偏差を所定の値に変換する正規化を施す一方、前記各時間単位の前記第2の音響パラメータに前記正規化を施す正規化手段と、
前記第1のオーディオ信号の時間軸を一方の座標軸とし、前記第2のオーディオ信号の時間軸を他方の座標軸とする座標平面にて、前記正規化された第1の音響パラメータと前記正規化された第2の音響パラメータとの差から算出される評価値を、前記時間単位を座標値とする格子点毎に算出する算出手段と、
前記座標平面上で、両座標値が最小の格子点である始点から両座標値が最大の格子点である終点に至る経路のうち、その経路上の格子点における前記評価値の総和が最小になる経路を、予め定められた探索窓内で特定する特定手段と、
前記特定手段により特定された経路に沿って、前記第1のオーディオ信号における前記時間単位と前記第2のオーディオ信号における時間単位とを対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果、前記ユーザの歌唱または演奏がその手本に対して遅れている場合には、前記第1のオーディオ信号の時間軸に沿って上方にその遅れの度合い分だけ前記探索窓を平行移動し、前記ユーザの歌唱または演奏がその手本に対して進んでいる場合には、前記第1のオーディオ信号の時間軸に沿って下方にその進みの度合い分だけ前記探索窓を平行移動する探索窓設定手段と、
を有することを特徴とする動的時間整合モジュール。 - コンピュータ装置を、
ユーザによる歌唱音または演奏音の波形を表す第1のオーディオ信号を解析し、所定の時間単位毎にその時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第1の音響パラメータを抽出する抽出手段と、
前記ユーザが手本とする歌唱音または演奏音の波形を表す第2のオーディオ信号を解析することにより前記時間単位毎に得られる第2の音響パラメータであって、前記第2のオーディオ信号の表す音の前記各時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第2の音響パラメータと、前記ユーザにより歌唱または演奏される楽曲を構成する各ノートの発音タイミングおよび発音時間長を表すリファレンスノートデータと、を取得する取得手段と、
前記各時間単位の前記第1の音響パラメータに、その平均値および標準偏差を所定の値に変換する正規化を施す一方、前記各時間単位の前記第2の音響パラメータに前記正規化を施す正規化手段と、
前記第1のオーディオ信号の時間軸を一方の座標軸とし、前記第2のオーディオ信号の時間軸を他方の座標軸とする座標平面にて、前記正規化された第1の音響パラメータと前記正規化された第2の音響パラメータとの差から算出される評価値を、前記時間単位を座標値とする格子点毎に算出する算出手段と、
前記取得手段により取得したリファレンスノートデータにしたがって、各ノートの発音タイミングに応じた時間における探索窓をその音の発音時間長に応じて設定する探索窓設定手段と、
前記座標平面上で、両座標値が最小の格子点である始点から、両座標値が最大の格子点である終点に至る経路のうち、その経路上の格子点における前記評価値の総和が最小になる経路を、前記探索窓設定手段により設定された探索窓内で特定する特定手段と、
前記特定手段により特定された経路に沿って、前記第1のオーディオ信号における前記時間単位と前記第2のオーディオ信号における時間単位とを対応付ける対応付け手段
として機能させることを特徴とするプログラム。 - コンピュータ装置を、
ユーザによる歌唱音または演奏音の波形を表す第1のオーディオ信号を解析し、所定の時間単位毎にその時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第1の音響パラメータを抽出する抽出手段と、
前記ユーザが手本とする歌唱音または演奏音の波形を表す第2のオーディオ信号を解析することにより前記時間単位毎に得られる第2の音響パラメータであって、前記第2のオーディオ信号の表す音の前記各時間単位における音量の時間変化の度合い、スペクトルおよびスペクトルの時間変化の度合いを表す第2の音響パラメータを取得する取得手段と、
前記各時間単位の前記第1の音響パラメータに、その平均値および標準偏差を所定の値に変換する正規化を施す一方、前記各時間単位の前記第2の音響パラメータに前記正規化を施す正規化手段と、
前記第1のオーディオ信号の時間軸を一方の座標軸とし、前記第2のオーディオ信号の時間軸を他方の座標軸とする座標平面にて、前記正規化された第1の音響パラメータと前記正規化された第2の音響パラメータとの差から算出される評価値を、前記時間単位を座標値とする格子点毎に算出する算出手段と、
前記座標平面上で、両座標値が最小の格子点である始点から両座標値が最大の格子点である終点に至る経路のうち、その経路上の格子点における前記評価値の総和が最小になる経路を、予め定められた探索窓内で特定する特定手段と、
前記特定手段により特定された経路に沿って、前記第1のオーディオ信号における前記時間単位と前記第2のオーディオ信号における時間単位とを対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果、前記ユーザの歌唱または演奏がその手本に対して遅れている場合には、前記第1のオーディオ信号の時間軸に沿って上方にその遅れの度合い分だけ前記探索窓を平行移動し、前記ユーザの歌唱または演奏がその手本に対して進んでいる場合には、前記第1のオーディオ信号の時間軸に沿って下方にその進みの度合い分だけ前記探索窓を平行移動する探索窓設定手段
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006216058A JP4479701B2 (ja) | 2006-08-08 | 2006-08-08 | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006216058A JP4479701B2 (ja) | 2006-08-08 | 2006-08-08 | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008040259A true JP2008040259A (ja) | 2008-02-21 |
JP4479701B2 JP4479701B2 (ja) | 2010-06-09 |
Family
ID=39175320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006216058A Expired - Fee Related JP4479701B2 (ja) | 2006-08-08 | 2006-08-08 | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4479701B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012097603A (ja) * | 2010-10-29 | 2012-05-24 | Tokyo Gas Co Ltd | 失火検知方法及び失火検知システム |
JP2013015693A (ja) * | 2011-07-05 | 2013-01-24 | Nippon Telegr & Teleph Corp <Ntt> | はなし言葉分析装置とその方法とプログラム |
JP2015036710A (ja) * | 2013-08-12 | 2015-02-23 | ヤマハ株式会社 | 音響信号のアライメント装置 |
JP2015045731A (ja) * | 2013-08-28 | 2015-03-12 | ヤマハ株式会社 | 音響信号のアライメント装置 |
JP2016051034A (ja) * | 2014-08-29 | 2016-04-11 | ブラザー工業株式会社 | 表示制御装置,及び表示制御システム |
JP2016085309A (ja) * | 2014-10-24 | 2016-05-19 | 株式会社コルグ | 楽音評価装置及びプログラム |
CN108008930A (zh) * | 2017-11-30 | 2018-05-08 | 广州酷狗计算机科技有限公司 | 确定k歌分值的方法和装置 |
-
2006
- 2006-08-08 JP JP2006216058A patent/JP4479701B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012097603A (ja) * | 2010-10-29 | 2012-05-24 | Tokyo Gas Co Ltd | 失火検知方法及び失火検知システム |
JP2013015693A (ja) * | 2011-07-05 | 2013-01-24 | Nippon Telegr & Teleph Corp <Ntt> | はなし言葉分析装置とその方法とプログラム |
JP2015036710A (ja) * | 2013-08-12 | 2015-02-23 | ヤマハ株式会社 | 音響信号のアライメント装置 |
JP2015045731A (ja) * | 2013-08-28 | 2015-03-12 | ヤマハ株式会社 | 音響信号のアライメント装置 |
JP2016051034A (ja) * | 2014-08-29 | 2016-04-11 | ブラザー工業株式会社 | 表示制御装置,及び表示制御システム |
JP2016085309A (ja) * | 2014-10-24 | 2016-05-19 | 株式会社コルグ | 楽音評価装置及びプログラム |
CN108008930A (zh) * | 2017-11-30 | 2018-05-08 | 广州酷狗计算机科技有限公司 | 确定k歌分值的方法和装置 |
CN108008930B (zh) * | 2017-11-30 | 2020-06-30 | 广州酷狗计算机科技有限公司 | 确定k歌分值的方法和装置 |
US11341946B2 (en) | 2017-11-30 | 2022-05-24 | Guangzhou Kugou Computer Technology Co., Ltd. | Method for determining a karaoke singing score, terminal and computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4479701B2 (ja) | 2010-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100949872B1 (ko) | 악곡 연습 지원 장치, 악곡 연습 지원 장치의 제어 방법, 악곡 연습 지원 장치를 제어하는 제어 방법을 컴퓨터로 실행시키는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
Dittmar et al. | Music information retrieval meets music education | |
JP4479701B2 (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP2008026622A (ja) | 評価装置 | |
JP6060867B2 (ja) | 情報処理装置,データ生成方法,及びプログラム | |
US20230402026A1 (en) | Audio processing method and apparatus, and device and medium | |
JP4212446B2 (ja) | カラオケ装置 | |
Mayor et al. | Performance analysis and scoring of the singing voice | |
WO2014142200A1 (ja) | 音声処理装置 | |
JP2008040260A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP6657713B2 (ja) | 音響処理装置および音響処理方法 | |
JP2009169103A (ja) | 練習支援装置 | |
JP2008040258A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP4839967B2 (ja) | 指導装置及びプログラム | |
JP5292702B2 (ja) | 楽音信号生成装置及びカラオケ装置 | |
JP5005445B2 (ja) | コード名検出装置及びコード名検出用プログラム | |
WO2019180830A1 (ja) | 歌唱評価方法及び装置、プログラム | |
JP6252420B2 (ja) | 音声合成装置、及び音声合成システム | |
JP2007304489A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
CN113823270A (zh) | 节奏评分的确定方法、介质、装置和计算设备 | |
JP2006301019A (ja) | ピッチ通知装置およびプログラム | |
JP4048249B2 (ja) | カラオケ装置 | |
JP6365483B2 (ja) | カラオケ装置,カラオケシステム,及びプログラム | |
JP5810947B2 (ja) | 発声区間特定装置、音声パラメータ生成装置、及びプログラム | |
JP2007240552A (ja) | 楽器音認識方法、楽器アノテーション方法、及び楽曲検索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100223 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4479701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |