JP2011053590A - 音響処理装置およびプログラム - Google Patents
音響処理装置およびプログラム Download PDFInfo
- Publication number
- JP2011053590A JP2011053590A JP2009204513A JP2009204513A JP2011053590A JP 2011053590 A JP2011053590 A JP 2011053590A JP 2009204513 A JP2009204513 A JP 2009204513A JP 2009204513 A JP2009204513 A JP 2009204513A JP 2011053590 A JP2011053590 A JP 2011053590A
- Authority
- JP
- Japan
- Prior art keywords
- section
- acoustic signal
- synchronization
- unit
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【解決手段】記憶装置14は、楽曲を構成する楽音の時系列を指定する楽音データDAと楽曲の歌詞の時系列を指定する表示データDBとを記憶する。同期解析部48は、音響信号P1の参照区間σREFのクロマベクトルΨ1と音響信号P2の候補区間σXのクロマベクトルΨ2とを、始点SXの位置が相違する複数の候補区間σXの各々について実行し、複数の候補区間σXのうちクロマベクトルΨ2が参照区間σREFのクロマベクトルΨ1に類似する候補区間σXを、当該参照区間σREFに対応する同期区間σSとして特定する。表示制御部60は、音響信号P1の再生に同期するように、表示データDBが指定する文字を同期解析部48による処理の結果に基づいて表示装置72に表示させる。
【選択図】図1
Description
図1は、本発明の第1実施形態に係る音響処理装置100のブロック図である。音響処理装置100は、楽曲の楽音の再生と楽曲の歌詞の表示とを並列に実行するカラオケ装置として好適に利用される。図1に示すように、音響処理装置100には、表示装置72と収音装置74と放音装置76と入力装置78と信号供給装置80とが接続される。
次に、本発明の第2実施形態について説明する。なお、以下の各形態において作用や機能が第1実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
以上の形態には様々な変形が加えられる。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は併合され得る。
第1実施形態においては、候補区間σXの始点SXおよび時間長WXを変化させて参照区間σREFと順次に比較したが、図6の処理では同期点S2が特定されれば足りる(同期区間σSの時間長WSの特定までは必須ではない)から、時間長WXを所定値(例えば時間長WREF)に固定して始点SXのみを変化させる構成も採用される。すなわち、図6のステップSC7およびステップSC8は省略され得る。再生指示点t1および基準点t2から同期点S1および同期点S2を特定する第2実施形態の処理でも同様に、時間長WXを所定値に固定して始点SXのみを変化させる構成が採用され得る。
以上の各形態で固定値として例示した各数値は可変値に適宜に変更され得る。例えば、以上の各形態では参照区間σREFの時間長WREFを所定値に固定したが、時間長WREFを可変に制御する構成も好適である。具体的には、楽曲データD0が指定するテンポや楽音データDAが指定する音数に応じて同期解析部48が時間長WREFを可変に制御する構成が採用される。例えば、同期解析部48は、テンポが速いほど時間長WREFを短い時間に設定し、単位時間あたりの音数が多いほど時間長WREFを短い時間に設定する。以上の構成によれば、テンポが速い楽曲や音数が多い楽曲についても音響信号P1と音響信号P2との対応を高精度に特定できるという利点がある。
表示装置72に表示される情報は歌詞に限定されない。例えば、楽曲の楽譜(コード譜やタブ譜)を表示データDBが時系列に指定する構成や、楽曲に関する画像(例えばカラオケの背景画像)を表示データDBが時系列に指定する構成も好適である。すなわち、表示データDBは、楽曲の歌唱や演奏に関する画像(歌詞,楽譜,背景画像)を時系列に指定するデータとして包括される。なお、表示データDBが楽音データDAとは別個に用意された構成は必須ではない。例えば、楽音データDAが時系列に指定する楽音を楽曲の楽譜の表示に流用する構成も採用される。
以上の形態においてはデータ変換部44が楽音データDAから音響信号P2を生成する構成を例示したが、同期解析用の音響信号P2を楽音データDAの代わりに(または楽音データDAとともに)記憶装置14に格納した構成も採用される。解析処理部40は、記憶装置14に格納された音響信号P2について同期解析を実行する。音響信号P2を記憶装置14に格納した構成ではデータ変換部44が省略され得る。もっとも、データ変換部44を具備する構成によれば、カラオケ用に作成された既存の楽曲データD0の楽音データDAを解析処理部40による同期解析に流用できるという利点や、音響信号P2を記憶装置14に格納する構成と比較して記憶装置14に必要な容量が削減されるという利点がある。
以上の形態においては楽音データDAを音響信号P1との同期解析のみに利用する構成を例示したが、楽音データDAに応じた音響信号P2を音響信号P1とともに再生する構成も好適に採用される。例えば、ガイドメロディを示す楽音データDAから音響信号P2を生成して音響信号P1とともに再生すれば、利用者による歌唱や演奏の練習を支援することが可能である。また、再生制御部20は適宜に省略される。例えば、成分抑制部22を省略して音響信号P1の全部のパートを再生する構成や、ピッチ変換部24やテンポ調整部26を省略してピッチやテンポを変化させない構成も採用され得る。
同期点S1および同期点S2の特定後に音響信号P1と音響信号P2との同期を解析する方法は適宜に変更される。例えば、各単位区間F1と各単位区間F2との対応を解析する方法は、第1実施形態のDPマッチングに限定されない。また、以上の各形態においては、音響信号P1の各単位区間F1と音響信号P2の各単位区間F2との対応を特定したが、複数の単位区間(F1,F2)を単位として音響信号P1と音響信号P2との対応を特定する構成も採用される。例えば、区間対照部54は、複数の単位区間F1に相当する時間長WREFで同期点S1以降の音響信号P1を区分した各参照区間σREF内の各単位区間F1のクロマベクトルΨ1と、音響信号P2の候補区間σXの各単位区間F2のクロマベクトルΨ2との類否指標γを、候補区間σXの時間長WXを変化させた複数の場合の各々について算定する。類否指標γの算定には、図6のステップSC3およびステップSC4と同様の方法が適用される。そして、区間対照部54は、複数の候補区間σXのうち類否指標値γが最小となる候補区間σXを、参照区間σREFに対応する同期区間σSとして特定する。以上の処理が反復されることで、音響信号P1を区分した複数の参照区間σREFの各々に対応する同期区間σSが音響信号P2に特定される。
第1特徴抽出部42や第2特徴抽出部46が抽出する特徴量はクロマベクトル(Ψ1,Ψ2)に限定されない。例えば、音響信号P1や音響信号P2のピッチを抽出して同期解析に適用する構成が採用され得る。以上の説明から理解されるように、特徴量は、音響信号P1と音響信号P2との音楽的な類否を判定するための尺度として包括される。
以上の各形態では、音響信号Pkの強度(音量)に応じて基準点αkを特定する図4の処理と、クロマベクトル(Ψ1,Ψ2)の比較で同期点S2を特定する図6の処理とを同期点検出部52が実行した。しかし、クロマベクトルは和声感(和音感)を示す特徴量であるから、楽曲が例えば打楽器の楽音から開始する場合には同期点S2の正確な特定が困難となる。したがって、同期点検出部52が図4の処理のみを実行する構成(図6の処理を省略した構成)も採用される。図4の処理で特定した基準点αkが同期点Skとして区間対照部54による処理に適用される。
Claims (5)
- 楽曲に関する情報を時系列に指定する制御データを記憶する記憶手段と、
楽曲の楽音の波形を表す第1音響信号の特徴量を順次に生成する第1特徴抽出手段と、
前記制御データが指定する情報の時系列に同期する楽音の波形を表す第2音響信号の特徴量を順次に生成する第2特徴抽出手段と、
前記第1音響信号のうちの参照区間の特徴量と前記第2音響信号の候補区間の特徴量との比較を、時間軸上の位置が相違する複数の候補区間の各々について実行し、前記複数の候補区間のうち特徴量が前記参照区間の特徴量に類似する候補区間を、当該参照区間に対応する同期区間として特定する同期点検出手段と、
前記第1音響信号の前記参照区間の再生と、当該記参照区間について前記同期点検出手段が特定した同期区間に対応する前記制御データの処理とが同期するように、前記制御データを処理する制御手段と
を具備する音響処理装置。 - 前記同期点検出手段は、前記第2音響信号のうち始点の位置が共通で時間長が相違する複数の候補区間の各々の特徴量と前記参照区間の特徴量との比較を、前記始点の位置を変化させた複数の場合について実行し、前記参照区間と比較した複数の候補区間のうち特徴量が前記参照区間の特徴量に類似する候補区間を前記同期区間として特定する
請求項1の音響処理装置。 - 前記同期点検出手段は、前記第1音響信号のうち強度が最初に閾値を上回る第1基準点と、前記第2音響信号のうち強度が最初に閾値を上回る第2基準点とを特定し、前記第1基準点を始点とする前記参照区間の特徴量と、前記第2基準点を含む所定の範囲内で始点を変化させた複数の候補区間の各々の特徴量と比較する
請求項1または請求項2の音響処理装置。 - 前記同期点検出手段は、前記第1音響信号のうち利用者からの指示に応じて可変に設定された再生指示点を含む前記参照区間の特徴量と、前記第2音響信号のうち前記再生指示点に応じて設定された基準点を含む所定の範囲内で始点を変化させた複数の候補区間の各々の特徴量とを比較する
請求項1から請求項3の何れかの音響処理装置。 - 楽曲に関する情報を時系列に指定する制御データを記憶する記憶手段を具備するコンピュータに、
楽曲の楽音の波形を表す第1音響信号の特徴量を順次に生成する第1特徴抽出処理と、
前記制御データが指定する情報の時系列に同期する楽音の波形を表す第2音響信号の特徴量を順次に生成する第2特徴抽出処理と、
前記第1音響信号のうちの参照区間の特徴量と前記第2音響信号の候補区間の特徴量との比較を、時間軸上の位置が相違する複数の候補区間の各々について実行し、前記複数の候補区間のうち特徴量が前記参照区間の特徴量に類似する候補区間を、当該参照区間に対応する同期区間として特定する同期点検出処理と、
前記第1音響信号の前記参照区間の再生と、当該記参照区間について前記同期点検出処理で特定した同期区間に対応する前記制御データの処理とが同期するように、前記制御データを処理する制御処理と
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009204513A JP5287617B2 (ja) | 2009-09-04 | 2009-09-04 | 音響処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009204513A JP5287617B2 (ja) | 2009-09-04 | 2009-09-04 | 音響処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011053590A true JP2011053590A (ja) | 2011-03-17 |
JP5287617B2 JP5287617B2 (ja) | 2013-09-11 |
Family
ID=43942625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009204513A Expired - Fee Related JP5287617B2 (ja) | 2009-09-04 | 2009-09-04 | 音響処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5287617B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013018397A1 (ja) * | 2011-07-29 | 2013-02-07 | ブラザー工業株式会社 | 歌詞出力データ修正装置,及びプログラム |
KR101244289B1 (ko) * | 2011-08-02 | 2013-03-18 | 주식회사 금영 | Mp3 곡 데이터와 미디용 가사 데이터의 동기방법 |
JP2013076887A (ja) * | 2011-09-30 | 2013-04-25 | Brother Ind Ltd | 情報処理システム,プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08115097A (ja) * | 1994-10-14 | 1996-05-07 | Sanyo Electric Co Ltd | 音響再生装置 |
JP2003044043A (ja) * | 2001-08-01 | 2003-02-14 | Megafusion Corp | Midiデータの同期制御装置 |
JP2004212473A (ja) * | 2002-12-27 | 2004-07-29 | Matsushita Electric Ind Co Ltd | カラオケ装置及びカラオケ再生方法 |
JP2009014923A (ja) * | 2007-07-03 | 2009-01-22 | Yamaha Corp | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム |
-
2009
- 2009-09-04 JP JP2009204513A patent/JP5287617B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08115097A (ja) * | 1994-10-14 | 1996-05-07 | Sanyo Electric Co Ltd | 音響再生装置 |
JP2003044043A (ja) * | 2001-08-01 | 2003-02-14 | Megafusion Corp | Midiデータの同期制御装置 |
JP2004212473A (ja) * | 2002-12-27 | 2004-07-29 | Matsushita Electric Ind Co Ltd | カラオケ装置及びカラオケ再生方法 |
JP2009014923A (ja) * | 2007-07-03 | 2009-01-22 | Yamaha Corp | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム |
Non-Patent Citations (2)
Title |
---|
CSNJ200910054120; 大塚琢馬他: '"歌唱ロボットのためのビート情報とメロディ・ハーモニー情報の統合による音楽音響信号と楽譜の実時間同期' 情報処理学会第71回全国大会講演論文集 , 200903, pp.2-243〜2-244 * |
JPN6013020310; 大塚琢馬他: '"歌唱ロボットのためのビート情報とメロディ・ハーモニー情報の統合による音楽音響信号と楽譜の実時間同期' 情報処理学会第71回全国大会講演論文集 , 200903, pp.2-243〜2-244 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013018397A1 (ja) * | 2011-07-29 | 2013-02-07 | ブラザー工業株式会社 | 歌詞出力データ修正装置,及びプログラム |
JP2013029762A (ja) * | 2011-07-29 | 2013-02-07 | Brother Ind Ltd | 歌詞出力データ修正装置,及びプログラム |
KR101244289B1 (ko) * | 2011-08-02 | 2013-03-18 | 주식회사 금영 | Mp3 곡 데이터와 미디용 가사 데이터의 동기방법 |
JP2013076887A (ja) * | 2011-09-30 | 2013-04-25 | Brother Ind Ltd | 情報処理システム,プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5287617B2 (ja) | 2013-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10366684B2 (en) | Information providing method and information providing device | |
US10733900B2 (en) | Tuning estimating apparatus, evaluating apparatus, and data processing apparatus | |
CN109979483B (zh) | 音频信号的旋律检测方法、装置以及电子设备 | |
JP2008015195A (ja) | 楽曲練習支援装置 | |
JP6047985B2 (ja) | 伴奏進行生成装置及びプログラム | |
JP5151245B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP5287617B2 (ja) | 音響処理装置およびプログラム | |
JP3996565B2 (ja) | カラオケ装置 | |
JP4163584B2 (ja) | カラオケ装置 | |
JP2005107333A (ja) | カラオケ装置 | |
JP4204941B2 (ja) | カラオケ装置 | |
JP5790496B2 (ja) | 音響処理装置 | |
JP5297662B2 (ja) | 楽曲データ加工装置、カラオケ装置、及びプログラム | |
JP5391939B2 (ja) | 音響処理装置およびプログラム | |
JP7232653B2 (ja) | カラオケ装置 | |
JP5287616B2 (ja) | 音響処理装置およびプログラム | |
JP5092589B2 (ja) | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム | |
JP5012263B2 (ja) | 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム | |
JP2009169103A (ja) | 練習支援装置 | |
JP5672960B2 (ja) | 音響処理装置 | |
JP6171393B2 (ja) | 音響合成装置および音響合成方法 | |
WO2022070639A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5728918B2 (ja) | 情報処理装置 | |
JP4048249B2 (ja) | カラオケ装置 | |
JP5618743B2 (ja) | 歌唱音声評価装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5287617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |