JP2011215228A - ピッチ変換装置 - Google Patents
ピッチ変換装置 Download PDFInfo
- Publication number
- JP2011215228A JP2011215228A JP2010081205A JP2010081205A JP2011215228A JP 2011215228 A JP2011215228 A JP 2011215228A JP 2010081205 A JP2010081205 A JP 2010081205A JP 2010081205 A JP2010081205 A JP 2010081205A JP 2011215228 A JP2011215228 A JP 2011215228A
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- waveform
- sound
- data
- waveform data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【解決手段】記憶部13には、声音の音波形を表すガイドボーカルデータ132及びコーラスデータ133と、楽曲の音波形を表す楽曲データ131とが記憶されている。制御部11がこれらの波形データに基づいてスピーカ15に放音させるときに、ピッチシフト操作子12が操作されてピッチ変換処理を施すことが指示されると、第1ピッチ変換部143は、その操作内容に応じて、ガイドボーカルデータ132及びコーラスデータ133が表す音波形から音素波形を切り出して、ピッチ変換比に応じた周期で繰り返し出力する。一方、楽曲を表す楽曲データ131については、第2ピッチ変換部144は、音波形をピッチシフト操作子12の操作内容に応じた比率で、時間軸上で伸縮させてピッチを変換する。
【選択図】図1
Description
本発明は上述した課題に鑑みてなされたものであり、その目的は、声音を伴う楽曲の放音において、いわゆるフォルマントシフトの発生を抑えつつピッチを変換することである。
[第1実施形態]
まず、本発明の第1実施形態について説明する。
図1は、この実施形態の音処理装置1のハードウェア構成を示すブロック図である。
音処理装置1は、ここではカラオケ装置である。図1に示すように、音処理装置1は、本発明のピッチ変換装置の一例であり、制御部11と、ピッチシフト操作子12と、記憶部13と、信号処理部14とを備える。図1に示すスピーカ15は、信号処理部14の図示せぬ接続端子に対して着脱可能な放音手段である。
音処理装置1は、上記以外にも、例えばリモコンや装置本体の操作子を含む操作部や、カラオケ演奏に関するイメージ画像や歌詞テロップを含む各種の情報を表示するための表示部、通信回線を介して接続された外部装置から楽曲データを取得するための通信部など、カラオケ装置が通常有している構成を備えるものである。
記憶部13は、楽曲データ131A、131B、・・・と、ガイドボーカルデータ132A、132B、・・・と、コーラスデータ133A、133B、・・・とを記憶する。これらのうち符号の末尾のアルファベットが同じデータどうしは、同一の楽曲に対応するデータである。
なお、楽曲データ131A、131B、・・・の各々を特に区別する必要のないときは、これらを「楽曲データ131」と総称する。ガイドボーカルデータ132A、132B、・・・の各々を特に区別する必要のないときは、これらを「ガイドボーカルデータ132」と総称する。コーラスデータ133A、133B、・・・の各々を特に区別する必要のないときは、これらを「コーラスデータ133」と総称する。
ガイドボーカルデータ132は、本発明の第1波形データの一例に相当し、楽曲に合わせて放音され得るガイドボーカルの音波形を表す波形データである。ガイドボーカルは、見本となる歌唱を表し、声に相当する音である。
コーラスデータ133は、本発明の第1波形データの一例に相当し、楽曲に合わせて放音され得るバックコーラスの音波形を表す波形データである。バックコーラスは、主旋律(ここでは、歌唱者の歌唱音)に付け加えられる合唱であり、ガイドボーカルと同様、声に相当する音である。
このように、カラオケ伴奏に関する波形データとして、声音に相当するバックコーラス及びガイドボーカルを表す波形データと、声音を含まない楽曲を表す波形データという、2種類に大別される波形データが記憶部13には記憶されている。
なお、この識別子は、例えば記憶部13における記憶領域を識別するアドレス情報であってもよく、各波形データの種類を一意に特定できるものであればよい。さらに言うと、各波形データが、声に相当する音波形を表すものであるかを識別できればよく、例えばガイドボーカルデータ132及びコーラスデータ133に割り当てられる識別子が互いに同一であってもよい。また、この識別子は、例えば、音処理装置1が通信部を介してダウンロードする楽曲(つまり、波形データ)にもあらかじめ割り当てられている。
信号処理部14は、デコーダ141,142と、第1ピッチ変換部143と、第2ピッチ変換部144と、ミキサ145と、D(Digital)/A(Analog)変換部146とを備える。
デコーダ141,142は、制御部11によって出力される波形データを取得する取得手段の一例に相当し、取得した波形データをデコードして出力するものである。より具体的には、デコーダ141は、制御部11から取得したガイドボーカルデータ132、又はコーラスデータ133をデコードして、音波形を表すサンプルデータ(つまり、デコード後の波形データ)を時系列的に生成する。デコーダ141は、生成したサンプルデータ列を順次第1ピッチ変換部143に出力する。デコーダ142は、制御部11から取得した楽曲データ131をデコードして、音波形を示すサンプルデータ列を生成する。デコーダ142は、生成したサンプルデータ列を順次第2ピッチ変換部144に出力する。このように、声の音波形を表すサンプルデータと、それ以外の音波形を表すサンプルデータとは、それぞれ異なるピッチ変換部に供給されるようになっている。その理由については後述する。
第2ピッチ変換部144は、本発明の第2方式の一例である時間伸縮方式に従って、サンプルデータに対してピッチ変換処理を施すものである。
第1ピッチ変換部143と第2ピッチ変換部144とは、同時に放音される声音及び楽曲の音波形を表すそれぞれの波形データに対し、並行してピッチ変換処理を施すものである。
このように、声音の音波形を表すサンプルデータに対しては音素再合成方式に従ってピッチ変換処理が施され、それ以外の音波形を表すサンプルデータに対しては時間伸縮方式に従ってピッチ変換処理が施される。
なお、ピッチ変換された楽曲データ131、ガイドボーカルデータ132及びコーラスデータ133が同期してミキサ145によってミキシングされるように、図示せぬバッファが、第1ピッチ変換部143とミキサ145との間、第2ピッチ変換部144とミキサ145との間にそれぞれ設けられる。このバッファにサンプルデータが一時的に蓄えられることによって、楽曲、バックコーラス及びガイドボーカルの放音タイミングが同期するように、制御部11により同期制御が行われる。
なお、D/A変換部146とスピーカ15との間には、実際にはプリアンプやパワーアンプが設けられるが、ここではその説明を省略する。
図2に示すように、第1ピッチ変換部143は、波形切り出し部1431と、再合成部1432とを備える。
波形切り出し部1431は、デコーダ141からサンプルデータ列を取得し、音素波形のサンプルデータ列を切り出して再合成部1432に出力するものである。音素波形は、音素を表す音波形であるが、例えば音素波形を表すサンプルデータのパターンが波形切り出し部1431にあらかじめ記憶されている。音素波形の切り出しにあっては、波形切り出し部1431は、例えばサンプルデータ列が表す音波形のピッチを検出し、その2ピッチ周期分の長さのハニングウィンドウをサンプルデータ列に乗じる処理を行う。時間的に連続している音素波形が所定の長さずつ切り出されるから、このハニングウィンドウを用いたウィンドウ処理は、その切り出し部分における信号の不連続性を緩和するために行われるものである。
メモリ1441は、例えばリングバッファであり、デコーダ142から処理対象であるサンプルデータ列が供給されると、そのサンプルデータ列が順次書き込まれる。そして、このサンプルデータ列の書き込みと並行し、既に記憶されたサンプルデータの読み出しが制御部11の制御の下で行われる。ここで、サンプルデータの読み出しは、その書込速度に対し、所望のピッチ変換比を乗じた読出速度で行われる。具体的には、変換後のピッチが高いほどこの読出速度は大きくなり、反対に、変換後のピッチが低いほど読出速度は小さくなる。このように、ピッチ変換後の音波形が、ピッチ変換比に従って時間軸方向に圧縮又は伸張した音波形となるように、サンプルデータがメモリ1441から読み出される。
このように第2ピッチ変換部144は、いわゆるクロスフェード方式に従ってピッチ変換処理を施すものである。
音処理装置1の構成の説明は以上である。
以下の動作に説明においては、音処理装置1が、楽曲データ131、ガイドボーカルデータ132及びコーラスデータ133に基づいて放音する場合について説明する。
制御部11は、或る楽曲を伴奏することを指示する操作が図示せぬ操作部に対して行われると、その操作の内容に応じて楽曲データ131、コーラスデータ133及びガイドボーカルデータ132をそれぞれ読み出す。このとき、制御部11は、各波形データとともに、それらに対応付けられた識別子を読み出すことで、読み出した波形データがどの種類のものであるかを一意に識別し得る。また、制御部11は、各波形データに基づく放音を並行して行わせるために、時分割処理によって各波形データを信号処理部14に出力する。このとき、制御部11は、楽曲データ131をデコーダ141に出力し、ガイドボーカルデータ132及びコーラスデータ133をデコーダ142に出力する。そして、制御部11は、まずはデフォルトのピッチでそれらに基づく放音をさせるように、第1ピッチ変換部143を音素再合成方式に従ってピッチ変換処理を施すよう制御し、第2ピッチ変換部144を時間伸縮方式に従ってピッチ変換処理を施すよう制御する。
このピッチ変換処理において、制御部11は、第1ピッチ変換部143及び第2ピッチ変換部144におけるピッチ変換比が同じとなるように制御する。
上記時間伸縮方式に従う第2ピッチ変換部144は、サンプルデータ列を時間軸方向に伸縮してピッチ変換を行うものであるから、音波形のフォルマント周波数がピッチと同じ比率で増減されてしまう。よって、ピッチ変換処理によって音波形によって表される声質まで変更されることとなる。これにより、例えば男性の声を表すガイドボーカルやコーラスがあった場合に、これをピッチを上げる方向にピッチ変換したとすると、あたかも女性の声のように聞こえてしまうことがある。この声道特性の変化が、いわゆるフォルマントシフトである。声音を伴う楽曲の伴奏においてフォルマントシフトが発生すると、歌唱者やその他の聴取者に違和感を与え、音の不具合であると認識させてしまう虞がある。
次に、本発明の第2実施形態について説明する。
この実施形態の音処理装置の全体的なハードウェア構成は、上述した第1実施形態と同じである。上述した第1実施形態では、記憶部13において、あらかじめ声の音波形を表す波形データと、それ以外の波形データとが識別子に対応付けて管理され、その識別子によって各波形データがどの種類であるかを制御部11が判別可能であった。これに対し、例えば音処理装置が外部装置から波形データを取得した場合など、各波形データの種類を識別子の参照によって特定できない場合も考えられる。この第2実施形態の音処理装置は、波形データを解析して、その波形データが表す音波形が声音に相当するものであるか否かを判定する機能を有する点で、第1実施形態の構成と異なる。
なお、以下の説明において、この実施形態の音処理装置が備える構成のうち、第1実施形態の音処理装置1が備える構成と共通するものは同一の符号を付して表し、それらの構成の説明を省略する。
記憶部13は、第1実施形態と同じで、楽曲データ131、ガイドボーカルデータ132、及びコーラスデータ133を記憶する。各波形データは上述した第1実施形態と同じものであるが、各波形データの種類を識別する識別子は対応付けられていないものとする。
また、図3に示すように、信号処理部14aは、デコーダ147と、判定部148と、第1ピッチ変換部143と、第2ピッチ変換部144と、ミキサ145と、D/A変換部146とを備える。第1ピッチ変換部143、第2ピッチ変換部144、ミキサ145、及びD/A変換部146の構成は第1実施形態と同じであるから、その説明を省略する。
第1ピッチ変換部143及び第2ピッチ変換部144が実行する処理など、この実施形態で説明しなかった処理は、上述した第1実施形態と同じである。
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
(変形例1)
上述した各実施形態では、本発明の信号処理装置をカラオケ装置である音処理装置1に適用した場合について説明した。これ以外にも、本発明の信号処理装置は、汎用のコンピュータ装置や電子楽器など、音に関する処理を行う種々の装置に適用可能である。
この場合において、声音の音波形を表す波形データが上述した各実施形態の種類のものでなくてもよい。
上述した各実施形態では、第2ピッチ変換部144は、時間伸縮方式に従ってピッチ変換処理を施していたが、これ以外の方式に従ってピッチ変換処理を施してもよい。例えば、第2ピッチ変換部144が周波数変換方式に従ってピッチ変換処理を施してもよく、フォルマントシフトの有無に関係しない種々の方式を採用することができる。
また、第2ピッチ変換部144がピッチ変換処理を施す波形データは、声に相当する成分を全く含まない音波形を表すものに限定されない。要するに、第1ピッチ変換部143が所定の声の音波形の波形データをピッチ変換し、第2ピッチ変換部144がそれ以外の波形データをピッチ変換する構成であればよい。
上述した第2実施形態において、第1ピッチ変換部143の波形切り出し部1431に相当する機能を判定部148が実現してもよい。この場合、第1ピッチ変換部143は、再合成部1432に相当する機能のみを実現する。
要するに、判定部148はデコーダ147から供給されるサンプルデータ列について音素波形の切り出しを試み、切り出した音素波形を表すサンプルデータ列を第1ピッチ変換部143に出力し、音素波形を表すものとして切り出せなかったサンプルデータ列を第2ピッチ変換部144に出力する。このように、判定部148は、音素波形の切り出しの可否に基づいて、声の音波形を表すサンプルデータ列(波形データ)であるか否かを判定してもよい。
上述した各実施形態において、信号処理部14,14aは、3系統の波形データに基づいてピッチ変換処理を施していたが、例えば2系統又は4系統以上であってもよい。
上述した各実施形態における音処理装置1の制御部11や信号処理部14,14aによって実行されるプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で音処理装置1にダウンロードさせることも可能である。
Claims (3)
- 声の音波形を表す第1波形データと、楽曲の音波形を表す第2波形データとを取得する取得手段と、
操作子と、
前記取得手段が取得した第1波形データが示す音波形から音素を表す音素波形を切り出して、前記操作子に対する操作の内容に応じた周期で繰り返し出力する第1方式に従って、前記第1波形データのピッチを変換する第1ピッチ変換手段と、
前記第1方式とは異なる第2方式に従って、前記取得手段が取得した第2波形データのピッチを前記操作の内容に応じて変換する第2ピッチ変換手段と、
前記第1ピッチ変換手段によりピッチが変換された第1波形データと、前記第2ピッチ変換手段によりピッチが変換された第2波形データとを合成して放音手段に出力する出力手段と
を備えることを特徴とするピッチ変換装置。 - 前記取得手段が取得したデータが前記第1波形データ又は前記第2波形データのいずれであるかを判定する判定手段を備え、
前記第1ピッチ変換手段は、前記判定手段により前記第1波形データであると判定された波形データのピッチを変換し、
前記第2ピッチ変換手段は、前記判定手段により前記第2波形データであると判定された波形データのピッチを変換する
ことを特徴とする請求項1に記載のピッチ変換装置。 - 前記第2ピッチ変換手段は、
前記第2波形データが表す音波形を前記操作の内容に応じた比率で時間軸上で伸縮する前記第2方式に従って、前記第2波形データのピッチを変換する
ことを特徴とする請求項1又は2に記載のピッチ変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010081205A JP2011215228A (ja) | 2010-03-31 | 2010-03-31 | ピッチ変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010081205A JP2011215228A (ja) | 2010-03-31 | 2010-03-31 | ピッチ変換装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011215228A true JP2011215228A (ja) | 2011-10-27 |
Family
ID=44945049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010081205A Pending JP2011215228A (ja) | 2010-03-31 | 2010-03-31 | ピッチ変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011215228A (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09330094A (ja) * | 1996-06-10 | 1997-12-22 | Takako Ito | テンポ可変機能付き音声再生装置 |
JP2001265400A (ja) * | 2000-03-16 | 2001-09-28 | Casio Comput Co Ltd | ピッチ変換装置及びピッチ変換方法 |
JP2003228385A (ja) * | 2002-02-05 | 2003-08-15 | Yamaha Corp | 携帯端末装置 |
JP2004157482A (ja) * | 2002-11-08 | 2004-06-03 | Brother Ind Ltd | ピッチ変更装置、カラオケ装置 |
JP2004279690A (ja) * | 2003-03-14 | 2004-10-07 | Brother Ind Ltd | 情報処理装置 |
JP2008026565A (ja) * | 2006-07-20 | 2008-02-07 | Fujitsu Ltd | ピッチ変換方法及び装置 |
JP2009205039A (ja) * | 2008-02-29 | 2009-09-10 | Brother Ind Ltd | オーディオデータ変換再生システム、オーディオデータ変換装置、オーディオデータ再生装置 |
JP2009237590A (ja) * | 2009-07-16 | 2009-10-15 | Casio Comput Co Ltd | 音声効果付与装置 |
-
2010
- 2010-03-31 JP JP2010081205A patent/JP2011215228A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09330094A (ja) * | 1996-06-10 | 1997-12-22 | Takako Ito | テンポ可変機能付き音声再生装置 |
JP2001265400A (ja) * | 2000-03-16 | 2001-09-28 | Casio Comput Co Ltd | ピッチ変換装置及びピッチ変換方法 |
JP2003228385A (ja) * | 2002-02-05 | 2003-08-15 | Yamaha Corp | 携帯端末装置 |
JP2004157482A (ja) * | 2002-11-08 | 2004-06-03 | Brother Ind Ltd | ピッチ変更装置、カラオケ装置 |
JP2004279690A (ja) * | 2003-03-14 | 2004-10-07 | Brother Ind Ltd | 情報処理装置 |
JP2008026565A (ja) * | 2006-07-20 | 2008-02-07 | Fujitsu Ltd | ピッチ変換方法及び装置 |
JP2009205039A (ja) * | 2008-02-29 | 2009-09-10 | Brother Ind Ltd | オーディオデータ変換再生システム、オーディオデータ変換装置、オーディオデータ再生装置 |
JP2009237590A (ja) * | 2009-07-16 | 2009-10-15 | Casio Comput Co Ltd | 音声効果付与装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4207902B2 (ja) | 音声合成装置およびプログラム | |
JP4672613B2 (ja) | テンポ検出装置及びテンポ検出用コンピュータプログラム | |
JP4645241B2 (ja) | 音声処理装置およびプログラム | |
JP2012037722A (ja) | 音合成用データ生成装置およびピッチ軌跡生成装置 | |
US6629067B1 (en) | Range control system | |
JP2008286946A (ja) | データ再生装置、データ再生方法およびプログラム | |
EP3373289B1 (en) | Electronic musical instrument, musical sound generating method, and storage medium | |
JP5168165B2 (ja) | 電子透かし情報の埋め込みおよび抽出を行うための装置およびプログラム | |
JP2020076844A (ja) | 音響処理方法および音響処理装置 | |
JP4433734B2 (ja) | 音声分析合成装置、音声分析装置、及びプログラム | |
JP3447221B2 (ja) | 音声変換装置、音声変換方法、および音声変換プログラムを記録した記録媒体 | |
JP2011215228A (ja) | ピッチ変換装置 | |
JP4470947B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2008197268A (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2009237590A (ja) | 音声効果付与装置 | |
JP2000010597A (ja) | 音声変換装置及び音声変換方法 | |
JP4168391B2 (ja) | カラオケ装置、音声処理方法及びプログラム | |
JP5151603B2 (ja) | 電子楽器 | |
JP5471138B2 (ja) | 音素符号変換装置および音声合成装置 | |
JP4534883B2 (ja) | 楽音制御装置および楽音制御処理のプログラム | |
JP2010002937A (ja) | 音声分析合成装置、音声分析装置、音声合成装置、及びプログラム | |
JP3540609B2 (ja) | 音声変換装置及び音声変換方法 | |
JP5782751B2 (ja) | 音声合成装置 | |
JP4910764B2 (ja) | 音声処理装置 | |
JP2004287350A (ja) | 音声変換装置、音声効果付与装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150407 |