JP2003241777A - 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置 - Google Patents

楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置

Info

Publication number
JP2003241777A
JP2003241777A JP2001392305A JP2001392305A JP2003241777A JP 2003241777 A JP2003241777 A JP 2003241777A JP 2001392305 A JP2001392305 A JP 2001392305A JP 2001392305 A JP2001392305 A JP 2001392305A JP 2003241777 A JP2003241777 A JP 2003241777A
Authority
JP
Japan
Prior art keywords
frequency
level
spectrum
fourier transform
power line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001392305A
Other languages
English (en)
Inventor
Hiroshi Sato
浩 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawai Musical Instrument Manufacturing Co Ltd
Original Assignee
Kawai Musical Instrument Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawai Musical Instrument Manufacturing Co Ltd filed Critical Kawai Musical Instrument Manufacturing Co Ltd
Priority to JP2001392305A priority Critical patent/JP2003241777A/ja
Priority to US10/033,801 priority patent/US6660923B2/en
Publication of JP2003241777A publication Critical patent/JP2003241777A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00Instruments in which the tones are generated by electromechanical means
    • G10H3/12Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/161Logarithmic functions, scaling or conversion, e.g. to reflect human auditory perception of loudness or frequency
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/471General musical sound synthesis principles, i.e. sound category-independent synthesis methods
    • G10H2250/481Formant synthesis, i.e. simulating the human speech production mechanism by exciting formant resonators, e.g. mimicking vocal tract filtering as in LPC synthesis vocoders, wherein musical instruments may be used as excitation signal to the time-varying filter estimated from a singer's speech

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 元の楽音波形データの全体の特徴を忠実に反
映するフォルマント抽出方法、記録媒体及び楽音のフォ
ルマント抽出装置を提供せんとするものである。 【解決手段】 対象波形のパワー線スペクトルを抽出す
るパワー線スペクトル抽出部10と、サンプリング周波
数の半分の周波数まで、所定の周波数単位で、前記パワ
ー線スペクトルのレベル補間調整を行うレベル補間調整
部20と、記レベル補間調整されたものを高速フーリエ
変換すると共に、指定した係数によるレベル設定を行
い、得られた値を逆フーリエ変換するケプストラム解析
部30とを有している。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、サンプリングされ
た楽音波形データのフォルマントを抽出する方法、記録
媒体及び楽音のフォルマント抽出装置に関する。
【0002】
【従来の技術】楽音波形の特徴を表すものとして周波数
特性がある。一般的には、FFT(高速フーリエ変換)
により線スペクトルが求められ、それを周波数特性とし
ている。しかし細かな情報が多すぎて全体の特徴を捉え
るのが困難になる。
【0003】そこで、上記FFTにより得られた線スペ
クトルを滑らかにしてフォルマントを得、それを楽音波
形の周波数特性とする方が全体の特徴が分かり易く、波
形の加工などもやり易くなる。
【0004】このようなフォルマントを得る1つの方法
として、ケプストラム解析による求めることが考えられ
る。
【0005】ここで、ケプストラムとは、入力信号をF
FTし、その振幅スペクトルの対数を取った後に、逆F
FTを行ったものを言い、次元はケフランシと呼ばれる
ものとなる。ケフランシの次元は時間と同じである。ス
ペクトルの微細構造は、ケフランシの高い所に現れ、ス
ペクトル包絡(フォルマント)は、低い所に現れる。
【0006】ここでのケプストラム解析とは、ケフラン
シの次元で、ケフランシの低い部分だけを取り出し(以
下この取り出す時の最大ケフランシをケプストラム解析
の係数と呼ぶ)、FFTすることで、入力信号のフォル
マントを抽出することが、それに相当する。
【0007】図12は、ケプストラム解析の係数が80
の場合を、また図13は、ケプストラム解析の係数が4
0の場合を各示している。
【0008】
【発明が解決しようとする課題】しかし、このようなケ
プストラム解析を行っても、例えば図12のような場合
は、高調波による細かな変動が多く残っており、またピ
ークの位置やレベルが元と変わってきてしまっている。
係数を小さくして高調波による細かな変動分を減らす
と、図13のように大まかな変動も失われ、元のデータ
の特徴を表しているとは言えなくなる。
【0009】またケプストラム解析では、線スペクトル
の間の谷間の影響を受けて山が低くなり、高調波レベル
の細かな変動と共に、全体の大まかな変動も失われるこ
とになる。
【0010】さらに一般的な楽音においては、基音レベ
ルが最も大きく、周波数が高くなるに従って高調波のレ
ベルが小さくなるにも拘わらず、基音以下の谷間の影響
を受けて基音付近(特に基音以下の周波数成分)のレベ
ルが小さくなってしまうということが起きる。
【0011】本発明は、以上のような問題に鑑み創案さ
れたもので、元の楽音波形データの全体の特徴を忠実に
反映するフォルマントの抽出方法を提供し、併せてその
ようなフォルマント抽出方法を実行できるプログラムを
格納した記録媒体及び楽音のフォルマント抽出装置につ
いても提案するというものである。
【0012】
【課題を解決するための手段】そのため本発明に係る楽
音のフォルマント抽出方法は、対象波形のパワー線スペ
クトルを求めるステップと、サンプリング周波数の最大
限半分の周波数まで、所定の周波数単位で、前記パワー
線スペクトルのレベル補間調整を行うステップと、前記
レベル補間調整により高調波のピークをつなげたものを
高速フーリエ変換又は逆フーリエ変換するステップと、
指定した係数によるレベル設定を行って、後にフォルマ
ントとして得られるスペクトルの包絡線をスムース化す
るステップと、前記した係数によるレベル設定を行って
得られた値を逆フーリエ変換又は高速フーリエ変換し
て、前記スペクトルの包絡線を得るステップとを実行す
ることを基本的特徴としている。
【0013】上記構成によれば、高調波による細かな変
動の影響が無くなるだけでなく、ケプストラム解析を行
う前に、上述のようなレベル補間調整を行っているた
め、線スペクトルの間の谷間がなくなることで、山が低
くなったりすることもなく、さらに基音以下の谷間の影
響を受けて基音付近(特に基音以下の周波数成分)のレ
ベルが小さくなってしまうこともなくなって、ピークの
位置やレベルの点など全ての点で、元のデータの特徴を
表すフォルマントを得ることができるようになる。
【0014】尚、上記レベル補間調整を、サンプリング
周波数の最大限半分の周波数までとしているのは、サン
プリング定理よりくる上限だからである。その間であれ
ば、自由に設定することができる。
【0015】請求項2の構成は、上記レベル補間調整ス
テップにおけるレベル補間調整の1つのやり方を規定し
ており、その具体的構成は、上記対象波形の基音の前後
で一番レベルの大きいスペクトルの周波数F1及びレベ
ルL1を求め、上記パワー線スペクトルの0から該周波
数F1までのレベルを全てL1にし、以後サンプリング
周波数の最大限半分の周波数まで、基音周波数の整数倍
の周波数毎に、その周波数の前後で一番レベルの大きい
スペクトルの周波数Fn及びレベルLnを求め、その前
段でレベル調整の行われた周波数から周波数Fnまでの
間のレベルをレベルLn-1からレベルLnになるように
補間した値にする処理を繰り返し、さらに最後の高調波
の周波数FN及びレベルLNを求め、該周波数FNから
レベル補間調整のために設定された最後の周波数までの
レベルを全てLNに設定するというものであり、そのよ
うな構成により、高調波のピークをつなげるレベル補間
調整が行われ、結果的に、基音以下の谷間や線スペクト
ルの間の谷間がなくなることになる。
【0016】請求項3の構成も、上記レベル補間調整ス
テップにおけるレベル補間調整のやり方の他の例を規定
しており、その具体的構成は、上記対象波形の基音の前
後で一番レベルの大きいスペクトルの周波数F1及びレ
ベルL1を求め、上記パワー線スペクトルの0から該周
波数F1までのレベルを全てL1にし、以後サンプリン
グ周波数の最大限半分の周波数まで、その前段で求めた
周波数Fn-1に基音の周波数を加算した周波数の前後で
一番レベルの大きいスペクトルの周波数Fn及びレベル
Lnを求め、前段で求めた前記周波数Fn-1から周波数
Fnまでの間のレベルをレベルLn-1からレベルLnに
なるように補間した値にする処理を繰り返し、さらに最
後の高調波の周波数FN及びレベルLNを求め、該周波
数FNからレベル補間調整のために設定された最後の周
波数までのレベルを全てLNに設定するというものであ
り、そのような構成により、高調波のピークをつなげる
レベル補間調整が行われ、結果的に、基音以下の谷間や
線スペクトルの間の谷間がなくなることになる。
【0017】上記請求項2の構成との違いは、所定の周
波数単位で行われる前記パワー線スペクトルのレベル補
間調整のやり方が、基音周波数の整数倍の周波数毎では
なく、前段でレベル調整の行われた周波数に基音の周波
数を加算した周波数毎に行われる点である。請求項2の
ようなやり方では、周波数の高い位置で、フォルマント
形状が必ずしも高調波のピーク位置に一致せず、ずれを
生ずることがあるが、請求項3のやり方によれば、前段
のピーク点から基音の周波数を加算しながら、次のピー
ク点を算出しながら行っているため、フォルマント形状
が高調波のピーク位置に一致し、ずれを生ずることがな
いため、ピークの位置やレベルの点で、より忠実に元の
データの特徴を表すことができるようになる。
【0018】すなわち、ピアノのように高調波の次数が
高くなるに従って高調波の間隔が広がっていくようなデ
ータを、コンピュータにより一定区間毎にピークを抽出
しようとすると、図14の8kHz近辺のようにちょう
ど高調波の山の途中で抽出区間が分かれてしまい、うま
く高調波のピークを抽出できなくなってしまう問題があ
る。そのような場合でも、請求項3のような構成によっ
て、レベル補間調整を行えば、前段のピーク点から基音
の周波数を加算しながら、次のピーク点を算出し、レベ
ル補間調整を行っているため、フォルマント形状が高調
波のピーク位置に一致し、ずれを生ずることがなくなる
ようになる。
【0019】請求項4〜請求項6までの構成は、上記請
求項1〜請求項3までの構成に記載された処理を、コン
ピュータに実行させるために、該コンピュータで実行可
能なプログラムを格納した記録媒体を規定している。す
なわち、上述した課題を解決するための構成として、コ
ンピュータの構成を利用することで、上記処理を実行す
る、該コンピュータで読み込まれて実行可能なプログラ
ムを格納した記録媒体を開示する。もちろん、これらの
構成は、記録媒体の構成としてだけではなく、同様な機
能を達成するプログラムとして提供されても良いことは
言うまでもない。この場合、コンピュータとは中央演算
処理装置の構成を含んだ汎用的なコンピュータの構成の
他、特定の処理に向けられた専用機などを含むものであ
っても良く、中央演算処理装置の構成を伴うものであれ
ば特に限定はない。
【0020】このような記録媒体から、コンピュータに
上記処理を実行させるためのプログラムが該コンピュー
タに読み出されると、請求項1乃至請求項3に規定され
た処理と同様な処理が実行されることになる。
【0021】そのうち請求項4は、上記請求項1の構成
に対応しており、その具体的な構成は、コンピュータ
に、対象波形のパワー線スペクトルを求めるステップ
と、サンプリング周波数の最大限半分の周波数まで、所
定の周波数単位で、前記パワー線スペクトルのレベル補
間調整を行うステップと、前記レベル補間調整されたも
のを高速フーリエ変換又は逆フーリエ変換するステップ
と、指定した係数によるレベル設定を行うステップと、
前記した係数によるレベル設定を行って得られた値を逆
フーリエ変換又は高速フーリエ変換するステップとを実
行させるプログラムを格納したコンピュータ読み取り可
能な記録媒体である。
【0022】また請求項5の構成は、上記請求項2の構
成に対応している。すなわち該構成は、前記コンピュー
タで実行されるレベル補間調整ステップにおいて、上記
対象波形の基音の前後で一番レベルの大きいスペクトル
の周波数F1及びレベルL1を求め、上記パワー線スペ
クトルの0から該周波数F1までのレベルを全てL1に
し、以後サンプリング周波数の最大限半分の周波数ま
で、基音周波数の整数倍の周波数毎に、その周波数の前
後で一番レベルの大きいスペクトルの周波数Fn及びレ
ベルLnを求め、その前段でレベル調整の行われた周波
数から周波数Fnまでの間のレベルをレベルLn-1から
レベルLnになるように補間した値にする処理を繰り返
し、さらに最後の高調波の周波数FN及びレベルLNを
求め、該周波数FNからレベル補間調整のために設定さ
れた最後の周波数までのレベルを全てLNに設定するこ
とにより、高調波のピークをつなげるレベル補間調整を
行うことを特徴としている。
【0023】さらに請求項6の構成は、上記請求項3の
構成に対応している。すなわち該構成は、前記コンピュ
ータで実行されるレベル補間調整ステップにおいて、上
記対象波形の基音の前後で一番レベルの大きいスペクト
ルの周波数F1及びレベルL1を求め、上記パワー線ス
ペクトルの0から該周波数F1までのレベルを全てL1
にし、以後サンプリング周波数の最大限半分の周波数ま
で、その前段で求めた周波数Fn-1に基音の周波数を加
算した周波数の前後で一番レベルの大きいスペクトルの
周波数Fn及びレベルLnを求め、前段で求めた前記周
波数Fn-1から周波数Fnまでの間のレベルをレベルL
n-1からレベルLnになるように補間した値にする処理
を繰り返し、さらに最後の高調波の周波数FN及びレベ
ルLNを求め、該周波数FNからレベル補間調整のため
に設定された最後の周波数までのレベルを全てLNに設
定することにより、高調波のピークをつなげるレベル補
間調整を行うことを特徴としている。
【0024】このような記録媒体の構成により、請求項
1乃至請求項3に規定された処理の実行構成をソフトウ
ェア商品として配布することができるようになる。ま
た、既存のハードウェア資源を用いてこのソフトウェア
を使用することにより、既存のハードウェアで新たなア
プリケーションとしての本発明の上記構成が容易に実行
できるようになる。更にこのような記録媒体の構成の
他、RAMやROMなどの内部記憶装置の構成やハード
ディスクなどの外部記憶装置の構成も、そのようなプロ
グラムがそこに記録されれば、本発明に規定する記録媒
体に含まれることは言うまでもない。
【0025】尚、請求項4〜請求項6記載の各処理のう
ち一部の工程は、コンピュータに組み込まれた機能(コ
ンピュータにハードウェア的に組み込まれている機能で
も良く、該コンピュータに組み込まれているオペレーテ
ィングシステムや他のアプリケーションプログラムなど
によって実現される機能でも良い)によって実行され、
前記記録媒体に記録されたプログラムには、該コンピュ
ータによって実行される機能を呼び出すあるいはリンク
させる命令が含まれていても良い。
【0026】これは、請求項4〜請求項6に規定された
各処理の一部が、例えばオペレーティングシステムなど
によって達成される機能の一部で代行され、記録媒体に
はその機能を実現するためのプログラムないしモジュー
ルなどは直接記録されているわけではないが、それらの
機能を達成するオペレーティングシステムの機能の一部
を、呼び出したりリンクさせるようにしてあれば、実質
的に同じ構成となるからである。
【0027】さらに請求項7は、上記構成の装置構成を
規定するものであって、その具体的構成は、対象波形の
パワー線スペクトルを抽出するパワー線スペクトル抽出
手段と、サンプリング周波数の最大限半分の周波数ま
で、所定の周波数単位で、前記パワー線スペクトルのレ
ベル補間調整を行うレベル補間調整手段と、前記レベル
補間調整されたものを高速フーリエ変換又は逆フーリエ
変換すると共に、指定した係数によるレベル設定を行
い、得られた値を逆フーリエ変換又は高速フーリエ変換
するケプストラム解析手段とを有することを特徴として
いる。
【0028】
【発明の実施の形態】以下、本発明の実施の形態を図示
例と共に説明する。図1は、本発明の実施例構成を示し
ており、該構成は、パワー線スペクトル抽出部10と、
レベル補間調整部20と、ケプストラム解析部30とを
有しており、これらの構成で、本発明法法が実施される
ことになる。
【0029】すなわち、楽音波形データ(PCM波形デ
ータ)が、パワー線スペクトル抽出部10に入力される
と、そこで、パワー線スペクトルが抽出される。該スペ
クトルは、次にレベル補間調整部20に入力され、そこ
で、後述するレベル補間調整が行われる。そして該レベ
ル補間調整の行われたスペクトルは、ケプストラム解析
部30に入力され、そこでケプストラム解析が行われ、
フォルマントとして出力される。
【0030】上記パワー線スペクトル抽出部10は、入
力された波形データのパワー線スペクトルを抽出する構
成であって、波形ピッチ抽出部11と、高速フーリエ変
換処理(FFT)部12と、対数処理部13とにより構成
されている。
【0031】そのうち波形ピッチ抽出部11は、入力さ
れた上記波形データに対し、自己相関関数などで、その
基音ピッチを求める機能を有している。この基音ピッチ
を元に、高速フーリエ変換処理部12で高速フーリエ変
換を行い、そして振幅スペクトルの対数を取って、図2
に示すようなパワー線スペクトルを求める。
【0032】上記レベル補間調整部20は、高調波のピ
ークをつなげるレベル補間調整を行う構成であり、基音
側レベル調整部21と、高調波レベル調整部22と、最
終側レベル調整部23とにより構成されている。
【0033】そのうち基音側レベル調整部21は、上記
波形データの基音の前後で一番レベルの大きいスペクト
ルの周波数F1及びレベルL1を求め、上記パワー線ス
ペクトルの0から該周波数F1までのレベルを全てL1
にする機能を有している。これにより、高調波成分(基
音に対して整数倍音関係にある周波数成分)でない周波
数成分のうち、基音付近で基音よりも低い周波数成分の
レベルを維持することができる。
【0034】また高調波レベル調整部22は、サンプリ
ング周波数の半分の周波数(設定によりそれ以下の周波
数でも良い)まで、基音周波数の整数倍の周波数毎に、
その周波数の前後で一番レベルの大きいスペクトルの周
波数Fn及びレベルLnを求め、その前段でレベル調整
の行われた周波数から周波数Fnまでの間のレベルをレ
ベルLn-1からレベルLnになるように補間した値にす
る処理を繰り返す。
【0035】さらに最終側レベル調整部23は、最後の
高調波の周波数FN及びレベルLNを求め、該周波数F
Nからレベル補間調整のために設定された最後の周波数
までのレベルを全てLNに設定する機能を有している。
【0036】図3は、図2に示すスペクトルに対し、以
上のようなレベル補間調整処理が行われた状態を示して
いる。
【0037】上記ケプストラム解析部30は、上記のよ
うにしてレベル補間調整の行われたスペクトルを対象に
して、ケプストラム解析を行い、フォルマントとして抽
出する構成であって、高速フーリエ変換処理(FFT)部
31と、係数調整部32と、逆フーリエ変換処理(IF
FT)部33とにより構成されている。
【0038】そのうち上記高速フーリエ変換処理部31
は、レベル補間調整の行われたスペクトルを高速フーリ
エ変換する機能を有している。そもそもケプストラムと
は、パースペクトルの周波数軸上での周期性を見るため
の手法であって、次元として周波数の逆数を有する。従
ってここで、もう一度高速フーリエ変換を行うことにし
ているが、図3のようなレベル補間調整処理が行われた
スペクトルが、さらに高速フーリエ変換されると、図4
に示される出力結果が得られることになる。
【0039】ここで行われる処理は、上記高速フーリエ
変換処理部12と同じなので、係数を変えるだけで、基
本的に同じ回路構成乃至処理ルーチンを用いることがで
きる。また逆フーリエ変換は、フーリエ変換と同じ式で
表現でき、その係数が−か+かだけの違いである。従っ
て後述する逆フーリエ変換処理部33の構成も、上記構
成と共用できる。そのためこれら3つの構成は、他のフ
ィルタ処理用の特別ルーチンを設けることなく、同じ構
成(処理ルーチン)を用いることで、所望のパワースペ
クトルを得られるようになる。
【0040】また逆フーリエ変換が、係数が異なるだけ
で、基本的にフーリエ変換と同じ式で表現できるため、
この段階で、高速フーリエ変換処理部31による処理で
はなく、逆フーリエ変換処理を行う構成とすることもで
きる。その場合は、図5のような処理結果となって得ら
れる。
【0041】また係数調整部32は、指定した係数以上
のレベルを全て0にする処理を行う。これは、上述のよ
うに、スペクトルの微細構造は、ケフランシの高い所に
現れ、スペクトル包絡(フォルマント)は、低い所に現
れることになり、ケプストラム解析では、入力信号のフ
ォルマントを抽出することを目的とする場合、ケフラン
シの次元で、ケフランシの低い部分だけを取り出して、
逆FFT(或いはFFT)する必要があるからである。
尚、この係数は、任意の値に設定できるが、適当な値に
固定しておいても良い(例えばウィンドウサイズで5%
程度)。
【0042】さらに逆フーリエ変換処理部33は、上述
の係数によるレベル設定を行って得られた値を逆フーリ
エ変換する処理を行う機能を有している。すなわち、本
実施例では、ケプストラム解析で、2回目の変換処理を
高速フーリエ変換処理により行っており、最終的な包絡
線で表されるフォルマントを得るためには、元のパワー
線スペクトルに直す必要があるからである。
【0043】ケプストラム解析部30の上記高速フーリ
エ変換処理部31は、上述のように、逆フーリエ変換処
理を行う構成にしても、その処理における違いは、係数
が−か+かだけであるので、構わない。その構成を、逆
フーリエ変換処理を行う構成にした場合、上記逆フーリ
エ変換処理部33の構成の代わりに、高速フーリエ変換
処理を行う構成にする必要がある。
【0044】図6は、以上の本実施例による処理のステ
ップを示すフローチャートである。同図に示すように、
まず楽音波形データが入力され(ステップS101)、
最初に、波形ピッチ抽出部11により、入力された上記
波形データから、その基音ピッチが抽出される(ステッ
プS102)。
【0045】そして該基音ピッチを元に、高速フーリエ
変換処理部12によって、高速フーリエ変換が行われ
(ステップS103)、さらに振幅スペクトルの対数が
取られて(ステップS104)、パワー線スペクトルが
求められる。
【0046】次に基音側レベル調整部21によって、上
記波形データの基音の前後で一番レベルの大きいスペク
トルの周波数F1及びレベルL1が求められ(ステップ
S105)、上記パワー線スペクトルの0から該周波数
F1までのレベルが全てL1に設定される(ステップS
106)。
【0047】そして高調波レベル調整部22により、基
音周波数の整数倍の周波数毎に、その周波数の前後で一
番レベルの大きいスペクトルの周波数Fn及びレベルL
nが求められ(ステップS107)、その前段でレベル
調整の行われた周波数から周波数Fnまでの間のレベル
がレベルLn-1からレベルLnになるように補間した値
にする処理が行われる(ステップS108)。その後処
理対象周波数が最後の高調波の周波数FNに達したかが
チェックされる(ステップS109)。
【0048】該周波数に達していなければ(ステップS
109;No)、ステップS107に復帰して、以上の
処理を繰り返す。
【0049】反対に上記周波数に達していれば(ステッ
プS109;Yes)、最終側レベル調整部23によ
り、最後の高調波の周波数FN及びレベルLNが求めら
れ(ステップS110)、該周波数FNからレベル補間
調整のために設定された最後の周波数までのレベルが全
てLNに設定される(ステップS111)。
【0050】そして、上記高速フーリエ変換処理部31
により、レベル補間調整の行われたスペクトルが高速フ
ーリエ変換される(ステップS112)。
【0051】その後係数調整部32により、指定した係
数以上のレベルを全て0にする処理が行割れる(ステッ
プS113)。
【0052】最後に逆フーリエ変換処理部33により、
上述の係数によるレベル設定を行って得られた値を逆フ
ーリエ変換する処理が行われる(ステップS114)。
【0053】以上のようにして得られた結果は、包絡線
として示されるフォルマントとして得られることにな
る。図7は、上記係数を80に設定して得られたフォル
マント抽出結果を、図8は、該係数を40に設定して得
られたフォルマント抽出結果を、各示している。
【0054】他方、上記レベル補間調整部20の高調波
レベル調整部22における所定の周波数単位で行われる
前記パワー線スペクトルのレベル補間調整のやり方に関
し、上記実施例のような基音周波数の整数倍の周波数毎
ではなく、前段で求めた周波数に基音の周波数を加算し
た周波数毎に行われるようにすれば、図9及び図10の
ような結果が得られるようになる。
【0055】図9は、上記係数を80に設定して得られ
たフォルマント抽出結果を、図10は、該係数を40に
設定して得られたフォルマント抽出結果を、各示してい
る。
【0056】尚、このような高調波レベル調整部22に
よるレベル補間調整が行われ得られた高調波のピークを
結んだ後の特性は、図11に示されるようになり、前記
図14の8kHzあたりに現れたフォルマント形状が高
調波のピーク位置に一致しないずれの問題が改善されて
いることが分かる。これは、前段のピーク点から基音の
周波数を加算しながら、次のピーク点を算出しながら行
っているため、フォルマント形状が高調波のピーク位置
に一致し、ずれを生ずることがないからであると推測さ
れる。
【0057】このように、基音付近(特に基音以下の周
波数成分)が小さくならず、波形自体が持つ高調波のレ
ベルを忠実に反映しており、且つ大まかな周波数特性の
形を表しており、元のパワー線スペクトルの特徴を良く
表したフォルマントデータを得ることができるようにな
る。
【0058】尚、本発明の構成は、上述の実施例にのみ
限定されるものではなく、本発明の要旨を逸脱しない範
囲内において種々変更を加え得ることは勿論である。例
えば、その構成は、カラオケや電子楽器或いはコンピュ
ータ用の音源などに適用することで、サンプリングされ
た楽音波形データ全体の特徴を忠実に反映するフォルマ
ントが抽出できるようになる。従って、そのような構成
が適用されれば、例えばフランクシナトラの歌声で歌唱
したり、電子楽器から楽音を発生できるなど、これまで
のカラオケや電子楽器などにはできなかった新たな音響
効果を付加することができるようになる。
【0059】
【発明の効果】以上、説明したように本発明の請求項1
〜7記載の楽音のフォルマント抽出方法、記録媒体及び
楽音のフォルマント抽出装置によれば、基音付近(特に
基音以下の周波数成分)が小さくならず、波形自体が持
つ高調波のレベルを忠実に反映しており、且つ大まかな
周波数特性の形を表しており、元のパワー線スペクトル
の特徴を良く表したフォルマントデータを得ることがで
きるようになるという優れた効果を奏し得る。
【図面の簡単な説明】
【図1】本発明の実施例構成を示す機能ブロック図であ
る。
【図2】パワー線スペクトル抽出部10により抽出され
たパワー線スペクトルを示す波形図である。
【図3】図2に示すスペクトルに対し、レベル補間調整
処理が行われた状態を示す波形図である。
【図4】レベル補間調整処理が行われたスペクトルを高
速フーリエ変換した状態を示す波形図である。
【図5】レベル補間調整処理が行われたスペクトルを逆
フーリエ変換した状態を示す波形図である。
【図6】本実施例による処理のステップを示すフローチ
ャートである。
【図7】係数を80に設定して得られたフォルマント抽
出結果を示す波形図である。
【図8】係数を40に設定して得られたフォルマント抽
出結果を示す波形図である。
【図9】所定の周波数単位で行われるパワー線スペクト
ルのレベル補間調整のやり方を、前段で求めた周波数に
基音の周波数を加算した周波数毎に行われるようにした
場合に、係数を80に設定して得られたフォルマント抽
出結果を示す波形図である。
【図10】同様にして前段で求めた周波数に基音の周波
数を加算した周波数毎に行われるようにした場合に、係
数を40に設定して得られたフォルマント抽出結果を示
す波形図である。
【図11】上記のようにしてレベル補間調整が行われて
得られた高調波のピークを結んだ後の特性を示す波形図
である。
【図12】従来のケプストラム解析が行われた場合に、
その係数を80に設定して得られたパワー線スペクトル
を示す波形図である。
【図13】同じく従来のケプストラム解析が行われた場
合に、その係数を40に設定して得られたパワー線スペ
クトルを示す波形図である。
【図14】高調波の次数が高くなるに従って高調波の間
隔が広がっていくようなデータを、コンピュータにより
一定区間毎にピークを抽出した状態を示すパワー線スペ
クトル及び包絡線の状態を示す波形図である。
【符号の説明】
10 パワー線スペクトル抽出部 11 波形ピッチ抽出部 12 高速フーリエ変換処理部 13 対数処理部 20 レベル補間調整部 21 基音側レベル調整部 22 高調波レベル調整部 23 最終側レベル調整部 30 ケプストラム解析部 31 高速フーリエ変換処理部 32 係数調整部 33 逆フーリエ変換処理部

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 対象波形のパワー線スペクトルを求める
    ステップと、 サンプリング周波数の最大限半分の周波数まで、所定の
    周波数単位で、前記パワー線スペクトルのレベル補間調
    整を行うステップと、 前記レベル補間調整されたものを高速フーリエ変換又は
    逆フーリエ変換するステップと、 指定した係数によるレベル設定を行うステップと、 前記した係数によるレベル設定を行って得られた値を逆
    フーリエ変換又は高速フーリエ変換するステップとを実
    行することを特徴とする楽音のフォルマント抽出方法。
  2. 【請求項2】 前記レベル補間調整ステップにおいて、
    上記対象波形の基音の前後で一番レベルの大きいスペク
    トルの周波数F1及びレベルL1を求め、上記パワー線
    スペクトルの0から該周波数F1までのレベルを全てL
    1にし、以後サンプリング周波数の最大限半分の周波数
    まで、基音周波数の整数倍の周波数毎に、その周波数の
    前後で一番レベルの大きいスペクトルの周波数Fn及び
    レベルLnを求め、その前段でレベル調整の行われた周
    波数から周波数Fnまでの間のレベルをレベルLn-1か
    らレベルLnになるように補間した値にする処理を繰り
    返し、さらに最後の高調波の周波数FN及びレベルLN
    を求め、該周波数FNからレベル補間調整のために設定
    された最後の周波数までのレベルを全てLNに設定する
    ことにより、高調波のピークをつなげるレベル補間調整
    を行うことを特徴とする請求項1記載の楽音のフォルマ
    ント抽出方法。
  3. 【請求項3】 前記レベル補間調整ステップにおいて、
    上記対象波形の基音の前後で一番レベルの大きいスペク
    トルの周波数F1及びレベルL1を求め、上記パワー線
    スペクトルの0から該周波数F1までのレベルを全てL
    1にし、以後サンプリング周波数の最大限半分の周波数
    まで、その前段で求めた周波数Fn-1に基音の周波数を
    加算した周波数の前後で一番レベルの大きいスペクトル
    の周波数Fn及びレベルLnを求め、前段で求めた前記
    周波数Fn-1から周波数Fnまでの間のレベルをレベル
    Ln-1からレベルLnになるように補間した値にする処
    理を繰り返し、さらに最後の高調波の周波数FN及びレ
    ベルLNを求め、該周波数FNからレベル補間調整のた
    めに設定された最後の周波数までのレベルを全てLNに
    設定することにより、高調波のピークをつなげるレベル
    補間調整を行うことを特徴とする請求項1記載の楽音の
    フォルマント抽出方法。
  4. 【請求項4】 コンピュータに、 対象波形のパワー線スペクトルを求めるステップと、 サンプリング周波数の最大限半分の周波数まで、所定の
    周波数単位で、前記パワー線スペクトルのレベル補間調
    整を行うステップと、 前記レベル補間調整されたものを高速フーリエ変換又は
    逆フーリエ変換するステップと、 指定した係数によるレベル設定を行うステップと、 前記した係数によるレベル設定を行って得られた値を逆
    フーリエ変換又は高速フーリエ変換するステップとを実
    行させるプログラムを記録したコンピュータ読み取り可
    能な記録媒体。
  5. 【請求項5】 前記レベル補間調整ステップにおいて、
    上記対象波形の基音の前後で一番レベルの大きいスペク
    トルの周波数F1及びレベルL1を求め、上記パワー線
    スペクトルの0から該周波数F1までのレベルを全てL
    1にし、以後サンプリング周波数の最大限半分の周波数
    まで、基音周波数の整数倍の周波数毎に、その周波数の
    前後で一番レベルの大きいスペクトルの周波数Fn及び
    レベルLnを求め、その前段でレベル調整の行われた周
    波数から周波数Fnまでの間のレベルをレベルLn-1か
    らレベルLnになるように補間した値にする処理を繰り
    返し、さらに最後の高調波の周波数FN及びレベルLN
    を求め、該周波数FNからレベル補間調整のために設定
    された最後の周波数までのレベルを全てLNに設定する
    ことにより、高調波のピークをつなげるレベル補間調整
    を行うことを特徴とする請求項4記載のコンピュータ読
    み取り可能な記録媒体。
  6. 【請求項6】 前記レベル補間調整ステップにおいて、
    上記対象波形の基音の前後で一番レベルの大きいスペク
    トルの周波数F1及びレベルL1を求め、上記パワー線
    スペクトルの0から該周波数F1までのレベルを全てL
    1にし、以後サンプリング周波数の最大限半分の周波数
    まで、その前段で求めた周波数Fn-1に基音の周波数を
    加算した周波数の前後で一番レベルの大きいスペクトル
    の周波数Fn及びレベルLnを求め、前段で求めた前記
    周波数Fn-1から周波数Fnまでの間のレベルをレベル
    Ln-1からレベルLnになるように補間した値にする処
    理を繰り返し、さらに最後の高調波の周波数FN及びレ
    ベルLNを求め、該周波数FNからレベル補間調整のた
    めに設定された最後の周波数までのレベルを全てLNに
    設定することにより、高調波のピークをつなげるレベル
    補間調整を行うことを特徴とする請求項4記載のコンピ
    ュータ読み取り可能な記録媒体。
  7. 【請求項7】 対象波形のパワー線スペクトルを抽出す
    るパワー線スペクトル抽出手段と、 サンプリング周波数の最大限半分の周波数まで、所定の
    周波数単位で、前記パワー線スペクトルのレベル補間調
    整を行うレベル補間調整手段と、 前記レベル補間調整されたものを高速フーリエ変換又は
    逆フーリエ変換すると共に、指定した係数によるレベル
    設定を行い、得られた値を逆フーリエ変換又は高速フー
    リエ変換するケプストラム解析手段とを有することを特
    徴とする楽音のフォルマント抽出装置。
JP2001392305A 2001-01-09 2001-12-25 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置 Pending JP2003241777A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001392305A JP2003241777A (ja) 2001-01-09 2001-12-25 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置
US10/033,801 US6660923B2 (en) 2001-01-09 2002-01-03 Method for extracting the formant of a musical tone, recording medium and apparatus for extracting the formant of a musical tone

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2001-1409 2001-01-09
JP2001001409 2001-01-09
JP2001375423 2001-12-10
JP2001-375423 2001-12-10
JP2001392305A JP2003241777A (ja) 2001-01-09 2001-12-25 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置

Publications (1)

Publication Number Publication Date
JP2003241777A true JP2003241777A (ja) 2003-08-29

Family

ID=27345668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001392305A Pending JP2003241777A (ja) 2001-01-09 2001-12-25 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置

Country Status (2)

Country Link
US (1) US6660923B2 (ja)
JP (1) JP2003241777A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027983B2 (en) * 2001-12-31 2006-04-11 Nellymoser, Inc. System and method for generating an identification signal for electronic devices
JP2013239973A (ja) * 2012-05-16 2013-11-28 Yamaha Corp 音声信号の倍音付加装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1250368A (en) * 1985-05-28 1989-02-21 Tetsu Taguchi Formant extractor
JP3349858B2 (ja) 1995-02-20 2002-11-25 松下電器産業株式会社 音声符号化装置
JP2932996B2 (ja) 1996-02-07 1999-08-09 日本電気株式会社 高調波ピッチ検出装置
JP3266819B2 (ja) * 1996-07-30 2002-03-18 株式会社エイ・ティ・アール人間情報通信研究所 周期信号変換方法、音変換方法および信号分析方法
US6195632B1 (en) * 1998-11-25 2001-02-27 Matsushita Electric Industrial Co., Ltd. Extracting formant-based source-filter data for coding and synthesis employing cost function and inverse filtering

Also Published As

Publication number Publication date
US20020124713A1 (en) 2002-09-12
US6660923B2 (en) 2003-12-09

Similar Documents

Publication Publication Date Title
RU2487426C2 (ru) Устройство и способ преобразования звукового сигнала в параметрическое представление, устройство и способ модификации параметрического представления, устройство и способ синтеза параметрического представления звукового сигнала
CN111383646B (zh) 一种语音信号变换方法、装置、设备和存储介质
US8996363B2 (en) Apparatus and method for determining a plurality of local center of gravity frequencies of a spectrum of an audio signal
JP2018521366A (ja) 音響信号をサウンドオブジェクトに分解する方法及びシステム、サウンドオブジェクト及びその利用
JP4170217B2 (ja) ピッチ波形信号生成装置、ピッチ波形信号生成方法及びプログラム
JP2009042716A (ja) 周期信号処理方法、周期信号変換方法および周期信号処理装置ならびに周期信号の分析方法
CN108269579B (zh) 语音数据处理方法、装置、电子设备及可读存储介质
JP2010210758A (ja) 音声を含む信号の処理方法及び装置
US8750530B2 (en) Method and arrangement for processing audio data, and a corresponding corresponding computer-readable storage medium
US8492639B2 (en) Audio processing apparatus and method
JP2012208177A (ja) 帯域拡張装置及び音声補正装置
JP4455701B2 (ja) 音声信号処理装置および音声信号処理方法
JP2008072600A (ja) 音響信号処理装置、音響信号処理プログラム、音響信号処理方法
JP2003241777A (ja) 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置
Arroabarren et al. Instantaneous frequency and amplitude of vibrato in singing voice
CN113113033A (zh) 一种音频处理方法、设备及可读存储介质
JP5163606B2 (ja) 音声分析合成装置、及びプログラム
JP4513556B2 (ja) 音声分析合成装置、及びプログラム
CN112420004A (zh) 生成歌曲的方法、装置、电子设备及计算机可读存储介质
JP2020194098A (ja) 推定モデル確立方法、推定モデル確立装置、プログラムおよび訓練データ準備方法
JP7298702B2 (ja) 音響信号解析方法、音響信号解析システムおよびプログラム
WO2023170756A1 (ja) 音響処理方法、音響処理システムおよびプログラム
JP5211437B2 (ja) 音声処理装置およびプログラム
JP2016028269A (ja) 音響信号の符号化装置
JP3592617B2 (ja) 音声合成方法、その装置及びそのプログラム記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061205