JP2002215142A - 音響信号の符号化方法 - Google Patents

音響信号の符号化方法

Info

Publication number
JP2002215142A
JP2002215142A JP2001008750A JP2001008750A JP2002215142A JP 2002215142 A JP2002215142 A JP 2002215142A JP 2001008750 A JP2001008750 A JP 2001008750A JP 2001008750 A JP2001008750 A JP 2001008750A JP 2002215142 A JP2002215142 A JP 2002215142A
Authority
JP
Japan
Prior art keywords
phoneme data
data
section
intensity value
phoneme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001008750A
Other languages
English (en)
Inventor
Toshio Motegi
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2001008750A priority Critical patent/JP2002215142A/ja
Publication of JP2002215142A publication Critical patent/JP2002215142A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 各単位区間においては、強度値が小さい音素
であっても、重要な音の一部となっている音素を欠落さ
せることなく、精度の高い符号化を行うことが可能な音
響信号の符号化方法を提供する。 【解決手段】時系列の音響信号に対して単位区間を設定
し、単位区間ごとに信号解析を行って、周波数、強度
値、区間開始時刻、区間終了時刻からなる音素データを
作成する。音素データの作成時に、強度値の大きい所定
数分の音素データには優先マークを付与しておく。作成
された音素データのうち、信号レベルが0であると判断
されるもの(網掛けで示す)は、連結対象から外され
る。残った有効音素データ(網掛けされていない矩形、
例としてA1、A2、A3)のうち、周波数(ノートナ
ンバー)が同一であって、時間方向に連続するものを統
合して連結音素データ(A)を作成する。連結音素デー
タのうち、優先マークが付与されているものだけを符号
データとして出力する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、放送メディア(ラジ
オ、テレビ)、通信メディア(CS映像・音声配信、イ
ンターネット音楽配信、通信カラオケ)、パッケージメ
ディア(CD、MD、カセット、ビデオ、LD、CD−
ROM、ゲームカセット、携帯音楽プレーヤ向け固体メ
モリ媒体)などで提供する各種オーディオコンテンツの
制作、並びに、専用携帯音楽プレーヤ、携帯電話・PH
S・ポケベルなどに向けたボーカルを含む音楽コンテン
ツ、歌舞伎・能・読経・詩歌など文芸作品の音声素材ま
たは語学教育音声教材のMIDI伝送に利用するのに好
適な音響信号の符号化技術に関する。
【0002】
【従来の技術】音響信号に代表される時系列信号には、
その構成要素として複数の周期信号が含まれている。こ
のため、与えられた時系列信号にどのような周期信号が
含まれているかを解析する手法は、古くから知られてい
る。例えば、フーリエ解析は、与えられた時系列信号に
含まれる周波数成分を解析するための方法として広く利
用されている。
【0003】このような時系列信号の解析方法を利用す
れば、音響信号を符号化することも可能である。コンピ
ュータの普及により、原音となるアナログ音響信号を所
定のサンプリング周波数でサンプリングし、各サンプリ
ング時の信号強度を量子化してデジタルデータとして取
り込むことが容易にできるようになってきており、こう
して取り込んだデジタルデータに対してフーリエ解析な
どの手法を適用し、原音信号に含まれていた周波数成分
を抽出すれば、各周波数成分を示す符号によって原音信
号の符号化が可能になる。
【0004】一方、電子楽器による楽器音を符号化しよ
うという発想から生まれたMIDI(Musical Instrume
nt Digital Interface)規格も、パーソナルコンピュー
タの普及とともに盛んに利用されるようになってきてい
る。このMIDI規格による符号データ(以下、MID
Iデータという)は、基本的には、楽器のどの鍵盤キー
を、どの程度の強さで弾いたか、という楽器演奏の操作
を記述したデータであり、このMIDIデータ自身に
は、実際の音の波形は含まれていない。そのため、実際
の音を再生する場合には、楽器音の波形を記憶したMI
DI音源が別途必要になるが、その符号化効率の高さが
注目を集めており、MIDI規格による符号化および復
号化の技術は、現在、パーソナルコンピュータを用いて
楽器演奏、楽器練習、作曲などを行うソフトウェアに広
く採り入れられている。
【0005】そこで、音響信号に代表される時系列信号
に対して、所定の手法で解析を行うことにより、その構
成要素となる周期信号を抽出し、抽出した周期信号をM
IDIデータを用いて符号化しようとする提案がなされ
ている。例えば、特開平10−247099号公報、特
開平11−73199号公報、特開平11−73200
号公報、特開平11−95753号公報、特開2000
−99009号公報、特開2000−99092号公
報、特開2000−99093号公報、特開2000−
261322号公報、特願平11−177875号明細
書、特願平11−329297号明細書には、任意の時
系列信号について、構成要素となる周波数を解析し、そ
の解析結果からMIDIデータを作成することができる
種々の方法が提案されている。
【0006】
【発明が解決しようとする課題】上記各公報または明細
書において提案してきたMIDI符号化方式により、演
奏録音等から得られる音響信号の効率的な符号化が可能
になった。従来の符号化方式では、特開平11−957
53号公報において開示されているように、単位区間ご
とに周波数解析を行って得られる音素(本明細書では、
周波数とその周波数に対応する強度の組を音素と呼ぶこ
とにする)を所定数に選別する手法をとっている。これ
は、通常のMIDI音源では同時発音数が16〜64と
いう制約があるため、解析により得られる音素をこれに
合わせなければならないからである。そのため、各単位
区間ごとに、その強度値を基準にして16程度に選別を
行っている。
【0007】しかしながら、このように単位区間ごとに
選別を行うと、全体における音素の役割が考慮されてい
ないため、音の立ち上がり、あるいは終了部分などのよ
うに、ある単位区間においては強度値が小さいが、重要
な音の一部であるようなものでも削除されてしまうこと
になり、精度の良い符号化を行うことができない。
【0008】上記のような点に鑑み、本発明は、各単位
区間においては、強度値が小さい音素であっても、重要
な音の一部となっている音素を欠落させることなく、精
度の高い符号化を行うことが可能な音響信号の符号化方
法を提供することを課題とする。
【0009】
【課題を解決するための手段】上記課題を解決するた
め、本発明では、与えられた音響信号に対して時間軸上
に複数の単位区間を設定し、設定された単位区間におけ
る音響信号と複数の周期関数との相関を求めることによ
り各周期関数に対応した強度値を算出し、各周期関数が
有する周波数と、前記各周期関数に対応した強度値と、
単位区間の始点に対応する区間開始時刻と、単位区間の
終点に対応する区間終了時刻で構成される音素データを
算出すると共に、強度値が大きい順に所定数の音素デー
タに優先マークを付与し、音素データの算出および優先
マークの付与処理を全単位区間に対して行うことにより
得られる全音素データから、強度値が所定値に達してい
ないものを削除して、残りの音素データを有効な強度値
を有する有効音素データとして抽出し、抽出された有効
音素データに対して、周波数が同一であって、区間が連
続するものを連結して連結音素データとし、連結音素デ
ータの属性として、強度値は構成する有効音素データの
最大強度値を与え、開始時刻は先頭の有効音素データの
区間開始時刻を与え、終了時刻は最後尾の有効音素デー
タの区間終了時刻を与えると共に、連結音素データを構
成する有効音素データのうち、最大の強度値を有する有
効音素データに優先マークが付されている場合に、当該
連結音素データに優先マークを付与し、得られた連結音
素データの内、優先マークが付与されていないものを削
除し、残りの連結音素データの集合により音響信号を表
現するようにしたことを特徴とする。本発明によれば、
音響信号に対して単位区間ごとに周波数解析を行なっ
て、各周波数に対応する強度値を算出し、この時点で強
度値の高い音素から所定数分について優先マークを付与
し、各音素を時間軸方向に連結した後、優先マークに従
って残すべき音素を決定し、残った音素を符号化するこ
とにより、音響信号を表現するようにしたので、各単位
区間においては、強度値が小さい音素であっても、重要
な音の一部となっている音素を欠落させることなく、精
度の高い符号化を行うことが可能となる。
【0010】
【発明の実施の形態】以下、本発明の実施形態について
図面を参照して詳細に説明する。
【0011】(音響信号符号化方法の基本原理)はじめ
に、本発明に係る音響信号の符号化方法の基本原理を述
べておく。この基本原理は、前掲の各公報あるいは明細
書に開示されているので、ここではその概要のみを簡単
に述べることにする。
【0012】図1(a)に示すように、時系列信号とし
てアナログ音響信号が与えられたものとする。図1の例
では、横軸に時間t、縦軸に振幅(強度)をとって、こ
の音響信号を示している。ここでは、まずこのアナログ
音響信号を、デジタルの音響データとして取り込む処理
を行う。これは、従来の一般的なPCMの手法を用い、
所定のサンプリング周波数でこのアナログ音響信号をサ
ンプリングし、振幅を所定の量子化ビット数を用いてデ
ジタルデータに変換する処理を行えば良い。ここでは、
説明の便宜上、PCMの手法でデジタル化した音響デー
タの波形も図1(a)のアナログ音響信号と同一の波形
で示すことにする。
【0013】続いて、この解析対象となる音響信号の時
間軸上に、複数の単位区間を設定する。図1(a)に示
す例では、時間軸t上に等間隔に6つの時刻t1〜t6
が定義され、これら各時刻を始点および終点とする5つ
の単位区間d1〜d5が設定されている。図1の例で
は、全て同一の区間長をもった単位区間が設定されてい
るが、個々の単位区間ごとに区間長を変えるようにして
もかまわない。あるいは、隣接する単位区間が時間軸上
で部分的に重なり合うような区間設定を行ってもかまわ
ない。
【0014】こうして単位区間が設定されたら、各単位
区間ごとの音響信号(以下、区間信号と呼ぶことにす
る)について、それぞれ代表周波数を選出する。各区間
信号には、通常、様々な周波数成分が含まれているが、
例えば、その中で成分の強度割合の大きな周波数成分を
代表周波数として選出すれば良い。ここで、代表周波数
とはいわゆる基本周波数が一般的であるが、音声のフォ
ルマント周波数などの倍音周波数や、ノイズ音源のピー
ク周波数も代表周波数として扱うことがある。代表周波
数は1つだけ選出しても良いが、音響信号によっては複
数の代表周波数を選出した方が、より精度の高い符号化
が可能になる。図1(b)には、個々の単位区間ごとに
それぞれ3つの代表周波数を選出し、1つの代表周波数
を1つの代表符号(図では便宜上、音符として示してあ
る)として符号化した例が示されている。ここでは、代
表符号(音符)を収容するために3つのトラックT1,
T2,T3が設けられているが、これは個々の単位区間
ごとに選出された3つずつの代表符号を、それぞれ異な
るトラックに収容するためである。
【0015】例えば、単位区間d1について選出された
代表符号n(d1,1),n(d1,2),n(d1,
3)は、それぞれトラックT1,T2,T3に収容され
ている。ここで、各符号n(d1,1),n(d1,
2),n(d1,3)は、MIDI符号におけるノート
ナンバーを示す符号である。MIDI符号におけるノー
トナンバーは、0〜127までの128通りの値をと
り、それぞれピアノの鍵盤の1つのキーを示すことにな
る。具体的には、例えば、代表周波数として440Hz
が選出された場合、この周波数はノートナンバーn=6
9(ピアノの鍵盤中央の「ラ音(A3音)」に対応)に
相当するので、代表符号としては、n=69が選出され
ることになる。もっとも、図1(b)は、上述の方法に
よって得られる代表符号を音符の形式で示した概念図で
あり、実際には、各音符にはそれぞれ強度に関するデー
タも付加されている。例えば、トラックT1には、ノー
トナンバーn(d1,1),n(d2,1)・・・なる
音高を示すデータとともに、e(d1,1),e(d
2,1)・・・なる強度を示すデータが収容されること
になる。この強度を示すデータは、各代表周波数の成分
が、元の区間信号にどの程度の度合いで含まれていたか
によって決定される。具体的には、各代表周波数をもっ
た周期関数の区間信号に対する相関値に基づいて強度を
示すデータが決定されることになる。また、図1(b)
に示す概念図では、音符の横方向の位置によって、個々
の単位区間の時間軸上での位置が示されているが、実際
には、この時間軸上での位置を正確に数値として示すデ
ータが各音符に付加されていることになる。
【0016】音響信号を符号化する形式としては、必ず
しもMIDI形式を採用する必要はないが、この種の符
号化形式としてはMIDI形式が最も普及しているた
め、実用上はMIDI形式の符号データを用いるのが好
ましい。MIDI形式では、「ノートオン」データもし
くは「ノートオフ」データが、「デルタタイム」データ
を介在させながら存在する。「ノートオン」データは、
特定のノートナンバーNとベロシティーVを指定して特
定の音の演奏開始を指示するデータであり、「ノートオ
フ」データは、特定のノートナンバーNとベロシティー
Vを指定して特定の音の演奏終了を指示するデータであ
る。また、「デルタタイム」データは、所定の時間間隔
を示すデータである。ベロシティーVは、例えば、ピア
ノの鍵盤などを押し下げる速度(ノートオン時のベロシ
ティー)および鍵盤から指を離す速度(ノートオフ時の
ベロシティー)を示すパラメータであり、特定の音の演
奏開始操作もしくは演奏終了操作の強さを示すことにな
る。
【0017】前述の方法では、第i番目の単位区間di
について、代表符号としてJ個のノートナンバーn(d
i,1),n(di,2),・・・,n(di,J)が
得られ、このそれぞれについて強度e(di,1),e
(di,2),・・・,e(di,J)が得られる。そ
こで、次のような手法により、MIDI形式の符号デー
タを作成することができる。まず、「ノートオン」デー
タもしくは「ノートオフ」データの中で記述するノート
ナンバーNとしては、得られたノートナンバーn(d
i,1),n(di,2),・・・,n(di,J)を
そのまま用いれば良い。一方、「ノートオン」データも
しくは「ノートオフ」データの中で記述するベロシティ
ーVとしては、得られた強度e(di,1),e(d
i,2),・・・,e(di,J)を所定の方法で規格
化した値を用いれば良い。また、「デルタタイム」デー
タは、各単位区間の長さに応じて設定すれば良い。
【0018】(周期関数との相関を求める具体的な方
法)上述した基本原理の基づく方法では、区間信号に対
して、1つまたは複数の代表周波数が選出され、この代
表周波数をもった周期信号によって、当該区間信号が表
現されることになる。ここで、選出される代表周波数
は、文字どおり、当該単位区間内の信号成分を代表する
周波数である。この代表周波数を選出する具体的な方法
には、後述するように、短時間フーリエ変換を利用する
方法と、一般化調和解析の手法を利用する方法とがあ
る。いずれの方法も、基本的な考え方は同じであり、あ
らかじめ周波数の異なる複数の周期関数を用意してお
き、これら複数の周期関数の中から、当該単位区間内の
区間信号に対する相関が高い周期関数を見つけ出し、こ
の相関の高い周期関数の周波数を代表周波数として選出
する、という手法を採ることになる。すなわち、代表周
波数を選出する際には、あらかじめ用意された複数の周
期関数と、単位区間内の区間信号との相関を求める演算
を行うことになる。そこで、ここでは、周期関数との相
関を求める具体的な方法を述べておく。
【0019】複数の周期関数として、図2に示すような
三角関数が用意されているものとする。これらの三角関
数は、同一周波数をもった正弦関数と余弦関数との対か
ら構成されており、128通りの標準周波数f(0)〜
f(127)のそれぞれについて、正弦関数および余弦
関数の対が定義されていることになる。ここでは、同一
の周波数をもった正弦関数および余弦関数からなる一対
の関数を、当該周波数についての周期関数として定義す
ることにする。すなわち、ある特定の周波数についての
周期関数は、一対の正弦関数および余弦関数によって構
成されることになる。このように、一対の正弦関数と余
弦関数とにより周期関数を定義するのは、信号に対する
周期関数の相関値を求める際に、相関値が位相の影響を
受ける事を考慮するためである。なお、図2に示す各三
角関数内の変数Fおよびkは、区間信号Xについてのサ
ンプリング周波数Fおよびサンプル番号kに相当する変
数である。例えば、周波数f(0)についての正弦波
は、sin(2πf(0)k/F)で示され、任意のサ
ンプル番号kを与えると、区間信号を構成する第k番目
のサンプルと同一時間位置における周期関数の振幅値が
得られる。
【0020】ここでは、128通りの標準周波数f
(0)〜f(127)を図3に示すような式で定義した
例を示すことにする。すなわち、第n番目(0≦n≦1
27)の標準周波数f(n)は、以下に示す(数式1)
で定義されることになる。
【0021】(数式1) f(n)=440×2γ (n) γ(n)=(n−69)/12
【0022】このような式によって標準周波数を定義し
ておくと、最終的にMIDIデータを用いた符号化を行
う際に便利である。なぜなら、このような定義によって
設定される128通りの標準周波数f(0)〜f(12
7)は、等比級数をなす周波数値をとることになり、M
IDIデータで利用されるノートナンバーに対応した周
波数になるからである。したがって、図2に示す128
通りの標準周波数f(0)〜f(127)は、対数尺度
で示した周波数軸上に等間隔(MIDIにおける半音単
位)に設定した周波数ということになる。
【0023】続いて、任意の区間の区間信号に対する各
周期関数の相関の求め方について、具体的な説明を行
う。例えば、図4に示すように、ある単位区間dについ
て区間信号Xが与えられていたとする。ここでは、区間
長Lをもった単位区間dについて、サンプリング周波数
Fでサンプリングが行なわれており、全部でw個のサン
プル値が得られているものとし、サンプル番号を図示の
ように、0,1,2,3,・・・,k,・・・,w−
2,w−1とする(白丸で示す第w番目のサンプルは、
右に隣接する次の単位区間の先頭に含まれるサンプルと
する)。この場合、任意のサンプル番号kについては、
X(k)なる振幅値がデジタルデータとして与えられて
いることになる。短時間フーリエ変換においては、X
(k)に対して各サンプルごとに中央の重みが1に近
く、両端の重みが0に近くなるような窓関数W(k)を
乗ずることが通常である。すなわち、X(k)×W
(k)をX(k)と扱って以下のような相関計算を行う
もので、窓関数の形状としては余弦波形状のハミング窓
が一般に用いられている。ここで、wは以下の記述にお
いても定数のような記載をしているが、一般にはnの値
に応じて変化させ、区間長Lを超えない範囲で最大とな
るF/f(n)の整数倍の値に設定することが望まし
い。
【0024】このような区間信号Xに対して、第n番目
の標準周波数f(n)をもった正弦関数Rnとの相関値
を求める原理を示す。両者の相関値A(n)は、図5の
第1の演算式によって定義することができる。ここで、
X(k)は、図4に示すように、区間信号Xにおけるサ
ンプル番号kの振幅値であり、sin(2πf(n)k
/F)は、時間軸上での同位置における正弦関数Rnの
振幅値である。この第1の演算式は、単位区間d内の全
サンプル番号k=0〜w−1の次元について、それぞれ
区間信号Xの振幅値と正弦関数Rnの振幅ベクトルの内
積を求める式ということができる。
【0025】同様に、図5の第2の演算式は、区間信号
Xと、第n番目の標準周波数f(n)をもった余弦関数
との相関値を求める式であり、両者の相関値はB(n)
で与えられる。なお、相関値A(n)を求めるための第
1の演算式も、相関値B(n)を求めるための第2の演
算式も、最終的に2/wが乗ぜられているが、これは相
関値を規格化するためのものでり、前述のとおりwはn
に依存して変化させるのが一般的であるため、この係数
もnに依存する変数である。
【0026】区間信号Xと標準周波数f(n)をもった
標準周期関数との相関実効値は、図5の第3の演算式に
示すように、正弦関数との相関値A(n)と余弦関数と
の相関値B(n)との二乗和平方根値E(n)によって
示すことができる。この相関実効値の大きな標準周期関
数の周波数を代表周波数として選出すれば、この代表周
波数を用いて区間信号Xを符号化することができる。
【0027】すなわち、この相関値E(n)が所定の基
準以上の大きさとなる1つまたは複数の標準周波数を代
表周波数として選出すれば良い。なお、ここで「相関値
E(n)が所定の基準以上の大きさとなる」という選出
条件は、例えば、何らかの閾値を設定しておき、相関値
E(n)がこの閾値を超えるような標準周波数f(n)
をすべて代表周波数として選出する、という絶対的な選
出条件を設定しても良いが、例えば、相関値E(n)の
大きさの順にQ番目までを選出する、というような相対
的な選出条件を設定しても良い。
【0028】(一般化調和解析の手法)ここでは、本発
明に係る音響信号の符号化を行う際に有用な一般化調和
解析の手法について説明する。既に説明したように、音
響信号を符号化する場合、個々の単位区間内の区間信号
について、相関値の高いいくつかの代表周波数を選出す
ることになる。一般化調和解析は、より高い精度で代表
周波数の選出を可能にする手法であり、その基本原理は
次の通りである。
【0029】図6(a)に示すような単位区間dについ
て、信号S(j)なるものが存在するとする。ここで、
jは後述するように、繰り返し処理のためのパラメータ
である(j=1〜J)。まず、この信号S(j)に対し
て、図2に示すような128通りの周期関数すべてにつ
いての相関値を求める。そして、最大の相関値が得られ
た1つの周期関数の周波数を代表周波数として選出し、
当該代表周波数をもった周期関数を要素関数として抽出
する。続いて、図6(b)に示すような含有信号G
(j)を定義する。この含有信号G(j)は、抽出され
た要素関数に、その振幅として、当該要素関数の信号S
(j)に対する相関値を乗じることにより得られる信号
である。例えば、周期関数として図2に示すように、一
対の正弦関数と余弦関数とを用い、周波数f(n)が代
表周波数として選出された場合、振幅A(n)をもった
正弦関数A(n)sin(2πf(n)k/F)と、振
幅B(n)をもった余弦関数B(n)cos(2πf
(n)k/F)との和からなる信号が含有信号G(j)
ということになる(図6(b)では、図示の便宜上、一
方の関数しか示していない)。ここで、A(n),B
(n)は、図5の式で得られる規格化された相関値であ
るから、結局、含有信号G(j)は、信号S(j)内に
含まれている周波数f(n)をもった信号成分というこ
とができる。
【0030】こうして、含有信号G(j)が求まった
ら、信号S(j)から含有信号G(j)を減じることに
より、差分信号S(j+1)を求める。図6(c)は、
このようにして求まった差分信号S(j+1)を示して
いる。この差分信号S(j+1)は、もとの信号S
(j)の中から、周波数f(n)をもった信号成分を取
り去った残りの信号成分からなる信号ということができ
る。そこで、パラメータjを1だけ増加させることによ
り、この差分信号S(j+1)を新たな信号S(j)と
して取り扱い、同様の処理を、パラメータjをj=1〜
Jまで1ずつ増やしながらJ回繰り返し実行すれば、J
個の代表周波数を選出することができる。
【0031】このような相関計算の結果として出力され
るJ個の含有信号G(1)〜G(J)は、もとの区間信
号Xの構成要素となる信号であり、もとの区間信号Xを
符号化する場合には、これらJ個の含有信号の周波数を
示す情報および振幅(強度)を示す情報を符号データと
して用いるようにすれば良い。尚、Jは代表周波数の個
数であると説明してきたが、標準周波数f(n)の個数
と同一すなわちJ=128であってもよく、周波数スペ
クトルを求める目的においてはそのように行うのが通例
である。
【0032】こうして、各単位区間について、所定数の
周波数群が選出されたら、この周波数群の各周波数に対
応する「音の高さを示す情報」、選出された各周波数の
信号強度に対応する「音の強さを示す情報」、当該単位
区間の始点に対応する「音の発音開始時刻を示す情
報」、当該単位区間に後続する単位区間の始点に対応す
る「音の発音終了時刻を示す情報」、の4つの情報を含
む所定数の符号データを作成すれば、当該単位区間内の
区間信号Xを所定数の符号データにより符号化すること
ができる。符号データとして、MIDIデータを作成す
るのであれば、「音の高さを示す情報」としてノートナ
ンバーを用い、「音の強さを示す情報」としてベロシテ
ィーを用い、「音の発音開始時刻を示す情報」としてノ
ートオン時刻を用い、「音の発音終了時刻を示す情報」
としてノートオフ時刻を用いるようにすれば良い。
【0033】(本発明に係る音響信号の符号化方法)こ
こまでに説明した従来技術とも共通する本発明の基本原
理を要約すると、原音響信号に単位区間を設定し、単位
区間ごとに複数の周波数に対応する信号強度を算出し、
得られた信号強度を基に用意された周期関数を利用して
1つまたは複数の代表周波数を選出し、選出された代表
周波数に対応する音の高さ情報と、選出された代表周波
数の強度に対応する音の強さ情報と、単位区間の始点に
対応する発音開始時刻と、単位区間の終点に対応する発
音終了時刻で構成される符号データを作成することによ
り、音響信号の符号化が行われていることになる。
【0034】本発明の音響信号符号化方法は、上記基本
原理において、得られた信号強度を基に、用意された周
期関数に対応する周波数を全て利用し、これら各周波数
と、各周波数の強度と、単位区間の始点に対応する区間
開始時刻と、単位区間の終点に対応する区間終了時刻で
構成されるデータを「音素データ」と定義し、この音素
データをさらに加工することにより最終的な符号化デー
タを得るようにしたものである。
【0035】ここからは、本発明の音響信号符号化方法
について、図7に示すフローチャートを用いて説明す
る。まず、音響信号の時間軸上の全区間に渡って単位区
間を設定する(ステップS1)。このステップS1にお
ける手法は、上記基本原理において、図1(a)を用い
て説明した通りである。
【0036】続いて、各単位区間ごとの音響信号、すな
わち区間信号について、周波数解析を行って各周波数に
対応する強度値を算出し、周波数、強度値、単位区間の
始点、終点の4つの情報からなる音素データを算出する
(ステップS2)。具体的には、図2に示したような1
28種の周期関数に対して区間信号の相関強度を求め、
その周期関数の周波数、求めた相関強度、単位区間の始
点、終点の4つの情報を音素データと定義する。ただ
し、本実施形態では、上記基本原理で説明した場合のよ
うに、代表周波数を選出するのではなく、用意した周期
関数全てに対応する音素データを取得する。さらに、相
関強度が高いものから所定数の音素データには、その属
性として優先マークを示すデータを付与しておく。この
所定数としては16個程度が望ましい。このステップS
2の処理を全単位区間に対して行うことにより、音素デ
ータ[m,n](0≦m≦M−1,0≦n≦N−1)群が
得られる。ここで、Nは周期関数の総数(上述の例では
N=128)、Mは音響信号において設定された単位区
間の総数である。つまり、M×N個の音素データからな
る音素データ群が得られることになる。
【0037】音素データ群が得られたら、この音素デー
タ群のうち、その強度値が所定値に達していない音素デ
ータを削除し、残った音素データを有効な強度値を有す
る有効音素データとして抽出する(ステップS3)。こ
のステップS3において、強度値が所定値に達しない音
素データを削除するのは、信号レベルがほとんど0であ
って、実際には音が存在していないと判断される音素を
削除するためである。そのため、この所定値としては、
音が実際に存在しないレベルとみなされる値が設定され
る。
【0038】このようにして有効音素データの集合であ
る有効音素データ群が得られたら、同一周波数で時系列
方向に連続する複数の有効音素データを1つの連結音素
データとして連結する(ステップS4)。図8は有効音
素データの連結を説明するための概念図である。図8
(a)は連結前の音素データ群の様子を示す図である。
図8(a)において、格子状に仕切られた各矩形は音素
データを示しており、網掛けがされている矩形は、上記
ステップS3において強度値が所定値に達しないために
削除された音素データであり、その他の矩形は有効音素
データを示す。ステップS4においては、同一周波数
(同一ノートナンバー)で時間t方向に連続する有効音
素データを連結するため、図8(a)に示す有効音素デ
ータ群に対して連結処理を実行すると、図8(b)に示
すような連結音素データ群が得られる。例えば、図8
(a)に示した有効音素データA1、A2、A3は連結
されて、図8(b)に示すような連結音素データAが得
られることになる。このとき、新たに得られる連結音素
データAの周波数としては、有効音素データA1、A
2、A3に共通の周波数が与えられ、強度値としては、
有効音素データA1、A2、A3の強度値のうち最大の
ものが与えられ、開始時刻としては、先頭の有効音素デ
ータA1の区間開始時刻t1が与えられ、終了時刻とし
ては、最後尾の有効音素データA3の区間終了時刻t4
が与えられる。有効音素データ、連結音素データ共に、
周波数(ノートナンバー)、強度値、開始時刻、終了時
刻の4つの情報で構成されるため、3つの有効音素デー
タが1つの連結音素データに統合されることにより、デ
ータ量は3分の1に削減される。このことは、最終的に
MIDI符号化される場合には、短い音符3つではな
く、長い音符1つとして表現されることを意味してい
る。
【0039】さらに、ステップS4においては、連結の
元となった有効音素データのうち最大の強度値をもつ有
効音素データに優先マークが付与されていた場合に、統
合された連結音素データに対して優先マークが付与され
る。例えば、図8(a)において、有効音素データA
1、A2、A3のうち有効音素データA2の強度値が最
大であったとする。この場合、有効音素データA2に優
先マークが付与されていれば、連結音素データAに優先
マークが付与されるが、有効音素データA2に優先マー
クが付与されていなければ、有効音素データA1や有効
音素データA3に優先マークが付与されていても、連結
音素データAには優先マークが付与されない。
【0040】上記のようにして連結音素データ群が得ら
れたら、この連結音素データ群のうち、優先マークが付
与されていない連結音素データを削除して、最終的な符
号データを得る(ステップS5)。上述したように、通
常のMIDI音源では同時発音数が16〜64という制
約があるため、解析により得られる音素をこれに合わせ
なければならない。従来は、上記ステップS4に示した
ような連結処理を行う前に、各単位区間ごとに強度値の
強いものから所定数を抽出していたが、本発明では、音
素データの連結後のこの時点で抽出を行う。この際、ス
テップS2で各単位区間ごとに所定数(本実施形態では
16個程度)の音素データに付与され、ステップS4に
おいて連結音素データに反映された優先マークの有無に
基づいて、連結音素データの抽出を行うので、最終的に
残る連結音素データは、同時刻においては所定数以下と
なる。このようにして同時刻に存在する連結音素データ
が所定数以下とすることにより、通常のMIDI音源を
使用した場合に、符号データが無駄なく利用されること
になる。
【0041】(音源分離への応用)以上のようにして、
本発明に係る符号化方法により、精度の高い符号データ
を得ることが可能となるが、本発明を応用することによ
り、複数音源を有する音響信号から各音源ごとの符号デ
ータを得ることができる。すなわち、複数音源が混在し
た音響信号から音源の分離を行うことが可能となる。以
下にこのような手法について具体的に説明する。
【0042】音源分離に適用する場合には、上記ステッ
プS4において、有効音素データの連結を行った際に、
各連結音素データについて、元の有効音素データの変動
特性を算出する。この変動特性を本実施形態では、以下
の(数式2)により算出する。
【0043】(数式2) 変動特性 = 各音素の強度値の総和 /(音素の最大
強度値×音素の総数)
【0044】(数式2)における「音素」とは有効音素
データを意味する。(数式2)により算出された変動特
性は、各連結音素データの属性の1つとして追加され
る。
【0045】さらに、ステップS5において、優先マー
クが付与されていない連結音素データが削除された後、
残った連結音素データが有する変動特性に基づいて分類
される。これは、例えば所定の閾値を設定しておき、こ
の閾値に基づいて各連結音素データを2つのグループに
分類すれば良い。もちろん、閾値を多数設定しておくこ
とにより、より多数のグループに分類することも可能で
ある。符号データをMIDIデータに変換する場合は、
各グループに分類された連結音素データを別々のチャン
ネルに記録することにより、各音源に対応したチャンネ
ルを有するMIDIデータが得られることになる。
【0046】ここで、上記変動特性により分類される典
型的な例について説明する。図9にピアノ系の楽器音、
ボーカル(音声・歌声)それぞれの場合について、音素
強度値の変動状態を示す。図9において、強度値の変動
状態は、横軸を時間、縦軸を強度として示されており、
下向きの三角形が1つの有効音素を示し、この三角形の
高さが強度値を表わしている。図9の上段に示すよう
に、ピアノ系の楽器音は、立ち上がりが早く、減衰が顕
著である。また、図9の下段に示すように、ボーカル
(音声・歌声)は、立ち上がりが遅く、減衰が鈍い。こ
れらの特徴を判断するには、上記(数式2)で算出され
る変動特性を用いるのが有効であり、変動特性が所定の
閾値より小さい場合はピアノ系の楽器音、変動特性が所
定の閾値より大きい場合はボーカル(音声・歌声)と判
断される。
【0047】以上、本発明の好適な実施形態について説
明したが、上記符号化方法は、コンピュータ等で実行さ
れることは当然である。具体的には、図7のフローチャ
ートに示したようなステップを上記手順で実行するため
のプログラムをコンピュータに搭載しておく。そして、
音響信号をPCM方式等でデジタル化した後、コンピュ
ータに取り込み、ステップS1〜ステップS5の処理を
行った後、MIDI形式等の符号データをコンピュータ
より出力する。出力された符号データは、例えば、MI
DIデータの場合、MIDIシーケンサ、MIDI音源
を用いて音声として再生される。
【0048】
【発明の効果】以上、説明したように本発明によれば、
与えられた音響信号に対して時間軸上に複数の単位区間
を設定し、設定された単位区間における音響信号と複数
の周期関数との相関を求めることにより各周期関数に対
応した強度値を算出し、各周期関数が有する周波数と、
前記各周期関数に対応した強度値と、単位区間の始点に
対応する区間開始時刻と、単位区間の終点に対応する区
間終了時刻で構成される音素データを算出すると共に、
強度値が大きい順に所定数の音素データに優先マークを
付与し、音素データの算出および優先マークの付与処理
を全単位区間に対して行うことにより得られる全音素デ
ータから、強度値が所定値に達していないものを削除し
て、残りの音素データを有効な強度値を有する有効音素
データとして抽出し、抽出された有効音素データに対し
て、周波数が同一であって、区間が連続するものを連結
して連結音素データとし、連結音素データの属性とし
て、強度値は構成する有効音素データの最大強度値を与
え、開始時刻は先頭の有効音素データの区間開始時刻を
与え、終了時刻は最後尾の有効音素データの区間終了時
刻を与えると共に、連結音素データを構成する有効音素
データのうち、最大の強度値を有する有効音素データに
優先マークが付されている場合に、当該連結音素データ
に優先マークを付与し、得られた連結音素データの内、
優先マークが付与されていないものを削除し、残りの連
結音素データの集合により音響信号を表現するようにし
たので、各単位区間においては、強度値が小さい音素で
あっても、重要な音の一部となっている音素を欠落させ
ることなく、精度の高い符号化を行うことが可能となる
という効果を奏する。
【図面の簡単な説明】
【図1】本発明の音響信号の符号化方法の基本原理を示
す図である。
【図2】本発明で利用される周期関数の一例を示す図で
ある。
【図3】図2に示す各周期関数の周波数とMIDIノー
トナンバーnとの関係式を示す図である。
【図4】解析対象となる信号と周期信号との相関計算の
手法を示す図である。
【図5】図4に示す相関計算を行うための計算式を示す
図である。
【図6】一般化調和解析の基本的な手法を示す図であ
る。
【図7】本発明の音響信号符号化方法のフローチャート
である。
【図8】有効音素データの連結を説明するための概念図
である。
【図9】ピアノ系楽器音、ボーカルの音素強度値の変動
状態を示す図である。
【符号の説明】
A(n),B(n)・・・相関値 d,d1〜d5・・・単位区間 E(n)・・・相関値 G(j)・・・含有信号 n,n1〜n6・・・ノートナンバー S(j),S(j+1)・・・差分信号 X,X(k)・・・区間信号

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】与えられた音響信号に対して、時間軸上に
    複数の単位区間を設定する区間設定段階と、 前記単位区間における音響信号と複数の周期関数との相
    関を求めることにより、各周期関数に対応した強度値を
    算出し、各周期関数が有する周波数と、前記各周期関数
    に対応した強度値と、単位区間の始点に対応する区間開
    始時刻と、単位区間の終点に対応する区間終了時刻で構
    成される音素データを算出すると共に、強度値が大きい
    順に所定数の音素データに優先マークを付与する音素デ
    ータ算出段階と、 前記音素データ算出段階の処理を全単位区間に対して行
    うことにより得られる全音素データから、強度値が所定
    値に達していないものを削除して、残りの音素データを
    有効な強度値を有する有効音素データとして抽出する有
    効音素データ抽出段階と、 前記有効音素データ抽出段階により抽出された有効音素
    データに対して、周波数が同一であって、区間が連続す
    るものを連結して連結音素データとし、連結音素データ
    の属性として、強度値は構成する有効音素データの最大
    強度値を与え、開始時刻は先頭の有効音素データの区間
    開始時刻を与え、終了時刻は最後尾の有効音素データの
    区間終了時刻を与えると共に、連結音素データを構成す
    る有効音素データのうち、最大の強度値を有する有効音
    素データに優先マークが付されている場合に、当該連結
    音素データに優先マークを付与する音素データ連結段階
    と、 前記音素データ連結段階により得られた連結音素データ
    の内、優先マークが付与されていないものを削除し、残
    りの連結音素データの集合により音響信号を表現する符
    号化段階と、 を有することを特徴とする音響信号の符号化方法。
  2. 【請求項2】前記音素データ連結段階は、さらに、連結
    音素データを構成する有効音素データの平均強度値を、
    連結音素データの属性として追加し、当該連結音素デー
    タの強度値と平均強度値との比率に基づいて、全連結音
    素データを複数のグループに分類するものであり、前記
    符号化段階は、分類された連結音素データにグループ属
    性を付与するものであることを特徴とする請求項1に記
    載の音響信号の符号化方法。
  3. 【請求項3】コンピュータに、与えられた音響信号に対
    して時間軸上に複数の単位区間を設定する区間設定段
    階、前記単位区間における音響信号と複数の周期関数と
    の相関を求めることにより、各周期関数に対応した強度
    値を算出し、各周期関数が有する周波数と、前記各周期
    関数に対応した強度値と、単位区間の始点に対応する区
    間開始時刻と、単位区間の終点に対応する区間終了時刻
    で構成される音素データを算出すると共に、強度値が大
    きい順に所定数の音素データに優先マークを付与する音
    素データ算出段階、前記音素データ算出段階の処理を全
    単位区間に対して行うことにより得られる全音素データ
    から、強度値が所定値に達していないものを削除して、
    残りの音素データを有効な強度値を有する有効音素デー
    タとして抽出する有効音素データ抽出段階、前記有効音
    素データ抽出段階により抽出された有効音素データに対
    して、周波数が同一であって、区間が連続するものを連
    結して連結音素データとし、連結音素データの属性とし
    て、強度値は構成する有効音素データの最大強度値を与
    え、区間開始時刻は先頭の有効音素データの区間開始時
    刻を与え、区間終了時刻は最後尾の有効音素データの区
    間終了時刻を与えると共に、連結音素データを構成する
    有効音素データのうち、最大の強度値を有する有効音素
    データに優先マークが付されている場合に、当該連結音
    素データに優先マークを付与する音素データ連結段階、
    前記音素データ連結段階により得られた連結音素データ
    の内、優先マークが付与されていないものを削除し、残
    りの連結音素データの集合により音響信号を表現する符
    号化段階、を実行させるためのプログラム。
JP2001008750A 2001-01-17 2001-01-17 音響信号の符号化方法 Withdrawn JP2002215142A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001008750A JP2002215142A (ja) 2001-01-17 2001-01-17 音響信号の符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001008750A JP2002215142A (ja) 2001-01-17 2001-01-17 音響信号の符号化方法

Publications (1)

Publication Number Publication Date
JP2002215142A true JP2002215142A (ja) 2002-07-31

Family

ID=18876328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001008750A Withdrawn JP2002215142A (ja) 2001-01-17 2001-01-17 音響信号の符号化方法

Country Status (1)

Country Link
JP (1) JP2002215142A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015690A (ja) * 2001-06-29 2003-01-17 Dainippon Printing Co Ltd 音響信号の符号化方法
JP2008516289A (ja) * 2004-10-11 2008-05-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音声信号の基礎となるメロディを抽出する方法および装置
JP2010152381A (ja) * 2010-02-05 2010-07-08 Victor Co Of Japan Ltd 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム
CN109215670A (zh) * 2018-09-21 2019-01-15 西安蜂语信息科技有限公司 音频数据的传输方法、装置、计算机设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015690A (ja) * 2001-06-29 2003-01-17 Dainippon Printing Co Ltd 音響信号の符号化方法
JP4697919B2 (ja) * 2001-06-29 2011-06-08 大日本印刷株式会社 音響信号の符号化方法
JP2008516289A (ja) * 2004-10-11 2008-05-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音声信号の基礎となるメロディを抽出する方法および装置
JP2010152381A (ja) * 2010-02-05 2010-07-08 Victor Co Of Japan Ltd 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム
CN109215670A (zh) * 2018-09-21 2019-01-15 西安蜂语信息科技有限公司 音频数据的传输方法、装置、计算机设备和存储介质
CN109215670B (zh) * 2018-09-21 2021-01-29 西安蜂语信息科技有限公司 音频数据的传输方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
JP4132362B2 (ja) 音響信号の符号化方法およびプログラム記録媒体
JP2002215142A (ja) 音響信号の符号化方法
JP2000099009A (ja) 音響信号の符号化方法
JP2000293188A (ja) 和音リアルタイム認識方法及び記憶媒体
JP4331289B2 (ja) 音響信号の符号化方法
JP2003216147A (ja) 音響信号の符号化方法
JP4156252B2 (ja) 音響信号の符号化方法
JP4695781B2 (ja) 音響信号の符号化方法
JP2002244691A (ja) 音響信号の符号化方法
JP2001005450A (ja) 音響信号の符号化方法
JP3776782B2 (ja) 音響信号の符号化方法
JP4220108B2 (ja) 音響信号符号化システム
JP4268328B2 (ja) 音響信号の符号化方法
JP3935745B2 (ja) 音響信号の符号化方法
JP4473979B2 (ja) 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体
JP2002123296A (ja) 音響信号の符号化方法および分離方法
JP4662406B2 (ja) 周波数解析方法および音響信号の符号化方法
JP4156269B2 (ja) 時系列信号の周波数解析方法および音響信号の符号化方法
JP4662407B2 (ja) 周波数解析方法
JP4601865B2 (ja) 音響信号の符号化方法
JP4156268B2 (ja) 時系列信号の周波数解析方法および音響信号の符号化方法
JP4697919B2 (ja) 音響信号の符号化方法
JPH1173199A (ja) 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体
JP4580548B2 (ja) 周波数解析方法
JP2003084799A (ja) 周波数解析方法および音響信号の符号化方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080401