JP2003216172A

JP2003216172A - 音声信号加工装置、音声信号加工方法及びプログラム

Info

Publication number: JP2003216172A
Application number: JP2002012196A
Authority: JP
Inventors: Yasushi Sato; 寧佐藤
Original assignee: Kenwood KK
Current assignee: Kenwood KK
Priority date: 2002-01-21
Filing date: 2002-01-21
Publication date: 2003-07-30
Anticipated expiration: 2022-01-21
Also published as: JP3875890B2

Abstract

(57)【要約】【課題】音声の情報の暗号化を要せずに、音声の構成
要素の配列を並べ替えても音声の発声者等を同定できる
ように音声の情報を加工するための音声信号加工装置等
を提供することである。【解決手段】ピッチ抽出部２は、入力された音素デー
タのピッチの時間長を揃えてピッチ波形信号を生成し、
ピッチ波形信号は、リサンプリング部３により各区間の
サンプル数を一定数に揃えられた後、サブバンド解析部
４により、基本周波数成分及び高調波成分の強度の時間
変化を表すサブバンドデータへと変換される。サブバン
ドデータのうち、この音素データが表す音素に対応付け
られた高調波成分を表す部分は、エンコード部５により
削除され、削除済みのサブバンドデータは音声データベ
ースＤＢに格納される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声信号加工装
置、音声信号加工方法及びプログラムに関する。

【０００２】

【従来の技術】近年、規則合成方式や録音編集合成方式
などの手法を用いて合成された音声が広く利用されてい
る。これらは、音声の構成要素（音素など）を連結する
ことにより音声を合成する手法である。そして一般に、
合成音声は、電子すかし等の技術を用いて適宜の付加情
報を埋め込まれた上で用いられる。情報の埋め込みは、
合成音声と人が実際に発声した音声とを区別するため、
あるいは、合成音声の素材となった音素等の発声者や合
成音声の作成者を識別したり、合成音声にかかる権利の
帰属を示すなどの目的で行われる。

【０００３】電子すかしは、人の聴覚の性質上、強度が
大きな成分に周波数が近接しており強度が小さな成分は
知覚されないという効果（マスキング効果）を利用して
施される。具体的には、合成音声のスペクトルのうち、
強度が大きな成分に周波数が近接していて、この成分よ
り強度が小さい成分を削除し、削除した成分と同じ帯域
を占める付加信号を挿入することにより行われる。な
お、挿入される付加信号は、予め、合成音声の占める帯
域の上限前後の周波数の有する搬送波を付加情報で変調
することにより生成する。

【０００４】また、合成音声の素材となった音素等の発
声者を識別したり、合成音声にかかる権利の帰属を明ら
かにしたりする手法としては、当該音素等を表すデータ
を暗号化し、発声者や、合成音声にかかる権利の権利者
のみがこのデータを復号化するための復号鍵を保持する
ようにする、という手法も考えられる。

【０００５】

【発明が解決しようとする課題】しかし、上述の電子す
かしの手法では、付加信号を挿入された合成音声を圧縮
した場合、圧縮により付加信号の内容が破壊されてしま
い、付加情報を復元することができない。また、合成音
声を更にサンプリングすると、サンプリングの周波数に
よっては、付加信号の生成に用いた搬送波に起因する成
分が異音として人に聞こえるようになってしまう。合成
音声は圧縮を施された上で用いられる場合が多いので、
上述の電子すかしの手法では、合成音声に付加された付
加情報が適切に再現できない場合が多くなってしまう。

【０００６】また、合成音声の素材となる音素等を表す
データを暗号化する手法は、このデータの復号鍵を保持
しない者にこのデータを試用させることが困難である。
また、この手法では、合成音声の品質が非常に高い場
合、合成音声と人が実際に発声した音声との区別をする
ことができない。

【０００７】この発明は、上記実状に鑑みてなされたも
のであり、音声の情報の暗号化を要せずに、音声の構成
要素の配列を並べ替えても音声の発声者等を同定できる
ように音声の情報を加工するための音声信号加工装置及
び音声信号加工方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成すべく、
この発明の第１の観点にかかる音声信号加工装置は、音
素の波形を表す加工対象の音声信号の基本周波数成分及
び高調波成分の強度の時間変化を表すサブバンド信号を
生成するサブバンド抽出手段と、前記サブバンド抽出手
段が生成したサブバンド信号のうち、前記音素に対応付
けられた削除対象の高調波成分の時間変化を表す部分を
削除した結果を表す削除済みサブバンド信号を生成する
削除手段と、を備える、ことを特徴とする。

【０００９】特定の話者が発声した各音素と、各該音素
に対応付けられている削除対象の高調波成分との対応関
係は、当該話者に固有のものであってもよい。

【００１０】前記削除手段は、前記対応関係を表すテー
ブルを書き換え可能に記憶し、自己が記憶するテーブル
が表す対応関係に従って、前記削除済みサブバンド信号
を生成するものであってもよい。

【００１１】前記削除手段は、前記フィルタリングされ
たサブバンド信号を非線形量子化したもののうち、前記
音素に対応付けられた削除対象の高調波成分の時間変化
を表す部分を削除した結果を表す前記削除済みサブバン
ド信号を生成するものであってもよい。

【００１２】前記削除手段は、前記削除済みサブバンド
信号を取得し、取得した当該情報付加済みサブバンド信
号のデータ量に基づいて、前記非線形量子化の量子化特
性を決定し、決定した量子化特性に合致するように前記
非線形量子化を行うものであってもよい。

【００１３】前記音声信号加工装置は、前記加工対象の
音声信号のうち摩擦音を表す部分を特定し、特定した部
分を、前記削除対象の高調波成分の時間変化を表す部分
を削除する対象から除外する手段を備えるものであって
もよい。

【００１４】前記音声信号加工装置は、前記加工対象の
音声信号を取得し、当該音声信号の単位ピッチ分にあた
る区間の時間長を実質的に同一に揃えることにより、当
該音声信号をピッチ波形信号へと加工するピッチ波形信
号生成手段を備えていてもよい。この場合、前記サブバ
ンド抽出手段は、前記ピッチ波形信号に基づいて前記サ
ブバンド信号を生成するものであってもよい。

【００１５】前記サブバンド抽出手段は、制御に従って
周波数特性を変化させ、前記加工対象の音声信号をフィ
ルタリングすることにより、加工する対象である音声の
基本周波数成分を抽出する可変フィルタと、前記可変フ
ィルタにより抽出された基本周波数成分に基づいて前記
音声の基本周波数を特定し、特定した基本周波数近傍の
成分以外が遮断されるような周波数特性になるように前
記可変フィルタを制御するフィルタ特性決定手段と、前
記加工対象の音声信号を、当該音声信号の基本周波数成
分の値に基づき、単位ピッチ分の音声信号からなる区間
へと区切るピッチ抽出手段と、前記加工対象の音声信号
の各前記区間内を互いに実質的に同数の標本でサンプリ
ングすることにより、各該区間内の時間長が実質的に同
一に揃ったピッチ波形信号を生成するピッチ長固定部
と、を備えるものであってもよい。

【００１６】前記音声信号加工装置は、ピッチ波形信号
の各前記区間の元の時間長を特定するためのピッチ情報
を生成して出力するピッチ情報出力手段を備えるもので
あってもよい。

【００１７】また、この発明の第２の観点にかかる音声
信号加工方法は、音素の波形を表す加工対象の音声信号
の基本周波数成分及び高調波成分の強度の時間変化を表
すサブバンド信号を生成し、生成したサブバンド信号の
うち、前記音素に対応付けられた削除対象の高調波成分
の時間変化を表す部分を削除した結果を表す削除済みサ
ブバンド信号を生成する、ことを特徴とする。

【００１８】また、この発明の第３の観点にかかるプロ
グラムは、コンピュータを、音素の波形を表す加工対象
の音声信号の基本周波数成分及び高調波成分の強度の時
間変化を表すサブバンド信号を生成するサブバンド抽出
手段と、前記サブバンド抽出手段が生成したサブバンド
信号のうち、前記音素に対応付けられた削除対象の高調
波成分の時間変化を表す部分を削除した結果を表す削除
済みサブバンド信号を生成する削除手段と、して機能さ
せるためのものであることを特徴とする。

【００１９】

【発明の実施の形態】以下、この発明の実施の形態を、
音素データエンコーダを例とし、図面を参照して説明す
る。

【００２０】図１は、この音素データエンコーダの構成
を示す図である。図示するように、この音素データエン
コーダは、音素データ入力部１と、ピッチ抽出部２と、
リサンプリング部３と、サブバンド解析部４と、エンコ
ード部５とより構成されている。

【００２１】音素データ入力部１は、例えば、記録媒体
（例えば、フレキシブルディスクやＭＯ（Magneto Opti
cal disk）など）に記録されたデータを読み取る記録媒
体ドライバ（フレキシブルディスクドライブや、ＭＯド
ライブなど）と、ＣＰＵ（Central Processing Unit）
等のプロセッサと、ＲＡＭ（Random Access Memory）等
のメモリとより構成されている。

【００２２】音素データ入力部１は、音声の構成単位で
ある音素の波形を表す音素データと、この音素データが
表す音素を識別するデータである音素ラベルとを取得す
る。そして、取得した音素データをピッチ抽出部２に供
給し、取得した音素ラベルをエンコード部５に供給す
る。

【００２３】なお、音素データは、ＰＣＭ（Pulse Code
Modulation）変調されたディジタル信号の形式を有し
ており、音素のピッチより十分短い一定の周期でサンプ
リングされた音素を表しているものとする。

【００２４】ピッチ抽出部２、リサンプリング部３、サ
ブバンド解析部４及びエンコード部５は、いずれも、Ｄ
ＳＰ（Digital Signal Processor）やＣＰＵ等のプロセ
ッサと、ＲＡＭ等のメモリとより構成されている。な
お、単一のプロセッサや単一のメモリが音素データ入力
部１、ピッチ抽出部２、リサンプリング部３、サブバン
ド解析部４及びエンコード部５の一部又は全部の機能を
行うようにしてもよい。

【００２５】ピッチ抽出部２は、機能的には、たとえば
図２に示すように、ヒルベルト変換部２１と、ケプスト
ラム解析部２２と、自己相関解析部２３と、重み計算部
２４と、ＢＰＦ（Band Pass Filter：バンドパスフィル
タ）係数計算部２５と、バンドパスフィルタ２６と、波
形相関解析部２７と、位相調整部２８と、摩擦音検出部
２９とより構成されている。

【００２６】なお、単一のプロセッサや単一のメモリが
ヒルベルト変換部２１、ケプストラム解析部２２、自己
相関解析部２３、重み計算部２４、ＢＰＦ（Band Pass
Filter）係数計算部２５、バンドパスフィルタ２６、波
形相関解析部２７、位相調整部２８及び摩擦音検出部２
９の一部又は全部の機能を行うようにしてもよい。

【００２７】ヒルベルト変換部２１は、音素データ入力
部１より供給される音素データをヒルベルト変換した結
果を求め、求めた結果に基づき、この音素データが表す
音声が途切れる時点を特定し、この音素データを、この
特定した時点にあたる部分で区切ることにより、複数の
区間へと分割する。そして、分割した音素データを、ケ
プストラム解析部２２、自己相関解析部２３、バンドパ
スフィルタ２６、波形相関解析部２７、位相調整部２８
及び摩擦音検出部２９へと供給する。

【００２８】なお、ヒルベルト変換部２１は、例えば、
音素データをヒルベルト変換した結果が極小値をとる時
点を、この音素データが表す音声が途切れる時点である
ものとして特定すればよい。

【００２９】ケプストラム解析部２２は、ヒルベルト変
換部２１より供給される音素データにケプストラム分析
を施すことにより、この音素データが表す音素の基本周
波数及びフォルマント周波数を特定する。そして、特定
した基本周波数を示すデータを生成して重み計算部２４
へと供給し、また、特定したフォルマント周波数を示す
データを生成して摩擦音検出部２９及びサブバンド解析
部４（より具体的には、後述の圧縮率設定部４６）へと
供給する。

【００３０】具体的には、ケプストラム解析部２２は、
ヒルベルト変換部２１より音素データを供給されると、
まず、この音素データのスペクトルを、高速フーリエ変
換の手法（あるいは、離散的変数をフーリエ変換した結
果を表すデータを生成する他の任意の手法）により求め
る。

【００３１】次に、ケプストラム解析部２２は、求めら
れたスペクトルの各成分の強度を、それぞれの元の値の
対数にあたる値へと変換する。（対数の底は任意であ
り、例えば常用対数などでよい。）次に、ケプストラム
解析部２２は、値が変換されたスペクトルに逆フーリエ
変換を施した結果（すなわち、ケプストラム）を、高速
逆フーリエ変換の手法（あるいは、離散的変数を逆フー
リエ変換した結果を表すデータを生成する他の任意の手
法）により求める。

【００３２】そして、ケプストラム解析部２２は、得ら
れたケプストラムに基づいて、このケプストラムが表す
音素の基本周波数を特定し、特定した基本周波数を示す
データを生成して重み計算部２４へと供給する。具体的
には、ケプストラム解析部２２は、例えば、得られたケ
プストラムをフィルタリング（すなわちリフタリング）
することにより、このケプストラムのうち所定のケフレ
ンシ以上の周波数成分（長成分）を抽出し、抽出された
長成分ピークの位置に基づいて基本周波数を特定すれば
よい。

【００３３】また、ケプストラム解析部２２は、例え
ば、得られたケプストラムをリフタリングすることによ
り、このケプストラムのうち所定のケフレンシ以下の成
分（短成分）を抽出する。そして、抽出された短成分の
ピークの位置に基づいて、フォルマント周波数を特定
し、特定したフォルマント周波数を示すデータを生成し
て、摩擦音検出部２９及びサブバンド解析部４へと供給
する。

【００３４】自己相関解析部２３は、ヒルベルト変換部
２１より音素データを供給されると、音素データの波形
の自己相関関数に基づいて、この音素データが表す音素
の基本周波数を特定し、特定した基本周波数を示すデー
タを生成して重み計算部２４へと供給する。

【００３５】具体的には、自己相関解析部２３は、ヒル
ベルト変換部２１より音素データを供給されるとまず、
数式１の右辺により表される自己相関関数ｒ（ｌ）を特
定する。

【００３６】

【数１】

【００３７】次に、自己相関解析部２３は、自己相関関
数ｒ（ｌ）をフーリエ変換した結果得られる関数（ピリ
オドグラム）の極大値を与える周波数のうち、所定の下
限値を超える最小の値を基本周波数として特定し、特定
した基本周波数を示すデータを生成して重み計算部２４
へと供給する。

【００３８】重み計算部２４は、ケプストラム解析部２
２及び自己相関解析部２３より基本周波数を示すデータ
を１個ずつ合計２個供給されると、これら２個のデータ
が示す基本周波数の逆数の絶対値の平均を求める。そし
て、求めた値（すなわち、平均ピッチ長）を示すデータ
を生成し、ＢＰＦ係数計算部２５へと供給する。

【００３９】ＢＰＦ係数計算部２５は、平均ピッチ長を
示すデータを重み計算部２４より供給され、波形相関解
析部２７より後述のゼロクロス信号を供給されると、供
給されたデータやゼロクロス信号に基づき、平均ピッチ
長とピッチ信号とゼロクロスの周期とが互いに所定量以
上異なっているか否かを判別する。そして、異なってい
ないと判別したときは、ゼロクロスの周期の逆数を中心
周波数（バンドパスフィルタ２６の通過帯域の中央の周
波数）とするように、バンドパスフィルタ２６の周波数
特性を制御する。一方、所定量以上異なっていると判別
したときは、平均ピッチ長の逆数を中心周波数とするよ
うに、バンドパスフィルタ２６の周波数特性を制御す
る。

【００４０】バンドパスフィルタ２６は、中心周波数が
可変なＦＩＲ（Finite Impulse Response）型のフィル
タの機能を行う。具体的には、バンドパスフィルタ２６
は、自己の中心周波数を、ＢＰＦ係数計算部２５の制御
に従った値に設定する。そして、ヒルベルト変換部２１
より供給される音素データをフィルタリングして、フィ
ルタリングされた音素データ（ピッチ信号）を、波形相
関解析部２７へと供給する。ピッチ信号は、音素データ
のサンプルリング間隔と実質的に同一のサンプリング間
隔を有するディジタル形式のデータからなるものとす
る。なお、バンドパスフィルタ２６の帯域幅は、バンド
パスフィルタ２６の通過帯域の上限が音素データの表す
音声の基本周波数の２倍以内に常に収まるような帯域幅
であることが望ましい。

【００４１】波形相関解析部２７は、バンドパスフィル
タ２６から供給されたピッチ信号の瞬時値が０となる時
刻（ゼロクロスする時刻）が来るタイミングを特定し、
特定したタイミングを表す信号（ゼロクロス信号）を、
ＢＰＦ係数計算部２５へと供給する。ただし、波形相関
解析部２６は、ピッチ信号の瞬時値が０でない所定の値
となる時刻が来るタイミングを特定し、特定したタイミ
ングを表す信号を、ゼロクロス信号に代えてＢＰＦ係数
計算部２５へと供給するようにしてもよい。

【００４２】また、波形相関解析部２７は、ヒルベルト
変換部２１より音素データを供給されると、バンドパス
フィルタ２６より供給されたピッチ信号の単位周期（例
えば１周期）の境界が来るタイミングでこの音素データ
を区切る。そして、区切られてできる区間のそれぞれに
ついて、この区間内の音素データの位相を種々変化させ
たものとこの区間内のピッチ信号との相関を求め、最も
相関が高くなるときの音素データの位相を、この区間内
の音素データの位相として特定する。

【００４３】具体的には、波形相関解析部２７は、それ
ぞれの区間毎に、例えば、数式２の右辺により表される
値ｃｏｒを、位相を表すφ（ただし、φは０以上の整
数）の値を種々変化させた場合それぞれについて求め
る。そして、波形相関解析部２７は、値ｃｏｒが最大に
なるようなφの値Ψを特定し、値Ψを示すデータを生成
して、この区間内の音素データの位相を表す位相データ
として位相調整部２８に供給する。

【００４４】

【数２】

【００４５】なお、区間の時間的な長さは、１ピッチ分
程度であることが望ましい。区間が長いほど、区間内の
サンプル数が増えてピッチ波形データ（後述）のデータ
量が増大し、あるいは、サンプリング間隔が増大してピ
ッチ波形データが表す音素が不正確になる、という問題
が生じる。

【００４６】位相調整部２８は、ヒルベルト変換部２１
より音素データを供給され、波形相関解析部２７より音
素データの各区間の位相Ψを示すデータを供給される
と、それぞれの区間の音素データの位相を、位相データ
が示すこの区間の位相Ψに等しくなるように移相する。
そして、移相された音素データ（ピッチ波形データ）を
リサンプリング部３に供給する。

【００４７】摩擦音検出部２９は、この音素データエン
コーダに入力された音素データが摩擦音を表すものか否
かを判別する。そして、摩擦音を表すと判別すると、こ
の音素データが摩擦音であることを表す情報（摩擦音情
報）を、サブバンド解析部４の後述するブロック化部４
３に供給する。

【００４８】摩擦音の波形は、白色雑音のような幅広い
スペクトルを有する一方、基本周波数成分や高調波成分
を多く含まないという特徴がある。従って、摩擦音検出
部２９は、たとえば、エンコードする対象の音素の全強
度に対する高調波成分の強度の割合が所定割合以下であ
るか否かを判別し、所定割合以下であると判別したと
き、この音素データエンコーダに入力された音素データ
が摩擦音を表すと判別し、所定割合を超えると判別した
とき、摩擦音を表さないと判別するようにすればよい。

【００４９】摩擦音検出部２９は、エンコードする対象
の音素の全強度を求めるため、具体的には、たとえばヒ
ルベルト変換部２１より音素データを取得する。そし
て、取得した音素データにＦＦＴ（Fast Fourier Trans
form）（あるいは、離散的変数をフーリエ変換した結果
を表すデータを生成する他の任意の手法）による変換を
施すことによって、この音素データのスペクトル分布を
表すスペクトルデータを生成し、生成したスペクトルデ
ータに基づき、この音素データの高調波成分（具体的に
は、ケプストラム解析部２２が供給するデータが示す周
波数を有する成分）の強度を特定するものとする。この
場合、摩擦音検出部２９は、この音素データエンコーダ
に入力された音素データが摩擦音を表すと判別すると、
自ら生成した上述のスペクトルデータを、摩擦音情報と
してブロック化部４３に供給すればよい。

【００５０】リサンプリング部３は、機能的には、図３
に示すように、データ共通化部３１と、補間部３２とよ
り構成されている。なお、単一のプロセッサや単一のメ
モリがデータ共通化部３１及び補間部３２の一部又は全
部の機能を行うようにしてもよい。

【００５１】データ共通化部３１は、位相調整部２８よ
り供給されたピッチ波形データに含まれる区間相互間の
相関の強さ（具体的には、例えば、相関係数の大きさ）
を個々の音素データ毎に求め、相関が一定程度以上強い
（具体的には、例えば、相関係数が一定値以上である）
区間の組を、音素データ毎に特定する。そして、特定し
た組に属する区間内のサンプルの値を変更して、この組
に属する各区間の波形が、この組を代表する１個の区間
内の波形と実質的に同一になるようにし、補間部３２に
供給する。なお、データ共通化部３１は、組を代表する
区間を任意に決定してよい。

【００５２】補間部３２は、データ共通化部３１より供
給された音素データの各区間をサンプリングし直し（リ
サンプリングし）、リサンプリングされたピッチ波形デ
ータを、サブバンド解析部４（より具体的には、後述の
直交変換部４１）に供給する。

【００５３】ただし、補間部３２は、音素データの各区
間のサンプル数が互いにほぼ等しい一定数になるように
して、同一区間内では等間隔になるようリサンプリング
する。サンプル数がこの一定数に満たない区間について
は、時間軸上で隣接するサンプル間をラグランジェ補間
するような値を有するサンプルを追加することにより、
この区間のサンプル数をこの一定数に揃える。

【００５４】また、補間部３２は、各区間の元のサンプ
ル数を示すデータを生成し、生成したデータを、各区間
の元のピッチ長を表す情報（ピッチ情報）としてエンコ
ード部５（より具体的には、後述の算術符号化部５２）
に供給する。

【００５５】サブバンド解析部４は、機能的には、図４
に示すように、直交変換部４１と、振幅調整部４２と、
ブロック化部４３と、帯域制限部４４と、非線形量子化
部４５と、圧縮率設定部４６とより構成されている。な
お、単一のプロセッサや単一のメモリが直交変換部４
１、振幅調整部４２、ブロック化部４３、帯域制限部４
４、非線形量子化部４５及び圧縮率設定部４６の一部又
は全部の機能を行うようにしてもよい。

【００５６】直交変換部４１は、リサンプリング部３
（補間部３２）より供給されたピッチ波形データにＤＣ
Ｔ（Discrete Cosine Transform）等の直交変換を施す
ことにより、サブバンドデータを生成して、生成したサ
ブバンドデータを、振幅調整部４２へと供給する。

【００５７】サブバンドデータは、サブバンド解析部４
に供給されたピッチ波形データが表す音素の基本周波数
成分の強度の時間変化を表すデータと、この音声のｎ個
（ｎは自然数）の高調波成分の強度の時間変化を表すｎ
個のデータとを含むデータである。従って、サブバンド
データは、音声の基本周波数成分（又は高調波成分）の
強度の時間変化がないとき、この基本周波数成分（又は
高調波成分）の強度を、直流信号の形で表す。

【００５８】振幅調整部４２は、サブバンドデータを直
交変換部４１より供給されると、このサブバンドデータ
を構成する（ｎ＋１）個のデータのそれぞれに比例定数
を乗じることにより、このサブバンドデータが表す各周
波数成分の強度の値を変更する。そして、強度の値が変
更されたサブバンドデータをブロック化部４３及び圧縮
率設定部４６に供給する。また、どのサブバンドデータ
のうちの何番目のデータにどのような値の比例定数を乗
じたかを示す比例定数データを生成して、エンコード部
５に供給する。

【００５９】１個のサブバンドデータに含まれる（ｎ＋
１）個のデータに乗じる（ｎ＋１）個の比例定数は、こ
れら（ｎ＋１）個のデータが表す各周波数成分の強度の
実効値が、互いに共通した一定値になるように決定す
る。すなわち、例えばこの一定値をＪとした場合、振幅
調整部４２は、この一定値Ｊを、これら（ｎ＋１）個の
データのうちのｋ番目（ｋは１以上（ｎ＋１）以下の整
数）音素データの区間の振幅の実効値Ｋ（ｋ）で除した
値｛Ｊ／Ｋ（ｋ）｝を求める。この値｛Ｊ／Ｋ（ｋ）｝
が、ｋ番目のデータに乗じる比例定数である。

【００６０】ブロック化部４３は、振幅調整部４２より
サブバンドデータを供給されると、このサブバンドデー
タを、同一の音素データから生成されたもの毎にブロッ
ク化して帯域制限部４４に供給する。ただし、ブロック
化部４３は、このサブバンドデータが表す音素が摩擦音
であることを表す上述の摩擦音情報が摩擦音検出部２９
より供給されたときは、サブバンドデータを帯域制限部
４４に供給する代わりに、この摩擦音情報を非線形量子
化部４５に供給する。

【００６１】帯域制限部４４は、たとえばＦＩＲ型のデ
ィジタルフィルタの機能を行うものであり、ブロック化
部４３より供給されるサブバンドデータを構成する上述
の計（ｎ＋１）個のデータをそれぞれフィルタリング
し、フィルタリングされたサブバンドデータを、非線形
量子化部４５へと供給する。帯域制限部４４がフィルタ
リングを行うことにより、サブバンドデータが表す（ｎ
＋１）個の各周波数成分（基本周波数成分又は高調波成
分）の強度の時間変化のうち、所定のカットオフ周波数
を超える成分が実質的に除去される。

【００６２】非線形量子化部４５は、フィルタリングさ
れたサブバンドデータを帯域制限部４４より供給され、
あるいは、摩擦音情報をブロック化部４３より供給され
ると、このサブバンドデータが表す各周波数成分の瞬時
値（又は、摩擦音情報が表すスペクトルの各成分の強
度）に非線形な圧縮を施して得られる値（具体的には、
たとえば、瞬時値やスペクトルの各成分の強度を上に凸
な関数に代入して得られる値）を量子化したものに相当
するサブバンドデータ（又は摩擦音情報）を生成する。
そして、生成したサブバンドデータや摩擦音情報（非線
形量子化後のサブバンドデータあるいは摩擦音情報）
を、エンコード部５（より具体的には、後述のバンド削
除部５１）へと供給する。ただし、非線形量子化後の摩
擦音情報には、当該摩擦音情報を識別するための摩擦音
フラグを付した上でエンコード部５に供給する。

【００６３】なお、非線形量子化部４５は、瞬時値の圧
縮前の値と圧縮後の値との対応関係を特定するための圧
縮特性データを圧縮率設定部４６より取得し、このデー
タにより特定される対応関係に従って圧縮を行うものと
する。

【００６４】具体的には、例えば、非線形量子化部４５
は、数式３の右辺に含まれる関数ｇｌｏｂａｌ＿ｇａｉ
ｎ（ｘｉ）を特定するデータを、圧縮特性データとして
圧縮率設定部４６より取得する。そして、非線形圧縮後
の各周波数成分の瞬時値を、数式３の右辺に示す関数Ｘ
ｒｉ（ｘｉ）を量子化した値に実質的に等しくなるよう
なものへと変更することにより非線形量子化を行う。

【００６５】

【数３】Ｘｒｉ（ｘｉ）＝ｓｇｎ（ｘｉ）・｜ｘｉ｜^４／３・２
^{｛ｇｌｏｂａｌ＿ｇａ} ^{ｉｎ（ｘｉ）｝／４} （ただし、ｓｇｎ（α）＝（α／｜α｜）、ｘｉは、帯
域制限部４４が供給するサブバンドデータが表す周波数
成分の瞬時値、ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）は、フ
ルスケールを設定するためのｘｉの関数）

【００６６】圧縮率設定部４６は、非線形量子化部４５
による瞬時値の圧縮前の値と圧縮後の値との対応関係
（以下、圧縮特性と呼ぶ）を特定するための上述の圧縮
特性データを生成し、非線形量子化部４５及び後述の算
術符号化部５２に供給する。具体的には、例えば、上述
の関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定する圧縮
特性データを生成して、非線形量子化部４５及び算術符
号化部５２に供給する。

【００６７】なお、圧縮率設定部４６は、非線形量子化
部４５による圧縮後のサブバンドデータのデータ量が、
仮に非線形量子化部４５が圧縮を施すことなく量子化を
行ったとした場合のデータ量に比べて１００分の１程度
になるように（すなわち、圧縮率が１００分の１程度に
なるように）、圧縮特性を決定することが望ましい。

【００６８】圧縮特性を決定するため、圧縮率設定部４
６は、たとえば、算術符号（arithmetic code）に変換
されたサブバンドデータをエンコード部５より（より具
体的には、後述の算術符号化部５２より）取得する。そ
して、振幅調整部４２より取得したサブバンドデータの
データ量に対する、エンコード部５より取得したサブバ
ンドデータのデータ量の比を求め、求めた比が、目標と
する圧縮率（たとえば、約１００分の１）より大きいか
否かを判別する。求めた比が目標とする圧縮率より大き
いと判別すると、圧縮率設定部４６は、圧縮率が現在よ
り小さくなるように圧縮特性を決定する。一方、求めた
比が目標とする圧縮率以下であると判別すると、圧縮率
が現在より大きくなるように、圧縮特性を決定する。

【００６９】また、圧縮率設定部４６は、圧縮する対象
のサブバンドデータが表す音素を特徴付ける上で重要性
が高いスペクトルの品質の劣化が少なくなるように、圧
縮特性を決定するものとする。具体的には、例えば、圧
縮率設定部４６は、ケプストラム解析部２２が供給する
上述のデータを取得して、このデータが示すフォルマン
ト周波数に近いスペクトルほど大きなビット数で量子化
されるように圧縮特性を決定したり、あるいは、周波数
がこのフォルマント周波数から一定の範囲内にあるスペ
クトルを、他のスペクトルより大きなビット数で量子化
されるように圧縮特性を決定したりすればよい。

【００７０】エンコード部５は、機能的には、図５に示
すように、バンド削除部５１と、算術符号化部５２とよ
り構成されている。なお、単一のプロセッサや単一のメ
モリがバンド削除部５１及び算術符号化部５２の一部又
は全部の機能を行うようにしてもよい。

【００７１】バンド削除部５１は、更に、ハードディス
ク装置やＲＯＭ（Read Only Memory）等の不揮発性メモ
リを備える。バンド削除部５１は、音素ラベルと、この
音素ラベルが示す音素のうち削除する対象の高調波成分
を指定する削除バンド指定情報とを互いに対応付けて格
納する削除バンドテーブルを記憶する。なお、１種類の
音素につき複数の高調波成分が削除の対象になっていて
も差し支えなく、また、高調波成分の削除が行われない
音素が存在しても差し支えない。

【００７２】そして、バンド削除部５１は、非線形量子
化後のサブバンドデータあるいは摩擦音情報を非線形量
子化部４５より供給され、音素ラベルを表す変調波を音
素データ入出力部１より供給されると、非線形量子化部
４５より供給されたデータ（非線形量子化後のサブバン
ドデータあるいは摩擦音情報）に摩擦音フラグが付され
ているか否かを判別する。そして、付されていない（す
なわち、当該データが非線形量子化後のサブバンドデー
タである）と判別すると、供給された音素ラベルに対応
付けられている削除バンド指定情報を特定する。そし
て、非線形量子化部４５より供給されたサブバンドデー
タのうち、特定した削除バンド指定情報が示す高調波成
分を表すデータを除いたデータを、音素ラベルと共に算
術符号化部５２に供給する。

【００７３】一方、バンド削除部５１は、非線形量子化
部４５より供給されたデータに摩擦音フラグが付されて
いる（すなわち、当該データが非線形量子化後の摩擦音
情報である）と判別すると、この非線形量子化後の摩擦
音情報を、摩擦音フラグが付された状態で、音素ラベル
と共に算術符号化部５２に供給する。

【００７４】算術符号化部５２は、サブバンドデータ等
の後述のデータを格納するための音声データベースＤＢ
を記憶する、ハードディスク装置やフラッシュメモリ等
の不揮発性メモリ等に着脱可能に接続される。

【００７５】算術符号化部５２は、バンド削除部５１よ
り供給された音素ラベル及びサブバンドデータ（又は摩
擦音情報）と、補間部３２より供給されたピッチ情報
と、振幅調整部４２より供給された比例定数データと、
圧縮率設定部４６より供給された圧縮特性データとを算
術符号へと変換し、得られた各算術符号を、同一の音素
データについてのもの毎に互いに対応付けて音声データ
ベースＤＢに格納する。

【００７６】以上説明した動作により、この音素データ
エンコーダは、音素データをサブバンドデータへと変換
し、サブバンドデータから、音素毎に所定の高調波成分
を除去することにより、音素データをエンコードする。
そして、削除バンドテーブルを、音声データベースＤＢ
に格納されているサブバンドデータが表す音素を発声し
た発声者（あるいはこの音声データベースＤＢの所持者
等の特定人）等に固有のものとすれば、音声データベー
スＤＢに格納されているサブバンドデータを用いて合成
された合成音声から、この発声者等を特定することが可
能になる。

【００７７】具体的には、この合成音声を音素に分解
し、分解して得られた各音素をフーリエ変換して、各音
素がどの高調波成分を除去されているかを音素毎に特定
することにより、この合成音声に含まれる各音素と、こ
れらの音素から除去されている高調波成分との対応関係
を特定する。そして、特定した対応関係と矛盾しない内
容を有する削除バンドテーブルを特定することにより、
特定された削除バンドテーブルを自己に固有のものとし
て割り当てられている者が特定されれば、この者が、合
成音声の合成に用いられた音素の発声者等であると特定
される。従って、合成音声が十分多数の種類の音素を含
んでいれば、合成音声が表す文章の内容や音素の配列に
かかわらず、この合成音声の合成に用いられた音素の発
声者等が特定される。

【００７８】また、人の聴覚は、音素データの高調波成
分の欠如には敏感でないという性質を有する。従って、
この音素データエンコーダにより高調波成分を削除され
たサブバンドデータに基づいて合成された音声は、聴覚
的にみて異音が少なくなる。

【００７９】また、音声データベースＤＢに格納された
サブバンドデータを用いて合成された合成音声は、この
合成音声を構成する音素の一部の高調波成分が除去され
ている。従って、音声を構成する音素の一部の高調波成
分が除去されているか否かを判別することにより、この
音声が合成音声であるか、あるいは人が実際に発声した
音声であるかを区別することが可能となる。

【００８０】なお、この音素データエンコーダの構成は
上述のものに限られない。たとえば、音素データ入力部
１は、電話回線、専用回線、衛星回線等の通信回線を介
して外部より音素データを取得するようにしてもよい。
この場合、音素データ入力部１は、例えばモデムやＤＳ
Ｕ（Data Service Unit）等からなる通信制御部を備え
ていればよい。

【００８１】また、バンド削除部５１は、削除バンドテ
ーブルを書き換え可能に記憶するものとしてもよく、音
素データ入力部１に供給される音素データが表す音素の
発声者等が変わるたびに、従前記憶していた削除バンド
テーブルをバンド削除部５１から消去し、この発声者等
に固有の削除バンドテーブルを新たにバンド削除部５１
に記憶させるようにすれば、複数の発声者等に固有の音
声データベースＤＢを構築することが可能となる、

【００８２】また、ブロック化部４３は、音素ラベルを
たとえば音声データ入力部１より取得して、取得した音
素ラベルに基づき、自己に供給されたサブバンドデータ
が摩擦音を表すものか否かを判別してもよい

【００８３】また、音素データ入力部１は、マイクロフ
ォン、ＡＦ（Audio Frequency）増幅器、サンプラー、
Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエ
ンコーダなどからなる集音装置を備えていてもよい。集
音装置は、自己のマイクロフォンが集音した音声を表す
音声信号を増幅し、サンプリングしてＡ／Ｄ変換した
後、サンプリングされた音声信号にＰＣＭ変調を施すこ
とにより、音素データを取得すればよい。なお、音素デ
ータ入力部１が取得する音素データは、必ずしもＰＣＭ
信号である必要はない。

【００８４】また、ピッチ抽出部２は、ケプストラム解
析部２２（又は自己相関解析部２３）を備えていなくて
もよく、この場合、重み計算部２４は、ケプストラム解
析部２２（又は自己相関解析部２３）が求めた基本周波
数の逆数をそのまま平均ピッチ長として扱うようにすれ
ばよい。また、波形相関解析部２７は、バンドパスフィ
ルタ２６から供給されたピッチ信号を、そのままゼロク
ロス信号としてケプストラム解析部２２へと供給するよ
うにしてもよい。

【００８５】以上、この発明の実施の形態を説明した
が、この発明にかかる音声信号加工装置は、専用のシス
テムによらず、通常のコンピュータシステムを用いて実
現可能である。例えば、パーソナルコンピュータに上述
の音素データ入力部１、ピッチ抽出部２、リサンプリン
グ部３、サブバンド解析部４及びエンコード部５の動作
を実行させるためのプログラムを格納した媒体（ＣＤ−
ＲＯＭ、ＭＯ、フレキシブルディスク等）から該プログ
ラムをインストールすることにより、上述の処理を実行
する音素データエンコーダを構成することができる。

【００８６】また、例えば、通信回線の掲示板（ＢＢ
Ｓ）に該プログラムを掲示し、これを通信回線を介して
配信してもよく、また、該プログラムを表す信号により
搬送波を変調し、得られた変調波を伝送し、この変調波
を受信した装置が変調波を復調して該プログラムを復元
するようにしてもよい。そして、該プログラムを起動
し、ＯＳの制御下に、他のアプリケーションプログラム
と同様に実行することにより、上述の処理を実行するこ
とができる。

【００８７】なお、ＯＳが処理の一部を分担する場合、
あるいは、ＯＳが本願発明の１つの構成要素の一部を構
成するような場合には、記録媒体には、その部分を除い
たプログラムを格納してもよい。この場合も、この発明
では、その記録媒体には、コンピュータが実行する各機
能又はステップを実行するためのプログラムが格納され
ているものとする。

【００８８】

【発明の効果】以上説明したように、この発明によれ
ば、音声の情報の暗号化を要せずに、音声の構成要素の
配列を並べ替えても音声の発声者等を同定できるように
音声の情報を加工するための音声信号加工装置及び音声
信号加工方法が実現される。

【図面の簡単な説明】

【図１】この発明の実施の形態に係る音素データエンコ
ーダの構成を示すブロック図である。

【図２】ピッチ抽出部の構成を示すブロック図である。

【図３】リサンプリング部の構成を示すブロック図であ
る。

【図４】サブバンド解析部の構成を示すブロック図であ
る。

【図５】エンコード部の構成を示すブロック図である。

【符号の説明】

１音素データ入力部２ピッチ抽出部２１ヒルベルト変換部２２ケプストラム解析部２３自己相関解析部２４重み計算部２５ＢＰＦ係数計算部２６バンドパスフィルタ２７波形相関解析部２８位相調整部２９摩擦音検出部３リサンプリング部３１データ共通化部３２補間部４サブバンド解析部４１直交変換部４２振幅調整部４３ブロック化部４４帯域制限部４５非線形量子化部４６圧縮率設定部５エンコード部５１バンド削除部５２算術符号化部ＤＢ音声データベース

Claims

【特許請求の範囲】

【請求項１】音素の波形を表す加工対象の音声信号の基
本周波数成分及び高調波成分の強度の時間変化を表すサ
ブバンド信号を生成するサブバンド抽出手段と、前記サブバンド抽出手段が生成したサブバンド信号のう
ち、前記音素に対応付けられた削除対象の高調波成分の
時間変化を表す部分を削除した結果を表す削除済みサブ
バンド信号を生成する削除手段と、を備える、ことを特徴とする音声信号加工装置。
【請求項２】特定の話者が発声した各音素と、各該音素
に対応付けられている削除対象の高調波成分との対応関
係は、当該話者に固有のものである、ことを特徴とする請求項１に記載の音声信号加工装置。
【請求項３】前記削除手段は、前記対応関係を表すテー
ブルを書き換え可能に記憶し、自己が記憶するテーブル
が表す対応関係に従って、前記削除済みサブバンド信号
を生成する、ことを特徴とする請求項２に記載の音声信号加工装置。
【請求項４】前記削除手段は、前記フィルタリングされ
たサブバンド信号を非線形量子化したもののうち、前記
音素に対応付けられた削除対象の高調波成分の時間変化
を表す部分を削除した結果を表す前記削除済みサブバン
ド信号を生成する、ことを特徴とする請求項１、２又は３に記載の音声信号
加工装置。
【請求項５】前記削除手段は、前記削除済みサブバンド
信号を取得し、取得した当該情報付加済みサブバンド信
号のデータ量に基づいて、前記非線形量子化の量子化特
性を決定し、決定した量子化特性に合致するように前記
非線形量子化を行う、ことを特徴とする請求項４に記載の音声信号加工装置。
【請求項６】前記加工対象の音声信号のうち摩擦音を表
す部分を特定し、特定した部分を、前記削除対象の高調
波成分の時間変化を表す部分を削除する対象から除外す
る手段を備える、ことを特徴とする請求項１乃至５のいずれか１項に記載
の音声信号加工装置。
【請求項７】前記加工対象の音声信号を取得し、当該音
声信号の単位ピッチ分にあたる区間の時間長を実質的に
同一に揃えることにより、当該音声信号をピッチ波形信
号へと加工するピッチ波形信号生成手段を備え、前記サ
ブバンド抽出手段は、前記ピッチ波形信号に基づいて前
記サブバンド信号を生成する、ことを特徴とする請求項１乃至６のいずれか１項に記載
の音声信号加工装置。
【請求項８】前記サブバンド抽出手段は、制御に従って周波数特性を変化させ、前記加工対象の音
声信号をフィルタリングすることにより、加工する対象
である音声の基本周波数成分を抽出する可変フィルタ
と、前記可変フィルタにより抽出された基本周波数成分に基
づいて前記音声の基本周波数を特定し、特定した基本周
波数近傍の成分以外が遮断されるような周波数特性にな
るように前記可変フィルタを制御するフィルタ特性決定
手段と、前記加工対象の音声信号を、当該音声信号の基本周波数
成分の値に基づき、単位ピッチ分の音声信号からなる区
間へと区切るピッチ抽出手段と、前記加工対象の音声信号の各前記区間内を互いに実質的
に同数の標本でサンプリングすることにより、各該区間
内の時間長が実質的に同一に揃ったピッチ波形信号を生
成するピッチ長固定部と、を備える、ことを特徴とする請求項７に記載の音声信号加工装置。
【請求項９】ピッチ波形信号の各前記区間の元の時間長
を特定するためのピッチ情報を生成して出力するピッチ
情報出力手段を備える、ことを特徴とする請求項８に記載の音声信号加工装置。
【請求項１０】音素の波形を表す加工対象の音声信号の
基本周波数成分及び高調波成分の強度の時間変化を表す
サブバンド信号を生成し、生成したサブバンド信号のうち、前記音素に対応付けら
れた削除対象の高調波成分の時間変化を表す部分を削除
した結果を表す削除済みサブバンド信号を生成する、ことを特徴とする音声信号加工方法。
【請求項１１】コンピュータを、音素の波形を表す加工対象の音声信号の基本周波数成分
及び高調波成分の強度の時間変化を表すサブバンド信号
を生成するサブバンド抽出手段と、前記サブバンド抽出手段が生成したサブバンド信号のう
ち、前記音素に対応付けられた削除対象の高調波成分の
時間変化を表す部分を削除した結果を表す削除済みサブ
バンド信号を生成する削除手段と、して機能させるためのプログラム。