JP2008026565A - ピッチ変換方法及び装置 - Google Patents

ピッチ変換方法及び装置 Download PDF

Info

Publication number
JP2008026565A
JP2008026565A JP2006198560A JP2006198560A JP2008026565A JP 2008026565 A JP2008026565 A JP 2008026565A JP 2006198560 A JP2006198560 A JP 2006198560A JP 2006198560 A JP2006198560 A JP 2006198560A JP 2008026565 A JP2008026565 A JP 2008026565A
Authority
JP
Japan
Prior art keywords
pitch
deterioration
degree
input signal
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006198560A
Other languages
English (en)
Other versions
JP4757130B2 (ja
Inventor
Kaori Endou
香緒里 遠藤
Chikako Matsumoto
智佳子 松本
Taro Togawa
太郎 外川
Takashi Ota
恭士 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006198560A priority Critical patent/JP4757130B2/ja
Priority to US11/802,228 priority patent/US7925500B2/en
Priority to EP07108659.9A priority patent/EP1881483B1/en
Priority to CNB2007101091652A priority patent/CN100559469C/zh
Publication of JP2008026565A publication Critical patent/JP2008026565A/ja
Application granted granted Critical
Publication of JP4757130B2 publication Critical patent/JP4757130B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
  • Monitoring And Testing Of Exchanges (AREA)

Abstract

【課題】ピッチ変換に伴う音質の劣化を出来るだけ抑えながら、そのデータ処理量を減少させることが可能なピッチ変換方法及び装置を提供する。
【解決手段】所定の処理単位分の入力信号ピッチパターンIPPと目標ピッチパターンTPPとを入力して、入力信号ピッチパターンIPPから目標ピッチパターンTPPへのピッチ変換を行う際に入力信号の波形が劣化する劣化度DGRを算出する。或いは、予測される全ての音声状態及び音素種別の組合せと劣化度DRGとを対応付けて記録したデータベース中から、入力信号の音声状態及び音素種別に対応する劣化度DGRを抽出する。そして、劣化度DGRに応じて、ピッチ変換を小さいデータ処理量で行うピッチ変換部410と大きいデータ処理量で行うピッチ変換部420とを切り替える。
【選択図】図1

Description

本発明は、ピッチ変換方法及び装置に関し、特に入力信号のピッチを例えば音声の高さやアクセントを変更するために所望(目標)のピッチへ変換するピッチ変換方法及び装置に関するものである。
上記のようなピッチ変換技術の従来例[1]及び[2]を、図24を参照して以下に説明する。
従来例[1] (PSOLA方式)：図24
このピッチ変換技術は、入力信号のピッチ周期毎の波形を目標のピッチに合わせて重複加算することによりピッチ変換を行う(すなわち結果として、入力信号が時間軸方向に伸縮される)ものであり、一般に、PSOLA(Pitch-Synchronous Overlap and Add)方式と呼ばれている(例えば、特許文献1参照。)。
図24は、このPSOLA方式を用いて、入力信号Inを時間軸方向に縮める場合のピッチ変換例を示している。
すなわち、まず、入力信号Inからピッチ周期T毎に２つの波形W1及びW2を切り出し、切り出した波形W1及びW2にそれぞれ窓関数F1及びF2を掛けて振幅を調整する。ここで、後述する重複加算による波形W1及びW2の重複部分と非重複部分との境界で波形が不連続にならないようにするため、窓関数F1及びF2は、図示のように波形W1及びW2の重複部分で互いの寄与度の和が“1”になるように設定されている。
そして、窓関数F1及びF2を掛けて振幅を調整した２つの波形(図示せず)を重複加算して、出力信号Outを得る。
このような従来例[1]の場合、位相が異なる波形を重ね合わせるため、ピッチ変換後の波形が変形してしまう虞れがある。これは、特にピッチ変換率(すなわち、入力信号の時間軸方向に対する伸縮率)が大きい場合に顕著であり音質の劣化につながる。
この問題に対処するため、以下に説明する従来例[2]が既に提案されている。
従来例[2]：図示せず
このピッチ変換技術では、まず、入力信号を線形予測分析して包絡信号(フォルマント成分)と残差信号(ハーモニクス成分)に分離する。そして、該残差信号だけを上記の従来例[1]と同様にピッチ変換すると共に、該ピッチ変換した残差信号と元の包絡信号とを、該入力信号から算出した線形予測係数を用いて合成する。
これにより、包絡信号には影響を与えずにピッチ変換を行うことができ、以て上述したピッチ変換による波形の変形を低減できるため、音質の劣化を回避することが可能になる(例えば、特許文献2参照。)。
特開平10-78791号公報 特開平7-219597号公報
上記の従来例[2]では、上記の従来例[1]に比べて入力信号の音質を劣化させずにピッチ変換を行うことが可能であるが、線形予測分析及び信号の分離・合成に係る処理はそのデータ処理量(演算量等)が大きいという課題がある。
従って、本発明は、ピッチ変換に伴う音質の劣化を出来るだけ抑えながら、そのデータ処理量を減少させることが可能なピッチ変換方法及び装置を提供することを目的とする。
[1]上記の目的を達成するため、本発明の一態様に係るピッチ変換方法(又は装置)は、所定の処理単位分の入力信号ピッチパターンと該入力信号ピッチパターンに対する目標のピッチパターンとを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価ステップ(又は手段)と、該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップ(又は手段)とを備えたことを特徴とする。
すなわち、劣化評価ステップ(又は手段)では、ピッチ変換の実行に先立って劣化度を算出し、ピッチ変換ステップ(又は手段)では、この劣化度に応じてピッチ変換を行うためのデータ処理量を切り替える。
これにより、該劣化度が小さい場合には、ピッチ変換に伴う音質の劣化が発生しないため、例えば上記の従来例[1]に示したピッチ変換技術を用いて小さいデータ処理量でピッチ変換を行うことが可能である。また、該劣化度が大きく高性能なピッチ変換を行う必要がある場合に限り、例えば上記の従来例[2]に示したピッチ変換技術を用いてピッチ変換を行うことができるため、処理負荷(すなわち、全体のデータ処理量)を低減することが可能である。
[2]また、上記[1]において、該劣化評価ステップ(又は手段)が、該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出ステップ(又は手段)と、該平均ピッチ変換量を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップ(又は手段)に与える劣化度算出ステップ(又は手段)とを含むようにしても良い。
すなわち、この平均ピッチ変換量は、所定の処理単位分の入力信号に対してどれだけピッチ変換を行う必要があるか(すなわち、入力信号の波形がどれだけ変形され得るか)を示す値であるため、該劣化度として使用することができる。
[3]また、上記[1]において、該ピッチ変換ステップ(又は手段)が、該劣化度の高低に応じた第１及び第２のピッチ変換ステップ(又は手段)を含み、これに合わせて、該劣化評価ステップ(又は手段)も同一の第１及び第２のピッチ変換ステップ(又は手段)を含み、該劣化評価ステップ(又は手段)が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップ(又は手段)と、該平均信号差分を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップ(又は手段)に与える劣化度算出ステップ(又は手段)とを含むようにしても良い。
すなわち、該劣化評価ステップ(又は手段)は、後段のピッチ変換ステップ(又は手段)におけるピッチ変換の実行に先立って、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該後段のピッチ変換ステップ(又は手段)が含んでいるものと同一の第１のピッチ変換ステップ(又は手段)及び第２のピッチ変換ステップ(又は手段)でそれぞれピッチ変換させる。
上記の両ピッチ変換結果に基づいて得られる平均信号差分は、該ピッチ変換ステップ(又は手段)が含む第１のピッチ変換ステップ(又は手段)及び第２のピッチ変換ステップ(又は手段)でそれぞれ実際にピッチ変換を行った場合のピッチ変換結果の差分により近い差分を示す値であり、該平均信号差分が小さい場合には、データ処理量の大小に関わらずピッチ変換結果に差異がない(すなわち、データ処理量の大小に関わらずピッチ変換に伴う音質の劣化が発生しない)と見做すことができるため、該劣化度として使用することができる。
[4]また、上記[1]において、該劣化評価ステップ(又は手段)が、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)と、該ピッチパターン変化度を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップ(又は手段)とを含むようにしても良い。
すなわち、このピッチパターン変化度は、入力信号ピッチパターンの変化傾向と目標ピッチパターンの変化傾向との相関関係から得られる値(すなわち例えば、入力信号のピッチを大幅に変換する必要があるか否かを示す値)であるため、該劣化度として使用することができる。
[5]また、上記[2]において、該ピッチ変換ステップ(又は手段)が、該劣化度の高低に応じた第１及び第２のピッチ変換ステップ(又は手段)を含み、これに合わせて、該劣化評価ステップ(又は手段)も同一の第１及び第２のピッチ変換ステップ(又は手段)を含み、該劣化評価ステップ(又は手段)が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均ピッチ変換量及び該平均信号差分をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えるようにしても良い。
[6]また、上記[2]において、該劣化評価ステップ(又は手段)が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均ピッチ変換量及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えるようにしても良い。
[7]また、上記[3]において、該劣化評価ステップ(又は手段)が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均信号差分及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えるようにしても良い。
[8]また、上記[5]において、該劣化評価ステップ(又は手段)が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均ピッチ変換量、該平均信号差分、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えるようにしても良い。
上記[5]〜[8]のように、上記[2]〜[4]で説明した平均ピッチ変換量、平均信号差分、及びピッチパターン変化度の内の２つによる組合せ又は３つ全てを、該劣化度として使用することができる。
[9]また、本発明の一態様に係るピッチ変換方法(又は装置)は、所定の処理単位分の入力信号の音声状態及び音素種別を入力して、該入力信号のピッチパターンから該入力信号ピッチパターンに対する目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップ(又は手段)と、該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップ(又は手段)とを備えたことを特徴とする。
すなわち、このデータベースは、入力信号として予測される全ての音声状態及び音素種別の組合せと該劣化度とを対応付けて記録したものであるため、実際に発生し得る音質の劣化に応じて的確にデータ処理量を減少させることが可能である。
[10]また、本発明の一態様に係るピッチ変換方法(又は装置)は、所定の処理単位分の入力信号ピッチパターンと、該入力信号ピッチパターンに対する目標のピッチパターンと、該入力信号の音声状態及び音素種別とを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価ステップと、該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップとを備えたことを特徴とする。
このように、上記[1]で説明したような入力信号ピッチパターン及び目標ピッチパターンに基づく劣化度、並びに上記[9]で説明したような入力信号の音声状態及び音素種別に基づく劣化度の両方を考慮して劣化度を算出でき、以てより精度良く音質劣化を抑えながら、ピッチ変換を行うためのデータ処理量を減少させることが可能である。
[11]また、上記[10]において、該劣化評価ステップ(又は手段)が、該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出ステップ(又は手段)と、該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップ(又は手段)と、該平均ピッチ変換量及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与える劣化度算出ステップ(又は手段)とを含むようにしても良い。
[12]また、上記[10]において、該ピッチ変換ステップ(又は手段)が、該劣化度の高低に応じた第１及び第２のピッチ変換ステップ(又は手段)を含み、これに合わせて、該劣化評価ステップ(又は手段)も同一の第１及び第２のピッチ変換ステップ(又は手段)を含み、該劣化評価ステップ(又は手段)が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップ(又は手段)と、該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップ(又は手段)と、該平均信号差分及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与える劣化度算出ステップ(又は手段)とを含むようにしても良い。
[13]また、上記[10]において、該劣化評価ステップ(又は手段)が、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)と、該劣化度と予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップ(又は手段)と、該ピッチパターン変化度及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与える劣化度算出ステップ(又は手段)とを含むようにしても良い。
[14]また、上記[11]において、該ピッチ変換ステップ(又は手段)が、該劣化度の高低に応じた第１及び第２のピッチ変換ステップ(又は手段)を含み、これに合わせて、該劣化評価ステップ(又は手段)も同一の第１及び第２のピッチ変換ステップ(又は手段)を含み、該劣化評価ステップ(又は手段)が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップ(又は手段)でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均ピッチ変換量、該抽出された劣化度、及び該平均信号差分をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えるようにしても良い。
[15]また、上記[11]において、該劣化評価ステップ(又は手段)が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均ピッチ変換量、該抽出された劣化度、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えるようにしても良い。
[16]また、上記[12]において、該劣化評価ステップ(又は手段)が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均信号差分、該抽出された劣化度、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えるようにしても良い。
[17]また、上記[14]において、該劣化評価ステップ(又は手段)が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップ(又は手段)を含み、該劣化度算出ステップ(又は手段)が、該平均ピッチ変換量、該抽出された劣化度、該平均信号差分、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップ(又は手段)に与えようにしても良い。
上記[11]〜[17]のように、平均ピッチ変換量、平均信号差分、ピッチパターン変化度、及び劣化度抽出ステップで抽出した劣化度の内の２つ又は３つによる組合せ、又は４つ全てを、該劣化度として使用することができる。
本発明によれば、ピッチ変換に伴う音質の劣化を出来るだけ抑えながら、そのデータ処理量を減少させることができ、以て本発明を適用する装置の処理輻輳及びこれに伴うピッチ変換の遅延を防止でき、また、装置の長寿命化等を図ることができる。
また、劣化度を簡易に算出又は抽出できるようにしたので、装置内の回路を簡素化することができる。
本発明に係るピッチ変換方法及びこれを使用する装置の実施例[1]〜[3]を、図1〜23を参照して以下の順に説明する。
I. 実施例[1]：図1〜13
I.1. 構成例 (劣化評価部の実施例(1)〜(7)に共通)：図1
I.2. 全体動作例 (実施例[2]及び[3]にも共通)：図2
I.3. 劣化評価部の実施例(1)〜(7)：図3〜13
I.3.A 劣化評価部の実施例(1)：図3及び4
I.3.A.a 構成例：図3
I.3.A.b 動作例：図4
I.3.B 劣化評価部の実施例(2)：図5及び6
I.3.B.a 構成例：図5
I.3.B.b 動作例：図6
I.3.C 劣化評価部の実施例(3)：図7〜9
I.3.C.a 構成例：図7
I.3.C.b 動作例：図8及び9
I.3.D 劣化評価部の実施例(4)：図10
I.3.E 劣化評価部の実施例(5)：図11
I.3.F 劣化評価部の実施例(6)：図12
I.3.G 劣化評価部の実施例(7)：図13
II. 実施例[2]：図14及び15
II.1. 構成例：図14
II.2. 動作例：図15
III. 実施例[3]：図16〜23
III.1. 構成例 (劣化評価部の実施例(8)〜(14)にも共通)：図16
III.2. 動作例：図17〜23
III.3. 劣化評価部の実施例(8)〜(14)：図17〜23
III.3.A 劣化評価部の実施例(8)：図17
III.3.B 劣化評価部の実施例(9)：図18
III.3.C 劣化評価部の実施例(10)：図19
III.3.D 劣化評価部の実施例(11)：図20
III.3.E 劣化評価部の実施例(12)：図21
III.3.F 劣化評価部の実施例(13)：図22
III.3.G 劣化評価部の実施例(14)：図23
I.実施例[1]：図1〜13
I.1.構成例 (劣化評価部の実施例(1)〜(7)に共通)：図1
図1に示す本発明の実施例[1]に係るピッチ変換装置10は、所定の処理単位分の入力信号ピッチパターンIPP、このピッチパターンIPPに対する目標ピッチパターンTPP、及びピッチマークPMとを入力し、劣化度DGRを算出する劣化評価部100と、この劣化度DGRに応じてピッチ変換を行うピッチ変換部200とで構成されている。
ここで、ピッチマークPMは、入力信号ピッチパターンIPP及び目標ピッチパターンTPP中のピッチ周期の位置を示すデータである。また、所定の処理単位は、例えば、所定数のピッチ周期(すなわち、所定数のピッチマークPM)、１つの音素、１つの音声素片(複数の音素集合)、又は１つの文章等のデータ単位である。
また、ピッチ変換部200は、入力信号ピッチパターンIPP、目標ピッチパターンTPP、及びピッチマークPMを入力し、小さなデータ処理量でピッチ変換を実行するピッチ変換部310(すなわち、上記の従来例[1]のようなピッチ変換技術を用いた低性能なもの)と、大きなデータ処理量でピッチ変換を実行するピッチ変換部320(すなわち、上記の従来例[2]のようなピッチ変換技術を用いた高性能なもの)と、劣化度DGRに応じて、これらのピッチ変換部310及び320のいずれでピッチ変換を行うべきかを判定して切り替える切替部400とを備えている。
次に、本実施例の動作を説明するが、まずその全体動作例を、図2を参照して説明する。そして、劣化評価部100の実施例(1)〜(7)を、図3〜13を参照して説明する。
なお、下記の全体動作例の説明は、劣化度DGRの算出又は抽出処理(以下、劣化評価処理)を除き、後述する実施例[2]及び[3]においても同様に適用される。
I.2.全体動作例 (実施例[2]及び[3]にも共通)：図2
図2に示すように、劣化評価部100は、所定の処理単位分の入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPを入力し(ステップS1)、後述する劣化評価処理を実行して得た劣化度DGRを、ピッチ変換部200内の切替部400に与える(ステップS2)。
切替部400は、劣化度DGRと所定の閾値Thとを比較し、この結果、劣化度が閾値Thに満たないと判定した時(ステップS3)、入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPをピッチ変換部310に与える。
これらを受けたピッチ変換部310は、ピッチ変換処理を実行する(ステップS4)と共に、ピッチ変換後の出力信号Out1を後段に送出する(ステップS5)。
一方、上記のステップS3において、劣化度が閾値Th以上であると判定した時、切替部400は、入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPをピッチ変換部320に与える。
これらを受けたピッチ変換部320は、ピッチ変換処理を実行する(ステップS6)と共に、ピッチ変換後の出力信号Out2を後段に送出する(ステップS7)。
I.3.劣化評価部の実施例(1)〜(7)：図3〜13
I.3.A劣化評価部の実施例(1)：図3及び4
I.3.A.a構成例：図3
図3に示す劣化評価部100は、入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPを入力し、平均ピッチ変換量PCを算出する平均ピッチ変換量算出部110と、この平均ピッチ変換量PCから劣化度DGRを算出する劣化度算出部120とを備えている。
I.3.A.b動作例：図4
図4(i)に示すように、平均ピッチ変換量算出部110は、入力信号に対する平均ピッチ変換量PCを以下の式(1)に従って算出し、これを劣化度算出部120に与える(ステップS10の平均ピッチ変換量算出処理T1)。
Figure 2008026565
ここで、式(1)中のΔpiは、同図(ii)に示すように、ピッチマークPMiが示すピッチ周期の位置における目標ピッチTPiと入力信号ピッチIPiとのピッチ差の絶対値を示しており、このΔpiの総和(図示の例では、１処理単位当たりのピッチ周期数nを“10”(ピッチ周期T1〜T10)としている。)を、入力信号ピッチIPiの総和で除算することにより平均ピッチ変換量PCが算出される。
そして、劣化度算出部120は、この平均ピッチ変換量PCに基づき、劣化度DGRを以下の式(2)によって算出し、これを切替部400に与える(ステップS11)。
・劣化度DGR ＝ f1(PC)
＝ a・PC＋b …式(2)
ここで、上記の関数f1中の係数a及びbは、劣化度DGRに応じたピッチ変換部310及び320の切替が最適に行われるよう運用者等により予め設定されていれば良い。これは、後述する劣化評価部の各実施例で用いる関数中の係数についても同様である。
I.3.B劣化評価部の実施例(2)：図5及び6
I.3.B.a構成例：図5
図5に示す劣化評価部100は、入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPの内の「一部」を入力し、平均信号差分DIFを算出する平均信号差分算出部130と、この平均信号差分DIFから劣化度DGRを算出する劣化度算出部120とを備えている。
また、平均信号差分算出部130は、図1に示したピッチ変換部310及び320と同一のピッチ変換部310及び320と、これらのピッチ変換部310及び320の出力信号Out1及びOut2から平均信号差分DIFを算出する信号差分算出部131とを含んでいる。
I.3.B.b動作例：図6
図6に示すように、平均信号差分算出部130は、平均信号差分算出処理T2を実行して出力信号Out2に対する出力信号Out1の平均信号差分DIFを算出する。
すなわち、平均信号差分算出部130は、入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPを、ピッチ周期数m(１処理単位当たりのピッチ周期数より小さい数)分だけ入力し、これらをピッチ変換部310及び320にそれぞれ与える(ステップS20)。
そして、ピッチ変換部310及び320は、それぞれ、ピッチ変換処理を実行すると共に、ピッチ変換後の出力信号Out1及びOut2を信号差分算出部131に与える(ステップS21及びS22)。
出力信号Out1及びOut2を受けた信号差分算出部131は、平均信号差分DIFを以下の式(3)に従って算出し、これを劣化度算出部120に与える(ステップS23)。
Figure 2008026565
ここで、式(3)中のOut1i及びOut2iは、ピッチマークPMi(図4(ii)参照。)が示すピッチ周期の位置における入力信号ピッチと目標ピッチとを、ピッチ変換部310及び320でそれぞれピッチ変換させて得られたピッチ変換結果を示しており、これらのピッチ変換結果Out1iとOut2iとのパワー差の総和をピッチ変換結果Out2iのパワーの総和で除算することにより平均信号差分DIFが算出される。
そして、劣化度算出部120は、この平均信号差分DIFに基づき、劣化度DGRを以下の式(4)によって算出し、これを切替部400に与える(ステップS24)。
・劣化度DGR ＝ f2(DIF)
＝ c・DIF＋d (c,dは係数) …式(4)
I.3.C劣化評価部の実施例(3)：図7〜9
I.3.C.a構成例：図7
図7に示す劣化評価部100は、入力信号ピッチパターンIPP及び目標ピッチパターンTPPが推移し得る変化傾向とピッチパターン変化度CHGとを対応付けて記録したピッチパターン変化度算出テーブルTBLと、入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPを入力すると共に、このテーブルTBLを参照し、ピッチパターン変化度CHGを決定して出力するピッチパターン変化度算出部140と、このピッチパターン変化度CHGから劣化度DGRを算出する劣化度算出部120とを備えている。
I.3.C.b動作例：図8及び9
図8に示すように、ピッチパターン変化度算出部140は、ピッチパターン変化度算出処理T3を実行して入力信号ピッチパターンIPPに対する目標ピッチパターンTPPへのピッチパターン変化度CHGを決定する。
すなわち、ピッチパターン変化度算出部140は、入力信号ピッチパターンIPP、ピッチマークPM、及び目標ピッチパターンTPPを入力し(ステップS30)、入力信号ピッチパターンIPPの変化傾向TND_I及び目標ピッチパターンTPPのそれぞれの変化傾向TND_T(以下、符号TNDで総称することがある。)を算出する(ステップS31及びS32)。
ここで、ピッチパターン変化度算出部140は、このピッチパターン変化傾向TNDを、図9(1)に示すように、ピッチパターンの３つの所定時間間隔(例えば、ピッチマークPMが示す各ピッチ周期を３つにグループ分けした時間)毎の平均ピッチAP1〜AP3(以下、符号APで総称することがある。)を算出して各平均ピッチAP1〜AP3の大きさを順次比較することにより９つのピッチパターン変化傾向TND1〜TND9の内のいずれかに分類する。
例えば、入力信号ピッチパターンIPPの平均ピッチAP1〜AP3の大きさが、AP1＜AP2＜AP3の関係を満たしている時(すなわち、平均ピッチAPが次第に上昇する変化傾向を示している時)、ピッチパターン変化度算出部140は、入力信号ピッチパターン変化傾向TND_Iをピッチパターン変化傾向TND1として分類する。
そして、ピッチパターン変化度算出部140は、図9(2)に示すピッチパターン変化度算出テーブルTBLを参照し、入力信号ピッチパターン変化傾向TND_I及び目標ピッチパターン変化傾向TND_Tの組合せからピッチパターン変化度CHGを決定する(ステップS33)。
ここで、ピッチパターン変化度算出テーブルTBLは、図示のように、入力信号ピッチパターン変化傾向TND_Iと目標ピッチパターン変化傾向TND_Tとの差異が大きい程、ピッチパターン変化度CHGとして大きい値が取得されるように設定されている。
例えば、入力信号ピッチパターン変化傾向TND_I及び目標ピッチパターン変化傾向TND_Tを、それぞれピッチパターン変化傾向TND3(平均ピッチAPが上昇から下降に転ずる変化傾向)及びピッチパターン変化傾向TND7(平均ピッチAPが下降から上昇に転ずる変化傾向)に分類した場合(すなわち、最もピッチパターン変化傾向TNDに差異がある場合)、ピッチパターン変化度算出部140は、ピッチパターン変化度算出テーブルTBLを参照してピッチパターン変化度CHGを“4”(最大値)に決定する。
そして、劣化度算出部120は、このピッチパターン変化度CHGに基づき、劣化度DGRを以下の式(5)によって算出し、これを切替部400に与える(ステップS34)。
・劣化度DGR ＝ f3(CHG) …式(5)
ここで、上記の関数f3は、上記の劣化評価部の実施例(1)又は(2)で説明した関数f1又はf2と同様のものを使用することができる。
I.3.D劣化評価部の実施例(4)：図10
図10(i)に示す劣化評価部100は、上記の劣化評価部の実施例(1)の構成に加えて、上記の劣化評価部の実施例(2)と同様の平均信号差分算出部130を備えており、但し、劣化度算出部120が、平均ピッチ変換量算出部110及び平均信号差分算出部130から出力される平均ピッチ変換量PC及び平均信号差分DIFから劣化度DGRを算出する点が異なっている。
動作においては、同図(ii)に示すように、平均ピッチ変換量算出部110及び平均信号差分算出部130が、それぞれ上述した平均ピッチ変換量算出処理及び平均信号差分算出処理を実行して、平均ピッチ変換量PC及び平均信号差分DIFを算出する(ステップT1及びT2)。
そして、劣化度算出部120は、これらの平均ピッチ変換量PC及び平均信号差分DIFに基づき、劣化度DGRを以下の式(6)によって算出し、これを切替部400に与える(ステップS40)。
・劣化度DGR ＝ f4(PC, DIF)
＝ α1・f1(PC)＋(1-α1)・f2(DIF) (α1は係数) …式(6)
I.3.E劣化評価部の実施例(5)：図11
図11(i)に示す劣化評価部100は、上記の劣化評価部の実施例(1)の構成に加えて、上記の劣化評価部の実施例(3)と同様のピッチパターン変化度算出部140及びピッチパターン変化度算出テーブルTBLを備えており、但し、劣化度算出部120が、平均ピッチ変換量算出部110及びピッチパターン変化度算出部140から出力される平均ピッチ変換量PC及びピッチパターン変化度CHGから劣化度DGRを算出する点が異なっている。
動作においては、同図(ii)に示すように、平均ピッチ変換量算出部110及びピッチパターン変化度算出部140が、それぞれ上述した平均ピッチ変換量算出処理及びピッチパターン変化度算出処理を実行して、平均ピッチ変換量PC及びピッチパターン変化度CHGを算出する(ステップT1及びT3)。
そして、劣化度算出部120は、これらの平均ピッチ変換量PC及びピッチパターン変化度CHGに基づき、劣化度DGRを以下の式(7)によって算出し、これを切替部400に与える(ステップS50)。
・劣化度DGR ＝ f5(PC, CHG)
＝ α2・f1(PC)＋(1-α2)・f3(CHG) (α2は係数) …式(7)
I.3.F劣化評価部の実施例(6)：図12
図12(i)に示す劣化評価部100は、上記の劣化評価部の実施例(2)の構成に加えて、上記の劣化評価部の実施例(3)と同様のピッチパターン変化度算出部140及びピッチパターン変化度算出テーブルTBLを備えており、但し、劣化度算出部120が、平均信号差分算出部130及びピッチパターン変化度算出部140から出力される平均信号差分DIF及びピッチパターン変化度CHGから劣化度DGRを算出する点が異なっている。
動作においては、同図(ii)に示すように、平均信号差分算出部130及びピッチパターン変化度算出部140が、それぞれ上述した平均信号差分算出処理及びピッチパターン変化度算出処理を実行して、平均信号差分DIF及びピッチパターン変化度CHGを算出する(ステップT2及びT3)。
そして、劣化度算出部120は、これらの平均信号差分DIF及びピッチパターン変化度CHGに基づき、劣化度DGRを以下の式(8)によって算出し、これを切替部400に与える(ステップS60)。
・劣化度DGR ＝ f6(DIF, CHG)
＝ α3・f2(DIF)＋(1-α3)・f3(CHG) (α3は係数) …式(8)
I.3.G劣化評価部の実施例(7)：図13
図13(i)に示す劣化評価部100は、上記の劣化評価部の実施例(4)の構成に加えて、上記の劣化評価部の実施例(3)と同様のピッチパターン変化度算出部140及びピッチパターン変化度算出テーブルTBLを備えており、但し、劣化度算出部120が、平均ピッチ変換量算出部110、平均信号差分算出部130、及びピッチパターン変化度算出部140から出力される平均ピッチ変換量PC、平均信号差分DIF、及びピッチパターン変化度CHGから劣化度DGRを算出する点が異なっている。
動作においては、同図(ii)に示すように、平均ピッチ変換量算出部110、平均信号差分算出部130、及びピッチパターン変化度算出部140が、それぞれ上述した平均ピッチ変換量算出処理、平均信号差分算出処理、及びピッチパターン変化度算出処理を実行して、平均ピッチ変換量PC、平均信号差分DIF、及びピッチパターン変化度CHGを算出する(ステップT1〜T3)。
そして、劣化度算出部120は、これらの平均ピッチ変換量PC、平均信号差分DIF、及びピッチパターン変化度CHGに基づき、劣化度DGRを以下の式(9)によって算出し、これを切替部400に与える(ステップS70)。
・劣化度DGR ＝ f7(PC, DIF, CHG)
＝β1・f1(PC)＋β2・f2(DIF)
＋β3・f3(CHG) (β1〜β3は、β1＋β2＋β3＝1を満たす係数) …式(9)
II.実施例[2]：図14及び15
II.1.構成例：図14
図14に示す本発明の実施例[2]に係るピッチ変換装置10は、上記の実施例[1]において、劣化評価部100に代えて、入力信号として予測される全ての音声状態及び音素種別の組合せと劣化度DGRとを対応付けて記録した劣化ルールデータベースDBと、入力信号の音声状態及び音素種別を示す付加情報INFOを入力して、このデータベースDBから劣化度DGRを抽出する劣化度抽出部500とを含むように構成されている点が異なっている。
ここで、付加情報INFOの音声状態は、入力信号として予測される“立上り”、“立下り”、“遷移”、“定常”等の状態を示し、同音素種別は、母音(“A”〜”O”)及び子音(母音以外)等の種別を示すものであり、劣化ルールデータベースDBには、これらの全ての音声状態及び音素種別の組合せと劣化度DGR(すなわち、実際に発生し得る音質の劣化)との対応関係を、予めシュミレーションや実験等で求めた上で記録している。
次に、本実施例の動作を説明するが、劣化度抽出部500における劣化度DGRの抽出処理を除いた動作は上記の実施例[1]と共通であるため、劣化度抽出部500の動作例のみを、図15を参照して説明する。
II.2.動作例：図15
図15(1)に示すように、劣化度抽出部500は、入力した付加情報INFOが示す音声状態及び音素種別に対応する劣化度DGRを、同図(2)に示す劣化ルールデータベースDBから抽出して切替部400に与える(劣化度抽出処理T4)。
例えば、付加情報INFOの音声状態及び音素種別が、それぞれ“遷移”状態及び母音“O”を示している場合、劣化度抽出部500は、劣化ルールデータベースDB中から劣化度DGRとして“10”を抽出する。
III.実施例[3]：図16〜23
III.1.構成例 (劣化評価部の実施例(8)〜(14)にも共通)：図16
図16に示す本発明の実施例[3]に係るピッチ変換装置10は、上記の実施例[1]の構成に加えて、入力信号の音声状態及び音素種別を示す付加情報INFOを劣化評価部100に対して入力するように構成されている。
III.2.動作例：図17〜23
次に、本実施例の動作を説明するが、劣化評価部100における劣化度DGRの算出処理に係る構成及び動作を除いては上記の実施例[1]及び[2]と共通であるため、劣化評価部100の実施例(8)〜(14)のみを、図17〜23を参照して説明する。
III.3.劣化評価部の実施例(8)〜(14)：図17〜23
III.3.A劣化評価部の実施例(8)：図17
図17(i)に示す劣化評価部100は、上記の実施例[1]及び[2]と同様の平均ピッチ変換量算出部110、劣化度抽出部500、及び劣化ルールデータベースDBに加えて、これらの算出部110及び抽出部500から出力される平均ピッチ変換量PC及び劣化度DGRから劣化度DGRを算出する劣化度算出部120とを備えている点が異なっている。
動作においては、同図(ii)に示すように、平均ピッチ変換量算出部110及び劣化度抽出部500が、それぞれ上述した平均ピッチ変換量算出処理及び劣化度抽出処理を実行して、平均ピッチ変換量PCの算出及び劣化度DGRの抽出を行う(ステップT1及びT4)。
そして、劣化度算出部120は、これらの平均ピッチ変換量PC及び劣化度DGRに基づき、劣化度DGRを以下の式(10)によって算出し、これを切替部400に与える(ステップS80)。
・劣化度DGR ＝ f8(PC, DGR)
＝ α4・f1(PC)＋(1-α4)・DGR …式(10)
ここで、上記の関数f8中の係数α4は、上記の実施例[1]と同様、劣化度DGRに応じたピッチ変換部310及び320の切替が最適に行われるよう運用者等により予め設定されていれば良い。これは、後述する劣化評価部の各実施例で用いる関数中の係数についても同様である。
III.3.B劣化評価部の実施例(9)：図18
図18(i)に示す劣化評価部100は、上記の実施例[1]及び[2]と同様の平均信号差分算出部130、劣化度抽出部500、及び劣化ルールデータベースDBに加えて、これらの算出部130及び抽出部500から出力される平均信号差分DIF及び劣化度DGRから劣化度DGRを算出する劣化度算出部120とを備えている点が異なっている。
動作においては、同図(ii)に示すように、平均信号差分算出部130及び劣化度抽出部500が、それぞれ上述した平均信号差分算出処理及び劣化度抽出処理を実行して、平均信号差分DIFの算出及び劣化度DGRの抽出を行う(ステップT2及びT4)。
そして、劣化度算出部120は、これらの平均信号差分DIF及び劣化度DGRに基づき、劣化度DGRを以下の式(11)によって算出し、これを切替部400に与える(ステップS90)。
・劣化度DGR ＝ f9(PC, DGR)
＝ α5・f2(DIF)＋(1-α5)・DGR (α5は係数) …式(11)
III.3.C劣化評価部の実施例(10)：図19
図19(i)に示す劣化評価部100は、上記の実施例[1]及び[2]と同様のピッチパターン変化度算出部140、ピッチパターン変化度算出テーブルTBL、劣化度抽出部500、及び劣化ルールデータベースDBに加えて、これらの算出部150及び抽出部500から出力されるピッチパターン変化度CHG及び劣化度DGRから劣化度DGRを算出する劣化度算出部120とを備えている点が異なっている。
動作においては、同図(ii)に示すように、ピッチパターン変化度算出部140及び劣化度抽出部500が、それぞれ上述したピッチパターン変化度算出処理及び劣化度抽出処理を実行して、ピッチパターン変化度CHGの算出及び劣化度DGRの抽出を行う(ステップT3及びT4)。
そして、劣化度算出部120は、これらのピッチパターン変化度CHG及び劣化度DGRに基づき、劣化度DGRを以下の式(12)によって算出し、これを切替部400に与える(ステップS100)。
・劣化度DGR ＝ f10(CHG, DGR)
＝ α6・f3(CHG)＋(1-α6)・DGR (α6は係数) …式(12)
III.3.D劣化評価部の実施例(11)：図20
図20(i)に示す劣化評価部100は、上記の劣化評価部の実施例(8)に加えて、上記の実施例[1]と同様の平均信号差分算出部130を追加した点が異なっている。
動作においては、同図(ii)に示すように、平均ピッチ変換量算出部110、平均信号差分算出部130、及び劣化度抽出部500が、それぞれ上述した平均ピッチ変換量算出処理、平均信号差分算出処理、及び劣化度抽出処理を実行して、平均ピッチ変換量PC及び平均信号差分DIFの算出並びに劣化度DGRの抽出を行う(ステップT1及びT2並びにT4)。
そして、劣化度算出部120は、これらの平均ピッチ変換量PC、平均信号差分DIF、及び劣化度DGRに基づき、劣化度DGRを以下の式(13)によって算出し、これを切替部400に与える(ステップS110)。
・劣化度DGR ＝ f11(PC, DIF, DGR)
＝ γ1・f1(PC)＋γ2・f2(DIF)
＋γ3・DGR (γ1〜γ3は、γ1＋γ2＋γ3＝1を満たす係数) …式(13)
III.3.E劣化評価部の実施例(12)：図21
図21(i)に示す劣化評価部100は、上記の劣化評価部の実施例(8)に加えて、上記の実施例[1]と同様のピッチパターン変化度算出部140及びピッチパターン変化度算出テーブルTBLを追加した点が異なっている。
動作においては、同図(ii)に示すように、平均ピッチ変換量算出部110、ピッチパターン変化度算出部140、及び劣化度抽出部500が、それぞれ上述した平均ピッチ変換量算出処理、ピッチパターン変化度算出処理、及び劣化度抽出処理を実行して、平均ピッチ変換量PC及びピッチパターン変化度CHGの算出並びに劣化度DGRの抽出を行う(ステップT1及びT3並びにT4)。
そして、劣化度算出部120は、これらの平均ピッチ変換量PC、ピッチパターン変化度CHG、及び劣化度DGRに基づき、劣化度DGRを以下の式(14)によって算出し、これを切替部400に与える(ステップS120)。
・劣化度DGR ＝ f12(PC, CHG, DGR)
＝ δ1・f1(PC)＋δ2・f3(CHG)
＋δ3・DGR (δ1〜δ3は、δ1＋δ2＋δ3＝1を満たす係数) …式(14)
III.3.F劣化評価部の実施例(13)：図22
図22(i)に示す劣化評価部100は、上記の劣化評価部の実施例(9)に加えて、上記の実施例[1]と同様のピッチパターン変化度算出部140及びピッチパターン変化度算出テーブルTBLを追加した点が異なっている。
動作においては、同図(ii)に示すように、平均信号差分算出部130、ピッチパターン変化度算出部140、及び劣化度抽出部500が、それぞれ上述した平均信号差分算出処理、ピッチパターン変化度算出処理、及び劣化度抽出処理を実行して、平均信号差分DIF及びピッチパターン変化度CHGの算出並びに劣化度DGRの抽出を行う(ステップT2〜T4)。
そして、劣化度算出部120は、これらの平均信号差分DIF、ピッチパターン変化度CHG、及び劣化度DGRに基づき、劣化度DGRを以下の式(15)によって算出し、これを切替部400に与える(ステップS130)。
・劣化度DGR ＝ f13(DIF, CHG, DGR)
＝ ε1・f2(DIF)＋ε2・f3(CHG)
＋ε3・DGR (ε1〜ε3は、ε1＋ε2＋ε3＝1を満たす係数) …式(15)
III.3.G劣化評価部の実施例(14)：図23
図23(i)に示す劣化評価部100は、上記の劣化評価部の実施例(11)に加えて、上記の実施例[1]と同様のピッチパターン変化度算出部140及びピッチパターン変化度算出テーブルTBLを追加した点が異なっている。
動作においては、同図(ii)に示すように、平均ピッチ変換量算出分110、平均信号差分算出部130、ピッチパターン変化度算出部140、及び劣化度抽出部500が、それぞれ上述した平均ピッチ変換量算出処理、平均信号差分算出処理、ピッチパターン変化度算出処理、及び劣化度抽出処理を実行して、平均ピッチ変換量PC、平均信号差分DIF、及びピッチパターン変化度CHGの算出、並びに劣化度DGRの抽出を行う(ステップT1〜T4)。
そして、劣化度算出部120は、これらの平均ピッチ変換量PC、平均信号差分DIF、ピッチパターン変化度CHG、及び劣化度DGRに基づき、劣化度DGRを以下の式(16)によって算出し、これを切替部400に与える(ステップS140)。
・劣化度DGR ＝ f14(PC, DIF, CHG, DGR)
＝ ζ1・f1(PC)＋ζ2・f2(DIF)＋ζ3・f3(CHG)
＋ζ4・DGR (ζ1〜ζ4は、ζ1＋ζ2＋ζ3＋ζ4＝1を満たす係数)…式(16)
なお、上記実施例によって本発明は限定されるものではなく、特許請求の範囲の記載に基づき、当業者によって種々の変更が可能なことは明らかである。
（付記１）
所定の処理単位分の入力信号ピッチパターンと該入力信号ピッチパターンに対する目標のピッチパターンとを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価ステップと、
該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップと、
を備えたことを特徴とするピッチ変換方法。
（付記２）付記１において、
該劣化評価ステップが、
該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出ステップと、
該平均ピッチ変換量を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップと、
を含むことを特徴としたピッチ変換方法。
（付記３）付記１において、
該ピッチ変換ステップが、該劣化度の高低に応じた第１及び第２のピッチ変換ステップを含み、
これに合わせて、該劣化評価ステップも同一の第１及び第２のピッチ変換ステップを含み、
該劣化評価ステップが、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップでピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップでピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップと、該平均信号差分を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップとを含むことを特徴としたピッチ変換方法。
（付記４）付記１において、
該劣化評価ステップが、
該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップと、
該ピッチパターン変化度を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップと、
を含むことを特徴としたピッチ変換方法。
（付記５）付記２において、
該ピッチ変換ステップが、該劣化度の高低に応じた第１及び第２のピッチ変換ステップを含み、
これに合わせて、該劣化評価ステップも同一の第１及び第２のピッチ変換ステップを含み、
該劣化評価ステップが、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップでピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップでピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップを含み、
該劣化度算出ステップが、該平均ピッチ変換量及び該平均信号差分をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記６）付記２において、
該劣化評価ステップが、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップを含み、
該劣化度算出ステップが、該平均ピッチ変換量及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記７）付記３において、
該劣化評価ステップが、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップを含み、
該劣化度算出ステップが、該平均信号差分及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記８）付記５において、
該劣化評価ステップが、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップを含み、
該劣化度算出ステップが、該平均ピッチ変換量、該平均信号差分、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記９）
所定の処理単位分の入力信号の音声状態及び音素種別を入力して、該入力信号のピッチパターンから該入力信号ピッチパターンに対する目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップと、
該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップと、
を備えたことを特徴とするピッチ変換方法。
（付記１０）
所定の処理単位分の入力信号ピッチパターンと、該入力信号ピッチパターンに対する目標のピッチパターンと、該入力信号の音声状態及び音素種別とを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価ステップと、
該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップと、
を備えたことを特徴とするピッチ変換方法。
（付記１１）付記１０において、
該劣化評価ステップが、
該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出ステップと、
該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップと、
該平均ピッチ変換量及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップと、
を含むことを特徴としたピッチ変換方法。
（付記１２）付記１０において、
該ピッチ変換ステップが、該劣化度の高低に応じた第１及び第２のピッチ変換ステップを含み、
これに合わせて、該劣化評価ステップも同一の第１及び第２のピッチ変換ステップを含み、
該劣化評価ステップが、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップでピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップでピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップと、該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップと、該平均信号差分及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップとを含むことを特徴としたピッチ変換方法。
（付記１３）付記１０において、
該劣化評価ステップが、
該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップと、
該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップと、
該ピッチパターン変化度及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップと、
を含むことを特徴としたピッチ変換方法。
（付記１４）付記１１において、
該ピッチ変換ステップが、該劣化度の高低に応じた第１及び第２のピッチ変換ステップを含み、
これに合わせて、該劣化評価ステップも同一の第１及び第２のピッチ変換ステップを含み、
該劣化評価ステップが、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップでピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップでピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップを含み、
該劣化度算出ステップが、該平均ピッチ変換量、該抽出された劣化度、及び該平均信号差分をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記１５）付記１１において、
該劣化評価ステップが、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップを含み、
該劣化度算出ステップが、該平均ピッチ変換量、該抽出された劣化度、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記１６）付記１２において、
該劣化評価ステップが、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップを含み、
該劣化度算出ステップが、該平均信号差分、該抽出された劣化度、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記１７）付記１４において、
該劣化評価ステップが、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップを含み、
該劣化度算出ステップが、該平均ピッチ変換量、該抽出された劣化度、該平均信号差分、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換ステップに与えることを特徴としたピッチ変換方法。
（付記１８）
所定の処理単位分の入力信号ピッチパターンと該入力信号ピッチパターンに対する目標のピッチパターンとを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価手段と、
該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換手段と、
を備えたことを特徴とするピッチ変換装置。
（付記１９）付記１８において、
該劣化評価手段が、
該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出手段と、
該平均ピッチ変換量を所定の係数で重み付けした値を該劣化度として該ピッチ変換手段に与える劣化度算出手段と、
を含むことを特徴としたピッチ変換装置。
（付記２０）付記１８において、
該ピッチ変換手段が、該劣化度の高低に応じた第１及び第２のピッチ変換手段を含み、
これに合わせて、該劣化評価手段も同一の第１及び第２のピッチ変換手段を含み、
該劣化評価手段が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換手段でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換手段でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出手段と、該平均信号差分を所定の係数で重み付けした値を該劣化度として該ピッチ変換手段に与える劣化度算出手段とを含むことを特徴としたピッチ変換装置。
（付記２１）付記１８において、
該劣化評価手段が、
該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段と、
該ピッチパターン変化度を所定の係数で重み付けした値を該劣化度として該ピッチ変換手段に与える劣化度算出手段と、
を含むことを特徴としたピッチ変換装置。
（付記２２）付記１９において、
該ピッチ変換手段が、該劣化度の高低に応じた第１及び第２のピッチ変換手段を含み、
これに合わせて、該劣化評価手段も同一の第１及び第２のピッチ変換手段を含み、
該劣化評価手段が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換手段でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換手段でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出手段を含み、
該劣化度算出手段が、該平均ピッチ変換量及び該平均信号差分をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
（付記２３）付記１９において、
該劣化評価手段が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段を含み、
該劣化度算出手段が、該平均ピッチ変換量及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
（付記２４）付記２０において、
該劣化評価手段が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段を含み、
該劣化度算出手段が、該平均信号差分及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
（付記２５）付記２２において、
該劣化評価手段が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段を含み、
該劣化度算出手段が、該平均ピッチ変換量、該平均信号差分、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
（付記２６）
所定の処理単位分の入力信号の音声状態及び音素種別を入力して、該入力信号のピッチパターンから該入力信号ピッチパターンに対する目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出手段と、
該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換手段と、
を備えたことを特徴とするピッチ変換装置。
（付記２７）
所定の処理単位分の入力信号ピッチパターンと、該入力信号ピッチパターンに対する目標のピッチパターンと、及び該入力信号の音声状態及び音素種別とを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価手段と、
該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換部と、
を備えたことを特徴とするピッチ変換装置。
（付記２８）付記２７において、
該劣化評価部が、
該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出部と、
該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出手段と、
該平均ピッチ変換量及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与える劣化度算出手段と、
を含むことを特徴としたピッチ変換装置。
（付記２９）付記２７において、
該ピッチ変換手段が、該劣化度の高低に応じた第１及び第２のピッチ変換手段を含み、
これに合わせて、該劣化評価手段も同一の第１及び第２のピッチ変換手段を含み、
該劣化評価手段が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換手段でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換手段でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出手段と、該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出手段と、該平均信号差分及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与える劣化度算出手段とを含むことを特徴としたピッチ変換装置。
（付記３０）付記２７において、
該劣化評価手段が、
該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段と、
該劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出手段と、
該ピッチパターン変化度及び該抽出された劣化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与える劣化度算出手段と、
を含むことを特徴としたピッチ変換装置。
（付記３１）付記２８において、
該ピッチ変換手段が、該劣化度の高低に応じた第１及び第２のピッチ変換手段を含み、
これに合わせて、該劣化評価手段も同一の第１及び第２のピッチ変換手段を含み、
該劣化評価手段が、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換手段でピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換手段でピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出手段を含み、
該劣化度算出手段が、該平均ピッチ変換量、該抽出された劣化度、及び該平均信号差分をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
（付記３２）付記２８において、
該劣化評価手段が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段を含み、
該劣化度算出手段が、該平均ピッチ変換量、該抽出された劣化度、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
（付記３３）付記２９において、
該劣化評価手段が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段を含み、
該劣化度算出手段が、該平均信号差分、該抽出された劣化度、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
（付記３４）付記３１において、
該劣化評価手段が、さらに、該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出手段を含み、
該劣化度算出手段が、該平均ピッチ変換量、該抽出された劣化度、該平均信号差分、及び該ピッチパターン変化度をそれぞれ所定の係数で重み付けした値の和を該劣化度として該ピッチ変換手段に与えることを特徴としたピッチ変換装置。
本発明に係るピッチ変換方法及び装置の実施例[1]を示したブロック図である。 本発明に係るピッチ変換方法及び装置の全体動作例を示したフローチャート図である。 本発明の実施例[1]に用いる劣化評価部の実施例(1)を示したブロック図である。 本発明の実施例[1]に用いる劣化評価部の動作例(1)を示したフローチャート図、並びに本発明に用いる入力信号ピッチパターン及び目標ピッチパターンの時間推移グラフである。 本発明の実施例[1]に用いる劣化評価部の実施例(2)を示したブロック図である。 本発明の実施例[1]に用いる劣化評価部の動作例(2)を示したフローチャート図である。 本発明の実施例[1]に用いる劣化評価部の実施例(3)を示したブロック図である。 本発明の実施例[1]に用いる劣化評価部の動作例(3)を示したフローチャート図である。 本発明に用いるピッチパターン変化傾向例及びピッチパターン変化度算出テーブル例を示した図である。 本発明の実施例[1]に用いる劣化評価部の実施例(4)を示したブロック図である。 本発明の実施例[1]に用いる劣化評価部の実施例(5)を示したブロック図である。 本発明の実施例[1]に用いる劣化評価部の実施例(6)を示したブロック図である。 本発明の実施例[1]に用いる劣化評価部の実施例(7)を示したブロック図である。 本発明に係るピッチ変換方法及び装置の実施例[2]を示したブロック図である。 本発明の実施例[2]に用いる劣化度抽出部の動作例を示したフローチャート図及び劣化ルールデータベース例を示す図である。 本発明に係るピッチ変換方法及び装置の実施例[3]を示したブロック図である。 本発明の実施例[3]に用いる劣化評価部の実施例(8)を示したブロック図である。 本発明の実施例[3]に用いる劣化評価部の実施例(9)を示したブロック図である。 本発明の実施例[3]に用いる劣化評価部の実施例(10)を示したブロック図である。 本発明の実施例[3]に用いる劣化評価部の実施例(11)を示したブロック図である。 本発明の実施例[3]に用いる劣化評価部の実施例(12)を示したブロック図である。 本発明の実施例[3]に用いる劣化評価部の実施例(13)を示したブロック図である。 本発明の実施例[3]に用いる劣化評価部の実施例(14)を示したブロック図である。 ピッチ変換技術の従来例[1]を示したタイムチャート図である。
符号の説明
10 ピッチ変換装置
100 劣化評価部
110 平均ピッチ変化量算出部
120 劣化度算出部
130 平均信号差分算出部
131 信号差分算出部
140 ピッチパターン変化度算出部
200, 410, 420 ピッチ変換部
300 切替部
500 劣化度抽出部
In 入力信号
Out, Out1, Out2 出力信号
IP, IP0〜IP10 入力信号ピッチ
IPP 入力信号ピッチパターン
PM, PM0〜PM10 ピッチマーク
T, T1〜T10 ピッチ周期
TP, TP0〜TP10 目標ピッチ
TPP 目標ピッチパターン
DGR 劣化度
PC 平均ピッチ変換量
DIF 平均信号差分
CHG ピッチパターン変化度
TBL ピッチパターン変化度算出テーブル
AP, AP1〜AP3 平均ピッチ
TND, TND1〜TND9 ピッチパターン変化傾向
TND_I 入力信号ピッチパターン変化傾向
TND_T 目標ピッチパターン変化傾向
INFO 付加情報
DB 劣化ルールデータベース
W1, W2 波形
F1, F2 窓関数
図中、同一符号は同一又は相当部分を示す。

Claims (10)

  1. 所定の処理単位分の入力信号ピッチパターンと該入力信号ピッチパターンに対する目標のピッチパターンとを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価ステップと、
    該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップと、
    を備えたことを特徴とするピッチ変換方法。
  2. 請求項１において、
    該劣化評価ステップが、
    該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出ステップと、
    該平均ピッチ変換量を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップと、
    を含むことを特徴としたピッチ変換方法。
  3. 請求項１において、
    該ピッチ変換ステップが、該劣化度の高低に応じた第１及び第２のピッチ変換ステップを含み、
    これに合わせて、該劣化評価ステップも同一の第１及び第２のピッチ変換ステップを含み、
    該劣化評価ステップが、さらに、該所定の処理単位分の該入力信号ピッチパターン及び該目標ピッチパターンの内の一部を、該第１のピッチ変換ステップでピッチ変換させて得られた第１ピッチ変換結果と、該第２のピッチ変換ステップでピッチ変換させて得られた第２ピッチ変換結果との所定周期毎のパワー差の総和を該第２ピッチ変換結果の該所定周期毎のパワーの総和で除算することにより平均信号差分を算出する平均信号差分算出ステップと、該平均信号差分を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップとを含むことを特徴としたピッチ変換方法。
  4. 請求項１において、
    該劣化評価ステップが、
    該入力信号ピッチパターンの変化傾向と該目標ピッチパターンの変化傾向を、それぞれ、該ピッチパターンの所定時間間隔毎の平均ピッチを算出して各平均ピッチの大きさを順次比較することにより予め定めた複数の変化傾向の内のいずれかに分類し、両変化傾向の組合せから該入力信号ピッチパターンに対する該目標ピッチパターンへのピッチパターン変化度を決定するピッチパターン変化度算出ステップと、
    該ピッチパターン変化度を所定の係数で重み付けした値を該劣化度として該ピッチ変換ステップに与える劣化度算出ステップと、
    を含むことを特徴としたピッチ変換方法。
  5. 所定の処理単位分の入力信号の音声状態及び音素種別を入力して、該入力信号のピッチパターンから該入力信号ピッチパターンに対する目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出ステップと、
    該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップと、
    を備えたことを特徴とするピッチ変換方法。
  6. 所定の処理単位分の入力信号ピッチパターンと、該入力信号ピッチパターンに対する目標のピッチパターンと、該入力信号の音声状態及び音素種別とを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価ステップと、
    該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換ステップと、
    を備えたことを特徴とするピッチ変換方法。
  7. 所定の処理単位分の入力信号ピッチパターンと該入力信号ピッチパターンに対する目標のピッチパターンとを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価手段と、
    該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換手段と、
    を備えたことを特徴とするピッチ変換装置。
  8. 請求項７において、
    該劣化評価手段が、
    該目標ピッチパターンと該入力信号ピッチパターンとの所定周期毎のピッチ差の総和を、該入力信号ピッチパターンの該所定周期毎のピッチの総和で除算することにより平均ピッチ変換量を算出する平均ピッチ変換量算出手段と、
    該平均ピッチ変換量を所定の係数で重み付けした値を該劣化度として該ピッチ変換手段に与える劣化度算出手段と、
    を含むことを特徴としたピッチ変換装置。
  9. 所定の処理単位分の入力信号の音声状態及び音素種別を入力して、該入力信号のピッチパターンから該入力信号ピッチパターンに対する目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度と、予測される全ての音声状態及び音素種別の組合せとを対応付けて記録したデータベース中から、該入力した音声状態及び音素種別に対応する劣化度を抽出する劣化度抽出手段と、
    該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換手段と、
    を備えたことを特徴とするピッチ変換装置。
  10. 所定の処理単位分の入力信号ピッチパターンと、該入力信号ピッチパターンに対する目標のピッチパターンと、及び該入力信号の音声状態及び音素種別とを入力して、該入力信号ピッチパターンから該目標ピッチパターンへのピッチ変換を行う際に該入力信号の波形が劣化する劣化度を算出する劣化評価手段と、
    該劣化度に応じて、予め定めたデータ処理量で該ピッチ変換を行うピッチ変換部と、
    を備えたことを特徴とするピッチ変換装置。
JP2006198560A 2006-07-20 2006-07-20 ピッチ変換方法及び装置 Expired - Fee Related JP4757130B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006198560A JP4757130B2 (ja) 2006-07-20 2006-07-20 ピッチ変換方法及び装置
US11/802,228 US7925500B2 (en) 2006-07-20 2007-05-21 Pitch conversion method and device for converting a pitch of an input signal into a desired pitch
EP07108659.9A EP1881483B1 (en) 2006-07-20 2007-05-22 Pitch conversion method and device
CNB2007101091652A CN100559469C (zh) 2006-07-20 2007-06-14 基音转换方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006198560A JP4757130B2 (ja) 2006-07-20 2006-07-20 ピッチ変換方法及び装置

Publications (2)

Publication Number Publication Date
JP2008026565A true JP2008026565A (ja) 2008-02-07
JP4757130B2 JP4757130B2 (ja) 2011-08-24

Family

ID=38269034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006198560A Expired - Fee Related JP4757130B2 (ja) 2006-07-20 2006-07-20 ピッチ変換方法及び装置

Country Status (4)

Country Link
US (1) US7925500B2 (ja)
EP (1) EP1881483B1 (ja)
JP (1) JP4757130B2 (ja)
CN (1) CN100559469C (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215228A (ja) * 2010-03-31 2011-10-27 Yamaha Corp ピッチ変換装置
JP2013011828A (ja) * 2011-06-30 2013-01-17 Fujitsu Ltd 音声合成装置、音質修正方法およびプログラム
JP2013520698A (ja) * 2010-02-26 2013-06-06 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エンベロープ形状を使用してオーディオ信号を変更する装置及び方法
JP2020079458A (ja) * 2018-11-13 2020-05-28 株式会社豊田自動織機 紡機のスピンドル制御方法およびスピンドル制御装置
WO2024048990A1 (ko) * 2022-08-31 2024-03-07 삼성전자주식회사 전자 장치 및 이의 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102272833B (zh) * 2008-12-30 2013-10-30 阿塞里克股份有限公司 一种音频设备及其信号处理方法
EP3399522B1 (en) * 2013-07-18 2019-09-11 Nippon Telegraph and Telephone Corporation Linear prediction analysis device, method, program, and storage medium
US10277581B2 (en) * 2015-09-08 2019-04-30 Oath, Inc. Audio verification

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01304499A (ja) * 1988-06-02 1989-12-08 Nec Corp 音声合成方法とその装置
JPH02232700A (ja) * 1989-03-07 1990-09-14 Nippon Telegr & Teleph Corp <Ntt> 音声合成装置
JPH0527792A (ja) * 1991-07-22 1993-02-05 Nippon Telegr & Teleph Corp <Ntt> 音声強調装置
JPH07219597A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd ピッチ変換装置
JPH1078791A (ja) * 1996-09-03 1998-03-24 Yamaha Corp ピッチ変換器
JP2004157482A (ja) * 2002-11-08 2004-06-03 Brother Ind Ltd ピッチ変更装置、カラオケ装置
JP2004279690A (ja) * 2003-03-14 2004-10-07 Brother Ind Ltd 情報処理装置
WO2005109399A1 (ja) * 2004-05-11 2005-11-17 Matsushita Electric Industrial Co., Ltd. 音声合成装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0266600A (ja) 1988-08-31 1990-03-06 Nec Corp 音声合成方式
CN1118493A (zh) * 1994-08-01 1996-03-13 中国科学院声学研究所 基音同步波形叠加汉语文语转换系统
CN2303357Y (zh) * 1997-04-28 1999-01-06 吕士楠 基音同步波形叠加汉语文语转换装置
TW525146B (en) * 2000-09-22 2003-03-21 Matsushita Electric Ind Co Ltd Method and apparatus for shifting pitch of acoustic signals
DE02765393T1 (de) * 2001-08-31 2005-01-13 Kabushiki Kaisha Kenwood, Hachiouji Vorrichtung und verfahren zum erzeugen eines tonhöhen-kurvenformsignals und vorrichtung und verfahren zum komprimieren, dekomprimieren und synthetisieren eines sprachsignals damit
US6950799B2 (en) * 2002-02-19 2005-09-27 Qualcomm Inc. Speech converter utilizing preprogrammed voice profiles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01304499A (ja) * 1988-06-02 1989-12-08 Nec Corp 音声合成方法とその装置
JPH02232700A (ja) * 1989-03-07 1990-09-14 Nippon Telegr & Teleph Corp <Ntt> 音声合成装置
JPH0527792A (ja) * 1991-07-22 1993-02-05 Nippon Telegr & Teleph Corp <Ntt> 音声強調装置
JPH07219597A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd ピッチ変換装置
JPH1078791A (ja) * 1996-09-03 1998-03-24 Yamaha Corp ピッチ変換器
JP2004157482A (ja) * 2002-11-08 2004-06-03 Brother Ind Ltd ピッチ変更装置、カラオケ装置
JP2004279690A (ja) * 2003-03-14 2004-10-07 Brother Ind Ltd 情報処理装置
WO2005109399A1 (ja) * 2004-05-11 2005-11-17 Matsushita Electric Industrial Co., Ltd. 音声合成装置および方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013520698A (ja) * 2010-02-26 2013-06-06 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エンベロープ形状を使用してオーディオ信号を変更する装置及び方法
KR101494062B1 (ko) * 2010-02-26 2015-03-03 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 인벨롭 섀이핑을 사용하는 오디오 신호를 변조하는 방법 및 장치
US9203367B2 (en) 2010-02-26 2015-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for modifying an audio signal using harmonic locking
US9264003B2 (en) 2010-02-26 2016-02-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for modifying an audio signal using envelope shaping
JP2011215228A (ja) * 2010-03-31 2011-10-27 Yamaha Corp ピッチ変換装置
JP2013011828A (ja) * 2011-06-30 2013-01-17 Fujitsu Ltd 音声合成装置、音質修正方法およびプログラム
JP2020079458A (ja) * 2018-11-13 2020-05-28 株式会社豊田自動織機 紡機のスピンドル制御方法およびスピンドル制御装置
JP7052683B2 (ja) 2018-11-13 2022-04-12 株式会社豊田自動織機 紡機のスピンドル制御方法およびスピンドル制御装置
WO2024048990A1 (ko) * 2022-08-31 2024-03-07 삼성전자주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
EP1881483B1 (en) 2013-09-11
JP4757130B2 (ja) 2011-08-24
EP1881483A1 (en) 2008-01-23
CN100559469C (zh) 2009-11-11
US7925500B2 (en) 2011-04-12
US20080091417A1 (en) 2008-04-17
CN101110216A (zh) 2008-01-23

Similar Documents

Publication Publication Date Title
JP4757130B2 (ja) ピッチ変換方法及び装置
US8738381B2 (en) Prosody generating devise, prosody generating method, and program
JP5269668B2 (ja) 音声合成装置、プログラム、及び方法
KR20180053714A (ko) 오디오 정보 처리 방법 및 디바이스
US20140148933A1 (en) Sound Feature Priority Alignment
US7870003B2 (en) Acoustical-signal processing apparatus, acoustical-signal processing method and computer program product for processing acoustical signals
US8942977B2 (en) System and method for speech recognition using pitch-synchronous spectral parameters
US20230386498A1 (en) Pitch emphasis apparatus, method and program for the same
JP2011164175A (ja) 言語モデル生成装置、そのプログラムおよび音声認識システム
US9318106B2 (en) Joint sound model generation techniques
US9159334B2 (en) Voice processing device and method, and program
JP5293478B2 (ja) 音声認識用の閾値管理プログラム、音声認識用の閾値管理方法、音声認識装置
JP5474713B2 (ja) 音声合成装置、音声合成方法および音声合成プログラム
WO2006129814A1 (en) Speech synthesis method and apparatus
US8249874B2 (en) Synthesizing speech from text
Lee et al. Modeling Japanese F0 contours using the PENTAtrainers and AMtrainer
CN104282300A (zh) 一种非周期成分音节模型建立、及语音合成的方法和设备
Asadi et al. Speech rhythm measures: Acoustic cues for speaker identification
JP2009204795A (ja) 基本周波数推定装置、基本周波数推定方法、基本周波数推定プログラム、記憶媒体
Yiu Tone spans of Cantonese English
JP2008139573A (ja) 声質変換方法、声質変換プログラム、声質変換装置
JP2009025328A (ja) 音声合成装置
JP2008299266A (ja) 音声合成装置および音声合成方法
JP2009086476A (ja) 音声処理装置、音声処理方法、およびプログラム
JP5093514B2 (ja) オーディオ符号化装置、オーディオ符号化方法およびそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110531

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees