JP2016527570A - 音声処理のための無声／有声判定 - Google Patents

音声処理のための無声／有声判定 Download PDF

Info

Publication number
JP2016527570A
JP2016527570A JP2016533810A JP2016533810A JP2016527570A JP 2016527570 A JP2016527570 A JP 2016527570A JP 2016533810 A JP2016533810 A JP 2016533810A JP 2016533810 A JP2016533810 A JP 2016533810A JP 2016527570 A JP2016527570 A JP 2016527570A
Authority
JP
Japan
Prior art keywords
unvoiced
voiced
parameter
speech
pronunciation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016533810A
Other languages
English (en)
Other versions
JP6291053B2 (ja
Inventor
ヤン・ガオ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2016527570A publication Critical patent/JP2016527570A/ja
Application granted granted Critical
Publication of JP6291053B2 publication Critical patent/JP6291053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本発明の実施例によれば、音声処理のための方法は、複数のフレームを含む音声信号の現在のフレームにおいて無声／有声発音音声の特性を反映する無声発音／有声発音パラメータを決定することを含む。平滑化された無声発音／有声発音パラメータは、音声信号の現在のフレームより前のフレームにおける無声発音／有声発音パラメータの情報を含むように決定される。無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の差が計算される。この方法は、判定パラメータとして、計算された差を使用して、現在のフレームが無声音声を含むか、または有声音声を含むかを決定するための無声／有声判定点を作成することをさらに含む。

Description

本出願は、2013年9月9日に出願された、発明の名称を「Improved Unvoiced/Voiced Decision for Speech Coding / Bandwidth Extension / Speech Enhancement」とする、米国仮出願第61/875,198号の継続である、2014年9月3日に出願された、発明の名称を「Unvoiced/Voiced Decision for Speech Processing」とする、米国特許出願第14/476,547号の優先権を主張し、これらの両方はその全体が複製されたかのように参照によりここに組み込まれる。
本発明は、概して音声処理の分野にあり、詳細には音声処理のための有声／無声判定についてである。
音声符号化は、音声ファイルのビットレートを低減させる処理を指す。音声符号化は、音声を含むデジタルオーディオ信号のデータ圧縮の応用である。音声符号化は、結果として生じるモデル化されたパラメータをコンパクトなビットストリームに表現するために、一般のデータ圧縮アルゴリズムと組み合わされた、音声信号をモデル化するためにオーディオ信号処理技術を使用する音声特有のパラメータ推定を使用する。音声符号化の目的は、デコードされた（展開された）音声が元の音声から知覚的に区別できないように、サンプルあたりのビット数を低減させることによって、要求されるメモリ記憶空間、送信帯域幅および送信電力における節約を達成することである。
しかし、音声符号化器は損失を生じる符号化器であり、すなわち、デコードされた信号は元のものとは異なる。従って、音声符号化における目標の１つは、与えられたビットレートにおけるひずみ（知覚できる損失）を最小化する、または与えられたひずみに達するためにビットレートを最小化することである。
音声が他のほとんどのオーディオ信号よりずっと簡単な信号であり、音声の特性についてずっと多くの統計情報が利用可能であるという点で、音声符号化は他の形式のオーディオ符号化とは異なる。その結果、オーディオ符号化において関連するいくつかの聴覚情報は、音声符号化の状況において不必要であり得る。音声符号化において、最も重要な基準は、制限された量の送信データを用いた音声の明瞭さおよび「快適さ」の維持である。
音声の明瞭さは、実際の文字通りの内容に加えて、完全な明瞭さのために全て重要である、話者の同一性、感情、抑揚、音質等も含む。劣化した音声は十分に明瞭であるが聴取者を主観的にいらいらさせる可能性があるので、劣化した音声の快適さのより抽象的な概念は明瞭さとは異なる特性である。
音声波形の冗長性は、有声および無声音声信号のような、いくつかの異なる種類の音声信号に関して考慮され得る。有声音、例えば「a」、「b」は、本質的に声帯の振動に起因し、振動性である。従って、短期間にわたって、正弦曲線のような周期的な信号の和によって十分にモデル化される。言い換えると、有声音声について、音声信号は本質的に周期的である。しかし、この周期性は、音声セグメントの継続期間にわたって可変である可能性があり、周期的な波の形状は、通例、セグメントからセグメントへと徐々に変化する。低ビットレート音声符号化は、そのような周期性を探索することから大きく利益を得ることが可能である。有声音声の期間はピッチとも呼ばれ、ピッチ予測はしばしば長期予測（Long-Term Prediction、LTP）と名付けられる。対照的に、「s」、「sh」のような無声音はよりノイズのようである。これは、無声音声信号がよりランダムなノイズのようであり、より少ない量の予測可能性を有するためである。
伝統的に、全てのパラメトリックな音声符号化方法は、送信されなければならない情報の量を低減させ、短い間隔で信号の音声サンプルのパラメータを推定するために、音声信号に本来備わっている冗長性を利用する。この冗長性は、準周期的なレートでの音声波の形状の繰り返し、および音声信号のゆっくり変化するスペクトル包絡線から主に生じる。
音声波形の冗長性は、有声および無声のような、いくつかの異なる種類の音声信号に関して考慮され得る。音声信号は有声音声について本質的に周期的であるが、この周期性は音声セグメントの継続期間にわたって可変である可能性があり、周期的な波の形状は、通例、セグメントからセグメントへと徐々に変化する。低ビットレート音声符号化は、そのような周期性を探索することから大きく利益を得ることが可能である。有声音声の期間はピッチとも呼ばれ、ピッチ予測はしばしば長期予測（Long-Term Prediction、LTP）と名付けられる。無声音声に関して、信号はよりランダムなノイズのようであり、より少ない量の予測可能性を有する。
いずれの場合も、スペクトル包絡線成分から音声信号の励振成分を分離することによって音声セグメントの冗長性を低減させるために、パラメトリックな符号化が使用され得る。ゆっくり変化するスペクトル包絡線は、短期予測（Short-Term Prediction、STP）とも呼ばれる線形予測符号化（Linear Prediction Coding、LPC）によって表現することができる。低ビットレート音声符号化は、そのような短期予測を探索することから大いに利益を得ることもあり得る。符号化の利点は、パラメータが変化する遅いレートから生じる。さらに、パラメータが、数ミリ秒の範囲内で保持される値から著しく異なることは稀である。従って、8kHz、12.8kHzまたは16kHzのサンプリングレートにおいて、音声符号化アルゴリズムは、通常のフレーム継続期間が10から30ミリ秒の範囲内にあるようなものである。20ミリ秒のフレーム継続期間は最も一般的な選択である。
G.723.1、G.729、G.718のようなより最近の良く知られた標準において、エンハンスト・フル・レート（Enhanced Full Rate、ＥＦＲ）、選択可能モード・ボコーダ（Selectable Mode Vocoder、SMV）、適応マルチレート（Adaptive Multi-Rate、AMR）、可変レート・マルチモード広帯域（Variable-Rate Multimode Wideband、VMR-WB）、または適応マルチレート広帯域（Adaptive Multi-Rate Wideband、AMR-WB）、符号励振線形予測技術（Code Excited Linear Prediction Technique、「CELP」）が採用されてきた。CELPは、符号励振、長期予測および短期予測の技術的な結合として一般的に理解される。CELPは、特定の人の声の特性または人の発声する声の生成モデルから利益を得ることによって、音声信号をエンコードするために主に使用される。異なるコーデックのためのCELPの詳細は著しく異なる可能性があるが、CELP音声符号化は音声圧縮の領域でたいへん普及しているアルゴリズム原理である。その普及のためにCELPアルゴリズムは各種のITU-T、MPEG、3GPP、および3GPP2標準において使用されてきた。CELPの変形は、代数CELP、緩和型CELP、低遅延CELPおよびベクトル和励振線形予測、および他を含む。CELPは、特定のコーデックのためでなく、アルゴリズムのクラスのための一般用語である。
CELPアルゴリズムは４つの主要なアイデアに基づく。第１に、線形予測（LP）を通した音声生成のソース・フィルタ・モデルが使用される。音声生成のソース・フィルタ・モデルは、声帯のような音源、および線形音響フィルタ、発声の広がり（および放射特性）の組み合わせとして音声をモデル化する。音声生成のソース・フィルタ・モデルの実装において、音源、または励振信号は、有声音声について周期的なインパルスの列、または無声音声について白色ノイズとして、しばしばモデル化される。第２に、LPモデルの入力（励振）として適応型および固定型コードブックが使用される。第３に、「知覚的に重み付けされたドメイン」内で閉ループにおいて探索が行われる。第４に、ベクトル量子化（VQ）が適用される。
本発明の実施例によれば、音声処理のための方法は、複数のフレームを含む音声信号の現在のフレームにおいて無声／有声発音音声の特性を反映する無声発音／有声発音パラメータを決定することを含む。音声信号の現在のフレームより前のフレームにおける無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音／有声発音パラメータが決定される。無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の差が計算される。この方法は、判定パラメータとして、計算された差を使用して、現在のフレームが無声音声を含むか、または有声音声を含むかを決定するための無声／有声判定点を作成することをさらに含む。
代わりの実施例において、音声処理装置は、プロセッサ、およびプロセッサによる実行のためのプログラミングを記憶するコンピュータ読み取り可能な記憶媒体を含む。プログラミングは、複数のフレームを含む音声信号の現在のフレームにおいて無声／有声発音音声の特性を反映する無声発音／有声発音パラメータを決定し、音声信号の現在のフレームより前のフレームにおける無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音／有声発音パラメータを決定するための命令を含む。プログラミングは、無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の差を計算し、判定パラメータとして、計算された差を使用して、現在のフレームが無声音声を含むか、または有声音声を含むかを決定するための無声／有声判定点を作成するための命令をさらに含む。
代わりの実施例において、音声処理のための方法は、音声信号の複数のフレームを提供し、現在のフレームについて、時間ドメインにおける音声信号の第１のエネルギー包絡線からの第１の周波数帯域についての第１のパラメータおよび時間ドメインにおける音声信号の第２のエネルギー包絡線からの第２の周波数帯域についての第２のパラメータを決定することを含む。音声信号の以前のフレームから、平滑化された第１のパラメータおよび平滑化された第２のパラメータが決定される。第１のパラメータは平滑化された第１のパラメータと比較され、第２のパラメータは平滑化された第２のパラメータと比較される。判定パラメータとして、比較を使用して、現在のフレームが無声音声を含むか、または有声音声を含むかを決定するために無声／有声判定点が作成される。
本発明およびその利点のより十分な理解のために、添付図面に関連してなされる下記の記載への参照がここで行われる。
本発明の実施例に従って低周波数帯域音声信号の時間ドメインエネルギー評価を説明する。 本発明の実施例に従って高周波数帯域音声信号の時間ドメインエネルギー評価を説明する。 本発明の実施例を実装する従来型のCELPエンコーダを使用した元の音声のエンコードの間に行われる動作を説明する。 本発明の実施例を実装する従来型のCELPデコーダを使用した元の音声のデコードの間に行われる動作を説明する。 本発明の実施例の実装において使用される従来型のCELPエンコーダを説明する。 本発明の実施例に従って図５のエンコーダに対応する基本的なCELPデコーダを説明する。 CELP音声符号化の符号励振コードブックまたは固定型コードブックを構築するためのノイズのような候補ベクトルを説明する。 CELP音声符号化の符号励振コードブックまたは固定型コードブックを構築するためのパルスのような候補ベクトルを説明する。 有声音声についての励振スペクトルの例を説明する。 無声音声についての励振スペクトルの例を説明する。 背景ノイズ信号についての励振スペクトルの例を説明する。 帯域幅拡張を有する周波数ドメインエンコードの例を説明し、BWE側の情報を有するエンコーダを説明する。 帯域幅拡張を有する周波数ドメインデコードの例を説明し、BWEを有するデコーダを説明する。 上記に記載した各種の実施例に従って音声処理動作を記載する。 上記に記載した各種の実施例に従って音声処理動作を記載する。 上記に記載した各種の実施例に従って音声処理動作を記載する。 本発明の実施例に従って通信システム１０を説明する。 ここで開示されたデバイスおよび方法を実装するために使用され得る処理システムのブロック図を説明する。
現代のオーディオ／音声デジタル信号通信システムにおいて、デジタル信号はエンコーダにおいて圧縮され、圧縮された情報またはビットストリームはパケット化され、通信チャネルを通してフレーム毎にデコーダに送信されることが可能である。デコーダは、オーディオ／音声デジタル信号を取得するために、圧縮された情報を受信およびデコードする。
音声信号をより効率的にエンコードするために、音声信号は異なるクラスに分類されることが可能であり、各々のクラスは異なるやり方でエンコードされる。例えば、G.718、VMR-WB、またはAMR-WBのようないくつかの標準において、音声信号は、無声（UNVOICED）、過渡（TRANSITION）、一般（GENERIC）、有声（VOICED）、およびノイズ（NOISE）に分類される。
有声音声信号は準周期的な種類の信号であり、これは、通例、高周波数領域内より低周波数領域内でより多くのエネルギーを有する。対照的に、無声音声信号はノイズのような信号であり、これは、通例、低周波数領域内より高周波数領域内でより多くのエネルギーを有する。無声／有声分類または無声判定は、音声信号符号化、音声信号帯域幅拡張（BWE）、音声信号の向上および音声信号背景ノイズ低減（NR）の分野において広く使用される。
音声符号化において、無声音声信号および有声音声信号は異なるやり方でエンコード／デコードされ得る。音声信号帯域幅拡張において、無声音声信号の拡張された高帯域信号エネルギーは有声音声信号のそれとは異なって制御され得る。音声信号背景ノイズ低減において、NRアルゴリズムは無声音声信号および有声音声信号について異なり得る。従って、上記の種類の応用のために強固な無声判定が重要である。
本発明の実施例は、音声符号化、帯域幅拡張、および／または音声の向上の動作より前に、有声信号または無声信号としてオーディオ信号を分類する正確さを改善する。従って、本発明の実施例は、音声信号符号化、音声信号帯域幅拡張、音声信号の向上および音声信号背景ノイズ低減に適用され得る。特に、本発明の実施例は、帯域幅拡張においてITU-T AMR-WB音声符号化器の標準を改善するために使用され得る。
本発明の実施例に従う、オーディオ信号の有声信号または無声信号への分類の正確さを改善するために使用される音声信号の特性の説明が、図１および２を使用して説明される。音声信号は、下記の説明において、２つの状況、低周波数帯域および高周波数帯域において評価される。
図１は、本発明の実施例に従って低周波数帯域音声信号の時間ドメインエネルギー評価を説明する。
低周波数帯域音声の時間ドメインエネルギー包絡線1101は時間にわたる平滑化されたエネルギー包絡線であり、無声音声領域1103および有声音声領域1104によって分離された第１の背景ノイズ領域1102および第２の背景ノイズ領域1105を含む。有声音声領域1104の低周波数有声音声信号は、無声音声領域1103における低周波数無声音声信号より高いエネルギーを有する。さらに、低周波数無声音声信号は低周波数背景ノイズ信号と比較してより高い、またはより近いエネルギーを有する。
図２は、本発明の実施例に従って高周波数帯域音声信号の時間ドメインエネルギー評価を説明する。
図１とは対照的に、高周波数音声信号は異なる特性を有する。時間にわたる平滑化されたエネルギー包絡線である、高帯域音声信号の時間ドメインエネルギー包絡線1201は、無声音声領域1203および有声音声領域1204によって分離された第１の背景ノイズ領域1202および第２の背景ノイズ領域1205を含む。高周波数有声音声信号は、高周波数無声音声信号より低いエネルギーを有する。高周波数無声音声信号は、高周波数背景ノイズ信号と比較してずっと高いエネルギーを有する。しかし、高周波数無声音声信号1203は、有声音声1204より比較的短い継続期間を有する。
本発明の実施例は、時間ドメインにおける異なる周波数帯域内の有声および無声音声の間の特性におけるこの差を活用する。例えば、現在のフレーム内の信号は、信号のエネルギーが高帯域内でなく低帯域において対応する無声信号より高いと決定することによって有声信号であると識別され得る。同様に、現在のフレーム内の信号は、信号のエネルギーが低帯域において対応する有声信号より低いが、高帯域内の対応する有声信号より高いと識別することによって無声信号であると識別され得る。
伝統的に、無声／有声音声信号を検出するために２つの主要なパラメータが使用される。１つのパラメータは信号の周期性を表現し、もう１つのパラメータはスペクトル傾斜を示し、これは周波数が増加するに連れて強度が低下する度合いである。
普及している信号周期性パラメータは式(1)において下記で提供される。
Figure 2016527570
式(1)において、sw(n)は重み付けされた音声信号であり、分子は相関であり、分母はエネルギー正規化係数である。周期性パラメータは「ピッチ相関」または「有声発音」とも呼ばれる。もう１つの例の有声発音パラメータは式(2)において下記で提供される。
Figure 2016527570
(2)において、ep(n)およびec(n)は励振成分信号であり、下記でさらに記載される。各種の応用において、式(1)および(2)のいくつかの変形が使用され得るが、それらはなおも信号の周期性を表現することができる。
最も普及しているスペクトル傾斜パラメータは式(3)において下記で提供される。
Figure 2016527570
式(3)において、s(n)は音声信号である。周波数ドメインエネルギーが利用可能であるならば、スペクトル傾斜パラメータは式(4)において記載されるとおりであることが可能である。
Figure 2016527570
式(4)において、ELBは低周波数帯域エネルギーおよびEHBは高周波数帯域エネルギーである。
スペクトル傾斜を反映することができるもう１つのパラメータは、ゼロ交差レート（Zero-Cross Rate、ZCR）と呼ばれる。ZCRは、フレームまたはサブフレームにおける正／負の信号変化レートをカウントする。通例、高周波数帯域エネルギーが低周波数帯域エネルギーと比較して高いとき、ZCRも高い。そうでなければ、高周波数帯域エネルギーが低周波数帯域エネルギーと比較して低いとき、ZCRも低い。実際の応用において、式(3)および(4)のいくつかの変形が使用され得るが、それらはなおもスペクトル傾斜を表現することができる。
前述のように、無声／有声の分類または無声／有声判定は、音声信号符号化、音声信号帯域幅拡張（BWE）、音声信号の向上および音声信号背景ノイズ低減（NR）の分野において広く使用される。
音声符号化において、無声音声信号はノイズのような励振を使用することによって符号化されることが可能であり、有声音声信号は後に説明されるようにパルスのような励振を用いて符号化されることが可能である。音声信号帯域幅拡張において、無声音声信号の拡張された高帯域信号エネルギーは増加され得るのに対して、有声音声信号の拡張された高帯域信号エネルギーは低減され得る。音声信号背景ノイズ低減（NR）において、NRアルゴリズムは、無声音声信号についてあまり積極的でなく、有声音声信号についてより積極的であり得る。従って、上記の種類の応用のために強固な無声または有声判定が重要である。無声音声および有声音声の特性に基づいて、無声／有声クラスを検出するために、周期性パラメータPvoicingおよびスペクトル傾斜パラメータPtiltの両方またはそれらの変形のパラメータがたいてい使用される。しかし、本出願の発明者は、周期性パラメータPvoicingおよびスペクトル傾斜パラメータPtiltまたはそれらの変形のパラメータの「絶対」値が音声信号記録設備、背景ノイズレベル、および／または話者によって影響を受けることを特定した。それらの影響は予め決定されることが難しく、おそらく結果として強固でない無声／有声音声検出になる。
本発明の実施例は、「絶対」値の代わりに、周期性パラメータPvoicingおよびスペクトル傾斜パラメータPtiltまたはそれらの変形のパラメータの「相対」値を使用する改善された無声／有声音声検出を記載する。「相対」値は、音声信号記録設備、背景ノイズレベル、および／または話者による「絶対」値よりずっと小さく影響を受け、結果としてより強固な無声／有声音声検出になる。
例えば、結合された無声発音パラメータは下記の式(5)のように定義することが可能である。
Pc_unvoicing = (1-Pvoicing)・(1-Ptilt)・・・ (5)
式(11)の終わりの点は他のパラメータが追加され得ることを示す。Pc_unvoicingの「絶対」値が大きくなるとき、それは無声音声信号になるようである。結合された有声発音パラメータは下記の式(6)のように記載することが可能である。
Pc_voicing = Pvoicing・Ptilt・・・ (6)
式(6)の終わりの点は他のパラメータが追加され得ることを同様に示す。Pc_voicingの「絶対」値が大きくなるとき、それは有声音声信号になるようである。Pc_unvoicingまたはPc_voicingの「相対」値が定義される前に、Pc_unvoicingまたはPc_voicingの強く平滑化されたパラメータがまず定義される。例えば、現在のフレームのパラメータは、式(7)において下記の不等式によって記載されるように前のフレームから平滑化され得る。
Figure 2016527570
式(7)において、Pc_unvoicing_smはPc_unvoicingの強く平滑化された値である。
同様に、平滑化された結合された有声発音パラメータPc_voicing_smは、式(8)を使用して下記の不等式を使用して決定され得る。
Figure 2016527570
ここで、式(8)において、Pc_voicing_smはPc_voicingの強く平滑化された値である。
有声音声の統計的な振る舞いは無声音声のそれとは異なり、従って、各種の実施例において、上記の不等式を決定するためのパラメータ（例えば、0.9、0.99、7/8、255/256）が決定されることが可能であり、必要ならば実験に基づいてさらに改良される。
Pc_unvoicingまたはPc_voicingの「相対」値は、下記に記載される式(9)および(10)のように定義され得る。
Pc_unvoicing_diff = Pc_unvoicing - Pc_unvoicing_sm (9)
Pc_unvoicing_diffはPc_unvoicingの「相対」値であり、同様に、
Pc_voicing_diff = Pc_voicing - Pc_voicing_sm (10)
Pc_voicing_diffはPc_voicingの「相対」値である。
下記の不等式は、無声検出を適用する例示の実施例である。この例示の実施例において、フラグUnvoiced_flagをTRUEに設定することは音声信号が無声音声であることを示すのに対して、フラグUnvoiced_flagをFALSEに設定することは音声信号が無声音声でないことを示す。
if (Pc_unvoicing_diff > 0.1) {
Unvoiced_flag = TRUE;
}
else if (Pc_unvoicing_diff < 0.05) {
Unvoiced_flag = FALSE;
}
else {
Unvoiced_flagは変化しない（以前のUnvoiced_flagが維持される）
}
下記の不等式は、有声検出を適用する、代わりの例示の実施例である。この例示の実施例において、Voiced_flagをTRUEとして設定することは音声信号が有声音声であることを示すのに対して、Voiced_flagをFALSEに設定することは音声信号が有声音声でないことを示す。
if (Pc_voicing_diff > 0.1) {
Voiced_flag = TRUE;
}
else if (Pc_voicing_diff < 0.05) {
Voiced_flag = FALSE;
}
else {
Voiced_flagは変化しない（以前のVoiced_flagが維持される）
}
音声信号がVOICEDクラスからのものであると識別した後、音声信号はそしてCELPのような時間ドメイン符号化アプローチで符号化され得る。本発明の実施例は、エンコードより前にUNVOICED信号をVOICED信号に再分類するために適用することも可能である。
各種の実施例において、上記の改善された無声／有声検出アルゴリズムはAMR-WB-BWEおよびNRを改善するために使用され得る。
図３は、本発明の実施例を実装する従来型のCELPエンコーダを使用した元の音声のエンコードの間に行われる動作を説明する。
図３は、しばしば、合成による分析アプローチを使用することによって、合成された音声102と元の音声101の間の重み付けされた誤差109が最小化される、従来型の初期のCELPエンコーダを説明し、合成による分析アプローチは、閉ループ内でデコードされた（合成）信号を知覚的に最適化することによってエンコード（分析）が行われることを意味する。
全ての音声符号化器が利用する基本的な原理は、音声信号は高度に相関された波形であるという事実である。説明として、音声は、下記の式(11)のような自己回帰（AR）モデルを使用して表現することができる。
Figure 2016527570
式(11)において、各々のサンプルは、以前のＬ個のサンプルと白色ノイズの線形結合として表現される。重み付け係数a1、a2、... aLは線形予測係数（Linear Prediction Coefficients、LPC）と呼ばれる。各々のフレームについて、重み付け係数a1、a2、... aLは、上記のモデルを使用して作成された{X1, X2, ... , XN}のスペクトルが入力音声フレームのスペクトルと密接に合致するように選択される。
代わりに、音声信号は、高調波モデルとノイズモデルの組み合わせによって表現されることも可能である。モデルの高調波部分は、実際上、信号の周期的な成分のフーリエ級数表現である。一般に、有声信号について、音声の高調波とノイズのモデルは高調波とノイズの両方の混合から構成される。有声音声における高調波とノイズの比率は、話者の特性（例えば、どの程度まで話者の声が正常であるか、または息が漏れているか）、音声セグメントの特質（例えば、どの程度まで音声セグメントが周期的であるか）を含む多数の要因、および、周波数に依存する。有声音声のより高い周波数は、ノイズのような成分のより高い比率を有する。
線形予測モデルおよび高調波ノイズモデルは、音声信号のモデル化および符号化のための２つの主要な方法である。線形予測モデルは音声のスペクトル包絡線をモデル化することに特に優れるのに対して、高調波ノイズモデルは音声の細かな構造をモデル化することに優れる。２つの方法はそれらの相対的な強さを生かして組み合わされ得る。
前に示されたように、CELP符号化より前に、ハンドセットのマイクロホンへの入力信号はフィルタリングされ、例えば、毎秒8000サンプルのレートでサンプリングされる。そして各々のサンプルは、例えば、サンプル当たり13ビットで量子化される。サンプリングされた音声は、20ミリ秒のセグメントまたはフレーム（例えば、この場合において160サンプル）にセグメント化される。
音声信号は分析され、そのLPモデル、励振信号およびピッチが抽出される。LPモデルは音声のスペクトル包絡線を表現する。それは一組の線スペクトル周波数（LSF）係数に変換され、これは線形予測パラメータの代わりの表現であり、なぜならLSF係数は優れた量子化特性を有するからである。LSF係数はスカラー量子化されることが可能であり、または、より効率的に、それらは予めトレーニングされたLSFベクトルコードブックを使用してベクトル量子化されることが可能である。
符号励振はコードベクトルを含むコードブックを含み、コードベクトルは、各々のコードベクトルがほぼ「白色」スペクトルを有し得るように全て独立に選択された成分を有する。入力音声の各々のサブフレームについて、コードベクトルの各々は、短期線形予測フィルタ103および長期予測フィルタ105を通してフィルタリングされ、出力は音声サンプルと比較される。各々のサブフレームにおいて、そのサブフレームを表現するために、出力が入力音声と最も良く合致する（最小化された誤差）コードベクトルが選択される。
符号励振108は、通常、パルスのような信号またはノイズのような信号を含み、これらはコードブックにおいて数学的に構築または保存される。コードブックはエンコーダおよび受信デコーダの両方に利用可能である。確率的または固定型コードブックであり得る符号励振108は、コーデックに（黙示的にまたは明示的に）ハードコードされたベクトル量子化辞書であり得る。そのような固定型コードブックは、代数符号励振線形予測とすることが可能であり、または、明示的に記憶されることが可能である。
コードブックからのコードベクトルは、エネルギーを入力音声のエネルギーに等しくするために、適切な利得によってスケーリングされる。従って、符号励振108の出力は、線形フィルタを通過する前に利得GC 107によってスケーリングされる。
短期線形予測フィルタ103は、入力音声のスペクトルと類似するようにコードベクトルの「白色」スペクトルを整形する。等価的に、時間ドメインにおいて、短期線形予測フィルタ103は、白色系列内に短期相関（以前のサンプルとの相関）を組み込む。励振を整形するフィルタは、1/A(z)の形式の全極モデル（短期線形予測フィルタ103）を有し、A(z)は予測フィルタと呼ばれ、線形予測（例えば、Levinson-Durbinのアルゴリズム）を使用して取得され得る。１つまたはより多くの実施例において、全極フィルタを使用することが可能であり、なぜならそれは人の発声の広がりの優れた表現であるからであり、なぜならそれは計算することが容易であるからである。
短期線形予測フィルタ103は、元の信号101を分析することによって取得され、一組の係数によって表現される。
Figure 2016527570
前に記載されたように、有声音声の領域は、長期の周期性を示す。ピッチとして知られるこの期間は、ピッチフィルタ1/(B(z))によって、合成されたスペクトルに導入される。長期予測フィルタ105の出力は、ピッチおよびピッチ利得に依存する。１つまたはより多くの実施例において、ピッチは、元の信号、残差信号、または重み付けされた元の信号から推定され得る。１つの実施例において、長期予測関数(B(z))は、次のように式(13)を使用して表現され得る。
B(z) = 1 - Gp・z-Pitch (13)
重み付けフィルタ110は上記の短期予測フィルタに関連する。典型的な重み付けフィルタの１つは式(14)において記載されるように表現され得る。
Figure 2016527570
ここでβ＜α、0＜β＜1、0＜α≦1である。
もう１つの実施例において、重み付けフィルタW(z)は、下記の式(15)において１つの実施例において説明されるように帯域幅拡張の使用によってLPCフィルタから導き出され得る。
Figure 2016527570
式(15)において、γ1＞γ2であり、これらは極が原点に向かって移動される係数である。
従って、音声のフレーム毎に、LPCおよびピッチが計算され、フィルタが更新される。音声のサブフレーム毎に、サブフレームを表現するために「最も良く」フィルタリングされた出力を生成するコードベクトルが選択される。利得の対応する量子化された値は、正しいデコードのためにデコーダに送信されなければならない。LPCおよびピッチの値も、デコーダにおいてフィルタを再構築するためにフレーム毎に量子化され送信されなければならない。従って、符号励振インデックス、量子化された利得インデックス、量子化された長期予測パラメータインデックス、および量子化された短期予測パラメータインデックスがデコーダに送信される。
図４は、本発明の実施例に従ってCELPデコーダを使用した元の音声のデコードの間に行われる動作を説明する。
音声信号は、受信されたコードベクトルを、対応するフィルタを通過させることによって、デコーダにおいて再構築される。従って、後処理を除く全てのブロックは、図３のエンコーダにおいて記載されているのと同じ定義を有する。
符号化されたCELPビットストリームは受信デバイスにおいて受信されアンパックされる80。受信された各々のサブフレームについて、受信された、符号励振インデックス、量子化された利得インデックス、量子化された長期予測パラメータインデックス、および量子化された短期予測パラメータインデックスは、対応するデコーダ、例えば、利得デコーダ81、長期予測デコーダ82、および短期予測デコーダ83を使用して対応するパラメータを見つけるために使用される。例えば、励振パルスの位置および振幅符号、および符号励振402の代数コードベクトルは、受信された符号励振インデックスから決定され得る。
図４を参照すると、デコーダは、符号励振201、長期予測203、短期予測205を含むいくつかのブロックの組み合わせである。初期のデコーダは、合成された音声206の後に後処理ブロック207をさらに含む。後処理は、短期後処理および長期後処理をさらに含み得る。
図５は、本発明の実施例の実装において使用される従来型のCELPエンコーダを説明する。
図５は、長期線形予測を改善するための追加の適応型コードブックを使用した基本的なCELPエンコーダを説明する。励振は、適応型コードブック307および前に記載されたように確率的または固定型コードブックであり得る符号励振308からの寄与を合計することによって生成される。適応型コードブック内のエントリは、励振の遅延したバージョンを含む。これは有声音のような周期的な信号を効率的に符号化することを可能にする。
図５を参照すると、適応型コードブック307は、過去の合成された励振304またはピッチ周期で過去の励振ピッチサイクルを繰り返すことを含む。ピッチ・ラグは、それが大きいまたは長いとき、整数値でエンコードされ得る。ピッチ・ラグは、それが小さいまたは短いとき、より正確な小数値でしばしばエンコードされる。ピッチの周期的な情報は、励振の適応的な成分を作成するために利用される。そしてこの励振成分は利得Gp 305（ピッチ利得とも呼ばれる）によってスケーリングされる。
長期予測は、有声音声が強い周期性を有するので、有声音声符号化のためにたいへん重要な役割を果たす。有声音声の隣接するピッチサイクルは互いに類似し、これは数学的に下記の励振表現におけるピッチ利得Gpが高いまたは１に近いことを意味する。結果としての励振は個々の励振の結合として式(16)のように表現され得る。
e(n) = Gp・ep(n) + Gc・ec(n) (16)
ここで、ep(n)は、フィードバック・ループ（図５）を通して過去の励振304を含む適応型コードブック307から来る、nによってインデックス付けされるサンプルの連続の１つのサブフレームである。低周波数領域はしばしば高周波数領域より周期的またはより高調波的であるので、ep(n)は適応的に低域通過フィルタリングされ得る。ec(n)は、現在の励振の寄与である符号励振コードブック308（固定型コードブックとも呼ばれる）からのものである。さらに、ec(n)は、例えば、高域通過フィルタリングの向上、ピッチの向上、分散の向上、フォルマントの向上、および他を使用することによって、向上させることも可能である。
有声音声について、適応型コードブック307からのep(n)の寄与は支配的である可能性があり、ピッチ利得Gp 305は１の値の辺りである。励振は、通例、各々のサブフレームについて更新される。典型的なフレームサイズは20ミリ秒であり、典型的なサブフレームサイズは5ミリ秒である。
図３に記載されているように、固定型符号励振308は、線形フィルタを通過する前に、利得Gc 306によってスケーリングされる。固定型符号励振108および適応型コードブック307からの２つのスケーリングされた励振成分は、短期線形予測フィルタ303を通したフィルタリングの前に一緒に加算される。２つの利得（GpおよびGc）は量子化されデコーダに送信される。従って、符号励振インデックス、適応型コードブックインデックス、量子化された利得インデックス、および量子化された短期予測パラメータインデックスは、受信オーディオデバイスに送信される。
図５において説明されているデバイスを使用して符号化されるCELPビットストリームは、受信デバイスにおいて受信される。図６は、受信デバイスの対応するデコーダを説明する。
図６は、本発明の実施例に従って図５のエンコーダに対応する基本的なCELPデコーダを説明する。図６は、主要なデコーダから合成された音声407を受信する後処理ブロック408を含む。このデコーダは、適応型コードブック307を除いて図２と類似する。
受信された各々のサブフレームについて、対応するデコーダ、例えば、利得デコーダ81、ピッチデコーダ84、適応型コードブック利得デコーダ85、および短期予測デコーダ83を使用して対応するパラメータを見つけるために、受信された、符号励振インデックス、量子化された符号励振利得インデックス、量子化されたピッチインデックス、量子化された適応型コードブック利得インデックス、および量子化された短期予測パラメータインデックスが使用される。
各種の実施例において、CELPデコーダは、いくつかのブロックの組み合わせであり、符号励振402、適応型コードブック401、短期予測406、および後処理408を含む。後処理を除く全てのブロックは、図５のデコーダにおいて記載されているのと同じ定義を有する。後処理は、短期後処理および長期後処理をさらに含み得る。
既に言及したように、CELPは、特定の人の声の特性または人の発声する声の生成モデルから利益を得ることによって、音声信号をエンコードするために主に使用される。音声信号をより効率的にエンコードするために、音声信号は異なるクラスに分類されることが可能であり、各々のクラスは異なるやり方でエンコードされる。有声／無声分類または無声判定は、異なるクラスの全ての分類の中で重要で基本的な分類であり得る。各々のクラスについて、スペクトル包絡線を表現するために、LPCまたはSTPフィルタが常に使用される。しかし、LPCフィルタへの励振は異なり得る。無声信号はノイズのような励振を用いて符号化され得る。一方、有声信号はパルスのような励振を用いて符号化され得る。
（図５におけるラベル308および図６における402を用いて参照される）符号励振ブロックは、一般のCELP符号化のための固定型コードブック（Fixed Codebook、FCB）の位置を説明する。FCBからの選択されたコードベクトルはGC 306としてしばしば注記される利得によってスケーリングされる。
図７は、CELP音声符号化の符号励振コードブックまたは固定型コードブックを構築するためのノイズのような候補ベクトルを説明する。
ノイズのようなベクトルを含むFCBは、知覚的な品質の観点から無声信号のために最も良い構造であり得る。これは、適応型コードブックの寄与またはLTPの寄与が小さいまたは存在しないであろうし、主要な励振の寄与が無声クラス信号についてのFCB成分に依存するからである。この場合において、パルスのようなFCBが使用されるならば、低ビットレート符号化のために設計されたパルスのようなFCBから選択されたコードベクトル内にたくさんのゼロが存在するので、出力された合成された音声信号はとがったような音がすることがあり得る。
図７を参照すると、符号励振を構築するためのノイズのような候補ベクトルを含むFCB構造。ノイズのようなFCB 501は、利得503によってスケーリングされる、特定のノイズのようなコードベクトル502を選択する。
図８は、CELP音声符号化の符号励振コードブックまたは固定型コードブックを構築するためのパルスのような候補ベクトルを説明する。
パルスのようなFCBは、知覚的な観点から有声クラス信号のためにノイズのようなFCBより良い品質を提供する。これは、適応型コードブックの寄与またはLTPの寄与がより高度に周期的な有声クラス信号について支配的であろうし、主要な励振の寄与が有声クラス信号についてFCB成分に依存しないからである。ノイズのようなFCBが使用されるならば、低ビットレート符号化のために設計されたノイズのようなFCBから選択されたコードベクトルを使用することによって良好な波形の合致を有することがより難しいので、出力された合成された音声信号がノイズのようなまたはあまり周期的でない音がする可能性がある。
図８を参照すると、FCB構造は、符号励振を構築するための複数のパルスのような候補ベクトルを含み得る。パルスのようなコードベクトル602は、パルスのようなFCB 601から選択され、利得603によってスケーリングされる。
図９は、有声音声についての励振スペクトルの例を説明する。LPCスペクトル包絡線704を除去した後、励振スペクトル702はほとんど平坦である。低帯域励振スペクトル701は、通例、高帯域スペクトル703より高調波的である。理論的に、理想的なまたは量子化されていない高帯域励振スペクトルは、低帯域励振スペクトルとほとんど同じエネルギーレベルを有することがあり得る。実際、低帯域および高帯域の両方がCELP技術を用いてエンコードされるならば、合成されたまたは量子化された高帯域スペクトルは、少なくとも２つの理由のために合成されたまたは量子化された低帯域スペクトルより低いエネルギーレベルを有することがあり得る。第１に、閉ループCELP符号化は高帯域より低帯域においてより大きく強調する。第２に、高帯域信号のより迅速な変化に起因するだけでなく、高帯域信号のよりノイズのような特性にも起因して、低帯域信号についての波形の合致は高帯域信号より容易である。
AMR-WBのような低ビットレートCELP符号化において、高帯域は、通例、エンコードされないが、帯域幅拡張（BWE）技術を用いてデコーダにおいて作成される。この場合において、高帯域励振スペクトルは、いくらかのランダムノイズを追加すると同時に、低帯域励振スペクトルから単純に複製され得る。高帯域スペクトルエネルギー包絡線は低帯域スペクトルエネルギー包絡線から予測または推定され得る。BWEが使用されるとき、高帯域信号エネルギーの正しい制御は重要になる。無声音声信号と違って、最も良い知覚的な品質を達成するために、作成された高帯域有声音声信号のエネルギーは正しく低減されなければならない。
図１０は、無声音声についての励振スペクトルの例を説明する。
無声音声の場合において、LPCスペクトル包絡線804を除去した後、励振スペクトル802はほとんど平坦である。低帯域励振スペクトル801および高帯域スペクトル803の両方はノイズのようである。理論的に、理想的なまたは量子化されていない高帯域励振スペクトルは、低帯域励振スペクトルとほとんど同じエネルギーレベルを有することがあり得る。実際、低帯域および高帯域の両方がCELP技術を用いてエンコードされるならば、合成されたまたは量子化された高帯域スペクトルは、２つの理由のために、合成されたまたは量子化された低帯域スペクトルと同じ、または、合成されたまたは量子化された低帯域スペクトルよりわずかに高いエネルギーレベルを有することがあり得る。第１に、閉ループCELP符号化はより高いエネルギー領域においてより大きく強調する。第２に、低帯域信号のための波形の合致は高帯域信号より容易であるが、ノイズのような信号のための良好な波形の合致を有することは常に難しい。
有声音声符号化と同様に、AMR-WBのような無声低ビットレートCELP符号化について、高帯域は、通例、エンコードされないが、BWE技術を用いてデコーダにおいて作成される。この場合において、無声高帯域励振スペクトルは、いくらかのランダムノイズを追加すると同時に、無声低帯域励振スペクトルから単純に複製され得る。無声音声信号の高帯域スペクトルエネルギー包絡線は低帯域スペクトルエネルギー包絡線から予測または推定され得る。BWEが使用されるとき、無声高帯域信号のエネルギーを正しく制御することは特に重要である。有声音声信号と違って、最も良い知覚的な品質を達成するために、作成された高帯域無声音声信号のエネルギーは正しく増加される方が良い。
図１１は、背景ノイズ信号についての励振スペクトルの例を説明する。
LPCスペクトル包絡線904を除去した後、励振スペクトル902はほとんど平坦である。高帯域スペクトル903のように、通例、ノイズのようである低帯域励振スペクトル901。理論的に、背景ノイズ信号の理想的なまたは量子化されていない高帯域励振スペクトルは、低帯域励振スペクトルとほとんど同じエネルギーレベルを有することがあり得る。実際、低帯域および高帯域の両方がCELP技術を用いてエンコードされるならば、背景ノイズ信号の合成されたまたは量子化された高帯域スペクトルは、２つの理由のために、合成されたまたは量子化された低帯域スペクトルより低いエネルギーレベルを有することがあり得る。第１に、閉ループCELP符号化は高帯域より高いエネルギーを有する低帯域においてより大きく強調する。第２に、低帯域信号のための波形の合致は高帯域信号より容易である。音声符号化と同様に、背景ノイズ信号の低ビットレートCELP符号化について、高帯域は、通例、エンコードされないが、BWE技術を用いてデコーダにおいて作成される。この場合において、背景ノイズ信号の高帯域励振スペクトルは、いくらかのランダムノイズを追加すると同時に、低帯域励振スペクトルから単純に複製されることが可能であり、背景ノイズ信号の高帯域スペクトルエネルギー包絡線は低帯域スペクトルエネルギー包絡線から予測または推定され得る。BWEが使用されるとき、高帯域背景ノイズ信号を制御することは音声信号とは異なり得る。音声信号と違って、最も良い知覚的な品質を達成するために、作成された高帯域背景ノイズ音声信号のエネルギーは時間にわたって安定している方が良い。
図１２Ａおよび１２Ｂは、帯域幅拡張を有する周波数ドメインエンコード／デコードの例を説明する。図１２ＡはBWE側の情報を有するエンコーダを説明し、一方、図１２ＢはBWEを有するデコーダを説明する。
図１２Ａをまず参照すると、低帯域信号1001は、低帯域パラメータ1002を使用することによって周波数ドメインにおいてエンコードされる。低帯域パラメータ1002は量子化され、量子化インデックスはビットストリームチャネル1003を通して受信オーディオアクセスデバイスに送信される。オーディオ信号1004から抽出された高帯域信号は、高帯域側パラメータ1005を使用することによって少量のビットを用いてエンコードされる。量子化された高帯域側パラメータ（HB側情報インデックス）はビットストリームチャネル1006を通して受信オーディオアクセスデバイスに送信される。
図１２Ｂを参照すると、デコーダにおいて、デコードされた低帯域信号1008を生成するために低帯域ビットストリーム1007が使用される。高帯域側パラメータ1011をデコードおよび作成するために高帯域側ビットストリーム1010が使用される。高帯域信号1012は高帯域側パラメータ1011からの助けを用いて低帯域信号1008から作成される。最終的なオーディオ信号1009は低帯域信号と高帯域信号を結合することによって生成される。周波数ドメインBWEは、作成された高帯域信号の正しいエネルギー制御も必要である。エネルギーレベルは、無声、有性およびノイズ信号について異なって設定され得る。従って、音声信号の高品質分類は周波数ドメインBWEについて必要でもある。
背景ノイズ低減アルゴリズムの関連する詳細が以下に記載される。一般に、無声音声信号はノイズのようであるので、無声領域における背景ノイズ低減（NR）は有声領域ほど積極的でないべきであり、ノイズ隠蔽効果から利益を得る。言い換えると、同じレベルの背景ノイズは無声領域より有声領域においてより聞き取れるので、NRは無声領域より有声領域においてより積極的であるべきである。そのような場合において、高品質の無声／有声判定が必要とされる。
一般に、無声音声信号は、周期性を有さないノイズのような信号である。さらに、無声音声信号は低周波数領域より高周波数領域においてより多くのエネルギーを有する。対照的に、有声音声信号は逆の特性を有する。例えば、有声音声信号は準周期的な種類の信号であり、これは、通例、高周波数領域より低周波数領域においてより多くのエネルギーを有する（図９および１０も参照）。
図１３Ａ〜１３Ｃは、上記に記載された音声処理の各種の実施例を使用した音声処理の概要の説明である。
図１３Ａを参照すると、音声処理のための方法は、処理されるべき音声信号の複数のフレームを受信すること（ボックス1310）を含む。各種の実施例において、音声信号の複数のフレームは、例えばマイクロホンを含む同じオーディオデバイス内で作成され得る。代わりの実施例において、音声信号は例としてオーディオデバイスにおいて受信され得る。例えば、音声信号は後にエンコードまたはデコードされ得る。各々のフレームについて、現在のフレーム内の無声／有声発音音声の特性を反映する無声発音／有声発音パラメータが決定される（ボックス1312）。各種の実施例において、無声発音／有声発音パラメータは、周期性パラメータ、スペクトル傾斜パラメータ、または他の変形を含み得る。この方法は、音声信号の以前のフレーム内の無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音パラメータを決定すること（ボックス1314）をさらに含む。無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の差が取得される（ボックス1316）。その代わりに、無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の相対値（例えば、比率）が取得され得る。現在のフレームが無声／有声音声として扱われるためにより良く適しているかを判定するとき、判定パラメータとして、決定された差を使用して、無声／有声判定が行われる（ボックス1318）。
図１３Ｂを参照すると、音声処理のための方法は、音声信号の複数のフレームを受信すること（ボックス1320）を含む。実施例は有声発音パラメータを使用して記載されるが、無声発音パラメータを使用することに等しく適用される。結合された有声発音パラメータが各々のフレームについて決定される（ボックス1322）。１つまたはより多くの実施例において、結合された有声発音パラメータは、周期性パラメータおよび傾斜パラメータおよび平滑化された結合された有声発音パラメータであり得る。平滑化された結合された有声発音パラメータは、音声信号の１つまたはより多くの以前のフレームにわたって、結合された有声発音パラメータを平滑化することによって取得され得る。結合された有声発音パラメータは平滑化された結合された有声発音パラメータと比較される（ボックス1324）。現在のフレームは、判定することにおいて比較を使用してVOICED音声信号またはUNVOICED音声信号として分類される（ボックス1326）。音声信号は、音声信号の決定された分類に従って処理され得る、例えば、エンコードまたはデコードされ得る（ボックス1328）。
図１３Ｃを次に参照すると、もう１つの例示の実施例において、音声処理のための方法は、音声信号の複数のフレームを受信すること（ボックス1330）を含む。時間ドメインにおける音声信号の第１のエネルギー包絡線が決定される（ボックス1332）。第１のエネルギー包絡線は、第１の周波数帯域、例えば、4000Hzまでのような低周波数帯域内で決定され得る。平滑化された低周波数帯域エネルギーは、以前のフレームを使用して第１のエネルギー包絡線から決定され得る。平滑化された低周波数帯域エネルギーに対する、音声信号の低周波数帯域エネルギーの差または第１の比率が計算される（ボックス1334）。音声信号の第２のエネルギー包絡線が時間ドメインにおいて決定される（ボックス1336）。第２のエネルギー包絡線は第２の周波数帯域内で決定される。第２の周波数帯域は第１の周波数帯域とは異なる周波数帯域である。例えば、第２の周波数は高周波数帯域であり得る。１つの例において、第２の周波数帯域は4000Hzと8000Hzの間であり得る。音声信号の以前のフレームのうちの１つまたはより多くにわたる平滑化された高周波数帯域エネルギーが計算される。差または第２の比率が各々のフレームについて第２のエネルギー包絡線を使用して決定される（ボックス1338）。第２の比率は、現在のフレーム内の音声信号の高周波数帯域エネルギーと平滑化された高周波数帯域エネルギーの間の比率として計算され得る。現在のフレームは、判定することにおいて第１の比率および第２の比率を使用してVOICED音声信号またはUNVOICED音声信号として分類される（ボックス1340）。分類された音声信号は、音声信号の決定された分類に従って処理される、例えば、エンコードされる、デコードされる、および他である（ボックス1342）。
１つまたはより多くの実施例において、音声信号がUNVOICED信号であると決定されたとき、ノイズのような励振を使用して音声信号がエンコード／デコードされることが可能であり、音声信号がVOICED信号であると決定されたとき、パルスのような励振を用いて音声信号がエンコード／デコードされる。
さらなる実施例において、音声信号がUNVOICED音声信号であると決定されたとき、音声信号は周波数ドメイン内でエンコード／デコードされることが可能であり、音声信号がVOICED信号であると決定されたとき、音声信号は時間ドメイン内でエンコード／デコードされる。
従って、本発明の実施例は、音声符号化、帯域幅拡張、および／または音声の向上のために無声／有声判定を改善するために使用され得る。
図１４は、本発明の実施例に従って通信システム10を説明する。
通信システム10は、通信リンク38および40を介してネットワーク36に結合されたオーディオアクセスデバイス7および8を有する。１つの実施例において、オーディオアクセスデバイス7および8は、ボイス・オーバー・インターネット・プロトコル（VOIP）デバイスであり、ネットワーク36は広域ネットワーク（WAN）、公衆交換電話網（PTSN）および／またはインターネットである。もう１つの実施例において、通信リンク38および40はワイヤ線および／または無線の広帯域接続である。代わりの実施例において、オーディオアクセスデバイス7および8はセルラーまたは携帯電話であり、リンク38および40は無線携帯電話チャネルであり、ネットワーク36は携帯電話網を表現する。
オーディオアクセスデバイス7は、音楽または人の声のような音をアナログオーディオ入力信号28に変換するためにマイクロホン12を使用する。マイクロホンインタフェース16は、CODEC 20のエンコーダ22への入力のために、アナログオーディオ入力信号28をデジタルオーディオ信号33に変換する。エンコーダ22は、本発明の実施例に従って、ネットワークインタフェース26を介してネットワーク26への送信のために、エンコードされたオーディオ信号TXを生成する。CODEC 20内のデコーダ24は、ネットワークインタフェース26を介してネットワーク36からエンコードされたオーディオ信号RXを受信し、エンコードされたオーディオ信号RXをデジタルオーディオ信号34に変換する。スピーカインタフェース18は、デジタルオーディオ信号34を、ラウドスピーカ14を駆動するために適したオーディオ信号30に変換する。
本発明の実施例において、オーディオアクセスデバイス7がVOIPデバイスである場合、オーディオアクセスデバイス7内の構成要素のいくつかまたは全てはハンドセット内に実装される。しかし、いくつかの実施例において、マイクロホン12およびラウドスピーカ14は別個のユニットであり、マイクロホンインタフェース16、スピーカインタフェース18、CODEC 20およびネットワークインタフェース26はパーソナルコンピュータ内に実装される。CODEC 20は、コンピュータまたは専用のプロセッサ上で動作するどちらかのソフトウェアにおいて、または、専用のハードウェアによって、例えば特定用途向け集積回路（ASIC）上に実装することができる。マイクロホンインタフェース16は、ハンドセット内に、および／または、コンピュータ内に配置された他のインタフェース回路とともに、アナログ・デジタル（A/D）コンバータによって実装される。同様に、スピーカインタフェース18は、ハンドセット内に、および／または、コンピュータ内に配置されたデジタル・アナログ・コンバータおよび他のインタフェース回路によって実装される。さらなる実施例において、オーディオアクセスデバイス7はこの分野で知られた他のやり方で実装され、区分されることが可能である。
オーディオアクセスデバイス7がセルラーまたは携帯電話である本発明の実施例において、オーディオアクセスデバイス7内の要素はセルラーハンドセット内に実装される。CODEC 20は、ハンドセット内のプロセッサ上で動作するソフトウェアによって、または専用ハードウェアによって実装される。本発明のさらなる実施例において、オーディオアクセスデバイスは、インターホンおよび無線ハンドセットのような、ピア・ツー・ピアのワイヤ線および無線のデジタル通信システムのような他のデバイス内に実装され得る。消費者オーディオデバイスのような応用において、オーディオアクセスデバイスは、例えば、デジタルマイクロホンシステムまたは音楽再生デバイス内に、エンコーダ22またはデコーダ24のみを有するCODECを含み得る。本発明の他の実施例において、CODEC 20は、例えば、PTSNにアクセスするセルラー基地局内で、マイクロホン12およびスピーカ14なしで使用されることが可能である。
本発明の各種の実施例において記載された無声／有声分類を改善するための音声処理は、例えば、エンコーダ22またはデコーダ24内に実装され得る。無声／有声分類を改善するための音声処理は、各種の実施例においてハードウェアまたはソフトウェアにおいて実装され得る。例えば、エンコーダ22またはデコーダ24はデジタル信号プロセッサ（DSP）チップの部分であり得る。
図１５は、ここで開示されたデバイスおよび方法を実装するために使用され得る処理システムのブロック図を説明する。特定のデバイスは、図示されている構成要素の全て、または構成要素のサブセットのみを利用することが可能であり、統合のレベルはデバイスからデバイスへと変動し得る。さらに、デバイスは、複数の処理ユニット、プロセッサ、メモリ、送信器、受信器、等のような構成要素の複数の実例を含み得る。処理システムは、スピーカ、マイクロホン、マウス、タッチスクリーン、キーパッド、キーボード、プリンタ、ディスプレイ、等のような１つまたはより多くの入力／出力デバイスを備えた処理ユニットを含み得る。処理ユニットは、バスに接続された中央処理ユニット（CPU）、メモリ、大容量記憶デバイス、ビデオアダプタ、およびI/Oインタフェースを含み得る。
バスは、メモリバスまたはメモリコントローラ、周辺装置バス、ビデオバス、等を含む１つまたはより多くの任意の種類のいくつかのバスアーキテクチャであり得る。CPUは、任意の種類の電子データプロセッサを含み得る。メモリは、スタティック・ランダム・アクセス・メモリ（SRAM）、ダイナミック・ランダム・アクセス・メモリ（DRAM）、同期DRAM（SDRAM）、リード・オンリ・メモリ（ROM）、それらの組み合わせ、等のような任意の種類のシステムメモリを含み得る。実施例において、メモリは、ブートアップにおいて使用するためのROM、および、プログラムおよびプログラムを実行する間に使用するためのデータ記憶のためのDRAMを含み得る。
大容量記憶デバイスは、データ、プログラム、および他の情報を記憶し、データ、プログラム、および他の情報を、バスを介してアクセス可能にするように構成された任意の種類の記憶デバイスを含み得る。大容量記憶デバイスは、例えば、ソリッド・ステート・ドライブ、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、等のうちの１つまたはより多くを含み得る。
ビデオアダプタおよびI/Oインタフェースは、外部の入力および出力デバイスを処理ユニットに結合するためにインタフェースを提供する。説明されるように、入力および出力デバイスの例は、ビデオアダプタに結合されたディスプレイおよびI/Oインタフェースに結合されたマウス／キーボード／プリンタを含む。他のデバイスが処理ユニットに結合されることが可能であり、追加のまたはより少ないインタフェースカードが利用されることが可能である。例えば、ユニバーサル・シリアル・バス（USB）（図示しない）のようなシリアルインタフェースは、プリンタのためのインタフェースを提供するために使用され得る。
処理ユニットは、また、１つまたはより多くのネットワークインタフェースを含み、これは、イーサネット（登録商標）ケーブル等のような有線リンク、および／またはアクセスノードまたは異なるネットワークへの無線リンクを含み得る。ネットワークインタフェースは、処理ユニットがネットワークを介して遠隔ユニットと通信することを可能とする。例えば、ネットワークインタフェースは、１つまたはより多くの送信器／送信アンテナおよび１つまたはより多くの受信器／受信アンテナを介して無線通信を提供し得る。実施例において、処理ユニットは、データ処理、および、他の処理ユニット、インターネット、遠隔記憶設備、等のような遠隔デバイスとの通信のために、ローカル・エリア・ネットワークまたは広域ネットワークに結合される。
本発明が説明的な実施例を参照して記載されたが、この記載は限定する意味で解釈されるように意図されない。本発明の他の実施例とともに、説明的な実施例の各種の修正および組み合わせは、この記載への参照に際し、この技術分野の当業者に明らかであろう。例えば、上記に記載された各種の実施例は互いに組み合わせられ得る。
本発明およびその利点が詳細に記載されたが、添付の請求項によって定義されるような本発明の思想および範囲から逸脱することなく、各種の変更、置換および代替がここで行われることが可能であることを理解すべきである。例えば、上記で述べた特徴および機能の多くは、ソフトウェア、ハードウェア、またはファームウェア、またはそれらの組み合わせにおいて実装されることが可能である。さらに、本出願の範囲は、明細書に記載された処理、機械、製品、物の組成、手段、方法およびステップの特定の実施例に限定されるように意図されない。この技術分野の当業者が本発明の開示から容易に理解するであろうように、ここに記載された対応する実施例と実質的に同じ機能を実行し、または実質的に同じ結果を達成する、現在存在する、または後に開発される、処理、機械、製品、物の組成、手段、方法、またはステップが本発明に従って利用され得る。従って、添付の請求項は、それらの範囲内に、そのような処理、機械、製品、物の組成、手段、方法、またはステップを含むように意図される。
7、8 オーディオアクセスデバイス
10 通信システム
12 マイクロホン
14 ラウドスピーカ
16 マイクロホンインタフェース
18 スピーカインタフェース
20 CODEC
22 エンコーダ
24 デコーダ
26 ネットワークインタフェース
28 アナログオーディオ入力信号
30 オーディオ信号
33、34 デジタルオーディオ信号
36 ネットワーク
38、40 通信リンク
81 利得デコーダ
82 長期予測デコーダ
83 短期予測デコーダ
84 ピッチデコーダ
85 適応型コードブック利得デコーダ
101 元の信号
102 合成された音声
103 短期線形予測フィルタ
105 長期予測フィルタ
108 符号励振
109 重み付けされた誤差
110 重み付けフィルタ
201 符号励振
203 長期予測
205 短期予測
206 合成された音声
207 後処理ブロック
303 短期線形予測フィルタ
304 過去の合成された励振
305 利得Gp
306 利得Gc
307 適応型コードブック
308 固定型符号励振
401 適応型コードブック
402 符号励振
406 短期予測
407 合成された音声
408 後処理ブロック
701、801、901 低帯域励振スペクトル
702、802、902 励振スペクトル
703、803、903 高帯域スペクトル
704、804、904 LPCスペクトル包絡線
1001 低帯域信号
1002 低帯域パラメータ
1003 ビットストリームチャネル
1004 オーディオ信号
1005 高帯域側パラメータ
1006 ビットストリームチャネル
1007 低帯域ビットストリーム
1008 低帯域信号
1009 最終的なオーディオ信号
1010 高帯域ビットストリーム
1011 高帯域側パラメータ
1012 高帯域信号
1101、1201 時間ドメインエネルギー包絡線
1102、1202 第１の背景ノイズ領域
1103、1203 無声音声領域
1104、1204 有声音声領域
1105、1205 第２の背景ノイズ領域
本発明の実施例によれば、音声処理のための方法は、複数のフレームを含む音声信号の現在のフレームにおいて無声／有声音声の特性を反映する無声発音／有声発音パラメータを決定することを含む。音声信号の現在のフレームより前のフレームにおける無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音／有声発音パラメータが決定される。無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の差が計算される。この方法は、判定パラメータとして、計算された差を使用して、現在のフレームが無声音声を含むか、または有声音声を含むかを決定するための無声／有声判定点を作成することをさらに含む。
代わりの実施例において、音声処理装置は、プロセッサ、およびプロセッサによる実行のためのプログラミングを記憶するコンピュータ読み取り可能な記憶媒体を含む。プログラミングは、複数のフレームを含む音声信号の現在のフレームにおいて無声／有声音声の特性を反映する無声発音／有声発音パラメータを決定し、音声信号の現在のフレームより前のフレームにおける無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音／有声発音パラメータを決定するための命令を含む。プログラミングは、無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の差を計算し、判定パラメータとして、計算された差を使用して、現在のフレームが無声音声を含むか、または有声音声を含むかを決定するための無声／有声判定点を作成するための命令をさらに含む。
例えば、結合された無声発音パラメータは下記の式(5)のように定義することが可能である。
Pc_unvoicing = (1-Pvoicing)・(1-Ptilt)・・・ (5)
式(5)の終わりの点は他のパラメータが追加され得ることを示す。Pc_unvoicingの「絶対」値が大きくなるとき、それは無声音声信号になるようである。結合された有声発音パラメータは下記の式(6)のように記載することが可能である。
Pc_voicing = Pvoicing・Ptilt・・・ (6)
式(6)の終わりの点は他のパラメータが追加され得ることを同様に示す。Pc_voicingの「絶対」値が大きくなるとき、それは有声音声信号になるようである。Pc_unvoicingまたはPc_voicingの「相対」値が定義される前に、Pc_unvoicingまたはPc_voicingの強く平滑化されたパラメータがまず定義される。例えば、現在のフレームのパラメータは、式(7)において下記の不等式によって記載されるように前のフレームから平滑化され得る。
コードブックからのコードベクトルは、エネルギーを入力音声のエネルギーに等しくするために、適切な利得によってスケーリングされる。従って、符号励振108の出力は、線形フィルタを通過する前に利得GC 106によってスケーリングされる。
図５に記載されているように、固定型符号励振308は、線形フィルタを通過する前に、利得Gc 306によってスケーリングされる。固定型符号励振308および適応型コードブック307からの２つのスケーリングされた励振成分は、短期線形予測フィルタ303を通したフィルタリングの前に一緒に加算される。２つの利得（GpおよびGc）は量子化されデコーダに送信される。従って、符号励振インデックス、適応型コードブックインデックス、量子化された利得インデックス、および量子化された短期予測パラメータインデックスは、受信オーディオデバイスに送信される。
図６は、本発明の実施例に従って図５のエンコーダに対応する基本的なCELPデコーダを説明する。図６は、主要なデコーダから合成された音声407を受信する後処理ブロック408を含む。このデコーダは、適応型コードブック307を除いて図４と類似する。
図１３Ａを参照すると、音声処理のための方法は、処理されるべき音声信号の複数のフレームを受信すること（ボックス1310）を含む。各種の実施例において、音声信号の複数のフレームは、例えばマイクロホンを含む同じオーディオデバイス内で作成され得る。代わりの実施例において、音声信号は例としてオーディオデバイスにおいて受信され得る。例えば、音声信号は後にエンコードまたはデコードされ得る。各々のフレームについて、現在のフレーム内の無声／有声音声の特性を反映する無声発音／有声発音パラメータが決定される（ボックス1312）。各種の実施例において、無声発音／有声発音パラメータは、周期性パラメータ、スペクトル傾斜パラメータ、または他の変形を含み得る。この方法は、音声信号の以前のフレーム内の無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音パラメータを決定すること（ボックス1314）をさらに含む。無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の差が取得される（ボックス1316）。その代わりに、無声発音／有声発音パラメータと平滑化された無声発音／有声発音パラメータの間の相対値（例えば、比率）が取得され得る。現在のフレームが無声／有声音声として扱われるためにより良く適しているかを判定するとき、判定パラメータとして、決定された差を使用して、無声／有声判定が行われる（ボックス1318）。
通信システム10は、通信リンク38および40を介してネットワーク36に結合されたオーディオアクセスデバイス7および8を有する。１つの実施例において、オーディオアクセスデバイス7および8は、ボイス・オーバー・インターネット・プロトコル（VOIP）デバイスであり、ネットワーク36は広域ネットワーク（WAN）、公衆交換電話網（PSTN）および／またはインターネットである。もう１つの実施例において、通信リンク38および40はワイヤ線および／または無線の広帯域接続である。代わりの実施例において、オーディオアクセスデバイス7および8はセルラーまたは携帯電話であり、リンク38および40は無線携帯電話チャネルであり、ネットワーク36は携帯電話網を表現する。
オーディオアクセスデバイス7は、音楽または人の声のような音をアナログオーディオ入力信号28に変換するためにマイクロホン12を使用する。マイクロホンインタフェース16は、CODEC 20のエンコーダ22への入力のために、アナログオーディオ入力信号28をデジタルオーディオ信号33に変換する。エンコーダ22は、本発明の実施例に従って、ネットワークインタフェース26を介してネットワーク36への送信のために、エンコードされたオーディオ信号TXを生成する。CODEC 20内のデコーダ24は、ネットワークインタフェース26を介してネットワーク36からエンコードされたオーディオ信号RXを受信し、エンコードされたオーディオ信号RXをデジタルオーディオ信号34に変換する。スピーカインタフェース18は、デジタルオーディオ信号34を、ラウドスピーカ14を駆動するために適したオーディオ信号30に変換する。
オーディオアクセスデバイス7がセルラーまたは携帯電話である本発明の実施例において、オーディオアクセスデバイス7内の要素はセルラーハンドセット内に実装される。CODEC 20は、ハンドセット内のプロセッサ上で動作するソフトウェアによって、または専用ハードウェアによって実装される。本発明のさらなる実施例において、オーディオアクセスデバイスは、インターホンおよび無線ハンドセットのような、ピア・ツー・ピアのワイヤ線および無線のデジタル通信システムのような他のデバイス内に実装され得る。消費者オーディオデバイスのような応用において、オーディオアクセスデバイスは、例えば、デジタルマイクロホンシステムまたは音楽再生デバイス内に、エンコーダ22またはデコーダ24のみを有するCODECを含み得る。本発明の他の実施例において、CODEC 20は、例えば、PSTNにアクセスするセルラー基地局内で、マイクロホン12およびスピーカ14なしで使用されることが可能である。

Claims (21)

  1. 音声処理のための方法であって、
    複数のフレームを含む音声信号の現在のフレームにおいて無声／有声発音音声の特性を反映する無声発音／有声発音パラメータを決定するステップと、
    前記音声信号の現在のフレームより前のフレームにおける無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音／有声発音パラメータを決定するステップと、
    前記無声発音／有声発音パラメータと前記平滑化された無声発音／有声発音パラメータの間の差を計算するステップと、
    判定パラメータとして、前記計算された差を使用して、前記現在のフレームが無声音声を含むか、または有声音声を含むかを決定するための無声／有声判定点を作成するステップと、
    を含む方法。
  2. 前記無声発音／有声発音パラメータは無声／有声音声の少なくとも２つの特性を反映する結合されたパラメータである、請求項１に記載の方法。
  3. 前記結合されたパラメータは周期性パラメータとスペクトル傾斜パラメータの積である、請求項２に記載の方法。
  4. 前記無声発音／有声発音パラメータは無声音声の特性を反映する無声発音パラメータ（Punvoicing）であり、前記平滑化された無声発音／有声発音パラメータは平滑化された無声発音パラメータ（Punvoicing_sm）である、請求項１に記載の方法。
  5. 前記無声発音パラメータと前記平滑化された無声発音パラメータの間の差が0.1より大きいとき、前記無声／有声判定を決定することは、前記音声信号の現在のフレームが無声信号であると決定することを含み、前記無声発音パラメータと前記平滑化された無声発音パラメータの間の差が0.05より小さいとき、前記音声信号の現在のフレームが無声音声でないと決定する、請求項４に記載の方法。
  6. 前記無声発音パラメータと前記平滑化された無声発音パラメータの間の差が0.05と0.1の間であるとき、前記無声／有声判定を決定することは、前記音声信号の現在のフレームが前のフレームと同じ音声の種類を有すると決定することを含む、請求項５に記載の方法。
  7. 前記平滑化された無声発音パラメータは、次のように前記無声発音パラメータから計算される、請求項４に記載の方法。
    Figure 2016527570
  8. 前記無声発音／有声発音パラメータは有声音声の特性を反映する有声発音パラメータ（Pvoicing）であり、前記平滑化された無声発音／有声発音パラメータは平滑化された有声発音パラメータ（Pvoicing_sm）である、請求項１に記載の方法。
  9. 前記有声発音パラメータと前記平滑化された有声発音パラメータの間の差が0.1より大きいとき、前記無声／有声判定を決定することは、前記音声信号の現在のフレームが有声信号であると決定することを含み、前記有声発音パラメータと前記平滑化された有声発音パラメータの間の差が0.05より小さいとき、前記音声信号の現在のフレームが有声音声でないと決定する、請求項８に記載の方法。
  10. 前記平滑化された有声発音パラメータは、次のように前記有声発音パラメータから計算される、請求項８に記載の方法。
    Figure 2016527570
  11. 現在のフレームにおいて無声／有声発音音声の特性を反映する無声発音／有声発音パラメータを決定するステップは、第１の周波数帯域内での時間ドメインにおける前記音声信号の第１のエネルギー包絡線および異なる第２の周波数帯域内での時間ドメインにおける前記音声信号の第２のエネルギー包絡線を決定するステップを含む、請求項１から１０のいずれかに記載の方法。
  12. 前記第２の周波数帯域は前記第１の周波数帯域より高い周波数帯域である、請求項１１に記載の方法。
  13. 音声処理装置であって、
    プロセッサと、
    前記プロセッサによる実行のためのプログラミングを記憶するコンピュータ読み取り可能な記憶媒体と、を含み、前記プログラミングは、
    複数のフレームを含む音声信号の現在のフレームにおいて無声／有声発音音声の特性を反映する無声発音／有声発音パラメータを決定し、
    前記音声信号の現在のフレームより前のフレームにおける無声発音／有声発音パラメータの情報を含むように、平滑化された無声発音／有声発音パラメータを決定し、
    前記無声発音／有声発音パラメータと前記平滑化された無声発音／有声発音パラメータの間の差を計算し、
    判定パラメータとして、前記計算された差を使用して、前記現在のフレームが無声音声を含むか、または有声音声を含むかを決定するための無声／有声判定点を作成する
    ための命令を含む、装置。
  14. 前記無声発音／有声発音パラメータは周期性パラメータとスペクトル傾斜パラメータの積を反映する結合されたパラメータである、請求項１３に記載の装置。
  15. 前記無声発音／有声発音パラメータと前記平滑化された無声発音／有声発音パラメータの間の差が0.1より大きいとき、前記無声／有声判定を決定することは、前記音声信号の現在のフレームが無声／有声信号であると決定することを含み、前記無声発音／有声発音パラメータと前記平滑化された無声発音／有声発音パラメータの間の差が0.05より小さいとき、前記音声信号の現在のフレームが無声／有声音声でないと決定する、請求項１３に記載の装置。
  16. 前記無声発音／有声発音パラメータは無声音声の特性を反映する無声発音パラメータであり、前記平滑化された無声発音／有声発音パラメータは平滑化された無声発音パラメータである、請求項１３に記載の装置。
  17. 前記無声発音／有声発音パラメータは有声音声の特性を反映する有声発音パラメータであり、前記平滑化された無声発音／有声発音パラメータは平滑化された有声発音パラメータである、請求項１３に記載の装置。
  18. 現在のフレームにおいて無声／有声発音音声の特性を反映する無声発音／有声発音パラメータを決定することは、第１の周波数帯域内での時間ドメインにおける前記音声信号の第１のエネルギー包絡線および異なる第２の周波数帯域内での時間ドメインにおける前記音声信号の第２のエネルギー包絡線を決定することを含む、請求項１３から１７のいずれか一項に記載の装置。
  19. 前記第２の周波数帯域は前記第１の周波数帯域より高い周波数帯域である、請求項１８に記載の装置。
  20. 音声処理のための方法であって、
    音声信号の現在のフレームについて、時間ドメインにおける前記音声信号の第１のエネルギー包絡線からの第１の周波数帯域についての第１のパラメータ、および前記時間ドメインにおける前記音声信号の第２のエネルギー包絡線からの第２の周波数帯域についての第２のパラメータを決定するステップと、
    前記音声信号の現在のフレームより前のフレームから、平滑化された第１のパラメータおよび平滑化された第２のパラメータを決定するステップと、
    前記第１のパラメータを前記平滑化された第１のパラメータと、前記第２のパラメータを前記平滑化された第２のパラメータと比較するステップと、
    判定パラメータとして、前記比較を使用して、前記現在のフレームが無声音声を含むか、または有声音声を含むかを決定するために無声／有声判定点を作成するステップと、
    を含む方法。
  21. 前記第２の周波数帯域は前記第１の周波数帯域より高い周波数帯域である、請求項２０に記載の方法。
JP2016533810A 2013-09-09 2014-09-05 音声処理のための無声／有声判定 Active JP6291053B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361875198P 2013-09-09 2013-09-09
US61/875,198 2013-09-09
US14/476,547 2014-09-03
US14/476,547 US9570093B2 (en) 2013-09-09 2014-09-03 Unvoiced/voiced decision for speech processing
PCT/CN2014/086058 WO2015032351A1 (en) 2013-09-09 2014-09-05 Unvoiced/voiced decision for speech processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018020794A Division JP6470857B2 (ja) 2013-09-09 2018-02-08 音声処理のための無声／有声判定

Publications (2)

Publication Number Publication Date
JP2016527570A true JP2016527570A (ja) 2016-09-08
JP6291053B2 JP6291053B2 (ja) 2018-03-14

Family

ID=52626401

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016533810A Active JP6291053B2 (ja) 2013-09-09 2014-09-05 音声処理のための無声／有声判定
JP2018020794A Active JP6470857B2 (ja) 2013-09-09 2018-02-08 音声処理のための無声／有声判定

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018020794A Active JP6470857B2 (ja) 2013-09-09 2018-02-08 音声処理のための無声／有声判定

Country Status (16)

Country Link
US (4) US9570093B2 (ja)
EP (2) EP3005364B1 (ja)
JP (2) JP6291053B2 (ja)
KR (3) KR102007972B1 (ja)
CN (2) CN105359211B (ja)
AU (1) AU2014317525B2 (ja)
BR (1) BR112016004544B1 (ja)
CA (1) CA2918345C (ja)
ES (2) ES2908183T3 (ja)
HK (1) HK1216450A1 (ja)
MX (1) MX352154B (ja)
MY (1) MY185546A (ja)
RU (1) RU2636685C2 (ja)
SG (2) SG10201701527SA (ja)
WO (1) WO2015032351A1 (ja)
ZA (1) ZA201600234B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9570093B2 (en) * 2013-09-09 2017-02-14 Huawei Technologies Co., Ltd. Unvoiced/voiced decision for speech processing
US9972334B2 (en) 2015-09-10 2018-05-15 Qualcomm Incorporated Decoder audio classification
WO2017196422A1 (en) * 2016-05-12 2017-11-16 Nuance Communications, Inc. Voice activity detection feature based on modulation-phase differences
US10249305B2 (en) * 2016-05-19 2019-04-02 Microsoft Technology Licensing, Llc Permutation invariant training for talker-independent multi-talker speech separation
RU2668407C1 (ru) * 2017-11-07 2018-09-28 Акционерное общество "Концерн "Созвездие" Способ разделения речи и пауз путем сравнительного анализа значений мощностей помехи и смеси сигнала и помехи
CN108447506A (zh) * 2018-03-06 2018-08-24 深圳市沃特沃德股份有限公司 语音处理方法和语音处理装置
US10957337B2 (en) 2018-04-11 2021-03-23 Microsoft Technology Licensing, Llc Multi-microphone speech separation
CN109119094B (zh) * 2018-07-25 2023-04-28 苏州大学 一种利用声带建模反演的嗓音分类方法
WO2021156375A1 (en) * 2020-02-04 2021-08-12 Gn Hearing A/S A method of detecting speech and speech detector for low signal-to-noise ratios
CN112885380A (zh) * 2021-01-26 2021-06-01 腾讯音乐娱乐科技（深圳）有限公司 一种清浊音检测方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212296A (ja) * 1994-01-17 1995-08-11 Japan Radio Co Ltd Ｖｏｘ制御通信装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5216747A (en) * 1990-09-20 1993-06-01 Digital Voice Systems, Inc. Voiced/unvoiced estimation of an acoustic signal
US5765127A (en) * 1992-03-18 1998-06-09 Sony Corp High efficiency encoding method
JPH06110489A (ja) * 1992-09-24 1994-04-22 Nitsuko Corp 音声信号処理装置及びその方法
JP3655652B2 (ja) * 1993-09-02 2005-06-02 シーメンス アクチエンゲゼルシヤフト 自動的通話方向切換のための方法および回路装置
US5991725A (en) * 1995-03-07 1999-11-23 Advanced Micro Devices, Inc. System and method for enhanced speech quality in voice storage and retrieval systems
KR20000022285A (ko) 1996-07-03 2000-04-25 내쉬 로저 윌리엄 음성 액티비티 검출기 및 검출 방법
TW430778B (en) * 1998-06-15 2001-04-21 Yamaha Corp Voice converter with extraction and modification of attribute data
US6453285B1 (en) * 1998-08-21 2002-09-17 Polycom, Inc. Speech activity detector for use in noise reduction system, and methods therefor
US6463407B2 (en) * 1998-11-13 2002-10-08 Qualcomm Inc. Low bit-rate coding of unvoiced segments of speech
US6556967B1 (en) * 1999-03-12 2003-04-29 The United States Of America As Represented By The National Security Agency Voice activity detector
US6415029B1 (en) * 1999-05-24 2002-07-02 Motorola, Inc. Echo canceler and double-talk detector for use in a communications unit
JP3454214B2 (ja) * 1999-12-22 2003-10-06 三菱電機株式会社 パルス雑音除去装置およびこれを含む中波ａｍ音声放送受信機
JP3689616B2 (ja) * 2000-04-27 2005-08-31 シャープ株式会社 音声認識装置及び音声認識方法、音声認識システム、並びに、プログラム記録媒体
US6640208B1 (en) * 2000-09-12 2003-10-28 Motorola, Inc. Voiced/unvoiced speech classifier
US6615169B1 (en) * 2000-10-18 2003-09-02 Nokia Corporation High frequency enhancement layer coding in wideband speech codec
US7606703B2 (en) * 2000-11-15 2009-10-20 Texas Instruments Incorporated Layered celp system and method with varying perceptual filter or short-term postfilter strengths
US7171357B2 (en) * 2001-03-21 2007-01-30 Avaya Technology Corp. Voice-activity detection using energy ratios and periodicity
RU2331933C2 (ru) * 2002-10-11 2008-08-20 Нокиа Корпорейшн Способы и устройства управляемого источником широкополосного кодирования речи с переменной скоростью в битах
US7657427B2 (en) * 2002-10-11 2010-02-02 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
US7519530B2 (en) * 2003-01-09 2009-04-14 Nokia Corporation Audio signal processing
US7698141B2 (en) * 2003-02-28 2010-04-13 Palo Alto Research Center Incorporated Methods, apparatus, and products for automatically managing conversational floors in computer-mediated communications
US7469209B2 (en) * 2003-08-14 2008-12-23 Dilithium Networks Pty Ltd. Method and apparatus for frame classification and rate determination in voice transcoders for telecommunications
KR101008022B1 (ko) * 2004-02-10 2011-01-14 삼성전자주식회사 유성음 및 무성음 검출방법 및 장치
KR100744352B1 (ko) 2005-08-01 2007-07-30 삼성전자주식회사 음성 신호의 하모닉 성분을 이용한 유/무성음 분리 정보를추출하는 방법 및 그 장치
JP2007149193A (ja) * 2005-11-25 2007-06-14 Toshiba Corp ディフェクト信号生成回路
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
JP2007292940A (ja) * 2006-04-24 2007-11-08 Toyota Motor Corp 音声識別装置及び音声識別方法
US8010352B2 (en) * 2006-06-21 2011-08-30 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
US8725499B2 (en) * 2006-07-31 2014-05-13 Qualcomm Incorporated Systems, methods, and apparatus for signal change detection
MY144271A (en) * 2006-10-20 2011-08-29 Dolby Lab Licensing Corp Audio dynamics processing using a reset
US7817286B2 (en) * 2006-12-22 2010-10-19 Hitachi Global Storage Technologies Netherlands B.V. Iteration method to improve the fly height measurement accuracy by optical interference method and theoretical pitch and roll effect
US7873114B2 (en) * 2007-03-29 2011-01-18 Motorola Mobility, Inc. Method and apparatus for quickly detecting a presence of abrupt noise and updating a noise estimate
JP5618826B2 (ja) * 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Ｉｔｕ．ｔ勧告ｇ．７１１と相互運用可能なｐｃｍコーデックにおいてフレーム消失を補償する装置および方法
EP2162880B1 (en) 2007-06-22 2014-12-24 VoiceAge Corporation Method and device for estimating the tonality of a sound signal
CN101221757B (zh) 2008-01-24 2012-02-29 中兴通讯股份有限公司 高频杂音处理方法及分析方法
CN101261836B (zh) * 2008-04-25 2011-03-30 清华大学 基于过渡帧判决及处理的激励信号自然度提高方法
US8321214B2 (en) * 2008-06-02 2012-11-27 Qualcomm Incorporated Systems, methods, and apparatus for multichannel signal amplitude balancing
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
EP2561508A1 (en) * 2010-04-22 2013-02-27 Qualcomm Incorporated Voice activity detection
TWI403304B (zh) * 2010-08-27 2013-08-01 Ind Tech Res Inst 隨身語能偵知方法及其裝置
CN102655480B (zh) 2011-03-03 2015-12-02 腾讯科技（深圳）有限公司 相似邮件处理系统和方法
KR101352608B1 (ko) * 2011-12-07 2014-01-17 광주과학기술원 음성 신호의 대역폭 확장 방법 및 그 장치
US8909539B2 (en) 2011-12-07 2014-12-09 Gwangju Institute Of Science And Technology Method and device for extending bandwidth of speech signal
US20130151125A1 (en) * 2011-12-08 2013-06-13 Scott K. Mann Apparatus and Method for Controlling Emissions in an Internal Combustion Engine
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
CN102664003B (zh) * 2012-04-24 2013-12-04 南京邮电大学 基于谐波加噪声模型的残差激励信号合成及语音转换方法
US8924209B2 (en) * 2012-09-12 2014-12-30 Zanavox Identifying spoken commands by templates of ordered voiced and unvoiced sound intervals
US9984706B2 (en) * 2013-08-01 2018-05-29 Verint Systems Ltd. Voice activity detection using a soft decision mechanism
US9570093B2 (en) * 2013-09-09 2017-02-14 Huawei Technologies Co., Ltd. Unvoiced/voiced decision for speech processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212296A (ja) * 1994-01-17 1995-08-11 Japan Radio Co Ltd Ｖｏｘ制御通信装置

Also Published As

Publication number Publication date
EP3352169A1 (en) 2018-07-25
US20180322895A1 (en) 2018-11-08
CN110097896B (zh) 2021-08-13
MX352154B (es) 2017-11-10
JP2018077546A (ja) 2018-05-17
AU2014317525A1 (en) 2016-02-11
US20170110145A1 (en) 2017-04-20
ZA201600234B (en) 2017-08-30
SG11201600074VA (en) 2016-02-26
BR112016004544B1 (pt) 2022-07-12
CN105359211B (zh) 2019-08-13
SG10201701527SA (en) 2017-03-30
EP3005364A4 (en) 2016-06-01
WO2015032351A1 (en) 2015-03-12
HK1216450A1 (zh) 2016-11-11
RU2636685C2 (ru) 2017-11-27
KR102007972B1 (ko) 2019-08-06
ES2908183T3 (es) 2022-04-28
MX2016002561A (es) 2016-06-17
US10347275B2 (en) 2019-07-09
KR20180095744A (ko) 2018-08-27
KR20170102387A (ko) 2017-09-08
JP6291053B2 (ja) 2018-03-14
US10043539B2 (en) 2018-08-07
MY185546A (en) 2021-05-19
RU2016106637A (ru) 2017-10-16
ES2687249T3 (es) 2018-10-24
KR101774541B1 (ko) 2017-09-04
US20200005812A1 (en) 2020-01-02
US20150073783A1 (en) 2015-03-12
AU2014317525B2 (en) 2017-05-04
JP6470857B2 (ja) 2019-02-13
US11328739B2 (en) 2022-05-10
BR112016004544A2 (ja) 2017-08-01
CA2918345A1 (en) 2015-03-12
EP3005364B1 (en) 2018-07-11
US9570093B2 (en) 2017-02-14
KR20160025029A (ko) 2016-03-07
EP3352169B1 (en) 2021-12-08
CA2918345C (en) 2021-11-23
CN110097896A (zh) 2019-08-06
KR101892662B1 (ko) 2018-08-28
CN105359211A (zh) 2016-02-24
EP3005364A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
US10249313B2 (en) Adaptive bandwidth extension and apparatus for the same
JP6470857B2 (ja) 音声処理のための無声／有声判定
KR102039399B1 (ko) 시간 도메인 코딩과 주파수 도메인 코딩 간의 분류 향상
US9418671B2 (en) Adaptive high-pass post-filter

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6291053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250