JP2018522272A - ハイバンド信号生成 - Google Patents

ハイバンド信号生成 Download PDF

Info

Publication number
JP2018522272A
JP2018522272A JP2017565313A JP2017565313A JP2018522272A JP 2018522272 A JP2018522272 A JP 2018522272A JP 2017565313 A JP2017565313 A JP 2017565313A JP 2017565313 A JP2017565313 A JP 2017565313A JP 2018522272 A JP2018522272 A JP 2018522272A
Authority
JP
Japan
Prior art keywords
signal
filter
excitation signal
bandwidth
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017565313A
Other languages
English (en)
Other versions
JP6794379B2 (ja
Inventor
アッティ、ベンカトラマン
チェビーヤム、ベンカタ・スブラマニヤム・チャンドラ・セカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018522272A publication Critical patent/JP2018522272A/ja
Application granted granted Critical
Publication of JP6794379B2 publication Critical patent/JP6794379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Abstract

信号処理のためのデバイスは、受信機とハイバンド励起信号生成器とを含む。受信機は、バンド幅拡張されたオーディオストリームに関連するパラメータを受信するように構成される。ハイバンド励起信号生成器は、パラメータの値を決定するように構成される。ハイバンド励起信号生成器はまた、パラメータの値に基づいて、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択するように構成される。ハイバンド励起信号生成器は、ターゲット利得情報またはフィルタ情報のうちの1つに基づいてハイバンド励起信号を生成するようにさらに構成される。

Description

関連出願の相互参照
[0001]本出願は、2016年5月25日に出願された、「HIGH-BAND SIGNAL GENERATION」と題する米国特許出願番号第15/164,619号(代理人整理番号第154081U2号)、2015年6月18日に出願された、「HIGH-BAND SIGNAL GENERATION」と題する米国仮特許出願第62/181,702号(代理人整理番号第154081P1号)、および2015年10月13日に出願された、「HIGH-BAND SIGNAL GENERATION」と題する米国仮特許出願第62/241,065号(代理人整理番号第154081P2号)の利益を主張し、上述の出願の各々の内容は、その全体が参照により本明細書に明確に組み込まれる。
[0002]本開示は、一般にハイバンド信号生成に関する。
[0003]技術の進歩は、より小型でより強力なコンピューティングデバイスをもたらした。たとえば、現在、小型で、軽量で、ユーザによって容易に持ち運ばれる、モバイルフォンおよびスマートフォンなどのワイヤレス電話、タブレットならびにラップトップコンピュータを含む、様々なポータブルパーソナルコンピューティングデバイスが存在する。これらのデバイスは、ワイヤレスネットワークを介してボイスおよびデータパケットを通信することができる。さらに、多くのそのようなデバイスは、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤなど、追加の機能を組み込む。また、そのようなデバイスは、インターネットにアクセスするために使用され得る、ウェブブラウザアプリケーションなど、ソフトウェアアプリケーションを含む、実行可能な命令を処理することができる。したがって、これらのデバイスはかなりの計算能力を含むことができる。
[0004]デジタル技法による、ボイスなどのオーディオの送信が普及している。音声がサンプリングおよびデジタル化によって送信される場合、64キロビット毎秒(kbps)程度のデータレートが、アナログ電話の音声品質を達成するために使用され得る。再構成された音声の知覚品質を維持しながら、チャネルを介して送られる情報の量を低減するために、圧縮技法が使用され得る。音声分析の使用と、後続のコーディング、送信、および受信機における再合成によって、データレートの有意な低減が達成され得る。
[0005]音声コーダは、音声の小さいセグメント(たとえば、5ミリ秒(ms)のサブフレーム)を一度に符号化するために高時間分解能処理を採用することによって時間領域音声波形をキャプチャすることを試みる、時間領域コーダとして実装され得る。各サブフレームについて、コードブック空間からの高精度代表が探索アルゴリズムによって見つけられる。
[0006]1つの時間領域音声コーダは、コード励起線形予測(CELP:Code Excited Linear Predictive)コーダである。CELPコーダにおいて、音声信号中の短期相関、または冗長性は、短期ホルマントフィルタの係数を見つける線形予測(LP)分析によって除去される。短期予測フィルタを着信音声フレームに適用することは、LP残差信号を生成し、このLP残差信号は、長期予測フィルタパラメータと後続の確率コードブックとを用いてさらにモデル化され、量子化される。したがって、CELPコーディングは、時間領域音声波形を符号化するタスクを、LP短期フィルタ係数を符号化することと、LP残差を符号化することとの別個のタスクに分割する。時間領域コーディングは、固定レートで(すなわち、各フレームについて同じビット数Noを使用して)実施されるか、または(異なるタイプのフレームコンテンツのために異なるビットレートが使用される)可変レートで実施され得る。可変レートコーダは、パラメータを、ターゲット品質を取得するのに十分なレベルに符号化するために必要とされるビット量を使用することを試みる。
[0007]ワイドバンドコーディング技法は、信号のより低い周波数部分(たとえば、50ヘルツ(Hz)〜7キロヘルツ(kHz)、「ローバンド」とも呼ばれる)を符号化および送信することを伴う。コーディング効率を改善するために、信号のより高い周波数部分(たとえば、7kHz〜16kHz、「ハイバンド」とも呼ばれる)は、十分に符号化および送信されないことがある。ローバンド信号の特性が、ハイバンド信号を生成するために使用され得る。たとえば、ハイバンド励起信号が、非線形モデルを使用してローバンド残差に基づいて生成され得る。
[0008]特定の態様では、信号処理のためのデバイスは、メモリとプロセッサとを含む。メモリは、バンド幅拡張された(bandwidth-extended)オーディオストリームに関連するパラメータを記憶するように構成される。プロセッサは、パラメータの値に少なくとも部分的に基づいて複数の非線形処理関数を選択するように構成される。プロセッサはまた、複数の非線形処理関数に基づいてハイバンド励起信号を生成するように構成される。
[0009]別の特定の態様では、信号処理方法は、デバイスにおいて、パラメータの値に少なくとも部分的に基づいて複数の非線形処理関数を選択することを含む。パラメータは、バンド幅拡張されたオーディオストリームに関連する。本方法は、デバイスにおいて、複数の非線形処理関数に基づいてハイバンド励起信号を生成することをも含む。
[0010]別の特定の態様では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに、パラメータの値に少なくとも部分的に基づいて複数の非線形処理関数を選択することを含む動作を実施させる命令を記憶する。パラメータは、バンド幅拡張されたオーディオストリームに関連する。動作は、複数の非線形処理関数に基づいてハイバンド励起信号を生成することをも含む。
[0011]別の特定の態様では、信号処理のためのデバイスは、受信機とハイバンド励起信号生成器とを含む。受信機は、バンド幅拡張されたオーディオストリームに関連するパラメータを受信するように構成される。ハイバンド励起信号生成器は、パラメータの値を決定するように構成される。ハイバンド励起信号生成器はまた、パラメータの値に基づいて、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択するように構成される。ハイバンド励起信号生成器は、ターゲット利得情報またはフィルタ情報のうちの1つに基づいてハイバンド励起信号を生成するようにさらに構成される。
[0012]別の特定の態様では、信号処理方法は、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む。本方法は、デバイスにおいて、パラメータの値を決定することをも含む。本方法は、パラメータの値に基づいて、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することをさらに含む。本方法は、デバイスにおいて、ターゲット利得情報またはフィルタ情報のうちの1つに基づいてハイバンド励起信号を生成することをも含む。
[0013]別の特定の態様では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む動作を実施させる命令を記憶する。動作は、パラメータの値を決定することをも含む。動作は、パラメータの値に基づいて、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することをさらに含む。動作は、ターゲット利得情報またはフィルタ情報のうちの1つに基づいてハイバンド励起信号を生成することをも含む。
[0014]別の特定の態様では、デバイスはエンコーダと送信機とを含む。エンコーダは、オーディオ信号を受信するように構成される。エンコーダはまた、ハーモニシティ(harmonicity)インジケータ、ピーキネス(peakiness)インジケータ、またはその両方に基づいて信号モデルリングパラメータを生成するように構成される。信号モデリングパラメータは、オーディオ信号のハイバンド部分に関連する。送信機は、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、信号モデリングパラメータを送信するように構成される。
[0015]別の特定の態様では、デバイスはエンコーダと送信機とを含む。エンコーダは、オーディオ信号を受信するように構成される。エンコーダはまた、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成するように構成される。エンコーダは、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成するようにさらに構成される。エンコーダはまた、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタを選択するように構成される。送信機は、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタに対応するフィルタ情報を送信するように構成される。
[0016]別の特定の態様では、デバイスはエンコーダと送信機とを含む。エンコーダは、オーディオ信号を受信するように構成される。エンコーダはまた、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成するように構成される。エンコーダは、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成するようにさらに構成される。エンコーダはまた、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタ係数を生成するように構成される。エンコーダは、フィルタ係数を量子化することによってフィルタ情報を生成するようにさらに構成される。送信機は、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタ情報を送信するように構成される。
[0017]別の特定の態様では、方法は、第1のデバイスにおいてオーディオ信号を受信することを含む。本方法は、第1のデバイスにおいて、ハーモニシティインジケータ、ピーキネスインジケータ、またはその両方に基づいて信号モデルリングパラメータを生成することをも含む。信号モデリングパラメータは、オーディオ信号のハイバンド部分に関連する。本方法は、第1のデバイスから第2のデバイスに、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、信号モデリングパラメータを送ることをさらに含む。
[0018]別の特定の態様では、方法は、第1のデバイスにおいてオーディオ信号を受信することを含む。本方法は、第1のデバイスにおいて、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成することをも含む。本方法は、第1のデバイスにおいて、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成することをさらに含む。本方法は、第1のデバイスにおいて、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタを選択することをも含む。本方法は、第1のデバイスから第2のデバイスに、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタに対応するフィルタ情報を送ることをさらに含む。
[0019]別の特定の態様では、方法は、第1のデバイスにおいてオーディオ信号を受信することを含む。本方法は、第1のデバイスにおいて、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成することをも含む。本方法は、第1のデバイスにおいて、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成することをさらに含む。本方法は、第1のデバイスにおいて、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタ係数を生成することをも含む。本方法は、第1のデバイスにおいて、フィルタ係数を量子化することによってフィルタ情報を生成することをさらに含む。本方法は、第1のデバイスから第2のデバイスに、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタ情報を送ることをも含む。
[0020]別の特定の態様では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに、ハーモニシティインジケータ、ピーキネスインジケータ、またはその両方に基づいて信号モデルリングパラメータを生成することを含む動作を実施させる命令を記憶する。信号モデリングパラメータは、オーディオ信号のハイバンド部分に関連する。動作は、信号モデリングパラメータが、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに送られることを引き起こすことをも含む。
[0021]別の特定の態様では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成することを含む動作を実施させる命令を記憶する。動作は、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成することをさらに含む。動作は、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタを選択することをも含む。動作は、フィルタに対応するフィルタ情報が、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに送られることを引き起こすことをさらに含む。
[0022]別の特定の態様では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成することを含む動作を実施させる命令を記憶する。動作は、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成することをさらに含む。動作は、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタ係数を生成することをも含む。動作は、フィルタ係数を量子化することによってフィルタ情報を生成することをさらに含む。動作は、フィルタ情報が、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに送られることを引き起こすことをも含む。
[0023]別の特定の態様では、デバイスはリサンプラと高調波拡張モジュールとを含む。リサンプラは、ローバンド励起信号に基づいて、リサンプリングされた信号を生成するように構成される。高調波拡張モジュールは、リサンプリングされた信号に基づいて、少なくとも、第1のハイバンド周波数サブレンジに対応する第1の励起信号と第2のハイバンド周波数サブレンジに対応する第2の励起信号とを生成するように構成される。第1の励起信号は、リサンプリングされた信号への第1の関数の適用に基づいて生成される。第2の励起信号は、リサンプリングされた信号への第2の関数の適用に基づいて生成される。高調波拡張モジュールは、第1の励起信号および第2の励起信号に基づいてハイバンド励起信号を生成するようにさらに構成される。
[0024]別の特定の態様では、デバイスは受信機と高調波拡張モジュールとを含む。受信機は、バンド幅拡張されたオーディオストリームに関連するパラメータを受信するように構成される。高調波拡張モジュールは、パラメータの値に少なくとも部分的に基づいて1つまたは複数の非線形処理関数を選択するように構成される。高調波拡張モジュールはまた、1つまたは複数の非線形処理関数に基づいてハイバンド励起信号を生成するように構成される。
[0025]別の特定の態様では、デバイスは受信機とハイバンド励起信号生成器とを含む。受信機は、バンド幅拡張されたオーディオストリームに関連するパラメータを受信するように構成される。ハイバンド励起信号生成器は、パラメータの値を決定するように構成される。ハイバンド励起信号生成器はまた、パラメータの値に応答して、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報に基づいて、またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報に基づいて、ハイバンド励起信号を生成するように構成される。
[0026]別の特定の態様では、デバイスは受信機とハイバンド励起信号生成器とを含む。受信機は、バンド幅拡張されたオーディオストリームオーディオストリームに関連するフィルタ情報に構成される。ハイバンド励起信号生成器は、フィルタ情報に基づいてフィルタを決定し、第1のハイバンド励起信号へのそのフィルタの適用に基づいて、変更されたハイバンド励起信号を生成するように構成される。
[0027]別の特定の態様では、デバイスは、第1の雑音信号にスペクトル整形を適用することによって被変調雑音信号を生成し、被変調雑音信号と高調波的に拡張された信号とを組み合わせることによってハイバンド励起信号を生成するように構成されたハイバンド励起信号生成器を含む。
[0028]別の特定の態様では、デバイスは受信機とハイバンド励起信号生成器とを含む。受信機は、バンド幅拡張されたオーディオストリームに関連するローバンド有声化ファクタ(voicing factor)および混合構成(mixing configuration)パラメータを受信するように構成される。ハイバンド励起信号生成器は、ローバンド有声化ファクタと混合構成パラメータとに基づいてハイバンド混合構成を決定するように構成される。ハイバンド励起信号生成器はまた、ハイバンド混合構成に基づいてハイバンド励起信号を生成するように構成される。
[0029]別の特定の態様では、信号処理方法は、デバイスにおいて、ローバンド励起信号に基づいて、リサンプリングされた信号を生成することを含む。本方法は、デバイスにおいて、リサンプリングされた信号に基づいて、少なくとも、第1のハイバンド周波数サブレンジに対応する第1の励起信号と第2のハイバンド周波数サブレンジに対応する第2の励起信号とを生成することをも含む。第1の励起信号は、リサンプリングされた信号への第1の関数の適用に基づいて生成される。第2の励起信号は、リサンプリングされた信号への第2の関数の適用に基づいて生成される。本方法は、デバイスにおいて、第1の励起信号および第2の励起信号に基づいてハイバンド励起信号を生成することをも含む。
[0030]別の特定の態様では、信号処理方法は、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む。本方法は、デバイスにおいて、パラメータの値に少なくとも部分的に基づいて1つまたは複数の非線形処理関数を選択することをも含む。本方法は、デバイスにおいて、1つまたは複数の非線形処理関数に基づいてハイバンド励起信号を生成することをさらに含む。
[0031]別の特定の態様では、信号処理方法は、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む。本方法は、デバイスにおいて、パラメータの値を決定することをも含む。本方法は、パラメータの値に応答して、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報に基づいて、またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報に基づいて、ハイバンド励起信号を生成することをさらに含む。
[0032]別の特定の態様では、信号処理方法は、デバイスにおいて、バンド幅拡張されたオーディオストリームオーディオストリームに関連するフィルタ情報を受信することを含む。本方法は、デバイスにおいて、フィルタ情報に基づいてフィルタを決定することをも含む。本方法は、デバイスにおいて、第1のハイバンド励起信号へのフィルタの適用に基づいて、変更されたハイバンド励起信号を生成することをさらに含む。
[0033]別の特定の態様では、信号処理方法は、デバイスにおいて、第1の雑音信号にスペクトル整形を適用することによって被変調雑音信号を生成することを含む。本方法は、デバイスにおいて、被変調雑音信号と高調波的に拡張された信号とを組み合わせることによってハイバンド励起信号を生成することをも含む。
[0034]別の特定の態様では、信号処理方法は、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するローバンド有声化ファクタおよび混合構成パラメータを受信することを含む。本方法は、デバイスにおいて、ローバンド有声化ファクタと混合構成パラメータとに基づいてハイバンド混合構成を決定することをも含む。本方法は、デバイスにおいて、ハイバンド混合構成に基づいてハイバンド励起信号を生成することをさらに含む。
[0035]本開示の他の態様、利点、および特徴は、以下のセクション、すなわち、図面の簡単な説明と、発明を実施するための形態と、特許請求の範囲とを含む、本出願全体を検討した後に明らかになろう。
[0036]ハイバンド信号を生成するように動作可能であるデバイスを含むシステムの特定の例示的な態様のブロック図。 [0037]ハイバンド信号を生成するように動作可能であるデバイスを含むシステムの別の態様の図。 [0038]ハイバンド信号を生成するように動作可能であるデバイスを含むシステムの別の態様の図。 [0039]ハイバンド信号を生成するように動作可能であるデバイスを含むシステムの別の態様の図。 [0040]図1〜図4のシステムのうちの1つまたは複数中に含まれ得るリサンプラの特定の例示的な態様の図。 [0041]図1〜図4のシステムのうちの1つまたは複数によって実施され得る、信号のスペクトル反転(spectral flipping)の特定の例示的な態様の図。 [0042]ハイバンド信号生成の方法の一態様を示すためのフローチャート。 [0043]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0044]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0045]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0046]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0047]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0048]ハイバンド信号を生成するように動作可能であるデバイスを含むシステムの別の態様の図。 [0049]図13のシステムの構成要素の図。 [0050]ハイバンド信号生成の方法の別の態様を示すための図。 [0051]ハイバンド信号生成の方法の別の態様を示すための図。 [0052]図13のシステムの構成要素の図。 [0053]ハイバンド信号生成の方法の別の態様を示すための図。 [0054]図13のシステムの構成要素の図。 [0055]ハイバンド信号生成の方法の別の態様を示すための図。 [0056]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0057]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0058]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0059]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0060]ハイバンド信号生成の方法の別の態様を示すためのフローチャート。 [0061]図1〜図25のシステムおよび方法による、ハイバンド信号生成を実施するように動作可能なデバイスのブロック図。 [0062]図1〜図26のシステムおよび方法による、ハイバンド信号生成を実施するように動作可能な基地局のブロック図。
[0063]図1を参照すると、ハイバンド信号を生成するように動作可能であるデバイスを含むシステムの特定の例示的な態様が開示され、全体的に100と称される。
[0064]システム100は、ネットワーク107を介して第2のデバイス104と通信している第1のデバイス102を含む。第1のデバイス102はプロセッサ106を含み得る。プロセッサ106は、エンコーダ108に結合され得るか、またはそれを含み得る。第2のデバイス104は、1つまたは複数のスピーカー122に結合されるか、またはそれと通信していることがある。第2のデバイス104は、プロセッサ116、メモリ132、またはその両方を含み得る。プロセッサ116は、デコーダ118に結合され得るか、またはそれを含み得る。デコーダ118は、第1のデコーダ134(たとえば、代数符号励振線形予測(ACELP:algebraic code-excited linear prediction)デコーダ)と、第2のデコーダ136(たとえば、時間領域バンド幅拡張(TBE:time-domain bandwidth extension)デコーダ)とを含み得る。例示的な態様では、本明細書で説明される1つまたは複数の技法は、限定はしないが、ムービングピクチャエキスパートグループ(MPEG)−H3次元(3D)オーディオのための規格を含む、業界規格中に含まれ得る。
[0065]第2のデコーダ136は、バンド幅拡張モジュール146、復号モジュール162、またはその両方に結合されたTBEフレーム変換器156を含み得る。復号モジュール162は、ハイバンド(HB)励起信号生成器147、HB信号生成器148、またはその両方を含み得る。バンド幅拡張モジュール146は、復号モジュールを介して信号生成器138に結合され得る。第1のデコーダ134は、第2のデコーダ136、信号生成器138、またはその両方に結合され得る。たとえば、第1のデコーダ134は、バンド幅拡張モジュール146、HB励起信号生成器147、またはその両方に結合され得る。HB励起信号生成器147はHB信号生成器148に結合され得る。メモリ132は、1つまたは複数の関数(たとえば、第1の関数164、第2の関数166、またはその両方)を実施するようにとの命令を記憶するように構成され得る。第1の関数164は、第1の非線形関数(たとえば、2乗関数)を含み得、第2の関数166は、第1の非線形関数とは別個である第2の非線形関数(たとえば、絶対値関数)を含み得る。代替的に、そのような関数は、第2のデバイス104においてハードウェア(たとえば、回路)を使用して実装され得る。メモリ132は、1つまたは複数の信号(たとえば、第1の励起信号168、第2の励起信号170、またはその両方)を記憶するように構成され得る。第2のデバイス104は受信機192をさらに含み得る。特定の実装形態では、受信機192はトランシーバ中に含まれ得る。
[0066]動作中に、第1のデバイス102は入力信号114を受信(または生成)し得る。入力信号114は、1人または複数のユーザの音声、背景雑音、無音、またはそれらの組合せに対応し得る。特定の態様では、入力信号114は、約50ヘルツ(Hz)から約16キロヘルツ(kHz)までの周波数範囲内のデータを含み得る。入力信号114のローバンド部分と入力信号114のハイバンド部分とは、それぞれ、50Hz〜7kHzと7kHz〜16kHzとの重複しない周波数バンドを占有し得る。代替態様では、ローバンド部分とハイバンド部分とは、それぞれ、50Hz〜8kHzと8kHz〜16kHzとの重複しない周波数バンドを占有し得る。別の代替態様では、ローバンド部分とハイバンド部分とは重複し得る(たとえば、それぞれ、50Hz〜8kHzと7kHz〜16kHz)。
[0067]エンコーダ108は、入力信号114を符号化することによってオーディオデータ126を生成し得る。たとえば、エンコーダ108は、入力信号114のローバンド信号に基づいて第1のビットストリーム128(たとえば、ACELPビットストリーム)を生成し得る。第1のビットストリーム128は、ローバンドパラメータ情報(たとえば、ローバンド線形予測係数(LPC:linear prediction coefficient)、ローバンド線スペクトル周波数(LSF:line spectral frequency)、またはその両方)と、ローバンド励起信号(たとえば、入力信号114のローバンド残差)とを含み得る。
[0068]特定の態様では、エンコーダ108は、ハイバンド励起信号を生成し得、ハイバンド励起信号に基づいて入力信号114のハイバンド信号を符号化し得る。たとえば、エンコーダ108は、ハイバンド励起信号に基づいて第2のビットストリーム130(たとえば、TBEビットストリーム)を生成し得る。第2のビットストリーム130は、図3を参照しながらさらに説明されるように、ビットストリームパラメータを含み得る。たとえば、ビットストリームパラメータは、図1に示されている1つまたは複数のビットストリームパラメータ160、非線形(NL)構成モード158、またはそれらの組合せを含み得る。ビットストリームパラメータはハイバンドパラメータ情報を含み得る。たとえば、第2のビットストリーム130は、ハイバンドLPC係数、ハイバンドLSF、ハイバンド線スペクトル対(LSP:line spectral pair)係数、利得形状情報(たとえば、特定のフレームのサブフレームに対応する時間利得パラメータ)、利得フレーム情報(たとえば、特定のフレームのためのハイバンドとローバンドとのエネルギー比に対応する利得パラメータ)、および/または入力信号114のハイバンド部分に対応する他のパラメータのうちの少なくとも1つを含み得る。特定の態様では、エンコーダ108は、ベクトル量子化器、隠れマルコフモデル(HMM:hidden markov model)、ガウス混合モデル(GMM:gaussian mixture model)、あるいは別のモデルまたは方法のうちの少なくとも1つを使用してハイバンドLPC係数を決定し得る。エンコーダ108は、LPC係数に基づいて、ハイバンドLSF、ハイバンドLSP、またはその両方を決定し得る。
[0069]エンコーダ108は、入力信号114のハイバンド信号に基づいてハイバンドパラメータ情報を生成し得る。たとえば、第1のデバイス102の「ローカル」デコーダが、第2のデバイス104のデコーダ118をエミュレートし得る。「ローカル」デコーダは、ハイバンド励起信号に基づいて合成オーディオ信号を生成し得る。エンコーダ108は、合成オーディオ信号と入力信号114との比較に基づいて利得値(たとえば、利得形状、利得フレーム、またはその両方)を生成し得る。たとえば、利得値は、合成オーディオ信号と入力信号114との間の差分に対応し得る。オーディオデータ126は、第1のビットストリーム128、第2のビットストリーム130、またはその両方を含み得る。第1のデバイス102は、ネットワーク107を介して第2のデバイス104にオーディオデータ126を送信し得る。
[0070]受信機192は、第1のデバイス102からオーディオデータ126を受信し得、オーディオデータ126をデコーダ118に与え得る。受信機192はまた、オーディオデータ126(またはそれの部分)をメモリ132に記憶し得る。代替実装形態では、メモリ132は、入力信号114、オーディオデータ126、またはその両方を記憶し得る。この実装形態では、入力信号114、オーディオデータ126、またはその両方は、第2のデバイス104によって生成され得る。たとえば、オーディオデータ126は、第2のデバイス104において記憶されるか、または第2のデバイス104によってストリーミングされているメディア(たとえば、音楽、ムービー、テレビ番組など)に対応し得る。
[0071]デコーダ118は、第1のビットストリーム128を第1のデコーダ134に与え、第2のビットストリーム130を第2のデコーダ136に与え得る。第1のデコーダ134は、第1のビットストリーム128から、ローバンドLPC係数、ローバンドLSF、またはその両方などのローバンドパラメータ情報と、ローバンド(LB)励起信号144(たとえば、入力信号114のローバンド残差)とを抽出(または復号)し得る。第1のデコーダ134は、LB励起信号144をバンド幅拡張モジュール146に与え得る。第1のデコーダ134は、特定のLBモデルを使用してローバンドパラメータとLB励起信号144とに基づいてLB信号140を生成し得る。第1のデコーダ134は、図示のように、LB信号140を信号生成器138に与え得る。
[0072]第1のデコーダ134は、LBパラメータ情報に基づいてLB有声化ファクタ(VF:voicing factor)154(たとえば、0.0から1.0までの値)を決定し得る。LB VF154は、LB信号140の有声/無声性質(たとえば、強有声(strongly voiced)、弱有声(weakly voiced)、弱無声(weakly unvoiced)、または強無声(strongly unvoiced))を示し得る。第1のデコーダ134は、LB VF154をHB励起信号生成器147に与え得る。
[0073]TBEフレーム変換器156は、第2のビットストリーム130をパースすることによってビットストリームパラメータを生成し得る。たとえば、ビットストリームパラメータは、図3を参照しながらさらに説明されるように、ビットストリームパラメータ160、NL構成モード158、またはそれらの組合せを含み得る。TBEフレーム変換器156は、NL構成モード158をバンド幅拡張モジュール146に与えるか、ビットストリームパラメータ160を復号モジュール162に与えるか、またはその両方を行い得る。
[0074]バンド幅拡張モジュール146は、図4〜図5を参照しながら説明されるように、LB励起信号144、NL構成モード158、またはその両方に基づいて、拡張された信号150(たとえば、高調波的に拡張されたハイバンド励起信号)を生成し得る。バンド幅拡張モジュール146は、拡張された信号150をHB励起信号生成器147に与え得る。HB励起信号生成器147は、図4を参照しながらさらに説明されるように、ビットストリームパラメータ160、拡張された信号150、LB VF154、またはそれらの組合せに基づいて、HB励起信号152を合成し得る。HB信号生成器148は、図4を参照しながらさらに説明されるように、HB励起信号152、ビットストリームパラメータ160、またはそれらの組合せに基づいて、HB信号142を生成し得る。HB信号生成器148は、HB信号142を信号生成器138に与え得る。
[0075]信号生成器138は、LB信号140、HB信号142、またはその両方に基づいて、出力信号124を生成し得る。たとえば、信号生成器138は、特定のファクタ(たとえば、2)でHB信号142をアップサンプリングすることによって、アップサンプリングされたHB信号を生成し得る。信号生成器138は、図6を参照しながら説明されるように、時間領域中のアップサンプリングされたHB信号をスペクトル反転することによって、スペクトル反転されたHB信号を生成し得る。スペクトル反転されたHB信号は、ハイバンド(たとえば、32kHz)信号に対応し得る。信号生成器138は、特定のファクタ(たとえば、2)でLB信号140をアップサンプリングすることによって、アップサンプリングされたLB信号を生成し得る。アップサンプリングされたLB信号は、32kHz信号に対応し得る。信号生成器138は、遅延されたHB信号とアップサンプリングされたLB信号とを時間整合するために、スペクトル反転されたHB信号を遅延させることによって、遅延されたHB信号を生成し得る。信号生成器138は、遅延されたHB信号とアップサンプリングされたLB信号とを組み合わせることによって、出力信号124を生成し得る。信号生成器138は、出力信号124をメモリ132に記憶し得る。信号生成器138は、スピーカー122を介して出力信号124を出力し得る。
[0076]図2を参照すると、システムが開示され、全体的に200と称される。特定の態様では、システム200は図1のシステム100に対応し得る。システム200は、リサンプラおよびフィルタバンク202、エンコーダ108、またはその両方を含み得る。リサンプラおよびフィルタバンク202、エンコーダ108、またはその両方は、図1の第1のデバイス102中に含まれ得る。エンコーダ108は、第1のエンコーダ204(たとえば、ACELPエンコーダ)と、第2のエンコーダ296(たとえば、TBEエンコーダ)とを含み得る。第2のエンコーダ296は、エンコーダバンド幅拡張モジュール206、符号化モジュール208(たとえば、TBEエンコーダ)、またはその両方を含み得る。エンコーダバンド幅拡張モジュール206は、図13を参照しながら説明されるように、非線形処理およびモデリングを実施し得る。特定の態様では、受信/復号デバイスが、メディアストレージ292に結合され得るか、またはそれを含み得る。たとえば、メディアストレージ292は、符号化メディアを記憶し得る。符号化メディアのためのオーディオが、ACELPビットストリームおよびTBEビットストリームによって表され得る。代替的に、メディアストレージ292は、ACELPビットストリームおよびTBEビットストリームが、ストリーミングセッション中にそこから受信されるネットワークアクセス可能サーバに対応し得る。
[0077]システム200は、第1のデコーダ134、第2のデコーダ136、信号生成器138(たとえば、リサンプラ、遅延調整器、およびミキサ)、またはそれらの組合せを含み得る。第2のデコーダ136は、バンド幅拡張モジュール146、復号モジュール162、またはその両方を含み得る。バンド幅拡張モジュール146は、図1および図4を参照しながら説明されるように、非線形処理およびモデリングを実施し得る。
[0078]動作中に、リサンプラおよびフィルタバンク202は入力信号114を受信し得る。リサンプラおよびフィルタバンク202は、入力信号114にローパスフィルタを適用することによって第1のLB信号240を生成し得、第1のLB信号240を第1のエンコーダ204に与え得る。リサンプラおよびフィルタバンク202は、入力信号114にハイパスフィルタを適用することによって第1のHB信号242を生成し得、第1のHB信号242を符号化モジュール208に与え得る。
[0079]第1のエンコーダ204は、第1のLB信号240に基づいて、第1のLB励起信号244(たとえば、LB残差)、第1のビットストリーム128、またはその両方を生成し得る。第1のエンコーダ204は、第1のLB励起信号244をエンコーダバンド幅拡張モジュール206に与え得る。第1のエンコーダ204は、第1のビットストリーム128を第1のデコーダ134に与え得る。
[0080]エンコーダバンド幅拡張モジュール206は、第1のLB励起信号244に基づいて、第1の拡張された信号250を生成し得る。エンコーダバンド幅拡張モジュール206は、第1の拡張された信号250を符号化モジュール208に与え得る。符号化モジュール208は、第1のHB信号242と第1の拡張された信号250とに基づいて、第2のビットストリーム130を生成し得る。たとえば、符号化モジュール208は、第1の拡張された信号250に基づいて合成HB信号を生成し得、合成HB信号と第1のHB信号242との間の差分を低減するために図1のビットストリームパラメータ160を生成し得、ビットストリームパラメータ160を含む第2のビットストリーム130を生成し得る。
[0081]第1のデコーダ134は、第1のエンコーダ204から第1のビットストリーム128を受信し得る。復号モジュール162は、符号化モジュール208から第2のビットストリーム130を受信し得る。特定の実装形態では、第1のデコーダ134は、メディアストレージ292から、第1のビットストリーム128、第2のビットストリーム130、またはその両方を受信し得る。たとえば、第1のビットストリーム128、第2のビットストリーム130、またはその両方は、メディアストレージ292において記憶されたメディア(たとえば、音楽またはムービー)に対応し得る。特定の態様では、メディアストレージ292は、第1のビットストリーム128を第1のデコーダ134にストリーミングし、第2のビットストリーム130を復号モジュール162にストリーミングしているネットワークデバイスに対応し得る。第1のデコーダ134は、図1を参照しながら説明されたように、第1のビットストリーム128に基づいて、LB信号140、LB励起信号144、またはその両方を生成し得る。LB信号140は、第1のLB信号240に近似する合成LB信号を含み得る。第1のデコーダ134は、LB信号140を信号生成器138に与え得る。第1のデコーダ134は、LB励起信号144をバンド幅拡張モジュール146に与え得る。バンド幅拡張モジュール146は、図1を参照しながら説明されたように、LB励起信号144に基づいて、拡張された信号150を生成し得る。バンド幅拡張モジュール146は、拡張された信号150を復号モジュール162に与え得る。復号モジュール162は、図1を参照しながら説明されたように、第2のビットストリーム130と拡張された信号150とに基づいて、HB信号142を生成し得る。HB信号142は、第1のHB信号242に近似する合成HB信号を含み得る。復号モジュール162は、HB信号142を信号生成器138に与え得る。信号生成器138は、図1を参照しながら説明されたように、LB信号140とHB信号142とに基づいて、出力信号124を生成し得る。
[0082]図3を参照すると、システムが開示され、全体的に300と称される。特定の態様では、システム300は、図1のシステム100、図2のシステム200、またはその両方に対応し得る。システム300は、第1のデコーダ134、TBEフレーム変換器156、バンド幅拡張モジュール146、復号モジュール162、またはそれらの組合せを含み得る。第1のデコーダ134は、ACELPデコーダ、MPEGデコーダ、MPEG−H 3Dオーディオデコーダ、線形予測領域(LPD:linear prediction domain)デコーダ、またはそれらの組合せを含み得る。
[0083]動作中に、TBEフレーム変換器156は、図1を参照しながら説明されたように、第2のビットストリーム130を受信し得る。第2のビットストリーム130は、表1に示されているデータ構造tbe_data()に対応し得る。
Figure 2018522272
[0084]TBEフレーム変換器156は、第2のビットストリーム130をパースすることによって、ビットストリームパラメータ160、NL構成モード158、またはそれらの組合せを生成し得る。ビットストリームパラメータ160は、高効率(HE:high-efficiency)モード360(たとえば、tbe_heMode)、利得情報362(たとえば、idxFrameGainおよびidxSubGains)、HB LSFデータ364(たとえば、lsf_idx[0,1])、高分解能(HR:high resolution)構成モード366(たとえば、tbe_hrConfig)、混合構成モード(mix configuration mode)368(たとえば、idxMixConfig、代替的に「混合構成パラメータ」と呼ばれる)、HBターゲット利得データ370(たとえば、idxShbFrGain)、利得形状データ372(たとえば、idxResSubGains)、フィルタ情報374(たとえば、idxShbExcResp[0,1])、またはそれらの組合せを含み得る。TBEフレーム変換器156は、NL構成モード158をバンド幅拡張モジュール146に与え得る。TBEフレーム変換器156はまた、図示のように、ビットストリームパラメータ160のうちの1つまたは複数を復号モジュール162に与え得る。
[0085]特定の態様では、フィルタ情報374は有限インパルス応答(FIR:finite impulse response)フィルタを示し得る。利得情報362は、HB基準利得情報、時間サブフレーム残差利得形状情報、またはその両方を含み得る。HBターゲット利得データ370はフレームエネルギーを示し得る。
[0086]特定の態様では、TBEフレーム変換器156は、HEモード360が第1の値(たとえば、0)を有すると決定したことに応答して、第2のビットストリーム130からNL構成モード158を抽出し得る。代替的に、TBEフレーム変換器156は、HEモード360が第2の値(たとえば、1)を有すると決定したことに応答して、NL構成モード158をデフォルト値(たとえば、1)に設定し得る。特定の態様では、TBEフレーム変換器156は、NL構成モード158が第1の特定の値(たとえば、2)を有し、混合構成モード368が第2の特定の値(たとえば、1よりも大きい値)を有すると決定したことに応答して、NL構成モード158をデフォルト値(たとえば、1)に設定し得る。
[0087]特定の態様では、TBEフレーム変換器156は、HEモード360が第1の値(たとえば、0)を有すると決定したことに応答して、第2のビットストリーム130からHR構成モード366を抽出し得る。代替的に、TBEフレーム変換器156は、HEモード360が第2の値(たとえば、1)を有すると決定したことに応答して、HR構成モード366をデフォルト値(たとえば、0)に設定し得る。第1のデコーダ134は、図1を参照しながら説明されたように、第1のビットストリーム128を受信し得る。
[0088]図4を参照すると、システムが開示され、全体的に400と称される。特定の態様では、システム400は、図1のシステム100、図2のシステム200、図3のシステム300、またはそれらの組合せに対応し得る。システム400は、バンド幅拡張モジュール146、HB励起信号生成器147、HB信号生成器148、またはそれらの組合せを含み得る。バンド幅拡張モジュール146は、リサンプラ402、高調波拡張モジュール404、またはその両方を含み得る。HB励起信号生成器147は、スペクトル反転およびデシメーションモジュール408、適応白色化モジュール410、時間エンベロープ変調器412、HB励起推定器414、またはそれらの組合せを含み得る。HB信号生成器148は、HB線形予測モジュール416、合成モジュール418、またはその両方を含み得る。
[0089]動作中に、バンド幅拡張モジュール146は、本明細書で説明されるように、LB励起信号144を拡張することによって、拡張された信号150を生成し得る。リサンプラ402は、ACELPデコーダなど、図1の第1のデコーダ134からLB励起信号144を受信し得る。リサンプラ402は、図5を参照しながら説明されるように、LB励起信号144に基づいて、リサンプリングされた信号406を生成し得る。リサンプラ402は、リサンプリングされた信号406を高調波拡張モジュール404に与え得る。
[0090]高調波拡張モジュール404は、図1のTBEフレーム変換器156からNL構成モード158を受信し得る。高調波拡張モジュール404は、NL構成モード158に基づいて時間領域中のリサンプリングされた信号406を高調波的に拡張することによって、拡張された信号150(たとえば、HB励起信号)を生成し得る。特定の態様では、高調波拡張モジュール404は、式1に基づいて、拡張された信号150(EHE)を生成し得る。
Figure 2018522272
ここで、ELBはリサンプリングされた信号406に対応し、εNはELB
Figure 2018522272
との間のエネルギー正規化ファクタに対応し、tbe_nlConfigはNL構成モード158に対応する。エネルギー正規化ファクタは、ELBのフレームエネルギーと
Figure 2018522272
のフレームエネルギーとの比に対応し得る。HLPおよびHHPは、それぞれ、特定のカットオフ周波数(たとえば、3/4fsまたは約12kHz)をもつ、ローパスフィルタおよびハイパスフィルタに対応する。HLPの伝達関数は式2に基づき得る。
Figure 2018522272
[0091]HHPの伝達関数は式3に基づき得る。
Figure 2018522272
[0092]たとえば、高調波拡張モジュール404は、NL構成モード158の値に基づいて、第1の関数164、第2の関数166、またはその両方を選択し得る。例示のために、高調波拡張モジュール404は、NL構成モード158が第1の値(たとえば、NL_HARMONICまたは0)を有すると決定したことに応答して、第1の関数164(たとえば、2乗関数)を選択し得る。高調波拡張モジュール404は、第1の関数164を選択したことに応答して、リサンプリングされた信号406に第1の関数164(たとえば、2乗関数)を適用することによって、拡張された信号150を生成し得る。2乗関数は、拡張された信号150中にリサンプリングされた信号406の符号情報を保存し得、リサンプリングされた信号406の値を2乗し得る。
[0093]特定の態様では、高調波拡張モジュール404は、NL構成モード158が第2の値(たとえば、NL_SMOOTHまたは1)を有すると決定したことに応答して、第2の関数166(たとえば、絶対値関数)を選択し得る。高調波拡張モジュール404は、第2の関数166を選択したことに応答して、リサンプリングされた信号406に第2の関数166(たとえば、絶対値関数)を適用することによって、拡張された信号150を生成し得る。
[0094]特定の態様では、高調波拡張モジュール404は、NL構成モード158が第3の値(たとえば、NL_HYBRIDまたは2)を有すると決定したことに応答して、ハイブリッド関数を選択し得る。この態様では、TBEフレーム変換器156は、混合構成モード368を高調波拡張モジュール404に与え得る。ハイブリッド関数は、複数の関数(たとえば、第1の関数164および第2の関数166)の組合せを含み得る。
[0095]高調波拡張モジュール404は、ハイブリッド関数を選択したことに応答して、リサンプリングされた信号406に基づいて複数のハイバンド周波数サブレンジに対応する複数の励起信号(たとえば、少なくとも第1の励起信号168および第2の励起信号170)を生成し得る。たとえば、高調波拡張モジュール404は、リサンプリングされた信号406またはそれの一部分に第1の関数164を適用することによって、第1の励起信号168を生成し得る。第1の励起信号168は、第1のハイバンド周波数サブレンジ(たとえば、約8〜12kHz)に対応し得る。高調波拡張モジュール404は、リサンプリングされた信号406またはそれの一部分に第2の関数166を適用することによって、第2の励起信号170を生成し得る。第2の励起信号170は、第2のハイバンド周波数サブレンジ(たとえば、約12〜16kHz)に対応し得る。
[0096]高調波拡張モジュール404は、第1の励起信号168に第1のフィルタ(たとえば、8〜12kHzフィルタなどのローパスフィルタ)を適用することによって、第1のフィルタ処理された信号を生成し得、第2の励起信号170に第2のフィルタ(たとえば、12〜16kHzフィルタなどのハイパスフィルタ)を適用することによって、第2のフィルタ処理された信号を生成し得る。第1のフィルタおよび第2のフィルタは、特定のカットオフ周波数(たとえば、12kHz)を有し得る。高調波拡張モジュール404は、第1のフィルタ処理された信号と第2のフィルタ処理された信号とを組み合わせることによって、拡張された信号150を生成し得る。第1のハイバンド周波数サブレンジ(たとえば、約8〜12kHz)は、高調波データ(たとえば、弱有声または強有声)に対応し得る。第2のハイバンド周波数サブレンジ(たとえば、約12〜16kHz)は、雑音様データ(たとえば、弱無声または強無声)に対応し得る。したがって、高調波拡張モジュール404は、スペクトル中で別個のバンドのために別個の非線形処理関数を使用し得る。
[0097]特定の実装形態では、高調波拡張モジュール404は、NL構成モード158が第2の値(たとえば、NL_SMOOTHまたは1)を有し、混合構成モード368が特定の値(たとえば、1よりも大きい値)を有すると決定したことに応答して、第2の関数166を選択し得る。代替的に、高調波拡張モジュール404は、NL構成モード158が第2の値(たとえば、NL_SMOOTHまたは1)を有し、混合構成モード368が別の特定の値(たとえば、1よりも小さいかまたはそれに等しい値)を有すると決定したことに応答して、ハイブリッド関数を選択し得る。
[0098]特定の態様では、高調波拡張モジュール404は、HEモード360が第1の値(たとえば、0)を有すると決定したことに応答して、NL構成モード158に基づいて時間領域中のリサンプリングされた信号406を高調波的に拡張することによって、拡張された信号150(たとえば、HB励起信号)を生成し得る。高調波拡張モジュール404は、HEモード360が第2の値(たとえば、1)を有すると決定したことに応答して、利得情報362(たとえば、idxSubGains)に基づいて時間領域中のリサンプリングされた信号406を高調波的に拡張することによって、拡張信号150(たとえば、HB励起信号)を生成し得る。たとえば、高調波拡張モジュール404は、利得情報362(たとえば、idxSubGains)が特定の値(たとえば、奇数値)に対応すると決定したことに応答してtbe_nlConfig=1構成(たとえば、EHE=|ELB|)を使用して、拡張された信号150を生成し得、他の場合、tbe_nlConfig=0構成(たとえば、
Figure 2018522272
)を使用して、拡張された信号150を生成し得る。例示のために、高調波拡張モジュール404は、利得情報362(たとえば、idxSubGains)が特定の値(たとえば、奇数値)に対応しないか、または利得情報362(たとえば、idxSubGains)が別の値(たとえば、偶数値)に対応すると決定したことに応答して、tbe_nlConfig=0構成(たとえば、
Figure 2018522272
)を使用して、拡張された信号150を生成し得る。
[0099]高調波拡張モジュール404は、拡張された信号150をスペクトル反転およびデシメーションモジュール408に与え得る。スペクトル反転およびデシメーションモジュール408は、式4に基づいて時間領域中の拡張された信号150のスペクトル反転を実施することによって、スペクトル反転された信号を生成し得る。
Figure 2018522272
ここで、
Figure 2018522272
はスペクトル反転された信号に対応し、N(たとえば、512)はフレームごとのサンプルの数に対応する。
[0100]スペクトル反転およびデシメーションモジュール408は、第1のオールパスフィルタ(all-pass filter)および第2のオールパスフィルタに基づいて、スペクトル反転された信号をデシメートすることによって、第1の信号450(たとえば、HB励起信号)を生成し得る。第1のオールパスフィルタは、式5によって示された第1の伝達関数に対応し得る。
Figure 2018522272
[0101]第2のオールパスフィルタは、式6によって示された第2の伝達関数に対応し得る。
Figure 2018522272
[0102]オールパスフィルタ係数の例示的な値が、以下の表2中に与えられる。
Figure 2018522272
[0103]スペクトル反転およびデシメーションモジュール408は、スペクトル反転された信号の偶数サンプルをフィルタ処理するために第1のオールパスフィルタを適用することによって、第1のフィルタ処理された信号を生成し得る。スペクトル反転およびデシメーションモジュール408は、スペクトル反転された信号の奇数サンプルをフィルタ処理するために第2のオールパスフィルタを適用することによって、第2のフィルタ処理された信号を生成し得る。スペクトル反転およびデシメーションモジュール408は、第1のフィルタ処理された信号と第2のフィルタ処理された信号とを平均化することによって、第1の信号450を生成し得る。
[0104]スペクトル反転およびデシメーションモジュール408は、第1の信号450を適応白色化モジュール410に与え得る。適応白色化モジュール410は、第1の信号450の4次LP白色化を実施することによって第1の信号450のスペクトルを平坦化することによって、第2の信号452(たとえば、HB励起信号)を生成し得る。たとえば、適応白色化モジュール410は、第1の信号450の自己相関係数を推定し得る。適応白色化モジュール410は、自己相関係数に拡大関数(expansion function)を乗算することに基づいて自己相関係数にバンド幅拡大を適用することによって、第1の係数を生成し得る。適応白色化モジュール410は、第1の係数にアルゴリズム(たとえば、レビンソン−ダービンアルゴリズム)を適用することによって、第1のLPCを生成し得る。適応白色化モジュール410は、第1のLPCを逆フィルタ処理することによって、第2の信号452を生成し得る。
[0105]特定の実装形態では、適応白色化モジュール410は、HR構成モード366が特定の値(たとえば、1)を有すると決定したことに応答して、正規化された残差エネルギーに基づいて第2の信号452を変調し得る。適応白色化モジュール410は、利得形状データ372に基づいて、正規化された残差エネルギーを決定し得る。代替的に、適応白色化モジュール410は、HR構成モード366が第1の値(たとえば、0)を有すると決定したことに応答して、特定のフィルタ(たとえば、FIRフィルタ)に基づいて第2の信号452をフィルタ処理し得る。適応白色化モジュール410は、フィルタ情報374に基づいて特定のフィルタを決定(または生成)し得る。適応白色化モジュール410は、第2の信号452を、時間エンベロープ変調器412、HB励起推定器414、またはその両方に与え得る。
[0106]時間エンベロープ変調器412は、適応白色化モジュール410から第2の信号452を受信するか、ランダム雑音生成器から雑音信号440を受信するか、またはその両方を行い得る。ランダム雑音生成器は、第2のデバイス104に結合され得るか、またはその中に含まれ得る。時間エンベロープ変調器412は、雑音信号440、第2の信号452、またはその両方に基づいて、第3の信号454を生成し得る。たとえば、時間エンベロープ変調器412は、雑音信号440に時間整形を適用することによって、第1の雑音信号を生成し得る。時間エンベロープ変調器412は、第2の信号452(またはLB励起信号144)に基づいて、信号エンベロープを生成し得る。時間エンベロープ変調器412は、信号エンベロープと雑音信号440とに基づいて、第1の雑音信号を生成し得る。たとえば、時間エンベロープ変調器412は、信号エンベロープと雑音信号440とを組み合わせ得る。信号エンベロープと雑音信号440とを組み合わせることは、雑音信号440の振幅を変調し得る。時間エンベロープ変調器412は、第1の雑音信号にスペクトル整形を適用することによって第3の信号454を生成し得る。代替実装形態では、時間エンベロープ変調器412は、雑音信号440にスペクトル整形を適用することによって第1の雑音信号を生成し得、第1の雑音信号に時間整形を適用することによって第3の信号454を生成し得る。したがって、スペクトル整形および時間整形は、任意の順序で雑音信号440に適用され得る。時間エンベロープ変調器412は、第3の信号454をHB励起推定器414に与え得る。
[0107]HB励起推定器414は、適応白色化モジュール410から第2の信号452を受信するか、時間エンベロープ変調器412から第3の信号454を受信するか、またはその両方を行い得る。HB励起推定器414は、第2の信号452と第3の信号454とを組み合わせることによって、HB励起信号152を生成し得る。
[0108]特定の態様では、HB励起推定器414は、LB VF154に基づいて第2の信号452と第3の信号454とを組み合わせ得る。たとえば、HB励起推定器414は、1つまたは複数のLBパラメータに基づいてHB VFを決定し得る。HB VFはHB混合構成に対応し得る。1つまたは複数のLBパラメータはLB VF154を含み得る。HB励起推定器414は、LB VF154に対するシグモイド関数の適用に基づいて、HB VFを決定し得る。たとえば、HB励起推定器414は、式7に基づいてHB VFを決定し得る。
Figure 2018522272
[0109]ここで、VFiはサブフレームiに対応するHB VFに対応し得、αiはLBからの正規化相関に対応し得る。特定の態様では、αiは、サブフレームiのためのLB VF154に対応し得る。HB励起推定器414は、LB VF154の急激な変動をなくすためにHB VFを「平滑化」し得る。たとえば、HB励起推定器414は、HR構成モード366が特定の値(たとえば、1)を有すると決定したことに応答して、混合構成モード368に基づいてHB VFの変動を低減し得る。混合構成モード368に基づいてHB VFを変更することは、LB VF154とHB VFとの間の不整合を補償し得る。HB励起推定器414は、第3の信号454が第2の信号452と同じ電力レベルを有するように、第3の信号454を電力正規化(power normalize)し得る。
[0110]HB励起推定器414は、第1の重み(たとえば、HB VF)および第2の重み(たとえば、1−HB VF)を決定し得る。HB励起推定器414は、第2の信号452と第3の信号454との重み付き和を実施することによってHB励起信号152を生成し得、ここで、第1の重みが第2の信号452に割り当てられ、第2の重みが第3の信号454に割り当てられる。たとえば、HB励起推定器414は、VFiに基づいてスケーリングされる(たとえば、VFiの平方根に基づいてスケーリングされる)第2の信号452のサブフレーム(i)と、(1−VFi)に基づいてスケーリングされる(たとえば、(1−VFi)の平方根に基づいてスケーリングされる)第3の信号454のサブフレーム(i)とを混合することによって、HB励起信号152のサブフレーム(i)を生成し得る。HB励起推定器414は、HB励起信号152を合成モジュール418に与え得る。
[0111]HB線形予測モジュール416は、TBEフレーム変換器156からビットストリームパラメータ160を受信し得る。HB線形予測モジュール416は、HB LSFデータ364に基づいてLSP係数456を生成し得る。たとえば、HB線形予測モジュール416は、HB LSFデータ364に基づいてLSFを決定し得、LSFをLSP係数456に変換し得る。ビットストリームパラメータ160は、オーディオフレームのシーケンスの第1のオーディオフレームに対応し得る。HB線形予測モジュール416は、他のフレームがTBEフレームに対応すると決定したことに応答して、他のフレームに関連する第2のLSP係数に基づいてLSP係数456を補間し得る。他のフレームは、オーディオフレームのシーケンス中の第1のオーディオフレームに先行し得る。LSP係数456は、特定の数の(たとえば、4つの)サブフレームにわたって補間され得る。HB線形予測モジュール416は、他のフレームがTBEフレームに対応しないと決定したことに応答して、LSP係数456を補間することを控え得る。HB線形予測モジュール416は、LSP係数456を合成モジュール418に与え得る。
[0112]合成モジュール418は、LSP係数456、HB励起信号152、またはその両方に基づいて、HB信号142を生成し得る。たとえば、合成モジュール418は、LSP係数456に基づいてハイバンド合成フィルタを生成(または決定)し得る。合成モジュール418は、HB励起信号152にハイバンド合成フィルタを適用することによって、第1のHB信号を生成し得る。合成モジュール418は、HR構成モード366が特定の値(たとえば、1)を有すると決定したことに応答して、第1のHB信号を生成するためにメモリなし合成を実施し得る。たとえば、第1のHB信号は、0に設定された過去のLPフィルタメモリを用いて生成され得る。合成モジュール418は、第1のHB信号のエネルギーを、HBターゲット利得データ370によって示されたターゲット信号エネルギーに整合させ得る。利得情報362は、フレーム利得情報と利得形状情報とを含み得る。合成モジュール418は、利得形状情報に基づいて第1のHB信号をスケーリングすることによって、スケーリングされたHB信号を生成し得る。合成モジュール418は、スケーリングされたHB信号に、フレーム利得情報によって示された利得フレームを乗算することによって、HB信号142を生成し得る。合成モジュール418は、HB信号142を図1の信号生成器138に与え得る。
[0113]特定の実装形態では、合成モジュール418は、第1のHB信号を生成するより前に、HB励起信号152を変更し得る。たとえば、合成モジュール418は、HB励起信号152に基づいて、変更されたHB励起信号を生成し得、変更されたHB励起信号にハイバンド合成フィルタを適用することによって、第1のHB信号を生成し得る。例示のために、合成モジュール418は、HR構成モード366が第1の値(たとえば、0)を有すると決定したことに応答して、フィルタ情報374に基づいてフィルタ(たとえば、FIRフィルタ)を生成し得る。合成モジュール418は、HB励起信号152の少なくとも一部分(たとえば、高調波部分)にフィルタを適用することによって、変更されたHB励起信号を生成し得る。HB励起信号152にフィルタを適用することは、第2のデバイス104において生成されたHB信号142と入力信号114のHB信号との間のひずみを低減し得る。代替的に、合成モジュール418は、HR構成モード366が第2の値(たとえば、1)を有すると決定したことに応答して、ターゲット利得情報に基づいて、変更されたHB励起信号を生成し得る。ターゲット利得情報は、利得形状データ372、HBターゲット利得データ370、またはその両方を含み得る。
[0114]特定の実装形態では、HB励起推定器414は、HB励起信号152を生成するより前に、第2の信号452を変更し得る。たとえば、HB励起推定器414は、第2の信号452に基づいて、変更された第2の信号を生成し得、変更された第2の信号と第3の信号454とを組み合わせることによって、HB励起信号152を生成し得る。例示のために、HB励起推定器414は、HR構成モード366が第1の値(たとえば、0)を有すると決定したことに応答して、フィルタ情報374に基づいてフィルタ(たとえば、FIRフィルタ)を生成し得る。HB励起推定器414は、第2の信号452の少なくとも一部分(たとえば、高調波部分)にフィルタを適用することによって、変更された第2の信号を生成し得る。代替的に、HB励起推定器414は、HR構成モード366が第2の値(たとえば、1)を有すると決定したことに応答して、ターゲット利得情報に基づいて、変更された第2の信号を生成し得る。ターゲット利得情報は、利得形状データ372、HBターゲット利得データ370、またはその両方を含み得る。
[0115]図5を参照すると、リサンプラ402が示されている。リサンプラ402は、第1のスケーリングモジュール502、リサンプリングモジュール504、加算器514、第2のスケーリングモジュール508、またはそれらの組合せを含み得る。
[0116]動作中に、第1のスケーリングモジュール502は、LB励起信号144を受信し得、固定コードブック(FCB:fixed codebook)利得(gc)に基づいてLB励起信号144をスケーリングすることによって、第1のスケーリングされた信号510を生成し得る。第1のスケーリングモジュール502は、第1のスケーリングされた信号510をリサンプリングモジュール504に与え得る。リサンプリングモジュール504は、特定のファクタ(たとえば、2)で第1のスケーリングされた信号510をアップサンプリングすることによって、リサンプリングされた信号512を生成し得る。リサンプリングモジュール504は、リサンプリングされた信号512を加算器514に与え得る。第2のスケーリングモジュール508は、ピッチ利得(gp)に基づいて第2のリサンプリングされた信号515をスケーリングすることによって、第2のスケーリングされた信号516を生成し得る。第2のリサンプリングされた信号515は、前のリサンプリングされた信号に対応し得る。たとえば、リサンプリングされた信号406は、フレームのシーケンスの第nのオーディオフレームに対応し得る。前のリサンプリングされた信号は、フレームのシーケンスの第(n−1)のオーディオフレームに対応し得る。第2のスケーリングモジュール508は、第2のスケーリングされた信号516を加算器514に与え得る。加算器514は、リサンプリングされた信号406を生成するために、リサンプリングされた信号512と第2のスケーリングされた信号516とを組み合わせ得る。加算器514は、第(n+1)のオーディオフレームの処理中に使用されるように、リサンプリングされた信号406を第2のスケーリングモジュール508に与え得る。加算器514は、リサンプリングされた信号406を図4の高調波拡張モジュール404に与え得る。
[0117]図6を参照すると、図が示されており、全体的に600と称される。図600は、信号のスペクトル反転を示し得る。信号のスペクトル反転は、図1〜図4のシステムのうちの1つまたは複数によって実施され得る。たとえば、信号生成器138は、図1を参照しながら説明されたように、時間領域中のハイバンド信号142のスペクトル反転を実施し得る。図600は、第1のグラフ602と第2のグラフ604とを含む。
[0118]第1のグラフ602は、スペクトル反転より前の第1の信号に対応し得る。第1の信号はハイバンド信号142に対応し得る。たとえば、第1の信号は、図1を参照しながら説明されたように、特定のファクタ(たとえば、2)でハイバンド信号142をアップサンプリングすることによって生成された、アップサンプリングされたHB信号を含み得る。第2のグラフ604は、第1の信号をスペクトル反転することによって生成された、スペクトル反転された信号に対応し得る。たとえば、スペクトル反転された信号は、時間領域中のアップサンプリングされたHB信号をスペクトル反転することによって生成され得る。第1の信号は、特定の周波数(たとえば、fs/2または約8kHz)において反転され得る。第1の周波数範囲(たとえば、0〜fs/2)中の第1の信号のデータは、第2の周波数範囲(たとえば、fs〜fs/2)中のスペクトル反転された信号の第2のデータに対応し得る。
[0119]図7を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に700と称される。方法700は、図1のシステム100〜図4のシステム400の1つまたは複数の構成要素によって実施され得る。たとえば、方法700は、図1の第2のデバイス104、バンド幅拡張モジュール146、図4のリサンプラ402、高調波拡張モジュール404、またはそれらの組合せによって実施され得る。
[0120]方法700は、702において、デバイスにおいて、ローバンド励起信号に基づいて、リサンプリングされた信号を生成することを含む。たとえば、リサンプラ402は、図4を参照しながら説明されたように、リサンプリングされた信号406を生成し得る。
[0121]方法700は、704において、デバイスにおいて、リサンプリングされた信号に基づいて、少なくとも、第1のハイバンド周波数サブレンジに対応する第1の励起信号と第2のハイバンド周波数サブレンジに対応する第2の励起信号とを生成することをも含む。たとえば、高調波拡張モジュール404は、図4を参照しながら説明されたように、リサンプリングされた信号406に基づいて、少なくとも、第1の励起信号168と第2の励起信号170とを生成し得る。第1の励起信号168は、第1のハイバンド周波数サブレンジ(たとえば、8〜12kHz)に対応し得る。第2の励起信号170は、第2のハイバンド周波数サブレンジ(たとえば、12〜16kHz)に対応し得る。高調波拡張モジュール404は、リサンプリングされた信号406への第1の関数164の適用に基づいて、第1の励起信号168を生成し得る。高調波拡張モジュール404は、リサンプリングされた信号406への第2の関数166の適用に基づいて、第2の励起信号170を生成し得る。
[0122]方法700は、706において、デバイスにおいて、第1の励起信号および第2の励起信号に基づいてハイバンド励起信号を生成することをさらに含む。たとえば、高調波拡張モジュール404は、図4を参照しながら説明されたように、第1の励起信号168および第2の励起信号170に基づいて、拡張された信号150を生成し得る。
[0123]図8を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に800と称される。方法800は、図1のシステム100〜図4のシステム400の1つまたは複数の構成要素によって実施され得る。たとえば、方法800は、図1の第2のデバイス104、受信機192、バンド幅拡張モジュール146、図4の高調波拡張モジュール404、またはそれらの組合せによって実施され得る。
[0124]方法800は、802において、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む。たとえば、受信機192は、図1および図3を参照しながら説明されたように、オーディオデータ126に関連するNL構成モード158を受信し得る。
[0125]方法800は、804において、デバイスにおいて、パラメータの値に少なくとも部分的に基づいて1つまたは複数の非線形処理関数を選択することをも含む。たとえば、高調波拡張モジュール404は、NL構成モード158の値に少なくとも部分的に基づいて、第1の関数164、第2の関数166、またはその両方を選択し得る。
[0126]方法800は、806において、デバイスにおいて、1つまたは複数の非線形処理関数に基づいてハイバンド励起信号を生成することをさらに含む。たとえば、高調波拡張モジュール404は、第1の関数164、第2の関数166、またはその両方に基づいて、拡張された信号150を生成し得る。
[0127]図9を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に900と称される。方法900は、図1のシステム100〜図4のシステム400の1つまたは複数の構成要素によって実施され得る。たとえば、方法900は、図1の第2のデバイス104、受信機192、HB励起信号生成器147、復号モジュール162、第2のデコーダ136、デコーダ118、プロセッサ116、またはそれらの組合せによって実施され得る。
[0128]方法900は、902において、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む。たとえば、受信機192は、図1および図3を参照しながら説明されたように、オーディオデータ126に関連するHR構成モード366を受信し得る。
[0129]方法900は、904において、デバイスにおいて、パラメータの値を決定することをも含む。たとえば、合成モジュール418は、図4を参照しながら説明されたように、HR構成モード366の値を決定し得る。
[0130]方法900は、906において、パラメータの値に応答して、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報に基づいて、またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報に基づいて、ハイバンド励起信号を生成することをさらに含む。たとえば、HR構成モード366の値が1であるとき、合成モジュール418は、図4を参照しながら説明されたように、利得形状データ372、HBターゲット利得データ370、または利得情報362のうちの1つまたは複数など、ターゲット利得情報に基づいて、変更された励起信号を生成し得る。HR構成モード366の値が0であるとき、合成モジュール418は、図4を参照しながら説明されたように、フィルタ情報374に基づいて、変更された励起信号を生成し得る。
[0131]図10を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に1000と称される。方法1000は、図1のシステム100〜図4のシステム400の1つまたは複数の構成要素によって実施され得る。たとえば、方法1000は、図1の第2のデバイス104、受信機192、HB励起信号生成器147、またはそれらの組合せによって実施され得る。
[0132]方法1000は、1002において、デバイスにおいて、バンド幅拡張されたオーディオストリームオーディオストリームに関連するフィルタ情報を受信することを含む。たとえば、受信機192は、図1および図3を参照しながら説明されたように、オーディオデータ126に関連するフィルタ情報374を受信し得る。
[0133]方法1000は、1004において、デバイスにおいて、フィルタ情報に基づいてフィルタを決定することをも含む。たとえば、合成モジュール418は、図4を参照しながら説明されたように、フィルタ情報374に基づいてフィルタ(たとえば、FIRフィルタ係数)を決定し得る。
[0134]方法1000は、1006において、デバイスにおいて、第1のハイバンド励起信号へのフィルタの適用に基づいて、変更されたハイバンド励起信号を生成することをさらに含む。たとえば、合成モジュール418は、図4を参照しながら説明されたように、HB励起信号152へのフィルタの適用に基づいて、変更されたハイバンド励起信号を生成し得る。
[0135]図11を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に1100と称される。方法1100は、図1のシステム100〜図4のシステム400の1つまたは複数の構成要素によって実施され得る。たとえば、方法1100は、図1の第2のデバイス104、HB励起信号生成器147、またはその両方によって実施され得る。
[0136]方法1100は、1102において、デバイスにおいて、第1の雑音信号にスペクトル整形を適用することによって被変調雑音信号を生成することを含む。たとえば、HB励起推定器414は、図4を参照しながら説明されたように、第1の信号にスペクトル整形を適用することによって、被変調雑音信号を生成し得る。第1の信号は雑音信号440に基づき得る。
[0137]方法1100は、1104において、デバイスにおいて、被変調雑音信号と高調波的に拡張された信号とを組み合わせることによってハイバンド励起信号を生成することをも含む。たとえば、HB励起推定器414は、被変調雑音信号と第2の信号442とを組み合わせることによって、HB励起信号152を生成し得る。第2の信号442は、拡張された信号150に基づき得る。
[0138]図12を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に1200と称される。方法1200は、図1のシステム100〜図4のシステム400の1つまたは複数の構成要素によって実施され得る。たとえば、方法1200は、図1の第2のデバイス104、受信機192、HB励起信号生成器147、またはそれらの組合せによって実施され得る。
[0139]方法1200は、1202において、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するローバンド有声化ファクタおよび混合構成パラメータを受信することを含む。たとえば、受信機192は、図1を参照しながら説明されたように、オーディオデータ126に関連するLB VF154および混合構成モード368を受信し得る。
[0140]方法1200は、1204において、デバイスにおいて、ローバンド有声化ファクタと混合構成パラメータとに基づいてハイバンド有声化ファクタを決定することをも含む。たとえば、HB励起推定器414は、図4を参照しながら説明されたように、LB VF154と混合構成モード368とに基づいてHB VFを決定し得る。例示的な態様では、HB励起推定器414は、LB VF154へのシグモイド関数の適用に基づいて、HB VFを決定し得る。
[0141]方法1200は、1206において、デバイスにおいて、ハイバンド混合構成に基づいてハイバンド励起信号を生成することをさらに含む。たとえば、HB励起推定器414は、図4を参照しながら説明されたように、HB VFに基づいてHB励起信号152を生成し得る。
[0142]図13を参照すると、ハイバンド信号を生成するように動作可能であるデバイスを含むシステムの特定の例示的な態様が開示され、全体的に1300と称される。
[0143]システム1300は、ネットワーク107を介して第2のデバイス104と通信している第1のデバイス102を含む。第1のデバイス102は、プロセッサ106、メモリ1332、またはその両方を含み得る。プロセッサ106は、エンコーダ108、リサンプラおよびフィルタバンク202、またはその両方に結合され得るか、またはそれを含み得る。エンコーダ108は、第1のエンコーダ204(たとえば、ACELPエンコーダ)と、第2のエンコーダ296(たとえば、TBEエンコーダ)とを含み得る。第2のエンコーダ296は、エンコーダバンド幅拡張モジュール206、符号化モジュール208、またはその両方を含み得る。符号化モジュール208は、ハイバンド(HB)励起信号生成器1347、ビットストリームパラメータ生成器1348、またはその両方を含み得る。第2のエンコーダ296は、構成モジュール1305、エネルギー正規化器1306、またはその両方をさらに含み得る。リサンプラおよびフィルタバンク202は、第1のエンコーダ204、第2のエンコーダ296、1つまたは複数のマイクロフォン1338、またはそれらの組合せに結合され得る。
[0144]メモリ1332は、1つまたは複数の関数(たとえば、第1の関数164、第2の関数166、またはその両方)を実施するようにとの命令を記憶するように構成され得る。第1の関数164は、第1の非線形関数(たとえば、2乗関数)を含み得、第2の関数166は、第1の非線形関数とは別個である第2の非線形関数(たとえば、絶対値関数)を含み得る。代替的に、そのような関数は、第1のデバイス102においてハードウェア(たとえば、回路)を使用して実装され得る。メモリ1332は、1つまたは複数の信号(たとえば、第1の励起信号1368、第2の励起信号1370、またはその両方)を記憶するように構成され得る。第1のデバイス102は送信機1392をさらに含み得る。特定の実装形態では、送信機1392はトランシーバ中に含まれ得る。
[0145]動作中に、第1のデバイス102は入力信号114を受信(または生成)し得る。たとえば、リサンプラおよびフィルタバンク202は、マイクロフォン1338を介して入力信号114を受信し得る。リサンプラおよびフィルタバンク202は、入力信号114にローパスフィルタを適用することによって第1のLB信号240を生成し得、第1のLB信号240を第1のエンコーダ204に与え得る。リサンプラおよびフィルタバンク202は、入力信号114にハイパスフィルタを適用することによって第1のHB信号242を生成し得、第1のHB信号242を第2のエンコーダ296に与え得る。
[0146]第1のエンコーダ204は、第1のLB信号240に基づいて、第1のLB励起信号244(たとえば、LB残差)、第1のビットストリーム128、またはその両方を生成し得る。第1のビットストリーム128はLBパラメータ情報(たとえば、LPC係数、LSF、またはその両方)を含み得る。第1のエンコーダ204は、第1のLB励起信号244をエンコーダバンド幅拡張モジュール206に与え得る。第1のエンコーダ204は、第1のビットストリーム128を図1の第1のデコーダ134に与え得る。特定の態様では、第1のエンコーダ204は、第1のビットストリーム128をメモリ1332に記憶し得る。オーディオデータ126は第1のビットストリーム128を含み得る。
[0147]第1のエンコーダ204は、LBパラメータ情報に基づいてLB有声化ファクタ(VF)1354(たとえば、0.0から1.0までの値)を決定し得る。LB VF1354は、第1のLB信号240の有声/無声性質(たとえば、強有声、弱有声、弱無声、または強無声)を示し得る。第1のエンコーダ204は、LB VF1354を構成モジュール1305に与え得る。第1のエンコーダ204は、第1のLB信号240に基づいてLBピッチを決定し得る。第1のエンコーダ204は、LBピッチを示すLBピッチデータ1358を構成モジュール1305に与え得る。
[0148]構成モジュール1305は、図14を参照しながら説明されるように、推定された混合ファクタ(たとえば、混合ファクタ1353)、(たとえば、ハイバンドコヒーレンスを示す)ハーモニシティインジケータ1364、ピーキネスインジケータ1366、NL構成モード158、またはそれらの組合せを生成し得る。構成モジュール1305は、NL構成モード158をエンコーダバンド幅拡張モジュール206に与え得る。構成モジュール1305は、ハーモニシティインジケータ1364、混合ファクタ1353、またはその両方を、HB励起信号生成器1347に与え得る。
[0149]エンコーダバンド幅拡張モジュール206は、図17を参照しながら説明されるように、第1のLB励起信号244、NL構成モード158、またはその両方に基づいて、第1の拡張された信号250を生成し得る。エンコーダバンド幅拡張モジュール206は、第1の拡張された信号250をエネルギー正規化器1306に与え得る。エネルギー正規化器1306は、図19を参照しながら説明されるように、第1の拡張された信号250に基づいて、第2の拡張された信号1350を生成し得る。
[0150]エネルギー正規化器1306は、第2の拡張された信号1350を符号化モジュール208に与え得る。HB励起信号生成器1347は、図17を参照しながら説明されるように、第2の拡張された信号1350に基づいてHB励起信号1352を生成し得る。ビットストリームパラメータ生成器1348は、HB励起信号1352と第1のHB信号242との間の差分を低減するためにビットストリームパラメータ160を生成し得る。符号化モジュール208は、ビットストリームパラメータ160、NL構成モード158、またはその両方を含む、第2のビットストリーム130を生成し得る。オーディオデータ126は、第1のビットストリーム128、第2のビットストリーム130、またはその両方を含み得る。第1のデバイス102は、送信機1392を介して、第2のデバイス104にオーディオデータ126を送信し得る。第2のデバイス104は、図1を参照しながら説明されたように、オーディオデータ126に基づいて出力信号124を生成し得る。
[0151]図14を参照すると、構成モジュール305の例示的な態様の図が示されている。構成モジュール1305は、ピーキネス推定器1402、LB−HBピッチ拡張測度推定器(LB to HB pitch extension measure estimator)1404、構成モード生成器1406、またはそれらの組合せを含み得る。
[0152]構成モジュール1305は、第1のHB信号242に関連する特定のHB励起信号(たとえば、HB残差)を生成し得る。ピーキネス推定器1402は、第1のHB信号242または特定のHB励起信号に基づいてピーキネスインジケータ1366を決定し得る。ピーキネスインジケータ1366は、第1のHB信号242または特定のHB励起信号に関連するピーク対平均エネルギー比に対応し得る。したがって、ピーキネスインジケータ1366は、第1のHB信号242の時間ピーキネスのレベルを示し得る。ピーキネス推定器1402は、ピーキネスインジケータ1366を構成モード生成器1406に与え得る。ピーキネス推定器1402はまた、ピーキネスインジケータ1366を図13のメモリ1332に記憶し得る。
[0153]LB−HBピッチ拡張測度推定器1404は、図15を参照しながら説明されるように、第1のHB信号242または特定のHB励起信号に基づいて、ハーモニシティインジケータ1364(たとえば、LB−HBピッチ拡張測度)を決定し得る。ハーモニシティインジケータ1364は、第1のHB信号242(または特定のHB励起信号)の有声化強度を示し得る。LB−HBピッチ拡張測度推定器1404は、LBピッチデータ1358に基づいてハーモニシティインジケータ1364を決定し得る。たとえば、LB−HBピッチ拡張測度推定器1404は、LBピッチデータ1358によって示されたLBピッチに基づいてピッチラグを決定し得、ピッチラグに基づいて第1のHB信号242(または特定のHB励起信号)に対応する自己相関係数を決定し得る。ハーモニシティインジケータ1364は、自己相関係数の特定の(たとえば、最大の)値を示し得る。したがって、ハーモニシティインジケータ1364は、音のハーモニシティのインジケータと区別され得る。LB−HBピッチ拡張測度推定器1404は、ハーモニシティインジケータ1364を構成モード生成器1406に与え得る。LB−HBピッチ拡張測度推定器1404はまた、ハーモニシティインジケータ1364を図13のメモリ1332に記憶し得る。
[0154]LB−HBピッチ拡張測度推定器1404は、LB VF1354に基づいて混合ファクタ1353を決定し得る。たとえば、HB励起推定器414は、LB VF1354に基づいてHB VFを決定し得る。HB VFはHB混合構成に対応し得る。特定の態様では、LB−HBピッチ拡張測度推定器1404は、LB VF1354へのシグモイド関数の適用に基づいて、HB VFを決定する。たとえば、LB−HBピッチ拡張測度推定器1404は、図4を参照しながら説明されたように、式7に基づいてHB VFを決定し得、ここで、VFiはサブフレームiに対応するHB VFに対応し得、αiはLBからの正規化相関に対応し得る。特定の態様では、式7のαiは、サブフレームiのためのLB VF1354に対応し得る。LB−HBピッチ拡張測度推定器1404は、第1の重み(たとえば、HB VF)および第2の重み(たとえば、1−HB VF)を決定し得る。混合ファクタ1353は、第1の重みおよび第2の重みを示し得る。LB−HBピッチ拡張測度推定器1404はまた、混合ファクタ1353を図13のメモリ1332に記憶し得る。
[0155]構成モード生成器1406は、ピーキネスインジケータ1366、ハーモニシティインジケータ1364、またはその両方に基づいて、NL構成モード158を生成し得る。たとえば、構成モード生成器1406は、図16を参照しながら説明されるように、ハーモニシティインジケータ1364に基づいてNL構成モード158を生成し得る。
[0156]特定の実装形態では、構成モード生成器1406は、ハーモニシティインジケータ1364が第1のしきい値を満たすか、ピーキネスインジケータ1366が第2のしきい値を満たすか、またはその両方であると決定したことに応答して、第1の値(たとえば、NL_HARMONICまたは0)を有するNL構成モード158を生成し得る。構成モード生成器1406は、ハーモニシティインジケータ1364が第1のしきい値を満たすことができないか、ピーキネスインジケータ1366が第2のしきい値を満たすことができないか、またはその両方であると決定したことに応答して、第2の値(たとえば、NL_SMOOTHまたは1)を有するNL構成モード158を生成し得る。構成モード生成器1406は、ハーモニシティインジケータ1364が第1のしきい値を満たすことができず、ピーキネスインジケータ1366が第2のしきい値を満たすと決定したことに応答して、第3の値(たとえば、NL_HYBRIDまたは2)を有するNL構成モード158を生成し得る。別の態様では、構成モード生成器1406は、ハーモニシティインジケータ1364が第1のしきい値を満たし、ピーキネスインジケータ1366が第2のしきい値を満たすことができないと決定したことに応答して、第3の値(たとえば、NL_HYBRIDまたは2)を有するNL構成モード158を生成し得る。
[0157]特定の実装形態では、構成モジュール1305は、ハーモニシティインジケータ1364が第1のしきい値を満たすことができないか、ピーキネスインジケータ1366が第2のしきい値を満たすことができないか、またはその両方であると決定したことに応答して、第2の値(たとえば、NL_SMOOTHまたは1)を有するNL構成モード158と、特定の値(たとえば、1よりも大きい値)を有する図3の混合構成モード368とを生成し得る。構成モジュール1305は、ハーモニシティインジケータ1364およびピーキネスインジケータ1366のうちの一方が、対応するしきい値を満たし、ハーモニシティインジケータ1364およびピーキネスインジケータ1366のうちの他方が、対応するしきい値を満たすことができないと決定したことに応答して、第2の値(たとえば、NL_SMOOTHまたは1)を有するNL構成モード158と、別の特定の値(たとえば、1よりも小さいかまたはそれに等しい値)を有する混合構成モード368とを生成し得る。構成モード生成器1406はまた、NL構成モード158を図13のメモリ1332に記憶し得る。
[0158]有利には、ハイバンドパラメータ(たとえば、ピーキネスインジケータ1366、ハーモニシティインジケータ1364、またはその両方)に基づいてNL構成モード158を決定することは、第1のLB信号240と第1のHB信号242との間の相関がほとんどない(たとえば、全くない)場合に対してロバストであり得る。たとえば、ハイバンド信号142は、NL構成モード158がハイバンドパラメータに基づいて決定されるとき、第1のHB信号242に近似し得る。
[0159]図15を参照すると、ハイバンド信号生成の方法の例示的な態様の図が示されており、全体的に1500と称される。方法1500は、図1のシステム100〜図2のシステム200、図13のシステム1300〜図14のシステム1400の1つまたは複数の構成要素によって実施され得る。たとえば、方法1500は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第2のエンコーダ296、図13の構成モジュール1305、図14のLB−HBピッチ拡張測度推定器1404、またはそれらの組合せによって実施され得る。
[0160]方法1500は、1502において、ラグインデックス(T−L〜T+L)においてHB信号の自己相関を推定することを含み得る。たとえば、図13の構成モジュール1305は、第1のHB信号242に基づいて、特定のHB励起信号(たとえば、HB残差信号)を生成し得る。図14のLB−HBピッチ拡張測度推定器1404は、第1のHB信号242または特定のHB励起信号に基づいて、自己相関信号(たとえば、自己相関係数1512)を生成し得る。LB−HBピッチ拡張測度推定器1404は、LBピッチデータ1358によって示されたLBピッチ(T)のしきい値距離内のラグインデックス(たとえば、T−L〜T+L)に基づいて、自己相関係数1512(R)を生成し得る。自己相関係数1512は、係数の第1の数(たとえば、2L)を含み得る。
[0161]方法1500は、1506において、自己相関係数(R)を補間することをも含み得る。たとえば、図14のLB−HBピッチ拡張測度推定器1404は、自己相関係数1512(R)に、窓掛けされたsinc関数1504を適用することによって、第2の自己相関係数1514(R_interp)を生成し得る。窓掛けされたsinc関数1504は、スケーリングファクタ(たとえば、N)に対応し得る。第2の自己相関係数1514((R_interp))は、係数の第2の数(たとえば、2LN)を含み得る。
[0162]方法1500は、1508において、正規化された、補間された自己相関係数を推定することを含む。たとえば、LB−HBピッチ拡張測度推定器1404は、第2の自己相関係数1514(R_interp)を正規化することによって、第2の自己相関信号(たとえば、正規化された自己相関係数)を決定し得る。LB−HBピッチ拡張測度推定器1404は、第2の自己相関信号(たとえば、正規化された自己相関係数)の特定の(たとえば、最大の)値に基づいて、ハーモニシティインジケータ1364を決定し得る。ハーモニシティインジケータ1364は、第1のHB信号242中の繰返しピッチ成分の強度を示し得る。ハーモニシティインジケータ1364は、第1のHB信号242に関連する相対コヒーレンスを示し得る。ハーモニシティインジケータ1364は、LBピッチ−HBピッチ拡張測度を示し得る。
[0163]図16を参照すると、ハイバンド信号生成の方法の例示的な態様の図が示されており、全体的に1600と称される。方法1600は、図1のシステム100〜図2のシステム200、図13のシステム1300〜図14のシステム1400の1つまたは複数の構成要素によって実施され得る。たとえば、方法1600は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第2のエンコーダ296、図13の構成モジュール1305、図14の構成モード生成器1406、またはそれらの組合せによって実施され得る。
[0164]方法1600は、1602において、LB−HBピッチ拡張測度がしきい値を満たすかどうかを決定することを含む。たとえば、図14の構成モード生成器1406は、ハーモニシティインジケータ1364(たとえば、LB−HBピッチ拡張測度)が第1のしきい値を満たすかどうかを決定し得る。
[0165]方法1600は、1602において、LB−HBピッチ拡張測度がしきい値を満たすと決定したことに応答して、1604において、第1のNL構成モードを選択することを含む。たとえば、図14の構成モード生成器1406は、ハーモニシティインジケータ1364が第1のしきい値を満たすと決定したことに応答して、第1の値(たとえば、NL_HARMONICまたは0)を有するNL構成モード158を生成し得る。
[0166]代替的に、1602において、LB−HBピッチ拡張測度がしきい値を満たすことができないと決定したことに応答して、方法1600は、1606において、LB−HBピッチ拡張測度が第2のしきい値を満たすことができないかどうかを決定すること。たとえば、図14の構成モード生成器1406は、ハーモニシティインジケータ1364が第1のしきい値を満たすことができないと決定したことに応答して、ハーモニシティインジケータ1364が第2のしきい値を満たすかどうかを決定し得る。
[0167]方法1600は、1606において、LB−HBピッチ拡張測度が第2のしきい値を満たすと決定したことに応答して、1608において、第2のNL構成モードを選択することを含む。たとえば、図14の構成モード生成器1406は、ハーモニシティインジケータ1364が第2のしきい値を満たすと決定したことに応答して、第2の値(たとえば、NL_SMOOTHまたは1)を有するNL構成モード158を生成し得る。
[0168]1606において、LB−HBピッチ拡張測度が第2のしきい値を満たすことができないと決定したことに応答して、方法1600は、1610において、第3のNL構成モードを選択することを含む。たとえば、図14の構成モード生成器1406は、ハーモニシティインジケータ1364が第2のしきい値を満たすことができないと決定したことに応答して、第3の値(たとえば、NL_HYBRIDまたは2)を有するNL構成モード158を生成し得る。
[0169]図17を参照すると、システムが開示され、全体的に1700と称される。特定の態様では、システム1700は、図1のシステム100、図2のシステム200、図13のシステム1300、またはそれらの組合せに対応し得る。システム1700は、エンコーダバンド幅拡張モジュール206、エネルギー正規化器1306、HB励起信号生成器1347、ビットストリームパラメータ生成器1348、またはそれらの組合せを含み得る。エンコーダバンド幅拡張モジュール206は、リサンプラ402、高調波拡張モジュール404、またはその両方を含み得る。HB励起信号生成器1347は、スペクトル反転およびデシメーションモジュール408、適応白色化モジュール410、時間エンベロープ変調器412、HB励起推定器414、またはそれらの組合せを含み得る。
[0170]動作中に、エンコーダバンド幅拡張モジュール206は、本明細書で説明されたように、第1のLB励起信号244を拡張することによって、第1の拡張された信号250を生成し得る。リサンプラ402は、図2および図13の第1のエンコーダ204から第1のLB励起信号244を受信し得る。リサンプラ402は、図5を参照しながら説明されたように、第1のLB励起信号244に基づいて、リサンプリングされた信号1706を生成し得る。リサンプラ402は、リサンプリングされた信号1706を高調波拡張モジュール404に与え得る。
[0171]高調波拡張モジュール404は、図4を参照しながら説明されたように、NL構成モード158に基づいて時間領域中のリサンプリングされた信号1706を高調波的に拡張することによって、第1の拡張された信号250(たとえば、HB励起信号)を生成し得る。NL構成モード158は、図14を参照しながら説明されたように、構成モジュール1305によって生成され得る。たとえば、高調波拡張モジュール404は、NL構成モード158の値に基づいて、第1の関数164、第2の関数166、またはハイブリッド関数を選択し得る。ハイブリッド関数は、複数の関数(たとえば、第1の関数164および第2の関数166)の組合せを含み得る。高調波拡張モジュール404は、選択された関数(たとえば、第1の関数164、第2の関数166、またはハイブリッド関数)に基づいて、第1の拡張された信号250を生成し得る。
[0172]高調波拡張モジュール404は、第1の拡張された信号150をエネルギー正規化器1306に与え得る。エネルギー正規化器1306は、図19を参照しながら説明されるように、第1の拡張された信号250に基づいて、第2の拡張された信号1350を生成し得る。エネルギー正規化器1306は、第2の拡張された信号1350をスペクトル反転およびデシメーションモジュール408に与え得る。
[0173]スペクトル反転およびデシメーションモジュール408は、図4を参照しながら説明されたように、時間領域中の第2の拡張された信号1350のスペクトル反転を実施することによって、スペクトル反転された信号を生成し得る。スペクトル反転およびデシメーションモジュール408は、図4を参照しながら説明されたように、第1のオールパスフィルタおよび第2のオールパスフィルタに基づいて、スペクトル反転された信号をデシメートすることによって、第1の信号1750(たとえば、HB励起信号)を生成し得る。
[0174]スペクトル反転およびデシメーションモジュール408は、第1の信号1750を適応白色化モジュール410に与え得る。適応白色化モジュール410は、図4を参照しながら説明されたように、第1の信号1750の4次LP白色化を実施することによって第1の信号1750のスペクトルを平坦化することによって、第2の信号1752(たとえば、HB励起信号)を生成し得る。適応白色化モジュール410は、第2の信号452を、時間エンベロープ変調器412、HB励起推定器414、またはその両方に与え得る。
[0175]時間エンベロープ変調器412は、適応白色化モジュール410から第2の信号1752を受信するか、ランダム雑音生成器から雑音信号1740を受信するか、またはその両方を行い得る。ランダム雑音生成器は、第1のデバイス102に結合され得るか、またはその中に含まれ得る。時間エンベロープ変調器412は、雑音信号1740、第2の信号1752、またはその両方に基づいて、第3の信号1754を生成し得る。たとえば、時間エンベロープ変調器412は、雑音信号1740に時間整形を適用することによって、第1の雑音信号を生成し得る。時間エンベロープ変調器412は、第2の信号1752(または第1のLB励起信号244)に基づいて、信号エンベロープを生成し得る。時間エンベロープ変調器412は、信号エンベロープと雑音信号1740とに基づいて、第1の雑音信号を生成し得る。たとえば、時間エンベロープ変調器412は、信号エンベロープと雑音信号1740とを組み合わせ得る。信号エンベロープと雑音信号1740とを組み合わせることは、雑音信号1740の振幅を変調し得る。時間エンベロープ変調器412は、第1の雑音信号にスペクトル整形を適用することによって第3の信号1754を生成し得る。代替実装形態では、時間エンベロープ変調器412は、雑音信号1740にスペクトル整形を適用することによって第1の雑音信号を生成し得、第1の雑音信号に時間整形を適用することによって第3の信号1754を生成し得る。したがって、スペクトル整形および時間整形は、任意の順序で雑音信号1740に適用され得る。時間エンベロープ変調器412は、第3の信号1754をHB励起推定器414に与え得る。
[0176]HB励起推定器414は、適応白色化モジュール410から第2の信号1752を受信するか、時間エンベロープ変調器412から第3の信号1754を受信するか、構成モジュール1305からハーモニシティインジケータ1364を受信するか、構成モジュール1305から混合ファクタ1353を受信するか、またはそれらの組合せを行い得る。HB励起推定器414は、ハーモニシティインジケータ1364、混合ファクタ1353、またはその両方に基づいて、第2の信号1752と第3の信号1754とを組み合わせることによって、HB励起信号1352を生成し得る。
[0177]混合ファクタ1353は、図14を参照しながら説明されたように、HB VFを示し得る。たとえば、混合ファクタ1353は、第1の重み(たとえば、HB VF)および第2の重み(たとえば、1−HB VF)を示し得る。HB励起推定器414は、図18を参照しながら説明されるように、ハーモニシティインジケータ1364に基づいて混合ファクタ1353を調整し得る。HB励起推定器414は、第3の信号1754が第2の信号1752と同じ電力レベルを有するように、第3の信号1754を電力正規化し得る。
[0178]HB励起推定器414は、調整された混合ファクタ1353に基づいて、第2の信号1752と第3の信号1754との重み付き和を実施することによってHB励起信号1352を生成し得、ここで、第1の重みが第2の信号1752に割り当てられ、第2の重みが第3の信号1754に割り当てられる。たとえば、HB励起推定器414は、式7のVFiに基づいてスケーリングされる(たとえば、VFiの平方根に基づいてスケーリングされる)第2の信号1752のサブフレーム(i)と、式7の(1−VFi)に基づいてスケーリングされる(たとえば、(1−VFi)の平方根に基づいてスケーリングされる)第3の信号1754のサブフレーム(i)とを混合することによって、HB励起信号1352のサブフレーム(i)を生成し得る。HB励起推定器414は、HB励起信号1352をビットストリームパラメータ生成器1348に与え得る。
[0179]ビットストリームパラメータ生成器1348はビットストリームパラメータ160を生成し得る。たとえば、ビットストリームパラメータ160は混合構成モード368を含み得る。混合構成モード368は、混合ファクタ1353(たとえば、調整された混合ファクタ1353)に対応し得る。別の例として、ビットストリームパラメータ160は、NL構成モード158、フィルタ情報374、HB LSFデータ364、またはそれらの組合せを含み得る。フィルタ情報374は、図19を参照しながらさらに説明されるように、エネルギー正規化器1306によって生成されたインデックスを含み得る。HB LSFデータ364は、図19を参照しながらさらに説明されるように、エネルギー正規化器1306によって生成された量子化フィルタ(quantized filter)(たとえば、量子化LSF)に対応し得る。
[0180]ビットストリームパラメータ生成器1348は、HB励起信号1352と第1のHB信号242との比較に基づいて、ターゲット利得情報(たとえば、HBターゲット利得データ370、利得形状データ372、またはその両方)を生成し得る。ビットストリームパラメータ生成器1348は、ハーモニシティインジケータ1364、ピーキネスインジケータ1366、またはその両方に基づいてターゲット利得情報を更新し得る。たとえば、ビットストリームパラメータ生成器1348は、ハーモニシティインジケータ1364が強い高調波成分を示すか、ピーキネスインジケータ1366が高いピーキネスを示すか、またはその両方であるとき、ターゲット利得情報によって示されたHB利得フレームを低減し得る。例示のために、ビットストリームパラメータ生成器1348は、ピーキネスインジケータ1366が第1のしきい値を満たし、ハーモニシティインジケータ1364が第2のしきい値を満たすと決定したことに応答して、ターゲット利得情報によって示されたHB利得フレームを低減し得る。
[0181]ビットストリームパラメータ生成器1348は、ピーキネスインジケータ1366が第1のHB信号242中のエネルギーのスパイクを示すとき、特定のサブフレームの利得形状を変更するために、ターゲット利得情報を更新し得る。ピーキネスインジケータ1366はサブフレームピーキネス値を含み得る。たとえば、ピーキネスインジケータ1366は、特定のサブフレームのピーキネス値を示し得る。サブフレームピーキネス値は、第1のHB信号242が、高調波HBに対応するのか、非高調波HBに対応するのか、1つまたは複数のスパイクをもつHBに対応するのかを決定するために、「平滑化」され得る。たとえば、ビットストリームパラメータ生成器1348は、ピーキネスインジケータ1366に近似関数(たとえば、移動平均)を適用することによって、平滑化を実施し得る。追加または代替として、ビットストリームパラメータ生成器1348は、特定のサブフレームの利得形状を変更(たとえば、減衰)するために、ターゲット利得情報を更新し得る。ビットストリームパラメータ160はターゲット利得情報を含み得る。
[0182]図18を参照すると、ハイバンド信号生成の方法の例示的な態様の図が示されており、全体的に1800と称される。方法1800は、図1のシステム100〜図2のシステム200、図13のシステム1300〜図14のシステム1400の1つまたは複数の構成要素によって実施され得る。たとえば、方法1800は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第2のエンコーダ296、図13のHB励起信号生成器1347、図14のLB−HBピッチ拡張測度推定器1404、またはそれらの組合せによって実施され得る。
[0183]方法1800は、1802において、LB−HBピッチ拡張測度を受信することを含む。たとえば、HB励起推定器414は、図13〜図14および図17を参照しながら説明されたように、構成モジュール1305からハーモニシティインジケータ1364(たとえば、HBコヒーレンス値)を受信し得る。
[0184]方法1800は、1804において、ローバンド有声化情報に基づく、推定された混合ファクタを受信することをも含む。たとえば、HB励起推定器414は、図13〜図14および図17を参照しながら説明されたように、構成モジュール1305から混合ファクタ1353を受信し得る。混合ファクタ1353は、図14を参照しながら説明されたように、LB VF1354に基づき得る。
[0185]方法1800は、1806において、HBコヒーレンス(たとえば、LB−HBピッチ拡張測度)の知識に基づいて、推定された混合ファクタを調整することをさらに含む。たとえば、HB励起推定器414は、図17を参照しながら説明されたように、ハーモニシティインジケータ1364に基づいて混合ファクタ1353を調整し得る。
[0186]図18は、全体的に1820と称される、推定された混合ファクタを調整する方法の例示的な態様の図をも含む。方法1820は、方法1800のステップ1806に対応し得る。
[0187]方法1820は、1808において、LB VFが第1のしきい値よりも大きく、HBコヒーレンスが第2のしきい値よりも小さいかどうかを決定することを含む。たとえば、HB励起推定器414は、LB VF1354が第1のしきい値よりも大きく、ハーモニシティインジケータ1364が第2のしきい値よりも小さいかどうかを決定し得る。特定の態様では、混合ファクタ1353はLB VF1354を示し得る。
[0188]方法1820は、1808において、LB VFが第1のしきい値よりも大きく、HBコヒーレンスが第2のしきい値よりも小さいと決定したことに応答して、1810において、混合ファクタを減衰させることを含む。たとえば、HB励起推定器414は、LB VF1354が第1のしきい値よりも大きく、ハーモニシティインジケータ1364が第2のしきい値を満たすことができないよりも小さいと決定したことに応答して、混合ファクタ1353を減衰させ得る。
[0189]方法1820は、1808において、LB VFが第1のしきい値よりも小さいかまたはそれに等しいか、あるいは、HBコヒーレンスが第2のしきい値よりも大きいかまたはそれに等しいと決定したことに応答して、1812において、LB VFが第1のしきい値よりも小さいかどうか、およびHBコヒーレンスが第2のしきい値よりも小さいことを決定することを含む。たとえば、HB励起推定器414は、LB VF1354が第1のしきい値よりも小さいかまたはそれに等しいか、あるいは、ハーモニシティインジケータ1364が第2のしきい値よりも大きいかまたはそれに等しいと決定したことに応答して、LB VF1354が第1のしきい値よりも小さいかどうか、およびハーモニシティインジケータ1364が第2のしきい値よりも大きいことを決定し得る。
[0190]方法1820は、1812において、LB VFが第1のしきい値よりも小さく、HBコヒーレンスが第2のしきい値よりも小さいと決定したことに応答して、1814において、混合ファクタをブーストすることを含む。たとえば、HB励起推定器414は、LB VF1354が第1のしきい値よりも小さく、ハーモニシティインジケータ1364が第2のしきい値よりも大きいと決定したことに応答して、混合ファクタ1353をブーストし得る。
[0191]方法1820は、1812において、LB VFが第1のしきい値よりも大きいかまたはそれに等しいか、あるいは、HBコヒーレンスが第2のしきい値よりも大きいかまたはそれに等しいと決定したことに応答して、1816において、混合ファクタを不変のままにすることを含む。たとえば、HB励起推定器414は、LB VF1354が第1のしきい値よりも大きいかまたはそれに等しいか、あるいは、ハーモニシティインジケータ1364が第2のしきい値よりも小さいかまたはそれに等しいと決定したことに応答して、混合ファクタ1353を不変のままにし得る。例示のために、HB励起推定器414は、LB VF1354が第1のしきい値に等しいか、ハーモニシティインジケータ1364が第2のしきい値に等しいか、LB VF1354が第1のしきい値よりも小さく、ハーモニシティインジケータ1364が第2のしきい値よりも小さいか、または、LB VF1354が第1のしきい値よりも大きく、ハーモニシティインジケータ1364が第2のしきい値よりも大きいと決定したことに応答して、混合ファクタ1353を不変のままにし得る。
[0192]HB励起推定器414は、ハーモニシティインジケータ1364、LB VF1354、またはその両方に基づいて、混合ファクタ1353を調整し得る。混合ファクタ1353は、図14を参照しながら説明されたように、HB VFを示し得る。HB励起推定器414は、ハーモニシティインジケータ1364、LB VF1354、またはその両方に基づいて、HB VFの変動を低減し(または増加させ)得る。ハーモニシティインジケータ1364およびLB VF1354に基づいてHB VFを変更することは、LB VF1354とHB VFとの間の不整合を補償し得る。
[0193]有声音声信号のより低い周波数は、概して、より高い周波数よりも強い高調波構造を呈し得る。非線形モデリングの出力(たとえば、図1の拡張された信号150)は、時々、ハイバンド部分中の高調波を過度に強調することがあり、不自然なバズ音の(buzzy-sounding)アーティファクトにつながり得る。混合ファクタを減衰させることは、心地良い音のハイバンド信号(たとえば、図1のハイバンド信号142)を生じ得る。
[0194]図19を参照すると、エネルギー正規化器1306の例示的な態様の図が示されている。エネルギー正規化器1306は、フィルタ推定器1902、フィルタアプリケータ1912、またはその両方を含み得る。
[0195]フィルタ推定器1902は、フィルタ調整器1908、加算器1914、またはその両方を含み得る。第2のエンコーダ296(たとえば、フィルタ推定器1902)は、第1のHB信号242に関連する特定のHB励起信号(たとえば、HB残差)を生成し得る。フィルタ推定器1902は、第1の拡張された信号250と第1のHB信号242(または特定のHB励起信号)との比較に基づいて、フィルタ1906を選択(または生成)し得る。たとえば、フィルタ推定器1902は、本明細書で説明されたように、第1の拡張された信号250と第1のHB信号242(または特定のHB励起信号)との間のひずみを低減する(たとえば、なくす)ためにフィルタ1906を選択(または生成)し得る。フィルタ調整器1908は、第1の拡張された信号250にフィルタ1906(たとえば、FIRフィルタ)を適用することによって、スケーリングされた信号1916を生成し得る。フィルタ調整器1908は、スケーリングされた信号1916を加算器1914に与え得る。加算器1914は、スケーリングされた信号1916と第1のHB信号242(または特定のHB励起信号)との間のひずみ(たとえば、差分)に対応する誤差信号1904を生成し得る。たとえば、誤差信号1904は、スケーリングされた信号1916と第1のHB信号242(または特定のHB励起信号)との間の平均2乗誤差に対応し得る。加算器1914は、最小2乗平均(LMS:least mean squares)アルゴリズムに基づいて誤差信号1904を生成し得る。加算器1914は、誤差信号1904をフィルタ調整器1908に与え得る。
[0196]フィルタ調整器1908は、誤差信号1904に基づいてフィルタ1906を選択(たとえば、調整)し得る。たとえば、フィルタ調整器1908は、誤差信号1904のエネルギーを低減する(またはなくす)ことによって、スケーリングされた信号1916の第1の高調波成分と第1のHB信号242(または特定のHB励起信号)の第2の高調波成分との間のひずみメトリック(たとえば、平均2乗誤差メトリック)を低減するように、フィルタ1906を反復的に調整し得る。フィルタ調整器1908は、第1の拡張された信号250に、調整されたフィルタ1906を適用することによって、スケーリングされた信号1916を生成し得る。フィルタ推定器1902は、フィルタ1906(たとえば、調整されたフィルタ1906)をフィルタアプリケータ1912に与え得る。
[0197]フィルタアプリケータ1912は、量子化器1918、FIRフィルタエンジン1924、またはその両方を含み得る。量子化器1918は、フィルタ1906に基づいて量子化フィルタ1922を生成し得る。たとえば、量子化器1918は、フィルタ1906に対応するフィルタ係数(たとえば、LSP係数、またはLPC)を生成し得る。量子化器1918は、フィルタ係数に対して多段(たとえば、2段)ベクトル量子化(VQ)を実施することによって、量子化フィルタ係数を生成し得る。量子化フィルタ1922は量子化フィルタ係数を含み得る。量子化器1918は、量子化フィルタ1922に対応する量子化インデックス(quantization index)1920を図13のビットストリームパラメータ生成器1348に与え得る。ビットストリームパラメータ160は、量子化インデックス1920を示すフィルタ情報374、量子化フィルタ1922(たとえば、量子化LSP係数または量子化LPC)に対応するHB LSFデータ364、またはその両方を含み得る。
[0198]量子化器1918は、量子化フィルタ1922をFIRフィルタエンジン1924に与え得る。FIRフィルタエンジン1924は、量子化フィルタ1922に基づいて第1の拡張された信号250をフィルタ処理することによって、第2の拡張された信号1350を生成し得る。FIRフィルタエンジン1924は、第2の拡張された信号1350を図13のHB励起信号生成器1347に与え得る。
[0199]図20を参照すると、ハイバンド信号生成の方法の一態様の図が示されており、全体的に2000と称される。方法2000は、図1のシステム100、図2のシステム200、または図13のシステム1300の1つまたは複数の構成要素によって実施され得る。たとえば、方法2000は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第2のエンコーダ296、図13のエネルギー正規化器1306、図19のフィルタ推定器1902、フィルタアプリケータ1912、またはそれらの組合せによって実施され得る。
[0200]方法2000は、2002において、ハイバンド信号と第1の拡張された信号とを受信することを含む。たとえば、図13のエネルギー正規化器1306は、図13を参照して説明されたように、第1のHB信号242と第1の拡張された信号250とを受信し得る。
[0201]方法2000は、2004において、誤差のエネルギーを最小限に抑える(または低減する)フィルタ(h(n))を推定することをも含む。たとえば、図19のフィルタ推定器1902は、図19を参照しながら説明されたように、誤差信号1904のエネルギーを低減するためにフィルタ1906を推定し得る。
[0202]方法2000は、2006において、h(n)に対応するインデックスを量子化し、送信することをさらに含む。たとえば、量子化器1918は、図19を参照しながら説明されたように、フィルタ1906を量子化することによって量子化フィルタ1922を生成し得る。量子化器1918は、図19を参照しながら説明されたように、フィルタ1906に対応する量子化インデックス1920を生成し得る。
[0203]方法2000は、2008において、第2の拡張された信号を生成するために、量子化フィルタを使用し、第1の拡張された信号をフィルタ処理することをも含む。たとえば、FIRフィルタエンジン1924は、量子化フィルタ1922に基づいて第1の拡張された信号250をフィルタ処理することによって、第2の拡張された信号1350を生成し得る。
[0204]図21を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に2100と称される。方法2100は、図1のシステム100、図2のシステム200、または図13のシステム1300の1つまたは複数の構成要素によって実施され得る。たとえば、方法2100は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第1のエンコーダ204、第2のエンコーダ296、図13のビットストリームパラメータ生成器1348、送信機1392、またはそれらの組合せによって実施され得る。
[0205]方法2100は、2102において、第1のデバイスにおいてオーディオ信号を受信することを含む。たとえば、第2のデバイス104のエンコーダ108は、図13を参照しながら説明されたように、入力信号114を受信し得る。
[0206]方法2100は、2104において、第1のデバイスにおいて、ハーモニシティインジケータ、ピーキネスインジケータ、またはその両方に基づいて信号モデルリングパラメータを生成することをも含み、信号モデリングパラメータは、オーディオ信号のハイバンド部分に関連する。たとえば、第2のデバイス104のエンコーダ108は、図13、図14、図16、および図17を参照しながら説明されたように、NL構成モード158、混合構成モード368、ターゲット利得情報(たとえば、HBターゲット利得データ370、利得形状データ372、またはその両方)、またはそれらの組合せを生成し得る。例示のために、構成モード生成器1406は、図14および図16を参照しながら説明されたように、NL構成モード158を生成し得る。HB励起推定器414は、図17を参照しながら説明されたように、混合ファクタ1353、ハーモニシティインジケータ1364、またはその両方に基づいて、混合構成モード368を生成し得る。ビットストリームパラメータ生成器1348は、図17を参照しながら説明されたように、ターゲット利得情報を生成し得る。
[0207]方法2100は、2106において、第1のデバイスから第2のデバイスに、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、信号モデリングパラメータを送ることをさらに含む。たとえば、図13の送信機1392は、第2のデバイス104から第1のデバイス102に、オーディオデータ126とともに、NL構成モード158、混合構成モード368、HBターゲット利得データ370、利得形状データ372、またはそれらの組合せを送信し得る。
[0208]図22を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に2200と称される。方法2200は、図1のシステム100、図2のシステム200、または図13のシステム1300の1つまたは複数の構成要素によって実施され得る。たとえば、方法2200は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第1のエンコーダ204、第2のエンコーダ296、図13のビットストリームパラメータ生成器1348、送信機1392、またはそれらの組合せによって実施され得る。
[0209]方法2200は、2202において、第1のデバイスにおいてオーディオ信号を受信することを含む。たとえば、第2のデバイス104のエンコーダ108は、図13を参照しながら説明されたように、入力信号114(たとえば、オーディオ信号)を受信し得る。
[0210]方法2200は、2204において、第1のデバイスにおいて、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成することをも含む。たとえば、第2のデバイス104のリサンプラおよびフィルタバンク202は、図13を参照しながら説明されたように、入力信号114のハイバンド部分に基づいて第1のHB信号242を生成し得る。第2のエンコーダ296は、第1のHB信号242に基づいて特定のHB励起信号(たとえば、HB残差)を生成し得る。
[0211]方法2200は、2206において、第1のデバイスにおいて、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成することをさらに含む。たとえば、第2のデバイス104のエンコーダバンド幅拡張モジュール206は、図13を参照しながら説明されたように、第1のLB信号240に基づいて、第1の拡張された信号250を生成し得る。第1のLB信号240は入力信号114のローバンド部分に対応し得る。
[0212]方法2200は、2208において、第1のデバイスにおいて、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタを選択することをも含む。たとえば、第2のデバイス104のフィルタ推定器1902は、図19を参照しながら説明されたように、第1の拡張された信号250と第1のHB信号242(または特定のHB励起信号)との比較に基づいて、フィルタ1906を選択し得る。
[0213]方法2200は、2210において、第1のデバイスから第2のデバイスに、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタに対応するフィルタ情報を送ることをさらに含む。たとえば、送信機1392は、図13および図19を参照しながら説明されたように、第2のデバイス104から第1のデバイス102に、入力信号114に対応するオーディオデータ126とともに、フィルタ情報374、HB LSFデータ364、またはその両方を送信し得る。
[0214]図23を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に2300と称される。方法2300は、図1のシステム100、図2のシステム200、または図13のシステム1300の1つまたは複数の構成要素によって実施され得る。たとえば、方法2300は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第1のエンコーダ204、第2のエンコーダ296、図13のビットストリームパラメータ生成器1348、送信機1392、またはそれらの組合せによって実施され得る。
[0215]方法2300は、2302において、第1のデバイスにおいてオーディオ信号を受信することを含む。たとえば、第2のデバイス104のエンコーダ108は、図13を参照しながら説明されたように、入力信号114(たとえば、オーディオ信号)を受信し得る。
[0216]方法2300は、2304において、第1のデバイスにおいて、オーディオ信号のハイバンド部分に基づいてハイバンド励起信号を生成することをも含む。たとえば、第2のデバイス104のリサンプラおよびフィルタバンク202は、図13を参照しながら説明されたように、入力信号114のハイバンド部分に基づいて第1のHB信号242を生成し得る。第2のエンコーダ296は、第1のHB信号242に基づいて特定のHB励起信号(たとえば、HB残差)を生成し得る。
[0217]方法2300は、2306において、第1のデバイスにおいて、オーディオ信号のローバンド部分に基づいて、モデル化されたハイバンド励起信号を生成することをさらに含む。たとえば、第2のデバイス104のエンコーダバンド幅拡張モジュール206は、図13を参照しながら説明されたように、第1のLB信号240に基づいて、第1の拡張された信号250を生成し得る。第1のLB信号240は入力信号114のローバンド部分に対応し得る。
[0218]方法2300は、2308において、第1のデバイスにおいて、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタ係数を生成することをも含む。たとえば、第2のデバイス104のフィルタ推定器1902は、図19を参照しながら説明されたように、第1の拡張された信号250と第1のHB信号242(または特定のHB励起信号)との比較に基づいて、フィルタ1906に対応するフィルタ係数を生成し得る。
[0219]方法2300は、2310において、第1のデバイスにおいて、フィルタ係数を量子化することによってフィルタ情報を生成することをさらに含む。たとえば、第2のデバイス104の量子化器1918は、図19を参照しながら説明されたように、フィルタ1906に対応するフィルタ係数を量子化することによって、量子化インデックス1920と量子化フィルタ1922(たとえば、量子化フィルタ係数)とを生成し得る。量子化器1918は、量子化インデックス1920を示すフィルタ情報374、量子化フィルタ係数を示すHB LSFデータ364、またはその両方を生成し得る。
[0220]方法2300は、2210において、第1のデバイスから第2のデバイスに、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタ情報を送ることをも含む。たとえば、送信機1392は、図13および図19を参照しながら説明されたように、第2のデバイス104から第1のデバイス102に、入力信号114に対応するオーディオデータ126とともに、フィルタ情報374、HB LSFデータ364、またはその両方を送信し得る。
[0221]図24を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に2400と称される。方法2400は、図1のシステム100、図2のシステム200、または図13のシステム1300の1つまたは複数の構成要素によって実施され得る。たとえば、方法2400は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、第2のデバイス104、プロセッサ116、デコーダ118、第2のデコーダ136、復号モジュール162、HB励起信号生成器147、図2の第2のエンコーダ296、符号化モジュール208、エンコーダバンド幅拡張モジュール206、図4のシステム400、高調波拡張モジュール404、またはそれらの組合せによって実施され得る。
[0222]方法2400は、2402において、デバイスにおいて、パラメータの値に少なくとも部分的に基づいて複数の非線形処理関数を選択することを含む。たとえば、高調波拡張モジュール404は、図4および図17を参照しながら説明されたように、NL構成モード158の値に少なくとも部分的に基づいて、図1の第1の関数164および第2の関数166を選択し得る。
[0223]方法2400は、2404において、デバイスにおいて、複数の非線形処理関数に基づいてハイバンド励起信号を生成することをも含む。たとえば、高調波拡張モジュール404は、図4を参照しながら説明されたように、第1の関数164および第2の関数166に基づいて、拡張された信号150を生成し得る。別の例として、高調波拡張モジュール404は、図17を参照しながら説明されたように、第1の関数164および第2の関数166に基づいて、第1の拡張された信号250を生成し得る。
[0224]したがって、方法2400は、パラメータの値に基づく複数の非線形関数の選択を可能にし得る。ハイバンド励起信号は、エンコーダ、デコーダ、またはその両方において、複数の非線形関数に基づいて生成され得る。
[0225]図25を参照すると、ハイバンド信号生成の方法の一態様のフローチャートが示されており、全体的に2500と称される。方法2500は、図1のシステム100、図2のシステム200、または図13のシステム1300の1つまたは複数の構成要素によって実施され得る。たとえば、方法2500は、図1の第2のデバイス104、受信機192、HB励起信号生成器147、復号モジュール162、第2のデコーダ136、デコーダ118、プロセッサ116、またはそれらの組合せによって実施され得る。
[0226]方法2500は、2502において、デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む。たとえば、受信機192は、図1および図3を参照しながら説明されたように、オーディオデータ126に関連するHR構成モード366を受信し得る。
[0227]方法2500は、2504において、デバイスにおいて、パラメータの値を決定することをも含む。たとえば、合成モジュール418は、図4を参照しながら説明されたように、HR構成モード366の値を決定し得る。
[0228]方法2500は、2506において、パラメータの値に基づいて、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することをさらに含む。たとえば、HR構成モード366の値が1であるとき、合成モジュール418は、図4を参照しながら説明されたように、利得形状データ372、HBターゲット利得データ370、または利得情報362のうちの1つまたは複数など、ターゲット利得情報を選択し得る。HR構成モード366の値が0であるとき、合成モジュール418は、図4を参照しながら説明されたように、フィルタ情報374を選択し得る。
[0229]方法2500は、2508において、デバイスにおいて、ターゲット利得情報またはフィルタ情報のうちの1つに基づいてハイバンド励起信号を生成することをも含む。たとえば、合成モジュール418は、図4を参照しながら説明されたように、ターゲット利得情報またはフィルタ情報374のうちの選択された1つに基づいて、変更された励起信号を生成し得る。
[0230]したがって、方法2500は、パラメータの値に基づくターゲット利得情報またはフィルタ情報の選択を可能にし得る。ハイバンド励起信号は、デコーダにおいて、ターゲット利得情報またはフィルタ情報のうちの選択された1つに基づいて生成され得る。
[0231]図26を参照すると、デバイス(たとえば、ワイヤレス通信デバイス)の特定の例示的な態様のブロック図が示されており、全体的に2600と称される。様々な態様では、デバイス2600は、図26に示されているものよりも少ないまたは多い構成要素を有し得る。例示的な態様では、デバイス2600は、図1の第1のデバイス102または第2のデバイス104に対応し得る。例示的な態様では、デバイス2600は、図1〜図25のシステムおよび方法を参照しながら説明された1つまたは複数の動作を実施し得る。
[0232]特定の態様では、デバイス2600はプロセッサ2606(たとえば、中央処理ユニット(CPU))を含む。デバイス2600は、1つまたは複数の追加のプロセッサ2610(たとえば、1つまたは複数のデジタル信号プロセッサ(DSP))を含み得る。プロセッサ2610は、メディア(たとえば、音声および音楽)コーダデコーダ(コーデック)2608と、エコーキャンセラ2612とを含み得る。メディアコーデック2608は、デコーダ118、エンコーダ108、またはその両方を含み得る。デコーダ118は、第1のデコーダ134、第2のデコーダ136、信号生成器138、またはそれらの組合せを含み得る。第2のデコーダ136は、TBEフレーム変換器156、バンド幅拡張モジュール146、復号モジュール162、またはそれらの組合せを含み得る。復号モジュール162は、HB励起信号生成器147、HB信号生成器148、またはその両方を含み得る。エンコーダ108は、第1のエンコーダ204、第2のエンコーダ296、リサンプラおよびフィルタバンク202、またはそれらの組合せを含み得る。第2のエンコーダ296は、エネルギー正規化器1306、符号化モジュール208、エンコーダバンド幅拡張モジュール206、構成モジュール1305、またはそれらの組合せを含み得る。符号化モジュール208は、HB励起信号生成器1347、ビットストリームパラメータ生成器1348、またはその両方を含み得る。
[0233]メディアコーデック2608はプロセッサ2610の構成要素(たとえば、専用回路および/または実行可能プログラミングコード)として示されているが、他の態様では、デコーダ118、エンコーダ108、またはその両方など、メディアコーデック2608の1つまたは複数の構成要素は、プロセッサ2606、コーデック2634、別の処理構成要素、またはそれらの組合せ中に含まれ得る。
[0234]デバイス2600は、メモリ2632とコーデック2634とを含み得る。メモリ2632は、図1のメモリ132、図13のメモリ1332、またはその両方に対応し得る。デバイス2600は、アンテナ2642に結合されたトランシーバ2650を含み得る。トランシーバ2650は、図1の受信機192、図13の送信機1392、またはその両方を含み得る。デバイス2600は、ディスプレイコントローラ2626に結合されたディスプレイ2628を含み得る。1つまたは複数のスピーカー2636、1つまたは複数のマイクロフォン2638、またはそれらの組合せが、コーデック2634に結合され得る。特定の態様では、スピーカー2636は図1のスピーカー122に対応し得る。マイクロフォン2638は図13のマイクロフォン1338に対応し得る。コーデック2634は、デジタルアナログ変換器(DAC)2602とアナログデジタル変換器(ADC)2604とを含み得る。
[0235]メモリ2632は、図1〜図25を参照しながら説明された1つまたは複数の動作を実施するために、プロセッサ2606、プロセッサ2610、コーデック2634、デバイス2600の別の処理ユニット、またはそれらの組合せによって実行可能な命令2660を含み得る。
[0236]デバイス2600の1つまたは複数の構成要素は、専用ハードウェア(たとえば、回路)を介して、1つまたは複数のタスクを実施するための命令を実行するプロセッサによって、またはそれらの組合せによって、実装され得る。一例として、メモリ2632あるいはプロセッサ2606、プロセッサ2610、および/またはコーデック2634の1つまたは複数の構成要素は、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT−MRAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読取り専用メモリ(CD−ROM)などのメモリデバイスであり得る。メモリデバイスは、コンピュータ(たとえば、コーデック2634中のプロセッサ、プロセッサ2606、および/またはプロセッサ2610)によって実行されたとき、コンピュータに、図1〜図25を参照しながら説明された1つまたは複数の動作を実施させ得る命令(たとえば、命令2660)を含み得る。一例として、メモリ2632またはプロセッサ2606、プロセッサ2610、コーデック2634の1つまたは複数の構成要素は、コンピュータ(たとえば、コーデック2634中のプロセッサ、プロセッサ2606、および/またはプロセッサ2610)によって実行されたとき、コンピュータに、図1〜図25を参照しながら説明された1つまたは複数の動作を実施させる命令(たとえば、命令2660)を含む非一時的コンピュータ可読媒体であり得る。
[0237]特定の態様では、デバイス2600は、システムインパッケージまたはシステムオンチップデバイス(たとえば、移動局モデム(MSM))2622中に含まれ得る。特定の態様では、プロセッサ2606、プロセッサ2610、ディスプレイコントローラ2626、メモリ2632、コーデック2634、およびトランシーバ2650は、システムインパッケージまたはシステムオンチップデバイス2622中に含まれる。特定の態様では、タッチスクリーンおよび/またはキーパッドなどの入力デバイス2630、ならびに電源2644は、システムオンチップデバイス2622に結合される。その上、特定の態様では、図26に示されているように、ディスプレイ2628、入力デバイス2630、スピーカー2636、マイクロフォン2638、アンテナ2642、および電源2644は、システムオンチップデバイス2622の外部にある。ただし、ディスプレイ2628、入力デバイス2630、スピーカー2636、マイクロフォン2638、アンテナ2642、および電源2644の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス2622の構成要素に結合され得る。
[0238]デバイス2600は、ワイヤレス電話モバイル通信デバイス、スマートフォン、セルラーフォン、ラップトップコンピュータ、デスクトップコンピュータ、コンピュータ、タブレットコンピュータ、セットトップボックス、携帯情報端末、ディスプレイデバイス、テレビジョン、ゲーミングコンソール、音楽プレーヤ、無線機、ビデオプレーヤ、エンターテインメントユニット、通信デバイス、固定ロケーションデータユニット、パーソナルメディアプレーヤ、デジタルビデオプレーヤ、デジタルビデオディスク(DVD)プレーヤ、チューナー、カメラ、ナビゲーションデバイス、デコーダシステム、エンコーダシステム、メディア再生デバイス、メディアブロードキャストデバイス、またはそれらの任意の組合せを含み得る。
[0239]特定の態様では、図1〜図25を参照しながら説明されたシステムおよびデバイス2600の1つまたは複数の構成要素は、復号システムまたは装置(たとえば、その中の電子デバイス、コーデック、またはプロセッサ)に、符号化システムまたは装置に、あるいはその両方に組み込まれ得る。他の態様では、図1〜図25を参照しながら説明されたシステムおよびデバイス2600の1つまたは複数の構成要素は、ワイヤレス電話、タブレットコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、音楽プレーヤ、ビデオプレーヤ、エンターテインメントユニット、テレビジョン、ゲームコンソール、ナビゲーションデバイス、通信デバイス、携帯情報端末(PDA)、固定ロケーションデータユニット、パーソナルメディアプレーヤ、または別のタイプのデバイスに組み込まれ得る。
[0240]図1〜図25を参照しながら説明されたシステムおよびデバイス2600の1つまたは複数の構成要素によって実施される様々な機能が、いくつかの構成要素またはモジュールによって実施されるものとして説明されることに留意されたい。構成要素およびモジュールのこの分割は説明のためのものにすぎない。代替態様では、特定の構成要素またはモジュールによって実施される機能が、複数の構成要素またはモジュールの間で分割され得る。その上、代替態様では、図1〜図26を参照しながら説明された2つまたはそれ以上の構成要素またはモジュールが、単一の構成要素またはモジュールに組み込まれ得る。図1〜図26に示されている各構成要素またはモジュールは、ハードウェア(たとえば、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、DSP、コントローラなど)、ソフトウェア(たとえば、プロセッサによって実行可能な命令)、またはそれらの任意の組合せを使用して実装され得る。
[0241]説明された態様とともに、バンド幅拡張されたオーディオストリームに関連するパラメータを記憶するための手段を含む装置が開示される。たとえば、記憶するための手段は、図1の第2のデバイス104、メモリ132、図2のメディアストレージ292、図25のメモリ2632、パラメータを記憶するように構成された1つまたは複数のデバイス、またはそれらの組合せを含み得る。
[0242]本装置は、複数の非線形処理関数に基づいてハイバンド励起信号を生成するための手段をも含む。たとえば、生成するための手段は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、第2のデバイス104、プロセッサ116、デコーダ118、第2のデコーダ136、復号モジュール162、図2の第2のエンコーダ296、符号化モジュール208、エンコーダバンド幅拡張モジュール206、図4のシステム400、高調波拡張モジュール404、図25のプロセッサ2610、メディアコーデック2608、デバイス2600、複数の非線形処理関数に基づいてハイバンド励起信号を生成するように構成された1つまたは複数のデバイス(たとえば、コンピュータ可読記憶デバイスにおいて記憶された命令を実行するプロセッサ)、またはそれらの組合せを含み得る。複数の非線形処理関数は、パラメータの値に少なくとも部分的に基づいて選択され得る。
[0243]また、説明された態様とともに、バンド幅拡張されたオーディオストリームに関連するパラメータを受信するための手段を含む装置が開示される。たとえば、受信するための手段は、図1の受信機192、図25のトランシーバ2695、バンド幅拡張されたオーディオストリームに関連するパラメータを受信するように構成された1つまたは複数のデバイス、またはそれらの組合せを含み得る。
[0244]本装置は、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つに基づいて、ハイバンド励起信号を生成するための手段をも含む。たとえば、生成するための手段は、図1のHB励起信号生成器147、復号モジュール162、第2のデコーダ136、デコーダ118、プロセッサ116、第2のデバイス104、図4の合成モジュール418、図25のプロセッサ2610、メディアコーデック2608、デバイス2600、ハイバンド励起信号を生成するように構成された1つまたは複数のデバイス、またはそれらの組合せを含み得る。ターゲット利得情報またはフィルタ情報のうちの1つは、パラメータの値に基づいて選択され得る。
[0245]さらに、説明された態様とともに、ハーモニシティインジケータ、ピーキネスインジケータ、またはその両方に基づいて信号モデリングパラメータを生成するための手段を含む装置が開示される。たとえば、生成するための手段は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第2のエンコーダ296、符号化モジュール208、図13の構成モジュール1305、エネルギー正規化器1306、ビットストリームパラメータ生成器1348、ハーモニシティインジケータ、ピーキネスインジケータ、またはその両方に基づいて信号モデリングパラメータを生成するように構成された1つまたは複数のデバイス(たとえば、コンピュータ可読記憶デバイスにおいて記憶された命令を実行するプロセッサ)、またはそれらの組合せを含み得る。信号モデリングパラメータは、オーディオ信号のハイバンド部分に関連し得る。
[0246]本装置は、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、信号モデリングパラメータを送信するための手段をも含む。たとえば、送信するための手段は、図13の送信機1392、図25のトランシーバ2695、信号モデリングパラメータを送信するように構成された1つまたは複数のデバイス、またはそれらの組合せを含み得る。
[0247]また、説明された態様とともに、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいてフィルタを選択するための手段を含む装置が開示される。たとえば、選択するための手段は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第2のエンコーダ296、符号化モジュール208、図13のエネルギー正規化器1306、図19のフィルタ推定器1902、フィルタを選択するように構成された1つまたは複数のデバイス(たとえば、コンピュータ可読記憶デバイスにおいて記憶された命令を実行するプロセッサ)、またはそれらの組合せを含み得る。ハイバンド励起信号はオーディオ信号のハイバンド部分に基づき得る。モデル化されたハイバンド励起信号はオーディオ信号のローバンド部分に基づき得る。
[0248]本装置は、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタに対応するフィルタ情報を送信するための手段をも含む。たとえば、送信するための手段は、図13の送信機1392、図25のトランシーバ2695、信号モデリングパラメータを送信するように構成された1つまたは複数のデバイス、またはそれらの組合せを含み得る。
[0249]さらに、説明された態様とともに、装置は、モデル化されたハイバンド励起信号とハイバンド励起信号との比較に基づいて生成されるフィルタ係数を量子化するための手段を含む。たとえば、フィルタ係数を量子化するための手段は、図1の第1のデバイス102、プロセッサ106、エンコーダ108、図2の第2のエンコーダ296、符号化モジュール208、図13のエネルギー正規化器1306、図19のフィルタアプリケータ1912、量子化器1918、フィルタ係数を量子化するように構成された1つまたは複数のデバイス(たとえば、コンピュータ可読記憶デバイスにおいて記憶された命令を実行するプロセッサ)、またはそれらの組合せを含み得る。ハイバンド励起信号はオーディオ信号のハイバンド部分に基づき得る。モデル化されたハイバンド励起信号はオーディオ信号のローバンド部分に基づき得る。
[0250]本装置は、オーディオ信号に対応するバンド幅拡張されたオーディオストリームとともに、フィルタ情報を送信するための手段をも含む。たとえば、送信するための手段は、図13の送信機1392、図25のトランシーバ2695、信号モデリングパラメータを送信するように構成された1つまたは複数のデバイス、またはそれらの組合せを含み得る。フィルタ情報は量子化フィルタ係数に基づき得る。
[0251]図27を参照すると、基地局2700の特定の例示的な例のブロック図が示されている。様々な実装形態では、基地局2700は、図27に示されているものよりも多い構成要素または少ない構成要素を有し得る。例示的な例では、基地局2700は、図1の第1のデバイス102、第2のデバイス104、またはその両方を含み得る。例示的な例では、基地局2700は、図1〜図26を参照しながら説明された1つまたは複数の動作を実施し得る。
[0252]基地局2700はワイヤレス通信システムの一部であり得る。ワイヤレス通信システムは、複数の基地局と複数のワイヤレスデバイスとを含み得る。ワイヤレス通信システムは、ロングタームエボリューション(LTE(登録商標))システム、符号分割多元接続(CDMA)システム、モバイル通信用グローバルシステム(GSM(登録商標):Global System for Mobile Communications)システム、ワイヤレスローカルエリアネットワーク(WLAN)システム、または何らかの他のワイヤレスシステムであり得る。CDMAシステムは、広帯域CDMA(WCDMA(登録商標))、CDMA 1X、エボリューションデータオプティマイズド(EVDO:Evolution-Data Optimized)、時分割同期CDMA(TD−SCDMA:Time Division Synchronous CDMA)、またはCDMAの何らかの他のバージョンを実装し得る。
[0253]ワイヤレスデバイスは、ユーザ機器(UE)、移動局、端末、アクセス端末、加入者ユニット、局などと呼ばれることもある。ワイヤレスデバイスは、セルラーフォン、スマートフォン、タブレット、ワイヤレスモデム、携帯情報端末(PDA)、ハンドヘルドデバイス、ラップトップコンピュータ、スマートブック、ネットブック、タブレット、コードレスフォン、ワイヤレスローカルループ(WLL)局、Bluetooth(登録商標)デバイスなどを含み得る。ワイヤレスデバイスは、図26のデバイス2600を含むかまたはそれに対応し得る。
[0254]メッセージおよびデータ(たとえば、オーディオデータ)を送信および受信することなど、様々な機能が、基地局2700の1つまたは複数の構成要素によって(および/または示されていない他の構成要素中で)実施され得る。特定の例では、基地局2700はプロセッサ2706(たとえば、CPU)を含む。プロセッサ2706は、図1のプロセッサ106、プロセッサ116、またはその両方に対応し得る。基地局2700はトランスコーダ2710を含み得る。トランスコーダ2710はオーディオコーデック2708を含み得る。たとえば、トランスコーダ2710は、オーディオコーデック2708の動作を実施するように構成された1つまたは複数の構成要素(たとえば、回路)を含み得る。別の例として、トランスコーダ2710は、オーディオコーデック2708の動作を実施するための1つまたは複数のコンピュータ可読命令を実行するように構成され得る。オーディオコーデック2708はトランスコーダ2710の構成要素として示されているが、他の例では、オーディオコーデック2708の1つまたは複数の構成要素が、プロセッサ2706、別の処理構成要素、またはそれらの組合せの中に含まれ得る。たとえば、ボコーダデコーダ2738が受信機データプロセッサ2764中に含まれ得る。別の例として、ボコーダエンコーダ2736が送信データプロセッサ2766中に含まれ得る。
[0255]トランスコーダ2710は、2つまたはそれ以上のネットワーク間でメッセージおよびデータをトランスコーディングするように機能し得る。トランスコーダ2710は、メッセージおよびオーディオデータを、第1のフォーマット(たとえば、デジタルフォーマット)から第2のフォーマットに変換するように構成され得る。例示のために、ボコーダデコーダ2738は、第1のフォーマットを有する符号化信号を復号し得、ボコーダエンコーダ2736は、復号された信号を第2のフォーマットを有する符号化信号に符号化し得る。追加または代替として、トランスコーダ2710は、データレート適応を実施するように構成され得る。たとえば、トランスコーダ2710は、フォーマットオーディオデータを変更することなしに、データレートをダウンコンバートするか、またはデータレートをアップコンバートし得る。例示のために、トランスコーダ2710は、64kbit/s信号を16kbit/s信号にダウンコンバートし得る。
[0256]オーディオコーデック2708は、ボコーダエンコーダ2736とボコーダデコーダ2738とを含み得る。ボコーダエンコーダ2736は、エンコーダセレクタと、音声エンコーダと、非音声エンコーダとを含み得る。ボコーダエンコーダ2736はエンコーダ108を含み得る。ボコーダデコーダ2738は、デコーダセレクタと、音声デコーダと、非音声デコーダとを含み得る。ボコーダデコーダ2738はデコーダ118を含み得る。
[0257]基地局2700はメモリ2732を含み得る。コンピュータ可読記憶デバイスなどのメモリ2732は、命令を含み得る。命令は、図1〜図26を参照しながら説明された1つまたは複数の動作を実施するための、プロセッサ2706、トランスコーダ2710、またはそれらの組合せによって実行可能である1つまたは複数の命令を含み得る。基地局2700は、アンテナのアレイに結合された、第1のトランシーバ2752および第2のトランシーバ2754など、複数の送信機および受信機(たとえば、トランシーバ)を含み得る。アンテナのアレイは、第1のアンテナ2742と第2のアンテナ2744とを含み得る。アンテナのアレイは、図26のデバイス2600など、1つまたは複数のワイヤレスデバイスとワイヤレス通信するように構成され得る。たとえば、第2のアンテナ2744は、ワイヤレスデバイスからデータストリーム2714(たとえば、ビットストリーム)を受信し得る。データストリーム2714は、メッセージ、データ(たとえば、符号化音声データ)、またはそれらの組合せを含み得る。
[0258]基地局2700は、バックホール接続などのネットワーク接続2760を含み得る。ネットワーク接続2760は、ワイヤレス通信ネットワークのコアネットワークまたは1つまたは複数の基地局と通信するように構成され得る。たとえば、基地局2700は、ネットワーク接続2760を介してコアネットワークから第2のデータストリーム(たとえば、メッセージまたはオーディオデータ)を受信し得る。基地局2700は、メッセージまたはオーディオデータを生成し、メッセージまたはオーディオデータを、アンテナのアレイの1つまたは複数のアンテナを介して1つまたは複数のワイヤレスデバイスに、またはネットワーク接続2760を介して別の基地局に与えるために、第2のデータストリームを処理し得る。特定の実装形態では、ネットワーク接続2760は、例示的な非限定的な例として、ワイドエリアネットワーク(WAN)接続であり得る。
[0259]基地局2700は、トランシーバ2752、2754と、受信機データプロセッサ2764と、プロセッサ2706とに結合された復調器2762を含み得、受信機データプロセッサ2764はプロセッサ2706に結合され得る。復調器2762は、トランシーバ2752、2754から受信された被変調信号を復調するように、および復調されたデータを受信機データプロセッサ2764に与えるように構成され得る。受信機データプロセッサ2764は、復調されたデータからメッセージまたはオーディオデータを抽出し、メッセージまたはオーディオデータをプロセッサ2706に送るように構成され得る。
[0260]基地局2700は、送信データプロセッサ2766と送信多入力多出力(MIMO)プロセッサ2768とを含み得る。送信データプロセッサ2766は、プロセッサ2706および送信MIMOプロセッサ2768に結合され得る。送信MIMOプロセッサ2768は、トランシーバ2752、2754およびプロセッサ2706に結合され得る。送信データプロセッサ2766は、例示的な非限定的な例として、プロセッサ2706からメッセージまたはオーディオデータを受信するように、およびCDMAまたは直交周波数分割多重化(OFDM)などのコーディング方式に基づいてメッセージまたはオーディオデータをコーディングするように構成され得る。送信データプロセッサ2766は、コーディングされたデータを送信MIMOプロセッサ2768に与え得る。
[0261]コーディングされたデータは、多重化されたデータを生成するために、CDMAまたはOFDM技法を使用してパイロットデータなどの他のデータと多重化され得る。多重化されたデータは、次いで、変調シンボルを生成するために、特定の変調方式(たとえば、2位相シフトキーイング(「BPSK」)、4位相シフトキーイング(「QSPK」)、多値位相シフトキーイング(「M−PSK」)、多値直交振幅変調(「M−QAM」)など)に基づいて、送信データプロセッサ2766によって変調(すなわち、シンボルマッピング)され得る。特定の実装形態では、コーディングされたデータおよび他のデータは、異なる変調方式を使用して変調され得る。各データストリームのためのデータレート、コーディング、および変調は、プロセッサ2706によって実行される命令によって決定され得る。
[0262]送信MIMOプロセッサ2768は、送信データプロセッサ2766から変調シンボルを受信するように構成され得、変調シンボルをさらに処理し得、データに対してビームフォーミングを実施し得る。たとえば、送信MIMOプロセッサ2768は、変調シンボルにビームフォーミング重みを適用し得る。ビームフォーミング重みは、そこから変調シンボルが送信されるアンテナのアレイの1つまたは複数のアンテナに対応し得る。
[0263]動作中に、基地局2700の第2のアンテナ2744はデータストリーム2714を受信し得る。第2のトランシーバ2754は、第2のアンテナ2744からデータストリーム2714を受信し得、データストリーム2714を復調器2762に与え得る。復調器2762は、データストリーム2714の被変調信号を復調し、復調されたデータを受信機データプロセッサ2764に与え得る。受信機データプロセッサ2764は、復調されたデータからオーディオデータを抽出し、抽出されたオーディオデータをプロセッサ2706に与え得る。特定の態様では、データストリーム2714はオーディオデータ126に対応し得る。
[0264]プロセッサ2706は、オーディオデータを、トランスコーディングのためにトランスコーダ2710に与え得る。トランスコーダ2710のボコーダデコーダ2738は、オーディオデータを、第1のフォーマットから、復号されたオーディオデータに復号し得、ボコーダエンコーダ2736は、復号されたオーディオデータを第2のフォーマットに符号化し得る。いくつかの実装形態では、ボコーダエンコーダ2736は、ワイヤレスデバイスから受信されたものよりも高いデータレート(たとえば、アップコンバート)、またはそれよりも低いデータレート(たとえば、ダウンコンバート)を使用して、オーディオデータを符号化し得る。他の実装形態では、オーディオデータはトランスコーディングされないことがある。トランスコーディング(たとえば、復号および符号化)はトランスコーダ2710によって実施されるものとして示されているが、トランスコーディング動作(たとえば、復号および符号化)は、基地局2700の複数の構成要素によって実施され得る。たとえば、復号は受信機データプロセッサ2764によって実施され得、符号化は送信データプロセッサ2766によって実施され得る。
[0265]ボコーダデコーダ2738およびボコーダエンコーダ2736は、フレームをトランスコーディング(たとえば、復号および符号化)するために、対応するデコーダ(たとえば、音声デコーダまたは非音声デコーダ)と対応するエンコーダとを選択し得る。トランスコーディングされたデータなど、ボコーダエンコーダ2736において生成された符号化オーディオデータは、プロセッサ2706を介して送信データプロセッサ2766またはネットワーク接続2760に与えられ得る。
[0266]トランスコーダ2710からのトランスコーディングされたオーディオデータは、変調シンボルを生成するためにOFDMなどの変調方式に従ってコーディングするために、送信データプロセッサ2766に与えられ得る。送信データプロセッサ2766は、さらなる処理およびビームフォーミングのために変調シンボルを送信MIMOプロセッサ2768に与え得る。送信MIMOプロセッサ2768は、ビームフォーミング重みを適用し得、変調シンボルを、第1のトランシーバ2752を介して、第1のアンテナ2742など、アンテナのアレイの1つまたは複数のアンテナに与え得る。したがって、基地局2700は、ワイヤレスデバイスから受信されたデータストリーム2714に対応するトランスコーディングされたデータストリーム2716を、別のワイヤレスデバイスに与え得る。トランスコーディングされたデータストリーム2716は、データストリーム2714とは異なる符号化フォーマット、データレート、またはその両方を有し得る。他の実装形態では、トランスコーディングされたデータストリーム2716は、別の基地局またはコアネットワークへの送信のために、ネットワーク接続2760に与えられ得る。
[0267]したがって、基地局2700は、プロセッサ(たとえば、プロセッサ2706またはトランスコーダ2710)によって実行されたとき、プロセッサに、パラメータの値に少なくとも部分的に基づいて複数の非線形処理関数を選択することを含む動作を実施させる命令を記憶するコンピュータ可読記憶デバイス(たとえば、メモリ2732)を含み得る。パラメータは、バンド幅拡張されたオーディオストリームに関連する。動作は、複数の非線形処理関数に基づいてハイバンド励起信号を生成することをも含む。
[0268]特定の態様では、基地局2700は、プロセッサ(たとえば、プロセッサ2706またはトランスコーダ2710)によって実行されたとき、プロセッサに、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することを含む動作を実施させる命令を記憶するコンピュータ可読記憶デバイス(たとえば、メモリ2732)を含み得る。動作は、パラメータの値を決定することをも含む。動作は、パラメータの値に基づいて、バンド幅拡張されたオーディオストリームに関連するターゲット利得情報またはバンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することをさらに含む。動作は、ターゲット利得情報またはフィルタ情報のうちの1つに基づいてハイバンド励起信号を生成することをも含む。
[0269]さらに、本明細書で開示される態様に関して説明される様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、ハードウェアプロセッサなどの処理デバイスによって実行されるコンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、上記では概して、それらの機能に関して説明された。そのような機能がハードウェアとして実装されるのか実行可能ソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明される機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
[0270]本明細書で開示される態様に関して説明された方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT−MRAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読取り専用メモリ(CD−ROM)など、メモリデバイス中に常駐し得る。例示的なメモリデバイスは、プロセッサがメモリデバイスから情報を読み取り、メモリデバイスに情報を書き込むことができるように、プロセッサに結合される。代替として、メモリデバイスはプロセッサと一体であり得る。プロセッサおよび記憶媒体は特定用途向け集積回路(ASIC)中に存在し得る。ASICはコンピューティングデバイスまたはユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として存在し得る。
[0271]開示される態様の上記の説明は、開示される態様を当業者が作成または使用することを可能にするために与えられた。これらの態様への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に限定されるものではなく、以下の特許請求の範囲によって定義される原理および新規の特徴に一致する可能な最も広い範囲を与えられるべきである。
[0271]開示される態様の上記の説明は、開示される態様を当業者が作成または使用することを可能にするために与えられた。これらの態様への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に限定されるものではなく、以下の特許請求の範囲によって定義される原理および新規の特徴に一致する可能な最も広い範囲を与えられるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
バンド幅拡張されたオーディオストリームに関連するパラメータを受信するように構成された受信機と、
前記パラメータの値を決定することと、
前記パラメータの前記値に基づいて、前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することと、
前記ターゲット利得情報または前記フィルタ情報のうちの前記1つに基づいてハイバンド励起信号を生成することと
を行うように構成されたハイバンド励起信号生成器と
を備える信号処理のためのデバイス。
[C2]
前記ハイバンド励起信号生成器は、前記パラメータが第1の値を有するとき、前記ターゲット利得情報を選択するようにさらに構成された、C1に記載のデバイス。
[C3]
前記ターゲット利得情報が、ハイバンド基準利得情報、時間サブフレーム残差利得形状情報、またはその両方を含む、C1に記載のデバイス。
[C4]
前記ターゲット利得情報が、エンコーダから前記受信機によって受信される、C1に記載のデバイス。
[C5]
前記ハイバンド励起信号生成器は、前記パラメータが第2の値を有するとき、前記フィルタ情報を選択するようにさらに構成された、C1に記載のデバイス。
[C6]
前記フィルタ情報が、エンコーダから前記受信機によって受信される、C1に記載のデバイス。
[C7]
前記フィルタ情報が有限インパルス応答(FIR)フィルタのフィルタ係数を示す、C1に記載のデバイス。
[C8]
前記ハイバンド励起信号生成器は、前記パラメータが第2の値を有するとき、
前記フィルタ情報を選択することと、
前記フィルタ情報に基づいてフィルタを決定することと、
第1のハイバンド励起信号への前記フィルタの適用に基づいて前記ハイバンド励起信号を生成することと
を行うようにさらに構成された、C1に記載のデバイス。
[C9]
前記第1のハイバンド励起信号が、時間領域中のローバンド励起信号を高調波的に拡張することに基づいて生成される、C8に記載のデバイス。
[C10]
前記第1のハイバンド励起信号が、前記フィルタの前記適用より前に雑音信号と組み合わせられる、C8に記載のデバイス。
[C11]
前記第1のハイバンド励起信号への前記フィルタの前記適用が、フィルタ処理された信号を生成し、ここにおいて、前記ハイバンド励起信号が、前記フィルタ処理された信号を、雑音信号に基づく別の信号と組み合わせることによって生成される、C8に記載のデバイス。
[C12]
前記フィルタが有限インパルス応答(FIR)フィルタを備える、C8に記載のデバイス。
[C13]
前記受信機に結合されたアンテナと、ここにおいて、前記受信機が、符号化オーディオ信号を受信するように構成された、
前記受信機に結合された復調器と、前記復調器が、前記符号化オーディオ信号を復調するように構成された、
前記プロセッサに結合されたデコーダと、前記デコーダが、前記符号化オーディオ信号を復号するように構成され、ここにおいて、前記符号化オーディオ信号が、前記バンド幅拡張されたオーディオストリームに対応し、ここにおいて、前記プロセッサが前記復調器に結合される、
をさらに備える、C1に記載のデバイス。
[C14]
前記受信機、前記復調器、前記プロセッサ、および前記デコーダがモバイル通信デバイスに組み込まれる、C13に記載のデバイス。
[C15]
前記受信機、前記復調器、前記プロセッサ、および前記デコーダが基地局に組み込まれ、前記基地局が、前記デコーダを含むトランスコーダをさらに備える、C13に記載のデバイス。
[C16]
前記受信機および前記ハイバンド励起信号生成器が、メディア再生デバイスまたはメディアブロードキャストデバイスに組み込まれる、C1に記載のデバイス。
[C17]
デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することと、
前記デバイスにおいて、前記パラメータの値を決定することと、
前記パラメータの前記値に基づいて、前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することと、
前記デバイスにおいて、前記ターゲット利得情報または前記フィルタ情報のうちの前記1つに基づいてハイバンド励起信号を生成することと
を備える信号処理方法。
[C18]
エンコーダから前記ターゲット利得情報を受信することと、前記パラメータが第1の値を有するとき、前記ターゲット利得情報を選択することとをさらに備える、C17に記載の方法。
[C19]
前記パラメータが第2の値を有するとき、前記フィルタ情報を選択することをさらに備える、C17に記載の方法。
[C20]
前記デバイスがメディア再生デバイスまたはメディアブロードキャストデバイスを備える、C17に記載の方法。
[C21]
前記デバイスがモバイル通信デバイスを備える、C17に記載の方法。
[C22]
前記デバイスが基地局を備える、C17に記載の方法。
[C23]
前記パラメータが第2の値を有するとき、
前記デバイスにおいて、前記フィルタ情報を選択することと、
前記デバイスにおいて、前記フィルタ情報に基づいてフィルタを決定することと、
前記デバイスにおいて、第1のハイバンド励起信号への前記フィルタの適用に基づいて前記ハイバンド励起信号を生成することと
をさらに備える、C17に記載の方法。
[C24]
前記第1のハイバンド励起信号への前記フィルタの前記適用が、フィルタ処理された信号を生成し、ここにおいて、前記ハイバンド励起信号が、前記フィルタ処理された信号を、雑音信号に基づく別の信号と組み合わせることによって生成される、C23に記載の方法。
[C25]
プロセッサによって実行されたとき、前記プロセッサに、
バンド幅拡張されたオーディオストリームに関連するパラメータを受信することと、
前記パラメータの値を決定することと、
前記パラメータの前記値に基づいて、前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することと、
前記ターゲット利得情報または前記フィルタ情報のうちの前記1つに基づいてハイバンド励起信号を生成することと
を備える動作を実施させる命令を記憶するコンピュータ可読記憶デバイス。
[C26]
前記動作は、前記パラメータが第2の値を有するとき、
前記フィルタ情報を選択することと、
前記フィルタ情報に基づいてフィルタを決定することと、
第1のハイバンド励起信号への前記フィルタの適用に基づいて前記ハイバンド励起信号を生成することと
をさらに備える、C25に記載のコンピュータ可読記憶デバイス。
[C27]
バンド幅拡張されたオーディオストリームに関連するパラメータを受信するための手段と、
前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つに基づいて、ハイバンド励起信号を生成するための手段と、前記ターゲット利得情報または前記フィルタ情報のうちの前記1つが、前記パラメータの値に基づいて選択される、
を備える装置。
[C28]
受信するための前記手段および生成するための前記手段が、メディア再生デバイスまたはメディアブロードキャストデバイスに組み込まれる、C27に記載の装置。
[C29]
受信するための前記手段および生成するための前記手段が基地局に組み込まれる、C27に記載の装置。
[C30]
受信するための前記手段および生成するための前記手段がモバイル通信デバイスに組み込まれる、C27に記載の装置。

Claims (30)

  1. バンド幅拡張されたオーディオストリームに関連するパラメータを受信するように構成された受信機と、
    前記パラメータの値を決定することと、
    前記パラメータの前記値に基づいて、前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することと、
    前記ターゲット利得情報または前記フィルタ情報のうちの前記1つに基づいてハイバンド励起信号を生成することと
    を行うように構成されたハイバンド励起信号生成器と
    を備える信号処理のためのデバイス。
  2. 前記ハイバンド励起信号生成器は、前記パラメータが第1の値を有するとき、前記ターゲット利得情報を選択するようにさらに構成された、請求項1に記載のデバイス。
  3. 前記ターゲット利得情報が、ハイバンド基準利得情報、時間サブフレーム残差利得形状情報、またはその両方を含む、請求項1に記載のデバイス。
  4. 前記ターゲット利得情報が、エンコーダから前記受信機によって受信される、請求項1に記載のデバイス。
  5. 前記ハイバンド励起信号生成器は、前記パラメータが第2の値を有するとき、前記フィルタ情報を選択するようにさらに構成された、請求項1に記載のデバイス。
  6. 前記フィルタ情報が、エンコーダから前記受信機によって受信される、請求項1に記載のデバイス。
  7. 前記フィルタ情報が有限インパルス応答(FIR)フィルタのフィルタ係数を示す、請求項1に記載のデバイス。
  8. 前記ハイバンド励起信号生成器は、前記パラメータが第2の値を有するとき、
    前記フィルタ情報を選択することと、
    前記フィルタ情報に基づいてフィルタを決定することと、
    第1のハイバンド励起信号への前記フィルタの適用に基づいて前記ハイバンド励起信号を生成することと
    を行うようにさらに構成された、請求項1に記載のデバイス。
  9. 前記第1のハイバンド励起信号が、時間領域中のローバンド励起信号を高調波的に拡張することに基づいて生成される、請求項8に記載のデバイス。
  10. 前記第1のハイバンド励起信号が、前記フィルタの前記適用より前に雑音信号と組み合わせられる、請求項8に記載のデバイス。
  11. 前記第1のハイバンド励起信号への前記フィルタの前記適用が、フィルタ処理された信号を生成し、ここにおいて、前記ハイバンド励起信号が、前記フィルタ処理された信号を、雑音信号に基づく別の信号と組み合わせることによって生成される、請求項8に記載のデバイス。
  12. 前記フィルタが有限インパルス応答(FIR)フィルタを備える、請求項8に記載のデバイス。
  13. 前記受信機に結合されたアンテナと、ここにおいて、前記受信機が、符号化オーディオ信号を受信するように構成された、
    前記受信機に結合された復調器と、前記復調器が、前記符号化オーディオ信号を復調するように構成された、
    前記プロセッサに結合されたデコーダと、前記デコーダが、前記符号化オーディオ信号を復号するように構成され、ここにおいて、前記符号化オーディオ信号が、前記バンド幅拡張されたオーディオストリームに対応し、ここにおいて、前記プロセッサが前記復調器に結合される、
    をさらに備える、請求項1に記載のデバイス。
  14. 前記受信機、前記復調器、前記プロセッサ、および前記デコーダがモバイル通信デバイスに組み込まれる、請求項13に記載のデバイス。
  15. 前記受信機、前記復調器、前記プロセッサ、および前記デコーダが基地局に組み込まれ、前記基地局が、前記デコーダを含むトランスコーダをさらに備える、請求項13に記載のデバイス。
  16. 前記受信機および前記ハイバンド励起信号生成器が、メディア再生デバイスまたはメディアブロードキャストデバイスに組み込まれる、請求項1に記載のデバイス。
  17. デバイスにおいて、バンド幅拡張されたオーディオストリームに関連するパラメータを受信することと、
    前記デバイスにおいて、前記パラメータの値を決定することと、
    前記パラメータの前記値に基づいて、前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することと、
    前記デバイスにおいて、前記ターゲット利得情報または前記フィルタ情報のうちの前記1つに基づいてハイバンド励起信号を生成することと
    を備える信号処理方法。
  18. エンコーダから前記ターゲット利得情報を受信することと、前記パラメータが第1の値を有するとき、前記ターゲット利得情報を選択することとをさらに備える、請求項17に記載の方法。
  19. 前記パラメータが第2の値を有するとき、前記フィルタ情報を選択することをさらに備える、請求項17に記載の方法。
  20. 前記デバイスがメディア再生デバイスまたはメディアブロードキャストデバイスを備える、請求項17に記載の方法。
  21. 前記デバイスがモバイル通信デバイスを備える、請求項17に記載の方法。
  22. 前記デバイスが基地局を備える、請求項17に記載の方法。
  23. 前記パラメータが第2の値を有するとき、
    前記デバイスにおいて、前記フィルタ情報を選択することと、
    前記デバイスにおいて、前記フィルタ情報に基づいてフィルタを決定することと、
    前記デバイスにおいて、第1のハイバンド励起信号への前記フィルタの適用に基づいて前記ハイバンド励起信号を生成することと
    をさらに備える、請求項17に記載の方法。
  24. 前記第1のハイバンド励起信号への前記フィルタの前記適用が、フィルタ処理された信号を生成し、ここにおいて、前記ハイバンド励起信号が、前記フィルタ処理された信号を、雑音信号に基づく別の信号と組み合わせることによって生成される、請求項23に記載の方法。
  25. プロセッサによって実行されたとき、前記プロセッサに、
    バンド幅拡張されたオーディオストリームに関連するパラメータを受信することと、
    前記パラメータの値を決定することと、
    前記パラメータの前記値に基づいて、前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つを選択することと、
    前記ターゲット利得情報または前記フィルタ情報のうちの前記1つに基づいてハイバンド励起信号を生成することと
    を備える動作を実施させる命令を記憶するコンピュータ可読記憶デバイス。
  26. 前記動作は、前記パラメータが第2の値を有するとき、
    前記フィルタ情報を選択することと、
    前記フィルタ情報に基づいてフィルタを決定することと、
    第1のハイバンド励起信号への前記フィルタの適用に基づいて前記ハイバンド励起信号を生成することと
    をさらに備える、請求項25に記載のコンピュータ可読記憶デバイス。
  27. バンド幅拡張されたオーディオストリームに関連するパラメータを受信するための手段と、
    前記バンド幅拡張されたオーディオストリームに関連するターゲット利得情報または前記バンド幅拡張されたオーディオストリームに関連するフィルタ情報のうちの1つに基づいて、ハイバンド励起信号を生成するための手段と、前記ターゲット利得情報または前記フィルタ情報のうちの前記1つが、前記パラメータの値に基づいて選択される、
    を備える装置。
  28. 受信するための前記手段および生成するための前記手段が、メディア再生デバイスまたはメディアブロードキャストデバイスに組み込まれる、請求項27に記載の装置。
  29. 受信するための前記手段および生成するための前記手段が基地局に組み込まれる、請求項27に記載の装置。
  30. 受信するための前記手段および生成するための前記手段がモバイル通信デバイスに組み込まれる、請求項27に記載の装置。
JP2017565313A 2015-06-18 2016-05-26 ハイバンド信号生成 Active JP6794379B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562181702P 2015-06-18 2015-06-18
US62/181,702 2015-06-18
US201562241065P 2015-10-13 2015-10-13
US62/241,065 2015-10-13
US15/164,619 2016-05-25
US15/164,619 US9837089B2 (en) 2015-06-18 2016-05-25 High-band signal generation
PCT/US2016/034453 WO2016204956A1 (en) 2015-06-18 2016-05-26 High-band signal generation

Publications (2)

Publication Number Publication Date
JP2018522272A true JP2018522272A (ja) 2018-08-09
JP6794379B2 JP6794379B2 (ja) 2020-12-02

Family

ID=56121190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017565313A Active JP6794379B2 (ja) 2015-06-18 2016-05-26 ハイバンド信号生成

Country Status (20)

Country Link
US (1) US9837089B2 (ja)
EP (1) EP3311381B1 (ja)
JP (1) JP6794379B2 (ja)
KR (1) KR101951588B1 (ja)
CN (1) CN107787510B (ja)
AU (1) AU2016278851B2 (ja)
BR (1) BR112017027364B1 (ja)
CA (1) CA2986435C (ja)
CL (1) CL2017003157A1 (ja)
CO (1) CO2017012876A2 (ja)
HK (1) HK1245494B (ja)
MX (1) MX2017015416A (ja)
MY (1) MY182303A (ja)
NZ (1) NZ737172A (ja)
PH (1) PH12017502232A1 (ja)
RU (1) RU2667460C1 (ja)
SA (1) SA517390520B1 (ja)
TW (1) TWI631555B (ja)
WO (1) WO2016204956A1 (ja)
ZA (1) ZA201708559B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
US10553222B2 (en) * 2017-03-09 2020-02-04 Qualcomm Incorporated Inter-channel bandwidth extension spectral mapping and adjustment
US10431231B2 (en) * 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension
US20190051286A1 (en) * 2017-08-14 2019-02-14 Microsoft Technology Licensing, Llc Normalization of high band signals in network telephony communications
US10734001B2 (en) * 2017-10-05 2020-08-04 Qualcomm Incorporated Encoding or decoding of audio signals
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483884A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
WO2024052378A1 (en) * 2022-09-09 2024-03-14 Telefonaktiebolaget Lm Ericsson (Publ) Low complex bandwidth extension target generation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001525079A (ja) * 1997-05-15 2001-12-04 ヒューレット・パッカード・カンパニー 音声符号化システム及び方法
JP2008535026A (ja) * 2005-04-01 2008-08-28 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符合化及び復号する方法及び装置
JP2011527449A (ja) * 2008-07-11 2011-10-27 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 符号化されたオーディオ信号を復号化するための装置および方法
JP2012515362A (ja) * 2009-01-16 2012-07-05 ドルビー インターナショナル アーベー クロス生成物により向上された高調波転換

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797926A (en) * 1986-09-11 1989-01-10 American Telephone And Telegraph Company, At&T Bell Laboratories Digital speech vocoder
DE69029120T2 (de) * 1989-04-25 1997-04-30 Toshiba Kawasaki Kk Stimmenkodierer
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
US6047254A (en) * 1996-05-15 2000-04-04 Advanced Micro Devices, Inc. System and method for determining a first formant analysis filter and prefiltering a speech signal for improved pitch estimation
SE9700772D0 (sv) * 1997-03-03 1997-03-03 Ericsson Telefon Ab L M A high resolution post processing method for a speech decoder
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3134817B2 (ja) * 1997-07-11 2001-02-13 日本電気株式会社 音声符号化復号装置
US6233550B1 (en) * 1997-08-29 2001-05-15 The Regents Of The University Of California Method and apparatus for hybrid coding of speech at 4kbps
CA2300077C (en) * 1998-06-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus and speech decoding apparatus
CA2252170A1 (en) * 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
EP1052622B1 (en) * 1999-05-11 2007-07-11 Nippon Telegraph and Telephone Corporation Selection of a synthesis filter for CELP type wideband audio coding
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
CA2722110C (en) * 1999-08-23 2014-04-08 Panasonic Corporation Apparatus and method for speech coding
CA2290037A1 (en) * 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
US7260523B2 (en) * 1999-12-21 2007-08-21 Texas Instruments Incorporated Sub-band speech coding system
US6704711B2 (en) * 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
EP1199711A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Encoding of audio signal using bandwidth expansion
JP2004519738A (ja) * 2001-04-05 2004-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 決定された信号型式に固有な技術を適用する信号の時間目盛修正
SE522553C2 (sv) * 2001-04-23 2004-02-17 Ericsson Telefon Ab L M Bandbreddsutsträckning av akustiska signaler
CN1326415C (zh) * 2001-06-26 2007-07-11 诺基亚公司 对音频信号进行代码变换的方法、码变换器、网元、无线通信网和通信系统
WO2003036623A1 (de) * 2001-09-28 2003-05-01 Siemens Aktiengesellschaft Sprachextender und verfahren zum schätzen eines breitbandigen sprachsignals anhand eines schmalbandigen sprachsignals
US6988066B2 (en) * 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US7191136B2 (en) 2002-10-01 2007-03-13 Ibiquity Digital Corporation Efficient coding of high frequency signal information in a signal using a linear/non-linear prediction model based on a low pass baseband
US20040138876A1 (en) * 2003-01-10 2004-07-15 Nokia Corporation Method and apparatus for artificial bandwidth expansion in speech processing
US7634399B2 (en) * 2003-01-30 2009-12-15 Digital Voice Systems, Inc. Voice transcoder
US7155386B2 (en) * 2003-03-15 2006-12-26 Mindspeed Technologies, Inc. Adaptive correlation window for open-loop pitch
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
FI118550B (fi) * 2003-07-14 2007-12-14 Nokia Corp Parannettu eksitaatio ylemmän kaistan koodaukselle koodekissa, joka käyttää kaistojen jakoon perustuvia koodausmenetelmiä
KR100587953B1 (ko) * 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
JPWO2005106848A1 (ja) * 2004-04-30 2007-12-13 松下電器産業株式会社 スケーラブル復号化装置および拡張レイヤ消失隠蔽方法
US7630902B2 (en) * 2004-09-17 2009-12-08 Digital Rise Technology Co., Ltd. Apparatus and methods for digital audio coding using codebook application ranges
KR100707174B1 (ko) * 2004-12-31 2007-04-13 삼성전자주식회사 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
TWI324336B (en) * 2005-04-22 2010-05-01 Qualcomm Inc Method of signal processing and apparatus for gain factor smoothing
US7707034B2 (en) * 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
US20070005351A1 (en) * 2005-06-30 2007-01-04 Sathyendra Harsha M Method and system for bandwidth expansion for voice communications
US7734462B2 (en) * 2005-09-02 2010-06-08 Nortel Networks Limited Method and apparatus for extending the bandwidth of a speech signal
EP1772855B1 (en) * 2005-10-07 2013-09-18 Nuance Communications, Inc. Method for extending the spectral bandwidth of a speech signal
EP1814107B1 (en) * 2006-01-31 2011-10-12 Nuance Communications, Inc. Method for extending the spectral bandwidth of a speech signal and system thereof
US8837446B2 (en) * 2006-05-16 2014-09-16 Autonet Mobile, Inc. Mobile router network with rate limiting
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8005671B2 (en) * 2006-12-04 2011-08-23 Qualcomm Incorporated Systems and methods for dynamic normalization to reduce loss in precision for low-level signals
EP1947644B1 (en) 2007-01-18 2019-06-19 Nuance Communications, Inc. Method and apparatus for providing an acoustic signal with extended band-width
JP4984983B2 (ja) * 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
ES2658942T3 (es) * 2007-08-27 2018-03-13 Telefonaktiebolaget Lm Ericsson (Publ) Análisis espectral/síntesis de baja complejidad utilizando resolución temporal seleccionable
KR101290622B1 (ko) * 2007-11-02 2013-07-29 후아웨이 테크놀러지 컴퍼니 리미티드 오디오 복호화 방법 및 장치
US8433582B2 (en) * 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
RU2562395C2 (ru) * 2008-03-04 2015-09-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Микширование входящих информационных потоков
JP2009300707A (ja) * 2008-06-13 2009-12-24 Sony Corp 情報処理装置および方法、並びにプログラム
RU2443028C2 (ru) * 2008-07-11 2012-02-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство и способ расчета параметров расширения полосы пропускания посредством управления фреймами наклона спектра
ES2539304T3 (es) * 2008-07-11 2015-06-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Un aparato y un método para generar datos de salida por ampliación de ancho de banda
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
US9037474B2 (en) * 2008-09-06 2015-05-19 Huawei Technologies Co., Ltd. Method for classifying audio signal into fast signal or slow signal
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
BR122020007866B1 (pt) * 2009-10-21 2021-06-01 Dolby International Ab Sistema configurado para gerar um componente de alta frequência de um sinal de áudio, método para gerar um componente de alta frequência de um sinal de áudio e método para projetar um transpositor de harmônicos
CN102648495B (zh) * 2009-10-21 2014-05-28 杜比Ab国际公司 用于利用适应性过取样产生高频音频信号的装置及方法
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
RU2510974C2 (ru) * 2010-01-08 2014-04-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования, способ декодирования, устройство кодера, устройство декодера, программа и носитель записи
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
CN104321815B (zh) * 2012-03-21 2018-10-16 三星电子株式会社 用于带宽扩展的高频编码/高频解码方法和设备
CN105976830B (zh) * 2013-01-11 2019-09-20 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
CN108172239B (zh) * 2013-09-26 2021-01-12 华为技术有限公司 频带扩展的方法及装置
KR102271852B1 (ko) * 2013-11-02 2021-07-01 삼성전자주식회사 광대역 신호 생성방법 및 장치와 이를 채용하는 기기
US9564141B2 (en) 2014-02-13 2017-02-07 Qualcomm Incorporated Harmonic bandwidth extension of audio signals
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001525079A (ja) * 1997-05-15 2001-12-04 ヒューレット・パッカード・カンパニー 音声符号化システム及び方法
JP2008535026A (ja) * 2005-04-01 2008-08-28 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符合化及び復号する方法及び装置
JP2011527449A (ja) * 2008-07-11 2011-10-27 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 符号化されたオーディオ信号を復号化するための装置および方法
JP2012515362A (ja) * 2009-01-16 2012-07-05 ドルビー インターナショナル アーベー クロス生成物により向上された高調波転換

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FREDERIK NAGEL, ET AL.: "A HARMONIC BANDWIDTH EXTENSION METHOD FOR AUDIO CODECS", PROCEEDINGS OF THE 2009 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING(ICA, JPN6016024595, January 2009 (2009-01-01), pages 145 - 148, ISSN: 0003790804 *
則松武志他: "音声と楽音を統合した音響信号符号化", 日本音響学会誌, vol. 第68巻,第3号, JPN6016024596, 1 March 2012 (2012-03-01), pages 123 - 128, ISSN: 0003790803 *

Also Published As

Publication number Publication date
AU2016278851A1 (en) 2017-11-30
HK1245494B (zh) 2020-06-26
MX2017015416A (es) 2018-03-01
MY182303A (en) 2021-01-18
TW201705126A (zh) 2017-02-01
CN107787510B (zh) 2019-08-30
WO2016204956A1 (en) 2016-12-22
EP3311381B1 (en) 2024-04-03
SA517390520B1 (ar) 2020-07-19
NZ737172A (en) 2019-10-25
EP3311381A1 (en) 2018-04-25
CA2986435A1 (en) 2016-12-22
CN107787510A (zh) 2018-03-09
CL2017003157A1 (es) 2018-06-01
TWI631555B (zh) 2018-08-01
US20160372125A1 (en) 2016-12-22
AU2016278851B2 (en) 2019-05-16
KR101951588B1 (ko) 2019-02-22
BR112017027364A2 (ja) 2018-08-21
CA2986435C (en) 2019-05-28
KR20180019583A (ko) 2018-02-26
JP6794379B2 (ja) 2020-12-02
CO2017012876A2 (es) 2018-02-28
PH12017502232A1 (en) 2018-06-11
ZA201708559B (en) 2020-01-29
US9837089B2 (en) 2017-12-05
RU2667460C1 (ru) 2018-09-19
BR112017027364B1 (pt) 2023-12-26

Similar Documents

Publication Publication Date Title
JP6710706B2 (ja) ハイバンド信号生成
JP6794379B2 (ja) ハイバンド信号生成
JP6752936B2 (ja) ノイズ変調とゲイン調整とを実行するシステムおよび方法
JP6469664B2 (ja) ハイバンド励振信号を生成するための混合係数の推定
KR20180041131A (ko) 고대역 타겟 신호 제어
US20200066283A1 (en) Inter-channel bandwidth extension spectral mapping and adjustment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190621

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20191224

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200703

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20200716

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200908

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201013

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201111

R150 Certificate of patent or registration of utility model

Ref document number: 6794379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250