JP2015509214A - 冗長フレーム符号化および復号のためのデバイス - Google Patents

冗長フレーム符号化および復号のためのデバイス Download PDF

Info

Publication number
JP2015509214A
JP2015509214A JP2014553477A JP2014553477A JP2015509214A JP 2015509214 A JP2015509214 A JP 2015509214A JP 2014553477 A JP2014553477 A JP 2014553477A JP 2014553477 A JP2014553477 A JP 2014553477A JP 2015509214 A JP2015509214 A JP 2015509214A
Authority
JP
Japan
Prior art keywords
frame
encoding
electronic device
redundant version
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014553477A
Other languages
English (en)
Other versions
JP6077011B2 (ja
JP2015509214A5 (ja
Inventor
ラジェンドラン、ビベク
クリシュナン、ベンカテシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015509214A publication Critical patent/JP2015509214A/ja
Publication of JP2015509214A5 publication Critical patent/JP2015509214A5/ja
Application granted granted Critical
Publication of JP6077011B2 publication Critical patent/JP6077011B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G10L19/107Sparse pulse excitation, e.g. by using algebraic codebook
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G10L19/113Regular pulse excitation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Abstract

電子デバイスによる冗長フレーム符号化のための方法について説明される。本方法は、フレームに基づいて適応コードブックエネルギーと固定コードブックエネルギーとを決定することを含む。本方法は、適応コードブックエネルギーと固定コードブックエネルギーとに基づいてフレームの冗長バージョンを符号化することも含む。本方法は、後続のフレームを送信することをさらに含む。

Description

関連出願
[0001]本出願は、参照により本明細書に組み込まれる、2012年1月20日に出願した、「DEVICES FOR REDUNDANT FRAME CODING」と題する米国仮特許出願第61/589,103号、および2012年6月18日に出願した、「DEVICES FOR REDUNDANT FRAME CODING」と題する米国仮特許出願第61/661,245号に関連し、これらの優先権を主張する。
[0002]本開示は、一般に信号処理に関する。より詳細には、本開示は、冗長フレーム符号化および復号のためのデバイスに関する。
[0003]最近の数十年で、電子デバイスの使用が一般的になった。特に、電子技術の進歩は、ますます複雑で有用になる電子デバイスのコストを低減した。コスト低減および消費者需要により、電子デバイスが現代社会において事実上ユビキタスであるほど電子デバイスの使用が激増した。電子デバイスの使用が拡大するにつれて、電子デバイスの新しい改善された特徴に対する需要も拡大した。より詳細には、より高速に、より効率的に、またはより高品質で機能を実行する電子デバイスがしばしば求められる。
[0004]いくつかの電子デバイス(たとえば、携帯電話、スマートフォン、コンピュータなど)はオーディオまたは音声信号を使用する。これらの電子デバイスは、記憶または送信のために発話信号を符号化し得る。たとえば、携帯電話は、マイクロフォンを使用してユーザの音声または発話をキャプチャする。マイクロフォンは、音響信号を電子信号に変換する。この電子信号は、次いで、別のデバイス(たとえば、携帯電話、スマートフォン、コンピュータなど)への送信のため、再生のため、または記憶のためにフォーマット(たとえば、符号化)され得る。
[0005]信号の信頼性および品質の改善がしばしば求められる。たとえば、携帯電話のユーザは、通信される発話信号の信頼性および品質の向上を望むことがある。しかしながら、限られたリソースによって、信頼性および品質を改善するのは難しい場合がある。この議論から認識され得るように、信号の信頼性および/または品質を改善するのを助けることができるシステムおよび方法が有益であり得る。
[0006]電子デバイスによる冗長フレーム符号化のための方法について説明される。本方法は、フレームに基づいて適応コードブックエネルギーと固定コードブックエネルギーとを決定することを含む。本方法は、適応コードブックエネルギーと固定コードブックエネルギーとに基づいてフレームの冗長バージョンを符号化することも含む。本方法は、後続のフレームを送信することをさらに含む。本フレームは、サブフレームであり得る。フレームの冗長バージョンのサイズは、可変であり得る。
[0007]適応コードブックエネルギーと固定コードブックエネルギーとに基づいてフレームの冗長バージョンを符号化することは、適応コードブックエネルギーと固定コードブックエネルギーとに基づいて因子を決定することを含み得る。フレームの冗長バージョンを符号化することは、フレームの少なくとも1つのサブフレームの少なくとも1つのパラメータの符号化をスキップすることを含み得る。フレームの冗長バージョンを符号化することは、固定ベースまたは適応ベースで1つまたは複数のパラメータの符号化をスキップするための1つまたは複数のサブフレームを決定することを含み得る。
[0008]適応コードブックエネルギーと固定コードブックエネルギーとに基づいてフレームの冗長バージョンを符号化することは、因子が、第1のしきい値未満であるか、第1のしきい値と第2のしきい値との間であるか、または第2のしきい値を上回るかどうかを判定することを含み得る。因子が第1のしきい値未満である場合、フレームの冗長バージョンを符号化することは、フレームの冗長バージョンに関する1つまたは複数の固定コードブックパラメータのみを符号化することを含み得る。因子が第1のしきい値と第2のしきい値との間である場合、フレームの冗長バージョンを符号化することは、フレームの冗長バージョンに関する1つまたは複数の適応コードブックパラメータと1つまたは複数の固定コードブックパラメータとを符号化することを含み得る。
[0009]因子が第2のしきい値を上回る場合、フレームの冗長バージョンを符号化することは、フレームの冗長バージョンに関する1つまたは複数の適応コードブックパラメータのみを符号化することを含み得る。因子は、式
Figure 2015509214
によるMであり得る。E(ACB)は適応コードブックエネルギーであり、E(FCB)は固定コードブックエネルギーであり得る。第1のしきい値は0.15であり、第2のしきい値は0.3であり得る。
[0010]フレームの冗長バージョンを符号化することは、1次ビットストリームから1つまたは複数のパラメータを選択的に破棄することを含み得る。フレームの冗長バージョンを符号化することは、より少ないビットを使用してフレームのコード化を再実行することを含み得る。
[0011]電子デバイスによる冗長フレーム復号のための方法についても説明される。本方法は、フレームの受信が成功しなかったかどうかを判定することを含む。本方法は、フレームの受信が成功しなかった場合、フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって符号化方式を決定することも含む。本方法は、フレームの受信が成功しなかった場合、符号化方式に基づいてフレームを再構成することをさらに含む。
[0012]冗長フレーム符号化のための電子デバイスについても説明される。本電子デバイスは、フレームに基づいて適応コードブックエネルギーを決定する適応コードブックエネルギー決定回路を含む。本電子デバイスは、フレームに基づいて固定コードブックエネルギーを決定する固定コードブックエネルギー決定回路も含む。本電子デバイスは、適応コードブックエネルギー決定回路と固定コードブックエネルギー決定回路とに結合された冗長符号器(redundancy coder)をさらに含む。冗長符号器は、適応コードブックエネルギーと固定コードブックエネルギーとに基づいてフレームの冗長バージョンを符号化する。本電子デバイスは、冗長符号器に結合された送信回路をさらに含む。本送信回路は、後続のフレームを送信する。
[0013]冗長フレーム復号のための電子デバイスについても説明される。本電子デバイスは、フレームの受信が成功しなかったかどうかを判定するエラー検出回路を含む。本電子デバイスは、エラー検出回路に結合された符号化方式決定回路も含む。本符号化方式決定回路は、フレームの受信が成功しなかった場合、フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって符号化方式を決定する。本電子デバイスは、符号化方式決定回路に結合されたフレーム再構成回路をさらに含む。フレーム再構成回路は、フレームの受信が成功しなかった場合、符号化方式に基づいてフレームを再構成する。
[0014]冗長フレーム符号化のためのコンピュータプログラム製品についても説明される。本コンピュータプログラム製品は、命令を有する非一時的有形コンピュータ可読媒体を含む。本命令は、電子デバイスに、フレームに基づいて適応コードブックエネルギーと固定コードブックエネルギーとを決定させるためのコードを含む。本命令は、電子デバイスに、適応コードブックエネルギーと固定コードブックエネルギーとに基づいてフレームの冗長バージョンを符号化させるためのコードも含む。本命令は、電子デバイスに、後続のフレームを送信させるためのコードをさらに含む。
[0015]冗長フレーム復号のためのコンピュータプログラム製品についても説明される。本コンピュータプログラム製品は、命令を有する非一時的有形コンピュータ可読媒体を含む。本命令は、電子デバイスに、フレームの受信が成功しなかったかどうかを判定させるためのコードを含む。本命令は、フレームの受信が成功しなかった場合、フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって、電子デバイスに符号化方式を決定させるためのコードも含む。本命令は、フレームの受信が成功しなかった場合、電子デバイスに、符号化方式に基づいてフレームを再構成させるためのコードをさらに含む。
[0016]冗長フレーム符号化のための装置についても説明される。本装置は、フレームに基づいて適応コードブックエネルギーと固定コードブックエネルギーとを決定するための手段を含む。本装置は、適応コードブックエネルギーと固定コードブックエネルギーとに基づいてフレームの冗長バージョンを符号化するための手段も含む。本装置は、後続のフレームを送信するための手段をさらに含む。
[0017]冗長フレーム復号のための装置についても説明される。本装置は、フレームの受信が成功しなかったかどうかを判定するための手段を含む。本装置は、フレームの受信が成功しなかった場合、フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって符号化方式を決定するための手段も含む。本装置は、フレームの受信が成功しなかった場合、符号化方式に基づいてフレームを再構成するための手段をさらに含む。
[0018]冗長フレーム符号化のためのシステムおよび方法が実装され得る電子デバイスの一構成を示すブロック図。 [0019]冗長フレーム符号化のための方法の一構成を示す流れ図。 [0020]本明細書で開示されるシステムおよび方法による、フレームの冗長バージョンの一例を示す図。 [0021]フレームの冗長バージョンを符号化するための方法の一構成を示す流れ図。 [0022]冗長フレーム符号化のための方法のより具体的な構成を示す流れ図。 [0023]フレームの冗長バージョンを符号化するための方法のより具体的な構成を示す流れ図。 [0024]本明細書で開示されるシステムおよび方法による、フレームの冗長バージョンのより具体的な例を示す図。 [0025]冗長フレーム符号化のためのシステムおよび方法が実装され得る電子デバイスのより具体的な構成を示すブロック図。 [0026]冗長フレーム復号のためのシステムおよび方法が実装され得る電子デバイスの一構成を示すブロック図。 [0027]冗長フレーム復号のための方法の一構成を示す流れ図。 [0028]冗長フレーム符号化および/または復号のためのシステムおよび方法が実装され得るワイヤレス通信デバイスの一構成を示すブロック図。 [0029]電子デバイスにおいて利用され得る様々な構成要素を示す図。
[0030]本明細書で開示されるシステムおよび方法は、種々の電子デバイスに適用され得る。電子デバイスの例には、携帯電話、スマートフォン、ボイスレコーダ、ビデオカメラ、オーディオプレーヤー(たとえば、Moving Picture Experts Group−1(MPEG−1)またはMPEG−2 Audio Layer 3(MP3)プレーヤー)、ビデオプレーヤー、オーディオレコーダー、デスクトップコンピュータ、ラップトップコンピュータ、携帯情報端末(PDA)、ゲームシステムなどがある。電子デバイスの一種は、別のデバイスと通信し得る通信デバイスである。通信デバイスの例には、電話、ラップトップコンピュータ、デスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスまたはワイヤードモデム、電子リーダー、タブレットデバイス、ゲームシステム、セルラー電話基地局またはノード、アクセスポイント、ワイヤレスゲートウェイおよびワイヤレスルータなどがある。
[0031]電子デバイス(たとえば、通信デバイス)は、国際電気通信連合(ITU)規格および/または米国電気電子技術者協会(IEEE)規格(たとえば、802.11a、802.11b、802.11g、802.11n、802.11acなどの802.11Wireless Fidelityまたは「Wi−Fi(登録商標)」規格)などの、いくつかの産業規格に従って動作し得る。通信デバイスが準拠し得る規格の他の例には、IEEE802.16(たとえば、Worldwide Interoperability for Microwave Accessまたは「WiMAX(登録商標)」)、3rd Generation Partnership Project(3GPP)、3GPP Long Term Evolution(LTE)、3rd Generation Partnership Project 2(3GPP2)、Global System for Mobile Telecommunications(GSM)(登録商標)などがある(通信デバイスは、たとえば、ユーザ機器(UE)、NodeB、evolved NodeB(eNB)、モバイルデバイス、移動局、加入者局、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、および/または加入者ユニットなどと呼ばれることがある)。本明細書で開示するシステムおよび方法のいくつかは1つまたは複数の標準に関して説明され得るが、これは、それらのシステムおよび方法が多くのシステムおよび/または標準に適用可能であり得るので、本開示の範囲を限定すべきではない。
[0032]いくつかの通信デバイスは、ワイヤレス通信リンクおよび/またはワイアード通信リンクを介して通信し得ることに留意されたい。たとえば、いくつかの通信デバイスは、ワイヤ(たとえば、イーサネット(登録商標)ケーブル、電話線など)上の、無線周波(RF)信号、光信号(たとえば、レーザーリンク、光ファイバリンク)、赤外線(IR)信号、および/または電子信号を介して他のデバイスと通信し得る。本明細書で開示するシステムおよび方法は、ワイヤレスリンクを介して通信し、および/またはワイヤードリンクを介して通信する通信デバイスに適用され得る。いくつかの構成では、本明細書で開示するシステムおよび方法は、衛星を使用して別のデバイスと通信する通信デバイスに適用され得る。
[0033]本明細書で使用する「結合する」という用語およびその変形形態は、直接接続および/または間接接続を示すために使用され得る。たとえば、第2の要素に結合された第1の要素は、第2の要素に直接接続され、および/または1つもしくは複数の介在要素を介して第2の要素に間接的に接続され得る。いくつかの構成では、要素は、ワイヤ、バス、および/または結合するための他の手段を介して結合され得る。
[0034]フレームごとに送信されるビットの総数が所定の定数であるコーデック(たとえば、発話コーデック)では、過去のフレームの冗長コピーを送信することは、現在のフレームの信号情報を符号化するためのビット数が低減されることを必要とし得る。これは、たとえば、復号される発話に対する知覚品質の影響を与え得る。一定の総ビットレートを維持する上記の制約を有しないコーデックにおいても、再送信によるキャパシティ損失を阻止するのに過去のフレームの冗長バージョン(たとえば、コピー)を符号化するために使用されるビット数を低減させる(たとえば、最小化する)ことが望ましい場合がある。
[0035]本明細書で開示するシステムおよび方法は、現在の(たとえば、1次)フレームの信号情報を符号化するためのビット数が(たとえば、最小まで)低減されるか、またはキャパシティに対する影響が(たとえば、最小まで)低減されるように、低減された(たとえば、最小の)ビット数を使用して、過去のフレームの冗長バージョン(たとえば、コピー)が符号化され得る手法を提供する。たとえば、本システムおよび方法は、(たとえば、1つの適用例では)信号情報を符号化するためのビット数を低減させるのを助け、および/または(たとえば、別の適用例では)再送信によるキャパシティ損失を低減させるのを助け得る。したがって、本明細書で開示するシステムおよび方法は、部分的なフレームコード化のために使用されるビット数を低減させる(たとえば、最小化する)一方で、冗長フレーム符号化方式を信号に依存するように適応させることにより、再送信を介して品質改善を行う(たとえば、最大化する)こともできる。
[0036]いくつかの構成では、本明細書で開示するシステムおよび方法は、前のフレームの冗長バージョン(たとえば、コピー)に関する適切な符号化方式(たとえば、冗長符号化方式)を選択するためにフレームエンコーダ(たとえば、1次フレームエンコーダ)からのパラメータを分析することについて説明する。コード励起線形予測(CELP)ベースの発話コーデックにおける既知の手法は、ピッチ寄与分を符号化するための適応コードブック(ACB)と、新規寄与分を符号化するための(たとえば、代数符号励振線形予測(ACELP)における)固定コードブック(FCB)とを使用する。
[0037]いくつかの構成では、1次コード化フレームからの適応コードブック寄与分のエネルギーおよび固定コードブック寄与分のエネルギーが、部分的なフレームにおける、どの成分(たとえば、発話パラメータ)を符号化すべきかを決定するために使用され得る。
たとえば、
Figure 2015509214
とする(ここで、E(ACB)は適応コードブック寄与分のエネルギーであり、E(FCB)は固定コードブック寄与分のエネルギーである)。M<0.15の場合、固定コードブック利得および固定コードブックパルスのみを符号化し得る、固定コードブックのみの符号化方式が選択され得る。0.15<M<0.3の場合、適応コードブック発話パラメータと固定コードブック発話パラメータの両方を符号化し得る、混合(たとえば、適応コードブックおよび固定コードブック)符号化方式が選択され得る。M>0.3の場合、ピッチラグおよびピッチ利得のみを符号化し得る、適応コードブックのみの符号化方式が選択され得る。いくつかの構成では、パラメータ(M、固定コードブックパルススタッキングなど)は、1次フレームNの部分的フレーム符号化タイプを決定するために、フレームNをコード化する最後に分析され得る。しかしながら、フレームNの部分的(冗長)コピーの実際の送信は、N+OFFSET(ここで、OFFSETは、たとえば前方エラー訂正フレームオフセットであり得る)で起こり得る。
[0038]線スペクトル周波数(LSF)と同様に、いくつかの共通パラメータを符号化するために使用されるビット数は、選択された符号化方式に依存する可能性もある。たとえば、M>0.3(強い音声のフレームを示し得る)の場合、線スペクトル周波数(LSF)を符号化するために、(他の場合、すなわちM<0.15または0.15<M<0.3よりも)少ないビットが使用され得る。これは、非予測方式よりも少ないビットを有する予測LSF量子化器を使用することによって品質の最小の損失または無損失で達成され得る。
[0039]Mがサブフレームベースで評価される場合、符号化方式も、サブフレームベースで選択され得る。たとえば、Mは、1つまたは複数のサブフレームに関して評価され得る。したがって、別の符号化方式は、1つまたは複数のサブフレームの各々の冗長符号化のために選択され得る。
[0040]いくつかの構成では、混合動作モードにおいて、限られたビット数のために、すべてのサブフレームが符号化されるとは限らない可能性がある。たとえば、発話フレームが4つのサブフレームに分割される場合、混合モードは、サブフレーム2および4またはサブフレーム1および3に関するピッチ利得またはピッチラグなどの、いくつかのパラメータの符号化をスキップするように設計され得る。
[0041]1次フレームからの固定コードブックパルススタッキングなどの情報は、部分的フレーム符号化方式の選択をさらに改善するために使用され得る。たとえば、1次コード化フレームにおける固定コードブックパルススタッキングは、固定コードブックが(適応コードブックとは別に)メインピッチパルスも符号化するために使用されることを示し得る。適応コードブックのみの部分的符号化方式の使用は、これらの条件の下では回避され得る。
[0042]本明細書で開示されるシステムおよび方法は、フレームに関しては簡単に説明され得ることに留意されたい。しかしながら、本明細書で開示するシステムおよび方法は、サブフレームに等しく適用され得る。したがって、本明細書で使用する「フレーム」という用語は、「フレーム」および/または「サブフレーム」を指す可能性がある。したがって、「フレーム」は、(たとえば、1つまたは複数のサブフレームを含む)フレームであるか、または「フレーム」は、別のフレーム内に含まれるサブフレームである可能性がある。たとえば、本明細書で開示するシステムおよび方法は発話フレームの処理に関して説明され得るが、サブフレームレベルの処理が同様に実行され得る。したがって、同様に、本明細書で説明する概念のすべてが発話サブフレームに適用され得る。たとえば、因子Mは、サブフレームレベルで決定され得、3つの説明した符号化方式のうちの1つは、特定のサブフレームに関して選択され得る。したがって、発話フレームは、そのサブフレームにおいて使用される異なる符号化方式を有し得る。
[0043]次に、図を参照しながら様々な構成について説明する。同様の参照番号は機能的に同様の要素を示し得る。本明細書で概して説明し、図に示すシステムおよび方法は、多種多様な異なる構成で構成および設計され得る。したがって、図に表されるいくつかの構成についての以下のより詳細な説明は、特許請求する範囲を限定するものではなく、システムおよび方法を代表するものにすぎない。
[0044]図1は、冗長フレーム符号化のためのシステムおよび方法が実装され得る電子デバイス102の一構成を示すブロック図である。電子デバイス102の例には、ワイヤレス通信デバイス(たとえば、携帯電話、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータ、電子リーダーなど)、デスクトップコンピュータ、電話、オーディオレコーダー、ゲームコンソール、テレビ、および他のデバイスがある。電子デバイス102は、適応コードブックエネルギー決定ブロック/モジュール106と、固定コードブックエネルギー決定ブロック/モジュール110と、冗長符号器114とを含む。本明細書で使用する「ブロック/モジュール」は、ハードウェア(たとえば、回路)、ソフトウェアまたはその両方の組合せで実装され得る。さらに、電子デバイス102内に含まれる要素のうちの1つまたは複数は、ハードウェア(たとえば、回路)、ソフトウェア、またはその両方の組合せで実装され得る。たとえば、冗長符号器114は、ハードウェア、ソフトウェア、またはその両方の組合せで実装され得る。いくつかの構成では、適応コードブックエネルギー決定ブロック/モジュール106、固定コードブック決定ブロック/モジュール110、および/または冗長符号器114は、オーディオ符号器内に含まれ、オーディオ符号器は、本明細書で開示するシステムおよび方法に従って、オーディオ信号を符号化し、符号化オーディオ信号を出力するために使用され得る。
[0045]電子デバイス102は、フレーム104を取得し得る。フレーム104は、オーディオ信号情報を含む構造であり得る。たとえば、フレーム104は、オーディオ信号の1つまたは複数の部分および/または成分を含み、および/またはそれらを表す可能性がある。たとえば、フレーム104には、オーディオ信号セグメント、ならびに/あるいはオーディオ信号セグメントを表す1つまたは複数のパラメータおよび/もしくは信号(たとえば、固定コードブック寄与分、固定コードブックインデックス、固定コードブック利得、適応コードブック寄与分、ピッチラグ、ピッチ利得など)がある。追加または代替として、フレーム104のコンテンツは、処理の段階に応じて変化し得る。いくつかの構成では、フレーム104は、電子デバイス102上の1つまたは複数のマイクロフォンによって捕捉されるオーディオ(たとえば、発話)信号に基づいている可能性がある。追加または代替として、フレーム104は、受信された信号(たとえば、Bluetooth(登録商標)ヘッドセットなどの別のデバイスによって捕捉されるオーディオ信号)に基づいている可能性がある。上述のように、フレーム104は、フレームとサブフレームの両方を指す可能性がある。たとえば、フレーム104は、いくつかの構成では(たとえば、1つまたは複数のサブフレームを含む)フレームである可能性があり、いくつかの構成ではサブフレームである可能性がある。
[0046]適応コードブックエネルギー決定ブロック/モジュール106は、フレーム104に基づいて適応コードブックエネルギー108を決定することができる。たとえば、適応コードブックエネルギー決定ブロック/モジュール106は、フレーム104の適応コードブック寄与分に基づいて適応コードブックエネルギー108を決定することができる。いくつかの構成では、適応コードブックエネルギー108は、式E(ACB(n))=ΣACB2(n)に応じて決定され得るが、ここで、E(ACB(n))は適応コードブックエネルギー108であり、ACB(n)は適応コードブック寄与分、n=0,...,N−1であり、Nは適応コードブック寄与分の(サンプルにおける)長さである。
[0047]固定コードブックエネルギー決定ブロック/モジュール110は、フレーム104に基づいて固定コードブックエネルギー112を決定することができる。たとえば、固定コードブックエネルギー決定ブロック/モジュール110は、フレーム104の固定コードブック寄与分の固定コードブックエネルギー112を決定することができる。いくつかの構成では、固定コードブックエネルギー112は、式E(FCB(n))=ΣFCB2(n)に応じて決定され得るが、ここで、E(FCB(n))は固定コードブックエネルギー112であり、FCB(n)は固定コードブック寄与分、n=0,...,N−1であり、Nは固定コードブック寄与分の(サンプルにおける)長さである。
[0048]冗長符号器114は、適応コードブックエネルギー決定ブロック/モジュール106と、固定コードブック決定ブロック/モジュール110とに結合され得る。冗長符号器114は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレームの冗長バージョン116を符号化(たとえば、生成)することができる。たとえば、冗長符号器114は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレーム104を符号化してフレームの冗長バージョン116にすることができる。フレームの冗長バージョン116は、後続のフレームに挿入(たとえば、ピギーバック)され得る。後続のフレームは、フレーム104の直後にくるか、またはこない可能性がある。たとえば、後続のフレームは、第1のフレームの後の次のフレームである可能性がある。代替的に、1つまたは複数の他のフレーム(またはサブフレーム)は、第1のフレームと後続のフレームとの間に生じる可能性がある。
[0049]フレーム104がサブフレームである場合、フレームの冗長バージョン116は、サブフレームに対応する冗長情報を含み得る。この場合、(サブ)フレームの冗長バージョン116は、後続のフルフレームおよび/またはサブフレームに挿入され得る。いくつかの構成および/または場合では、電子デバイス102(たとえば、冗長符号器114)は、複数のサブフレームに関して別個に冗長符号化を実行することができる。各サブフレームの冗長バージョンは、後続のフレームに挿入され、送信され得る。
[0050]フレームの冗長バージョン116を符号化することまたは冗長フレームの符号化は、フル冗長符号化方式および/または部分的冗長符号化方式を含み得ることに留意されたい。たとえば、冗長符号器114は、部分的冗長ビットストリームを符号化または生成することができる。1つの部分的冗長符号化手法では、冗長符号器114は、1次ビットストリームのサブセットを生成するために、(たとえば、フレーム104に対応する)1次ビットストリームから1つまたは複数のパラメータを選択的に破棄することができる。たとえば、フレームの冗長バージョン116は、(フレーム104に対応する)完全に符号化されたフレームに含まれるビットのサブセットを含み得る。別の部分的冗長符号化手法では、冗長符号器114は、より少ないビットを使用してフレーム104(たとえば、1次フレーム)のコード化を再実行することができる。この手法では、フレームの冗長バージョン116(たとえば、部分的ビットストリーム)は、完全に符号化されたフレーム(たとえば、フレーム104に対応する1次ビットストリーム)と完全に異なる可能性がある。
[0051]電子デバイス102は、冗長符号器114に結合される送信ブロック/モジュール(図1には示さず)を含み得る。送信ブロック/モジュールは、(たとえば、フレームの冗長バージョン116を含む)後続のフレームを送信し得る。
[0052]いくつかの構成では、電子デバイス102は、フレーム104(たとえば、符号化オーディオ信号の一部分)を別のデバイスに送信し得る。他のデバイスによるフレーム104の受信が成功しなかった(たとえば、受信されないか、またはエラーを伴って受信された)場合、他のデバイスは、フレームの冗長バージョン116に基づいてフレームを再構成することができる。たとえば、他のデバイスは、後続のフレームとともに受信されるフレームの冗長バージョン116に基づいてフレームを再構成することができる。この手法は、再送信によって失われるキャパシティを低減させることができる。追加または代替として、フレームの冗長バージョン116は、有利にも他のデバイスによって復号の成功の可能性を増大させ得る。追加または代替として、フレーム104に基づいて説明する機能は、サブフレームベースで実行され得ることに留意されたい。
[0053]図2は、冗長フレーム符号化のための方法200の一構成を示す流れ図である。電子デバイス102は、フレーム104に基づいて、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定することができる(202)。たとえば、電子デバイス102は、フレーム104の適応コードブック寄与分のエネルギーと固定コードブック寄与分のエネルギーとを決定することができる(202)。
[0054]電子デバイス102は、符号化フレームを生成するためにフレーム104を符号化することができることに留意されたい。たとえば、電子デバイス102は、フレーム104に基づいて1つまたは複数のパラメータおよび/または信号を決定するために(たとえば、1次符号器を用いて)フレーム104を符号化することができる。したがって、電子デバイス102は、フレーム104の符号化からの1つまたは複数のパラメータおよび/または信号に基づいて、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定することができる(202)。符号化フレームは、(たとえば、ワイアードおよび/またはワイヤレス送信を介して)送信され得る。
[0055]電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレームの冗長バージョン116を符号化することができる(204)。たとえば、フレームの冗長バージョン116を符号化すること(204)は、フレーム104のどの成分を、フレームの冗長バージョン116に符号化すべきかを決定することを含み得る。たとえば、電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、固定コードブックパラメータ(たとえば、固定コードブック利得および/または固定コードブックパルス)のみ、または適応コードブックパラメータ(たとえば、ピッチラグおよび/またはピッチ利得)のみ、またはその両方をフレームの冗長バージョン116に符号化すべきかどうかを決定することができる。一例では、固定コードブック符号化方式は、固定コードブックパラメータのみを符号化することを含み、適応コードブック符号化方式は、適応コードブックパラメータのみを符号化することを含み、混合符号化方式は、両方からの1つまたは複数のパラメータを符号化することを含み得る。適応コードブックパラメータの例には、ピッチラグおよびピッチ利得がある。固定コードブックパラメータの例には、固定コードブックパルスおよび固定コードブック利得がある。
[0056]いくつかの構成では、フレームの冗長バージョン116を符号化すること(204)は、因子を決定することを含む。因子は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいている可能性がある。たとえば、因子は、適応コードブックエネルギーと固定コードブックエネルギーとの比率である可能性がある。いくつかの構成では、電子デバイス102は、因子および1つまたは複数のしきい値に基づいて、どのパラメータを符号化すべきかを決定することができる。たとえば、電子デバイス102は、因子が、第1のしきい値未満である(たとえば、第1のしきい値よりも小さい(<)か、または、第1のしきい値よりも小さいかもしくはそれに等しい(≦))か、第1のしきい値と第2のしきい値との間である(たとえば、第1のしきい値よりも大きい(>)かまたは第1のしきい値よりも大きいかもしくはそれに等しく(≧)、第2のしきい値よりも小さい(<)かまたは第2のしきい値よりも小さいかもしくはそれに等しい(≦))か、または第2のしきい値を上回る(たとえば、第2のしきい値よりも大きい(>)か、または、第2のしきい値よりも大きいかもしくはそれに等しい(≧))かどうかを判定することができる。電子デバイス102は、因子を含む範囲に基づいて、いくつかのパラメータをフレームの冗長バージョン116に符号化することができる。
[0057]一例では、電子デバイス102は、因子
Figure 2015509214
を決定することができるが、ここで、E(ACB)は適応コードブックエネルギー108であり、E(FCB)は固定コードブックエネルギー112である。電子デバイス102は、Mが第1のしきい値よりも小さい(たとえば、M<0.15)か、Mが第1のしきい値と第2のしきい値との間である(たとえば、0.15<M<0.3)か、またはMが第2のしきい値よりも大きい(たとえば、M>0.3)かどうかを決定することができる。Mが第1のしきい値よりも小さい場合、フレームの冗長バージョン116を符号化する(204)ために固定コードブックのみの符号化方式が選択される可能性があり、固定コードブック利得および固定コードブックパルスのみが符号化される。Mが第1のしきい値と第2のしきい値との間(たとえば、0.15<M<0.3)である場合、フレームの冗長バージョン116を符号化する(204)ために混合符号化方式が選択される可能性があり、適応コードブック発話パラメータと固定コードブック発話パラメータの両方が符号化される。Mが第2のしきい値よりも大きい場合、フレームの冗長バージョン116を符号化する(204)ために適応コードブックのみの符号化方式が選択される可能性があり、ピッチラグおよびピッチ利得のみが符号化され得る。
[0058]いくつかの構成では、電子デバイス102は、フレーム104の少なくとも1つのサブフレームの少なくとも1つのパラメータの符号化をスキップすることができる。たとえば、適応コードブック発話パラメータおよび固定コードブック発話パラメータが(たとえば、混合符号化モードで)符号化される場合、いくつかの場合には、限られたビット数のために、すべてのサブフレームが符号化されるとは限らない可能性がある。たとえば、発話フレームが4つのサブフレームに分割される場合、混合モードは、サブフレーム2および4またはサブフレーム1および3に関するピッチ利得、ピッチラグ、固定コードブックパルス、および/または固定コードブック利得などの、いくつかのパラメータの符号化をスキップするように設計され得る。どのサブフレームを符号化すべきかに関する決定は、固定されるか、または適応的に行われ得る。0ビットサブフレームは、前のサブフレームを外挿することによって合成され得る。たとえば、電子デバイス102は、前のサブフレームからの外挿が十分であるか否かを判定するために、0ビット合成サブフレームを、その符号化されたバージョンまたは元のオーディオ信号と比較することができる。
[0059]いくつかの構成では、フレームの冗長バージョン116のサイズは、可変であり得る。たとえば、フレームの冗長バージョン116のサイズは、後続のフレームに基づいて可変であり得る。より詳細には、電子デバイス102は、後続のフレーム(たとえば、後続のフレームのサイズおよび/または後続のフレームに含まれるデータ量)に基づいて、フレームの冗長バージョン116に割り振られるべきビット数を決定することができる。
[0060]フレームの冗長バージョン116を符号化すること(204)または冗長フレームの符号化は、フル冗長符号化方式および/または部分的冗長符号化方式を含み得ることに留意されたい。1つの部分的冗長符号化手法では、電子デバイス102は、1次ビットストリームのサブセットを生成するために、(たとえば、フレーム104に対応する)1次ビットストリームから1つまたは複数のパラメータを選択的に破棄することができる。たとえば、フレームの冗長バージョン116は、(フレーム104に対応する)完全に符号化されたフレームに含まれるビットのサブセットを含み得る。別の部分的冗長符号化手法では、電子デバイス102は、より少ないビットを使用してフレーム104(たとえば、1次フレーム)のコード化を再実行することができる。この手法では、フレームの冗長バージョン116(たとえば、部分的ビットストリーム)は、完全に符号化されたフレーム(たとえば、フレーム104に対応する1次ビットストリーム)と完全に異なる可能性がある。
[0061]電子デバイス102は、後続のフレームを送信し得る(206)。たとえば、いくつかの構成では、電子デバイス102は、ワイアードおよび/またはワイヤレス送信を使用して後続のフレームを送信し得る(206)。追加または代替として、後続のフレームは、記憶用のメモリに送信され得る(206)。フレームの冗長バージョン116は、後続のフレームとともに送信(たとえば、ピギーバック)され得る(206)。たとえば、電子デバイス102は、フレームの冗長バージョン116を後続のフレームに挿入することができる。後続のフレームは、フレーム104の直後にくるか、またはこない可能性がある。
[0062]電子デバイス102は、サブフレームベースで方法200の機能またはプロシージャのうちの1つまたは複数を実行することができることに留意されたい。たとえば、電子デバイス102は、(サブ)フレーム104に基づいて、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定することができる(202)。追加または代替として、電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、(サブ)フレームの冗長バージョン116を符号化することができる(204)。
[0063]図3は、本明細書で開示されるシステムおよび方法による、フレームの冗長バージョン316の一例を示す図である。詳細には、図3は、フレーム304と、フレームの冗長バージョン316と、後続のフレーム318とを示す。上述のように、電子デバイス102は、フレーム304に基づいて、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定することができる。たとえば、電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定するために、フレーム304を符号化することができる。
[0064]電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレームの冗長バージョン316を符号化することができる。たとえば、電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレームの冗長バージョン316における、適応コードブックパラメータのみ、固定コードブックパルスのみ、またはその両方を符号化することができる。たとえば、電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレームの冗長バージョン316に関する符号化方式を選択することができる。
[0065]電子デバイス102は、フレームの冗長バージョン316を後続のフレーム318に挿入することができる。後続のフレーム318は、フレーム304の直後にくる可能性がある。代替的に、後続のフレーム318は、フレーム304の直後にこない可能性がある(たとえば、フレーム304と後続のフレーム318との間に1つまたは複数の他のフレームが存在する可能性がある)。
[0066]図4は、フレームの冗長バージョン116を符号化するための方法400の一構成を示す流れ図である。電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて因子を決定することができる(402)。たとえば、因子は、適応コードブックエネルギー108と固定コードブックエネルギー112との比率である可能性がある。たとえば、因子は、上述のように、
Figure 2015509214
である可能性がある。
[0067]電子デバイス102は、因子が、第1のしきい値未満であるか、第1のしきい値と第2のしきい値との間であるか、または第2のしきい値を上回るかどうかを判定することができる(404)。たとえば、電子デバイス102は、因子が、第1のしきい値未満である(たとえば、第1のしきい値よりも小さい(<)か、または、第1のしきい値よりも小さいかもしくはそれに等しい(≦))か、第1のしきい値と第2のしきい値との間である(たとえば、第1のしきい値よりも大きい(>)かまたは第1のしきい値よりも大きいかもしくはそれに等しく(≧)、第2のしきい値よりも小さい(<)かまたは第2のしきい値よりも小さいかもしくはそれに等しい(≦))か、または第2のしきい値を上回る(たとえば、第2のしきい値よりも大きい(>)か、または、第2のしきい値よりも大きいかもしくはそれに等しい(≧))かどうかを判定することができる。いくつかの構成では、第1のしきい値は0.15であり、第2のしきい値は0.3であり得る。他のしきい値が使用され得ることに留意されたい。
[0068]因子が第1のしきい値未満である場合、電子デバイス102は、フレームの冗長バージョン116に関する1つまたは複数の固定コードブックパラメータのみを符号化することができる(406)。たとえば、電子デバイス102は、フレームの冗長バージョン116に関する固定コードブック利得および固定コードブックパルスのみを符号化することができる(406)。
[0069]因子が第1のしきい値と第2のしきい値との間である場合、電子デバイス102は、フレームの冗長バージョン116に関する1つまたは複数の適応コードブックパラメータと1つまたは複数の固定コードブックパラメータとを符号化することができる(408)。たとえば、電子デバイス102は、フレームの冗長バージョン116に関する固定コードブック利得および固定コードブックパルスのうちの1つまたは複数と、ピッチラグおよびピッチ利得のうちの1つまたは複数とを符号化することができる(408)。
[0070]因子が第2のしきい値を上回る場合、電子デバイス102は、フレームの冗長バージョン116に関する1つまたは複数の適応コードブックパラメータのみを符号化することができる(410)。たとえば、電子デバイス102は、フレームの冗長バージョン116に関するピッチラグおよびピッチ利得のみを符号化することができる(410)。電子デバイス102は、サブフレームベースで方法400の機能またはプロシージャのうちの1つまたは複数を実行することができることに留意されたい。
[0071]図5は、冗長フレーム符号化のための方法500のより具体的な構成を示す流れ図である。電子デバイス102は、フレーム104に基づいて、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定することができる(502)。これは、たとえば、図2に関して上記で説明したように行われ得る。たとえば、電子デバイス102は、フレーム104の適応コードブック寄与分のエネルギーと固定コードブック寄与分のエネルギーとを決定することができる(502)。
[0072]電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレームの冗長バージョン116を符号化することができる(504)が、フレームの冗長バージョン116のサイズは可変である。たとえば、フレームの冗長バージョン116を符号化すること(504)は、図2に関して上記で説明したように進行し得る。しかしながら、フレームの冗長バージョン116のサイズは、1つまたは複数の因子に基づいて可変であり得る。
[0073]いくつかの構成では、フレームの冗長バージョン116のサイズは、後続のフレームに基づいている可能性がある(たとえば、冗長バージョンのサイズは、後続のフレームに基づいて可変であり得る)。いくつかの例では、フレーム104は符号化(たとえば、送信)され、フレーム104、フレーム104のコピー、および/またはフレーム104に基づく1つまたは複数のパラメータは、メモリに記憶され得る。代替として、フレーム104の符号化は、後続のフレームまで遅延され得る。後続のフレームは、後続のフレームの1次符号化に関するレートまたはビット数を決定するために符号化される可能性もある。次に、電子デバイス102は、フレームの冗長バージョン116に割り振るべきサイズ(たとえば、ビット数)を決定することができる。たとえば、電子デバイス102は、後続のフレームのピークレートがどれほど低減され得るかを決定することができる。したがって、電子デバイス102は、フレームの冗長バージョン116に割り振られるサイズを考慮しながら、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて、フレームの冗長バージョン116を符号化することができる(504)。いくつかの構成では、フレームの冗長バージョン116のサイズは、1次フレームのサイズに依存する。ピークレート低減方式は、チャネルがどれくらい悪いかに応じて異なる構成を有する可能性がある。たとえば、悪いチャネル状態の下で、ピークレート低減器(peak rate reducer)は、チャネル品質がそれほど悪くないシナリオと比較して、(再構成におけるより良い品質のために)フレームのより大きいサイズの冗長バージョン116の送信を可能にするために、より多いビットを解放するように、よりアグレッシブにされ得る。フレームの冗長バージョン116を送信する頻度は、チャネル品質の関数である可能性もある。
[0074]電子デバイス102は、フレームの冗長バージョン116を後続のフレームに挿入することができる(506)。電子デバイス102は、後続のフレームを送信し得る(508)。たとえば、いくつかの構成では、電子デバイス102は、ワイアードおよび/またはワイヤレス送信を使用して後続のフレームを送信し得る(508)。追加または代替として、後続のフレームは、記憶用のメモリに送信され得る(508)。後続のフレームは、フレーム104の直後にくるか、またはこない可能性がある。電子デバイス102は、サブフレームベースで方法500の機能またはプロシージャのうちの1つまたは複数を実行することができることに留意されたい。
[0075]図6は、フレームの冗長バージョン116を符号化するための方法600のより具体的な構成を示す流れ図である。電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とに基づいて因子を決定することができる(602)。たとえば、因子は、適応コードブックエネルギー108と固定コードブックエネルギー112との比率である可能性がある。たとえば、因子は、上述のように、
Figure 2015509214
である可能性がある。
[0076]電子デバイス102は、因子が、第1のしきい値未満であるか、第1のしきい値と第2のしきい値との間であるか、または第2のしきい値を上回るかどうかを判定することができる(604)。たとえば、電子デバイス102は、因子が、第1のしきい値未満である(たとえば、第1のしきい値よりも小さい(<)か、または、第1のしきい値よりも小さいかもしくはそれに等しい(≦))か、第1のしきい値と第2のしきい値との間である(たとえば、第1のしきい値よりも大きい(>)かまたは第1のしきい値よりも大きいかもしくはそれに等しく(≧)、第2のしきい値よりも小さい(<)かまたは第2のしきい値よりも小さいかもしくはそれに等しい(≦))か、または第2のしきい値を上回る(たとえば、第2のしきい値よりも大きい(>)か、または、第2のしきい値よりも大きいかもしくはそれに等しい(≧))かどうかを判定することができる。いくつかの構成では、第1のしきい値は0.15であり、第2のしきい値は0.3であり得る。他のしきい値が使用され得ることに留意されたい。
[0077]因子が第1のしきい値未満である場合、電子デバイス102は、フレームの冗長バージョン116に関する1つまたは複数の固定コードブックパラメータのみを符号化することができる(606)。たとえば、電子デバイス102は、フレームの冗長バージョン116に関する固定コードブック利得および固定コードブックパルスのみを符号化することができる(606)。
[0078]因子が第1のしきい値と第2のしきい値との間である場合、電子デバイス102は、フレーム104の少なくとも1つのサブフレームに関する少なくとも1つのパラメータの符号化をスキップしながら、フレームの冗長バージョン116に関する1つまたは複数の適応コードブックパラメータと1つまたは複数の固定コードブックパラメータとを符号化することができる(608)。たとえば、電子デバイス102は、フレームの冗長バージョン116に関する固定コードブック利得および固定コードブックパルスのうちの1つまたは複数と、ピッチラグおよびピッチ利得のうちの1つまたは複数とを符号化することができる(608)が、1つまたは複数のサブフレームに関する1つまたは複数のパラメータは省略される。たとえば、適応コードブックパラメータ(複数可)および固定コードブックパラメータ(複数可)が(たとえば、混合符号化方式で)符号化される場合、すべてのサブフレームが符号化されるとは限らない可能性がある。これは、限られたビット数によるものである可能性がある。たとえば、フレーム104が4つのサブフレームに分割される場合、混合符号化方式は、1つまたは複数のサブフレームに関するピッチ利得、ピッチラグ、固定コードブックパルス、および/または固定コードブック利得などの、いくつかのパラメータの符号化をスキップすることができる。たとえば、サブフレーム2および4またはサブフレーム1および3に関する1つまたは複数のパラメータが符号化されない可能性がある。
[0079]電子デバイス102は、固定ベースまたは適応ベースで1つまたは複数のパラメータを符号化するか、または符号化をスキップするための1つまたは複数のサブフレームを決定することができる。たとえば、電子デバイス102は、固定ベースで1つまたは複数のサブフレームに関する1つまたは複数のパラメータの符号化をスキップすることを決定することができる。たとえば、1つまたは複数のパラメータは、1つまたは複数の固定されたサブフレーム(たとえば、サブフレーム1および3または2および4)において符号化(スキップ)され得る。別の例では、電子デバイス102は、1つまたは複数のパラメータを符号化する(または、符号化をスキップする)ための1つまたは複数のサブフレームを適応的に決定することができる。たとえば、スキップされた(たとえば、0ビット)サブフレームは、前のサブフレームを外挿することによって合成され得る。たとえば、電子デバイス102は、前のサブフレームからの外挿が十分である(たとえば、1つまたは複数の基準を満たす)か否かを判定するために、スキップされた(たとえば、0ビット)合成サブフレームを、その符号化されたバージョンまたは元のオーディオ信号と比較することができる。外挿が十分でない場合、電子デバイス102は、そのサブフレームをスキップするのではなく、そのサブフレームに関する1つまたは複数のパラメータを符号化することができる。しかしながら、外挿が十分である場合、電子デバイス102は、そのサブフレームに関するパラメータの符号化をスキップすることができる。したがって、電子デバイス102は、いくつかの場合および/または構成では、固定ベースまたは適応ベースで1つまたは複数のサブフレーム全体の(たとえば、1つまたは複数のサブフレームのすべてのパラメータの)符号化をスキップすることを決定することができる。他の場合および/または構成では、電子デバイス102は、固定ベースまたは適応ベースで1つまたは複数のサブフレームに関する1つまたは複数のパラメータの符号化をスキップすることを決定するだけであるが、すべてのパラメータの符号化をスキップするとは限らない可能性がある。
[0080]因子が第2のしきい値を上回る場合、電子デバイス102は、フレームの冗長バージョン116に関する1つまたは複数の適応コードブックパラメータのみを符号化することができる(610)。たとえば、電子デバイス102は、フレームの冗長バージョン116に関するピッチラグおよびピッチ利得のみを符号化することができる(610)。電子デバイス102は、サブフレームベースで方法600の機能またはプロシージャのうちの1つまたは複数を実行することができることに留意されたい。
[0081]図7は、本明細書で開示されるシステムおよび方法による、フレームの冗長バージョン716のより具体的な例を示す図である。詳細には、図7は、フレーム704と、サブフレームA〜D 720a〜dと、フレームの冗長バージョン716と、後続のフレーム718とを示す。上述のように、電子デバイス102は、フレーム704に基づいて、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定することができる。たとえば、電子デバイス102は、適応コードブックエネルギー108と固定コードブックエネルギー112とを決定するために、フレーム704を符号化することができる。
[0082]同様に上記で説明したように、電子デバイス102は、いくつかの場合および/または構成では、フレームの冗長バージョン716に関する1つまたは複数のパラメータの符号化をスキップすることができる。図7に示された例は、サブフレームB 720bおよびサブフレームD 720dに関する少なくとも1つのパラメータ722のスキップされた符号化を示す。いくつかの構成では、電子デバイス102は、混合符号化方式において、少なくとも1つのサブフレーム720に関する少なくとも1つのパラメータ722の符号化をスキップすることができる。たとえば、電子デバイス102は、フレームの冗長バージョン716におけるサブフレームB 720bおよびサブフレームD 720dに関する少なくとも1つのパラメータ722の符号化をスキップしながら、サブフレームA 720aおよびサブフレームC 720cに関する1つまたは複数の適応コードブックパラメータ(たとえば、ピッチラグ、ピッチ利得)および1つまたは複数の固定コードブックパラメータ(たとえば、固定コードブックパルス、固定コードブック利得)を符号化することができる。
[0083]より一般的には、1つまたは複数の適応コードブックパラメータおよび1つまたは複数の固定コードブックパラメータは、1つまたは複数のサブフレームに関して符号化されるが、1つまたは複数のパラメータの符号化は、フレームの冗長バージョンに関する1つまたは複数のサブフレームにおいてスキップされ得る。フレームの冗長符号化は、フレームの1次符号化とは異なる可能性があることに留意されたい。
[0084]いくつかの構成では、電子デバイス102は、1つまたは複数のパラメータが符号化(または、スキップ)され得る、1つまたは複数のサブフレームを決定することができる。これは、固定ベースまたは適応ベースで行われ得る。たとえば、サブフレームB 720bおよびサブフレームD 720dは、少なくとも1つのパラメータがスキップ(722)されるサブフレームとして固定され得る。適応的な手法では、電子デバイス102は、サブフレームB 720bに関するパラメータがまったく符号化されない場合(たとえば、サブフレームB 720bが0ビットフレームである場合)、サブフレームA 720aからの外挿がサブフレームB 720bを(たとえば、特定の精度で)再構成するのに十分であるかどうかを判定することができる。これは、たとえば、サブフレームB 720bの0ビット合成バージョンを、サブフレームB 720bの符号化バージョン、またはサブフレームB 720bに対応する元のオーディオ信号セグメントと比較することによって行われ得る。図7で説明したように、外挿が十分である場合、電子デバイス102は、フレームの冗長バージョン716に関するサブフレームB 720bのパラメータ(複数可)の符号化をスキップすることができる(722)。そうでない場合、サブフレームB 720bの1つまたは複数のパラメータは、フレームの冗長バージョン716に関して符号化され得る。(たとえば、サブフレームC 720cおよびサブフレームD 720dに関する)1つまたは複数の他のサブフレームに関して、同様のプロシージャが続けられ得る。
[0085]電子デバイス102は、フレームの冗長バージョン716を後続のフレーム718に挿入することができる。後続のフレーム718は、フレーム704の直後にくる可能性がある。代替的に、後続のフレーム718は、フレーム704の直後にこない可能性がある(たとえば、フレーム704と後続のフレーム718との間に1つまたは複数の他のフレームが存在する可能性がある)。
[0086]図8は、冗長フレーム符号化のためのシステムおよび方法が実装され得る電子デバイス802のより具体的な構成を示すブロック図である。電子デバイス802の例には、ワイヤレス通信デバイス(たとえば、携帯電話、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータ、電子リーダーなど)、デスクトップコンピュータ、電話、オーディオレコーダー、ゲームコンソール、テレビ、および他のデバイスがある。電子デバイス802は、オーディオ符号器824を含む。オーディオ符号器824は本明細書で開示するシステムおよび方法に従って符号化オーディオ信号836を生成するためにオーディオ信号834を符号化することができる。たとえば、符号化オーディオ信号836は、別のデバイスおよび/または記憶用のメモリに送信され得る1つまたは複数の符号化フレームを含み得る。
[0087]オーディオ符号器824は、1次符号器826、適応コードブックエネルギー決定ブロック/モジュール806、固定コードブックエネルギー決定ブロック/モジュール810、冗長符号器814、および/または冗長挿入ブロック/モジュール832を含み得る。本明細書で使用する「ブロック/モジュール」は、ハードウェア(たとえば、回路)、ソフトウェアまたはその両方の組合せで実装され得る。さらに、電子デバイス802内に含まれる要素のうちの1つまたは複数は、ハードウェア(たとえば、回路)、ソフトウェア、またはその両方の組合せで実装され得る。たとえば、冗長符号器814は、ハードウェア、ソフトウェア、またはその両方の組合せで実装され得る。
[0088]電子デバイス802は、オーディオ信号834に基づいてフレームを取得することができる。いくつかの構成では、1次符号器826は、フレームを取得するためにオーディオ信号834の一部分を符号化することができる。フレームは、オーディオ信号情報を含む構造であり得る。たとえば、フレームは、オーディオ信号834の1つまたは複数の部分および/または成分を含み、および/またはそれらを表す可能性がある。たとえば、フレームには、オーディオ信号セグメント、ならびに/あるいはオーディオ信号セグメントを表す1つまたは複数のパラメータおよび/もしくは信号(たとえば、固定コードブック寄与分、固定コードブックインデックス、固定コードブック利得、適応コードブック寄与分、ピッチラグ、ピッチ利得など)がある。追加または代替として、フレームのコンテンツは、処理の段階に応じて変化し得る。いくつかの構成では、フレームは、電子デバイス802上の1つまたは複数のマイクロフォンによって捕捉されるオーディオ信号834(たとえば、発話信号)に基づいている可能性がある。追加または代替として、フレームは、受信された信号(たとえば、Bluetoothヘッドセットなどの別のデバイスによって捕捉されるオーディオ信号)に基づいている可能性がある。
[0089]適応コードブックエネルギー決定ブロック/モジュール806は、フレームに基づいて適応コードブックエネルギーを決定することができる。たとえば、適応コードブックエネルギー決定ブロック/モジュール806は、フレームの適応コードブック寄与分に基づいて適応コードブックエネルギーを決定することができる。
[0090]固定コードブックエネルギー決定ブロック/モジュール810は、フレームに基づいて固定コードブックエネルギーを決定することができる。たとえば、固定コードブックエネルギー決定ブロック/モジュール810は、フレームの固定コードブック寄与分の固定コードブックエネルギーを決定することができる。
[0091]冗長符号器814は、適応コードブックエネルギーと固定コードブックエネルギーとに基づいて、フレームの冗長バージョンを符号化(たとえば、生成)することができる。たとえば、冗長符号器814は、適応コードブックエネルギーと固定コードブックエネルギーとに基づいて、フレームを符号化してフレームの冗長バージョンにすることができる。冗長符号器814は、因子決定ブロック/モジュール828および/または随意のパラメータスキップ決定ブロック/モジュール830を含み得る。
[0092]因子決定ブロック/モジュール828は、本明細書で説明する(たとえば、図4および図6のうちの1つまたは複数で説明した)手法のうちの1つまたは複数に従って因子を決定することができる。たとえば、因子決定ブロック/モジュール828は、適応コードブックエネルギーと固定コードブックエネルギーとに基づいて因子を決定することができる。たとえば、因子は、適応コードブックエネルギーと固定コードブックエネルギーとの比率、または上述の因子Mなどである可能性がある。電子デバイス802は、因子に基づいてフレームの冗長バージョンに関するどのパラメータ(複数可)を符号化すべきか(たとえば、符号化方式)を決定することができる。
[0093]随意のパラメータスキップ決定ブロック/モジュール830は、フレームの冗長バージョンに関する1つまたは複数のサブフレームの1つまたは複数のパラメータの符号化をスキップすべきかどうかを決定することができる。たとえば、混合符号化方式と判定される場合、パラメータスキップ決定ブロック/モジュール830は、フレームの冗長バージョンに関する1つまたは複数のサブフレームの1つまたは複数のパラメータの符号化をスキップすることを決定することができる。これは、固定ベースまたは適応ベースで行われ得る。たとえば、パラメータスキップ決定ブロック/モジュール830は、図6および図7のうちの1つまたは複数に関して上述したようにこの決定を行うことができる。
[0094]冗長挿入ブロック/モジュール832は、フレームの冗長バージョンを後続のフレームに挿入することができる。たとえば、冗長挿入ブロック/モジュール832は、フレームの冗長バージョンの1つまたは複数の符号化されたパラメータを後続のフレームに挿入することができる。後続のフレームは、フレームの直後にくるか、またはこない可能性がある。たとえば、後続のフレームは、第1のフレームの後の次のフレームであるである可能性がある。代替的に、1つまたは複数の他のフレーム(またはサブフレーム)は、第1のフレームと後続のフレームとの間に生じる可能性がある。
[0095]いくつかの構成では、電子デバイス802は、フレーム(たとえば、符号化オーディオ信号836の一部分)を別のデバイスに送信し得る。他のデバイスによるフレームの受信が成功しなかった(たとえば、受信されないか、またはエラーを伴って受信された)場合、他のデバイスは、フレームの冗長バージョンに基づいてフレームを再構成することができる。たとえば、他のデバイスは、後続のフレームとともに受信されるフレームの冗長バージョンに基づいてフレームを再構成することができる。この手法は、再送信によって失われるキャパシティを低減させることができる。追加または代替として、フレームの冗長バージョンは、有利にも他のデバイスによって復号の成功の可能性を増大させ得る。電子デバイス802は、サブフレームベースで図8に関して説明した機能またはプロシージャのうちの1つまたは複数を実行することができることに留意されたい。
[0096]図9は、冗長フレーム復号のためのシステムおよび方法が実装され得る電子デバイス938の一構成を示すブロック図である。電子デバイス938の例には、ワイヤレス通信デバイス(たとえば、携帯電話、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータ、電子リーダーなど)、デスクトップコンピュータ、電話、オーディオレコーダー、ゲームコンソール、テレビ、および他のデバイスがある。電子デバイス938は、オーディオ復号器940を含む。オーディオ復号器940は、符号化オーディオ信号936(たとえば、符号化フレーム)を取得することができる。オーディオ復号器940は、符号化オーディオ信号936を復号して、復号オーディオ信号948にすることができる。オーディオ復号器940は、エラー検出ブロック/モジュール942、符号化方式決定ブロック/モジュール944、および/またはフレーム再構成ブロック/モジュール946を含み得る。
[0097]本明細書で使用する「ブロック/モジュール」は、ハードウェア(たとえば、回路)、ソフトウェアまたはその両方の組合せで実装され得る。さらに、電子デバイス938内に含まれる要素のうちの1つまたは複数は、ハードウェア(たとえば、回路)、ソフトウェア、またはその両方の組合せで実装され得る。たとえば、オーディオ復号器940は、ハードウェア、ソフトウェア、またはその両方の組合せで実装され得る。電子デバイス938に示される要素のうちの1つまたは複数は互いに結合され得ることに留意されたい。たとえば、エラー検出ブロック/モジュール942は、符号化方式決定ブロック/モジュール944に結合され、符号化方式決定ブロック/モジュール944は、いくつかの構成では、フレーム再構成ブロック/モジュール946に結合され得る。
[0098]エラー検出ブロック/モジュール942は、フレームの受信が成功しなかったときを検出することができる。たとえば、エラー検出ブロック/モジュール942は、フレームが受信されなかったか、またはエラーを伴って受信されたときを検出することができる。いくつかの構成では、エラー検出ブロック/モジュール942は、パケットの受信が成功しなかったことを示すチャネル復号器からのインジケータに基づいてこの決定を行うことができる。
[0099]符号化方式決定ブロック/モジュール944は、フレームの冗長バージョンを符号化するのに使用される符号化方式を決定することができる。たとえば、符号化方式決定ブロック/モジュール944は、フレームの冗長バージョンが、1つまたは複数の適応コードブックパラメータ(たとえば、ピッチラグ、ピッチ利得)か、1つまたは複数の固定コードブックパラメータ(たとえば、固定コードブックパルス、固定コードブック利得)か、またはその両方を含むかどうかを判定することができる。これは、たとえば、フレームの受信が成功しなかったことをエラー検出ブロック/モジュール942が判定するとき、行われ得る。いくつかの構成では、この判定は、明示的な信号伝達、暗黙の信号伝達、および/またはフレームの分析に基づいて行われ得る。たとえば、電子デバイス(たとえば受信機)は、受信されたパケットを記憶するデジッタバッファーを含み得る。特定のフレームNが失われた場合、デジッタバッファーは、フレームN+OFFSET(たとえば、OFFSETは、前方誤り訂正フレームオフセットである可能性がある)がバッファー内で利用可能か否かを知るためにチェックされる。そのような場合、フレームN+OFFSETは、(たとえば、ビットストリームを分析することによって)失われたフレームNの部分的なコピー(たとえば、冗長バージョン)を含むかどうかを判定するために分析される。はいの場合、冗長フレーム符号化モード/方式は、ビットストリームをさらに分析することによって決定され得る。たとえば、1つまたは複数のビットは、この情報を復号器に伝達するために保存され得る。詳細には、電子デバイス(たとえば、復号器)は、1つまたは複数の受信された符号化方式ビットに基づいて符号化方式を決定することができる。符号化方式ビットは、適応コードブックパラメータ(複数可)のみ(たとえば、適応コードブックのみの符号化方式)、固定コードブックパラメータ(複数可)のみ(たとえば、固定コードブックのみの符号化方式)、または適応コードブックパラメータ(複数可)と固定コードブックパラメータ(複数可)の両方を示すことができる。いくつかの構成では、個々のサブフレームは各々、別個の符号化方式を有し得ることに留意されたい。したがって、いくつかの実装形態では、符号化方式決定944は、各サブフレームに関して実行され得る。いくつかの構成では、符号化方式決定ブロック/モジュール944は、フレームの冗長バージョンのサイズ(たとえば、サイズが可変であるとき)を決定することができる。
[00100]フレーム再構成ブロック/モジュール946は、フレームの冗長バージョンに基づいて受信に成功しなかったフレームを再構成することができる。いくつかの構成では、フレーム再構成ブロック/モジュール946は、(たとえば、後続のフレームに含まれる)フレームの冗長バージョンに含まれるパラメータ(複数可)を復号することができる。たとえば、フレーム再構成ブロック/モジュール946は、符号化方式によって示される1つまたは複数のパラメータを復号することができる。いくつかの構成および/または場合では、フレーム再構成ブロック/モジュール946は、(たとえば、1つまたは複数のサブフレームに関する1つまたは複数のパラメータの符号化がスキップされたとき)1つまたは複数の前のサブフレームを外挿することによって1つまたは複数のサブフレームを再構成することができる。
[00101]いくつかの実装形態では、オーディオ復号器940は、図1および図8のうちの1つまたは複数に示された要素のうちの1つまたは複数を組み合わせて実装され得る。たとえば、オーディオ復号器940および図8に関して説明したオーディオ符号器824は、いくつかの構成では、同じ電子デバイス内に実装され得る。たとえば、オーディオ復号器940およびオーディオ符号器824は、電子デバイス上のオーディオコーデック内に実装され得る。詳細には、オーディオ符号器824は電子デバイス上のメモリ内に送信および/または記憶され得るオーディオ信号834を符号化することができる。オーディオ復号器940は、別のデバイスから受信される符号化オーディオ信号936および/または電子デバイス上のメモリに記憶された符号化オーディオ信号936を復号することができる。電子デバイス938は、サブフレームベースで図9に関して説明した機能またはプロシージャのうちの1つまたは複数を実行することができることに留意されたい。
[00102]図10は、冗長フレーム復号のための方法1000の一構成を示す流れ図である。電子デバイス938は、フレーム(またはサブフレーム)の受信が成功しなかったかどうかを判定(たとえば、検出)することができる(1002)。たとえば、電子デバイス938は、フレーム(またはサブフレーム)が受信されなかったか、またはエラーを伴って受信されたかどうかを判定することができる。いくつかの構成では、判定1002は、パケットの受信が成功しなかったことを示すチャネル復号からのインジケータに基づいて行われ得る。フレーム(またはサブフレーム)の受信が成功したことを電子デバイス938が判定した場合、電子デバイス938は、次のフレームまたはサブフレーム(もしあれば)の受信が成功しなかったかどうかを判定することができる(1002)。
[00103]いくつかの構成では、電子デバイスは、フレームの冗長バージョンが利用可能であるかどうかを判定することもできる。たとえば、電子デバイス938は、フレームN+OFFSETが利用可能であるかどうかを判定するためにデジッタバッファーをチェックすることができる。フレームN+OFFSETが利用可能である場合、電子デバイス938は、受信に成功しなかったフレーム(たとえば、フレームN)の冗長バージョンを含むかどうかを判定することができる。
[00104]フレームまたはサブフレームの受信が成功しなかった(たとえば、フレームの冗長バージョンが利用可能である)と電子デバイス938が判定した(1002)場合、電子デバイスは、フレームの冗長バージョンを符号化するのに使用される符号化方式を決定することができる(1004)。たとえば、電子デバイス938は、フレームの冗長バージョンが、(1つもしくは複数の)固定コードブックパラメータのみを含むか、(1つもしくは複数の)適応コードブックパラメータのみを含むか、または(1つもしくは複数の)適応コードブックパラメータと(1つもしくは複数の)固定コードブックパラメータとを含むかどうかを判定することができる。たとえば、電子デバイス938は、フレームの冗長バージョンが、1つまたは複数の適応コードブックパラメータ(たとえば、ピッチラグ、ピッチ利得)か、1つまたは複数の固定コードブックパラメータ(たとえば、固定コードブックパルス、固定コードブック利得)か、またはその両方を含むかどうかを判定することができる。
[00105]いくつかの構成では、この判定(1004)は、明示的な信号伝達、暗黙の信号伝達、および/またはフレームの分析に基づいて行われ得る。いくつかの構成では、個々のサブフレームは各々、別個の符号化方式を有し得ることに留意されたい。したがって、いくつかの実装形態では、電子デバイス938は、各サブフレームに関する符号化方式を決定することができる(1004)。いくつかの構成では、電子デバイス938は、フレームの冗長バージョンのサイズ(たとえば、サイズが可変であるとき)を決定することもできる。
[00106]電子デバイス938は、符号化方式に基づいてフレーム(たとえば、受信に成功しなかったフレーム)を再構成することができる(1006)。いくつかの構成では、電子デバイス938は、(たとえば、後続のフレームに含まれる)フレームの冗長バージョンに含まれるパラメータ(複数可)を復号することができる。たとえば、電子デバイス938は、符号化方式によって示される1つまたは複数のパラメータを復号することができる。いくつかの構成および/または場合では、電子デバイス938は、(たとえば、1つまたは複数のサブフレームに関する1つまたは複数のパラメータの符号化がスキップされたとき)1つまたは複数の前のサブフレームを外挿することによって1つまたは複数のサブフレームを再構成することができる(1006)。電子デバイス938は、サブフレームベースで方法1000の機能またはプロシージャのうちの1つまたは複数を実行することができることに留意されたい。
[00107]図11は、冗長フレーム符号化および/または復号のためのシステムおよび方法が実装され得るワイヤレス通信デバイス1150の一構成を示すブロック図である。図11に示すワイヤレス通信デバイス1150は、本明細書で説明する電子デバイス102、802、938、1250のうちの1つまたは複数の例であり得る。ワイヤレス通信デバイス1150は、アプリケーションプロセッサ1162を含み得る。アプリケーションプロセッサ1162は、一般に、ワイヤレス通信デバイス1150上の機能を実行するように命令を処理する(たとえば、プログラムを実行する)。アプリケーションプロセッサ1162は、オーディオ符号器/復号器(コーデック)1160に結合され得る。
[00108]オーディオコーデック1160は、オーディオ信号を符号化および/または復号するために使用される電子デバイス(たとえば、集積回路)であり得る。オーディオコーデック1160は、1つまたは複数のスピーカー1152、イヤピース1154、出力ジャック1156、および/または1つまたは複数のマイクロフォン1158に結合され得る。スピーカー1152は、電気信号または電子信号を音響信号に変換する1つまたは複数の電気音響トランスデューサを含み得る。たとえば、スピーカー1152は、音楽を再生し、またはスピーカーフォン会話などを出力するために使用され得る。イヤピース1154は、音響信号(たとえば、音声信号)をユーザに出力するために使用され得る別のスピーカーまたは電気音響トランスデューサであり得る。たとえば、イヤピース1154は、ユーザのみが音響信号を確実に聴取し得るように使用され得る。出力ジャック1156は、ヘッドフォンのようなオーディオを出力するためのワイヤレス通信デバイス1150に、他のデバイスを結合するために使用され得る。スピーカー1152、イヤピース1154、および/または出力ジャック1156は、一般に、オーディオコーデック1160からオーディオ信号を出力するために使用され得る。1つまたは複数のマイクロフォン1158は、音響信号(ユーザのボイスなど)を、オーディオコーデック1160に与えられる電気または電子信号に変換する音響電気トランスデューサであり得る。
[00109]オーディオコーデック1160は、オーディオ符号器1124および/またはオーディオ復号器1140を含み得る。オーディオ符号器1124は、図8に関して説明したオーディオ符号器824と同様に構成され、ならびに/または、図1および/もしくは図8に関して説明した要素のうちの1つまたは複数を含み得る。追加または代替として、オーディオ符号器1124は、方法200、400、500、600のうちの1つもしくは複数、および/または、上述の方法200、400、500、600のうちの1つもしくは複数に関して説明した機能のうちの1つもしくは複数を実行することができる。オーディオ復号器1140は、図9に関して説明したオーディオ復号器940と同様に構成され、および/または、図9に関して説明した要素のうちの1つまたは複数を含み得る。追加または代替として、オーディオ復号器1140は、方法1000、および/または、上述の方法1000に関して説明した機能のうちの1つもしくは複数を実行することができる。追加または代替として、オーディオ符号器1124および/またはオーディオ復号器1140は、アプリケーションプロセッサ1162に含まれ得る。追加または代替として、オーディオ符号器1124および/またはオーディオ復号器1140によって実行される機能のうちの1つまたは複数は、アプリケーションプロセッサ1162によって実行され得る。
[00110]アプリケーションプロセッサ1162はまた、電力管理回路1170に結合され得る。電力管理回路1170の一例は、電力管理集積回路(PMIC)であり、電力管理集積回路は、ワイヤレス通信デバイス1150の電力消費を管理するために使用され得る。電力管理回路1170は、バッテリー1172に結合され得る。バッテリー1172は、一般に、ワイヤレス通信デバイス1150に電力を提供することができる。たとえば、バッテリー1172および/または電力管理回路1170は、ワイヤレス通信デバイス1150に含まれる要素のうちの1つまたは複数に結合され得る。
[00111]アプリケーションプロセッサ1162は、入力を受け取るための1つまたは複数の入力デバイス1174に結合され得る。入力デバイス1174の例には、赤外線センサ、画像センサ、加速度計、タッチセンサ、キーパッドなどがある。入力デバイス1174は、ワイヤレス通信デバイス1150とのユーザ対話を可能にし得る。アプリケーションプロセッサ1162はまた、1つまたは複数の出力デバイス1176に結合され得る。出力デバイス1176の例には、プリンタ、プロジェクタ、スクリーン、触覚デバイスなどがある。出力デバイス1176は、ワイヤレス通信デバイス1150が、ユーザにより受け取られ得る出力を生成することを可能にし得る。
[00112]アプリケーションプロセッサ1162は、アプリケーションメモリ1178に結合され得る。アプリケーションメモリ1178は、電子情報を記憶することが可能な任意の電子デバイスであり得る。アプリケーションメモリ1178の例には、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ(DDRAM)、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、フラッシュメモリなどがある。アプリケーションメモリ1178は、アプリケーションプロセッサ1162のための記憶装置を提供することができる。たとえば、アプリケーションメモリ1178は、アプリケーションプロセッサ1162上で実行されるプログラムの機能のためのデータおよび/または命令を記憶し得る。
[00113]アプリケーションプロセッサ1162は、ディスプレイコントローラ1180に結合される可能性があり、ディスプレイコントローラ1180は、ディスプレイ1182に結合される可能性がある。ディスプレイコントローラ1180は、ディスプレイ1182上に画像を生成するために使用されるハードウェアブロックであり得る。たとえば、ディスプレイコントローラ1180は、アプリケーションプロセッサ1162からの命令および/またはデータを、ディスプレイ1182上に提示され得る画像に変換し得る。ディスプレイ1182の例には、液晶ディスプレイ(LCD)パネル、発光ダイオード(LED)パネル、陰極線管(CRT)ディスプレイ、プラズマディスプレイなどがある。
[00114]アプリケーションプロセッサ1162は、ベースバンドプロセッサ1164に結合され得る。ベースバンドプロセッサ1164は、一般に、通信信号を処理する。たとえば、ベースバンドプロセッサ1164は、受信信号を復調および/または復号し得る。加えて、または代替的に、ベースバンドプロセッサ1164は、送信に備えて信号を符号化および/または変調し得る。
[00115]ベースバンドプロセッサ1164は、ベースバンドメモリ1184に結合され得る。ベースバンドメモリ1184は、SDRAM、DDRAM、フラッシュメモリなどのような、電子情報を記憶することが可能な任意の電子デバイスであり得る。ベースバンドプロセッサ1164は、ベースバンドメモリ1184から情報(たとえば、命令および/またはデータ)を読み取ること、および/またはベースバンドメモリ1184に情報を書き込むことができる。追加または代替として、ベースバンドプロセッサ1164は、通信動作を実行するために、ベースバンドメモリ1184に記憶された命令および/またはデータを使用し得る。
[00116]ベースバンドプロセッサ1164は、無線周波数(RF)トランシーバ1166に結合され得る。RF送受信機1166は、電力増幅器1168と1つまたは複数のアンテナ1109とに結合され得る。RF送受信機1166は、高周波信号を送信および/または受信し得る。たとえば、RF送受信機1166は、電力増幅器1168と1つまたは複数のアンテナ1109とを使用してRF信号を送信し得る。RF送受信機1166はまた、1つまたは複数のアンテナ1109を使用してRF信号を受信し得る。
[00117]図12は、電子デバイス1250において利用され得る様々な構成要素を示す。図示される構成要素は、同じ物理的構造物内に配置される可能性があり、または別個のハウジングもしくは構造物中に配置される可能性がある。図12に関して説明する電子デバイス1250は、本明細書で説明する電子デバイス102、802、938、およびワイヤレス通信デバイス1150のうちの1つまたは複数に従って実装され得る。電子デバイス1250は、プロセッサ1290を含む。プロセッサ1290は、汎用シングルまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ1290は、中央処理ユニット(CPU)と呼ばれることがある。図12の電子デバイス1250には単一のプロセッサ1290のみを示しているが、代替構成では、プロセッサの組合せ(たとえば、ARMおよびDSP)が使用され得る。
[00118]電子デバイス1250は、プロセッサ1290と電子通信しているメモリ1284も含む。すなわち、プロセッサ1290は、メモリ1284から情報を読み取ること、および/またはメモリ1284に情報を書き込むことができる。メモリ1284は、電子情報を記憶することが可能な任意の電子コンポーネントであり得る。メモリ1284は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAM中のフラッシュメモリデバイス、プロセッサとともに含まれるオンボードメモリ、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM(登録商標))、レジスタなど、およびそれらの組合せであり得る。
[00119]データ1288aおよび命令1286aが、メモリ1284に記憶され得る。命令1286aは、1つまたは複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを含み得る。命令1286aは、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを含み得る。命令1286aは、上述の方法200、400、500、600、1000のうちの1つまたは複数を実装するために、プロセッサ1290によって実行可能であり得る。命令1286aを実行することは、メモリ1284に記憶されたデータ1288aの使用を含み得る。図12は、プロセッサ1290にロードされている(命令1286aおよびデータ1288aから来ることがある)いくつかの命令1286bとデータ1288bとを示す。
[00120]電子デバイス1250は、他の電子デバイスと通信するための1つまたは複数の通信インターフェース1294も含み得る。通信インターフェース1294は、有線通信技術、ワイヤレス通信技術、またはその両方に基づき得る。様々なタイプの通信インターフェース1294の例には、シリアルポート、パラレルポート、ユニバーサルシリアルバス(USB)、イーサネットアダプター、IEEE1394バスインターフェース、小型コンピュータシステムインターフェース(SCSI)バスインターフェース、赤外線(IR)通信ポート、Bluetoothワイヤレス通信アダプターなどがある。
[00121]電子デバイス1250はまた、1つまたは複数の入力デバイス1296と、1つまたは複数の出力デバイス1201とを含み得る。様々な種類の入力デバイス1296の例には、キーボード、マウス、マイクロフォン、遠隔制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、ライトペンなどがある。たとえば、電子デバイス1250は、音響信号を捕捉するための1つまたは複数のマイクロフォン1298を含み得る。一構成では、マイクロフォン1298は、音響信号(たとえば、声、音声)を電気信号または電子信号に変換するトランスデューサであり得る。様々な種類の出力デバイス1201の例には、スピーカー、プリンタなどがある。たとえば、電子デバイス1250は、1つまたは複数のスピーカー1203を含み得る。一構成では、スピーカー1203は、電気信号または電子信号を音響信号に変換するトランスデューサであり得る。電子デバイス1250中に典型的に含まれ得る1つの特定のタイプの出力デバイスは、ディスプレイデバイス1205である。本明細書で開示される構成とともに使用されるディスプレイデバイス1205は、陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、ガスプラズマ、エレクトロルミネセンスなどのような、任意の好適な画像投影技術を利用し得る。ディスプレイコントローラ1207はまた、メモリ1284に記憶されたデータをディスプレイデバイス1205上に示されるテキスト、グラフィック、および/または動画に(適宜)変換するために設けられ得る。
[00122]電子デバイス1250の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、1つまたは複数のバスによって互いに結合され得る。簡潔にするために、図12では、様々なバスはバスシステム1292として示される。図12は、電子デバイス1250の1つの可能な構成しか示していないことに留意されたい。様々な他のアーキテクチャおよび構成要素が利用され得る。
[00123]上記の説明では、様々な用語とともに参照番号を時々使用した。用語が参照番号とともに使用されている場合、これは、図のうちの1つまたは複数に示された特定の要素を指すものとされ得る。用語が参照番号なしに使用されている場合、これは、概して特定の図に限定されない用語を指すものとされ得る。
[00124]「判定」という用語は、多種多様なアクションを包含し、したがって、「判定」は、計算、算出、処理、導出、調査、ルックアップ(たとえば、テーブル、データベースまたは別のデータ構造でのルックアップ)、確認などを含むことができる。また、「判定」は、受信(たとえば、情報を受信すること)、アクセス(たとえば、メモリ中のデータにアクセスすること)などを含むことができる。また、「判定」は、解決、選択、選出、確立などを含むことができる。
[00125]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
[00126]本明細書で説明する構成のうちのいずれか1つに関して説明した特徴、機能、プロシージャ、構成要素、要素、構造などのうちの1つまたは複数は、互換性がある、本明細書で説明する他の構成のうちのいずれか1つに関して説明した機能、プロシージャ、構成要素、要素、構造などのうちの1つまたは複数と組み合わせられ得ることに留意されたい。言い換えれば、本明細書で説明する機能、プロシージャ、構成要素、要素などの任意の互換性がある組合せは、本明細書で開示するシステムおよび方法に従って実装され得る。
[00127]本明細書で説明した機能は、1つまたは複数の命令としてプロセッサ可読媒体またはコンピュータ可読媒体上に記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備え得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用する「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。
[00128]ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
[00129]本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、本明細書で説明した方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲を逸脱することなく修正され得る。
[00130]特許請求の範囲は、上記に示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。

Claims (58)

  1. 電子デバイスによる冗長フレーム符号化のための方法であって、
    フレームに基づいて適応コードブックエネルギーと固定コードブックエネルギーとを決定することと、
    前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの冗長バージョンを符号化することと、
    後続のフレームを送信することと
    を備える、方法。
  2. 前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化することは、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて因子を決定することを備える、請求項1に記載の方法。
  3. 前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化することは、前記因子が、第1のしきい値未満であるか、前記第1のしきい値と第2のしきい値との間であるか、または前記第2のしきい値を上回るかどうかを判定することをさらに備える、請求項2に記載の方法。
  4. 前記因子が前記第1のしきい値未満である場合、前記フレームの前記冗長バージョンを符号化することは、前記フレームの前記冗長バージョンに関する1つまたは複数の固定コードブックパラメータのみを符号化することを備える、請求項3に記載の方法。
  5. 前記因子が前記第1のしきい値と前記第2のしきい値との間である場合、前記フレームの前記冗長バージョンを符号化することは、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータと1つまたは複数の固定コードブックパラメータとを符号化することを備える、請求項3に記載の方法。
  6. 前記フレームの前記冗長バージョンを符号化することは、前記フレームの少なくとも1つのサブフレームに関する少なくとも1つのパラメータの符号化をスキップすることを備える、請求項5に記載の方法。
  7. 前記フレームの前記冗長バージョンを符号化することは、固定ベースまたは適応ベースで1つまたは複数のパラメータの符号化をスキップするための1つまたは複数のサブフレームを決定することをさらに備える、請求項5に記載の方法。
  8. 前記因子が前記第2のしきい値を上回る場合、前記フレームの前記冗長バージョンを符号化することは、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータのみを符号化することを備える、請求項3に記載の方法。
  9. 前記第1のしきい値は0.15であり、前記第2のしきい値は0.3である、請求項3に記載の方法。
  10. 前記因子は、式
    Figure 2015509214
    に従うMであり、ここで、E(ACB)は前記適応コードブックエネルギーであり、E(FCB)は前記固定コードブックエネルギーである、請求項2に記載の方法。
  11. 前記フレームはサブフレームである、請求項1に記載の方法。
  12. 前記フレームの前記冗長バージョンのサイズは可変である、請求項1に記載の方法。
  13. 前記フレームの前記冗長バージョンを符号化することは、1次ビットストリームから1つまたは複数のパラメータを選択的に破棄することを備える、請求項1に記載の方法。
  14. 前記フレームの前記冗長バージョンを符号化することは、より少ないビットを使用して前記フレームの前記符号化を再実行することを備える、請求項1に記載の方法。
  15. 電子デバイスによる冗長フレーム復号のための方法であって、
    フレームの受信が成功しなかったかどうかを判定することと、
    フレームの受信が成功しなかった場合、前記フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって符号化方式を決定することと、
    フレームの受信が成功しなかった場合、前記符号化方式に基づいて前記フレームを再構成することと
    を備える、方法。
  16. 前記符号化方式を決定することは、1つまたは複数の受信された符号化方式ビットに基づいている、請求項15に記載の方法。
  17. 前記フレームを再構成することは、前記フレームの前記冗長バージョンにさらに基づいている、請求項15に記載の方法。
  18. 冗長フレーム符号化のための電子デバイスであって、
    フレームに基づいて適応コードブックエネルギーを決定する適応コードブックエネルギー決定回路と、
    前記フレームに基づいて固定コードブックエネルギーを決定する固定コードブックエネルギー決定回路と、
    前記適応コードブックエネルギー決定回路と前記固定コードブックエネルギー決定回路とに結合され、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの冗長バージョンを符号化する、冗長符号器と、
    前記冗長符号器に結合され、後続のフレームを送信する、送信回路と
    を備える、電子デバイス。
  19. 前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化することは、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて因子を決定することを備える、請求項18に記載の電子デバイス。
  20. 前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化することは、前記因子が、第1のしきい値未満であるか、前記第1のしきい値と第2のしきい値との間であるか、または前記第2のしきい値を上回るかどうかを判定することをさらに備える、請求項19に記載の電子デバイス。
  21. 前記因子が前記第1のしきい値未満である場合、前記フレームの前記冗長バージョンを符号化することは、前記フレームの前記冗長バージョンに関する1つまたは複数の固定コードブックパラメータのみを符号化することを備える、請求項20に記載の電子デバイス。
  22. 前記因子が前記第1のしきい値と前記第2のしきい値との間である場合、前記フレームの前記冗長バージョンを符号化することは、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータと1つまたは複数の固定コードブックパラメータとを符号化することを備える、請求項20に記載の電子デバイス。
  23. 前記フレームの前記冗長バージョンを符号化することは、前記フレームの少なくとも1つのサブフレームに関する少なくとも1つのパラメータの符号化をスキップすることを備える、請求項22に記載の電子デバイス。
  24. 前記フレームの前記冗長バージョンを符号化することは、固定ベースまたは適応ベースで1つまたは複数のパラメータの符号化をスキップするための1つまたは複数のサブフレームを決定することをさらに備える、請求項22に記載の電子デバイス。
  25. 前記因子が前記第2のしきい値を上回る場合、前記フレームの前記冗長バージョンを符号化することは、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータのみを符号化することを備える、請求項20に記載の電子デバイス。
  26. 前記第1のしきい値は0.15であり、前記第2のしきい値は0.30である、請求項20に記載の電子デバイス。
  27. 前記因子は、式
    Figure 2015509214
    に従うMであり、ここで、E(ACB)は前記適応コードブックエネルギーであり、E(FCB)は前記固定コードブックエネルギーである、請求項19に記載の電子デバイス。
  28. 前記フレームはサブフレームである、請求項18に記載の電子デバイス。
  29. 前記フレームの前記冗長バージョンのサイズは可変である、請求項18に記載の電子デバイス。
  30. 前記フレームの前記冗長バージョンを符号化することは、1次ビットストリームから1つまたは複数のパラメータを選択的に破棄することを備える、請求項18に記載の電子デバイス。
  31. 前記フレームの前記冗長バージョンを符号化することは、より少ないビットを使用して前記フレームの前記符号化を再実行することを備える、請求項18に記載の電子デバイス。
  32. 冗長フレーム復号のための電子デバイスであって、
    フレームの受信が成功しなかったかどうかを判定するエラー検出回路と、
    前記エラー検出回路に結合された符号化方式決定回路であって、フレームの受信が成功しなかった場合、フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって符号化方式を決定する、符号化方式決定回路と、
    前記符号化方式決定回路に結合されたフレーム再構成回路であって、フレームの受信が成功しなかった場合、前記符号化方式に基づいて前記フレームを再構成する、フレーム再構成回路と
    を備える、電子デバイス。
  33. 前記符号化方式を決定することは、1つまたは複数の受信された符号化方式ビットに基づいている、請求項32に記載の電子デバイス。
  34. 前記フレームを再構成することは、前記フレームの前記冗長バージョンにさらに基づいている、請求項32に記載の電子デバイス。
  35. 命令を有する非一時的有形コンピュータ可読媒体を備える、冗長フレーム符号化のためのコンピュータプログラム製品であって、前記命令は、
    電子デバイスに、フレームに基づいて適応コードブックエネルギーと固定コードブックエネルギーとを決定させるためのコードと、
    前記電子デバイスに、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの冗長バージョンを符号化させるためのコードと、
    前記電子デバイスに、後続のフレームを送信させるためのコードと
    を備える、コンピュータプログラム製品。
  36. 前記電子デバイスに、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化させるための前記コードは、前記電子デバイスに、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて因子を決定させるためのコードを備える、請求項35に記載のコンピュータ可読媒体。
  37. 前記電子デバイスに、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化させるための前記コードは、前記電子デバイスに、前記因子が、第1のしきい値未満であるか、前記第1のしきい値と第2のしきい値との間であるか、または前記第2のしきい値を上回るかどうかを判定させるためのコードをさらに備える、請求項36に記載のコンピュータ可読媒体。
  38. 前記因子が前記第1のしきい値未満である場合、前記電子デバイスに、前記フレームの前記冗長バージョンを符号化させるための前記コードは、前記電子デバイスに、前記フレームの前記冗長バージョンに関する1つまたは複数の固定コードブックパラメータのみを符号化させるためのコードを備える、請求項37に記載のコンピュータ可読媒体。
  39. 前記因子が前記第1のしきい値と第2のしきい値との間である場合、前記電子デバイスに、前記フレームの前記冗長バージョンを符号化させるための前記コードは、前記電子デバイスに、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータと1つまたは複数の固定コードブックパラメータとを符号化させるためのコードを備える、請求項37に記載のコンピュータ可読媒体。
  40. 前記電子デバイスに、前記フレームの前記冗長バージョンを符号化させるための前記コードは、前記電子デバイスに、前記フレームの少なくとも1つのサブフレームに関する少なくとも1つのパラメータの符号化をスキップさせるためのコードを備える、請求項39に記載のコンピュータ可読媒体。
  41. 前記因子が前記第2のしきい値を上回る場合、前記電子デバイスに、前記フレームの前記冗長バージョンを符号化させるための前記コードは、前記電子デバイスに、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータのみを符号化させるためのコードを備える、請求項37に記載のコンピュータ可読媒体。
  42. 前記フレームはサブフレームである、請求項35に記載のコンピュータ可読媒体。
  43. 前記フレームの前記冗長バージョンのサイズは可変である、請求項35に記載のコンピュータ可読媒体。
  44. 命令を有する非一時的有形コンピュータ可読媒体を備える、冗長フレーム復号のためのコンピュータプログラム製品であって、前記命令は、
    電子デバイスに、フレームの受信が成功しなかったかどうかを判定させるためのコードと、
    フレームの受信が成功しなかった場合、フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって、前記電子デバイスに符号化方式を決定させるためのコードと、
    フレームの受信が成功しなかった場合、前記電子デバイスに、前記符号化方式に基づいて前記フレームを再構成させるためのコードと
    を備える、コンピュータプログラム製品。
  45. 前記符号化方式を決定することは、1つまたは複数の受信された符号化方式ビットに基づいている、請求項44に記載のコンピュータプログラム製品。
  46. 前記フレームを再構成することは、前記フレームの前記冗長バージョンにさらに基づいている、請求項44に記載のコンピュータプログラム製品。
  47. 冗長フレーム符号化のための装置であって、
    フレームに基づいて適応コードブックエネルギーと固定コードブックエネルギーとを決定するための手段と、
    前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの冗長バージョンを符号化するための手段と、
    後続のフレームを送信するための手段と
    を備える、装置。
  48. 前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化するための前記手段は、前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて因子を決定するための手段を備える、請求項47に記載の装置。
  49. 前記適応コードブックエネルギーと前記固定コードブックエネルギーとに基づいて前記フレームの前記冗長バージョンを符号化するための前記手段は、前記因子が、第1のしきい値未満であるか、前記第1のしきい値と第2のしきい値との間であるか、または前記第2のしきい値を上回るかどうかを判定するための手段をさらに備える、請求項48に記載の装置。
  50. 前記因子が前記第1のしきい値未満である場合、前記フレームの前記冗長バージョンを符号化するための前記手段は、前記フレームの前記冗長バージョンに関する1つまたは複数の固定コードブックパラメータのみを符号化するための手段を備える、請求項49に記載の装置。
  51. 前記因子が前記第1のしきい値と第2のしきい値との間である場合、前記フレームの前記冗長バージョンを符号化するための前記手段は、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータと1つまたは複数の固定コードブックパラメータとを符号化するための手段を備える、請求項49に記載の装置。
  52. 前記フレームの前記冗長バージョンを符号化するための前記手段は、前記フレームの少なくとも1つのサブフレームに関する少なくとも1つのパラメータの符号化をスキップするための手段を備える、請求項51に記載の装置。
  53. 前記因子が前記第2のしきい値を上回る場合、前記フレームの前記冗長バージョンを符号化するための前記手段は、前記フレームの前記冗長バージョンに関する1つまたは複数の適応コードブックパラメータのみを符号化するための手段を備える、請求項49に記載の装置。
  54. 前記フレームはサブフレームである、請求項47に記載の装置。
  55. 前記フレームの前記冗長バージョンのサイズは可変である、請求項47に記載の装置。
  56. 冗長フレーム復号のための装置であって、
    フレームの受信が成功しなかったかどうかを判定するための手段と、
    フレームの受信が成功しなかった場合、前記フレームの冗長バージョンが、1つもしくは複数の適応コードブックパラメータのみを含むか、1つもしくは複数の固定コードブックパラメータのみを含むか、または1つもしくは複数の適応コードブックパラメータと1つもしくは複数の固定コードブックパラメータとを含むかどうかを判定することによって符号化方式を決定するための手段と、
    フレームの受信が成功しなかった場合、前記符号化方式に基づいて前記フレームを再構成するための手段と
    を備える、装置。
  57. 前記符号化方式を決定することは、1つまたは複数の受信された符号化方式ビットに基づいている、請求項56に記載の装置。
  58. 前記フレームを再構成することは、前記フレームの前記冗長バージョンにさらに基づいている、請求項56に記載の装置。
JP2014553477A 2012-01-20 2013-01-18 冗長フレーム符号化および復号のためのデバイス Active JP6077011B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261589103P 2012-01-20 2012-01-20
US61/589,103 2012-01-20
US201261661245P 2012-06-18 2012-06-18
US61/661,245 2012-06-18
US13/743,797 2013-01-17
US13/743,797 US9275644B2 (en) 2012-01-20 2013-01-17 Devices for redundant frame coding and decoding
PCT/US2013/022246 WO2013109956A1 (en) 2012-01-20 2013-01-18 Devices for redundant frame coding and decoding

Publications (3)

Publication Number Publication Date
JP2015509214A true JP2015509214A (ja) 2015-03-26
JP2015509214A5 JP2015509214A5 (ja) 2016-06-09
JP6077011B2 JP6077011B2 (ja) 2017-02-08

Family

ID=48797950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014553477A Active JP6077011B2 (ja) 2012-01-20 2013-01-18 冗長フレーム符号化および復号のためのデバイス

Country Status (11)

Country Link
US (1) US9275644B2 (ja)
EP (1) EP2805325B1 (ja)
JP (1) JP6077011B2 (ja)
KR (1) KR101699138B1 (ja)
CN (1) CN104054125B (ja)
DK (1) DK2805325T3 (ja)
ES (1) ES2571862T3 (ja)
HU (1) HUE028957T2 (ja)
IN (1) IN2014CN04804A (ja)
SI (1) SI2805325T1 (ja)
WO (1) WO2013109956A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032906A (ja) * 2015-08-05 2017-02-09 パナソニックIpマネジメント株式会社 音声信号復号装置および音声信号復号方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620660B2 (en) * 2010-10-29 2013-12-31 The United States Of America, As Represented By The Secretary Of The Navy Very low bit rate signal coder and decoder
US10614816B2 (en) 2013-10-11 2020-04-07 Qualcomm Incorporated Systems and methods of communicating redundant frame information
CN104751849B (zh) 2013-12-31 2017-04-19 华为技术有限公司 语音频码流的解码方法及装置
CN107369454B (zh) * 2014-03-21 2020-10-27 华为技术有限公司 语音频码流的解码方法及装置
CA2945791A1 (en) * 2014-04-17 2015-10-22 Audimax, Llc Systems, methods and devices for electronic communications having decreased information loss
CN105336336B (zh) * 2014-06-12 2016-12-28 华为技术有限公司 一种音频信号的时域包络处理方法及装置、编码器
GB2527365B (en) 2014-06-20 2018-09-12 Starleaf Ltd A telecommunication end-point device data transmission controller
US9984699B2 (en) 2014-06-26 2018-05-29 Qualcomm Incorporated High-band signal coding using mismatched frequency ranges
US9680507B2 (en) * 2014-07-22 2017-06-13 Qualcomm Incorporated Offset selection for error correction data
TWI602172B (zh) * 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
GB201503828D0 (en) 2015-03-06 2015-04-22 Microsoft Technology Licensing Llc Redundancy scheme
US9948578B2 (en) * 2015-04-14 2018-04-17 Qualcomm Incorporated De-jitter buffer update
US10049681B2 (en) * 2015-10-29 2018-08-14 Qualcomm Incorporated Packet bearing signaling information indicative of whether to decode a primary coding or a redundant coding of the packet
CN108270525B (zh) * 2016-12-30 2021-02-12 华为技术有限公司 冗余版本传输方法及设备
US10475456B1 (en) * 2018-06-04 2019-11-12 Qualcomm Incorporated Smart coding mode switching in audio rate adaptation
CN116052700B (zh) * 2022-07-29 2023-09-29 荣耀终端有限公司 声音编解码方法以及相关装置、系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094356A (ja) * 2003-09-17 2005-04-07 Matsushita Electric Ind Co Ltd 音声信号伝送システム、及び音声信号伝送方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091945A (en) * 1989-09-28 1992-02-25 At&T Bell Laboratories Source dependent channel coding with error protection
JP2665089B2 (ja) 1991-09-26 1997-10-22 三菱電機株式会社 分散環境下におけるコンパイル方式
US6131084A (en) * 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
WO1999063522A1 (de) * 1998-05-29 1999-12-09 Siemens Aktiengesellschaft Verfahren und anordnung zur sprachcodierung
JP2000122871A (ja) 1998-10-14 2000-04-28 Hitachi Ltd アプリケーション配布方法
US6947394B1 (en) 1999-04-09 2005-09-20 Telefonaktiebolaget Lm Ericsson (Publ) Flexible radio link control protocol
US6785261B1 (en) * 1999-05-28 2004-08-31 3Com Corporation Method and system for forward error correction with different frame sizes
US6636829B1 (en) * 1999-09-22 2003-10-21 Mindspeed Technologies, Inc. Speech communication system and method for handling lost frames
US6757654B1 (en) 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
US6922393B2 (en) 2001-01-10 2005-07-26 Asustek Computer Inc. Data discarding request acknowledgement in a wireless communications protocol
US6687248B2 (en) 2001-01-10 2004-02-03 Asustek Computer Inc. Sequence number ordering in a wireless communications system
KR100441115B1 (ko) 2001-06-27 2004-07-19 주식회사 인터와이즈 정보 단말기의 자바 프로그램 처리 속도 향상을 위한 자바컴파일 온 디멘드 서비스 시스템 및 그 방법
WO2004023736A1 (en) 2002-09-07 2004-03-18 Telefonaktiebolaget Lm Ericsson (Publ) Method and devices for efficient data transmission link control in mobile multicast communication systems
US7720043B2 (en) 2002-11-20 2010-05-18 Qualcomm Incorporated Use of idle frames for early transmission of negative acknowledgement of frame receipt
US8359197B2 (en) * 2003-04-01 2013-01-22 Digital Voice Systems, Inc. Half-rate vocoder
US7050397B2 (en) 2003-07-02 2006-05-23 Nokia Corporation Apparatus, and associated method, for facilitating retransmission of data packets in a packet radio communication system that utilizes a feedback acknowledgement scheme
US20050066255A1 (en) 2003-09-14 2005-03-24 Sam Shiaw-Shiang Jiang Status report missing detection in a communication system
US7668712B2 (en) 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
US7558243B2 (en) 2004-09-15 2009-07-07 Innovative Sonic Limited Enhanced polling method for preventing deadlock in a wireless communications system
US7177804B2 (en) 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
ES2377652T3 (es) 2005-08-16 2012-03-29 Panasonic Corporation Método y aparato para configurar nuevamente un número de secuencias de transmisión (NST)
KR100982210B1 (ko) 2005-11-30 2010-09-15 노키아 코포레이션 다중 arq 메커니즘들을 이용하는 재전송을 제공하는장치, 방법 및 컴퓨터 프로그램 생성물
TW200729815A (en) 2005-12-29 2007-08-01 Interdigital Tech Corp Method and system for implementing H-ARQ-assisted ARQ operation
KR100912784B1 (ko) 2006-01-05 2009-08-18 엘지전자 주식회사 데이터 송신 방법 및 데이터 재전송 방법
CN101009536B (zh) 2006-01-24 2010-09-01 中兴通讯股份有限公司 自动重传请求的状态报告方法
KR100913904B1 (ko) 2006-04-14 2009-08-26 삼성전자주식회사 이동통신 시스템에서 자동 재전송 요구를 수행하는 방법 및장치
KR100943590B1 (ko) 2006-04-14 2010-02-23 삼성전자주식회사 이동 통신 시스템에서 상태 보고의 송수신 방법 및 장치
US8712766B2 (en) 2006-05-16 2014-04-29 Motorola Mobility Llc Method and system for coding an information signal using closed loop adaptive bit allocation
JPWO2008007698A1 (ja) * 2006-07-12 2009-12-10 パナソニック株式会社 消失フレーム補償方法、音声符号化装置、および音声復号装置
WO2008024282A2 (en) 2006-08-21 2008-02-28 Interdigital Technology Corporation Method and apparatus for controlling arq and harq transmissions and retranmissions in a wireless communication system
EP2100454B1 (en) * 2006-11-20 2019-10-30 Axis AB Wireless network camera systems
US8000961B2 (en) * 2006-12-26 2011-08-16 Yang Gao Gain quantization system for speech coding to improve packet loss concealment
US8364472B2 (en) * 2007-03-02 2013-01-29 Panasonic Corporation Voice encoding device and voice encoding method
US8422480B2 (en) 2007-10-01 2013-04-16 Qualcomm Incorporated Acknowledge mode polling with immediate status report timing
US9037474B2 (en) 2008-09-06 2015-05-19 Huawei Technologies Co., Ltd. Method for classifying audio signal into fast signal or slow signal
US8380498B2 (en) 2008-09-06 2013-02-19 GH Innovation, Inc. Temporal envelope coding of energy attack signal by using attack point location
US8391212B2 (en) 2009-05-05 2013-03-05 Huawei Technologies Co., Ltd. System and method for frequency domain audio post-processing based on perceptual masking
US8718804B2 (en) 2009-05-05 2014-05-06 Huawei Technologies Co., Ltd. System and method for correcting for lost data in a digital audio signal
US8352252B2 (en) * 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
US9026434B2 (en) * 2011-04-11 2015-05-05 Samsung Electronic Co., Ltd. Frame erasure concealment for a multi rate speech and audio codec

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094356A (ja) * 2003-09-17 2005-04-07 Matsushita Electric Ind Co Ltd 音声信号伝送システム、及び音声信号伝送方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032906A (ja) * 2015-08-05 2017-02-09 パナソニックIpマネジメント株式会社 音声信号復号装置および音声信号復号方法

Also Published As

Publication number Publication date
WO2013109956A1 (en) 2013-07-25
IN2014CN04804A (ja) 2015-09-18
HUE028957T2 (en) 2017-01-30
CN104054125B (zh) 2017-02-22
KR101699138B1 (ko) 2017-01-23
KR20140116511A (ko) 2014-10-02
ES2571862T3 (es) 2016-05-27
SI2805325T1 (sl) 2016-06-30
EP2805325A1 (en) 2014-11-26
US20130191121A1 (en) 2013-07-25
JP6077011B2 (ja) 2017-02-08
EP2805325B1 (en) 2016-03-16
CN104054125A (zh) 2014-09-17
US9275644B2 (en) 2016-03-01
DK2805325T3 (en) 2016-04-11

Similar Documents

Publication Publication Date Title
JP6077011B2 (ja) 冗長フレーム符号化および復号のためのデバイス
JP5479617B2 (ja) サブ帯域コード化復号器における損失パケットの隠蔽
JP5797780B2 (ja) ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス
KR101590239B1 (ko) 워터마킹된 신호를 인코딩 및 디코딩하는 디바이스들
US7813922B2 (en) Audio quantization
JP5639273B2 (ja) ピッチサイクルエネルギーを判断し、励起信号をスケーリングすること
UA114233C2 (uk) Системи та способи для визначення набору коефіцієнтів інтерполяції
US9437203B2 (en) Error concealment for speech decoder
US20150100318A1 (en) Systems and methods for mitigating speech signal quality degradation
JP6092251B2 (ja) オーバーフローを検出するための装置、デバイス、方法及びコンピュータプログラム
WO2023049628A1 (en) Efficient packet-loss protected data encoding and/or decoding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160407

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160407

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170111

R150 Certificate of patent or registration of utility model

Ref document number: 6077011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250