JP2009514032A - オーディオコーディングのためのエンコーダ支援フレーム損失隠蔽技術 - Google Patents

オーディオコーディングのためのエンコーダ支援フレーム損失隠蔽技術 Download PDF

Info

Publication number
JP2009514032A
JP2009514032A JP2008538157A JP2008538157A JP2009514032A JP 2009514032 A JP2009514032 A JP 2009514032A JP 2008538157 A JP2008538157 A JP 2008538157A JP 2008538157 A JP2008538157 A JP 2008538157A JP 2009514032 A JP2009514032 A JP 2009514032A
Authority
JP
Japan
Prior art keywords
frame
domain data
frequency domain
subset
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008538157A
Other languages
English (en)
Other versions
JP4991743B2 (ja
Inventor
リュ、サン−ウク
チョイ、エディー・エル．ティー．
グプタ、サミア・クマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009514032A publication Critical patent/JP2009514032A/ja
Application granted granted Critical
Publication of JP4991743B2 publication Critical patent/JP4991743B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

オーディオ信号をデコードするエンコーダ支援フレーム損失隠蔽（ＦＬＣ）技術が説明されている。デコーダは、オーディオ信号の誤りフレームを破棄し、エンコーダから送信されたサイド情報と隣接フレームとに基づいて、該破棄されたフレームを正確に隠蔽するために該エンコーダ支援ＦＬＣ技術を実施することができる。該エンコーダ支援ＦＬＣ技術は、隣接フレームの周波数ドメインデータに基づいて該フレームの周波数ドメインデータの大きさを推定することと、サイド情報として該エンコーダから送信された符号のサブセットに基づいて該周波数ドメインデータの符号を推定することとを含んでいる。オーディオ信号のフレームの周波数ドメインデータは、トーン成分および雑音成分を含んでいる。ランダム信号から推定された符号は、該周波数ドメインデータの該雑音成分について実質的に正確であるだろう。しかしながら、該トーン成分の非常に正確な符号推定を達成するために、該エンコーダは、サイド情報として該周波数ドメインデータの該トーン成分の符号を送信する。

Description

本出願は、２００５年１０月２６日に出願された米国仮特許出願第６０／７３０，４５９号、および２００５年１０月３１日に出願された米国仮特許出願第６０／７３２，０１２号の利点に権利を主張している。
本開示は、オーディオコーディング技術、より具体的にはオーディコーディングのためのフレーム損失隠蔽技術に関する。
オーディオコーディングは、衛星無線、ディジタル無線、インターネットストリーミング（ウェブ無線）、ディジタル音楽プレーヤ、および種々のモバイルマルチメディアの応用のような多数の応用および環境において使用されている。モーション ピクチャ エキスパート グループ（ＭＰＥＧ）による標準、ウィンドウズ（登録商標）メディアオーディオ（ＷＭＡ）、およびドルビーラボラトリーズ社（Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ，Ｉｎｃ．）による標準のような多数のオーディオコーディング標準がある。ＭＰ３標準およびＭＰ３標準の後継の標準、例えば、アップルコンピュータ社（Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ，Ｉｎｃ．）から販売されている「ｉＰｏｄ」デバイスで使用されている高度オーディオコーディング（ＡＡＣ）標準を含む多数のオーディオコーディング標準が登場し続けている。オーディコーディング標準は、一般に、圧縮技術を使用して、低ビットレートかつ高品質のオーディオコーディングを達成しようと試みている。一部のオーディオコーディングは「ロスレス（ｌｏｓｓ ｌｅｓｓ）」であり、すなわち、このコーディングはオーディオ信号を劣化させないのに対して、他のオーディオコーディングは、さらなる圧縮を達成するために、いくらかの損失を取り込むことがある。
多数の応用において、オーディオコーディングは、テレビ電話（ｖｉｄｅｏ ｔｅｌｅｐｈｏｎｙ， ＶＴ）やストリーミングビデオなどの応用にマルチメディアコンテンツを提供するために、ビデオコーディングと併用される。例えば、ＭＰＥＧに従うビデオコーディング標準は、しばしばオーディオおよびビデオコーディングを使用する。ＭＰＥＧ標準は、現在ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４を含んでいるが、他の標準もおそらく登場するであろう。他の例示的なビデオ標準としては、国際電気通信連合（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ， ＩＴＵ）Ｈ．２６３標準、ＩＴＵ Ｈ．２６４標準、アップルコンピュータ社（Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｉｎｃ．）によって開発されたＱｕｉｃｋＴｉｍｅ（登録商標）技術、マイクロソフト社（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ）によって開発されたＶｉｄｅｏ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標）、インテル社（Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ）によって開発されたＩｎｄｅｏ（登録商標）、リアルネットワークス社（ＲｅａｌＮｅｔｗｏｒｋｓ，Ｉｎｃ．）からのＲｅａｌＶｉｄｅｏ（登録商標）、およびスーパーマック社（ＳｕｐｅｒＭａｃ．Ｉｎｃ．）によって開発されたＣｉｎｅｐａｋ（登録商標）がある。オープンソースであるオーディオおよびビデオ標準もあるのに対して、登録商標権を有しているものもある。多数の他のオーディオおよびビデオコーディング標準が、登場および進化し続けるであろう。
送信されたオーディオ信号に生じたビットストリームエラーは、可聴アーチファクトを取り込むことによって、デコードされたオーディ信号に重大な影響を及ぼす場合がある。この品質劣化に対処するために、エラー検出モジュールおよびフレーム損失隠蔽（ｆｒａｍｅ ｌｏｓｓ ｃｏｎｃｅａｌｍｅｎｔ， ＦＬＣ）モジュールを含むエラーコントロールブロックが、デコーダに付加されることがある。受信したビットストリームのフレームにエラーが検出されると、エラー検出モジュールは誤りフレームの全ビットを破棄する。次に、ＦＬＣモジュールは、知覚的にシームレスなサウンドオーディ信号を生成しようとして、オーディデータを推定して、破棄されたフレームを置換する。
デコーダのフレーム損失隠蔽のための種々の技術が提案されてきた。しかしながら、多くのＦＬＣ技術は、隠蔽されたオーディオ信号品質と実施コストとの間におけるとても困難な折り合いに苦慮している。例えば、破棄されたフレームを、先行フレームのサイレンス、雑音、またはオーディオデータと単に置換することは、計算コストは低いが、隠蔽性能は不良であるために、交換の１つの極端を表す。破棄されたフレームを隠蔽するソースモデリングに基づく高度な技術は、十分な隠蔽性能を達成するのに高いまたは桁違いに高い実施コストを必要とすることによって、別の極端にあたる。
発明の概要
全体的に、本開示は、オーディオ信号をデコードするためのエンコーダ支援フレーム損失隠蔽（ＦＬＣ）技術に関する。エンコーダからオーディオ信号のフレームのオーディオビットストリームを受信すると、デコーダはエラー検出を実行し、エラー検出された場合に該フレームを破棄することができる。該デコーダは、隣接フレームと、該エンコーダから該オーディオビットストリームと共に送信されたサイド情報とに基づいて、該破棄されたフレームを正確に隠蔽するために、該エンコーダ支援ＦＬＣ技術を実施することができる。該エンコーダ支援ＦＬＣ技術は、該フレームの周波数ドメインデータの大きさを隣接フレームの周波数ドメインデータに基づいて推定することと、サイド情報として該エンコーダから送信された符号（ｓｉｇｎ）のサブセットに基づいて該周波数ドメインデータの符号を推定することとを含んでいる。このように、該エンコーダ支援ＦＬＣ技術は、可聴アーチファクトの発生を削減して、知覚的にシームレスなサウンドオーディオ信号を作成することができる。
オーディオ信号のフレームの周波数ドメインデータは、トーン成分および雑音成分を含んでいる。ランダム信号から推定された符号は、該周波数ドメインデータの該雑音成分については実質的に正確であるだろう。しかしながら、トーン成分の非常に正確な符号推定を達成するために、該エンコーダは、サイド情報として該周波数ドメインデータの該トーン成分の符号を送信する。該デコーダへ送信される該サイド情報量を最小化するために、該エンコーダは、該フレーム内の該トーン成分の場所を送信しない。そうではなくて、該エンコーダおよび該デコーダは共に、同じ動作を使用して、該トーン成分の該場所を自己導出する。したがって、該エンコーダ支援ＦＬＣ技術は、該エンコーダから送信された最小量のサイド情報によって、該デコーダにおいてフレーム隠蔽品質のかなりの改良を達成する。
本明細書に記載されている該エンコーダ支援ＦＬＣ技術は、ウィンドウズ（登録商標）メディアオーディオ（ＷＭＡ）標準、ＭＰ３標準、およびＡＡＣ（高度オーディオコーディング）標準のようなオーディオコーディング標準を使用するマルチメディア応用で実施されてもよい。該ＡＡＣ標準の場合、オーディオ信号のフレームの周波数ドメインデータは、修正離散コサイン変換（ＭＤＣＴ）係数によって表される。該ＭＤＴＣ係数の各々はトーン成分または雑音成分のいずれかを備えている。１個のフレームは１０２４個のＭＤＣＴ係数を含むことができ、該ＭＤＣＴ係数の各々は、大きさおよび符号を含んでいる。該エンコーダ支援ＦＬＣ技術は、破棄されたフレームのＭＤＣＴ係数の大きさおよび符号を別々に推定する。
一実施形態では、本開示は、オーディオ信号のフレームを隠蔽する方法を提供する。該方法は、該フレームの隣接フレームに基づいて該フレームの周波数ドメインデータの大きさを推定するステップと、サイド情報としてエンコーダから送信された該フレームの符号のサブセットに基づいて該フレームの周波数ドメインデータの符号を推定するステップと、該大きさ推定と該符号推定とを結合して該フレームの周波数ドメインデータを推定するステップとを備えている。
別の実施形態では、本開示は、オーディオ信号のフレームを隠蔽する命令を備えるコンピュータ読み取り可能な媒体を提供する。該命令はプログラマブルプロセッサに、該フレームの隣接フレームに基づいて該フレームの周波数ドメインデータの大きさを推定させ、サイド情報としてエンコーダから送信された該フレームの符号のサブセットに基づいて該フレームの該周波数ドメインデータの符号を推定させる。該命令はまた該プログラマブルプロセッサに、該大きさ推定と該符号推定とを結合して該フレームの周波数ドメインデータを推定させる。
さらなる実施形態では、本開示は、サイド情報として該フレームの符号のサブセットを送信するエンコーダと、該エンコーダから該フレームの該サイド情報を受信するＦＬＣモジュールを含むデコーダとを備える、オーディオ信号のフレームを隠蔽するためのシステムを提供する。該デコーダ内の該ＦＬＣモジュールは、該フレームの隣接フレームに基づいて該フレームの周波数ドメインデータの大きさを推定し、該受信したサイド情報に基づいて該フレームの周波数ドメインデータの符号を推定し、該大きさ推定と該符号推定とを結合して該フレームの周波数ドメインデータを推定する。
別の実施形態では、本開示は、オーディオ信号のフレームの周波数ドメインデータの成分を選択する成分選択モジュールと、該フレームの該周波数ドメインデータから該選択された成分の符号のサブセットを抽出する符号抽出器とを備えるエンコーダを提供する。該エンコーダは、該フレームの該符号のサブセットをサイド情報としてデコーダへ送信する。
さらなる実施形態では、本開示は、フレームの隣接フレームに基づいてオーディオ信号の該フレームの周波数ドメインデータの大きさを推定する大きさ推定器と、サイド情報としてエンコーダから送信された該フレームの符号のサブセットに基づいて該フレームの周波数ドメインデータの符号を推定する符号推定器とを含むＦＬＣモジュールを備えるデコーダを提供する。該デコーダは、該大きさ推定と該符号推定とを結合して、該フレームの周波数ドメインデータを推定する。
ここに説明されている技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実施されることができる。ソフトウェアで実施される場合、本技術は、プログラマブルプロセッサによって実行されたときに本明細書に説明されている該方法の１つ以上を実行する命令を含むプログラムコードを備えるコンピュータ読み取り可能な媒体によって部分的に実現することができる。
１つ以上の実施形態に関する詳細は添付の図面および以下の記述によって説明される。本発明の他の特徴、目的、および利点は、説明、図面、および請求項から明らかになるであろう。
詳細な説明
図１は、エンコーダ支援フレーム損失隠蔽（ＦＬＣ）技術を実施するオーディオエンコーダ／デコーダ（コーデック）を組み込んだオーディオエンコーディング／デコーディングシステム２を示すブロック図である。図１に示されているように、システム２は、第１の通信デバイス３および第２の通信デバイス４を含んでいる。システム２はまた、通信デバイス３および４を接続する送信チャネル５を含んでいる。システム２は、送信チャネル５で通信デバイス３と４間の双方向のオーディオデータ送信をサポートする。
示されている実施形態では、通信デバイス３は、ＦＬＣモジュール７を具備するオーディオコーデック６と、多重化（ｍｕｘ）／デマルチプレックス（ｄｅｍｕｘ）コンポーネント８とを含んでいる。通信デバイス４は、ｍｕｘ／ｄｅｍｕｘコンポーネント９と、ＦＬＣモジュール１１を具備するオーディオコーデック１０とを含んでいる。それぞれのオーディオコーデック６および１０のＦＬＣモジュール７および１１は、本明細書に説明されているエンコーダ支援ＦＬＣ技術にしたがって、エンコーダから送信されたサイド情報と隣接フレームとに基づいて、オーディオ信号の破棄されたフレームを正確に隠蔽することができる。別の実施形態では、ＦＬＣモジュール７および１１は、エンコーダから送信された追加のサイド情報によって隣接フレームに基づいてオーディオ信号の複数の破棄されたフレームを正確に隠蔽することができる。
通信デバイス３および４は、オーディオデータを送受信するように構成されてもよい。通信デバイス３および４は、無線モバイル端末や有線端末として実施されてもよい。このために、通信デバイス３および４はさらに、無線通信をサポートするための適切な無線送信機、受信機、モデム、および処理エレクトロニクスを含んでもよい。無線モバイル端末の例としては、モバイル無線電話、モバイル携帯情報端末（ＰＤＡ）、モバイルコンピュータ、あるいは無線通信能力並びにオーディオエンコーディングおよび／またはデコーディング能力を備えた他のモバイルデバイスを含む。有線端末の例としては、デスクトップコンピュータ、テレビ電話、ネットワーク機器、セットトップボックス、双方向テレビ、などを含む。
送信チャネル５は、有線通信媒体であっても、または無線通信媒体であってもよい。無線通信では、極めて低いビットレートがしばしば必要とされるために、帯域幅は重要な問題である。とりわけ、送信チャネル５は帯域幅が制限されていることがあり、チャネル５での大量のオーディオデータの送信を極めて困難にしている。例えば、送信チャネル５は、チャネル５の物理的制約、または場合によっては送信チャネル５のプロバイダによって課されるサービス品質（ＱｏＳ）制限または帯域幅割り当て制約のために、帯域幅が制限された無線通信リンクであることもある。
それぞれの通信デバイス３および４内のオーディオコーデック６および１０の各々は、モーション ピクチャ エキスパート グループ（ＭＰＥＧ）に従った標準、Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ，Ｉｎｃ．による標準、ウィンドウズ（登録商標）メディアオーディオ（ＷＭＡ）標準、ＭＰ３標準、および高度オーディオコーディング（ＡＡＣ）標準のようなオーディオコーディング標準にしたがって、オーディオデータをエンコードおよびデコードする。オーディオコーディング標準は、一般に、圧縮技術を使用して、低ビットレートかつ高品質のオーディオコーディングを達成しようと試みている。一部のオーディオコーディングは「ロスレス」であり、すなわち、このコーディングはオーディオ信号を劣化させないのに対して、他のオーディオコーディングは、さらなる圧縮を達成するためにいくらかの損失を取り込むことがある。
いくつかの実施形態では、通信デバイス３および４はまた、それぞれのオーディオコーデック６および１０と統合されたビデオコーデック（図示せず）を含むこともあり、またデータストリームのオーディオおよびビデオ部分を処理する適切なｍｕｘ／ｄｅｍｕｘコンポーネント８および９を含むこともある。ｍｕｘ／ｄｅｍｕｘコンポーネント８および９は、国際電気通信連合（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ， ＩＴＵ）Ｈ．２２３のマルチプレクサプロトコル、またはユーザー データグラム プロトコル（ＵＤＰ）のような他のプロトコルに準拠してもよい。
オーディオコーディングは、テレビ電話（ＶＴ）またはストリーミングビデオのような応用のためのマルチメディアコンテンツを提供するために、ビデオコーディングと併用されてもよい。例えば、ＭＰＥＧに従うビデオコーディング標準はしばしばオーディオおよびビデオコーディングを使用する。ＭＰＥＧ標準は現在ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４を含んでいるが、他の標準もおそらく登場するであろう。他の例示的なビデオ標準は、ＩＴＵ Ｈ．２６３標準、ＩＴＵ Ｈ．２６４標準、アップルコンピュータ社（Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｉｎｃ．）によって開発されたＱｕｉｃｋＴｉｍｅ（登録商標）技術、マイクロソフト社（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ）によって開発されたＶｉｄｅｏ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標）、インテル社（Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ）によって開発されたＩｎｄｅｏ（登録商標）、リアルネットワークス社（ＲｅａｌＮｅｔｗｏｒｋｓ，Ｉｎｃ．）のＲｅａｌＶｉｄｅｏ（登録商標）、およびスーパーマック社（ＳｕｐｅｒＭａｃ，Ｉｎｃ．）によって開発されたＣｉｎｅｐａｋ（登録商標）を含んでいる。
例示の目的のために、通信デバイス３および４の各々はオーディオデータの送信機および受信機双方として動作可能であると想定する。通信デバイス３から通信デバイス４に送信されるオーディオデータの場合、通信デバイス３は送信デバイスであり、通信デバイス４は受信デバイスである。この場合、通信デバイス３内のオーディオコーデック６はエンコーダとして動作し、通信デバイス４内のオーディオコーデック１０はデコーダとして動作することができる。逆に、通信デバイス４から通信デバイス３に送信されるオーディオデータの場合、通信デバイス３は受信デバイスであり、通信デバイス４は送信デバイスである。この場合、通信デバイス３内のオーディオコーデック６はデコーダとして動作し、通信デバイス４内のオーディオコーデック１０はエンコーダとして動作することができる。ここで説明されている技術はまた、このようなオーディオデータを送信のみ、または受信のみするデバイスにも適用可能である。
開示されている技術によると、受信デバイスとして動作する通信デバイス４は、送信デバイスとして動作する通信デバイス３からオーディオ信号のフレームのオーディオビットストリームを受信する。通信デバイス４内でデコーダとして動作するオーディオコーデック１０はエラー検出を実行して、エラーが検出される場合には当該フレームを破棄してもよい。オーディオコーデック１０は、エンコーダ支援ＦＬＣ技術を実施して、通信デバイス３からオーディオビットストリームと共に送信されたサイド情報に基づいて、破棄されたフレームを正確に隠蔽することができる。エンコーダ支援ＦＬＣ技術は、隣接フレームの周波数ドメインデータに基づいて当該フレームの周波数ドメインデータの大きさを推定することと、サイド情報としてエンコーダから送信された符号のサブセットに基づいて周波数ドメインデータの符号を推定することとを含んでいる。
オーディオ信号のフレームの周波数ドメインデータは、トーン成分および雑音成分を含んでいる。ランダム信号から推定された符号は、周波数ドメインデータの雑音成分について実質的に正確であるだろう。しかしながら、トーン成分の非常に正確な符号推定を達成するために、エンコーダは、周波数ドメインデータのトーン成分の符号をサイド情報としてデコーダへ送信する。
例えば、通信デバイス４内でデコーダとして動作するオーディオコーデック１０のＦＬＣモジュール１１は、大きさ推定器と、成分選択モジュールと、符号推定器とを含むことができるが、これらのコンポーネントは図１には示されていない。大きさ推定器は、オーディオ信号の隣接フレームから周波数ドメインデータをコピーする。次に、大きさ推定器は、コピーされた周波数ドメインデータのエネルギをスケーリングして、破棄されたフレームの周波数ドメインデータの大きさを推定する。成分選択モジュールは、当該フレームの周波数ドメインデータのトーン成分と雑音成分とを区別する。このようにして、成分選択モジュールはフレーム内のトーン成分の場所を導出する。符号推定器は、単に、サイド情報として通信デバイス３から送信されたフレームの符号のサブセットに基づいて、成分選択モジュールによって選択されたトーン成分の符号を推定する。次に、デコーダとして動作するオーディオコーデック１０は、トーン成分の符号推定を、対応する大きさ推定と結合する。
通信デバイス３内でエンコーダとして動作するオーディオコーデック６は、成分選択モジュールおよび符号抽出器を含むことができるが、これらのコンポーネントは図１には示されていない。成分選択モジュールは、当該フレームの周波数ドメインデータのトーン成分と雑音成分とを区別する。このようにして、成分選択モジュールはフレーム内のトーン成分の場所を導出する。符号抽出器は、成分選択モジュールによって選択されたトーン成分の符号のサブセットを抽出する。次に、抽出された符号は、エンコードされたオーディオビットストリームにサイド情報としてパッキングされる。例えば、当該フレームの符号のサブセットは、隣接フレームのオーディオビットストリームに添付されることができる。
送信チャネル５で送信されるサイド情報量を最小化するために、エンコーダとして動作するオーディオコーデック６は、トーン成分の符号のサブセットと共に当該フレーム内のトーン成分の場所を送信しない。そうではなく、オーディオコーデック６および１０の両方とも、同じ動作を使用してトーン成分の場所を自己導出する。言い換えると、エンコーダとして動作するオーディオコーデック６は、デコーダとして動作するオーディオコーデック１０と同じ成分選択動作を実行する。このようにして、エンコーダ支援ＦＬＣ技術は、エンコーダから送信された最小量のサイド情報によってデコーダにおいてフレーム隠蔽品質のかなりの改良を達成する。
ＡＡＣ標準を利用するオーディオコーデック６および１０の場合、オーディオ信号のフレームの周波数ドメインデータは修正離散コサイン変換（ＭＤＣＴ）係数によって表される。１個のフレームは１０２４個のＭＤＣＴ係数を含むことができ、ＭＤＣＴ係数の各々は大きさおよび符号を含んでいる。ＭＤＣＴ係数の一部はトーン成分を備えており、残りのＭＤＣＴ係数は雑音成分を備えている。オーディオコーデック６および１０は、エンコーダ支援ＦＬＣ技術を実施して、破棄されたフレームのＭＤＣＴ係数の大きさおよび符号を別々に推定することができる。他のオーディオ標準の場合、他のタイプの変換係数がフレームの周波数ドメインデータを表すこともある。加えて、フレームは任意の数の係数を含むことができる。
図２は、図１のオーディオエンコーディングおよびデコーディングシステム２によってエンコーダ支援フレーム損失隠蔽を実行する例示的な動作を示すフローチャートである。例示の目的のために、通信デバイス３は、エンコーダとして動作するオーディオコーデック６を具備する送信機デバイスとして動作し、通信デバイス４は、デコーダとして動作するオーディオコーデック１０を具備する受信デバイスとして動作する。
通信デバイス３はフレームｍ＋１のオーディオ信号をサンプリングし、通信デバイス３内のオーディオコーデック６はフレームｍ＋１の時間ドメインデータを周波数ドメインデータに変換する。次に、オーディオコーデック６は、フレームｍ＋１の周波数ドメインデータをオーディオビットストリームにエンコードする（１２）。オーディオコーデック６は、フレーム遅延を実行して、フレームｍの周波数ドメインデータを生成することができる。周波数ドメインデータはトーン成分および雑音成分を含んでいる。オーディオコーデック６はフレームｍの周波数ドメインデータのトーン成分の符号のサブセットを抽出する（１３）。
一実施形態では、オーディオコーデック６はＦＬＣモジュール７を利用して、推定インデックスサブセットに基づいてフレームｍの周波数ドメインデータのトーン成分の符号のサブセットを抽出する。推定インデックスサブセットは、フレームｍの周波数ドメインデータの推定された大きさから、フレームｍ内のトーン成分の場所を識別する。ＦＬＣモジュール７は大きさ推定器と、成分選択モジュールと、符号抽出器とを含むことができるが、ＦＬＣモジュール７のこれらのコンポーネントは図１に示されていない。成分選択モジュールは、大きさ推定器からのフレームｍの周波数ドメインデータの推定された大きさに基づいて、推定インデックスサブセットを生成することができる。
別の実施形態では、オーディオコーデック６は、フレームｍ＋１の周波数ドメインデータの大きさからフレームｍ＋１内のトーン成分の場所を識別するインデックスサブセットに基づいて、フレームｍの周波数ドメインデータのトーン成分の符号のサブセットを抽出する。この場合、フレームｍのインデックスサブセットはフレームｍ＋１のインデックスサブセットにほぼ等しいと想定される。オーディオコーデック６は成分選択モジュールおよび符号抽出器を含むことができるが、これらのコンポーネントは図１には示されていない。成分選択モジュールは、フレームｍ＋１の周波数ドメインデータの大きさに基づいてインデックスサブセットを生成することができる。
オーディオコーデック６は、フレームｍのトーン成分の符号のサブセットをサイド情報として、フレームｍ＋１のオーディオビットストリームに添付する。オーディオコーデック６は、トーン成分の場所をフレームｍ＋１のオーディオビットストリームに添付しない。そうではなくて、オーディオコーデック６および１０は両方とも、同じ動作を使用してトーン成分の場所を自己導出する。このようにして、本技術は、フレームｍ＋１のオーディオビットストリームに添付されるサイド情報量を最小化する。次に、通信デバイス３は、フレームｍの符号のサブセットを含めてフレームｍ＋１のオーディオビットストリームを、送信チャネル５を介して通信デバイス４に送信する（１４）。
通信デバイス４はフレームｍのオーディオビットストリームを受信する（１５）。通信デバイス４内のオーディオコーデック１０は、オーディオビットストリームにエラー検出を実行して、オーディオビットストリームにエラーが発見された場合にはフレームｍを破棄する（１６）。通信デバイス４は、フレームｍのトーン成分の符号のサブセットを含めてフレームｍ＋１のオーディオビットストリームを受信する（１７）。次に、オーディオコーデック１０はＦＬＣモジュール１１を使用して、通信デバイス３からフレームｍ＋１のオーディオビットストリームと共に送信されたフレームｍのトーン成分の符号のサブセットを使用することによって、破棄されたフレームｍのフレーム損失隠蔽を実行する（１８）。ＦＬＣモジュール１１は大きさ推定器と、成分選択モジュールと、符号推定器とを含むことができるが、ＦＬＣモジュール１１のこれらのコンポーネントは図１に示されていない。
ＦＬＣモジュール１１内の大きさ推定器は、隣接フレームｍ−１およびｍ＋１の周波数ドメインデータに基づいて、フレームｍの周波数ドメインデータの大きさを推定することができる。一実施形態では、成分選択モジュールは、大きさ推定器からのフレームｍの周波数ドメインデータの推定された大きさに基づいて、フレームｍ内のトーン成分の場所を識別する推定インデックスサブセットを生成することができる。次に、符号推定器は、フレームｍの推定インデックスサブセットに基づいて、フレームｍの符号のサブセットからフレームｍ内のトーン成分の符号を推定する。
別の実施形態では、成分選択モジュールは、フレームｍ＋１の周波数ドメインデータの大きさからフレームｍ＋１内のトーン成分の場所を識別するインデックスサブセットを生成してもよい。この場合、フレームｍのインデックスサブセットはフレームｍ＋１のインデックスサブセットとほぼ等しいと想定される。次に、符号推定器は、フレームｍ＋１のインデックスサブセットに基づいて、フレームｍの符号のサブセットからフレームｍ内のトーン成分の符号を推定する。
ＦＬＣモジュール１１内の符号推定器は、ランダム信号からフレームｍ内の雑音成分の符号を推定することができる。次に、オーディオコーデック１０は、トーン成分および雑音成分の符号推定を対応する大きさ推定と結合して、フレームｍの周波数ドメインデータを推定する。次に、オーディオコーデック１０は、フレームｍの推定周波数ドメインデータを、フレームｍのオーディオ信号の推定時間ドメインデータにデコードする（１９）。
図３は、サイド情報として送信されるフレームの符号のサブセットを生成するＦＬＣモジュール３３を含む例示的なオーディオエンコーダ２０を示すブロック図である。オーディオエンコーダ２０は、図１のそれぞれの通信デバイス３および４内のオーディオコーデック６および１０と実質的に類似していてもよい。図３に示されているように、オーディオエンコーダ２０は変換ユニット２２と、コアエンコーダ２４と、第１のフレーム遅延３０と、第２のフレーム遅延３２と、ＦＬＣモジュール３３とを含んでいる。例示の目的のために、オーディオエンコーダ２０は、ここでは、オーディオ信号のフレームの周波数ドメインデータがＭＤＣＴ係数によって表されるＡＡＣ標準に準拠するものとして説明される。加えて、変換ユニット２２は、修正離散コサイン変換ユニットとして説明される。他の実施形態では、オーディオエンコーダ２０は、上述で列挙したオーディオコーディング標準または他の標準のいずれかに準拠していてもよい。
本技術は、ここでは、オーディオ信号のフレームｍを隠蔽するものとして説明される。フレームｍ＋１は、オーディオ信号のフレームｍの直後のオーディオフレームを表している。同様に、フレームｍ−１は、オーディオ信号のフレームｍの直前のオーディオフレームを表している。他の実施形態では、エンコーダ支援ＦＬＣ技術は、フレームｍの直前でも直後でもないフレームｍの近傍フレームを利用して、フレームｍを隠蔽してもよい。
変換ユニット２２はフレームｍ＋１のオーディオ信号ｘｍ＋１［ｎ］のサンプルを受信して、このサンプルを係数Ｘｍ＋１（ｋ）に変換する。次に、コアエンコーダ２４はこの係数をフレームｍ＋１のオーディオビットストリーム２６にエンコードする。ＦＬＣモジュール３３はフレームｍ＋１の係数Ｘｍ＋１（ｋ）、フレームｍの係数Ｘｍ（ｋ）、およびフレームｍ−１の係数Ｘｍ−１（ｋ）を使用して、フレームｍの係数Ｘｍ（ｋ）のトーン成分の符号Ｓｍのサブセット２８を生成する。ＦＬＣモジュール３３は、符号Ｓｍのサブセット２８をサイド情報として、フレームｍ＋１のオーディオビットストリーム２６に添付する。
ＦＬＣモジュール３３は大きさ推定器３４と、成分選択モジュール３６と、符号抽出器３８とを含んでいる。変換ユニット２２はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を大きさ推定器３４および第１のフレーム遅延３０に送る。第１のフレーム遅延３０はフレームｍの係数Ｘｍ（ｋ）を生成して、フレームｍの係数を第２のフレーム遅延３２に送る。第２のフレーム遅延３２はフレームｍ−１の係数Ｘｍ−１（ｋ）を生成して、フレームｍ−１の係数を大きさ推定器３４に送る。
大きさ推定器３４は、フレームｍ＋１およびｍ−１の係数に基づいて、フレームｍの係数の大きさを推定する。大きさ推定器３４は、種々の補間技術の１つを実施して、フレームｍの係数の大きさを推定することができる。例えば、大きさ推定器３４は、フレームｍ−１の先行フレーム係数Ｘｍ−１（ｋ）およびフレームｍ＋１の次のフレーム係数Ｘｍ＋１（ｋ）のエネルギに基づいて、エネルギ補間を実施することができる。大きさ推定は以下のように与えられる：
Figure 2009514032
ここでα（ｋ）は以下の式によって算出されるエネルギスケーリングファクタである：
Figure 2009514032
ここで、Ｂｂはｂ番目のスケールファクタ帯域におけるＭＤＣＴ係数のセットである。他の実施形態では、大きさ推定器４４は、フレームｍの直前でも直後でもないフレームｍの近傍フレームを利用して、フレームｍの係数の大きさを推定してもよい。
次に、大きさ推定器３４は、フレームｍの推定された係数の大きさ
Figure 2009514032
を成分選択モジュール３６に送る。成分選択モジュール３６は、フレームｍの推定された係数の大きさを分類することによって、フレームｍのトーン成分と雑音成分とを区別する。最大の大きさまたは最も顕著なスペクトルピークを有する係数をトーン成分とみなし、残りの係数は雑音成分をみなしてもよい。
選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。例えば、最大の大きさを有する係数の１０個がフレームｍのトーン成分として選択されてもよい。他の場合には、成分選択モジュール３６は１０個より多いか、または１０個未満のトーン成分を選択してもよい。さらに別の場合には、フレームｍについて選択されるトーン成分数は、オーディオ信号に基づいて変化してもよい。例えば、オーディオ信号がフレームｍにおいて、オーディオ信号の他のフレームよりも、多くのトーン成分を含んでいる場合、成分選択モジュール３６は、他のフレームからよりも、フレームｍからより多くのトーン成分を選択してもよい。
他の実施形態では、成分選択モジュール３６は、フレームｍのトーン成分と雑音成分とを区別するための種々の他の方式を使用して、フレームｍの推定された係数の大きさからトーン成分を選択してもよい。例えば、成分選択モジュール３６は、いくつかの心理音響原理に基づいて、係数のサブセットを選択してもよい。ＦＬＣモジュール４３は、オーディオエンコーダ２０の複雑さレベルが許容するより正確な成分区別方式を用いてもよい。
次に、成分選択モジュール３６は、フレームｍの推定された係数の大きさから選択されるトーン成分の場所を識別する推定インデックスサブセット
Figure 2009514032
を生成する。トーン成分は、最も顕著な大きさを有するフレームｍの係数として選択される。しかしながら、フレームｍの係数は、フレームｍの隠蔽を実行するときにオーディオデコーダに使用可能ではない。したがって、インデックスサブセットが、フレームｍの推定係数の大きさ
Figure 2009514032
に基づいて導出され、推定インデックスサブセットと称される。推定インデックスサブセットは以下のように与えられる：
Figure 2009514032
ここで、Ｍは、フレームｍ内のＭＤＣＴ係数の数であり、Ｔｈｒは、
Figure 2009514032
となるように判断される閾値であり、Ｂｍは、送信される符号の数である。例えば、例示的な実施形態において、Ｂｍは１０個の符号に等しくてもよい。他の実施形態において、Ｂｍは１０より大きくても、または１０未満であってもよい。さらに別の実施形態において、Ｂｍはフレームｍのオーディオ信号に基づいて変化してもよい。
成分選択モジュール３６は、フレームｍの推定インデックスサブセットを符号抽出器３８に送る。符号抽出器３８はまた、フレームｍの係数Ｘｍ（ｋ）を第１のフレーム遅延３０から受信する。次に、符号抽出器３８は、推定インデックスサブセットによって識別されたフレームｍの係数Ｘｍ（ｋ）から符号を抽出する。例えば、推定インデックスサブセットは、所定数、例えば１０個の係数インデックスを含み、これらは、フレームｍの推定された係数の大きさから選択されるトーン成分を識別する。次に、符号抽出器３８は、推定インデックスサブセット内のインデックスと等しいインデックスｋを有するフレームｍの係数Ｘｍ（ｋ）に対応する符号を抽出する。次に、符号抽出器３８は、推定インデックスサブセットによって識別されたフレームｍのトーン成分から抽出された符号Ｓｍのサブセット２８を、フレームｍ＋１のオーディオビットストリーム２６に添付する。
成分選択モジュール３６は、オーディオエンコーダ２０からの送信を受信するオーディオデコーダと同じ動作を使用して、フレームｍ内のトーン成分を選択する。したがって、フレームｍの推定された係数の大きさから選択されるトーン成分の場所を識別する同じ推定インデックスサブセット
Figure 2009514032
は、オーディオエンコーダ２０およびオーディオデコーダの両方で生成されることができる。したがって、オーディオデコーダは、フレームｍのトーン成分の符号Ｓｍのサブセット２８を、推定インデックスサブセットによって識別されたフレームｍの適切な推定された係数の大きさに適用することができる。このように、オーディオエンコーダ２０は、符号Ｓｍのサブセット２８と共にフレームｍ内のトーン成分の場所を送信する必要がないため、送信されるサイド情報量を最小化することができる。
図４は、サイド情報としてエンコーダから受信されたフレームの符号のサブセットを利用するフレーム損失隠蔽モジュール４３を含む例示的なオーディオデコーダ４０を示すブロック図である。オーディオデコーダ４０は、図１のそれぞれの通信デバイス３および４内のオーディオコーデック６および１０と実質的に類似していてもよい。オーディオデコーダ４０は、図３のオーディオエンコーダ２０と実質的に類似しているオーディオエンコーダから、オーディオビットストリームを受信してもよい。図４に示されているように、オーディオデコーダ４０はコアデコーダ４１と、エラー検出モジュール４２と、ＦＬＣモジュール４３と、逆変換ユニット５０とを含んでいる。
例示の目的のために、ここでは、オーディオデコーダ４０を、オーディオ信号のフレームの周波数ドメインデータがＭＤＣＴ係数によって表されるＡＡＣ標準に準拠するものとして説明する。加えて、逆変換ユニット５０を、逆修正離散コサイン変換ユニットとして説明する。他の実施形態では、オーディオデコーダ４０は、上述で列挙したオーディオコーディング標準のいずれかに準拠していてもよい。
コアデコーダ４１は、係数Ｘｍ（ｋ）を含むフレームｍのオーディオビットストリームを受信して、フレームｍのオーディオビットストリームをエラー検出モジュール４２に送る。次に、エラー検出モジュール４２は、フレームｍのオーディオビットストリームにエラー検出を実行する。コアデコーダ４１は続いて、係数Ｘｍ＋１（ｋ）を含むフレームｍ＋１のオーディオビットストリーム２６と、サイド情報としてフレームｍの符号Ｓｍのサブセット２８とを受信する。コアデコーダ４１は、第１のフレーム遅延５１を使用して、フレームｍの係数を、破棄されない場合は生成し、第２のフレーム遅延５２を使用して、フレームｍ＋１のオーディオビットストリームからフレームｍ−１の係数を生成する。フレームｍの係数が破棄されない場合、第１のフレーム遅延５１はフレームｍの係数をマルチプレクサ４９に送る。第２のフレーム遅延５２はフレームｍ−１の係数をＦＬＣモジュール４３に送る。
フレームｍ内にエラーが検出されない場合、エラー検出モジュール４２は、マルチプレクサ４９がフレームｍの係数Ｘｍ（ｋ）を第１のフレーム遅延５１から逆変換ユニット５０に直接に渡すことを可能にし、それはフレームｍのオーディオ信号サンプルに変換される。
フレームｍ内にエラーが検出される場合、エラー検出モジュール４２はフレームｍの係数のすべてを破棄して、マルチプレクサ４９が、フレームｍの係数推定
Figure 2009514032
をＦＬＣモジュール４３から逆変換ユニット５０に渡すことを可能にする。ＦＬＣモジュール４３はフレームｍ＋１の係数Ｘｍ＋１（ｋ）をコアデコーダ４１から受信し、フレームｍ−１の係数Ｘｍ−１（ｋ）を第２のフレーム遅延５２から受信する。ＦＬＣモジュール４３はフレームｍ＋１およびｍ−１の係数を使用して、フレームｍの係数の大きさを推定する。加えて、ＦＬＣモジュール４３は、オーディオエンコーダ２０からフレームｍ＋１のオーディオビットストリーム２６と共に送信されたフレームｍの符号Ｓｍのサブセット２８を使用して、フレームｍの係数の符号を推定する。次に、ＦＬＣモジュール４３は、大きさ推定と符号推定を結合して、フレームｍの係数を推定する。次に、ＦＬＣモジュール４３は係数推定
Figure 2009514032
を逆変換ユニット５０に送り、逆変換ユニット５０は、フレームｍの係数推定を、フレームｍのオーディオ信号の推定サンプル
Figure 2009514032
に変換する。
ＦＬＣモジュール４３は大きさ推定器４４と、成分選択モジュール４６と、符号推定器４８とを含んでいる。コアデコーダ４１はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を大きさ推定器４４に送り、第２のフレーム遅延５２はフレームｍ−１の係数Ｘｍ−１（ｋ）を大きさ推定器４４に送る。オーディオエンコーダ２０内の大きさ推定器３４と実質的に類似して、大きさ推定器４４は、フレームｍ＋１およびｍ−１の係数に基づいて、フレームｍの係数の大きさを推定する。大きさ推定器４４は、種々の補間技術の１つを実施して、フレームｍの係数の大きさを推定することができる。例えば、大きさ推定器４４は、フレームｍ−１の先行フレーム係数Ｘｍ−１（ｋ）およびフレームｍ＋１の次のフレーム係数Ｘｍ＋１（ｋ）のエネルギに基づいて、エネルギ補間を実施することができる。大きさ推定は上述の式（１）で与えられている。他の実施形態では、大きさ推定器４４は、フレームｍの直前でも直後でもないフレームｍの近傍フレームを利用して、フレームｍの係数の大きさを推定してもよい。
次に、大きさ推定器４４は、フレームｍの推定された係数の大きさ
Figure 2009514032
を成分選択モジュール４６に送る。成分選択モジュール４６は、フレームｍの推定された係数の大きさを分類することによって、フレームｍのトーン成分と雑音成分とを区別する。最大の大きさまたは最も顕著なスペクトルピークを有する係数をトーン成分とみなし、残りの係数は雑音成分をみなしてもよい。選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。他の場合には、フレームｍについて選択されるトーン成分数は、オーディオ信号に基づいて変化してもよい。次に、成分選択モジュール４６は、フレームｍの推定された係数の大きさから選択されるトーン成分の場所を識別する推定インデックスサブセット
Figure 2009514032
を生成する。推定インデックスサブセットは上述の式（３）で与えられている。
成分選択モジュール４６は、オーディオエンコーダ２０（オーディオビットストリームはオーディオエンコーダ２０から受信される）内の成分選択モジュール３６と全く同じ動作を使用して、フレームｍ内のトーン成分を選択する。したがって、フレームｍの推定された係数の大きさから選択されるトーン成分の場所を識別する同じ推定インデックスサブセット
Figure 2009514032
は、オーディオエンコーダ２０とオーディオデコーダ４０の両方で生成することができる。したがって、オーディオデコーダ４０は、フレームｍのトーン成分の符号Ｓｍのサブセット２８を、推定インデックスサブセットによって識別されるフレームｍの適切な推定された係数の大きさに適用することができる。
成分選択モジュール４６は、フレームｍの推定インデックスサブセットを符号推定器４８に送る。符号推定器４８はまた、フレームｍ＋１のオーディオビットストリーム２６と共に送信されたフレームｍの符号Ｓｍのサブセット２８をオーディオエンコーダ２０から受信する。次に、符号推定器４８は、フレームｍのトーン成分と雑音成分との両方の符号を推定する。
雑音成分の場合、符号推定器４８はランダム信号から符号を推定する。トーン成分の場合、符号推定器４８は、推定インデックスサブセット
Figure 2009514032
に基づいて符号Ｓｍのサブセット２８から符号を推定する。例えば、推定インデックスサブセットは、所定数、例えば１０個の係数インデックスを含み、これらは、フレームｍの推定された係数の大きさから選択されるトーン成分を識別する。次に、符号推定器４８は、推定インデックスサブセット内のインデックスに等しいインデックスｋを有する符号Ｓｍのサブセット２８としてフレームｍのトーン成分の符号を推定する。符号推定
Figure 2009514032
は以下のように与えられる：
Figure 2009514032
ここで、ｓｇｎ（ ）は符号関数を示しており、
Figure 2009514032
は、選択されたトーン成分に対応する係数の推定インデックスサブセットであり、Ｓｍ（ｋ）はサンプル空間｛−１，１｝を有するランダム変数である。
上述のように、フレームｍのトーン成分の符号を推定するために、オーディオデコーダ４０は、フレームｍ内のトーン成分の場所と、フレームｍのオリジナルトーン成分の対応する符号とを知る必要がある。オーディオデコーダ４０がこの情報を受信する簡単なやり方は、高められたビットレートによって、オーディオエンコーダ２０からオーディオデコーダ４０に両方のパラメータを明確に送信することである。示されている実施形態では、推定インデックスサブセット
Figure 2009514032
は、オーディオエンコーダ２０およびオーディオデコーダ４０の両方で全く同じ導出プロセスを使用して自己導出されるのに対して、推定インデックスサブセット
Figure 2009514032
によってインデックスを付けられたフレームｍのトーン成分の符号は、サイド情報としてオーディオエンコーダ２０から送信される。
次に、ＦＬＣモジュール４３は、大きさ推定器４４からの大きさ推定
Figure 2009514032
と、符号推定器４８からの符号推定
Figure 2009514032
とを結合して、フレームｍの係数を推定する。フレームｍの係数推定
Figure 2009514032
は以下のように与えられる：
Figure 2009514032
次に、ＦＬＣモジュール４３は、フレームｍの係数推定を渡すことを可能にされたマルチプレクサ４９を介して、逆変換ユニット５０に係数推定を送り、逆変換ユニット５０はフレームｍの係数推定をフレームｍのオーディオ信号の推定サンプル
Figure 2009514032
に変換する。
図５は、オーディオビットストリームをエンコードして、オーディオビットストリームと共に送信されるフレームの符号のサブセットをサイド情報として生成する例示的な動作を説明するフローチャートである。この動作を図３のオーディオエンコーダ２０を参照してここで説明する。
変換ユニット２２はフレームｍ＋１のオーディオ信号ｘｍ＋１［ｎ］のサンプルを受信して、このサンプルをフレームｍ＋１の係数Ｘｍ＋１（ｋ）に変換する（５４）。次に、コアエンコーダ２４は、この係数をフレームｍ＋１のオーディオビットストリーム２６にエンコードする（５６）。変換ユニット２２はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を大きさ推定器３４および第１のフレーム遅延３０に送る。第１のフレーム遅延３０はフレーム遅延を実行して、フレームｍの係数Ｘｍ（ｋ）を生成する（５８）。次に、第１のフレーム遅延３０は、フレームｍの係数を第２のフレーム遅延３２に送る。第２のフレーム遅延３２はフレーム遅延を実行して、フレームｍ−１の係数Ｘｍ−１（ｋ）を生成する（６０）。次に、第２のフレーム遅延３２は、フレームｍ−１の係数を大きさ推定器３４に送る。
大きさ推定器３４は、フレームｍ＋１およびｍ−１の係数に基づいて、フレームｍの係数の大きさを推定する（６２）。例えば、大きさ推定器３４は、式（１）で与えられたエネルギ補間技術を実施して、係数の大きさを推定することができる。次に、大きさ推定器３４は、フレームｍの推定された係数の大きさ
Figure 2009514032
を成分選択モジュール３６に送る。成分選択モジュール３６は、フレームｍの推定された係数の大きさを分類することによって、フレームｍのトーン成分と雑音成分とを区別する。最大の大きさを有する係数をトーン成分とみなし、残りの係数を雑音成分とみなしてもよい。選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。他の場合には、フレームｍについて選択されるトーン成分数は、オーディオ信号に基づいて変化してもよい。次に、成分選択モジュール３６は、フレームｍの推定された係数の大きさから選択されるトーン成分の場所を識別する推定インデックスサブセット
Figure 2009514032
を生成する（６４）。
成分選択モジュール３６はフレームｍの推定インデックスサブセットを符号抽出器３８に送る。符号抽出器３８はまた、フレームｍの係数Ｘｍ（ｋ）を第１のフレーム遅延３０から受信する。次に、符号抽出器３８は、推定インデックスサブセットによって識別されたフレームｍの係数Ｘｍ（ｋ）から符号を抽出する（６６）。次に、符号抽出器３８は、推定インデックスサブセットによって識別されたフレームｍのトーン成分から抽出された符号Ｓｍのサブセット２８を、フレームｍ＋１のオーディオビットストリーム２６に添付する（６８）。
図６は、オーディオビットストリームをデコードして、サイド情報としてエンコーダから受信されたフレームの符号のサブセットを使用してフレーム損失隠蔽を実行する例示的な動作を図示するフローチャートである。この動作を図４のオーディオデコーダ４０を参照してここで説明する。
コアデコーダ４１は、係数Ｘｍ（ｋ）を含むフレームｍのオーディオビットストリームを受信する（７２）。次に、エラー検出モジュール４２は、フレームｍのオーディオビットストリームにエラー検出を実行する（７４）。コアデコーダ４１は続いて、係数Ｘｍ＋１（ｋ）を含むフレームｍ＋１のオーディオビットストリーム２６と、サイド情報としてフレームｍの符号Ｓｍのサブセット２８とを受信する（７５）。コアデコーダ４１は、第１のフレーム遅延５１を使用して、フレームｍの係数を、破棄されない場合は生成し、第２のフレーム遅延５２を使用して、フレームｍ＋１のオーディオビットストリームからフレームｍ−１の係数を生成する。フレームｍの係数が破棄されない場合、第１のフレーム遅延５１はフレームｍの係数をマルチプレクサ４９に送る。第２のフレーム遅延５２はフレームｍ−１の係数をＦＬＣモジュール４３に送る。
フレームｍ内にエラーが検出されない場合、エラー検出モジュール４２は、マルチプレクサ４９がフレームｍの係数を第１のフレーム遅延５１から逆変換ユニット５０に直接に渡すことを可能にし、それはフレームｍのオーディオ信号サンプルに変換される。フレームｍ内にエラーが検出される場合、エラー検出モジュール４２は、フレームｍの係数のすべてを破棄して、マルチプレクサ４９がフレームｍの係数推定をＦＬＣモジュール４３から逆変換ユニット５０に渡すことを可能にする（７６）。
コアデコーダ４１はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を大きさ推定器４４に送り、第２のフレーム遅延５２はフレームｍ−１の係数Ｘｍ−１（ｋ）を大きさ推定器４４に送る。大きさ推定器４４は、フレームｍ＋１およびｍ−１の係数に基づいて、フレームｍの係数の大きさを推定する（７８）。例えば、大きさ推定器４４は、上述の式（１）で与えられているエネルギ補間技術を実施して、係数の大きさを推定することができる。次に、大きさ推定器４４は、フレームｍの推定された係数の大きさ
Figure 2009514032
を成分選択モジュール４６に送る。
成分選択モジュール４６は、フレームｍの推定された係数の大きさを分類することによって、フレームｍのトーン成分と雑音成分とを区別する。最大の大きさを有する係数をトーン成分とみなし、残りの係数を雑音成分とみなしてもよい。選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。他の場合には、フレームｍについて選択されるトーン成分数は、オーディオ信号に基づいて変化してもよい。次に、成分選択モジュール４６は、フレームｍの推定された係数の大きさから選択されるトーン成分の場所を識別する推定インデックスサブセット
Figure 2009514032
を生成する（８０）。
成分選択モジュール４６は、オーディオビットストリームが受信されるオーディオエンコーダ２０内の成分選択モジュール３６と全く同じ動作を使用して、フレームｍ内のトーン成分を選択する。したがって、フレームｍの推定された係数の大きさから選択されるトーン成分の場所を識別する同じ推定インデックスサブセット
Figure 2009514032
は、オーディオエンコーダ２０およびオーディオデコーダ４０の両方で生成されることができる。したがって、オーディオデコーダ４０は、フレームｍのトーン成分の符号Ｓｍのサブセット２８を、推定インデックスサブセットによって識別されたフレームｍの適切な推定された係数の大きさに適用することができる。
成分選択モジュール４６は、フレームｍの推定インデックスサブセットを符号推定器４８に送る。符号推定器４８はまた、フレームｍ＋１のオーディオビットストリーム２６と共に送信されるフレームｍの符号Ｓｍのサブセット２８を、オーディオエンコーダ２０から受信する。次に、符号推定器４８は、フレームｍのトーン成分および雑音成分の両方の符号を推定する。トーン成分の場合には、符号推定器４８は、推定インデックスサブセットに基づいてフレームｍの符号Ｓｍのサブセット２８から符号を推定する（８２）。雑音成分の場合、符号推定器４８はランダム信号から符号を推定する（８４）。
次に、ＦＬＣモジュール４３は、大きさ推定器４４からの大きさ推定
Figure 2009514032
と、符号推定器４８からの符号推定
Figure 2009514032
とを結合して、フレームｍの係数を推定する（８６）。ＦＬＣモジュール４３は係数推定
Figure 2009514032
を逆変換ユニット５０に送り、逆変換ユニット５０はフレームｍの係数推定をフレームｍのオーディオ信号の推定サンプル
Figure 2009514032
に変換する（８８）。
図７は、別の例示的なオーディオエンコーダ９０を示すブロック図であり、オーディオエンコーダ９０は、成分選択モジュール１０２と符号抽出器１０４とを含み、サイド情報として送信されるフレームの符号のサブセットを生成する。オーディオエンコーダ９０は、図１のそれぞれの通信デバイス３および４内のオーディオコーデック６および１０と実質的に類似していてもよい。図７に示されているように、オーディオエンコーダ９０は変換ユニット９２と、コアエンコーダ９４と、フレーム遅延１００と、成分選択モジュール１０２と、符号抽出器１０４とを含んでいる。例示の目的のために、オーディオエンコーダ９０は、ここでは、オーディオ信号のフレームの周波数ドメインデータがＭＤＣＴ係数によって表されるＡＡＣ標準に準拠しているものとして説明される。加えて、変換ユニット９２は修正離散コサイン変換ユニットとして説明される。他の実施形態では、オーディオエンコーダ９０は、上述で列挙されているオーディオコーディング標準のいずれかに準拠していてもよい。
本技術は、ここでは、オーディオ信号のフレームｍを隠蔽するものとして説明される。フレームｍ＋１は、オーディオ信号のフレームｍの直後のオーディオフレームを表している。同様に、フレームｍ−１は、オーディオ信号のフレームｍの直前のオーディオフレームを表している。他の実施形態では、エンコーダ支援ＦＬＣ技術は、フレームの直前でも直後でもないフレームｍの近傍フレームを利用して、フレームｍを隠蔽することができる。
変換ユニット９２はフレームｍ＋１のオーディオ信号ｘｍ＋１［ｎ］のサンプルを受信して、このサンプルを係数Ｘｍ＋１（ｋ）に変換する。次に、コアエンコーダ９４は、この係数をフレームｍ＋１のオーディオビットストリーム９６にエンコードする。成分選択モジュール１０２はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を使用し、符号抽出器１０４はフレームｍの係数Ｘｍ（ｋ）を使用して、フレームｍの符号Ｓｍのサブセット９８を生成する。符号抽出器１０４は、この符号Ｓｍのサブセット９８をサイド情報としてフレームｍ＋１のオーディオビットストリーム９６に添付する。
より具体的には、変換ユニット９２はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を成分選択モジュール１０２およびフレーム遅延１００に送る。フレーム遅延１００はフレームｍの係数Ｘｍ（ｋ）を生成して、フレームｍの係数を符号抽出器１０４に送る。成分選択モジュール１０２は、フレームｍ＋１の係数の大きさを分類することによって、フレームｍ＋１のトーン成分と雑音成分とを区別する。最大の大きさまたは最も顕著なスペクトルピークを有する係数をトーン成分とみなし、残りの係数を雑音成分とみなしてもよい。
選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。例えば、最大の大きさを有する係数の１０個が、フレームｍ＋１のトーン成分として選択されてもよい。他の場合には、成分選択モジュール１０２は１０個より多いか、または１０個未満のトーン成分を選択してもよい。さらに別の場合には、フレームｍ＋１について選択されるトーン成分数は、オーディオ信号に基づいて変化してもよい。例えば、オーディオ信号がフレームｍ＋１において、オーディオ信号の他のフレームよりも、多くのトーン成分を含んでいる場合、成分選択モジュール３６は、他のフレームよりもフレームｍ＋１からより多くのトーン成分を選択してもよい。
他の実施形態では、成分選択モジュール１０２は、フレームｍ＋１のトーン成分と雑音成分とを区別するための種々の他の方式を使用して、フレームｍ＋１の係数の大きさからトーン成分を選択してもよい。例えば、成分選択モジュール１０２は、いくつかの心理音響原理に基づいて係数のサブセットを選択してもよい。オーディオエンコーダ９０は、オーディオエンコーダ９０の複雑さレベルが許容するより正確な成分区別方式を用いてもよい。
次に、成分選択モジュール１０２は、フレームｍ＋１の係数の大きさから選択されるトーン成分の場所を識別するインデックスサブセットＩｍ＋１を生成する。トーン成分は、最も顕著な大きさを有するフレームｍ＋１の係数として選択される。フレームｍ＋１の係数は、フレームｍの隠蔽を実行する場合に、オーディオデコーダに使用可能である。したがって、インデックスサブセットは、フレームｍ＋１の係数の大きさＸｍ＋１（ｋ）に基づいて導出される。インデックスサブセットは以下のように与えられる：
Figure 2009514032
ここで、Ｍは、フレームｍ＋１内のＭＤＣＴ係数の数であり、Ｔｈｒは、｜Ｉｍ＋１｜＝Ｂｍ＋１となるように判断される閾値であり、Ｂｍ＋１は、送信される符号の数である。例えば、Ｂｍ＋１は１０個の符号に等しくてもよい。他の実施形態では、Ｂｍ＋１は１０より大きいか、または１０未満であってもよい。さらに別の実施形態では、Ｂｍ＋１はフレームｍのオーディオ信号に基づいて変化してもよい。
成分選択モジュール１０２はフレームｍ＋１のインデックスサブセットを符号抽出器１０４に送る。符号抽出器１０４はまた、フレームｍの係数Ｘｍ（ｋ）をフレーム遅延１００から受信する。フレームｍのインデックスサブセットは、フレームｍ＋１のインデックスサブセットにほぼ等しいと想定される。次に、符号抽出器１０４は、フレームｍ＋１のインデックスサブセットによって識別されたフレームｍの係数Ｘｍ（ｋ）から符号を抽出する。例えば、インデックスサブセットは、所定数、例えば１０個の係数インデックスを含み、係数インデックスは、フレームｍ＋１の係数の大きさから選択されるトーン成分を識別する。次に、符号抽出器１０４は、フレームｍ＋１のインデックスサブセット内のインデックスに等しいインデックスｋを有するフレームｍの係数Ｘｍ（ｋ）に対応する符号を抽出する。次に、符号抽出器１０４は、フレームｍ＋１のインデックスサブセットによって識別されたフレームｍのトーン成分から抽出された符号Ｓｍのサブセット９８を、フレームｍ＋１のオーディオビットストリーム９６に添付する。
成分選択モジュール１０２は、オーディオエンコーダ９０からの送信を受信するオーディオデコーダと全く同じ動作を使用して、フレームｍ＋１内のトーン成分を選択する。したがって、フレームｍ＋１の係数の大きさから選択されるトーン成分の場所を識別する同じインデックスサブセットＩｍ＋１は、オーディオエンコーダ９０およびオーディオデコーダの両方で生成することができる。したがって、オーディオデコーダは、フレームｍのトーン成分の符号Ｓｍのサブセット９８を、フレームｍ＋１のインデックスサブセットによって識別されたフレームｍの適切な推定された係数の大きさに適用することができる。このように、オーディオエンコーダ９０は、符号Ｓｍのサブセット９８と共にフレームｍ内のトーン成分の場所を送信する必要がないため、送信されるサイド情報量を最小化することができる。
図８は、サイド情報としてエンコーダから受信されたフレームの符号のサブセットを利用するフレーム損失隠蔽モジュール１１３を含む別の例示的なオーディオデコーダ１１０を示すブロック図である。オーディオデコーダ１１０は、図１のそれぞれの通信デバイス３および４内のオーディオコーデック６および１０に実質的に類似していてもよい。オーディオデコーダ１１０は、図７のオーディオエンコーダ９０と実質的に類似しているオーディオエンコーダから、オーディオビットストリームを受信してもよい。図８に示されているように、オーディオデコーダ１１０はコアデコーダ１１１と、エラー検出モジュール１１２と、ＦＬＣモジュール１１３と、逆変換ユニット１２０とを含んでいる。
例示の目的のために、ここでは、オーディオデコーダ１１０は、オーディオ信号のフレームの周波数ドメインデータがＭＤＣＴ係数によって表されるＡＡＣ標準に準拠するものとして説明される。加えて、逆変換ユニット１２０は逆修正離散コサイン変換ユニットとして説明される。他の実施形態では、オーディオデコーダ１１０は、上述で列挙されたオーディオコーディング標準のいずれかに準拠してもよい。
コアデコーダ１１１は、係数Ｘｍ（ｋ）を含むフレームｍのオーディオビットストリームを受信して、フレームｍのオーディオビットストリームをエラー検出モジュール１１２に送る。次に、エラー検出モジュール１１２は、フレームｍのオーディオビットストリームにエラー検出を実行する。コアデコーダ１１は続いて、係数Ｘｍ＋１（ｋ）を含むフレームｍ＋１のオーディオビットストリーム９６と、サイド情報としてフレームｍの符号Ｓｍのサブセット９８とを受信する。コアデコーダ１１１は、第１のフレーム遅延１２１を使用して、フレームｍの係数を、破棄されない場合は生成し、第２のフレーム遅延１２２を使用して、フレームｍ＋１のオーディオビットストリームからフレームｍ−１の係数を生成する。フレームｍの係数が破棄されない場合、第１のフレーム遅延１２１はフレームｍの係数をマルチプレクサ１１９に送る。第２のフレーム遅延１２２はフレームｍ−１の係数をＦＬＣモジュール１１３に送る。
フレームｍ内にエラーが検出されない場合、エラー検出モジュール１１２は、マルチプレクサ１１９がフレームｍの係数Ｘｍ（ｋ）を第１のフレーム遅延１２１から逆変換ユニット１２０に直接に渡すことを可能にし、それはフレームｍのオーディオ信号サンプルに変換される。
フレームｍ内にエラーが検出される場合、エラー検出モジュール１１２はフレームｍの係数のすべてを破棄して、マルチプレクサ１１９が、フレームｍの係数推定
Figure 2009514032
をＦＬＣモジュール１１３から逆変換ユニット１２０に渡すことを可能にする。ＦＬＣモジュール１１３はフレームｍ＋１の係数Ｘｍ＋１（ｋ）をコアデコーダ１１１から受信し、フレームｍ−１の係数Ｘｍ−１（ｋ）を第２のフレーム遅延１２２から受信する。ＦＬＣモジュール１１３はフレームｍ＋１およびｍ−１の係数を使用して、フレームｍの係数の大きさを推定する。加えて、ＦＬＣモジュール１１３は、オーディオエンコーダ９０からフレームｍ＋１のオーディオビットストリーム９６と共に送信されたフレームｍの符号Ｓｍのサブセット９８を使用して、フレームｍの係数の符号を推定する。次に、ＦＬＣモジュール１１３は、大きさ推定と符号推定とを結合して、フレームｍの係数を推定する。ＦＬＣモジュール１１３は係数推定
Figure 2009514032
を逆変換ユニット１２０に送り、逆変換ユニット１２０はフレームｍの係数推定を、フレームｍのオーディオ信号の推定サンプル
Figure 2009514032
に変換する。
ＦＬＣモジュール１１３は大きさ推定器１１４と、成分選択モジュール１１６と、符号推定器１１８とを含んでいる。コアデコーダ１１１はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を大きさ推定器１１４に送り、第２のフレーム遅延１２２はフレームｍ−１の係数Ｘｍ−１（ｋ）を大きさ推定器１１４に送る。大きさ推定器１１４は、フレームｍ＋１およびｍ−１の係数に基づいて、フレームｍの係数の大きさを推定する。大きさ推定器１１４は、種々の補間技術の１つを実施して、フレームｍの係数の大きさを推定することができる。例えば、大きさ推定器１１４は、フレームｍ−１の先行フレーム係数Ｘｍ−１（ｋ）およびフレームｍ＋１の次のフレーム係数Ｘｍ＋１（ｋ）のエネルギに基づいて、エネルギ補間を実施することができる。係数の大きさ推定
Figure 2009514032
は式（１）で与えられている。他の実施形態では、エンコーダ支援ＦＬＣ技術は、フレームｍの直前でも直後でもないフレームｍの近傍フレームを利用して、フレームｍの係数の大きさを推定してもよい。
成分選択モジュール１１６はフレームｍ＋１の係数Ｘｍ＋１（ｋ）を受信して、フレームｍ＋１の係数の大きさを分類することによってフレームｍ＋１のトーン成分と雑音成分とを区別する。最大の大きさまたは最も顕著なスペクトルピークを有する係数をトーン成分とみなし、残りの係数を雑音成分とみなしてもよい。選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。他の場合には、フレームｍ＋１について選択されるトーン成分数は、オーディオ信号に基づいて変化してもよい。次に、成分選択モジュール１１６は、フレームｍ＋１の係数の大きさから選択されるトーン成分の場所を識別するインデックスサブセットＩｍ＋１を生成する。フレームｍ＋１のインデックスサブセットは、上述の式（６）で与えられている。フレームｍのインデックスサブセットは、フレームｍ＋１のインデックスサブセットとほぼ等しいと想定される。
成分選択モジュール１１６は、オーディオエンコーダ９０（オーディオビットストリームはオーディオエンコーダ９０から受信される）内の成分選択モジュール１０２と全く同じ動作を使用して、フレームｍ＋１内のトーン成分を選択する。したがって、フレームｍ＋１の係数の大きさから選択されるトーン成分の場所を識別する同じインデックスサブセットＩｍ＋１は、オーディオエンコーダ９０とオーディオデコーダ１１０との両方で生成されることができる。したがって、オーディオデコーダ１１０は、フレームｍのトーン成分の符号Ｓｍのサブセット９８を、フレームｍ＋１のインデックスサブセットによって識別されたフレームｍの適切な推定された係数の大きさに適用することができる。
成分選択モジュール１１６は、フレームｍ＋１のインデックスサブセットを符号推定器１１８に送る。符号推定器１１８はまた、エンコーダ９０からフレームｍ＋１のオーディオビットストリーム９６と共に送信されたフレームｍの符号Ｓｍのサブセット９８を受信する。次に、符号推定器１１８は、フレームｍのトーン成分および雑音成分の両方の符号を推定する。
雑音成分の場合、符号推定器１１８はランダム信号から符号を推定する。トーン成分の場合、符号推定器１１８は、フレームｍ＋１のインデックスサブセットに基づいて符号Ｓｍのサブセット９８から符号を推定する。例えば、インデックスサブセットは、所定数、例えば１０個の係数インデックスを含み、係数インデックスは、フレームｍ＋１の係数の大きさから選択されるトーン成分を識別する。次に、符号推定器１１８は、フレームｍ＋１のインデックスサブセット内のインデックスと等しいインデックスｋを有する符号Ｓｍのサブセット９８としてフレームｍのトーン成分の符号を推定する。符号推定は以下のように与えられる：
Figure 2009514032
ここで、ｓｇｎ（ ）は、符号関数を示しており、Ｉｍ＋１は、選択されたトーン成分に対応する係数のインデックスサブセットであり、Ｓｍ（ｋ）は、サンプル空間｛−１，１｝を有するランダム変数である。
上述のように、フレームのトーン成分の符号を推定するために、オーディオデコーダ１１０は、フレームｍ内のトーン成分の場所と、フレームｍのオリジナルトーン成分の対応する符号を知る必要がある。オーディオデコーダ１１０がこの情報を受信する簡単なやり方は、高められたビットレートによって、オーディオエンコーダ９０からオーディオデコーダ１１０に両方のパラメータを明確に送信することである。示されている実施形態では、インデックスサブセットＩｍ＋１は、オーディオエンコーダ９０とオーディオデコーダ１１０の両方で全く同じ導出プロセスを使用して自己導出されるのに対して、フレームｍ＋１のインデックスサブセットＩｍ＋１によってインデックスを付けられたフレームｍのトーン成分の符号は、サイド情報としてオーディオエンコーダ９０から送信される。
次に、ＦＬＣモジュール１１３は、大きさ推定器１１４からの大きさ推定
Figure 2009514032
と、符号推定器１１８からの符号推定
Figure 2009514032
とを結合して、フレームｍの係数を推定する。フレームｍの係数推定
Figure 2009514032
は、式（５）で与えられている。次に、ＦＬＣモジュール１１３は係数推定を逆変換ユニット１２０に送り、逆変換ユニット１２０は、フレームｍの係数推定をフレームｍのオーディオ信号の推定サンプル
Figure 2009514032
に変換する。
図９は、オーディオビットストリームをエンコードして、オーディオビットストリームと共に送信されるフレームの符号のサブセットをサイド情報として生成する別の例示的な動作を示すフローチャートである。この動作を図７のオーディオエンコーダ９０を参照してここで説明する。
変換ユニット９２は、フレームｍ＋１のオーディオ信号ｘｍ＋１［ｎ］のサンプルを受信し、このサンプルをフレームｍ＋１の係数Ｘｍ＋１（ｋ）に変換する（１２４）。次に、コアエンコーダ９４は、この係数をフレームｍ＋１のオーディオビットストリーム９６にエンコードする（１２６）。変換ユニット９２は、フレームｍ＋１の係数Ｘｍ＋１（ｋ）を成分選択モジュール１０２およびフレーム遅延１００に送る。フレーム遅延１００はフレーム遅延を実行して、フレームｍの係数Ｘｍ（ｋ）を生成する（１２８）。次に、フレーム遅延１００は、フレームｍの係数を符号抽出器１０４に送る。
成分選択モジュール１０２は、フレームｍ＋１の係数の大きさを分類することによって、フレームｍ＋１のトーン成分と雑音成分とを区別する。最大の大きさを有する係数をトーン成分とみなし、残りの係数を雑音成分とみなしてもよい。選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。他の場合には、フレームｍ＋１について選択されるトーン成分数は、オーディオ信号に基づいて変化してもよい。次に、成分選択モジュール１０２は、フレームｍ＋１の係数の大きさから選択されるトーン成分を識別するインデックスサブセットＩｍ＋１を生成する（１３０）。
成分選択モジュール１０２は、フレームｍ＋１のインデックスサブセットを符号抽出器１０４に送る。符号抽出器１０４はまた、フレームｍの係数Ｘｍ（ｋ）をフレーム遅延１００から受信する。フレームｍのインデックスサブセットは、フレームｍ＋１のインデックスサブセットとほぼ等しいと想定される。次に、符号抽出器１０４は、フレームｍ＋１のインデックスサブセットによって識別されたフレームｍの係数Ｘｍ（ｋ）から符号を抽出する（１３２）。次に、符号抽出器１０４は、フレームｍ＋１のインデックスサブセットによって識別されたフレームｍのトーン成分から抽出された符号Ｓｍのサブセット９８を、フレームｍ＋１のオーディオビットストリーム９６に添付する（１３４）。
図１０は、オーディオビットストリームをデコードして、サイド情報としてエンコーダから受信したフレームの符号のサブセットを使用してフレーム損失隠蔽を実行する別の例示的な動作を示すフローチャートである。この動作を図８のオーディオデコーダ１１０を参照してここで説明する。
コアデコーダ１１１は、係数Ｘｍ（ｋ）を含むフレームｍのオーディオビットストリームを受信する（１３８）。次に、エラー検出モジュール１１２は、フレームｍのオーディオビットストリームにエラー検出を実行する（１４０）。コアデコーダ１１１は続いて、係数Ｘｍ＋１（ｋ）を含むフレームｍ＋１のオーディオビットストリーム９６と、サイド情報としてのフレームｍの符号Ｓｍのサブセット９８とを受信する（１４１）。コアデコーダ１１１は、第１のフレーム遅延１２１を使用して、フレームｍの係数を、破棄されない場合は生成し、第２のフレーム遅延１２２を使用して、フレームｍ＋１のオーディオビットストリームからフレームｍ−１の係数を生成する。フレームｍの係数が破棄されない場合、第１のフレーム遅延１２１はフレームｍの係数をマルチプレクサ１１９に送る。第２のフレーム遅延１２２はフレームｍ−１の係数をＦＬＣモジュール１１３に送る。
フレームｍ内にエラーが検出されない場合、エラー検出モジュール１１２は、マルチプレクサ１１９がフレームｍの係数を第１のフレーム遅延１２１から逆変換ユニット１２０に直接に渡すことを可能にし、それはフレームｍのオーディオ信号サンプルに変換される。フレームｍ内にエラーが検出される場合、エラー検出モジュール１１２は、フレームｍの係数のすべてを破棄して、マルチプレクサ１１９がフレームｍの係数推定をＦＬＣモジュール１１３から逆変換ユニット１２０に渡すことを可能にする（１４２）。
コアデコーダ１１１は、フレームｍ＋１の係数Ｘｍ＋１（ｋ）を大きさ推定器１１４に送り、第２の遅延フレーム１２２はフレームｍ−１の係数Ｘｍ−１（ｋ）を大きさ推定器１１４に送る。大きさ推定器１１４は、フレームｍ＋１およびｍ−１の係数に基づいて、フレームｍの係数の大きさを推定する（１４４）。例えば、大きさ推定器４４は、式（１）で与えられたエネルギ補間技術を実施して、係数の大きさを推定することができる。
成分選択モジュール１１６は、フレームｍ＋１の係数Ｘｍ＋１（ｋ）を受信して、フレームｍ＋１の係数の大きさを分類することによって、フレームｍ＋１のトーン成分と雑音成分とを区別する。最大の大きさを有する係数をトーン成分とみなし、残りの係数を雑音成分とみなしてもよい。選択されるトーン成分数は、送信される所定数の符号に基づいてもよい。他の場合には、フレームｍ＋１について選択されたトーン成分は、オーディオ信号に基づいて変化してもよい。次に、成分選択モジュール１１６は、フレームｍ＋１の係数の大きさから選択されるトーン成分の場所を識別するインデックスサブセットＩｍ＋１を生成する（１４６）。フレームｍのインデックスサブセットは、フレームｍ＋１のインデックスサブセットとほぼ等しいと想定される。
成分選択モジュール１１６は、オーディオエンコーダ９０（ここからオーディオビットストリームが受信される）内の成分選択モジュール１０２と全く同じ動作を使用して、フレームｍ＋１内のトーン成分を選択する。したがって、フレームｍ＋１の係数の大きさから選択されるトーン成分の場所を識別する同じインデックスサブセットＩｍ＋１は、オーディオエンコーダ９０およびオーディオデコーダ１１０の両方で生成されることができる。したがって、オーディオデコーダ１１０は、フレームｍのトーン成分の符号Ｓｍのサブセット９８を、フレームｍ＋１のインデックスサブセットによって識別されたフレームｍの適切な推定された係数の大きさに適用することができる。
成分選択モジュール１１６は、フレームｍ＋１のインデックスサブセットを符号推定器１１８に送る。符号推定器１１８はまた、エンコーダ９０からフレームｍ＋１のオーディオビットストリーム９６と共に送信されたフレームｍの符号Ｓｍのサブセット９８を受信する。符号推定器１１８は、フレームｍ＋１のインデックスサブセットに基づいて、符号Ｓｍのサブセット９８からフレームｍのトーン成分の符号を推定する（１４８）。符号推定器１１８は、ランダム信号から雑音成分の符号を推定する（１５０）。
次に、ＦＬＣモジュール１１３は、大きさ推定器１１４からの大きさ推定
Figure 2009514032
と、符号推定器１１８からの符号推定
Figure 2009514032
とを結合して、フレームｍの係数を推定する（１５２）。ＦＬＣモジュール１１３は係数推定
Figure 2009514032
を逆変換ユニット１２０に送り、逆変換ユニット１２０はフレームｍの係数推定をフレームｍのオーディオ信号の推定サンプル
Figure 2009514032
に変換する（１５４）。
図１１は、従来のＦＬＣ技術１６０のフレーム損失レートと、本明細書に説明されているエンコーダ支援ＦＬＣ技術１６２のフレーム損失レートとの品質比較を示すプロットである。この比較は、２つのＦＬＣ方法間で、０％、５％、１０％、１５％、および２０％のフレーム損失レート（ＦＬＲ）において行われている。ＣＤからサンプリングされた多数のモノオーディオシーケンスは、ビットレート４８ｋｂｐｓでエンコードされ、エンコードされたフレームは、１つのフレーム損失に制限されて特定のレートでランダムに落ちている。
本明細書に説明されているエンコーダ支援ＦＬＣ技術では、エンコーダがサイド情報として送信した符号の数はすべてのフレームについて固定され、１０ビット／フレームに制限され、これはビットレート０．４３ｋｂｐｓに等しい。２つの異なるビットレート、すなわち（ｉ）従来のＦＬＣ技術の４８ｋｂｐｓのＡＡＣビットストリーム、および（ｉｉ）エンコーダ支援ＦＬＣ技術のビットレート０．４３ｋｂｐｓの符号情報を含む４７．５７ｋｂｐｓのＡＡＣビットストリームが生成された。隠蔽されたオーディオ品質の主観的評価について、４４．１ｋＨｚサンプリングレートで多声オーディオシーケンスの種々のジャンルを選択し、種々のＦＬＲで両方法によってデコーダ再構成を比較した。アンカによる多数刺激の隠されたリファレンス（ｍｕｌｔｉ−ｓｔｉｍｕｌｕｓ ｈｉｄｄｅｎ ｒｅｆｅｒｅｎｃｅ ｗｉｔｈ ａｎｃｈｏｒ， ＭＵＳＨＲＡ）テストを採用して、１１人のリスナーによって実行した。
図１１から、エンコーダ支援ＦＬＣ技術１６２は、全ＦＬＲにおいてオーディオデコーダ再構成品質を高めていることが分かる。例えば、エンコーダ支援ＦＬＣ技術は、中間（５％および１０％）のＦＬＲで８０ポイントよりも良いＭＵＳＨＲＡスコアの再構成品質を維持している。さらに、１５％のＦＬＲのエンコーダ支援ＦＬＣ技術１６２の再構成品質は、５％のＦＬＲの従来のＦＬＣ技術１６０と統計的に同等であり、これは、向上したエラー耐性がエンコーダ支援ＦＬＣ技術によって提供されたことを示している。
多数の実施形態が説明された。しかしながら、これらの実施形態に対して種々の修正が可能であり、ここで提示された原理は他の実施形態にも適用可能である。ここで説明された方法は、ハードウェア、ソフトウェア、および／またはファームウェアで実施されることができる。このような方法の種々のタスクは、マイクロプロセッサ、埋め込みコントローラ、またはＩＰコアのような論理要素の１つ以上のアレイによって実行可能な命令のセットとして実施されることができる。一例では、１つ以上のこのようなタスクは、セルラ電話のようなパーソナル通信デバイスの種々のデバイスの動作をコントロールするように構成されている移動局のモデムチップまたはチップセット内で実行するように構成されている。
本開示で説明されている技術は、汎用マイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の同等の論理デバイスで実施されることができる。ソフトウェアで実施される場合、本技術は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、などのようなコンピュータ読み取り可能な媒体上の命令として具現することができる。この命令によって、１つ以上のプロセッサは、本開示に説明されている機能性の特定の態様を実行する。
別の例として、実施形態は、配線回路として、特定用途向け集積回路に組み立てられる回路構成として、あるいは、不揮発性記憶装置にロードされたファームウェアプログラム、またはデータ記憶媒体からまたはデータ記憶媒体にロードされる機械読み取り可能なコードのようなソフトウェアプログラムとして、部分的または全体的に実施されることができる。このようなコードは、マイクロプロセッサや他のディジタル信号処理ユニットのような論理要素のアレイによって実行可能な命令である。データ記憶媒体は、半導体メモリ（ダイナミックまたはスタティックＲＡＭ、ＲＯＭ、および／またはフラッシュＲＡＭを含むことができるが、これらに制限されない）あるいは強誘電体、オボニック、高分子、または位相変化メモリ、もしくはディスク媒体（例えば、磁気または光ディスク）のような記憶要素のアレイであってもよい。
本開示では、隣接フレームと、エンコーダからオーディオビットストリームと共に送信されたサイド情報とに基づいて、オーディオ信号の破棄フレームを正確に隠蔽する、デコーダにおけるエンコーダ支援フレーム損失隠蔽について、種々の技術が説明された。エンコーダ支援ＦＬＣ技術はまた、エンコーダから送信された追加のサイド情報によって隣接フレームに基づいてオーディオ信号の複数の破棄フレームを正確に隠蔽することができる。エンコーダ支援ＦＬＣ技術は、隣接フレームの周波数ドメインデータに基づいて当該フレームの周波数ドメインデータの大きさを推定することと、サイド情報としてエンコーダから送信された符号のサブセットに基づいて周波数ドメインデータの符号を推定することとを含んでいる。
オーディオ信号のフレームの周波数ドメインデータは、トーン成分および雑音成分を含んでいる。ランダム信号から推定された符号は、周波数ドメインデータの雑音成分について実質的に正確であるであろう。しかしながら、トーン成分の非常に正確な符号推定を達成するために、エンコーダは、周波数ドメインデータのトーン成分の符号をサイド情報として送信する。デコーダへ送信されるサイド情報量を最小化するために、エンコーダは、フレーム内のトーン成分の場所を送信しない。そうではなくて、エンコーダおよびデコーダの両方が、同じ動作を使用してトーン成分の場所を自己導出する。このようにして、エンコーダ支援ＦＬＣ技術は、エンコーダから送信された最小量のサイド情報によって、デコーダにおいてフレーム隠蔽品質の相当な改良を達成する。
エンコーダ支援ＦＬＣ技術は、ここでは、オーディオ信号のフレームの周波数ドメインデータがＭＤＣＴ係数によって表されるＡＡＣ標準を利用するマルチメディア応用に関して主に説明されているが、本技術は種々のオーディオコーディング標準のいずれかを使用するマルチメディア応用に適用されてもよい。例えば、ＭＰＥＧにしたがう標準、ＷＭＡ標準、ドルビーラボラトリーズ社（Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ，Ｉｎｃ．）による標準、ＭＰ３標準、およびＭＰ３標準の後継の標準である。これらおよび他の実施形態は、本発明の請求項の範囲内である。
エンコーダ支援フレーム損失隠蔽（ＦＬＣ）技術を実施するオーディオエンコーダ／デコーダ（コーデック）を組み込んだオーディオエンコーディングおよびデコーディングシステムを示すブロック図。 図１のオーディオエンコーディングおよびデコーディングシステムによってエンコーダ支援フレーム損失隠蔽を実行する例示的な動作を示すフローチャート。 サイド情報として送信されるフレームの符号のサブセットを生成するフレーム損失隠蔽モジュールを含む例示的なオーディオエンコーダを示すブロック図。 サイド情報としてエンコーダから受信されたフレームの符号のサブセットを利用するフレーム損失隠蔽モジュールを含む例示的なオーディオデコーダを示すブロック図。 オーディオビットストリームをエンコードして、サイド情報としてオーディオビットストリームと共に送信されるフレームの符号のサブセットを生成する例示的な動作を示すフローチャート。 オーディオビットストリームをデコードして、サイド情報としてエンコーダから受信されたフレームの符号のサブセットを使用してフレーム損失隠蔽を実行する例示的な動作を示すフローチャート。 成分選択モジュールと符号抽出器とを含み、サイド情報として送信されるフレームの符号のサブセットを生成する、別の例示的なオーディオエンコーダを示すブロック図。 サイド情報としてエンコーダから受信されたフレームの符号のサブセットを利用するフレーム損失隠蔽モジュールを含む別の例示的なオーディオデコーダを示すブロック図。 オーディオビットストリームをエンコードして、サイド情報としてオーディオビットストリームと共に送信されるフレームの符号のサブセットを生成する別の例示的な動作を示すフローチャート。 オーディオビットストリームをデコードして、サイド情報としてエンコーダから受信されたフレームの符号のサブセットを使用してフレーム損失隠蔽を実行する別の例示的な動作を示すフローチャート。 従来のフレーム損失隠蔽技術のフレーム損失レートと、本明細書に記載されたエンコーダ支援フレーム損失隠蔽技術のフレーム損失レートとの品質比較を示すプロット。

Claims (48)

  1. オーディオ信号のフレームを隠蔽する方法であって、
    前記フレームの隣接フレームに基づいて前記フレームの周波数ドメインデータの大きさを推定するステップと、
    サイド情報としてエンコーダから送信された前記フレームの符号のサブセットに基づいて前記フレームの周波数ドメインデータの符号を推定するステップと、
    前記大きさ推定と前記符号推定を結合して、前記フレームの周波数ドメインデータを推定するステップとを備える方法。
  2. 周波数ドメインデータを含む前記フレームのオーディオビットストリームを前記エンコーダから受信するステップと、
    隣接フレームのオーディオビットストリームと共に前記フレームの前記サイド情報を前記エンコーダから受信するステップとをさらに備える、請求項１に記載の方法。
  3. 前記エンコーダから送信された前記フレームのオーディオビットストリームにエラー検出を実行するステップと、
    １つ以上のエラーが検出された場合に前記フレームの周波数ドメインデータを破棄するステップとをさらに備える、請求項１に記載の方法。
  4. 前記フレームの前記周波数ドメインデータの大きさを推定するステップは、前記フレームの先行フレームおよび前記フレームの後続フレームのエネルギに基づいてエネルギ補間を実行するステップを備える、請求項１に記載の方法。
  5. 前記フレームの前記周波数ドメインデータの符号を推定するステップは、
    前記フレームの前記周波数ドメインデータの雑音成分の符号をランダム信号から推定するステップと、
    前記サイド情報として前記エンコーダから送信された前記フレームの前記符号のサブセットに基づいて前記フレームの前記周波数ドメインデータのトーン成分の符号を推定するステップとを備える、請求項１に記載の方法。
  6. 前記フレームの前記周波数ドメインデータの符号を推定するステップは、
    前記フレームの前記周波数ドメインデータのトーン成分を選択するステップと、
    前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成するステップと、
    前記インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定するステップとを備える、請求項１に記載の方法。
  7. トーン成分を選択するステップは、
    前記周波数ドメインデータを大きさ順に分類するステップと、
    最大の大きさを有する所定数の前記周波数ドメインデータを前記トーン成分として選択するステップとを備える、請求項６に記載の方法。
  8. 前記フレームの前記周波数ドメインデータの符号を推定するステップは、
    前記フレームの前記周波数ドメインデータの前記大きさ推定からトーン成分を選択するステップと、
    前記フレームの前記周波数ドメインデータの前記大きさ推定から選択された前記トーン成分の場所を識別する推定インデックスサブセットを生成するステップと、
    前記フレームの前記推定インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定するステップとを備える、請求項１に記載の方法。
  9. 前記フレームの前記周波数ドメインデータの符号を推定するステップは、
    前記フレームの隣接フレームの周波数ドメインデータの大きさからトーン成分を選択するステップと、
    前記隣接フレームの前記周波数ドメインデータの前記大きさから選択された前記トーン成分の場所を識別するインデックスサブセットを生成するステップと、
    前記隣接フレームの前記インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定するステップとを備える、請求項１に記載の方法。
  10. 周波数ドメインデータを含む前記フレームのオーディオビットストリームをデコーダへ送信するステップと、
    隣接フレームのオーディオビットストリームと共に前記フレームの前記サイド情報をデコーダへ送信するステップとをさらに備える、請求項１に記載の方法。
  11. 前記サイド情報を送信するステップは、
    前記フレームの前記周波数ドメインデータから前記符号のサブセットを抽出するステップと、
    前記符号のサブセットを前記サイド情報として前記隣接フレームの前記オーディオビットストリームに添付するステップとを備える、請求項１０に記載の方法。
  12. 前記フレームの前記符号のサブセットを抽出するステップは、
    前記フレームの前記周波数ドメインデータのトーン成分を選択するステップと、
    前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成するステップと、
    前記インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出するステップとを備える、請求項１１に記載の方法。
  13. トーン成分を選択するステップは、
    前記周波数ドメインデータを大きさ順に分類するステップと、
    最大の大きさを有する所定数の前記周波数ドメインデータを前記トーン成分として選択するステップとを備える、請求項１２に記載の方法。
  14. 前記フレームの前記符号のサブセットを抽出するステップは、
    前記フレームの隣接フレームに基づいて前記フレームの前記周波数ドメインデータの大きさを推定するステップと、
    前記フレームの前記周波数ドメインデータの大きさ推定からトーン成分を選択するステップと、
    前記フレームの前記周波数ドメインデータの大きさ推定から選択された前記トーン成分の場所を識別する推定インデックスサブセットを生成するステップと、
    前記フレームの前記推定インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出するステップとを備える、請求項１１に記載の方法。
  15. 前記フレームの前記符号のサブセットを抽出するステップは、
    前記隣接フレームの周波数ドメインデータの大きさからトーン成分を選択するステップと、
    前記隣接フレームの前記周波数ドメインデータの大きさから選択された前記トーン成分の場所を識別するインデックスサブセットを生成するステップと、
    前記隣接フレームの前記インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出するステップとを備える、請求項１１に記載の方法。
  16. 前記エンコーダに含まれている変換ユニットによって前記フレームの時間ドメインオーディオ信号を前記フレームの周波数ドメインデータにエンコードするステップと、
    デコーダに含まれている逆変換ユニットによって前記フレームの前記推定周波数ドメインデータを前記フレームの推定時間ドメインデータにデコードするステップとをさらに備える、請求項１に記載の方法。
  17. 前記サイド情報は、前記フレームの周波数ドメインデータのトーン成分の符号のサブセットを備えており、前記方法はさらに、
    前記エンコーダによって前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成するステップと、
    前記エンコーダによって前記インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出するステップと、
    前記トーン成分の前記符号のサブセットを前記サイド情報としてデコーダへ送信するステップと、
    前記エンコーダと同じプロセスを使用して、前記デコーダによって前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成するステップと、
    前記インデックスサブセットに基づいて前記符号のサブセットから前記トーン成分の符号を推定するステップとをさらに備える、請求項１に記載の方法。
  18. オーディオ信号のフレームを隠蔽する命令を備えるコンピュータ読み取り可能な媒体であって、前記命令はプログラマブルプロセッサに、
    フレームの隣接フレームに基づいて前記フレームの周波数ドメインデータの大きさを推定させ、
    サイド情報としてエンコーダから送信された前記フレームの符号のサブセットに基づいて前記フレームの前記周波数ドメインデータの符号を推定させ、
    前記大きさ推定と前記符号推定とを結合して前記フレームの周波数ドメインデータを推定させる、コンピュータ読み取り可能な媒体。
  19. 前記命令は前記プログラマブルプロセッサに、
    前記フレームの前記周波数ドメインデータの雑音成分の符号をランダム信号から推定させ、
    前記サイド情報として前記エンコーダから送信された前記フレームの前記符号のサブセットに基づいて前記フレームの前記周波数ドメインデータのトーン成分の符号を推定させる、請求項１８に記載のコンピュータ読み取り可能な媒体。
  20. 前記命令は前記プログラマブルプロセッサに、
    前記フレームの前記周波数ドメインデータを大きさ順に分類させ、
    最大の大きさを有する所定数の前記周波数ドメインデータを前記フレームの前記周波数ドメインデータのトーン成分として選択させ、
    前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成させ、
    前記インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定させる、請求項１８に記載のコンピュータ読み取り可能な媒体。
  21. 前記プログラマブルプロセッサに、
    前記フレームの前記周波数ドメインデータから前記符号のサブセットを抽出させ、
    前記符号のサブセットを前記サイド情報として隣接フレームのオーディオビットストリームに添付させ、
    前記隣接フレームの前記オーディオビットストリームと共に前記フレームの前記サイド情報をデコーダへ送信させる命令をさらに備える、請求項１８に記載のコンピュータ読み取り可能な媒体。
  22. 前記命令は前記プログラマブルプロセッサに、
    前記フレームの前記周波数ドメインデータを大きさ順に分類させ、
    最大の大きさを有する所定数の前記周波数ドメインデータを前記フレームの前記周波数ドメインデータのトーン成分として選択させ、
    前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成させ、
    前記インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出させる、請求項２１に記載のコンピュータ読み取り可能な媒体。
  23. オーディオ信号のフレームを隠蔽するシステムであって、
    サイド情報として前記フレームの符号のサブセットを送信するエンコーダと、
    前記フレームの前記サイド情報を前記エンコーダから受信するフレーム損失隠蔽（ＦＬＣ）モジュールを含むデコーダとを備えており、
    前記ＦＬＣモジュールは、前記フレームの隣接フレームに基づいて前記フレームの周波数ドメインデータの大きさを推定し、前記受信されたサイド情報に基づいて前記フレームの周波数ドメインデータの符号を推定し、前記大きさ推定と前記符号推定とを結合して前記フレームの周波数ドメインデータを推定する、システム。
  24. 前記ＦＬＣモジュールは、前記エンコーダから送信された前記フレームのオーディオビットストリームにエラー検出を実行し、１つ以上のエラーが検出された場合には前記フレームの周波数ドメインデータを破棄するエラー検出モジュールを含む、請求項２３に記載のシステム。
  25. 前記ＦＬＣモジュールは、前記フレームの先行フレームおよび前記フレームの後続フレームのエネルギに基づいてエネルギ補間を実行し、前記フレームの前記周波数ドメインデータの前記大きさを推定する大きさ推定器を含む、請求項２３に記載のシステム。
  26. 前記ＦＬＣモジュールは、
    前記フレームの前記周波数ドメインデータの雑音成分の符号をランダム信号から推定し、
    前記サイド情報として前記エンコーダから送信された前記フレームの前記符号のサブセットに基づいて、前記フレームの前記周波数ドメインデータのトーン成分の符号を推定する符号推定器を含む、請求項２３に記載のシステム。
  27. 前記ＦＬＣモジュールは、前記フレームの前記周波数ドメインデータを大きさ順に分類し、最大の大きさを有する所定数の前記周波数ドメインデータを前記フレームの前記周波数ドメインデータのトーン成分として選択し、前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成する成分選択モジュールを含んでおり、
    前記符号推定器は、前記インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定する、請求項２３に記載のシステム。
  28. 前記エンコーダは、前記フレームの前記周波数ドメインデータから前記符号のサブセットを抽出し、前記符号のサブセットを前記サイド情報として隣接フレームのオーディオビットストリームに添付する符号抽出器を含み、前記エンコーダは、前記隣接フレームの前記オーディオビットストリームと共に前記フレームの前記サイド情報を前記デコーダへ送信する、請求項２３に記載のシステム。
  29. 前記エンコーダは、前記フレームの前記周波数ドメインデータを大きさ順に分類し、最大の大きさを有する所定数の前記周波数ドメインデータを前記フレームの前記周波数ドメインデータのトーン成分として選択し、前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成する成分選択モジュールを含み、
    前記符号抽出器は、前記インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出する、請求項２８に記載のシステム。
  30. 前記フレームの周波数ドメインデータは、修正離散コサイン変換（ＭＤＣＴ）係数によって表される、請求項２３に記載のシステム。
  31. 前記エンコーダは、前記フレームの時間ドメインオーディオ信号を前記フレームの周波数ドメインデータにエンコードする変換ユニットを含み、
    前記デコーダは、前記フレームの前記推定周波数ドメインデータを前記フレームの推定時間ドメインデータにデコードする逆変換ユニットを含む、請求項２３に記載のシステム。
  32. 前記エンコーダに含まれている前記変換ユニットは修正離散コサイン変換ユニットを備えており、前記デコーダに含まれている前記逆変換ユニットは逆修正離散コサイン変換ユニットを備えている、請求項３１に記載のシステム。
  33. 前記サイド情報は、前記フレームの周波数ドメインデータのトーン成分の符号のサブセットを備えており、
    前記エンコーダは、前記エンコーダによって前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成し、前記エンコーダによって前記インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出し、前記トーン成分の前記符号のサブセットを前記サイド情報として前記デコーダへ送信し、
    前記デコーダは、前記エンコーダと同じプロセスを使用して前記デコーダによって前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成し、前記インデックスサブセットに基づいて前記符号のサブセットから前記トーン成分の符号を推定する、請求項２３に記載のシステム。
  34. オーディオ信号のフレームの周波数ドメインデータの成分を選択する成分選択モジュールと、
    前記フレームの前記周波数ドメインデータから前記選択された成分の符号のサブセットを抽出する符号抽出器とを備えたエンコーダであって、
    前記フレームの前記符号のサブセットをサイド情報としてデコーダへ送信する、エンコーダ。
  35. 前記エンコーダは、周波数ドメインデータを含む前記フレームのオーディオビットストリームを前記デコーダへ送信し、隣接フレームのオーディオビットストリームと共に前記フレームの前記サイド情報を前記デコーダへ送信し、前記符号抽出器は、前記フレームの前記サイド情報を前記隣接フレームの前記オーディオビットストリームに添付する、請求項３４に記載のエンコーダ。
  36. 前記成分選択モジュールは、前記フレーム内の前記成分の場所を識別するインデックスサブセットを生成する、請求項３４に記載のエンコーダ。
  37. 前記選択された成分は、前記フレームの前記周波数ドメインデータのトーン成分を備えており、前記成分選択モジュールは、前記フレームの前記周波数ドメインデータを大きさ順に分類し、最大の大きさを有する所定数の前記周波数ドメインデータを前記トーン成分として選択する、請求項３４に記載のエンコーダ。
  38. 前記フレームの隣接フレームに基づいて前記フレームの前記周波数ドメインデータの大きさを推定する大きさ推定器と、
    前記フレームの前記周波数ドメインデータの大きさ推定からトーン成分を選択し、前記フレームの前記周波数ドメインデータの大きさ推定から選択された前記トーン成分の場所を識別する推定インデックスサブセットを生成する前記成分選択モジュールと、
    前記フレームの前記推定インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出する前記符号抽出器とを含むＦＬＣモジュールをさらに備える、請求項３４に記載のエンコーダ。
  39. 前記成分選択モジュールは、前記隣接フレームの周波数ドメインデータの大きさからトーン成分を選択し、前記隣接フレームの前記周波数ドメインデータの大きさから選択された前記トーン成分の場所を識別するインデックスサブセットを生成し、
    前記符号抽出器は、前記隣接フレームの前記インデックスサブセットに基づいて前記フレームの前記周波数ドメインデータから前記トーン成分の前記符号のサブセットを抽出する、請求項３４に記載のエンコーダ。
  40. 前記フレームの隣接フレームに基づいてオーディオ信号のフレームの周波数ドメインデータの大きさを推定する大きさ推定器と、
    サイド情報としてエンコーダから送信された前記フレームの符号のサブセットに基づいて前記フレームの周波数ドメインデータの符号を推定する符号推定器とを含むフレーム損失隠蔽（ＦＬＣ）モジュールを備えたデコーダであって、
    前記大きさ推定と前記符号推定とを結合して、前記フレームの周波数ドメインデータを推定する、デコーダ。
  41. 前記デコーダは、周波数ドメインデータを含む前記フレームのオーディオビットストリームを前記エンコーダから受信し、隣接フレームのオーディオビットストリームと共に前記フレームの前記サイド情報を前記エンコーダから受信する、請求項４０に記載のデコーダ。
  42. 前記ＦＬＣモジュールは、前記エンコーダから送信された前記フレームのオーディオビットストリームにエラー検出を実行し、１つ以上のエラーが検出された場合に前記フレームの周波数ドメインデータを破棄するエラー検出モジュールを含む、請求項４０に記載のデコーダ。
  43. 前記ＦＬＣモジュールは、前記フレームの先行フレームおよび前記フレームの後続フレームのエネルギに基づいてエネルギ補間を実行し、前記フレームの前記周波数ドメインデータの前記大きさを推定する大きさ推定器を含む、請求項４０に記載のデコーダ。
  44. 前記符号推定器は、前記フレームの前記周波数ドメインデータの雑音成分の符号をランダム信号から推定し、前記サイド情報として前記エンコーダから送信された前記フレームの前記符号のサブセットに基づいて前記フレームの前記周波数ドメインデータのトーン成分の符号を推定する、請求項４０に記載のデコーダ。
  45. 前記ＦＬＣモジュールは、前記フレームの前記周波数ドメインデータのトーン成分を選択し、前記フレーム内の前記トーン成分の場所を識別するインデックスサブセットを生成する成分選択モジュールを含んでおり、
    前記符号推定器は、前記インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定する、請求項４０に記載のデコーダ。
  46. 前記成分選択モジュールは、前記周波数ドメインデータを大きさ順に分類し、最大の大きさを有する所定数の前記周波数ドメインデータを前記トーン成分として選択する、請求項４５に記載のデコーダ。
  47. 前記ＦＬＣモジュールは、前記フレームの前記周波数ドメインデータの前記大きさ推定からトーン成分を選択し、前記フレームの前記周波数ドメインデータの前記大きさ推定から選択された前記トーン成分の場所を識別する推定インデックスサブセットを生成する成分選択モジュールを含んでおり、
    前記符号推定器は、前記フレームの前記推定インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定する、請求項４０に記載のデコーダ。
  48. 前記ＦＬＣモジュールは、前記フレームの隣接フレームの周波数ドメインデータの大きさからトーン成分を選択し、前記隣接フレームの前記周波数ドメインデータの前記大きさから選択された前記トーン成分の場所を識別するインデックスサブセットを生成する成分選択モジュールを含んでおり、
    前記符号推定器は、前記隣接フレームの前記インデックスサブセットに基づいて前記フレームの前記符号のサブセットから前記トーン成分の符号を推定する、請求項４０に記載のデコーダ。
JP2008538157A 2005-10-26 2006-10-25 オーディオコーディングのためのエンコーダ支援フレーム損失隠蔽技術 Expired - Fee Related JP4991743B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US73045905P 2005-10-26 2005-10-26
US60/730,459 2005-10-26
US73201205P 2005-10-31 2005-10-31
US60/732,012 2005-10-31
US11/431,733 2006-05-10
US11/431,733 US8620644B2 (en) 2005-10-26 2006-05-10 Encoder-assisted frame loss concealment techniques for audio coding
PCT/US2006/060237 WO2007051124A1 (en) 2005-10-26 2006-10-25 Encoder-assisted frame loss concealment techniques for audio coding

Publications (2)

Publication Number Publication Date
JP2009514032A true JP2009514032A (ja) 2009-04-02
JP4991743B2 JP4991743B2 (ja) 2012-08-01

Family

ID=37772833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008538157A Expired - Fee Related JP4991743B2 (ja) 2005-10-26 2006-10-25 オーディオコーディングのためのエンコーダ支援フレーム損失隠蔽技術

Country Status (8)

Country Link
US (1) US8620644B2 (ja)
EP (1) EP1941500B1 (ja)
JP (1) JP4991743B2 (ja)
KR (1) KR100998450B1 (ja)
CN (1) CN101346760B (ja)
AT (1) ATE499676T1 (ja)
DE (1) DE602006020316D1 (ja)
WO (1) WO2007051124A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160045917A (ko) * 2013-02-05 2016-04-27 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008066836A1 (en) * 2006-11-28 2008-06-05 Treyex Llc Method and apparatus for translating speech during a call
KR101261524B1 (ko) * 2007-03-14 2013-05-06 삼성전자주식회사 노이즈를 포함하는 오디오 신호를 저비트율로부호화/복호화하는 방법 및 이를 위한 장치
CN101325537B (zh) 2007-06-15 2012-04-04 华为技术有限公司 一种丢帧隐藏的方法和设备
KR100906766B1 (ko) * 2007-06-18 2009-07-09 한국전자통신연구원 키 재동기 구간의 음성 데이터 예측을 위한 음성 데이터송수신 장치 및 방법
CN101471073B (zh) * 2007-12-27 2011-09-14 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
CN101588341B (zh) * 2008-05-22 2012-07-04 华为技术有限公司 一种丢帧隐藏的方法及装置
KR101228165B1 (ko) * 2008-06-13 2013-01-30 노키아 코포레이션 프레임 에러 은폐 방법, 장치 및 컴퓨터 판독가능한 저장 매체
US8781612B2 (en) * 2008-07-09 2014-07-15 Nxp, B.V. Method and device for digitally processing an audio signal and computer program product
CN101958119B (zh) * 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
US8595005B2 (en) * 2010-05-31 2013-11-26 Simple Emotion, Inc. System and method for recognizing emotional state from a speech signal
WO2012070370A1 (ja) 2010-11-22 2012-05-31 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置、方法およびプログラム、並びに、音声復号装置、方法およびプログラム
JP5724338B2 (ja) * 2010-12-03 2015-05-27 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、並びにプログラム
US9767823B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and detecting a watermarked signal
US9767822B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and decoding a watermarked signal
CN102810313B (zh) * 2011-06-02 2014-01-01 华为终端有限公司 音频解码方法及装置
KR102048076B1 (ko) * 2011-09-28 2019-11-22 엘지전자 주식회사 음성 신호 부호화 방법 및 음성 신호 복호화 방법 그리고 이를 이용하는 장치
CN107068156B (zh) 2011-10-21 2021-03-30 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
CN103325373A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 用于传送和接收音频信号的方法和设备
PL2874149T3 (pl) 2012-06-08 2024-01-29 Samsung Electronics Co., Ltd. Sposób i urządzenie do ukrywania błędu ramki oraz sposób i urządzenie do dekodowania audio
WO2014042439A1 (ko) * 2012-09-13 2014-03-20 엘지전자 주식회사 손실 프레임 복원 방법 및 오디오 복호화 방법과 이를 이용하는 장치
CN107481725B (zh) * 2012-09-24 2020-11-06 三星电子株式会社 时域帧错误隐藏设备和时域帧错误隐藏方法
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
CN105976824B (zh) * 2012-12-06 2021-06-08 华为技术有限公司 信号解码的方法和设备
HUE045991T2 (hu) * 2013-02-05 2020-01-28 Ericsson Telefon Ab L M Hangkeret-elvesztés elrejtése
EP3098811B1 (en) 2013-02-13 2018-10-17 Telefonaktiebolaget LM Ericsson (publ) Frame error concealment
SG11201510513WA (en) * 2013-06-21 2016-01-28 Fraunhofer Ges Forschung Method and apparatus for obtaining spectrum coefficients for a replacement frame of an audio signal, audio decoder, audio receiver and system for transmitting audio signals
CA2916150C (en) 2013-06-21 2019-06-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method realizing improved concepts for tcx ltp
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
JP2017508188A (ja) 2014-01-28 2017-03-23 シンプル エモーション, インコーポレイテッドSimple Emotion, Inc. 適応型音声対話のための方法
EP2963649A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using horizontal phase correction
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
KR102547480B1 (ko) * 2014-12-09 2023-06-26 돌비 인터네셔널 에이비 Ｍｄｃｔ-도메인 에러 은닉
CN107710662A (zh) * 2015-06-29 2018-02-16 华为技术有限公司 数据处理的方法及接收设备
EP3553777B1 (en) * 2018-04-09 2022-07-20 Dolby Laboratories Licensing Corporation Low-complexity packet loss concealment for transcoded audio signals
CN110908630A (zh) * 2019-11-20 2020-03-24 国家广播电视总局中央广播电视发射二台 音频处理方法、处理器、音频监测装置及设备
US11418876B2 (en) 2020-01-17 2022-08-16 Lisnr Directional detection and acknowledgment of audio-based data transmissions
US11361774B2 (en) * 2020-01-17 2022-06-14 Lisnr Multi-signal detection and combination of audio-based data transmissions
CN112365896B (zh) * 2020-10-15 2022-06-14 武汉大学 一种基于栈式稀疏自编码器的面向对象编码方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286698A (ja) * 1994-12-21 1996-11-01 Samsung Electron Co Ltd 音響信号のエラー隠匿方法及びその装置
JPH10116096A (ja) * 1996-10-14 1998-05-06 Nippon Telegr & Teleph Corp <Ntt> 欠落音響信号合成処理方法
JP2000059231A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 圧縮音声エラー補償方法およびデータストリーム再生装置
JP2002534702A (ja) * 1998-12-28 2002-10-15 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号又はビットストリームの符号化又は復号化のための方法及び装置
JP2002372996A (ja) * 2001-06-15 2002-12-26 Sony Corp 音響信号符号化方法及び装置、音響信号復号化方法及び装置、並びに記録媒体
JP2004194048A (ja) * 2002-12-12 2004-07-08 Alps Electric Co Ltd オーディオデータの転送方法および再生方法
JP2004533021A (ja) * 2001-06-22 2004-10-28 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング ディジタルオーディオ信号伝送の際の障害を隠蔽する方法
WO2005059900A1 (en) * 2003-12-19 2005-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Improved frequency-domain error concealment

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969192A (en) * 1987-04-06 1990-11-06 Voicecraft, Inc. Vector adaptive predictive coder for speech and audio
CA2332407C (en) * 1989-01-27 2002-03-05 Dolby Laboratories Licensing Corporation Method for defining coding information
US5504833A (en) * 1991-08-22 1996-04-02 George; E. Bryan Speech approximation using successive sinusoidal overlap-add models and pitch-scale modifications
US5233348A (en) * 1992-03-26 1993-08-03 General Instrument Corporation Variable length code word decoder for use in digital communication systems
WO1995003674A1 (en) * 1993-07-19 1995-02-02 British Telecommunications Public Limited Company Detecting errors in video images
CN1140001A (zh) * 1994-12-02 1997-01-08 索尼公司 数字信号的插值方法及其装置、以及记录媒体的记录和(或)再生装置及其方法
JPH08223049A (ja) * 1995-02-14 1996-08-30 Sony Corp 信号符号化方法及び装置、信号復号化方法及び装置、情報記録媒体並びに情報伝送方法
FR2741215B1 (fr) * 1995-11-14 1998-01-23 Matra Communication Procede de transmission d'une sequence de bits d'information avec protection selective contre les erreurs de transmission, procedes de codage et de correction pouvant etre mis en oeuvre dans un tel procede de transmission
WO1999050828A1 (en) * 1998-03-30 1999-10-07 Voxware, Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
US6240141B1 (en) * 1998-05-09 2001-05-29 Centillium Communications, Inc. Lower-complexity peak-to-average reduction using intermediate-result subset sign-inversion for DSL
US6073151A (en) * 1998-06-29 2000-06-06 Motorola, Inc. Bit-serial linear interpolator with sliced output
US6453287B1 (en) * 1999-02-04 2002-09-17 Georgia-Tech Research Corporation Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders
US6366888B1 (en) * 1999-03-29 2002-04-02 Lucent Technologies Inc. Technique for multi-rate coding of a signal containing information
US7039581B1 (en) * 1999-09-22 2006-05-02 Texas Instruments Incorporated Hybrid speed coding and system
US6959274B1 (en) * 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
US7222070B1 (en) * 1999-09-22 2007-05-22 Texas Instruments Incorporated Hybrid speech coding and system
US6757654B1 (en) * 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
FR2813722B1 (fr) * 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
JP4190742B2 (ja) * 2001-02-09 2008-12-03 ソニー株式会社 信号処理装置及び方法
US6996523B1 (en) * 2001-02-13 2006-02-07 Hughes Electronics Corporation Prototype waveform magnitude quantization for a frequency domain interpolative speech codec system
US6931373B1 (en) * 2001-02-13 2005-08-16 Hughes Electronics Corporation Prototype waveform phase modeling for a frequency domain interpolative speech codec system
WO2002071389A1 (fr) * 2001-03-06 2002-09-12 Ntt Docomo, Inc. Procede et dispositif d'interpolation de donnees sonores, procede et dispositif de creation d'informations relatives aux donnees sonores, procede et dispositif de transmission des informations d'interpolation des donnees sonores, et programme et support d'enregistrement correspondants
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
EP1292036B1 (en) * 2001-08-23 2012-08-01 Nippon Telegraph And Telephone Corporation Digital signal decoding methods and apparatuses
EP1315148A1 (en) * 2001-11-17 2003-05-28 Deutsche Thomson-Brandt Gmbh Determination of the presence of ancillary data in an audio bitstream
US6751587B2 (en) * 2002-01-04 2004-06-15 Broadcom Corporation Efficient excitation quantization in noise feedback coding with general noise shaping
US7047187B2 (en) * 2002-02-27 2006-05-16 Matsushita Electric Industrial Co., Ltd. Method and apparatus for audio error concealment using data hiding
CA2388352A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for frequency-selective pitch enhancement of synthesized speed
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
DE10236694A1 (de) * 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
US7657427B2 (en) * 2002-10-11 2010-02-02 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
US20040083110A1 (en) * 2002-10-23 2004-04-29 Nokia Corporation Packet loss recovery based on music signal classification and mixing
US6985856B2 (en) * 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
US7139959B2 (en) * 2003-03-24 2006-11-21 Texas Instruments Incorporated Layered low density parity check decoding for digital communications
EP1465349A1 (en) * 2003-03-31 2004-10-06 Interuniversitair Microelektronica Centrum Vzw Embedded multiple description scalar quantizers for progressive image transmission
US7356748B2 (en) * 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
KR101079066B1 (ko) * 2004-03-01 2011-11-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 멀티채널 오디오 코딩
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
KR100647290B1 (ko) * 2004-09-22 2006-11-23 삼성전자주식회사 합성된 음성의 특성을 이용하여 양자화/역양자화를선택하는 음성 부호화/복호화 장치 및 그 방법
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286698A (ja) * 1994-12-21 1996-11-01 Samsung Electron Co Ltd 音響信号のエラー隠匿方法及びその装置
JPH10116096A (ja) * 1996-10-14 1998-05-06 Nippon Telegr & Teleph Corp <Ntt> 欠落音響信号合成処理方法
JP2000059231A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 圧縮音声エラー補償方法およびデータストリーム再生装置
JP2002534702A (ja) * 1998-12-28 2002-10-15 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号又はビットストリームの符号化又は復号化のための方法及び装置
JP2002372996A (ja) * 2001-06-15 2002-12-26 Sony Corp 音響信号符号化方法及び装置、音響信号復号化方法及び装置、並びに記録媒体
JP2004533021A (ja) * 2001-06-22 2004-10-28 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング ディジタルオーディオ信号伝送の際の障害を隠蔽する方法
JP2004194048A (ja) * 2002-12-12 2004-07-08 Alps Electric Co Ltd オーディオデータの転送方法および再生方法
WO2005059900A1 (en) * 2003-12-19 2005-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Improved frequency-domain error concealment
JP2007514977A (ja) * 2003-12-19 2007-06-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 改良された周波数領域におけるエラー隠蔽技術

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160045917A (ko) * 2013-02-05 2016-04-27 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치
US10559314B2 (en) 2013-02-05 2020-02-11 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for controlling audio frame loss concealment
KR102110212B1 (ko) * 2013-02-05 2020-05-13 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치
US11437047B2 (en) 2013-02-05 2022-09-06 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for controlling audio frame loss concealment

Also Published As

Publication number Publication date
EP1941500A1 (en) 2008-07-09
ATE499676T1 (de) 2011-03-15
US8620644B2 (en) 2013-12-31
KR20080070026A (ko) 2008-07-29
WO2007051124A1 (en) 2007-05-03
EP1941500B1 (en) 2011-02-23
CN101346760A (zh) 2009-01-14
US20070094009A1 (en) 2007-04-26
DE602006020316D1 (de) 2011-04-07
JP4991743B2 (ja) 2012-08-01
CN101346760B (zh) 2011-09-14
KR100998450B1 (ko) 2010-12-06

Similar Documents

Publication Publication Date Title
JP4991743B2 (ja) オーディオコーディングのためのエンコーダ支援フレーム損失隠蔽技術
JP5357904B2 (ja) 変換補間によるオーディオパケット損失補償
JP4991854B2 (ja) オーディオ信号に関連付けられるフレームを持つ窓を修正するためのシステムと方法
US20060031075A1 (en) Method and apparatus to recover a high frequency component of audio data
EP2402939B1 (en) Full-band scalable audio codec
US7610195B2 (en) Decoding of predictively coded data using buffer adaptation
US9123328B2 (en) Apparatus and method for audio frame loss recovery
US9830920B2 (en) Method and apparatus for polyphonic audio signal prediction in coding and networking systems
JP2019505017A (ja) 複数のオーディオ信号の符号化
KR101647576B1 (ko) 스테레오 오디오 신호 인코더
WO2023197809A1 (zh) 一种高频音频信号的编解码方法和相关装置
WO2021213128A1 (zh) 音频信号编码方法和装置
KR20200051620A (ko) 프레임간 시간 시프트 편차들에 대한 채널 조정 방법의 선택
Xie et al. ITU-T G. 719: A new low-complexity full-band (20 kHz) audio coding standard for high-quality conversational applications
Ito et al. Packet loss concealment for MDCT-based audio codec using correlation-based side information
Ito et al. Robust Transmission of Audio Signals over the Internet: An Advanced Packet Loss Concealment for MP3-Based Audio Signals
JP7420829B2 (ja) 予測コーディングにおける低コスト誤り回復のための方法および装置
US20080133248A1 (en) Method and apparatus for matching sound quality measurement sections of variable bandwidth multi-codec
WO2021136343A1 (zh) 音频信号的编解码方法和编解码装置
Kurniawati et al. Error concealment scheme for MPEG-AAC
JP2006157789A (ja) 音声障害検出装置
TWI394398B (zh) 用於傳輸資料分組序列的設備和方法以及用於對資料分組序列進行解碼的解碼器和設備

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110726

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110826

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4991743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees