JP2020529637A - 時間領域ステレオパラメータ符号化方法および関連製品 - Google Patents

時間領域ステレオパラメータ符号化方法および関連製品 Download PDF

Info

Publication number
JP2020529637A
JP2020529637A JP2020507664A JP2020507664A JP2020529637A JP 2020529637 A JP2020529637 A JP 2020529637A JP 2020507664 A JP2020507664 A JP 2020507664A JP 2020507664 A JP2020507664 A JP 2020507664A JP 2020529637 A JP2020529637 A JP 2020529637A
Authority
JP
Japan
Prior art keywords
current frame
channel
signal
parameter
amplitude correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020507664A
Other languages
English (en)
Other versions
JP6977147B2 (ja
Inventor
▲海▼▲ティン▼ 李
▲海▼▲ティン▼ 李
▲賓▼ 王
▲賓▼ 王
磊 苗
磊 苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020529637A publication Critical patent/JP2020529637A/ja
Priority to JP2021182563A priority Critical patent/JP7309813B2/ja
Application granted granted Critical
Publication of JP6977147B2 publication Critical patent/JP6977147B2/ja
Priority to JP2023110920A priority patent/JP2023129450A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Television Systems (AREA)

Abstract

時間領域ステレオパラメータ符号化方法および関連製品が提供される。時間領域ステレオパラメータ符号化方法は、現在のフレームのチャネル結合スキームを判定するステップと、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップと、現在のフレームの判定された時間領域ステレオパラメータを符号化するステップであって、時間領域ステレオパラメータがチャネル結合比係数およびチャネル間時間差分のうちの少なくとも一方を含む、ステップとを含む。本出願の実施形態で提供される技術的解決策は、符号化および復号の品質を改善するのに役立つ。

Description

本出願は、オーディオ符号化および復号技術の分野に関し、詳細には、時間領域ステレオパラメータ符号化方法および関連製品に関する。
生活の質が向上するにつれて、高品質のオーディオに対する人々の要求が高まっている。モノラルオーディオと比較して、ステレオオーディオは様々な音源に関する方向感覚と分布感覚とを備えており、鮮明さ、明瞭さ、および情報の存在感を向上させることができ、そのために人々に人気がある。
パラメトリックステレオ符号化および復号技術では、ステレオ信号がモノラル信号および空間知覚パラメータに変換され、マルチチャネル信号が圧縮される。これは一般的なステレオ符号化および復号技術である。しかしながら、パラメトリックステレオ符号化および復号技術では、通常、空間知覚パラメータを周波数領域で抽出し、時間−周波数変換を実行する必要があるため、コーデック全体の遅延は比較的大きくなる。したがって、遅延の要件が比較的厳しい場合は、時間領域ステレオ符号化技術の方が適している。
従来の時間領域ステレオ符号化技術では、信号が、時間領域の2つのモノラル信号を取得するためにダウンミックスされる。例えば、MS符号化技術では、Midチャネル(Mid channel)信号およびSideチャネル(Side channel)信号を取得するために、左右のチャネル信号が最初にダウンミックスされる。例えば、Lは左チャネル信号を示し、Rは右チャネル信号を示す。この場合、Mid channel信号は0.5×(L+R)であり、Mid channel信号は左チャネルと右チャネルとの間の相関に関する情報を示し、Side channel信号は0.5×(L−R)であり、Side channel信号は、左チャネルと右チャネルとの差に関する情報を示す。次に、Mid channel信号とSide channel信号とは、モノラル符号化方法を使用することにより別々に符号化され、Mid channel信号はより多くのビット数を使用することにより通常符号化され、Side channel信号はより少ないビット数を使用することにより通常符号化される。
本出願の発明者は、従来の時間領域ステレオ符号化技術が使用されると、プライマリ信号のエネルギーが極端に小さくなる、またはエネルギーが失われることさえあり、最終的な符号化品質が低下する場合があることを研究および実践により見出した。
本出願の実施形態は、時間領域ステレオパラメータ符号化方法および関連製品を提供する。
第1の態様によれば、本出願の実施形態は、時間領域ステレオパラメータ符号化方法を提供する。本方法は、現在のフレームのチャネル結合スキームを判定するステップと、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップと、現在のフレームの判定された時間領域ステレオパラメータを符号化するステップであって、時間領域ステレオパラメータがチャネル結合比係数およびチャネル間時間差分のうちの少なくとも一方を含む、ステップとを含む。
本出願の実施形態は、時間領域ステレオパラメータ判定方法をさらに提供する。本方法は、現在のフレームのチャネル結合スキームを判定するステップと、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップであって、時間領域ステレオパラメータがチャネル結合比係数およびチャネル間時間差分のうちの少なくとも一方を含む、ステップとを含み得る。
現在のフレームのステレオ信号は、例えば、現在のフレームの左右のチャネル信号を含む。
現在のフレームのチャネル結合スキームは、複数のチャネル結合スキームのうちの1つである。
例えば、複数のチャネル結合スキームは、反相関信号チャネル結合スキーム(anticorrelated signal Channel Combination Scheme)および相関信号チャネル結合スキーム(correlated signal Channel Combination Scheme)を含む。
相関信号チャネル結合スキームは、略同相信号に対応するチャネル結合スキームである。反相関信号チャネル結合スキームは、略非同相信号に対応するチャネル結合スキームである。略同相信号に対応するチャネル結合スキームは略同相信号に適用可能であり、略非同相信号に対応するチャネル結合スキームは略非同相信号に適用可能であることが理解されよう。
現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである、または現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである。
上述の解決策では、現在のフレームのチャネル結合スキームを判定する必要があり、このことは、現在のフレームのチャネル結合スキームには複数の可能性があることを示していることが理解されよう。チャネル結合スキームが1つしかない従来の解決策と比較して、複数の可能なチャネル結合スキームを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。現在のフレームの時間領域ステレオパラメータは現在のフレームのチャネル結合スキームに基づいて判定されるため、時間領域ステレオパラメータは、複数の可能なシナリオとよりよく適合し、一致することができ、符号化および復号の品質がさらに改善され得る。
いくつかの可能な実装形態では、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数と、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数とが最初に別々に計算され得る。次に、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであると判定される、または現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであると判定される。あるいは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが最初に計算されてもよく、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであると判定される、または現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが計算され、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが、現在のフレームの時間領域ステレオパラメータとして判定される。
あるいは、現在のフレームのチャネル結合スキームが最初に判定されてもよい。現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが計算され、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである。現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが計算され、現在のフレームの時間領域ステレオパラメータは、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである。
いくつかの可能な実装形態では、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップが、現在のフレームのチャネル結合スキームに基づいて、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の初期値を判定するステップを含む。現在のフレームのチャネル結合スキーム(相関信号チャネル結合スキームまたは反相関信号チャネル結合スキーム)に対応するチャネル結合比係数の初期値を変更する必要がない場合、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数は、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の初期値に等しい。現在のフレームのチャネル結合スキーム(相関信号チャネル結合スキームまたは反相関信号チャネル結合スキーム)に対応するチャネル結合比係数の初期値を変更する必要がある場合、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の変更値を取得するために、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の初期値が変更され、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数は、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の変更値に等しい。
例えば、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップは、現在のフレームの左チャネル信号に基づいて現在のフレームの左チャネル信号のフレームエネルギーを計算するステップと、現在のフレームの右チャネル信号に基づいて現在のフレームの右チャネル信号のフレームエネルギーを計算するステップと、現在のフレームの左チャネル信号のフレームエネルギーおよび現在のフレームの右チャネル信号のフレームエネルギーに基づいて、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を計算するステップとを含み得る。
現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がない場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数が、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に等しく、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値の符号化されたインデックスに等しい。
現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がある場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値および変更値の符号化されたインデックスを取得するために、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値および初期値の符号化されたインデックスが変更される。現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数は、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値に等しく、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値の符号化されたインデックスに等しい。
具体的には、例えば、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値および初期値の符号化されたインデックスが変更されると、
ratio_idx_mod=0.5*(tdm_last_ratio_idx+16)であり、
ratio_modqua=ratio_tabl[ratio_idx_mod]であり、
tdm_last_ratio_idxは、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスを示し、ratio_idx_modは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値に対応する符号化されたインデックスを示し、ratio_modquaは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値を示す。
別の例として、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップは、現在のフレーム左チャネル信号および右チャネル信号に基づいて現在のフレームの参照チャネル信号を取得するステップと、現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータを計算するステップと、現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータを計算するステップと、現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータを計算するステップと、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するステップとを含む。
現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するステップは、例えば、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を計算するステップと、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更するステップとを含み得る。現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がない場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に等しいことが理解されよう。
いくつかの可能な実装形態では、
であり、
mono_i(n)は現在のフレームの参照チャネル信号を示し、
x’L(n)は現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、x’R(n)は現在のフレームの遅延アライメント処理を受けた右チャネル信号を示し、corr_LMは現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータを示し、corr_RMは、現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータを示す。
いくつかの可能な実装形態では、現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータを計算するステップが、現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するステップと、現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するステップと、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータに基づいて、現在のフレームの左右のチャネル間の振幅相関差分パラメータを計算するステップとを含む。
様々な平滑化方法があり、例えば、
tdm_lt_corr_LM_SMcur=α*tdm_lt_corr_LM_SMpre+(1−α)corr_LMであり、
tdm_lt_rms_L_SMcur=(1−A)*tdm_lt_rms_L_SMpre+A*rms_Lであり、Aは現在のフレームの左チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_L_SMcurは現在のフレームの左チャネル信号の長時間平滑化フレームエネルギーを示し、rms_Lは現在のフレームの左チャネル信号のフレームエネルギーを示し、tdm_lt_corr_LM_SMcurは現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_LM_SMpreは前のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、αは左チャネル平滑化係数を示す。
例えば、
tdm_lt_corr_RM_SMcur=β*tdm_lt_corr_RM_SMpre+(1−β)corr_LMである。
tdm_lt_rms_R_SMcur=(1−B)*tdm_lt_rms_R_SMpre+B*rms_Rであり、Bは現在のフレームの右チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_R_SMpreは現在のフレームの右チャネル信号の長時間平滑化フレームエネルギーを示し、rms_Rは現在のフレームの右チャネル信号のフレームエネルギーを示し、tdm_lt_corr_RM_SMcurは現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMpreは前のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、βは右チャネル平滑化係数を示す。
いくつかの可能な実装形態では、
diff_lt_corr=tdm_lt_corr_LM_SM−tdm_lt_corr_RM_SMであり、ここで
tdm_lt_corr_LM_SMは、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMは、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、diff_lt_corrは、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータを示す。
いくつかの可能な実装形態では、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するステップが、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの値の範囲が[MAP_MIN,MAP_MAX]となり得るように、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに対してマッピング処理を実行するステップと、左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータをチャネル結合比係数に変換するステップとを含む。
いくつかの可能な実装形態では、現在のフレームの左右のチャネル間の振幅相関差分パラメータのマッピング処理を実行するステップが、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに対して振幅制限を実行するステップと、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータに対してマッピング処理を実行するステップとを含む。
様々な振幅制限方式があり得、具体的には、例えば、
であり、ここで
RATIO_MAXは、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_MINは、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータの最小値を示し、RATIO_MAX>RATIO_MINである。
様々なマッピング処理方式があり得、具体的には、例えば、
であり、
diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、
MAP_MAXは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最大値を示し、MAP_HIGHは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの高閾値を示し、MAP_LOWは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの低閾値を示し、MAP_MINは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最小値を示し、
MAP_MAX>MAP_HIGH>MAP_LOW>MAP_MINであり、
RATIO_MAXは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_HIGHは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの高閾値を示し、RATIO_LOWは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの低閾値を示し、RATIO_MINは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最小値を示し、
RATIO_MAX>RATIO_HIGH>RATIO_LOW>RATIO_MINである。
別の例として、
であり、
diff_lt_corr_limitは、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータを示し、diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、
であり、
RATIO_MAXは、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータの最大振幅を示し、−RATIO_MAXは、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータの最小振幅を示す。
いくつかの可能な実装形態では、
であり、ここで
diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す、またはratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を示す。
現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がある場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値は、前のフレームのチャネル結合比係数および現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に基づいて変更され得る、または現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に基づいて変更され得る。
いくつかの可能な実装形態では、
ratio_init_SMqua=ratio_tabl_SM[ratio_idx_init_SM]であり、ここで
ratio_tabl_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に対してスカラー量子化を実行するためのコードブックを示し、ratio_idx_init_SMは、現在のフレームの反相関信号チャネル結合スキームに対応する初期符号化されたインデックスを示し、ratio_init_SMquaは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の量子化符号化された初期値を示す。
いくつかの可能な実装形態では、
ratio_idx_SM=ratio_idx_init_SMであり、
ratio_SM=ratio_tabl[ratio_idx_SM]であり、ここで
ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示し、ratio_idx_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスを示す、または
ratio_idx_SM=φ*ratio_idx_init_SM+(1−φ)*tdm_last_ratio_idx_SMであり、
ratio_SM=ratio_tabl[ratio_idx_SM]であり、ここで
ratio_idx_init_SMは、現在のフレームの反相関信号チャネル結合スキームに対応する初期符号化されたインデックスを示し、tdm_last_ratio_idx_SMは、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の最終符号化されたインデックスを示し、φは、反相関信号チャネル結合スキームに対応するチャネル結合比係数の変更係数であり、ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
当然のことながら、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する特定の実装形態は、上述の例に限定されない。
加えて、時間領域ステレオパラメータがチャネル間時間差分を含む場合、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップは、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームのチャネル間時間差分を計算するステップを含み得る。加えて、計算によって取得された現在のフレームのチャネル間時間差分は、ビットストリームに書き込まれ得る。現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、デフォルトのチャネル間時間差分(例えば、0)が現在のフレームのチャネル間時間差分として使用される。加えて、デフォルトのチャネル間時間差分はビットストリームに書き込まれなくてもよく、復号装置もデフォルトのチャネル間時間差分を使用する。
第2の態様によれば、本出願の実施形態は、時間領域ステレオパラメータ符号化装置をさらに提供し、本装置は、互いに結合されるプロセッサとメモリとを備え得る。プロセッサは、第1の態様における任意の方法の一部または全部のステップを実行するように構成され得る。本出願の実施形態は、時間領域ステレオ符号化装置をさらに提供し、これは、上述の時間領域ステレオパラメータ符号化装置を含み得る。
第3の態様によれば、本出願の実施形態は、第1の態様における任意の方法を実施するように構成されたいくつかの機能ユニットを備える時間領域ステレオパラメータ符号化装置を提供する。
第4の態様によれば、本出願の一実施形態はコンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体はプログラムコードを記憶し、プログラムコードは、第1の態様における任意の方法のステップの一部または全部を実行するために使用される命令を含む。
第5の態様によれば、本出願の一実施形態はコンピュータプログラム製品を提供し、コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは第1の態様における任意の方法のステップの一部または全部を実行する。
以下、本出願の実施形態または背景技術を説明するために必要な添付の図面を説明する。
本出願の一実施形態による略非同相信号の概略図である。 本出願の一実施形態によるオーディオ符号化方法の概略的な流れ図である。 本出願の一実施形態によるオーディオ復号モードを判定するための方法の概略的な流れ図である。 本出願の一実施形態による別のオーディオ符号化方法の概略的な流れ図である。 本出願の一実施形態によるオーディオ復号方法の概略的な流れ図である。 本出願の一実施形態による別のオーディオ符号化方法の概略的な流れ図である。 本出願の一実施形態による別のオーディオ復号方法の概略的な流れ図である。 本出願の一実施形態による時間領域ステレオパラメータ判定方法の概略的な流れ図である。 本出願の一実施形態による別のオーディオ符号化方法の概略的な流れ図である。 本出願の一実施形態による、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算および符号化するための方法の概略的な流れ図である。 本出願の一実施形態による、現在のフレームの左チャネルと右チャネルとの間の振幅相関差分パラメータを計算するための方法の概略的な流れ図である。 本出願の一実施形態による、現在のフレームの左チャネルと右チャネルとの間の振幅相関差分パラメータをチャネル結合比係数に変換するための方法の概略的な流れ図である。 本出願の一実施形態による別のオーディオ復号方法の概略的な流れ図である。 本出願の一実施形態による装置の概略図である。 本出願の一実施形態による別の装置の概略図である。 本出願の一実施形態による別の装置の概略図である。 本出願の一実施形態による別の装置の概略図である。 本出願の一実施形態による別の装置の概略図である。 本出願の一実施形態による別の装置の概略図である。
以下、本出願の実施形態を、本出願の実施形態における添付の図面を参照して説明する。
本出願の明細書、特許請求の範囲、および添付の図面で言及される用語「含む」、「有する」、またはその任意の他の変形は、非排他的な包含を含むように意図されている。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、またはデバイスは、記載されたステップまたはユニットに限定されず、記載されていないステップまたはユニットを場合によりさらに含むこともできるし、プロセス、方法、製品、またはデバイスの別の固有のステップまたはユニットを場合によりさらに含むこともできる。加えて、「第1」、「第2」、「第3」、「第4」などの用語は、特定の順番を記述するのではなく、対象を区別するために使用される。
本出願の実施形態における解決策は時間領域シナリオに固有であるため、説明を簡潔にするために、時間領域信号が「信号」と簡単に呼ばれる場合があることに留意されたい。例えば、左チャネル時間領域信号は、「左チャネル信号」と簡単に呼ばれる場合がある。別の例では、右チャネル時間領域信号は、「右チャネル信号」と簡単に呼ばれる場合がある。別の例では、モノラル時間領域信号は、「モノラル信号」と簡単に呼ばれる場合がある。別の例では、参照チャネル時間領域信号は、「参照チャネル信号」と簡単に呼ばれる場合がある。別の例では、プライマリチャネル時間領域信号は、「プライマリチャネル信号」と簡単に呼ばれる場合がある。セカンダリチャネル時間領域信号は、「セカンダリチャネル信号」と簡単に呼ばれる場合がある。別の例では、Midチャネル(Mid channel)時間領域信号は、「Mid channel信号」と簡単に呼ばれる場合がある。別の例では、Sideチャネル(Side channel)時間領域信号は、「Side channel信号」と簡単に呼ばれる場合がある。他の場合は類推によって推測することができる。
本出願の実施形態において、左チャネル時間領域信号および右チャネル時間領域信号は、「左右のチャネル時間領域信号」と総称される場合もあるし、「左右のチャネル信号」と総称される場合もあることに留意されたい。換言すれば、左右のチャネル時間領域信号は、左チャネル時間領域信号と右チャネル時間領域信号とを含む。別の例では、現在のフレームの遅延アライメント処理を受けた左右のチャネル時間領域信号は、現在のフレームの遅延アライメント処理を受けた左チャネル時間領域信号と、現在のフレームの遅延アライメント処理を受けた右チャネル時間領域信号とを含む。同様に、プライマリチャネル信号およびセカンダリチャネル信号は、「プライマリおよびセカンダリチャネル信号」と総称される場合がある。換言すれば、プライマリおよびセカンダリチャネル信号は、プライマリチャネル信号とセカンダリチャネル信号とを含む。別の例では、復号されたプライマリおよびセカンダリチャネル信号は、復号されたプライマリチャネル信号と復号されたセカンダリチャネル信号とを含む。別の例では、再構成された左右のチャネル信号は、再構成された左チャネル信号と再構成された右チャネル信号とを含む。残りは類推によって推測することができる。
例えば、従来のMS符号化技術では、Midチャネル(Mid channel)信号およびSideチャネル(Side channel)信号を取得するために、左右のチャネル信号が最初にダウンミックスされる。例えば、Lは左チャネル信号を示し、Rは右チャネル信号を示す。この場合、Mid channel信号は0.5×(L+R)であり、Mid channel信号は左チャネルと右チャネルとの間の相関に関する情報を示し、Side channel信号は0.5×(L−R)であり、Side channel信号は、左チャネルと右チャネルとの差に関する情報を示す。次に、Mid channel信号とSide channel信号とは、モノラル符号化方法を使用することにより別々に符号化される。Mid channel信号は比較的多くのビット数を使用することにより通常符号化され、Side channel信号は比較的少ないビット数を使用することにより通常符号化される。
さらに、いくつかの解決策では、符号化品質を改善するために、時間領域ダウンミックス処理における左チャネルの右チャネルに対する割合を示すために使用される時間領域ステレオパラメータを抽出するために、左右のチャネル時間領域信号が解析される。提案される方法の目的は、ステレオの左右のチャネル信号間のエネルギー差分が比較的大きい場合、時間領域のダウンミックス信号において、プライマリチャネルのエネルギーを増加させ、セカンダリチャネルのエネルギーを減少させ得ることである。例えば、Lは左チャネル信号を示し、Rは右チャネル信号を示す。この場合、プライマリチャネル(Primary channel)信号はYで示され、Y=alpha x L+beta x Rであり、Yは2つのチャネル間の相関に関する情報を示し、セカンダリチャネル(Secondary channel)はXで示され、X=alpha x L−beta x Rであり、Xは2つのチャネルの差に関する情報を表す。ここで、alphaおよびbetaは0から1の実数である。
図1は、左チャネル信号および右チャネル信号の振幅変動を示している。時間領域のある瞬間において、特定の位置における左チャネル信号のサンプリング点の振幅の絶対値と、対応する位置における右チャネル信号のサンプリング点の振幅の絶対値とは基本的に同じであるが、振幅は反対の符号を有する。これは典型的な略非同相信号である。図1は、略非同相信号の典型的な例を示しているにすぎない。実際には、略非同相信号は、左右のチャネル信号間の位相差が約180度のステレオ信号である。例えば、左右のチャネル信号間の位相差が[180−θ,180+θ]の範囲内にあるステレオ信号は、略非同相信号と呼ばれ、θは0°〜90°の任意の角度であり得る。例えば、θは、0°、5°、15°、17°、20°、30°、40°などの角度に等しくてもよい。
同様に、略同相信号は、左右のチャネル信号間の位相差が約0度のステレオ信号である。例えば、左右のチャネル信号の位相差が[−θ,θ]の範囲内にあるステレオ信号は、略同相信号と呼ばれ得る。θは0°〜90°の任意の角度であり得る。例えば、θは、0°、5°、15°、17°、20°、30°、40°などの角度に等しくてもよい。
左右のチャネル信号が略同相信号の場合、時間領域ダウンミックス処理によって生成されるプライマリチャネル信号のエネルギーは、通常、セカンダリチャネル信号のエネルギーよりも著しく大きくなる。プライマリチャネル信号が比較的多くのビット数を使用することにより符号化され、セカンダリチャネル信号が比較的少ないビット数を使用することにより符号化される場合、より良い符号化効果を得ることができる。しかしながら、左右のチャネル信号が略非同相信号である場合、同じ時間領域ダウンミックス処理方法が使用されると、生成されたプライマリチャネル信号のエネルギーが非常に小さい場合があり、または失われる場合さえあり、最終的な符号化品質が低下する。
以下では、ステレオ符号化および復号の品質を向上させるのに役立ち得るいくつかの技術的解決策について引き続き説明する。
本出願の実施形態で言及される符号化装置および復号装置は、音声信号の収集、記憶、外部への送信などの機能を有する装置であり得る。具体的には、符号化装置および復号装置は、例えば、携帯電話、サーバ、タブレットコンピュータ、パーソナルコンピュータ、またはノートブックコンピュータであり得る。
本出願の解決策では、左右のチャネル信号はステレオ信号の左右のチャネル信号であることが理解されよう。ステレオ信号は、元からのステレオ信号、またはマルチチャネル信号に含まれる2つの信号チャネルによって形成されたステレオ信号、またはマルチチャネル信号に含まれる複数の信号チャネルによって共同で生成される2つの信号チャネルによって形成されたステレオ信号であり得る。ステレオ符号化方法はまた、マルチチャネル符号化で使用されるステレオ符号化方法であり得る。ステレオ符号化装置はまた、マルチチャネル符号化装置で使用されるステレオ符号化装置であり得る。ステレオ復号方法はまた、マルチチャネル復号で使用されるステレオ復号方法であり得る。ステレオ復号装置はまた、マルチチャネル復号装置で使用されるステレオ復号装置であり得る。本出願の実施形態におけるオーディオ符号化方法は、例えば、ステレオ符号化シナリオに固有であり、本出願の実施形態におけるオーディオ復号方法は、例えば、ステレオ復号シナリオに固有である。
以下は、オーディオ符号化モードを判定するための方法を最初に提供するものであり、本方法は、現在のフレームのチャネル結合スキームを判定するステップと、前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの符号化モードを判定するステップとを含み得る。
図2は、本出願の一実施形態によるオーディオ符号化方法の概略的な流れ図である。オーディオ符号化方法の関連するステップは、符号化装置によって実施されてもよく、例えば、以下のステップを含み得る。
201.現在のフレームのチャネル結合スキームを判定する。
現在のフレームのチャネル結合スキームは、複数のチャネル結合スキームのうちの1つである。例えば、複数のチャネル結合スキームは、反相関信号チャネル結合スキーム(anticorrelated signal Channel Combination Scheme)および相関信号チャネル結合スキーム(correlated signal Channel Combination Scheme)を含む。相関信号チャネル結合スキームは、略同相信号に対応するチャネル結合スキームである。反相関信号チャネル結合スキームは、略非同相信号に対応するチャネル結合スキームである。略同相信号に対応するチャネル結合スキームは略同相信号に適用可能であり、略非同相信号に対応するチャネル結合スキームは略非同相信号に適用可能であることが理解されよう。
202.前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの符号化モードを判定する。
加えて、現在のフレームが最初のフレームである(すなわち、現在のフレームの前のフレームが存在しない)場合、現在のフレームの符号化モードは、現在のフレームのチャネル結合スキームに基づいて判定され得る。あるいは、デフォルトの符号化モードが現在のフレームの符号化モードとして使用されてもよい。
現在のフレームの符号化モードは、複数の符号化モードのうちの1つである。例えば、複数の符号化モードは、相関から反相関に信号符号化を切り替えるモード(correlated−to−anticorrelated signal coding switching mode)、反相関から相関に信号符号化を切り替えるモード(anticorrelated−to−correlated signal coding switching mode)、相関信号符号化モード(correlated signal coding mode)、反相関信号符号化モード(anticorrelated signal coding mode)などを含み得る。
相関から反相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックスモードは、例えば、「相関から反相関に信号ダウンミックスを切り替えるモード」(correlated−to−anticorrelated signal downmix switching mode)と呼ばれる場合がある。反相関から相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックスモードは、例えば、「反相関から相関に信号ダウンミックスを切り替えるモード」(anticorrelated−to−correlated signal downmix switching mode)と呼ばれる場合がある。相関信号符号化モードに対応する時間領域ダウンミックスモードは、例えば、「相関信号ダウンミックスモード」(correlated signal downmix mode)と呼ばれる場合がある。反相関信号符号化モードに対応する時間領域ダウンミックスモードは、例えば、「反相関信号ダウンミックスモード」(anticorrelated signal downmix mode)と呼ばれる場合がある。
本出願の本実施形態では、符号化モード、復号モード、およびチャネル結合スキームなどの対象の名前はすべて例であり、他の名前も実際のアプリケーションで使用され得ることが理解されよう。
203.現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの符号化モードに対応する時間領域ダウンミックス処理に基づいて、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行する。
現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、時間領域ダウンミックス処理が現在のフレームの左右のチャネル信号に対して実行され得、プライマリおよびセカンダリチャネル信号は、ビットストリームを取得するためにさらに符号化される。さらに、現在のフレームのチャネル結合スキームフラグ(現在のフレームのチャネル結合スキームフラグは、現在のフレームのチャネル結合スキームを示すために使用される)がビットストリームに書き込まれ、その結果、復号装置は、ビットストリームに含まれる現在のフレームのチャネル結合スキームフラグに基づいて、現在のフレームのチャネル結合スキームを判定し得る。
前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの符号化モードを判定することの様々な特定の実装形態があり得る。
具体的には、例えば、いくつかの可能な実装形態では、前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの符号化モードを判定することは、
前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームの符号化モードが相関から反相関に信号符号化を切り替えるモードであると判定することであって、相関から反相関に信号符号化を切り替えるモードにおいて、時間領域ダウンミックス処理が、相関信号チャネル結合スキームから反相関信号チャネル結合スキームへの移行に対応するダウンミックス処理方法を使用することにより実行される、こと、または
前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームの符号化モードが反相関信号符号化モードであると判定することであって、反相関信号符号化モードにおいて、時間領域ダウンミックス処理が、反相関信号チャネル結合スキームに対応するダウンミックス処理方法を使用することにより実行される、こと、または
前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームの符号化モードが反相関から相関に信号符号化を切り替えるモードであると判定することであって、反相関から相関に信号符号化を切り替えるモードにおいて、時間領域ダウンミックス処理が、反相関信号チャネル結合スキームから相関信号チャネル結合スキームへの移行に対応するダウンミックス処理方法を使用することにより実行され、反相関から相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式が、具体的には、セグメント化された時間領域ダウンミックス方式である、すなわち、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域ダウンミックス処理を実行することである、こと、または
前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームの符号化モードが相関信号符号化モードであると判定することであって、相関信号符号化モードにおいて、時間領域ダウンミックス処理が、相関信号チャネル結合スキームに対応するダウンミックス処理方法を使用することにより実行される、ことを含み得る。
異なる符号化モードは通常異なる時間領域ダウンミックス処理方式に対応し、各符号化モードは1つまたは複数の時間領域ダウンミックス処理方式に対応し得ることが理解されよう。
例えば、いくつかの可能な実装形態では、現在のフレームの符号化モードが相関信号符号化モードであると判定された場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、相関信号符号化モードに対応する時間領域ダウンミックス処理方式が現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行するために使用される。相関信号符号化モードに対応する時間領域ダウンミックス処理方式は、相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式である。
別の例として、いくつかの可能な実装形態では、現在のフレームの符号化モードが反相関信号符号化モードであると判定された場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、反相関信号符号化モードに対応する時間領域ダウンミックス処理方式が現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行するために使用される。反相関信号符号化モードに対応する時間領域ダウンミックス処理方式は、反相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式である。
別の例として、いくつかの可能な実装形態では、現在のフレームの符号化モードが相関から反相関に信号符号化を切り替えるモードであると判定された場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、相関から反相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式が現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行するために使用される。相関から反相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式は、相関信号チャネル結合スキームから反相関信号チャネル結合スキームへの移行に対応する時間領域ダウンミックス処理方式である。相関から反相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式は、具体的には、セグメント化された時間領域ダウンミックス方式であり得る、つまり、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域ダウンミックス処理を実行することであり得る。
別の例として、いくつかの可能な実装形態では、現在のフレームの符号化モードが反相関から相関に信号符号化を切り替えるモードであると判定された場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、反相関から相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式が現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行するために使用される。反相関から相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式は、反相関信号チャネル結合スキームから相関信号チャネル結合スキームへの移行に対応する時間領域ダウンミックス処理方式である。
異なる符号化モードは通常異なる時間領域ダウンミックス処理方式に対応し、各符号化モードは1つまたは複数の時間領域ダウンミックス処理方式に対応し得ることが理解されよう。
例えば、いくつかの可能な実装形態では、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、反相関信号符号化モードに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行することは、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行すること、または現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行することを含み得る。
上述の解決策では、現在のフレームのチャネル結合スキームを判定する必要があり、このことは、現在のフレームのチャネル結合スキームには複数の可能性があることを示していることが理解されよう。チャネル結合スキームが1つしかない従来の解決策と比較して、複数の可能なチャネル結合スキームを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。上述の解決策では、現在のフレームの符号化モードは、前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて判定される必要があり、現在のフレームの符号化モードには複数の可能性がある。符号化モードが1つしかない従来の解決策と比較して、複数の可能な符号化モードを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。
具体的には、例えば、現在のフレームのチャネル結合スキームが前のフレームのチャネル結合スキームとは異なる場合、現在のフレームの符号化モードは、例えば、相関から反相関に信号符号化を切り替えるモードまたは反相関から相関に信号符号化を切り替えるモードであり得ると判定され得る。この場合、セグメント化された時間領域ダウンミックス処理が、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの左右のチャネル信号に対して実行され得る。
現在のフレームのチャネル結合スキームと前のフレームのチャネル結合スキームとが異なる場合、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域ダウンミックス処理を実行するメカニズムが導入される。セグメント化された時間領域ダウンミックス処理メカニズムは、チャネル結合スキームの円滑な移行の実施を助け、符号化品質の向上をさらに助ける。
対応して、以下は、例を使用することにより時間領域ステレオ復号シナリオについて説明する。
図3を参照すると、以下、オーディオ復号モードを判定するための方法をさらに提供する。オーディオ復号モードを判定するための方法の関連するステップは、復号装置によって実施されてもよく、本方法は以下を特に含み得る。
301.ビットストリーム内にある現在のフレームのチャネル結合スキームフラグに基づいて、現在のフレームのチャネル結合スキームを判定する。
302.前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの復号モードを判定する。
現在のフレームの復号モードは、複数の復号モードのうちの1つである。例えば、複数の復号モードは、相関から反相関に信号復号を切り替えるモード(correlated−to−anticorrelated signal decoding switching mode)、反相関から相関に信号復号を切り替えるモード(anticorrelated−to−correlated signal decoding switching mode)、相関信号復号モード(correlated signal decoding mode)、反相関信号復号モード(anticorrelated signal decoding mode)などを含み得る。
相関から反相関に信号復号を切り替えるモードに対応する時間領域アップミックスモードは、例えば、「相関から反相関に信号アップミックスを切り替えるモード」(correlated−to−anticorrelated signal upmix switching mode)と呼ばれる場合がある。反相関から相関に信号復号を切り替えるモードに対応する時間領域アップミックスモードは、例えば、「反相関から相関に信号アップミックスを切り替えるモード」(anticorrelated−to−correlated signal upmix switching mode)と呼ばれる場合がある。相関信号復号モードに対応する時間領域アップミックスモードは、例えば、「相関信号アップミックスモード」(correlated signal upmix mode)と呼ばれる場合がある。反相関信号復号モードに対応する時間領域アップミックスモードは、例えば、「反相関信号アップミックスモード」(anticorrelated signal upmix mode)と呼ばれる場合がある。
本出願の本実施形態では、符号化モード、復号モード、およびチャネル結合スキームなどの対象の名前はすべて例であり、他の名前も実際のアプリケーションで使用され得ることが理解されよう。
いくつかの可能な実装形態では、前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの符号化モードを判定することは、
前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームの復号モードが相関から反相関に信号復号を切り替えるモードであると判定することであって、相関から反相関に信号復号を切り替えるモードにおいて、時間領域アップミックス処理が、相関信号チャネル結合スキームから反相関信号チャネル結合スキームへの移行に対応するアップミックス処理方法を使用することにより実行される、こと、または
前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームの復号モードが反相関信号復号モードであると判定することであって、反相関信号復号モードにおいて、時間領域アップミックス処理が、反相関信号チャネル結合スキームに対応するアップミックス処理方法を使用することにより実行される、こと、または
前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームの復号モードが反相関から相関に信号復号を切り替えるモードであると判定することであって、反相関から相関に信号復号を切り替えるモードにおいて、時間領域アップミックス処理が、反相関信号チャネル結合スキームから相関信号チャネル結合スキームへの移行に対応するアップミックス処理方法を使用することにより実行される、こと、または
前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームの復号モードが相関信号復号モードであると判定することであって、相関信号復号モードにおいて、時間領域アップミックス処理が、相関信号チャネル結合スキームに対応するアップミックス処理方法を使用することにより実行される、ことを含む。
例えば、現在のフレームの復号モードが反相関信号復号モードであると判定する場合、復号装置は、現在のフレームの再構成された左右のチャネル信号を取得するために、反相関信号復号モードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する。
再構成された左右のチャネル信号は、復号された左右のチャネル信号であってもよいし、復号された左右のチャネル信号を取得するために、遅延調整処理および/または時間領域の後処理が再構成された左右のチャネル信号に対して実行されてもよい。
反相関信号復号モードに対応する時間領域アップミックス処理方式は、反相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式であり、反相関信号チャネル結合スキームは、略非同相信号に対応するチャネル結合スキームである。
現在のフレームの復号モードは、複数の復号モードのうちの1つであり得る。例えば、現在のフレームの復号モードは、次の復号モード、すなわち、相関信号復号モード、反相関信号復号モード、相関から反相関に信号復号を切り替えるモード、および反相関から相関に信号復号を切り替えるモードのうちの1つであり得る。
上述の解決策では、現在のフレームの復号モードを判定する必要があり、これは、現在のフレームの復号モードには複数の可能性があることを示していることが理解されよう。復号モードが1つしかない従来の解決策と比較して、複数の可能な復号モードを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。加えて、略非同相信号に対応するチャネル結合スキームが導入されているため、現在のフレームのステレオ信号が略非同相信号である場合、よりターゲットを絞ったチャネル結合スキームおよび復号モードがあり、このことが復号品質を改善するのに役立つ。
別の例として、現在のフレームの復号モードが相関信号復号モードであると判定する場合、復号装置は、現在のフレームの再構成された左右のチャネル信号を取得するために、相関信号復号モードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する。相関信号復号モードに対応する時間領域アップミックス処理方式は、相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式であり、相関信号チャネル結合スキームは、略同相信号に対応するチャネル結合スキームである。
別の例として、現在のフレームの復号モードが相関から反相関に信号復号を切り替えるモードであると判定する場合、復号装置は、現在のフレームの再構成された左右のチャネル信号を取得するために、相関から反相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する。相関から反相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式は、相関信号チャネル結合スキームから反相関信号チャネル結合スキームへの移行に対応する時間領域アップミックス処理方式である。
別の例として、現在のフレームの復号モードが反相関から相関に信号復号を切り替えるモードであると判定する場合、復号装置は、現在のフレームの再構成された左右のチャネル信号を取得するために、反相関から相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する。反相関から相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式は、反相関信号チャネル結合スキームから相関信号チャネル結合スキームへの移行に対応する時間領域アップミックス処理方式である。
異なる復号モードは通常異なる時間領域アップミックス処理方式に対応し、各復号モードは1つまたは複数の時間領域アップミックス処理方式に対応し得ることが理解されよう。
上述の解決策では、現在のフレームのチャネル結合スキームを判定する必要があり、このことは、現在のフレームのチャネル結合スキームには複数の可能性があることを示していることが理解されよう。チャネル結合スキームが1つしかない従来の解決策と比較して、複数の可能なチャネル結合スキームを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。上述の解決策では、現在のフレームの復号モードは、前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて判定される必要があり、現在のフレームの復号モードには複数の可能性がある。復号モードが1つしかない従来の解決策と比較して、複数の可能な復号モードを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。
さらに、復号装置は、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの復号モードに対応する時間領域アップミックス処理に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する。
以下、符号化装置によって現在のフレームのチャネル結合スキームを判定するいくつかの特定の実装形態を説明するために例を用いる。符号化装置によって現在のフレームのチャネル結合スキームを判定する様々な特定の実装形態がある。
例えば、いくつかの可能な実装形態では、現在のフレームのチャネル結合スキームを判定することは、現在のフレームのチャネル結合スキームを判定するために、現在のフレームのチャネル結合スキーム決定を少なくとも1回実行することを含み得る。
具体的には、例えば、現在のフレームのチャネル結合スキームを判定することは、現在のフレームの初期チャネル結合スキームを判定するために、現在のフレームの初期チャネル結合スキーム決定を実行することと、現在のフレームのチャネル結合スキームを判定するために、現在のフレームの初期チャネル結合スキームに基づいて、現在のフレームのチャネル結合スキーム変更決定を実行することとを含む。加えて、現在のフレームの初期チャネル結合スキームはまた、現在のフレームのチャネル結合スキームとして直接使用され得る。換言すれば、現在のフレームのチャネル結合スキームは、現在のフレームの初期チャネル結合スキーム決定が実行された後に判定される現在のフレームの初期チャネル結合スキームであり得る。
例えば、現在のフレームの初期チャネル結合スキーム決定を実行することは、現在のフレームの左右のチャネル信号を使用することにより、現在のフレームのステレオ信号の同相/非同相の信号種別を判定することと、現在のフレームのステレオ信号の同相/非同相の信号種別および前のフレームのチャネル結合スキームに基づいて、現在のフレームの初期チャネル結合スキームを判定することとを含み得る。現在のフレームのステレオ信号の同相/非同相の信号種別は、略同相信号または略非同相信号であり得る。現在のフレームのステレオ信号の同相/非同相の信号種別は、現在のフレームの同相/非同相フラグの信号種別によって示され得る(例えば、同相/非同相フラグの信号種別は、tmp_SM_flagで表される)。具体的には、例えば、現在のフレームの同相/非同相フラグの信号種別の値が「1」である場合、現在のフレームのステレオ信号の同相/非同相の信号種別が略同相信号であることを示す、または現在のフレームの同相/非同相フラグの信号種別の値が「0」である場合、現在のフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であることを示し、この逆もまた同様である。
オーディオフレーム(例えば、前のフレームまたは現在のフレーム)のチャネル結合スキームは、オーディオフレームのチャネル結合スキームフラグによって示され得る。例えば、オーディオフレームのチャネル結合スキームフラグの値が「0」である場合、オーディオフレームのチャネル結合スキームが相関信号チャネル結合スキームであることを示す、またはオーディオフレームのチャネル結合スキームフラグの値が「1」である場合、オーディオフレームのチャネル結合スキームが反相関信号チャネル結合スキームであることを示し、この逆もまた同様である。
同様に、オーディオフレーム(例えば、前のフレームまたは現在のフレーム)の初期チャネル結合スキームは、オーディオフレームの初期チャネル結合スキームフラグによって示され得る(例えば、初期チャネル結合スキームフラグはtdm_SM_flag_locで表される)。例えば、オーディオフレームの初期チャネル結合スキームフラグの値が「0」である場合、オーディオフレームの初期チャネル結合スキームが相関信号チャネル結合スキームであることを示す、または別の例では、オーディオフレームの初期チャネル結合スキームフラグの値が「1」である場合、オーディオフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであることを示し、この逆もまた同様である。
現在のフレームの左右のチャネル信号を使用することにより、現在のフレームのステレオ信号の同相/非同相の信号種別を判定することは、現在のフレームの左右のチャネル信号間の相関値xorrを計算することと、xorrが第1の閾値以下である場合、現在のフレームのステレオ信号の同相/非同相の信号種別が略同相信号であると判定すること、またはxorrが第1の閾値より大きい場合、現在のフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であると判定することとを含み得る。さらに、現在のフレームの同相/非同相フラグの信号種別が、現在のフレームのステレオ信号の同相/非同相の信号種別を示すために使用される場合に、現在のフレームのステレオ信号の同相/非同相の信号種別が略同相信号であると判定された場合、現在のフレームの同相/非同相フラグの信号種別の値は、現在のフレームのステレオ信号の同相/非同相の信号種別が略同相信号であることを示すように設定され得る、または現在のフレームの同相/非同相の信号種別が略同相信号であると判定された場合、現在のフレームの同相/非同相フラグの信号種別の値は、現在のフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であることを示すように設定され得る。
第1の閾値の値の範囲は、例えば、(0.5,1.0)であり得、第1の閾値は、例えば、0.5、0.85、0.75、0.65、または0.81に等しくてよい。
具体的には、例えば、オーディオフレーム(例えば、前のフレームまたは現在のフレーム)の同相/非同相フラグの信号種別の値が「0」である場合、オーディオフレームのステレオ信号の同相/非同相の信号種別が略同相信号であることを示す、またはオーディオフレーム(例えば、前のフレームまたは現在のフレーム)の同相/非同相フラグの信号種別の値が「1」である場合、オーディオフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であることを示し、この逆もまた同様である。
例えば、現在のフレームのステレオ信号の同相/非同相の信号種別および前のフレームのチャネル結合スキームに基づいて、現在のフレームの初期チャネル結合スキームを判定することは、
現在のフレームのステレオ信号の同相/非同相の信号種別が略同相信号であり、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームの初期チャネル結合スキームが相関信号チャネル結合スキームであると判定すること、または現在のフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であり、前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであると判定すること、あるいは
現在のフレームのステレオ信号の同相/非同相の信号種別が略同相信号であり、前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合に、現在のフレームの左右のチャネル信号の信号雑音比が両方とも第2の閾値より小さい場合、現在のフレームの初期チャネル結合スキームが相関信号チャネル結合スキームであると判定すること、または現在のフレームの左チャネル信号の信号雑音比および/もしくは右チャネル信号の信号雑音比が第2の閾値以上である場合、現在のフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであると判定すること、あるいは
現在のフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であり、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合に、現在のフレームの左右のチャネル信号の信号雑音比が両方とも第2の閾値より小さい場合、現在のフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであると判定すること、または現在のフレームの左チャネル信号の信号雑音比および/もしくは右チャネル信号の信号雑音比が第2の閾値以上である場合、現在のフレームの初期チャネル結合スキームが相関信号チャネル結合スキームであると判定することを含み得る。
第2の閾値の値の範囲は、例えば、[0.8,1.2]であり得、第2の閾値は、例えば、0.8、0.85、0.9、1、1.1、または1.18に等しくてよい。
現在のフレームの初期チャネル結合スキームに基づいて現在のフレームのチャネル結合スキーム変更決定を実行することは、前のフレームのチャネル結合比係数変更フラグ、現在のフレームのステレオ信号の同相/非同相の信号種別、および現在のフレームの初期チャネル結合スキームに基づいて、現在のフレームのチャネル結合スキームを判定することを含み得る。
現在のフレームのチャネル結合スキームフラグは、tdm_SM_flagとして示され、現在のフレームのチャネル結合比係数変更フラグは、tdm_SM_modi_flagとして示される。例えば、チャネル結合比係数変更フラグの値が0である場合、チャネル結合比係数を変更する必要がないことを示す、またはチャネル結合比係数変更フラグの値が1である場合、チャネル結合比係数を変更する必要があることを示す。当然のことながら、チャネル結合比係数を変更する必要があるか否かを示すためにチャネル結合比係数変更フラグとして他の異なる値が使用されてもよい。
具体的には、例えば、現在のフレームの初期チャネル結合スキーム決定の結果に基づいて現在のフレームのチャネル結合スキーム変更決定を実行することは、
前のフレームのチャネル結合比係数変更フラグがチャネル結合比係数を変更する必要があると示す場合、現在のフレームのチャネル結合スキームとして反相関信号チャネル結合スキームを使用すること、または、前のフレームのチャネル結合比係数変更フラグがチャネル結合比係数を変更する必要がないと示している場合、現在のフレームが切り替え条件を満たすか否かを判定することと、現在のフレームが切り替え条件を満たすか否かの判定の結果に基づいて、現在のフレームのチャネル結合スキームを判定することとを含み得る。
現在のフレームが切り替え条件を満たしているか否かの判定の結果に基づいて、現在のフレームのチャネル結合スキームを判定することは、
前のフレームのチャネル結合スキームが現在のフレームの初期チャネル結合スキームとは異なり、現在のフレームが切り替え条件を満たし、現在のフレームの初期チャネル結合スキームが相関信号チャネル結合スキームであり、前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定すること、または
前のフレームのチャネル結合スキームが現在のフレームの初期チャネル結合スキームとは異なり、現在のフレームが切り替え条件を満たし、現在のフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであり、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、前のフレームのチャネル結合比係数が第1の比係数閾値より小さい場合、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定すること、または
前のフレームのチャネル結合スキームが現在のフレームの初期チャネル結合スキームとは異なり、現在のフレームが切り替え条件を満たし、現在のフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであり、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、前のフレームのチャネル結合比係数が第1の比係数閾値以上である場合、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定すること、または
現在のフレームから第(P−1)番目のフレームのチャネル結合スキームが現在のフレームから第P番目のフレームの初期チャネル結合スキームとは異なり、現在のフレームから第P番目のフレームが切り替え条件を満たさず、現在のフレームが切り替え条件を満たし、現在のフレームのステレオ信号の同相/非同相の信号種別が略同相信号であり、現在のフレームの初期チャネル結合スキームが相関信号チャネル結合スキームであり、前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定すること、または
現在のフレームから第(P−1)番目のフレームのチャネル結合スキームが現在のフレームから第P番目のフレームの初期チャネル結合スキームとは異なり、現在のフレームから第P番目のフレームが切り替え条件を満たさず、現在のフレームが切り替え条件を満たし、現在のフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であり、現在のフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであり、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、前のフレームのチャネル結合比係数が第2の比係数閾値より小さい場合、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定すること、または
現在のフレームから第(P−1)番目のフレームのチャネル結合スキームが現在のフレームから第P番目のフレームの初期チャネル結合スキームとは異なり、現在のフレームから第P番目のフレームが切り替え条件を満たさず、現在のフレームが切り替え条件を満たし、現在のフレームのステレオ信号の同相/非同相の信号種別が略非同相信号であり、現在のフレームの初期チャネル結合スキームが反相関信号チャネル結合スキームであり、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、前のフレームのチャネル結合比係数が第2の比係数閾値以上である場合、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定することを含み得る。
ここで、Pは1より大きい整数であり得る。例えば、Pは2、3、4、5、6、または別の値に等しくてよい。
第1の比係数閾値の値の範囲は、例えば、[0.4,0.6]であり得、第1の比係数閾値は、例えば、0.4、0.45、0.5、0.55、または0.6に等しくてよい。
第2の比係数閾値の値の範囲は、例えば、[0.4,0.6]であり得、第2の比係数閾値は、例えば、0.4、0.46、0.5、0.56、または0.6に等しくてよい。
いくつかの可能な実装形態では、現在のフレームが切り替え条件を満たしているか否かを判定することは、前のフレームのプライマリチャネル信号のフレーム種別および/または前のフレームのセカンダリチャネル信号のフレーム種別に基づいて、現在のフレームが切り替え条件を満たすか否かを判定することを含み得る。
いくつかの可能な実装形態では、現在のフレームが切り替え条件を満たしているか否かを判定することは、
第1の条件、第2の条件、および第3の条件がすべて満たされる場合、現在のフレームが切り替え条件を満たしていると判定すること、または、第2の条件、第3の条件、第4の条件、および第5の条件がすべて満たされる場合、現在のフレームが切り替え条件を満たしていると判定すること、または第6の条件が満たされる場合、現在のフレームが切り替え条件を満たしていると判定することを含み得る。
第1の条件は次のとおりである、すなわち、前のフレームの前のフレームのプライマリチャネル信号のフレーム種別が、VOICED_CLAS frame(有声フレームまたは有声オンセットフレームに従う有声特性を持つフレーム)、ONSET frame(有声オンセットフレーム)、SIN_ONSET frame(高調波および雑音が混在するオンセットフレーム)、INACTIVE_CLAS frame(非アクティブな特性を持つフレーム)、およびAUDIO_CLAS(オーディオフレーム)のうちのいずれか1つであり、前のフレームのプライマリチャネル信号のフレーム種別が、UNVOICED_CLAS frame(いくつかの特性、すなわち無声、非アクティブ、雑音、または有声のうちの1つで終了するフレーム)もしくはVOICED_TRANSITION frame(有声音の後の移行を伴うフレーム、そしてフレームは非常に弱い有声特性を有する)である、または前のフレームの前のフレームのセカンダリチャネル信号のフレーム種別が、VOICED_CLAS frame、ONSET frame、SIN_ONSET frame、INACTIVE_CLAS frame、およびAUDIO_CLAS frameのうちのいずれか1つであり、前のフレームのセカンダリチャネル信号のフレーム種別が、UNVOICED_CLAS frameもしくはVOICED_TRANSITION frameである。
第2の条件は次のとおりである、すなわち、前のフレームのプライマリチャネル信号およびセカンダリチャネル信号の生の符号化モード(raw coding mode)はいずれもVOICED(有声フレームに対応する符号化種別)ではない。
第3の条件は次のとおりである、すなわち、前のフレームによって使用されたチャネル結合スキームを使用する前のフレームの前の連続するフレームの数が、事前設定されたフレーム数閾値より大きい。フレーム数閾値の値の範囲は、例えば、[3,10]であり得る。例えば、フレーム数閾値は、3、4、5、6、7、8、9、または別の値に等しくてよい。
第4の条件は次のとおりである、すなわち、前のフレームのプライマリチャネル信号のフレーム種別がUNVOICED_CLASである、または前のフレームのセカンダリチャネル信号のフレーム種別がUNVOICED_CLASである。
第5の条件は次のとおりである、すなわち、現在のフレームの左右のチャネル信号の長時間二乗平均平方根エネルギー値がエネルギー閾値より小さい。エネルギー閾値の値の範囲は、例えば、[300,500]であり得る。例えば、フレーム数閾値は、300、400、410、451、482、500、415、または別の値に等しくてよい。
第6の条件は次のとおりである、すなわち、前のフレームのプライマリチャネル信号のフレーム種別が音楽信号であり、前のフレームのプライマリチャネル信号の低周波数帯域のエネルギーの高周波数帯域のエネルギーに対する比が第1のエネルギー比閾値より大きく、前のフレームのセカンダリチャネル信号の低周波数帯域のエネルギーの高周波数帯域のエネルギーに対する比が第2のエネルギー比閾値より大きい。
第1のエネルギー比閾値の範囲は、例えば、[4000,6000]であり得る。例えば、フレーム数閾値は、4000、4500、5000、5105、5200、6000、5800、または別の値に等しくてよい。
第2のエネルギー比閾値の範囲は、例えば、[4000,6000]であり得る。例えば、フレーム数閾値は、4000、4501、5000、5105、5200、6000、5800、または別の値に等しくてよい。
現在のフレームが切り替え条件を満たしているか否かを判定する様々な実装形態があり、これらは上で例として与えられた方式に限定されないことが理解されよう。
現在のフレームのチャネル結合スキームを判定するいくつかの実装形態が上述の例で提供されるが、実際のアプリケーションは上述の例の方式に限定されないことが理解されよう。
以下、反相関信号符号化モードにおけるシナリオを説明するために例をさらに使用する。
図4を参照すると、本出願の一実施形態は、オーディオ符号化方法を提供する。オーディオ符号化方法の関連するステップは、符号化装置によって実施されてもよく、本方法は以下を特に含み得る。
401.現在のフレームの符号化モードを判定する。
402.現在のフレームの符号化モードが反相関信号符号化モードであると判定する場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、反相関信号符号化モードに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行する。
403.現在のフレームの取得されたプライマリおよびセカンダリチャネル信号を符号化する。
反相関信号符号化モードに対応する時間領域ダウンミックス処理方式は、反相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式であり、反相関信号チャネル結合スキームは、略非同相信号に対応するチャネル結合スキームである。
例えば、いくつかの可能な実装形態では、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、反相関信号符号化モードに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行することは、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行すること、または現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行することを含み得る。
オーディオフレーム(例えば、現在のフレームまたは前のフレーム)のチャネル結合スキーム(例えば、反相関信号チャネル結合スキームまたは反相関信号チャネル結合スキーム)のチャネル結合比係数は、事前設定された固定値であり得ることが理解されよう。当然のことながら、オーディオフレームのチャネル結合比係数はまた、オーディオフレームのチャネル結合スキームに基づいて判定されてもよい。
いくつかの可能な実装形態では、対応するダウンミックス行列は、オーディオフレームのチャネル結合比係数に基づいて構成され得、時間領域ダウンミックス処理は、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、チャネル結合スキームに対応するダウンミックス行列を使用することにより現在のフレームの左右のチャネル信号に対して実行される。
例えば、時間領域ダウンミックス処理が、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの左右のチャネル信号に対して実行される場合、
である。
別の例として、時間領域ダウンミックス処理が、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの左右のチャネル信号に対して実行される場合、
であり、ここで
delay_comは、符号化遅延補償を示す。
別の例として、時間領域ダウンミックス処理が、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの左右のチャネル信号に対して実行される場合、
である。
ここで、fade_in(n)はフェードイン係数を示す。例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。
fade_out(n)は、フェードアウト係数を示す。例えば、
である。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードアウト係数であってもよい。
NOVA_1は移行処理の長さを示す。NOVA_1の値は、特定のシナリオ要件に基づいて設定され得る。例えば、NOVA_1は3/Nに等しくてもよいし、NOVA_1はNより小さい別の値であってもよい。
別の例では、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、相関信号符号化モードに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理が実行される場合、
である。
上述の例では、xL(n)は現在のフレームの左チャネル信号を示す。xR(n)は、現在のフレームの右チャネル信号を示す。Y(n)は、現在のフレームにあり、かつ時間領域ダウンミックス処理により取得されたプライマリチャネル信号を示し、X(n)は、現在のフレームにあり、かつ時間領域ダウンミックス処理により取得されたセカンダリチャネル信号を示す。
上述の例では、nはサンプリング点番号を示す。例えば、n=0,1,・・・,N−1である。
上述の例では、delay_comは符号化遅延補償を示す。
M11は、前のフレームの相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M11は、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
M12は、前のフレームの反相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M12は、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
M22は、現在のフレームの反相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M22は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
M21は、現在のフレームの相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M21は、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
M21は複数の形式を有することができ、例えば、
であり、ここで
ratioは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
M22は複数の形式を有することができ、例えば、
であり、ここで
α1=ratio_SM、α1=ratio_SMである。ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
M12は複数の形式を有することができ、例えば、
であり、ここで
α1_pre=tdm_last_ratio_SM、α2_pre=1−tdm_last_ratio_SMである。tdm_last_ratio_SMは、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
現在のフレームの左右のチャネル信号は、具体的には、現在のフレームの元からの左右のチャネル信号(元からの左右のチャネル信号は、時間領域の前処理を受けていない左右のチャネル信号であり、例えば、サンプリングによって取得された左右のチャネル信号であり得る)であってもよいし、現在のフレームの時間領域の前処理を受けた左右のチャネル信号であってもよいし、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号であってもよい。
具体的には、例えば、
であり、ここで
は現在のフレームの元からの左右のチャネル信号を示し、
は現在のフレームの時間領域の前処理を受けた左右のチャネル信号を示し、
は現在のフレームの遅延アライメント処理を受けた左右のチャネル信号を示す。
対応して、以下、反相関信号復号モードにおけるシナリオを説明するために例を使用する。
図5を参照すると、本出願の一実施形態は、オーディオ復号方法をさらに提供する。オーディオ復号方法の関連するステップは、復号装置によって実施されてもよく、本方法は以下のステップを特に含み得る。
501.現在のフレームの復号されたプライマリおよびセカンダリチャネル信号を取得するために、ビットストリームに基づいて復号を実行する。
502.現在のフレームの復号モードを判定する。
ステップ501およびステップ502を実行するための限定された順番はないことが理解されよう。
503.現在のフレームの復号モードが反相関信号復号モードであると判定する場合、現在のフレームの再構成された左右のチャネル信号を取得するために、反相関信号復号モードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する。
再構成された左右のチャネル信号は、復号された左右のチャネル信号であってもよいし、復号された左右のチャネル信号を取得するために、遅延調整処理および/または時間領域の後処理が再構成された左右のチャネル信号に対して実行されてもよい。
反相関信号復号モードに対応する時間領域アップミックス処理方式は、反相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式であり、反相関信号チャネル結合スキームは、略非同相信号に対応するチャネル結合スキームである。
現在のフレームの復号モードは、複数の復号モードのうちの1つであり得る。例えば、現在のフレームの復号モードは、次の復号モード、すなわち、相関信号復号モード、反相関信号復号モード、相関から反相関に信号復号を切り替えるモード、および反相関から相関に信号復号を切り替えるモードのうちの1つであり得る。
上述の解決策では、現在のフレームの復号モードを判定する必要があり、これは、現在のフレームの復号モードには複数の可能性があることを示していることが理解されよう。復号モードが1つしかない従来の解決策と比較して、複数の可能な復号モードを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。加えて、略非同相信号に対応するチャネル結合スキームが導入されているため、現在のフレームのステレオ信号が略非同相信号である場合、よりターゲットを絞ったチャネル結合スキームおよび復号モードがあり、このことが復号品質を改善するのに役立つ。
いくつかの可能な実装形態では、本方法は、
現在のフレームの復号モードが相関信号復号モードであると判定する場合、現在のフレームの再構成された左右のチャネル信号を取得するために、相関信号復号モードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行することであって、相関信号復号モードに対応する時間領域アップミックス処理方式が、相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式であり、相関信号チャネル結合スキームが、略同相信号に対応するチャネル結合スキームである、こと
をさらに含み得る。
いくつかの可能な実装形態では、本方法は、現在のフレームの復号モードが相関から反相関に信号復号を切り替えるモードであると判定する場合、現在のフレームの再構成された左右のチャネル信号を取得するために、相関から反相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行することであって、相関から反相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式が、相関信号チャネル結合スキームから反相関信号チャネル結合スキームへの移行に対応する時間領域アップミックス処理方式である、ことをさらに含み得る。
いくつかの可能な実装形態では、本方法は、現在のフレームの復号モードが反相関から相関に信号復号を切り替えるモードであると判定する場合、現在のフレームの再構成された左右のチャネル信号を取得するために、反相関から相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行することであって、反相関から相関に信号復号を切り替えるモードに対応する時間領域アップミックス処理方式が、反相関信号チャネル結合スキームから相関信号チャネル結合スキームへの移行に対応する時間領域アップミックス処理方式である、ことをさらに含み得る。
異なる復号モードは通常異なる時間領域アップミックス処理方式に対応し、各復号モードは1つまたは複数の時間領域アップミックス処理方式に対応し得ることが理解されよう。
例えば、いくつかの可能な実装形態では、現在のフレームの再構成された左右のチャネル信号を取得するために、反相関信号復号モードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対する時間領域アップミックス処理を実行することは、
現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行すること、または現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行すること
を含む。
いくつかの可能な実装形態では、対応するアップミックス行列は、オーディオフレームのチャネル結合比係数に基づいて構成され得、時間領域アップミックス処理は、現在のフレームの再構成された左右のチャネル信号を取得するために、チャネル結合スキームに対応するアップミックス行列を使用することにより現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して実行される。
例えば、時間領域アップミックス処理が、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して実行される場合、
である。
別の例として、時間領域アップミックス処理が、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して実行される場合、
であり、ここで
delay_comは、符号化遅延補償を示す。
別の例として、時間領域アップミックス処理が、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの反相関信号チャネル結合スキームのチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して実行される場合、
である。
ここで、
は現在のフレームの復号された左チャネル信号を示し、
は現在のフレームの再構成された右チャネル信号を示し、
は現在のフレームの復号されたプライマリチャネル信号を示し、
は、現在のフレームの復号されたセカンダリチャネル信号を示す。
NOVA_1は移行処理の長さを示す。
fade_in(n)はフェードイン係数を示す。例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。
fade_out(n)は、フェードアウト係数を示す。例えば、
である。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードアウト係数であってもよい。
NOVA_1は移行処理の長さを示す。NOVA_1の値は、特定のシナリオ要件に基づいて設定され得る。例えば、NOVA_1は3/Nに等しくてもよいし、NOVA_1はNより小さい別の値であってもよい。
別の例では、時間領域アップミックス処理が、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの相関信号チャネル結合スキームのチャネル結合比係数に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して実行される場合、
である。
上述の例では、
は現在のフレームの復号された左チャネル信号を示し、
は現在のフレームの再構成された右チャネル信号を示し、
は現在のフレームの復号されたプライマリチャネル信号を示し、
は、現在のフレームの復号されたセカンダリチャネル信号を示す。
上述の例では、nはサンプリング点番号を示す。例えば、n=0,1,・・・,N−1である。
上述の例では、upmixing_delayは復号遅延補償を示す。
は、前のフレームの相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
は、現在のフレームの反相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
は、前のフレームの反相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
は、現在のフレームの相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
は複数の形式を有することができ、例えば、
であり、ここで
α1=ratio_SM、α2=1−ratio_SMである。ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
は複数の形式を有することができ、例えば、
であり、ここで
α1_pre=tdm_last_ratio_SM、α2_pre=1−tdm_last_ratio_SMである。
tdm_last_ratio_SMは、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
は複数の形式を有することができ、例えば、
であり、ここで
ratioは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
以下、相関から反相関に信号符号化を切り替えるモードおよび反相関から反相関に信号符号化を切り替えるモードのシナリオを説明するために例を使用する。相関から反相関に信号符号化を切り替えるモードおよび反相関から反相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式は、例えば、セグメント化された時間領域ダウンミックス処理方式である。
図6を参照すると、本出願の一実施形態は、オーディオ符号化方法を提供する。オーディオ符号化方法の関連するステップは、符号化装置によって実施されてもよく、本方法は以下を特に含み得る。
601.現在のフレームのチャネル結合スキームを判定する。
602.現在のフレームのチャネル結合スキームが前のフレームのチャネル結合スキームとは異なる場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域ダウンミックス処理を実行する。
603.現在のフレームの取得されたプライマリおよびセカンダリチャネル信号を符号化する。
現在のフレームのチャネル結合スキームが前のフレームのチャネル結合スキームとは異なる場合、現在のフレームの符号化モードは、相関から反相関に信号符号化を切り替えるモードまたは反相関から反相関に信号符号化を切り替えるモードであると判定され得る。現在のフレームの符号化モードが相関から反相関に信号符号化を切り替えるモードまたは反相関から反相関に信号符号化を切り替えるモードである場合、例えば、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、セグメント化された時間領域ダウンミックス処理が現在のフレームの左右のチャネル信号に対して実行され得る。
具体的には、例えば、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームの符号化モードは、相関から反相関に信号符号化を切り替えるモードであると判定され得る。別の例では、前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームの符号化モードは、反相関から相関に信号符号化を切り替えるモードであると判定され得る。残りは類推によって推測することができる。
セグメント化された時間領域ダウンミックス処理は、現在のフレームの左右のチャネル信号が少なくとも2つのセグメントに分割され、時間領域ダウンミックス処理を実行するために各セグメントに異なる時間領域ダウンミックス処理方式が使用されると理解され得る。セグメント化されていない時間領域ダウンミックス処理と比較して、セグメント化された時間領域ダウンミックス処理は、隣接フレームのチャネル結合スキームが変化したときに、より良好で円滑な移行を取得する可能性が高いことが理解されよう。
上述の解決策では、現在のフレームのチャネル結合スキームを判定する必要があり、このことは、現在のフレームのチャネル結合スキームには複数の可能性があることを示していることが理解されよう。チャネル結合スキームが1つしかない従来の解決策と比較して、複数の可能なチャネル結合スキームを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。加えて、現在のフレームのチャネル結合スキームと前のフレームのチャネル結合スキームとが異なる場合、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域ダウンミックス処理を実行するメカニズムが導入される。セグメント化された時間領域ダウンミックス処理メカニズムは、チャネル結合スキームの円滑な移行の実施を助け、符号化品質の向上をさらに助ける。
加えて、略非同相信号に対応するチャネル結合スキームが導入されているため、現在のフレームのステレオ信号が略非同相信号である場合、よりターゲットを絞ったチャネル結合スキームおよび符号化モードがあり、このことが符号化品質を改善するのに役立つ。
例えば、前のフレームのチャネル結合スキームは、相関信号チャネル結合スキームまたは反相関信号チャネル結合スキームであり得る。現在のフレームのチャネル結合スキームは、相関信号チャネル結合スキームまたは反相関信号チャネル結合スキームであり得る。したがって、現在のフレームのチャネル結合スキームと前のフレームのチャネル結合スキームとが異なる場合がいくつかあり得る。
具体的には、例えば、前のフレームのチャネル結合スキームが相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、現在のフレームの左右のチャネル信号が、左右のチャネル信号の開始セグメント、左右のチャネル信号の中間セグメント、および左右のチャネル信号の終了セグメントを含み、現在のフレームのプライマリおよびセカンダリチャネル信号が、プライマリおよびセカンダリチャネル信号の開始セグメント、プライマリおよびセカンダリチャネル信号の中間セグメント、プライマリおよびセカンダリチャネル信号の終了セグメントを含む。この場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域ダウンミックス処理を実行することは、
現在のフレームのプライマリおよびセカンダリチャネル信号の開始セグメントを取得するために、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の開始セグメントに対して時間領域ダウンミックス処理を実行することと、
現在のフレームのプライマリおよびセカンダリチャネル信号の終了セグメントを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の終了セグメントに対して時間領域ダウンミックス処理を実行することと、
プライマリおよびセカンダリチャネル信号の第1の中間セグメントを取得するために、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の中間セグメントに対して時間領域ダウンミックス処理を実行することと、プライマリおよびセカンダリチャネル信号の第2の中間セグメントを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の中間セグメントに対して時間領域ダウンミックス処理を実行することと、現在のフレームのプライマリおよびセカンダリチャネル信号の中間セグメントを取得するために、プライマリおよびセカンダリチャネル信号の第1の中間セグメントおよびプライマリおよびセカンダリチャネル信号の第2の中間セグメントに対して加重総和処理を実行することとを含み得る。
現在のフレームの左右のチャネル信号の開始セグメント、左右のチャネル信号の中間セグメント、および左右のチャネル信号の終了セグメントの長さは、要件に基づいて設定され得る。現在のフレームの左右のチャネル信号の開始セグメント、左右のチャネル信号の中間セグメント、および左右のチャネル信号の終了セグメントの長さは、同じであっても部分的に同じであっても互いに異なっていてもよい。
現在のフレームのプライマリおよびセカンダリチャネル信号の開始セグメント、プライマリおよびセカンダリチャネル信号の中間セグメント、およびプライマリおよびセカンダリチャネル信号の終了セグメントの長さは、要件に基づいて設定され得る。現在のフレームのプライマリおよびセカンダリチャネル信号の開始セグメント、プライマリおよびセカンダリチャネル信号の中間セグメント、およびプライマリおよびセカンダリチャネル信号の終了セグメントの長さは、同じであっても部分的に同じであっても互いに異なっていてもよい。
加重総和処理がプライマリおよびセカンダリチャネル信号の第1の中間セグメントならびにプライマリおよびセカンダリチャネル信号の第2の中間セグメントに対して実行される場合、プライマリおよびセカンダリチャネル信号の第1の中間セグメントに対応する重み係数はプライマリおよびセカンダリチャネル信号の第2の中間セグメントに対応する重み係数に等しくても等しくなくてもよい。
例えば、加重総和処理がプライマリおよびセカンダリチャネル信号の第1の中間セグメントならびにプライマリおよびセカンダリチャネル信号の第2の中間セグメントに対して実行される場合、プライマリおよびセカンダリチャネル信号の第1の中間セグメントに対応する重み係数はフェードアウト係数であり、プライマリおよびセカンダリチャネル信号の第2の中間セグメントに対応する重み係数はフェードイン係数である。
いくつかの可能な実装形態では、
であり、ここで
x11(n)は現在のフレームのプライマリチャネル信号の開始セグメントを示し、Y11(n)は現在のフレームのセカンダリチャネル信号の開始セグメントを示し、X31(n)は現在のフレームのプライマリチャネル信号の終了セグメントを示し、Y31(n)は現在のフレームのセカンダリチャネル信号の終了セグメントを示し、X21(n)は現在のフレームのプライマリチャネル信号の中間セグメントを示し、Y21(n)は現在のフレームのセカンダリチャネル信号の中間セグメントを示し、
X(n)は、現在のフレームのプライマリチャネル信号を示し、
Y(n)は、現在のフレームのセカンダリチャネル信号を示す。
例えば、
である。
例えば、fade_in(n)はフェードイン係数を示し、fade_out(n)はフェードアウト係数を示す。例えば、fade_in(n)とfade_out(n)との和は1である。
具体的には、例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。
ここで、nはサンプリング点番号を示す。n=0,1,・・・,N−1かつ0<N1<N2<N−1である。
例えば、N1は100、107、120、150、または別の値に等しい。
例えば、N2は180、187、200、203、または別の値に等しい。
ここで、X211(n)は現在のフレームのプライマリチャネル信号の第1の中間セグメントを示し、Y211(n)は現在のフレームのセカンダリチャネル信号の第1の中間セグメントを示す。X212(n)は現在のフレームのプライマリチャネル信号の第2の中間セグメントを示し、Y212(n)は現在のフレームのセカンダリチャネル信号の第2の中間セグメントを示す。
いくつかの可能な実装形態では、
であり、ここで
XL(n)は現在のフレームの左チャネル信号を示し、XR(n)は現在のフレームの右チャネル信号を示し、
M11は前のフレームの相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M11は前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成され、M22は現在のフレームの反相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M22は現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
M22は複数の可能な形式を有することができ、具体的には、例えば、
であり、ここで
α1=ratio_SM、α2=1−ratio_SMである。ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
M11は複数の可能な形式を有することができ、具体的には、例えば、
であり、ここで
tdm_last_ratioは、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
具体的には、別の例では、前のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームの左右のチャネル信号が、左右のチャネル信号の開始セグメント、左右のチャネル信号の中間セグメント、および左右のチャネル信号の終了セグメントを含み、現在のフレームのプライマリおよびセカンダリチャネル信号が、プライマリおよびセカンダリチャネル信号の開始セグメント、プライマリおよびセカンダリチャネル信号の中間セグメント、プライマリおよびセカンダリチャネル信号の終了セグメントを含む。この場合、現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域ダウンミックス処理を実行することは、
現在のフレームのプライマリおよびセカンダリチャネル信号の開始セグメントを取得するために、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の開始セグメントに対して時間領域ダウンミックス処理を実行することと、
現在のフレームのプライマリおよびセカンダリチャネル信号の終了セグメントを取得するために、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の終了セグメントに対して時間領域ダウンミックス処理を実行することと、
プライマリおよびセカンダリチャネル信号の第3の中間セグメントを取得するために、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の中間セグメントに対して時間領域ダウンミックス処理を実行することと、プライマリおよびセカンダリチャネル信号の第4の中間セグメントを取得するために、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの相関信号チャネル結合スキームに対応する時間領域ダウンミックス処理方式を使用することにより、現在のフレームの左右のチャネル信号の中間セグメントに対して時間領域ダウンミックス処理を実行することと、現在のフレームのプライマリおよびセカンダリチャネル信号の中間セグメントを取得するために、プライマリおよびセカンダリチャネル信号の第3の中間セグメントならびにプライマリおよびセカンダリチャネル信号の第4の中間セグメントに対して加重総和処理を実行することとを含み得る。
加重総和処理がプライマリおよびセカンダリチャネル信号の第3の中間セグメントならびにプライマリおよびセカンダリチャネル信号の第4の中間セグメントに対して実行される場合、プライマリおよびセカンダリチャネル信号の第3の中間セグメントに対応する重み係数はプライマリおよびセカンダリチャネル信号の第4の中間セグメントに対応する重み係数に等しくても等しくなくてもよい。
例えば、加重総和処理がプライマリおよびセカンダリチャネル信号の第3の中間セグメントならびにプライマリおよびセカンダリチャネル信号の第4の中間セグメントに対して実行される場合、プライマリおよびセカンダリチャネル信号の第3の中間セグメントに対応する重み係数はフェードアウト係数であり、プライマリおよびセカンダリチャネル信号の第4の中間セグメントに対応する重み係数はフェードイン係数である。
いくつかの可能な実装形態では、
であり、ここで
X12(n)は現在のフレームのプライマリチャネル信号の開始セグメントを示し、Y12(n)は現在のフレームのセカンダリチャネル信号の開始セグメントを示し、X32(n)は現在のフレームのプライマリチャネル信号の終了セグメントを示し、Y32(n)は現在のフレームのセカンダリチャネル信号の終了セグメントを示し、X22(n)は現在のフレームのプライマリチャネル信号の中間セグメントを示し、Y22(n)は現在のフレームのセカンダリチャネル信号の中間セグメントを示し、
X(n)は、現在のフレームのプライマリチャネル信号を示し、
Y(n)は、現在のフレームのセカンダリチャネル信号を示す。
例えば、
であり、ここで
fade_in(n)はフェードイン係数を示し、fade_out(n)はフェードアウト係数を示し、fade_in(n)とfade_out(n)との和は1である。
具体的には、例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。
ここで、nはサンプリング点番号を示す。例えば、n=0,1,・・・,N−1である。
ここで、0<N3<N4<N−1である。
例えば、N3は101、107、120、150、または別の値に等しい。
例えば、N4は181、187、200、205、または別の値に等しい。
X221(n)は現在のフレームのプライマリチャネル信号の第3の中間セグメントを示し、Y221(n)は現在のフレームのセカンダリチャネル信号の第3の中間セグメントを示す。X222(n)は現在のフレームのプライマリチャネル信号の第4の中間セグメントを示し、Y222(n)は現在のフレームのセカンダリチャネル信号の第4の中間セグメントを示す。
いくつかの可能な実装形態では、
であり、ここで
XL(n)は現在のフレームの左チャネル信号を示し、XR(n)は現在のフレームの右チャネル信号を示す。
M12は、前のフレームの反相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M12は、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。M21は、現在のフレームの相関信号チャネル結合スキームに対応するダウンミックス行列を示し、M21は、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
M12は複数の可能な形式を有することができ、具体的には、例えば、
であり、ここで
α1_pre=tdm_last_ratio_SM、α2_pre=1−tdm_last_ratio_SMである。
tdm_last_ratio_SMは、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
M21は、複数の可能な形式を有することができ、具体的には、例えば、
であり、ここで
ratioは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
いくつかの可能な実装形態では、現在のフレームの左右のチャネル信号は、例えば、現在のフレームの元からの左右のチャネル信号であってもよいし、時間領域の前処理を受けた左右のチャネル信号であってもよいし、遅延アライメント処理を受けた左右のチャネル信号であってもよい。
具体的には、例えば、
であり、ここで
xL(n)は現在のフレームの元からの左チャネル信号を示し(元からの左チャネル信号は時間領域の前処理を受けていない左チャネル信号である)、xR(n)は現在のフレームの元からの右チャネル信号を示し(元からの右チャネル信号は時間領域の前処理を受けていない右チャネル信号である)、
xL_HP(n)は現在のフレームの時間領域の前処理を受けた左チャネル信号を示し、xR_HP(n)は現在のフレームの時間領域の前処理を受けた右チャネル信号を示し、x’L(n)は現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、x’R(n)は現在のフレームの遅延アライメント処理を受けた右チャネル信号を示す。
上述の例のセグメント化された時間領域ダウンミックス処理方式は、すべての可能な実装形態であるとは限らず、実際のアプリケーションでは、別のセグメント化された時間領域ダウンミックス処理方式も使用され得ることが理解されよう。
対応して、以下、相関から反相関に信号復号を切り替えるモードおよび反相関から反相関に信号復号を切り替えるモードのシナリオを説明するために例を使用する。相関から反相関に信号復号を切り替えるモードおよび反相関から反相関に信号復号を切り替えるモードに対応する時間領域ダウンミックス処理方式は、例えば、セグメント化された時間領域ダウンミックス処理方式である。
図7を参照すると、本出願の一実施形態は、オーディオ復号方法を提供する。オーディオ復号方法の関連するステップは、復号装置によって実施されてもよく、本方法は以下のステップを特に含み得る。
701.現在のフレームの復号されたプライマリおよびセカンダリチャネル信号を取得するために、ビットストリームに基づいて復号を実行する。
702.現在のフレームのチャネル結合スキームを判定する。
ステップ701およびステップ702を実行するための限定された順番はないことが理解されよう。
703.現在のフレームのチャネル結合スキームが前のフレームのチャネル結合スキームとは異なる場合、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対してセグメント化された時間領域アップミックス処理が実行される。
現在のフレームのチャネル結合スキームは、複数のチャネル結合スキームのうちの1つである。
例えば、複数のチャネル結合スキームは、反相関信号チャネル結合スキームおよび相関信号チャネル結合スキームを含む。相関信号チャネル結合スキームは、略同相信号に対応するチャネル結合スキームである。反相関信号チャネル結合スキームは、略非同相信号に対応するチャネル結合スキームである。略同相信号に対応するチャネル結合スキームは略同相信号に適用可能であり、略非同相信号に対応するチャネル結合スキームは略非同相信号に適用可能であることが理解されよう。
セグメント化された時間領域アップミックス処理は、現在のフレームの左右のチャネル信号が少なくとも2つのセグメントに分割され、時間領域アップミックス処理を実行するために各セグメントに異なる時間領域アップミックス処理方式が使用されると理解され得る。セグメント化されていない時間領域アップミックス処理と比較して、セグメント化された時間領域アップミックス処理は、隣接するフレームのチャネル結合スキームが変化したときに、より良好で円滑な移行を取得する可能性が高いことが理解されよう。
上述の解決策では、現在のフレームのチャネル結合スキームを判定する必要があり、このことは、現在のフレームのチャネル結合スキームには複数の可能性があることを示していることが理解されよう。チャネル結合スキームが1つしかない従来の解決策と比較して、複数の可能なチャネル結合スキームを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。加えて、現在のフレームのチャネル結合スキームと前のフレームのチャネル結合スキームとが異なる場合、現在のフレームの左右のチャネル信号に対してセグメント化された時間領域アップミックス処理を実行するメカニズムが導入される。セグメント化された時間領域アップミックス処理メカニズムは、チャネル結合スキームの円滑な移行の実施を助け、符号化品質の向上をさらに助ける。
加えて、略非同相信号に対応するチャネル結合スキームが導入されているため、現在のフレームのステレオ信号が略非同相信号である場合、よりターゲットを絞ったチャネル結合スキームおよび符号化モードがあり、このことが符号化品質を改善するのに役立つ。
例えば、前のフレームのチャネル結合スキームは、相関信号チャネル結合スキームまたは反相関信号チャネル結合スキームであり得る。現在のフレームのチャネル結合スキームは、相関信号チャネル結合スキームまたは反相関信号チャネル結合スキームであり得る。したがって、現在のフレームのチャネル結合スキームと前のフレームのチャネル結合スキームとが異なる場合がいくつかあり得る。
具体的には、例えば、前のフレームのチャネル結合スキームは、相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームは反相関信号チャネル結合スキームである。現在のフレームの再構成された左右のチャネル信号は、再構成された左右のチャネル信号の開始セグメント、再構成された左右のチャネル信号の中間セグメント、および再構成された左右のチャネル信号の終了セグメントを含む。現在のフレームの復号されたプライマリおよびセカンダリチャネル信号は、復号されたプライマリおよびセカンダリチャネル信号の開始セグメント、復号されたプライマリおよびセカンダリチャネル信号の中間セグメント、復号されたプライマリおよびセカンダリチャネル信号の終了セグメントを含む。この場合、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対してセグメント化された時間領域アップミックス処理を実行することは、現在のフレームの再構成された左右のチャネル信号の開始セグメントを取得するために、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の開始セグメントに対して時間領域アップミックス処理を実行することと、
現在のフレームの再構成された左右のチャネル信号の終了セグメントを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの反相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の終了セグメントに対して時間領域アップミックス処理を実行することと、
再構成された左右のチャネル信号の第1の中間セグメントを取得するために、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の中間セグメントに対して時間領域アップミックス処理を実行することと、再構成された左右のチャネル信号の第2の中間セグメントを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの反相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の中間セグメントに対して時間領域ダウンミックス処理を実行することと、現在のフレームの再構成された左右のチャネル信号の中間セグメントを取得するために、再構成された左右のチャネル信号の第1の中間セグメントおよび再構成された左右のチャネル信号の第2の中間セグメントに対して加重総和処理を実行することとを含む。
現在のフレームの再構成された左右のチャネル信号の開始セグメント、再構成された左右のチャネル信号の中間セグメント、および再構成された左右のチャネル信号の終了セグメントの長さは、要件に基づいて設定され得る。現在のフレームの再構成された左右のチャネル信号の開始セグメント、再構成された左右のチャネル信号の中間セグメント、および再構成された左右のチャネル信号の終了セグメントの長さは、同じであっても部分的に同じであっても互いに異なっていてもよい。
現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の開始セグメント、復号されたプライマリおよびセカンダリチャネル信号の中間セグメント、および復号されたプライマリおよびセカンダリチャネル信号の終了セグメントの長さは、要件に基づいて設定され得る。現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の開始セグメント、復号されたプライマリおよびセカンダリチャネル信号の中間セグメント、および復号されたプライマリおよびセカンダリチャネル信号の終了セグメントの長さは、同じであっても部分的に同じであっても互いに異なっていてもよい。
再構成された左右のチャネル信号は、復号された左右のチャネル信号であってもよいし、復号された左右のチャネル信号を取得するために、遅延調整処理および/または時間領域の後処理が再構成された左右のチャネル信号に対して実行されてもよい。
加重総和処理が再構成された左右のチャネル信号の第1の中間セグメントおよび再構成された左右のチャネル信号の第2の中間セグメントに対して実行される場合、再構成された左右のチャネル信号の第1の中間セグメントに対応する重み係数は再構成された左右のチャネル信号の第2の中間セグメントに対応する重み係数に等しくても等しくなくてもよい。
例えば、加重総和処理が再構成された左右のチャネル信号の第1の中間セグメントおよび再構成された左右のチャネル信号の第2の中間セグメントに対して実行される場合、再構成された左右のチャネル信号の第1の中間セグメントに対応する重み係数はフェードアウト係数であり、再構成された左右のチャネル信号の第2の中間セグメントに対応する重み係数はフェードイン係数である。
いくつかの可能な実装形態では、
であり、ここで
は現在のフレームの再構成された左チャネル信号の開始セグメントを示し、
は現在のフレームの再構成された右チャネル信号の開始セグメントを示す。
は現在のフレームの再構成された左チャネル信号の終了セグメントを示し、
は現在のフレームの再構成された右チャネル信号の終了セグメントを示す。
は現在のフレームの再構成された左チャネル信号の中間セグメントを示し、
は現在のフレームの再構成された右チャネル信号の中間セグメントを示し、
は現在のフレームの再構成された左チャネル信号を示し、
は現在のフレームの再構成された右チャネル信号を示す。
例えば、
である。
例えば、fade_in(n)はフェードイン係数を示し、fade_out(n)はフェードアウト係数を示す。例えば、fade_in(n)とfade_out(n)との和は1である。
具体的には、例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。
ここで、nはサンプリング点番号を示し、n=0,1,・・・,N−1である。ここで、0<N1<N2<N−1である。
は現在のフレームの再構成された左チャネル信号の第1の中間セグメントを示し、
は現在のフレームの再構成された右チャネル信号の第1の中間セグメントを示す。
は現在のフレームの再構成された左チャネル信号の第2の中間セグメントを示し、
は現在のフレームの再構成された右チャネル信号の第2の中間セグメントを示す。
いくつかの可能な実装形態では、
であり、ここで
は現在のフレームの復号されたプライマリチャネル信号を示し、
は現在のフレームの復号されたセカンダリチャネル信号を示し、
は前のフレームの相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成され、
は現在のフレームの反相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
は複数の可能な形式を有することができ、具体的には、例えば、
であり、ここで
α1=ratio_SM、α2=1−ratio_SMである。ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
は複数の可能な形式を有することができ、具体的には、例えば、
である。
ここで、tdm_last_ratioは、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
具体的には、別の例では、前のフレームのチャネル結合スキームは、反相関信号チャネル結合スキームであり、現在のフレームのチャネル結合スキームは相関信号チャネル結合スキームである。現在のフレームの再構成された左右のチャネル信号は、再構成された左右のチャネル信号の開始セグメント、再構成された左右のチャネル信号の中間セグメント、および再構成された左右のチャネル信号の終了セグメントを含む。現在のフレームの復号されたプライマリおよびセカンダリチャネル信号は、復号されたプライマリおよびセカンダリチャネル信号の開始セグメント、復号されたプライマリおよびセカンダリチャネル信号の中間セグメント、復号されたプライマリおよびセカンダリチャネル信号の終了セグメントを含む。この場合、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対してセグメント化された時間領域アップミックス処理を実行することは、
現在のフレームの再構成された左右のチャネル信号の開始セグメントを取得するために、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の開始セグメントに対して時間領域アップミックス処理を実行することと、
現在のフレームの再構成された左右のチャネル信号の終了セグメントを取得するために、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の終了セグメントに対して時間領域アップミックス処理を実行することと、
再構成された左右のチャネル信号の第3の中間セグメントを取得するために、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および前のフレームの反相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の中間セグメントに対して時間領域アップミックス処理を実行することと、再構成された左右のチャネル信号の第4の中間セグメントを取得するために、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数および現在のフレームの相関信号チャネル結合スキームに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号の中間セグメントに対して時間領域ダウンミックス処理を実行することと、現在のフレームの再構成された左右のチャネル信号の中間セグメントを取得するために、再構成された左右のチャネル信号の第3の中間セグメントおよび再構成された左右のチャネル信号の第4の中間セグメントに対して加重総和処理を実行することとを含む。
加重総和処理が再構成された左右のチャネル信号の第3の中間セグメントおよび再構成された左右のチャネル信号の第4の中間セグメントに対して実行される場合、再構成された左右のチャネル信号の第3の中間セグメントに対応する重み係数は再構成された左右のチャネル信号の第4の中間セグメントに対応する重み係数に等しくても等しくなくてもよい。
例えば、加重総和処理が再構成された左右のチャネル信号の第3の中間セグメントおよび再構成された左右のチャネル信号の第4の中間セグメントに対して実行される場合、再構成された左右のチャネル信号の第3の中間セグメントに対応する重み係数はフェードアウト係数であり、再構成された左右のチャネル信号の第4の中間セグメントに対応する重み係数はフェードイン係数である。
いくつかの可能な実装形態では、
であり、ここで
は現在のフレームの再構成された左チャネル信号の開始セグメントを示し、
は現在のフレームの再構成された右チャネル信号の開始セグメントを示し、
は現在のフレームの再構成された左チャネル信号の終了セグメントを示し、
は現在のフレームの再構成された右チャネル信号の終了セグメントを示し、
は現在のフレームの再構成された左チャネル信号の中間セグメントを示し、
は現在のフレームの再構成された右チャネル信号の中間セグメントを示し、
は現在のフレームの再構成された左チャネル信号を示し、
は現在のフレームの再構成された右チャネル信号を示す。
例えば、
である。
fade_in(n)はフェードイン係数を示し、fade_out(n)はフェードアウト係数を示し、fade_in(n)とfade_out(n)との和は1である。
具体的には、例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。
ここで、nはサンプリング点番号を示す。例えば、n=0,1,・・・,N−1である。
ここで、0<N3<N4<N−1である。
例えば、N3は101、107、120、150、または別の値に等しい。
例えば、N4は181、187、200、205、または別の値に等しい。
は現在のフレームの再構成された左チャネル信号の第3の中間セグメントを示し、
は現在のフレームの再構成された右チャネル信号の第3の中間セグメントを示す。
は現在のフレームの再構成された左チャネル信号の第4の中間セグメントを示し、
は現在のフレームの再構成された右チャネル信号の第4の中間セグメントを示す。
いくつかの可能な実装形態では、
であり、ここで
は現在のフレームの復号されたプライマリチャネル信号を示し、
は現在のフレームの復号されたセカンダリチャネル信号を示す。
は前のフレームの反相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成され、
は現在のフレームの相関信号チャネル結合スキームに対応するアップミックス行列を示し、
は現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて構成される。
は複数の形式を有することができ、詳細は次のとおりである、すなわち、
であり、ここで
α1_pre=tdm_last_ratio_SM、α2_pre=1−tdm_last_ratio_SMである。
tdm_last_ratio_SMは、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
は複数の可能な形式を有することができ、具体的には、例えば、
であり、ここで
ratioは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
本出願の本実施形態では、現在のフレームのステレオパラメータ(例えば、チャネル結合比係数および/またはチャネル間時間差分)は固定値であってもよいし、現在のフレームのチャネル結合スキームに基づいて判定されてもよい(例えば、相関信号チャネル結合スキームまたは反相関信号チャネル結合スキーム)。
図8を参照すると、以下、時間領域ステレオパラメータ判定方法を説明するために例を使用する。時間領域ステレオパラメータ判定方法の関連するステップは、符号化装置によって実施されてもよく、本方法は以下のステップを特に含み得る。
801.現在のフレームのチャネル結合スキームを判定する。
802.現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定し、時間領域ステレオパラメータがチャネル結合比係数およびチャネル間時間差分のうちの少なくとも一方を含む。
現在のフレームのチャネル結合スキームは、複数のチャネル結合スキームのうちの1つである。
例えば、複数のチャネル結合スキームは、反相関信号チャネル結合スキームおよび相関信号チャネル結合スキームを含む。
相関信号チャネル結合スキームは、略同相信号に対応するチャネル結合スキームである。反相関信号チャネル結合スキームは、略非同相信号に対応するチャネル結合スキームである。略同相信号に対応するチャネル結合スキームは略同相信号に適用可能であり、略非同相信号に対応するチャネル結合スキームは略非同相信号に適用可能であることが理解されよう。
現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである、または現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである。
上述の解決策では、現在のフレームのチャネル結合スキームを判定する必要があり、このことは、現在のフレームのチャネル結合スキームには複数の可能性があることを示していることが理解されよう。チャネル結合スキームが1つしかない従来の解決策と比較して、複数の可能なチャネル結合スキームを有する本解決策は、複数の可能なシナリオとよりよく適合し、一致することができる。現在のフレームの時間領域ステレオパラメータは現在のフレームのチャネル結合スキームに基づいて判定されるため、時間領域ステレオパラメータは、複数の可能なシナリオとよりよく適合し、一致することができ、符号化および復号の品質がさらに改善され得る。
いくつかの可能な実装形態では、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数と、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数とが最初に別々に計算され得る。次に、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであると判定される、または現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであると判定される。あるいは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが最初に計算されてもよく、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであると判定される、または現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが計算され、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが、現在のフレームの時間領域ステレオパラメータとして判定される。
あるいは、現在のフレームのチャネル結合スキームが最初に判定されてもよい。現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームであると判定された場合、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが計算され、現在のフレームの時間領域ステレオパラメータは、現在のフレームの相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである、または現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームであると判定された場合、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータが計算され、現在のフレームの時間領域ステレオパラメータは、現在のフレームの反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである。
いくつかの可能な実装形態では、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップが、現在のフレームのチャネル結合スキームに基づいて、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の初期値を判定するステップを含む。現在のフレームのチャネル結合スキーム(相関信号チャネル結合スキームまたは反相関信号チャネル結合スキーム)に対応するチャネル結合比係数の初期値を変更する必要がない場合、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数は、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の初期値に等しい。現在のフレームのチャネル結合スキーム(相関信号チャネル結合スキームまたは反相関信号チャネル結合スキーム)に対応するチャネル結合比係数の初期値を変更する必要がある場合、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の変更値を取得するために、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の初期値が変更され、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数は、現在のフレームのチャネル結合スキームに対応するチャネル結合比係数の変更値に等しい。
例えば、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップは、現在のフレームの左チャネル信号に基づいて現在のフレームの左チャネル信号のフレームエネルギーを計算するステップと、現在のフレームの右チャネル信号に基づいて現在のフレームの右チャネル信号のフレームエネルギーを計算するステップと、現在のフレームの左チャネル信号のフレームエネルギーおよび現在のフレームの右チャネル信号のフレームエネルギーに基づいて、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を計算するステップとを含み得る。
現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がない場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数が、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に等しく、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値の符号化されたインデックスに等しい。
現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がある場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値および変更値の符号化されたインデックスを取得するために、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値および初期値の符号化されたインデックスが変更される。現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数は、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値に等しく、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値の符号化されたインデックスに等しい。
具体的には、例えば、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値および初期値の符号化されたインデックスが変更されると、
ratio_idx_mod=0.5*(tdm_last_ratio_idx+16)であり、
ratio_modqua=ratio_tabl[ratio_idx_mod]であり、
tdm_last_ratio_idxは、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスを示し、ratio_idx_modは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値に対応する符号化されたインデックスを示し、ratio_modquaは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値を示す。
別の例として、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップは、現在のフレーム左チャネル信号および右チャネル信号に基づいて現在のフレームの参照チャネル信号を取得するステップと、現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータを計算するステップと、現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータを計算するステップと、現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータを計算するステップと、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するステップとを含む。
現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するステップは、例えば、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を計算するステップと、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更するステップとを含み得る。現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がない場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に等しいことが理解されよう。
いくつかの可能な実装形態では、
であり、
mono_i(n)は、現在のフレームの参照チャネル信号を示し、
x’L(n)は現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、x’R(n)は現在のフレームの遅延アライメント処理を受けた右チャネル信号を示し、corr_LMは現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータを示し、corr_RMは、現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータを示す。
いくつかの可能な実装形態では、現在のフレームの左チャネル信号と参照チャネル信号との間の振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータを計算するステップが、現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するステップと、現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するステップと、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータに基づいて、現在のフレームの左右のチャネル間の振幅相関差分パラメータを計算するステップとを含む。
様々な平滑化方式があり、例えば、
tdm_lt_corr_LM_SMcur=α*tdm_lt_corr_LM_SMpre+(1−α)corr_LMであり、
tdm_lt_rms_L_SMcur=(1−A)*tdm_lt_rms_L_SMpre+A*rms_Lであり、Aは現在のフレームの左チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_L_SMcurは現在のフレームの左チャネル信号の長時間平滑化フレームエネルギーを示し、rms_Lは現在のフレームの左チャネル信号のフレームエネルギーを示し、tdm_lt_corr_LM_SMcurは現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_LM_SMpreは前のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、αは左チャネル平滑化係数を示す。
例えば、
tdm_lt_corr_RM_SMcur=β*tdm_lt_corr_RM_SMpre+(1−β)corr_LMであり、
tdm_lt_rms_R_SMcur=(1−B)*tdm_lt_rms_R_SMpre+B*rms_Rであり、Bは現在のフレームの右チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_R_SMpreは現在のフレームの右チャネル信号の長時間平滑化フレームエネルギーを示し、rms_Rは現在のフレームの右チャネル信号のフレームエネルギーを示し、tdm_lt_corr_RM_SMcurは現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMpreは前のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、βは右チャネル平滑化係数を示す。
いくつかの可能な実装形態では、
diff_lt_corr=tdm_lt_corr_LM_SM−tdm_lt_corr_RM_SMであり、ここで
tdm_lt_corr_LM_SMは、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMは、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、diff_lt_corrは、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータを示す。
いくつかの可能な実装形態では、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに基づいて、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するステップが、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの値の範囲が[MAP_MIN,MAP_MAX]となり得るように、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに対してマッピング処理を実行するステップと、左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータをチャネル結合比係数に変換するステップとを含む。
いくつかの可能な実装形態では、現在のフレームの左右のチャネル間の振幅相関差分パラメータのマッピング処理を実行するステップが、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータに対して振幅制限を実行するステップと、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータに対してマッピング処理を実行するステップとを含む。
様々な振幅制限方式があり得、具体的には、例えば、
であり、ここで
RATIO_MAXは、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_MINは、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータの最小値を示し、RATIO_MAX>RATIO_MINである。
様々なマッピング処理方式があり得、具体的には、例えば、
であり、
diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、
MAP_MAXは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最大値を示し、MAP_HIGHは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの高閾値を示し、MAP_LOWは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの低閾値を示し、MAP_MINは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最小値を示し、
MAP_MAX>MAP_HIGH>MAP_LOW>MAP_MINであり、
RATIO_MAXは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_HIGHは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの高閾値を示し、RATIO_LOWは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの低閾値を示し、RATIO_MINは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最小値を示し、
RATIO_MAX>RATIO_HIGH>RATIO_LOW>RATIO_MINである。
別の例として、
であり、ここで
diff_lt_corr_limitは、現在のフレームの左右のチャネル信号間の振幅制限された振幅相関差分パラメータを示し、diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、
であり、
RATIO_MAXは、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータの最大振幅を示し、−RATIO_MAXは、現在のフレームの左右のチャネル信号間の振幅相関差分パラメータの最小振幅を示す。
いくつかの可能な実装形態では、
であり、ここで
diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す、またはratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を示す。
本出願のいくつかの実装形態では、チャネル結合比係数が変更される必要があるシナリオでは、チャネル結合比係数が符号化される前または後に変更が実行され得る。具体的には、例えば、現在のフレームのチャネル結合比係数の初期値(例えば、反相関信号チャネル結合スキームに対応するチャネル結合比係数、または相関信号チャネル結合スキームに対応するチャネル結合比係数)は、計算により最初に取得され、次に、チャネル結合比係数の初期値は、現在のフレームのチャネル結合比係数の初期符号化されたインデックスを取得するために符号化され、現在のフレームのチャネル結合比係数の取得された初期符号化されたインデックスは、現在のフレームのチャネル結合比係数の符号化されたインデックスを取得するために変更され得る(現在のフレームのチャネル結合比係数の符号化されたインデックスを取得することは、現在のフレームのチャネル結合比係数を取得することに等しい)。あるいは、現在のフレームのチャネル結合比係数の初期値が計算により最初に取得され、次に計算により取得された現在のフレームのチャネル結合比係数の初期値が、現在のフレームのチャネル結合比係数を取得するために変更され、現在のフレームの取得されたチャネル結合比係数が、現在のフレームのチャネル結合比係数の符号化されたインデックス係数を取得するために符号化される。
現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する様々な方式がある。例えば、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がある場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値は、前のフレームのチャネル結合比係数および現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に基づいて変更され得る、または現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に基づいて変更され得る。
例えば、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要があるか否かが、現在のフレームの左チャネル信号の長時間平滑化フレームエネルギー、現在のフレームの右チャネル信号の長時間平滑化フレームエネルギー、現在のフレーム内の左チャネル信号のフレーム間エネルギー差分、履歴バッファ内の前のフレームのバッファされた符号化パラメータ(例えば、プライマリチャネル信号のフレーム間相関およびセカンダリチャネル信号のフレーム間相関)、現在のフレームおよび前のフレームのチャネル結合スキームフラグ、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数、ならびに現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に基づいて、最初に判定される。変更する必要がある場合、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数として使用され、変更する必要がない場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数として使用される。
当然のことながら、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する特定の実装形態は、上述の例に限定されない。
803.現在のフレームの判定された時間領域ステレオパラメータを符号化する。
いくつかの可能な実装形態では、現在のフレームの反相関信号チャネル結合スキームに対応する判定されたチャネル結合比係数に対して量子化符号化が実行され、
ratio_init_SMqua=ratio_tabl_SM[ratio_idx_init_SM]であり、ここで
ratio_tabl_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に対してスカラー量子化を実行するためのコードブックを示し、ratio_idx_init_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスを示し、ratio_init_SMquaは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の量子化符号化された初期値を示す。
いくつかの可能な実装形態では、
ratio_idx_SM=ratio_idx_init_SMであり、
ratio_SM=ratio_tabl[ratio_idx_SM]であり、ここで
ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示し、ratio_idx_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスを示す、または
ratio_idx_SM=φ*ratio_idx_init_SM+(1−φ)*tdm_last_ratio_idx_SMであり、
ratio_SM=ratio_tabl[ratio_idx_SM]であり、ここで
ratio_idx_init_SMは、現在のフレームの反相関信号チャネル結合スキームに対応する初期符号化されたインデックスを示し、tdm_last_ratio_idx_SMは、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の最終符号化されたインデックスを示し、φは、反相関信号チャネル結合スキームに対応するチャネル結合比係数の変更係数であり、ratio_SMは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を示す。
いくつかの可能な実装形態では、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がある場合、量子化符号化が、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に対して最初に実行され、次に、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスは、前のフレームのチャネル結合比係数の符号化されたインデックスおよび現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスに基づいて変更され得る、または現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスに基づいて変更され得る。
例えば、量子化符号化が、現在のフレームの反相関信号チャネル結合スキームに対応する初期符号化されたインデックスを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に対して最初に実行され得る。次に、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を変更する必要がある場合、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスが、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスとして使用され、変更する必要がない場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスとして使用される。最後に、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスに対応する量子化符号化された値が、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数として使用される。
加えて、時間領域ステレオパラメータがチャネル間時間差分を含む場合、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップは、現在のフレームのチャネル結合スキームが相関信号チャネル結合スキームである場合、現在のフレームのチャネル間時間差分を計算するステップを含み得る。加えて、計算によって取得された現在のフレームのチャネル間時間差分は、ビットストリームに書き込まれ得る。現在のフレームのチャネル結合スキームが反相関信号チャネル結合スキームである場合、デフォルトのチャネル間時間差分(例えば、0)が現在のフレームのチャネル間時間差分として使用される。加えて、デフォルトのチャネル間時間差分はビットストリームに書き込まれなくてもよく、復号装置もデフォルトのチャネル間時間差分を使用する。
以下、例を使用することにより、時間領域ステレオパラメータ符号化方法をさらに提供する。本方法は、例えば、現在のフレームのチャネル結合スキームを判定するステップと、現在のフレームのチャネル結合スキームに基づいて現在のフレームの時間領域ステレオパラメータを判定するステップと、現在のフレームの判定された時間領域ステレオパラメータを符号化するステップであって、時間領域ステレオパラメータがチャネル結合比係数およびチャネル間時間差分のうちの少なくとも一方を含む、ステップとを含み得る。
対応して、復号装置は、ビットストリームから現在のフレームの時間領域ステレオパラメータを取得し、ビットストリームから取得された現在のフレームの時間領域ステレオパラメータに基づいて関連する復号をさらに実行し得る。
以下、より具体的なアプリケーションシナリオに関連して例を使用することにより説明を提供する。
図9−Aは、本出願の一実施形態によるオーディオ符号化方法の概略的な流れ図である。本出願の本実施形態で提供されるオーディオ符号化方法は、符号化装置によって実施されてもよく、本方法は以下のステップを特に含み得る。
901.現在のフレームの元からの左右のチャネル信号に対して時間領域の前処理を実行する。
例えば、ステレオオーディオ信号のサンプリングレートが16KHzであり、1つの信号フレームが20msであり、フレーム長はNとして示され、N=320の場合、フレーム長が320個のサンプリング点であることを示す。現在のフレームのステレオ信号は、現在のフレームの左チャネル信号と現在のフレームの右チャネル信号とを含む。現在のフレームの元からの左チャネル信号はxL(n)と示され、現在のフレームの元からの右チャネル信号はxR(n)と示され、nはサンプリング点番号であり、n=0,1,・・・,N−1である。
例えば、現在のフレームの元からの左右のチャネル信号に対して時間領域の前処理を実行することは、現在のフレームの時間領域の前処理を受けた左右のチャネル信号を取得するために、現在のフレームの元からの左右のチャネル信号に対してハイパスフィルタ処理を実行することであって、現在のフレームの時間領域の前処理を受けた左チャネル信号はxL_HP(n)として示され、現在のフレームの時間領域の前処理を受けた右チャネル信号はxR_HP(n)として示される、ことを含み得る。ここで、nはサンプリング点番号であり、n=0,1,・・・,N−1である。ハイパスフィルタ処理で使用されるフィルタは、例えば、カットオフ周波数が20Hzの無限インパルス応答(英語:Infinite Impulse Response、略称IIR)フィルタであってもよいし、別の種類のフィルタであってもよい。
例えば、サンプリングレートが16KHzであり、かつカットオフ周波数が20Hzに対応するハイパスフィルタの伝達関数は、
であり得、ここで
b0=0.994461788958195、b1=−1.988923577916390、b2=0.994461788958195、a1=1.988892905899653、a2=−0.988954249933127であり、zはZ変換の変換係数である。
対応する時間領域フィルタの伝達関数は、次のように表現できる。
xL_HP(n)=b0*xL(n)+b1*xL(n−1)+b2*xL(n−2)−α1*xL_HP(n−1)−α2*xL_HP(n−2)
xR_HP(n)=b0*xR(n)+b1*xR(n−1)+b2*xR(n−2)−α1*xR_HP(n−1)−α2*xR_HP(n−2)
902.現在のフレームの遅延アライメント処理を受けた左右のチャネル信号を取得するために、現在のフレームの時間領域の前処理を受けた左右のチャネル信号に対して遅延アライメント処理を実行する。
遅延アライメント処理を受けた信号は、「遅延アライメントされた信号」と簡単に呼ばれ得る。例えば、遅延アライメント処理を受けた左チャネル信号は、「遅延アライメントされた左チャネル信号」と簡単に呼ばれ、遅延アライメント処理を受けた右チャネル信号は、「遅延アライメントされた左チャネル信号」と簡単に呼ばれ得る。
具体的には、現在のフレームの前処理された左右のチャネル信号に基づいてチャネル間遅延パラメータが抽出され、次いで符号化され、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号を取得するために、符号化されたチャネル間遅延パラメータに基づいて左右のチャネル信号に対して遅延アライメント処理が実行され得る。現在のフレームの遅延アライメント処理を受けた左チャネル信号はx’L(n)で示され、現在のフレームの遅延アライメント処理を受けた右チャネル信号はx’R(n)で示され、nはサンプリング点番号であり、n=0,1,・・・,N−1である。
具体的には、例えば、符号化装置は、現在のフレームの前処理された左右のチャネル信号に基づいて、左右のチャネルの時間領域相互相関関数を計算し、左右のチャネル信号間の時間差分を判定するために左右チャネルの時間領域相互相関関数の最大値(または別の値)を探索し、左右のチャネル間の判定された時間差分に対して量子化符号化を実行し、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号を取得するために、左右のチャネルから選択された一方のチャネルの信号を基準として使用し、左右のチャネル間の量子化符号化された時間差分に基づいて他方のチャネルの信号の遅延調整を実行し得る。
遅延アライメント処理の多くの特定の実装方法があり得、特定の遅延アライメント処理方法は本実施形態に限定されないことに留意されたい。
903.現在のフレームの遅延アライメント処理を受けた左右のチャネル信号の時間領域解析を実行する。
具体的には、時間領域解析は過渡検出などを含み得る。過渡検出は、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号に対して実行されるエネルギー検出であり得る(具体的には、現在のフレームに急激なエネルギー変化があるか否かを検出し得る)。例えば、現在のフレームの遅延アライメント処理を受けた左チャネル信号のエネルギーはEcur_Lで表され、前のフレームの遅延アライメントを受けた左チャネル信号のエネルギーはEpre_Lで表される。この場合、現在のフレームの遅延アライメント処理を受けた左チャネル信号の過渡検出結果を取得するために、Epre_LとEcur_Lとの差の絶対値に基づいて過渡検出が実行され得る。同様に、現在のフレームの遅延アライメント処理を受けた左チャネル信号に対して、同じ方法を使用することにより過渡検出が実行され得る。時間領域解析は、過渡検出以外の別の従来の方式での時間領域解析をさらに含んでもよく、例えば、周波数帯域拡大前処理を含んでもよい。
ステップ903は、ステップ902の後、かつ現在のフレームのプライマリチャネル信号およびセカンダリチャネル信号が符号化される前の任意の時点で実行され得ることが理解されよう。
904.現在のフレームのチャネル結合スキームを判定するために、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号に基づいて、現在のフレームのチャネル結合スキーム決定を実行する。
2つの可能なチャネル結合スキームが本実施形態において例として説明され、以下の説明において相関信号チャネル結合スキームおよび反相関信号チャネル結合スキームとそれぞれ呼ばれる。本実施形態では、相関信号チャネル結合スキームは、現在のフレームの(遅延アライメント後に得られた)左右のチャネル信号が略同相信号である場合に対応し、反相関信号チャネル結合スキームは、現在のフレームの(遅延アライメント後に得られた)左右のチャネル信号が略非同相信号である場合に対応する。当然のことながら、実際のアプリケーションでは、2つの可能なチャネル結合スキームを表すために、「相関信号チャネル結合スキーム」および「反相関信号チャネル結合スキーム」に加えて他の名前が使用される場合もある。
本実施形態のいくつかの解決策では、チャネル結合スキーム決定は、初期チャネル結合スキーム決定およびチャネル結合スキーム変更決定に分類され得る。現在のフレームのチャネル結合スキームを判定するために、チャネル結合スキーム決定が現在のフレームに対して実行されることが理解されよう。現在のフレームのチャネル結合スキームを判定する実装形態のいくつかの例については、上述の実施形態の関連する説明を参照されたい。ここでは細部を繰り返し説明しない。
905.現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値と初期値の符号化されたインデックスとを取得するために、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号および現在のフレームのチャネル結合スキームフラグに基づいて、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を計算および符号化する。
具体的には、例えば、現在のフレームの左右のチャネル信号のフレームエネルギーは、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号に基づいて最初に計算され、
現在のフレームの左チャネル信号のフレームエネルギーrms_Lは、
を満たし、
現在のフレームの右チャネル信号のフレームエネルギーrms_Rは、
を満たし、ここで
x’L(n)は現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、
x’R(n)は現在のフレームの遅延アライメント処理が行われた右チャネル信号を示す。
次に、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数が、現在のフレームの左チャネルのフレームエネルギーおよび右チャネルのフレームエネルギーに基づいて計算される。計算により取得された現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数ratio_initは、
を満たす。
次に、現在のフレームの相関信号チャネル結合スキームに対応する、対応する符号化されたインデックスratio_idx_initおよび量子化符号化されたチャネル結合比係数ratio_initquaを取得するために、計算により取得された現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数ratio_initに対して量子化符号化が実行され、
ratio_initqua=ratio_tabl[ratio_idx_init]である。
ここで、ratio_tablは、スカラー量子化のためのコードブックである。量子化符号化は、任意の従来のスカラー量子化方法、例えば均一スカラー量子化または不均一スカラー量子化を使用することにより実行され得る。符号化に使用されるビット数は、例えば5ビットである。ここでは、特定のスカラー量子化方法について繰り返し説明しない。
現在のフレームの相関信号チャネル結合スキームに対応する量子化符号化されたチャネル結合比係数ratio_initquaは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の取得された初期値であり、符号化されたインデックスratio_idx_initは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に対応する符号化されたインデックスである。
加えて、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に対応する符号化されたインデックスは、現在のフレームのチャネル結合スキームフラグtdm_SM_flagの値に基づいてさらに変更され得る。
例えば、量子化符号化は5ビットスカラー量子化である。tdm_SM_flag=1の場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に対応する符号化されたインデックスratio_idx_initは、事前設定された値(例えば、15または別の値)に変更され、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値は、ratio_initqua=ratio_tabl[15]に変更され得る。
上記の計算方法に加えて、従来の時間領域ステレオ符号化技術におけるチャネル結合スキームに対応するチャネル結合比係数を計算するための任意の方法が現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用され得ることに留意されたい。あるいは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値は、固定値(例えば、0.5または別の値)に直接設定されてもよい。
906.チャネル結合比係数変更フラグに基づいて、チャネル結合比係数を変更する必要があるか否かを判定する。
変更する必要がある場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数およびチャネル結合比係数の符号化されたインデックスは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値および変更値の符号化されたインデックスを取得するために変更される。
現在のフレームのチャネル結合比係数変更フラグは、tdm_SM_modi_flagとして示される。例えば、チャネル結合比係数変更フラグの値が0である場合、チャネル結合比係数を変更する必要がないことを示す、またはチャネル結合比係数変更フラグの値が1である場合、チャネル結合比係数を変更する必要があることを示す。当然のことながら、チャネル結合比係数を変更する必要があるか否かを示すためにチャネル結合比係数変更フラグとして他の異なる値が使用されてもよい。
例えば、チャネル結合比係数変更フラグに基づいて、チャネル結合比係数を変更する必要があるか否かを判定することは以下を特に含み得る、すなわち、例えば、チャネル結合比係数変更フラグtdm_SM_modi_flag=1の場合、チャネル結合比係数を変更する必要があると判定される。別の例として、チャネル結合比係数変更フラグtdm_SM_modi_flag=0の場合、チャネル結合比係数を変更する必要がないと判定される。
現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数およびチャネル結合比係数の符号化されたインデックスを変更することは以下を特に含み得る、すなわち、
例えば、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比率係数の変更値に対応する符号化されたインデックスは、ratio_idx_mod=0.5*(tdm_last_ratio_idx+16)を満たし、tdm_last_ratio_idxは、前のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスである。
現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値ratio_modquaは、ratio_modqua=ratio_tabl[ratio_idx_mod]を満たす。
907.現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値および初期値の符号化されたインデックス、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値および変更値の符号化されたインデックス、ならびにチャネル結合比係数変更フラグに基づいて、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数ratioおよび符号化されたインデックスratio_idxを判定する。
具体的には、例えば、相関信号チャネル結合スキームに対応する判定されたチャネル結合比係数ratioは、
を満たし、ここで
ratio_initquaは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値を示し、ratio_modquaは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値を示し、tdm_SM_modi_flagは、現在のフレームのチャネル結合比係数変更フラグを示す。
相関信号チャネル結合スキームに対応するチャネル結合比係数に対応する判定された符号化されたインデックスratio_idxは、
を満たし、ここで
ratio_idx_initは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の初期値に対応する符号化されたインデックスを示し、ratio_idx_modは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の変更値に対応する符号化されたインデックスを示す。
908.現在のフレームのチャネル結合スキームフラグが反相関信号チャネル結合スキームに対応するか否かを判定し、対応する場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数および符号化されたインデックスを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算および符号化する。
最初に、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用される履歴バッファをリセットする必要があるか否かが判定され得る。
例えば、現在のフレームのチャネル結合スキームフラグtdm_SM_flagが1に等しく(例えば、tdm_SM_flagが1に等しいことは、現在のフレームのチャネル結合スキームフラグが反相関信号チャネル結合スキームに対応することを示す)、かつ前のフレームのチャネル結合スキームフラグtdm_last_SM_flagが0に等しい(例えば、tdm_last_SM_flagが0に等しいことは、現在のフレームのチャネル結合スキームフラグが相関信号チャネル結合スキームに対応することを示す)場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の計算に使用される履歴バッファをリセットする必要があることを示す。
履歴バッファリセットフラグtdm_SM_reset_flagは、初期チャネル結合スキーム決定およびチャネル結合スキーム変更決定のプロセスで判定され、その後、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用される履歴バッファをリセットする必要があるか否かを判定するために、履歴バッファリセットフラグの値が判定され得ることに留意されたい。例えば、tdm_SM_reset_flagが1である場合、現在のフレームのチャネル結合スキームフラグが反相関信号チャネル結合スキームに対応し、前のフレームのチャネル結合スキームフラグが相関信号チャネル結合スキームに対応することを示す。例えば、履歴バッファリセットフラグtdm_SM_reset_flagが1に等しい場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用される履歴バッファをリセットする必要があることを示す。多くの特定のリセット方法がある。現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用される履歴バッファのすべてのパラメータは、事前設定された初期値に基づいてリセットされ得る。あるいは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用される履歴バッファの一部のパラメータは、事前設定された初期値に基づいてリセットされ得る。あるいは、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用される履歴バッファの一部のパラメータは、事前設定された初期値に基づいてリセットされ、他のパラメータは、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するために使用される履歴バッファの対応するパラメータに基づいてリセットされ得る。
次に、現在のフレームのチャネル結合スキームフラグtdm_SM_flagが反相関信号チャネル結合スキームに対応するか否かがさらに判定される。反相関信号チャネル結合スキームは、非同相ステレオ信号に対して時間領域ダウンミキシングを実行するのにより適したチャネル結合スキームである。本実施形態では、現在のフレームのチャネル結合スキームフラグがtdm_SM_flag=1である場合、現在のフレームのチャネル結合スキームフラグが反相関信号チャネル結合スキームに対応することを示す。現在のフレームのチャネル結合スキームフラグがtdm_SM_flag=0である場合、現在のフレームのチャネル結合スキームフラグが相関信号チャネル結合スキームに対応することを示す。
現在のフレームのチャネル結合スキームフラグが反相関信号チャネル結合スキームに対応するか否かを判定することは、
現在のフレームのチャネル結合スキームフラグの値が1であるか否かを判定することであって、現在のフレームのチャネル結合スキームフラグがtdm_SM_flag=1である場合、現在のフレームのチャネル結合スキームフラグが反相関信号チャネル結合スキームに対応することを示し、この場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数が計算および符号化される、こと
を特に含み得る。
図9−Bを参照すると、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算および符号化することは、例えば、以下のステップ9081から9085を含み得る。
9081.現在のフレームの遅延アライメント処理を受けた左右のチャネル信号の信号エネルギー解析を実行する。
現在のフレームの左チャネル信号のフレームエネルギー、現在のフレームの右チャネル信号のフレームエネルギー、現在のフレームの左チャネルの長時間平滑化フレームエネルギー、現在のフレームの右チャネルの長時間平滑化フレームエネルギー、現在のフレームの左チャネルのフレーム間エネルギー差分、および現在のフレームの右チャネルのフレーム間エネルギー差分が別々に取得される。
例えば、現在のフレームの左チャネル信号のフレームエネルギーrms_Lは、
を満たし、
現在のフレームの右チャネル信号のフレームエネルギーrms_Rは、
を満たし、ここで
x’L(n)は現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、
x’R(n)は現在のフレームの遅延アライメント処理を受けた右チャネル信号を示す。
例えば、現在のフレームの左チャネルの長時間平滑化フレームエネルギーtdm_lt_rms_L_SMcurは、
tdm_lt_rms_L_SMcur=(1−A)*tdm_lt_rms_L_SMpre+A*rms_L
を満たし、ここで
tdm_lt_rms_L_SMpreは、前のフレームの左チャネルの長時間平滑化フレームエネルギーを示し、Aは左チャネルの長時間平滑化フレームエネルギーの更新係数を示し、Aは、例えば0から1の実数であり、Aは、例えば0.4に等しくてもよい。
例えば、現在のフレームの右チャネルの長時間平滑化フレームエネルギーtdm_lt_rms_R_SMcurは、
tdm_lt_rms_R_SMcur=(1−B)*tdm_lt_rms_R_SMpre+B*rms_R
を満たし、ここで
tdm_lt_rms_R_SMpreは、前のフレームの右チャネルの長時間平滑化フレームエネルギーを示し、Bは、右チャネルの長時間平滑化フレームエネルギーの更新係数を示し、Bは、例えば0から1の実数であり、Bは、例えば、左チャネルの長時間平滑化フレームエネルギーの更新係数と同じでも異なっていてもよく、例えば、Bは0.4に等しくてもよい。
例えば、現在のフレームの左チャネルのフレーム間エネルギー差分ener_L_dtは、
ener_L_dt=tdm_lt_rms_L_SMcur−tdm_lt_rms_L_SMpre
を満たす。
例えば、現在のフレームの右チャネルのフレーム間エネルギー差分ener_R_dtは、
ener_R_dt=tdm_lt_rms_R_SMcur−tdm_lt_rms_R_SMpre
を満たす。
9082.現在のフレームの遅延アライメント処理を受けた左右のチャネル信号に基づいて、現在のフレームの参照チャネル信号を判定する。参照チャネル信号は、モノラル信号と呼ばれる場合もある。参照チャネル信号がモノラル信号と呼ばれる場合、参照チャネルに関連するすべての説明およびパラメータ名について、参照チャネル信号をモノラル信号に置き換えされ得る。
例えば、参照チャネル信号mono_i(n)は、
を満たし、ここで
x’L(n)は現在のフレームの遅延アライメント処理を受けた左チャネル信号であり、x’R(n)は現在のフレームの遅延アライメント処理を受けた右チャネル信号である。
9083.現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータ、および現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータを別々に計算する。
例えば、現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータcorr_LMは、例えば、
を満たす。
例えば、現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータcorr_RMは、例えば、
を満たす。
ここで、x’L(n)は現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、x’R(n)は現在のフレームの遅延アライメント処理を受けた右チャネル信号を示し、mono_i(n)は、現在のフレームの参照チャネル信号を示し、|・|は絶対値を採用することを示す。
9084.現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータと、現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータとに基づいて、現在のフレームの左右のチャネル間の振幅相関差分パラメータdiff_lt_corrを計算する。
ステップ9081は、ステップ9082およびステップ9083の前に実行されてもよいし、ステップ9082およびステップ9083の後かつステップ9084の前に実行されてもよいことが理解されよう。
図9−Cを参照すると、例えば、現在のフレームの左右のチャネル間の振幅相関差分パラメータdiff_lt_corrを計算することは、以下のステップ90841および90842を特に含み得る。
90841.現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータ、および現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータに基づいて、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータと、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータとを計算する。
例えば、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータ、および現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するための方法は、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_LM_SMが、
tdm_lt_corr_LM_SMcur=α*tdm_lt_corr_LM_SMpre+(1−α)corr_LM
を満たすこと、を含み得る。
ここで、tdm_lt_corr_LM_SMcurは、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_LM_SMpreは、前のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、αは左チャネル平滑化係数を示し、αは0から1の事前設定された実数であってよく、例えば0.2、0.5、または0.8であってよい。あるいは、αの値は、適応計算によって取得されてもよい。
例えば、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_RM_SMは、
tdm_lt_corr_RM_SMcur=β*tdm_lt_corr_RM_SMpre+(1−β)corr_LM
を満たす。
ここで、tdm_lt_corr_RM_SMcurは、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMpreは、前のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、βは右チャネル平滑化係数を示し、βは0から1の事前設定された実数であり得る。βは左チャネル平滑化係数αの値と同じであっても異なっていてもよく、βは例えば0.2、0.5、または0.8に等しくてもよい。あるいは、βの値は、適応計算によって取得されてもよい。
現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するための別の方法が、
まず、現在のフレームの左チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_LM_modを取得するために、現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータcorr_LMを変更し、現在のフレームの右チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_RM_modを取得するために、現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータcorr_RMを変更する、ことと、
次に、現在のフレームの左チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_LM_mod、現在のフレームの右チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_RM_mod、前のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_LM_SMpre、および前のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_RM_SMpreに基づいて、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータdiff_lt_corr_LM_tmpおよび前のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータdiff_lt_corr_RM_tmpを判定することと、
次に、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータdiff_lt_corr_LM_tmpおよび前のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータdiff_lt_corr_RM_tmpに基づいて、現在のフレームの左右のチャネル間の振幅相関差分パラメータの初期値diff_lt_corr_SMを取得し、現在のフレームの左右チャネル間の振幅相関差分パラメータの取得された初期値diff_lt_corr_SMおよび前のフレームの左右のチャネル間の振幅相関差分パラメータtdm_last_diff_lt_corr_SMに基づいて、現在のフレームの左右チャネル間の振幅相関差分のフレーム間変動パラメータd_lt_corrを判定する、ことと、
最後に、信号エネルギー解析で取得された、現在のフレームの左チャネル信号のフレームエネルギー、現在のフレームの右チャネル信号のフレームエネルギー、現在のフレームの左チャネルの長時間平滑化フレームエネルギー、現在のフレームの右チャネルの長時間平滑化フレームエネルギー、現在のフレームの左チャネルのフレーム間エネルギー差分、および現在のフレームの右チャネルのフレーム間エネルギー差分、ならびに現在のフレームの左右のチャネル間の振幅相関差分のフレーム間変動パラメータに基づいて、異なる左チャネル平滑化係数および右チャネル平滑化係数を適応的に選択し、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_LM_SMおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_RM_SMを計算する、こととを含み得る。
上で例として与えられた2つの方法に加えて、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータと、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータとを計算するための多くの方法があり得る。このことは、本出願において限定されない。
90842.現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータと、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータとに基づいて、現在のフレームの左右のチャネル間の振幅相関差分パラメータdiff_lt_corrを計算する。
例えば、現在のフレームの左右のチャネル間の振幅相関差分パラメータdiff_lt_corrは、
diff_lt_corr=tdm_lt_corr_LM_SM−tdm_lt_corr_RM_SM
を満たし、ここで
tdm_lt_corr_LM_SMは、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMは、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示す。
9085.現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数およびチャネル結合比係数の符号化されたインデックスを判定するために、現在のフレームの左右のチャネル間の振幅相関差分パラメータdiff_lt_corrをチャネル結合比係数に変換し、符号化および量子化を実行する。
図9−Dを参照すると、現在のフレームの左右のチャネル間の振幅相関差分パラメータをチャネル結合比係数に変換するための可能な方法は、ステップ90851から90853を特に含み得る。
90851.左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの値の範囲が[MAP_MIN,MAP_MAX]となり得るように、左右のチャネル間の振幅相関差分パラメータに対してマッピング処理を実行する。
左右のチャネル間の振幅相関差分パラメータに対してマッピング処理を実行するための方法は、以下のステップを含み得る。
最初に、振幅制限が左右のチャネル間の振幅相関差分パラメータに対して実行される。例えば、左右のチャネル間の振幅制限された振幅相関差分パラメータdiff_lt_corr_limitは、
を満たす。
ここで、RATIO_MAXは、左右のチャネル間の振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_MINは、左右のチャネル間の振幅制限された振幅相関差分パラメータの最小値を示す。例えば、RATIO_MAXは事前設定された経験値であり、RATIO_MAXは1.5、3.0、または別の値であってよく、RATIO_MINは事前設定された経験値であり、RATIO_MINは−1.5、−3.0、または別の値であってよく、RATIO_MAX>RATIO_MINである。
次に、左右チャネル間の振幅制限された振幅相関差分パラメータに対してマッピング処理が実行される。左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータdiff_lt_corr_mapは、
を満たし、ここで
である。
ここで、MAP_MAXは、左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最大値を示し、MAP_HIGHは、左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの高閾値を示し、MAP_LOWは、左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの低閾値であり、MAP_MINは、左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最小値を示し、
MAP_MAX>MAP_HIGH>MAP_LOW>MAP_MIN
である。
例えば、本出願のいくつかの実施形態では、MAP_MAXは2.0であってよく、MAP_HIGHは1.2であってよく、MAP_LOWは0.8であってよく、MAP_MINは0.0であってよい。当然のことながら、実際のアプリケーションでは、値はそのような例に限定されない。
RATIO_MAXは、左右のチャネル間の振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_HIGHは、左右のチャネル間の振幅制限された振幅相関差分パラメータの高閾値を示し、RATIO_LOWは、左右のチャネル間の振幅制限された振幅相関差分パラメータの低閾値を示し、RATIO_MINは、左右のチャネル間の振幅制限された振幅相関差分パラメータの最小値を示し、ここで
RATIO_MAX>RATIO_HIGH>RATIO_LOW>RATIO_MIN
である。
例えば、本出願のいくつかの実施形態では、RATIO_MAXは1.5であり、RATIO_HIGHは0.75であり、RATIO_LOWは−0.75であり、RATIO_MINは−1.5である。当然のことながら、実際のアプリケーションでは、値はそのような例に限定されない。
本出願のいくつかの実施形態における別の方法は以下のとおりである、すなわち、左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータdiff_lt_corr_mapは、
を満たす。
ここで、diff_lt_corr_limitは、左右のチャネル間の振幅制限された振幅相関差分パラメータを示し、ここで
である。
ここで、RATIO_MAXは、左右のチャネル間の振幅相関差分パラメータの最大振幅を示し、−RATIO_MAXは、左右のチャネル間の振幅相関差分パラメータの最小振幅を示す。RATIO_MAXは、事前設定された経験値であってよく、RATIO_MAXは、例えば、1.5、3.0、または0より大きい別の実数であり得る。
90852.左右のチャネル間のものであり、かつマッピング処理を受けた振幅相関差分パラメータをチャネル結合比係数に変換する。
チャネル結合比係数ratio_SMは、
を満たし、ここで
cos(・)は余弦演算を示す。
上述の方法に加えて、左右のチャネル間の振幅相関差分パラメータをチャネル結合比係数に変換するために別の方法が使用されてもよく、例えば、
反相関信号チャネル結合スキームに対応するチャネル結合比係数を更新する必要があるか否かは、信号エネルギー解析によって取得された、現在のフレームの左チャネルの長時間平滑化フレームエネルギー、現在のフレームの右チャネルの長時間平滑化フレームエネルギー、および現在のフレームの左チャネルのフレーム間エネルギー差分、符号化器の履歴バッファ内の前のフレームのバッファされた符号化パラメータ(例えば、プライマリチャネル信号のフレーム間相関パラメータおよびセカンダリチャネル信号のフレーム間相関パラメータ)、現在のフレームおよび前のフレームのチャネル結合スキームフラグ、ならびに現在のフレームおよび前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて判定される。
反相関信号チャネル結合スキームに対応するチャネル結合比係数を更新する必要がある場合、左右のチャネル間の振幅相関差分パラメータは、上述の例における方法を使用することにより、チャネル結合比係数に変換され、更新する必要がない場合、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数、およびチャネル結合比係数の符号化されたインデックスが、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数、およびチャネル結合比係数の符号化されたインデックスとして直接使用される。
90853.変換後に取得されたチャネル結合比係数に対して量子化符号化を実行し、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数を判定する。
具体的には、例えば、現在のフレームの反相関信号チャネル結合スキームに対応する初期符号化されたインデックスratio_idx_init_SM、および現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の量子化符号化された初期値ratio_init_SMquaを取得するために、変換後に取得されたチャネル結合比係数に対して量子化符号化が実行され、ここで
ratio_init_SMqua=ratio_tabl_SM[ratio_idx_init_SM]であり、
ratio_tabl_SMは、反相関信号チャネル結合スキームに対応するチャネル結合比係数に対してスカラー量子化を実行するためのコードブックを示す。
量子化符号化は、従来技術の任意のスカラー量子化方法、例えば均一スカラー量子化または不均一スカラー量子化を使用することにより実行され得る。符号化に使用されるビット数は5ビットであってよい。具体的な方法についてはここでは説明しない。反相関信号チャネル結合スキームに対応するチャネル結合比係数に対してスカラー量子化を実行するためのコードブックは、相関信号チャネル結合スキームに対応するチャネル結合比係数に対してスカラー量子化を実行するためのコードブックと同じであっても異なっていてもよい。コードブックが同じである場合、チャネル結合比係数に対してスカラー量子化を実行するために使用されるコードブックを1つだけ記憶すればよい。
この場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の量子化符号化された初期値ratio_init_SMquaは、
ratio_init_SMqua=ratio_tabl[ratio_idx_init_SM]である。
例えば、方法は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の量子化符号化された初期値を、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数として直接使用すること、および現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の初期符号化されたインデックスを、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスとして直接使用することである。
現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスratio_idx_SMは、ratio_idx_SM=ratio_idx_init_SMを満たす。
現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数は、
ratio_SM=ratio_tabl[ratio_idx_SM]
を満たす。
例えば、別の方法は、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックス、または前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の量子化符号化された初期値、および現在のフレームの反相関信号チャネル結合スキームに対応する初期符号化されたインデックスを変更するステップと、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスとして、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の変更された符号化されたインデックスを使用するステップと、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数として、反相関信号チャネル結合スキームに対応する変更されたチャネル結合比係数を使用するステップとであり得る。
現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスratio_idx_SMは、ratio_idx_SM=φ*ratio_idx_init_SM+(1−φ)*tdm_last_ratio_idx_SMを満たす。
ここで、ratio_idx_init_SMは、現在のフレームの反相関信号チャネル結合スキームに対応する初期符号化されたインデックスを示し、tdm_last_ratio_idx_SMは、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスであり、φは、反相関信号チャネル結合スキームに対応するチャネル結合比係数の変更係数である。φの値は経験値であってもよく、φは例えば0.8に等しくてもよい。
現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数は、
ratio_SM=ratio_tabl[ratio_idx_SM]
を満たす。
別の方法は、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数として、反相関信号チャネル結合スキームに対応する非量子化チャネル結合比係数を使用することである。換言すれば、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数ratio_SMは、
を満たす。
加えて、第4の方法は、前のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に基づいて、現在のフレームの反相関信号チャネル結合スキームに対応する非量子化チャネル結合比係数を変更するステップと、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数として、反相関信号チャネル結合スキームに対応する変更されたチャネル結合比係数を使用するステップと、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスを取得するために、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数に対して量子化符号化を実行するステップとである。
上述の方法に加えて、左右のチャネル間の振幅相関差分パラメータをチャネル結合比係数に変換し、符号化および量子化を実行するための多くの方法があり得る。同様に、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数、およびチャネル結合比係数の符号化されたインデックスを判定するための多くの異なる方法がある。このことは、本出願において限定されない。
909.現在のフレームの符号化モードを判定するために、前のフレームのチャネル結合スキームフラグおよび現在のフレームのチャネル結合スキームフラグに基づいて符号化モード決定を実行する。
現在のフレームのチャネル結合スキームフラグはtdm_SM_flagとして示され、前のフレームのチャネル結合スキームフラグはtdm_last_SM_flagとして示され、前のフレームのチャネル結合スキームフラグと現在のフレームのチャネル結合スキームフラグとのジョイントフラグは(tdm_last_SM_flag,tdm_SM_flag)と示され得る。符号化モード決定は、ジョイントフラグに基づいて実行され得る。詳細が次の例で示される。
相関信号チャネル結合スキームは0で表され、反相関信号チャネル結合スキームは1で表されると仮定されている。この場合、前のフレームと現在のフレームとのチャネル結合スキームフラグのジョイントフラグは、次の4つのケース、すなわち、(01)、(11)、(10)、および(00)を有し、現在のフレームの符号化モードは、相関信号符号化モード、反相関信号符号化モード、相関から反相関に信号符号化を切り替えるモード、および反相関から相関に信号符号化を切り替えるモードとして判定される。例えば、現在のフレームのチャネル結合スキームフラグのジョイントフラグが(00)である場合、現在のフレームの符号化モードが相関信号符号化モードであることを示す、または現在のフレームのチャネル結合スキームフラグのジョイントフラグが(11)である場合、現在のフレームの符号化モードが反相関信号符号化モードであることを示す、または現在のフレームのチャネル結合スキームフラグのジョイントフラグが(01)である場合、現在のフレームの符号化モードが相関から反相関に信号符号化を切り替えるモードであることを示す、または現在のフレームのチャネル結合スキームフラグのジョイントフラグが(10)である場合、現在のフレームの符号化モードが反相関から相関に信号符号化を切り替えるモードであることを示す。
910.現在のフレームの符号化モードstereo_tdm_coder_typeを取得した後、符号化装置は、現在のフレームのプライマリチャネル信号およびセカンダリチャネル信号を取得するために、現在のフレームの符号化モードに対応する時間領域ダウンミックス処理方法に基づいて、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行する。
現在のフレームの符号化モードは、複数の符号化モードのうちの1つである。例えば、複数の符号化モードは、相関から反相関に信号符号化を切り替えるモード、反相関から相関に信号符号化を切り替えるモード、相関信号符号化モード、および反相関信号符号化モードを含み得る。異なる符号化モードでの時間領域ダウンミックス処理の実装形態については、上述の実施形態の例の関連する説明を参照されたい。ここでは細部を繰り返し説明しない。
911.符号化されたプライマリチャネル信号および符号化されたセカンダリチャネル信号を取得するために、符号化装置は、プライマリチャネル信号とセカンダリチャネル信号とを別々に符号化する。
具体的には、ビット割り当ては、前のフレームのプライマリチャネル信号および/またはセカンダリチャネル信号の符号化で得られたパラメータ情報とプライマリチャネル信号およびセカンダリチャネル信号を符号化するための総ビット数とに基づいて、プライマリチャネル信号の符号化およびセカンダリチャネル信号の符号化のために最初に実行され得る。次に、プライマリチャネル符号化の符号化されたインデックスおよびセカンダリチャネル符号化の符号化されたインデックスを取得するために、プライマリチャネル信号とセカンダリチャネル信号とがビット割り当ての結果に基づいて別々に符号化される。プライマリチャネル符号化およびセカンダリチャネル符号化は、任意のモノラルオーディオ符号化技術を使用することにより実施されてもよく、このことは、ここではこれ以上説明されない。
912.符号化装置は、チャネル結合スキームフラグに基づいて、チャネル結合比係数の対応する符号化されたインデックスを選択し、符号化されたインデックスをビットストリームに書き込み、符号化されたプライマリチャネル信号、符号化されたセカンダリチャネル信号、および現在のフレームのチャネル結合スキームフラグをビットストリームに書き込む。
具体的には、例えば、現在のフレームのチャネル結合スキームフラグtdm_SM_flagが相関信号チャネル結合スキームに対応する場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスratio_idxがビットストリームに書き込まれる、または、現在のフレームのチャネル結合スキームフラグtdm_SM_flagが反相関信号チャネル結合スキームに対応する場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスratio_idx_SMがビットストリームに書き込まれる。例えば、tdm_SM_flag=0である場合、現在のフレームの相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスratio_idxがビットストリームに書き込まれる、またはtdm_SM_flag=1である場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の符号化されたインデックスtdm_SM_flag=0がビットストリームに書き込まれる。
加えて、符号化されたプライマリチャネル信号、符号化されたセカンダリチャネル信号、および現在のフレームのチャネル結合スキームフラグがビットストリームに書き込まれる。ビットストリーム書き込み動作を実行するための順番はないことが理解されよう。
対応して、以下は、例を使用することにより時間領域ステレオ復号シナリオについて説明する。
図10を参照すると、以下、オーディオ復号方法をさらに提供する。オーディオ復号方法の関連するステップは、復号装置によって特に実施されてもよく、本方法は以下のステップを特に含み得る。
1001.現在のフレームの復号されたプライマリおよびセカンダリチャネル信号を取得するために、ビットストリームに基づいて復号を実行する。
1002.現在のフレームの時間領域ステレオパラメータを取得するために、ビットストリームに基づいて復号を実行する。
現在のフレームの時間領域ステレオパラメータは、現在のフレームのチャネル結合比係数を含み(ビットストリームは現在のフレームのチャネル結合比係数の符号化されたインデックスを含み、復号は、現在のフレームのチャネル結合比係数を取得するために、現在のフレームのチャネル結合比係数の符号化されたインデックスに基づいて実行され得る)、現在のフレームのチャネル間時間差分などをさらに含み得る(例えば、ビットストリームは現在のフレームのチャネル間時間差分の符号化されたインデックスを含み、復号は、現在のフレームのチャネル間時間差分を取得するために、現在のフレームのチャネル間時間差分の符号化されたインデックスに基づいて実行され得る、またはビットストリームは現在のフレームのチャネル間時間差分の絶対値の符号化されたインデックスを含み、復号は、現在のフレームのチャネル間時間差分の絶対値を取得するために、現在のフレームのチャネル間時間差分の絶対値の符号化されたインデックスに基づいて実行され得る)。
1003.ビットストリームに基づいて、ビットストリームに含まれる現在のフレームのチャネル結合スキームフラグを取得し、現在のフレームのチャネル結合スキームを判定する。
1004.現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて現在のフレームの復号モードを判定する。
現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて現在のフレームの復号モードを判定することについては、ステップ909における現在のフレームの符号化モードを判定するための方法を参照されたい。現在のフレームの復号モードは、複数の復号モードのうちの1つである。例えば、複数の復号モードは、相関から反相関に信号復号を切り替えるモード、反相関から相関に信号復号を切り替えるモード、相関信号符号化モード、および反相関信号復号モードを含み得る。符号化モードと復号モードとは1対1の対応関係にある。
例えば、現在のフレームのチャネル結合スキームフラグのジョイントフラグが(00)である場合、現在のフレームの復号モードが相関信号復号モードであることを示す、または現在のフレームのチャネル結合スキームフラグのジョイントフラグが(11)である場合、現在のフレームの復号モードが反相関信号復号モードであることを示す、または現在のフレームのチャネル結合スキームフラグのジョイントフラグが(01)である場合、現在のフレームの復号モードが相関から反相関に信号復号を切り替えるモードであることを示す、または現在のフレームのチャネル結合スキームフラグのジョイントフラグが(10)である場合、現在のフレームの復号モードが反相関から相関に信号復号を切り替えるモードであることを示す。
ステップ1001、ステップ1002、およびステップ1003および1004を実行するための限定された順番はないことが理解されよう。
1005.現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの判定された復号モードに対応する時間領域アップミックス処理方式を使用することにより、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する。
異なる復号モードでの時間領域アップミックス処理の関連する実装形態については、上述の実施形態の例の関連する説明を参照されたい。ここでは細部を繰り返し説明しない。
時間領域アップミックス処理に使用されるアップミックス行列は、現在のフレームの取得されたチャネル結合比係数に基づいて構成される。
現在のフレームの再構成された左右のチャネル信号は、現在のフレームの復号された左右のチャネル信号として使用され得る。
あるいは、現在のフレームの遅延調整を受けた再構成された左右のチャネル信号を取得するために、現在のフレームのチャネル間時間差分に基づいて、現在のフレームの再構成された左右のチャネル信号に対して遅延調整がさらに実行されてもよく、現在のフレームの遅延調整を受けた再構成された左右のチャネル信号は、現在のフレームの復号された左右のチャネル信号として使用されてもよい。あるいは、現在のフレームの遅延調整を受けた再構成された左右のチャネル信号に対して時間領域の後処理がさらに実行されてもよく、現在のフレームの時間領域の後処理を受けた再構成された左右のチャネル信号が、現在のフレームの復号された左右のチャネル信号として使用されてもよい。
以上、本出願の実施形態における方法を詳細に説明した。以下、本出願の実施形態における装置を説明する。
以上、本出願の実施形態における方法を詳細に説明した。以下、本出願の実施形態における装置を説明する。
図11−Aを参照すると、本出願の一実施形態は、装置1100をさらに提供する。装置1100は、
互いに接続され、プロセッサ1110が本出願の実施形態で提供される任意の方法の一部または全部のステップを実行するように構成され得る、プロセッサ1110とメモリ1120とを備え得る。
メモリ1120は、ランダムアクセスメモリ(英語:Random Access Memory、略称RAM)、読み取り専用メモリ(英語:Read−Only Memory、略称ROM)、消去可能なプログラマブル読み取り専用メモリ(英語:Erasable Programmable Read Only Memory、略称EPROM)、またはコンパクトディスク読み取り専用メモリ(英語:Compact Disc Read−Only Memory、略称CD−ROM)を含むが、これらに限定されない。メモリ1102は、関連する命令および関連するデータを記憶するように構成される。
当然のことながら、装置1100は、データを受信および送信するように構成された送受信機1130をさらに備え得る。
プロセッサ1110は、1つまたは複数の中央演算処理装置(英語:Central Processing Unit、略称CPU)であってもよい。プロセッサ1110が1つのCPUである場合、CPUはシングルコアCPUであってもよいし、マルチコアCPUであってもよい。プロセッサ1110は、具体的にはデジタルシグナルプロセッサであってもよい。
実施プロセスにおいて、上述の方法のステップは、プロセッサ1110のハードウェア集積ロジック回路を使用して、またはソフトウェアの形態の命令を使用することにより実施され得る。プロセッサ1110は、汎用プロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイもしくは別のプログラマブルロジックデバイス、単体のゲートもしくはトランジスタロジックデバイス、または単体のハードウェアコンポーネントであり得る。プロセッサ1110は、本発明の各実施形態において開示された方法、ステップ、および論理ブロック図を実施または実行し得る。汎用プロセッサは、マイクロプロセッサであってもよいし、プロセッサは、任意の従来のプロセッサなどであってもよい。本発明の各実施形態に関連して開示された方法のステップは、ハードウェア復号プロセッサを使用して直接実行され、達成されるのであってもよいし、復号プロセッサのハードウェアとソフトウェアモジュールとの組み合わせを使用して実行され、達成されるのであってもよい。
ソフトウェアモジュールは、当技術分野において成熟した記憶媒体、例えば、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、エレクトリカリー・イレーサブル・プログラマブル・メモリ、またはレジスタに配置され得る。記憶媒体は、メモリ1120に配置される。例えば、プロセッサ1110は、メモリ1120内の情報を読み取り、プロセッサ1110のハードウェアと組み合わせて上述の方法のステップを完了することができる。
さらに、装置1100は、送受信機1130をさらに備え得る。送受信機1130は、例えば、関連するデータ(例えば、命令、チャネル信号、またはビットストリーム)を受信および送信するように構成され得る。例えば、装置1100は、図2から図9−Dに示される任意の実施形態における対応する方法の一部または全部のステップを実行してもよい。
具体的には、例えば、装置1100が上述の符号化の関連するステップを実行するとき、装置1100は符号化装置(またはオーディオ符号化装置)と呼ばれ得る。装置1100が上述の復号の関連するステップを実行するとき、装置1100は復号装置(またはオーディオ復号装置)と呼ばれ得る。
図11−Bを参照すると、例えば、装置1100が符号化装置である場合、装置1100は、マイクロフォン1140、アナログ−デジタル変換器1150などをさらに備え得る。
例えば、マイクロフォン1140は、アナログオーディオ信号を取得するためにサンプリングを実行するように構成され得る。
例えば、アナログ−デジタル変換器1150は、アナログオーディオ信号をデジタルオーディオ信号に変換するように構成され得る。
図11−Cを参照すると、例えば、装置1100が符号化装置である場合、装置1100は、スピーカ1160、デジタル−アナログ変換器1170などをさらに備え得る。
例えば、デジタル−アナログ変換器1170は、デジタルオーディオ信号をアナログオーディオ信号に変換するように構成され得る。
例えば、スピーカ1160は、アナログオーディオ信号を再生するように構成され得る。
加えて、図12−Aを参照すると、本出願の一実施形態は、本出願の実施形態で提供された任意の方法を実施するように構成されたいくつかの機能ユニットを備える装置1200を提供する。
例えば、装置1200が図2に示される実施形態の対応する方法を実行するとき、装置1200は、
現在のフレームのチャネル結合スキームを判定し、前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの復号モードを判定する、ように構成された第1の判定ユニット1210と、
現在のフレームのプライマリおよびセカンダリチャネル信号を取得するために、現在のフレームの符号化モードに対応する時間領域ダウンミックス処理に基づいて、現在のフレームの左右のチャネル信号に対して時間領域ダウンミックス処理を実行する、ように構成された符号化ユニット1220とを備え得る。
加えて、図12−Bを参照すると、装置1200は、現在のフレームの時間領域ステレオパラメータを判定するように構成された第2の判定ユニット1230をさらに備え得る。符号化ユニット1220は、現在のフレームの時間領域ステレオパラメータを符号化するようにさらに構成され得る。
別の例として、図12−Cを参照すると、装置1200が図3に示される実施形態の対応する方法を実行するとき、装置1200は、
ビットストリーム内にある現在のフレームのチャネル結合スキームフラグに基づいて現在のフレームのチャネル結合スキームを判定し、前のフレームのチャネル結合スキームおよび現在のフレームのチャネル結合スキームに基づいて現在のフレームの復号モードを判定する、ように構成された第3の判定ユニット1240と、
現在のフレームの復号されたプライマリおよびセカンダリチャネル信号を取得するために、ビットストリームに基づいて復号を実行し、現在のフレームの再構成された左右のチャネル信号を取得するために、現在のフレームの復号モードに対応する時間領域アップミックス処理に基づいて、現在のフレームの復号されたプライマリおよびセカンダリチャネル信号に対して時間領域アップミックス処理を実行する、ように構成される復号ユニット1250とを備え得る。
本装置が別の方法を実行する場合は、類推により推定される。
本出願の一実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はプログラムコードを記憶し、プログラムコードは、本出願の実施形態で提供される任意の方法の一部または全部のステップを実行するための命令を含む。
本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、本出願の実施形態で提供される任意の方法の一部または全部のステップを実行できるようになる。
上述した実施形態では、すべての実施形態の説明には、それぞれの重点がある。一実施形態において詳細に記載されていない部分については、別の実施形態における関連説明を参照されたい。
本出願において提供されるいくつかの実施形態においては、本開示の装置が別のやり方で実施され得ることを理解されたい。例えば、説明された装置実施形態は単なる例にすぎない。例えば、ユニットの分割は単なる論理的機能分割にすぎない、または実際の実装に際しては他の分割であり得る。例えば、複数のユニットもしくは構成要素が組み合わされ、または統合されて別のシステムになる場合もあり、いくつかの特徴が無視されたり実行されなかったりする場合もある。加えて、表示された、または説明された相互間接結合または直接結合または通信接続を、いくつかのインターフェースを使用して実現することもできる。装置間またはユニット間の間接結合または通信接続は、電子的形態または他の形態として実現することができる。
別々の部品として記述されたユニットは物理的に分離している場合もそうでない場合もあり、ユニットとして表示されたコンポーネントは、物理的ユニットである場合もそうでない場合もある。具体的には、コンポーネントは1つの位置に配置することも、複数のネットワークユニットに分散させることもできる。ユニットの一部または全部を、各実施形態の解決策の目的を達成するための実際の必要に従って選択することもできる。
加えて、本発明の実施形態における機能ユニットが1つの処理ユニットへ統合される場合もあり、ユニットのそれぞれが物理的に独立して存在する場合もあり、または2つ以上のユニットが1つのユニットへ統合される場合もある。統合ユニットはハードウェアの形態で実現することもでき、ソフトウェア機能ユニットの形態で実現することもできる。
統合ユニットがソフトウェア機能ユニットの形態で実現され、独立した製品として販売または使用される場合、統合ユニットは、コンピュータ可読記憶媒体に記憶することができる。そうした理解に基づき、本発明の技術解決策を本質的に、または従来技術に寄与する部分を、または技術的な解決策の全部または一部を、ソフトウェア製品の形態で実現することができる。コンピュータソフトウェア製品は記憶媒体に記憶されており、(パーソナルコンピュータ、サーバ、もしくはネットワーク装置などとすることができる)コンピュータデバイスに、本発明の各実施形態で記述されている方法のステップの全部または一部を行うように命令するためのいくつかの命令を含む。上記記憶媒体は、USBフラッシュドライブ、読み取り専用メモリ(ROM、Read−Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、取り外し可能ハードディスク、磁気ディスク、光ディスクといった、プログラムコードを記憶することができる任意の媒体を含む。
1100 装置
1110 プロセッサ
1120 メモリ
1130 送受信機
1140 マイクロフォン
1150 アナログ−デジタル変換器
1160 スピーカ
1170 デジタル−アナログ変換器
1200 装置
1210 第1の判定ユニット
1220 符号化ユニット
1230 第2の判定ユニット
1240 第3の判定ユニット
1250 復号ユニット
様々なマッピング処理方式があり得、具体的には、例えば、
であり、
diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、
MAP_MAXは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最大値を示し、MAP_HIGHは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの高閾値を示し、MAP_LOWは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの低閾値を示し、MAP_MINは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最小値を示し、
MAP_MAX>MAP_HIGH>MAP_LOW>MAP_MINであり、
RATIO_MAXは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_HIGHは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの高閾値を示し、RATIO_LOWは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの低閾値を示し、RATIO_MINは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの最小値を示し、
RATIO_MAX>RATIO_HIGH>RATIO_LOW>RATIO_MINである。
第5の条件は次のとおりである、すなわち、現在のフレームの左右のチャネル信号の長時間二乗平均平方根エネルギー値がエネルギー閾値より小さい。エネルギー閾値の値の範囲は、例えば、[300,500]であり得る。例えば、エネルギー閾値は、300、400、410、451、482、500、415、または別の値に等しくてよい。
第1のエネルギー比閾値の範囲は、例えば、[4000,6000]であり得る。例えば、第1のエネルギー比閾値は、4000、4500、5000、5105、5200、6000、5800、または別の値に等しくてよい。
第2のエネルギー比閾値の範囲は、例えば、[4000,6000]であり得る。例えば、第2のエネルギー比閾値は、4000、4501、5000、5105、5200、6000、5800、または別の値に等しくてよい。
オーディオフレーム(例えば、現在のフレームまたは前のフレーム)のチャネル結合スキーム(例えば、反相関信号チャネル結合スキームまたは相関信号チャネル結合スキーム)のチャネル結合比係数は、事前設定された固定値であり得ることが理解されよう。当然のことながら、オーディオフレームのチャネル結合比係数はまた、オーディオフレームのチャネル結合スキームに基づいて判定されてもよい。
以下、相関から反相関に信号符号化を切り替えるモードおよび反相関から相関に信号符号化を切り替えるモードのシナリオを説明するために例を使用する。相関から反相関に信号符号化を切り替えるモードおよび反相関から相関に信号符号化を切り替えるモードに対応する時間領域ダウンミックス処理方式は、例えば、セグメント化された時間領域ダウンミックス処理方式である。
現在のフレームのチャネル結合スキームが前のフレームのチャネル結合スキームとは異なる場合、現在のフレームの符号化モードは、相関から反相関に信号符号化を切り替えるモードまたは反相関から相関に信号符号化を切り替えるモードであると判定され得る。現在のフレームの符号化モードが相関から反相関に信号符号化を切り替えるモードまたは反相関から相関に信号符号化を切り替えるモードである場合、例えば、現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて、セグメント化された時間領域ダウンミックス処理が現在のフレームの左右のチャネル信号に対して実行され得る。
具体的には、例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードアウト係数であってもよい。
対応して、以下、相関から反相関に信号復号を切り替えるモードおよび反相関から相関に信号復号を切り替えるモードのシナリオを説明するために例を使用する。相関から反相関に信号復号を切り替えるモードおよび反相関から相関に信号復号を切り替えるモードに対応する時間領域ダウンミックス処理方式は、例えば、セグメント化された時間領域ダウンミックス処理方式である。
具体的には、例えば、
である。当然のことながら、fade_in(n)は、代替的に、nに基づいた別の関数関係のフェードイン係数であってもよい。当然のことながら、fade_out(n)は、代替的に、nに基づいた別の関数関係のフェードアウト係数であってもよい。
様々なマッピング処理方式があり得、具体的には、例えば、
であり、
diff_lt_corr_mapは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータを示し、
MAP_MAXは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最大値を示し、MAP_HIGHは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの高閾値を示し、MAP_LOWは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの低閾値を示し、MAP_MINは、現在のフレームの左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの最小値を示し、
MAP_MAX>MAP_HIGH>MAP_LOW>MAP_MINであり、
RATIO_MAXは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_HIGHは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの高閾値を示し、RATIO_LOWは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの低閾値を示し、RATIO_MINは、現在のフレームの左右のチャネル信号間のものである振幅制限された振幅相関差分パラメータの最小値を示し、
RATIO_MAX>RATIO_HIGH>RATIO_LOW>RATIO_MINである。
例えば、現在のフレームの元からの左右のチャネル信号に対して時間領域の前処理を実行することは、現在のフレームの時間領域の前処理を受けた左右のチャネル信号を取得するために、現在のフレームの元からの左右のチャネル信号に対してハイパスフィルタ処理を実行することであって、現在のフレームの時間領域の前処理を受けた左チャネル信号はxL_HP(n)として示され、現在のフレームの時間領域の前処理を受けた右チャネル信号はxR_HP(n)として示される、ことを含み得る。ここで、nはサンプリング点番号であり、n=0,1,・・・,N−1である。ハイパスフィルタ処理で使用されるフィルタは、例えば、カットオフ周波数が20Hzの無限インパルス応答(IIR:Infinite Impulse Response)フィルタであってもよいし、別の種類のフィルタであってもよい。
遅延アライメント処理を受けた信号は、「遅延アライメントされた信号」と簡単に呼ばれ得る。例えば、遅延アライメント処理を受けた左チャネル信号は、「遅延アライメントされた左チャネル信号」と簡単に呼ばれ、遅延アライメント処理を受けた右チャネル信号は、「遅延アライメントされたチャネル信号」と簡単に呼ばれ得る。
具体的には、時間領域解析は過渡検出などを含み得る。過渡検出は、現在のフレームの遅延アライメント処理を受けた左右のチャネル信号に対して実行されるエネルギー検出であり得る(具体的には、現在のフレームに急激なエネルギー変化があるか否かを検出し得る)。例えば、現在のフレームの遅延アライメント処理を受けた左チャネル信号のエネルギーはEcur_Lで表され、前のフレームの遅延アライメントを受けた左チャネル信号のエネルギーはEpre_Lで表される。この場合、現在のフレームの遅延アライメント処理を受けた左チャネル信号の過渡検出結果を取得するために、Epre_LとEcur_Lとの差の絶対値に基づいて過渡検出が実行され得る。同様に、現在のフレームの遅延アライメント処理を受けたチャネル信号に対して、同じ方法を使用することにより過渡検出が実行され得る。時間領域解析は、過渡検出以外の別の従来の方式での時間領域解析をさらに含んでもよく、例えば、周波数帯域拡大前処理を含んでもよい。
例えば、現在のフレームのチャネル結合スキームフラグtdm_SM_flagが1に等しく(例えば、tdm_SM_flagが1に等しいことは、現在のフレームのチャネル結合スキームフラグが反相関信号チャネル結合スキームに対応することを示す)、かつ前のフレームのチャネル結合スキームフラグtdm_last_SM_flagが0に等しい(例えば、tdm_last_SM_flagが0に等しいことは、のフレームのチャネル結合スキームフラグが相関信号チャネル結合スキームに対応することを示す)場合、現在のフレームの反相関信号チャネル結合スキームに対応するチャネル結合比係数の計算に使用される履歴バッファをリセットする必要があることを示す。
現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するための別の方法が、
まず、現在のフレームの左チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_LM_modを取得するために、現在のフレームの遅延アライメント処理を受けた左チャネル信号と参照チャネル信号との間の振幅相関パラメータcorr_LMを変更し、現在のフレームの右チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_RM_modを取得するために、現在のフレームの遅延アライメント処理を受けた右チャネル信号と参照チャネル信号との間の振幅相関パラメータcorr_RMを変更する、ことと、
次に、現在のフレームの左チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_LM_mod、現在のフレームの右チャネル信号と参照チャネル信号との間の変更された振幅相関パラメータcorr_RM_mod、前のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_LM_SMpre、および前のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_RM_SMpreに基づいて、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関差分パラメータdiff_lt_corr_LM_tmpおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関差分パラメータdiff_lt_corr_RM_tmpを判定することと、
次に、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関差分パラメータdiff_lt_corr_LM_tmpおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関差分パラメータdiff_lt_corr_RM_tmpに基づいて、現在のフレームの左右のチャネル間の振幅相関差分パラメータの初期値diff_lt_corr_SMを取得し、現在のフレームの左右チャネル間の振幅相関差分パラメータの取得された初期値diff_lt_corr_SMおよび前のフレームの左右のチャネル間の振幅相関差分パラメータtdm_last_diff_lt_corr_SMに基づいて、現在のフレームの左右チャネル間の振幅相関差分のフレーム間変動パラメータd_lt_corrを判定する、ことと、
最後に、信号エネルギー解析で取得された、現在のフレームの左チャネル信号のフレームエネルギー、現在のフレームの右チャネル信号のフレームエネルギー、現在のフレームの左チャネルの長時間平滑化フレームエネルギー、現在のフレームの右チャネルの長時間平滑化フレームエネルギー、現在のフレームの左チャネルのフレーム間エネルギー差分、および現在のフレームの右チャネルのフレーム間エネルギー差分、ならびに現在のフレームの左右のチャネル間の振幅相関差分のフレーム間変動パラメータに基づいて、異なる左チャネル平滑化係数および右チャネル平滑化係数を適応的に選択し、現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_LM_SMおよび現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータtdm_lt_corr_RM_SMを計算する、こととを含み得る。
90842.現在のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関差分パラメータと、現在のフレームの右チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関差分パラメータとに基づいて、現在のフレームの左右のチャネル間の振幅相関差分パラメータdiff_lt_corrを計算する。
相関信号チャネル結合スキームは0で表され、反相関信号チャネル結合スキームは1で表されると仮定されている。この場合、前のフレームと現在のフレームとのチャネル結合スキームフラグのジョイントフラグは、次の4つのケース、すなわち、(01)、(11)、(10)、および(00)を有し、現在のフレームの符号化モードは、相関信号符号化モード、反相関信号符号化モード、相関から反相関に信号符号化を切り替えるモード、および反相関から相関に信号符号化を切り替えるモードとして判定される。例えば、前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(00)である場合、現在のフレームの符号化モードが相関信号符号化モードであることを示す、または前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(11)である場合、現在のフレームの符号化モードが反相関信号符号化モードであることを示す、または前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(01)である場合、現在のフレームの符号化モードが相関から反相関に信号符号化を切り替えるモードであることを示す、または前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(10)である場合、現在のフレームの符号化モードが反相関から相関に信号符号化を切り替えるモードであることを示す。
現在のフレームのチャネル結合スキームおよび前のフレームのチャネル結合スキームに基づいて現在のフレームの復号モードを判定することについては、ステップ909における現在のフレームの符号化モードを判定するための方法を参照されたい。現在のフレームの復号モードは、複数の復号モードのうちの1つである。例えば、複数の復号モードは、相関から反相関に信号復号を切り替えるモード、反相関から相関に信号復号を切り替えるモード、相関信号復号モード、および反相関信号復号モードを含み得る。符号化モードと復号モードとは1対1の対応関係にある。
例えば、前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(00)である場合、現在のフレームの復号モードが相関信号復号モードであることを示す、または前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(11)である場合、現在のフレームの復号モードが反相関信号復号モードであることを示す、または前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(01)である場合、現在のフレームの復号モードが相関から反相関に信号復号を切り替えるモードであることを示す、または前のフレームおよび現在のフレームのチャネル結合スキームフラグのジョイントフラグが(10)である場合、現在のフレームの復号モードが反相関から相関に信号復号を切り替えるモードであることを示す。
以上、本出願の実施形態における方法を詳細に説明した。以下、本出願の実施形態における装置を説明する
メモリ1120は、ランダムアクセスメモリ(RAM:Random Access Memory)、読み取り専用メモリ(ROM:Read−Only Memory)、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable Programmable Read Only Memory)、またはコンパクトディスク読み取り専用メモリ(CD−ROM:Compact Disc Read−Only Memory)を含むが、これらに限定されない。メモリ1102は、関連する命令および関連するデータを記憶するように構成される。
プロセッサ1110は、1つまたは複数の中央演算処理装置(CPU:Central Processing Unit)であってもよい。プロセッサ1110が1つのCPUである場合、CPUはシングルコアCPUであってもよいし、マルチコアCPUであってもよい。プロセッサ1110は、具体的にはデジタルシグナルプロセッサであってもよい。

Claims (29)

  1. 現在のフレームのチャネル結合スキームを判定するステップと、
    前記現在のフレームの前記チャネル結合スキームに基づいて前記現在のフレームの時間領域ステレオパラメータを判定するステップと、
    前記現在のフレームの前記判定された時間領域ステレオパラメータを符号化するステップであって、前記時間領域ステレオパラメータがチャネル結合比係数およびチャネル間時間差分のうちの少なくとも一方を含む、ステップと
    を含む、時間領域ステレオパラメータ符号化方法。
  2. 前記現在のフレームの前記チャネル結合スキームが複数のチャネル結合スキームのうちの1つであり、前記複数のチャネル結合スキームが反相関信号チャネル結合スキームおよび相関信号チャネル結合スキームを含み、前記相関信号チャネル結合スキームが略同相信号に対応するチャネル結合スキームであり、前記反相関信号チャネル結合スキームが略非同相信号に対応するチャネル結合スキームである、請求項1に記載の方法。
  3. 前記現在のフレームの前記チャネル結合スキームが前記相関信号チャネル結合スキームであると判定された場合、前記現在のフレームの前記時間領域ステレオパラメータは、前記現在のフレームの前記相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであり、前記現在のフレームの前記チャネル結合スキームが前記反相関信号チャネル結合スキームであると判定された場合、前記現在のフレームの前記時間領域ステレオパラメータは、前記現在のフレームの前記反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである、請求項2に記載の方法。
  4. 前記現在のフレームの前記チャネル結合スキームに基づいて前記現在のフレームの時間領域ステレオパラメータを判定する前記ステップが、
    前記現在のフレームの左チャネル信号および右チャネル信号に基づいて前記現在のフレームの参照チャネル信号を取得するステップと、
    前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の振幅相関パラメータを計算するステップと、
    前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の振幅相関パラメータを計算するステップと、
    前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータおよび前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記左右のチャネル信号間の振幅相関差分パラメータを計算するステップと、
    前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに基づいて、前記現在のフレームの前記反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算するステップとを含む、請求項2または3に記載の方法。
  5. であり、
    mono_i(n)は前記現在のフレームの前記参照チャネル信号を示し、
    x’L(n)は前記現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、x’R(n)は前記現在のフレームの遅延アライメント処理を受けた右チャネル信号を示し、corr_LMは前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータを示し、corr_RMは前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータを示す、請求項4に記載の方法。
  6. 前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータおよび前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記左右のチャネル信号間の振幅相関差分パラメータを計算する前記ステップが、
    前記現在のフレームの遅延アライメント処理を受けた前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するステップと、前記現在のフレームの遅延アライメント処理を受けた前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算するステップと、
    前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータおよび前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータに基づいて、前記現在のフレームの前記左右のチャネル間の前記振幅相関差分パラメータを計算するステップとを含む、請求項4または5に記載の方法。
  7. tdm_lt_corr_LM_SMcur=α*tdm_lt_corr_LM_SMpre+(1−α)corr_LMであり、
    tdm_lt_rms_L_SMcur=(1−A)*tdm_lt_rms_L_SMpre+A*rms_Lであり、Aは前記現在のフレームの前記左チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_L_SMcurは前記現在のフレームの前記左チャネル信号の前記長時間平滑化フレームエネルギーを示し、rms_Lは前記現在のフレームの前記左チャネル信号のフレームエネルギーを示し、tdm_lt_corr_LM_SMcurは前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_LM_SMpreは前のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、αは左チャネル平滑化係数を示し、
    tdm_lt_corr_RM_SMcur=β*tdm_lt_corr_RM_SMpre+(1−β)corr_LMであり、
    tdm_lt_rms_R_SMcur=(1−B)*tdm_lt_rms_R_SMpre+B*rms_Rであり、Bは前記現在のフレームの前記右チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_R_SMpreは前記現在のフレームの前記右チャネル信号の前記長時間平滑化フレームエネルギーを示し、rms_Rは前記現在のフレームの前記右チャネル信号のフレームエネルギーを示し、tdm_lt_corr_RM_SMcurは前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMpreは前記前のフレームの右チャネル信号と前記参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、βは右チャネル平滑化係数を示す、請求項6に記載の方法。
  8. diff_lt_corr=tdm_lt_corr_LM_SM−tdm_lt_corr_RM_SMであり、ここで
    tdm_lt_corr_LM_SMは、前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMは、前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、diff_lt_corrは、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータを示す、請求項6または7に記載の方法。
  9. 前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに基づいて、前記現在のフレームの前記反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算する前記ステップが、
    前記現在のフレームの前記左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの値の範囲が[MAP_MIN,MAP_MAX]となり得るように、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに対して前記マッピング処理を実行するステップと、前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを前記チャネル結合比係数に変換するステップとを含む、請求項6から8のいずれか一項に記載の方法。
  10. 前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに対してマッピング処理を実行する前記ステップが、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに対して振幅制限を実行するステップと、前記現在のフレームの前記左右のチャネル信号間の振幅制限された振幅相関差分パラメータに対してマッピング処理を実行するステップとを含む、請求項9に記載の方法。
  11. であり、ここで
    RATIO_MAXは、前記現在のフレームの前記左右のチャネル信号間の前記振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_MINは、前記現在のフレームの前記左右のチャネル信号間の前記振幅制限された振幅相関差分パラメータの最小値を示し、RATIO_MAX>RATIO_MINである、請求項10に記載の方法。
  12. であり、
    diff_lt_corr_mapは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを示し、
    MAP_MAXは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの最大値を示し、MAP_HIGHは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの高閾値を示し、MAP_LOWは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの低閾値を示し、MAP_MINは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの最小値を示し、
    MAP_MAX>MAP_HIGH>MAP_LOW>MAP_MINであり、
    RATIO_MAXは、前記現在のフレームの前記左右のチャネル信号間のものである前記振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_HIGHは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの高閾値を示し、RATIO_LOWは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの低閾値を示し、RATIO_MINは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの最小値を示し、
    RATIO_MAX>RATIO_HIGH>RATIO_LOW>RATIO_MINである、請求項10または11に記載の方法。
  13. であり、ここで
    diff_lt_corr_limitは、前記現在のフレームの前記左右のチャネル信号間の前記振幅制限された振幅相関差分パラメータを示し、diff_lt_corr_mapは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを示し、
    であり、
    RATIO_MAXは、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータの最大振幅を示し、−RATIO_MAXは、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータの最小振幅を示す、請求項10または11に記載の方法。
  14. であり、ここで
    diff_lt_corr_mapは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを示し、ratio_SMは、前記現在のフレームの前記反相関信号チャネル結合スキームに対応する前記チャネル結合比係数を示す、請求項9から13のいずれか一項に記載の方法。
  15. 互いに結合されたプロセッサとメモリとを備える時間領域ステレオパラメータ符号化装置であって、
    前記プロセッサが、
    現在のフレームのチャネル結合スキームを判定するステップと、
    前記現在のフレームの前記チャネル結合スキームに基づいて前記現在のフレームの時間領域ステレオパラメータを判定するステップと、
    前記現在のフレームの前記判定された時間領域ステレオパラメータを符号化するステップであって、前記時間領域ステレオパラメータが、チャネル結合比係数およびチャネル間時間差分のうちの少なくとも一方を含む、ステップとを実行するように構成される、時間領域ステレオパラメータ符号化装置。
  16. 前記現在のフレームの前記チャネル結合スキームが複数のチャネル結合スキームのうちの1つであり、前記複数のチャネル結合スキームが反相関信号チャネル結合スキームおよび相関信号チャネル結合スキームを含み、前記相関信号チャネル結合スキームが略同相信号に対応するチャネル結合スキームであり、前記反相関信号チャネル結合スキームが略非同相信号に対応するチャネル結合スキームである、請求項15に記載の装置。
  17. 前記現在のフレームの前記チャネル結合スキームが前記相関信号チャネル結合スキームであると判定された場合、前記現在のフレームの前記時間領域ステレオパラメータは、前記現在のフレームの前記相関信号チャネル結合スキームに対応する時間領域ステレオパラメータであり、前記現在のフレームの前記チャネル結合スキームが前記反相関信号チャネル結合スキームであると判定された場合、前記現在のフレームの前記時間領域ステレオパラメータは、前記現在のフレームの前記反相関信号チャネル結合スキームに対応する時間領域ステレオパラメータである、請求項16に記載の装置。
  18. 前記プロセッサが前記現在のフレームの前記チャネル結合スキームに基づいて前記現在のフレームの前記時間領域ステレオパラメータを判定することが、
    前記現在のフレームの左チャネル信号および右チャネル信号に基づいて前記現在のフレームの参照チャネル信号を取得することと、前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の振幅相関パラメータを計算することと、前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の振幅相関パラメータを計算することと、前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータおよび前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記左右のチャネル信号間の振幅相関差分パラメータを計算することと、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに基づいて、前記現在のフレームの前記反相関信号チャネル結合スキームに対応するチャネル結合比係数を計算することとを含む、請求項16または17に記載の装置。
  19. であり、
    mono_i(n)は前記現在のフレームの前記参照チャネル信号を示し、
    x’L(n)は前記現在のフレームの遅延アライメント処理を受けた左チャネル信号を示し、x’R(n)は前記現在のフレームの遅延アライメント処理を受けた右チャネル信号を示し、corr_LMは前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータを示し、corr_RMは前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータを示す、請求項18に記載の装置。
  20. 前記プロセッサが、前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータおよび前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータを計算することが、
    前記現在のフレームの遅延アライメント処理を受けた前記左チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算することと、前記現在のフレームの遅延アライメント処理を受けた前記右チャネル信号と前記参照チャネル信号との間の前記振幅相関パラメータに基づいて、前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の長時間平滑化振幅相関パラメータを計算することと、
    前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータおよび前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータに基づいて、前記現在のフレームの前記左右のチャネル間の前記振幅相関差分パラメータを計算することとを含む、請求項18または19に記載の装置。
  21. tdm_lt_corr_LM_SMcur=α*tdm_lt_corr_LM_SMpre+(1−α)corr_LMであり、
    tdm_lt_rms_L_SMcur=(1−A)*tdm_lt_rms_L_SMpre+A*rms_Lであり、Aは前記現在のフレームの前記左チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_L_SMcurは前記現在のフレームの前記左チャネル信号の前記長時間平滑化フレームエネルギーを示し、rms_Lは前記現在のフレームの前記左チャネル信号のフレームエネルギーを示し、tdm_lt_corr_LM_SMcurは前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_LM_SMpreは前のフレームの左チャネル信号と参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、αは左チャネル平滑化係数を示し、
    tdm_lt_corr_RM_SMcur=β*tdm_lt_corr_RM_SMpre+(1−β)corr_LMであり、
    tdm_lt_rms_R_SMcur=(1−B)*tdm_lt_rms_R_SMpre+B*rms_Rであり、Bは前記現在のフレームの前記右チャネル信号の長時間平滑化フレームエネルギーの更新係数を示し、tdm_lt_rms_R_SMpreは前記現在のフレームの前記右チャネル信号の前記長時間平滑化フレームエネルギーを示し、rms_Rは前記現在のフレームの前記右チャネル信号のフレームエネルギーを示し、tdm_lt_corr_RM_SMcurは前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMpreは前記前のフレームの右チャネル信号と前記参照チャネル信号との間の長時間平滑化振幅相関パラメータを示し、βは右チャネル平滑化係数を示す、請求項20に記載の装置。
  22. diff_lt_corr=tdm_lt_corr_LM_SM−tdm_lt_corr_RM_SMであり、ここで
    tdm_lt_corr_LM_SMは、前記現在のフレームの前記左チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、tdm_lt_corr_RM_SMは、前記現在のフレームの前記右チャネル信号と前記参照チャネル信号との間の前記長時間平滑化振幅相関パラメータを示し、diff_lt_corrは、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータを示す、請求項20または21に記載の装置。
  23. 前記プロセッサが、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに基づいて、前記現在のフレームの前記反相関信号チャネル結合スキームに対応する前記チャネル結合比係数を計算することが、
    前記現在のフレームの前記左右のチャネル信号間のものであり、かつマッピング処理を受けた振幅相関差分パラメータの値の範囲が[MAP_MIN,MAP_MAX]となり得るように、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに対して前記マッピング処理を実行することと、前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを前記チャネル結合比係数に変換することとを含む、請求項20から22のいずれか一項に記載の装置。
  24. 前記プロセッサが、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに対してマッピング処理を実行することが、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータに対して振幅制限を実行することと、前記現在のフレームの前記左右のチャネル信号間の振幅制限された振幅相関差分パラメータに対してマッピング処理を実行することとを含む、請求項23に記載の装置。
  25. であり、ここで
    RATIO_MAXは前記現在のフレームの前記左右のチャネル信号間の前記振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_MINは前記現在のフレームの前記左右のチャネル信号間の前記振幅制限された振幅相関差分パラメータの最小値を示し、RATIO_MAX>RATIO_MINである、請求項24に記載の装置。
  26. であり、
    diff_lt_corr_mapは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを示し、
    MAP_MAXは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの最大値を示し、MAP_HIGHは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの高閾値を示し、MAP_LOWは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの低閾値を示し、MAP_MINは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの最小値を示し、
    MAP_MAX>MAP_HIGH>MAP_LOW>MAP_MINであり、
    RATIO_MAXは、前記現在のフレームの前記左右のチャネル信号間のものである前記振幅制限された振幅相関差分パラメータの最大値を示し、RATIO_HIGHは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの高閾値を示し、RATIO_LOWは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの低閾値を示し、RATIO_MINは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータの最小値を示し、
    RATIO_MAX>RATIO_HIGH>RATIO_LOW>RATIO_MINである、請求項24または25に記載の装置。
  27. であり、ここで
    diff_lt_corr_limitは、前記現在のフレームの前記左右のチャネル信号間の前記振幅制限された振幅相関差分パラメータを示し、diff_lt_corr_mapは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを示し、
    であり、
    RATIO_MAXは、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータの最大振幅を示し、−RATIO_MAXは、前記現在のフレームの前記左右のチャネル信号間の前記振幅相関差分パラメータの最小振幅を示す、請求項24または25に記載の装置。
  28. であり、ここで
    diff_lt_corr_mapは、前記現在のフレームの前記左右のチャネル信号間のものであり、かつ前記マッピング処理を受けた前記振幅相関差分パラメータを示し、ratio_SMは、前記現在のフレームの前記反相関信号チャネル結合スキームに対応する前記チャネル結合比係数を示す、請求項23から27のいずれか一項に記載の装置。
  29. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体が、プログラムコードを記憶し、前記プログラムコードが請求項1から14のいずれか一項に記載の方法を実行するために使用される命令を含む、コンピュータ可読記憶媒体。
JP2020507664A 2017-08-10 2018-08-10 時間領域ステレオパラメータ符号化方法および関連製品 Active JP6977147B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021182563A JP7309813B2 (ja) 2017-08-10 2021-11-09 時間領域ステレオパラメータ符号化方法および関連製品
JP2023110920A JP2023129450A (ja) 2017-08-10 2023-07-05 時間領域ステレオパラメータ符号化方法および関連製品

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710680858.0A CN109389986B (zh) 2017-08-10 2017-08-10 时域立体声参数的编码方法和相关产品
CN201710680858.0 2017-08-10
PCT/CN2018/099887 WO2019029680A1 (zh) 2017-08-10 2018-08-10 时域立体声参数的编码方法和相关产品

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021182563A Division JP7309813B2 (ja) 2017-08-10 2021-11-09 時間領域ステレオパラメータ符号化方法および関連製品

Publications (2)

Publication Number Publication Date
JP2020529637A true JP2020529637A (ja) 2020-10-08
JP6977147B2 JP6977147B2 (ja) 2021-12-08

Family

ID=65273327

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020507664A Active JP6977147B2 (ja) 2017-08-10 2018-08-10 時間領域ステレオパラメータ符号化方法および関連製品
JP2021182563A Active JP7309813B2 (ja) 2017-08-10 2021-11-09 時間領域ステレオパラメータ符号化方法および関連製品
JP2023110920A Pending JP2023129450A (ja) 2017-08-10 2023-07-05 時間領域ステレオパラメータ符号化方法および関連製品

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021182563A Active JP7309813B2 (ja) 2017-08-10 2021-11-09 時間領域ステレオパラメータ符号化方法および関連製品
JP2023110920A Pending JP2023129450A (ja) 2017-08-10 2023-07-05 時間領域ステレオパラメータ符号化方法および関連製品

Country Status (9)

Country Link
US (2) US11727943B2 (ja)
EP (1) EP3657498B1 (ja)
JP (3) JP6977147B2 (ja)
KR (4) KR102632523B1 (ja)
CN (5) CN117133297A (ja)
BR (1) BR112020002626A2 (ja)
SG (1) SG11202001144WA (ja)
TW (1) TWI691953B (ja)
WO (1) WO2019029680A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133297A (zh) * 2017-08-10 2023-11-28 华为技术有限公司 时域立体声参数的编码方法和相关产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017049397A1 (en) * 2015-09-25 2017-03-30 Voiceage Corporation Method and system using a long-term correlation difference between left and right channels for time domain down mixing a stereo sound signal into primary and secondary channels

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
EP1749296B1 (en) * 2004-05-28 2010-07-14 Nokia Corporation Multichannel audio extension
US7983922B2 (en) 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US8041042B2 (en) * 2006-11-30 2011-10-18 Nokia Corporation Method, system, apparatus and computer program product for stereo coding
KR101411901B1 (ko) 2007-06-12 2014-06-26 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
BR122020009732B1 (pt) * 2008-05-23 2021-01-19 Koninklijke Philips N.V. Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais
CN101826326B (zh) 2009-03-04 2012-04-04 华为技术有限公司 一种立体声编码方法、装置和编码器
WO2011073600A1 (fr) * 2009-12-18 2011-06-23 France Telecom Codage/decodage parametrique stereo avec optimisation du traitement de reduction des canaux
CN102157151B (zh) * 2010-02-11 2012-10-03 华为技术有限公司 一种多声道信号编码方法、解码方法、装置和系统
CN102157152B (zh) * 2010-02-12 2014-04-30 华为技术有限公司 立体声编码的方法、装置
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
EP2633520B1 (en) 2010-11-03 2015-09-02 Huawei Technologies Co., Ltd. Parametric encoder for encoding a multi-channel audio signal
KR101525185B1 (ko) 2011-02-14 2015-06-02 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 트랜지언트 검출 및 품질 결과를 사용하여 일부분의 오디오 신호를 코딩하기 위한 장치 및 방법
US9530419B2 (en) * 2011-05-04 2016-12-27 Nokia Technologies Oy Encoding of stereophonic signals
KR101621287B1 (ko) * 2012-04-05 2016-05-16 후아웨이 테크놀러지 컴퍼니 리미티드 다채널 오디오 신호 및 다채널 오디오 인코더를 위한 인코딩 파라미터를 결정하는 방법
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2840811A1 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
CN104681029B (zh) * 2013-11-29 2018-06-05 华为技术有限公司 立体声相位参数的编码方法及装置
CN103700372B (zh) * 2013-12-30 2016-10-05 北京大学 一种基于正交解相关技术的参数立体声编码、解码方法
US9838819B2 (en) 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
US10109284B2 (en) * 2016-02-12 2018-10-23 Qualcomm Incorporated Inter-channel encoding and decoding of multiple high-band audio signals
CN108269577B (zh) * 2016-12-30 2019-10-22 华为技术有限公司 立体声编码方法及立体声编码器
CN117133297A (zh) * 2017-08-10 2023-11-28 华为技术有限公司 时域立体声参数的编码方法和相关产品

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017049397A1 (en) * 2015-09-25 2017-03-30 Voiceage Corporation Method and system using a long-term correlation difference between left and right channels for time domain down mixing a stereo sound signal into primary and secondary channels

Also Published As

Publication number Publication date
KR20230020554A (ko) 2023-02-10
CN117198302A (zh) 2023-12-08
KR20220041233A (ko) 2022-03-31
SG11202001144WA (en) 2020-03-30
BR112020002626A2 (pt) 2020-07-28
TWI691953B (zh) 2020-04-21
US20200175998A1 (en) 2020-06-04
KR102492600B1 (ko) 2023-01-30
KR20240016461A (ko) 2024-02-06
CN117037814A (zh) 2023-11-10
TW201911293A (zh) 2019-03-16
JP6977147B2 (ja) 2021-12-08
CN109389986A (zh) 2019-02-26
WO2019029680A1 (zh) 2019-02-14
US11727943B2 (en) 2023-08-15
KR20200035119A (ko) 2020-04-01
CN117133297A (zh) 2023-11-28
JP2023129450A (ja) 2023-09-14
CN109389986B (zh) 2023-08-22
US20230352033A1 (en) 2023-11-02
JP7309813B2 (ja) 2023-07-18
EP3657498A1 (en) 2020-05-27
KR102632523B1 (ko) 2024-02-02
EP3657498A4 (en) 2020-08-12
CN117292695A (zh) 2023-12-26
EP3657498B1 (en) 2024-05-08
KR102377434B1 (ko) 2022-03-23
RU2020109687A3 (ja) 2021-12-20
JP2022031698A (ja) 2022-02-22
RU2020109687A (ru) 2021-09-14

Similar Documents

Publication Publication Date Title
US20230306972A1 (en) Time-domain stereo encoding and decoding method and related product
EP3664088B1 (en) Audio coding mode determination
JP2023129450A (ja) 時間領域ステレオパラメータ符号化方法および関連製品
US11355131B2 (en) Time-domain stereo encoding and decoding method and related product
JP2021504759A (ja) オーディオエンコーディング及びデコーディング方法並びに関連する製品
RU2772405C2 (ru) Способ стереокодирования и декодирования во временной области и соответствующий продукт
KR102664355B1 (ko) 오디오 코딩/디코딩 모드를 결정하는 방법 및 관련 제품
KR20240066194A (ko) 오디오 코딩/디코딩 모드를 결정하는 방법 및 관련 제품

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211110

R150 Certificate of patent or registration of utility model

Ref document number: 6977147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150