JP2008542819A - オーディオ信号の符号化及び復号化方法 - Google Patents

オーディオ信号の符号化及び復号化方法 Download PDF

Info

Publication number
JP2008542819A
JP2008542819A JP2008513382A JP2008513382A JP2008542819A JP 2008542819 A JP2008542819 A JP 2008542819A JP 2008513382 A JP2008513382 A JP 2008513382A JP 2008513382 A JP2008513382 A JP 2008513382A JP 2008542819 A JP2008542819 A JP 2008542819A
Authority
JP
Japan
Prior art keywords
audio signal
frame
spatial information
additional information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008513382A
Other languages
English (en)
Other versions
JP5118022B2 (ja
JP2008542819A5 (ja
Inventor
オ オー,ヒェン
ウォン ジュン,ヤン
スク パン,ヒー
スー キム,ドン
ヒュン リム,ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060030660A external-priority patent/KR20060122693A/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2008542819A publication Critical patent/JP2008542819A/ja
Publication of JP2008542819A5 publication Critical patent/JP2008542819A5/ja
Application granted granted Critical
Publication of JP5118022B2 publication Critical patent/JP5118022B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • H04H20/88Stereophonic broadcast systems
    • H04H20/89Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Stereophonic System (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】オーディオ信号を符号化(encoding)及び復号化(decoding)する方法を提供する。
【解決手段】前記オーディオ信号を符号化及び復号化する方法を提供するために、本発明は、ダウンミックス信号に空間情報を埋め込む方法及び装置を提供する。このとき、前記ダウンミックス信号を用いて挿入ビット長を求め、前記ダウンミックス信号の挿入ビットに前記空間情報を埋め込むことができる。また、前記ダウンミックス信号に前記空間情報を埋め込むフレーム長を效率的に構成できる方法及び装置を提供する。また、前記空間情報を少なくとも1チャンネルを持つダウンミックス信号に效率的に分割して挿入する方法及び装置を提供する。
【選択図】図15

Description

本発明は、オーディオ信号の符号化(encoding)及び復号化(decoding)方法に関する。
近年、デジタルオーディオ信号に対する様々なコーディング技術及び方法が開発されており、これと関連した製品も生産されている。また、マルチチャネルオーディオ信号の空間情報を用いてモノまたはステレオオーディオ信号をマルチチャネルに変えるコーディング方法が開発されてきている。
しかしながら、オーディオ信号を保存する場合、空間情報を保存できる補助データ領域が存在しない記録媒体がある。したがって、このような場合には、モノまたはステレオオーディオ信号のみを保存または転送することによって、モノまたはステレオオーディオ信号にしか再生されず、音質が単調になる問題点があった。また、空間情報を別個に保存する、または、別個に転送する場合には、一般のモノまたはステレオオーディオ信号の再生器との互換性において問題があった。
本発明は、上記の問題点を解決するためのもので、その目的は、オーディオ信号のコーディングにおいて、一般のモノまたはステレオオーディオ信号の再生器と互換性を持つとともに、補助データ領域が存在しない場合にもマルチチャネルオーディオ信号に対する空間情報を保存または転送できるようにした符号化及び復号化方法を提供することにある。
上記の目的を達成するために、本発明は、オーディオ信号にフレーム単位に付加情報が埋め込まれているものの、該フレームの長さがフレーム毎に定義される場合、または、オーディオ信号にフレーム単位に付加情報がアタッチされた場合のいずれかの場合に、前記付加情報を読み出す段階と、前記読み出された付加情報を用いて前記オーディオ信号をデコーディングする段階と、を含むことを特徴とする、オーディオ信号のデコーディング方法を提供する。
また、上記の目的を達成するために、本発明は、オーディオ信号及び該オーディオ信号成分のうち非知覚的成分に、フレーム毎に定義された長さのフレーム単位に埋め込まれた付加情報、または、前記オーディオ信号の復号化に使用されない領域にフレーム単位にアタッチされた付加情報のいずれかを持つデータ構造を提供する。
また、上記の目的を達成するために、本発明は、オーディオ信号及び該オーディオ信号成分のうち非知覚的成分に、フレーム毎に定義された長さのフレーム単位に埋め込まれた付加情報、または、前記オーディオ信号の復号化に使用されない領域にフレーム単位にアタッチされた付加情報のいずれかを持つデータ構造を提供する。
また、上記の目的を達成するために、本発明は、オーディオ信号にフレーム毎に定義されたフレーム長で付加情報が埋め込まれた場合、または、オーディオ信号にフレーム毎に付加情報がアタッチされた場合のいずれかの場合に、前記付加情報を読み出す付加情報読み出し部と、前記付加情報を用いて前記オーディオ信号をデコーディングするマルチチャネル生成部と、を含むことを特徴とする、オーディオ信号のデコーディング装置を提供する。
本発明は、マルチチャネル信号をコーディングする際に、空間情報をダウンミックス信号に埋め込むことによって、補助データ領域が存在しないストレージ媒体(例えば、ステレオCD)や、補助データ領域が存在しないオーディオデータフォーマットにマルチチャネルオーディオ信号を保存し再生できるようにする方法及び装置を提供することができる。
また、本発明は、空間情報をダウンミックス信号に様々なフレーム長または一定のフレーム長で埋め込む方法及び装置を提供し、該空間情報を少なくとも1チャンネルを持つダウンミックス信号に埋め込む方法及び装置を提供することによって、エンコーディング及びデコーディング効率を向上させることができる。
以下、上記の目的を具体的に実現できる本発明の実施例を、添付の図面を参照しつつ説明する。本発明は、オーディオ信号(audio signal)をデコーディングするのに必要な付加情報(side information)を、前記オーディオ信号に埋め込む(embed)方法及び装置に関する。ただし、便宜上、本明細書では前記オーディオ信号及び付加情報をそれぞれ、ダウンミックス信号(downmix signal)及び空間情報(spatial information)として記述するが、本発明がこれに限定されることはない。また、該オーディオ信号は、PCM信号を含む。
図1は、本発明によるオーディオ信号(audio signal)に対する空間情報(spatialin formation)を人間が認識する方法を示す。マルチチャネルオーディオ信号に対するコーディング方法は、人間がオーディオ信号を3次元的空間として認知するという事実から、複数のパラメータセット(parameter sets)を用いて前記オーディオ信号を3次元的空間情報として表現できるということを利用する。マルチチャネルオーディオ信号の空間情報を表示するための“空間パラメータ(spatial parameter)”には、CLD(Channel level differences)、ICC(Inter Channel Coherences)及びCTD(Channel Time Difference)等がある。CLDは、2チャンネル間のエネルギー差を表し、ICCは、2チャンネル間の相関関係(correlation)を表し、CTDは、2チャンネル間の時間差を表す。
人間がオーディオ信号をどのように空間的に認識し、空間パラメータの概念がどのように生成されるかについて、図1に示す。遠距離にある音源(sound source)101からの直接的な一つの音波(direct sound wave)103が人間の左耳107に到達し、他の直接的な音波102は頭の周囲で回折(diffract)して右耳106に到達する。これらの2つの音波102及び103は、到達時間及びエネルギーレベルでズレがあり、このようなズレによってCTD及びCLDパラメータが生成されるわけである。また、もし反射された音波104及び105が両耳に到達する、または、音源101が分散されていると、互いに相関関係を持たない音波が両耳に到達し、これによってICCパラメータが生成される。上記のような原理から生成された空間パラメータを用いて、マルチチャネルオーディオ信号をモノまたはステレオ信号として転送した後、再びマルチチャネルとして出力することができる。本発明は、前記空間情報、すなわち、空間パラメータを前記モノまたはステレオオーディオ信号に埋め込んで転送した後、再びマルチチャネルオーディオ信号に再生できる方法を提供する。本発明は、マルチチャネルオーディオ信号に限定されるわけではないが、本明細書では便宜上、マルチチャネルオーディオ信号について述べるものとする。
図2は、本発明によるエンコーディング装置(encoding apparatus)を示すブロック図である。同図で、まず、エンコーディング装置は、マルチチャネルオーディオ信号(multi−channel audio signal)201を受信する。ここで、Nは、入力チャンネル(input channel)の数を表す。該マルチチャネルオーディオ信号201は、オーディオ信号生成部(audio singnal generating part)203でダウンミックス信号Lo/Ro(205)になる。該ダウンミックス信号205は、モノ(mono)またはステレオ(stereo)オーディオ信号を含み、また、マルチチャネルオーディオ信号になりうる。本明細書では、便宜上、ステレオオーディオ信号について説明するが、本発明がこれに限定されることはない。そして、前記マルチチャネルオーディオ信号の空間情報、すなわち、空間パラメータが付加情報生成部(side information generating part)204で前記マルチチャネルオーディオ信号201から生成される。ここで、空間情報(spatial information)とは、マルチチャネル(例えば、Left、Right、Center、Left surround、Right surround等)オーディオ信号をダウンミックスして生成されたダウンミックス信号205を転送し、該転送されたダウンミックス信号を再びマルチチャネルオーディオ信号にアップミックス(upmix)する時に用いられるオーディオ信号チャンネルに対する情報のことをいう。選択的に、ダウンミックス信号205は、外部から直接提供されるダウンミックス信号、例えば、アーティスティックダウンミックス信号(Artistic down−mix signal)202を用いて生成されても良い。
付加情報生成部204で生成された空間情報は、付加情報エンコーディング部(side information encoding part)206で、転送(transmission)及び保存(storage)のための空間情報ビットストリーム(spatial information bitstream)に符号化(encoding)される過程を経る。該空間情報ビットストリームは、適当に再構成(reshaping)された後、埋め込み部(embedding part)207から転送する信号、すなわち、ダウンミックス信号205に直接挿入されるが、この時、“デジタルオーディオ埋め込み技法(Digital Audio Embedded Method)”を用いれば良い。例えば、ダウンミックス信号205が、空間情報を保存し難いストレージ媒体(storage media)(例えば、ステレオコンパクトディスク(stereo CD))に保存される、または、SPDIF(Sony/Philips Digital Interface)のような方式で転送する元(raw)PCMオーディオ信号である場合、AACなどで圧縮符号化(compression encoding)される場合とは違い、前記空間情報を保存できる補助データ領域(Ancillary Data Field)が存在しない。この場合、前記“デジタルオーディオ埋め込み技法”を用いると、前記元PCMオーディオ信号に音質歪み(sound quality distortion)が生じることなく前記空間情報を埋め込むことができ、該空間情報が埋め込まれたオーディオ信号は、一般的なデコーダ側では元信号と区別されない。すなわち、空間情報が埋め込まれている出力信号(output signal)Lo'/Ro'(208)は、一般的なPCMデコーダから見るとでは入力信号Lo/Ro(205)と同じ信号とみなされる。
上記“デジタルオーディオ埋め込み技法”には、ビット置換符号化方法(Bit Replacement Coding Method)、反響挿入方法(Echo Hiding Method)、帯域拡散通信法(Spread−Spectrum −based Method)などがある。ビット置換符号化方法は、量子化されたオーディオサンプルの下位ビット(lower bit)を変形して所望の情報を挿入する方法で、オーディオ信号において下位ビットの変形(modification)がオーディオ信号の品質にほとんど影響を与えないという特性に基づく方法である。反響挿入方法は、人の耳に聞こえないような小さい大きさの反響(echo)をオーディオ信号に挿入する方法である。帯域拡散通信法は、離散コサイン変換(Discrete Cosine Transform)、離散フーリエ変換(Discrete Fourier Transform)等を用いてオーディオ信号を周波数領域に変換した後に、2進数からなる所望の情報をPN(Pseudo Noise)シーケンス(sequence)に帯域拡散(spread spectrum)し、周波数領域(frequency domain)に変換されたオーディオ信号に添加する方法である。本発明では、上記の埋め込み方法のうち、ビット置換符号化方法について説明するが、本発明がこのビット置換符号化方法に限定されることはない。
図3は、本発明による埋め込み部207を示す詳細ブロック図である。上記のビット置換符号化方法によって空間情報をダウンミックス信号成分のうち非知覚的成分に埋め込む時、該空間情報を埋め込み可能な挿入ビット長(insertion bits length)(以下、K値という。)は、下位1ビットのみを使用するのではなく、定められた方法(pre−decided method)によってK(K>0)ビットを使用することができる。このKビットは、ダウンミックス信号の下位ビット値を使用することができるが、下位ビット値に限定されることはない。ここで、定められた方法とは、例えば、心理音響モデル(Psychoacoustic Model)によるマスキング限界値(Masking Threshold)を求め、該マスキング限界値によって適当なビットを割り当てる(allocating)ことをいう。図示の如く、ダウンミックス信号Lo/Ro(301)は、埋め込み部内のバッファ(buffer)303を経てオーディオ信号エンコーディング部306に転送される。マスキング限界値計算部(masking threshold computing part)304は、入力されたオーディオ信号を一定の区間(section)(例えば、ブロック(block))に分け、該当の区間に対するマスキング限界値を求める。また、マスキング限界値計算部304は、マスキング限界値によって、聴覚的な歪み(aural distortion)が生じることなく変更(modify)可能なダウンミックス信号の挿入ビット長、すなわち、K値を求める。すなわち、前記空間情報を前記ダウンミックス信号に埋め込むのに使用可能なビット数を、ブロック別に割り当てる。本明細書で、ブロックとは、フレーム(frame)内に存在する一つの挿入ビット長(すなわち、K値)を用いて挿入されたデータ単位のことをいう。一つのフレームには、1個以上のブロックが存在でき、したがって、フレーム長が固定されていると、ブロック長は、ブロックの個数が増加するにつれて減少する。前記K値が決定されると、該K値を空間情報ビットストリームに含めることができる。すなわち、ビットストリーム再構成部(bitstream reshaping part)305は、前記K値を含むように前記空間情報ビットストリームを再構成できる。この場合、前記空間情報ビットストリームにはシンクワード(syncword)、誤り検出コード(error detection code)または誤り訂正コード(error correction code)などを含めることができる。
再構成された空間情報ビットストリームは、埋め込み可能な形態に再整列(rearrange)されることができる。再整列された前記空間情報ビットストリームは、オーディオ信号エンコーディング部306で前記ダウンミックス信号に埋め込まれ、前記空間情報ビットストリームが埋め込まれたオーディオ信号Lo’/Ro’(307)として出力される。このとき、前記空間情報ビットストリームは、前記ダウンミックス信号のKビット内に埋め込まれることができる。前記K値は、ブロック内で固定された一つの値を持つことができる。いずれの場合においても、前記K値は前記空間情報ビットストリームの再構成過程または再整列過程で付加情報として挿入されて、デコーディング装置に転送され、デコーディング装置では、前記付加情報を用いて空間情報データを復元することができる。
前述の如く、前記空間情報ビットストリームは、ブロック別に前記ダウンミックス信号に埋め込まれる過程を経る。この過程には、様々な方法が用いられることができる。第1の方法は、単純に前記ダウンミックス信号の下位Kビットのみを0に入れ替えた(substitude)後、再整列(rearrange)された前記空間情報ビットストリームデータを加える方法である。例えば、K値が3で、ダウンミックス信号のあるサンプルデータが11101101で、埋め込むべき空間情報ビットストリームデータが111である場合、前記11101101の下位3ビットを0に入れ替えて11101000にした後、前記空間情報ビットストリームデータ111を加えて11101111にする。
第2の方法は、ディザリング(dithering)方法を利用するもので、まず、再整列された空間情報ビットストリームデータを前記ダウンミックス信号の挿入領域から引いた後に、前記ダウンミックス信号を前記K値に基づいて再量子化し、再量子化された前記ダウンミックス信号に、前記再整列された空間情報ビットストリームデータを加える方法である。例えば、K値が3で、ダウンミックス信号のあるサンプルデータが11101101で、埋め込むべき空間情報ビットストリームデータが111である場合、前記11101101から111を引いて11100110にした後、下位3ビットに対して再量子化を行って11101000(四捨五入を適用)にし、次に、111を加えて11101111にする。
前記ダウンミックス信号に埋め込まれる空間情報ビットストリームは任意のビットストリームであるがために白色雑音的な特性を持たないことがある。ダウンミックス信号に白色雑音形態の信号が加えられることが、音質特性の上で有利なため、前記空間情報ビットストリームを白色化(whitening)する過程を行なってから前記ダウンミックス信号に加えると良い。前記白色化は、シンクワード以外の空間情報ビットストリームに適用されることができる。本発明で白色化とは、オーディオ信号の音量が全ての周波数領域で同一であるか、略同一な大きさを持つランダム信号にすることをいう。また、空間情報ビットストリームをダウンミックス信号に埋め込む過程で、前記空間情報ビットストリームにノイズシェーピング(Noise shaping)技法を適用して聴覚的歪みを最小化することができる。本発明でノイズシェーピングとは、量子化過程で生成される量子化ノイズのエネルギーが可聴周波数帯域以上の高周波数帯域へ移動するようにノイズ特性を変形させる、または、該当のオーディオ信号からマスキング限界値を求め、該マスキング限界値に対応する時変(time−varing)フィルタを生成し、該フィルタによって量子化過程で発生するノイズの特性を変形させる過程のことをいう。
図4は、本発明による空間情報ビットストリームを再整列する第1の方法を示す。上述のように、前記空間情報ビットストリームは、前記K値を用いて埋め込まれることができる形態に再整列できる。このとき、前記空間情報ビットストリームは様々な方式で再整列されて、前記ダウンミックス信号に埋め込まれることができるが、図4は、上記の方式のうち、サンプルプレーン順に前記空間情報を埋め込む方式を示す。該第1の方法は、Kビット単位に該当のブロックに対する前記空間情報ビットストリームを分散し、これを順次に埋め込むことができるように前記空間情報ビットストリームを再整列することである。図示したように、K値が4で、1つのブロック405がN個のサンプル403で構成された場合、空間情報ビットストリーム401は、各サンプルの下位4ビットに順次に埋め込まれることができるように再整列できる。前述の如く、本発明は、各サンプルの下位4ビットにのみ空間情報ビットストリームを埋め込むことに限定されることはない。そして、各サンプルの下位Kビット内では、図示の如く、前記空間情報ビットストリームが最上位ビットから埋め込まれる(MSB(Most Significant Bit) first)、または、最下位ビットから埋め込まれる(LSB(Least Significant Bit) first))。
図4で、矢印404は埋め込まれる方向を表し、括弧中の数字はデータ再整列順序を表す。また、ビットプレーン402は、複数のビットで構成される一定のビット階層をいう。前記空間情報ビットストリームが埋め込まれる挿入領域で、埋め込み可能なビット数よりも埋め込むべき空間情報ビットストリームのビット数が小さい場合には、残りのビットを0で埋める(406)、ランダム信号(Random signal)を入れる、または、元のダウンミックス信号に置換することができる。例えば、ブロックを構成するサンプル数(N)が100で、K値が4である場合、前記ブロックに埋め込み可能なビット数(W)は、W=N*K=100*4=400ビットとなる。もし埋め込むべき空間情報ビットストリームのビット数(V)が390ビットである場合(すなわち、V<Wである場合)、残りの10ビットは0で埋める、ランダム信号を入れる、元のダウンミックス信号に置き換える、データの終わりを知らせるテールビット列(tail sequence)で埋める、または、これらを組みわせて埋めれば良い。前記テールビット列は、該当のブロックで空間情報ビットストリームの終わりを知らせるビット列を意味する。たとえ図4ではブロック毎に残りのビットを埋めているが、上記のような方法で、挿入フレーム毎に残りのビットを埋めても良い。
図5は、本発明による空間情報ビットストリームを再整列する第2の方法を示す。該第2の方法は、空間情報ビットストリーム501をビットプレーン(Bit Plane)502の順に再整列する。この場合、前記空間情報ビットストリームは、ブロック毎に前記ダウンミックス信号の下位ビットから順次に埋め込まれることができるが、本発明はこれに限定されない。例えば、ブロックを構成するサンプル数(N)が100で、K値が4である場合、まず、ビットプレーン0(502)を構成する最下位100ビットをまず埋め、続いてビットプレーン1(502)を構成する100ビットを埋める。
図5で、矢印505は、埋め込まれる方向を表し、括弧中の数字は、データ再整列順序を表す。この第2の方法は、特に、任意の位置でシンクワード(Sync Word)を抽出するのに有利である。上記のようにして再整列及び符号化された信号から、挿入された空間情報ビットストリームのシンクワードを探す時には、LSBのみを抽出してシンクワードを検索すれば良い。また、この第2の方法は、埋め込むべき空間情報ビットストリームのビット数(V)によって、最小のLSBのみを使用する効果が期待できる。この時にも同様に、前記空間情報ビットストリームが埋め込まれる挿入領域で、埋め込み可能なビット数(W)よりも埋め込むべき空間情報ビットストリームのビット数(V)が小さい場合には、上記のように残りのビットを0で埋める(506)、ランダム信号を入れる、元ダウンミックス信号に変える、データの終わりを知らせるテールビット列で埋める、または、これらを組み合わせて埋めれば良い。特に、上記方法のうち、前記ダウンミックス信号をそのまま利用することが有利である。図5ではブロック毎に残りのビットを埋めているが、上記のような方法で挿入フレーム毎に残りのビットを埋めても良い。
図6Aは、本発明によるダウンミックス信号に空間情報ビットストリームを埋め込むためのビットストリーム構造を示す。前述の如く、空間情報ビットストリーム607は、ビットストリーム再構成部305で、該空間情報ビットストリームに対するシンクワード(Sync Word)603とK値604を含むように再構成できる。また、再構成過程で、空間情報ビットストリーム607が転送または保存の際に損傷したか否かを判断できる少なくとも一つの誤り検出コードまたは誤り訂正コード606,608(以下、誤り検出コードと略す。)が、前記再構成された空間情報ビットストリームに含まれることができる。該誤り検出コードは、CRC(Cyclic Redundancy Check)を含む。前記誤り検出コードは、2段階に分けて含めることができるが、K値が含まれたヘッダ601に対する誤り検出コード1(606)と、空間情報ビットストリームのフレームデータ602に対する誤り検出コード2(608)が、前記空間情報ビットストリームに個別に含めることができる。その他情報605が個別に、前記埋め込みのための空間情報ビットストリームに含めることができる。このその他情報605には、空間情報ビットストリームの再整列方法に関する識別情報などが含めることができる。
図6Bは、図6Aの空間情報ビットストリームを示す詳細図である。図示のように、図6Bは、空間情報ビットストリーム610の1フレームが2個のブロックで構成された実施例を示しているが、本発明はこの実施例に限定されない。図6Bの空間情報ビットストリームも、シンクワード612、K値(K1,K2,K3及びK4)613,614,615及び616、その他情報617、誤り検出コード618及び623を含んでなることができる。空間情報ビットストリーム610は、2ブロックで構成されているが、ステレオ信号の場合、ブロック1は左(left)チャンネルと右(Right)チャンネルに対するブロック619及び620で構成され、ブロック2も、左チャンネルと右チャンネルに対するブロック621及び622で構成されることができる。図6Bは、ステレオ信号について示しているが、本発明がこのステレオ信号に限定されることはない。これらのブロックに対する挿入ビット長(K値)は、ヘッダ部分に含まれる。K1613は、ブロック1の左チャンネルに対する挿入ビット長、K2614はブロック1の右チャンネルに対する挿入ビット長、K3615はブロック2の左チャンネルに対する挿入ビット長、K4616はブロック2の右チャンネルに対する挿入ビット長に該当する。また、前記誤り検出コードは2段階に分けて含まれることができるが、K値の含まれたヘッダ609に対する誤り検出コード1(618)と、前記空間情報ビットストリームのフレームデータ611に対する誤り検出コード2(623)が別個に含まれることができる。
図7は、本発明によるデコーディング装置を示すブロック図である。同図に示すように、本発明によるデコーディング装置は、空間情報ビットストリームの埋め込まれたオーディオ信号Lo’/Ro’(701)を受信する。該空間情報ビットストリームが埋め込まれたオーディオ信号は、モノ、ステレオ、またはマルチチャネル信号になり得、便宜上、ここではステレオ信号に基づいて説明するが、本発明はこれに限定されない。なお、埋め込み信号デコーディング部702は、オーディオ信号701から空間情報ビットストリームを抽出できる。埋め込み信号デコーディング部702で抽出された空間情報ビットストリームは、符号化された空間情報ビットストリームであり、該符号化された空間情報ビットストリームは、空間情報デコーディング部703への入力信号になりうる。空間情報デコーディング部703は、前記符号化された空間情報ビットストリームを復号化してマルチチャネル生成部704に出力する。マルチチャネル生成部704は、ダウンミックス信号701及び復号化より得られた空間情報を入力として受信しマルチチャネルオーディオ信号705として出力できる。
図8は、本発明によるデコーディング装置を構成する埋め込み信号デコーディング部702の詳細を示す。この埋め込み信号デコーディング部702には、空間情報の埋め込まれたオーディオ信号Lo’/Ro'(801)が入力され、シンクワード探索部802は、該入力されたオーディオ信号801からシンクワード(Sync Word)を検出する。該シンクワードは、前記オーディオ信号の一チャンネルから検出することができる。該シンクワードが検出された後に、ヘッダデコーディング部803は、ヘッダ領域をデコーディングする。このとき、該ヘッダ領域からあらかじめ指定された大きさの情報を読み出し、データ逆変形部804は、読み出された情報のうち、シンクワード以外のヘッダ領域情報に逆白色化技法を適用することができる。次に、この逆白色化技法の適用されたヘッダ領域情報から前記ヘッダ領域の大きさ情報などを得ることができる。また、データ逆変形部804は、残りの空間情報ビットストリームに対しても逆白色化技法を適用できる。このヘッダデコーディングによってK値などの付加情報を得、該付加情報を用いて、再整列された空間情報ビットストリームを再び整列することによって本来の空間情報ビットストリーム805を得ることができる。また、ダウンミックス信号と空間情報ビットストリームのフレームを整列するためのシンク位置(Sync Position)情報、すなわち、フレーム整列情報806を得ることができる。
図9は、本発明によるオーディオ信号を一般のPCMデコーディング装置で再生する様子を示す。すなわち、図9は、空間情報ビットストリームの埋め込まれたオーディオ信号Lo’/Ro’(901)が、一般のPCMデコーディング装置の入力として印加される場合を示す。この場合、一般のPCMデコーディング装置は、前記空間情報ビットストリームの埋め込まれたオーディオ信号Lo’/Ro’(901)を、正常なステレオオーディオ信号と認識して音声を再生する。該再生された音声は、音質の点では、空間情報の埋め込まれる前のオーディオ信号902と区別されない。したがって、本発明による空間情報が埋め込まれたオーディオ信号は、一般のPCMデコーディング装置において正常なステレオ信号を再生する互換性を有し、マルチチャネルに復号化可能なデコーダでマルチチャネルオーディオ信号を提供できる長所を有する。
図10は、本発明によるダウンミックス信号に空間情報ビットストリームを埋め込むエンコーディング方法を示すフローチャートである。まず、マルチチャネルオーディオ信号(1001)からオーディオ信号をダウンミックス(1002)する。このダウンミックス信号は、モノ、ステレオまたはマルチチャネル信号のうちの1つとすることができる。また、マルチチャネルオーディオ信号(1001)から空間情報を抽出(1003)し、該空間情報を用いて空間情報ビットストリームを生成(1004)する。その後、前記空間情報ビットストリームを前記ダウンミックス信号に埋め込み(1005)、前記空間情報ビットストリームの埋め込まれたダウンミックス信号を含む全体ビットストリームを転送(1006)する。ここで、本発明は、前記ダウンミックス信号を用いて、前記空間情報ビットストリームが埋め込まれる挿入領域の挿入ビット長(すなわち、K値)を求め、前記挿入領域に空間情報ビットストリームを埋め込むことができる。
図11は、本発明によるダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。まず、デコーディング装置は、空間情報ビットストリームが埋め込まれたダウンミックス信号を含む全体ビットストリームを受信(1101)し、該ビットストリームからダウンミックス信号を検出(1102)する。また、前記全体ビットストリームから空間情報ビットストリームを検出及びデコーディング(1103)する。このデコーディングによって空間情報を抽出(1104)し、抽出された空間情報を用いてダウンミックス信号をデコーディング(1105)する。前記ダウンミックス信号は、2チャンネルにデコーディングするか、または、マルチチャネルにデコーディングすることができる。ここで、本発明は、前記全体ビットストリームから前記空間情報ビットストリームの埋め込み方法及びK値に関する情報を読み出し、該読み出された埋め込み方法及びK値を用いて前記空間情報ビットストリームをデコーディングすることができる。
図12は、本発明によるダウンミックス信号に埋め込まれる空間情報ビットストリームのフレーム長を示す。本発明で“フレーム”とは、一つのヘッダを持つ一定の長さの独立した復号化が可能な単位のことをいい、本明細書では通常、“フレーム”が、後続する“挿入フレーム”を意味する。本発明で“挿入フレーム”とは、ダウンミックス信号に空間情報ビットストリームを埋め込む単位のことをいう。この挿入フレーム長は、フレーム毎に定義されるか、または、あらかじめ指定された長さを使用することができる。例えば、図示のように、前記挿入フレーム長は、空間情報を復号化して適用する単位に該当する空間情報ビットストリームのフレーム長(S)(以下、“復号化フレーム長”と略す。)と同一大きさを持つようにする(図12の(a)の場合)、Sの倍数になるようにする(図12の(b)の場合)、または、SがNの倍数になるようにする(図12の(c)場合)方法がある。図12の(a)に示すように、N=Sの場合には、復号化フレーム長(S)1201と前記挿入フレーム長(N)1202が一致するので、復号化過程が容易になる。これに対し、図12の(b)に示すように、N>Sの場合では、複数の復号化フレーム1203を纏めて一つの挿入フレーム大きさ(N)1204として転送し、これにより、ヘッダや誤り検出コード(例えば、CRC)などによって付加されるビット数を低減することができる。図12の(c)に示すように、N<Sの場合では、数個の挿入フレーム(N)1206を纏めて一つの復号化フレーム長(S)1205にすることができる。前記挿入フレームヘッダ内には、空間情報が埋め込まれる挿入ビット長に関する情報、前記挿入フレーム長(N)に関する情報、または、前記挿入フレーム内に含まれるサブフレーム個数に関する情報などが付加情報として挿入されることができる。
図13は、本発明によるダウンミックス信号に挿入フレーム単位で埋め込まれる空間情報ビットストリームを示す。図12の(a)、(b)及び(c)に示す場合はいずれも、前記挿入フレームと前記復号化フレームが互いに整数倍になるように構成される。場合によっては、固定された長さのビットストリーム、例えば、トランスポートストリーム(Transport Stream:TS)1303と同じ形態の上位パケット(packet)を構成して転送しても良い。すなわち、空間情報ビットストリームの復号化フレーム1301の長さによらず、前記空間情報ビットストリーム1301を一定長のパケット単位に纏め、該パケットにTSヘッダ1302などの情報を入れて転送することができる。前記挿入フレーム長は、フレーム毎に定義されても良く、フレーム内で定義せずにあらかじめ指定された長さを使用しても良い。
この方法は、ダウンミックス信号の特性によって、ブロック毎にマスキング限界値が異なり、これにより、前記ダウンミックス信号の音質劣化無しに割り当てうる最大ビット数(K_max)が異なってくる点から、空間情報ビットストリームのデータ転送速度を可変させるために必要である。例えば、前記K_maxが該当のブロックで必要とする空間情報ビットストリームを全て表現するに不足している場合には、K_maxまでデータを転送し、残りは以降の他のブロックで転送すれば良い。K_maxで十分な場合には、次のブロックに対する空間情報ビットストリームをあらかじめ取り込める。この場合、各TSパケットは独立したヘッダを持ち、該ヘッダ内には、シンクワード(Sync Word)、TSパケット長情報、TSパケット内に含まれるサブフレーム数情報またはパケット内で割り当てられた挿入ビット長(K)情報などを含めることができる。
図14Aは、挿入フレーム単位に埋め込まれる空間情報ビットストリームの時間軸整列(time align)問題を解決するための第1の方法を示す。前記挿入フレームの長さはフレーム毎に定義される、または、あらかじめ指定された長さを使用することができる。前記挿入フレーム単位に埋め込む方法は、埋め込まれた空間情報ビットストリームの挿入フレーム開始位置とダウンミックス信号との時間軸整列(time align)が合わないという問題がありうる。したがって、この時間軸整列の問題を解決する方法が必要である。図14Aに示す第1の方法は、空間情報の復号化フレーム1403に対するヘッダ1402(以下、“復号化フレームヘッダ”という。)を別個に置く方法である。復号化フレームヘッダ1402内には、前記空間情報が適用されるオーディオ信号の位置情報が存在しているか否かに関する識別情報を含めることができる。
TSパケット1404及び1405について説明すると、TSパケットヘッダ1404内には、現在のパケット内に復号化フレームヘッダ1402の存在の有無を知らせる識別情報1408(例えば、フラグ)を含めることができる。
もし識別情報1408が1であれば(すなわち、復号化フレームヘッダ1402が存在すれば)、該復号化フレームヘッダから、前記空間情報ビットストリームが適用されるダウンミックス信号の位置情報が存在しているか否かに関する識別情報を読み出すことができる。次に、該読み出された識別情報によって、前記復号化フレームヘッダ1402から、前記空間情報ビットストリームが整列されるべきダウンミックス信号に対する位置情報1409(例えば、遅延(delay)情報)を読み出すことができる。もし、識別情報1411が0であれば、TSパケットのヘッダ内に前記位置情報を含めない。一般に、空間情報ビットストリーム1403は、対応するダウンミックス信号1401よりも先に来ることが好ましいので、位置情報1409は、主として遅延(delay)に対するサンプル値となりうる。一方、遅延が過大なため、サンプル値を表現するのに必要な情報量が過大になる問題を防止すべく、サンプル単位ではなく、一定サンプルを纏めて表現するサンプル群単位(例えば、グラニュール(granule)単位)などを定義し、該サンプル群単位に前記位置情報を表現しても良い。前述したように、前記TSヘッダ内には、TSシンクワード1406、挿入ビット長1407、前記復号化フレームヘッダの存在の有無に関する識別情報及びその他情報1409を含めることができる。
図14bは、フレーム毎に定義された長さの挿入フレームに埋め込まれる空間情報ビットストリームの時間軸整列(time align)問題を解決するための第2の方法を示す。TSパケットで構成される場合について説明すると、第2の方法は、復号化フレームの始点1413、TSパケットの始点、及び対応するダウンミックス信号1412の始点を一致させる方法である。このように一致する部分に対して、上記3つの始点が整列されたことを知らせる識別情報1420または1422(例えば、フラグ)を、前記TSパケットのヘッダ1415内に含めることができる。図14Bでは、ダウンミックス信号のn番目のフレーム1412で上記3つの識別情報が一致している。この場合、識別情報1422は1の値を持つ。もし上記3つの識別情報が一致しないと、識別情報1420は0の値を持つことができる。これら3つの始点を一致させるために、以前のTSパケットに続く一定部分1417(fill部分)は、0で埋められるか、ランダム信号を入れるか、元来のダウンミックスされたオーディオ信号に変えるか、または、これらを組み合わせて埋めることができる。前述したように、TSヘッダ1415内には、TSシンクワード1418、挿入ビット値1419及びその他情報1421を含めることができる。
図15は、本発明によるダウンミックス信号に空間情報ビットストリームがアタッチ(attach)されるように生成する方法を示す。前記空間情報ビットストリームがアタッチされるフレーム(以下、“結合フレーム”という。)の長さは、フレーム毎に定義された長さ単位である、または、フレーム毎に定義されるのではなくあらかじめ指定された一定の長さ単位となりうる。例えば、前記挿入フレーム長は、図示のように、前記空間情報の復号化フレーム1504の長さと互いに整数倍になる、または、固定された長さ単位とすることができる。もし、復号化フレーム長さ1504と前記挿入フレーム長さが異なると、前記空間情報ビットストリームを任意に切って前記挿入フレームには埋め合わせるのではなく、前記空間情報ビットストリームを分離せずに、例えば、復号化フレーム1504と同じ長さ単位に前記挿入フレームを生成すれば良い。このとき、前記空間情報ビットストリームはダウンミックス信号に埋め込まれるように構成することができ、また、前記ダウンミックス信号に埋め込まれずに前記ダウンミックス信号にアタッチされるように構成することができる。PCM信号のようにアナログ信号をデジタル信号に変換した信号(以下、“第1のオーディオ信号”という。)では、前記空間情報ビットストリームが前記第1のオーディオ信号に埋め込まれるように構成することができる。MP3のようにより圧縮されたデジタル信号(以下、“第2のオーディオ信号”という。)では、前記空間情報ビットストリームが前記第2のオーディオ信号にアタッチされるように構成することができる。前記第2のオーディオ信号に対する、例えば前記ダウンミックス信号も、圧縮された形態のビットストリームで表現することができる。したがって、図示のように、圧縮された形態のダウンミックス信号ビットストリーム1502が存在し、このダウンミックス信号ビットストリーム1502に、空間情報に対する復号化フレーム1504長でアタッチすることができる。したがって、本発明では、前記空間情報ビットストリームを一度に集中的(burst)に転送することができる。前記復号化フレームにはヘッダ1503が存在でき、前記ヘッダ1503には、空間情報が適用されるダウンミックス信号の位置情報を含めることができる。
また、本発明では、前記空間情報ビットストリームを圧縮された形態の結合フレーム(例えば、TSビットストリーム1506)にし、前記圧縮された形態のダウンミックス信号ビットストリーム1502にアタッチすることができる。この場合、TSビットストリーム1506に対するTSヘッダ1505が存在できる。前記結合フレームのヘッダ(すなわち、TSヘッダ1505)には、結合フレームシンク情報1507、前記結合フレーム内に復号化フレームのヘッダが存在するか否かに関する識別情報1508、前記結合フレームに含まれるサブフレーム数情報またはその他情報1509のうち一つ以上を含めることができる。また、前記結合フレーム内には、前記結合フレームの始点及び前記復号化フレームの始点が一致しているか否かに関する識別情報を含めることができる。もし前記結合フレーム内に前記復号化フレームヘッダが存在すると、前記復号化フレームヘッダから、前記空間情報が適用されるダウンミックス信号の位置情報が存在しているか否かに関する識別情報を読み出す。次に、前記識別情報によって、前記空間情報が適用されるダウンミックス信号の位置情報を読み出すことができる。
図16は、本発明によるダウンミックス信号に様々な大きさの挿入フレームで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号(1601)からオーディオ信号をダウンミックス(1602)する。該ダウンミックス信号はモノまたはステレオ信号を含むことができる。また、マルチチャネルオーディオ信号(1601)から空間情報を抽出(1603)し、該空間情報を用いて空間情報ビットストリームを生成(1604)する。生成された空間情報ビットストリームはフレーム毎に、復号化フレームと互いに整数倍に該当する長さの挿入フレーム単位に前記ダウンミックス信号に埋め込むことができる。もし、復号化フレーム長(S)が挿入フレーム長(N)よりも大きいと(1605)、前記挿入フレーム長(N)は、複数のNを纏めて一つのSと同一になるように形成(1607)する。もし復号化フレームの長さ(S)が、挿入フレーム長さ(N)よりも小さいと(1606)、前記挿入フレーム長(N)を、複数のSを纏めて一つのNと同一になるように形成(1608)する。もしNとSが同一であれば、前記挿入フレーム長さ(N)を、復号化フレーム長さ(S)と同一に形成(1609)する。このような方式で形成された空間情報ビットストリームは、前記ダウンミックス信号に埋め込まれ(1610)、次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送(1611)する。ここで、本発明は、前記空間情報ビットストリームの挿入フレームの長さに対する情報を、全体ビットストリーム内に埋め込むことができる。
図17は、本発明によるダウンミックス信号に一定の長さで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号(1701)からオーディオ信号をダウンミックス(1702)する。前記ダウンミックス信号はモノまたはステレオ信号を含むことができる。また、前記マルチチャネルオーディオ信号(1701)から空間情報を抽出(1703)し、前記空間情報を用いて空間情報ビットストリームを生成(1704)する。前記空間情報ビットストリームを一定の大きさ(パケット単位)のビットストリーム、例えば、トランスポートストリーム(TS)に纏めた後(1705)、前記一定の大きさの空間情報ビットストリームを前記ダウンミックス信号に埋め込む(1706)。次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送(1707)する。ここで、本発明は、前記ダウンミックス信号を用いて、前記空間情報ビットストリームが埋め込まれる挿入領域の挿入ビット長さ(すなわち、K値)を求め、前記挿入領域に前記空間情報ビットストリームを埋め込むことができる。
図18は、本発明による少なくとも1チャンネルにダウンミックスされたオーディオ信号に空間情報を埋め込む第1の方法を示す。ダウンミックス信号が少なくとも1チャンネルで構成された場合、空間情報は、該少なくとも1チャンネルに共通するデータとされる。したがって、前記空間情報を少なくとも1チャンネルに分けて埋め込む方法が必要である。図18は、前記空間情報を、少なくとも1チャンネルを持つダウンミックス信号のうち、1チャンネルにのみ埋め込む方法を示す。図示のように、前記空間情報はダウンミックス信号のKビットに埋め込まれるが、一つのチャンネルにのみ埋め込まれ、他のチャンネルには埋め込まない。該K値は、ブロック別にまたはチャンネル毎に異なってくる。前述の如く、前記K値に該当するビットはダウンミックス信号の下位ビットに該当することができるが、本発明はこれに限定されない。ここで、前記空間情報ビットストリームは、1チャンネルにLSBからビットプレーン(Bit Plane)順に入れるか、または、サンプル順に入れることができる。
図19は、本発明による少なくとも1チャンネルを持つダウンミックス信号に空間情報を埋め込む第2の方法を示す。図19では、便宜上、2チャンネルを持つダウンミックス信号について説明するが、本発明がこれに限定されることはない。図示のように、第2の方法は、空間情報を1チャンネル(ここでは、左チャンネル)のブロックnにまず埋め込んだ後、他のチャンネル(ここでは、右チャンネル)のブロックnに埋め込み、続いて元チャンネル(左チャンネル)のブロックn+1に再び埋め込む方式で行われる。この場合、シンク情報は一つのチャンネルにのみ埋め込まれることができる。ブロック毎に前記空間情報ビットストリームが前記ダウンミックス信号に埋め込まれることができるが、復号化過程ではブロック毎またはフレーム毎に前記空間情報ビットストリームを抽出することができる。前記ダウンミックス信号の2チャンネルの信号特性が異なるので、各チャンネルでのマスキング限界値を個別に求め、K値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように、一つのチャンネルにはK1を、他のチャンネルにはK2を割り当てることができる。また、前記K値は各ブロック毎に異なっても良い。この場合にも同様に、前記空間情報は各チャンネルに、LSBからビットプレーン(Bit Plane)順に埋め込まれる、または、サンプル順に埋め込まれることができる。
図20は、本発明による少なくとも1チャンネルを持つダウンミックス信号に空間情報を埋め込む第3の方法を示す。図20では、2チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第3の方法は、空間情報を2チャンネルに分けて埋め込むものの、これをサンプル単位に2チャンネルに交互に埋め込む方式で行われる。なお、2チャンネルの信号特性が異なるので、各チャンネルにおけるマスキング限界値を個別に求め、各K値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように、一つのチャンネルにはK1を、他のチャンネルにはK2を割り当てることができる。また、前記K値は、ブロック毎に異なっても良い。例えば、前記空間情報をまず一つのチャンネル(ここでは、左チャンネル)のサンプル1の下位K1ビットにまず埋め、他のチャンネル(ここでは、右チャンネル)のサンプル1の下位K2ビットに埋める。次に、元チャンネル(左チャンネル)のサンプル2の下位K1ビットを再び埋め、他のチャンネル(右チャンネル)のサンプル2の下位K2ビットを埋める。同図で、ブロック内の数字は、空間情報ビットストリームを埋め込む順序を表す。図20では、MSBから埋めるとしたが、LSBから埋めても良い。
図21は、本発明による少なくとも1チャンネルを持つダウンミックス信号に空間情報を埋め込む第4の方法を示す。図21では、2チャンネルを持つダウンミックス信号について説明するが、本発明はこれに限定されない。図示のように、第4の方法は、空間情報を少なくとも1チャンネルに分けて埋め込むものの、それをLSBからビットプレーン単位に2チャンネルに交互に埋め込む方式で行う。なお、2チャンネルの信号特性が異なるので、各チャンネルでのマスキング限界値を個別に求め、K(K1及びK2)値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように一つのチャンネルにはK1を、他のチャンネルにはK2を割り当てることができる。
また、前記K値は各ブロック毎に異なっても良い。例えば、まず一つのチャンネル(ここでは、左チャンネル)のサンプル1の最下位1ビットを埋め、他のチャンネル(ここでは、右チャンネル)のサンプル1の最下位1ビットを埋める。次に、元チャンネル(左チャンネル)のサンプル2の最下位1ビットを再び埋め、他のチャンネル(右チャンネル)のサンプル2の最下位1ビットを再び埋める。同図で、ブロック内の数字は、空間情報を埋める順序を表す。
オーディオ信号が補助データ領域がないストレージ媒体(例えば、ステレオCD)に保存されるか、SPDIFのような方式で転送される場合、L/Rチャンネルがサンプル単位にインタリービング(interleaving)されるため、上記第3の方法、第4の方法で保存されている方が、デコーダの立場では受信する順に処理できるので有利である。また、上記第4の方法は、空間情報ビットストリームを再整列する過程でビットプレーン単位に再整列して保存する場合に適用できる。上述のように、2チャンネルに空間情報ビットストリームを分けて埋め込む場合に、K値を各チャンネルに異ならせて割り当てることが可能であるが、この場合、ビットストリーム内に各チャンネル別にK値を個別に転送することが可能である。また、前記K値を複数にして転送する場合、前記K値を符号化する時にディファレンシャル(differential)符号化方法を利用すれば良い。
図22は、本発明による少なくとも1チャンネルを持つダウンミックス信号に空間情報を埋め込む第5の方法を示す。図22では、2チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第5の方法は、前記空間情報を2チャンネルに分けて埋め込むものの、これら2チャンネルに同じ値を繰り返し挿入する方式で行われる。このとき、前記少なくとも2チャンネルに同じ符号の値を挿入するか、または、符号を反対にして挿入する。例えば、2チャンネルに1の値を挿入するか、または、1と−1の値を交互に挿入することができる。この第5の方法は、少なくとも1チャンネルの最下位挿入ビット(例えば、Kビット)を比較することによって、転送誤りを容易に確認できる長所を持つ。特に、モノオーディオ信号をCDのようなステレオ媒体に転送する場合、ダウンミックス信号のL(left)チャンネルとR(right)チャンネルが同一なため、挿入される空間情報も同一にすることによってロバスト性(robust)の向上などを図ることができる。ここでも同様に、前記空間情報は各チャンネルにLSBからビットプレーン順に埋め込まれても良く、サンプル順に埋め込まれても良い。
図23は、本発明による少なくとも1チャンネルを持つダウンミックス信号に空間情報を埋め込む第6の方法を示す。第6の方法は、各チャンネルのフレームが複数のブロック(長さB)で構成された場合に、前記空間情報を少なくとも1チャンネルを持つダウンミックス信号に挿入する方法に関する。図示のように、前記挿入ビット長(すなわち、K値)は、各チャンネル毎及びブロック毎にそれぞれ異なる値を持つか、または、同じ値を持つことができる。これらの挿入ビット長(例えば、K1,K2,K3及びK4)は、フレーム全体に対して1回転送されるフレームヘッダ内に保存されることができ、該フレームヘッダはLSBに位置することができる。この場合に、前記ヘッダはビットプレーン単位に挿入することができ、空間情報データはサンプル単位に交互に挿入されるか、または、ブロック単位に交互に挿入することができる。図23は、フレーム内ブロック数が2である場合を示しており、したがって、前記ブロックの大きさ(B)は、N/2となる。この場合、前記フレームに挿入されたビット数は、(K1+K2+K3+K4)*Bとなる。
図24は、本発明による少なくとも1チャンネルを持つダウンミックス信号に空間情報を埋め込む第7の方法を示す。図24では、2チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第7の方法は、前記空間情報を少なくとも2チャンネルに分けて埋め込むものの、それをLSB(または、MSB)からビットプレーン順に2チャンネルに交互に挿入する方法と、サンプル単位に交互に挿入する方法とを混合したものである。この方法は、フレーム単位に行われる、または、図示のようにブロック単位に行われることができる。図24に図示のように、1〜C(ハッチング部分)はヘッダに対応する部分で、挿入フレームシンクワードの探索を容易にするためにLSB(または、MSB)にビットプレーン順に挿入することができる。C+1以上(非ハッチング部分)はヘッダ以外の部分で、空間情報データの読み出しを容易にするためにサンプル単位に2チャンネルに交互に挿入することができる。挿入ビット長(例えば、K値)は、各チャンネル及びブロック毎に異なる値を持つか、または、同じ値を持つことができる。前記挿入ビット長はいずれも、ヘッダ内に含まれることができる。
図25は、本発明による少なくとも1チャンネルを持つダウンミックス信号に埋め込まれる空間情報をエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号(2501)からオーディオ信号を少なくとも1チャンネルにダウンミックス(2502)する。また、前記マルチチャネルオーディオ信号(2501)から空間情報を抽出(2503)し、該空間情報を用いて空間情報ビットストリームを生成(2504)する。前記少なくとも1チャンネルを持つダウンミックス信号に前記空間情報ビットストリームを埋め込む(2505)。このとき、空間情報ビットストリームを少なくとも1チャンネルに埋め込む上記の7つの方法のうち、一つ以上の方法が用いられることができる。次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送(2506)する。ここで、本発明は、前記ダウンミックス信号を用いてK値を求め、該Kビットに前記空間情報ビットストリームを埋め込むことができる。
図26は、本発明による少なくとも1チャンネルを持つダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。まず、空間デコーダは、空間情報ビットストリームの埋め込まれたダウンミックス信号を含むビットストリームを受信(2601)し、該ビットストリームからダウンミックス信号を検出(2602)する。また、前記受信されたビットストリームから、少なくとも1チャンネルを持つダウンミックス信号に埋め込まれた空間情報ビットストリームを抽出し且つデコーディング(2603)する。続いて、前記デコーディングから得られた空間情報を用いて、前記ダウンミックス信号をマルチチャネル信号に変換(2604)する。ここで、本発明は、前記空間情報ビットストリームが埋め込まれた順序に対する識別情報を抽出し、該識別情報を用いて前記空間情報ビットストリームを抽出及びデコーディングすることができる。なお、本発明は、前記ビットストリームからK値に対する情報を読み出し、該K値を用いて前記空間情報ビットストリームをデコーディングすることができる。
以上では具体的な実施例に挙げて本発明を説明してきたが、これらの実施例は、本発明を理解するための説明のために提示されたもので、本発明の範囲を制限するためのものではない。本発明の技術的思想の範囲内で本発明の様々な変形が可能であるということは、当該技術分野における通常の知識を持つ者にとっては明らかであり、したがって、本発明の範囲は、添付した特許請求の範囲によって定められるべきである。
本発明によるオーディオ信号に対する空間情報を人間が認識する方法を示す図である。 本発明による空間エンコーダを示すブロック図である。 本発明による図2の空間エンコーダを構成する埋め込み部を示す詳細ブロック図である。 本発明による空間情報ビットストリームを再整列する第1の方法を示す図である。 本発明による空間情報ビットストリームを再整列する第2の方法を示す図である。 本発明による空間情報ビットストリームを再構成した形態を示す図である。 図6Aの空間情報ビットストリームの構成形態を示す詳細図である。 本発明による空間デコーダを示すブロック図である。 本発明による空間デコーダに含まれる埋め込み信号デコーダを示す詳細ブロック図である。 本発明によるオーディオ信号を一般的なPCMデコーダで再生する様子を示す図である。 本発明によるダウンミックス信号に空間情報を埋め込むエンコーディング方法を示すフローチャートである。 本発明によるダウンミックス信号に埋め込まれた空間情報をデコーディングする方法を示すフローチャートである。 本発明によるダウンミックス信号に埋め込まれる空間情報ビットストリームのフレーム大きさを示す図である。 本発明によるダウンミックス信号に一定の大きさで埋め込まれる空間情報ビットストリームを示す図である。 一定の大きさで埋め込まれる空間情報ビットストリームの時間軸整列(time align)問題を解決するための第1の方法を示す図である。 一定の大きさで埋め込まれる空間情報ビットストリームの時間軸整列問題を解決するための第2の方法を示す図である。 本発明によるダウンミックス信号に空間情報ビットストリームがアタッチ(attach)されるように生成される方法を示す図である。 本発明によるダウンミックス信号に様々な大きさで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。 本発明によるダウンミックス信号に一定の大きさで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。 本発明による少なくとも2チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第1の方法を示す図である。 本発明による少なくとも2チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第2の方法を示す図である。 本発明による少なくとも2チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第3の方法を示す図である。 本発明による少なくとも2チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第4の方法を示す図である。 本発明による少なくとも2チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第5の方法を示す図である。 本発明による少なくとも2チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第6の方法を示す図である。 本発明による少なくとも2チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第7の方法を示す図である。 本発明による2チャンネルのダウンミックス信号に埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。 本発明による2チャンネルのダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。

Claims (16)

  1. オーディオ信号にフレーム単位に付加情報が埋め込まれているものの、該フレームの長さがフレーム毎に定義される場合、または、オーディオ信号にフレーム単位に付加情報がアタッチされた場合のいずれかの場合に、前記付加情報を読み出す段階と、
    前記読み出された付加情報を用いて前記オーディオ信号をデコーディングする段階と、
    を含むことを特徴とする、オーディオ信号のデコーディング方法。
  2. 前記デコーディング方法は、前記フレームから、該フレームの開始及び前記付加情報に対する復号化フレームの開始が一致するか否かを表す識別情報を読み出す段階をさらに含むことを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  3. 前記デコーディング方法は、
    前記フレームから、前記付加情報に対する復号化フレームヘッダが存在するか否かを表す識別情報を読み出す段階をさらに含むことを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  4. 前記デコーディング方法は、
    前記復号化フレームヘッダ内に前記付加情報が適用されるオーディオ信号の位置情報が存在しているか否かに対する識別情報を読み出す段階をさらに含むことを特徴とする、請求項3に記載のオーディオ信号のデコーディング方法。
  5. 前記デコーディング方法は、
    前記識別情報によって前記オーディオ信号の位置情報を読み出す段階をさらに含むことを特徴とする、請求項4に記載のオーディオ信号のデコーディング方法。
  6. 前記フレーム長と前記付加情報の復号化フレーム長はそれぞれ、互いに対して整数倍を有することを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  7. 前記フレーム長は、固定された長さに該当することを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  8. 前記オーディオ信号が第1のオーディオ信号である場合、前記付加情報が前記オーディオ信号に埋め込まれることを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  9. 記オーディオ信号が第2のオーディオ信号である場合、前記付加情報が前記オーディオ信号にアタッチされることを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  10. 前記オーディオ信号は、マルチチャネル信号に対するダウンミックス信号を含むことを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  11. 前記付加情報は、マルチチャネル信号に対する空間情報を含むことを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  12. オーディオ信号及び前記オーディオ信号をデコーディングするのに必要な付加情報を生成する段階と、
    前記オーディオ信号にフレーム単位に前記付加情報を埋め込むものの、前記フレーム長をフレーム別に定義する過程、または、前記オーディオ信号にフレーム単位に前記付加情報をアタッチする段階のいずれかの過程を行う段階と、
    を含むことを特徴とする、オーディオ信号のエンコーディング方法。
  13. 前記エンコーディング方法は、
    前記フレーム内に、前記フレームシンク情報、前記フレーム長情報、前記フレーム内の復号化フレームヘッダの存在の有無に関する識別情報、または、誤り検出コード情報のうち一つ以上を含める段階をさらに含むことを特徴とする、請求項12に記載のオーディオ信号のエンコーディング方法。
  14. オーディオ信号及び該オーディオ信号成分のうち非知覚的成分に、フレーム毎に定義された長さのフレーム単位に埋め込まれた付加情報、または、前記オーディオ信号の復号化に使用されない領域にフレーム単位にアタッチされた付加情報のいずれかを持つデータ構造。
  15. オーディオ信号を生成するオーディオ信号生成部と、
    前記オーディオ信号をデコーディングするのに必要な付加情報を生成する付加情報生成部と、
    前記付加情報を前記オーディオ信号に、フレーム毎に定義されたフレーム長で埋め込む過程、または、前記オーディオ信号にフレーム毎に前記付加情報をアタッチする過程のいずれかを行う付加情報結合部と、
    を含むことを特徴とする、オーディオ信号のエンコーディング装置。
  16. オーディオ信号にフレーム毎に定義されたフレーム長で付加情報が埋め込まれた場合、または、オーディオ信号にフレーム毎に付加情報がアタッチされた場合のいずれかの場合に、前記付加情報を読み出す付加情報読み出し部と、
    前記付加情報を用いて前記オーディオ信号をデコーディングするマルチチャネル生成部と、
    を含むことを特徴とする、オーディオ信号のデコーディング装置。
JP2008513382A 2005-05-26 2006-05-26 オーディオ信号の符号化/復号化方法及び符号化/復号化装置 Active JP5118022B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US68457805P 2005-05-26 2005-05-26
US60/684,578 2005-05-26
US75860806P 2006-01-13 2006-01-13
US60/758,608 2006-01-13
US78717206P 2006-03-30 2006-03-30
US60/787,172 2006-03-30
KR1020060030660A KR20060122693A (ko) 2005-05-26 2006-04-04 다운믹스된 오디오 신호에 공간 정보 비트스트림을삽입하는 프레임 크기 조절방법
KR1020060030658A KR20060122692A (ko) 2005-05-26 2006-04-04 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를인코딩 및 디코딩하는 방법
KR1020060030661A KR20060122694A (ko) 2005-05-26 2006-04-04 두 채널 이상의 다운믹스 오디오 신호에 공간 정보비트스트림을 삽입하는 방법
KR10-2006-0030661 2006-04-04
KR10-2006-0030660 2006-04-04
KR10-2006-0030658 2006-04-04
KR1020060046972A KR20060122734A (ko) 2005-05-26 2006-05-25 공간 정보의 전송방법을 선택할 수 있는 오디오 신호의부호화-복호화방법
KR10-2006-0046972 2006-05-25
PCT/KR2006/002021 WO2006126859A2 (en) 2005-05-26 2006-05-26 Method of encoding and decoding an audio signal

Publications (3)

Publication Number Publication Date
JP2008542819A true JP2008542819A (ja) 2008-11-27
JP2008542819A5 JP2008542819A5 (ja) 2009-01-15
JP5118022B2 JP5118022B2 (ja) 2013-01-16

Family

ID=40148670

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2008513380A Active JP5452915B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化/復号化方法及び符号化/復号化装置
JP2008513381A Active JP5461835B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化/復号化方法及び符号化/復号化装置
JP2008513382A Active JP5118022B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化/復号化方法及び符号化/復号化装置
JP2008513379A Pending JP2008542816A (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化及び復号化方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2008513380A Active JP5452915B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化/復号化方法及び符号化/復号化装置
JP2008513381A Active JP5461835B2 (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化/復号化方法及び符号化/復号化装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008513379A Pending JP2008542816A (ja) 2005-05-26 2006-05-26 オーディオ信号の符号化及び復号化方法

Country Status (4)

Country Link
US (4) US8090586B2 (ja)
EP (4) EP1905004A2 (ja)
JP (4) JP5452915B2 (ja)
WO (4) WO2006126859A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024111300A1 (ja) * 2022-11-22 2024-05-30 富士フイルム株式会社 音データ作成方法及び音データ作成装置

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE059183T2 (hu) 2004-01-23 2022-10-28 Eden Research Plc Eljárás fonalférgek irtására betokozott terpén komponens alkalmazásával
DK1753529T3 (da) 2004-05-20 2013-11-11 Eden Research Plc Komposition indeholdende en hul glucan-partikel eller en hul cellevægspartikel, der indkapsler en terpenkomponent, fremgangsmåder til fremstilling og anvendelse af disse
JP6027718B2 (ja) 2005-11-30 2016-11-16 エーデン リサーチ ピーエルシー チモール、オイゲノール、ゲラニオール、シトラール、及びl−カルボンから選択されたテルペン又はテルペン混合物を含む組成物及び方法
ES2848707T3 (es) 2005-11-30 2021-08-11 Eden Research Plc Cápsulas insecticidas que contienen timol y métodos de fabricación y uso de las mismas
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Mpeg 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
KR101111520B1 (ko) 2006-12-07 2012-05-24 엘지전자 주식회사 오디오 처리 방법 및 장치
EP2097895A4 (en) * 2006-12-27 2013-11-13 Korea Electronics Telecomm DEVICE AND METHOD FOR ENCODING AND DECODING MULTI-OBJECT AUDIO SIGNAL WITH DIFFERENT CHANNELS WITH INFORMATION BIT RATE CONVERSION
CA2705549C (en) 2007-11-12 2015-12-01 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8457951B2 (en) 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
US9025775B2 (en) 2008-07-01 2015-05-05 Nokia Corporation Apparatus and method for adjusting spatial cue information of a multichannel audio signal
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
JP5309944B2 (ja) * 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
JP2012520481A (ja) * 2009-03-13 2012-09-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 補助データの埋め込み及び抽出
FR2944403B1 (fr) * 2009-04-10 2017-02-03 Inst Polytechnique Grenoble Procede et dispositif de formation d'un signal mixe, procede et dispositif de separation de signaux, et signal correspondant
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
JP4917189B2 (ja) 2009-09-01 2012-04-18 パナソニック株式会社 デジタル放送送信装置、デジタル放送受信装置およびデジタル放送送受信システム
US9826266B2 (en) 2009-09-29 2017-11-21 Universal Electronics Inc. System and method for reconfiguration of an entertainment system controlling device
JP5752134B2 (ja) * 2009-10-15 2015-07-22 オランジュ 最適化された低スループットパラメトリック符号化/復号化
TWI444989B (zh) 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
HUE028738T2 (en) 2010-06-09 2017-01-30 Panasonic Ip Corp America Bandwidth Extension Procedure, Bandwidth Extension Device, Program, Integrated Circuit, and Audio Decoder
IL295473B2 (en) 2010-07-02 2023-10-01 Dolby Int Ab After–selective bass filter
US9514768B2 (en) * 2010-08-06 2016-12-06 Samsung Electronics Co., Ltd. Audio reproducing method, audio reproducing apparatus therefor, and information storage medium
FR2966277B1 (fr) * 2010-10-13 2017-03-31 Inst Polytechnique Grenoble Procede et dispositif de formation d'un signal mixe numerique audio, procede et dispositif de separation de signaux, et signal correspondant
AR085445A1 (es) * 2011-03-18 2013-10-02 Fraunhofer Ges Forschung Codificador y decodificador que tiene funcionalidad de configuracion flexible
US20130108053A1 (en) * 2011-10-31 2013-05-02 Otto A. Gygax Generating a stereo audio data packet
KR101871234B1 (ko) * 2012-01-02 2018-08-02 삼성전자주식회사 사운드 파노라마 생성 장치 및 방법
EP2873073A1 (en) * 2012-07-12 2015-05-20 Dolby Laboratories Licensing Corporation Embedding data in stereo audio using saturation parameter modulation
WO2014077254A1 (ja) * 2012-11-15 2014-05-22 株式会社Nttドコモ 音声符号化装置、音声符号化方法、音声符号化プログラム、音声復号装置、音声復号方法及び音声復号プログラム
GB201220940D0 (en) 2012-11-21 2013-01-02 Eden Research Plc Method P
US9191516B2 (en) * 2013-02-20 2015-11-17 Qualcomm Incorporated Teleconferencing using steganographically-embedded audio data
US20140358565A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Compression of decomposed representations of a sound field
GB2515539A (en) 2013-06-27 2014-12-31 Samsung Electronics Co Ltd Data structure for physical layer encapsulation
US9883311B2 (en) 2013-06-28 2018-01-30 Dolby Laboratories Licensing Corporation Rendering of audio objects using discontinuous rendering-matrix updates
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
KR102529121B1 (ko) 2014-03-28 2023-05-04 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
EP3301673A1 (en) * 2016-09-30 2018-04-04 Nxp B.V. Audio communication method and apparatus
GB201617408D0 (en) 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
GB201617409D0 (en) 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
US10354667B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
GB201704636D0 (en) 2017-03-23 2017-05-10 Asio Ltd A method and system for authenticating a device
GB2565751B (en) 2017-06-15 2022-05-04 Sonos Experience Ltd A method and system for triggering events
GB2570634A (en) * 2017-12-20 2019-08-07 Asio Ltd A method and system for improved acoustic transmission of data
CN112166569B (zh) * 2018-06-07 2022-05-13 华为技术有限公司 数据传输的方法和装置
US11239988B2 (en) * 2019-04-22 2022-02-01 Texas Instruments Incorporated Methods and systems for synchronization of slave device with master device
JP7419778B2 (ja) * 2019-12-06 2024-01-23 ヤマハ株式会社 オーディオ信号出力装置、オーディオシステム及びオーディオ信号出力方法
US11988784B2 (en) 2020-08-31 2024-05-21 Sonos, Inc. Detecting an audio signal with a microphone to determine presence of a playback device
JP7282066B2 (ja) * 2020-10-26 2023-05-26 株式会社日立製作所 データ圧縮装置及びデータ圧縮方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282496A (ja) * 1998-03-30 1999-10-15 Matsushita Electric Ind Co Ltd 復号装置
WO2005013491A2 (de) * 2003-07-21 2005-02-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiodateiformatumwandlung
WO2006027138A1 (de) * 2004-09-03 2006-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung eines codierten multikanalsignals und decodierung eines codierten multikanalsignals

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6096079A (ja) 1983-10-31 1985-05-29 Matsushita Electric Ind Co Ltd 多値画像の符号化方法
US4661862A (en) * 1984-04-27 1987-04-28 Rca Corporation Differential PCM video transmission system employing horizontally offset five pixel groups and delta signals having plural non-linear encoding functions
US4621862A (en) * 1984-10-22 1986-11-11 The Coca-Cola Company Closing means for trucks
JPS6294090A (ja) 1985-10-21 1987-04-30 Hitachi Ltd 符号化装置
US4725885A (en) * 1986-12-22 1988-02-16 International Business Machines Corporation Adaptive graylevel image compression system
JPH0793584B2 (ja) * 1987-09-25 1995-10-09 株式会社日立製作所 符号化装置
NL8901032A (nl) 1988-11-10 1990-06-01 Philips Nv Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting.
US5243686A (en) * 1988-12-09 1993-09-07 Oki Electric Industry Co., Ltd. Multi-stage linear predictive analysis method for feature extraction from acoustic signals
AU643677B2 (en) 1989-01-27 1993-11-25 Dolby Laboratories Licensing Corporation Low time-delay transform coder, decoder, and encoder/decoder for high-quality audio
DE3943880B4 (de) * 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
US6289308B1 (en) * 1990-06-01 2001-09-11 U.S. Philips Corporation Encoded wideband digital transmission signal and record carrier recorded with such a signal
NL9000338A (nl) * 1989-06-02 1991-01-02 Koninkl Philips Electronics Nv Digitaal transmissiesysteem, zender en ontvanger te gebruiken in het transmissiesysteem en registratiedrager verkregen met de zender in de vorm van een optekeninrichting.
GB8921320D0 (en) 1989-09-21 1989-11-08 British Broadcasting Corp Digital video coding
AU653582B2 (en) * 1991-01-08 1994-10-06 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
ES2164640T3 (es) * 1991-08-02 2002-03-01 Sony Corp Codificador digital con asignacion dinamica de bits de cuantificacion.
DE4209544A1 (de) * 1992-03-24 1993-09-30 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen oder Speichern digitalisierter, mehrkanaliger Tonsignale
JP3104400B2 (ja) 1992-04-27 2000-10-30 ソニー株式会社 オーディオ信号符号化装置及び方法
US5890190A (en) * 1992-12-31 1999-03-30 Intel Corporation Frame buffer for storing graphics and video data
JP3123286B2 (ja) * 1993-02-18 2001-01-09 ソニー株式会社 ディジタル信号処理装置又は方法、及び記録媒体
US5481643A (en) * 1993-03-18 1996-01-02 U.S. Philips Corporation Transmitter, receiver and record carrier for transmitting/receiving at least a first and a second signal component
US5563661A (en) * 1993-04-05 1996-10-08 Canon Kabushiki Kaisha Image processing apparatus
US6125398A (en) * 1993-11-24 2000-09-26 Intel Corporation Communications subsystem for computer-based conferencing system using both ISDN B channels for transmission
US5488570A (en) * 1993-11-24 1996-01-30 Intel Corporation Encoding and decoding video signals using adaptive filter switching criteria
US5640159A (en) * 1994-01-03 1997-06-17 International Business Machines Corporation Quantization method for image data compression employing context modeling algorithm
RU2158970C2 (ru) 1994-03-01 2000-11-10 Сони Корпорейшн Способ кодирования цифрового сигнала и устройство для его осуществления, носитель записи цифрового сигнала, способ декодирования цифрового сигнала и устройство для его осуществления
JP3498375B2 (ja) * 1994-07-20 2004-02-16 ソニー株式会社 ディジタル・オーディオ信号記録装置
US6549666B1 (en) * 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
JPH08123494A (ja) 1994-10-28 1996-05-17 Mitsubishi Electric Corp 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置
JPH08130649A (ja) 1994-11-01 1996-05-21 Canon Inc データ処理装置
KR100209877B1 (ko) * 1994-11-26 1999-07-15 윤종용 복수개의 허프만부호테이블을 이용한 가변장부호화장치 및 복호화장치
JP3371590B2 (ja) 1994-12-28 2003-01-27 ソニー株式会社 高能率符号化方法及び高能率復号化方法
JP3484832B2 (ja) 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6047027A (en) 1996-02-07 2000-04-04 Matsushita Electric Industrial Co., Ltd. Packetized data stream decoder using timing information extraction and insertion
JP3088319B2 (ja) 1996-02-07 2000-09-18 松下電器産業株式会社 デコード装置およびデコード方法
US6399760B1 (en) * 1996-04-12 2002-06-04 Millennium Pharmaceuticals, Inc. RP compositions and therapeutic and diagnostic uses therefor
EP0827312A3 (de) 1996-08-22 2003-10-01 Marconi Communications GmbH Verfahren zur Änderung der Konfiguration von Datenpaketen
US5912636A (en) * 1996-09-26 1999-06-15 Ricoh Company, Ltd. Apparatus and method for performing m-ary finite state machine entropy coding
US5893066A (en) 1996-10-15 1999-04-06 Samsung Electronics Co. Ltd. Fast requantization apparatus and method for MPEG audio decoding
TW429700B (en) 1997-02-26 2001-04-11 Sony Corp Information encoding method and apparatus, information decoding method and apparatus and information recording medium
US6134518A (en) * 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6131084A (en) 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
US6356639B1 (en) 1997-04-11 2002-03-12 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus, signal processing device, sound image localization device, sound image control method, audio signal processing device, and audio signal high-rate reproduction method used for audio visual equipment
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
CN1309252C (zh) * 1997-09-17 2007-04-04 松下电器产业株式会社 将视频数据记录在光盘的设备和方法
US6130418A (en) 1997-10-06 2000-10-10 U.S. Philips Corporation Optical scanning unit having a main lens and an auxiliary lens
US5966688A (en) * 1997-10-28 1999-10-12 Hughes Electronics Corporation Speech mode based multi-stage vector quantizer
JP2005063655A (ja) 1997-11-28 2005-03-10 Victor Co Of Japan Ltd オーディオ信号のエンコード方法及びデコード方法
JP3022462B2 (ja) 1998-01-13 2000-03-21 興和株式会社 振動波の符号化方法及び復号化方法
ATE302991T1 (de) * 1998-01-22 2005-09-15 Deutsche Telekom Ag Verfahren zur signalgesteuerten schaltung zwischen verschiedenen audiokodierungssystemen
US6339760B1 (en) * 1998-04-28 2002-01-15 Hitachi, Ltd. Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
JPH11330980A (ja) 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 復号装置及びその復号方法、並びにその復号の手順を記録した記録媒体
GB2340351B (en) 1998-07-29 2004-06-09 British Broadcasting Corp Data transmission
US6298071B1 (en) * 1998-09-03 2001-10-02 Diva Systems Corporation Method and apparatus for processing variable bit rate information in an information distribution system
MY118961A (en) * 1998-09-03 2005-02-28 Sony Corp Beam irradiation apparatus, optical apparatus having beam irradiation apparatus for information recording medium, method for manufacturing original disk for information recording medium, and method for manufacturing information recording medium
US6148283A (en) * 1998-09-23 2000-11-14 Qualcomm Inc. Method and apparatus using multi-path multi-stage vector quantizer
US6553147B2 (en) * 1998-10-05 2003-04-22 Sarnoff Corporation Apparatus and method for data partitioning to improving error resilience
US6556685B1 (en) * 1998-11-06 2003-04-29 Harman Music Group Companding noise reduction system with simultaneous encode and decode
JP3346556B2 (ja) 1998-11-16 2002-11-18 日本ビクター株式会社 音声符号化方法及び音声復号方法
US6757659B1 (en) 1998-11-16 2004-06-29 Victor Company Of Japan, Ltd. Audio signal processing apparatus
US6195024B1 (en) * 1998-12-11 2001-02-27 Realtime Data, Llc Content independent data compression method and system
US6208276B1 (en) * 1998-12-30 2001-03-27 At&T Corporation Method and apparatus for sample rate pre- and post-processing to achieve maximal coding gain for transform-based audio encoding and decoding
US6631352B1 (en) * 1999-01-08 2003-10-07 Matushita Electric Industrial Co. Ltd. Decoding circuit and reproduction apparatus which mutes audio after header parameter changes
US6611212B1 (en) 1999-04-07 2003-08-26 Dolby Laboratories Licensing Corp. Matrix improvements to lossless encoding and decoding
JP3323175B2 (ja) 1999-04-20 2002-09-09 松下電器産業株式会社 符号化装置
US6421467B1 (en) * 1999-05-28 2002-07-16 Texas Tech University Adaptive vector quantization/quantizer
KR100307596B1 (ko) 1999-06-10 2001-11-01 윤종용 디지털 오디오 데이터의 무손실 부호화 및 복호화장치
JP2001006291A (ja) * 1999-06-21 2001-01-12 Fuji Film Microdevices Co Ltd オーディオ信号の符号化方式判定装置、及びオーディオ信号の符号化方式判定方法
JP3762579B2 (ja) 1999-08-05 2006-04-05 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
US20020049586A1 (en) * 2000-09-11 2002-04-25 Kousuke Nishio Audio encoder, audio decoder, and broadcasting system
US6636830B1 (en) * 2000-11-22 2003-10-21 Vialta Inc. System and method for noise reduction using bi-orthogonal modified discrete cosine transform
JP4008244B2 (ja) 2001-03-02 2007-11-14 松下電器産業株式会社 符号化装置および復号化装置
JP3566220B2 (ja) 2001-03-09 2004-09-15 三菱電機株式会社 音声符号化装置、音声符号化方法、音声復号化装置及び音声復号化方法
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
JP2002335230A (ja) 2001-05-11 2002-11-22 Victor Co Of Japan Ltd 音声符号化信号の復号方法、及び音声符号化信号復号装置
JP2003005797A (ja) 2001-06-21 2003-01-08 Matsushita Electric Ind Co Ltd オーディオ信号の符号化方法及び装置、並びに符号化及び復号化システム
GB0119569D0 (en) * 2001-08-13 2001-10-03 Radioscape Ltd Data hiding in digital audio broadcasting (DAB)
EP1308931A1 (de) * 2001-10-23 2003-05-07 Deutsche Thomson-Brandt Gmbh Decodierung eines codierten digitalen Audio-Signals welches in Header enthaltende Rahmen angeordnet ist
EP1315148A1 (en) * 2001-11-17 2003-05-28 Deutsche Thomson-Brandt Gmbh Determination of the presence of ancillary data in an audio bitstream
KR100480787B1 (ko) 2001-11-27 2005-04-07 삼성전자주식회사 좌표 인터폴레이터의 키 값 데이터 부호화/복호화 방법 및 장치
DE60218068T2 (de) * 2001-11-30 2007-11-22 Koninklijke Philips Electronics N.V. Signalkodierung
TW569550B (en) 2001-12-28 2004-01-01 Univ Nat Central Method of inverse-modified discrete cosine transform and overlap-add for MPEG layer 3 voice signal decoding and apparatus thereof
CN1917641A (zh) * 2002-01-18 2007-02-21 株式会社东芝 视频编码方法和装置以及视频解码方法和装置
JP2003233395A (ja) 2002-02-07 2003-08-22 Matsushita Electric Ind Co Ltd オーディオ信号の符号化方法及び装置、並びに符号化及び復号化システム
AU2003213439A1 (en) * 2002-03-08 2003-09-22 Nippon Telegraph And Telephone Corporation Digital signal encoding method, decoding method, encoding device, decoding device, digital signal encoding program, and decoding program
WO2003085644A1 (en) * 2002-04-11 2003-10-16 Matsushita Electric Industrial Co., Ltd. Encoding device and decoding device
US7275036B2 (en) * 2002-04-18 2007-09-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a time-discrete audio signal to obtain coded audio data and for decoding coded audio data
JP4426215B2 (ja) 2002-06-11 2010-03-03 パナソニック株式会社 コンテンツ配送システム及びデータ通信制御装置
DE60317203T2 (de) 2002-07-12 2008-08-07 Koninklijke Philips Electronics N.V. Audio-kodierung
JP2005533271A (ja) 2002-07-16 2005-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化
CN1328707C (zh) 2002-07-19 2007-07-25 日本电气株式会社 音频解码设备以及解码方法
MXPA05001413A (es) 2002-08-07 2005-06-06 Dolby Lab Licensing Corp Conversion espacial de canales de audio.
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7536305B2 (en) 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
TW567466B (en) 2002-09-13 2003-12-21 Inventec Besta Co Ltd Method using computer to compress and encode audio data
CA2499212C (en) 2002-09-17 2013-11-19 Vladimir Ceperkovic Fast codec with high compression ratio and minimum required resources
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
JP2004220743A (ja) 2003-01-17 2004-08-05 Sony Corp 情報記録装置及び情報記録制御方法、並びに情報再生装置及び情報再生制御方法
JP4431568B2 (ja) 2003-02-11 2010-03-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声符号化
CN1748443B (zh) 2003-03-04 2010-09-22 诺基亚有限公司 多声道音频扩展支持
US20040199276A1 (en) * 2003-04-03 2004-10-07 Wai-Leong Poon Method and apparatus for audio synchronization
US20060069549A1 (en) 2003-04-08 2006-03-30 Koninklijke Philips Electronics N.V. Updating of a buried data channel
EP1621047B1 (en) * 2003-04-17 2007-04-11 Koninklijke Philips Electronics N.V. Audio signal generation
JP2005086486A (ja) * 2003-09-09 2005-03-31 Alpine Electronics Inc オーディオ装置およびオーディオ処理方法
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
KR101106026B1 (ko) * 2003-10-30 2012-01-17 돌비 인터네셔널 에이비 오디오 신호 인코딩 또는 디코딩
US20050137729A1 (en) * 2003-12-18 2005-06-23 Atsuhiro Sakurai Time-scale modification stereo audio signals
SE527670C2 (sv) 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US20050174269A1 (en) * 2004-02-05 2005-08-11 Broadcom Corporation Huffman decoder used for decoding both advanced audio coding (AAC) and MP3 audio
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec
US7813571B2 (en) * 2004-04-22 2010-10-12 Mitsubishi Electric Corporation Image encoding apparatus and image decoding apparatus
JP2005332449A (ja) 2004-05-18 2005-12-02 Sony Corp 光学ピックアップ装置、光記録再生装置及びチルト制御方法
TWM257575U (en) 2004-05-26 2005-02-21 Aimtron Technology Corp Encoder and decoder for audio and video information
JP2006012301A (ja) * 2004-06-25 2006-01-12 Sony Corp 光記録再生方法、光ピックアップ装置、光記録再生装置、光記録媒体とその製造方法及び半導体レーザ装置
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
JP2006120247A (ja) 2004-10-21 2006-05-11 Sony Corp 集光レンズ及びその製造方法、これを用いた露光装置、光学ピックアップ装置及び光記録再生装置
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US7991610B2 (en) 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
KR100803205B1 (ko) 2005-07-15 2008-02-14 삼성전자주식회사 저비트율 오디오 신호 부호화/복호화 방법 및 장치
JP4876574B2 (ja) * 2005-12-26 2012-02-15 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
CN101356573B (zh) * 2006-01-09 2012-01-25 诺基亚公司 对双耳音频信号的解码的控制

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282496A (ja) * 1998-03-30 1999-10-15 Matsushita Electric Ind Co Ltd 復号装置
WO2005013491A2 (de) * 2003-07-21 2005-02-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiodateiformatumwandlung
WO2006027138A1 (de) * 2004-09-03 2006-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung eines codierten multikanalsignals und decodierung eines codierten multikanalsignals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024111300A1 (ja) * 2022-11-22 2024-05-30 富士フイルム株式会社 音データ作成方法及び音データ作成装置

Also Published As

Publication number Publication date
US20090119110A1 (en) 2009-05-07
US8150701B2 (en) 2012-04-03
US8090586B2 (en) 2012-01-03
EP1899959A2 (en) 2008-03-19
US20090055196A1 (en) 2009-02-26
WO2006126859A2 (en) 2006-11-30
EP1897084A2 (en) 2008-03-12
WO2006126859A3 (en) 2007-01-11
WO2006126856A2 (en) 2006-11-30
JP5452915B2 (ja) 2014-03-26
JP2008542818A (ja) 2008-11-27
WO2006126858A3 (en) 2007-01-11
WO2006126856A3 (en) 2007-01-11
JP5461835B2 (ja) 2014-04-02
WO2006126858A2 (en) 2006-11-30
EP1905004A2 (en) 2008-04-02
WO2006126857A2 (en) 2006-11-30
US20090234656A1 (en) 2009-09-17
JP5118022B2 (ja) 2013-01-16
US8214220B2 (en) 2012-07-03
JP2008542817A (ja) 2008-11-27
US20090216541A1 (en) 2009-08-27
EP1899960A2 (en) 2008-03-19
US8170883B2 (en) 2012-05-01
WO2006126857A3 (en) 2007-01-11
JP2008542816A (ja) 2008-11-27

Similar Documents

Publication Publication Date Title
JP5118022B2 (ja) オーディオ信号の符号化/復号化方法及び符号化/復号化装置
ES2307160T3 (es) Codificador multicanal.
JP5054034B2 (ja) 符号化/復号化装置及び方法
KR100717598B1 (ko) 파라미트릭 멀티채널 코딩 시스템에서의 주파수 기반오디오 채널 코딩
CN101253550B (zh) 将音频信号编解码的方法
US11200906B2 (en) Audio encoding method, to which BRIR/RIR parameterization is applied, and method and device for reproducing audio by using parameterized BRIR/RIR information
KR20070116170A (ko) 스케일 가능한 멀티-채널 오디오 코딩
KR101837084B1 (ko) 신호 처리 방법, 그에 따른 엔코딩 장치, 디코딩 장치, 및 정보 저장 매체
KR20060122692A (ko) 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를인코딩 및 디코딩하는 방법
KR20070003544A (ko) 아비트러리다운믹스게인을 이용한 클리핑복원
KR100891666B1 (ko) 믹스 신호의 처리 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121018

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5118022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250