JP2004531761A - 部分暗号化を用いるオーディオ符号化 - Google Patents

部分暗号化を用いるオーディオ符号化 Download PDF

Info

Publication number
JP2004531761A
JP2004531761A JP2002584617A JP2002584617A JP2004531761A JP 2004531761 A JP2004531761 A JP 2004531761A JP 2002584617 A JP2002584617 A JP 2002584617A JP 2002584617 A JP2002584617 A JP 2002584617A JP 2004531761 A JP2004531761 A JP 2004531761A
Authority
JP
Japan
Prior art keywords
signal
audio
parameters
audio signal
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002584617A
Other languages
English (en)
Other versions
JP2004531761A5 (ja
JP4391088B2 (ja
Inventor
アルノルダス ダブリュー ジェイ オーメン
ヴァン デ ケルクホフ レオン エム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004531761A publication Critical patent/JP2004531761A/ja
Publication of JP2004531761A5 publication Critical patent/JP2004531761A5/ja
Application granted granted Critical
Publication of JP4391088B2 publication Critical patent/JP4391088B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04KSECRET COMMUNICATION; JAMMING OF COMMUNICATION
    • H04K1/00Secret communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H04L9/16Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms the keys or algorithms being changed during operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

オーディオ信号(x)の符号化が提供され、ここで符号化されたビットストリーム(AS)は前記オーディオ信号のパラメータ表示を有する。前記パラメータ表示の1つの成分は、連結された正弦波成分(CS)のトラックを有し、ここで続いて連結される成分は、既に決定された連結された信号成分のパラメータから差分的に符号化される。コーダは、差分的な値を他の差分的な値(CSe)に写像することにより差分的に符号化された周波数及び/又は振幅値にスクランブルをかける(18)。これらの値を修正することにより、前記ビットストリームは、依然として復号可能であるが、結果としてランダムな周波数及び/又は振幅変化を持つトラックを生じる。その結果、前記信号は、劣化されるだろう。

Description

【技術分野】
【0001】
本発明は、オーディオ信号の符号化及び復号に関する。特に、本発明は、半導体オーディオ又はインターネットオーディオにおいて使用されるような低ビットレートのオーディオ符号化にも関する。
【背景技術】
【0002】
コンパチブルスクランブリング(compatible scrambling)は、スクランブルをかけられたビットストリームが依然として復号可能であるが、復号された信号は、結果として劣化した信号を生じるような方法においてビットストリーム(の一部)にスクランブルをかける技術である。このように、コンパチブルスクランブリングは、複製制御された環境における圧縮オーディオビットストリームを復号した後の音質を制御するために適用されることができる。この技術は、“Secure Delivery of Compressed Audio by Compressed Bit-Stream Scrambling”, E. Allamanche and J. Herre, AES 108th Convention, Paris, 2000 February 19-22においてAAC変換コーダ(MPEG-2規格の一部であるAdavanced Audio Coding)に対して開示されている。
【0003】
ここで、AACビットストリームは、ビットレートにおける増加無しで、音質が(スクランブルをかけられていないストリームについて得られる音質以下の)どんな要求されたレベルにも設定されることができるように鍵を用いて暗号化される。もし暗号鍵が(何かの処置によって)既知であれば、前記ビットストリームは、元の状態に解読されることができる。Allamancheは、また、このコンパチブルスクランブリングの方法が他の圧縮方式に対しても適用可能であることも提示する。
【0004】
しかしながら、AAC変換コーダ、又はその他の波形コーダに対して、スペクトルは、典型的には、粗い及び緻密なスペクトル表示を使用して符号化される。1つの倍率の組が、粗いスペクトル表示を記述するのに使用され、後の倍率間における緻密な部分は、緻密なスペクトル構造を記述するのに使用される。Allamancheの前記コンパチブルスクランブリングは、前記緻密なスペクトル構造を、特定のより低い音質レベルの信号が得られる範囲に修正することにより行われる。
【0005】
パラメータ符号化方式、例えば、PCT特許出願第PCT/EP00/05344号(代理人参照番号N017502)及びその後に出願された欧州特許出願第01201404.9号(代理人参照番号PHNL010252)において記述された正弦波コーダ型に対して、信号成分は、粗い及び緻密なスペクトル表示に関して記述されていない。むしろ正弦波パラメータは、特定の時間において始まり、特定の時間量の間に発展し、次いで停止する正弦波(sinusoid)である、いわゆるトラックを記述する。前記正弦波が活性化している期間において、前記発展は、典型的には、ゆっくり変化する。従って、Allamancheにより提案された前記コンパチブルスクランブリング技術は、正弦波符号化方式には適用可能ではない。
【発明の開示】
【課題を解決するための手段】
【0006】
本発明によると、オーディオ信号を符号化する方法が提供され、前記方法は、サンプル信号値を生成するために前記オーディオ信号をサンプリングするステップと、前記オーディオ信号のパラメータ表示を生成するために前記サンプル信号値を解析するステップと、前記パラメータ表示の少なくとも幾つかのパラメータを暗号化するステップと、前記オーディオ信号が暗号化されていないパラメータ表示を使用して作成されるより低い音質レベルにおいて前記符号化されたオーディオストリームから合成されることを可能にし、且つ前記オーディオ信号を表す前記暗号化されたパラメータ表示を含む符号化されたオーディオストリームを生成するステップとを有する。
【0007】
本発明の好ましい実施例において、前記パラメータ表示は、正弦波が活性化している期間の間に差分的に更新される周波数及び/又は振幅パラメータに対する、前記オーディオ信号の持続される正弦波成分を表すコードを含む。差分的な符号化された周波数及び/又は振幅値にスクランブルをかけるために、前記差分的な値は、他の差分的な値の上に写像される。これらの値を修正することにより、前記ビットストリームは、依然として復号可能であるが、結果としてランダムな周波数及び/又は振幅変化を持つトラックを生じる。その結果、前記信号は劣化されるだろう。
【0008】
本発明の様々な実施例は、ここで添付図面を参照して記述されるだろう。
【発明を実施するための最良の形態】
【0009】
本発明の好ましい実施例において、パラメータ符号化方式に対するコンパチブルスクランブリングの適用が、図1に記述され、ここで、エンコーダは、2000年3月15日に出願された欧州特許出願第00200939.7号(代理人参照番号PH-NL000120)又はその後に出願された欧州特許出願第01201404.9号(代理人参照番号PHNL010252)において記述された型の正弦波コーダである。関連した場合及び前記好ましい実施例の両方において、オーディオコーダ1は、特定のサンプリング周波数において入力オーディオ信号をサンプリングし、結果として前記オーディオ信号のデジタル表示x(t)を生じる。これは、時間スケールをサンプリングレートに依存させる。コーダ1は、この場合、サンプル入力信号を3つの成分、即ち、過渡信号成分、持続される決定的(正弦波)成分、及び持続される確率的(ノイズ)成分に分離する。オーディオコーダ1は、過渡コーダ11、正弦波コーダ13、及びノイズコーダ14を有する。前記オーディオコーダは、オプションとして、ゲイン圧縮機構(GC)12を有する。
【0010】
本発明のこの実施例において、過渡符号化は、持続符号化の前に実行される。これは、過渡信号成分が、持続コーダにおいて効率的に及び最適に符号化されないので有利である。もし持続コーダが過渡信号成分を符号化するために使用されれば、たくさんの符号化労力が必要となり、例えば、人は持続される正弦波のみを用いて過渡信号成分を符号化することは難しいと想像することができる。従って、持続符号化の前に符号化されるべき前記オーディオ信号からの過渡信号成分の除去は、有利である。また、前記過渡コーダにおいて導かれた過渡開始位置が、適応的分割(適応的フレーミング)のために前記持続コーダにおいて使用され得ることが、わかるだろう。
【0011】
それにもかかわらず、本発明は、欧州特許出願第00200939.7号において開示された過渡符号化の特定の使用に制限されず、これは、例示する目的のみのために提供される。
【0012】
過渡コーダ11は、過渡検出器(TD)110と、過渡解析器(TA)111と、過渡合成器(TS)112とを有する。まず信号x(t)が過渡検出器110に入る。この検出器110は、過渡信号成分があるかどうか、及びその位置を推定する。この情報は、過渡解析器111に入力される。この情報は、有利な信号により誘発される分割を得るために正弦波コーダ13及びノイズコーダ14においても使用され得る。もし前記過渡信号成分の位置が決定されると、過渡解析器111は、前記過渡信号成分(の主要部分)を抽出しようとする。前記過渡解析器は、例えば、複数(少数)の正弦波成分を使用することにより、形状関数を、好ましくは予測された開始位置から開始する信号セグメントと照合させ、前記形状関数の下の内容(content)を決定する。この情報は、過渡コードCTに含まれ、過渡コードCTの生成のより詳細な情報は、欧州特許出願第00200939.7号において提供される。
【0013】
いかなる場合でも、例えば、前記過渡解析器がメイクスナ様形状関数(Meixner like shape function)を使用する場合、過渡コードCTは、過渡状態が始まる開始位置、実質的に初期立ち上がり速度を示すパラメータ、及び実質的に立下り速度を示すパラメータ、並びに前記過渡状態の正弦波成分に対する周波数、振幅及び位相データを有する。
【0014】
もしコーダ1により作成されたビットストリームが、前記ビットストリームを生成するのに使用されるサンプリング周波数と独立にデコーダにより合成されるべきであれば、前記開始位置は、例えば、1フレーム内のサンプル数ではなく、時間値として伝送されるべきであり、前記正弦波周波数は、変換サンプリング周波数から導かれる又はそれと比例するだけの値ではなく絶対値として又は絶対値を表す識別子を使用して伝送されるべきである。それにもかかわらず、後でわかるように、本発明は上述の方式の何れを用いても実行されることができる。
【0015】
また、前記形状関数が、前記過渡信号成分が振幅包絡線における階段状の変化である場合に、階段表示をも含み得ることもわかるだろう。この場合に、前記過渡状態位置は、正弦波およびノイズモジュールに対する合成中に前記分割に作用するのみである。再び、本発明はどの実行にも制限されないが、前記階段状の変化の位置は、前記サンプリング周波数と関係するサンプル数ではなく、時間値として符号化されてもよい。
【0016】
過渡コードCTは、過渡合成器112に供給される。前記合成された過渡信号成分は、減算器16において入力信号x(t)から減算され、結果として信号x1を生じる。この場合、GC 12は省略され、x1 = x2。信号x2は、正弦波コーダ13に供給され、そこで信号x2が、前記(決定論的)正弦波成分を決定する正弦波解析器(SA)130において解析される。結果として生じる情報は、正弦波コードCSに含まれ、例示的な正弦波コードCSの生成を説明する、より詳細な例は、PCT特許出願第PCT/EP00/05344号(代理人参照番号N017502)において提供される。代わりに、基本的な実行は、“Speech analysis/synthesis based on sinusoidal representation”, R. McAulay and T. Quartieri, IEEE Trans. Acoust., Speech, Signal Process., 43:744-745, 1986又は“Technical description of the MPEG-4 audio-coding proposal from the University of Hannover and Deutsche Bundespost Telekom AG (revised)”, B. Edler, H. Purnhagen and C. Ferekidis, Technical note MPEG95/0414r, Int. Organisation for Standardisation ISO/IEC JTC1/SC29/WG11, 1996において開示されている。
【0017】
端的に言えば、しかしながら、前記好ましい実施例の前記正弦波コーダは、入力信号x2を、1つのフレームセグメントから次に連結される正弦波成分のトラックとして符号化する。これらのトラックは、特定の時間において開始し、特定の時間量の間に発展し、次いで停止する。1つのセグメントから次へのこれらのトラックに対する更新は、周波数、振幅、及びオプションとして位相情報に関して記述される。前記正弦波が活性的である期間において、前記発展は、典型的にはゆっくり変化する。この理由から、前記周波数及び振幅パラメータを差分的に更新することは、非常にビットレート効率が良い。このように、前記トラックは、所定のセグメント、誕生において開始する正弦波に対する開始周波数、開始振幅、及び開始位相により初めに表される。その後、前記トラックは、前記トラックが終わる(死)セグメントまで周波数差と、振幅差と、あるいは位相差(連続)とにより、後続のセグメントにおいて表される。実際には、符号化する位相差においてはゲインがほとんどないことが決定されるかもしれない。このように、位相情報は、連続して符号化される必要は少しもなく、位相情報は、連続位相再生を使用して再生成されることができる。
【0018】
再び、もし前記ビットストリームが、サンプリング周波数を独立にされるべきであれば、前記開始周波数は、符号化された信号が前記サンプリング周波数と独立であることを保証するために、絶対値又は絶対周波数を示す識別子として前記正弦波コードCS内に符号化される。
【0019】
正弦波コードCSから、前記正弦波信号成分は、正弦波合成器(SS)131により再生される。この信号は、減算器17において正弦波コーダ13に対する入力x2から減算され、結果として(大きな)過渡信号成分及び(主な)決定論的正弦波成分の全く無い残りの信号x3を生じる。
【0020】
残りの信号x3は、主にノイズを有すると推測され、前記好ましい実施例のノイズ解析器14は、このノイズを表すノイズコードCNを作成する。例えば2000年5月17日に出願されたPCT特許出願第PCT/EP00/04599号(代理人参照番号PHNL000286)の場合のように、慣習的には、前記ノイズのスペクトルは、等価矩形帯域幅(ERB)尺度により、結合されたAR(自己回帰)MA(移動平均)フィルタパラメータ(pi, qi)を用いて前記ノイズコーダにより作成される。図2のデコーダ内で、前記フィルタパラメータは、主にフィルタであり、且つ前記ノイズの前記スペクトルを概算するような周波数応答を持つノイズ合成器NS 33に入力される。NS 33は、白色ノイズ信号をARMAフィルタパラメータ(pi, qi)を用いてフィルタリングすることにより再生ノイズyNを生成し、続いてこれを後で記述される合成過渡状態yT及び正弦波信号ySに加算する。
【0021】
しかしながら、ARMAフィルタパラメータ(pi, qi)は、再び前記ノイズ解析器のサンプリング周波数に依存し、もし前記符号化されたビットストリームが、前記サンプリング周波数と独立であるべきならば、これらのパラメータは、符号化される前に線スペクトル対(LSP)としても知られる線スペクトル周波数(LSF)に変換される。これらのLSFパラメータは、絶対周波数グリッド又は前記ERB尺度若しくはBark尺度と関係したグリッド上に表されることができる。LSPのより多くの情報は、“Line Spectrum Pair (LSP) and speech data compression”, F. K. Soong and B. H. Juang, ICASSP, pp. 1.10.1, 1984において発見されることができる。いかなる場合にも、線形予測フィルタ型係数(この場合にはエンコーダのサンプリング周波数に依存する(pi, qi))の1形式からサンプリング周波数と独立なLSFへのこのような変換、及び逆の変換は、よく知られ、ここではさらに論じられない。しかしながら、LSFをデコーダ内のフィルタ係数(p’i, q’i)に変換することは、ノイズ合成器33が白色ノイズサンプルを生成するような周波数を参照して行われることができ、従って、前記デコーダが、初めサンプリングされた方法と独立にノイズ信号yNを生成することを可能にする。
【0022】
正弦波コーダ13における状況と同様に、ノイズ解析器14も、新しい解析ブロックを開始するための位置として前記過渡信号成分の開始位置を使用してもよいことがわかるだろう。このように正弦波解析器130及びノイズ解析器14のセグメントサイズは、必ずしも等しくはない。
【0023】
それにもかかわらず、下でわかるように、本発明は、上で言及した方式の何れも含むどんなノイズ符号化方式を用いても実行されることができる。
【0024】
本発明の前記好ましい実施例において、スクランブリングは、正弦波解析器130により作成される正弦波コードCSに対して実行される。特に、前記好ましい実施例において、暗号化モジュール18は、正弦波解析器130とマルチプレクサ15との間に配置される。暗号化モジュール18は、供給された鍵を使用して、トラック連続セグメントに対する正弦波コードCSの前記差分的な符号化された周波数及び/又は振幅値にスクランブルをかける。換言すれば、モジュール18は、暗号化された正弦波コードCSeを作成するために前記差別化された値を他の差別化された値に写像する。これらの値を修正することにより、コードCSeを有する前記ビットストリームは、依然として、復号可能であるが、結果としてトラックの寿命にわたってランダム化された周波数変化及び/又はランダム化された振幅変化を持つトラックを生じる。結果として、前記正しい鍵無しでデコーダにより作成された合成信号の音質は劣化されるだろう。
【0025】
劣化の量は、これらの差分的に符号化された周波数及び/又は振幅が修正される量及び範囲によって制御されることができる。従って、例えば、オーディオ信号の特定の型が、他よりスクランブリングに対して鋭敏であること、及び同様に、信号の特定の型が、振幅スクランブリングより周波数スクランブリングに対して鋭敏であることが、決定されてもよい。従って、信号が、大きな正弦波成分を有し、クラシック音楽の場合のように、トラックが長くなる傾向があり、即ち、トラックが複数のセグメントにわたって伸び、従って、トラックは、例えば、より最新のポピュラー音楽の幾つかの形式よりスクランブリングに対して鋭敏であってもよい。このように、前記スクランブリングを実行するために使用される前記鍵及び同様に前記写像は、それに応じて選択されることができる。
【0026】
最後に、マルチプレクサ15において、コードCT、CSe及びCNを含むオーディオストリームASが構成される。オーディオストリームASは、例えば、データバス、アンテナシステム、記憶媒体等に供給される。従って、前記信号の暗号化されたバージョンのみが伝送又は記憶されることがわかるだろう。
【0027】
図2は、本発明によるオーディオプレーヤ3を示す。図1によるエンコーダ又は非スクランブリングエンコーダの何れかにより生成されたオーディオストリームAS’は、前記データバス、アンテナシステム、記憶媒体等から得られる。オーディオストリームASは、コードCT、CSe及びCNを得るためにデマルチプレクサ30においてデマルチプレックスされる。CT及びCNコードは、欧州特許出願第00200939.7号の場合のように、それぞれ過渡合成器31及びノイズ合成器33に供給される。過渡コードCTから、前記過渡信号成分が、過渡合成器31において計算される。前記過渡コードが形状関数を示す場合、形状は、受信されたパラメータに基づいて計算される。さらに、前記形状内容は、前記正弦波成分の周波数及び振幅に基づいて計算される。もし過渡コードCTが階段を示すならば、過渡状態は計算されない。合計過渡信号yTは全ての過渡状態の和である。
【0028】
もし適応的なフレーミングが使用されるならば、前記過渡位置から、正弦波合成SS 32及びノイズ合成NS 33に対する分割が計算される。ノイズコードCNは、ノイズ信号yNを生成するために使用される。これを行うためには、前記フレームセグメントに対する前記線スペクトル周波数が、前記白色ノイズが前記ノイズ合成器により生成されるような周波数専用のARMAフィルタパラメータ(p’i, q’i)にまず変換され、これらが前記オーディオ信号の前記ノイズ成分を生成するために前記白色ノイズ値と結合される。いかなる場合でも、後続のフレームセグメントは、例えば、オーバーラップアッド法(overlap-add method)により加算される。
【0029】
本発明によると、しかしながら、もし解読鍵が利用可能ならば、CSeコードは、スクランブルをかけられていると推測され、まず解読モジュール38に入力される。前記解読モジュールは、解読されたコードCSを作成するために暗号化されたCSeコードに対して、従来の処理技術を通して取得された鍵を適用する。一度前記正しい鍵が前記デコーダに対して、従って解読モジュール38に対して供給されると、前記デコーダは、それ以外は、前記ビットストリームがスクランブルをかけられていること、又は前記信号を符号化する時に選択された前記特定の写像を知っている必要はない。
【0030】
もし鍵が利用可能でない、例えば、前記ビットストリームはスクランブルをかけられていない、又は単純に前記鍵が得られていない場合に、供給されたCSeコードから変化されていない正弦波コードCSは、所定のセグメント上の正弦波の和として記述される信号ySを生成するために使用される。
【0031】
もし前記ビットストリームがスクランブルをかけられていなければ、これは、おそらく鍵は供給されないので、元のサンプリングされた音質で合成されるだろう。
【0032】
他方では、もし前記正しい鍵が、スクランブルをかけられた信号に対して利用可能ならば、コード解析器130により作成された元のコードに対応する正弦波コードCSが生成され、これらは、信号ySを生成するために合成器32に供給されることができる。
【0033】
合計信号y(t)は、過渡信号yTとどんな振幅解凍の生成物との和、及び正弦波信号ySとノイズ信号yNとの和を有する。該オーディオプレーヤは、それぞれの信号を合計するために2つの加算器36及び37を有する。前記合計信号は、例えばスピーカである出力ユニット35に供給される。
【0034】
従って、鍵が利用可能ではない、又は間違った鍵が使用される場合には、初めにサンプリングされた信号x(t)と比較して劣化した信号y(t)が結果として生じるだろう。他方では、もし正しい鍵が使用されるならば、前記信号y(t)の正弦波成分は、元のサンプリングされた音質において合成されるであろうし、従って、元の音質における前記合計信号を作成する。
【0035】
図3は、図1に示されるオーディオコーダ1及び図2に示されるオーディオプレーヤ3を有する、本発明によるオーディオシステムを示す。このようなシステムは、再生及び記録機能を提供するが、元の音質のデータの許可されていない複製を防ぐ。暗号化されたオーディオストリームASは、前記オーディオコーダから、無線接続であってもよい通信チャネル2、データバス、又は記憶媒体によって前記オーディオプレーヤに供給される。通信チャネル2が記憶媒体の場合、前記記憶媒体は、前記システム内に固定されてもよいし、又はリムーバブルディスク、Sony CorporationのMemory StickTM等のような半導体記憶装置であってもよい。通信チャネル2は、前記オーディオシステムの一部であってもよいが、しかしながら、しばしば前記オーディオシステムの外にあるだろう。
【0036】
前記好ましい実施例の変更も可能であることがわかるだろう。例えば、一方でノイズ成分CNが通常、全体の信号の相対的に小さい成分に寄与し、従ってその不在が聞き手にとって受け入れがたいことを証明できないのに対して、前記信号の前記ノイズ成分のスペクトル周波数をほぼランダムに相殺するための前記ノイズ成分のスクランブリングは、求められる効果を提供し得る。このように、暗号化モジュール(図示されていない)は、モジュール18に追加して、又は代わりにノイズ解析器14とマルチプレクサ15との間に配置されてもよい。前記デコーダ内で、対応する解読モジュール(図示されていない)は、この場合、(もし鍵が供給されるならば)前記ビットストリームから前記ノイズコードを解読するために、追加として、又は代わりにデマルチプレクサ30とノイズ合成器33との間に配置される。
【0037】
さらに、一方で過渡成分CTが、典型的には前記ビットストリーム内で周期的に符号化されるだけであり、従って、それらの不在が聞き手に対して受け入れがたいと証明できないのに対して、再び、包絡線関数により重み付けされた正弦波パラメータの振幅及び周波数パラメータを、ほぼランダムに相殺するための前記過渡成分のスクランブリングは、求められる効果を提供し得る。このように、暗号化モジュール(図示されていない)は、モジュール18及び/又はどんなノイズスクランブリングモジュールにでも追加して、又は代わりに過渡解析器111とマルチプレクサ15との間に配置されてもよい。前記デコーダ内で、対応する解読モジュール(図示されていない)は、この場合、前記ビットストリームから前記過渡コードを解読する(又はしない)ために、追加として、又は代わりにデマルチプレクサ30と過渡合成器31との間に配置される。
【0038】
また、本発明の実行において、コードCS、CT又はCNのスクランブリングは、マルチプレクシングの前に実行される前記コードのどんな量子化の前又は後にも起こり得ることは注目すべきである。
【0039】
また、上述したように、前記暗号化及び解読モジュールの両方は、どんな数の方法においても動作し得る。従って、例えば、前記鍵は、単純に前記ビットストリームに対して直接適用される必要は無く、むしろ前記鍵は、実際には前記信号にスクランブルをかけ及び解読するために使用される写像を暗号化及び解読するために使用されてもよい。それにもかかわらず、合成写像及び鍵は、本発明の鍵として考えられることができる。
【0040】
本発明は、圧縮オーディオに対する著作権管理が望まれる応用、例えば、SSA(半導体オーディオ)、EMD(電子音楽配信)、超流通及びインターネットを見出す。
【0041】
本発明が、専用のハードウェア、DSP上で動くソフトウェア、又は汎用コンピュータにおいて実行されることができることが認められる。本発明は、本発明による符号化方法を実行するコンピュータプログラムを載せるCD-ROM又はDVD-ROMのような有形媒体において実施されることができる。本発明は、また、インターネットのようなデータネットワークによって伝送される信号、又は放送サービスにより伝送される信号として実施されることもできる。
【0042】
上述の実施例が、本発明を制限するのではなく説明すること、及び当業者が、添付された請求項の範囲から外れることなく多くの代替実施例を設計することができるであろうことは、注目すべきである。当該請求項において、括弧の間に配置されるどの参照符号も当該請求項を制限するように解釈されるべきでない。単語‘有する’は、請求項において列挙される要素又はステップ以外の要素又はステップの存在を除外しない。本発明は、幾つかの明確な要素を有するハードウェアによって、及び適当にプログラムされたコンピュータによって実行されることができる。幾つかの手段を列挙する装置請求項において、これらの手段の幾つかは、ハードウェアの全く同一の項目により実施されることができる。特定の基準が、互いに異なる従属請求項において列挙されるという単なる事実は、これらの基準の組み合わせが都合よく使用されることができないことを示さない。
【0043】
要約すると、オーディオ信号の符号化が提供され、そこで符号化されたビットストリームは前記オーディオ信号のパラメータ表示を有する。前記パラメータ表示の1つの成分は、連結された正弦波成分のトラックを有し、そこで続いて連結される成分は、既に決定された連結された信号成分のパラメータから差分的に符号化される。前記コーダは、差分的な値を他の差分的な値に写像することにより差分的に符号化された周波数及び/又は振幅値にスクランブルをかける。これらの値を修正することにより、前記ビットストリームは、依然として復号可能であるが、結果としてランダムな周波数及び/又は振幅変化を持つトラックを生じる。その結果、前記信号は劣化されるだろう。
【図面の簡単な説明】
【0044】
【図1】本発明によるオーディオコーダの実施例を示す。
【図2】本発明によるオーディオプレーヤの実施例を示す。
【図3】オーディオコーダ及びオーディオプレーヤを有するシステムを示す。

Claims (20)

  1. オーディオ信号を符号化する方法であって、
    サンプル信号値を生成するために前記オーディオ信号をサンプリングするステップと、
    前記オーディオ信号のパラメータ表示を生成するために前記サンプル信号値を解析するステップと、
    前記パラメータ表示の少なくとも幾つかのパラメータを暗号化するステップと、
    前記オーディオ信号が暗号化されていないパラメータ表示を使用して作成されるより低い音質レベルにおいて前記符号化されたオーディオストリームから合成されることを可能にし、且つ前記オーディオ信号を表す前記暗号化されたパラメータ表示を含む符号化されたオーディオストリームを生成するステップと、
    を有する方法。
  2. 前記方法がさらに、
    a)連続した信号セグメントにおいて存在する連結された信号成分を表すトラックを決定することにより、及びb)既に決定された連結された信号成分のパラメータに基づいてトラックを伸ばすことにより、前記オーディオ信号の持続される信号成分を作成するステップを有し、前記暗号化するステップが、暗号鍵を用いて前記連結された信号成分にスクランブルをかけるステップを有する、
    請求項1に記載の方法。
  3. トラックにおける第1信号成分に対するパラメータが、前記信号成分の絶対周波数を表すパラメータを含み、前記暗号化するステップが、前記暗号鍵を用いて後続の信号セグメントのパラメータにスクランブルをかけるステップを有する、請求項2に記載の方法。
  4. 前記後続の信号セグメントのパラメータが、既に決定された連結された信号成分のパラメータからの差分的な振幅及び周波数値を有し、前記暗号化するステップが、前記振幅及び/又は周波数差にスクランブルをかけるステップを有する、請求項3に記載の方法。
  5. 前記生成するステップが、第1サンプリング周波数と独立なパラメータ表示を提供し、前記オーディオ信号が前記第1サンプリング周波数と独立に合成されることを可能にする、請求項1に記載の方法。
  6. 前記方法がさらに、
    前記ノイズ成分の目標スペクトルを推定する周波数応答を持つフィルタのフィルタパラメータを決定することにより前記オーディオ信号のノイズ成分を作成するステップ、
    を有する、請求項1に記載の方法。
  7. 前記暗号化するステップが、前記フィルタパラメータにスクランブルをかけるステップを有する、請求項6に記載の方法。
  8. 前記フィルタパラメータを前記第1サンプリング周波数と独立なパラメータに変換するステップを有する、請求項6に記載の方法。
  9. 前記フィルタパラメータが、自己回帰及び移動平均パラメータであり、前記独立なパラメータが線スペクトル周波数を示す、請求項8に記載の方法。
  10. 前記暗号化するステップが、前記独立なパラメータにスクランブルをかけるステップを有する、請求項8に記載の方法。
  11. 前記独立なパラメータが、絶対周波数、Bark尺度、又はERB尺度の1つにおいて表される、請求項9に記載の方法。
  12. 前記方法がさらに、
    前記オーディオ信号における過渡信号成分の位置を推定するステップと、
    形状パラメータ及び位置パラメータを持つ形状関数を前記過渡信号と照合するステップと、
    を有し、
    前記暗号化するステップが、前記位置及び/又は形状パラメータにスクランブルをかけるステップを有し、
    前記生成するステップが、前記オーディオストリームにおいて前記暗号化された位置及び形状パラメータを含む、
    請求項1に記載の方法。
  13. 前記位置パラメータが、前記オーディオ信号における前記過渡信号成分の絶対時間位置を表す、請求項12に記載の方法。
  14. 前記照合するステップが、階段過渡状態を示す形状関数を提供するために振幅における階段状変化である前記過渡信号成分に反応する、請求項12に記載の方法。
  15. オーディオストリームを復号する方法であって、前記方法が、
    オーディオ信号のパラメータ表示を含み、且つ前記オーディオ信号を表す符号化されたオーディオストリームを読み込むステップと、
    鍵の利用可能性に反応するステップであって、前記鍵を用いて前記パラメータ表示の少なくとも幾つかのパラメータを解読するステップと、
    前記オーディオ信号を合成するために前記解読されたパラメータ表示を使用するステップと、
    を有する方法。
  16. サンプル信号値を生成するためにオーディオ信号をサンプリングするサンプラと、
    前記オーディオ信号のパラメータ表示を生成するために前記サンプル信号値を解析する解析器と、
    前記パラメータ表示の少なくとも幾つかのパラメータにスクランブルをかける暗号化モジュールと、
    前記オーディオ信号が暗号化されていないパラメータ表示を使用して作成されるより低い音質レベルにおいて前記符号化されたオーディオストリームから合成されることを可能にし、且つ前記オーディオ信号を表す前記暗号化されたパラメータ表示を含む符号化されたオーディオストリームを生成するビットストリーム生成器と、
    を有する、オーディオコーダ。
  17. オーディオ信号を表し、且つ前記オーディオ信号のパラメータ表示を含む符号化されたオーディオストリームを読み込む手段と、
    鍵の利用可能性に反応する手段であって、前記鍵を用いて前記パラメータ表示の少なくとも幾つかのパラメータを解読する手段と、
    前記オーディオ信号を合成するために前記解読されたパラメータ表示を使用するように構成された合成器と、
    を有する、オーディオプレーヤ。
  18. 請求項16に記載のオーディオコーダと、請求項17に記載のオーディオプレーヤとを有するオーディオシステム。
  19. オーディオ信号が暗号化されていないパラメータ表示を使用して作成されるより低い音質レベルにおいて前記オーディオストリームから合成されることを可能にし、且つ前記オーディオ信号を表す部分的に暗号化されたパラメータを有するオーディオストリーム。
  20. 請求項19に記載のオーディオストリームが記憶されている記憶媒体。
JP2002584617A 2001-04-18 2002-04-09 部分暗号化を用いるオーディオ符号化 Expired - Fee Related JP4391088B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01201405 2001-04-18
PCT/IB2002/001281 WO2002087241A1 (en) 2001-04-18 2002-04-09 Audio coding with partial encryption

Publications (3)

Publication Number Publication Date
JP2004531761A true JP2004531761A (ja) 2004-10-14
JP2004531761A5 JP2004531761A5 (ja) 2005-12-22
JP4391088B2 JP4391088B2 (ja) 2009-12-24

Family

ID=8180170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002584617A Expired - Fee Related JP4391088B2 (ja) 2001-04-18 2002-04-09 部分暗号化を用いるオーディオ符号化

Country Status (10)

Country Link
US (1) US7319756B2 (ja)
EP (1) EP1382202B1 (ja)
JP (1) JP4391088B2 (ja)
KR (1) KR100927842B1 (ja)
CN (1) CN1274153C (ja)
AT (1) ATE334556T1 (ja)
BR (1) BR0204835A (ja)
DE (1) DE60213394T2 (ja)
ES (1) ES2266481T3 (ja)
WO (1) WO2002087241A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008122911A (ja) * 2006-11-13 2008-05-29 Korea Electronics Telecommun キー再同期区間の音声データを見積もるためのベクトル情報の挿入方法、ベクトル情報伝送方法、およびベクトル情報を用いたキー再同期区間の音声データ見積り方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003281128A1 (en) * 2002-07-16 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
US7764791B2 (en) * 2002-10-03 2010-07-27 Daniel Lecomte Method for secured transmission of audiovisual files
FR2845543B1 (fr) * 2002-10-03 2005-02-04 Medialive Systeme d'embrouillage securise de flux audio
US7630492B2 (en) * 2002-10-03 2009-12-08 Daniel Lecomte Secure audio stream scramble system
FR2849980B1 (fr) * 2003-01-15 2005-04-08 Medialive Procede pour la distribution de sequences video, decodeur et systeme pour la mise en oeuvre de ce prodede
FR2853786B1 (fr) * 2003-04-11 2005-08-05 Medialive Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction
FR2854531B1 (fr) * 2003-05-02 2007-01-05 Medialive Procede et systeme pour securiser l'embrouillage, le desembrouillage et la distribution de sequences visuelles vectorielles
CN100508030C (zh) * 2003-06-30 2009-07-01 皇家飞利浦电子股份有限公司 一种编码/解码音频信号的方法及相应设备
CN1849649A (zh) * 2003-09-09 2006-10-18 皇家飞利浦电子股份有限公司 瞬态音频信号分量的编码
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
CN101116135B (zh) * 2005-02-10 2012-11-14 皇家飞利浦电子股份有限公司 声音合成
KR101160818B1 (ko) * 2005-04-13 2012-07-03 가부시키가이샤 엔티티 도코모 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
US20090281812A1 (en) * 2006-01-18 2009-11-12 Lg Electronics Inc. Apparatus and Method for Encoding and Decoding Signal
JP5200204B2 (ja) 2006-03-14 2013-06-05 ディブエックス リミテッド ライアビリティー カンパニー 高信頼性システムを含む連合型デジタル権限管理機構
KR100836942B1 (ko) * 2006-04-18 2008-06-12 프레스티지전자 주식회사 음성신호의 인크립션/디크립션 방법과 이를 위한 장치
US20080101711A1 (en) * 2006-10-26 2008-05-01 Antonius Kalker Rendering engine for forming an unwarped reproduction of stored content from warped content
US7886069B2 (en) 2007-01-05 2011-02-08 Divx, Llc Video distribution system including progressive playback
KR20080073925A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 파라메트릭 부호화된 오디오 신호를 복호화하는 방법 및장치
KR101317269B1 (ko) 2007-06-07 2013-10-14 삼성전자주식회사 정현파 오디오 코딩 방법 및 장치, 그리고 정현파 오디오디코딩 방법 및 장치
KR101346771B1 (ko) * 2007-08-16 2013-12-31 삼성전자주식회사 심리 음향 모델에 따른 마스킹 값보다 작은 정현파 신호를효율적으로 인코딩하는 방법 및 장치, 그리고 인코딩된오디오 신호를 디코딩하는 방법 및 장치
KR101410230B1 (ko) 2007-08-17 2014-06-20 삼성전자주식회사 종지 정현파 신호와 일반적인 연속 정현파 신호를 다른방식으로 처리하는 오디오 신호 인코딩 방법 및 장치와오디오 신호 디코딩 방법 및 장치
WO2009065137A1 (en) 2007-11-16 2009-05-22 Divx, Inc. Hierarchical and reduced index structures for multimedia files
US8805680B2 (en) * 2009-05-19 2014-08-12 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding audio signal using layered sinusoidal pulse coding
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8787570B2 (en) 2011-08-31 2014-07-22 Sonic Ip, Inc. Systems and methods for automatically genenrating top level index files
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
WO2014097500A1 (ja) * 2012-12-17 2014-06-26 パナソニック株式会社 情報処理装置および制御方法
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
ES2874748T3 (es) 2015-01-06 2021-11-05 Divx Llc Sistemas y métodos para codificar y compartir contenido entre dispositivos

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4232194A (en) * 1979-03-16 1980-11-04 Ocean Technology, Inc. Voice encryption system
US4612414A (en) * 1983-08-31 1986-09-16 At&T Information Systems Inc. Secure voice transmission
CN1062963C (zh) * 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
US5243653A (en) * 1992-05-22 1993-09-07 Motorola, Inc. Method and apparatus for maintaining continuous synchronous encryption and decryption in a wireless communication system throughout a hand-off
DK46493D0 (da) * 1993-04-22 1993-04-22 Frank Uldall Leonhard Metode for signalbehandling til bestemmelse af transientforhold i auditive signaler
JP3496411B2 (ja) * 1996-10-30 2004-02-09 ソニー株式会社 情報符号化方法及び復号化装置
US5886276A (en) * 1997-01-16 1999-03-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for multiresolution scalable audio signal encoding
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
DE19747132C2 (de) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
JP2002512494A (ja) * 1998-04-21 2002-04-23 ソラナ・テクノロジー・ディベロップメント・コーポレイション マルティメディア適応スクランブリングシステム
US6888943B1 (en) * 1998-04-21 2005-05-03 Verance Corporation Multimedia adaptive scrambling system (MASS)
JO2117B1 (en) * 1998-07-15 2000-05-21 كانال + تيكنولوجيز سوسيته انونيم A method and device for the secure communication of information between a group of audio-visual devices that operate with numbers
US6266644B1 (en) * 1998-09-26 2001-07-24 Liquid Audio, Inc. Audio encoding apparatus and methods
DE19907964C1 (de) * 1999-02-24 2000-08-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen eines verschlüsselten Datenstroms und Vorrichtung und Verfahren zum Erzeugen eines entschlüsselten Audio- und/oder Videosignals
KR20010072778A (ko) 1999-06-18 2001-07-31 요트.게.아. 롤페즈 개선된 인코더를 갖는 오디오 전송 시스템
US7085377B1 (en) * 1999-07-30 2006-08-01 Lucent Technologies Inc. Information delivery in a multi-stream digital broadcasting system
DE60129771T2 (de) * 2000-03-15 2008-04-30 Koninklijke Philips Electronics N.V. Laguerre funktion für audiokodierung
US20020076049A1 (en) * 2000-12-19 2002-06-20 Boykin Patrick Oscar Method for distributing perceptually encrypted videos and decypting them
US6845359B2 (en) * 2001-03-22 2005-01-18 Motorola, Inc. FFT based sine wave synthesis method for parametric vocoders

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008122911A (ja) * 2006-11-13 2008-05-29 Korea Electronics Telecommun キー再同期区間の音声データを見積もるためのベクトル情報の挿入方法、ベクトル情報伝送方法、およびベクトル情報を用いたキー再同期区間の音声データ見積り方法
JP4564985B2 (ja) * 2006-11-13 2010-10-20 韓國電子通信研究院 キー再同期区間の音声データを見積もるためのベクトル情報の挿入方法、ベクトル情報伝送方法、およびベクトル情報を用いたキー再同期区間の音声データ見積り方法

Also Published As

Publication number Publication date
CN1274153C (zh) 2006-09-06
EP1382202B1 (en) 2006-07-26
US7319756B2 (en) 2008-01-15
EP1382202A1 (en) 2004-01-21
ATE334556T1 (de) 2006-08-15
WO2002087241A1 (en) 2002-10-31
BR0204835A (pt) 2003-06-10
JP4391088B2 (ja) 2009-12-24
KR20030010702A (ko) 2003-02-05
CN1463547A (zh) 2003-12-24
ES2266481T3 (es) 2007-03-01
DE60213394T2 (de) 2007-08-23
DE60213394D1 (de) 2006-09-07
KR100927842B1 (ko) 2009-11-23
US20020154774A1 (en) 2002-10-24

Similar Documents

Publication Publication Date Title
JP4391088B2 (ja) 部分暗号化を用いるオーディオ符号化
KR100723753B1 (ko) 스펙트럼 대역 복사에 의한 오디오 디코딩 장치 및 오디오디코딩 방법
US9008306B2 (en) Adaptive and progressive audio stream scrambling
KR100936498B1 (ko) 스테레오 호환성의 멀티채널 오디오 코딩
JP4359499B2 (ja) オーディオ信号の編集
US20020156619A1 (en) Audio coding
US8200498B2 (en) Secure audio stream scramble system
KR20020097164A (ko) 신호 스크램블링 방법
JP2003143015A (ja) 信号処理方法及び装置並びに符号列生成方法及び装置
JP2004318126A (ja) デジタルオーディオ処理
Kirbiz et al. Decode-time forensic watermarking of AAC bitstreams
Masmoudi et al. A New Blind IoT-Based MP3 Audio Watermarking Scheme for Content Integrity Checking and Copyright Protection
JP2004362721A (ja) データ生成方法およびデータ生成装置、データ再生方法およびデータ再生装置、並びにプログラム
Brandau Implementation of a real-time voice encryption system
JP2006195066A (ja) 符号化オーディオ信号の再生装置及び再生方法
FR2845543A1 (fr) Systeme d'embrouillage securise de flux audio
Xu et al. Digital Audio Watermarking
JP2001094434A (ja) オーディオ信号符号化装置及びオーディオ信号復号化装置
Allamanche et al. S ecure Delivery of Cornpressed Audio by Cornpatible Bitstream Scrambling
JP2003263195A (ja) 信号再生方法及び装置、信号記録方法及び装置、並びに符号列生成方法及び装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081031

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081110

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091007

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees