JP2014182188A - データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム - Google Patents

データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP2014182188A
JP2014182188A JP2013054939A JP2013054939A JP2014182188A JP 2014182188 A JP2014182188 A JP 2014182188A JP 2013054939 A JP2013054939 A JP 2013054939A JP 2013054939 A JP2013054939 A JP 2013054939A JP 2014182188 A JP2014182188 A JP 2014182188A
Authority
JP
Japan
Prior art keywords
data
candidates
prediction parameter
prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013054939A
Other languages
English (en)
Other versions
JP6146069B2 (ja
Inventor
Akira Kamano
晃 釜野
Yohei Kishi
洋平 岸
Masanao Suzuki
政直 鈴木
Shunsuke Takeuchi
俊輔 武内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013054939A priority Critical patent/JP6146069B2/ja
Priority to US14/087,121 priority patent/US9691397B2/en
Publication of JP2014182188A publication Critical patent/JP2014182188A/ja
Application granted granted Critical
Publication of JP6146069B2 publication Critical patent/JP6146069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】元の情報を表しているデータに、当該元の情報の品質の劣化が認識されないように他の情報の埋め込みを行う。
【解決手段】符号帳２１には、予測パラメータが予め複数格納されている。候補抽出部２２は、複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補と候補の数を、符号帳２１から複数抽出する。データ埋め込み部２３は、予測符号化の結果とする予測パラメータを、抽出された候補から候補の数の進数に応じた所定のデータ埋め込み規則に従って選択することによって、埋め込み対象のデータを進数として当該予測パラメータに埋め込む。
【選択図】図１

Description

本発明は、データに他の情報を埋め込む技術、及び、埋め込まれている当該他の情報を抽出する技術に関する。
例えばオーディオ信号では、サンプリング定理に基づいて音声を標本化し、量子化して、線形パルス符号化によりデジタル化している。特に音楽ソフトは、非常に高い音質を保ったままデジタル化されている。一方、このようなデジタル化されたデータは、容易に完全な形式で複製できるという特徴がある。このため、人間が知覚できない形式で、著作権情報などを、音楽ソフトに埋め込む試みがある。このとき、高音質を要求される音楽ソフトに適切な情報の埋め込み方法として、周波数成分に情報を埋め込む方法が知られている。
また、画像データが圧縮符号化された圧縮符号列のデータ量を変えることなく、且つ見た目に分からないように圧縮符号列を変えて、他の情報を埋め込む情報埋込装置が提案されている。このような情報埋込装置では、圧縮符号列をブロック毎に復号し、係数ブロックを生成する。情報埋込装置は、生成された係数ブロックと入力データのビット値とに対応する埋め込み情報を、埋め込みデータテーブルから選択し、ブロックの総符号長が変わらない新たなブロックを生成することにより、他の情報を埋め込む。（例えば、特許文献１、非特許文献１参照）
特開２００２−３４４７２６号公報
電子透かしの基礎 ｐ．１８４〜１９４ 松井甲子雄 著 森北出版
上記のようにデータに他の情報を埋め込む技術では、元の情報の品質の劣化が認識されないようにすることが好ましい。例えば、オーディオ信号の符号化データや、圧縮符号化された画像データに対する他の情報の埋め込みにおいては、以下のような要求がある。すなわち、元の音源または画像の違いや、視聴する人の違いがあっても、情報の埋め込みに起因する音質または画質の劣化が認識されないようにすることである。
ひとつの側面によれば、本発明は、元の情報を表しているデータに、当該元の情報の品質の劣化が認識されないように他の情報の埋め込みを行うとともに、埋め込まれた当該他の情報の抽出を行うことを目的とする。
ひとつの態様によるデータ埋め込み装置は、記憶部、候補抽出部、変換部およびデータ埋め込み部を有している。記憶部は、複数の予測パラメータを含む符号帳を記憶している。候補抽出部は、複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出する。また、候補抽出部は、抽出された前記予測パラメータの候補の数を抽出する。変換部は、埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する。データ埋め込み部は、前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択する。これによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む。
別の態様によるデータ抽出装置は、予測パラメータに埋め込まれたデータを抽出する。このデータ抽出装置は、記憶部、候補特定部、データ抽出部、変換部を有している。記憶部は、データ埋め込みに用いられる複数の予測パラメータを含む符号帳を記憶する。候補特定部は、前記予測符号化において抽出された予測パラメータの候補を前記符号帳から特定するとともに、前記予測パラメータの候補の数を特定する。このとき、候補特定部は、複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて上記特定を行う。データ抽出部は、前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出する。変換部は、抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行う。このとき、前記変換部の変換結果に基づき埋め込まれたデータが抽出される。
別の態様によれば、データ埋め込み装置が、以下の処理を行うデータ埋め込み方法が提供される。データ埋め込み装置は、複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出する。また、データ埋め込み装置は、抽出された前記予測パラメータの候補の数を抽出する。また、データ埋め込み装置は、埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する。さらにデータ埋め込み装置は、前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択する。これにより、データ埋め込み装置は、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む。
さらにまた別の態様によれば、データ抽出装置が、以下の処理を行うデータ抽出方法が提供される。データ抽出装置は、前記予測符号化において抽出された予測パラメータ候補と、前記予測パラメータ候補の数とを特定する。データ抽出装置は、複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて、予測パラメータの候補を特定する。このとき、データ抽出装置は、予測パラメータの候補を、データ抽出装置自身の有するデータ埋め込みに用いられる複数の予測パラメータを含む符号帳から特定する。データ抽出装置は、前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出する。データ抽出装置は、抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより、埋め込まれたデータを抽出する。
なお、上述した態様に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した態様に係る方法と同様の作用効果を奏するので、前述した課題が解決される。
上述した態様によれば、元の情報を表しているデータに、当該元の情報の品質の劣化が認識されないように他の情報の埋め込みを可能にするとともに、埋め込まれた当該他の情報の抽出を可能にする。
エンコードシステムの構成の一例を示す図である。 埋め込み情報変換部の構成の一例を示す図である。 ２チャンネルから３チャンネルへのアップミックスの説明図である。 放物型の誤差曲面の一例を示す図である。 楕円型の誤差曲面の一例を示す図である。 誤差曲面の投影図の一例を示す図である。 予測パラメータ候補抽出のパターンＡの例を示す図である。 予測パラメータ候補抽出のパターンＢの例を示す図である。 予測パラメータ候補抽出のパターンＢの例を示す図である。 予測パラメータ候補抽出のパターンＣの例を示す図である。 予測パラメータ候補抽出のパターンＤの例を示す図である。 予測パラメータ候補抽出のパターンＤの例を示す図である。 予測パラメータ候補抽出のパターンＥの例を示す図である。 パターンＣで、予測パラメータ候補の数が変化する例を示す図である。 パターンＥの一例を示す図である。 パターンＡの変形例を示す図である。 候補抽出部、埋め込み情報変換部およびデータ埋め込み部の処理の一例を説明する図である。 候補抽出部、埋め込み情報変換部およびデータ埋め込み部の処理の別の例を説明する図である。 データ埋め込み方法の一例を示すフローチャートである。 予測パラメータ候補抽出処理の詳細を示すフローチャートである。 デコードシステムの構成を示すブロック図である。 抽出情報変換部の構成を示すブロック図である。 誤差直線がｃ２軸に平行な例を示す図である。 誤差直線が、符号帳の対向する２辺に交わる例を示す図である。 バッファ情報の一例を示す図である。 進数変換部による情報変換の一例を示す図である。 デコードシステムの処理を示すフローチャートである。 データ埋め込み量のシミュレーション結果を示す図である。 変形例１による埋め込み情報埋め込み方法の一例を示す図である。 変形例１による情報抽出方法の一例を示す図である。 変形例２によるデータ埋め込み方法の一例を示す図である。 変形例３によるデータ埋め込み方法の一例を示す図である。 変形例３においてデータ埋め込み装置において行われる制御処理の処理内容を図解したフローチャートである。 変形例４による埋め込み情報に対する誤り訂正符号化処理の一例を示す図である。 標準的なコンピュータのハードウエア構成を示す図である。
以下図面を参照しながら、一実施の形態によるデータ埋め込み装置、およびデータ抽出装置について説明する。図１は、本実施の形態によるエンコードシステム１の構成の一例を示す図である。図２は、埋め込み情報変換部の構成の一例を示す図である。図３は、２チャンネルからデコードシステム３チャンネルへのアップミックスの説明図である。
図１に示すように、エンコードシステム１は、多チャンネルのオーディオ信号を圧縮し、符号化するとともに、例えば、著作権情報などの情報を埋め込むシステムである。
エンコードシステム１は、エンコーダ装置１０、およびデータ埋め込み装置２０を備えている。エンコーダ装置１０は、時間周波数変換部１１、第１ダウンミックス部１２、第二ダウンミックス部１３、ステレオ符号化部１４、予測符号化部１５、および多重化部１６を有している。データ埋め込み装置２０は、符号帳２１、候補抽出部２２、データ埋め込み部２３、埋め込み情報変換部２４を有している。図２に示すように、埋め込み情報変換部２４は、バッファ２６、進数変換部２７、切り出し部２８を備えている。
図１、図２に示すエンコードシステム１が備えるこれらの構成要素は、それぞれ別個の回路として形成される。あるいはこれらの構成要素の一部若しくは全部が集積された集積回路としてエンコードシステムの各々が実装されてもよい。更に、これらの各構成要素は、エンコードシステム１の各々が有する演算処理装置上で実行されるプログラムにより実現される、機能モジュールであってもよい。
以下、多チャネルのオーディオ信号のデータ量を圧縮する符号化方式として、Moving Picture Experts Group（ＭＰＥＧ） Surroundを用いる。MPEG Surroundは、Moving Picture Experts Group（ＭＰＥＧ）において標準化された符号化方式である。ここで、MPEG Surroundについて説明する。
MPEG Surroundでは、例えば、符号化対象となる５．１チャネルのオーディオ信号（時間信号）が周波数変換され、得られた周波数信号がダウンミックスされることによって３チャネルの周波数信号がまず生成される。その後、その３チャネルの周波数信号が再度ダウンミックスされることによって、ステレオ信号に対応する２チャネルの周波数信号が算出される。この２チャネルの周波数信号は、その後、Advanced Audio Coding （ＡＡＣ）符号化方式及びSpectral Band Replication （ＳＢＲ）符号化方式に基づいて符号化される。なお、MPEG Surroundでは、５．１チャネルから３チャネルへの信号のダウンミックスの際と、３チャネルから２チャネルへの信号のダウンミックスの際とにおいて、音の拡がり又は定位を表す空間情報が算出され、この空間情報も併せて符号化される。
このように、MPEG Surroundでは、マルチチャネルオーディオ信号をダウンミックスして生成されるステレオ信号と、データ量の比較的少ない空間情報とが符号化される。従って、MPEG Surroundは、マルチチャネルオーディオ信号に含まれる各チャネルの信号を独立に符号化するよりも高い圧縮効率が得られる。
このMPEG Surroundでは、２チャネルであるステレオ周波数信号の生成の際に算出される空間情報を符号化するために、予測パラメータが用いられる。予測パラメータとは、ダウンミックス後の２チャネルの信号をアップミックスして３チャネルの信号を得るための予測、すなわち、３チャネル中の１つのチャネルの信号の予測を、その他の２つのチャネルの信号に基づいて行うために用いられる係数である。このアップミックスについて、図３を参照しながら説明する。
図３においては、ダウンミックスされている２チャネルの信号をｌベクトルとｒベクトルとでそれぞれ表しており、この２チャネルの信号からアップミックスによって得られる１つの信号をｃベクトルで表している。MPEG Surroundでは、この場合に、ｃベクトルが、予測パラメータｃ1 及びｃ2 を用いて、下記の（式１）により予測されるものとしている。
なお、予測パラメータは例えば符号帳２１のような「符号帳」と称されるテーブルに値が予め複数格納されている。符号帳は、使用ビット効率の向上のために用いられるものである。MPEG Surroundでは、ｃ1 及びｃ2 について、各々−２．０以上＋３．０以下の領域を０．１幅で刻んだ５１個×５１個の組が符号帳として用意されている。従って、ｃ1 及びｃ2 の各々を２つの座標軸とする直交２次元座標上にこの予測パラメータの組をプロットすると、５１個×５１個の格子点となる。
図１に戻って、エンコーダ装置１０には、左前方、中央、右前方、左後方、右後方の計５チャネル分の信号と、低域専用の０．１チャネルの信号とからなる、５．１チャネルの時間領域のオーディオ信号が入力される。エンコーダ装置１０は、この５．１チャネルのオーディオ信号に対して符号化を施して符号化データを出力する。一方、データ埋め込み装置２０は、エンコーダ装置１０が出力する符号化データへ、他のデータの埋め込みを行う装置であり、データ埋め込み装置２０には、符号化データへ埋め込まれる埋め込み情報が入力される。ここで、埋め込み情報とは、音声データに埋め込む情報であり、例えば著作権情報などである。エンコードシステム１の出力は、エンコーダ装置１０から出力される、埋め込み情報が埋め込まれた符号化データである。
エンコーダ装置１０の時間周波数変換部１１は、エンコーダ装置１０に入力される５．１チャネルの時間領域のオーディオ信号を５．１チャネルの周波数信号に変換する。本実施の形態では、時間周波数変換部１１は、例えば、Quadrature Mirror Filter（ＱＭＦ）を用いて行われるフレーム単位での時間周波数変換を行う。この変換により、入力された時間領域のオーディオ信号を、１チャネルのオーディオ周波数帯域を等分（例えば６４等分）したときの各帯域の周波数成分信号が得られる。エンコードシステム１のエンコーダ装置１０及びデータ埋め込み装置２０の各機能ブロックで行われる処理は、この各帯域の周波数成分信号毎に行われる。
第一ダウンミックス部１２は、５．１チャネルの周波数信号を受け取る度に、各チャネルの周波数信号をダウンミックスすることにより、左、中央、及び右の計３チャネルの周波数信号を生成する。
第二ダウンミックス部１３は、第一ダウンミックス部１２から３チャネルの周波数信号受け取る度に、各チャネルの周波数信号をダウンミックスすることにより、左及び右の計２チャネルのステレオ周波数信号を生成する。
ステレオ符号化部１４は、第二ダウンミックス部１３から受け取ったステレオ周波数信号を、例えば前述したＡＡＣ符号化方式及びＳＢＲ符号化方式に従って符号化する。
予測符号化部１５は、第二ダウンミックス部１３の出力であるステレオ周波数信号から３チャネルの信号を復元するためのアップミックスにおいて行われる予測に使用する、前述した予測パラメータの値を求める処理を行う。なお、ステレオ周波数信号から３チャネルの信号を復元するアップミックスは、後述するデコーダ装置３０の第一アップミックス部３３において、前述した図３の手法に従って行われる。
多重化部１６は、前述した予測パラメータと、ステレオ符号化部１４から出力される符号化データとを所定の順序で配列して多重化し、多重化された符号化データを出力する。なお、エンコーダ装置１０を単独で動作させる場合には、多重化部１６は、予測符号化部１５から出力される予測パラメータを符号化データと多重化する。一方、図１に示したエンコーダシステム１の構成とする場合には、多重化部１６は、データ埋め込み装置２０から出力される予測パラメータを符号化データと多重化する。
データ埋め込み装置２０の符号帳２１には、予測パラメータが予め複数格納されている。この符号帳２１は、エンコーダ装置１０の予測符号化部１５が予測パラメータを得るために使用するものと同一のものを使用する。なお、図１の構成では符号帳２１をデータ埋め込み装置２０自身が備えているが、この代わりに、エンコーダ装置１０の予測符号化部１５が備えているものを用いるようにしてもよい。
候補抽出部２２は、複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、符号帳２１から複数抽出する。より具体的には、候補抽出部２２は、予測符号化部１５によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳２１から複数抽出する。
データ埋め込み部２３は、予測符号化の結果とする予測パラメータを、候補抽出部２２により抽出された候補から所定のデータ埋め込み規則に従って選択することによって、埋め込み情報を当該予測パラメータに埋め込む。より具体的には、データ埋め込み部２３は、多重化部１６への入力とする予測パラメータを、候補抽出部２２により抽出された候補から、所定のデータ埋め込み規則に従って選択することによって、埋め込み情報を当該予測パラメータに埋め込む。所定の埋め込み規則は、後述する埋め込み情報変換部２４により変換された埋め込み情報に基づく規則である。
図２に示すように、埋め込み情報変換部２４のバッファ２６は、符号化データに埋め込む埋め込み情報を記憶する。進数変換部２７は、候補抽出部２２から、フレームごとに抽出された予測パラメータの候補数Ｎを取得し、バッファ２６から取得する埋め込み情報を、Ｎ進数に変換する。切り出し部２８は、進数変換部２７から取得したＮ進数の埋め込み情報から、Ｎを超えない数となる部分を切り出して、処理対象のフレームの予測パラメータに埋め込む情報として出力するとともに、残りはバッファ２６に出力することによりバッファさせる。
次に、図４から図１１を参照しながら、候補抽出部２２が行う候補抽出処理について、説明する。候補抽出処理は、エンコーダ装置１０の予測符号化部１５によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳２１から複数抽出する処理である。
まず、複数チャネルのうちの１つのチャネルの信号についての予測パラメータを用いた予測結果と当該１つのチャネルの実際の信号との誤差について説明する。この誤差は、予測パラメータを変化させて分布をグラフ化することにより、誤差曲面として表される。本実施の形態においては、誤差曲面は、予測パラメータを用いて図３のようにして中央チャネルの信号を予測したときの予測誤差についての、当該予測パラメータを変化させたときの分布をグラフ化すると得られる曲面である。
図４、図５は、誤差曲面について説明する図である。図４は、放物型の誤差曲面の一例を示す図、図５は、楕円型の誤差曲面の一例を示す図である。図４及び図５はいずれも直交三次元座標上に誤差曲面が描かれている。ここで、矢印ｃ1 及びｃ2 の向きは、それぞれ左チャネル及び右チャネルについての予測パラメータの値の大きさを表しており、矢印ｃ1 及びｃ2 によって張られる平面に垂直な方向（紙面の上方向）は予測誤差の大きさを表している。従って、矢印ｃ1 及びｃ2 によって張られる平面に平行な平面上では、予測パラメータの値の組をどのように選択して中央チャネルの信号の予測を行っても、予測誤差は同一の値となる。
ところで、中央チャネルの実際の信号を信号ベクトルc0 とし、左チャネル及び右チャネルの信号と予測パラメータとを用いた中央チャネルの信号の予測結果を信号ベクトルcとすると、予測誤差ｄは、下記の（式２）のように表される。
なお、ｌ及びｒは、それぞれ左チャネル及び右チャネルの信号を表している信号ベクトルであり、ｃ1 及びｃ2 は、それぞれ左チャネル及び右チャネルについての予測パラメータである。
この（式２）をｃ1 及びｃ2 について変形すると下記の（式３）が得られる。
なお、関数ｆはベクトルの内積を表している。
この（式３）の右辺の分母、すなわち、下記の（式４）に注目する。
この（式４）の値がゼロとなる場合には、誤差曲面の形状は図４の放物型となり、この値がゼロでない場合には、誤差曲面の形状は図５の楕円型となる。従って、第一ダウンミックス部１２から出力される左チャネル及び右チャネルの信号についての信号ベクトルの内積を求めて（式４）の値を算出し、この値がゼロであるか否かによって、誤差曲面の形状が判定される。なお、誤差曲面の形状が楕円型の場合には、データの埋め込みは行わない。
なお、（式４）の値がゼロとなる場合とは、下記の３つの場合、すなわち、（１）ｒベクトルがゼロベクトルの場合、（２）ｌベクトルがゼロベクトルの場合、（３）ｌベクトルがｒベクトルの定数倍である場合のいずれかに限られる。従って、第一ダウンミックス部１２から出力される左チャネル及び右チャネルの信号が、この３つの場合のいずれかに該当するか否かを調べることによって、誤差曲面の形状が判定されるようにしてもよい。
次に誤差直線について説明する。誤差直線とは、誤差曲面上における予測誤差が最小である点の集合であり、誤差曲面が放物型である場合には、この点の集合は直線となる。なお、誤差曲面が楕円型である場合には、予測誤差が最小である点は１点となり、直線とはならない。
図４の放物型の誤差曲面の例では、予測パラメータｃ1 及びｃ2 によって定義される平面と誤差曲面とが接する場合における接線が誤差直線である。この誤差直線上の点により特定される予測パラメータｃ1 及びｃ2 の値の組は、そのいずれの組を選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
なお、この誤差直線の式は、左チャネル及び右チャネルの信号レベルに応じて下記の３つの式により表される。この各式の右辺の各信号ベクトルに、第一ダウンミックス部１２から出力される左チャネル及び右チャネルの信号を代入することによって、誤差直線の決定が行われる。
まず、第一に、ｒベクトルがゼロベクトルの場合、すなわち、右チャネルが無音信号である場合には、誤差直線の式は、下記の（式５）により表される。
図６は、誤差曲面の投影図の一例を示す図である。この投影図は、矢印ｃ1 及びｃ2 によって張られる平面への図４の誤差曲面の投影図に、上記の（式５）により表される直線を描いた図である。
第二に、ｒベクトルがゼロベクトルの場合、すなわち、右チャネルが無音信号である場合には、誤差直線の式は、下記の（式６）により表される。
第三に、ｌベクトルがｒベクトルの定数倍である場合、すなわち、処理対象のフレーム中の全てのサンプルにおいて、ｌベクトルとｒベクトルとの比率が一定である場合には、誤差直線の式は、下記の（式７）により表される。
なお、ｒベクトル及びｌベクトルの両者が共にゼロベクトルの場合、すなわち、Ｒ及び左チャネルの信号が共にゼロである場合には、予測誤差が最小である点の集合は直線とはならない。
次に、図７から図１１を参照しながら、候補抽出部２２による、予測パラメータ候補抽出処理について説明する。この処理は、上記のように求められた誤差直線に基づいて、予測パラメータの候補を符号帳２１から抽出する処理である。
予測パラメータ候補抽出処理では、予測パラメータｃ1 及びｃ2 によって定義される平面上においての、誤差直線と、符号帳２１に格納されている各予測パラメータに対応する各点との位置関係に基づいて、予測パラメータの候補の抽出が行われる。本実施の形態における予測パラメータ候補抽出処理では、この位置関係として、符号帳２１に格納されている各予測パラメータの候補に対応する各点のうち、誤差直線との距離が所定の範囲内である点を選択する。そして、選択された点が表している予測パラメータの組が、予測パラメータの候補として抽出される。この処理の具体例を、図７を用いて説明する。
図７は、予測パラメータ候補抽出例を示す図である。図７の予測パラメータ候補抽出例１００は、後述するパターンＡに対応する。図７に示すように、予測パラメータ候補抽出例１００は、予測パラメータｃ1 及びｃ2 によって定義される直交２次元平面座標上に、符号帳２１に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている。予測パラメータ候補抽出例１００では、誤差直線が符号帳２１の領域と交わり、且つ、符号帳２１のいずれかの境界辺と平行である場合のパターンである。この例では、これらの点のうちの幾つかが誤差直線１０２上に存在している。
図７の位置関係では、誤差直線１０２は、符号帳２１の境界辺のうちｃ２軸に平行な境界辺と平行である。この場合には、候補抽出部２２は、符号帳２１の各予測パラメータに対応する各点のうちで、誤差直線との距離が最小であり且つ同一距離であるものを、予測パラメータの候補として抽出する。
図７では、これらの格子点として配置されている点のうちで、誤差直線１０２上に存在しているものは白丸印で表されている。これらの白丸印で表されている複数の点は、誤差直線からの距離が全ての格子点のうちで最小（すなわちゼロ）であって同一である。従って、これらの予測パラメータ候補１０４−０〜５の点が表している予測パラメータｃ1 及びｃ2 の値の組は、そのいずれの組を用いて中央チャネルの信号の予測を行っても、予測誤差は最小且つ同一となる。従って、図７の例の場合には、予測パラメータ候補１０４−０〜５（まとめて、あるいは代表して予測パラメータ候補１０４ともいう）の点が表している予測パラメータｃ1 及びｃ2 の組が、予測パラメータの候補として、符号帳２１から抽出される。
なお、予測パラメータ候補抽出処理では、予測パラメータの候補の抽出のパターンが幾つか用意されており、上記平面上においての誤差直線と符号帳２１の予測パラメータの対応点との位置関係に応じて抽出パターンを選択して予測パラメータの候補の抽出を行う。
図８および図９は、予測パラメータ候補抽出の別の例を示す図である。図８の、予測パラメータ候補抽出例１１０、図９の予測パラメータ候補抽出例１２０は、後述するパターンＢに対応する。パターンＢは、誤差直線が、符号帳２１のいずれの境界辺とも平行ではないが、符号帳２１における対向している一対の境界辺の両方と交わる場合のパターンである。
図８、図９は、予測パラメータｃ1 及びｃ2 によって定義される直交２次元平面座標上に、符号帳２１に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については、図７と同様である。
図８は、符号帳２１についての２組の対向している一対の境界辺のうちの、ｃ2 軸に平行である一対の境界辺の両方に対して、誤差直線１１２が交わる場合の例を表している。この場合には、符号帳２１における予測パラメータｃ1 の値毎に、誤差直線１１２に最も近い符号帳２１の対応点を、予測パラメータの候補１１４−０〜５として抽出する。このようにして抽出される予測パラメータの候補１１４は、予測パラメータｃ1 の各値について、中央チャネルの信号の予測に使用した場合の予測誤差を最小とする予測パラメータｃ2 の値となる。
上記のように、まず、誤差直線１１２が交わる一対の境界辺の各々の辺上の各格子点については、当該誤差直線１１２に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ１１４が、候補として抽出される。更に、誤差直線が交わる一対の境界辺に平行であって格子点を通る各線分上に存在する各格子点についても、当該線分毎に誤差直線１１２に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ１１４が、候補として抽出される。
より具体的には、以下に説明するように予測パラメータ候補１１４を決定するようにしてもよい。すなわち、図８に示すように、予測パラメータ候補抽出例１１０では、誤差直線１１２がｃ2 ＝ｌ×ｃ1 で表されるものとする。また、符号帳２１を表している格子点のうちの隣接する４点の座標を、図８に記載されているように定義する。
このとき、変数ｉ（ｉは整数）の値を１ずつ大きくしながら、下記の（ａ）及び（ｂ）の手続を行う。
（ａ）c2 j ≦ｌ×c1i ≦c2 j+1 を満たすc1j 及びc２j+1 を求める。（ｊは整数）
（ｂ）下記の（ｂ１）と（ｂ２）とに場合分けを行い、それぞれの場合においての予測パラメータの候補を、符号帳２１から抽出する。
（ｂ１）|c2 j −ｌ×c1i |≦|c2 j+1 −ｌ×c1i |である場合には、格子点（c1i ，c2 j ）に対応する予測パラメータを、候補として符号帳２１から抽出する。
（ｂ２)|c2 j −ｌ×c1i |＞|c2 j+1 −ｌ×c1i |である場合には、格子点（c1i ，c2 j+1 ）に対応する予測パラメータを、候補として符号帳２１から抽出する。
図９は、符号帳２１についての２組の対向している一対の境界辺のうちの、ｃ1 軸に平行である一対の境界辺の両方に対して、誤差直線１２２が交わる場合の例を表している。この場合には、符号帳２１における予測パラメータｃ2 の値毎に、誤差直線１２２に最も近い符号帳２１の対応点を、予測パラメータの候補１２４−０〜５として抽出する。このようにして抽出される予測パラメータの候補１２４は、予測パラメータｃ2 の各値について、中央チャネルの信号の予測に使用した場合の予測誤差を最小とする予測パラメータｃ1 の値となる。
上記のように、図９の例においても、まず、誤差直線１２２が交わる一対の境界辺の各々の辺上の各格子点については、当該誤差直線に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ１２４が、候補として抽出される。更に、誤差直線が交わる一対の境界辺に平行であって格子点を通る各線分上に存在する各格子点についても、当該線分毎に誤差直線１２２に最も近い格子点が選択されて、当該選択された格子点に対応している予測パラメータ１２４が、候補として抽出される。予測パラメータ候補１２４についても、図８で説明した具体的な方法と同様に抽出するようにしてもよい。
図１０は、予測パラメータｃ1 及びｃ2 によって定義される直交２次元平面座標上に、符号帳２１に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図７と同様である。
図１０の予測パラメータ候補抽出例１５０は、誤差直線１５２が符号帳２１におけるｃ２＝ｃ１と平行な直線であって、符号帳２１の各格子点交わっており、パターンＣが適用される一例である。この場合には、誤差直線１５２上の符号帳２１の対応点を、予測パラメータ候補１５４−０〜４として抽出する。このようにして抽出された予測パラメータ１５４−０〜５は、そのいずれを選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
図１１、図１２は、予測パラメータｃ1 及びｃ2 によって定義される直交２次元平面座標上に、符号帳２１に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図７と同様である。このパターンは、誤差直線が、誤差直線が符号帳２１の領域とは交わらないが、且つ、符号帳２１のいずれかの境界辺と平行である場合のパターンである。
図１１の予測パラメータ候補抽出例１３０は、誤差直線１３２が符号帳２１の領域とは交わらないが、ｃ2 軸に平行である境界辺と平行であり、パターンＤが適用される一例である。この場合には、符号帳２１の境界辺のうちで誤差直線に最も近い境界辺上に存在する符号帳２１の対応点を、予測パラメータの候補として抽出する。このようにして抽出された予測パラメータ１３４−０〜５は、そのいずれを選択して中央チャネルの信号の予測を行っても、予測誤差は同一となる。
図１２の予測パラメータ候補抽出例１４０は、誤差直線１４２が符号帳２１のいずれの境界辺とも平行ではなく、従って、パターンＤが適用されない場合の例である。この予測パラメータ候補抽出例１４０の場合には、符号帳２１の対応点のうちで白丸印が付されている対応点１４４についての予測パラメータを用いて中央チャネルの信号の予測を行った場合に、予測誤差が最小となり、その他の予測パラメータを用いた場合には、予測誤差が大きくなってしまう。このため、本実施例では、このような場合には、予測パラメータへの他のデータの埋め込みを行わない。
次に、図１３の予測パラメータ候補抽出例１４５について説明する。予測パラメータ候補抽出例１４５は、後述するパターンＥに対応する。このパターンは、後述するように、誤差直線決定処理において誤差直線の決定を行わない場合であり、右及び左チャネルの信号が共にゼロである場合のパターンである。
図１３は、予測パラメータｃ1 及びｃ2 によって定義される直交２次元平面座標上に、符号帳２１に格納されている各予測パラメータに対応する各点を配置したものであり、これらの点が格子点として配置されている点については図７と同様である。この場合には、どのような予測パラメータを選択して（式１）による中央チャネルの予測を行っても、中央チャネルの信号はゼロとなる。従って、この場合には、符号帳２１に格納されている予測パラメータの全てを、候補として抽出する。
以上のように、候補抽出部２２は、以上の各パターンの予測パラメータ候補抽出処理を、誤差直線と符号帳２１の領域との位置関係に応じて使い分けて、予測パラメータ候補の抽出を行う。
さらに本実施の形態においては、候補抽出部２２は、予測パラメータ候補の数を抽出する。以下、図１４から図１６を参照しながら、予測パラメータ候補の数について説明する。予測パラメータ候補の数は、予測誤差が最小になる直線と符号帳２１との交わり方や、符号帳の粗さなどによって、フレームごとに変化する。
図１４は、パターンＤで、予測パラメータ候補の数が変化する例を示す図である。図１４に示すように、パターンＤでは、予測パラメータ候補抽出例１６０、予測パラメータ候補抽出例１６５のように、誤差直線１６２、１６６が、どの位置で符号帳２１と交わるかにより、予測パラメータ候補数が変化する。図１５の例では、誤差直線１６２に対しては、予測パラメータ候補１６４の数は３個、誤差直線１６６に対しては、予測パラメータ候補１６６の数は、４個である。
図１５は、パターンＥの一例を示す図である。図１５に示すように、パターンＥの例では、符号帳２１上のすべての格子点が、予測パラメータ候補として抽出される。予測パラメータ候補抽出例１９０の例では、予測パラメータは、２５個抽出されている。
図１６は、パターンＡの変形例を示す図である。図１６に示すように、予測パラメータ候補抽出例１７０では、誤差直線１７２が、ｃ２軸に平行であり、予測パラメータ候補１７４が、５個抽出されている。予測パラメータ候補抽出例１８０、１８４、１８８の例は、予測パラメータ候補抽出例１７０の予測パラメータ候補１７４を間引く例である。
予測パラメータ候補抽出例１８０の例では、誤差直線１７２に対し、予測パラメータ候補数Ｎ＝５（個）であった予測パラメータ候補１７４が、予測パラメータ候補１８２のように２個に間引かれている。予測パラメータ候補１８４の例では、誤差直線１７２に対し、５個あった予測パラメータ候補１７４が、予測パラメータ候補１８６のように３個に間引かれている。予測パラメータ候補１８８の例では、誤差直線１７２に対し、５個あった予測パラメータ候補１７４が、予測パラメータ候補１８９のように４個に間引かれている。候補抽出部２２は、上記のように抽出された予測パラメータ候補の数を埋め込み情報変換部２４に出力する。
続いて、図１７、１８を参照しながら、埋め込み情報変換部２４による埋め込み情報の変換例について説明する。図１７に示すように、本実施の形態においては、予測パラメータ候補数Ｎに合わせて埋め込み情報の進数表現を変換する。
図１７は、候補抽出部２２、埋め込み情報変換部２４およびデータ埋め込み部２３の処理の一例を説明する図である。図１７の例では、埋め込み情報７１＝「１０１１１０１０１０」とする。例えば、ｉフレーム目（ｉは、任意の整数）では、予測パラメータ候補抽出例７４に示すように、予測パラメータ候補７６は、４個であるとする。このとき、候補抽出部２２は、抽出されたパラメータ候補に例えば０〜Ｎ（図１７の例では、予測パラメータ候補７６−０〜３）の番号を付す。この番号は、予測パラメータ候補に対応する埋め込み値とすることができ、例えば、予測パラメータｃ１または予測パラメータｃ２の小さい方から順に付すようにしてもよい。予測パラメータに情報を埋め込むときには、この埋め込み値が埋め込み情報として埋め込まれる。本実施の形態では、埋め込み情報変換部２４は、埋め込み情報７１を、予測パラメータ候補数Ｎに関する進数に変換する。
図１７に示すように、埋め込み情報変換部２４は、埋め込み情報７１を４進数に変換し、埋め込み情報７３＝「２３２２２」を算出する。埋め込み情報変換部２４は、変換された埋め込み情報７３から、パラメータ候補数Ｎを超えない部分を、例えば埋め込み情報７３−１のように抽出し、埋め込み情報とする。ここでは、埋め込み情報＝「２」であるため、データ埋め込み部２３は、対応する埋め込み値の予測パラメータ候補７６−２に対応する符号帳２１上の格子点の座標ｃ１、ｃ２を、ｉフレーム目の予測パラメータとすることにより、埋め込み情報７３−１を埋め込む。
続いて、候補抽出部２２は、（ｉ＋１）フレーム目において、予測パラメータ候補抽出例９０のように、予測パラメータ候補９４を抽出する。予測パラメータ候補抽出例９０に示すように、ここでは予測パラメータ候補数Ｎ＝６（個）である。埋め込み情報変換部２４は、抽出された予測パラメータ候補数Ｎ＝６に基づき、埋め込み情報７３−２＝「３２２２」（４進数）を、６進数に変換する。このとき、変換された埋め込み情報８８＝「１０３０」（６進数）である。埋め込み情報変換部２４は、埋め込み情報８８において、「６」を超えない数を高い桁側から抽出し、埋め込み情報８８−１＝「１」を埋め込み情報とする。データ埋め込み部２３は、「１」に対応する予測パラメータ候補９４−１の符号帳２１上の格子点の座標ｃ１、ｃ２を、予測パラメータとすることにより、埋め込み情報８８−１を埋め込む。
図１８は、候補抽出部２２、埋め込み情報変換部２４およびデータ埋め込み部２３の処理の別の例を説明する図である。図１８の例では、ステップａに示すように、例えば、１フレーム目では埋め込み情報２０１＝「１０１１０１」とする。このとき、ステップｂに示すように、埋め込み情報変換部２４が候補抽出部２２から予測パラメータ候補数Ｎ＝３を取得する。このとき、埋め込み情報変換部２４は、進数変換２０３のように、埋め込み情報２０１を３進数に変換し、「１２００」とする。ステップｃに示すように、埋め込み情報変換部２４は、切り出し２０７において、変換された埋め込み情報の上位の桁から、Ｎ＝３を超えない「１」を切り出す。データ埋め込み部２３は、候補抽出部２２で抽出された予測パラメータ選択例２０９に示すように、「１」に対応する予測パラメータ２１０の座標を予測パラメータとすることにより、埋め込み情報の一部を埋め込む。
ステップｄ、ｂに示すように、例えば、２フレーム目では、埋め込み情報変換部２４は、進数変換２１１により、埋め込み情報２０８＝「２００」を、候補抽出部２２が抽出した予測パラメータ候補数Ｎ＝５に基づき、５進数「３３」に変換する。ステップｃに示すように、埋め込み情報変換部２４は、切り出し２１５において、５進数「３３」の上位の桁から、Ｎ＝５を超えない数「３」を切り出す。データ埋め込み部２３は、候補抽出部２２で抽出された予測パラメータ選択例２１７に示すように、「３」に対応する予測パラメータ２１８の座標を予測パラメータとすることにより、埋め込み情報を埋め込む。
ステップｄ、ｂに示すように、例えば、３フレーム目では、埋め込み情報変換部２４は、進数変換２１９により、埋め込み情報２１６＝「３」を、候補抽出部２２が抽出した予測パラメータ候補数Ｎ＝４に基づき、４進数「３」に変換する。ステップｃに示すように、埋め込み情報変換部２４は、切り出し２２３において、４進数「３」の上位の桁から、Ｎ＝４を超えない数「３」を切り出す。データ埋め込み部２３は、候補抽出部２２で抽出された予測パラメータ選択例２２５に示すように、「３」に対応する予測パラメータ候補２２６の座標を予測パラメータとすることにより、埋め込み情報を埋め込む。
以上の処理を、フローチャートを参照しながらさらに説明する。図１９、図２０は、本実施の形態によるデータ埋め込み方法の一例を示す図である。図１９において、まず、Ｓ２３０では、候補抽出処理を候補抽出部２２が行う。上述したようにこの処理は、エンコーダ装置１０の予測符号化部１５によって得られる予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳２１から複数抽出する処理である。
まず、候補抽出部２２は、誤差曲面判定を行う（Ｓ２３１）。次に、Ｓ２３２において、Ｓ２３１の誤差曲面判定処理により判定された誤差曲面の形状が放物型であったか否かを判定する処理を候補抽出部２２が行う（Ｓ２３２）。ここで、候補抽出部２２は、誤差曲面の形状が放物型であったと判定したとき（Ｓ２３２：ＹＥＳ）には、Ｓ２３３に処理を進め、データ埋め込みのための処理を進める。一方、候補抽出部２２は、誤差曲面の形状が放物型ではなかった（楕円型であった）と判定したとき（Ｓ２３２：ＮＯ）には、Ｓ２３４に処理を進める。この場合には、データの埋め込みは行われない。
次に、Ｓ２３３では、誤差直線決定処理を候補抽出部２２が行う。上述のように、誤差曲面が放物型である場合には、この点の集合は直線となる。なお、誤差曲面が楕円型である場合には、予測誤差が最小である点は１点となり、直線とはならない。従って、前述したＳ２３２の判定処理は、予測誤差が最小である点の集合が直線となるか否かを判定する処理であるともいえる。
次に、Ｓ２３４では、予測パラメータ候補抽出処理を候補抽出部２２が行う。この処理は、Ｓ２３３の処理により求めた誤差直線に基づいて、予測パラメータの候補を符号帳２１から抽出する処理である。Ｓ２３４の処理の詳細は後述する。
続いて、候補抽出部２２は、Ｓ２３５において、予測パラメータ候補数Ｎの算出処理を行う。この処理では、候補抽出部２２は、Ｓ２３４の予測パラメータ候補抽出処理において抽出された予測パラメータの候補数＝Ｎを算出する。例えば、図７の例では、予測パラメータの候補として抽出される白丸印の数は６個であるので、Ｎ＝６である。候補抽出部２２は、Ｓ２３０の候補抽出処理として、以上のＳ２３１からＳ２３５の処理を行う。
候補抽出部２２による候補抽出処理（Ｓ２３０）が完了すると、埋め込み情報変換部２４は、埋め込み情報を変換する処理を行う。すなわち、埋め込み情報変換部２４は、図１７、図１８を参照しながら説明したように、埋め込み情報を、抽出された予測パラメータの候補数Ｎに応じて、Ｎ進数に変換する（Ｓ２４１）。さらに、埋め込み情報変換部２４は、Ｎ進数に変換された埋め込み情報の高位の桁から、Ｎを越えない数を切り出す（Ｓ２４２）。
埋め込み情報変換部２４による埋め込み情報変換処理（Ｓ２４０）が完了すると、次に、Ｓ２５０において、データ埋め込み処理をデータ埋め込み部２３が行う。この処理は、予測符号化部１５による予測符号化の結果とする予測パラメータを、Ｓ２４２の処理により切り出された埋め込み情報に基づき、抽出された予測パラメータの候補から選択する処理である。この処理によって、埋め込み情報を当該予測パラメータに埋め込む。
次に、Ｓ２５１において、埋め込み値付与処理をデータ埋め込み部２３が行う。この処理は、Ｓ２３４の予測パラメータ候補抽出処理において抽出された予測パラメータの候補の各々に対し、予測パラメータ数Ｎに応じた上述した所定の規則で、埋め込み値を付与する処理である。そして、続くＳ２５２において、予測パラメータ選択処理をデータ埋め込み部２３が行う。この処理は、Ｎ進数に変換された埋め込み情報におけるＮを超えない数に対応するビット列を参照し、このビット列のＮ進数に一致する埋め込み値が付与された予測パラメータの候補を選択する処理である。さらにこの処理は、選択された候補を、エンコーダ装置１０の多重化部１６に出力する処理である（Ｓ２５２）。
一方、前述したＳ２３２の判定処理により、誤差曲面の形状が放物型ではなかった（楕円型であった）と判定された場合には（Ｓ２３２：ＮＯ）、Ｓ２５３の処理をデータ埋め込み部２３が行う。この処理は、エンコーダ装置１０の予測符号化部１５が出力する予測パラメータｃ1 及びｃ2 の値の組を、そのまま多重化部１６に出力して符号化データに多重化させる処理である。従って、この場合には、データの埋め込みは行われない。このＳ２５３の処理が完了すると、図１９の制御処理が終了する。データ埋め込み装置２０において以上の制御処理が行われることによって、エンコーダ装置１０が生成する符号化データへの他のデータの埋め込みが行われる。
図２０は、図１９におけるＳ２３４の予測パラメータ候補抽出処理の詳細を示すフローチャートである。図データ埋め込み装置２０に示すように、候補抽出部２２は、誤差最小の点の集合が直線となるか否かを判定する処理を行う（Ｓ３０１）。前述したように、ｒベクトル及びｌベクトルの両者が共にゼロベクトルの場合には、予測誤差が最小である点の集合は直線とはならない。このＳ３０１の判定処理では、この場合に該当するか否かの判定が行われる。
このＳ３０１において、候補抽出部２２は、ｒベクトル及びｌベクトルのうちの少なくとも一方がゼロベクトルではなく、従って誤差最小の点の集合が直線となると判定したとき（Ｓ３０１：ＹＥＳ）には、Ｓ３０２に処理を進める。一方、候補抽出部２２は、ここで、ｒベクトル及びｌベクトルのうちの両者が共に共にゼロベクトルであり、従って誤差最小の点の集合が直線とならないと判定したとき（Ｓ３０２：ＮＯ）にはＳ３１１に処理を進める。
次に、Ｓ３０２において、候補抽出部２２は、図１９のＳ２３３の誤差直線決定処理により得られた誤差直線が、符号帳２１の領域と交わるか否かを判定する処理を行う。なお、符号帳２１の領域とは、予測パラメータｃ1 及びｃ2 によって定義される平面上において符号帳２１に格納されている各予測パラメータに対応する各点を含む外接矩形の領域である。ここで、候補抽出部２２は、誤差直線が符号帳２１の領域と交わると判定したとき（Ｓ３０２：ＹＥＳ）にはＳ３０３に処理を進め、誤差直線が符号帳２１の領域とは交わらないと判定したとき（Ｓ３０２：ＮＯ）にはＳ３０９に処理を進める。
次に、Ｓ３０３において、候補抽出部２２は、誤差直線が符号帳２１のいずれかの境界辺と平行であるか否かを判定する処理を行う。なお、符号帳２１の境界辺とは、上述した符号帳２１の領域を画定する矩形の辺である。この判定処理は、誤差直線の式が前掲した（式５）若しくは（式６）の形で表されている場合には、判定結果がＹｅｓとなる。一方、誤差直線の式が前掲した（式７）の形で表されている場合、すなわち、Ｌ及び右チャネルの信号の大きさの比率が所定の期間一定の値となっている場合には、誤差直線が符号帳２１のいずれの境界辺とも平行ではないと判定され、判定結果がＮｏとなる。
このＳ３０３の判定処理において、候補抽出部２２は、誤差直線が符号帳２１のいずれかの境界辺と平行であると判定したとき（Ｓ３０３：ＹＥＳ）にはＳ３０４に処理を進める。一方、候補抽出部２２は、誤差直線が当該境界辺のいずれとも平行ではないと判定したとき（Ｓ３０３：ＮＯ）にはＳ３０５に処理を進める。
次に、Ｓ３０４では、パターンＡによる予測パラメータ候補抽出処理を候補抽出部２２が行い、その後は図４のＳ２３５に処理を進める。このパターンＡの予測パラメータ候補抽出処理は、図７を参照しながら説明したパターンである。
一方、Ｓ３０５では、候補抽出部２２は、誤差直線が符号帳２１における対向している一対の境界辺の両方と交わるか否かを判定する処理を行う。ここで、候補抽出部２２は、誤差直線が符号帳２１における対向している一対の境界辺の両方と交わると判定したとき（Ｓ３０５：ＹＥＳ）にはＳ３０６に処理を進めて、パターンＢによる予測パラメータ候補抽出処理を候補抽出部２２が行う。そして、その後は図４のＳ２３５に処理を進める。
一方、候補抽出部２２は、Ｓ３０５の判定処理において、誤差直線が符号帳２１における対向している一対の境界辺の両方とは交わらないと判定したとき（Ｓ３０５：ＮＯ）には、Ｓ３０７において、誤差直線がｃ２＝ｃ１の直線に平行であり、且つ、格子点と交わっているか否かを判定する（Ｓ３０７）。
Ｓ３０７の判定がＹＥＳの場合には、候補抽出部２２はＳ３０８に処理を進めて、パターンＣによる予測パラメータ候補抽出処理を行う。このパターンＣは、図１０を参照しながら説明したパターンである。その後、候補抽出部２２は、図１９のＳ２３５に処理を進める。Ｓ３０７の判定がＮＯの場合には、候補抽出部２２は、処理を図１９のＳ２５３に進める。
ところで、Ｓ３０２の判定結果がＮＯの場合には、Ｓ３０９の判定処理が行われる。候補抽出部２２は、このＳ３０９において、誤差直線が前述した符号帳２１の境界辺と平行であるか否かを判定する処理を行う。この判定処理は、Ｓ３０３の判定処理と同一のものである。ここで、候補抽出部２２は、誤差直線が符号帳２１の境界辺と平行であると判定したとき（Ｓ３０９：ＹＥＳ）にはＳ３１０に処理を進め、パターンＤによる予測パラメータ候補抽出処理を行い、その後は図１９のＳ２３５に処理を進める。パターンＤは、図１１を参照しながら説明したパターンである。一方、候補抽出部２２は、誤差直線が符号帳２１の境界辺とは平行ではないと判定したとき（Ｓ３０９：ＮＯ）には図１９のＳ２５３に処理を進める。
ところで、Ｓ３０１の判定結果がＮＯの場合には、候補抽出部２２は、Ｓ３１１において、パターンＥによる予測パラメータ候補抽出処理を行い、その後は図１９のＳ２５３に処理を進める。このパターンＥの予測パラメータ候補抽出処理は、図１３を参照しながら説明したパターンである。図２０に図解した予測パラメータ候補抽出処理は、以上のようにして行われる。以上により、データ埋め込み装置２０による埋め込み情報の埋め込みが行われる。
以下、図２１〜図２７を参照しながら、本実施の形態によるデコードシステム３について説明する。図２１は、本実施の形態によるデコードシステム３の構成を示すブロック図、図２２は、抽出情報変換部４４の構成を示すブロック図である。
図２１に示すように、デコードシステム３は、デコーダ装置３０とデータ抽出装置４０とを備えている。デコーダ装置３０は、分離部３１、ステレオ復号部３２、第一アップミックス部３３、第二アップミックス部３４、及び周波数時間変換部３５を備えている。データ抽出装置４０は、符号帳４１、候補特定部４２、データ抽出部４３、抽出情報変換部４４を備えている。抽出情報変換部４４は、抽出情報バッファ部４５、進数変換部４６、結合部４７を備えている。
図２１、図２２に示すデコードシステム３が備えるこれらの構成要素は、それぞれ別個の回路として形成される。あるいはこれらの構成要素の一部若しくは全部が集積された集積回路としてデコードシステム３の各々が実装されてもよい。更に、これらの各構成要素は、デコードシステム３の各々が有する演算処理装置上で実行されるプログラムにより実現される、機能モジュールであってもよい。
デコーダ装置３０には、図１のエンコーダシステム１の出力である符号化データが入力され、この符号化データから、元の５．１チャネルの時間領域のオーディオ信号を復元して出力する。データ抽出装置４０は、この符号化データから、データ埋め込み装置２０によって埋め込まれた情報を抽出して出力する。
分離部３１は、多重化部１６で用いられている当該多重化における配列順序に応じ、図１のエンコードシステム１の出力である多重化された符号化データを、予測パラメータと、ステレオ符号化部１４から出力される符号化データとに分離する。ステレオ復号部３２は、分離部３１から受け取る符号化データを復号して、左及び右の計２チャネルのステレオ周波数信号を復元する。
第一アップミックス部３３は、分離部３１から受け取る予測パラメータを用いて、ステレオ復号部３２から受け取るステレオ周波数信号を、前述した図３の手法に従いアップミックスすることにより、左、中央、及び右の計３チャネルの周波数信号を復元する。
第二アップミックス部３４は、第一アップミックス部３３から受け取る３チャネルの周波数信号をアップミックスすることにより、左前方、中央、右前方、左後方、及び右後方並びに低域専用の計５．１チャネルの周波数信号を復元する。
周波数時間変換部３５は、第二アップミックス部３４から受け取る５．１チャネルの周波数信号に対して、時間周波数変換部１１による時間周波数変換の逆変換である周波数時間変換を施して、５．１チャネルの時間領域のオーディオ信号を復元して出力する。
データ抽出装置４０の符号帳４１には、予測パラメータの候補が予め複数格納されている。この符号帳４１は、データ埋め込み装置２０が備えている符号帳２１と同一のものである。なお図２１の構成では符号帳４１をデータ抽出装置４０自身が備えているが、この代わりに、第一アップミックス部３３で使用する予測パラメータを得るためにデコーダ装置３０が備えているものを用いるようにしてもよい。
候補特定部４２は、予測符号化の結果とされた予測パラメータと前述の他の２つのチャネルの信号とに基づいて、候補抽出部２２により抽出された予測パラメータの候補を符号帳４１から特定する。より具体的には、候補特定部４２は、分離部３１から受け取る予測パラメータと、ステレオ復号部３２により復元されたステレオ周波数信号とに基づいて、候補抽出部２２により抽出された予測パラメータの候補を符号帳４１から特定する。
データ抽出部４３は、データ埋め込み部２３が情報の埋め込みの際に使用したデータ埋め込み規則に基づき、候補特定部４２により特定された予測パラメータの候補から、データ埋め込み部２３が符号化データに埋め込んだデータを抽出する。
抽出情報変換部４４は、データ抽出部４３で抽出された抽出情報を、当該フレームにおける予測パラメータの候補数Ｎに基づき変換を行い、２進数に変換することにより、抽出情報を復元する。抽出情報バッファ部４５は、抽出されたフレーム毎に埋め込まれていた抽出情報と、その予測パラメータ候補数Ｎを一時的に記憶し、順次進数変換部４６に出力する記憶装置である。進数変換部４６は、抽出情報バッファ部４５から入力される抽出情報を、例えば抽出情報が抽出されたフレームの予測パラメータ候補数Ｎに基づく進数や２進数に変換する。結合部４７は、抽出情報バッファ部４５に記憶された抽出情報、または進数変換部４６で変換された進数を結合する。
ここで、図２３、図２４を参照しながら、候補特定部４２の処理についてさらに説明する。図２３は、誤差直線がｃ２に平行な例を示す図である。図２４は、誤差直線が、符号帳４１の対向する２辺に交わる例を示す図である。
図２３に示すように、ステレオ信号の一方の左チャネルの信号が、例えば音声信号３３０のように表されるのに対し、右チャネルの信号が、音声信号３３２のように、振幅「０」の場合には、誤差直線は、ｃ２軸に平行になる。すなわち、予測パラメータ候補抽出例３３４のように、誤差直線３３６は、ｃ２軸に平行である。このとき、予測パラメータ候補３３８−０〜５が抽出され、この中から例えば、予測パラメータ候補３３８−２が予測パラメータに対応する点として抽出される。
図２４に示すように、ステレオ信号の左チャネルの音声信号３５０が、右チャネルの音声信号３５２と比例関係にある場合には、音声信号３５０と音声信号３５２との比によって、誤差直線３５６の傾きが決まる。予測パラメータ候補抽出例３５４に示すように、誤差直線３５６に近い格子点を抽出することにより、予測パラメータ候補３５８−０〜５が抽出される。この中で、例えば予測パラメータ候補３５８−１が予測パラメータに対応する点として抽出される。
次に、抽出情報バッファ部４５の処理についてさらに説明する。図２５は、抽出情報バッファ部４５が保持するバッファ情報３７０の一例を示す図である。バッファ情報３７０は、項目３７２として、埋め込み値と候補数を有している。バッファ情報３７０の例では、１〜３フレーム目の例を示している。例えば、１フレーム目の埋め込み値は、「１」であり、候補数は「３」である。２フレーム目の埋め込み値は「３」であり、候補数は「５」である。３フレーム目の埋め込み値は「３」であり、候補数は「４」である。
さらに、図２６を参照しながら、進数変換部４６の処理いついて説明する。図２６は、進数変換部４６による情報変換の一例を示す図である。図２６に示すように、情報変換例３８０は、抽出情報バッファ部４５にバッファ情報３７０が格納されている場合の処理の例である。
図２６に示すように、進数変換部４６は、抽出情報バッファ部４５でバッファした情報を最後のフレームから変換することにより、抽出情報を抽出する。まず、進数変換部４６は、３フレーム目の埋め込み値「３」を抽出情報として抽出する。ここで、３フレーム目の候補数は「４」であり、２フレーム目の候補数は「５」であることから、進数変換部４６は、進数変換３８２において、抽出情報「３」を４進数から５進数に変換する。進数変換部４６は、この結果５進数の「３」を抽出情報の低位の桁として得る。
進数変換部４６は、バッファ情報３７０に示すように、２フレーム目の埋め込み値「３」を抽出情報として抽出する。結合部４７は、結合３８４に示すように、３フレーム目から得られた抽出情報「３」と、２フレーム目の抽出情報「３」を結合させ、５進数の抽出情報「３３」を得る。このとき、２フレーム目の候補数は「５」であり、１フレーム目の候補数は「３」であることから、進数変換部４６は、進数変換３８６において、抽出情報「３３」を、５進数から３進数に変換する。進数変換部４６は、この結果、３進数の「２００」を抽出情報の低位の桁として得る。
進数変換部４６は、バッファ情報３７０に示すように、１フレーム目の埋め込み値「１」を抽出情報として抽出する。結合部４７は、結合３８８に示すように、２フレーム目までの処理で得られた抽出情報「３３」と、１フレーム目の抽出情報「１」を結合させ、３進数の抽出情報「１２００」を得る。このとき、１フレーム目の候補数は「３」であり、元の抽出情報は２進数であることから、進数変換部４６は、進数変換３９０において、抽出情報「１２００」を、３進数から２進数に変換する。進数変換部４６は、この結果、２進数の「１０１１０１」を抽出情報として得る。
次に、図２７を参照しながら、本実施の形態によるデコードシステム３の処理についてさらに説明する。図２７は、デコードシステム３の処理を示すフローチャートである。図２７に示すように、まず、Ｓ４００では、候補特定処理を候補特定部４２が行う。この処理は、分離部３１から受け取る予測パラメータと、ステレオ復号部３２により復元されたステレオ周波数信号とに基づいて、候補抽出部２２によって抽出された予測パラメータの候補を符号帳４１から特定する処理である。この候補特定処理の詳細を更に説明する。
まず、Ｓ４０１において、誤差曲面判定処理を候補特定部４２が行う。この処理は、誤差曲面の形状がどのような形状となるのかを判定する処理であり、図１９のＳ２３１の処理として候補抽出部２２が行う処理と同様の処理である。但し、Ｓ４０１の処理では、ステレオ復号部３２から出力される左チャネル及び右チャネルのステレオ信号についての信号ベクトルの内積を求めて前掲の（式４）の値を算出し、この値がゼロであるか否かによって、誤差曲面の形状を判定する。
次に、Ｓ４０２において、Ｓ４０１の誤差曲面判定処理により判定された誤差曲面の形状が放物型であったか否かを判定する処理を候補特定部４２が行う。ここで、候補特定部４２は、誤差曲面の形状が放物型であったと判定したとき（Ｓ４０２：ＹＥＳ）には、Ｓ４０３に処理を進めて、データ抽出のための処理を進める。一方、候補特定部４２は、誤差曲面の形状が放物型ではなかった（楕円型であった）と判定したとき（Ｓ４０２：ＮＯ）には、予測パラメータへのデータの埋め込みは行われていないと判断し、この図２７の制御処理を終了する。
次に、Ｓ４０３では、誤差直線推定処理を候補特定部４２が行う。この処理は、図１９のＳ２３３の誤差直線決定処理によって候補抽出部２２が決定した誤差直線を推定する処理である。このＳ４０３の処理は、図１９のＳ２３３の誤差直線決定処理と同様の処理である。但し、Ｓ４０３の誤差直線推定処理では、前掲した（式５）、（式６）、及び（式７）の各式の右辺の各信号ベクトルに、ステレオ復号部３２から出力される左チャネル及び右チャネルのステレオ信号を代入することによって、誤差直線の推定を行う。
次に、Ｓ４０４では、予測パラメータ候補推定処理を候補特定部４２が行う。この処理は、図１９のＳ２３４の予測パラメータ候補抽出処理によって候補抽出部２２が抽出した予測パラメータの候補を推定する処理であり、Ｓ４０３の処理により推定された誤差直線に基づいて、予測パラメータの候補を符号帳４１から抽出する処理である。このＳ４０４の処理は、図１９のＳ２３４の予測パラメータ候補抽出処理と同様の処理である。但し、Ｓ４０４の予測パラメータ候補推定処理では、符号帳４１に格納されている各予測パラメータに対応する各点のうち、誤差直線との距離が最小且つ同一である点を選択し、選択された点が表している予測パラメータの組を抽出する処理が行われる。抽出された予測パラメータの組が、候補特定部４２による予測パラメータ候補の特定結果となる。
続いて、Ｓ４０５において、予測パラメータ候補数Ｎの算出処理を候補特定部４２が行う。この処理は、埋め込みを行うことの可能なデータ容量を算出する処理であり、図１９のＳ２３５の処理としてデータ埋め込み部４２が行う処理と同様の処理である。以上のように、候補特定部４２は、Ｓ４００の候補特定処理として、以上のＳ４０１からＳ４０５の処理を行う。
候補特定部４２によるＳ４００の候補特定処理が完了すると、次に、Ｓ４１０において、データ抽出処理をデータ抽出部４３が行う。この処理は、データ埋め込み部２３がデータの埋め込みの際に使用したデータ埋め込み規則に基づき、候補特定部４２により特定された予測パラメータの候補から、データ埋め込み部２３が符号化データに埋め込んだデータを抽出する処理である。
このデータ埋め込み処理の詳細を更に説明する。まず、Ｓ４１１において、埋め込み値付与処理をデータ抽出部４３が行う。この処理は、Ｓ４０４の予測パラメータ候補推定処理において抽出された予測パラメータの候補の各々に対し、図１９のＳ２５１の埋め込み値付与処理においてデータ埋め込み部２３が用いていたものと同一の規則で、埋め込み値を付与する処理である。
次に、Ｓ４１２において、埋め込まれたデータの抽出処理をデータ抽出部２３が行う。この処理は、分離部３１から受け取った予測パラメータに対してＳ４１１の埋め込み値付与処理で付与した埋め込み値を取得し、この値を、データ埋め込み部２３が埋め込んだデータの抽出結果として、所定の記憶領域に、取得順にバッファリングする処理である。データ抽出装置４０において以上の制御処理が行われることによって、データ埋め込み装置２０によって埋め込まれたデータの抽出が行われる。
続いて、抽出情報変換部４４により、抽出されたデータの抽出情報変換処理が行われる。この処理は、抽出されたデータを、データが抽出されたフレームにおける予測パラメータ候補数Ｎに基づき進数変換することにより、元の抽出情報を得る処理である。
進数変換部４６は、抽出情報バッファ部４５に記憶されたバッファ情報３７０において、最後のフレームから順次、フレームに埋め込まれた情報を、そのフレームにおける予測パラメータ候補数ＮによるＮ進数に変換する。結合部４７は、変換されたＮ進数を、前のフレームから得られた変換された埋め込み情報と結合する（Ｓ４２２）。以上のように、データ抽出装置４０によるデータ抽出処置が行われる。
ここで、図２８を参照しながら、上述した制御処理によって埋め込むことの可能なデータ量についてのシミュレーション結果について説明する。図２８は、データ埋め込み量のシミュレーション結果を示す図である。図２８に示すシミュレーションでは、サンプリング周波数が４８ｋＨｚであり伝送レートが１６０ｋｂ／ｓであるMPEG Surround方式の５．１チャネルの１分間のオーディオ信号を１２種類（音声、音楽など）使用した。
このシミュレーションでは、埋め込むことの可能なデータ量は３６０ｋｂ／ｓとなり、１分間のオーディオ信号に換算すると、２．７キロバイトのデータを埋め込むことが可能であると判明した。
以上説明したように、データ埋め込み装置２０及びデータ抽出装置４０によれば、埋め込み情報の符号化データへの埋め込みを行い、当該埋め込み情報が埋め込まれた符号化データから、当該埋め込み情報を抽出することが可能である。また、データ埋め込み装置２０がデータの埋め込みのために予測パラメータを選択するときの選択肢である予測パラメータの候補は、いずれも、選択された予測パラメータを用いて行われる予測符号化での予測誤差が所定範囲内に留まるものである。従って、この予測誤差の範囲を十分狭くしておくことで、デコーダ装置３０の第一アップミックス部３３によるアップミックスのための予測符号化によって復元される情報の劣化が認識されることがない。
また、データ埋め込み装置２０は、符号化データに埋め込む際に、埋め込み情報を、埋め込み対象のフレームにおいて抽出された予測パラメータ候補数Ｎに応じたＮ進数に変換して、上位の桁からＮを超えない範囲の数を順次埋め込む。このため全ての予測パラメータ候補を、埋め込み情報の埋め込みに利用可能である。よって、予測パラメータ候補数Ｎに対して、効率よく埋め込み情報を埋め込むことが可能となる。さらに、埋め込み情報として埋め込めるデータの種類などをより多くできるなどの利点がある。
データ抽出装置４０は、データ埋め込み装置２０で埋め込まれた埋め込み情報を、データ埋め込み装置２０での埋め込み規則に応じて、予測パラメータと予測パラメータの候補数Ｎとに基づき、抽出することができる。例えば、データ抽出装置４０は、データ埋め込み装置２０で埋め込まれた埋め込み情報を、例えば、最後に情報が埋め込まれたフレームから予測パラメータと予測パラメータの候補数Ｎとに基づき埋め込み値を抽出し互いに結合することにより、抽出することができる。
（変形例１）
図２９および図３０を参照しながら、上記実施の形態の変形例１による、埋め込み情報埋め込み方法および埋め込み情報抽出方法について説明する。本変形例において、上記実施の形態と同様の構成および動作については、同一番号を付し、重複説明を省略する。
図２９は、変形例１による埋め込み情報埋め込み方法の一例を示す図である。図２９は、図１８を参照しながら説明した埋め込み情報埋め込み方法の代わりに行う処理である。図２９は、変形例１における候補抽出部２２、埋め込み情報変換部２４およびデータ埋め込み部２３の処理を示している。図２９の情報変換例４５０では、例えば、１フレーム目では埋め込み情報４５１＝「１０１１１１」とする。このとき、埋め込み情報変換部２４が候補抽出部２２から予測パラメータ候補数Ｎ＝３を取得する。埋め込み情報変換部２４は、切り出し４５２において、予測パラメータ候補Ｎを超えない数（ここでは、「１０」）を、埋め込み情報４５１の高位の桁から切り出す。埋め込み情報変換部２４はさらに、進数変換４５４で、切り出した埋め込み情報の一部（ここでは、「１０」）を、Ｎ進数（ここでは３進数の「２」）に変換する。データ埋め込み部２３は、予測パラメータ候補抽出例４５６のように抽出された候補の中から、埋め込み値「２」に対応する予測パラメータ４５７を選択することにより、１フレーム目の予測パラメータに埋め込み情報の一部を埋め込む。
続いて、２フレーム目では、埋め込み情報変換部２４が候補抽出部２２により予測パラメータ候補数Ｎ＝５を取得する。埋め込み情報変換部２４は、１フレーム目に埋め込んだ埋め込み情報の残り（ここでは埋め込み情報４５８＝「１１１１」）から、切り出し４６０において、予測パラメータ候補Ｎを超えない数（ここでは、「１１」）を、埋め込み情報４５８の高位の桁から切り出す。埋め込み情報変換部２４はさらに、進数変換４６２で、切り出した埋め込み情報の一部（ここでは、「１１」）を、Ｎ進数（ここでは５進数の「３」）に変換する。データ埋め込み部２３は、予測パラメータ候補抽出例４６４のように抽出された候補の中から、埋め込み値「３」に対応する予測パラメータ４６５を選択することにより、２フレーム目の予測バラメータに埋め込み情報の一部を埋め込む。
さらに、３フレーム目では、埋め込み情報変換部２４が候補抽出部２２から予測パラメータ候補数Ｎ＝４を取得する。埋め込み情報変換部２４は、１、２フレーム目に埋め込んだ埋め込み情報の残り（ここでは埋め込み情報４６６＝「１１」）から、切り出し４６７において、予測パラメータ候補Ｎを超えない数（ここでは、「１１」）を、埋め込み情報４６７の高位の桁から切り出す。埋め込み情報変換部２４はさらに、進数変換４６８で、切り出した埋め込み情報の一部（ここでは、「１１」）を、Ｎ進数（ここでは４進数の「３」）に変換する。データ埋め込み部２３は、予測パラメータ候補抽出例４７０のように抽出された候補の中から、埋め込み値「３」に対応する予測パラメータ４７１を選択することにより、３フレーム目の予測バラメータに埋め込み情報の一部を埋め込む。
図３０は、本変形例による情報抽出方法の一例を示す図である。図３０は、図２６を参照しながら説明した情報抽出処理の代わりに行われる処理である。図３０の処理では、進数変換部４６は、例えば１フレーム目からの抽出情報を予測パラメータ候補数Ｎに応じて２進数に変換し、抽出情報バッファ部４５は、変換された情報をバッファすることにより、埋め込み情報を復元する。
図３０の例では、まず、候補抽出部２２は、予測パラメータ抽出例５０２のように、１フレーム目の予測パラメータ５０３より、３進数の埋め込み値「２」を抽出情報として抽出する。抽出情報変換部４４は、候補抽出部２２により抽出された予測パラメータ候補数Ｎ＝３に基づき、抽出された情報を進数変換５０４により、３進数から２進数「１０」に変換する。
候補抽出部２２は、予測パラメータ抽出例５０６のように、２フレーム目の予測パラメータ５０７より、５進数の埋め込み値「３」を抽出情報として抽出する。抽出情報変換部４４は、候補抽出部２２により抽出された予測パラメータ候補数Ｎ＝５に基づき、抽出された情報を進数変換５１０により、５進数から２進数「１１」に変換する。さらに、抽出情報変換部４４は、結合５１２のように、１フレーム目から抽出された情報と２フレーム目から抽出された情報とを結合して「１０１１」を得る。
さらに、候補抽出部２２は、予測パラメータ抽出例５１４のように、３フレーム目の予測パラメータ５１５より、４進数の埋め込み値「３」を抽出情報として抽出する。抽出情報変換部４４は、候補抽出部２２により抽出された予測パラメータ候補数Ｎ＝４に基づき、抽出された情報を進数変換５１６により、４進数から２進数「１１」に変換する。抽出情報変換部４４は、結合５１８のように、１〜３フレーム目で抽出された情報を結合して２進数の「１０１１１１」を埋め込み情報として得る。
以上の処理により、埋め込み情報４５１が全て予測パラメータとして埋め込まれるとともに、埋め込まれた埋め込み情報は抽出されることになる。以上説明したように、図１８の処理に代えて図２９の処理を行い、図２６の処理に代えて図３０の処理を行うことによっても、上記実施の形態と同様の作用効果を実現することが可能である。
（変形例２）
次に、データ埋め込み装置２０による、埋め込み対象の埋め込み情報とは別のデータの埋め込みを行う変形例２について説明する。データ埋め込み装置２０が予測パラメータへ埋め込むデータはどのようなものでもよい。ここで、埋め込み情報の先頭を表す別データを追加して埋め込むことにより、データ抽出装置４０において抽出されるデータから埋め込み情報の先頭を捜し出すことが容易になる。また、埋め込み情報の末尾を表す別データを追加して埋め込むことにより、データ抽出装置４０により抽出されるデータから埋め込み情報の末尾を捜し出すことが容易になる。変形例２は、このような、埋め込み情報とは別のデータの埋め込み方法の一例である。
変形例２では、データ埋め込み部２３が、埋め込み情報のデータの前若しくは後に、埋め込み情報の存在及びその先頭若しくは末尾を表している別のデータを付加してから予測パラメータに埋め込む。この変形例２の一例について図３１を用いて説明する。
図３１は、変形例２によるデータ埋め込み方法の一例を示す図である。図３１の例では、埋め込み情報を、埋め込み情報５３０＝「１１０１０１０…０１０１０」とする。データ例５３２では、ビット列「０００１」が、埋め込み情報５３０の存在及びその先頭を表している開始データとして予め定義されている。また、ビット列「１０００」が、埋め込み情報５３０の末尾を表している終了データとして予め定義されている。但し、この場合には、埋め込み情報５３０のビット列にはこの２種類のビット列のどちらもが出現しないものとする。すなわち、例えば、埋め込み情報５３０には、値『０』が３つ以上連続して出現することはないものとする。
この例では、データ埋め込み部２３は、図１９のＳ２５２の予測パラメータ選択処理において、まず、埋め込み情報の直前に開始データを付加すると共に、埋め込み情報の直後に終了データを更に付加する処理を行う。そして、その後に、これらのデータの付加後のデータ例５３２における予測パラメータ候補数Ｎを超えない値に対応するビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を選択する処理を行う。なお、データ抽出装置４０のデータ抽出部４３では、図２７のＳ４１２の埋め込み情報抽出処理によって予測パラメータより抽出されたデータから、これらの開始データ及び終了データを除外し、その後に残されたデータを出力するようにする。
また、データ例５３４は、ビット列「０１１１１１１０」を、埋め込み情報５３０の存在及び先頭若しくは末尾を表している開始・終了データとして予め定義しておいた場合の例である。但し、この場合には、埋め込み情報５３０には、このビット列のどちらもが出現しないものとする。すなわち、例えば、埋め込み情報５３０には、値『１』が６つ以上連続して出現することはないものとする。この例では、データ埋め込み部２３は、図１９のＳ２５２の予測パラメータ選択処理において、まず、埋め込み情報５３０の直前及び直後に開始・終了データを付加する処理を行う。そして、その後に、これらのデータの付加後のデータ例５３４における予測パラメータ候補数Ｎを超えない値に対応するビット列を参照し、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を選択する処理を行う。なお、データ抽出装置４０のデータ抽出部４３では、図２７のＳ４１２の埋め込み情報抽出処理によって予測パラメータより抽出されたデータから、この開始・終了データを除外し、その後に残されたデータを出力するようにする。
以上のように、本変形例によれば、埋め込み情報の先頭を表す別データを追加して埋め込むことにより、データ抽出装置４０において抽出されるデータから埋め込み情報の先頭を捜し出すことが容易になる。また、埋め込み情報の末尾を表す別データを追加して埋め込むことにより、データ抽出装置４０により抽出されるデータから埋め込み情報の末尾を捜し出すことが容易になる。
（変形例３）
次に、図３２、図３３を参照しながら、埋め込み情報とは別のデータの埋め込みの方法の別の例について説明する。前述したように、データ埋め込み装置２０の各機能ブロックで行われる処理は、１チャネルのオーディオ周波数帯域を分割したときの各帯域の周波数成分信号毎に行われる。つまり、候補抽出部２２は、中央チャネルの信号に対する周波数帯域毎の予測符号化によって該周波数帯域毎に得られた予測パラメータとの誤差が所定の閾値以内である予測パラメータの候補を、符号帳２１から周波数帯域毎に複数抽出する。そこで、この変形例３では、データ埋め込み部２３は、埋め込み情報の予測パラメータへの埋め込みを、第一の周波数帯域についての予測符号化の結果とする予測パラメータを、第一の周波数帯域について抽出された候補から選択することによって行う。そして、データ埋め込み部２３は、別のデータの予測パラメータへの埋め込みを、第一の周波数帯域とは異なる第二の周波数帯域についての予測符号化の結果とする予測パラメータを、第二の周波数帯域について抽出された候補から選択することによって行う。
この別データの埋め込みの変形例３の具体例について、図３２を用いて説明する。図３２は、変形例３によるデータ埋め込み方法の一例を示す図である。この例では、オーディオ信号のフレーム毎に６つの周波数帯域の各々で得られる予測パラメータの候補のうち、低域側の３組の候補を埋め込み情報の埋め込みに使用し、高域側の３組の候補を別データの埋め込みに使用するようにしている。このときの別データとしては、例えば、前述した変形例２と同様に、埋め込み情報の存在及び開始若しくは終了を表すデータとしてもよい。
なお、図３２において、変数ｉはゼロ以上ｉ＿ｍａｘ以下の整数であって、オーディオ信号の各フレームに時刻順に付与した番号を表している。また、変数ｊはゼロ以上ｊ＿ｍａｘ以下の整数であって、各周波数帯域に周波数の低い順に付与した番号を表している。なお、例えば、定数ｉ＿ｍａｘ及び定数ｊ＿ｍａｘの値は「５」としてもよい。そして、（ｃ1 ，ｃ2 ）i,j は、第ｉ番目のフレームの第ｊ番目の帯域の予測パラメータを表している。
ここで図３３について説明する。図３３は、データ埋め込み装置２０において行われる制御処理の変形例の処理内容を図解したフローチャートである。このフローチャートは、埋め込み情報と別データとを、図３２に図解した例のように埋め込むための処理であり、図１９の図解したフローチャートにおけるＳ２３４の処理に続くデータ埋め込み処理としてデータ埋め込み部２３により行われる。
図１９のＳ２３４に続き、まず、Ｓ５４１では、変数ｉ及び変数ｊに初期値「０」をそれぞれ代入する処理をデータ埋め込み部２３が行う。Ｓ５４１に続くＳ５４２は、Ｓ５５２と対になって処理のループを表している。データ埋め込み部２３は、変数ｉのこの処理時点での値を用いて、Ｓ５４３からＳ５５１までの処理を繰り返す。
続くＳ５４３は、Ｓ５５０と対になって処理のループを表している。データ埋め込み部２３は、変数ｊのこの処理時点での値を用いて、Ｓ５４４からＳ５４９までの処理を繰り返す。
続くＳ５４４について、データ埋め込み部２３は予測パラメータ候補数Ｎの算出処理を行う。この処理は、第ｉ番目のフレームの第ｊ番目の帯域についての予測パラメータの候補を用いることによって埋め込みを行うことの可能なビット列を算出する処理であり、図１９のＳ２３５と同様の処理である。
次に、Ｓ５４５において、埋め込み値付与処理をデータ埋め込み部２３が行う。この処理は、第ｉ番目のフレーム目の第ｊ番目の帯域についての予測パラメータの候補の各々に対し、予め定めておいた所定の規則で、埋め込み値を付与する処理であり、図１９のＳ２５１と同様の処理である。
次に、Ｓ５４６において、第ｊ番目の帯域が、低域側に属するか高域側に属するかを判定する処理をデータ埋め込み部２３が行う。データ埋め込み部２３は、ここで、第ｊ番目の帯域が低域側に属すると判定したときにはＳ５４７に処理を進め、第ｊ番目の帯域が高域側に属すると判定したときにはＳ５４８に処理を進める。
次に、Ｓ５４７において、データ埋め込み部２３は、埋め込み情報のビット列に応じた予測パラメータ選択処理を行い、その後はＳ５４９に処理を進める。この処理は、埋め込み情報における予測パラメータ候補数Ｎを超えない値に対応するビット列を参照する処理である。さらにこの処理は、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を、第ｉ番目のフレーム目の第ｊ番目の帯域についての予測パラメータの候補から選択する処理である。この処理の処理内容は、図１９のＳ２５２の処理と同様のものである。
一方、Ｓ５４８では、データ埋め込み部２３は、埋め込み情報とは別のデータのビット列に応じた予測パラメータ選択処理を行い、その後はＳ５４９に処理を進める。この処理は、当該別のデータにおける予測パラメータ候補数Ｎを超えない値に対応するビット列を参照する処理である。さらにこの処理は、このビット列の値に一致する埋め込み値が付与された予測パラメータの候補を、第ｉ番目のフレーム目の第ｊ番目の帯域についての予測パラメータの候補から選択する処理である。この処理の処理内容も、図１９のＳ２５２の処理と同様のものである。
次に、Ｓ５４９において、変数ｊの現在の値に「１」を加算した結果を改めて変数ｊに代入する処理をデータ埋め込み部２３が行う。Ｓ５５０において、Ｓ５４３と対になって表されている処理のループを継続するか否かを判定する処理をデータ埋め込み部２３が行う。データ埋め込み部２３は、ここで、変数ｊの値が定数ｊ＿ｍａｘ以下であると判定したときには、Ｓ５４４からＳ５４９までの処理の繰り返しを継続する。一方、データ埋め込み部２３は、ここで、変数ｊの値が定数ｊ＿ｍａｘを超えたと判定したときには、Ｓ５４４からＳ５４９までの処理の繰り返しを終了し５５１に処理を進める。Ｓ５５１において、変数ｉの現在の値に「１」を加算した結果を改めて変数ｉに代入する処理をデータ埋め込み部２３が行う。
次に、Ｓ５５２において、Ｓ５４２と対になって表されている処理のループを継続するか否かを判定する処理をデータ埋め込み部２３が行う。データ埋め込み部２３は、ここで、変数ｉの値が定数ｉ＿ｍａｘ以下であると判定したときには、Ｓ５４３からＳ５５１までの処理の繰り返しを継続する。一方、データ埋め込み部２３は、ここで、変数ｉの値が定数ｉ＿ｍａｘを超えたと判定したときには、Ｓ５４３からＳ５５１までの処理の繰り返しを終了し、その後はこの制御処理を終了する。データ埋め込み装置２０は、以上の制御処理を行うことによって、図３２に図解したような埋め込み情報と別データとの予測パラメータへの埋め込みを行う。
なお、データ抽出装置４０のデータ抽出部４３では、図２７のＳ４１０のデータ抽出処理において、図３３に図解したものと同様の処理を行うことで、埋め込み情報と別データとの抽出を行うようにする。
（変形例４）
以下、図３４を参照しながら、埋め込み情報とは別のデータの埋め込みを行うさらに別の例について説明する。変形例２および変形例３では、埋め込まれる別のデータの例として、埋め込み情報の存在及び開始若しくは終了を表すデータを挙げたが、変形例４は、他のテータを予測パラメータに埋め込む例である。
変形例４では、埋め込み情報として誤り訂正符号化処理を施したものを埋め込む場合に、埋め込み情報に対して誤り訂正符号化処理が施されているか否かを表すデータを別データとして予測パラメータに埋め込む。
図３４は、埋め込み情報に対する誤り訂正符号化処理の一例を示す図である。図３４の例において、元データ５６１は、誤り訂正符号化処理を施す前の元データである。この誤り訂正符号化処理は、この元データ５６１を構成する各ビットの値を３回続けて出力するというものである。誤り訂正符号化データ５６３は、この誤り訂正符号化処理を元データ５６１に対して施して得られたものである。データ埋め込み装置２０は、誤り訂正符号化データ５６３を予測パラメータに埋め込むと共に、この誤り訂正符号化データ５６３には誤り訂正符号化処理が施されていることを表すデータを別データとして予測パラメータに埋め込む。
一方、抽出データ５６５は、データ抽出装置４０によって抽出された情報であり、一部のビットが誤り訂正符号化データ５６３と異なっている。この抽出データ５６５から元データ５６１を復元するには、抽出データ５６５を配列順に３ビットずつのビット列に分けて、各ビット列に含まれる３つのビットの値に対して多数決処理を施す。この多数決処理の結果を配列順に並べることにより、訂正後データ５６７の訂正後データが得られる。訂正後データ５６７は、元データ５６１と一致していることが分かる。
なお、上記実施の形態および変形例１〜変形例４のデータ埋め込み装置２０及びデータ抽出装置４０を、標準的な構成を備えるコンピュータで実現することも可能である。図３５は、データ埋め込み装置２０及びデータ抽出装置４０として動作させることのできるコンピュータ５０の構成例を示す図である。
このコンピュータ５０は、ＭＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、ハードディスク装置５４、入力装置５５、表示装置５６、インタフェース装置５７、及び記録媒体駆動装置５８を備えている。なお、これらの構成要素はバスライン５９を介して接続されており、ＭＰＵ５１の管理の下で各種のデータを相互に授受することができる。
Micro Processing Unit（ＭＰＵ）５１は、このコンピュータ５０全体の動作を制御する演算処理装置である。Read Only Memory（ＲＯＭ）５２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ５１は、この基本制御プログラムをコンピュータ５０の起動時に読み出して実行することにより、このコンピュータ５０の各構成要素の動作制御が可能になる。Random Access Memory（ＲＡＭ）５３は、ＭＰＵ５１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
ハードディスク装置５４は、ＭＰＵ５１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。ＭＰＵ５１は、ハードディスク装置５４に記憶されている所定の制御プログラムを読み出して実行することにより、上記制御処理を行えるようになる。また、符号帳２１及び４１は、例えばこのハードディスク装置５４に予め格納しておく。コンピュータ５０をデータ埋め込み装置２０及びデータ抽出装置４０として動作させる場合には、その前に、ハードディスク装置５４から符号帳２１及び４１を読み出してＲＡＭ５３に格納しておく処理をＭＰＵ５１に行わせるようにする。
入力装置５５は、例えばキーボード装置やマウス装置であり、コンピュータ５０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ５１に送付する。例えば、入力装置５５は、符号化データに埋め込みを行うデータの取得を行う。
表示装置５６は例えば液晶ディスプレイであり、ＭＰＵ５１から送付される表示データに応じて各種のテキストや画像を表示する。インタフェース装置５７は、このコンピュータ５０に接続される各種機器との間での各種データの授受の管理を行う。例えば、インタフェース装置５７は、エンコーダ装置１０及びデコーダ装置３０との間で、符号化データや予測パラメータ等のデータの授受を行う。
記録媒体駆動装置５８は、可搬型記録媒体６０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ５１は、可搬型記録媒体６０に記録されている所定の制御プログラムを、記録媒体駆動装置５８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体６０としては、例えばCompact Disc Read Only Memory（ＣＤ−ＲＯＭ）やDigital Versatile Disc Read Only Memory（ＤＶＤ−ＲＯＭ）、Universal Serial Bus（ＵＳＢ）規格のコネクタが備えられているフラッシュメモリなどがある。
このようなコンピュータ５０をデータ埋め込み装置２０及びデータ抽出装置４０として動作させるには、まず、後述する制御処理の各処理ステップをＭＰＵ５１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置５４若しくは可搬型記録媒体６０に予め格納しておく。そして、ＭＰＵ５１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ５１が、図２Ａ及び図２Ｂにそれぞれ図解したデータ埋め込み装置２０及びデータ抽出装置４０が備えている各部として機能し、このコンピュータ５０をデータ埋め込み装置２０及びデータ抽出装置４０として動作させることが可能になる。
ここで、埋め込み情報変換部２４は、変換部の一例であり、埋め込み情報は、埋め込み対象のデータの一例であり、埋め込み値は、候補の数を超えない数の一例であり、抽出情報は、埋め込まれたデータの一例である。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、所定の進数に変換された埋め込み情報からの切り出しを高位の桁から行う例について説明したが、切り出す順を予め決定しておけば、他の順でもよい。また、埋め込み情報の全てをそれぞれ切り出して予測パラメータに埋め込む例について説明したが、全てを切り出すか否かを制御するようにしてもよい。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の予測パラメータを含む符号帳を記憶する記憶部と、
複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出する候補抽出部と、
埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する変換部と、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むデータ埋め込み部と、
を備えることを特徴とするデータ埋め込み装置。
（付記２）
前記変換部は、
埋め込み対象の前記データを前記候補の数による進数に変換する進数変換部、
変換された前記進数の高位の桁から前記候補の数を超えない数を切出す切り出し部
をさらに有し、
前記埋め込み部は、前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を繰り返すことを特徴とする付記１に記載のデータ埋め込み装置。
（付記３）
前記変換部は、
埋め込み対象の前記データに対応する第１のビット列から前記候補の数を超えない数に応じた第２のビット列を切出す切り出し部、
前記第２のビット列を前記候補の数の進数の前記候補の数を超えない数に変換する進数変換部
をさらに有し、
前記埋め込み部は、前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を繰り返すことを特徴とする付記１に記載のデータ埋め込み装置。
（付記４）
前記予測パラメータは、前記他の２つのチャネルの信号の各々についての成分を有しており、
前記候補抽出部は、前記予測パラメータの２つの成分によって定義される平面上において前記予測誤差が所定の閾値を超えない点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、前記予測パラメータの候補の抽出を行う、
ことを特徴とする付記１から付記３のいずれかに記載のデータ埋め込み装置。
（付記５）
前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となるか否かを判定し、該点の集合が直線となると判定した場合に、前記位置関係に基づく前記予測パラメータの候補の抽出を行うことを特徴とする付記４に記載のデータ埋め込み装置。
（付記６）
前記平面は、直交座標系の平面であって前記予測パラメータの２つの成分を各座標軸の方向の成分とし、
前記符号帳に格納されている各予測パラメータは、前記平面上において該候補に対応する各点が、前記平面上において座標軸方向を各辺の方向とする矩形の領域に格子点として配置されるように予め設定されており、
前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となると判定した場合に、前記平面上の前記矩形において対向している一対の辺の両方に該直線が交わるか否かを判定し、交わると判定した場合には、該一対の辺の各々について辺上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出すると共に、該一対の辺に平行であって前記格子点を通る前記領域内の各線分について、線分上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出する、
ことを特徴とする付記４又は５に記載のデータ埋め込み装置。
（付記７）
前記データ埋め込み部は、埋め込み対象の前記データと共に、前記データとは別のデータを埋め込むことを特徴とする付記１から付記６のうちのいずれか一項に記載のデータ埋め込み装置。
（付記８）
予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
データ埋め込みに用いられる複数の予測パラメータを含む符号帳を記憶する記憶部と、
複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を前記符号帳から特定するとともに、前記予測パラメータの候補の数を特定する候補特定部と、
前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出するデータ抽出部と、
抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行う変換部と、
を備え、
前記変換部の変換結果に基づき埋め込まれたデータを抽出することを特徴とするデータ抽出装置。
（付記９）
前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
前記変換部は、
抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
前記候補の数を超えない数を、前記順が１つ前の候補の数を超えない数に対応する候補の数の進数に変換する進数変換部、
前記進数変換部により変換された前記順が１つ前の候補の数を超えない数に対応する候補の数の進数に対応する第１のビット列と前記順が１つ前の候補の数を超えない数に対応する第２のビット列とを結合する結合部、
をさらに有し、
前記進数変換部は、前記順が一つ前の前記候補の数を超えない数が存在しない場合に、前記結合部の出力結果を前記順が一つ前の前記候補の数を超えない数が存在しない前記候補の数を超えない数に対応する前記候補の数の進数の逆変換し、埋め込まれた前記データとして抽出することを特徴とする付記８に記載のデータ抽出装置。
（付記１０）
前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
前記変換部は、
抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
複数の前記候補の数を超えない数に対し、対応する前記候補の数の進数への進数変換の逆変換を行い複数の第１のビット列を出力する進数変換部、
前記進数変換部により出力された複数の前記第１のビット列を前記順に基づき結合して第２のビット列とする結合部、をさらに有し、
前記第２のビット列を埋め込まれた前記データとして抽出することを特徴とする付記８に記載のデータ抽出装置。
（付記１１）
前記予測パラメータは、前記他の２つのチャネルの信号の各々についての成分を有しており、
前記予測パラメータの候補は、前記予測パラメータの２つの成分によって定義される平面上において前記予測誤差が所定の閾値を超えない点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、抽出されることを特徴とする付記８から付記１０のいずれかに記載のデータ抽出装置。
（付記１２）
データ埋め込み装置が、
複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むことを特徴とするデータ埋め込み方法。
（付記１３）
データ抽出装置が、
複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有するデータ埋め込みに用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出することを特徴とするデータ抽出方法。
（付記１４）
複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む
処理をコンピュータに実行させるプログラム。
（付記１５）
複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有する符号化に用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出する
処理をコンピュータに実行させるプログラム。
１ エンコードシステム
３ デコードシステム
１０ エンコーダ装置
１１ 時間周波数変換部
１２ 第一ダウンミックス部
１３ 第二ダウンミックス部
１４ ステレオ符号化部
１５ 予測符号化部
１６ 多重化部
２０ データ埋め込み装置
２１、４１ 符号帳
２２ 候補抽出部
２３ データ埋め込み部
２４ 埋め込み情報変換部
２６ バッファ
２７ 進数変換部
２８ 切り出し部
３０ デコーダ装置
３１ 分離部
３２ ステレオ復号部
３３ 第一アップミックス部
３４ 第二アップミックス部
３５ 周波数時間変換部
４０ データ抽出装置
４２ 候補特定部
４３ データ抽出部
４４ 抽出情報変換部
４５ 抽出情報バッファ部
４６ 進数変換部
４７ 結合部
５０ コンピュータ
５１ ＭＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ ハードディスク装置
５５ 入力装置
５６ 表示装置
５７ インタフェース装置
５８ 記録媒体駆動装置
５９ バスライン
６０ 可搬型記録媒体

Claims (14)

  1. 複数の予測パラメータを含む符号帳を記憶する記憶部と、
    複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、前記符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出する候補抽出部と、
    埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換する変換部と、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むデータ埋め込み部と、
    を備えることを特徴とするデータ埋め込み装置。
  2. 前記変換部は、
    埋め込み対象の前記データを前記候補の数による進数に変換する進数変換部、
    変換された前記進数から前記候補の数を超えない数を切出す切り出し部
    をさらに有し、
    前記埋め込み部は、前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を、前記進数から前記候補の数を超えない数を繰り返すことを特徴とする請求項１に記載のデータ埋め込み装置。
  3. 前記変換部は、
    埋め込み対象の前記データに対応する第１のビット列から前記候補の数を超えない数に応じた第２のビット列を切出す切り出し部、
    前記第２のビット列を前記候補の数の進数の前記候補の数を超えない数に変換する進数変換部
    をさらに有し、
    前記埋め込み部は、前記候補の数を超えない数に応じて前記予測パラメータを選択する処理を繰り返すことを特徴とする請求項１に記載のデータ埋め込み装置。
  4. 前記予測パラメータは、前記他の２つのチャネルの信号の各々についての成分を有しており、
    前記候補抽出部は、前記予測パラメータの２つの成分によって定義される平面上において前記予測誤差が所定の閾値を超えない点の集合である直線を決定し、該直線と、該平面上において前記符号帳に格納されている各予測パラメータに対応する各点との位置関係に基づいて、前記予測パラメータの候補の抽出を行う、
    ことを特徴とする請求項１から請求項３のいずれかに記載のデータ埋め込み装置。
  5. 前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となるか否かを判定し、該点の集合が直線となると判定した場合に、前記位置関係に基づく前記予測パラメータの候補の抽出を行うことを特徴とする請求項４に記載のデータ埋め込み装置。
  6. 前記平面は、直交座標系の平面であって前記予測パラメータの２つの成分を各座標軸の方向の成分とし、
    前記符号帳に格納されている各予測パラメータは、前記平面上において該候補に対応する各点が、前記平面上において座標軸方向を各辺の方向とする矩形の領域に格子点として配置されるように予め設定されており、
    前記候補抽出部は、前記平面上において前記予測誤差が所定の閾値を超えない点の集合が直線となると判定した場合に、前記平面上の前記矩形において対向している一対の辺の両方に該直線が交わるか否かを判定し、交わると判定した場合には、該一対の辺の各々について辺上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出すると共に、該一対の辺に平行であって前記格子点を通る前記領域内の各線分について、線分上に存在する格子点のうち該直線に最も近い格子点に対応する予測パラメータを抽出する、
    ことを特徴とする請求項４又は請求項５に記載のデータ埋め込み装置。
  7. 前記データ埋め込み部は、埋め込み対象の前記データと共に、前記データとは別のデータを埋め込むことを特徴とする請求項１から請求項６のうちのいずれか一項に記載のデータ埋め込み装置。
  8. 予測パラメータに埋め込まれたデータを抽出するデータ抽出装置であって、
    データ埋め込みに用いられる複数の予測パラメータを含む符号帳を記憶する記憶部と、
    複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を前記符号帳から特定するとともに、前記予測パラメータの候補の数を特定する候補特定部と、
    前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出するデータ抽出部と、
    抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行う変換部と、
    を備え、
    前記変換部の変換結果に基づき埋め込まれたデータを抽出することを特徴とするデータ抽出装置。
  9. 前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
    前記変換部は、
    抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
    前記候補の数を超えない数を、前記順が１つ前の候補の数を超えない数に対応する候補の数の進数に変換する進数変換部、
    前記進数変換部により変換された前記順が１つ前の候補の数を超えない数に対応する候補の数の進数に対応する第１のビット列と前記順が１つ前の候補の数を超えない数に対応する第２のビット列とを結合する結合部、
    をさらに有し、
    前記進数変換部は、前記順が一つ前の前記候補の数を超えない数が存在しない場合に、前記結合部の出力結果を前記順が一つ前の前記候補の数を超えない数が存在しない前記候補の数を超えない数に対応する前記候補の数の進数の逆変換し、埋め込まれた前記データとして抽出することを特徴とする請求項８に記載のデータ抽出装置。
  10. 前記データ抽出部は、複数の前記予測パラメータにそれぞれ埋め込まれた複数の前記候補の数を超えない数を順次抽出し、
    前記変換部は、
    抽出された前記候補の数を超えない数と、前記候補の数を超えない数に対応する前記候補の数とを前記データ抽出部が抽出した順に基づき複数記憶する記憶部、
    複数の前記候補の数を超えない数に対し、対応する前記候補の数の進数への進数変換の逆変換を行い複数の第１のビット列を出力する進数変換部、
    前記進数変換部により出力された複数の前記第１のビット列を前記順に基づき結合して第２のビット列とする結合部、をさらに有し、
    前記第２のビット列を埋め込まれた前記データとして抽出することを特徴とする請求項８に記載のデータ抽出装置。
  11. データ埋め込み装置が、
    複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
    埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込むことを特徴とするデータ埋め込み方法。
  12. データ抽出装置が、
    複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有するデータ埋め込みに用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
    前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
    抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出することを特徴とするデータ抽出方法。
  13. 複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化における予測誤差が所定範囲内である予測パラメータの候補を、複数の予測パラメータを含む符号帳から複数抽出するとともに、抽出された前記予測パラメータの候補の数を抽出し、
    埋め込み対象のデータの少なくとも一部を前記候補の数による進数に変換し、
    前記予測符号化の結果とする予測パラメータを、前記抽出された候補から前記変換部により変換された前記進数に応じた所定の埋め込み規則に従って選択することによって、埋め込み対象の前記データを前記進数として該予測パラメータに埋め込む
    処理をコンピュータに実行させるプログラム。
  14. 複数チャネルの信号における１つのチャネルの信号についての他の２つのチャネルの信号に基づく予測符号化の結果とされた予測パラメータと前記他の２つのチャネルの信号とに基づいて、前記予測符号化において抽出された予測パラメータの候補を、データ抽出装置自身の有する符号化に用いられる複数の予測パラメータを含む符号帳から特定するとともに、前記予測パラメータの候補の数を特定し、
    前記候補の数の進数に応じた所定のデータ埋め込み規則に基づき、前記特定された予測パラメータの候補から前記予測パラメータに埋め込まれた候補の数を超えない数を抽出し、
    抽出された前記候補の数を超えない数に対し前記候補の数の進数への進数変換の逆変換を行うことにより埋め込まれたデータを抽出する
    処理をコンピュータに実行させるプログラム。
JP2013054939A 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム Expired - Fee Related JP6146069B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013054939A JP6146069B2 (ja) 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
US14/087,121 US9691397B2 (en) 2013-03-18 2013-11-22 Device and method data for embedding data upon a prediction coding of a multi-channel signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013054939A JP6146069B2 (ja) 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2014182188A true JP2014182188A (ja) 2014-09-29
JP6146069B2 JP6146069B2 (ja) 2017-06-14

Family

ID=51531848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013054939A Expired - Fee Related JP6146069B2 (ja) 2013-03-18 2013-03-18 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Country Status (2)

Country Link
US (1) US9691397B2 (ja)
JP (1) JP6146069B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6065452B2 (ja) * 2012-08-14 2017-01-25 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
JP6146069B2 (ja) 2013-03-18 2017-06-14 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
US9552163B1 (en) 2015-07-03 2017-01-24 Qualcomm Incorporated Systems and methods for providing non-power-of-two flash cell mapping
US9921909B2 (en) 2015-07-03 2018-03-20 Qualcomm Incorporated Systems and methods for providing error code detection using non-power-of-two flash cell mapping
CN113315976A (zh) * 2021-05-28 2021-08-27 扆亮海 低分辨率视频的三进制高信息量嵌入法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1168572A (ja) * 1997-08-12 1999-03-09 M Ken:Kk 音声データ処理方法、音声データ処理装置及び音声データ処理プログラムを記録した記録媒体
JP2014038179A (ja) * 2012-08-14 2014-02-27 Fujitsu Ltd データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2796408B2 (ja) 1990-06-18 1998-09-10 シャープ株式会社 音声情報圧縮装置
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP2000013800A (ja) 1998-06-18 2000-01-14 Victor Co Of Japan Ltd 画像伝送方法並びに符号化装置及び復号化装置
US6370502B1 (en) 1999-05-27 2002-04-09 America Online, Inc. Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec
JP3646074B2 (ja) 2001-05-18 2005-05-11 松下電器産業株式会社 情報埋込装置及び情報抽出装置
US20060047522A1 (en) * 2004-08-26 2006-03-02 Nokia Corporation Method, apparatus and computer program to provide predictor adaptation for advanced audio coding (AAC) system
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
JP4919213B2 (ja) 2008-03-06 2012-04-18 Ｋｄｄｉ株式会社 電子透かし挿入方式および検出方式
FI3573056T3 (fi) 2008-07-11 2022-11-30 Audiokooderi ja audiodekooderi
MY152252A (en) 2008-07-11 2014-09-15 Fraunhofer Ges Forschung Apparatus and method for encoding/decoding an audio signal using an aliasing switch scheme
WO2010042024A1 (en) * 2008-10-10 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Energy conservative multi-channel audio coding
WO2011042464A1 (en) 2009-10-08 2011-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
PL3779977T3 (pl) * 2010-04-13 2023-11-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio do przetwarzania audio stereo z wykorzystaniem zmiennego kierunku predykcji
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP6146069B2 (ja) 2013-03-18 2017-06-14 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1168572A (ja) * 1997-08-12 1999-03-09 M Ken:Kk 音声データ処理方法、音声データ処理装置及び音声データ処理プログラムを記録した記録媒体
JP2014038179A (ja) * 2012-08-14 2014-02-27 Fujitsu Ltd データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム

Also Published As

Publication number Publication date
JP6146069B2 (ja) 2017-06-14
US20140278446A1 (en) 2014-09-18
US9691397B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
US10163445B2 (en) Apparatus and method encoding/decoding with phase information and residual information
JP6279569B2 (ja) マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置
JP6288100B2 (ja) オーディオエンコード装置及びオーディオデコード装置
KR101505831B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치
JP6146069B2 (ja) データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
JP2009518659A (ja) マルチチャネルオーディオ信号の符号化／復号化方法及び装置
KR101615262B1 (ko) 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
KR100745688B1 (ko) 다채널 오디오 신호 부호화/복호화 방법 및 장치
KR20140123015A (ko) 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
JP6065452B2 (ja) データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
WO2009088258A2 (ko) 프레임 타입 식별 방법 및 장치
JP5949270B2 (ja) オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
JP2022188262A (ja) ステレオ信号符号化方法および装置、ならびにステレオ信号復号方法および装置
JP6179122B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
US9837085B2 (en) Audio encoding device and audio coding method
CN105336334B (zh) 多声道声音信号编码方法、解码方法及装置
JP6299202B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置
JP6051621B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、及びオーディオ復号装置
EP1859439B1 (en) Multichannel audio compression and decompression method using virtual source location information
JP5990954B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、オーディオ復号装置、オーディオ復号方法ならびにオーディオ復号用コンピュータプログラム
KR101500972B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170501

R150 Certificate of patent or registration of utility model

Ref document number: 6146069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees