JP2001285622A - 埋め込み装置および埋め込み方法、復号装置および復号方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 オーバヘッドなしで復号可能な、完全可逆の
符号化を行う。 【解決手段】 埋め込み圧縮符号化器１１では、画像を
構成する画素のうち、注目している注目画素の予測値を
予測する予測方式が、付加情報に基づいて選択され、そ
の予測方式によって注目画素を予測することにより、予
測値が求められるとともに、注目画素に、付加情報が埋
め込まれる。そして、予測値の予測誤差を求められ、符
号化データとして出力される。一方、復号器１２では、
符号化データのうちの注目している注目画素から、その
予測値の予測に用いられた予測方式が認識され、その予
測方式に基づいて、注目画素が復号されるとともに、そ
の注目画素に埋め込まれていた付加情報が復号される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、埋め込み装置およ
び埋め込み方法、復号装置および復号方法、並びに記録
媒体に関し、特に、例えば、復号画像の画質を劣化させ
ることなく、かつデータ量を増加せずに、画像に情報を
埋め込むことができるようにする埋め込み装置および埋
め込み方法、復号装置および復号方法、並びに記録媒体
に関する。

【０００２】

【従来の技術】データに対して、そのデータ量を増加さ
せることなく、情報を埋め込む手法としては、例えば、
ディジタルオーディオデータの最下位ビットや、下位２
ビットなどを、埋め込む情報に変換するものなどがあ
る。この手法は、ディジタルオーディオデータの下位ビ
ットが、その音質にあまり影響を与えないことを利用
し、その下位ビットを、単に、埋め込む情報に置き換え
るものであり、従って、再生時には、情報が埋め込まれ
たディジタルオーディオデータは、その下位ビットを元
に戻さずに、そのまま出力される。即ち、情報が埋め込
まれた下位ビットを、元に戻すのは困難であり、また、
下位ビットは、音質に、あまり影響を与えないことか
ら、ディジタルオーディオデータは、情報が埋め込まれ
た状態で出力される。

【０００３】

【発明が解決しようとする課題】しかしながら、以上の
ような手法では、本来のデータと異なるデータが出力さ
れる。従って、データがオーディオデータである場合に
は、その音質に、また、データがビデオデータである場
合には、その画質に、少なからず影響がある。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、例えば、画像の画質を劣化させることな
く、かつデータ量を増加せずに、画像に情報を埋め込む
こと等ができるようにするものである。

【０００５】

【課題を解決するための手段】本発明の埋め込み装置
は、第１のデータのうちの注目している注目データの予
測値を予測する予測方式を、第２のデータに基づいて選
択する選択手段と、選択手段により選択された予測方式
によって注目データを予測することにより、予測値を求
めるとともに、注目データに、第２のデータを埋め込む
予測／埋め込み手段と、予測値の予測誤差を求め、符号
化データとして出力する予測誤差演算手段とを備えるこ
とを特徴とする。

【０００６】予測／埋め込み手段には、注目データの周
辺に位置する第１のデータを、注目データの予測値とし
て求めさせることができる。

【０００７】本発明の埋め込み装置には、注目データに
対する、第２のデータの埋め込みの可否を判定する判定
手段をさらに設けることができ、選択手段には、注目デ
ータに対する、第２のデータの埋め込みが可能である場
合に、予測方式を、第２のデータに基づいて選択させる
ことができる。

【０００８】判定手段には、注目データと、その予測に
用いる第１のデータとに基づいて、注目データに対す
る、第２のデータの埋め込みの可否を判定させることが
できる。

【０００９】注目データに対する、第２のデータの埋め
込みが可能でない場合においては、選択手段には、予測
方式を、注目データおよびその予測に用いる第１のデー
タに基づいて選択させ、予測／埋め込み手段には、選択
手段により選択された予測方式によって注目データを予
測することにより、予測値を求めることのみを行わせる
ことができる。

【００１０】判定手段には、注目データと、その予測に
用いる２つの第１のデータとの大小関係を判定させるこ
とができ、この場合、注目データが、その予測に用いる
２つの第１のデータの範囲内の値であるときには、注目
データに対する、第２のデータの埋め込みが可能である
と判定させ、注目データが、その予測に用いる２つの第
１のデータの範囲内の値でないときには、注目データに
対する、第２のデータの埋め込みが不可能であると判定
させることができる。

【００１１】選択手段には、第２のデータの埋め込みが
可能な注目データについて、その予測に用いる２つの第
１のデータそれぞれを予測値とする予測方式のうちの一
方を、第２のデータに基づいて選択させることができ
る。

【００１２】選択手段には、第２のデータの埋め込みが
不可能な注目データについて、その予測に用いる２つの
第１のデータそれぞれを予測値とする予測方式のうちの
予測誤差が大きくなる方を選択させることができる。

【００１３】第１のデータは、画像データとすることが
できる。

【００１４】第１と第２のデータは、画像データを２つ
の部分に分離した一方の部分と他方の部分とすることが
できる。

【００１５】本発明の埋め込み装置には、一方の部分と
しての第１のデータに対して、他方の部分としての第２
のデータを最適に埋め込むことができるように、画像デ
ータを２つの部分に分離する分離手段をさらに設けるこ
とができる。

【００１６】本発明の埋め込み方法は、第１のデータの
うちの注目している注目データの予測値を予測する予測
方式を、第２のデータに基づいて選択する選択ステップ
と、選択ステップにおいて選択された予測方式によって
注目データを予測することにより、予測値を求めるとと
もに、注目データに、第２のデータを埋め込む予測／埋
め込みステップと、予測値の予測誤差を求め、符号化デ
ータとして出力する予測誤差演算ステップとを備えるこ
とを特徴とする。

【００１７】本発明の第１の記録媒体は、第１のデータ
のうちの注目している注目データの予測値を予測する予
測方式を、第２のデータに基づいて選択する選択ステッ
プと、選択ステップにおいて選択された予測方式によっ
て注目データを予測することにより、予測値を求めると
ともに、注目データに、第２のデータを埋め込む予測／
埋め込みステップと、予測値の予測誤差を求め、符号化
データとして出力する予測誤差演算ステップとを備える
プログラムが記録されていることを特徴とする。

【００１８】本発明の復号装置は、符号化データのうち
の注目している注目データから、第１のデータの予測値
の予測に用いられた予測方式を認識する認識手段と、認
識手段により認識された予測方式に基づいて、注目デー
タを、元の第１のデータに復号するとともに、注目デー
タに埋め込まれていた第２のデータを復号する復号手段
とを備えることを特徴とする。

【００１９】この復号装置には、注目データに対する、
第２のデータの埋め込みの有無を判定する判定手段をさ
らに設けることができ、認識手段には、注目データに、
第２のデータが埋め込まれている場合に、予測方式を認
識させることができる。

【００２０】判定手段には、注目データと、既に復号さ
れた第１のデータとに基づいて、注目データに対する、
第２のデータの埋め込みの有無を判定させることができ
る。

【００２１】注目データに対して、第２のデータが埋め
込まれていない場合においては、認識手段には、予測方
式を、注目データおよび既に復号された第１のデータに
基づいて認識させ、復号手段には、認識手段により認識
された予測方式に基づいて、注目データを、元の第１の
データに復号することのみを行わせることができる。

【００２２】判定手段には、注目データと、既に復号さ
れた２つの第１のデータとの大小関係を判定させること
ができ、この場合、注目データの大きさが、既に復号さ
れた２つの第１のデータどうしの差分の大きさより小で
あるときには、注目データに対して、第２のデータが埋
め込まれていると判定させ、注目データの大きさが、既
に復号された２つの第１のデータどうしの差分の大きさ
より小でないときには、注目データに対して、第２のデ
ータが埋め込まれていないと判定させることができる。

【００２３】認識手段には、第２のデータが埋め込まれ
ている注目データについて、既に復号された２つの第１
のデータそれぞれを予測値とする予測方式のうち、注目
データの復号結果が、その２つの第１のデータの範囲内
になる方を、注目データに対応する第１のデータの予測
に用いられたものとして認識させることができる。

【００２４】認識手段には、第２のデータが埋め込まれ
ていない注目データについて、既に復号された２つの第
１のデータそれぞれを予測値とする予測方式のうち、予
測誤差が大きくなる方を、注目データに対応する第１の
データの予測に用いられたものとして認識させることが
できる。

【００２５】第１のデータは、画像データとすることが
できる。

【００２６】第１と第２のデータは、画像データを２つ
の部分に分離した一方の部分と他方の部分とすることが
できる。

【００２７】本発明の復号装置には、一方の部分として
の、復号された第１のデータと、他方の部分としての、
復号された第２のデータとを結合し、元の画像データを
構成する結合手段をさらに設けることができる。

【００２８】本発明の復号方法は、符号化データのうち
の注目している注目データから、第１のデータの予測値
の予測に用いられた予測方式を認識する認識ステップ
と、認識ステップにおいて認識された予測方式に基づい
て、注目データを、元の第１のデータに復号するととも
に、注目データに埋め込まれていた第２のデータを復号
する復号ステップとを備えることを特徴とする。

【００２９】本発明の第２の記録媒体は、符号化データ
のうちの注目している注目データから、第１のデータの
予測値の予測に用いられた予測方式を認識する認識ステ
ップと、認識ステップにおいて認識された予測方式に基
づいて、注目データを、元の第１のデータに復号すると
ともに、注目データに埋め込まれていた第２のデータを
復号する復号ステップとを備えるプログラムが記録され
ていることを特徴とする。

【００３０】本発明の埋め込み装置および埋め込み方
法、並びに第１の記録媒体においては、第１のデータの
うちの注目している注目データの予測値を予測する予測
方式が、第２のデータに基づいて選択され、その予測方
式によって注目データを予測することにより、予測値が
求められるとともに、注目データに、第２のデータが埋
め込まれる。そして、予測値の予測誤差を求められ、符
号化データとして出力される。

【００３１】本発明の復号装置および復号方法、並びに
第２の記録媒体においては、符号化データのうちの注目
している注目データから、第１のデータの予測値の予測
に用いられた予測方式が認識され、その予測方式に基づ
いて、注目データが、元の第１のデータに復号されると
ともに、注目データに埋め込まれていた第２のデータが
復号される。

【００３２】

【発明の実施の形態】図１は、本発明を適用した埋め込
み圧縮／復号システム（システムとは、複数の装置が論
理的に集合した物をいい、各構成の装置が同一筐体中に
あるか否かは問わない）の一実施の形態の構成例を示し
ている。

【００３３】この埋め込み圧縮／復号システムは、符号
化装置１および復号装置２で構成されており、符号化装
置は、符号化対象としての、例えば、画像を符号化して
符号化データを出力し、復号装置２は、その符号化デー
タを、元の画像に復号するようになっている。

【００３４】即ち、符号化装置１は、埋め込み圧縮符号
化器１１で構成され、そこには、符号化対象としての画
像と、その画像に埋め込まれる付加情報とが供給される
ようになっている。そして、埋め込み圧縮符号化器１１
は、画像（ディジタル画像データ）を圧縮符号化するの
と同時に、付加情報（ディジタルデータ）を埋め込むこ
とにより、符号化データを得て出力する。埋め込み圧縮
符号化器１１が出力する符号化データは、例えば、半導
体メモリ、光磁気ディスク、磁気ディスク、光ディス
ク、磁気テープ、相変化ディスクなどでなる記録媒体３
に記録され、あるいは、また、例えば、地上波、衛星回
線、ＣＡＴＶ（Cable Television）網、インターネッ
ト、公衆回線などでなる伝送媒体４を介して伝送され、
復号装置２に提供される。

【００３５】復号装置２は、復号器１２で構成され、そ
こでは、記録媒体３または伝送媒体４を介して提供され
る符号化データが受信される。そして、復号器１２は、
その符号化データを、元の画像と、そこに埋め込まれて
いる付加情報に復号する。復号された画像は、例えば、
図示せぬモニタ等に供給されて表示される。

【００３６】なお、付加情報としては、例えば、元の画
像に関連するテキストデータや、音声データ、その画像
を縮小した縮小画像等は勿論、元の画像に無関係なデー
タを用いることも可能である。即ち、付加情報として
は、あらゆるデータ（プログラムも含む）を用いること
が可能である。

【００３７】次に、図２は、図１の埋め込み圧縮符号化
器１１の構成例を示している。

【００３８】符号化対象の画像データは、フレームメモ
リ２１に供給されるようになっており、その画像データ
に埋め込まれる付加情報は、予測器選択回路２３に供給
されるようになっている。

【００３９】フレームメモリ２１は、そこに供給される
画像データを、例えば、１フレーム単位で記憶する。フ
レームメモリ２１に記憶された画像データは、必要に応
じて、埋め込み判定回路２２、予測器選択回路２３、ス
イッチ２４、および予測誤差計算回路２６に供給される
ようになっている。

【００４０】埋め込み判定回路２２は、フレームメモリ
２１に記憶された画像データを構成する画素を、例え
ば、ラスタスキャン順に、順次、注目画素とし、その注
目画素に対する付加情報の埋め込みの可否を判定する。

【００４１】即ち、例えば、いま、図３に示すように、
画像データを構成する、ある画素Ｄが注目画素である場
合には、埋め込み判定回路２２は、その注目画素Ｄの上
に隣接する画素Ｂと、下に隣接する画素Ｃを、フレーム
メモリ２１から読み出す。そして、埋め込み判定回路２
２は、画素Ｂの画素値（以下、適宜、画素値Ｂとも記述
する）と、画素Ｃの画素値との間に、注目画素Ｄの画素
値が存在するかどうかを判定し、存在する場合には、注
目画素Ｄへの埋め込みが可能であると判定し、存在しな
い場合には、注目画素Ｄへの埋め込みが不可であると判
定する。この埋め込み判定回路２２による注目画素への
埋め込みの可否の判定結果は、埋め込み判定信号とし
て、予測器選択回路２３に供給されるようになってい
る。

【００４２】予測器選択回路２３は、埋め込み判定回路
２２から、注目画素への埋め込みが可能な旨の埋め込み
判定信号を受信した場合、注目画素を予測（予測符号
化）する予測方式を、そこに供給される付加情報に基づ
いて選択し、その選択結果を表す予測器選択信号を、ス
イッチ２４に供給する。また、予測器選択回路２３は、
埋め込み判定回路２２から、注目画素への埋め込みが不
可である旨の埋め込み判定信号を受信した場合、注目画
素を予測（予測符号化）する予測方式を、フレームメモ
リ２１に記憶された注目画素Ｄ、並びにその上に隣接す
る画素Ｂおよびその左に隣接する画素Ｃの画素値の大小
関係に基づいて選択し、その選択結果を表す予測器選択
信号を、スイッチ２４に供給する。

【００４３】スイッチ２４は、予測器選択回路２３から
の予測器選択信号にしたがって、端子２４Ａまたは２４
Ｂのうちの一方を選択し、これにより、フレームメモリ
２１に記憶された画像データを、予測器２５Ａまたは予
測器２５Ｂに供給する。

【００４４】予測器２５Ａおよび２５Ｂは、スイッチ２
４を介して供給される画像データを用い、注目画素の予
測値を、所定の予測方式で予測し、予測誤差計算回路２
６に供給する。なお、予測器２５Ａと２５Ｂとは、異な
る予測方式で、注目画素の予測値を予測するようになっ
ている。

【００４５】即ち、予測器２５Ａは、例えば、注目画素
の上に隣接する画素を、注目画素の予測値とする予測方
式で、注目画素を予測する。また、予測器２５Ｂは、例
えば、注目画素の左に隣接する画素を、注目画素の予測
値とする予測方式で、注目画素を予測する。従って、図
３における画素Ｄを注目画素とする場合においては、予
測器２５Ａでは、画素Ｂが、注目画素Ｄの予測値として
求められ、予測器２５Ｂでは、画素Ｃが、注目画素Ｄの
予測値として求められる。

【００４６】予測誤差計算回路２６は、予測器２５Ａま
たは２５Ｂが出力する注目画素の予測値の予測誤差を求
め、予測誤差保存用メモリ２７に供給する。即ち、予測
誤差計算回路２６は、フレームメモリ２１に記憶された
注目画素から、予測器２５Ａまたは２５Ｂが出力する注
目画素の予測値を減算することにより、その予測値の予
測誤差を求め、予測誤差保存用メモリ２７に供給する。

【００４７】予測誤差保存用メモリ２７は、予測誤差計
算回路２６から供給される注目画素の予測値の予測誤差
を、例えば、その注目画素の位置に対応するアドレスに
記憶する。

【００４８】エントロピー符号化回路２８は、予測誤差
保存用メモリ２７に、例えば、１フレーム分の予測誤差
が記憶されると、その１フレーム分の予測誤差を読み出
して、例えば、ハフマン符号化等のエントロピー符号化
し、その符号化結果を、符号化データとして出力する。

【００４９】次に、注目画素への埋め込みの可否と、注
目画素の予測方式の選択との関係について説明する。

【００５０】上述したように、本実施の形態では、埋め
込み判定回路２２において、注目画素Ｄの画素値が、そ
の上に隣接する画素Ｂの画素値と、その左に隣接する画
素Ｃの画素値との間に存在するかどうかが判定され、存
在する場合には、注目画素Ｄへの埋め込みが可能である
と判定され、存在しない場合には、注目画素Ｄへの埋め
込みが不可であると判定される。

【００５１】従って、図４（Ａ）に示すように、画素値
ＢがＣより大である場合（画素値ＣがＢより小である場
合）において、注目画素Ｄの画素値が、画素値Ｃよりも
大きく、かつ画素値Ｂよりも小さいときには、注目画素
Ｄへの埋め込みが可能であり、このように、埋め込みが
可能である場合には、予測器選択回路２３において、上
述したように、注目画素を予測する予測方式が、そこに
埋め込む付加情報に基づいて選択される。即ち、この場
合、注目画素の予測値を、予測器２４Ａまたは２５Ｂの
うちのいずれで求めるかが、付加情報に基づいて選択さ
れる。

【００５２】いま、１の画素に対して、１ビットの付加
情報を埋め込むものとし、例えば、その１ビットの付加
情報が０であるときには予測器２５Ａを、１であるとき
には予測器２５Ｂを、それぞれ選択するものとすると、
予測器選択回路２３は、付加情報が０である場合には、
予測器２５Ａが接続されている端子２４Ａの選択を指示
する予測器選択信号を、スイッチ２４に出力する。

【００５３】これにより、スイッチ２４は、端子２４Ａ
を選択し、予測器２５Ａは、スイッチ２４を介して、フ
レームメモリ２１から、注目画素Ｄの上に隣接する画素
Ｂを読み出す。そして、予測器２５Ａは、この画素Ｂ
を、注目画素Ｄの予測値として、予測誤差計算回路２６
に出力する。その結果、予測誤差計算回路２６では、注
目画素Ｄの画素値から、予測値Ｂを減算したＤ−Ｂが、
予測誤差として求められ、予測誤差保存用メモリ２７に
供給される。

【００５４】一方、予測器選択回路２３は、付加情報が
１である場合には、予測器２５Ｂが接続されている端子
２４Ｂの選択を指示する予測器選択信号を、スイッチ２
４に出力する。

【００５５】これにより、スイッチ２４は、端子２４Ｂ
を選択し、予測器２５Ｂは、スイッチ２４を介して、フ
レームメモリ２１から、注目画素Ｄの左に隣接する画素
Ｃを読み出す。そして、予測器２５Ｂは、この画素Ｃ
を、注目画素Ｄの予測値として、予測誤差計算回路２６
に出力する。その結果、予測誤差計算回路２６では、注
目画素Ｄの画素値から、予測値Ｃを減算したＤ−Ｃが、
予測誤差として求められ、予測誤差保存用メモリ２７に
供給される。

【００５６】また、図４（Ｂ）に示すように、画素値Ｃ
がＢより大である場合（画素値ＢがＣより小である場
合）において、注目画素Ｄの画素値が、画素値Ｂよりも
大きく、かつ画素値Ｃよりも小さいときにも、注目画素
Ｄへの埋め込みが可能であり、この場合も、上述した場
合と同様の処理が行われる。

【００５７】即ち、付加情報が０である場合には、予測
器選択回路２３は、予測器２５Ａが接続されている端子
２４Ａの選択を指示する予測器選択信号を、スイッチ２
４に出力し、スイッチ２４に端子２４Ａを選択させる。
この場合、予測器２５Ａは、スイッチ２４を介して、フ
レームメモリ２１から、注目画素Ｄの上に隣接する画素
Ｂを読み出し、注目画素Ｄの予測値として、予測誤差計
算回路２６に出力する。その結果、予測誤差計算回路２
６では、注目画素Ｄの画素値から、予測値Ｂを減算した
Ｄ−Ｂが、予測誤差として求められ、予測誤差保存用メ
モリ２７に供給される。

【００５８】一方、付加情報が１である場合には、予測
器選択回路２３は、予測器２５Ｂが接続されている端子
２４Ｂの選択を指示する予測器選択信号を、スイッチ２
４に出力し、スイッチ２４に端子２４Ｂを選択させる。
この場合、予測器２５Ｂは、スイッチ２４を介して、フ
レームメモリ２１から、注目画素Ｄの左に隣接する画素
Ｃを読み出し、注目画素Ｄの予測値として、予測誤差計
算回路２６に出力する。その結果、予測誤差計算回路２
６では、注目画素Ｄの画素値から、予測値Ｃを減算した
Ｄ−Ｃが、予測誤差として求められ、予測誤差保存用メ
モリ２７に供給される。

【００５９】以上は、注目画素への埋め込みが可能であ
る場合の予測方式の選択方法であるが、注目画素への埋
め込みが不可である場合には、予測方式は、次のように
選択される。

【００６０】即ち、注目画素Ｄの画素値が、その上に隣
接する画素Ｂの画素値と、その左に隣接する画素Ｃの画
素値との間に存在しない場合には、埋め込み判定回路２
２において、注目画素Ｄへの埋め込みが不可であると判
定される。従って、例えば、図５（Ａ）に示すように、
画素値ＢがＣより大の場合において、注目画素Ｄの画素
値がＢより大きいときや、図５（Ｂ）に示すように、画
素値ＣがＢより大の場合において、注目画素Ｄの画素値
がＣより大きいとき等には、埋め込み不可と判定され
る。

【００６１】埋め込みが不可の場合には、予測器選択回
路２３において、上述したように、注目画素を予測する
予測方式が、フレームメモリ２１に記憶された注目画素
Ｄ、並びにその上に隣接する画素Ｂおよびその左に隣接
する画素Ｃの画素値の大小関係に基づいて選択される。
即ち、この場合、予測器選択回路２３は、例えば、予測
誤差（の大きさ）がより大きくなる予測方式を選択す
る。

【００６２】従って、例えば、図５（Ａ）に示す場合に
おいては、注目画素Ｄの予測値をＢとするよりも、Ｃと
した方が、予測誤差が大きいので、予測器選択回路２３
は、注目画素Ｄの予測値を、その左に隣接する画素Ｃと
する予測方式を選択し、そのような予測方式で予測を行
う予測器２５Ｂに接続されている端子２４Ｂの選択を指
示する予測器選択信号を、スイッチ２４に出力する。

【００６３】これにより、スイッチ２４は、端子２４Ｂ
を選択し、予測器２５Ｂは、スイッチ２４を介して、フ
レームメモリ２１から、注目画素Ｄの左に隣接する画素
Ｃを読み出す。そして、予測器２５Ｂは、この画素Ｃ
を、注目画素Ｄの予測値として、予測誤差計算回路２６
に出力する。その結果、予測誤差計算回路２６では、注
目画素Ｄの画素値から、予測値Ｃを減算したＤ−Ｃが、
予測誤差として求められ、予測誤差保存用メモリ２７に
供給される。

【００６４】また、例えば、図５（Ｂ）に示す場合にお
いては、注目画素Ｄの予測値をＣとするよりも、Ｂとし
た方が、予測誤差が大きいので、予測器選択回路２３
は、注目画素Ｄの予測値を、その上に隣接する画素Ｂと
する予測方式を選択し、そのような予測方式で予測を行
う予測器２５Ａに接続されている端子２４Ａの選択を指
示する予測器選択信号を、スイッチ２４に出力する。

【００６５】これにより、スイッチ２４は、端子２４Ａ
を選択し、予測器２５Ａは、スイッチ２４を介して、フ
レームメモリ２１から、注目画素Ｄの上に隣接する画素
Ｂを読み出す。そして、予測器２５Ａは、この画素Ｂ
を、注目画素Ｄの予測値として、予測誤差計算回路２６
に出力する。その結果、予測誤差計算回路２６では、注
目画素Ｄの画素値から、予測値Ｂを減算したＤ−Ｂが、
予測誤差として求められ、予測誤差保存用メモリ２７に
供給される。

【００６６】次に、図６のフローチャートを参照して、
図２の埋め込み圧縮符号化器１１の処理について説明す
る。

【００６７】符号化対象の画像データは、例えば、１フ
レーム単位で、フレームメモリ２１に、順次供給されて
記憶される。

【００６８】そして、ある１フレームの画像データが、
フレームメモリ２１に記憶されると、ステップＳ１にお
いて、フレームメモリ２１に記憶された画像データを構
成する画素のうち、ラスタスキャン順で、まだ注目画素
とされていないものが、注目画素として選択される。

【００６９】以上のようにして、注目画素が選択された
後は、ステップＳ２に進み、埋め込み判定回路２２、予
測器選択回路２３、予測器２５Ａ，２５Ｂ、および予測
誤差計算回路２６において、注目画素を対象に、後述す
るような埋め込み圧縮処理が行われ、これにより得られ
る、注目画素についての予測誤差（注目画素の予測値の
予測誤差）が、予測誤差計算回路２６から予測誤差保存
用メモリ２７に供給されて記憶される。

【００７０】そして、ステップＳ３に進み、フレームメ
モリ２１に記憶された１フレームの画像データを構成す
るすべての画素を注目画素として処理を行ったかどうか
が判定される。ステップＳ３において、まだ、すべての
画素を注目画素としていないと判定された場合、ステッ
プＳ１に戻り、以下、同様の処理が繰り返される。

【００７１】また、ステップＳ３において、すべての画
素を注目画素としたと判定された場合、即ち、予測誤差
保存用メモリ２７に、１フレーム分の予測誤差が記憶さ
れた場合、ステップＳ４に進み、エントロピー符号化回
路２８は、予測誤差保存用メモリ２７に記憶された１フ
レーム分の予測誤差を読み出し、エントロピー符号化す
る。さらに、エントロピー符号化回路２８は、ステップ
Ｓ５において、その結果得られる符号化データを出力
し、処理を終了する。

【００７２】なお、図６の処理は、例えば、フレームメ
モリ２１に１フレームの画像データが記憶されるごとに
行われる。

【００７３】次に、図７のフローチャートを参照して、
図６のステップＳ２における埋め込み圧縮処理について
説明する。

【００７４】埋め込み圧縮処理では、まず最初に、ステ
ップＳ１１において、埋め込み判定回路２２は、注目画
素への埋め込みの可否を判定する。ステップＳ１１にお
いて、注目画素への埋め込みが可能であると判定された
場合、埋め込み判定回路２２は、その旨の埋め込み判定
信号を、予測器選択回路２３に出力し、ステップＳ１２
に進む。

【００７５】ステップＳ１２では、予測器選択回路２３
は、注目画素に埋め込む付加情報に基づいて、予測方式
を選択し、その選択結果としての予測器選択信号を、ス
イッチ２４に出力する。これにより、スイッチ２４で
は、端子２４Ａまたは２４Ｂのうちの、選択された予測
方式（以下、適宜、選択予測方式という）で予測を行う
予測器が接続された方が選択される。

【００７６】そして、ステップＳ１３に進み、予測器２
５Ａまたは２５Ｂのうちの、選択予測方式で予測を行う
予測器（以下、適宜、選択予測器という）において、注
目画素の予測値が、選択予測方式にしたがって求めら
れ、その予測値が、予測誤差計算回路２６に出力され
る。

【００７７】予測誤差計算回路２６は、ステップＳ１４
において、選択予測器からの予測値の予測誤差を求め、
予測誤差保存用メモリ２７に供給して記憶させ、リター
ンする。

【００７８】一方、ステップＳ１１において、注目画素
への埋め込みが不可であると判定された場合、埋め込み
判定回路２２は、その旨の埋め込み判定信号を、予測器
選択回路２３に出力し、ステップＳ１５に進む。

【００７９】ステップＳ１５では、予測器選択回路２３
は、注目画素と、その予測に用いる画素に基づいて、注
目画素を予測する予測方式を選択する。即ち、予測器選
択回路２３は、図３に示したように、注目画素Ｄに対し
て、その上に隣接する画素Ｂ、またはその左に隣接する
画素Ｃを予測値とする予測方式のうち、予測誤差が大き
くなる方の予測方式を選択し、その選択結果としての予
測器選択信号を、スイッチ２４に出力する。これによ
り、スイッチ２４では、端子２４Ａまたは２４Ｂのうち
の、選択された予測方式（選択予測方式）で予測を行う
予測器が接続された方が選択される。

【００８０】そして、ステップＳ１６に進み、予測器２
５Ａまたは２５Ｂのうちの、選択予測方式で予測を行う
予測器（選択予測器）において、注目画素の予測値が、
選択予測方式にしたがって求められ、その予測値が、予
測誤差計算回路２６に出力される。

【００８１】予測誤差計算回路２６は、ステップＳ１７
において、選択予測器からの予測値の予測誤差を求め、
予測誤差保存用メモリ２７に供給して記憶させ、リター
ンする。

【００８２】次に、図８のフローチャートを参照して、
図３における画素Ｄを注目画素とした場合の、図６のス
テップＳ２における埋め込み圧縮処理について、さらに
説明する。

【００８３】埋め込み圧縮処理では、まず最初に、ステ
ップＳ２１において、埋め込み判定回路２２は、注目画
素Ｄ、その上に隣接する画素Ｂ、その左に隣接する画素
Ｃの大小関係を判定することにより、注目画素への埋め
込みの可否を判定する。なお、ステップＳ２１の処理
は、図７のステップＳ１１の処理に対応する。

【００８４】ステップＳ１１において、画素値Ｂ，Ｃ，
Ｄの大小関係として、式Ｂ＜Ｄ＜ＣまたはＣ＜Ｄ＜Ｂが
成り立つと判定された場合、埋め込み判定回路２２は、
注目画素Ｄへの埋め込みが可能である旨の埋め込み判定
信号を、予測器選択回路２３に出力し、ステップＳ２２
に進む。

【００８５】ステップＳ２２では、予測器選択回路２３
は、注目画素Ｄに埋め込む付加情報が０または１のうち
のいずれであるかを判定し、１であると判定した場合、
ステップＳ２３に進み、予測器選択回路２３は、画素Ｃ
を予測値とする予測方式を選択し、その旨の予測器選択
信号を、スイッチ２４に出力する。即ち、本実施の形態
では、画素Ｃを予測値とする予測方式による予測は、予
測器２５Ｂにおいて行われるので、いまの場合、予測器
選択回路２３からスイッチ２４に対しては、予測器２５
Ｂに接続されている端子２４Ｂの選択を指令する予測器
選択信号が供給される。なお、ステップＳ２２およびＳ
２３の処理は、図７のステップＳ１２の処理に対応す
る。

【００８６】スイッチ２４は、予測器選択回路２３から
の予測器選択信号にしたがって、端子２４Ｂを選択し、
これにより、予測器２５Ｂは、ステップＳ２４におい
て、フレームメモリ２１から、スイッチ２４を介して、
画素Ｃを読み出し、これを、注目画素Ｄの予測値とし
て、予測誤差計算回路２６に出力する。なお、ステップ
Ｓ２４の処理は、図７のステップＳ１３の処理に対応す
る。

【００８７】予測誤差計算回路２６は、ステップＳ２５
において、予測器２５Ｂからの予測値Ｃの予測誤差Ｄ−
Ｃを求め、予測誤差保存用メモリ２７に供給し、リター
ンする。なお、ステップＳ２４の処理は、図７のステッ
プＳ１４の処理に対応する。

【００８８】一方、ステップＳ２２において、注目画素
Ｄに埋め込む付加情報が０であると判定された場合、ス
テップＳ２６に進み、予測器選択回路２３は、画素Ｂを
予測値とする予測方式を選択し、その旨の予測器選択信
号を、スイッチ２４に出力する。即ち、本実施の形態で
は、画素Ｂを予測値とする予測方式による予測は、予測
器２５Ａにおいて行われるので、いまの場合、予測器選
択回路２３からスイッチ２４に対しては、予測器２５Ａ
に接続されている端子２４Ａの選択を指令する予測器選
択信号が供給される。なお、ステップＳ２２およびＳ２
６の処理は、図７のステップＳ１２の処理に対応する。

【００８９】スイッチ２４は、予測器選択回路２３から
の予測器選択信号にしたがって、端子２４Ａを選択し、
これにより、予測器２５Ａは、ステップＳ２７におい
て、フレームメモリ２１から、スイッチ２４を介して、
画素Ｂを読み出し、これを、注目画素Ｄの予測値とし
て、予測誤差計算回路２６に出力する。なお、ステップ
Ｓ２７の処理は、図７のステップＳ１３の処理に対応す
る。

【００９０】予測誤差計算回路２６は、ステップＳ２８
において、予測器２５Ａからの予測値Ｂの予測誤差Ｄ−
Ｂを求め、予測誤差保存用メモリ２７に供給し、リター
ンする。なお、ステップＳ２８の処理は、図７のステッ
プＳ１４の処理に対応する。

【００９１】一方、ステップＳ２１において、画素値
Ｂ，Ｃ，Ｄの大小関係として、式Ｂ＜Ｄ＜ＣおよびＣ＜
Ｄ＜Ｂのいずれも成り立たないと判定された場合、即
ち、式Ｂ≦Ｃ≦Ｄ，Ｄ≦Ｃ≦Ｂ，Ｃ＜Ｂ≦Ｄ、またはＤ
≦Ｂ＜Ｃのうちのいずれかが成り立つ場合、埋め込み判
定回路２２は、注目画素Ｄへの埋め込みが不可である旨
の埋め込み判定信号を、予測器選択回路２３に出力し、
ステップＳ２９に進む。

【００９２】ステップＳ２９では、予測器選択回路２３
は、フレームメモリ２１から、画素Ｂ，Ｃ，Ｄを読み出
し、それらの画素値の大小関係を判定する。

【００９３】ステップＳ２９において、画素値Ｂ，Ｃ，
Ｄの大小関係として、式Ｂ≦Ｃ≦ＤまたはＤ≦Ｃ≦Ｂが
成り立つと判定された場合、ステップＳ３０に進み、予
測器選択回路２３は、画素Ｂを予測値とする予測方式を
選択し、その旨の予測器選択信号を、スイッチ２４に出
力する。従って、この場合、ステップＳ２６における場
合と同様に、スイッチ２４は、端子２４Ａを選択する。
なお、ステップＳ２９およびＳ３０の処理は、図７のス
テップＳ１５の処理に対応する。

【００９４】ここで、上述したように、注目画素への埋
め込みが不可の場合には、注目画素の予測方式として、
予測誤差を大きくするものが選択される。式Ｂ≦Ｃ≦Ｄ
またはＤ≦Ｃ≦Ｂが成り立つ場合には、画素ＢまたはＣ
をそれぞれ予測値とする予測方式のうち、予測誤差が大
きくなるのは、画素Ｂを予測値とする予測方式であるか
ら、ステップＳ３０では、そのような予測方式が選択さ
れる。

【００９５】スイッチ２４が、端子２４Ａを選択する
と、予測器２５Ａは、ステップＳ３１において、フレー
ムメモリ２１から、スイッチ２４を介して、画素Ｂを読
み出し、これを、注目画素Ｄの予測値として、予測誤差
計算回路２６に出力する。なお、ステップＳ３１の処理
は、図７のステップＳ１６の処理に対応する。

【００９６】予測誤差計算回路２６は、ステップＳ３２
において、予測器２５Ａからの予測値Ｂの予測誤差Ｄ−
Ｂを求め、予測誤差保存用メモリ２７に供給し、リター
ンする。なお、ステップＳ３２の処理は、図７のステッ
プＳ１７の処理に対応する。

【００９７】一方、ステップＳ２９において、画素値
Ｂ，Ｃ，Ｄの大小関係として、式Ｃ＜Ｂ≦ＤまたはＤ≦
Ｂ＜Ｃが成り立つと判定された場合、ステップＳ３３に
進み、予測器選択回路２３は、画素Ｃを予測値とする予
測方式を選択し、その旨の予測器選択信号を、スイッチ
２４に出力する。従って、この場合、ステップＳ２３に
おける場合と同様に、スイッチ２４は、端子２４Ｂを選
択する。なお、ステップＳ２９およびＳ３３の処理は、
図７のステップＳ１５の処理に対応する。

【００９８】ここで、上述したように、注目画素への埋
め込みが不可の場合には、注目画素の予測方式として、
予測誤差を大きくするものが選択される。式Ｃ＜Ｂ≦Ｄ
またはＤ≦Ｂ＜Ｃが成り立つ場合には、画素ＢまたはＣ
をそれぞれ予測値とする予測方式のうち、予測誤差が大
きくなるのは、画素Ｃを予測値とする予測方式であるか
ら、ステップＳ３３では、そのような予測方式が選択さ
れる。

【００９９】スイッチ２４が、端子２４Ｂを選択する
と、予測器２５Ｂは、ステップＳ３４において、フレー
ムメモリ２１から、スイッチ２４を介して、画素Ｃを読
み出し、これを、注目画素Ｄの予測値として、予測誤差
計算回路２６に出力する。なお、ステップＳ３４の処理
は、図７のステップＳ１６の処理に対応する。

【０１００】予測誤差計算回路２６は、ステップＳ３５
において、予測器２５Ｂからの予測値Ｃの予測誤差Ｄ−
Ｃを求め、予測誤差保存用メモリ２７に供給し、リター
ンする。なお、ステップＳ３５の処理は、図７のステッ
プＳ１７の処理に対応する。

【０１０１】ここで、図９に、画素値Ｂ，Ｃ，Ｄの大小
関係に基づく、埋め込み圧縮処理のルールを示す。

【０１０２】なお、上述の場合には、画素（の画素値）
ＢとＣとが一致している場合には、埋め込みを行わない
こととしたが、画素ＢとＣとが一致している場合には、
図３に示すように、注目画素Ｄの左上の画素Ａを利用し
て、注目画素Ｄに、付加情報を埋め込むようにすること
も可能である。この場合の埋め込み圧縮処理のルール
を、図１０に示す。

【０１０３】ここで、図１０では、Ｂ＝Ｃの場合に、画
素ＡまたはＢを、注目画素Ｄの予測値として用いるよう
にしているが、ＢとＣとは等しいから、注目画素Ｄの予
測としては、画素ＡまたはＣを用いることも可能であ
る。

【０１０４】次に、図１１は、図１の復号器１２の構成
例を示している。

【０１０５】埋め込み圧縮符号化器１１が出力し、記録
媒体３または伝送媒体４を介して供給される符号化デー
タは、フレームメモリ３１に入力され、フレームメモリ
３１は、そこに入力される符号化データを、例えば、１
フレーム単位で順次記憶する。

【０１０６】エントロピー復号回路３２は、フレームメ
モリ３１に記憶された符号化データを、順次読み出して
エントロピー復号し、これにより、符号化データを、予
測誤差に復号する。この予測誤差は、埋め込み判定回路
３３および画素値／付加情報計算回路３４に供給され
る。

【０１０７】埋め込み判定回路３３は、エントロピー復
号回路３２からの予測誤差を画素値とする画素に、付加
情報が埋め込まれているかどうかを判定する。即ち、埋
め込み判定回路３３は、エントロピー復号回路３２が出
力する予測誤差でなる画像（以下、適宜、予測誤差画像
という）を構成する画素を、例えば、ラスタスキャン順
に、順次、注目画素とし、その注目画素に、付加情報が
埋め込まれているかどうかを、その注目画素の画素値、
および復号画像用メモリ３５に記憶された、既に復号さ
れた画素の画素値に基づいて判定する。

【０１０８】具体的には、例えば、いま、図１２に示す
ように、予測誤差画像を構成する、ある画素ｄが注目画
素である場合には、埋め込み判定回路３３は、その注目
画素ｄの上に隣接する、既に復号された画素Ｂと、下に
隣接する、既に復号された画素Ｃを、復号画像用メモリ
３５から読み出す。なお、ここでは、ラスタスキャン順
に、画素の復号が行われるので、注目画素の上や左にあ
る画素は、既に復号されている。そして、埋め込み判定
回路３３は、これらの画素値ＢおよびＣ、並びに注目画
素の画素値ｄに基づいて、注目画素への付加情報の埋め
込みの有無を判定する。

【０１０９】即ち、注目画素の元の画素値をＤとする
と、注目画素については、上述したように、その画素値
Ｄが、その上に隣接する画素Ｂの画素値と、その左に隣
接する画素Ｃの画素値との間に存在する場合に、付加情
報の埋め込みが行われ、存在しない場合には、付加情報
の埋め込みが行われない。

【０１１０】従って、注目画素に付加情報が埋め込まれ
ている場合には、その画素値ｄの大きさ｜ｄ｜が、画素
値ＢとＣとの差分の大きさ｜Ｂ−Ｃ｜の範囲内にあるは
ずである。そこで、埋め込み判定回路３３は、画素値ｄ
の大きさ｜ｄ｜が、画素値ＢとＣとの差分の大きさ｜Ｂ
−Ｃ｜の範囲内にあるかどうかを判定し、ある場合に
は、注目画素ｄへの埋め込みが行われていると判定し、
ない場合には、注目画素ｄへの埋め込みが行われていな
いと判定する。この埋め込み判定回路３３による注目画
素への埋め込みの有無の判定結果は、埋め込み判定信号
として、画素値／付加情報計算回路３４に供給されるよ
うになっている。

【０１１１】画素値／付加情報計算回路３４は、埋め込
み判定回路３３から、注目画素への埋め込みが行われて
いる旨の埋め込み判定信号を受信した場合、その注目画
素を予測した予測方式を、注目画素の画素値、および復
号画像用メモリ３５に記憶された、既に復号された画素
の画素値に基づいて判定するとともに、注目画素を復号
する。

【０１１２】即ち、画素値／付加情報計算回路３４は、
注目画素（予測誤差）ｄの上に隣接する、既に復号され
た画素Ｂと、左に隣接する、既に復号された画素Ｃを、
復号画像用メモリ３５から読み出し、それぞれを注目画
素の予測値とする予測方式にしたがって、注目画素ｄを
復号する。具体的には、画素値Ｂと、予測誤差である注
目画素の画素値ｄとが加算されることにより、画素値Ｂ
を予測値とする予測方式による復号が行われるととも
に、画素値Ｃと、予測誤差である注目画素の画素値ｄと
が加算されることにより、画素値Ｃを予測値とする予測
方式による復号が行われる。

【０１１３】画素値／付加情報計算回路３４は、画素値
Ｂと予測誤差ｄとの加算値Ｂ＋ｄ、および画素値Ｃと予
測誤差ｄとの加算値Ｃ＋ｄを求めると、その２つの加算
値Ｂ＋ｄとＣ＋ｄのうち、画素値ＢとＣとの間に存在す
る方を選択し、その選択した加算値を、注目画素の復号
結果として、復号画像用メモリ３５に出力する。

【０１１４】即ち、注目画素に付加情報が埋め込まれて
いる場合には、上述したことから、注目画素の元の画素
値が、画素値ＢとＣとの間に存在するはずであり、この
ため、画素値／付加情報計算回路３４は、加算値Ｂ＋ｄ
とＣ＋ｄのうち、画素値ＢとＣとの間に存在する方を選
択し、その選択した加算値を、注目画素の復号結果とす
る。

【０１１５】さらに、画素値／付加情報計算回路３４
は、加算値Ｂ＋ｄとＣ＋ｄのうち、加算値Ｂ＋ｄを復号
結果とした場合、予測方式が、画素値Ｂを予測値とする
ものであると認識する。また、画素値／付加情報計算回
路３４は、加算値Ｂ＋ｄとＣ＋ｄのうち、加算値Ｃ＋ｄ
を復号結果とした場合、予測方式が、画素値Ｃを予測値
とするものであると認識する。そして、画素値／付加情
報計算回路３４は、予測方式の認識結果に基づいて、注
目画素に埋め込まれていた付加情報を復号する。

【０１１６】即ち、上述したように、埋め込み圧縮符号
化器１１では、付加情報が０の場合には、画素Ｂを、注
目画素の予測値とする予測方式が用いられ、付加情報が
１の場合には、画素値Ｃを、注目画素の予測値とする予
測方式が用いられる。そこで、画素値／付加情報計算回
路３４は、予測方式が、画素値Ｂを予測値とするもので
ある旨の認識結果が得られた場合には、付加情報として
０を復号し、予測方式が、画素値Ｃを予測値とするもの
である旨の認識結果が得られた場合には、付加情報とし
て１を復号して、付加情報用メモリ３６に供給する。

【０１１７】従って、予測誤差ｄ、並びに画素値Ｂおよ
びＣの関係が、例えば、図１３（Ａ）に示すように、式
Ｃ＜Ｂ＋ｄ＜Ｂで表される場合には、Ｂ＋ｄが注目画素
の画素値として復号されるとともに、付加情報として０
が復号される。また、予測誤差ｄ、並びに画素値Ｂおよ
びＣの関係が、例えば、図１３（Ｂ）に示すように、式
Ｃ＜Ｃ＋ｄ＜Ｂで表される場合には、Ｃ＋ｄが注目画素
の画素値として復号されるとともに、付加情報として１
が復号される。

【０１１８】一方、画素値／付加情報計算回路３４は、
埋め込み判定回路３３から、注目画素への埋め込みが行
われていない旨の埋め込み判定信号を受信した場合、そ
の注目画素を、その画素値、および復号画像用メモリ３
５に記憶された、既に復号された画素の画素値に基づい
て復号する。

【０１１９】即ち、上述したように、注目画素の画素値
（予測誤差）ｄの大きさ｜ｄ｜が、画素値ＢとＣとの差
分の大きさ｜Ｂ−Ｃ｜の範囲内にない場合には、その注
目画素には、付加情報は埋め込まれていない。さらに、
注目画素に付加情報が埋め込まれていない場合には、埋
め込み圧縮符号化器１１において、その注目画素は、画
素値ＢとＣをそれぞれ予測値とする予測方式のうち、予
測誤差（の大きさ）がより大きくなる方で予測されてい
るはずである。そこで、画素値／付加情報計算回路３４
は、上述のような予測方式の選択条件に合致するよう
に、注目画素を復号する。

【０１２０】具体的には、例えば、図１４に示すよう
に、式Ｃ＜Ｂ＜Ｃ＋ｄが成り立つ場合においては、注目
画素ｄが、画素値Ｂを予測値として予測されているとす
ると、その復号結果は、Ｄ’＝Ｂ＋ｄとなる。しかしな
がら、Ｄ’が、注目画素の正しい復号結果であるとする
と、画素値ＢとＣをそれぞれ予測値とする予測方式のう
ち、予測誤差がより大きくなる方で予測するという予測
方式の選択条件に反する。即ち、Ｄ’を、注目画素の復
号結果とするのであれば、注目画素は、予測誤差が大き
くなる、画素値Ｃを予測値として予測されているはずで
あり、画素値Ｂを予測値として復号した復号結果Ｄ’
は、正しい復号結果でないということになる。

【０１２１】そこで、画素値／付加情報計算回路３４
は、注目画素ｄが、画素値Ｃを予測値として予測されて
いるとして、注目画素を、Ｄ＝Ｃ＋ｄに復号する。この
場合、画素値ＢとＣをそれぞれ予測値とする予測方式の
うち、予測誤差がより大きくなる方で予測するという予
測方式の選択条件に合致するから、画素値／付加情報計
算回路３４は、Ｄを、注目画素の復号結果として、復号
画像用メモリ３５に出力する。

【０１２２】復号画像用メモリ３５は、画素値／付加情
報計算回路３４が出力する注目画素の復号結果（復号画
素値）を、例えば、その注目画素の位置に対応するアド
レスに一時記憶する。付加情報用メモリ３６は、画素値
／付加情報計算回路３４が出力する付加情報の復号結果
（復号付加情報）を一時記憶する。

【０１２３】次に、図１５のフローチャートを参照し
て、図１１の復号器１２の処理について説明する。

【０１２４】符号化データは、例えば、１フレーム単位
で、フレームメモリ３１に、順次供給されて記憶され
る。

【０１２５】そして、ある１フレームの符号化データ
が、フレームメモリ３１に記憶されると、ステップＳ４
１において、エントロピー復号回路３２は、フレームメ
モリ４１に記憶された１フレームの符号化データをエン
トロピー復号し、予測誤差でなる予測誤差画像に変換す
る。さらに、ステップＳ４２に進み、予測誤差画像を構
成する画素のうち、ラスタスキャン順で、まだ注目画素
とされていないものが、注目画素として選択される。

【０１２６】その後、ステップＳ４３に進み、埋め込み
判定回路３３および画素値／付加情報計算回路３４にお
いて、注目画素を復号するとともに、その注目画素に付
加情報が埋め込まれている場合には、その付加情報を復
号（抽出）する付加情報抽出／画素復号処理が行われ、
その結果得られる注目画素の復号結果が、画素値／付加
情報計算回路３４から復号画像用メモリ３５に供給され
て記憶される。さらに、ステップＳ４３において付加情
報の復号結果が得られる場合には、その復号結果が、画
素値／付加情報計算回路３４から付加情報用メモリ３６
に供給されて記憶される。

【０１２７】そして、ステップＳ４４に進み、エントロ
ピー復号回路３２で復号された１フレームの予測誤差画
像を構成するすべての画素を注目画素として処理を行っ
たかどうかが判定される。ステップＳ４４において、ま
だ、すべての画素を注目画素としていないと判定された
場合、ステップＳ４２に戻り、以下、同様の処理が繰り
返される。

【０１２８】また、ステップＳ４４において、すべての
画素を注目画素としたと判定された場合、即ち、復号画
像用メモリ３５に、１フレームの復号画像が記憶される
とともに、付加情報用メモリ３６に、その１フレームの
復号画像に埋め込まれていた付加情報が記憶された場
合、ステップＳ４５に進み、復号画像用メモリ３５から
復号画像が読み出されて出力されるとともに、付加情報
用メモリ３６から付加情報が読み出されて出力され、処
理を終了する。

【０１２９】なお、図１５の処理は、例えば、フレーム
メモリ３１に１フレームの符号化データが記憶されるご
とに行われる。

【０１３０】次に、図１６のフローチャートを参照し
て、図１５のステップＳ４３における付加情報抽出／画
素復号処理について説明する。

【０１３１】付加情報抽出／画素復号処理では、まず最
初に、ステップＳ５１において、埋め込み判定回路３３
は、注目画素に対する付加情報の埋め込みの有無を判定
する。ステップＳ５１において、注目画素に付加情報が
埋め込まれていると判定された場合、埋め込み判定回路
３３は、その旨の埋め込み判定信号を、画素値／付加情
報計算回路３４に出力し、ステップＳ５２に進む。

【０１３２】ステップＳ５２では、画素値／付加情報計
算回路３４は、注目画素の画素値である予測誤差、およ
びその注目画素の左または上にそれぞれ隣接する、既に
復号され、復号画像用メモリ３５に記憶されている画素
の画素値に基づいて、注目画素の予測に用いられた予測
方式を認識する。

【０１３３】ここで、本実施の形態では、ラインスキャ
ン順に処理を行うので、上述したように、注目画素の上
や左にある画素は、既に復号されている。また、この場
合、注目画素が、１フレームの最も上の行の画素である
ときや、最も左の列の画素であるときには、その上や左
に隣接する画素が存在しないこととなるが、このような
ときは、復号器１２において、例えば、注目画素の上や
左に、画素値が０の画素、あるいは注目画素と同一の画
素が存在するものとして処理を行うこととする。埋め込
み圧縮符号化器１１においても同様とする。

【０１３４】画素値／付加情報計算回路３４は、予測方
式を認識した後、ステップＳ５２からＳ５３に進み、そ
の認識した予測方式（以下、適宜、認識予測方式とい
う）に基づいて、注目画素を復号するとともに、そこに
埋め込まれていた付加情報を復号し、リターンする。

【０１３５】一方、ステップＳ５１において、注目画素
に付加情報が埋め込まれていないと判定された場合、埋
め込み判定回路３３は、その旨の埋め込み判定信号を、
画素値／付加情報計算回路３４に出力し、ステップＳ５
４に進む。

【０１３６】ステップＳ５４では、画素値／付加情報計
算回路３４は、注目画素の画素値である予測誤差、およ
びその注目画素の左または上にそれぞれ隣接する、既に
復号され、復号画像用メモリ３５に記憶されている画素
の画素値に基づいて、注目画素の予測に用いられた予測
方式を認識し、ステップＳ５５に進む。

【０１３７】ステップＳ５５では、画素値／付加情報計
算回路３４は、ステップＳ５４で認識した予測方式（認
識予測方式）に基づいて、注目画素を復号し、リターン
する。

【０１３８】次に、図１７のフローチャートを参照し
て、図１２における画素（予測誤差）ｄを注目画素とし
た場合の、図１５のステップＳ４３における付加情報抽
出／画素復号処理について、さらに説明する。

【０１３９】付加情報抽出／画素復号処理では、まず最
初に、ステップＳ６１において、埋め込み判定回路３３
は、注目画素ｄ、その上に隣接する、既に復号された画
素Ｂ、その左に隣接する、既に復号された画素Ｃの大小
関係を判定することにより、注目画素ｄへの埋め込みの
有無を判定する。なお、ステップＳ６１の処理は、図１
６のステップＳ５１の処理に対応する。

【０１４０】ステップＳ６１において、画素値Ｂ，Ｃ，
ｄの大小関係として、式Ｂ＜Ｂ＋ｄ＜Ｃ，Ｃ＜Ｂ＋ｄ＜
Ｂ，Ｂ＜Ｃ＋ｄ＜Ｃ、またはＣ＜Ｃ＋ｄ＜Ｂのうちのい
ずれかが成り立つと判定された場合、埋め込み判定回路
３３は、注目画素ｄへの埋め込みが行われている旨の埋
め込み判定信号を、画素値／付加情報計算回路３４に出
力し、ステップＳ６２に進む。

【０１４１】ステップＳ６２では、画素値／付加情報計
算回路３４は、画素値Ｂ，Ｃ，ｄの大小関係を判定し、
これにより、注目画素の予測に用いられた予測方式を認
識する。

【０１４２】即ち、ステップＳ６２において、画素値
Ｂ，Ｃ，ｄの大小関係として、式Ｂ＜Ｂ＋ｄ＜Ｃまたは
Ｃ＜Ｂ＋ｄ＜Ｂのうちのいずれかが成り立つと判定され
た場合、ステップＳ６３に進み、画素値／付加情報計算
回路３４は、画素値Ｂを予測値とする予測方式が用いら
れたことを認識し、ステップＳ６４に進む。なお、ステ
ップＳ６２およびＳ６３の処理は、図１５のステップＳ
５２の処理に対応する。

【０１４３】ステップＳ６４では、画素値／付加情報計
算回路３４は、ステップＳ６３で認識された予測方式
（認識予測方式）に基づき、その認識予測方式で予測値
とされる画素値Ｂに、注目画素の画素値である予測誤差
ｄを加算することで、注目画素の復号結果としての画素
値Ｂ＋ｄを得て、復号画像用メモリ３５に出力する。さ
らに、画素値／付加情報計算回路３４は、認識予測方式
に基づき、付加情報の復号結果として０を得て、付加情
報用メモリ３６に出力し、リターンする。なお、ステッ
プＳ６４の処理は、図１５のステップＳ５３の処理に対
応する。

【０１４４】また、ステップＳ６２において、画素値
Ｂ，Ｃ，ｄの大小関係として、式Ｂ＜Ｃ＋ｄ＜Ｃまたは
Ｃ＜Ｃ＋ｄ＜Ｂのうちのいずれかが成り立つと判定され
た場合、ステップＳ６５に進み、画素値／付加情報計算
回路３４は、画素値Ｃを予測値とする予測方式が用いら
れたことを認識し、ステップＳ６６に進む。なお、ステ
ップＳ６２およびＳ６５の処理は、図１５のステップＳ
５２の処理に対応する。

【０１４５】ステップＳ６６では、画素値／付加情報計
算回路３４は、ステップＳ６５で認識された予測方式
（認識予測方式）に基づき、その認識予測方式で予測値
とされる画素値Ｃに、注目画素の画素値である予測誤差
ｄを加算することで、注目画素の復号結果としての画素
値Ｃ＋ｄを得て、復号画像用メモリ３５に出力する。さ
らに、画素値／付加情報計算回路３４は、認識予測方式
に基づき、付加情報の復号結果として１を得て、付加情
報用メモリ３６に出力し、リターンする。なお、ステッ
プＳ６６の処理は、図１５のステップＳ５３の処理に対
応する。

【０１４６】一方、ステップＳ６１において、画素値
Ｂ，Ｃ，ｄの大小関係として、式Ｂ＜Ｂ＋ｄ＜Ｃ，Ｃ＜
Ｂ＋ｄ＜Ｂ，Ｂ＜Ｃ＋ｄ＜Ｃ、およびＣ＜Ｃ＋ｄ＜Ｂの
うちのいずれも成り立たないと判定された場合、即ち、
式Ｂ≦Ｃ≦Ｂ＋ｄ，Ｂ＋ｄ≦Ｃ＜Ｂ，Ｃ＋ｄ≦Ｂ≦Ｃ、
またはＣ＜Ｂ≦Ｂ＋ｄのうちのいずれかが成り立つ場
合、埋め込み判定回路３３は、注目画素ｄへの埋め込み
が行われていない旨の埋め込み判定信号を、画素値／付
加情報計算回路３４に出力し、ステップＳ６７に進む。

【０１４７】ステップＳ６７では、画素値／付加情報計
算回路３４は、画素値Ｂ，Ｃ，ｄの大小関係を判定する
ことにより、注目画素の予測に用いられた予測方式を認
識する。

【０１４８】ステップＳ６７において、画素値Ｂ，Ｃ，
ｄの大小関係として、式Ｂ≦Ｃ≦Ｂ＋ｄまたはＢ＋ｄ≦
Ｃ＜Ｂのうちのいずれかが成り立つと判定された場合、
ステップＳ６８に進み、画素値／付加情報計算回路３４
は、画素値Ｂを予測値とする予測方式が用いられたこと
を認識し、ステップＳ６９に進む。なお、ステップＳ６
７およびＳ６８の処理は、図１５のステップＳ５４の処
理に対応する。

【０１４９】ステップＳ６９では、画素値／付加情報計
算回路３４は、ステップＳ６８で認識された予測方式
（認識予測方式）に基づき、その認識予測方式で予測値
とされる画素値Ｂに、注目画素の画素値である予測誤差
ｄを加算することで、注目画素の復号結果としての画素
値Ｂ＋ｄを得て、復号画像用メモリ３５に出力し、リタ
ーンする。なお、ステップＳ６９の処理は、図１５のス
テップＳ５５の処理に対応する。

【０１５０】また、ステップＳ６７において、画素値
Ｂ，Ｃ，ｄの大小関係として、式Ｃ＋ｄ≦Ｂ≦Ｃ、また
はＣ＜Ｂ≦Ｂ＋ｄのうちのいずれかが成り立つと判定さ
れた場合、ステップＳ７０に進み、画素値／付加情報計
算回路３４は、画素値Ｃを予測値とする予測方式が用い
られたことを認識し、ステップＳ７１に進む。なお、ス
テップＳ６７およびＳ７０の処理は、図１５のステップ
Ｓ５４の処理に対応する。

【０１５１】ステップＳ７１では、画素値／付加情報計
算回路３４は、ステップＳ７０で認識された予測方式
（認識予測方式）に基づき、その認識予測方式で予測値
とされる画素値Ｃに、注目画素の画素値である予測誤差
ｄを加算することで、注目画素の復号結果としての画素
値Ｃ＋ｄを得て、復号画像用メモリ３５に出力し、リタ
ーンする。なお、ステップＳ７１の処理は、図１５のス
テップＳ５５の処理に対応する。

【０１５２】ここで、図１８に、画素値Ｂ，Ｃ，ｄの大
小関係に基づく、符号化データの復号処理のルールを示
す。

【０１５３】なお、図１０に示したように、画素ＢとＣ
とが一致している場合において、注目画素の左上の画素
Ａを利用して、注目画素に、付加情報を埋め込むように
したときには、画素値および付加情報の復号は、やは
り、その左上の画素Ａを利用して行うことができ、その
場合の復号処理のルールを、図１９に示す。

【０１５４】以上のように、注目画素の予測に用いる予
測方式を、付加情報に基づいて選択し、その選択した予
測方式に基づいて、注目画素を予測して、その予測値の
予測誤差を得るようにしたので、その予測誤差は、上述
のように、その予測に用いられた予測方式を認識するこ
とで、元の画素値と付加情報に復号することができる。
即ち、復号器１２では、符号化データを、復号のための
オーバヘッドなしで、元の画像（画像の劣化のない画
像）および付加情報に復号することができる。なお、こ
のことは、埋め込み圧縮符号化器１１側からすれば、オ
ーバヘッドなしで、完全可逆の圧縮符号化を行うことが
できることになる。

【０１５５】ここで、上述の場合には、注目画素Ｄの予
測値の予測誤差をｄとして、式｜Ｂ−Ｃ｜＞｜ｄ｜が成
り立つ場合にのみ、注目画素Ｄに、付加情報を埋め込む
ようにしたが、式｜Ｂ−Ｃ｜＝｜ｄ｜が成り立つ場合に
も、注目画素Ｄに、付加情報を埋め込むようにすること
が可能である。但し、この場合、注目画素の画素値が、
画素値ＢまたはＣと等しく、かつ、予測誤差ｄが０とな
るときには、復号器１２において、注目画素の予測値と
して、画素値ＢまたはＣのうちのいずれを用いたかの判
定（用いられた予測方式の認識）が困難となる。そこ
で、本実施の形態では、式｜Ｂ−Ｃ｜＝｜ｄ｜が成り立
つ場合には、注目画素への付加情報の埋め込みを行わな
いようにしている。

【０１５６】また、本実施の形態では、注目画素Ｄに、
付加情報を埋め込まない場合には、画素値ＢとＣのう
ち、予測誤差ｄが大きくなる方を、注目画素Ｄの予測値
として用いるようにしたが、これは、次のような理由に
よる。即ち、本実施の形態では、式｜Ｂ−Ｃ｜＞｜ｄ｜
が成り立つ場合にのみ、注目画素Ｄに、付加情報を埋め
込むようにしており、さらに、その埋め込みは、注目画
素Ｄの予測に用いる予測方式を、付加情報に基づいて選
択することによって行われる。従って、付加情報を埋め
込まない場合において、画素値ＢとＣのうち、予測誤差
ｄが小さくなる方を、注目画素Ｄの予測値として用いる
ようにすると、式｜Ｂ−Ｃ｜＞｜ｄ｜が成り立つように
なり、復号器１２において、注目画に対する付加情報の
埋め込みの有無の判定が困難となるからである。

【０１５７】次に、上述の場合には、埋め込み圧縮符号
化器１２において、符号化対象の画像に対して、何らか
の付加情報を埋め込むようにしたが、埋め込み圧縮符号
化器１２においては、図２０に示すように、符号化対象
の画像を、付加情報が埋め込まれる画像（以下、適宜、
基盤画像という）と、その基盤画像に埋め込む埋め込み
対象画像とに分離し、その埋め込み対象画像を圧縮して
付加情報とし、この付加情報を、基盤画像に埋め込ん
で、符号化データとするようにすることが可能である。
そして、この場合、復号器１２においては、図２１に示
すように、符号化データを、元の基盤画像と付加情報に
復号し、さらに、付加情報を、元の埋め込み対象画像に
復号（伸張）して、基盤画像と結合することにより、元
の画像の復号を行うようにすることが可能である。

【０１５８】そこで、図２２は、符号化対象の画像を、
基盤画像と埋め込み対象画像とに分離して、基盤画像
に、埋め込み対象画像を埋め込む場合の、図１の埋め込
み圧縮符号化器１１の構成例を示している。

【０１５９】なお、図中、図２における場合と対応する
部分については、同一の符号を付してあり、以下では、
その説明は、適宜省略する。即ち、図２２の埋め込み圧
縮符号化器１１は、分離回路４１、圧縮器４２、および
付加情報用メモリ４３が新たに設けられている他は、図
２における場合と同様に構成されている。

【０１６０】分離回路４１は、フレームメモリ２１に記
憶された１フレームの画像を、基盤画像と埋め込み対象
画像とに最適に分離する。即ち、分離回路４１は、基盤
画像に対して、埋め込み対象画像を最適に埋め込むこと
ができるように、フレームメモリ２１に記憶された画像
を、圧縮器４２の出力に基づいて、基盤画像と埋め込み
対象画像とに分離する。

【０１６１】ここで、最適な埋め込みとは、基盤画像に
対する、埋め込み対象画像の埋め込みが次のように行わ
れることを意味する。即ち、基盤画像に埋め込むことの
できるデータ量は、その基盤画像を構成する画素数によ
って異なる。また、基盤画像に埋め込む付加情報のデー
タ量は、埋め込み対象画像が、圧縮器４２で、どの程度
圧縮されるかによって異なる。そこで、最適な埋め込み
とは、基盤画像に対して、圧縮器４２で圧縮された埋め
込み対象画像としての付加情報が、過不足なく埋め込ま
れた状態を意味する。なお、本来は、画像を、１画素単
位で、基盤画像と埋め込み画像とに分離するのが望まし
いが、ここでは、処理が煩雑になるのを避けるため、分
離回路４１は、画像を、１水平ライン単位で、基盤画像
と埋め込み画像とに分離するものとする。

【０１６２】分離回路４１で得られた基盤画像を構成す
る各画素は、埋め込み判定回路２２、予測器選択回路２
３、スイッチ２４，予測誤差計算回路２６に供給される
ようになっており、また、埋め込み対象画像は、圧縮器
４２に供給されるようになっている。

【０１６３】圧縮器４２は、分離回路４１からの埋め込
み対象画像を、例えば、隣接する画素どうしの差分をと
り、その差分値をハフマン符号化すること等により圧縮
し、付加情報とする。この付加情報は、付加情報用メモ
リ４３に供給されるようになっており、さらに、その付
加情報のデータ量は、分離回路４１に供給されるように
なっている。

【０１６４】付加情報用メモリ４３は、圧縮器４２が出
力する付加情報を、一時記憶するようになっており、こ
の付加情報は、例えば、１ビット単位で、予測器選択回
路２３に供給されるようになっている。

【０１６５】次に、図２３のフローチャートを参照し
て、図２２の埋め込み圧縮符号化器１１の処理について
説明する。

【０１６６】符号化対象の画像データは、例えば、１フ
レーム単位で、フレームメモリ２１に、順次供給されて
記憶される。

【０１６７】そして、ある１フレームの画像データが、
フレームメモリ２１に記憶されると、ステップＳ８１に
おいて、分離回路４１は、フレームメモリ２１に記憶さ
れた１フレームの画像を、例えば、最後の１水平ライン
と、残りの部分とに分離し、最後の１水平ラインを埋め
込み対象画像とするとともに、残りを、基盤画像とし
て、埋め込み対象画像を、圧縮器４２に出力する。圧縮
器４２は、ステップＳ８２において、分離回路４１から
の埋め込み対象画像を圧縮し、付加情報とする。さら
に、圧縮器４２は、その付加情報のデータ量を、分離回
路４１に出力する。

【０１６８】分離回路４１は、圧縮器４２から付加情報
のデータ量を受信すると、基盤画像に対し、図９に示し
たようなルールで埋め込むことのできるデータ量（以
下、適宜、埋め込みスペースという）を算出し、ステッ
プＳ８３に進み、埋め込みスペースと、付加情報のデー
タ量との関係が最適かどうかを判定する。

【０１６９】ステップＳ８３において、埋め込みスペー
スと、付加情報のデータ量との関係が最適でないと判定
された場合、即ち、ここでは、埋め込みスペースが、付
加情報のデータ量に対して大である場合、ステップＳ８
４に進み、分離回路４１は、埋め込み対象画像の水平ラ
イン数が、例えば、１水平ラインだけ増えるように、フ
レームメモリ２１に記憶された画像を分離する分離点を
変更する。そして、ステップＳ８１に戻り、分離回路４
１は、ステップＳ８４で変更された分離点で、フレーム
メモリ２１に記憶された画像を分離し、以下、同様の処
理を繰り返す。

【０１７０】一方、ステップＳ８３において、埋め込み
スペースと、付加情報のデータ量との関係が最適である
と判定された場合、即ち、ここでは、付加情報のデータ
量が、埋め込みスペースを超えない範囲で最大となった
場合、分離回路４１は、そのときの基盤画像を、埋め込
み判定回路２２、予測器選択回路２３、スイッチ２４、
および予測誤差計算回路２６に出力する。さらに、圧縮
器４２は、付加情報を、付加情報用メモリ４３に供給し
て記憶させる。

【０１７１】そして、ステップＳ８５乃至Ｓ８９に順次
進み、図６のステップＳ１乃至Ｓ５における場合とそれ
ぞれ同様の処理が行われ、処理を終了する。

【０１７２】なお、図６のステップＳ３に対応する図２
３のステップＳ８７では、フレームメモリ２１に記憶さ
れた画像を構成するすべての画素が注目画素とされたか
どうかではなく、分離回路４１で得られた基盤画像を構
成するすべての画素が注目画素とされたかどうかが判定
される。また、図６のステップＳ１に対応する図２３の
ステップＳ８５では、基盤画像から注目画素が選択され
る。

【０１７３】ここで、図２３の処理も、例えば、図６の
処理と同様に、フレームメモリ２１に１フレームの画像
データが記憶されるごとに行われる。

【０１７４】次に、図２２の埋め込み圧縮符号化器１１
には、図２３ではなく、図２４のフローチャートにした
がった処理を行わせることも可能である。

【０１７５】即ち、この場合、ステップＳ９１におい
て、分離回路４１は、フレームメモリ２１に記憶された
１フレームの画像を、例えば、最後の１水平ラインと、
残りの部分とに分離し、最後の１水平ラインを埋め込み
対象画像とするとともに、残りを、基盤画像として、埋
め込み対象画像を、圧縮器４２に出力する。圧縮器４２
は、ステップＳ９２において、分離回路４１からの埋め
込み対象画像を圧縮し、付加情報として、付加情報用メ
モリ４３に供給して記憶させる。

【０１７６】そして、以下、ステップＳ９３乃至Ｓ９５
に進み、図２３のステップＳ８５乃至Ｓ８７における場
合とそれぞれ同様の処理が行われ、これにより、基盤画
像に対して、付加情報用メモリ４３に記憶された付加情
報すべてが埋め込まれ、予測誤差保存用メモリ２７に
は、基盤画像の予測値の予測誤差でなる予測誤差画像が
記憶される。

【０１７７】その後、ステップＳ９６に進み、予測誤差
画像とされた基盤画像を構成する画素のうち、付加情報
の埋め込みが可能なものが残っているかどうか、即ち、
埋め込みスペースが余っているかどうかが判定される。
ステップＳ９６において、埋め込みスペースが余ってい
ると判定された場合、ステップＳ９７に進み、分離回路
４１は、図２３のステップＳ８４における場合と同様
に、埋め込み対象画像の水平ライン数が、例えば、１水
平ラインだけ増えるように、フレームメモリ２１に記憶
された画像を分離する分離点を変更する。そして、ステ
ップＳ９１に戻り、分離回路４１は、ステップＳ９７で
変更された分離点で、フレームメモリ２１に記憶された
画像を分離し、以下、同様の処理を繰り返す。

【０１７８】一方、ステップＳ９６において、埋め込み
スペースが余っていないと判定された場合、即ち、埋め
込みスペースが足りない場合、ステップＳ９８に進み、
エントロピー符号化回路２８は、予測誤差保存用メモリ
２７に記憶された、前回得られた予測誤差画像を読み出
し、エントロピー符号化する。さらに、エントロピー符
号化回路２８は、ステップＳ９９において、その結果得
られる符号化データを出力し、処理を終了する。

【０１７９】なお、図２４の処理も、例えば、フレーム
メモリ２１に１フレームの画像データが記憶されるごと
に行われる。

【０１８０】次に、図２５は、図２２の埋め込み圧縮符
号化器１２が出力する符号化データを、元の画像データ
に復号する、図１の復号器１２の構成例を示している。

【０１８１】なお、図中、図１１における場合と対応す
る部分については、同一の符号を付してあり、以下で
は、その説明は適宜省略する。即ち、図２５の復号器１
２は、伸張器５１および結合器５２が新たに設けられて
いる他は、図１１における場合と同様に構成されてい
る。

【０１８２】伸張器５１は、付加情報用メモリ３６に記
憶された付加情報を復号（伸張）し、元の埋め込み対象
画像として、結合器５２に供給する。結合器５２は、伸
張器５１からの埋め込み対象画像を、復号画像用メモリ
３５に書き込み、これにより、復号画像用メモリ３５に
記憶された、復号された基盤画像と埋め込み対象画像と
を結合して、元の１フレームの画像を再構成する。

【０１８３】次に、図２６のフローチャートを参照し
て、図２５の復号器１２の処理について説明する。

【０１８４】ステップＳ１０１乃至Ｓ１０４では、図１
５のステップＳ４１乃至Ｓ４４における場合とそれぞれ
同様の処理が行われる。そして、ステップＳ１０４にお
いて、符号化データをエントロピー復号した予測誤差画
像を構成する画素すべてを、注目画素としたと判定され
た場合、即ち、復号画像用メモリ３５に、復号された基
盤画像が記憶されるとともに、付加情報用メモリ３６
に、その基盤画像に埋め込まれていた付加情報が記憶さ
れた場合、ステップＳ１０５に進み、伸張器５１は、付
加情報用メモリ３６に記憶された付加情報を、埋め込み
対象画像に復号し、結合器５２に供給する。結合器５２
は、ステップＳ１０６において、伸張器５１からの埋め
込み対象画像を、復号画像用メモリ３５に書き込むこと
により、復号された基盤画像と埋め込み対象画像とを結
合して、元の１フレームの画像を、復号画像用メモリ３
５の中に再構成する。そして、ステップＳ１０７に進
み、復号画像用メモリ３５に記憶された、再構成された
画像が読み出されて出力され、処理を終了する。

【０１８５】ここで、本件発明者が行ったシミュレーシ
ョンにより得られた、図２２の埋め込み圧縮符号化器１
１により画像を処理した場合の圧縮率と、従来の予測符
号化による圧縮率とを、図２７に示す。なお、従来の予
測符号化による圧縮率とは、注目画素の左側に隣接する
画素を予測値として予測誤差を求め、その予測誤差をハ
フマン符号化した場合の圧縮率である。

【０１８６】図２７から、画像＃１および＃２のいずれ
ついても、図２２の埋め込み圧縮符号化器１１により画
像を処理した場合の方が、従来の予測符号化を行った場
合に比較して、圧縮率が向上していることが分かる。

【０１８７】なお、上述の場合には、埋め込み対象画像
を圧縮して付加情報とし、基盤画像に埋め込むようにし
たが、埋め込み対象画像は、そのまま付加情報として、
基盤画像に埋め込むことも可能である。

【０１８８】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０１８９】そこで、図２８は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０１９０】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０１９１】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０１９２】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。

【０１９３】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードやマウス等で構成
される入力部１０７が操作されることにより指令が入力
されると、それにしたがって、ROM(Read Only Memory)
１０３に格納されているプログラムを実行する。あるい
は、また、CPU１０２は、ハードディスク１０５に格納
されているプログラム、衛星若しくはネットワークから
転送され、通信部１０８で受信されてハードディスク１
０５にインストールされたプログラム、またはドライブ
１０９に装着されたリムーバブル記録媒体１１１から読
み出されてハードディスク１０５にインストールされた
プログラムを、RAM(Random Access Memory)１０４にロ
ードして実行する。これにより、CPU１０２は、上述し
たフローチャートにしたがった処理、あるいは上述した
ブロック図の構成により行われる処理を行う。そして、
CPU１０２は、その処理結果を、必要に応じて、例え
ば、入出力インタフェース１１０を介して、LCD(Liquid
CryStal Display)やスピーカ等で構成される出力部１
０６から出力、あるいは、通信部１０８から送信、さら
には、ハードディスク１０５に記録等させる。

【０１９４】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１９５】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０１９６】なお、本実施の形態では、注目画素の左
や、上、左上に隣接する画素を、注目画素の予測値とし
て用いるようにしたが、注目画素の予測値としては、そ
の他の画素（例えば、注目画素に対して、空間的または
時間的に近い位置にある画素）を用いることも可能であ
る。

【０１９７】さらに、注目画素の予測値としては、その
左や、上、左上に隣接する画素そのものではなく、例え
ば、それらから線形予測を行うことにより得られる値等
を用いることも可能である。

【０１９８】また、本実施の形態では、２つの予測方式
を用意し、付加情報によって、いずれの予測方式を用い
るかを選択するようにしたが、予測方式は、３以上のＮ
個用意することが可能であり、その場合には、１の画素
に対して、付加情報を、ｌｏｇ₂Ｎビット単位で埋め込
むことが可能となる。

【０１９９】さらに、本実施の形態では、画像に付加情
報を埋め込むようにしたが、その他、例えば、オーディ
オデータやプログラム等に、付加情報を埋め込むように
することも可能である。

【０２００】

【発明の効果】本発明の埋め込み装置および埋め込み方
法、並びに第１の記録媒体によれば、第１のデータのう
ちの注目している注目データの予測値を予測する予測方
式が、第２のデータに基づいて選択され、その予測方式
によって注目データを予測することにより、予測値が求
められるとともに、注目データに、第２のデータが埋め
込まれる。そして、予測値の予測誤差を求められ、符号
化データとして出力される。従って、完全可逆の埋め込
みの実現が可能となる。

【０２０１】本発明の復号装置および復号方法、並びに
第２の記録媒体によれば、符号化データのうちの注目し
ている注目データから、第１のデータの予測値の予測に
用いられた予測方式が認識され、その予測方式に基づい
て、注目データが、元の第１のデータに復号されるとと
もに、注目データに埋め込まれていた第２のデータが復
号される。従って、符号化データを、オーバーヘッドな
しで、第１および第２のデータに復号することが可能と
なる。

【図面の簡単な説明】

【図１】本発明を適用した埋め込み圧縮／復号システム
の一実施の形態の構成例を示す図である。

【図２】図１の埋め込み圧縮符号化器１１の構成例を示
すブロック図である。

【図３】図２の埋め込み判定回路２２の処理を説明する
ための図である。

【図４】注目画素への付加情報の埋め込みが可能な場合
を示す図である。

【図５】注目画素への付加情報の埋め込みが付加の場合
を示す図である。

【図６】図２の埋め込み圧縮符号化器１１の処理を説明
するためのフローチャートである。

【図７】図６のステップＳ２の処理の詳細を説明するた
めのフローチャートである。

【図８】図６のステップＳ２の処理のより詳細を説明す
るためのフローチャートである。

【図９】図２の埋め込み圧縮符号化器１１の処理のルー
ルを示す図である。

【図１０】図２の埋め込み圧縮符号化器１１の処理のル
ールを示す図である。

【図１１】図１の復号器１２の構成例を示すブロック図
である。

【図１２】図１１の埋め込み判定回路３３の処理を説明
するための図である。

【図１３】画素に付加情報が埋め込まれている場合の、
その画素と付加情報の復号方法を説明するための図であ
る。

【図１４】画素に付加情報が埋め込まれていない場合
の、その画素の復号方法を説明するための図である。

【図１５】図１１の復号器１２の処理を説明するための
フローチャートである。

【図１６】図１５のステップＳ４３の処理の詳細を説明
するためのフローチャートである。

【図１７】図１５のステップＳ４３の処理のより詳細を
説明するためのフローチャートである。

【図１８】図１１の復号器１２の処理のルールを示す図
である。

【図１９】図１１の復号器１２の処理のルールを示す図
である。

【図２０】画像の一部に、その残りを埋め込む処理を説
明するための図である。

【図２１】画像の一部に、その残りが埋め込まれたもの
を復号する処理を説明するための図である。

【図２２】図１の埋め込み圧縮符号化器１１の他の構成
例を示すブロック図である。

【図２３】図２２の埋め込み圧縮符号化器１１の処理を
説明するためのフローチャートである。

【図２４】図２２の埋め込み圧縮符号化器１１の処理を
説明するためのフローチャートである。

【図２５】図１の復号器１２の他の構成例を示すブロッ
ク図である。

【図２６】図２５の復号器１２の処理を説明するための
フローチャートである。

【図２７】本件発明者によるシミュレーション結果を示
す図である。

【図２８】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

１ 符号化装置， ２ 復号装置， ３ 記録媒体，
４ 伝送媒体， １１埋め込み圧縮符号化器， １２
復号器， ２１ フレームメモリ， ２２埋め込み判定
回路， ２３ 予測器選択回路， ２４ スイッチ，
２４Ａ，２４Ｂ 端子， ２５Ａ，２５Ｂ 予測器，
２６ 予測誤差計算回路， ２７予測誤差保存用メモ
リ， ２８ エントロピー符号化回路， ３１ フレー
ムメモリ， ３２ エントロピー復号回路， ３３ 埋
め込み判定回路， ３４ 画素値／付加情報計算回路，
３５ 復号画像用メモリ， ３６ 付加情報用メモ
リ， ４１ 分離回路， ４２ 圧縮器， ４３ 付加
情報用メモリ， ５１伸張器， ５２ 結合器， １０
１ バス， １０２ CPU， １０３ ROM，１０４ RA
M， １０５ ハードディスク， １０６ 出力部，
１０７ 入力部， １０８ 通信部， １０９ ドライ
ブ， １１０ 入出力インタフェース， １１１ リム
ーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 ME02 RC32 RC33 RC34 SS01 SS02 SS06 SS08 TA00 TA68 TA73 TB10 TC03 TC47 TD12 UA02 UA05 UA31 UA38 UA39 5C076 AA14 AA19 AA36 BA06 BA09 5J064 AA01 BA09 BB03 BC01 BC29 BD03

Claims (25)

【特許請求の範囲】
1. 【請求項１】 第１のデータに、第２のデータを埋め込
   み、符号化データを出力する埋め込み装置であって、 前記第１のデータのうちの注目している注目データの予
   測値を予測する予測方式を、前記第２のデータに基づい
   て選択する選択手段と、 前記選択手段により選択された予測方式によって前記注
   目データを予測することにより、前記予測値を求めると
   ともに、前記注目データに、前記第２のデータを埋め込
   む予測／埋め込み手段と、 前記予測値の予測誤差を求め、前記符号化データとして
   出力する予測誤差演算手段とを備えることを特徴とする
   埋め込み装置。
2. 【請求項２】 前記予測／埋め込み手段は、前記注目デ
   ータの周辺に位置する前記第１のデータを、前記注目デ
   ータの予測値として求めることを特徴とする請求項１に
   記載の埋め込み装置。
3. 【請求項３】 前記注目データに対する、前記第２のデ
   ータの埋め込みの可否を判定する判定手段をさらに備
   え、 前記選択手段は、前記注目データに対する、前記第２の
   データの埋め込みが可能である場合に、前記予測方式
   を、前記第２のデータに基づいて選択することを特徴と
   する請求項１に記載の埋め込み装置。
4. 【請求項４】 前記判定手段は、前記注目データと、そ
   の予測に用いる前記第１のデータとに基づいて、前記注
   目データに対する、前記第２のデータの埋め込みの可否
   を判定することを特徴とする請求項３に記載の埋め込み
   装置。
5. 【請求項５】 前記注目データに対する、前記第２のデ
   ータの埋め込みが可能でない場合において、 前記選択手段は、前記予測方式を、前記注目データおよ
   びその予測に用いる前記第１のデータに基づいて選択
   し、 前記予測／埋め込み手段は、前記選択手段により選択さ
   れた予測方式によって前記注目データを予測することに
   より、前記予測値を求めることのみを行うことを特徴と
   する請求項３に記載の埋め込み装置。
6. 【請求項６】 前記判定手段は、 前記注目データと、その予測に用いる２つの前記第１の
   データとの大小関係を判定し、 前記注目データが、その予測に用いる２つの前記第１の
   データの範囲内の値である場合に、前記注目データに対
   する、前記第２のデータの埋め込みが可能であると判定
   し、 前記注目データが、その予測に用いる２つの前記第１の
   データの範囲内の値でない場合に、前記注目データに対
   する、前記第２のデータの埋め込みが不可能であると判
   定することを特徴とする請求項４に記載の埋め込み装
   置。
7. 【請求項７】 前記選択手段は、前記第２のデータの埋
   め込みが可能な前記注目データについて、その予測に用
   いる２つの前記第１のデータそれぞれを前記予測値とす
   る予測方式のうちの一方を、前記第２のデータに基づい
   て選択することを特徴とする請求項６に記載の埋め込み
   装置。
8. 【請求項８】 前記選択手段は、前記第２のデータの埋
   め込みが不可能な前記注目データについて、その予測に
   用いる２つの前記第１のデータそれぞれを前記予測値と
   する予測方式のうちの前記予測誤差が大きくなる方を選
   択することを特徴とする請求項６に記載の埋め込み装
   置。
9. 【請求項９】 前記第１のデータは、画像データである
   ことを特徴とする請求項１に記載の埋め込み装置。
10. 【請求項１０】 前記第１と第２のデータは、画像デー
    タを２つの部分に分離した一方の部分と他方の部分であ
    ることを特徴とする請求項１に記載の埋め込み装置。
11. 【請求項１１】 前記一方の部分としての前記第１のデ
    ータに対して、前記他方の部分としての前記第２のデー
    タを最適に埋め込むことができるように、前記画像デー
    タを２つの部分に分離する分離手段をさらに備えること
    を特徴とする請求項１０に記載の埋め込み装置。
12. 【請求項１２】 第１のデータに、第２のデータを埋め
    込み、符号化データを出力する埋め込み方法であって、 前記第１のデータのうちの注目している注目データの予
    測値を予測する予測方式を、前記第２のデータに基づい
    て選択する選択ステップと、 前記選択ステップにおいて選択された予測方式によって
    前記注目データを予測することにより、前記予測値を求
    めるとともに、前記注目データに、前記第２のデータを
    埋め込む予測／埋め込みステップと、 前記予測値の予測誤差を求め、前記符号化データとして
    出力する予測誤差演算ステップとを備えることを特徴と
    する埋め込み方法。
13. 【請求項１３】 第１のデータに、第２のデータを埋め
    込み、符号化データを出力する埋め込み処理を、コンピ
    ュータに行わせるプログラムが記録されている記録媒体
    であって、 前記第１のデータのうちの注目している注目データの予
    測値を予測する予測方式を、前記第２のデータに基づい
    て選択する選択ステップと、 前記選択ステップにおいて選択された予測方式によって
    前記注目データを予測することにより、前記予測値を求
    めるとともに、前記注目データに、前記第２のデータを
    埋め込む予測／埋め込みステップと、 前記予測値の予測誤差を求め、前記符号化データとして
    出力する予測誤差演算ステップとを備えるプログラムが
    記録されていることを特徴とする記録媒体。
14. 【請求項１４】 第１のデータに、第２のデータを埋め
    込むことにより得られた符号化データを、前記第１およ
    び第２のデータに復号する復号装置であって、 前記符号化データのうちの注目している注目データか
    ら、前記第１のデータの予測値の予測に用いられた予測
    方式を認識する認識手段と、 前記認識手段により認識された前記予測方式に基づい
    て、前記注目データを、元の前記第１のデータに復号す
    るとともに、前記注目データに埋め込まれていた前記第
    ２のデータを復号する復号手段とを備えることを特徴と
    する復号装置。
15. 【請求項１５】 前記注目データに対する、前記第２の
    データの埋め込みの有無を判定する判定手段をさらに備
    え、 前記認識手段は、前記注目データに、前記第２のデータ
    が埋め込まれている場合に、前記予測方式を認識するこ
    とを特徴とする請求項１４に記載の復号装置。
16. 【請求項１６】 前記判定手段は、前記注目データと、
    既に復号された前記第１のデータとに基づいて、前記注
    目データに対する、前記第２のデータの埋め込みの有無
    を判定することを特徴とする請求項１５に記載の復号装
    置。
17. 【請求項１７】 前記注目データに対して、前記第２の
    データが埋め込まれていない場合において、 前記認識手段は、前記予測方式を、前記注目データおよ
    び既に復号された前記第１のデータに基づいて認識し、 前記復号手段は、前記認識手段により認識された予測方
    式に基づいて、前記注目データを、元の前記第１のデー
    タに復号することのみを行うことを特徴とする請求項１
    ６に記載の復号装置。
18. 【請求項１８】 前記判定手段は、 前記注目データと、既に復号された２つの前記第１のデ
    ータとの大小関係を判定し、 前記注目データの大きさが、既に復号された２つの前記
    第１のデータどうしの差分の大きさより小である場合
    に、前記注目データに対して、前記第２のデータが埋め
    込まれていると判定し、 前記注目データの大きさが、既に復号された２つの前記
    第１のデータどうしの差分の大きさより小でない場合
    に、前記注目データに対して、前記第２のデータが埋め
    込まれていないと判定することを特徴とする請求項１６
    に記載の復号装置。
19. 【請求項１９】 前記認識手段は、前記第２のデータが
    埋め込まれている前記注目データについて、既に復号さ
    れた２つの前記第１のデータそれぞれを前記予測値とす
    る予測方式のうち、前記注目データの復号結果が、その
    ２つの前記第１のデータの範囲内になる方を、前記注目
    データに対応する前記第１のデータの予測に用いられた
    ものとして認識することを特徴とする請求項１８に記載
    の復号装置。
20. 【請求項２０】 前記認識手段は、前記第２のデータが
    埋め込まれていない前記注目データについて、既に復号
    された２つの前記第１のデータそれぞれを前記予測値と
    する予測方式のうち、予測誤差が大きくなる方を、前記
    注目データに対応する前記第１のデータの予測に用いら
    れたものとして認識することを特徴とする請求項１８に
    記載の復号装置。
21. 【請求項２１】 前記第１のデータは、画像データであ
    ることを特徴とする請求項１４に記載の復号装置。
22. 【請求項２２】 前記第１と第２のデータは、画像デー
    タを２つの部分に分離した一方の部分と他方の部分であ
    ることを特徴とする請求項１４に記載の復号装置。
23. 【請求項２３】 前記一方の部分としての、復号された
    前記第１のデータと、前記他方の部分としての、復号さ
    れた前記第２のデータとを結合し、元の前記画像データ
    を構成する結合手段をさらに備えることを特徴とする請
    求項２２に記載の復号装置。
24. 【請求項２４】 第１のデータに、第２のデータを埋め
    込むことにより得られた符号化データを、前記第１およ
    び第２のデータに復号する復号方法であって、 前記符号化データのうちの注目している注目データか
    ら、前記第１のデータの予測値の予測に用いられた予測
    方式を認識する認識ステップと、 前記認識ステップにおいて認識された前記予測方式に基
    づいて、前記注目データを、元の前記第１のデータに復
    号するとともに、前記注目データに埋め込まれていた前
    記第２のデータを復号する復号ステップとを備えること
    を特徴とする復号装置。
25. 【請求項２５】 第１のデータに、第２のデータを埋め
    込むことにより得られた符号化データを、前記第１およ
    び第２のデータに復号する復号処理を、コンピュータに
    行わせるプログラムが記録されている記録媒体であっ
    て、 前記符号化データのうちの注目している注目データか
    ら、前記第１のデータの予測値の予測に用いられた予測
    方式を認識する認識ステップと、 前記認識ステップにおいて認識された前記予測方式に基
    づいて、前記注目データを、元の前記第１のデータに復
    号するとともに、前記注目データに埋め込まれていた前
    記第２のデータを復号する復号ステップとを備えるプロ
    グラムが記録されていることを特徴とする記録媒体。