JP2000184181A - 符号化装置および符号化方法、復号装置および復号方法、記録媒体、並びにデ―タ処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像の画質を劣化させず、かつデータ量を増
加させずに、情報を埋め込む。 【解決手段】 埋め込み符号化器３では、画像上の水平
方向に並ぶ一連の画素であるラインを、付加情報に対応
した量だけ、右方向にずらすことにより、画像に付加情
報が埋め込まれ、埋め込み画像が出力される。一方、埋
め込み復号器６では、埋め込み画像のラインが、左方向
にずらされ、そのずらされたラインと、その１ライン上
のラインであるキーラインとの相関が計算される。そし
て、その相関に基づいて、埋め込み画像のラインをずら
すずらし量を決定することにより、埋め込み画像に埋め
込まれた付加情報が復号され、さらに、決定されたずら
し量だけ、埋め込み画像のラインを、左方向にずらすこ
とにより、埋め込み画像が、元の画像に復号される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化装置および
符号化方法、復号装置および復号方法、記録媒体、並び
にデータ処理装置に関し、特に、例えば、復号画像の画
質の劣化を極力なくし、かつデータ量を増加せずに、画
像に情報を埋め込むこと等ができるようにする画像処理
装置および画像処理方法、並びに提供媒体に関する。

【０００２】

【従来の技術】信号に対して、そのデータ量を増加させ
ることなく、情報を埋め込む手法としては、例えば、デ
ィジタルオーディオデータの最下位ビットや、下位２ビ
ットなどを、埋め込む情報に変換するものなどがある。
この手法は、ディジタルオーディオデータの下位ビット
が、その音質にあまり影響を与えないことを利用し、そ
の下位ビットを、単に、埋め込む情報に置き換えるもの
であり、従って、再生時には、情報が埋め込まれたディ
ジタルオーディオデータは、その下位ビットを元に戻さ
ずに、そのまま出力される。即ち、情報が埋め込まれた
下位ビットを、元に戻すのは困難であり、また、下位ビ
ットは、音質に、あまり影響を与えないことから、ディ
ジタルオーディオデータは、情報が埋め込まれた状態で
出力される。

【０００３】

【発明が解決しようとする課題】しかしながら、以上の
ような手法では、本来の信号と異なる信号が出力され
る。従って、信号がオーディオデータである場合には、
その音質に、また、信号がビデオデータである場合に
は、その画質に、少なからず影響がある。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、画像の画質の劣化を極力なくし、かつデ
ータ量を増加せずに、画像に情報を埋め込むことができ
るようにするものである。

【０００５】

【課題を解決するための手段】本発明の符号化装置は、
第１のデータの少なくとも一部のデータを記憶する記憶
手段と、第２のデータにしたがって、記憶手段に記憶さ
れた一部のデータをローテーションすることにより、第
１のデータに、第２のデータに関連するデータを埋め込
む符号化手段とを備えることを特徴とする。

【０００６】この符号化装置には、第１および第２のデ
ータを入力する入力手段をさらに設けることができる。

【０００７】第１のデータは、複数の画素データから構
成される画像データとすることができ、この場合、記憶
手段には、画像データ上の所定方向に並ぶ一連の画素デ
ータを記憶させ、符号化手段には、記憶手段に記憶され
た一連の画素データを、第２のデータにしたがって所定
方向にローテーションすることにより、画像データに、
第２のデータに関連するデータを埋め込ませることがで
きる。

【０００８】符号化手段には、画像データ上の所定方向
に並び、かつ画像データの画枠内にある一連の画素デー
タを、第２のデータにしたがって所定方向にローテーシ
ョンさせることができる。

【０００９】また、符号化手段には、画像データ上の水
平方向に並ぶ１ラインの画素データを、第２のデータに
したがって水平方向にローテションさせることができ
る。

【００１０】第１のデータの一部は、符号化手段による
ローテーションが禁止されているものとすることができ
る。

【００１１】符号化手段には、一連の画素データを、第
２のデータの値に相当する画素数に応じて所定方向にロ
ーテーションさせることができる。

【００１２】本発明の符号化方法は、第１のデータの少
なくとも一部のデータを記憶する記憶ステップと、第２
のデータにしたがって、記憶ステップにおいて記憶され
た一部のデータをローテーションすることにより、第１
のデータに、第２のデータに関連するデータを埋め込む
符号化ステップとを備えることを特徴とする。

【００１３】本発明の第１の記録媒体は、第１のデータ
の少なくとも一部のデータを記憶する記憶ステップと、
第２のデータにしたがって、記憶ステップにおいて記憶
された一部のデータをローテーションすることにより、
第１のデータに、第２のデータに関連するデータを埋め
込む符号化ステップとを備えるプログラムが記録されて
いることを特徴とする。

【００１４】本発明の復号装置は、符号化データの少な
くとも一部のデータをローテーションするローテーショ
ン手段と、ローテーション手段によりローテーションさ
れた一部のデータと、その周辺にある周辺データとの関
係を表す関係値を演算する関係値演算手段と、関係値演
算手段により求められた関係値に基づいて、一部のデー
タをローテーションするローテーション量を決定するこ
とにより、第１のデータに埋め込まれた第２のデータを
復号する第２のデータ復号手段と、第２のデータ復号手
段により決定されたローテーション量に応じて、符号化
データを、第１のデータに復号する第１のデータ復号手
段とを備えることを特徴とする。

【００１５】第２のデータ復号手段には、ローテーショ
ンされた一部のデータと、周辺データとの関係値を、ロ
ーテーション量を変えて求めさせ、関係値が最大になる
ときのローテーション量を決定させることができる。

【００１６】第１のデータは、複数の画素データから構
成される画像データとすることができ、この場合、ロー
テーション手段には、符号化データ上の水平方向に並ぶ
１ラインの画素データを、水平方向にローテーションさ
せることができる。

【００１７】符号化データの一部は、ローテーション手
段によるローテーションが禁止されているものとするこ
とができる。

【００１８】第２のデータ復号手段には、決定したロー
テーション量に相当する値を、第２のデータとして復号
させることができる。

【００１９】本発明の復号方法は、符号化データの少な
くとも一部のデータをローテーションするローテーショ
ンステップと、ローテーションステップにおいてローテ
ーションされた一部のデータと、その周辺にある周辺デ
ータとの関係を表す関係値を演算する関係値演算ステッ
プと、関係値演算ステップにおいて求められた関係値に
基づいて、一部のデータをローテーションするローテー
ション量を決定することにより、第１のデータに埋め込
まれた第２のデータを復号する第２のデータ復号ステッ
プと、第２のデータ復号ステップにおいて決定されたロ
ーテーション量に応じて、符号化データを、第１のデー
タに復号する第１のデータ復号ステップとを備えること
を特徴とする。

【００２０】本発明の第２の記録媒体は、符号化データ
の少なくとも一部のデータをローテーションするローテ
ーションステップと、ローテーションステップにおいて
ローテーションされた一部のデータと、その周辺にある
周辺データとの関係を表す関係値を演算する関係値演算
ステップと、関係値演算ステップにおいて求められた関
係値に基づいて、一部のデータをローテーションするロ
ーテーション量を決定することにより、第１のデータに
埋め込まれた第２のデータを復号する第２のデータ復号
ステップと、第２のデータ復号ステップにおいて決定さ
れたローテーション量に応じて、符号化データを、第１
のデータに復号する第１のデータ復号ステップとを備え
るプログラムが記録されていることを特徴とする。

【００２１】本発明のデータ処理装置は、第１のデータ
の少なくとも一部のデータを記憶する記憶手段と、第２
のデータにしたがって、記憶手段に記憶された第１のデ
ータのうちの一部のデータをローテーションすることに
より、第１のデータに、第２のデータに関連するデータ
を埋め込み、符号化データとする符号化手段と、符号化
データの少なくとも一部のデータをローテーションする
ローテーション手段と、ローテーション手段によりロー
テーションされた符号化データのうちの一部のデータ
と、その周辺にある周辺データとの関係を表す関係値を
演算する関係値演算手段と、関係値演算手段により求め
られた関係値に基づいて、符号化データのうちの一部の
データをローテーションするローテーション量を決定す
ることにより、第１のデータに埋め込まれた第２のデー
タを復号する第２のデータ復号手段と、第２のデータ復
号手段により決定されたローテーション量に応じて、符
号化データを、第１のデータに復号する第１のデータ復
号手段とを備えることを特徴とする。

【００２２】本発明の符号化装置および符号化方法、並
びに第１の記録媒体においては、第１のデータの少なく
とも一部のデータが記憶され、その記憶されたデータ
が、第２のデータにしたがってローテーションされるこ
とにより、第１のデータに、第２のデータに関連するデ
ータが埋め込まれる。

【００２３】本発明の復号装置および復号方法、並びに
第２の記録媒体においては、符号化データの少なくとも
一部のデータがローテーションされ、そのローテーショ
ンされた一部のデータと、その周辺にある周辺データと
の関係値が演算される。そして、その関係値に基づい
て、一部のデータをローテーションするローテーション
量が決定されることにより、第１のデータに埋め込まれ
た第２のデータが復号され、さらに、決定されたローテ
ーション量に応じて、符号化データが、第１のデータに
復号される。

【００２４】本発明のデータ処理装置においては、第１
のデータの少なくとも一部のデータが記憶され、その記
憶されたデータが、第２のデータにしたがってローテー
ションされることにより、第１のデータに、第２のデー
タに関連するデータが埋め込まれて、符号化データとさ
れる。一方、符号化データの少なくとも一部のデータが
ローテーションされ、そのローテーションされた一部の
データと、その周辺にある周辺データとの関係値が演算
される。そして、その関係値に基づいて、符号化データ
のうちの一部のデータをローテーションするローテーシ
ョン量が決定されることにより、第１のデータに埋め込
まれた第２のデータが復号され、さらに、決定されたロ
ーテーション量に応じて、符号化データが、第１のデー
タに復号される。

【００２５】

【発明の実施の形態】図１は、本発明を適用した画像伝
送システム（システムとは、複数の装置が論理的に集合
した物をいい、各構成の装置が同一筐体中にあるか否か
は問わない）の一実施の形態の構成例を示している。

【００２６】この画像伝送システムは、符号化装置１０
および復号装置２０で構成されており、符号化装置１０
は、符号化対象としての、例えば、画像を符号化して符
号化データを出力し、復号装置２０は、その符号化デー
タを、元の画像に復号するようになされている。

【００２７】即ち、画像データベース１は、符号化すべ
き画像（例えば、ディジタル画像）を記憶している。そ
して、画像データベース１からは、そこに記憶されてい
る画像が読み出され、埋め込み符号化器３に供給され
る。

【００２８】また、付加情報データベース２は、符号化
対象の画像に埋め込むべき情報としての付加情報（ディ
ジタルデータ）を記憶している。そして、付加情報デー
タベース２からも、そこに記憶されている付加情報が読
み出され、埋め込み符号化器３に供給される。

【００２９】埋め込み符号化器３では、画像データベー
ス１からの画像、および付加情報データベース２からの
付加情報が受信される。さらに、埋め込み符号化器３
は、画像データベース１からの画像が有するエネルギの
偏りを利用して復号を行うことができるように、その画
像を、付加情報データベース２からの付加情報にしたが
って符号化して出力する。即ち、埋め込み符号化器３
は、画像が有するエネルギの偏りを利用して復号を行う
ことができるように、画像に付加情報を埋め込むこと
で、その画像を符号化し、符号化データを出力する。埋
め込み符号化器３が出力する符号化データは、例えば、
半導体メモリ、光磁気ディスク、磁気ディスク、光ディ
スク、磁気テープ、相変化ディスクなどでなる記録媒体
４に記録され、あるいは、また、例えば、地上波、衛星
回線、ＣＡＴＶ（Cable Television）網、インターネッ
ト、公衆回線などでなる伝送媒体５を介して伝送され、
復号装置２０に提供される。

【００３０】復号装置２０は、埋め込み復号器６で構成
され、そこでは、記録媒体４または伝送媒体５を介して
提供される符号化データが受信される。さらに、埋め込
み復号器６は、その符号化データを、画像が有するエネ
ルギの偏りを利用して、元の画像および付加情報に復号
する。復号された画像は、例えば、図示せぬモニタに供
給されて表示される。

【００３１】なお、付加情報としては、例えば、元の画
像に関連するテキストデータや、音声データ、その画像
を縮小した縮小画像等は勿論、元の画像に無関係なデー
タも用いることができる。

【００３２】次に、図１の埋め込み符号化器３における
符号化（埋め込み符号化）、および埋め込み復号器６に
おける復号（埋め込み復号）の原理について説明する。

【００３３】一般に、情報と呼ばれるものは、エネルギ
（エントロピー）の偏り（普遍性）を有し、この偏り
が、情報（価値ある情報）として認識される。即ち、例
えば、ある風景を撮影して得られる画像が、そのような
風景の画像であると人によって認識されるのは、画像
（画像を構成する各画素の画素値など）が、その風景に
対応したエネルギの偏りを有するからであり、エネルギ
の偏りがない画像は、雑音等にすぎず、情報としての利
用価値はない。

【００３４】従って、価値ある情報に対して、何らかの
操作を施し、その情報が有する本来のエネルギの偏り
を、いわば破壊した場合でも、その破壊されたエネルギ
の偏りを元に戻すことで、何らかの操作が施された情報
も、元の情報に戻すことができる。即ち、情報を符号化
して得られる符号化データは、その情報が有する本来の
エネルギの偏りを利用して、元の価値ある情報に復号す
ることができる。

【００３５】ここで、情報が有するエネルギ（の偏り）
を表すものとしては、例えば、相関性、連続性、相似性
などがある。

【００３６】情報の相関性とは、その情報の構成要素
（例えば、画像であれば、その画像を構成する画素やラ
インなど）どうしの相関（例えば、自己相関や、ある構
成要素と他の構成要素との距離など）を意味する。例え
ば、画像の相関性を表すものとしては、画像のライン間
の相関があり、この相関を表す相関値としては、例え
ば、２つのラインにおける、対応する各画素値の差分の
２乗和等を用いることができる（この場合、相関値が小
さいことは、ライン間の相関が大きいことを表し、相関
値が大きいことは、ライン間の相関が小さいことを表
す）。

【００３７】即ち、例えば、いま、図２に示すようなＨ
ライン１０２を有する画像１０１があった場合に、その
上から１行目のライン（第１ライン）１０３と、他のラ
インとの相関は、一般に、図３（Ａ）に示すように、第
１ライン１０３との距離が近いライン（図２における画
像１０１の上側のライン）ほど、第Ｍライン１０４につ
いての相関２０１として示すように大きくなり、第１ラ
イン１０３との距離が遠いライン（図２における画像の
下側のライン）ほど、第Ｎライン１０５についての相関
２０２として示すように小さくなる。従って、第１ライ
ン１０３から近いほど、第１ライン１０３との相関が大
きくなり、遠いほど相関が小さくなるという相関の偏り
がある。

【００３８】そこで、いま、図２の画像１０１におい
て、第１ライン１０３から比較的近い第Ｍライン１０４
と、第１ライン１０３から比較的遠い第Ｎライン１０５
との画素値を入れ替える操作を行い（１＜Ｍ＜Ｎ≦
Ｈ）、その入れ替え後の画像１０１について、第１ライ
ン１０３と、他のラインとの相関を計算値すると、それ
は、例えば、図３（Ｂ）に示すようになる。

【００３９】即ち、入れ替え後の画像１０１では、第１
ライン１０３から近い第Ｍライン（入れ替え前の第Ｎラ
イン１０５）との相関２０３が小さくなり、第１ライン
１０３から遠い第Ｎライン（入れ替え前の第Ｍライン１
０４）との相関２０４が大きくなる。

【００４０】従って、図３（Ｂ）では、第１ライン１０
３から近いほど相関が大きくなり、遠いほど相関が小さ
くなるという相関性の偏りが破壊されている。しかしな
がら、画像については、一般に、第１ライン１０３から
近いほど相関が大きくなり、遠いほど相関が小さくなる
という相関性の偏りを利用することにより、破壊された
相関性の偏りを復元することができる。即ち、図３
（Ｂ）において、第１ライン１０３から近い第Ｍライン
との相関２０３が小さく、第１ライン１０３から遠い第
Ｎラインとの相関２０４が大きいのは、画像１０１が有
する本来の相関性の偏りからすれば、明らかに不自然で
あり（おかしく）、第Ｍラインと第Ｎラインとは入れ替
えるべきである。そして、図３（Ｂ）における第Ｍライ
ンと第Ｎラインとを入れ替えることで、図３（Ａ）に示
すような本来の相関性の偏りを有する画像、即ち、元の
画像１０１を復号することができる。

【００４１】ここで、図２および図３で説明した場合に
おいては、ラインの入れ替えが、画像の符号化を行うこ
ととなる。また、その符号化に際し、埋め込み符号化器
３では、例えば、何ライン目を移動するかや、どのライ
ンどうしを入れ替えるかなどが、付加情報にしたがって
決定されることになる。一方、埋め込み復号器６では、
符号化後の画像、即ち、ラインの入れ替えられた画像
を、その相関を利用して、ラインを元の位置に入れ替え
ることにより、元の画像に戻すことが、画像を復号する
こととなる。さらに、その復号に際し、埋め込み復号器
６において、例えば、何ライン目を移動したかや、どの
ラインどうしを入れ替えたかなどを検出することが、画
像に埋め込まれた付加情報を復号することになる。

【００４２】次に、情報の連続性についてであるが、例
えば、画像のある１ラインについて注目した場合に、そ
の注目ラインにおいて、図４（Ａ）に示すような、画素
値の変化パターンが連続している波形３０１が観察され
たとすると、その注目ラインと離れた他のラインでは、
注目ラインとは異なる画素値の変化パターンが観察され
る。従って、注目ラインと、その注目ラインと離れた他
のラインとにおいては、画素値の変化パターンが異な
り、連続性においても偏りがある。即ち、画像のある部
分の画素値の変化パターンに注目すると、その注目部分
に隣接する部分には、同様の画素値の変化パターンが存
在し、注目部分から離れるにつれて、異なる画素値の変
化パターンが存在するという連続性の偏りがある。

【００４３】そこで、いま、図４（Ａ）に示した、画像
のあるラインにおける、画素値の変化パターンが連続し
ている波形３０１の一部を、例えば、図４（Ｂ）に示す
ように、離れたラインにおける波形３０２と入れ替え
る。

【００４４】この場合、画像の連続性の偏りが破壊され
る。しかしながら、近接する部分の画素値の変化パター
ンは連続しており、離れるほど、画素値の変化パターン
が異なるという連続性の偏りを利用することにより、破
壊された連続性の偏りを復元することができる。即ち、
図４（Ｂ）において、波形の一部３０２の画素値の変化
パターンが、他の部分の画素値の変化パターンに比較し
て大きく異なっているのは、波形が有する本来の連続性
の偏りからすれば、明らかに不自然であり、他の部分の
画素値の変化パターンと異なっている部分３０２は、他
の部分の画素値の変化パターンと同様の波形に入れ替え
るべきである。そして、そのような入れ替えを行うこと
で、連続性の偏りが復元され、これにより、図４（Ｂ）
に示した波形から、図４（Ａ）に示した元の波形を復号
することができる。

【００４５】ここで、図４で説明した場合においては、
波形の一部を、その周辺の画素値の変化パターンとは大
きく異なる画素値の変化パターンの波形に入れ替えるこ
とが、画像の符号化を行うこととなる。また、その符号
化に際し、埋め込み符号化器３では、例えば、波形のど
の部分の画素値の変化パターンを入れ替えるのかや、画
素値の変化パターンをどの程度大きく変化させるのかな
どが、付加情報にしたがって決定されることになる。一
方、埋め込み復号器６では、符号化後の信号、即ち、大
きく異なる画素値の変化パターンを一部に有する波形
を、周辺の画素値の変化パターンは連続しており、離れ
るほど、画素値の変化パターンが異なるという連続性の
偏りを利用して、元の波形に戻すことが、その元の波形
を復号することとなる。さらに、その復号に際し、埋め
込み復号器６において、例えば、波形のどの部分の画素
値の変化パターンが大きく変化していたのかや、画素値
の変化パターンがどの程度大きく変化していたのかなど
を検出することが、埋め込まれた付加情報を復号するこ
とになる。

【００４６】次に、情報の相似性についてであるが、例
えば、風景を撮影した画像等の一部は、画像のフラクタ
ル性（自己相似性）を利用して生成することができるこ
とが知られている。即ち、例えば、図５（Ａ）に示すよ
うな、海４０１と森４０２を撮影した画像においては、
海４０１全体の画素値の変化パターンと、その海４０１
の一部の画素値の変化パターンとの相似性は高いが、そ
れらの変化パターンと、海４０１から離れた森４０２の
画素値の変化パターンとの相似性は低いという相似性の
偏りがある。ここで、画像の相似性は、上述のように画
素値の変化パターンを比較して考えるのではなく、エッ
ジ形状を比較して考えても良い。

【００４７】そこで、いま、図５（Ａ）に示した海４０
１の一部４０３と、森４０２の一部４０４とを入れ替え
る。

【００４８】この場合、画像の相似性の偏りが破壊さ
れ、図５（Ｂ）に示すような画像が得られる。しかしな
がら、近接する部分の画素値の変化パターンは相似性が
高く、離れるほど、画素値の変化パターンの相似性が低
くなるという相似性の偏りを利用することにより、破壊
された相似性の偏りを復元することができる。即ち、図
５（Ｂ）において、海４０１の画像の一部が、海４０１
と相似性の低い森４０２の画像の一部４０４になってい
ること、および森４０２の画像の一部が、森４０２と相
似性の低い海４０１の画像の一部４０３となっているこ
とは、画像が有する本来の相似性の偏りからすれば、明
らかに不自然である。具体的には、図５（Ｂ）におい
て、海４０１の画像の中の、森４０２の画像の一部４０
４についての相似性は、海４０１の他の部分についての
相似性に比較して極端に低くなっており、また、森４０
２の画像の中の、海４０１の画像の一部４０３について
の相似性も、森４０２の他の部分についての相似性に比
較して極端に低くなっている。

【００４９】従って、画像が本来有する相似性の偏りか
らすれば、海４０１の画像の一部となっている、森４０
２の画像の一部４０４と、森４０２の画像の一部となっ
ている、海４０１の画像の一部４０３とは入れ替えるべ
きである。そして、そのような入れ替えを行うことで、
画像の相似性の偏りが復元され、これにより、図５
（Ｂ）に示した画像から、図５（Ａ）に示した元の画像
を復号することができる。

【００５０】ここで、図５で説明した場合においては、
海４０１の画像の一部４０３と、森４０２の画像の一部
４０４とを入れ替えることが、画像の符号化を行うこと
となる。また、その符号化に際し、埋め込み符号化器３
では、例えば、海４０１の画像のどの部分（画面上の位
置）と、森４０２の画像のどの部分とを入れ替えるのか
などが、付加情報にしたがって決定されることになる。
一方、埋め込み復号器６では、符号化後の信号、即ち、
海４０１の一部が、森４０２の一部４０４となっている
とともに、森４０２の一部が、海４０１の一部４０３と
なっている画像を、周辺の画素値の変化パターンの相似
性は高く、離れるほど、画素値の変化パターンの相似性
が低くなっていくという相似性の偏りを利用して、元の
画像に戻すことが、その元の画像を復号することとな
る。さらに、その復号に際し、埋め込み復号器６におい
て、例えば、海の画像のどの部分と、森の画像のどの部
分とが入れ替えられていたのかなどを検出することが、
埋め込まれた付加情報を復号することになる。

【００５１】以上のように、埋め込み符号化器３におい
て、符号化対象の画像が有するエネルギの偏りを利用し
て復号を行うことができるように、その画像を、付加情
報にしたがって符号化して、符号化データを出力する場
合には、埋め込み復号器６では、その符号化データを、
画像が有するエネルギの偏りを利用することにより、復
号のためのオーバヘッドなしで、元の画像および付加情
報に復号することができる。

【００５２】また、符号化対象の画像には、付加情報が
埋め込まれることで、その埋め込みの結果得られる画像
は、元の画像と異なる画像とされ、人が価値ある情報と
して認識することのできる画像ではなくなることから、
符号化対象の画像については、オーバヘッドなしの暗号
化を実現することができる。

【００５３】さらに、完全可逆の電子透かしを実現する
ことができる。即ち、従来の電子透かしでは、例えば、
画質にあまり影響のない画素値の下位ビットが、電子透
かしに対応する値に、単に変更されていたが、この場
合、その下位ビットを、元の値に戻すことは困難であ
る。従って、復号画像の画質は、電子透かしとしての下
位ビットの変更により、少なからず劣化する。これに対
して、符号化データを、元の画像が有するエネルギの偏
りを利用して復号する場合には、劣化のない元の画像お
よび付加情報を得ることができ、従って、付加情報を電
子透かしとして用いることで、電子透かしに起因して復
号画像の画質が劣化することはない。

【００５４】また、埋め込まれた付加情報は、符号化デ
ータから画像を復号することで取り出すことができるの
で、画像の符号化結果とともに、オーバヘッドなしでサ
イドインフォメーションを提供することができる。言い
換えれば、付加情報を取り出すためのオーバヘッドなし
で、その付加情報を画像に埋め込むことができるので、
その埋め込みの結果得られる符号化データは、付加情報
の分だけ圧縮（埋め込み圧縮）されているということが
できる。従って、例えば、ある画像の半分を符号化対象
とするとともに、残りの半分を付加情報とすれば、符号
化対象である半分の画像に、残りの半分の画像を埋め込
むことができるから、この場合、画像は、単純には、１
／２に圧縮されることになる。

【００５５】さらに、符号化データは、元の画像が有す
るエネルギの偏りという、いわば統計量を利用して復号
されるため、誤りに対する耐性の強いものとなる。即
ち、ロバスト性の高い符号化であるロバスト符号化（統
計的符号化）を実現することができる。

【００５６】また、符号化データは、元の画像が有する
エネルギの偏りを利用して復号されるため、そのエネル
ギの偏りに特徴があるほど、即ち、例えば、画像につい
ては、そのアクティビティが高いほど、あるいは、冗長
性が低いほど、多くの付加情報を埋め込むことができ
る。ここで、上述したように、付加情報の埋め込みの結
果得られる符号化データは、付加情報の分だけ圧縮され
ているということができるが、この圧縮という観点から
すれば、符号化対象の情報が有するエネルギの偏りを利
用して復号を行うことができるように、その情報を、付
加情報にしたがって符号化する方式（埋め込み符号化方
式）によれば、画像のアクティビティが高いほど、ある
いは、画像の冗長性が低いほど、圧縮率が高くなる。こ
の点、埋め込み符号化方式は、従来の符号化方式と大き
く異なる（従来の符号化方式である、例えばＭＰＥＧ
（Moving Picture Experts Group）方式などでは、基本
的に、画像のアクティビティが高いほど、あるいは、画
像の冗長性が低いほど、圧縮率は低くなる）。

【００５７】さらに、例えば、上述したように、画像を
符号化対象とする一方、付加情報として、画像とは異な
るメディアの、例えば、音声を用いるようにすること
で、音声をキーとして、画像の提供を行うようなことが
可能となる。即ち、符号化装置１０側において、例え
ば、契約者が発話した音声「開けゴマ」など付加情報と
して画像に埋め込んでおき、復号装置２０側では、ユー
ザに、音声「開けゴマ」を発話してもらい、その音声
と、画像に埋め込まれた音声とを用いて話者認識を行う
ようにする。このようにすることで、例えば、話者認識
の結果、ユーザが契約者である場合にのみ、自動的に、
画像を提示するようなことが可能となる。なお、この場
合、付加情報としての音声は、いわゆる特徴パラメータ
ではなく、音声波形そのものを用いることが可能であ
る。

【００５８】また、例えば、音声を符号化対象とする一
方、付加情報として、音声とは異なるメディアの、例え
ば、画像を用いるようにすることで、画像をキーとし
て、音声の提供を行うようなこと（例えば、顔認識後の
音声応答）が可能となる。即ち、符号化装置１０側にお
いて、例えば、ユーザへの応答としての音声に、そのユ
ーザの顔の画像を埋め込み、復号装置２０側では、ユー
ザの顔を撮影し、その結果得られる画像とマッチングす
る顔画像が埋め込まれている音声を出力するようにする
ことで、ユーザごとに異なる音声応答を行う音声応答シ
ステムを実現することが可能となる。

【００５９】さらに、音声に、音声を埋め込んだり、画
像に、画像を埋め込んだりするような、あるメディアの
情報に、それと同一メディアの情報を埋め込むようなこ
とも可能である。あるいは、また、画像に、契約者の音
声と顔画像を埋め込んでおけば、ユーザの音声と顔画像
とが、画像に埋め込まれているものと一致するときの
み、その画像を提示するようにする、いわば二重鍵シス
テムなどの実現も可能となる。

【００６０】また、例えば、テレビジョン放送信号を構
成する、いわば同期した画像と音声のうちのいずれか一
方に、他方を埋め込むようなことも可能であり、この場
合、異なるメディアの情報どうしを統合した、いわば統
合符号化を実現することができる。

【００６１】さらに、埋め込み符号化方式では、上述し
たように、情報には、そのエネルギの偏りに特徴がある
ほど、多くの付加情報を埋め込むことができる。従っ
て、例えば、ある２つの情報について、エネルギの偏り
に特徴がある方を適応的に選択し、その選択した方に、
他方を埋め込むようにすることで、全体のデータ量を制
御することが可能となる。即ち、２つの情報どうしの間
で、一方の情報によって、他方の情報量を、いわば吸収
するようなことが可能となる。そして、このように全体
のデータ量を制御することができる結果、伝送路の伝送
帯域や使用状況、その他の伝送環境にあったデータ量に
よる情報伝送（環境対応ネットワーク伝送）が可能とな
る。

【００６２】また、例えば、画像に、その画像を縮小し
た画像を埋め込むことで（あるいは、音声に、その音声
を間引いたものを埋め込むことで）、データ量を増加す
ることなく、いわゆる階層符号化（下位階層の情報を少
なくすることにより、上位階層の情報を生成する符号
化）を実現することができる。

【００６３】さらに、例えば、画像に、その画像を検索
するためのキーとなる画像を埋め込んでおくことで、そ
のキーとなる画像に基づいて、画像の検索を行うデータ
ベースを実現することが可能となる。

【００６４】次に、図６は、画像の相関性を利用して元
に戻すことができるように、画像に付加情報を埋め込む
埋め込み符号化を行う場合の図１の埋め込み符号化器３
のハードウェアの構成例を示している。

【００６５】画像データベース１から供給される画像
は、フレームメモリ３１に供給されるようになされてお
り、フレームメモリ３１は、画像データベース１からの
画像を、例えば、フレーム単位で一時記憶するようにな
されている。

【００６６】ＣＰＵ（Central Processing Unit）３２
は、プログラムメモリ３３に記憶されたプログラムを実
行することで、後述する埋め込み符号化処理を行うよう
になされている。即ち、ＣＰＵ３２は、プログラムメモ
リ３３に記憶されたプログラムにしたがって、付加情報
データベース２から供給される付加情報を受信し、その
付加情報を、フレームメモリ３１に記憶された画像に埋
め込むように、埋め込み符号化器３全体を制御するよう
になされている。具体的には、ＣＰＵ３２は、フレーム
メモリ３１に記憶された画像を構成する、例えば、水平
方向の１ライン（水平方向に並ぶ一連の画素）を、付加
情報に基づいて、水平方向にずらすことで、各ライン
に、付加情報を埋め込むようになされている。この付加
情報が埋め込まれた画像は、符号化データとして出力さ
れるようになされている。

【００６７】プログラムメモリ３３は、例えば、ＲＯＭ
（Read Only Memory）やＲＡＭ（Random Access Memor
y）などで構成され、ＣＰＵ３２に、埋め込み符号化処
理を行わせるためのコンピュータプログラムや必要なデ
ータを記憶している。

【００６８】なお、フレームメモリ３１は、複数のフレ
ームを記憶することのできるように、複数バンクで構成
されており、バンク切り替えを行うことで、フレームメ
モリ３１では、画像データベース１から供給される画像
の記憶、ＣＰＵ３２による埋め込み符号化処理の対象と
なっている画像の記憶、および埋め込み符号化処理後の
画像（符号化データ）の出力を、同時に行うことができ
るようになされている。これにより、画像データベース
１から供給される画像が、動画であっても、符号化デー
タのリアルタイム出力を行うことができるようになされ
ている。

【００６９】次に、図７は、図６の埋め込み符号化器３
の機能的な構成例を示している。なお、この図７に示し
た機能的な構成は、ＣＰＵ３２がプログラムメモリ３３
に記憶されたコンピュータプログラムを実行することで
実現されるようになされている。

【００７０】フレームメモリ３１は、図６で説明したよ
うに、画像データベース１から供給される画像を一時記
憶するようになされている。ラインスライド部３６は、
付加情報データベース２から付加情報を読み出し、その
付加情報に対応したずらし量だけ、フレームメモリ３１
に記憶された画像を構成する所定のラインを、水平方向
にずらすことにより、そのラインに、付加情報を埋め込
み、符号化データとして出力するようになされている。

【００７１】次に、図８のフローチャートを参照して、
図７の埋め込み符号化器３において行われる埋め込み符
号化処理について説明する。

【００７２】画像データベース１からは、そこに記憶さ
れている画像が読み出され、フレームメモリ３１に、順
次供給されて記憶される。

【００７３】一方、ラインスライド部３６では、ステッ
プＳ１において、フレームメモリ３１に記憶された画像
を構成する所定の１ラインが読み出され、ステップＳ２
に進み、その読み出されたライン（以下、適宜、注目ラ
インという）が、第１ライン（１フレームの画像の最上
行のライン）であるかどうかが判定される。ステップＳ
２において、注目ラインが第１ラインであると判定され
た場合、ステップＳ３に進み、ラインスライド部３６
は、その第１ラインを、そのまま、符号化データとして
出力し、ステップＳ４乃至Ｓ６をスキップして、ステッ
プＳ７に進む。

【００７４】また、ステップＳ２において、注目ライン
が第１ラインでないと判定された場合、即ち、注目ライ
ンが、第２ライン以降のいずれかのラインである場合、
ステップＳ４に進み、ラインスライド部３６は、注目ラ
インに埋め込むべき付加情報を、付加情報データベース
２から読み出し、ステップＳ５に進む。ステップＳ５で
は、ラインスライド部３６において、注目ラインが、ス
テップＳ４で読み出された付加情報に対応する画素数分
だけ、水平方向にローテーションされる。

【００７５】即ち、例えば、いま、図９（Ａ）に示すよ
うに、第Ｎライン（Ｎ≠１）が注目ラインとされている
とすると、ラインスライド部３６は、図９（Ｂ）に示す
ように、その第Ｎラインを、付加情報の値と同一の画素
数だけ、水平方向である左または右方向のうちの、例え
ば右方向にスライドする（ずらす）。そして、ラインス
ライド部３６は、そのスライドにより、フレームの右に
はみ出した第Ｎラインの部分を、図９（Ｃ）に示すよう
に、その第Ｎラインの左側にはめ込む。

【００７６】なお、ここでは、ラインを、付加情報の値
と同一の画素数だけローテーションするようにしたが、
その他、例えば、ローテーションは、付加情報に関連す
る値と同一の画素数だけ行うようにすることも可能であ
る。即ち、例えば、付加情報が画像データである場合に
は、ローテーションは、その画像データの特徴量である
画素値のヒストグラムや、分散、ダイナミックレンジ等
から得られる値と同一の画素数だけ行うようにすること
が可能である。

【００７７】ラインスライド部３６は、注目ラインをロ
ーテーションした後、ステップＳ６に進み、そのローテ
ーション後の注目ラインを、符号化データとして出力
し、ステップＳ７に進む。

【００７８】ステップＳ７では、フレームメモリ３１
に、まだ読み出していない画像が記憶されているかどう
かが判定され、記憶されていると判定された場合、ステ
ップＳ１に戻り、例えば、いままで注目ラインとされて
いた１ライン下のライン（または、新たなフレームの第
１ライン）が、新たに注目ラインとして読み出され、以
下、同様の処理が繰り返される。

【００７９】また、ステップＳ７において、フレームメ
モリ３１に、まだ読み出していない画像が記憶されてい
ないと判定された場合、埋め込み符号化処理を終了す
る。

【００８０】以上のような埋め込み符号化処理によれ
ば、ある１フレームの画像は、次のような符号化データ
に符号化される。

【００８１】即ち、例えば、図１０（Ａ）に示すような
画像に、付加情報として、１０，１５０，２００，・・
・を埋め込む場合においては、図１０（Ｂ）に示すよう
に、第１ラインは、そのまま出力され、第２ラインは、
最初の付加情報と同一の値である１０画素だけ、右方向
にローテーションされる。さらに、第３ラインは、２番
目の付加情報と同一の値である１５０画素だけ、右方向
にローテーションされ、第４ラインは、３番目の付加情
報と同一の値である２００画素だけ、右方向にローテー
ションされる。第５ライン以降も、同様に、付加情報に
対応する画素数だけ、右方向にローテーションされてい
く。

【００８２】以上のように、フレームメモリ３１に記憶
された画像を構成するラインを、付加情報に対応した画
素数だけ、右方向にローテーションすることにより、各
ラインに、付加情報を埋め込む場合には、その逆のロー
テーション（逆方向へのローテーション）を行うこと
で、元の画像を復号することができ、さらに、その逆の
ローテーションを行ったときのローテーション量が付加
情報となる。従って、画像の画質の劣化を極力なくし、
かつデータ量を増加せずに、画像に付加情報を埋め込む
ことができる。

【００８３】即ち、付加情報が埋め込まれたラインとし
てのローテーションされたラインは、画像の相関性、即
ち、ここでは、正しい位置にあるラインとの間の相関を
利用することにより、オーバヘッドなしで、正しい位置
のラインと付加情報に復号ことができる（ラインを、正
しい位置に逆ローテーションするとともに、付加情報を
復号することができる）。従って、その結果得られる復
号画像（再生画像）には、基本的に、付加情報を埋め込
むことによる画質の劣化は生じない。

【００８４】なお、符号化データに、正しい位置にある
ラインが存在しない場合には、上述のように画像の相関
性を利用して、画像と付加情報を復号するのは困難であ
る。そこで、ここでは、図８の埋め込み符号化処理にお
いて、各フレームの第１ラインには、付加情報を埋め込
まないで（ローテーションしないで）、そのまま、符号
化データとして出力するようにしている。

【００８５】次に、図１１は、図７の埋め込み符号化器
３が出力する符号化データを、画像の相関性を利用して
元の画像と付加情報に復号する図１の埋め込み復号器６
のハードウェアの構成例を示している。

【００８６】符号化データ、即ち、付加情報が埋め込ま
れた画像（以下、適宜、埋め込み画像ともいう）は、フ
レームメモリ４１に供給されるようになされており、フ
レームメモリ４１は、埋め込み画像を、例えば、フレー
ム単位で一時記憶するようになされている。なお、フレ
ームメモリ４１も、図６のフレームメモリ３１と同様に
構成され、バンク切り替えを行うことにより、埋め込み
画像が、動画であっても、そのリアルタイム処理が可能
となっている。

【００８７】ＣＰＵ４２は、プログラムメモリ４３に記
憶されたプログラムを実行することで、後述する埋め込
み復号処理を行うようになされている。即ち、ＣＰＵ４
２は、フレームメモリ４１に記憶された埋め込み画像
を、画像の相関性を利用して元の画像と付加情報に復号
するようになされている。具体的には、ＣＰＵ４２は、
埋め込み画像を構成するラインについて、そのライン
を、水平方向に、例えば、１画素ずつローテーションし
ながら、その１ライン上のラインとの相関を計算する。
そして、その相関が最大になるときのローテーション量
を、付加情報の復号結果として出力するとともに、その
ローテーション量だけローテーションしたラインを、ラ
インの復号結果として出力する。

【００８８】プログラムメモリ４３は、例えば、図６の
プログラムメモリ３３と同様に構成され、ＣＰＵ４２
に、埋め込み復号化処理を行わせるためのコンピュータ
プログラムなどを記憶している。

【００８９】次に、図１２は、図１１の埋め込み復号器
６の機能的な構成例を示している。なお、この図１２に
示した機能的な構成は、ＣＰＵ４２がプログラムメモリ
４３に記憶されたコンピュータプログラムを実行するこ
とで実現されるようになされている。

【００９０】フレームメモリ４１は、図１１で説明した
ように、埋め込み画像を一時記憶するようになされてい
る。

【００９１】ライン相関計算部４６は、フレームメモリ
４１に記憶された埋め込み画像の所定のラインを読み出
し、そのラインを、１画素ずつ右または左のうちのいず
れか一方向にローテーションしながら、そのローテーシ
ョン後のラインと、その１つ上の行のラインとの間の相
関を表す相関値を演算するようになされている。即ち、
ライン相関計算部４６は、図１３（Ａ）に示すように、
フレームメモリ４１に記憶された埋め込み画像の復号対
象のライン（このラインも、以下、適宜、注目ラインと
いう）と、その１ライン上のライン（このラインは、注
目ラインを復号するための、いわばキーとなるため、以
下、適宜、キーラインという）とを読み出し、そのライ
ンどうしの相関値を計算する。さらに、ライン相関計算
部４６は、図１３（Ｂ）に示すように、注目ラインを、
１画素だけ右または左のうちのいずれかにローテーショ
ンし（図１３では、図９で説明した場合の逆方向である
左方向にローテーションしている）、そのローテーショ
ン後の注目ラインとキーラインラインとの間の相関値を
演算する。以下、同様にして、ライン相関計算部４６
は、注目ラインが元の位置（埋め込み画像上の元の位
置）に戻るまで、注目ラインをローテーションしなが
ら、キーラインとの間の相関値を計算する。

【００９２】ここで、キーラインと注目ラインとの相関
を表す相関値としては、例えば、図１３（Ｂ）に示すよ
うに、キーラインと注目ラインの対応する画素５０１と
５０２、５０３と５０４、・・・それぞれの差分絶対値
（差分の絶対値）の総和や、その差分の２乗和等を用い
ることができる。なお、この場合、相関値が小さいこと
は、キーラインと注目ラインとの相関が大きいことを表
し、逆に、相関値が大きいことは、キーラインと注目ラ
インとの相関が小さいことを表す。

【００９３】ライン相関計算部４６において求められた
各ローテーション量での注目ラインとキーラインとの相
関値は、すべてローテーション量決定部４７に供給され
るようになされている。ローテーション量決定部４７
は、ライン相関計算部４６から供給される相関値に基づ
き、注目ラインとキーラインとの相関が最大になるとき
の注目ラインのローテーション量を検出し、そのローテ
ーション量を、注目ラインの最終的なローテーション量
（以下、適宜、決定ローテーション量という）として決
定するようになされている。この決定ローテーション量
は、付加情報の復号結果として出力されるとともに、ラ
インスライド部４８に供給されるようになされている。

【００９４】ラインスライド部４８は、フレームメモリ
４１に記憶された注目ラインを、ローテーション量決定
部４７から供給されるローテーション量だけ、ライン相
関計算部４６における場合と同様の左方向にローテーシ
ョンし、さらに、そのローテーション後の注目ラインを
読み出し、その注目ラインの復号結果として出力するよ
うになされている。

【００９５】次に、図１４のフローチャートを参照し
て、図１２の埋め込み復号器６において行われる埋め込
み復号処理について説明する。

【００９６】フレームメモリ４１では、そこに供給され
る埋め込み画像（符号化データ）が、例えば、１フレー
ム単位で順次記憶される。

【００９７】一方、ライン相関計算部４６では、ステッ
プＳ１１において、フレームメモリ４１に記憶された埋
め込み画像の所定の１ラインが、注目ラインとして読み
出され、ステップＳ１２に進み、その注目ラインが、第
１ラインであるかどうかが判定される。ステップＳ１２
において、注目ラインが、第１ラインであると判定され
た場合、ステップＳ１３に進み、ラインスライド部４８
は、第１ラインである注目ラインを、フレームメモリ４
１から読み出し、そのまま出力して、ステップＳ１４乃
至Ｓ１９をスキップして、ステップＳ２０に進む。即
ち、本実施の形態では、上述したことから、第１ライン
には、付加情報が埋め込まれていないため（従って、ロ
ーテーションされていない）、第１ラインは、そのまま
出力される。

【００９８】また、ステップＳ１２において、注目ライ
ンが、第１ラインでないと判定された場合、即ち、注目
ラインが、第２ライン以降のいずれかのラインである場
合、ステップＳ１４に進み、ライン相関計算部４６は、
注目ラインの１ライン上のラインをキーラインとして、
フレームメモリ４１から読み出し、ステップＳ１５に進
む。ステップＳ１５では、ライン相関計算部４６におい
て、注目ラインとキーラインとの間の相関値（ライン相
関値）が計算され、ローテーション決定部４７に出力さ
れる。

【００９９】ここで、ライン相関計算部４６では、例え
ば、注目ラインを構成する各画素と、その画素と同一列
にあるキーラインの画素との差分の絶対値和または自乗
和が、注目ラインとキーラインとの間の相関値として計
算される。従って、ここでは、この「相関値」が最小の
値をとるときが、注目ラインとキーラインとの間の「相
関」が最大になる。

【０１００】ステップＳ１５の処理後は、ステップＳ１
６に進み、ライン相関計算部４６において、注目ライン
が、左方向に、１画素だけローテーションされる。そし
て、ステップＳ１７に進み、ステップＳ１６で注目ライ
ンがローテーションされることにより、そのローテーシ
ョン後の注目ラインの各画素が、フレームメモリ４１に
記憶されている注目ラインの各画素の位置に戻ったかど
うかが判定される。

【０１０１】ステップＳ１７において、ローテーション
後の注目ラインの各画素が、フレームメモリ４１に記憶
されている注目ラインの各画素の位置に戻っていないと
判定された場合、ステップＳ１５に戻り、ローテーショ
ン後の注目ラインとキーラインとの間の相関値が計算さ
れ、以下、同様の処理が繰り返される。

【０１０２】また、ステップＳ１７において、ローテー
ション後の注目ラインの各画素が、フレームメモリ４１
に記憶されている注目ラインの各画素の位置に戻ったと
判定された場合、ステップＳ１８に進み、ローテーショ
ン量決定部４８において、ライン相関計算部４６から供
給される相関値に基づき、注目ラインとキーラインとの
相関が最大になるときの注目ラインのローテーション量
が、決定ローテーション量として決定される。さらに、
ローテーション量決定部４７は、その決定ローテーショ
ン量を、ラインスライド部４８に供給するとともに、注
目ラインに埋め込まれていた付加情報の復号結果として
出力し、ステップＳ１９に進む。

【０１０３】ステップＳ１９では、ラインスライド部４
８において、フレームメモリ４１に記憶された注目ライ
ンが、ローテーション量決定部４７から供給されたロー
テーション量だけ、ライン相関計算部４６における場合
と同様の左方向にローテーションされる。さらに、ライ
ンスライド部４８は、その左方向のローテーション後の
注目ラインを読み出し、その注目ラインの復号結果とし
て出力し、ステップＳ２０に進む。

【０１０４】ステップＳ２０では、フレームメモリ４１
に、まだ処理していない埋め込み画像が記憶されている
かどうかが判定され、記憶されていると判定された場
合、ステップＳ１１に戻り、例えば、いままで注目ライ
ンとされていた１ライン下のライン（または、新たな埋
め込み画像のフレームの第１ライン）が、新たに注目ラ
インとして読み出され、以下、同様の処理が繰り返され
る。

【０１０５】また、ステップＳ２０において、フレーム
メモリ４１に、まだ処理していない埋め込み画像が記憶
されていないと判定された場合、埋め込み復号処理を終
了する。

【０１０６】以上のように、付加情報が埋め込まれた画
像である符号化データを、画像の相関性を利用して、元
の画像と付加情報に復号するようにしたので、その復号
のためのオーバヘッドがなくても、符号化データを、元
の画像と付加情報に復号することができる。従って、そ
の復号画像には、基本的に、付加情報を埋め込むことに
よる画質の劣化は生じない。

【０１０７】なお、本実施の形態では、注目ラインと、
キーラインとの間の相関を表す相関値として、対応する
画素どうしの差分絶対値の総和または自乗和を用いるよ
うにしたが、相関値は、これに限定されるものではな
い。

【０１０８】さらに、本実施の形態では、１ラインを、
１の付加情報にしたがってローテーションするようにし
たため、１ラインを構成する画素数だけの範囲内の値の
付加情報の埋め込みが可能であるが、１ラインを構成す
る画素数より大きい範囲内の値の付加情報の埋め込み
は、例えば、２ラインなどの複数ラインを、１の付加情
報にしたがってローテーションするようにすることで行
うことが可能である。

【０１０９】また、本実施の形態では、画像の水平方向
に並ぶ画素であるラインを、付加情報にしたがってロー
テーションするようにしたが、その他、例えば、図１５
（Ａ）に示すように、画像の垂直方向の画素の並びをロ
ーテーションしたり、あるいは、図１５（Ｂ）や図１５
（Ｃ）に示すように、画像の斜め方向の画素の並びをロ
ーテーションするようにすることも可能である。さら
に、例えば、時間方向に並ぶ所定数のフレームの同一位
置にある画素の並びをローテーションしたり、水平方
向、垂直方向、斜め方向、または時間方向うちの２方向
以上について同時にローテーションするようにすること
も可能である。

【０１１０】また、本実施の形態では、各フレームの第
１ラインだけはローテーションしないようにしたが（ロ
ーテーションを禁止したが）、その他、例えば、最下行
のラインだけをローテーションしないようにすることも
可能である。この場合、埋め込み復号処理では、より下
の行のラインから、順次、注目ラインとし、注目ライン
の１ライン下のラインをキーラインとして復号を行えば
良い。

【０１１１】さらに、例えば、各フレームのラインを１
行おきにローテーションしないようにすることなども可
能である。この場合、埋め込み復号処理において、ロー
テーションしたラインの上下のラインをキーラインとし
て復号を行うことで、より精度良く、復号を行うことが
可能となる。

【０１１２】また、本実施の形態では、注目ラインの１
ライン上のラインだけをキーラインとして、埋め込み復
号を行うようにしたが、その他、例えば、注目ラインの
上にある２以上のラインをキーラインとすることも可能
である。

【０１１３】さらに、本実施の形態では、各フレームの
第１ラインだけはローテーションしないようにしたが、
各フレームの第１ラインも含むすべてのラインをローテ
ーションの対象とすることも可能である。

【０１１４】また、付加情報として用いる情報は、特に
限定されるものではなく、例えば、画像や、音声、テキ
スト、コンピュータプログラム、制御信号、その他のデ
ータを付加情報として用いることが可能である。なお、
画像データベース１の画像の一部を付加情報とし、残り
を、フレームメモリ３１への供給対象とすれば、その残
りの部分に、付加情報とされた画像の一部分が埋め込ま
れるから、画像の圧縮が実現されることになる。

【０１１５】さらに、本実施の形態では、付加情報を、
画像に埋め込むようにしたが、付加情報は、その他、例
えば、音声に埋め込むことも可能である。即ち、例え
ば、時系列の音声データを、適当なフレームに区切り、
各フレームの音声データを、付加情報にしたがって時間
方向等にローテーションすることで、付加情報を、音声
に埋め込むことが可能である。

【０１１６】また、本実施の形態では、付加情報が埋め
込まれた埋め込み画像を、画像の相関性に基づいて、付
加情報と元の画像に復号するようにしたが、埋め込み画
像は、その他、上述の連続性や相似性に基づいて復号す
ることも可能である。即ち、埋め込み画像の復号は、注
目しているラインと、それに隣接するライン等との連続
性や相似性の関係を表す値を求め、その値に基づいて行
うことが可能である。

【０１１７】さらに、本実施の形態では、ＣＰＵ３２ま
たは４２に、コンピュータプログラムを実行させること
で、埋め込み符号化処理または埋め込み復号処理をそれ
ぞれ行うようにしたが、これらの処理は、それ専用のハ
ードウェアによって行うことも可能である。

【０１１８】また、本実施の形態では、ＣＰＵ３２また
は４２に実行させるコンピュータプログラムを、プログ
ラムメモリ３３または４３にそれぞれ記憶させておくよ
うにしたが、このコンピュータプログラムは、例えば、
半導体メモリ、磁気テープ、磁気ディスク、光ディス
ク、光磁気ディスク、相変化ディスクなどの記録媒体
や、インターネット、地上波、衛星回線、公衆網、ＣＡ
ＴＶ（Cable Television）網などの伝送媒体を介して提
供するようにすることが可能である。

【０１１９】次に、上述した一連の処理は、コンピュー
タに、プログラムをインストールして行わせることが可
能である。

【０１２０】そこで、図１６を参照して、上述した一連
の処理を実行するプログラムをコンピュータにインスト
ールし、コンピュータによって実行可能な状態とするた
めに用いられる、そのプログラムが記録されている記録
媒体について説明する。

【０１２１】プログラムは、図１６（Ａ）に示すよう
に、コンピュータ６０１に内蔵されている記録媒体とし
てのハードディスク６０２や半導体メモリ６０３に予め
記録しておくことができる。

【０１２２】あるいはまた、プログラムは、図１６
（Ｂ）に示すように、フロッピーディスク６１１、CD-R
OM(Compact Disc Read Only Memory)６１２，MO(Magnet
o optical)ディスク６１３，DVD(Digital Versatile Di
sc)６１４、磁気ディスク６１５、半導体メモリ６１６
などの記録媒体に、一時的あるいは永続的に格納（記
録）しておくことができる。このような記録媒体は、い
わゆるパッケージソフトウエアとして提供することがで
きる。

【０１２３】なお、プログラムは、上述したような記録
媒体からコンピュータにインストールする他、図１６
（Ｃ）に示すように、ダウンロードサイト６２１から、
ディジタル衛星放送用の人工衛星６２２を介して、コン
ピュータ６０１に無線で転送したり、LAN(Local Area N
etwork)、インターネットといったネットワーク６３１
を介して、コンピュータ６０１に有線で転送し、コンピ
ュータ６０１において、内蔵するハードディスク６０２
などにインストールすることができる。

【０１２４】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１２５】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０１２６】次に、図１７は、図１６のコンピュータ６
０１の構成例を示している。

【０１２７】コンピュータ６０１は、図１７に示すよう
に、CPU(Central Processing Unit)６４２を内蔵してい
る。CPU６４２には、バス６４１を介して、入出力イン
タフェース６４５が接続されており、CPU６４２は、入
出力インタフェース６４５を介して、ユーザによって、
キーボードやマウス等で構成される入力部６４７が操作
されることにより指令が入力されると、それにしたがっ
て、図１６（Ａ）の半導体メモリ６０３に対応するROM
(Read Only Memory)６４３に格納されているプログラム
を実行する。あるいは、また、CPU６４２は、ハードデ
ィスク６０２に格納されているプログラム、衛星６２２
若しくはネットワーク６３１から転送され、通信部６４
８で受信されてハードディスク６０２にインストールさ
れたプログラム、ドライブ６４９に装着されたフロッピ
ディスク６１１、CD-ROM６１２、MOディスク６１３、DV
D６１４、若しくは磁気ディスク６１５から読み出され
てハードディスク６０２にインストールされたプログラ
ム、または半導体メモリ６１６から読み出されたプログ
ラムを、RAM(Random Access Memory)６４４にロードし
て実行する。これにより、CPU６４２では、図８や図１
４に示したフローチャートにしたがった処理が行われ
る。そして、CPU６４２は、その処理結果を、例えば、
入出力インタフェース６４５を介して、必要に応じて、
LCD(Liquid CryStal Display)等で構成される表示部６
４６に出力し、あるいは、通信部６４８から送信等す
る。

【０１２８】

【発明の効果】本発明の符号化装置および符号化方法、
並びに第１の記録媒体によれば、第１のデータの少なく
とも一部のデータが記憶され、その記憶されたデータ
が、第２のデータにしたがってローテーションされるこ
とにより、第１のデータに、第２のデータに関連するデ
ータが埋め込まれる。従って、相関性等を利用して第１
および第２のデータを復号可能なように、符号化を行う
ことができる。

【０１２９】本発明の復号装置および復号方法、並びに
第２の記録媒体によれば、符号化データの少なくとも一
部のデータがローテーションされ、そのローテーション
された一部のデータと、その周辺にある周辺データとの
関係値が演算される。そして、その関係値に基づいて、
一部のデータをローテーションするローテーション量が
決定されることにより、第１のデータに埋め込まれた第
２のデータが復号され、さらに、決定されたローテーシ
ョン量に応じて、符号化データが、第１のデータに復号
される。従って、第１および第２のデータを復号するこ
とができる。

【０１３０】本発明のデータ処理装置によれば、第１の
データの少なくとも一部のデータが記憶され、その記憶
されたデータが、第２のデータにしたがってローテーシ
ョンされることにより、第１のデータに、第２のデータ
に関連するデータが埋め込まれて、符号化データとされ
る。一方、符号化データの少なくとも一部のデータがロ
ーテーションされ、そのローテーションされた一部のデ
ータと、その周辺にある周辺データとの関係値が演算さ
れる。そして、その関係値に基づいて、符号化データの
うちの一部のデータをローテーションするローテーショ
ン量が決定されることにより、第１のデータに埋め込ま
れた第２のデータが復号され、さらに、決定されたロー
テーション量に応じて、符号化データが、第１のデータ
に復号される。従って、相関性等を利用して第１および
第２のデータを復号可能なように、符号化を行い、か
つ、その復号を行うことができる。

【図面の簡単な説明】

【図１】本発明を適用した画像伝送システムの一実施の
形態の構成例を示すブロック図である。

【図２】符号化対象の画像を示す図である。

【図３】相関性を利用した符号化／復号を説明するため
の図である。

【図４】連続性を利用した符号化／復号を説明するため
の図である。

【図５】相似性を利用した符号化／復号を説明するため
の図である。

【図６】図１の埋め込み符号化器３のハードウェアの構
成例を示すブロック図である。

【図７】図６の埋め込み符号化器３の機能的構成例を示
すブロック図である。

【図８】埋め込み符号化処理を説明するためのフローチ
ャートである。

【図９】図８におけるステップＳ５の処理を説明するた
めの図である。

【図１０】埋め込み符号化処理の結果を説明するための
図である。

【図１１】図１の埋め込み復号器６のハードウェアの構
成例を示すブロック図である。

【図１２】図１１の埋め込み復号器６の機能的構成例を
示すブロック図である。

【図１３】図１２のライン相関計算部４６の処理を説明
するための図である。

【図１４】埋め込み復号処理を説明するためのフローチ
ャートである。

【図１５】ローテーションを行う画素の並びの例を示す
図である。

【図１６】本発明を適用した記録媒体を説明するための
図である。

【図１７】図１６のコンピュータ６０１の構成例を示す
ブロック図である。

【符号の説明】

１ 画像データベース， ２ 付加情報データベース，
３ 埋め込み符号化器， ４ 記録媒体， ５ 伝送
媒体， ６ 埋め込み復号器， １０ 符号化装置，
２０ 復号装置， ３１ フレームメモリ， ３２ Ｃ
ＰＵ， ３３プログラムメモリ， ３６ ラインスライ
ド部， ４１ フレームメモリ， ４２ ＣＰＵ， ４
３ プログラムメモリ， ４６ ライン相関計算部，
４７ローテーション量決定部， ４８ ラインスライド
部， ６０１ コンピュータ， ６０２ ハードディス
ク， ６０３ 半導体メモリ， ６１１ フロッピーデ
ィスク， ６１２ CD-ROM， ６１３ MOディスク，
６１４ DVD， ６１５ 磁気ディスク， ６１６ 半
導体メモリ， ６２１ ダウンロードサイト，６２２
衛星， ６３１ ネットワーク， ６４１ バス， ６
４２ CPU，６４３ ROM， ６４４ RAM， ６４５
入出力インタフェース， ６４６表示部， ６４７ 入
力部， ６４８ 通信部， ６４９ ドライブ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考）

Claims (17)

【特許請求の範囲】
1. 【請求項１】 第１のデータを、第２のデータにしたが
   って符号化する符号化装置であって、 前記第１のデータの少なくとも一部のデータを記憶する
   記憶手段と、 前記第２のデータにしたがって、前記記憶手段に記憶さ
   れた前記一部のデータをローテーションすることによ
   り、前記第１のデータに、前記第２のデータに関連する
   データを埋め込む符号化手段とを備えることを特徴とす
   る符号化装置。
2. 【請求項２】 前記第１および第２のデータを入力する
   入力手段をさらに備えることを特徴とする請求項１に記
   載の符号化装置。
3. 【請求項３】 前記第１のデータが、複数の画素データ
   から構成される画像データであり、 前記記憶手段は、前記画像データ上の所定方向に並ぶ一
   連の画素データを記憶し、 前記符号化手段は、前記記憶手段に記憶された前記一連
   の画素データを、前記第２のデータにしたがって前記所
   定方向にローテーションすることにより、前記画像デー
   タに、前記第２のデータに関連するデータを埋め込むこ
   とを特徴とする請求項１に記載の符号化装置。
4. 【請求項４】 前記符号化手段は、前記画像データ上の
   所定方向に並び、かつ前記画像データの画枠内にある前
   記一連の画素データを、前記第２のデータにしたがって
   前記所定方向にローテーションすることを特徴とする請
   求項３に記載の符号化装置。
5. 【請求項５】 前記符号化手段は、前記画像データ上の
   水平方向に並ぶ１ラインの画素データを、前記第２のデ
   ータにしたがって水平方向にローテションすることを特
   徴とする請求項３に記載の符号化装置。
6. 【請求項６】 前記第１のデータの一部は、前記符号化
   手段によるローテーションが禁止されていることを特徴
   とする請求項１に記載の符号化装置。
7. 【請求項７】 前記符号化手段は、前記一連の画素デー
   タを、前記第２のデータの値に相当する画素数に応じて
   前記所定方向にローテーションすることを特徴とする請
   求項３に記載の符号化装置。
8. 【請求項８】 第１のデータを、第２のデータにしたが
   って符号化する符号化方法であって、 前記第１のデータの少なくとも一部のデータを記憶する
   記憶ステップと、 前記第２のデータにしたがって、前記記憶ステップにお
   いて記憶された前記一部のデータをローテーションする
   ことにより、前記第１のデータに、前記第２のデータに
   関連するデータを埋め込む符号化ステップとを備えるこ
   とを特徴とする符号化方法。
9. 【請求項９】 第１のデータを、第２のデータにしたが
   って符号化する符号化処理を、コンピュータに行わせる
   プログラムが記録されている記録媒体であって、 前記第１のデータの少なくとも一部のデータを記憶する
   記憶ステップと、 前記第２のデータにしたがって、前記記憶ステップにお
   いて記憶された前記一部のデータをローテーションする
   ことにより、前記第１のデータに、前記第２のデータに
   関連するデータを埋め込む符号化ステップとを備えるプ
   ログラムが記録されていることを特徴とする記録媒体。
10. 【請求項１０】 第１のデータを、第２のデータにした
    がって符号化した符号化データを復号する復号装置であ
    って、 前記符号化データの少なくとも一部のデータをローテー
    ションするローテーション手段と、 前記ローテーション手段によりローテーションされた前
    記一部のデータと、その周辺にある周辺データとの関係
    を表す関係値を演算する関係値演算手段と、 前記関係値演算手段により求められた前記関係値に基づ
    いて、前記一部のデータをローテーションするローテー
    ション量を決定することにより、前記第１のデータに埋
    め込まれた前記第２のデータを復号する第２のデータ復
    号手段と、 前記第２のデータ復号手段により決定された前記ローテ
    ーション量に応じて、前記符号化データを、前記第１の
    データに復号する第１のデータ復号手段とを備えること
    を特徴とする復号装置。
11. 【請求項１１】 前記第２のデータ復号手段は、ローテ
    ーションされた前記一部のデータと、前記周辺データと
    の関係値を、前記ローテーション量を変えて求め、前記
    関係値が最大になるときの前記ローテーション量を決定
    することを特徴とする請求項１０に記載の復号装置。
12. 【請求項１２】 前記第１のデータが、複数の画素デー
    タから構成される画像データであり、 前記ローテーション手段は、前記符号化データ上の水平
    方向に並ぶ１ラインの画素データを、前記水平方向にロ
    ーテーションすることを特徴とする請求項１０に記載の
    復号装置。
13. 【請求項１３】 前記符号化データの一部は、前記ロー
    テーション手段によるローテーションが禁止されている
    ことを特徴とする請求項１０に記載の復号装置。
14. 【請求項１４】 前記第２のデータ復号手段は、決定し
    た前記ローテーション量に相当する値を、前記第２のデ
    ータとして復号することを特徴とする請求項１０に記載
    の復号装置。
15. 【請求項１５】 第１のデータを、第２のデータにした
    がって符号化した符号化データを復号する復号方法であ
    って、 前記符号化データの少なくとも一部のデータをローテー
    ションするローテーションステップと、 前記ローテーションステップにおいてローテーションさ
    れた前記一部のデータと、その周辺にある周辺データと
    の関係を表す関係値を演算する関係値演算ステップと、 前記関係値演算ステップにおいて求められた前記関係値
    に基づいて、前記一部のデータをローテーションするロ
    ーテーション量を決定することにより、前記第１のデー
    タに埋め込まれた前記第２のデータを復号する第２のデ
    ータ復号ステップと、 前記第２のデータ復号ステップにおいて決定された前記
    ローテーション量に応じて、前記符号化データを、前記
    第１のデータに復号する第１のデータ復号ステップとを
    備えることを特徴とする復号方法。
16. 【請求項１６】 第１のデータを、第２のデータにした
    がって符号化した符号化データを復号する復号処理を、
    コンピュータに行わせるプログラムが記録されている記
    録媒体であって、 前記符号化データの少なくとも一部のデータをローテー
    ションするローテーションステップと、 前記ローテーションステップにおいてローテーションさ
    れた前記一部のデータと、その周辺にある周辺データと
    の関係を表す関係値を演算する関係値演算ステップと、 前記関係値演算ステップにおいて求められた前記関係値
    に基づいて、前記一部のデータをローテーションするロ
    ーテーション量を決定することにより、前記第１のデー
    タに埋め込まれた前記第２のデータを復号する第２のデ
    ータ復号ステップと、 前記第２のデータ復号ステップにおいて決定された前記
    ローテーション量に応じて、前記符号化データを、前記
    第１のデータに復号する第１のデータ復号ステップとを
    備えるプログラムが記録されていることを特徴とする記
    録媒体。
17. 【請求項１７】 第１のデータを、第２のデータにした
    がって符号化して符号化データとし、その符号化データ
    を復号するデータ処理装置であって、 前記第１のデータの少なくとも一部のデータを記憶する
    記憶手段と、 前記第２のデータにしたがって、前記記憶手段に記憶さ
    れた前記第１のデータのうちの一部のデータをローテー
    ションすることにより、前記第１のデータに、前記第２
    のデータに関連するデータを埋め込み、前記符号化デー
    タとする符号化手段と、 前記符号化データの少なくとも一部のデータをローテー
    ションするローテーション手段と、 前記ローテーション手段によりローテーションされた前
    記符号化データのうちの一部のデータと、その周辺にあ
    る周辺データとの関係を表す関係値を演算する関係値演
    算手段と、 前記関係値演算手段により求められた前記関係値に基づ
    いて、前記符号化データのうちの一部のデータをローテ
    ーションするローテーション量を決定することにより、
    前記第１のデータに埋め込まれた前記第２のデータを復
    号する第２のデータ復号手段と、 前記第２のデータ復号手段により決定された前記ローテ
    ーション量に応じて、前記符号化データを、前記第１の
    データに復号する第１のデータ復号手段とを備えること
    を特徴とするデータ処理装置。