JP2002247340A

JP2002247340A - 画像データ処理方法および画像データ処理装置ならびに画像データ処理プログラムを記録した記録媒体

Info

Publication number: JP2002247340A
Application number: JP2001043731A
Authority: JP
Inventors: Mitsuhiro Inazumi; 満広稲積
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-02-20
Filing date: 2001-02-20
Publication date: 2002-08-30
Anticipated expiration: 2021-02-20
Also published as: JP3777993B2

Abstract

(57)【要約】【課題】主画像データに何らかの付加データを埋め込む
場合、付加データを主画像データとは別領域に埋め込む
と位置関係などの対応がとりにくい。【解決手段】付加データとその埋め込み位置を入力し
（ステップｓ１）、その埋め込み位置が表示最小値（表
示範囲を０〜２５５とすれば表示最小値は０）か否かを
判定し（ステップｓ２）、表示最小値であれば、その表
示最小値から付加データの値を引く（ステップｓ３）。
また、埋め込み位置が表示最小値でない場合には、埋め
込み位置が表示最大値（この場合、２５５）か否かを判
定し（ステップｓ４）、表示最大値であれば、その表示
最大値に付加データの値を加える（ステップｓ５）。一
方、復号側では、復号化された値が前記表示範囲を外れ
ているか否かを判定し、表示範囲内である場合には、通
常の画像データ処理を行い、表示範囲外である場合に
は、それを付加データとして抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データの中にそ
の画像データに見かけ上、何等影響を与えないように他
のデータを埋め込むことを可能とした画像データ処理方
法および画像データ処理装置ならびに画像データ処理プ
ログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】画像データ（主画像データという）に対
応するデータとして、たとえば、その画像データを説明
するための文字データや音（音声や音楽などを含む）デ
ータ、プログラムデータ、他の画像データ、あるいは著
作権情報など（これらを付加データと呼ぶことにする）
を主画像データに付加的に埋め込んで、その主画像デー
タを再生しているときに、必要に応じて、これら付加デ
ータを再生できるようにすることが従来より一般的に行
われている。

【０００３】たとえば、図１２に示すように、動物の画
像が再生されている画面上で、「いぬ」と欠かれた部分
（矢印Ａで示す）をマウスなどでクリックすると、犬に
ついての百科事典的な説明が文字データでなされたり、
その鳴き声などが音声として出力されたりといったこと
が可能となる。

【０００４】このように、主画像データに付加データを
埋め込む手法としては、従来、主画像データを復元した
ときに、その主画像データに影響を与えないようにする
ために、付加データを主画像データとは別の領域に書き
込むのが一般的である。

【０００５】図１７は、従来の手法によるデータ構造
（復号化データとする）を示すもので、復号化する際の
様々な制御情報が書き込まれた制御データ領域Ｄ１、付
加データが書き込まれた付加データ領域Ｄ２、主画像デ
ータが書き込まれた主画像データ領域Ｄ３、データ終了
を示す制御情報が書き込まれた制御データ領域Ｄ４など
から構成されている。

【０００６】たとえば、前述した図１２の例であれば、
幾つかの動物の画像に対する画像データは主画像データ
領域Ｄ３に書き込まれ、これらそれぞれの動物に対する
説明内容の文字データあるいは音声データなどの付加デ
ータは付加データ領域Ｄ２に書き込まれている。

【０００７】

【発明が解決しようとする課題】このように従来では、
付加データを主画像データとは別の領域に埋め込むのが
普通である。しかし、この手法では、たとえ、主画像デ
ータ領域Ｄ３に複数種類の主画像データが存在する場合
でも、その複数種類の画像データ全体に対して付加デー
タが与えらるデータ構造であり、しかも、個々の主画像
データとそれに対応する付加データとの位置関係につい
ての情報は持たないのが普通である。

【０００８】したがって、たとえば、図１２の例で、そ
れぞれの動物（この図では４種類の動物）の画像データ
をたとえば、図１４に示すように、３つのグループＧ
１，Ｇ２，Ｇ３に切り分けるような編集作業を行ったり
すると、主画像データと付加データとの対応関係の判断
がむずかしくなる問題がある。

【０００９】勿論、位置関係についての情報を別に持つ
ことも可能ではあるが、その場合でも、上述したような
編集作業を行ったりすると、主画像データと付加データ
との対応関係をどのように対応付けるかなどの複雑な処
理が必要となってくる。

【００１０】また、主画像データに対する付加データ
を、決められた仕様で定義された別データとして処理す
る方法として、たとえば、ＪＦＩＦやＥｘｉｆなどと呼
ばれている画像データ処理方法がある。

【００１１】これらも、図１７で示したように、主画像
データに対し付加データを別領域として埋め込むもので
あり、上述したと同様、主画像データに対する位置関係
については何も情報を持たないので、この場合も、複数
種類の画像データを別々に切り分けたような編集作業を
行ったりすると、主画像データと付加データとの対応関
係が崩れてしまう問題がある。

【００１２】また、これらの主画像データに対し付加デ
ータを別領域に書き込む手法は、付加データの抽出処理
が容易に行えることができる利点があるが、それは、デ
ータの改変や削除なども容易であることを意味してい
る。したがって、たとえば、著作権情報などが付加デー
タとして埋め込まれている場合には、著作権情報を簡単
に改変したりすることも容易となり、著作権上の問題を
引き起こすといったリスクを背負うことになる。

【００１３】そこで本発明は、これらの問題点を解決す
るために、主画像データに付加データを埋め込む際、主
画像データそのものに付加データを埋め込むことによ
り、主画像データと付加データの位置関係の対応をとり
やすくすることができ、しかも、見かけ上は標準的な符
号化したデータと何等変わらないので、従来の標準的な
画像復号化ソフトウエアによっても、画像そのものの復
号化は従来通り可能となり、汎用性に優れた画像データ
処理を可能とすることを目的としている。

【００１４】

【課題を解決するための手段】上述した目的を達成する
ために、本発明の画像データ処理方法は、ある主画像デ
ータに何らかの付加データを付加し、これら主画像デー
タと付加データを符号化側でそれぞれ符号化して、その
符号化された符号化データを復号化側で復号化する画像
データ処理方法において、前記符号化側が行う処理とし
て、主画像データに付加すべき付加データを前記本来の
表示範囲から外れた飽和処理すべき値として当該主画像
データに埋め込み、その主画像データと埋め込まれた付
加データを符号化して、見かけ上は前記主画像データを
符号化した符号化データとして出力するようにしてい
る。

【００１５】また、本発明の画像データ処理装置は、あ
る主画像データに何らかの付加データを付加し、これら
主画像データと付加データを符号化側でそれぞれ符号化
して、その符号化された符号化データを復号化側で復号
化する画像データ処理装置において、前記主画像データ
に付加すべき付加データを前記本来の表示範囲から外れ
た飽和処理すべき値として当該主画像データに埋め込む
付加データ埋め込み部と、その主画像データおよび埋め
込まれた付加データを符号化して、見かけ上は前記主画
像データを符号化した符号化データとして出力する符号
化部とを前記符号化側に有する構成としている。

【００１６】また、本発明の画像データ処理プログラム
を記録した記録媒体は、ある主画像データに何らかの付
加データを付加し、これら主画像データと付加データを
符号化側でそれぞれ符号化して、その符号化された符号
化データを復号化側で復号化する画像データ処理プログ
ラムを記録した記録媒体であって、その画像データ処理
プログラムは、前記符号化側が行う処理として、主画像
データに付加すべき付加データを前記本来の表示範囲か
ら外れた飽和処理すべき値として当該主画像データに埋
め込む手順と、その主画像データおよび埋め込まれた付
加データを符号化して、見かけ上は前記主画像データを
符号化した符号化データとして出力する手順とを含むも
のである。

【００１７】これら各発明において、前記付加データを
前記本来の表示範囲から外れた値として主画像データに
埋め込む処理は、その付加データを前記本来の表示範囲
の最大値に埋め込む場合は、その付加データの値を前記
本来の表示範囲の最大値に加えた値とし、前記付加デー
タを前記本来の表示範囲の最小値に埋め込む場合は、そ
の付加データの値を前記本来の表示範囲の最小値から引
いた値とする処理を行う。

【００１８】また、前記符号化データを復号化する復号
化側の処理として、前記符号化側からの符号化データを
復号化処理し、その復号化された復号化データに対し、
その値の大きさを判定し、その値が本来の表示範囲内の
値である場合には、通常の画像データ処理を行い、本来
の表示範囲を外れた値である場合には、それを付加デー
タとして抽出する処理を行う。なお、画像データ処理装
置の復号化側の構成要素としては、前記符号化側からの
符号化データを復号化処理する復号化部と、その復号化
された復号化データに対し、その値の大きさを判定し、
その値が本来の表示範囲内の値である場合には、通常の
画像データ処理を行い、本来の表示範囲を外れた値であ
る場合には、それを付加データとして抽出する処理を行
う付加データ再生部とを有する。

【００１９】ここで、前記本来の表示範囲を外れた場合
における付加データの抽出処理は、値が正か負かを判定
し、正である場合には、付加データの値から前記予め決
められた範囲の最大値を引いた値とし、負である場合に
は、前記本来の表示範囲の最小値から付加データの値を
引いた値とし、その付加データの値と付加データの埋め
込み位置を記憶する処理である。

【００２０】なお、前記本来の表示範囲の最大値および
最小値は、当該最大値および最小値に演算誤差を考慮し
た値を加えた値とすることも可能としている。

【００２１】上述したように本発明は、主画像データに
おける本来の表示範囲（たとえば、８ビット画像であれ
ば、０〜２５５の範囲）を外れた領域を利用し、そこに
付加データを埋め込もうとするものである。

【００２２】このように、本来の表示範囲を外れた領域
に付加データが埋め込まれて符号化されたデータは、見
かけ上は、主画像データを符号化した通常の符号化デー
タと同等であるので、従来から通常に行われている画像
復号化ソフトウエアによって従来通り復号化処理するこ
とができる。ただし、その場合は、主画像データは従来
通り普通に復号化処理されるが、付加データ部分は飽和
処理される。なお、その付加データが埋め込まれた符号
化データを本発明の画像復号化ソフトウエアを用いて復
号化処理すれば、主画像データは従来通り普通に復元で
きることは勿論、付加データも復元できる。

【００２３】なお、本発明の場合は、主画像そのものに
付加データを埋め込むので、主画像と付加データとの位
置関係を確実に対応付けることができる。これによっ
て、たとえば、１つの画面上に複数種類の主画像が存在
していて、それぞれの主画像に対応して付加データが埋
め込まれているような場合、編集用ソフトウエアなどを
用いて、これら複数種類の主画像を切り分けるなどの編
集作業を行っても、それぞれの主画像とそれに対応する
付加データと対応が崩れることがない。

【００２４】また、付加データを本来の表示範囲から外
れた値として主画像データに埋め込む処理としては、付
加データを前記本来の表示範囲の最大値に埋め込む場合
は、その付加データの値を前記本来の表示範囲の最大値
に加えた値とし、当該付加データの値を前記本来の表示
範囲の最小値に埋め込む場合は、その付加データの値を
前記本来の表示範囲の最小値から引いた値とする。

【００２５】そして、復号側では、その符号化データを
復号化して、その復号化された復号化データにおけるそ
れぞれの値が本来の表示範囲内である場合には、通常の
画像データ処理を行い、本来の表示範囲外である場合に
は、値が正か負かを判定し、正である場合には、付加デ
ータの値から前記予め決められた範囲の最大値を引いた
値とし、負である場合には、前記予め決められた範囲の
最小値から付加データの値を引いた値として、付加デー
タの抽出を行う。

【００２６】このように、本来の表示範囲の最大値また
は最小値にその付加データの値を足したり引いたりする
だけの簡単な演算で、付加データの埋め込みや抽出がで
きるので、処理能力のそれ程高くないＣＰＵでも対応す
ることができ、安価なシステムにも適用できる。

【００２７】また、このとき、本来の表示範囲の最大値
および最小値は、当該最大値および最小値に演算誤差を
考慮した値を加えた値とすることもできる。これは、付
加データが埋め込まれていない領域でも、本当の演算誤
差によって本来の表示範囲を超えた値となる場合もある
からであり、その分の余裕を少し取っておいた方が都合
のよい場合もある。これに対応できるように、付加デー
タの値を、本来の表示範囲の最大値や最小値よりも少し
離れた値を基点にそれ以上大きい値または小さい値に設
定する。これによって、演算誤差が生じていた場合であ
っても、付加データを正確に再現することができる。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。なお、この実施の形態で説明する内容は、
本発明の画像データ処理方法、画像データ処理装置につ
いての説明であるとともに、本発明の画像データ処理プ
ログラムを記録した記録媒体における画像データ処理プ
ログラムの具体的な処理内容をも含むものである。

【００２９】本発明は前述したように、画像データ（主
画像データ）に他のデータ（付加データ）を埋め込むも
のであるが、実施の形態を説明する前に、本発明の基本
的な考え方について説明する。

【００３０】まず、ここでいう付加データとは、前述し
たように、主画像データを補完する文字データ、音デー
タ、プログラムデータ、他の画像データなどであり、さ
らには、著作権情報などであってもよい。

【００３１】なお、文字データの例としては、たとえ
ば、主画像データについての百科事典的あるいは辞書的
な情報が考えられる。また、音データの例としては、た
とえば、主画像データに対する視覚障害者向けの音声デ
ータや、主画像データが動物画像である場合にはその鳴
き声、主画像データが人物画像である場合にはその人物
の声、主画像データが楽器である場合にはその音色、主
画像データが風景画像である場合には、その風景にマッ
チしたＢＧＭなどが考えられる。

【００３２】また、本発明の適用できる画像データ形式
としては、原理的にどのような画像データ形式であって
もよいが、ここでの説明では、インタネットなどで標準
的に用いられているＪＰＥＧ規格の画像データであると
し、このＪＰＥＧ規格の画像データ（主画像データ）に
上述したような付加データを埋め込む例について説明す
る。

【００３３】画像データは、本来、ある一定の範囲内の
値を持つものである。ところが、画像データ処理、特
に、符号化を行う場合、その処理の演算の精度不足や情
報の切り捨てによって、復号化された画像データが、本
来の表示範囲を超える場合がある。

【００３４】たとえば、それぞれの画素が８ビットで表
される値を有する画像データにおいては、画像を構成す
る色要素の値は、０〜２５５の範囲の値を有するべきで
ある。しかし、上述した理由によって、復号化されたデ
ータが、この範囲を超える場合がある。なお、通常のＪ
ＰＥＧ復号化処理においては、飽和処理がなされるの
で、０よりも小さい値は０に、２５５よりも大きな値は
２５５に設定される。

【００３５】本発明は、付加データをこの本来の表示範
囲（８ビットデータの場合、０〜２５５）を超える値と
して主画像データに埋め込むものである。

【００３６】たとえば、本来の表示範囲が０〜２５５で
あるとして、付加データを０よりも小さい値として埋め
込む場合は、１バイトのデータを、−１から−２５６の
値としてＪＰＥＧ規格の主画像データに埋め込む。ま
た、付加データを２５５よりも大きな値として埋め込む
場合は、１バイトのデータを、２５６〜５１１の値とし
てＪＰＥＧ規格の主画像データに埋め込む。

【００３７】今、図１（ａ）に示すような黒と白の２値
画像でなる主画像データがあるとする。この主画像デー
タにおいて、たとえ、その主画像データの値が０よりも
小さいところがあっても、従来のＪＰＥＧ復号化ソフト
ウエアを用いて復号すれば、すべて０（黒）として復元
され、同様に、２５５よりも大きいところがあってもす
べて２５５（白）として復元される。

【００３８】このように従来の通常のＪＰＥＧ復号化ソ
フトウエアによって復号化処理を行えば、本来の表示範
囲から外れた値が存在しても、飽和処理によって０〜２
５５の範囲の主画像データとして復元される。

【００３９】本発明は、この本来の表示範囲から外れた
領域に積極的に利用して、その領域に付加データを埋め
込もうとするものである。

【００４０】たとえば、図１（ａ）におけるラインＬ１
に沿った部分の値は、図１（ｂ）の太線Ｋで示すような
値の変化となり、その０よりも小さい部分に、付加デー
タＤ１を−１から−２５６の範囲の値として埋め込み、
２５５よりも大きい部分に、付加データＤ２を２５６〜
５１１の値として埋め込む。

【００４１】なお、この図１は、負方向（０より小さい
領域）と正方向（２５５よりも大きい領域）の両方に付
加データＤ１，Ｄ２を埋め込んだ例であるが、図２に示
すように、負方向のみに付加データＤ１を埋め込むこと
も可能であり、また、図示しないが、正方向のみに付加
データを埋め込むことも可能である。

【００４２】このように通常の範囲外に従データを埋め
込んで、それを本発明のＪＰＥＧ復号化処理を行うと、
主画像データについては、上述同様、０〜２５５のデー
タとして復元され、同時に、０より小さい値を持つデー
タおよび２５５より大きい値を持つデータは、それぞれ
付加データとして復号化処理がなされる。

【００４３】なお、この付加データの埋め込まれた符号
化データ（これをここでは拡張ＪＰＥＧデータと呼ぶ）
は、見かけ上、標準的なＪＰＥＧデータと全く同等であ
る。したがって、このようなＪＰＥＧデータは、従来の
通常のＪＰＥＧ復号化ソフトウエアによっても復号化処
理を行うことができるが、その場合、飽和処理によって
０〜２５５の範囲の主画像データのみが復元され、付加
データ部分はすべて０または２５５として処理され、付
加データとして現れてはこない。

【００４４】一方、この拡張ＪＰＥＧデータを、専用の
ＪＰＥＧ復号化ソフトウエアによって復号化処理を行え
ば、主画像データは勿論、付加データ部分も復号化され
て、主画像データとともに付加データも復元することが
できる。しかも、付加データはそれぞれの主画像データ
そのものに埋め込まれているので、主画像データと付加
データとの位置関係はそのままごく自然に表現される。
これによって、たとえば、画面上に表示された複数種類
の主画像を切り分けるなどの編集作業を行っても、それ
ぞれの主画像データとそれに対応する付加データとの対
応が崩れることがない。以下、本発明の具体例について
説明する。

【００４５】まず、主画像データの一部を付加データに
入れ替えることで付加データを埋め込むことを考える。
この場合は、主画像データにおいて、付加データの埋め
込みをブロックを特定して、その埋め込みブロックに付
加データを埋め込むので、その部分の主画像データはつ
ぶれることになる。

【００４６】図３に示すように、たとえば、４×６のブ
ロックで構成される主画像データブロックＢ１があると
する。なお、１つ１つのブロックは８画素×８画素で構
成されているものとし、符号化処理など様々な処理はこ
のブロックごとになされるものとする。したがって、付
加データの埋め込みもブロック単位で行う。ここでは、
このような主画像データブロックＢ１に対して、太線の
枠Ｗで囲った４つのブロックの部分（データ埋め込みブ
ロックＢ２という）に付加データを埋め込むとする。

【００４７】このようにデータ埋め込みブロックＢ２を
特定して付加データを埋め込む例としては、たとえば、
カラー画像の中に、白地に黒い文字データなどを表現し
たり、逆に、黒い背景に白抜きの文字データなどを表現
したりする場合などが一つの例として挙げられる。な
お、このデータ埋め込みブロックＢ２は任意の位置に設
定することができる。

【００４８】また、図４は主画像データにおける階調表
示部分Ｈには、付加データの埋め込みを行わず、黒部分
（０よりも小さい部分）のみに付加データＤ１を埋め込
ませた例を示す図である。また、ここでは図示しない
が、白部分（２５５よりも大きい部分）のみに付加デー
タを埋め込ませることもできる。

【００４９】その応用例として図５に示すように、犬や
牛などの動物が描かれた主画像データの中で、階調表示
部分はそのままにして、表示最小値（０）や表示最大値
（２５５）を持つ画素を選び、その表示最小値（０）や
表示最大値（２５５）を持つ画素に少量の付加データを
埋め込ませることができる。

【００５０】この図５では、「Ｃｏｐｙｒｉｇｈｔ」と
いう文字が、主画像データ中の表示最小値と表示最大値
を有する部分に付加データとして埋め込まれた様子を示
している。なお、図５において、「Ｃｏｐｙｒｉｇｈ
ｔ」を構成する１つ１つの文字から出されている矢印の
先端部分が、主画像データにおける表示最小値（０）や
表示最大値（２５５）の部分であるとする。

【００５１】このように、データ埋め込みブロックを特
定せずに、主画像データ中の表示最小値や表示最大値を
持つ画素に付加データを埋め込ませる手法は、主画像デ
ータを復元したときに、主画像データはそのままの状態
で復元され、外観上からは付加データが埋め込まれてい
るか否かさえもわからず、また、埋め込まれていること
がわかってもその位置が外観上からは見えないので、著
作権情報などを画像に埋め込む場合に有効なものとな
る。

【００５２】図６はその具体的な数値例を示すものであ
る。図６（ａ）は主画像データのそれぞれの画素ごとの
値を部分的に取り出して示すもので、その値の範囲は階
調表示範囲である０〜２５５の間の値となっている。図
６（ｂ）は付加データの値を部分的に取り出して示すも
のであり、その値がたとえば、３１，５６，６７，１５
７，・・・というような値であるとする。

【００５３】このような付加データを主画像データに埋
め込む場合、主画像データの中から表示最大値（２５
５）または表示最小値（０）を選んで、図６（ｃ）に示
すように、その表示最大値または表示最小値に埋め込み
データを埋め込んで行く。この場合、図６（ａ）におけ
る主画像データにおいて表示最小値０が存在するので、
その部分に、図６（ｂ）における付加データの値３１を
その表示最小値０に埋め込む。つまり、０−３１を計算
して、−３１の値として埋め込む。次に、図６（ａ）に
おける主画像データにおいて表示最大値２５５が存在す
るので、その部分に、図６（ｂ）における付加データの
値５６をその表示最大値２５５に埋め込む。つまり、２
５５＋５６を計算して、３１１の値として埋め込む。

【００５４】このように、主画像データにおける表示最
大値または表示最小値を見つけ、表示最大値に対しては
表示最大値に付加データを足し算し、表示最小値に対し
ては表示最小値から付加データを引き算して順次埋め込
んで行く。

【００５５】このようにして、主画像データに付加デー
タが埋め込まれたあと、それを復号化処理すると、従来
の通常の画像復号化ソフトウエアでは、図６（ｄ）に示
すように、埋め込みデータの埋め込まれた部分の値−３
１は０に、値３１１は２５５に飽和処理され、主画像デ
ータのみが復元される。

【００５６】これに対して、本発明における画像復号化
ソフトウエアにより復号化を行えば、主画像データは従
来と同様に復号化され、さらに、付加データの埋め込ま
れた部分の値−３１は、表示最小値０から−３１を引き
算、つまり、０−（−３１）を計算することによって、
図６（ｅ）に示すように、付加データとしての値３１を
得る。また、付加データの埋め込まれた部分の値３１１
は、その値３１１から表示最大値２５５を引き算、つま
り、３１１−２５５を計算することによって、同じく図
６（ｅ）に示すように、付加データとしての値５６を得
る。

【００５７】これを全ての付加データの埋め込み部分に
ついて行えば、図６（ｂ）に示す付加データが復元され
る。

【００５８】図７は本発明の符号化処理を実現するため
の符号化装置の構成を示す図であり、符号化すべき主画
像データを入力する符号化画像データ入力手段１、ＤＣ
Ｔ（Discrete Cosine Transform）手段２、量子化手段
３、ハフマン符号化手段４、ＪＰＥＧデータ出力手段５
などの従来の標準的な符号化装置が有する符号化部とし
ての構成要素の他に、本発明では、付加データ埋め込み
部として、付加データを入力する付加データ入力手段
６、その付加データの埋め込み位置や埋め込むべき位置
の値を、符号化画像データ入力手段１からの画像データ
（主画像データ）に基づいて判定するデータ埋め込み位
置判定手段７、付加データ入力手段６から入力された付
加データに対し付加データとしての値を生成する付加デ
ータ生成手段８、符号化画像データ入力手段１により入
力された主画像データと付加データ生成手段で生成され
た付加データのいずれかを符号化すべきデータとして選
択するための符号化データ切り替え手段９などが付け加
えられた構成となっている。

【００５９】このような構成において、上述の付加デー
タ生成手段８が行う付加データの生成処理は、図８に示
すように、付加データ入力手段６からの付加データとデ
ータ埋め込み位置判定手段７からの埋め込み位置情報を
入力すると（ステップｓ１）、その埋め込み位置が表示
最小値か否かを判定し（ステップｓ２）、表示最小値
（この実施の形態では、本来の表示範囲を０〜２５５と
しているので、表示最小値は０）であれば、その表示最
小値０から付加データを引き算する（ステップｓ３）。
たとえば、付加データの値が３０であるとすれば、付加
データを−３０とする。

【００６０】一方、ステップｓ２における判定が、埋め
込み位置が表示最小値でないと判定された場合には、埋
め込み位置が表示最大値か否かを判定し（ステップｓ
４）、表示最大値（この場合、表示最大値は２５５）で
あれば、その表示最大値２５５に付加データを足し算す
る（ステップｓ５）。たとえば、付加データの値が５０
であるとすれば、付加データの値を３０５とする。

【００６１】また、埋め込み位置が表示最小値でもなく
表示最大値でもない場合には、付加データは埋め込めな
いとする（ステップｓ６）。

【００６２】以上のような処理を付加すべきデータのそ
れぞれの画素の値について行うことによって、付加デー
タが生成され、その付加データは符号化データ切り替え
手段９に与えられる。

【００６３】この符号化データ切り替え手段９は、符号
化画像データ入力手段１からの主画像データと付加デー
タ生成手段８からの付加データを順次切り換えて、ＤＣ
Ｔ手段２に送出する。そして、ＤＣＴ手段２、量子化手
段３、ハフマン符号化手段４によって、主画像データや
埋め込みデータの区別なく従来から行われているＪＰＥ
Ｇ規格の符号化処理が行われ、ＪＰＥＧデータ出力手段
４からＪＰＥＧデータとして出力される。

【００６４】図９は図７によって生成されたＪＰＥＧデ
ータを復号化する復号化装置の構成を示す図であり、復
号化すべきＪＰＥＧデータを入力するＪＰＥＧデータ入
力手段１１、ハフマン復号化手段１２、逆量子化手段１
３、逆ＤＣＴ手段１４、画像再構成手段１５などの従来
の標準的な復号化装置が有する復号化部としての構成要
素の他に、本発明では、付加データ再生部として、逆Ｄ
ＣＴ手段１４から渡された逆ＤＣＴ変換後のデータに付
加データが存在するか否かを判定するデータ判定手段１
６、付加データがあればその付加データの埋め込み位置
を記憶する付加データ位置記憶手段１７、付加データが
あればその付加データを抽出する付加データ抽出手段１
８、抽出された付加データを記憶する付加データ記憶手
段１９などが付け加えられた構成となっている。

【００６５】この付加データ再生部が行う処理は、図１
０に示すフローチャートに示すように、逆ＤＣＴ手段１
４からの復号化されたデータを入力し（ステップｓ１
１）、そのデータが表示範囲内（この実施の形態では、
０〜２５５の範囲）にあるか否かを判定し（ステップｓ
１２）、そのデータが表示範囲内でなければ、その表示
範囲外の領域に何らかのデータが埋め込まれているとし
て、値が正であるか否かを判断し（ステップｓ１３）、
正でなければ、表示最小値（ここでは０）からそのデー
タを引き算する（ステップｓ１４）。たとえば、逆ＤＣ
Ｔ手段１４から渡されたデータが−３０であったとすれ
ば、０−（−３０）＝３０とする。

【００６６】また、ステップｓ１３の処理において、値
が正であると判定された場合は、そのデータから表示最
大値（この場合２５５）を引き算する（ステップｓ１
５）。たとえば、逆ＤＣＴ手段１４から渡されたデータ
が３０５であったとすれば、３０５−（２５５）＝５０
とする。

【００６７】このような処理を逆ＤＣＴ手段１４から渡
されたデータのなかで、表示範囲外とされたデータすべ
てについて行うことによって、埋め込みデータが復元さ
れ、その復元データを記憶するとともに、その位置を記
憶する（ステップｓ１６）。

【００６８】ところで、ステップｓ１２の処理におい
て、逆ＤＣＴ手段１４から渡されたデータが表示範囲内
にある場合には、主画像データであるとみなして、従来
から普通に行われている画像データ処理が行われる（ス
テップｓ１７）。

【００６９】なお、上述した図８や図１０における表示
最大値はここでは２５５、表示最小値は０としたが、本
来のそれらの値に、演算誤差を考慮したマージンを加え
た値としてもよい。これは、付加データが埋め込まれて
いない領域でも、本当の演算誤差によって本来の表示範
囲を超えた値となる場合もあり、その分の余裕を少し取
っておいた方が都合のよい場合もある。これに対応でき
るように、付加データの値を、本来の表示範囲の最大値
や最小値よりも少し離れた値を基点にそれ以上大きい値
または小さい値に設定する。これによって、演算誤差が
生じていた場合であっても、付加データを正確に再現す
ることができる。

【００７０】また、図１１は付加データが埋め込まれた
画像データにおいて、ユーザがマウスなどで埋め込み位
置を指定することによって、その位置に埋め込まれた付
加データを再生させる機能を付加した復号化装置のブロ
ック図である。

【００７１】この図１１は図９に示す付加データ再生部
の構成として、選択位置入力手段２０、付加データ位置
／選択位置入力比較手段２１、付加データ選択手段２
２、付加データ再生手段２３が付け加えられた構成とな
っており、その他、図９と同一部分には同一符号が付さ
れている。

【００７２】この図１１の処理内容としては、ユーザに
よって、選択位置入力手段２０（マウスなど）によっ
て、所定の位置が指定されると、その位置情報と付加デ
ータ位置記憶手段１７に記憶されている位置情報とを、
付加データ位置／選択位置入力比較手段２１が比較する
ことで、付加データ位置記憶手段１７に記憶されている
位置情報を得て、その位置情報を付加データ選択手段２
２に渡し、この付加データ選択手段２２がその位置情報
に基づいて、付加データ記憶手段１９から付加データを
選択して、それを付加データ再生手段２３に渡す。この
付加データ再生手段２３は、付加データ選択手段２２か
ら渡された付加データを再生処理する。

【００７３】この図１１に示される復号化装置により、
たとえば、図１２や図１３に示すような付加データの再
生が可能となる。

【００７４】図１２の例は、ユーザが犬の画像の下に書
かれた「いぬ」という文字部分（矢印Ａで示す）をマウ
スなどで指示（クリック）した場合、犬についての百科
事典的な説明がポップアップ表示などによって表示され
た例を示すもので、この「いぬ」と書かれた部分に、ポ
ップアップ表示された文字データが付加データとして埋
め込まれている。

【００７５】一方、図１３の例は、ユーザが犬の画像の
下に書かれた「いぬ」という文字部分Ａをマウスなどで
クリックした場合、犬の鳴き声がたとえば「ワンワン」
といった音声として再生された例を示すもので、この
「いぬ」と書かれた部分に、犬の鳴き声を示す音声デー
タが付加データとして埋め込まれている。

【００７６】この図１２や図１３の例からもわかるよう
に、本発明では、付加データはそれぞれ対応する画像デ
ータ中に埋め込まれている。これによって、たとえば、
画像の編集を行って、それぞれの画像を切り分けた場合
でも、画像データと埋め込みデータの対応関係が崩れる
ことがなくなる。

【００７７】一例として、図１４に示すように、４つの
動物画像を、３つのグループＧ１，Ｇ２，Ｇ３にわける
ような編集作業を行った場合、それぞれのグループＧ
１，Ｇ２，Ｇ３と、それに対する付加データの対応関係
はそのまま保存される。ちなみに、従来のように、主画
像データと付加データを別領域に保存する方式では、こ
のような編集作業を行った場合、両者の対応関係は崩れ
てしまうことになる。

【００７８】また、本発明は付加データを図１５や図１
６のように埋め込むことも可能である。図１５の例は、
付加データが画面に表示された画像の下部の黒い帯部分
Ｃ１に存在することをユーザに明示的に示した例であ
る。たとえば、ここでは図示されていないが、黒い帯部
分Ｃ１に「ここに説明内容が埋め込まれています」とい
うように、ユーザに付加データの存在を示すようなこと
もできる。そして、たとえば、その部分をユーザがマウ
スなどでクリックすると、たとえば、画面に表示されて
いる動物画像などについての説明が音声として出力され
たり、文字によって表現されたりする。

【００７９】また、図１６の例は、付加データの存在す
る場所を外観上からはわからないように付加データを埋
め込んだ例であり、この場合、付加データは動物画像を
囲む額縁部分Ｃ２に埋め込まれている。この場合も、ユ
ーザが額縁部分Ｃ２をマウスなどでクリックすると、た
とえば、画面に表示されている動物画像などについての
説明が音声として出力されたり、文字によって表現され
たりする。

【００８０】なお、本発明は以上説明した実施の形態に
限定されるものではなく、本発明の要旨を逸脱しない範
囲で種々変形実施可能となるものである。たとえば、前
述の実施の形態では、主画像データが８ビット画像の例
について説明しているので、階調表示範囲を０〜２５５
とし、それに伴って、付加データも０〜２５５の範囲外
のデータとしているが、主画像データのビット数が異な
れば、当然のことながら、付加データの値もそれに伴っ
て異なってくる。

【００８１】また、前述の実施の形態では、画像データ
の形式はをＪＰＥＧ規格の画像データとしているが、前
述したように、本発明はどのような画像形式にも適用で
きるものである。

【００８２】また、本発明は、以上説明した本発明を実
現するための処理手順が記述された処理プログラムを作
成し、その処理プログラムをフロッピィディスク、光デ
ィスク、ハードディスクなどの記録媒体に記録させてお
くことができ、本発明はその処理プログラムが記録され
た記録媒体をも含むものである。また、ネットワークか
ら当該処理プログラムを得るようにしてもよい。

【００８３】

【発明の効果】以上説明したように本発明は、主画像デ
ータにおける本来の表示範囲（たとえば、８ビット画像
であれば、０〜２５５の範囲）を外れた領域を利用し、
そこに付加データを埋め込もうとするものである。この
ように、本来の表示範囲を外れた領域に付加データが埋
め込まれて符号化されたデータは、見かけ上は、主画像
データを符号化した通常の符号化データと同等であるの
で、従来から通常に行われている画像復号化ソフトウエ
アによって従来通り復号化処理することができる。ただ
し、その場合は、主画像データは従来通り普通に復号化
処理されるが、付加データ部分は飽和処理される。な
お、その付加データが埋め込まれた符号化データを本発
明の画像復号化ソフトウエアを用いて復号化処理すれ
ば、主画像データは従来通り普通に復元できることは勿
論、付加データも復元できる。

【００８４】なお、本発明の場合は、主画像そのものに
付加データを埋め込むので、主画像と付加データとの位
置関係を確実に対応付けることができる。これによっ
て、たとえば、１つの画面上に複数種類の主画像が存在
していて、それぞれの主画像に対応して付加データが埋
め込まれているような場合、編集用ソフトウエアなどを
用いて、これら複数種類の主画像を切り分けるなどの編
集作業を行っても、それぞれの主画像とそれに対応する
付加データとの対応が崩れることがない。

【００８５】また、本発明は、本来の表示範囲の最大値
または最小値に、その付加データの値を足したり引いた
りするだけの簡単な演算で、付加データの埋め込みや抽
出ができるので、処理能力のそれ程高くないＣＰＵでも
対応することができ、安価なシステムにも適用できる。

【図面の簡単な説明】

【図１】２値画像における本来の表示範囲（０〜２５
５）から外れた正および負の両方の領域にそれぞれ付加
データを埋め込む例を説明する図である。

【図２】２値画像における本来の表示範囲（０〜２５
５）から外れた負の領域のみに付加データを埋め込む例
を説明する図である。

【図３】主画像データの中でデータ埋め込みブロックを
特定して付加データを埋め込む場合を説明する図であ
る。

【図４】階調表示された主画像データの表示最大値部分
に付加データを埋め込んだ例を説明する図である。

【図５】著作権情報などを主画像データ中の表示最大値
または表示最小値に埋め込んだ例を説明する図である。

【図６】図５の例を具体的な数値例を用いて説明する図
である。

【図７】本発明の符号化処理を実現するための符号化装
置の構成を示すブロック図である。

【図８】図７における付加データ生成処理を説明するフ
ローチャートである。

【図９】本発明の復号化処理を実現するための復号化装
置の構成を示すブロック図である。

【図１０】図９における付加データ再生処理を説明する
フローチャートである。

【図１１】図９においてユーザがマウスなどで埋め込み
位置を指定することによって、その位置に埋め込まれた
付加データを再生させる機能を付加した復号化装置のブ
ロック図である。

【図１２】付加データの具体的な再生例を説明する図で
あり、付加データとして文字データが再生される例を説
明する図である。

【図１３】付加データの具体的な再生例を説明する図で
あり、付加データとして音データが再生される例を説明
する図である。

【図１４】表示画面上に複数の主画像が存在する場合
に、それを切り分けたときそれぞれの主画像データと付
加データとの対応関係について説明する図である。

【図１５】付加データの埋め込み例を説明する図であ
り、ユーザに明示的に付加データの存在を示す例を説明
する図である。

【図１６】付加データの埋め込み例を説明する図であ
り、付加データの存在を外観からはわかりにくくして埋
め込んだ例を説明する図である。

【図１７】主画像データに付加データを埋め込む場合の
従来の手法を説明するデータ構造図である。

【符号の説明】

１符号化画像データ入力手段２ＤＣＴ手段３量子化手段４ハフマン符号化手段５ＪＰＥＧデータ出力手段６付加データ入力手段７データ埋め込み位置判定手段８付加データ生成手段９符号化データ切り替え手段１１ＪＰＥＧデータ入力手段１２ハフマン復号化手段１３逆量子化手段１４逆ＤＣＴ手段１５画像再構成手段１６データ判定手段１７付加データ位置記憶手段１８付加データ抽出手段１９付加データ記憶手段２０選択位置入力手段２１付加データ位置／選択位置入力比較手段２２付加データ選択手段２３付加データ再生手段

Claims

【特許請求の範囲】

【請求項１】ある主画像データに何らかの付加データ
を付加し、これら主画像データと付加データを符号化側
でそれぞれ符号化して、その符号化された符号化データ
を復号化側で復号化する画像データ処理方法において、前記符号化側が行う処理として、主画像データに付加す
べき付加データを本来の表示範囲から外れた飽和処理さ
れるべき値として当該主画像データに埋め込み、その主
画像データおよび埋め込まれた付加データを符号化し
て、見かけ上は前記主画像データを符号化した符号化デ
ータとして出力することを特徴とする画像データ処理方
法。
【請求項２】前記付加データを前記本来の表示範囲か
ら外れた飽和処理されるべき値として主画像データに埋
め込む処理は、前記付加データを前記本来の表示範囲の最大値に埋め込
む場合は、その付加データの値を前記本来の表示範囲の
最大値に加えた値とし、前記付加データを前記本来の表
示範囲の最小値に埋め込む場合は、その付加データの値
を前記本来の表示範囲の最小値から引いた値とすること
を特徴とする請求項１記載の画像データ処理方法。
【請求項３】前記符号化データを復号化する復号化側
の処理として、前記符号化側からの符号化データを復号
化処理し、その復号化された復号化データに対し、その
値の大きさを判定し、その値が本来の表示範囲内の値で
ある場合には、通常の画像データ処理を行い、本来の表
示範囲を外れた値である場合には、それを付加データと
して抽出することを特徴とする請求項１または２記載の
画像データ処理方法。
【請求項４】前記本来の表示範囲を外れた場合におけ
る付加データの抽出処理は、値が正か負かを判定し、正
である場合には、付加データの値から前記予め決められ
た範囲の最大値を引いた値とし、負である場合には、前
記本来の表示範囲の最小値から付加データの値を引いた
値とし、その付加データの値と付加データの埋め込み位
置を記憶することを特徴とする請求項３記載の画像デー
タ処理方法。
【請求項５】前記本来の表示範囲の最大値および最小
値は、当該最大値および最小値に演算誤差を考慮した値
を加えた値とすることを特徴とする請求項２または４記
載の画像データ処理方法。
【請求項６】ある主画像データに何らかの付加データ
を付加し、これら主画像データと付加データを符号化側
でそれぞれ符号化して、その符号化された符号化データ
を復号化側で復号化する画像データ処理装置において、前記主画像データに付加すべき付加データを本来の表示
範囲から外れた飽和処理されるべき値として当該主画像
データに埋め込む付加データ埋め込み部と、前記主画像データおよび埋め込まれた付加データを符号
化して、見かけ上は前記主画像データを符号化した符号
化データとして出力する符号化部と、を前記符号化側に有することを特徴とする画像データ処
理装置。
【請求項７】前記付加データ埋め込み部が行う前記付
加データを本来の表示範囲から外れた飽和処理されるべ
き値として主画像データに埋め込む処理は、前記付加データを前記本来の表示範囲の最大値に埋め込
む場合は、その付加データの値を前記本来の表示範囲の
最大値に加えた値とし、前記付加データを前記本来の表
示範囲の最小値に埋め込む場合は、その付加データの値
を前記本来の表示範囲の最小値から引いた値とすること
を特徴とする請求項６記載の画像データ処理装置。
【請求項８】前記符号化データを復号化する復号化側
は、前記符号化側からの符号化データを復号化処理する
復号化部と、この復号化部により復号化された復号化デ
ータに対し、その値の大きさを判定し、その値が本来の
表示範囲内の値である場合には、通常の画像データ処理
を行い、本来の表示範囲を外れた値である場合には、そ
れを付加データとして抽出する付加データ再生部とを有
することを特徴とする請求項６または７記載の画像デー
タ処理装置。
【請求項９】前記付加データ再生部が行う前記本来の
表示範囲を外れた場合における付加データの抽出処理
は、値が正か負かを判定し、正である場合には、付加デ
ータの値から前記本来の表示範囲の最大値を引いた値と
し、負である場合には、前記本来の表示範囲の最小値か
ら付加データの値を引いた値とし、その付加データの値
と付加データの埋め込み位置を記憶することを特徴とす
る請求項８記載の画像データ処理装置。
【請求項１０】前記本来の表示範囲の最大値および最
小値は、当該最大値および最小値に演算誤差を考慮した
値を加えた値とすることを特徴とする請求項７または９
記載の画像データ処理装置。
【請求項１１】ある主画像データに何らかの付加デー
タを付加し、これら主画像データと付加データを符号化
側でそれぞれ符号化して、その符号化された符号化デー
タを復号化側で復号化する画像データ処理プログラムを
記録した記録媒体であって、その画像データ処理プログ
ラムは、前記符号化側が行う処理として、主画像データに付加す
べき付加データを本来の表示範囲から外れた飽和処理さ
れるべき値として当該主画像データに埋め込む手順と、前記主画像データおよび埋め込まれた付加データを符号
化して、見かけ上は前記主画像データを符号化した符号
化データとして出力する手順と、を含むことを特徴とする画像データ処理プログラムを記
録した記録媒体。
【請求項１２】前記付加データを前記本来の表示範囲
から外れた飽和処理されるべき値として元画像データに
埋め込む処理は、前記付加データを前記本来の表示範囲の最大値に埋め込
む場合は、その付加データの値を前記本来の表示範囲の
最大値に加えた値とし、前記付加データを前記本来の表
示範囲の最小値に埋め込む場合は、その付加データの値
を前記本来の表示範囲の最小値から引いた値とすること
を特徴とする請求項１１記載の画像データ処理プログラ
ムを記録した記録媒体。
【請求項１３】前記符号化データを復号化する復号化
側の処理として、前記符号化側からの符号化データを復
号化処理し、その復号化された復号化データに対し、そ
の値の大きさを判定し、その値が本来の表示範囲内の値
である場合には、通常の画像データ処理を行い、本来の
表示範囲を外れた値である場合には、それを付加データ
として抽出することを特徴とする請求項１１または１２
記載の画像データ処理プログラムを記録した記録媒体。
【請求項１４】前記本来の表示範囲を外れた場合にお
ける付加データの抽出処理は、値が正か負かを判定し、
正である場合には、付加データの値から前記予め決めら
れた範囲の最大値を引いた値とし、負である場合には、
前記本来の表示範囲の最小値から付加データの値を引い
た値とし、その付加データの値と付加データの埋め込み
位置を記憶することを特徴とする請求項１３記載の画像
データ処理プログラムを記録した記録媒体。
【請求項１５】前記本来の表示範囲の最大値および最
小値は、当該最大値および最小値に演算誤差を考慮した
値を加えた値とすることを特徴とする請求項１２または
１４記載の画像データ処理プログラムを記録した記録媒
体。