JP2005123856A - 画像処理システム、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】１の符号化データによって、主画像に説明文やマスクパターンなどの副画像を付加して表示することも、主画像だけを表示することもできるようにする。
【解決手段】重畳的併合処理手段１１０は、主画像の符号化データ１２０と副画像の符号化データ１２１を重畳的に併合した符号化データ１２２を生成する。この重畳的符号化データ１２２は、主画像が完全に保存されており、それを復号すると主画像及び副画像がそれぞれ再生され、かつ、副画像が主画像に対し重畳的に再生される構成の符号化データである。分離処理手段１２３の分離処理により、重畳的併合符号化データ１２２は主画像符号化データ１２０と副画像符号化データ１２１とに分離できる。領域置換と異なり、副画像のサイズ、形状、再生位置（併合位置）は任意に設定可能である。
【選択図】図２

Description

本発明は、画像処理に係り、より詳しくは、符号レベルでの画像処理に関する。

画像を表示する際に、画像中に名前、日付、説明文、ロゴマースなどを付加したり、画像の特定部分をマスキングしたい場合がある。

このような情報を付加したりマスキングを施した画像の符号化データを得る方法として、元の画像の一部領域を、別の画像で置換してから符号化する方法（画像レベルでの領域置換）と、元の画像を領域分割して領域毎に符号化し、その一部領域の符号データを、別の画像の符号データで置換する方法（符号レベルでの領域置換）とが知られている。後者の方法に関連した公知文献としては、例えば特許文献１，２などがある。

特開２００３−７８７６７号公報 特開２００１−８０３９号公報

上に述べたような画像レベル又は符号レベルでの領域置換により得られた符号化データには、元の画像の置換対象領域の情報は保存されていないため、編集前の元の画像を再現することができない。例えば、マスキングを外して元の画像を確認したいような場合があるが、それは不可能である。同様に、付加された説明文などのない元の画像を再生することも不可能である。

画像レベルで領域置換を行う方法では、元の画像と、その一部領域と置換される領域画像のいずれも画像データ（画素値データ）とを必要である。それぞれの画像を符号化データとして用意した場合には、その復号処理を行った後に置換処理を行い、その後に再符号化処理が必要となり、処理負担が大きい。また、非可逆な符号化データの場合には、復号・再符号化の過程で画像の品質が劣化する。

符号列レベルで領域置換を行う方法では、置換される領域画像と、元の画像の置換領域のサイズ、形状、位置を整合させる必要がある。サイズ、形状、位置が不整合であると、符号化データより再生される画像が乱れたり、全体サイズが増加するなどの不都合がある。換言すれば、置換する領域画像のサイズ、形状、位置が制限される。

よって、本発明の目的は、画像に名前、日付、説明文、ロゴなどを付加したりマスキングを施したりした符号化データの生成に関する前述のような問題点を解決できる画像処理システム及び画像処理方法を提供することにある。

請求項１の発明は、主画像の符号化データと１以上の副画像の符号化データを入力され、それら符号化データを重畳的に併合した符号化データを生成する重畳的併合処理手段とを有し、前記重畳的併合処理手段により生成される重畳的併合符号化データは、主画像が保存されており、それを復号した場合に、主画像及び副画像がそれぞれ再生され、かつ、副画像が主画像に対し重畳的に再生される構成の符号化データであることを特徴とする画像処理システムである。

請求項２の発明は、符号列が領域単位で分割された画像の符号化データより、選択した領域単位の符号列からなる符号化データを生成する手段を有し、該手段により生成された符号化データが副画像の符号化データとして前記重畳的併合処理手段に入力されることを特徴とする請求項１の発明の画像処理システムである。

請求項３の発明は、符号列が階層化された画像の符号化データより、選択した階層の符号列からなる符号化データを生成する手段をさらに有し、該手段により生成された符号化データが副画像の符号化データとして前記重畳的併合処理手段に入力されることを特徴とする請求項１の発明の画像処理システムである。

請求項４の発明は、主画像の併合領域を設定する手段をさらに有し、前記重畳的併合符号化データを復号した場合、前記設定された併合領域に副画像が重畳的に再生されることを特徴とする請求項１，２又は３の発明の画像処理システムである。

請求項５の発明は、主画像の併合領域を設定する手段をさらに有し、前記副画像の符号化データは前記併合領域を設定する手段により設定された併合領域に応じて選択された領域単位又は階層の符号列からなり、前記重畳的併合符号化データを復号した場合、前記設定された併合領域に副画像が重畳的に再生されることを特徴とする請求項２又は３の発明の画像処理システムである。

請求項６の発明は、前記併合領域を設定する手段は、主画像の特徴を抽出し、抽出した特徴に基づいて併合領域を設定することを特徴とする請求項４又は５の発明の画像処理システムである。

請求項７の発明は、主画像の空白領域と推定される領域が併合領域として設定されることを特徴とする請求項６の発明の画像処理システムである。

請求項８の発明は、主画像の注目領域と推定される領域が併合領域として設定されることを特徴とする請求項６の発明の画像処理システムである。

請求項９の発明は、前記重畳的併合処理手段により生成された重畳的併合符号化データを、主画像の符号化データと副画像の併合データとに分離する分離処理手段をさらに有することを特徴とする請求項１乃至６のいずれか１項の発明の画像処理システムである。

請求項１０の発明は、前記重畳的併合処理手段により生成された重畳的併合符号化データより、副画像の併合位置を変更した別の重畳的併合符号化データを生成する位置変更処理手段をさらに有することを特徴とする請求項１乃至６のいずれか１項の発明の画像処理システムである。

請求項１１の発明は、前記重畳的併合処理手段により生成された重畳的併合符号化データより、副画像の符号化データを削除し、別の副画像の符号化データを重畳的に併合した別の重畳的併合符号化データを生成する併合変更処理手段をさらに有することを特徴とする請求項１乃至６のいずれか１項の発明の画像処理システムである。

請求項１２の発明は、サーバと、クライアントと、サーバ・クライアント間インターフェースとからなり、
前記サーバにおいて主画像の符号化データと１以上の副画像の符号化データが重畳的に併合された重畳的併合データが生成され、該重畳的併合符号化データが前記サーバ・クライアント間インターフェースを介し前記クライアントへ転送され、
前記クライアントにおいて重畳的併合データの生成に関連する指示がユーザにより入力され、該ユーザによる指示の内容が前記サーバ・クライアント間インターフェースを介し前記サーバへ転送される、ことを特徴とする請求項１乃至６のいずれか１項の発明の画像処理システムである。

請求項１３の発明は、前記クライアントは、前記サーバより転送された重畳的併合符号化データを主画像の符号化データと副画像の符号化データとに分離する分離処理手段、前記サーバより転送された重畳的併合符号化データの副画像の併合位置を変更した別の重畳的併合符号化データを生成する位置変更処理手段、前記サーバより転送された重畳的併合符号化データより併合されている副画像の符号化データを削除し、前記サーバより転送された別の副画像の符号化データを重畳的に併合した別の重畳的併合符号化データを生成する併合変更処理手段のうちの少なくとも１つをさらに有することを特徴とする請求項１２の発明の画像処理システムである。

請求項１４の発明は、主画像の符号化データと１以上の副画像の符号化データを重畳的に併合した符号化データを生成する重畳的併合処理を含み、
前記重畳的併合処理により生成される符号化データは、主画像が保存されており、それを復号した場合に、主画像及び副画像がそれぞれ再生され、かつ、副画像が主画像に対し重畳的に再生される構成の符号化データであることを特徴とする画像処理方法である。

請求項１５の発明は、符号列が領域単位で分割された画像の符号化データより、選択した領域単位の符号列からなる符号化データを生成する処理をさらに含み、該処理により生成された符号化データが前記重畳的併合処理で副画像の符号化データとして処理されることを特徴とする請求項１４の発明の画像処理方法である。

請求項１６の発明は、符号列が階層化された画像の符号化データより、選択した階層の符号列からなる符号化データを生成する処理をさらに含み、該処理により生成された符号化データが前記重畳的併合処理で副画像の符号化データとして処理されることを特徴とする請求項１４の発明の画像処理方法である。

請求項１７の発明は、主画像の併合領域を設定する処理をさらに含み、該処理により設定された併合領域に応じて選択された領域単位又は階層の符号列からなる副画像の符号化データが生成されることを特徴とする請求項１５又は１６の発明の画像処理方法である。

請求項１８の発明は、請求項１乃至１３のいずれか１項に記載の画像処理システムの機能を１又は複数のコンピュータにより実現するプログラムである。

請求項１９の発明は、請求項１４乃至１７のいずれか１項の発明の画像処理方法の処理をコンピュータにより実行するプログラムである。

請求項２０の発明は、請求項１８又は１９の発明のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

請求項１乃至１７の発明によれば、主画像と副画像の符号化データを重畳的に併合した符号化データを復号することにより、主画像を名前、日付、説明文、ロゴマースなどを付加し、あるいは特定部分をマスキングした状態で表示させることができる。領域置換と異なり、重畳的併合符号化データには主画像が完全に保存されているため、重畳的併合符号化データに対する分離処理（請求項９，１３）により、主画像のみを表示させることも副画像のみを表示させることも可能となる。また、副画像は主画像に併合されるものであって、副画像で主画像の一部領域を置換するものではないから、副画像のサイズ、形状は任意であり、領域置換の場合のような副画像のサイズ、形状を整合させるための面倒な処理を必要とせず、また、副画像の併合位置（再生位置）も任意に設定可能である。また、重畳的併合符号化データに対する位置変更処理（請求項１０，１３）により、副画像の再生位置を容易に変更することができる。また、重畳的併合符号化データに対する併合変更処理（請求項１１，１３）により、主画像に別の説明などを付加し、あるいは別の部分をマスキングした状態で表示させることができる。また、例えばテキスト画像や特定のパターン画像の領域分割された符号化データに基づいて、必要な領域の符号列からなる副画像の符号化データを生成することにより、必要な文字やパターンを主画像に付加して表示させることができる（請求項２，１５）。また、例えばテキスト画像や特定のパターン画像の階層化された符号化データに基づいて、必要な階層の符号列からなる副画像の符号化データを生成することにより、主画像に付加される文字やパターンを必要な解像度もしくはサイズで表示させることができる（請求項３，１６）。主画像の併合領域を任意に設定することにより、主画像の任意の領域において説明文などを表示させたりマスキングをかけることができる（請求項４，１７）。また、設定された併合領域に表示される副画像の内容（説明分の文字数など）やサイズもしくは解像度を、設定された併合領域のサイズに応じて自動的に調整することができる（請求項５）。説明文やマスクパターンなどを表示させる適切な併合領域を主画像の特徴に基づき自動的に設定することができる（請求項６，７，８）、等々の効果を得られる。また、請求項１８乃至２０の発明によれば、コンピュータを利用して容易に請求項１乃至１７の発明を実施することができる。

本発明に係る画像処理システムは、図１に示すようなサーバ・クライアント構成をとることができる。図１において、１はサーバ、２はクライアント、３はサーバ・クライアント間インターフェースである。典型的には、サーバ１で後述するような符号化データの符号レベルでの重畳的併合処理が行われ、生成された重畳的併合符号化データはサーバ・クライアント間インターフェース３を介してクライアント２へ転送され、クライアント２において重畳的併合符号化データの復号処理、再生された画像の表示などが行われる。また、クライアント２のユーザインターフェースを利用し、重畳的併合符号化データの生成などに関連する指示が入力され、その指示の内容がサーバ１へ転送される。また、クライアント２には、後述するように、重畳的併合符号化データに対し符号レベルで編集を加えるための処理手段を備えることもできる。

このような画像処理システムは１又は複数のコンピュータ上でプログラムにより実現し得る。例えば、サーバ１及びクライアント２は１つのコンピュータ上でプログラムによりそれぞれ実現され、サーバ・クライアント間インターフェース３はコンピュータ内のシステムバスやメモリを介してサーバ・クライアント間の情報交換を行う。あるいは、サーバ１とクライアント２はそれぞれ別個のコンピュータ上で動作するプログラムにより実現され、サーバ・クライアント間インターフェース３は、コンピュータ間の接続ケーブルやネットワークを介してサーバ・クライアント間の情報交換を行う。

以下、図１の如きサーバ・クライアント構成の画像処理システムに関して、本発明の実施の形態について、より具体的に説明する。ただし、本発明に係る画像処理システムは、サーバ・クライアント構成に限定されるわけではなく、また、単一の装置として実現することもネットワークに接続された複数の装置の集合として実現することも可能である。

図２乃至図１５を参照して説明する。図２乃至図６は本発明の画像処理システムにおける機能的構成を説明するためのブロック図である。図７乃至図９は重畳的併合処理の応用例を説明するための図である。図１０乃至図１３は重畳的併合処理又は分離処理の説明図である。図１４及び図１５は処理説明用のフローチャートである。

まず、図１０乃至図１３により、重畳的併合処理と、その逆の処理である分離処理の概要を説明する。

図１０は重畳的併合処理の例を説明のための図である。本発明では、主画像の符号化データに副画像の符号化データが重畳的に併合されるが、（ａ）は副画像（例えば日時、名前などのテキスト画像）の符号化データ（コードストリーム）の模式図、（ｂ）は主画像の符号化データの模式図である。（ｃ）は重畳的併合後の符号化データの模式図であり、主画像符号化データ中の符号列の後に副画像符号化データの符号列が追加されている。通常、符号化データのヘッダには符号列の符号長が記載されるが、重畳的併合処理により符号列の符号長が増加するのでヘッダの符号長は書き換えられる。

ここで重畳的併合処理とは、処理後の符号化データに主画像が保存されており、それを復号した場合に、主画像と副画像の両方が再生され、かつ、副画像が主画像に対して重畳的に再生されるような符号レベルの併合処理である。副画像が主画像に対して重畳的に再生されるとは、主画像内に副画像が重なった形で再生されるということである。なお、副画像を主画像の上に重ねた形で表示させることも、主画像の下（裏）に副画像を重ねた形で表示させることも容易に可能である。このように、本発明の重畳的併合処理では、主画像も副画像も再生可能であって、主画像の特定部分の符号列を副画像の符号列で置き換える処理とも、主画像の特定部分を副画像で置き換えてから符号化する処理とも異なる。なお、重畳的併合処理後の符号化データに（例えばヘッダに）、副画像の再生位置（併合位置）を任意に指定するための位置指定データを設定可能である。

このような重畳的併合処理のフローの概略を図１４に示す。副画像の符号化データ中の符号列を、副画像の再生位置（併合位置）を考慮して、主画像の符号化データ中の符号列に追加し（ステップＳ１）、符号長を計算し（ステップＳ２）、計算した符号長によりヘッダを書き換える（ステップＳ３）、という手順で重畳的併合処理を行うことができる。

図１１は、重畳的併合処理後の符号化データの分離処理の例を説明するためのものであり、（ａ）は重畳的併合処理後の符号化データ（図１０（ｃ）相当）の模式図である。分離処理により、重畳的併合処理後の符号化データから副画像の符号列が削除され、（ｂ）に模式的に示すような主画像の符号化データが生成されるとともに、副画像の符号列にヘッダなどを付加した（ｃ）に示すような副画像符号化データが生成される。分離処理後の符号化データのヘッダの符号長は書き換えられることは勿論である。

本発明の重畳的併合処理では、主画像の符号列と副画像の符号列の両方が完全に保存されるため、このような分離処理が可能である。また、主画像の符号化データに複数の副画像の符号化データを重畳的に併合した符号化データ（図１２参照）では、主画像の符号化データ、それぞれの副画像の符号化データを分離できるとともに、主画像と一部の副画像の重畳的併合符号化データを生成することも可能である。かかる処理は本発明の重畳的併合処理した符号化データでのみ可能なのであって、符号レベル又は画像レベルでの置換を行った符号化データでは不可能であることは明らかである。

このような分離処理の概略を図１５に示す。重畳的併合処理後の符号化データより副画像の符号列を削除した主画像の符号化データを生成し、また、削除した副画像の符号列からなる副画像の符号化データを生成する（ステップＳ１１）。そして、各符号化データの符号長を計算し（ステップＳ１２）、各符号化データのヘッダに書き込む（ステップＳ１３）、という手順で分離処理を行うことができる。

図１０の例では主画像符号化データに１つの副画像符号化データが重畳的に併合されたが、複数の副画像の符号化データを重畳的に併合することもできる。図１２はその例を示すもので、（ａ）と（ｂ）はそれぞれ副画像の符号化データであり、（ｃ）は主画像の符号化データである。これら符号化データが重畳的併合された符号化データを（ｄ）に模式的に示す。

（ｄ）の符号化データを分離処理することにより、主画像の符号化データと各副画像の符号化データを生成できるほか、主画像符号化データと１つの副画像符号化データを重畳的に併合した符号化データ（この例では２つの符号化データ）を生成することができることは明らかであろう。ただし、これら全ての符号化データを必ずしも生成するという訳ではなく、必要な符号化データのみ選択的に生成することも可能である。

図１３は重畳的併合処理の別の例を説明するものである。この例では、（ｄ）に示すように主画像は４つの領域Ａ，Ｂ，Ｃ，Ｄに分割され、各領域毎に符号化されるものとする。（ｂ）は主画像の符号化データの模式図であり、その符号列は領域Ａ，Ｂ，Ｃ，Ｄ毎に区分されている。（ａ）は、領域Ａに対応する副画像の符号化データの模式図である。重畳的符号処理により、主画像の符号化データ中の符号列の後に副画像の符号化データの符号列が追加され、（ｃ）に模式的に示すような符号化データが生成される。この符号化データを復号すると、主画像と副画像の両方が再生され、副画像は主画像の領域Ａに重畳的に再生される。なお、主画像が見えるように表示させることも、副画像が見えるように表示させることも可能である。

上に述べた重畳的併合処理の応用例を図７乃至図９に示す。図７の（ａ）は主画像に日時を表す副画像を重畳的に併合した例、（ｂ）は主画像に、その被写体である人物の名前を表す副画像を重畳的に併合した例、（ｃ）は主画像に矢印マークを表す副画像を重畳的に併合した例である。（ａ）の例では、実時間を表す副画像の符号化データを生成することができるならば、主画像上に実時間を重畳的に表示させることができる。

また、図８の（ａ）は主画像に、その一部をマスキングするための副画像を重畳的に併合した例、（ｂ）は主画像に、その説明文（字幕）を表す副画像を重畳的に併合させた例である。（ｃ）は主画像に、緊急情報を表す副画像を重畳的に併合させた例である。

紙原稿をスキャナーで読み込んだ画像には、例えば図９に示すようにパンチ穴の影ａや原稿端の影ｂのようなノイズが生じやすい。このような画像を主画像とし、ノイズをマスキングするための画像（白画像）を副画像として重畳的併合処理を行うことにより、ノイズを副画像で隠すことができる。

図２は、主画像１００と副画像１０１より、その符号化データを生成し、それらを重畳的に併合した符号化データ１１１を生成するための機能的構成を説明するためのブロック図である。

図２において、１０２は主画像１００を入力としてその符号化データを生成する符号化処理手段であり、１０７は副画像１０１を入力としてその符号化データを生成する符号化処理手段である。１１０は主画像符号化データと副画像符号化データの重畳的併合処理を行って符号化データ１１１を生成する重畳的併合処理手段である。これら各手段は、画像処理システムのサーバ１に含まれる。

符号化処理手段１０２，１０７の符号化アルゴリズムは基本的には任意である。ここに示す例では、符号化処理手段１０２はＪＰＥＧ２０００の符号化アルゴリズムに従うもので、ウェーブレット変換手段１０３、量子化手段１０４、エントロピー符号化手段１０５及び符号形成手段１０６から構成されている。ＪＰＥＧ２０００については後述する。また、副画像１０１としてテキスト画像のような二値画像を想定しており、副画像用符号化処理手段１０７はエントロピー符号化手段１０８と符号形成手段１０９とからなる単純な構成である。

このように、主画像と副画像の種類もしくは性質の違いを考慮し、それぞれに適した異なった符号化アルゴリズムを使用することにより、効率的な符号化処理が可能である。かかる構成では、主画像符号化データと副画像符号化データは異なった構造となるが、これは重畳的併合処理に格別の支障とはならない。なお、符号化処理手段１０２，１０７を同一の構成にしてもよく、また、主画像と副画像の符号化処理に共通の符号化処理手段を用いる構成としてもよい。

サーバ１で生成された重畳的併合符号化データは、サーバ・クライアント間インターフェース３を介してクライアント２へ転送される。図２には示されていないが、クライアント２には、符号化データを復号する復号処理手段と、これにより復号された画像を表示する手段が備えられる。このことは図３乃至図６においても同様である。重畳的併合符号化データを復号することにより、主画像と副画像の両方が再生され、かつ、副画像が主画像に対し重畳的に再生されることは前述の通りである。そして、前述のように、副画像を主画像の上に表示させることも、主画像の下に表示させることも可能である。

図３に示すように、画像処理システムのクライアント２に、前記分離処理のための分離手段１２３を備えることができる。サーバ１において、主画像の符号化データ１２０と副画像の符号化データ１２１を重畳的併合処理手段１１０に入力し、重畳的併合処理した符号化データ１２２をサーバ・クライアント間インターフェース３によりクライアント２へ転送する。クライアント２においては、重畳的併合符号化データ１２２をそのまま復号し再生することもできるが、ユーザ・インターフェースを利用しユーザが指示することにより、分離処理手段１２３で符号化データ１２２を主画像符号化データ１２０と副画像符号化データ１２１とに分離させ、それを任意に選択して復号させ、その画像を表示させることができる。

図４に示すように、画像処理システムのクライアント３に、副画像の再生位置（併合位置）を変更するための位置変更処理手段１３３を備えることができる。サーバ１において、主画像の符号化データ１３０と副画像の符号化データ１３１を重畳的併合処理手段１１０に入力し、重畳的併合処理した符号化データ１３２をサーバ・クライアント間インターフェース３によりクライアント２へ転送する。クライアント２においては、受信した符号化データ１３２をそのまま復号することもできるが、ユーザ・インターフェースを利用して指示することにより、位置変更処理手段１３３で符号化データ１３２内の副画像の位置指定情報を書き換えることにより、副画像の再生位置（併合位置）を変更した符号化データ１３４を生成させ、その復号、表示を行わせることができる。

図５に示すように、クライアント３に併合変更処理手段１４５を備えることができる。サーバ１において、重畳的併合処理手段１１９により主画像の符号化データ１４０と副画像の符号化データ１４１を重畳的併合処理した符号化データ１４２が生成され、この符号化データ１４３がクライアント２へ転送される。クライアント２においては、ユーザ・インターフェースを利用して指示することにより、サーバ１から別の副画像の符号化データ１４２を転送させ、併合変更処理手段１４５で、符号化データ１４３より副画像符号化データ１４１の符号列を削除した後、副画像符号化データ１４２を重畳的に併合した符号化データ１４６を生成させることができる。この際、必要な符号長の書き換えなどが行われることは当然である。

ユーザは、クライアント側のユーザ・インターフェースを通じて、重畳的併合処理の対象となる主画像と副画像の指定や、副画像の併合位置（再生位置）の指定などを行うことができる。図６はその一例を示している。ユーザは、クライアント側のユーザ・インターフェースに含まれる指示入力手段１５２により、サーバ側の重畳的併合処理手段１１０に対し重畳的併合の対象となる主画像と副画像を指定し、また、副画像の併合位置（再生位置）を指定することができ、また、クライアント側の分離処理手段１２３などに対し処理内容を指定することができる。指定された主画像符号化データ１５０と副画像符号化データ１５１を重畳的併合処理した符号化データ１５３がクライアント側へ転送される。そして、既に述べたように、分離処理手段１２３は、ユーザから分離処理を指示された場合には、符号データ１５３に対して分離処理を行い、ユーザからの指示に従って主画像符号化データ１５０又は副画像符号化データ１５１を不図示の復号処理手段により復号させ、その画像を表示させる。分離処理が指示されない場合には、重畳併合された符号化データ１５３が不図示の復号処理手段により復号され、その画像が表示さる。

なお、図６に示すように、主画像の符号化データ１５０は複数の領域（例えばＪＰＥＧ２０００のタイル領域）に分割されていてもよい。この場合、図１３で説明したように、主画像の特定領域に副画像を重畳的に併合することができる。

図１６乃至図２０を参照し説明する。図１６は画像処理システムの機能的構成を説明するためのブロック図である。図１７乃至図１９は重畳的併合処理の説明図である。図２０は処理説明用のフローチャートである。

まず、図１７乃至図１９により、重畳的併合処理について説明する。

図１７において、（ａ）は主画像の符号化データ（コードストリーム）である。（ｂ）は、符号列が複数の領域単位に分割された符号化データである。この符号化データがＪＰＥＧ２０００のフォーマットの符号化データである場合、領域単位としてタイル、プレシンクト又はコードブロックを選択できる（後述のＪＰＥＧ２０００の説明を参照）。

本発明においては、（ｂ）に示した符号化データの選択した領域単位の符号列のみからなる符号化データを副画像の符号化データとして、主画像の符号化データとの重畳的併合処理を行うことができる。例えば、（ｂ）に示した符号化データの２つの領域単位のみの符号列からなる副画像の符号化データにより重畳的併合処理を行うと、（ｃ）に模式的に示すような構造の符号化データが生成される。この符号化データのヘッダに記述されている符号長などが書き換えられることは前述の通りである。

このような重畳的併合処理の具体例を図１８により説明する。図１８の（ａ）は、「２００３年８月２０日」という文字列からなるテキスト画像の符号化データであり、符号列は１文字を領域単位として区分されている。この画像の「８月２０日」という文字列の符号列のみからなる副画像の符号化データを生成し、それと主画像の符号化データの重畳的併合処理を行うことにより、（ｂ）に模式的に示すような重畳的併合符号化データが生成される。

図１８で説明したような副画像符号化データの生成と重畳的併合の処理は、例えば図２０に示すような手順により行うことができる。まず、テキスト画像の符号化データを指定する（ステップＳ２１）。このテキスト画像の符号化データより、併合したい領域単位（文字）の符号列を選択する（ステップＳ２２）。選択した符号列の併合位置（再生位置）を、ユーザ指定により、あるいは自動的に設定する（ステップＳ２３）。そして、選択された文字の符号列が設定された併合位置となるように構成した副画像の符号化データを生成する（ステップＳ２４）。最後に、この符号化データを主画像の符号化データに重畳的に併合する（ステップＳ２５）。

図１９は重畳的併合処理の別の例を説明するものである。（ａ）は主画像の符号化データである。（ｂ）はサブバンド単位の符号列が階層の高いほうから順に並べられた階層構造の符号化データである（例えばＪＰＥＧ２０００の符号化データは、このような符号構造をとることができる）。このような符号化データの、２ＬＬサブバンドの符号列のみからなる副画像の符号化データ、２ＬＬ〜２ＨＨサブバンドの符号列からなる副画像の符号化データ、２ＬＬ〜１ＨＨサブバンドの符号列からなる副画像の符号化データを生成し、それを主画像の符号化データに重畳的に併合すると、（ｃ），（ｄ），（ｅ）に示すような重畳的併合符号化データが生成される。なお、（ｃ）の符号化データを復号すると副画像は最も低い解像度で再生され、（ｄ）の符号化データを復号すると副画像は１レベル高い解像度で再生され、（ｅ）の符号化データを復号すると副画像は最も高い解像度で再生されることになる。

符号列が図１７に示すように領域単位に分割され、かつ、各領域単位の符号列が図１９に示すようなサブバンド毎の符号列に分割されている符号化データの場合には、領域単位かつ階層単位もしくはサブバンド単位で選択した符号列からなる副画像の符号化データを生成し、それを主画像の符号化データに重畳的に併合することも可能であることは明らかである。このような構造の符号化データとして例えばＪＰＥＧ２０００の符号化データがある。

図１６は、図１７乃至図１９に関連して説明したような副画像符号化データの生成と重畳的併合を行うための機能的構成を説明するブロック図である。図中の各手段はサーバ側に備えられるものである。

図１６において、２００は主画像であり、符号化処理手段１０２により符号化処理されることにより、その符号化データが生成される。

併合領域設定手段２０５は、副画像が重畳的に併合される主画像中の領域を設定する手段である。この領域設定は、クライアント側の指示入力手段１５２により入力されるユーザ指示に従って行うことができる。このユーザ指示は、例えば、クライアント側のユーザ・インターフェースを利用し、予め決められた複数の領域の中から１以上の領域を選択する方法であったり、主画像が矩形領域で区切られている場合に、１以上の矩形領域を選択する方法であったりする。

また、併合領域設定手段２０５において、主画像２００の解析、あるいは、ウェーブレット変換手段１０３により生成されるＬＬサブバンド係数の解析により画像特徴（エッジ成分など）を抽出し、それに基づいて併合領域を自動的に設定することもできる。例えば、副画像によって主画像のノイズ部分をマスキングしたいような場合には、ノイズ部分と推定される領域を併合領域として設定することができる。再生された副画像によって主画像の注目領域が隠れないように併合領域を設定したい場合には、主画像の空白領域や情報の少ない領域と推定される領域を併合領域に設定することができる。逆に、主画像の注目領域に副画像を再生させたい場合には、主画像の注目領域（例えば、肌色などの特定色の領域、情報の多い領域など）を併合領域に設定することができる。

図１６において、２０１は、例えば、図１８の（ａ）に示したテキスト画像の符号化データのような、符号列が領域単位に分割された符号化データである。符号列選択手段２０６は、クライアント側の指示入力手段１５２より入力されるユーザ指示に従って、あるいは、併合領域設定手段２０５で設定された併合領域のサイズなどに応じて、符号化データ２０１より領域単位で符号列を選択する手段である。また、符号化データ２０１が図１９（ｂ）に示すような階層構造である場合には、符号列選択手段２０６は、ユーザからの指示に従って、あるいは、併合領域設定手段２０５で設定された併合領域のサイズなどに応じて、階層もしくはサブバンド単位で符号列を選択することできる。また、符号化データ２０１の符号列が、図１７に示すように領域単位に符号列が分割され、かつ、各領域の符号列が図１９に示すような階層構造である場合には、符号列選択手段２０６は、領域単位で符号列を選択し、かつ、選択した符号列の特定の階層もしくはサブバンドの符号列のみを選択することができる。

このように、図１６に示す機能的構成によれは、例えば予め用意したテキスト画像や特定のパターン画像の必要な文字やパターンを主画像に付加して表示させたり、それら文字やパターンを必要な解像度もしくはサイズで表示させることができる。主画像の併合領域を任意に設定することにより、主画像の任意の領域において説明文などを表示させたりマスキングをかけることができる。また、設定された併合領域に表示される副画像の内容（説明分の文字数など）やサイズもしくは解像度を、設定された併合領域のサイズに応じて自動的に調整することができる。そして、説明文やマスクパターンなどを表示させる適切な併合領域を主画像の特徴に基づき自動的に設定することができる。

副画像符号化データ生成手段２０７では、符号列選択手段２０６により選択された符号列を内容とし、それら符号列に対応する画像が併合領域設定手段２０５により設定された領域に重畳的に併合されるような副画像符号化データを作成する手段である。この手段により生成された副画像符号化データと、符号化処理手段１０２により生成された主画像符号化データは、重畳的併合処理手段１１０によって重畳的に併合される。併合後の符号化データ２０３はクライアントへ転送される。クライアント側の処理は、図２乃至図６に関連して述べた通りであるので説明を繰り返さないが、符号化データを復号した場合、併合領域設定手段２０５により設定された主画像の併合領域に、副画像が重畳的に再生されることになる。

以上、本発明に係る画像処理システムに関して説明したが、それはまた本発明の画像処理方法の説明でもあることは明らかである。また、既に述べたように、本発明の画像処理システムは１又は複数のコンピュータを利用して１又は複数のプログラムにより実現することができる。本発明の画像処理方法も同様である。そのようなプログラムも本発明に包含される。また、そのようなプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの、コンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

［ＪＰＥＧ２０００の概要］
ここで、実施の形態に関連して言及したＪＰＥＧ２０００の概要について説明する。図２１に、ＪＰＥＧ２０００の符号化処理の典型的なフローを示す。

例えばＲＧＢの３コンポ−ネントで構成されるカラー画像を符号化する場合、各コンポーネントは重複しない矩形領域（タイル）に分割され、各コンポーネントの各タイル毎に処理が行われる。タイルのサイズはユーザにより指定可能であり、タイルサイズを画像サイズと一致させることも可能である。

各タイル毎に、ＤＣレベルシフトと輝度・色差コンポ−ネントへの色変換がなされる。ただし、ＤＣレベルシフト及び色変換は必須ではない。各コンポーネントの各タイル毎にウェーブレット変換（離散ウェーブレット変換）が行われる。ウェーブレット変換のデコンポジションレベル数（ウェーブレット変換の適用回数、階層数）はユーザにより指定可能である。

ウェーブレット係数は、サブバンド毎に、（９×７ウェーブレット変換が用いられる場合には線形量子化された後に）エントロピー符号化されるが、通常、圧縮効率を高めるため、ウェーブレット係数はビットプレーンに分解され、ビットプレーンを単位としたエントロピー符号化（ビットプレーン符号化）が行われる。正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化（サブビットプレーン符号化）される。

そして、得られた符号の中から不要な符号がトランケート（破棄）され、必要な符号がまとめられてパケットが生成される。最後に、パケットが所定の順序に並べられ、また必要なタグ又はタグ情報が付加されることにより、所定のフォーマットのコードストリーム（符号化データ）が形成される。

符号化時のエントロピー符号化、パケット生成、符号形成についてさらに説明する。図２２に画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す。ここではタイルサイズと画像サイズが同一（タイル分割数＝１）とされている。また、ウェーブレット変換のデコンポジションレベル数は３であり、サブバンドとして、デコンポジションレベル１の１ＬＨ，１ＨＬ，１ＨＨの各サブバンド、デコンポジションレベル２の２ＬＨ，２ＨＬ，２ＨＨの各サブバンド、デコンポジションレベル３の３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨの各サブバンドがある。

プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもので、画像中の大まかな場所を表すものである。ＨＬ，ＬＨ，ＨＨの各サブバンドを分割したプリシンクトについては、各サブバンドの対応位置のプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは、１つでひとまとまりとして扱われる。プリシンクトはサブバンドと同じサイズにすることもできる。プリシンクトを（ユーザが指定可能なサイズの）矩形に分割したものが、コードブロックである。サブバンドの係数はコードブロック毎に符号化される。プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。

図２３に、ＪＰＥＧ２０００のコードストリーム（符号化データ）の構造を示す。コードストリームの先頭及び各タイル部の先頭にはメインヘッダ(Main Header)及びタイルパートヘッダ(Tile-part Header）と呼ばれるタグ情報がそれぞれ付加され、その後に各タイルの符号列すなわちパケット列が所望のプログレッション順序で並べられる。そして、コードストリームの終端に終了タグ(End
of codestream)が置かれる。

復号化処理は符号化処理と丁度逆の処理である。コードストリームは各コンポーネントの各タイルのコードストリームに分解され、エントロピー復号によりウェーブレット係数に戻される。ウェーブレット係数は、符号化時に量子化されている場合には逆量子化された後、逆ウェーブレット変換が施されて画素値に戻される。符号化時にＤＣレベルシフトと色変換が適用された場合には、逆ウェーブレット変換後の画素値に逆色変換と逆ＤＣレベルシフトが適用され、元のＲＧＢの画素値に戻される。

このようなＪＰＥＧ２０００は、符号レベルでの多様な編集機能（パーサ機能）を備えている。このパーサ機能により、前述の符号レベルでの重畳的併合処理、分離処理、位置変更処理、併合変更処理、領域単位又は階層単位の符号列の選択と副画像符号化データ生成処理などを容易に行うことができる。したがって、ＪＰＥＧ２０００は、本発明に最適な符号化方式の一つである。

なお、主画像、副画像の符号化データは、モーション静止画方式の動画の符号化データであってもよい。そのような動画の符号化データとして、例えば、ＪＰＥＧ２０００の拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００による動画の符号化データがある。その各フレームは、静止画像として、独立にＪＰＥＧ２０００の符号化アルゴリズムにより符号化されているので、ＪＰＥＧ２０００の静止画像の符号化データと同様に扱うことができる。

サーバ・クライアント構成の画像処理システムの説明図である。 画像処理システムの機能的構成を説明するためのブロック図である。 画像処理システムの機能的構成を説明するためのブロック図である。 画像処理システムの機能的構成を説明するためのブロック図である。 画像処理システムの機能的構成を説明するためのブロック図である。 画像処理システムの機能的構成を説明するためのブロック図である。 重畳的併合処理の応用例の説明図である。 重畳的併合処理の応用例の説明図である。 重畳的併合処理の応用例の説明図である。 重畳的併合処理の説明図である。 重畳的併合処理の説明図である。 重畳的併合処理の説明図である。 重畳的併合処理の説明図である。 処理説明用のフローチャートである。 処理説明用のフローチャートである。 画像処理システムの機能的構成を説明するためのブロック図である。 重畳的併合処理の説明図である。 重畳的併合処理の説明図である。 重畳的併合処理の説明図である。 処理説明用のフローチャートである。 ＪＰＥＧ２０００の符号化処理フローの説明図である。 タイル、プレシンクト、コードブロックの説明図である。 コードストリームの説明図である。

符号の説明

１ サーバ
２ クライアント
３ サーバ・クライアント間インターフェース
１０２ 符号化処理手段
１０７ 符号化処理手段
１１０ 重畳的併合処理手段
１２３ 分離処理手段
１３３ 位置変更処理手段
１４５ 併合変更処理手段
１５２ 指示入力手段
２０５ 併合領域設定手段
２０６ 符号列選択手段
２０７ 副画像符号化データ生成手段

Claims (20)

1. 主画像の符号化データと１以上の副画像の符号化データを入力され、それら符号化データを重畳的に併合した符号化データを生成する重畳的併合処理手段とを有し、
   前記重畳的併合処理手段により生成される重畳的併合符号化データは、主画像が保存されており、それを復号した場合に、主画像及び副画像がそれぞれ再生され、かつ、副画像が主画像に対し重畳的に再生される構成の符号化データであることを特徴とする画像処理システム。
2. 符号列が領域単位で分割された画像の符号化データより、選択した領域単位の符号列からなる符号化データを生成する手段を有し、該手段により生成された符号化データが副画像の符号化データとして前記重畳的併合処理手段に入力されることを特徴とする請求項１に記載の画像処理システム。
3. 符号列が階層化された画像の符号化データより、選択した階層の符号列からなる符号化データを生成する手段をさらに有し、該手段により生成された符号化データが副画像の符号化データとして前記重畳的併合処理手段に入力されることを特徴とする請求項１に記載の画像処理システム。
4. 主画像の併合領域を設定する手段をさらに有し、前記重畳的併合符号化データを復号した場合、前記設定された併合領域に副画像が重畳的に再生されることを特徴とする請求項１，２又は３に記載の画像処理システム。
5. 主画像の併合領域を設定する手段をさらに有し、前記副画像の符号化データは前記併合領域を設定する手段により設定された併合領域に応じて選択された領域単位又は階層の符号列からなり、前記重畳的併合符号化データを復号した場合、前記設定された併合領域に副画像が重畳的に再生されることを特徴とする請求項２又は３に記載の画像処理システム。
6. 前記併合領域を設定する手段は、主画像の特徴を抽出し、抽出した特徴に基づいて併合領域を設定することを特徴とする請求項４又は５に記載の画像処理システム。
7. 主画像の空白領域と推定される領域が併合領域として設定されることを特徴とする請求項６に記載の画像処理システム。
8. 主画像の注目領域と推定される領域が併合領域として設定されることを特徴とする請求項６に記載の画像処理システム。
9. 前記重畳的併合処理手段により生成された重畳的併合符号化データを、主画像の符号化データと副画像の併合データとに分離する分離処理手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
10. 前記重畳的併合処理手段により生成された重畳的併合符号化データより、副画像の併合位置を変更した別の重畳的併合符号化データを生成する位置変更処理手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
11. 前記重畳的併合処理手段により生成された重畳的併合符号化データより、副画像の符号化データを削除し、別の副画像の符号化データを重畳的に併合した別の重畳的併合符号化データを生成する併合変更処理手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
12. サーバと、クライアントと、サーバ・クライアント間インターフェースとからなり、
    前記サーバにおいて主画像の符号化データと１以上の副画像の符号化データが重畳的に併合された重畳的併合データが生成され、該重畳的併合符号化データが前記サーバ・クライアント間インターフェースを介し前記クライアントへ転送され、
    前記クライアントにおいて重畳的併合データの生成に関連する指示がユーザにより入力され、該ユーザによる指示の内容が前記サーバ・クライアント間インターフェースを介し前記サーバへ転送される、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
13. 前記クライアントは、前記サーバより転送された重畳的併合符号化データを主画像の符号化データと副画像の符号化データとに分離する分離処理手段、前記サーバより転送された重畳的併合符号化データの副画像の併合位置を変更した別の重畳的併合符号化データを生成する位置変更処理手段、前記サーバより転送された重畳的併合符号化データより併合されている副画像の符号化データを削除し、前記サーバより転送された別の副画像の符号化データを重畳的に併合した別の重畳的併合符号化データを生成する併合変更処理手段のうちの少なくとも１つをさらに有することを特徴とする請求項１２に記載の画像処理システム。
14. 主画像の符号化データと１以上の副画像の符号化データを重畳的に併合した符号化データを生成する重畳的併合処理を含み、
    前記重畳的併合処理により生成される符号化データは、主画像が保存されており、それ復号した場合に、主画像及び副画像がそれぞれ再生され、かつ、副画像が主画像に対し重畳的に再生される構成の符号化データであることを特徴とする画像処理方法。
15. 符号列が領域単位で分割された画像の符号化データより、選択した領域単位の符号列からなる符号化データを生成する処理をさらに含み、該処理により生成された符号化データが前記重畳的併合処理で副画像の符号化データとして処理されることを特徴とする請求項１４に記載の画像処理方法。
16. 符号列が階層化された画像の符号化データより、選択した階層の符号列からなる符号化データを生成する処理をさらに含み、該処理により生成された符号化データが前記重畳的併合処理で副画像の符号化データとして処理されることを特徴とする請求項１４に記載の画像処理方法。
17. 主画像の併合領域を設定する処理をさらに含み、該処理により設定された併合領域に応じて選択された領域単位又は階層の符号列からなる副画像の符号化データが生成されることを特徴とする請求項１５又は１６に記載の画像処理方法。
18. 請求項１乃至１３のいずれか１項に記載の画像処理システムの機能を１又は複数のコンピュータにより実現するプログラム。
19. 請求項１４乃至１７のいずれか１項に記載の画像処理方法の処理をコンピュータにより実行するプログラム。
20. 請求項１８又は１９に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images