JP2006311200A - 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】ＪＰＭのような構造化文書の符号を、文書画像を再生する側で文書内容をできるだけ早期に把握できるような順序で転送する。
【解決手段】サーバ３０１からクライアント３００へ構造化文書符号を転送する際の符号の転送順は、文書内容を把握する上で重要な情報を含むものほど優先する。一般にマスクには文字情報が含まれるため文書内容理解のために最も重要であり、前景は文字色情報であるため重要度は最も低いため、マスク０，背景０，前景０，マスク１，前景１，マスク２，前景２，．．．．，マスクｎ−１、前景ｎ−１の順に符号を転送する。マスク符号はマスクのブロック単位で転送することが可能であり、好ましくは文字ブロックの符号を優先して転送し、その後に非文字ブロックの符号を転送する。
【選択図】図１６

Description

本発明は、ＭＲＣやＪＰＭの構造化文書の符号を扱う転送方法、画像処理システム及びサーバ装置に関する。

文字と写真等の画像が混在した文書の各ページを前景（文字の色情報）、マスク（文字領域情報）、背景（画像情報）という３つのレイヤに分割し、レイヤ毎に符号化するＭＲＣ（ミスクト・ラスター・コンテント）と呼ばれる手法がある。このＭＲＣに関連した発明の例として、例えば特許文献１，２に記載の発明が知られている。

また、近年、高精細画像の圧縮に適した符号化方式ＪＰＥＧ２０００(IS 15444-6）が注目されているが、ＭＲＣモデルの前景、マスク、背景の符号化方式としてＪＰＥＧ２０００の選択を可能としたＪＰＭ（JPEG2000 Multi Layer）が２００３年１０月に標準化された(IS 15444-6）。以下、ＪＰＥＧ２０００とＪＰＭの概要を説明する。

＜ＪＰＥＧ２０００の概要＞
図１はＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。カラー画像は、コンポーネント毎に、重複しない矩形ブロックであるタイルに分割される（タイル分割数≧１）。圧縮・伸長はコンポーネント毎、かつ、タイル毎に独立に行なわれる。

圧縮（符号化）動作は次のように行われる。各コンポーネントの各タイルのデータが、色空間変換・逆変換部１１１により例えばＲＧＢ空間からＹＣｂＣｒ空間へ変換された後、２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット変換(順変換)を適用されてサブバンド（周波数帯）に空間分割される。

図２に、デコンポジション・レベル数が３の場合のサブバンド分割の様子を示す。原画像のタイル分割によって得られた、図２（ａ）に示すタイル画像に対して２次元ウェーブレット変換を施すことにより、図２（ｂ）に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。このデコンポジションレベル１の低周波成分である１LLサブバンド係数に対して２次元ウェーブレット変換を施すことにより、図２（ｃ）に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。このデコンポジションレベル２の2LLサブバンド係数に対して２次元ウェーブレット変換を施すことにより、図２（ｄ）に示すデコンポジションレベル２のサブバンド(3LL,3HL,3LH,3HH)を分離する。

図１に戻る。ＪＰＥＧ２０００では、９×７変換と呼ばれる非可逆ウェーブレット変換と５×３変換と呼ばれる可逆ウェーブレット変換が規定されている。９×７変換が用いられる場合には、量子化・逆量子化部１１３でウェーブレット係数はサブバンド毎に線形量子化が施される。そして、指定した符号化の順番で符号化の対象となるビットが定められ、量子化・逆量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。エントロピー符号化・復号化部１１４では、このコンテキストと対象ビットから確率推定によってウェーブレット係数をエントロピー符号化する。

より詳しくは、図３に示すように、各サブバンドはプレシンクトと呼ばれる重複しない矩形領域に分割される。同じデコンポジションレベルのＬＨ，ＨＬ，ＨＨサブバンドの空間的に一致した３つの矩形領域が１つのプレシンクトとして扱われる。ただし、ＬＬサブバンドは１つの矩形領域が１つのプレシンクトとして扱われる。プレシンクトは大まかには画像中の位置を表すものである。プレシンクトをさらに矩形に分割したものがコードブロックであり、エントロピー符号化の単位である。ＪＰＥＧ２０００では、ウェーブレット係数に対し、コードブロック毎に、かつ、ビットプレーン順に、ＭＱ符号化と呼ばれるエントロピー符号化（ビットプレーン符号化）を行う。

タグ処理部１１５では、不要なエントロピー符号を破棄し、必要なエントロピー符号をまとめてパケットを生成し、パケットを所定の順序で並べるとともに必要なヘッダなどを付加することにより１本のコードストリーム（符号化データ）を形成する。

ここで、パケットとは、プレシンクトに含まれる全てのコードブロックの符号の一部を集めたもの（例えば全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）に、パケットヘッダを付けたものである。パケットは、コンポーネント、解像度レベル、プレシンクト、レイヤの属性を有する。

解像度レベルとデコンポジションレベルとの関係を図２の例で説明すれば、３ＬＬサブバンドは解像度レベル０であり、３ＨＬ，３ＬＨ，３ＨＨサブバンドは解像度レベル１である。デコンポジションレベル２の２ＨＬ，２ＬＨ，２ＨＨサブバンドは解像度レベル２であり、デコンポジションレベル１の１ＨＬ，１ＬＨ，１ＨＨサブバンドは解像度レベル３である。

また、レイヤであるが、全てのプレシンクト（＝全てのコードブロック＝全てのコードブロック）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤと呼ぶ。

図４にコードストリームの概略構造を示す。コードストリームの先頭と各タイルを構成する部分タイルの先頭に、Main header，Tile-part headerと呼ばれるタグ情報がそれぞれ付加され、Tile-part headerの後にタイルのパケット列(bit stream）が続き、終端にタグ（End of codestream）が置かれる。

一方、伸長（復号化）処理は符号化処理と丁度逆の処理により、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明すると、タグ処理部１１５で、外部より入力したコードストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコードストリームに分解する。各コンポーネントの各タイルのコードストリーム毎に、復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１１３で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部１１４で、このコンテキストとコードストリームから確率推定によって復号化（ＭＱ復号化）を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたウェーブレット係数は、量子化・逆量子化部１１３で必要に応じて逆量子化を施された後、２次元ウェーブレット変換・逆変換部１１２で２次元逆ウェーブレット変換を施されることにより、各コンポーネントの各タイル画像が復元される。復元されたデータは、色空間変換・逆変換部１１１によって元の表色系のデータに変換される。

＜ＪＰＭの概要＞
図５はＪＰＭの概要を説明するための図である。文書のPage（ページ）は１組以上のLayout Object（レイアウトオブジェクト）とBase Page（背景）からなる。Base Pageはパラメータ指定で、通常、単色か透明である。Layout ObjectはImage（前景）とMask（マスク）からなる。Imageには通常の画像データが格納される。Maskは、Imageの不透明度を表す。Layout Objectは、通常、MaskとImageの組だが、どちらか一方のみとすることも可能である。Layout ObjectがImageのみからなる場合、Maskは１（すべて上書き）として扱われる。Layout ObjectがMaskのみからなる場合、Imageは指定値となる。なお、Mask、Imageともにスケーリングおよびクリッピングが可能である（図７参照）。

図６は、ＪＰＭによる構造化文書のページ画像再現の例を説明するための図である。なお、図６の下部に画像合成（再現）のための演算式を示す。

最初にBase PageがPageImage_0（背景0）とされ、これと１つ目のLayout ObjectのImage_0（前景0）及びMask_0（マスク0）からPageImage_1（背景1）が合成される。すなわち、Mask_0の黒の画素位置では不透明度が１となり、Image_0がPageImage_0に上書きされる。Mask_0の白の画素位置では透明度が１となり、PageImage_0が表示される。同様に、PageImage_1（背景1）と２つ目のLayout ObjectのImage_1（前景1）とMask_1（マスク1）からPageImage_2（背景2）が作られる。すなわち、Mask_1の黒の画素位置でImage_1がPageImage_1に上書きされ、Mask_1の白の画素位置でPageImage_1が表示される。この例では、PageImage_2が最終的に表示される再現画像PageImageとなる。

図６の下部に示した２番目の式が背景と前景のブレンドのための演算式である。なお、MmとImは、ｍ番目のLayout ObjectにおけるMask（マスク）の画素値とImage（前景）の画素値を表す。ｃはコンポーネントをあらわす。Maskはシングルコンポーネントである。［x,y］は画素の座標を表し、SmはMmの最大値（２のべき乗-1）を表し、ｎはLayout Objectの数を表す。

２番目の式について説明を補足する。図６の例ではMaskは２値（画素あたり１ビット）の場合であり、Sm＝１であるため、マスク値が１のときには合成画像値＝前景値、マスク値が０のときには合成画像値＝背景値となった。つまり、マスク値により前景値又は背景値の一方が選択される形なる。しかし、Maskを多値にすることもでき、例えばMaskの各画素が８ビットの正値（０を含む）をとる場合には、Sm＝255であるため、各画素について
合成画像値＝（255−マスク値）／255）×背景値＋（マスク値／255）×前景値
により前景値と背景値の加重平均をとった値が合成画像値となる。このように、マスクは前景と背景の表示割合を制御する機能を持つと言うことができる。

次に、マスクのスケーリング及びクリッピングについて図７により説明する。デコードされたマスク（（ａ）参照）は、縦方向、横方向に独立して変倍することができる（（ｂ）参照）。マスクの一部を使用したい場合には、マスクをクリッピングをすることができる（（ｃ）参照）。そして、クリッピングされたマスクをページ内の任意の位置に割り付けることができ（（ｄ）参照）、割付後にマスクをさらにクリッピングをすることも可能である（（ｅ）参照）。前景についても、同様のスケーリングやクリッピングが可能である。

特許第３２７５８０７号公報 特開２００１−２２３９０３号公報

以上に述べた「背景、及び、前景とマスクの１以上の組」からなる（前景とマスクの組数が１の場合、「背景、マスク、前景」からなる）構造化文書の符号から、前述の手順によって文書画像を再生することができる。

本発明の目的は、このような構造化文書の符号から文書画像を再生する際に、文書の重要な情報を早い段階で効率よく把握可能とする、構造化文書符号の転送方法と、それを実施する画像処理システム、サーバ装置、プログラム及び情報記録媒体を提供することにある。

請求項１の発明は、背景、及び、前景とマスクの１以上の組からなる構造化文書の符号から文書画像を再生する処理を行う画像再生処理手段への、前記構造化文書の符号の転送方法であって、前記構造化文書の前景とマスクの各組について、マスクの符号の転送を前景の符号より優先させる制御を行うことを特徴する構造化文書符号の転送方法である。

請求項２の発明は、請求項１に係る構造化文書符号の転送方法であって、前景とマスクの組数が１の構造化文書の符号をマスク、背景、前景の順に転送させる制御を行うことを特徴とする構造化文書符号の転送方法である。

請求項３の発明は、請求項１又は２に係る構造化文書符号の転送方法であって、前記構造文書のマスクの符号を、マスクの分割領域であるブロックの単位で転送することを特徴とする構造化文書符号の転送方法である。

請求項４の発明は、請求項３に係る構造化文書符号の転送方法であって、前記構造化文書のマスクの符号は複数のタイルに分割されたＪＰＥＧ２０００の符号であり、該タイルが前記ブロックであることを特徴とする構造化文書符号の転送方法である。

請求項５の発明は、請求項３又は４に係る構造化文書符号の転送方法であって、前記構造化文書のマスクのブロックについて文字ブロックであるか非文字ブロックであるかの判定を行い、該判定の結果に基づき、前記構造化文書のマスクの文字ブロックの符号の転送を非文字ブロックの符号より優先させる制御を行うことを特徴とする構造化文書符号の転送方法である。

請求項６の発明は、請求項１，２，３，４又は５に係る構造化文書符号の転送方法であって、前記画像再生処理手段はネットワークを介しサーバ装置と接続されたクライアント装置に含まれ、前記構造化文書の符号を前記サーバ装置よりネットワークを介して前記クライアント装置へ転送することを特徴とする構造化文書符号の転送方法である。

請求項７の発明は、背景、及び、前景とマスクの１以上の組からなる構造化文書の符号から文書画像を再生する処理を行う画像再生処理手段と、前記構造化文書の符号を前記画像再生処理手段へ転送する処理を行う転送処理手段とを有し、前記転送処理手段は前記構造化文書の符号の転送順序を制御する順序制御手段を含み、該順序制御手段は前記構造化文書の前景とマスクの各組について、マスクの符号の転送を前景の符号より優先させる制御を行うことを特徴する画像処理システムである。

請求項８の発明は、請求項７に係る画像処理システムであって、前記順序制御初段は、前景とマスクの組数が１の構造化文書の符号を、マスク、背景、前景の順に転送させる制御を行うことを特徴とする画像処理システムである。

請求項９の発明は、請求項７又は８に係る画像処理システムであって、前記転送処理手段は、前記構造文書のマスクの符号を、マスクの分割領域であるブロックの単位で転送することを特徴とする画像処理システムである。

請求項１０の発明は、請求項９に係る画像処理システムであって、前記構造化文書のマスクの符号は複数のタイルに分割されたＪＰＥＧ２０００の符号であり、該タイルが前記ブロックであることを特徴とする画像処理システムである。

請求項１１の発明は、請求項９又は１０に係る画像処理システムであって、前記転送処理手段は前記構造化文書のマスクのブロックについて文字ブロックであるか非文字ブロックであるかの判定を行う判定手段を含み、前記順序制御手段は前記判定手段による判定結果に基づき、前記構造化文書のマスクの文字ブロックの符号の転送を非文字ブロックの符号より優先させる制御を行うことを特徴とする画像処理システムである。

請求項１２の発明は、請求項７，８，９，１０又は１１に係る画像処理システムであって、前記画像再生処理手段はクライアント装置に含まれ、前記転送処理手段は前記クライアント装置とネットワークを介して接続されるサーバ装置に含まれ、前記転送処理手段は前記サーバ装置より前記クライアント装置へネットワークを介して前記構造化文書の符号を転送する処理を行うことを特徴とする画像処理システムである。

請求項１３の発明は、背景、及び、前景とマスクの１以上の組からなる構造化文書の符号をネットワークを介してクライアント装置へ転送する処理を行う転送処理手段を有し、前記転送処理手段は前記構造化文書の符号の転送順序を制御する順序制御手段を含み、該順序制御手段は前記構造化文書の前景とマスクの各組について、マスクの符号の転送を前景の符号より優先させる制御を行うことを特徴するサーバ装置である。

請求項１４の発明は、請求項１３に係るサーバ装置であって、前記順序制御手段は、前景とマスクの組数が１の構造化文書の符号をマスク、背景、前景の順に転送させる制御を行うことを特徴とするサーバ装置である。

請求項１５の発明は、請求項１３又は１４に係るサーバ装置であって、前記転送処理手段は前記構造文書のマスクの符号を、マスクの分割領域であるブロックの単位で転送することを特徴とするサーバ装置である。

請求項１６の発明は、請求項１５に係るサーバ装置であって、前記構造化文書のマスクの符号は複数のタイルに分割されたＪＰＥＧ２０００の符号であり、該タイルが前記ブロックであることを特徴とするサーバ装置である。

請求項１７の発明は、請求項１５又は１６に係るサーバ装置であって、前記転送処理手段は前記構造化文書のマスクのブロックについて文字ブロックであるか非文字ブロックであるかの判定を行う判定手段を含み、前記順序制御手段は、前記判定手段による判定結果に基づき、前記構造化文書のマスクについて文字ブロックの符号の転送を非文字ブロックの符号より優先させる制御を行うことを特徴とするサーバ装置である。

請求項１８の発明は、請求項７乃至１７のいずれか１項に係る転送処理手段としてコンピュータを機能させるプログラムである。

請求項１９の発明は、請求項７乃至１７のいずれか１項に係る転送処理手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

通常、構造化文書のマスクには文書の内容を把握する上で最も重要な文字情報が含まれるのに対し、前景は文字の色情報であって重要度は一般に低い。背景には文字情報を補助するような写真などの絵柄が含まれる場合があり、その情報は文字色情報より一般に重要である。請求項１〜１２の発明によれば、構造化文書のマスクの符号が背景の符号より優先して転送され、特に請求項２，８の発明によればマスク、背景、前景の順に符号が転送されるため、転送先で重要度の高い情報を優先して再現し効率的に文書の内容を把握できるようなる。

文書のページサイズが大きい場合、マスク全体の符号を一括して転送すると、転送先でマスクの情報を再現するまでの時間が長くなりやすい。請求項３〜５，９〜１１の発明によれば、マスクの符号はブロック単位で転送されるため、転送先ではブロック単位でマスクの情報を順次再現することができ、その１ブロックあたりの再現は短い時間で可能であるため、早期に文書内容を把握しやすくなる。また、請求項４，１０の発明によれば、マスクの符号はマスク分割されたＪＰＥＧ２０００の符号であるため、マスクの符号（ＪＰＥＧ２０００のコードストリーム）からタイルパートを取り出して転送することにより、ブロック単位の符号転送を簡易に行うことができる。さらに、請求項５，１１の発明によれば、マスクの重要な文字情報を含むブロックである文字ブロックの符号が非文字ブロックの符号より優先して転送されるため、転送先では文字ブロックの情報を先に再現することができ、文字ブロック／非文字ブロックを区別せずに再現する場合に比べ、より効率的に文書内容を把握できるようなる。

請求項１４〜１７の発明によれば、請求項１〜７の発明に係る転送方法を実施することができ、また、請求項８〜１１の発明に係るサーバ・クライアント構成の画像処理システムを実現することができる。

また、請求項１８，１９の発明によれば、請求項１〜６の発明をコンピュータを利用し容易に実施することができ、また、請求項７〜１７の発明に係る画像処理システム又はサーバ装置をコンピュータを利用し容易に実現することができる。

図８は、本発明に係る画像処理システムの構成を説明するためのブロック図である。この画像処理システムは、構造化文書の符号から文書画像を再生する処理を行う画像再生処理手段２００と、この画像再生処理手段２００へ構造化文書の符号を本発明の転送方法により転送する処理を行う転送処理手段２０１とから構成される。

ここでは、転送処理手段２０４は、符号保存手段２０４に保存されている構造化文書の符号を取り込み、それを転送するものとして説明する。ただし、画像保存手段２０５に保存されている文書の画像から符号処理手段２０６によって構造化文書の符号を生成し、これを転送処理手段２０１により転送する形態をとることも可能であり、かかる形態も本発明に包含される。

転送処理手段２０１には、構造化文書の符号の転送順序を制御する順序制御手段２０２が含まれる。また、請求項５，１１に係る形態にあっては、構造化文書のマスクのブロックについて、文字ブロックと非文字ブロックの判定を行うための判定手段２０３も転送処理手段２０１に含まれる。

本発明に係る画像処理システムは、画像処理手段２００と転送処理手段２０１の両方を１の装置として実現する形態Ａ、あるいは、物理的に独立した２つの装置として実現する形態Ｂをとり得る。後者の形態Ｂの典型は図９に示すようなサーバ・クライアント構成のシステム形態である。図９において、３００はクライアント装置であり、３０１はサーバ装置であり、両者はネットワーク３０２を介して接続される。画像再生処理手段２００はクライアント装置２００に含まれ、転送処理手段２０１と符号保存手段２０４はサーバ装置３０１に含まれる。そして、転送処理手段２０１は、ネットワーク３０２経由で構造化文書の符号を転送する処理を行うことになる。

形態Ａの画像処理システムは、ＣＰＵ、メモリ、ディスプレイ、通信インターフェース、入力装置、ハードディスク装置などからなる一般的なコンピュータ上でプログラムによって実現することができる。すなわち、画像再生処理手段２００及び転送処理手段２０１としてコンピュータを機能させる１以上のプロクラムは、例えばハードディスク装置に格納され、必要な時にメモリにロードされてＣＰＵに実行されることにより、画像処理システムがコンピュータ上に構築される。このようなプログラムには請求項１８に係るプログラム、すなわちコンピュータを転送処理手段２０１として機能させるプログラムが包含される。また、かかるプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの情報記録（記憶）媒体は、請求項１９に係る情報記録媒体に包含される。

形態Ｂに係るクライアント装置３００及びサーバ装置３０１も、一般的なコンピュータ上でプログラムによってそれぞれ実現することができる。サーバ装置３０１を実現するプログラムには、転送処理手段２０２としてコンピュータを機能させる請求項１８に係るプログラムが包含される。

以下、図９に示した形態Ｂの画像処理システムとして説明するが、これは便宜上であり、その説明は形態Ｂの画像処理システムにもあてはまるものである。また、以下の説明は、請求項１〜６に係る構造化文書符号の転送方法の実施形態の説明でもある。

［実施例１］
本実施例においては、符号処理手段２０１は、「背景、マスク、前景」とからなる（つまり「前景とマスク」の組数が１の）構造化文書の符号の転送処理を行うが、順序制御手段２０２の制御により、図１０に示すように、最初にマスクの符号を転送し、次に背景の符号を転送し、最後に前景の符号を転送する。すなわち、転送処理の流れは図１１のように表される。

この場合、クライアント装置３００側で画像再生処理手段２００により再生される画像の見え方を図１２に例示する。最初にマスクの符号が復号され、そのイメージだけが見える（図１２（ａ）参照）。この例ではマスクには「バス」の文字情報のみであり、この段階では前景も背景も復号されていないため、白の背景に既定色の文字「バス」だけが見える。この段階で、当該文書が「バス」に関連した内容であることを把握することができる。次に背景の符号が復号され、この背景（バスが写った写真画像）に「バス」が上書きされたイメージが見える（図１２（ｂ）参照）。この段階で、当該文書が「バス」の写った写真を内容としていることを把握できる。最後に前景（文字の色指定）が復号されることにより、前景により指定された色で文字「バス」を塗ったイメージが見える（図１２（ｃ）参照。ただし、作図の制約上、色は表現されていない）。

このように、文書の内容の把握に最も重要な文字情報を含むマスクの符号の転送を最優先し、次に文字の理解を助ける絵柄などが含まれる場合が多い背景の符号を転送し、重要度が通常最も低い文字の色指定情報である前景の符号を最後に転送するという符号の転送順序の制御を行うことにより、クライアント側では、文書画像再生処理の早い段階で文書の内容を容易に把握可能となる。図１２の例は、写真とそのキャプションである「バス」からなる文書であったが、文字で記述された内容の多い、より一般的な文書の場合には、その文字記述が最初に表示されるならば内容の大半を把握できることが多く、上記転送順序制御の効果はより顕著である。

［実施例２］
本実施例では、前記実施例１と同様、符号処理手段２０１は、「背景、マスク、前景」とからなる構造化文書の符号の転送処理を行う。そして、最初にマスクの符号を転送し、次に背景の符号を転送し、最後に前景の符号を転送することも前記実施例１と同様であり、したがって構造化文書符号の転送処理の全体的な流れは図１１のように表される。

ただし、本実施例では、図１１のｓｔｅｐ１において、マスクの符号をブロック単位で転送する。また、マスクのブロックについて、判定手段２０３により文字ブロック／非文字ブロックの判定を行う。そして、この判定結果に従って、順序制御手段２０２は、文字ブロックの符号を先に転送し、その後に非文字ブロックの符号を転送するようにマスク符号の転送順序を制御する。

例えば、マスクを図１３（ａ）のように６個のブロックに分割し、図１３（ｂ）に「文」が付されたブロックが文字ブロックと判定され、「非」が付されたブロックが非文字ブロックと判定されたとする。また、ブロックには図１３（ｃ）に示すようにラスター順に番号が付けられているとする。マスクの文字ブロックと判定されたブロックの符号が番号の若いブロックのものから順にブロック単位で転送され、次に非文字ブロックと判定されたブロックの符号が番号の若いブロックのものから順にブロック単位で転送される。したがって、クライアント側で、図１４の（ａ），（ｂ），（ｃ）のようにマスクの文字ブロックのイメージを順に表示することができ、文書の内容を早期に把握可能となる。そして、マスク全体の符号を一括して転送する場合に比べ、文字ブロックの符号のみを転送する方が転送時間及びその復号時間も短縮できるため、より早い段階で文書内容の把握が可能となる。このような文字ブロックのイメージが表示された後、非文字ブロックのイメージが（ｄ），（ｅ），（ｃ）のように順に表示されることになる。

なお、本実施例の変形例として、マスクのブロックについて文字ブロック／非文字ブロックの判定を行わず、マスクの符号をブロック単位で、例えばラスター順に転送する制御を行う態様も可能である。かかる態様によれば、クライアント側で、マスクのイメージをブロック単位で順次表示できる。したがって、マスクの符号を一括して転送し、符号全体の転送が終わってから復号してマスクのイメージを表示する態様に比べ、早い段階で文書内容の把握が可能となる。

図１５は、本実施例におけるｓｔｅｐ１（図１１）の処理の流れを示すフローチャートである。ここでは、マスクの符号はタイル分割を行ったＪＰＥＧ２０００の符号であり、そのタイルをブロックとして、文字ブロックを非文字ブロックより優先して、ブロック単位でマスク符号を転送するものとする。

まず、転送処理手段２０１において、マスクの符号（ＪＰＥＧ２０００のコードストリーム）をタイルパートに分割する（ｓｔｅｐ１１）。これらタイルパートがブロックの符号である。なお、タイルパートのヘッダには、タイルの番号（＝ブロック番号）が含まれている。

次に判定手段２０３により、各ブロック（＝タイル）について文字ブロック／非文字ブロックの判定を行う（ｓｔｅｐ１２）。文字はエッジ量が大きく、また、ブロックに含まれるエッジ量が多いほどブロックの符号量が増加するという関係がある。これに鑑み、文字ブロック／非文字ブロックの判定に、各ブロックの符号（タイルパート）の符号量を所定の閾値と比較し、符号量が閾値以上のブロックを文字ブロックとし、符号量が閾値未満のブロックを非文字ブロックとする方法を用いることができる。ただし、このような判定方法に限定されるものではない。

以上の判定が終わると、転送処理手段２０１はマスク符号をブロック単位で転送する処理が行うが、この際に、順序制御手段２０２によって文字ブロックの符号の転送を非文字ブロックの符号の転送より優先させる転送順序制御が行われる。

すなわち、順序制御手段２０２は、最も若い番号のブロックについて文字ブロックであるか調べ（ｓｔｅｐ１３）、文字ブロックでないならば次の番号のブロックを選び（ｓｔｅｐ１５）、文字ブロックならば転送処理手段２０１により当該ブロックの符号を転送させ（ｓｔｅｐ１４）、次の番号のブロックを選ぶ（ｓｔｅｐ１５）。同様の文字ブロックの符号を転送させる制御を行い、最後のブロックまで処理が済んだならば（ｓｔｅｐ１６，Ｙｅｓ）、最も若い番号のブロックを選択し（ｓｔｅｐ１７）、その符号が送信済みであるならば（ｓｔｅｐ１８，Ｙｅｓ）、次の番号のブロックを選択し（ｓｔｅｐ２０）、符号を送信済みでないブロックならば（ｓｔｅｐ１８）、そのブロックの符号を転送させ（ｓｔｅｐ１９）、次の番号のブロックを選択する（ｓｔｅｐ２０）。このようにして非文字ブロックの符号をブロック番号の若いものから順に転送させる制御を行い、最後の番号のブロックまで選択済みなとる（ｓｔｅｐ２１，Ｙｅｓ）、転送処理を完了する。

なお、クライアント側で、転送されたマスクのブロック単位の符号の復号処理や復号したブロックのイメージをページ上に配置するためには、通常、マスク符号（ＪＰＥＧ２０００のコードストリーム）のメインヘッダの情報をクライアント側へ転送する必要がある。この転送の方法として、例えば、マスクの最初に転送される文字ブロックの符号（タイルパート）にメインヘッダを付加する方法をとることができる。ただし、メインヘッダのみ別に先行して転送する等の方法をとることも可能である。

また、本実施例ではマスクの符号化方式としてＪＰＥＧ２０００を用いるものとして説明したが、ブロック単位で符号化・復号化が可能であれば他の符号化方式を用いることもできる。また、転送処理の際に、文書画像から構造化文書符号を生成する処理を行う場合には、符号化前にマスクをブロック分割し、個々のブロックを別々に符号化する方法をとることも可能である。このことは後記実施例４についても同様である。

［実施例３］
本実施例では、「背景０、ｎ組の前景ｋとマスクｋ」（ただしｋ＝０，１，．．．，ｎ−１）からなる構造化文書の符号の転送処理を行う。前景とマスクの各組について、マスクの符号を前景の符号より優先して転送するように順序制御手段２０２により転送順序が制御される。また、背景０、マスク０、前景０の間では、マスク０、背景０、前景０の順に符号を転送するように転送順序が制御される。

図１６に、本実施例における構造化文書符号の転送の順序と、クライアント側での画像合成を模式的に示す。すなわち、サーバ側からクライアント側へマスク０，背景０，マスク１，前景１，．．．，マスクｎ−１，前景ｎ−１の順に符号が転送される。クライアント側では、背景０，マスク０，前景０から背景１を合成し、この背景１とマスク１，前景１から背景２を合成し、という処理を繰り返し、最後に背景ｎ−１，マスクｎ−１，前景ｎ−１から背景ｎを合成する。この背景ｎが、最終的な再生文書画像となる。ｋ＝０，１，２，．．．，ｎ−１の各段階でマスクの符号が優先して転送され、また、各段階の合成イメージが順次表示される。したがって、各段階で文書の重要情報である文字情報が優先して表示されることになるため、文書の内容を早期に把握しやすくなる。

図１８は、本実施例における転送処理手段２０１の処理の流れを示すフローチャートである。まず、順序制御手段２０２は、ｋに０にセットし、ｎに繰り返し回数（＝マスクと背景の組数）をセットする（ｓｔｅｐ３１）。次に、順序制御手段２０２は、マスクｋを選択し、その符号を転送処理手段２０１により転送させる（ｓｔｅｐ３２）。そして、Ｋ＝０ならば（ｓｔｅｐ３３，Ｙｅｓ）、背景ｋを選択し、その符号を転送処理手段２０１により転送させ（ｓｔｅｐ３４）、Ｋ≠０ならば前景ｋを選択し、その符号を転送させる（ｓｔｅｐ３５）。次にｋを１だけインクリメントし（ｓｔｅｐ３６）、マスクｋを選択し、その符号を転送させる（ｓｔｅｐ３２）。ｋ＝ｎとなるまで（ｓｔｅｐ３７，Ｙｅｓ）、同様の符号転送を繰り返す。

［実施例４］
本実施例において、構造化文書符号の転送処理は図１７のフローチャートに示すような流れで実行されるが、ｓｔｅｐ３２で、前記実施例２と同様に、マスクの文字ブロックを非文字ブロックより優先して、ブロック単位でマスクの符号が転送される。このようなｓｔｅｐ３２の処理の流れは図１５と同様でよいので説明を繰り返さない。ただし、文字ブロック／非文字ブロックを区別せず、ラスター順にブロック単位で符号を転送する態様もとり得る。

ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。 ２次元ウェーブレット変換の説明図である。 タイル、プレシンクト、コードブロックの説明図である。 ＪＰＥＧ２０００のコードストリームの構造の説明図である。 ＪＰＭの概要説明図である。 文書画像の再現手順を説明するための図である。 マスクのスケーリング、クリッピング等の説明図である。 本発明に係る画像処理システムを説明するためのブロック図である。 サーバ・クライアント構成による画像処理システムのブロック図である。 実施例１における符号転送の説明図である。 クライアント側での画像の見え方を示す図である。 実施例１，２における符号転送処理のフローチャートである。 マスクのブロック分割と文字／非文字ブロック判定の例を示す図である。 ブロック単位の符号転送の順序を示す図である。 実施例２，４におけるマスク符号の転送処理のフローチャートである。 実施例３，４における符号転送の説明図である。 実施例３における符号転送処理のフローチャートである。

符号の説明

２００ 画像再生処理手段
２０１ 転送処理手段
２０２ 順序制御手段
２０３ 判定手段
３００ クライアント装置
３０１ サーバ装置
３０２ ネットワーク

Claims (19)

1. 背景、及び、前景とマスクの１以上の組からなる構造化文書の符号から文書画像を再生する処理を行う画像再生処理手段への、前記構造化文書の符号の転送方法であって、
   前記構造化文書の前景とマスクの各組について、マスクの符号の転送を前景の符号より優先させる制御を行うことを特徴する構造化文書符号の転送方法。
2. 前景とマスクの組数が１の構造化文書の符号をマスク、背景、前景の順に転送させる制御を行うことを特徴とする請求項１記載の構造化文書符号の転送方法。
3. 前記構造文書のマスクの符号を、マスクの分割領域であるブロックの単位で転送することを特徴とする請求項１又は２記載の構造化文書符号の転送方法。
4. 前記構造化文書のマスクの符号は複数のタイルに分割されたＪＰＥＧ２０００の符号であり、該タイルが前記ブロックであることを特徴とする請求項３記載の構造化文書符号の転送方法。
5. 前記構造化文書のマスクのブロックについて文字ブロックであるか非文字ブロックであるかの判定を行い、該判定の結果に基づき、前記構造化文書のマスクの文字ブロックの符号の転送を非文字ブロックの符号より優先させる制御を行うことを特徴とする請求項３又は４記載の構造化文書符号の転送方法。
6. 前記画像再生処理手段はネットワークを介しサーバ装置と接続されたクライアント装置に含まれ、前記構造化文書の符号を前記サーバ装置よりネットワークを介して前記クライアント装置へ転送することを特徴とする請求項１，２，３，４又は５記載の構造化文書符号の転送方法。
7. 背景、及び、前景とマスクの１以上の組からなる構造化文書の符号から文書画像を再生する処理を行う画像再生処理手段と、
   前記構造化文書の符号を前記画像再生処理手段へ転送する処理を行う転送処理手段とを有し、
   前記転送処理手段は前記構造化文書の符号の転送順序を制御する順序制御手段を含み、該順序制御手段は前記構造化文書の前景とマスクの各組について、マスクの符号の転送を前景の符号より優先させる制御を行うことを特徴する画像処理システム。
8. 前記順序制御初段は、前景とマスクの組数が１の構造化文書の符号を、マスク、背景、前景の順に転送させる制御を行うことを特徴とする請求項７記載の画像処理システム。
9. 前記転送処理手段は、前記構造文書のマスクの符号を、マスクの分割領域であるブロックの単位で転送することを特徴とする請求項７又は８記載の画像処理システム。
10. 前記構造化文書のマスクの符号は複数のタイルに分割されたＪＰＥＧ２０００の符号であり、該タイルが前記ブロックであることを特徴とする請求項９記載の画像処理システム。
11. 前記転送処理手段は前記構造化文書のマスクのブロックについて文字ブロックであるか非文字ブロックであるかの判定を行う判定手段を含み、
    前記順序制御手段は前記判定手段による判定結果に基づき、前記構造化文書のマスクの文字ブロックの符号の転送を非文字ブロックの符号より優先させる制御を行うことを特徴とする請求項９又は１０記載の画像処理システム。
12. 前記画像再生処理手段はクライアント装置に含まれ、前記転送処理手段は前記クライアント装置とネットワークを介して接続されるサーバ装置に含まれ、
    前記転送処理手段は前記サーバ装置より前記クライアント装置へネットワークを介して前記構造化文書の符号を転送する処理を行うことを特徴とする請求項７，８，９，１０又は１１記載の画像処理システム。
13. 背景、及び、前景とマスクの１以上の組からなる構造化文書の符号をネットワークを介してクライアント装置へ転送する処理を行う転送処理手段を有し、
    前記転送処理手段は前記構造化文書の符号の転送順序を制御する順序制御手段を含み、該順序制御手段は前記構造化文書の前景とマスクの各組について、マスクの符号の転送を前景の符号より優先させる制御を行うことを特徴するサーバ装置。
14. 前記順序制御手段は、前景とマスクの組数が１の構造化文書の符号をマスク、背景、前景の順に転送させる制御を行うことを特徴とする請求項１３記載のサーバ装置。
15. 前記転送処理手段は前記構造文書のマスクの符号を、マスクの分割領域であるブロックの単位で転送することを特徴とする請求項１３又は１４記載のサーバ装置。
16. 前記構造化文書のマスクの符号は複数のタイルに分割されたＪＰＥＧ２０００の符号であり、該タイルが前記ブロックであることを特徴とする請求項１５記載のサーバ装置。
17. 前記転送処理手段は前記構造化文書のマスクのブロックについて文字ブロックであるか非文字ブロックであるかの判定を行う判定手段を含み、
    前記順序制御手段は、前記判定手段による判定結果に基づき、前記構造化文書のマスクについて文字ブロックの符号の転送を非文字ブロックの符号より優先させる制御を行うことを特徴とする請求項１５又は１６記載のサーバ装置。
18. 請求項７乃至１７のいずれか１項記載の転送処理手段としてコンピュータを機能させるプログラム。
19. 請求項７乃至１７のいずれか１項記載の転送処理手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images