JP2007089136A - 画像処理方法、画像処理プログラム、記録媒体及び複合装置 - Google Patents

Abstract

【課題】本発明は、入力される画像を高品質にかつ利用性が良好な状態で画像処理する画像処理方法、画像処理プログラム、記録媒体及び複合装置に関する。
【解決手段】画像処理装置１は、入力カラー画像から背景画像と前景画像を抽出して、背景画像を、前景に相当する部分の周辺色相当の均一な色での塗り潰しや解像度変換等の画像処理を施した後、背景ＪＰＥＧファイルに圧縮し、前景画像を文字色の抽出、減色数の決定、減色処理等の画像処理を施した後、透過属性付きの前景ＰＮＧファイルに圧縮し、入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出し、当該表示関連情報に基づいてＨＴＭＬファイルを作成して、当該ＨＴＭＬファイルに背景圧縮ファイルと前景圧縮ファイルを重ね合わせて高圧縮ＨＴＭＬファイルを作成する。
【選択図】 図１

Description

本発明は、画像処理方法、画像処理プログラム、記録媒体及び複合装置に関し、詳細には、スキャナ、デジタルスチルカメラ等の画像入力装置から入力された画像を高品質に画像処理する画像処理方法、画像処理プログラム、記録媒体及び複合装置に関する。

近年、インターネットを利用したデータの交換が行われ、Ｗｅｂフォームページの記述言語としては、主に、ＨＴＭＬ（Hyper Text Markup Language）が用いられており、ＨＴＭＬ上で画像を取り扱う場合、ＪＰＥＧ（Joint Picture Engineering Group）、ＧＩＦ（Graphic Interchange Format）、ＰＮＧ（Portable Network Graphics format）等の圧縮方式で圧縮した画像データを取り扱うのが一般的である。なお、高圧縮技術については、特許文献１等に記載されている。

そして、近年、膨大になりがちな画像データの圧縮に関して、文字部と背景部を分離した上で、それぞれ圧縮するという方式により、総合的な画像データのサイズを削減するという技術が注目されている。

特開２００３−２４４４４７号公報

しかしながら、上記従来技術にあっては、いずれの圧縮方式にあっても画像データを圧縮することを主にしているのが現状であり、汎用性の高いＨＴＭＬやOpen Office Format等の複合ドキュメントのサイズを抑制する技術は提案されておらず、専用のアプリケーションを用いることなく再現することができず、文字と画像の混在する画像に対して品質を維持しつつ、高圧縮率で圧縮する技術が要望されている。

そこで、本発明は、高圧縮率で圧縮するとともに、専用のアプリケーションを用いることなく、文字と画像の混在する入力画像を高品質にまた操作性が良好な状態で再現することのできる画像処理方法、画像処理プログラム、記録媒体及び複合装置を提供することを目的としている。

請求項１記載の発明の画像処理方法は、入力画像から背景画像と前景画像を抽出する抽出処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出する画像解析処理と、当該算出された表示関連情報に基づいてＨＴＭＬファイルを作成するＨＴＭＬファイル作成処理と、を行うことにより、上記目的を達成している。

請求項２記載の発明の画像処理プログラムは、入力画像から背景画像と前景画像を抽出する抽出処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出する画像解析処理と、当該算出された表示関連情報に基づいてＨＴＭＬファイルを作成するＨＴＭＬファイル作成処理の各処理ステップを有することにより、上記目的を達成している。

上記各場合において、例えば、請求項３に記載するように、前記画像処理方法または前記画像処理プログラムは、前記抽出された背景画像に所定の画像処理を施して背景画像ファイルを作成する背景画像処理と、前記抽出された前景画像に所定の画像処理を施して透過属性付きの前景画像ファイルを作成する前景画像処理と、を行ってもよい。

また、例えば、請求項４に記載するように、前記画像処理方法または前記画像処理プログラムは、前記背景画像処理において、前記画像処理の一部として、前記背景画像を所定の圧縮率で圧縮し、前記前景画像処理において、前記画像処理の一部として、前記前景画像を所定の圧縮率で圧縮してもよい。

さらに、例えば、請求項５に記載するように、前記画像処理方法または前記画像処理プログラムは、前記背景画像ファイルと前記背景画像ファイルのうち少なくとも一方の画像ファイルを前記ＨＴＭＬファイルに重ね合わせて合成ＨＴＭＬファイルを作成する合成ＨＴＭＬファイル作成処理を行ってもよい。

また、例えば、請求項６に記載するように、前記画像処理方法または前記画像処理プログラムは、前記合成ＨＴＭＬファイルを所定の画像処理方法、画像処理プログラム、記録媒体及び複合装置で圧縮してもよい。

さらに、例えば、請求項７に記載するように、前記画像処理方法または前記画像処理プログラムは、新たな表示位置情報、表示サイズ情報等の表示関連情報が入力されると、前記画像解析処理で、当該新たな表示関連情報に基づいて、前記表示位置、表示サイズ等の表示関連情報を再度算出し直してもよい。

また、例えば、請求項８に記載するように、前記画像処理方法または前記画像処理プログラムは、前記背景画像をバックグラウンド画像として当該背景画像上に所定の入力フォームを重ね合わせて表示する入力フォーム表示処理を行うとともに、当該入力フォーム表示処理中に、新たな表示位置情報、表示サイズ情報等の表示関連情報が入力されると、前記背景画像処理で、前記背景画像を当該表示関連情報に基づいて再度画像処理を行って前記背景画像ファイルとし、または、当該画像処理後の背景画像を圧縮し直して前記背景画像ファイルとしてもよい。

請求項９記載の発明の画像処理方法は、入力画像から背景画像と前景画像を抽出する抽出処理と、当該抽出された背景画像に所定の画像処理を施して背景画像ファイルを作成する背景画像処理と、当該抽出された前景画像に所定の画像処理を施して透過属性付きの背景画像ファイルを作成する前景画像処理と、当該背景画像ファイルと当該背景画像ファイルを用いて所定のページ概念を有する汎用文書ファイルに準拠した図形描画ファイルを作成する図形描画ファイル作成処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して文書サイズ、画像埋め込み位置等の文書レイアウト関連情報を決定する文書レイアウト決定処理と、当該決定された文書レイアウト関連情報に基づいて前記汎用文書ファイルを作成する汎用文書ファイル作成処理と、当該汎用文書ファイルに前記図形描画ファイルを埋め込んで最終汎用文書ファイル群を作成する最終汎用文書ファイル群作成処理と、を行うことにより、上記目的を達成している。

請求項１０記載の発明の画像処理プログラムは、入力画像から背景画像と前景画像を抽出する抽出処理と、当該抽出された背景画像に所定の画像処理を施して背景画像ファイルを作成する背景画像処理と、当該抽出された前景画像に所定の画像処理を施して透過属性付きの背景画像ファイルを作成する前景画像処理と、当該背景画像ファイルと当該背景画像ファイルを用いて所定のページ概念を有する汎用文書ファイルに準拠した図形描画ファイルを作成する図形描画ファイル作成処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して文書サイズ、画像埋め込み位置等の文書レイアウト関連情報を決定する文書レイアウト決定処理と、当該決定された文書レイアウト関連情報に基づいて前記汎用文書ファイルを作成する汎用文書ファイル作成処理と、当該汎用文書ファイルに前記図形描画ファイルを埋め込んで最終汎用文書ファイル群を作成する最終汎用文書ファイル群作成処理の各処理ステップを有することにより、上記目的を達成している。

請求項９または請求項１０の場合、例えば、請求項１１に記載するように、前記画像処理方法または前記画像処理プログラムは、前記背景画像処理において、前記画像処理の一部として、前記背景画像を所定の圧縮率で圧縮し、前記前景画像処理において、前記画像処理の一部として、前記前景画像を所定の圧縮率で圧縮してもよい。

また、例えば、請求項１２に記載するように、前記画像処理方法または画像処理プログラムは、前記最終汎用文書ファイル群作成処理で作成された最終汎用文書ファイル群を１つの汎用文書ファイルとして圧縮する圧縮処理を行ってもよい。

さらに、例えば、請求項１３に記載するように、前記画像処理方法または前記画像処理プログラムは、前記背景画像処理において、前記背景画像をＪＰＥＧファイルとして圧縮し、前記前景画像処理において、前記前景画像を透過属性付きのＰＮＧファイルとして圧縮してもよい。

また、例えば、請求項１４に記載するように、前記画像処理方法または前記画像処理プログラムは、画像とテキストの混在する混在文書から画像のみを分離する画像分離処理を行い、当該画像分離処理で分離された画像を前記入力画像として処理してもよい。

請求項１５記載の発明の記録媒体は、入力画像から背景画像と前景画像を抽出して各種画像処理を行う画像処理プログラムを記録する記録媒体であって、前記画像処理プログラムとして、請求項２から請求項８、または、請求項１０から請求項１４のいずれかに記載の画像処理プログラムを記録することにより、上記目的を達成している。

請求項１６記載の発明の複合装置は、ファクシミリ通信機能、データ通信機能、画像データを用紙に記録出力する記録機能、原稿の画像を読み取るスキャナ機能と、画像データを所定のデータ記憶手段に記憶するデータ記憶機能、所定の表示手段に画像を表示する画像表示機能等の各種機能を備えた複合装置において、前記ファクシミリ受信機能、データ通信機能またはスキャナ機能によって取得した画像データを前記データ記憶機能で前記データ記憶手段に記憶するに際して、あるいは、当該記憶手段から読み出した画像データの前記データ通信機能によるデータ送信または前記画像表示機能による前記表示手段への画像表示を行うに際して、当該画像データに対して、請求項１、請求項３から請求項９または請求項１１から請求項１４のいずれかに記載の画像処理方法を実施することにより、上記目的を達成している。

請求項１記載の発明の画像処理方法によれば、入力画像から背景画像と前景画像を抽出し、当該入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出して、当該表示関連情報に基づいてＨＴＭＬファイルを作成しているので、背景画像、前景画像及びＨＴＭＬファイルを、専用のアプリケーションを用いることなく、それぞれ汎用性よく利用することができるとともに、高圧縮率で圧縮したり、文字と画像の混在する入力画像を高品質にまた操作性が良好な状態で再現することができる。

請求項２記載の発明の画像処理プログラムによれば、当該画像処理プログラムを、コンピュータや複合装置等の画像データを取り扱う装置に導入することで、入力画像から背景画像と前景画像を抽出し、当該入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出して、当該表示関連情報に基づいてＨＴＭＬファイルを作成しているので、背景画像、前景画像及びＨＴＭＬファイルを、専用のアプリケーションを用いることなく、それぞれ汎用性よく利用することができるとともに、高圧縮率で圧縮したり、文字と画像の混在する入力画像を高品質にまた操作性が良好な状態で再現することができる。

請求項９記載の発明の画像処理方法によれば、入力画像から背景画像と前景画像を抽出して、背景画像を所定の画像処理を施して背景画像ファイルとし、前景画像を所定の画像処理を施して透過属性付きの前景画像ファイルとし、当該背景画像ファイルと当該前景画像ファイルを用いて所定のページ概念を有する汎用文書ファイルに準拠した図形描画ファイルを作成し、入力画像から当該入力画像のサイズ、解像度等を解析して文書サイズ、画像埋め込み位置等の文書レイアウト関連情報を決定して、当該決定した文書レイアウト関連情報に基づいて汎用文書ファイルを作成し、当該汎用文書ファイルに図形描画ファイルを埋め込んで最終汎用文書ファイル群を作成するので、マルチページの管理を容易に行うことのできる利用性の良好なファイルを作成することができるとともに、専用のアプリケーションを用いることなく、安価で操作性が良好な汎用のビューワー等で高精細に再現することができる。

請求項１０記載の発明の画像処理プログラムによれば、当該画像処理プログラムを、コンピュータや複合装置等の画像データを取り扱う装置に導入することで、入力画像から背景画像と前景画像を抽出して、背景画像を所定の画像処理を施して背景画像ファイルとし、前景画像を所定の画像処理を施して透過属性付きの前景画像ファイルとし、当該背景画像ファイルと当該前景画像ファイルを用いて所定のページ概念を有する汎用文書ファイルに準拠した図形描画ファイルを作成し、入力画像から当該入力画像のサイズ、解像度等を解析して文書サイズ、画像埋め込み位置等の文書レイアウト関連情報を決定して、当該決定した文書レイアウト関連情報に基づいて汎用文書ファイルを作成し、当該汎用文書ファイルに図形描画ファイルを埋め込んで最終汎用文書ファイル群を作成するので、マルチページの管理を容易に行うことのできる利用性の良好なファイルを作成することができるとともに、専用のアプリケーションを用いることなく、安価で操作性が良好な汎用のビューワー等で高精細に再現することができる。

以下、本発明の好適な実施例を添付図面に基づいて詳細に説明する。なお、以下に述べる実施例は、本発明の好適な実施例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

図１〜図６は、本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第１実施例を示す図であり、図１は、本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第１実施例を適用した複合装置等の画像処理装置１のブロック構成図である。

図１において、画像処理装置１は、文書要素抽出部２、色クラスタリング・減色部３、ＰＮＧ格納部４、前景部消去部５、解像度変換部６、ＪＰＥＧ格納部７、画像サイズ検出部８、ＨＴＭＬ作成部９及びＨＴＭＬ格納部１０等を備えており、これらの各部の機能は、ＣＤ（Compact Disc）、ＭＯ（光磁気ディスク）、フレキシブルディスク、メモリカード、フラッシュメモリ等の記録媒体に記録されている画像処理プログラムをサーバ装置等の情報処理装置に読み取らせて動作させることにより構築されている。

画像処理装置１は、コンピュータで作成されたり、スキャナ、デジタルスチルカメラ等で取得されたカラー画像が、これらコンピュータ、スキャナ、デジタルスチルカメラ等を画像入力装置２１として、文書要素抽出部２に入力カラー画像として入力され、文書要素抽出部２は、入力カラー画像に対して、連接画素、エッジ、形状、色差等に基づいて文字・罫線等を特定して、高圧縮ファイルのための前景画像（文字・罫線等の画像）と背景画像（写真等の画像）とを分離する抽出処理を行う。

文書要素抽出部２は、抽出した前景画像１０１を色クラスタリング・減色部３に渡し、色クラスタリング・減色部３は、文字色の抽出、減色数の決定、減色処理等を行って、最終的に、透過属性付きのＰＮＧ（またはＧＩＦなど）ファイル、例えば、透過属性付き前景ＰＮＧファイルとして、ＰＮＧ格納部４に保存する前景画像圧縮処理を行う。

文書要素抽出部２は、抽出した背景画像１０２を前景部消去部５に渡し、前景部消去部５は、背景画像１０２のうち前景に相当する部分を、ＪＰＥＧ圧縮率を向上させるために、周辺色相当の均一な色で塗り潰して消去して、解像度変換部６に出力する。解像度変換部６は、前景部消去部５で前景相当部の消去された背景部の画像を、圧縮率向上を目的として、例えば、１／２等の適度な解像度に変換する。すなわち、文書原稿においては、文字情報を重視し、背景については多少犠牲にしても、圧縮効率を向上させるために、解像度変換を行う。また、解像度変換部６は、場合によっては、さらにＪＰＥＧ圧縮率を向上させるために、背景画像のノイズ除去や平滑化を行い、最終的に、ＪＰＥＧ（またはＪＰＥＧ２０００等）ファイル、例えば、背景ＪＰＥＧファイルとして、ＪＰＥＧ格納部７に保存する。すなわち、上記前景部消去部５及び解像度変換部６は、全体として、抽出された背景画像を所定の画像処理を施した後に所定の圧縮率で圧縮して背景圧縮ファイルを作成する背景画像圧縮処理を行う。

そして、このような透過属性付き前景ＰＮＧファイルと背景ＪＰＥＧファイルの作成は、通常、Ｗｅｂコンテンツ作成時に行なわれる処理であるが、運用内容によっては、ユーザが指定した文書原稿を画像処理装置１上のサーバやネットワークに接続されている他のサーバ（ｈｔｔｐサーバ）２２に登録し、当該サーバ２２上の文書原稿を閲覧する場合などに、動的に入力カラー画像から前景／背景を分離して、ＰＮＧ／ＪＰＥＧを作成するような処理・運用を行う必要が生じる。

そこで、画像処理装置１は、このようにして作成した前景画像の透過属性付き前景ＰＮＧファイルと、背景画像の背景ＪＰＥＧファイルと、を入力カラー画像のＨＴＭＬ文書に準拠して、重ね合わせる。

すなわち、画像処理装置１は、その画像サイズ検出部８で、入力カラー画像の画像サイズや解像度等を検出し、サーバ２２にアクセスするネットワーク上のクライアント端末２３のＷｅｂブラウザ２４に表示する画像サイズや表示位置等の表示関連情報の設定を算出して、算出結果をＨＴＭＬ作成部９に出力する画像解析処理を行う。また、画像サイズ検出部８は、後述するように、元画像の解像度そのままで表示させる場合は、元画像のサイズそのままでよいが、ズーム（Ｚｏｏｍ）変倍表示させる場合、Ｗｅｂブラウザ２４から印刷させることを目的とした場合等は、それらに応じた幅（width）／高さ（height）のサイズを算出する。

ＨＴＭＬ作成部９は、画像サイズ検出部８の検出結果に基づいて、入力カラー画像に対するＨＴＭＬファイルを作成して、ＨＴＭＬ格納部１０に保存するＨＴＭＬファイル作成処理を行う。このＨＴＭＬファイルは、図２（ａ）に示すようなソースコードとなる。すなわち、前景と背景をまったく同じ位置に同じ大きさで重ねて表示させることになる。なお、図２（ａ）のソースコードでは、背景画像が、その幅が「２４８０」、高さが「３５０８」で、左「０」ピクセル、上「０」ピクセルを絶対位置とし、前景画像が、同様に、その幅が「２４８０」、高さが「３５０８」で、左「０」ピクセル、上「０」ピクセルを絶対位置とすることが示されている。

実際の前景ファイルと背景ファイルは、解像度変換部６における解像度変換により異なる画像サイズであるが、その前景画像の透過属性付き前景ＰＮＧファイルと背景ＪＰＥＧファイルをＨＴＭＬ記述においてまったく同じサイズになるように指定し、重ね合わせる圧縮ＨＴＭＬファイル作成処理を行う。

高圧縮ＨＴＭＬは、ＨＴＭＬファイル＋透過属性付き前景ＰＮＧ（またはＧＩＦ等）＋背景ＪＰＥＧ（またはＪＰＥＧ２０００等）の３つのファイルから成る。

そして、図２（ｂ）に示すように、Ｗｅｂブラウザ２４上での表示倍率を変更する場合には、ＨＴＭＬ作成部９で、前景画像／背景画像ともに、幅（width）／高さ（height）の指定を変更することにより、表示倍率を変更することができる。なお、図２（ｂ）のソースコードでは、背景画像及び前景画像の大きさが、図２（ａ）の画像の３０％の大きさとする旨、すなわち、背景画像が、その幅が「２４８０」の３０％である「７４４」、高さが「３５０８」の３０％である「１０５２」で、左「０」ピクセル、上「０」ピクセルを絶対位置とし、前景画像が、同様に、その幅が「２４８０」の３０％である「７４４」、高さが「３５０８」の３０％である「１０５２」で、左「０」ピクセル、上「０」ピクセルを絶対位置とすることが示されている。

また、図１に破線矢印で示すように、クライアント端末２３のユーザ操作により、動的にＷｅｂブラウザ２４に表示されている画像のスクロールや表示倍率の変更を行なう場合には、次のような動作となる。すなわち、Ｗｅｂブラウザ２４上のユーザ操作は、ＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりｈｔｔｐサーバ２２側に通知される。

このユーザ操作に基づいて、図１に破線矢印で示すように、ＨＴＭＬ書換情報（新たな表示関連情報）が画像サイズ検出部８に通知され、画像サイズ検出部８が新たな表示位置や表示サイズ等の表示関連情報から前景画像・背景画像それぞれの倍率を算出して、この算出情報に基づいて、ＨＴＭＬ作成部９がＨＴＭＬファイルを作成しなおし、ＨＴＭＬがreloadされることで、実現される。

次に、本実施例の作用を説明する。本実施例の画像処理装置１は、入力カラー画像を前景画像と背景画像に分けて、それぞれ異なる圧縮方式で圧縮し、また、前景画像と背景画像を当該入力画像のＨＴＭＬ文書に準拠して重ね合わせる。

すなわち、画像処理装置１は、図３（ａ）に示すように、画像入力装置２１から入力カラー画像が入力されると（ステップＳ１０１）、文書要素抽出部（領域分離部）２で、当該入力カラー画像に対して、連接画素、エッジ、形状、色差等に基づいて文字・罫線等を特定して分離し（ステップＳ１０２）、当該文字・罫線等の画像を前景画像とし、その他の写真等の画像を背景画像として、前景画像と背景画像を分離する（ステップＳ１０３）。

画像処理装置１は、文字・罫線等の画像を前景画像として分離すると（ステップＳ１０４）、当該前景画像に対して、色クラスタリング・減色部３で、文字色の抽出、減色数の決定、減色処理等を行い（ステップＳ１０５）、最終的に、透過属性付きのＰＮＧファイル（またはＧＩＦファイルなど）として、ＰＮＧ格納部４に保存する（ステップＳ１０６）。

また、画像処理装置１は、写真等の画像を背景画像として分離すると（ステップＳ１０７）、前景部消去部５で、背景画像のうち前景に相当する部分を、周辺色相当の均一な色で塗り潰して消去し（ステップＳ１０８）、この前景部消去部５で前景相当部の消去された背景部の画像を、解像度変換部６で、圧縮率向上を目的として、予め設定されている解像度にスムージング間引きを行うことで変換して（ステップＳ１０９）、最終的に、ＪＰＥＧ（またはＪＰＥＧ２０００等）ファイル、例えば、背景ＪＰＥＧファイルとして、ＪＰＥＧ格納部７に保存する（ステップＳ１１０）。

そして、画像処理装置１は、このようにして作成した前景画像の透過属性付き前景ＰＮＧファイルと、背景画像の背景ＪＰＥＧファイルと、を入力カラー画像のＨＴＭＬ文書に準拠して、重ね合わせる。

すなわち、画像処理装置１は、その画像サイズ検出部８で、入力カラー画像の画像サイズ・解像度等を検出し、サーバ２２にアクセスするネットワーク上のクライアント端末２３のＷｅｂブラウザ２４に表示する表示位置、表示サイズから前景画像（透過属性付き前景ＰＮＧ）及び背景画像（背景ＪＰＥＧ）のそれぞれの倍率を算出し、ＨＴＭＬ作成部９で、表示サイズ、表示位置に調整したＨＴＭＬファイルを作成して、ＨＴＭＬ格納部１０に保存する。

この実際の前景ファイルと背景ファイルは、上述のように、解像度変換部６における解像度変換により異なる画像サイズであるが、その前景画像の透過属性付き前景ＰＮＧと背景ＪＰＥＧをＨＴＭＬ記述においてまったく同じサイズになるように指定し、重ね合わせて、サーバ２２にアクセスするネットワーク上のクライアント端末２３のＷｅｂブラウザ２４に表示させる。

そして、クライアント端末２３のユーザ操作により、動的にＷｅｂブラウザ２４に表示されている文書画像のスクロールや表示倍率の変更を行なう場合には、図３（ｂ）に示すように処理を行う。すなわち、Ｗｅｂブラウザ２４上のユーザ操作が検出されると（ステップＳ１１１）、ＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりユーザの指定した表示倍率・スクロール位置を検出して、ｈｔｔｐサーバ２２側に通知する（ステップＳ１１２）。

画像サイズ検出部８は、通知された新たな表示位置や表示サイズから前景画像・背景画像それぞれの倍率を算出し（ステップＳ１１３）、ＨＴＭＬ作成部９が、この画像サイズ検出部８の算出情報に基づいて、表示サイズ・表示位置に調整したＨＴＭＬファイルを作成しなおして（ステップＳ１１４）、ＨＴＭＬ格納部１０に保存する（ステップＳ１１５）。

このＨＴＭＬ格納部１０のＨＴＭＬ文書がreloadされることで、ユーザの操作に応じた表示倍率で表示し、また、スクロールを行う。

このように、本実施例の画像処理装置１は、入力画像から背景画像と前景画像を抽出して、背景画像を、前景に相当する部分の周辺色相当の均一な色での塗り潰しや解像度変換等の画像処理を施した後、背景ＪＰＥＧファイル（背景圧縮ファイル）に圧縮し、前景画像を、文字色の抽出、減色数の決定、減色処理等の画像処理を施した後、透過属性付きの前景ＰＮＧファイル（前景圧縮ファイル）に圧縮し、入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出して、当該表示関連情報に基づいてＨＴＭＬファイルを作成し、当該ＨＴＭＬファイルに背景圧縮ファイルと前景圧縮ファイルを重ね合わせて圧縮ＨＴＭＬファイルを作成している。

すなわち、画像処理装置１は、図４に示すように、入力画像から抽出された背景画像から作成された背景ファイル（ａ）と入力画像から抽出された前景画像から作成された前景ファイル（ｂ）をＨＴＭＬファイル（ｃ）上に重ね合わせて、合成ＨＴＭＬファイルである圧縮ＨＴＭＬファイル（ｄ）を作成して表示する。なお、図４では、背景ファイルが、ＪＰＥＧファイルで、画像データとカラー情報を有し、前景ファイルが、透過付きＰＮＧファイルで、文字と当該文字の色情報を有しており、これらの背景ファイルと前景ファイルをＨＴＭＬファイルを重ね合わせて圧縮ＨＴＭＬファイルを作成している場合を示している。

したがって、高圧縮率で圧縮することができるとともに、専用のアプリケーションを用いることなく、文字と画像の混在する入力画像を高品質にまた操作性が良好な状態で再現することができる。

また、本実施例の画像処理装置１は、ＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりユーザの指定した表示倍率・スクロール位置等の新たな表示関連情報が入力されると、画像サイズ検出部８の画像解析処理で、当該新たな表示関連情報に基づいて、表示位置、表示サイズ等の表示関連情報を再度算出し直す。

例えば、図４に示した場合、図５に示すように、背景ファイルの大きさが、幅「１００」、高さ「２００」で、前景ファイルの大きさが、幅「２００」、高さ「４００」の場合、倍率を調整して、ＨＴＭＬファイルとして、幅「２００」、高さ「４００」に調整する。

したがって、Ｗｅｂブラウザ２４上での表示倍率の変更等のユーザの指示操作に応じて、背景画像と前景画像の表示位置を設定することができ、ユーザの操作に応じた表示を適切に行うことができる。

なお、上記説明においては、入力画像から作成した背景ファイルと前景ファイルの両方のファイルをＨＴＭＬファイルに重ね合わせているが、背景ファイルと前景ファイルのいずれか一方のファイルのみをＨＴＭＬファイルに重ね合わせてもよい。

例えば、図６に示すように、入力画像が棒グラフ画像であって、当該棒グラフのグラフ内がそれぞれ異なる色の塗りつぶしであり、この棒グラフのグラフ内の塗り潰し部分のみが背景画像で構成され、他の画像部分が前景画像で構成されている場合、重ね合わせたＨＴＭＬファイルを白黒で出力するときには、前景画像ファイルのみをＨＴＭＬファイルに重ね合わせることで、塗り潰し部分が消されたすっきりした見やすい画像を生成して、出力させることができる。すなわち、意図する画像のみを簡単に出力することができ、利用性を向上させることができる。

なお、上記説明においては、クライアント端末２３のユーザ操作により、動的にＷｅｂブラウザ２４に表示されている文書画像のスクロールや表示倍率の変更を行なう場合のＨＴＭＬの再生処理をサーバ２２側で行っているが、クライアント端末２３側で処理してもよく、クライアント端末２３側で処理する方が応答がスムーズになる。この場合、例えば、Ｊａｖａ（登録商標）アプレットやＡｃｔｉｖｅ−Ｘ、ブラウザプラグインのようなクライアント端末２３側で動作するプログラムで表示サイズを制御することができる。

図７〜図１９は、本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第２実施例を示す図であり、図７から図９は、本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第２実施例を適用した画像処理装置による圧縮処理を示すフローチャートである。

なお、本実施例は、上記第１実施例の画像処理装置と同様の画像処理装置に適用したものであり、本実施例の説明においては、上記第１実施例の説明で用いた符号をそのまま用いて説明する。

本実施例の画像読取装置１は、図７から図９に示すように、高圧縮ＨＴＭＬとして作成された文書画像の上に、入力エリア（入力フォーム）を表示して、実際の文書に書き込みを行っているような操作感及び表示を行なう。なお、図７から図９において、上記第１実施例の図３と同様の処理ステップには、同一のステップナンバーを付して、説明を簡略化する。

すなわち、通常のＷｅｂブラウザにおいては、入力フォームと文書画像を重ねて表示させることができない。

そこで、図１０にそのソースコードの一例を示すように、背景画像のみをバックグラウンド（Background）画像として扱い、前景画像は、透過画像になっているため、透過部分に限定されるが、そのままでも入力フォームとの重ね合わせ表示が可能である。なお、図１０では、背景画像がバックグラウンドに設定されており、前景画像が、その幅が「２４８０」で、高さが「３５０８」、（０，０）を原点とする画像であって、名前欄に、「名前を入力してください」を表示させ、性別欄に、男と女のチェックＬＡＮを設けてチェック操作で、性別を選択させる画像とするとともに、送信欄の設けられている画像である。

すなわち、例えば、図１１に示すように、背景画像がファイルの状態では、図１２に示すように、入力フォームと文書画像を適切に重ねて表示させることができず、図１３に示すように、背景画像をのみをバックグラウンド画像とすることで、図１４に示すように、入力フォームとの重ね合わせ表示を適切に行うことができる。

ところが、背景画像を、バックグラウンド（Background）画像として表示させた場合、表示位置や表示倍率の制御ができなくなることがあり、この問題を解決するために、本実施例の画像読取装置１では、次のような処理を行なう。

すなわち、画像処理装置１は、図７に示すように、画像入力装置２１から入力カラー画像が入力されると（ステップＳ１０１）、文書要素抽出部（領域分離部）２で、当該入力カラー画像に対して、連接画素、エッジ、形状、色差等に基づいて文字・罫線等を特定して分離し（ステップＳ１０２）、当該文字・罫線等の画像を前景画像とし、その他の写真等の画像を背景画像として、前景画像と背景画像を分離する（ステップＳ１０３）。

画像処理装置１は、文字・罫線等の画像を前景画像として分離すると（ステップＳ１０４）、当該前景画像に対して、色クラスタリング・減色部３で、文字色の抽出、減色数の決定、減色処理等を行い（ステップＳ１０５）、通常は、図３に示したように、透過属性付きの前景ＰＮＧ（またはＧＩＦなど）ファイルとして、ＰＮＧ格納部４に保存するが、本実施例の場合には、図８に示すように、入力フォームと重ね合わせて、表示位置や表示倍率を制御するとともに、前景画像の透過を調整するための処理を行う（ステップＳ２０１〜Ｓ２０５）。

すなわち、図９に示すように、まず、図３（ｂ）で説明したように、Ｗｅｂブラウザ２４上のユーザ操作が検出されると（ステップＳ１１１）、ＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりユーザの指定した表示倍率・スクロール位置等の表示関連情報を検出して、ｈｔｔｐサーバ２２側に通知する（ステップＳ１１２）。画像サイズ検出部８は、通知された新たな表示位置・表示サイズ等の表示関連情報から前景画像・背景画像それぞれの倍率を算出し（ステップＳ１１３）、ＨＴＭＬ作成部９が、この画像サイズ検出部８の算出情報に基づいて、表示サイズ・表示位置に調整したＨＴＭＬファイルを作成しなおして（ステップＳ１１４）、ＨＴＭＬ格納部１０に保存する（ステップＳ１１５）。このＨＴＭＬ格納部１０のＨＴＭＬ文書ファイルがreloadされることで、ユーザの操作に応じた表示倍率で表示し、また、スクロールを行う。

そして、このＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりユーザの指定した表示倍率・スクロール位置等のユーザ操作情報（表示関連情報）は、図１に矢印で示すように、背景解像度変換情報として、解像度変換部６に通知されると、図７〜図８に示すように、解像度変換部６は、通知された表示サイズ（倍率）に合わせて最適な文字画質等になるようにスムージング変倍して、前景画像ＪＰＥＧ自体を、再度作成しなおす（ステップＳ２０１）。すなわち、解像度変換部６は、操作情報（表示関連情報）で指定された表示サイズ（倍率）に合わせてスムージング間引き率を決定してサイズ変更する。

そして、図８において、画像処理装置１は、スクロール位置をチェックし（ステップＳ２０２）、表示原点が（０，０）であるときには、フォーム位置判定を行って、フォームが重なる領域も透過にする処理を行って（ステップＳ２０３）、透過属性付きのＰＮＧ（またはＧＩＦなど）ファイル、例えば、透過属性付き前景ＰＮＧファイルとして、ＰＮＧ格納部４に保存する（ステップＳ２０４）。

また、画像処理装置１は、ステップＳ２０２で、表示原点が（０，０）でないときには、予め保存されているフォーム位置情報に基づいて、表示相当部分を切り取った透過属性付き前景ＰＮＧファイルを作成し（ステップＳ２０５）、当該作成したＪＰＥＧファイルをＨＴＭＬ格納部１０に保存する（ステップＳ２０３）。

また、画像処理装置１は、写真等の画像を背景画像として分離すると（ステップＳ１０７）、前景部消去部５で、背景画像のうち前景に相当する部分を、周辺色相当の均一な色で塗り潰して消去し（ステップＳ１０８）、前景部消去部５で前景相当部の消去された背景部の画像を、通常は、図３に示したように、解像度変換部６で、予め設定されている解像度にスムージング間引きを行うことで変換するが、本実施例の場合には、入力フォームと重ね合わせて、表示位置や表示倍率を制御するための処理を行う（ステップＳ２０６〜Ｓ２０９）。

すなわち、上記同様に、図９に示したように、Ｗｅｂブラウザ２４上のユーザ操作が検出されると（ステップＳ１１１）、ＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりユーザの指定した表示倍率・スクロール位置等の表示関連情報を検出して、ｈｔｔｐサーバ２２側に通知する（ステップＳ１１２）。

そして、このＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりユーザの指定した表示倍率・スクロール位置等のユーザ操作情報（表示関連情報）は、図１に矢印で示したように、背景解像度変換情報として、解像度変換部６に通知され、解像度変換部６は、背景画像ＪＰＥＧ自体を、通知された新たな解像度で再度作成しなおす（ステップＳ２０６）。すなわち、解像度変換部６は、操作情報（表示関連情報）で指定された表示サイズ（倍率）に合わせてスムージング間引き率を決定してサイズ変更する。このようにすることで、図１０に示すようなＨＴＭＬファイルについても、前景画像の表示サイズに合わせてバックグラウンド（Background）画像のサイズを調整することができる。

そして、画像処理装置１は、スクロール位置をチェックし（ステップＳ２０７）、表示原点が（０，０）であるときには、そのまま背景画像ＪＰＥＧをＨＴＭＬ格納部１０に保存する（ステップＳ２０８）。

また、画像処理装置１は、ステップＳ２０７で、表示原点が（０，０）でないときには、解像度変換後に表示相当部分を切り取った背景ＪＰＥＧファイルを作成し（ステップＳ２０９）、当該作成したＪＰＥＧファイルをＨＴＭＬ格納部１０に保存する（ステップＳ２０８）。

上述のようにして処理を行うことで、上記図１０（ａ）に示したＨＴＭＬファイルは、図１１に示すように表示されるが、バックグラウンド処理が適切に行われていないと、図１２に示すような背景画像と前景画像が重なった表示となる。

例えば、上記図１５に示すソースコードで表されるような画像を、右に２００pixel、下に３００pixelスクロールするときには、原点（０，０）が左上（−２００，−３００）に移動することであるので、図１６に示すソースコードで表される。

また、図１５の画像を５０％縮小する場合には、幅（width）と高さ（height）が半分にすることであるので、図１７に示すソースコードで表される。

そして、フォーム表示の場合には、背景画像をバックグラウンド表示する必要があるため、右に２００pixel、下に３００pixelスクロールする場合、”背景200_300.jpg”は、元の背景の（２００，３００）の位置から画面表示サイズ分を切り出したものということになるので、図１８に示すようなソースコードで表される。また、背景画像を、変倍する場合、例えば、バックグラウンドを５０％縮小する場合、”背景50%.jpg”は、元の背景画像を５０％に縮小した画像ということになるので、図１９に示すようなソースコードで表される。

また、フォーム表示の場合、背景画像と文字画像の表示解像度は、一致させる必要がある。例えば、前景画像を１００％表示させる場合には、背景画像の解像度は、元のままとする必要があり、前景画像を３０％表示させる場合には、背景画像の解像度も、３０％に縮小する必要がある。

このように、背景フルサイズをより小さくするためには、背景画像全体を処理するのではなく、画面表示サイズに必要な分だけを切り取るので、背景データ量がより一層小さくなり、ネットワーク上を高速に転送することができ、ユーザの操作性を損なうことなく、高速に処理することができる。すなわち、解像度変換及び切り取りは、Ｗｅｂブラウザ２４の表示ウィンドウサイズの画像に対してのみ処理すればよいため、ユーザ操作性を損なうことなく、高速に処理することができる。

このように、本実施例の画像処理装置１は、背景画像をバックグラウンド画像として当該背景画像上に所定の入力フォームを重ね合わせて表示するとともに、当該入力フォーム表示処理中に、ＣＧＩ／ＳＳＩ／ＡＳＰ等のインタラクティブ技術によりユーザの指定した表示倍率・スクロール位置等の新たな表示関連情報が入力されると、解像度変換部６で、背景画像を当該表示関連情報に基づいて再度画像処理を行った後、背景圧縮ファイルとして圧縮し直している。

したがって、背景画像上に入力フォームを重ねて表示している場合にも、Ｗｅｂブラウザ２４上での表示倍率の変更等のユーザの指示操作に応じて、背景画像を適切に制御して、ユーザの操作に応じた表示を適切に行うことができる。

また、本実施例においては、背景ファイルと前景ファイルの双方をＨＴＭＬファイルに重ね合わせてＨＴＭＬファイルを作成しているが、ＨＴＭＬファイルに重ね合わせるのは、背景ファイルのみであってもよいし、前景ファイルのみであってもよい。

このようにすると、意図する画像のみを簡単に出力することができ、利用性を向上させることができる。

図２０〜図２３は、本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第３実施例を示す図であり、図２０は、本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第３実施例を適用した画像処理装置３０のブロック構成図であり、これらの各部の機能は、ＣＤ（Compact Disc）、ＭＯ（光磁気ディスク）、フレキシブルディスク、メモリカード、フラッシュメモリ等の記録媒体に記録されている画像処理プログラムをサーバ装置等の情報処理装置に読み取らせて動作させることにより構築されている。

なお、本実施例は、上記第１実施例の画像処理装置と同様の画像処理装置に適用したものであり、本実施例の説明においては、上記第１実施例の画像処理装置１と同様の構成部分には、同一の符号を付して、その詳細な説明を省略する。

図２０において、画像処理装置３０は、上記第１実施例の画像処理装置１と同様の文書要素抽出部２、色クラスタリング・減色部３、ＰＮＧ格納部４、前景部消去部５、解像度変換部６及びＪＰＥＧ格納部７を備えているとともに、Open Office図形描画ファイル作成部３１、図形描画ファイル群格納部３２、フォルダ構成・ファイルレイアウト部３３、用紙サイズ・ページレイアウト決定部３４、文書ファイル作成部３５、文書ファイル群格納部３６、最終文書ファイル群格納部３７、ＺＩＰ圧縮部３８及び高圧縮Open Officeファイル格納部３９等を備えている。

画像処理装置３０は、第１実施例の画像処理装置１と同様に、文書要素抽出部（領域分離部）２で、画像入力装置２１からの入力カラー画像を、前景画像（文字・罫線等の画像）と背景画像（写真等の画像）とに分離する抽出処理を行う。

画像処理装置３０は、文書要素抽出部２で抽出した前景画像１０１を、色クラスタリング・減色部３で、文字色の抽出、減色数の決定、減色処理等の画像処理を行った後、透過属性付きのＰＮＧ（またはＧＩＦなど）ファイル、例えば、透過属性付き前景ＰＮＧファイルとして、ＰＮＧ格納部４に保存する前景画像圧縮処理を行う。

また、画像処理装置３０は、文書要素抽出部２で抽出した背景画像１０２を前景部消去部５に渡して、前景部消去部５で、背景画像１０２のうち前景に相当する部分を、周辺色相当の均一な色で塗り潰して消去し、解像度変換部６で、圧縮率向上を目的として、例えば、１／２等の適度な解像度に変換する画像処理を行った後、ＪＰＥＧ（またはＪＰＥＧ２０００等）ファイル、例えば、背景ＪＰＥＧファイルとして、ＪＰＥＧ格納部７に保存する背景画像圧縮処理を行う。

そして、画像処理装置３０は、Open Office図形描画ファイル作成部３１で、これらのＰＮＧ格納部４の透過属性付き前景ＰＮＧ画像とＪＰＥＧ格納部７の背景ＪＰＥＧ画像を用いて、Open Office図形描画ファイル群を作成し、図形描画ファイル群格納部３２に格納する図形描画ファイル作成処理を行う。このOpen Office図形描画ファイル群は、図２１に示すように、前景ＰＮＧ及び背景ＪＰＥＧを含み複数のファイルで構成されている。

一方、画像処理装置３０は、上記Open Office図形描画ファイル群の作成までの処理とは別に、用紙サイズ・ページレイアウト決定部３４で、入力カラー画像のサイズに応じた文書用紙サイズや埋め込みレイアウトを決定し、文書ファイル作成部３５で、上記決定された文書用紙サイズや埋め込みレイアウト等の文書レイアウト関連情報に基づいて、図２１に示した文書ファイル群（ベースとなる文書のファイル群）を作成して、文書ファイル群格納部３６に格納する汎用文書ファイル作成処理を行う。ここで作成される文書ファイルのデータ（content.xmlの内容）は、先に作成した図形描画オブジェクトが埋め込みオブジェクトとして埋め込まれたデータとなる。

そして、画像処理装置３０は、フォルダ構成・ファイルレイアウト部３３で、図２１に示したフォルダ・ファイル構成に整形した最終文書ファイル群を作成し、最終文書ファイル群格納部３７に格納する最終汎用文書ファイル群作成処理を行う。画像処理装置３０は、この最終文書ファイル群格納部３７の最終文書ファイル群をＺＩＰ圧縮部３８で圧縮して、１つのファイルにまとめ、高圧縮Open Officeファイルを作成して、高圧縮Open Officeファイル格納部３９に格納する圧縮処理を行う。

次に、本実施例の作用を説明する。本実施例の画像処理装置３０は、上述のように、入力カラー画像を、前景画像と背景画像に分離して、前景画像を透過属性付き前景ＰＮＧファイルとし、背景画像を背景ＪＰＥＧファイルとし、これらの透過属性付き前景ＰＮＧファイルと背景ＪＰＥＧファイルからOpen Office図形描画ファイルを作成するとともに、一方で、入力カラー画像のサイズに応じた文書用紙サイズや埋め込みレイアウトを決定し、汎用文書ファイルであるOpen Office文書ファイルのベースとなる文書ファイル群を作成する。そして、画像処理装置３０は、文書ファイル群とOpen Office図形描画ファイル群からフォルダ・ファイル構成に整形した最終文書ファイル群を作成し、この最終文書ファイル群を圧縮して、１つのファイルにまとめて、高圧縮Open Officeファイルを作成する。

詳細には、画像処理装置３０は、図２２及び図２３に示すように処理する。なお、図２２において、上記第１実施例の図３と同様の処理ステップには、同一のステップナンバーを付して、説明を簡略化する。

画像処理装置３０は、まず、図２２に示すように、画像入力装置２１から入力カラー画像が入力されると（ステップＳ１０１）、文書要素抽出部（領域分離部）２で、当該入力カラー画像に対して、連接画素、エッジ、形状、色差等に基づいて文字・罫線等を特定して分離し（ステップＳ１０２）、当該文字・罫線等の画像を前景画像とし、その他の写真等の画像を背景画像として、前景画像と背景画像を分離する（ステップＳ１０３）。

画像処理装置３０は、文字・罫線等の画像を前景画像として分離すると（ステップＳ１０４）、当該前景画像に対して、色クラスタリング・減色部３で、文字色の抽出、減色数の決定、減色処理等を行い（ステップＳ１０５）、最終的に、透過属性付きのＰＮＧ（またはＧＩＦなど）ファイル、例えば、透過属性付き前景ＰＮＧファイルとして、ＰＮＧ格納部４に保存する（ステップＳ１０６）。

また、画像処理装置３０は、写真等の画像を背景画像として分離すると（ステップＳ１０７）、前景部消去部５で、背景画像のうち前景に相当する部分を、周辺色相当の均一な色で塗り潰して消去し（ステップＳ１０８）、前景部消去部５で前景相当部の消去された背景部の画像を、解像度変換部６で、予め設定されている解像度にスムージング間引きを行うことで変換して（ステップＳ１０９）、最終的に、ＪＰＥＧ（またはＪＰＥＧ２０００等）ファイル、例えば、背景ＪＰＥＧファイルとして、ＪＰＥＧ格納部７に保存する（ステップＳ１１０）。

そして、画像処理装置３０は、図２３に示すように、Open Office図形描画ファイル作成部３１で、これらのＰＮＧ格納部４の透過属性付き前景ＰＮＧ画像とＪＰＥＧ格納部７の背景ＪＰＥＧ画像をそのまま埋め込んで、Open Office図形描画ファイル群を作成し（ステップＳ３０１）、図形描画ファイル群格納部３２に格納する（ステップＳ３０２）。

一方、画像処理装置３０は、図２２に示すように、用紙サイズ・ページレイアウト決定部３４で、入力カラー画像のサイズに応じた文書用紙サイズや埋め込みレイアウトを決定して、画像をどの位置に埋め込むかを決定し（ステップＳ３０３）、文書ファイル作成部３５で、決定された用紙サイズ・画像埋め込み位置などの情報を元に文書ファイル群（ベースとなる文書のファイル群）を作成して（ステップＳ３０４）、図２３に示すように、文書ファイル群格納部３６に格納する（ステップＳ３０５）。

そして、画像処理装置３０は、フォルダ構成・ファイルレイアウト部３３で、図形描画ファイル群４０２のOpen Office図形描画ファイル群をオブジェクトとして、文書ファイル群格納部３６の文書ファイル群に埋め込んで、フォルダ・ファイル構成に整形した最終文書ファイル群を作成し（ステップＳ３０６）、最終文書ファイル群格納部３７に格納する（ステップＳ３０７）。

画像処理装置３０は、この最終文書ファイル群格納部３７の最終文書ファイル群をＺＩＰ圧縮部３８で圧縮して（ステップＳ３０８）、１つのファイルにまとめ、高圧縮Open Officeファイルを作成して、高圧縮Open Officeファイル格納部３９に格納する（ステップＳ３０９）。

このように、本実施例の画像処理装置３０は、入力画像から背景画像と前景画像を抽出して、背景画像を、前景に相当する部分の周辺色相当の均一な色での塗り潰しや解像度変換等の画像処理を施した後、背景ＪＰＥＧファイル（背景圧縮ファイル）に圧縮し、前景画像を文字色の抽出、減色数の決定、減色処理等の画像処理を施した後、透過属性付きの前景ＰＮＧファイル（前景圧縮ファイル）に圧縮して、これらの背景ＪＰＥＧファイルと前景ＰＮＧファイルを用いて所定のページ概念を有する汎用文書ファイルであるOpen Office文書に準拠したOpen Office図形描画ファイルを作成し、入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ及び埋め込みレイアウト等の表示関連情報である文書レイアウトを決定し、当該決定した文書レイアウトに基づいて文書ファイル群を作成して、当該文書ファイル群にOpen Office図形描画ファイルを埋め込んで最終文書ファイル群（最終汎用文書ファイル群）を作成している。

したがって、マルチページの管理を容易に行うことのできる利用性の良好な高圧縮画像を作成することができるとともに、専用のアプリケーションを用いることなく、安価で操作性が良好な汎用のビューワー等で高精細に再現することができる。

また、本実施例の画像処理装置３０は、作成した最終汎用文書ファイル群を１つの汎用文書ファイルとしてＺＩＰ圧縮している。

したがって、１つのファイルとして、圧縮することで、画像の取扱が容易となるとともに、さらに、高圧縮のファイルを作成することができ、取扱性をさらに向上させることができる。

なお、本実施例においては、Open Office図形描画ファイル作成部３１で、ＰＮＧ格納部４の透過属性付き前景ＰＮＧ画像とＪＰＥＧ格納部７の背景ＪＰＥＧ画像をそのまま埋め込んで、Open Office図形描画ファイル群を作成しているが、背景画像と前景画像のいずれか一方のみを埋め込んでOpen Office図形描画ファイル群を作成して、以降の処理を行ってもよい。

このようにすると、意図する画像のみを簡単に出力することができ、利用性を向上させることができる。

また、上記説明では、入力文書が入力カラー画像２１であるとして、説明したが、入力文書は、上記入力カラー画像２１に限るものではなく、例えば、既存のテキストと画像の混在する文書（例えば、既存の画像入りOpen Office文書等）であってもよい。
この場合、画像処理装置３０は、入力文書として、画像入りOpen Office文書を読み込み、画像部分に対して、上記同様の処理を行う。すなわち、画像処理装置３０は、既存のOpen Officeを、例えば、文書読込部で読み込んで、読み込んだOpen Office文書がカラー・グレー画像であれば、文書要素抽出部２に渡して、上記同様に処理し、読み込んだOpen Office文書がカラー・グレー画像以外であれば、文書ファイル作成部３５に渡す。
このようにすると、既存の文書の画像を全て、背景画像と前景画像に置き換えて処理することができ、画像以外のＷｏｒｄ（登録商標）やＥｘｃｅｌ（登録商標）等の既存のアプリケーションで作成された全ての文書を、高圧縮することができる。

図２４は、本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第４実施例を適用した画像処理装置としての複合装置４０の要部ブロック構成図である。

図２４において、複合装置４０は、画像処理部４１、蓄積部４２、スキャナ部４３、プリンタ部４４、操作表示部４５及び通信部４６等を備えており、これらの各部の機能、特に、画像処理部４１の機能は、ＣＤ（Compact Disc）、ＭＯ（光磁気ディスク）、フレキシブルディスク、メモリカード、フラッシュメモリ等の記録媒体に記録されている画像処理プログラムを読み取らせて画像処理部４１内の内部メモリに登録して動作させることにより構築されている。

スキャナ部４３は、例えば、ＣＣＤ（Charge Coupled Device ）を利用したイメージスキャナ等が利用されており、一般に、ＡＤＦ（自動原稿送り装置）を備えている。ＡＤＦには、複数枚の原稿がセットされ、ＡＤＦは、セットされた原稿を１枚ずつスキャナ部４３の原稿読取位置に送給する。スキャナ部４３は、ＡＤＦから搬送されてきた原稿を走査し、原稿の画像を所定の解像度で読み取る。

プリンタ部４４は、例えば、電子写真式記録装置等が使用されており、受信した画像データやスキャナ部４３で読み取った画像データに基づいて画像を用紙に記録出力する。

蓄積部４２は、ＲＡＭあるいはハードディスク等で構成され、スキャナ部４３で読み取った原稿の画像データや通信部４６を介して受信した画像データを主に記憶し、また、システム設定情報も記憶する。

ネットワークＩ／Ｆ部７は、図２に示すＬＡＮ（Local Area Network）またはインターネット等のネットワークＮＷとのインタフェースであり、ネットワークＮＷを介して種々のデータをやり取りする機能を有している。

操作表示部４５は、テンキーやスタートキー等の各種操作キーを備えるとともに、表示手段としてのディスプレイ（例えば、液晶ディスプレイ）等を備え、操作キーからは、各種モード設定、各モードでの設定項目の設定操作等の複合装置４０を動作させるのに必要な各種命令が入力され、ディスプレイには、操作キーから入力された命令内容や複合装置１からオペレータに通知する各種情報が表示される。特に、操作表示部４５は、そのディスプレイに画像を表示する機能を備えており、スキャナ部４３で読み取った画像や受信画像を表示出力する。
通信部４６に、回線、ネットワーク等を介してパーソナルコンピュータやファクシミリ装置等の情報端末５０が接続されており、情報端末５０がファクシミリ装置であるときには、回線を介して相手情報端末５０との間でファクシミリ通信手順を実行してファクシミリ通信を行い、情報端末５０がパーソナルコンピュータであると、ネットワークを介してデータ通信を行う。

画像処理部４１は、内部メモリに記憶するプログラムに基づいて複合装置４０としての基本処理を実行するとともに、内部メモリに記憶されている画像処理プログラムに基づいて、上記実施例１から実施例３に記載した画像処理を実行する。

すなわち、スキャナ部４３で読み取った原稿の画像データを、画像処理部４１で所定の画像処理した後に、蓄積部４２に蓄積する際に、当該画像データに上記実施例１から実施例３に記載した画像処理を画像処理部４１で施した後に蓄積部４２に蓄積する。このようにすると、画像データを高圧縮して、蓄積部４２に蓄積することができ、蓄積部４２を有効活用することができる。

また、複合装置４０は、蓄積部４２に蓄積した画像データを、操作表示部４５のディスプレイに表示する際に、当該画像データに上記実施例１から実施例３に記載した画像処理を画像処理部４１で施した後に表示する。このようにすると、操作表示部４５の表示機能として通常のＷｅｂサーバ機能を備えているだけで、画像データを簡単かつ安価に表示することができる。特に、操作表示部４５の表示機能が白黒表示機能のみであるときに、例えば、図６に示したような内部のカラーの塗り潰し部分が背景画像でその他の部分が前景画像で構成された棒グラフを表示する場合、前景部分のみをＨＴＭＬファイルに重ね合わせて表示させることで、簡単かつ安価に見やすい画像を表示することができる。

また、複合装置４０は、蓄積部４２に蓄積した画像データを通信部４６を介して情報端末５０に送信する際に、上記実施例１から実施例３に記載した画像処理を施した後に送信する。このようにすると、高圧縮のデータを情報端末５０に送信することで、通信トラフィックを軽減させることができるとともに、情報端末５０では、安価な通常のウェブサーバで送信されてきた画像を表示することができる。

以上、本発明者によってなされた発明を好適な実施例に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

スキャナ、デジタルスチルカメラ等の画像入力装置から入力された画像や既存の画像を高品質にかつ利用性が良好な状態で圧縮する画像処理方法、画像処理プログラム、記録媒体及び複合装置に適用することができる。

本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第１実施例を適用した画像処理装置のブロック構成図。 図１のＨＴＭＬ作成部で作成される表示倍率が１００％の場合のＨＴＭＬファイルのソースコード（ａ）と表示倍率が３０％の場合のＨＴＭＬファイルのソースコード（ｂ）の一例を示す図。 図１の画像処理装置による画像圧縮処理（ａ）とＨＴＭＬ文書作成処理（ｂ）を示すフローチャート。 図３の画像圧縮・ＨＴＭＬ文書作成処理による背景ファイルと前景ファイルをＨＴＭＬファイルに重ね合わせてＨＴＭＬファイルを作成する処理の説明図。 図３の画像圧縮・ＨＴＭＬ文書作成処理での倍率調整の説明図。 図３の画像圧縮・ＨＴＭＬ文書作成処理で背景画像がベタ部で、前景画像が線部分の場合に前景画像のみを重ね合わせて表示する場合の一例を示す図。 本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第２実施例を適用した画像処理装置による入力フォームとの重ね合わせ表示を伴う画像圧縮処理を示すフローチャート。 図７の画像圧縮処理の続きの処理を示すフローチャート。 本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第２実施例を適用した画像処理装置による入力フォームの操作時のＨＴＭＬ文書作成処理を示すフローチャート。 図７から図９の入力フォームとの重ね合わせ表示を伴う画像圧縮処理における入力フォームの操作時のＨＴＭＬ文書作成処理で作成される表示倍率が１００％の場合のＨＴＭＬファイルのソースコード（ａ）と表示倍率が３０％の場合のＨＴＭＬファイルのソースコード（ｂ）の一例を示す図。 入力フォームと文書画像を単に重ねるだけでは適切な表示を行うことのできないソースコードの一例を示す図。 図１０のソースコードの場合に入力フォームと文書画像を単に重ね合わせただけで適切な表示を行えない状態の一例を示す図。 図１１の背景画像をバックグラウンドとして適切な表示を可能としたソースコードの一例を示す図。 図１０のソースコードの場合に背景画像をバックグラウンドとして適切な表示を行っている状態の一例を示す図。 図９の処理で各種画像処理を行う画像のソースコードの一例を示す図。 図１５の画像をスクロール処理した場合のソースコードの一例を示す図。 図１５の画像を縮小処理する場合のソースコードの一例を示す図。 図１５の画像の背景をバックグラウンドとするフレーム表示でスクロール処理した場合のソースコードの一例を示す図。 図１５の画像の背景をバックグラウンドとするフレーム表示で縮小処理した場合のソースコードの一例を示す図。 本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第３実施例を適用した画像処理装置のブロック構成図。 Open Office図形描画ファイル作成部で作成されるOpen Office図形描画ファイル群の一例を示す図。 図２０の画像処理装置による高圧縮Open Office画像ファイルを作成する圧縮処理を示すフローチャート。 図２２の高圧縮Open Office画像ファイルを作成する圧縮処理の続きの処理を示すフローチャート。 本発明の画像処理方法、画像処理プログラム、記録媒体及び複合装置の第４実施例を適用した複合装置のブロック構成図。

符号の説明

１ 画像処理装置
２ 文書要素抽出部
３ 色クラスタリング・減色部
４ ＰＮＧ格納部
５ 前景部消去部
６ 解像度変換部
７ ＪＰＥＧ格納部
８ 画像サイズ検出部
９ ＨＴＭＬ作成部
１０ ＨＴＭＬ格納部
２１ 画像入力装置
２２ サーバ
２３ クライアント端末
２４ Ｗｅｂブラウザ
３０ 画像処理装置
３１ Open Office図形描画ファイル作成部
３２ 図形描画ファイル群格納部
３３ フォルダ構成・ファイルレイアウト部
３４ 用紙サイズ・ページレイアウト決定部
３５ 文書ファイル作成部
３６ 文書ファイル群格納部
３７ 最終文書ファイル群格納部
３８ ＺＩＰ圧縮部
３９ 高圧縮Open Officeファイル格納部
４０ 複合装置
４１ 画像処理部
４２ 蓄積部
４３ スキャナ部
４４ プリンタ部
４５ 操作表示部
４６ 通信部
１０１ 前景画像
１０２ 背景画像

Claims (16)

1. 入力画像から背景画像と前景画像を抽出する抽出処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出する画像解析処理と、当該算出された表示関連情報に基づいてＨＴＭＬファイルを作成するＨＴＭＬファイル作成処理と、を行うことを特徴とする画像処理方法。
2. 入力画像から背景画像と前景画像を抽出する抽出処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して表示位置、表示サイズ等の表示関連情報を算出する画像解析処理と、当該算出された表示関連情報に基づいてＨＴＭＬファイルを作成するＨＴＭＬファイル作成処理の各処理ステップを有することを特徴とする画像処理プログラム。
3. 前記画像処理方法または前記画像処理プログラムは、前記抽出された背景画像に所定の画像処理を施して背景画像ファイルを作成する背景画像処理と、前記抽出された前景画像に所定の画像処理を施して透過属性付きの前景画像ファイルを作成する前景画像処理と、を行うことを特徴とする請求項１記載の画像処理方法または請求項２記載の画像処理プログラム。
4. 前記画像処理方法または前記画像処理プログラムは、前記背景画像処理において、前記画像処理の一部として、前記背景画像を所定の圧縮率で圧縮し、前記前景画像処理において、前記画像処理の一部として、前記前景画像を所定の圧縮率で圧縮することを特徴とする請求項３記載の画像処理方法または画像処理プログラム。
5. 前記画像処理方法または前記画像処理プログラムは、前記背景画像ファイルと前記背景画像ファイルのうち少なくとも一方の画像ファイルを前記ＨＴＭＬファイルに重ね合わせて合成ＨＴＭＬファイルを作成する合成ＨＴＭＬファイル作成処理を行うことを特徴とする請求項３または請求項４記載の画像処理方法または画像処理プログラム。
6. 前記画像処理方法または前記画像処理プログラムは、前記合成ＨＴＭＬファイルを所定の圧縮方法で圧縮することを特徴とする請求項５記載の画像処理方法または画像処理プログラム。
7. 前記画像処理方法または前記画像処理プログラムは、新たな表示位置情報、表示サイズ情報等の表示関連情報が入力されると、前記画像解析処理で、当該新たな表示関連情報に基づいて、前記表示位置、表示サイズ等の表示関連情報を再度算出し直すことを特徴とする請求項１から請求項６のいずれかに記載の画像処理方法または画像処理プログラム。
8. 前記画像処理方法または前記画像処理プログラムは、前記背景画像をバックグラウンド画像として当該背景画像上に所定の入力フォームを重ね合わせて表示する入力フォーム表示処理を行うとともに、当該入力フォーム表示処理中に、新たな表示位置情報、表示サイズ情報等の表示関連情報が入力されると、前記背景画像処理で、前記背景画像を当該表示関連情報に基づいて再度画像処理を行って前記背景画像ファイルとし、または、当該画像処理後の背景画像を圧縮し直して前記背景画像ファイルとすることを特徴とする請求項３から請求項６のいずれかに記載の画像処理方法または画像処理プログラム。
9. 入力画像から背景画像と前景画像を抽出する抽出処理と、当該抽出された背景画像に所定の画像処理を施して背景画像ファイルを作成する背景画像処理と、当該抽出された前景画像に所定の画像処理を施して透過属性付きの背景画像ファイルを作成する前景画像処理と、当該背景画像ファイルと当該背景画像ファイルを用いて所定のページ概念を有する汎用文書ファイルに準拠した図形描画ファイルを作成する図形描画ファイル作成処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して文書サイズ、画像埋め込み位置等の文書レイアウト関連情報を決定する文書レイアウト決定処理と、当該決定された文書レイアウト関連情報に基づいて前記汎用文書ファイルを作成する汎用文書ファイル作成処理と、当該汎用文書ファイルに前記図形描画ファイルを埋め込んで最終汎用文書ファイル群を作成する最終汎用文書ファイル群作成処理と、を行うことを特徴とする画像処理方法。
10. 入力画像から背景画像と前景画像を抽出する抽出処理と、当該抽出された背景画像に所定の画像処理を施して背景画像ファイルを作成する背景画像処理と、当該抽出された前景画像に所定の画像処理を施して透過属性付きの背景画像ファイルを作成する前景画像処理と、当該背景画像ファイルと当該背景画像ファイルを用いて所定のページ概念を有する汎用文書ファイルに準拠した図形描画ファイルを作成する図形描画ファイル作成処理と、前記入力画像から当該入力画像のサイズ、解像度等を解析して文書サイズ、画像埋め込み位置等の文書レイアウト関連情報を決定する文書レイアウト決定処理と、当該決定された文書レイアウト関連情報に基づいて前記汎用文書ファイルを作成する汎用文書ファイル作成処理と、当該汎用文書ファイルに前記図形描画ファイルを埋め込んで最終汎用文書ファイル群を作成する最終汎用文書ファイル群作成処理の各処理ステップを有することを特徴とする画像処理プログラム。
11. 前記画像処理方法または前記画像処理プログラムは、前記背景画像処理において、前記画像処理の一部として、前記背景画像を所定の圧縮率で圧縮し、前記前景画像処理において、前記画像処理の一部として、前記前景画像を所定の圧縮率で圧縮することを特徴とする請求項９記載の画像処理方法または請求項１０記載の画像処理プログラム。
12. 前記画像処理方法または画像処理プログラムは、前記最終汎用文書ファイル群作成処理で作成された最終汎用文書ファイル群を１つの汎用文書ファイルとして圧縮する圧縮処理を行うことを特徴とする請求項９記載から請求項１１のいずれかに記載の画像処理方法または画像処理プログラム。
13. 前記画像処理方法または前記画像処理プログラムは、前記背景画像処理において、前記背景画像をＪＰＥＧファイルとして圧縮し、前記前景画像処理において、前記前景画像を透過属性付きのＰＮＧファイルとして圧縮することを特徴とする請求項４から請求項８あるいは請求項１１または請求項１２のいずれかに記載の画像処理方法または画像処理プログラム。
14. 前記画像処理方法または前記画像処理プログラムは、画像とテキストの混在する混在文書から画像のみを分離する画像分離処理を行い、当該画像分離処理で分離された画像を前記入力画像として処理することを特徴とする請求項１から請求項１３のいずれかに記載の画像処理方法または画像処理プログラム。
15. 入力画像から背景画像と前景画像を抽出して各種画像処理を行う画像処理プログラムを記録する記録媒体であって、前記画像処理プログラムとして、請求項２から請求項８、または、請求項１０から請求項１４のいずれかに記載の画像処理プログラムを記録することを特徴とする記録媒体。
16. ファクシミリ通信機能、データ通信機能、画像データを用紙に記録出力する記録機能、原稿の画像を読み取るスキャナ機能と、画像データを所定のデータ記憶手段に記憶するデータ記憶機能、所定の表示手段に画像を表示する画像表示機能等の各種機能を備えた複合装置において、前記ファクシミリ受信機能、データ通信機能またはスキャナ機能によって取得した画像データを前記データ記憶機能で前記データ記憶手段に記憶するに際して、あるいは、当該記憶手段から読み出した画像データの前記データ通信機能によるデータ送信または前記画像表示機能による前記表示手段への画像表示を行うに際して、当該画像データに対して、請求項１、請求項３から請求項９または請求項１１から請求項１４のいずれかに記載の画像処理方法を実施することを特徴とする複合装置。

Images