JP2008059122A - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】ビットマップ画像中のオブジェクトを含む矩形の部分画像をページに描画した場合に、部分画像の重なりによる影響を出来る限り減らす。
【解決手段】ビットマップ画像中のオブジェクト毎に、１のオブジェクトを含みかつ当該オブジェクト以外の画素が背景属性画素とされた矩形の部分画像を作成する手段２０２、部分画像の描画順を決定する手段２０３、決定された描画順で部分画像をページに描画させるコマンドが記述されたページ記述ファイルを作成する手段２０４を有する。手段２０３は、例えば、描画した場合に重なりがある２つの部分画像間では、その重なり領域内にオブジェクト画素をより多く持つ方がもう一方より上側に描画されるように描画順を決定する。
【選択図】図２

Description

本発明は、画像処理装置及び方法に係り、特に、複数のオブジェクトを含むビットマップ画像から各オブジェクトの部分画像を作成するとともに、それら部分画像をページに描画するコマンドが記述されたページ記述ファイルを作成する画像処理装置及び方法に関する。

複数のオブジェクトを含むビットマップ画像をオブジェクト単位で扱いたい場面がある。例えば、文字オブジェクトや写真オブジェクトが混在する１ページのビットマップ画像があって、その中のある写真オブジェクトだけを、ワープロファイルの素材として利用するような場面である。通常、このような場面では、専用の画像編集ソフト（Adobe社のPhotoShopなど）を使って、所望のオブジェクト部分を切り出す作業が行われている。しかし、この作業は煩雑であるとともに、そのような専用の画像編集ソフトが常にあるわけではない。そこでビットマップ画像に対する切り出し作業を、事前に行っておくことが望まれる。

しかし、ビットマップ画像からオブジェクトごとに切り出した部分画像のファイル群を作るだけでは、十分ではない。各オブジェクトの元画像内での位置関係がわからないので、所望の部分画像が探しづらくなってしまうからである。そこで、それぞれの部分画像を、元のビットマップ画像から切り出したのと同じ位置に表示する仕掛けを設けた方が好ましい。これは、各部分画像をページ内のどの位置に描画するかのコマンドを書いたページ記述ファイル（W3CのHTML:HyperTextMarkupLanguageなど）で実現できる。このページ記述ファイルを、一般的なビュアー・ソフト（Microsoft社のInternetExplorerなど）で表示すれば、元のビットマップ画像と同じ見えが得られるので、所望のオブジェクトを発見しやすくなる。また、各オブジェクトは既に分割されているので、所望のオブジェクト上でのクリック操作で、オブジェクトのコピーが簡単に実現できる。

具体例を説明する。図１５（ａ）は、３つのオブジェクトを含む１つのビットマップ画像である。各オブジェクトを矩形で囲んだ状態を同図（ｂ）に示す。この矩形で切り出した部分画像を図１６（ａ），（ｂ），（ｃ）に示し、それぞれは画像ファイル化（ここではJPEGファイル）しておく。この画像ファイルを、ページのどの位置で描画するか指示するコマンドを書いたページ記述ファイル（ここではHTML）の内容が図１９（ａ）である。このページ記述ファイルをビュアー（ここではInternetExplorer）で表示したのが、図２０（ａ）である。このように、部分画像に分割しているにも関わらず、元のビットマップ画像と同じ見えを得ることができる。しかし、同じ見えにならない場合もある。その例を次に示す。

図１７（ａ）は、２つのオブジェクトを含む１つのビットマップ画像で、その各オブジェクトを矩形で囲んだ状態を同図（ｂ）に示す。２つの矩形に重複がある点が、図１５に示した例と異なる。すなわち、オブジェクトＰを囲う矩形には、別のオブジェクトＧの一部分が含まれてしまっている。この部分は、オブジェクトを素材として利用する観点からは邪魔なので、これを含まない部分画像（図１８(a)）を画像ファイル化する。そして、図１９（ｂ）又は（ｃ）に示したページ記述ファイル（描画コマンドの順番だけが異なる）を表示すると、それぞれ図２０（ｂ）又は（ｃ）のように見える。図２０（ｃ）の方は元の画像と同じ見えであるが、同図（ｂ）の方は同じ見えにならない。これは、同図（ｂ）が、邪魔な一部分を含まなくした方の部分画像を、もう一方の部分画像より上側に描画しているからである。一般的なページ記述言語は、同じ座標に対する２回目の描画は、１回目の描画の上側に施され、下側の描画データは隠されて見えない、完全上書き(Opaque描画）の規約になっている。図１９（ｂ）のページ記述ファイルでは、邪魔な一部分を含まなくした方の部分画像の描画コマンドが後に記述されているので、その一部分がそのまま見えなくなっている。従来、部分画像の描画順序は図１９（ａ）、（ｂ）のようにラスター順（上/左優先）だったので、このような情報欠損の問題が発生してしまっていた。

この問題を解決する従来技術として、アルファ・チャンネルのようなものもあるが、汎用性に問題があった。アルファ・チャンネルとは、各画素に対する色表現データの他に持たせた補助データのことで、画像のマスクや、透過合成に用いるものである。上に述べた例なら、邪魔な一部分を消去せずオブジェクトの外側の画素データを、アルファ値で無効にしたり（マスク）、邪魔な一部分の消去はするが、オブジェクトの外側の画素データをアルファ値で完全透明にしたり（透過合成）する。こうすることによって、元画像の情報欠損の問題は解決できる。しかし、アルファ・チャンネルをサポートする画像フォーマットは、ＰＮＧ(Portable Network Graphics)のようなものに限定され、最も一般的なＪＰＥＧではサポートされていないなど汎用性に問題がある。

特開２００２−２９７３３９号公報 特開２００２−４１４９８号公報

よって、本発明の目的は、ビットマップ画像から個々のオブジェクトの部分画像を作成するとともに、部分画像をページに描画させるコマンドを記述したページ記述ファイルを作成する画像処理装置又は方法において、アルファ・チャンネル等の技術を利用することなく、上に述べた画像表示時の情報欠損の問題を解消もしくは改善することにある。

請求項１記載の発明に係る画像処理装置は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像についてページに描画した場合の相互の重なりを検出し、重なりがある２つの部分画像間では、その重なり領域内にオブジェクトを構成する非背景属性画素をより多く持つ一方の部分画像が、もう一方の部分画像より上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項２記載の発明に係る画像処理装置は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像について全体の面積又はオブジェクトの面積を求め、面積の異なる部分画像間では、面積の小さい部分画像ほど上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項３記載の発明に係る画像処理装置は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が絵柄オブジェクトの部分画像より上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項４記載の発明に係る画像処理装置は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が図形オブジェクトの部分画像より上側に描画され、かつ、図形オブジェクトの部分画像が写真オブジェクトの部分画像より上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項５記載の発明に係る画像処理方法は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像についてページに描画した場合の相互の重なりを検出し、重なりがある２つの部分画像間では、その重なり領域内にオブジェクトを構成する非背景属性画素をより多く持つ一方の部分画像が、もう一方の部分画像より上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項６記載の発明に係る画像処理方法は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像について全体の面積又はオブジェクトの面積を求め、面積の異なる部分画像間では、面積の小さい部分画像ほど上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項７記載の発明に係る画像処理方法は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が絵柄オブジェクトの部分画像より上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項８記載の発明に係る画像処理方法は、
各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が図形オブジェクトの部分画像より上側に描画され、かつ、図形オブジェクトの部分画像が写真オブジェクトの部分画像より上側に描画されるように描画順を決定する、
ことを特徴とする。

請求項９記載の発明に係るプログラムは、請求項５，６，７又は８記載の発明に係る画像処理方法の各工程をコンピュータに実行させることを特徴とする。

請求項１０記載の発明に係るコンピュータが読み取り可能な情報記録媒体は、請求項５，６，７又は８記載の発明に係る画像処理方法の各工程をコンピュータに実行させるプログラムが記録されたことを特徴とする。

本発明に係る画像処理装置又は画像処理方法によって得られるページ記述ファイルを一般的なビュアー・ソフトウェアで表示した時に、部分画像間の重なりによる情報欠損の問題が解消もしくは改善される。すなわち、部分画像の重なりにより見えなくなるオブジェクトの面積が小さくなる（請求項１，５）。小さなオブジェクトが大きなオブジェクトに隠れてしまうことがなくなる（請求項２，６）。絵柄オブジェクトによって、それより一般に情報的に重要な文字オブジェクトが隠れてしまうことがなくなる（請求項３，７）。また、写真オブジェクトによって、それより一般に情報的に重要な図形オブジェクトが隠されることがなくなり、かつ、図形オブジェクトによって、それより一般に情報的に重要な文字オブジェクトが隠れることがなくなる（請求項４，８）。また、本発明に係るプログラム又は情報記録媒体に記録されたプログラム（請求項９，１０）をコンピュータにロードし実行させることにより、本発明に係る画像処理方法（請求項６〜８）を実施することができる。

以下、本発明の実施の形態について、図面を用い詳細に説明する。

図１に本発明が実施される画像処理システムの一例を示す。図１において、１１０はコンピュータであり、１１１は画像編集装置である。この画像編集装置１１１は、例えば一般的な構成のパーソナルコンピュータである。

コンピュータ１１０において、１００はＣＰＵ、１０２はＣＰＵのプログラムやデータを記憶するＲＯＭまたはＨＤＤ（ハードディスク装置）である。１０１はＡＳＩＣやＤＳＰ等を用い画像データを高速に処理する画像処理部であるが、これは必須ではない。１０３はＲＡＭであり、処理する画像データや実行プログラムなどを展開する作業メモリとして利用される。１０４は画像入力部であり、例えば紙文書のスキャニングによって画像データを入力するスキャナや、空間の撮像によって電子画像を得るデジタルカメラ等である。１０５は外部装置とのインターフェース（イーサネット、電話回線、無線等）である。このインターフェース１０５を介して、例えば外部装置から電子画像を入力したり、コンピュータ１１０で処理済みのデータを画像編集装置１１１へ転送し、ビュアー・ソフトウェア（InternetExplorerなど）で表示させることができる。

図２に本発明に係る画像処理装置の機能的構成を示すブロック図である。また、図３は本発明に係る画像処理装置における画像処理の内容を説明するためのフローチャートである。なお、図３は本発明に係る画像処理方法の処理内容を説明するためのフローチャートでもある。したがって、以下の画像処理装置についての説明は画像処理方法についての説明を兼ねる。

図２において、２０１は処理の対象であるビットマップ画像であり、ＲＡＭ１０３上に割り当てられた領域に入力される。このビットマップ画像２０１は、図１の画像入力部１０４で得られたものであっても、ＣＰＵ１００でレンダリングして得たものであってもよいが、本発明で対象としているのは文書画像であり、カメラで空間を撮像したような自然画像ではない。特に、１色ベタの背景上に、文字や図形や写真といったオブジェクトが重複なく描かれた文書画像を対象としている。その階調は、１ｂｉｔ／ｐｉｘｅｌ（２値）、８ｂｉｔ／ｐｉｘｅｌ（グレースケール）、２４ｂｉｔ／ｐｉｘｅｌ（ＲＧＢカラー）のいずれであってもよいが、ここでは各成分が８ビット／ｐｉｘｅｌのＲＧＢカラーであるとして説明する。

２０２は部分画像作成処理手段であり、ビットマップ画像２０１からオブジェクトを検出し、検出した各オブジェクト毎に部分画像を作成する処理を行う。２０３は描画順決定処理手段であり、部分画像作成処理手段２０２により作成された部分画像をページに描画する順番を決定する処理を行う。２０４はファイル作成処理手段であり、部分画像作成処理手段２０２により作成された部分画像のファイル群２０５を作成するとともに、それら部分画像を描画順決定処理手段２０３により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイル２０６を作成する処理を行う。ただし、部分画像作成処理手段２０２で部分画像のファイル化を行うようにしてもよい。部分画像とそのファイル、ページ記述ファイルはＲＡＭ１０３上に割り当てられた領域に生成される。

図３において、ｓｔｅｐ１，ｓｔｅｐ２，ｓｔｅｐ３は部分画像作成処理手段２０２による処理ステップである。ｓｔｅｐ４は描画順決定処理手段２０３による処理ステップである。ｓｔｅｐ５はファイル作成処理手段２０４による処理ステップである。

これらの処理ステップは、図１のＣＰＵ１００によるソフトウェア処理として実行させることも、画像処理部１０１を利用して実行させることも、一部処理ステップのみ画像処理１０１を利用して実行させ、その他の処理ステップをＣＰＵ１００によるソフトウェア処理として実行させることも可能である。ＣＰＵ１００によるソフトウェア処理のみにより実行する形態は、画像処理部１０１を備えないコンピュータでも可能であるため汎用的である。いずれにしても、図３に示す各処理ステップをコンピュータに実行させるプログラム（換言するならば、図２に示す各処理手段２０２，２０３，２０４としてコンピュータを機能させるプログラム）は、請求項９記載の発明の一実施形態に相当する。また、そのようなプログラムが記録された、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な情報記録（記憶）媒体は、請求項１０記載の発明の一実施形態に相当する。

以下、図３に示した処理フローに沿って、画像処理の内容を具体的に説明する。

［背景色検出処理ステップ（ｓｔｅｐ１）］
この処理ステップは、部分画像作成処理手段２０２における前処理に相当する。この処理ステップでは、図４のフローチャートに示すように、ビットマップ画像２０１の画素値のヒストグラムを求め（ｓｔｅｐ１１，ｓｔｅｐ１２）、最大度数の画素値を背景色とする（ｓｔｅｐ１３）。最も一般的な白色背景であれば、R=255,G=255,B=255のような画素値が背景色となる。

［属性設定処理ステップ（ｓｔｅｐ２）］
この処理ステップも部分画像作成処理手段２０２における前処理に相当する。この処理ステップでは、ビットマップ画像２０１の全ての画素に背景又は非背景の属性を付与する。具体的には、図５のフローチャートに示すように、まず初期化処理としてビットマップ画像２０１の全画素に背景属性を付与する（ｓｔｅｐ２１）。実際には、ビットマップ画像２０１の画素と一対一に対応した属性記録用メモリを用意し、このメモリに画素属性を記録するということである。次に、ピットマップ画像２０１の注目した１つの画素の画素値が背景色と等しいか調べ（ｓｔｅｐ２２）、等しいときには注目画素を含め例えば距離５ｍｍ以内の画素に非背景属性を付与す（ｓｔｅｐ２３）。注目画素を順次移動させながら同様の処理を繰り返す。全ての画素を処理したならば（ｓｔｅｐ２４，Ｙｅｓ）、この処理ステップを終了する。このように、非背景属性の付与の際に膨張処理（ｓｔｅｐ２３）を行うことにより、例えば文字間のように非背景色画素が連接していなくても、これをひと固まりのオブジェクトとして検出しやすくなる。

なお、ビットマップ画像２０１が紙文書のスキャニングで得たものならば、その画素値を量子化した上で上記の「背景色検出処理ステップ」や「属性設定処理ステップ」を行った方が、ノイズの影響を排除でき好ましい。

［部分画像生成処理ステップ（ｓｔｅｐ３）］
この処理ステップは部分画像作成処理手段２０２による中心的な処理ステップである。この処理ステップでは、全ての画素に背景又は非背景の属性が付与されたビットマップ画像において、近接した非背景属性画素の固まりをオブジェクトとして検出する。そして、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ該オブジェクトを構成しない画素が背景属性画素とされた部分画像を生成する。

具体的には、図６のフローチャートに示すように、非背景属性画素の連接を追跡し、連接した非背景属性画素の固まりをオブジェクトとして検出する（ｓｔｅｐ３１，３２）。つぎに、注目したオブジェクトを囲う最小の矩形（外接矩形）の最大及び最小のＸ，Ｙ座標を検出し（ｓｔｅｐ３３）、その矩形のサイズで、全画素を背景色に初期化した部分画像を作成する（ｓｔｅｐ３４）。次に、この部分画像に、ビットマップ画像２０１の対応したオブジェクトを構成する非背景属性画素の画素値をコピーする（ｓｔｅｐ３５）。これで１つのオブジェクトに対応した部分画像が得られた。同様の処理を各オブジェクトについて繰り返し、その部分画像を生成する。

図６に示した処理手順によれば、例えば図７（ａ）に示すように、一方のオブジェクトＬの外接矩形に、もう一方のオブジェクトＳの外接矩形が包含される形で重複していても、オブジェクトＬの部分画像とオブジェクトＳの部分画像をそれぞれ正常に作成可能である。

［描画順決定（ｓｔｅｐ４）］
この処理ステップは描画順序決定処理手段２０３で実行される。この処理ステップでは、部分画像をページに描画した時に部分画像の重なりによる情報欠損の問題を解消もしくは軽減するように、部分画像のページへの描画順を決定する。この処理ステップにおける処理手順について、以下に３つの実施例を示す。

まず、第１の実施例（請求項１，５対応）においては、部分画像をページに描画した場合の相互の重なりを検出し、重なりがある２つの部分画像の間では、その重なり領域内にオブジェクトを構成する非背景属性画素をより多く持つ一方の部分画像が、もう一方の部分画像より上側に描画されるように描画順を決定する。

例えば、図８（ａ）に示すような位置関係で描画される２つのオブジェクトＮ，Ｗの部分画像の例では、オブジェクトＷの方がオブジェクトＮより重なり領域に含まれる面積（オブジェクトを構成する非背景属性画素の個数）が大きい。したがって、この例では、オブジェクトＷの部分画像の方がオブジェクトＮの部分画像より上側に描画されるように描画順が決定される。この描画順で描画した場合には図８（ｂ）のように表示され、逆の描画順で描画した場合には図８（ｃ）のように表示される。いずれの描画順でも元画像の情報欠損は発生するが、図８（ａ）と図８（ｂ）を対比すれば明らかなように、本実施例により決定した描画順に沿った方（図８（ｂ））が欠損の度合いが少なく問題が小さい。

このような描画順決定処理のフローの一例を図９に示す。まず、ページに描画した場合に重なりのある部分画像を検出する（ｓｔｅｐ５１）。部分画像の描画位置が元のビットマップ画像上のオブジェクトの位置と同一の場合には、図３の部分画像生成処理ステップ（ｓｔｅｐ３）で得られた各部分画像の座標情報を利用することにより、部分画像間の重なりの有無の判定と重なり領域の特定をすることが可能である。また、ページ記述ファイルにおいて、元のビットマップ画像におけるオブジェクトの位置と異なった位置に部分画像を描画させる場合には、その描画位置での部分画像間の重なりを調べることになる。

次に、重なりのある部分画像のペアを１組選び（ｓｔｅｐ５２）、その２つの部分画像の重なり領域（矩形領域）を特定し（ｓｔｅｐ５４）、重なり領域内における各部分画像中の非背景属性画素数を求める（ｓｔｅｐ５５）。そして、求めた非背景属性画素数の多い方の部分画像がもう一方の部分画像より上側に描画されるように、２つの部分画像それぞれに描画順を割り当てる（ｓｔｅｐ５６）。なお、非背景属性画素数が同一の場合には、任意に選んだ一方の部分画像をもう一方の部分画像より上側に描画するように描画順を割り当てればよい。

重なりが検出された全ての部分画像のペアに対し同様の処理を行うことにより、重なりのある全ての部分画像への描画順の割り当てが終わると（ｓｔｅｐ５３，Ｙｅｓ）、重なりが検出されなかった残りの部分画像に描画順を割り当てる（ｓｔｅｐ５７）。その割り当て方は任意であるが、例えばラスター順に従って部分画像に描画順を割り当てることができる。なお、重なりのない部分画像に先に描画順を割り当て、その後に重なりのある部分画像への描画順の割り当てを行うようにしてもよい。

次に、第２の実施例（請求項２，６対応）について説明する。本実施例では、部分画像の全体の面積又はオブジェクトの面積を求め、面積の異なる部分画像間では、面積の小さい部分画像ほど上側に描画されるように描画順を決定する。通常、オブジェクトの面積が小さいほど、重なりによる画像欠損面積の全体面積に対する比率が高くなる。つまり、オブジェクトの面積が小さいほど、欠損が許されないといえる。これがこの描画順決定方法の根拠である。このような描画順決定方法は、前記第１の実施例における描画順決定方法と異なり、部分画像の重なりの有無にかかわらず全オブジェクトに適応できることと、部分画像間の重なり領域の特定等も不要であるので処理が単純である。

例えば、図１０（ａ）に示す例では、オブジェクトＬの面積（又はその部分画像の全体の面積）より、オブジェクトＭの面積（又はその部分画像全体の面積）が小さく、オブジェクトＳの面積（又はその部分画像の全体の面積）はさらに小さいので、オブジェクトＬの部分画像よりオブジェクトＭの部分画像を上側に描画し、オブジェクトＭの部分画像よりオブジェクトＳの部分画像を上側に描画するような描画順に決定する。

図１０（ｂ）は、元のビットマップ画像では重なっていないオブジェクトＬ，Ｍ，Ｓの部分画像を、重なりが生じるような位置に、上記描画順に従って描画させた例である。画像欠損はあるものの、小さなオブジェクトが大きなオブジェクトに完全に隠れて見えないという最悪の状況は回避される。

このような描画順決定の処理のフローの一例を図１１に示す。まず、各部分画像の全体の面積（全画素数）又はオブジェクトの面積（非背景属性画素数）を求める（ｓｔｅｐ６１）。次に、各部分画像について求めた面積を大きいものから小さいものへと（降順に）ソートする（ｓｔｅｐ６２）。そして、各部分画像に、その面積のソート後の順番に従った描画順を割り当てる（ｓｔｅｐ６３）。

次に、第３の実施例（請求項４，８対応）について説明する。本実施例では、各部分画像のオブジェクト種別が、文字、図形、写真のいずれであるか識別する。そして、文字オブジェクトの部分画像が図形オブジェクトの部分画像より上側に描画され、かつ、図形オブジェクトの部分画像が写真オブジェクトの部分画像より上側に描画されるように部分画像の描画順を決定する。一般に写真より図形の方が、図形より文字の方が、単位面積あたりの情報量は大きいので、写真より図形、図形より文字の方が情報欠損が許されないといえる。これがこの描画順決定方法の根拠である。

図１２（ａ）の例ならば、写真オブジェクトＰより図形オブジェクトＧを上側、文字オブジェクトＴをさらに上側に描画する描画順とする。図１２（ｂ）は、元々重なっていなかったオブジェクトＧ，Ｐ，Ｔの部分画像をこの順で重ねて描画したものであり、画像欠損はあるものの各オブジェクトの情報はおおむね見た者に伝わる。

このような描画順決定の処理フローの一例を図１３に示す。まず、各部分画像についてオブジェクト種別を判定する（ｓｔｅｐ７１）。具体的には、例えば図１４のフローチャートに示すように、部分画像の色数（画素値の種類数）をカウントする（ｓｔｅｐ８１）。そして、その色数が２色ならば（ｓｔｅｐ８２，Ｙｅｓ）、その部分画像のオブジェクト種別を文字オブジェクトと判定する（ｓｔｅｐ８４）。色数が２色より多く（ｓｔｅｐ８２，Ｎｏ）かつ１０色以内ならば（ｓｔｅｐ８３，Ｎｏ）、その部分画像のオブジェクト種別を図形オブジェクトと判定し（ｓｔｅｐ８５）、色数が１０色を超えるならば（ｓｔｅｐ８３，Ｙｅｓ）、その部分画像のオブジェクト種別を写真オブジェクトと判定する（ｓｔｅｐ８６）。

次に、写真オブジェクトの部分画像に描画順を割り当てる（ｓｔｅｐ７２）。写真オブジェクトの部分画像が複数存在する場合には、例えばラスター順に描画順を割り当てたり、面積の大きい順に描画順を割り当てることができる。

次に、図形オブジェクトの部分画像に、ｓｔｅｐ７２で割り当てられた最後の順番の次の順番から描画順を割り当てる（ｓｔｅｐ７３）。通常、上書きされる形で描画されるため、描画順が遅い部分画像ほど上側に描画されることになる。図形オブジェクトの部分画像が複数存在する場合には、例えばラスター順に描画順を割り当てたり、面積の大きい順に描画順を割り当てることができる。

最後に、文字オブジェクトの部分画像に描画順を割り当てる（ｓｔｅｐ７４）。文字オブジェクトの部分画像が複数存在する場合には、例えばラスター順や面積の大きい順に描画順を割り当てることができる。

なお、一般に写真より図形の方が、また、図形より文字の方が、単位面積あたりの情報量が大きいことは上に述べた。しかし、単位面積あたり情報量の図形・文字間の差に比べれば、写真・図形間の差の方が小さいので、写真オブジェクトと図形オブジェクトをまとめて絵柄オブジェクトとし、絵柄オブジェクトの部分画像より文字オブジェクトの部分画像を上側に描画するように描画順を決定してもよい。これは請求項３，７に対応した実施例である。この場合、処理フローは、図１３のｓｔｅｐ７１で部分画像のオブジェクト種別を文字オブジェクトと絵柄オブジェクトのいずれであるか判定する。つまり、図１４のｓｔｅｐ８２の判定結果がＮｏとなった部分画像は絵柄オブジェクトと判定するわけである。そして、図１３のｓｔｅｐ７２で絵柄オブジェクトの部分画像に描画順が割り当てられ、ｓｔｅｐ７３は省かれ、ｓｔｅｐ７４で文字オブジェクトの部分画像に描画順が割り当てられることになる。

［ファイル作成（ｓｔｅｐ５）］
この処理ステップはファイル作成処理手段２０４で実行される。この処理ステップでは、部分画像を例えばＪＰＥＧフォーマットでファイル化するととに、部分画像を決定された描画順でページに描画させる描画コマンドを記述したページ記述ファイルが作成される。ただし、ファイル作成処理手段２０４ではページ記述ファイルの作成のみを行い、部分画像のファイル化は部分画像作成処理手段２０２で部分画像の作成直後に行わせるようにしてもよい。

ページ記述ファイルは、例えば図１９に示したようなＨＴＭＬで記述されたファイルとされる。このページ記述ファイルでは、各部分画像の描画コマンドの順番がそのまま部分画像の描画順になる。描画コマンドで部分画像が描画される座標位置が指定されるが、この座標位置は各部分画像の元のビットマップ画像上の座標位置と同じであってもよいし、異ならせてもよい。

なお、ページ記述ファイルに、ＪａｖａＳｃｒｉｐｔのようなスクリプト言語を加えてもよい。そうすると、ビュアー上でユーザがドラッグ＆ドロップ操作によって、各オブジェクトを別の座標位置へ移動したり、必要なオブジェクトだけを集めたり、比較したいオブジェクト同士を近づけたりすることができるようになる。

以上、本発明の実施形態に説明したが、本発明はそれのみに限定されるものではなく、様々な変形が許される。例えば、「部分画像作成」までの処理は、ＭＰＥＧ４などの符号化で使用されているオブジェクトを背景から分離する処理を利用してもよい。また、上に説明した描画順決定方法を組み合わせる方法を用いることもできる。

本発明の実施形態に係る画像処理システムの構成図である。 本発明に係る画像処理装置の機能的構成を示すブロック図である。 画像処理の概略フローを示すフローチャートである。 背景色検出処理のフローチャートである。 属性設定処理のフローチャートである。 部分画像生成処理のフローチャートである。 一方が他方に包含される形で重複したオブジェクトと、その部分画像の説明図である。 第１の実施例における描画順決定方法を説明する図である。 第１の実施例における描画順決定処理フローの一例を示すフローチャートである。 第２の実施例における描画順決定方法を説明する図である。 第２の実施例における描画術決定処理フローの一例を示すフローチャートである。 第３の実施例における描画順決定方法を説明する図である。 第３の実施例における描画順決定処理フローの一例を示すフローチャートである。 部分画像のオブジェクト種別判定のフローチャートである。 ビットマップ画像と、そのオブジェクトの説明図である。 各オブジェクトを矩形で切り出した部分画像を示す図である。 ビットマップ画像のオブジェクトの部分画像の重なりがある例を示す図である。 １のオブジェクトのみ含む部分画像の例を示す図である。 ページ記述ファイルの例を示す図である。 図１９のページ記述ファイルに従って描画した例を示す図である。

符号の説明

１１０ コンピュータ
１１１ 画像編集装置
２０１ ビットマップ画像
２０２ 部分画像作成処理手段
２０３ 描画順決定処理手段
２０４ ファイル作成処理手段
２０５ 部分画像ファイル群
２０６ ページ記述ファイル

Claims (10)

1. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
   前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
   前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
   前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像についてページに描画した場合の相互の重なりを検出し、重なりがある２つの部分画像間では、その重なり領域内にオブジェクトを構成する非背景属性画素をより多く持つ一方の部分画像が、もう一方の部分画像より上側に描画されるように描画順を決定することを特徴とする画像処理装置。
2. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
   前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
   前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
   前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像について全体の面積又はオブジェクトの面積を求め、面積の異なる部分画像間では、面積の小さい部分画像ほど上側に描画されるように描画順を決定することを特徴とする画像処理装置。
3. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
   前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
   前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
   前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が絵柄オブジェクトの部分画像より上側に描画されるように描画順を決定することを特徴とする画像処理装置。
4. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理手段、
   前記部分画像作成処理手段により作成された部分画像の描画順を決定する描画順決定処理手段、及び
   前記部分画像作成処理手段により作成された部分画像を前記描画順決定処理手段により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理手段を有し、
   前記描画順決定処理手段は、前記部分画像作成処理手段により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が図形オブジェクトの部分画像より上側に描画され、かつ、図形オブジェクトの部分画像が写真オブジェクトの部分画像より上側に描画されるように描画順を決定することを特徴とする画像処理装置。
5. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
   前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
   前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
   前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像についてページに描画した場合の相互の重なりを検出し、重なりがある２つの部分画像間では、その重なり領域内にオブジェクトを構成する非背景属性画素をより多く持つ一方の部分画像が、もう一方の部分画像より上側に描画されるように描画順を決定することを特徴とする画像処理方法。
6. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
   前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
   前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
   前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像について全体の面積又はオブジェクトの面積を求め、面積の異なる部分画像間では、面積の小さい部分画像ほど上側に描画されるように描画順を決定することを特徴とする画像処理方法。
7. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
   前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
   前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
   前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が絵柄オブジェクトの部分画像より上側に描画されるように描画順を決定することを特徴とする画像処理方法。
8. 各画素が背景属性又は非背景属性を持つビットマップ画像における近接した非背景属性画素の固まりをオブジェクトとして検出し、検出した各オブジェクト毎に、１のオブジェクトを含み、かつ当該該オブジェクトを構成しない画素が背景属性画素とされた矩形の部分画像を作成する部分画像作成処理工程、
   前記部分画像作成処理工程により作成された部分画像の描画順を決定する描画順決定処理工程、及び
   前記部分画像作成処理工程により作成された部分画像を前記描画順決定処理工程により決定された描画順でページに描画させるコマンドが記述されたページ記述ファイルを作成するファイル作成処理工程を有し、
   前記描画順決定処理工程は、前記部分画像作成処理工程により作成された部分画像についてオブジェクト種別を識別し、文字オブジェクトの部分画像が図形オブジェクトの部分画像より上側に描画され、かつ、図形オブジェクトの部分画像が写真オブジェクトの部分画像より上側に描画されるように描画順を決定することを特徴とする画像処理方法。
9. 請求項５，６，７又は８記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
10. 請求項５，６，７又は８記載の画像処理方法の各工程をコンピュータに実行させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images