JP2006260569A - 画像処理装置 - Google Patents

Abstract

【課題】像域識別情報を用い、効果的に領域の統合、グループ化を行ってドキュメントの管理や性能の向上を図る。
【解決手段】画像処理部は、画像分離部より出力された領域「各々のビットマップデータと領域の属性（文字領域等）」を入力とし、２値化や圧縮、ＯＣＲ等の処理を各々のビットマップに施し、加工後の「各々の画像データと領域の属性（テキスト情報やメタ情報等）」を出力し、領域統合部は、画像処理部より出力された「各々の画像データと領域の属性（テキスト情報やメタ情報等）」を入力とし、操作パネルから指定（手動）された同じ属性の画像データをビットマップレベルで統合し、「統合後のビットマップデータと領域の属性（テキスト情報やメタ情報等）」を出力する。
【選択図】図１

Description

この発明は、画像データに対して画像処理を施す画像処理装置に関する。

従来、デジタル技術の発達と共に、多くの文書がデジタル化されその管理が重要な課題となっている。

そのため、画像データに対して像域識別やレイアウト解析を行って領域分割をし、各領域に対して画像処理を施して文字情報を検出しているが、それらの像域識別情報を有効に使っているものは少ない。

例えば、特許文献１として特開平４−１６０９８１号公報は、画像データから原画の文字領域と濃淡領域との少なくとも２領域を分離し、各々の領域に対して個別に画像処理を施すものである。

特許文献２として特開平５−２２５３７８号公報は、入力された文書からブロックを切り出し、閾値処理によりブロックを写真、文字、地の部分に分類する。そして同じ種類に分類された互いに隣り合うブロックを統合して独立した領域としている。

特許文献３として特開２０００−２０７２６号公報は、文字領域抽出部と写真や図表等の特定領域抽出部から文字列領域を抽出するものである。

しかしながら、特許文献１では、画像データを領域分割し、各々の画像に対して画像処理を施すも、領域分割時のレイアウト情報を有効に使っていない。

特許文献２では、複数のブロックに分割し、ブロック毎に写真、文字、地の部分に分類しているが、ブロックのサイズに問題があったり、隣接したブロック同士しか統合できないという問題があった。

特許文献３では、文字領域抽出部と写真や図表などの特定領域抽出部から文字列領域を抽出しているが、その他に有効な活用法を提示していない。
特開平４−１６０９８１号公報 特開平５−２２５３７８号公報 特開２０００−２０７２６号公報

この発明の目的は、像域識別情報を用い、効果的に領域の統合、グループ化を行ってドキュメントの管理や性能の向上を図ることのできる画像処理装置を提供することである。

この発明の画像処理装置は、画像データを入力する画像入力部と、この画像入力部から入力された画像データを用いて像域識別を行う像域識別部と、前記画像入力部から入力された画像データと前記像域識別部の像域識別結果とから、領域毎の画像データに当該領域の属性情報を付与する画像分離部と、この画像分離部より出力された属性情報が付与された領域毎の画像データの画像処理を行う画像処理部と、この画像処理部で画像処理された領域毎の画像データと付与された属性情報とから、複数領域を統合する領域統合部とから構成されている。

本発明の画像処理装置は、像域識別情報を用い、効果的に領域の統合、グループ化を行ってドキュメントの管理や性能の向上を図ることが可能となる。

以下、図面を参照して、この発明の実施の形態について詳細に説明する。

図１は、この発明に係る第１実施例の画像処理装置の概略構成を示すものである。第１実施例の画像処理装置は、画像入力部１００１、像域識別部１００２、画像分離部１００３、画像処理部１００４、領域統合部１００５、操作パネル１００９、及び制御回路１１００とから構成されている。

画像入力部１００１は、紙面チャート１０００を入力し、デジタルデータを出力する。

像域識別部１００２は、画像入力部１００１より出力されたデジタルデータ１０１０に絵や写真、文字がどのように配置されているか識別し、その像域識別結果１０２０を出力する。

画像分離部１００３は、画像入力部１００１より出力されたデジタルデータ１０１０と像域識別部１００２より出力された像域識別結果１０２０とを入力とし、絵や写真、文字の領域「各々のビットマップデータと領域の属性（文字領域等）」１０３０を出力する。

画像処理部１００４は、画像分離部１００３より出力された領域「各々のビットマップデータと領域の属性（文字領域等）」１０３０を入力とし、２値化や圧縮、ＯＣＲ等の処理を各々のビットマップに施し、加工後の「各々の画像データと領域の属性（テキスト情報やメタ情報等）」１０４０を出力する。

領域統合部１００５は、画像処理部１００４より出力された「各々の画像データと領域の属性（テキスト情報やメタ情報等）」１０４０を入力とし、操作パネル１００９から指定（手動）された同じ属性の画像データをビットマップレベルで統合し、「統合後のビットマップデータと領域の属性（テキスト情報やメタ情報等）」１０５０を出力する。

制御回路１１００は、画像処理装置の全体を制御する。

まず、第１実施例においては、画像入力部１００１は既知のスキャナや複写機の構成であり、領域統合部１００５以外は既知の構成である。

以下、本発明のポイントである領域統合部１００５について図２〜５を用いて説明する。

領域統合部１００５に入力された「各々の画像データと領域の属性（テキスト情報やメタ情報等）」１０４０は、各々の画像データと、文字や写真等の領域の属性情報、ときには画像データに書かれている文字のテキスト情報やメタ情報等の情報を併せ持つものである。

なお、「各々の画像データと領域の属性（テキスト情報やメタ情報等）」１０４０は、以下まとめて領域画像データ１０４０として記述する。

例えば、図２に示すドキュメント１００５−１があったとする。

そのドキュメント１００５−１は、文字属性の画像データを持った領域画像データ１００５−２と、文字属性の画像データを持った領域画像データ１００５−３、写真属性の画像データを持った領域画像データ１００５−４とを持っている。

図３は、情報の受け渡しを簡単に示したものである。

この場合、領域画像データ１００５−２と領域画像データ１００５−３とは、同じ文字属性であるので統合することができる。領域統合部１００５は、領域画像データ１００５−２と領域画像データ１００５−３とを統合し、領域画像データ１００５−５とする。なお、統合する領域画像データは、操作パネル１００９から手動で設定される。

図４は情報の受け渡しの構成例を示すものである。

領域統合部１００５は、領域画像データ１００５−２と領域画像データ１００５−３のビットマップ情報に対し、ビットマップ統合処理を行って、このビットマップ情報を領域画像データ１００５−５とする。

また、領域統合部１００５は、領域画像データ１００５−２と領域画像データ１００５−３のテキスト情報に対し、テキスト情報統合または破棄処理を行って、このテキスト情報を領域画像データ１００５−５とする。

また、領域統合部１００５は、領域画像データ１００５−２と領域画像データ１００５−３のメタ情報（タイトル等）に対し、メタ情報統合または破棄処理を行って、このメタ情報を領域画像データ１００５−５とする。

また、領域統合部１００５は、領域画像データ１００５−２と領域画像データ１００５−３の属性情報に対し、属性確認を行って、この属性情報を領域画像データ１００５−５とする。

すなわち、領域画像データ１００５−５は、統合されたビットマップ情報、テキスト情報、メタ情報、属性情報とから構成される。

領域画像データ１００５−２と領域画像データ１００５−３とが統合されると、図５のように新たな文字属性の画像データを持った領域画像データ１００５−５が作成される。

領域統合部１００５は、このように同一の属性の領域画像データをビットマップレベルで統合する。もし、統合前の領域画像データがテキスト情報やメタ情報等のサブ情報を持っていた場合は、統合する段階で各々消去するか統合するかを決めることができる。

以上説明したように上記第１実施例によれば、画像領域統合部１００５により効果的に圧縮することができ、ドキュメント情報を整理することができ、後の処理をしやすくすることができる。

次に、第２実施例について説明する。

図６は、第２実施例の画像処理装置の概略構成を示すものである。第２実施例の画像処理装置は、画像入力部１００１、像域識別部１００２、画像分離部１００３、画像処理部１００４、領域部ループ化部１００６、操作パネル１００９、及び制御回路１１００とから構成されている。領域グループ化部１００６以外は第１の実施例と同様であり、第１実施例と同一箇所には同一符号を付して説明を省略する。

以下、本発明のポイントである領域グループ化部１００６について、図７〜９を用いて説明する。

領域グループ化部１００６に入力された領域画像１０４０は、領域の画像（ビットマップ）、その属性（文字や写真・図・表等）、メタ情報、テキスト情報を併せ持つものである。

例えば、図７に示すようなドキュメント１００６−１があったとする。そのドキュメント１００６−１は、文字属性の画像を持った領域画像１００６−２と、写真属性の画像を持った領域画像１００６−３と、文字属性の画像を持った領域画像１００６−４とを持っている。

ここで、領域画像１００６−４は、領域画像１００６−３を示す図番号と図タイトルだったとする。この場合、領域画像１００６−３と領域画像１００６−４とは異なる属性（写真と文字）であるが、相関関係は非常に強い。このようなに領域間の間で相関関係があると判断した場合、両者をグループ化することができる。

これらの領域画像１００６−３と領域画像１００６−４のビットマップや属性、テキスト情報やメタデータは、統合されることなく相互に関連性があるというグループ情報が図８，９のように両者に付加される。

領域グループ化部１００６は、領域画像データ１００６−３と領域画像データ１００６−４とにおけるビットマップ情報とメタ情報とを、グループ番号と順番を管理し、グループ番号と順番とを領域画像データ１００６−５と領域画像データ１００６−６とに付加する。

領域グループ化部１００６は、図９に示すように領域画像データの情報を崩すことなく、領域間の関連性を示すことができる。ここでいう関連性には、グルーピングされた順番等も付加される。

以上説明したように上記第２実施例によれば、領域グループ化部１００６により、各々の領域画像データの情報を崩すことなく関連性をもたせることができる。第１実施例のように統合すると圧縮率が落ちる場合、属性が異なっていた場合、各々の領域の位置が離れていた場合等に効果的に関連付けをすることができる。

次に、第３実施例について説明する。

図１０は、第３実施例の画像処理装置の概略構成を示すものである。第３実施例の画像処理装置は、画像入力部１００１、像域識別部１００２、画像分離部１００３、画像処理部１００４、領域統合部１００５、領域部ループ化部１００６、操作パネル１００９、及び制御回路１１００とから構成されている。第１、第２実施例と同一箇所には同一符号を付して説明を省略する。

本第３実施例のポイントは、領域統合部１００５と領域グループ化部１００６とを併せ持っていることである。各々の動作は、第１実施例および第２実施例と同様であるので説明を省略する。

以上説明したように上記第３実施例によれば、領域統合部１００５と領域グループ化部１００６とを併せ持つことにより、ドキュメントのまとめ方に幅ができ、効率よく取り扱うことができる。

次に、第４実施例について説明する。

図１１は、第４実施例の画像処理装置の概略構成を示すものである。第４実施例の画像処理装置は、画像入力部１００１、像域識別部１００２、画像分離部１００３、画像処理部１００４、領域統合部１００５、領域統合方法判定部１００７、及び制御回路１１００とから構成されている。第１実施例と同一箇所には同一符号を付して説明を省略する。

本第４実施例のポイントは、領域統合方法判定部１００７を有することである。

領域統合方法判定部１００７は、画像処理部１００４より出力された「各々の画像データと領域の属性（テキスト情報やメタ情報等）」１０４０を入力とし、領域の統合方法を示した情報１０７０を出力とするものである。

領域統合部１００５は、領域統合方法判定部１０７０から出力された領域統合方法を示した情報１０７０と画像処理部１００４より出力された「各々の画像データと領域の属性（テキスト情報やメタ情報等）」１０４０を入力とし、領域統合方法を示した情報１０７０で示される同じ属性の画像データをビットマップレベルで統合し、「統合後のビットマップデータと領域の属性（テキスト情報やメタ情報等）」１０５０を出力する。

次に、領域統合方法判定部１００７について図１２，１３を用いて説明する。

画像処理部１００４から入力された領域画像１０４０は、領域の画像（ビットマップ）とその属性（文字や写真・図・表等）、メタ情報やテキスト情報を併せ持つものである。

例えば、図１２に示すようなドキュメント１００７−１があったとする。

そのドキュメント１００７−１は、文字属性の画像を持った領域画像１００７−２、文字属性の画像を持った領域画像１００７−３、及び文字属性の画像を持った領域画像１００７−４とを持っている。

第１実施例の作業をドキュメント１００７−１で行う際、手動操作なら問題ないが、自動で判定しようとした場合、どれとどれを統合していいのか、もしくはしていけないのかが全くわからない。そこで、どの領域画像を統合したらよいのか、効率が良いのかを判定する部分が領域統合方法判定部１００７である。

領域統合方法判定部１００７の構成は、例えば、図１３に示すような領域文字列情報解析部１００７−１０と領域統合方法判定部１００７−３０とを併せ持っている。

領域文字列情報解析部１００７−１０は、文字属性の画像を持った領域画像の文字列情報をテキスト情報として抽出（すでに領域画像データがテキスト情報を持っている場合は行わない）し、各文字属性の領域画像のつながりをテキストから解析する。

領域統合方法判定部１００７−３０は、領域文字列情報解析部１００７−１０の結果により領域の統合方法を判定する。

以上説明したように上記第４実施例によれば、領域統合方法判定部１００７により、ドキュメントを効率よく自動で統合することが可能となる。

次に、第５実施例について説明する。

図１４は、第５実施例の画像処理装置の概略構成を示すものである。第４実施例の画像処理装置は、画像入力部１００１、像域識別部１００２、画像分離部１００３、画像処理部１００４、領域グループ化部１００６、領域グループ化方法判定部１００８、及び制御回路１１００とから構成されている。第２実施例と同一箇所には同一符号を付して説明を省略する。

本第５実施例のポイントは、領域グループ化方法判定部１００８を有することである。

領域統合方法判定部１００８は、画像処理部１００４より出力された「各々の画像データと領域の属性（テキスト情報やメタ情報）」１０４０を入力とし、領域のグループ化方法を示した情報１０８０を出力する。

領域グループ化部１００６は、領域グループ化方法判定部１００８から出力された領域グループ化方法を示した情報１０８０と画像処理部１００４より出力された「各々の画像データと領域の属性（テキスト情報やメタ情報等）」１０４０を入力とし、領域グループ化方法を示した情報１０８０で示された領域画像データをグループ化し、各々の「ビットマップデータと領域の属性（テキスト情報やメタ情報等）とグループ情報」１０６０を出力する。

次に、領域グループ化方法判定部１００８について図１５，１６を用いて説明する。

画像処理部１００４から入力された領域画像１０４０は、領域の画像（ビットマップ）とその属性（文字や写真・図・表等）、メタ情報やテキスト情報を併せ持つものである。

例えば、図１５に示すようなドキュメント１００８−１があったとする。

そのドキュメント１００８−１は、文字属性の画像を持った領域画像１００８−２、写真属性の画像を持った領域画像１００８−３、及び文字属性の画像を持った領域画像１００８−４とを持っている。

第２実施例の作業をドキュメント１００８−１で行う際、手動操作なら問題ないが、自動で判定しようとした場合、どれとどれをグループ化していいのか、もしくはしていけないのかが全くわからない。そこで、どの領域画像をグループ化したらよいのか、効率が良いのかを判定する部分が領域グループ化方法判定部１００８である。

領域統合方法判定部１００８の構成は、例えば、図１６に示すような領域文字列情報解析部１００８−１０と図表グループ判定部１００８−３０とを併せ持っている。

領域文字列情報解析部１００８−１０は、文字属性の画像を持った領域画像の文字列情報をテキスト情報として抽出（すでに領域画像データがテキスト情報を持っている場合は行わない）する。

図表グループ判定部１００８−３０は、図番号（図タイトルを含む）や表番号（表タイトルを含む）等といったものが検出された場合に図番号等を持つ領域画像の上下を探索し、『図と図番号を持つ領域画像』や『表と表番号を持つ領域画像』をグループ化するように判定する。

以上説明したように上記第５実施例によれば、領域グループ化方法判定部１００８により、ドキュメントを効率よく自動でグループ化することが可能となる。

次に、第６実施例について説明する。

図１７は、第６実施例の画像処理装置の概略構成を示すものである。第６実施例の画像処理装置は、画像入力部１００１、像域識別部１００２、画像分離部１００３、画像処理部１００４、領域統合部１００５、領域グループ化部１００６、領域統合方法判定部１００７、領域グループ化方法判定部１００８、及び制御回路１１００とから構成されている。第４，５実施例と同一箇所には同一符号を付して説明を省略する。

本第６実施例のポイントは、領域統合部１００５と領域グループ化部１００６、及び領域統合方法判定部１００７と領域グループ化方法判定部１００８とを併せ持っていることである。各々の動作は、第４実施例及び第５実施例と同様である。

以上説明したように上記第６実施例によれば、領域統合部１００５と領域グループ化部１００６、及び領域統合方法判定部１００７と領域グループ化方法判定部１００８とを併せ持つことにより、ドキュメントのまとめ方に幅ができ、効率よく自動操作で取り扱うことができる。

次に、第７実施例について説明する。

第７実施例は、第２実施例、第３実施例、第５実施例、第６実施例におけるグループ化に付加するものである。

図１８は、第７の実施例の概略構成を示すものである。すなわち、領域グループ化部１００６に図表リンク手段１０６６と図表リンク表示手段１０７６とを設けたものである。

図表リンク手段１０６６は、ドキュメントの本文中のテキストデータ１００６−１、ドキュメントの本文中のテキストデータの位置情報１００６−２、図表番号や図表タイトルがテキスト情報やメタ情報として付与されている図表データ１００６−３とを入力とし、ドキュメント中の図表とドキュメント中の図表番号とのリンクを図る。

図表リンク表示手段１０７６は、それらのリンクを表示する。

図１９と図２０は、このようなドキュメントの構成例を示すものである。

図１９においては、本文のテキスト情報１００６−１、本文のテキスト情報の位置（オフセット）１００６−２、及び図表データ１００６−３とが表示される。

図２０の例では、『写真画像』と『図番号とタイトル』は同一のグループとされている。図表リンク手段１０６６により、例えば以下のような相互関係がわかるような視覚的効果を付加する。

第１の例として、図２１はドキュメントの文書中の各々の図表番号と図表を各々の色つきの点線などで囲む。第２の例としては、ドキュメントの文書中の図表番号やタイトルにカーソルを持っていくと、それに対応する図表が反転したり枠で囲まれたりする。第３の例としては、ドキュメントの本文中の図表番号やタイトルをクリックするとそれに対応する図表にジャンプする。

以上説明したように上記第７実施例によれば、領域グループ化部１００６に図表リンク手段１０６６と図表リンク表示手段１０７６とを設けることにより、本文と図表の相互関係をわかりやすくすることができる。

また、一連の作業を自動化することができるので、ユーザの負担を減らすことができる。

なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

この発明の第１の実施例に係る画像処理装置の概略構成を示すブロック図。 領域統合前のドキュメントの状態を示す図。 領域統合中のドキュメントの状態を示す図。 領域統合部の詳細を説明するための図。 領域統合後のドキュメントの状態を示す図。 第２の実施例に係る画像処理装置の概略構成を示すブロック図。 領域グループ化前のドキュメントの状態を示す図。 領域グループ化部の詳細を説明するための図。 領域グループ化後のドキュメントの状態を示す図。 第３の実施例に係る画像処理装置の概略構成を示すブロック図。 第４の実施例に係る画像処理装置の概略構成を示すブロック図。 領域統合前のドキュメントの状態を示す図。 領域統合方法判定部の構成例を示す図。 第５の実施例に係る画像処理装置の概略構成を示すブロック図。 領域グループ化前のドキュメントの状態を示す図。 領域グループ化方法判定部の構成例を示す図。 第６の実施例に係る画像処理装置の概略構成を示すブロック図。 第７の実施例の構成例を示す図。 ドキュメントの構成例を示す図。 図表データの構成例を示す図。 図表リンク表示手段への表示例を示す図。

符号の説明

１００１…画像入力部、１００２…像域識別部、１００３…画像分離部、１００４…画像処理部、１００５…領域統合部、１００９…操作パネル、１１００…制御回路。

Claims (3)

1. 画像データを入力する画像入力部と、
   この画像入力部から入力された画像データを用いて像域識別を行う像域識別部と、
   前記画像入力部から入力された画像データと前記像域識別部の像域識別結果とから、領域毎の画像データに当該領域の属性情報を付与する画像分離部と、
   この画像分離部より出力された属性情報が付与された領域毎の画像データの画像処理を行う画像処理部と、
   この画像処理部で画像処理された領域毎の画像データと付与された属性情報とから、複数領域を統合する領域統合部と、
   を具備したことを特徴とする画像処理装置。
2. 画像データを入力する画像入力部と、
   この画像入力部から入力された画像データを用いて像域識別を行う像域識別部と、
   前記画像入力部から入力された画像データと前記像域識別部の像域識別結果とから、領域毎の画像データに当該領域の属性情報を付与する画像分離部と、
   この画像分離部より出力された属性情報が付与された領域毎の画像データの画像処理を行う画像処理部と、
   この画像処理部で画像処理された領域毎の画像データと付与された属性情報とから、複数の領域をグループ化する領域グループ化部と、
   を具備したことを特徴とする画像処理装置。
3. 画像データを入力する画像入力部と、
   この画像入力部から入力された画像データを用いて像域識別を行う像域識別部と、
   前記画像入力部から入力された画像データと前記像域識別部の像域識別結果とから、領域毎の画像データに当該領域の属性情報を付与する画像分離部と、
   この画像分離部より出力された属性情報が付与された領域毎の画像データの画像処理を行う画像処理部と、
   この画像処理部で画像処理された領域毎の画像データと付与された属性情報とから、複数領域を統合する領域統合部と、
   前記画像処理部で画像処理された領域毎の画像データと付与された属性情報とから、複数の領域をグループ化する領域グループ化部と、
   を具備したことを特徴とする画像処理装置。

Images