JP2009303149A - 画像処理装置、画像処理方法及びコンピュータ制御プログラム - Google Patents

Abstract

【課題】 文書内のオブジェクトの検索時に、検索されたオブジェクトを容易に識別できるようにする。
【解決手段】 上記の課題を解決するために、本発明では、画像から抽出したオブジェクトにメタデータを付与する際に、該オブジェクトに外接する矩形位置の付け方を制御する。すなわち、外接矩形をオブジェクト本体より一回り大きくすることにより、検索時にオブジェクト本体と検索結果位置を示す枠との間に隙間が生じるので、視認性がよくなる。
【選択図】 図１１

Description

本発明は画像処理装置において、入力画像内のオブジェクトを検索した時に、検索に該当したオブジェクトを視認しやすくするためのメタデータの付加技術に関する。

特許文献１では、データの収集や検索の効率を高めることができるデータ管理技術を提供している。所定の記憶部に格納された複数ファイルを含む複数リソース間の関連付けを示す関連付け情報を関連付けデータベースに記憶する。そして、複数ファイルの実行をするときにユーザの所定の操作に応答して、複数ファイル間を関連付けることで、関連付け情報を変更する。更に、ユーザの操作に応じて、関連付けデータベースに格納された関連付け情報に基づいて、リソースを基準とした関連付け情報を可視的に表現した図を出力する。
特開２００６−２２１３１２号公報

紙の電子化が行われているが、従来の電子化では目的のファイルを探す場合に、時間がかかる場合があった。現在では、電子化した文書に対して、文章の保管はもちろん、その文章が探しやすくすることも電子化する際の要件になっている。

そこで、電子化した文書内の各オブジェクトにメタデータを付加して、探しやすさを向上させる処理などが考えられている。しかしながら、ページ内のオブジェクトにメタデータを付加したファイルをＰＣ上で検索を行った時、検索キーワードにヒットしたオブジェクトをユーザが判別しにくい場合がある。例えば、文書の検索を行うアプリケーションの機能として、検索キーワードにヒットしたオブジェクト（検索キーワードに合致するメタデータが付与されているオブジェクト）について、該オブジェクトの外接矩形を赤色の枠で囲む機能を有するものがある。このような機能を有するアプリケーションの場合、検索にヒットしたオブジェクトが矩形の写真であったような場合、写真部分と赤色の枠とが一体化して見えてしまい、ユーザにとっては判別が困難になることがある。

上記の課題を解決するために、本発明の画像処理装置は、入力した画像に対して領域分割を行う領域分割手段と、領域分割結果のオブジェクトに対するメタデータを抽出するメタデータ抽出手段と、前記オブジェクトに対してメタデータを付加するメタデータ付加手段と、メタデータをつける際に、該オブジェクトの外接矩形の付け方を制御する制御手段と、を有することを特徴とする。

本発明によれば、オブジェクトに対する外接矩形の付け方を制御することで、電子化した文書を検索する際にヒットしたオブジェクトがどこにあるかの視認性が向上する。これによって、検索をしてヒットしたオブジェクトをすぐに見つける・認識することが出来るようになる。

次に、本発明の詳細を実施例の記述に従って説明する。

以下、本発明を実施するための第１の形態について図面を用いて説明する。

図１は、本発明に係る画像処理システムを示すブロック図、図２は、図１におけるＭＦＰを示すブロック図、図３は、第１実施例で説明する第１のデータ処理フローである。図６は、ベクトル化処理の中で実施するオブジェクト分割処理で領域分割情報した結果の一例を表し、図７は、オブジェクト分割したときの各属性のブロック情報および入力ファイル情報を示す。図８は、文書構造ツリー生成処理の対象となる文書を示す図で、図９は、文書構造ツリーを示す図であり、図１０は、本実施例で説明するＳｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ（以下、SVG）形式の一例である。
[画像処理システム]
図１において、本発明に係る画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続した環境において使用される。

オフィス１０内に構築されたＬＡＮ１０７には、記録装置としてのマルチファンクション複合機（以下、MFP）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、ローカルＰＣ１０２、文書管理サーバ１０６、文書管理サーバ１０６のためのデータベース１０５が接続されている。

オフィス２０内にはＬＡＮ１０８が構築され、ＬＡＮ１０８には文書管理サーバ１２６、および文書管理サーバ１２６のためのデータベース１２５が接続されている。

ＬＡＮ１０７、ＬＡＮ１０８にはプロキシサーバ１０３、プロキシサーバ１２３が接続され、ＬＡＮ１０７、ＬＡＮ１０８はプロキシサーバ１０３、プロキシサーバ１２３を介してインターネットに接続される。

ＭＦＰ１００は原稿から読み取った入力画像に対する画像処理の一部を担当し、処理結果としての画像データはＬＡＮ１０７を通じてマネージメントＰＣ１０１に入力する機能や、ローカルPC１０２、もしくは不図示の汎用PCから送信されるＰａｇｅ Ｄｉｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ（以下、PDL）言語を解釈して、プリンタとして作用、さらには、原稿から読み取った画像をローカルＰＣ１０２もしくは、不図示の汎用PCに送信する機能をもつ。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含む通常のコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。なお、本実施例では、マネージメントＰＣを介してデータベース１０５において、下記に記載する登録処理などが実行されるものとするが、マネージメントＰＣで行われる処理をＭＦＰで実行するようにしても構わない。

さらにＭＦＰ１００は、ＬＡＮ１０７によってマネージメントＰＣ１０１に直接接続されている。
[ＭＦＰ]
図２において、ＭＦＰ１００は、図示しないAuto Document Feeder（以下、ADF）を有する画像読み取り部１１０を備え、画像読み取り部１１０は束状の或いは1枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定輝度レベル（例えば８ビット）の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像データが構成される。

ＭＦＰ１００は、記憶装置（以下、BOX）１１１および記録装置１１２を有し、通常の複写機能を実行する際には、イメージデータをデータ処理装置１１５によって、複写用の画像処理して記録信号に変換する。複数枚複写の場合には、１頁分の記録信号を一旦BOX１１１に記憶保持した後、記録装置１１２に順次出力して、記録紙上に記録画像を形成する。

ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩ／Ｆ１１４を有し、ローカルＰＣ１０２、もしくは他の汎用PC（不図示）からドライバーを利用して出力するＰＤＬ言語を、記録装置１１２によって記録し得る。ローカルＰＣ１０２からドライバーを経由して出力されるＰＤＬデータは、ＬＡＮ１０７からネットワークＩ／Ｆ１１４を経てデータ処理装置１１５で言語を解釈・処理することで記録可能な記録信号に変換された後、ＭＦＰ１００において、記録紙上に記録画像として記録される。

BOX１１１は、画像読み取り部１１０からのデータやローカルPC１０２からドライバーを経由して出力されるＰＤＬデータをレンダリングしたデータを保存できる機能を有している。

ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティングデバイス等）を通じて操作される。これらの操作のために、データ処理装置１１５ は内部の制御部（図示せず。）によって所定の制御を実行する。

ＭＦＰ１００は表示装置１１６を有し、操作入力の状態と、処理すべきイメージデータとを、表示装置１１６によって表示し得る。

BOX１１１はネットワークＩ／Ｆ１１７を介して、マネージメントＰＣ１０１から直接制御し得る。ＬＡＮ１０７は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。
〔オブジェクト毎の保存〕
図３にビットマップ画像データをオブジェクト毎に分割して保存するためのフローチャートを示す。なお、ビットマップ画像データは、ＭＦＰ１００の画像読み取り部１１０により取得されたビットマップ画像データであってもよいし、ローカルＰＣ１０２のアプリケーションソフトで作成されたドキュメントをＭＦＰ１００内部でレンダリングして生成してもよい。

まず、ステップＳ３０１において、オブジェクト分割処理（領域分割処理）が行われる。オブジェクト分割後のオブジェクトの種類は、文字、写真、グラフィック（図面、線画、表）、背景、を指す。

分割された各々のオブジェクトは、ステップＳ３０２において、オブジェクトの種類（文字、写真、グラフィック、背景）を判定される。写真の場合、ステップＳ３０３において、ビットマップのままＪＰＥＧ圧縮される。また、背景の場合も同様に、ステップＳ３０３において、ビットマップのままＪＰＥＧ圧縮される。

一方、Ｓ３０２のオブジェクト判定の結果が、グラフィックの場合、ステップＳ３０４において、ベクトル化処理され、パス化されたデータに変換される。

また、Ｓ３０２のオブジェクト判定の結果が、文字の場合も、ステップＳ３０４において、グラフィックと同様にベクトル化処理され、パス化されたデータに変換される。更に、文字の場合には、ステップＳ３０８において、ＯＣＲ処理が施され、文字コード化されたデータも生成される。

次に、全てのオブジェクトデータと、文字コード化されたデータが一つのファイルとしてまとめられる。このとき、ステップＳ３０５において、各オブジェクトに対して、最適なメタデータが抽出される。抽出されたメタデータは、メタデータ付加ステップＳ３０６で各々のオブジェクトに対して付加され、ステップＳ３０７においてＭＦＰ１００に内蔵されているＢＯＸ１１１に保存される。なお、ここでは、ＭＦＰ１００に内蔵されているＢＯＸ１１１に保存されることを示しているが、ネットワークを介してＰＣなどの外部の機器に送信することも可能である。
〔ビットマップ画像データ（ステップＳ３０１）〕
ステップＳ３０１で処理対象となるビットマップ画像データは、ＭＦＰ１００の画像読み取り部から入力される画像と、ＰＣ１０２上のアプリケーションソフトで作成されたデータをレンダリングして生成される画像とがある。

ＭＦＰ１００の画像読み取り部を使用した場合には、図５のステップＳ５０１において、画像を読み込む。読み込まれた画像は、既にビットマップ画像データである。そのビットマップ画像データをステップＳ５０２において、スキャナに依存する画像処理を行う。スキャナに依存する画像処理とは、例えば、色処理やフィルタ処理など、当該スキャナデバイスの特性に適した画像処理のことを指すものとする。このようにして画像処理が施されて生成された画像が処理対象となる。

一方、ＰＣ１０２上のアプリケーションソフトを使用して作成したアプリデータは、ＰＣ１０２上にあるプリントドライバを介して、プリントデータに変換され、ＭＦＰ１００に送信される。ここで言うプリントデータとは、ＰＤＬを意味する。ＭＦＰ１００内部に存在するインタープリタを介して、ディスプレイリストが生成される。そのディスプレイリストを、レンダリングすることにより、ビットマップ画像データが生成される。

このようにして生成されたビットマップ画像データは、ステップ３０１において、オブジェクト分割されることになる。
〔メタデータ抽出・付加（ステップＳ３０５〜Ｓ３０６）〕
ステップＳ３０５〜Ｓ３０６のメタデータ抽出およびメタデータ付加に関するフローチャートを図４に示す。

まず、ステップＳ４０１において、メタデータ付与対象のオブジェクトの周囲で一番近くに存在する文字オブジェクトを選択する。次に、ステップＳ４０２において、選択された文字オブジェクトに対して、文字認識処理と形態素解析を行う。その形態素解析結果により抽出された単語をメタデータとして、ステップ４０３では、各オブジェクトに関連付ける（メタデータ付加）。

なお、本実施形態では、メタデータの抽出・付加に形態素解析を用いたが、これに限るものではなく、画像特徴量抽出、構文解析等によりメタデータを決定して付加するようにしてもよい。
[登録の詳細設定]
図３のベクトル化処理S304でベクトル化されたデータのフォーマットの一例を図１０に示す。本実施例では、SVG形式で表記しているが、これに限定されるものではない。

図１０では説明のため、オブジェクトの表記（記述データ）を枠で囲っている。枠：１００１はイメージ属性を示し、そこには、イメージオブジェクトの情報（領域情報（位置情報）とビットマップ情報）が示されている。枠：１００２はテキストオブジェクトの情報（領域と文字データ）が記載されている。枠：１００３では、枠：１００２で示した内容をベクターオブジェクトとして表現している。枠：１００４は、表オブジェクトの罫線部分や図形オブジェクトなどのラインアート（線画）をベクターオブジェクトとして表している。
[オブジェクト分割ステップ（領域分割ステップ）]
ステップＳ３０１（オブジェクト分割ステップ）においては、図６の画像６０２に示すように、入力画像を属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字、写真、グラフィック（図面、線画、表など）がある。なお、オブジェクト分割処理は、公知の技術を利用することが可能である。

オブジェクト分割ステップにおいては、まず、ＲＡＭ（不図示）に格納されたイメージデータを白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。

さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。

画素塊の大きさは、例えば画素塊の面積によって評価される。

このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。

例えば、縦横比が1に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとし、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。

また扁平な画素塊、もしくは、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊をグラフィック領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。

オブジェクト分割ステップでは、このようにして生成された矩形ブロックのそれぞれについて、図７に示す、属性等のブロック情報および入力ファイル情報を生成する。

図７において、ブロック情報には各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜３の数値で与えられ、１は文字領域矩形ブロック、２は写真領域矩形ブロック、３はグラフィック領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像における座標を示す情報の有無を示す。

さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。

これらの矩形ブロックごとのブロック情報は、特定領域でのベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化領域とラスターデータ領域を合成することが可能となる。
[BOX保存処理]
図３のオブジェクト分割ステップ（ステップＳ３０１）の後、ベクトル化（ステップＳ３０４）した結果のデータを用いて、BOX（記憶装置）へ保存する際の保存データへの変換処理を実行する。ステップＳ３０４のベクトル化処理した直後の結果は、図２１に示す中間データの形式（Document・Analysis・Output・Format（以下、ＤＡＯＦ）と呼ぶこととする）で保存されている。

図２１において、ＤＡＯＦは、ヘッダ２１０１、レイアウト記述データ部２１０２、文字認識記述データ部２１０３、表記述データ部２１０４、画像記述データ部２１０５よりなる。

ヘッダ２１０１には、処理対象の入力画像に関する情報が保持される。

レイアウト記述データ部２１０２には、入力画像中の矩形ブロックの属性である文字、線画、図面 、表、写真等の情報と、これら属性が認識された各矩形ブロックの位置情報が保持される。

文字認識記述データ部２１０３には、文字領域矩形ブロックのうち、文字認識して得られる文字認識結果が保持される。

表記述データ部２１０４には、表の属性を持つグラフィック領域矩形ブロックの表構造の詳細が格納される。

画像記述データ部２１０５には、グラフィック領域矩形ブロックにおけるイメージデータが、入力画像データから切り出して保持される。

ベクトル化処理を指示された特定領域においては、ブロックに対しては、画像記述データ部２１０５には、ベクトル化処理により得られたブロックの内部構造や、画像の形状や文字コード等あらわすデータの集合が保持される。

一方、ベクトル化処理の対象ではない、特定領域以外の矩形ブロックでは、入力画像データそのものが保持される。

BOX保存データへの変換処理は図２２の各ステップにより実行される。

ステップＳ２２０１：ＤＡＯＦ形式のデータを入力する。

ステップＳ２２０２：アプリデータの元となる文書構造ツリー生成を行う。

ステップＳ２２０３：文書構造ツリーを元に、ＤＡＯＦ内の実データを取得し、実際のアプリデータを生成する。

例えば、文書のオブジェクト分割を行った結果が、図８のような複数のオブジェクト（Ｔ１〜Ｔ７）に分割されたものとすると、この文書構造に基づいて文書構造ツリー生成処理を行うと、図９のような文書構造ツリーになる。入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。
[メタデータ付加]
メタデータ付加に関して図１２を入力の画像として例にして説明を行う。図１２の１２０１は入力の画像である。この画像の中には、写真画像が２つレイアウトされているものとする（１２０２、１２０４）。また、文字としては3文章入っているものとする（１２０３、１２０５、１２０６）。

この文書画像に対して前述したオブジェクト分割（図３のステップＳ３０１）を行った結果を図１３に示す。図１３の１３０１はオブジェクト分割結果を行った画像全体を示している。図１３では、オブジェクト分割の結果を示すように各オブジェクトに対して分割してオブジェクトを切り出す矩形領域を示す枠を付けて示している。図１３において写真のオブジェクトの領域は１３０２と１３０４である。文字のオブジェクトの領域は１３０３、１３０５、１３０６である。

写真と判定されたオブジェクト１３０２と１３０４は、前述した図３のステップＳ３０５のメタデータ抽出処理が行われる。この図１３に示した画像の場合、オブジェクト１３０２のメタデータは、近くにある文字オブジェクト１３０３のＯＣＲデータがメタデータとして抽出される。オブジェクト１３０４のメタデータは、文字オブジェクト１３０５のＯＣＲデータがメタデータとなる。このように近くの文字オブジェクトから抽出したメタデータを、写真等のオブジェクトに対し付加することにより写真等のオブジェクトの検索も行えるようになる。

図３に示したステップＳ３０６に関して詳細に説明を行う。オブジェクトに対してメタデータを付加するときのフローを図１１に示す。ステップＳ３０１で切り出した矩形に対してオブジェクト本体が矩形かどうかの判定をステップＳ１１0１で行う。ここでオブジェクト本体が矩形かどうかの判定に関して説明を行う。例えば、図１２と図１３に示したようにオブジェクト１２０２を囲む矩形領域１３０２は、矩形領域１３０２に対してオブジェクト本体１２０２の輪郭のほぼ全てが接している。このような場合、ステップＳ１１0１ではオブジェクト本体は矩形であると判断される。一方、オブジェクト１２０４を囲む矩形領域１３０４に関しては、矩形領域１３０４に対してオブジェクト自身１２０４が接している部分がとても小さい。この場合、ステップＳ１１０１の判定はオブジェクトは矩形ではないと判断する。ここでオブジェクトが矩形かどうかの判断は、オブジェクトを切り出した矩形に対してオブジェクト自身がどれだけ接しているかを率で示し、その率に応じて矩形かそうでないかの判断を行うものとする。

例えば、図１４に、オブジェクト分割した矩形領域１３０２に基づいて切り出したオブジェクト１４０１に示す。切り出した矩形の画素数（これは図１４の１４０２の枠の画素数）をカウントし、更に、その矩形にオブジェクト本体が接している数のカウントを行う。切り出した矩形領域１４０１内のうち、矩形領域の枠を１４０２、オブジェクト本体を１４０３で示したとすると、１４０２の枠と１４０３のオブジェクト自身が接している画素数をカウントする。そして、求める率は以下のようにあらわせる。

率（％）＝（オブジェクトが切り出し矩形に接している画素数）／（切り出した矩形の画素数）×１００
この率が予め設定した値よりも大きくなった場合は矩形であると判断を行い、あらかじめ設定した値を下回った場合は矩形でないと判断する。例えば、矩形とする率を７０％とすると先に示した図１３のオブジェクト１３０２に関して率は１００％となるので矩形と判断する。図１３のオブジェクト１３０４に関しては、図１４の１４０４に切り出したオブジェクト示し、切り出した枠を１４０５、オブジェクトを１４０６に示した。ここからオブジェクトと切り出した枠が接する率は１０％程度となり、予め設定した７０％を下回るので、該オブジェクト本体は矩形でないと判断する。

ステップＳ１１０１でオブジェクトは矩形でないと判断したらステップＳ１１０２でオブジェクトに対してメタデータを付加する。図１３のオブジェクト１３０４に対しては矩形ではないと判断して、オブジェクトにメタデータを付加する。オブジェクトのメタデータとしては、検索用のキーワードと、外接矩形の位置情報とが付加されることになる。

一方、ステップＳ１１０１でオブジェクトは矩形であると判断した場合には、ステップＳ１１０３でオブジェクトに対して余白を付けてメタデータを付加する。オブジェクトに対して付ける余白の画素数はあらかじめ設定した画素数でおこなうこととする。例えば、５画素分の余白を付加するように設定を行っておく。余白は、オブジェクトの外側にある色を抽出して、例えば、色の平均値で余白を付加するようにする。余白を付加する色の決定方法は、前述したオブジェクトの外側の平均値を求める以外でも可能である。余白の色として、補間演算をもちいて、縦、横、それに斜めのグラデーションを求めてそれを余白とする方法もある。このほかの方法でも余白の色を抽出することが可能であることは示すまでもない。なお、このように矩形状のオブジェクトに対しては、メタデータとして、検索用のキーワードと、本来のオブジェクト本体よりも一回り大きい矩形状の位置情報とが付加されることになる。したがって、後に検索をおこなったとき、このオブジェクトがヒットすると、このオブジェクトより一回り大きい位置に、例えば、赤の枠線で表示されることになる。すなわち、矩形状のオブジェクト本体と検索結果の位置を示す枠線との間に隙間が生じ、分離して見えるので、ユーザにとっては視認性がよくなる。
[検索]
次に、ＭＦＰ１００から、ＢＯＸ１１１に保存したデータをローカルＰＣ１０２に送信して、ローカルＰＣ１０２上で検索を行うことについて説明する。例えば、図３のフローで作成したデータがＢＯＸ１１１に保存した状態でのファイルフォーマットがＰＤＦであった場合で説明を行う。ここでは、ＰＤＦフォーマットとしているが、ＯＰＥＮＸＭＬやＸＰＳなどのフォーマットでも構わない。ＰＤＦファイルがローカルＰＣ１０２に送信して、ローカルＰＣ上でＰＤＦを扱えるビューワによって、ＰＤＦファイルを閲覧する。または、ＰＤＦファイルを検索した場合に、キーワードを入力し検索が行われる。ここで図１５にビューワの例を示す。図１５の１５０１はビューワである。検索を行う場合には１５０２に対してキーワード・語句を入力する。キーワードを入力し検索を行う一例を図１６に示す。１６０１はビューワであり、検索を行う場合、キーワード入力欄１６０２において、キーワードを入力する。ここでは“あいうえお”というキーワード１６０３を入力した。

例えば、図１２で示した画像がローカルＰＣ１02に送られていた場合、“あいうえお”というキーワードで検索すると、図１２で示した画像が検索にヒットし、表示される。検索でヒットしたことが分かる表示の仕方の例を図１７に示す。図３に示したフローで処理されたファイルの場合、“あいうえお”というキーワードで検索を行うと、図17においてオブジェクトとして１７０４と文字の領域１７０５があたったことを示すように、例えば、赤色の枠がつく。なお、この枠の表示は、同時に表示する形式でも、一つづつ順番に表示される形式でも構わない。ここでは、図３のフローで説明をしたオブジェクトに対してメタデータを付加していることによって、検索であたった場合に、それを示すものが表示される。すなわち、ここで示したのは検索してヒットした場合の表示の一つの例であるのでこれに限るものではない。

次に、先に示したものと同様に図３のフローを処理した図１２で示した画像に対して、キーワードを“ＡＢＣDE"として検索を行った結果を図１８に示す。図1８においてオブジェクトとして１８０４と文字の領域１８０５がヒットした (検索キーワードにマッチした)ことを示すように枠がつく。これは、図３のフローで説明をしたオブジェクトに対してメタデータを付加していることによって、検索でヒットした場合に、それを示すものが表示される。図１８の１８０４では、オブジェクト本体と枠との間に隙間があるので、ユーザにとって視認しやすいものになっている。

ここで、本発明のように、図３のステップ３０７のメタデータ付加の際に余白をつける処理をしていない場合に、検索を行うと、検索結果の表示例は図１９のようになる。キーワードを”ＡＢＣDE"として検索した場合に、図１８に示したのと同様にオブジェクトとして１９０４と文字の領域１９０５がヒットしたことを示すように枠がつく。ここで、図１８に示したものとの大きな違いは、図１９の１９０４は、オブジェクトに枠が付いていることの視認性が良くないことである。図１８の１８０４ではオブジェクトと枠に隙間があるので、検索によりヒットしたことを視認しやすいが、図１９では隙間がないのでユーザにとっては判別しにくい。これは図３のステップＳ３０7で説明をしたオブジェクトとオブジェクト切り出しの枠との接している面積に応じて余白を付けている効果があらわれているからである。つまり、図３のフローで処理を行ったファイルをローカルＰＣ１０２で検索を行う場合に、検索した場合のあたったオブジェクトが何であるかの認識を容易にできるようになる。

以下、本発明を実施するための第２の形態について図面を用いて説明する。

第２の実施形態では、図３のフォローの処理を行うところで、メタデータ付加ステップＳ３０7で行う処理が異なる。よって、図１、図２などの装置構成や図３においてそれ以外のステップの処理は変わらないため説明は省略し、異なっている部分のみの説明を行う。

図３のメタデータ付加ステップＳ３０7の処理に関して図２０のフローチャートを用いて説明を行う。図２０のステップＳ２００１では、オブジェクトが矩形かどうかの判定を行う。ステップＳ２００１で切り出した矩形に対してオブジェクト自身が矩形かどうかの判定をステップＳ２００１で行う。ここでオブジェクト自身が矩形かどうかの判定に関して説明を行う。図１３に示したオブジェクトを切り出す領域（例えば１３０２）は切り出す矩形に対してオブジェクトが接している。この場合はステップＳ２００１の判定は、オブジェクトは矩形であると判断される。図１３のオブジェクト１３０４に関しては、切り出した枠に対してオブジェクト自身が接している部分がとても小さい。この場合はステップＳ２００１の判定ではオブジェクトは矩形ではないと判断する。ここでオブジェクトが矩形かどうかの判断は、オブジェクトを切り出した矩形に対してオブジェクト自身がどれだけ接しているかを率で示し、その率に応じて矩形かそうでないかの判断を行う。この判断手法は、第１の実施形態と同様のものを用いればよい。

ステップＳ２００１でオブジェクトは矩形でないと判断したらステップＳ２００２でオブジェクトに対してメタデータを付加する。図１３のオブジェクト１３０４に対しては矩形ではないと判断して、オブジェクトにメタデータを付加する。

ステップＳ２００１でオブジェクトが矩形と判断したオブジェクトに対してオブジェクトの外輪郭の色を抽出し判定する処理をステップＳ２００３で行う。具体的には図１３のオブジェクト本体１３０２の外輪郭３画素分の色の平均値を求める。この平均値が予め設定した色と比較する。例えば、図１３のオブジェクト１３０２の外輪郭の３画素分の色の平均値がＲ＝１００、Ｇ＝１50，Ｂ＝５０であった場合に、あらかじめ設定した数値が、Ｒ＝＜２００ａｎｄＧ＝＜２００ａｎｄＢ＝＜２００これが全て満たされた場合には、ステップＳ２００５に進むようにする。先に示した設定に対してみたされない場合には、ステップＳ２００４でオブジェクトに対してメタデータを付加する。ここで例に示した比較は、色が濃いのか薄いのかというのを比較するための一つの例として示したものである。色の薄さに関して調べる方法は、ＲＧＢを色変換して輝度色差変換をして、輝度値がある値以上であれば薄いと判断をして、薄いものはステップＳ２００４でオブジェクトにメタデータを付加する。輝度値が低いものに関しては、暗い色であると判断をしてステップＳ２００５でオブジェクトに余白を付加してメタデータを付加する。

ステップＳ２００５でオブジェクトに余白を付加してメタデータを付加する方法は、第１の実施の形態で説明した方法と同様である。オブジェクトに対して付ける余白の画素数はあらかじめ設定した画素数でおこなうことを可能にして、例えば、５画素分の余白を付加するように設定を行っておく。余白は、オブジェクトの外側にある色を抽出して、例えば、色の平均値で余白を付加するようにする。余白を付加する色の決定方法は、前述したオブジェクトの外側の平均値を求める以外でも可能である。余白の色として、補間演算をもちいて、縦、横、それに斜めのグラデーションを求めてそれを余白とする方法もある。このほかの方法でも余白の色を抽出することが可能であることは示すまでもない。

このようにすることにより、濃い色のオブジェクトに対しては、検索結果の枠との間に隙間が生じるので、ユーザにとって視認性がよくなる。また、薄い色のオブジェクトに対しては、検索結果の枠が接していたとしても（余白を付与しなくても）、視認性が確保される。

そして、第２の実施の形態で作成したファイルは第１の実施の形態で説明したＰＤＦフォーマットなどにしたデータは、第１の実施の形態で説明したようにローカルＰＣ１０２に送信されたファイルの検索を行うことが可能になる。これにより、検索した時のキーワードに対して、ヒットしたオブジェクトが何であるかの認識を容易にできる。
［その他の実施例］
以上、実施例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。例えば、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。また、本発明は、電子回路などのハードウェアで構成するようにしてもよいし、コンピュータと制御プログラムとを用いてその一部または全部を制御するようにしてもよい。また、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリを利用する形態であってもよい。

また、コンピュータプログラムで本発明を実現する場合、該プログラム（実施形態のフローチャートに対応するプログラム）は、システムあるいは装置に対して、直接あるいは遠隔から供給される。そして、そのシステムあるいは装置のコンピュータが、当該供給されたプログラムコードを読み出して実行することによって本発明が実現される。したがって、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

また、コンピュータプログラムを供給するための方法として、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなど、様々なコンピュータ読み取り可能な記録媒体を用いることができる。

その他、プログラムの供給方法としては、コンピュータのブラウザ等を用いてインターネットからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、インターネットから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるサーバからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロード可能にしたサーバも、本発明に含まれるものである。

本発明に係る画像処理システムを示すブロック図である。 図１におけるＭＦＰを示すブロック図である。 第１の実施の形態で説明するデータ処理フローである。 第１の実施の形態で説明するメタデータを抽出する処理フローである。 第１の実施の形態で説明するスキャナからの読み込みを示すフローである。 オブジェクト分割した結果の一例を示す。 オブジェクト分割情報したときの各属性のブロック情報および入力ファイル情報を示す。 文書構造ツリー生成処理の対象となる文書を示す図である。 図８の処理によって生成される文書構造ツリーを示す図である。 本実施例で説明するＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）形式の一例である。 第１の実施の形態で説明するメタデータを付加する処理フローである。 第１の実施の形態で説明する画像データの１例を示す図である。 第１の実施の形態で説明する画像データを領域分割した結果を示す図である。 第１の実施の形態で説明するオブジェクトを切り出したものを示す図である。 第１の実施の形態で説明するビューワの一例を示す図である。 第１の実施の形態で説明するキーワードで検索するのを示した図である。 第１の実施の形態で説明する図１２で示した画像をキーワードで検索した場合の表示の例を示している図である。 第１の実施の形態で説明する図１２で示した画像を図１７とは違うキーワードで検索した場合の表示の例を示している図である。 第１の実施の形態で説明する図３のステップＳ３０7を行わなかった時にキーワードで検索した場合の表示の例を示している図である。 第２の実施の形態で説明するデータ処理フローである。 第１実施例に係るベクトル化処理結果のデータを示すマップである アプリデータ変換の処理を示すフローチャートである。

Claims (8)

1. 入力した画像に対して領域分割を行う領域分割手段と、
   領域分割結果のオブジェクトに対するメタデータを抽出するメタデータ抽出手段と、
   前記オブジェクトに対してメタデータを付加するメタデータ付加手段と、
   メタデータをつける際に、該オブジェクトの外接矩形の付け方を制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. メタデータを付加したときにオブジェクトが矩形であるか否かを判定する判定手段を更に有し、
   前記制御手段は、前記判定結果に応じて、該オブジェクトの外接矩形の付け方を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、外接矩形にオブジェクトが接している割合を求める算出手段を含み、当該算出結果に基づいて該オブジェクトが矩形であるか否かを判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、オブジェクトの外側の色を抽出し、前記抽出した色に基づいてオブジェクトに対して余白を付けることを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. メタデータを付加したときにオブジェクトが矩形であるか否かと、前記オブジェクトの外接部分の色とを判定する判定手段を更に有し、
   前記制御手段は、前記判定結果に応じて、該オブジェクトの外接矩形の付け方を制御することを特徴とする請求項１に記載の画像処理装置。
6. 前記判定手段は、オブジェクトが矩形であると判定した場合に、当該オブジェクトの外接部分の色を判定することを特徴とする請求項５に記載の画像処理装置。
7. 領域分割手段が、入力した画像に対して領域分割を行う領域分割ステップと、
   メタデータ抽出手段が、領域分割結果のオブジェクトに対するメタデータを抽出するメタデータ抽出ステップと、
   メタデータ付加手段が、前記オブジェクトに対してメタデータを付加するメタデータ付加ステップと、
   制御手段が、メタデータをつける際に、該オブジェクトの外接矩形の付け方を制御する制御ステップとを有することを特徴とする画像処理方法。
8. コンピュータを、
   入力した画像に対して領域分割を行う領域分割手段、
   領域分割結果のオブジェクトに対するメタデータを抽出するメタデータ抽出手段、
   前記オブジェクトに対してメタデータを付加するメタデータ付加手段、
   メタデータをつける際に、該オブジェクトの外接矩形の付け方を制御する制御手段、
   として機能させるためのコンピュータ制御プログラム。

Images