JP2009059050A - 画像処理装置および統合ドキュメント生成方法 - Google Patents

Abstract

【課題】統合ドキュメントのメタデータのデータが膨大になることを防止する。
【解決手段】プリンタ機能、コピー機能、ファクシミリ機能を有する複合画像処理装置は、統合ドキュメントを生成する元となるビットマップ画像データの文字領域、画像領域、図形領域のそれぞれから抽出した副次情報のうち、統合ドキュメントの検索や編集に用いられるであろう副次情報を選択して統合ドキュメントのメタデータとして登録する。
【選択図】図７

Description

本発明は画像処理装置および統合ドキュメント生成方法に関する。

従来、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）などの画像処理装置において、装置が備える記憶装置に記憶される画像はビットマップ形式の画像データであった。記憶装置に保存されている画像データが増えるとファイル名やサムネイルなどの一覧情報から目的のファイルを探し出すことが難しくなってくる。

ユーザが目的のファイルに含まれるキーワードをＵＩから入力し、検索を使ってキーワードにマッチするファイルだけを一覧表示すればユーザの利便性が格段に向上するがＭＦＰの記憶装置内の画像データはそのような検索に用いるためのキーワードを持っていない。

一方、画像入力機器で入力したビットマップ画像をベクトル化する技術が開発されている（例えば、特許文献１）。このようにビットマップ画像をベクトル化した結果得られるデータをベクトルデータと呼ぶ。

しかし、前記ベクトル化によって生成されるベクタデータは描画を行うためのデータであるため、文書内の文字列情報や画像情報などユーザが検索したいキーワードを必ずしも含んでいるわけではない。そのため、ビットマップ画像データから得られる副次情報を、印刷処理されない付加情報として生成しベクタデータに付加する。このような副次情報をメタデータとよぶ。生成されたメタデータは通常ジョブやページ、描画オブジェクトの集合体（例えば、Ｔｅｘｔ／Ｇｒａｐｈｉｃ／Ｉｍａｇｅなどの描画単位でまとめられたもの）に対して付加される。

このようなメタデータを用いて画像データを検索することが可能になる。
特開２００６―２３９４２号公報

しかし、ベクトルデータからメタデータを生成しようとする場合、ベクトルデータから得られる副次情報を全てメタデータとして登録してしまうとメタデータンデータ量が膨大になってしまう。すると、メタデータとベクトルデータからなるドキュメントのデータサイズが大きくなりすぎて、ドキュメントを検索したりドキュメントを複数のＭＦＰ間で転送するのに時間がかかってしまう。

本発明はこのような課題を鑑みてなされたものであり、その目的は、統合ドキュメントのメタデータ量が膨大になることを防止することである。

上述の課題を解決するために、本発明の画像処理装置は、ビットマップ画像データをベクトル化データに変換するベクトル化手段と、前記ベクトル化データとメタデータとを含む統合ドキュメントを生成する統合ドキュメント生成手段と、前記ビットマップ画像データから前記ビットマップ画像データに関する１つ以上の副次情報を抽出する抽出手段と、前記抽出手段が抽出した１つ以上の副次情報のうち、予め定められた条件に適合する副次情報を選択する選択手段と、前記選択手段が選択した副次情報を前記統合ドキュメントのメタデータとして登録する登録手段と、を備える。

また、本発明の統合ドキュメント生成方法は、ビットマップ画像データをベクトル化データに変換するベクトル化工程と、前記ベクトル化データとメタデータとを含む統合ドキュメントを生成する統合ドキュメント生成工程と、前記ビットマップ画像データから前記ビットマップ画像データに関する１つ以上の副次情報を抽出する抽出工程と、前記抽出工程で抽出した１つ以上の副次情報のうち、予め定められた条件に適合する副次情報を選択する選択工程と、前記選択工程で選択した副次情報を前記統合ドキュメントのメタデータとして登録する登録工程と、を備える。

本発明によれば、不必要にメタデータのサイズを増加することを防止することができる。そして、ドキュメントに対する検索を効率的に行うことが可能になる。

（実施例１）
図１は、本発明の画像処理装置の一例となる、プリンタ機能、コピー機能、ファクシミリ機能を有する複合画像処理装置（以下、ＭＦＰ：Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌという）の内部構造を示す断面図である。

図１において、１００はＭＦＰであり、ネットワークを介して印字データを受取り印刷するネットワークプリンタとして使用することができる。また、ＭＦＰ１００は、電話回線にも接続されており、ファクシミリ装置としても使用でき、更に、単体でもコピー機として使用することができる。

操作パネル１２１は、操作のためのスイッチ、及びＭＦＰ１００の状態等を表示する液晶タッチパネルで構成されている。制御ユニット２０１は、ＭＦＰ１００を統御する。

レーザ・ドライバ５０２は、半導体レーザ発振器５０３を駆動するための回路であり、入力されたビデオ信号に応じて半導体レーザ発振器５０３から発射すべきレーザビーム５０４をオン・オフ切替する。レーザビーム５０４は、回転多面鏡５０５で左右方向に振られて静電ドラム５０６上を走査することにより、静電ドラム５０６上に静電潜像を形成する。この静電潜像は、静電ドラム５０６の周囲に配備された現像ユニット（トナーカートリッジ）５０７によって現像された後、記録用紙に転写される。記録用紙としては、カット・シートを用いる。カット・シートは、ＭＦＰ１００に装着した給紙カセット１０８、１０９、１１０及び１１１に収納される。カット・シートは、給紙ローラ１１３、１１４、１１５、及び１１６により装置内に取込まれ、用紙搬送ローラ１１２によって用紙搬送ベルト１１７に乗せられて像形成・現像機構を通過する。

記録用紙に転写されたトナー（粉末インク）は、定着器１１８で熱と圧力により記録用紙に定着される。このトナー定着がなされた記録用紙は、搬送ローラ１１９，１２０によってＭＦＰ１００の外部に排紙される。

スキャナユニット１２２は原稿をスキャンしてその反射像を撮像する。撮像された像は、Ａ／Ｄ変換されて制御ユニット５０１に送られ、必要な処理を施されてビデオ信号となり、レーザ・ドライバ５０２に入力される。

また、外部ネットワークを通して印刷データが送信されてくると、印字データは制御ユニット２０１内で解析されてビデオ信号となり、レーザ・ドライバ５０２に入力される。

図２は、図１に示したＭＦＰ１００の制御ユニット２０１のハードウェア構成を示すブロック図である。

クライアントＰＣ１０１、ＭＦＰ１０２はネットワーク（ＬＡＮ）を介してＭＦＰ１００と接続されている。本実施形態においては、クライアントＰＣやＭＦＰなど、ネットワーク上のノードは複数存在してもよい。

スキャナユニット１２２は、図１におけるスキャナユニット１２２に相当する。

ネットワークインターフェイス部２０３はネットワーク上の他のノードとの通信のためにネットワークとのインターフェースを司る。例えば、クライアントＰＣ１０１から送信されるＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）等の印刷データは、ネットワークインターフェイス部２０３を介して受信される。ネットワークインターフェイス部２０３は必要に応じて他の機器と暗号化通信を行うことができる。

操作パネル（操作部）１２１は、ユーザがＭＦＰ１００をコントロールするためのユーザインターフェイスである。操作パネル１２１は、タッチパネルディスプレイと操作キーとを備え、ユーザに操作画面を提供するとともにユーザによる操作指示を受け付ける。操作部インターフェース１３０は、ＣＰＵ２０２と操作パネル１２１とを接続するためのインターフェイスである。操作パネル１２１は、ネットワークインターフェイス部２０３を介して他のＭＦＰの操作も行うことができる。操作パネル１２１からコピーの実行が指示されると制御ユニット５０１はコピー処理においてスキャナユニット１２２から送られてきたビデオ信号に関して画像処理を行い、出力インターフェイス部２０９を通して印刷機構部１０４に送りコピー処理を行う。

ここで施される画像処理とは、例えばスキャナユニット１２２の読み取り解像度から印刷機構部１０４の印刷解像度への変換や、印刷機構部１０４の用紙の搬送方向に合わせた画像の回転処理などが含まれる。

ハードディスク（ＨＤＤ）２１０は、画像データや後述する統合ドキュメントや、各種データベースなどが格納される。

ＣＰＵ２０２によるこれら一連の処理の処理手順はＲＯＭ２０６、あるいはＨＤＤ２１０内にプログラムされており、ＣＰＵ２０２はこれらプログラムをＲＡＭ２０７にロードして実行する。ＲＡＭ２０７は、画像データに対する画像処理のための一時的な記憶領域としても用いられる。

また、スキャナユニット１２２からのデータはＲＡＭ２０７上に蓄えられて必要な処理が施される。

ＮＶＲＡＭ（Ｎｏｎ Ｖｏｌａｔｉｌｅ ＲＡＭ）２０５は、ＥＥＰＲＯＭ等で構成する不揮発性メモリである。ＮＶＲＡＭ２０５はＭＦＰ１００の各種設定値を記憶する。

なお、図１のＭＦＰ１００は、制御ユニット２０１、操作パネル１２１、スキャナユニット１２２印刷機後部１０４によって構成されている。

図３本実施形態におけるＭＦＰによるコピー動作時のデータフローの一例を示す図である。このコピー動作は、ＭＦＰ１００のＣＰＵ２０２がＨＤＤ２１０或はＲＯＭ２０６に格納されたプログラムをＲＡＭ２０７にロードして実行し、ＭＦＰ１００内の必要なハードウェアを動作させることによって実現される。

スキャナユニット１２２にセットされた紙原稿はスキャン処理３１によって読み取られる。そして原稿を読み取ることによって生成された画像データはビットマップデータに変換される。次にベクタライズ処理３２でビットマップデータからベクタデータを、メタデータ生成処理３４でメタデータが生成される。ベクタデータは、ビットマップデータに対してベクトル化処理を行った後のデータである。また、メタデータはビットマップデータに関する副次的（付随的）な情報である。つまり、メタデータは、ビットマップデータ、或はビットマップデータに基づいて生成される統合ドキュメントに関する副次情報（付随情報）或は副次情報の集合である。メタデータは、例えば、統合ドキュメントを検索する場合のインデクスとして用いることができる。ベクタデータ、メタデータの具体な生成方法については後述する。

次に統合ドキュメント生成処理３３によってベクタデータとメタデータが関連付けられた統合ドキュメントが生成される。次にＤＬ生成処理３５により統合ドキュメント中のベクタデータからディスプレイリスト（ＤＬ）が生成され、生成されたＤＬは統合ドキュメントの中に格納される（３６）。ＤＬとは、ベクタデータをレンダリングしてビットマップに変換する途中の段階で生成される中間コードである。一般的に、ベクタデータをビットマップに展開するよりもＤＬをビットマップに展開する方が展開処理を高速に行うことができる。ＤＬそして、レンダリング処理３７に送られてビットマップに展開される。

統合ドキュメント生成処理３３の処理により生成されるベクタデータとメタデータの２つを統合したデータ、あるいは、３６の処理により生成されるベクタデータとメタデータとＤＬの３つのデータを統合したデータを、本実施形態では「統合ドキュメント」と呼ぶ。

展開されたビットマップは印刷処理３８によって紙媒体に記録されて印刷物となる。なお、出力された印刷物をまた原稿露光部にセットすればスキャン処理３１からの処理を行うことができる。

図３のコピー動作では、原稿をスキャンすることによって得られるビットマップデータを一旦統合ドキュメントに変換してから再びビットマップに変換して印刷処理をすることになる。ビットマップデータを一旦ベクトル化してから再びビットマップに変換する処理は一見無駄な変換処理を行っているようであるが、次のような利点がある。例えば、変倍処理を伴うコピー動作を行う場合、統合ドキュメントに変換した後にベクタデータに対して変倍処理を行うことによってビットマップデータに対する変倍処理を行わずに済む。一般的にビットマップデータに対する変倍処理は画質の低下を伴うことが多い。しかし、ビットマップデータから変換されたベクタデータで変倍処理を行うようにすればそのような画質の低下が起こらずに済む。

図４は図３で示したメタデータ生成処理３４の具体的なデータフローを示している。この処理は、ＭＦＰ１００のＣＰＵ２０２がＨＤＤ２１０或はＲＯＭ２０６に格納されたプログラムをＲＡＭ２０７にロードして実行し、ＭＦＰ１００内の必要なハードウェアを動作させることによって実現される。

まず領域分割処理４１にてビットマップから領域分割を行う。

領域分割とは、入力されたビットマップ画像データを解析して、画像に含まれるオブジェクトの塊毎に領域に分割し、各領域の属性を判定して分類する処理である。属性としては、文字（ＴＥＸＴ）、画像（ＰＨＯＴＯ）、線（ＬＩＮＥ）、図形（ＧＲＡＰＨＩＣ）、表（ＴＡＢＬＥ）等の種類がある。

ここで図６に、入力画像データに対して領域分割を行った結果の一例を示す。入力画像６１に対して領域分割を行った結果が判定結果６２である。判定結果６２で、点線で囲った部分が画像を解析した結果のオブジェクトの１単位を表し、各オブジェクトに対して付されている属性の種類が領域分割の判定結果である。

属性毎に分類された領域の中から文字属性の領域はＯＣＲ処理４２により文字認識処理され、文字列に変換される。つまり、この文字列は紙面に印字されている文字列である。

一方、属性毎に分類された領域の中から画像属性の領域は画像特徴情報抽出処理４３を通して画像特徴情報に変換される。画像特徴情報とは画像の特徴を現す文字列であり例えば「花」や「顔」といった文字列である。また、図形属性の領域についても画像特徴情報抽出処理４５を行って画像特徴情報に変換する。画像特徴情報の抽出には画像特徴量（画像を構成するピクセルの周波数や濃度など）検出や顔認識などの一般的な画像認識技術を用いることができる。

生成された文字列と画像情報はフォーマット変換処理４４によって後述するデータフォーマットに整えられてメタデータが生成される。

図５はＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）プリント時のデータフローである。ＰＤＬプリントとはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）上のアプリケーションソフトから印刷を指示した場合にＰＣ上のプリンタドライバによって生成されたページ記述言語（ＰＤＬ）を受け取って出力する、プリント動作のことである。ＰＤＬプリント動作は、ＭＦＰ１００のＣＰＵ２０２がＨＤＤ２１０或はＲＯＭ２０６に格納されたプログラムをＲＡＭ２０７にロードして実行し、ＭＦＰ１００内の必要なハードウェアを動作させることによって実現される。

まず受信したＰＤＬデータはＰＤＬデータ解析処理５１によって解析され、ベクタデータが生成される。

次にＤＬ生成処理５２によりベクタデータからＤＬが生成され、生成されたＤＬは統合ドキュメントの中に格納されると共にレンダリング処理５３に送られてビットマップに展開される。展開されたビットマップは印刷処理５４によって紙媒体上に記録されて印刷物となる。

この過程で生成されるベクタデータ、ＤＬは統合ドキュメント生成処理５６によって統合ドキュメントに格納される。

さらに、レンダリング処理５３で生成したビットマップからは図４で説明したメタデータ生成処理５５により、コピー動作時と同様に文字列や画像特徴情報がメタデータとして生成され、統合ドキュメントに格納される。

また、ＰＤＬには例えばＬＩＰＳ（ＬＢＰ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍ、登録商標）やＰＳ（ＰｏｓｔＳｃｒｉｐｔ、登録商標）など様々な種類が存在するが、ＰＤＬの種類によってはＰＤＬ中に文字列情報を持っているものもある。この場合はＰＤＬ解析時に文字列を抽出し、文字列からからメタデータが生成し、統合ドキュメントに格納することが可能である。

次に、統合ドキュメント生成処理と印刷処理についてフローチャートを用いて説明する。

図７のフローチャートは本実施形態における統合ドキュメント生成処理を示している。この処理はビットマップデータを受けてベクタデータ、ＤＬ、メタデータで構成されるドキュメントを生成する処理である。この処理は、図３のデータフローの３２乃至３６の処理に相当する。また、ビットマップデータは、例えば、図３のスキャン処理３１などによって得られるビットマップデータに相当する。本フローチャートはＭＦＰ１００のＣＰＵ２０２によって実行される。

まずステップＳ７０１で前述した領域分割処理を行う。次にステップＳ７０２において領域の種類（属性）をＴＥＸＴ、ＧＲＡＰＨＩＣ、ＩＭＡＧＥに分類し、それぞれに対して別々の処理を行う。図６では属性をＴＥＸＴ、ＰＨＯＴＯ、ＬＩＮＥ、ＧＲＡＰＨＩＣ、ＴＡＢＬＥに分類した例を示したが、図７の例では、ＴＥＸＴ、ＧＲＡＰＨＩＣ、ＩＭＡＧＥの３種類に分類するものとする。もちろん、画像の領域を他の分類方法によって分類しても構わない。領域属性がＴＥＸＴの場合は、ステップＳ７０３に進んでＯＣＲ処理を行った後、ステップＳ７０４において文字列（キーワード）の抽出を行う。その後、ステップＳ７０５において文字列をメタデータとして登録し、ステップＳ７０６に進んで認識した文字輪郭をベクタデータに変換する。

文字列から生成されるメタデータは文字コードの羅列であるが、文字コードの羅列はキーワード検索に必要な情報である。

しかし、ＯＣＲ処理では文字コードは認識できても「明朝」「ゴシック」といった書体や「１０ｐｔ」「１２ｐｔ」といった文字のサイズや「イタリック」「ボールド」といった文字修飾までは認識できない。したがって描画用には文字コードを用いるのではなく文字輪郭をベクタデータとして保持する必要がある。ステップＳ７０４では文字画像の輪郭をベクタデータに変換することで、書体や文字サイズや文字修飾を認識せずとも、ビットマップイメージ中の文字の書体や文字サイズや文字修飾を再現することが可能になる。

一方、ステップＳ７０２において領域属性がＩＭＡＧＥである場合は、ステップＳ７０７に進んで画像情報抽出処理を行う。

ステップＳ７０７では前述したように、画像特徴量検出や顔認識などの一般的な画像認識技術を用いて画像の特徴を検知し、画像の特徴をあらわす情報である画像特徴情報を抽出する。次にステップＳ７０８において、先に抽出した画像特徴情報を文字列に変換する。この変換は画像特徴情報と文字列とを対応付けるテーブルを保持しておけば容易に実現可能である。

その後、ステップＳ７０９において文字列をメタデータとして登録する。

ＩＭＡＧＥとして分類された領域の画像に対してはベクトル化を行わず、イメージデータをそのまま統合ドキュメント中のベクタデータとして保持する。

ステップＳ７０２において領域属性がＧＲＡＰＨＩＣである場合は、ステップＳ７１０に進んでベクトル化処理を行い、ステップＳ７１１でメタデータの登録を行う。ステップＳ７１１では、例えばステップＳ７０７やＳ７０８で行ったように画像の特徴を文字列に変換する処理を行うことによって得られたメタデータを登録する。ステップＳ７１２では、各領域から生成したベクタデータ、メタデータを統合ドキュメントフォーマットに変換する。そしてフローチャートを終了する。

なお、ステップＳ７０６やステップＳ７１０でのベクトル化処理で生成したベクタデータから更にディスプレイリスト（ＤＬ）を生成し、統合ドキュメント中にＤＬを含めるようにしてもよい。

図８はＰＤＬからの統合ドキュメント生成・印刷処理の一例を示すフローチャートである。この処理は外部からＰＤＬデータを受信し、統合ドキュメントを生成し印刷出力する処理であり、図５のデータフローで行われる処理に相当する。本フローチャートはＭＦＰ１００のＣＰＵ２０２によって実行される。

受信したＰＤＬ中の全てのデータに対して、Ｌ８１０とＬ８２０の間のループ１の処理を繰り返す。まずステップＳ８０１でＰＤＬデータを解析する。そしてステップＳ８０２において、解析の結果、文字列情報などのメタデータがＰＤＬに包含されているか否かを判定する。ＰＤＬ中にメタデータが含まれていると判定した場合には（ステップＳ８０２でＹｅｓ）、ステップＳ８０９に進んでＰＤＬ中のメタデータを抽出する。そしてステップＳ８０３へ進む。

一方、ステップＳ８０２において、解析したＰＤＬデータが文字列情報などのメタデータ以外のデータである場合、例えば、描画コマンドなどのデータである場合、ステップＳ８０３に進んでベクタデータに変換する。そして、ステップＳ８０４に進んで統合ドキュメントのフォーマットに変換する。

次にステップＳ８０５においてベクタデータに基づいてＤＬを生成し、ステップＳ８０６に進んで生成したＤＬを統合ドキュメントに追加する。

そして、ステップＳ８０７の統合ドキュメント中のベクタデータに基づいてレンダリング処理を行う。更に、ステップＳ８０８においてレンダリング後のビットマップデータから作成し、ステップＳ８０９で抽出したメタデータとともに統合ドキュメント中のめたデータとして追加する。そして、ステップＳ８０９でレンダリング後のビットマップデータに基づいて紙媒体への印刷処理を行う。そして本フローチャートを終了する。

次に、統合ドキュメントの構造を説明する。

図９、は統合ドキュメントの構造の一例を示す図である。

統合ドキュメント９００は複数ページからなるデータであり、大きく分けるとベクタデータ９２０、メタデータ９４０、ＤＬ９６０、で構成されており、ドキュメントヘッダ９１０を先頭とする階層構造である。ベクタデータ９２０はさらに、ページヘッダ９２２、サマリ情報９２４、オブジェクト９２６で構成されている。メタデータ９４０はさらにページ情報９４２と詳細情報９４４で構成されている。ＤＬ９６０はさらに、ページヘッダ９６２と描画展開用のインストラクション９６４から構成されている。

ドキュメントヘッダ９１０にはベクタデータ９２０の格納場所とＤＬ９６０の格納場所が記述されているためベクタデータ９２０とＤＬ９６０はドキュメントヘッダ９１０によって関連付けられている。

ベクタデータ９２０は、ビットマップデータに対して文字認識処理、アウトライン化処理、図形認識処理などの複数の処理の少なくともいずれかを実行することによって生成される。ベクタデータ（ベクトル化データ）とは、上述の少なくともいずれかの処理を実行することによって得られる直線や曲線を構成する複数の画素を補完する数式として定義する画像である。なお、本実施形態では、ビットマップデータの少なくとも一部がベクトル化されたデータもベクタデータであるものとする。

ベクタデータ９２０は解像度非依存な描画データであるので、ページヘッダ９２２はページの大きさや向きなどのレイアウト情報が記述される。オブジェクト９２６にはライン、多角形、ベジェ曲線などの描画データが一つずつリンクされており、複数のオブジェクトがまとめてサマリ情報９２４に関連付けられている。サマリ情報９２４は複数のオブジェクトの特徴をまとめて表現するものであり、図６で説明した分割領域の属性情報などが記述される。１つのサマリ情報に関連付けられている複数のオブジェクトは同じ画像属性のオブジェクトになる。

メタデータ９４０は描画処理には直接は関係せず、主に検索に用いられる付加情報である。ページ情報９４２領域には、例えばメタデータがビットマップデータから生成されたものなのか、ＰＤＬデータから生成されたものなのか、などのページ情報が、詳細情報９４４にはＯＣＲ情報や画像情報として生成された文字列（文字コード列）が記述される。

また、ベクタデータ９２０のサマリ情報９２４からはメタデータが参照されており、サマリ情報９２４からメタデータ９４０の詳細情報９４４を見つけることができる。

ＤＬ９６０はレンダラがビットマップ展開するための中間コードである。ページヘッダ９６２にはページ内の描画情報（インストラクション）の管理テーブルなどが記述され、インストラクション９６４は解像度依存な描画情報で構成されている。

図１０は統合ドキュメントの一具体例を示す図である。

ビットマップ画像である図１０（ａ）に基づいて生成した統合ドキュメントを図１０（ｂ）に示す。

図１０（ａ）のビットマップ画像１０００は、文字領域（ＴＥＸＴ）１００２と蝶の写真を示すイメージ領域（ＩＭＡＧＥ）１００４とを含む画像である。このようなビットマップ画像を変換した統合ドキュメントのデータ構造が図１０（ｂ）である。

図１０（ｂ）において、ドキュメントヘッダ１００５にページヘッダ１００６、「ＴＥＸＴ」の領域に対応したサマリ情報１００８、「ＩＭＡＧＥ」の領域に対応したサマリ情報１０１４がリンクされている。「ＴＥＸＴ」のサマリ情報１００８にはＨ，ｅ，ｌ，ｌ，ｏオブジェクト１０１０とＷ，ｏ，ｒ，ｌ，ｄオブジェクト１０１２の文字輪郭がベクタデータとしてリンクされている。

さらにサマリ情報１００８からは「Ｈｅｌｌｏ」「Ｗｏｒｌｄ」という文字コード列が格納されたメタデータ１０２０がリンクしている。

また、「ＩＭＡＧＥ」のサマリ情報１０１４には蝶の写真画像（例えばＪＰＥＧ形式の画像データ）のオブジェクト１０１６がリンクされている。

さらに「ＩＭＡＧＥ」のサマリ情報１０１４からは「ｂｕｔｔｅｒｆｌｙ」という画像特徴情報１０２２が参照されている。

例えば「Ｗｏｒｌｄ」というキーワードで統合ドキュメント中のテキストを検索する場合は以下の手順で検出すればよい。まずドキュメントヘッダからベクタページデータを順次取得し、ページヘッダにリンクされているサマリ情報のうち、「ＴＥＸＴ」領域にサマリ情報（図１０（ｂ）の場合、１００８）にリンクされているメタデータ（図１０（ｂ）の場合、１０２０）を検索する。

図１１は本実施形態における統合ドキュメントの他の一例を示す図である。図１０における統合ドキュメントに比べ、メタデータの種類が異なっている。

図１１（ａ）の画像は、「ＴＥＸＴ」の領域（１１０２、１１０４）、「ＧＲＡＰＨＩＣ」の領域であるグラフ１１０６、「ＩＭＡＧＥ」の領域である工場の写真１１０８から構成されている。

図１１（ｂ）は図１１（ａ）の画像を統合ドキュメントに変換した場合のデータ構造におけるメタデータ部分を示す図である。図１１（ｂ）のメタデータは、ページヘッダ１１１０、検索キーワード１１１４、編集キーワード１１１６、編集履歴１１１８から構成されている。

検索キーワード１１１４は、図１１（ａ）の画像中、検索に用いられるであろうキーワードをメタデータとして格納した領域である。通常、検索キーワードはそのドキュメントの特徴が格納されており、図１１（ａ）のような画像データならば、「ＧＲＡＰＨＩＣ」領域中のグラフの内容を示す「ＣＯ２推移表」や、「ＩＭＡＧＥ」領域中の工場の写真を示す「工場」などがそれに相当する。これらのキーワードは検索キーワード１１１４内に格納される。

編集キーワード１１１６は、図１１（ａ）の画像中、編集対象になるであろうキーワードをメタデータとして格納した領域である。通常、ドキュメント中でドキュメントの特徴を表すオブジェクトは変更される事は少ない。例えば「温暖化現象」という内容のドキュメントにおいて「温暖化」というキーワードなどは変更されるとまったく別のドキュメントになってしまうため、変更されることは少ない。逆にグラフや表などは値の更新などが行われるために編集対象になりやすい。また、図についている表題中の「図」などという語は「Ｆｉｇ」などと語に変換されたりすることがよくある。このように編集されやすい語や図を編集用の検索用のキーワードとして編集キーワード１１１６に格納される。図１１（ａ）においては編集キーワードとして「表１」、「写真１」などが図１１（ｂ）で示されるメタデータ内の編集キーワード１１１６に格納される。

更に図１１（ｂ）には、編集履歴１１１８がメタデータとして格納することができる。編集履歴をメタデータとして記録することにより、どのようなキーワードが編集対象となったかを知ることが出来、編集対象キーワードとしてどのようなキーワードを選べばよいかを決定することが可能になる。

図１２は統合ドキュメントの編集処理の一例を示した図である。

３ページの画像データ１２００を統合ドキュメントに変換すると、ドキュメントヘッダ１２０８で特定されるデータ構造を有する統合ドキュメントが生成される。画像データ１２００の１ページ目は「ＩＭＡＧＥ」オブジェクト領域１２０２、「ＴＥＸＴ」オブジェクトＡ１２０４、「ＴＥＸＴ」オブジェクトＢ１２０６の３つの領域から構成されている。ドキュメントヘッダ１２０１で示される統合ドキュメントは、これまでの説明と同様にサマリ情報、オブジェクト、メタデータとを有する。なお、図１２の統合ドキュメントは、ドキュメントヘッダ１２０８内に、編集禁止情報１２１０を格納している。ドキュメントヘッダ１２０８内に編集禁止情報を「編集禁止：ＯＮ」とすることによって、統合ドキュメント内の全てのオブジェクトに対して編集を禁止することができる。また、ページヘッダやサマリ情報内に編集禁止情報を持たせることによって、ページ単位、オブジェクト単位での編集制限を行うことが可能になる。編集禁止情報は通常フラグで実現される。または編集禁止を解除するためのパスワードなどを格納しても良い。

メタデータ１２１２は、「ＴＥＸＴ」オブジェクトＡ１２０４に対応するメタデータである。メタデータ１２１２は検索キーワード領域、編集キーワード領域、編集履歴領域を含む。メタデータ１２１２に含まれるこれらの領域のそれぞれは、メタデータとしての文字列の群を形成する。メタデータ１２１２には、検索キーワードとして「都市」、「ＣＯ２排出量」、「推移図」、「関連図」などの単語が、編集キーワードとして「第一段落」が、編集履歴として「第一段落の文章変更」含まれている。

メタデータ１２１４は「ＴＥＸＴ」オブジェクトＢ１２０６に対応するメタデータである。メタデータ１２１４には、検索キーワードとして「ＣＯ２排出量」、「比較図」、「統計」が、編集キーワードとして「表１」、「Ｆｉｇ．１」、「Ｆｉｇ．２」が格納されている。更に、編集履歴として「図１」を「Ｆｉｇ．１」に変更したことと「図２」を「Ｆｉｇ．２」に変更したことが格納されている。

メタデータ１２１６は「ＩＭＡＧＥ」オブジェクト１２０２に対応するメタデータである。ここにはオブジェクト１２０２の画像特徴情報が格納されている。

ＨＤＤ２１０には統合ドキュメントに対する編集履歴と生成された編集用キーワードをユーザ毎に記録したデータベースである。統合ドキュメント中のメタデータに含まれる編集履歴と編集キーワードとを収集して、編集処理を行ったユーザ毎に分類してＨＤＤ２１０内に記憶する。

編集情報データベース１２１８は、ＭＦＰ１００のＨＤＤ２１０内に構築されるデータベースである。編集情報データベース１２１８には、統合ドキュメントに対する編集の履歴をユーザ毎に保存している。後に詳述するが、編集情報データベース１２１８に保存されたキーワードは、統合ドキュメントの編集を行う際に検索対象となりやすいキーワードである。統合ドキュメント中のオブジェクトから得られた文字列のうち、編集情報データベース１２１８に保存されたキーワードと適合した文字列をメタデータとして登録すれば、検索や編集などで用いられる可能性の高い文字列をメタデータとすることができる。これによって全ての副次情報をメタデータとして登録せずに済み、統合ドキュメントのメタデータが肥大化することを防止できる。編集情報データベース１２１８はメタデータとすべき文字列を記憶したデータベースであればよいので、統合ドキュメントに対する編集の履歴の他に、統合ドキュメントの検索に用いたキーワードをデータベース化したものでもよい。あるいは検索のためによく用いられるキーワードを登録したデータベースであってもよい。また、編集情報データベース１２１８は、ＭＦＰ１００のＨＤＤ２１０以外の記憶装置内に構築されていてもよい。例えば、ネットワーク上の他のＭＦＰのＨＤＤ内に編集情報データベース１２１８が構築されていてもよい。また、ＭＦＰ以外にデータベースサーバを別途用意し、当該データベースサーバ内に編集情報データベース１２１８を構築してもよい。

図１３は画像処理装置による統合ドキュメントの編集処理の一例を示すフローチャートである。本フローチャートは、ＭＦＰ１００のＣＰＵ２０２が実行する。

まず、ステップＳ１３０１において、ユーザによる操作パネル１２１の操作により統合ドキュメントの編集指示を受け付ける。ステップＳ１３０１において、操作パネル１２１には、図１４や図１５に示すような操作画面が表示される。

図１４は、ＭＦＰの操作パネルの表示例を示す図である。ここでは統合ドキュメントの編集例として、統合ドキュメント中の単語である“図”を“Ｆｉｇ”に変更する場合を例にとって説明する。図１４（ａ）は、操作パネル１２１に置換対象とする文字列を入力する欄（１４０２）と、置換後の文字列を入力する欄（１４０４）を表示している。ユーザは、「置換前の文字列」の下の入力欄１４０２に置換対象の文字列を入力し、「置換後の文字列」の下の入力欄１４０４に変換後の文字列を入力する。ここでは置換対象の文字列として“図”を入力し、変換後の文字列として“Ｆｉｇ”を入力する。その後、実行ボタン１４０６を押下すると、図１４（ｂ）の画面に遷移する。

図１４（ｂ）の画面には、置換対象設定ボタン１４０８が表示されている。ユーザがこのボタン１４０８を押下すると図１４（ｃ）の画面に遷移する。図１４（ｃ）の画面では、置換する文字列の条件を入力することができる。図の「オブジェクトの種類」の下の３つのボタンは文字列が含まれる描画オブジェクトの種類を示す。オブジェクトの選択は排他的ではなく複数選択することも可能である。その下のページ範囲入力欄１４１０は置換対象となるページの範囲を指定するための入力欄である。

上記の説明では記述していないが、近傍検索などの条件設定を追加しても良い。

図１４では、統合ドキュメント中の文字列の置換を行う場合の操作パネル１２１の表示例を示したが、統合ドキュメント中のある段落を他の段落に置換する編集も存在する。

図１５は、統合ドキュメント中の段落を他の段落に置換する場合の操作パネルの表示例を示す図である。図１５（ａ）（ａ）では「置換対象段落」として、置換される段落を指定する。また、「置換段落」として置換する段落を指定する。段落の指定には２通りあり、「段落番号指定」（１５０２、１５０４）では統合ドキュメントのファイル名と段落番号によって段落を指定する。一方、「キーワード指定」（１５０６、１５０８）ではユーザに指定されたキーワードを含む段落対象の段落として特定する。図１５（ｂ）は「段落番号指定」（１５０２、または１５０４）を押下した場合に表示される入力画面の一例を示す。また、図１５（ｃ）では「キーワード指定」（１５０６、１５０８）を押下した場合に表示される入力画面の一例を示す。

図１３のフローチャートの説明に戻る。ステップＳ１３０２において、メタデータ、あるいはドキュメントヘッダ内の編集禁止情報を確認し、編集禁止であったならば本フローチャートを終了する。編集禁止情報がなければステップＳ１３０１で指定された統合ドキュメントの編集指示で指定された全ての編集処理についてＬ１３００とＬ１３１０の間のループ処理を繰り返し行う。

ステップＳ１３０３では、ステップＳ１３０１で指定された置換前の文字列と同じ文字列が統合ドキュメント中のメタデータに含まれる「編集キーワード」内に存在するか否かを検索する。ステップＳ１３０３での検索の結果、文字列が「編集キーワード」中に存在しなければ（ステップＳ１３０４でＮｏ）ステップＳ１３０５へ進み、統合ドキュメント内のオブジェクト内から、置換前の文字列を検索する。例えば、統合ドキュメント内のオブジェクトが「ＴＥＸＴ」属性であればオブジェクト全体に対して置換前文字列の検索を行う。ここで、必要に応じてＯＣＲ処理を行ってもよい。ここで印刷データのレンダリング後の画像に対してＯＣＲをかけたものを検索する理由として連続した文字列でありながらベクタデータ内では別々に格納された文字列を認識するためである。

置換する文字列を見つけたならばステップＳ１３０６へ進み、ステップＳ１３０１で指定された置換文字列に置換する等の編集処理を行う。

一方、ステップＳ１３０３での検索の結果、文字列が「編集キーワード」中に存在した場合（ステップＳ１３０４でＹｅｓ）、ステップＳ１３０６に進む。ステップＳ１３０６では当該編集キーワードで特定されるオブジェクト内の文字列をステップＳ１３０１で指定した置換文字列に置換するなどの編集処理を行う。なお、ステップＳ１３０３の処理のように、オブジェクト全体から文字列を検索するよりも、編集キーワードに基づいてオブジェクト中の編集対象文字列を特定する方がより高速文字列を特定することが可能になる。ステップＳ１３０６で行われる編集処理は、文字列単位での編集の場合もあり、段落単位での編集の場合もある。

ステップＳ１３０６で行った編集処理が段落単位での編集であったならば（ステップＳ１３０７でＹｅｓ）ステップＳ１３０８へ進み、統合ドキュメント内のオブジェクトを分割し、編集部分だけの格納ブロックを生成する。

そして、ステップＳ１３０９へ進み、分割したオブジェクトのそれぞれに対してメタデータを再生成する。

そして、ステップＳ１３１０へ進み、ステップＳ１３０６で編集した段落内の文字列を抽出し、編集用検索キーワードを生成する。

そして、ステップＳ１３１１へ進み、再生成したメタデータ内にステップ１３０６で行った編集の履歴を抽出する。そして、ステップＳ１３１２へ進み、再生成したメタデータ内にステップ１３１０で生成した編集用検索キーワードを格納する。

一方、文字列単位での編集があったならば（ステップＳ１３０７でＮｏ、かつ、ステップＳ１３１３でＹｅｓ）、ステップＳ１３１４へ進み、メタデータ内にステップ１３０６で行った編集の編集履歴を抽出する。そして、ステップＳ１３１５へ進み、ステップＳ１３０６で編集した文字列を抽出し、編集用検索キーワードを生成する。

そして、ステップＳ１３１６へ進み、ステップＳ１３１４で抽出した編集履歴と、ステップＳ１３１５で抽出した編集キーワードとを、編集対象となったオブジェクトのメタデータとして保存する。

全ての編集処理が終了したらステップＳ１３１７へ進み、今回使用された編集キーワードとそのヒット率を元にユーザ別編集情報データベース内にあるユーザ情報に含まれる検索ヒット率が高いキーワードの一覧を更新する。

図１６は、図１５に示した編集処理によって、オブジェクトとメタデータがどのように変化するのかを示した図である。図１６は統合ドキュメント内の「ＴＥＸＴ」オブジェクト内の段落及び単語の編集を行っている。編集前の「ＴＥＸＴ」オブジェクト１６０２おいて、第一段落１６０４が置換対象となり、第二段落１６０６中の「図」という文字列が置換対象となっている。メタデータ１６９８は編集前オブジェクトに対応するメタデータである。

編集後オブジェクト１６１０は第一段落１６０４を別の段落の文章で置換した後のオブジェクトである。編集後オブジェクト１６１４は、第二段落１６０６の文字列「図」を、文字列「Ｆｉｇ．」に置換し他オブジェクトである。本実施形態では、段落ごとに編集を行った場合、編集を行った段落ごとに分割したオブジェクトを生成する。図１３のフローチャートにおけるステップＳ１３０８の処理を行うことによってこのようにオブジェクトが分割される。

編集前オブジェクト１６０２が編集後オブジェクト１６１０、１６１４に分割されたことに伴い、対応するメタデータ１６１２、１６１６も編集後オブジェクトに対応して再生成される。

ステップＳ１３１０で抽出した編集キーワードは、ステップＳ１３１２においてメタデータ１６１２の編集キーワードとして格納される。ステップＳ１３１５で抽出された編集キーワードはステップＳ１３１６においてメタデータ１６１６の編集キーワードとして格納される。

ステップＳ１３１１で抽出された編集履歴は、ステップＳ１３１２でメタデータ１６１２の編集履歴として保存される。ステップＳ１３１４で抽出された編集履歴は、ステップＳ１３１６においてメタデータ１６１６の編集履歴として格納される。

図１７は本実施形態の画像処理装置における、編集キーワードの登録処理の一例を示すフローチャートである。本フローチャートは、ＭＦＰ１００のＣＰＵ２０２が実行する。

まず、ステップＳ１７０１で、統合ドキュメントではない文書データがＭＦＰ１００のＨＤＤ２１０に格納される。文書データとしては、原稿をスキャンして得られる画像データや、外部から受信したＰＤＬや文書データなどが相当する。

次に、ステップＳ１７０２で制御ユニット２０１によって文書データを変換して統合ドキュメントを生成する。この変換、生成処理は図７や図８で説明した処理に相当する。ここで、変換前の文書データに編集禁止を示す情報が付加されている場合や、ユーザによって編集禁止の指定がされた場合にはドキュメントヘッダやメタデータ内の編集禁止情報格納領域に禁止を示すデータを格納する。

次にステップＳ１７０３に進み、生成されたメタデータ内に編集禁止の情報があれば編集キーワードの作成処理を行わずに本フローチャートを終了する。一方、編集禁止情報が無ければ（ステップＳ１７０３でＮｏ）、ステップＳ１７０４乃至ステップＳ１７０６までの処理統合ドキュメントの全てのページに対して実行する。ステップＳ１７０４では、予め編集に対象になりやすい単語や描画オブジェクトに関するキーワードを登録した汎用キーワードデータベースを参照して、汎用キーワードデータベースに登録されているキーワードが内部ドキュメント内に含まれていないかを検索する。

図１８は本実施形態における汎用キーワードデータベースの一例を示す。汎用キーワードデータベースは制御ユニット２０１上のＨＤＤ２１０、ＲＯＭ２０６、ＲＡＭ２０７上のいずれかに構築される。キーワードの文字列を管理するポインタとキーワードの文字列から構成されている。そして、組み合わされた文字列がキーワードになる場合、例えば“ＸＸ月ＸＸ日”のように連続していない「月」と「日」が組み合わさってキーワードになる場合は「月」と「日」は別に格納されポインタでリンクされる。

ステップＳ１７０４での検索の結果、統合ドキュメント内に汎用キーワードデータベース内に登録されているキーワードが存在するオブジェクトがあったならば（ステップＳ１７０５でＹｅｓ）、ステップＳ１７０６に進む。ステップＳ１７０６では、当該適合したキーワードを当該オブジェクトに対応するメタデータ内の編集用キーワード格納領域に格納する。一方、ステップＳ１７０４での検索の結果、統合ドキュメント内に汎用キーワードデータベース内に登録されているキーワードが存在するオブジェクトがなければ、次のページのオブジェクトに対してステップＳ１７０４乃至ステップＳ１７０６の処理を行う。

全てのページに対してステップＳ１７０４乃至ステップＳ１７０６の処理を実行したら本フローチャートを終了する。図１７のフローチャートは、統合ドキュメントを生成する処理、例えば、図７のフローチャートのステップＳ７０５、ステップＳ７０９、ステップＳ７１２１や、図８のフローチャートにおけるステップＳ８０８の中で実行するようにしてもよい。

図１３あるいは図１７のフローチャートを実行することで、統合ドキュメントに対して、編集処理で用いられるであろうキーワードを予めメタデータに格納しておくことが出来る。よって統合ドキュメント内の全てのキーワードをメタデータに格納することなく、かつ編集処理で用いられるであろうキーワードをメタデータに格納しておくことが出来、効率的にメタデータを構築することが可能になる。

図１９は本実施形態の画像処理装置における、編集キーワード登録処理の他の一例を示すフローチャートである。本フローチャートは、ＭＦＰ１００のＣＰＵ２０２が実行する。ＭＦＰ１００は図１７のフローチャートを実行でき、かつ図１９のフローチャートが実行であってもよい。

まず、ステップＳ１９０１で、統合ドキュメントではない文書データがＭＦＰ１００のＨＤＤ２１０に格納される。文書データとしては、原稿をスキャンして得られる画像データや、外部から受信したＰＤＬなどが相当する。

そして、ステップＳ１９０２で、文書データを変換して統合ドキュメントを生成する。統合ドキュメントの生成処理は図７、あるいは図８に示した方法を用いる。ここで、変換前の文書データに編集禁止を示す情報が付加されていた場合や、ユーザによって編集禁止の指定がされた場合にはドキュメントヘッダやメタデータ内の編集禁止情報格納領域に禁止を示すデータを格納する。

そして、ステップＳ１９０３に進み、生成されたメタデータ内に編集禁止の情報があれば編集キーワードの作成処理を行わずに本フローチャートを終了する。

一方、編集が禁止されていなければ（ステップＳ１９０３でＮｏ）、編集情報データベース１２１８（図１２）にステップＳ１９０１で文書データをＨＤＤ２１０に格納したユーザの情報が登録されていないかを検索する。編集情報データベース１２１８にユーザ情報が無ければ（ステップＳ１９０４でＮｏ）本フローチャートを終了する。

図２０に本実施形態におけるユーザ別編集情報データベースの一例を示す。図２０にはユーザ別の編集履歴情報が編集情報データベース１２１８内に格納されている様子を示している。編集情報データベース１２１８内には、各ユーザの識別情報（ユーザＩＤ）に対応して、編集履歴１（２００２）、編集履歴２（２０１０）と続く複数の編集履歴が格納されている。各編集履歴には、編集の内容２００４、そのときに使用された編集キーワード２００６、編集後に生成されたキーワード２００８が格納されている。

図１９の説明にもどる。編集情報データベース１２１８にステップＳ１９０１で文書データをＨＤＤ２１０に格納したユーザの情報が存在する場合、ステップＳ１９０５乃至ステップＳ１９１４の処理を統合ドキュメント内の全てのページに対して繰り返し処理する。一方、編集情報データベース１２１８にステップＳ１９０１で文書データをＨＤＤ２１０に格納したユーザの情報が存在しない場合（ステップＳ１９０４でＮｏ）、本フローチャートを終了する。

ステップＳ１９０５では、編集情報データベース１２１８内の当該ユーザの編集情報に、編集履歴として段落単位の編集に関する記録があるかを検索する。段落単位の編集記録があればステップＳ１９０６に進み、そうでなければステップＳ１９１１へ進む。ステップＳ１９０５では、そのとき編集された段落と同一の段落がステップＳ１９０２で生成した統合ドキュメント内に無いかを検索する。ここでは、編集情報データベース１２１８に格納されている段落単位での編集キーワードと統合ドキュメント中のメタデータに含まれるキーワードとを照合して検索する。あるいは、編集情報データベース１２１８に格納されている段落単位での編集キーワードと統合ドキュメント中の「ＴＥＸＴ」オブジェクト内の文字列とを照合して検索する。

もし過去に編集された事がある段落と同一のものが含まれるオブジェクトが存在するならば （ステップＳ１９０７でＹｅｓ）、ステップＳ１９０８へ進み、そうでなければステップＳ１９１１へ進む。ステップＳ１９０８では、当該オブジェクトの中からその段落を独立したベクタデータのオブジェクトとして分割する。そして、ステップＳ１９０９において、ステップＳ１９０８で分割したオブジェクトに対するメタデータを生成する。そして、ステップＳ１９１０に進み、ステップＳ１９０６での検索において用いられたキーワードを編集情報データベース１２１８から取り出し、分割されたオブジェクトに対するメタデータの編集用キーワードの格納領域に登録する。

ステップＳ１９１１では、編集情報データベース１２１８内の当該ユーザの編集情報に、単語単位での編集記録があるかを検索する。ここでは、編集情報データベース１２１８に格納されている単語単位での編集のキーワードと統合ドキュメント中のメタデータに含まれるキーワードとを照合して検索する。或は、編集情報データベース１２１８に格納されている単語単位での編集のキーワードと統合ドキュメント中の「ＴＥＸＴ」オブジェクト内の文字列とを照合して検索する。編集記録があれば（ステップＳ１９０５でＹｅｓ）該当する単語が内部ドキュメントに含まれるかを検索する。

もし、過去に編集した単語と同一の単語があれば（ステップＳ１９１３でＹｅｓ）、ステップＳ１９１４に進み、そうでなければ次のページの処理へ進む。ステップＳ１９１４では、検索でヒットした単語を含むオブジェクトのメタデータ中の編集キーワードとして、当該単語を登録する。図１９のフローチャートを実行することにより、新たに統合ドキュメントを生成した際に、その統合ドキュメントを生成したユーザが過去に行った編集で用いられたキーワードを当該統合ドキュメントのメタデータとして登録することが可能になる。よって、編集されたことのない統合ドキュメントをあらたに生成した時点で、編集時によく使われるであろうキーワードをメタデータに含めることが可能になり、当該統合ドキュメントのメタデータを効率よく登録することが可能になる。

図２１は本実施形態における画像処理装置における検索キーワード登録処理の一例を説明するフローチャートである。本フローチャートは、ＭＦＰ１００のＣＰＵ２０２が実行する。ＭＦＰ１００は図１７や図１９のフローチャートを実行でき、かつ図２１のフローチャートが実行可能であってもよい。

図２１のフローチャートを実行する前提として、ＭＦＰ１００のＨＤＤ２１０内に検索キーワードデータベースが構築されているものとする。検索キーワードデータベースは、編集情報データベース１２１８（図１２）と類似のデータベースであるが、統合ドキュメントに対する検索の履歴を収集し、検索に用いられやすいキーワードを記憶したデータベースである。

まず、ステップＳ２１０１で、統合ドキュメントではない文書データがＭＦＰ１００のＨＤＤ２１０に格納される。文書データとしては、原稿をスキャンして得られる画像データや、外部から受信したＰＤＬなどが相当する。

そして、ステップＳ２１０２で、文書データを変換して統合ドキュメントを生成する。統合ドキュメントの生成処理は図７、あるいは図８に示した方法を用いる。ここで、変換前の文書データに編集禁止を示す情報が付加されていた場合や、ユーザによって編集禁止の指定がされた場合にはドキュメントヘッダやメタデータ内の編集禁止情報格納領域に禁止を示すデータを格納する。

そして、ステップＳ２１０３に進み、生成されたメタデータ内に編集禁止の情報があれば編集キーワードの作成処理を行わずに本フローチャートを終了する。

一方、編集が禁止されていなければ（ステップＳ２１０３でＮｏ）、ステップＳ２１０４乃至ステップＳ２１０６を統合ドキュメントの全てのページに対して繰り返し実行する。

ステップＳ２１０４では、文書データから抽出した文字列のうち、検索キーワードデータベースに登録された文字列と合致するものがあるか否かを検索する。そして、合致するものがあれば（ステップＳ２１０５でＹｅｓ）その文字列を統合ドキュメントのメタデータとして登録する（ステップＳ２１０６）。

このようにして、文書データから抽出された文字列の全てをメタデータとして登録するのではなく、検索キーワードデータベースを用いて検索に用いられる可能性の高い文字列をメタデータとして登録する。これにより、統合ドキュメント中のメタデータが肥大化することを防ぐことができる。

図２２は本実施形態の画像処理装置における、編集キーワード登録処理の更なる他の一例を示すフローチャートである。本フローチャートは、ＭＦＰ１００のＣＰＵ２０２が実行する。なお、ＭＦＰ１００は、図１７や図１９のフローチャートを実行でき、更に図２２のフローチャートを実行するようにしてもよい。

ステップＳ１９０１乃至ステップＳ１９０３は、図１９のフローチャートのステップＳ１９０１乃至ステップＳ１９０３と同じ処理であるので説明を省略する。

ステップＳ２２０４では、ステップＳ１９０２で生成された統合ドキュメントのメタデータと、ＨＤＤ２１０に既に格納されている、同一ユーザが生成を指示した他の統合ドキュメントのメタデータと比較する。ここで、メタデータ同士を比較して、両者で共通に持つキーワードの数に基づいてメタデータが類似するか否かを判定する。

そして、類似するメタデータを持つ統合ドキュメントがなければ（ステップＳ２２０５でＮｏ）本フローチャートを終了する。一方、類似するメタデータを持つ統合ドキュメントが存在するならば（ステップＳ２２０５でＹｅｓ）、統合ドキュメント中の全てのページに対してステップＳ２２０６乃至ステップＳ２２０８の処理を繰り返す。

ステップＳ２２０６では、類似したメタデータを持つ統合ドキュメントのメタデータに対応するオブジェクトを特定する。そしてステップＳ２２０７に進み、当該オブジェクトと同一のオブジェクトがステップＳ１９０２で生成した統合ドキュメント内に含まれるか否かを判定する。

含まれていなければ（ステップＳ２２０７でＮｏ）、次のページの処理に進み、含まれていたならば（ステップＳ２２０７でＹｅｓ）、オブジェクトに対応するメタデータに編集キーワードとして、類似メタデータの編集キーワードを格納する。

図２２のフローチャートによれば、新たに生成した統合ドキュメントと類似したドキュメントが存在すれば、類似ドキュメントのメタデータ中の編集キーワードを新たに生成した統合ドキュメントのメタデータとして登録することが出来る。これにより、新たに生成した統合ドキュメントのメタデータを効率よく登録することが可能になる。

＜置換操作の変形例＞
上述の実施形態において、図１４、図１５に示したように、統合ドキュメント中の文字列の置換を行う場合の操作として操作パネル１２１を用いての文字入力による操作例を示した。他の操作例を図２３に示す。

図２３は図１４、図１５の操作例における操作パネル１２１に替えてタッチパネルを用いた操作例を示した図である。タッチパネル２６０２に表示されるウィンドウ２６０４上において、ユーザが画像指定ボタン２６０８を押すと、ＨＤＤ２１０内の統合ドキュメントや、スキャナユニット１２２から読み込まれた画像データに基づいて生成された統合ドキュメントが表示される。ここで、ユーザはタッチペン２６１０を使用して置換を行う部分を指定することで統合ドキュメントの置換のための操作を行う事ができる。

また、音声入力可能な画像処理装置ならば図１４、図１５で示されたパネルでの文字入力の変わりに音声入力を行っても良い。

＜データベースの共有＞
次にネットワークを介して編集キーワード等のデータベースを複数のＭＦＰ間で共有する処理について説明する。

上述の実施形態では、統合ドキュメントはＭＦＰ１００のＨＤＤ２１０格納されている。しかし、複数のＭＦＰがネットワークを介して接続されている画像処理システムにおいては、それぞれの画像処理装置にＨＤＤを備えている。そして、あるユーザの所有する統合ドキュメントが複数のＭＦＰのＨＤＤに分散して格納されていてもよい。

図２４にネットワークを介して複数のＭＦＰが接続された画像処理システムの一例を示す。図２４において、画像処理システムは、互いにＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）２７００等を介して接続された、第１ＭＦＰ２７１０、第２ＭＦＰ２７２０、第３ＭＦＰ２７３０で構成されている。

各ＭＦＰはそれぞれＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：二次記憶装置）２７１２、２７２２、２７３２を具備している。各ＨＤＤ２７１２、２７２２、２７３２統合ドキュメントなどのデータが格納されている。各ＭＦＰは所定のネットワークプロトコルを使用して互いに通信することができる。なお、ＬＡＮ２７００上に接続されるこれらのＭＦＰは図２４に示すような物理的な配置に限定しなくてよい。また、ＬＡＮ２７００上にはＭＦＰ以外の機器（例えばＰＣ、各種サーバ、プリンタなど）が接続されていてもよい。 図２４のシステムにおいて、例えば、第１ＭＦＰ２７１０で編集した統合ドキュメントのメタデータを他のＭＦＰ（２７２０、２７３０）へ送信し、他のＭＦＰ（２７２０、２７３０）は受信したメタデータを各々のＨＤＤ（２７２２、２７３２）に格納する。これにより、各ＭＦＰ間で編集キーワードや編集履歴等のデータベースを共有することができる。

図２５は本実施形態におけるメタデータの共有処理を説明するフローチャートである。ここでは、一例として、第１ＭＦＰ２７１０で統合ドキュメントを編集し、そのメタデータを第２ＭＦＰ２７２０、第３ＭＦＰ２７３０へ送信する場合について説明する。図２５の（ａ）のフローチャートは、第１ＭＦＰ２７１０が実行するフローチャートであり、（ｂ）のフローチャートは第２ＭＦＰ２７２０、第３ＭＦＰ２７３０のそれぞれが実行するフローチャートである。まず、第１ＭＦＰ２７１０は、ステップＳ２８０２において、図１３で示した統合ドキュメント編集処理のフローを実行する。

そして、ステップＳ２８０４で、第１ＭＦＰ２７１０のＨＤＤ２１０内のユーザー別編集情報データベースに登録した編集履歴と編集キーワードとを他のＭＦＰ（２７２０、２７３０）へ送信してフローチャートを終了する。以上が第１ＭＦＰ２７１０の処理である。

一方、ステップＳ２８０６において第２、第３ＭＦＰ（２７２０、２７３０）は第１ＭＦＰ２７１０から編集履歴と編集キーワードを受信する。

そして、ステップＳ２８０８において、編集履歴の内容を各ＭＦＰが備えるＨＤＤ２１０内のユーザー別編集情報データベースにステップＳ２８０６で受信した編集履歴、編集キーワードを記憶する。

そして、ステップＳ２８１０において、新しく登録された編集キーワードを元に検索ヒット率が高いキーワードの一覧を更新する。そして本フローチャートを終了する。

＜編集キーワード登録処理の変形例＞
図２２のフローチャートでは、統合ドキュメントを生成した場合に、同一ＭＦＰのＨＤＤ２１０内に記憶されている類似ドキュメントのメタデータを、生成した統合ドキュメントのメタデータとして登録した。しかし、類似ドキュメントはネットワークに接続された他のＭＦＰに記憶されたドキュメントであってもよい。

図２６は編集キーワード登録処理の変形例となるフローチャートである。ここでは、図２４のシステムにおいて、第１ＭＦＰが新たに統合ドキュメントを生成し、生成したドキュメントのメタデータを登録する場合を例にとって説明する。図２６において、（ａ）は第１ＭＦＰ２７１０が実行する処理であり、（ｂ）は第２、第３ＭＦＰ（２７２０、２７３０）のそれぞれが実行する処理である。

まず、ステップＳ２９０２で、第１ＭＦＰ２７１０で統合ドキュメントを生成し、第１ＭＦＰ２７１０のＨＤＤ２１０に生成した統合ドキュメントを記憶する。そして、ステップＳ２９０４で、生成した統合ドキュメント中のメタデータに編集禁止を示す情報が付加されているか否かをチェックする。チェックの結果、編集禁止を示す情報が付加かされている場合（ステップＳ２９０４でＮｏ）には、本フローチャートを終了し、そうでなければ（ステップＳ２９０４でＮｏ）ステップＳ２９０６へ進む。ステップＳ２９０６では、第１ＭＦＰ２７１０はメタデータを第２、第３ＭＦＰへ送信し、類似した統合ドキュメントの検索を依頼する。

そして、ステップＳ２９０８で、ステップＳ２９０２で生成された統合ドキュメントのメタデータと、ＨＤＤ２１０に既に格納されている、同一ユーザが生成を指示した他の統合ドキュメントのメタデータと比較する。

更に、ステップＳ２９１０では、ステップＳ２９０６で送信したメタデータに対する応答として、第２ＭＦＰ２７２０、あるいは第３ＭＦＰ２７３０からの検索結果を受信する。検索結果としてもし類似した統合ドキュメントがあればそのメタデータを受信する。

そして、ステップＳ２８１２において、ステップＳ２９０８での比較結果、およびステップＳ２９０１で受信したメタデータから、類似するメタデータを持つ統合ドキュメントがあるか否かを判定する。もしあれば（ステップＳ２９１２でＹｅｓ）ステップＳ２９１４乃至ステップＳ２９１８の処理を類似した統合ドキュメントの全ページに対して繰り返し実行する。一方、類似しためたデータを持つ統合ドキュメントが無ければ本フローチャートを終了する。

ステップＳ２９１４では、類似したメタデータを持つ統合ドキュメントのメタデータに対応するオブジェクトを特定する。そしてステップＳ２９１６に進み、当該オブジェクトと同一のオブジェクトがステップＳ２９０２で生成した統合ドキュメント内に含まれるか否かを判定する。

含まれていなければ（ステップＳ２９１６でＮｏ）、次のページの処理に進み、含まれていたならば（ステップＳ２９１６でＹｅｓ）、オブジェクトに対応するメタデータに編集キーワードとして、類似メタデータの編集キーワードを格納する。

図２６の（ｂ）は、第２、第３ＭＦＰ（２７２０、２７３０）での処理を示すフローチャートである。本処理は、第２、第３ＭＦＰ（２７２０、２７３０）のＣＰＵ２０２が実行する。

まず、ステップＳ２９２０では、第１ＭＦＰ２７１０がステップＳ２９０６において送信したメタデータを受信する。そして、ステップＳ２９２２において受信したメタデータと、ＨＤＤ２１０に既に格納されている、同一ユーザが生成を指示した他の統合ドキュメントのメタデータと比較する。そして、類似するメタデータを持つ統合ドキュメントが無ければ（ステップＳ２９２４でＮｏ）本フローチャートを終了する。一方、類似するメタデータを持つ統合ドキュメントが存在するならば（ステップＳ２９２４でＹｅｓ）、その統合ドキュメントのメタデータを第１ＭＦＰ２７１０へ送信する。そして本フローチャートを終了する。なお、類似した統合ドキュメントを特定する方法としては、様々な方法が考えられる。例えば、それぞれの統合ドキュメントから得られる特徴量同士を比較し、類似度を算出し、その類似度が一定の類似度以上の値であれば両ドキュメントは類似度が高いものと判定してもよい。

図２６のフローチャートを実行することにより、生成した統合ドキュメントに類似した統合ドキュメントの検索を、統合ドキュメントを生成したＭＦＰ以外のＭＦＰをも対象に行うことができる。これにより、図２２での処理よりも類似した統合ドキュメントを見つけ出す可能性が高まり、統合ドキュメント中のメタデータの登録をより効率的に行うことができる。

以上説明したように、本実施形態によれば、統合ドキュメントから、検索で用いられるであろうキーワードや、編集で用いられるであろうキーワードをメタデータとして登録することができる。これにより、生成した統合ドキュメントのメタデータを効率的に生成することができ、統合ドキュメントのメタデータが必要以上に大きくなることを防止することができる。

［他の実施形態］
以上、様々な実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。例えば、スキャナ、プリンタ、ＰＣ、複写機、複合機及びファクシミリ装置の如くである。

本発明は、前述した実施形態の各機能を実現するための制御プログラムを、システム若しくは装置に対して直接または遠隔から供給し、そのシステム等に含まれるコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能・処理をコンピュータや上述の装置で実現するために、該コンピュータや上述の装置にインストールされる制御プログラムのプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するための制御プログラム自体も本発明の一つである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

また、プログラムは、クライアントコンピュータのブラウザを用いてインターネット／イントラネットのウェブサイトからダウンロードしてもよい。すなわち、該ウェブサイトから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよいのである。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるウェブサイトからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネット／イントラネットを介してウェブサイトから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。

本実施形態における画像処理の一例であるＭＦＰの構造を示す断面図である。 本実施形態におけるＭＦＰの制御ユニットのハードウェア構成を示すブロック図である。 本実施形態におけるＭＦＰによるコピー動作時のデータフローの一例を示す図である。 本実施形態におけるメタデータ生成処理におけるデータフローの一例を示す図である。 本実施形態における図５はＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）プリント時のデータフローの一例を示す図である。 画像データに対して領域分割を行った結果の一例を示す図である。 本実施形態における統合ドキュメント生成処理の一例を示すフローチャートである。 本実施形態におけるＰＤＬからの統合ドキュメント生成処理の一例を示すフローチャートである。 本実施形態における統合ドキュメントの構造の一例を示す図である。 本実施形態における統合ドキュメントの一具体例を示す図である。 本実施形態における統合ドキュメントの他の一例を示す図である。 本実施形態における統合ドキュメントの編集処理の一例を示した図である。 本実施形態おける統合ドキュメントの編集処理の一例を示すフローチャートである。 本実施形態おけるＭＦＰの操作パネルの表示例を示す図である。 統合ドキュメント中の段落を他の段落に置換する場合の操作パネルの表示例を示す図である。 統合ドキュメントに対する編集処理による、オブジェクトとメタデータの変化を示す図である。 本実施形態における編集キーワードの登録処理の一例を示すフローチャートである。 本実施形態における汎用キーワードデータベースの一例を示す図である。 本実施形態における編集キーワード登録処理の他の一例を示すフローチャートである。 本実施形態におけるユーザ別編集情報データベースの一例を示す図である。 本実施形態における検索キーワード登録処理の一例を説明するフローチャートである。 本実施形態における、編集キーワード登録処理の更なる他の一例を示すフローチャートである。 操作パネル１２１に替えてタッチパネルを用いた操作例を示した図である。 本実施形態における、ネットワークを介して複数のＭＦＰが接続された構成の一例を示す図である。 本実施形態におけるメタデータの共有処理を説明するフローチャートである。 編集キーワード登録処理の一変形例を示すフローチャートである。

符号の説明

１００ ＭＦＰ
１０１ クライアントＰＣ
２０１ 制御ユニット
２０２ ＣＰＵ
２１０ ハードディスク
９００ 統合ドキュメント

Claims (15)

1. ビットマップ画像データをベクトル化データに変換するベクトル化手段と、
   前記ベクトル化データとメタデータとを含む統合ドキュメントを生成する統合ドキュメント生成手段と、
   前記ビットマップ画像データから前記ビットマップ画像データに関する１つ以上の付随情報を抽出する抽出手段と、
   前記抽出手段が抽出した１つ以上の付随情報のうち、予め定められた条件に適合する付随情報を選択する選択手段と、
   前記選択手段が選択した付随情報を前記統合ドキュメントのメタデータとして登録する登録手段と、
   を備えることを特徴とする画像処理装置。
2. 更にビットマップ画像データに対して文字認識処理を行う文字認識手段を備え、
   前記抽出手段は、前記文字認識手段が文字認識処理を行って得られた文字列を付随情報として抽出することを特徴とする、請求項１に記載の画像処理装置。
3. 更にビットマップ画像データから画像特徴情報を抽出する画像特徴情報抽出手段を備え、
   前記抽出手段は、前記画像特徴情報抽出手段が抽出した画像特徴情報を付随情報として抽出することを特徴とする、請求項１に記載の画像処理装置。
4. 更に、外部から受信した印刷データをレンダリングしてビットマップ画像データを生成するレンダリング手段を備え、
   前記ベクトル化手段は前記レンダリング手段がレンダリングしたビットマップ画像データをベクトル化処理してベクトル化データを生成し、
   前記抽出手段は前記レンダリング手段がレンダリングしたビットマップ画像データ、或は前記印刷データに含まれる文字列の少なくともいずれかから付随情報を抽出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記選択手段は、前記抽出手段が抽出した付随情報のうち、前記予め定められた条件に適合する付随情報として統合ドキュメントの検索のために用いられる情報を前記付随情報から選択することを特徴とする、請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、前記抽出手段が抽出した付随情報のうち、前記予め定められた条件に適合する付随情報として統合ドキュメントの編集のために用いられる情報を前記付随情報から選択することを特徴とする、請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
7. 更に、統合ドキュメントのメタデータとすべき文字列を記憶したデータベース手段を備え、
   前記抽出手段は前記ビットマップ画像データから文字列として付随情報を抽出し、
   前記選択手段は前記抽出手段が抽出した付随情報のうち、前記データベース手段に記憶された文字列と合致した文字列を選択することを特徴とする、請求項１に記載の画像処理装置。
8. 前記抽出手段は前記ビットマップ画像データから文字列として付随情報を抽出し、
   前記選択手段は、前記抽出手段が抽出した付随情報のうち、前記画像処理装置の外部のデータベース装置に設けられた、統合ドキュメントのメタデータとすべき文字列を記憶したデータベース手段に記憶された文字列と合致した文字列を選択することを特徴とする、請求項１に記載の画像処理装置。
9. 更に統合ドキュメントに対する編集を行う編集手段を備え、
   前記データベース手段は、前記編集手段が統合ドキュメントに対して行った編集の履歴を記憶することを特徴とする、請求項７または請求項８のいずれか１項に記載の画像処理装置。
10. 更に、前記統合ドキュメント生成手段が生成した統合ドキュメントと他の統合ドキュメントとの類似度を判定する類似度判定手段と、
    前記統合ドキュメントとの類似度が一定の類似度以上である他の統合ドキュメントのメタデータに含まれる付随情報を取得する付随情報取得手段と、を備え、
    前記選択手段は前記抽出手段が抽出した付随情報のうち、前記付随情報取得手段が取得した付随情報と合致した付随情報を選択することを特徴とする請求項１に記載の画像処理装置。
11. 前記登録手段が前記メタデータに登録した付随情報は、前記統合ドキュメントを検索するためのインデクスであることを特徴とする、請求項１に記載の画像処理装置。
12. 前記付随情報は文字列として表現された情報であり、
    前記メタデータは、前記登録手段が登録した複数の付随情報の群であり、更に、前記統合ドキュメントの検索のために用いられる文字列の群と、前記統合ドキュメントの編集のために用いられる文字列の群に分類されることを特徴とする請求項１に記載の画像処理装置。
13. 前記統合ドキュメントは更に、前記ベクトル化データからビットマップデータに変換する途中で生成される中間コードであるディスプレイリストを含むことを特徴とする、請求項１乃至請求項１２のいずれか１項に記載の画像処理装置。
14. ビットマップ画像データをベクトル化データに変換するベクトル化工程と、
    前記ベクトル化データとメタデータとを含む統合ドキュメントを生成する統合ドキュメント生成工程と、
    前記ビットマップ画像データから前記ビットマップ画像データに関する１つ以上の付随情報を抽出する抽出工程と、
    前記抽出工程で抽出した１つ以上の付随情報のうち、予め定められた条件に適合する付随情報を選択する選択工程と、
    前記選択工程で選択した付随情報を前記統合ドキュメントのメタデータとして登録する登録工程と、
    を備えることを特徴とする統合ドキュメント生成方法。
15. 統合ドキュメント生成方法を画像処理装置に実行させるための制御プログラムであって、前記統合ドキュメント生成方法は、
    ビットマップ画像データをベクトル化データに変換するベクトル化工程と、
    前記ベクトル化データとメタデータとを含む統合ドキュメントを生成する統合ドキュメント生成工程と、
    前記ビットマップ画像データから前記ビットマップ画像データに関する１つ以上の付随情報を抽出する抽出工程と、
    前記抽出工程で抽出した１つ以上の付随情報のうち、予め定められた条件に適合する付随情報を選択する選択工程と、
    前記選択工程で選択した付随情報を前記統合ドキュメントのメタデータとして登録する登録工程と、
    を備えることを特徴とする制御プログラム。

Images