JP2006243942A - 画像処理装置およびその方法 - Google Patents

画像処理装置およびその方法 Download PDF

Info

Publication number
JP2006243942A
JP2006243942A JP2005056213A JP2005056213A JP2006243942A JP 2006243942 A JP2006243942 A JP 2006243942A JP 2005056213 A JP2005056213 A JP 2005056213A JP 2005056213 A JP2005056213 A JP 2005056213A JP 2006243942 A JP2006243942 A JP 2006243942A
Authority
JP
Japan
Prior art keywords
image
vectorization
data
additional information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005056213A
Other languages
English (en)
Other versions
JP4546291B2 (ja
JP2006243942A5 (ja
Inventor
Mineko Satou
みね子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005056213A priority Critical patent/JP4546291B2/ja
Priority to US11/359,804 priority patent/US7747108B2/en
Priority to EP06110473A priority patent/EP1698988A1/en
Priority to CNB2006100583284A priority patent/CN100474880C/zh
Publication of JP2006243942A publication Critical patent/JP2006243942A/ja
Publication of JP2006243942A5 publication Critical patent/JP2006243942A5/ja
Application granted granted Critical
Publication of JP4546291B2 publication Critical patent/JP4546291B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

【課題】 原稿画像の電子文書を検索する際に、当該原稿に「オブジェクトのベクトル化は不可」というセキュリティレベルを示す情報が埋め込まれていると、検索に使うオブジェクトの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要する場合がある。
【解決手段】 原稿画像を読み取り、読み取った画像を像域の属性に応じて分割し、分割した像域のうち、画像をベクトル化する像域の指定を受け付け、指定された像域に含まれる付加情報を抽出し(S3601-S3602)、付加情報の有無または付加情報の解読結果に応じて、原稿画像に対応するデータファイルの検索処理、および、検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための指定像域のベクトル化を制御する(S3603-S3605)。
【選択図】 図17

Description

本発明は画像処理装置およびその方法に関し、例えば、原稿画像から再利用可能なデータを生成する画像処理に関する。
情報の電子化により、情報の広範囲な共有や活用がより容易に行えるようになった。とくに、紙に記録された文書を電子データ(電子文書)として再利用するニーズが増加している。紙に記録された文書(原稿)から電子文書を作成する手法として、原稿画像を読み取ってオリジナルの電子文書を検索する手法が提案されている(例えば、特許文献1)。
また、上記の提案における検索効率を向上させた例として、原稿画像を読み取った後、画像のオブジェクトをブロックごとにベクトル化し、原稿画像のレイアウト情報やブロックごとのベクトル化情報を基に、電子文書を検索するシステムが提案されている。
さらに、原稿画像をベクトル化して電子データとして再利用する際は、改竄防止やセキュリティ保護の必要性も増す。例えば、特許文献2には、画像を読み取った原稿が機密原稿か否かを判断する方法として、機密原稿の地紋パターンを予め登録しておき、読み取った原稿画像の地紋パターンが登録された地紋パターンに一致するか否かを判断して、機密原稿の画像か否かを判断する技術が記載されている(特許文献2を参照)。
文書別にセキュリティレベルを変える提案もあるが、原稿画像の電子文書を検索する際に、当該原稿に「オブジェクトのベクトル化は不可」というセキュリティレベルを示す情報が埋め込まれていると、検索に使うオブジェクトの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要する場合がある。
特許第3017851号公報 特開2004-164538公報
本発明は、原稿画像からデータファイルを検索する際に、セキュリティを保持しつつ、検索効率および検索精度の向上を図ることを目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる画像処理装置は、原稿画像を読み取る読取手段と、前記読取手段によって読み取った画像を像域の属性に応じて分割する分割手段と、前記分割された像域のうち、画像をベクトル化する像域の指定を受け付ける受付手段と、前記指定された像域に含まれる付加情報を抽出する抽出手段と、前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御するベクトル化手段とを有することを特徴とする。
本発明にかかる画像処理方法は、原稿画像を読み取り、前記読み取った画像を像域の属性に応じて分割し、前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、前記指定された像域に含まれる付加情報を抽出し、前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御することを特徴とする。
また、原稿画像を読み取り、前記読み取った画像を像域の属性に応じて分割し、前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、前記原稿画像の付加情報を抽出し、前記付加情報に応じて、前記原稿画像に対応するベクトル化処理を検索用に限定することを特徴とする。
本発明によれば、原稿画像からデータファイルを検索する際に、セキュリティを保持しつつ、検索効率および検索精度の向上を図ることができる。
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
[画像処理システム]
図1は、機能が拡張された記録装置であるMFP(マルチファンクション複合機)を使用して情報の電子化を行う画像処理システムの構成例を示すブロック図である。
この画像処理システムは、オフィス(のような複数の区分)10と20がインターネットのようなWAN 104で接続された環境で実現される。
オフィス10内に構築されたLAN 107には、複合機(MFP: Multi-Function Processor) 100、MFP 100を制御するマネージメントPC 101、クライアントPC 102、文書管理サーバ106、文書管理サーバによって管理されるデータベースサーバ105などが接続されている。オフィス20はオフイス10とほぼ同様の構成を有するが、オフィス20内に構築されたLAN 108には、少なくとも文書管理サーバ106、文書管理サーバによって管理されるデータベースサーバ105などが接続されている。オフィス10のLAN 107とオフィス20のLAN 108は、LAN 107に接続されたプロキシサーバ103、WAN 104、および、LAN 108に接続されたプロキシサーバ103を介して、相互に接続されている。
MFP 100は、文書画像を読み取り、読み取った画像を処理する画像処理の一部を担当する。MFP 100から出力される画像信号は、通信線109を介してマネージメントPC 101に入力される。マネージメントPC 101は、通常のパーソナルコンピュータ(PC)で、画像記憶するハードディスクなどのメモリ、ハードウェアまたはソフトウェアで構成される画像処理部、CRTやLCDなどのモニタ、マウスやキーボードなどの入力部を有するが、その一部はMFP 100に一体化して構成されている。なお、以下では、マネージメントPC 101において、下記の検索処理などを実行する例を説明するが、マネージメントPC 101が行う処理をMFP 100で実行するようにしても構わない。
[MFP]
図2はMFP 100の構成例を示すブロック図である。
オートドキュメントフィーダ(ADF)を含む画像読取部110は、一枚または重ねられた複数の原稿それぞれの画像を、光源で照射し、原稿からの反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ順の画像読取信号(例えば600dpi、8ビット)を得る。原稿を複写する場合は、この画像読取信号をデータ処理部115で記録信号へ変換し、複数枚の記録紙に複写する場合は、一旦、記憶部111に一頁分の記録信号を記憶した後、記録信号を繰り返し記録部112に出力することで、複数の記録紙に画像を形成する。
一方、クライアントPC 102から出力されるプリントデータは、LAN 107を介してネットワークインタフェイス(I/F)114へ入力され、データ処理部装置115によって記録可能なラスタデータに変換された後、記録部112によって記録紙上に画像として形成される。
MFP 100に対する操作者の指示は、MFP 100に装備されたキー操作部とマネージメントPC 101のキーボードやマウスからなる入力部113によって行われる。操作入力の表示および画像処理状態の表示などは表示部116によって行われる。
上記のMFP 100の動作は、データ処理部115内の、例えばワンチップマイクロコントローラで構成される制御部115aで制御される。
なお、記憶部111は、マネージメントPC 101からも制御可能である。MFP 100とマネージメントPC 101と間のデータの授受および制御は、ネットワークI/F 117および両者を直結する信号線109を介して行われる。
なお、MFP 100は、ディジタルカメラやディジタルビデオなどの撮像装置、ポータブルデータアシスタント(PDA)などの形態端末装置、ファクシミリなどから画像データを入手するインタフェイスを入力部113の一部として備えていてもよい。
また、入力部113には、ユーザを識別するためのユーザ認識部118が接続されている。ユーザ認識部118は、例えばICカードリーダ、IDや暗証入力用のキー、あるいは、指紋、手紋、毛細血管パターンや虹彩などの生体情報を識別する生体認証装置などで、MFP 100を使用するユーザを特定する情報(以下「ユーザ特定情報」と呼ぶ)を入力し、入力部113を介してデータ処理部115へユーザ特定情報を出力する。
一方、データ処理部115が管理する不揮発性メモリ、または、マネージメントPC 101の不揮発性メモリ(例えばハードディスク)には、MFP 100のユーザごとのセキュリティレベルを示す情報が設定され、記憶されている。従って、データ処理部115は、ユーザ認識部118から入力されるユーザ特定情報に対応するセキュリティレベルを取得することができる。また、ユーザ認識部118としてICカードリーダを使用する場合、ユーザ認識部118からデータ処理部115へICカード内のメモリに記憶されたセキュリティレベルが通知されるようにしてもよい。
なお、以下では、データ処理部115が、ユーザ認識部118により取得されたユーザ特定情報に対応するセキュリティレベルを取得する(または、ユーザ認識部118から直接、セキュリティレベルを取得する)ことを「ユーザ認証」と呼ぶ。
また、MFP 100におけるデータの送信、蓄積は、入力部113またはクライアントPC 102からマネージメントPC 101に指示される。この場合、画像読取部110で読み取った、または、クライアントPC 102から受信した画像信号は、データ処理装置115によって記録信号に変換された後、ネットワークI/F 114(または117)を介して送信、または、記憶部111に蓄積される。
さらに、原稿の画像を再利用可能な電子データへの変換は、入力部113からマネージメントPC 101に指示される。この場合は、画像読取部110で読み取った画像信号は、マネージメントPC101によってベクトル化(ベクトル化については後述する)された後、ネットワークI/F 114(または117)を介して送信、または、記憶部111に蓄積される。
[処理の流れ]
図3は上記の画像処理システムによる処理の流れを説明するフローチャートで、マネージメントPC 101またはデータ処理部115、あるいは、それらの組み合わせによって実行される処理である。
まず、MFP 100は、ユーザ認証を行い(S300)、ユーザ認証に失敗した場合は表示装置116にその旨を表示して、操作を受け付けない。MFP 100は、ユーザ認証に成功すると、画像読取部110を動作させて、一枚の原稿の画像をラスタ走査して、画像読取信号を取得する。画像読取信号は、データ処理部115によって前処理され、入力画像の一頁分の画像データとして、記憶部111に保存される(S301)。
なお、クライアントPC 102からジョブを指示された場合、マネージメントPC 101は、クライアントPC 102に認証を要求し、これに対して入力されるユーザ特定情報に基づきユーザ認証を行う(S300)。そして、ユーザ認証に失敗した場合はクライアントPC 102にその旨を返し、ジョブを受け付けない。また、ユーザ認証に成功すると、マネージメントPC 101はデータ処理部115を制御して、クライアントPC 102から画像データを受け取らせ、前処理させて、入力画像の一頁分の画像データとして、記憶部111に保存させる(S301)。
次に、マネージメントPC 101は、ブロックセレクション(BS)処理を行い、記憶部111に格納された画像データを、文字または線画を含む文字・線画領域、ハーフトーンの写真領域、不定形の画像領域、その他の領域に分割する。さらに、文字・線画領域については、主に文字を含む文字領域、主に表、図形などを含む線画領域を分離し、線画領域は表領域および図形領域に分離する(S302)。なお、実施例1では連結画素を検知し、連結画素の外接矩形領域の形状、サイズ、画素密度などを用いて、属性ごとの領域に分割するが、その他の領域分割手法を用いても構わない。
文字領域は、段落などの塊をブロックとして矩形ブロック(文字領域矩形ブロック)にセグメント化する。線画領域は、表、図形などの個々のオブジェクト(表領域矩形ブロック、線画領域矩形ブロック)ごとに、矩形ブロックにセグメント化する。また、ハーフトーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロックなどの矩形ブロックにセグメント化する。なお、これら矩形ブロックの情報を「領域分割情報」という。
次に、データ処理部115は、BS処理によって得られた領域分割情報と、入力画像を合成して、図4に一例を示すように、表示部116の操作画面上に表示する(S303)。操作画面の左側には入力画像そのものが表示され、右側に領域分割情報が矩形ブロックとして表示される。なお、図4には、矩形ブロックの理解を容易にするため、各ブロックに、その属性を示す文字列TEXT、PICTURE、LINE、TABLEなどを示すが、実際の操作画面には属性情報は表示されず、矩形ブロックが枠線として表示される。属性情報TEXTは文字属性を、PICTUREは図形属性を、PHOTOは写真属性を、LINEは線画属性を、TABLEは表属性をそれぞれ表す。勿論、図4のように入力画像と領域分割情報とを左右に並置表示する以外に、これらを重ね合わせて入力画像上に矩形ブロックを表示するなど、多様な表示形態が可能である。
次に、ユーザは、操作画面に表示された矩形ブロックからベクトル化の対象にする矩形ブロック(セグメント)を指定する(S304)。領域の指定方法としては、例えば、ユーザがポインティングデバイスを用いて、一または複数のセグメントを指示してもよいし、操作画面をタッチパネルにして、ユーザが所望するセグメントを指で触れて指示する方法など、種々の方法を採用し得る。
次に、マネージメントPC 101は、データ処理部115から通知される指定領域に以下の処理を施すために、指定領域の画像データを切り出し(S305)、ベクトル化処理を実行して、切り出した指定領域の画像データをベクトルデータに変換する(S306)。なお、指定領域が写真属性の場合、その画像データはベクトル化しない。
次に、マネージメントPC 101は、指定領域の画像を含むデータファイル(または、そのオリジナルデータファイル)を、記憶部111、文書管理サーバ106(データベースサーバ105)、クライアントPC 102のローカルハードディスクから検索する(S307)。その際、詳細は後述するが、例えば、指定領域のOCRの結果から重要単語を抽出し、重要単語を含む文書を全文検索する、あるいは、指定領域のベクトルデータを参照して、矩形や特殊図形の有無、表形式データの有無などの情報に基づく検索、各セグメントの位置関係や配列といった情報から得られるレイアウト情報を用いるいわゆるレイアウト検索などを行う。
次に、マネージメントPC 101は、検索の結果、類似度が高いデータファイルが検出された場合、検索結果として候補のデータファイルを表示部116に表示する(S308)。その際、類似度の順にデータファイルをリストしたり、候補のデータファイルのサムネイル画像も表示することが好ましい。もし、複数の候補を検出した場合など、操作者によるデータファイルの選択が必要な場合は、複数の候補の中から選択の旨を表示部116に表示して操作者に選択させることで、データファイルを特定する。なお、ユーザは、オリジナルデータファイルを特定することが困難と判断した場合は、この処理をパスすることができる。また、候補が一つで類似度が高い場合は、ステップS308をスルーパスして処理をステップS310に進めてもよい。
次に、マネージメントPC 101は、データファイルが特定されたか否かを判定し(S309)、特定されなかった場合は処理をステップS312へ進める。また、特定された場合は、特定されたデータファイルが、ラスタ形式またはBMPやTIFFに代表されるラスタデータを符号化した画像データファイルか否かを判定し(S310)、これらの画像データファイルの場合は、処理をステップS312へ進める。一方、特定されたデータファイルが、文字コードやベクトルデータなど再利用が容易なデータ形式の場合は、そのデータファイルを取得し(S311)、その後、処理をステップS312へ進める。
データファイルが特定されなかった場合、特定された入力画像データと同様のラスタデータ形式のデータ形態の場合は、ステップS306で作成したベクトルデータをアプリケーションのデータ形式に変換し、再利用が容易なデータ形態のオリジナルデータを取得した場合は、取得したデータをアプリケーションデータ形式に変換する(S312)。これは、データ形式は使用するアプリケーションに依存するため、目的に応じたファイル形式に変換する処理である。例えば、代表的なアプリケーションソフトウェアのワードプロセッサソフトウェアや表計算ソフトウェアなどでは、それぞれ目的に応じたファイル形式が定義され、その形式でデータファイルを生成する必要がある。
より汎用的なファイル形式としては、例えばMicrosoft(R)が策定したRich Text Format (RTF)形式や、近年使用されるようになった、World Wide Web Consortium (W3C)が提唱するScalable Vector Graphics (SVG)形式、あるいは、単純にテキストデータのみを扱うプレーンテキスト形式などがあり、これらのデータ形式はアプリケーションソフトウェアにおいて共通に使用できる可能が高い。
次に、ステップS313の判定により、指定された領域すべてをアプリケーションデータ形式に変換するまで、ステップS305からS312の処理を繰り返す。勿論、指定領域すべてを含む一つのデータファイルが特定された場合は、ステップS305からS312の処理は一回で終了する。
なお、実施例1は、指定領域をベクトルデータに変換し、それ以外の領域は入力画像データのままとして、両者を合成して上記のようなアプリケーションデータ形式に変換する。このとき、入力画像における指定領域の位置情報を保存して、入力画像全体を再現できるようにする。
以上の構成により、ユーザが希望する領域(指定領域)のみがベクトルデータに変換され、編集等の再利用が容易になる。また写真属性のセグメントなど、ベクトル化できない領域、ベクトル化すべきでない領域を誤ってベクトル化する事故を防ぐことができる。
以下では、図3に示した主要なステップの処理について詳細に説明する。
[ブロックセレクション(S302)]
ブロックセレクションは、図4に示す一頁の画像をオブジェクトの集合体と認識して、各オブジェクトの属性を文字(TEXT)、図形(PICTURE)、写真(PHOTO)、線画(LINE)、表(TABLE)に判別し、異なる属性を持つセグメント(ブロック)に分割する処理である。次に、ブロックセレクションの具体例を説明する。
先ず、処理すべき画像を白黒画像に二値化して、輪郭線追跡によって黒画素で囲まれる画素の塊を抽出する。所定面積以上の黒画素の塊については、その内部の白画素について輪郭線追跡を行い白画素の塊を抽出する。さらに、所定面積以上の白画素の塊の内部の黒画素の塊を抽出するというように、黒画素および白画素の塊の抽出を再帰的に繰り返す。
このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさおよび形状に基づき属性を判定する。例えば、縦横比が1に近く、大きさが所定範囲の画素塊を文字属性の画素塊とし、さらに、近接する文字属性の画素塊が整列していてグループ化が可能な場合はそれらを文字領域とする。また、縦横比が小さい扁平な画素塊を線画領域に、所定以上の大きさで、かつ、矩形に近い形状を有し、整列した白画素塊を内包する黒画素塊が占める範囲を表領域に、不定形の画素塊が散在する領域を写真領域、その他の任意形状の画素塊を図画領域に、のようにそれぞれ分類する。
図5はブロックセレクションの結果の一例を示す図で、図5(a)は抽出された各矩形ブロックのブロック情報を示す。ブロック情報には、各ブロックの属性、位置の座標X、Y、幅W、高さH、OCR情報などが含まれる。属性は1〜5の数値で与えられ、「1」は文字属性、「2」は図形属性、「3」は表属性、「4」は線画属性、「5」は写真属性を表す。また、座標X、Yは入力画像における各矩形ブロックの始点のXY座標(左上角の座標)を、幅W、高さHは矩形ブロックのX座標方向の幅、Y座標方向の高さを、OCR情報の有無をそれぞれ表す。
また、図5(b)は入力ファイル情報で、ブロックセレクションによって抽出された矩形ブロックの総数を示す。
これら矩形ブロックごとのブロック情報は指定領域のベクトル化に利用される。また、ブロック情報によって、ベクトル化された指定領域とラスタデータの相対位置関係を特定することができ、入力画像のレイアウトを損わずにベクトル化領域とラスタデータ領域を合成することが可能になる。
[ベクトル化処理(S306)]
まず、ベクトル化方法には、次の手法が存在する。
(a)文字属性の指定領域の場合は、OCR処理により文字画像を文字コードに変換する、または、文字のサイズ、スタイル、字体を認識して視覚的に忠実なフォントデータに変換する。
(b)線画または文字属性の指定領域で、OCR処理による文字認識が不可能な場合は、線画または文字の輪郭を追跡し、輪郭情報(アウトライン)を線分のつながりとして表現する形式に変換する。
(c)図形属性の指定領域の場合は、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。
(d)上記(b)または(c)の手法で得られた線分形式のアウトライン情報をベジェ関数などでフィッティングして関数情報に変換する。
(e)上記(c)の手法で得られた図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形などの図形定義情報に変換する。
(f)表属性の指定領域の場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。
以上の手法のほかにも、画像データをコード情報、図形情報、関数情報などのコマンド定義形の情報に置き替える種々のベクトル化処理が考えられる。
[文字領域のベクトル化]
図6はベクトル化処理(S306)の詳細を示すフローチャートで、データ処理部115(またはマネージメントPC 101)によって実行される処理である。
まず、ブロック情報を参照して文字属性のセグメントか否か判断し(S901)、文字属性のセグメントであればステップS902に進んでパターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを得る。
また、文字属性のセグメント以外の場合は、詳細は後述するが、画像の輪郭に基づくベクトル化を実行する(S912)。
文字属性のセグメントの場合は、横書き、縦書きの判定(組み方向の判定)を行うために、画素値に対する水平、垂直の射影をとり(S902)、射影の分散を評価し(S903)、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定して、その判定結果に基づき、行の切り出した後、文字を切り出して文字画像を得る(S904)。
文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出した行に対する垂直方向の射影から文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行えばよい。なお、行、文字の切り出しに際して、文字のサイズも検出し得る。
次に、切り出した各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する(S905)。特徴ベクトルの抽出には種々の公知手法があるが、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。
次に、観測特徴ベクトルと、予め字種ごとに求めてある辞書特徴ベクトルとを比較して、観測特徴ベクトルと辞書特徴ベクトルの距離を算出し(S906)、算出した距離を評価して、最も距離の近い字種を認識結果とする(S907)。さらに、距離の評価結果から最短距離と閾値を比較して、最短距離が閾値未満であれば類似度が高いと判定し、最短距離が閾値以上であれば類似度が低いと判定する(S908)。最短距離が閾値以上の場合(類似度が低い場合)は、形状が類似する他の文字と誤認識している可能性が高いので、ステップS907の認識結果を採用せず、文字画像を線画と同様に扱い、文字画像のアウトラインをベクトル化する(S911)。言い換えれば、誤認識の可能性が高い文字画像は、視覚的に忠実なアウトラインのベクトルデータを生成する。
一方、類似度が高い場合は、ステップS907の認識結果を採用するとともに、文字認識に用いる字種数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードとともにフォント種を出力することで文字フォントを認識する(S909)。続いて、文字認識およびフォント認識よって得られた文字コードおよびフォント情報を参照し、文字コードおよびフォント情報それぞれに対応して予め用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する(S910)。なお、カラー画像データの場合は、文字の色を抽出してベクトルデータとともに記録する。
以上の処理により、文字属性のセグメントに含まれる文字画像をほぼ形状、大きさ、色が忠実なベクトルデータに変換することができる。
[文字領域以外のベクトル化(S912)]
文字属性のセグメント以外、すなわち図形属性、線画属性、表属性と判定されるセグメントは、黒画素塊を抽出し、その輪郭をベクトルデータに変換する。なお、写真属性のセグメントは、ベクトル化せず画像データのままにする。
文字領域以外のベクトル化は、まず、線画などを直線および/または曲線の組み合わせとして表現するために、曲線を複数の区間(画素列)に区切る「角」を検出する。図7はベクトル化における角抽出処理を説明する図で、角は曲率が極大になる点で、図7の曲線上の画素Piが角か否かは以下のように判定する。
画素Piを起点とし、線画曲線に沿って画素Piから両方向に所定画素数kずつ離れた画素Pi-k、Pi+kを線分Lで結ぶ。画素Pi-k、Pi+k間の距離をd1、画素Piから線分Lに直交するように下した線分の長さ(画素piと線分Lの距離)をd2が極大になる場合、あるいは、画素Pi-k、Pi+k間の弧の長さをAと距離d1の比d1/Aが所定の閾値以下になる場合、画素Piを角と判定する。
角を検出後、角によって分割された線画曲線の画素列を直線あるいは曲線で近似する。直線への近似は最小二乗法などにより実行し、曲線への近似は三次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似曲線における始端または終端になる。
さらに、ベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判定し、内輪郭が存在する場合はその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に黒画素塊および白画素塊の内輪郭をベクトル化する。
以上のように、輪郭の区分線を直線または曲線で近似する方法を用いれば、任意形状の図形のアウトラインをベクトル化することができる。また、入力画像がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
図8はベクトル化において輪郭線をまとめる処理を説明する図である。
輪郭線の注目区間で外輪郭PRjと、内輪郭PRj+1または他の外輪郭が近接している場合、二つまたは三つ以上の輪郭線をひとまとめにして、太さをもつ線として表現することができる。例えば、輪郭PRj+1上の画素Pと、画素Piと最短距離の輪郭PRj上の画素Q間の距離PQを算出し、複数の画素間の距離PQiのばらつきが僅かである場合は、輪郭PRjおよびPRj+1を注目区間を線分PQの中点Mの点列に沿う直線または曲線で近似する。そして、中点Mの点列に沿う近似直線または近似曲線の太さは、例えば、距離PQiの平均値とすればよい。
線や線の集合体である表罫線は、太さをもつ線の集合として表すことにより、効率よくベクトル表現することができる。
[図形の認識]
以上で線図形などのアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。
図9はベクトル化で生成したベクトルデータのグループ化処理を示すフローチャートで、ベクトルデータを図形オブジェクトごとにグループ化する処理を示している。
まず、各ベクトルデータの始点および終点を算出し(S1401)、始点および終点の情報を用いて、図形要素を検出する(S1402)。図形要素とは、区分線によって構成される閉図形であり、検出に際しては、始点、終点になっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成するベクトル群はそれぞれ、その両端に連結するベクトルを有するという原理を応用する。
次に、図形要素内に他の図形要素もしくは区分線が存在するか否かを判定し(S1403)、存在すれば、ステップS1401およびS1402を再帰的に繰り返して、それらをグループ化して一つの図形オブジェクトとし(S1404)、存在しなければ、その図形要素を図形オブジェクトとする(S1405)。
なお、図9には一つの図形オブジェクト分の処理しか示さないが、他の図形オブジェクトが存在すれば、その分、図9の処理を繰り返す。
●図形要素の検出(S1402)
図10は図形要素の検出処理を示すフローチャートである。
まず、ベクトルデータより、両端に連結するベクトルを有しないベクトルを除去して、閉図形を構成するベクトルを抽出する(S1501)。
次に、閉図形を構成するベクトルについて、ベクトルの何れかの端点(始点または終点)を開始点として、一定方向(例えば時計回り)に順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを一回りして開始点に戻ると、通過したベクトルすべてを一つの図形要素を構成する閉図形としてグループ化する(S1502)。また、閉図形内部にある閉図形を構成するベクトルもすべて再帰的にグループ化する。さらに、グループ化されていないベクトルの始点を開始点とし、上記と同様の処理を繰り返す。
そして、除去したベクトルのうち、閉図形としてグループ化したベクトルに端点が近接しているベクトル(閉図形に連結するベクトル)を検出し、検出したベクトルをそのグループにグループ化する(S1503)。
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱うことが可能になる。
以上のベクトル化処理は、通常、入力画像全体に対して行う必要性は低く、ユーザが指定した領域のみに対して行えば充分な場合が多い。ユーザが指定する領域のみに対してベクトル化を行うことにより、処理のパフォーマンスを向上し、かつ、ユーザが所望する部分のみを効率よくベクトル化して、次の検索処理に利用したり、もしくは、画像のうちの必要な部分だけを効果的に再編集したり再利用したりすることが可能になる。
[ファイルの検索(S307)]
図11はデータファイルの検索処理を示すフローチャートである。なお、BS処理の結果、図4に示す矩形ブロックに分離し、図5に示すブロック情報および入力ファイル情報を得て、ユーザから指示された領域のベクトル化情報を保持しているものとする。
図6に示すように、ブロック1〜6の六個の各セグメントについて、属性、座標、幅、高さ、ポイント情報の有無が記録され、属性は文字、画像、表、図形、テキスト、図形、写真に分類されている。また、入力ファイル情報のブロック総数は入力画像中の全セグメントの数を示す、ブロック総数N=6である。ブロック情報には、例えば、座標Xが小さい順にセグメントが配列され、座標Xが同一のセグメントは座標Yの小さい順に配列される。これらの情報を使用して、例えばデータベースサーバ105に登録されたデータファイルのブロック情報(またはブロック情報に類似する情報)を参照して、指定領域の画像に類似するデータファイルを検索する。
まず、初期設定を行い、後述する類似率を零に初期化し(S1101)、入力ファイル情報のブロック総数Nとの差が所定値以内(N-ΔN<n<N+ΔN)のブロック総数をもつデータファイルが存在するか否かを判定し(S1102)、条件を満たさなければ処理をステップS1114へ進める。
上記の条件に合致するデータファイルが存在する場合、そのデータファイルの矩形ブロック情報と入力画像の矩形ブロック情報を比較して、上位のセグメントから、属性の比較(S1103)、サイズの比較(S1105)、OCR情報の有無の比較(S1107)を行い、セグメントの、属性が一致すれば属性類似率を更新し(S1104)、サイズが一致すればサイズ類似率を更新し(S1106)、OCR情報が有ればOCR情報を比較して(S1108)、OCR類似率を更新する(S1109)。そして、入力画像の矩形ブロック情報に記録された全セグメントの比較が終了したか否かを判定し(S1110)、未了であれば処理をステップS1103へ戻し、次のセグメントの比較を行う。
なお、属性が一致しない場合は総ての類似率を更新せず、サイズが一致しない場合はサイズおよびOCR情報の類似率を更新せず、OCR情報がなければOCR情報類似率を更新せずに、処理をステップS1110へ進める。
全セグメントの比較が終了すると、属性類似率、サイズ類似率、OCR情報類似率に基き比較対象のデータファイルの総合類似率を算出し(S1111)、総合類似率が予め設定された閾値Thを超えるか否か判定し(S1112)、超える場合は、そのデータファイルを候補として記録する(S1113)。
次に、データベースサーバ105に登録された、総てのデータファイルとの比較が終了したか否かを判定し(S1114)、未了の場合は処理をステップS1101へ戻し、次のデータファイルの比較を行う。また、データファイルの比較が終了すると、ステップS308で、候補として記録したデータファイルを表示部116にリスト表示する。
また、属性類似率の更新は、例えば類似度+1/N(Nはブロック総数)にすることである。また、サイズの一致とは、サイズの差が所定範囲内W-ΔW<w<W+ΔW、かつ、H-ΔH<h<H+ΔHにあることであり、サイズ類似率の更新は、例えば、1 - (w - W)/W(Wは入力画像の当該セグメントのサイズ)を各セグメントのサイズ類似率とし、さらに、全セグメントのサイズ類似度の平均値を求めることである。また、OCR情報類似率の更新は、例えば、OCR情報の文字列を比較して、一致する文字の比率を求め、さらに、全セグメントのOCR情報類似率の平均値を求めることである。さらに、総合類似率の算出は、類似率を総和してもよいが、各類似率に所定の重みを与え、その総和をとってもよい。
また、セグメントのサイズ比較だけでなく、位置情報(座標X、Y)の比較を加えてもよい。
以上の処理において、ファイル検索(S307)に利用可能なベクトルデータとして、ユーザに指定された領域に対してステップS306で生成したベクトルデータ、OCRによる文字コード情報、縦書/横書といったレイアウト情報、図形認識による図形の個数や配置、フォント認識による文書中のフォント情報などがある。
このように、BS処理によって得られるレイアウト情報に加え、ユーザが着目(指定)する領域の詳細なベクトルデータを、ファイル検索における類似度の算出に利用するので、ファイル検索の時間短縮、精度向上が期待できる。また、ファイル検索において、指定領域のベクトルデータの重みを高め、ユーザが着目する部分を重視して類似度を求めることができるので、ユーザの希望に沿った検索結果を得ることができる。
[アプリケーションデータ形式への変換(S312)]
図12はベクトル化処理の結果を示す中間データの形式を示す図で、中間データはいわゆるドキュメントアナリシスアウトプットフォーマット(DAOF)と呼ばれる形式で保存される。
DAOFは、ヘッダ1601、レイアウト記述データ部1602、文字認識記述データ部1603、表記述データ部1604および画像記述データ部1605からなり、ヘッダ1601は処理対象の入力画像に関する情報を保持する。
レイアウト記述データ部1602は、入力画像中の矩形セグメントの属性を示すTEXT(文字)、TITLE(タイトル)、CAPTION(キャプション)、LINE(線画)、PICTURE(図形) 、FRAME(枠)、TABLE(表)、PHOTO(写真)などの情報と、それら矩形セグメントの位置情報を保持する。
文字認識記述データ部1603は、TEXT、TITLE、CAPTIONなどの文字属性の矩形セグメントのうち、ユーザにより指定された領域について、文字認識して得た文字認識結果を保持する。
表記述データ部1604は表属性の矩形セグメントの表構造の詳細を保持し、画像記述データ部1605は、図形属性や線画属性の矩形セグメントにおける、入力画像データから切り出した画像データを保持する。
ベクトル化した指定領域の画像記述データ部1605には、ベクトル化処理により得られたセグメントの内部構造や、画像の形状や文字コード等を表すデータの集合が保持される。一方、ベクトル化しない指定領域以外のセグメントに対しては、入力画像データそのものが保持される。
図13はアプリケーションデータ形式への変換処理を示すフローチャートである。
まず、DAOF形式のデータを入力し(S1701)、アプリケーションデータの基になる文書構造ツリーを生成し(S1702)、文書構造ツリーに基づき、DAOF内の実データを取得してアプリケーションデータを生成する(S1703)。
図14は文書構造ツリーの生成処理(S1703)の詳細を示すフローチャートである。なお、この処理における、全体制御の基本ルールとして、処理の流れはミクロブロック(単一矩形ブロック)からマクロブロック(矩形ブロックの集合体)へ移行する。以後「矩形ブロック」は、ミクロブロックおよびマクロブロック両者を意味するものとする。
まず、矩形ブロック単位に、縦方向の関連性に基づき矩形ブロックをグループ化する(S1801)。なお、図14に示す処理は繰り返し実行されることがあるが、処理開始直後はミクロブロック単位の判定になる。ここで、関連性とは、距離が近い、ブロック幅(横方向の場合は高さ)がほぼ同一である、などの特徴によって定義される。また、距離、幅、高さなどの情報はDAOFを参照する。
例えば、図15に示す入力画像の場合、その最上部で矩形ブロックT1、T2が横方向に並置されている。矩形ブロックT1、T2の下には横方向セパレータS1が存在し、横方向セパレータS1の下に矩形ブロックT3、T4、T5、T6、T7が存在する。矩形ブロックT3、T4、T5は、横方向セパレータS1の下側領域の左半部に、上から下に縦方向に配置され、矩形ブロックT6、T7は、横方向セパレータS1の下側領域の右半部に、上下に配置されている。
ステップS1801で、縦方向の関連性に基づくグルーピングを実行すると、矩形ブロックT3、T4、T5が一つのグループ(矩形ブロックV1)にまとめられ、矩形ブロックT6、T7が一つのグループ(矩形ブロックV2)にまとめられる。グループV1、V2は同一階層になる。
次に、縦方向のセパレータの有無をチェックする(S1802)。セパレータは、DAOF中で線画属性をもつオブジェクトであり、アプリケーションソフトウェア中では、明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域をセパレータを境界として左右に分割する。図15の例には、縦方向のセパレータは存在しない。
次に、縦方向のグループの高さの合計が、入力画像の高さに等しいか否かを判定する(S1803)。すなわち、縦方向(例えば上から下)に処理対象の領域を移動しながら、横方向のグルーピングを行えば、入力画像全体の処理が終了した場合は、グループの高さの合計が入力画像の高さになることを利用して、処理の終了を判断する。
グルーピングが未了の場合は、横方向の関連位に基づき矩形ブロックをグループ化する(S1804)。これによって、図15に示す矩形ブロックT1、T2が一つのグループ(矩形ブロックH1)にまとめられ、矩形ブロックV1、V2が一つのグループ(矩形ブロックH2)にまとめられる。グループH1、H2は同一階層になる。ここでも、処理開始直後はミクロブロック単位での判定になる。
次に、横方向のセパレータの有無をチェックする(S1805)。セパレータを検出すると、処理対象の階層において、入力画像の領域をセパレータを境界として上下に分割する。なお、図15には、横方向のセパレータS1が存在する。
次に、横方向のグループの幅の合計が、入力画像の幅に等しいか否かを判定する(S1806)。これによって横方向のグルーピングに関する終了を判定する。横方向のグループの幅の合計が入力画像の幅(ページ幅)になった場合は、文書構造ツリーの生成処理を終了する。横方向のグループの幅の合計がページ幅未満であれば、処理をステップS1801に戻し、もう一段上の階層で縦方向の関連性チェックから繰り返す。
図16は、図15に示す画像V0から得られる文書構造ツリーを示す図である。
画像V0は、最上位階層にグループH1、H2、セパレータS1を有し、グループH1には第二階層の矩形ブロックT1、T2が属する。また、グループH2には、第二階層のグループV1、V2が属し、グループV1には、第三階層の矩形ブロックT3、T4、T5が属し、グループV2には、第三階層の矩形ブロックT6、T7が属する。
図16に示すツリーに達した段階で、横方向のグループの幅の合計がページ幅になるので、処理を終了し、最後にページ全体を表す最上位階層のV0を文書構造ツリーに付加する。そして、文書構造ツリーが完成した後、その情報に基づきアプリケーションデータを生成する。
まず、グループH1が横方向に二つの矩形ブロックT1、T2を有するので2カラムとして、T1のDAOFを参照し、その内部情報(文字認識結果の文章、画像等)を一つ目のカラム(左カラム)に出力する。その後、二つ目のカラム(右カラム)に移動して、T2の内部情報を出力し、その儀、セパレータS1を出力する。
次に、グループH2に移り、グループH2は横方向に二個の矩形ブロックV1、V2を有するので2カラムとして、グループV1の矩形ブロックT3、T4、T5の順にその内部情報を一つ目のカラム(左カラム)出力し、その後、二つ目のカラム(右カラム)に移動して、V2の矩形ブロックT6、T7の順にその内部情報を出力する。
以上の処理により、アプリケーションデータ形式への変換処理が実行される。
なお、上記において、ベクトル化対象の領域の指定は、BS処理によって自動的に生成された矩形ブロックの一つまたは複数を、入力部113などによりユーザが指定する例を説明したが、これに限定されるわけではなく、例えば、原稿上の所望する領域をラインマーカなどの軌跡で囲むことにより、領域を指定してもよい。
[セキュリティ]
上述したように、改竄防止やセキュリティ保護の必要性から、文書全体またはセグメント(オブジェクト)に「セグメントのベクトル化は不可」といったセキュリティレベルを示す情報(以下「付加情報」と呼ぶ)が、例えばバーコード、二次元コード、電子透かし、地紋などによって埋め込まれている場合がある。このような原稿画像をベクトル化して再利用可能なアプリケーションデータにしようとすると、検索に利用可能なセグメントの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要する場合がある。
勿論、検索用にのみベクトル化を許可する設定も可能だが、検索時にネットワーク上にベクトル化情報が存在することになり、セキュリティを充分に保持した状態とは言えない。
なお、付加情報の付加する手法としては、電子ファイルの作成時に付加情報を付加するアプリケーションを利用する、文書を記録紙に記録する際にデバイスドライバによって付加する、などがある。また、付加情報によって、ベクトル化の可否、ベクトル化を許可するユーザのユーザ特定情報またはセキュリティレベルなど、つまりベクトル化の制限を指定する。
そこで、以下では、ベクトル化が制限されているセグメントがある場合に、当該セグメントのオブジェクトの一部をベクトル化して、検索に利用するセグメントの情報の不足を補う方法を説明する。
図17はベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャートで、図3に示すステップS306において、マネージメントPC 101が実行する処理である。
まず、ステップS305で切り出した指定領域の画像データに付加情報が含まれるか否かを判定し(S3601)、付加情報が含まれる場合は当該付加情報を抽出して解読し(S3602)、付加情報の解読結果とステップS300で取得したユーザ特定情報またはセキュリティレベルから、指定領域の画像データのベクトル化が可能か否かを判定する(S3603)。勿論、セグメントによっては操作者にかかわらずベクトル化不可の場合もあり得る。
付加情報がない、または、付加情報はあるがベクトル化が可能と判定した場合は、指定領域の画像データををベクトル化する(S3604)。一方、付加情報があり、ベクトル化が不可能と判定した場合は、指定領域の画像データの一部をベクトル化する(S3605)。
なお、図17に示す処理を指定領域それぞれについて実行することは言うまでもない。
図18および図19は画像データの一部をベクトル化する手法を説明する図である。
図4に示したように、ブロックセレクション処理(S302)により矩形ブロックごとにその属性が判別されるが、例えば、ベクトル化が不可の表属性のセグメント1801が存在する場合は、図18に示すように、表の枠組および一行目だけをベクトル化したベクトルデータ1802を生成する。また、ベクトル化が不可のテキスト属性のセグメント1901が存在する場合は、図19に示すように、一行分の文字列だけをベクトル化したベクトルデータ1902を生成する。また、ベクトル化が不可の図形属性や線画属性のセグメントが存在する場合は、セグメントの相対面積または絶対面積の一部(例えば左上の1/10の面積、右上の100×100ドット分など)をベクトル化する。
また、写真属性のセグメントについては、上述したように、ベクトル化はしない。しかし、写真属性のセグメントにベクトル化を制限する付加情報が付加されていて、かつ、指定領域の場合は、当該セグメントの一部(例えば中央の1/9の面積)の画像を検索用に利用すればよい。
また、ステップS310でデータファイルが特定されたと判定した後、ステップS311で当該データファイルを取得する際、付加情報が付加されたセグメントは、ベクトル化データの利用が禁止されているので、ビットマップ形式の画像データまたは空白データとして取得される。勿論、ステップS3603で当該セグメントのベクトル化が可能と判定された場合は、ステップS3604でベクトル化したデータを用いてステップS312でアプリケーションデータを作成することができる。
このように、原稿画像をベクトル化して再利用可能なアプリケーションデータにしようとする際、ベクトル化が制限されたセグメント(オブジェクト)がある場合、その制限に応じて当該セグメント(オブジェクト)全体または一部をベクトル化して、データファイルの検索に利用することができる。従って、セキュリティを保持しつつ、検索に利用可能なセグメントの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要するといった問題や、検索精度の低下を軽減することができる。
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
図20は、実施例2のベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャートで、図3に示すステップS306において、マネージメントPC 101が実行する処理である。
ステップS3601からS3605の各処理は図17に示した実施例1の処理と同じであるが、実施例2の場合は、ステップS3603において付加情報があり、指定領域の画像データのベクトル化が不可能と判定した場合は、付加情報の解析結果と、操作者のユーザ特定情報またはセキュリティレベルから検索時のベクトル化は可能か否かを判定し(S3606)、不可と判定した場合はベクトル化を行わず、一部可能と判定した場合は指定領域の画像データの一部を検索用にベクトル化し(S3605)、可能と判定した場合は検索用に指定領域の画像データ全体をベクトル化する(S3607)。この場合、検索用にのみベクトル化を許すわけで、ベクトル化されたベクトルデータを再利用可能にデータファイルに格納することは許されない。つまり、ベクトル化を検索目的のみに限定し、データファイルの作成やデータベースへの登録を前提とするベクトル化を禁止する。
このように、原稿画像をベクトル化して再利用可能なアプリケーションデータにしようとする際、ベクトル化が制限されたセグメント(オブジェクト)がある場合、その制限に応じて当該セグメント(オブジェクト)全体をベクトル化、あるいは、検索用にその一部または全体をベクトル化して、データファイルの検索に利用することができる。従って、実施例1よりも柔軟に、セキュリティを保持しつつ、検索に利用可能なセグメントの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要するといった問題や、検索精度の低下を軽減することができる。
[他の実施例]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
複合機を使用して情報の電子化を行う画像処理システムの構成例を示すブロック図、 MFPの構成例を示すブロック図、 図1に示す画像処理システムによる処理の概要を説明するフローチャート、 操作画面の表示例を示す図、 ブロックセレクションの結果の一例を示す図、 ベクトル化処理の詳細を示すフローチャート、 ベクトル化における角抽出処理を説明する図、 ベクトル化において輪郭線をまとめる処理を説明する図、 ベクトル化で生成したベクトルデータのグループ化処理を示すフローチャート、 図形要素の検出処理を示すフローチャート、 データファイルの検索処理を示すフローチャート、 ベクトル化処理の結果を示す中間データの形式を示す図、 アプリケーションデータ形式への変換処理を示すフローチャート、 文書構造ツリーの生成処理(S1703)の詳細を示すフローチャート、 入力画像の一例を示す図、 図15に示す画像から得られる文書構造ツリーを示す図、 ベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャート、 画像データの一部をベクトル化する手法を説明する図、 画像データの一部をベクトル化する手法を説明する図、 実施例2のベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャートである。

Claims (15)

  1. 原稿画像を読み取る読取手段と、
    前記読取手段によって読み取った画像を像域の属性に応じて分割する分割手段と、
    前記分割された像域のうち、画像をベクトル化する像域の指定を受け付ける受付手段と、
    前記指定された像域に含まれる付加情報を抽出する抽出手段と、
    前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御するベクトル化手段とを有することを特徴とする画像処理装置。
  2. 前記ベクトル化手段は、前記付加情報の有無または前記付加情報が示す制限に応じて、前記指定像域のベクトル化を制御することを特徴とする請求項1に記載された画像処理装置
  3. さらに、ユーザ認証を行う認証手段を有し、前記ベクトル化手段は、前記付加情報の有無、または、前記付加情報が示す制限および前記ユーザ認証の結果に基づき、前記指定像域のベクトル化を制御することを特徴とする請求項1に記載された画像処理装置。
  4. 前記ベクトル化手段は、前記付加情報の有無または前記付加情報が示す制限に応じて、前記指定像域の、前記検索用および前記生成用のベクトル化をそれぞれ制御することを特徴とする請求項1に記載された画像処理装置。
  5. さらに、ユーザ認証を行う認証手段を有し、前記ベクトル化手段は、前記付加情報の有無、または、前記付加情報が示す制限および前記ユーザ認証の結果に基づき、前記指定像域の、前記検索用および前記生成用のベクトル化をそれぞれ制御することを特徴とする請求項1に記載された画像処理装置。
  6. 前記ベクトル化手段は、前記指定像域の一部を、前記検索用のベクトルデータとしてベクトル化することを特徴とする請求項2から請求項5の何れかに記載された画像処理装置。
  7. さらに、前記検索処理を実行する検索手段を有し、前記検索手段は、前記ベクトル化手段から供給されるベクトルデータおよび前記分割された像域の情報に基づき記憶装置を検索することを特徴とする請求項1から請求項6の何れかに記載された画像処理装置。
  8. 前記記憶装置はネットワーク上に配置されていることを特徴とする請求項7に記載された画像処理装置。
  9. さらに、前記生成処理を実行する生成手段を有し、前記生成手段は、前記検索処理によって検出されるデータファイル、前記ベクトル化手段によって供給されるベクトルデータ、および、前記分割された像域の画像を利用して、前記再利用可能なデータを生成することを特徴とする請求項1から請求項8の何れかに記載された画像処理装置。
  10. 前記生成手段は、生成した再利用可能なデータを記憶装置に格納することを特徴とする請求項9に記載された画像処理装置。
  11. 原稿画像を読み取り、
    前記読み取った画像を像域の属性に応じて分割し、
    前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、
    前記指定された像域に含まれる付加情報を抽出し、
    前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御することを特徴とする画像処理方法。
  12. 原稿画像を読み取り、
    前記読み取った画像を像域の属性に応じて分割し、
    前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、
    前記原稿画像の付加情報を抽出し、
    前記付加情報に応じて、前記原稿画像に対応するベクトル化処理を検索用に限定することを特徴とする画像処理方法。
  13. 前記ベクトル化処理は、データベースの作成目的には禁止されることを特徴とする請求項12項記載の画像処理方法。
  14. 画像処理装置を制御して、請求項11から請求項13の何れかに記載された画像処理を実現することを特徴とするプログラム。
  15. 請求項14に記載されたプログラムが記録されたことを特徴とする記録媒体。
JP2005056213A 2005-03-01 2005-03-01 画像処理装置およびその制御方法 Expired - Fee Related JP4546291B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005056213A JP4546291B2 (ja) 2005-03-01 2005-03-01 画像処理装置およびその制御方法
US11/359,804 US7747108B2 (en) 2005-03-01 2006-02-22 Image processing apparatus and its method
EP06110473A EP1698988A1 (en) 2005-03-01 2006-02-28 Image processing apparatus and its method
CNB2006100583284A CN100474880C (zh) 2005-03-01 2006-03-01 图像处理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005056213A JP4546291B2 (ja) 2005-03-01 2005-03-01 画像処理装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2006243942A true JP2006243942A (ja) 2006-09-14
JP2006243942A5 JP2006243942A5 (ja) 2008-04-17
JP4546291B2 JP4546291B2 (ja) 2010-09-15

Family

ID=36579103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005056213A Expired - Fee Related JP4546291B2 (ja) 2005-03-01 2005-03-01 画像処理装置およびその制御方法

Country Status (4)

Country Link
US (1) US7747108B2 (ja)
EP (1) EP1698988A1 (ja)
JP (1) JP4546291B2 (ja)
CN (1) CN100474880C (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069933A (ja) * 2007-09-11 2009-04-02 Konica Minolta Business Technologies Inc 画像処理装置、画像処理方法および画像処理プログラム
JP2009122760A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 文書処理装置、文書処理方法及び文書処理プログラム
JP2010020642A (ja) * 2008-07-11 2010-01-28 Canon Inc 文書管理装置、文書管理方法、及びコンピュータプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4181892B2 (ja) * 2003-02-21 2008-11-19 キヤノン株式会社 画像処理方法
JP4921202B2 (ja) * 2006-03-15 2012-04-25 キヤノン株式会社 ジョブ履歴管理システム、その制御方法、プログラム及び記憶媒体
US9020811B2 (en) * 2006-10-13 2015-04-28 Syscom, Inc. Method and system for converting text files searchable text and for processing the searchable text
JP5149570B2 (ja) * 2006-10-16 2013-02-20 キヤノン株式会社 ファイル管理装置、ファイル管理装置の制御方法、及びプログラム
US8726178B2 (en) * 2006-11-10 2014-05-13 Ricoh Company, Ltd. Device, method, and computer program product for information retrieval
US8244036B2 (en) * 2007-01-24 2012-08-14 Bluebeam Software, Inc. Method for emphasizing differences in graphical appearance between an original document and a modified document with annotations
JP2009193187A (ja) * 2008-02-13 2009-08-27 Casio Comput Co Ltd 画像検索方法、画像検索システム、画像検索端末および検索用サーバー
JP2010282611A (ja) * 2009-05-07 2010-12-16 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP5733907B2 (ja) * 2010-04-07 2015-06-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
US9165080B2 (en) * 2010-12-22 2015-10-20 International Business Machines Corporation Systems and methods for creating scalable presence subscriptions in federated presence environments
JP2013246732A (ja) * 2012-05-28 2013-12-09 Toshiba Corp 手書き文書検索装置、方法及びプログラム
US9800780B2 (en) * 2013-05-16 2017-10-24 Sony Corporation Image processing device, image processing method, and program to capture an image using fisheye lens
CN104462068B (zh) * 2013-09-12 2017-11-07 北大方正集团有限公司 字符转换系统和字符转换方法
US20190251349A1 (en) * 2014-03-12 2019-08-15 Gary L. Duerksen System and method for object classification and sorting
US9224196B2 (en) * 2014-03-12 2015-12-29 ClearMark Systems, LLC System and method for authentication
JP2016189507A (ja) * 2015-03-30 2016-11-04 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10412259B2 (en) * 2015-09-30 2019-09-10 Kyocera Document Solutions Inc. Document reading apparatus and image forming apparatus
WO2018032253A1 (zh) * 2016-08-15 2018-02-22 马岩 图片大数据的安全搜索方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537748A (ja) * 1991-07-31 1993-02-12 Canon Inc 画像記憶装置
JPH11272869A (ja) * 1998-03-20 1999-10-08 Nippon Steel Corp ラスターデータ編集方法及びラスターデータ編集装置
JP2004164538A (ja) * 2002-09-19 2004-06-10 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体
JP2004326491A (ja) * 2003-04-25 2004-11-18 Canon Inc 画像処理方法
JP2004334340A (ja) * 2003-04-30 2004-11-25 Canon Inc 画像処理方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4777651A (en) 1984-06-25 1988-10-11 Tektronix, Inc. Method of pixel to vector conversion in an automatic picture coding system
US5109431A (en) 1988-09-22 1992-04-28 Hitachi, Ltd. Pattern discrimination method and apparatus using the same
US6272245B1 (en) 1998-01-23 2001-08-07 Seiko Epson Corporation Apparatus and method for pattern recognition
GB0120439D0 (en) * 2001-08-22 2001-10-17 Technologies Ltd H Trading card or playing card system
US7391917B2 (en) * 2003-02-13 2008-06-24 Canon Kabushiki Kaisha Image processing method
JP4181892B2 (ja) * 2003-02-21 2008-11-19 キヤノン株式会社 画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537748A (ja) * 1991-07-31 1993-02-12 Canon Inc 画像記憶装置
JPH11272869A (ja) * 1998-03-20 1999-10-08 Nippon Steel Corp ラスターデータ編集方法及びラスターデータ編集装置
JP2004164538A (ja) * 2002-09-19 2004-06-10 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体
JP2004326491A (ja) * 2003-04-25 2004-11-18 Canon Inc 画像処理方法
JP2004334340A (ja) * 2003-04-30 2004-11-25 Canon Inc 画像処理方法及び装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069933A (ja) * 2007-09-11 2009-04-02 Konica Minolta Business Technologies Inc 画像処理装置、画像処理方法および画像処理プログラム
JP2009122760A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 文書処理装置、文書処理方法及び文書処理プログラム
JP2010020642A (ja) * 2008-07-11 2010-01-28 Canon Inc 文書管理装置、文書管理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
CN100474880C (zh) 2009-04-01
JP4546291B2 (ja) 2010-09-15
US20060210162A1 (en) 2006-09-21
US7747108B2 (en) 2010-06-29
EP1698988A1 (en) 2006-09-06
CN1829273A (zh) 2006-09-06

Similar Documents

Publication Publication Date Title
JP4546291B2 (ja) 画像処理装置およびその制御方法
JP4681863B2 (ja) 画像処理装置、および、その制御方法
JP4557765B2 (ja) 画像処理装置およびその方法
JP4266784B2 (ja) 画像処理システム及び画像処理方法
JP4393161B2 (ja) 画像処理装置及び画像処理方法
US7681121B2 (en) Image processing apparatus, control method therefor, and program
JP4510535B2 (ja) 画像処理装置及びその制御方法、プログラム
JP4533187B2 (ja) 画像処理装置およびその制御方法
JP4502385B2 (ja) 画像処理装置およびその制御方法
JP4208780B2 (ja) 画像処理システム及び画像処理装置の制御方法並びにプログラム
JP2004265384A (ja) 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体
JP2004326491A (ja) 画像処理方法
JP3862694B2 (ja) 画像処理装置及びその制御方法、プログラム
JP4738857B2 (ja) 画像処理装置およびその方法
JP4338189B2 (ja) 画像処理システム及び画像処理方法
JP2008028716A (ja) 画像処理方法及び装置
JP2005149097A (ja) 画像処理システム及び画像処理方法
JP4323856B2 (ja) 画像処理方法
JP2005149210A (ja) 画像処理装置及びその制御方法、プログラム
JP2004334340A (ja) 画像処理方法及び装置
JP2007074140A (ja) 画像処理装置及びその制御方法、画像処理システム
JP2005174227A (ja) 画像処理装置及びその制御方法、プログラム
JP2009303149A (ja) 画像処理装置、画像処理方法及びコンピュータ制御プログラム
JP2005149098A (ja) 画像処理システム及び画像処理装置並びに画像処理方法
JP2005165674A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100625

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100701

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees