JP2008191703A - 記号化装置、データ検索装置、画像処理装置、データ検索システム、画像処理システム、記号化方法、データ検索方法、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】近傍に位置する要素との相関関係に応じた記号を付与する記号化装置、データ検索装置、画像処理装置、データ検索システム、画像処理システム、記号化方法、データ検索方法、画像処理方法、及びプログラムを提供する。
【解決手段】記号列データ生成部４０５は、数値列データの各要素を記号化するとき、記号化する注目要素と該注目要素近傍の要素との大小関係に基づいて記号を付与して記号列データを生成し、画像ファイル制御部４０３は、記号列データを登録情報としてデータと関連付けて記憶部４０４に記憶し、データを検索するとき、数値列データ抽出部４０１及び記号列データ生成部４０５は画像データから記号列データを生成し、画像検索部４０２は該記号列データを検索情報として記憶部４０４に記憶されているデータの中から同じ登録情報を有するデータを検索する。
【選択図】 図２

Description

本発明は、入力されたデータを記号化する記号化装置、及び記号化方法、該記号化装置によって記号化されたデータに基づいてデータを検索するデータ検索装置、画像処理装置、データ検索システム、画像処理システム、データ検索方法、画像処理方法、及びプログラムに関する。

データ検索装置においては、画像ファイル等のデータが入力されると、該データを記号化し、データと記号列されたデータとを関連付けて記憶させ、また、記憶されているデータを検索するときには、所望のデータのタイトルやキーワードを指定し、指定されたタイトルやキーワードを記号化し、記号化されたタイトルやキーワードを基にデータを検索し、出力していた。

例えば、特許文献１には、原稿から読み取った画像データを画像ファイルとして保存すると共に、保存してある画像ファイルの中から所望の画像ファイルを検索して出力する技術が開示されている。この特許文献１に開示されている技術は、画像データから文章領域内の文字矩形の幅と高さの比率を原稿の特徴として抽出し、その比率を予め設定されたしきい値を基にコード化し、各矩形にコードを書き込み、このときのコードを登録キー情報として画像ファイルと対応付けて管理し、画像ファイルの検索時に使用するものである。

また、画像データに含まれる文字領域の特徴として射影ヒストグラムを生成し、該射影ヒストグラムを正規化し、正規化した射影ヒストグラムの各位置の黒画素数に基づいて記号を付与し、このときの記号化された射影ヒストグラムを画像データと対応付けて管理し、画像データの検索時に使用する技術も開示されている。

特開平９−２７０９０２号公報

しかしながら、特許文献１に開示されている技術によれば、抽出された各矩形に対して個々に比率が算出され、算出された比率に基づいて矩形ごとにコードが付与されるため、同一内容の文章を読み取って抽出した矩形であっても、拡大や縮小により縦横の倍率が異なる文書に含まれる文字に対しては異なるコードが付与される。したがって、同一内容の文書を含む画像データであっても縦横の倍率が異なる場合は（図２７に示す）、当該画像データに付与されたコードを用いて、登録された画像データを検索することができなかった。

また、記号化された射影ヒストグラムを画像データと対応付けて管理する技術は、射影ヒストグラムの各位置に対応する黒画素数に基づいて記号を付与するため、該画像データを横方向へのみ拡大した場合、射影ヒストグラムの各位置に対応する黒画素数も変化し、同一内容の画像データであるにも係らず、付与される記号が変わってしまうという問題がある。

本発明は、上記に鑑みてなされたものであって、整数又は浮動小数を要素とするデータ列（以下、数値列データとする）の各要素に、その近傍に位置する要素との相関関係に応じた記号を付与して有限個の種類からなる記号を要素とするデータ列（以下、記号列データとする）を生成し、データを記号列データとを関連付けて管理することにより、例えば、相似する波形データを表す数値列データを同一の記号列データを付与することができる記号化装置、記号化方法、及びプログラムを提供することを目的とする。

また、本発明は、入力された数値列データの各要素に、その近傍に位置する要素との相関関係に応じた記号を付与することにより、例えば、記号が付与されて管理される画像データを、該画像データと横方向への倍率が異なる画像データに基づいて検索し、出力することができるデータ検索装置、画像処理装置、データ検索システム、画像処理システム、データ検索方法、画像処理方法、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１記載の発明は、数値列データを入力するデータ入力手段と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、を備えたことを特徴とする。

また、請求項２記載の発明は、数値列データを入力するデータ入力手段と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、前記記号列データを登録情報として前記数値列データと関連付けて記憶する記憶手段と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する検索手段と、を備えたことを特徴とする。

また、請求項３記載の発明は、画像データを入力する画像データ入力手段と、前記画像データから数値列データを抽出する数値列データ抽出手段と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、前記記号列データを登録情報として前記画像データと関連付けて記憶する記憶手段と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する検索手段と、を備えたことを特徴とする。

また、請求項４記載の発明は、請求項３記載の画像処理装置において、前記数値列データ抽出手段は、前記画像データが入力されたとき、該画像データから文章領域内の各文字矩形の幅と高さの比率を算出して前記数値列データを抽出することを特徴とする。

また、請求項５記載の発明は、請求項４記載の画像処理装置において、前記数値列データ抽出手段は、前記画像データから文字矩形を抽出し、隣接する該文字矩形を統合し、統合した文字矩形の幅と高さの比率を算出して前記数値列データを抽出することを特徴とする。

また、請求項６記載の発明は、請求項５記載の画像処理装置において、前記数値列データ抽出手段は、矩形の大きさが予め定められた範囲内の場合、その部分が文字矩形であると判断することを特徴とする。

また、請求項７記載の発明は、請求項６記載の画像処理装置において、前記数値列データ抽出手段は、前記画像データから行を抽出し、隣接する行を統合して文章領域と判断し、該文章領域内の各文字矩形の幅と高さの比率から前記数値列データを抽出することを特徴とする。

また、請求項８記載の発明は、請求項３記載の画像処理装置において、前記数値列データ抽出手段は、前記画像データが入力されたとき、該画像データの各領域の射影ヒストグラムを算出し、該射影ヒストグラムから前記数値列データを抽出することを特徴とする。

また、請求項９記載の発明は、請求項８記載の画像処理装置において、前記数値列データ抽出手段は、文章領域の射影ヒストグラムを算出するとき、文章領域内の行毎に射影ヒストグラムを算出することを特徴とする。

また、請求項１０記載の発明は、請求項３から９のいずれか１項記載の画像処理装置において、前記検索手段は、前記検索情報として利用する前記記号列データの右側又は左側から順にＮ要素ずつ取り出した複数の検索キーを取得し、該検索キーを多く含む前記登録情報を有する前記画像データを検索することを特徴とする。

また、請求項１１記載の発明は、数値列データを入力するデータ入力手段と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、を備えた情報処理装置と、前記記号列データを登録情報として前記数値列データと関連付けて記憶する記憶手段と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する検索手段と、を備えたサーバと、がネットワークで接続されたことを特徴とする。

また、請求項１２記載の発明は、画像データを入力する画像データ入力手段と、前記画像データから数値列データを抽出する数値列データ抽出手段と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、を備えた画像処理装置と、前記記号列データを登録情報として前記画像データと関連付けて記憶する記憶手段と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する検索手段と、と、を備えたサーバと、がネットワークで接続されたことを特徴とする。

また、請求項１３記載の発明は、数値列データを入力するデータ入力ステップと、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成ステップと、を有することを特徴とする。

また、請求項１４記載の発明は、数値列データを入力するデータ入力ステップと、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成ステップと、前記記号列データを登録情報として前記数値列データと関連付けて記憶する記憶ステップと、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する検索ステップと、を有することを特徴とする。

また、請求項１５記載の発明は、画像データを入力する画像データ入力ステップと、前記画像データから数値列データを抽出する数値列データ抽出ステップと、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成ステップと、前記記号列データを登録情報として前記画像データと関連付けて記憶する記憶ステップと、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する検索ステップと、を有することを特徴とする。

また、請求項１６記載の発明は、請求項１５記載の画像処理方法において、前記数値列データ抽出ステップは、前記画像データが入力されたとき、該画像データから文章領域内の各文字矩形の幅と高さの比率を算出して前記数値列データを抽出することを特徴とする。

また、請求項１７記載の発明は、請求項１５記載の画像処理方法において、前記数値列データ抽出ステップは、前記画像データが入力されたとき、該画像データの各領域の射影ヒストグラムを算出し、該射影ヒストグラムから前記数値列データを抽出することを特徴とする。

また、請求項１８記載の発明は、データ入力手段から数値列データを入力する機能と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する機能と、をコンピュータに実行させることを特徴とする。

また、請求項１９記載の発明は、データ入力手段から数値列データを入力する機能と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する機能と、前記記号列データを登録情報として前記数値列データと関連付けて記憶手段に記憶する機能と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する機能と、をコンピュータに実行させることを特徴とする。

また、請求項２０記載の発明は、画像データ入力手段から画像データを入力する機能と、前記画像データから数値列データを抽出する機能と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する機能と、前記記号列データを登録情報として前記画像データと関連付けて記憶手段に記憶する機能と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する機能と、をコンピュータに実行させることを特徴とする。

本発明によれば、抽出された各矩形に対して個々に比率が算出され、算出された比率から数値列データを生成し、数値列データを構成する各要素の近傍に位置する要素との大小関係に応じて各要素を記号化して記号列データを生成し、該記号列データを登録キー情報として登録または該記号列データを検索キー情報として画像ファイルの検索時に使用するため、数値列データを構成する各要素が近傍に位置する要素との大小関係を維持したままその値が変化しても、各要素の近傍に位置する要素との大小関係に基づいて記号化される上記の構成によれば、要素の値の変化に係らず同一の記号列データに変換されるため、例えば、株価チャートをその期間を変えて分析する際に、比較する期間における株価が異なる場合であっても、記号列データに変換して比較することにより、その傾向を把握することができるという効果を奏する。

また、本発明によれば、画像データに含まれる文字領域、図領域、表領域等、各領域について射影ヒストグラムを算出し、算出された射影ヒストグラムから数値列データを生成し、数値列データを構成する各要素の近傍に位置する要素との大小関係に応じて各要素を記号化して記号列データを生成し、該記号列データを登録キー情報として登録または該記号列データを検索キー情報として画像ファイルの検索時に使用するため、文字領域、図領域、表領域等の領域の種類に係らず、同一内容であれば縦横の倍率が異なる画像データに含まれる領域文書に対しても同様の記号列データを付与できるため、登録されている画像データと縦横の倍率が異なる画像データからでも、同一内容を有する画像データを検索することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる記号化装置を有する画像処理装置をデジタル複写機に適用した場合の例として、第１の実施の形態から順に、図面を参照して詳細に説明する。

＜第１の実施の形態＞
図１は、第１の実施の形態のデジタル複写機の構成を示す。第１の実施の形態のデジタル複写機は、大きく分けて上部の画像読取部１００と、その下に配置された画像形成部２００とで構成されている。

まず、デジタル複写機の基本的な構成および動作について説明する。イメージ・スキャナ１００は、最上位部に原稿を載置するコンタクトガラス（図示せず）が配置されており、その下方に光学走査系が設けられている。コンタクトガラスに載置された原稿は、光学走査系の露光ランプ１によって露光され、露光した際の反射光（すなわち、画像光）が光学走査系に備わった各種ミラーおよびレンズ２を通って受光部３に結像される。この受光部３にはカラーＣＣＤイメージセンサが設けられている。

また、光学走査系が機械的な駆動系（図示せず）によって図面の左右方向に駆動されるので、原稿面の各部を露光することによって得られる画像光は、走査方向１ライン毎に、順次、カラーＣＣＤイメージセンサにて画像データとして読み取られる。

カラーＣＣＤイメージセンサによって読み取られた画像データは、後述する処理によって出力画像に変換され、画像形成部２００の書き込み装置４から出力されるレーザ光を変調する。画像データによって変調されたレーザ光は、書き込み用の光学系を通って、感光体ドラム５の表面に結像される。このときの感光体ドラム５の表面は、あらかじめメインチャージャ６によって全面が均一に所定の高電位で帯電されており、画像光（レーザ光）の照射を受けると光強度に応じて電位が変化し、画像に対応する電位分布、すなわち、静電潜像が形成される。

感光体ドラム５に形成された静電潜像は、現像ユニット７を通過するときにトナーの吸着によって可視化され、トナー像が形成される。

一方、給紙カセット１２または１３のうち選択されたものから記録紙（図示せず）が繰り出され、その記録紙は感光体ドラム５上のトナー像の形成タイミングに同期して感光体ドラム５の表面に重なるように送り込まれる。続いて、感光体ドラム５上のトナー像は、転写チャージャ８の付勢により記録紙に転写される。さらに、トナー像が転写された記録紙は、分離チャージャ９の付勢によって感光体ドラム５から分離して定着ユニット１４によって転写したトナー像が定着され、その後、記録紙は複写機の外に排出される。

画像の転写および記録紙の分離が終了した後、感光体ドラム５の表面は、クリーニングユニット１０によってクリーニングされ、次の画像形成に備える。

次に、図２を参照して、第１の実施の形態のデジタル複写機のハードウェア構成について説明する。画像読取部１００において、カラーＣＣＤイメージセンサによって読み取られたビットマップ形式の原稿画像のアナログ信号（画像データ）は、Ａ／Ｄ変換器（図示せず）によってデジタル信号に変換された後、シェーディング補正部（図示せず）によって濃度レベルのばらつきに関する補正を受け、メモリユニット３００に画像が記憶される。

画像処理装置４００は、入力された画像データから数値列データを抽出する数値列データ抽出部４０１、数値列データを記号化して記号列データを生成する記号列データ生成部、記号列データを登録キー情報として画像データとを関連付けて記憶する記憶部４０４、記号列データを検索キー情報として該記号列データと関連付けて登録されている画像データを記憶部４０４から検索する画像検索部４０２、及び画像処理装置全体の動作を制御する画像ファイル制御部４０３を備える。

メモリユニット３００上に作成された出力画像の各画素は、白／黒に対応する二値情報の形で画像形成部２００に印加される。

利用者からの指示は、デジタル複写機の上面に配置された操作部３１０からのキー入力によって実施される。メイン制御部３２０は、操作部３１０上の各種表示を制御するとともに、操作部３１０からのキー入力に基づいて、装置の各部を制御してコピー動作および画像ファイルの登録・検索等を実施する。

本実施の形態のデジタル複写機（画像ファイリング装置）は、画像ファイルの登録の際に、読み取った画像データから文章領域内の文字矩形の幅と高さの比率を原稿の特徴として抽出して記憶し、画像ファイルの検索の際に、読み取った画像データの原稿の特徴を抽出して検索情報として、該検索情報と一致する原稿の特徴を有する画像ファイルを、あらかじめ登録した画像ファイルの中から検索できるようにしたものである。

以上の構成において、（１）画像ファイルの登録処理、（２）画像ファイルの検索処理、（３）画像変換処理の具体的な動作の順で、その動作を説明する。

（１）画像ファイルの登録処理
図３は、本実施の形態の画像ファイルの登録処理のフローチャートを示し、まず、操作部３１０を介して原稿を読み取って画像ファイルとして登録する画像登録モードが指定されると、メイン制御部３２０は、画像読取部１００で原稿の画像（画像データ）を読み取り、メモリユニット３００に入力画像として記憶させる（ステップＳ３０１）。一方、画像ファイル制御部４０３はメイン制御部３２０から画像登録モードの通知を受け、数値列データ抽出部４０１でメモリユニット３００中の入力画像（画像データ）から数値列データを抽出し（ステップＳ３０２）、続いて、記号列データ生成部４０５で抽出した数値列データから登録キー情報を生成し（ステップＳ３０３）、続いて、生成した登録キー情報とメモリユニット３００の入力画像とを対応させて画像ファイル生成し、記憶部４０４に登録し（ステップＳ３０４）、処理を終了する。

（２）画像ファイルの検索処理
図４は、本実施の形態の画像ファイルの検索処理のフローチャートを示し、まず、操作部３１０を介して登録されている画像ファイルを検索する画像検索モードが指定されると、画像読取部１００で原稿の画像を読み取り、メモリユニット３００に入力画像として記憶させる（ステップＳ４１１）。次に、画像ファイル制御部４０３はメイン制御部３２０から画像登録モードの通知を受け、数値列データ抽出部４０１でメモリユニット３００中の入力画像（画像データ）から数値列データを抽出し（ステップＳ４１２）、続いて、記号列データ生成部４０５で抽出した数値列データから検索キー情報を生成する（ステップＳ４１３）。画像検索部４０２は、生成された検索キー情報と一致する登録キー情報を有する画像ファイルを記憶部４０４から検索する（ステップＳ４１４）。画像ファイル制御部４０３が該当する画像ファイルを出力画像としてメモリユニット３００に送出すると、メモリユニット３００を介して画像形成部２００に画像ファイルが送られ、記録紙に出力される（ステップＳ４１５）。

ここで、図４のステップＳ４１４において検索キー情報と一致する登録キー情報と関連付けて記憶される画像ファイルを記憶部４０４から検索する動作について具体的に説明する。なお、本実施の形態では、N-gram法を用いて２つの文字列間の類似性を判断する方法について説明する。

例えば、図４のステップＳ４１３において、検索キー情報として「ＤＣＡＡＢＣ」が生成されると、左端から順に２要素ずつ取り出して、「ＤＣ」、「ＣＡ」、「ＡＡ」、「ＡＢ」、及び「ＢＣ」の５つの検索キーが生成される。次に、記憶部４０４に画像ファイルとともに記憶されている登録キー情報を呼び出し、上記５つの検索キーの出現回数をカウントする。このカウント値が高いほど、検索キー情報と登録キー情報は類似していると考えられるため、このカウント値が大きい登録キー情報と関連付けて記憶される画像ファイルを検索結果として出力する。

上記においては、記憶部４０４に記憶されている登録キー情報を順に取り出して、生成された検索キーの出現回数をカウントする構成としているが、数値列データの記号化に用いる記号から生成され得る順列の各登録キー情報における出現回数を予めカウントして記憶部４０４に記憶させておき、データ検索時の処理時間を短縮することも可能である。

（３）画像変換処理の具体的な動作
図５は、本実施の形態の画像変換処理のフローチャートである。まず、数値列データ抽出部４０１は、メモリユニット３３０から入力画像を入力し、入力画像（画像データ）中の、文書領域、写真領域、表領域などの領域抽出を行う（ステップＳ５０１）。次に、抽出した領域の位置、大きさ、種類などの属性抽出を行う（ステップＳ５０２）。

本実施の形態では、このようにして抽出した領域および属性を登録キー情報および検索キー情報として使用する。

図６は図５のステップＳ５０１の領域抽出処理のフローチャートを示す。また、図７〜図９は領域抽出処理の処理例を示す説明図である。まず、数値列データ抽出部４０１は，メモリユニット３００から入力画像（画像データ）を入力し、画像データ中の繋がっている黒画像を包含する最小の長方形（以下、矩形と記す）を抽出する（ステップＳ６０１）。例えば、入力画像が図７（ａ）に示すような画像である場合、抽出した矩形は図７（ｂ）のようになる。

次に、数値列データ抽出部４０１は、隣接する矩形を統合し、より大きな矩形を算出する（ステップＳ６０２）。ここで、矩形の大きさが、あらかじめ定められた範囲内の場合、その部分が文字であるか否かを判断し（ステップＳ６０３）、文字でないと判断した場合、ステップＳ２２０６に進み、文字であると判断した場合、前記の矩形の統合により、文字行を抽出する（ステップＳ６０４）。このときの行を抽出した結果を、図８（ａ）に示す。

さらに、隣接する行が、あらかじめ定められた範囲内にある場合、数値列データ抽出部４０１は、これらの隣接する行を統合し（ステップＳ６０５）、文字領域を抽出する（ステップＳ６０６）。この時の文字領域を抽出した結果を図８（ｂ）に示す。また、図８（ａ）、（ｂ）の網点部分は、文字以外の領域を示している。この領域の判定は、矩形のサイズや行抽出できなかった領域を判定することにより可能としている。

最後に、数値列データ抽出部４０１は、抽出した各領域の読み順を判定する（ステップＳ６０７）。これは、行方向が横（横書き）の場合には上から下、左から右に、行方向が縦（縦書き）の場合には上から下、右から左に領域を追っていくことにより可能である。この結果を図９に示す。

次に、図１０を参照して、図５のステップＳ５０２の画像属性抽出について説明する。図１０は、画像属性抽出処理のフローチャートである。まず、原稿画像の領域抽出の結果を、領域データ、領域種類の読み順にしたがって読み込む（ステップＳ１００１〜Ｓ１００２）。なお、ステップＳ１００１〜Ｓ１００２で得た原稿画像の領域抽出の結果の例を図１１に示す。図１１は、読み順毎の領域判定結果の例を示す図である。

次に、記号列データ生成部４０５は、ステップＳ１００２で読み込んだ領域種類が文字領域であるか否かを判断し（ステップＳ１００３）、文字領域でないと判断した場合、ステップＳ１００１に戻る。

一方、ステップＳ１００３において、文字領域と判断した場合、判断した領域の文字の数値列データを抽出し（ステップＳ１００４：図１２参照）、ステップＳ１００１〜Ｓ１００４が全ての領域について実施されると（ステップＳ１００５）、各領域の数値列データから登録キー情報（または検索キー情報）を作成し（ステップＳ１００６）、処理を終了する。この原稿画像の登録キー情報（または検索キー情報）を登録や検索に使用する。

次に、図１２および図１３を参照して、図１０のステップＳ１００６で示した各領域の文字から登録キー情報（または検索キー情報）を生成する処理について具体的に説明する。

このときの原稿画像の文字から登録キー情報（または検索キー情報）を生成する処理について、図１３を参照して説明する。図１３は、数値列データ生成部４０１及び記号列データ生成部４０５の登録キー情報（または検索キー情報）を生成する処理を示したフローチャートである。

まず、数値列データ生成部４０１は、図１２（ｂ）に示すような文字の行内の矩形数を領域抽出時の結果より読み込み（ステップＳ１３０１）、この矩形の幅、高さを読み込む（Ｓ１３０２）。

続いて、読み込んだ１つの矩形の幅と高さとの比率（本実施の形態では、幅／高さを比率として説明する）を計算する（ステップＳ１３０３）。次に、数値列データ生成部４０１は、ステップＳ１３０１〜Ｓ１３０３を全矩形に対して行う（ステップＳ１３０４）。

このとき、隣接する文字の矩形が、あらかじめ設定された距離以内にある（すなわち、距離が近い）か否かを判断し（ステップＳ１３０５）、距離が近い場合、それらを統合した後に比率を計算する（ステップＳ１３０６）。続いて、記号列データ生成部４０５は、１行分の比率からなる数値列データを記号化する（ステップＳ１３０７）。

なお、図１２（ｃ）は、隣接する文字矩形があらかじめ設定された距離以内にある場合、それらを統合した後、比率を計算している。この場合、文字矩形長は長くなるが、矩形数が少なくなるので、英語部分の多い場合はデータ量が少なくなる。以上を１領域内の全ての行に渡って処理し、記号を書き込む。図１５に記号化されたデータ（記号列データ）の例を示す。なお、図１５は、図１２（ｃ）に示す１行目の左から８個目までの矩形の比率を記号化したが、実際は全ての矩形の比率を記号化する。

続いて、数値列データ生成部４０１及び記号列データ生成部４０５は、ステップＳ１３０１〜Ｓ１３０７を全行に対して行い（Ｓ１３０８）、１領域分の数値列データの記号化を行って記号列データを生成し（Ｓ１３０９）、処理を終了する。なお、このときの記号列データを登録キー情報として登録し、画像ファイルの検索時に使用する。

次に、図１４及び図１５を参照して、図１３のステップＳ１３０７で示した１行分の数値列データを記号化する処理について具体的に説明する。図１４は、記号列データ生成部４０５により数値列データを記号化する処理を示したフローチャートである。

図１３のステップＳ１３０６において１行分の全矩形の比率が算出され、算出された比率からなる数値列データが生成されると、記号列データ生成部４０５は、図１６に示す変換表に基づいて数値列データを構成する各要素について左端から順に記号化する。ここでは、図１５（ａ）に示す各行の矩形について、図１５（ｂ）に示す数値列データがステップＳ１３０６において算出されたものとする。

まず、数値列データから記号化する要素（以下、注目要素とする）、及び該要素の右側に隣接する２要素を抽出する（ステップＳ１４０１）。なお、数値列データの右端の要素には右側に隣接する要素がないため、右端の要素に隣接する２要素として、無限大の要素が抽出されたものとする。ここでは、隣接する要素が存在しない場合には無限大の要素が抽出されたものとしたが、無限小、ゼロ等の予め定められた値であってもよい。

注目要素、及び注目要素の右側に隣接する２要素が抽出されると、図１６に示す変換表にしたがって注目要素と隣接する２要素との大小関係を比較する（ステップＳ１４０２）。続いて、注目要素と隣接する２要素との大小関係を図１６に示す変換表と対応させて、注目要素に記号が割り当てられる（ステップＳ１４０３）。

なお、本実施の形態では、注目要素の右側に隣接する要素を抽出して注目要素との大小関係を比較したが、注目要素の左側に隣接する要素又は左右に隣接する要素を抽出して注目要素との大小関係を比較してもよい。また、抽出する要素の数Ｎを増やし、２のＮ乗個の種類の記号を割り当てる変換表を用いて各要素を記号化してもよい。さらに、注目要素との大小関係の比較結果Ｘを「より大きい」、「同じ」、及び「より小さい」の３つにし、Ｘの３乗個の種類の記号を割り当てる変換表を用いて各要素を記号化してもよい。

例えば、図１５（ｂ）に示す数値列データの左端の要素（０．９）を記号化するときは、該要素の右側に隣接する０．８（以下、第１要素とする）及び０．８（以下、第２要素とする）が抽出され、注目要素（０．９）と、第１要素（０．８）及び第２要素（０．８）との大小関係を比較する。注目要素（０．９）は、第１要素（０．８）未満であり、かつ第２要素（０．８）未満であるため、図１６に示す変換表に基づいて注目要素（０．９）には記号Ｄが割り当てられる。

続いて、記号列データ生成部４０５は、ステップＳ１４０１〜Ｓ１４０３を全要素に対して行い（Ｓ１４０４）、全要素を記号化して生成された図１５（ｃ）に示す記号列データを出力する（ステップＳ１４０５）。

上記の構成によれば、抽出された各矩形に対して個々に比率が算出され、算出された比率から数値列データを生成し、数値列データを構成する各要素の近傍に位置する要素との大小関係に応じて各要素を記号化して記号列データを生成し、該記号列データを登録キー情報として登録または該記号列データを検索キー情報として画像ファイルの検索時に使用することにより、例えば、同一内容であるが、縦横の倍率が異なる文書に対しても同様の記号列データを付与することができるため、登録されている画像データと縦横の倍率が異なる画像データからでも、同一内容を有する画像データを検索することができる。

なお、上記構成においては、デジタル複写機に画像データを入力し、該画像データから数値列データを抽出し、該数値列データに基づいて記号列データを生成しているが、これに限定されるものではない。例えば、株価チャートやプラントの管理データ等、既に数値化されているデータを記号化する場合は、数値列データを情報処理装置などの記号化装置に入力して記号化してもよい。つまり、本実施の形態によれば、数値列データを構成する各要素が近傍に位置する要素との大小関係を維持したままその値が変化しても、各要素の近傍に位置する要素との大小関係に基づいて記号化され、要素の値の変化に係らず同一の記号列データに変換されるため、例えば、株価チャートをその期間を変えて分析する際に、比較する期間における株価が異なる場合であっても、記号列データに変換して比較することにより、その傾向を把握することができる。

＜第２の実施の形態＞
第２の実施の形態のデジタル複写機は、第１の実施の形態のデジタル複写機と同様の構成において、画像ファイルの登録の際に、読み取った画像データの文書領域、写真領域、表領域などの射影ヒストグラムから数値列データを抽出し、該数値列データを記号化し、画像データと記号列データからなる画像ファイルを登録し、画像ファイルの検索の際に、読み取った画像データについて同様に生成した記号列データを基に検索を実行することにより、画像データの縦横の倍率に係らず同一内容の文書領域、写真領域、表領域などを有する画像データを検索するものである。

なお、（１）画像ファイルの登録処理、（２）画像ファイルの検索処理、及び（３）画像変換処理の具体的な動作の図５〜９に示す処理は、第１の実施の形態と同様であるため、説明を省略する。以下、（３）画像変換処理の具体的な動作について、第１の実施の形態と異なる特徴について説明する。

（３）画像変換処理の具体的な動作
次に、図１７を参照して、図５のステップＳ５０２の画像属性抽出について説明する。図１０は、画像属性抽出処理のフローチャートである。まず、原稿画像の領域抽出の結果を、領域データ、領域種類の読み順にしたがって読み込む（ステップＳ１７０１〜Ｓ１７０２）。なお、ステップＳ１７０１〜Ｓ１７０２で得た原稿画像の領域抽出の結果の例を図１１に示す。図１１は、読み順毎の領域判定結果の例を示す図である。

次に、数値列データ生成部４０１は、各領域の射影ヒストグラムを算出し、該射影ヒストグラムから数値列データを抽出する。（ステップＳ１７０３）。例えば、図１８（ａ）に示すデータ形式の画像データが入力された場合、各セルは２値画像のピクセルに対応し、０のセルが白画素、１のセルが黒画素を示している。数値列データ生成部４０１は、入力された画像データの黒画素の総数を縦方向又は横方向にカウントし、そのカウント値により数値列データを抽出する。図１８（ａ）に示す画像データの黒画素を縦方向にカウントした場合、以下の数値列データが抽出される。左から１番目の列：１、左から２番目の列：３、左から３番目の列：４、左から４番目の列：２、左から５番目の列：１がカウント値として計数され、それを左から順に並べて、図１８（ｂ）に示す数値列データ：１３４２１を抽出した。

なお、上記説明においては、黒画素をカウントして数値列データを抽出したが、白画素をカウントして数値列データとすることもできる。また、図１９に示すように、黒画素または白画素をカウントする方向は、横方向にカウントしてもよい。さらに、縦方向および横方向の両方にカウントし、１つの画像データから２つの数値列データを抽出してもよい。

図２０に示すように、射影ヒストグラムは、原画像において、行方向と垂直方向に黒画素を計数したものであり、文字の形状が異なると射影ヒストグラムの波形も異なる。つまり、文字画像の特徴として射影ヒストグラムが利用可能であるといえる。文字画像としては、文字間の分割を前提としていないので、手書き文字、筆記体、アラビア文字など、一行に並ぶ言語であれば、言語種類を問わず射影ヒストグラムは作成可能である。

なお、射影ヒスグラムの値は黒画素数であるから、読取条件、ノイズ、かすれ等の影響により１画素単位で変化する。したがって、射影ヒストグラムの正確な値を用いて波形を照合することに意味はなく、およその値を利用してその波形を表現しても、文字画像などの特徴を表現することができる。そこで、本実施の形態においては、射影ヒスグラムの値を量子化し、量子化された射影ヒストグラムから数値列データを抽出した。射影ヒストグラムを量子化する処理については後述する。

数値列データ抽出部４０１は、ステップＳ１７０１〜Ｓ１７０３を全ての領域について実施し（ステップＳ１７０４）、記号列データ生成部４０５は各領域の数値列データから登録キー情報（または検索キー情報）を作成し（ステップＳ１７０５）、処理を終了する。この原稿画像の登録キー情報（または検索キー情報）を登録や検索に使用する。

次に、図１７のステップＳ１７０３において射影ヒストグラムから数値列データを抽出する処理について具体的に説明する。先に述べたように、射影ヒスグラムの値を量子化し、量子化された射影ヒストグラムから数値列データを抽出する。

先に述べたように、射影ヒストグラムは黒画素数を集計したものであり、同じ原稿を読んでも読取条件が異なれば容易に変化するので、その正確な値を直接利用することに意味はない。波形の概形に基づいて判断するにあたっては、小さな変動は無視し、全体の大まかな形状で判断するために、小変動を平滑化して誤差を吸収する。

１次元の時系列波形の平滑化手段としては移動平均をとる方法がある。時系列の値（射影ヒストグラムでは黒画素数）をＡ０、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５．．．とした場合、移動平均幅が注目点の前後２点を対象とした５点であれば、以下のように計算される。
注目点Ａ２：（Ａ０＋Ａ１＋Ａ２＋Ａ３＋Ａ４）／５＝移動平均値Ｍ２
注目点Ａ３：（Ａ１＋Ａ２＋Ａ３＋Ａ４＋Ａ５）／５＝移動平均値Ｍ３
注目点Ａ４：（Ａ２＋Ａ３＋Ａ４＋Ａ５＋Ａ６）／５＝移動平均値Ｍ４
以下、同様。

図２１は、射影ヒストグラムを移動平均幅５点で平滑化した例である。原画像の射影ヒストグラムの波形の概形を維持しながら、平滑化されていることがわかる。さらに、この平滑化された波形の値を固定段階に量子化して数値列データを抽出する（図２２に示す）。図２２において水平方向の座標ｉの位置の射影ヒストグラムの値をｙｉとする。ｙｉに関して、例えば、以下の基準に基づいて量子化すると、ｙｉは５段階に変換される。
０≦ｙｉ＜１０・・・・第０段階
１０≦ｙｉ＜２０・・・第１段階
２０≦ｙｉ＜３０・・・第２段階
３０≦ｙｉ＜４０・・・第３段階
４０≦ｙｉ・・・・・・第４段階

図２２において、左側の軸が量子化前の値であり、右側の軸が量子化後の値である。量子化後の波形が原波形の外形を表現していることがわかる。

図２３は、移動平均幅の異なる平滑化を実施した波形と原波形である。移動平均幅が広くなるほど、小変動が平滑化されていることがわかる。平滑化されるほど、読取条件の違いによる黒画素数変動に影響を受けにくくなるが、原波形の特徴が消えていく傾向にある。原波形の特徴が消えるということは、類似しているものと類似していないものとを弁別する特徴が弱くなり、画像照合においては精度が低下する。移動平均幅は、原波形の複雑さ、および弁別対象集合の複雑さ（本質的に似ている画像がどれだけ含有されているか）に応じて決められるべきであり、予め固定値に設定しておくことができない。よって、移動平均幅を検索対象に応じて変更可能であるようにしておき、利用者が調整可能とする。

次に、平滑化された射影ヒストグラムを標本化して数値列データを構成する要素数を減じる処理について図２４を用いて説明する。

射影ヒストグラムから抽出される数値列データが長く、該数値列データに基づいて生成される記号列データも長いと、画像データを検索する際に記号列データからなる登録キー情報と検索キー情報との照合処理に時間がかかる。

そこで、射影ヒストグラムの水平方向について標本化処理をして数値列データを抽出することにより、該数値列データから生成される記号列データ長も短くすることができる。図２４（ａ）は射影ヒストグラムを移動平均幅９点で平滑化した図であり、図２４（ｂ）は移動平均幅９点で平滑化した射影ヒストグラムの波形を１／５に標本化した図である。標本化処理は、射影ヒストグラムの水平方向について予め定められた間隔（以下、標本間隔とする）ごとに代表値を１点だけ求める。例えば、標本間隔の範囲のうち１点をランダムに選択してもよいし、標本間隔の中央に相当する値を選択してもよい。図２４に示すように、標本化処理を施した後の波形に原波形の特徴が維持されていることがわかる。しかし、標本間隔を適切に設定しないと、原波形の特徴が失われてしまう場合があるため、標本間隔は利用者により調整可能とする。

次に、図２５を参照して、図１７のステップＳ１７０５で示した各領域の文字から登録キー情報（または検索キー情報）を生成する処理について具体的に説明する。

画像データの各領域から抽出した数値列データから登録キー情報（または検索キー情報）を生成する処理について、図２５を参照して説明する。図２５は、記号列データ生成部４０５の登録キー情報（または検索キー情報）を生成する処理を示したフローチャートである。

まず、記号列データ生成部４０５は、図１７のステップＳ１７０２で読み込まれた領域種類に基づいて記号化する領域が文字領域であるか否かを判断し（ステップＳ２５０１）、文字領域である場合、該領域の１行分の数値列データを読み込む（ステップＳ２５０２）。

続いて、読み込んだ数値列データを記号化する（ステップＳ２５０３）。次に、記号列データ生成部４０５は、ステップＳ２５０２及びステップＳ２５０３を全行に対して行う（ステップＳ２５０４）。

一方、記号化する領域が文字領域でない場合、該領域の数値列データを読み込み（ステップＳ２５０６）、読み込んだ数値列データを記号化して記号列データを生成する（ステップＳ２５０７）。なお、図１８（ｃ）は、図１８（ｂ）に示す数値列データを記号化して生成した記号列データである。

１領域分の記号化が終了すると、処理を終了する。なお、このときの記号列データを登録キー情報として登録し、画像ファイルの検索時に使用する。

なお、数値列データを記号化する処理は、第１の実施の形態において図１４〜図１６を用いて説明した処理と同様であるため、ここでは説明を省略する。

上記の構成によれば、画像データに含まれる文字領域、図領域、表領域等、各領域について射影ヒストグラムを算出し、算出された射影ヒストグラムから数値列データを生成し、数値列データを構成する各要素の近傍に位置する要素との大小関係に応じて各要素を記号化して記号列データを生成し、該記号列データを登録キー情報として登録または該記号列データを検索キー情報として画像ファイルの検索時に使用することにより、例えば、文字領域、図領域、表領域等の領域の種類に係らず、同一内容であれば縦横の倍率が異なる画像データに含まれる領域文書に対しても同様の記号列データを付与できるため、登録されている画像データと縦横の倍率が異なる画像データからでも、同一内容を有する画像データを検索することができる。

＜第３の実施の形態＞
第１及び第２の実施の形態では、画像処理装置４００のすべての構成を１つのデジタル複写機内に実装する構成としたが、図２５に示すように、ネットワークにより接続されているサーバに画像検索部４０２及び記憶部４０４を設置し、クライアントが操作するデジタル複写機等に数値列データ抽出部４０１、画像ファイル制御部４０３、及び記号列データ生成部４０５を設置して、ネットワークを介して画像ファイルの検索をサーバに対して要求する構成としてもよい。なお、各部の構成及び動作については、上述の実施の形態と同様である。

第１から第３の実施の形態のデジタル複写機は、上述した各部（数値列データ抽出部４０１、画像検索部４０２、記憶部４０４、画像ファイル制御部４０３、記号列データ抽出部４０５）を含むモジュール構成となっている。各モジュールは、ＣＰＵ（プロセッサ）がＲＯＭ等に予め組み込まれて提供されるプログラムを読み出して実行することにより主記憶装置上に生成されるようになっている。

また、上述した実施の形態のデジタル複写機で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上述した実施の形態のデジタル複写機で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態のデジタル複写機で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

第１の実施の形態のデジタル複写機の構成を示す説明図である。 第１の実施の形態のデジタル複写機のハードウェア構成の図である。 第１の実施の形態の画像ファイルの登録処理のフローチャートである。 第１の実施の形態の画像ファイルの検索処理のフローチャートである。 第１の実施の形態の画像変換処理のフローチャートである。 第１の実施の形態の領域抽出処理のフローチャートである。 領域抽出の処理例を示した説明図である。 領域抽出の処理例を示した説明図である。 領域抽出の処理例を示した説明図である。 図５のステップＳ５０２の画像属性抽出のフローチャートである。 第１の実施の形態の読み順毎の領域判定結果の例を示す説明図である。 第１の実施の形態の画像変換処理の例を示した説明図である。 第１の実施の形態の画像変換処理の例を示したフローチャートである。 記号列データを生成する処理の例を示したフローチャートである。 記号列データを生成する処理例を示した説明図である。 注目要素に記号を付与する際の変換表である。 第２の実施の形態の領域抽出処理のフローチャートである。 第２の実施の形態の画像変換処理の例を示した説明図である。 横方向及び縦方向からカウントした射影ヒストグラムの例を示す説明図である。 原画像と射影ヒストグラムを示した説明図である。 移動平均を用いて平滑化した射影ヒストグラムの例を示す説明図である。 量子化した射影ヒストグラムの例を示す説明図である。 移動平均幅を変えて平滑化した射影ヒストグラムの例を示す説明図である。 標本化した射影ヒストグラムの例を示す説明図である。 第２の実施の形態の画像変換処理の例を示したフローチャートである。 第３の実施の形態のデータ検索システムのハードウェア構成の図である。 縦横の比率が異なる倍率で拡大された場合の射影ヒストグラムの例を示す説明図である。

符号の説明

１００ 画像読取部
２００ 画像形成部
３００ メモリユニット
３１０ 操作部
３２０ メイン制御部
４００ 画像検索装置
４０１ 画像変換部
４０２ 画像検索部
４０３ 画像ファイル制御部
４０４ 記憶部

Claims (20)

1. 数値列データを入力するデータ入力手段と、
   前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、
   を備えたことを特徴とする記号化装置。
2. 数値列データを入力するデータ入力手段と、
   前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、
   前記記号列データを登録情報として前記数値列データと関連付けて記憶する記憶手段と、
   前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する検索手段と、
   を備えたことを特徴とするデータ検索装置。
3. 画像データを入力する画像データ入力手段と、
   前記画像データから数値列データを抽出する数値列データ抽出手段と、
   前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、
   前記記号列データを登録情報として前記画像データと関連付けて記憶する記憶手段と、
   前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する検索手段と、
   を備えたことを特徴とする画像処理装置。
4. 前記数値列データ抽出手段は、前記画像データが入力されたとき、該画像データから文章領域内の各文字矩形の幅と高さの比率を算出して前記数値列データを抽出することを特徴とする請求項３記載の画像処理装置。
5. 前記数値列データ抽出手段は、前記画像データから文字矩形を抽出し、隣接する該文字矩形を統合し、統合した文字矩形の幅と高さの比率を算出して前記数値列データを抽出することを特徴とする請求項４記載の画像処理装置。
6. 前記数値列データ抽出手段は、矩形の大きさが予め定められた範囲内の場合、その部分が文字矩形であると判断することを特徴とする請求項５記載の画像処理装置。
7. 前記数値列データ抽出手段は、前記画像データから行を抽出し、隣接する行を統合して文章領域と判断し、該文章領域内の各文字矩形の幅と高さの比率から前記数値列データを抽出することを特徴とする請求項６記載の画像処理装置。
8. 前記数値列データ抽出手段は、前記画像データが入力されたとき、該画像データの各領域の射影ヒストグラムを算出し、該射影ヒストグラムから前記数値列データを抽出することを特徴とする請求項３記載の画像処理装置。
9. 前記数値列データ抽出手段は、文章領域の射影ヒストグラムを算出するとき、文章領域内の行毎に射影ヒストグラムを算出することを特徴とする請求項８記載の画像処理装置。
10. 前記検索手段は、前記検索情報として利用する前記記号列データの右側又は左側から順にＮ要素ずつ取り出した複数の検索キーを取得し、該検索キーを多く含む前記登録情報を有する前記画像データを検索することを特徴とする請求項３から９のいずれか１項記載の画像処理装置。
11. 数値列データを入力するデータ入力手段と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、を備えた情報処理装置と、
    前記記号列データを登録情報として前記数値列データと関連付けて記憶する記憶手段と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する検索手段と、を備えたサーバと、
    がネットワークで接続されたデータ検索システム。
12. 画像データを入力する画像データ入力手段と、前記画像データから数値列データを抽出する数値列データ抽出手段と、前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成手段と、を備えた画像処理装置と、
    前記記号列データを登録情報として前記画像データと関連付けて記憶する記憶手段と、前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する検索手段と、と、を備えたサーバと、
    がネットワークで接続された画像処理システム。
13. 数値列データを入力するデータ入力ステップと、
    前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成ステップと、
    を有することを特徴とする記号化方法。
14. 数値列データを入力するデータ入力ステップと、
    前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成ステップと、
    前記記号列データを登録情報として前記数値列データと関連付けて記憶する記憶ステップと、
    前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する検索ステップと、
    を有することを特徴とするデータ検索方法。
15. 画像データを入力する画像データ入力ステップと、
    前記画像データから数値列データを抽出する数値列データ抽出ステップと、
    前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する記号列データ生成ステップと、
    前記記号列データを登録情報として前記画像データと関連付けて記憶する記憶ステップと、
    前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する検索ステップと、
    を有することを特徴とする画像処理方法。
16. 前記数値列データ抽出ステップは、前記画像データが入力されたとき、該画像データから文章領域内の各文字矩形の幅と高さの比率を算出して前記数値列データを抽出することを特徴とする請求項１５記載の画像処理方法。
17. 前記数値列データ抽出ステップは、前記画像データが入力されたとき、該画像データの各領域の射影ヒストグラムを算出し、該射影ヒストグラムから前記数値列データを抽出することを特徴とする請求項１５記載の画像処理方法。
18. データ入力手段から数値列データを入力する機能と、
    前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する機能と、
    をコンピュータに実行させることを特徴とするプログラム。
19. データ入力手段から数値列データを入力する機能と、
    前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する機能と、
    前記記号列データを登録情報として前記数値列データと関連付けて記憶手段に記憶する機能と、
    前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記数値列データを検索する機能と、
    をコンピュータに実行させることを特徴とするプログラム。
20. 画像データ入力手段から画像データを入力する機能と、
    前記画像データから数値列データを抽出する機能と、
    前記数値列データを構成していて記号化の対象となる注目要素と該注目要素近傍の要素との大小関係に基づいて記号を順に付与して記号列データを生成する機能と、
    前記記号列データを登録情報として前記画像データと関連付けて記憶手段に記憶する機能と、
    前記記号列データを検索情報として該検索情報と一致する前記登録情報を有する前記画像データを検索する機能と、
    をコンピュータに実行させることを特徴とするプログラム。