JP2010009168A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】画像間の画素分布形状を考慮した類似性を求め、画像変形に影響を受けない高精度の画像類似評価を高速に行う。
【解決手段】画像入力部３０１は、外部から入力される文書画像を受け付ける。文字領域抽出部３０２は、対象となる文書画像から領域識別（レイアウト分析）によって文字領域を抽出する。行切り出し部３０３は、文字領域抽出部３０２によって抽出された文字領域から行画像を抽出する。シンボル変換部３０４は、行切り出し部３０３によって抽出された行画像の各行をシンボル系列に変換する。集計部３０５は、シンボル変換部３０４によって変換されたシンボル系列からＮ−ｇｒａｍ出現頻度を集計する。照合部３０６は、比較対象の文書画像において、集計部３０５によって集計されたＮ−ｇｒａｍ出現頻度同士を照合する。
【選択図】図３

Description

この発明は、画像、とくに写真などの自然画像の特徴量から検索キーを求めるために、色別に画像ヒストグラムを作成し、その変化をコード化し、そのコード化された情報間の類似性を評価することによって、画像変形にも影響を受けず高精度の画像照合を行うことが可能な画像処理装置、画像処理方法、および画像処理プログラムに関する。

従来より、画像間の類似性を評価するために、文書全体の特徴量として射影波形を利用し、照合する文書画像を検索する技術がいくつか提案されている（たとえば、非特許文献１、特許文献１を参照。）。非特許文献１、特許文献１に記載された技術は、とくに、画像の構図と色を同時に考慮した類似画像検索するものである。

立命館大学理工学部情報学科 南部藤太朗、八村広三郎 「類似判定基準の自動設定を行う画像検索システム」 人文科学とコンピュータシンポジウム ｐ．８９〜９４ 平成１４年９月 特開２００６−１４６７１５号公報

しかしながら、非特許文献１に記載の技術のように、色別のヒストグラムを使用するだけでは当該色が画像内でどのように分布しているかを表現することは不可能である。そこで、この欠点を補うため、色別の射影ヒストグラムの中央点座標を求める手法を用いることも考えられる。しかし、この手法によっても、当該色の分布の中心位置座標を求めるだけであり、分布の形状そのものを特徴づけるものではなく、精密な照合を行うことは困難であるという問題が残る。

また、特許文献１に記載の技術は、画像データを複数のブロックに分割し、ブロック単位の照合結果を求める手法によって、空間分布も考慮した照合を実現しようとしている。しかし、この手法では、各々のブロック間の照合を多数回実施しなくてはならず、さらに照合する画像間において分割単位が一致しない場合にはブロック単位の照合が失敗するおそれもある。そこで、かかる不具合を解消するために分割単位を小さくすると、今度は照合すべきブロック数が増加し、さらなる計算量の増大を招くという問題が発生する。

この発明は、上述した従来技術による問題点を解消するため、画像間の画素分布形状を考慮した類似性を求めることで、画像変形の影響を受けない高精度の画像類似評価を高速に行うことができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像処理装置は、文書画像間の照合を行う画像処理装置であって、文書画像における任意の位置の画素の色を判定する色判定手段と、色別に水平方向および垂直方向に射影ヒストグラムを算出する射影ヒストグラム算出手段と、複数の射影ヒストグラム間の類似性を評価する照合手段と、を備えていることを特徴とする。

また、請求項２の発明にかかる画像処理装置は、請求項１に記載の発明において、色別に画素数を計数する画素数計数手段を備え、前記射影ヒストグラム算出手段が、前記画素数計数手段の計数結果を参照し、画素数の多い順に射影ヒストグラムを算出し、当該射影ヒストグラムを前記画素数と併記して記録手段に記憶することを特徴とする。

また、請求項３の発明にかかる画像処理装置は、請求項２に記載の発明において、前記射影ヒストグラム算出手段が、画素数の多い画像から順に射影ヒストグラムを作成することを特徴とする。

また、請求項４の発明にかかる画像処理装置は、請求項１に記載の発明において、同じ色同士を比較する比較手段を備えていることを特徴とする。

また、請求項５の発明にかかる画像処理装置は、請求項４に記載の発明において、画像データを減色する画像データ減色手段と、色情報を量子化する量子化手段と、を備えていることを特徴とする。

また、請求項６の発明にかかる画像処理方法は、文書画像間の照合を行う画像処理方法であって、文書画像における任意の位置の画素の色を判定する色判定工程と、色別に水平方向および垂直方向に射影ヒストグラムを算出する射影ヒストグラム算出工程と、複数の射影ヒストグラム間の類似性を評価する照合工程と、を含むことを特徴とする。

また、請求項７の発明にかかる画像処理方法は、請求項６に記載の発明において、色別に画素数を計数する画素数計数工程を含み、前記射影ヒストグラム算出工程は、前記画素数計数工程による計数結果を参照し、画素数の多い順に射影ヒストグラムを算出し、当該射影ヒストグラムを前記画素数と併記して記録手段に記憶することを特徴とする。

また、請求項８の発明にかかる画像処理方法は、請求項７に記載の発明において、前記射影ヒストグラム算出工程は、画素数の多い画像から順に射影ヒストグラムを作成することを特徴とする。

また、請求項９の発明にかかる画像処理方法は、請求項６に記載の発明において、同じ色同士を比較する比較工程を含むことを特徴とする。

また、請求項１０の発明にかかる画像処理方法は、請求項９に記載の発明において、画像データを減色する画像データ減色工程と、色情報を量子化する量子化工程と、を含むことを特徴とする。

また、請求項１１の発明にかかる画像処理プログラムは、請求項６〜１０のいずれか一つに記載の画像処理方法をコンピュータに実行させることを特徴とする。

この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムによれば、画像間の画素分布形状を考慮した類似性を求めることで、画像変形の影響を受けない高精度の画像類似評価を高速に行うことができるという効果を奏する。

以下、添付図面を参照して、この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムの好適な実施の形態を詳細に説明する。

（実施の形態１）
（画像処理装置のハードウェア構成）
図１は、実施の形態１にかかる画像処理装置のハードウェア構成を示すブロック図である。この画像処理装置１００は、コンピュータであり、画像処理装置１００の各部を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＣＰＵ１０１を起動するためのプログラムが記憶されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、後述する画像入力部３０１から入力された文書画像やオペレーティングシステム、種々のプログラムなどを記憶するハードディスク１０３、ＣＰＵ１０１のワークエリアとして機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４、オペレータからの各種入力を受け付けるキーボード１０５、入力状況を表示する表示装置１０６、ＣＤ−ＲＯＭなどの各種光情報メディア（図示せず）に記憶されたプログラムなどを読み取る光ディスクドライブ１０７、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信回線を介して文書画像を送受信する通信装置１０８、原稿画像の光学的な読み取りを行うスキャナ１０９などから構成されており、これらの各部間で入出力されるデータをバスコントローラ１１０が調停して動作する。

画像処理装置１００では、オペレータが電源を投入するとＣＰＵ１０１がＲＯＭ１０２内のローダというプログラムを起動させ、ハードディスク１０３よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１０４に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、オペレータの操作に応じてプログラムを起動したり、情報を読み込んだり、保存をしたりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｕｓ（登録商標）やＵＮＩＸ（登録商標）などが知られている。これらオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。

ここで、画像処理装置１００は、ＣＰＵ１０１が実行するプログラムとして、後述する画像処理にかかる画像処理プログラムをハードディスク１０３に記憶している。この意味で、ハードディスク１０３は、画像処理プログラムを記憶する記憶媒体として機能する。

また、一般的には、画像処理装置１００のハードディスク１０３にインストールされるプログラムは、ＣＤ−ＲＯＭなどの各種光情報記録メディアやＦＤなどの磁気メディアなどの記憶媒体に記録され、この記憶媒体に記録されたプログラムがハードディスク１０３にインストールされる。このため、ＣＤ−ＲＯＭなどの各種光情報メディアや磁気メディアなどの可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となりうる。さらに、画像処理プログラムは、たとえば通信装置１０８を介して装置の外部から取り込まれ、ハードディスク１０３にインストールされてもよい。

ＣＰＵ１０１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムとの協働により後述する各機能部を実現させる。

図２は、実施の形態１にかかる画像処理装置を含むネットワーク構成を示す図である。図２に示すように、実施の形態１にかかる画像処理装置１００は、ネットワークを介して複数を接続することが可能であり、互いに文書画像などをやり取りすることができる。

（画像処理装置の機能的構成）
図３は、実施の形態１にかかる画像処理装置の機能的構成を示すブロック図である。この画像処理装置１００は、画像入力部３０１、文字領域抽出部３０２、行切り出し部３０３、シンボル変換部３０４、集計部３０５、および照合部３０６を備えている。

画像入力部３０１は、外部から入力される文書画像を受け付け、ハードディスク１０３に記憶する。また、文書画像に対して所定の画像処理（ノイズ除去、２値化など）も施す。この画像入力部３０１の機能は、図１に示したＣＰＵ１０１、光ディスクドライブ１０７、通信装置１０８、スキャナ１０９により実現することができる。

文字領域抽出部３０２は、画像入力部３０１から入力される文書画像や、キーボード１０５を介して指定されたハードディスク１０３に記憶された文書画像から文字領域を抽出する。具体的には、対象となる文書画像から領域識別（レイアウト分析）によって文字領域を抽出する。

行切り出し部３０３は、文字領域抽出部３０２によって抽出された文字領域から行画像を抽出する。

シンボル変換部３０４は、行切り出し部３０３によって抽出された行画像の各行をシンボル系列に変換する。具体的には、前記行画像の行高さ（行画像そのものの高さ、または行内矩形の最大高さなど）を推定する。次に、行方向に対して垂直方向に射影ヒストグラムを集計する。続いて、その射影ヒストグラムの値を前記行画像の行高さにしたがって量子化する。ここでは、行高さが射影ヒストグラムの最大値であるから、それに比例させればよい。そして、量子化された値をシンボルに変換する。最後に、変換されたシンボル系列をハードディスク１０３に記録する。

集計部３０５は、シンボル変換部３０４によって変換されたシンボル系列からＮ−ｇｒａｍ出現頻度を集計する。なお、Ｎ−ｇｒａｍ出現頻度とは、対象となるテキストの中で連続するＮ個の表記単位（ｇｒａｍ）の出現頻度のことである。

照合部３０６は、比較対象の文書画像において、集計部３０５によって集計されたＮ−ｇｒａｍ出現頻度同士を照合する。

（画像処理の手順）
以下、この画像処理装置１００が実行する各種処理のうち、この実施の形態において特長的な画像処理の手順について説明する。

図４は、実施の形態１における画像処理の手順を示すフローチャートである。図４のフローチャートにおいて、まず、処理対象の画像を入力する（ステップＳ４０１）。たとえば、図３に示した画像入力部３０１が外部から入力される文書画像を受け付け、ハードディスク１０３に記憶する。また、文書画像に対して所定の画像処理（ノイズ除去、２値化など）も実施する。

次に、文字領域を抽出する（ステップＳ４０２）。たとえば、図３に示した文字領域抽出部３０２が、ステップＳ４０１の処理で入力された文書画像などから文字領域を抽出する。具体的には、対象となる文書画像から領域識別（レイアウト分析）によって文字領域を抽出する。

次に、行切り出しを行う（ステップＳ４０３）。たとえば、図３に示した行切り出し部３０３が、ステップＳ４０２の処理によって抽出された文字領域から行画像を抽出する。

ここで、文書画像の行切り出しについて、図５−１〜図５−３を参照して説明する。ここでは、図５−１に示すような原稿画像に対して、特定の行画像を検索する場合を考える。なお、特定の行画像とは原稿画像中と同一である必要はなく、解像度が違っていても、部分的な行として、形状が同じであればよく、画像として完全一致することに限定されない。また、この実施の形態では文字領域の単位として文字行を使用するが、この発明はこれに限らず、部分行、複数行に対しても同様に可能であることはいうまでもない。

まず、行切り出し部３０３は、文書画像（図５−１）について、黒画像の連結部分を求め、それと外接する外接矩形Ａ，Ｂ，Ｃを求める（図５−２）。そして、ここで求めた外接矩形を、水平方向に隣接する外接矩形同士を連結して文字行Ｚに成長させる（図５−３）。行内矩形の生成および文字列の切り出しにかかる処理自体は、公知の手法により実現可能であるため詳細な説明は省略する。

図４のフローチャートに戻り、各行をシンボル系列に変換する（ステップＳ４０４）。たとえば、図３に示したシンボル変換部３０４が、ステップＳ４０３の処理よって抽出された行画像の各行をシンボル系列に変換する。以下、具体的なシンボル系列変換の一例を詳細に説明する。

図６は、シンボル系列変換の処理手順を示すフローチャートである。図６のフローチャートにおいて、まず、ステップＳ４０３の処理によって切り出された行画像の行高さ（行画像の高さ、または行内矩形の最大高さなど）を推定する（ステップＳ６０１）。

次に、行方向に対して垂直方向に射影ヒストグラムを集計する（ステップＳ６０２）。

ここで、射影ヒストグラムの集計について、図７を参照して説明する。図７は、原画像とその射影ヒストグラムを対照的に示した図である。射影ヒストグラムは、原画像において、行方向と垂直方向に黒画素を計数したものである。これにより、文字の形状が異なると射影ヒストグラムの波形も異なることがわかる。つまり、文字画像の特徴として射影ヒストグラムが利用可能であるといえる。文字画像としては文字間の分割を前提としていないので、手書き文字や筆記体、アラビア文字など、一行に並ぶ言語であれば、言語種類を問わず、射影ヒストグラムは作成可能であり、この発明が有効に適用されることは明らかである。

また、射影ヒストグラムの垂直軸は黒画素数であり、同じ文字でも画像サイズが異なると黒画素数が異なるが、各値の相対的な関係は画像サイズに依存しない。射影ヒストグラムの値は黒画素数であるから、１画素単位に変化する。読取条件の違いやノイズやかすれなどの影響により容易に変化するが、波形の形状の概形に関していえば安定している。よって、射影ヒストグラムの正確な値を用いて、波形を照合することに意味はなく、およその値を利用しても波形形状特徴は十分表現可能である。

図６のフローチャートに戻り、ステップＳ６０２の処理によって集計された射影ヒストグラムの値をステップＳ６０１の処理によって推定された行高さに従い量子化する（ステップＳ６０３）。なお、行高さは射影ヒストグラムの最大値であるから、それに比例させればよい。

ここで、射影ヒストグラムの量子化について、図８を参照して説明する。図８は、射影ヒストグラムの値を固定段階に量子化した様子を示す図である。図８において、水平方向の座標ｉの位置の射影ヒストグラムの値をｙｉとする。そして、ｙｉに関して以下の基準に基づいて量子化すると、ｙｉは５段階の値に変換される。
０≦ｙｉ＜１０→０段階
１０≦ｙｉ＜２０→１段階
２０≦ｙｉ＜３０→２段階
３０≦ｙｉ＜４０→３段階
４０≦ｙｉ→４段階

再び、図６のフローチャートに戻り、ステップＳ６０３の処理によって量子化された値をシンボル系列に変換する（ステップＳ６０４）。

ここで、量子化された値のシンボルに変換について、再度図８を参照して説明する。図８では、右側の軸に量子化後の値をとり、量子化後の値をプロットした波形も原波形とともに併記している。図８に示すように、量子化後の波形が原波形の概形を表現していることがわかる。上記の過程を経ると各射影ヒストグラムの値は５段階に制限され、各段階をシンボル化することが可能になる。たとえば、以下のルールによって変換できる。
０≦ｙｉ＜１０→０→ａ
１０≦ｙｉ＜２０→１→ｂ
２０≦ｙｉ＜３０→２→ｃ
３０≦ｙｉ＜４０→３→ｄ
４０≦ｙｉ→４→ｅ

上記のシンボル化ルールに従うと、言語を問わず、一般的な文字領域画像は全て文字領域画像→射影ヒストグラム→量子化→シンボル化という過程を経れば、
「文字領域画像＝ａｂａａｂｃｃｅｅａａａ．．．．．」
と文字画像の特徴を保持したままシンボル系列化することができるといえる。

したがって、２つの文字領域画像を比較する作業、たとえば画像検索においては被検索（データベース）領域画像および、検索（クエリー）領域画像の両方をシンボル系列化することによって、シンボル系列間を照合する問題へと帰着される。
「データベース画像＝ａｂａａｂｃｃｅｅａａａ．．．．．」
「クエリー画像＝ｃｃｅｅａａａｂａａｂａｂｃｃｅｅ．．．．」
シンボル系列間の比較に関しては、従来から用いられているテキスト処理の技術によって実現可能である。

たとえば、動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）に基づく文字列照合法によって、２つの文字列間の距離が算出され、それを利用すれば２つの文字列の類似性を判断することができる。距離尺度としては編集距離などが代表的である。また、Ｎ−ｇｒａｍ法を用いて２つの文字列間の類似性を判断する方法もある。この実施の形態では、後者の手法を採用することにする（詳細は後述）。

再び、図６のフローチャートに戻り、ステップＳ６０４処理によって変換されたシンボル系列をハードディスク１０３に記録する（ステップＳ６０５）。

なお、ステップＳ６０１およびステップＳ６０３の処理は、行高さを使用せずに、たとえば射影ヒストグラムの最大値を基準に量子化することも可能である。

図４のフローチャートに戻り、ステップＳ４０４の処理によって変換されたシンボル系列からＮ−ｇｒａｍ出現頻度を集計する（ステップＳ４０５）。

そして、比較対象の文書画像から同様に作成されたＮ−ｇｒａｍ出現頻度同士を照合する（ステップＳ４０６）。

ここで、Ｎ−ｇｒａｍ法を利用した文字列照合について、図９−１〜図９−２を参照して説明する。ここでは、たとえばＮ＝３，ｔｒｉｇｒａｍを用いた場合のＮ−ｇｒａｍリストの作成方法を説明する。図９−１に示すように、文字列を固定文字数（ここでは３文字）ずらしながら、部分文字列を計数してＮ−ｇｒａｍリストを作成する。２つの文字列が類似しているほど、Ｎ−ｇｒａｍリストの結果が類似することは明らかである。類似性の判定の基準の一例としては、２つのＮ−ｇｒａｍリストにおいて共通する部分文字列の数を計数し、一定値以上であれば類似していると判定することができる。

また、図９−２に示すように、２つの文書の類似性を判定することにおいては、各文書に含まれる文字領域をシンボル化することによって、文書画像の比較問題はシンボル系列の比較問題へと帰着する。なお、文書から文字領域を抽出する手法は、公知であるため説明しないが、領域識別やレイアウト分析など、文字認識分野において一般的な技術があり、それを利用すればよい。

また、図１０は、Ｎ−ｇｒａｍリストの照合方法として順位相関係数を用いる例を説明するための図である。この実施の形態では、図１０に示したような順位相関係数を採用することもできる。なお、順位相関係数に関しては、たとえば柳川尭著「ノンパラメトリック法」（培風館）に詳しいので、ここでは説明しない。

また、図４のステップＳ４０５およびステップＳ４０６の処理は、ＤＰマッチングによる文字列間距離測定によっても実現することができる。

以上説明したように、実施の形態１によれば、画像間の画素分布形状を考慮した類似性を求めることで、画像変形の影響を受けない高精度の画像類似評価を高速に行うことができる。

（実施の形態２）
実施の形態１では、文字行画像と文字行画像との類似度を計算することにより、画像類似評価を行う例を示した。これに対し、この実施の形態２では、文字行画像と文字行画像とをシンボル系列に変換した後に、類似度を判定する照合処理を、文字行画像だけでなく、２次元画像についても適用可能な一例を示す。

まず、分布中心を用いて二次元画像を表現する例を、図１１−１〜図１１−２を参照して説明する。一般的に、図１１−１に示すような二次元画像に対してカラー画像を減色した後、同色の画素のみ抽出した画像において、水平方向および垂直方向に射影ヒストグラムを求め、その中央値（メディアン）の座標を求め、画像の幅を高さで正規化したものを分布中心（図１１−２）とし、これを画像特徴として利用している。

しかしながら、図１１−２に示すように、画素の分布形状に関係なく中央値の座標のみを使用することから、分布中心は画像を大まかな特徴しか表現できないことは明らかである。ここでは２つの画像の色と形状が同じであれば分布中心も同一であることは保証されるが、形状が大きく異なる場合でも分布中心がほぼ同一になるおそれがある。

そこで、この実施の形態では、二次元画像をひとつのヒストグラムに変換する手法を採用する。この手法を図１２−１〜図１２−３を参照して説明する。まず、画像の水平および垂直の両方向に投射ヒストグラムを求める（図１２−１）。そして、水平方向と垂直方向との射影ヒストグラムを連結し（図１２−２）、ひとつの射影ヒストグラムにした後（図１２−３）、先に図７、図８、図９−１、図９−２を用いて説明した手法によって、シンボル系列に変換する。このようにすることで、実施の形態１で説明した文字行画像同士の照合処理と同じ過程を経ることとなり、シンボル系列間の類似性を判定することが可能になり、それが画像間の類似性を判定することに等しくなる。

各画素は色情報（例えばＲＧＢ値）をもつから、それによって当該画素の色を判定することができ、その値に基づいて同じ色をもつ画素を抽出することも可能である。すなわち、注目する単一色からなる画像を作成し、その画像から射影ヒストグラムを求める。また、比較対象画像に対しても同様に、前述の注目色と同じ色からなる画像を作成し、射影ヒストグラムを作成する。これら二つの射影ヒストグラムを比較し、形状が似ていれば元画像も類似していると判断できる。

また、画素数が多い色が比較対象画像の代表的な特徴を表現することによって、色別に画素数を計数し、計数結果に基づいて色をソートし、上位から順に照合用画像を作成する。同時に、照合用画像の色情報も記録する。これによって、同じ色同士を比較する際には最初に色情報のみを比較し、同一あるいは類似色（色空間における色距離で判定可能）であれば、画像本体照合を行なうことができ、都合がよい。

ところで、画素数の少ない色は画像特徴の与える影響は小さく、逆に画素数の多い色は画像特徴に与える影響は大きい。すなわち、画素数の少ない色は照合に寄与する度合いが小さいので画素数の多い上位色のみで照合を実施しても、照合精度が大きく低下することはない。また、照合処理を行なう色数を限定すれば、照合処理に要する計算量を低減されることより、計算時間が短縮されることが期待でき、使用感を著しく改善できる。よって、使用者が画素数の多い上位色のみを照合対象として指定できるようにする。ここでは、キーボートなどの入力手段により、色数を入力すればよい。

また、照合対象が画像全体ではなく、画像の一部である場合がある。たとえば、風景画像中の自動車のみの画像を照合対象にしたい場合などである。ひとまとまりの物体の場合、同じ色である場合が多い。たとえば、自動車であれば車体の色は一定であることが多い。この実施の形態では、射影ヒストグラムは色別に算出する。算出対象の色は、使用者がマウスなどのポインティングデバイスを用いて、画像の所望の位置を指定することによって設定することが可能である。指定された位置の画素の色情報（たとえば（Ｒ，Ｇ，Ｂ））を記憶し、同じ色情報の値をもつ画像のみを抽出し、算出対象画像を作成する。あるいは、キーボードなどで色情報の値を直接入力しても構わない。色は単色でも複数色でも、使用者が指定可能にしておくとよい。

また、画像の一部分のみを照合対象にしたい場合には、使用者はポインティングデバイスなどを用いて、所望の領域を範囲指定することによって、対象範囲のみの射影ヒストグラムを作成してもよい。

また、複数の色を照合対象とする場合には、色別の画像類似度を、画素数に比例した重みを付けて線形結合するなどして、総合的に評価することも可能である。この場合は、事前に実験を行い決定することも可能である。

同じ色あるいは類似色という条件の下では、色を重視して類似性を判断することになる。画像の内部の形状を重視するのであれば、色の一致という条件をはずすことによって実現可能であり、色の一致、類似色、色の制限無しなどの設定は使用者の要求によって変更可能にするとよい。

また、フルカラー（３２ビット）画像で表現可能な色は１６７７７２１６色と非常に多く、非常に細かな色の違いも区別できる。とくに写真などの自然画像の場合、高い再現力をともなって描写された画像中に含まれる色の数は非常に多く、同一色を見つけることが難しい場合もある。同一画像ではなく、類似画像を求めることが目的であれば、少々の色の差は無視した方が類似する画像が得やすいであろうことは明らかである。よって、類似する色を一つ代表色で表現するために、減色処理を施すとよい。画像中に含まれる色数を所望の数に制限することによって、色の差を考慮する程度を調整することができる。色数を少なく制限するほど、色の差が無視される傾向が強くなる。なお、減色アルゴリズムについては、公知のものを使えばよい。たとえば、均等量子化法や、細分化量子化法（代表的なものに頻度法、色空間線形分割法、メディアンカット法）などがある。

ここで、フルカラー画像に対する減色処理の例を図１３−１〜図１３−５を参照して説明する。たとえば、図１３−１に示すようなオリジナルのカラー（フルカラー）画像から８色に減色された画像（図１３−２）を生成する。ここでは、フルカラーから８色に減色されてもオリジナル画像の印象と大きく異ならないことが確認できる。すなわち、フルカラー画像の色数と８色まで減色された画像との色数の差は非常に大きいが、人間の感覚にとってはほぼ類似した画像であるとみなされるといえる。これは減色画像を照合対象としても、オリジナル画像を照合対象とした場合とほぼ同様な類似性判定結果が得られる可能性が高いことを示す。

また、図１３−３に示すように減色された画像の内、最も画素数の多かった色のみを抽出し、色を黒に設定する。ここで示された画像の色は本画像を特徴づけるにあたって、最も支配的な色であるといえる。この画像からは、周辺が同じ色であり、中心に別の色が円状にあるという、大まかな特徴が把握できる。

また、２番目に画素数が多かった色（図１３−４）、３番目に画素数が多かった色（図１３−５）を同様に抽出し、色を黒に設定して描画してみる。このように色別に分離することによって、画像内に描写されている物体の概形が特徴的に抽出される。

一方、グレイ画像についても階調の程度をカラー画像同様に扱うことができる。以下では、グレイ画像に対する減色処理の例を図１４−１〜図１４−５に示す。図１４−１〜図１４−５は、順にグレイ画像の階調数を減じた後、画素数が多い上位の階調のみを抽出して描画した例を示している。

減色後においても、画素数の少ない色については画像全体の特徴に寄与する度合いは低く、かつ誤差の影響も多い。よって、照合に使用する色の数を上位いくつまで利用するかを指定すれば、画素数の少ない下位の色の照合処理を省略することができるので都合がよい。使用色数の指定は使用者によってキーボードなどの入力手段によって指定するか、減色後の色数から自動的に算出してもよい。たとえば、減色後の色数の画素数上位１／２を利用することなどが考えられる。

この実施の形態２では、以上示した処理を実行する。この実施の形態２にかかる画像処理装置のハードウェア構成および機能的構成は実施の形態１のものを用いることができる。

（画像処理の手順）
以下、この実施の形態２の画像処理装置が実行する各種処理のうち、特長的な画像処理の手順について説明する。

図１５は、実施の形態２における画像処理の手順を示すフローチャートである。図１５のフローチャートにおいて、まず、処理対象の画像を入力する（ステップＳ１５０１）。また、対象画像に対する所定の画像処理（ノイズ除去、２値化など）も施す。たとえば、図３に示した画像入力部３０１が外部から入力される文書画像を受け付け、ハードディスク１０３に記憶する。

次に、対象画像がカラー画像か否かを判定する（ステップＳ１５０２）。ここで、カラー画像であれば（ステップＳ１５０２：Ｙｅｓ）ステップＳ１５０８へ進み、そうでなければ（ステップＳ１５０２：Ｎｏ）ステップＳ１５０３へ進む。

ステップＳ１５０２においてカラー画像でない場合（ステップＳ１５０２：Ｎｏ）は、対象画像がグレー画像か否かを判定する（ステップＳ１５０３）。ここで、グレー画像であれば（ステップＳ１５０３：Ｙｅｓ）ステップＳ１５０５へ進み、そうでなければ（ステップＳ１５０３：Ｎｏ）ステップＳ１５０４へ進む。

ステップＳ１５０３においてグレー画像でない場合（ステップＳ１５０３：Ｎｏ）は、対象画像が２値画像か否かを判定する（ステップＳ１５０４）。ここで、２値画像であれば（ステップＳ１５０４：Ｙｅｓ）ステップＳ１５１１へ進み、そうでなければ（ステップＳ１５０４：Ｎｏ）処理対象外であるため処理を終了する。

ステップＳ１５０４において２値画像である場合（ステップＳ１５０４：Ｙｅｓ）は、調査画像数を１に設定する（ステップＳ１５１１）。

ステップＳ１５０３においてグレー画像である場合（ステップＳ１５０３：Ｙｅｓ）は、指定された階調数に減ずる（ステップＳ１５０５）。ここで、階調数の指定は使用者によって予め行なわれるか、原画像の階調数から算出してもよい。なお、減階調のアルゴリズムは公知の技術を用いることができる。

次に、調査画像を作成する（ステップＳ１５０６）。ここでは、減階調後の画像から照合用の画像を作成する（詳細は後述する）。

続いて、調査画像を設定する（ステップＳ１５０７）。ここでは、ステップＳ１５０６で作成された調査画像からどの画像を照合対象にするかを選択設定する。たとえば、画素数の多い上位Ｎ階調に限定するか、使用者が諧調を指定することが考えられる。また、階調数の指定は使用者によって予め行なわれるようにしてもよいし、原画像の階調数から算出してもよい。また、調査画像数を照合に用いる画像数（検討する階調数に相当）に設定する。

一方、ステップＳ１５０２においてカラー画像である場合（ステップＳ１５０２：Ｙｅｓ）は、カラー画像を指定された色数に減ずる（ステップＳ１５０８）。色数の指定は使用者によって予め行なわれるようにするか、または原画像の色数から算出してもよい。なお、減色のアルゴリズムは公知の技術を用いることができる。

次に、調査画像を作成する（ステップＳ１５０９）。ここでは、減色後の画像から照合用の画像を作成する（詳細は後述する）。

続いて、調査画像を設定する（ステップＳ１５１０）。ここでは、ステップＳ１５０９で作成された調査画像からどの画像を照合対象にするかを選択設定する。たとえば、たとえば、画素数の多い上位Ｎ色に限定するか、使用者が色を指定することが考えられる。また、色数の指定は使用者によって予め行うようにしてもよいし、原画像の色数から算出してもよい。また、調査画像数を照合に用いる画像数（検討する色数に相当）に設定する。

次に、調査画像数カウンタを初期化（＝０）する（ステップＳ１５１２）。

次に、調査対象の画像数が終了したか否かを判定する（ステップＳ１５１３）。ここでは、調査画像数カウンタが調査画像数に一致したら処理終了と判定する。なお、調査画像数カウンタは、図３の行切り出し部３０３が備えているものとする。ここで調査対象の画像数が終了した場合（ステップＳ１５１３：Ｙｅｓ）は処理を終了する。そうでない場合（ステップＳ１５１３：Ｎｏ）は、ステップＳ１５１４へ進む。

ステップＳ１５１３において調査対象の画像数が終了していない場合（ステップＳ１５１３：Ｎｏ）は、調査画像数カウンタをインクリメントする（ステップＳ１５１４）。

次に、調査画像カウンタで指定された画像に対して水平方向の射影ヒストグラムを作成する（ステップＳ１５１５）。

続けて、調査画像カウンタで指定された画像に対して垂直方向の射影ヒストグラムを作成する（ステップＳ１５１６）。

そして、２つのヒストグラムを連結する（ステップＳ１５１７）。ここでは、水平と垂直の射影ヒストグラムを結合する。

シンボルに変換する（ステップＳ１５１８）。ここでは結合されて１つになった射影ヒストグラムをシンボルの時系列に変換する。この後、ステップＳ１５１３へ戻り、処理を続行する。

続いて、ステップＳ１５０９およびステップＳ１５０６の調査画像の作成手順について説明する。いずれのステップも同様の処理で対応できる。

図１６は、調査画像の作成手順を示すフローチャートである。図１６のフローチャートにおいて、まず、色（階調）別に画素数を計数する（ステップＳ１６０１）。次に、画素数で色（階調）をソートする（ステップＳ１６０２）。そして、同色画素の抽出画像を作成する（ステップＳ１６０３）。具体的には、同じ色（階調）をもつ画素のみ抽出し、画素の値を黒に、その他を白に設定した画像を作成する。なお、ステップＳ１６０１〜ステップＳ１６０３の処理は、行高さを使用せずに、射影ヒストグラムの最大値を基準に量子化することによっても可能である。

上記各ステップにおいて、ステップＳ１５０２〜ステップＳ１５１１の処理は、図３に示した文字領域抽出部３０２（色判定手段、画素数計数手段）が実行する。また、ステップＳ１５１２〜ステップＳ１５１７の処理は、図３に示した行切り出し部３０３（射影ヒストグラム算出手段）が実行する。ステップＳ１５１８の処理は、図３に示したシンボル変換部３０４が実行する。

なお、図１５のフローチャートに示した処理が終了した後は、実施の形態１で説明したのと同様に、図３に示した照合部３０６（照合手段）による照合処理が実行される。

以上説明したように、実施の形態２によれば、色別に画素の分布形状まで考慮することによって、色別ヒストグラムだけで画像間の類似性を評価した場合よりも高精度に類似度を判定することができ、かつ分布形状を時系列コードに変換することによって、画像変化にも影響されない正確な画像照合を行うことができる。

（実施の形態３）
実施の形態２では、一般的なカラーおよびグレー画像を減色することによって、異なる単一色から構成される複数の画像へと変換可能であることを示した。類似画像を検索する目的のためには、画像照合の際には、同じ色同士を比較すべきである。同じ色同士と判定するにあたっては、前述したように、減色後の色が同じ数値（ＲＧＢ色空間であるならば、Ｒ，Ｇ，Ｂの各値が同じ）であるか否かをみればわかる。

しかし、比較対象の画像同士を同じ色数に減色したとしても、減色アルゴリズムによっては減色後の色が同じであるとは限らない。たとえば、減色アルゴリズムとして細分化量子化法を用いる場合、少ない色数で原画像を最大限再現するために、原画像の色度分布の統計量をもとに代表色を選定するから、同じ色数でも原画像が異なれば、減色後に用いられる色種は異なる。色を精密に記録および再現できるよう、一般的な色情報は数値として十分な桁数をもつから、人間が見たところ同じ色であると判定するような場合でも、色情報の数値としては一致しないことが頻繁に起きると思われる。

そこで、数値として一致していることをもって同色と判断せず、ある程度の差は許容するような判定基準が望ましい。具体的には、ある２色を色空間上の２点にマッピングし、その２点の座標間の距離に基づいて判断すればよい。この実施の形態３では、かかる手法を実施することにより画像照合を行う例を示す。

色空間の種類としては、ＲＧＢ，ＲＧＢＡ,ＹＣｂＣｒ，ＣＭＹＫ，Ｌ＊ａ＊ｂ＊などが一般的である。色空間上での距離が、知覚上での色の「距離」の感覚に似るよう設定されている。つまり２色間の距離が近いほど、その２色は類似色だと判定することができる。今、色空間としてＲＧＢ系を用いて色空間上での距離を算出する例を示す。なお、あえて説明しないが、他の色空間においても色空間上での距離（色差）を算出する手法もある。

ここでは、ＲＧＢそれぞれを軸とする３次元の色空間を考え、この空間内で比較したい２色間の距離を求めるとする。まず、
「色Ａ＝（Ｒａ，Ｇａ，Ｂａ）」
「色Ｂ＝（Ｒｂ，Ｇｂ，Ｂｂ）」
とすると、ユークリッド距離であれば以下で求められる。

ユークリッド距離（色Ａ，色Ｂ）＝ＳＱＲＴ（（Ｒａ−Ｒｂ）×（Ｒａ−Ｒｂ）＋（Ｇａ−Ｇｂ）×（Ｇａ−Ｇｂ）＋（Ｂａ−Ｇｂ）×（Ｂａ−Ｂｂ））

また、市街地距離であれば次のようにして求められる。市街地距離（色Ａ，色Ｂ）＝｜Ｒａ−Ｒ＿ｂ｜＋｜Ｇ＿ａ−Ｇ＿ｂ｜＋｜Ｂ＿ａ−Ｂ＿ｂ｜

これらの距離に対してしきい値を設け、しきい値以下であれば同じ色だと判断する。距離の算出方法については設計事項であり、その方式によってこの発明では限定しない。しかし、比較対象の２色ごとに距離計算を必要とするので、検索対象数が増えると処理時間が線形に増えてしまい、検索対象画像が大量である場合、現実的な時間で処理が完了しないおそれがある。

そこで、検索対象画像集合の全画像を減色した後に、その検索対象集合に含まれる色を少数の代表色リスト（色パレット）で表現しておく。代表色リスト中の各色に固有なＩＤを付与しておけば、検索対象画像集合に含まれるすべての色は、色リスト中の色ＩＤによって表現できることになる。そして、質問画像を減色した後に含まれる色がその色リスト中のどの色に近いかを求め、その色のＩＤを求める。

同じ色同士を比較するには、同じ色ＩＤをもつもの同士を比較することで実現できる。距離値を求めることなく、色ＩＤが一致するか否かによって、同じ色であることを判断するから処理時間を大幅に短縮することが可能である。検索を行うたびに一つ一つの画像データにアクセスし、色ＩＤを逐次検索する場合、検索対象文書の増加に比例して、検索にかかる時間も長くなる。そこであらかじめ検索対象となるデータ群を走査しておき、高速な検索が可能になるような索引データを準備することで、検索時のパフォーマンスを向上させられる。すなわち、テキスト全文検索におけるインデキシング手法を用いることが可能になる。

大量の色数を少数の代表色で表現する方法としてはベクトル量子化の手法が利用できる。検索対象集合に含まれる色は（Ｒ，Ｇ，Ｂ）の３次元ベクトルとみなすことができ、ベクトル量子化手法によって、それらを代表する、少数のベクトル集合（コードブック）を作成することが可能である。コードブックに含まれるベクトルに対しては、固有なＩＤを付与する。

質問画像中の色がコードブック中のどの色に属するかは、上述した色空間距離に基づいて決定し、最も近い距離にある色に付与されているＩＤを求めることができる。ベクトル量子化のアルゴリズムについては、ＬＢＧ法など、既に確立された手法を用いればよい。なお、ベクトル量子化については以下の文献に詳しい。
「画像情報処理」基礎情報工学シリーズ、安居院 猛、中嶋 正之 著、森北出版株式会社（１９９１）
「画像情報圧縮」先端技術の手ほどきシリーズ、原島 博 著、オーム社（１９９１）

この実施の形態３では、以上示した処理を実行する。この実施の形態３にかかる画像処理装置のハードウェア構成および機能的構成は実施の形態１のものを用いることができる。

（画像処理の手順）
以下、この実施の形態３の画像処理装置が実行する各種処理のうち、特徴的な画像処理の手順について説明する。

（データベースに画像を蓄積する手順）
まず、データベースに対象画像を蓄積する手順を説明する。図１７は、実施の形態３におけるデータベースに対象画像を蓄積する手順を示すフローチャートである。

まず、蓄積すべき画像データがあるか否かを判定する（ステップＳ１７０１）。ここで、蓄積すべき画像データがない場合（ステップＳ１７０１：Ｎｏ）は処理を終了する。そうでない場合（ステップＳ１７０１：Ｙｅｓ）はステップＳ１７０２へ進む。

ステップＳ１７０１において蓄積すべき画像データがある場合（ステップＳ１７０１：Ｙｅｓ）は、画像データを読み込む（ステップＳ１７０２）。

次に、画像データを減色する（ステップＳ１７０３）。ここでは、読み込んだ画像データに対して所定の減色アルゴリズムを適用して、減色処理を実行する。減色処理の詳細は実施の形態２で示した方法などを用いる。

次に、色別に画像を作成する（ステップＳ１７０４）。ここでは、同じ画素値（同じ色）から構成される画像を色別に作成する。

次に、色情報を蓄積する（ステップＳ１７０５）。ここでは、異なる色数のリストを作成するために、色の種類を蓄積する（新色であれば、情報が追加される）。

続いて、画像の特徴を抽出する（ステップＳ１７０６）。ここでは、２値画像と同様に、単色画像の画像特徴を抽出する。たとえば、画素ヒストグラム→波形化→シンボル系列化のような処理を実行する。

最後に、画像特徴と色情報をデータベースに蓄積する（ステップＳ１７０７）。

上記各ステップにおいて、ステップＳ１７０１〜ステップＳ１７０２の処理は、図３に示した画像入力部３０１が実行する。また、ステップＳ１７０３〜ステップＳ１７０５の処理は、図３に示した行切り出し部３０３（画像データ減色手段）が実行する。ステップＳ１７０６の処理は、図３に示したシンボル変換部３０４が実行する。ステップＳ１７０７の処理は、図１に示したハードディスク１０３にデータを蓄積することにより終了する。

（色コードブック作成処理手順）
次に、色コードブック作成処理手順を説明する。図１８は、実施の形態３における色コードブック作成処理手順を示すフローチャートである。

まず、色リストを読み込む（ステップＳ１８０１）。ここでは、図１７のステップＳ１７０５の処理によって蓄積された色情報（異なる色リスト）を読み込む。

次に、代表リストを作成する（ステップＳ１８０２）。具体的には、ベクトル量子化手法（ＬＢＧ法など）を用いて、異なる色リストから少数の代表色リストを作成する。

最後に、代表色リストを色コードブックとして蓄積する（ステップＳ１８０３）。

上記各ステップにおいて、ステップＳ１８０１〜ステップＳ１８０２の処理は、図３に示した行切り出し部３０３が実行する。ステップＳ１８０３の処理は、図１に示したハードディスク１０３にデータを蓄積することにより終了する。

（色情報を量子化する処理手順）
次に、色情報を量子化する処理手順を説明する。図１９は、実施の形態３における色情報を量子化する処理手順を示すフローチャートである。

まず、データベース内に未処理のデータがあるか否かを判定する（ステップＳ１９０１）。ここで未処理の画像特徴データ（画像特徴と色情報のペア）がない場合（ステップＳ１９０１：Ｎｏ）は処理を終了する。そうでない場合（ステップＳ１９０１：Ｙｅｓ）はステップＳ１９０２へ進む。

ステップＳ１９０１において未処理の画像特徴データがある場合（ステップＳ１９０１：Ｙｅｓ）は、データベースから未処理の画像特徴データを読み込む（ステップＳ１９０２）。

次に、色情報を量子化する（ステップＳ１９０３）。具体的には、図１８のステップＳ１８０３の処理で蓄積されたコードブックを用いて、色情報を量子化する。すなわち、色情報が代表色リストのどの色で代替するかを決めることに等しくなる。

最後に、画像特徴データと量子化された色情報とをまとめてデータベースに蓄積する（ステップＳ１９０４）。

上記各ステップにおいて、ステップＳ１９０１〜ステップＳ１９０３の処理は、図３に示した行切り出し部３０３が実行する。ステップＳ１９０４の処理は、図１に示したハードディスク１０３にデータを蓄積することにより終了する。

（色情報の量子化結果を用いて画像検索する処理手順）
また、この実施の形態では、前述した手法を採用することにより、色情報の量子化結果を用いて画像検索することができる。以下ではこの処理手順を説明する。図２０は、実施の形態３における色情報の量子化結果を用いて画像検索する処理手順を示すフローチャートである。

まず、質問画像データを読み込む（ステップＳ２００１）。次に、質問画像データを減色する（ステップＳ２００２）。次に、色別に画像データを作成する（ステップＳ２００３）。色情報を量子化する（ステップＳ２００４）。具体的には、図１８のステップＳ１８０３の処理で蓄積されたコードブックを用いて、色情報を量子化する。次に、画像の特徴を抽出する（ステップＳ２００５）。ここでは、色別の画像データの画像特徴を抽出する。最後に、データベース検索を行う（ステップＳ２００６）。ここでは、データベース中の画像特徴データと質問画像の画像特徴データとの照合を行う。その際、量子化された色情報が一致するか否かで判断する。

上記各ステップにおいて、ステップＳ２００１〜ステップＳ２００３の処理は、図３に示した行切り出し部３０３（量子化手段）が実行する。また、ステップＳ２００４の処理は、図３に示したシンボル変換部３０４が実行する。ステップＳ２００５〜ステップＳ２００６の処理は、図３に示した照合部３０６が実行する。

この実施の形態３で言及した色の量子化は、検索対象画像集合に含まれる色を対象に代表色を求めるものであり、検索対象画像集合が変化した場合には、あらためて代表色を算出する必要がある。色の量子化手段としては、色空間を均等に量子化する方法もある。この方法であれば、検索対象画像集合が変化しても、あらためて代表色を求める必要はない。

また、ＲＧＢ色空間の場合、ＲＧＢの各軸を独立に量子化すれば（スカラー量子化）、ＲＧＢの各次元の値を独立に量子化することによって、色種類を限定することができる。最も簡単な処理を選択する場合には、ＲＧＢの各軸を均等に分割すればよい。その一例として「Ｗｅｂセーフカラー」と呼ばれるものがある。Ｗｅｂセーフカラーとは、ブラウザやプラットフォーム（ＯＳ）など環境の違いに左右されない２１６色のセーフカラーを指す。２１６色のセーフカラーは、Ｒ（赤），Ｇ（緑），Ｂ（青）の光の三原色を６段階に分けて定義したものである。

ＲＧＢの各次元を１バイトで表現する場合、各次元は“０"から“２５５”までの２５６段階の階調があるが、Ｗｅｂセーフカラーにおける６段階とは、上記“０”から“２５５”までの２５６段階の階調を“５１”ずつ増やしていった“０，５１，１０２，１５３，２０４，２５５” からなる。“５１”は、１６進数でいう "３３”、パーセンテージによる割合で“２０％”にあたる数である。つまり、Ｗｅｂセーフカラーとは、Ｒ・Ｇ・Ｂの各値を“０％”から“２０％”ずつ均等に上げていった値の組み合わせで作られている。この６段階の階調が、Ｒ・Ｇ・Ｂの３色それぞれにあるので、“６×６×６＝２１６色”ということになる。

ＲＧＢ色空間の全ての色を、この２１６色で代表させるには、
「色Ａ２５６＝（Ｒ＿２５６ａ，Ｇ＿２５６ａ，Ｂ＿２５６ａ）：０≦Ｒ＿２５６ａ，Ｇ＿２５６ａ，Ｂ＿２５６ａ≦２５５」
「色Ｂ２５６＝（Ｒ＿２５６ｂ，Ｇ＿２５６ｂ，Ｂ＿２５６ｂ）：０≦Ｒ＿２５６ｂ，Ｇ＿２５６ｂ，Ｂ＿２５６ｂ≦２５５」
である場合、
「Ｒ＿６ａ＝Ｒ＿２５６ａ／５１」
「Ｇ＿６ａ＝Ｇ＿２５６ａ／５１」
「Ｂ＿６ａ＝Ｂ＿２５６ａ／５１」
．．．．．．
．．．．．．
「色Ａ６＝（Ｒ＿６ａ，Ｇ＿６ａ，Ｂ＿６ａ）：０≦Ｒ＿６ａ，Ｇ＿６ａ，Ｂ＿６ａ≦５」
「色Ｂ６＝（Ｒ＿６ｂ，Ｇ＿６ｂ，Ｂ＿６ｂ）：０≦Ｒ＿６ｂ，Ｇ＿６ｂ，Ｂ＿６ｂ≦５」
となる。

色Ａ６と色Ｂ６が同じであれば、色Ａ２５６と色Ｂ２５６も類似色と判断する。なお、上記は量子化の例としてＷｅｂカラーを示したものであり、色の数値を固定値で割ることによって量子化段階を求める一例であり、除数の値については設計事項に過ぎず、上記の例（＝５１）に関係なく、好適な除数を用いて量子化段階を決定すればよい。除数が２の倍数であれば、ビットシフト演算によって高速に実現できるので、都合がよい。

また、この実施の形態３では、類似色かつ類似構図で書かれた画像を検索することが可能である。目的によっては構図が類似しているものを検索したい場合には、色情報が一致すべきという条件をはずして検索すればよい。色情報の利用の有無を使用者が指定する。

以上説明したように、実施の形態３によれば、色別に画素の分布形状まで考慮することによって、色別ヒストグラムだけで画像間の類似性を評価した場合よりも高精度に類似度を判定することができ、かつ分布形状を時系列コードに変換することによって、画像変化にも頑強な画像照合を行うことができる。

また、色情報の照合については、予め色情報を量子化することによって、照合時には一致か不一致のみで判断し、高速検索を実現できる。よって、使用者は、画像の多少の変形および変色にも影響されずに、所望する類似画像を容易に得ることができる。

上記各実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

以上のように、この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムは、画像照合に有用であり、画像変形の影響を受けず精度の高い画像照合が可能である。

実施の形態１にかかる画像処理装置のハードウェア構成を示すブロック図である。 実施の形態１にかかる画像処理装置を含むネットワーク構成を示す図である。 実施の形態１にかかる画像処理装置の機能的構成を示すブロック図である。 実施の形態１における画像処理の手順を示すフローチャートである。 文書画像の行切り出しについて説明するための図である。 文書画像の行切り出しについて説明するための図である。 文書画像の行切り出しについて説明するための図である。 シンボル系列変換の処理手順を示すフローチャートである。 射影ヒストグラムの集計について説明するための図である。 射影ヒストグラムの量子化について説明するための図である。 Ｎ−ｇｒａｍ法を利用した文字列照合について説明するための図である。 Ｎ−ｇｒａｍ法を利用した文字列照合について説明するための図である。 Ｎ−ｇｒａｍリストの照合方法として順位相関係数を用いる例を説明するための図である。 分布中心を用いて二次元画像を表現する例を説明するための図である。 分布中心を用いて二次元画像を表現する例を説明するための図である。 二次元画像をひとつのヒストグラムに変換する手法を説明するための図である。 二次元画像をひとつのヒストグラムに変換する手法を説明するための図である。 二次元画像をひとつのヒストグラムに変換する手法を説明するための図である。 フルカラー画像に対する減色処理を説明するための図である。 フルカラー画像に対する減色処理を説明するための図である。 フルカラー画像に対する減色処理を説明するための図である。 フルカラー画像に対する減色処理を説明するための図である。 フルカラー画像に対する減色処理を説明するための図である。 グレー画像に対する減色処理を説明するための図である。 グレー画像に対する減色処理を説明するための図である。 グレー画像に対する減色処理を説明するための図である。 グレー画像に対する減色処理を説明するための図である。 グレー画像に対する減色処理を説明するための図である。 実施の形態２における画像処理の手順を示すフローチャートである。 調査画像の作成手順を示すフローチャートである。 実施の形態３におけるデータベースに対象画像を蓄積する手順を示すフローチャートである。 実施の形態３における色コードブック作成処理手順を示すフローチャートである。 実施の形態３における色情報を量子化する処理手順を示すフローチャートである。 実施の形態３における色情報の量子化結果を用いて画像検索する処理手順を示すフローチャートである。

符号の説明

１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ハードディスク
１０４ ＲＡＭ
１０５ キーボード
１０６ 表示装置
１０７ 光ディスクドライブ
１０８ 通信装置
１０９ スキャナ
１１０ バスコントローラ
２００ ネットワーク
３０１ 画像入力部
３０２ 文字領域抽出部
３０３ 行切り出し部
３０４ シンボル変換部
３０５ 集計部
３０６ 照合部

Claims (11)

1. 文書画像間の照合を行う画像処理装置であって、
   文書画像における任意の位置の画素の色を判定する色判定手段と、
   色別に水平方向および垂直方向に射影ヒストグラムを算出する射影ヒストグラム算出手段と、
   複数の射影ヒストグラム間の類似性を評価する照合手段と、
   を備えていることを特徴とする画像処理装置。
2. 色別に画素数を計数する画素数計数手段を備え、
   前記射影ヒストグラム算出手段は、前記画素数計数手段の計数結果を参照し、画素数の多い順に射影ヒストグラムを算出し、当該射影ヒストグラムを前記画素数と併記して記録手段に記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記射影ヒストグラム算出手段は、画素数の多い画像から順に射影ヒストグラムを作成することを特徴とする請求項２に記載の画像処理装置。
4. 同じ色同士を比較する比較手段を備えていることを特徴とする請求項１に記載の画像処理装置。
5. 画像データを減色する画像データ減色手段と、
   色情報を量子化する量子化手段と、
   を備えていることを特徴とする請求項４に記載の画像処理装置。
6. 文書画像間の照合を行う画像処理方法であって、
   文書画像における任意の位置の画素の色を判定する色判定工程と、
   色別に水平方向および垂直方向に射影ヒストグラムを算出する射影ヒストグラム算出工程と、
   複数の射影ヒストグラム間の類似性を評価する照合工程と、
   を含むことを特徴とする画像処理方法。
7. 色別に画素数を計数する画素数計数工程を含み、
   前記射影ヒストグラム算出工程は、前記画素数計数工程による計数結果を参照し、画素数の多い順に射影ヒストグラムを算出し、当該射影ヒストグラムを前記画素数と併記して記録手段に記憶することを特徴とする請求項６に記載の画像処理方法。
8. 前記射影ヒストグラム算出工程は、画素数の多い画像から順に射影ヒストグラムを作成することを特徴とする請求項７に記載の画像処理方法。
9. 同じ色同士を比較する比較工程を含むことを特徴とする請求項６に記載の画像処理方法。
10. 画像データを減色する画像データ減色工程と、
    色情報を量子化する量子化工程と、
    を含むことを特徴とする請求項９に記載の画像処理方法。
11. 請求項６〜１０のいずれか一つに記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。

Images