JP2011003022A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】画面に収まらないサイズの表を閲覧するとき、項目と値とが一度に表示されない場合がある。
【解決手段】互いに区画された複数の表要素を含む画像情報を取得し、個々の表要素を画像認識する。当該認識した表要素の各々について、当該表要素の部分の画像に基づいて、予め定めた特徴量情報を生成し、表要素ごとに、それぞれ生成した特徴量情報に基づいて、当該表要素が項目要素であるか、値要素であるかを判断する。そして項目要素と判断された表要素の一つと、値要素と判断された表要素の一つとを、予め定めた条件に基づいて選出し、当該選出した一対の表要素を表示する。
【選択図】図１

Description

本発明は、画像処理装置、及びプログラムに関する。

帳票イメージデータから項目定義情報を自動的に抽出する項目定義情報抽出システムに係り、項目タイプのように、帳票イメージに含まれる形態のみからでは判断しにくい情報の判定を容易にすることを課題として、イメージ入力部１から入力したカラーの帳票イメージデータから、オブジェクト色判定部２が、色別のイメージ形態を抽出し、抽出したイメージ形態が、項目を構成するイメージ単位であるオブジェクトに施された色彩マークであると判断した場合に、色種を出力し、項目定義情報判定部８が、オブジェクト毎に、色種に基づいて、項目定義情報に含まれる項目タイプを判定するという技術が特許文献１に開示されている。

特開２００３−２９６７０５号公報

携帯端末などの小型の画面などで、当該画面に収まらないサイズの表を閲覧するとき、項目と値とが一度に表示されない場合がある。

請求項１記載の発明は、画像処理装置であって、互いに区画された複数の表要素を含む画像情報を取得する取得手段と、個々の表要素を画像認識する画像認識手段と、前記認識した表要素の各々について、当該表要素の部分の画像に基づいて、予め定めた特徴量情報を生成する生成手段と、前記表要素ごとに、それぞれ生成した特徴量情報に基づいて、当該表要素が項目要素であるか、値要素であるかを判断する判断手段と、項目要素と判断された表要素の一つと、値要素と判断された表要素の一つとを、予め定めた条件に基づいて選出する選出手段と、前記選出した一対の表要素を、表示手段に一度に表示させる制御を行う表示制御手段と、を含むこととしたものである。

請求項２記載の発明は、請求項１記載の画像処理装置であって、前記生成手段は、前記認識した表要素の各々について、当該表要素の部分の画像のうち、文字部分を除く背景部分の色の情報を、前記特徴量情報として生成することとしたものである。

請求項３記載の発明は、請求項１または２記載の画像処理装置であって、前記生成手段は、前記認識した表要素の各々について、当該表要素の部分の画像のうち、文字部分の画像が、手書き文字であるか否かを表す情報を、前記特徴量情報として生成することとしたものである。

請求項４記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置であって、前記選出手段は、前記項目要素と判断された表要素のそれぞれについて、前記取得した画像情報内で隣接する前記値要素と判断された表要素が、上下左右のどちらの方向にあるかを判断し、当該判断の結果を方向ごとに集計し、最も数の多い方向に項目要素と表要素とが配列されていると判断し、当該判断の結果により、前記項目要素と判断された表要素のそれぞれについて、当該最も数の多い方向に隣接する、値要素と判断された表要素を対応する表要素とし、当該対応する一対の表要素を選出することとしたものである。

請求項５記載の発明は、プログラムであって、コンピュータを、互いに区画された複数の表要素を含む画像情報を取得する取得手段と、個々の表要素を画像認識する画像認識手段と、前記認識した表要素の各々について、当該表要素の部分の画像に基づいて、予め定めた特徴量情報を生成する生成手段と、前記表要素ごとに、それぞれ生成した特徴量情報に基づいて、当該表要素が項目要素であるか、値要素であるかを判断する判断手段と、項目要素と判断された表要素の一つと、値要素と判断された表要素の一つとを、予め定めた条件に基づいて選出する選出手段と、前記選出した一対の表要素を表示手段に一度に表示させる制御を行う表示制御手段と、として機能させることとしたものである。

請求項１，５記載の発明によると、表の閲覧時に項目と値とが一度に表示される機会を増大させることができる。

請求項２記載の発明によると、項目を含む表要素と値を含む表要素とのそれぞれの背景色が異なっていれば、表の閲覧時に項目と値とが一度に表示される機会を増大させることができる。

請求項３記載の発明によると、項目を含む表要素と値を含む表要素とのいずれかが手書き文字を含むものであれば、表の閲覧時に項目と値とが一度に表示される機会を増大させることができる。

請求項４記載の発明によると、項目を含む表要素と値を含む表要素との配置パターンによって対応する項目の表要素と値の表要素とを関連づけることができる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が処理の対象とする画像情報の例を表す説明図である。 本発明の実施の形態に係る画像処理装置の処理中に生成されるデータの例を表す説明図である。 本発明の実施の形態に係る画像処理装置による画像の表示例を表す説明図である。 本発明の実施の形態に係る画像処理装置の処理の対象となる画像情報の一例を表す説明図である。 本発明の実施の形態に係る画像処理装置の処理例を表すフローチャート図である。

本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４とを含んで構成される。

ここで制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、表を含む画像情報を取得し、当該表に含まれるセル（表要素）を画像認識する。そして認識した表要素の各々について、当該表要素の部分の画像に基づいて、予め定めた特徴量情報を生成しておき、この特徴量情報に基づいて各表要素を項目要素と値要素とのいずれかに分類する。制御部１１はさらに項目要素と判断された表要素の一つと、値要素と判断された表要素の一つとを、予め定めた条件に基づいてペアとして選出し、この選出したペアを単位として表示部１４に表示する。この制御部１１の詳しい処理の内容については、後に述べる。

記憶部１２は、メモリデバイスなどであり、制御部１１によって実行されるプログラムが保持される。このプログラムは例えば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納された状態で提供され、この記憶部１２に複写される。また、この記憶部１２は、制御部１１のワークメモリとしても動作し、処理の対象となる画像情報や、処理過程の各種情報を記憶する。

操作部１３は、キーパッドやタッチパッド等であり、利用者からの操作を受け入れて、当該操作の内容を制御部１１に出力する。表示部１４は、液晶ディスプレイなどであり、制御部１１から入力される指示に従って情報を表示する。

また、本実施の形態の画像処理装置１は、図示しないネットワークインタフェースなどの通信手段を備え、制御部１１は、この通信手段を介して処理の対象となる画像情報を取得することとしてもよい。また、本実施の形態の別の例では、画像処理装置１はカメラなどの撮像手段を備える。そして制御部１１は、当該撮像手段にて撮像された画像情報を処理の対象として取得する。

次に、本実施の形態の制御部１１の動作について詳しく述べる。この制御部１１は、記憶部１２に格納されたプログラムを実行することにより、機能的には、図２に例示するように、画像取得部２１と、セル認識部２２と、特徴量生成部２３と、判断部２４と、選出部２５と、表示制御部２６とを含んで構成される。

画像取得部２１は、処理の対象となる画像情報を取得して記憶部１２に格納する。この画像情報は、既に述べたように、例えばネットワーク等の通信回線を介して受信したものであってもよい。本実施の形態において処理の対象となる画像情報は、図３に例示する帳票のように、少なくとも一つの表（Ｔ）を含む。この表は、互いに区画された複数の表要素（セル）を含んでなるものとする。この区画は罫線により行われていてもよい。なお、実際には罫線はなくても、セルは、仮想的な罫線によって区画された状態（罫線を描こうとすれば描ける状態）であっても構わない。

セル認識部２２は、画像取得部２１にて取得した画像情報を処理の対象として、当該画像情報に含まれる各セルの範囲を表す情報を例えば画像認識により生成する。具体的な処理例としてセルが罫線で区画されている場合、このセル認識部２２は、処理の対象となった画像情報を二値化（白黒二値と）した二値化画像を生成する。そしてハフ変換等の方法により、画像情報から線分を抽出する。

そしてセル認識部２２は、抽出した各線分の傾きから、各線分をＸ軸方向に伸びる線分と、Ｙ軸方向に伸びる線分とに分類する。セル認識部２２は、Ｘ軸方向に伸びる線分として認識された各線分のリスト（傾きと通過点となど、線分を特定する情報の一覧）を生成し、当該リストを当該線分が通る点のＹ座標をキーとして昇順または降順に並べ替え、Ｘ軸線分リストとして記憶部１２に格納する。また、セル認識部２２は、Ｙ軸方向に伸びる線分として認識された各線分のリスト（傾きと通過点となど、線分を特定する情報の一覧）を生成し、当該リストを当該線分が通る点のＸ座標をキーとして昇順または降順に並べ替え、Ｙ軸線分リストとして記憶部１２に格納する。

セル認識部２２は、ｉを１からＮ−１（ＮはＸ軸線分リストに含まれる線分の数）まで、ｊを１からＭ−１（ＭはＹ軸線分リストに含まれる線分の数）までそれぞれ変化させながら、Ｘ軸線分リストのｉ番目の線分と、Ｙ軸線分リストのｊ番目の線分との交点座標Ｃ(i,j)＝（Ｘ(i,j)，Ｙ(i,j)）、及び、Ｘ軸線分リストのｉ＋１番目の線分と、Ｙ軸線分リストのｊ＋１番目の線分との交点座標Ｃ(i+1,j+1)＝（Ｘ(i+1,j+1)，Ｙ(i+1,j+1)）とを求め、これらを関連づけて、セルを特定する座標情報として記憶部１２に格納する。これにより、記憶部１２には、各セル（矩形）の対角線上の各頂点の座標情報が記憶される。

なお、このセル認識部２２は、ここで述べたような処理に限らず、表要素であるセルを特定する情報が生成できれば、どのような処理を行うものであってもよい。例えば罫線が実際には存在しない場合、次のように処理してもよい。すなわち、
（１）処理対象の画像情報を二値化し、
（２）二値化した画像情報の連続画素に外接する矩形を検出し、
（３）検出した各矩形のうち互いに予め定めたしきい値よりも近接している矩形同士をグループ化して、当該グループ化した矩形にさらに外接する外接矩形（グループ外接矩形）を求める処理を、グループ外接矩形が変化しなくなるまで再帰的に実行し、
（４）画像情報から複数のグループ外接矩形が求められた場合に、各グループ外接矩形がマトリクス状に配されているか否かを、例えば各グループ外接矩形の中心座標の配列から判断し（Ｘ軸、Ｙ軸の各方向について、それぞれ互いに隣接する一対のグループ外接矩形の中心座標間の距離の差が予め定めた距離差しきい値より小さい場合、マトリクス状に配されていると判断するなど）、
（５）マトリクス状に配されていると判断した場合、各グループ外接矩形をセルとして、各グループ外接矩形の対角線上の各頂点の座標情報をセルデータベースとして記憶部１２に格納する
こととしてもよい。

特徴量生成部２３は、セル認識部２２によって画定された各セル（表要素）の部分の画像に基づいて、各セルについて予め定めた特徴量情報を生成する。この特徴量生成部３３は、一例として、表要素の部分の画像のうち、文字部分を除く背景部分の色の情報を、特徴量情報として生成する。一般に文字部分の画素の占める面積はセル全体の面積に比べて小さいことから、この場合、特徴量生成部２３は、セル認識部２２によって画定された各セルの範囲内の部分画像を抽出し、当該部分画像に含まれる画素値のヒストグラムを生成し、その最頻値を、背景部分の色の情報とし、特徴量情報とすればよい。またこの特徴量生成部２３は、特開２００８−１８７７１０号公報に開示されているような方法で背景部分の色の情報を特定してもよい。

特徴量生成部２３は、各セルを特定する情報（セルの矩形を画定する座標情報など）に対して、それぞれに特定した背景部分の色の情報を関連づけて、セルデータベースとして記憶部１２に格納する（図４（ａ））。なお、色の情報は、ＲＧＢ（Red Green Blue）の各輝度を表す情報であってもよいし、Ｌａｂなど、輝度と色差とで色を表すものであってもよい。すなわち、この色の情報は、予め定めた色空間内の座標を表すものでよい。

判断部２４は、各セルについてそれぞれ生成した特徴量情報に基づいて、各セルを項目要素（値（value）である数値や文字列等の意味を表す見出しを含むセル）と、値要素（値そのものを含むセル）とのいずれであるかを判断する。つまり、一般に表として表される情報には、項目と値とを対応づけているものが多いと考えられる。例えば住所、氏名を記載する欄が設けられた帳票の場合、「住所」と書かれた項目欄（セル）に対応して、住所を記入するべき欄（セル）が設けられており、「氏名」と書かれた項目欄（セル）に対応して、住所を記入するべき欄（セル）が設けられている。また、月次の売り上げを表す表では、月を表す数値を「項目」として、各月の売り上げを表す数値が「値」として配列される。

本実施の形態では、識別されたセルを、これらでいう「項目を含むセル」であるか「値を含むセル」であるかに分類する。具体的にこの判断部２４は、予め定めた判断条件を満足するか否かにより、セルを「項目要素」と「値要素」とに分類する。

ここで判断条件は、特徴量生成部２３で生成された特徴量情報に基づくものでよい。すなわち、ここでは特徴量情報としてセルの背景部分の色の情報を生成しているが、これは項目要素であるセルの背景が色づけされており、値が記入されるセルの背景が色づけされていない場合を想定しているのである。

この想定の下では、判断部２４は、セルデータベースを参照し、背景部分の色が白色に近いものを「値要素」、白色に近くないものを「項目要素」として判断する。ここで白色に近いか否かは、セルデータベースに含まれている背景部分の色の情報を表現する色空間内における白色の点（予め定めておく）の座標から、当該背景部分の色の情報を表す座標までの、当該色空間上での距離が、予め定めた距離しきい値より大きいか否かにより判断する。つまり、白色の点の座標から、当該背景部分の色の情報を表す座標までの、当該色空間上での距離が、予め定めた距離しきい値を下回る場合に、白色に近いとして、当該背景部分の色に関連づけられたセルを「値要素」と判断する。また、白色の点の座標から、当該背景部分の色の情報を表す座標までの、当該色空間上での距離が、予め定めた距離しきい値を下回らない場合に、白色に近くないとして、当該背景部分の色に関連づけられたセルを「項目要素」と判断する。そして判断部２４は、セルデータベースの対応するセルに、判断の結果（項目要素であるか、値要素であるかを表す情報）を関連づけて記録する（図４（ｂ））。なお、判断部２４における判断の態様は、この例だけに限られるものではないので、別の例について、後に説明する。

選出部２５は、項目要素と判断された表要素の一つと、値要素と判断された表要素の一つとを、予め定めた条件に基づいて、ペアとして選出する。

一例として本実施の形態の選出部２５は、セルデータベースに記録されている各セルの中心座標を算出し、当該算出した中心座標の情報を、セルデータベースの対応するセルに関連づけて記録する。本実施の形態では、各セルの対角線上の２つの頂点座標が得られているので、これらの平均値として中心座標を演算すればよい。

選出部２５は、項目要素に分類されているセルの一つを注目セルとして選択し、この注目セルの中心座標（以下、区別のために「基準座標」と呼ぶ）をセルデータベースから取得する。そして、セルデータベースにおいて値要素に分類されている各セルの中心座標と、上記基準座標との距離を演算する。選出部２５は、演算した距離のうち、最も小さい距離となっている値要素のセルの中心座標を見いだす。そして選出部２５は、当該見いだした中心座標に関連づけられている値要素のセルと、注目セルとを、互いに隣接するセルと判断する。

選出部２５は、ここで互いに隣接するセルと判断した注目セル（項目要素に分類されたセル）と、値要素のセルとをペアとして選出し、当該ペアに固有のペア識別子を発行して、セルデータベースの当該選出した一対のセルを特定する情報のそれぞれに当該発行したペア識別子を関連づけて記録する（図４（ｃ））。

選出部２５は、上記の処理を、項目要素に分類されている各セルについて行い、項目要素に分類されている各セルに対して、当該セルに隣接する値要素のセルを検出し、ペアとなる項目要素のセルと、値要素のセルとして、当該ペアに固有のペア識別子を発行して、セルデータベースの当該選出した一対のセルを特定する情報のそれぞれに当該発行したペア識別子を関連づけて記録する。

なお、ここで選出部２５は、項目要素と判断された各セルについて、対応する値要素と判断されたセルを見出すようにしているが、これは逆でもよい。つまり、値要素と判断された各セルを順次注目セルとして選択し、当該注目セルに対応する項目要素のセルを見出すようにしてもよい。また、どちらを注目セルとして選択していくかは、注目要素と判断されたセルの数と、値要素と判断されたセルの数とを比較し、より数の多い方の種類（項目要素または値要素）のセルを逐次、注目セルとして選択し、対応する他方の種類のセル（値要素のセルを注目要素とする場合、項目要素のセル。項目要素のセルを注目要素とする場合、値要素のセル）を見出すようにすればよい。

表示制御部２６は、共通のペア識別子に関連づけられた一対のセルを少なくとも一組、表示させる制御を行う。本実施のある例では、この表示制御部２６は、選出した一対の表要素を表示手段たる表示部１４に一度に表示させる。具体的には、この表示制御部２６は、予め定めた方法で最初に表示する少なくとも一対のセルを選択する。この選択は例えば、中心座標が最も左上隅に近い位置にある項目要素と、それに対応する値要素のセルのペアとするなどとすればよい。

表示制御部２６は、選択したペアに係る各セルを特定する情報をセルデータベースから読み出す。そして処理の対象となっている画像情報のうち、当該情報によって画定される座標の範囲の部分画像を、各セルに対応する部分画像として抽出する。表示制御部２６は、そして各セルに対応して抽出された部分画像を表示部１４に表示する。

この表示の態様は、必ずしも各セルの画像情報上での配置関係（例えば項目要素の右に値要素のセルがあるなど）に関わらず、表示部１４の表示領域の高さや幅に合わせて適宜調整しても構わない。こうした表示態様のいくつかの例について、図５に示す。図５（ａ）では項目要素のセルと、対応する値要素のセルとを左右に配した例を、図５（ｂ）では項目要素のセルと、対応する値要素のセルとを上下に配した例を、それぞれ示している。

また、この表示制御部２６は、利用者の操作に応じて、表示する一対のセルを変化させる。例えば、当初は画像情報のうち最も左上隅に近い位置にあるセルを含む一対のセルを表示し、「下」（または右）へ移動する操作（次のセルのペアを表示する操作）を受けると、次に左上隅に近い位置にあるセルを含む一対のセルを表示し…というように、予め定めた順序で一対のセルをそれぞれ表示する。

［判断部２４の別の処理例］
次に、判断部２４の別の処理例について述べる。すなわち、特に値要素のセルに対して、人が手書きにて値を記入している場合、認識したセルの各々について、セルの部分の画像のうち、文字部分の画像が、手書き文字であるか否かを判断し、手書き文字であれば、当該セルを値要素のセルとし、手書き文字でなければ当該セルを項目要素のセルとする。

ここで手書き文字であるか否かは、例えばセル部分の画像を白黒に二値化し、有意な画素（例えば黒色の画素等、白画素と黒画素とのうち、数の少ない方の画素）により構成される線分が直線であるか、または線分の太さが均一であるかを判断し、有意な画素により構成される線分が直線であるか、または線分の太さが均一である場合に当該セル内には活字体の文字（手書きでない文字）が描かれていると判断する。また、有意な画素により構成される線分が直線でなく、かつ線分の太さが均一でない場合は、セル内に手書き文字が描かれていると判断する。

また本実施の形態では、特開平１０−２１４３０８号公報に開示された技術を利用し、特徴量生成部２３に、各セル内の画像部分から文字矩形（黒画素連結矩形）を抽出させ、当該抽出した各矩形の面積を算出させて、各矩形の面積の標準偏差（Ｄ）を各セルの特徴量として求めさせてもよい。この場合、判断部２４は、この標準偏差Ｄが所定の閾値Ｄｔｈを越えていたセルについて、当該セル内の画像部分に含まれた文字は手書き文字であると判定し、閾値Ｄｔｈより小さいセルについては、当該セル内の画像部分に含まれた文字は活字文字であると判定してもよい。

判断部２４は、セルデータベースの対応するセルに、判断の結果（項目要素であるか、値要素であるかを表す情報）を関連づけて記録する。

［分類の妥当性判定］
判断部２４は、以上のようにして、セル毎にその背景の色、またはセルの前景である文字が手書きであるか否かにより、すなわち、外形的特徴により各セルを項目要素のセルであるか、値要素のセルであるかに分類する。判断部２４は、この場合に、各セルの分類の妥当性を次のようにして評価してもよい。

すなわち判断部２４は、セルを項目要素のセルであるか、値要素のセルであるかに分類した後、セルデータベースを参照して項目要素に分類されたセルの数Ｎidxをカウントする。またセルデータベースを参照して値要素に分類されたセルの数Ｎvalもカウントする。判断部２４は、これらの値の差、
ΔＮ＝｜Ｎidx−Ｎval｜
を算出し（ここで｜ｘ｜は、ｘの絶対値を意味する）、ΔＮが予め定めたセル数差しきい値Ｎthを下回るか否かを判断する。そして判断部２４は、ΔＮが予め定めたセル数差しきい値Ｎthを下回る場合（項目要素に分類されたセルの数と値要素に分類されたセルの数とが、基準値として予め定められたセル数差しきい値Ｎthよりも近接している場合）、分類は妥当であったと判断して、選出部２５に処理を行わせる。

一方、ΔＮが予め定めたセル数差しきい値Ｎthを下回るか否かを判断する。そしてΔＮが予め定めたセル数差しきい値Ｎthを下回らない場合（項目要素に分類されたセルの数と値要素に分類されたセルの数とが、基準値として予め定められたセル数差しきい値Ｎthよりも大きい場合）、判断部２４は分類が妥当でないと判断する。この場合、判断部２４は、従来通りの表示（例えば画像情報の一部を抽出してスクロール表示するなど）を行うこととしてもよい。

［複数の処理の組み合わせ］
さらに本実施の形態では、判断部２４が、セルを項目要素のセルであるか値要素のセルであるかを分類する方法として、複数の判断を組み合わせて行ってもよい。例えば、セルの画像部分の背景色が白色であり、かつ手書き文字を含むときに、当該セルを値要素のセルであると判断し、セルの画像部分の背景色が白色でないか、または手書き文字を含まない場合に、当該セルを項目要素のセルであると判断する等としてもよい。

さらに、セルを項目要素のセルであるか値要素のセルであるかの分類を行う他の方法（背景色や文字の手書きか否か以外の方法）を組み合わせてもよい。

また、組み合わせの方法としても、例えば、背景色による判断を行った後、当該判断に基づく分類の妥当性を判定し、妥当でなかった場合に、セルの画像部分に手書き文字を含むか否かによる判断を行い、当該判断に基づく分類の妥当性を判定して妥当であれば、当該分類を利用して処理を行ってもよい。この場合は、セルの画像部分に手書き文字を含むか否かによる判断に基づく分類が妥当でないと判定したときに、従来通りの表示を行うこととしてもよい。

［分類を完全にしない例］
なお、本実施の形態では、すべてのセルが項目要素と値要素とに分類されなければならないものでもない。例えば、背景色によりセルを分類する場合、セルの背景色のうち最も数の多い２色を検出し、当該２色のいずれかを項目要素のセルの背景色とし、他方を値要素のセルの背景色としてもよい（このとき、どちらが項目要素であり値要素であるかは問わなくてもよい）。

そして、これらの２色のいずれでもない色の背景色となっているセルについては、分類をしないこととする。この場合、表示制御部２６は、当該セルは、単独で表示するなどとしてもよい。

［選出部２５の別の処理例］
本実施の形態において処理の対象とされる画像では、項目要素のセルや値要素のセルのそれぞれのサイズは必ずしも一定ではない。従って、図６に例示するように、項目要素のセルの右側に対応する値要素のセルがある場合であっても、単に中心座標間の距離が最小であるとの条件だけで対応するセルのペアを選択させると、項目要素のセルや値要素のセルのサイズによっては、下にある値要素が隣接するセルとして認識されるケースもある。図６の例では、「氏名」の項目要素のセルＣ１の中心座標をＭ１、それに対応するべき値要素のセルＣ２の中心座標をＶ１、「年齢」の項目要素のセルＣ３の中心座標をＭ２、それに対応するべき値要素のセルＣ４の中心座標をＶ２とするとき、図６から明らかに、Ｍ１Ｖ１間の距離よりもＭ１Ｖ２間の距離が最短であるので、「氏名」の項目要素のセルＣ１について、最短距離にあるセルを対応するセルと判断してしまうと、「年齢」に対応するべき値要素のセルＣ４が選択されてしまう。

そこで選出部２５は、次のような処理を行ってもよい。すなわち、本実施の形態のある態様に係る選出部２５は、項目要素に分類されている各セルについて、当該セル（自セル）に隣接する値要素のセルが、自セルの上下左右のどちらの方向にあるかを判断する。この判断は、自セルの中心座標（Ｘself，Ｙself）と隣接するものとされた値要素のセル（Ｘneighbour，Ｙneighbour）との中心座標のＸ軸方向の差ΔＸ＝（Ｘneighbour−Ｘself）とＹ軸方向の差ΔＹ＝（Ｙneighbour−Ｙself）とを比較し、隣接する値要素のセルの位置を、
｜ΔＸ｜＜｜ΔＹ｜かつ、ΔＹ＜０であれば、上方向（図３に例示した画像情報で、Ｙ軸の向きを下方にとった場合）と判断し、
｜ΔＸ｜＜｜ΔＹ｜かつ、ΔＹ＞０であれば、下方向（図３に例示した画像情報で、Ｙ軸の向きを下方にとった場合）と判断し、
｜ΔＸ｜＞｜ΔＹ｜かつ、ΔＸ＜０であれば、左方向（図３に例示した画像情報で、Ｘ軸の向きを右方にとった場合）と判断し、
｜ΔＸ｜＞｜ΔＹ｜かつ、ΔＸ＞０であれば、右方向（図３に例示した画像情報で、Ｘ軸の向きを右方にとった場合）と判断する。ただし、｜Ｘ｜は、Ｘの絶対値を演算することを意味する。

こうして、各項目要素のセルについて隣接する値要素のセルが上下左右のどちらにあるかを判断すると、選出部２５は、

隣接する値要素のセルが上方向にあった各項目要素のセルの数Ｎupと、
隣接する値要素のセルが下方向にあった各項目要素のセルの数Ｎdownと、
隣接する値要素のセルが左方向にあった各項目要素のセルの数Ｎleftと、
隣接する値要素のセルが右方向にあった各項目要素のセルの数Ｎrightと、
をカウントして、判断の結果を集計する。

選出部２５は、集計が完了すると、これらＮup、Ｎdown、Ｎleft、Ｎrightのうち、最も数の多いものがどれであるかを調べ、最も数の多い値に関連する方向（Ｎupが最大であれば「上方向」、Ｎdownが最大であれば「下方向」、Ｎleftが最大であれば「左方向」、Ｎrightが最大であれば「右方向」）を検出する。選出部２５は、ここで検出した方向（以下、配列方向と呼ぶ）に、互いに関連する項目要素のセルと表要素のセルとが隣接して配列されているものと判断する。

選出部２５は次に、各項目要素のセルについて、その配列方向に隣接する値要素のセルをペアとして、当該ペアに固有のペア識別子を発行して、セルデータベースの当該選出した一対のセルを特定する情報のそれぞれに当該発行したペア識別子を関連づけて記録する。

ここで配列方向に隣接するセルを検出するには、検出の対象である項目要素のセルを特定する情報（左上隅座標（ｘlt，ｙlt）、右下隅座標（ｘrb，ｙrb））を用い、
配列方向が右方向である場合、中心座標（ｘc，ｙc）が、ｘc＞ｘrb、かつ、ｙlt＜ｙc＜ｙrbである値要素のセルのうち、検出の対象の項目要素のセルの中心座標と、上記中心座標（ｘc，ｙc）との距離が最も小さいもの
配列方向が左方向である場合、中心座標（ｘc，ｙc）が、ｘc＜ｘlt、かつ、ｙlt＜ｙc＜ｙrbである値要素のセルのうち、検出の対象の項目要素のセルの中心座標と、上記中心座標（ｘc，ｙc）との距離が最も小さいもの
配列方向が上方向である場合、中心座標（ｘc，ｙc）が、ｙc＜ｙlt、かつ、ｘlt＜ｘc＜ｘrbである値要素のセルのうち、検出の対象の項目要素のセルの中心座標と、上記中心座標（ｘc，ｙc）との距離が最も小さいもの
配列方向が下方向である場合、中心座標（ｘc，ｙc）が、ｙc＞ｙrb、かつ、ｘlt＜ｘc＜ｘrbである値要素のセルのうち、検出の対象の項目要素のセルの中心座標と、上記中心座標（ｘc，ｙc）との距離が最も小さいもの
を検出すればよい。

この例であれば、図６において、最短の距離にある項目要素と値要素との各セルを関連づけ、
Ｃ１とＣ４、
Ｃ３とＣ４、
Ｃ５とＣ６、
Ｃ７とＣ８…
というように関連づけられた場合、
Ｎdown＝１、Ｎright≧３
となるので、項目要素の右隣に値要素があると判断され、Ｃ１に対して隣接するセルの中心座標Ｖ２が見出されて、最終的には、Ｃ１とＣ２とが関連づけられる。

［表示制御部２６の別の処理例］
さらに、本実施の形態の表示制御部２６は、共通のペア識別子に関連づけられた一対のセルを少なくとも一組表示する際に、次のように処理を行ってもよい。すなわち、表示制御部２６は、
（１）一対のセルにそれぞれ対応する画像部分について、その前景となる文字部分に外接する矩形を切り出して、当該切り出した矩形内の画像部分を、配列して表示してもよい（いわば余白の切り取り表示）。
（２）また、一度に表示するセルのサイズが互いに異なる場合、サイズが最小のセルまたはサイズが最大のセルが表示部１４内に定めた表示サイズにちょうど収まるよう、一度に表示するセルを同じ割合で拡大ないし縮小してもよい。
（３）さらに、一度に表示するセルのサイズが互いに異なる場合、各セルのサイズがすべて同じとなるよう、各セルを拡大・縮小してもよい。この場合、各セルのサイズは、表示部１４内に定めた表示サイズにちょうど収まるサイズとしてもよい。
（４）また、項目要素であるか表要素であるかを背景色に基づいて分類した場合など、セルに背景色がある場合は、背景色を除去して表示してもよい。
（５）（４）のように、背景色を除去した場合は、項目要素のセルの画像部分に含まれる文字（前景）と、表要素のセルの画像部分に含まれる文字（前景）とが互いに異なる色となるように、各文字（前景）の描画色を設定してもよい。
（６）項目要素と判断されたセルの文字部分を抽出（余白を除去するなど）し、値要素と判断されたセルの余白（文字のない部分）に、当該抽出した文字部分を合成して表示してもよい。
（７）当初は値要素と判断されたセルのみを表示し、利用者が操作（表示を切り替える操作など）を予め定めた一定の時間行わない場合に、項目要素のセル内の文字を、例えば（６）の態様で表示してもよい。この場合、当該項目要素のセルの文字は、半透明合成してもよいし、その色を予め定めた色に設定してもよい。

さらに、本実施の形態の表示制御部２６は、表示部１４に対して表示を行うのではなく、指定された宛先へ、共通のペア識別子に関連づけられた一対のセルを少なくとも一組、一度に表示させるための指示を送信してもよい。この宛先は例えば利用者の携帯端末装置であってもよい。宛先となった装置では、本実施の形態の画像処理装置１から送信された指示に従って、その表示装置（液晶ディスプレイなど）に、本実施の形態の画像処理装置１において共通のペア識別子に関連づけられた一対のセルを少なくとも一組、一度に表示する。つまりこの場合は、例えば利用者がスキャンした画像をサービス提供者側の画像処理装置１において処理し、当該スキャンした利用者又は他の利用者が持つ遠隔の携帯端末に対して、対応する一対のセルを一度に表示させるよう指示が行われる。

［動作］
以上の構成を備えた本実施の形態の画像処理装置１は、次のように動作する。本実施の形態の画像処理装置１は、例えばネットワークなどの通信手段を介して、処理の対象となる画像情報を取得し、図７に示す処理を開始する。この画像情報は、図３に例示したように互いに区画された複数の表要素（セル）を含んでなる表を含む。

画像処理装置１は、処理の対象となった画像情報に含まれる各セルの範囲を表す情報を生成する（Ｓ１）。そして各セルについて背景色等の特徴量を算出する（Ｓ２）。画像処理装置１は、各セルの特徴量を参照して、各セルを項目要素のセルであるか、値要素のセルであるかに分類する（Ｓ３）。そして分類の結果、項目要素に分類されたセルの数と、値要素に分類されたセルの数との差の絶対値が予め定めたしきい値を下回るか否かを判断し（Ｓ４）、ここでしきい値を下回ると判断したときに（Yesのときに）、当該分類の結果に基づいて、項目要素と分類されたセルの各々に対して、値要素と分類されたセルの一つを、対応するセルとして関連づける（Ｓ５）。この関連づけは、既に述べたように、セル間の距離に基づいて行われてもよいし、項目要素と判断されるセルに隣接する値要素と判断されるセルの配置方向（上下左右）のうち、最も数の多い方向を検出し、各項目要素のセルについて、上記検出した方向に隣接する値要素のセルを、対応するセルとさせてもよい。そして画像処理装置１は、互いに関連づけられた一対のセルが一度に表示されるように、表示部に表示出力する（Ｓ６）。

なお、処理Ｓ４において、しきい値を下回らないと判断したときに（Noのときに）は、従来通りに処理対象の画像情報の一部（表示部１４のサイズに基づいて定める）を切り出して表示し、利用者の操作によって当該切り出し範囲を変化させる、いわゆるスクロール表示を行う（Ｓ７）。

本実施の形態の画像処理装置１は次のように動作してもよい。すなわち、画像処理装置１は、当初は図７の処理Ｓ１からＳ５までの処理を行っておき、画像情報のうち、表示する範囲（予め定められているサイズ）を抽出して、表示部１４に表示可能なサイズに拡大・縮小する。ここで、当該抽出した範囲の画像部分に表が含まれているか否かを判断し、表が含まれていると判断すると、表の表示モードとして、処理Ｓ６の処理を行う。ここでは、表のうち、例えば左上隅のセルから順送りの指示を受けるごとに右のセルへと順に（右にセルがない場合は、下側で最も左にあるセルへと順に）選択し、当該選択したセルと、当該選択したセルに関連づけられたセルの一対のセルを一度に表示していく（仮に当該選択したセルが項目要素にも値要素にも分類されておらず、関連づけられた他のセルがない場合は当該選択したセルを単独で表示することとしてもよい）。そして最後のセル（右下のセル）において次のセルを表示する指示が行われたときには、表よりも右側、または下側にある画像部分を切り出して表示する。また別の例では、表の表示モードとなるべき旨の操作が行われたときに、図７に示した処理を行うこととしてもよい。

本実施の形態によると、項目と値とが一度に表示される機会を増大させることができる。

１ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、２１ 画像取得部、２２ セル認識部、２３ 特徴量生成部、２４ 判断部、２５ 選出部、２６ 表示制御部。

Claims (5)

1. 互いに区画された複数の表要素を含む画像情報を取得する取得手段と、
   個々の表要素を画像認識する画像認識手段と、
   前記認識した表要素の各々について、当該表要素の部分の画像に基づいて、予め定めた特徴量情報を生成する生成手段と、
   前記表要素ごとに、それぞれ生成した特徴量情報に基づいて、当該表要素が項目要素であるか、値要素であるかを判断する判断手段と、
   項目要素と判断された表要素の一つと、値要素と判断された表要素の一つとを、予め定めた条件に基づいて選出する選出手段と、
   前記選出した一対の表要素を表示手段に一度に表示させる制御を行う表示制御手段と、
   を含む画像処理装置。
2. 前記生成手段は、前記認識した表要素の各々について、当該表要素の部分の画像のうち、文字部分を除く背景部分の色の情報を、前記特徴量情報として生成する請求項１記載の画像処理装置。
3. 前記生成手段は、前記認識した表要素の各々について、当該表要素の部分の画像のうち、文字部分の画像が、手書き文字であるか否かを表す情報を、前記特徴量情報として生成する請求項１または２記載の画像処理装置。
4. 前記選出手段は、
   前記項目要素と判断された表要素のそれぞれについて、前記取得した画像情報内で隣接する前記値要素と判断された表要素が、上下左右のどちらの方向にあるかを判断し、
   当該判断の結果を方向ごとに集計し、
   最も数の多い方向に項目要素と表要素とが配列されていると判断し、
   当該判断の結果により、前記項目要素と判断された表要素のそれぞれについて、当該最も数の多い方向に隣接する、値要素と判断された表要素を対応する表要素とし、当該対応する一対の表要素を選出する
   請求項１から３のいずれか一項に記載の画像処理装置。
5. コンピュータを、
   互いに区画された複数の表要素を含む画像情報を取得する取得手段と、
   個々の表要素を画像認識する画像認識手段と、
   前記認識した表要素の各々について、当該表要素の部分の画像に基づいて、予め定めた特徴量情報を生成する生成手段と、
   前記表要素ごとに、それぞれ生成した特徴量情報に基づいて、当該表要素が項目要素であるか、値要素であるかを判断する判断手段と、
   項目要素と判断された表要素の一つと、値要素と判断された表要素の一つとを、予め定めた条件に基づいて選出する選出手段と、
   前記選出した一対の表要素を表示手段に一度に表示させる制御を行う表示制御手段と、
   として機能させることを特徴とするプログラム。

Images