JP2016116129A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 タブ原稿を考慮した原稿画像の読み取りを行う。【解決手段】 タブ判定部101は、原稿から読み取られた画像の、原稿の本体部に相当する本体領域および原稿のタブ部に相当するタブ領域を判定する。情報検出部102は、タブ領域に記録されたタブ情報を検出する。制御部106は、タブ情報の検出結果に基づき、原稿から読み取られた画像から出力画像を生成する。【選択図】 図2

Description

本発明は、原稿画像を読み取る画像処理に関する。

書類を管理する際に、書類の束をグループとしてまとめる目印としてタブが利用される場合がある。タブを有する原稿（以下、タブ原稿）と、続くタブがない原稿をまとめて電子化する際は、タブ原稿の画像に処理を加えることで、画像ファイルの管理を支援する技術が求められる。

例えば特許文献1に記載された技術は、タブの文字を読み取り、その内容に基づいて目次を生成する。

また、特許文献2に記載された技術は、タブ原稿の画像を読み取った場合、タブを含む領域、または、タブを含まない領域を規定して、領域の画像を切り出す。しかし、特許文献2の技術は、タブを含む領域とタブを含まない領域のどちらの画像を切り出すかは、ユーザの選択に委ねられている。そのため、タブに情報があるか否かによって切出領域を変えたい場合、タブに情報があるか否かをユーザ自身が確認して設定を変える、煩わしい操作が必要である。

さらに、複数の原稿をまとめて読み取り、タブを含む画像とタブを含まない画像の両方を保存すると、原稿の文字サイズが同じだとしても、画面の幅、高さに合わせて画像を表示した場合、タブの有無によって表示される文字の大きさが異なる問題がある。

特開2010-130500号公報 特開2013-047874号公報

本発明は、タブ原稿を考慮した原稿画像の読み取りを行う仕組みを提供する。

本発明にかかる画像処理は、原稿から読み取られる画像領域のうち前記原稿の本体部に相当する本体領域、および、前記原稿のタブ部に相当するタブ領域を判定し、前記タブ領域に記録されたタブ情報を検出し、前記タブ情報の検出結果に基づき、前記原稿から読み取られた画像から出力画像を生成する。

本発明によれば、タブ原稿を考慮した原稿画像の読み取りが可能になる。

実施例の画像処理装置である画像読取装置の概観を示す図。 画像読取装置の画像処理部の構成例を示すブロック図。 タブを有する原稿（タブ原稿）を説明する図。 タブ原稿を読み取って得られる画像（タブ原稿画像）を説明する図。 読取設定ダイアログの一例を示す図。 画像読取動作を説明するフローチャート。 タブ原稿を読み取ったタブ原稿画像の一例を示す図。 微分値画像を示す図。 微分値画像から得られる二値画像を示す図。 二値化値の和の算出結果を示す図。 境界線の検出処理を説明するフローチャート。 特徴点を説明する図。 タブ判定処理を説明するフローチャート。 タブの有無の判定を説明する図。 タブ領域の抽出方法を説明する図。 タブ境界線および領域分割を示す図。 様々な形状のタブ例を示す図。 サイズ合わせ処理を説明するフローチャート。 タブ領域の設定を説明する図。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1により実施例の画像処理装置である画像読取装置10の概観を示す。

画像読取装置10は、給紙トレイ14に積載された原稿Dを装置内に給送する給送ローラ13、原稿Dを一枚ずつ分離する分離ローラ15、原稿Dを搬送するレジストローラ対11a、11b、排紙ローラ対12a、12bなどを有する。さらに、レジストローラ対11a、11bと排紙ローラ対12a、12bの間に配置され、搬送される原稿Dの画像を読み取る読取ユニット16a、16bを有する。

画像読取装置10は、下部フレーム10aおよび上部フレーム10bから構成され、上部フレーム10bが不図示の回動軸を中心に回動可能である。下部フレーム10aには原稿Dの一方の面の画像を読み取る読取ユニット16a、上部フレーム10bには原稿Dの他方の面の画像を読み取る読取ユニット16bが固定されている。読取ユニット16a、16bには、不図示のラインイメージセンサと光源が備わる。

画像読取装置10は、給送ローラ3によって原稿Dを装置内に取り込む。原稿Dは、レジストローラ対11a、11bによって挟持されて搬送され、例えば、原稿Dの表面の画像が読取ユニット16aによって読み取られ、原稿Dの裏面の画像が読取ユニット16bによって読み取られる。なお、読取ユニット16a、16bは、ラインイメージセンサにより、原稿Dの搬送方向（副走査方向）に直交する主走査方向単位（ライン単位）に画像を読み取る。画像読取が終了した原稿Dは排紙ローラ対12a、12bによって挟持され搬送されて装置外へ排出される。

画像の読み取りは、原稿Dの先端が図示しないレジストセンサを通過した後に開始され、原稿Dがレジストセンサを通過し終わった後に終了する。ただし、レジストセンサで検知される原稿の大きさよりも所定長だけ大きめに画像を読み取る。所定長は、タブの幅が収まる長さとする。あるいは、画像読取装置10が読取可能な最大サイズで原稿Dの画像を読み取ってもよい。

図2のブロック図により画像読取装置10の画像処理部の構成例を示す。

制御部106は、記憶部104のRAMをワークメモリとして記憶部104のROMに格納されたプログラムを実行し、システムバス109を介して画像読取装置10の全体を統括する。

画像入力部100は、読取ユニット16a、16bの光源とラインイメージセンサを制御し、読取ユニット16a、16bから出力されるアナログ信号をディジタル信号に変換するアナログディジタル変換器(ADC)を有する。つまり、光源によって搬送される原稿Dを照明し、原稿Dから反射される光をラインイメージセンサによって光電変換して得られる所定解像度のアナログ信号をADCによってディジタル信号に変換することで、所定色深度の画像データとして原稿画像を入力する。入力された原稿画像は記憶部104のRAMに格納される。

タブ判定部101は、入力された原稿画像からタブの有無を判定する。情報検出部102は、タブ領域内の文字や記号などの情報を検出する。画像切出部103は、タブ判定部101で判定されたタブの有無やタブ領域内の情報の検出結果に応じて、原稿画像から一部領域の画像を切り出す。画像合成部105は、タブが検出されない原稿画像に、他の原稿画像において検出されたタブに相当する画像（以下、タブ画像）を合成する。

インタフェイス107は、USBなどのシリアルバスインタフェイスや有線または無線ネットワーク用のネットワークインタフェイスである。制御部106は、インタフェイス107を介して情報処理装置201との間で通信を行い、情報処理装置201から画像読取条件の設定指示や原稿Dの読取指示を受信し、読み取った原稿画像の画像データを情報処理装置201に送信する。なお、情報処理装置201は、コンピュータ、タブレットコンピュータ、スマートフォンなどのコンピュータ機器である。

駆動部108は、給送ローラ13、分離ローラ15、レジストローラ11a、排紙ローラ12aなどを回転させるモータを備える。

［タブ原稿］
図3によりタブを有する原稿（以下、タブ原稿）を説明する。

図3(a)に示すように、タブ原稿30は、原稿の本体部31とタブ部32を有する。タブ原稿30の使用方法として、グループが異なる書類を一つにまとめる際に、図3(b)に示すように、タブ原稿30aと30bをグループの境界に挿入する。

この方法によれば、書類が綴じられた状態でもタブ部32が参照可能になり、グループの境界が明確になる。さらに、タブ部32に文字や文字列などの情報（以下、タブ情報）を記録すれば、各グループの分類を明示することができる。つまり、図3(c)に示すように、タブ原稿30aからタブ原稿30bの直前までの書類がグループ「ABC」であり、タブ原稿30b以降の書類がグループ「DEF」であることがタブ部32に記録された文字によって明示される。

図4によりタブ原稿30を読み取って得られる画像（以下、タブ原稿画像）を説明する。

図4(a)に示すタブ原稿画像40は、タブ原稿30から読み取られる画像である。図4(b)に示すように、タブ原稿画像40には、ラインイメージセンサの対向側の背景が映し出された背景領域41、および、タブ原稿30の画像であるタブ原稿領域42が含まれる。図4(c)に示すように、タブ原稿領域42には、タブ原稿30の本体部31の画像である本体領域43、および、タブ部32の画像であるタブ領域44が含まれる。

以下では、図4(c)に示すように、本体領域43とタブ領域44を含む矩形領域45を「全体領域」と呼び、図4(d)に示すように、全体領域45から本体領域43を除いた領域46を「タブ領域」と呼ぶことにする。

［画像読取設定］
図5により情報処理装置201のモニタに画像読取設定用のユーザインタフェイス(UI)として表示される読取設定ダイアログ20の一例を示す。なお、当該UIは、情報処理装置201にスキャナドライバとして供給されるプログラムを情報処理装置201のCPUが実行することで表示される。

読取設定ダイアログ20には、カラー/グレイ/モノクロなどの読取モード、原稿サイズ、解像度、片面/両面の読取面、画像データのファイル形式、OCRなどを設定するためのドロップボックス、画像読取開始を指示する「スキャン」ボタンなどが含まれる。

読取設定ダイアログ20には、さらに、タブ情報判定機能のオンオフを設定するタブ判定ドロップボックス21が備わる。タブ情報判定機能は、タブ原稿30のタブ部32にタブ情報があるか否かを判定し、タブ情報の有無によって、画像の切出領域を変更する機能である。

タブ判定ドロップボックス21の設定（以下、タブ判定設定）がオンの場合、タブ情報が無ければ、タブ領域44を不要とみなして本体領域43が切出領域に設定される。また、タブ情報があれば、タブ領域44を必要とみなし全体領域45が切出領域に設定される。また、タブ判定設定がオフの場合、タブ情報の有無に関らず、全体領域45が切出領域に設定される。なお、切出領域の設定処理の詳細は後述する。

読取設定ダイアログ20には、さらに、サイズ合わせ機能を設定するサイズ合わせドロップボックス22が備わる。サイズ合わせ機能は、タブ原稿とタブがない原稿（以下、通常原稿）を複数読み取った際、タブの有無によって画像のサイズが異なり、幅、高さを画面に合わせて表示する際に、文字サイズが変化する問題を防ぐ機能である。

サイズ合わせドロップボックス22によって、例えば「サイズ合わせオフ」「タブを削除してサイズを合わせる」「タブを付加してサイズを合わせる」の何れかを選択可能である。サイズ合わせ処理の詳細は後述するが、サイズ合わせの概要を説明する。

「サイズ合わせオフ」は、サイズ合わせ処理を行わないサイズ合わせ設定である。そのため、通常原稿の画像の切出領域に本体領域43が設定され、タブ原稿の画像の切出領域にタブを含む全体領域45が設定される。

「タブを削除してサイズを合わせる」（以下、タブ削除）は、本体部31のサイズによって画像サイズを統一するサイズ合わせ設定である。そのため、タブの有無に関らず、すべての原稿の画像の切出領域に本体領域43が設定される。

「タブを付加してサイズを合わせる」（以下、タブ付加）は、タブ領域44を含む全体領域45のサイズによって画像サイズを統一するサイズ合わせ設定である。そのため、タブ原稿に続き、次のタブ原稿の直前まで通常原稿を一つグループとみなして、当該グループの画像に対して先頭のタブ原稿のタブ領域の画像が付加される。

なお、サイズ合わせ設定としてタブ削除が設定されている場合、タブ判定設定に関わらず、画像保存時にすべてのタブ原稿の画像からタブ領域が削除される。従って、タブ削除が設定された場合、タブ判定ダイアログボックス21の設定はオフになる。

なお、画像読取設定は、情報処理装置201からの受信に限らず、画像読取装置10の筐体に設置された図示しないオペレーションパネル等を用いて行うこともできる。

［画像読取動作］
図6のフローチャートにより画像読取動作を説明する。

制御部106は、情報処理装置201から画像読取開始のユーザ指示を受信すると(S501)、読取設定ダイアログ20において設定された画像読取設定を取得する(S502)。

次に、制御部106は、給紙トレイ14に原稿Dがあるか否かを判定し(S503)、原稿Dがない場合は原稿トレイに原稿がない旨のメッセージを情報処理装置に送信し(S504)、処理をステップS501に戻して画像読取開始のユーザ指示の受信を待つ。

給紙トレイ14に原稿Dがある場合、制御部106は、駆動部108を制御して原稿Dの搬送を開始し、画像入力部100を制御して搬送される原稿Dの画像を読み取り(S505)、読み取った画像から境界線を検出する(S506)。ここで検出する境界線は、読み取った画像の原稿領域と背景領域の境界に対応する画素の並びであり、境界線の検出の詳細は後述する。

次に、制御部106は、詳細は後述するが、特徴点を抽出し(S507)、タブ判定設定がオンかオフかを判定する(S508)。タブ判定設定がオンの場合は後述するタブ判定処理(S509)を実行する。なお、詳細は後述するが、タブ判定処理(S509)により、全体領域45または本体領域43（図4参照）の画像が切り出され、当該画像が記憶部104のRAMの所定領域に格納される。

タブ判定設定がオフの場合、または、タブ判定処理が終了した場合、制御部106は、サイズ合わせ設定を判定する(S510)。そして、タブ削除またはタブ付加が設定されている場合は後述するサイズ合わせ処理(S511)を実行する。なお、詳細は後述するが、サイズ合わせ処理(S511)により、サイズ合わせ処理された画像が記憶部104のRAMの所定領域に格納される。

サイズ合わせオフが設定されている場合、制御部106は、記憶部104に切り出された画像が格納されているか否かを判定し(S512)、切り出された画像が未格納の場合は画像切出部13を制御して、全体領域45の画像を切り出す(S513)。切り出された画像は記憶部104のRAMの所定領域に格納される。

次に、制御部106は、記憶部104に格納された切り出し画像またはサイズ合わせ処理された画像を原稿Dから読み取った画像として出力する(S514)。ステップS514で出力される画像（出力画像）は、インタフェイス107を介して情報処理装置201に送信される。

次に、制御部106は、処理をステップS503に戻して給紙トレイ14に原稿Dがあるか否かを判定し、原稿Dがある場合はステップS505以降の処理を繰り返す。また、原稿Dがない場合は原稿の読み取りが終了した旨のメッセージを情報処理装置に送信し(S504)、処理をステップS501に戻して画像読取開始のユーザ指示の受信を待つ。

●境界線の検出(S506)
図7によりタブ原稿30を読み取ったタブ原稿画像の一例を示す。図7に示す矩形は画素に相当し、白画素は背景領域を表し、グレイの画素は原稿領域を表す。境界線は、原稿領域の縁の画素、すなわち、原稿領域の一部であり、背景領域に接する画素である。

図7(b)は図7(a)に示すタブ原稿画像の一部を拡大したものであり、はタブ原稿画像の画素値の一例を示す。なお、図7(b)は8ビットグレイスケール画像を示し、各画素は256段階の階調を有する例である。

原稿領域と背景領域は色または濃度が異なるので、画像全体から原稿領域を検知するには、例えば画像の端から画像の中心に向かって走査を行って、画素値の明らかな変化が発生する最初の箇所を探索する。

図11のフローチャートにより境界線の検出処理を説明する。以下では、X方向の位置を変数x、Y方向の位置を変数yとして、各画素をP_xyと表す。

制御部106は、変数xを0、変数yを0に初期化して、注目画素P_xyを原点O(0, 0)の画素P₀₀に設定し(S101)、注目画素P_xyの値を取得する(S102)。

次に、制御部106は、変数yをインクリメントし(S103)、注目画素が画像の下端に達したか否かを判定する(S104)。つまり、変数yの値がY方向の最大画素数Nを超えたか否かにより、注目画素が画像の下端に達したか否かを判定する。y≦Nの場合、制御部106は、注目画素P_xyの値とY方向の隣接画素P_x(y-1)の値の差（微分値）dを算出し(S105)、処理をステップS102に戻す。なお、算出された微分値dは、座標(x, y)に関連付けられて、記憶部104のRAMの割り当てられたマップに格納される。

一方、y＞Nの場合、制御部106は、注目画素が画像の下端に達したと判定して、変数xをインクリメントし(S106)、注目画素が画像の右端に達したか否かを判定する(S107)。つまり、変数xの値がX方向の最大画素数Mを超えたか否かにより、注目画素が画像の右端に達したか否かを判定する。x≦Mの場合、制御部106は、変数yを0に初期化して(S108)、処理をステップS102に戻す。

図8により図7(b)の画像から算出される微分値画像を示す。図8(a)はY方向の微分値の算出処理によって得られる微分画像を示す。

x＞Mの場合、制御部106は、Y方向の微分値の算出が終了したと判定する。そして、再び、変数xを0、変数yを0に初期化して、P_xy注目画素を原点O(0, 0)の画素P₀₀に設定し(S111)、注目画素P_xyの値を取得する(S112)。

次に、制御部106は、変数xをインクリメントし(S113)、注目画素が画像の右端に達したか否かを判定する(S114)。つまり、変数xの値がX方向の最大画素数Mを超えたか否かにより、注目画素が画像の右端に達したか否かを判定する。x≦Mの場合、制御部106は、注目画素P_xyの値とX方向の隣接画素P_(x-1)yの値の差（微分値）を算出し(S115)、処理をステップS112に戻す。なお、算出された微分値は、座標(x, y)に関連付けられて、記憶部104のRAMの割り当てられたマップに格納される。

一方、x＞Mの場合、制御部106は、注目画素が画像の右端に達したと判定して、変数yをインクリメントし(S116)、注目画素が画像の下端に達したか否かを判定する(S117)。つまり、変数yの値がY方向の最大画素数Nを超えたか否かにより、注目画素が画像の下端に達したか否かを判定する。y≦Nの場合、制御部106は、変数xを0に初期化して(S118)、処理をステップS112に戻す。また、y＞Nの場合、制御部106は、注目画素が画像の下端に達したと判定して、処理を終了する。図8(b)はX方向の微分値の算出処理によって得られる微分画像を示す。

なお、微分値を算出する処理を、X方向またはY方向に、原点Oから画像端に向って行う例を説明したが、画像端から原点Oに向う逆方向で行ってもよい。

次に、制御部106は、微分画像を二値化する(S121)。例えば、微分値の絶対値が10以上の画素を‘1’に、10未満を画素を‘0’に二値化する。なお、閾値10は一例であり、他の値でも構わない。図9により図8の微分値画像から得られる二値画像を示す。図9(a)はY方向の微分値の二値化結果を示し、図9(b)はX方向の微分値の二値化結果を示す。

次に、制御部106は、画素ごとに、Y方向の二値化値とX方向の二値化値の和を算出する(S122)。例えば、図9において、画素IP1におけるY方向の二値化値は‘1’、X方向の二値化値は‘1’だから画素IP1における和は「2」である。図10により二値化値の和の算出結果を示す。

次に、制御部106は、境界線の追跡を行う(S123)。つまり、画像の上下左右の端から画素を走査して、二値化値の和が「1」以上の画素を検出すると、当該画素を境界線を形成する画素と判定する。例えば、原点Oの画素P₀₀からX方向の走査を繰り返し、P₀₄から開始される走査で図10に示す画素IP1が検出され、画素IP1を境界線の追跡開始点とする。

境界線の追跡は、現在の追跡点（中心画素）に隣接する八画素から二値化値の和が「1」以上の画素を探索し、最初に見付かった画素を次の追跡点にする。探索は、前回の追跡点において探索済みの画素が最後になるように時計回りに行われる。前回の追跡点を除いて、周囲に二値化値の和が「1」以上の画素がない場合、現在の追跡点は孤立点であり、前回の追跡点に戻って追跡が行われる。もし、追跡開始点まで戻った場合は、追跡開始点が再探索される。

図10の例において、追跡開始点IP1の次の追跡点として例えば画素IP2が検出され、追跡点IP2を中心画素とし次の追跡点を探索される。追跡点の探索を、次の追跡点が追跡開始点IP1に一致するまで、繰り返すことで、境界線を形成する画素（以下、境界画素）が検出される。

●特徴点の抽出(S507)
特徴点とは図形の形状を決める点であり、図10に示す境界画素のうち、隣接する二つの境界画素と直線を形成しない境界画素を指す。

図12により特徴点を説明する。図12(a)において、境界画素α、β、γの順に記憶部104に記憶されているとする。注目画素を画素βとし、境界画素α、β、γの座標を(αx, αy)(βx, βy)(γx, γy)とすると、次のアルゴリズムにより注目画素βが特徴点か否かが判定される。
M1 = (αy-βy)/(αx-βx)； M1は線分ABの傾き
M2 = (βy-γy)/(βx-γx)； M2は線分BCの傾き
if (M1 == M2)
注目画素βは非特徴点；
else
注目画素βは特徴点； …(1)

図12(b)は、すべての境界画素ついて上記の判定を行い特徴点を抽出した結果を示す。

隣接する二つの境界画素と直線を形成しない境界画素、言い替えれば、隣接する三つの境界画素が直線上に並ばない境界画素を特徴点として抽出する例を説明した。しかし、隣接画素ではなく所定の間隔を空けた境界画素や、複数の境界画素の平均位置を用いて特徴点を抽出しても構わない。また、直線から所定の距離だけ離れた位置にある境界画素を特徴点にしても構わない。

●タブ判定処理(S509)
図13のフローチャートによりタブ判定処理を説明する。タブ判定処理は、制御部106の制御によりタブ判定部101、情報検出部102および画像切出部103が実行する処理である。

タブ判定部101は、ステップS507で抽出された特徴点からタブの有無を判定する(S301)。図14によりタブの有無の判定を説明する。原稿の形状は特徴点の数に関係し、図14(a)に示すように、原稿にタブがない場合、特徴点は四つである。また、図14(b)に示すように、原稿にタブがある場合、特徴点は八つになる。つまり、特徴点の数によってタブの有無の判定が可能である。言い替えれば、特徴点の数が四を超える場合、タブがあると判定すればよい。

タブ判定部101は、タブがない場合はタブ判定処理を終了する。また、タブがある場合はタブ領域を抽出する(S302)。

図15によりタブ領域の抽出方法を説明する。タブ判定部101は、特徴点P1からP8の二点の組み合わせすべてについて、それら二点を結ぶ線分を生成する。図15は特徴点P1を始点とし、特徴点P2、特徴点P3、…、特徴点P8を終点とする線分を示す。同様に、P2からP8の各特徴点を始点とする線分を生成する。

次に、タブ判定部101は、生成した複数の線分からタブ境界線を判定する。まず、すべての線分について傾きを求め、傾きの差が所定値以下の線分を同じ傾きをもつ線分として抽出する。なお、傾きの差の閾値は、例えば図15において、線分P1-P2とP1-P4が同じ傾きをもたない線分と判定される値であればよい。また、特徴点の間にx方向のずれがない場合、例えば、P1の座標が(x1, y1)、P2の座標が(x1, y2)の場合、傾きが無限大になるのを防ぐためP2の座標を(x1+1, y2)として傾きを算出する。

次に、タブ判定部101は、同じ傾きをもつ線分を一本の線分とみなした場合、当該線分上に三つ以上の特徴点があるか否かを判定する。そして、三つ以上の特徴点がある同じ傾きをもつ線分のうち最長の線分をタブ境界線とする。図15においては、線分はP1-P6（またはP6-P1）がタブ境界線として判定される。

図16によりタブ境界線50および領域分割を示す。タブ境界線50には四つの特徴点が並び、本体領域43とタブ領域44の境界に相当する。そして、タブ判定部101は、タブ境界線50によって画像を二つの領域R1、R2に分割する。

図16に示すように、タブ境界線50上にない特徴点（この例では特徴点P3、P4、P7、P8）は各領域に二つずつ配置された状態になる。特徴点P3、P4、P7、P8は、本体領域43またはタブ領域44の頂点であり、隣接する二つの特徴点間の距離が大きい領域が本体領域43であり、隣接する二つの特徴点間の距離が小さい領域がタブ領域44である。この例では、領域R1の二つの特徴点P7、P8が本体領域43の頂点、領域R2の二つの特徴点P3、P4がタブ領域44の頂点である。

また、特徴点の隣接関係から本体領域43とタブ領域44を判定してもよい。図16において、タブ境界線50上の特徴点P2と隣接するタブ境界線50上にない特徴点P3は同じ領域R2の頂点であり、タブ境界線50上の特徴点P5と隣接するタブ境界線50上にない特徴点P4は同じ領域R2の頂点である。

同様に、タブ境界線50上の特徴点P1と隣接するタブ境界線50上にない特徴点P8は同じ領域R1の頂点であり、タブ境界線50上の特徴点P6と隣接するタブ境界線50上にない特徴点P7は同じ領域R1の頂点である。特徴点P1-P6-P7-P8が囲む領域R1の画素数N_R1は、特徴点P2-P3-P4-P5が囲む領域R2の画素数N_R2よりも大きいから領域R1が本体領域43、領域R2がタブ領域44である。

また、次の方法によりタブ境界線50を判定してもよい。まず、すべての特徴点のうち最も外側にある特徴点を頂点とする矩形を全体領域45（図4(c)参照）とする。そして、全体領域45の四辺の何れかと平行し、全体領域45内部の少なくとも一つの特徴点と、全体領域45の辺上に位置する少なくとも一つ特徴点を結ぶ線分をタブ境界線50と判定する。

図17により様々な形状のタブ例を示す。上記のタブ境界線50を判定方法によれば、図17(a)に示すような一辺が本体領域45の一辺と同一（段差がない）のタブ（この場合、特徴点は八つ未満）や、図17(b)に示すような不定形のタブの場合も、タブ領域44を抽出することができる。

タブ判定部101によるタブ領域44の抽出が終了すると、情報検出部102は、抽出されたタブ領域44からタブ情報を検出する(S303)。情報検出部102は、タブ領域44の画像を光学文字認識(OCR)処理して、認識した文字、文字列、記号をタブ情報として取得する。

以下では、タブに記述された情報が文字または文字列であった場合を想定するが、原稿のグループを分類することが可能な情報であればタブに記載された記号、絵、タブの色などをタブ情報として扱うことができる。検出されたタブ情報は、原稿の頁数に関連付けられて、記憶部104のRAMの所定領域に格納される。また、有効なタブ情報が検出されなかった場合、その旨を示す情報（例えば、Null）がタブ情報として格納される。

タブ情報の検出が終了すると、画像切出部103は、有効なタブ情報が検出されたか否かを判定する(S304)。有効なタブ情報が検出された場合、画像切出部103は、全体領域45の画像を切り出す(S305)。また、有効なタブ情報が検出されなかった場合、画像切出部103は、本体領域43の画像を切り出す(S306)。なお、切り出された画像は記憶部104のRAMの所定領域に格納される。

●サイズ合わせ処理(S511)
図18のフローチャートによりサイズ合わせ処理を説明する。サイズ合わせ処理は、制御部106、並びに、制御部106の制御によりタブ判定部101、画像切出部103および画像画像合成部105が実行する処理である。

制御部106は、サイズ合わせ設定がタブ削除か否かを判定する(S401)。タブ削除が設定されている場合、制御部106は、タブ判定部101を制御して、上記の方法により本体領域43を判定する(S402)。なお、タブ判定処理が実行された場合は、その際の判定結果を参照すればよい。そして、画像切出部103を制御して、本体領域43の画像を切り出して、切り出した画像をサイズ合わせ処理した画像とし(S403)、サイズ合わせ処理を終了する。

一方、タブ付加が設定されている場合、制御部106は、タブ判定部101を制御して、上記の方法によりタブ領域44があるか否か、つまりタブの有無を判定する(S404)。なお、タブ判定処理が実行された場合は、その際の判定結果を参照すればよい。

タブがある場合、制御部106は、タブ判定部101を制御して、本体領域43とタブ領域46（図4(d)参照）を設定する(S405)。なお、タブ領域46の設定の詳細は後述する。また、本体領域43については、タブ判定処理が実行された場合は、その際の判定結果を参照すればよい。

次に、制御部106は、記憶部104にタブ情報が格納されているか否か、つまりタブ情報の有無を判定する(S406)。タブ情報がある場合、制御部106は、画像合成部105を制御して、タブ領域46にタブ情報を合成したタブ画像を生成させる(S407)。また、タブ情報がない場合、画像切出部103を制御して、タブ領域46の画像をタブ画像として切り出す(S408)。なお、タブ領域46の画像にタブ情報を合成してもよく、タブに色、絵、模様がある場合に有効である。タブ画像は、記憶部104のRAMの所定領域に格納される。

次に、制御部106は、画像切出部103を制御して本体領域43の画像を切り出し(S409)、画像合成部105を制御してタブ画像と本体領域43の画像を合成し、合成画像をサイズ合わせ処理した画像とする(S410)。

他方、タブ原稿に続く原稿など、タブがない場合、制御部106は、タブ判定部101を制御して、本体領域43を判定し(S411)、処理をステップS409に進める。この場合、ステップS409において切り出された本体領域43の画像と、記憶部104に格納されたタブ画像がステップS410において合成されることになる。

また、一頁目の原稿にタブがなく、かつ、タブ付加が設定されている場合、ステップS410で合成すべきタブ画像が未生成の状態になる。この場合、例えば、タブ画像が生成されるまでタブ削除のフローを実行してもよいし、あるいは、付加すべきタブ画像がない旨のメッセージを情報処理装置201に送信して、画像読取動作を中断してもよい。

また、タブ情報がない場合、ステップS408において、情報検出部102によりタブ情報を検出してもよい。ただし、有効なタブ情報がない場合、空白のタブ画像が付加されることになる。この場合、有効なタブ画像を付加できない旨の警告メッセージを情報処理装置201に送信して、画像読取動作を中断してもよい。

●タブ領域の設定(S405)
図19によりタブ領域の設定を説明する。

タブ判定部101は、前述した方法によりタブ領域44と本体領域43を判定し、図19(a)に示すように、タブ領域44の、タブ境界線50上にない特徴点P3とP4を結ぶ線分（以下、辺P3P4）を延長した直線L1を生成する。

次に、タブ判定部101は、図19(b)に示すように、本体領域43の、タブ境界線50に直交する二辺（辺P6P7、辺P1P8）を延長した直線L2、L3を生成する。そして、図19(c)に示すように、生成した三つの直線L1-L3、および、タブ境界線50が囲む領域をタブ領域46として設定する。

言い替えれば、タブ領域46は、本体領域43とタブ領域44の境界であるタブ境界線50に沿ってタブ領域44を延長した領域である。

このように、タブを有する原稿が含まれる書類束を読み取る際に原稿のタブの有無を検出し、タブ削除やタブ付加を行うサイズ合わせ処理を行うことができる。従って、ユーザがタブ部の情報を確認し設定を切り替える煩わしい操作を無くすことができる。さらに、タブの有無に関わらず、画像サイズを揃えることができ、タブの有無によって表示される文字サイズが変化する問題を解決することができる。

［変形例］
上記では、画像読取装置10に上記の画像処理を行う構成を設ける例を説明したが、例えば、情報処理装置201において上記の画像処理を行ってもよい。その場合、記録媒体やサーバによってスキャナドライバとして情報処理装置201に供給されるプログラムに当該画像処理の機能をもたせればよい。上記の画像処理を情報処理装置201側で実行すれば、画像読取装置10側の当該処理部やメモリを削減して、画像読取装置10を安価にすることができる。

また、説明を容易にするため、図には主に長方形のタブを示したが、本発明は、正方形、台形、三角形などのタブも検出可能である。また、タブの角にラウンドやベベルが施されている場合も、例えば、角に相当する複数の特徴点から代表特徴点を絞り込み、代表特徴点を用いて上記の画像処理を行うことができる。

［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。

すなわち、原稿を読み取って得た画像領域のうち本体領域およびタブ領域を判定する工程、タブ領域からタブ情報を検出する工程、タブ情報に基づいて出力画像を生成する工程の少なくとも一つの工程をコンピュータのプログラムによって実行できるようにしてもよいし、コンピュータとこのコンピュータに接続された情報処理端末との間でシステムを構成して各々で分担処理してもよい。

なお、本発明でいう画像処理装置は、画像読取機能を有する画像読取装置としてもよいが、例えば、画像読取装置とこの画像読取装置に接続された情報処理装置とを備えた画像読取システムによって構成してもよい。この場合、画像読取装置は、読み取った画像を情報処理装置に送信し、情報処理装置内で画像の原稿領域（本体部分）とそれ以外のタブ領域とを判定する処理、タブ情報を検出する処理などを行うようにしてもよいし、画像読取装置内で原稿領域とタブ領域の判定を行った結果を含めて情報処理装置に送信し、情報処理装置でタブ情報を検出するようにしてもよい。いずれにしても、上述した実施例の機能や役割を、画像読取システムを構成する画像読取装置と情報処理装置とで分散処理することが可能である。したがって、本発明は、画像読取システムにも適用可能である。

Claims (14)

1. 原稿から読み取られる画像領域のうち前記原稿の本体部に相当する本体領域、および、前記原稿のタブ部に相当するタブ領域を判定する判定手段と、
   前記タブ領域に記録されたタブ情報を検出する検出手段と、
   前記タブ情報の検出結果に基づき、前記原稿から読み取られた画像から出力画像を生成する生成手段と、を備えたこと特徴とする画像処理装置。
2. 前記生成手段は、前記タブ情報が検出されなかった場合、前記本体領域を切り出した画像を前記出力画像とすることを特徴とする請求項1に記載された画像処理装置。
3. 前記生成手段は、前記タブ情報が検出された場合、前記本体領域と前記タブ領域を含む前記原稿の全体に相当する全体領域を切り出した画像を前記出力画像とすることを特徴とする請求項1または請求項2に記載された画像処理装置。
4. ユーザ指示を入力する入力手段と、
   原稿から読み取られる画像領域のうち前記原稿の本体部に相当する本体領域、および、前記原稿のタブ部に相当するタブ領域を判定する判定手段と、
   前記原稿から読み取られた画像から、前記ユーザ指示に応じた出力画像を生成する生成手段と、を備えたことを特徴とする画像処理装置。
5. 前記ユーザ指示がタブ削除を示す場合、前記生成手段は、前記本体領域を切り出した画像を前記出力画像とすることを特徴とする請求項4に記載された画像処理装置。
6. さらに、前記タブ領域に記録されたタブ情報を検出する検出手段を有し、
   前記ユーザ指示がタブ付加を示し、かつ、前記タブ領域があると判定された場合、前記生成手段は、前記本体領域と前記タブ領域の境界に沿って前記タブ領域を延長したタブ領域を設定し、前記タブ領域に前記タブ情報を合成したタブ画像と、前記本体領域を切り出した画像を合成した画像を前記出力画像とすることを特徴とする請求項4または請求項5に記載された画像処理装置。
7. さらに、前記タブ画像を格納するメモリを有し、
   前記ユーザ指示がタブ付加を示し、かつ、前記タブ領域がないと判定された場合、前記生成手段は、前記メモリに格納されたタブ画像と、前記本体領域を切り出した画像を合成した画像を前記出力画像とすることを特徴とする請求項6に記載された画像処理装置。
8. 前記ユーザ指示がタブ付加を示し、かつ、前記タブ情報として有効な情報が検出されなかった場合、前記生成手段は警告を発することを特徴とする請求項6または請求項7に記載された画像処理装置。
9. 前記ユーザ指示がタブ付加を示し、前記タブ領域がないと判定され、かつ、前記タブ画像が未生成の場合、前記生成手段は、前記タブ画像を生成するまで、前記本体領域を切り出した画像を前記出力画像とすることを特徴とする請求項6から請求項8の何れか一項に記載された画像処理装置。
10. 前記判定手段は、原稿画像と背景の境界画素を検出し、前記境界画素のうち、隣接する二つの境界画素と直線を形成しない境界画素を特徴点として検出し、前記特徴点の数が四を超える場合、前記タブ領域があると判定することを特徴とする請求項1から請求項9の何れか一項に記載された画像処理装置。
11. 判定手段、検出手段、切出手段を有する画像処理装置の画像処理方法であって、
    前記判定手段が、原稿から読み取られる画像領域のうち前記原稿の本体部に相当する本体領域、および、前記原稿のタブ部に相当するタブ領域を判定し、
    前記検出手段が、前記タブ領域に記録されたタブ情報を検出し、
    前記生成手段が、前記タブ情報の検出結果に基づき、前記原稿から読み取られた画像から出力画像を生成することを特徴とする画像処理方法。
12. 入力手段、判定手段、生成手段を有する画像処理装置の画像処理方法であって、
    前記入力手段が、ユーザ指示を入力し、
    前記判定手段が、原稿から読み取られる画像領域のうち前記原稿の本体部に相当する本体領域、および、前記原稿のタブ部に相当するタブ領域を判定し、
    前記生成手段が、前記原稿から読み取られた画像から、前記ユーザ指示に応じた出力画像を生成することを特徴とする画像処理方法。
13. コンピュータを請求項1から請求項10の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
14. 請求項13に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。