JP2010109448A - 画像処理方法及び画像読取装置 - Google Patents

Abstract

【課題】原稿綴じ部、小口部を有する中綴じ原稿を、原稿の形状や原稿台面の大きさ、または原稿台カバーの開放方向によって生じる制限で一定方向に置くことができない場合でも、適切な補正結果を得ることができる画像処理方法を提供することを目的とする。
【解決手段】原稿台上に載置されている原稿を読み取り、画像データを得る画像読取手段と、原稿の画像を確認可能な画像表示手段と、上記画像表示手段の画像領域上で、中綴じ原稿の綴じ部と、原稿面の両側において紙葉が重なっている端部である小口部との領域を、クロップ枠で指定する綴じ部、小口部指定手段と、クロップ枠で指定された領域内の綴じ部と小口部との影、歪みを補正する影、歪み補正手段と、中綴じ原稿の画像の最終候補を確認することができる最終候補確認手段とを有し、上記指定された領域のクロップ枠が綴じ部と小口部との影、歪みの方向属性を有する。
【選択図】図１

Description

本発明は、イメージスキャナ、複写機、複合機等の画像読取装置において、読み取った画像データを補正する画像処理技術に関する。

書籍や雑誌等、中綴じ製本されている原稿を読み取り、または複写する場合、イメージスキャナや複写機等の原稿台上に、原稿面を下にした見開き状態で原稿を載置し、光源が照明する。原稿面からの反射光は、レンズで集光され、ＣＣＤ等の光センサ上に結像し、上記光センサが電気信号へ変換することによって、原稿の画像データを出力する。

このような形態で読み取ると、見開き状態で置かれた原稿の左ページと右ページとの境界付近である綴じ部や、原稿面の両側において紙葉が重なっている端部（以降「小口部」という）が、原稿台から浮き上がる。この結果、読み取った画像データの綴じ部や小口部に、陰影や歪みが生じ、出力画像の見栄えが損なわれる。特に、中綴じ部近傍で、画像が暗くなった範囲に、文字が存在していると、判別し難く、読み難く、厚手製本では、この傾向が更に顕著になる。

また、このような画像データのままでの印刷は、トナーまたはインクが不必要に消費され、画像のページ当たりの印刷費が増加するという不都合がある。

この場合、良好な画像を得るために、製本原稿の中綴じ部を、原稿台から浮かないように加圧密着し、読み取ると、製本原稿自体を破損する可能性があるという問題がある。

この問題を解消するために、画像の濃度分布情報に基づいて、物体の３次元形状、すなわち原稿の浮き上がり形状を推定する方法を用いて、補正する方法が提案されている。画像の濃度情報に基づいて３次元形状を推定する方法として、Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇと呼ばれる方法が知られている（たとえば、非特許文献１参照）。

しかし、このＳｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇは、計算量が膨大で、補正処理の時間が長いので、実用化が困難である。

そこで、少ない計算量で有効に補正を行うために、読み取り画像のページ外形輪郭線の形状に基づいて書籍原稿の３次元形状を推定する画像補正装置が提案されている（たとえば、特許文献１参照。）。

または、濃度が変化する点のつながりに基づいて、影の領域を検出した後に、画像内のテキストの向きと影の方向とを比較することによって、１ページか２ページかを判断する方法が考案されている（たとえば、特許文献２参照。）。この方法では、２ページと判断されなかった場合に、更に影の特徴を周囲の影と比較し、補正すべき綴じ部の影か否かを判定するが、画像が１ページであるときには、補正を行わず、更なる技術への言及はなされていない。

また、原稿画像データにおいて地肌部分の色相を特定し、同色相に近い色相と見なせる画素について、地肌画素であると判断し、濃度補正する（たとえば、特許文献３参照）。

さらに、書籍や雑誌等の中綴じ原稿をスキャナで読み取り、綴じ部や小口部の影を明るく補正するときに、原稿台上へ原稿を置く場合、縦置きと横置きとが考えられる。すなわち、読み取り光学ユニットが移動する方向である副走査方向に綴じ目が沿うように置く縦置き載置と、画像読み取りセンサの配置方向である主走査方向に綴じ目が沿うように置く横置き載置とがある。従来の補正方法では、置き方を一方向に限定する（たとえば、特許文献１参照）。

上記特許文献１記載の載置方向を限定することによる小型のイメージスキャナでの制約を解消するために、書籍や雑誌等の綴じ部や小口部の方向を自動的に判定し、綴じ部や小口部の影を補正する発明も知られている（たとえば、特許文献４参照）。
特開平１１−４１４５５号公報 特開２００３−１５２９７７号公報 特開２００５−１１５７６８号公報 特願２００６−２０５９４１号公報 T.Wada, H.Uchida and T.Matsuyama, "Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unforlded Book", International Journal Computer Vision 24(2), p125-135(1997)

今日の小規模事業所や家庭向けの小型のイメージスキャナ、複合機、複写機等の画像読取装置の多くでは、次の制約がある。すなわち、原稿の形状や原稿台面の大きさ（装置の外形サイズの制約によって、一般的に国内ではＡ４、海外ではレターサイズが上限）、または原稿台カバーの開放方向によって生じる制限のために、必ずしも一定方向に置くことができない。このために、見開き原稿の両側ページと原稿の輪郭線との全てを読み取ることができず、上記従来方法では、適切な補正結果を得ることができない。

また、従来は、原稿方向が固定であるか、予め公知の傾き補正技術による処理を行う。しかし、傾き補正処理では、極端な傾き（９０度回転状態等）には対応できない場合が多いという問題がある。データ処理に多くの作業用メモリを必要とするという問題がある。さらに、上記従来例では、忠実な画像の再現性を求める場合、画質の劣化があるので、望ましくないという問題がある。

さらに、従来の方法では、原稿の置き方や原稿の背景色によって、原稿綴じ部の縦横方向を誤判定し、十分な補正結果を得ることができない場合があるという問題がある。すなわち、このような場合に、綴じ部と小口部との影や歪みを補正する影、歪み補正手段は、補正対象となる画像矩形領域で原稿の綴じ目と垂直な方向に向かって補正の処理が行われる。したがって、綴じ部、小口部以外の背景部分を誤って補正するという問題がある。一方で、原稿綴じ部の縦横方向を誤判定すると、その判定結果を修正する手段がないという問題がある。

本発明は、原稿綴じ部、小口部を有する中綴じ原稿を、原稿の形状や原稿台面の大きさ、または原稿台カバーの開放方向によって生じる制限で一定方向に置くことができない場合でも、適切な補正結果を得ることができる画像処理方法を提供することを目的とする。

本発明は、原稿台上に載置されている原稿を読み取り、画像データを得る画像読取手段と、原稿の画像を確認可能な画像表示手段と、上記画像表示手段の画像領域上で、中綴じ原稿の綴じ部と、原稿面の両側において紙葉が重なっている端部である小口部との領域を、クロップ枠で指定する綴じ部、小口部指定手段と、クロップ枠で指定された領域内の綴じ部と小口部との影、歪みを補正する影、歪み補正手段と、中綴じ原稿の画像の最終候補を確認することができる最終候補確認手段とを有し、上記指定された領域のクロップ枠が綴じ部と小口部との影、歪みの方向属性を有する。

本発明によれば、原稿綴じ部、小口部を有する中綴じ原稿を、原稿の形状や原稿台面の大きさ、または原稿台カバーの開放方向によって生じる制限のために一定方向に置くことができない場合でも、適切な補正結果を得ることができるという効果を奏する。

発明を実施するための最良の形態は、次の実施例である。

図１は、画像読取装置１００と外部情報機器との構成を示すブロック図である。

画像読取装置１００は、結像レンズ２と、ラインイメージセンサ３と、増幅器４と、Ａ／Ｄ変換器５と、画像処理回路６と、バッファメモリ７と、インタフェース回路８と、ＣＰＵコントローラ９とを有する。また、画像読取装置１００は、光源点灯回路１０と、光源ランプ１１と、モータ駆動回路１２と、光学系の駆動モータ１３と、作業用メモリ１４と、ガンマＲＡＭ１５と、操作パネル１６とを有する。

増幅器４は、ラインイメージセンサ３のアナログ画像信号出力を増幅する。Ａ／Ｄ変換器５は、増幅器４が出力したアナログ画像信号をデジタル画像信号に変換する。

画像処理回路６は、デジタル信号化された画像信号について、オフセット補正、シェーディング補正、デジタルゲイン調整、カラーバランス調整、カラーマスキング変換、主走査方向及び副走査方向の解像度変換等の画像処理を行う。

バッファメモリ７は、ＲＡＭによって構成され、画像データを一時的に記憶する。インタフェース回路８は、外部情報機器ＣＰ１とのコマンドや画像通信を仲介し、ＳＣＳＩ、パラレル、ＵＳＢ、ＩＥＥＥ１３９４等のインタフェースが使用されている。

光源点灯回路１０は、光源ランプ１１を駆動点灯する。光源ランプ１１は、原稿１を照明し、原稿１の表面の濃度に応じた強さの反射光が、結像レンズ２を通して、固体撮像素子であるＣＣＤセンサ等のラインイメージセンサ３上に結像する。

モータ駆動回路１２は、ステッパモータ等の光学系の駆動モータ１３を駆動し、画像読取装置１００のシステム制御手段であるＣＰＵコントローラ９からの制御信号によって駆動モータ１３の励磁信号を出力する。

作業用メモリ１４は、画像処理回路が画像処理を行う際のメモリである。作業用メモリ１４は、ラインイメージセンサ３上に、所定のオフセットを持ち、平行に配置されているＲＧＢ用各ラインセンサからの画像信号が持つＲＧＢライン間オフセットの補正用等に用いられる。また、作業用メモリ１４は、シェーディング補正等の各種データの一時記憶も行う。

ガンマＲＡＭ１５は、濃度ガンマ変換ＬＵＴを記憶し、ガンマ補正を行う。

ＣＰＵコントローラ９は、外部情報機器ＣＰ１からの命令に従って、画像読取装置１００を制御し、モータ駆動回路１２、光源点灯回路１０、画像処理回路６等を制御する。ＣＰＵコントローラ９は、操作パネル１６に設けられているスイッチが押された状態を検知し、インタフェースを介して、外部情報機器ＣＰ１へ通知する。

外部情報機器ＣＰ１は、パーソナルコンピュータ等のホストコンピュータであり、ディスプレイＤＰ１と接続されている。

実施例１は、ＲＧＢ３色を読み取る３ラインＣＣＤセンサ等のラインイメージセンサ３と、白色の光源ランプ１１とによって構成されているが、単色の１ラインイメージセンサと選択的に点灯可能なＲＧＢ３色の光源とによって構成するようにしてもよい。

図２は、読み取り光学ユニットの移動する方向である副走査方向に、綴じ目や小口部が沿うように、中綴じ原稿１Ａを載置した場合を示す図である。

図２に示すように中綴じ原稿１Ａを載置した場合を、縦置きと言う。綴じ部影範囲３３は、見開き状態で置かれた原稿の左右ページの境界付近である綴じ部が、原稿台から浮き上がったことによって生じる影である。小口部３２、３４は、原稿面の両側において紙葉が重なっている端部であり、小口部３２、３４が原稿台から浮き上がるので、影が生じる。

図３は、画像読み取りセンサの配置方向である主走査方向に綴じ目や小口部が沿うように、中綴じ原稿１Ｂを載置した場合を示す図である。

図３に示すように中綴じ原稿１Ｂを載置した場合を、横置きと言う。

なお、上記図２、図３は、読み取りセンサ上に結像する画像の方向を特徴的に示す図であり、原稿台下面（筐体内）から見た画像を模式的に表現した図である。なお、基準位置３１は、原稿台上に載置された原稿の読取開始位置である。

次に、実施例１において、中綴じ原稿１Ｂの綴じ部影範囲３３、小口部３２、３４の影の濃度を補正する動作について説明する。

図４は、実施例１において、中綴じ原稿１Ｂの綴じ部影範囲３３、小口部３２、３４の影の濃度を補正する動作を説明するフローチャートである。

外部情報機器ＣＰ１の記憶装置（不図示）に格納されているプログラムによって、綴じ部影範囲３３の影補正画像を取得する。

まず、外部情報機器ＣＰ１が画像読取装置１００に対して、原稿台全面の画像を比較的低解像度で読み取る命令を発行し、同画像を受信する（Ｓ１）。この受信した画像は、原稿台上の原稿範囲の検出や綴じ部の影範囲解析に使用される予備走査画像であり、以下では、「プリスキャン画像」と言う。

このプリスキャン画像を解析し、原稿台上の原稿範囲を特定する（Ｓ２）。原稿範囲を特定する方法については、従来技術が多いので、本明細書では詳しい説明をしない。

続いて、Ｓ２で検出された原稿範囲内で、Ｓ３以降で、綴じ部影範囲３３の影と小口部３２、３４との検出と、影補正係数の算出とを実行する。

Ｓ３で、プリスキャン画像上に影濃度を補正すべき綴じ部影範囲３３の影または小口部３２、３４が存在していると判断すると、Ｓ４で、これらの領域をクロップ枠で囲み、プリスキャン画像上に選択するように促す。その際に、クロップ枠を指定できるモードである影範囲指定モードを設定し、綴じ部影範囲３３と、小口部３２、３４との範囲を選択することができるようにする。

図５は、外部情報機器ＣＰ１に接続されているディスプレイＤＰ１に表示されているユーザインタフェースであって、画像読取装置１００のドライバのユーザインタフェースを示す図である。

ＵＩ綴じ部の領域を変更する領域指定ボタン４５を押下することによって、プリスキャン画像上に表示されている綴じ部影範囲３３、小口部３２、３４の影領域を囲んでいるクロップ枠を選択する影範囲指定モードを設定する。

そして、綴じ部影範囲３３、小口部３２、３４の影の矩形領域が、プリスキャン画面上で設定されると、その矩形の長手方向を影補正を行う領域の長手方向として、矩形領域に方向属性が関連付けられる（Ｓ５）。矩形領域への影補正は、必ず綴じ目と垂直の方向に沿って処理されるので、方向属性を関連付けることは必要である。綴じ部影範囲３３、小口部３２、３４は、通常、右小口部と、中央の綴じ部と、左小口部との３つの領域が、指定されるべきである。よって、これらの綴じ部影範囲３３、小口部３２、３４の設定を終了するまで、Ｓ４とＳ５との処理が繰り返される（Ｓ６）。

プリスキャン画面上で領域指定が終了すると、図５に示すユーザインタフェース上の領域指定ボタン４５を、ユーザが押下することによって、影範囲指定モードを解除する（Ｓ７）。影範囲指定モードが終了すると、綴じ部影範囲３３、小口部３２、３４としての矩形領域の位置に基づいて、綴じ部であるか、小口部であるかを自動判定し（Ｓ８）、決定する。

そして、綴じ部影範囲３３、小口部３２、３４の判定、影部の方向属性に基づいて、影領域の濃度補正係数を算出する。この算出された影領域の濃度補正係数が記載されている後述の影濃度補正係数テーブルを使用し、プリスキャン画像の影領域内の影濃度を補正する（Ｓ９）。プリスキャン画像に影補正処理を行う（Ｓ１２）。綴じ部３２の影補正が行われたプリスキャン画像を、Ｓ１３で、外部情報機器ＣＰ１に接続されているディスプレイＤＰ１に表示する。

ディスプレイ画面に表示されている画像の補正効果が好適であると判断されると、目的とする解像度と原稿範囲についての読み取り命令を出し（Ｓ１１）、外部情報機器ＣＰ１が、画像読取装置１００に発行する。画像読取装置１００は、指定された解像度等の読み取り条件に従って、原稿画像を読み取り（Ｓ１２）、外部情報機器ＣＰ１へ送信する。

この送信された画像は、保存を目的とする画像であり、実施例１では、「本スキャン画像」と言う。外部情報機器ＣＰ１は、プリスキャン画像での解析結果に従って、綴じ部の影補正の要否を判断する（Ｓ１３）。影濃度補正が必要であると判断されると、プリスキャン画像を解析して得た影補正係数テーブルを、解像度変換し、本スキャン画像上の綴じ部と小口部との影範囲に適用し、影濃度を補正し、目的とする画像を得る（Ｓ１４）。

次に、図５に示すように、プリスキャン画像上に表示されている綴じ部影範囲３３、小口部３２、３４の影領域を囲んだクロップ枠について、詳細に説明する。

まず、ボタン４１を押して原稿の種類を選択し、［プレビュー］ボタン４２を押すと、プレビューエリア４７に、原稿のプリスキャン画像が表示される。ここで、原稿領域検出（Ｓ２）され、図５に点線で囲まれた領域が、クロップ枠４８として表示される。また、「とじ部の影を補正」ボタン４４で、画像を補正する項目にて、「とじ部の影を補正」が選択されていれば、プリスキャン画像上で、綴じ部影範囲３３、小口部３２、３４の影領域を設定・変更できるクロップ枠を、ＵＩで設定できる。領域指定ボタン４５を押下することによって、クロップ枠内において影補正処理を行う影範囲指定モードに移行する。

影範囲指定モードで、プレビューエリア４７に表示されているプリスキャン画像上で、左小口部枠５１、綴じ部枠５２、右小口部枠５３の大きさや位置を、それぞれ調整し、好ましい影領域の補正結果を確認することができる。プリスキャン画像で確認した後に、領域指定ボタン４５を再押下し、影範囲指定モードを解除した後に、スキャンボタン４６によって、本スキャン画像を取得する。

図６は、影範囲指定モードにおける領域指定の方法を示す図である。

ポインタ５４は、プレビューエリア４７に表示されているプリスキャン画像上で操作することができるポインタである。このポインタ５４によって、図６に示すように、領域を指定する。指定領域を、図６上に示すように、左小口部枠５１に点線で囲む。それぞれ、綴じ部枠５２、右小口部枠５３も、同様に、領域指定によって点線表示される。

実施例１は、影範囲として指定された矩形の長手方向を、影補正の方向として、矩形領域に方向属性が関連付けられる実施例である。長手方向によるものでなく、縦横比によって、方向属性を決定するようにしてもよい。

次に、本発明の実施例２について説明する。

図７−１、図７−２は、本発明の実施例２の動作を示すフローチャートである。

なお、実施例２における画像読取装置の構成は、基本的には、実施例１である画像読取装置１００の構成と同じである。また、外部情報機器の構成は、基本的には、画像読取装置１００における外部情報機器ＣＰ１の構成と同じである。

まず、外部情報機器ＣＰ１が、原稿台全面の画像を比較的低解像度で読み取る命令を、画像読取装置１００に発行し、同画像を受信する（Ｓ２１）。この画像は、原稿台上の原稿範囲の検出や綴じ部の影範囲解析に使用される予備走査画像であり、実施例２でも、「プリスキャン画像」と言う。

このプリスキャン画像を解析し、原稿台上の原稿範囲を特定する（Ｓ２２）。続いて、Ｓ２２で検出された原稿範囲内で、Ｓ２３以降の動作で、綴じ部の影と小口部との検出と、影補正係数の算出とを実行することも、実施例１の場合と同様である。

プリスキャン画像上に影濃度を補正すべき綴じ部の影または小口部が存在していることをＳ２３で判断すると、Ｓ２４で、これらの領域をクロップ枠で囲み、プリスキャン画像上に選択指示する。その際に、クロップ枠を指定できるモードにする影範囲指定モードを設定し、ドライバのユーザインタフェースで、ＵＩ綴じ部の領域を変更し、綴じ部影範囲３３、小口部３２、３４の範囲を選択できるようにする。

図５に示す画像読取装置の領域指定ボタン４５を押下する。これによって、プリスキャン画像上に表示される綴じ部影範囲３３、小口部３２、３４の影領域を囲んだクロップ枠を選択する影範囲指定モードを設定することができる。

そして、綴じ部影範囲３３、小口部３２、３４の影の矩形領域がプリスキャン画面上で設定されると、その矩形の長手方向を影補正の方向とし、矩形領域に方向属性が関連付けられる（Ｓ２５）。綴じ部影範囲３３、小口部３２、３４について、通常は、右小口部と、中央の綴じ部と、左小口部との３つの領域が指定されるべきであるので、これらの設定を終了するまで、Ｓ２４〜Ｓ２７の処理が繰り返される（Ｓ２８）。

プリスキャン画面上で、ユーザが領域指定を終了すると、図５に示すユーザインタフェース上の領域指定ボタン４５を押下することによって、影範囲指定モードを解除する（Ｓ２９）。影範囲指定モードが終了した時点で、綴じ部影範囲３３、小口部３２、３４の位置関係は、必ず、小口部３２、綴じ部影範囲３３、小口部３４という３つの領域を指定する。したがって、矩形領域の位置関係に基づいて、綴じ部であるか、小口部であるかを自動判定し（Ｓ３０）、領域を決定する。

そして、綴じ部影範囲３３、小口部３２、３４の判定、影部の方向属性に基づいて、影領域の濃度補正係数を算出する。算出した影濃度補正係数テーブルを使用し、プリスキャン画像の影領域内の影濃度を補正する（Ｓ３１）。そして、プリスキャン画像に、影補正処理を実行する。綴じ部の影補正が行われたプリスキャン画像は、Ｓ３２で、外部情報機器ＣＰ１に接続されているディスプレイＤＰ１に表示される。

ディスプレイ画面に表示されている画像について、補正効果が好適であると判断されると、目的とする解像度と原稿範囲とについての読み取り命令を、外部情報機器ＣＰ１が、画像読取装置１００に発行する（Ｓ３３）。画像読取装置１００は、指定された解像度等の読み取り条件に従い、原稿画像を読み取り、外部情報機器ＣＰ１へ送信する（Ｓ３４）。この画像は、保存を目的とする画像であり、実施例２では、「本スキャン画像」と言う。

外部情報機器ＣＰ１は、プリスキャン画像での解析結果に基づいて、綴じ部の影補正の要否を判断する（Ｓ３５）。影濃度補正が必要である場合、プリスキャン画像を解析して得た影補正係数テーブルを解像度変換し、本スキャン画像上の綴じ部と小口部との影範囲に適用し、影濃度の補正を行い、目的とする画像を得る（Ｓ３６）。

実施例２における処理が、実施例１における処理と異なる点は、Ｓ２６とＳ２７との処理である。影補正の方向属性が、選択された矩形領域の長手方向で自動判定されるが、場合によっては、判定ミスがある。この場合、ＵＩ上において、修正する処理が、Ｓ２６、Ｓ２７の処理である。

図８は、実施例２において、ＵＩ上で方向属性を変更する説明図である。

たとえば、綴じ部として指定したクロップ枠４８中の綴じ部枠５２の影補正属性方向を、ポインタ５４で指示することによって、方向指定がどちらであるかを、枠で表示確認する。図８に示す例では、方向属性が水平方向であるので、指定が間違っていれば、ポインタ５４によって、指定を変更することができる。

図９は、実施例２において、右小口部、綴じ部、左小口部を、互いに独立して、方向属性の指定を変更する説明図である。

図９に示すように、実施例２では、右小口部、綴じ部、左小口部について、互いに独立して、方向属性の指定を変更することができる。

実施例１では、低解像度での予備走査によって取得したプリスキャン画像によって、閉じ部と小口部とを設定するが、実施例３は、本スキャン画像によって、綴じ部と小口部とを設定する。

実施例３によれば、綴じ部影範囲３３、小口部３２、３４を有する中綴じ原稿をスキャンした画像から、適切な領域を指定することによって、綴じ部と小口部との影や歪みを、正確に補正することができ、所望の画像を得ることができる。

上記実施例において、ラインイメージセンサ３は、原稿台上に載置されている原稿を読み取り、画像データを得る画像読取手段の例である。ディスプレイＤＰ１は、原稿の画像を確認可能な画像表示手段の例である。操作パネル１６は、上記画像表示手段の画像領域上で、中綴じ原稿の綴じ部と、原稿面の両側において紙葉が重なっている端部である小口部との領域を、クロップ枠で指定する綴じ部、小口部指定手段の例である。

画像処理回路６は、クロップ枠で指定された領域内の綴じ部と小口部との影、歪みを補正する影、歪み補正手段の例である。操作パネル１６は、中綴じ原稿の画像の最終候補を確認可能な最終候補確認手段の例である。

また、上記実施例において、クロップ枠の矩形の長手方向を、上記方向属性として決定する。さらに、上記綴じ部、上記小口部として指定されたクロップ枠の数に基づいて、各クロップ枠が、上記綴じ部であるか、上記小口部であるかを自動判別する。しかも、上記クロップ枠の方向属性を変更することができるユーザインタフェースを有する。

上記実施例をプログラムの発明として把握することができる。つまり、上記実施例は、原稿台上に載置されている原稿を読み取り、画像データを、画像読取が得る画像読取手順と、原稿の画像を確認可能な画像表示手順とを、画像読取装置と接続したコンピュータに実行させるプログラムの例である。上記実施例は、上記画像表示手順の画像領域上で、中綴じ原稿の綴じ部と、原稿面の両側において紙葉が重なっている端部である小口部との領域を、綴じ部、小口部指定手段が、クロップ枠で指定する綴じ部、小口部指定手順を実行させるプログラムの例である。上記実施例は、クロップ枠で指定された領域内の綴じ部と小口部との影、歪みを、影、歪み補正手段が補正する影、歪み補正手順と、中綴じ原稿の画像の最終候補を確認可能な最終候補確認手順とを実行させるプログラムの例である。この場合、上記指定された領域のクロップ枠が綴じ部と小口部との影、歪みの方向属性を有する。

図１０は、本発明の実施例４である画像読取装置２００の外観を示す図である。

画像読取装置２００は、３色の光源ＬＥＤ（３１Ｒ、３１Ｇ、３１Ｂ）を備える構成によって可能である。この構成では、ＣＰＵコントローラ２９は、光源点灯回路３０によって３色の光源ＬＥＤ（３１Ｒ、３１Ｇ、３１Ｂ）の１つを点灯し、点灯している照明光について、ラインイメージセンサ２３で読み取る。点灯するＬＥＤを順次切り替えつつ読み取ることによって、原稿画像を光源の発光色によって色分解して読み取ることができる。

次に、画像読取装置２００による原稿画像の読み取り動作を簡単に説明する。

外部情報機器ＣＰ２から読み取り命令を受信した画像読取装置のＣＰＵコントローラ２９は、画像読取装置２００における各回路を初期化する。その後に、駆動モータ３３ａを回転駆動させ、不図示のギアユニット、駆動ベルトを介して、読み取り光学系ユニットを副走査方向へ移動させる。画像読取装置２００のＣＰＵコントローラは、この移動動作と同期しつつ、光源ＬＥＤ３１Ｒ、３１Ｇ、３１Ｂによって照明された光学ユニット直上の原稿面の輝度情報を、ラインイメージセンサ２３、Ａ／Ｄ変換器２５がデジタル電気信号に変換する。デジタル電気信号へ変換された画像信号は、画像処理回路２６によって、解像度変換、濃度変換等がなされ、順次インタフェース回路２８を介して、外部情報機器ＣＰ２へ送出される。原稿台上の読み取り原稿の画像データは、外部情報機器ＣＰ２に蓄積され、以下に説明する画像処理が適用される。

次に、原稿台上に置かれた原稿が中綴じ原稿である時に、綴じ部と小口部が原稿台から浮き上がることによって暗くなった場合の影濃度補正処理について、図とフローチャートを参照しつつ、詳しく説明する。この実施例では、画像読取装置２００が読み取った綴じ部と小口部が補正されない画像を外部情報機器ＣＰ２が検出して補正する構成を説明する。

図１１−１、図１１−２は、実施例２において、中綴じ原稿の綴じ部や小口部の影の濃度を補正した画像を取得する動作を示すフローチャートである。

外部情報機器ＣＰ２の記憶装置（不図示）に格納されたプログラムは以下のステップに従って、綴じ部の影補正画像を取得する。

まず、外部情報機器ＣＰ２が画像読取装置２００に対して、原稿台全面の画像を比較的低解像度で読み取る命令を発行し、同画像を受信する（Ｓ４１）。この画像は、原稿台上の原稿範囲の検出や綴じ部の影範囲解析に使用される予備走査画像であり、実施例４では、プリスキャン画像と呼称する。

このプリスキャン画像を解析し、原稿台上の原稿範囲を特定する（Ｓ４２）。この原稿範囲を特定方法に関しては、公知の技術が多く、以下では詳しい説明を行わない。

続いて、Ｓ４２で検出された原稿範囲内で、綴じ部の影と小口部の検出と影補正係数の算出とを行う（Ｓ４３）。影範囲の検出と影補正係数テーブルの算出処理との詳細については、後述する。Ｓ４４で、Ｓ４３の結果、綴じ部または小口部の影が検出されたか否かを判断する。影濃度を補正すべき綴じ部の影または小口部が存在する場合、これらの領域をクロップ枠で囲み、プリスキャン画像上に表示する（Ｓ４５）。そして、Ｓ４３で算出した影濃度補正係数テーブルを使用し、プリスキャン画像の影領域内の影濃度を補正する（Ｓ４６）。

ここで、検出された綴じ部の方向が誤判定された場合（Ｓ４７）、図２４−１に示す縦横切り替えボタン６５によって、綴じ部方向を変更することができる（Ｓ４８）。このとき、後述する主走査・副走査の影候補のうちで、最も優位と判定された影方向とは違う方向での綴じ部と小口部との影候補の領域を、クロップ枠で表示する（Ｓ４９）。

次に、検出された影領域と実際の影部とに違いがあれば（Ｓ５０）、表示されている綴じ部影範囲３３、小口部３２、３４の影領域のクロップ枠を、拡大・縮小・移動することによって、影濃度を補正する領域を調整することができる（Ｓ５１）。調整した影領域に基づいて、補正係数を再計算し、プリスキャン画像に影補正処理を行う（Ｓ５２）。綴じ部の影補正が行われたプリスキャン画像は、Ｓ５３で、外部情報機器ＣＰ２に接続されているディスプレイＤＰ２に表示される。

ディスプレイ画面に表示されている画像によって、補正効果が好適であると判断されると、目的とする解像度と原稿範囲とについての読み取り命令が、外部情報機器ＣＰ２から、画像読取装置２００に発行される（Ｓ５４）。画像読取装置２００は、指定された解像度等の読み取り条件に従い、原稿画像を読み取り、外部情報機器ＣＰ２へ送信する（Ｓ５５）。

この画像は、保存を目的とする画像であり、本実施例では、本スキャン画像と呼称する。外部情報機器ＣＰ２は、プリスキャン画像での解析結果に従い、綴じ部の影補正の要否を判断する（Ｓ５６）。影濃度補正が必要な場合、プリスキャン画像を解析して得た影補正係数テーブルを解像度変換し、本スキャン画像上の綴じ部と小口部との影範囲に適用して影濃度を補正し、目的とする画像を得る（Ｓ５７）。

図２４−１は、外部情報機器ＣＰ２に接続されているディスプレイＤＰ２に表示される、画像読取装置２００のドライバのユーザインタフェースを示す図である。

ここでは、プリスキャン画像上に表示されている綴じ部影範囲３３、小口部３２、３４の影領域を囲んだクロップ枠について、詳細を説明する。

はじめに、ボタン４１で、原稿の種類を選択し、［プレビュー］ボタン４２を押すと、プレビューエリア６７に、原稿のプリスキャン画像が表示される。ここで、原稿領域検出（Ｓ４２）された領域が、クロップ枠ＦＡとして表示される。

また、「とじ部の影を補正」ボタン４４で、画像を補正する項目にて、「とじ部の影を補正」が選択されていれば、プリスキャン画像から検出された綴じ部影範囲３３、小口部３２、３４の影領域を示すクロップ枠が表示される。そして、そのクロップ枠内において影補正処理された画像が表示される。図２４−１では、綴じ部枠ＦＢが表示されている例である。

ここでは、原稿の背景や図柄によって、綴じ部が縦方向と認識されているが、実際には綴じ部は、横方向にある。そこで、綴じ部の縦横を変更するボタン６５を押すことによって、綴じ部の方向を変更することができる。ここでは、ボタンに表示されているアイコンの本の向きに、綴じ部の方向が変更される。

図２４−２は、ボタンに表示されているアイコンの本の向きに、綴じ部の方向が変更された状態を示す図である。

縦方向の綴じ部枠ＦＢが消え、横方向であると判別された場合の影候補が、綴じ部枠ＦＤ、左小口部枠ＦＥ、右小口部枠ＦＦとして表示され、それぞれの枠内で影領域の補正処理がされた画像が表示される。これらの枠は、クロップ枠ＦＣの中に表示され、その中で拡大・縮小・移動することができる。また、これらの枠は、それぞれ異なった線で表示され（線の色が違う、点線の間隔が違う等）、クロップ枠ＦＣ、綴じ部枠ＦＤ、左小口部枠ＦＥ、右小口部枠ＦＦを区別することができる。

図２５は、綴じ部枠ＦＤ、左小口部枠ＦＥ、右小口部枠ＦＦを選択し、コンテキストメニュー（マウスの右クリックで表示）を表示した図である。

削除メニュー７４を選ぶと、選択していた枠を削除することができる。また、クロップ枠ＦＣの中で、コンテキストメニューを表示し、追加を選択すると、右小口部７１、綴じ部７２、左小口部７３を、それぞれ追加することができる。ただし、クロップ枠ＦＣの中における左小口部枠ＦＥ・綴じ部枠ＦＤ・右小口部枠ＦＦは、それぞれ最大１つ表示することができる。それぞれの枠が無ければ、１つ追加することができ、あれば削除することができる。コンテキストメニュー上で、追加、削除できないメニューは、グレーアウト表示される。

プレビューエリア６７に表示されているプリスキャン画像上で、クロップ枠ＦＣ、左小口部枠ＦＥ、綴じ部枠ＦＤ、右小口部枠ＦＦの大きさや位置を、それぞれ調整し、好ましい影領域の補正結果を確認することができる。プリスキャン画像で確認した後に、スキャンボタン４６によって、本スキャン画像を取得する。

図２１は、プリスキャン画像を解析して得られた影濃度補正係数テーブル（濃度補正倍率テーブル）の例を示す図である。

図２１に示す例は、図２に示す載置状態の中綴じ原稿に適用される影補正係数であり、グラフ横軸は、解像度が７５ｄｐｉのプレスキャン画像の副走査画素位置であり、縦軸は、各画素位置での補正係数である。

たとえば、概略３５０画素〜４５０画素に、中綴じ部による影があり、綴じ目付近では輝度値に対して、概略３．３倍の補正が掛けられ、影によって低下していた輝度が明るく補正される。この補正は、地肌画素、文字画素、文字の背景部に関係なく、同画素位置の全ての画素について適用される。また、解像度の異なる本スキャン画像の補正では、必要な画素位置の補正係数を、補正係数テーブルから線形補間することによって、適用し、影の輝度補正を行う。

続いて、Ｓ４３における綴じ部の影と、小口部の検出と、影補正係数の算出処理とについて、詳細に説明する。

図１２は、綴じ部の影の解析処理動作を示すフローチャートである。

まず、主走査方向についてライン間隣接補正量（図１３で説明）を求める（Ｓ６１）。各注目ライン上の各画素を明るく補正するか、または暗く調整した時の地肌画素の平均濃度と、右に隣接するラインの地肌画素の平均濃度との輝度差が、最小である補正量ｃｒ（ｉ）を求める。すなわち、ｃ（ｉ）は、ｊに関する積分値である次式のＤｒ（ｉ）値を、最小にする
Ｄｒ（ｉ）＝Σａｂｓ（Ｐ（ｉ，ｊ）−Ｐ（ｉ＋１、ｊ）×（２５６＋ｃ）／２５６） …… 式（１）
ただし、Ｐ（ｉ，ｊ）は、主走査ｉ画素目であり、副走査ｊ画素目の画素の輝度値であり、「ａｂｓ（）」は、絶対値関数である。注目ラインＰ（ｉ、＊）の方が暗い場合には、補正量がプラスになり、明るい場合には、マイナスになる。

このＳ６１について、さらに詳しく説明する。

図１３は、本発明の実施例４における画像解析において、影輝度の特徴を演算する処理を示すフローチャートである。

図１３において、ｉは、第１の方向の画素位置を示す変数であり、ｊは、第２の方向の画素位置を示す変数である。このフローチャートで示す処理は、第２の方向に沿った綴じ目によって生じる第１の方向の濃度変化を、隣接補正量として、Ｃｎｅｘｔ［ｉ］に演算する。

Ｓ８１からＳ９３、Ｓ９４までの処理で、第１の方向の各画素位置ｉについて、隣接補正量Ｃｎｅｘｔ［ｉ］を演算する。画素位置ｉの隣接補正量を演算するために、隣接補正量変数ｃの初期値に、最小値（１−ｃｎ）を設定する（Ｓ８２）。また、それまでの隣接補正量変数ｃによって得られた隣接画素間の輝度差の最小値変数ＳＡｍｉｎに、十分に大きな値を設定する。

次に、補正量変数ｃによる画素位置ｉのライン上の地肌画素の輝度補正結果の平均値を求める。Ｓ８３で、第２の方向ｊでの演算の初期化を行う。位置ｊで、隣接画素との輝度差が所与の閾値以上であれば、文字や線の輪郭画素であると判断し、補正効果の演算対象から外す（Ｓ８４）。

輝度差に基づいて、輪郭画素か地肌画素かを判断するこの閾値は、たとえば２５を使用する。ただし、画像読取装置の光学的特性やプリスキャン画像への縮小処理に応じて変わるので、原稿が浮いて、ぼけた画像を含む複数の画像について適用する画像読取装置での効果的な値を実験的に定める。

輝度差が閾値未満であれば、地肌画素であると判定し、画素位置ｉのライン上の地肌画素数ｋへ１を加算する。また、注目画素の隣接画素の輝度値Ｐ（ｉ＋１，ｊ）を、補正量ｃで補正した輝度Ｐ（ｉ＋１、ｊ）×（２５６＋ｃ）／２５６）と、注目画素の輝度値Ｐ（ｉ＋１，ｊ）との差を演算する。この差の絶対値を、隣接輝度差累積変数ｓへ加算する（Ｓ８５）。

以上のＳ８４とＳ８５とを、全てのｊについて繰り返した（Ｓ８６とＳ８７）後に、補正値ｃによる隣接輝度差の平均値ＳＡを演算する（Ｓ８８）。それまでに得られていた隣接輝度差平均の最小値ＳＡｍｉｎと比較し（Ｓ８９）、ＳＡが最小であれば、ＳＡと補正値ｃとを最適な補正値候補として保存する（Ｓ９０）。上記Ｓ８３〜Ｓ９０を、隣接補正量の所与の最大値（ｃｎ−１）まで繰り返す（Ｓ８２からＳ９１、Ｓ９２）ことによって、画素位置ｉの隣接補正量Ｃｎｅｘｔ［ｉ］を得る。

そして、画素位置ｉを１インクリメントし（Ｓ９３）、Ｓ８２〜Ｓ９２の処理を繰り返す。画素位置ｉがｉｎと同じになれば（Ｓ９４）、計算を終了する。

Ｓ８２で参照される値ｃｎと、Ｓ９２で参照される値ｃｎとは、隣接補正量変数ｃの取り得る範囲を定める値である。これらの値は、綴じ部を持つ複数の画像について本件の処理を適用した結果に基づいて、実験的に決める。具体的には、ｃｎｌ＝１２８とｃｎｈ＝２５６とを使用することによって、隣接するラインの輝度が約１／２倍または約２倍になる範囲について、最適な隣接補正量の選択が行なわれる。

なお、影の検出解析を行うプリスキャン画像の解像度が高ければ、隣接するライン間の濃度変化が小さくなるので、これらのｃｎｌ、ｃｎｈに使用する値の絶対値は、小さくてもよい。すなわち、プリスキャン画像の解像度の範囲毎に、ｃｎｌ、ｃｎｈの値を切り替えることによって、読み取り画像に一層適した結果を得ることができる。

このようにして得られた画素位置ｉの隣接補正量ｃｒ（ｉ）は、注目画素位置の右側に隣接する画素の輝度値を、注目画素位置の画素の輝度値に補正する補正量である。同様に、注目画素位置の左側に隣接する画素の輝度値を、注目画素位置の画素の輝度値に補正する補正量ｃｌ（ｉ）を求める。

すなわち、ｃ（ｉ）は、ｊに関する積分値である次式のＤｌ（ｉ）値を最小にする
Ｄｌ（ｉ）＝Σａｂｓ（Ｐ（ｉ，ｊ）−Ｐ（ｉ−１、ｊ）×（２５６＋ｃ）／２５６） …… 式（２）
図１５は、Ｓ６１によって得られた結果である主走査方向のライン間隣接補正量の一例を示す図である。

図１６は、副走査方向のライン間隣接補正量の一例を表すグラフである。

図１５において、横軸は、ｉに相当する主走査方向の画素位置であり、太い実線が、ｃｒ（ｉ）であり、細い破線が、ｃｌ（ｉ）である。

次に、Ｓ６２において、隣接補正量ｃｒ（ｉ）、ｃｌ（ｉ）からライン間隣接補正倍率ａｒ（ｉ）、ａｌ（ｉ）を求める。さらに、隣接するライン間で補正量の符号が変化しないライン位置の隣接補正倍率を、補正量の符号が変化するまで連続して積算し、ライン間累積補正倍率ｓｒ（ｉ）、ｓｌ（ｉ）を求める。なお、Ｎは、総ライン数である。

隣接補正倍率（左から右へ）：ｉ＝０，１，２，・・・、Ｎ−１について、
ａｒ（ｉ）＝（２５６＋ｃｒ（ｉ））／２５６ …… 式（３）
隣接補正倍率（右から左へ）：ｉ＝Ｎ−１，Ｎ−２，・・・，２，１，０について、
ａｌ（ｉ）＝（２５６＋ｃｌ（ｉ））／２５６ …… 式（４）
累積補正倍率（左から右へ）：ｉ＝１，２，３，・・・、Ｎ−１について、
ｉｆ（（ｃｒ（ｉ−１）×ｃｒ（ｉ））≦０）
ｔｈｅｎ ｓｒ（ｉ）＝ａｒ（ｉ）
ｅｌｓｅ ｓｒ（ｉ）＝ｓｒ（ｉ−１）×ａｒ（ｉ） …… 式（５）
累積補正倍率（右から左へ）：ｉ＝Ｎ−２，Ｎ−３，・・・，２，１，０について、
ｉｆ（（ｃｌ（ｉ＋１）×ｃｌ（ｉ））≦０）
ｔｈｅｎ ｓｌ（ｉ）＝ａｌ（ｉ）
ｅｌｓｅ ｓｌ（ｉ）＝ｓｌ（ｉ＋１）×ａｌ（ｉ） …… 式（６）
図１７は、図１５の主走査方向の隣接補正量に基づいて求めた主走査方向の隣接補正倍率を示す図である。

図１８は、副走査方向のライン間隣接補正倍率の一例を表すグラフである。

図１９は、主走査方向のライン間累積補正倍率を示す図である。

続いて、累積補正倍率に基づいて、綴じ部の影と小口部の影との候補を検出する。累積補正倍率の極値が所与の閾値以上の値を持つ個所を検索し、連続して閾値以上になっている範囲が、影階調部候補であると判断する（Ｓ６３）。この閾値には、紙面の濃淡のむら等を誤って検出しない程度の値、たとえば１．２を使用する。

しかし、輪郭がぼけた文字輪郭等の影響によって、影による階調変化に加えて、局所的な誤差が、累積補正倍率に含まれるので、影階調部候補が分断されていることがある。このために、２つの影階調部候補の間隔が所与の値以下である個所を探し、両者が連続していると見なした時の累積補正倍率の極値を更新演算し、個別の極値よりも大きくなっていれば、２つの影階調部候補を１つと見なす。近接する影階調部候補を連続とみなす間隔は、画像解像度や読取光学系のぼけ方に依存するが、たとえば７５ｄｐｉの画像においては、６であるとする。また、累積補正倍率を再計算する（Ｓ６４）。ただし、２つの影階調部候補で、累積補正倍率が１未満になる部分があれば、この処理を行わない。また、右側へ向かって求めた累積補正倍率と、左側へ向かって求めた累積補正倍率とを、互いに個別に扱うので、綴じ部の影は、綴じ目を中心に左右２つの影階調部候補となる。

図２０は、副走査方向のライン間累積補正倍率の一例を表すグラフである。

図２１は、影輝度補正係数の一例を表すグラフである。

なお、上記「影輝度補正」は、影部分の輝度データを補正することであり、これによって、影の濃度が補正される。したがって、上記「影輝度補正」は、上記「影濃度補正」と同じ意味である。

図２２は、ライン間累積補正倍率による影階調部相互の比較処理の例を示す表である。

図２３は、本発明によって補正が可能となる原稿台上での原稿の載置方向を表した図である。

影階調部候補を探索した結果、候補が複数存在する場合、各候補について優位性を判定し、順序付けする（Ｓ６５）。順序付けでは、まず、影階調部候補のそれぞれについて、累積補正倍率が１．０より一定の間隔の閾値を越えるまでのライン範囲を求める（図２０）。

図２２に示す例では、閾値間隔の値として０．２を使用している。なお、以下の説明では、図２２に示す各影階調候補の１つの閾値間隔のマスを、セルと呼ぶ。例として、上段の行の影階調候補Ｐについて説明する。

この影階調候補Ｐは、図２０に示す影階調候補Ｙ２のように、なだらかに輝度が低下する影であり、累積補正倍率は、３ラインで、１．０から１．２に変化する（最も左のセル）。続いて、１．２から１．４までは、１ラインで変化し、１．４から１．６までは、２ラインで変化することを、表の上段の各セルが表している。同様に、下段の行のセルが、影階調候補Ｑの累積補正倍率の変化を示し、影とは別の要因で生じた階調の変化に相当する。１．０から１．２までは、４ラインで変化するが、１．２から１．６までは、階段状の急な変化のために、含まれるラインが存在しない。１．６から１．８までは、３ラインで変化するが、次の２．０までのセルが最大の累積補正倍率となっている。つまり、２．２、２．４、２．６の数値を持つ累積補正倍率のラインは無いことを示し、すなわち、濃い大きな影ではないことを示す。

このように、累積補正倍率が一定の間隔を変化するまでのライン数を、順次計数し、表にすることによって、セルの値で次の特徴を持たせることが可能である。すなわち、輝度が低下しているために影として輝度を補正すべき特徴が、セルの数値に、以下のように反映される。

（１）濃い影では大きな累積補正倍率が生じるので、表の右側のセルまで数値が入る。

（２）原稿台からの原稿の浮き上がりによってなだらかに濃くなる影では、累積補正倍率もなだらかに変化するので、一番右のセルまで空欄になるセルが少ない。

（３）最大の累積補正倍率が同じ値でも、幅の広い影では、閾値間隔を変化するために多くのラインで変化するので、それぞれのセルの値がより大きくなる。

したがって、影として輝度を補正すべき影階調候補では、より多くのセルによって大きな値が入ることによって、影階調候補の特徴を表すことができる。

以上説明したように、影階調候補の特徴が各セルの値によって表されているので、２つの影階調候補の優劣を比較すると、閾値間隔毎のセルの値を比べて、より多くのセルで大きな値になっている影階調部候補がより優位であると判断する。

具体的には、図２２で数値が太字で下線が付されているセルが、大きい側であり、候補Ｐの６セルが大きく、候補Ｑは２セルだけが大きいので、候補Ｐを優位と判断する。また、候補Ｐにおける値の大きなセルの数６と、候補Ｑにおける値の大きなセルの数２とを、それぞれの「妥当性特徴量」として保存する。

この２項比較を、全ての影階調部候補の組み合わせについて実行し、優位判断の数と、妥当性特徴量の総和との比較によって、影階調部候補に順序付けを行う。具体的には、優位判断された数に１００の重みを掛け、妥当性特徴量の総和を加えた数値によって、影階調部候補を順序づける。なお、以下の説明では、この優位判断された数の重み付けを加えた妥当性特徴量を、「第２妥当性特徴量」と呼ぶ。

Ｓ６５の後に、Ｓ６６で、綴じ部の影と小口部との濃度補正の対象とするべき影階調部候補を選択する。綴じ部の影領域と小口部の影領域との総数は、高々４個所であり、それぞれの濃度増加方向も限定されるという事実に基づいて、上記選択が行われる。

つまり、上記実施例で提案する方法は、影の階調方向に着目した方法であるので、解析処理の過程において、綴じ部の影を、綴じ目を中心に右側と左側とで、別の領域として識別しているためである。

具体的には、図２に示す例において、綴じ部影範囲３３が、綴じ部左側影範囲３５と綴じ部右側影範囲３６として個別に扱われる。また、小口部領域は、小口（右）３２と小口（左）３４とについて、各１領域を考慮すれば良い。

換言すれば、影階調部候補は、以下の組み合わせの枠内に入る領域に限定することができる。

小口（左）３４＋綴じ部左側影範囲３５＋綴じ部右側影範囲３６＋小口（右）３２
（左側が濃度高い）（右側が濃度高い） （左側が濃度高い） （右側が濃度高い）
したがって、影輝度補正領域は、上の４領域の全て（４つの影階調領域）か、その部分集合（１つないし３つの影階調部領域）を構成できる組み合わせに限られる。さらに、綴じ部の影は、左側部分と右側部分とが必ず一対になる。

たとえば、（左側が濃度高い）領域と（左側が濃度高い）領域とが並ぶような組み合わせを除外する。これと同様に、条件を満たす影階調部候補の全ての組み合わせを、リスト化する。

続いて、Ｓ６５で行った２項比較による優位性判定方法において、各影階調部候補について算出された第２妥当性特徴量を、各影階調部候補の組み合わせに含まれている階調部候補について加算し、その影階調部候補の組み合わせの「総合特徴量」とする。Ｓ６６で作成したリストに含まれている組み合わせのそれぞれについて、総合特徴量を算出し、総合特徴量が最大になる影階調部候補の組み合わせを、主走査方向での綴じ部の影補正範囲候補として採用する。

副走査方向に関しても、Ｓ６８〜Ｓ７４において、Ｓ６１よりＳ６７で説明した主走査方向の処理と同様の処理を行い、副走査方向での綴じ部の影補正範囲候補を検索する。

このようにして、主走査方向と副走査方向とについて、それぞれ最大で、４つの影階調部候補が選択される。図１９と図２０とに示す例において、主走査方向について、影階調候補Ｘ１が選択される。また、副走査方向について、影階調候補Ｙ１、Ｙ２、Ｙ３、Ｙ４が選択され、両方向に５つの候補が選択される。

Ｓ７５では、各方向を合わせて選択された８つの影階調部候補について、Ｓ６５で説明した方法と同様の手順で、全ての影階調部候補の組み合わせについて、２項比較を行う。このようにして得られた優位判断の数によって、影階調部候補に順序付けする。もっとも優位であると判定された影階調部候補の補正量と補正範囲とが、所与の閾値未満である場合、綴じ目なしであると判定する。たとえば、最大の補正量が、１．５倍未満であり、かつ補正範囲の幅が、実画像上で５ｍｍ未満の影については、綴じ目なしとする。

この閾値は、影として補正すべき綴じ目がない場合でも、原稿画像内の枠等を薄い影として誤判定しないような値として、実験的に定める。また、もっとも優位であると判定された影階調部候補が、Ｓ６７で選択された主走査方向の影階調部候補であれば、綴じ目は図４に例示されるような副走査方向と判定する。もっとも優位であると判定された影階調部候補が、Ｓ７４で選択された副走査方向の影階調部候補であれば、綴じ目は、図３に示す主走査方向であると判定する。

図１９と図２０とに示した例において、影階調候補Ｙ３がもっとも優位であると判定され、綴じ目は、図３と同様の主走査方向であると判定される。この結果、Ｙ方向の候補である影階調候補Ｙ１、Ｙ２、Ｙ３、Ｙ４について、次のＳ７６での処理が行われる。

綴じ目が副走査方向であると判定された場合、Ｓ７８では、Ｓ６７で選択された主走査方向の影階調部候補について、それぞれの累積補正倍率の適用に関する調整処理を行う。

具体的には、小口部候補が含まれている場合、もし解析画像の端部から所与の閾値以上、たとえば実画像上で２０ｍｍ以上離れていれば、その小口部候補が小口部ではなく原稿のテクスチャであると判断し、影補正対象から除外する。

Ｓ７９では、影輝度の補正対象である影階調部候補の各領域について、輝度補正テーブルを作成する。

綴じ目が主走査方向であると判定されると、Ｓ７６、Ｓ７７で、同様の手順で、影輝度補正係数テーブルが作成される。

綴じ目が主走査方向であると判定された図２０は、この場合に該当する。具体的には、図２０における影階調候補Ｙ２と影階調候補Ｙ３とが一対をなす綴じ部領域であり、その範囲の累積補正倍率が、綴じ部の影を補正する輝度補正係数として使用され、図２１における影階調部Ａのための補正係数になる。また、影階調候補Ｙ１とＹ４とは、それぞれ小口部の影に相当し、図２１における影階調部ＢとＣとのための補正係数である。

このようにして作成された影輝度補正係数テーブルを使用し、先に説明したように、プリスキャン画像の影領域内の影輝度補正（Ｓ４６）を行う。または、本スキャン画像上の綴じ部や小口部の影範囲の輝度補正（Ｓ５２）を行い、原稿台から浮いて暗くなった綴じ部や小口部の影の輝度を補正するという上記発明の効果を得る。

実施例４によれば、原稿綴じ部の縦横方向が誤判定された場合、ユーザインタフェースにある縦横方向を切り替える手段によって、原稿を再スキャンすることなく縦横方向の判定結果を変更することができる。また、検出した綴じ部と小口部の影領域の範囲を調整することによって、より適切な補正結果を得ることができる。

次に、本発明に関する実施例５を説明する。

図１または図１０に示されている画像読取装置と外部情報機器との構成を持ち、図１１−１、図１１−２に示すフローチャートに従って、中綴じ原稿の綴じ部や小口部の影の濃度を補正した画像を取得する動作は、実施例４と同様である。

実施例５は、綴じ部の影の解析処理におけるライン間隣接補正量の演算方法である。

図１４―１、図１４−２は、実施例５の特徴である綴じ部の影の解析処理におけるライン間隣接補正量の演算方法を示すフローチャートである。

図１４−１、図１４−２において、ｉは、第１の方向の画素位置を示す変数であり、ｊは、第２の方向の画素位置を示す変数である。このフローチャートで示す処理は、第２の方向に沿った綴じ目によって生じる第１の方向の濃度変化を、隣接補正量として、Ｃｎｅｘｔ［ｉ］に演算する。そのために、先ずＳ１０１〜Ｓ１１０において、各画素が影濃度の検出に使用可能な地肌画素であるか否かを判定し、２次元配列ｍａｐ［ｉ，ｊ］に記憶する。その後に、Ｓ１１１〜Ｓ１２４において、地肌画素判定配列ｍａｐ［ｉ，ｊ］を用い、隣接補正量Ｃｎｅｘｔ［ｉ］を演算する。

続いて、フローチャートに従って、処理内容を詳細に説明する。Ｓ１０１からＳ１１０までの処理によって、第１の方向の各画素位置ｉ（０からｉｎ−１まで）について、地肌画素の判定配列ｍａｐ［ｉ，ｊ］と、各画素位置ｉのライン上での地肌画素数ｋ［ｉ］とを作成する。画素位置ｉでの地肌画素を計数するために、地肌画素数ｋ［ｉ］の初期値に０を設定し、第２の方向ｊでの演算の初期化を行う（Ｓ１０２）。

Ｓ１０３の条件では、位置ｉ、ｊで、隣接画素との輝度差が所与の閾値、たとえば２５以上であれば、文字や線の輪郭画素であると判断し、ｍａｐ［ｉ，ｊ］に、非地肌画素設定を行う（Ｓ１０６）。輝度差が所与の閾値未満であれば、Ｓ１０４で、隣接画素との色差を演算し、色差が所与の閾値、たとえば２０以上であれば、色文字や彩色部の輪郭画素であると判断し、ｍａｐ［ｉ，ｊ］に非地肌画素設定を行う（Ｓ１０６）。輝度差と色差とがともに閾値未満であれば、位置ｉ、ｊを地肌画素であると判断し、ｍａｐ［ｉ，ｊ］に地肌画素設定を行い、画素位置ｉでの地肌画素数ｋ［ｉ］を１増やす。

以上のステップを全てのｊについて繰り返す（Ｓ１０７とＳ１０８）ことによって、地肌画素の判定配列ｍａｐ［ｉ，ｊ］を作成する。

そして、画素位置ｉを１インクリメントし（Ｓ１０９）、Ｓ１０２〜Ｓ１０８の処理を繰り返す。画素位置ｉがｉｎと同じになれば（Ｓ１１０）、Ｓ１１１に進む。

なお、Ｓ１０４における隣接画素間の色差の判断を、ＲＧＢ各色毎の輝度値の差の絶対値の最大値によって実行するようにしてもよい。また、色空間を変換したＹＣｒＣｂのＣｒの差の絶対値とＣｂとの差の絶対値の大きい方の値によって、上記隣接画素間の色差を判断するようにしてもよい。輝度差に適用する閾値と色差に適用する閾値とは、対象とする複数の原稿を使用し、最も多くの原稿で綴じ部の影の検出ができるように、実験的に決める。

Ｓ１１１、Ｓ１２３、Ｓ１２４で、第１の方向の各画素位置ｉについて、隣接補正量Ｃｎｅｘｔ［ｉ］を演算する。画素位置ｉの隣接補正量を演算するために、隣接補正量変数ｃの初期値に最小値（１−ｃｎ）を設定する（Ｓ１１２）。また、それまでの補正量変数ｃによって得られた隣接画素間の輝度差の最小値変数ＳＡｍｉｎに十分に大きな値を設定する。次に、補正量変数ｃによる画素位置ｉのライン上の地肌画素の輝度補正結果の平均値を求める。Ｓ１１３で、第２の方向ｊでの演算の初期化を行う。

Ｓ１１４で、位置ｉ、ｊについて、地肌画素判定配列ｍａｐ［ｉ，ｊ］を参照し、地肌画素であれば、輝度差を演算する（Ｓ１１５）。輝度差を演算する場合、ＲＧＢ各色毎に、補正量変数ｃで補正した輝度ＰＮ（ｉ＋１、ｊ）×（（２５６＋ｃ）／２５６）と、注目画素の隣接画素の輝度値ＰＮ（ｉ＋１，ｊ）との差を演算する。なお、上記Ｎは、Ｒ、Ｇ、Ｂのいずれかである。

この差の絶対値を、ＲＧＢ色別に求め、この最大値を、隣接輝度差累積変数ｓへ加算する（Ｓ１１５）。Ｓ１１４とＳ１１５とを、全てのｊについて繰り返した（Ｓ１１６とＳ１１７）後に、補正値ｃによる隣接輝度差の平均値ＳＡを演算する（Ｓ１１８）。

それまでに得られていた隣接輝度差平均の最小値ＳＡｍｉｎと比較し（Ｓ１１９）、ＳＡが最小であれば、ＳＡと補正値ｃとを最適な補正値候補として保存する（Ｓ１２０）。上記Ｓ１１３〜Ｓ１２０を、隣接補正量の所与の最大値（ｃｎ−１）まで繰り返すことによって、画素位置ｉの隣接補正量Ｃｎｅｘｔ［ｉ］を得る。

実施例４と同様に、この隣接補正量を、主走査方向について、右側画素と比較し、左側画素と比較し、副走査方向について、下側画素と比較し、上側画素と比較し、最終的に影輝度補正係数テーブルを得て、影を補正する。

実施例５によれば、地肌画素であるか否かの判定や、輝度差の演算に、色差情報や色別の輝度差を用いた文字や図形画素の検出と影補正係数の算出とを行うので、色文字やカラー原稿について、綴じ部の影を連続的で滑らかに補正することができる。

実施例４では、低解像度での予備走査によって、プリスキャン画像を取得するが、実施例６は、本スキャン画像によって、プリスキャン画像を取得する。

上記実施例において、ＣＰＵコントローラ２９は、中綴じ原稿の綴じ部候補と、小口部候補との位置を、縦横両方向に検出する綴じ部、小口部候補検出手段の例である。ＣＰＵコントローラ２９は、各綴じ部候補、小口部候補の特性に基づいて、原稿方向を決定する原稿方向決定手段の例である。また、ＣＰＵコントローラ２９は、再帰的に決定された方向属性を有する綴じ部と小口部との影、歪みを補正する影、歪み補正手段の例である。

ディスプレイＤＰ２は、影や歪みを補正した最終画像候補を確認可能な画像確認手段の例である。ディスプレイＤＰ２は、検出された綴じ部と小口部との領域を、画像確認手段に表示する領域表示手段の例である。操作パネル３６ａは、中綴じ原稿の方向を、指定可能なユーザインタフェースの例である。ディスプレイＤＰ２は、指定された方向の属性を有する上記綴じ部候補と小口部候補との領域を、上記画像確認手段に表示する領域表示手段の例である。ＣＰＵコントローラ２９は、領域内部の影や歪みを補正する補正手段の例である。

この場合、綴じ部、小口部の領域は、同時に縦横のいずれか１つの方向属性を持つ領域のみを表示する。また、綴じ部、小口部の縦横の方向を、それぞれ異なる表示方法によって表示する。さらに、綴じ部、小口部の領域を手動で可変可能である。しかも、中綴じ原稿の左小口部、綴じ部、右小口部を、互いに異なる表示方法によって表示する。そして、画像確認領域上に、左小口部、綴じ部、右小口部の特性を持つクロップ枠を、それぞれ１つを上限に表示する。加えて、画像確認領域上に、左小口部、綴じ部、右小口部の特性を持つクロップ枠を、それぞれ１つを上限に手動で追加、削除する。

上記実施例をプログラムの発明として把握することができる。つまり、上記実施例は、中綴じ原稿の綴じ部候補と、小口部候補との位置を、綴じ部、小口部候補検出手段が、縦横両方向に検出する綴じ部、小口部候補検出手順をコンピュータに実行させるプログラムの例である。また、上記実施例は、各綴じ部候補、小口部候補の特性に基づいて、原稿方向を、原稿方向決定手段が決定する原稿方向決定手順をコンピュータに実行させるプログラムの例である。さらに、上記実施例は、再帰的に決定された方向属性を有する綴じ部と小口部との影、歪みを、影、歪み補正手段が補正する影、歪み補正手順をコンピュータに実行させるプログラムの例である。そして、上記実施例は、影や歪みを補正した最終画像候補を確認可能な画像確認手順と、検出された綴じ部と小口部との領域を、領域表示手段が、画像確認手段に表示する領域表示手順とをコンピュータに実行させるプログラムの例である。しかも、上記実施例は、指定された方向の属性を有する上記綴じ部候補と小口部候補との領域を、上記画像確認手段に表示する領域表示手順と、領域内部の影や歪みを補正する補正手順とをコンピュータに実行させるプログラムの例である。

画像読取装置１００と外部情報機器との構成を示すブロック図である。 読み取り光学ユニットの移動する方向である副走査方向に、綴じ目や小口部が沿うように、中綴じ原稿１Ａを載置した場合を示す図である。 画像読み取りセンサの配置方向である主走査方向に綴じ目や小口部が沿うように、中綴じ原稿１Ｂを載置した場合を示す図である。 実施例１において、中綴じ原稿１Ｂの綴じ部影範囲３３、小口部３２、３４の影の濃度を補正する動作を説明するフローチャートである。 外部情報機器ＣＰ１に接続されているディスプレイＤＰ１に表示されているユーザインタフェースであって、画像読取装置１００のドライバのユーザインタフェースを示す図である。 影範囲指定モードにおける領域指定の方法を示す図である。 本発明の実施例２の動作を示すフローチャートである。 本発明の実施例２の動作を示すフローチャートである。 実施例２において、ＵＩ上で方向属性を変更する説明図である。 実施例２において、右小口部、綴じ部、左小口部を、互いに独立して、方向属性の指定を変更する説明図である。 本発明の実施例４である画像読取装置２００の外観を示す図である。 実施例２において、中綴じ原稿の綴じ部や小口部の影の濃度を補正した画像を取得する動作を示すフローチャートである。 実施例２において、中綴じ原稿の綴じ部や小口部の影の濃度を補正した画像を取得する動作を示すフローチャートである。 綴じ部の影の解析処理動作を示すフローチャートである。 本発明の実施例４における画像解析において、影輝度の特徴を演算する処理を示すフローチャートである。 実施例５の特徴である綴じ部の影の解析処理におけるライン間隣接補正量の演算方法を示すフローチャートである。 実施例５の特徴である綴じ部の影の解析処理におけるライン間隣接補正量の演算方法を示すフローチャートである。 Ｓ６１によって得られた結果の一例を示す図である。 副走査方向のライン間隣接補正量の一例を表すグラフである。 図１５の隣接補正量に基づいて求めた隣接補正倍率を示す図である。 副走査方向のライン間隣接補正倍率の一例を表すグラフである。 累積補正倍率を示す図である。 副走査方向のライン間累積補正倍率の一例を表すグラフである。 プリスキャン画像を解析して得られた影濃度補正係数テーブル（濃度補正倍率テーブル）の例を示す図である。 ライン間累積補正倍率による影階調部相互の比較処理例を示す表である。 本発明によって補正が可能となる原稿台上での原稿の載置方向を表した図である。 外部情報機器ＣＰ２に接続されているディスプレイＤＰ２に表示される、画像読取装置２００のドライバのユーザインタフェースを示す図である。 ボタンに表示されているアイコンの本の向きに、綴じ部の方向が変更された状態を示す図である。 綴じ部枠ＦＤ、左小口部枠ＦＥ、右小口部枠ＦＦを選択し、コンテキストメニュー（マウスの右クリックで表示）を表示した図である。

符号の説明

１００…画像読取装置、
ＣＰ１…外部情報機器、
ＤＰ１…ディスプレイ、
２００…画像読取装置、
ＣＰ２…外部情報機器、
ＤＰ２…ディスプレイ。

Claims (14)

1. 原稿台上に載置されている原稿を読み取り、画像データを得る画像読取手段と；
   原稿の画像を確認可能な画像表示手段と；
   上記画像表示手段の画像領域上で、中綴じ原稿の綴じ部と、原稿面の両側において紙葉が重なっている端部である小口部との領域を、クロップ枠で指定する綴じ部、小口部指定手段と；
   クロップ枠で指定された領域内の綴じ部と小口部との影、歪みを補正する影、歪み補正手段と；
   中綴じ原稿の画像の最終候補を確認可能な最終候補確認手段と；
   を有し、上記指定された領域のクロップ枠が綴じ部と小口部との影、歪みの方向属性を有することを特徴とする画像処理装置。
2. 請求項１において、
   クロップ枠の矩形の長手方向を、上記方向属性として決定することを特徴とする画像処理装置。
3. 請求項１において、
   上記綴じ部、上記小口部として指定されたクロップ枠の数に基づいて、各クロップ枠が、上記綴じ部であるか、上記小口部であるかを自動判別することを特徴とする画像処理装置。
4. 請求項１において、
   上記クロップ枠の方向属性を変更することができるユーザインタフェースを有することを特徴とする画像処理装置。
5. 原稿台上に載置されている原稿を読み取り、画像データを得る画像読取工程と；
   原稿の画像を確認可能な画像表示手段の画像領域上で、中綴じ原稿の綴じ部と、原稿面の両側において紙葉が重なっている端部である小口部との領域を、クロップ枠で指定する綴じ部、小口部指定工程と；
   クロップ枠で指定された領域内の綴じ部と小口部との影、歪みを補正する影、歪み補正工程と；
   中綴じ原稿の画像の最終候補を確認可能な最終候補確認工程と；
   を有し、上記指定された領域のクロップ枠が綴じ部と小口部との影、歪みの方向属性を有することを特徴とする画像処理方法。
6. 原稿台上に載置されている原稿を読み取り、画像データを、画像読取が得る画像読取手順と；
   原稿の画像を確認可能な画像表示手順と；
   上記画像表示手順の画像領域上で、中綴じ原稿の綴じ部と、原稿面の両側において紙葉が重なっている端部である小口部との領域を、綴じ部、小口部指定手段が、クロップ枠で指定する綴じ部、小口部指定手順と；
   クロップ枠で指定された領域内の綴じ部と小口部との影、歪みを、影、歪み補正手段が補正する影、歪み補正手順と；
   中綴じ原稿の画像の最終候補を確認可能な最終候補確認手順と；
   を、画像読取装置と接続したコンピュータに実行させるプログラムであって、上記指定された領域のクロップ枠が綴じ部と小口部との影、歪みの方向属性を有することを特徴とするプログラム。
7. 原稿台上に載置された原稿を読み取った画像データにおいて、
   中綴じ原稿の綴じ部候補と、小口部候補との位置を、縦横両方向に検出する綴じ部、小口部候補検出手段と；
   各綴じ部候補、小口部候補の特性に基づいて、原稿方向を決定する原稿方向決定手段と；
   再帰的に決定された方向属性を有する綴じ部と小口部との影、歪みを補正する影、歪み補正手段と；
   影や歪みを補正した最終画像候補を確認可能な画像確認手段と；
   検出された綴じ部と小口部との領域を、画像確認手段に表示する領域表示手段と；
   中綴じ原稿の方向を、指定可能なユーザインタフェースと；
   指定された方向の属性を有する上記綴じ部候補と小口部候補との領域を、上記画像確認手段に表示する領域表示手段と；
   領域内部の影や歪みを補正する補正手段と；
   を有することを特徴とする画像処理装置。
8. 請求項７において、
   綴じ部、小口部の領域は、同時に縦横のいずれか１つの方向属性を持つ領域のみを表示することを特徴とする画像処理装置。
9. 請求項７において、
   綴じ部、小口部の縦横の方向を、それぞれ異なる表示方法によって表示することを特徴とする画像処理装置。
10. 請求項７において、
    綴じ部、小口部の領域を手動で可変可能であることを特徴とする画像処理装置。
11. 請求項７において、
    中綴じ原稿の左小口部、綴じ部、右小口部を、互いに異なる表示方法によって表示することを特徴とする画像処理装置。
12. 請求項７において、
    画像確認領域上に、左小口部、綴じ部、右小口部の特性を持つクロップ枠を、それぞれ１つを上限に表示することができる画像処理装置。
13. 請求項７において、
    画像確認領域上に、左小口部、綴じ部、右小口部の特性を持つクロップ枠を、それぞれ１つを上限に手動で追加、削除することができる画像処理装置。
14. 原稿台上に載置された原稿を読み取った画像データにおいて、
    中綴じ原稿の綴じ部候補と、小口部候補との位置を、綴じ部、小口部候補検出手段が、縦横両方向に検出する綴じ部、小口部候補検出手順と；
    各綴じ部候補、小口部候補の特性に基づいて、原稿方向を、原稿方向決定手段が決定する原稿方向決定手順と；
    再帰的に決定された方向属性を有する綴じ部と小口部との影、歪みを、影、歪み補正手段が補正する影、歪み補正手順と；
    影や歪みを補正した最終画像候補を確認可能な画像確認手順と；
    検出された綴じ部と小口部との領域を、領域表示手段が、画像確認手段に表示する領域表示手順と；
    指定された方向の属性を有する上記綴じ部候補と小口部候補との領域を、上記画像確認手段に表示する領域表示手順と；
    領域内部の影や歪みを補正する補正手順と；
    をコンピュータに実行させるプログラム。

Images