JP3425366B2

JP3425366B2 - 画像補正装置

Info

Publication number: JP3425366B2
Application number: JP18346398A
Authority: JP
Inventors: 和行名古
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-06-30
Filing date: 1998-06-30
Publication date: 2003-07-14
Anticipated expiration: 2018-06-30
Also published as: EP1093084B1; EP1093084A1; US7072527B1; JP2000020682A; CN1323372C; CN1307714A; WO2000000930A1; KR20010053292A; KR100394202B1; EP1093084A4

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像補正装置に関
し、特に本の綴じ目の付近のように特定部域が歪んだ原
稿を画像として読み取り、元の原稿が平面であったかの
ように補正する画像補正装置に関する。

【０００２】

【従来の技術】製本された本やノートなどのように中央
綴じ部が原稿台より離れる原稿を当倍率に鮮明に複写す
る装置として、特開昭５７−１９１６５３号公報記載の
画像形成装置がある。この画像形成装置は原稿と原稿台
との距離を測定し、その距離に応じて走査速度と原稿台
の高さと光源の照度を調節することにより、画像の歪み
及び明るさを補正するものであり、中央綴じ部の直線を
ｙ軸とし、見開きページの方向をｘ軸とするとき、原稿
台と原稿がｙ軸方向には傾斜角がなく、ｘ軸方向のみに
一定の傾斜角θをなすときに有効な方法を提供してい
る。

【０００３】また、入力した画像だけから画像補正する
技術として、特開平５−１６１００４号公報記載の原稿
読み取り装置がある。この原稿読み取り装置は、原稿読
み取り手段にて原稿を読み取り、画像情報を得るととも
に、境界検出手段にて原稿と原稿台の境界を検出する。
この境界検出結果を基に原稿の形状、曲がり具合を検出
し、その検出結果に応じて読み取った画像データを補正
するものである。また、上記原稿読み取り装置では、原
稿と原稿台を区別しやすいように原稿台は黒色など白色
以外の色が選ばれ、原稿の両方のエッジ部の高さの差が
ある程度以下のものに適用できるものである。

【０００４】また、特開平８−１８１８２８号公報記載
の画像処理装置によると、特開平５−１６１００４号公
報記載の原稿読み取り装置などで課題になった原稿台の
色の制限や、原稿の色に関する制限に対する改善が、原
稿と接する面に白黒の縞模様のついた原稿ガイドを設け
ることにより実現されている。

【０００５】さらに、特開平１０−０６５８７７号公報
記載の画像処理装置には、原稿を撮影して得られた画像
のエッジを検出し、得られたエッジから原稿のスキュー
を検出し、高さ歪みと回転歪みを有する原稿を補正する
技術が公開されている。

【０００６】

【発明が解決しようとする課題】しかしながら、従来技
術の特開昭５７−１９１６５３号公報記載の画像形成装
置では、画像を読み込みながら走査速度と原稿台の高さ
と光源の照度を制御する必要があるため、非常に複雑な
機構が必要になるという問題があった。

【０００７】また、一般に測距手段の結果には誤差が含
まれるため、実際の原稿と原稿台との距離と測定結果が
一致せず、必ずしも撮像される画像が平面に補正できる
とは限らないという問題もあった。

【０００８】また、特開平５−１６１００４号公報記載
の原稿読み取り装置では、上記の画像形成装置のように
原稿面の高さをセンサなどの測距手段を用いて検出する
必要がなく、画像だけから歪みや明るさの補正を行う
が、境界の位置と原稿の高さを一意に対応づけているた
め、原稿が定められた場所に置かれていない場合、ある
いは回転して置かれている場合には補正をすることがで
きないという問題があった。

【０００９】また、原稿の高さが読み取り手段の主走査
方向に対して一定範囲でなければ補正を行うことができ
ず、原稿の高さが読み取り手段の主走査方向に対して一
定範囲でない場合は警告を発するにとどまるという問題
があった。

【００１０】また、従来のエッジの位置の検出方法は、
特開平１０−０６５８７７号公報で公開されているよう
に、エッジ検出フィルタ処理した画像の連結成分が所定
以下の場合は、孤立点とし、上記連結成分が所定以下の
場合は、直線で補間していたが、この方法の場合、エッ
ジ検出誤り、エッジ検出漏れが起こるという問題があっ
た。

【００１１】また、従来の綴じ目位置の検出は、特開平
１０−０６５８７７号公報で公開されているように、エ
ッジ位置の極大若しくは極小点を綴じ目位置と判定する
方法が用いられていた。このため、原稿に皺などの局所
的な変化がある場合は、綴じ目位置の検出を間違えると
いう問題があった。

【００１２】さらに、従来の基準線の傾きは、例えば、
特開平８−１８１８２８号公報に記載されているよう
に、原稿ガイドの下部の線を基準線としていたため、原
稿ガイドのない場合、基準線あるいは基準線の傾きが求
まらないという問題があった。

【００１３】また、原稿の端点は、特開平８−１８１８
２８号公報に記載されているように、両ページ共通の判
定基準で検出していたため、通常斜め方向から光が当て
られるスキャナ、複写機において、左右のページの端点
が正しく検出されないという問題があった。

【００１４】また、特開昭５７−１９１６５３号公報、
特開平５−１６１００４号公報、特開平８−１８１８２
８号公報、特開平８−１８１８２８号公報で示された技
術に共通して、原稿の高さが読み取り手段の主走査方向
に対して一定であるため、原稿の上下で浮き上がり量が
異なる場合には画像を補正できないという問題があっ
た。さらに、左右ページの上下で浮き上がり量が異なる
場合にも左右のバランスを取って補正することができ
ず、適正な補正にならないという、問題があった。

【００１５】また、従来技術では、綴じ目付近の画像の
画像は黒くなる傾向があり、補正が不完全であったりあ
るいは不可能である場合があった。さらに、原稿の色が
白色でない場合の綴じ目を補正する場合は、特に補正が
難しいという問題があった。

【００１６】また、従来技術では、読み取ったままの高
解像度の画像から形状認識を行っていたため処理が重
く、メモリ消費量が大きくなるという問題があった。

【００１７】また、画像の歪み補正の有無にかかわりな
く同一の特性で画像の読み取りを行っているため、歪み
補正のない場合は白黒コントラストが低すぎ、歪み補正
を行えば、エッジ検出が難しくなるという問題があっ
た。

【００１８】また、従来技術は、補正の自動停止機能が
なく、無駄な紙を出力してしまうという問題があった。

【００１９】本発明の目的は上記問題点を解決するた
め、たとえ原稿が回転していたり、綴じ目の浮き方が原
稿の上下で異なっていても、あたかも元の原稿が平面で
あったかのように、画像の幾何学的歪みや明るさを補正
する画像補正装置を提供することである。

【００２０】

【課題を解決するための手段】前記課題を解決するた
め、本発明では、綴じ目の上下の浮き上がり量が異なる
原稿の画像を補正する画像補正装置であって、前記歪み
画像補正手段は、原稿のエッジを検出するエッジ検出手
段と、原稿の綴じ目の位置を求める綴じ目位置検出手段
と、原稿の位置の基準線を求める基準線検出手段と、上
記基準線と綴じ目の位置より原稿の上下の側面の傾斜角
を計算する側面傾斜角算出手段と、前記エッジと基準線
と傾斜角より原稿の上下のエッジの３次元位置を計算す
るエッジ３次元位置算出手段と、エッジの３次元位置よ
り原稿全体の形状を計算する原稿形状算出手段とを有す
ることを特徴とする画像補正装置である。

【００２１】さらに、前記エッジ付近の画像の輝度変化
より原稿の左右の端点を求める原稿端点検出手段と、原
稿の３次元形状に従い、画像から補正対象画素の背景輝
度を求め、背景輝度と目標輝度から画素の輝度補正パラ
メータを求める輝度補正パラメータ算出手段とを有し、
前記原稿の３次元形状と輝度補正パラメータを用いて入
力された画像を補正することを特徴とする。

【００２２】また、前記エッジ検出手段は、エッジの位
置変化が少ない場所のうち所定の長さ以上の区間を検出
し、前記区間以外は前後で検出した区間から補間した位
置を原稿エッジの位置とすることを特徴とする。

【００２３】また、前記綴じ目位置検出手段は、前記エ
ッジ検出手段によって検出されたエッジの位置の極大点
若しくは極小点のうち、画像の中心に最も近い方を綴じ
目位置として検出することを特徴とする。

【００２４】また、前記基準線検出手段は、エッジ付近
の画像の画素値が第１の基準値以上で、且つ、エッジの
傾きの変化量が第２の基準値以下となる区間のうち、最
も長い区間における平均のエッジの傾きを基準線の傾き
とし、前記最長区間の原稿外側の端点から前記傾きで延
ばした直線を基準線とし、原稿左右あるいは上下のエッ
ジについてそれぞれ基準線を検出するものであることを
特徴とする。

【００２５】また、前記原稿端点検出手段は、原稿の左
右のページで別々の判定基準に基づいて原稿端点を検出
することを特徴とする。

【００２６】また、前記原稿形状算出手段は、原稿面を
上下のエッジの間を結ぶ直線の集合で近似し、原稿面の
３次元位置を前記直線の上下端点の位置の内分比から求
めることを特徴とする。

【００２７】さらに、前記原稿形状算出手段は、算出さ
れたエッジの長さが上下で異なる場合、同一の長さにな
るようにエッジの３次元位置を修正することを特徴とす
る。

【００２８】さらに、前記原稿形状算出手段は、算出さ
れた原稿の縦の長さが左右のページで異なる場合、縦の
長さが左右で同一となるように原稿の３次元形状データ
を修正することを特徴とする。

【００２９】さらに、前記原稿形状算出手段は、入力さ
れた画像を所定の縮小率で縮小する画像縮小手段を有
し、前記縮小された画像から原稿の３次元形状を求めた
後、前記縮小率に従い原稿の３次元形状データを修正す
ることを特徴とする。

【００３０】また、前記輝度補正パラメータ算出手段
は、原稿面を近似する直線の上下端点付近の画像の輝度
の内分比から補正対象画素の背景輝度を求め、背景輝度
に対する目標輝度の比を輝度補正パラメータとすること
を特徴とする。

【００３１】

【００３２】

【００３３】さらに、前記縮小画像を作成するための画
像の読み取りと、補正対象となる画像の読み取りを別々
に行うことを特徴とする。

【００３４】

【００３５】

【００３６】

【発明の実施の形態】以下、図面を用いて、本発明の実
施の形態について詳細に説明する。

【００３７】〔実施の形態１〕図１は本発明の実施の一
形態である画像補正装置１の電気的構成を示すブロック
図である。画像補正装置１は、中央演算処理装置２、画
像入力装置３、記憶装置４、画像出力装置５を含み、そ
れぞれバスライン６で接続され、バスライン６を介して
相互に信号の授受を行う。以後の説明では、バスライン
に関する記載は省略する。

【００３８】画像入力手段である画像入力装置３は、例
えばスキャナなどの画像読み取り装置によって実現され
る。また、画像入力装置３はあらかじめＣＤ−ＲＯＭ、
フロッピーディスク、光磁気ディスクなどの記憶媒体に
記録された画像を読み出す装置であってもよい。

【００３９】画像出力手段である画像出力装置５は、例
えばプリンタによって実現される。また、ＣＲＴやＬＣ
Ｄなどの表示装置であってもよい。

【００４０】記憶手段である記憶装置４は例えば半導体
メモリやハードディスク装置によって実現される。画像
入力装置３によって入力された画像は、画像信号として
記憶装置４に記憶される。また、各画像処理手段はプロ
グラムによって実現され、あらかじめ記憶装置４に記憶
されている。

【００４１】中央演算処理手段である中央演算処理装置
２は例えばマイクロプロセッサによって実現され、以降
で説明する各画像処理手段は、中央演算処理装置２上で
実行されるプログラムとして実現される。本実施形態で
は、各画像処理手段は中央演算処理装置２上で実行され
るプログラムとしているが、各手段がハードウェアのロ
ジックであってもよい。

【００４２】図２は本や雑誌などの原稿１０を読み取っ
た画像の例である。原稿面はスキャナのガラス面に密着
させるため、ガラス面に密着した原稿面とスキャナのレ
ンズとの距離は一定であるが、綴じ目１２付近の原稿面
はガラス面から浮き上がるためにスキャナのレンズとの
距離が広がり、縮小して読み取られる。このため、綴じ
目１２付近に幾何学的歪みが生じることとなる。また、
スキャナは原稿面に光りを当て、その反射光を読み取る
ため、綴じ目１２付近のように浮き上がった場所の画像
は暗くなってしまう。

【００４３】以下の説明では、図２の水平方向をｘ方
向、垂直方向をｙ方向と決める。原点Ｏはレンズ中心に
合わせ、画像上部中央に定める。画像を読み取るスキャ
ナの主走査方向はｘ軸と平行であるとし、副走査方向は
ｙ方向と平行であるとする。つまり、ＣＣＤラインセン
サとｘ軸は平行であり、レンズ及びＣＣＤの移動方向は
ｙ方向と平行ということである。入力画像中の原稿１０
は時計回りに９０°回転して置かれているとし、画像の
上側に来るページを左ページ、下側に来るページを右ペ
ージと呼ぶこととし、原稿１０のａを原稿左上、ｂを原
稿左下、ｃを原稿右上、ｄを原稿右下と呼ぶこととす
る。原稿面の輪郭を原稿エッジと呼ぶこととし、図２の
１３の部分を原稿上部エッジ、１４の部分を原稿下部エ
ッジと呼ぶこととする。原稿面はガラス面に接している
部分は平面であり、原稿エッジも直線となる。このよう
な場所における原稿エッジの接線を基準線とし、原稿左
上部の基準線を基準線１５ａ、左下の基準線を基準線１
５ｂ、右上の基準線を基準線１５ｃ、右下の基準線を基
準線１５ｄとする。

【００４４】また、画像は原稿１０のエッジが検出でき
るよう、原稿１０と原稿外領域１１が区別できるように
読み取られているものとする。背景が白い通常の原稿の
場合、スキャナの蓋を開けた状態で原稿を読み込むか、
スキャナの蓋を黒などの色にしておくことにより、原稿
外領域１１は原稿１０よりも暗く読み取られるため、原
稿外領域１１と原稿１０で輝度差が生じ、原稿１０のエ
ッジを検出することができる。また、黒っぽい原稿であ
った場合には、スキャナの蓋を白色など明るい色にし、
蓋を閉めて画像を読み込むことにより、原稿外領域１１
と原稿１０で輝度差が生じるため、同様に原稿のエッジ
を検出することができる。

【００４５】以下、各画像処理手段について詳細に説明
する。以下の説明では、特に断らない限り、実際の原稿
ではなく、レンズによって投影される像を用いて説明し
ている。これは、実際の原稿とその像は相似関係にあ
り、大きさが違うだけで、形状に違いはないことと、画
像としてＣＣＤに写るのはレンズによって投影される原
稿の像のＣＣＤ面での断面であり、画像と同じスケール
で原稿の像の形状を計算することができるため、より理
解しやすいという理由による。

【００４６】エッジ検出手段は例えばエッジ検出フィル
タを使って実現される。エッジ検出フィルタはＳｏｂｅ
ｌのオペレータやＰｒｅｗｉｔｔのオペレータなどさま
ざまなものが従来から提案されている。これらエッジ検
出フィルタは、画像の明るさが急激に変化する場所ほど
大きな値を出力する。原稿面の明るさが原稿面以外の部
分と異なる場合、画像をエッジ検出フィルタで処理する
ことにより、原稿のエッジを検出することができるが、
文字の輪郭など、原稿エッジ以外のエッジも検出してし
まうため、以下のようにして原稿エッジのみを検出す
る。ここで原稿エッジとは原稿面の最も外側の輪郭線の
ことを示す。

【００４７】図３はエッジ検出の手順を示すフローチャ
ートである。まず、エッジ検出フィルタでエッジ検出を
行い（Ｓ１）、エッジ検出処理を行った画像の端からｘ
方向に所定の閾値を越える点（エッジ）を探す（Ｓ
２）。このとき、見つかれば（Ｓ３）エッジの妥当性の
チェックを行い（Ｓ４）、妥当であれば位置を記録し
（Ｓ５）、次のラインに移る（Ｓ７）。探索範囲の終端
までエッジが見つからないときは位置を記録せずに次の
ラインに移る。最後のラインまで到達すれば（Ｓ８）処
理を終了する。

【００４８】妥当性のチェックでは、例えば、孤立点で
はないこと、及び、原稿内側に向かってエッジが一定距
離存在していないことを調べる。フィルタ処理で検出さ
れたエッジが孤立点である場合、スキャナのガラス面に
付着したゴミ、ホコリの像であったり、ノイズであった
りするため、これを除去する。孤立点の判断は、フィル
タ処理した画像の画素の連結成分を調べ、連結している
画素の数が所定数以下の場合、孤立点と判断する。ま
た、画像に写った原稿の側面やカバーなどもエッジ検出
フィルタでエッジとして検出されてしまうが、原稿面の
上下端には空白があると仮定すると、原稿面のエッジの
内側にはしばらくエッジは存在しないと考えられる。こ
のことから、検出されたエッジから原稿内側に向かって
他のエッジが一定距離存在していない場合は原稿のエッ
ジと判断することができる。

【００４９】図４はエッジ検出結果と、前後のエッジ位
置の差分の絶対値のグラフを示している。図３に従い、
エッジ検出を行った場合、エッジの検出誤り、検出抜け
を含んでいる場合がある。これはそれぞれ図４のア、イ
の部分に相当する。図４のア、イの部分を検出するた
め、まず、前後のエッジ位置の差分の絶対値を計算す
る。正しく原稿エッジを検出している部分はエッジの変
化が少ないため、差分値は小さくなるが、エッジ検出を
誤った部分はその前後で差分値が増大する。エッジの検
出抜けは、その前後でエッジ検出のデータがないことか
ら判断できる。以上により、差分値が所定値以下であ
り、エッジ検出結果が存在している区間は正しいエッジ
検出結果であると判断する。ただし、エッジ検出誤りを
避けるため、所定の長さ以下の区間は無視する。上記以
外の区間はその前後の区間のデータから近似により補間
する。近似方法は直線で近似してもよいし、ベジエ曲線
などで近似してもよい。

【００５０】以上により、原稿の上下について、同様の
処理を行うことにより、原稿の上下のエッジを検出する
ことができる。

【００５１】次に図５を用いて、綴じ目位置検出手段に
ついて説明する。エッジ検出手段によって得られた上部
エッジ１３と下部エッジ１４から綴じ目１２の上下端点
１２ａ、１２ｂを求める。綴じ目の上部端点１２ａは上
部エッジ１３の極小点、綴じ目の下部端点１２ｂは下部
エッジ１４の極大点とする。このとき、綴じ目ではな
い、局所的な極大、極小点も存在する可能性があるた
め、最も中心に近い極大、極小点を綴じ目位置とする。

【００５２】以上により、綴じ目の上下端点が求められ
るので、それらを結ぶ線が綴じ目１２となる。次に図６
を用いて基準線検出手段について説明する。原稿面がガ
ラス面に接触している部分では歪みがないため、原稿エ
ッジも直線となる。このような直線を基準線とし、後述
の画像処理では基準線とエッジの位置関係から原稿形状
を計算している。

【００５３】図６の２０ａは左ページ上部のエッジの傾
き、２０ｂは右ページ上部のエッジの傾きを表してい
る。また、２１は原稿上部のエッジ付近の画素値の変化
を示している。エッジ付近の画素値とは、エッジから所
定距離にある画素の値でもよいし、その周辺の平均値で
もよい。原稿がガラス面から離れた場所では画像が暗く
なるため、画素値は小さくなる。このため、画素値の最
大値から所定の範囲にある部分はガラス面に接触した部
分と判断できる。上記範囲において、エッジの傾き２０
ａ及び２０ｂにおいて傾きがほぼ一定の値になる場所を
検出し、求めた値をそれぞれ基準線の傾きとする。原稿
がガラス面に接触している区間におけるエッジ位置を通
過点とする、前記傾きの直線が基準線となる。通過点は
ガラス面に接触していると判断した区間内であればどこ
でもよいが、区間の両端部分はエッジが曲がり始める部
分であり、必ずしも直線になっていない場合もあるた
め、区間の中心付近である方が望ましい。

【００５４】原稿下部についても同様の処理を行うこと
により、原稿上下のエッジの基準線１５ａ、１５ｂ、１
５ｃ、１５ｄを求めることができる。

【００５５】次に、図７を用いて原稿端点検出手段につ
いて説明する。ガラス面に密着している部分の原稿面の
明るさはおおよそ一定と考えられるが、原稿の外側はス
キャナなどの光源から離れるため、暗くなる。図６と同
様に、原稿上下でエッジ付近の画素値の変化を求め、そ
れぞれ、左右のページで画素値の最大値と比べ、一定割
合以上小さくなる場所を検出する（Ｓ１１）。

【００５６】また、一般に、スキャナや複写機などの光
源は原稿の真下からではなく、斜め方向から当てられる
ため、原稿左右の側面で光りの入射角が異なり、画像に
写る明るさが異なる場合がある。このため、例えば、原
稿左側は３％、右側は５％画素値が小さくなったら原稿
端点と判断するなど、原稿の左右で判断基準を変えても
よい。図８のように、検出した端点２２ａ、２２ｂ、２
２ｃ、２２ｄから原稿の上下反対側の基準線に垂線を引
き（Ｓ１２）、原稿の外側になる垂線を左右それぞれで
選び、基準線との交点をあらたに原稿端点２２ａ'、２
２ｂ'、２２ｃ'、２２ｄ'とする（Ｓ１３）。本実施形
態では、必要な部分を切り落としてしまわないように、
原稿の外側になる垂線を選んでいるが、不要な部分をで
きるだけ落とすために、内側になる垂線を選んでもよ
い。

【００５７】次に図９を用いて側面傾斜角算出手段につ
いて説明する。図９はレンズと原稿の像の関係を示して
おり、原稿の像をｙ軸方向から見、９０度回転させた図
である。図では、ＣＣＤ面及び、ガラス面に垂直にｚ軸
を設定し、レンズ中心を原点Ｏとしている。レンズとＣ
ＣＤ面の距離はｆとする。原稿上部が沈んでいるため
に、綴じ目が原稿上側に傾斜していることを示してい
る。図中の実線はレンズによって投影された原稿の像を
表している。綴じ目の上下端点Ｅ１；Ｅ２は、ＣＣＤ上
では縮小され、Ｐ１；Ｐ２の位置に見える。これは、本
をスキャナで読み込んだ際、浮き上がっている部分の画
像は縮小されることを示している。

【００５８】ここで、Ｅ１；Ｅ２を通り、綴じ目Ｌ０に
垂直な線をＬ１；Ｌ２とする。本などの原稿は、長方形
の紙を１辺で綴じたものであるため、綴じ目と上下側面
の関係は直角であると考えてよい。このため、直線Ｌ
１；Ｌ２はそれぞれ原稿の上部側面、下部側面と一致し
ているとする。

【００５９】また、Ｌ１；Ｌ２とＣＣＤ面との交点Ｂ
１；Ｂ２はエッジの基準線上にあるとする。このとき、
以下のようにして、原稿側面の傾きαを算出する。い
ま、ＣＣＤ上において、綴じ目の上端、下端がそれぞれ
点Ｐ１；Ｐ２の位置に写っていたとする。このとき、綴
じ目の上端、下端の像はそれぞれ直線Ｍ１及び、Ｍ２上
に存在し、直線Ｌ０とＬ１、Ｌ２の交点Ｅ１、Ｅ２の位
置にある。

【００６０】まず、Ｌ１とＭ１の交点Ｅ１を求める。直
線Ｌ１、Ｍ１はそれぞれ

【００６１】

【数１】

【００６２】

【数２】

【００６３】と表され、式１、式２よりＬ１とＭ１の交
点Ｅ１は

【００６４】

【数３】

【００６５】となる。

【００６６】次に、Ｌ２とＭ２の交点Ｅ２を求める。直
線Ｌ２、Ｍ２はそれぞれ

【００６７】

【数４】

【００６８】

【数５】

【００６９】と表され、式４、式５よりＬ２とＭ２の交
点Ｅ２は

【００７０】

【数６】

【００７１】となる。式３、式６より、直線Ｌ０の方向
ベクトルは

【００７２】

【数７】

【００７３】であり、直線Ｌ０及びＬ１、Ｌ２が直交す
る条件から

【００７４】

【数８】

【００７５】となり、これを簡単にすると

【００７６】

【数９】

【００７７】というαの３次方程式となり、その解が求
める側面の傾きαとなる。一般に３次方程を解くのは難
しいが、実際には側面の傾きはほぼｚ軸と平行に近く、
Ｂ１、Ｐ１及び、Ｂ２、Ｐ２のｚ軸からの距離の比率か
ら、上下どちら側に綴じ目が沈んでいるかも分かるた
め、おおよその解は分かる。あらかじめおおよその解が
分かっている場合、２分法などを用いれば、反復計算で
近似解を簡単に求めることができる。

【００７８】次に、エッジ３次元位置算出手段について
説明する。側面傾斜角算出手段によって原稿の上下側面
の傾きαを求める際に用いた式３、式６は、綴じ目の上
下端点だけでなく、エッジ全体に適用することができ
る。

【００７９】レンズとＣＣＤの距離ｆ、基準線の位置、
ＣＣＤ面に写ったエッジの位置、原稿の上下側面の傾き
αを式３、式６に適用することにより、エッジのｘ、ｚ
座標値が分かる。スキャナなどの入力装置の場合、ＣＣ
Ｄ及びレンズを走査して撮像するため、ｙ方向には平行
投影となり、ＣＣＤに写ったエッジのｙ座標と、投影さ
れた像におけるｙ座標は一致しているため計算する必要
はない。よって、上記のｘ、ｚ座標と合わせて、エッジ
の像の３次元位置を求めることができる。

【００８０】次に、図１０、図１１を用いて、原稿形状
算出手段について説明する。図１０はレンズ１６によっ
て投影された原稿の像（左ページのみ）を表している。
ガラス面に接触している原稿はＣＣＤ面１７上に投影さ
れるが、ガラス面から浮き上がっている部分はＣＣＤ面
より遠くに投影される。綴じ目、上部エッジ、下部エッ
ジは１２'、１３'、１４'に対応しており、ＣＣＤに写
った画像では、１２、１３、１４の位置に見えることに
なる。上記、エッジ３次元位置算出手段により、綴じ目
１２'、上部エッジ１３'、下部エッジ１４'、原稿左端
１８の位置は分かっているため、その間の原稿面の位置
を求める。原稿面の像の任意の位置での３次元座標が分
かれば、レンズとＣＣＤの位置関係から簡単にＣＣＤに
写った画像との対応をとることができ、画像を平面に補
正することが可能となる。

【００８１】図１１は投影された像を平面に戻した図で
ある。原稿形状が長方形であると仮定すると、投影され
た像を平面に戻したものも、当然長方形になる。図１１
の長方形の上の辺が上部エッジ１３'、下の辺が下部エ
ッジ１４'に対応している。ただし、測定誤差などの理
由により、算出されるエッジの長さが異なることがある
ため、上部エッジと下部エッジのどちらかに長さを合わ
せる必要がある。例えば、下部エッジ１４'が上部エッ
ジ１３'より短い場合、まず、上部エッジ１３'と長方形
の上の辺を対応させ、下部エッジ１４'については長方
形の下の辺の対応位置を引き延ばすことにより、下部エ
ッジ１４'と長方形の下の辺を一致させる。

【００８２】また、長方形の左右の辺の長さ、つまり補
正後のページの高さは、原稿上下のエッジ基準線の間の
距離と一致させる。ただし、測定誤差などの理由によ
り、原稿上下の基準線の間の距離が異なることがあるた
め、例えば、左右ページの平均値に合わせる。あるい
は、どちらか一方に合わせてもよい。

【００８３】原稿面がガラス面から浮き上がり始める場
所を立上り線１９と呼ぶこととする。立上り線は直線で
あるとする。原稿面の浮き上がった部分は、立上り線１
９と綴じ目１２'の２直線で拘束されるため、原稿面は
立上り線１９から綴じ目１２'にかけて連続的に傾きの
変化する直線の集合と考えることができる。本実施形態
ではこの直線は立上り線１９と綴じ目１２'を一定の比
率で内分する位置にある直線であると仮定するが、他の
モデルを使ってもよい。一定の比率で内分する直線とは
図１１の破線にあたり、水平方向の内分比が同じになる
点の集合とする。原稿左端１８と立上り線１９の間は平
面であるため、このようなモデル化をする必要はない
が、曲面部分と同じ処理が行えるため、原稿左端１８と
立上り線１９の間も一定の比率で内分する位置にある直
線の集合と考える。

【００８４】図１２に原稿面上の点Ｐの３次元座標の求
め方のフローチャートを示す。まず、点Ｐの１３'、１
４'間の内分比ｍ：ｎと１９、１２'間の内分比ａ：ｂを
求める（Ｓ２１）。１３'上において１９、１２'をａ：
ｂに内分する点Ｕ１と１４'上において１９、１２'を
ａ：ｂに内分する点Ｂ１を求める（Ｓ２２）。上部エッ
ジ１３'及び、下部エッジ１４'上の３次元座標は上記エ
ッジ３次元位置算出手段によって求められているため、
Ｕ１、Ｂ１の座標は分かっている。Ｕ１とＢ１の間の原
稿面は直線と仮定しているため、その直線をｍ：ｎに内
分する点がＰとなる。上記のように、原稿面の任意の点
の３次元位置、つまり、原稿面の３次元形状を求めるこ
とができる。

【００８５】図１３を用いて輝度補正パラメータ算出手
段について説明する。上記原稿形状算出手段と同様に、
注目点Ｐにおいて、１９、１２'の間の内分比ａ：ｂと
１３'、１４'の間の内分比ｍ：ｎを求める（Ｓ３１）。
１３'、１４'上でａ：ｂに内分する点Ｕ１、Ｂ１を求
め、Ｕ１とＢ１のＣＣＤ面上での原稿の背景輝度の値を
求める（Ｓ３２）。本などの原稿はエッジ付近は空白と
考えて良く、エッジ付近の画素値を背景輝度とすればよ
い。エッジ付近の画素値とは、エッジから一定距離の画
素の値でもよいし、一定範囲の画素の値の平均でもよ
い。ただし、エッジ付近に文字や絵が書かれていること
もあるため、あらかじめ、エッジ付近の画素値を調べて
おき、図１４のように、極端に変化する場所は前後の画
素値から補間しておく。Ｕ１からＢ１の間の背景輝度は
直線的に変化すると仮定し、Ｕ１とＢ１の背景輝度値を
ｍ：ｎに内分する値をＰの背景輝度とする（Ｓ３３）。
背景輝度と目標輝度から輝度補正パラメータを求める
（Ｓ３４）。目標輝度をＢｇ、背景輝度をＢｂとする
と、輝度補正パラメータＢｒは式１０のように求める。

【００８６】Ｂｒ＝Ｂｇ／Ｂｂ（式１０）目標輝度は画像全体の背景輝度の最大値でもよいし、十
分明るい画素値、あるいは、画素値のとり得る範囲で最
大の値でもよい。Ｉｉｎを補正前の画素値、Ｉｏｕｔを
補正後の画素値とすると、輝度補正パラメータＢｒを使
って、式１１のように輝度補正を行うことができる。

【００８７】本実施形態では、輝度補正は画像補正手段
において歪み補正と同時に行われる。

【００８８】Ｉｏｕｔ＝ＢｒＩｉｎ（式１１）実際は、画素値は０から２５５など、有限の範囲内の値
をとるため、式１１は最大値で飽和するようにする。ま
た、綴じ目付近の暗くなった画像を式１１を用いて補正
すると、文字部分が明るくなり過ぎ、薄くなることもあ
るため、一定値以下の画素については補正パラメータを
変える、あるいは、補正しないなどとしてもよい。

【００８９】次に、画像補正手段について説明する。図
１１において、任意の原稿面上の点Ｐの画素値が求めら
れれば、歪みのある画像をあたかも原稿面が平面であっ
たかのように補正することができる。すでに、上記原稿
形状算出手段により、原稿面の３次元形状は分かってい
る。

【００９０】図１５を用いて原稿面の像の３次元位置Ｐ
からＣＣＤに写った画像の参照位置Ｐ'を求める方法を
説明する。原稿面の３次元位置をＰ（ｘ０，ｙ０，ｚ
０）、ＣＣＤに写っているＰの位置をＰ'（ｘ１，ｙ
１，ｚ１）とすると、Ｐ'は三角形の相似の関係から、
式１２のように求められる。

【００９１】

【数１０】

【００９２】ここで、ｆとはレンズとＣＣＤの距離であ
る。スキャナや複写機の場合、レンズとＣＣＤを走査す
ることによって撮像するため、レンズの移動方向である
ｙ方向には平行投影となり、原稿の像とＣＣＤ面上のｙ
座標は変わらない。

【００９３】以上のように、原稿面の任意の位置におい
て、参照すべき画像の座標が求められ、画素値も得るこ
とができる。原稿面の端から順に参照画素を求め、出力
することにより、画像の歪みだけでなく、スキューも補
正した画像を得ることができる。また、画像補正手段で
は画素値を出力する際、式１１を用いて同時に輝度補正
も行う。本実施形態では補正パラメータ、及び、画素の
画像中での参照座標は各画素毎に求めているが、画像を
一定の大きさの格子に区切り、格子点においてのみ、補
正パラメータ、参照座標を求め、それ以外の場所では前
記の値を補間したものを用いてもよい。

【００９４】次に、画像出力手段について説明する。本
実施形態の画像補正装置では、原稿形状算出手段によっ
て原稿面の３次元形状を求め、原稿面のみを撮像された
画像と対応づけ、画像補正手段によって補正を行ってい
る。このため、原稿の左右端と上下のエッジで囲まれた
範囲の画像のみが補正されることになり、原稿面以外の
余分な部分は補正されない。画像出力手段は上記のよう
な補正画像を出力することにより、原稿以外の不必要な
部分を除去した画像を出力することができる。また、補
正後の原稿面の大きさが分かっていることから、画像の
大きさに合わせて、最適な用紙に出力すれば、ユーザー
が用紙選択を行うことなく、無駄のないプリントアウト
を行うことができる。

【００９５】さらに、綴じ目位置検出手段によって、原
稿の綴じ目位置が分かっているため、綴じ目位置で出力
を分割することにより、左右のページを別々に出力する
ことができる。これにより、左右のページを別々に読み
取らなくても、一度に読み取るだけで、別々の紙に出力
することもできる。

【００９６】また、綴じ目部分の影は画像補正手段で輝
度補正を行っても除去しきれない場合もあるため、綴じ
目付近の画像を出力するときには白データに変換して出
力してもよい。原稿が白ではない場合もあるため、白デ
ータではなく、綴じ目の外側の画素値に変換してもよ
い。

【００９７】〔実施の形態２〕第２の実施の形態は第１
の実施の形態と比べ、画像縮小手段が加わり、原稿形状
算出手段が異なる。その他の部分は第１の実施の形態と
同一である。本実施の形態では、画像縮小手段及び、原
稿形状算出手段は中央演算処理装置２上で実行されるプ
ログラムとして実現されるが、各手段がハードウェアの
ロジックであってもよい。画像縮小手段は、入力画像に
おいて、複数画素の平均をとり、それを１画素として出
力する、あるいは、画素を間引いて出力することにより
実現できる。第１の実施の形態では、入力した画像から
原稿形状を求めているが、複写機などで入力される画像
は例えば４００ｄｐｉや６００ｄｐｉといった非常に高
解像度の画像であり、このような高解像度の画像から原
稿形状を求める場合には非常に多くのメモリが必要であ
り、また、多くの計算時間がかかるといった問題があ
る。例えば画像を１／４に縮小することにより、データ
量は１／１６になり、より少ないメモリで、高速に画像
処理を行うことができる。

【００９８】次に、原稿形状算出手段について説明す
る。原稿形状算出手段は原稿の３次元形状を算出すると
ころまでは第１の実施の形態と同一である。原稿の３次
元形状データは縮小画像によって求めたものであり、画
像補正は縮小画像ではなく、入力画像で行う必要がある
ため、原稿の３次元形状データを修正する必要がある。

【００９９】データの修正は、例えば縮小画像の倍率が
１／４であれば、原稿の３次元形状データを４倍すれば
よい。また、原稿の形状認識を行うときと、画像補正を
行うときの２回、画像入力を行うことにより、必要なメ
モリ量を削減することができる。

【０１００】一度の画像入力ですべての処理を行う場合
には、画像すべてをメモリ上に持っておく必要がある
が、画像入力を２回行うことにより、形状認識では縮小
画像の容量程度のメモリで済み、画像補正では画像を入
力しながら補正を行えばよいので、画像の一部分だけを
メモリ上に置いておけば処理が行える。

【０１０１】〔実施の形態３〕第３の実施の形態は第１
の実施の形態に画像補正を行うか否かの選択手段を設
け、画像の入力特性を切り替えることができるようにし
たものである。選択手段はソフトウェアの選択メニュー
でもよいし、ハードウェアスイッチでもよい。例えば、
補正を行う場合には入力画像を補正して出力し、行わな
い場合には入力画像をそのまま出力する。通常のコピー
機では黒い文字は黒く、白い背景は白くなるように入力
特性を調節しているが、本発明の画像補正装置では原稿
のエッジを検出する必要があるため、綴じ目付近の画像
が黒潰れしてしまっては正しくエッジ検出を行うことが
できない。歪み補正を行う場合には画像を明るめに入力
することにより、綴じ目付近の画像も黒潰れせず、正し
くエッジを検出することができる。また、歪み補正時に
輝度補正を行うことにより、実際の原稿と補正後の画像
の明るさを一致させることもできる。

【０１０２】以上のように、補正を行うか否かにより入
力特性を切り替えることにより、それぞれ最適な画像を
得ることができ、また、正しく歪み補正を行うことがで
きる。

【０１０３】〔実施の形態４〕第４の実施の形態は第１
の実施の形態に原稿領域検出手段を加えたものである。
図１６を用いて原稿領域検出手段を説明する。

【０１０４】図１６は、原稿１０が画像領域からはみ出
していることを示している。例えば背景が白などの明る
い原稿をスキャナで読み込んだ場合、原稿領域の画素値
は大きいので、画像の中から画素値が一定値以上の領域
を検出する。その領域の範囲が、画像の外枠と接してい
た場合、原稿は画像領域からはみ出していると判断でき
る。

【０１０５】原稿が画像領域からはみ出していた場合、
正しく原稿の上下のエッジを検出することができないた
め、歪み補正を行うことができない。このため、原稿の
はみ出しを検出した場合は歪み補正動作は行わないよう
にする。本実施の形態では原稿領域の検出を画像から行
っているが、別途センサを設け、センサによって原稿の
位置を検出してもよい。また、原稿の左右がはみ出して
も形状認識にはあまり影響しないため、左右のはみ出し
は無視し、上下のはみ出しのみを検出してもよい。

【０１０６】

【発明の効果】本発明の請求項１又は請求項２によれ
ば、本や雑誌などをスキャナやコピー機で読み取った際
に生じる歪み、影を補正することにより、あたかも原稿
が平面であったかのようにすることができる。また、原
稿の綴じ目での沈み方が上下で異なっていたり、原稿が
回転していても補正することが可能となる。

【０１０７】本発明の請求項３によれば、エッジ検出処
理後の画像の連結成分の長短による孤立点の判断に加
え、エッジの位置変化の少ない場所のうち所定の長さ以
上の区間をエッジ位置として検出し、検出されていない
区間は前後の検出した区間から補間することにより、エ
ッジの検出誤りあるいはエッジ検出漏れを無くし、安定
的にエッジを検出することができるようになった。

【０１０８】本発明の請求項４によれば、エッジ位置の
極大若しくは極小点のうち、最も画像の中心に近いもの
を綴じ目として検出することにより、局所的な細かな形
状変化に影響されずに、安定的に綴じ目位置を検出する
ことができるようになった。

【０１０９】本発明の請求項５によれば、エッジの傾き
の変化量が基準値以下になる区間のうち、最も長い区間
における平均のエッジの傾きを基準線の傾きとすること
により、連続的に傾きの変化する原稿のエッジの中から
基準線の傾きを正確に検出することができるようになっ
た。

【０１１０】本発明の請求項６によれば、原稿左右のペ
ージを別々の判定基準で原稿端点を検出することによ
り、通常斜め方向から光が当てられるスキャナ、複写機
において、左右のページの端点をそれぞれ最適に検出す
ることができるようになった。

【０１１１】本発明の請求項７によれば、原稿面を連続
的に傾きの変わる直線の集合として近似することによ
り、原稿面内の任意の点の原稿形状の補正パラメータを
内分比から簡単に求めることができるようになった。

【０１１２】本発明の請求項８によれば、算出された原
稿エッジの長さが上下で異なる場合、どちらか一方の長
さにデータを修正することにより、上下で長さが違うま
ま画像を補正するよりも、補正後の画像を、より自然な
印象にすることができるようになった。

【０１１３】本発明の請求項９によれば、算出された原
稿の縦の長さが左右で異なっていた場合、どちらか一方
の長さにデータを修正することにより、左右のバランス
を保つことができ、補正した画像をより自然な印象にす
ることができるようになった。

【０１１４】本発明の請求項１０によれば、読み取った
画像を縮小した画像で形状認識をすることにより、読み
取ったままの高解像度の画像から形状認識するよりも処
理を大幅に軽くすることができるようになった。

【０１１５】本発明の請求項１１によれば、原稿面を連
続的に傾きの変わる直線の集合として近似することによ
り、原稿面内の任意の点の輝度補正パラメータを内分比
から簡単に求めることができるようになった。

【０１１６】

【０１１７】本発明の請求項１４によれば、画像の読み
取りを、形状認識のための画像読み取りと補正対象画像
の読み取りに分けることにより、必要なメモリ量を大幅
に削減することができる。

【０１１８】

【０１１９】

【図面の簡単な説明】

【図１】本発明の実施の一形態である画像補正装置１の
電気的構成を示すブロック図である。

【図２】本や雑誌などの原稿１０を読み取った画像の例
である。

【図３】エッジ検出の手順を示すフローチャートであ
る。

【図４】エッジ検出結果と、前後のエッジ位置の差分の
絶対値のグラフである。

【図５】綴じ目位置検出手段について説明するための図
である。

【図６】基準線検出手段について説明するための図であ
る。

【図７】原稿端点検出手段の動作手順を示すフローチャ
ートである。

【図８】原稿端点検出手段を説明するための図である。

【図９】側面傾斜角算出手段について説明するための図
である。

【図１０】原稿形状算出手段について説明するための図
である。

【図１１】原稿形状算出手段について説明するための図
であり、投影された像を平面に戻した図である。

【図１２】原稿面上の点Ｐの３次元座標の求め方のフロ
ーチャートである。

【図１３】輝度補正パラメータ算出手段について説明す
るためのフローチャートである。

【図１４】エッジ付近の背景輝度を表したグラフであ
る。

【図１５】原稿面の像の３次元位置ＰからＣＣＤに写っ
た画像の参照位置Ｐ'を求める画像補正する方法を説明
するための図である。

【図１６】原稿領域検出手段を説明するための図であ
る。

【符号の説明】

１画像補正装置２中央演算処理装置３画像入力装置４記憶装置５画像出力装置６バスライン１０原稿１１原稿外領域１２綴じ目１３原稿上部エッジ１４原稿下部エッジ１５ａ原稿左上部の基準線１５ｂ原稿左下部の基準線１５ｃ原稿右上部の基準線１５ｄ原稿左下部の基準線Ｓ１エッジ検出フィルタ処理モジュールＳ２所定の閾値を越える点（エッジ）を探す処理モジ
ュールＳ３閾値判定処理モジュールＳ４エッジ位置妥当性の判断処理モジュールＳ５エッジ位置記録処理モジュールＳ６最終ライン判断処理モジュールＳ７次ライン処理モジュールＳ８最終ライン判断処理モジュール

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平10−173905（ＪＰ，Ａ) 特開平５−161004（ＪＰ，Ａ) 特開平６−217090（ＪＰ，Ａ) 特開平２−308269（ＪＰ，Ａ) 特開平７−38712（ＪＰ，Ａ) 特開平７−254969（ＪＰ，Ａ) 特開平９−284491（ＪＰ，Ａ) 特開昭61−125282（ＪＰ，Ａ) 特開平10−23243（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 280 H04N 1/387 H04N 1/40

Claims

(57)【特許請求の範囲】

【請求項１】綴じ目の上下の浮き上がり量が異なる原
稿の画像を補正する画像補正装置であって、前記歪み画
像補正手段は、原稿のエッジを検出するエッジ検出手段
と、原稿の綴じ目の位置を求める綴じ目位置検出手段
と、原稿の位置の基準線を求める基準線検出手段と、上
記基準線と綴じ目の位置より原稿の上下の側面の傾斜角
を計算する側面傾斜角算出手段と、前記エッジと基準線
と傾斜角より原稿の上下のエッジの３次元位置を計算す
るエッジ３次元位置算出手段と、エッジの３次元位置よ
り原稿全体の形状を計算する原稿形状算出手段とを有す
ることを特徴とする画像補正装置。
【請求項２】さらに、前記エッジ付近の画像の輝度変
化より原稿の左右の端点を求める原稿端点検出手段と、
原稿の３次元形状に従い、画像から補正対象画素の背景
輝度を求め、背景輝度と目標輝度から画素の輝度補正パ
ラメータを求める輝度補正パラメータ算出手段とを有
し、前記原稿の３次元形状と輝度補正パラメータを用い
て入力された画像を補正することを特徴とする請求項１
記載の画像補正装置。
【請求項３】前記エッジ検出手段は、エッジの位置変
化が少ない場所で所定の長さ以上の区間を検出し、前記
区間以外は前後で検出した区間から補間した位置を原稿
エッジの位置とすることを特徴とする請求項１記載の画
像補正装置。
【請求項４】前記綴じ目位置検出手段は、前記エッジ
検出手段によって検出されたエッジの位置の極大点若し
くは極小点のうち、画像の中心に最も近い方を綴じ目位
置として検出することを特徴とする請求項１記載の画像
補正装置。
【請求項５】前記基準線検出手段は、エッジ付近の画
像の画素値が第１の基準値以上で、且つ、エッジの傾き
の変化量が第２の基準値以下となる区間のうち、最も長
い区間における平均のエッジの傾きを基準線の傾きと
し、前記最長区間の原稿外側の端点から前記傾きで延ば
した直線を基準線とし、原稿左右あるいは上下のエッジ
についてそれぞれ基準線を検出するものであることを特
徴とする請求項１記載の画像補正装置。
【請求項６】前記原稿端点検出手段は、原稿の左右の
ページで別々の判定基準に基づいて原稿端点を検出する
ことを特徴とする請求項２記載の画像補正装置。
【請求項７】前記原稿形状算出手段は、原稿面を上下
のエッジの間を結ぶ直線の集合で近似し、原稿面の３次
元位置を前記直線の上下端点の位置の内分比から求める
ことを特徴とする請求項１記載の画像補正装置。
【請求項８】前記原稿形状算出手段は、算出されたエ
ッジの長さが上下で異なる場合、同一の長さになるよう
にエッジの３次元位置を修正することを特徴とする請求
項７記載の画像補正装置。
【請求項９】前記原稿形状算出手段は、算出された原
稿の縦の長さが左右のページで異なる場合、縦の長さが
左右で同一となるように原稿の３次元形状データを修正
することを特徴とする請求項７又は請求項８記載の画像
補正装置。
【請求項１０】前記原稿形状算出手段は、入力された
画像を所定の縮小率で縮小する画像縮小手段を有し、前
記縮小された画像から原稿の３次元形状を求めた後、前
記縮小率に従い原稿の３次元形状データを修正すること
を特徴とする請求項１及び請求項７乃至請求項９のうち
いずれか１つに記載の画像補正装置。
【請求項１１】前記輝度補正パラメータ算出手段は、
原稿面を近似する直線の上下端点付近の画像の輝度の内
分比から補正対象画素の背景輝度を求め、背景輝度に対
する目標輝度の比を輝度補正パラメータとすることを特
徴とする請求項７記載の画像補正装置。
【請求項１２】前記縮小画像を作成するための画像の
読み取りと、補正対象となる画像の読み取りを別々に行
うことを特徴とする請求項１０記載の画像補正装置。