JP2002150280A

JP2002150280A - 歪み補正方式

Info

Publication number: JP2002150280A
Application number: JP2001262207A
Authority: JP
Inventors: Katsuto Fujimoto; 克仁藤本; Atsuko Obara; 敦子小原; Satoshi Naoi; 聡直井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-09-04
Filing date: 2001-08-30
Publication date: 2002-05-24
Anticipated expiration: 2021-08-30
Also published as: JP4456304B2

Abstract

(57)【要約】【課題】３次元歪みの存在する帳票について、上から
撮像した一枚のＯＨＲ画像に基づいて３次元歪みを補正
することを可能とする３次元歪み補正方式を提供する。【解決手段】本発明の歪み補正方式は、輪郭抽出手段
１０１と曲面推定手段１０２と歪み補正手段１０３を備
えるように構成する。矩形状の紙を撮像した画像を入力
画像とし、輪郭抽出手段１０１が入力画像から紙の輪郭
を抽出し、曲面推定手段１０２が２次元輪郭を手がかり
に紙の３次元曲面モデルを推定し、歪み補正手段１０３
が推定された３次元曲面モデルに基づいて、歪みを補正
した画像を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力画像に存在す
る歪みの補正方式に関する。

【０００２】

【従来の技術】近年、非接触型画像入力装置（ＯＨＲ：
ＯｖｅｒＨｅａｄＲｅａｄｅｒ）を用いた帳票認識
技術の向上が金融ＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａ
ｃｔｅｒＲｅａｄｅｒ）商談において重要になってき
た。

【０００３】非接触型画像入力装置（ＯＨＲ）とは、ラ
インあるいはエリアＣＣＤを撮像素子として備える図１
８に示すようなスタンド型の画像入力装置である。従来
のイメージスキャナなどの接触型画像入力装置と比較し
て、ＯＨＲを用いることによって、ユーザが画像入力を
行いながら帳票への記入が行える、帳票の表を見たまま
画像入力が行える、といった作業の快適さを享受でき
る。

【０００４】しかし、ＯＨＲにて取得した帳票の画像
（以降ＯＨＲ画像と呼ぶ）には、スキャナにて取得した
画像（以降スキャナ画像と呼ぶ）と比較して、濃淡む
ら、影、画像の歪みなどの画像の劣化が見られる。ＯＨ
Ｒ画像の歪みの主なものとしては３次元歪みがある。

【０００５】ＯＨＲ画像において発生する３次元歪みを
分類すると、主に次の３種類に分類される。イ）中折り歪み：中央部に折り目のある帳票に発生する
歪み。折り目が沈んでいるか、浮いているかにより、中
折り沈み歪み、中折り浮き歪みの２種類がある。図１９
に中折り沈み歪みＯＨＲ画像の例を、図２０に中折り浮
き歪みＯＨＲ画像の例を示す。

【０００６】ロ）周辺歪み：帳票周辺に発生する歪み。
周辺が沈んでいるか、浮いているかにより、周辺沈み歪
み、周辺浮き歪みの２種類がある。図２１に周辺沈み歪
みのＯＨＲ画像の例を、図２２に周辺浮き歪みＯＨＲ画
像の例を示す。

【０００７】ハ）冊子歪み：数枚綴りの冊子に発生する
歪み。図２３に冊子歪みの例を示す。ＯＨＲを金融ＯＣＲ商談で用いるためには、これらの画
像の３次元歪みを克服する歪み補正方式の開発が重要な
課題となってきた。

【０００８】一方、３次元歪みの存在するＯＨＲ画像に
対して、高精度な文書認識を実現するための歪み補正方
式が特開平１０−１５０５３２にて提案されている。こ
こに記載の方式は、数枚の紙を一点で止めた文書に発生
する一点止め歪みの補正方式を対象としている。また、
３次元歪みを計測するために（３次元の形状を求める）
上及び横からの複数の視点から撮像した複数枚の画像を
用いている。

【０００９】

【発明が解決しようとする課題】しかしながら、３次元
歪みを補正する従来方式は、３次元形状を推定するため
に複数のカメラを用いているため、実現コストが高くな
り、広い設置スペースが必要となる。

【００１０】本発明の課題は、上からの視点のみから撮
像した画像一枚を用いることにより、実現コスト及び設
置スペースを削減させることである。

【００１１】

【課題を解決するための手段】上述した課題を解決する
ために、本発明では、上から撮像した一枚の画像から取
得できる２次元輪郭を手がかりにし、さらに紙が矩形状
であるという制約を利用して３次元曲面モデルを推定
し、得られた３次元曲面モデルから画像の３次元歪みを
補正するようにした。

【００１２】本発明の一態様によれば、輪郭抽出手段と
曲面推定手段と歪み補正手段を備えるように構成する。
矩形状の紙を撮像した画像を入力画像とし、輪郭抽出手
段が入力画像から紙の輪郭を抽出し、曲面推定手段が２
次元輪郭を手がかりに紙の３次元曲面モデルを推定し、
歪み補正手段が推定された３次元曲面モデルに基づい
て、歪みを補正した画像を出力する。

【００１３】このような構成をとることにより、一枚の
画像から得られる２次元輪郭の歪みを手がかりに入力画
像を補正するので、従来技術と比較してカメラが一台で
済み、実現コスト及び設置スペースを削減することがで
きるようになる。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら説明する。図１は、本発明の原理構成を
示す図である。輪郭抽出手段１０１、曲面推定手段１０
２、歪み補正手段１０３を備える。矩形状の紙を撮像し
た画像を入力画像とし、輪郭抽出手段１０１が紙の輪郭
を抽出し、曲面推定手段１０２が輪郭の歪みを手がかり
に紙の３次元モデルを推定し、歪み補正手段１０３が紙
の３次元曲面モデルに基づいて歪みを補正した画像を出
力する。

【００１５】帳票のＯＨＲ画像には折り目などによる影
が発生するが、動的な影・濃淡むらのため安定した影の
情報の取得は期待できない。従って、影の変化を歪み補
正の手がかりに用いることは得策ではない。そこで、図
１に示す本発明では比較的安定して取得できる帳票の輪
郭を手がかりとして歪みを補正することにした。本方式
は、帳票が長方形であることに着目して、帳票の輪郭の
変形を手がかりに水平・垂直方向の画像伸縮を行う手法
で、ｓｈａｐｅｆｒｏｍｃｏｎｔｏｕｒの一種とも
言える。本方式の特徴は、曲面推定手段１０２が一枚の
歪み画像から２次元輪郭の歪みを手がかりに３次元曲面
モデルを推定している点である。カメラが一台で済むこ
とにより、実現コストを大きく削減させ、手がかりとし
て影の変化と比較して安定して抽出できる帳票輪郭の歪
みを用いているため、精度の良い歪み補正を実現できる
効果がある。

【００１６】図２に、本発明第１の実施例の構成を示
す。図２に示す歪み補正方式は、中央部に折り目のある
帳票に発生する歪みのうち、中折り沈み歪みを補正する
補正方式である。中折り沈み歪みＯＨＲ画像は図１９に
示したように、帳票の上輪郭、下輪郭、中折り輪郭は台
などの基準面に接した線分として認識できる。尚、帳票
の置き方によっては左輪郭、右輪郭、中折り輪郭が線分
と認識される場合があるが、これは画像を９０度回転す
れば上述したものと同様になる。従って、以下、上輪
郭、中折り輪郭、下輪郭が線分として認識できる場合を
例に中折り沈み歪みを補正する第１の実施例についてよ
り詳細に説明する。

【００１７】図２において、矩形状の紙を撮像した画像
を入力画像とし、輪郭抽出手段２０１が紙の輪郭を抽出
し、中折り沈み曲面推定手段２０２が中折り沈み帳票の
輪郭の歪みを手がかりに３次元曲面モデルを推定し、歪
み補正手段２０３が紙の３次元曲面モデルに基づいて歪
みを補正した画像を出力する。

【００１８】輪郭抽出手段２０１は、まず、ソーベルの
エッジ抽出などの何らかのエッジ抽出により得た輪郭を
輪郭候補画素とし、各輪郭候補画素が輪郭を構成するか
否かを判断する。尚、輪郭抽出手段２０１は、エッジ抽
出で抽出される紙の輪郭だけでなく、紙に付与された直
線（水平、垂直）、文字列（水平、垂直）をも抽出し、
これらの情報を用いるように構成してもよい。

【００１９】抽出された輪郭候補画素の集合のうち対象
画素が、例えば、左輪郭を構成するか否かを判断する場
合について説明する（図３参照）。ある画素が左輪郭を
構成する場合、その画素の左側は背景色などの低い画素
値を持つ画素列で、右側は帳票なので白色などの高い画
素値を持つ画素列となる。従って、例えば（−１，−
１，−１，０，１，１，１）という線形フィルタ３０２
と輪郭候補画素３０１との積和を求めると、積和値は大
きくなる。よって、ある一定の閾値を定めておき、閾値
より大きな積和値を持つ輪郭候補画素を輪郭画素として
決定すればよい。このように、各輪郭候補画素に対して
積和演算を行い、求めた積和値と閾値を比較して左輪郭
を決定する。

【００２０】同様に右輪郭の場合は、左輪郭の逆の構成
を持つ線形フィルタ（１，１，１，０，−１，−１，−
１）を用いればよく、上・下輪郭も同様に決定すること
ができる。

【００２１】尚、線形フィルタは０を中心に左右または
上下対象となる任意の固有ベクトルでよい。すなわち、
任意の定数ｋ、−ｋが０を中心にＮ個ずつ並ぶ（ｋ，
ｋ，…，ｋ，０，−ｋ，…，−ｋ，−ｋ）のような固有
ベクトルでよい。

【００２２】上述のようにして輪郭抽出手段２０１は輪
郭二値画像を出力する。さらに、輪郭抽出手段２０１
は、後の処理で必要となる輪郭頂点、サンプル輪郭点を
抽出する。尚、輪郭抽出手段２０１で得るものは２次元
の画像中の輪郭に関するものなので、３次元中の帳票輪
郭と区別するために、以降では頭に「２次元」とつけ、
それぞれ２次元輪郭線、２次元輪郭頂点、２次元サンプ
ル輪郭点と呼ぶことにする。図４は、輪郭抽出手段２０
１で得られる２次元輪郭線、２次元輪郭頂点、２次元サ
ンプル輪郭点の２次元座標に基づく表現を示している。

【００２３】２次元輪郭頂点は、図４に示す上輪郭ＡＢ
または下輪郭ＥＦの中央部付近の輪郭点から左右方向に
輪郭線をたどり、急激に傾きの変化する輪郭点（左上輪
郭頂点Ａ、右上輪郭頂点Ｂ、左下輪郭頂点Ｅ、右下輪郭
頂点Ｆ）を探索して求める。また、輪郭頂点Ａ、Ｂ、
Ｅ、Ｆを線分で結んで得られた矩形ＡＢＦＥとの位置関
係により、中折り輪郭（帳票中央部）の左右の頂点を抽
出する。中折り沈み帳票の場合は、矩形に最も入りこん
だ左右の輪郭点を中折り沈み輪郭頂点とする（折線左頂
点Ｃ及び折線右頂点Ｄ）。

【００２４】さらに、抽出した左右の輪郭線を区分線形
近似するために用いられる２次元サンプル輪郭点は、図
４に示すＹ軸方向に予め定めた等間隔ごとに選択するこ
とで求められる。

【００２５】以下、２次元座標に基づく各点、線分、輪
郭線などの表現等は図４に従うとする。次に、中折り沈
み曲面推定手段２０２について説明する。中折り沈み曲
面推定手段２０２は、中折り沈み帳票に対して、得られ
た２次元サンプル輪郭点と入力画像の視点であるカメラ
中心（スタンド型のＯＨＲを利用するので、カメラ中心
は予め決まっている。）とを結ぶ線分と２つの２次元輪
郭頂点を結ぶ線分を通り基準面に垂直な平面の交点であ
ると仮定して、３次元サンプル輪郭点の座標を求める。
そして求めた３次元サンプル輪郭点を線分でつないだ折
線を輪郭線とし、輪郭線の線形補間近似により得た曲面
を、歪んだ帳票曲面の３次元曲面モデルとして推定す
る。

【００２６】中折り沈み曲面は、中折り輪郭（帳票中央
部の基準面に接している線分）を境に上下２つの曲面に
分割できる。以下、上部の曲面に限定して、中折り沈み
曲面推定手段２０２における処理を詳細に説明する。下
部の曲面に対しても上下対象に同様の議論を展開でき
る。

【００２７】図５に、カメラ中心と２次元輪郭及び３次
元輪郭の位置関係を示す。図５に示した各記号の意味は
外１の通り。透視変換により２次元サンプル輪郭点と関
係づけられた３次元輪郭線上の点を３次元サンプル輪郭
点と呼ぶ。カメラ中心及び３次元サンプル輪郭点の座標
を図５のように表現することにする。

【００２８】

【外１】

【００２９】左輪郭線上の３次元サンプル輪郭点の座標
を求める場合、次のように求められる。２次元左輪郭線
上の２次元サンプル輪郭点に対応する３次元左輪郭線上
の３次元サンプル輪郭点は、カメラ中心と２次元サンプ
ル輪郭点を結ぶ線分と左輪郭頂点Ａ、Ｃを結ぶ線分ＡＣ
を通りｘｙ平面に垂直な平面の交点として求められる。

【００３０】線分ＡＣを含むｘｙ平面に垂直な平面の方
程式は（１）式のように表せる。

【００３１】

【数１】

【００３２】また、３次元サンプル輪郭点がカメラ中心
と２次元サンプル輪郭点を結ぶ線分を（１−ｔ）：ｔに
内分する点であるとした場合、（２）式が成立する。

【００３３】

【数２】

【００３４】（１）式、（２）式をｔについて解くと、
（３）式になる。

【００３５】

【数３】

【００３６】（３）式で求められるｔを代入することに
より、各３次元サンプル輪郭点の座標を求めることがで
きる。右輪郭線上の３次元サンプル輪郭点の座標も同様
にして求めることができる。

【００３７】以上のように求めた３次元サンプル輪郭点
を線分でつないだ折線を左輪郭線および右輪郭線とし、
これらの輪郭線の線形補間近似により得た曲面を歪んだ
帳票曲面の３次元曲面モデルとする。

【００３８】線形補間近似として、例えば線形Ｃｏｏｎ
ｓ補間などの補間手法を使うことができる。線形Ｃｏｏ
ｎｓ補間とは、４つの３次元輪郭がある場合に、その間
を線分で補間することである。線形Ｃｏｏｎｓ補間を行
うための線形Ｃｏｏｎｓ曲面とは、曲線座標系（ｕ，
ｗ）により定義されるパラメトリックな空間曲面の一種
である。曲面が４つの曲面Ｐ（ｕ，０）、Ｐ（ｕ，
１）、Ｐ（０，ｗ）、Ｐ（１，ｗ）により囲まれている
とし、曲面上の点の座標をＱ（ｕ，ｗ）とすると、輪郭
曲線の式を用いて（４）式のように表現できる（図
６）。これにより得られる曲面を３次元曲面モデルとす
る。

【００３９】

【数４】

【００４０】また、中折り沈み曲面推定手段２０２にお
ける３次元輪郭モデルを求める手法として、３次元輪郭
線の点を離散的に３次元サンプル輪郭点としてとり、３
次元サンプル点の高さあるいはそれに対応する量をモデ
ルパラメータとする手法を説明したが、３次元輪郭モデ
ルを求める手法は、この手法に限られるものではない。
すなわち、例えば３次元輪郭モデルとして、スプライン
曲線、ベジエ曲線などのパラメータ付曲線モデルを用い
てもよい。

【００４１】スプライン曲線、ベジエ曲線はパラメトリ
ックな空間曲線である。一般に、パラメトリックな空間
曲線は（５）式で表される。

【００４２】

【数５】

【００４３】（５）式より、スプライン曲線は（６) 式
で表される。

【００４４】

【数６】

【００４５】同様に（５）式より、ベジエ曲線は（７）
式で表される。

【００４６】

【数７】

【００４７】このようにスプライン曲線、ベジエ曲線は
パラメータｔによって表現できるため、このパラメータ
ｔをモデルパラメータとして３次元輪郭モデルを求めれ
ばよい。

【００４８】また更に、中折り曲面推定部（あるいは曲
面推定部）は輪郭線を用いるだけでなく、紙に付与され
た直線（垂直、水平）、文字列（垂直、水平）などの情
報を用いて、同様の方法で３次元曲面を推定するように
構成することもできる。

【００４９】次に、歪み補正手段２０３について説明す
る。歪み補正手段２０３は、補正後画像の各画素に対応
した入力画像中の位置を、輪郭線を座標軸とする曲線座
標系を用いて求め、入力画像中の対応画素の値（二値、
階調、カラー）を補正後画像の対象画素値として設定す
ることにより、上下輪郭の長さを幅、左右輪郭の長さを
高さとする補正後画像を得る。

【００５０】中折り帳票の場合、上輪郭線及び下輪郭線
は輪郭頂点を結ぶ線分として得られる。左輪郭線及び右
輪郭線は中折り沈み曲面推定手段２０２により得られた
３次元サンプル輪郭点を結ぶ折線として得られる。ま
た、中折り輪郭は中折り沈み曲面推定手段２０２により
得られた中折り部の３次元サンプル輪郭点を結ぶ線分と
して得られる。

【００５１】中折り帳票を中折り輪郭を境に上部と下部
に分割し、それぞれに対する３次元曲面上に曲線座標系
を設定して歪み補正を行う。以下、上部の３次元曲面に
ついての歪み補正方法を説明する。下部に対しても同様
の処理を実行すればよい。

【００５２】原点を左上輪郭頂点（図４に示す点Ａ）と
し、Ｘ軸を上輪郭線とし、Ｙ軸を左輪郭線とする。補正
後画像の幅Ｗ（ｗｉｄｔｈ）は、上輪郭線及び中折り輪
郭線の長さの平均値を用い、補正後画像の高さＨ（ｈｉ
ｇｈｔ）は左輪郭線及び右輪郭線の長さの平均を用い
る。すなわち（８）、（９）式のようになる。

【００５３】

【数８】

【００５４】左輪郭線上のＹ座標のメモリ付けをするた
めに、０以上高さＨ以下の整数値をとるＹに対して左輪
郭線上の点Ｌ（Ｙ）を対応づけ、３次元座標を求める。
Ｌ（Ｙ）の３次元座標を求めるには、左輪郭線を表す３
次元サンプル輪郭点をつないだ折れ線上を左上輪郭頂点
からたどり、長さ（Ｈ／Ａｃ）ずつ進めることによって
行う。

【００５５】同様にして０以上高さＨ以下の整数値をと
るＹに対して右輪郭線上の点Ｒ（Ｙ）を対応づけ、３次
元座標を求める。Ｒ（Ｙ）の３次元座標を求めるには、
右輪郭線を表す３次元輪郭点をつないだ折線上を右上輪
郭頂点からたどり、長さ（Ｈ／Ｂｄ）ずつ進めることに
よって行う。Ｌ（Ｙ）とＲ（Ｙ）により曲線座標系を表
現していると考えることができる（図７）。

【００５６】このように曲線座標系を定義し、次に歪み
補正後の画像の２次元座標（Ｘ，Ｙ）に対応した画素の
濃度Ｇ（Ｘ，Ｙ）（０≦Ｘ≦Ｗ，０≦Ｙ≦Ｈ）を求め
る。補正後２次元座標（Ｘ，Ｙ）に対応する点は、３次
元曲面上の曲線座標による２次元座標（Ｘ，Ｙ）を持つ
点Ｐである。点Ｐの３次元座標を（１０）式とする。

【００５７】

【数９】

【００５８】点Ｐは、左輪郭線上の点Ｌ（Ｙ）と右輪郭
線上の点Ｒ（Ｙ）を線形補間した点として、線分Ｌ
（Ｙ）Ｒ（Ｙ）をＸ／Ｗ：（１−Ｘ／Ｗ）に内分する点
として表現することができる。従って（１１）式より点
Ｐの３次元座標を求めることができる。

【００５９】

【数１０】

【００６０】次に、カメラ中心から点Ｐを通る直線とｘ
ｙ基準面との交点の２次元座標を求める。透視変換の条
件により、（１２）式のようになる。

【００６１】

【数１１】

【００６２】従って、補正後画像の濃度Ｇ（Ｘ，Ｙ）は
（１３）式で求めることができる。

【００６３】

【数１２】

【００６４】但し、（１３）式において、カメラ中心か
ら点Ｐを通る直線とｘｙ基準面との交点の２次元座標
は、実数なので少数部分を丸めるために四捨五入をして
いる。以上に説明した本発明第１の実施例に従って処理
した中折り沈み歪みＯＨＲ画像の補正結果を図８に示
す。図８は、図１９を補正したものである。このよう
に、本発明第１の実施例によれば、中折り沈み歪みＯＨ
Ｒ画像を良好に補正することができる。

【００６５】図９は本発明第２の実施例を示す図であ
る。図９に示す歪み補正方式は、中央部に折り目のある
帳票に発生する歪みのうち、中折り浮き歪みを補正する
補正方式である。中折り浮き歪みＯＨＲ画像は図２０に
示したように、帳票の上輪郭及び下輪郭は台などの基準
面に接しているが、第１の実施例で対象とした中折り沈
み歪みとは異なり、中央部の中折り輪郭は基準面から浮
いている。尚、帳票の置き方によっては、左輪郭、右輪
郭、中折り輪郭が線分として認識される場合があるが、
これは画像を９０度回転すれば上述したものと同様にな
る。従って、以下、上輪郭、中折り輪郭、下輪郭が線分
として認識できる場合を例に中折り浮き歪みを補正する
第２の実施例についてより詳細に説明する。

【００６６】図９において、矩形状の紙を撮像した画像
を入力画像とし、輪郭抽出手段９０１が紙の輪郭を抽出
し、中折り浮き曲面推定手段９０２が中折り浮き帳票の
輪郭の歪みを手がかりに３次元曲面モデルを推定し、歪
み補正手段９０３が紙の３次元曲面モデルに基づいて歪
みを補正した画像を出力する。

【００６７】輪郭抽出手段９０１は、第１の実施例で説
明した輪郭抽出手段２０１とほぼ同様に、エッジ抽出の
あと、エッジ抽出された輪郭候補画素に対して線形フィ
ルタとの積和を求めて、求めた積和値から輪郭画素を決
定する。また、２次元輪郭線、２次元輪郭頂点、２次元
サンプル輪郭点を抽出する。

【００６８】この際、中折り輪郭（帳票中央部）の左右
の頂点を抽出するには中折り沈み帳票の場合とは異な
り、矩形から最も離れた左右の輪郭点を中折り浮き輪郭
頂点として抽出する。

【００６９】輪郭抽出手段９０１は、図１０に示すよう
な２次元座標に基づく２次元輪郭線、２次元サンプル輪
郭点、２次元輪郭頂点を抽出する。以下、２次元座標に
基づく各点、線分、輪郭線などの表現等は図１０に従う
とする。

【００７０】次に、中折り浮き曲面推定手段９０２につ
いて説明する。中折り浮き曲面推定手段９０２では、上
輪郭／下輪郭が基準面からの高さ０、中央部の中折り輪
郭の高さが未知である中折り浮き帳票に対して、中央部
の中折り輪郭の頂点の高さに相当する量を２次元のモデ
ルパラメータとする。そして、モデルパラメータを用い
て３次元輪郭長が上下／左右それぞれ等しいという制約
を付したエネルギー関数を表現する。このエネルギー関
数を最小化する最適化問題として、最適なモデルパラメ
ータを反復法などの方法により求める。求めたモデルパ
ラメータから、各３次元サンプル輪郭点の座標を求め、
３次元曲面モデルを推定する。以下、モデルパラメータ
を求める手法について述べる。

【００７１】尚、中折り浮き曲面は、中折り輪郭（帳票
中央部）を境に上下２つの曲面に分割できるので、上部
の曲面に限定して中折り浮き曲面推定手段９０２におけ
る処理を詳細に説明する。

【００７２】図１１に、カメラ中心と２次元輪郭及び３
次元輪郭の位置関係を示す。図１１における各記号の意
味は外１と同じである。透視変換により２次元サンプル
輪郭点と関係付けられた３次元輪郭線上の点を３次元サ
ンプル輪郭点と呼ぶ。カメラ中心及び３次元サンプル輪
郭点の座標を図１１のように表現することにする。

【００７３】左輪郭線について、３次元サンプル輪郭点
がカメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分を内
分する点であるとした場合、（１４）式が成り立つ。

【００７４】

【数１３】

【００７５】また、右輪郭線について３次元サンプル輪
郭点がカメラ中心Ｋと２次元サンプル輪郭点を結ぶ線分
を内分する点であるとした場合、（１５）式が成り立
つ。

【００７６】

【数１４】

【００７７】中折り浮き輪郭の３次元左頂点ｃの座標は
（１６）式、３次元右頂点ｄの座標は（１７）式で表せ
る。この二つの点の内分比がそれぞれ決まると、各３次
元サンプル輪郭点は、カメラ中心Ｋと２次元サンプル輪
郭点を結ぶ線分上にあり、かつ線分Ａｃあるいは線分Ｂ
ｄを含みｘｙ平面に垂直な平面上にある、という条件か
ら、各３次元サンプル輪郭点の座標が求まることにな
る。

【００７８】

【数１５】

【００７９】従って、３次元左頂点ｃ、３次元右頂点ｄ
の内分比が帳票曲面の３次元モデルの２次元モデルパラ
メータであると考えることができる。左輪郭線につい
て、上記の３次元サンプル輪郭点の満たすべき条件か
ら、対応する内分比をモデルパラメータを用いて（１
８）式のように求めることができる。

【００８０】

【数１６】

【００８１】同様に、右輪郭線についても３次元サンプ
ル輪郭点の満たすべき条件から対応する内分比をモデル
パラメータを用いて（１９）式のように求めることがで
きる。

【００８２】

【数１７】

【００８３】３次元輪郭線が上下／左右それぞれで等し
いという制約を表現したエネルギー関数Ｅを最小化する
最適化問題として定式化し、以下に述べるように最適な
モデルパラメータを例えば反復法により求める。

【００８４】エネルギー関数Ｅは、上輪郭線ＡＢと中折
り浮き輪郭線ｃｄの長さの差の自乗と左輪郭線Ａｃと右
輪郭線Ｂｄの長さの差の自乗の線形和で定義する。帳票
曲面のモデルパラメータである内分比により、エネルギ
ー関数Ｅの値は一意に決まる。従って、エネルギー関数
Ｅは（２０）式のようになる。

【００８５】

【数１８】

【００８６】上輪郭線（線分ＡＢ）及び中折り浮き輪郭
線（線分ｃｄ）は線分であるから、（２１）式、（２
２）式のように３次元頂点座標から長さを求めることが
できる。

【００８７】

【数１９】

【００８８】一方、左輪郭線Ａｃ及び右輪郭線Ｂｄの長
さは３次元サンプル輪郭点を結ぶ線分の長さの和で近似
することとする。すなわち、（２３）式、（２４) 式の
ようになる。

【００８９】

【数２０】

【００９０】エネルギー関数Ｅを最小にするモデルパラ
メータを、最急降下法により求める。すなわち、初期値
を適当に設定し、（２５）式によりモデルパラメータを
繰り返し変化させる。εは微小な正の数である。

【００９１】

【数２１】

【００９２】（２０）式のエネルギー関数の定義を用い
て展開すると、（２６）式、（２７）式のようになる。

【００９３】

【数２２】

【００９４】以上により、モデルパラメータが求めら
れ、各３次元サンプル輪郭点の座標を求めることができ
る。そして、中折り浮き曲面推定手段９０２は、求めた
各３次元サンプル輪郭点を線分でつないだ折線を輪郭線
とし、輪郭線の線形補間近似により得た曲面を歪んだ帳
票曲面の３次元曲面モデルとして推定する。線形補間近
似としては、中折り沈み曲面推定手段２０２と同様に線
形Ｃｏｏｎｓ補間などの補間手法を用いる。

【００９５】尚、エネルギー関数Ｅについて、中折り浮
き曲面上部についてのエネルギー関数Ｅを定式化した
が、曲面上部・下部の全体でエネルギー関数Ｅを定式化
することもできる。曲面全体に対して定式化したエネル
ギー関数Ｅは、中折り浮き曲面モデルが図１２に示すよ
うに表せるとして、（２８）式のように表現される。

【００９６】

【数２３】

【００９７】この場合、曲面全体に対して最適化問題を
解くことになるので、曲面上部と下部に分けてモデルパ
ラメータを求めた場合よりも精度が上がることになる。
次に、歪み補正手段９０３についてであるが、歪み補正
手段９０３は、第１の実施例における歪み補正手段２０
３と同じである。すなわち、歪み補正手段９０３は、補
正後画像の各画素に対応した入力画像中の位置を、輪郭
線を座標軸とする曲線座標系を用いて求め、入力画像中
の対応画素の値（二値、階調、カラー）を補正後画像の
対象画素値として設定することにより、上下輪郭の長さ
を幅、左右輪郭の長さを高さとする補正後画像を得る。
詳細については、第１の実施例の説明を参照とする。

【００９８】本発明第２の実施例に従って処理した中折
り浮き歪みＯＨＲ画像の補正結果を図１３に示す。図１
３は、図２０を補正したものである。このように、本発
明第２の実施例によれば、中折り浮き歪みＯＨＲ画像を
良好に補正することができる。

【００９９】以上のように、帳票のＯＨＲ画像における
中折り沈み／浮き歪みの補正方式について詳細に説明し
たが、この方式はこれらの場合に限定されるものではな
い。すなわち、帳票のＯＨＲ画像における線織面歪みに
ついても同様の方式を適用できる。尚、線織面とは紙を
歪めた場合にできる曲面の一般的な呼び方である。

【０１００】例えば、線織面歪みの一例として、帳票の
ＯＨＲ画像に周辺浮き歪み（図２１）が生じている場
合、３次元輪郭が全て曲線となる。従って、中折り浮き
歪みの場合に２つのモデルパラメータを求めたが（本発
明第２の実施例）、より多くのモデルパラメータ（例え
ば１０〜２０個）を設定し、上下／左右の輪郭の長さが
等しいというエネルギー関数を定式化し、最適化問題を
解くようにすればよい。そして、求めたモデルパラメー
タから３次元曲面モデルを推定し、推定した曲面モデル
に基づいて入力画像における歪みを補正して出力する。
同様に、周辺沈み歪み（図２２）、冊子歪み（図２３）
についても、より多くのモデルパラメータを設定するこ
とで３次元曲面モデルを推定し、歪み補正を行うことが
できる。

【０１０１】また、上記各実施例の説明では、図１に示
した本発明の原理構成に従って、輪郭抽出手段１０１で
輪郭を抽出し、曲面推定手段１０２で輪郭の歪みを手が
かりに３次元モデルを推定し、歪み補正手段１０３が推
定した３次元曲面モデルに基づいて歪みを補正した画像
を出力する方式について述べた。しかしながら、図１４
に示すように、曲面を推定せずに、輪郭抽出手段１４０
１で抽出された輪郭の歪みを手がかりに歪み補正手段１
４０２が歪みを補正した画像を出力するように構成する
こともできる。

【０１０２】輪郭抽出手段１４０１は、輪郭抽出手段１
０１と同様な処理を行うが、この場合の歪み補正手段１
４０２について、図１５のような輪郭１５０１が得られ
た場合を例として説明する。まず、歪み補正手段１４０
２では、抽出された輪郭１５０１の上輪郭１５０２、中
折り輪郭１５０３、下輪郭１５０４の線分の長さに合わ
せて、輪郭を横方向に伸縮させる（）。そして次に、
図１５に示す点線で囲んだ各部分の曲線部（１５０５−
１〜１５０５−８）を直線で近似して、その直線の傾き
を求め、その傾きから縦方向の縮み具合を求める。求め
られた縮み具合に基づいて、前記横方向に伸縮させた輪
郭を更に縦方向に伸縮する（）。このように、３次元
曲面モデルを推定せずに、２次元のデータ処理だけで歪
みを補正するように構成することも可能である。

【０１０３】ところで、本発明の歪み補正方式は、図１
６に示すような情報処理装置（コンピュータ）を用いて
実行することができる。図１６の情報処理装置は、ＣＰ
Ｕ（中央処理装置）１６０１、メモリ１６０２、入力装
置１６０３、出力装置１６０４、外部記憶装置１６０
５、媒体駆動装置１６０６、及びネットワーク接続装置
１６０７を備え、それらはバス１６０８により互いに接
続されている。

【０１０４】メモリ１６０２は、例えばＲＯＭ(read on
ly memory)、ＲＡＭ(random accessmemory)等を含み、
処理に用いられるプログラムとデータを格納する。ＣＰ
Ｕ１６０１は、メモリ１６０２を利用してプログラムを
実行することにより、必要な処理を行う。つまり、本発
明の輪郭抽出手段１０１、曲面推定手段１０２、歪み補
正手段１０３はメモリ１６０２に格納されたプログラム
で実現される。

【０１０５】帳票等の画像データは、ＯＨＲ等の入力装
置１６０３を介して情報処理装置に取り込まれる。ま
た、出力装置１６０４は例えばディスプレイ、プリンタ
等であり、処理結果の出力等に用いられる。

【０１０６】外部記憶装置１６０５は、例えば磁気ディ
スク装置、光ディスク装置、光磁気ディスク装置などで
ある。情報処理装置はこの外部記憶装置１６０５に、上
述のプログラムとデータを保存しておき、必要に応じ
て、それらをメモリ１６０２にロードして使用すること
ができる。

【０１０７】媒体駆動装置１６０６は、可搬型記録媒体
１６０９を駆動し、その記録内容にアクセスする。可搬
型記録媒体１６０９としては、メモリカード、フレキシ
ブルディスク、ＣＤ−ＲＯＭ(compact disk read only
memory) 、光ディスク、光磁気ディスク等、任意のコン
ピュータ読み取り可能な記録媒体が用いられる。この可
搬記録媒体１６０９に上述のプログラムとデータを格納
しておき、必要に応じてそれらをメモリ１６０２にロー
ドして使用することができる。

【０１０８】ネットワーク接続装置１６０７は、ＬＡＮ
(local area network)等の任意のネットワーク( 回線)
を介して外部の装置と通信し、通信に伴うデータ変換を
行う。情報処理装置は、必要に応じて、ネットワーク接
続装置１６０７を介して上述のプログラムとデータを外
部の装置から受け取り、それらをメモリ１６０２にロー
ドして使用することができる。なお、図１６は情報処理
装置単体で示してあるが、複数のコンピュータからなる
処理装置やネットワークを介した複数の処理装置でも実
現が可能である。

【０１０９】また、図１７は、本発明に係わる情報処理
装置で実行されるソフトウェアプログラム等の提供方法
を説明する図である。プログラム等は例えば以下の
（ａ）〜（ｃ）の３つの方法の中の任意の方法により提
供される。

【０１１０】( ａ) コンピュータ等の情報処理装置１７
０１にインストールされて提供される。この場合、プロ
グラム等は例えば出荷前にプレインストールされる。 ( ｂ) 可搬型記録媒体１６０９に格納されて提供され
る。この場合、可搬型記憶媒体１６０９に格納されてい
るプログラム等は、コンピュータ等の情報処理装置１７
０１の外部記憶装置１６０５にインストールされる。

【０１１１】( ｃ) ネットワーク１７０２上のサーバか
ら提供される。この場合、基本的には、コンピュータな
どの情報処理装置１７０１がサーバ１７０３に格納され
ているプログラム等をダウンロードすることによって、
そのプログラム等を取得する。

【０１１２】（付記１）矩形状の紙を撮像した画像を入
力画像とし、前記入力画像から前記紙に付与された規則
正しい図形を抽出する輪郭抽出手段と、前記規則正しい
図形の歪みを手がかりに前記紙の３次元曲面モデルを推
定する曲面推定手段と、前記３次元曲面モデルに基づい
て前記歪みを補正した画像を出力画像として出力する歪
み補正手段と、を備えることを特徴とする歪み補正装
置。

【０１１３】（付記２）矩形状の紙を撮像した画像を入
力画像とし、前記入力画像から前記紙の輪郭、あるいは
紙に書かれている水平線及び垂直線、あるいは紙に書か
れている水平文字列及び垂直文字列を抽出する輪郭抽出
手段と、前記輪郭の歪み、あるいは前記紙書かれている
水平線及び垂直線の交差の歪み、あるいは前記紙に書か
れている水平文字列及び垂直文字列の交差の歪みを手が
かりに前記紙の３次元曲面モデルを推定する曲面推定手
段と、前記３次元曲面モデルに基づいて前記歪みを補正
した画像を出力画像として出力する歪み補正手段と、を
備えることを特徴とする歪み補正装置。

【０１１４】（付記３）矩形状の紙を撮像した画像を入
力画像とし、前記入力画像から前記紙の輪郭を抽出する
輪郭抽出手段と、前記輪郭の歪みを手がかりに歪みを補
正した画像を出力画像として出力する歪み補正手段と、
を備えることを特徴とする歪み補正装置。

【０１１５】（付記４）矩形状の紙の輪郭情報を取得
し、前記輪郭情報から得られる輪郭の歪みを手がかりに
前記紙の３次元曲面モデルを推定する曲面推定手段と、
前記３次元曲面モデルに基づいて前記歪みを補正した画
像を出力画像として出力する歪み補正手段と、を備える
ことを特徴とする歪み補正装置。

【０１１６】（付記５）矩形状の紙を撮像した画像を入
力画像とし、前記入力画像から前記紙の輪郭を抽出する
輪郭抽出手段と、前記輪郭の歪みを手がかりに前記紙の
３次元曲面モデルを推定する曲面推定手段と、前記３次
元曲面モデルに基づいて前記歪みを補正した画像を出力
画像として出力する歪み補正手段と、を備えることを特
徴とする歪み補正装置。

【０１１７】（付記６）前記入力画像及び出力画像が白
黒二値画像または階調画像またはカラー画像であること
を特徴とする、付記５記載の歪み補正装置。（付記７）前記輪郭抽出手段は、前記入力画像に対して
エッジ抽出を行って得た輪郭画素候補のうち、水平ある
いは垂直方向に対象画素を挟んで前記紙の外部領域の階
調あるいはカラーを持つ画素の列の並びと前記紙の内部
領域の階調あるいはカラーを持つ画素の列の並びが存在
する度合いを表す輪郭らしさを評価し、前記輪郭らしさ
が強い輪郭画素候補を輪郭画素とすることを特徴とす
る、付記５記載の歪み補正装置。

【０１１８】（付記８）前記輪郭抽出手段は、前記輪郭
らしさとして、前記輪郭画素候補を挟んで水平あるいは
垂直方向に、前記輪郭画素候補の近傍から任意に抽出さ
れた画素の値と適切に設定した固定値ベクトルとの積和
演算を行って得た量を用いることを特徴とする、付記７
記載の歪み補正装置。

【０１１９】（付記９）前記輪郭抽出手段は、前記輪郭
らしさとして、前記輪郭画素候補を挟んで水平あるいは
垂直方向に、ｋを正または負の定数として、水平方向の
場合は値０を中心とする左右対称のマスク、ｋ，ｋ，
ｋ，・・・，ｋ，０，−ｋ，・・・，−ｋ，−ｋ，−
ｋ、垂直方向の場合は値０を中心とする上下対称のマス
ク、ｋ，ｋ，ｋ，・・・，ｋ，０，−ｋ，・・・，−
ｋ，−ｋ，−ｋにより、積和演算を行って得た量を用い
ることを特徴とする、付記８記載の歪み補正装置。

【０１２０】（付記１０）前記曲面推定手段は、前記３
次元曲面モデルとして、中折り沈み歪みをモデル化した
中折り沈み歪み３次元曲面モデルを用いることを特徴と
する、付記５記載の歪み補正装置。

【０１２１】（付記１１）前記曲面推定手段は、前記３
次元曲面モデルとして、中折り浮き歪みをモデル化した
中折り浮き歪み３次元曲面モデルを用いることを特徴と
する、付記５記載の歪み補正装置。

【０１２２】（付記１２）前記曲面推定手段は、前記３
次元曲面モデルとして、周辺浮き歪みをモデル化した周
辺浮き歪み３次元曲面モデルを用いることを特徴とす
る、付記５記載の歪み補正装置。

【０１２３】（付記１３）前記曲面推定手段は、前記３
次元曲面モデルとして、前記紙の３次元輪郭をモデル化
して得られる３次元輪郭モデルに線形Coons 補間などの
補間手法を施して得られる曲面を用いることを特徴とす
る、付記５記載の歪み補正装置。

【０１２４】（付記１４）前記曲面推定手段は、前記３
次元輪郭モデルとして、３次元輪郭上の点を離散的に３
次元サンプル点として取り、３次元サンプル点の高さあ
るいはそれに対応した量をモデルパラメータとすること
を特徴とする、付記１３記載の歪み補正装置。

【０１２５】（付記１５）前記曲面推定手段は、前記３
次元輪郭モデルとして、スプライン曲線またはベジエ曲
線などのパラメータ付き曲線モデルを用いることを特徴
とする、付記１３記載の歪み補正装置。

【０１２６】（付記１６）前記曲面推定手段は、前記３
次元輪郭モデルとして、３次元輪郭の端点２点の高さ、
あるいはそれに対応した量をモデルパラメータとして、
３次元輪郭上の点は端点２点を結んだ３次元線分を含む
垂直平面上に存在するとして位置を制約することを特徴
とする、付記１３記載の歪み補正装置。

【０１２７】（付記１７）前記曲面推定手段は、前記３
次元輪郭モデルとして、３次元線分を用いることがある
ことを特徴とする付記１３記載の歪み補正装置。（付記１８）前記曲面推定手段は、抽出された輪郭を手
がかりに、透視変換を用いて３次元輪郭を推定すること
により、３次元曲面を推定することを特徴とする、付記
５記載の歪み補正装置。

【０１２８】（付記１９）前記曲面推定手段は、左右あ
るいは上下で対となっている３次元輪郭の長さが等しい
という制約をエネルギー関数を用いて表現し、エネルギ
ー最小となる前記３次元曲面モデルのパラメータを求め
る最適化問題を解いて３次元曲面モデルを推定すること
を特徴とする、付記１１記載の歪み補正装置。

【０１２９】（付記２０）前記曲面推定手段は、輪郭を
座標軸とする曲線座標系において、同一のＸ座標あるい
はＹ座標を持つ曲線がすべて同じ長さを持つという制約
をエネルギー関数を用いて表現し、エネルギー最小とな
る３次元曲面モデルのパラメータを求める最適化問題を
解いて３次元曲面モデルを推定することを特徴とする、
付記１５記載の歪み補正装置。

【０１３０】（付記２１）前記歪み補正手段は、前記輪
郭を座標軸とする曲線座標系を用いて補正後画像の各画
素に対応した前記入力画像中の位置を求め、前記入力画
像中の対応画素の値を補正後画像の対象画素値として設
定することにより、上下輪郭の長さを幅、左右輪郭の長
さを高さとする補正後画像を得ることを特徴とする付記
５記載の歪み補正装置。

【０１３１】（付記２２）矩形状の紙を撮像した画像を
入力画像とし、前記入力画像から前記紙に付与された規
則正しい図形を抽出し、前記規則正しい図形の歪みを手
がかりに前記紙の３次元曲面モデルを推定し、前記３次
元曲面モデルに基づいて前記歪みを補正した画像を出力
画像として出力する、ことを特徴とする歪み補正方法。

【０１３２】（付記２３）矩形状の紙を撮像した画像を
入力画像とし、前記入力画像から前記紙の輪郭、あるい
は紙に書かれている水平線及び垂直線、あるいは紙に書
かれている水平文字列及び垂直文字列を抽出し、前記輪
郭の歪み、あるいは前記紙書かれている水平線及び垂直
線の交差の歪み、あるいは前記紙に書かれている水平文
字列及び垂直文字列の交差の歪みを手がかりに前記紙の
３次元曲面モデルを推定し、前記３次元曲面モデルに基
づいて前記歪みを補正した画像を出力画像として出力す
る、ことを特徴とする歪み補正方法。

【０１３３】（付記２４）矩形状の紙を撮像した画像を
入力画像とし、前記入力画像から前記紙の輪郭を抽出
し、前記輪郭の歪みを補正した画像を出力画像として出
力する、ことを特徴とする歪み補正方法。

【０１３４】（付記２５）矩形状の紙の輪郭情報を取得
し、前記輪郭情報から得られる輪郭の歪みを手がかりに
前記紙の３次元曲面モデルを推定し、前記３次元曲面モ
デルに基づいて前記歪みを補正した画像を出力画像とし
て出力する、ことを特徴とする歪み補正方法。

【０１３５】（付記２６）矩形状の紙を撮像した画像を
入力画像とし、前記入力画像から前記紙の輪郭を抽出
し、前記輪郭の歪みを手がかりに前記紙の３次元曲面モ
デルを推定し、前記３次元曲面モデルに基づいて前記歪
みを補正した画像を出力画像として出力する、ことを特
徴とする歪み補正方法。

【０１３６】（付記２７）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムを記録
した記録媒体であって、前記入力された画像から前記紙
に付与された規則正しい図形を抽出し、前記規則正しい
図形の歪みを手がかりに前記紙の３次元曲面モデルを推
定し、前記３次元曲面モデルに基づいて前記歪みを補正
した画像を出力画像として出力する、という処理を含む
プログラムを記録したコンピュータ読み取り可能な記録
媒体。

【０１３７】（付記２８）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムを記録
した記録媒体であって、前記入力された画像から前記紙
の輪郭、あるいは紙に書かれている水平線及び垂直線、
あるいは紙に書かれている水平文字列及び垂直文字列を
抽出し、前記輪郭の歪み、あるいは前記紙書かれている
水平線及び垂直線の交差の歪み、あるいは前記紙に書か
れている水平文字列及び垂直文字列の交差の歪みを手が
かりに前記紙の３次元曲面モデルを推定し、前記３次元
曲面モデルに基づいて前記歪みを補正した画像を出力画
像として出力する、という処理を含むプログラムを記録
したコンピュータ読み取り可能な記録媒体。

【０１３８】（付記２９）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムを記録
した記録媒体であって、前記入力画像から前記紙の輪郭
を抽出し、前記輪郭の歪を補正した画像を出力する、と
いう処理を含むプログラムを記録したコンピュータ読み
取り可能な記録媒体。

【０１３９】（付記３０）入力された矩形状の紙の輪郭
情報に含まれる紙の輪郭の歪みを補正するという処理を
コンピュータに実行させるためのプログラムを記録した
記録媒体であって、前記輪郭情報から得られる輪郭の歪
みを手がかりに前記紙の３次元曲面モデルを推定し、前
記３次元曲面モデルに基づいて前記歪みを補正した画像
を出力画像として出力する、という処理を含むプログラ
ムを記録したコンピュータ読み取り可能な記録媒体。

【０１４０】（付記３１）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムを記録
した記録媒体であって、前記入力された画像から前記紙
の輪郭を抽出し、前記輪郭の歪みを手がかりに前記紙の
３次元曲面モデルを推定し、前記３次元曲面モデルに基
づいて前記歪みを補正した画像を出力画像として出力す
る、という処理を含むプログラムを記録したコンピュー
タ読み取り可能な記録媒体。

【０１４１】（付記３２）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムであっ
て、前記入力された画像から前記紙に付与された規則正
しい図形を抽出し、前記規則正しい図形の歪みを手がか
りに前記紙の３次元曲面モデルを推定し、前記３次元曲
面モデルに基づいて前記歪みを補正した画像を出力画像
として出力する、という処理を含むプログラム。

【０１４２】（付記３３）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムであっ
て、前記入力された画像から前記紙の輪郭、あるいは紙
に書かれている水平線及び垂直線、あるいは紙に書かれ
ている水平文字列及び垂直文字列を抽出し、前記輪郭の
歪み、あるいは前記紙書かれている水平線及び垂直線の
交差の歪み、あるいは前記紙に書かれている水平文字列
及び垂直文字列の交差の歪みを手がかりに前記紙の３次
元曲面モデルを推定し、前記３次元曲面モデルに基づい
て前記歪みを補正した画像を出力画像として出力する、
という処理を含むプログラム。

【０１４３】（付記３４）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムであっ
て、前記入力画像から前記紙の輪郭を抽出し、前記輪郭
の歪を補正した画像を出力する、という処理を含むプロ
グラム。

【０１４４】（付記３５）入力された矩形状の紙の輪郭
情報に含まれる紙の輪郭の歪みを補正するという処理を
コンピュータに実行させるためのプログラムであって、
前記輪郭情報から得られる輪郭の歪みを手がかりに前記
紙の３次元曲面モデルを推定し、前記３次元曲面モデル
に基づいて前記歪みを補正した画像を出力画像として出
力する、という処理を含むプログラム。

【０１４５】（付記３６）入力された矩形状の紙を撮像
した画像に含まれる紙の輪郭の歪みを補正するという処
理をコンピュータに実行させるためのプログラムであっ
て、前記入力された画像から前記紙の輪郭を抽出し、前
記輪郭の歪みを手がかりに前記紙の３次元曲面モデルを
推定し、前記３次元曲面モデルに基づいて前記歪みを補
正した画像を出力画像として出力する、という処理を含
むプログラム。

【０１４６】

【発明の効果】以上詳細に説明したように本発明によれ
ば、３次元歪みの存在する帳票について、上から撮像し
た一枚の画像（ＯＨＲ画像）から取得できる２次元輪郭
を手がかりにし、さらに紙が矩形状であるという制約を
利用して３次元モデルを推定し、得られた３次元曲面モ
デルから画像の３次元歪みを補正することができる。こ
れにより、一枚の画像から得られる２次元輪郭の歪みを
手がかりに入力画像を補正するので、従来技術と比較し
てカメラが一台で済み、実現コスト及び設置スペースを
削減することができる。

【図面の簡単な説明】

【図１】本発明の原理構成を示す図である。

【図２】本発明第１の実施例の構成を示す図である。

【図３】輪郭抽出手段における輪郭らしさの評価方法を
説明する図である。

【図４】輪郭線、輪郭頂点及びサンプル輪郭点を示す図
である。

【図５】中折り沈み曲面モデル（上部）におけるカメラ
中心と２次元輪郭及び３次元輪郭の位置関係を示す図で
ある。

【図６】線形Ｃｏｏｎｓ曲面を示す図である。

【図７】３次元曲面に対する曲線座標系を示す図であ
る。

【図８】中折り沈み歪み補正結果を示す図である。

【図９】本発明第２の実施例の構成を示す図である。

【図１０】輪郭線、輪郭頂点及びサンプル輪郭点を示す
図である。

【図１１】中折り浮き曲面モデル（上部）におけるカメ
ラ中心と２次元輪郭及び３次元輪郭の位置関係を示す図
である。

【図１２】中折り浮き曲面モデル（全体）を示す図であ
る。

【図１３】中折り浮き歪み補正結果を示す図である。

【図１４】曲面を推定せずに歪みを補正する場合の構成
を示す図である。

【図１５】図１４に示す方式を説明する図である。

【図１６】情報処理装置を示す図である。

【図１７】ソフトウェアプログラム等の提供方法を説明
する図である。

【図１８】非接触型画像入力装置（ＯＨＲ）を示す図で
ある。

【図１９】中折り沈みＯＨＲ画像の例を示す図である。

【図２０】中折り浮きＯＨＲ画像の例を示す図である。

【図２１】周辺歪み（浮き）ＯＨＲ画像の例を示す図で
ある。

【図２２】周辺歪み（沈み）ＯＨＲ画像の例を示す図で
ある。

【図２３】冊子歪みＯＨＲ画像の例を示す図である。

【符号の説明】

１０１輪郭抽出手段１０２曲面推定手段１０３歪み補正手段２０１輪郭抽出手段２０２中折り沈み曲面推定手段２０３歪み補正手段３０１輪郭候補画素３０２線形フィルタ９０１輪郭抽出手段９０２中折り浮き曲面推定手段９０３歪み補正手段１４０１輪郭抽出手段１４０２歪み補正手段１５０１輪郭１５０２上輪郭１５０３中折り輪郭１５０４下輪郭１５０５輪郭の曲線部１６０１ＣＰＵ１６０２メモリ１６０３入力装置１６０４出力装置１６０５外部記憶装置１６０６媒体駆動装置１６０７ネットワーク接続装置１６０８バス１６０９可搬記録媒体１７０１情報処理装置１７０２ネットワーク１７０３サーバ

───────────────────────────────────────────────────── フロントページの続き (72)発明者直井聡神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内Ｆターム(参考） 5B057 AA20 BA02 BA19 CA01 CA02 CA06 CA08 CA12 CA16 CB01 CB02 CB13 CB17 CD12 CD14 CH08 CH09 CH18 DC05 DC09 DC16 DC36 5C077 LL02 MP01 MP05 MP07 MP08 PP05 PP43 PP58 PP59 PQ12 PQ30 TT10 5L096 AA02 AA03 AA06 AA07 BA07 CA03 DA01 FA06 FA14

Claims

【特許請求の範囲】

【請求項１】矩形状の紙を撮像した画像を入力画像と
し、前記入力画像から前記紙の輪郭を抽出する輪郭抽出
手段と、前記輪郭の歪みを手がかりに歪みを補正した画像を出力
画像として出力する歪み補正手段と、を備えることを特徴とする歪み補正装置。
【請求項２】矩形状の紙を撮像した画像を入力画像と
し、前記入力画像から前記紙の輪郭を抽出する輪郭抽出
手段と、前記輪郭の歪みを手がかりに前記紙の３次元曲面モデル
を推定する曲面推定手段と、前記３次元曲面モデルに基づいて前記歪みを補正した画
像を出力画像として出力する歪み補正手段と、を備えることを特徴とする歪み補正装置。
【請求項３】前記入力画像及び出力画像が白黒二値画像
または階調画像またはカラー画像であることを特徴とす
る、請求項２記載の歪み補正装置。
【請求項４】前記輪郭抽出手段は、前記入力画像に対し
てエッジ抽出を行って得た輪郭画素候補のうち、水平あ
るいは垂直方向に対象画素を挟んで前記紙の外部領域の
階調あるいはカラーを持つ画素の列の並びと前記紙の内
部領域の階調あるいはカラーを持つ画素の列の並びが存
在する度合いを表す輪郭らしさを評価し、前記輪郭らし
さが強い輪郭画素候補を輪郭画素とすることを特徴とす
る、請求項２記載の歪み補正装置。
【請求項５】前記輪郭抽出手段は、前記輪郭らしさとし
て、前記輪郭画素候補を挟んで水平あるいは垂直方向
に、前記輪郭画素候補の近傍から任意に抽出された画素
の値と適切に設定した固定値ベクトルとの積和演算を行
って得た量を用いることを特徴とする、請求項４記載の
歪み補正装置。
【請求項６】前記輪郭抽出手段は、前記輪郭らしさとし
て、前記輪郭画素候補を挟んで水平あるいは垂直方向
に、ｋを正または負の定数として、水平方向の場合は値
０を中心とする左右対称のマスク、ｋ，ｋ，ｋ，・・
・，ｋ，０，−ｋ，・・・，−ｋ，−ｋ，−ｋ、垂直方
向の場合は値０を中心とする上下対称のマスク、ｋ，
ｋ，ｋ，・・・，ｋ，０，−ｋ，・・・，−ｋ，−ｋ，
−ｋにより、積和演算を行って得た量を用いることを特
徴とする、請求項６記載の歪み補正装置。
【請求項７】前記曲面推定手段は、前記３次元曲面モデ
ルとして、中折り沈み歪みをモデル化した中折り沈み歪
み３次元曲面モデルを用いることを特徴とする、請求項
２記載の歪み補正装置。
【請求項８】前記曲面推定手段は、前記３次元曲面モデ
ルとして、中折り浮き歪みをモデル化した中折り浮き歪
み３次元曲面モデルを用いることを特徴とする、請求項
２記載の歪み補正装置。
【請求項９】前記曲面推定手段は、前記３次元曲面モデ
ルとして、周辺浮き歪みをモデル化した周辺浮き歪み３
次元曲面モデルを用いることを特徴とする、請求項２記
載の歪み補正装置。
【請求項１０】前記曲面推定手段は、前記３次元曲面モ
デルとして、前記紙の３次元輪郭をモデル化して得られ
る３次元輪郭モデルに線形Ｃｏｏｎｓ補間などの補間手
法を施して得られる曲面を用いることを特徴とする、請
求項２記載の歪み補正装置。
【請求項１１】前記曲面推定手段は、前記３次元輪郭モ
デルとして、３次元輪郭上の点を離散的に３次元サンプ
ル点として取り、３次元サンプル点の高さあるいはそれ
に対応した量をモデルパラメータとすることを特徴とす
る、請求項１０記載の歪み補正装置。
【請求項１２】前記曲面推定手段は、前記３次元輪郭モ
デルとして、スプライン曲線またはベジエ曲線などのパ
ラメータ付き曲線モデルを用いることを特徴とする、請
求項１０記載の歪み補正装置。
【請求項１３】前記曲面推定手段は、前記３次元輪郭モ
デルとして、３次元輪郭の端点２点の高さ、あるいはそ
れに対応した量をモデルパラメータとして、３次元輪郭
上の点は端点２点を結んだ３次元線分を含む垂直平面上
に存在するとして位置を制約することを特徴とする、請
求項１０記載の歪み補正装置。
【請求項１４】前記曲面推定手段は、前記３次元輪郭モ
デルとして、３次元線分を用いることがあることを特徴
とする請求項１０記載の歪み補正装置。
【請求項１５】前記曲面推定手段は、抽出された輪郭を
手がかりに、透視変換を用いて３次元輪郭を推定するこ
とにより、３次元曲面を推定することを特徴とする、請
求項２記載の歪み補正装置。
【請求項１６】前記曲面推定手段は、左右あるいは上下
で対となっている３次元輪郭の長さが等しいという制約
をエネルギー関数を用いて表現し、エネルギー最小とな
る前記３次元曲面モデルのパラメータを求める最適化問
題を解いて３次元曲面モデルを推定することを特徴とす
る、請求項８記載の歪み補正装置。
【請求項１７】前記曲面推定手段は、輪郭を座標軸とす
る曲線座標系において、同一のＸ座標あるいはＹ座標を
持つ曲線がすべて同じ長さを持つという制約をエネルギ
ー関数を用いて表現し、エネルギー最小となる３次元曲
面モデルのパラメータを求める最適化問題を解いて３次
元曲面モデルを推定することを特徴とする、請求項１２
記載の歪み補正装置。
【請求項１８】前記歪み補正手段は、前記輪郭を座標軸
とする曲線座標系を用いて補正後画像の各画素に対応し
た前記入力画像中の位置を求め、前記入力画像中の対応
画素の値を補正後画像の対象画素値として設定すること
により、上下輪郭の長さを幅、左右輪郭の長さを高さと
する補正後画像を得ることを特徴とする請求項２記載の
歪み補正装置。
【請求項１９】矩形状の紙を撮像した画像を入力画像と
し、前記入力画像から前記紙の輪郭を抽出し、前記輪郭の歪みを手がかりに前記紙の３次元曲面モデル
を推定し、前記３次元曲面モデルに基づいて前記歪みを補正した画
像を出力画像として出力する、ことを特徴とする歪み補正方法。
【請求項２０】入力された矩形状の紙を撮像した画像に
含まれる紙の輪郭の歪みを補正するという処理をコンピ
ュータに実行させるためのプログラムを記録した記録媒
体であって、前記入力された画像から前記紙の輪郭を抽出し、前記輪郭の歪みを手がかりに前記紙の３次元曲面モデル
を推定し、前記３次元曲面モデルに基づいて前記歪みを補正した画
像を出力画像として出力する、という処理を含むプログラムを記録したコンピュータ読
み取り可能な記録媒体。
【請求項２１】入力された矩形状の紙を撮像した画像に
含まれる紙の輪郭の歪みを補正するという処理をコンピ
ュータに実行させるためのプログラムであって、前記入力された画像から前記紙の輪郭を抽出し、前記輪郭の歪みを手がかりに前記紙の３次元曲面モデル
を推定し、前記３次元曲面モデルに基づいて前記歪みを補正した画
像を出力画像として出力する、という処理を含むプログラム。