JP2003504947A - 文書撮像システム - Google Patents

文書撮像システム

Info

Publication number
JP2003504947A
JP2003504947A JP2001509938A JP2001509938A JP2003504947A JP 2003504947 A JP2003504947 A JP 2003504947A JP 2001509938 A JP2001509938 A JP 2001509938A JP 2001509938 A JP2001509938 A JP 2001509938A JP 2003504947 A JP2003504947 A JP 2003504947A
Authority
JP
Japan
Prior art keywords
light
document
image
imaging system
stripes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001509938A
Other languages
English (en)
Other versions
JP2003504947A5 (ja
Inventor
ピル・マウリツィオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2003504947A publication Critical patent/JP2003504947A/ja
Publication of JP2003504947A5 publication Critical patent/JP2003504947A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G06T3/06—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047—Detection, control or error compensation of scanning velocity or position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0434—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 specially adapted for scanning pages of a book
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04703—Detection of scanning velocity or position using the scanning elements as detectors, e.g. by performing a prescan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04715—Detection of scanning velocity or position by detecting marks or the like, e.g. slits
    • H04N2201/04717—Detection of scanning velocity or position by detecting marks or the like, e.g. slits on the scanned sheet, e.g. a reference sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/047—Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701—Detection of scanning velocity or position
    • H04N2201/04734—Detecting at frequent intervals, e.g. once per line for sub-scan control

Abstract

(57)【要約】 本発明は、プラテンのない文書撮像システム(1)において、カメラおよび構造光パターンを使用して、構造光パターンから推定することができる奥行き情報と共にページまたは装丁本のイメージを捕捉することに関する。該文書撮像システム(1)は、撮像される文書(30)のための支持面(12)と、前記文書(30)にわたって一連の光ストライプを形成するため当該投影器(4)から前記支持面(12)方向に広がる複数の拡がっていく光の層を投影するように構成された光ストライプ投影器(4)と、前記文書(30)のイメージおよび前記文書上に投影された前記光ストライプのイメージを捕捉する検出器アレイ(22)を有するカメラ(2)と、前記文書および前記光ストライプのイメージを表すデータを前記検出器アレイ(22)から受け取り(23)、該データから基準面に対する文書(30)の三次元プロファイルを計算するように構成されたプロセッサ(25)と、を備え、隣接する前記光の層の間の相対的拡がりが該光の層に沿った横方向に異なっており、前記拡がりが比較的小さい場所に前記光ストライプを集中させることを特徴とする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、プラテンのない文書撮像システムにおいて、カメラおよび構造光パ
ターンを使用して、構造光パターンから推測することができる奥行き情報と共に
、ページのイメージまたは装丁本のイメージを捕捉することに関する。
【０００２】
【従来の技術】
丸みのついた（curled）面から捕捉されるイメージは、一般に、イメージの遠
近、傾斜および圧縮に起因する歪曲（ディストーション）や、平坦でない面ある
いは丸みのついた面に起因する伸びが見られる。面の捕捉されたイメージから面
プロファイルを計算するため、標準的三角形分割手法を含むいくつかの手段を使
用することができる。例えば、プラテンのない文書撮像システムにおいて、カメ
ラを構造光パターンと共に使用して、該構造光パターンから推定することができ
る奥行き情報と共に、ページのイメージまたは装丁本のイメージを捕捉すること
ができる。
【０００３】 オフィスの撮像アプリケーションにおいて、デスクトップ型フラットベッド・
スキャナが非常に普及している。これらスキャナは、比較的廉価でよく動作する
とはいえ、貴重なデスクスペースのかなりの部分を常に占有するという欠点があ
る。
【０００４】 デジタル・カメラ製品が多くの静止画像および動画像写真分野において普及し
てきており、その結果価格は次第に安くなりつつある。しかしながら、そのよう
なカメラはもっぱら人物または場所の写真だけに使用されており、オフィス撮像
アプリケーションでの使用にはまだ適用されていない。その１つの理由は、支持
面に上向きに置かれた１枚の紙または開いた本のような文書は、フラットベッド
・スキャナの場合のように透明プラテンに対して保持されていないため、一般的
に平らでないという点にある。
【０００５】 更に具合の悪いことに、文書を撮像するためには、カメラは支持面の上方に据
え付けて真下を向くようにしなければならない。机の作業面に突き出る構造を避
けるため、カメラは作業面の端に据え付けられることが好ましい。しかしながら
、その結果として遠近の歪みが生じる。
【０００６】 また、文書がカメラに対して終始一貫同じ角度で置かれることはない。本の場
合では、本の背はカメラ・レンズの光軸に対して様々な角度で傾斜して置かれる
。
【０００７】 従って、カメラを基にした文書の捕捉は、イメージの遠近、傾斜および圧縮に
よる捕捉イメージの歪曲、あるいはシートや装丁本の平坦でない表面およびペー
ジの丸まりにより起こる伸びという問題を提起する。
【０００８】
【発明が解決しようとする課題】
ページの丸まりは、カメラで文書を捕捉する際に遭遇する最も大きい問題のう
ちの１つである。文書の丸みがついた部分は画面およびプリンタにうまく表現さ
れず陰になる。また、そのような「ゆがんだ（warped）」イメージのステッチン
グや光学文字認識は困難である。
【０００９】 ページの丸まりの修復すなわち「ゆがみ取り（de-warping）」は一般的に解決
の困難な問題である。陰影、テクスチャおよびテキスト行の全体の輪郭から形状
を推定することを含むいくつかの方法が知られている。現在までのところ、これ
らの方法は脆弱であり、多大なコンピュータ処理能力を必要とすることの多いこ
とが判明している。
【００１０】 この問題を解く１つの手法は、構造光を使用して、カメラの光軸に対して直角
な平面からのページの距離のような奥行き情報を取得するものである。そのよう
な手法の１つが米国特許第5,760,925号に開示されている。該特許において、文
書はその下に横たわる支持面に支持され、カメラは支持面の片側の上方に設置さ
れ、光ストライプ投影器が支持面の反対側に設置される。光ストライプ投影器は
文書上に光ストライプのペアを投影する。光ストライプは文書の部分に対して平
行で基準面(すなわち支持面)に対する高さは同じである。文書はその丸まりの大
部分が光ストライプと同じ方向にあるように向けられるが、文書が横方向に平ら
でないこともあるので、文書の形状は光ストライプ間で線形に内挿される。
【００１１】 このシステムは原理的には文書のイメージを捕捉し、光ストライプを横切る方
向の丸まりがない場合に限ってページの丸まりについて文書のイメージを補正す
ることができる。横切る方向の丸まりの情報をさらに取得するために、さらに多
くの並行な光ストライプを追加することは原理的にまたコストを増やせば可能で
はあるが、実際問題として、コストおよび速度の観点から商業的に魅力のある製
品において文書の丸まりを捕捉して補正するために利用可能な処理能力および処
理時間に重い負担がかかる。
【００１２】 このような問題に対処することが本発明の目的である。
【００１３】
【課題を解決するための手段】
従って、本発明が提供する文書を撮像するための撮像システムは、撮像する文
書の支持面、文書を横切る一連のストライプを形成するため当該投影器から支持
面方向に広がる複数の拡がっていく（diverging）光の層を投影するように構成
された光ストライプ投影器、文書のイメージおよび文書上に投影された光ストラ
イプのイメージを捕捉する検出器アレイを有するカメラ、および、文書および文
書上に投影された光ストライプのイメージを表すデータを検出器アレイから受け
取り、該データから基準面に対する文書の三次元プロファイルを計算するように
構成されたプロセッサを備え、隣接する前記光の層の間の相対的な拡がりが該光
の層に沿った横方向に異なっており、前記拡がりが比較的小さい場所に前記光ス
トライプを集中させることを特徴とする 該文書撮像システムは、文書の丸まりまたは文書の丸まりの変化率が最大であ
る場所に光ストライプがより集中するように構成することができる。従って、光
の層のすべてが平面である必要はない。例えば、前記光の層の少なくとも１つが
近接する層からの拡がりが変化する非平面の層であるように展開することができ
る。
【００１４】 本発明の１つの好ましい実施形態において、その両側に前記拡がっていく光の
層を持つ１つの平面の層が存在する。平面の層は光ストライプ投影器から投影さ
れた複数の層の中心の層に沿っている。光ストライプが文書上の構造光パターン
の中央部分に集中するように、この拡がっていく層を平面の層の方向にたわませ
ることができる。
【００１５】 また、本発明に従って、支持面、光ストライプ投影器、検出器アレイを有する
カメラおよびプロセッサを備えた文書撮像システムを使用して文書を撮像する方
法が提供される。該方法は、 i）前記支持面の上に前記文書を置くステップ、 ii）前記光ストライプ投影器使用して、前記光ストライプ投影器から前記文書方
向に広がる複数の拡がっていく光の層を投影するステップ、 iii）前記文書上に一連の光ストライプを生成するため前記光の層が前記文書上
に当たるように前記光ストライプ投影器を構成するステップ、 iv）前記カメラを使用して前記文書のイメージおよび前記文書上に投影された光
ストライプのイメージを前記検出器アレイで捕捉するステップ、 v）前記文書および前記文書上に投影された前記光ストライプの前記捕捉イメー
ジを表すデータを前記検出器アレイから前記プロセッサへ送信するステップ、お
よび vi）前記プロセッサを使用して、前記データから基準面に対する文書の三次元プ
ロファイルを計算するステップ、 を含み、前記光ストライプ投影器が光の層にそった横方向の相対的な拡がりの変
化する隣接する光の層を投影し、前記拡がりが比較的小さい場所に前記ストライ
プを前記文書上に集中させることを特徴とする。
【００１６】 以下に本発明を例示のみを目的として添付の図面を参照して詳細に説明する。
【００１７】
【発明の実施の形態】
図１は、電子カメラ２を有する文書撮像システム１を示している。電子カメラ
２の下方部分には、Lasiris, Inc.社(所在地St. Laurent, Quebec, Canada)製モ
デル番号51SLの光ストライプ投影器４が格納されている。カメラ２は、作業面１
２の縁１０にクランプされ（８）上方に伸びる支持柱６の頂部に取り付けられて
いる。カメラ２は、作業面１２を横切って上から見下ろすように向けられる光軸
１６を持つ主レンズ１４を持つ。レンズ１４は、カメラ２内の２次元ＣＣＤ検出
器アレイ２２上へ作業面１２の領域２０を撮像する視野１８を持つ。
【００１８】 検出器アレイは、例えば拡張カードを持つパーソナル・コンピュータであるプ
ロセッサ・ユニット２５へ接続２３される。プロセッサ・ユニット２５は、カメ
ラ２および光ストライプ投影器４を制御し、検出器アレイ２２からデータを受け
取って処理する。
【００１９】 理想的には、領域２０は少なくともＡ４文書サイズである。同様に、光ストラ
イプ投影器４は、撮像対象領域２０にほぼ一致する構造光パターン２６を作業面
領域２８に投影する投影レンズ２４を持つ。詳細は後述されるが、構造光パター
ンは作業面１２上でカメラ・レンズ軸１６とほぼ一致する中心軸２９の周囲に広
がる。構造光パターンの広がりは約３００mmの距離でＡ４サイズ領域をカバーす
るのに十分なものである。
【００２０】 文書３０はカメラ・レンズ１４および構造光パターン２６によって画定される
領域２０、２８の範囲内に置かれる。文書は作業面１２によっておおむね水平方
向に支持されるが、わずかに丸まっている。従って、検出器アレイ２２によって
捕捉されるイメージは、カメラ光軸１６と文書３０の間の斜角のため遠近的に短
縮しているだけではなく、文書の丸まりに起因するゆがみ歪曲を含む可能性があ
る。
【００２１】 そのようなゆがみ歪曲が図２に示されている。図２はカメラ２によって検出器
アレイ２２上に形成されるときの開いた本３２のイメージ３１を示す。ゆがみ歪
曲の量は、背３４の近くで最も大きい。
【００２２】 図３は、本３２の上に別個の１５本の光ストライプ３５を生成するように構造
光パターン２６が本３２に向かって投影される際の開いた本３２のイメージ３３
を示している。光ストライプ３５が背３４を横切るように本が向けられている。
【００２３】 次に、光ストライプを検出するため、光ストライプパターン３５がある場合の
イメージ３３と光ストライプパターン３５がない場合の同じイメージ３１との間
の差分が取られる。
【００２４】 図１および図３から認められるように、光ストライプ投影器をカメラの下にカ
メラと一緒に取り付けることの利点は、ストライプがたとえ本の最も遠い端を越
えて投影されたとしても、最も遠いストライプ３６が常にカメラの視野にあるこ
とである。
【００２５】 図４は構造光パターン２６がどのように生成されるかを示している。固定７ｍ
Ｗレーザ３８が、光線４０を垂直に向いたストライプ４４に回折する第１の光学
回折エレメント４２に光線４０を投射する。次に垂直ストライプ４４は、第２の
光学回折エレメント４６によって１５枚の拡がっていく別個の交差しない光の層
から構成される構造光パターン２６に回折される。
【００２６】 構造光パターン２６は、その投影軸２９が光ストライプ３５の三角形分割が文
書の丸まりを特性化することができるような角度５０でオフセットされるように
、文書３０に投影される。
【００２７】 これら回折エレメント４２、４４は、中心の平面の光の層５２の両側にそれぞ
れ７枚の円錐状光層５１、５３からなるセットを生成する。中心の平面の光層５
２は、光ストライプ投影器軸２９上に位置する中央線４９を含む。
【００２８】 光の層５１、５３の各セットは、中心の平面の光の層５２の方向へ内側にくぼ
むようにたわみ、その結果、隣接する光の層との間の拡がりが光の層４８の中央
で最小となる。光の層は、平面の層５２を横切り平面の層５２の中央線を含む１
つの平面について対称である。
【００２９】 図５に示されるように、円錐状光層５１、５３は、一般的に、光ストライプ３
５を中央で横切る１つの線に沿って光ストライプが集中する形態で、曲がった非
平行の光ストライプを文書上に生成する。光ストライプの集中は、隣接する光層
との間の拡がりが最小である部分に対応する。図３においては、本の背３４の周
囲に光ストライプが集中している。この例では、背３４の周囲への光ストライプ
の集中が、最も大きな文書の丸まりの領域において強化された丸まり情報を提供
する。
【００３０】 しかしながら、円錐状光層の三角形分割（triangulation）は簡単な問題では
ない。従って、この三角形分割問題に対する解決法が以下に記述される。この解
決法は、一般的に、文書の丸まりを特性化するため上記のような構造光パターン
を用いて適用される閉じた形の（closed-form）解決手段である。また、閉じた
形の三角形分割により、カメラ２および光ストライプ投影器４からなるシステム
の初期較正を実行するために標準的な最適化法を使用できるようになる。
【００３１】 複数線の構造光パターンの使用は、コスト、イメージの捕捉時間、および検
流計またはステッパー・モーターのような動く部品がないという意味での従来技
術のレーザ走査法に対する機械的複雑性という観点から利点があるが、１方向に
おける線の数に制限されるので、三次元解像度は小さいという欠点がある。この
欠点は、丸まりの最も大きい領域に光線を集中させることによって、また後述す
るようにイメージの丸まりを特性化してゆがみ取りするための新たな方法を使用
することによって、部分的に緩和される。
【００３２】 三角形分割は次のように行われる。最初に光ストライプ４８が対象となるオブ
ジェクトに投影され、検知器アレイ２２のカメライメージ平面上に投影される。
当座の仮定として、レーザは、カメラ基準系における対応する既知の式によって
定義される既知の形状の単一の光の層を投影するとする。この光の層は、オブジ
ェクトに投影されカメラによって撮像されるときイメージ平面上に単一の曲線(
すなわちストライプ)を生成する。ストライプの所与の１つのポイントは、カメ
ラ光軸からイメージを通る空間に線を定義する。この線と光の層との間の交点が
、オブジェクトの面上にカメラ基準系における三次元のポイントを定義する。ス
トライプのポイントの各々について上記手順を繰り返すことによって、投影され
た光の層とオブジェクト面との交線によって定義される曲線上にあるすべてのオ
ブジェクトのポイントを効果的に取り出すことができる。
【００３３】 本発明は、オブジェクトのより大きい部分をカバーし、従って三次元のスナッ
プショットを取得するため、単一の光の層ではなく相互に若干変位させた複数の
光層のセットを使用する。光層が１つの場合は、任意のイメージストライプポイ
ントが既知のストライプの三次元ポイントの投影に対応することがわかっており
、これは三角形分割を確実に実行できることの理由である。反対に、光層が複数
の場合は、どの特定の光層がその投影を生成したかがわからないので、特定の光
層によってどのイメージストライプが生成されたのかを判断できるようにするた
め、ある種のストライプラベル付けつまりストライプの識別が必要である。
【００３４】 カメラ２および光ストライプ発生器４のシステムが、(便宜的に支持面１２で
ある)基準面を測定することによって初期的に較正される。基準面上の歪んでい
ない投影と丸みのついた文書上の歪んだ投影との間の垂直変位は、基準面に対す
る丸まった文書の奥行きつまり高さの一意の関数である。
【００３５】 回折光ストライプ投影器４は、各々がその長手方向に沿って周期的な輝度変動
を持つ光ストライプ４８からなる構造光パターンを生成する。第１の近似として
、構造光パターンの光の強度のピークは光ストライプ投影器を中心にする球面上
で次式によって表すことができるポイントにおいて発生するとする。
【数１】 ただし、(x,y)=(0,0)は投影軸２９上にあり、Dは光ストライプ投影器４からの距
離であり、λはレーザ波長であり、Λ1は、回折エレメント４２の格子周期であ
り、Λ2は、回折エレメント４６の格子周期である。
【００３６】 図５は、光ストライプ投影器から０.５ｍ離れ、光層の投影軸２９に対して直
角をなす平面の交線によって形成される１５の光ストライプを示している。中心
の平面の光の層５２が直線の光ストライプ５４を生成し、中心光ストライプ５４
の両側にある光ストライプ５５、５７は中心光ストライプ５４方向に内側にたわ
んでいる。従って、これら光ストライプは、中心の光ストライプ５４を横切る中
心線５６に沿って集中している。
【００３７】 投影された光ストライプパターンに閉じた形式で三角形分割を実行するために
は、このパターンすなわち各光層４８を数学的形式で表現することが必要である
。従って、図６に示されるように、各光ストライプ５０に沿った副次的局大値（
subsidiary maxima）に対応する５つのポイント５８を使用して、所与の距離に
ある直交平面上の投影されたストライプの２次多項式Γが生成される。厳密に言
えば、ストライプは２次ではないが、多項式が２次式の時データからのずれは０
.０１%未満であることが確認されている。多項式Γはパラメタリック形式で次の
ように表すことができる。
【数２】 ただし、添え字Nはストライプの数を表し、uは図７に図式的に示されている自由
パラメータである。上式から、vを円錐長を掃引するパラメータとして、投影軸
２９を中心とする円錐状体７０を構築することができる。円錐状体７０は次式に
よって表される。
【数３】
【００３８】 後述するように、次のような消去によって得られる光の各円錐状体の代数形式が
特に関心のあるものである。
【数４】
【００３９】 閉じた形式の三角形分割を実行するためには、カメラ・レンズ軸１６と光スト
ライプ投影器軸２９の相対的な向きを知ることが必要である。この相対的向きは
、本明細書において、カメラ２と光ストライプ投影器４との間の回転並進(roto-
translation)ＲOLと呼ばれる。
【００４０】 本発明において使用される固有カメラ・モデルは、従来の５つのパラメータの
セットによって記述される。それらパラメータは、焦点距離f、水平および垂直
方向におけるメートルあたりのピクセル数αxおよびαy、(イメージの中心にあ
ると仮定される)「貫通点」(X0 Y0)およびラジアルディストーションパラメータ
Kである。
【００４１】 カメラ・パラメータf、αx、αy、「貫通点」(X0 Y0)の較正は、R. Y. Tsai著
「IEEE Transactions on Robotics and Automation, No.4 pp. 323-344, 1987」
に記載されている方法で推定することができる。
【００４２】 回転並進ＲOLの推定は、最適化プロセスを一部手直しした方法によって達成さ
れる。先ず、平面のオブジェクトのまばらな三次元データの捕捉から始まる。次
に、ＲOLのおおまかな初期推定が行われる。ＲOLを表す６つのパラメータ（すな
わち３つのオイラー回転角および３つの並進運動）を調整するため、三角形分割
されたデータポイントが実質的に平坦になるまで、図８に示される反復プロセス
が使用される。誤差の最小化はLevenberg-Marquard法の実施によって実行される
。
【００４３】 図９のＡおよびＢは、ＲOLのおおまかな初期推定を使用して平坦な面を測定す
る際の誤差を図示する２つのグラフを示している。図１０のＡおよびＢは、図８
の最適化プロセスの後のＲOLの最終的推定を使用した２つの同様のグラフを示し
ている。これらのグラフは、平面の測定における誤差の標準偏差が２０ｍｍから
１ｍｍ未満へ減少していることを示している。残存誤差は測定ノイズによるもの
である。
【００４４】 文書撮像の分野において、ラジアルディストーションの補正は一般に無視され
ている。しかしながら、十分に正確な結果を得るためにはこの補正が重要である
ことが判明している。歪曲した座標と非歪曲座標の対応付けは次式の通りである
。
【数５】
【００４５】 表現を簡単にするため、以下の説明においては、これらの新しい座標は実際の
イメージ座標として処理される(ただし、これら座標は上記対応関係から導出さ
れる修正された座標である点は留意される必要がある)。
【００４６】 本例において使用されるカメラ２は、K=0.004ピクセル/mm2というラジアルデ
ィストーションパラメータを持つ。図１１のＡは、ＲOLが較正された時でも、ラ
ジアルディストーションが考慮されなければ、誤差がいかに大きくなるかを示し
ている。このディストーションが考慮されると、ディストーションは図１１のＢ
に示すようになる。
【００４７】 ２つ以上の光ストライプが存在するので、三角形分割が実行される前に、各光
ストライプを識別することが必要とされる。このプロセスには、第１のストライ
プ検出、第２のストライプラベル付けという２つの独立した部分が含まれる。
【００４８】 三次元文書イメージ捕捉は、図３に示されるように、レーザ・パターンを短く
発光し、検出器アレイ２２を用いて光ストライプパターンを含む文書イメージを
同期的に検出することによって行われる。このプロセスの前か後のいずれかにお
いて、図２に示されるように、文書は光ストライプパターンなしで撮像される。
このように、光ストライプパターンのあるものとないものという２つの一部重複
するイメージがあるので、イメージの差分を使用して、光ストライプを容易に際
立たせることができる。
【００４９】 しかしながら、光ストライプ方向の強度値は、例えば前記方程式(1)の場合の
ように副次的ピークのため、または、不均一な環境照度または不均一な紙の反射
率のため、一般に不均一である。従って、光のイメージが処理される。広く行き
渡った水平線（複数）を所与として、第１のステップとして、ｙ(垂直)方向にの
み適用される１次元ラプラス演算子(２次導関数)が使用される。この演算子の適
用は、光ストライプの中心に大きな負の値を与える。この値は、バイナリ・イメ
ージを得るためのしきい値となる。このプロセスは強力で迅速であるが、単一の
しきい値を使用すると、図１２に示されるように、検出されたストライプの連続
の中にいくつかのギャップが入ることが避けられない。
【００５０】 光ストライプを識別するために使用される方法は次の通りである。最初に、光
ストライプは１ピクセルの厚さに薄くされ、連結されたピクセルが１つのストリ
ングに接合される。次に、短かすぎるストリングは、ノイズとみなされて分類か
ら除去される。その結果、図１２に示されるように、ストリングのセグメント８
０の間にギャップ８２が点在するピクセルのデータセットが生成される。
【００５１】 次に、各ストリングに関して、発見的「強度」測定値が次式によって計算され
る。 S=0.5*Length+0.5*Abs（Avg(Top30% of Laplacian value) これは、ラプラス演算子値の絶対値の上位３分の１の平均と長さとを等しく加重
した和である。光ストライプの輝度が一様に分布しておらず一部の弱いセクショ
ンが平均に悪影響を及ぼす可能性があるので、ストリングに沿ったラプラス演算
子のすべての値を平均することは行わない。
【００５２】 次に、イメージのピクセルの各列ごとに最上行から始めて、上述の観点から、
最も強いストライプポイントに対してのみ連続的に増加するラベル番号が割り当
てられる。ストライプの番号付けは、予定した最大数(本例では１５)に達すると
終了する。最後に、各ストリングについて、そのストリングのすべてのポイント
に割り当てられた中で最も頻度の多いラベルに等しいラベルがそのストリングに
割り当てられる。図１２は、結果としてすべての光ストライプが正しく識別され
たラベル付けを示している。
【００５３】 この手法は、本質的には投票する方法であって、一般的状況において非常に強
力で、ギャップに円滑に対処することができる。これは、また、廉価なハードウ
ェアを用いても比較的迅速に実行できる。この方法は、光ストライプを個別に識
別できないとしても一連の光ストライプをカウントすることによって個別の光ス
トライプを識別することができるという利点を持つ。
【００５４】 この方法が光ストライプに正しくラベルをつけることができない状況、すなわ
ち、基礎としている前提が満たされない場合がある。例えば、本の縁が厚いため
ストライプが完全にまたはほとんど見えないまたは閉じられている場合、ラベル
割当ては無意味となる。従って、１つの代替実施形態(図示されていない)におい
て、光ストライプは空間変調（spatial modulation）によって個別に識別可能と
される。
【００５５】 そうであるとしても、そのような状況は、光ストライプ投影器がカメラに対し
て正しく配置されているとき、例えば、光ストライプ投影器が文書のカメラと同
じ側でかつカメラ位置より下に取り付けられるとき、実際に発生するはずのない
状況である。
【００５６】 光ストライプを識別するための上述の手法は、光ストライプを時間変調したり
あるいは例えばカラー符号化によって個別に識別するような他の手法と比較して
迅速で簡単である。
【００５７】 次に、三次元ポイントが三角形分割を通して取得される。三角形分割は、図１
３に示されるように、投影された光ストライプ８８上の所与のポイント８６およ
び検出器平面９４における検出されたイメージ９２上の対応するポイント９０を
通過する光線８４と光の層４８との交点を検出することからなる。
【００５８】 図１３を参照して、OP=(X,Y,Z)をカメラ基準系Ｏにおける三次元ポイントであ
り、OP=(x,y)をイメージ平面におけるストライプポイントであり、LΣを光スト
ライプ投影器基準系Ｌにおける円錐状光層４８を表す円錐状面であるとし、４×
４マトリックスによって表される２つの基準系の間の変換ＲOLを次のように表す
。
【数６】
【００５９】 三角形分割の問題は、一般的な楕円錐と空間上の線との間の交点を見つけるこ
とにある。最初に、Ｌに変換された基準系Ｏにおけるポイントに関して円錐ポイ
ントを表すことによってＲOLを介して円錐状体がカメラの基準系に変換される。
【００６０】
【数７】 ただし、光学線のパラメタリック形式はO x=txi O y=tyi O z=tf であり、ここでfは焦点距離であり、xおよびyはイメージ座標で表されている。
次に、この円錐と光学線との交点を表す系が次のように表される。
【数８】 単純な代入によって、光学線tをパラメータとする次のような２次方程式を得る
。 At2+Bt+C=0→[t1,t2] 上式の解t1およびt2は、円錐状体と光学線との２つの交点を表わす。この方程式
は解析的に解くことができ、やや難解な解が導かれるが明快さのためここでは省
略する。
【００６１】 上記交点のうち、円錐状体を構築した方法のため、基準系LのZ軸に近い側の半
円錐状体上の最小パラメータuに対応しているただ１つの交点だけが本発明にと
って関心のある交点である。
【００６２】 従って、２つの解は次のような変換によって光ストライプ投影器基準系Lへ戻
される。
【数９】 また、２つの対応するuを得るため式２の２番目が次のように使用される。
【数１０】
【００６３】 最後に、三次元交点が次のように与えられる。
【数１１】
【００６４】 こうして、オブジェクトと光層の交点に属しその投影がイメージの特定のスト
ライプピクセルである空間ポイントが見出された。
【００６５】 このプロセスは１５の各光ストライプのピクセルごとに(選択的にサブピクセ
ルの解像度で)繰り返されなければならない。三角形分割プロセスは非常に迅速
ではあるが、必要であれば、各線に沿ったサブサンプリングも可能である。その
結果は、図１４に示されているような三次元ポイントの「雲」となる。
【００６６】 こうして紙の表面を表す三次元データポイント９５が取得された。問題は、丸
まりの歪曲を戻す、すなわち「ゆがみ取り」するためこれらのポイント９５をど
のように使用するかである。
【００６７】 丸みがある文書のイメージをゆがみ取りするのは一般に困難である。主な問題
は、紙が一般の面ではなく、「可展（developable）」面、すなわち、引き裂き
や伸張をせずに１つの平面上へ広げることができる面であるという点にある。可
展面S(u,v)のガウス曲率Kはいずれのポイントにおいてもゼロ、すなわちK(u,v)=
Oである。
【００６８】 本発明ではこの面を再構築するだけでなく平面へ展開する必要があるため、若
干の不連続を持つ可能性がある面を適合し調整する従来技術の面再構築手法をこ
の問題に適用することはできない。これは、再構築される面が第一に可展でなけ
ればすることはできない。従って、適合される面は可展すなわちあらゆるポイン
トでガウス係数がゼロであるように制約する必要がある。これは簡単な操作では
ない。
【００６９】 図１５および図１６は、単純な手法が一般的に機能しない理由を示している。
図１４の三次元データは平滑化され、２つの三次元スプライン９６が適合されて
いる。データにはノイズがなく、光ストライプ投影器／カメラ系が完全に較正さ
れる理想的なケースでは、適合される表面は可展であるはずだが、実際に得られ
る表面はそうではない。例えば、一部の位置９８に小さな隆起が観察される。
【００７０】 ページの丸まりを戻すとすれば、元のイメージからパッチを平面のパッチにテ
クスチャ・マッッピングしなければならない。このマッピングは、図１６に示さ
れるように、メッシュした表面９６における有限差分の積分によって計算される
。
【００７１】 しかしながら、定義上、非可展面は引き裂きか伸張のいずれかで平面上へ広げ
ることができるだけであり、このため、広げられた文書１００には不自然な歪曲
が発生する。これは、局所的に小さい誤差が集まって歪曲になりやすい面を広げ
る積分の性質のためである。図１６は、図１５における再構築された平面メッシ
ュの遠い側における不規則性によって引き起こされるテクスチャにおける歪曲を
示している。
【００７２】 従って、ページを広げる問題は、ノイズの多いデータ上に可展面を適合させる
問題と言い換えることができる。
【００７３】 第２の問題は、光ストライプがページ全体をカバーしない、あるいはページ/
本の端のすぐ近くにギャップが存在する可能性があることである。この場合は、
三次元データが利用できないので、これらの領域を広げる方法がない。
【００７４】 簡略に述べれば、本発明に使用される方法は、データに適合し同時に弛緩プロ
セスによって平面と等尺(すなわち可展)であるようにデータを制約する三角メッ
シュとして表される有限要素モデルを使用する。
【００７５】 最初に、図１７に示されているような二次元で問題を考察する。ここには、長
手に沿った曲線のノイズの多い測定を表すデータポイントのセット１０２がある
。このセットは本明細書において「第１のポイントセット」と呼ばれる。別のポ
イントセット１０４が第１のセット１０２への最小二乗法の適合によって得られ
、これは本明細書において「第２のポイントセット」と呼ばれる。それぞれの部
分について一次元の曲線１０６を接続して、第２のポイントセット１０４を通る
ように構築することができる。一次元の曲線は１つの線分に対して等尺（isomet
ric）であるので、第２のポイントセット１０４は、常に線分１０８に「戻され
る」ことができる。このような特性が、本のページの丸まりを元に戻す方法の多
くが丸まりの１次元モデルを使用して、文書の丸まりが本質的に円筒状の時に良
好な結果を生み出すことができる理由を説明している。しかしながら、一般的な
三次元の場合では、ノイズまたはポイントにおけるその他の不正確さのため、丸
みのついた文書を表す２次元のポイントセットを簡単に広げることはできない。
【００７６】 地図制作において使用される直交イメージ投影と呼ばれる古い手法がある。こ
の方法は、ページの丸まりを基本的に補正するが、単にテキストを平面に直角に
投影する。この方法は、単純で局所的な歪曲を起こしにくいが、文書を広げるの
ではなくむしろ「押し下げる」ので、本来的に割れが生じる。
【００７７】 シート状の文書または紙は任意に変形することができない。むしろ、面の任意
のポイントの間の弧の長さが保存されるようにそれらは変形する。換言すれば、
面は等尺に変形し可展面によって数学的に表すことができる。本発明は、文書変
形のための一般的モデルとしてそのような面を利用する。該モデルにおいて、ま
ばらに分散した三次元データが可展面に適合され、次に、その可展面が適切に広
げられ(すなわちテクスチャ・マッピングされ)、その結果文書の調整されたイメ
ージが生成される。また、物理的かつ自己矛盾のない紙モデルを使用することに
よって、丸まりの補正における歪曲の除去が確実になる。
【００７８】 面は、そのガウス曲率があらゆるポイントで消滅する時、可展面と呼ばれる。
可展面は、伸張または引き裂きを行うことなく平面上へ平らにすることができる
。同じように、可展面は平面を曲げることによって得られる面である。ただし、
この場合の曲げとは弧の長さを保存する変換を意味している。
【００７９】 すべての線織面が可展面であるわけではない点に注意する必要がある。可展面
は線織面の特殊なサブクラスであり、空間において直線を移動させることによっ
て生成される面である。
【００８０】 可展面の解析的な形式は、各線織に沿って同じものである接平面という制約を
持った、線織面のパラメトリック式である。この定義は本質的に非実用的であり
、主として対話型モデル化または表示に適している。
【００８１】 例えば、図１８に示すような三角形タイル１１１を有するメッシュ１１０のよ
うな可展面を表すため、有限要素モデル(ＦＥＭ)を使用することができる。この
ようなメッシュは変形して（１１２）可展面に近似させる（１１４）ことができ
る。メッシュ１１０が変形されるとき、タイルは変化しないままである。
【００８２】 可展面は、メッシュが変形されてもメッシュノード１１７間のメッシュの辺１
１６の長さが一定を保つと仮定することによって、三角メッシュを用いてモデル
化することができる。もちろん、メッシュをさらに細かくすることによって、い
かなる近似誤差をも任意に小さくすることができる。しかしながら、一度メッシ
ュの変形が開始した後、例えば高曲率の領域の誤差を減少させるため、三角形を
分割しメッシュを局所的に細分化することは一般にできないことに注意すべきで
ある。
【００８３】 そのような変形可能なワイヤフレームメッシュを用いて折り目もモデル化する
ことができる。実際、メッシュの解像度を増加させることによって、任意の可展
面を、従って任意に変形されたどのような紙をもさらに正確にモデル化すること
ができる。
【００８４】 上述された文書の丸まり特性化プロセスは、一般的に、図１４に示されるよう
なノイズのある、まばらなデータを生成する。面の大きさは知ることができない
。図１９は、面の大きさを推定する１つの方法を示している。「第１のポイント
セット」９５のすべてのポイントを内包する凸閉包すなわち長方形１１８(また
は同等に四辺形)が支持面１２に投影される。次に、投影された線分１２６、１
２８の端点から長方形１２４が導出される。図１９において、Ｂスプラインがデ
ータポイント９５に適合し、選択されたいくつかの曲線１２０、１２２に沿った
積分によってその大きさを推定する。
【００８５】 代替的方法として、文書走査システムがユーザに文書のサイズを選択させるよ
うにすることもできる。別の方法として、カメラ２に関する位置およびカメラ較
正パラメータのような既知のシステム配置情報を使用して、イメージから範囲を
直接決定することもできる。
【００８６】 この後者の方法は、また、三次元データ９５の一部が同じ可展面に属していな
いために発生する可能性のある不整合の問題の克服に寄与する。このようなケー
スは、データが厚い本かまたは丸まりのある小さな文書のものであって、構造光
パターンが文書の領域より大きい場合に起こる。この場合、何が文書に属してい
て何が属していないかを知る方法が必要である。これは、大きな曲率または奥行
きの変化についての調査を用いてデータに適合される一般的な面を解析すること
によって達成することができる。このような急な変化の外側のポイントは破棄す
ることができる。別の方法は、プロセスが収束しない限り、後述する「弛緩」プ
ロセスの間にメッシュが壊れることを可能にするものである。
【００８７】 面１１８の大きさおよび対応する平面の投影１２４がわかると、メッシュ１１
０はノイズのあるポイントセット９５に適合される。プロセスは、２次元的なア
ナロジーである「初期設定」プロセスを明示のために示す図２０のＡ、Ｂおよび
Ｃを参照することによって理解することができる。
【００８８】 最初に、ノイズのある三次元のデータポイントセット９５に対して最小二乗偏
差を用いて「初期」面(ここでは平面１３０)が適合される。次に、この平面１３
０と面１１８の推定された大きさ１２４が一致するように、平面メッシュ１１０
が回転および並進される。次に、各メッシュノード１１７が、最小二乗法適合平
面１３０に対して直角に、最も近いポイント９５方向に垂直に並進される。一定
の半径内にポイント９５が存在しない場合、最も近くに隣接するノード１１７ま
での距離の３分の１が取られ、ついで、図２０のＣに示されている１つのノード
１３４の場合のように、そのノードはその位置のままにされる。結果は、本例に
おいてメッシュノードから構成される「第２のポイントセット」１１７によって
表される歪曲したメッシュ１３３である。
【００８９】 この段階において、メッシュ１３３はもはや可展ではない。すなわち初めの平
面１３０との等尺性は失われている。しかながら、おおまかではあるが、この時
点でメッシュは面１１８を近似している。次の段階はメッシュ１３３を調整して
再び可展にすることであり、これは「弛緩（relaxation）」プロセスで実行され
る。
【００９０】 最初に、使用する用語を定義する。以下の数１２を直交系の座標軸のベクトル
として定義されるメッシュノードとする。
【数１２】 また、以下の数１３をメッシュノードのセットとする。
【数１３】 また、eijを２つのノードxiおよびxjをつなぐメッシュの辺とし、以下の数１４
をメッシュのすべての辺のセットとする。
【数１４】 従って、メッシュは、M={X,E}によって表される。また、ノードxiの近隣をノー
ドセットNi={xj:eij∈E}で定義する。
【００９１】 以下の数１５によって２つのノードの間のユークリッド距離が示される。
【数１５】 また、以下の数１６によってメッシュが元の平らな状態であるときに持っていた
基準距離が示される。
【数１６】
【００９２】 データを近似しながらメッシュを可展状態に変換するため、理想的な可展状態
からのメッシュの偏差を最小にする最適化手法が使用される。図２１は、機械的
類似性として、ばね１４２からなるメッシュ１４０を示している。弛緩状態にお
いて、メッシュ１４０はノード１４４において相互に接続している上記数１６で
示される長さの弛緩したばね１４２を持つ。従って、すべてのばねが数１６で示
される長さを持つとき、この網状構造１４０は安定状態において最小のエネルギ
ー状態にあり、これが起こるときメッシュ１４０は平面に対して等尺である。
【００９３】 かくして、問題は、次式のように系の総弾性エネルギーを最小にする問題と等
しい。
【数１７】 これは、最終的に最小エネルギーに到達するまでノードの位置を反復的に調整す
る既知の勾配降下(gradient descent)法を使用して行われる。最小化プロセスの
間、弾性定数Ｋは無視することができることに注意されたい。
【００９４】 ノード座標は、次のルールに従って更新される。
【数１８】 因子ｗについては後述する。
【００９５】 すべての変位がしきい値以下になると収束に達する。
【００９６】 導関数は次のように簡単に計算される。
【数１９】 これらの導関数は、各特定ノードに接続されたばね１４２のすべてによってノー
ド１４４のそれぞれに及ぼされる力の合力として書き換えられることに注意され
たい。
【００９７】 反復的最適化手法の収束特性に関しては、wxi=w/(∂2U/∂xi)で(yiについても
同様)および0<w<2であるときに収束することを示すことができる。適合実験によ
ってこの点は確認されている。
【００９８】 上述の弛緩プロセスはうまく動作し、非常に正確に表面を近似することが示さ
れた。この点はやや驚くべきことである。なぜならメッシュ弛緩の間ポイントセ
ット９５は使用されないからである。このような驚くべき結果の基礎は、各ノー
ドiについてdij=定数という制約を持つメッシュ１１０のような可展面またはそ
の離散的な近似という高度に制約された性質にある。メッシュがデータ上へ初期
設定される時、ノードはこの制約を満たしていない。しかしながら、弛緩手法に
よってノードは直交に変位され、その結果制約は満たされる。面の形状は、変位
が接平面（tangent）であった場合のように、劇的に変化しない。この重要な観
察は、データを必要とすることなく弛緩されるメッシュが表面に近似することが
できる要因を示している。
【００９９】 メッシュが三次元データに適切に適合されたなら、次の段階は、初期平面メッ
シュをテクスチャ・マップすることである。前述のように、この手法では、広げ
られた表面から開始したのであるから、適合された表面を広げる必要はない。
【０１００】 丸みのついた文書をゆがみ取りするテクスチャ・マッピングは、図２２に示さ
れるように、３つの段階を持つ。最初に、平面メッシュ１１０におけるすべての
タイル１１１が等尺性を維持するように、特性化された文書面１５２に対して初
期設定され、弛緩される(１５０)。既知の撮像位置を使用して、この時点で三次
元面１５２上にあるタイル１１１がイメージ平面１５６に投影され(１５４)、そ
れに対応するイメージからテクスチャ１５８が取得される。最終段階では、タイ
ル・テクスチャ１５８をその対応する平面タイル１１１へゆがませて（warp）、
それによって、元々平らな状態で捕捉されたかのようにテクスチャが復元される
。
【０１０１】 タイルのマッピングが上記のように計算されると、ゆがみ段階１６０は標準的
なプロセスであり、多数のすぐれたアルゴリズムがGeorge Wolberg著「Digital
Image Warping(IEEE Computer Society Press, 1991)」に記載されている。
【０１０２】 上述の文書丸まり特性化手法は、紙の種類および文書の複雑さに関係なく適切
に機能する。本発明は、ページの丸まりを特性化し、ゆがみ取りする実用的で廉
価な手段を提供する。特に、既知の２次元構造光パターンを投影してカメラによ
って捕捉されたパターンのイメージについて三角形分割することによって、撮像
された文書のプロファイルが決定される。２次元パターンの使用は、高価な動く
部品(およびそれらの駆動機構)を必要とせず、ページ上へ単一の光線を掃引せず
に１ショットでページの丸まりを迅速に特性化することができるので、単一のス
トライプまたはポイントと比較して、特にこのアプリケーションにおいては望ま
しい。
【０１０３】 この例では、システム・コストを大幅に上昇させるような、検出器アレイまた
は光ストライプ投影器の移動、あるいは、いかなる時間的または空間的変調手段
をも必要とすることなく、光ストライプが平面ストライプのイメージだけから識
別される。
【０１０４】 文書の丸まりを特性化する上記方法は、実用的で迅速であり、プラテンのない
文書撮像システムを使用する文書撮像アプリケーションのための比較的安いハー
ドウェアで実施することができる。しかしながら、写真複写機およびフラットベ
ッド・スキャナのようなプラテン型装置などのその他の種類の撮像システムに本
発明を使用することも可能である。
【０１０５】
【発明の効果】
上記の文書の丸まり補正方法は、紙の数学的モデルを使用し、歪曲のないイメ
ージを自然に生成するようにこのモデルをデータに適合させる効果的な初期設定
／弛緩プロセスを使用する。まばらでノイズの多いデータに関して満たされる必
要がある多数の自由度および多数の制約が存在するという事実にもかかわらず、
上記方法は達成される。この方法は、データが失われるどのような箇所において
も、内挿、外挿および自己完結する能力を有する。この方法は、紙の変形を物理
的に現実的な形態でモデル化することによって丸みのついた文書の高品質のゆが
みの取れたイメージを生成する。
【図面の簡単な説明】
【図１】撮像される文書を見渡す柱に検出器アレイを有するカメラを光ストライ
プ投影器と共に設置する本発明に従った文書撮像システムの概観を示す模式図で
ある。
【図２】カメラによって撮像されるときの開いた本の図である。
【図３】光ストライプパターンが投影された開いた本の図である。
【図４】中心の平面の光の層へ向かって内側にくぼむようにたわんだ拡がってい
く光の層を示す、光ストライプ投影器によって生成される構造光パターンの概観
を示す模式図である。
【図５】図３の構造光パターンと光の層を横切る平面との交差によって形成され
る光ストライプの図である。
【図６】図５の光ストライプの１つから得られる５つの点に適合された多項式の
図である。
【図７】図６のような多項式から構築されるパラメトリックな光の層の円錐状体
の図である。
【図８】カメラと光ストライプ投影器との間の回転並進の較正プロセスを示す流
れ図である。
【図９】ＡおよびＢは、回転並進の初期推定値が使用されるときの文書撮像シス
テムを使用した平坦な面のプロファイルの検出における誤差を示す図である。
【図１０】ＡおよびＢは、図８の流れ図に従った回転並進の較正の後の平坦な面
のプロファイルの検出における誤差を示す図である。
【図１１】ＡおよびＢは、それぞれラジアルディストーション補正のない場合と
ある場合の平坦な面の検出における誤差を示す図である。
【図１２】光ストライプ検出プロセスおよびラベル付けプロセスの結果を示す図
である。
【図１３】光の層と光ストライプとの交点を計算するための三角形分割プロセス
で使用される光の層および用語を示す図である。
【図１４】文書撮像システムで生成された開いた本の測定データポイントのセッ
トを示す図である。
【図１５】従来技術の丸まりのゆがみ取り法に従った、測定データポイントに２
つの三次元スプラインを適合させた面のプロファイルを示す図である。
【図１６】平面上に２つの三次元スプラインを広げた従来技術の結果を示す図で
ある。
【図１７】適合された面に適用される場合の丸まりのゆがみを取る従来技術の直
交イメージ法を示す模式図である。
【図１８】可展面を近似するために使用される三角メッシュを示す模式図である
。
【図１９】丸まりのある文書をゆがみ取りする際の測定データポイントからおお
よその大きさを推定する方法を示す模式図である。
【図２０】Ａ、ＢおよびＣは、それ以上展開できないようにメッシュを伸ばすプ
ロセスにおいてメッシュが測定データポイントに初期的に適合される様態の二次
元のアナロジーを示す図である。
【図２１】測定データポイントに最適に適合される可展状態にメッシュが弛緩さ
れる様態をばねメッシュに類似させて示した模式図である。
【図２２】文書の丸まったイメージのゆがみ取りを行うため弛緩されたメッシュ
をテクスチャ・マッピングするプロセスを示す図である。
【符号の説明】
１ 文書撮像システム ２ カメラ ４ 光ストライプ投影機 １２ 支持面 ２２ 検出器アレイ ２５ プロセッサ ３０ 文書
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/107 Ｇ０１Ｂ 11/24 Ｋ 5/222 Ｆターム(参考） 2F065 AA53 AA54 BB02 BB05 BB18 CC02 DD02 DD06 EE08 FF02 FF04 FF42 GG04 HH06 HH07 HH12 JJ03 JJ08 JJ26 LL42 PP05 QQ08 QQ21 QQ24 QQ25 QQ31 UU08 5B047 AA07 BA02 BB04 BC11 BC14 CA19 5C022 AA13 AB15 AC42 AC69 AC78 CA07 5C072 AA01 BA04 CA20 EA08 LA12 UA20 VA06

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 撮像される文書のための支持面と、前記文書を横切る一連のス
    トライプを形成するため当該投影器から前記支持面方向に広がる複数の拡がって
    いく光の層を投影するように構成された光ストライプ投影器と、前記文書のイメ
    ージおよび前記文書上に投影された光ストライプのイメージを捕捉する検出器ア
    レイを有するカメラと、前記文書のイメージおよび前記光ストライプのイメージ
    を表すデータを前記検出器アレイから受け取り、該データから基準面に対する文
    書の三次元プロファイルを計算するように構成されたプロセッサと、を備える文
    書を撮像するための撮像システムであって、隣接する光の層の間の相対的な拡が
    りが該光の層に沿った横方向で変化して前記拡がりが比較的小さい場所に前記ス
    トライプを集中させることを特徴とする撮像システム。
  2. 【請求項２】前記光の層の少なくとも１つは平面の層でなく隣接する光の層か
    らの拡がりが変化する請求項１に記載の撮像システム。
  3. 【請求項３】その両側に前記拡がっていく光の層を有する１つの平面の光の層
    が存在する請求項２に記載の撮像システム。
  4. 【請求項４】前記拡がっていく層は前記平面の層の方向にたわむ請求項３に記
    載の撮像システム。
  5. 【請求項５】前記光の層は前記平面の層を横切り前記平面の層の中央の線を含
    む平面について対称である請求項４に記載の撮像システム。
  6. 【請求項６】前記カメラおよび前記光ストライプ投影器は前記支持面の端の上
    方に伸びる支持柱に共に取り付けられる請求項１乃至請求項５のいずれかに記載
    の撮像システム。
  7. 【請求項７】前記光ストライプ投影器は前記カメラの下にある請求項６に記載
    の撮像システム。
  8. 【請求項８】前記光ストライプは個別に識別することはできず、前記文書撮像
    システムは前記一連のストライプにラベル付けを行うことによって前記ストライ
    プを個別に識別する手段を備える、請求項１乃至請求項７のいずれかに記載の撮
    像システム。
  9. 【請求項９】前記光ストライプは空間変調によって個別に識別可能である請求
    項１乃至請求項７のいずれかに記載の撮像システム。
  10. 【請求項１０】支持面、光ストライプ投影器、検出器アレイを有するカメラお
    よびプロセッサを備えた文書撮像システムを使用して文書を撮像する方法であっ
    て、該方法は、 前記支持面の上に前記文書を置くステップと、 前記光ストライプ投影器を使用して、前記光ストライプ投影器から前記文書方
    向に広がる複数の拡がっていく光の層を投影するステップと、 前記文書上に一連の光ストライプを生成するため前記光の層が前記文書上に投
    影されるように前記光ストライプ投影器を構成するステップと、 前記カメラを使用して、前記文書のイメージおよび前記文書上に投影された光
    ストライプのイメージを前記検出器アレイで捕捉するステップと、 前記文書および前記光ストライプの前記捕捉されたイメージを表すデータを前
    記検出器アレイから前記プロセッサへ送信するステップと、 前記プロセッサを使用して、基準面に対する前記文書の三次元プロファイルを
    前記データから計算するステップと、を含み、 前記光ストライプ投影器が光の層にそった横方向の相対的な拡がりの変化する
    隣接する光の層を投影し、前記拡がりが比較的小さい場所に前記ストライプを前
    記文書上に集中させることを特徴とする文書撮像方法。
JP2001509938A 1999-07-09 2000-07-07 文書撮像システム Pending JP2003504947A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP99305484A EP1067362A1 (en) 1999-07-09 1999-07-09 Document imaging system
EP99305484.0 1999-07-09
PCT/GB2000/002621 WO2001004571A1 (en) 1999-07-09 2000-07-07 Document imaging system

Publications (2)

Publication Number Publication Date
JP2003504947A true JP2003504947A (ja) 2003-02-04
JP2003504947A5 JP2003504947A5 (ja) 2007-09-13

Family

ID=8241505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001509938A Pending JP2003504947A (ja) 1999-07-09 2000-07-07 文書撮像システム

Country Status (5)

Country Link
US (1) US6940664B1 (ja)
EP (2) EP1067362A1 (ja)
JP (1) JP2003504947A (ja)
DE (1) DE60027529T2 (ja)
WO (1) WO2001004571A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005031252A1 (ja) * 2003-09-25 2005-04-07 Brother Kogyo Kabushiki Kaisha ３次元形状検出装置、３次元形状検出システム、及び、３次元形状検出プログラム
WO2005045363A1 (ja) * 2003-11-11 2005-05-19 Brother Kogyo Kabushiki Kaisha ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
WO2008120457A1 (ja) * 2007-03-29 2008-10-09 School Juridical Person Of Fukuoka Kogyo Daigaku 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP2009192483A (ja) * 2008-02-18 2009-08-27 Toyota Motor Corp 三次元形状計測方法および三次元形状計測装置
JP4913597B2 (ja) * 2003-09-17 2012-04-11 ディーフォーディー テクノロジーズ エルエルシー 高速マルチプルライン三次元デジタル化法
JP2014534428A (ja) * 2011-11-23 2014-12-18 クレアフォーム・インコーポレイテッドＣｒｅａｆｏｒｍ Ｉｎｃ． 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
JP2018170643A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 画像処理装置、画像処理方法、プログラム
US10921448B2 (en) 2015-09-18 2021-02-16 Hamamatsu Photonics K.K. Optical distance measuring system

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040044858A (ko) * 2001-09-07 2004-05-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 카메라 및 이미지 원근 수정 및 회전과 스태거링 수정을가진 이미지 장치
US7003529B2 (en) 2001-09-08 2006-02-21 Siemens Medical Solutions Health Services Corporation System for adaptively identifying data for storage
US6999972B2 (en) 2001-09-08 2006-02-14 Siemens Medical Systems Health Services Inc. System for processing objects for storage in a document or other storage system
FR2832242B1 (fr) * 2001-11-14 2004-02-27 I2S Procede et dispositif de modification de la forme d'une image numerique
AU2002351400A1 (en) * 2001-12-28 2003-07-24 Applied Precision, Llc Dual-axis scanning system and method
US8164802B2 (en) * 2002-09-13 2012-04-24 Douglas Pedley Device, system, and method for scanning paper media
JP3743828B2 (ja) * 2003-10-14 2006-02-08 カシオ計算機株式会社 電子カメラ
GB2410794A (en) * 2004-02-05 2005-08-10 Univ Sheffield Hallam Apparatus and methods for three dimensional scanning
JP2005293075A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd ３次元形状検出装置、３次元形状検出方法、３次元形状検出プログラム
US7463772B1 (en) * 2004-09-13 2008-12-09 Google Inc. De-warping of scanned images
US7508978B1 (en) * 2004-09-13 2009-03-24 Google Inc. Detection of grooves in scanned images
US8233200B2 (en) 2005-03-14 2012-07-31 Gtech Corporation Curvature correction and image processing
US8059168B2 (en) 2005-03-14 2011-11-15 Gtech Corporation System and method for scene change triggering
ES2330668T5 (es) 2005-03-14 2013-03-12 Gtech Rhode Island Corporation Sistema y procedimiento para el procesamiento de marcado de impresos
US8072651B2 (en) 2005-03-14 2011-12-06 Gtech Corporation System and process for simultaneously reading multiple forms
RU2005125057A (ru) * 2005-08-08 2007-02-20 Аби Софтвер Лтд. (Cy) Способ и устройство сканирования документов
US7957007B2 (en) * 2006-05-17 2011-06-07 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for illuminating a scene with multiplexed illumination for motion capture
EP2064676B1 (en) * 2006-09-21 2011-09-07 Thomson Licensing A method and system for three-dimensional model acquisition
DE102007002880B4 (de) * 2007-01-15 2011-08-25 DMG Microset GmbH, 33689 Verfahren und Vorrichtung zum optischen Ausmessen eines Objekts, insbesondere eines Werkstücks oder Werkzeugs
US7729600B2 (en) * 2007-03-19 2010-06-01 Ricoh Co. Ltd. Tilt-sensitive camera projected viewfinder
WO2009120216A1 (en) * 2008-03-28 2009-10-01 Sal Saloum Device and method for scanning three-dimensional objects
FR2952218B1 (fr) * 2009-10-30 2012-03-30 Sagem Securite Procede et dispositif pour obtenir une image d'un document defroisse a partir d'une image de ce document lorsqu'il est froisse.
US9740019B2 (en) * 2010-02-02 2017-08-22 Apple Inc. Integrated structured-light projector
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5644461B2 (ja) * 2010-12-14 2014-12-24 富士ゼロックス株式会社 画像処理装置及びプログラム
RU2448323C1 (ru) * 2010-12-29 2012-04-20 Федеральное государственное унитарное предприятие "Научно-производственный центр газотурбостроения "Салют" (ФГУП "НПЦ газотурбостроения "Салют") Способ оптического измерения формы поверхности
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
US10210602B2 (en) 2011-10-17 2019-02-19 Sharp Laboratories Of America, Inc. System and method for normalized focal length profiling
CN102788573B (zh) * 2012-08-07 2014-07-30 深圳供电局有限公司 一种线结构光定位投射影像获取装置
TWI478103B (zh) * 2012-08-10 2015-03-21 Univ Nat Taiwan 使用高度形變微分同胚度量映射法的擴散頻譜造影轉換方法
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
DE102012220048B4 (de) 2012-11-02 2018-09-20 Sirona Dental Systems Gmbh Kalibrierungsvorrichtung und Verfahren zur Kalibrierung einer dentalen Kamera
US8902303B2 (en) * 2013-03-15 2014-12-02 Orcam Technologies Ltd. Apparatus connectable to glasses
US9317893B2 (en) 2013-03-26 2016-04-19 Sharp Laboratories Of America, Inc. Methods and systems for correcting a document image
KR101827180B1 (ko) * 2013-06-19 2018-02-07 애플 인크. 통합 구조화된 광 프로젝터
US10620575B2 (en) 2015-05-08 2020-04-14 Hewlett-Packard Development Company, L.P. Light projection for a print substrate
CN105979117B (zh) * 2016-04-28 2018-11-27 大连成者科技有限公司 基于激光线的弯曲书页图像展平方法
JP6743760B2 (ja) * 2017-05-23 2020-08-19 トヨタ自動車株式会社 ３次元曲面上の凹凸形状測定方法
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641972A (en) * 1984-09-14 1987-02-10 New York Institute Of Technology Method and apparatus for surface profilometry
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
US4948258A (en) * 1988-06-27 1990-08-14 Harbor Branch Oceanographic Institute, Inc. Structured illumination surface profiling and ranging systems and methods
JP3063099B2 (ja) * 1989-09-29 2000-07-12 ミノルタ株式会社 原稿読み取り装置
US5589942A (en) * 1990-04-05 1996-12-31 Intelligent Automation Systems Real time three dimensional sensing system
US5193120A (en) * 1991-02-27 1993-03-09 Mechanical Technology Incorporated Machine vision three dimensional profiling system
US5585926A (en) * 1991-12-05 1996-12-17 Minolta Co., Ltd. Document reading apparatus capable of rectifying a picked up image data of documents
JPH05316302A (ja) 1992-05-13 1993-11-26 Minolta Camera Co Ltd 画像入力装置
US5319567A (en) 1992-11-23 1994-06-07 Ford Motor Company Non-contact method of obtaining dimensional information about a reference feature of an object
US5497236A (en) 1993-06-23 1996-03-05 Ricoh Company Ltd. Method and apparatus for distortion correction of scanned images
GB9323054D0 (en) 1993-11-09 1994-01-05 British Nuclear Fuels Plc Determination of the surface properties of an omject
DE19528244A1 (de) * 1995-08-01 1997-02-06 Josef Kirmeier Kopiervorrichtung
US5835241A (en) * 1996-05-30 1998-11-10 Xerox Corporation Method for determining the profile of a bound document with structured light
US5760925A (en) * 1996-05-30 1998-06-02 Xerox Corporation Platenless book scanning system with a general imaging geometry
US5764383A (en) * 1996-05-30 1998-06-09 Xerox Corporation Platenless book scanner with line buffering to compensate for image skew
US6741279B1 (en) 1998-07-21 2004-05-25 Hewlett-Packard Development Company, L.P. System and method for capturing document orientation information with a digital camera

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4913597B2 (ja) * 2003-09-17 2012-04-11 ディーフォーディー テクノロジーズ エルエルシー 高速マルチプルライン三次元デジタル化法
WO2005031252A1 (ja) * 2003-09-25 2005-04-07 Brother Kogyo Kabushiki Kaisha ３次元形状検出装置、３次元形状検出システム、及び、３次元形状検出プログラム
US7372580B2 (en) 2003-09-25 2008-05-13 Brother Kogyo Kabushiki Kaisha Three-dimensional shape detecting device, three-dimensional shape detecting system, and three-dimensional shape detecting program
WO2005045363A1 (ja) * 2003-11-11 2005-05-19 Brother Kogyo Kabushiki Kaisha ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
US7365301B2 (en) 2003-11-11 2008-04-29 Brother Kogyo Kabushiki Kaisha Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program
WO2008120457A1 (ja) * 2007-03-29 2008-10-09 School Juridical Person Of Fukuoka Kogyo Daigaku 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP2008249432A (ja) * 2007-03-29 2008-10-16 Fukuoka Institute Of Technology 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP2009192483A (ja) * 2008-02-18 2009-08-27 Toyota Motor Corp 三次元形状計測方法および三次元形状計測装置
JP2014534428A (ja) * 2011-11-23 2014-12-18 クレアフォーム・インコーポレイテッドＣｒｅａｆｏｒｍ Ｉｎｃ． 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
US10921448B2 (en) 2015-09-18 2021-02-16 Hamamatsu Photonics K.K. Optical distance measuring system
JP2018170643A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 画像処理装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
US6940664B1 (en) 2005-09-06
DE60027529T2 (de) 2006-09-28
EP1117975B1 (en) 2006-04-26
EP1117975A1 (en) 2001-07-25
DE60027529D1 (de) 2006-06-01
WO2001004571A1 (en) 2001-01-18
EP1067362A1 (en) 2001-01-10

Similar Documents

Publication Publication Date Title
JP4623898B2 (ja) 非平坦の可展面を撮像する方法
JP2003504947A (ja) 文書撮像システム
US11258997B2 (en) Camera-assisted arbitrary surface characterization and slope-based correction
Liang et al. Geometric rectification of camera-captured document images
Yamashita et al. Shape reconstruction and image restoration for non-flat surfaces of documents with a stereo vision system
Carroll et al. Optimizing content-preserving projections for wide-angle images
Tan et al. Restoring warped document images through 3d shape modeling
EP3018632B1 (en) Automated texture mapping and animation from images
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
US20020149808A1 (en) Document capture
Pilu Undoing paper curl distortion using applicable surfaces
Zhang et al. An improved physically-based method for geometric restoration of distorted document images
WO2007091604A1 (ja) 三次元物体を検出する装置
KR102207461B1 (ko) 엑스슬릿 카메라
JP2015233266A (ja) 画像処理システム、情報処理装置、プログラム
KR20110073386A (ko) 형태의 불변 어파인 인식을 위한 방법 및 장치
JP2002074351A (ja) 歪み補正装置およびその方法ならびに歪み補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4095768B2 (ja) 画像処理方法及び、それを用いた非接触画像入力装置
Pollard et al. Building cameras for capturing documents
CN113155053A (zh) 三维几何形状测量装置和三维几何形状测量方法
Schneider et al. Robust document warping with interpolated vector fields
Iketani et al. Video mosaicing for curved documents based on structure from motion
Landon et al. Towards automatic photometric correction of casually illuminated documents
Kio et al. Geometric distortion correction for projections on non-planar and deformable surfaces based on displacement of peripheral image points
Agam et al. Structural rectification of non-planar document images: application to graphics recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090323

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091208