JP2004040395A

JP2004040395A - 画像歪み補正装置、方法及びプログラム

Info

Publication number: JP2004040395A
Application number: JP2002193707A
Authority: JP
Inventors: Katsuto Fujimoto; 藤本　克仁; Atsuko Obara; 小原　敦子; Satoshi Naoi; 直井　聡
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-07-02
Filing date: 2002-07-02
Publication date: 2004-02-05
Also published as: CN1270277C; US7418126B2; CN1471055A; US20040022451A1

Abstract

【課題】デジタルカメラの撮影位置姿勢が未知であっても、画像した入力画面中の紙面から撮像位置姿勢を推定して歪みが補正された補正画像を出力する。
【解決手段】平坦な紙面の場合は、デジタルカメラ１２で撮像した平坦な紙面１４の画像を画像入力部１５で入力し、カメラ位置姿勢推定部１６が画像中の紙面の頂点からデジタルカメラ１２の平坦な紙面１４に対する相対的なカメラ位置姿勢を推定し、３次元矩形紙面推定部１８が撮像位置姿勢に基づいて矩形状紙面の３次元空間中の４頂点を推定し、画像補正部２０が撮像位置姿勢と３次元空間中の４頂点位置に基づいて、紙面の透視変換歪みを補正した画像を出力する。本の場合は、３次元曲面モデル推定部５０がカメラ位置姿勢と紙面の輪郭情報に基づいて紙面の３次元曲面モデルを推定し、画像補正部５２が撮像位置姿勢と紙面の３次元曲面モデルに基づいて本の歪みを補正した画像を出力する。
【選択図】　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラで撮像した書類や本の入力画像中の歪みを補正する画像歪み補正装置、方法及びプログラムに関し、特に、カメラの撮像位置姿勢を推定して入力画像中の歪みを補正する画像歪み補正装置、方法及びプログラムに関する。
【０００２】
【従来の技術】
近年、デジタルカメラの高解像度化と低価格化が進展し、急速に普及しており、そこで、デジタルカメラが紙文書情報をコンピュータ入力するために好適な入力部として注目されている。
【０００３】
デジタルカメラを紙文書情報のコンピュータ入力に用いると、従来のイメージスキャナなどの接触型画像入力装置と比較して、ユーザーは、紙面の閲覧や記入を行いながら、必要に応じて紙面中の情報のコンピュータ入力を快適に行えるようになる。
【０００４】
一方、デジタルカメラにて取得した画像は、スキャナにて取得したスキャナ画像と異なり、画像の３次元歪みが見られる。図１８は、平坦な紙面を斜め上からデジタルカメラにて撮像した画像２００である。この場合、斜め上から撮像しているため、透視変換に起因した歪みである透視変換歪みが発生している。
【０００５】
また図１９は、辞典、専門書、ハンドブックなどの厚手の本を斜め上からデジタルカメラにて撮像した画像２０２である。この場合は、斜め上から撮像しているため、透視変換に起因する透視変換歪みが発生しており、さらに本の紙面自体が元々湾曲した曲面となることに起因する歪みも発生している。この複合的な歪みを以下「本の歪み」と呼ぶこととする。
【０００６】
デジタルカメラを用いて紙文書情報のコンピュータ入力を実用化するためには、図１８のような透視変換歪みや図１９のような本の歪みといった画像歪みを補正して、図２０のような歪みのない紙面の画像２０４を生成する歪み補正技術の開発が重要な課題となる。
【０００７】
これに関連する従来技術としては、一点止め文書に発生する一点止め歪みの補正する画像読取り装置が提案されている（特開平１０−１５０５３２）。この装置は、紙面の３次元歪みを計測するために輪郭線の３次元形状を用いているが、３次元形状を求めるために、ＣＣＤアレイを用いたラインセンサの走査で撮影した画像を用いている。
【０００８】
また帳票について、上から撮像した一枚の画像に基づいて３次元歪みを補正する方式が提案されている（特開平１０−１５０５３２）。
【０００９】
【発明が解決しようとする課題】
しかしながら、このような従来の文書画像の歪みを補正する特開平１０−１５０５３２の画像読取り装置にあっては、画像中の紙面の輪郭の３次元形状を推定するために、書類や本を装置の原稿台に載せた状態で、上部に配置したライセンサを主走査方向に電気的に走査しながら主走査方向に直交する副走査方向に機械的に移動して複数位置で紙面のライン画像を撮像して二次元画像を生成しており、専用の装置が必要で実現コストが高過ぎる問題がある。
【００１０】
また特開平１０−１５０５３２の歪み補正方式は、一枚の画像に基づいて補正できる利点を有するが、オーバーヘッドリーダーＯＨＲとしてエリアＣＣＤ撮像素子をスタンドに固定して下向きに帳票を撮影しており、カメラ中心が予め決まっていることを前提としている。この点は、特開平１０−１５０５３２の画像読取り装置も同じである。
【００１１】
このため、一般ユーザーがデジタルカメラ等により任意の位置から撮像して得た画像の場合のように、撮影位置姿勢が未知である場合に対応できないという問題があった。
【００１２】
本発明は、デジタルカメラの撮影位置姿勢が未知であっても、画像した入力画面中の紙面から撮像位置姿勢を推定して歪みが補正された補正画像を出力する画像歪み補正装置、方法及びプログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
図１は本発明の原理説明図である。
（紙面の画像歪み補正）
本発明は画像歪み補正装置であって、図１（Ａ）のように、デジタルカメラ１２などの撮像部で撮像された平坦な紙面１４の画像を入力する画像入力部１５と、入力画像中の紙面の４頂点から撮像部の紙面に対する相対位置姿勢を推定する撮像位置姿勢推定部としてのカメラ位置姿勢推定部１６と、撮像位置姿勢に基づいて矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定部としての３次元矩形紙面推定部１８と、撮像位置姿勢と３次元空間中の４頂点位置に基づいて、入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正部２０とを備えたことを特徴とする。
【００１４】
このため本発明は、書類などの一枚の紙面をユーザーが情報からデジタルカメラなどの撮像部で撮像した画像一枚のみを用いるだけでよく、画像中の紙面の輪郭を手がかりにして、輪郭４頂点の位置からデジタルカメラの撮像位置姿勢を推定し、紙が矩形状（長方形）であるという制約を活用して紙面の３次元平面モデルを推定し、デジタルカメラの撮像位置姿勢と紙面の３次元平面モデルから画像中の紙面の透視変換歪みを補正する。
【００１５】
このように入力画像中の紙面の４頂点からデジタルカメラの撮像位置姿勢を推定している点と、１枚の紙面の歪み画像の４頂点から３次元矩形紙面の４頂点を推定しているのが本発明の大きな特徴であり、撮影位置姿勢が決まっている従来技術と比較して、デジタルカメラの撮像位置姿勢が未知である一般的な場合に対応でき、ユーザーにとって非常使い易い使用環境を提供できる。
【００１６】
ここで、デジタルカメラなどの撮像部による入力画像および画像補正部２０による出力画像は、白黒２値画像、階調画像もしくはカラー画像である。
【００１７】
カメラ位置姿勢推定部１５は、入力画像中の紙面４の頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させる。
【００１８】
３次元矩形紙面推定部１８は、撮像位置姿勢に基づいて、矩形紙面の３次元空間中における４頂点の位置を推定する。
【００１９】
画像補正部２０は、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする平面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成する。
（本の画像歪み補正）
本発明は画像歪み補正装置であって、図１（Ｂ）のように、デジタルカメラ１２などの撮像部で撮像された見開きした紙面をもつ本４２の画像を入力する画像入力部４４と、入力画像中の紙面の４頂点から撮像部の紙面に対する相対位置姿勢を推定する撮像位置姿勢推定部としてのカメラ位置姿勢推定部４８と、撮像位置姿勢と入力画像中の紙面の輪郭情報に基づいて、紙面の３次元曲面モデルを推定する曲面推定部としての３次元曲面モデル推定部５０と、撮像位置姿勢と紙面の３次元曲面モデルに基づいて本の歪みを補正した画像を出力する画像補正部５２とを備えたことを特徴とする。
【００２０】
このため本発明は、見開きした本の紙面を斜め上からデジタルカメラなどの撮像部で撮像した画像一枚のみを用いるだけでよく、画像中の紙面の輪郭を手がかりにして、輪郭４頂点の位置からデジタルカメラの撮像位置姿勢を推定し、本かかまぼこ形状をもつという制約を活用して紙面の３次元曲面モデルを推定し、デジタルカメラの撮像位置姿勢と紙面の３次元曲面モデルから画像中の本の歪みを補正する。
【００２１】
この場合にも本における紙面の４頂点からデジタルカメラの撮像位置姿勢を推定している点と、１枚の紙面の歪み画像から紙面輪郭の歪みを手がかりに本の３次元曲面モデルを推定しているのが本発明の大きな特徴であり、撮影位置姿勢が決まっている従来技術と比較して、デジタルカメラの撮像位置姿勢が未知である一般的な場合に対応でき、ユーザーにとって非常使い易い使用環境を提供できる。
【００２２】
ここで画像入力部４４による入力画像および画像補正部５２による出力画像は、白黒二値画像、階調画像もしくはカラー画像である。
【００２３】
カメラ位置姿勢推定部４８は、入力画像中の紙面の４頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させる。
【００２４】
３次元曲面モデル推定部５０は、撮像位置姿勢と入力画像中の紙面輪郭の歪みに基づいて、３次元空間中で、上面を紙面とするかまぼこ形状を推定する。
【００２５】
この画像歪み補正装置は、更に、入力画像中の紙面輪郭を抽出する紙面輪郭抽出部４６を備える。紙面輪郭抽出部４６は、グラフィックスユーザーインタフェースを用いてユーザーに紙面輪郭のサンプル点を指定させる。また紙面輪郭抽出部４６は、グラフィックスユーザーインタフェースを用いてユーザーに入力画像中の紙面の４頂点を指定させ、紙面輪郭情報を画像処理により自動抽出しても良い。更に紙面輪郭抽出部４６は、紙面輪郭情報の全てを画像処理により自動抽出するようにしてもよい。
【００２６】
紙面輪郭抽出部４６は、抽出する紙面輪郭情報として、スプライン曲線、ベジエ曲線を含むパラメータ付き曲線モデルを用いる。紙面輪郭抽出部４６は、抽出する紙面輪郭情報として、折れ線モデルを用いる。いずれの場合も紙面の３次元曲面モデルを近似的に用意に求めることができ、３　ＨＹＰＥＲＬＩＮＫ　ｍａｉｌｔｏ：Ｄ＠　次元曲面モデルの修正が容易である。
【００２７】
３次元曲面モデル推定部５０は、紙面の３次元曲面モデルに対し左右及び上下で対となっている３次元輪郭の長さが等しいという制約を所定のエネルギー関数用いて表現し、このエネルギー関数が最小となるパラメータを持つ３次元曲面モデルを推定する。これにより推定された３次元曲面モデルの４頂点が、左右及び上下で対となっている３次元輪郭の長さが等しいという制約から外れた場合の撮像位置姿勢を決めているパラメータの自動調整を可能とし、正確な３曲面モデルが推定されることで、本の歪みの補正が高精度でできる。
【００２８】
画像補正部５２は、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする曲面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成する。
【００２９】
（画像補正方法）
本発明は、書類を対象とした画像歪み補正方法であって、
画像入力部により、撮像部で撮像された平坦な紙面を撮像した画像を入力する画像入力ステップと、
撮像位置姿勢推定部により、入力画像中の紙面の４頂点から撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
矩形紙面推定部により、撮像位置姿勢に基づいて、前記矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定ステップと、
画像補正部により、撮像位置姿勢と３次元空間中の４頂点位置に基づいて、入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正ステップと、を備えたことを特徴とする。
【００３０】
本発明は本を対象とした画像歪み補正方法であって、
画像入力部により、デジタルカメラなどの撮像部で撮像された見開きした紙面をもつ本の画像を入力する撮像ステップと、
撮像位置姿勢推定部により、入力画像中の紙面の４頂点から撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
曲面推定部により、撮像位置姿勢と入力画像中の紙面の輪郭情報に基づいて、紙面の３次元曲面モデルを推定する曲面推定ステップと、
画像補正部により、撮像位置姿勢と紙面の３次元曲面モデルに基づいて本の歪みを補正した画像を出力する画像補正ステップと、
を備えたことを特徴とする。
【００３１】
（プログラム）
本発明は、書類を対象とした画像歪み補正のためのプログラムであって、コンピュータに、
撮像部による撮像された平坦な紙面の画像を入力する撮像ステップと、
入力画像中の紙面の４頂点から撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
撮像位置姿勢に基づいて、矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定ステップと、
撮像位置姿勢と前記３次元空間中の４頂点位置に基づいて、入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正ステップと、
を実行させることを特徴とする。
【００３２】
本発明は、本を対象とした画像歪み補正のためのプログラムであって、コンピュータに、
撮像部で撮像された見開きした紙面をもつ本の画像を入力する撮像ステップと、
入力画像中の紙面の４頂点から撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
撮像位置姿勢と入力画像中の紙面の輪郭情報に基づいて、紙面の３次元曲面モデルを推定する曲面推定ステップと、
撮像位置姿勢と紙面の３次元曲面モデルに基づいて本の歪みを補正した画像を出力する画像補正ステップと、
を実行させることを特徴とする。
【００３３】
なお、本発明の画像歪み補正方法及びプログラムの詳細は、画像歪み補正装置の場合と基本的に同じになる。
【００３４】
【発明の実施の形態】
図２は、本発明による画像歪み補正装置の実施形態を示したブロック図であり、この実施形態にあっては、平坦な矩形状の紙面をデジタルカメラで撮像し、撮像した画像の持つ透視変換歪みを補正した紙面画像を出力することを特徴とする。
【００３５】
図２において、本発明の画像歪み補正装置１０は、撮像部となるデジタルカメラ１２で撮像した帳票や書類などの平坦な紙面１４の矩形状紙面画像を取り込んで、撮影の際に生じた紙面画像における透視変換歪みを補正して出力する。
【００３６】
画像歪み補正装置１０には、画像入力部１５、撮像位置推定部となるカメラ位置姿勢推定部１６、矩形紙面推定部となる３次元矩形紙面推定部１８、画像補正部２０、グラフィックスユーザーインタフェース（以下「ＧＵＩ」という）２２、表示部２４及び操作部２６が設けられている。
【００３７】
図２における本発明の画像歪み補正装置１０は、例えば図３のようなコンピュータのハードウェア資源により実現される。
【００３８】
図３のコンピュータにおいて、ＣＰＵ１１０のバス１１１にはＲＡＭ１１２、ハードディスクドコントローラ（ソフト）１１４、フロッピィディスクドライバ（ソフト）１２０、ＣＤ−ＲＯＭドライバ（ソフト）１２４、マウスコントローラ１２８、キーボードコントローラ１３２、ディスプレイコントローラ１３６、通信用ボード１４０が接続される。
【００３９】
ハードディスクコントローラ１１４はハードディスクドライブ１１６を接続し、本発明の画像歪み処理を実行するアプリケーションプログラムをローディングしており、コンピュータの起動時にハードディスクドライブ１１６から必要なプログラムを呼び出して、ＲＡＭ１１２上に展開し、ＣＰＵ１１０により実行する。
【００４０】
フロッピィディスクドライバ１２０にはフロッピィディスクドライブ（ハード）１２２が接続され、フロッピィディスク（Ｒ）に対する読み書きができる。ＣＤ−ＲＯＭドライバ１２４に対しては、ＣＤドライブ（ハード）１２６が接続され、ＣＤに記憶されたデータやプログラムを読み込むことができる。
【００４１】
マウスコントローラ１２８はマウス１３０の入力操作をＣＰＵ１１０に伝える。キーボードコントローラ１３２はキーボード１３４の入力操作をＣＰＵ１１０に伝える。ディスプレイコントローラ１３６はディスプレイ１３８に対して表示を行う。通信用ボード１４０は無線を含む通信回線１４２を使用し、インターネット等のネットワークを介して他のコンピュータやサーバとの間で通信を行う。
【００４２】
再び図２を参照するに、画像歪み補正装置１０の画像入力部１５はデジタルカメラ１２で撮影された平坦な紙面１４の画像を入力する。デジタルカメラ１２による入力画像としては、白黒２値画像、階調画像あるいはカラー画像のいずれであっても良い。この点は、画像補正部２０により出力する補正済みの紙面画像もデジタルカメラ１２からの入力画像に対応して白黒２値画像、階調画像またはカラー画像となる。
【００４３】
カメラ位置姿勢推定部１６は、画像入力部１５で入力した画像中の紙面における４つの頂点の位置情報からデジタルカメラ１２の位置姿勢、具体的には紙面１４に対するデジタルカメラ１２におけるカメラ中心位置（撮像中心位置）の相対的な座標位置を推定する。
【００４４】
このカメラ位置姿勢推定部１６による画像中の矩形紙面の４頂点は、例えばＧＵＩ２２により入力画像を表示部２４に表示し、この表示画面上でユーザーが操作部２６により、紙面画像の４頂点を指定することで行われる。また紙面画像の４頂点の指定は、後の説明で明らかにする紙面画像の輪郭情報の抽出結果を用いても良い。
【００４５】
３次元矩形紙面推定部１８は、紙面画像の４頂点と推定されたカメラ位置姿勢に基づいて矩形紙面の３次元空間中の４頂点の位置を推定する。
【００４６】
更に画像補正部２０は、カメラ位置姿勢と推定された３次元空間中の矩形紙面の４頂点の位置に基づいて、透視変換歪みを補正した紙面画像を出力する。
【００４７】
図４は、図２の画像歪み補正装置１０における処理手順のフローチャートであり、このフローチャートが図３のようなコンピュータのハードウェア資源を利用して図２の画像歪み補正装置１０の機能を実現する際のプログラムの処理手順を表している。
【００４８】
図４にあっては、まずステップＳ１で画像入力部１５によってデジタルカメラ１２で撮影して撮像画像の入力処理を行う。続いてステップＳ２でカメラ位置姿勢推定部１６が入力画像の紙面画像の４頂点に基づいて相対的なカメラ中心座標となる撮像位置姿勢を推定する。
【００４９】
続いてステップＳ３で３次元矩形紙面推定部１８が推定されたカメラ位置姿勢と画像紙面の４頂点に基づき３次元空間中の矩形紙面の４頂点を推定する３次元矩形紙面推定処理を行う。最終的にステップＳ４で画像補正部２０が撮像位置姿勢と３次元空間中の４頂点に基づきデジタルカメラ１２で撮影した際の、画像紙面における透視変換歪みを補正した画像を出力する透視変換歪み補正処理を行うことになる。
【００５０】
次に図２の画像歪み補正装置１０におけるカメラ位置姿勢推定部１６、３次元矩形紙面推定部１８及び画像補正部２０による処理の詳細を説明する。
【００５１】
図５は、図２の実施形態でカメラ位置姿勢の推定に用いる透視変換歪みの仕組みの説明図である。
【００５２】
図５において、矩形状の画像紙面２８に対し、その上方にカメラ中心３０が位置している。カメラ中心３０は座標ｘ^ｃを持ち、また画像紙面２８は４つの頂点座標Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４を持っている。このカメラ中心３０と画像紙面２８は光軸３２で結ばれる。光軸は画像紙面２８と直角であり、画像紙面２８の中心を通る。
【００５３】
ここで３次元座標系をｘｙ平面が画像紙面２８と重なり、ｚ軸が光軸３２と一致するように設定する。このような３次元座標系において、画像紙面２８の大きさと解像度が決まれば、３次元矩形紙面３４は頂点ｘ_１，ｘ_２，ｘ_４，ｘ_３が長方形であるという制約の元に、図示のような位置に存在すると仮想的に考えることができる。
【００５４】
ここでカメラ中心３０、３次元矩形紙面３４の４頂点、画像紙面２８の４頂点の座標は次のようになる。
カメラ中心　　　ｘ^Ｃ＝（ｘ^Ｃ，ｙ^Ｃ，ｚ^Ｃ）
紙面頂点　　　　ｘ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）
画像中の輪郭頂点Ｘ_ｉ＝（Ｘ_ｉ，Ｙ_ｉ，０）
カメラ中心３０の高さに対する３次元矩形紙面３４の頂点ｘ_１，ｘ_２，ｘ_３，ｘ_４の高さの内分比率をそれぞれｔ_１，ｔ_２，ｔ_３，ｔ_４とする。これらの内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４を求めることがカメラ位置姿勢を推定することに対応する。
【００５５】
内分の関係により
【００５６】
【数１】

【００５７】
であることから
【００５８】
【数２】

【００５９】
が成立する。但しｉ＝１〜４である。また３次元矩形紙面３４が長方形であることにより次式が成立する。
【００６０】
【数３】

【００６１】
この（２）（３）式の条件をとると次の結果が得られる。
【００６２】
【数４】

【００６３】
ここでｋ_１，ｋ_３は画像紙面２８の頂点座標から求められる定数である。またＨは紙面の横幅Ｗは紙面の高さを表す。このため画像紙面２８の４つの頂点座標ｘ_１，ｘ_２，ｘ_３，ｘ_４が与えられると（４）式で算出した定数ｋ_１，ｋ_３を用いて（５）式から紙面の縦横比（Ｈ／Ｗ）を求めることができる。
【００６４】
また（６）式から画像紙面２８とカメラ中心３０との距離ｚ^ｃを求めることができる。
【００６５】
また定数ｋ_１，ｋ_３と内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４の間には次の関係が成立する。
【００６６】
【数５】

【００６７】
ここで内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４のうち、最大のものを１とすることにより３次元矩形紙面３４の４つの頂点のうちの１つが画像紙面２８に設置したユニークな状態となり、これによって内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４はそれぞれただひとつに決定できる。
【００６８】
例えば（７）式で最大となる内分比率をｔ_１とすると、ｔ_１＝１となることで（７）式からΔｔ＝１／ｋ_１となり、これによって（７）式における残りの内分比率ｔ_２，ｔ_３，ｔ_４の値が決定する。またカメラ中心３０と画像紙面２８の距離ｚ^ｃによりカメラ中心３０の座標ｘ^ｃ＝（ｘ^ｃ，ｙ^ｃ，ｚ^ｃ）が求められる。
【００６９】
図２のカメラ位置姿勢推定部１６は内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４により、カメラ中心３０の座標ｘ^ｃ＝（ｘ^ｃ，ｙ^ｃ，ｚ^ｃ）を（４）〜（６）式から求め、デジタルカメラ１２の位置姿勢を推定する。
【００７０】
次に図２の３次元矩形紙面推定部１８は、図５における内分の関係により
【００７１】
【数６】

【００７２】
が成立することから、これに（７）式から得られた内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４の値と画像紙面２８の頂点座標Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４を代入にすることで、３次元矩形紙面３４の４頂点ｘ_１，ｘ_２，ｘ_３，ｘ_４の座標を求め、これによって３次元空間中における３次元矩形紙面３４の位置を推定する。
【００７３】
図２の画像補正部２０は、図６のように、歪み補正後の画像紙面３６の中の内分比率ｐ，ｑで決まる点ｙを歪み補正前の画像紙面２８の対応する点Ｙの位置にある画素の濃度と一致しており、この関係は次式で与えられる。
【００７４】
【数７】

【００７５】
このため画像補正部２０は、（９）（１０）式の関係を用いて補正前の画像紙面２８から直ちに透視変換歪みを補正した補正後の画像紙面３６を得ることができる。
【００７６】
ここで通常の透視変換歪みの補正にあっては、図５における補正前の画像紙面２８上のＹ点とカメラ中心３０を結ぶ直線の３次元矩形平面３４における交点が対応する補正後の画像紙面３６の点ｙであることから、３次元空間中の３次元矩形紙面３４への変換を得て２次元的な画像紙面３６への濃度変換を行うものであるが、本発明にあっては（９）（１０）式の関係が得られることで、補正前の２次元の画像紙面２８から直接補正後の２次元画像紙面３６への透視変換歪みの補正を行うことができる。
【００７７】
図７は、本発明による画像歪み補正装置の他の実施形態を示したブロック図である。この実施形態にあっては、辞書、専門書、ハンドブックなどの厚手の本の見開き紙面をデジタルカメラで撮像し、この撮像画面中の紙面における本の歪みを補正して出力するようにしたことを特徴とする。
【００７８】
図７において、画像歪み補正装置４０には、デジタルカメラ１２で撮像された本４２の画像が入力される。画像歪み補正装置４０は、画像入力部４４、紙面輪郭抽出部４６、カメラ位置姿勢推定部４８、３次元曲面モデル推定部５０、画像補正部５２、ＧＵＩ５４、表示部５６及び操作部５８を備えている。この図７の画像歪み補正装置４０の機能も、図２の実施形態と同様、図３に示したコンピュータのハードウェア資源により実現することができる。
【００７９】
画像入力部４４は、デジタルカメラ１２で撮像した本４２の画像を入力する。入力画像は白黒２値画像、階調画像、カラー画像のいずれであってもよい。紙面輪郭抽出部４６は、画像入力部４４で入力したデジタルカメラ１２で撮像した本４２のかまぼこ状の紙面形状を対象に、紙面輪郭情報の抽出を行う。この紙面輪郭の抽出は、全て自動的に行うようにしてもよいし、ＧＵＩ５４による表示部５６上の表示画像に対する操作部５８によるユーザ指定を一部利用してもよい。
【００８０】
カメラ位置姿勢推定部４８は、抽出された紙面輪郭情報から得られた紙面画像の４頂点に基づき、相対的なデジタルカメラ１２のカメラ中心の座標をカメラ位置姿勢として推定する。このカメラ位置姿勢推定部４８による処理は、基本的に図２の実施形態におけるカメラ位置姿勢推定部１６と同じになる。
【００８１】
３次元曲面モデル推定部５０は、撮影対象とする本４２がかまぼこ状の紙面形状を持つという制約の下に、カメラ位置姿勢及び画像紙面の輪郭情報から３次元空間中の形状、即ちかまぼこ状紙面形状を３次元曲面モデルとして推定する。
【００８２】
画像補正部５２は、推定されたカメラ位置姿勢と推定されたかまぼこ状紙面形状となる３次元曲面モデルに基づいて画像補正を行い、本の歪みを補正した画像を出力する。この画像補正部５２から出力される補正済みの画像も、画像入力部４４で入力したデジタルカメラ１２からの画像に対応して、白黒２値画像、階調画像またはカラー画像のいずれかとなる。
【００８３】
図８は、図７の画像歪み補正装置４０における処理手順を示したフローチャートであり、このフローチャートは図７の画像歪み補正処理を行うプログラムの処理手順を表わしている。
【００８４】
図８において、画像歪み補正処理は、まずステップＳ１で画像入力部４４がデジタルカメラ１２で撮像した本４２の画像を入力する。続いてステップＳ２で、紙面輪郭抽出部４６により入力画像中のかまぼこ状紙面形状を対象に輪郭抽出を行う。続いてステップＳ３で、カメラ位置姿勢推定部４８が抽出された紙面の輪郭情報から４頂点を取り出し、この４頂点に基づいて３次元空間におけるデジタルカメラ１２の相対的な撮像位置姿勢を推定する。
【００８５】
続いてステップＳ４で、３次元曲面モデル推定部５０が抽出されたかまぼこ状紙面形状の輪郭線情報と推定されたデジタルカメラ１２の撮像位置姿勢に基づいて、３次元空間における本のかまぼこ状紙面形状を３次元曲面モデルとして推定する。最終的にステップＳ５で、画像補正部５２がカメラ位置姿勢とかまぼこ状紙面形状の３次元曲面モデルに基づき、本の歪みを補正した画像を出力する補正処理を行う。
【００８６】
次に、図７の画像歪み補正装置４０におけるカメラ位置姿勢推定部４８、３次元曲面モデル推定部５０及び画像補正部５２による処理の詳細を説明する。なお紙面輪郭抽出部４６については、その詳細は後の説明で明らかにする。
【００８７】
図９は、図７の実施形態でカメラ位置姿勢の推定に用いる透視変換歪みの仕組みの説明図である。図７のカメラ位置姿勢推定部４８は、紙面輪郭抽出部４６で得られた輪郭情報の中の画像紙面の頂点座標を用いて、デジタルカメラの位置姿勢を推定する。
【００８８】
図９において、座標ｘ^ｃを持つカメラ中心６２と画像紙面６０の中の紙面輪郭の４つの頂点Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４の面は、光軸６４で結ばれる。光軸６４は画像紙面６０と垂直であり、画像紙面６０の中心を通る。
【００８９】
ここで、３次元座標系をｘｙ平面が画像紙面６０と重なり、ｚ軸が光軸６４と一致するように設定する。この３次元空間の中にかまぼこ形状の紙面の４つの頂点を通る面ｘ_１，ｘ_２，ｘ_４，ｘ_３が存在し、この面が長方形であるというごく自然な前提を置くことにする。
【００９０】
ここで、かまぼこ形状を持つ紙面の４頂点で構成される３次元空間中の長方形の大きさと解像度が決まれば、図９のように頂点面ｘ_１，ｘ_２，ｘ_３，ｘ_４を持つ長方形の平面である３次元平面モデル６６が図示の位置に存在すると仮想的に考えることができる。
【００９１】
ここで、カメラ中心６２、３次元平面モデル６６の頂点、及び画像紙面６０の輪郭頂点の座標は次のようになる。
カメラ中心　　　ｘ^Ｃ＝（ｘ^Ｃ，ｙ^Ｃ，ｚ^Ｃ）
紙面頂点　　　　ｘ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）
画像中の輪郭頂点Ｘ_ｉ＝（Ｘ_ｉ，Ｙ_ｉ，０）
いまカメラ中心６２の高さに対する３次元平面モデル６６の頂点ｘ_１，ｘ_２，ｘ_３，ｘ_４の高さの比率をそれぞれ内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４とする。これらのｔ_１，ｔ_２，ｔ_３，ｔ_４を求めることが、カメラの位置姿勢を推定することに対応する。
【００９２】
ここで、内分の関係により
【００９３】
【数８】

【００９４】
であることから、
【００９５】
【数９】

【００９６】
また、３次元平面モデル６６が長方形であることにより次式が成立する。
【００９７】
【数１０】

【００９８】
この（１２）（１３）式の条件を解くと、次の結果が得られる。
【００９９】
【数１１】

【０１００】
ここで、ｋ_１，ｋ_３は画像紙面６０の頂点座標から求められる定数である。また、Ｈは紙面の横幅、Ｗは紙面の高さを表わす。このように画像紙面６０の４つの頂点の２次元座標が与えられると、（１４）式で求めた定数ｋ_１，ｋ_３を用いて、（１５）式から３次元平面モデル６６の長方形の縦横比（Ｈ／Ｗ）を求めることができる。
【０１０１】
また（１６）式から、カメラ中心６２と画像紙面６０との距離ｚ^Ｃも求めることができる。また定数ｋ_１，ｋ_３と内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４の間には次の関係が成立する。
【０１０２】
【数１２】

【０１０３】
ここで内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４のうち最大のものを１とすることにより、３次元紙面の頂点のうち１つが画像紙面６０に設置したユニークな状態となり、これによって（１７）式のΔｔが求まることで、内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４をそれぞれただ１つに決定できる。更に、カメラ中心６２と画像紙面６０との距離ｚ^ｃによりカメラ中心６２の座標ｘ^ｃ＝（ｘ^ｃ，ｙ^ｃ，ｚ^ｃ）が求まる。
【０１０４】
図７のカメラ位置姿勢推定部４８は（１４）〜（１６）式の関係により、内分比率ｔ_１，ｔ_２，ｔ_３，ｔ_４及びカメラ中心６２の座標を求め、これをデジタルカメラ１２の位置姿勢として推定する。
【０１０５】
図７の３次元曲面モデル推定部５０は、推定されたカメラ位置姿勢と画像紙面中の紙面輪郭情報を用いて、かまぼこ状に歪んだ紙面形状を３次元曲面モデルとして推定する。
【０１０６】
図１０は、図７の３次元曲面モデル推定部５０で処理する本の歪みを持つ紙面の３次元曲面モデルの説明図である。
【０１０７】
図１０において、２次元的な画像紙面６８の輪郭線情報は、２次元上輪郭線７０、２次元下輪郭線７２、更に左輪郭線８０及び右輪郭線８２となる。なお左輪郭線８０及び右輪郭線８２は、画像紙面６８においても推定する３次元曲面モデル７４においても、一致して同一となる。
【０１０８】
この画像紙面６８における２次元上輪郭線７０及び２次元下輪郭線７２の紙面輪郭情報は、それぞれ２次元サンプル輪郭点集合
Ｘ^Ｕ _ｉ＝（Ｘ^Ｕ _ｉ，Ｙ^Ｕ _ｉ）　（ｉ＝１，…，Ｎ）
Ｘ^Ｄ _ｊ＝（Ｘ^Ｄ _ｊ，Ｙ^Ｄ _ｊ）　（ｊ＝１，…，Ｍ）
により表現されているものとする。
【０１０９】
このような画像紙面６８における紙面輪郭情報を手がかりとして、本の歪みを持つかまぼこ形状の３次元曲面モデル７４における３次元上輪郭線７６と３次元下輪郭線７８のそれぞれにおける３次元サンプル輪郭点
ｘ^Ｕ _ｉ＝（ｘ^Ｕ _ｉ，ｙ^Ｕ _ｉ）　（ｉ＝１，…，Ｎ）
ｘ^Ｄ _ｊ＝（ｘ^Ｄ _ｊ，ｙ^Ｄ _ｊ）　（ｊ＝１，…，Ｍ）
を求めることにより、本のかまぼこ状の紙面形状となる３次元曲面モデル７４を推定する。
【０１１０】
図１０にあっては、２次元サンプル上輪郭点Ｘ^Ｕ _ｉ、２次元サンプル下輪郭点Ｘ^Ｄ _Ｉのそれぞれと、カメラ中心６２を結ぶ線分上に３次元サンプル上輪郭点ｘ^Ｕ _ｉ、及び３次元サンプル下輪郭点ｘ^Ｄ _ｉが存在する場合を示している。
【０１１１】
ここで３次元サンプル上輪郭点ｘ^Ｕ _ｉの高さのカメラ中心６２の高さに対する内分比率をｓ_ｉ、３次元サンプル下輪郭点ｘ^Ｄ _ｉの高さのカメラ中心６２の高さに対する内分比率をｔ_ｉとする。但し、ｉ＝１〜Ｎである。
【０１１２】
これら２Ｎ個のパラメータを、紙面が上下の輪郭線のサンプル点を結んだ線の集合で構成される線折り面であり且つ輪郭頂点を結んだ形状が長方形であるとする条件を満たすことを用いて求めることで、３次元曲面モデル７４の形状を推定する。
【０１１３】
まず内分の公式により次式が成立する。
【０１１４】
【数１３】

【０１１５】
ここで本の歪み曲面がかまぼこ形状を持っていることから、３次元空間中の紙面の４つの頂点を通る面ｘ_１，ｘ_２，ｘ_４，ｘ_３と、３次元サンプル上輪郭点ｘ^Ｕ _ｉと上輪郭線頂点ｘ１及びｘ２を含む面は垂直になるという条件は、自然なものである。そこで、この前提条件を導入して式で表わすと次のようになる。
【０１１６】
【数１４】

【０１１７】
この（１９）式から内分比率ｓ_ｉは次式となる。
【０１１８】
【数１５】

【０１１９】
（１４）式から求めた内分比率ｓ_ｉにより、（１８）式より３次元サンプル上輪郭点ｘ^Ｕ _ｉと下輪郭線頂点ｘ_３，ｘ_４を含む面は垂直になるという条件は自然なものである。そこで、この前提条件を導入して式で表わすと次式となる。
【０１２０】
【数１６】

【０１２１】
この（２１）式から内分比率ｔ_ｉは次式となる。
【０１２２】
【数１７】

【０１２３】
この（２２）式から求めた内分比率ｔ_ｉにより、（１８）式から３次元サンプル下輪郭点ｘ^Ｄ _ｉの座標値が具体的に定まる。
【０１２４】
このように図７の３次元曲面モデル推定部５０は、図１０のように、３次元サンプル輪郭点をつないだ折れ線を３次元上輪郭線７６及び３次元下輪郭線７８とし、これらの輪郭線の線形補間近似により得た曲面を、推定した紙面の３次元曲面モデル７４とする。
【０１２５】
続いて図７の画像補正部５２を説明する。画像補正部５２は、補正後の画像紙面の各画素に対応した入力画像中の位置を、３次元輪郭線を座標軸とする曲面座標系を用いて求め、入力画像中の対応画素の値、即ち白黒２値、階調値、カラー値を補正後の紙面画像の対象画素値として設定することにより、上下輪郭線の長さを横幅Ｗ、左右輪郭線の長さを高さＨとする補正後の画像を得る。
【０１２６】
また、かまぼこ形状となる本の歪みを含む紙面の場合、図１０に示したように左輪郭線８０と右輪郭線８２は、紙面の輪郭頂点ｘ_１，ｘ_３及びｘ_２，ｘ_４のそれぞれを結ぶ線分として得られる。また３次元上輪郭線７６と３次元下輪郭線７８は、３次元曲面モデル７４の推定により得られた３次元サンプル輪郭点を結ぶ折れ線として得られる。
【０１２７】
ここで、３次元曲面座標系の原点を左上輪郭頂点ｘ_１、Ｘ軸を３次元上輪郭線７６、Ｙ軸を左輪郭線８０とする。また補正後の画像の横幅Ｈは、３次元上輪郭線７６と３次元下輪郭線７８の長さの平均値を用いる。同様に、補正後の画像の高さＷは左輪郭線８０と右輪郭線８２の長さの平均値を用いる。
【０１２８】
更に３次元上輪郭線７６上のＸ座標の目盛り付けをするために、０以上で幅Ｗ以下の整数値をとる座標Ｘの値に対し、３次元上輪郭線７６上の点Ｕ（Ｘ）を対応付け、３次元座標を求める。
【０１２９】
この点Ｕ（Ｘ）の３次元座標を求めるためには、３次元上輪郭線７６を表わす３次元サンプル輪郭点をつないだ折れ線上を左上輪郭頂点ｘ_１、即ち原点から辿ることによって行う。
【０１３０】
同様にして、０以上、幅Ｗ以下の整数値をとる座標値Ｘに対し、３次元下輪郭線７８上の点Ｄ（Ｘ）を対応付け、３次元座標を求める。点Ｄ（Ｘ）の３次元座標を求めるためには、３次元下輪郭線７８を表わす３次元サンプル輪郭点をつないだ折れ線を左下輪郭頂点ｘ_３から辿ることによって行う。この点Ｕ（Ｘ）とＤ（Ｘ）により曲線座標系を表現していると考えることができる。
【０１３１】
そこで、本の歪み補正後の画像の２次元座標（Ｘ，Ｙ）に対応した画素の濃度をＧ（Ｘ，Ｙ）とすると、
【０１３２】
【数１８】

【０１３３】
である。
【０１３４】
補正後の２次元座標（Ｘ，Ｙ）に対応する点は、３次元曲面モデル７４上の曲線座標系による２次元座標（Ｘ，Ｙ）を持つ点Ｐである。このＰの３次元座標を
【０１３５】
【数１９】

【０１３６】
とする。そして３次元上輪郭線７６上の点Ｕ（Ｘ）と３次元下輪郭線７８上の点Ｄ（Ｘ）を線形補間した点として、次式により点Ｐの３次元座標を求めることにする。
【０１３７】
【数２０】

【０１３８】
次に、カメラ中心６２から３次元曲面モデル７４上の点Ｐを通る直線とｘｙ基準面との
【０１３９】
【数２１】

【０１４０】
が成立する。
【０１４１】
したがって、補正後の画像中の濃度Ｇ（Ｘ，Ｙ）は次式で求められる。
【０１４２】
【数２２】

【０１４３】
次に図７の実施形態における紙面輪郭抽出部４６の詳細を説明する。紙面輪郭抽出部４６は、カメラ位置姿勢推定部４８及び３次元曲面モデル推定部５０の処理に必要な入力画像中の本のかまぼこ状紙面形状の輪郭線情報を抽出する。
【０１４４】
図１１は、図７の実施形態における紙面輪郭抽出部４６の処理手順のフローチャートであり、これは図８のフローチャートにおけるステップＳ２の紙面輪郭抽出処理の詳細な処理手順を表わしている。
【０１４５】
図１１において、紙面輪郭抽出処理は、ステップＳ１で本の画像を対象にエッジ抽出を行い、続いてステップＳ２でエッジ画像から空間周波数に基づいて文字列領域を除去する。続いてステップＳ３で、文字列領域を除去したエッジ画像について小さな黒画素連結成分の除去によるノイズ除去を行う。
【０１４６】
続いてステップＳ４で、ノイズ除去の済んだエッジ画像について、輪郭部分におけるノイズやかすれを含む紙面輪郭画像の抽出を行う。更にステップＳ５で、左右輪郭線を直線化して抽出する左右輪郭線線分抽出を行う。最終的にステップＳ６で、輪郭の欠けを保管する上下輪郭線抽出を、例えば折れ線、スプライン曲線、ベジェ曲線などに基づいて行う。
この図１１における紙面輪郭抽出処理の詳細を説明すると次のようになる。いま図１２のような本の歪みを持つデジタルカメラで撮像された画像８４が入力されたとする。この画像８４について、図１１のステップＳ１でソーベルのエッジフィルタなどのエッジ抽出用フィルタを使用して本の紙面の輪郭を含むエッジ画像を取得すると、図１３のようなエッジ画像８５が得られる。
【０１４７】
このエッジ画像８５について、図１１のステップＳ３で空間周波数による文字列領域削除を行う。このエッジ画像中の文字列領域の削除は、文字列領域を空間周波数の高い領域として検出して除去する。
【０１４８】
この空間周波数を反映する量として、例えば対象画素を中心とした一定幅（一定ドット数）の線上領域について、画素間隔を１〜Ｓドットの画素同士の濃度差の絶対値の平均を求め、更に１〜Ｓドットごとの平均値の平均をとった量を使用する。
【０１４９】
図１４の画像８６は、図１３のエッジ画像８５について、一定幅＝６５ドット、Ｓ＝８ドットとして得た空間周波数を反映した濃度差画像を２値化して、２値化後の黒画素を１０ドット太らせた後、エッジ画像を白画素に変化させて、空間周波数の高い領域を示している。このような空間周波数の高い領域の画像８６を図１３のエッジ画像８５から除去することで、図１４の文字列領域を除去したエッジ画像８８が得られる。
【０１５０】
続いて図１１のステップＳ４の処理により、図１４の文字列領域を除去したエッジ画像８８を対象に、エッジ画像中の小さい黒画素連結成分を除去することによりノイズ除去を行い、紙面中の黒画素をほとんど消すことにより、図１５のエッジ画像９０を得ることができる。
【０１５１】
続いて図１１のステップＳ４の処理により、ノイズやかすれを含む紙面輪郭画像を抽出する。即ち、図１５の紙面中の黒画素成分をほとんど除去したエッジ画像９０に対し、紙面の中心９２の一点を支点９２とした半直線９４を回転させ、半直線９４が最初に交わる黒画素を抽出することにより、図１６に示す若干のノイズやかすれが存在するが、ほとんど全ての画素が紙面の輪郭画素となった紙面輪郭画像９６を抽出する。この紙面輪郭画像９６は、２次元上輪郭線７０、２次元下輪郭線７２、左輪郭線８０及び右輪郭線８２を持っている。
【０１５２】
次に図１１のステップＳ５によるハフ変換による左右輪郭線分抽出を行う。即ち、図１６のノイズやかすれを含む紙面輪郭画像９６に対し、図１７のように直線成分のハフ変換によって左輪郭線８０及び右輪郭線８２を含む２本の直線成分１０２，１０４を求める。この直線成分１０２，１０４のハフ変換に伴い、紙面輪郭における４つの頂点Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４を求める。
【０１５３】
更に図１１のステップＳ６で輪郭の欠けを補間する上下輪郭点の抽出処理を行う。即ち図１７のような紙面輪郭画像１００における２次元上輪郭線７０と２次元下輪郭線７２に対し、例えば１０〜５０ドット内の所定のドット間隔で２次元サンプル上輪郭点と２次元下輪郭点
Ｘ^Ｕ _ｉ＝（Ｘ^Ｕ _ｉ，Ｙ^Ｕ _ｉ）　（ｉ＝１，…，Ｎ）
Ｘ^Ｄ _ｊ＝（Ｘ^Ｄ _ｊ，Ｙ^Ｄ _ｊ）　（ｊ＝１，…，Ｍ）
を抽出し、これを図１０に示したような３次元曲面モデル７４の推定と、それに基づく本の歪み補正のための輪郭線情報としている。
【０１５４】
また図１１の紙面輪郭抽出処理にあっては、図１２のような本の画像８４について、ユーザが図７のＧＵＩ５４の機能を利用して、かまぼこ形状を持つ３次元曲面モデルのサンプル点をポインティングデバイスやマウスカーソルなどにより指定し、これを輪郭線情報としてもよい。
【０１５５】
また図１２の画像８４において、紙面の４つの頂点についてユーザが指定し、これに基づいて図１１における紙面輪郭抽出処理の自動処理を行うようにしてもよい。
【０１５６】
また図７の実施形態における３次元曲面モデル推定部５０による推定処理としては、３次元曲面モデルを求める手法として３次元サンプル輪郭点を取ってサンプル点を結ぶ折れ線近似を行っているが、これ以外にスプライン曲線やベジェ曲線などのパラメータ付き曲線モデルを用いても良い。
【０１５７】
更に図７の実施形態にあっては、紙面輪郭抽出処理により得られた例えば図１７のような紙面輪郭画像１００において、４つの頂点Ｘ_１，Ｘ_２，Ｘ_３，Ｘ_４＝ｘ_１，ｘ_２，ｘ_３，ｘ_４が３次元曲面モデルとして想定したかまぼこ形状から大きくずれる場合がある。
【０１５８】
このような場合には、かまぼこ形状を持つ紙面の３次元曲面モデルに対し左右及び上下で対となっている３次元輪郭の長さが等しいという制約を所定のエネルギー関数Ｅを用いて表現し、このエネルギー関数Ｅが最小となるパラメータ例えば内分比率の定数ｋ_１，ｋ_３を持つ３次元曲面モデルを修正的に推定する処理を行えばよい。
【０１５９】
このためのエネルギー関数Ｅとしては、例えば図１０の３次元曲面モデル７４における３次元上輪郭線７６と３次元下輪郭線７８の長さの差の二乗と、左輪郭線８０と右輪郭線８２の長さの差の二乗の線形和として定義する。このエネルギー関数Ｅは内分比による定数ｋ_１，ｋ_３により一義に決まる。
【０１６０】
したがって、このエネルギ関数Ｅを最小にするモデルパラメータであるｋ_１，ｋ_３を最急降下法により求める。即ち、モデルパラメータとなる定数ｋ_１，ｋ_３の初期値を適当に設定し、急速下降法によりモデルパラメータとなる定数ｋ_１，ｋ_３を繰り返し変化させて、エネルギー関数Ｅを最小とするｋ_１，ｋ_３を求める。
【０１６１】
もし３次元曲面モデル７４における４つの頂点情報ｘ_１，ｘ_２，ｘ_３，ｘ_４が想定した本のかまぼこ形状の３次元曲面モデル７４からずれていたような場合には、頂点ｘ_１，ｘ_２，ｘ_３，ｘ_４を通る面が予定した３次元座標のｘｙ平面にはなっておらず、このため推定したカメラ中心６２そのものに大きな誤差があり、このような誤差のあるカメラ中心６２と推定された３次元曲面モデル７４を用いると本の歪みが正しく補正されなくなるが、所定のエネルギー関数を最小とする定数ｋ_１，ｋ_３を自動的に求めておくことで、想定した本のかまぼこ形状の３次元曲面モデル７４が正確に推定されて正しい本の歪み補正が実現できる。
【０１６２】
また本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含む。更に本発明は上記の実施形態に示した数値による限定は受けない。
【０１６３】
（付記）
（付記１）
撮像部で撮像された平坦な矩形状紙面の画像を入力する画像入力部と、
前記入力画像中の矩形状紙面の４頂点から前記撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定部と、
前記撮像位置姿勢に基づいて、前記矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定部と、
前記撮像位置姿勢と前記３次元空間中の４頂点位置に基づいて、前記入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正部と、
を備えたことを特徴とする画像歪み補正装置。（１）
【０１６４】
（付記２）
付記１記載の画像歪み補正装置に於いて、前記撮像部による入力画像および前記画像補正部による出力画像は、白黒二値画像、階調画像もしくはカラー画像であることを特徴とする画像歪み補正装置。
【０１６５】
（付記３）
付記１記載の画像歪み補正装置に於いて、前記撮像位置姿勢推定部は、入力画像中の紙面の４頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させることを特徴とする画像歪み補正装置。
【０１６６】
（付記４）
付記１記載の画像歪み補正装置に於いて、前記歪み補正部は、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする平面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とする画像歪み補正装置。（２）
【０１６７】
（付記５）
撮像部により撮像された見開きした紙面をもつ本の画像を入力する画像入力部と、
前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対な撮像位置姿勢を推定する撮像位置姿勢推定部と、
前記撮像位置姿勢と前記入力画像中の紙面の輪郭情報に基づいて、前記紙面の３次元曲面モデルを推定する曲面推定部と、
前記撮像位置姿勢と前記紙面の３次元曲面モデルに基づいて前記本の歪みを補正した画像を出力する画像補正部と、
を備えたことを特徴とする画像歪み補正装置。（３）
【０１６８】
（付記６）
付記５記載の画像歪み補正装置に於いて、前記撮像手段による入力画像および前記画像補正部による出力画像は、白黒二値画像、階調画像もしくはカラー画像であることを特徴とする画像歪み補正装置。
【０１６９】
（付記７）
付記５記載の画像歪み補正装置に於いて、前記撮像位置姿勢推定部は、入力画像中の紙面４の頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させることを特徴とする画像歪み補正装置。
【０１７０】
（付記８）
付記５記載の画像歪み補正装置に於いて、前記曲面推定部は、前記撮像位置姿勢と入力画像中の紙面輪郭の歪みに基づいて、３次元空間中で、上面を紙面とするかまぼこ形状を推定することを特徴とする画像歪み補正装置。（４）
【０１７１】
（付記９）
付記５記載の画像歪み補正装置に於いて、更に、入力画像中の紙面輪郭を抽出する紙面輪郭抽出部を備えたことを特徴とする画像歪み補正装置。（５）
【０１７２】
（付記１０）
付記９記載の画像歪み補正装置に於いて、前記紙面輪郭抽出部は、グラフィックスユーザーインタフェースを用いてユーザーに紙面輪郭のサンプル点を指定させることを特徴とする画像歪み補正装置。
【０１７３】
（付記１１）
付記９記載の画像歪み補正装置に於いて、前記紙面輪郭抽出部は、グラフィックスユーザーインタフェースを用いてユーザーに入力画像中の紙面の４頂点を指定させ、紙面輪郭情報を画像処理により自動抽出することを特徴とする画像歪み補正装置。
【０１７４】
（付記１２）
付記９記載の画像歪み補正装置に於いて、前記紙面輪郭抽出部は、紙面輪郭情報の全てを画像処理により自動抽出することを特徴とする画像歪み補正装置。
【０１７５】
（付記１３））
付記９記載の画像歪み補正装置に於いて、前記紙面輪郭抽出部は、抽出する紙面輪郭情報として、スプライン曲線、ベジエ曲線を含むパラメータ付き曲線モデルを用いることを特徴とする画像歪み補正装置。
【０１７６】
（付記１４）
付記９記載の画像歪み補正装置に於いて、前記紙面輪郭抽出部は、抽出する紙面輪郭情報として、折れ線モデルを用いることを特徴とする画像歪み補正装置。
【０１７７】
（付記１５）
付記５記載の画像歪み補正装置に於いて、前記曲面推定部は、前記紙面の３次元曲面モデルに対し前記左右及び上下で対となっている３次元輪郭の長さが等しいという制約を所定のエネルギー関数を用いて表現し、前記エネルギー関数が最小となるパラメータを持つ３次元曲面モデルを推定することを特徴とする画像歪み補正装置。（６）
【０１７８】
（付記１６）
付記５記載の画像歪み補正装置に於いて、前記画像補正部は、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする曲面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とするの画像歪み補正装置。（７）
【０１７９】
（付記１７）
画像入力部により、撮像部で撮像された平坦な紙面を撮像した画像を入力する画像入力ステップと、
撮像位置姿勢推定部により、前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
矩形紙面推定部により、前記撮像位置姿勢に基づいて、前記矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定ステップと、
画像補正部により、前記撮像位置姿勢と前記３次元空間中の４頂点位置に基づいて、前記入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正ステップと、
を備えたことを特徴とする画像歪み補正方法。（８）
【０１８０】
（付記１８）
付記１７記載の画像歪み補正方法に於いて、前記撮像ステップの入力画像および前記画像補正ステップの出力画像が、白黒二値画像、階調画像もしくはカラー画像であることを特徴とする画像歪み補正方法。
【０１８１】
（付記１９）
付記１７記載の画像歪み補正方法に於いて、前記撮像位置姿勢推定ステップは、入力画像中の紙面４頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させることを特徴とする画像歪み補正方法。
【０１８２】
（付記２０）
付記１７記載の画像歪み補正方法に於いて、前記画像補正ステップは、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする平面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とする画像歪み補正方法。
【０１８３】
（付記２１）
画像入力部により、撮像部で撮像された見開きした紙面をもつ本の画像を入力する画像入力ステップと、
撮像位置姿勢推定部により、前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対的なさ撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
曲面推定部により、前記撮像位置姿勢と前記入力画像中の紙面の輪郭情報に基づいて、前記紙面の３次元曲面モデルを推定する曲面推定ステップと、
画像補正部により、前記撮像位置姿勢と前記紙面の３次元曲面モデルに基づいて前記本の歪みを補正した画像を出力する画像補正ステップと、
を備えたことを特徴とする画像歪み補正方法。（９）
【０１８４】
（付記２２）
付記２１記載の画像歪み補正方法に於いて、前記撮像ステップの入力画像および前記画像補正ステップの出力画像が、白黒二値画像、階調画像もしくはカラー画像であることを特徴とする画像歪み補正方法。
【０１８５】
（付記２３））
付記２１記載の画像歪み補正方法に於いて、前記撮像位置姿勢推定ステップは、入力画像中の紙面の４頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させることを特徴とする画像歪み補正方法。
【０１８６】
（付記２４）
付記２１記載の画像歪み補正方法に於いて、前記曲面推定ステップは、前記撮像位置姿勢と入力画像中の紙面輪郭の歪みに基づいて、３次元空間中で、上面を紙面とするかまぼこ形状を推定することを特徴とする画像歪み補正方法。
【０１８７】
（付記２５）
付記２１記載の画像歪み補正方法に於いて、更に、入力画像中の紙面輪郭を抽出する紙面輪郭抽出ステップを備えたことを特徴とする画像歪み補正方法。
【０１８８】
（付記２６）
付記２５記載の画像歪み補正方法に於いて、前記紙面輪郭抽出ステップは、グラフィックスユーザーインタフェースを用いてユーザーに紙面輪郭のサンプル点を指定させることを特徴とする画像歪み補正方法。
【０１８９】
（付記２７）
付記２５記載の画像歪み補正方法に於いて、前記紙面輪郭抽出ステップは、グラフィックスユーザーインタフェースを用いてユーザーに入力画像中の紙面の４頂点を指定させ、紙面輪郭情報を画像処理により自動抽出することを特徴とする画像歪み補正方法。
【０１９０】
（付記２８）
付記２５記載の画像歪み補正方法に於いて、前記紙面輪郭抽出ステップは、紙面輪郭情報の全てを画像処理により自動抽出することを特徴とする画像歪み補正方法。
【０１９１】
（付記２９）
付記２５記載の画像歪み補正方法に於いて、前記紙面輪郭抽出ステップは、抽出する紙面輪郭情報として、スプライン曲線、ベジエ曲線を含むパラメータ付き曲線モデルを用いることを特徴とする画像歪み補正方法。
【０１９２】
（付記３０）
付記２４記載の画像歪み補正方法に於いて、前記紙面輪郭抽出ステップは、抽出する紙面輪郭情報として、折れ線モデルを用いることを特徴とする画像歪み補正方法。
【０１９３】
（付記３１）
付記２１記載の画像歪み補正方法に於いて、前記曲面推定ステップは、前記紙面の３次元曲面モデルに対し前記左右及び上下で対となっている３次元輪郭の長さが等しいという制約を所定のエネルギー関数を用いて表現し、前記エネルギー関数が最小となるパラメータを持つ３次元曲面モデルを推定することを特徴とする画像歪み補正方法。
【０１９４】
（付記３２）
付記２１記載の画像歪み補正方法に於いて、前記歪み補正ステップは、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする曲面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とする画像歪み補正方法。
【０１９５】
（付記３３）
コンピュータに、
撮像部により撮像された平坦な紙面をの画像を入力する画像入力ステップと、
前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
前記撮像位置姿勢に基づいて、前記矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定ステップと、
前記撮像位置姿勢と前記３次元空間中の４頂点位置に基づいて、前記入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正ステップと、
を実行させることを特徴とするプログラム。（１０）
【０１９６】
（付記３４）
付記３３記載のプログラムに於いて、前記撮像ステップの入力画像および前記画像補正ステップの出力画像は、白黒二値画像、階調画像もしくはカラー画像であることを特徴とするプログラム。
【０１９７】
（付記３５）
付記３３記載のプログラムに於いて、前記撮像位置姿勢推定ステップは、入力画像中の紙面の４頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させることを特徴とするのプログラム。
【０１９８】
（付記３６）
付記３３記載のプログラムに於いて、前記歪み補正ステップは、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする平面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とするプログラム。
【０１９９】
（付記３７）
コンピュータに、
撮像部で撮像された見開きした紙面をもつ本の画像を入力する画像入力ステップと、
前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
前記撮像位置姿勢と前記入力画像中の紙面の輪郭情報に基づいて、前記紙面の３次元曲面モデルを推定する曲面推定ステップと、
前記撮像位置姿勢と前記紙面の３次元曲面モデルに基づいて前記本の歪みを補正した画像を出力する画像補正ステップと、
を実行させることを特徴とするプログラム。（１１）
【０２００】
（付記３８）
付記３７記載のプログラムに於いて、前記画像入力ステップの入力画像および前記画像補正部の出力画像は、白黒二値画像、階調画像もしくはカラー画像であることを特徴とするプログラム。
【０２０１】
（付記３９）
付記３７記載のプログラムに於いて、前記撮像位置姿勢推定ステップは、入力画像中の紙面４頂点をグラフィックスユーザーインタフェースを用いてユーザーに指定させることを特徴とするプログラム。
【０２０２】
（付記４０）
付記３７記載のプログラムに於いて、前記曲面推定ステップは、前記撮像位置姿勢と入力画像中の紙面輪郭の歪みに基づいて、３次元空間中で、上面を紙面とするかまぼこ形状を推定することを特徴とするプログラム。
【０２０３】
（付記４１）
付記３７記載のプログラムに於いて、更に、入力画像中の紙面輪郭を抽出する紙面輪郭抽出ステップを備えたことを特徴とするプログラム。
【０２０４】
（付記４２）
付記４１記載のプログラムに於いて、前記紙面輪郭抽出ステップは、グラフィックスユーザーインタフェースを用いてユーザーに紙面輪郭のサンプル点を指定させることを特徴とするプログラム。
【０２０５】
（付記４３）
付記４１記載のプログラムに於いて、前記紙面輪郭抽出ステップは、グラフィックスユーザーインタフェースを用いてユーザーに入力画像中の紙面の４頂点を指定させ、紙面輪郭情報を画像処理により自動抽出することを特徴とするプログラム。
【０２０６】
（付記４４）
付記４１記載のプログラムに於いて、前記紙面輪郭抽出ステップは、紙面輪郭情報の全てを画像処理により自動抽出することを特徴とするプログラム。
【０２０７】
（付記４５）
付記４１記載のプログラムに於いて、前記紙面輪郭抽出ステップは、抽出する紙面輪郭情報として、スプライン曲線、ベジエ曲線を含むパラメータ付き曲線モデルを用いることを特徴とするプログラム。
【０２０８】
（付記４６）
付記４１記載のプログラムに於いて、前記紙面輪郭抽出ステップは、抽出する紙面輪郭情報として、折れ線モデルを用いることを特徴とするプログラム。
【０２０９】
（付記４７）
付記３７記載のプログラムに於いて、前記曲面推定ステップは、前記紙面の３次元曲面モデルに対し前記左右及び上下で対となっている３次元輪郭の長さが等しいという制約を所定のエネルギー関数を用いて表現し、前記エネルギー関数が最小となるパラメータを持つ３次元曲面モデルを推定することを特徴とするプログラム。
【０２１０】
（付記４８）
付記３７記載のプログラムに於いて、前記画像補正ステップは、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする曲面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とするプログラム。
【０２１１】
【発明の効果】
以上説明してきたように本発明によれば、書類、伝票などの平坦な矩形紙面、あるいは厚みのあるかまぼこ形状となる本について、ユーザーがデジタルカメラを使用して上方から撮像した画像を入力し、この入力画像における矩形紙面の透視変換歪みあるいは本の紙面画像の透視変換歪みと曲面歪みを含む本の歪みにつき、カメラの位置姿勢が未知であっても、１枚の画像からカメラの位置姿勢を推定することによって画像１枚のみから透視変換あるいは本の歪みを補正した画像を出力することができ、カメラによる撮影位置が制限されないことから、ユーザーにとって非常に使い易い使用環境を提供することができる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】一枚の書面の撮像画像を対象とした本発明の画像歪み補正装置の実施形態のブロック図
【図３】図２の実施形態が適用されるコンピュータのハードウェア資源の説明図
【図４】図２の実施形態における画像歪み処理のフローチャート
【図５】図２の実施形態でカメラ位置姿勢の推定に用いる透視変換歪みの仕組みの説明図
【図６】図２の実施形態における画像中の紙面と補正後紙面との間の画素の対応関係の説明図
【図７】本の撮像画像を対象とした本発明の画像歪み補正装置の実施形態のブロック図
【図８】図７の実施形態における画像歪み処理のフローチャート
【図９】図７の実施形態でカメラ位置姿勢の推定に用いる透視変換歪みの仕組みの説明図
【図１０】図７の実施形態における本の歪みを持つ紙面の３次元曲面モデルの説明図
【図１１】図８の紙面輪郭抽出処理のフローチャート
【図１２】紙面輪郭抽出処理の対象とする本の入力画像の説明図
【図１３】図１２から変換されたエッジ画像の説明図
【図１４】空間周波数の高い利用域の２値画像と文字領域を除去したエッジ画像の説明図
【図１５】図１４のエッジ画像について紙面中の黒画素連結成分を除去した画像の説明図
【図１６】図１５の画像に対し半直線の回転処理で得たノイズやかすれを含む紙面輪郭画像の説明図
【図１７】図１６の直線成分をハフ変換により求めた輪郭線抽出結果の説明図
【図１８】平坦な紙面を斜め上から撮像した透視変換歪みを持った画像の説明図
【図１９】厚手の本和斜め上から撮影した本の歪みを持った画像の説明図
【図２０】歪みのない画像の説明図
【符号の説明】
１０，４０：画像歪み補正装置
１２：デジタルカメラ
１４：平坦な紙面
１５，４４：画像入力部
１６，４８：カメラ位置姿勢推定部
１８：３次元矩形紙面推定部
２０，５２：画像補正部
２２，５４：グラフィックスユーザーインタフェース（ＧＵＩ）
２４，５６：表示部
２６，５８：操作部
２８，６０，６８：画像紙面
３０，６２：カメラ中心
３２，６４：光軸
３４：３次元矩形紙面
３６：補正後の画像紙面
４２：本
４６：紙面輪郭抽出部
５０：３次元曲面モデル推定部
６６：三次元平面モデル
７０：２次元上輪郭線
７２：２次元下輪郭線
７４：３次元曲面モデル
７６：３次元上輪郭線
７８：３次元下輪郭線
８０：左輪郭線
８２：右輪郭線
８５，８８，９０：エッジ画像
９２：回転中心
９４：半直線
９６，１００：紙面輪郭画像
１０２，１０４：直線成分

Claims

撮像部で撮像された平坦な矩形状紙面の画像を入力する画像入力部と、
前記入力画像中の矩形状紙面の４頂点から前記撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定部と、
前記撮像位置姿勢に基づいて、前記矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定部と、
前記撮像位置姿勢と前記３次元空間中の４頂点位置に基づいて、前記入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正部と、
を備えたことを特徴とする画像歪み補正装置。
請求項１記載の画像歪み補正装置に於いて、前記画像補正部は、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする平面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とするの画像歪み補正装置。
撮像部により撮像された見開きした紙面をもつ本の画像を入力する画像入力部と、
前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対な撮像位置姿勢を推定する撮像位置姿勢推定部と、
前記撮像位置姿勢と前記入力画像中の紙面の輪郭情報に基づいて、前記紙面の３次元曲面モデルを推定する曲面推定部と、
前記撮像位置姿勢と前記紙面の３次元曲面モデルに基づいて前記本の歪みを補正した画像を出力する画像補正部と、
を備えたことを特徴とする画像歪み補正装置。
請求項３記載の画像歪み補正装置に於いて、前記曲面推定部は、前記撮像位置姿勢と入力画像中の紙面輪郭の歪みに基づいて、３次元空間中で、上面を紙面とするかまぼこ形状を推定することを特徴とする画像歪み補正装置。
請求項３記載の画像歪み補正装置に於いて、更に、入力画像中の紙面輪郭を抽出する紙面輪郭抽出部を備えたことを特徴とする画像歪み補正装置。
請求項３記載の画像歪み補正装置に於いて、前記曲面推定部は、前記紙面の３次元曲面モデルに対し前記左右及び上下で対となっている３次元輪郭の長さが等しいという制約を所定のエネルギー関数を用いて表現し、前記エネルギー関数が最小となるパラメータを持つ３次元曲面モデルを推定することを特徴とする画像歪み補正装置。
請求項３記載の画像歪み補正装置に於いて、前記歪み補正部は、補正後画像の各画素に対応した入力画像中の位置を、輪郭を座標軸とする曲面座標系を用いて求め、入力画像中の対応画素の値を補正後画像の対象画素値として設定することにより、上下輪郭の長さを幅、左右輪郭の長さを高さとする補正画像を生成することを特徴とするの画像歪み補正装置。
画像入力部により、撮像部で撮像された平坦な紙面を撮像した画像を入力する画像入力ステップと、
撮像位置姿勢推定部により、前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対的な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
矩形紙面推定部により、前記撮像位置姿勢に基づいて、前記矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定ステップと、
画像補正部により、前記撮像位置姿勢と前記３次元空間中の４頂点位置に基づいて、前記入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正ステップと、
を備えたことを特徴とする画像歪み補正方法。
画像入力部により、撮像部で撮像された見開きした紙面をもつ本の画像を入力する画像入力ステップと、
撮像位置姿勢推定部により、前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対的なさ撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
曲面推定部により、前記撮像位置姿勢と前記入力画像中の紙面の輪郭情報に基づいて、前記紙面の３次元曲面モデルを推定する曲面推定ステップと、
画像補正部により、前記撮像位置姿勢と前記紙面の３次元曲面モデルに基づいて前記本の歪みを補正した画像を出力する画像補正ステップと、
を備えたことを特徴とする画像歪み補正方法。
コンピュータに、
撮像部により撮像された平坦な紙面をの画像を入力する画像入力ステップと、
前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
前記撮像位置姿勢に基づいて、前記矩形状紙面の３次元空間中の４頂点を推定する矩形紙面推定ステップと、
前記撮像位置姿勢と前記３次元空間中の４頂点位置に基づいて、前記入力画像中の紙面の透視変換歪みを補正した画像を出力する画像補正ステップと、
を実行させることを特徴とするプログラム。
コンピュータに、
撮像部で撮像された見開きした紙面をもつ本の画像を入力する画像入力ステップと、
前記入力画像中の紙面の４頂点から前記撮像部の紙面に対する相対な撮像位置姿勢を推定する撮像位置姿勢推定ステップと、
前記撮像位置姿勢と前記入力画像中の紙面の輪郭情報に基づいて、前記紙面の３次元曲面モデルを推定する曲面推定ステップと、
、前記撮像位置姿勢と前記紙面の３次元曲面モデルに基づいて前記本の歪みを補正した画像を出力する画像補正ステップと、
を実行させることを特徴とするプログラム。