JP2014192901A - 画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】原稿画像の歪み状態を示す歪みモデルを適切に作成する。
【解決手段】画像処理システムによれば、ユーザの指示入力に応じてメッシュ画像の形状を原稿画像の形状に近づけるように変形させることで、原稿の歪み状態を示す歪みモデルを簡易な処理で適切に作成することができる。また、原稿画像がフラットベッド型のスキャナにより読み取られた画像ではない場合（例えば上向きに開かれた状態で卓上等に載置された製本原稿を撮像して取得した原稿画像の場合）であっても、原稿画像の歪みモデルを適切に作成することができる。
【選択図】図６

Description

本発明は、原稿を読み取って得られる原稿画像における上記原稿の歪み状態を示す歪みモデルを作成する画像処理システムおよび画像処理方法に関するものである。

従来、見開き書籍（例えば、本、雑誌、冊子などの綴じ部で綴じられた書籍）をユーザが画像読取装置の原稿台に載置し、読み取られた画像データに基づいて書籍の厚さに起因する歪みを補正する技術が知られている。

例えば、非特許文献１には、以下の（１）〜（３）の処理を行う技術が開示されている。
（１）本の綴じ部とスキャナの主走査方向が平行な場合において、読み取られた画像より、主走査方向については、ページ外形、罫線、文字行をこの優先順位で抽出し、抽出した歪み形状を基に画像の伸長率を求めて補正する。
（２）読み取られた画像にページ外形、罫線、文字行が存在するかは、画像を適応二値化し、主走査方向に対する黒画素ヒストグラムを、綴じ部の左右で構成し、作成されたヒストグラムを解析することにより判断する。
（３）副走査方向については、文字外接矩形のアスペクト比を利用し、綴じ部付近の矩形アスペクト比が平坦部のアスペクト比と等しくなるように補正を行う。また、上記形状の補正を行う前に、綴じ部の抽出処理、スキュー補正処理を行う。

荒木禎史，関海克，小島啓嗣，「製本原稿スキャン画像の歪み補正技術」、Ricoh Technical Report No.29、2003年12月、p.31-40

しかしながら、上記非特許文献１の技術では、形状補正を行う際に以下の（Ａ）〜（Ｃ）の処理を行う必要があるので、処理が複雑であるという問題がある。
（Ａ）前処理として、綴じ部の抽出処理およびスキュー補正処理を行う必要がある。
（Ｂ）ページ外形、罫線、文字行の何れが存在するのかの判定を行い、判定結果に基づいて抽出対象を決定した後に抽出処理を行う必要がある。
（Ｃ）主走査方向の歪みを補正した後に副走査方向の歪みの補正を行う必要がある。

さらに、上記非特許文献１の技術は、製本原稿をフラットベッド型のスキャナで取り込む場合のスキャン画像に対して補正を行うものであり、卓上で上向きに開かれた製本原稿を撮像した画像のように、見開き頁が曲面となり直線部分の検出が困難な場合には当該非特許文献１の技術を適用できないという問題もある。

本発明は、上記の問題に鑑みて成されたものであり、その目的は、原稿画像を撮像して取得した原稿画像の歪み状態を示す歪みモデルを簡易な処理により適切に作成することのできる画像処理システムおよび画像処理方法を提供することにある。

また、本発明の他の目的は、原稿画像がフラットベッド型のスキャナにより読み取られた画像ではない場合（例えば上向きに開かれた状態で卓上等に載置された製本原稿を撮像して取得した原稿画像の場合）であっても、原稿画像の歪みモデルを適切に作成することにある。

本発明の一態様にかかる画像処理システムは、原稿を読み取って取得した原稿画像における上記原稿の歪み状態を示す歪みモデルを作成する画像処理システムであって、表示装置と、上記表示装置の表示を制御する表示制御部と、上記歪みモデルを作成する歪みモデル作成部と、ユーザからの指示入力を受け付ける入力受付部とを備え、上記表示制御部は、矩形形状のメッシュ画像を上記原稿画像に重畳させて上記表示装置に表示させ、上記歪みモデル作成部は、矩形形状の上記メッシュ画像の形状をユーザからの指示入力に応じて上記原稿画像の形状に近づけるように変形させることにより、上記歪みモデルを作成することを特徴としている。

上記の本発明の一態様にかかる画像処理システムによれば、ユーザの指示入力に応じてメッシュ画像の形状を原稿画像の形状に近づけるように変形させることで、原稿の歪み状態を示す歪みモデルを簡易な処理で適切に作成することができる。また、原稿画像がフラットベッド型のスキャナにより読み取られた画像ではない場合（例えば上向きに開かれた状態で卓上等に載置された製本原稿を撮像して取得した原稿画像の場合）であっても、原稿画像の歪みモデルを適切に作成することができる。

見開き書籍におけるページ画像の一例を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおいて用いられる３次ベジェ曲線の一例を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおける処理の流れを示すフローチャートである。 本発明の一実施形態にかかる画像処理システムにおいてページ画像に重畳表示される矩形形状のメッシュの一例を示す説明図である。 図４に示したメッシュに対して角部の調整処理を施したメッシュの一例を示す説明図である。 図５に示したメッシュに対して辺（エッジ）の調整処理を施したメッシュの一例を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおける歪み補正処理の流れを示すフローチャートである。 本発明の一実施形態にかかる画像処理システムの概略構成を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおける歪み補正処理で用いられる消失点を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおける、逆射影変換前の原稿画像とメッシュの一例を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおける、逆射影変換後の原稿画像とメッシュの一例を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおいて行われる逆変換処理の処理方法の一例を示す説明図である。 本発明の一実施形態にかかる画像処理システムにおいて行われる一致度の算出処理で用いられるベジェ曲線と代表点との関係を示す説明図である。

〔実施形態１〕
本発明の一実施形態について説明する。なお、各図面において、同様の部材には同じ符号を付している。

図８は、本実施形態にかかる画像処理システム１の構成を示す説明図である。この図に示すように、画像処理システム１は、表示装置１０、画像読取装置２０、および画像処理装置３０を備えている。なお、画像処理システム１は、表示装置１０、画像読取装置２０、および画像処理装置３０を備えた単体の装置（例えば複写機あるいは複合機）であってもよく、表示装置１０、画像読取装置２０、および画像処理装置３０の一部または全部が別々に備えられ、互いに通信を行う構成であってもよい。

表示装置１０は、表示部１１と操作入力部１２とを備えている。表示装置１０としては、例えば、パーソナルコンピュータ等のコンピュータ装置、タブレット端末、モバイル機器、あるいはその他の表示装置を用いることができる。

表示部１１は、画像処理装置３０の指示に応じた画像を表示画面に表示させる。表示部１１としては、例えば、液晶表示パネル、有機ＥＬ（electroluminescence）パネル、プラズマディスプレイなどを用いることができる。

操作入力部１２は、ユーザからの操作入力を受け付けて画像処理装置３０に伝達する。本実施形態では、操作入力部１２として、ユーザによる表示部１１の表示画面に対するタッチ操作に基づいてユーザからの指示入力を検出するタッチパネルを用いている。ただし、操作入力部１２の構成は、ユーザからの操作入力を検出可能な構成であれば特に限定されるものではなく、例えば、マウスやデジタルペン等のポインティングデバイス、各種キー操作装置などを用いてもよい。

画像読取装置２０は、原稿を読み取って当該原稿の画像データ（原稿画像）を生成し、画像処理装置３０に伝達する。画像読取装置２０の構成は特に限定されるものではなく、従来から公知の画像読取装置を用いることができる。

画像処理装置３０は、制御部３１と記憶部３７とを備えている。また、制御部３１は、表示制御部３２、入力受付部３３、メッシュ制御部（歪みモデル作成部）３４、画像補正部３５、および画像取得部３６を備えている。

記憶部３７は、画像処理装置３０で扱われる各種データ（画像データ、各種制御情報等）を記憶する記憶手段である。記憶部３７の構成は特に限定されるものではなく、例えばハードディスク、半導体メモリなど、従来から公知の記憶手段を用いることができる。

制御部３１は、ＣＰＵや専用プロセッサなどの演算処理部、および、ＲＡＭ、ＲＯＭ、ＨＤＤなどの記憶部（いずれも図示せず）などにより構成されるコンピュータ装置であり、記憶部３７に記憶されている各種情報および各種制御を実施するためのプログラムを読み出して実行することで画像処理装置３０の機能を実現する。

表示制御部３２は、表示装置１０の動作を制御し、表示部１１の表示画面に画像を表示させる。

入力受付部３３は、表示装置１０の操作入力部１２を介して入力されるユーザからの指示入力を操作入力部１２から取得する。

メッシュ制御部３４は、画像データの歪み補正処理を行う際に、原稿画像の歪み状態を示すメッシュ画像（歪みモデル）の作成処理および更新処理を行う。歪み補正処理およびメッシュ画像の詳細については後述する。

画像補正部３５は、入力受付部３３が受け付けたユーザからの指示入力に基づいて画像データに対する歪み補正処理を行う。画像補正部３５において歪み補正処理が施された画像データは、記憶部３７に保存されるか、あるいは他の装置（図示せず）に出力される。歪み補正処理の詳細については後述する。

画像取得部３６は、画像読取装置２０の動作を制御して原稿の読取処理を行わせ、画像読取装置２０から原稿の画像データを取得し、取得した画像データを記憶部３７に記憶させる。

次に、画像処理システム１において行われる歪み補正処理について説明する。

図１は、見開き書籍（原稿、見開き原稿）を読み取って取得したページ画像（原稿画像）１００の例を示しており、あるページ１０２の全体と、他のページ１０４の一部とが示されている。図１におけるページ１０２とページ１０４との結合部分の領域１０６は、上記見開き書籍の綴じ部に対応している。なお、見開き書籍は、綴じ部を中心として開閉可能に綴じられた書籍である。画像読取時に見開き書籍の物理的な歪み（湾曲）が生じると、ページ画像１００におけるページ１０２およびページ１０４の辺（境界線）１０８，１１０，１１２，１１４，１１６，１１８，１２０は矩形形状ではなくなる。その結果、ページ１０２および１０４の画像は、湾曲した（歪んだ）ページの画像となる。

湾曲したページ１０２および１０４は可展面なので、本実施形態では、ページ１０２および１０４を、（ｉ）当該ページの上辺および下辺の湾曲状態に応じた３次ベジェ曲線（ベジェ曲線とも呼ばれる）と、（ｉｉ）基準方向に沿って延伸し、上記の２つの３次ベジェ曲線を接続する複数の直線とからなるメッシュ（編目）によってモデル化する。なお、本実施形態では、ページの上辺および下辺に対応する辺を３次ベジェ曲線でモデル化したメッシュ（歪みモデル）を用いているが、これに限るものではない。例えば、ページの上辺および下辺を、２次ベジェ曲線、あるいは他の関数で示される曲線によってモデル化してもよい。

本実施形態では、ページ画像１００におけるページ１０２の上辺（上端エッジ）１０８を第１の３次ベジェ曲線によってモデル化し、下辺（下端エッジ）１１２を第２の３次ベジェ曲線によってモデル化する。すなわち、本実施形態では、メッシュ上における互いに対向する２辺のうち、綴じ部の延伸方向に交差する方向に延伸する辺である上辺および下辺を、ベジェ曲線を用いてモデル化する。

図２は３次ベジェ曲線の一例を示している。３次ベジェ曲線は、４つの制御点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３によって定義されるパラメータ曲線であり、下記式で表される。
Ｂ（ｔ）＝（１−ｔ）^３Ｐ_０＋３（１−ｔ）^２ｔＰ_１＋３（１−ｔ）ｔ^２Ｐ_２＋ｔ^３Ｐ_３、
ｔ∈［０，１］
ここで、ｔはパラメータ曲線Ｂ（ｔ）のパラメータであり、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３は平面上の点である。上記パラメータ曲線Ｂ（ｔ）は、接線Ｐ_０Ｐ_１に続く点Ｐ_０（ｔ＝０に対応）から始まり、接線Ｐ_２Ｐ_３に続く点Ｐ_３（ｔ＝１に対応）で終わる制御点の凸包（convex hull）によって表される。Ｐ_１およびＰ_２は中間制御点と呼ばれる。図２に示した典型的なベジェ曲線２００には、４つの平面上の点Ｐ_０２０２、Ｐ_１２０４、Ｐ_２２０６、Ｐ_３２０８と、接線Ｐ_０Ｐ_１２１０およびＰ_２Ｐ_３２１２が示されている。

次に、ページ画像にメッシュを適合させるためのメッシュ適合方法３００について、図３〜図６を参照しながら説明する。

まず、図３および図４に示すように、メッシュ制御部３４が見開き書籍（原稿）を読み取って取得したページ画像（原稿画像）４０２のサイズに応じた矩形形状のメッシュ４００を生成し、表示制御部３２が、上記ページ画像４０２と上記メッシュ４００とを表示部１１に重畳表示させる（ステップ３０２）。

上記の矩形形状のメッシュ４００は、４つの角部（左上角部４０４、右上角部４０６、右下角部４０８、および左下角部４１０）と、上辺４１２と、下辺４１４とを含んでいる。上辺４１２の左端（左上角部４０４）と下辺４１４の左端（左下角部４１０）とは、左辺（左端エッジ）４１６によって接続されている。また、上辺４１２の右端（上角部４０６）と下辺４１４の右端（右下角部４０８）とは、間の右辺（右端エッジ）４１８によって接続されている。上辺４１２をパラメータｔによって等間隔に分割する点である等間隔点４２８，４３０，４３２，４３４は、複数の直線（４本の直線４２０，４２２，４２４，４２６）によって、下辺４１４を上記パラメータｔによって等間隔に分割する点である等間隔点４３６，４３８，４４０，４４２のうちの対応する点にそれぞれ接続されている。すなわち、点４２８と点４３６、点４３０と点４３８、点４３２と点４４０、点４３４と点４４２がそれぞれ直線によって接続されている。矩形形状のメッシュ４００内の区画（例えば符号４５４，４５６で示される２つの区画）は、矩形形状のメッシュ４００における互いに隣接する垂直方向の直線を等間隔に分割する点である等間隔点を接続することにより形成されている。本実施形態では、矩形形状のメッシュ４００内における６本の垂直方向の直線のそれぞれが１１本の線分で分割されており、それによって５０個の区画が形成されている。

次に、入力受付部３３は、ユーザからの矩形形状のメッシュ４００の角部の調整指示（角部の移動指示、第１指示入力）を取得する（ステップ３０４）。なお、本実施形態では、ユーザが操作入力部１２を用いてドラッグ操作を行うことにより、矩形形状のメッシュ４００の角部４０４，４０６，４０８，４１０を、ページ画像４０２におけるページ４５２の角部４４４，４４６，４４８，４５０に一致させるための調整指示（移動指示）を行うようになっている。具体的には、入力受付部３３は、表示画面に対するタッチ操作の開始点がページ画像の角部の表示位置から所定範囲内の位置であり、かつ当該開始点からドラッグ操作が行われた場合に、当該タッチ操作を角部の調整指示として検出する。なお、入力受付部３３は、上記所定範囲内に複数の角部が存在する場合には上記開始点から最も近い角部を操作対象の角部として選択する。

入力受付部３３が取得した角部の調整指示はメッシュ制御部３４に伝達され、メッシュ制御部３４は、伝達された調整指示に応じて矩形形状のメッシュ４００の角部の位置を調整（ページ画像４０２の角部に近づけるように移動（変形））したメッシュ５００を生成する。すなわち、メッシュ制御部３４は、矩形形状のメッシュ４００の各角部をユーザからの指示入力に応じてページ画像の角部に近づけるように移動させる第１処理を行う。

次に、図５に示すように、表示制御部３２が、角部を調整したメッシュ５００を、ページ画像（原稿画像）５０２に重畳表示させる（ステップ３０６）。角部を調整したメッシュ５００は、４つの角部（ページ画像４５２の左上角部４４４に対応する左上角部５０４、ページ画像４５２の右上角部４４６に対応する右上角部５０６、ページ画像４５２の右下角部４４８に対応する右下角部５０８、およびページ画像４５２の左下角部３５０に対応する左下角部５１０）と、上辺５１２と、下辺５１４とを含んでいる。上辺５１２と下辺５１４とは、左上角部５０４と左下角部５１０との間の左辺５１６によって接続されている。また、上辺５１２と下辺５１４とは、右上角部５０６と右下角部５０８との間の右辺５１８によって接続されている。上辺５１２をパラメータｔに基づいて等間隔に分割する点である等間隔点５２８，５３０，５３２，５３４は、複数の直線（４本の直線５２０，５２２，５２４，５２６）によって、下辺５１４をパラメータｔに基づいて等間隔に分割する点である等間隔点５３６，５３８，５４０，５４２のうちの対応する点にそれぞれ接続されている。すなわち、点５２８と点５３６とが直線５２０により接続され、点５３０と点５３８とが直線５２２により接続され、点５３２と点５４０とが直線５２４により接続され、点５３４と点５４２とが直線５２６により接続されている。角部を調整したメッシュ５００内の区画（例えば符号５４４，５４６で示される２つの区画）は、角部を調整したメッシュ５００における互いに隣接する垂直方向の直線（５１６，５２０，５２２，５２４，５２６，５１８）を等間隔に分割した等間隔点を接続することにより形成されている。本実施形態では、角部を調整したメッシュ５００内における６本の垂直方向の直線のそれぞれが１１本の線分で分割されており、それによって５０個の区画が形成されている。なお、角部を調整したメッシュを重畳表示させるときに、調整前の矩形形状のメッシュを表示画面から消去するようにしてもよい。

次に、メッシュ制御部３４は、操作入力部１２を介して入力されるユーザからの指示入力に基づいて、上辺５１２に対応する第１の３次ベジェ曲線、および下辺５１４に対応する第２の３次ベジェ曲線のそれぞれについて、中間制御点を決定する（ステップ３０８）。

なお、本実施形態では、ユーザが角部をドラッグ操作すると、メッシュ制御部３４が当該ドラッグ操作に応じて角部（ドラッグ操作に対応する角部）を移動させるとともに中間制御点を再設定したメッシュ（角部を調整中のメッシュ）を順次生成し、表示制御部３２がメッシュ制御部３４により生成された上記メッシュを表示部１１に順次表示させるようになっている。これにより、ドラッグ操作中に、当該ドラッグ操作に応じたメッシュが順次作成されて連続的に表示される。

次に、入力受付部３３が、操作入力部１２を介して入力される中間制御点を移動させるためのタッチ移動操作（第２指示入力）を示す情報を取得する（ステップ３１０）。上記タッチ移動操作は、最初に接触した位置から始まり、最後に接触した位置で終了する。具体的には、入力受付部３３は、表示画面に対するタッチ操作の開始点が中間制御点のうちのいずれかから所定範囲内の位置であり、かつ当該開始点からドラッグ操作が行われた場合に、当該タッチ操作を、上記中間制御点を操作対象とするエッジ（上辺または下辺）の調整指示として検出する。なお、入力受付部３３は、上記所定範囲内に存在する中間制御点が複数存在する場合には上記開始点から最も近い中間制御点を操作対象とする。

メッシュ制御部３４は、ユーザが最初に接触した位置に最も近い中間制御点を決定し（ステップ３１２）、当該中間制御点に対応するメッシュのエッジ（上辺あるいは下辺）を、取得したタッチ移動操作を示す情報に応じて当該中間制御点を移動させることにより調整（メッシュ画像を変形）する（ステップ３１４）。すなわち、入力受付部３３がユーザの中間制御点に対するドラッグ操作の移動方向および移動距離を検出し、メッシュ制御部３４が、角部が調整されたメッシュ画像における上記中間制御点を、上記移動方向および上記移動距離に応じてページ画像４５２の上辺または下辺に近づけるように変形させる第２処理を行う。例えば、第１方向への第１長さのタッチ移動操作が行われると、メッシュ制御部３４は、上記の最も近い中間制御点を第１方向に第１長さだけ移動させる。この際、上辺または下辺のうちの一方の中間制御点を移動させることにより、当該中間制御点の移動量に応じてメッシュの上辺または下辺が変化し、メッシュの各区画の形状が変化する（歪む）。

その後、図６に示すように、表示制御部３２は、エッジ（上辺および下辺）を調整したメッシュ（歪みモデル）６００をページ画像（原稿画像）６０２に重畳表示させる（ステップ３１６）。上記のエッジを調整したメッシュ６００は、４つの角部（ページ画像４５２の左上角部４４４に対応する左上角部６０４、ページ画像４５２の右上角部４４６に対応する右上角部６０６、ページ画像４５２の右下角部４４８に対応する右下角部６０８、およびページ画像４５２の左下角部４５０に対応する左下角部６１０）と、上辺（３次ベジェ曲線）６１２と、下辺（３次ベジェ曲線）６１４とを含んでいる。上辺６１２の左上角部６０４と下辺６１４の左下角部６１０とは、左辺６１６によって接続されている。また、上辺６１２の右上角部６０６と下辺６１４の右下角部６０８とは、右辺６１８によって接続されている。上辺６１２をパラメータｔに基づいて等間隔に分割する点である等間隔点６２８，６３０，６３２，６３４は、複数の直線（４本の直線６２０，６２２，６２４，６２６）によって、下辺６１４をパラメータｔに基づいて等間隔に分割する点である等間隔点６３６，６３８，６４０，６４２のうちの対応する点にそれぞれ接続されている。すなわち、点６２８と点６３６とが直線６２０により接続され、点６３０と点６３８とが直線６２２により接続され、点６３２と点６４０とが直線６２４により接続され、点６３４と点６４２とが直線６２６により接続されている。本実施形態では、４つの直線６２０，６２２，６２４，６２６に対して、パラメータｔとして値０．２，０．４，０．６，０．８がそれぞれ対応付けられている。すなわち、各直線同士の間隔は、上辺の長さを１とすると、それぞれ０．２に設定されている。

エッジ（上辺および下辺）を調整したメッシュ６００内の区画（例えば符号６４４，６４６で示される２つの区画）は、当該メッシュ６００における互いに隣接する垂直方向の直線に沿った等間隔点を接続することにより形成されている。本実施形態では、上記メッシュ６００内における６本の垂直方向の直線のそれぞれが１１本の線分で分割されており、それによって５０個の区画が形成されている。なお、エッジを調整したメッシュを重畳表示させるときに、角部を調整したメッシュを表示画面から消去するようにしてもよい。

本実施形態では、ユーザが分割されたメッシュの上辺または下辺をドラッグ操作すると、メッシュ制御部３４が当該ドラッグ操作により移動させたメッシュ（エッジを調整中のメッシュ）を順次生成し、表示制御部３２がメッシュ制御部３４により生成された上記メッシュを表示部１１に順次表示させるようになっている。これにより、ドラッグ操作中に、当該ドラッグ操作に応じたメッシュが連続的に表示される。

なお、本実施形態では、メッシュの間隔を、上辺および下辺をそれぞれ長さに応じて等間隔に分割しているが、これに限るものではない。

例えば、消失点に対する角度が等間隔（等角度）になるように設定してもよい。消失点とは、図９に示すように、左上角部と左下角部とを結ぶ直線Ｌ１と、右上角部と右下角部を結ぶ直線Ｌ２との交点である。

また、ユーザがドラッグさせた点６２８、６３０、６３２、６３４、６３６、６３８、６４０、６４２の位置に対応する点で分割するようにしてもよい。例えば、上辺または下辺のエッジ強度を求め、ユーザがドラッグさせた点の位置の近傍における、（１）エッジ強度が高い点（例えばエッジ強度が所定値以上である点）またはその近傍の点、あるいは、（２）ユーザがドラッグさせた位置と消失点とを結ぶ直線とエッジ強度が高い点におけるエッジ勾配を示す直線との交点で分割するようにしてもよい。なお、エッジ強度の算出方法は特に限定されるものではなく、例えば、ソーベルフィルタやプリビットフィルタ等のフィルタを用いて算出してもよく、隣接画素の差分の絶対値等を用いて算出してもよい。

その後、入力受付部３３がステップ３１０に戻ってタッチ移動操作を示す情報を取得し（矢印３１８）、メッシュ制御部３４がエッジ（上辺および下辺）を調整したメッシュを更新する。

図７は、見開き書籍を読み取って取得したページ画像の歪みを補正するための方法（方法７００）をより詳細に示したフローチャートである。

まず、表示制御部３２は、歪み補正処理対象とするページ画像を記憶部３７から読み出し、表示装置１０の表示部１１に表示させる（ステップ７０２）。なお、記憶部３７には、画像読取装置２０によって読み取られた画像が画像取得部３６を介して保存されている。

次に、メッシュ制御部３４が上記ページ画像のサイズに応じた矩形形状のメッシュ（メッシュ画像）を生成し、表示制御部３２が上記ページ画像と上記メッシュとを表示部１１に重畳表示させる（ステップ７０４）。上記の矩形形状のメッシュは、４つの角部（左上角部、右上角部、右下角部、および左下角部）と、上辺と、下辺とを含んでいる。上辺の左上角部と下辺の左下角部とは左辺（左端エッジ）によって接続されている。また、上辺の右上角部と下辺の右下角部とは右辺（右端エッジ）によって接続されている。上辺を等間隔に分割した等間隔点は、複数の直線によって下辺を等間隔に等間隔点のうちの対応する点にそれぞれ接続されている。本実施形態では、左辺および右辺に加えて、４本の直線によって上辺を等間隔に分割した等間隔点と下辺を等間隔に分割した等間隔点とが接続されている。矩形形状のメッシュ内の区画は、矩形形状のメッシュにおける互いに隣接する垂直方向の直線を等間隔に分割した等間隔点を接続することにより形成されている。本実施形態では、矩形形状のメッシュ内における６本の垂直方向の直線のそれぞれが１１本の線分で分割されており、それによって５０個の区画が形成されている。

次に、入力受付部３３が、操作入力部１２に対するユーザのタッチ操作（角部調整のためのドラッグ操作）を示す情報を取得する（ステップ７０６）。なお、本実施形態では、操作入力部１２が表示部１１の表示画面に対する入力操作（ジェスチャ操作）を検出するジェスチャ処理部を備えており、このジェスチャ処理部がユーザの入力操作の検出結果に応じた信号を生成して入力受付部３３に出力するようになっている。

次に、メッシュ制御部３４が、入力受付部３３の取得した上記情報に基づいてユーザのタッチ操作内容を解析し、当該タッチ操作が上記矩形形状のメッシュの角部に対するドラッグ操作であるか否かを判断する（ステップ７０８）。入力受付部３３（あるいは操作入力部１２）は、タッチ操作の開始点と当該タッチ操作の終了点とに基づいてドラッグ操作を検出する。メッシュ制御部３４は、矩形形状のメッシュの角部の近傍（角部の座標から所定範囲内の位置）でドラッグ操作が開始された場合に、当該ドラッグ操作を矩形形状のメッシュの角部に対するドラッグ操作であると判断する。

取得したタッチ操作が矩形形状のメッシュの角部に対するドラッグ操作であると判断した場合（矢印７１０）、メッシュ制御部３４は、ユーザのドラッグ操作に応じて角部を調整したメッシュを生成する（ステップ７１２）。具体的には、メッシュ制御部３４は、ドラッグ操作の開始点に近接する矩形形状のメッシュの角部をドラッグ操作の終了点に対応する位置に移動させ、対応するエッジ（上辺または下辺）と、左辺と、右辺と、上辺を等間隔に分割した点と下辺を等間隔に分割した点とを接続する複数の直線とを、角部の移動量に応じて調整することにより、矩形形状のメッシュの角部を調整したメッシュを生成する。

次に、表示制御部３２は、メッシュ制御部３４によって角部が調整されたメッシュをページ画像に重畳表示させる（ステップ７１４）。なお、最新のメッシュを重畳させるときに、それ以前に重畳されていたメッシュを消去するようにしてもよい。

その後、入力受付部３３は、ステップ７０６の処理に戻り（矢印７１６）、次のタッチ操作を示す情報を取得する。

一方、ステップ７０８において、取得したタッチ操作が矩形形状のメッシュの角部に対するドラッグ操作ではないと判断した場合（矢印７１８）、メッシュ制御部３４は、当該タッチ操作を解析し、現在重畳されているメッシュにおける全ての角部のページ画像の角部に対する対応付けが完了したか否かを判断する（ステップ７２０）。本実施形態では、ユーザがダブルタップ操作を行うことにより、現在重畳されているメッシュにおける全ての角部の、ページ画像の角部に対する対応付けが完了した旨の指示を行う。ただし、これに限らず、例えば、ユーザが角部の選択を完了するために設けられたメニュー項目をタッチ操作することにより、上記対応付けが完了した旨の指示を行うようにしてもよい。

ステップ７２０において対応付けを完了していない角部が残っていると判断した場合、入力受付部３３は、ステップ７０６の処理に戻り（矢印７２２、角部ドラッグ操作ループ）、次のタッチ操作を示す情報を取得する。

ステップ７２０において角部の調整が完了したと判断した場合（矢印７２４）、入力受付部３３は、メッシュの上辺および下辺をページ画像の上辺および下辺にそれぞれ適合させるメッシュ適合処理（メッシュフィッティング処理）のためのタッチ操作を示す情報を取得する（ステップ７２６）。ステップ７２６において入力受付部３３がタッチ操作を示す情報を取得すると、メッシュ制御部３４は当該タッチ操作を解析し、メッシュ適合処理が完了したか否かを判断する（ステップ７２８）。本実施形態では、ユーザがダブルタップ操作を行うことにより、メッシュ適合処理が完了した旨の指示を行う。ただし、これに限らず、例えば、ユーザがメッシュ適合処理を完了するために設けられたメニュー項目をタッチ操作することにより、メッシュ適合処理が完了した旨の指示を行うようにしてもよい。

ステップ７２８において取得したタッチ操作がメッシュ適合処理の完了を示すものであると判断した場合（矢印７３０）、画像補正部３５は、メッシュ適合処理が完了したメッシュ（歪みモデル）内の各画像領域に対して当該画像領域の歪みを補正する処理を施し、平坦化されたページ画像を生成する（ステップ７３２）。具体的には、メッシュ適合処理が完了したメッシュにおける上辺の３次ベジェ曲線、下辺の３次ベジェ曲線、および上辺と下辺とを接続する各直線を算出し、歪みを有する各区画の形状を歪みのない矩形形状に変換するための逆射影変換処理を行う。

例えば、各メッシュ領域を、上辺または下辺の３次ベジェ曲線あるいはメッシュを分割する点同士を結ぶ直線で囲まれた四辺形として扱い、各メッシュ領域が逆射影変換後に長方形となる当該各メッシュ領域の各角部（各角点）の変換後の座標を求め、変換後の画素毎に変換前の座標を補間演算により算出する。変換後の座標は、消失点および画像のアスペクト比、出力画像サイズ等から求めればよい。例えば、日本国内で広く使用されている印刷用紙のアスペクト比はほぼ１．４１：１である。本実施形態では、アスペクト比１．４１：１の画像を１０×５のメッシュ領域に分割しているので、各メッシュ領域のアスペクト比は７：１０の長方形で近似することができる。このように、画像の大きさに応じて、メッシュ適合処理が完了したメッシュを、メッシュと同数の７：１０の矩形領域からなる長方形にマッピングすることで逆射影変換処理を行うことができる。

図１０は逆射影変換前の原稿画像とメッシュを示す説明図であり、図１１は逆射影変換後の原稿画像とメッシュを示す説明図である。なお、図１１は、逆写像変換後の座標の出力サイズが７００画素×５００画素である場合の例を示している。また、図１１では、左上の角部の座標を［０，０］としている。

例えば、図１０に示したメッシュ領域Ａを逆射影変換する場合を考える。

図１１における各長方形の交点が、変換前の各メッシュの交点（各メッシュ領域の角部）に対応づけられる。逆射影変換後の各画素の座標値は、変換前の座標を、例えば直線補間により算出し、算出した座標値をさらに補間することにより算出される。

図１２は、図１０に示したメッシュ領域Ｍを、図１１に示した出力サイズ（７００画素×５００画素）に対応する座標系の長方形のメッシュ領域Ｍ’に逆射影変換処理する場合の演算方法を示す説明図である。

図１２に示したように、変換前の座標系におけるメッシュ領域Ｍの各角部Ａ，Ｂ，Ｃ，Ｄの座標は、Ａ（１００，１５０），Ｂ（２００，１６０），Ｃ（１０５，２５５），Ｄ（２１０，２７５）である。また、上記各角部Ａ，Ｂ，Ｃ，Ｄに対応する、変換後の座標系（出力サイズに対応する座標系）におけるメッシュ領域Ｍ’の各角部Ａ’，Ｂ’，Ｃ’，Ｄ’の座標はＡ’（３００，０），Ｂ’（４００，０），Ｃ’（３００，７０），Ｄ’（４００，７０）である。

この例において、変換後の座標系におけるＥ’（３２０，４０）に対応する変換前の座標系における点Ｅ（ｘ，ｙ）の座標は以下に示す演算により求められる。

変換後の座標系における、点Ｅ’を通りｙ軸方向に平行な直線と角部Ａ’ と角部Ｂ’とを結ぶ直線Ａ’Ｂ’との交点Ｆ’は直線Ａ’Ｂ’を２：８に内分する点であるから、一般的な線形補間により、点Ｅ’の座標はＦ’＝（８×Ａ’＋２×Ｂ’）／１０である。同様に、変換後の座標系における、点Ｅ’を通りｙ軸方向に平行な直線と角部Ｃ’ と角部Ｄ’とを結ぶ直線Ｃ’Ｄ’との交点Ｇ’の座標はＧ’＝（８×Ｃ’＋２×Ｄ’）／１０である。

また、変換前の座標系における上記点Ｆ’，Ｇ’に対応する点Ｆ，Ｇの座標は、Ｆ＝（８×Ａ＋２×Ｂ）／１０、Ｇ＝（８×Ｃ＋２×Ｄ）／１０で表される。したがって、変換前の座標系における各角部Ａ，Ｂ，Ｃ，Ｄの座標は、Ａ（１００，１５０），Ｂ（２００，１６０），Ｃ（１０５，２５５），Ｄ（２１０，２７５）であるから、Ｆ（１２０，１５２）、Ｇ（１２６，２５９）が算出される。

また、変換後の座標系における点Ｅ’は直線Ｆ’Ｇ’を４：３に内分する点であるから、Ｅ’＝（３×Ｆ’＋４×Ｇ’）／７である。したがって、変換前の座標系における点Ｅの座標はＥ＝（３×Ｆ＋４×Ｇ）／７であり、Ｆ（１２０，１５２）、Ｇ（１２６，２５９）より、Ｅ＝（１２３．４３，２１３．１４）が算出される。

このような演算方法により、変換後の座標系におけるメッシュ領域Ｍ’内の複数の点に対応する変換前の座標系における座標を算出する。また、上記複数の点以外の各点について、当該対応する変換前の座標系における座標を補間演算により算出する。補間演算の方法は特に限定されるものではなく、例えば、線形補間、バイキュービック補間などを用いることができる。これにより、変換前の歪みのあるメッシュ領域Ｍを変換後の歪みのないメッシュ領域Ｍ’に逆射影変換処理することができる。

なお、逆射影変換後の各画素の画素値（ＲＧＢ値）を、逆変換処理前の座標系における当該画素に対応する位置の近傍の画素の画素値を用いた補間演算により算出してもよい。

また、逆射影変換処理の演算方法は上述した方法に限るものではない。例えば、各点についての変換後の座標と変換前の座標との対応関係を算出する際に、消失点からの距離に応じた係数（例えば消失点に近い領域ほど大きい値に設定される係数）を乗算するようにしてもよい。これにより、より正確な逆射影変換処理を行うことができ、また、歪みの度合いが大きい画像の場合であっても正確な逆射影変換処理を行うことができる。

なお、本実施形態では、メッシュ適合処理が完了したメッシュ内における所定方向に沿った所定幅の細長い片（画像領域）毎に逆射影変換を適用する。ただし、これに限らず、例えば、メッシュ適合処理が完了したメッシュ内の区画（画像領域）毎に逆射影変換を適用してもよい。また、メッシュ適合処理が完了したメッシュ内の区画のうち、外縁部の曲率（屈曲の度合）が大きい区画を、より小さい区画（小区画）に細分化（再分割）し、再分割した区画毎に逆射影変換を施すようにしてもよい。

その後、表示制御部３２は、平坦化されたページ画像を表示部１１に表示させ（ステップ７３４）、歪み補正処理を終了する。なお、平坦化されたページ画像の印刷処理を行ったり、他の装置に送信する処理を行ったり、所定の保存先に保存する処理を行ったりするようにしてもよい。

一方、ステップ７２８において取得したタッチ操作がメッシュ適合処理の完了を示すものではないと判断した場合（矢印７３６）、メッシュ制御部３４は、ユーザのタッチ操作位置に最も近い中間制御点を決定し（ステップ７３８）、タッチ操作の開始点からタッチ操作の終了点までのタッチ移動操作を解析する。また、メッシュ制御部３４は、上記の最も近い中間制御点に対応するエッジ曲線（上辺または下辺）を、タッチ移動操作に対応する上記中間制御点をタッチ移動操作に応じて移動させることにより調整する（ステップ７４０）。例えば、第１方向への第１長さのタッチ移動操作が最も近い中間制御点に適用される。この際、上辺または下辺のうちの一方の中間制御点を移動させることにより、当該中間制御点の移動量に応じてメッシュの上辺または下辺が変化し、メッシュの各区画の形状が変化する。

次に、表示制御部３２は、メッシュ制御部３４によってエッジ調整されたメッシュ（上辺および／または下辺が調整されたメッシュ）をページ画像に重畳表示させる（ステップ７４２）。上記のエッジ調整されたメッシュは、４つの角部（ページ画像の左上角部に対応する左上角部、ページ画像の右上角部に対応する右上角部、ページ画像の右下角部に対応する右下角部、およびページ画像の左下角部に対応する左下角部）と、上辺（上部３次ベジェ曲線エッジ）と、下辺（下部３次ベジェ曲線エッジ）とを含んでいる。上辺の左上角部と下辺の左下角部とは左辺によって接続されている。また、上辺の右上角部と下辺の右下角部とは右辺によって接続されている。上辺をパラメータｔに基づいて等間隔に分割した各等間隔点は、下辺をパラメータｔに基づいて等間隔に分割した等間隔点のうちの対応する点に対して複数の直線によりそれぞれ接続されている。本実施形態では、４つの直線に対して、パラメータｔとして値０．２，０．４，０．６，０．８がそれぞれ対応付けられている。パラメータｔは、上辺および下辺の左端を０、右端を１とした場合の各等間隔点の位置を示している。エッジを調整したメッシュ内の区画は、当該メッシュにおける互いに隣接する垂直方向の直線を等間隔に分割した等間隔点を接続することにより形成されている。本実施形態では、上記メッシュ内における６本の垂直方向の直線のそれぞれが１１本の線分で分割されており、それによって５０個の区画が形成されている。なお、最新のメッシュを重畳表示させたときに、それ以前に重畳表示されていたメッシュを消去するようにしてもよい。

本実施形態では、ユーザがエッジ（上辺または下辺）をドラッグ操作すると、メッシュ制御部３４が当該ドラッグ操作に対応する中間制御点を当該ドラッグ操作に応じて移動させたメッシュ（エッジを調整中のメッシュ）を順次生成し、表示制御部３２がメッシュ制御部３４により生成された上記メッシュを表示部１１に順次表示させるようになっている。これにより、ドラッグ操作に応じたメッシュが連続的に表示される。

ステップ７４２においてエッジ調整したメッシュをページ画像に重畳表示させた後、入力受付部３３は、ステップ７２６に戻り（矢印７４４）、タッチ操作を示す情報を再取得する。

〔実施形態２〕
上述した実施形態１では、メッシュ適合処理が完了したか否かを、ユーザの操作入力に基づいて判断していたが（図７のステップ７２８）、これに限るものではない。例えば、メッシュ制御部３４が、ページ画像の上辺および下辺と、メッシュ適合処理により生成されたメッシュの上辺および下辺に対応する３次ベジェ曲線との一致度を算出し、算出した一致度が所定の閾値以上である場合にメッシュ適合処理が完了したと判断するようにしてもよい。

上記一致度の算出方法は特に限定されるものではないが、例えば、画像より抽出したエッジ画素の各点（あるいはエッジ画素の代表点）とベジェ曲線との間の距離をそれぞれ求め、各点について求められた上記距離の総和を一致度としてもよい。

図１３は、ｘ方向についての１０画素毎の代表点（図中の＋印参照）とベジェ曲線とを示している。各代表点とベジェ曲線との間の距離の算出方法は特に限定されるものではないが、例えば、（１）一次微分の法線を算出し、代表点を通りベジェ曲線と直交する直線を算出し、算出した直線に基づいて代表点とベジェ曲線との最短距離を上記距離として算出する方法や、（２）代表点とベジェ曲線とのｙ座標の差の絶対値を上記距離として算出する簡易的な方法などを用いることができる。

〔実施形態３〕
上述した実施形態１では、画像補正部３５が逆射影変換によりページ画像の平坦化を行った後、平坦化されたページ画像を表示部１１に表示させて処理を終了しているが、これに限るものではない。例えば、平坦化されたページ画像を表示部１１に表示させた後、ユーザの指示に応じて（例えば対話的処理により）、処理を終了するか（図７のステップ７２６、あるいはステップ７０６）に戻ってメッシュの調整処理を再度行うかを判断するようにしてもよい。

〔実施形態４〕
上述した実施形態１では、見開き書籍の１ページ毎について歪み補正処理を行う構成について説明したが、これに限るものではない。例えば、見開き書籍を開いた状態で撮像される２ページ（綴じ部を介して互いに接続された２ページ）毎にメッシュの生成処理および調整処理を行い、これら２ページに対して歪み補正処理を施すようにしてもよい。この際、例えば、制御部３１が上記２ページの中央部（綴じ部）を検出し、中央部を挟んで両側に存在するページ毎にメッシュの生成処理および調整処理を行うようにしてもよい。上記中央部の検出方法は特に限定されるものではないが、例えば、原稿領域の中央付近にあるエッジを抽出することにより検出する方法を用いることができる。

〔実施形態５〕
上記各実施形態において、表示制御部３２が処理の進行状態に応じた操作入力をユーザに促すメッセージを表示部１１に表示させ、ユーザが表示部１１に表示されるメッセージを参照して操作入力を行えるようにしてもよい。また、メッセージを表示させるか否かをユーザが設定できるようにしてもよい。

〔実施形態６〕
上述した各実施形態における制御部３１の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、制御部３１の各ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１にかかる画像処理システム１は、原稿を読み取って取得した原稿画像における上記原稿の歪み状態を示す歪みモデル（メッシュ、メッシュ画像）を作成する画像処理システム１であって、表示装置１０と、上記表示装置１０の表示を制御する表示制御部３２と、上記歪みモデルを作成する歪みモデル作成部（メッシュ制御部３４）と、ユーザからの指示入力を受け付ける入力受付部３３とを備え、上記表示制御部３２は、矩形形状のメッシュ画像を上記原稿画像に重畳させて上記表示装置１０に表示させ、上記歪みモデル作成部（メッシュ制御部３４）は、矩形形状の上記メッシュ画像の形状をユーザからの指示入力に応じて上記原稿画像の形状に近づけるように変形させることにより、上記歪みモデルを作成することを特徴としている。

上記の構成によれば、ユーザの指示入力に応じてメッシュ画像の形状を原稿画像の形状に近づけるように変形させることで、原稿の歪み状態を示す歪みモデルを簡易な処理で適切に作成することができる。また、原稿画像がフラットベッド型のスキャナにより撮像された画像ではない場合（例えば上向きに開かれた状態で卓上等に載置された製本原稿を撮像して取得した原稿画像の場合）であっても、原稿画像の歪みモデルを適切に作成することができる。

本発明の態様２にかかる画像処理システム１は、態様１において、上記歪みモデル作成部（メッシュ制御部３４）は、矩形形状の上記メッシュ画像の各角部をユーザからの第１指示入力に応じて上記原稿の角部に近づけるように移動させる第１処理と、上記第１処理が施されたメッシュ画像における互いに対向する２辺をユーザからの第２指示入力に応じて上記原稿における上記２辺に対応する各辺にそれぞれ近づけるように変形させる第２処理とを行うことにより、上記歪みモデルを作成する構成である。

上記の構成によれば、ユーザは、矩形形状のメッシュ画像の角部を原稿の角部に近づけるための第１指示入力と、メッシュ画像の２辺を原稿における対応する辺に近づけるための第２指示入力とを行うことにより、画像処理システムに容易に歪みモデルを作成させることができる。

本発明の態様３にかかる画像処理システム１は、態様２において、上記原稿は綴じ部を中心として開閉可能に綴じられた見開き原稿であり、上記原稿における上記各辺は、上記綴じ部の延伸方向に交差する方向に延伸する辺である構成である。

上記の構成によれば、見開き原稿を読み取る際に原稿画像に歪みが生じた場合であっても、当該歪みの状態を示す歪みモデルを適切に作成することができる。

本発明の態様４にかかる画像処理システム１は、態様２または３において、上記入力受付部３３は、上記表示装置１０の表示画面に対するユーザのタッチ操作による指示入力を受け付けるものであり、上記第１指示入力は、上記表示画面における上記原稿の角部の近傍にタッチしてドラッグ操作を行うことにより入力され、上記第２指示入力は、上記２辺に設けられた複数の中間制御点のうちの操作対象の中間制御点の近傍にタッチしてドラッグ操作を行うことにより入力される構成である。

上記の構成によれば、ユーザは、表示画面に対するタッチ操作によって画像処理システムに容易に歪みモデルを作成させることができる。

本発明の態様５にかかる画像処理システム１は、態様２から４のいずれかにおいて、上記歪みモデル作成部（メッシュ制御部３４）は、上記第２処理において上記メッシュ画像における上記２辺をベジェ曲線によりモデル化する構成である。

上記の構成によれば、原稿画像に生じた歪みを適切にモデル化することできる。

本発明の態様６にかかる画像処理システム１は、態様４において、上記入力受付部３３は、上記表示画面に対するタッチ操作の開始点が上記原稿の角部の表示位置から所定範囲内の位置であり、かつ当該開始点からドラッグ操作が行われた場合に、当該タッチ操作を上記第１指示入力として検出する構成である。

上記の構成によれば、入力受付部３３が、矩形形状のメッシュ画像の各角部を原稿の角部に近づけるためのユーザからの第１指示入力を適切に検出することができる。

本発明の態様７にかかる画像処理システム１は、態様４において、上記入力受付部３３は、上記表示画面に対するタッチ操作の開始点が上記中間制御点のいずれかから所定範囲内の位置であり、かつ当該開始点からドラッグ操作が行われた場合に、当該タッチ操作を、当該中間制御点を操作対象とする上記第２指示入力として検出し、上記歪みモデル作成部（メッシュ制御部３４）は、操作対象の上記中間制御点を、上記ドラッグ操作の移動方向および移動距離に応じて移動させる構成である。

上記の構成によれば、入力受付部３３が、メッシュ画像における互いに対向する２辺を原稿における対応する辺に近づけるためのユーザからの第２指示入力を適切に検出することができる。

本発明の態様８にかかる画像処理システム１は、態様２から７のいずれかにおいて、上記歪みモデル作成部（メッシュ制御部３４）は、上記第２処理を施したメッシュ画像の各区画のうち、境界部の曲率が所定の閾値以上である区画をさらに複数の小区画に細分化し、細分化後のメッシュ画像を上記歪みモデルとする構成である。

上記の構成によれば、メッシュ画像の区画のうち境界部の曲率が所定の閾値以上である区画をさらに細分化することで、原稿画像における歪みの程度が大きい箇所をより適切にモデル化することができる。

本発明の態様９にかかる画像処理システム１は、態様２から８のいずれかにおいて、上記歪みモデル作成部は（メッシュ制御部３４）、上記第１指示入力が行われている期間中に、入力済みの当該第１指示入力に応じた上記第１処理を順次行い、上記表示制御部は、上記原稿画像に重畳表示させる上記メッシュ画像を、上記歪みモデル作成部によって上記第１処理が行われたメッシュ画像に順次更新する構成である。

上記の構成によれば、ユーザがドラッグ操作中に当該ドラッグ操作に応じて更新されるメッシュ画像を順次確認しながら操作を行うことができるので、操作を容易かつ適切に行うことができる。

本発明の態様１０にかかる画像処理システム１は、態様１から９のいずれかにおいて、上記歪みモデル作成部（メッシュ制御部３４）の作成した歪みモデルに基づいて上記原稿画像に対して歪み補正処理を施す画像補正部３５を備えている構成である。

上記の構成によれば、作成された歪みモデルに基づいて原稿画像の歪みを補正することができる。

本発明の態様１１にかかる画像処理システム１は、態様１０において、上記画像補正部３５は、上記原稿の画像データに対して上記歪みモデルに基づく逆射影変換を施すことにより、上記歪み補正処理を行う構成である。

上記の構成によれば、歪みモデルに基づく逆射影変換により原稿画像の歪みを適切に補正することができる。

本発明の態様１２にかかる画像処理方法は、原稿を読み取って取得した原稿画像における上記原稿の歪みを示す歪みモデルを作成する画像処理方法であって、矩形形状のメッシュ画像を上記原稿画像に重畳させて表示装置に表示させる工程と、上記メッシュ画像の形状を上記原稿画像の形状に近づけるためのユーザからの指示入力を受け付ける工程と、上記メッシュ画像の形状をユーザからの指示入力に応じて上記原稿画像の形状に近づけるように変形させることにより、上記歪みモデルを作成する工程とを含むことを特徴としている。

上記の方法によれば、ユーザの指示入力に応じてメッシュ画像の形状を原稿画像の形状に近づけるように変形させることで、原稿の歪み状態を示す歪みモデルを簡易な処理で適切に作成することができる。また、原稿画像がフラットベッド型のスキャナにより読み取られた画像ではない場合（例えば上向きに開かれた状態で卓上等に載置された製本原稿を撮像して取得した原稿画像の場合）であっても、原稿画像の歪みモデルを適切に作成することができる。

なお、各図面に示した構成は一般的な構成であり、本発明の構成は様々な異なる形態に変形あるいは設計可能である。すなわち、上述した本発明の方法、システム、および装置は、単に本発明の好ましい実施形態の一例を示したものであり、本発明の概念を制限することを意図したものではない。

また、上述した実施形態において、フローチャートや図面には処理の順序を特定の順序で記載しているが、これに限るものではなく、他の順序に変更してもよい。例えば、各処理の順序を図示されている順序から変更してもよい。また、図面において連続して示されている２つ以上の処理を並行して行ってもよく、部分的に並行して行ってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、原稿を読み取って得られる原稿画像における上記原稿の歪み状態を示す歪みモデルを作成する画像処理システムおよび画像処理方法に適用することができ、見開き書籍（見開き原稿）の原稿画像における上記歪みモデルの作成に特に適している。

１ 画像処理システム
１０ 表示装置
１１ 表示部
１２ 操作入力部
２０ 画像読取装置
３０ 画像処理装置
３１ 制御部
３２ 表示制御部
３３ 入力受付部
３４ メッシュ制御部（歪みモデル作成部）
３５ 画像補正部
３６ 画像取得部
３７ 記憶部

Claims (12)

1. 原稿を読み取って取得した原稿画像における上記原稿の歪み状態を示す歪みモデルを作成する画像処理システムであって、
   表示装置と、
   上記表示装置の表示を制御する表示制御部と、
   上記歪みモデルを作成する歪みモデル作成部と、
   ユーザからの指示入力を受け付ける入力受付部とを備え、
   上記表示制御部は、矩形形状のメッシュ画像を上記原稿画像に重畳させて上記表示装置に表示させ、
   上記歪みモデル作成部は、矩形形状の上記メッシュ画像の形状をユーザからの指示入力に応じて上記原稿画像の形状に近づけるように変形させることにより、上記歪みモデルを作成することを特徴とする画像処理システム。
2. 上記歪みモデル作成部は、
   矩形形状の上記メッシュ画像の各角部をユーザからの第１指示入力に応じて上記原稿の角部に近づけるように移動させる第１処理と、
   上記第１処理が施されたメッシュ画像における互いに対向する２辺をユーザからの第２指示入力に応じて上記原稿における上記２辺に対応する各辺にそれぞれ近づけるように変形させる第２処理とを行うことにより、上記歪みモデルを作成することを特徴とする請求項１に記載の画像処理システム。
3. 上記原稿は綴じ部を中心として開閉可能に綴じられた見開き原稿であり、
   上記原稿における上記各辺は、上記綴じ部の延伸方向に交差する方向に延伸する辺であることを特徴とする請求項２に記載の画像処理システム。
4. 上記入力受付部は、上記表示装置の表示画面に対するユーザのタッチ操作による指示入力を受け付けるものであり、
   上記第１指示入力は、上記表示画面における上記原稿の角部の近傍にタッチしてドラッグ操作を行うことにより入力され、
   上記第２指示入力は、上記２辺に設けられた複数の中間制御点のうちの操作対象の中間制御点の近傍にタッチしてドラッグ操作を行うことにより入力されることを特徴とする請求項２または３に記載の画像処理システム。
5. 上記歪みモデル作成部は、上記第２処理において上記メッシュ画像における上記２辺をベジェ曲線によりモデル化することを特徴とする請求項２から４のいずれか１項に記載の画像処理システム。
6. 上記入力受付部は、上記表示画面に対するタッチ操作の開始点が上記原稿の角部の表示位置から所定範囲内の位置であり、かつ当該開始点からドラッグ操作が行われた場合に、当該タッチ操作を上記第１指示入力として検出することを特徴とする請求項４に記載の画像処理システム。
7. 上記入力受付部は、
   上記表示画面に対するタッチ操作の開始点が上記中間制御点のいずれかから所定範囲内の位置であり、かつ当該開始点からドラッグ操作が行われた場合に、当該タッチ操作を、当該中間制御点を操作対象とする上記第２指示入力として検出し、
   上記歪みモデル作成部は、操作対象の上記中間制御点を、上記ドラッグ操作の移動方向および移動距離に応じて移動させることを特徴とする請求項４に記載の画像処理システム。
8. 上記歪みモデル作成部は、上記第２処理を施したメッシュ画像の各区画のうち、境界部の曲率が所定の閾値以上である区画をさらに複数の小区画に細分化し、細分化後のメッシュ画像を上記歪みモデルとすることを特徴とする請求項２から７のいずれか１項に記載の画像処理システム。
9. 上記歪みモデル作成部は、上記第１指示入力が行われている期間中に、入力済みの第１指示入力に応じた上記第１処理を順次行い、
   上記表示制御部は、上記原稿画像に重畳表示させる上記メッシュ画像を、上記歪みモデル作成部によって上記第１処理が行われたメッシュ画像に順次更新することを特徴とする請求項２から８いずれか１項に記載の画像処理システム。
10. 上記歪みモデル作成部の作成した歪みモデルに基づいて上記原稿画像に対して歪み補正処理を施す画像補正部を備えていることを特徴とする請求項１から９のいずれか１項に記載の画像処理システム。
11. 上記画像補正部は、上記原稿の画像データに対して上記歪みモデルに基づく逆射影変換を施すことにより、上記歪み補正処理を行うことを特徴とする請求項１０に記載の画像処理システム。
12. 原稿を読み取って取得した原稿画像における上記原稿の歪みを示す歪みモデルを作成する画像処理方法であって、
    矩形形状のメッシュ画像を上記原稿画像に重畳させて表示装置に表示させる工程と、
    上記メッシュ画像の形状を上記原稿画像の形状に近づけるためのユーザからの指示入力を受け付ける工程と、
    上記メッシュ画像の形状をユーザからの指示入力に応じて上記原稿画像の形状に近づけるように変形させることにより、上記歪みモデルを作成する工程とを含むことを特徴とする画像処理方法。

Images