JP2013192100A - 画像処理装置およびこれを備えた原稿読取システム - Google Patents

Abstract

【課題】書籍などの製本された原稿の紙面を撮影した撮影画像において、見開きページの角点の位置を効率良く推定する。
【解決手段】画像処理装置（ＰＣ）３が、撮影画像における複数のエッジ画素を抽出するエッジ抽出部３２と、エッジ画素に基づき原稿の外形輪郭における角点である外形角点および原稿の綴じ中心線の端点であるのど点を検出する角点・のど点検出部３３とを備え、角点・のど点検出部は、外形角点Ｃ１〜Ｃ４およびのど点Ｄ１、Ｄ２の位置情報に基づき、見開きページの角点であるページ角点Ｅ１〜Ｅ４の存在領域を推定し、当該存在領域内においてページ角点を検出する構成とする。
【選択図】図２

Description

本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。

本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。

この種の書画カメラで書籍などの製本された原稿を読み取る場合、ページの境界（上下左右の外形輪郭）の情報は種々の画像処理を実施する際に重要となる。そこで、ページ境界を正確に検出するための技術として、文書画像から検出したエッジ画像において上下のページ境界を検出するステップと、これら上下のページ境界における左右ページの交点を探索することにより綴じ中心線を検出するステップと、文書画像のページ幅を判定するステップと、上下のページ境界、綴じ中心線、ページ幅に基づき左右のページ境界を判定するステップとを実行するものが知られている（特許文献２参照）。

特開２００１−１０３２４０号公報 特開２０１１−１８１０７１号公報

ところで、上述のページ境界の情報としては、見開きページの４つの角点の位置情報が特に有用である。しかしながら、上記特許文献２に記載の従来技術では、ページの角点は、例えばページの上側ページ境界の直線部分とこれに接続される直線との交点として検出されるが、ページ角点が存在する可能性の高い領域等が考慮されていないため、検出処理の効率が低いという問題があった。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、書籍などの製本された原稿の紙面（見開きページ）を撮影した撮影画像において、見開きページの角点の位置を効率良く推定可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。

本発明の画像処理装置は、製本された原稿の見開きページを撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき前記原稿の外形輪郭における角点である外形角点および前記原稿の綴じ中心線の端点であるのど点を検出する角点・のど点検出部とを備え、前記角点・のど点検出部は、前記外形角点および前記のど点の位置情報に基づき、前記見開きページの角点であるページ角点の存在領域を推定し、当該存在領域内において前記ページ角点を検出することを特徴とする。

このように本発明によれば、書籍などの製本された原稿の紙面（見開きページ）を撮影した撮影画像において、見開きページの角点の位置を効率良く推定可能となるという優れた効果を奏する。

実施形態に係る原稿読取システム１を示す全体構成図 図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図 図１中の原稿読取システム１による原稿読取手順の要部を示すフロー図 図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図 図３中のエッジ抽出（ＳＴ１０２）により取得された撮影画像の一例を示す模式図 図３中の外形角点検出（ＳＴ１０３）の結果一例を示す模式図 図３中ののど点検出（ＳＴ１０５）の結果一例を示す模式図 図３中のページ角点検出（ＳＴ１０６）の結果一例を示す模式図 図３中の平面化（ＳＴ１０７）の処理の概要を示す説明図 図３中の外形角点検出（ＳＴ１０３）の詳細を示すフロー図 図１０中のエッジ検索（ＳＴ２０１）の処理の一例を示す説明図 図１０中の角点推定（ＳＴ２０３）の処理の一例を示す説明図 図１０中の角点の有効性判定（ＳＴ２０４）の処理の一例を示す説明図 図３中ののど点検出（ＳＴ１０４）の詳細を示すフロー図 図１４中の第１エリア設定（ＳＴ３０１）の処理の概要を示す説明図 図１４中の第２エリア設定（ＳＴ３０２）の処理の概要を示す説明図 図３中のページ角点検出（ＳＴ１０５）の詳細を示すフロー図 図１７中のＳＴ４０１〜ＳＴ４０３における処理の概要を示す説明図 図１７中のページ角点検出（ＳＴ４０４）の処理の概要を示す説明図 図１９に示したページ角点検出（ＳＴ４０４）の処理の変形例を示す説明図 図３中の平面化（ＳＴ１０６）の詳細を示すフロー図 図２１中の歪曲成分抽出（ＳＴ５０１）の処理の概要を示す説明図 図２１中のメッシュライン生成（ＳＴ５０５）の処理の概要を示す説明図

上記課題を解決するためになされた第１の発明に係る画像処理装置は、製本された原稿の見開きページを撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき前記原稿の外形輪郭における角点である外形角点および前記原稿の綴じ中心線の端点であるのど点を検出する角点・のど点検出部とを備え、前記角点・のど点検出部は、前記外形角点および前記のど点の位置情報に基づき、前記見開きページの角点であるページ角点の存在領域を推定し、当該存在領域内において前記ページ角点を検出する構成とする。

これによると、外形角点およびのど点に基づき推定したページ角点の存在領域内においてページ角点を検出するため、書籍などの製本された原稿の紙面（見開きページ）を撮影した撮影画像において、見開きページの角点の位置を効率良く推定することが可能となる。

また、第２の発明は、前記角点・のど点検出部は、前記原稿の上下方向の一方側において左右に位置する２つの前記角点および前記のど点を含むように設定した第１の領域と、前記原稿の左右方向の一方側において上下に位置する２つの前記角点を含むように設定した第２の領域とを設定し、それら第１および第２の領域の重複領域を前記存在領域と推定する構成とする。

これによると、ページ角点の存在領域を簡易な処理によって精度良く設定することが可能となる。

また、第３の発明は、前記角点・のど点検出部は、前記撮影画像において４つの前記外形角点を含む全体領域を設定すると共に、当該全体領域を左右方向に複数分割した分割領域を設定し、当該複数の分割領域の中央に位置する中央領域内において前記のど点を検出する構成とする。

これによると、ページ角点の存在領域の推定に用いるのど点を簡易な処理によって精度良く設定することが可能となる。

また、第４の発明は、上記第１から第３の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システムである。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、第１実施形態に係る原稿読取システム１を示す全体構成図である。この原稿読取システム１は、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。

書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状の脚７と、この脚７に支持され、斜め上方に伸縮自在のアーム８とを有している。アーム８は、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の光軸方向（撮影方向）を調整可能となっている。

ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の少なくとも一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。

また、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。この場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。

書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に本Ｂを開いた状態で載置することにより、本Ｂの見開き２ページと本Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対して表示される。なお、原稿読取システム１が読み取る原稿は、本に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。

図２は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。

書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。

ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部（撮影画像取得部）２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、画像の平面化等の補正処理を行う画像補正部３１を有している。画像補正部３１によって処理される撮影画像データは画像データ記憶部３７から読み出され、また、後述する画像補正部３１での処理に用いられる各種パラメータの情報はパラメータ記憶部３８から読み出される。

ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。或いは、ＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３７およびパラメータ記憶部３８は汎用のメモリからなる。

ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３７に格納し、必要に応じてその撮影画像データを画像補正部３１に出力する。そして、画像補正部３１は、撮像画像について所要の補正処理（ここでは、平面化）を行う。補正処理がなされた撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。

画像補正部３１は、撮影画像について複数のエッジ画素を抽出して二値化したエッジ画像を取得するエッジ抽出部３２と、製本された（背の部分が綴じられた）本Ｂの４つの角点（いわゆる表紙の「かど」を指す。以下、外形角点という。）、本Ｂの左右のページの境界線（綴じ中心線）をなすのど部の上下の端点（以下、のど点という。）、及び見開きページにおける４つの角点（以下、ページ角点という。）を検出する角点・のど点検出部３３と、ページが浮き上がるなどして歪んだ画像を平面化する平面化処理部３４とを有している。なお、上述の「製本」とは、書籍の本文で使用している紙よりも厚い紙を表紙として糸、針金や接着剤で中身を綴じることをいい、表紙を段ボール紙に貼った上製本のみならず、いわゆる並製本（表紙と中身の紙を同じものにしたものも含む）も含まれる。

また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。

図３は図１の原稿読取システム１による原稿読取手順の要部を示すフロー図であり、図４は図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図であり、図５はエッジ抽出（ＳＴ１０２）により取得された撮影画像の一例を示す模式図であり、図６、図７及び図８はそれぞれ外形角点検出（ＳＴ１０３）、のど点検出（ＳＴ１０４）及びページ角点検出（ＳＴ１０６）の結果一例を示す模式図であり、図９は平面化（ＳＴ１０７）の処理の概要を示す説明図である。

まず、ユーザは、読取位置（書画カメラ２の撮影可能位置）に本Ｂを開いた状態でセットし、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。これにより、画像の入力、すなわち書画カメラ２での撮像が開始されてその撮影画像データがＰＣ３に順次送信される（ＳＴ１０１）。

ここで、撮影画像は、例えば図４に示すように、書画カメラ２の矩形の撮影エリア４０により画定され、この撮影エリア４０内には本Ｂの画像とその背景となる載置面６の画像とが含まれる。中央ののど部４２によって仕切られた左右の紙面（見開きページ）４１Ｌ、４１Ｒには、ここでは図示を省略するが、それぞれ文字や記号等が表示される文章領域や、図面や写真等が表示される図形枠等が含まれている。

再び図３を参照して、ＰＣ３では、書画カメラ２から受信した撮影画像データを画像データ入力部２２が画像データ記憶部３７に格納した後、エッジ抽出部３２は、例えば図５に示すように、撮影画像において輝度が急激に変化する部位をエッジ画素として抽出することにより二値化したエッジ画像を取得する（ＳＴ１０２）。なお、図５では破線部分がエッジに相当している。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。

後に詳述するが、角点・のど点検出部３３は、例えば図６に示すように、略矩形をなす本Ｂの外形輪郭における４つの外形角点Ｃ１〜Ｃ４を検出する（ＳＴ１０３）。ここで検出される外形角点Ｃ１〜Ｃ４は、紙面４１Ｌ、４１Ｒよりもややサイズの大きい表紙（外装）４３の四隅となる。続いて、角点・のど点検出部３３は、例えば図７に示すように、検出した外形角点Ｃ１〜Ｃ４（図６参照）の位置情報に基づき、本Ｂののど部４２における上下の端点であるのど点Ｄ１、Ｄ２を検出する（ＳＴ１０４）。

その後、角点・のど点検出部３３は、例えば図８に示すように、外形角点Ｃ１〜Ｃ４（図６参照）およびのど点Ｄ１、Ｄ２（図７参照）の位置情報に基づき、ページ角点Ｅ１〜Ｅ４を検出する（ＳＴ１０５）。

平面化処理部３４は、上述のように検出されたのど点Ｄ１、Ｄ２およびページ角点Ｅ１〜Ｅ４等の位置情報に基づき、例えば図９（Ａ）に示すように歪みのある紙面（ここでは右紙面４１Ｒのみを示している。）の画像を図９（Ｂ）に示すように平面化する処理を行う（ＳＴ１０６）。

図１０は図３中の外形角点検出（ＳＴ１０３）の詳細を示すフロー図であり、図１１、図１２及び図１３はそれぞれ図１０中のエッジ検索（ＳＴ２０１）、角点推定（ＳＴ２０３）及び角点の有効性判定（ＳＴ２０４）の処理の一例を示す説明図である。

図１０に示すように、まず角点・のど点検出部３３は、撮影エリア４０の四方から対角線上にエッジ画素を検索する（ＳＴ２０１）。より詳細には、図１１に示すように、矩形をなす撮影エリア４０において互いに直交する２辺に沿った座標軸（Ｘ軸およびＹ軸）に対して所定角度（ここでは±４５度）傾斜した仮想直線Ｌ１〜Ｌ４を、撮影画像の４つの頂点４５ａ〜４５ｄを始点として、その始点から対角線上を撮影画像の中心に向かって、所定の移動間隔で段階的に平行移動させながら、仮想直線Ｌ１〜Ｌ４との交点（エッジ画素）を収集する。この仮想直線Ｌ１〜Ｌ４の移動は、後に外形角点を推定可能な所定数の交点が検出されるまで実施される。

ここで、仮想直線については、始点から最初の交点が検出されるまでは、仮想直線Ｌ１〜Ｌ４を第１の移動間隔step1で大きく移動させ、交点が検出されると、その直前の位置から仮想直線を第２の移動間隔step2で細かく移動させるとよい。

このように傾斜した仮想直線を所定の移動間隔で段階的に平行移動させながら、輪郭成分と仮想直線との交点を収集すると、仮想直線が本Ｂの外形の角点輪郭に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れるため、この交点の出現状況から原稿の外形輪郭の角点（外形角点）を精度よく検出することができる。ただし、実際問題として、書籍等の外形角点の形状は鈍っていることが多く、本実施形態では、以下のように外形角点の位置を推定によって求めている。

まず、角点・のど点検出部３３は、ＳＴ２０１で検索されたエッジ画素から外形角点を推定するための直線を検出する（ＳＴ２０２）。例えば、図１２に示すように、本Ｂの左下の角領域において、概ねＸ軸方向に沿って存在する輪郭点Ｐｘ１、Ｐｘ２と、概ねＹ軸方向に沿って存在する輪郭点Ｐｙ１、Ｐｙ２とが、ＳＴ２０１においてエッジ画素として検索された場合、角点・のど点検出部３３は、輪郭点Ｐｘ１、Ｐｘ２を通る直線Ｌｘと、輪郭点Ｐｙ１、Ｐｙ２を通る直線Ｌｙとをそれぞれ検出することができる。そして、角点・のど点検出部３３は、直線Ｌｘと直線Ｌｙとの交点を外形角点Ｃとして設定する（ＳＴ２０３）。

ここで、より多くの輪郭点が存在する場合には、それらのうちの２点に基づき複数の直線が抽出される（複数の交点が算出される）が、直線同士の角度θａや２点の位置関係に基づき最適な交点を選択することができる。また、輪郭成分において外形線の２辺が閉じている（すなわち角点付近の画素が連続している）場合には、仮想直線Ｌ１〜Ｌ４を始点から平行移動させて、最初に検出した交点を外形角点Ｃとして選定することができる。つまり、外形角点に仮想直線が接した場合、理想的には輪郭成分との交点は一つとなるため、接触したことをもって外形角点を検出するのである。また、仮想直線を対角方向にstep1の移動間隔で移動させ、交点を複数検出したならば、それまでの移動方向とは逆の方向（つまり、仮想直線Ｌ１の場合は頂点４５ａの方向）に細かく（例えばstep2で）移動させ、交点が１又は０となったことに基づき外形角点を検出するようにしてもよい。そして、これらの操作をstep幅を小さくしながら複数回繰り返すことで、理論上は外形角点の検出精度が向上する。さらに、載置面６の画像にノイズ成分が存在する場合には、予め除去しておくとよい。

本Ｂの４つの外形角点を設定した後に、角点・のど点検出部３３は、それら角点の位置関係から設定した外形角点の有効性を判断する（ＳＴ２０４）。ここでの有効性は、例えば、図１３に示すように、４つの外形角点Ｃ１〜Ｃ４の位置関係（角点間の距離の比較、各外形角点を結ぶ線分のなす角度の比較）等に基づき、外形角点Ｃ１〜Ｃ４が略矩形状に配置されているか否かにより判断する。

そして、角点・のど点検出部３３は、全ての外形角点Ｃ１〜Ｃ４が有効である場合（ＳＴ２０５；ＹＥＳ）には、外形角点検出処理を終了する。一方、角点・のど点検出部３３は、いずれかの外形角点が有効でないと判定した場合（ＳＴ２０５；ＮＯ）には、他の外形角点に基づき無効と判断した外形角点の座標を補正する（ＳＴ２０６）。例えば、図１３に示すように、紙面の図形枠の角等を検出することにより、誤った角点Ｃ３ｅが設定されていた場合、他の３つの外形角点Ｃ１、Ｃ２、Ｃ２から適切な位置に外形角点Ｃ３を設定することができる。

なお、ＳＴ１０３における外形角点Ｃ１〜Ｃ４の検出は、上述の方法に限らず、他の周知の方法を用いて実行することが可能である。

図１４は図３中ののど点検出（ＳＴ１０４）の詳細を示すフロー図であり、図１５及び図１６はそれぞれ図１４中の第１エリア設定（ＳＴ３０１）および第２エリア設定（ＳＴ３０２）の処理の概要を示す説明図である。

図１４において、角点・のど点検出部３３は、のど部４２全体を含む縦長の第１エリアＲ１（図１５参照）を設定する（ＳＴ３０１）。

この第１エリアＲ１の設定では、角点・のど点検出部３３は、図１５に示すように、まずＳＴ１０３で取得した外形角点Ｃ１〜Ｃ４を内包する矩形の全体領域ＲＴを設定する。ここで、角点・のど点検出部３３は、外形角点Ｃ１〜Ｃ４の座標からＸ軸方向およびＹ軸方向の各々における最大値および最小値を取得する。そして、全体領域ＲＴのＸ軸方向に平行な上辺および下辺の位置を、それぞれＹ軸方向の最大値以上および最小値以下となるように設定し、また、全体領域ＲＴのＹ軸方向に平行な右辺および左辺の位置を、それぞれＸ軸方向の最大値以上および最小値以下となるように設定する。続いて、角点・のど点検出部３３は、全体領域ＲＴをＸ軸方向に均等に複数分割（ここでは、５分割）した分割領域ＲＤを設定し、これら分割領域ＲＤの中央に位置する領域を第１エリアＲ１とする。

なお、全体領域ＲＴの分割数については、ユーザが適宜設定することができる。分割数は、３以上の奇数として設定することが好ましいが、偶数とした場合には中央の２つの領域を第１エリアＲ１とする。

再び図１４を参照して、次に、角点・のど点検出部３３は、のど部４２の上端および下端がそれぞれ含まれる横長の第２エリアＲ２ａ、Ｒ２ｂ（図１６参照）を設定する（ＳＴ３０２）。

この第２エリアＲ２ａ、Ｒ２ｂは、図１６に示すように、外形角点Ｃ１、Ｃ２および外形角点Ｃ３、Ｃ４をそれぞれ含む矩形領域として設定される。ここで、角点・のど点検出部３３は、上述の第１エリアＲ１と同様に、全体領域ＲＴ（図１５参照）をＹ軸方向に均等に複数分割した分割領域（全ては図示せず）において最上部および最下部に位置する領域をそれぞれ第２エリアＲ２ａ、Ｒ２ｂとすることができる。

再び図１４を参照して、続いて、角点・のど点検出部３３は、第１エリアＲ１において、例えばハフ変換等を用いてエッジ画像における縦方向の直線（Ｙ軸方向と所定の閾値以下の角度をなす線分）を検出する（ＳＴ３０３）。そして、これら検出した直線に基づき、角点・のど点検出部３３は、第１エリアＲ１と第２エリアＲ２ａ、Ｒ２ｂとの重複領域ＲＶａ、ＲＶｂ（図１６参照）内においてのど点Ｄ１、Ｄ２を検出する（ＳＴ３０４）。ここでは、のど点を含む直線とその周辺のエッジ画素との形状（接続関係）を想定した複数の画像パターンを予め準備しておき、直線およびその周辺画素をそれらの画素パターンと比較することにより、のど点を検出することができる。

このような方法により、ページ角点の存在領域の推定に用いるのど点Ｄ１を簡易な処理によって精度良く設定することが可能となる。なお、ＳＴ１０４におけるのど点Ｄ１、Ｄ２の検出は、少なくとも重複領域ＲＶａ、ＲＶｂ内において実施される限りにおいて、上述の方法に限らず、他の周知の方法を用いて実行することが可能である。

図１７は図３中のページ角点検出（ＳＴ１０５）の詳細を示すフロー図であり、図１８は図１７中のＳＴ４０１〜ＳＴ４０３における処理の概要を示す説明図であり、図１９はページ角点検出（ＳＴ４０４）の処理の概要を示す説明図であり、図２０は図１９に示したページ角点検出（ＳＴ４０４）の処理の変形例を示す説明図である。

図１７において、角点・のど点検出部３３は、外形角点Ｃ３、Ｃ４およびのど点Ｄ４に基づき第３エリア（第１の領域）Ｒ３（図１８参照）を設定する（ＳＴ４０１）。

この第３エリアＲ３は、図１８に示すように、外形角点Ｃ３、Ｃ４およびのど点Ｄ２を含む横長の矩形領域として設定される。ここで、角点・のど点検出部３３は、外形角点Ｃ３、Ｃ４およびのど点Ｄ２の座標情報から、Ｘ軸方向およびＹ軸方向の各々における最大値および最小値を取得する。そして、Ｘ軸方向およびＹ軸方向の最大値に予め設定した所定量ΔＸmaxおよびΔＹmaxをそれぞれ加算すると共に、Ｘ軸方向およびＹ軸方向の最小値から所定量ΔＸminおよびΔＹminをそれぞれ減算することにより、矩形領域（第３エリアＲ３）の４辺の位置を決定する。また、場合によっては、第２エリアＲ２ａ（図１６参照）を第３エリアＲ３として使用してもよい。

なお、ここでは、上側の第３エリアＲ３についてのみ示すが、ＳＴ４０１では外形角点Ｃ１、Ｃ２およびのど点Ｄ１に基づき下側の第３エリアも同様に設定される。

再び図１７を参照して、次に、角点・のど点検出部３３は、第３エリアＲ３において、エッジトレース処理を行うことにより左右紙面４１Ｌ、４１Ｒの上下辺を構成する線分を検出する（ＳＴ４０２）。例えば、図１８に示すように、右紙面４１Ｒの上辺（上側の外形線）４１Ｒａを対象とするエッジトレース処理では、のど点Ｄ２および角点Ｃ３をそれぞれ始点および終点に設定し、のど点Ｄ２から外形角点Ｃ３に向けてエッジ画素を探索する。この場合、線分の特徴（直線、曲線、分岐等）に基づき予め複数の画素パターンが準備されており、角点・のど点検出部３３は探索した一群のエッジ画素をそれらの画素パターンと比較して一致した場合に線分およびその端点を認識する。

なお、ここでは、右紙面４１Ｒの上辺についてのみ示したが、ＳＴ４０２では右紙面４１Ｒの下辺および左紙面４１Ｌの上下辺についても同様に検出される。

続いて、角点・のど点検出部３３は、右側の外形角点Ｃ２、Ｃ３に基づき第４エリア（第２の領域）Ｒ４（図１８参照）を設定する（ＳＴ４０３）。この第４エリアＲ４は、上述の第１エリアＲ１の設定において設定された分割領域ＲＤ（図１５参照）の両端（ここでは右端）に位置する領域として設定することができる。

なお、ここでは、第４エリアＲ４についてのみ示したが、ＳＴ４０３では外形角点Ｃ１、Ｃ４に基づき左側の第４エリアも同様に設定される。

次に、角点・のど点検出部３３は、第３エリアＲ３および第４エリアの重複領域ＲＯ（図１８参照）をページ角点が存在する領域と推定し、この重複領域ＲＯ内においてページ角点を検出する（ＳＴ４０４）。

ページ角点の検出では、角点・のど点検出部３３は、例えば図１９に示すように、ＳＴ４０２における右ページ側の上辺のエッジ５１の検出結果に基づき、重複領域ＲＯ内において互いに隣接する各線分の端点を結ぶ直線同士のなす角度（図１９中の端点１、２とその間の端点（基点）とをそれぞれ結ぶ直線のなす角度θｂ）をそれぞれ算出する。そして、角度θｂが極小値となる基点をページ角点と推定する。図１９では、２つの基点ＢＰ１、ＢＰ２が極小値をとる例を示しているが、このような場合、より内側（のど部側）に位置する基点ＢＰ１をページ角点Ｅ３と推定する。

別法では、図２０に示すように、角点・のど点検出部３３は、上述の角度θｂが極小値となる基点ＢＰ３、ＢＰ４においてより内側の基点ＢＰ３をページ角点の候補点とする。また、角点・のど点検出部３３は、第４エリアＲ４（図１８参照）において、例えばハフ変換等を用いてエッジ画像における縦方向の複数の直線（図１９中のＬ５〜Ｌ７）を検出する。そして、角点・のど点検出部３３は、候補点ＢＰ３と各直線Ｌ５〜Ｌ７との距離ｄ１〜ｄ３を算出し、その距離が最も小さい直線Ｌ６とエッジ（右ページ側の上辺のエッジ５１）との交点をページ角点Ｅ３と推定する。

このような方法により、ページ角点Ｅ３の存在領域を簡易な処理によって精度良く設定することが可能となる。なお、ここでは、右上のページ角点Ｅ３についてのみ示したが、ＳＴ４０４では他のページ角点Ｅ１、Ｅ２、Ｅ４についても同様に検出される。

再び図１７を参照して、次に、角点・のど点検出部３３は、検出したページ角点Ｅ１〜Ｅ４に基づき、左右紙面４１Ｌ、４１Ｒの左辺および右辺をそれぞれ推定する（ＳＴ４０５）。ここで、左右紙面４１Ｌ、４１Ｒの左辺および右辺は、ページ角点Ｅ１、Ｅ４およびＥ２、Ｅ３を結ぶ直線とする。或いは、第４エリアＲ４（図１８参照）において、縦方向の複数の直線（線分）を検出し、各ページ角点Ｅ１、Ｅ４およびＥ２、Ｅ３との距離が最小となる直線をそれぞれ左右紙面４１Ｌ、４１Ｒの左辺および右辺と推定してもよい。

図２１は図３中の平面化（ＳＴ１０６）の詳細を示すフロー図であり、図２２は図２１中の歪曲成分抽出（ＳＴ５０１）の処理の概要を示す説明図であり、図２３は図２１中のメッシュライン生成（ＳＴ５０５）の処理の概要を示す説明図である。

ここではまず、図２２に示すように、本Ｂの左右紙面４１Ｌ、４１Ｒの歪曲した上下辺４１Ｌａ、４１Ｒａ、４１Ｌｂ、４１Ｒｂを表す歪曲成分を抽出する（ＳＴ５０１）。ここで、上下辺４１Ｌａ、４１Ｒａ、４１Ｌｂ、４１Ｒｂは、図３のエッジ抽出（ＳＴ１０２）で取得したエッジ画像から抽出する。そして、歪曲成分の連続性に基づいて歪曲成分の妥当性を判断する（ＳＴ５０２）。ここで、歪曲成分が妥当でないと判断されると、途切れた部分の補間処理を行う（ＳＴ５０３）。これにより、歪曲成分が途切れることなく連続した状態となる。

ついで、歪曲成分を高さ成分に変換する演算を行う（ＳＴ５０４）。撮影画像上で左右紙面４１Ｌ、４１Ｒの上下辺４１Ｌａ、４１Ｒａ、４１Ｌｂ、４１Ｒｂが歪曲した状態で表示されるのは、３次元的には紙面が上側に凸となるように湾曲していることによるものであり、この歪曲に基づいて、上下辺４１Ｌａ、４１Ｒａ、４１Ｌｂ、４１Ｒｂの３次元的な湾曲状態を示す高さ成分を求めることができる。具体的には載置面６に対して左右紙面４１Ｌ、４１Ｒの上下辺の高さ（Ｚ軸の座標）を一定間隔で求める。この高さ成分により、ページの上縁および下縁の実際の長さを推定することができる。

ついで、図２３に示すように、縦横のメッシュラインを生成し（ＳＴ５０５）、その縦横のメッシュラインが交差するメッシュ交点の座標をメッシュテーブルとして格納する（ＳＴ５０６）。ここでは、左右紙面４１Ｌ、４１Ｒの上下辺の高さ成分に基づいて、上下辺を示す曲線をメッシュ数に応じて等間隔に分割する基点の座標を求め、上辺および下辺の互いに対応する基点を結線して縦メッシュラインを求める。ついで、縦メッシュラインをメッシュ数に応じて等間隔に分割する点（メッシュ交点）の座標を求め、その点を結線して横メッシュラインを求める。

このようにしてメッシュモデルを生成すると、そのメッシュモデルに基づいて画像を平面化する画像変換処理が平面化処理部３４にて行われるが、このとき、ページ領域の画像のみを切り出して平面化することで、歪みのないページ領域のみの画像を得ることができる。また、必要に応じて画像の傾きを補正するスキュー補正などが行われる。

このように、上記原稿読取システム１では、外形角点Ｃ１〜Ｃ４およびのど点Ｄ１、Ｄ２に基づき推定した重複領域ＲＯ（ページ角点Ｅ１〜Ｅ４が存在する可能性の高い領域）内においてページ角点を検出するため、書籍などの製本された原稿の紙面を撮影した撮影画像において、見開きページの角点の位置を効率良く推定することが可能となる。

本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、実施形態では、同様の方法にて４つのページ角点を求めるものとしたが、３つのページ角点から残りの１つの角点を求めるようにしてもよい。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る画像処理装置およびこれを備えた原稿読取システムは、書籍などの製本された原稿の紙面を撮影した撮影画像において、見開きページの角点の位置を効率良く推定可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。

１ 原稿読取システム
２ 書画カメラ（画像入力装置）
３ ＰＣ（画像処理装置）
６ 載置面
２２ 画像データ入力部（撮影画像取得部）
２３ 画像処理装置
３１ 画像補正部
３２ エッジ抽出部
３３ 角点・のど点検出部
３４ 平面化処理部
４０ 撮影エリア
４１Ｌ 左紙面
４１Ｒ 右紙面
４２ のど部（綴じ中心線）
Ｃ１〜Ｃ４ 外形角点
Ｄ１、Ｄ２ のど点
Ｅ１〜Ｅ４ ページ角点
Ｒ１ 第１エリア
Ｒ２ａ、Ｒ２ｂ 第２エリア
Ｒ３ 第３エリア（第１の領域）
Ｒ４ 第４エリア（第２の領域）
ＲＤ 分割領域
ＲＯ 重複領域（ページ角点の存在領域）
ＲＴ 全体領域

Claims (4)

1. 製本された原稿の見開きページを撮影した撮影画像を取得する撮影画像取得部と、
   前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
   前記エッジ画素に基づき前記原稿の外形輪郭における角点である外形角点および前記原稿の綴じ中心線の端点であるのど点を検出する角点・のど点検出部と
   を備え、
   前記角点・のど点検出部は、前記外形角点および前記のど点の位置情報に基づき、前記見開きページの角点であるページ角点の存在領域を推定し、当該存在領域内において前記ページ角点を検出することを特徴とする画像処理装置。
2. 前記角点・のど点検出部は、前記原稿の上下方向の一方側において左右に位置する２つの前記角点および前記のど点を含むように設定した第１の領域と、前記原稿の左右方向の一方側において上下に位置する２つの前記角点を含むように設定した第２の領域とを設定し、それら第１および第２の領域の重複領域を前記存在領域と推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記角点・のど点検出部は、前記撮影画像において４つの前記外形角点を含む全体領域を設定すると共に、当該全体領域を左右方向に複数分割した分割領域を設定し、当該複数の分割領域の中央に位置する中央領域内において前記のど点を検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 請求項１から請求項３のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システム。

Images