JP2013242826A - 画像処理装置およびこれを備えた原稿読取システム - Google Patents

Abstract

【課題】書画カメラ等で読み取られた製本された原稿の画像において、上下の外形輪郭全体を精度良く検出する。
【解決手段】書画カメラ２は、撮影画像からエッジ画素を抽出するエッジ抽出部３２と、原稿の外形輪郭の角点およびのど点を検出する角点・のど点検出部３３と、角点とのど点と間の検索領域Ｒｓにおいて、原稿の外形輪郭を構成する線分抽出する線分抽出部３４とを備え、線分抽出部は、角点とのど点とを通る直線の方向を基準方向とし、外形画素の候補を端点とする線分の候補の基準方向に対する角度が所定の許容角度範囲に収まるか否かにより、当該外形画素の候補の有効性を判定し、線分の候補において、角点側の端点を基点とした半直線が基準方向に対して原稿の内側に向かう場合において、中心領域Ｒｓ１に対する許容角度範囲がページ中央領域Ｒｓ２よりも大きくなるように設定された構成とする。
【選択図】図２

Description

本発明は、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。

書籍のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、書籍を電子化する作業を効率良く行うことができる。

特開２００１−１０３２４０号公報

ところで、この種の画像処理装置においては、製本された原稿の外形輪郭の情報は、撮影画像における原稿領域の認識や種々の画像処理（例えば、平面化処理）の際に重要となる。しかしながら、製本された原稿の上下の外形輪郭は、左右の外形輪郭に比べて湾曲の度合いが高いため、精度良く検出することが難しいという問題があった。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、製本された原稿における上下の外形輪郭（すなわち、原稿の綴じ中心線に略直交する方向に延在する外形輪郭）全体を精度良く検出することを可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。

本発明の画像処理装置は、製本された原稿の左右の紙面を撮影した撮影画像における複数のエッジ画素を抽出してエッジ画像を取得するエッジ抽出部と、前記エッジ画像において、前記原稿の外形における少なくとも１つの角点を検出する角点検出部と、前記エッジ画像において、前記原稿の綴じ中心線における少なくとも一方の端点であるのど点を検出するのど点検出部と、前記角点と前記のど点との間の検索領域において、前記複数のエッジ画素のうち前記原稿の外形輪郭を画定する外形画素を順次検索し、これら検索された外形画素から構成される線分を抽出する線分抽出部とを備え、前記検索領域は、前記のど点側に位置する第１領域と、この第１領域よりも前記角点側に位置する第２領域とを含み、前記線分抽出部は、前記角点と前記のど点とを通る直線の方向を基準方向とし、前記外形画素の候補を端点とする前記線分の候補の前記基準方向に対する角度が所定の許容角度範囲に収まるか否かにより、当該外形画素の候補の有効性を判定し、前記線分の候補において、前記角点側の端点を基点とした半直線が前記基準方向に対して前記原稿の内側に向かう場合において、前記第１領域に対する前記許容角度範囲が前記第２領域よりも大きくなるように設定されたことを特徴とする。

このように本発明によれば、製本された原稿における上下の外形輪郭全体を精度良く検出することが可能となるという優れた効果を奏する。

実施形態に係る原稿読取システム１を示す全体構成図 図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図 図１中の原稿読取システム１による原稿読取手順の要部を示すフロー図 図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図 図３中の角点検出（ＳＴ１０３）およびのど点検出（ＳＴ１０４）の結果を示す模式図 図３中の線分抽出（ＳＴ１０５）の詳細を示すフロー図 図６中の頂点判定（ＳＴ２０４）の処理の概要を示す説明図 図６中の線分のエッジの有効性判定（ＳＴ２０５）の詳細を示すフロー図 図８に示すエッジの有効性判定における外形画素の検索領域を示す説明図 図８中の直線の角度θｂの算出（ＳＴ３０２）の処理における基準方向とのなす角度についての説明図

上記課題を解決するためになされた第１の発明に係る画像処理装置は、製本された原稿の左右の紙面を撮影した撮影画像における複数のエッジ画素を抽出してエッジ画像を取得するエッジ抽出部と、前記エッジ画像において、前記原稿の外形における少なくとも１つの角点を検出する角点検出部と、前記エッジ画像において、前記原稿の綴じ中心線における少なくとも一方の端点であるのど点を検出するのど点検出部と、前記角点と前記のど点との間の検索領域において、前記複数のエッジ画素のうち前記原稿の外形輪郭を画定する外形画素を順次検索し、これら検索された外形画素から構成される線分を抽出する線分抽出部とを備え、前記検索領域は、前記のど点側に位置する第１領域と、この第１領域よりも前記角点側に位置する第２領域とを含み、前記線分抽出部は、前記角点と前記のど点とを通る直線の方向を基準方向とし、前記外形画素の候補を端点とする前記線分の候補の前記基準方向に対する角度が所定の許容角度範囲に収まるか否かにより、当該外形画素の候補の有効性を判定し、前記線分の候補において、前記角点側の端点を基点とした半直線が前記基準方向に対して前記原稿の内側に向かう場合において、前記第１領域に対する前記許容角度範囲が前記第２領域よりも大きくなるように設定されたことを特徴とする。

これによると、製本された原稿における上下の外形輪郭を構成する線分を抽出する際に、角点とのど点とを通る直線の方向（基準方向）に対する角度によって外形画素の候補（線分の候補）の有効性を判定する構成とし、線分の候補の角点側の端点を基点とした半直線が基準方向に対して原稿の内側に向かう場合において、第１領域に対する許容角度範囲を第２領域よりも大きくなるように設定したため、原稿の内側に向かって湾曲の度合いが高くなるのど点付近の線分を安定的に抽出することが可能となり、その結果、上下の外形輪郭全体を精度良く検出することができる。

また、第２の発明は、前記第１の発明において、前記線分抽出部は、前記線分の候補における両端点の前記原稿の上下方向の距離が所定の許容距離範囲内にない場合、前記外形画素の候補を無効と判定する構成とする。

これによると、外形画素の候補（線分の候補）の有効性をより適切に判定することが可能となり、上下の外形輪郭全体をより精度良く検出することができる。

また、第３の発明は、前記第２の発明において、前記線分の候補において、前記角点側の端点を基点とした半直線が前記基準方向に対して前記原稿の内側に向かう場合において、前記許容距離範囲は、前記第１領域において前記第２領域よりも大きく設定された構成とする。

これによると、原稿の内側に向かって湾曲の度合いが高くなる（上下方向における線分の候補の両端点の距離が大きくなる）のど点付近について、外形画素の候補（線分の候補）をより安定的に抽出することが可能となる。

また、第４の発明は、前記第１から第３の発明のいずれかにおいて、前記線分抽出部は、新たに検索された前記外形画素の候補を無効と判定した場合、既に有効と判定されている複数の外形画素の候補に基づき前記線分を抽出する構成とする。

これによると、同様の抽出処理の繰り返しにより、外形輪郭を画定する複数の有効な線分を容易に取得することができる。

また、第５の発明は、前記第１から第４の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システムである。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明に係る原稿読取システム１を示す全体構成図である。この原稿読取システム１は、書籍（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。

書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状に開いた脚７と、この脚７に支持されたアーム８とを有している。脚７の上面には、書籍Ｂの撮影位置を規定するための一対のガイド部材９が突設されている。アーム８は、脚７から斜め上方に伸縮自在に設けられる一方、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の画角や光軸方向（撮影方向）を調整可能となっている。また、カメラ部４は、画角や倍率を連続的に可変させる公知のズーム機能を有している。

ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。

なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。さらに、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。

書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に書籍Ｂを開いた状態で載置することにより、書籍Ｂの見開き２ページと書籍Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。このときユーザは、指で左右のページの浮き上がりを押さえると共に、書籍Ｂの上縁を左右方向に延びるガイド部材９に突き当てて前後方向位置および傾きを調節することにより、書籍Ｂを読取位置に精度良くセットすることが可能である。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対してディスプレイ表示される。

なお、原稿読取システム１が読み取る原稿は、書籍に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。

図２は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。

書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。

ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮影画像データの画像処理の際に書籍Ｂの外形輪郭を検出する外形輪郭検出部３１を有している。外形輪郭検出部３１によって処理される撮影画像データは画像データ記憶部３７から読み出され、また、後述する外形輪郭検出部３１での処理に用いられる各種パラメータの情報はパラメータ記憶部３８から読み出される。

ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。或いは、ＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３７およびパラメータ記憶部３８は汎用のメモリからなる。

ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３７に順次格納し、必要に応じてその撮影画像データを外形輪郭検出部３１に順次出力する。そして、外形輪郭検出部３１によって検出された外形輪郭に関するデータは、画像処理部２３が実行する周知の画像処理（例えば、平面化処理）に必要な情報となる。所定の画像処理がなされた撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。

外形輪郭検出部３１は、撮影画像について複数のエッジ画素を抽出して二値化したエッジ画像を取得するエッジ抽出部３２と、製本された（背の部分が綴じられた）書籍Ｂの４つの角点（以下、単に「角点」と記した場合には書籍Ｂの角点（一般には、背表紙についての角点をいう）を示すものとする。）および書籍Ｂの左右のページの境界線をなす綴じ中心線の上下の端点（以下、のど点という。）を検出する角点・のど点検出部３３と、角点とのど点との間に設定された検索領域において、複数のエッジ画素のうち原稿の上下の外形輪郭３９Ｌｔ、３９Ｒｔ、３９Ｌｂ、３９Ｒｂ（後述する図４参照。総称する場合には外形輪郭３９という。）を画定するエッジ画素（以下、外形画素という。）を順次検索し、これら検索された外形画素から構成される線分を抽出する線分抽出部３４と、抽出された線分で構成された外形輪郭３９における欠落部分に対して線分補間を行う線分補間部３５とを有している。

なお、説明は省略するが、線分補間された外形輪郭３９は、原稿画像の平面化処理等に用いられる。また、書籍Ｂの左右の外形輪郭については、エッジ画像から周知の方法により直線成分を抽出することで取得することが可能である。また、エッジ画像については、二値化は必ずしも必要ではなく、少なくとも後述するエッジトレース処理が可能であればよい。

また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。

図３は図１の原稿読取システム１による原稿読取手順の要部を示すフロー図であり、図４は図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図であり、図５は図３中の角点検出（ＳＴ１０３）およびのど点検出（ＳＴ１０４）の結果を示す模式図である。

まず、ユーザは、読取位置（書画カメラ２の撮影可能位置）に書籍Ｂを見開き状態でセットし、書画カメラ２を起動させると共に、ＰＣ３にて所要のアプリケーションを起動させる。その後、書画カメラ２による撮像が開始され、ＰＣ３の画像データ入力部２２において書画カメラ２からの画像の入力が検出される（ＳＴ１０１）。この撮影画像の入力は、所定のフレームレートで実施され、各撮影画像に対して以下で示すような処理が順次実行される。

ここで、撮影画像は、例えば図４（Ａ）、（Ｂ）に示すように、書画カメラ２の矩形の撮影エリア４０により画定され、この撮影エリア４０内には書籍Ｂの画像とその背景となる載置面６の画像とが含まれる。中央の綴じ中心線４２によって仕切られた左右の紙面（見開き）４１Ｌ、４１Ｒには、ここでは図示しないが、文字や記号等が表示される文章領域や、図面や写真等が表示される図形枠等がそれぞれ含まれている。

書籍Ｂのような製本された原稿を読み取る場合、図４（Ａ）に示すように、書籍Ｂを自然に開いたままの状態では、ページが浮き上がるなどして読み取られた画像にずれや歪みが生じ得る。そこで、ユーザは、図４（Ｂ）に示すように、手指Ｆ１、Ｆ２により紙面４１Ｌ、４１Ｒの外周縁部を押さえてページの反りを解消することができる。なお、書籍Ｂを押さえてページの浮き上がりを防止する手段としては、手指に限らず、例えば書画カメラ２に設けられた押さえ治具（図示せず）等でもよい。

再び図３を参照して、ＰＣ３では、書画カメラ２から受信した撮影画像データを画像データ入力部２２が画像データ記憶部３７に格納した後、エッジ抽出部３２は、撮影画像において輝度が急激に変化する部位を二値化したエッジ画素として抽出することによりエッジ画像を取得する（ＳＴ１０２）。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。

次に、角点・のど点検出部３３は、略矩形をなす書籍Ｂの外形における４つの角点Ｃ１〜Ｃ４（図５参照）を検出する（ＳＴ１０３）。ここで検出される角点は、通常は紙面４１Ｌ、４１Ｒよりもややサイズの大きい表紙の四隅となる。角点検出では、例えば撮影エリア４０の四方から対角線上に角点の候補（エッジ画素）を検索し、検索された複数の角点の候補の列から構成される直線成分（直角に近い状態で２方向に分かれるように現れる）の交点として角点を設定することができる。つまり、撮像エリア４０の４隅のうち１点を含む直角三角形を規定し、この直角三角形を徐々に大きくしながら、その斜辺が書籍Ｂを横切る２点の軌跡（通常２つのラインとなる）を抽出する。そして、この２つのラインの交点を角点としている。この手法を用いることで、矩形である撮像エリア４０に対して書籍Ｂが平行シフト、又は若干回転して配置されていたとしても、角点を容易に検出できる（ただし、書籍Ｂの一辺が上述した三角形の斜辺と水平になる程度まで回転している場合は、角点を検出できない）。更に図４（Ａ）のように書籍Ｂの上下の外形輪郭が歪んでいても、角点近傍は比較的直線性が良好であるため、角点の検出が可能である。

さらに、角点・のど点検出部３３は、検出した角点Ｃ１〜Ｃ４の情報に基づき、書籍Ｂの２つののど点Ｄ１、Ｄ２（図５参照）を検出する（ＳＴ１０４）。のど点検出では、例えば確率的ハフ変換等を用いてエッジ画像における縦方向の直線を複数検出した後、上側の左右の角点Ｃ３、Ｃ４の中間位置と下側の左右の角点Ｃ１、Ｃ２の中間位置の座標との比較から綴じ中心線から検出された直線を選択し、この直線の上下端の位置（外形輪郭の上辺、下辺との交点）をのど点Ｄ１、Ｄ２として設定することができる。この場合、予めのど点候補とその周辺のエッジ画素との形状（接続関係）を想定した複数の画像パターンを準備しておき、直線およびその周辺画素をそれらの画素パターンと比較することにより、のど点の検出が容易となる。また、角点Ｃ１とＣ３を結ぶ線分と、同Ｃ２とＣ４を結ぶ線分の交点をＤ３（図示せず）として、Ｄ１，Ｄ２，Ｄ３のいずれか２点を通る直線群が含まれる範囲を綴じ中心線の存在範囲とみなして、当該範囲又は当該範囲を若干広げた探索範囲を規定し、当該探索範囲に対してパラメータを変更したハフ変換を繰り返す等して綴じ中心線を抽出するようにしてもよい。

なお、ＳＴ１０３、ＳＴ１０４における角点およびのど点の検出は、任意の周知の方法を用いて実行することが可能である。

次に、線分抽出部３４は、後に詳述するように、外形画素を順次検索し、それら外形画素から構成される線分を抽出する（ＳＴ１０５）。この線分抽出の処理では、１つの角点と、１つののど点との間の検索領域において、所定の条件に基づき無効な外形画素を排除しながらエッジトレース処理を行うことにより有効な外形画素から構成される複数の有効な線分を抽出する。ここで抽出された各線分に関する端点の座標値等のデータは、パラメータ記憶部３８に格納される。なお、エッジトレース処理におけるエッジ画素の探索方法については周知の方法を用いることができる。

次に、線分補間部３５は、抽出された複数の線分で構成された上下の外形輪郭３９について、欠落部分（線分同士の端点が接続していない領域）が存在する場合には、この欠落部分に対して線分補間を行う（ＳＴ１０６）。この線分補間処理では、線形補間により端点間を直線で結ぶことにより、外形輪郭を補完することができるが、これに限らず、例えば高次のスプライン補間を実施して端点間を曲線で結んでもよい。なお、線分補間部３５は、線分抽出部３４によって抽出された線分によって形成した外形輪郭の形状を判定（例えば、予め準備した複数の形状パターンとマッチング）し、形状が適切でないと判定した場合には、該当線分について排除することが可能である。その場合、排除された線分の領域については、再度補間処理を実施する。

図６は図３中の線分抽出（ＳＴ１０５）の詳細を示すフロー図であり、図７は図６中の頂点判定（ＳＴ２０４）の処理の概要を示す説明図である。

図６に示すように、まず線分抽出部３４は、エッジ画像における１つの角点と１つののど点との間の検索領域において検索開始点を決定する（ＳＴ２０１）。検索開始点としては、検索領域において抽出した任意のエッジ画素（角点やのど点を含む）を用いることができるが、ここでは、のど点から書籍の角点に向けてＸ方向に所定の距離だけ移動した位置で抽出されたエッジ画素を検索開始点とする。

次に、線分抽出部３４は、検索開始点から角点およびのど点に向けてそれぞれエッジトレース処理を開始する（ＳＴ２０２）。以降、説明を簡単にするために、検索開始点から角点の方向にエッジトレースを実行する過程を中心に説明するが、逆方向のトレース、即ちのど点に向けてエッジトレースを実行する場合は、後述する頂点判定が含まれない点を除き、技術的本質は変わらない。

エッジトレース処理では、線分抽出部３４は、外形画素の候補となる点を検索し（ＳＴ２０３）、続いて、その検索した点が頂点（ページの角点を形成する点）であるか否かを判定する（ＳＴ２０４）。なお、「ページの角点」とは、いわゆる版面を有するページの角点のうち、見開きページの角点（即ち、ユーザが目視しているページの角点）を意味する。

この頂点判定では、例えば図７に示すように、線分抽出部３４は、既に検索した外形画素（または外形画素の候補）に基づく隣接する３つの点（ここでは、図７中の端点１〜３）を端点とする線分同士のなす角度（ここでは、図７中の端点１および端点２を結ぶ線分と、端点２および端点３を結ぶ線分とのなす角度θａ）を順次算出する。そして、算出された複数の角度θａにおいて極小値に相当する点（端点２）を頂点と推定する。図７では、２つの基点ＢＰ１、ＢＰ２が極小値をとる例を示しており、これらを頂点と推定する。また、複数の頂点が推定された場合、より内側（のど部側）に位置する頂点（図７では、基点ＢＰ１）をページの角点と推定することができる。

なお、検索開始点から角点に向けてエッジトレースを行った場合に、複数の基点ＢＰ１、ＢＰ２・・・が現れる場合とは、典型的には比較的厚手の書籍を開いたときに、角点の近傍で複数のページが少しずつずれて重なっているような状況が該当する。そして、このような基点が書籍の角点の内側である限り、（特にぶ厚い書籍等では）多数の基点が抽出されることになるが、上述のようにページの角点としては、最ものど部側に位置する頂点が抽出されることになる。

再び図６を参照して、次に、線分抽出部３４は、ＳＴ２０３において新たに検索した外形画素の候補を端点とする線分の候補について所定の条件に基づきエッジとしての有効性（エッジらしいか否か）を判定する（ＳＴ２０５）。この線分の候補は、ＳＴ２０５の判定において先に有効である（エッジらしい）と判定された外形画素（または検索開始点）と、その後、新たに検索した外形画素の候補とを両端点とする線分である。詳細は後述するが、エッジの有効性は、線分の候補が所定の基準方向（のど点と書籍の角点とを結ぶ直線の方向）となす角度が所定の許容角度範囲内にあるか否か、また、Ｙ方向（書籍Ｂの上下方向）における線分の候補の両端点の距離（Ｙ座標の差分）が所定の許容距離範囲内にあるか否かによって判定される。このエッジの有効性の判定により、新たに検索された外形画素の候補の有効性が判定される。

上記ＳＴ２０３〜ＳＴ２０５は、最終的に検索範囲を終了した（すなわち、検索により角点またはのど点（これまでの説明においては、角点）まで到達した）と判定されるか、または、ＳＴ２０５において外形画素の候補が無効である（エッジらしくない）と判定される（ＳＴ２０６）まで繰り返し実行される。

エッジトレース処理のループ（ＳＴ２０２〜ＳＴ２０６）が終了すると、線分抽出部３４はその終了条件を判定する。終了条件について、最後に検索された外形画素の候補が無効であることによる場合（ＳＴ２０７：ＹＥＳ）、更に、線分抽出部３４は、ＳＴ２０４の頂点判定の結果に基づき、最後に有効であると判定された外形画素がページの角点より内側（のど点側）か否かを判定する（ＳＴ２０８）。そこで、最後に検索された外形画素がページの角点より内側にある場合（ＹＥＳ）には、切出すべき外形輪郭が残存していると判断し、線分抽出部３４は、検索した一連の外形画素（ＳＴ２０５で無効と判定されたものを除く）から構成される線分を切り出し（ＳＴ２０９）、その後、再びＳＴ２０１に戻って切り出した線分の周辺領域から次の検索開始点を決定し、上記と同様の処理を実行する。

一方、終了条件について、検索範囲が終了したことによる場合（ＳＴ２０７：ＮＯ）、或いは、最後に検索された外形画素がページの角点より内側にない場合（ＳＴ２０８：ＮＯ）には、線分抽出部３４は、ＳＴ２０９と同様に線分を切り出し（ＳＴ２１０）、一連の処置が終了する。なお、本実施形態では、上下の外形輪郭におけるページ角点の外側（書籍の角点まで）の未検索の領域については、上記ＳＴ２０５のようなエッジらしさの判定を行わずに、上記ＳＴ２０３と同様に検索した外形画素を全て有効とし、それら外形画素から構成される線分を抽出する。

図８は図６中の線分のエッジの有効性判定（ＳＴ２０５）の詳細を示すフロー図であり、図９は図８に示すエッジの有効性判定における外形画素の検索領域を示す説明図であり、図１０は図８中の直線の角度θｂの算出（ＳＴ３０２）の処理における基準方向とのなす角度についての説明図である。以下では、図９に示す書籍Ｂの右下の外形輪郭３９Ｒｂ（外形輪郭の形状については、図４（Ａ）を参照。以下同じ）を対象として説明するが、他の外形輪郭についても同様に処理することができる。即ち、書籍Ｂの右上の外形輪郭３９Ｒｆを処理対象とする場合は図９をＸ軸について線対称に反転（つまり上下反転）した状態、同左下の外形輪郭３９Ｌｂを処理対象とする場合は図９をＹ軸について線対称に反転（左右対称）した状態、同左上の外形輪郭３９Ｌｆを処理対象とする場合は図９をＸ，Ｙ軸について線対称（上下反転した後に左右反転）した状態を想定すればよい。

図８に示すように、線分抽出部３４は、判定対象となる２点（線分の候補の両端点）の座標の情報を取得する（ＳＴ３０１）。これら２点は、既に有効であると判定された点Ｐ１（または検索開始点）と、図６中のＳＴ２０３において新たに外形画素の候補として検索された点Ｐ２とからなる。これら点Ｐ１及び点Ｐ２については、以下のＳＴ３０２〜ＳＴ３０６において、角度を用いた有効性の判定がなされ、更に、ＳＴ３０７〜ＳＴ３０９において互いのＹ座標の位置を用いた有効性の判定がなされる。

次に、線分抽出部３４は、のど点Ｄ１と角点Ｃ１とを結ぶ直線Ｌｓの方向を基準方向とし、点Ｐ１及び点Ｐ２を結ぶ直線がその基準方向に対してなす角度θｂを算出する（ＳＴ３０２）。後述するように、この角度θｂが予め設定した許容角度範囲に収まることが、点Ｐ２（外形画素の候補）が有効であることの判定条件の１つとなる。

ここで、図９に示すように、外形画素の検索領域Ｒｓは、のど点Ｄ１と角点Ｃ１の間に帯状に延びる平行四辺形の領域として設定される。のど点Ｄ１および角点Ｃ１は、平行四辺形においてＹ方向に延びる一対の対辺上に位置する。検索領域Ｒｓは、直線Ｌｓの下側（書籍Ｂの外側）の領域が上側（書籍Ｂの内側）の領域よりも広くなるように設定されている。また、検索領域Ｒｓは、Ｘ方向に並ぶ３つの領域に分割されており、のど点Ｄ１側に位置する中心領域Ｒｓ１と、ページ中央に位置するページ中央領域Ｒｓ２と、角点Ｃ１側に位置する外部領域Ｒｓ３とを有している。より詳細には、中心領域Ｒｓ１は、のど点Ｄ１からこののど点Ｄ１と角点Ｃ１との間の距離の１０％の位置まで広がる。また、ページ中央領域Ｒｓ２は、中心領域Ｒｓ１の外側に連なり、Ｘ方向においてページの角点の位置まで広がる。さらに、外部領域Ｒｓ３は、ページ中央領域Ｒｓ２の外側に連なり、ページの角点から書籍の角点まで広がる。

また、ＳＴ３０２で算出される角度θｂについては、図１０（Ａ）に示すように、角点側の点（ここでは、点Ｐ１）を基点としてのど点側の点（ここでは、点Ｐ２）を通る半直線Ｌｉが線Ｅで示す基準方向に対して書籍Ｂの内側（原稿の内側）に向かう場合に「内側の角度」とする。一方、図１０（Ｂ）に示すように、角点側の点（ここでは、点Ｐ１）を基点としてのど点側の点（ここでは、点Ｐ２）を通る半直線Ｌｉが線Ｅで示す基準方向に対して書籍Ｂの外側（原稿の外側）に向かう場合に「外側の角度」とする。ここでは、基準方向を０°とし、内側の角度を０°〜１８０°とし、外側の角度を０°〜１８０°とする。角度θｂに対する許容角度範囲は、内側の角度および外側の角度のそれぞれに対して設定された内側閾値（角度）および外側閾値（角度）によって定められる。

なお、内側閾値（角度）および外側閾値（角度）としては、検索領域Ｒｓを構成する各領域Ｒｓ１〜Ｒｓ３のそれぞれに対して異なる値を設定することができる。ここでは、外側閾値（角度）は全ての領域Ｒｓ１〜Ｒｓ３に対して同じ値（例えば、２２°）が設定されている。一方、内側閾値（角度）は、ページ中央領域Ｒｓ２および外部領域Ｒｓ３に対して同じ値が設定され（例えば、２２°）、中心領域Ｒｓ１に対しては少なくともページ中央領域Ｒｓ２よりも大きな値（例えば、７５°）が設定される。ここでは、内側閾値（角度）および外側閾値（角度）を個別に設定したが、場合によっては同一の値を用いることも可能である。

また、後述するＹ座標の位置を用いた有効性の判定においては、点Ｐ１及び点Ｐ２の各々について、互いのＹ方向の距離（Ｙ座標の差分）が所定の許容距離範囲に収まるか否かの判定がなされる。ここで、図１０（Ａ）に示すように、角度θｂが内側の角度となる場合、Ｙ方向の距離は「内側の距離」とする。また、図１０（Ｂ）に示すように、角度θｂが外側の角度となる場合、Ｙ方向の距離は「外側の距離」とする。許容距離範囲は、内側の距離および外側の距離のそれぞれに対して設定された内側閾値（距離）および外側閾値（距離）によって定められる。これらの閾値は、原稿の種類やサイズ（外形、厚さ）等によって適切な値を設定するとよい。

なお、内側閾値（距離）および外側閾値（距離）としては、上述の角度の場合と同様に検索領域Ｒｓを構成する各領域Ｒｓ１〜Ｒｓ３のそれぞれに対して異なる値を設定することができる。ここでは、外側閾値（距離）は全ての領域Ｒｓ１〜Ｒｓ３に対して同じ値が設定されている。一方、内側閾値（距離）は、ページ中央領域Ｒｓ２および外部領域Ｒｓ３に対して同じ値が設定され、中心領域Ｒｓ１に対しては少なくともページ中央領域Ｒｓ２よりも大きな値が設定される。ここでは、内側閾値（距離）および外側閾値（距離）を個別に設定したが、場合によっては同一の値を用いることも可能である。

再び図８を参照して、次に、線分抽出部３４は、点Ｐ１及び点Ｐ２の位置が共に中心領域Ｒｓ１内にあるか否かを判定し（ＳＴ３０３）、中心領域Ｒｓ１内にある場合（ＹＥＳ）、内側閾値（角度）として中心領域Ｒｓ１用の大きな値を設定する（ＳＴ３０４）。一方、点Ｐ１及び点Ｐ２の少なくとも一方の点の位置が中心領域Ｒｓ１内にない場合（ＳＴ３０３：ＮＯ）、内側閾値（角度）としてページ中央領域Ｒｓ２または外部領域Ｒｓ３用の小さな値が設定される。

次に、線分抽出部３４は、角度θｂが外側の角度の場合、角度θｂが外側閾値未満であるか否かを判定し（ＳＴ３０５）、外側閾値未満である場合（角度θｂが内側の角度である場合を含む）（ＹＥＳ）には、更に、角度θｂが内側閾値未満であるか否かを判定する（ＳＴ３０６）。そこで、内側閾値未満である場合（角度θｂが外側の角度である場合を含む）（ＹＥＳ）には、ＳＴ３０３と同様に点Ｐ１及び点Ｐ２の位置が共に中心領域Ｒｓ１内にあるか否かを判定する（ＳＴ３０７）。

ＳＴ３０７において、点Ｐ１及び点Ｐ２の位置が共に中心領域Ｒｓ１内にある場合（ＹＥＳ）、内側閾値（距離）として中心領域Ｒｓ１用の大きな値を設定する（ＳＴ３０８）。一方、点Ｐ１及び点Ｐ２の少なくとも一方の点の位置が中心領域Ｒｓ１内にない場合（ＳＴ３０７：ＮＯ）、内側閾値（距離）としてページ中央領域Ｒｓ２または外部領域Ｒｓ３用の小さな値が設定される。

次に、線分抽出部３４は、点Ｐ１及び点Ｐ２のＹ方向（綴じ中心線４２方向）の距離が許容距離範囲内であるか否かを判定し（ＳＴ３０９）、許容距離範囲内である場合（ＹＥＳ）には、点Ｐ２について有効（エッジらしい）と判定する（ＳＴ３１０）。なお、ここでは説明を省略したが、ＳＴ３０９では、上述の角度の場合と同様に、内側の距離（内側閾値）および外側の距離（外側閾値）についてそれぞれ判定が行われる。

また、上記ＳＴ３０５において角度θｂが外側閾値以上（許容角度範囲外）である場合（ＮＯ）、上記ＳＴ３０６において角度θｂが内側閾値以上（許容角度範囲外）である場合（ＮＯ）、上記ＳＴ３０９において点Ｐ１及び点Ｐ２のＹ方向の距離が許容距離範囲内にない場合（ＮＯ）には、点Ｐ２について無効（エッジらしくない）と判定する（ＳＴ３１１）。

このように、原稿読取システム１では、書籍Ｂにおける上下の外形輪郭を構成する線分を抽出する際に、角点とのど点とを通る直線の方向（基準方向）に対する角度によって外形画素の候補（線分の候補）の有効性を判定する構成とし、線分の候補の角点側の端点を基点とした半直線が基準方向に対して書籍Ｂの内側に向かう場合において、中心領域Ｒｓ１に対する許容角度範囲を少なくともページ中央領域Ｒｓ２よりも大きくなるように設定したため、比較的湾曲の度合いが高くなるのど点付近の線分を安定的に抽出することが可能となり、その結果、上下の外形輪郭全体を精度良く検出することができる。図４（Ｂ）に示したように、ページの浮き上がりを防止するために手指等により紙面を押さえた場合には、のど点付近の外形輪郭の湾曲の度合いが顕著となるため特に有効である。

また、原稿読取システム１では、線分抽出部３４は、線分の候補における両端点の原稿の上下方向の距離が所定の許容距離範囲内にない場合、外形画素の候補をエッジらしくない（無効）と判定する構成としたため、外形画素の候補（線分の候補）の有効性をより適切に判定することが可能となり、上下の外形輪郭全体をより精度良く検出することができる。

この場合、線分の候補において、角点側の端点を基点とした半直線が基準方向に対して書籍Ｂの内側に向かう場合において、内側閾値（距離）を、中心領域Ｒｓ１においてページ中央領域Ｒｓ２よりも大きく設定するとよい。これにより、比較的湾曲の度合いが高くなるのど点付近の外形画素の候補（線分の候補の端点）をより安定的に抽出することが可能となる。

本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、エッジトレース処理における検索領域については、実施形態に示したものに限らず種々の変更が可能である。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る画像処理装置およびこれを備えた原稿読取システムは、撮製本された原稿における上下の外形輪郭全体を精度良く検出することを可能とし、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。

１ 原稿読取システム
２ 書画カメラ（画像入力装置）
３ ＰＣ（画像処理装置）
３２ エッジ抽出部
３３ 角点・のど点検出部
３４ 線分抽出部
３５ 線分補間部
３９ 外形輪郭
４１Ｌ 左紙面
４１Ｒ 右紙面
４２ 綴じ中心線
Ｂ 書籍（原稿）
Ｃ１〜Ｃ４ 角点
Ｄ１、Ｄ２ のど点
Ｒｓ 検索領域
Ｒｓ１ 中心領域（第１領域）
Ｒｓ２ ページ中央領域（第２領域）

Claims (5)

1. 製本された原稿の左右の紙面を撮影した撮影画像における複数のエッジ画素を抽出してエッジ画像を取得するエッジ抽出部と、
   前記エッジ画像において、前記原稿の外形における少なくとも１つの角点を検出する角点検出部と、
   前記エッジ画像において、前記原稿の綴じ中心線における少なくとも一方の端点であるのど点を検出するのど点検出部と、
   前記角点と前記のど点との間の検索領域において、前記複数のエッジ画素のうち前記原稿の外形輪郭を画定する外形画素を順次検索し、これら検索された外形画素から構成される線分を抽出する線分抽出部と
   を備え、
   前記検索領域は、前記のど点側に位置する第１領域と、この第１領域よりも前記角点側に位置する第２領域とを含み、
   前記線分抽出部は、前記角点と前記のど点とを通る直線の方向を基準方向とし、前記外形画素の候補を端点とする前記線分の候補の前記基準方向に対する角度が所定の許容角度範囲に収まるか否かにより、当該外形画素の候補の有効性を判定し、
   前記線分の候補において、前記角点側の端点を基点とした半直線が前記基準方向に対して前記原稿の内側に向かう場合において、前記第１領域に対する前記許容角度範囲が前記第２領域よりも大きくなるように設定されたことを特徴とする画像処理装置。
2. 前記線分抽出部は、前記線分の候補における両端点の前記原稿の上下方向の距離が所定の許容距離範囲内にない場合、前記外形画素の候補を無効と判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記線分の候補において、前記角点側の端点を基点とした半直線が前記基準方向に対して前記原稿の内側に向かう場合において、前記許容距離範囲は、前記第１領域において前記第２領域よりも大きく設定されたことを特徴とする請求項２に記載の画像処理装置。
4. 前記線分抽出部は、新たに検索された前記外形画素の候補を無効と判定した場合、既に有効と判定されている複数の外形画素の候補に基づき前記線分を抽出することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 請求項１から請求項４のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システム。

Images