JP2013218411A

JP2013218411A - 画像処理装置およびこれを備えた原稿読取システム

Info

Publication number: JP2013218411A
Application number: JP2012086518A
Authority: JP
Inventors: Takahiro Shoji; 隆浩庄司
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2012-04-05
Filing date: 2012-04-05
Publication date: 2013-10-24

Abstract

【課題】書画カメラ等で読み取られた原稿の画像から抽出された直線成分の傾斜角度のヒストグラム情報に基づき画像の傾き補正を実施する場合に、ヒストグラムの度数分布の多少の変動に拘わらず、不必要な画像の回転を抑制する。
【解決手段】撮影画像から抽出された複数の線分の傾斜角度に基づき撮影画像の傾斜角度を推定し、この撮影画像の傾斜角度に基づき前記撮影画像の傾き補正角度を設定する傾き補正角度設定部３４と、複数の直線成分において相互に交差する直線成分の割合に基づき、傾き補正角度に関する不感角度範囲を設定する不感角度設定部３８と、推定した傾斜角度に基づき撮影画像を回転させる画像回転部３５とを備え、傾き補正角度設定部は、前回の撮影画像の傾き補正角度と今回の撮影画像の傾斜角度との角度差が不感角度範囲内にある場合、前回の撮影画像の傾き補正角度を今回の撮影画像の傾き補正角度として設定する構成とする。
【選択図】図３

Description

本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。

本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。また、この書画カメラでは、正規の読取位置（すなわち、水平・垂直等の基準方向）に対して傾いた状態で原稿がセットされた場合でも、読み取られた原稿の画像（原稿綴じ部や原稿エッジの位置等）に基づき傾斜角度を推定することにより、画像の傾きを自動的に補正することができる。

画像の傾斜角度を推定する技術に関しては、例えば、エッジ部分の画素濃度を強調
するエッジ処理後に二値化した画像データをハフ変換処理（直線成分抽出）してパラメータ図表を生成するハフ変換手段と、そのパラメータ図表における座標の度数を角度毎に積算してヒストグラムを生成するヒストグラム生成手段と、そのヒストグラムから座標の度数が最大の角度を特定することにより傾斜角度を推定する傾斜角度検出手段とを備えたデータ処理装置が知られている（特許文献２参照）。

特開２００１−１０３２４０号公報特開平１１−３２８４０８号公報

上述のように画像の傾斜角度を推定する際に画像から抽出される直線成分は、原稿の内容によって傾きの分布が異なる場合がある。例えば、紙面の大半を文章が占める原稿の場合、縦書きまたは横書きの文章の方向に沿った直線成分が多く抽出されるため、ヒストグラムは比較的狭い角度範囲において明確なピークを有する（すなわち、最大度数と他の度数との差が比較的大きい）ものとなる。

一方、紙面の大半を図画や写真等が占める原稿の場合、ノイズ（原稿の基準方向と一致しない直線成分）が多く抽出されるため、ヒストグラムは比較的広い角度範囲に亘って平坦な分布を有する（すなわち、各階級間の度数差が比較的小さい）ものとなる。このような傾向は、画像から検出される直線成分の絶対数が少ない場合にも同様に見られる。

ところで、撮影画像を適宜傾き補正して連続的に表示や記録を行う際には、原稿が静止状態であるにも拘わらず何らかの不安定化要因（照明の変化、紙面の僅かな揺れ、イメージセンサのノイズ、確率的ハフ変換のランダム性等）により、ヒストグラムの度数分布（特に、ヒストグラムにおいて度数が最大となる角度）が変化し、これにより、推定される画像の傾きも変化する場合がある。その結果、画像の傾き補正（画像の回転）が頻繁に実施されて一連の画像（映像）が見苦しいものとなるという問題があった。特に、図画や写真等が紙面の大半を占める原稿の場合、ヒストグラムにおける各階級間の度数差が比較的小さく度数分布が変化しやすいため、そのような問題はより顕著となる。

しかしながら、上記特許文献２に記載のような従来技術では、単にヒストグラムにおいて度数が最大の角度を特定するに留まるため、そのような問題を解決することは困難であった。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、原稿の撮影画像から抽出される直線成分の傾斜角度のヒストグラム情報に基づき画像の傾き補正を実施する場合に、ヒストグラム情報における度数分布の多少の変動に拘わらず、不必要な画像の回転を抑制可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。

本発明の画像処理装置は、原稿の紙面を撮影した撮影画像を順次取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、前記複数の直線成分の傾斜角度についてのヒストグラム情報に基づき前記撮影画像の傾斜角度を推定すると共に、当該傾斜角度に基づき前記撮影画像の傾き補正角度を設定する傾き補正角度設定部と、前記直線成分の相互の交差状態を判定することにより、前記複数の直線成分において相互に交差する直線成分の割合である交差割合を算出すると共に、当該交差割合に基づき、前記傾き補正角度に関する不感角度範囲を設定する不感角度設定部と、前記傾き補正角度に基づき、前記撮影画像を回転させる画像回転部とを備え、前記傾き補正角度設定部は、前回の撮影画像の傾き補正角度と今回の撮影画像の傾斜角度との角度差を算出し、当該角度差が前記不感角度範囲内である場合、前回の撮影画像の傾き補正角度を今回の撮影画像の傾き補正角度として設定することを特徴とする。

このように本発明によれば、原稿の撮影画像から抽出される直線成分の傾斜角度のヒストグラム情報に基づき画像の傾き補正を実施する場合に、ヒストグラム情報における度数分布の多少の変動に拘わらず、不必要な画像の回転を抑制可能となるという優れた効果を奏する。

本発明に係る原稿読取システム１を示す全体構成図図１に示した原稿読取システム１において本Ｂを正規の読取位置にセットした状態を示す平面図図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図図１に示した原稿読取システム１におけるＰＣ３の動作の要部を示すフロー図図４中の線分抽出（ＳＴ１０４）の結果として取得される線分リストの一例を示す説明図図４中の傾斜角度推定（ＳＴ１０５）の処理に用いるヒストグラム情報の一例を示す説明図（（Ａ）教科書、（Ｂ）漫画）図４中の交差線分判定（ＳＴ１０６）の処理の詳細を示すフロー図図４中の傾き補正角度設定（ＳＴ１０７）の処理の詳細を示すフロー図交差線分率と不感角度範囲との関係の一例を示す説明図図４中の傾斜角度推定（ＳＴ１０５）から画像表示更新（ＳＴ１０９）までの処理結果の一例を示す説明図

上記課題を解決するためになされた第１の発明は、原稿の紙面を撮影した撮影画像を順次取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、前記複数の直線成分の傾斜角度についてのヒストグラム情報に基づき前記撮影画像の傾斜角度を推定すると共に、当該傾斜角度に基づき前記撮影画像の傾き補正角度を設定する傾き補正角度設定部と、前記直線成分の相互の交差状態を判定することにより、前記複数の直線成分において相互に交差する直線成分の割合である交差割合を算出すると共に、当該交差割合に基づき、前記傾き補正角度に関する不感角度範囲を設定する不感角度設定部と、前記傾き補正角度に基づき、前記撮影画像を回転させる画像回転部とを備え、前記傾き補正角度設定部は、前回の撮影画像の傾き補正角度と今回の撮影画像の傾斜角度との角度差を算出し、当該角度差が前記不感角度範囲内である場合、前回の撮影画像の傾き補正角度を今回の撮影画像の傾き補正角度として設定する構成とする。

これによると、撮影画像から抽出される直線成分の傾斜角度のヒストグラム情報に基づき画像の傾き補正を実施する場合において、画像回転部による撮影画像の回転角度の変化（すなわち、前回の傾き補正角度からの変化）を禁止する不感角度範囲を直線成分の交差割合に基づき設定する構成としたため、ヒストグラム情報における度数分布の多少の変動に拘わらず、不必要な画像の回転を抑制することが可能となる。

また、第２の発明は、前記不感角度範囲は、前記交差割合に関する少なくとも１つの閾値に対応づけられた角度範囲の上限値によって規定される構成とする。

これによると、不感角度範囲を適切に設定することにより、簡易な処理により不必要な画像の回転を抑制することが可能となる。

また、第３の発明は、前記傾き補正角度設定部は、前記複数の直線成分として複数の線分を抽出し、前記不感角度設定部は、前記交差状態の判定対象である線分の少なくとも一方の端点と、他の線分とが所定の距離範囲内にある場合、当該判定対象である線分が前記他の線分と交差しないと判定する構成とする。

これによると、原稿の外形輪郭や図形枠等の画像から抽出された線分（直線成分）は、原稿の基準方向と一致する有効な直線成分であるため、その端点が他の線分上に位置するか否かを判定基準として、それら有効な直線成分を交差判定の対象から除外することで、交差割合（すなわち、不感角度範囲）をより適切に設定することが可能となる。

また、第４の発明は、前記傾き補正角度設定部は、前記ヒストグラム情報において度数が最大となる階級に対応する角度を前記撮影画像の傾斜角度と推定する構成とする。

これによると、ヒストグラム情報に基づき撮影画像の傾斜角度を容易に推定可能な構成でありながら、不必要な画像の回転を抑制することが可能となる。

また、第５の発明は、前記第１から第４の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システムである。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明に係る原稿読取システム１を示す全体構成図であり、図２は原稿読取システム１において本Ｂ（書籍）を正規の読取位置にセットした状態を示す平面図である。この原稿読取システム１は、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。

書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状に開いた脚７と、この脚７に支持され、斜め上方に伸縮自在のアーム８とを有している。脚７の上面には、本Ｂの撮影位置を規定するための一対のガイド部材９が突設されている。アーム８は、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の光軸方向（撮影方向）を調整可能となっている。

ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。

なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。さらに、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。

書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に本Ｂを開いた状態で載置することにより、本Ｂの見開き２ページと本Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。このときユーザは、図２に示すように、本Ｂの上縁Ｂａを左右方向に延びるガイド部材９に突き当てて前後方向位置および傾きを調節することにより、本Ｂを読取位置に精度良くセットすることが可能である。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対してモニタによって表示される。

なお、原稿読取システム１が読み取る原稿は、本に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。

図３は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。

書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。

ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部（撮影画像取得部）２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮影画像の傾き補正を行う画像傾斜補正部３０を有している。画像傾斜補正部３０によって処理される撮影画像データは画像データ記憶部３６から読み出され、また、後述する画像傾斜補正部３０での統計的処理等に用いられる各種パラメータの情報はパラメータ記憶部３７から読み出される。

ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。もちろんＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３６およびパラメータ記憶部３７は汎用のメモリからなる。

ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３６に格納し、必要に応じてその撮影画像データを画像傾斜補正部３０に出力する。そして、画像傾斜補正部３０は、撮影画像データの画像処理の際に撮影画像の傾斜角度を推定すると共に、その推定した傾斜角度に基づき撮影画像の傾き補正を行う。傾き補正された撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。

画像傾斜補正部３０は、撮影画像のグレースケール変換や２値化を行うグレースケール変換部３１と、グレースケール変換された撮影画像について複数のエッジ画素を抽出する（エッジ検出を行う）エッジ抽出部３２と、抽出された複数のエッジ画素に基づき当該エッジ画素を結ぶ複数の線分（直線成分）の抽出を行う線分抽出部（直線抽出部）３３と、抽出された複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定すると共に、当該傾斜角度に基づき撮影画像の傾き補正角度を設定する傾き補正角度設定部３４と、傾き補正角度に基づき撮影画像を回転させる画像回転部３５とを有している。傾き補正角度設定部３４は、原稿が略静止している場合に、何らかの不安定要因に起因する撮影画像の回転角度の変化（より詳細には、前回の撮影画像の位置を基準とした今回の撮影画像の回転）を抑制するために、傾き補正角度に関する不感角度範囲を設定する不感角度設定部３８を有している。

また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。

図４は図１に示した原稿読取システム１におけるＰＣ３の動作の要部を示すフロー図であり、図５は図４中の線分抽出（ＳＴ１０４）の結果として取得される線分リストの一例を示す説明図であり、図６は図４中の傾斜角度推定（ＳＴ１０５）の処理に用いるヒストグラム情報の一例を示す説明図である。

まず、ユーザは、読取位置（書画カメラ２の撮影可能位置）に本を見開き状態でセットし、書画カメラ２を起動させると共に、ＰＣ３にて所要のアプリケーションを起動させる。その後、書画カメラ２による撮像が開始され、ＰＣ３の画像データ入力部２２において書画カメラ２からの画像の入力が検出される（ＳＴ１０１：ＹＥＳ）。この撮影画像の入力は、所定のフレームレートで実施され、各撮影画像に対して以下で示すような処理が順次実行される。

次に、ＰＣ３では、書画カメラ２から受信した撮影画像データを画像データ入力部２２が画像データ記憶部３６に格納した後、グレースケール変換部３１が撮影画像をＲＧＢのカラー画像から白黒画像に変換する（ＳＴ１０２）。このグレースケール変換処理は、中間値法等の周知の方法を用いて行うことができる。書画カメラ２がＹＣ分離後の信号を直接出力する構成であれば、Ｙ（輝度）信号をそのまま用いるとよい。

続いて、エッジ抽出部３２は、グレースケール変換された撮影画像において輝度が急激に変化する部位をエッジ画素として抽出する（ＳＴ１０３）。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。更に、線分抽出部３３は、取得された複数のエッジ画素から線分（直線成分）の抽出を行う（ＳＴ１０４）。この線分抽出処理は、確率的ハフ（Hough）変換等の周知の方法を用いて行うことができる。確率的ハフ変換は、画像の中から端点を持つ線分を検出する際に用いられ、検出された線分について始点，終点の座標値を取得することができる。

ここで抽出された端点の座標値等の各線分の情報は、図５に示すような線分リストとしてパラメータ記憶部３７に格納される。この線分リストは、上述したように確率的ハフ変換等によって生成されたものであり、複数の線分（ここでは、ｎ本の線分Line 1〜Line n）の各々における両端点の座標データ（(Xa_1,Ya_1), (Xb_1,Yb_1)〜(Xa_n,Ya_n), (Xb_n,Yb_n)）等が含まれる。なお、図示していないが、線分リストには、後述する交差線分であるか否かを示すフラグ（以降、「交差線分フラグ」と呼称する。２つの線分が交差しないとき交差線分フラグは「false」を、交差するときは「True」の値をとるものとする）を格納するデータ領域が設けられており、交差線分フラグの値に基づき、全ての線分における他の線分と交差する線分の割合である交差線分率（交差割合）が決定される。

ここで「交差線分」を他線分との交点を持つ線分と、「非交差線分」を他線分との交点を持たない線分と定義すると、交差線分率＝交差線分の数／（交差線分の数＋非交差線分の数）で示される。なお、交差線分の数＋非交差線分の数＝全線分の数である。

撮影画像から抽出される直線成分としては、少なくともそれらの傾斜角度についての統計的処理により本Ｂの傾斜の度合いを推定可能なものであれば良く、本実施形態に示す線分に限定されるものではない。

次に、傾き補正角度設定部３４は、線分抽出部３３により検出された複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定する（ＳＴ１０５）。推定された撮影画像の傾斜角度は、各撮像画像毎にパラメータ記憶部３６に記憶される。この統計的処理において、傾き補正角度設定部３４は、線分リストにおける各線分の座標データに基づきその傾斜角度（画像の基準方向に対する傾き）θを算出し、その算出結果からヒストグラム情報を生成する。

なお、このヒストグラムを生成する際に、上述した交差線分フラグの値が参照される。交差線分フラグの値が「true」（＝交差線分である）の場合、当該線分はヒストグラム生成に用いられない。逆に交差線分フラグの値が「false」（＝非交差線分である）の場合のみ、当該線分をヒストグラム生成に用いる。つまり、評価する線分が交差線分である場合、その線分がどのような傾斜角度をもっていたとしても、ヒストグラムには一切影響を与えない。

ここでは、横軸を傾斜角度θ、縦軸を度数としたヒストグラムを生成すべく、所定幅で定められた傾斜角度θの各階級に対応する度数をカウントアップする。そして、傾き補正角度設定部３４は、ヒストグラムにおいて度数が最大となる角度（ここでは、階級の間隔の中間値）を撮影画像の傾斜角度として推定する。

なお、撮影画像の傾斜角度の推定方法としては、ここに示すものに限らず、少なくとも線分（直線成分）の角度を統計的に処理したデータに基づき撮影画像の傾斜角度を推定するものであれば他の方法を用いても良い。

ここで、図６を参照してＳＴ１０５で生成されるヒストグラム情報について説明する。図６（Ａ）には紙面の大半を文章領域４３が占める教科書の例を示し、図６（Ｂ）には紙面の大半を図画領域４４が占める漫画の例を示す。なお、ヒストグラム情報を用いた統計的処理では、図６に示すようなヒストグラムが実際に生成される必要はなく、実質的にヒストグラムのデータを使用して統計的な処理がなされればよい。

図６（Ａ）のヒストグラムでは、紙面の大半を占める文章領域４３における縦書き文書から抽出された比較的多数の線分４３Ｌａの角度や、図画領域４４の図形枠等の一部の縦線に基づく線分４４Ｌａの角度が反時計回り方向の−４５°〜０°付近の度数を構成し、また図画領域４４における図形枠等の一部の横線に基づく比較的少数の線分の角度が時計回り方向の＋４５°〜＋９０°付近の度数を構成する。そして、ヒストグラムにおいて最大度数を示す線分の傾斜角度（階級の中間値）は、基準方向を示す基準線ＬＯに対する原稿の傾斜角度α（ここでは２０°）と略一致している。また、度数分布は比較的狭い角度範囲となり、最大度数と他の度数との差が比較的大きくなっている。したがって、この教科書のような原稿では、後に詳述するように、不感角度範囲を比較的小さく設定することができる。

一方、図６（Ｂ）のヒストグラムでは、紙面の大半を占める図画領域４４における絵や図形枠等から抽出された線分４４Ｌｂの角度が−７０°〜＋９０°という比較的広い角度範囲に亘っている。線分４４Ｌｂは、本Ｂの基準方向（水平・垂直方向）と一致しないノイズから主として構成されており、これらの多くは互いに交差状態にある（すなわち、交差線分率が高い）。また、ここでは、一部の文章領域４３に文字（台詞）が存在するが、それらの文字に基づく線分は殆ど存在しない。そして、図６（Ａ）と同様にヒストグラムにおいて最大度数を示す線分の傾斜角度は原稿の傾斜角度αと略一致しているが、最大度数と他の度数との差が比較的小さい。

これは、次の（１）〜（３）を主な理由としている。
（１）図６（Ａ）では、本Ｂの外郭輪郭や枠に加えて文章部分に基づく線分成分が大量に存在し、これが突出して最大度数となっているが、図６（Ｂ）はヒストグラム生成から交差線分が除外され、文章などの大量のヒストグラム成分になる要素と比べて数が少ない枠などのみでヒストグラムが作られているため、ヒストグラム度数が全体的に小さくなっている。
（２）書籍を湾曲した状態でページを開いていると左右ページで少し異なる傾斜角度が生じることや、ハフ変換結果は直線成分と完全に一致するわけではなく、僅かに角度誤差を含んでおり、書籍傾斜角度を中心とする小さな角度幅を持つヒストグラム成分を含んでいる。
（３）交差線分で取りきれなかった残存ノイズ（非交差線分）のヒストグラム成分を含んでいる。

したがって、この漫画のような文章部分が少ない原稿（図面、写真が多い原稿）では、たとえ画像中の交差線分を除外してヒストグラムを生成したとしても、ヒストグラムにはピークが現れにくく、例えば確率的ハフ変換のランダム性によってもピーク位置が変動するおそれがあり、後に詳述するように、不感角度範囲を比較的大きく設定する必要がある。

なお、書画カメラの利用シーンでは、ユーザは、ユーザと対面する位置に書画カメラを設置して、ユーザが本を読む際の状態のまま（すなわち、図２中の書画カメラ２の脚７のガイド部材９側に本Ｂの上側が位置するように）、本を撮像範囲に置くのが自然だと考えられる。そうすると、撮影画像の傾斜角度は通常は一定の範囲内となり、ヒストグラムの階級の値も所定の範囲（ここでは、−45°〜＋45°）に制限するとよい。もちろん、このように狭く限定することなく、撮影画像の傾斜角度として例えば±１８０゜を許容してもよい。また、撮影画像の水平・垂直の双方を基準方向とする場合には、両基準方向に対する傾斜角度の度数分布を重ねるようにデータを処理してヒストグラムを生成することができる。また、ヒストグラムの階級の間隔（境界値）は、読取対象となる原稿の種類や紙面の内容に応じて適宜変更することができる。

再び図４を参照して、次に、傾き補正角度設定部３４では、後に詳述するように、不感角度設定部３８により各線分の相互の交差状態を判定し、線分抽出部３３によって検出された全ての線分において他の線分と相互に交差する線分が占める割合である交差線分率（交差割合）を算出する（ＳＴ１０６）。各線分の交差状態は、線分の両端点の座標に基づき公知の方法を用いて判定することができる。

更に、傾き補正角度設定部３４では、後に詳述するように、ＳＴ１０６で算出した交差線分率に基づき不感角度範囲を設定し、この不感角度範囲とＳＴ１０５で推定した撮影画像の傾斜角度とに基づき撮影画像の傾き補正角度を設定する（ＳＴ１０７）。このとき、傾き補正角度設定部３４は、前回の撮影画像の傾き補正角度の情報を取得し、この前回の傾き補正角度と今回の撮影画像の傾斜角度との角度差（ここでは、絶対値として扱う。）を算出する。そして、この角度差が不感角度範囲内にない場合には、今回の傾斜角度の推定値を撮影画像の傾き補正角度として画像回転部３５に送出する。一方、今回の傾斜角度の推定値が不感角度範囲内にある場合には、前回の撮影画像の傾き補正角度（すなわち、前回の撮影画像の傾斜角度の推定値）を画像回転部３５に送出する。

その後、画像回転部３５は、傾き補正角度設定部３４から撮影画像の傾き補正角度の情報を取得すると、その傾き補正角度に基づき撮影画像を回転させることにより撮影画像の傾きを補正し、これにより、正規の読取位置にて（すなわち、傾きなしで）本Ｂの紙面が読み取られた場合と同等の撮影画像を生成する（ＳＴ１０８）。つまり、この画像回転処理により、原稿の基準方向（水平・垂直方向）と画像の基準方向（図６中のＸ軸・Ｙ軸方向参照）とが略一致して撮影画像の傾きが解消される。

なお、画像回転部３５で処理された撮影画像は、画像傾斜補正部３０から表示データ生成部２７およびデータ格納部２８に適宜送られる。そして、表示データ生成部２７は、傾き補正後の撮影画像に対して、例えばそのページ全体からコンテンツが記載されている領域を抽出し、本の高さに起因する湾曲を補正してフラットな画像を生成して表示部２６に表示する（ＳＴ１０９）。このような一連の処理により、傾き補正後にモニタ等に表示される今回の撮像画像の回転方向の位置は前回の撮影画像と同じ位置のまま保持されるため、微少な角度の傾き補正が実施されて画像が見苦しくなるという問題は生じない。

ＰＣ３では、上記一連の処理ＳＴ１０１〜ＳＴ１０９が繰り返し実行されることにより、傾き補正された一連の画像（映像）が表示部２６に表示される。最終的に画像の入力が一定時間ないと判定されると（ＳＴ１０１：ＮＯ）、全ての動作が終了する。

なお、上記ＳＴ１０６の交差線分率の算出においては、通常、判定対象である線分の両端点座標と、比較対象である線分の両端点座標との位置関係で、２つの線分が交差するか否かを判定できる。

しかし、このように単純に交差するか否かを判定すると、本来、傾斜角判定に有用な情報が除外されてしまう場合がある。即ち、ある線分（端点か中間部分かを問わず）に他の線分の端点が接続した状態（接続しているとみなす状態を含む）は、２つの直線が同一直線上にない限り、目視上２つの直線は「Ｔ」字又は「Ｌ」字の形状をとり得る。ここで、「Ｔ」字には本Ｂの上／下ラインとノド（本の綴じ目、ページを見開いた状態の中心ライン）の接点の形状が該当し、「Ｌ」字には本Ｂの四隅や、漫画のコマ割の四隅の形状が該当し、いずれも本Ｂの基本的構造、レイアウトに起因して抽出される特徴的な情報である。このように本Ｂの外形輪郭や図形枠等の画像から抽出された線分は、本Ｂの基準方向と一致する有効な線分であるにも関らず、前述のように単純に２つの線分の両端点座標の位置関係のみで交差するか否かを判定すると、交差＝ノイズ成分としてヒストグラム生成から除外されてしまう場合がある。

そこで、判定対象である線分の各端点と、比較対象となる他の線分との距離を算出し、少なくとも判定対象である線分の一方の端点と他の線分とが所定の距離範囲内にある（両線分が接続していると見なせる程度に近接する）場合、当該判定対象である線分が他の線分と交差しないと判定する。このように、有効な線分を交差判定の対象から除外することで、交差線分率（すなわち、不感角度範囲）をより適切に設定することが可能となる。

図７は図４中の交差線分判定（ＳＴ１０６）の処理の詳細を示すフロー図である。まず、傾き補正角度設定部３４では、不感角度設定部３８により他の線分と交差する線分の数を示す交差線分カウンタｉを初期化してｉ＝０とし（ＳＴ２０１）、続いて各線分の相互の交差状態を判定するために、線分リストにある全ての線分から交差状態について未判定の１つの線分を判定対象線分として抽出する（ＳＴ２０２）。

ＳＴ２０２において未判定の線分が抽出された場合（ＳＴ２０３：ＹＥＳ）、その線分の交差状態を示す交差線分フラグを初期化して「false」（交差なし）とし（ＳＴ２０４）、更に、線分リストにある全ての線分から判定対象線分以外の１つの線分を比較対象線分（他の線分）として抽出する（ＳＴ２０５）。このＳＴ２０５では、線分リストにおいて今回の判定対象線分と未だ比較されていない他の１つの線分が比較対象線分として順次選択される。

ＳＴ２０５において比較対象線分が抽出された場合（ＳＴ２０６：ＹＥＳ）、傾き補正角度設定部３４では、ＳＴ２０２で抽出した判定対象線分がステップＳＴ２０５で抽出した比較対象線分と交差するか否かの判定を実行する（ＳＴ２０７）。そこで、判定対象線分が比較対象線分と交差する場合（ＳＴ２０８：ＹＥＳ）、傾き補正角度設定部３４では、交差線分フラグを「true」（交差あり）に変更すると共に、交差線分カウンタｉをカウントアップしてｉ＝ｉ＋１とする（ＳＴ２０９、ＳＴ２１０）。その後、傾き補正角度設定部３４は、今回の判定対象線分をＳＴ２０２の抽出候補から除外し（ＳＴ２１１）、更に、ＳＴ２０５で抽出されるべき比較対象線分の情報をリセットする（ＳＴ２１２）。その後は、ＳＴ２０２に戻って上記と同様の処理を実施する。

一方、ＳＴ２０８において交差しないと判定された場合（ＮＯ）、傾き補正角度設定部３４は、今回の比較対象線分をＳＴ２０５の抽出候補から除外し（ＳＴ２１３）、ＳＴ２０５に戻って次の比較対象線分を抽出して上記と同様の処理を実施する。なお、今回の判定対象線分を全ての比較対象線分と比較し終えて、ＳＴ２０５で新たな比較対象線分が抽出されない場合には（ＳＴ２０６：ＮＯ）、当該判定対象線分は、他のいずれの線分とも交差しないため、ＳＴ２０９およびＳＴ２１０の処理が省略されてＳＴ２１１に進む。

最終的に全ての線分について交差状態の判定が終了すると（ＳＴ２０３：ＮＯ）、傾き補正角度設定部３４は、不感角度設定部３８により交差線分カウンタｉの値を線分リストにおける全線分数で除算することにより、交差線分率（％）を算出する（ＳＴ２１４）。

図８は図４中の傾き補正角度設定（ＳＴ１０７）の処理の詳細を示すフロー図であり、図９は交差線分率と不感角度範囲との関係の一例を示す説明図である。

図８において、まず、傾き補正角度設定部３４では、不感角度設定部３８によって図４のＳＴ１０６において算出した交差線分率の値を取得し（ＳＴ３０１）、この交差線分率に基づき不感角度範囲を設定する（ＳＴ３０２）。ここでは、図９に示すように、交差線分率について１つの閾値（７５％）が設定され、交差線分率の値が閾値以上の場合には、不感角度範囲の上限値を５°（不感角度範囲は０°〜５°）に設定する一方、閾値未満の場合には不感角度範囲の上限値を３°（不感角度範囲は０°〜３°）に設定する。これにより、例えば交差線分率が４％である（文章領域が紙面の大半を占める）教科書や、交差線分率が４５％（文章領域と図画領域とが紙面に同程度存在する）である動物図鑑は、不感角度範囲の上限値が３°に設定され、また、交差線分率が９８％である（図画領域が紙面の大半を占める）漫画は不感角度範囲の上限値が５°に設定されることになる。

なお、交差線分＋非交差線分＝全線分の関係にある。交差線分か否かは交差線分フラグの「false」で「true」で管理され、状態遷移の過程で他の状態は存在しないから、交差線分率＋非交差線分率＝1.00（100％）である。従って、「交差線分率に基づき不感角度範囲を設定する」は「非交差線分率に基づき不感角度範囲を設定する」としてもよい。

再び図８を参照して、次に、傾き補正角度設定部３４は、図４のＳＴ１０５で推定した撮影画像の傾斜角度の値を取得し、この今回の撮影画像の傾斜角度と前回の傾き補正角度との角度差を算出する（ＳＴ３０３）、この角度差が不感角度範囲外の場合（すなわち、不感角度範囲の上限値を越える場合）には（ＳＴ３０４：ＹＥＳ）、今回の撮影画像（すなわち、傾き補正の対象となっている現在の撮影画像）の傾斜角度の推定値を新たな撮影画像の傾き補正角度として設定する（ＳＴ３０５）。一方、角度差が不感角度範囲内の場合（すなわち、不感角度範囲の上限値以下の場合）には（ＳＴ３０４：ＮＯ）、撮影画像の傾き補正角度は更新されず、前回の撮影画像の傾き補正角度をそのまま今回の撮影画像の傾き補正角度として設定する（ＳＴ３０６）。

図１０は図４中の傾斜角度推定（ＳＴ１０５）から画像表示更新（ＳＴ１０９）までの処理結果の一例を示す説明図である。グラフは、経過時間（横軸）に対する撮影画像の傾斜角度の変化（縦軸）を示している。

図１０に示すように、時間Ｔ１において最初の撮影画像の傾斜角度θｔ１が推定されると、交差線分率に基づき不感角度範囲（δ１）が設定される（図１０中の１点鎖線参照）。ここでは、不感角度範囲の正負（既に傾き補正された前回の撮影画像の位置に対する今回の撮影画像の回転角度のずれ方向）は考慮せずに絶対値として扱う。このとき、撮影画像の傾斜角度θｔ１が撮影画像の傾き補正角度として設定され、回転処理が実行される（図１０では、新たに傾き補正角度として設定されたものを●で示し、前回と同じ傾き補正角度が設定されたものを○で示す。）。その後は、ＰＣ３に順次入力される撮影画像について、傾斜角度θｔ２が推定されるが、この傾斜角度θｔ２は、時間Ｔ１において設定された前回の傾き補正角度（傾斜角度θｔ１）に対して、不感角度範囲（δ１）内にあるため、傾き補正角度は時間Ｔ１と同一のまま保持される（すなわち、画像の傾き補正に関する表示更新が抑制される。）。同様に、θｔ３、・・・、θｔ９についても、前回の傾き補正角度（傾斜角度θｔ１）に対して、不感角度範囲（δ１）内にあるため、画像の傾斜角度が変化しても傾き補正角度は同一のまま保持される。

なお、図１０に示すように、個々に推定される傾斜角度θｔｎ（図示するｎ：１〜２１）はばらつきを生じており、不感角度範囲の内外で振動するような場合もある。この影響を小さくするためには、取得した傾斜角度θｔｎを時間軸方向で移動平均（即ち、θｔｘ＝（θｔ３＋θｔ２＋θｔ１）／３））を取得し、その結果が不感角度範囲内か否かをもって傾き補正の更新の有無を決定するとよい。

時間Ｔ９の後にユーザが本Ｂのページをめくり、新たな紙面が撮影される。これにより、時間Ｔ１０において推定された傾斜角度θｔ１０は、時間Ｔ９において設定された前回の傾き補正角度（傾斜角度θｔ１）に対して不感角度範囲（δ１）外となり、そこで、交差線分率に基づき新たな不感角度範囲（δ２）が設定される。これにより、撮影画像の傾斜角度θｔ１０が撮影画像の傾き補正角度として設定され、新たな回転処理が実行される。

このように、推定された傾斜角度θｔｎが時系列に大きく変化する場合は、ページめくり等何らかの理由で被写体の状態に変化（動き）があったことを示している。このような場合、書画カメラは、原稿が静止している場合と比較して、解像度を低下させたとしても、動きを重視した設定で画像を出力すべきと考えられる。そこで、推定された傾斜角度θｔｎの変化率に応じて、例えばθｔｎの変化率が大きい場合は、出力画素を間引きにより少なくした動画優先の撮像モードとし、変化率が小さい場合は間引きを行わない静止画優先の撮像モードにするとよい。

その後、時間Ｔ１１〜Ｔ１３においてユーザは短時間で連続的に本Ｂのページをめくり、そこでの傾斜角度θｔ１１〜θｔ１３はそれぞれ前回設定された不感角度範囲外となる。これにより、傾斜角度θｔ１１〜θｔ１３に対しては、新たな不感角度範囲がそれぞれ設定されて画像の傾斜補正に関する表示更新が実行される。そして、ユーザがページめくりを中止した時間Ｔ１３の後の傾斜角度θｔ１４〜θｔ２１は、時間Ｔ１３において設定された不感角度範囲（δ３）内にあるため、上述の時間Ｔ１〜Ｔ９と同様に表示更新が抑制される。

このように、上記原稿読取システム１では、撮影画像から抽出される線分の傾斜角度のヒストグラム情報に基づき画像の傾き補正を実施する場合において、画像回転部３５による撮影画像の回転角度の変化を禁止するための不感角度範囲を交差線分率に基づき設定する構成としたため、ヒストグラム情報における度数分布の多少の変動に拘わらず、不必要な画像の回転を抑制することが可能となる。また、不感角度範囲は、交差線分率に関する少なくとも１つの閾値に対応づけられた不感角度範囲の上限値によって規定されるため、不感角度範囲を容易かつ適切に設定することができ、簡易な処理により不必要な画像の回転を抑制することが可能となる。

本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態では、交差線分率（交差割合）の１つの閾値に基づき、不感角度範囲を設定する構成としたが、交差線分率と不感角度範囲（上限値）との関係を示す数式から不感角度範囲を求めるようにしてもよい。また、上記実施形態では、判定対象となる線分について、少なくとも１つの他の線分と交差する場合に交差ありと判定することとしたが、所定数（２以上の数）の他の線分と交差する場合にのみ交差ありと判定する（すなわち、所定数未満の他の線分と交差する場合には交差なしと判定する）構成も可能である。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る画像処理装置およびこれを備えた原稿読取システムは、原稿の撮影画像から抽出される直線成分の傾斜角度のヒストグラム情報に基づき画像の傾き補正を実施する場合に、ヒストグラム情報における度数分布の多少の変動に拘わらず、不必要な画像の回転を抑制可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。

１原稿読取システム
２書画カメラ（画像入力装置）
３ＰＣ（画像処理装置）
６載置面
２２画像データ入力部（撮影画像取得部）
２３画像処理装置
３２エッジ抽出部
３３線分抽出部
３４傾き補正角度設定部
３５画像回転部
３８不感角度設定部
４０撮影エリア
４３文章領域
４４図画領域

Claims

原稿の紙面を撮影した撮影画像を順次取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、
前記複数の直線成分の傾斜角度についてのヒストグラム情報に基づき前記撮影画像の傾斜角度を推定すると共に、当該傾斜角度に基づき前記撮影画像の傾き補正角度を設定する傾き補正角度設定部と、
前記直線成分の相互の交差状態を判定することにより、前記複数の直線成分において相互に交差する直線成分の割合である交差割合を算出すると共に、当該交差割合に基づき、前記傾き補正角度に関する不感角度範囲を設定する不感角度設定部と、
前記傾き補正角度に基づき、前記撮影画像を回転させる画像回転部と
を備え、
前記傾き補正角度設定部は、前回の撮影画像の傾き補正角度と今回の撮影画像の傾斜角度との角度差を算出し、当該角度差が前記不感角度範囲内である場合、前回の撮影画像の傾き補正角度を今回の撮影画像の傾き補正角度として設定することを特徴とする画像処理装置。
前記不感角度範囲は、前記交差割合に関する少なくとも１つの閾値に対応づけられた角度範囲の上限値によって規定されることを特徴とする請求項１に記載の画像処理装置。
前記傾き補正角度設定部は、前記複数の直線成分として複数の線分を抽出し、
前記不感角度設定部は、前記交差状態の判定対象である線分の少なくとも一方の端点と、他の線分とが所定の距離範囲内にある場合、当該判定対象である線分が前記他の線分と交差しないと判定することを特徴とする請求項１または請求項２に記載の画像処理装置。
前記傾き補正角度設定部は、前記ヒストグラム情報において度数が最大となる階級に対応する角度を前記撮影画像の傾斜角度と推定することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
請求項１から請求項４のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システム。