JP2008071076A - 画像抽出装置 - Google Patents

Abstract

【課題】帳票の帳票画像を含む媒体上の画像情報から、帳票画像を自動的に抽出が可能な画像抽出装置を提供する。
【解決手段】画像抽出装置において、所定領域を有する帳票のフォームを予め記憶するフォーム記憶部と、帳票の帳票画像を含む媒体上の画像情報を入力する画像入力部と、入力された画像情報に対して２値化処理を行い、２値画像情報を取得する２値化処理部と、取得された２値画像情報に基づいて、画像情報における所定領域を探索する探索部と、探索された所定領域の位置座標を示す領域位置を検出する位置検出部と、検出された領域位置及びフォームに基づいて、画像情報における帳票画像の位置座標を示す帳票位置を算出する算出部と、算出された帳票位置に基づいて、画像情報から帳票画像を抽出する抽出部とを備える。
【選択図】図１

Description

本発明は、画像情報から特定領域の画像情報を抽出する画像抽出装置に関し、特に、運転免許証をコピーした媒体の媒体画像から運転免許証画像を抽出可能な画像抽出装置に関する。

本人確認法の制定により、金融機関等においては、運転免許証等の身分証明書による本人確認業務の実施が義務化されている。このような本人確認業務は、例えば公共機関や医療機関、レンタル事業窓口等においても、日常的に実施されている。

金融機関の営業店において、口座の開設を申し込む場合、申込者は、窓口の係員に身分証明書を提示する。そして、係員により本人確認業務が実施された後、申込者の口座が開設される。その際、提示された身分証明書のコピーが取得され、開設された口座に関する本人確認書類として、営業店において保管されることとなる。

また、郵送により口座の開設を申し込む場合、申込者自身が、コピー機等を利用して身分証明書のコピーを取得し、金融機関に提出する。提出された身分証明書のコピーは、口座の開設後、本人確認書類として金融機関において保管される。

上記した本人確認書類は、従来、紙のまま保管されていた。一方、近年、書類をイメージデータ化し、該書類に関連するデータとリンクづけして保管するイメージファイリングシステムが広く普及し、金融機関においても、口座管理用データベースに利用されるようになってきた。これにより、金融機関は、大量の本人確認書類をイメージデータ化し、各口座における口座番号とリンクづけして保管可能となった。

ところで、コピー機で使用されるコピー用紙のサイズは、通常、運転免許証等の身分証明書のサイズに比較して大きいため、上記した本人確認書類として、コピー用紙全体をイメージデータ化して保管すると、データベースのディスク使用量に無駄が発生し、データベース容量が圧迫されるという問題があった。

このような問題を解消する方法として、コピー用紙全体のイメージデータ、即ち用紙イメージから、身分証明書のイメージデータ、即ち身分証明書イメージのみを抽出して保管することが考えられる。しかしながら、上記したように、申込者自身によりコピーが取得される場合もあることから、使用されるコピー用紙のサイズや、各用紙イメージにおける身分証明書イメージの位置やサイズは、不定となってしまう。それゆえ、上記方法を実現するためには、各用紙イメージそれぞれに対して、抽出すべき領域の指定をひとつずつ人的に行わなければならず、作業が煩雑になるという問題があった。

したがって、用紙イメージから身分証明書イメージを自動的に抽出可能な画像抽出装置が望まれていた。

本発明は、以上の点を解決するために、次の構成を採用する。

〈構成〉
本発明に係る画像抽出装置は、所定領域を有する帳票のフォームを予め記憶するフォーム記憶部と、帳票の帳票画像を含む媒体上の画像情報を入力する画像入力部と、入力された画像情報に対して２値化処理を行い、２値画像情報を取得する２値化処理部と、取得された２値画像情報に基づいて、画像情報における所定領域を探索する探索部と、探索された所定領域の位置座標を示す領域位置を検出する位置検出部と、検出された領域位置及びフォームに基づいて、画像情報における帳票画像の位置座標を示す帳票位置を算出する算出部と、算出された帳票位置に基づいて、画像情報から帳票画像を抽出する抽出部とを備えることを特徴とする。

上記発明において、帳票として、運転免許証を採用可能である。この場合、所定領域として、運転免許証に貼付された顔写真の顔写真貼付領域或いは運転免許証に記載された有効期限記載領域を採用可能である。

本発明に係る画像抽出装置において、２値化処理部は、画像の明度を示す閾値が記憶される閾値記憶部を更に備え、画像情報を構成する各画素の明度が、記憶されている閾値と比較して高いか否かに基づいて、２値化処理を行うことを特徴とする。

また、位置検出部は、探索された所定領域に外接する矩形座標を領域位置として検出することを特徴とする。

また、フォーム記憶部は、帳票画像における所定領域のサイズ及び領域位置を特定するための複数のフォームデータが記憶されるフォームデータ記憶部からなり、算出部は、検出された領域位置及び記憶されているフォームデータに基づいて、帳票位置の算出を行うことを特徴とする。

本発明に係る画像抽出装置は、検出された領域位置に基づいて、画像情報における帳票画像の傾きの有無を判断する傾き判断部と、有ると判断されると、傾きを補正して補正画像情報を取得する傾き補正部とを更に備えることができる。この場合、探索部は、更に補正画像情報における所定領域を探索し、位置検出部は、更に探索された所定領域の領域位置を補正領域位置として検出し、算出部は、特定された補正領域位置及びフォームに基づいて、補正画像情報における帳票画像の帳票位置を補正帳票位置として算出し、抽出部は、特定された補正帳票位置に基づいて、補正画像情報から帳票画像を抽出する。

上記画像抽出装置において、位置検出部は、探索された所定領域に外接する矩形座標を補正領域位置として検出することができる。

本発明に係る画像抽出装置は、画像情報における帳票の罫線を検出する罫線検出部と、検出された罫線及びフォームに基づいて、画像情報における帳票画像の傾きの有無を判断する傾き判断部と、有ると判断されると、傾きを補正して補正画像情報を取得する傾き補正部とを更に備えることができる。この場合、探索部は、補正画像情報において所定領域の探索を行い、位置検出部は、探索された所定領域の位置を補正領域位置として検出し、算出部は、検出された補正領域位置及びフォームに基づいて、補正画像情報における帳票画像の帳票位置を補正帳票位置として算出し、抽出部は、算出された補正帳票位置に基づいて、補正画像情報から帳票画像を抽出する。

上記画像抽出装置において、位置検出部は、探索された所定領域に外接する矩形座標を補正領域位置として検出することができる。

本発明に係る画像抽出装置において、帳票は、複数の所定領域を有し、探索部は、複数の所定領域を探索し、検出部は、複数の所定領域それぞれの位置座標を示す複数の領域位置を検出し、算出部は、検出された複数の領域位置それぞれに基づいて、複数の帳票位置を算出し、算出された複数の帳票位置の何れにも外接する矩形座標を、帳票位置として特定する特定部を更に備えることを特徴とする。

上記発明において、帳票として、運転免許証を採用可能である。この場合、複数の所定領域として、運転免許証に貼付された顔写真の顔写真貼付領域と、運転免許証に記載された有効期限の有効期限記載領域とが採用される。

本発明の画像抽出装置によれば、帳票画像を含む画像情報において、帳票画像に含まれる所定領域の位置及びサイズを検出することにより、帳票画像の外形位置を特定して抽出可能となるので、作業が効率化されると共に、抽出された帳票画像のみを保存することにより、リソースの無駄が防止される。また、複数の所定領域を用いて外形位置を特定することにより、変形のある画像に対しても確実に帳票画像を抽出可能となるので、適用範囲が拡大される。

以下、本発明の実施形態を図を用いて詳細に説明する。

図１は、本発明の実施例に係る画像抽出装置の構成を示すブロック図である。
この画像抽出装置１０を利用して、運転免許証がコピーされたコピー用紙の画像から、運転免許証部分の画像のみを抽出して保存できる。

画像抽出装置１０は、例えば、金融機関の窓口に設置されるパーソナルコンピュータ１１と、該パーソナルコンピュータ１１に接続し、金融機関における口座管理用データベースを構築する記憶装置１２と、パーソナルコンピュータ１１に接続されるイメージスキャナ１３とから構成される。

イメージスキャナ１３は、載置されたコピー用紙等の媒体を光学的に読み取って、該媒体の画像情報、即ち媒体イメージを取得する画像取得部としての機能を有する。イメージスキャナ１３により取得された媒体イメージは、図示されないインタフェース部を介して、パーソナルコンピュータ１１に送られる。

パーソナルコンピュータ１１は、一時記憶部１４、フォームデータ記憶部１５、読出部１６、２値化処理部１７、探索部１８、位置検出部１９、角度検出部２０、傾き判断部２１、傾き補正部２２、矩形検出部２３、算出部２４、特定部２５、抽出部２６及びこれら各部を制御する制御部２７を備えている。

一時記憶部１４は、イメージスキャナ１３から入力された媒体イメージや、後述する各部により出力された各種データを、一時的に記憶しておく機能を有する。

フォームデータ記憶部１５は、運転免許証のフォームにおける各所定領域の位置やサイズ等に関するデータ、即ちフォームデータが記憶される専用記憶部である。本実施例では、フォームデータ記憶部１５は、以下に説明する顔写真貼付領域に関するフォームデータ「ｎ_１」、「ｎ_２」、「ｎ_３」及び「ｎ_４」と、有効期限記載領域に関するフォームデータ「ｍ_１」、「ｍ_２」、「ｍ_３」及び「ｍ_４」とを記憶している。

図２は、運転免許証の一例を示す説明図である。
運転免許証３０は、図２に示されるように、所定のフォームに基づいて作成される。運転免許証３０のフォームには、氏名や生年月日、本籍、住所等がそれぞれ記載される各領域に加えて、有効期限が記載される有効期限記載領域３１が設けられている。この有効期限記載領域３１は、他の部分とは異なる明度の低い地色となっている。

また、運転免許証３０には、更に、所定サイズの顔写真が貼付される顔写真貼付領域３２が設けられている。この顔写真貼付領域３２に貼付される顔写真は、所定色の背景のもとで撮影される。この背景の色は、有効期限記載領域３１の地色と同様に、他の部分と比較して明度が低くなっている。

図３は、運転免許証のフォームを示す説明図である。
上記したように、顔写真貼付領域３２は、所定位置に設けられた所定サイズの領域である。この顔写真貼付領域３２の位置を、図３（ｂ）に示すように、運転免許証３０のエッジ３３と顔写真貼付領域３２のエッジ３４との距離に基づいて、右端から「ｒ_ａ」、左端から「ｌ_ａ」、上端から「ｏ_ａ」、下端から「ｕ_ａ」の４つの位置データを用いて表すこととする。同様に、顔写真貼付領域３２のサイズを、図３（ｃ）に示すように、横幅「ｗ_ａ」、高さ「ｈ_ａ」の２つのサイズデータを用いて表す。

フォームデータ記憶部１５に記憶される顔写真貼付領域３２に関するフォームデータ「ｎ_１」、「ｎ_２」、「ｎ_３」及び「ｎ_４」は、上記した位置データ及びサイズデータの比で表される。即ち、「ｎ_１＝ｒ_ａ／ｗ_ａ」、「ｎ_２＝ｌ_ａ／ｗ_ａ」、「ｎ_３＝ｏ_ａ／ｈ_ａ」及び「ｎ_４＝ｕ_ａ／ｈ_ａ」である。

同様に、有効期限記載領域３１の位置を、図３（ｂ）に示すように、運転免許証３０のエッジ３３と有効期限記載領域３１のエッジ３５との距離に基づいて、右端から「ｒ_ｂ」、左端から「ｌ_ｂ」、上端から「ｏ_ｂ」、下端から「ｕ_ｂ」の４つの位置データを用いて表し、サイズを、図３（ｃ）に示すように、横幅「ｗ_ｂ」、高さ「ｈ_ｂ」の２つのサイズデータを用いて表す。すると、フォームデータ記憶部１５に記憶される有効期限記載領域３１に関するフォームデータ「ｍ_１」、「ｍ_２」、「ｍ_３」及び「ｍ_４」は、上記した位置データ及びサイズデータの比で表される。即ち、「ｍ_１＝ｒ_ｂ／ｗ_ｂ」、「ｍ_２＝ｌ_ｂ／ｗ_ｂ」、「ｍ_３＝ｏ_ｂ／ｈ_ｂ」及び「ｍ_４＝ｕ_ｂ／ｈ_ｂ」である。

読出部１６は、一時記憶部１４から媒体イメージ等の各データを読み出す機能や、フォームデータ記憶部１５からフォームデータを読み出す機能を有する。

２値化処理部１７は、読出部１６により一時記憶部１４から読み出された媒体イメージを、該媒体イメージを構成する各画素の明度に基づいて２値化する処理部であり、閾値記憶部２８を備えている。閾値記憶部２８には、明度を示す閾値が予め記憶されており、２値化処理部１７は、各画素の明度が該閾値より高いか否かに基づいて、媒体イメージの２値化処理を行い、２値媒体イメージを取得する。２値化処理部１７により取得された２値媒体イメージは、一時記憶部１４に記憶される。

探索部１８は、媒体イメージにおいて、所定領域のエッジを探索する。本実施例では、探索部１８により探索される所定領域は、上記した顔写真貼付領域３２及び有効期限記載領域３１である。

上記したように、顔写真貼付領域３２及び有効期限記載領域３１は、他の部分と比較して明度が低い画素により構成されている。そのため、閾値記憶部２８に記憶される閾値を適宜に設定することにより、２値化処理部１７が取得する２値媒体イメージにおいて、顔写真貼付領域３２及び有効期限記載領域３１は、例えば図３（ｂ）及び（ｃ）に示されるように、他の部分とは異なる色となる。探索部１８は、該２値媒体イメージに基づいて、顔写真貼付領域３２のエッジ３４及び有効期限記載領域３１のエッジ３５の探索を行う。同様に、探索部１８は、後述する補正媒体イメージにおいて、顔写真貼付領域３２及び有効期限記載領域３１のエッジを探索する。

位置検出部１９は、媒体イメージにおける所定領域の位置を示す座標を、領域位置として検出する。本実施例では、位置検出部１９は、顔写真貼付領域３２及び有効期限記載領域３１の位置座標を、それぞれ顔写真位置及び有効期限位置として検出する。

図４は、媒体イメージの例を示す説明図である。
媒体イメージにおける運転免許証イメージの位置やサイズは、図４（ａ）〜（ｄ）に示されるように、不定となっている。

位置検出部１９は、探索部１８により探索された顔写真貼付領域３２のエッジ３４から、図４（ａ）に示されるように、４つの頂点３７ａ、３７ｂ、３７ｃ及び３７ｄを検出する。また、位置検出部１９は、媒体イメージの画像端３６を検出し、下側画像端３６ａをｘ座標軸とみなすことにより、或いは左側画像端３６ｂをｙ座標軸とみなすことにより、これら４つの頂点３７ａ、３７ｂ、３７ｃ及び３７ｄの座標（ｘ_ａ１，ｙ_ａ１）、（ｘ_ａ２，ｙ_ａ２）、（ｘ_ａ３，ｙ_ａ３）及び（ｘ_ａ４，ｙ_ａ４）を、顔写真位置として検出する。

同様に、位置検出部１９は、探索部１８により探索された有効期限記載領域３１のエッジ３５から、図４（ａ）に示されるように、４つの頂点３８ａ、３８ｂ、３８ｃ及び３８ｄを検出し、該頂点３８ａ、３８ｂ、３８ｃ及び３８ｄの座標（ｘ_ｂ１，ｙ_ｂ１）、（ｘ_ｂ２，ｙ_ｂ２）、（ｘ_ｂ３，ｙ_ｂ３）及び（ｘ_ｂ４，ｙ_ｂ４）を、有効期限位置として検出する。

また、位置検出部１９は、後述する補正媒体イメージにおける所定領域の位置を示す座標を、補正領域位置として検出する。即ち、位置検出部１９は、補正媒体イメージにおける顔写真貼付領域３２の位置を示す各座標（Ｘ_ａ１，Ｙ_ａ１）、（Ｘ_ａ２，Ｙ_ａ２）、（Ｘ_ａ３，Ｙ_ａ３）及び（Ｘ_ａ４，Ｙ_ａ４）を補正顔写真位置として、また、有効期限記載領域３１の位置を示す各座標（Ｘ_ｂ１，Ｙ_ｂ１）、（Ｘ_ｂ２，Ｙ_ｂ２）、（Ｘ_ｂ３，Ｙ_ｂ３）及び（Ｘ_ｂ４，Ｙ_ｂ４）を補正有効期限位置として、それぞれ検出する。

角度検出部２０は、位置検出部１９により媒体イメージから検出された各領域位置に基づいて、媒体イメージにおける各所定領域の傾き角度θを検出する。検出された傾き角度θは、一時記憶部１４に記憶される。

図５は、媒体イメージの一部を示す省略図である。
図５において、運転免許証イメージは、媒体イメージの画像端３６に対して傾いている。

本実施例では、角度検出部２０は、顔写真貼付領域３２の上側エッジ３４ａにおける頂点３７ｂ及び３７ｄから検出された各座標（ｘ_ａ２，ｙ_ａ２）、（ｘ_ａ４，ｙ_ａ４）に基づいて、顔写真貼付領域３２の上側エッジ３４ａと、媒体イメージの下側画像端３６ａとの間のずれの角度θ_ａを、顔写真貼付領域３２の傾き角度として検出する。

更に、角度検出部２０は、有効期限記載領域３１の上側エッジ３５ａにおける頂点３８ｂ及び３８ｄから検出された各座標（ｘ_ｂ２，ｙ_ｂ２）、（ｘ_ｂ４，ｙ_ｂ４）に基づいて、有効期限記載領域３１の上側エッジ３５ａと、媒体イメージの下側画像端３６ａとの間のずれの角度θ_ｂを、有効期限記載領域３１の傾き角度として検出する。

なお、角度検出部２０による傾き角度の検出は、例えば、顔写真貼付領域３２或いは有効期限記載領域３１の下側エッジにおける頂点の座標に基づいて検出することも可能である。同様に、角度検出部２０は、顔写真貼付領域３２及び有効期限記載領域３１の右側エッジ或いは左側エッジにおける頂点の座標に基づいて、左側画像端３６ｂに対する傾き角度を検出することも可能である。

傾き判断部２１は、角度検出部２０により検出された傾き角度θに基づいて、所定領域が媒体イメージに対して傾いているか否かを判断する機能を有し、閾値記憶部２９を備えている。閾値記憶部２９には、角度を示す閾値θ_ｔｈが予め記憶されており、傾き判断部２１は、傾き角度θ_ａ或いはθ_ｂが該閾値θ_ｔｈ以上である場合、顔写真貼付領域３２或いは有効期限記載領域３１が傾いている、即ち運転免許証イメージが傾いていると判断し、該判断結果を傾き補正部２２に通知する。

傾き補正部２２は、傾き判断部２１からの通知を受けて、運転免許証イメージの傾きを補正する。傾き補正部２２は、読出部１６により読み出された傾き角度θに基づいて、画像の回転を実施し、補正媒体イメージを取得する。

図６は、媒体イメージ及び補正媒体イメージを示す説明図である。
図６（ａ）において、媒体イメージ４０の画像端を実線で示し、補正媒体イメージ４１の画像端を破線で示す。

傾き補正部２２は、傾き角度θを０とすべく、画像の回転を行い、図６（ｂ）に示される補正媒体イメージ４１を取得する。取得された補正媒体イメージ４１は、一時記憶部１４に記憶される。

矩形検出部２３は、位置検出部１９により検出された補正所定位置に基づいて、所定領域を内含する矩形の矩形座標を、矩形領域位置として検出する。即ち、位置検出部１９により検出された補正媒体イメージ４１における顔写真貼付領域３２の位置を示す各座標（Ｘ_ａ１，Ｙ_ａ１）、（Ｘ_ａ２，Ｙ_ａ２）、（Ｘ_ａ３，Ｙ_ａ３）及び（Ｘ_ａ４，Ｙ_ａ４）、即ち補正顔写真位置に基づいて、探索部１８により探索された顔写真貼付領域３２を内含する矩形の４つの頂点４２ａ、４２ｂ、４２ｃ及び４２ｄに対応する矩形座標（Ｘ´_ａ１，Ｙ´_ａ１）、（Ｘ´_ａ１，Ｙ´_ａ２）、（Ｘ´_ａ２，Ｙ´_ａ１）及び（Ｘ´_ａ２，Ｙ´_ａ２）を、矩形顔写真位置として検出する。なお、位置検出部１９及び矩形検出部２３は、補正媒体イメージ４１における下側画像端４９ａをＸ座標軸とみなすことにより、或いは左側画像端４９ｂをＹ座標軸とみなすことにより、（Ｘ，Ｙ）座標の検出を行うものとする。

矩形検出部２３による矩形顔写真位置の検出処理の一例を、以下に示す。矩形検出部２３は、位置検出部１９により検出された座標Ｘ_ａ１及びＸ_ａ２の中、座標値が小さい方をＸ´_ａ１とする。また、座標Ｘ_ａ３及びＸ_ａ４の中、座標値が大きい方をＸ´_ａ２とする。同様に、矩形検出部２３は、座標Ｙ_ａ１及びＹ_ａ３の中、座標値が小さい方をＹ´_ａ１とし、座標Ｙ_ａ２及びＹ_ａ４の中、座標値が大きい方をＹ´_ａ２とする。
又は、探索部１８により探索された顔写真貼付領域３２に外接する矩形を検出し、該矩形の頂点座標を矩形顔写真位置として検出することも可能である。

更に、矩形検出部２３は、位置検出部１９により検出された補正媒体イメージ４１における有効期限記載領域３１の位置を示す各座標（Ｘ_ｂ１，Ｙ_ｂ１）、（Ｘ_ｂ２，Ｙ_ｂ２）、（Ｘ_ｂ３，Ｙ_ｂ３）及び（Ｘ_ｂ４，Ｙ_ｂ４）、即ち補正有効期限位置に基づいて、探索部１８により探索された有効期限記載領域３１を内含する矩形の４つの頂点４５ａ、４５ｂ、４５ｃ及び４５ｄに対応する矩形座標（Ｘ´_ｂ１，Ｙ´_ｂ１）、（Ｘ´_ｂ１，Ｙ´_ｂ２）、（Ｘ´_ｂ２，Ｙ´_ｂ１）及び（Ｘ´_ｂ２，Ｙ´_ｂ２）を、矩形有効期限位置として検出する。

算出部２４は、矩形検出部２３により検出された矩形領域位置と、読出部１６によりフォームデータ記憶部１５から読み出された各フォームデータとに基づいて、補正媒体イメージ４１における運転免許証イメージの外形位置を算出する。

図７は、運転免許証イメージの外形位置の算出例を示す説明図である。
図７（ａ）は、矩形顔写真位置に基づく外形位置４３の算出例に対応し、図７（ｂ）は、矩形有効期限位置に基づく外形位置４６の算出例に対応する。図７（ａ）では、運転免許証イメージの外形位置４３の４つの頂点４４ａ、４４ｂ、４４ｃ及び４４ｄの各座標を、（Ｘ_Ａ１，Ｙ_Ａ１）、（Ｘ_Ａ１，Ｙ_Ａ２）、（Ｘ_Ａ２，Ｙ_Ａ１）及び（Ｘ_Ａ２，Ｙ_Ａ２）と示し、図７（ｂ）では、運転免許証イメージの外形位置４６の４つの頂点４７ａ、４７ｂ、４７ｃ及び４７ｄの各座標を、（Ｘ_Ｂ１，Ｙ_Ｂ１）、（Ｘ_Ｂ１，Ｙ_Ｂ２）、（Ｘ_Ｂ２，Ｙ_Ｂ１）及び（Ｘ_Ｂ２，Ｙ_Ｂ２）と示す。

算出部２４による外形位置の算出は、以下のように行われる。まず、算出部２４は、矩形顔写真位置を示す矩形座標（Ｘ´_ａ１，Ｙ´_ａ１）、（Ｘ´_ａ１，Ｙ´_ａ２）、（Ｘ´_ａ２，Ｙ´_ａ１）及び（Ｘ´_ａ２，Ｙ´_ａ２）に基づいて、顔写真貼付領域３２の横幅「Ｗ_ａ」及び高さ「Ｈ_ａ」の各サイズデータを、「Ｗ_ａ＝Ｘ´_ａ２−Ｘ´_ａ１」及び「Ｈ_ａ＝Ｙ´_ａ２−Ｙ´_ａ１」の計算式によりそれぞれ算出する。

続いて、算出部２４は、顔写真貼付領域３２に関するフォームデータ「ｎ_１」、「ｎ_２」、「ｎ_３」及び「ｎ_４」に基づいて、以下の計算を行う。まず、算出部２４は、横幅サイズデータ「Ｗ_ａ」及びフォームデータ「ｎ_１」に基づいて、顔写真貼付領域３２の右側エッジから運転免許証イメージの右側エッジまでの長さデータ「Ｒ_ａ」を、計算式「Ｒ_ａ＝Ｗ_ａ×ｎ_１」により算出する。そして、補正媒体イメージにおける運転免許証イメージの右側エッジのＸ座標Ｘ_Ａ２を、計算式「Ｘ_Ａ２＝Ｘ´_ａ２＋Ｒ_ａ」に基づき算出する。

同様に、算出部２４は、顔写真貼付領域３２の左側エッジから運転免許証イメージの左側エッジまでの長さデータ「Ｌ_ａ」を、計算式「Ｌ_ａ＝Ｗ_ａ×ｎ_２」に基づき算出し、補正媒体イメージにおける運転免許証イメージの左側エッジのＸ座標Ｘ_Ａ１を、計算式「Ｘ_Ａ１＝Ｘ´_ａ１―Ｌ_ａ」に基づき算出する。

また、算出部２４は、顔写真貼付領域３２の上側エッジから運転免許証イメージの上側エッジまでの長さデータ「Ｏ_ａ」を、計算式「Ｏ_ａ＝Ｈ_ａ×ｎ_３」に基づき算出し、補正媒体イメージにおける運転免許証イメージの上側エッジのＹ座標Ｙ_Ａ２を、計算式「Ｙ_Ａ２＝Ｙ´_ａ２＋Ｏ_ａ」に基づき算出する。

更に、算出部２４は、顔写真貼付領域３２の下側エッジから運転免許証イメージの下側エッジまでの長さデータ「Ｕ_ａ」を、計算式「Ｕ_ａ＝Ｈ_ａ×ｎ_４」に基づき算出し、補正媒体イメージにおける運転免許証イメージの上側エッジのＹ座標Ｙ_Ａ１を、計算式「Ｙ_Ａ１＝Ｙ´_ａ１―Ｕ_ａ」に基づき算出する。

また、算出部２４は、矩形有効期限位置を示す矩形座標（Ｘ´_ｂ１，Ｙ´_ｂ１）、（Ｘ´_ｂ１，Ｙ´_ｂ２）、（Ｘ´_ｂ２，Ｙ´_ｂ１）及び（Ｘ´_ｂ２，Ｙ´_ｂ２）に基づいて、運転免許証イメージの外形位置４６を算出する。以下、簡単に説明する。

算出部２４は、有効期限記載領域３１の横幅「Ｗ_ｂ」及び高さ「Ｈ_ｂ」の各サイズデータを、「Ｗ_ｂ＝Ｘ´_ｂ２−Ｘ´_ｂ１」及び「Ｈ_ｂ＝Ｙ´_ｂ２−Ｙ´_ｂ１」の計算式によりそれぞれ算出する。

続いて、算出部２４は、有効期限記載領域３１に関するフォームデータ「ｍ_１」、「ｍ_２」、「ｍ_３」及び「ｍ_４」に基づいて、以下の計算を行う。即ち、算出部２４は、横幅サイズデータ「Ｗ_ａ」及びフォームデータ「ｍ_１」に基づいて、有効期限記載領域３１の右側エッジから運転免許証イメージの右側エッジまでの長さデータ「Ｒ_ｂ」を、計算式「Ｒ_ｂ＝Ｗ_ｂ×ｍ_１」により算出する。そして、補正帳票イメージにおける運転免許証イメージの右側エッジのＸ座標Ｘ_Ｂ２を、計算式「Ｘ_Ｂ２＝Ｘ´_ｂ２＋Ｒ_ｂ」に基づき算出する。

同様に、算出部２４は、長さデータ「Ｌ_ｂ」、「Ｏ_ｂ」及び「Ｕ_ｂ」を、計算式「Ｌ_ｂ＝Ｗ_ｂ×ｍ_２」、「Ｏ_ｂ＝Ｈ_ｂ×ｍ_３」及び「Ｕ_ｂ＝Ｈ_ｂ×ｍ_４」に基づき算出し、補正媒体イメージにおける運転免許証イメージの各エッジの座標Ｘ_Ｂ１、Ｙ_Ｂ２及びＹ_Ｂ１を、計算式「Ｘ_Ｂ１＝Ｘ´_ｂ１―Ｌ_ｂ」、「Ｙ_Ｂ２＝Ｙ´_ｂ２＋Ｏ_ｂ」及び「Ｙ_Ｂ２＝Ｙ´_ｂ２＋Ｏ_ｂ」に基づき、それぞれ算出する。

特定部２５は、算出部２４により各矩形領域位置に基づいて算出された外形位置４３及び４６に基づいて、運転免許証イメージの外形位置４８を特定する。

矩形顔写真位置から算出された運転免許証イメージの外形位置４３と、矩形有効期限位置から特定された運転免許証イメージの外形位置４６とは、本来、一致するはずである。しかしながら、コピー画像に歪み等の変形が生じた場合、多少のずれが発生することもある。

図８は、運転免許証イメージの外形位置の特定例を示す説明図である。
図８において、一点鎖線で示される外形位置４３は、図７（ａ）で示される矩形顔写真位置に基づいて算出され、点線で示される外形位置４６は、図７（ｂ）で示される矩形有効期限位置に基づいて算出される。

特定部２５は、矩形顔写真位置に基づいて算出された外形位置４３に囲まれる領域と、矩形有効期限位置に基づいて算出された外形位置４６に囲まれる領域とを全て含む矩形を、運転免許証イメージの外形位置４８として特定する。図８では、実線で示される外形位置４８は、外形位置４３及び外形位置４６の何れをも内包している。外形位置４８の頂点の座標は、図８において、外形位置４３及び４６の頂点の座標を用いて、それぞれ（Ｘ_Ｂ１，Ｙ_Ａ１）、（Ｘ_Ｂ１，Ｙ_Ｂ２）、（Ｘ_Ａ２，Ｙ_Ａ１）及び（Ｘ_Ａ２，Ｙ_Ｂ２）と表される。

抽出部２６は、特定部２５により特定された外形位置に基づいて、運転免許証イメージを切り出して抽出する。また、抽出部２６は、抽出された運転免許証イメージを保存すべく、図示されない入力部により入力された口座番号と対応させて、記憶装置１２に記憶させる。

制御部２７は、上記した各部１４〜２６を制御する機能を有する。

記憶装置１２は、運転免許証イメージを口座番号等の口座情報と対応させて記憶する口座管理用データベースとしての機能を有する。

続いて、本実施例の画像抽出装置１０の動作について、フローチャートに沿って説明する。
図９は、本発明に係る画像抽出装置の実施例における動作を示すフローチャートである。

まず、イメージスキャナ１３が、運転免許証がコピーされた媒体の媒体イメージを取得し、パーソナルコンピュータ１１に該媒体イメージを入力する（Ｓ１０１）。その際、口座番号等の口座情報が、図示されない入力部により入力される。入力された媒体イメージ及び口座情報は、一時記憶部１４に記憶される。

続いて、制御部２７の制御により、読出部１６が一時記憶部１４から媒体イメージ４０を読み出す。そして、２値化処理部１７が、該媒体イメージに対して２値化処理を行い、２値媒体イメージを取得する（Ｓ１０２）。取得された２値媒体イメージは、一時記憶部１４に記憶される。

次に、制御部２７は、探索部１８を制御して、読出部１６により読み出された２値媒体イメージにおいて、所定領域を探索する（Ｓ１０３）。２値媒体イメージには、明度の低い領域が２つ存在するが、探索部１８は、本実施例では、まず、右側に位置する領域を顔写真貼付領域３２として、該領域のエッジ３４を探索する。

所定領域が探索されると、制御部２７は、位置検出部１９を制御して、探索された所定領域の領域位置を検出させる（Ｓ１０４）。位置検出部１９は、顔写真貼付領域３２のエッジ３４から４つの頂点を検出し、媒体イメージの下側画像端３６ａをｘ軸とみなして、これら４つの頂点の座標（ｘ_ａ１，ｙ_ａ１）、（ｘ_ａ２，ｙ_ａ２）、（ｘ_ａ３，ｙ_ａ３）及び（ｘ_ａ４，ｙ_ａ４）を、顔写真位置として検出する。

次に、制御部２７は、角度検出部２０により、所定領域の傾き角度θを検出する（Ｓ１０５）。角度検出部２０は、位置検出部１９により検出された顔写真位置に基づいて、顔写真貼付領域３２の上側エッジ３４と、媒体イメージの下側画像端３６ａとの間のずれの角度θ_ａを傾き角度θとして検出する。検出された傾き角度θ_ａは、一時記憶部１４に記憶される。

そして、傾き判断部２１が、該傾き角度θに基づいて、所定領域が傾いているか否かを判断する（Ｓ１０６）。傾き判断部２１は、読出部１６により読み出された傾き角度θ_ａと、閾値記憶部２９に記憶されている閾値θ_ｔｈとを比較し、θ_ａがθ_ｔｈ以上である場合、顔写真貼付領域３２が媒体イメージに対して傾いていると判断し、該判断結果を傾き補正部２２に通知する。

傾き補正部２２は、傾き判断部２１からの通知を受けると、媒体イメージ４０における運転免許証イメージの傾きを補正して、補正媒体イメージ４１を取得する（Ｓ１０７）。傾き補正部２２は、読出部１６により読み出された顔写真貼付領域３２の傾き角度θ_ａに基づいて、媒体イメージ４０の回転を実施し、補正媒体イメージ４１を取得する。

補正媒体イメージ４１が取得されると、制御部２７は、位置検出部１９により補正媒体イメージ４１における所定領域の位置、即ち補正領域位置を取得する（Ｓ１０８）。位置検出部１９は、補正媒体イメージ４１における顔写真貼付領域３２のエッジ３４から４つの頂点３７ａ、３７ｂ、３７ｃ及び３７ｄを検出し、補正媒体イメージの下側画像端４９ａ（図６（ｂ））をＸ軸とみなして、これら４つの頂点３７ａ、３７ｂ、３７ｃ及び３７ｄの座標（Ｘ_ａ１，Ｙ_ａ１）、（Ｘ_ａ２，Ｙ_ａ２）、（Ｘ_ａ３，Ｙ_ａ３）及び（Ｘ_ａ４，Ｙ_ａ４）を、補正顔写真位置として検出する。

そして、制御部２７は、矩形検出部２３を制御して、補正領域位置に基づき矩形領域位置を検出させる（Ｓ１０９）。矩形検出部２３は、補正顔写真位置に基づいて、補正媒体イメージ４１における顔写真貼付領域３２を内含する矩形の４つの頂点４２ａ、４２ｂ、４２ｃ及び４２ｄ（図７（ａ））に対応する矩形座標（Ｘ´_ａ１，Ｙ´_ａ１）、（Ｘ´_ａ１，Ｙ´_ａ２）、（Ｘ´_ａ２，Ｙ´_ａ１）及び（Ｘ´_ａ２，Ｙ´_ａ２）を、矩形顔写真位置として検出する。

続いて、算出部２４が、矩形検出部２３により検出された矩形領域位置と、読出部１６により読み出されたフォームデータとに基づいて、補正媒体イメージ４１における運転免許証イメージの外形位置４３を算出する（Ｓ１１０）。算出部２４は、矩形顔写真位置と、フォームデータ「ｎ_１」、「ｎ_２」、「ｎ_３」及び「ｎ_４」とに基づいて、運転免許証イメージの外形位置４３を、４つの頂点４４ａ、４４ｂ、４４ｃ及び４４ｄ（図７（ａ））を有する矩形の矩形座標（Ｘ_Ａ１，Ｙ_Ａ１）、（Ｘ_Ａ１，Ｙ_Ａ２）、（Ｘ_Ａ２，Ｙ_Ａ１）及び（Ｘ_Ａ２，Ｙ_Ａ２）として算出する。

Ｓ１０６において、傾き判断部２１が傾いていないと判断すると、制御部２７は、矩形検出部２３を制御して、媒体イメージ４０において検出された領域位置に基づいて、矩形領域位置を検出させる（Ｓ１１１）。矩形検出部２３は、顔写真位置に基づいて、媒体イメージ４０における顔写真貼付領域３２を内含する矩形の矩形座標を、矩形顔写真位置として検出する。

そして、算出部２４が、矩形検出部２３により検出された矩形領域位置と、読出部１６により読み出されたフォームデータとに基づいて、媒体イメージ４０における運転免許証イメージの外形位置４３を算出する（Ｓ１１２）。

算出部２４により運転免許証イメージの外形位置４３が算出される（Ｓ１１０、Ｓ１１）と、制御部２７は、未検出の所定領域の有無を判断する（Ｓ１１３）。所定領域が有る場合、画像抽出装置１０はＳ１０４の動作に戻って、該所定領域の領域位置の検索を行う（Ｓ１０４）。位置検出部１９は、次に有効期限記載領域３１の有効期限位置を検出する。そして、画像抽出装置１０は、該有効期限記載領域３１に対して、Ｓ１０５以降の動作を繰り返す。即ち、図７（ｂ）に示す４つの頂点４５ａ、４５ｂ、４５ｃ及び４５ｄの矩形座標（Ｘ´_ｂ１，Ｙ´_ｂ１）、（Ｘ´_ｂ１，Ｙ´_ｂ２）、（Ｘ´_ｂ２，Ｙ´_ｂ１）及び（Ｘ´_ｂ２，Ｙ´_ｂ２）を、矩形有効期限位置として検出し（Ｓ１０９、Ｓ１１１）、該矩形有効期限位置に基づいて、運転免許証イメージの外形位置４６を、４つの頂点４７ａ、４７ｂ、４７ｃ及び４７ｄ（図７（ｂ））を有する矩形の矩形座標（Ｘ_Ｂ１，Ｙ_Ｂ１）、（Ｘ_Ｂ１，Ｙ_Ｂ２）、（Ｘ_Ｂ２，Ｙ_Ｂ１）及び（Ｘ_Ｂ２，Ｙ_Ｂ２）として算出する（Ｓ１１０、Ｓ１１２）。

算出部２４により、矩形有効期限位置に対応する運転免許証イメージの外形位置４６が算出された後、未検出の所定領域がないと判断される（Ｓ１１３）と、制御部２７は、特定部２５により運転免許証イメージの外形位置４８を特定する（Ｓ１１４）。特定部２５は、顔写真貼付領域３２に基づいて特定された外形位置４３と、有効期限記載領域３１に基づいて特定された外形位置４６とに基づいて、運転免許証イメージの外形位置４８（図８）を特定する。

そして、抽出部２６が、特定された外形位置４８に基づいて、運転免許証イメージを切り出して抽出し、記憶装置１２に記憶させる（Ｓ１１５）。その際、運転免許証イメージは、読出部１６により一時記憶部１４から読み出された口座情報と対応させて記憶される。

以上のように、本実施例では、運転免許証がコピーされた媒体の媒体イメージから、運転免許証イメージのみを抽出して保存可能となるので、作業が効率化されると共に、リソースの無駄が防止される。また、媒体イメージから検出された顔写真貼付領域及び有効期限記載領域の位置及びサイズに基づいて、運転免許証イメージの外形位置を特定するので、画像が変形している場合も、運転免許証イメージが欠落することなく確実に保存可能となるので、適用範囲の拡大が期待できる。

なお、本実施例では、媒体イメージにおける運転免許証イメージの傾きの検出は、各所定領域、即ち顔写真貼付領域及び有効期限記載領域に対してそれぞれ行っているが、例えば、運転免許証のフォーム罫線の位置を検出する罫線検出部を設け、媒体イメージから検出されたフォーム罫線が媒体イメージの画像端に対して傾いているか否かに基づいて傾きの有無を判断し、傾き補正を行うことも可能である。この場合、画像抽出装置は、傾き補正処理を行った後に、探索部による各所定領域の探索及び位置検出部による各領域位置の検出を行えば良い。

本発明の画像抽出装置は、画像情報から特定領域の画像情報のみを抽出することで、画像保存用のディスク容量が削減できるだけでなく、定型のレイアウトとして、文字認識装置（ＯＣＲ：Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）への入力画像とすることができる。そして、この文字認識装置と組み合わせることにより、所定領域に対する文字認識の実行が可能となるほか、特定領域に対するマスク処理、電子透かし情報の付加等の画像処理が可能となる。

本発明の実施例に係る画像抽出装置の構成を示すブロック図である。 運転免許証の一例を示す説明図である。 運転免許証のフォームを示す説明図である。 媒体イメージの例を示す説明図である。 媒体イメージの一部を示す省略図である。 媒体イメージ及び補正媒体イメージを示す説明図である。 運転免許証イメージの外形位置の算出例を示す説明図である。 運転免許証イメージの外形位置の特定例を示す説明図である。 本発明に係る画像抽出装置の実施例における動作を示すフローチャートである。

符号の説明

１０ 画像抽出装置
１１ パーソナルコンピュータ
１２ 記憶装置
１３ イメージスキャナ
１４ 一時記憶部
１５ フォームデータ記憶部
１６ 読出部
１７ ２値化処理部
１８ 探索部
１９ 位置検出部
２０ 角度検出部
２１ 傾き判断部
２２ 傾き補正部
２３ 矩形検出部
２４ 算出部
２５ 特定部
２６ 抽出部
２８、２９ 閾値記憶部

Claims (12)

1. 所定領域を有する帳票のフォームを予め記憶するフォーム記憶部と、
   前記帳票の帳票画像を含む媒体上の画像情報を入力する画像入力部と、
   入力された前記画像情報に対して２値化処理を行い、２値画像情報を取得する２値化処理部と、
   取得された前記２値画像情報に基づいて、前記画像情報における所定領域を探索する探索部と、
   探索された前記所定領域の位置座標を示す領域位置を検出する位置検出部と、
   検出された前記領域位置及び前記フォームに基づいて、前記画像情報における前記帳票画像の位置座標を示す帳票位置を算出する算出部と、
   算出された前記帳票位置に基づいて、前記画像情報から前記帳票画像を抽出する抽出部と、
   を備えることを特徴とする画像抽出装置。
2. 前記帳票は、運転免許証であり、前記所定領域は、前記運転免許証に貼付された顔写真の顔写真貼付領域からなることを特徴とする請求項１記載の画像抽出装置。
3. 前記帳票は、運転免許証であり、前記所定領域は、前記運転免許証に記載された有効期限の有効期限記載領域からなることを特徴とする請求項１記載の画像抽出装置。
4. 前記２値化処理部は、画像の明度を示す閾値が記憶される閾値記憶部を更に備え、前記画像情報を構成する各画素の明度が、記憶されている前記閾値と比較して高いか否かに基づいて、前記２値化処理を行うことを特徴とする請求項１記載の画像抽出装置。
5. 前記位置検出部は、探索された前記所定領域に外接する矩形座標を領域位置として検出することを特徴とする請求項１記載の画像抽出装置。
6. 前記フォーム記憶部は、前記帳票画像における前記所定領域のサイズ及び領域位置を特定するための複数のフォームデータが記憶されるフォームデータ記憶部からなり、
   前記算出部は、検出された前記領域位置及び記憶されている前記フォームデータに基づいて、前記帳票位置の算出を行う
   ことを特徴とする請求項１記載の画像抽出装置。
7. 検出された前記領域位置に基づいて、前記画像情報における前記帳票画像の傾きの有無を判断する傾き判断部と、
   有ると判断されると、前記傾きを補正して補正画像情報を取得する傾き補正部と、
   を更に備え、
   前記探索部は、更に前記補正画像情報における所定領域を探索し、
   前記位置検出部は、更に探索された前記所定領域の領域位置を補正領域位置として検出し、
   前記算出部は、特定された前記補正領域位置及び前記フォームに基づいて、前記補正画像情報における前記帳票画像の帳票位置を補正帳票位置として算出し、
   前記抽出部は、特定された前記補正帳票位置に基づいて、前記補正画像情報から前記帳票画像を抽出する
   ことを特徴とする請求項１記載の画像抽出装置。
8. 前記位置検出部は、探索された前記所定領域に外接する矩形座標を補正領域位置として検出することを特徴とする請求項７記載の画像抽出装置。
9. 前記画像情報における前記帳票の罫線を検出する罫線検出部と、
   検出された前記罫線及び前記フォームに基づいて、前記画像情報における前記帳票画像の傾きの有無を判断する傾き判断部と、
   有ると判断されると、前記傾きを補正して補正画像情報を取得する傾き補正部と、
   を更に備え、
   前記探索部は、前記補正画像情報において所定領域の探索を行い、
   前記位置検出部は、探索された前記所定領域の位置を補正領域位置として検出し、
   前記算出部は、検出された前記補正領域位置及び前記フォームに基づいて、前記補正画像情報における前記帳票画像の帳票位置を補正帳票位置として算出し、
   前記抽出部は、算出された前記補正帳票位置に基づいて、前記補正画像情報から前記帳票画像を抽出する
   ことを特徴とする請求項１記載の画像抽出装置。
10. 前記位置検出部は、探索された前記所定領域に外接する矩形座標を補正領域位置として検出することを特徴とする請求項９記載の画像抽出装置。
11. 前記帳票は、複数の所定領域を有し、
    前記探索部は、前記複数の所定領域を探索し、
    前記検出部は、前記複数の所定領域それぞれの位置座標を示す複数の領域位置を検出し、
    前記算出部は、検出された前記複数の領域位置それぞれに基づいて、複数の帳票位置を算出し、
    算出された前記複数の帳票位置の何れにも外接する矩形座標を、帳票位置として特定する特定部を更に備える
    ことを特徴とする請求項１記載の画像抽出装置。
12. 前記帳票は、運転免許証であり、
    前記複数の所定領域は、前記運転免許証に貼付された顔写真の顔写真貼付領域と、前記運転免許証に記載された有効期限の有効期限記載領域とからなることを特徴とする請求項９記載の画像抽出装置。

Images