JP2019050030A - 画像抽出装置、画像抽出装置の制御方法及びプログラム - Google Patents

Abstract

【課題】画像から線分をより高速に特定する線分抽出装置、その制御方法及びプログラムを提供する。【解決手段】画像から線分を抽出する線分抽出装置１００であって、前記画像からエッジを検出するエッジ検出部９０１と、前記画像内で第１方向に所定間隔で延伸する複数の第１平行線と、前記エッジと、の交点を求める第１交点特定部９０２と、隣接する２本の第１平行線の各ペアについて、互いの第１平行線上の前記交点同士を直線の結合線で結ぶ第１交点結合部９０３と、前記交点で繋がる複数の前記結合線からなり、延伸方向の角度差が所定範囲以内である前記結合線の集合を、前記線分として抽出する第１線分特定部９０４と、を備える。【選択図】図２

Description

本発明は、線分抽出装置、線分抽出装置の制御方法及びプログラムに関する。

近年、カメラ機能を備えたスマートフォンや携帯電話機、タブレットなどの携帯端末が普及し、手軽に写真撮影が行えるようになっている。

またこのような携帯端末を用いて撮影された写真を加工して利用するアプリケーションソフトウェアも様々に開発されている。例えば、携帯端末を用いて撮影した名刺を電子化する技術が開発されている（例えば特許文献１参照）。

また、画像中のエッジ点の集合から輪郭を抽出する技術も開発されている（例えば特許文献２参照）。

特開２００３−２９６３５３号公報 特開２００４−２３４２７８号公報

しかしながら、携帯端末で実行されるアプリケーションソフトウェアは、ユーザの待ち時間が長くならないように高速に動作することが求められ、特許文献１のように名刺を電子化する場合も同様である。

そのため、カメラにより撮影された静止画像から、名刺のような多角形の撮影対象物の輪郭をなす線分をより高速に特定可能とするような技術が求められている。

本発明は上記課題を鑑みてなされたものであり、画像から線分をより高速に特定することを可能とする線分抽出装置、線分抽出装置の制御方法及びプログラムを提供することを一つの目的とする。

一つの側面に係る線分抽出装置は、画像から線分を抽出する線分抽出装置であって、前記画像からエッジを検出するエッジ検出部と、前記画像内で第１方向に所定間隔で延伸する複数の第１平行線と、前記エッジと、の交点を求める第１交点特定部と、隣接する２本の第１平行線の各ペアについて、互いの第１平行線上の前記交点同士を直線の結合線で結ぶ第１交点結合部と、前記交点で繋がる複数の前記結合線からなり、延伸方向の角度差が所定範囲以内である前記結合線の集合を、前記線分として抽出する第１線分特定部と、を備える。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。

画像から線分をより高速に特定することが可能となる。

本発明の一実施形態に係る線分抽出装置のハードウェア構成を示す図である。 本発明の一実施形態に係る線分抽出装置の機能構成を示すである。 本発明の一実施形態に係る静止画像から名刺の輪郭を特定した様子を示す図である。 本発明の一実施形態に係る静止画像を示す図である。 本発明の一実施形態に係る静止画像からエッジを検出した様子を示す図である。 本発明の一実施形態に係る静止画像から線分を抽出する様子を示す図である。 本発明の一実施形態に係る静止画像においてエッジとメッシュラインとの交点を特定する様子を示す図である。 本発明の一実施形態に係る静止画像から線分を抽出した様子を示す図である。 本発明の一実施形態に係る静止画像から抽出された線分を示す図である。 本発明の一実施形態に係る線分を組み合わせて多角形を形成する様子を示す図である。 本発明の一実施形態に係る線分を組み合わせて多角形を形成する様子を示す図である。 本発明の一実施形態に係る処理の流れを示すフローチャートである。 本発明の一実施形態に係る処理の流れを示すフローチャートである。 本発明の一実施形態に係る処理の流れを示すフローチャートである。

本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。以下、本発明をその一実施形態に即して添付図面を参照しつつ説明する。

＝＝線分抽出装置＝＝
図１及び図２に、本発明の一実施形態に係る線分抽出装置１００の構成を示す。本実施形態に係る線分抽出装置１００は、例えばスマートフォンや携帯電話機、ノートパソコン、タブレットなどのカメラ機能を具備した携帯型の情報処理端末である。

そして本実施形態に係る線分抽出装置１００は、名刺を撮影すると、その静止画像４００（後述）の画像解析を行い、静止画像４００から名刺の輪郭を特定し、名刺の部分の画像（名刺の輪郭で囲まれた部分の画像）を名刺画像４１０として抽出する。このようにして名刺を電子化することができる。

＜ハードウェア構成＞
線分抽出装置１００のハードウェア構成図を図１に示す。線分抽出装置１００は、ＣＰＵ１１０、メモリ１２０、通信装置１３０、記憶装置１４０、入力装置１５０、出力装置１６０、及び記録媒体読取装置１７０を備えて構成される。

記憶装置１４０は、線分抽出装置１００によって実行されるプログラム７００や各種のデータを格納する。記憶装置１４０に記憶されているプログラム７００やデータがメモリ１２０に読み出されてＣＰＵ１１０によって実行されることにより、線分抽出装置１００の各種機能が実現される。ここで、記憶装置１４０は例えばハードディスクやＳＳＤ（Solid State Drive）、フラッシュメモリ等の不揮発性の記憶装置である。

記録媒体読取装置１７０は、ＳＤカード等の記録媒体８００に記録されたプログラム７００やデータを読み取り、記憶装置１４０に格納する。

通信装置１３０は、ＬＡＮ（Local Area Network）やインターネット等の通信網（不図示）を介して他のコンピュータ（不図示）と各種データやプログラム７００の授受を行う。例えば他のコンピュータに上述したプログラム７００やデータを格納しておき、線分抽出装置１００がこのコンピュータからデータやプログラム７００をダウンロードするようにすることができる。

入力装置１５０は、ユーザによるコマンドやデータの入力を受け付ける各種ボタンやスイッチ、キーボード、タッチパネルディスプレイ上でのタッチ位置を検出するタッチセンサ、マイクなどの入力インタフェース、加速度センサ、温度センサ、カメラ１５１などである。

また出力装置１６０は、例えばディスプレイ１６１などの表示装置、スピーカ、バイブレータ、照明などの出力ユーザインタフェースである。

＜機能構成＞
図２に、線分抽出装置１００の機能ブロック図を示す。線分抽出装置１００は、画像取得部１０１、画像表示部１０２、画像抽出部１０４を含んで構成される。また画像抽出部１０４は、線分抽出部９００、多角形形成部９１０、調整度算出部９２０、輪郭特定部９３０及び形状比較部９４０を含む。

またさらに、線分抽出部９００は、エッジ検出部９０１、第１交点特定部９０２、第１交点結合部９０３、第１線分特定部９０４、第２交点特定部９０５、第２交点結合部９０６、及び第２線分特定部９０７を有する。

これらの各機能は、線分抽出装置１００のハードウェアによって本実施形態に係るプログラム７００が実行されることにより実現される。

画像取得部１０１は、名刺を撮影して静止画像４００を取得する。画像取得部１０１は例えばカメラ１５１を用いて実現される。

静止画像４００は、カメラ１５１のシャッターを押下した瞬間に得られる１枚の写真の画像であっても良いし、動画として撮影された複数フレームからなる個々の画像であっても良い。さらに静止画像４００は、動画の撮影開始前や、写真撮影時のシャッターを押下する前にディスプレイ１６１に表示される、ＣＣＤ（Charge Coupled Device）によって検出されている画像であっても良い。

またこの静止画像４００には、名刺だけでなく、名刺の背景や人物などのように名刺以外のものが写っていてもよい。また１つの静止画像４００内に複数枚の名刺が写っていても良い。

画像表示部１０２は、画像取得部１０１が取得した名刺の静止画像４００を表示する。画像表示部１０２は例えばタッチパネル型のディスプレイ１６１を用いて実現される。

静止画像４００が線分抽出装置１００のディスプレイ１６１に表示されている様子を図３に示す。図３に示す例は、３枚の名刺が同時に撮影された場合の様子を示す。図３に示すように、本実施形態では、複数枚の名刺を同時に撮影する場合にそれぞれの名刺の向きが揃っていなくても良い。

そして以下に詳しく述べるように、本実施形態に係る線分抽出装置１００は、この静止画像４００から名刺の輪郭を高速に特定し、名刺の部分の画像（名刺の輪郭で囲まれた部分の画像）を名刺画像４１０として抽出する。

そして画像表示部１０２は、抽出した名刺画像４１０をユーザに示すために、名刺画像４１０に重ねて名刺マーカ５００を表示する。名刺マーカ５００は、本実施形態では円形で所定色の画像であるが、特に表示態様は限定されない。このように名刺マーカ５００が名刺画像４１０に重ねて表示されることにより、ユーザは正しく名刺が抽出されたことを確認することができる。

図２に戻って、画像抽出部１０４について説明する。

画像抽出部１０４は、静止画像４００から名刺画像４１０を抽出する。

以下、図４〜図１４を参照しながら、画像抽出部１０４の機能及び処理手順を具体的に説明する。

まず、名刺画像４１０が抽出される前の静止画像４００を図４に示す。画像取得部１０１がこのような静止画像４００を取得すると、エッジ検出部９０１はこの静止画像４００のサイズを画素数に応じて所定の大きさに調整した後、静止画像４００からエッジ４２０を検出する。エッジ検出部９０１は、例えばCanny法やSobel Filterを用いた手法などの周知の技術を用いてエッジを検出する。

エッジ検出部９０１が静止画像４００からエッジ４２０を検出した様子を図５に示す。

そうすると次に、第１交点特定部９０２が、静止画像４００内で第１方向に所定間隔で延伸する複数の第１メッシュライン（第１平行線）４２１と、エッジ４２０と、の交点４２２を求める。その様子を図６（Ａ）、図６（Ｂ）、図６（Ｃ）に示す。

図６（Ａ）は、静止画像４００から検出されたエッジ４２０と、静止画像４００内で第１方向に延伸する複数の第１メッシュライン４２１と、を示す図である。

この状態で第１交点特定部９０２は、図６（Ｂ）に示すように、エッジ４２０と第１メッシュライン４２１との交点４２２を特定する。

なお、エッジ４２０や第１メッシュライン４２１は、静止画像４００を個々の画素を識別できるレベルで見ると、図７（Ａ）に示すような不連続の点の集合である。そのため、エッジ４２０と第１メッシュライン４２１との交角が小さい場合には、図７（Ｂ）に示すように、エッジ４２０と第１メッシュライン４２１との交差する点が複数の画素に分散することがある。

そのため、本実施形態では、エッジ４２０と第１メッシュライン４２１とが交差する点が複数の画素に分散した場合には、図７（Ｃ）に示すように、これらの交差する点の中の１点（例えば中点）を選び、交点４２２として特定する。このような態様によって、エッジ４２０と第１メッシュライン４２１との交点４２２を画素単位の精度で特定することが可能となる。第１交点特定部９０２がこのようにして交点４２２を求めた様子を図６（Ｃ）に示す。

そうすると次に、第１交点結合部９０３は、図６（Ｄ）及び図６（Ｅ）に示すように、隣接する２本の第１メッシュライン４２１のペアのそれぞれについて、互いの第１メッシュライン４２１上の交点４２２同士を直線の結合線４２３で結ぶ。

そして第１線分特定部９０４は、図６（Ｆ）に示すように、交点４２２で繋がる複数の結合線４２３からなり、延伸方向の角度差が所定範囲以内（例えば±５°以内）である結合線４２３の集合を、線分４３０として抽出する。なおこのとき、第１線分特定部９０４は、第１メッシュライン４２１に対して所定角度以上（例えば４５°以上）の交角を有する結合線４２３の集合を、線分４３０として抽出する。

その後、第２交点特定部９０５、第２交点結合部９０６及び第２線分特定部９０７は、第１メッシュライン４２１の延伸方向と直交する第２メッシュライン４２１（不図示）を用いて、それぞれ第１交点特定部９０２、第１交点結合部９０３及び第１線分特定部９０４と同様の処理を行うことにより、さらに線分４３０を抽出する。

つまり、第２交点特定部９０５は、第１メッシュライン４２１に直交する第２方向に所定間隔で延伸する複数の第２メッシュライン４２１とエッジ４２０との交点４２２を求める。そして第２交点結合部９０６は、隣接する２本の第２メッシュライン４２１の各ペアについて、互いの第２メッシュライン４２１上の交点４２２同士を直線の結合線４２３で結ぶ。そして第２線分特定部９０７は、交点４２２で繋がる複数の結合線４２３からなり、延伸方向の角度差が所定範囲以内（例えば±５°以内）である結合線４２３の集合のうち、第２メッシュライン４２１と所定角度の余角を超える（例えば４５°を超える）交角を有する結合線４２３の集合を、線分４３０として抽出する。

このような態様によって、線分４３０を抽出する際に、交点４２２に対する処理を行なえば済み、エッジ４２０上の多数の点に対する処理を不要にできるので、より高速に線分４３０の抽出を行うことが可能となる。

またハフ変換等を用いて直線を検出する場合とは異なり、静止画像４００内の被写体の境界を有限長の線分４３０として抽出できるため、以下に述べるように、これらの線分４３０を組み合わせて多角形４３２を形成する際に、多角形４３２の周長に対する線分４３０の調整部分４３１の長さ（調整量）の比率を算出することが可能となる。

また第１メッシュライン４２１と第２メッシュライン４２１とを用いてエッジ４２０との交点４２２を求めることによって、エッジ４２０が静止画像４００内でどの方向に延伸していても、メッシュライン４２１との交角が４５°以上となるような交点４２２を特定することができるため、エッジ４２０上の交点４２２の位置をより正確に特定することが可能となる。

なお、メッシュライン４２１の間隔を狭くすると交点４２２の数を増やすことができるため、より正確に線分４３０の抽出を行うことが可能であるが、その分処理時間が増大する。メッシュライン４２１は、例えば静止画像４００内に５０本〜１００本程度となるような間隔で引くと良いが、種々変更することが可能である。

このようにして、第１線分特定部９０４及び第２線分特定部９０７によって、静止画像４００から線分４３０が特定される。静止画像４００から線分４３０が特定された様子を図８に示す。

その後、多角形形成部９１０は、静止画像４００から抽出された線分４３０の中から名刺の辺の数に応じた本数の線分（つまり、４本の線分）を選ぶ組み合わせ毎に、線分４３０の長さを調整して、名刺と同じ数の頂点を有する多角形（つまり四角形）４３２を形成する。

例えば、図９に示すように、静止画像４００から５本の線分４３０Ａ〜Ｅが抽出されたとすると、これらの線分４３０Ａ〜Ｅから４本を選ぶ組み合わせは下記（１）〜（５）の５通りである（_５Ｃ_４＝５）。

（１）４３０Ａ、４３０Ｂ、４３０Ｃ、４３０Ｄ
（２）４３０Ａ、４３０Ｂ、４３０Ｃ、４３０Ｅ
（３）４３０Ａ、４３０Ｂ、４３０Ｄ、４３０Ｅ
（４）４３０Ａ、４３０Ｃ、４３０Ｄ、４３０Ｅ
（５）４３０Ｂ、４３０Ｃ、４３０Ｄ、４３０Ｅ
多角形形成部９１０はこれらの各組み合わせについて、各線分４３０を用いて四角形４３２の形成を試みる。ただし、多角形形成部９１０は、線分４３０Ｂと線分４３０Ｄと線分４３０Ｅが同一方向に延伸する平行線であることから、これら３つの線分４３０を同時に含む組み合わせ（３）と（５）は、組み合わせから外すこともできる。このような態様によって、無駄な処理を効率的に省き、名刺の抽出をより高速に行うことが可能となる。

このようにして、多角形形成部９１０は、図１０（Ａ）〜図１０（Ｃ）に示すような３通りの組み合わせの四角形４３２を形成する。図１０（Ａ）は（１）の組み合わせに対応し、図１０（Ｂ）は（２）の組み合わせに対応し、図１０（Ｃ）は（４）の組み合わせに対応する。

このようにして、図１０（Ａ）〜図１０（Ｃ）に示した各組み合わせについて、多角形形成部９１０が四角形４３２を形成する様子を、それぞれ図１１（Ａ）〜図１１（Ｃ）に示す。

図１１（Ａ）に示すケースでは、多角形形成部９１０は、線分４３０Ａ、４３０Ｂ、４３０Ｃ、４３０Ｄの長さを調整して四角形４３２を形成している。そして図１１（Ａ）には、各線分４３０の長さの調整部分が調整部分４３１として破線で記載されている。

多角形形成部９１０は、図１１（Ｂ）（Ｃ）に示すケースでも同様に、線分４３０の長さを調整して、四角形４３２を形成する。

そうすると調整度算出部９２０は、上記各組み合わせ毎に、四角形４３２を形成するために必要な線分４３０の長さの調整量の度合いを表す値を算出する。例えば調整度算出部９２０は、線分４３０の長さを調整して形成される四角形４３２の周長に対する調整部分４３１の長さ（調整量）の比率を算出する。

そして輪郭特定部９３０は、この調整量の度合いが小さい組み合わせから順に、組み合わせを構成する各線分４３０を、名刺の輪郭として割り当てていく。

例えば図１１（Ａ）（Ｂ）（Ｃ）の順で調整量の度合いを示す値が小さいと仮定した場合には、輪郭特定部９３０は、まず図１１（Ａ）で示す組み合わせの線分４３０（線分４３０Ａ、４３０Ｂ、４３０Ｃ、４３０Ｄ）を、名刺の輪郭として特定する。

このようにして、線分４３０Ａ、４３０Ｂ、４３０Ｃ、４３０Ｄが名刺の輪郭として割り当てられると、残りは線分４３０Ｅ１本のみとなり、もはや四角形４３２を形成できないため、画像抽出部１０４の処理が終了する。

このようにして本実施形態に係る線分抽出装置１００は名刺の輪郭を特定する。図３に示したように、静止画像４００内に複数枚の名刺が存在する場合であっても、各線分４３０の組み合わせ毎の調整量の度合いが小さい順に、名刺の輪郭として特定することが可能である。

なお本実施形態に係る線分抽出装置１００は、さらに形状比較部９４０を有している。

形状比較部９４０は、線分４３０の長さを調整して形成される四角形４３２の形状を表す指標値を、名刺の形状を表す基準値と比較する。

そして輪郭特定部９３０は、この指標値が基準値に対して所定範囲内となるような四角形４３２が形成される線分４３０の組み合わせの中で、上記調整量の度合いが小さい組み合わせから順に、組み合わせを構成する線分４３０を名刺の輪郭として特定する。

例えば、形状比較部９４０は、４本の線分４３０を組み合わせて構成される四角形４３２において、隣り合う線分４３０の交角を基準値と比較する。基準値として、例えば９０°±５°と定めておけば、輪郭特定部９３０は、４本の線分４３０を組み合わせて構成される様々な四角形４３２の中で、内角が９０°±５°の範囲に入る長方形あるいは正方形であるものを選び、この中で、調整量の度合いが小さい組み合わせから順に、組み合わせを構成する線分４３０を名刺の輪郭として特定する。このような態様によって、より正確に名刺を特定することが可能となる。

あるいは、形状比較部９４０は、４本の線分４３０を組み合わせて構成される四角形４３２において、各線分４３０の長さを基準値と比較する。基準値として、例えば短辺＝５０ｍｍ〜６０ｍｍ、長辺＝８５ｍｍ〜９５ｍｍと定めておけば、輪郭特定部９３０は、４本の線分４３０を組み合わせて構成される様々な四角形４３２の中で、このような辺の長さを有する長方形であるものを選び、この中で、調整量の度合いが小さい組み合わせから順に、組み合わせを構成する線分４３０を名刺の輪郭として特定する。このような態様によっても、より正確に名刺を特定することが可能となる。

次に、本実施形態に係る線分抽出装置１００の処理の流れについて、図１２〜図１４に示すフローチャートを参照しながら説明する。

まず線分抽出装置１００は、名刺を撮影して静止画像４００を取得する（S1000）。画像取得部１０１は例えばカメラ１５１を用いて実現される。

次に、線分抽出装置１００は、この静止画像４００のサイズを画素数に応じて定められた所定の大きさに調整する（S1010）。例えば線分抽出装置１００は、静止画像４００の１辺が１０００ピクセル以下になるように調整する。このような態様によって、線分抽出装置１００が画像解析を行う際の処理量を減らし、静止画像４００から高速に名刺の輪郭の特定を行うことが可能となる。

次に線分抽出装置１００は、静止画像４００からエッジ４２０を検出した後（S1020）、エッジを検出した静止画像４００から線分４３０を抽出する（S1030）。

線分抽出装置１００が静止画像４００から線分４３０を抽出する際の処理の流れを図１３に示す。

まず線分抽出装置１００は、エッジ４２０が検出された静止画像４００を取得する（S2000）。

そして線分抽出装置１００は、静止画像４００内で第１方向に所定間隔で延伸する複数の第１メッシュライン４２１を引く（S2010）。

次に線分抽出装置１００は、第１メッシュライン４２１とエッジ４２０との交点４２２を求める（S2020）。

そして線分抽出装置１００は、隣接する２本の第１メッシュライン４２１の各ペアについて、互いの第１メッシュライン４２１上の交点４２２同士を直線の結合線４２３で結ぶ（S2030）。

そして線分抽出装置１００は、交点４２２で繋がる複数の結合線４２３からなり、延伸方向の角度差が所定範囲以内である結合線４２３の集合を、線分４３０の候補とする（S2040）。

このとき線分抽出装置１００は、線分４３０の候補とした結合線４２３の集合のうち、その結合線４２３の位置にエッジ４２０が抽出されていないものを除いたうえで、線分４３０を抽出する（S2050）。

このようにして第１方向に延伸する第１メッシュライン４２１についての処理を終えると、線分抽出装置１００は、静止画像４００を９０°回転させて（S2060、S2070）、S2010〜S2050の処理を繰り返す。静止画像４００を９０°回転させて同様の処理を行うことは、上述した第２メッシュライン４２１を用いて第２交点特定部９０５、第２交点結合部９０６及び第２線分特定部９０７が、線分４３０を抽出する処理を行うことに相当する。

そして線分抽出装置１００は、静止画像４００の向きを−９０°回転して元に戻し（S2080）、検出した線分４３０を出力する（S2090）。

図１２に戻って、線分抽出装置１００は、抽出した線分４３０を組み合わせて形成できる四角形４３２を探索する（S1040）。

具体的には図１４に示すように、線分抽出装置１００はまず、静止画像４００から抽出された線分４３０の中から名刺の辺の数に応じた本数の線分（つまり、４本の線分）を選ぶ組み合わせ毎に、線分４３０の長さを調整して、名刺と同じ数の頂点を有する多角形４３２（つまり四角形４３２）を形成する（S3000）。

そして線分抽出装置１００は、これらの四角形４３２の内、四角形４３２の成す角（内角）が例えば９０°±５°の範囲にないものを除去する（S3010、S3020）。このような態様によって、無駄な処理を効率的に省き、名刺の抽出をより高速に行うことが可能となる。

そして線分抽出装置１００は、四角形４３２を構成する線分４３０の各組み合わせ毎に、四角形４３２を形成するために必要な線分４３０の長さの調整量の度合いを表す値（ペナルティ）を算出し（S3030）、出力する（S3040）。例えば調整度算出部９２０は、四角形４３２の周長に対する調整部分４３１の長さ（調整量）の比率をペナルティとして算出する。

そして線分抽出装置１００は、ペナルティが小さい順に、上記線分４３０の組み合わせを並び替える（S3050）。

そして線分抽出装置１００は、ペナルティが小さい組み合わせから順に、組み合わせを構成する各線分４３０を、名刺の輪郭として割り当てていく（S3060〜S3090）。四角形４３２を構成し得る線分４３０が無くなった場合には（S3100）、名刺の輪郭として特定した線分４３０をディスプレイ１６１に表示する（S3110）。またこの時、線分抽出装置１００は、名刺の輪郭で囲まれる部分の名刺画像４１０に重ねるようにして、名刺マーカ５００も合わせて表示する。

図１２に戻って、線分抽出装置１００は、このようにして静止画像４００から名刺の輪郭を特定したら、次のフレームの静止画像４００についても同様に処理を行う。このようにして、線分抽出装置１００は、動画などのような連続する静止画像４００についても、名刺の輪郭を特定することが可能である。

＝＝他の実施形態＝＝
上記実施形態では、多角形形成部９１０は、静止画像４００から抽出された線分４３０の中から名刺の辺の数に応じた本数の線分（つまり、４本の線分）を選ぶ組み合わせ毎に、線分４３０の長さを調整して、名刺と同じ数の頂点を有する多角形（つまり四角形）４３２を形成したが、この場合、抽出されたｎ本の線分４３０から、４頂点の四角形４３２を形成する場合には、単純には_ｎＣ_４通りの組み合わせが存在するため、計算量はｎの４乗のオーダとなる。

そのため、この計算量を削減するために、多角形形成部９１０は、静止画像４００から抽出された線分４３０のうち共通の端点を有して互いに角度をなす（例えば９０°±５°の範囲内の角度をなす）２本の線分４３０を、線分ペアとして抽出した上で、これらの線分ペアの中から２つの線分ペアを選ぶ組み合わせ毎に、４本の線分４３０の長さを調整して四角形４３２を形成するようにしてもよい。

つまり、抽出されたｎ本の線分４３０から直接４本を選ぶのではなく、一旦、互いにほぼ直交する角度（９０°±５°以内）で交わる２本の線分４３０からなる線分ペア（線分ペアの形状は、鍵括弧状の"「"、あるいは"」"となる）を抽出した上で、この線分ペア同士を組み合わせて四角形４３２を形成するようにする。

このような態様によれば、組み合わせの数が_ｎＣ_２＋_{（ｎ／２）}Ｃ_２となるため、計算量をｎの２乗のオーダにすることができる。これにより、より高速に名刺の輪郭を特定することが可能となる。

なお、線分ペアを形成する２本の線分４３０の端点が共通するとは、第１の線分４３０の端点と、第２の線分４３０の端点とが、同一ピクセル上に位置する場合だけでなく、所定範囲内（例えば１０ピクセル以内）に位置する場合を含む。

以上、本実施形態に係る線分抽出装置１００、線分抽出装置１００の制御方法、及びプログラム７００について詳細に説明したが、本実施形態によれば、静止画像４００から線分４３０をより高速に特定することが可能となる。

なお上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。

例えば、上記実施形態では、静止画像４００から名刺の輪郭を特定する場合を例に説明したが、名刺のような四角形の平面の輪郭を特定するだけでなく、一般的に三角形や五角形、六角形などの多角形の平面の輪郭を特定する場合にも同様に適用することができる。

１００ 線分抽出装置
１０１ 画像取得部
１０２ 画像表示部
１０４ 画像抽出部
１１０ ＣＰＵ
１２０ メモリ
１３０ 通信装置
１４０ 記憶装置
１５０ 入力装置
１５１ カメラ
１６０ 出力装置
１６１ ディスプレイ
１７０ 記録媒体読取装置
４００ 静止画像
４１０ 名刺画像
４２０ エッジ
４２１ メッシュライン
４２２ 交点
４２３ 結合線
４３０ 線分
４３１ 線分の調整部分
４３２ 多角形（四角形）
５００ 名刺マーカ
７００ プログラム
８００ 記録媒体
９００ 線分抽出部
９０１ エッジ検出部
９０２ 第１交点特定部
９０３ 第１交点結合部
９０４ 第１線分特定部
９０５ 第２交点特定部
９０６ 第２交点結合部
９０７ 第２線分特定部
９１０ 多角形形成部
９２０ 調整度算出部
９３０ 輪郭特定部
９４０ 形状比較部

本発明は、画像抽出装置、画像抽出装置の制御方法及びプログラムに関する。

本発明は上記課題を鑑みてなされたものであり、画像から名刺のような矩形の輪郭をより高速に特定することを可能とする画像抽出装置、画像抽出装置の制御方法及びプログラムを提供することを一つの目的とする。

一つの側面に係る画像抽出装置は、画像から矩形を抽出する画像抽出装置であって、前記画像から線分の抽出を行う線分抽出部と、前記画像から抽出された前記線分のうち共通の端点を有して互いに角度をなす２本の線分を線分ペアとして抽出した上で、前記線分ペアの中から２つの線分ペアを選ぶ組み合わせ毎に、４本の線分の長さを調整して矩形を形成する多角形形成部と、前記組み合わせ毎に形成される矩形の中から、前記画像から抽出すべき矩形の輪郭を特定する輪郭特定部と、を備える。

画像から矩形の輪郭をより高速に特定することが可能となる。

Claims (11)

1. 画像から線分を抽出する線分抽出装置であって、
   前記画像からエッジを検出するエッジ検出部と、
   前記画像内で第１方向に所定間隔で延伸する複数の第１平行線と、前記エッジと、の交点を求める第１交点特定部と、
   隣接する２本の第１平行線の各ペアについて、互いの第１平行線上の前記交点同士を直線の結合線で結ぶ第１交点結合部と、
   前記交点で繋がる複数の前記結合線からなり、延伸方向の角度差が所定範囲以内である前記結合線の集合を、前記線分として抽出する第１線分特定部と、
   を備えることを特徴とする線分抽出装置。
2. 請求項１に記載の線分抽出装置であって、
   前記画像内で前記第１方向と直交する第２方向に所定間隔で延伸する複数の第２平行線と、前記エッジと、の交点を求める第２交点特定部と、
   隣接する２本の第２平行線の各ペアについて、互いの第２平行線上の前記交点同士を直線の結合線で結ぶ第２交点結合部と、
   前記交点で繋がる複数の前記結合線からなり、延伸方向の角度差が所定範囲以内である前記結合線の集合を、前記線分として抽出する第２線分特定部と、
   をさらに備え、
   前記第１線分特定部は、前記第１平行線に対して所定角度以上の交角を有する前記結合線の集合を、前記線分として抽出し、
   前記第２線分特定部は、前記第２平行線に対して前記所定角度の余角を超える交角を有する前記結合線の集合を、前記線分として抽出する
   ことを特徴とする線分抽出装置。
3. 請求項１又は２に記載の線分抽出装置であって、
   前記画像から抽出された前記線分の中から、前記画像から特定すべき多角形の辺の数に応じた本数の線分を選ぶ組み合わせ毎に、前記線分の長さを調整して前記多角形と同じ数の頂点を有する多角形を形成する多角形形成部と、
   前記組み合わせ毎に形成される多角形の中から、前記画像から特定すべき多角形の輪郭を特定する輪郭特定部と、
   を備えることを特徴とする線分抽出装置。
4. 請求項３に記載の線分抽出装置であって、
   前記組み合わせ毎に、前記多角形を形成するために必要な前記線分の長さの調整量の度合いを表す値を算出する調整度算出部と、
   をさらに備え、
   前記輪郭特定部は、前記調整量の度合いが小さい組み合わせから順に、前記組み合わせを構成する各線分を、前記画像から特定すべき多角形の輪郭として割り当てる
   ことを特徴とする線分抽出装置。
5. 請求項４に記載の線分抽出装置であって、
   前記線分の長さを調整して形成される多角形の形状を表す所定の指標値を、前記画像から特定すべき多角形の形状を表す基準値と比較する形状比較部と、
   をさらに備え、
   前記輪郭特定部は、前記指標値が前記基準値に対して所定範囲内となるような多角形が形成される前記線分の組み合わせの中で、前記調整量の度合いが小さい組み合わせから順に、前記組み合わせを構成する各線分を前記画像から特定すべき多角形の輪郭として割り当てる
   ことを特徴とする線分抽出装置。
6. 請求項５に記載の線分抽出装置であって、
   前記指標値及び前記基準値は、前記多角形をなす隣り合う二辺の交角を含む
   ことを特徴とする線分抽出装置。
7. 請求項５または６に記載の線分抽出装置であって、
   前記指標値及び前記基準値は、前記多角形をなす各辺の長さを含む
   ことを特徴とする線分抽出装置。
8. 請求項４〜７のいずれかに記載の線分抽出装置であって、
   前記調整量の度合いを示す値は、前記線分の長さを調整して形成される多角形の周長に対する前記調整量の比率である
   ことを特徴とする線分抽出装置。
9. 請求項３〜８のいずれかに記載の線分抽出装置であって、
   前記画像から特定すべき多角形は矩形であり、
   前記多角形形成部は、前記画像から抽出された前記線分のうち共通の端点を有して互いに角度をなす２本の線分を、線分ペアとして抽出した上で、前記線分ペアの中から２つの線分ペアを選ぶ組み合わせ毎に、４本の線分の長さを調整して前記画像から特定すべき多角形と同じ数の頂点を有する多角形を形成する
   ことを特徴とする線分抽出装置。
10. 画像から線分を抽出する線分抽出装置の制御方法であって、
    前記線分抽出装置が、前記画像からエッジを検出し、
    前記線分抽出装置が、前記画像内で第１方向に所定間隔で延伸する複数の第１平行線と、前記エッジと、の交点を求め、
    前記線分抽出装置が、隣接する２本の第１平行線の各ペアについて、互いの第１平行線上の前記交点同士を直線の結合線で結び、
    前記線分抽出装置が、前記交点で繋がる複数の前記結合線からなり、延伸方向の角度差が所定範囲以内である前記結合線の集合を、前記線分として抽出する
    ことを特徴とする線分抽出装置の制御方法。
11. 画像から線分を抽出するプログラムであって、コンピュータに、
    前記画像からエッジを検出する手順と、
    前記画像内で第１方向に所定間隔で延伸する複数の第１平行線と、前記エッジと、の交点を求める手順と、
    隣接する２本の第１平行線の各ペアについて、互いの第１平行線上の前記交点同士を直線の結合線で結ぶ手順と、
    前記交点で繋がる複数の前記結合線からなり、延伸方向の角度差が所定範囲以内である前記結合線の集合を、前記線分として抽出する手順と、
    を実行させるためのプログラム。