JP2014085944A - 画像認識システム、画像認識方法、及び携帯端末 - Google Patents

Abstract

【課題】システムの適用対象となる対象物が携帯端末で撮像された場合に、その対象物の画像をより正確に認識しやすく、更には、システムの適用対象をユーザに把握させやすい構成、方法を提供する。
【解決手段】画像認識システム１では、撮像対象媒体３０を特徴的な構成（予め登録された形態の認識対象が表され且つ当該認識対象と共に規定形状の特徴パターンＦＰが表された構成）とし、携帯端末１０によって当該撮像対象媒体３０が撮像された場合には、その撮像対象媒体３０の撮像画像を抽出部に与えている。そして、抽出部では、撮像画像内に含まれる特徴パターンＦＰを検出し、その検出された特徴パターンＦＰを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出している。
【選択図】図１

Description

本発明は、画像認識システム、画像認識方法、及び携帯端末に関するものである。

現在、ユーザが撮像した画像を管理側で認識し、その画像に対応したサービスや情報を提供する技術が提案されている。例えば、特許文献１の公報では、ユーザが携帯機器によって広告中に含まれるロゴマークを撮影し、インターネットを介して検索サーバに送った場合に、検索サーバ側からロゴマークに対応するＵＲＬが返信される技術が開示されている。更に、特許文献２の情報呈示システムは、撮像部から得られる画像と解析基礎情報構築部から得られる解析基礎情報とから上記画像に関連する情報を取得する関連情報取得部と、その取得した関連情報を呈示する呈示部とを備えており、解析基礎情報構築部は、時刻、日付、季節、天候等に基づいて解析基礎情報を変化させる構成となっている。

特開２００３−１５９８０号公報 国際公開第２００７／１１６５００号

ところで、上述のシステムのように、撮像画像を認識し、それに連動させて情報やサービスを提供する場合、撮像された対象物の画像を如何に正確に認識するかが問題となる。特に、ユーザが携帯端末で撮像した画像を認識するシステムでは、対象物が様々な距離や角度で撮像されることが想定され、携帯端末と対象物との距離が変化すると対象物の画像サイズが大きく変化し、撮像角度が変化すると対象物の画像形状が大きく変化してしまうことになるため、様々な撮像環境に対応しうる認識手法が必須となる。

この問題を解消する方法としては、例えば１つの対象物を様々な距離、角度で撮像した大量の画像をサーバなどに保存しておき、ユーザが撮像した画像をこれらの画像と比較して対象物に該当するか否かを判断する方法が考えられる。しかしながら、このような方法では、１つの対象物を認識するために必要となる比較画像が膨大になってしまうという問題があり、更に、撮像画像を大量の画像と比較しなければならないため、処理時間の増大も避けられない。特に、一般消費者が登録した画像を対象に含めるようなケースでは、様々な距離、角度での対象物撮影を強いることは困難であるため、認識率の高いシステムを構築することが難しい。また、それ以外のケースであっても、想定される距離、角度を網羅するようなデータを用意することは難しく、認識率を効果的に向上し得る方法が求められている。

また、対象物の画像に連動させて情報やサービスを提供するシステムを運用する場合、ユーザが対象物を見たときに、その対象物が当該システムの適用対象であることを把握できなければユーザに対象物の撮像を促すことができない。従って、何らかの方法でユーザにシステムの存在を通知する必要がある。

本発明は、上述した課題を解決するためになされたものであり、システムの適用対象となる対象物が携帯端末で撮像された場合に、その対象物の画像をより正確に認識しやすく、更には、システムの適用対象をユーザに把握させやすい構成、方法を提供することを目的とする。

第１の発明は、
撮像対象媒体と、
前記撮像対象媒体を撮像可能な撮像部を備えた携帯端末と、
前記携帯端末内又は前記携帯端末と通信可能な外部装置に設けられ、前記撮像部で撮像された前記撮像対象媒体の画像から所定範囲の画像を抽出する抽出部と、
前記抽出部によって抽出された画像を解析し、解析結果に応じた処理を行う処理部と、
を備え、
前記撮像対象媒体は、予め登録された形態の認識対象が表され且つ当該認識対象と共に規定形状の特徴パターンが表されたものであり、
前記携帯端末は、前記撮像対象媒体を撮像して得られた撮像画像を前記抽出部に与え、
前記抽出部は、前記撮像対象媒体の前記撮像画像において前記特徴パターンを検出し、その検出された前記特徴パターンを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出し、
前記処理部は、前記抽出部によって抽出された画像において前記認識対象を認識し、その認識結果に応じた処理を行うことを特徴とする。

第２の発明は、
規定形状の特徴パターンが表された媒体と、
前記撮像対象媒体を撮像可能な撮像部を備えた携帯端末と、
前記携帯端末内又は前記携帯端末と通信可能な外部装置に設けられ、前記撮像部で撮像された前記撮像対象媒体の画像から所定範囲の画像を抽出する抽出部と、
前記抽出部によって抽出された画像を解析し、解析結果に応じた処理を行う処理部と、
を用い、
前記撮像部の撮像範囲内に認識対象と前記特徴パターンとが配された状態で当該撮像部により前記認識対象及び前記特徴パターンを撮像するステップと、
前記撮像部によって撮像され、前記認識対象及び前記特徴パターンが含まれた撮像画像を、前記抽出部が取得するステップと、
前記抽出部により、前記撮像画像において前記特徴パターンを検出し、その検出された前記特徴パターンを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出するステップと、
前記処理部により、前記抽出部によって抽出された画像において前記認識対象を認識し、その認識結果に応じた処理を行うステップと、
を含むことを特徴とする。

第３の発明は、
認識対象が表され且つ当該認識対象と共に規定形状の特徴パターンが表された撮像対象媒体を撮像可能な携帯端末であって、
前記撮像対象媒体を撮像可能な撮像部と、
前記撮像部で撮像された前記撮像対象媒体の画像から所定範囲の画像を抽出する抽出部と、
前記抽出部によって抽出された画像を外部装置に送信する送信部と、
を備え、
前記抽出部は、前記撮像対象媒体の前記撮像画像において前記特徴パターンを検出し、その検出された前記特徴パターンを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出することを特徴とする。

請求項１の発明は、撮像対象媒体を特徴的な構成（予め登録された形態の認識対象が表され且つ当該認識対象と共に規定形状の特徴パターンが表された構成）とし、携帯端末によって当該撮像対象媒体が撮像された場合には、その撮像対象媒体の撮像画像を抽出部に与えている。そして、抽出部では、撮像画像内に含まれる特徴パターンを検出し、その検出された特徴パターンを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出している。この構成では、システムの適用対象となる対象物（撮像対象媒体）において、特徴パターンを基準とする抽出範囲を予め定められた方式で定めておき、その抽出範囲内で認識対象を表示するように構成しておけば、当該対象物（撮像対象媒体）が携帯端末で撮像された場合に、認識対象を含む所望の範囲の領域を特徴パターンに基づいて抽出可能となる。また、ユーザは特徴パターンを見たときに近傍の図柄等がシステムの適用対象であることを把握することができ、ユーザがよりシステムを利用し易くなる。

請求項２の発明は、前記携帯端末と通信可能に構成された管理装置を備えており、前記管理装置には、前記処理部が設けられ、且つ前記認識対象に対応付けられた処理方法が登録されている。そして、前記処理部は、前記抽出部によって抽出された画像内で認識された前記認識対象に基づき、撮像元の前記携帯端末に対して当該認識対象に対応付けられた処理方法により処理を行う構成となっている。
この構成では、認識対象のデータや処理方法を管理装置内に記憶しておくことができるため、携帯端末内の構成を簡素化することができる。また、認識対象のデータ登録や処理方法の登録を管理装置側で行うことができるため、登録作業やメンテナンスも行いやすくなる。

請求項３の発明では、前記撮像部は、撮像範囲の画像を継続的に撮像可能とされており、前記抽出部は、前記携帯端末内に設けられると共に、前記撮像部によって継続的に撮像される各画像に対して前記特徴パターンの検出を試み、いずれかの画像内で前記特徴パターンが検出された場合に、その画像から前記所定範囲の画像を抽出するように構成されている。そして、前記抽出部によって抽出された画像が、前記携帯端末に設けられた送信部によって前記管理装置に送信される構成となっている。
この構成では、特徴パターンの検出を条件として画像が抽出され、管理装置に送信されるため、認識対象を含む蓋然性の高い画像を選択的に管理装置に送信することができる。従って、例えば、認識対象が含まれない画像や不完全な認識対象の画像等が管理装置側に送られることを防ぐことができ、認識不能或いは認識困難な画像が送受信されることに起因する処理遅延等を効果的に防止することができる。

請求項４の発明は、前記撮像対象媒体において、単一の前記特徴パターンが配置され、前記抽出部は、前記撮像対象媒体の前記撮像画像において、前記特徴パターンの所定位置を基準位置として規定される所定形状の領域を、当該特徴パターンのサイズに対応したサイズで切り出す構成となっている。
この構成によれば、実際の撮像対象媒体において一定サイズの領域が抽出画像として正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。また、特徴パターンの数を抑えることができるため、あまり特徴パターンの領域を設けたくない場合に有利になる。

請求項５の発明は、前記撮像対象媒体において、少なくとも２つの前記特徴パターンが配置され、前記抽出部は、前記撮像対象媒体の前記撮像画像において、それら２つの前記特徴パターンの位置を対角位置とする構成で矩形形状の領域を切り出す構成となっている。
この構成によれば、実際の撮像対象媒体において一定サイズの領域が抽出画像として簡易且つ正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。特に、２つの特徴パターンによって対角の位置を正確に特定できるため、抽出画像のサイズ及び位置をより高精度に特定し易くなる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。

請求項６の発明は、前記撮像対象媒体において、前記特徴パターンとして、少なくとも第１の特徴パターンと第２の特徴パターンと第３の特徴パターンとが配置され、前記抽出部は、前記撮像対象媒体の前記撮像画像において、３つの前記特徴パターンの位置を基準位置として規定される所定形状の領域を、前記第１の特徴パターンと前記第２の特徴パターンとの間隔、及び前記第２の特徴パターンと前記第３の特徴パターンとの間隔に対応したサイズで切り出す構成となっている。
この構成によれば、実際の撮像対象媒体において一定サイズの領域が抽出画像として正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。

請求項７の発明は、前記撮像対象媒体の前記特徴パターンにおいて、サイズ情報が記録されており、前記抽出部は、前記撮像対象媒体の前記撮像画像において、前記特徴パターンの所定位置を基準位置として規定される所定形状の領域を、前記特徴パターンに記録された前記サイズ情報に対応したサイズで切り出す構成となっている。
この構成によれば、実際の撮像対象媒体において一定サイズの領域が抽出画像として正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。

請求項８の発明では、前記特徴パターンは、中心をあらゆる角度で横切る走査線において同じ周波数成分比が得られるパターンとなっている。この構成によれば、特徴パターンがどのような向きで撮像されても、特徴パターンをより迅速に検出し易くなる。

請求項９の発明によれば、請求項１と同様の効果を奏する画像認識方法を実現できる。

請求項１０の発明によれば、請求項１と同様の効果を奏する携帯端末を実現できる。

図１は、本発明の第１実施形態に係る画像認識システムを概念的に説明する説明図である。 図２は、図１の画像認識システムにおける携帯端末及び管理装置の電気的構成を例示するブロック図である。 図３は、図１の画像認識システムにおける撮像対象媒体を概略的に説明する説明図である。 図４は、特徴パターンの構成と、特徴パターンの画像を走査したときの波形の例を示す説明図である。 図５は、携帯端末で行われる撮像処理の流れを例示するフローチャートである。 図６は、図形の登録例を説明する説明図であり、図形毎に情報が対応付けられたデータ構成を例示する図である。 図７は、第２実施形態に係る画像認識システムで用いられる撮像対象媒体を概略的に説明する説明図である。 図８は、第２実施形態に係る画像認識システムで用いられる撮像対象媒体の変更例を概略的に説明する説明図である。 図９は、第３実施形態に係る画像認識システムで用いられる撮像対象媒体を概略的に説明する説明図である。 図１０は、第３実施形態に係る画像認識システムにおいて、図９の撮像画像を撮像したときの抽出領域の設定方法を説明する説明図である。

[第１実施形態]
以下、本発明を具現化した第１実施形態について、図面を参照して説明する。
第１実施形態に係る画像認識システム１は、以下で説明する特徴的な画像認識方法を実現し得るものであり、携帯端末１０と、撮像対象媒体３０と、管理装置５０とを備えたシステムとして構成されており、撮像対象媒体３０に付された認識対象が携帯端末１０で撮像されたときに、その認識対象に対応する処理を管理装置５０によって行うように構成されている。以下、各構成要素について説明する。

携帯端末１０は、携帯電話機やスマートフォン、或いはその他の携帯型情報機器によって構成されており、例えば図２の上図ような構成をなしている。この携帯端末１０は、全体的制御を司る制御部１１を備えており、この制御部１１に、メモリ１２、表示部１３、通信部１４、撮像部１５などが接続されている。

制御部１１は、ＣＰＵ、システムバス、入出力インタフェース等を有し、メモリ１２とともに情報処理装置として機能している。また、表示部１３は、ＬＥＤランプや表示パネルなどによって構成されており、制御部１１からの指令を受けて動作するようになっている。通信部１４は、外部（例えば管理装置５０）との間での有線又は無線方式（例えば無線ＬＡＮやインターネット等を介した通信方式）でデータ通信を行うためのインタフェースとして構成されており、制御部１１と協働して通信処理を行う構成をなしている。また、撮像部１５は、撮像対象媒体３０を撮像可能に構成されたものであり、ＣＣＤセンサやＣＭＯＳセンサなどの固体撮像素子を有する公知のカメラとして構成されている。また、携帯端末１０には、図示しないバッテリ等からなる電源部１６が設けられており、電源部１６によって制御部１１や各種電気部品に電力が供給されている。

管理装置５０は、「外部装置」の一例に相当し、携帯端末１０と通信可能に接続されており、例えば公知のパーソナルコンピュータなどの情報処理装置によって構成されている。この管理装置５０は、例えば図２の下図のような構成をなしており、ＣＰＵ等からなる制御回路５１、ＲＯＭ、ＲＡＭ、ＨＤＤ等からなる記憶部５２、各種キーやタッチパネル等として構成される操作部５３、液晶モニタ等として構成される表示部５４、携帯端末１０等と通信を行うための通信インタフェースからなる通信部５５などを備えている。

撮像対象媒体３０は、例えば、商品、サービス、店舗名、ブランド名、企業名等を表示する媒体（例えば宣伝、広告等を行うための情報媒体等）として構成されたものであり、認識対象として文字や数字等の記号やその他の図形等が表示されるものである。なお、撮像対象媒体３０は、携帯端末１０の撮像部１５によって撮像可能な媒体であれば良く、例えば、図３のような図柄が形成されたチラシ、パンフレット、書籍などであってもよく、図３のような画像を表示し得る表示部を備えた媒体などであってもよい。或いは、図３のような映像をスクリーン等に投影してなる媒体などであってもよい。また、撮像対象媒体３０は、紙、樹脂材料、金属材料等の様々な材料によって構成することができ、撮像対象媒体３０の構成は、平面的なものに限られず、立体的な構成であってもよい。

図３に示すように、撮像対象媒体３０は、管理装置５０の記憶部５２に予め登録された形態の認識対象（図３では、自動車の図形からなる認識対象３２を例示）が表され且つ当該認識対象３２と共に規定形状の特徴パターンＦｐが表された構成となっている。なお、認識対象は、商品等を表した絵柄の図形に限られるものではなく、事業者名、ブランド名、サービス名やその他の情報を文字や数字等の記号で表した図形などであってもよく、絵柄や記号が組み合わされた図形であってもよい。

撮像対象媒体３０に付される特徴パターンＦｐは、図４（Ｂ）のように、ＱＲコード（登録商標）で用いられる位置検出パターンと同様の形状をなし、且つ同様の特徴を有している。具体的には、中心部に暗色の矩形領域７１が設けられており、その矩形領域７１の周囲を明色領域７２によって環状且つ矩形状に囲んでおり、更に、その周囲を暗色領域７３によって環状且つ矩形状に囲んでいる。そして、その暗色領域７３の周囲は、明色のマージン領域７４によって環状に囲まれている。

この特徴パターンＦｐの撮像画像では、中心をあらゆる角度で横切る走査線において同じ周波数成分比が得られるようになっており、更に、矩形領域７１を通る縦方向の走査線αでも矩形領域７１を通る横方向の走査線βでも「１：１：３：１：１」の周波数成分比が得られるようになっており（図４（Ａ）（Ｃ）参照）、更に、矩形領域７１の中心付近を通る斜方向の走査線γでも、ほぼ「１：１：３：１：１」の周波数成分比が得られるようになっている。このような特徴を有するため、撮像対象媒体３０に付される特徴パターンＦｐは、当該撮像対象媒体３０を撮像した画像においてＱＲコード（登録商標）と同様の走査方式で迅速に検出することができる。

次に、携帯端末１０で行われる撮像処理について説明する。
携帯端末１０では、例えば図５のような流れで撮像処理が行われる。この処理は、例えばユーザによって操作部（図示略）に対し所定操作がなされたときに実行され、まず、撮像部１５（カメラ）を起動状態とする（Ｓ１）。Ｓ１で撮像部１５を起動させた後には、この撮像部１５によって撮像範囲の画像が継続的に撮像されるようになっており、例えば撮像範囲の画像が微小時間毎に順次撮像され取り込まれるようになっている。なお、このＳ１の処理時に撮像部１５の撮像範囲内に認識対象３２と特徴パターンＦｐとが配されたときに、撮像部１５により認識対象３２及び特徴パターンＦｐを撮像するステップが実行されることになる。

Ｓ１にて撮像部１５が起動した後には、その撮像部１５で撮像された画像において特徴パターンＦｐ（以下、切り出しシンボルともいう）の検出を試みる。上述したように、撮像対象媒体３０で表示される特徴パターンＦｐは、ＱＲコード（登録商標）の切り出しシンボル（位置検出パターン）と同様の構成となっているため、Ｓ２では、ＱＲコードを読み取る際の切り出しシンボル（位置検出パターン）の検出方法（公知方法）を用いて特徴パターンＦｐ（切り出しシンボル）を検出する。具体的には、例えば撮像画像において所定方向の複数の走査線を定め、「１：１：３：１：１」の周波数成分比が得られる走査線の検出を試みる。そして、特徴パターンＦｐが検出された場合（即ち、「１：１：３：１：１」の周波数成分比が得られる部位が検出された場合）には、Ｓ３にてＹｅｓに進み、特徴パターンＦｐの形状が確認できたか否かを判断する（Ｓ４）。

なお、Ｓ２の処理は、「撮像部１５によって撮像され、認識対象３２及び特徴パターンＦｐが含まれた撮像画像を、抽出部が取得するステップ」の一例に相当する。

Ｓ３において特徴パターンＦｐが検出されないと判断される場合（即ち、「１：１：３：１：１」の周波数成分比が得られる部位が検出されない場合）には、Ｓ３にてＮｏに進み、撮像部１５で継続的に撮像される新たな画像に対し、Ｓ２以降の処理を行う。また、Ｓ４において、特徴パターンＦｐの形状が確認できない場合には、Ｓ４にてＮｏに進み、撮像部１５で継続的に撮像される新たな画像に対し、Ｓ２以降の処理を行う。

一方、特徴パターンＦｐが検出され（即ち、「１：１：３：１：１」の周波数成分比が得られる部位が検出され）且つ特徴パターンＦｐの形状が確認できた場合には、Ｓ４にてＹｅｓに進み、当該撮像画像（即ち、特徴パターンＦｐの形状が確認できた撮像画像）において抽出領域（切り出しエリア）を特定する（Ｓ５）。

本システムでは、図３のように、撮像対象媒体３０において、単一の特徴パターンＦｐが配置され、この特徴パターンＦｐを基準とする所定範囲ＡＲ内に認識対象３２が表されている。Ｓ５の処理では、このような所定範囲ＡＲを特定し、この部分の画像を抽出することになる。具体的には、特徴パターンＦｐにおいて、左下の角部を構成する２つの辺を基準線として、一方の辺を縦方向にｍ倍に延長した延長線Ｌ１（図３の例では、特徴パターンＦｐの外形の左辺をｍ倍に延長した縦方向の線が延長線Ｌ１に該当）と、他方の辺を横方向にｎ倍に延長した延長線Ｌ２（図３の例では、特徴パターンＦｐの外形の下辺をｎ倍に延長した横方向の線が延長線Ｌ２に該当）を設定し、これら延長線Ｌ１、Ｌ２が隣接する２辺となるように長方形領域を設定する。この場合、延長線Ｌ１の端部（特徴パターンＦｐとは反対側の端部）から延長線Ｌ２と平行な横方向の境界線が設定され、延長線Ｌ２の端部（特徴パターンＦｐとは反対側の端部）から延長線Ｌ１と平行な縦方向の境界線が設定されることになり、延長線Ｌ１、Ｌ２とこれら境界線によって区切られる範囲（長方形領域）が抽出領域ＡＲ（図３では、長方形状の一点鎖線によって抽出領域ＡＲの境界を図示）となる。そして、この抽出領域ＡＲ内の画像を切り出して抽出する。そして、Ｓ５において抽出領域ＡＲの画像を切り出した後には、この切り出した抽出領域ＡＲの画像を管理装置５０に送信し（Ｓ６）、抽出領域ＡＲの外側の画像は管理装置５０に送信しない。

本実施形態では、制御部１１が「抽出部」の一例に相当し、撮像対象媒体３０の撮像画像において特徴パターンＦｐを検出し、その検出された特徴パターンＦｐを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出するようになっている。より具体的には、撮像部１５によって継続的に撮像される各画像に対して特徴パターンＦｐの検出を試み、いずれかの画像内で特徴パターンＦｐが検出された場合に、その撮像画像（特徴パターンＦｐが検出された画像）において、当該特徴パターンＦｐの所定位置（図３の例では、特徴パターンＦｐの左辺及び下辺）を基準位置として規定される所定形状の領域（図３の例では、長方形状の領域）を、当該特徴パターンＦｐのサイズに対応したサイズで切り出す構成となっている。
また、制御部１１及び通信部１４が「送信部」の一例に相当し、抽出部によって抽出された画像を管理装置５０に送信するように機能する。
また、Ｓ２、Ｓ５の処理は、「抽出部により、撮像画像において特徴パターンＦｐを検出し、その検出された特徴パターンＦｐを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出するステップ」の一例に相当する。

Ｓ６の処理で抽出画像が送信された場合、管理装置５０では、この抽出画像を取得し、当該抽出画像に含まれる認識対象の図形を特定する。具体的には、管理装置５０のデータベースにおいて、図６のように多数の図形が登録され、各図形に対して情報（ユーザに提供し得る情報や、ユーザの携帯端末や管理装置等で実行し得るプログラム等）が対応付けられており、Ｓ７では、携帯端末１０から送信されてきた抽出画像（即ち管理装置５０が取得した画像）に含まれる認識対象の図形が登録されたいずれの図形に該当するかを、例えば公知のマッチング処理などによって判断する。そして、登録されたいずれかの図形に該当した場合、その図形に対応付けられた情報を反映した処理を行う。なお、Ｓ７の処理は、携帯端末１０ではなく、管理装置５０で行われる処理であるため、図５では破線にて示している。

本構成では、管理装置５０で行われるＳ７の処理が、「処理部により、抽出部によって抽出された画像において認識対象を認識し、その認識結果に応じた処理を行うステップ」の一例に相当する。

管理装置５０の制御回路５１は、「処理部」の一例に相当し、抽出部によって抽出された画像を解析し、解析結果に応じた処理を行うように機能し、具体的には、抽出部によって抽出された画像において認識対象を認識し、その認識結果に応じた処理を行う構成となっている。より具体的には、管理装置５０の記憶部５２には、認識対象に対応付けられた処理方法が登録されており、処理部は、抽出部によって抽出された画像内で認識された認識対象に基づき、撮像元の携帯端末１０に対して当該認識対象に対応付けられた処理方法により処理を行う構成となっている。

なお、認識対象に対応付けられた処理方法としては、様々な処理方法が考えられ、例えば図形毎に情報を対応付けて記憶しておき、Ｓ６において認識対象の図形が特定された場合に、その図形に対応付けられた情報を読み出し、撮像元の携帯端末１０に送信するようにしてもよい。この情報としては、ＵＲＬ等のアドレス情報であってもよく、対応する図形に関する他の情報（例えばキャンペーン情報やクーポン情報などの利益情報）などであってもよい。図５は、登録された図形毎にこのような情報が対応付けられた例を示すものであり、Ｓ７において、携帯端末１０から送信されてきた抽出画像（即ち管理装置５０が取得した画像）に含まれる認識対象の図形が登録されたいずれかの図形に該当すると判断された場合、その図形に対応付けられた情報を読み出し、当該管理装置５０から撮像元の携帯端末１０に対し、情報（認識対象の図形に対応付けられた情報）を送信するようにしている。そして、携帯端末１０では、このような情報が管理装置５０から送信されてきた場合、この情報を受信し（Ｓ８）、その受信した情報（管理装置５０において認識対象の図形に対応付けられた情報）を、例えば、表示部１３に表示するようにしている（Ｓ９）。Ｓ９の表示は、受信した情報のみを表示してもよく、受信した情報を撮像対象媒体３０の撮像画像と共に表示するようにしてもよい。

このように、本構成では、撮像対象媒体３０を特徴的な構成（予め登録された形態の認識対象が表され且つ当該認識対象と共に規定形状の特徴パターンＦｐが表された構成）とし、携帯端末１０によって当該撮像対象媒体３０が撮像された場合には、その撮像対象媒体３０の撮像画像を抽出部に与えている。そして、抽出部では、撮像画像内に含まれる特徴パターンＦｐを検出し、その検出された特徴パターンＦｐを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出している。この構成では、システムの適用対象となる対象物（撮像対象媒体３０）において、特徴パターンＦｐを基準とする抽出範囲を予め定められた方式で定めておき、その抽出範囲内で認識対象を表示するように構成しておけば、当該対象物（撮像対象媒体３０）が携帯端末１０で撮像された場合に、認識対象を含む所望の範囲の領域を特徴パターンＦｐに基づいて抽出可能となる。また、ユーザは特徴パターンＦｐを見たときに近傍の図柄等がシステムの適用対象であることを把握することができ、ユーザがよりシステムを利用し易くなる。

また、本構成では、携帯端末１０と通信可能に構成された管理装置５０を備えており、管理装置５０には、処理部が設けられ、且つ認識対象に対応付けられた処理方法が登録されている。そして、処理部は、抽出部によって抽出された画像内で認識された認識対象に基づき、撮像元の携帯端末１０に対して当該認識対象に対応付けられた処理方法により処理を行う構成となっている。この構成では、認識対象のデータや処理方法を管理装置５０内に記憶しておくことができるため、携帯端末１０内の構成を簡素化することができる。また、認識対象のデータ登録や処理方法の登録を管理装置５０側で行うことができるため、登録作業やメンテナンスも行いやすくなる。

また、撮像部１５は、撮像範囲の画像を継続的に撮像可能とされており、抽出部は、携帯端末内に設けられると共に、撮像部１５によって継続的に撮像される各画像に対して特徴パターンＦｐの検出を試み、いずれかの画像内で特徴パターンＦｐが検出された場合に、その画像から所定範囲の画像を抽出するように構成されている。そして、抽出部によって抽出された画像が、携帯端末１０に設けられた送信部によって管理装置５０に送信される構成となっている。この構成では、特徴パターンＦｐの検出を条件として画像が抽出され、管理装置５０に送信されるため、認識対象を含む蓋然性の高い画像を選択的に管理装置５０に送信することができる。従って、例えば、認識対象が含まれない画像や不完全な認識対象の画像等が管理装置５０側に送られることを防ぐことができ、認識不能或いは認識困難な画像が送受信されることに起因する処理遅延等を効果的に防止することができる。

また、撮像対象媒体３０において、単一の特徴パターンＦｐが配置され、抽出部は、撮像対象媒体３０の撮像画像において、特徴パターンＦｐの所定位置を基準位置として規定される所定形状の領域を、当該特徴パターンＦｐのサイズに対応したサイズで切り出す構成となっている。この構成によれば、実際の撮像対象媒体３０において一定サイズの領域が抽出画像として正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。また、特徴パターンＦｐの数を抑えることができるため、あまり特徴パターンＦｐの領域を設けたくない場合に有利になる。

また、特徴パターンＦｐは、中心をあらゆる角度で横切る走査線において同じ周波数成分比が得られるパターンとなっている。この構成によれば、特徴パターンＦｐがどのような向きで撮像されても、特徴パターンＦｐをより迅速に検出し易くなる。

［第２実施形態］
次に、第２実施形態について説明する。この第２実施形態は、撮像対象媒体３０の構成及び抽出領域の設定方法が第１実施形態と異なり、それ以外は第１実施形態と同様である。よって、以下では、撮像対象媒体３０の構成及び抽出領域の設定方法について説明し、それ以外の説明は省略する。

図７に示すように、本実施形態で用いられる撮像対象媒体３０は、少なくとも２つの特徴パターンＦｐが配置されている。そして、これら２つの特徴パターンを対角とする矩形領域ＡＲ内（より具体的には、２つの特徴パターンの角部を対角位置とする矩形領域）に認識対象３２が配置される構成となっている。このような撮像対象媒体３０を用いる場合、Ｓ５の処理を実行する抽出部（制御部１１）では、撮像対象媒体３０の撮像画像において、それら２つの特徴パターンＦｐの位置を対角位置とする構成で矩形形状の領域ＡＲを切り出すことになる。具体的には、右上の特徴パターンＦｐの上辺が左下の特徴パターンＦｐの下辺と平行に配され、右上の特徴パターンＦｐの右辺と左下の特徴パターンＦｐの左辺とが平行に配されており、右上の特徴パターンＦｐの上辺と右辺は互いに直交している。また左下の特徴パターンＦｐの下辺と左辺は互いに直交している。そして、右上の特徴パターンＦｐの上辺及び右辺をそれぞれ延長した延長線、及び左下の特徴パターンＦｐの下辺及び左辺を延長した延長線が抽出領域ＡＲの境界位置となっている。また、図８の撮像対象媒体３０では、３つの特徴パターンを角部とする矩形領域ＡＲ内に認識対象３２が配置されており、このような撮像対象媒体３０を用いる場合、Ｓ５の処理を実行する抽出部（制御部１１）では、撮像対象媒体３０の撮像画像において、それら３つの特徴パターンＦｐの位置を角位置とする構成で矩形形状の領域ＡＲを切り出すことになる。

この構成によれば、実際の撮像対象媒体３０において一定サイズの領域が抽出画像として簡易且つ正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。特に、２つの特徴パターンＦｐによって対角の位置を正確に特定できるため、抽出画像のサイズ及び位置をより高精度に特定し易くなる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。

［第３実施形態］
次に、第３実施形態について説明する。この第３実施形態は、撮像対象媒体３０の構成及び抽出領域の設定方法が第１実施形態と異なり、それ以外は第１実施形態と同様である。よって、以下では、撮像対象媒体３０の構成及び抽出領域の設定方法について説明し、それ以外の説明は省略する。

撮像対象媒体３０において、特徴パターンＦｐとして、少なくとも第１の特徴パターンＦｐ１と第２の特徴パターンＦｐ２と第３の特徴パターンＦｐ３とが配置されている。そして、第１の特徴パターンＦｐ１の中心位置と第２の特徴パターンＦｐ２の中心位置を結んだ線を延長した線が抽出領域の境界とされており、第２の特徴パターンＦｐ２の中心と第３の特徴パターンＦｐ３の中心を結んだ線が抽出領域の別位置の境界とされている。この構成では、第１の特徴パターンＦｐ１の中心位置と第２の特徴パターンＦｐ２の中心位置との間隔Ｘ１と、第２の特徴パターンＦｐ２の中心位置と第３の特徴パターンＦｐ３の中心位置との間隔Ｘ２との縦横比Ｘ１：Ｘ２(図１０の例では、１：３)が、切り出すべき矩形状の抽出領域の横と縦の比となっている。このような撮像対象媒体３０を用いる場合、Ｓ５の処理を実行する抽出部は、撮像対象媒体３０の撮像画像において、３つの特徴パターンＦｐの位置を基準位置として規定される所定形状の領域を、第１の特徴パターンＦｐ１と第２の特徴パターンＦｐ２との間隔、及び第２の特徴パターンＦｐ２と第３の特徴パターンＦｐ３との間隔に対応したサイズで図１０のように切り出すことになる。具体的には、第１の特徴パターンＦｐ１の中心位置と第２の特徴パターンＦｐ２の中心位置とを結んだ線を第１の境界線とし、この第１の境界線と平行かつ第３の特徴パターンＦｐ３の中心位置を通る線を第２の境界線とし、第２の特徴パターンＦｐ２の中心位置と第３の特徴パターンＦｐ３の中心位置とを結んだ線を第３の境界線とし、この第３の境界線と平行な所定位置の線を第４の境界線とする形で長方形状の抽出領域を設定している。そして、第１の境界線を上端の境界線、第２の境界線を下端の境界線とし、第３の境界線を右端の境界線とし、第４の境界線を左端の境界線とするように長方形状の抽出領域を設定している。そして、上述の縦横比Ｘ１：Ｘ２(図１０の例では、１：３)が、切り出すべき矩形状の抽出領域の横と縦の比（図１０の例では、３：１）となるように矩形領域を構成している。

この構成によれば、実際の撮像対象媒体３０において一定サイズの領域が抽出画像として正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。なお、第１の特徴パターンＦｐ１の中心位置と第２の特徴パターンＦｐ２の中心位置との間隔Ｘ１と、第２の特徴パターンＦｐ２の中心位置と第３の特徴パターンＦｐ３の中心位置との間隔Ｘ２とに基づいて、抽出領域を設定する方法はこのような方法に限られない。例えば、第１の特徴パターンＦｐ１の中心位置と第２の特徴パターンＦｐ２の中心位置とを結んだ線を、第２の特徴パターンＦｐ２の中心位置を基点としてその間隔Ｘ１よりもＡ倍した延長線を上側の境界線とし、第２の特徴パターンＦｐ２の中心位置と第３の特徴パターンＦｐ３の中心位置とを結んだ線を、第２の特徴パターンＦｐ２の中心位置を基点としてその間隔Ｘ２よりもＡ倍した延長線を右側の境界線とし、これら延長線とそれぞれ平行な下側の境界線（上側の境界線と平行であり且つ右側の境界線の下端を通る線）及び左側の境界線（右側の境界線と平行であり且つ上側の境界線の左端を通る線）を設定するように矩形状の抽出領域を設定するような方法を用いてもよい。

［他の実施形態]
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。

上記実施形態では、携帯端末側で特徴パターンを検出すると共に所定範囲を抽出し、その抽出画像を管理装置に送信する構成を例示したが、携帯端末で所定範囲を抽出せずに、管理装置側で抽出してもよい。即ち、携帯端末側で撮像された画像を管理装置側に送信するように構成し、管理装置側で特徴パターンを検出すると共に特徴パターンに基づいて所定範囲を抽出するようにしてもよい。

撮像対象媒体３０の特徴パターンＦｐにおいて、サイズ情報が記録されていてもよい。この場合、Ｓ５の処理を実行する抽出部は、撮像対象媒体３０の撮像画像において、特徴パターンＦｐの所定位置を基準位置として規定される所定形状の領域を、特徴パターンＦｐに記録されたサイズ情報に対応したサイズで切り出すようにすればよい。サイズ情報の記録方法は様々であり、例えば、暗色領域の濃度を複数段階に表示し得るように構成し、Ｓ５では、検出された暗色領域の濃度に対応するサイズで抽出領域を切り出すようにすればよい。或いは、暗色領域を複数の色で表示し得るように構成し、Ｓ５では、検出された暗色領域の色に対応するサイズで抽出領域を切り出すようにすればよい。例えば、赤色の場合は、特徴パターンのｎ１倍の正方形の領域を切り出し、青色の場合は、特徴パターンのｎ２倍の正方形の領域を切り出すといった具合に運用すればよい。
この構成によれば、実際の撮像対象媒体３０において一定サイズの領域が抽出画像として正確に抽出されるようになり、このような抽出画像のサイズを目安として認識対象を特定できるようになる。これにより、認識対象の画像を一定の基準サイズとした上で認識処理を行うことができ、様々なサイズの比較基準（比較画像等）を用意せずに済む。

上記実施形態では、特徴パターンとして図４のような構成を例示したが、特徴パターンの形状はこのような例に限られるものではなく、様々な形状を候補とすることができる。例えば、特許第２９３８３３８号公報の図１１で例示されるような位置決め用シンボルを本発明の特徴パターンとしてもよい。或いは、特開２００９−２５９１９２号公報の図１等で開示される第１の特定パターンと同様のパターンを本発明の特徴パターンとしてもよい。

上述の認識方法では、特徴パターンＦｐと認識対象３２とが同一の撮像対象媒体上に付され、この撮像対象媒体の画像において認識対象３２を認識する例を示したが、特徴パターンＦｐが視認可能に表された媒体（紙媒体、樹脂媒体、金属媒体等）と、認識対象３２が視認可能に表された媒体（紙媒体、樹脂媒体、金属媒体等）とを別々の媒体で構成し、これらを組み合わせて配置した上でこれらを撮像し、上記実施形態と同様の認識方法で認識対象の図形を認識するようにしてもよい。例えば、特徴パターンＦｐの領域を表示する媒体（例えば、特徴パターンＦｐのみを表す紙や板等）を、認識対象３２を表示する媒体（例えば、図３から特徴パターンＦｐの図形を除いた絵柄を表す媒体）の上に配置し、これらを携帯端末１０によって撮像して画像認識を行ってもよい。この場合も、図３の撮像対象媒体３０を撮像した場合と同様の撮像画像が得られ、第１実施形態と同様の方法で認識対象３２を認識し、その認識結果に応じた処理を行うことができる。このように、特徴パターンＦｐを表す媒体を別部材とすれば、ユーザが当該媒体を持ち歩き、認識対象を見つけたときに当該媒体と認識対象とを同一の撮像エリア内に配置して撮像することができる。そして、その撮像画像では、上記実施形態と同様の方法（即ち、特徴パターンＦｐを基準として抽出範囲を定める方法）で一部画像を切り取って抽出することができる。

携帯端末１０は、携帯電話機やスマートフォンなどに限定されるものではなく、ユーザが様々な場所に携帯し得る情報機器であれば同様に適用できる。例えば、メガネに情報処理機能（通信機能や演算機能等）を内蔵したような端末においても本発明を適用することができる。このような構成でも、上記実施形態のように特徴パターンＦｐを検出したことを条件として撮像画像を送信する構成とすれば、ＣＰＵ等の消費電力を効果的に抑えることができ、バッテリの消耗を抑え、駆動時間をより長く確保することができる。

第１実施形態では１つの特徴パターンに基づいて抽出領域を設定する方法を例示したが、設定方法はこれに限られない。例えば、検出された特徴パターンの所定位置（例えば中心位置）を中心とする円形の領域を抽出領域としてもよい。この場合、検出された特徴パターンの一辺のサイズに比例した半径で、円形の領域を抽出すればよい。また、第２実施形態では、２つの特徴パターンに基づいて抽出領域を設定する方法を例示したが、設定方法はこれに限られない。例えば、２つの特徴パターンの各中心位置を長方形状の抽出領域の対角の頂点とするように長方形状の抽出領域を設定してもよい。或いは、２つの特徴パターンの各中心位置を結んだ線を直径とするような円形の抽出領域を設定してもよい。

１…画像認識システム
１０…携帯端末
１１…制御部（抽出部、送信部）
１４…通信部（送信部）
１５…撮像部
３０…撮像対象媒体
５０…管理装置（外部装置）
５１…制御回路（処理部）
Ｆｐ…特徴パターン

Claims (10)

1. 撮像対象媒体と、
   前記撮像対象媒体を撮像可能な撮像部を備えた携帯端末と、
   前記携帯端末内又は前記携帯端末と通信可能な外部装置に設けられ、前記撮像部で撮像された前記撮像対象媒体の画像から所定範囲の画像を抽出する抽出部と、
   前記抽出部によって抽出された画像を解析し、解析結果に応じた処理を行う処理部と、
   を備え、
   前記撮像対象媒体は、予め登録された形態の認識対象が表され且つ当該認識対象と共に規定形状の特徴パターンが表されたものであり、
   前記携帯端末は、前記撮像対象媒体を撮像して得られた撮像画像を前記抽出部に与え、
   前記抽出部は、前記撮像対象媒体の前記撮像画像において前記特徴パターンを検出し、その検出された前記特徴パターンを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出し、
   前記処理部は、前記抽出部によって抽出された画像において前記認識対象を認識し、その認識結果に応じた処理を行うことを特徴とする画像認識システム。
2. 前記携帯端末と通信可能に構成された管理装置を備え、
   前記管理装置には、前記処理部が設けられ、且つ前記認識対象に対応付けられた処理方法が登録されており、
   前記処理部は、前記抽出部によって抽出された画像内で認識された前記認識対象に基づき、撮像元の前記携帯端末に対して当該認識対象に対応付けられた処理方法により処理を行うことを特徴とする請求項１に記載の画像認識システム。
3. 前記撮像部は、撮像範囲の画像を継続的に撮像可能とされており、
   前記抽出部は、前記携帯端末内に設けられると共に、前記撮像部によって継続的に撮像される各画像に対して前記特徴パターンの検出を試み、いずれかの画像内で前記特徴パターンが検出された場合に、その画像から前記所定範囲の画像を抽出し、
   前記抽出部によって抽出された画像が、前記携帯端末に設けられた送信部によって前記管理装置に送信されることを特徴とする請求項２に記載の画像認識システム。
4. 前記撮像対象媒体には、単一の前記特徴パターンが配置され、
   前記抽出部は、前記撮像対象媒体の前記撮像画像において、前記特徴パターンの所定位置を基準位置として規定される所定形状の領域を、当該特徴パターンのサイズに対応したサイズで切り出すことを特徴とする請求項１から請求項３のいずれか一項に記載の画像認識システム。
5. 前記撮像対象媒体には、少なくとも２つの前記特徴パターンが配置され、
   前記抽出部は、前記撮像対象媒体の前記撮像画像において、それら２つの前記特徴パターンの位置を対角位置とする構成で矩形形状の領域を切り出すことを特徴とする請求項１から請求項３のいずれか一項に記載の画像認識システム。
6. 前記撮像対象媒体には、前記特徴パターンとして、少なくとも第１の特徴パターンと第２の特徴パターンと第３の特徴パターンとが配置され、
   前記抽出部は、前記撮像対象媒体の前記撮像画像において、３つの前記特徴パターンの位置を基準位置として規定される所定形状の領域を、前記第１の特徴パターンと前記第２の特徴パターンとの間隔、及び前記第２の特徴パターンと前記第３の特徴パターンとの間隔に対応したサイズで切り出すことを特徴とする請求項１から請求項３のいずれか一項に記載の画像認識システム。
7. 前記撮像対象媒体の前記特徴パターンには、サイズ情報が記録されており、
   前記抽出部は、前記撮像対象媒体の前記撮像画像において、前記特徴パターンの所定位置を基準位置として規定される所定形状の領域を、前記特徴パターンに記録された前記サイズ情報に対応したサイズで切り出すことを特徴とする請求項１から請求項３のいずれか一項に記載の画像認識システム。
8. 前記特徴パターンは、中心をあらゆる角度で横切る走査線において同じ周波数成分比が得られるパターンであることを特徴とする請求項１から請求項７のいずれか一項に記載の画像認識システム。
9. 規定形状の特徴パターンが表された媒体と、
   前記撮像対象媒体を撮像可能な撮像部を備えた携帯端末と、
   前記携帯端末内又は前記携帯端末と通信可能な外部装置に設けられ、前記撮像部で撮像された前記撮像対象媒体の画像から所定範囲の画像を抽出する抽出部と、
   前記抽出部によって抽出された画像を解析し、解析結果に応じた処理を行う処理部と、
   を用い、
   前記撮像部の撮像範囲内に認識対象と前記特徴パターンとが配された状態で当該撮像部により前記認識対象及び前記特徴パターンを撮像するステップと、
   前記撮像部によって撮像され、前記認識対象及び前記特徴パターンが含まれた撮像画像を、前記抽出部が取得するステップと、
   前記抽出部により、前記撮像画像において前記特徴パターンを検出し、その検出された前記特徴パターンを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出するステップと、
   前記処理部により、前記抽出部によって抽出された画像において前記認識対象を認識し、その認識結果に応じた処理を行うステップと、
   を含むことを特徴とする画像認識方法。
10. 認識対象が表され且つ当該認識対象と共に規定形状の特徴パターンが表された撮像対象媒体を撮像可能な携帯端末であって、
    前記撮像対象媒体を撮像可能な撮像部と、
    前記撮像部で撮像された前記撮像対象媒体の画像から所定範囲の画像を抽出する抽出部と、
    前記抽出部によって抽出された画像を外部装置に送信する送信部と、
    を備え、
    前記抽出部は、前記撮像対象媒体の前記撮像画像において前記特徴パターンを検出し、その検出された前記特徴パターンを基準とする抽出範囲を予め定められた方式で定め、当該抽出範囲の画像を抽出することを特徴とする携帯端末。

Images