JP2011243018A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】撮像画像の撮像の仕方によって大きく影響されることなく、正確に画像を認識することを可能にする。
【解決手段】画像処理システムは、撮像画像から所定の濃度を有する画素を複数抽出し、抽出した複数の画素のうち、画素同士で連結している画素があれば、それらを１つの連結画素としてグループ化する。グループ化した連結画素を所定の２次元座標であるＸＹ平面に配置し、連結画素の（Ｘｍａｘ，Ｙｍａｘ）及び（Ｘｍｉｎ，Ｙｍｉｎ）から連結画素の重心Ｇ１を算出する。重心Ｇ１から最も距離の離れた最大離間画素Ａを算出し、重心Ｇ１を中心とし、重心Ｇ１と最大離間画素Ａとの距離を半径Ｒとした円５０を生成し、円５０の中に、最大離間画素Ａ以外に四角形の角となるべき３つの画素（Ｂ，Ｃ，Ｄ）が存在していれば、最大離間画素Ａ及び３つの画素（Ｂ，Ｃ，Ｄ）を四隅とする四角形の枠の画像が存在すると判断する。
【選択図】図１５

Description

本発明は、撮像画像から四角形の画像を抽出する画像処理システム及び画像処理方法に関する。

従来の技術として、２値画像信号（完全な白色と完全な黒色の２色のみで表現された画像の信号）から黒連結成分の外接矩形を抽出し、抽出された外接矩形と黒連結成分との接点情報に基づいて、対象物を抽出する対象物抽出方法が知られている（例えば、特許文献１参照。）。

この先行技術は、矩形抽出部にて２値画像信号から黒連結成分の外接矩形を抽出し、候補矩形判定部にて予め設定された閾値と抽出された矩形の幅、高さを比較し、抽出すべき対象物が長方形であるか否かをチェックするものである。
この先行技術によれば、矩形対象物の抽出処理を、外接矩形と黒連結成分との接点情報に基づいて行っているので、画像中の対象物を高精度に抽出することができるものと考えられる。

特開平７−１６０８８６号公報

上述した先行技術では、さらに、対象物が回転しているか否かを判定する回転判定部が存在しており、画像中の対象物が回転していても対象物を抽出することができる点で優位である。
しかし、上述した先行技術では、矩形対象物の抽出処理を、外接矩形と黒連結成分との接点情報に基づいて行っているため、黒連結成分の周りに正確に外接矩形を生成しなければならず、また、接点情報を正確に算出しなければならないという問題がある。この点、抽出対象がはっきりしたとした図形等であればよいが、ぼんやりとした図形であるとか歪んだ形の図形であるとか明暗のはっきりしない図形であるような場合には、黒連結成分に矩形を外接させることは難しく、正確な画像認識ができない。

携帯電話機等のモバイル機器を用いて撮像された画像は、その撮像時の環境が多種多様であるため、その結果、得られた画像には撮像環境の違いが大きく現れる。また、ユーザごとに使用する機器の個体差や機種の違いによる違いが大きく現れることも多く、たとえ異なるユーザが同じ対象物を撮像した場合であっても、撮像環境の違いや機種の違いによってそれぞれが撮像した画像間には無限に近い違いが現れる。

例えば、同じ正方形の画像を撮像する場合であっても、撮像時におけるモバイル機器の傾斜具合や、その場の照明の有無、ユーザの熟練度等、様々な要因によって撮像画像は異なったものとなってくる。このような状況にあっては、たとえ上述した先行技術の手法を適用しても、撮像された画像間の違いがそれぞれの撮像画像に大きく影響し、そのままでは正確な画像認識が困難になるという問題がある。

そこで本発明は、撮像画像の撮像の仕方によって大きく影響されることなく、正確に画像を認識することを可能にする技術の提供を課題としている。

上記の課題を解決するため、本発明は画像処理システム及び画像処理方法を提供する。本発明の画像処理システム及び画像処理方法は、例えば以下に示される流れに沿って画像処理が進行する。

（１）撮像画像から所定の濃度を有する画素が複数抽出される。ここで、「濃度」とは、色の濃さや薄さ、色の明るさや暗さ等を示す指標であり、抽出したい画素に応じて、所定の濃度を予め設定しておく。この処理で、所定の濃度を有する画素、すなわち、撮像画像の中で色の濃い部分の画素や、撮像画像の中で暗い部分の画素が抽出される。抽出された画素は、以降の処理対象となる。その一方で、所定の濃度を有さない画素、すなわち、撮像画像の中で色の薄い部分の画素や、撮像画像の中で明るい部分の画素が取り除かれる。取り除かれた画素は、以降の処理対象から除かれる。

（２）抽出された複数の画素のうち、画素同士で連結している画素があれば、それらは１つの連結画素としてグループ化される。グループ化をすることで、連結画素の取り扱いが容易化され、以降の処理負担が軽減される。

（３）グループ化された連結画素を所定の２次元座標であるＸＹ平面に配置し、連結画素のＸ方向の最大値及び最小値と、連結画素のＹ方向の最大値及び最小値とから連結画素の重心が算出される。例えば、２次元座標での連結画素の配置位置の最大値を（Ｘｍａｘ，Ｙｍａｘ）とし、最小値を（Ｘｍｉｎ，Ｙｍｉｎ）とすれば、連結画素の重心（Ｘｇ，Ｙｇ）は、（（Ｘｍａｘ＋Ｘｍｉｎ）／２，（Ｙｍａｘ＋Ｙｍｉｎ）／２）として算出することができる。

（４）連結画素に含まれる各画素のうち、重心から最も距離の離れた最大離間画素が算出される。この処理では、連結画素に含まれる各画素から重心までの距離を算出し、最も距離が離れている画素を最大離間画素と定める。

（５）連結画素の重心を中心とし、重心と最大離間画素との距離を半径とした円が生成される。この処理によって、連結画素がその内部に含まれる円が描かれる。

（６）生成した円の中に、最大離間画素以外に四角形の角となるべき３つの画素が存在していれば、最大離間画素及び３つの画素を四隅とする四角形の画像が存在すると判断される。四角形の角となるべき３つの画素の判定は、連結画素の中にコーナーとなるべき部分が存在しているかや、連結画素の中にある程度の角度を持って屈折している箇所があるか、認定しようとしている画素よりも外周側に連結画素中の画素がないか等によって行う。

このように、本発明の画像処理システム及び画像処理方法によれば、連結画素の重心を算出し、その重心と最大離間画素との距離を半径とした円を生成し、その円の中に四角形の角となるべき３つの画素が存在しているか否かを判断することにより、四角形の画像を探しあてることができる。これは、まず、最大離間画素を四角形の１つの角として定め、最初の１点が定まれば、次は円を生成するのであるが、この円の半径は、連結画素の重心と最大離間画素との距離であるため、連結画素が四角形の形状であれば、四角形の残りの３点は必ず生成する円の中に入ることになる。したがって、撮像画像の中に含まれる四角形の画像が正確な正方形や長方形でなく、ある程度歪んだ形状等であっても、生成円の中には残りの３点が含まれるため、四角形の画像を精度よく抽出することができる。

この点、上述した先行技術は、黒連結成分のエッジに矩形を外接させて対象物を抽出するものであるが、仮に丸みを帯びた四角形の画像や、各辺に凹凸のある四角形の画像であれば、少し大きめに外接矩形を生成しなければならず、画像認識の正確性に欠けるという問題がある。

これに対して本願発明は、上述した先行技術のような接点情報に基づく処理ではなく、四角形の角となるべき残りの３点が円の中に入っているか否かで判断するので、ある程度おおまかなくくりで円を生成し、その円を利用して残りの３点を探すことができるので、処理の簡略化が図れるとともに、画像認識の正確性を高めることができる。

本発明の画像処理システム及び画像処理方法として、四角形の画像が存在すると判断した場合に、その四角形の画像の外側の画素を除去することが好ましい。

本発明によれば、四角形の画像の内側の画素はそのまま残り、四角形の画像の外側の画素は除去されるので、背景等の不要な情報をユーザの補助なしに自動的に削除し、必要な情報のみを残すことができる。

本発明の画像処理システム及び画像処理方法として、抽出した複数の画素のうち、画素同士で連結していない孤立した画素を除去することが好ましい。

本発明によれば、画像処理の対象を画素同士で連結している連結画素に限定し、画素同士で連結していない孤立した画素を除去することによって、その後の処理の迅速化を図りつつ、画像認識の精度を高めることができる。

本発明の画像処理システム及び画像処理方法として、抽出した各画素に対して、固有の識別情報を順に付していき、画素同士で連結している画素があれば、それらに同一の識別情報を付すことによりグループ化することが好ましい。

本発明によれば、識別情報を用いて各画素をグループとしてまとめることができるので、それだけ情報量を少なくすることができる。これにより、その後の処理は識別情報を用いて行えばよく、処理の簡素化を図ることができる。したがって、デジタル処理に極めて好適であるとともに、簡素なコンピュータハードウェアによる処理にも容易に適用することができ、それだけ利用の幅を拡張することができる。

本発明の画像処理システム及び画像処理方法として、抽出した各画素の近傍に新たな画素を付加することにより、各画素を拡大化させることが好ましい。

本発明によれば、各画素を拡大化させることにより、認識の対象となる画素がそれぞれ拡大され、仮に不明瞭な線や文字があっても、それが元の明確な状態に復元され、画像認識の確実性を高めることができる。

本発明の画像処理システム及び画像処理方法として、連結画素の面積値又は連結画素が囲む領域を含めた連結画素の面積値を算出し、算出した面積値が所定の範囲内にあれば、四角形の画像が存在すると判断することが好ましい。

本発明によれば、連結画素の面積値等を判断対象とすることで、認識対象となる四角形の画像の面積がある程度固定されているような場合には、その面積値から大きく外れる面積値を有する連結画素（例えば、極端に小さい面積値を有する連結画素や、極端に大きい面積値を有する連結画素）を認識の対象ではないと判断することができる。

本発明の画像処理システム及び画像処理方法として、連結画素のＸ方向の最大値及び最小値と、連結画素のＹ方向の最大値及び最小値とから、連結画素の形状の縦及び横の比率である縦横比を算出し、縦横比が所定の範囲内にあれば、四角形の画像が存在すると判断することが好ましい。

本発明によれば、連結画素の縦横比を判断対象とすることで、認識対象となる四角形の形状が正方形や長方形である場合に、その正方形や長方形の縦横比から大きく外れる縦横比を有する連結画素（例えば、極端に長細い長方形形状の連結画素）を認識の対象ではないと判断することができる。

本発明の画像処理システム及び画像処理方法として、撮像画像の中心を算出し、撮像画像の中心と連結画素の重心との距離を算出し、その距離が所定の範囲内にあれば、四角形の画像が存在すると判断することが好ましい。

本発明によれば、撮像画像の中心と連結画素の重心との距離を判断対象とすることで、通常は認識させたい画像が撮像画像の中心に配置されることが多いものであるから、そのような通常の場面を利用して、撮像画像の中心と連結画素の重心とが極端に離れている場合に、その連結画素を認識の対象ではないと判断することができる。

本発明の画像処理システム及び画像処理方法として、連結画素の各画素の配置状態を含めて重心を算出し、その重心と撮像画像の中心との距離を算出し、その距離が所定の範囲内にあれば、四角形の画像が存在すると判断することが好ましい。

本発明によれば、連結画素の各画素の配置状態を含めて重心を算出することで、幾何学的な形状だけで決定されるいわゆる図心を重心とするのではなく、連結画素の各画素に質量があるものと擬制して決定した重心を用いて判断を行うことができ、いびつな形状を有するにもかかわらず、幾何学的な重心が中央部分に配置されてしまう連結画素を排除することができる。

本発明の画像処理システム及び画像処理方法として、撮像画像は、四角形の撮像対象領域と、撮像対象領域の外縁に形成された黒色又はカラーの第１枠と、第１枠の外縁に形成された余白による第２枠とを備えた印刷物又は画像（いずれでもよい）を撮像した画像であることが好ましい。

本発明によれば、四角形の撮像対象領域の周りに黒色又はカラーの第１枠を配置することで、撮像対象領域を際立たせることができ、画像認識の精度を高めることができる。また、黒色又はカラーの第１枠の周りに余白による第２枠を配置することで、第１枠を強調することができ、第１枠と第２枠との相乗効果で画像認識の精度をより高めることができる。さらに、第１枠と第２枠といった二重の枠で撮像対象領域を囲むことにより、その中の領域が撮像対象領域であるということをユーザに知らしめ、第１枠と第２枠とで囲んだ領域を狙って撮像することをユーザに促すことができる。

本発明の画像処理システム及び画像処理方法によれば、連結画素の重心を算出し、その重心と最大離間画素との距離を半径とした円を生成し、その円の中に四角形の角となるべき３つの画素が存在しているか否かを判断することにより、四角形の画像が存在しているか否かを判断する。したがって、撮像画像の中に含まれる四角形の画像が正確な正方形や長方形でなく、ある程度歪んだ形状等であったり、回転したりしている場合であっても、生成円の中には残りの３点が含まれるため、四角形の画像の認識精度を高めることができる。

画像処理システムの構成を概略的に示した図である。 携帯情報端末１及びサーバ１００それぞれの構成例を示すブロック図である。 携帯情報端末１の端末制御部１０により実行される端末画像処理の一例を示すフローチャートである。 実際の撮像画像が処理される様子を示す連続図である（１／２）。 実際の撮像画像が処理される様子を示す連続図である（２／２）。 携帯情報端末１を用いて行われる撮像の様子を示す斜視図である。 サンプル画像Ｉｍの周辺部分を拡大して示す図である。 孤立画素除去処理について説明する図である。 太線化処理について説明する図である。 グループ化処理について説明する図である。 重心算出処理について説明する図である。 判断処理の内容をさらに詳細に示したフローチャートである。 連結画素の面積値の算出方法について説明する図である。 連結画素の縦横比の算出方法について説明する図である。 最大離間画素算出処理，円生成処理及び判断処理について説明する図である。 画像検索処理の手順例を示すフローチャートである。

以下、本発明の画像処理システム及びこれを用いて行う画像処理方法の実施形態について説明する。

図１は、画像処理システムの構成を概略的に示した図である。この画像処理システムは、例えば個人ユーザが所持する携帯情報端末１をはじめ、移動体通信網の基地局１０１、ネットワーク１０２及びサーバコンピュータ１００から構成されている。なお画像処理システムはその実行する機能により、携帯情報端末１だけで構成される場合もあれば、携帯情報端末１とその他の要素（基地局１０１、ネットワーク１０２及びサーバコンピュータ１００）とで構成される場合もあり、サーバコンピュータ１００だけで構成される場合もある。

携帯情報端末１は、例えばその表示画面上でＨＴＭＬデータに基づく表示を行う機能を有した携帯型の情報端末機器であり、ここでは携帯電話機が例に挙げられている。また携帯情報端末１はコンピュータとしての機能をも有しており、内蔵する記憶装置（メモリ）等に記憶されたアプリケーションプログラムを適宜読み出し、これを実行するシステムリソースを備えている。

本実施形態の画像処理システムは、携帯情報端末１にカメラ機能（撮像機能）が付属している場合を想定している。すなわち、携帯情報端末１には図示しないカメラモジュールが内蔵されており、このカメラモジュールは、例えばＣＣＤイメージセンサ等の撮像素子とレンズとを組み合わせて構成されている。なお携帯情報端末１は携帯電話機に限らず、通信機能とカメラ機能とを有した携帯型コンピュータやノート型のパーソナルコンピュータ等でもよい。またこれらの場合、カメラ機能は外部接続機器（ＵＳＢカメラ）を用いて実現してもよい。

基地局１０１は、携帯情報端末１との間で通信を行うためのアンテナを備えている。基地局１０１は例えばインターネット等のネットワーク１０２に接続されており、この状態で基地局１０１は、携帯情報端末１によりネットワーク１０２を通じて行われるデータ通信を中継する。

ネットワーク１０２には、サーバコンピュータ（以下「サーバ」と呼称する）１００が接続されている。サーバ１００は、基地局１０１及びネットワーク１０２を経由して、携帯情報端末１との間でデータ通信を行う機能を有するほか、コンピュータとして画像検索プログラムを実行するための機能を有する。またサーバ１００は画像データベース（図１には示されていない）を保有し、この画像データベース内に複数の画像データを予め登録している。サーバ１００は画像検索プログラムの実行に伴い、画像データベースにアクセスして画像検索を実行する。

図２は、携帯情報端末１及びサーバ１００それぞれの構成例を示すブロック図である。なお図２中、基地局１０１についてはその図示を省略している。

携帯情報端末１は、図示しないＣＰＵ（Ｃｅｎｔｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やメモリ等のハードウェアリソースを有するほか、無線（ＲＦ）通信モジュールやＲＦアンテナ等をも内蔵している。携帯情報端末１は、これら内蔵するハードウェアリソースを用いてアプリケーションプログラムを実行するとともに、その実行に伴い無線通信モジュールを用いてネットワーク１０２に接続することができる。

またサーバ１００は、図示しないＣＰＵ（Ｃｅｎｔｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をはじめとして、メモリや周辺ＩＣ、ハードディスク等の各種のハードウェアリソースを備えている。サーバ１００は、そのハードウェアリソースを用いて画像検索プログラムを実行するほか、その実行に伴い図示しないネットワークインタフェースを通じてネットワーク１０２に接続することができる。

また携帯情報端末１は端末制御部１０を有しており、この端末制御部１０は、例えば上記のＣＰＵを用いて実現されている。また端末制御部１０には、各種処理部として主に、撮像処理部１１、抽出処理部（抽出手段）１２、孤立画素除去処理部（孤立画素除去手段）１３、太線化処理部（拡大化手段）１４、グループ化処理部（グループ化手段）１５、重心算出処理部（重心算出手段）１６、判断処理部（判断手段）１７、不要画素除去処理部（不要画素除去手段）１８、特徴量抽出処理部１９及びデータ送信処理部１９１が組み込まれている。

このうち撮像処理部１１は、上記のカメラモジュールを用いて撮像を行い、撮像画像（撮影画像）を取得する処理を実行する。抽出処理部１２は、撮像画像から複数の画素を抽出する処理を実行する。孤立画素除去処理部１３は、抽出した画素から、孤立した画素を除去する処理を実行する。太線化処理部１４は、抽出した画素を太線化（拡大化）させる処理を実行する。グループ化処理部１５は、抽出した画素を連結画素としてグループ化をする処理を実行する。

重心算出処理部１６は、連結画素の重心を算出する処理を実行する。判断処理部１７は、算出した重心等の情報に基づいて撮像画像の中に四角形の枠の画像が存在するか否かを判断する処理を実行する。不要画素除去処理部１８は、四角形の枠の外側の画素を除去する処理を実行する。特徴量抽出処理部１９は、枠外の画素を除去した撮像画像から画像特徴量を抽出する処理を実行する。データ送信処理部１９１は、上記の無線通信モジュールを用いて、画像特徴量のデータを送信する。なお、各種処理部による処理については、さらに詳しく後述する。また各種処理部の構成は、例えばＣＰＵにより実行されるプログラムモジュールを用いて実現することができる。

その他に携帯情報端末１は、操作キー１ａや画像表示部１ｂ等を備えている。操作キー１ａは、ユーザのプッシュ操作（押下）を受け付ける各種キーやボタン等のスイッチであり、画像表示部１ｂは、例えば携帯情報端末１に付属する液晶ディスプレイである。端末制御部１０は、携帯情報端末１のユーザが操作キー１ａを操作すると、これに応じて各種処理部の機能を働かせる。また、各種処理部で行われる処理の過程又は結果に関する情報は、必要に応じて画像表示部１ｂに表示される。ユーザは画像表示部１ｂの表示を確認しながら操作キー１ａを操作し、端末制御部１０を動作させることができる。

一方、サーバ１００はサーバ制御部２０を有しており、このサーバ制御部２０もまた、サーバ１００において上記のＣＰＵを用いて実現することができる。またサーバ１００は画像データベース３０を保有しており、この画像データベース３０は、例えば上記のハードディスクを用いて実現されている。なお画像データベース３０には、システムにおいてオリジナル（原画像）となる複数の画像データがその画像特徴量とともに予め登録（記録）されているものとする。

サーバ制御部２０には、各種処理部として検索用データ受信部２２、画像検索処理部２４及び検索結果送信部２６が組み込まれている。このうち検索用データ受信部２２は、携帯情報端末１から送信される画像特徴量のデータを受信する処理を実行する。また画像検索処理部２４は、受信した画像特徴量のデータに基づき、画像データベース３０内から対応（マッチ）する画像データを検索する処理を実行する。検索結果送信部２６は、検索で得られた結果（商品名、商品番号等）を携帯情報端末１に送信する処理を実行する。

次に、本実施形態の画像処理システムにより実行される画像処理の内容について説明する。また以下の説明により、本発明の画像処理方法を実行するための各工程の内容についても明らかとなる。

本実施形態の画像処理システムは主に、（１）撮像して得た撮像画像の枠外画像を除去し、画像特徴量を抽出する処理、（２）画像特徴量に基づいて画像検索（画像のマッチング）を行う処理の２つを実行することができる。なお、これら（１）と（２）の処理の間には、携帯情報端末１からネットワーク１０２を通じて画像特徴量データをサーバ１００に送信する送信処理が実行される。

先ず、上記（１）の撮像して得た撮像画像の枠外画像を除去し、画像特徴量を抽出する処理とともに、画像特徴量のデータを送信するまでの処理について説明する。ここまでの処理は、携帯情報端末１の各種処理部を用いて実行することができる。

〔携帯情報端末の処理〕
図３は、携帯情報端末１の端末制御部１０により実行される端末画像処理の一例を示すフローチャートである。また図４及び図５は、実際の撮像画像が処理される様子を示す連続図である。この処理では、撮像画像の撮像処理からその撮像画像の枠外画像を除去する処理、画像特徴量を抽出する処理、そして画像特徴量の送信処理までの処理が順に行われる。以下、手順例に沿って説明する。

〔撮像処理〕
図３のステップＳ１０：先ず端末制御部１０は、撮像処理を実行する。この処理では、端末制御部１０は上記の撮像処理部１１にて撮像アプリケーションを実行し、図示しないカメラモジュールを用いた撮像による画像の取得を行う。

〔撮像処理の例〕
図６は、携帯情報端末１を用いて行われる撮像の様子を示す斜視図である。上記の撮像処理（図３中：ステップＳ１０）の実行に伴い、端末制御部１０は撮像アプリケーションを起動する。これに伴い、携帯情報端末１の図示しないカメラモジュールがアクティブとなる。

本実施形態の画像処理システムは、携帯情報端末１のユーザが例えば紙媒体（印刷物）として頒布された冊子Ｂ（カタログ、パンフレット、雑誌等）の商品見本をカメラで撮像し、そのデータを送信することで通信販売による商品の注文を行う、という商取引に適用することができる。

また、本実施形態の画像処理システムは、携帯情報端末１のユーザが例えばデジタルサイネージによって表示された商品見本等の画像をカメラで撮像し、そのデータを送信することで通信販売による商品の注文を行う、という商取引に適用することができる。ここで、デジタルサイネージとは、情報通信技術を用いてターゲットに適したコンテンツを適宜表示する電子機器のことであり、平面ディスプレイ等に映像や情報を表示する広告媒体である。デジタルサイネージは、適切な時間・場所を選んだ広告表示が可能であり、例えば、電子看板、電子ポスター、デジタル掲示板、ウェブページ内広告等が該当する。

ユーザに頒布された冊子Ｂの紙面には、通信販売の商品見本となるカラーのサンプル画像Ｉｍとともにその説明書き（商品番号、商品の詳細、販売価格等）が印刷されている。そしてユーザは、携帯情報端末１に付属するカメラモジュールの撮像領域内に紙面上のサンプル画像Ｉｍを位置付けた状態で撮像を行う。このとき撮像領域は、例えば携帯情報端末１の画面上にリアルタイムで表示される。サンプル画像Ｉｍが撮像領域内に位置付けられた状態で、ユーザが携帯情報端末１のシャッターボタンを押下すると、携帯情報端末１においてサンプル画像Ｉｍを撮像したカラー画像が取得される。このとき取得されたカラー画像は、例えば携帯情報端末１の図示しないメモリ（ＲＡＭ）に格納される。

〔サンプル画像Ｉｍの周辺部分〕
図７は、サンプル画像Ｉｍの周辺部分を拡大して示す図である。
サンプル画像Ｉｍは、四角形の撮像対象領域であり、図７中の画像例は、白い平皿の上にガラスのうつわが載せられ、そのガラスのうつわの中にイチゴとクリームからなるパフェが盛り付けられている様子の画像である。サンプル画像Ｉｍの外縁には、黒色の第１枠４１が形成されており、第１枠４１の外縁には、余白（何も着色していない部分）による第２枠４２が形成されている。なお、第１枠４１に関しては、印刷のＣＭＹＫ値が高いカラーの枠でもよい。

カラーの枠の場合、そのカラー値に関しては、最低でもＣＭＹＫ値のうち１つの値が「５０％以上」であることが好ましく、「Ｃ：５０％以上」、「Ｙ：１００％」、「Ｍ：５５％以上」、「Ｋ：５０％以上」の条件を確保することがより好ましい。また、第２枠４２については、実際には何も着色していない部分であるが、理解を容易にするためにその外縁を破線で示してある。図７中の英文字「ＡＢＣ・・ＸＹＺ」は、サンプル画像Ｉｍの周りの背景画像を示しており、実際には、このような英文字ではなく模様等によって構成される場合もある。

また、上述したデジタルサイネージを利用する場合は、デジタル画像に対応する必要があるため、ＣＭＹＫ値ではなく、ＲＧＢ値について規定する必要がある。この際、その値に関しては、ＲＧＢ値が２５５〜０（８ビット表示）の範囲である場合に、最低でもＲＧＢ値のうち１つの値が「１２８〜０」であることが好ましく、「Ｒ値：１２８〜０」、「Ｇ値：１２８〜０」、「Ｂ値：１２８〜０」の条件を確保することがより好ましい。

ここで、サンプル画像Ｉｍの横幅Ｘ１を１００％とした場合には、第１枠４１の幅寸法は、約２％（２．０８％）程度の寸法としており、第２枠４２の幅寸法は、約５％（４．８６％）程度の寸法としている。これらの寸法は、あくまで例示であり、使用環境やシステム仕様によって適宜変更することができる。

このように、サンプル画像Ｉｍの周りに黒色又はカラーの第１枠４１を配置することで、サンプル画像Ｉｍを際立たせることができ、画像認識の精度を高めることができる。また、第１枠４１の周りに第２枠４２を配置することで、第１枠４１を強調することができ、第１枠４１と第２枠４２との相乗効果で画像認識の精度をより高めることができる。さらに、第１枠４１と第２枠４２といった二重の枠でサンプル画像Ｉｍを囲むことにより、その中のサンプル画像Ｉｍが撮像対象領域であるということをユーザに知らしめ、第１枠４１と第２枠４２とで囲んだ領域を狙って撮像するということをユーザに促すことができる。
そして、携帯情報端末１においてサンプル画像Ｉｍを撮像することにより、図４中（Ａ）に示される撮像画像が得られる。

〔抽出処理〕
図３に戻り、ステップＳ２０：次に端末制御部１０は、抽出処理を実行する。この処理では、端末制御部１０は上記の抽出処理部１２にて抽出処理アプリケーションを実行し、撮像して得られた撮像画像から所定の濃度を有する画素を複数抽出する（抽出工程）。ここで、「濃度」とは、色の濃さや薄さ、色の明るさ暗さ等を示す指標であり、抽出したい画素に応じて、所定の濃度を予め設定しておく。この処理で、所定の濃度を有する画素、すなわち、撮像画像の中で色の濃い部分の画素や、撮像画像の中で暗い部分の画素が抽出される。抽出された画素は、以降の処理対象となる。その一方で、所定の濃度を有さない画素、すなわち、撮像画像の中で色の薄い部分の画素や、撮像画像の中で明るい部分の画素が取り除かれる。取り除かれた画素は、以降の処理対象から除かれる。

濃度の抽出処理は、テンプレート・マッチングによって行う。ここでテンプレート・マッチングとは、テンプレート（型紙）とのマッチング（一致具合）を調べる手法であり、輪郭を表す標準パターンをいくつか用意しておき、画像の一部と比較して最も似たものを選択していく方法である。テンプレート・マッチングに用いる一般的な微分フィルタとしては、Ｐｒｅｗｉｔｔフィルタ、Ｋｉｒｉｓｈフィルタ、Ｓｏｂｅｌフィルタ、Ｒｏｂｉｎｓｏｎフィルタ等を適用することができる。なお、マスクパターンを用いたテンプレート・マッチングによる各画素の濃度の抽出手法については公知のものを適用できるため、ここではその詳細を省略する。

本実施形態では、エッジ強度や各画素の濃度等を抽出できるＰｒｅｗｉｔｔフィルタを用いて抽出処理を行っており、ＣＹＭＫの各濃度の値が、「Ｃ：５０％以上」、「Ｙ：１００％」、「Ｍ：５５％以上」、「Ｋ：５０％以上」の条件のうち少なくとも１つを満たせば、所定の濃度を有する画素と認定する。また、ＲＧＢ値の場合は、ＲＧＢの各濃度の値が、「Ｒ値：１２８〜０」、「Ｇ値：１２８〜０」、「Ｂ値：１２８〜０」の条件のうち少なくとも１つを満たせば、所定の濃度を有する画素と認定する。なお、これらをプログラム上の数値に換算すれば、ＲＢＧの１色のエッジ強度が４０以上のものであることになる。

そして、これらの抽出処理を実行することにより、所定の濃度を有する画素が抽出され、図４中（Ｂ）に示される抽出処理後のデータが得られる。図４中（Ｂ）の表示例では、ある程度濃い色が存在している部分が白抜き表示されている。

〔孤立画素除去処理〕
図３に戻り、ステップＳ３０：次に端末制御部１０は、孤立画素除去処理を実行する。この処理では、端末制御部１０は上記の孤立画素除去処理部１３にて孤立画素除去アプリケーションを実行し、ステップＳ２０の抽出処理で抽出した複数の画素のうち、画素同士で連結していない孤立した画素を除去する（孤立画素除去工程）。

図８は、孤立画素除去処理について説明する図である。なお、図８中、１マスは１ピクセルを表しており、各マスの色掛け部分（塗りつぶし部分）は抽出した画素が存在することを表している（以下の図においても同様である）。
孤立画素除去処理については、図８中（Ａ）に示されるように、基本的には、完全に孤立している画素（１ピクセルの画素）を除去するものであるが、図８中（Ｂ）に示されるように、ある程度のかたまり（例えば、２ピクセル以下の画素）を孤立している画素とみなして除去するようにしてもよい。孤立画素除去処理を行うことによって、画像処理の対象を画素同士で連結している連結画素に限定することができ、その後の処理の迅速化を図りつつ、画像認識の精度を高めることができる。
そして、この孤立画素除去処理を実行することにより、図４中（Ｂ）に示される孤立画素Ｂが除去され、図５中（Ｃ）に示される孤立画素除去処理後のデータが得られる。

〔太線化処理（拡大化処理）〕
図３に戻り、ステップＳ４０：次に端末制御部１０は、太線化処理を実行する。この処理では、端末制御部１０は上記の太線化処理部１４にて太線化処理アプリケーションを実行し、ステップＳ３０の孤立画素除去処理で除去されずに残存した各画素の近傍に新たな画素を付加することにより、各画素を拡大化させる（拡大化工程）。

図９は、太線化処理について説明する図である。
太線化処理については、図９中（Ａ）に示されるように、ある任意の画素があるとすれば、その上下左右の領域に新たな画素を付加することにより太線化を実現することができる。また、図９中（Ｂ）に示されるように、ある任意の画素があるとすれば、それを取り囲むすべての領域（８マス）に新たな画素を付加してもよい。太線化処理を行うことによって、認識の対象となる画素がそれぞれ拡大され、仮に不明瞭な線や図形があっても、それが元の明確な状態に復元され、画像認識の確実性を高めることができる。抽出対象となる枠の画像は、繋がっていることが条件となるため、この処理によりそれを強化することができる。
そして、この太線化処理を実行することにより、図５中（Ｄ）に示される太線化処理後のデータが得られる。

〔グループ化処理（ラベリング処理）〕
図３に戻り、ステップＳ５０：次に端末制御部１０は、グループ化処理を実行する。この処理では、端末制御部１０は上記のグループ化処理部１５にてグループ化処理アプリケーションを実行し、ステップＳ４０の太線化処理で太線化した画素のうち、画素同士で連結している画素があれば、それらを１つの連結画素としてグループ化する（グループ化工程）。グループ化をすることで、連結画素の取り扱い処理が容易化され、以降の処理負担が軽減される。

図１０は、グループ化処理について説明する図である。
グループ化処理については、連結画素の各画素に対して固有の識別番号（識別情報）を順に付していき、画素同士で連結している画素があれば、それらに同一の識別番号を付すことによりグループ化する。図１０中では、最初の連結画素の各画素に対して「１」を付し、次の連結画素の各画素に対して「２」を付し、さらにその次の連結画素の各画素に対して「３」を付している。以降の処理では、この識別番号を用いてグループを認識することができる。また、識別番号を用いてグループ化処理を行うことによって、それだけ情報量を少なくすることができ、処理の簡素化を図ることができる。

〔重心算出処理〕
図３に戻り、ステップＳ６０：次に端末制御部１０は、重心算出処理を実行する。この処理では、端末制御部１０は上記の重心算出処理部１６にて重心算出処理アプリケーションを実行することによって行われる。

図１１は、重心算出処理について説明する図である。重心については、正方形や長方形の連結画素の場合には、特に問題なく簡単に重心を算出できるため、この図の例では、若干傾いた（回転した）平行四辺形の連結画素の重心を算出する例で説明する。
重心算出処理については、ステップＳ５０のグループ化処理でグループ化した連結画素を所定の２次元座標であるＸＹ平面に配置し、連結画素のＸ方向の最大値及び最小値と、連結画素のＹ方向の最大値及び最小値とから連結画素の重心（重心位置）を算出する（重心算出工程）。例えば、図１１中（Ａ）に示されるように、２次元座標での連結画素の配置位置の最大値を（Ｘｍａｘ，Ｙｍａｘ）とし、最小値を（Ｘｍｉｎ，Ｙｍｉｎ）とすれば、連結画素の重心Ｇ１（Ｘｇ，Ｙｇ）は、（（Ｘｍａｘ＋Ｘｍｉｎ）／２，（Ｙｍａｘ＋Ｙｍｉｎ）／２）として算出することができる。この方法で算出した重心Ｇ１は、画像の幾何学的な形状だけで決定されるいわゆる図心であり、これを第１重心Ｇ１と定める。

また、重心算出処理では、第２重心も算出する。ここで、第２重心とは、連結画素の各画素の配置状態を含めて算出した重心であり、各画素に質量があるものと擬制して決定した重心である。図１１中（Ｂ）に示される連結画素は、図中右下の部分に、画素の片寄りがあるため（図中矢印Ｂ参照）、第２重心Ｇ２は、第１重心Ｇ１よりも、図中右下方向にずれる。

このように、第２重心も算出する理由は、第１重心だけでは、図１１中（Ｃ）に示されるような逆Ｌ字状の連結画素が存在していた場合に、第１重心Ｇ１が中央付近に配置されてしまうため、第１重心Ｇ１だけで後述する判断処理を行うと、図１１中（Ｃ）に示されるような逆Ｌ字状の連結画素が排除できないからであり、このような変則的な連結画素に対しては、第２重心Ｇ２，Ｇ２−１を用いて後述する判断処理を行う。

〔判断処理〕
図３に戻り、ステップＳ７０：次に端末制御部１０は、判断処理を実行する。この処理では、端末制御部１０は上記の判断処理部１７にて判断処理アプリケーションを実行し、撮像画像中に四角形の枠の画像が存在するか否かを判断する（判断工程）。

図１２は、判断処理の内容をさらに詳細に示したフローチャートである。以下、図１２のフローチャートに沿って処理の内容を説明する。

〔面積値算出処理〕
ステップＳ１００：端末制御部１０は、連結画素の面積値又は連結画素が囲む領域を含めた連結画素の面積値を算出する（面積値算出工程）。ここで、「連結画素の面積値」とは、連結画素に含まれる各画素の面積を単純に足し合わせた面積値であるが、「連結画素が囲む領域を含めた連結画素の面積値」とは、連結画素が例えば環状に連結した画素であってその中央部分に画素がない領域がある場合に、その中央部分の画素がない部分の面積も含めた面積値である。

図１３は、連結画素の面積値の算出方法について説明する図である。
図１３中（Ａ）に示されるように、連結画素が単純なかたまりであれば、連結画素の面積値は、連結画素に含まれる画素の個数から算出することができる。図１３中（Ａ）の例では、７個の画素なので、面積値は７ピクセルであると定める。一方、図１３中（Ｂ）に示されるように、連結画素が枠状（環状）の形状であれば、環状の連結画素の面積（色掛け部分：１６ピクセル）と、環状の連結画素が囲む領域の面積（９ピクセル）とを加えた値（２５ピクセル）を連結画素の面積値とする。

図１２に戻り、ステップＳ１０１：端末制御部１０は、算出した面積値が所定の範囲内にあるか否かを確認し、所定の範囲内にあれば（Ｙｅｓ）、ステップＳ１０２に進み、所定の範囲内になければ（Ｎｏ）、ステップＳ１１３に進む。ここで、面積値の所定の範囲は、自由に設定することができるが、例えば、１５０００〜６２０００ピクセルの範囲内と定めることができる。このように、連結画素の面積値等を判断対象とすることで、認識対象となる四角形の枠の画像の面積がある程度固定されているような場合には、その面積値から大きく外れる面積値を有する連結画素（例えば、極端に小さい面積値を有する連結画素や、極端に大きい面積値を有する連結画素）を認識の対象ではないと判断することができる。

〔縦横比算出処理〕
ステップＳ１０２：端末制御部１０は、連結画素のＸ方向の最大値及び最小値と、連結画素のＹ方向の最大値及び最小値とから、連結画素の形状の縦及び横の比率である縦横比を算出する（縦横比算出工程）。

図１４は、連結画素の縦横比の算出方法について説明する図である。
連結画素の縦横比を算出するためには、図１４中（Ａ）に示されるように、まず、連結画素のＸ方向の長さＸ１とＹ方向の長さＹ１とを算出する。Ｘ方向の長さＸ１は、「Ｘｍａｘ−Ｘｍｉｎ」で算出することができ、Ｙ方向の長さＹ１は、「Ｙｍａｘ−Ｙｍｉｎ」で算出することができる。そして縦横比は、「Ｘ１／Ｙ１」又は「Ｙ１／Ｘ１」で算出することができる。この場合、小さいほうの値を大きいほうの値で除算すれば、算出される値は１以下となる。

図１２に戻り、ステップＳ１０３：端末制御部１０は、算出した縦横比が所定の範囲内にあるか否かを確認し、所定の範囲内にあれば（Ｙｅｓ）、ステップＳ１０４に進み、所定の範囲内になければ（Ｎｏ）、ステップＳ１１３に進む。ここで、縦横比の所定の範囲は、自由に設定することができるが、例えば、０．６以上１．０以下の範囲内と定めることができる。このように、連結画素の縦横比を判断対象とすることで、認識対象となる四角形の枠の形状が正方形や長方形である場合に、その正方形や長方形の縦横比から大きく外れる縦横比を有する連結画素（例えば、図１４中（Ｂ）に示されるような極端に長細い長方形形状の連結画素）を認識の対象ではないと判断することができる。

〔中心算出処理〕
図１２に戻り、ステップＳ１０４：端末制御部１０は、撮像画像の中心（中心位置）を算出する（中心算出工程）。撮像画像の中心は、撮像した画像の４隅から対角線を引き、対角線が交わる地点を撮像画像の中心とする。

ステップＳ１０５：端末制御部１０は、ステップＳ１０４で算出した撮像画像の中心と図３のステップＳ６０で算出した連結画素の第１重心Ｇ１との距離を算出する（距離算出工程）。

ステップＳ１０６：端末制御部１０は、ステップＳ１０５で算出した距離が所定の範囲内にあるか否かを確認し、所定の範囲内にあれば（Ｙｅｓ）、ステップＳ１０７に進み、所定の範囲内になければ（Ｎｏ）、ステップＳ１１３に進む。ここで、距離の所定の範囲は、自由に設定することができるが、例えば、０以上１００ピクセル以下の範囲内と定めることができる。このように、撮像画像の中心と連結画素の第１重心Ｇ１との距離を判断対象とすることで、通常は認識させたい画像が撮像画像の中心に配置されることが多いものであるから、そのような通常の場面を利用して、撮像画像の中心と連結画素の重心とが極端に離れている場合に、その連結画素を認識の対象ではないと判断することができる。

ステップＳ１０７：端末制御部１０は、ステップＳ１０４で算出した撮像画像の中心と図３のステップＳ６０で算出した連結画素の第２重心Ｇ２との距離を算出する（距離算出工程）。

ステップＳ１０８：端末制御部１０は、ステップＳ１０７で算出した距離が所定の範囲内にあるか否かを確認し、所定の範囲内にあれば（Ｙｅｓ）、ステップＳ１０９に進み、所定の範囲内になければ（Ｎｏ）、ステップＳ１１３に進む。ここで、距離の所定の範囲は、自由に設定することができるが、例えば、０以上６０ピクセル以下の範囲内と定めることができる。このように、連結画素の各画素の配置状態を含めて算出した重心Ｇ２を利用することで、画像の幾何学的な形状だけで決定される図心ではなく、連結画素の各画素に質量があるものと擬制して決定した重心を用いて判断を行うことができ、いびつな形状を有するのにもかかわらず、幾何学的な重心Ｇ１が中央部分に配置されてしまう連結画素を排除することができる（図１１中（Ｃ）参照）。

〔最大離間画素算出処理〕
図１２に戻り、ステップＳ１０９：端末制御部１０は、最大離間画素算出処理を実行する。この処理では、端末制御部１０は上記の判断処理部１７にて最大離間画素算出アプリケーションを実行し、連結画素に含まれる各画素のうち、図３のステップＳ６０で算出した第１重心Ｇ１から最も距離の離れた最大離間画素を算出する（最大離間画素算出工程）。具体的には、連結画素に含まれる各画素から第１重心Ｇ１までの距離を算出し、最も距離が離れている画素を最大離間画素と定める。なお、距離の算出は、第１重心Ｇ１ではなく、第２重心Ｇ２を基準としてもよい。

〔円生成処理〕
ステップＳ１１０：端末制御部１０は、円生成処理を実行する。この処理では、端末制御部１０は上記の判断処理部１７にて円生成アプリケーションを実行し、連結画素の第１重心Ｇ１を中心とし、第１重心Ｇ１と最大離間画素との距離を半径Ｒとした円を生成する（円生成工程）。この処理によって、連結画素がその内部に含まれる円が描かれる。

ステップＳ１１１：端末制御部１０は、ステップＳ１１０で生成した円の中に、最大離間画素以外に四角形の角となるべき３つの画素が存在するか否かを判断し、四角形の角となるべき３つの画素が存在すると判断すれば（Ｙｅｓ）、ステップＳ１１２に進み、存在しないと判断すれば（Ｎｏ）、ステップＳ１１３に進む。

図１５は、最大離間画素算出処理，円生成処理及び判断処理について説明する図である。
端末制御部１０は、図１５中（Ａ）に示されるように、第１重心Ｇ１から最も離れた最大離間画素Ａを算出し、図１５中（Ｂ）に示されるように、第１重心Ｇ１と最大離間画素Ａとの距離を半径Ｒとした円５０を生成し、生成した円５０の中に、最大離間画素Ａ以外に四角形の角となるべき３つの画素（Ｂ，Ｃ，Ｄ）が存在するか否かを確認する。四角形の角となるべき３つの画素の判定は、連結画素の中にコーナーとなるべき部分が存在しているかや、連結画素の中にある程度の角度を持って屈折している箇所があるか、認定しようとしている画素よりも外周側に連結画素中の画素がないか等によって行う。なお、円５０の中ではなく、円５０の円周上に四角形の角となるべき３つの画素が存在していれば、それらを角と判定してもよい。

図１２に戻り、ステップＳ１１２：端末制御部１０は、ステップＳ１０１〜ステップＳ１０８の判定をすべてクリアし、かつ、ステップＳ１１１で四角形の角となるべき３つの画素が存在すると判断した場合には、最大離間画素及び３つの画素を四隅とする四角形の枠の画像が存在すると判断する（判断工程）。

ステップＳ１１３：端末制御部１０は、ステップＳ１０１〜ステップＳ１０８の判定を１つでもクリアせず、また、ステップＳ１１１で四角形の角となるべき３つの画素が存在しないと判断した場合には、四角形の枠の画像が存在しないと判断する（判断工程）。以上の手順を終えると、端末制御部１０は端末画像処理（図３）に復帰し、次に不要画素除去処理（ステップＳ８０）を実行する。

〔不要画素除去処理〕
図３に戻り、ステップＳ８０：端末制御部１０は、不要画素除去処理を実行する。この処理では、端末制御部１０は上記の不要画素除去処理部１８にて不要画素除去処理アプリケーションを実行し、ステップＳ７０の判断処理で撮像画像中に四角形の枠の画像が存在すると判断した場合に、その四角形の枠の外側の画素（枠外画像）を除去する（不要画素除去工程）。

そして、上記ステップＳ５０〜ステップＳ７０のグループ化処理・重心算出処理・判断処理を実行し、上記ステップＳ８０の不要画素除去処理を実行することにより、図５中（Ｅ）に示されるように、枠外の画像を除去した撮像画像データが得られる。

〔特徴量抽出処理〕
図３に戻り、ステップＳ８５：端末制御部１０は、特徴量抽出処理を実行する。この処理では、端末制御部１０は上記の特徴量抽出処理部１９にて特徴量抽出処理アプリケーションを実行し、先の不要画素除去処理（ステップＳ８０）において枠外の画素を除去した撮像画像から画像特徴量が抽出される。なお、先の判断処理（ステップＳ７０）において、撮像画像中に四角形の枠の画像が存在しないと判断され、不要画素除去処理（ステップＳ８０）において、枠外の画像が除去されない場合も想定されるが、この場合は、枠外の画像を除去していない撮像画像から画像特徴量を抽出する。

〔データ送信処理〕
ステップＳ９０：端末制御部１０は、データ送信処理を実行する。この処理では、端末制御部１０は上記のデータ送信処理部１９１にてデータ送信アプリケーションを実行し、先の特徴量抽出処理（ステップＳ８５）において抽出した画像特徴量のデータを送信する。これにより、画像特徴量のデータがネットワーク１０２を経由してサーバ１００に送信されることになる。

〔サーバ側での処理〕
次に、サーバ１００において実行される処理について説明する。すなわちサーバ制御部２０は、携帯情報端末１から送信された画像特徴量のデータに基づき、画像データベース３０から該当する画像データを検索する処理を実行する。

〔画像検索処理〕
図１６は、画像検索処理の手順例を示すフローチャートである。以下、画像検索処理の内容について、その手順に沿って説明する。

ステップＳ２００：サーバ制御部２０は、上記の検索用データ受信部２２にて受信プログラムを実行し、携帯情報端末１から送信された画像特徴量のデータを受信する。

ステップＳ２０２：サーバ制御部２０は、上記の画像検索処理部２４にて検索プログラムを実行し、画像データベース３０にアクセスして今回の比較対象となる画像特徴量のデータを取得する。なお画像データベース３０には、予め全ての比較対象となるオリジナル画像について、それぞれの検索用画像特徴量のデータが合わせて登録されている。このとき登録されているオリジナルの検索用画像特徴量のデータは、上述した携帯情報端末１による画像特徴量の抽出手法と同じ手法によって求められたものである。

ステップＳ２０４：サーバ制御部２０は、今回の比較対象となる画像特徴量のデータと、検索用画像特徴量のデータとを比較する。

ステップＳ２０６：サーバ制御部２０は、全てのオリジナル画像について比較を完了したか否かを確認する。未だ全てについて完了していなければ（Ｎｏ）、サーバ制御部２０はステップＳ２０２に戻って次の検索用画像特徴量のデータを取得し、先のステップＳ２０２，Ｓ２０４の処理を繰り返す。この後、画像データベース３０内の全てのオリジナル画像について比較を完了すると（Ｙｅｓ）、サーバ制御部２０は次のステップＳ２０８に進む。

ステップＳ２０８：サーバ制御部２０は、携帯情報端末１から送信された画像特徴量のデータに最も近似した検索用画像特徴量のデータを検索ヒット画像として特定する。

ステップＳ２１０：そしてサーバ制御部２０は、検索ヒット画像として特定した撮像画像を検索結果として出力する。このときサーバ制御部２０は、検索結果送信部２６にて送信プログラムを実行し、ネットワーク１０２を通じて携帯情報端末１にオリジナルの画像データを送信する。またサーバ制御部２０は、冊子Ｂに記載された商品見本の購入ページに対応するＵＲＬを送信する。

この後、例えば携帯情報端末１の画像表示部１ｂに表示されたオリジナルの画像をユーザが確認し、自己が購入する予定の商品に間違いないことを確認すると、送信されたＵＲＬにアクセスして商品購入の手続を実行することができる。

以上のように、本実施形態によれば、携帯情報端末１のカメラモジュールを用いてユーザが様々な条件下で撮像した撮像画像を利用する画像処理システムにおいて、予め撮像画像から背景等の不要な情報をユーザの補助なしに自動的に削除し、必要な情報のみを残すことにより、サーバ１００での後工程の処理精度を高めることができる。したがって、携帯情報端末１側では、画像を送信する際のパケット量を抑えつつ、サーバ１００側では、必要な情報のみを残した撮像画像により高精度に検索処理を行うことができる。

また、連結画素の重心Ｇ１を算出し、その重心Ｇ１と最大離間画素Ａとの距離を半径Ｒとした円５０を生成し、その円５０の中に四角形の角となるべき３つの画素（Ｂ，Ｃ，Ｄ）が存在しているか否かを判断することにより、四角形の枠の画像が存在しているか否かを判断することができる。したがって、撮像画像の中に含まれる四角形の枠の画像が正確な正方形や長方形でなく、機種ごとの違いや個体差、撮像環境（周囲の明るさや照明）の違いによってある程度歪んだ形状等となっている場合であっても、連結画素が四角形の形状であれば、生成円５０の中には残りの３点（Ｂ，Ｃ，Ｄ）が必ず含まれるため、四角形の枠の画像の精度よく認識することができる。

さらに、四角形の角となるべき残りの３点が円の生成円５０に入っているか否かによって四角形の枠の画像を判断するので、ある程度おおまかなくくりで生成円５０を生成し、その生成円５０を利用して残りの３点を探すことができるので、処理の簡略化が図れるとともに、画像認識の正確性を高めることができ、四角形の枠が回転していたり、ゆがんだりしていても高精度で認識することができる。

本発明は上述した一実施形態に制約されることなく、種々に変形して実施することができる。例えば、一実施形態では携帯情報端末１とサーバ１００を用いてシステムを構築しているが、１台のコンピュータを用いて画像処理システムを構築してもよい。また、ネットワーク１０２はインターネットのような公衆通信網に限らず、ローカルエリアネットワーク（ＬＡＮ）であってもよい。

また、一実施形態では携帯情報端末１を例に挙げているが、カメラを用いた撮像や枠外の画像を除去する処理は、例えばパーソナルコンピュータにＵＳＢカメラを接続した状態で実行することもできるし、逆にデジタルカメラのような撮像デバイスのリソースを用いて実行することもできる。
さらに、上記アルゴリズムは、携帯情報端末１以外の画像認識処理に適用可能である。

１ 携帯情報端末
１０ 端末制御部
１１ 撮像処理部
１２ 抽出処理部
１３ 孤立画素除去処理部
１４ 太線化処理部
１５ グループ化処理部
１６ 重心算出処理部
１７ 判断処理部
１８ 不要画素除去処理部
１９ 特徴量抽出処理部
１９１ データ送信処理部
２０ サーバ制御部
２２ 検索用データ受信部
２４ 画像検索処理部
２６ 検索結果送信部
３０ 画像データベース
１００ サーバ
１０２ ネットワーク

Claims (20)

1. 撮像画像から所定の濃度を有する画素を複数抽出する抽出手段と、
   前記抽出手段が抽出した複数の画素のうち、画素同士で連結している画素があれば、それらを１つの連結画素としてグループ化するグループ化手段と、
   前記グループ化手段がグループ化した連結画素を所定の２次元座標であるＸＹ平面に配置し、前記連結画素のＸ方向の最大値及び最小値と、前記連結画素のＹ方向の最大値及び最小値とから前記連結画素の重心を算出する重心算出手段と、
   前記連結画素に含まれる各画素のうち、前記重心から最も距離の離れた最大離間画素を算出する最大離間画素算出手段と、
   前記連結画素の前記重心を中心とし、前記重心と前記最大離間画素との距離を半径とした円を生成する円生成手段と、
   前記円生成手段が生成した円の中に、前記最大離間画素以外に四角形の角となるべき３つの画素が存在していれば、前記最大離間画素及び前記３つの画素を四隅とする四角形の画像が存在すると判断する判断手段と
   を備えたことを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記判断手段が四角形の画像が存在すると判断した場合に、その四角形の画像の外側の画素を除去する不要画素除去手段をさらに備えたことを特徴とする画像処理システム。
3. 請求項１又は２に記載の画像処理システムにおいて、
   前記抽出手段が抽出した複数の画素のうち、画素同士で連結していない孤立した画素を除去する孤立画素除去手段をさらに備えたことを特徴とする画像処理システム。
4. 請求項１から３のいずれかに記載の画像処理システムにおいて、
   前記グループ化手段は、
   前記抽出手段が抽出した各画素に対して、固有の識別情報を順に付していき、画素同士で連結している画素があれば、それらに同一の識別情報を付すことによりグループ化することを特徴とする画像処理システム。
5. 請求項１から４のいずれかに記載の画像処理システムにおいて、
   前記抽出手段が抽出した各画素の近傍に新たな画素を付加することにより、前記各画素を拡大化させる拡大化手段をさらに備えたことを特徴とする画像処理システム。
6. 請求項１から５のいずれかに記載の画像処理システムにおいて、
   前記連結画素の面積値又は前記連結画素が囲む領域を含めた前記連結画素の面積値を算出する面積値算出手段をさらに備え、
   前記判断手段は、
   前記面積値算出手段が算出した面積値が所定の範囲内にあれば、前記四角形の画像が存在すると判断することを特徴とする画像処理システム。
7. 請求項１から６のいずれかに記載の画像処理システムにおいて、
   前記連結画素のＸ方向の最大値及び最小値と、前記連結画素のＹ方向の最大値及び最小値とから、前記連結画素の形状の縦及び横の比率である縦横比を算出する縦横比算出手段をさらに備え、
   前記判断手段は、
   前記縦横比算出手段が算出した縦横比が所定の範囲内にあれば、前記四角形の画像が存在すると判断することを特徴とする画像処理システム。
8. 請求項１から７のいずれかに記載の画像処理システムにおいて、
   前記撮像画像の中心を算出する中心算出手段と
   前記中心算出手段が算出した撮像画像の中心と前記重心算出手段が算出した連結画素の重心との距離を算出する距離算出手段とをさらに備え、
   前記判断手段は、
   前記距離算出手段が算出した距離が所定の範囲内にあれば、前記四角形の画像が存在すると判断することを特徴とする画像処理システム。
9. 請求項８に記載の画像処理システムにおいて、
   前記重心算出手段は、
   前記連結画素の各画素の配置状態を含めて前記重心を算出し、
   前記距離算出手段は、
   前記中心算出手段が算出した撮像画像の中心と前記重心算出手段が各画素の配置状態を含めて算出した連結画素の重心との距離を算出し、
   前記判断手段は、
   前記距離算出手段が算出した距離が所定の範囲内にあれば、前記四角形の画像が存在すると判断することを特徴とする画像処理システム。
10. 請求項１から９のいずれかに記載の画像処理システムにおいて、
    前記撮像画像は、
    四角形の撮像対象領域と、
    前記撮像対象領域の外縁に形成された黒色又はカラーの第１枠と、
    前記第１枠の外縁に形成された余白による第２枠とを備えた印刷物又は画像を撮像した画像であることを特徴とする画像処理システム。
11. 撮像画像から所定の濃度を有する画素を複数抽出する抽出工程と、
    前記抽出工程で抽出した複数の画素のうち、画素同士で連結している画素があれば、それらを１つの連結画素としてグループ化するグループ化工程と、
    前記グループ化工程でグループ化した連結画素を所定の２次元座標であるＸＹ平面に配置し、前記連結画素のＸ方向の最大値及び最小値と、前記連結画素のＹ方向の最大値及び最小値とから前記連結画素の重心を算出する重心算出工程と、
    前記連結画素に含まれる各画素のうち、前記重心から最も距離の離れた最大離間画素を算出する最大離間画素算出工程と、
    前記連結画素の前記重心を中心とし、前記重心と前記最大離間画素との距離を半径とした円を生成する円生成工程と、
    前記円生成工程で生成した円の中に、前記最大離間画素以外に四角形の角となるべき３つの画素が存在していれば、前記最大離間画素及び前記３つの画素を四隅とする四角形の画像が存在すると判断する判断工程と
    を備えたことを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    前記判断工程で四角形の画像が存在すると判断した場合に、その四角形の画像の外側の画素を除去する不要画素除去工程をさらに備えたことを特徴とする画像処理方法。
13. 請求項１１又は１２に記載の画像処理方法において、
    前記抽出工程で抽出した複数の画素のうち、画素同士で連結していない孤立した画素を除去する孤立画素除去工程をさらに備えたことを特徴とする画像処理方法。
14. 請求項１１から１３のいずれかに記載の画像処理方法において、
    前記グループ化工程は、
    前記抽出工程で抽出した各画素に対して、固有の識別情報を順に付していき、画素同士で連結している画素があれば、それらに同一の識別情報を付すことによりグループ化する工程であることを特徴とする画像処理方法。
15. 請求項１１から１４のいずれかに記載の画像処理方法において、
    前記抽出工程で抽出した各画素の近傍に新たな画素を付加することにより、前記各画素を拡大化させる拡大化工程をさらに備えたことを特徴とする画像処理方法。
16. 請求項１１から１５のいずれかに記載の画像処理方法において、
    前記連結画素の面積値又は前記連結画素が囲む領域を含めた前記連結画素の面積値を算出する面積値算出工程をさらに備え、
    前記判断工程は、
    前記面積値算出工程で算出した面積値が所定の範囲内にあれば、前記四角形の画像が存在すると判断する工程であることを特徴とする画像処理方法。
17. 請求項１１から１６のいずれかに記載の画像処理方法において、
    前記連結画素のＸ方向の最大値及び最小値と、前記連結画素のＹ方向の最大値及び最小値とから、前記連結画素の形状の縦及び横の比率である縦横比を算出する縦横比算出工程をさらに備え、
    前記判断工程は、
    前記縦横比算出工程で算出した縦横比が所定の範囲内にあれば、前記四角形の画像が存在すると判断する工程であることを特徴とする画像処理方法。
18. 請求項１１から１７のいずれかに記載の画像処理方法において、
    前記撮像画像の中心を算出する中心算出工程と
    前記中心算出工程で算出した撮像画像の中心と前記重心算出工程で算出した連結画素の重心との距離を算出する距離算出工程とをさらに備え、
    前記判断工程は、
    前記距離算出工程で算出した距離が所定の範囲内にあれば、前記四角形の画像が存在すると判断する工程であることを特徴とする画像処理方法。
19. 請求項１８に記載の画像処理方法において、
    前記重心算出工程は、
    前記連結画素の各画素の配置状態を含めて前記重心を算出する工程であり、
    前記距離算出工程は、
    前記中心算出工程で算出した撮像画像の中心と前記重心算出工程で各画素の配置状態を含めて算出した連結画素の重心との距離を算出する工程であり、
    前記判断工程は、
    前記距離算出工程で算出した距離が所定の範囲内にあれば、前記四角形の画像が存在すると判断する工程であることを特徴とする画像処理方法。
20. 請求項１１から１９のいずれかに記載の画像処理方法において、
    前記撮像画像は、
    四角形の撮像対象領域と、
    前記撮像対象領域の外縁に形成された黒色又はカラーの第１枠と、
    前記第１枠の外縁に形成された余白による第２枠とを備えた印刷物又は画像を撮像した画像であることを特徴とする画像処理方法。