JP2014178721A - 画像照合システム及び画像照合方法 - Google Patents

Abstract

【課題】高速な照合を行うとともに、大規模な照合データベースを利用することを可能とする。
【解決手段】通信端末は、画像データと複数の第１の照合データの各々とを照合する。通信端末は、画像データと一致する第１の照合データが存在すると判定された場合、当該第１の照合データに基づいてアクションを実行する。通信端末は、画像データと一致する第１の照合データが存在しないと判定された場合、その旨をサーバ装置に通知する。サーバ装置は、画像データと複数の第２の照合データの各々とを照合する。サーバ装置は、画像データと一致する第１の照合データが存在しない旨が通知された場合であって、画像データと一致する第２の照合データが存在すると判定された場合、当該第２の照合データを通信端末に送信する。通信端末は、第２の照合データに基づいてアクションを実行する。
【選択図】図６

Description

本発明は、画像照合システム及び画像照合方法に関する。

近年では、例えばサーバ装置と通信可能に接続された通信端末に搭載されているカメラによって撮像された画像データ（被照合データ）を照合データベース（ＤＢ）に格納されているデータと照合し、当該照合結果に応じて各種サービスを提供する（アクションを実行する）ようなシステム（以下、画像照合システムと表記）が知られている。

このような画像照合システムにおいては、以下に説明する２つの画像照合形式（端末照合形式及びサーバ照合形式）のいずれかが選択されるのが一般的である。

まず、端末照合形式は、通信端末が照合データベースを有し、当該通信端末内で照合を行う形式である。この端末照合形式によれば、通信端末に搭載されているカメラによって撮像された画像データを当該通信端末内で照合することが可能であるため、高速に照合を行うことができるという利点がある。

一方、サーバ照合形式は、サーバ装置が照合データベースを有し、当該サーバ装置内で照合を行う形式である。このサーバ照合形式によれば、大規模な照合データベースを用いて照合を行うことができるという利点がある。

特開２００４−０２１６１５号公報

しかしながら、上記した端末照合形式では、サーバ装置と比較すると、通信端末における記憶容量等に制限があるため、大規模な照合データベースを利用して照合を行うことは困難である。例えば小規模の照合データベースを利用する場合、大規模の照合データベースを利用した場合と比較するとデータ量が少ないため照合できないことが多く、適切なサービスを提供することができない場合がある。

一方、サーバ照合形式では、通信端末に搭載されているカメラによって撮像された画像データをサーバ装置に送信する必要があるため、端末照合形式と比較すると、高速な照合を行うことができない。

そこで、本発明の目的は、高速な照合を行うとともに、大規模な照合データベースを利用することが可能な画像照合システム及び画像照合方法を提供することにある。

本発明の１つの態様によれば、通信端末と、当該通信端末と通信可能に接続されるサーバ装置とを備える画像照合システムにおいて、前記通信端末は、画像データを取得する画像取得手段と、画像データと照合するための複数の第１の照合データを格納する第１のデータベースと、前記取得された画像データと前記第１のデータベースに格納されている複数の第１の照合データの各々とを照合し、当該複数の第１の照合データの中に当該画像データと一致する第１の照合データが存在するかを判定する第１の判定手段と、前記画像データと一致する第１の照合データが存在すると前記第１の判定手段によって判定された場合、当該第１の照合データに基づいてアクションを実行するアクション実行手段と、前記画像データと一致する第１の照合データが存在しないと前記第１の判定手段によって判定された場合、当該画像データと一致する第１の照合データが存在しない旨を前記サーバ装置に通知する通知手段とを含み、前記サーバ装置は、画像データと照合するための前記複数の第１の照合データと当該複数の第１の照合データとは異なる照合データとを含む複数の第２の照合データを格納する第２のデータベースと、前記取得された画像データと前記第２のデータベースに格納されている複数の第２の照合データの各々とを照合し、当該複数の第２の照合データの中に当該画像データと一致する第２の照合データが存在するかを判定する第２の判定手段と、前記画像データと一致する第１の照合データが存在しない旨が通知された場合であって、前記画像データと一致する第２の照合データが存在すると前記第２の判定手段によって判定された場合、当該第２の照合データを前記通信端末に送信する第２の送信手段とを含み、前記アクション実行手段は、前記第２の送信手段によって第２の照合データが送信された場合、当該第２の照合データに基づいてアクションを実行することを特徴とする画像照合システムが提供される。

また、本発明の１つの態様によれば、画像データと照合するための複数の第１の照合データを格納する第１のデータベースを有する通信端末と、当該通信端末と通信可能に接続され、画像データと照合するための前記複数の第１の照合データと当該複数の第１の照合データとは異なる照合データとを含む複数の第２の照合データを格納する第２のデータベースを有するサーバ装置とを備える画像照合システムが実行する画像照合方法であって、前記通信端末が、画像データを取得するステップと、前記通信端末が、前記取得された画像データと前記第１のデータベースに格納されている複数の第１の照合データの各々とを照合し、当該複数の第１の照合データの中に当該画像データと一致する第１の照合データが存在するかを判定するステップと、前記通信端末が、前記画像データと一致する第１の照合データが存在すると判定された場合、当該第１の照合データに基づいてアクションを実行するステップと、前記通信端末が、前記画像データと一致する第１の照合データが存在しないと判定された場合、当該画像データと一致する第１の照合データが存在しない旨を前記サーバ装置に通知するステップと、前記サーバ装置が、前記取得された画像データと前記第２のデータベースに格納されている複数の第２の照合データの各々とを照合し、当該複数の第２の照合データの中に当該画像データと一致する第２の照合データが存在するかを判定するステップと、前記サーバ装置が、前記画像データと一致する第１の照合データが存在しない旨が通知された場合であって、前記画像データと一致する第２の照合データが存在すると判定された場合、当該第２の照合データを前記通信端末に送信するステップと、前記通信端末が、前記第２の照合データが送信された場合、当該第２の照合データに基づいてアクションを実行するステップとを具備することを特徴とする画像照合方法が提供される。

本発明は、高速な照合を行うとともに、大規模な照合データベースを利用することを可能とする。

本発明の実施形態に係る画像照合システムのハードウェア構成を示すブロック図。 図１に示す通信端末１０の主として機能構成を示すブロック図。 図２に示す照合データベース１１に格納される照合データのデータ構造の一例を示す図。 図１に示すサーバ装置２０の主として機能構成を示すブロック図。 図４に示す照合データベース２１に格納される照合データのデータ構造の一例を示す図。 本実施形態に係る画像照合システムに含まれる通信端末１０によって実行される端末照合処理の処理手順を示すフローチャート。 図６に示す照合ＤＢ更新処理の処理手順を示すフローチャート。 本実施形態に係る画像照合システムに含まれるサーバ装置２０によって実行されるサーバ照合処理の処理手順を示すフローチャート。 本実施形態において実行されるアクションの具体例について説明するためのシーケンスチャート。 サーバ装置２０が有するアクション情報データベースに格納されているアクション情報野データ構造について具体的に説明するための図。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本実施形態に係る画像照合システムのハードウェア構成を示すブロック図である。図１に示すように、画像照合システムは、通信端末１０及びサーバ装置２０を含む。

通信端末１０は、ユーザによって利用される例えば携帯端末等であり、画像（データ）を撮像することが可能なカメラを備えているものとする。

サーバ装置２０は、例えばインターネットのようなネットワーク３０を介して、通信端末１０と通信可能に接続される。

本実施形態においては、通信端末１０に備えられるカメラによって撮像された画像データを後述する照合データと照合し、当該照合結果に応じて各種サービスを提供するためのアクションを実行する機能を有する。

図２は、図１に示す通信端末１０の主として機能構成を示すブロック図である。図２に示すように、通信端末１０は、照合データベース（第１のデータベース）１１、更新処理部１２、画像データ取得部１３、特徴点データ生成部１４、照合処理部１５、照合結果通知部１６及びアクション実行部１７を含む。

なお、通信端末１０は、各機能を実現するためのハードウェア構成、またはハードウェアとソフトウェアとの組み合わせ構成として実現されている。ソフトウェアは、予め記憶媒体またはネットワーク３０からインストールされ、その機能を実現させるためのプログラムからなる。

照合データベース１１には、通信端末１０に備えられるカメラによって撮像された画像データと照合するための複数の照合データ（第１の照合データ）が格納される。照合データベース１１には、それぞれ異なる画像（データ）に対応する照合データが格納される。具体的には、照合データベース１１に格納される照合データの各々には、それぞれ異なる画像（データ）の特徴を表す特徴点からなる特徴点データ及び当該特徴点データを識別するための特徴点データＩＤが含まれる。

更新処理部１２は、後述するサーバ装置２０に含まれる照合データベースを参照して、照合データベース１１（に格納されている複数の照合データ）を更新する機能を有する。

画像データ取得部１３は、例えば通信端末１０に備えられるカメラによって撮像された画像データを取得する。

特徴点データ生成部１４は、画像データ取得部１３によって取得された画像データの特徴を表す特徴点からなる特徴点データを生成する。なお、特徴点データ生成部１４によって生成された特徴点データは、サーバ装置２０に送信される。

照合処理部１５は、特徴点データ生成部１４によって生成された特徴点データに基づいて、画像データ取得部１３によって取得された画像データと照合データベース１１に格納されている照合データの各々とを照合する。この場合、照合処理部１５は、照合データベース１１に格納されている複数の照合データの中に、画像データ取得部１３によって取得された画像データと一致する照合データが存在するか否かを判定する。より具体的には、照合処理部１５は、照合データベース１１に格納されている複数の照合データの中に、特徴点データ生成部１４によって生成された特徴点データと一致する特徴点データを含む照合データが存在するか否かを判定する。

照合結果通知部１６は、照合処理部１５による照合の結果をサーバ装置２０に通知する。具体的には、照合結果通知部１６は、照合成功通知または照合失敗通知をサーバ装置２０に送信する。なお、照合成功通知とは、照合データベース１１に格納されている複数の照合データの中に、画像データ取得部１３によって取得された画像データと一致する照合データが存在する旨の通知である。一方、照合失敗通知とは、照合データベース１１に格納されている複数の照合データの中に、画像データ取得部１３によって取得された画像データと一致する照合データが存在する旨の通知である。

アクション実行部１７は、画像データ取得部１３によって取得された画像データと一致する照合データが存在すると照合処理部１５によって判定された場合、当該照合データに基づいて所定のアクションを実行する。

また、アクション実行部１７は、画像データ取得部１３によって取得された画像データと一致する照合データが存在しないと照合処理部１５によって判定された場合、後述するようにサーバ装置２０によって送信される照合データに基づいて所定のアクションを実行する。

ここで、図３は、図２に示す照合データベース１１に格納される照合データのデータ構造の一例を示す。

図３に示すように、照合データベース１１に格納される照合データの各々には、特徴点データ及び特徴点データＩＤが対応づけて含まれる。特徴点データは、画像データの特徴を表す特徴点からなるデータである。特徴点データＩＤは、対応づけられている特徴点データを識別するための識別子である。

図３に示す例では、照合データには、特徴点データ「特徴点データ１」及び特徴点データＩＤ「１」が対応づけて含まれている。これによれば、画像の特徴を表す特徴点からなる特徴点データ「特徴点データ１」を識別するための特徴点データＩＤが「１」であることが示されている。

また、照合データには、特徴点データ「特徴点データ２」及び特徴点データＩＤ「２」が対応づけて含まれている。これによれば、画像の特徴を表す特徴点からなる特徴点データ「特徴点データ２」を識別するための特徴点データＩＤが「２」であることが示されている。

このように、照合データベース１１には、例えばそれぞれ異なる画像（特徴点データ）毎に、照合データが格納されている。

図４は、図１に示すサーバ装置２０の主として機能構成を示すブロック図である。図４に示すように、サーバ装置２０は、照合データベース（第２のデータベース）２１、照合処理部２２、照合頻度集計部２３及び照合結果応答部２４を含む。

なお、サーバ装置２０は、各機能を実現するためのハードウェア構成、またはハードウェアとソフトウェアとの組み合わせ構成として実現されている。ソフトウェアは、予め記憶媒体またはネットワーク３０からインストールされ、その機能を実現させるためのプログラムからなる。

照合データベース２１には、通信端末１０に備えられるカメラによって撮像された画像データと照合するための照合データ（第２の照合データ）が予め格納されている。この照合データベース２１は、上記した通信端末１０に含まれる照合データベース１１と比較してより大規模なデータベースである。照合データベース２１に格納されている照合データには、通信端末１０に含まれる照合データベース１１に格納されている複数の照合データと当該照合データとは異なる照合データとを含む複数の照合データ（つまり、照合データベース１１に格納されている複数の照合データを包含する複数の照合データ）が格納されている。なお、照合データベース２１に格納される照合データの各々には、それぞれ異なる画像（データ）の特徴を表す特徴点からなる特徴点データ、当該特徴点データを識別するための特徴点データＩＤ及び後述する頻度データを含む。

照合処理部２２は、通信端末１０によって送信された特徴点データに基づいて、上記した通信端末１０において取得された画像データ（通信端末１０に含まれる画像データ取得部１３によって取得された画像データ）と照合データベース２１に格納されている照合データの各々とを照合する。この場合、照合処理部２２は、照合データベース２１に格納されている複数の照合データの中に、通信端末１０において取得された画像データと一致する照合データが存在するか否かを判定する。より具体的には、照合処理部２２は、照合データベース２１に格納されている照合データの中に、通信端末１０によって送信された特徴点データと一致する特徴点データを含む照合データが存在するか否かを判定する。

照合頻度集計部２３は、照合データベース２１に格納されている照合データ毎に、照合処理部２２による照合の結果、通信端末１０において取得された画像データと一致した頻度（を示す頻度データ）を集計する機能を有する。

照合結果応答部２４は、通信端末１０（に含まれる照合結果通知部１６）によって送信された照合成功通知または照合失敗通知を受信する。照合結果応答部２４は、照合失敗通知が受信された場合、照合処理部２２による照合結果を通信端末１０に対して送信する。なお、照合データベース２１に格納されている複数の照合データの中に通信端末１０において取得された画像データと一致する照合データが存在すると照合処理部２２によって判定された場合、照合結果応答部２４は、当該照合データを照合結果として送信する。

ここで、図５は、図４に示す照合データベース２１に格納される照合データのデータ構造の一例を示す。

図５に示すように、照合データベース２１に格納される照合データの各々には、特徴点データ、特徴点データＩＤ及び頻度データが対応づけて含まれる。特徴点データは、画像データの特徴を表す特徴点からなるデータである。特徴点データＩＤは、対応づけられている特徴点データを識別するための識別子である。頻度データは、対応づけられている特徴点データが通信端末１０において取得された画像データと一致した頻度（回数）を示す。

図５に示す例では、照合データには、特徴点データ「特徴点データ１」、特徴点データＩＤ「１」及び頻度データ「頻度１」が対応づけて含まれている。これによれば、画像の特徴を表す特徴点からなる特徴点データ「特徴点データ１」を識別するための特徴点データＩＤが「１」であり、当該特徴点データ「特徴点データ１」が通信端末１０において取得された画像データと頻度データ「頻度１」によって示される頻度で一致していることが示されている。

また、照合データには、特徴点データ「特徴点データ２」、特徴点データＩＤ「２」及び頻度データ「頻度２」が対応づけて含まれている。これによれば、画像の特徴を表す特徴点からなる特徴点データ「特徴点データ２」を識別するための特徴点データＩＤが「２」であり、当該特徴点データ「特徴点データ２」が通信端末１０において取得された画像データと頻度データ「頻度１」によって示される頻度で一致していることが示されている。

このように、照合データベース２１には、それぞれ異なる画像（特徴点データ）毎に、照合データが格納されている。

なお、照合データベース２１は上述したように通信端末１０に含まれる照合データベース１１と比較して大規模なデータベースであり、当該照合データベース２１には、照合データベース１１に格納されている照合データを包含する複数の照合データが格納されている。

次に、本実施形態に係る画像照合システムの動作について説明する。本実施形態においては、通信端末１０側で画像照合処理（以下、端末照合処理と表記）が実行される一方で、サーバ装置２０側でも画像照合処理（以下、サーバ照合処理と表記）が実行される。以下、端末照合処理及びサーバ照合処理について詳細に説明する。

まず、図６のフローチャートを参照して、本実施形態に係る画像照合システムに含まれる通信端末１０によって実行される端末照合処理の処理手順について説明する。

本実施形態において、通信端末１０を利用するユーザは、当該通信端末１０を操作することによってカメラを起動することができる（ステップＳ１）。これにより、通信端末１０においてはカメラモードがオンに設定される。

このように通信端末１０においてカメラモードがオンに設定された場合、通信端末１０に含まれる更新処理部１２は、サーバ装置２０に含まれる照合データベース２１を参照することによって、照合データベース１１（に格納されている照合データ）を更新する処理（以下、照合ＤＢ更新処理と表記）を実行する。この照合ＤＢ更新処理の詳細については後述する。

ここで、通信端末１０を利用するユーザは、通信端末１０に備えられているカメラによって画像を撮影する操作を行うことができる。画像データ取得部１３は、このようなユーザの操作に応じてカメラによって撮像された画像データを取得する（ステップＳ３）。

ここでは、カメラによって撮像された画像データが取得されるものとして説明したが、例えば通信端末１０内に予め格納されている画像データ等が画像データ取得部１３によって取得されても構わない。

以下、画像データ取得部１３によって取得された画像データを便宜的に対象画像データと称する。

次に、特徴点データ生成部１４は、対象画像データから当該対象画像データの特徴を表す特徴点を抽出し、当該抽出された特徴点からなる特徴点データを生成する（ステップＳ４）。

ここで、特徴点データ生成部１４によって生成された特徴点データ（以下、対象画像データの特徴点データと表記）は、サーバ装置２０に送信される。このように対象画像データの特徴点データが送信されると、サーバ装置２０では、後述するサーバ照合処理が実行される。

次に、照合処理部１５は、対象画像データと照合データベース１１に格納されている照合データの各々とに対して照合処理を実行する（ステップＳ６）。この場合、照合処理部１５は、対象画像データの特徴点データと照合データベース１１に格納されている各照合データに含まれる特徴点データとを比較する。

ここで、照合処理部１５は、ステップＳ６における照合結果に基づいて、照合データベース１１に格納されている複数の照合データの中に、対象画像データの特徴点データと一致する特徴点データを含む照合データ（以下、一致照合データと表記）が存在するか否かを判定する（ステップＳ７）。

一致照合データが存在すると判定された場合（ステップＳ７のＹＥＳ）、照合結果通知部１６は、当該一致照合データが存在する旨の通知（照合成功通知）をサーバ装置２０に対して送信する（ステップＳ８）。

次に、アクション実行部１７は、一致照合データに基づいて、通信端末１０を利用するユーザに対して各種サービスを提供するためのアクションを実行する（ステップＳ９）。なお、本実施形態において、ユーザに対して各種サービスを提供するためのアクションには様々なものが含まれるが、当該アクションの具体例については後述する。

一方、一致照合データが存在しないと判定された場合（ステップＳ７のＮＯ）、照合結果通知部１６は、１０は、当該一致照合データが存在しない旨の通知（照合失敗通知）をサーバ装置２０に対して送信する（ステップＳ１０）。これにより、照合結果通知部１６は、サーバ装置２０に対して当該サーバ装置２０における照合結果の回答を要請する。

次に、通信端末１０は、サーバ装置２０によって送信された照合結果を受信する（ステップＳ１１）。サーバ装置２０に含まれる照合データベース２２に格納されている複数の照合データの中に対象画像データの特徴点データと一致する特徴点データを含む照合データ（つまり、一致照合データ）が存在する場合には、通信端末１０は、サーバ装置２０における照合結果として当該一致照合データを受信する。

このようにサーバ装置２０における照合結果として一致照合データが受信された場合には、アクション実行部１７は、当該受信された一致照合データに基づいて上記したステップＳ９の処理を実行する。

ここでは、サーバ装置２０に含まれる照合データベース２２に格納されている複数の照合データの中に一致照合データが存在する場合について説明したが、当該一致照合データが存在しない場合、例えば予め定められたアクション（照合が失敗した場合のアクション）が実行される。この場合、例えば通信端末１０において照合が失敗した旨が表示されてもよいし、ステップＳ６以降の処理が再度実行されるようにしてもよい。なお、ステップＳ７においては一致照合画像が存在するか否かを判定するものとして説明したが、照合が失敗したことによってステップＳ６以降の処理が再度実行される場合には、当該ステップＳ７において対象画像データの特徴点データに類似する特徴点データを含む照合データが存在するか否かが判定されても構わない。また、この場合における類似範囲は適宜設定されているものとし、その詳細な説明について省略する。

ここで、図７のフローチャートを参照して、上述した照合ＤＢ更新処理（図６に示すステップＳ２の処理）の処理手順について説明する。なお、照合ＤＢ更新処理は、上述したように通信端末１０においてカメラモードがオンに設定された場合に更新処理部１２によって実行される処理である。

まず、更新処理部１２は、サーバ装置２０に含まれる照合データベース２１にアクセスし、当該照合データベース２１に格納されている照合データの各々に含まれる特徴点データＩＤ及び頻度データを取得する（ステップＳ２１）。

次に、更新処理部１２は、取得された頻度データによって示される頻度が上位ｎ個の特徴点データＩＤを特定する（ステップＳ２２）。ここで、ｎは、画像照合システムにおいて予め定められた数（整数）であるものとする。

更新処理部１２は、特定された特徴点データＩＤ及び通信端末１０に含まれる照合データベース１１に格納されている複数の照合データに基づいて差分となる特徴点データＩＤを特定する（ステップＳ２３）。この場合、更新処理部１２は、特定された特徴点データＩＤのうち、照合データベース１１に格納されている照合データに含まれていない特徴点データＩＤを差分となる特徴点データＩＤとして特定する。

更新処理部１２は、サーバ装置２０に含まれる照合データベース２１に格納されている照合データにおいて差分となる特徴点データＩＤに対応づけられている特徴点データ（つまり、差分となる特徴点データ）を取得する（ステップＳ２４）。

次に、更新処理部１２は、上記したように特定された差分となる特徴点データＩＤ及び取得された差分となる特徴点データを対応づけて含む照合データを照合データベース１１に格納することによって、当該照合データベース１１を更新する（ステップＳ２５）。この場合、照合データベース１１に格納されている照合データのうち、上記したステップＳ２２において特定された特徴点データＩＤを含まない照合データは、当該照合データベース１１から削除される。

本実施形態においては、上述した照合ＤＢ更新処理が実行されることにより、通信端末１０に含まれる照合データベース１１には、カメラモードがオンに設定される度に（つまり、画像データの照合が行われる際に）、サーバ装置２０に含まれる照合データベース２１に格納されている照合データのうち、頻度データによって示される頻度が上位の予め定められた数（例えば、ｎ個）の照合データが格納される。これにより、本実施形態においては、通信端末１０に含まれる照合データベース１１には、過去にユーザによって撮影された（カメラによって撮像された）画像データとの一致頻度が高い照合データ（つまり、利用頻度の高い照合データ）が格納された状態とすることが可能となる。つまり、本実施形態においては、通信端末１０に含まれる照合データベース１１には照合頻度の高い照合データ（サーバ装置２０に含まれる照合データベース２１の部分データ）が格納されるため、当該照合データベース１１は、照合データベース２１のキャッシュとして機能する。

次に、図８のフローチャートを参照して、本実施形態に係る画像照合システムに含まれるサーバ装置２０によって実行されるサーバ照合処理の処理手順について説明する。上述したように、サーバ照合処理は、対象画像データの特徴点データが通信端末１０によって送信された際に実行される。

まず、サーバ装置２０に含まれる照合処理部２２は、通信端末１０によって送信された対象画像データの特徴点データを受信する（ステップＳ３１）。

次に、照合処理部２２は、受信された対象画像データと照合データベース２１に格納されている照合データの各々とに対して照合処理を実行する（ステップＳ３２）。この場合、照合処理部２２は、対象画像データの特徴点データと照合データベース２１に格納されている各照合データに含まれる特徴点データとを比較する。

なお、照合処理部２２による照合結果は、例えばサーバ装置２０の内部に保持される（ステップＳ３３）。

ここで、照合処理部２２は、ステップＳ２２における照合結果に基づいて、照合データベース２１に格納されている複数の照合データの中に、対象画像データの特徴点データと一致する特徴点データを含む照合データ（一致照合データ）が存在するか否かを判定する（ステップＳ３４）。

一致照合データが存在すると判定された場合（ステップＳ３４のＹＥＳ）、照合頻度集計部２３は、当該一致照合データに含まれる頻度データによって示される頻度を更新する（ステップＳ３５）。具体的には、照合頻度集計部２３は、一致照合データに含まれる頻度データによって示される頻度（つまり、画像データと一致した回数）に１を加算する。

一方、一致照合データが存在しないと判定された場合（ステップＳ３４のＮＯ）、ステップＳ３５の処理は実行されない。

ここで、照合結果応答部２４は、上述した図６に示すステップＳ８において送信された照合成功通知またはステップＳ１０において送信された照合失敗通知を受信する。

照合結果応答部２４によって照合成功通知が受信された場合（ステップＳ３６のＹＥＳ）、照合結果応答部２４は、上記したステップＳ２３において保持された照合結果を破棄する（ステップＳ３７）。

一方、照合結果応答部２４によって照合失敗通知が受信された場合（ステップＳ３６のＮＯ）、照合結果応答部２４は、上記したステップＳ３３において保持された照合結果を通信端末１０に対して送信する（ステップＳ３８）。

なお、上記した一致照合データが存在する場合、一致照合データ（特徴点データ及び特徴点ＩＤ）が照合結果として通信端末１０に送信される。一方、一致照合データが存在しない場合、その旨を示す通知（照合失敗通知）が照合結果として通信端末１０に送信される。

本実施形態においては、上述した端末照合処理と並行してサーバ照合処理が実行されることにより、照合データベース２１に格納されている照合データに含まれる頻度データを更新することができるとともに、通信端末１０によって照合失敗通知が送信された場合にサーバ装置２０に含まれる大規模な照合データベース２１を用いた照合結果を当該通信端末１０に送信することができる。

次に、図９のシーケンスチャートを参照して、本実施形態において実行されるアクションの具体例について説明する。ここでは、通信端末１０を利用するユーザに対して各種サービスを提供するためのアクションとして、カメラによって撮像された画像データ（つまり、ユーザによって撮影された画像）に関連する関連データを通信端末１０に表示する場合について説明する。

この場合、サーバ装置２０は、通信端末１０が上記したアクションを実行する際に用いられる情報（以下、アクション情報）が予め格納されたアクション情報データベースを有するものとする。このアクション情報データベース２５に格納されているアクション情報においては、照合データベース１１及び２１に格納されている照合データ（第１及び第２の照合データ）の各々と当該照合データと一致する画像データに関連する関連データとが対応づけられている。

ここで、図１０を参照して、サーバ装置２０が有するアクション情報データベースに格納されているアクション情報のデータ構造について具体的に説明する。図１０に示すように、アクション情報データベースに格納されているアクション情報には、特徴点データＩＤ及びＵＲＬ（Uniform Resource Locator）が対応づけて含まれる。このアクション情報に含まれるＵＲＬは、対応づけられている特徴点データＩＤによって識別される特徴点データと特徴点（データ）が一致する画像データに関連する関連データを表示するためのＵＲＬである。

図１０に示す例では、アクション情報データベースに格納されているアクション情報には、特徴点データＩＤ「１」及びＵＲＬ「ＵＲＬ１」が対応づけて含まれている。このアクション情報によれば、特徴点データＩＤ「１」によって示される特徴点データと特徴点が一致する画像データに関する関連データを表示するためのＵＲＬが「ＵＲＬ１」であることが示されている。

また、アクション情報データベースに格納されているアクション情報には、特徴点データＩＤ「２」及びＵＲＬ「ＵＲＬ２」が対応づけて含まれている。このアクション情報によれば、特徴点データＩＤ「２」によって示される特徴点データと特徴点が一致する画像データに関する関連データを表示するためのＵＲＬが「ＵＲＬ２」であることが示されている。

このようにアクション情報データベースにおいては、特徴点データＩＤ及びＵＲＬを対応づけて含むアクション情報が格納されていることにより、上述した照合データ及び当該照合データと一致する画像データに関連する関連データが対応づけられている。

ここでは特徴点データＩＤ「１」及び「２」について説明したが、アクション情報データベース２５には、他の特徴点データＩＤについても同様にアクション情報が格納されている。

この場合、図９に示すように、アクション実行部１７は、前述した図６に示すステップＳ７において存在すると判定された一致照合データまたはステップＳ１１において照合結果として受信された一致照合データに含まれる特徴点データＩＤを取得する（ステップＳ４１）。

次に、アクション実行部１７は、取得された特徴点データＩＤをサーバ装置２０に対して送信する（ステップＳ４２）。

サーバ装置２０は、通信端末１０（に含まれるアクション実行部１７）によって送信された特徴点データＩＤを受信する。サーバ装置２０は、受信された特徴点データＩＤに対応づけてアクション情報に含まれるＵＲＬを取得する（ステップＳ４３）。

サーバ装置２０は、取得されたＵＲＬを通信端末１０に対して送信する（ステップＳ４４）。

通信端末１０に含まれるアクション実行部１７は、サーバ装置２０によって送信されたＵＲＬを受信する。アクション実行部１７は、受信されたＵＲＬ（検索サーバ等）にアクセスする（ステップＳ４５）。これにより、アクション実行部１７は、画像データ取得部１３によって取得された画像データ（つまり、ユーザによって撮影された画像）に関連する関連データ（例えば、各種コンテンツ等）を取得し、当該関連データを通信端末１０（の画面）に表示することができる。

なお、ここではユーザによって撮影された画像に関連する関連データを表示するアクションが実行されるものとして説明したが、当該画像の照合結果に基づいて実行されるものであれば、他のアクションが実行されても構わない。

また、図９においては、前述した図６に示すステップＳ１１において照合結果として受信された一致照合データに含まれる特徴点データＩＤをサーバ装置２０に送信し、当該特徴点データＩＤに対応づけてアクション情報に含まれるＵＲＬを通信端末１０が当該サーバ装置２０から受信するものとして図９において説明したが、当該ステップＳ１１において当該照合結果としてＵＲＬを受信する構成とすることも可能である。このような構成によれば、一致照合データをサーバ装置２０から通信端末１０に送信する処理及び当該一致照合データに含まれる特徴点データＩＤを通信端末１０からサーバ装置２０に送信する処理を省略することができるため、より高速な処理を実現することが可能となる。

また、特徴点データＩＤ及びＵＲＬを対応づけて含むアクション情報を格納するアクション情報データベースをサーバ装置２０が有するものとして説明したが、例えば通信端末１０に含まれる照合データベース１１に格納されている照合データに含まれる特徴点データＩＤに関するアクション情報については通信端末１０内に格納される構成とすることも可能である。このような構成によれば、アクションの実行時に通信端末１０及びサーバ装置２０間で通信を行う必要がないため、より高速にアクションを実行することが可能となる。

上記したように本実施形態においては、通信端末１０が、画像データを取得し、当該取得された画像データと照合データベース１１に格納されている複数の照合データ（第１の照合データ）の各々とを照合し、当該複数の第１の照合データの中に当該画像データと一致する第１の照合データが存在すると判定された場合、当該第１の照合データに基づいてアクションを実行し、当該複数の第１の照合データの中に当該画像データと一致する第１の照合データが存在しないと判定された場合、その旨をサーバ装置２０に通知し、サーバ装置２０が、通信端末１０において取得された画像データと照合データベース２１に格納されている複数の照合データ（第２の照合データ）の各々とを照合し、当該画像データと一致する第１の照合データが存在しない旨が通知された場合であって、複数の第２の照合データの中に当該画像データと一致する第２の照合データが存在すると判定された場合、当該第２の照合データを通信端末１０に送信する構成によって、通信端末１０において高速な照合を行うとともに、大規模な照合データベース２１を利用することが可能となる。

すなわち、本実施形態においては、通信端末１０内で画像データの照合を行うことで照合処理の高速性を維持し、当該通信端末１０内で照合が失敗した場合に、サーバ装置２０に含まれる照合データベース２１を利用して照合が行われることにより、通信端末１０内で照合を行う端末照合形式及びサーバ装置２０内で照合を行うサーバ照合形式の２つの画像照合形式を動的かつシームレスに機能させ、高速かつ大規模なデータベース照合を可能とする。

また、本実施形態においては、照合データベース１１に過去に取得された画像データと一致した頻度が上位の照合データが格納されることにより、通信端末１０（に含まれる照合データベース１１）内の照合データでの照合の失敗を低減することができるため、より高速な照合処理を維持することが可能となる。

また、本実施形態においては、通信端末１０に備えられるカメラが起動された際に照合データベース１１（に格納されているる照合データ）を更新することにより、当該照合データベース１１をユーザの使用状況に応じて常に最新の状態とすることができるため、より照合処理の高速性を維持することが可能となる。

なお、上記した実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。

更に、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であってもよい。

なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。

また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。

１０…通信端末、１１…照合データベース（第１のデータベース）、１２…更新処理部、１３…画像データ取得部、１４…特徴点データ生成部、１５…照合処理部、１６…照合結果通知部、１７…アクション実行部、２０…サーバ装置、２１…照合データベース（第２のデータベース）、２２…照合処理部、２３…照合頻度集計部、２４…照合結果応答部。

Claims (6)

1. 通信端末と、当該通信端末と通信可能に接続されるサーバ装置とを備える画像照合システムにおいて、
   前記通信端末は、
   画像データを取得する画像取得手段と、
   画像データと照合するための複数の第１の照合データを格納する第１のデータベースと、
   前記取得された画像データと前記第１のデータベースに格納されている複数の第１の照合データの各々とを照合し、当該複数の第１の照合データの中に当該画像データと一致する第１の照合データが存在するかを判定する第１の判定手段と、
   前記画像データと一致する第１の照合データが存在すると前記第１の判定手段によって判定された場合、当該第１の照合データに基づいてアクションを実行するアクション実行手段と、
   前記画像データと一致する第１の照合データが存在しないと前記第１の判定手段によって判定された場合、当該画像データと一致する第１の照合データが存在しない旨を前記サーバ装置に通知する通知手段と
   を含み、
   前記サーバ装置は、
   画像データと照合するための前記複数の第１の照合データと当該複数の第１の照合データとは異なる照合データとを含む複数の第２の照合データを格納する第２のデータベースと、
   前記取得された画像データと前記第２のデータベースに格納されている複数の第２の照合データの各々とを照合し、当該複数の第２の照合データの中に当該画像データと一致する第２の照合データが存在するかを判定する第２の判定手段と、
   前記画像データと一致する第１の照合データが存在しない旨が通知された場合であって、前記画像データと一致する第２の照合データが存在すると前記第２の判定手段によって判定された場合、当該第２の照合データを前記通信端末に送信する第２の送信手段と
   を含み、
   前記アクション実行手段は、前記第２の送信手段によって第２の照合データが送信された場合、当該第２の照合データに基づいてアクションを実行する
   ことを特徴とする画像照合システム。
2. 前記第２のデータベースに格納される第２の照合データ各々は、当該第２の照合データが前記取得された画像データと一致した頻度を示す頻度データを含み、
   前記第１のデータベースは、前記第２のデータベースに格納されている複数の第２の照合データのうち、前記頻度データによって示される頻度が上位の予め定められた数の第２の照合データを前記複数の第１の照合データとして格納する
   ことを特徴とする請求項１記載の画像照合システム。
3. 前記通信端末は、
   前記頻度データによって示される頻度が上位の第２の照合データであって予め定められた数の第２の照合データのうち、前記第１の照合データとして前記第１のデータベースに格納されていない第２の照合データを取得する照合データ取得手段と、
   前記照合データ取得手段によって取得された第２の照合データに基づいて、前記第１のデータベースに格納されている第１の照合データを更新する更新手段と
   を更に含む
   ことを特徴とする請求項２記載の画像照合システム。
4. 前記通信端末は、画像データを撮像するためのカメラを備え、
   前記画像取得手段は、前記カメラによって撮像された画像データを取得し、
   前記照合データ取得手段は、前記カメラが起動された際に前記第２の照合データを取得する
   ことを特徴とする請求項３記載の画像照合システム。
5. 前記第１のデータベースに格納されている第１の照合データの各々は、当該第１の照合データと一致する画像データに関連する関連データと対応づけられており、
   前記第２のデータベースに格納されている第２の照合データの各々は、当該第２の照合データと一致する画像データに関連する関連データと対応づけられており、
   前記アクション実行手段は、
   前記画像データと一致する第１の照合データが存在すると前記第１の判定手段によって判定された場合、当該第１の照合データに対応づけられている関連データを前記通信端末に表示する第１の表示手段と、
   前記第２の送信手段によって第２の照合データが送信された場合、当該第２の照合データに対応づけられている関連データを前記通信端末に表示する第２の表示手段と
   を含む
   ことを特徴とする請求項１記載の画像照合システム。
6. 画像データと照合するための複数の第１の照合データを格納する第１のデータベースを有する通信端末と、当該通信端末と通信可能に接続され、画像データと照合するための前記複数の第１の照合データと当該複数の第１の照合データとは異なる照合データとを含む複数の第２の照合データを格納する第２のデータベースを有するサーバ装置とを備える画像照合システムが実行する画像照合方法であって、
   前記通信端末が、画像データを取得するステップと、
   前記通信端末が、前記取得された画像データと前記第１のデータベースに格納されている複数の第１の照合データの各々とを照合し、当該複数の第１の照合データの中に当該画像データと一致する第１の照合データが存在するかを判定するステップと、
   前記通信端末が、前記画像データと一致する第１の照合データが存在すると判定された場合、当該第１の照合データに基づいてアクションを実行するステップと、
   前記通信端末が、前記画像データと一致する第１の照合データが存在しないと判定された場合、当該画像データと一致する第１の照合データが存在しない旨を前記サーバ装置に通知するステップと、
   前記サーバ装置が、前記取得された画像データと前記第２のデータベースに格納されている複数の第２の照合データの各々とを照合し、当該複数の第２の照合データの中に当該画像データと一致する第２の照合データが存在するかを判定するステップと、
   前記サーバ装置が、前記画像データと一致する第１の照合データが存在しない旨が通知された場合であって、前記画像データと一致する第２の照合データが存在すると判定された場合、当該第２の照合データを前記通信端末に送信するステップと、
   前記通信端末が、前記第２の照合データが送信された場合、当該第２の照合データに基づいてアクションを実行するステップと
   を具備することを特徴とする画像照合方法。

Images