JP2016048515A - 画像管理装置及び画像管理方法 - Google Patents

Abstract

【課題】画像認識に用いられる画像ＤＢを自動で構築する技術を提供する。
【解決手段】画像管理装置（１００）は、画像データ及び入力文字列を取得する取得部（１０１）と、画像データの比較により、上記取得された画像データ及び他の画像データを画像グループにグルーピングするグルーピング部（１０２）と、その画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、その画像グループの名称文字列を決定する名称決定部（１０３）と、画像グループの情報及び名称文字列を画像格納部に格納する格納処理部（１０４）と、を有する。
【選択図】図８

Description

本発明は、画像認識に用いられる画像データを管理する技術に関する。

画像から人物や物体等を認識する技術が様々な分野で利用されている。このような画像認識技術では、認識対象の画像モデルの特徴情報又はその画像自体を格納する画像データベースを利用して、撮像された画像から人物や物体が特定される。

下記特許文献１で提案されている物体認識方法は、ゾーン毎に設けられた複数の物体モデルＤＢ（Database）を用いる。この方法は、取得された位置情報に対応するゾーンの物体モデルＤＢを選択し、その選択されたＤＢに記憶されている各物体の特徴点と、撮影された画像データから抽出された特徴点とを照合し、特徴点が最も類似していると判断される物体に関する情報を提示する。この方法によれば、位置に応じた物体モデルＤＢを利用することで、少ない容量の物体モデルＤＢで精度よく物体認識を行うことができる。

特開２０１１−２４２８６１号公報

上述のような画像認識技術において、認識率を上げ照合精度を向上させるためには、画像ＤＢ（物体モデルＤＢ）の質が重要となる。特に、一般物体認識のような、様々な環境で撮像された画像から対象を認識する技術では、認識対象の様々な見え方に対応する特徴情報又は画像が当該画像ＤＢに格納されていることが望まれる。

本発明は、このような事情に鑑みて、画像認識に用いられる画像ＤＢを自動で構築する技術を提供する。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の側面は、画像管理装置に関する。第一の側面に係る画像管理装置は、画像データ及び入力文字列を取得する取得手段と、画像データの比較により、上記取得された画像データ及び他の画像データを画像グループにグルーピングするグルーピング手段と、その画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、その画像グループの名称文字列を決定する名称決定手段と、画像グループの情報及び名称文字列を画像格納部に格納する格納処理手段と、を有する。

第二の側面は、少なくとも１つのコンピュータにより実行される画像管理方法に関する。第二の側面に係る画像管理方法は、画像データ及び入力文字列を取得し、画像データの比較により、上記取得された画像データ及び他の画像データを画像グループにグルーピングし、その画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、その画像グループの名称文字列を決定し、画像グループの情報及び名称文字列を画像格納部に格納する、ことを含む。

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、画像認識に用いられる画像ＤＢを自動で構築する技術を提供することができる。

第一実施形態における画像管理装置のハードウェア構成を概念的に示す図である。 ユーザ端末装置に表示される入力画面の例を示す図である。 第一実施形態における画像管理装置の処理構成例を概念的に示す図である。 画像データベースに含まれるテーブルの例を示す図である。 第一実施形態における画像管理装置の動作例を示すフローチャートである。 第二実施形態における画像管理装置の処理構成例を概念的に示す図である。 第二実施形態における画像管理装置の動作例を示すフローチャートである。 第三実施形態における画像管理装置の処理構成例を概念的に示す図である。 第三実施形態における画像管理装置の動作例を示すフローチャートである。

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

［第一実施形態］
以下、第一実施形態における画像管理装置及び画像管理方法について複数の図面を用いて説明する。

〔装置構成〕
図１は、第一実施形態における画像管理装置１のハードウェア構成を概念的に示す図である。画像管理装置１は、以降、管理装置１と略称する場合がある。図１に示されるように、管理装置１は、いわゆるコンピュータであり、図１に示されるように、バスで相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、入出力インタフェース（Ｉ／Ｆ）４、通信ユニット５等を有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

入出力Ｉ／Ｆ４は、表示装置６、入力装置７等のユーザインタフェース装置と接続可能である。表示装置６は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ２やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。入力装置７は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。

通信ユニット５は、ユーザ端末装置９等の他のコンピュータとの通信網８を介した通信や、他の機器との信号のやりとり等を行う。通信ユニット５には、可搬型記録媒体等も接続され得る。通信網８は、携帯電話回線網、Ｗｉ−Ｆｉ（Wireless Fidelity）回線網、インターネット通信網、専用回線網、ＬＡＮ（Local Area Network）等の組み合わせにより形成される。管理装置１と各ユーザ端末装置９との間の通信形態は制限されない。

管理装置１は、図１に図示しないハードウェア要素を含んでもよい。また、管理装置１は、表示装置６及び入力装置７を有していなくてもよい。管理装置１のハードウェア構成は制限されない。

ユーザ端末装置９は、ＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末等のような一般的なコンピュータである。ユーザ端末装置９は、以降、端末装置９と略称される場合もある。端末装置９は、管理装置１と同様のハードウェア構成を有する。端末装置９は、入力装置７としてタッチセンサを有し、このタッチセンサ及び表示装置６がタッチパネルユニットとして実現されてもよい。また、端末装置９は、内蔵カメラ（図示せず）を有してもよい。端末装置９のハードウェア構成についても制限されない。

端末装置９は、その内蔵カメラにより撮像された画像を管理装置１に送る。端末装置９は、通信ユニット５を介して可搬型記録媒体又は他のコンピュータから当該画像を取得し、この画像を管理装置１に送ることもできる。更に、端末装置９は、当該画像に関連してユーザにより入力された文字列を管理装置１に送る。端末装置９は、表示装置６に表示される入力画面に対する入力装置７を用いたユーザ操作を検出することにより、ユーザ入力文字列を取得することができる。その入力画面は、端末装置９上で実行されるアプリケーションにより提供されてもよいし、管理装置１等のような他のサーバ装置から提供されてもよい。

各端末装置９から管理装置１に送信される各画像には、画像認識の対象となり得る認識対象がそれぞれ写ることが望ましい。当該画像に基づいて、画像認識に用いられる画像データベース（ＤＢ）が構築されるからである。但し、当該画像には、画像認識の対象となり得る対象が写っていなくてもよい。画像認識の対象となり得る認識対象は、人を含む視認可能なあらゆる物体であり、山、海、川等の風景も含む。本実施形態は、周知の画像認識技術により認識可能なものであれば、当該認識対象を制限しない。

図２は、端末装置９に表示される入力画面の例を示す図である。図２の例では、端末装置９に格納される画像毎に、その画像の撮像時刻及び撮像場所の表示エリア及び文字の入力エリアが表示されている。具体的には、画像Ｐ１に対して、撮像時刻を表示するエリアＴ１、撮像場所を表示するエリアＬ１及び入力エリアＤ１が表示され、画像Ｐ２に対して、撮像時刻を表示するエリアＴ２、撮像場所を表示するエリアＬ２及び入力エリアＤ２が表示されている。例えば、ユーザは、入力エリアＤ１に画像Ｐ１を用いた日記やつぶやき等を入力し、入力エリアＤ２に画像Ｐ２を用いた日記やつぶやき等を入力する。端末装置９は、画像Ｐ１及び入力エリアＤ１に入力された文字列を管理装置１に送信し、画像Ｐ２及び入力エリアＤ２に入力された文字列を管理装置１に送信する。

管理装置１は、各端末装置９からそれぞれ送られる画像及び文字列を取得し、これらのデータを用いて、画像認識に用いられる画像データベース（ＤＢ）を構築する。

更に、管理装置１は、各端末装置９からそれぞれ送られる画像及び文字列を、端末装置９のユーザ毎に、掲示する情報掲示サービスを提供する。具体的には、管理装置１は、ユーザ毎にそのユーザの端末装置９から送信された画像及び文字列が並ぶ画面を生成し、要求するユーザにその画面を提供する。これにより、画像及びそれに関して入力した文章がブログのように掲示されるため、各端末装置９のユーザに、画像を撮像し、その画像に関し文章を入力することを促進させる。

〔処理構成〕
図３は、第一実施形態における管理装置１の処理構成例を概念的に示す図である。管理装置１は、図３に示されるように、取得部１１、抽出部１２、グルーピング部１３、名称決定部１４、格納処理部１５、画像データベース（ＤＢ）１６等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット５を介してインストールされ、メモリ３に格納されてもよい。

取得部１１は、各端末装置９から画像及びその画像に関連してユーザにより入力された文字列をそれぞれ取得する。取得される文字列は、英数字やかな文字や漢字、各種記号などの文字の集合である。また、取得部１１は、多言語をサポートすることもできる。この場合、取得部１１は、当該文字列と共に、その文字列の言語を指定する言語指定情報を更に取得する。更に、取得部１１は、特定の文字列に予め対応付けられた画像が取得された場合には、その画像を変換して得られる文字列を他の文字列と共に取得することもできる。以降、取得部１１により取得される文字列を「入力文字列」と表記する。

抽出部１２は、取得部１１により取得された入力文字列から少なくとも１つの名詞文字列を抽出する。例えば、抽出部１２は、周知のテキストマイニング技術を用いて、当該入力文字列から名詞文字列を抽出する。多言語がサポートされている場合、抽出部１２は、当該入力文字列に対して、言語指定情報により示される言語を主設定言語に翻訳する翻訳処理（機械翻訳）を実行する。この翻訳処理には、ルールベース翻訳手法、統計ベース翻訳手法等のような周知の翻訳技術が利用されればよい。主設定言語は、予め管理装置１に設定され、各画像グループに設定される名称文字列は、この主設定言語の文字列とされる。但し、主設定言語は複数の言語であってもよい。

更に、抽出部１２は、取得部１１により取得された画像から特徴情報を抽出する。画像から抽出される特徴情報は、画像毎の特徴を示す情報である。例えば、特徴情報は、特徴点（キーポイント）及びその特徴点周辺の特徴量により表される。特徴量は、色、形状、輝度値、テクスチャ（空間変化パターン）等のような特徴要素を数値化したものである。但し、特徴情報はこのような例に制限されない。また、画像からその特徴情報を抽出する手法には、周知の様々な手法が利用可能である。

グルーピング部１３は、取得部１１により取得された複数の画像を複数の画像グループにグルーピングする。概念的には、グルーピング部１３は、同一の認識対象を表す画像が同一の画像グループに属するように、当該画像をグルーピングする。具体的には、グルーピング部１３は、取得部１１により取得された画像から抽出部１２により抽出された特徴情報が一致又は近似する画像を同一の画像グループにグルーピングする。特徴情報間の一致又は近似の判定は、例えば、特徴情報間の類似度の計算により行われる。この類似度には、ユークリッド距離、ベクトル間距離、ヒストグラム間の一致度合、相関係数等、様々な指標値が利用される。

グルーピング部１３は、既にグルーピングされた画像グループの情報を用いることなく、画像ＤＢ１６にデータが格納される全ての画像を対象にグルーピングを実施することができる。また、グルーピング部１３は、既にグルーピングされた画像グループの情報を用いて、取得部１１により取得された画像を既存のいずれか１つの画像グループ又は新たな画像グループに割り当てることもできる。例えば、グルーピング部１３は、既存の各画像グループに関し代表的な特徴情報をそれぞれ抽出し、各画像グループの代表的な特徴情報及び未だグルーピングされていない画像の特徴情報と、取得された画像の特徴情報との類似度をそれぞれ算出する。画像グループの代表的な特徴情報には、例えば、画像グループ内の各画像の特徴情報を特徴空間にマッピングした場合の重心位置や各特徴情報の統計値等が利用される。グルーピング部１３は、所定閾値以上の類似度を示しかつ最大の類似度を示す特徴情報を持つ画像又は画像グループとその取得された画像とをグルーピングする。

グルーピング部１３は、特徴情報の比較では、画像のグルーピング相手を未グルーピング状態の１つの画像又は１つの画像グループに絞り込めない場合、その画像に対応する名詞文字列を更に用いて、その画像のグルーピング相手を決定することもできる。これは、その特徴情報と対象画像の特徴情報との類似度が所定閾値以上でありかつ同程度である画像又は画像グループが複数存在する場合、若しくは、そのような画像及び画像グループの両方が存在する場合に該当する。この場合、グルーピング部１３は、特徴情報の比較により絞り込んだ、複数の画像、複数の画像グループ、又は、画像及び画像グループの中から、対象画像に対応する名詞文字列と同じ名詞文字列又は名称文字列を有する画像又は画像グループとその対象画像とをグルーピングする。

また、その特徴情報が対象画像の特徴情報と所定閾値以上の類似度を示す画像又は画像グループが存在しない場合、グルーピング部１３は、その対象画像をどの画像グループにも所属させないことを決定する。その対象画像は、後に取得される画像とグルーピングされるかもしれないし、どの画像ともグルーピングされずに残る可能性もある。どの画像ともグルーピングされずに残る画像は、画像認識に用いられない画像として管理装置１により保持されてもよいし、所定期間経過後、削除されてもよい。このように、本実施形態によれば、各端末装置９から送信される画像が画像認識に用いるものとそうでないものとに区別される。よって、本実施形態によれば、各端末装置９から送信される画像に制約を設けず、ユーザに、特に意識させることなく、画像を撮像しその画像に関する文章を入力させることができる。

グルーピング部１３は、既にグルーピングされた画像グループの情報を用いる場合、画像データの比較を行うことなく、対象の画像データを或る画像グループに割り当てることもできる。画像に関しユーザにより入力された文字列にはその画像内の認識対象の名称が含まれる可能性が高い。そこで、グルーピング部１３は、取得部１１により取得された入力文字列に、既にグルーピングされている対象画像グループの名称文字列が含まれるか否かを判定する。入力文字列に名称文字列が含まれる場合、その入力文字列に対応する画像には、その名称文字列により示される認識対象が写っている可能性が高い。これにより、グルーピング部１３は、この判定結果に基づいて、画像データの比較を行うことなく、取得部１１により取得された画像を、同様に取得された入力文字列に含まれる名称文字列を有する画像グループに割り当てる。

このように、画像に関してユーザにより入力された文字列を優先的に用いて、画像の所属先を決定することで、画像データの比較に伴う処理負荷を軽減することができる。このグルーピング手法では、画像グループに対して決定されている名称文字列がその画像グループの各画像により表される認識対象に適切に対応していることが望まれる。そこで、グルーピング部１３は、既にグルーピングされている複数の画像グループの中の、その画像グループの名称文字列が、その画像グループに属する各画像に対応する各入力文字列に含まれる度合が、所定閾値を超える画像グループを、上記対象画像グループとして用いる。同一画像グループに属する各画像に対応する各入力文字列にその画像グループの名称文字列がそれぞれ含まれる場合、その画像グループに属する各画像には、その名称文字列に対応する対象がそれぞれ写っている可能性が高い。即ち、名称文字列が各入力文字列に含まれる度合が高い画像グループには、適切に名称文字列が付与されていると考えられる。グルーピング部１３は、このような画像グループに制限して、画像データの比較を行わない上記グルーピング手法を用いることで、処理負荷の低減と共に、高い精度で画像のグルーピングを行うことができる。上記所定閾値は、例えば、８０％以上の値に設定され、グルーピング部１３により予め保持される。

名称決定部１４は、画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、当該画像グループの各画像により表される認識対象の名称文字列を決定する。１つの画像グループに対して複数の名称文字列が決定されてもよい。例えば、名称決定部１４は、同一画像グループに属する画像間で、対応する入力文字列から抽出された名詞文字列を比較して、多数決方式で、各画像に関し最頻出の名詞文字列をその画像グループの名称文字列に決定する。この場合、以下の例において、名称決定部１４は、最頻出の「お好み焼き」を画像グループ５の名称文字列に決定する。以下の例では、画像グループ５の画像により表される認識対象が「お好み焼き」であり、画像データ５−２に対応する文字列には「お好み焼き」が含まれていない。
画像グループ５；画像データ５−１；「浅草」、「お好み焼き」
画像グループ５；画像データ５−２；「道頓堀」、「行列」、「店」
画像グループ５；画像データ５−３；「大阪」、「お好み焼き」
画像グループ５；画像データ５−４；「広島」、「お好み焼き」
画像グループ５；画像データ５−５；「関西」、「お好み焼き」

但し、複数の入力文字列から画像グループの名称文字列を決定する方法は、上述のような方法のみに制限されない。また、各画像に「お好み焼き」が写っていたとしても、ユーザによれば、「お好みやき」、「おこのみやき」、「おこのみ焼き」、「お好み焼」等のように、異なる文字列が入力される可能性がある。そこで、名称決定部１４は、名詞文字列間で同義語判定を更に行うようにしてもよい。

画像ＤＢ１６は、画像又はその画像から抽出された特徴情報、画像グループの所属画像情報及び画像グループの名称文字列を格納する。更に、画像ＤＢ１６は、画像そのもの又は画像の特徴情報と、各画像に対応する入力文字列又は名詞文字列とを対応付けて更に格納することもできる。

図４は、画像ＤＢ１６に含まれるテーブルの例を示す図である。図４に示されるテーブルには、画像毎に、画像グループを識別するグループＩＤ、名称文字列、その画像を識別する画像ＩＤ及びその画像に対応する名詞文字列が格納される。どの画像グループにも属さない（未だグルーピングされていない）画像については、グループＩＤフィールドには「０」又は「値無し（ＮＵＬＬ）」が設定される。図４に示されるテーブルには、画像又はその特徴情報は格納されておらず、画像ＤＢ１６に含まれる他のテーブルに、画像ＩＤと、画像又はその特徴情報との対応関係が格納される。また、各画像に対応する名詞文字列も当該他のテーブルに格納されてもよい。画像ＤＢ１６に格納される名詞文字列の数も制限されない。また、画像ＤＢ１６には名詞文字列に代えて又はと共に取得部１１により取得された入力文字列が格納されてもよい。画像ＤＢ１６の構成は図４の例に制限されない。

格納処理部１５は、取得部１１により取得された画像又はその画像から抽出された特徴情報を、対応する入力文字列又はその入力文字列から抽出される名詞文字列と共に、画像ＤＢ１６に格納する。更に、格納処理部１５は、グルーピング部１３により決定された画像グループの所属画像情報及び名称決定部１４により決定された名称文字列を画像ＤＢ１６に格納する。画像グループに対して複数の名称文字列が決定された場合には、格納処理部１５は、画像グループの情報と複数の名称文字列とを対応付けて画像ＤＢ１６に格納する。また、主設定言語が多言語化されている場合には、格納処理部１５は、画像グループの情報と複数の言語の名称文字列とを対応付けて画像ＤＢ１６に格納する。格納処理部１５は、どの画像グループにも所属させないと決定された画像については、その画像又はその特徴情報をどの画像グループにも属さないことを示す情報と共に画像ＤＢ１６に格納する。

格納処理部１５は、任意のタイミングで、画像ＤＢ１６に格納されるデータの中の画像認識に用いられるデータを、画像認識処理を行う他の装置（図示せず）へ送信してもよいし、可搬型記録媒体に格納してもよい。図４の例によれば、例えば、グループＩＤ及び名称文字列と、画像ＩＤに紐付けられる画像そのもの又はその画像の特徴情報とが、画像認識に用いられるデータとして、送信又は格納される。但し、格納処理部１５はそのようなデータの送信や格納をせず、画像認識処理を行う他の装置が、任意のタイミングで、画像ＤＢ１６から必要なデータを抽出するか、画像ＤＢ１６を参照するようにしてもよい。また、画像認識処理は、管理装置１自身により実行されてもよい。

〔動作例／画像管理方法〕
以下、第一実施形態における画像管理方法について図５を用いて説明する。図５は、第一実施形態における管理装置１の動作例を示すフローチャートである。図５に示されるように、第一実施形態における画像管理方法は、管理装置１のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、管理装置１が有する各処理部により実行される。各工程は、管理装置１が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。

管理装置１は、各端末装置９から画像及びその画像に関しユーザにより入力された文字列をそれぞれ取得する（Ｓ５１）。ここで、画像ＤＢ１６には、複数の画像に関するデータ及び画像グループに関する情報が格納されているものと仮定する。

管理装置１は、（Ｓ５１）で取得された文字列に対してテキストマイニングを行い、名詞文字列を抽出する（Ｓ５２）。（Ｓ５１）で取得された文字列が主設定言語でない場合、管理装置１は、その文字列に対して主設定言語への翻訳処理を実行することもできる。
更に、管理装置１は、（Ｓ５１）で取得された画像から特徴情報を抽出する（Ｓ５３）。
テキストマイニング処理、翻訳処理、画像からの特徴情報の抽出処理には、周知の技術が利用される。

管理装置１は、画像ＤＢ１６を参照して、対象画像グループが存在するか否かを判定する（Ｓ５４）。対象画像グループは、既にグルーピングされている複数の画像グループの中の、その画像グループの名称文字列が、その画像グループに属する各画像に対応する各入力文字列に含まれる度合が、所定閾値を超える画像グループである。

対象画像グループが存在する場合には（Ｓ５４；ＹＥＳ）、管理装置１は、対象画像グループに対して決定されている名称文字列の中で、（Ｓ５２）で抽出された名詞文字列と同じ（類似する）ものが存在するか否かを更に判定する（Ｓ５５）。名詞文字列と同じ名称文字列が存在する場合（Ｓ５５；ＹＥＳ）、管理装置１は、（Ｓ５１）で取得された画像を、その名称文字列を有する対象画像グループに割り当てる（Ｓ５６）。このとき、管理装置１は、（Ｓ５３）で抽出された特徴情報を用いた比較を行わず、当該画像の所属先を決定することができる。この場合、その対象画像グループの名称文字列はそのまま維持される。

管理装置１は、対象画像グループが存在しない場合（Ｓ５４；ＮＯ）、又は、対象画像グループが存在しかつ名詞文字列と同じ名称文字列が存在しない場合（Ｓ５４；ＹＥＳ、Ｓ５５；ＮＯ）、（Ｓ５３）で抽出された特徴情報を用いた特徴情報の比較により、（Ｓ５１）で取得された画像をグルーピングする（Ｓ５７）。例えば、管理装置１は、既存の各画像グループの代表的な特徴情報と（Ｓ５３）で抽出された特徴情報とを比較し、更に、未だグルーピングされていない画像の特徴情報と（Ｓ５３）で抽出された特徴情報とを比較する。管理装置１は、当該比較の結果として、所定閾値以上かつ最大の類似度を示す特徴情報を持つ画像又は画像グループに、（Ｓ５１）で取得された画像をグルーピングする。このとき、管理装置１は、特徴情報の比較では、画像のグルーピング相手を１つの未グルーピング状態の画像又は１つの画像グループに絞り込めない場合、その画像に対応する名詞文字列を更に用いて、その画像のグルーピング相手を決定する。この名詞文字列を用いたグルーピング相手の決定手法については上述したとおりである。また、所定閾値以上の類似度を示す特徴情報を持つ画像又は画像グループが存在しない場合、管理装置１は、（Ｓ５１）で取得された画像をその画像グループにも所属させないことを決定する。

管理装置１は、（Ｓ５７）で画像の所属先に決定された画像グループの名称文字列を決定する（Ｓ５８）。管理装置１は、その画像グループに新たな画像が加わったことに伴い、必要に応じて、その画像グループに対して既に決定されている名称文字列を変更する。（Ｓ５２）で抽出された名詞文字列の中に、既に決定されている名称文字列と同じ（類似する）ものが存在する場合には、その名称文字列が維持されればよい。存在しない場合、管理装置１は、その画像グループに属する複数の画像に対応する複数の名詞文字列を用いて、その画像グループの名称文字列を決定し直す。

管理装置１は、（Ｓ５６）又は（Ｓ５７）によるグルーピングの結果を示す画像グループの情報及び（Ｓ５８）で決定された名称文字列を画像ＤＢ１６に格納する（Ｓ５９）。（Ｓ５６）で当該画像が対象画像グループに割り当てられた場合には、対象画像グループに対して既に決定されている名称文字列がそのまま維持される。このとき、管理装置１は、（Ｓ５７）でどの画像グループにも所属させないと決定された画像については、その画像又は特徴情報を、どの画像グループにも属さないことを示す情報と共に、画像ＤＢ１６に格納する。

図５には、既にグルーピングされている画像グループの情報を用いて、各端末装置９から取得された画像毎にグルーピングする方法が例示された。管理装置１は、既にグルーピングされている画像グループの情報を消去して、各端末装置９から取得された全ての画像（画像ＤＢ１６に格納される全ての画像）に対してグルーピングし直すこともできる。この場合には、管理装置１は、（Ｓ５４）、（Ｓ５５）及び（Ｓ５６）を実行せず、各画像の特徴情報を用いて、全画像をグルーピングする（Ｓ５７）。特徴情報を用いた画像のグルーピングには、周知の様々なクラスタリング技術が利用され得る。

また、図５では、複数の工程（処理）が順番に表されているが、第一実施形態で実行される工程及びその工程の実行順序は、図５の例のみに限定されない。例えば、（Ｓ５３）は、（Ｓ５７）の直前に実行し、（Ｓ５４；ＹＥＳ）かつ（Ｓ５５；ＹＥＳ）の場合には、実行されなくてもよい。また、（Ｓ５２）及び（Ｓ５３）は、並列に、又は、逆の順番で実行されてもよい。

〔第一実施形態における作用及び効果〕
上述したように第一実施形態では、画像及びその画像に関してユーザにより入力された文字列が各端末装置９から管理装置１に送られる。管理装置１では、その画像から抽出される特徴情報を用いて、その画像が他の画像と共にグルーピングされる。更に、入力文字列から名詞文字列が抽出され、同一画像グループに属する複数画像に対応する複数の名詞文字列の中の少なくとも１つがその画像グループの名称文字列に決定される。画像グループの情報及び画像グループに関して決定された名称文字列は画像ＤＢ１６に格納される。

このように、第一実施形態では、各端末装置９からそれぞれ送られる画像及び入力文字列に基づいて、画像グループと名称文字列との組み合わせが自動で画像ＤＢ１６に格納される。画像グループは、特徴情報が同一又は近似する画像により形成されるため、その画像グループの各画像には同じ認識対象が写っている可能性が高い。更に、その画像グループに対して決定される名称文字列は、その画像グループに属する各画像に関してユーザにより入力された文字列から抽出及び選別された代表的な文字列である。よって、画像グループの名称文字列は、画像グループに属する各画像内の認識対象を識別し得る文字列である可能性が高い。

つまり、第一実施形態によれば、各認識対象について、複数の画像とその認識対象を表す名称文字列との組み合わせをそれぞれ画像ＤＢ１６に自動で格納することができる。従って、第一実施形態によれば、画像認識に用いられる画像ＤＢを自動で構築することができる。１つの認識対象について複数のタイプの画像を格納することで、その認識対象の認識率を上げることができる。第一実施形態によれば、多数の端末装置９から様々な撮像方法で撮像された画像及び文字列を収集することができるため、画像認識にとって高精度な画像ＤＢ（物体モデルＤＢ）を構築することができる。第一実施形態により構築された画像ＤＢを画像認識に用いることで、照合精度を向上させることができる。

更に、第一実施形態では、既にグルーピングされている画像グループの名称文字列とその画像グループに属する各画像に対応する入力文字列（名詞文字列）との関係、及び、取得された入力文字列に基づいて、画像又はその特徴情報の比較を行うことなく、画像が対象画像グループに割り当てられる。これにより、画像又は特徴情報の比較に伴う処理負荷を軽減することができる。更に、名称文字列が、所属する各画像の入力文字列に含まれる度合が高い、画像グループが、画像又は特徴情報の比較を行わないグルーピング手法の対象（対象画像グループ）とされる。これにより、画像又は特徴情報の比較を行わなくとも、高い精度で画像のグルーピングを行うことができる。

また、第一実施形態では、画像又は特徴情報を補完して、入力文字列及び名詞文字列を更に用いて、画像のグルーピング相手を決定することもできる。画像に対応する入力文字列もその画像内の認識対象を識別し得る名称を含む可能性が高いため、同一画像グループに属する各画像内の認証対象の統一性をより向上させることができ、結果、画像認識にとって高精度な画像ＤＢ（物体モデルＤＢ）を構築することができる。

［第一実施形態の変形例］
上述したように、管理装置１（グルーピング部１３）は、各端末装置９から取得された全ての画像（画像ＤＢ１６に格納される全ての画像）に対してグルーピングし直すことができる。このような再グルーピングを、格納される画像数や所定時間間隔などに基づいて、定期的に実行することで、その都度、画像グループを最適化することができる。画像グループの最適化とは、画像グループの各画像により表される認識対象が１つに統一され、その認識対象を示す正しい名称文字列がその画像グループに対して決定されることを意味する。

このような画像グループの最適化のために、グルーピング部１３は、更に、次のような処理を行うこともできる。即ち、グルーピング部１３は、画像ＤＢ１６に情報が格納される画像グループの中の、所属する画像の数が所定閾値を超える画像グループから、その画像グループの名称文字列を含まない入力文字列に対応する画像を除外する。上述したとおり、入力文字列には、対応する画像内の認識対象の名称が含まれる可能性が高い。更に、画像グループの名称文字列は、画像グループの各画像内の認識対象を示す可能性が高い。よって、対応する入力文字列に画像グループの名称文字列が含まれない画像は、その画像グループに属する他の画像内の認識対象を示すか否か不明であり、当該他の画像よりもその認識対象を示さない可能性が高い。画像グループに属する画像の数が多い程、その画像グループの名称文字列の精度は高くなるため、所属する画像数が所定閾値を超える画像グループを対象に、上述のような画像の除外が行われることが望ましい。

グルーピング部１３は、或る画像グループから除外された画像については、再度、グルーピングを行えばよい。これにより、その除外された画像は、最適な画像グループに属することになる。従って、本変形例によれば、画像グループを最適化することができ、画像ＤＢ１６の精度を向上させることができる。

［第二実施形態］
以下、第二実施形態における画像管理装置及び画像管理方法について複数の図面を用いて説明する。第二実施形態は、入力文字列に加えて、画像の撮像環境情報を更に用いる。以下、第二実施形態について、第一実施形態と異なる内容を中心に説明し、第一実施形態と同様の内容については適宜省略する。

端末装置９は、画像と共に、その画像に対応する撮像環境情報を更に取得する。撮像環境情報は、その画像を撮像した場所や時間等に関する情報である。例えば、撮像環境情報は、撮像時刻、撮像位置、撮像された場所における気温、湿度、天候、明るさ、匂い等の情報の少なくとも１つを示す。本実施形態では、撮像環境情報の具体的内容を制限しない。撮像時刻は、その画像を撮像したカメラ又はそのカメラを有する装置に内蔵される時計により計測可能である。撮像位置は、搭載されるＧＰＳ（Global Positioning System）受信機で受信されたＧＰＳ信号により計測可能である。他の種の情報についても、各種センサにより計測可能であり、また、計測された位置情報等に基づいてＷＥＢサービスから取得することも可能である。例えば、気温、湿度、天候等は、計測された位置情報に基づいて、天気情報を提供するＷＥＢサービスから取得可能である。端末装置９は、取得された撮像環境情報を、画像及び入力文字列と共に、管理装置１に送信する。

〔処理構成〕
図６は、第二実施形態における管理装置１の処理構成例を概念的に示す図である。管理装置１は、第一実施形態の構成に加えて、属性決定部１８を更に有する。属性決定部１８についても他の処理部と同様に実現される。

取得部１１は、各端末装置９から画像に対応する撮像環境情報をそれぞれ更に取得する。

属性決定部１８は、画像グループに属する各画像に対応する撮像環境情報を用いて、画像グループの付加情報を決定する。例えば、属性決定部１８は、同一画像グループに属する画像間で、対応する撮像環境情報を比較して、多数決方式で、各画像に関し最頻出の撮像環境情報をその画像グループの付加情報に決定する。撮像環境情報として撮像位置が取得されている場合、属性決定部１８は、各撮像位置に対応する店舗をそれぞれ特定し、各画像に関し最頻出の店舗の名称をその画像グループの付加情報として決定する。属性決定部１８は、緯度及び経度で示される位置情報が撮像環境情報として取得されている場合、その位置情報を住所情報に変換し、各画像の住所情報から抽出される１つの住所情報をその画像グループの付加情報として決定することもできる。各画像グループに関し、時間、位置、気温等、複数種の情報が付加情報として決定されてもよい。属性決定部１８により決定される各画像グループの付加情報は、グルーピング部１３によるグルーピングの際に、画像の特徴情報及び入力文字列を補完する情報として利用される。

格納処理部１５は、各画像グループに関し、属性決定部１８により決定された付加情報をそれぞれ画像ＤＢ１６に更に格納する。これにより、画像ＤＢ１６は、各画像グループに関し、所属画像情報、名称文字列及び付加情報をそれぞれ格納する。格納処理部１５は、各画像について取得された環境属性情報も合わせて画像ＤＢ１６に格納することもできる。これにより、画像ＤＢ１６は、画像又はその特徴情報と入力文字列と環境属性情報とを対応付けて格納する。

グルーピング部１３は、取得部１１により取得された撮像環境情報を更に用いて、その撮像環境情報に対応する画像をグルーピングすることもできる。グルーピング部１３は、特徴情報の比較では、画像のグルーピング相手を１つの未グルーピング状態の画像又は１つの画像グループに絞り込めない場合、その画像に対応する名詞文字列及び撮像環境情報を更に用いて、その画像のグルーピング相手を決定することもできる。この場合、グルーピング部１３は、特徴情報の比較により絞り込んだ、複数の画像、複数の画像グループ、又は、画像及び画像グループの中から、対象画像に対応する撮像環境情報と同じ撮像環境情報又は付加情報を有する画像又は画像グループとその対象画像とをグルーピングする。例えば、グルーピング部１３は、対象画像に対応する名詞文字列と同じ名詞文字列又は名称文字列を有しかつ対象画像に対応する撮像環境情報と同じ撮像環境情報又は付加情報を有する画像又は画像グループを最優先にグルーピング相手に決定する。名詞文字列と撮像環境情報との優先度は任意である。

〔動作例／画像管理方法〕
以下、第二実施形態における画像管理方法について図７を用いて説明する。図７は、第二実施形態における管理装置１の動作例を示すフローチャートである。第二実施形態における画像管理方法の実行主体は第一実施形態と同様である。図７で示される各工程は、管理装置１が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。

管理装置１は、各端末装置９から画像、その画像に関しユーザにより入力された文字列及び撮像環境情報をそれぞれ取得する（Ｓ７１）。
（Ｓ７２）、（Ｓ７３）、（Ｓ７４）、（Ｓ７５）及び（Ｓ７６）は、第一実施形態と同様である。即ち、それら各工程は、図５に示される（Ｓ５２）、（Ｓ５３）、（Ｓ５４）、（Ｓ５５）及び（Ｓ５６）と同様である。

管理装置１は、（Ｓ７３）で抽出された特徴情報を用いた特徴情報の比較により、（Ｓ７１）で取得された画像をグルーピングする（Ｓ７７）。このとき、管理装置１は、特徴情報の比較では、画像のグルーピング相手を１つの未グルーピング状態の画像又は１つの画像グループに絞り込めない場合、その画像に対応する名詞文字列及び撮像環境情報を更に用いて、その画像のグルーピング相手を決定する。名詞文字列及び撮像環境情報を用いたグルーピング相手の決定手法については上述したとおりである。また、所定閾値以上の類似度を示す特徴情報を持つ画像又は画像グループが存在しない場合、管理装置１は、（Ｓ７１）で取得された画像を未グルーピング状態とする。

管理装置１は、第一実施形態における（Ｓ５８）（図５参照）と同様に、（Ｓ７８）を実行する。

更に、管理装置１は、画像グループに属する各画像に対応する撮像環境情報を用いて、画像グループの付加情報を決定する（Ｓ７９）。例えば、管理装置１は、同一画像グループに属する画像間で、対応する撮像環境情報を比較して、多数決方式で、各画像に関し最頻出の撮像環境情報をその画像グループの付加情報に決定する。

管理装置１は、（Ｓ７６）又は（Ｓ７７）によるグルーピングの結果を示す画像グループの情報、（Ｓ７８）で決定された名称文字列及び（Ｓ７９）で決定された付加情報を画像ＤＢ１６に格納する（Ｓ７９）。（Ｓ７６）で当該画像が対象画像グループに割り当てられた場合には、対象画像グループに対して既に決定されている名称文字列及び付加情報がそのまま維持される。

〔第二実施形態における作用及び効果〕
上述のように、第二実施形態では、画像及び入力文字列と共に撮像環境情報が取得され、画像グループに所属する各画像に対応する撮像環境情報からその画像グループの付加情報が決定される。第二実施形態では、画像の特徴情報及び入力文字列に加えて、その画像の撮像環境情報を更に用いて、その画像のグルーピング相手が決められる。このように、第二実施形態によれば、画像の特徴情報を補完して付加情報及び撮像環境情報が利用されるため、同一画像グループに属する各画像内の認証対象の統一性をより向上させることができる。言い換えれば、第二実施形態によれば、画像認識にとって高精度な画像ＤＢ（物体モデルＤＢ）を構築することができる。

［第三実施形態］
以下、第三実施形態における画像管理装置及び画像管理方法について複数の図面を用いて説明する。

図８は、第三実施形態における画像管理装置１００の処理構成例を概念的に示す図である。図８に示されるように、画像管理装置１００は、取得部１０１、グルーピング部１０２、名称決定部１０３及び格納処理部１０４を有する。図８に示される画像管理装置１００は、例えば、図１に示される上述の管理装置１と同様のハードウェア構成を有し、その管理装置１と同様にプログラムが処理されることで、上述の各処理部が実現される。

取得部１０１は、画像データ及び入力文字列を取得する。ここで、「画像データ」とは、画像に関するデータを意味し、画像そのもの又はその画像から抽出される特徴情報に相当する。即ち、取得部１０１は、画像そのもの、特徴情報又はそれら両方を「画像データ」として取得する。取得部１０１は、上述の第一及び第二実施形態と同様に、各端末装置９から直接、画像データ及び入力文字列を取得してもよいし、他の装置からそれらを取得してもよい。例えば、取得部１０１は、ブログサービスやＳＮＳ（Social Networking Service）を提供する他の装置から、画像及び入力文字列を取得することができる。

取得部１０１は、画像を画像データとして取得した場合には、上述の各実施形態における抽出部１２と同様の処理を実行することで、その画像から特徴情報を取得することができる。また、取得部１０１は、他の装置に依頼して、その装置上で実現される抽出部１２により抽出された特徴情報を取得することもできる。取得部１０１は、特徴情報を画像データとして取得することもできる。

取得部１０１は、当該入力文字列として、画像データの画像に関連してユーザにより入力された文章全体又はその一部、若しくは、その文章から抽出された名詞文字列を取得する。取得部１０１は、文章全体又はその一部を入力文字列として取得した場合には、上述の各実施形態における抽出部１２と同様の処理を実行することで、その入力文字列から名詞文字列を抽出することができる。また、取得部１０１は、他の装置に依頼して、その装置上で実現される抽出部１２により抽出された名詞文字列を取得することもできる。このように、画像管理装置１００は、上述の各実施形態とは異なり、抽出部１２を有していなくてもよい。

グルーピング部１０２は、画像データの比較により、取得部１０１で取得された画像データ及び他の画像データを画像グループにグルーピングする。「画像データの比較」には、画像そのものを比較すること、及び、特徴情報を比較することが含まれる。画像データの比較において、上述の各実施形態と同様に、類似度が取得される。但し、画像データ間の類似度は、他の装置により算出され、グルーピング部１０２により取得されてもよい。グルーピング部１０２の具体的な処理内容は、上述のグルーピング部１３と同様である。

名称決定部１０３は、画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、画像グループの名称文字列を決定する。決定される名称文字列は、画像グループを特定し得る名称文字列であり、例えば、画像グループの各画像により表される認識対象の名称文字列である。名称決定部１０３の具体的処理内容は、上述の名称決定部１４と同様である。認識対象についても上述したとおりである。

格納処理部１０４は、画像グループの情報及び名称文字列を画像格納部に格納する。格納処理部１０４の具体的処理内容は、上述の格納処理部１５と同様である。また、画像格納部は、上述の画像ＤＢ１６と同様である。但し、この画像格納部は、画像管理装置１００上に実現されてもよいし、他の装置上に実現されてもよい。この画像格納部は、画像認識処理で直接参照されてもよい。

図９は、第三実施形態における画像管理装置１００の動作例を示すフローチャートである。図９に示されるように、第三実施形態における画像管理方法は、画像管理装置１００のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、画像管理装置１００が有する各処理部により実行される。図９で示される各工程は、画像管理装置１００が有する上述の各処理部の処理内容と同様であるため、各工程の詳細は、適宜省略される。

図９に示されるように、第三実施形態における画像管理方法は、（Ｓ９１）から（Ｓ９４）を含む。

（Ｓ９１）では、画像管理装置１００は、画像データ及び入力文字列を取得する。上述したとおり、（Ｓ９１）で最終的に取得される「画像データ」は、上述した通り、画像そのもの又はその画像の特徴情報若しくはそれら両方である。画像管理装置１００は、端末装置９やサーバ装置（図示せず）等の他の装置から画像そのものを受信した場合には、その画像から特徴情報を抽出することで、その特徴情報を「画像データ」として取得することができる。また、上述したとおり、（Ｓ９１）で最終的に取得される「入力文字列」は、画像に関連してユーザにより入力された文章全体又はその一部若しくはその文章から抽出される名詞文字列である。画像管理装置１００は、端末装置９やサーバ装置（図示せず）等の他の装置から文章全体の文字列を取得した場合には、その文章全体から名詞文字列を抽出することで、その名詞文字列を「入力文字列」として取得することができる。

（Ｓ９２）では、画像管理装置１００は、画像データの比較により、（Ｓ９１）で取得された画像データ及び他の画像データを画像グループにグルーピングする。（Ｓ９２）は、図５の（Ｓ５７）及び図７の（Ｓ７７）に相当する。
（Ｓ９３）では、画像管理装置１００は、画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、その画像グループの名称文字列を決定する。例えば、画像管理装置１００は、画像グループの各画像により表される認識対象の名称文字列を決定する。（Ｓ９３）は、図５の（Ｓ５８）及び図７の（Ｓ７８）に相当する。
（Ｓ９４）では、画像管理装置１００は、当該画像グループの情報及び名称文字列を画像格納部に格納する。（Ｓ９４）は、図５の（Ｓ５９）及び図７の（Ｓ８０）に相当する。

また、第三実施形態は、このような画像管理方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも１つのコンピュータが読み取り可能な記録媒体であってもよい。

第三実施形態によれば、上述の第一実施形態及び第二実施形態と同様の作用効果を得ることができる。

次のようなサービス形態によれば、各端末装置９のユーザにおける、画像に関連する文章を入力するモチベーションを一層向上させることができる。まず、サービス提供者は、各ユーザに、インターネット等の公衆網へアクセスするための携帯型無線ルータ（以降、無線ルータと略称する）を無料で貸し出す。無線ルータを用いた通信料も無料とする。加えて、サービス提供者は、その無線ルータを用いた公衆網へのアクセスを可能とするためのアプリケーションプログラムを無料で提供する。これにより、ユーザは、その貸し出された無線ルータを用いて、公衆網へ無料でアクセスするために、そのプログラムを自身の端末装置９にインストールする。そのプログラムは、次のような処理を各端末装置９にそれぞれ実行させる。

第一の処理は、通信接続の確立した任意の装置を公衆網にアクセス可能とする無線ルータと認証を行い、その端末装置９と当該無線ルータとの間で通信接続を確立する。
第二の処理は、格納部に格納される画像データの表示領域及びテキストの入力領域が並ぶ画面を端末装置９の表示部に表示させる。この格納部は、端末装置９の内部メモリ又は端末装置９に接続される可搬型記録媒体である。表示される画面は、例えば、図２に示される画面である。
第三の処理は、上記入力領域に入力された文字列及び上記入力領域に並んで表示された上記表示領域に表示される画像を、相互に関連付け可能な状態で、当該無線ルータを経由して、サーバ装置に送信する。このサーバ装置は、上述の管理装置１又は画像管理装置１００、若しくは、他の装置である。
第四の処理は、そのプログラムが起動されていないときに、端末装置９で実行される他のプログラムが当該無線ルータを経由する通信を行えないように、上記通信接続を切断する。当該他のプログラムが無線ルータを経由する通信を行えないようにするには、端末装置９のＯＳ（Operating System）やファームウェアが、無線ルータとの認証のための認証情報（パスワード等）を保持できないようにし、更に、その認証情報が表示されないようにする必要がある。

このようなプログラムがインストールされた端末装置９のユーザは、公衆網に無料でアクセスするために、そのプログラムを必ず起動することになる。プログラムが起動されると、格納部に格納される画像データの表示領域及びテキストの入力領域が並ぶ画面が表示されるようになる。これにより、端末装置９のユーザは、画像に関連する文章を入力する機会を簡単に得ることができる。

画像及び入力文字列が管理装置１又は画像管理装置１００以外の他の装置に送信された場合には、このプログラムは、送信されたこと及びそのユーザの識別情報（端末装置の識別情報でも可）を管理装置１又は画像管理装置１００に送るようにしてもよい。これにより、管理装置１又は画像管理装置１００は、その識別情報を用いて、他の装置に、画像及び入力文字列を要求することができる。また、プログラムは、他の装置に送られた画像及び入力文字列のコピーを生成し、そのコピーを管理装置１又は画像管理装置１００に送ることもできる。この場合には、コピーを送ることについてユーザから了承を受けるようにすればよい。更に、このプログラムによれば、端末装置９の内蔵カメラでの撮像を検知し、その検知のタイミングで撮像環境情報を取得することもできる。

外国人の旅行者は、日本に関して、言語が分からない、インターネットへアクセスできる場所が少ない、移動ルートが分かり難いといった不便さを抱いていることが知られている。よって、上述のようなサービス形態は、外国人の旅行者にとって、特に望ましいものとなる。更に、多くの外国人旅行者は、旅先の画像を他の者と共有したい願望を強く持つため、画像に関連する文章を入力するモチベーションはより強いはずである。従って、上述のサービス形態を外国人旅行者に提供することで、上述の各実施形態における管理装置１及び画像管理装置１００は、より多くの画像及び入力文字列を効率的に収集することができる。

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

上記の各実施形態及び各変形例の一部又は全部は、以下のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。

１． 画像データ及び入力文字列を取得する取得手段と、
画像データの比較により、前記取得された画像データ及び他の画像データを画像グループにグルーピングするグルーピング手段と、
前記画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、前記画像グループの名称文字列を決定する名称決定手段と、
前記画像グループの情報及び前記名称文字列を画像格納部に格納する格納処理手段と、
を備える画像管理装置。
２． 前記取得された入力文字列から少なくとも１つの名詞文字列を抽出する抽出手段、
を更に備え、
前記名称決定手段は、前記画像グループに属する複数の画像データに対応する複数の名詞文字列の中の少なくとも１つを前記名称文字列として決定する、
１．に記載の画像管理装置。
３． 前記グルーピング手段は、画像データの比較結果に加えて、前記取得された入力文字列を更に用いて、前記取得された画像データをグルーピングする、
１．又は２．に記載の画像管理装置。
４． 前記グルーピング手段は、画像データの比較結果を少なくとも用いて、前記取得された画像データをどの画像グループにも所属させないことを決定し、
前記格納処理手段は、前記取得された画像データをどの画像グループにも属さないことを示す情報と共に前記画像格納部に格納する、
１．から３．のいずれか１つに記載の画像管理装置。
５． 前記グルーピング手段は、前記取得された入力文字列に、既にグルーピングされている対象画像グループの名称文字列が含まれるか否かを判定し、該判定結果に基づいて、画像データの比較を行うことなく、前記取得された画像データを、前記取得された入力文字列に含まれる名称文字列を有する画像グループに割り当てる、
１．から４．のいずれか１つに記載の画像管理装置。
６． 前記グルーピング手段は、既にグルーピングされている複数の画像グループの中の、その画像グループの名称文字列が、その画像グループに属する各画像データに対応する各入力文字列に含まれる度合が、所定閾値を超える画像グループを、前記対象画像グループとして用いる、
５．に記載の画像管理装置。
７． 前記グルーピング手段は、前記画像格納部に情報が格納される画像グループの中の、所属する画像データの数が所定閾値を超える画像グループから、該画像グループの名称文字列を含まない入力文字列に対応する画像データを除外する、
１．から６．のいずれか１つに記載の画像管理装置。
８． 前記取得手段は、前記画像データに対応する撮像環境情報を更に取得し、
前記グルーピング手段は、前記取得された撮像環境情報を更に用いて、前記取得された画像データをグルーピングする、
１．から７．のいずれか１つに記載の画像管理装置。
９． 前記画像グループに属する複数の画像データに対応する複数の撮像環境情報を用いて、前記画像グループの付加情報を決定する属性決定手段、
を更に備え、
前記格納処理手段は、前記画像グループに関し決定された前記付加情報を前記画像格納部に更に格納する、
８．に記載の画像管理装置。

１０． 少なくとも１つのコンピュータにより実行される画像管理方法において、
画像データ及び入力文字列を取得し、
画像データの比較により、前記取得された画像データ及び他の画像データを画像グループにグルーピングし、
前記画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、前記画像グループの名称文字列を決定し、
前記画像グループの情報及び前記名称文字列を画像格納部に格納する、
ことを含む画像管理方法。
１１． 前記取得された入力文字列から少なくとも１つの名詞文字列を抽出する、
ことを更に含み、
前記名称文字列の決定は、前記画像グループに属する複数の画像データに対応する複数の名詞文字列の中の少なくとも１つを前記名称文字列として決定する、
１０．に記載の画像管理方法。
１２． 前記グルーピングは、画像データの比較結果に加えて、前記取得された入力文字列を更に用いて、前記取得された画像データをグルーピングする、
１０．又は１１．に記載の画像管理方法。
１３． 画像データの比較結果を少なくとも用いて、前記取得された画像データをどの画像グループにも所属させないことを決定し、
前記取得された画像データをどの画像グループにも属さないことを示す情報と共に前記画像格納部に格納する、
ことを更に含む１０．から１２．のいずれか１つに記載の画像管理方法。
１４． 前記取得された入力文字列に、既にグルーピングされている対象画像グループの名称文字列が含まれるか否かを判定し、
前記判定結果に基づいて、画像データの比較を行うことなく、前記取得された画像データを、前記取得された入力文字列に含まれる名称文字列を有する画像グループに割り当てる、
ことを更に含む１０．から１３．のいずれか１つに記載の画像管理方法。
１５． 前記対象画像グループは、既にグルーピングされている複数の画像グループの中の、その画像グループの名称文字列が、その画像グループに属する各画像データに対応する各入力文字列に含まれる度合が、所定閾値を超える画像グループである、
１４．に記載の画像管理方法。
１６． 前記画像格納部に情報が格納される画像グループの中の、所属する画像データの数が所定閾値を超える画像グループから、該画像グループの名称文字列を含まない入力文字列に対応する画像データを除外する、
ことを更に含む１０．から１５．のいずれか１つに記載の画像管理方法。
１７． 前記画像データに対応する撮像環境情報を取得する、
ことを更に含み、
前記グルーピングは、前記取得された撮像環境情報を更に用いて、前記取得された画像データをグルーピングする、
１０．から１６．のいずれか１つに記載の画像管理方法。
１８． 前記画像グループに属する複数の画像データに対応する複数の撮像環境情報を用いて、前記画像グループの付加情報を決定し、
前記画像グループに関し決定された前記付加情報を前記画像格納部に格納する、
ことを更に含む１７．に記載の画像管理方法。

１９． １０．から１８．のいずれか１つに記載の画像管理方法を少なくとも１つのコンピュータに実行させるプログラム。

２０． 端末装置で実行されるプログラムにおいて、
通信接続の確立した任意の装置を公衆網にアクセス可能とする携帯型無線ルータと認証を行い、前記端末装置と前記携帯型無線ルータとの間で通信接続を確立する処理と、
格納部に格納される画像データの表示領域及びテキストの入力領域が並ぶ画面を前記端末装置の表示部に表示させる処理と、
前記入力領域に入力された文字列及び前記入力領域に並んで表示された前記表示領域に表示される画像を、相互に関連付け可能な状態で、前記携帯型無線ルータを経由して、サーバ装置に送信する処理と、
前記プログラムが起動されていないときに、前記端末装置で実行される他のプログラムが前記携帯型無線ルータを経由する通信を行えないように、前記通信接続を切断する処理と、
を前記端末装置に実行させるプログラム。

１、１００ 画像管理装置（管理装置）
２ ＣＰＵ
３ メモリ
９ ユーザ端末装置（端末装置）
１１、１０１ 取得部
１２ 抽出部
１３、１０２ グルーピング部
１４、１０３ 名称決定部
１５、１０４ 格納処理部
１６ 画像データベース（ＤＢ）
１８ 属性決定部

Claims (12)

1. 画像データ及び入力文字列を取得する取得手段と、
   画像データの比較により、前記取得された画像データ及び他の画像データを画像グループにグルーピングするグルーピング手段と、
   前記画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、前記画像グループの名称文字列を決定する名称決定手段と、
   前記画像グループの情報及び前記名称文字列を画像格納部に格納する格納処理手段と、
   を備える画像管理装置。
2. 前記取得された入力文字列から少なくとも１つの名詞文字列を抽出する抽出手段、
   を更に備え、
   前記名称決定手段は、前記画像グループに属する複数の画像データに対応する複数の名詞文字列の中の少なくとも１つを前記名称文字列として決定する、
   請求項１に記載の画像管理装置。
3. 前記グルーピング手段は、画像データの比較結果に加えて、前記取得された入力文字列を更に用いて、前記取得された画像データをグルーピングする、
   請求項１又は２に記載の画像管理装置。
4. 前記グルーピング手段は、画像データの比較結果を少なくとも用いて、前記取得された画像データをどの画像グループにも所属させないことを決定し、
   前記格納処理手段は、前記取得された画像データをどの画像グループにも属さないことを示す情報と共に前記画像格納部に格納する、
   請求項１から３のいずれか１項に記載の画像管理装置。
5. 前記グルーピング手段は、前記取得された入力文字列に、既にグルーピングされている対象画像グループの名称文字列が含まれるか否かを判定し、該判定結果に基づいて、画像データの比較を行うことなく、前記取得された画像データを、前記取得された入力文字列に含まれる名称文字列を有する画像グループに割り当てる、
   請求項１から４のいずれか１項に記載の画像管理装置。
6. 前記グルーピング手段は、既にグルーピングされている複数の画像グループの中の、その画像グループの名称文字列が、その画像グループに属する各画像データに対応する各入力文字列に含まれる度合が、所定閾値を超える画像グループを、前記対象画像グループとして用いる、
   請求項５に記載の画像管理装置。
7. 前記グルーピング手段は、前記画像格納部に情報が格納される画像グループの中の、所属する画像データの数が所定閾値を超える画像グループから、該画像グループの名称文字列を含まない入力文字列に対応する画像データを除外する、
   請求項１から６のいずれか１項に記載の画像管理装置。
8. 前記取得手段は、前記画像データに対応する撮像環境情報を更に取得し、
   前記グルーピング手段は、前記取得された撮像環境情報を更に用いて、前記取得された画像データをグルーピングする、
   請求項１から７のいずれか１項に記載の画像管理装置。
9. 前記画像グループに属する複数の画像データに対応する複数の撮像環境情報を用いて、前記画像グループの付加情報を決定する属性決定手段、
   を更に備え、
   前記格納処理手段は、前記画像グループに関し決定された前記付加情報を前記画像格納部に更に格納する、
   請求項８に記載の画像管理装置。
10. 少なくとも１つのコンピュータにより実行される画像管理方法において、
    画像データ及び入力文字列を取得し、
    画像データの比較により、前記取得された画像データ及び他の画像データを画像グループにグルーピングし、
    前記画像グループに属する複数の画像データに対応する複数の入力文字列を用いて、前記画像グループの名称文字列を決定し、
    前記画像グループの情報及び前記名称文字列を画像格納部に格納する、
    ことを含む画像管理方法。
11. 請求項１０に記載の画像管理方法を少なくとも１つのコンピュータに実行させるプログラム。
12. 端末装置で実行されるプログラムにおいて、
    通信接続の確立した任意の装置を公衆網にアクセス可能とする携帯型無線ルータと認証を行い、前記端末装置と前記携帯型無線ルータとの間で通信接続を確立する処理と、
    格納部に格納される画像データの表示領域及びテキストの入力領域が並ぶ画面を前記端末装置の表示部に表示させる処理と、
    前記入力領域に入力された文字列及び前記入力領域に並んで表示された前記表示領域に表示される画像を、相互に関連付け可能な状態で、前記携帯型無線ルータを経由して、サーバ装置に送信する処理と、
    前記プログラムが起動されていないときに、前記端末装置で実行される他のプログラムが前記携帯型無線ルータを経由する通信を行えないように、前記通信接続を切断する処理と、
    を前記端末装置に実行させるプログラム。

Images