JP5791605B2 - メタデータのタグ付けシステム、イメージ検索方法、デバイス及びそれに適用されるジェスチャーのタグ付け方法 - Google Patents

Description

本発明は、メタデータのタグ付けシステム、イメージ検索方法、デバイス及びそれに適用されるジェスチャーのタグ付け方法に関し、より詳細には、タグ付けされているメタデータに基づいてイメージを検索するためのメタデータのタグ付けシステム、イメージ検索方法、デバイス及びそれに適用されるジェスチャーのタグ付け方法に関する。

通常、ユーザは、データに関連するキーワードを入力したりシステムによって提供されるキーワードの中から選択してデータに対する検索を行なうようになる。これは、データの内容を示すメタデータと予め用意されているデータベース間の関連登録を通じて行なわれるようになる。

しかし、このような方式を通じてユーザが円滑にデータを検索するためには、メタデータとデータベースとの間の関連登録を随時行なう必要があるため、ユーザはかなりの手間を強いられる。即ち、メタデータとデータベースとの間の関連登録が十分に行なわれていない場合、ユーザは膨大なデータの中から必要なデータに対する効果的な検索に支障が生じることがある。

これにより、関連登録のようなユーザが別途に入力することなく、メタデータを自動的に抽出し、抽出されたメタデータに基づいて効果的にデータが検索できるようにするための方策への模索が求められる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、データを簡単かつ便利に検索できるようにするためのメタデータのタグ付けシステム、イメージ検索方法、デバイス及びそれに適用されるジェスチャーのタグ付け方法に関する。

前記目的を達成するための本発明の一実施形態に係るメタデータのタグ付けシステムは、イメージを分析して前記イメージに対する少なくとも一つのメタデータを抽出し、前記メタデータを前記イメージにタグ付けして前記メタデータのタグ付けされているイメージを第３デバイスに伝達する第１デバイスと、前記メタデータに基づいて、前記第３デバイスに保存されているイメージのうち少なくともいずれか一つが検索されるようにする第２デバイスとを含む。

ここで、前記第１デバイスは、顔認識アルゴリズムと、形態分析アルゴリズム及び色分析アルゴリズムのうち少なくともいずれか一つを用いて、前記イメージを分析し、前記イメージに含まれている人物と、場所と、事物及びモーションのうち少なくともいずれか一つに関するメタデータを抽出してよい。

なお、前記第１デバイスは、前記イメージの生成された日付及び時間に対する情報を保存し、前記日付及び時間に対する情報をメタデータとして抽出してよい。

そして、前記第１デバイスは、ＧＰＳ信号を受信して前記イメージの生成された位置に関するメタデータを抽出してよい。

なお、前記第１デバイスは、前記イメージが生成された後、ユーザの操作を通じて入力された情報に基づいて前記メタデータを抽出してよい。

そして、前記第２デバイスは、前記第２デバイスに表示されるテキストのうち少なくともいずれか一つを選択して前記第３デバイスに伝送することにより、前記第３デバイスで前記選択されたテキストに基づいて前記第３デバイスに保存されているイメージのうち少なくともいずれか一つを検索するようにしてよい。

なお、前記第２デバイスは、前記第２デバイスに表示されているカレンダから特定の日付を選択し、前記第３デバイスに伝送することにより、前記第３デバイスで前記選択された日付に基づいて前記第３デバイスに保存されているイメージのうち少なくともいずれか一つを検索するようにしてよい。

そして、前記第２デバイスは、前記第２デバイスに表示されている地図から特定の位置を選択し、前記第３デバイスに伝送することにより、前記第３デバイスで前記選択された位置に基づいて前記第３デバイスに保存されているイメージのうち少なくともいずれか一つを検索するようにしてよい。

なお、前記第２デバイスは、前記第２デバイスで撮影されたイメージからユーザのモーションを抽出して前記第３デバイスに伝送することにより、前記第３デバイスで前記モーションに基づいて前記第３デバイスに保存されているイメージのうち少なくともいずれか一つを検索するようにしてよい。

そして、前記第３デバイスは、前記第３デバイスに保存されているイメージにタグ付けされているメタデータに基づいて前記検索を行ない、検索されたイメージを前記第２デバイスに伝送してよい。

なお、前記第１デバイスは、ユーザのメタデータの使用パターン又はユーザによって設定される優先順位に応じて、抽出されたメタデータ中の一部のメタデータのみを選択してイメージにタグ付けしてよい。

前記目的を達成するための本発明の一実施形態に係るイメージ検索方法は、イメージを分析して前記イメージに対する少なくとも一つのメタデータを抽出するステップと、前記メタデータを前記イメージにタグ付けして前記メタデータのタグ付けされているイメージを外部デバイスに保存するステップと、前記メタデータに基づいて、前記外部デバイスに保存されているイメージのうち少なくともいずれか一つを検索するステップとを含む。

一方、本発明の一実施形態に係るデバイスは、ユーザのジェスチャーが入力される操作部と、前記入力されたユーザのジェスチャーを特定のコンテンツのメタデータにタグ付けする制御部とを含む。

そして、前記操作部は、ユーザのタッチ操作が入力され、前記ジェスチャーは、ユーザによって入力された特定の形状のタッチ操作であってよい。

なお、前記制御部は、前記ジェスチャーが前記特定のコンテンツのメタデータにタグ付けされている状態で前記操作部を介して前記ジェスチャーが入力されると、前記特定のコンテンツを実行してよい。

このように、生成されたデータを分析してメタデータをタグ付けして保存することにより、データをより簡単かつ便利に検索して使用できるようになる。
なお、ジェスチャーをメタデータにタグ付けできるようになるため、ユーザはジェスチャーを用いて所望のコンテンツを検索できるようになる。

本発明の一実施形態に係るメタデータのタグ付けシステムを示す図である。 本発明の一実施形態に係るメタデータのタグ付け方法を説明するために提供される図である。 本発明の別の実施形態に係るメタデータのタグ付け方法を説明するために提供される図である。 メタデータのタグ付けされたイメージが表示されている画面を示す図である。 イメージ検索方法を説明するための図である。 各々の検索方法画面を示す図である。 各々の検索方法画面を示す図である。 各々の検索方法画面を示す図である。 各々の検索方法画面を示す図である。 各々の検索方法画面を示す図である。 中央保存装置によって検索されたイメージがＭＰ３Ｐに伝送されてＭＰ３Ｐの画面に表示されている様子を示す図である。 モバイルフォンに対する概略的なブロック図である。 中央保存装置に対する概略的なブロック図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにユーザのジェスチャーをタグ付けする過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにユーザのジェスチャーをタグ付けする過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにユーザのジェスチャーをタグ付けする過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにユーザのジェスチャーをタグ付けする過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにユーザのジェスチャーをタグ付けする過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにユーザのジェスチャーをタグ付けする過程を示す図である。 本発明の一実施形態に係るジェスチャーを用いてコンテンツを実行させる過程を示す図である。 本発明の一実施形態に係るジェスチャーを用いてコンテンツを実行させる過程を示す図である。 本発明の一実施形態に係るジェスチャーを用いてコンテンツを実行させる過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにタグ付けされているジェスチャーを変更する過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにタグ付けされているジェスチャーを変更する過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにタグ付けされているジェスチャーを変更する過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにタグ付けされているジェスチャーを変更する過程を示す図である。 本発明の一実施形態に係るモバイルフォンを用いて音楽コンテンツのメタデータにタグ付けされているジェスチャーを変更する過程を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。特に、図１ないし図３を参照しながら、メタデータのタグ付けシステムの構成及び動作フローについて説明し、図４ないし図１１を参照しながら、タグ付け画面及び検索画面について説明し、図１２及び図１３を参照しながら、メタデータのタグ付けのための各装置の構成について説明する。

＜メタデータのタグ付けシステムの構成及び動作フロー＞
図１は、本発明の一実施形態に係るメタデータのタグ付けシステムを示す図である。本実施形態に係るメタデータのタグ付けシステムは、撮影されたイメージのメタデータを抽出し、抽出されたメタデータを撮影されたイメージにタグ付けして保存し、これにより、ユーザによって撮影されたイメージに対する検索が容易になる。
メタデータのタグ付けシステムは、モバイルフォン１００と、中央保存装置２００と、複数の周辺装置３１０、３２０、３３０、３４０とで構成される。

モバイルフォン１００は、ユーザが携帯して持ち歩く移動端末の一種として、別の通信加入者と通話するための究極的な目的の他に、被写体を撮影して撮影されたイメージが後述の中央保存装置２００に保存されるようにする付随的な目的としても使われる。
モバイルフォン１００は、内蔵カメラを介して被写体を撮影することができ、撮影された被写体に対するイメージを分析してイメージの属性に対する情報、即ち、イメージのメタデータを抽出し、抽出されたメタデータをイメージにタグ付けして中央保存装置２００に伝送し、中央保存装置２００でタグ付けされているイメージが保存されるようにする。イメージにメタデータをタグ付けする方法については後述する。

中央保存装置２００は、一般に固定された場所で使われる固定式保存装置の一種として、モバイルフォン１００から受信されたイメージを保存し、周辺装置３１０、３２０、３３０、３４０のうちいずれか一つから受信されたイメージに対する呼出し命令に従って呼び出されたイメージを周辺装置３１０、３２０、３３０、３４０のうちいずれか一つに伝送する。
無論、中央保存装置２００は、モバイルフォン１００ではない周辺装置３１０から生成されたイメージに対する保存も可能であり、周辺装置３１０、３２０、３３０、３４０ではないモバイルフォン１００へのイメージ伝送も可能である。

周辺装置３１０、３２０、３３０、３４０とは、ユーザによってい携帯され使用される装置及び自宅内に固定された場所で使われる装置をすべて含み、本実施形態ではＭＰ３Ｐ３１０と、デジタルカメラ３２０と、テレビ３３０及びモニタ３４０を例示的に示した。
一方、周辺装置３１０、３２０、３３０、３４０は各自本然の役割の他に、中央保存装置２００にアクセスして中央保存装置２００に保存されているイメージを受信することができる。特に、周辺装置３１０、３２０、３３０、３４０は中央保存装置２００に保存されているイメージ中の一部に対して受信が可能であり、このような一部のイメージを選択するために、多様な検索方法を選択することができる。検索方法について後述する。

図２は、本発明の一実施形態に係るメタデータのタグ付け方法を説明するために提供される図である。以下では、説明の便宜性のために、周辺装置を代表する装置としてＭＰ３Ｐ３１０を基準に説明する。
モバイルフォン１００が被写体を撮影してイメージを生成する（Ｓ４１０）、モバイルフォン１００は生成されたイメージを分析し（Ｓ４２０）、イメージに対するメタデータを抽出する（Ｓ４３０）。

メタデータを抽出する方法としては、次のようなことを挙げることができる。
(1)まず、生成されたイメージを分析してメタデータを抽出する方法である。イメージを分析のために、顔認識アルゴリズム、形態分析アルゴリズムなどが使われてよく、モバイルフォン１００のようなアルゴリズムを用いて、生成されたイメージに含まれている人物又は動物に対する情報、場所に対する情報、周囲の事物に対する情報、人物又は動物の動作に対する情報などを抽出することができる。
例えば、モバイルフォン１００は生成されたイメージから顔部分を把握し、顔部分の具体的な輪郭、目鼻立ちの位置などを分析して人物に対する情報を把握することができ、生成されたイメージに含まれている道標や看板などの事物に基づいて場所に対する情報を把握することができる。
(2)次に、イメージの生成された時点の日付／時間情報に基づいてメタデータを抽出する方法である。日付／時間に対する情報は、被写体の撮影の際に、モバイルフォン１００に自動的に保存される日付／時間情報をそのまま用いることができる。
例えば、被写体を撮影した日付が２００９年５月１日の場合、このようなデータはモバイルフォン１００にそのまま保存され、モバイルフォン１００はそれに基づいてメタデータとして抽出することができる。
(3)なお、ＧＰＳ信号受信機を用いてイメージが生成された位置に対する情報に基づいてメタデータを抽出する方法も考えられる。ＧＰＳ信号受信機は、被写体が撮影される時点で、被写体が撮影される具体的な位置に対する情報を把握し、このような情報がモバイルフォン１００に伝達されるようにすることができ、モバイルフォン１００はそれに基づいてメタデータを抽出することができる。
(4)更に、ユーザから直接入力された内容に基づいてメタデータを抽出することもできる。即ち、ユーザが被写体を撮影して撮影されたイメージに関連する内容を入力する場合、モバイルフォン１００はこのような内容に基づいてもメタデータを抽出することができる。

一方、モバイルフォン１００は抽出されたメタデータをイメージにタグ付けする（Ｓ４４０）。メタデータが複数個存在する場合、複数個のメタデータをイメージにタグ付けする。
なお、複数個のメタデータが抽出された場合、モバイルフォン１００は複数個のメタデータ中の一部のメタデータのみを選択してイメージにタグ付けすることもできる。このとき、モバイルフォン１００は、ユーザの使用パターン及びユーザによって設定される優先順位に応じてメタデータを選択することができる。

ここで、ユーザの使用パターンはユーザがメタデータを用いてイメージを検索した履歴によるパターンを示す。具体的に、モバイルフォン１００は抽出されたメタデータの中からユーザの使用頻度が最も高い種類のメタデータを選択し、イメージにタグ付けすることができる。例えば、ユーザの使用頻度が最も高い種類のメタデータが顔認識によるメタデータである場合、モバイルフォン１００は抽出されたメタデータの中から顔認識によるメタデータのみを選択し、イメージにタグ付けすることもできる。

そして、ユーザによって設定される優先順位とは、ユーザがメタデータの種類のそれぞれに対して予め設定しておいた優先順位を表す。そして、モバイルフォン１００は抽出されたメタデータの中から優先順位が最も高いメタデータを選択し、イメージにタグ付けするようになる。例えば、ユーザが顔認識を通じて抽出されたメタデータを第１順位に設定した場合、モバイルフォン１００は多様なメタデータの中から、顔認識を通じて抽出されたメタデータを選択してイメージにタグ付けするようになる。

このように、モバイルフォン１００は、複数個のメタデータが抽出された場合、その中の一部を選択してイメージにタグ付けすることもできる。
このように、イメージにメタデータがタグ付けされると、モバイルフォン１００はタグ付けされているイメージを中央保存装置２００に伝送する。
中央保存装置２００は、メタデータにタグ付けされたイメージを保存する（Ｓ４６０）。

一方、ＭＰ３Ｐ３１０は、中央保存装置２００にタグ付けされて保存されているイメージの中でユーザの望むイメージを選択的に受信するため、ユーザからイメージ検索方法を選択されるようになる（Ｓ４７０）。
ユーザからイメージ検索方法が選択されると、ＭＰ３Ｐ３１０は選択された方法に従ってイメージを検索することを中央保存装置２００に要請し（Ｓ４８０）、中央保存装置２００は要請された検索方法でイメージを検索して抽出し（Ｓ４９０）、抽出されたイメージをＭＰ３Ｐ３１０に伝送する（Ｓ５００）。
このように、モバイルフォン１００は、撮影されたイメージを分析してメタデータをタグ付けし、それにより、ＭＰ３Ｐ３１０はモバイルフォン１００で撮影されたイメージを簡単かつ便利に検索して使用できるようになる。

一方、図３は、本発明の別の実施形態に係るメタデータのタグ付け方法を説明するために提供される図である。
モバイルフォン１００が被写体を撮影してイメージを生成し（Ｓ５１０）、モバイルフォン１００は生成されたイメージを中央保存装置２００に伝送する（Ｓ５２０）。
中央保存装置２００は受信されているイメージを分析し（Ｓ５３０）、分析されたイメージに対するメタデータを抽出し（Ｓ５４０）、抽出されたメタデータを受信されているイメージにタグ付けする（Ｓ５５０）。なお、中央保存装置２００はメタデータのタグ付けされているイメージを保存する（Ｓ５６０）。

一方、ＭＰ３Ｐ３１０は、中央保存装置２００にタグ付けされて保存されているイメージの中でユーザの望むイメージを選択的に受信するため、ユーザからイメージ検索方法を選択されるようになる（Ｓ５７０）。
ユーザからイメージ検索方法が選択されると、ＭＰ３Ｐ３１０は選択された方法に従ってイメージを検索することを中央保存装置２００に要請し（Ｓ５８０）、中央保存装置２００は要請された検索方法でイメージを検索して抽出し（Ｓ５９０）、抽出されたイメージをＭＰ３Ｐ３１０に伝送する（Ｓ６００）。

このように、モバイルフォン１００で撮影されたイメージは中央保存装置２００に伝送され、中央保存装置２００は受信されているイメージを分析してメタデータをタグ付けし、それにより、ＭＰ３Ｐ３１０はモバイルフォン１００で撮影されたイメージを簡単かつ便利に検索して使用できるようになる。

＜タグ付け画面及び検索画面＞
図４は、メタデータのタグ付けされているイメージが表示されている画面を示す図である。図４においては、説明の便宜上、図２の実施形態と同様に、モバイルフォン１００でメタデータがタグ付けされるものとして想定して説明を進める。
画面には、撮影されたイメージ６１０とタグ付けされているメタデータ６２０も同時に表示される。

(1)まず、撮影されたイメージ６１０を参考にすると、一人の人物とデスクが被写体となっていることが分かる。モバイルフォン１００は、このようなイメージ６１０を分析してメタデータの中から、「Ｏｆｆｉｃｅ」、「Ｓｕｊｉ」、「Ｒｅｄ」及び「Ｄｅｓｋ」というメタデータを抽出する。
具体的に、モバイルフォン１００は、形態分析アルゴリズムを用いてイメージ６１０にＤｅｓｋが含まれていることが分かるようになり、特に、予め保存されているイメージ中の「Ｄｅｓｋ」というメタデータがタグ付けされているイメージに対する形態分析結果と撮影されたイメージ６１０に対する形態分析結果との比較を通じて分かるようになる。

なお、モバイルフォン１００は形態分析アルゴリズムを用いて撮影されたイメージ６１０に該当する場所がＯｆｆｉｃｅであることが分かるようになる。特に、予め保存されているイメージ中の「Ｄｅｓｋ」というメタデータがタグ付けされているイメージに対する形態分析結果と、撮影されたイメージ６１０に対する形態分析結果との比較を通じて、予め保存されているイメージ中の「Ｄｅｓｋ」というメタデータがタグ付けされているイメージと撮影されたイメージ６１０に該当する場所とが同一であるという結論が出されると、「Ｄｅｓｋ」というメタデータがタグ付けされているイメージの別のメタデータである「Ｏｆｆｉｃｅ」を撮影されたイメージ６１０のメタデータとして抽出することができる。

それと同様に、モバイルフォン１００は顔認識アルゴリズムを用いて撮影されたイメージ６１０に該当する人物がＳｕｊｉであることが分かるようになる。特に、予め保存されているイメージ中の「Ｓｕｊｉ」というメタデータがタグ付けされているイメージに対する顔認識結果と撮影されたイメージ６１０に対する顔認識結果との比較を通じて、予め保存されているイメージ中の「Ｓｕｊｉ」というメタデータがタグ付けされているイメージと撮影されたイメージ６１０に該当する人物とが同一であるという結論が出されると、「Ｓｕｊｉ」というメタデータがタグ付けされているイメージのメタデータと同一の「Ｓｕｊｉ」を撮影されたイメージ６１０のメタデータとして抽出することができる。
それだけでなく、モバイルフォン１００は、撮影されたイメージ６１０のカラー分析を通じて撮影されたイメージ６１０のカラー中のＲｅｄカラーが支配的であるという結論が出されると、「Ｒｅｄ」というメタデータを抽出することができる。

(2)次に、モバイルフォン１００を介してユーザがイメージ６１０を撮影すると、モバイルフォン１００はイメージ６１０が撮影された日付を保存することになる。モバイルフォン１００はそれに基づいて、イメージ６１０が生成された時点の日付／時間をメタデータとして抽出する。本実施形態では、イメージ６１０が撮影された日付が「２００９年５月１日」であることが分かる。

(3)なお、モバイルフォン１００を介してユーザがイメージ６１０を撮影すると、モバイルフォン１００は内蔵のＧＰＳ信号受信手段を用いて、イメージ６１０が生成された位置に対する情報を保存するようになる。モバイルフォン１００はそれに基づいて、イメージ６１０の生成された時点の日付／時間をメタデータとして抽出する。本実施形態では、イメージ６１０の撮影された位置が「Ｓｅｏｕｌ」であることが分かる。

本実施形態では、顔認識アルゴリズム、形態分析アルゴリズム、色分析アルゴリズムなどを通じて、「Ｏｆｆｉｃｅ」、「Ｓｕｊｉ」、「Ｓｅｏｕｌ」、「２００９−０５−０１」、「Ｒｅｄ」及び「Ｄｅｓｋ」のようなメタデータが抽出されたものと想定したが、これは説明の便宜性のための例示的な事項に過ぎず、それ以外のメタデータが抽出された場合にも本発明が適用されてよく、以上で説明したものと別の方式を通じてメタデータが抽出されてもよい。
特に、上述のように、(4)ユーザから直接入力された内容に基づいてメタデータを抽出することもできる。
このような方式を通じて撮影されたイメージに対するメタデータがイメージとともに中央保存装置２００に保存されるようになり、ユーザは保存されているメタデータを通じてイメージ検索をより簡単かつ便利にできるようになる。

以下では、図５ないし図７を参照しながら、イメージを検索して表示する過程について説明する。
図５は、イメージ検索方法を説明するための図である。
ユーザがＭＰ３Ｐ３１０にイメージ検索のための命令を入力すると、ＭＰ３Ｐ３１０のディスプレイには検索方法を選択するための画面が表示される。このような検索方法の選択画面は、(a)日付／時間検索、(b)テキスト検索、(c)地図検索、(d)モーション検索で構成される。なお、ユーザは画面に表示されている検索方法の中からいずれか一つを選択し、中央保存装置２００に保存されているイメージを検索することができるようになる。

図６ないし図１０は、それぞれの検索方法画面を示す図である。
ユーザが(a)日付／時間検索を選択すると、図６に示すように、ＭＰ３Ｐ３１０のディスプレイにはカレンダ画面が表示される。
従って、ユーザはＭＰ３Ｐ３１０のディスプレイに表示されているカレンダ画面の中から所望の日付を選択することができ、このようなユーザの日付選択操作に応じて、ＭＰ３Ｐ３１０は選択された日付をメタデータとするイメージに対する伝送要請を中央保存装置２００に伝送するようになる。

その後、ＭＰ３Ｐ３１０は、選択された日付をメタデータとするイメージが中央保存装置２００によって検索された結果を受信するようになる。このような検索された結果は、イメージそのものであってよく、イメージに対する別途の情報であってよい。
無論、以上で説明した日付選択方法は例示的なものであって、本発明がこのような日付選択方法に限られて理解されるべきではない。

一方、ユーザが、(b)テキスト検索を選択すると、図７に示すように、ＭＰ３Ｐ３１０のディスプレイには多様なテキストが同時に表示される。このようなテキストは、メタデータに対するテキストとして、ランダムに画面上に表示されているり、重要度や頻度などを考慮してサイズ、位置が決定されて表示されてよい。
具体的に、ＭＰ３Ｐ３１０は、ユーザの使用頻度の高いメタデータを別のメタデータと別の形態で表示することもできる。例えば、ＭＰ３Ｐ３１０は、ユーザの使用頻度の最も高いメタデータに対するテキストをその他のテキストと異なるポント、異なるサイズ又は色相で表示することもできる。そして、ＭＰ３Ｐは使用頻度の最も高いメタデータに対するテキストを最も高い位置に表示することもできる。

それと同様に、ＭＰ３Ｐ３１０はユーザによって設定される優先順位が最も高いメタデータを別のメタデータと別の形態で表示することもできる。例えば、ＭＰ３Ｐ３１０は、優先順位の最も高いメタデータに対するテキストをその他のテキストと異なるポント、異なるサイズ又は色相で表示することもできる。そして、ＭＰ３Ｐは優先順位の最も高いメタデータに対するテキストを最も高い位置に表示することもできる。従って、ユーザはＭＰ３Ｐ３１０のディスプレイに表示されているメタデータに対するテキストの中から所望のテキストを選択することができ、このようなユーザのテキスト選択操作によって、ＭＰ３Ｐ３１０は選択されたテキストをメタデータとするイメージに対する伝送要請を中央保存装置２００に伝送するようになる。
その後、ＭＰ３Ｐ３１０は、選択されたテキストをメタデータとするイメージが中央保存装置２００によって検索された結果を受信するようになる。このような検索の結果は、イメージそのものであってよく、イメージに対する別途の情報であってよい。
無論、以上で説明したテキスト選択方法は例示的なものであって、本発明がこのようなテキスト選択方法に限られて理解されるべきではない。

次に、ユーザが(c)地図検索を選択すると、図８に示すように、ＭＰ３Ｐ３１０のディスプレイには地図画面が表示される。
従って、ユーザがＭＰ３Ｐ３１０のディスプレイに表示されている地図画面の中から所望の位置（地域）を選択することができ、このようなユーザの位置選択操作によって、ＭＰ３Ｐ３１０は選択された位置（地域）をメタデータとするイメージに対する伝送要請を中央保存装置２００に伝送するようになる。
その後、ＭＰ３Ｐ３１０は、選択された位置（地域）をメタデータとするイメージが中央保存装置２００によって検索された結果を受信するようになる。このような検索の結果は、イメージそのものであってよく、イメージに対する別途の情報であってよい。
無論、以上で説明した位置（地域）選択方法は例示的なものであって、本発明がこのような位置（地域）選択方法に限られて理解されるべきではない。

次に、ユーザ(d)モーション検索を選択すると、図９に示すように、ＭＰ３Ｐ３１０は撮影モードに突入する。
従って、ユーザはＭＰ３Ｐ３１０を介して被写体を撮影することができ、ＭＰ３Ｐ３１０は撮影された被写体の中から、図１０のように特徴部分を抽出する。これにより、ＭＰ３Ｐ３１０は、特徴部分のイメージそのものをメタデータとし、特徴部分のイメージと同一のイメージを含むイメージに対する伝送要請を中央保存装置２００に伝送するようになる。
その後、ＭＰ３Ｐ３１０は、特徴部分のイメージを含むイメージが中央保存装置２００によって検索された結果を受信するようになる。このような検索の結果は、イメージそのものであってよく、イメージに対する別途の情報であってよい。
無論、以上で説明したモーション検索方法も説明の便宜上のための例示的なものあって、本発明がこのようなモーション検索方法に限られて理解されるべきではない。

一方、図１１は、中央保存装置２００によって検索されたイメージがＭＰ３Ｐ３１０に伝送されてＭＰ３Ｐ３１０の画面に表示されている様子を示す図である。
特に、図１１は、ＭＰ３Ｐ３１０に入力された日付検索によって、「２００９年５月１日」というメタデータを持つイメージが中央保存装置２００によって検索され、ＭＰ３Ｐ３１０に受信されて表示される様子を示すものである。
このような方式を通じて、ユーザは相違するデバイスであるＭＰ３Ｐ３１０の操作により、中央保存装置２００に保存されているイメージをより簡単かつ便利に検索することができるようになる。

＜メタデータのタグ付けのための各装置の構成＞
図１２は、以上で説明したモバイルフォン１００に対する概略的なブロック図である。
モバイルフォン１００は、撮影部１１０と、映像処理部１２０と、ディスプレイ１３０と、操作部１４０と、制御部１５０と、通信部１６０と、ＧＰＳ信号受信部１７０及び保存部１８０を含む。
撮影部１１０は被写体を撮影し、撮影された映像信号を映像処理部１２０に伝達する。

映像処理部１２０は、撮影された映像信号を用いてイメージを生成し、生成されたイメージをディスプレイ１３０に伝達し、これにより、ディスプレイ１３０は受信されたイメージを画面に表示する。なお、映像処理部１２０は、顔認識アルゴリズム、形態分析アルゴリズム、色分析アルゴリズムなどを通じて生成されたイメージを分析した結果を制御部１５０に伝達する。
更に、映像処理部１２０は、制御部１５０から受信されたメタデータの生成されたイメージに付加されるようにする。

操作部１４０は、ユーザの操作命令を入力される。具体的に、操作部１４０は被写体撮影のためのユーザの操作、イメージ分析に対するユーザの操作、メタデータ抽出及びタグ付けに対するユーザの操作及びタグ付けされているイメージの伝送に対するユーザの操作を入力される。
操作部１４０は、入力されたユーザの操作命令を制御部１５０に伝達する。

制御部１５０は、モバイルフォン１００に対する動作全般を制御する。特に、制御部１５０は映像処理部１２０でイメージが分析されるように制御し、映像処理部１２０でイメージを分析した結果に基づいてイメージのメタデータを抽出し、抽出されたメタデータがイメージにタグ付けされるようにする。
通信部１６０は、制御部１５０に制御下で、無線通信方式を用いてタグ付けされているイメージを外部に伝送する。

ＧＰＳ信号受信部１７０は、衛星などからモバイルフォン１００の存在する位置に対する情報を受信して制御部１５０に伝送し、イメージが生成されると、制御部１５０は位置に対する情報を生成されたイメージに対するメタデータとして抽出する。

保存部１８０は、メタデータ、生成されたイメージに対する情報、位置情報、イメージ分析情報及びモバイルフォン１００の全般を動作させるためのプログラムを保存する。このような保存部１８０は、ハードディスクや非揮発性メモリなどで実現できてよい。
一方、ＭＰ３Ｐ３１０のような周辺装置３１０、３２０、３３０、３４０に対する構成は、上述のモバイルフォン１００に対する構成から類推できるため、その説明は省略する。

図１３は、これまで説明した中央保存装置２００に対する概略的なブロック図である。
中央保存装置２００は、通信部２１０と、制御部２２０及び保存部２３０で構成される。
通信部２１０は、無線通信方式を用いて、モバイルフォン１００及び周辺装置３１０、３２０、３３０、３４０と通信し、イメージを送受信し、イメージ検索要請を受信する。
特に、通信部２１０は、モバイルフォン１００からタグ付けされているイメージを受信し、周辺装置３１０、３２０、３３０、３４０からイメージ検索要請を受信し、抽出されたイメージを周辺装置３１０、３２０、３３０、３４０に伝送する。

制御部２２０は、中央保存装置２００に対する動作全般を制御する。特に、制御部２２０は、モバイルフォン１００から受信されたイメージが保存部２３０に保存されるようにし、周辺装置３１０、３２０、３３０、３４０によって選択された方法に応じて、保存部２３０に保存されているイメージを検索する。
保存部２３０は、タグ付けされているイメージと、メタデータ及び中央保存装置２００の全般を動作させるためのプログラムを保存する。このような保存部２３０は、ハードディスク、非活性性メモリなどで実現できる。

一方、以上では、イメージを生成するための装置として、モバイルフォン１００を例にとって説明したが、これは説明の便宜性のための例示的なものに過ぎない。従って、上述の周辺装置３１０、３２０、３３０、３４０がイメージを生成するための装置として使用される場合だけでなく、その他の装置がイメージを生成するための装置として使用される場合にも本発明の技術的な思想がそのまま適用されてよい。

なお、イメージの生成は、必ずしも被写体の撮影によるイメージ生成に限られるものではなく、ネットワークを通じたイメージのダウンロードなどの別の方式のイメージ生成である場合にも、本発明が適用されてよい。
それだけでなく、本発明の技術的な思想は、イメージに局限されないものと見なす。例えば、オーディオ又はテキストなどを生成する場合、生成されたオーディオ又はテキストにもメタデータのタグ付けが可能であることはいうまでもない。
そして、以上で説明したメタデータの生成方法及び検索方法は例示的なものに過ぎず、これとは別の方法を使用する場合にも本発明の技術的な思想が適用されてよい。

＜ジェスチャーがタグ付けされているメタデータ＞
具体的に、モバイルフォン１００は、ユーザのジェスチャーをメタデータにタグ付けすることができる。この場合に関し、図８を参考にして説明すると、モバイルフォン１００の操作部１４０はユーザのタッチ操作に該当するジェスチャーを入力される。ここで、ジェスチャーとは、ユーザによって入力された特定の形状のタッチ操作のことを表す。ジェスチャーはユーザの一回のタッチ操作によるタッチ経路の形状に対する情報で構成される。従って、モバイルフォン１００の制御部１５０は、ジェスチャーが同一か否かの判断をタッチ操作の位置と関係なく、タッチ操作経路の形状が同一か否かに応じて決定するようになる。

制御部１５０は、入力されたジェスチャーを特定コンテンツのメタデータに含まれている情報のうちいずれか一つに対応させることにより、ジェスチャーを特定コンテンツのメタデータにタグ付けする。
そして、制御部１５０は、ジェスチャーが特定コンテンツのメタデータにタグ付けされている状態で、操作部１４０を介して前記ジェスチャーが入力されると、特定のコンテンツを実行する。

それに関し、１４ないし図１９を参照しながら以下に詳細に説明する。以下の説明において、モバイルフォン１００の操作部１４０はタッチスクリーンを含み、ユーザのタッチ操作を入力されることが可能であることを前提に説明を進める。

図１４ないし図１９は、本発明の一実施形態に係るモバイルフォン１００を用いて音楽コンテンツのメタデータにユーザのジェスチャーをタグ付けする過程を示す図である。ここで、ジェスチャーとは、ユーザによって入力された特定形状のタッチ操作のことを表す。ジェスチャーはユーザの一回のタッチ操作によるタッチ経路の形状に対する情報で構成される。従って、モバイルフォン１００は、ジェスチャーが同一か否かの判断をタッチ操作の位置と関係なく、タッチ操作経路の形状が同一か否かに応じて決定するようになる。

図１４は、画面にアルバムリストが表示されている状態のモバイルフォン１００を示す図である。図１４に示すように、モバイルフォン１００はアルバムリストで「Ａｌｂｕｍ １」にハイライト１０１０が位置している状態である。この状態で、ユーザによってメニュー項目１０２０にタッチ操作が入力されると、モバイルフォン１００は図１５に示すように、「Ａｌｂｕｍ １」に関連する機能に対するメニュー１０３０を画面に表示するようになる。

図１５は、「Ａｌｂｕｍ １」に関連する機能に対するメニュー１０３０が画面に表示されているモバイルフォン１００を示す図である。 図１５に示すように、メニュー１０３０は検索項目、選択再生項目、削除項目、選択削除項目、アルバム保存項目及びジェスチャー入力項目１０３５を含む。ここで、ユーザによってジェスチャー入力項目１０３５が選択されると、図１６に示すように、モバイルフォン１００はジェスチャー入力ウィンドウ１０４０を画面に表示する。

図１６は、「Ａｌｂｕｍ １」に対するジェスチャーを入力されるためのジェスチャー入力ウィンドウ１０４０が画面に表示されているモバイルフォン１００を示す図である。モバイルフォン１００は、ジェスチャー入力ウィンドウ１０４０に入力されたタッチ操作をジェスチャーで認識するようになる。

図１７は、ユーザによってジェスチャー入力ウィンドウ１０４０に「Ａｌｂｕｍ １」に対するジェスチャーであるジェスチャー１（１０５０）が入力されることを示す図である。図１７に示すように、ユーザによってジェスチャー入力ウィンドウ１０４０にジェスチャー１（１０５０）が入力されると、モバイルフォン１００は入力されたジェスチャー１（１０５０）のタッチ経路のなす形状を認識及び保存するようになる。

図１８は、画面に保存が完了したことを報知するメッセージ１０７０が画面に表示されているモバイルフォン１００を示す図である。ユーザによってジェスチャー１（１０５０）が入力された後に確認アイコン１０６０が選択されると、モバイルフォン１００は入力されたジェスチャー１（１０５０）の形状を保存し、ジェスチャー１（１０５０）を「Ａｌｂｕｍ １」に対応させることにより、コンテンツのメタデータのアルバム情報にジェスチャー１（１０５０）をタグ付けするようになる。このとき、モバイルフォン１００は、保存されているコンテンツの中でメタデータのアルバム情報が「Ａｌｂｕｍ １」である全コンテンツのメタデータのアルバム情報にジェスチャー１（１０５０）をタグ付けするようになる。

図１９は、メタデータのアルバム情報にジェスチャーがタグ付けされているコンテンツファイルの構造を示す図である。図１９に示すように、コンテンツファイルにはメタデータとコンテンツデータが含まれている。そして、メタデータにはアルバム情報、アーティスト情報、ジャンル情報及びファイル名情報が含まれている。そして、アルバム情報として「Ａｌｂｕｍ １」がタグ付けされており、「Ａｌｂｕｍ １」にジェスチャー１が同時にタグ付けされていることが確認できる。このように、モバイルフォン１００はジェスチャーをメタデータに含まれている情報のうちいずれか一つに対応させることにより、ジェスチャーをコンテンツのメタデータにタグ付けするようになる。
このような過程を通じて、モバイルフォン１００はメタデータにジェスチャーをタグ付けできるようになる。

以下では、図２０ないし図２２を参照しながら、ジェスチャーを用いてコンテンツを実行させる方法について説明する。図２０ないし図２２は、本発明の一実施形態に係るジェスチャーを用いてコンテンツを実行させる過程を示す図である。
図２０は、待ち受け画面１００が表示されている状態のモバイルフォン１００を示す図である。この状態で、図２１に示すように、ユーザによってジェスチャー１１２０が入力されると、モバイルフォン１００は入力されたジェスチャー１１２０の形状を認識するようになる。
図２１で入力されたジェスチャー１１２０は、図１７のジェスチャー１（１０５０）と同じ形状であることが確認できる。従って、モバイルフォン１００は、「Ａｌｂｕｍ １」に該当するコンテンツを実行するようになる。

図２２は、モバイルフォン１００が「Ａｌｂｕｍ １」の最初のコンテンツを再生する画面を示す図である。このように、ジェスチャー１１２０が入力されると、モバイルフォン１００は図２２に示すように、「Ａｌｂｕｍ １」に該当するコンテンツを再生リストとして選択するようになり、「Ａｌｂｕｍ １」の最初の曲を自動的に再生するようになる。

このように、モバイルフォン１００は、ジェスチャーが入力されると、コンテンツのメタデータにタグ付けされているジェスチャーを検索し、同じ形状ジェスチャーがメタデータにタグ付けされているコンテンツを再生リストとして選択して自動的に実行するようになる。
従って、ユーザはジェスチャーを入力するだけで、所望のコンテンツを簡単かつ便利に実行できるようになる。

以下で、図２３ないし図２７を参照しながら、ジェスチャーを変更する過程について説明する。図２３ないし図２７は、本発明の一実施形態に係るモバイルフォン１００を用いて音楽コンテンツのメタデータにタグ付けされているジェスチャーを変更する過程を示す図である。

図２３は、画面にアルバムリストが表示されている状態のモバイルフォン１００を示す図である。図２３に示すように、モバイルフォン１００は、アルバムリストで「Ａｌｂｕｍ １」にハイライト１２０１が位置している状態である。この状態で、ユーザによってメニュー項目１２２０にタッチ操作が入力されると、モバイルフォン１００は図２４に示すように、「Ａｌｂｕｍ １」に関連する機能に対するメニュー１２３０を画面に表示するようになる。

図２４は、「Ａｌｂｕｍ １」に関連する機能に対するメニュー１２３０が画面に表示されているモバイルフォン１００を示す図である。 図２４に示すように、メニュー１２３０は検索項目、選択再生項目、削除項目、選択削除項目、アルバム保存項目及びジェスチャー編集項目１２３５を含む。ここで、ユーザによってジェスチャー編集項目１２３５が選択されると、図２５に示すように、モバイルフォン１００はジェスチャー入力ウィンドウ１２４０を画面に表示する。

図２５は、「Ａｌｂｕｍ １」に対するジェスチャーを入力されるためのジェスチャー入力ウィンドウ１２４０が画面に表示されているモバイルフォン１００を示す図である。モバイルフォン１００は、ジェスチャー入力ウィンドウ１２４０に入力されたタッチ操作をジェスチャーとして認識するようになる。

図２６は、ユーザによってジェスチャー入力ウィンドウ１２４０に「Ａｌｂｕｍ １」に対するジェスチャーであるジェスチャー２（１２４５）が入力されることを示す図である。図２６に示すように、ユーザによってジェスチャー入力ウィンドウ１２４０にジェスチャー２（１２４５）が入力されると、モバイルフォン１００は「Ａｌｂｕｍ １」にタグ付けされているジェスチャーをジェスチャー１（１０５０）からジェスチャー２（１２４５）に変更するようになる。

図２７は、メタデータのアルバム情報にタグ付けされているジェスチャーがジェスチャー２（１２４５）に変更されたことを示す図である。図２７に示すように、「Ａｌｂｕｍ １」にジェスチャー２が同時にタグ付けされていることが確認できる。このように、モバイルフォン１００は、メタデータにタグ付けされているジェスチャーを変更することもできる。

上述のように、モバイルフォン１００は、メタデータにジェスチャーをタグ付けし、メタデータにタグ付けされているジェスチャーを用いてコンテンツを検索及び再生することができるようになる。
一方、本実施形態ではコンテンツが音楽コンテンツであるものとして説明してきたが、その他に多様なコンテンツにも適用可能である。例えば、コンテンツは音楽コンテンツ、イメージコンテンツ、動画コンテンツ及び文書コンテンツなどであってよい。

なお、本実施形態では、ジェスチャーがメタデータ内の情報のうちの一つに対応するものとして説明したが、ジェスチャーがメタデータを構成する一つの情報であってよい。例えば、メタデータがアルバム情報、アーティスト情報、ジャンル情報、ファイル名情報及びジェスチャー情報を含むように実現されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００・・・モバイルフォン
２００・・・中央保存装置
３１０、３２０、３３０、３４０・・・周辺装置

Claims (6)

1. ユーザ端末装置において、
   コンテンツに対するユーザのタッチ入力を受けるためのタッチスクリーンと、
   保存部と、
   前記ユーザのタッチ入力を前記コンテンツの全体を示すメタデータとしてタグ付けし、前記ユーザのタッチ入力によってタグ付けされた前記コンテンツのメタデータを前記保存部に保存するように制御する制御部と
   を含み、前記制御部は、あらたに入力された前記ユーザのタッチ入力の形態に対応する情報によって前記コンテンツを検索するように制御するユーザ端末装置。
2. 前記制御部は、
   前記タッチスクリーンを通じて入力された前記ユーザのタッチ入力を基に少なくとも１つの前記コンテンツを検索するように制御することを特徴とする請求項１に記載のユーザ端末装置。
3. 前記制御部は、
   前記ユーザのタッチ入力の形態に対応する形態に関する情報を含むメタデータを有する少なくとも１つの前記コンテンツを検索するように制御し、前記検索された少なくとも１つの前記コンテンツを前記タッチスクリーン上にディスプレイするように制御することを特徴とする請求項２に記載のユーザ端末装置。
4. 前記制御部は、
   前記コンテンツのメタデータとしてタグ付けされた前記ユーザのタッチ入力の形態による情報を前記コンテンツのメタデータとして含めて保存することを特徴とする請求項１に記載のユーザ端末装置。
5. ユーザ端末装置において、
   少なくとも１つのコンテンツを検索するためのユーザのタッチ入力が入力されるタッチスクリーンと、
   前記入力されたユーザのタッチ入力に対応する情報を含むメタデータを前記コンテンツの全体を示す情報として有する少なくとも１つの前記コンテンツを、あらたに入力されたユーザのタッチ入力の形態に対応する情報によって検索するように制御し、前記検索された少なくとも１つの前記コンテンツを前記タッチスクリーン上にディスプレイするように制御する制御部と
   を含むユーザ端末装置。
6. 前記制御部は、
   前記ユーザのタッチ入力の形態に対応する形態に関する情報を含むメタデータを有する少なくとも１つの前記コンテンツを検索するように制御し、前記検索された少なくとも１つの前記コンテンツを前記タッチスクリーン上にディスプレイするように制御することを特徴とする請求項５に記載のユーザ端末装置。