JP2016529637A - 音タグに基づいてデータアイテムを分類するための方法および装置 - Google Patents

音タグに基づいてデータアイテムを分類するための方法および装置 Download PDF

Info

Publication number
JP2016529637A
JP2016529637A JP2016538939A JP2016538939A JP2016529637A JP 2016529637 A JP2016529637 A JP 2016529637A JP 2016538939 A JP2016538939 A JP 2016538939A JP 2016538939 A JP2016538939 A JP 2016538939A JP 2016529637 A JP2016529637 A JP 2016529637A
Authority
JP
Japan
Prior art keywords
sound
data items
data item
mobile device
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016538939A
Other languages
English (en)
Inventor
パク、ミン−キュ
キム、テス
チョ、ヒュン−モク
キム、ダク−ホン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016529637A publication Critical patent/JP2016529637A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

モバイルデバイスにおいてデータアイテムをグループ化する方法が開示される。この方法では、複数のデータアイテムと、複数のデータアイテムの各々に関連付けられた音タグとが記憶され、音タグは、データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む。さらに、該方法は、新しいデータアイテムを生成することと、環境音を受け取ることと、環境音から音特徴を抽出することによって新しいデータアイテムに関連付けられた音タグを生成することと、複数のデータアイテムおよび新しいデータアイテムに関連付けられた音タグに基づいて複数のデータアイテムのうちの少なくとも１つとともに新しいデータアイテムをグループ化することと、を含むことができる。

Description

関連出願の相互参照
[0001] 本願は、２０１３年８月２７日に出願された米国非仮特許出願第１４／０１１，４３７号の優先権を主張し、その内容の全体を参照により明示的に本願に援用する。
[0002] 本開示は、一般に、モバイルデバイスにおいてデータアイテムを分類することに関する。より詳細には、本開示は、モバイルデバイスのコンテキスト情報に基づいてデータアイテムを分類することに関する。
[0003] 近年、スマートフォンやタブレットコンピュータなどのモバイルデバイスの使用が広くいきわたるようになってきた。これらのデバイスは、通常、データ通信および／または音声通信、インターネットのブラウジング、写真または動画の撮影、インターネットへのブログ投稿（blog posts）およびＳＮＳ（ソーシャルネットワークサービス）投稿（posts）のアップロード、電話またはテレビ電話、電子メール、テキストメッセージ、およびＭＭＳメッセージの送信、メモの作成など、様々な機能をユーザが実行することを可能にする。このような便利な機能により、ユーザは、通常、ほとんどいつもこのようなモバイルデバイスを自ら持ち運ぶ。
[0004] 従来のモバイルデバイスは、しばしば、モバイルデバイスに記憶できる写真やサウンドクリップなどのデータをキャプチャするために使用される。写真の場合、このようなモバイルデバイスは、写真が撮られたロケーションを示すために、ＧＰＳ（全地球測位システム）のロケーション情報で写真にタグ付けすることができる。ＧＰＳロケーション情報を用いることによって、指定された地理的ロケーションで撮られた写真が同じグループへと整理され得る。加えて、写真は、また、写真が撮られた時間でタグ付けされることもできる。その場合、写真は、時間情報にしたがって整理され得る。
[0005] しかし、従来のモバイルデバイスは、様々なコンテキストでデータアイテムをキャプチャし得る。例えば、写真が、同じロケーション（例えば、建物）において撮影されるが、異なるコンテキスト（例えば、建物内のレストランおよびコンビニエンスストア）を有することがある。また、写真が、異なるロケーションであるが、異なるロケーションのレストランなど、類似のコンテキストで撮影されることもある。このような場合、モバイルデバイスは、類似のまたは相違するコンテキストを十分に反映するように写真を整理することができないことがある。
[0006] 本開示は、モバイルデバイスにおいて音タグ（sound tag）に基づいてデータアイテムを分類する方法および装置を提供する。
[0007] 本開示の一態様によれば、モバイルデバイスにおいてデータアイテムをグループ化する方法が開示される。この方法では、複数のデータアイテムと複数のデータアイテムの各々に関連付けられた音タグとが記憶され、音タグは、データアイテムについての環境コンテキストを示す入力音から抽出された音特徴（sound feature）を含む。さらに、該方法は、新しいデータアイテムを生成することと、環境音（environmental sound）を受け取ることと、環境音から音特徴を抽出することによって新しいデータアイテムに関連付けられた音タグを生成することと、複数のデータアイテムおよび新しいデータアイテムに関連付けられた音タグに基づいて複数のデータアイテムのうちの少なくとも１つとともに新しいデータアイテムをグループ化することと、を含み得る。本開示は、また、この方法に関連する、装置、デバイス、システム、手段の組合せ、およびコンピュータ可読媒体について記載する。
[0008] 本開示のもう１つの態様によれば、モバイルデバイスにおいてデータアイテムをグループ化する方法が開示される。この方法は、第１のデータアイテムを生成することと、第１の環境音を受け取ることと、第１の環境音から第１の音特徴を抽出することによって第１の音タグを生成することと、を含む。さらに、方法は、第２のデータアイテムを生成することと、第２の環境音を受け取ることと、第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成することと、第１および第２の音タグに基づいて第１および第２のデータアイテムをグループ化することと、を含み得る。本開示は、また、この方法に関連する、装置、デバイス、システム、手段の組合せ、およびコンピュータ可読媒体について記載する。
[0009] 本開示のさらに他の態様によれば、モバイルデバイスは、記憶ユニット、データアイテム生成器、音センサ、音タグ生成器、およびグループ化ユニットを含む。記憶ユニットは、複数のデータアイテムと複数のデータアイテムの各々に関連付けられた音タグとを記憶するように構成され、音タグは、データアイテムに関する環境コンテキストを示す入力音から抽出された音特徴を含む。データアイテム生成器は、新しいデータアイテムを生成するように構成される。音センサは、環境音を受け取るように構成される。音タグ生成器は、環境音から音特徴を抽出することによって新しいデータアイテムに関連付けられた音タグを生成するように構成される。グループ化ユニットは、複数のデータアイテムおよび新しいデータアイテムに関連付けられた音タグに基づいて、複数のデータアイテムのうちの少なくとも１つとともに新しいデータアイテムをグループ化するように構成される。
[0010] 本開示のさらに別の態様によれば、モバイルデバイスは、データアイテム生成器、音センサ、音タグ生成器、およびグループ化ユニットを含む。データアイテム生成器は、第１のデータアイテムおよび第２のデータアイテムを生成するように構成される。音センサは、第１の環境音および第２の環境音を受け取るように構成される。音タグ生成器は、第１の環境音から第１の音特徴を抽出することによって第１の音タグを、第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成するように構成される。グループ化ユニットは、第１および第２の音タグに基づいて第１および第２のデータアイテムをグループ化するように構成される。
[0011] 本開示の独創的な態様の諸実施形態は、以下の詳細な説明を添付図面と併せて参照すれば、理解されよう。
図１は、本開示の一実施形態による、環境音に基づいて指定された地理的ロケーションにおいて生成された複数の写真、メモ、ブログ投稿、およびＳＮＳ投稿を含むデータアイテムをグループ化するように構成されたモバイルデバイスを示す。 図２は、本開示の一実施形態による、３つの異なる建物内で生成された複数の写真、メモ、ブログ投稿、およびＳＮＳ投稿を含むデータアイテムをグループ化するように構成されたモバイルデバイスを示す。 図３は、本開示の一実施形態による、音タグに基づいてデータアイテムを分類似することによってデータアイテムを生成しグループ化するように構成されたモバイルデバイスのブロック図である。 図４は、本開示の一実施形態による環境コンテキストを示す音タグに基づいてデータアイテムをグループ化するモバイルデバイスにおいて実施される方法のフローチャートである。 図５は、本開示の一実施形態による、環境音から音特徴、オーディオグループ識別子、およびコンテキストラベルを含む音タグを生成することを示す。 図６は、本開示の一実施形態による、音特徴として環境音からオーディオフィンガープリントを抽出するモバイルデバイスにおいて実施される例示的な方法のフローチャートである。 図７は、本開示の一実施形態による、音特徴として環境音からＭＦＣＣベクトルを抽出するモバイルデバイスにおいて実施される方法のフローチャートを示す。 図８は、本開示の一実施形態による、各データアイテムについて音特徴、オーディオグループ識別子、およびコンテキストラベルを含む音タグを生成することによってデータアイテムを分類またはグループ化するためのモバイルデバイス内の音タグ生成器および制御ユニットのより詳細なブロック図を示す。 図９は、本開示の一実施形態による、データアイテムが、音特徴、オーディオグループ識別子、およびコンテキストラベルを含む音タグでアペンドされた、例示的なタグ付きデータアイテムを示す。 図１０は、本開示の一実施形態による、選択されたデータアイテムに関連付けられた音特徴と他のデータアイテムに関連付けられた各音特徴との間の類似度値を決定することによって、他のデータアイテムとともに、選択されたデータアイテムをグループ化することを示す。 図１１は、本開示の一実施形態による、モバイルデバイスのディスプレイ画面上に単一のグループとして表示された、選択されたデータアイテムおよび他のデータアイテムを示す図である。 図１２は、本開示の一実施形態による、複数の入力オーディオグループ識別子についてのコンテキストラベルを示す例示的なコンテキストラベルデータベースの図である。 図１３は、本開示の一実施形態による、データアイテムに関連付けられた音タグ内のオーディオグループ識別子に基づいてモバイルデバイスのディスプレイ画面上に表示されたデータアイテムの複数のグループを示す図である。 図１４は、本開示のもう１つの実施形態における、データアイテムに関連付けられた音タグ内のコンテキストラベルに基づいてモバイルデバイスのディスプレイ画面上に表示されたデータアイテムの複数のグループを示す図である。 図１５は、音タグに基づいてデータアイテムを分類する方法および装置がいくつかの実施形態に従って実装され得る、例示的なモバイルデバイスのブロック図を示す。
詳細な説明
[0027] 図１は、本開示の一実施形態による、環境音に基づいて指定された地理的ロケーション１００において生成された複数の写真１１０、１２０、および１３０、メモ１１２、ブログ投稿１２２、およびＳＮＳ投稿１３２を含むデータアイテムをグループ化するように構成された、モバイルデバイス１４０を示す。示されるように、指定された地理的ロケーション１００は、建物１０２またはその近くにあり、モバイルデバイス１４０によって同じロケーションとして分類または識別され得る。指定された地理的ロケーション１００内のさまざまなロケーションにおいて、ユーザは、データアイテムを生成するようにモバイルデバイス１４０を操作することがある。
[0028] さまざまなロケーションで生成されたデータアイテムの各々について、モバイルデバイス１４０は、環境コンテキストを示すために環境音を受け取るまたはキャプチャするように構成され得る。一実施形態では、モバイルデバイス１４０は、予め定められた時間期間についてデータアイテムに関連付けられた環境音をキャプチャするように構成され得る。キャプチャされた環境音に基づいて、関連付けられたデータアイテムの環境コンテキストを示す音タグがモバイルデバイス１４０において生成され得る。データアイテムは、次いで、音タグに基づいてモバイルデバイス１４０によって複数のグループへと分類され得る。
[0029] ここに示された実施形態では、ユーザは、建物１０２の前の屋外、建物１０２内のレストラン、および建物１０２内の食料雑貨店など、指定された地理的ロケーション１００内の様々なロケーションにおいてモバイルデバイス１４０を操作し得る。さまざまなロケーションは、異なる環境コンテキストを有し得る。屋外のケースでは、ユーザは、写真１１０とメモ１１２を含むデータアイテムを生成するようにモバイルデバイス１４０を操作する。これらのデータアイテムの各々について、モバイルデバイス１４０は、風の騒音、交通の音、歩行の音などの屋外の音を含み得る、屋外環境を示す音タグを生成するために、環境音をキャプチャし得る。
[0030] ユーザがレストランにいるときには、ユーザは、写真１２０とブログ投稿１２２とを含むデータアイテムを生成するようにモバイルデバイス１４０を操作し得る。これらのデータアイテムの各々について、モバイルデバイス１４０は、環境音をキャプチャして、食器の音、音楽、食べ物の注文などの音を含み得る、レストラン環境を示す音タグを生成し得る。食料雑貨店のケースでは、ユーザは、写真１３０およびＳＮＳ投稿１３２を含むデータアイテムを生成するようにモバイルデバイス１４０を操作し得る。これらのデータアイテムの各々について、モバイルデバイス１４０は、ショッピングカート、キャッシュレジスタ、アナウンスの音のなどの音を含み得る、食料雑貨店の環境を示す音タグを生成するように環境音をキャプチャし得る。
[0031] 音タグに基づいて、モバイルデバイス１４０は、３つの異なる環境コンテキストにしたがってデータアイテムをグループＡ、Ｂ、Ｃに分類またはグループ分けし得る。例えば、写真１１０およびメモ１１２を含むデータアイテムは、屋外環境を示す音タグにしたがってグループＡへと集められ得る。他方、写真１２０およびブログ投稿１２２を含むデータアイテムは、レストラン環境を示す音タグにしたがってグループＢにグループ分けされ、写真１３０およびＳＮＳ投稿１３２を含むデータアイテムは、食料雑貨店の環境を示す音タグにしたがって、グループＣへと集められ得る。したがって、指定された地理的ロケーション１００内で生成された、同じデータタイプのデータアイテムならびに異なるデータタイプのデータアイテムが、環境コンテキストに従って異なるグループへとグループ分けされ得る。
[0032] 図２は、本開示の一実施形態による、３つの異なる建物２１０，２２０，２３０において生成された複数の写真２１２，２２２，２３２、メモ２１４、ブログ投稿２２４、およびＳＮＳ投稿２３４を含むデータアイテムをグループ分けするように構成されたモバイルデバイス１４０を示す。３つの建物２１０，２２０，２３０は、３つの異なる地理的ロケーションに位置し、異なるロケーションにあるものとしてモバイルデバイス１４０によって分類または識別される。建物２１０，２２０，２３０は、類似の環境コンテキストをもつ前提を含み得る。
[0033] ここに示されるように、建物２１０，２２０，２３０は、ユーザが類似の環境コンテキスト（たとえば、ビリヤードルーム）を有するデータアイテムを生成するようにモバイルデバイス１４０を操作し得る、ビリヤードルームを含む。建物２１０内に位置するビリヤードルームでは、ユーザは、写真２１２およびメモ２１４を含むデータアイテムを生成するようにモバイルデバイス１４０を操作し得る。一方、建物２２０内に位置するもう１つのビリヤードルームでは、ユーザは、写真２２２およびブログ投稿２２４を含むデータアイテムを生成するようにモバイルデバイス１４０を操作し得る。建物２３０内のさらに別のビリヤードルーム内では、ユーザは、写真２３２およびＳＮＳ投稿２３４を含むデータアイテムを生成するようにモバイルデバイス１４０を操作し得る。
[0034] データアイテムの各々が生成されるときには、モバイルデバイス１４０は、予め定められた時間期間について環境音をキャプチャし得る。キャプチャされた環境音は、ビリヤードのボールが互いにぶつかる音、キュースティックの音、回転するビリヤードのボールの音などの音を含み得る。キャプチャされた環境音から、モバイルデバイス１４０は、データアイテムの各々についてビリヤードの環境を示す音タグを生成し得る。データアイテムについての音タグに基づいて、モバイルデバイス１４０は、ビリヤード環境の類似のコンテキストを有するものとしてデータアイテムを決定し、写真２１２，２２２，２３２、メモ２１４、ブログ投稿２２４、およびＳＮＳ投稿２３４を含むデータアイテムを同じグループＸに分類またはグループ分けし得る。この方法では、異なる地理的ロケーションにおいて生成された同じデータタイプのデータアイテムも異なるデータタイプのデータアイテムも、それらの環境コンテキストにしたがって同じグループにグループ分けされ得る。
[0035] 図３は、本開示の一実施形態による、音タグに基づいてデータアイテムを分類することによってデータアイテムを生成しグループ分けするように構成されたモバイルデバイス１４０のブロック図を示す。モバイルデバイス１４０は、Ｉ／Ｏユニット３２０、データアイテム生成器３３０、音センサ３４０、音タグ生成器３５０、制御ユニット３６０、および記憶ユニット３７０を含み得る。モバイルデバイス１４０は、セルラー電話、スマートフォン、ラップトップコンピュータ、タブレットコンピュータ、ゲーミングデバイス、マルチメディアレコーダ／プレーヤなど、サウンドキャプチャおよび処理機能を具備する、データアイテムを生成することが可能な任意の適切なモバイルデバイスであり得る。
[0036] モバイルデバイス１４０において、データアイテム生成器３３０は、Ｉ／Ｏユニット３２０を介してデータアイテム生成器３３０を起動させる第１のユーザ入力に応答して起動され得る。一実施形態では、データアイテム生成器３３０は、任意のアプリケーション、デバイス、またはそれらの組合せであり得、カメラモジュール、カメラアプリケーション、イメージキャプチャアプリケーション、メモアプリケーション、ＳＮＳアプリケーション、ブログ生成アプリケーション、コンタクトアプリケーション、電話アプリケーション、アプリケーション実行ログモジュールなどを含む。データアイテム生成器３３０が作動されている間、Ｉ／Ｏユニット３２０を介したデータアイテムを生成するための第２のユーザ入力に応答してデータアイテムが生成され得る。例えば、カメラアプリケーションが、第１のユーザ入力によって起動されて、プレビューモードを開始し、第２のユーザ入力に応答して写真を生成し得る。同様に、メモアプリケーションは、第１のユーザ入力によって起動されて、メモエディタを開始し、第２のユーザ入力に従ってメモを生成し得る。別の実施形態では、データアイテム生成器３３０は、単一のユーザ入力に応答してデータアイテムを直接生成するように構成され得る。データアイテムが生成されたら、データアイテム生成器３３０は、制御ユニット３６０にデータアイテムを提供し得る。
[0037] 本明細書で使用するとき、データアイテムは、写真、メモ、ＳＮＳ投稿、ブログ投稿、コンタクト情報、着呼履歴、アプリケーション実行ログなど、指定されたフォーマットのオブジェクト、ファイル、または情報の任意のデータ表現でありうる。ＳＮＳ投稿またはブログ投稿のケースでは、オンライン投稿（on-line post）のコンテンツが通常はオンラインサーバに記憶されるので、データアイテムは、基本情報と、オンライン投稿へのリンクとを含み得る。タイトル、作成日、代表的なピクチャのサムネイルなどの基本情報は、Ｉ／Ｏユニット３２０上、たとえばディスプレイ画面上に、データアイテムとして出力され得る。代替的に、ＳＮＳ投稿またはブログ投稿に関するデータアイテムは、オンライン投稿のコンテンツ全体を含むこともできる。
[0038] 音センサ３４０は、データアイテムが生成される環境コンテキストを示す音タグを生成する際に使用するためのモバイルデバイス１４０の環境音３１０を受け取り、キャプチャするために起動され得る。データアイテム生成器３３０が起動されたときには、それは、データアイテムが生成され得ることの通知を音センサ３４０に送り得る。音センサ３４０が作動していない場合、通知が音センサ３４０を起動させ得る。それに応答して、音センサ３４０は、予め定められた時間期間にわたって環境音３１０をキャプチャし得る。
[0039] 一実施形態では、音センサ３４０は、第１のユーザ入力の後の予め定められた時間期間にわたって環境音３１０をキャプチャし得る。代替的に、音センサ３４０は、第２のユーザ入力の後の予め定められた時間期間にわたって環境音３１０をキャプチャすることもできる。ブログ投稿およびＳＮＳ投稿のようなデータアイテムのケースでは、環境音３１０は、ブログ投稿またはＳＮＳ投稿がユーザによって作成されている間にキャプチャされ得る。他の実施形態では、音センサ３４０は、単一のユーザ入力の後の予め定められた時間期間にわたって環境音３１０をキャプチャし得る。音センサ３４０は、１つまたは複数のマイクロフォン、あるいは、環境音３１０を受け取り、キャプチャし、および／またはデジタルデータに変換するために使用されることのできる他の任意のタイプの音センサを含むことができ、そのような機能を果たす任意の適切なソフトウェアおよび／またはハードウェアを用いることができる。
[0040] 音タグ生成器３５０は、キャプチャされた環境音３１０を音センサ３４０から受け取り、データアイテムについての環境コンテキストを示す音タグを生成するように構成され得る。音タグは、音特徴、オーディオグループ識別子、およびコンテキストラベルのうちの少なくとも１つを含むことができ、これについては以下で詳細に説明する。音タグ生成器３５０は、次いで、データアイテムを分類またはグループ分けする際の使用のために音タグを制御ユニット３６０に提供し得る。
[0041] 制御ユニット３６０は、データアイテム生成器３３０および音タグ生成器３５０から、それぞれ、データアイテムおよび関連する音タグを受け取り、音タグとデータアイテムとを結び付けることができる。データアイテムと音タグは、データアイテムに音タグをアペンド（append）することによって結合され得る。代替的に、音タグは、ポインタやデータベーステーブルなどを使用してデータアイテムとリンクされ、記憶ユニット３７０内にまとめてまたは別個に記憶されることもできる。制御ユニット３６０は、また、音タグにおいて示されたコンテキストに従ってデータアイテムを分類し得る。音タグと結合されたデータアイテムは、記憶ユニット３７０内に記憶され得る。記憶ユニット３７０は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、ＥＥＰＲＯＭ（登録商標）（電気的消去可能プログラマブルリードオンリーメモリ）、フラッシュメモリ、またはＳＳＤ（ソリッドステートドライブ）など、任意の適切なストレージまたはメモリデバイスを使用して実現され得る。
[0042] モバイルデバイス１４０は、複数のデータアイテムおよび関連する音タグを生成し記憶し得る。このような場合、制御ユニット３６０は、また、記憶ユニット３７０からデータアイテムおよびそれらの音タグにアクセスし、それらの音タグに基づいて１つまたは複数のグループにデータアイテムをグループ分けし得る。例えば、データアイテムは、それらの音タグが類似の環境コンテキストを示すときに同じグループにグループ分けされ得る。制御ユニット３６０は、データアイテムを生成または表示するためのユーザ入力を受け取り、タッチスクリーンディスプレイなどのＩ／Ｏユニット３２０を介して、生成またはグループ化されたデータアイテムを出力し得る。
[0043] 図４は、本開示の一実施形態による、環境コンテキストを示す音タグに基づいてデータアイテムをグループ化する、モバイルデバイス１４０において実施される方法４００のフローチャートである。はじめに、４１０において、データアイテム生成器３３０は、第１のユーザ入力を受信することに応答して起動され得る。起動されたデータアイテム生成器３３０は、４２０において、第２のユーザ入力に応答してデータアイテムを生成し得る。
[0044] ４３０において、音センサ３４０は、予め定められた時間期間にわたって環境音をキャプチャし得る。予め定められた時間期間は、データアイテムが生成された環境コンテキストを識別するのに十分なものである。一実施形態では、音センサ３４０は、データアイテムが生成され得ることを示す、データアイテム生成器３３０からの通知によって起動され得る。４４０において、音タグ生成器３５０は、キャプチャされた環境音に基づいて環境コンテキストを示すデータアイテムのための音タグを生成し得る。４３０において環境音がキャプチャされる間、または４４０において音タグが生成される間、４２０においてデータアイテムが生成され得る。いくつかの実施形態では、データアイテムは、４３０において環境音がキャプチャされる前に、または４４０において音タグが生成された後に、４２０において生成され得る。他の実施形態では、環境音の少なくとも一部分は、４２０においてデータアイテムを生成する時間中にキャプチャされ得る。
[0045] データアイテム生成器３３０および音タグ生成器３５０からデータアイテムおよび音タグを受信すると、４５０において、制御ユニット３６０は、音タグとデータアイテムとを結合し得る。音タグと結合されたデータアイテムは、記憶ユニット３７０に記憶され得る。次いで、方法４００は、４６０に進み、新しいデータアイテムが生成されるべきか否かを決定する。例えば、モバイルデバイス１４０がＩ／Ｏユニット３２０を介して別の第２の入力を受信したときに、新しいデータアイテムが生成されるべきことが決定され得る。新しいデータアイテムが生成されるべきであると決定された場合、方法４００は、４２０に戻って、新しいデータアイテムを生成し、そしてまた、４３０に戻って、その新しいデータアイテムについての新しい環境音をキャプチャする。そうでない場合、方法は、４７０に進み、制御ユニット３６０は、４２０で生成されたデータアイテムを分類またはグループ分けする。このケースでは、データアイテムは、関連付けられた音タグに基づいて記憶ユニット３７０に記憶された１つまたは複数のデータアイテムとともにグループ化され得る。
[0046] 図５は、本開示の一実施形態による、環境音３１０から、音特徴５１０、オーディオグループ識別子５２０、およびコンテキストラベル５３０を含む音タグ５００を生成することを示す。環境音３１０が受け取られたとき、音特徴５１０は、オーディオフィンガープリント法やＭＦＣＣ（メル周波数ケプストラム係数）法など、任意の適切な特徴抽出スキームを使用して抽出され得る。例えば、音特徴５１０は、オーディオフィンガープリント法の場合には、ｍの２進コードのシーケンス（たとえば、“110...111”）として表され得、ＭＦＣＣ法の場合には、ｎ次元の値を有するベクトル（例えば、ベクトル｛C1, C2, ..., Cn｝）として表され得る。いくつかの実施形態では、音タグ５００は、複数の音特徴、たとえば、オーディオフィンガープリントとして表される音特徴、およびＭＦＣＣベクトルとして表される別の音特徴を含み得る。
[0047] 別の実施形態では、抽出された音特徴５１０についてのオーディオグループ識別子５２０は、レファレンスオーディオグループデータベースにアクセスすることによって決定され得る。レファレンスオーディオグループデータベースは、複数のレファレンスオーディオグループを含み、それらの各々がオーディオグループ識別子に関連付けられる。各レファレンスオーディオグループは、オーディオサンプルトレーニングを通じて生成されることのできる統計的特性を含み得る。音特徴がそれに属するレファレンスオーディオグループは、ＥＭ（期待値最大化：Expectation Maximization）アルゴリズムなど、データグループを識別するために適合された任意のアルゴリズムを用いて決定され得る。例えば、ＥＭアルゴリズムが使用されるときには、レファレンスオーディオグループの各々に属する音特徴の確率値が計算される。確率値を計算した後、最も高い確率値をもつレファレンスオーディオグループが識別される。最も高い確率値をもつレファレンスオーディオグループに関連付けられたオーディオグループ識別子（例えば、オーディオグループ識別子「１」）が、音特徴５１０についてのオーディオグループ識別子５２０であると決定される。
[0048] さらに別の実施形態では、コンテキストラベル５３０は、コンテキストラベルデータベースにアクセスすることによって、オーディオグループ識別子５２０について識別され得る。コンテキストラベルデータベースは、オーディオグループ識別子についてのコンテキストラベルを含み得る。コンテキストラベルは、調整された（trained）オーディオサンプルに基づいてオーディオグループ識別子に割り当てられ得る。コンテキストラベルの各々は、環境コンテキストを識別する、テキストストリングあるいは１つまたは複数のワードであり得る。例えば、コンテキストラベル「ビリヤード（BILLIARD）」は、コンテキストラベルデータベース内のルックアップテーブルにアクセスすることによって、オーディオグループ識別子「１」について識別され得る。以下でより詳細に論じるように、オーディオグループ識別子のうちのいくつかは、たとえば、オーディオグループ識別子にコンテキストラベルを関連付ける十分なデータの欠如が原因で、割り当てられたコンテキストラベルを有さないことがある。
[0049] 図６は、本開示の一実施形態による、環境音３１０から音特徴５１０としてオーディオフィンガープリントを抽出する、モバイルデバイス１４０において実施される例示的な方法６００のフローチャートを示す。はじめに、６１０において、音センサ３４０は、環境音３１０を受け取り得る。通常、環境音３１０は、時間領域における信号のかたちで受け取られる。６２０において、時間領域信号を周波数領域信号に変換するために、環境音３１０に対してフーリエ変換操作が実施され得る。次いで、６３０において、周波数領域信号のスペクトルは、複数の周波数帯に分割され、各周波数帯について信号のパワーが計算され得る。
[0050] ６４０において、帯域パワーが予め定められたパワーを超えるときには２進値「１」が出力され、帯域パワーが予め定められたパワーを超えないときには２進値「０」が出力されるように、各帯域パワーに対して２値化処理操作が実施され得る。６４０で出力された２進値は、オーディオフィンガープリントにおいて２進コードとして使用され得る。図６に示した方法６００は、環境音３１０からオーディオフィンガープリントを抽出する例示的な方法であり、オーディオフィンガープリントを抽出するための他の任意の適切な方法が採用され得る。このような方法は、環境音３１０の様々な特性、例えば、平均ゼロ交差レート、推定テンポ、平均スペクトル、スペクトルフラットネス、帯域のセットにわたる顕著なトーン（prominent tones）、帯域幅など、を分析することができる。
[0051] 図７は、本開示の一実施形態による、環境音３１０から音特徴５１０としてＭＦＣＣベクトルを抽出する、モバイルデバイス１４０において実施される方法７００のフローチャートを示す。はじめに、７１０において、音センサ３４０は、時間領域信号のかたちで環境音３１０を受け取ることができる。時間領域信号は、７２０において、環境音３１０に対してフーリエ変換操作を行うことによって、周波数領域信号に変換される。７３０において、周波数領域信号のスペクトルは、複数の周波数帯に分割され、各周波数帯について信号のパワーが計算される。
[0052] ７４０において、計算された帯域パワーは、メル周波数を生成するために、重なり合う三角窓を使用してメル尺度上にマッピングされる。７５０において、メル対数パワーを生成するためにメル周波数に対して対数操作が実施され、次いで、７６０において、ＤＣＴ係数を生成するためにメル対数パワーに対してＤＣＴ（離散コサイン変換）操作が実施される。生成されたＤＣＴ係数は、ＭＦＣＣベクトル内の成分として使用され得る。
[0053] 図８は、本開示の一実施形態による、各データアイテムについて、音特徴、オーディオグループ識別子、およびコンテキストラベルを含む音タグを生成することによって、データアイテムを分類またはグループ分けする、モバイルデバイス１４０内の音タグ生成器３５０および制御ユニット３６０のより詳細なブロック図を示す。音タグ生成器３５０は、音特徴抽出器８１０、オーディオグループ判定ユニット８２０、およびコンテキストラベル識別ユニット８３０を含み得る。制御ユニット３６０は、タグ付けユニット８４０とグループ化ユニット８５０とを含み得る。モバイルデバイス１４０は、また、図３に関して前述したように、Ｉ／Ｏユニット３２０、データアイテム生成器３３０、音センサ３４０、記憶ユニット３７０を含み得る。
[0054] データアイテム生成器３３０がユーザ入力に応答してデータアイテムを生成するために起動されたときには、音センサ３４０は、また、予め定められた時間期間にわたって環境音を受け取りキャプチャするために起動され得る。音タグ生成器３５０内の音特徴抽出器８１０は、キャプチャされた環境音を音センサ３４０から受け取り、受け取った環境音から音特徴を抽出することができる。音特徴抽出器８１０では、受け取られた環境音から音特徴を抽出するために、オーディオフィンガープリンティング法、ＭＦＣＣ（メル周波数ケプストラム係数）法など、任意の適切な特徴抽出方法が使用され得る。音特徴抽出器８１０は、次いで、抽出された音特徴をオーディオグループ判定ユニット８２０に提供し得る。
[0055] 音特徴抽出器８１０から音特徴を受け取ると、オーディオグループ判定ユニット８２０は、記憶ユニット３７０内のレファレンスオーディオグループデータベースにアクセスし得る。レファレンスオーディオグループデータベースは、複数のレファレンスオーディオグループを含み、それらの各々がオーディオグループ識別子に関連付けられる。オーディオグループ判定ユニット８２０は、音特徴が属するレファレンスオーディオグループを決定し、関連するオーディオグループ識別子を出力し得る。
[0056] 音特徴が属するレファレンスオーディオグループは、ＥＭ（期待値最大化：Expectation Maximization）アルゴリズムなど、データグループを識別するように適合された任意のアルゴリズムを用いて決定され得る。例えば、ＥＭアルゴリズムが使用されるときには、オーディオグループ判定ユニット８２０は、レファレンスオーディオグループの各々に属する音特徴の確率値を計算する。確率値を計算した後で、オーディオグループ判定ユニット８２０は、最も高い確率値をもつレファレンスオーディオグループを識別する。オーディオグループ判定ユニット８２０は、次いで、最も高い確率値をもつレファレンスオーディオグループに関連するオーディオグループ識別子を、コンテキストラベル識別ユニット８３０に提供する。
[0057] コンテキストラベル識別ユニット８３０は、オーディオグループ判定ユニット８２０からオーディオグループ識別子を受け取り、記憶ユニット３７０からコンテキストラベルデータベースにアクセスし得る。コンテキストラベルデータベースは、オーディオグループ識別子についてのコンテキストラベルを含み得る。コンテキストラベルの各々は、環境コンテキスト（例えば、レストラン環境、ビリヤード環境、スタジアム環境など）を識別するテキストストリングまたは１つまたは複数のワードであり得る。以下でより詳細に説明するように、オーディオグループ識別子の一部は、たとえば、オーディオグループ識別子にコンテキストラベルを関連付ける十分なデータがないことに起因して、割り当てられたコンテキストラベルをもたないことがある。コンテキストラベル識別ユニット８３０は、その場合、コンテキストラベルデータベースにおいて受け取られたオーディオグループ識別子に関連付けられたコンテキストラベルを識別し、識別されたコンテキストラベルを出力し得る。
[0058] 音タグ生成器３５０は、関連するデータアイテムの環境コンテキストを示す音タグを生成し得る。一実施形態では、音タグ生成器３５０は、音特徴、オーディオグループ識別子、およびコンテキストラベルのうちの少なくとも１つを含む音タグを生成し、その音タグを制御ユニット３６０内のタグ付けユニット８４０に提供する。代替的に、音タグ生成器３５０は、音特徴、オーディオグループ識別子、およびコンテキストラベルのうちの少なくとも１つを、音タグとして使用されるようにタグ付けユニット８４０に提供することもできる。
[0059] 音タグに関連付けられたデータアイテムがデータアイテム生成器３３０内で生成されるときには、制御ユニット３６０内のタグ付けユニット８４０は、データアイテム生成器３３０からデータアイテムを受け取ることができる。加えて、タグ付けユニット８４０は、音タグ生成器３５０から、音特徴、オーディオグループ識別子、およびコンテキストラベルのうちの少なくとも１つを含むデータアイテムについての音タグを受け取ることができる。一実施形態では、データアイテムおよび音タグは、次いで、タグ付けユニット８４０によって、結合され、タグ付けされたデータアイテムとして出力され得る。他の実施形態では、音特徴、オーディオグループ識別子、およびコンテキストラベルのうちの少なくとも１つは、音タグ生成器３５０から受け取られて、タグ付けユニット８４０によって音タグとしてデータアイテムにアペンドされ得る。
[0060] データアイテムは、アペンドされた音タグに基づいてグループに分類され得る。例えば、データアイテムは、アペンドされた音タグ内のオーディオグループ識別子またはコンテキストラベルにしたがってグループへと分類され得る。音タグをアペンドされたデータアイテムは、記憶のために記憶ユニット３７０に提供されることができ、および／または、記憶ユニット３７０内に記憶され得る１つまたは複数のタグ付けされたデータアイテムとともにグループ化されるように、グループ化ユニット８５０に提供されることができる。
[0061] 制御ユニット３６０においては、グループ化ユニット８５０は、記憶ユニット３７０からアクセスされた１つまたは複数の他のタグ付けされたデータアイテムとともにグループ化するために、タグ付けユニット８４０からタグ付けされたデータアイテムを受け取ることができる。代替的に、タグ付けされたデータアイテムは、タグ付けユニット８４０によって記憶ユニット３７０内に記憶され得る。この場合、グループ化ユニット８５０は、記憶ユニット３７０に記憶された他のタグ付けされたデータアイテムとともにタグ付けされたデータアイテムにアクセスし、タグ付けされたデータアイテムをそれらの音タグに基づいてグループ分けし得る。グループ化ユニット８５０は、音タグ内の音特徴、オーディオグループ識別子、およびコンテキストラベルのうちのいずれか１つまたは組合せに基づいて、タグ付けされたデータアイテムをグループ分けすることができる。制御ユニット３６０は、また、ユーザ入力に応答してＩ／Ｏユニット３２０を介して出力するためにデータアイテムをグループ分けし得る。
[0062] 図９は、本開示の一実施形態による、データアイテム９１０が、音特徴９２２、オーディオグループ識別子９２４、およびコンテキストラベル９２６を含む音タグ９２０でアペンドされた、例示的なタグ付けされたデータアイテム９００を示す。音特徴９２２、オーディオグループ識別子９２４、およびコンテキストラベル９２６は、個別にまたは組合せで、データアイテム９１０の環境コンテキストを示し得る。ここに示された音タグ９２０は、音特徴９２２、オーディオグループ識別子９２４、およびコンテキストラベル９２６を含むが、音タグ９２０は、また、音特徴９２２、オーディオグループ識別子９２４、およびコンテキストラベル９２６のうちのいずれか１つまたはそれらの組合せを含むように構成されることもできる。加えて、データアイテム９１０、音特徴９２２、オーディオグループ識別子９２４、およびコンテキストラベル９２６のアペンドされる順序は、図９の例だけに限定されず、適切に決定されることができる。
[0063] 一実施形態では、複数のタグ付けされたデータアイテムがモバイルデバイス１４０において生成されたときには、それらは、関連付けられた音タグ内の音特徴に基づいてグループ分けされ得る。例えば、１対のデータアイテムについての音特徴が、類似度値を計算するために比較され得る。計算された類似度値が予め定められた類似度しきい値を超える場合、２つのデータアイテムは、図１０および図１１を参照してより詳細に説明するように、互いに類似であるものと決定され得る。
[0064] 他の実施形態では、複数のデータアイテムは、関連付けられたオーディオグループ識別子に基づいて同じグループへと分類またはグループ分けされ得る。この場合、同じオーディオグループ識別子を有するデータアイテムは、同じグループへと分類され得る。複数のデータアイテムは、また、関連付けられたコンテキストラベルに基づいて分類またはグループ分けされ得る。この場合、同じコンテキストラベルを有するデータアイテムが１つのグループにまとめられ得る。関連付けられたオーディオグループ識別子およびコンテキストラベルに基づいてデータアイテムを分類およびグループ分けすることについては、以下で図１３および図１４を参照してより詳細に説明する。
[0065] 図１０は、本開示の一実施形態による、選択されたデータアイテム１０１０に関連付けられた音特徴と、データアイテム１０２０〜１０４０に関連付けられた各音特徴との間の類似度値を決定することによって、選択されたデータアイテム１０１０を他のデータアイテム１０２０，１０３０，および１０４０とともにグループ化することを示す。はじめに、グループ化されるべきデータアイテム１０１０が、それが生成されたときに、またはユーザ入力に応答して、選択され得る。データアイテム１０２０，１０３０，および１０４０の各々について、選択されたデータアイテム１０１０の音特徴と、データアイテム１０２０，１０３０，または１０４０に関連付けられた音特徴との間の類似度値が計算され得る。
[0066] １対の音特徴の間の類似度値が、マハラノビス距離、ｐ−ｎｏｒｍ距離、ハミング距離、ユークリッド距離、マンハッタン距離、チェビシェフ距離など、任意の適切な距離メトリックを用いて計算され得る。例えば、音特徴として使用されたオーディオフィンガープリントのケースでは、類似度値は、１対のオーディオフィンガープリント間のハミング距離を計算し、その距離の乗法逆元（multiplicative inverse）をとることによって決定され得る。音特徴としてＭＦＣＣベクトルを使用するケースでは、１対のＭＦＣＣベクトル間のユークリッド距離を計算し、その距離の乗法逆元をとることによって、類似度値が決定され得る。
[0067] １対のデータアイテムについて類似度値が決定されたら、その類似度値は、予め定められた類似度しきい値と比較され得る。類似度値がしきい値を超える場合、２つのデータアイテムは、類似する環境コンテキストを有するものと決定され、したがって同じグループへとグループ分けされ得る。他方、類似度値がしきい値を超えない場合、データアイテムは、異なった環境コンテキストを有するものと見なされ、同じグループにはグループ分けされない。
[0068] ここに示された実施形態では、データアイテム１０１０に関連する音特徴とデータアイテム１０２０〜１０３０の音特徴との間の類似度値が決定され、例えば０．６であるものと予め定められた、類似度しきい値と比較される。データアイテム１０１０と１０２０の音特徴間の決定された類似度値（すなわち、Ｓ１２）は、０．８であり、これは、あらかじめ定められた類似度しきい値よりも大きい。したがって、データアイテム１０１０および１０２０は、類似の環境コンテキストを有するものと決定され、１つのグループにまとめられることができる。データアイテム１０１０と１０３０の音特徴について、決定された類似度値０．７（すなわち、Ｓ１３）は、あらかじめ定められた類似度しきい値よりも大きい。したがって、データアイテム１０１０と１０３０は、また、類似の環境コンテキストを有するものと決定され、同じグループにグループ分けされることができる。他方、データアイテム１０１０と１０４０の音特徴の間の類似度値（すなわち、Ｓ１４）は０．５であり、これは、あらかじめ定められた値０．６よりも小さい。したがって、データアイテム１０１０と１０４０は、異なる環境コンテキストを有するものと決定され、１つのグループにはまとめられない。以上のグループ分けに基づいて、データアイテム１０１０，１０２０，１０３０が単一のグループとしてグループ分けされ、表示され得る。
[0069] 図１１は、本開示の一実施形態による、モバイルデバイス１４０のディスプレイ画面１１００上に単一のグループとして表示された、選択されたデータアイテム１０１０と、データアイテム１０２０および１０３０とを示す。ここに示されるように、選択されたデータアイテム１０１０は、モバイルデバイス１４０のディスプレイ画面１１００の上部１１１０に表示され得る。データアイテム１０２０および１０３０は、ディスプレイ画面１１００の下部１１２０に、選択されたデータアイテム１１１０と類似のコンテキストを有するものとして表示され得る。このように、モバイルデバイス１４０は、あるデータアイテムを、キャプチャされた環境音から抽出された音特徴に基づいて類似のコンテキストを有する他のデータアイテムとともに、グループ化し、表示することができる。
[0070] 図１２は、本開示の一実施形態による、複数の入力オーディオグループ識別子にういてのコンテキストラベルを示す例示的なコンテキストラベルデータベース１２００である。コンテキストラベルデータベース１２００は、Ｎ個のオーディオグループ識別子に関連付けられたＮ個のコンテキストラベルを含み得る。ここに示された実施形態では、コンテキストラベル「ビリヤード（BILLIARD）」、「スタジアム（STADIUM）」、「レストラン（RESTAURANT）」、および「車（CAR）」が、それぞれ、オーディオグループ識別子「１」、「３」、「Ｎ−２」、および「Ｎ−１」に関連付けられる。コンテキストラベルデータベース１２００は、ルックアップテーブル、あるいはオーディオグループ識別子をコンテキストラベルに関連付ける他の任意のデータ構造として実現され得る。
[0071] 図８に関して前述したように、コンテキストラベル識別ユニット８３０は、オーディオグループ識別子に基づいてコンテキストラベルデータベース１２００にアクセスし、オーディオグループ識別子に関連付けられたコンテキストラベルを識別し得る。例えば、オーディオグループ識別子「３」が受け取られるときには、コンテキストラベル識別ユニット８３０は、コンテキストラベル「スタジアム」を識別し、出力する。同様に、コンテキストラベル「レストラン」は、オーディオグループ識別子「Ｎ−２」について出力され得る。
[0072] コンテキストラベルデータベース１２００において、オーディオグループ識別子（例えば、オーディオグループ識別子「２」および「Ｎ」）についてユニークなコンテキストラベルが利用可能でない場合、コンテキストラベル「不明（UNKNOWN）」が割り当てられ得る。一実施形態では、コンテキストラベル「不明」を有するデータアイテムは、同じグループへと分類されグループ分けされ得る。この方法で、データアイテムが、それらのコンテキストラベルに従って分類されグループ分けされ得る。
[0073] 図１３は、本開示の一実施形態による、データアイテムに関連付けられた音タグ内のオーディオグループ識別子に基づいてモバイルデバイス１４０のディスプレイ画面１１００上に表示されたデータアイテムの複数のグループ１３１０，１３２０，１３３０，１３４０を示す。以上で図１および図２に関して説明したように、複数の写真２１２，２２２，２３２、メモ２１４、ブログ投稿２２４、およびＳＮＳ投稿２３４が、ビリヤード環境において生成され、同じオーディオグループ識別子（たとえば、図１２ではオーディオグループ識別子「１」）と結び付けられている。したがって、データアイテム２１２，２１４，２２２，２２４，２３２，２３４は、データアイテムの第１のグループ１３１０としてグループ分けされ表示され得る。
[0074] 写真１３０およびＳＮＳ投稿１３２は、食料雑貨店の環境で生成され、同じオーディオグループ識別子と結び付けられる。したがって、データアイテム１３０および１３２は、データアイテムの第２のグループ１３２０としてグループ分けされ表示され得る。写真１２０およびブログ投稿１２２は、レストラン環境で生成され、同じオーディオグループ識別子と結び付けられる。したがって、データアイテム１２０および１２２は、データアイテムの第３のグループ１３３０としてグループ分けされ、表示され得る。写真１１０およびメモ１１２は、屋外環境で生成され、同じオーディオグループ識別子と結び付けられる。したがって、データアイテム１１０および１１２は、データアイテムの第４のグループ１３４０としてグループ分けされ表示され得る。
[0075] 一実施形態では、グループ１３１０〜１３４０の各々が、グループ１３１０〜１３４０を区別するためにオーディオグループ番号（たとえば、図１３に示されるように「オーディオグループ１」〜「オーディオグループ４」）とともに表示され得る。追加的にまたは代替的に、グループ１３１０〜１３４０についてのオーディオグループ識別子の各々に関連付けられたコンテキストラベルは、モバイルデバイス１４０のディスプレイ画面１１００上に表示されることもできる。例えば、コンテキストラベル「ビリヤード」および「レストラン」が、データアイテムの第１のグループ１３１０および第３のグループ１３３０の上方に表示され、他方、コンテキストラベル「不明」が、データアイテムの第２のグループ１３２０および第４のグループ１３４０の上方に表示され得る。
[0076] 図１４は、本開示のもう１つの実施形態における、データアイテムに関連付けられた音タグ内のコンテキストラベルに基づいてモバイルデバイス１４０のディスプレイ画面１１００上に表示されたデータアイテムの複数のグループ１４１０，１４２０，１４３０を示す。以上で図１および図２に関して説明したように、複数の写真２１２，２２２，２３２、メモ２１４、ブログ投稿２２４、およびＳＮＳ投稿２３４が、ビリヤード環境において生成され、コンテキストラベル「ビリヤード」と結び付けられている。したがって、データアイテム２１２，２１４，２２２，２２４，２３２，２３４は、データアイテムの第１のグループ１４１０としてグループ分けされ表示され得る。写真１２０およびブログ投稿１２２は、レストラン環境において生成され、同じコンテキストラベル「レストラン」と結び付けられる。よって、データアイテム１２０および１２２は、データアイテムの第２のグループ１４２０としてグループ分けされ表示され得る。
[0077] 図１４に示された例では、写真１１０およびメモ１１２は、屋外の環境で生成され、コンテキストラベル「不明」と結び付けられる。さらに、写真１３０およびＳＮＳ投稿１３２は、食料雑貨店の環境で生成され、コンテキストラベル「不明」と結び付けられる。データアイテム１１０および１１２についてのオーディオグループ識別子は、データアイテム１３０および１３２についてのオーディオグループ識別子とは異なるものであり得るが、異なるオーディオグループ識別子が同じコンテキストラベル「不明」に関連付けられる。よって、データアイテム１１０，１１２、１３０，１３２は、同じコンテキストラベル「不明」に従ってグループ分けされ、データアイテムの第３のグループ１４３０に一緒に表示され得る。図１４に示されるように、グループ１４１０〜１４３０の各々が、グループ１４１０〜１４３０を区別するためにコンテキストラベル（例えば、「ビリヤード」、「レストラン」、および「不明」）とともに表示され得る。
[0078] 図１５は、本開示のいくつかの実施形態に従ってデータアイテムを分類またはグループ化するための方法および装置が実装され得る、ワイヤレス通信システム内のモバイルデバイス１５００のブロック図を示す。モバイルデバイス１５００は、セルラー電話、端末、ハンドセット、携帯情報端末（ＰＤＡ）、ワイヤレスモデム、コードレス電話、タブレットなどであり得る。ワイヤレス通信システムは、符号分割多元接続（ＣＤＭＡ）システム、移動体通信用グローバルシステム（ＧＳＭ（登録商標））システム、ワイドバンドＣＤＭＡ（Ｗ−ＣＤＭＡ（登録商標））システム、ロングタームエボリューション（ＬＴＥ（登録商標））システム、ＬＴＥアドバンストシステムなどであり得る。
[0079] モバイルデバイス１５００は、受信パスおよび送信パスを介して双方向通信を提供することが可能でありうる。受信パスでは、基地局によって送信された信号は、アンテナ１５１２によって受信され、受信機（ＲＣＶＲ）１５１４に提供される。受信機１５１４は、受信された信号を調整およびデジタル化し、更なる処理のために、調整されデジタル化された信号をデジタルセクション１５２０に提供する。送信パスでは、送信機（ＴＭＴＲ）が、送信されるべきデータをデジタルセクション１５２０から受信し、このデータを処理および調整し、変調された信号を生成し、これは、アンテナ１５１２を介して基地局に送信される。受信機１５１４および送信機１５１６は、ＣＤＭＡ、ＧＳＭ、Ｗ−ＣＤＭＡ、ＬＴＥ、ＬＴＥアドバンストなどをサポートするトランシーバの一部である。
[0080] デジタルセクション１５２０は、例えば、モデムプロセッサ１５２２、縮小命令セットコンピュータ／デジタルシグナルプロセッサ（ＲＩＳＣ／ＤＳＰ）１５２４、コントローラ／プロセッサ１５２６、内部メモリ１５２８、汎用オーディオエンコーダ１５３２、汎用オーディオデコーダ１５３４、グラフィックス／ディスプレイプロセッサ１５３６、および／または外部バスインタフェース（ＥＢＩ）１５３８などの様々な処理、インタフェース、およびメモリのユニットを含む。モデムプロセッサ１５２２は、例えば、符号化、変調、復調、および復号など、データの送信および受信のための処理を実行する。ＲＩＳＣ／ＤＳＰ１５２４は、モバイルデバイス１５００のための汎用および専用の処理を実行する。コントローラ／プロセッサ１５２６は、デジタルセクション１５２０内の様々な処理およびインタフェースのユニットの動作を制御する。内部メモリ１５２８は、デジタルセクション１５２０内の様々なユニットのためのデータおよび／または命令を記憶する。
[0081] 汎用オーディオエンコーダ１５３２は、オーディオソース１５４２、マイクロフォン１５４３などからの入力信号について符号化を実施する。汎用オーディオデコーダ１５３４は、コーディングされたオーディオデータについて復号を実施し、出力信号をスピーカ／ヘッドセット１５４４に提供する。汎用オーディオエンコーダ１５３２および汎用オーディオデコーダ１５３４は、オーディオソース、マイクロフォン１５４３、およびスピーカ／ヘッドセット１５４４とのインタフェースのために必ずしも必要ではなく、したがって、モバイルデバイス１５００においては示されていないことに留意されたい。グラフィックス／ディスプレイプロセッサ１５３６は、グラフィックス、ビデオ、イメージ、およびテキストのための処理を実行し、これは、ディスプレイユニット１５４６に提示される。ＥＢＩ １５３８は、デジタルセクション１５２０とメインメモリ１５４８の間のデータ転送を容易にする。
[0082] デジタルセクション１５２０は、１つまたは複数のプロセッサ、ＤＳＰ、マイクロプロセッサ、ＲＩＳＣなどにより実装され得る。デジタルセクション１５２０はまた、１つ以上の特定用途向け集積回路（ＡＳＩＣ）および／または何らかの他のタイプの集積回路（ＩＣ）上で組み立てられ得る。
[0083] 一般に、ここに説明された任意のデバイスは、無線電話、セルラー電話、ラップトップコンピュータ、無線マルチメディアデバイス、無線通信パーソナルコンピュータ（ＰＣ）カード、ＰＤＡ、外部または内部モデム、無線チャネルを通じて通信するデバイスなどのような、様々なタイプのデバイスを示す。デバイスは、アクセス端末（ＡＴ）、アクセスユニット、加入者ユニット、移動局、モバイルデバイス、モバイルユニット、携帯電話、モバイル、遠隔局、遠隔端末、遠隔ユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイス等のような、様々な名称を有し得る。本明細書に記載された任意のデバイスは、命令およびデータを記憶するためのメモリ、並びにハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを有し得る。
[0084] ここで説明された技法は、様々な手段によってインプリメントされる。例えば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせでインプリメントされる。当業者であれば、ここでの開示に関連して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合せとしてインプリメントされうることをさらに理解するであろう。ハードウェアとソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、概してそれらの機能の点から以上で説明された。このような機能が、ハードウェアとしてインプリメントされるか、あるいはソフトウェアとしてインプリメントされるかは、特定の用途およびシステム全体に課せられる設計制約に依存する。当業者であれば、特定の用途の各々について多様な方法で、説明された機能をインプリメントしうるが、このようなインプリメンテーションの決定は、本開示の範囲から逸脱を引き起こしていると解釈されるべきでない。
[0085] ハードウェアインプリメンテーションの場合、これら技法を実行するために使用される処理ユニットは、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタルシグナル処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、ここに説明された機能を実行するために設計されたその他の電子ユニット、コンピュータ、またはこれらの組み合わせ内でインプリメントされる。
[0086] したがって、ここでの開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡまたはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいはここに説明された機能を実行するように設計されるこれらの任意の組み合わせで、インプリメントまたは実行される。汎用プロセッサは、マイクロプロセッサでありうるが、代替において、このプロセッサは、任意の従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシン（state machine）でありうる。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、あるいはその他任意のこのような構成であるコンピューティングデバイスの組み合わせとしてインプリメントされうる。
[0087] ソフトウェアでインプリメントされる場合、これら機能は、コンピュータ可読媒体上で、１つまたは複数の命令またはコードとして送信または記憶されうる。コンピュータ可読媒体は、１つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体とコンピュータ記憶媒体との両方を含む。記憶媒体は、コンピュータによってアクセスされうる任意の利用可能な媒体でありうる。限定ではなく例として、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたはその他の光ディスク記憶装置、磁気ディスク記憶装置またはその他の磁気記憶デバイス、あるいは、データ構造または命令の形式で所望のプログラムコードを記憶または搬送するために使用可能であり、かつコンピュータによってアクセスされうるその他任意の媒体を備えうる。さらに、任意の接続は、厳密にはコンピュータ可読媒体と称される。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、またはその他の遠隔ソースから送信される場合には、この同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のような無線技術は、媒体の定義に含まれる。ここで使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイ（登録商標）ディスクを含み、ここでディスク（disks）は、通常磁気的にデータを再生し、一方ディスク（discs）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
［00120] 本開示の上述記載は、当業者が本開示を実施または使用することを可能にするために提供される。本開示への様々な修正は、当業者にとって容易に明らかであり、ここに定義された一般的な原理は、本開示の趣旨または範囲から逸脱することなく、他のバリエーションにも適用される。したがって、本開示は、ここに説明された例に限定されるようには意図されず、ここに開示された原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
[0089] 典型的なインプリメンテーションは、１つまたは複数のスタンドアロン（stand-alone）コンピュータシステムのコンテキストにおいて、本開示の主題事項の態様を利用することを述べているが、主題事項は、それに限定されず、むしろ、ネットワークまたは分散型コンピューティング環境などの、任意のコンピューティング環境に関連してインプリメントされうる。さらに、現在開示されている主題事項の態様は、複数の処理チップまたはデバイスで、またはそれらにわたって実現され得、記憶装置は、複数のデバイスにわたって同様に達成され得る。このようなデバイスは、ＰＣ、ネットワークサーバ、およびハンドヘルドデバイスを含みうる。
[0090] 主題について、構造上の特徴および／または方法的な動作（acts）に特有の表現で説明してきたが、添付の特許請求の範囲に定義される主題事項は、上記に説明された特定の特徴または動作に必ずしも限定されないことが理解されるべきである。むしろ、上記に説明された特定の特徴または動作は、特許請求の範囲を実現する形態の例として開示されている。
[0090] 主題について、構造上の特徴および／または方法的な動作（acts）に特有の表現で説明してきたが、添付の特許請求の範囲に定義される主題事項は、上記に説明された特定の特徴または動作に必ずしも限定されないことが理解されるべきである。むしろ、上記に説明された特定の特徴または動作は、特許請求の範囲を実現する形態の例として開示されている。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
モバイルデバイスにおいてデータアイテムをグループ化する方法であって、
複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶することと、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
新しいデータアイテムを生成することと、
環境音を受け取ることと、
前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成することと、
前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することと、
を備える方法。
［Ｃ２］
前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記抽出された音特徴についてオーディオグループ識別子を決定することを備える、上記Ｃ１に記載の方法。
［Ｃ３］
前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記オーディオグループ識別子についてコンテキストラベルを識別することをさらに備える、上記Ｃ２に記載の方法。
［Ｃ４］
前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、
前記複数のデータアイテムのうちの１つを選択することと、
前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記新しいデータアイテムと前記選択されたデータアイテムとをグループ化することと、
を備える、上記Ｃ１に記載の方法。
［Ｃ５］
前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、前記オーディオグループ識別子に基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することを備える、上記Ｃ２に記載の方法。
［Ｃ６］
前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、前記コンテキストラベルに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することを備える、上記Ｃ３に記載の方法。
［Ｃ７］
前記モバイルデバイス上に前記複数のデータアイテムのうちの少なくとも１つと前記新しいデータアイテムとを含む前記グループ化されたデータアイテムを表示することをさらに備える、上記Ｃ１に記載の方法。
［Ｃ８］
前記環境音は、予め定められた時間期間にわたって受け取られる、上記Ｃ１に記載の方法。
［Ｃ９］
前記環境音の少なくとも一部分は、前記新しいデータアイテムを生成する前記時間中に受け取られる、上記Ｃ８に記載の方法。
［Ｃ１０］
前記音特徴は、オーディオフィンガープリントまたはＭＦＣＣベクトルである、上記Ｃ１に記載の方法。
［Ｃ１１］
前記複数のデータアイテムおよび前記新しいデータアイテムの各々は、写真、ＳＮＳ投稿、ブログ投稿、メモ、コンタクト情報、着呼履歴、およびアプリケーション実行履歴のうちの１つである、上記Ｃ１に記載の方法。
［Ｃ１２］
前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、上記Ｃ１に記載の方法。
［Ｃ１３］
モバイルデバイスにおいてデータアイテムをグループ化する方法であって、
第１のデータアイテムを生成することと、
第１の環境音を受け取ることと、
前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを生成することと、
第２のデータアイテムを生成することと、
第２の環境音を受け取ることと、
前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成することと、
前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化することと、
を備える方法。
［Ｃ１４］
前記第１の音タグを生成することは、前記第１の音特徴について第１のオーディオグループ識別子を決定することを備え、ここで、
前記第２の音タグを生成することは、前記第２の音特徴について第２のオーディオグループ識別子を決定することを備える、上記Ｃ１３に記載の方法。
［Ｃ１５］
前記第１の音タグを生成することは、前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することをさらに備え、ここで、
前記第２の音タグを生成することは、前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することをさらに備える、上記Ｃ１４に記載の方法。
［Ｃ１６］
前記第１および第２のデータアイテムをグループ化することは、
前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
を備える、上記Ｃ１３に記載の方法。
［Ｃ１７］
前記第１および第２のデータアイテムをグループ化することは、前記第１および第２のオーディオグループ識別子に基づいて前記第１および第２のデータアイテムをグループ化することを備える、上記Ｃ１４に記載の方法。
［Ｃ１８］
前記第１および第２のデータアイテムをグループ化することは、前記第１および第２のコンテキストラベルに基づいて前記第１および第２のデータアイテムをグループ化することを備える、上記Ｃ１５に記載の方法。
［Ｃ１９］
前記第１および第２のデータアイテムのデータタイプが異なる、上記Ｃ１３に記載の方法。
［Ｃ２０］
モバイルデバイスであって、
複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶するように構成された記憶ユニットと、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
新しいデータアイテムを生成するように構成されたデータアイテム生成器と、
環境音を受け取るように構成された音センサと、
前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成するように構成された音タグ生成器と、
前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化するように構成されたグループ化ユニットと、
を備えるモバイルデバイス。
［Ｃ２１］
前記音タグ生成器は、前記抽出された音特徴についてオーディオグループ識別子を決定するようにさらに構成された、上記Ｃ２０に記載のモバイルデバイス。
［Ｃ２２］
前記音タグ生成器は、前記オーディオグループ識別子についてコンテキストラベルを識別するようにさらに構成された、上記Ｃ２１に記載のモバイルデバイス。
［Ｃ２３］
前記グループ化ユニットは、
前記複数のデータアイテムのうちの１つを選択することと、
前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記新しいデータアイテムと前記選択されたデータアイテムとをグループ化することと、
を行うようにさらに構成された、上記Ｃ２０に記載のモバイルデバイス。
［Ｃ２４］
前記グループ化ユニットは、前記オーディオグループ識別子に基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化するようにさらに構成された、上記Ｃ２１に記載のモバイルデバイス。
［Ｃ２５］
前記グループ化ユニットは、前記コンテキストラベルに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化するようにさらに構成された、上記Ｃ２２に記載のモバイルデバイス。
［Ｃ２６］
前記複数のデータアイテムのうちの少なくとも１つと前記新しいデータアイテムとを含む前記グループ化されたデータアイテムを表示するように構成された出力ユニットをさらに備える、上記Ｃ２０に記載のモバイルデバイス。
［Ｃ２７］
前記環境音は、予め定められた時間期間にわたって受け取られる、上記Ｃ２０に記載のモバイルデバイス。
［Ｃ２８］
前記環境音の少なくとも一部分は、前記新しいデータアイテムを生成する前記時間中に受け取られる、上記Ｃ２７に記載のモバイルデバイス。
［Ｃ２９］
前記音特徴は、オーディオフィンガープリントまたはＭＦＣＣベクトルである、上記Ｃ２０に記載のモバイルデバイス。
［Ｃ３０］
前記複数のデータアイテムおよび前記新しいデータアイテムの各々は、写真、ＳＮＳ投稿、ブログ投稿、メモ、コンタクト情報、着呼履歴、およびアプリケーション実行履歴のうちの１つである、上記Ｃ２０に記載のモバイルデバイス。
［Ｃ３１］
前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、上記Ｃ２０に記載のモバイルデバイス。
［Ｃ３２］
モバイルデバイスであって、
第１のデータアイテムおよび第２のデータアイテムを生成するように構成されたデータアイテム生成器と、
第１の環境音および第２の環境音を受け取るように構成された音センサと、
前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを、前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成するように構成された音タグ生成器と、
前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化するように構成されたグループ化ユニットと、
を備えるモバイルデバイス。
［Ｃ３３］
前記音タグ生成器は、
前記第１の音特徴について第１のオーディオグループ識別子を決定することと、
前記第２の音特徴について第２のオーディオグループ識別子を決定することと、
を行うようにさらに構成された、上記Ｃ３２に記載のモバイルデバイス。
［Ｃ３４］
前記音タグ生成器は、
前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することと、
前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することと、
を行うようにさらに構成された、上記Ｃ３３に記載のモバイルデバイス。
［Ｃ３５］
前記グループ化ユニットは、
前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
を行うようにさらに構成された、上記Ｃ３２に記載のモバイルデバイス。
［Ｃ３６］
前記グループ化ユニットは、前記第１および第２のオーディオグループ識別子に基づいて前記第１および第２のデータアイテムをグループ化するようにさらに構成された、上記Ｃ３３に記載のモバイルデバイス。
［Ｃ３７］
前記グループ化ユニットは、前記第１および第２のコンテキストラベルに基づいて前記第１および第２のデータアイテムをグループ化するようにさらに構成された、上記Ｃ３４に記載のモバイルデバイス。
［Ｃ３８］
前記第１および第２のデータアイテムのデータタイプが異なる、上記Ｃ３２に記載のモバイルデバイス。
［Ｃ３９］
モバイルデバイスであって、
複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶する手段と、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
新しいデータアイテムを生成する手段と、
環境音を受け取る手段と、
前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成する手段と、
前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化する手段と、
を備えるモバイルデバイス。
［Ｃ４０］
前記音タグを生成する前記手段は、前記抽出された音特徴についてオーディオグループ識別子を決定するように構成された、上記Ｃ３９に記載のモバイルデバイス。
［Ｃ４１］
前記音タグを生成する前記手段は、前記オーディオグループ識別子についてコンテキストラベルを識別するようにさらに構成された、上記Ｃ４０に記載のモバイルデバイス。
［Ｃ４２］
前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化する前記手段は、
前記複数のデータアイテムのうちの１つを選択することと、
前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記新しいデータアイテムおよび前記選択されたデータアイテムをグループ化することと、
を行うように構成された、上記Ｃ３９に記載のモバイルデバイス。
［Ｃ４３］
前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、上記Ｃ３９に記載のモバイルデバイス。
［Ｃ４４］
モバイルデバイスであって、
第１のデータアイテムおよび第２のデータアイテムを生成する手段と、
第１の環境音および第２の環境音を受け取る手段と、
前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを、前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成する手段と、
前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化する手段と、
を備えるモバイルデバイス。
［Ｃ４５］
前記第１の音タグおよび前記第２の音タグを生成する前記手段は、
前記第１の音特徴について第１のオーディオグループ識別子を決定することと、
前記第２の音特徴について第２のオーディオグループ識別子を決定することと、
を行うように構成された、上記Ｃ４４に記載のモバイルデバイス。
［Ｃ４６］
前記第１の音タグおよび前記第２の音タグを生成する前記手段は、
前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することと、
前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することと、
を行うようにさらに構成された、上記Ｃ４５に記載のモバイルデバイス。
［Ｃ４７］
前記第１および第２のデータアイテムをグループ化する前記手段は、
前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
を行うように構成された、上記Ｃ４４に記載のモバイルデバイス。
［Ｃ４８］
前記第１および第２のデータアイテムのデータタイプが異なる、上記Ｃ４４に記載のモバイルデバイス。
［Ｃ４９］
モバイルデバイスにおいてデータアイテムをグループ化する命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶することと、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
新しいデータアイテムを生成することと、
環境音を受け取ることと、
前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成することと、
前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することと、
の動作を実行させる、非一時的コンピュータ可読記憶媒体。
［Ｃ５０］
前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記抽出された音特徴についてオーディオグループ識別子を決定することを備える、上記Ｃ４９に記載の媒体。
［Ｃ５１］
前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記オーディオグループ識別子についてコンテキストラベルを識別することをさらに備える、上記Ｃ５０に記載の媒体。
［Ｃ５２］
前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、
前記複数のデータアイテムのうちの１つを選択することと、
前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記新しいデータアイテムと前記選択されたデータアイテムとをグループ化することと、
を備える、上記Ｃ４９に記載の媒体。
［Ｃ５３］
前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、上記Ｃ４９に記載の媒体。
［Ｃ５４］
モバイルデバイスにおいてデータアイテムをグループ化する命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
第１のデータアイテムを生成することと、
第１の環境音を受け取ることと、
前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを生成することと、
第２のデータアイテムを生成することと、
第２の環境音を受け取ることと、
前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成することと、
前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化することと、
の動作を実行させる、非一時的コンピュータ可読記憶媒体。
［Ｃ５５］
前記第１の音タグを生成することは、前記第１の音特徴について第１のオーディオグループ識別子を決定することを備え、
前記第２の音タグを生成することは、前記第２の音特徴について第２のオーディオグループ識別子を決定することを備える、上記Ｃ５４に記載の媒体。
［Ｃ５６］
前記第１の音タグを生成することは、前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することをさらに備え、
前記第２の音タグを生成することは、前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することをさらに備える、上記Ｃ５５に記載の媒体。
［Ｃ５７］
前記第１および第２のデータアイテムをグループ化することは、
前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
を備える、上記Ｃ５４に記載の媒体。
［Ｃ５８］
前記第１および第２のデータアイテムのデータタイプが異なる、上記Ｃ５４に記載の媒体。

Claims (58)

  1. モバイルデバイスにおいてデータアイテムをグループ化する方法であって、
    複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶することと、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
    新しいデータアイテムを生成することと、
    環境音を受け取ることと、
    前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成することと、
    前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することと、
    を備える方法。
  2. 前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記抽出された音特徴についてオーディオグループ識別子を決定することを備える、請求項１に記載の方法。
  3. 前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記オーディオグループ識別子についてコンテキストラベルを識別することをさらに備える、請求項２に記載の方法。
  4. 前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、
    前記複数のデータアイテムのうちの１つを選択することと、
    前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記新しいデータアイテムと前記選択されたデータアイテムとをグループ化することと、
    を備える、請求項１に記載の方法。
  5. 前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、前記オーディオグループ識別子に基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することを備える、請求項２に記載の方法。
  6. 前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、前記コンテキストラベルに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することを備える、請求項３に記載の方法。
  7. 前記モバイルデバイス上に前記複数のデータアイテムのうちの少なくとも１つと前記新しいデータアイテムとを含む前記グループ化されたデータアイテムを表示することをさらに備える、請求項１に記載の方法。
  8. 前記環境音は、予め定められた時間期間にわたって受け取られる、請求項１に記載の方法。
  9. 前記環境音の少なくとも一部分は、前記新しいデータアイテムを生成する前記時間中に受け取られる、請求項８に記載の方法。
  10. 前記音特徴は、オーディオフィンガープリントまたはＭＦＣＣベクトルである、請求項１に記載の方法。
  11. 前記複数のデータアイテムおよび前記新しいデータアイテムの各々は、写真、ＳＮＳ投稿、ブログ投稿、メモ、コンタクト情報、着呼履歴、およびアプリケーション実行履歴のうちの１つである、請求項１に記載の方法。
  12. 前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、請求項１に記載の方法。
  13. モバイルデバイスにおいてデータアイテムをグループ化する方法であって、
    第１のデータアイテムを生成することと、
    第１の環境音を受け取ることと、
    前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを生成することと、
    第２のデータアイテムを生成することと、
    第２の環境音を受け取ることと、
    前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成することと、
    前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化することと、
    を備える方法。
  14. 前記第１の音タグを生成することは、前記第１の音特徴について第１のオーディオグループ識別子を決定することを備え、ここで、
    前記第２の音タグを生成することは、前記第２の音特徴について第２のオーディオグループ識別子を決定することを備える、請求項１３に記載の方法。
  15. 前記第１の音タグを生成することは、前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することをさらに備え、ここで、
    前記第２の音タグを生成することは、前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することをさらに備える、請求項１４に記載の方法。
  16. 前記第１および第２のデータアイテムをグループ化することは、
    前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
    を備える、請求項１３に記載の方法。
  17. 前記第１および第２のデータアイテムをグループ化することは、前記第１および第２のオーディオグループ識別子に基づいて前記第１および第２のデータアイテムをグループ化することを備える、請求項１４に記載の方法。
  18. 前記第１および第２のデータアイテムをグループ化することは、前記第１および第２のコンテキストラベルに基づいて前記第１および第２のデータアイテムをグループ化することを備える、請求項１５に記載の方法。
  19. 前記第１および第２のデータアイテムのデータタイプが異なる、請求項１３に記載の方法。
  20. モバイルデバイスであって、
    複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶するように構成された記憶ユニットと、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
    新しいデータアイテムを生成するように構成されたデータアイテム生成器と、
    環境音を受け取るように構成された音センサと、
    前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成するように構成された音タグ生成器と、
    前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化するように構成されたグループ化ユニットと、
    を備えるモバイルデバイス。
  21. 前記音タグ生成器は、前記抽出された音特徴についてオーディオグループ識別子を決定するようにさらに構成された、請求項２０に記載のモバイルデバイス。
  22. 前記音タグ生成器は、前記オーディオグループ識別子についてコンテキストラベルを識別するようにさらに構成された、請求項２１に記載のモバイルデバイス。
  23. 前記グループ化ユニットは、
    前記複数のデータアイテムのうちの１つを選択することと、
    前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記新しいデータアイテムと前記選択されたデータアイテムとをグループ化することと、
    を行うようにさらに構成された、請求項２０に記載のモバイルデバイス。
  24. 前記グループ化ユニットは、前記オーディオグループ識別子に基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化するようにさらに構成された、請求項２１に記載のモバイルデバイス。
  25. 前記グループ化ユニットは、前記コンテキストラベルに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化するようにさらに構成された、請求項２２に記載のモバイルデバイス。
  26. 前記複数のデータアイテムのうちの少なくとも１つと前記新しいデータアイテムとを含む前記グループ化されたデータアイテムを表示するように構成された出力ユニットをさらに備える、請求項２０に記載のモバイルデバイス。
  27. 前記環境音は、予め定められた時間期間にわたって受け取られる、請求項２０に記載のモバイルデバイス。
  28. 前記環境音の少なくとも一部分は、前記新しいデータアイテムを生成する前記時間中に受け取られる、請求項２７に記載のモバイルデバイス。
  29. 前記音特徴は、オーディオフィンガープリントまたはＭＦＣＣベクトルである、請求項２０に記載のモバイルデバイス。
  30. 前記複数のデータアイテムおよび前記新しいデータアイテムの各々は、写真、ＳＮＳ投稿、ブログ投稿、メモ、コンタクト情報、着呼履歴、およびアプリケーション実行履歴のうちの１つである、請求項２０に記載のモバイルデバイス。
  31. 前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、請求項２０に記載のモバイルデバイス。
  32. モバイルデバイスであって、
    第１のデータアイテムおよび第２のデータアイテムを生成するように構成されたデータアイテム生成器と、
    第１の環境音および第２の環境音を受け取るように構成された音センサと、
    前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを、前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成するように構成された音タグ生成器と、
    前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化するように構成されたグループ化ユニットと、
    を備えるモバイルデバイス。
  33. 前記音タグ生成器は、
    前記第１の音特徴について第１のオーディオグループ識別子を決定することと、
    前記第２の音特徴について第２のオーディオグループ識別子を決定することと、
    を行うようにさらに構成された、請求項３２に記載のモバイルデバイス。
  34. 前記音タグ生成器は、
    前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することと、
    前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することと、
    を行うようにさらに構成された、請求項３３に記載のモバイルデバイス。
  35. 前記グループ化ユニットは、
    前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
    を行うようにさらに構成された、請求項３２に記載のモバイルデバイス。
  36. 前記グループ化ユニットは、前記第１および第２のオーディオグループ識別子に基づいて前記第１および第２のデータアイテムをグループ化するようにさらに構成された、請求項３３に記載のモバイルデバイス。
  37. 前記グループ化ユニットは、前記第１および第２のコンテキストラベルに基づいて前記第１および第２のデータアイテムをグループ化するようにさらに構成された、請求項３４に記載のモバイルデバイス。
  38. 前記第１および第２のデータアイテムのデータタイプが異なる、請求項３２に記載のモバイルデバイス。
  39. モバイルデバイスであって、
    複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶する手段と、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
    新しいデータアイテムを生成する手段と、
    環境音を受け取る手段と、
    前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成する手段と、
    前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化する手段と、
    を備えるモバイルデバイス。
  40. 前記音タグを生成する前記手段は、前記抽出された音特徴についてオーディオグループ識別子を決定するように構成された、請求項３９に記載のモバイルデバイス。
  41. 前記音タグを生成する前記手段は、前記オーディオグループ識別子についてコンテキストラベルを識別するようにさらに構成された、請求項４０に記載のモバイルデバイス。
  42. 前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化する前記手段は、
    前記複数のデータアイテムのうちの１つを選択することと、
    前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記新しいデータアイテムおよび前記選択されたデータアイテムをグループ化することと、
    を行うように構成された、請求項３９に記載のモバイルデバイス。
  43. 前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、請求項３９に記載のモバイルデバイス。
  44. モバイルデバイスであって、
    第１のデータアイテムおよび第２のデータアイテムを生成する手段と、
    第１の環境音および第２の環境音を受け取る手段と、
    前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを、前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成する手段と、
    前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化する手段と、
    を備えるモバイルデバイス。
  45. 前記第１の音タグおよび前記第２の音タグを生成する前記手段は、
    前記第１の音特徴について第１のオーディオグループ識別子を決定することと、
    前記第２の音特徴について第２のオーディオグループ識別子を決定することと、
    を行うように構成された、請求項４４に記載のモバイルデバイス。
  46. 前記第１の音タグおよび前記第２の音タグを生成する前記手段は、
    前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することと、
    前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することと、
    を行うようにさらに構成された、請求項４５に記載のモバイルデバイス。
  47. 前記第１および第２のデータアイテムをグループ化する前記手段は、
    前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
    を行うように構成された、請求項４４に記載のモバイルデバイス。
  48. 前記第１および第２のデータアイテムのデータタイプが異なる、請求項４４に記載のモバイルデバイス。
  49. モバイルデバイスにおいてデータアイテムをグループ化する命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
    複数のデータアイテムと前記複数のデータアイテムの各々に関連付けられた音タグとを記憶することと、ここで、前記音タグは、前記データアイテムについての環境コンテキストを示す入力音から抽出された音特徴を含む、
    新しいデータアイテムを生成することと、
    環境音を受け取ることと、
    前記環境音から音特徴を抽出することによって前記新しいデータアイテムに関連付けられた音タグを生成することと、
    前記複数のデータアイテムおよび前記新しいデータアイテムに関連付けられた前記音タグに基づいて前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することと、
    の動作を実行させる、非一時的コンピュータ可読記憶媒体。
  50. 前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記抽出された音特徴についてオーディオグループ識別子を決定することを備える、請求項４９に記載の媒体。
  51. 前記新しいデータアイテムに関連付けられた前記音タグを生成することは、前記オーディオグループ識別子についてコンテキストラベルを識別することをさらに備える、請求項５０に記載の媒体。
  52. 前記複数のデータアイテムのうちの少なくとも１つとともに前記新しいデータアイテムをグループ化することは、
    前記複数のデータアイテムのうちの１つを選択することと、
    前記新しいデータアイテムに関連付けられた前記音特徴と前記選択されたデータアイテムに関連付けられた前記音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記新しいデータアイテムと前記選択されたデータアイテムとをグループ化することと、
    を備える、請求項４９に記載の媒体。
  53. 前記グループ化されたデータアイテムは、異なるデータタイプのデータアイテムを含む、請求項４９に記載の媒体。
  54. モバイルデバイスにおいてデータアイテムをグループ化する命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサに、
    第１のデータアイテムを生成することと、
    第１の環境音を受け取ることと、
    前記第１の環境音から第１の音特徴を抽出することによって第１の音タグを生成することと、
    第２のデータアイテムを生成することと、
    第２の環境音を受け取ることと、
    前記第２の環境音から第２の音特徴を抽出することによって第２の音タグを生成することと、
    前記第１および第２の音タグに基づいて前記第１および第２のデータアイテムをグループ化することと、
    の動作を実行させる、非一時的コンピュータ可読記憶媒体。
  55. 前記第１の音タグを生成することは、前記第１の音特徴について第１のオーディオグループ識別子を決定することを備え、
    前記第２の音タグを生成することは、前記第２の音特徴について第２のオーディオグループ識別子を決定することを備える、請求項５４に記載の媒体。
  56. 前記第１の音タグを生成することは、前記第１のオーディオグループ識別子について第１のコンテキストラベルを識別することをさらに備え、
    前記第２の音タグを生成することは、前記第２のオーディオグループ識別子について第２のコンテキストラベルを識別することをさらに備える、請求項５５に記載の媒体。
  57. 前記第１および第２のデータアイテムをグループ化することは、
    前記第１の音特徴と前記第２の音特徴との間の類似度値を計算することと、
    前記類似度値がしきい値を超える場合、前記第１および第２のデータアイテムをグループ化することと、
    を備える、請求項５４に記載の媒体。
  58. 前記第１および第２のデータアイテムのデータタイプが異なる、請求項５４に記載の媒体。
JP2016538939A 2013-08-27 2014-08-07 音タグに基づいてデータアイテムを分類するための方法および装置 Pending JP2016529637A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/011,437 2013-08-27
US14/011,437 US20150066925A1 (en) 2013-08-27 2013-08-27 Method and Apparatus for Classifying Data Items Based on Sound Tags
PCT/US2014/050200 WO2015031022A1 (en) 2013-08-27 2014-08-07 Method and apparatus for classifying data items based on sound tags

Publications (1)

Publication Number Publication Date
JP2016529637A true JP2016529637A (ja) 2016-09-23

Family

ID=51494491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538939A Pending JP2016529637A (ja) 2013-08-27 2014-08-07 音タグに基づいてデータアイテムを分類するための方法および装置

Country Status (6)

Country Link
US (1) US20150066925A1 (ja)
EP (1) EP3039579A1 (ja)
JP (1) JP2016529637A (ja)
KR (1) KR20160047485A (ja)
CN (1) CN105474212A (ja)
WO (1) WO2015031022A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189973A (ja) * 2020-06-03 2021-12-13 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6295228B2 (ja) * 2015-04-07 2018-03-14 東芝テック株式会社 販売データ処理装置、サーバおよびプログラム
US10198498B2 (en) * 2015-05-13 2019-02-05 Rovi Guides, Inc. Methods and systems for updating database tags for media content
WO2017024501A1 (zh) * 2015-08-11 2017-02-16 赵政荣 归类数据时的信息提醒方法和数据交流系统
WO2017024500A1 (zh) * 2015-08-11 2017-02-16 赵政荣 数据交流方法和数据交流系统
US11146865B2 (en) 2016-03-03 2021-10-12 Comcast Cable Communications, Llc Determining points of interest in a content item
US10191990B2 (en) * 2016-11-21 2019-01-29 Comcast Cable Communications, Llc Content recommendation system with weighted metadata annotations
CN106951091B (zh) * 2017-03-29 2020-06-23 联想(北京)有限公司 处理方法及设备
US10048973B1 (en) * 2017-09-22 2018-08-14 Harman International Industries, Incorporated Sequential activity intelligent personal assistant
WO2019073907A1 (ja) 2017-10-13 2019-04-18 シチズン時計株式会社 工作機械
US11094316B2 (en) * 2018-05-04 2021-08-17 Qualcomm Incorporated Audio analytics for natural language processing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4659681B2 (ja) * 2005-06-13 2011-03-30 パナソニック株式会社 コンテンツタグ付け支援装置およびコンテンツタグ付け支援方法
KR100703703B1 (ko) * 2005-08-12 2007-04-06 삼성전자주식회사 음향 입출력 확장 방법 및 장치
KR100856407B1 (ko) * 2006-07-06 2008-09-04 삼성전자주식회사 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법
CN101271528B (zh) * 2008-04-11 2012-06-27 北京中星微电子有限公司 一种输出图像的方法及装置
WO2011001002A1 (en) * 2009-06-30 2011-01-06 Nokia Corporation A method, devices and a service for searching
US8706276B2 (en) * 2009-10-09 2014-04-22 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for identifying matching audio
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
CN101799876B (zh) * 2010-04-20 2011-12-14 王巍 一种视音频智能分析管控系统
US8892497B2 (en) * 2010-05-17 2014-11-18 Panasonic Intellectual Property Corporation Of America Audio classification by comparison of feature sections and integrated features to known references
US9679257B2 (en) * 2010-07-01 2017-06-13 Nokia Technologies Oy Method and apparatus for adapting a context model at least partially based upon a context-related search criterion
US9224388B2 (en) * 2011-03-04 2015-12-29 Qualcomm Incorporated Sound recognition method and system
JP5333517B2 (ja) * 2011-05-26 2013-11-06 ヤマハ株式会社 データ処理装置およびプログラム
US8924345B2 (en) * 2011-09-26 2014-12-30 Adobe Systems Incorporated Clustering and synchronizing content
US8862589B2 (en) * 2013-03-15 2014-10-14 Geofeedia, Inc. System and method for predicting a geographic origin of content and accuracy of geotags related to content obtained from social media and other content providers

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189973A (ja) * 2020-06-03 2021-12-13 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7244458B2 (ja) 2020-06-03 2023-03-22 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
CN105474212A (zh) 2016-04-06
WO2015031022A1 (en) 2015-03-05
KR20160047485A (ko) 2016-05-02
US20150066925A1 (en) 2015-03-05
EP3039579A1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
JP2016529637A (ja) 音タグに基づいてデータアイテムを分類するための方法および装置
JP6062379B2 (ja) コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置
JP5905494B2 (ja) 類似のサウンド環境においてモバイルデバイスを識別するための方法および装置
US10373620B2 (en) Keyword determinations from conversational data
US10346929B2 (en) Computer-vision content detection for connecting objects in media to users
JP5819435B2 (ja) モバイルデバイスのロケーションを決定するための方法および装置
CN104170413B (zh) 基于环境上下文控制移动装置中的应用程序
JP2019212290A (ja) ビデオを処理する方法及び装置
JP2016532146A (ja) 音声動作式機能にキーワードモデルを割り当てるための方法および装置
JP2016522910A (ja) キーワード検出のための適応的オーディオフレーム処理
CN111276123B (zh) 一种语音播报留言的方法、装置、计算机设备及存储介质
CN102782751A (zh) 社会网络中的数字媒体语音标签
TW201018298A (en) Data access based on content of image recorded by a mobile device
JP5989781B2 (ja) モバイル環境における漸進的パターンマッチングのための方法および装置
WO2016115716A1 (zh) 一种语音播放方法和语音播放设备
JP2015517709A (ja) コンテキストに基づくメディアを適応配信するシステム
TW202022849A (zh) 語音資料的識別方法、裝置及系統
JP2018055525A (ja) テキスト抽出装置
TW201418997A (zh) 經由音訊發布訊息的系統及方法
CN108287873A (zh) 数据处理方法及相关产品
KR20240066808A (ko) 미디어 파일로부터 추출한 텍스트를 이용하여 미디어 메시지를 검색하는 방법 및 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160426