JP2016066366A - コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置 - Google Patents

コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置 Download PDF

Info

Publication number
JP2016066366A
JP2016066366A JP2015234821A JP2015234821A JP2016066366A JP 2016066366 A JP2016066366 A JP 2016066366A JP 2015234821 A JP2015234821 A JP 2015234821A JP 2015234821 A JP2015234821 A JP 2015234821A JP 2016066366 A JP2016066366 A JP 2016066366A
Authority
JP
Japan
Prior art keywords
sound
client devices
similarity
descriptor
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2015234821A
Other languages
English (en)
Inventor
テス・キム
Taesu Kim
キュ・ウォン・ホワン
Kyu Woong Hwang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016066366A publication Critical patent/JP2016066366A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08User group management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】複数のクライアントデバイスをグループ化するための方法、サーバ及び媒体を提供する。【解決手段】音環境410、420、430の複数のクライアントデバイス412、422、432から音記述子を受信することを含む。音記述子は環境音から抽出される。音記述子の各々はサーバに送信され、サーバ480は、クライアントデバイスから受信した音記述子の類似度を判断する。サーバは、音記述子の類似度に基づいて、複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化する。【選択図】図4

Description

本開示は、一般に、クライアントデバイスをグループ化することに関する。より詳細には、本開示は、クライアントデバイスの環境音に基づいてクライアントデバイスをグループ化するための方法および装置に関する。
現代のモバイル通信システムは、モバイルデバイスユーザに様々なサービスを提供する。そのようなシステムは、しばしば、モバイルデバイスのロケーション情報に基づいて、モバイルデバイスユーザに広告およびソーシャルネットワーキングサービスを提供する。ユーザのモバイルデバイスのロケーション情報は、サービスプロバイダがユーザの環境を推論することと、ユーザにより多くのターゲットされた広告およびソーシャルネットワークサービスを提供することとを可能にする。
1つの従来の方法は、GPS(全地球測位システム)を使用することによってモバイルデバイスのロケーションを判断する。モバイル通信システムは、GPSを使用することによって判断されたモバイルデバイスのロケーションに基づいて、近くのロケーションにあるモバイルデバイスを識別し得る。ロケーション情報に基づいて、システムは、識別されたモバイルデバイスのユーザにソーシャルネットワーキングサービスを提供し得る。たとえば、サービスプロバイダは、同じロケーションにあると判断されたモバイルデバイスのユーザに同じ広告情報を提供し得る。
残念ながら、ロケーションベースのサービスを提供するシステムなど、従来のシステムは、ユーザのロケーションにかかわらず、アクティビティ、環境など、ユーザのコンテキストに基づいて、ユーザにターゲットされたサービスを提供することが可能でないことがある。上記で説明した方法を使用すると、ロケーション情報に基づいてサービスが提供されるので、一般に、同じ概略的なロケーションまたは近くのロケーションにある、たとえば、同じショッピングモールにあるモバイルデバイスに同じサービスが提供される。しかしながら、サービスプロバイダは、異なるショッピングモールにいるユーザに同じターゲットされた広告情報を提供することが可能でないことがある。
したがって、ユーザのコンテキスト情報に基づく、クライアントデバイスのユーザへのより多くのターゲットされたサービスの配信を可能にするために、クライアントデバイスのユーザをグループ化するための方法および装置が必要である。
本開示は、コンテキスト類似度(context similarity)に基づいてクライアントデバイスをグループ化するための方法および装置を提供する。
本開示の一態様によれば、複数のクライアントデバイスをグループ化するための方法が開示される。本方法は、複数のクライアントデバイスから音記述子(sound descriptor)を受信することを含む。各クライアントデバイスは環境音から音記述子を抽出する。音記述子はサーバに送信され、サーバは、クライアントデバイスから受信した音記述子の類似度を判断する。サーバは、音記述子の類似度に基づいて、クライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化する。本開示では、本方法に関係する装置、サーバ、手段の組合せ、およびコンピュータ可読媒体についても説明する。
本開示の別の態様によれば、受信機と、類似度処理ユニットと、グループ化ユニットとを含むサーバが提供される。受信機は、複数のクライアントデバイスから音記述子を受信するように構成され、音記述子は、各クライアントデバイスによってキャプチャされた環境音から抽出される。類似度処理ユニットは、クライアントデバイスから受信した音記述子の類似度を判断するように適応される。また、グループ化ユニットにおいて、複数のクライアントデバイスは、音記述子の類似度に基づいて類似コンテキストグループにグループ化される。
本開示のさらに別の態様によれば、音センサーと、音プロセッサと、送信ユニットとを含むクライアントデバイスが提供される。音センサーは、環境音をキャプチャするように構成される。また、音プロセッサは、キャプチャされた環境音から音記述子を抽出するように構成される。音記述子は、クライアントデバイスからの音記述子と他のクライアントデバイスからの音記述子との類似度に基づいて、複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するように構成されたサーバに送信ユニットによって送信される。
一実施形態による、実質的に同等の環境音に基づいてクライアントデバイスをグループ化するためのシステムの概観を示す図。 一実施形態による、類似環境音に基づいてクライアントデバイスをグループ化するためのシステムの概観を示す図。 一実施形態による、環境音シーケンスから経時的に抽出された音記述子に基づいて、クライアントデバイスをグループ化するためのシステムの概観図。 一実施形態による、サーバと複数のクライアントデバイスとを含む、クライアントデバイスをグループ化するためのシステムを示す図。 一実施形態による、類似コンテキスト中にあるクライアントデバイスをグループ化する際に使用する、クライアントデバイスによって実行される方法のフローチャート。 一実施形態による、類似コンテキスト中にあるクライアントデバイスをグループ化することと、各クライアントデバイスのコンテキストを判断することとのための、サーバによって実行される方法のフローチャート。 16個のクラスタにクラスタリングされたトレーニング音成分の例示的な2次元クラスタ分布を示す図。 複数のクライアントデバイスにおいて生成された環境音の例示的なヒストグラムを示す図。 一実施形態による、クライアントデバイスのより詳細なブロック図。 別の実施形態による、クライアントデバイスのより詳細なブロック図。 一実施形態による、クライアントデバイスのコンテキストを判断するための、サーバによって実行される方法のフローチャート。 一実施形態による、ヒストグラムに基づいてクライアントデバイスをグループ化するための、サーバによって実行される方法のフローチャート。 別の実施形態による、ヒストグラムから導出された類似度行列に基づいてクライアントデバイスをグループ化するための、サーバによって実行される方法のフローチャート。 一実施形態による、ワイヤレス通信システムにおける例示的なクライアントデバイスのブロック図。
次に、図面を参照しながら様々な実施形態について説明する。図面全体にわたって、同様の要素を指すのに同様の参照番号を使用する。以下の記述では、説明の目的で、1つまたは複数の実施形態の完全な理解を与えるために多数の具体的な詳細を記載する。ただし、そのような(1つまたは複数の)実施形態は、これらの具体的な詳細なしに実施され得ることは明らかであろう。他の例では、1つまたは複数の実施形態の説明を円滑にするために、よく知られている構造およびデバイスをブロック図の形態で示す。
以下で説明するいくつかの実施形態では、サーバがクライアントデバイスから環境音を記述する情報を収集する、クライアントサーバシステムが採用され得る。クライアントデバイスは、セルラーフォン、ラップトップ、車中で使用するデバイスなど、任意の好適なユーザデバイスを含み得る。いくつかの他の実施形態では、サーバは、クライアントデバイスを含むピアツーピアシステムにおいてクライアントデバイスとして実装され得る。
図1に、一実施形態による、実質的に同等の環境音に基づいてクライアントデバイス110とクライアントデバイス120とをグループ化するためのシステム100の概観を示す。このシステムでは、クライアントデバイス110および120は、それぞれロケーション130および140において環境音をキャプチャし、環境音から音特徴を抽出する。クライアントデバイス110および120は、ネットワーク150を介して音特徴をサーバ180に送る。サーバ180は、クライアントデバイス110とクライアントデバイス120とから受信した2つの音特徴が同じであるかどうかを判断する。たとえば、クライアントデバイス110および120のユーザが、それぞれ異なるロケーション130および140において同じTV番組を見ている場合、これらのロケーションにおける環境音は実質的に同等のTV音を示し、実質的に同じ音特徴が抽出されることになり得る。ロケーション130とロケーション140とにおける2つの環境音から抽出された音特徴に基づいて、サーバ180は、次いで、クライアントデバイス110とクライアントデバイス120とを同じコンテキスト中にあるものとしてグループ化またはクラスタリングする。サーバ180は、クライアントデバイス110および120にグループ化結果(たとえば、類似クライアントリスト)および/またはコンテキスト情報(たとえば、クライアントデバイス環境を記述するロケーション、アクティビティなど)を与え得る。グループ化結果および/またはコンテキスト情報に基づいて、サーバ180は、クライアントデバイス110および120にソーシャルネットワーキングサービスなどのターゲットされたサービスを提供することができる。本明細書で使用する、特定のクライアントデバイスの「コンテキスト」は、ユーザが働いているオフィス、ユーザがユーザの友人とともに昼食をとっているレストラン、およびユーザが通勤のために使用する交通機関など、デバイスが位置する環境を含み得る。「コンテキスト」はまた、特定のTV番組を見ること、特定の音楽を聴くこと、および運動場でサッカーをすることなど、デバイスまたはそれのユーザが関与するアクティビティを含み得る。
図2に、一実施形態による、類似環境音に基づいてクライアントデバイス210とクライアントデバイス220とをグループ化するためのシステム200の概観を示す。このシステムでは、クライアントデバイス210および220は、それぞれロケーション230および240において環境音をキャプチャし、環境音から音記述子を抽出する。本明細書で使用する「音記述子」という用語は、音を記述するかまたは表す情報を指し、環境音から抽出された音特徴、キャプチャされた環境音の分類を示す音種別識別子、音成分のヒストグラム、および/または環境音から取得された他の情報を含む。クライアントデバイス210および220は、ネットワーク250を介して音記述子をサーバ280に送る。サーバ280は、クライアントデバイス110とクライアントデバイス120とから受信した2つの音記述子間の類似度を判断する。たとえば、クライアントデバイス210および220のユーザが、それぞれ、異なるコーヒーショップ230および240においてコーヒーを飲んでいる場合、これらのロケーションにおける環境音は、まったく同じではないが、キャプチャされた音のタイプにおいて類似しており、それにより、類似音記述子を生じ得る。ロケーション230とロケーション240とにおける2つの環境音から抽出された音記述子間の類似度に基づいて、サーバ280は、次いで、クライアントデバイス210とクライアントデバイス220とを類似コンテキスト中にあるものとしてグループ化またはクラスタリングする。本明細書で使用する「類似コンテキスト中にある」という句の使用は、クライアントデバイス210および220などのデバイスが、概して、それらのロケーションにかかわらず、類似アクティビティまたは環境に関与することを意味する。サーバ280は、クライアントデバイス210および220にグループ化結果および/またはコンテキスト情報を与え得る。グループ化結果および/またはコンテキスト情報に基づいて、サーバ280は、クライアントデバイス210とクライアントデバイス220とからの環境音がまったく同じではなくても、類似コンテキスト(たとえば、類似アクティビティ)中にあるクライアントデバイス210および220にターゲットされたサービスを提供することができる。
いくつかの他の実施形態では、サーバは、クライアントデバイスをグループ化またはクラスタリングするために、クライアントデバイスの環境音のシーケンスを比較し得る。クライアントデバイスによってキャプチャされた環境音の各シーケンスは、クライアントデバイスユーザの生活パターンに関する情報を含み得る。たとえば、クライアントデバイスは、平日の1日に1時間間隔で1分間の環境音をキャプチャし得る。特定の時間期間においてキャプチャされた各環境音は、特定の時間期間に生じる特定の環境またはアクティビティ、たとえば、起床すること、通勤のためにバスに乗ること、街路を歩くこと、およびオフィスで働くことに関係するいくつかの音特徴を含み得る。そのようなキャプチャされた環境音のシーケンスは、クライアントデバイスユーザの生活パターンを示し得る。
図3に、一実施形態による、環境音シーケンス330と環境音シーケンス340とから経時的に抽出された音記述子に基づいて、クライアントデバイス310とクライアントデバイス320とをグループ化するためのシステム300の概観図を示す。クライアントデバイス310および320は、それぞれ環境音シーケンス330および340を表す環境音を周期的にキャプチャし、環境音シーケンスから抽出された音記述子を、ネットワーク350を通してサーバ380に送るように構成される。たとえば、クライアントデバイス310および320の各々は、所定の時間間隔においてまたは1日のうちの所定の時間ポイントにおいて環境音をキャプチャし得る。サーバ380は、2つの環境音シーケンス330と環境音シーケンス340との間の類似度を判断する。クライアントデバイス310のユーザとクライアントデバイス320のユーザとが類似生活パターンを有する場合、それらのユーザの2つの環境音シーケンスは、それぞれのユーザのアクティビティと環境とに関係する類似音記述子を生じ得る。音記述子の類似度に基づいて、サーバ380は、類似生活パターンを有するユーザのためのクライアントデバイス310とクライアントデバイス320とをグループ化またはクラスタリングする。サーバ380は、クライアントデバイス310および320にグループ化結果(たとえば、類似クライアントリスト)および/またはコンテキスト情報(たとえば、クライアントデバイス環境を記述するロケーション、アクティビティなど)を与え得る。グループ化結果および/またはコンテキスト情報に基づいて、サーバ380は、クライアントデバイス310および320にソーシャルネットワーキングサービスなどのターゲットされたサービスを提供することができる。
本明細書で説明するように、クライアントデバイスは、マイクロフォンなどの音センサーを通して環境音を検出する。一実施形態では、クライアントデバイスは、いつでも環境音を検出するように構成され得る。代替的に、クライアントデバイスは、所定の時間において、所定の間隔において、またはユーザのコマンドに応答して環境音を検出するように構成され得る。
図4に、一実施形態による、サーバ480と複数のクライアントデバイス412、422、および432とを含む、クライアントデバイスをグループ化するためのシステム400を示す。システム400では、クライアントデバイス412、422、および432は、音環境410、420、および430中にある。クライアントデバイス412、422、および432の各々は、任意のタイプのネットワーク、ならびに、セルラーネットワーク、回線交換ネットワーク、公衆交換ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤレスネットワーク、および/またはパケット交換ネットワークなどを含むネットワークの任意の組合せにおいて動作可能であり得る。
図4の例示的なシステム400では、クライアントデバイス412、422、および432の音環境410、420、および430は、それぞれ、それらのそれぞれのロケーションにおけるユーザアクティビティのコンテキストを示し得る。たとえば、クライアントデバイス412、422、および432のユーザは、室内でテレビ番組を見ること、レストランで食事をすること、道路上で車を運転することなどのアクティビティに関与し得る。環境音は、クライアントデバイス412および422のアクティビティおよび環境410および420に関する十分な情報を含んでいるので、それらのアクティビティまたは環境410および420が類似する場合、クライアントデバイス412とクライアントデバイス422とからキャプチャされた環境音は一般に類似することになる。したがって、環境音は、クライアントデバイス412とクライアントデバイス422とが類似コンテキストを有するかどうかを判断するために使用され得る。たとえば、クライアントデバイス412とクライアントデバイス422の両方は、異なるビルの中にあるレストランにあり得るかまたは会議室にあり得る。これらの場合、クライアントデバイス412とクライアントデバイス422とは類似コンテキストを有すると見なされ得る。
一方、音環境430が音環境410および420に類似しない場合、音環境430からの環境音は、概して、音環境410および420からの環境音とは異なることになる。したがって、音環境430のコンテキストは、音環境410および420のコンテキストとは異なることになる。
サーバ480は、アクティビティまたは環境など、類似コンテキスト中にあるクライアントデバイスのグループを識別するために、クライアントデバイス412、422、および432からの音記述子を比較するように構成される。サーバ480中の受信機492は、クライアントデバイス412、422、および432から音記述子を含んでいるパケットを受信する。各パケットは、クライアントデバイスからの1つまたは複数の音記述子を含んでいる。図4ではサーバクライアントシステムにおけるサーバ480が示されているが、サーバ480は、クライアントデバイス412、422、および432を含むピアツーピアシステムにおけるクライアントデバイスとしても実装され得る。たとえば、クライアントデバイス412、422、および432のうちの1つは、コンテキスト類似度に基づいてクライアントデバイス412、422、および432のユーザをグループ化するためのサーバ480の機能を実装し得る。
サーバ480は、類似度処理ユニット482と、グループ化ユニット484と、送信機494とを含む。類似度処理ユニット482は、クライアントデバイス412、422、および432からの音記述子の各ペア間の類似度値を判断するように構成される。たとえば、クライアントデバイス412から受信した音記述子と、クライアントデバイス422および/またはクライアントデバイス432から受信した音記述子との間の類似度値が計算され得る。
類似度処理ユニット482からの類似度値に基づいて、グループ化ユニット484は、クライアントデバイス412、422、および432のいずれが類似コンテキスト中にあるかを判断し、それに応じてクライアントデバイスをグループ化する。クライアントデバイス412とクライアントデバイス422とが類似環境中にある場合、クライアントデバイス412とクライアントデバイス422とは類似コンテキスト中にあるものとして識別される。本明細書で使用する「類似コンテキスト」という用語は、クライアントデバイス412、422、および432などのデバイスが地理的に互いの近くにあるのか、地理的に異なるロケーションにあるのかにかかわらず、それらが、概して、類似アクティビティに関与するかまたは類似環境中にあることを意味し得る。たとえば、クライアントデバイス412および422の2人のユーザが、異なるロケーションにおいてテレビ番組を見ている場合、彼らの地理的非類似度にもかかわらず、2つのクライアントデバイスがテレビジョンスピーカーから出る類似周囲音をキャプチャし得るので、それらのクライアントデバイスは、類似コンテキスト中にあるものとして見なされ得る。
クライアントデバイスをグループ化した後に、グループ化ユニット484は、類似度値またはグループ化されたクライアントデバイスから各クライアントデバイスのための類似クライアントリストを構築するように構成され得る。各クライアントデバイスについて、類似クライアントリストは、類似コンテキストグループに属することが識別された他のクライアントデバイスのリストを含む。
送信機494は、グループ化ユニット484からの類似クライアントリストをパケットフォーマットで1つまたは複数のクライアントデバイス412、422、および432に送るように構成される。クライアントデバイス412のための類似クライアントリストの場合、そのリストはクライアントデバイス422を含み得る。この場合、送信機494は、クライアントデバイス422を識別する類似クライアントリストをクライアントデバイス412に送る。同様に、クライアントデバイス412を識別する類似クライアントリストがクライアントデバイス422に送られ得る。
表1に、類似クライアントリストを搬送するための指定された長さをもつデータフィールドを含む例示的なパケットフォーマットを示す。
Figure 2016066366
上記の表に示すように、パケットは、右側の列にリストされたパケットフィールドを含む。左側の列のフィールド名は、説明のために使用され、パケット中に含まれる必要はない。パケットフォーマットでは、パケットタイプフィールドは、長さが4ビットであり、パケットのタイプを示す情報を含んでいる。示したパケットタイプは、パケットが、類似ユーザIDを含む類似クライアントリストを含んでいることを示し得る。いくつかの実施形態では、パケットタイプは、パケットが、音ヒストグラムおよび他の関連する情報など、他のタイプの情報を含んでいることを示すことができる。
類似クライアント数フィールドは、長さが8ビットであり、類似コンテキストを有するグループ化されたクライアントデバイスの数Lを示す。数Lを反映して、パケットは、グループ化されたクライアントデバイスの各々のための類似ユーザID[i]フィールドを含む。詳細には、類似ユーザID[i]フィールドは、長さが64ビットであり、パケットを受信するクライアントデバイスとともにグループ化されるi番目のクライアントデバイスのための一意の識別子を含んでいる。パケットフォーマットは、指定されたサイズをもつ上記で説明したフィールドを有するものとして示されているが、パケットフォーマットはまた、ネットワークを通した通信を可能にするための、ヘッダ、CRC情報など、好適なサイズの任意のフィールドを含み得る。
代替または追加として、サーバ480は、音コンテキストデータベース486と識別ユニット488とを含む。音コンテキストデータベース486は、1つまたは複数の基準音記述子と、関係する基準コンテキストとを含む。基準音記述子は、あるTV番組を見ること、レストランで食事をすること、地下鉄で通勤すること、またはオフィスで働くことなど、音アクティビティおよび/または環境を含む様々な既知のコンテキスト(すなわち、基準コンテキスト)のキャプチャされた音から抽出される。音コンテキストデータベース486中の音記述子および関連する基準コンテキストは、以下で説明するように、クライアントデバイスのコンテキストを識別する際に使用するために与えられる。
識別ユニット488は、受信機492を通してクライアントデバイス412、422、および432から音記述子を受信することと、音コンテキストデータベース486から基準音記述子を取り出すことと、音記述子を、音コンテキストデータベース486からの取り出された基準音記述子と比較することによって、クライアントデバイス412、422、および432のコンテキストを判断することとを行うように構成される。たとえば、識別ユニット488は、クライアントデバイス412からの音記述子と、音コンテキストデータベース486からの取り出された基準音記述子のすべてとを比較し、クライアントデバイス412の音記述子に対して最も大きい類似度を有する基準音記述子を識別する。この場合、クライアントデバイス412は、最も大きい類似度を有する識別された基準音記述子に関連するコンテキスト中にあると判断される。たとえば、クライアントデバイス412の音記述子がオフィス環境のコンテキストに関連する基準音記述子に最も類似する場合、クライアントデバイス412のコンテキストはオフィス環境であると判断される。次いで、コンテキスト情報は、送信機494を介してパケットフォーマットで1つまたは複数のクライアントデバイス412、422、および432に送られる。
図5に、一実施形態による、類似コンテキスト中にあるクライアントデバイスをグループ化する際に使用する、クライアントデバイスによって実行される方法のフローチャートを示す。本方法では、510において、クライアントデバイス中の音センサーを通して環境音を感知し、キャプチャする。次いで、520において、キャプチャされた環境音から音記述子を抽出する。上記で説明したように、音記述子は、環境音から抽出された1つまたは複数の音特徴、または、音成分のヒストグラムなど、音特徴から取得されたより高いレベルの情報を指し得る。音記述子が抽出された後、類似クライアントリストおよび/またはコンテキスト情報を生成するために、530において、抽出された音記述子をサーバ480に送信する。たとえば、図1に示したように、クライアントデバイス110および120は、それぞれロケーション130および140において環境音をキャプチャし、環境音から音記述子を抽出し、次いで、音記述子をサーバ180に送る。音記述子は音特徴を含み得る。ロケーション130および140における環境音は、実質的に同等のTV音を示し、実質的に同じ音特徴が抽出されることになり得るので、音記述子の音特徴に基づいて、サーバ480は、クライアントデバイス110とクライアントデバイス120とを同じコンテキスト中にあるものとしてグループ化することができる。次いで、540において、サーバ480から類似クライアントリストおよび/またはコンテキスト情報を受信し、550において、ユーザに対して表示する。類似クライアントリストおよび/またはコンテキスト情報を取得する際に使用する上記の方法は、クライアントデバイス412、422、および432のいずれかまたはすべてによって実行され得ることを諒解されたい。
一実施形態では、クライアントデバイスは、サーバ480から受信したコンテキスト情報に基づいて、他のクライアントデバイスのコンテキストに気づいていることがある。さらに、クライアントデバイスが、類似クライアントリストの一部として他のクライアントデバイスの識別情報を受信したとき、クライアントデバイスは、他のクライアントデバイスを、同じアクティビティまたは環境において共通の関心を共有するものとして表示し得る。クライアントデバイスは、類似コンテキスト中にある他のクライアントデバイスのユーザにサービス(たとえば、ソーシャルネットワーキングサービス、広告など)を提供するために、そのような情報を利用し得る。
図6に、一実施形態による、類似コンテキスト中にあるクライアントデバイスをグループ化することと、各クライアントデバイスのコンテキストを判断することとのための、サーバ480によって実行される方法のフローチャートを示す。サーバ480の受信機492は、610において、クライアントデバイス412、422、および432から音記述子を含んでいるパケットを受信し、音記述子を類似度処理ユニット482および識別ユニット488に与える。類似度処理ユニット482は、620において、クライアントデバイス412、422、および432からの音記述子の各ペア間の類似度値を判断する。
一実施形態では、2つのクライアントデバイスaおよびbからの音記述子間の類似度値は、2つの音記述子間のユークリッド距離を計算することによって判断される。この実施形態では、より大きいユークリッド距離値は、2つのクライアントデバイスaおよびbからの音記述子があまり類似しないことを意味し、より小さいユークリッド距離は、2つのクライアントデバイスaおよびbからの音記述子がより類似することを意味する。そのようなユークリッド距離は、たとえば、以下の式に従って計算され得る。
Figure 2016066366
上式で、a[i]は、クライアントデバイスaからの音記述子を示すベクトルのi番目の次元値を示し、b[i]は、クライアントデバイスbからの音記述子を示すベクトルのi番目の次元値を示す。
別の実施形態では、音記述子が、キャプチャされた環境音の分類を示す音種別識別子を示すとき、ユークリッド距離計算方法は、類似度値を判断することが可能でないことがある。この場合、2つのクライアントデバイス間の類似度値は、クライアントデバイスからの音種別IDが同じであるときに類似度値を「1」だけ増分することによって判断される。一方、クライアントデバイスからの音種別IDが異なるときには類似度値は増分されない。このプロセスは、2つのクライアントデバイス間の音種別IDのすべてのペアが比較されるまで実行される。
ヒストグラムが音記述子として使用されるとき、クライアントデバイスからのヒストグラム間の類似度値は、以下の式のいずれかに従って判断され得る。
Figure 2016066366
ただし、
Figure 2016066366
であり、Nは、ヒストグラムビンの総数であり、H1は、第1の比較されたヒストグラムであり、H2は、第2の比較されたヒストグラムであり、Iは、ヒストグラムビンのインデックスである。
Figure 2016066366
Figure 2016066366
Figure 2016066366
これらの式において、相関および交差距離(the correlation and intersection distances)は類似度値を表し、より高い値は、2つのヒストグラムがより類似することを意味する。カイ2乗距離およびバタチャリヤ(Bhattacharyya)距離は非類似度値を示し、より高い値は、2つのヒストグラムがあまり類似しないことを意味する。音記述子がヒストグラムのシーケンスを示すとき、クライアントデバイスからの音記述子は、シーケンスの各時間期間を一致させることによって比較され得る。一実施形態では、音記述子は、時間的に変動し得る2つのシーケンス間の類似度を判断するためのDTW(動的時間ワーピング)技法を採用することによって比較され得る。
サーバ480のグループ化ユニット484は、630において、音記述子間の類似度値に基づいて、クライアントデバイスを識別し、類似コンテキストグループにグループ化する。たとえば、クライアントデバイス412とクライアントデバイス422とからの音記述子間の類似度値が所定のしきい値を超える場合、グループ化ユニット484は、クライアントデバイス412のための類似クライアントリストにクライアントデバイス422を追加する。サーバ480の送信機494は、670において、類似クライアントリストおよび/またはコンテキスト情報を、ネットワーク450を通してパケットフォーマットでクライアントデバイス(たとえば、クライアントデバイス412)に送る。
クライアントデバイスをグループ化することに加えて、識別ユニット488は、受信した音記述子に関連するコンテキストを判断する。詳細には、クライアントデバイスから音記述子を受信すると、識別ユニット488は、640において、音コンテキストデータベース486から基準音記述子を取り出し、各クライアントデバイスからの音記述子と音コンテキストデータベース486からの基準音記述子との間の類似度値を判断する。たとえば、音コンテキストデータベース486が100個の基準音記述子を含む場合、合計100個の類似度値について、受信した音記述子と基準音記述子の各々との間で類似度値が計算されることになる。
各受信した音記述子と基準音記述子との間で生成された類似度値のうち、識別ユニット488は、650において、最も大きい類似度値を判断し、音コンテキストデータベース486からの最も大きい類似度値に関連する基準音記述子を識別する。次いで、識別ユニット488は、660において、音コンテキストデータベース486からの識別された音記述子に関連するコンテキストを判断する。次いで、670において、コンテキスト情報を、送信機494を介してパケットフォーマットで1つまたは複数のクライアントデバイスに送る。たとえば、クライアントデバイス412とクライアントデバイス422とが同じコンテキスト中にある(たとえば、レストラン中にある)と判断された場合、サーバ480は、コンテキスト情報をクライアントデバイス412とクライアントデバイス422のいずれかまたは両方に送信する。
いくつかの実施形態では、キャプチャされた環境音から抽出された音特徴または音成分のヒストグラムが音記述子として使用される。概して、異なるコンテキストにおいて取得された環境音は、音特徴の異なる分布を示す。すなわち、特定のコンテキストから取得された環境音から抽出された音特徴は、音特徴の特性分布を有し得る。ヒストグラムは、音特徴または音成分の度数分布または発生を経時的に示す。
特定のコンテキストにおいてある時間期間中に生成された音特徴または音成分のヒストグラムは、コンテキストの比較的長期の特性を示すことができる。たとえば、環境音クリップにおいて、音楽、交通雑音、食器類の音(tableware sound)、キャッシュレジスター音などの音は、概して、ランダムな時点において発生する。したがって、比較的長い時間期間(たとえば、1分間)の間にキャプチャされた環境音は、一般に、より短い時間期間(たとえば、数秒間)の間にキャプチャされた環境音よりも良好なコンテキストを与える。さらに、特定のコンテキストまたは環境は、概して、コンテキストまたは環境を識別するために使用され得る環境音に関連する特定の音特徴を示す。たとえば、混雑したレストラン中で取得された環境音は、食器類の音、人間の声、音楽などに関係するより多数の音特徴によって特徴づけられ得るが、交通音、風雑音などの屋外音に関係するより少数の音特徴によって特徴づけられ得る。
一実施形態では、音成分のヒストグラムは、環境音から抽出された音特徴のベクトル量子化に基づいて構築され得る。ベクトル量子化では、音サンプルをトレーニングすることから音成分のセットが生成される。また、ベクトル量子化の結果(たとえば、音成分のセット)は、事前にクライアントデバイスまたはサーバに記憶され得る。ベクトル量子化の後に、入力音特徴は、各々が音成分を表すクラスタのうちの最も近いクラスタにマッピングされる。最も近い平均値を有するクラスタを識別することによってクラスタにマッピングされた入力音特徴の数をカウントすることによって、ヒストグラムが生成される。
図7に、各クラスタが音成分を示す、16個のクラスタP1〜P16にクラスタリングされたトレーニング(たとえば、学習)音特徴の例示的な2次元クラスタ分布を示す。トレーニング音特徴のクラスタ分布は、トレーニングセット中の既知の環境音から音特徴(たとえば、音特徴ベクトル)を抽出することによって構築され得る。トレーニング音特徴は既知の環境音から構築されるので、ガウス混合モデリング(GMM:Gaussian mixture modeling)を使用して、トレーニング音特徴を、音特徴の値に従って水平および垂直方向に分布させられた16個のクラスタP1〜P16のうちの最も近いクラスタに配置し得る。類似音特徴は、クラスタ分布において互いの近くに位置する傾向があるので、音特徴のガウスクラスタは、あるタイプの環境音を示す。たとえば、音特徴のあるクラスタは、一般に、音楽の特定のトーンに関係し得、別のクラスタは、音楽の別のトーンに関係し得、さらに別のクラスタは、道路上を走っている車から出るエンジン雑音またはキーボードタイピングの音に関係し得る。トレーニングセットから抽出された所望の音特徴が、所望の数の音成分にクラスタリングされた後、各音成分は、図7において星印によって示されるように、包含された音特徴の平均値を各々が有するP1〜P16などのクラスタインデックス(たとえば、識別子、ラベル)として識別される。簡単のために、図7では2次元クラスタ分布が示されている。しかしながら、任意の好適な次元のクラスタ分布が、任意の好適な数のクラスタのために採用され得る。当技術分野で知られている様々なトレーニングアルゴリズムが、クラスタインデックスを判断するために採用され得る。
クラスタ分布が構築された後、クラスタ分布は各クライアントデバイスに記憶される。クライアントデバイスにおいて音がキャプチャされ、対応する音特徴が抽出されたとき、各入力音特徴は、入力音特徴に対して最も近接した平均値を有するクラスタを判断することによってクラスタインデックスにマッピングされ得る。すなわち、入力音特徴のためのクラスタインデックスが識別される。各クライアントデバイスにおいて音がキャプチャされ、クラスタインデックスが生成されたとき、音成分のヒストグラムが構築され、更新される。
図8に、一実施形態による、複数のクライアントデバイスにおいて生成された環境音の例示的なヒストグラムを示す。各ヒストグラムは、すべてのクラスタP1〜P16についての発生のカウント(たとえば、発生の総数)を示す。ヒストグラムの各水平軸に沿って、インデックスP1〜P16は、それぞれクラスタP1〜P16を表す。垂直軸は、クラスタP1〜P16の各々内の音特徴の数を示す。各クライアントデバイスにおいて音特徴のクラスタインデックスが受信されたとき、クラスタインデックスに関連する各クラスタについてのカウントを増分することによってヒストグラムが更新される。
図9Aに、一実施形態による、例示的なクライアントデバイス900のより詳細なブロック図を示す。図9Aに示すクライアントデバイス900の構成は、クライアントデバイス110、120、210、220、310、320、412、422、および432において実装され得る。クライアントデバイス900は、音センサー910と、音プロセッサ920と、送信機960と、受信機970と、ディスプレイユニット980とを含む。
クライアントデバイス900中の音センサー910は、クライアントデバイス900の環境音のいずれかの態様を受信、キャプチャ、測定、記録、または搬送するために使用される1つまたは複数のマイクロフォンまたは他のタイプの音センサーを含む。そのような音センサー910は、クライアントデバイス900のソフトウェアおよび/またはハードウェアを使用するように構成され得る。さらに、音センサー910は、電話通話またはビデオ録画のために使用されるマイクロフォンなど、デバイス900の一般的な動作において与えられた音センサーを利用し得る。したがって、本開示のいくつかの実施形態は、音センサー910の改変を必要とすることなしに実施され得る。
音プロセッサ920は、音センサー910によってキャプチャされた環境音から音記述子(たとえば、ヒストグラム)を生成するように構成され、特徴抽出ユニット930と、ベクトル量子化ユニット940と、ヒストグラム生成ユニット950とを含む。特徴抽出ユニット930は、音声およびオーディオコーディング、圧縮、認識および分析方法を含む、好適な信号処理方法を使用することによって、音センサー910から受信した環境音から音特徴を抽出するように構成される。たとえば、そのような方法には、オーディオフィンガープリンティング、音声認識または音声およびオーディオコーディングのための周知の方法である、スペクトル分析、MFCC(メル周波数ケプストラム係数)、LPC(線形予測コーディング)、および/またはLSP(線スペクトル対)技法がある。以下は、環境音のMFCC特徴を抽出することの一例である。環境音(たとえば、未加工音信号(raw sound signal))を含むフレームに窓かけ関数、たとえば、ハミング窓を乗算する。音信号を周波数領域にフーリエ変換し、次いで、スペクトルのパワーを計算する。次いで、たとえば三角重複窓(triangular overlapping window)を使用して、スペクトルのパワーをメル尺度にマッピングする。次いで、メル周波数の各々におけるパワーの対数をとることおよび/または離散コサイン変換を行うことによってケプストラム係数を計算する。したがって、音特徴は、(「音特徴ベクトル」と呼ばれることがある)ベクトルフォーマットとして表され得る。
クライアントデバイス900のベクトル量子化ユニット940は、ベクトル量子化を実行し、音成分の所定のクラスタ分布に基づいて、特徴抽出ユニット930から受信した各音特徴のためのクラスタインデックスを判断する。すなわち、特徴抽出ユニット930からの各音特徴は、音特徴に最も近接した平均値を有するクラスタのクラスタインデックスにマッピングされる。クラスタインデックスはヒストグラム生成ユニット950に与えられ、ヒストグラム生成ユニット950は、クラスタインデックスの発生をカウントすることによってヒストグラムを生成および/または更新する。すべてのクラスタについてのカウントを含む生成されたヒストグラムは、ネットワーク450を介してパケットフォーマットでサーバ480に送信される。
表2に、ヒストグラムを搬送するための指定された長さをもつデータフィールドを含む例示的なパケットフォーマットを示す。
Figure 2016066366
上記の表に示すように、パケットは、右側の列にリストされたパケットフィールドを含む。左側の列のフィールド名は、パケット中のビットの意味を説明し、パケット中に含まれる必要はない。パケットフォーマットでは、パケットタイプフィールドは、長さが4ビットであり、パケットがヒストグラム情報と他の関連情報とを含んでいることを示す情報を含んでいる。ユーザIDフィールドは、長さが64ビットであり、クライアントデバイス900に割り当てられた一意の識別子を示す。クラスタインデックス数フィールドは、長さが8ビットであり、ヒストグラム中のクラスタインデックスの数N、たとえば、16個のクラスタインデックスP1〜P16を示す。パケットは、タイムスタンプを示す随意のデータフィールドを含み得る。タイムスタンプフィールドは、長さが64ビットであり、ヒストグラムを生成するために環境音がキャプチャされた時間を示す。時間は、クライアントデバイス900のクロック回路(図示せず)によって与えられ得る。
パケットは、N個のクラスタインデックス発生フィールドを含む。(上記の表では「クラスタインデックス発生[i]」として示された)i番目のクラスタインデックス発生フィールドでは、クラスタインデックス発生[i]フィールドは、長さが4ビットであり、i番目のクラスタインデックスにマッピングされた入力音特徴のカウントを含んでいる。数Nは、環境音のキャプチャ期間に従って、必要に応じて1以上に設定され得る。Nが1よりも大きい場合、パケットは、複数の音成分を有するヒストグラムを含む。
図9Bに、別の実施形態による、例示的なクライアントデバイス900の詳細なブロック図を示す。図9Bに示すクライアントデバイス900の構成は、クライアントデバイス110、120、210、220、310、320、412、422、および432において実装され得る。クライアントデバイス900は、音センサー910と、音プロセッサ920と、送信機960と、受信機970と、ディスプレイユニット980と、時間割込みユニット990とを含む。この実施形態では、あるクライアントデバイスから取得された音特徴またはヒストグラムのシーケンスは、そのクライアントデバイスによって一定の時間間隔においてキャプチャされた環境音に基づいて生成される。たとえば、環境音のシーケンスは、1日の毎時に1分間キャプチャされ得るが、それに限定されない。音特徴またはヒストグラムのそのようなシーケンスは、十分な時間期間にわたるクライアントデバイスユーザの生活パターンを示す。
環境音のシーケンスをキャプチャするために、クライアントデバイス900は、所定の時間間隔において、または、ある時間期間の間、環境音をキャプチャするようにユーザによって要求された時間間隔において音センサー910をアクティブにするための時間割込みユニット990を含み得る。たとえば、時間割込みユニット990は、環境音を1分間キャプチャするために、1日の毎時の初めに音センサー910をアクティブにし得る。
図9Aおよび図9Bを参照すると、送信機960は、1つまたは複数の音記述子をパケットフォーマットでサーバ480に送信する。クライアントデバイス900の受信機970は、ネットワーク450を通してサーバ480から類似クライアントリストおよび/またはコンテキスト情報をパケットフォーマットで受信する。ディスプレイユニット980は、類似クライアントリストおよび/またはコンテキスト情報をユーザに対して表示するように構成される。図9Aおよび図9Bのクライアントデバイス900は図示したユニットを含むが、クライアントデバイス900は、本開示の範囲から逸脱することなく、追加または代替構造を採用し得る。
図10に、一実施形態による、クライアントデバイスのコンテキストを判断するための、サーバ480によって実行される方法のフローチャートを示す。サーバ480の受信機492は、1010において、クライアントデバイス412、422、および432から環境音のヒストグラムを受信する。識別ユニット488は、1020において、音コンテキストデータベース486から、この実施形態では基準ヒストグラムである基準音記述子を取り出し、各クライアントデバイスから受信したヒストグラムと音コンテキストデータベース486からの基準ヒストグラムの各々との間の類似度値を判断する。上記で説明したように、音コンテキストデータベース486は、ベクトル量子化によって様々な既知のコンテキストのキャプチャされた音から生成された1つまたは複数の基準ヒストグラムを含む。各クライアントデバイスについて、識別ユニット488は、1030において、最も大きい類似度値を判断し、音コンテキストデータベース486からの最も大きい類似度値に関連する基準ヒストグラムを識別する。次いで、識別ユニット488は、1040において、各クライアントデバイスについて、音コンテキストデータベース486からの識別されたヒストグラムに関連するコンテキストを判断する。音コンテキストデータベース486中の各基準ヒストグラムは特定の音環境を示すので、各クライアントデバイスのコンテキストは、音コンテキストデータベース486中の識別されたヒストグラムによって判断され得る。次いで、1050において、コンテキスト情報を、送信機494を介してパケットフォーマットで1つまたは複数のクライアントデバイスに送る。
図11に、一実施形態による、ヒストグラムに基づいてクライアントデバイス412、422、および432をグループ化するための、サーバ480によって実行される方法のフローチャートを示す。初めに、サーバ480が、1つまたは複数の音記述子を含むパケットを送るようにクライアントデバイス412、422、および432に要求し得、1つまたは複数の音記述子は、環境音から抽出された音特徴に基づいて生成されたヒストグラムを含む。受信機492が、1110において、クライアントデバイスからパケットフォーマットでヒストグラムを受信したとき、類似度処理ユニット482が、1120において、類似度を判断するためにクライアントデバイス(たとえば、クライアントデバイス412)とターゲットクライアントデバイス(たとえば、クライアントデバイス422)とを選択する。次いで、類似度処理ユニット482は、1130においてクライアントデバイス412とターゲットクライアントデバイス422とからのヒストグラム間の類似度値を判断する。クライアントデバイス412とターゲットクライアントデバイス422とからのヒストグラム間の類似度値が判断された後、1140において、グループ化ユニット484は、類似度値を所定のしきい値と比較し、クライアントデバイス412とクライアントデバイス422との間の類似度値が、しきい値よりも大きいと判断された場合、1150において、クライアントデバイス412のための類似クライアントリストにターゲットクライアントデバイス422を追加する。クライアントデバイス412のための類似クライアントリストは、ターゲットクライアントデバイス422に割り当てられた一意の識別子(ID)を含み得る。
1140において、類似度値がしきい値よりも大きくないと判断された場合、または1160において、別のターゲットクライアントデバイスが存在すると判断された場合、類似度処理ユニット482は、続いて、1130におけるクライアントデバイスとの類似度判断のために、1170において、別のターゲットクライアントデバイス(たとえば、クライアントデバイス432)を選択する。類似度を判断すること、類似度をしきい値と比較すること、および類似クライアントリストにターゲットクライアントデバイスを追加することの1130〜1160における上記の動作は、1160において、すべてのクライアントデバイスのための完全な類似クライアントリストが生成されるまで反復される。
その結果、特定のクライアントデバイス(たとえば、クライアントデバイス412)のための完全な類似クライアントリストは、クライアントデバイス412との類似コンテキストのグループ中にあるクライアントデバイス422とクライアントデバイス432とを含み得る。類似クライアントリストは、表1に示したデータフォーマットに類似したデータフォーマットを有する。完全な類似クライアントリストが生成されたとき、サーバ480の送信機494は、1180において、クライアントデバイス412に関連する類似クライアントリストを、ネットワーク450を通してパケットフォーマットでクライアントデバイス412に送る。
図12に、別の実施形態による、ヒストグラムから導出された類似度行列に基づいてクライアントデバイスをグループ化するための、サーバ480によって実行される方法のフローチャートを示す。初めに、サーバ480が、1つまたは複数の音記述子を含むパケットを送るようにとの要求をクライアントデバイス412、422、および432に送り得、1つまたは複数の音記述子は、環境音から抽出された音特徴に基づいて生成されたヒストグラムを含む。受信機492が、1210において、クライアントデバイスからパケットフォーマットでヒストグラムを受信したとき、類似度処理ユニット482が、1220において、類似度を判断するためにクライアントデバイス412とクライアントデバイス422との一意のペアを選択する。次いで、1230において、類似度処理ユニット482は、クライアントデバイス412とクライアントデバイス422との選択されたペア間の類似度値を判断する。クライアントデバイス412とクライアントデバイス422との間の類似度値が判断された後、類似度処理ユニット482は、1240において、類似度値を(単に「行列」または「類似度行列」と呼ばれることがある)コンテキスト類似度行列に追加する。
一実施形態では、類似度処理ユニット482は、以下のように類似度行列を計算する。クライアントデバイス412、422、および432から取得されたヒストグラムなどの音記述子のセットを仮定すれば、類似度行列は行列Sとして定義され、要素Sijは、i番目のクライアントデバイスとj番目のクライアントデバイスとの音記述子間の類似度の測度を示す。さらに、i番目およびj番目のクライアントデバイスに割り当てられた一意の識別子が、関連する類似度値とともに要素Sijに追加される。
類似度値を類似度行列に追加した後、1250において、クライアントデバイスの他の一意のペアが存在するかどうかを判断する。他の一意のペアが存在する場合、本方法は、1260においてクライアントデバイスの別の一意のペアを選択した後に、続いて1230に戻る。しかしながら、1250において、クライアントデバイスの他の一意のペアが存在しないと判断された場合、それは、クライアントデバイスのすべての一意のペアの類似度値が判断されたことと、類似度行列が完成したこととを意味する。この場合、グループ化ユニット484は、1270において、類似度行列から類似クライアントデバイスをクラスタリングすることによって類似クライアントリストを生成する。類似クライアントリストは、類似コンテキスト中にあるクライアントデバイスのグループ化を示す。上記の実施形態では、クライアントデバイスのすべての一意のペアの類似度値を含む類似度行列について説明したが、いくつかの実施形態では、類似度行列は、クライアントデバイスのすべての一意のペアの一部の類似度値を含み得る。この場合、グループ化ユニット484は、クライアントデバイスのすべての一意のペアのサブセットの類似度値に基づいて類似クライアントデバイスをクラスタリングすることによって、類似クライアントリストを生成する。
類似クライアントデバイスをクラスタリングする際に、スペクトルクラスタリング技法が採用され得る。スペクトルクラスタリング技法の一例は正規化カットアルゴリズムである。このアルゴリズムによれば、類似度行列Sの要素Sijは、Sのラプラシアン行列L=I−D-1/2SD-1/2の2番目に小さい固有値に対応する固有ベクトルνに基づいて2つのサブセット(S1,S2)に区分(たとえば、クラスタリング)され、Iは単位行列であり、Dは対角行列
Figure 2016066366
である。
次いで、区分は、固有ベクトルν中の成分の中央値mをとることと、Sのすべての要素のうち、ν中の成分がmよりも大きい要素をS1に配置し、残りの要素をS2に配置することとによってなど、様々な方法で行われる。このアルゴリズムは、上記で説明した方法でサブセットを繰り返しさらに区分することによる階層的クラスタリングのために使用される。本実施形態では、クライアントデバイスのクラスタリングを実行する際にスペクトルクラスタリング技法が採用されるが、K平均クラスタリングなど、他のタイプのクラスタリング技法がこの目的のために採用され得る。
類似度行列に基づく類似クライアントデバイスのグループが判断された後、サーバ480は、1280において、クライアントデバイスのいずれかからの類似クライアントリストの要求があるかどうかを判断する。要求がある場合、サーバ480の送信機494は、1290において、ネットワーク450を通して類似クライアントデバイスのリストを要求元クライアントデバイスに送る。そのような類似クライアントリストは、クライアントデバイスの間でサービスを提供するため、類似アクティビティに対する関心を共有するクライアントデバイスのグループを可視化するため、または類似クライアントリスト中のクライアントデバイスにターゲットされたサービスを提供するために利用され得る。
一実施形態では、クライアントデバイスからのヒストグラムに基づく類似度行列が生成された後、サーバ480は、仮想マップの形態でクライアントデバイスの間のコンテキスト類似度の可視化を行い得る。そのような可視化を生成する際に、MDS(多次元尺度構成法:multi-dimensional scaling)およびPCA(主成分分析:principal component analysis)など、任意のよく知られている技法が使用され得る。送信機494は類似度可視化情報をクライアントデバイスに送る。そのような類似度可視化情報は、たとえば、クライアントデバイスの2次元仮想マップを表示するために、クライアントデバイスにおいて使用される。2次元仮想マップ上では、クライアントデバイス間の距離は、クライアントデバイス間のコンテキスト類似度の程度を示す。代替実施形態では、クライアントデバイスが、サーバ480から受信した類似クライアントデバイスのリストに基づいて、クライアントデバイスのコンテキスト類似度の可視化を実行する。クライアントデバイスのユーザは、共通の関心を共有する、異なるロケーションにいる他のユーザを見つけるために、仮想マップをブラウズし得る。
図13に、一実施形態による、ワイヤレス通信システムにおける例示的なクライアントデバイスのブロック図を示す。
クライアントデバイス1300は、セルラーフォン、端末、ハンドセット、携帯情報端末(PDA)、ワイヤレスモデム、コードレスフォンなどであり得る。ワイヤレス通信システムは、符号分割多元接続(CDMA)システム、Global System for Mobile Communications(GSM(登録商標))システム、広帯域CDMA(W−CDMA(登録商標))システム、Long Term Evolution(LTE)システム、LTE Advancedシステムなどであり得る。
クライアントデバイス1300は、受信経路および送信経路を介して双方向通信を行うことが可能である。受信経路上で、基地局によって送信された信号は、アンテナ1312によって受信され、受信機(RCVR)1314に与えられる。受信機1314は、受信信号を調整し、デジタル化し、さらなる処理のために調整およびデジタル化された信号をデジタルセクション1320に与える。送信経路上で、送信機(TMTR)は、デジタルセクション1320から送信されるべきデータを受信し、データを処理し、調整し、変調信号を生成し、変調信号はアンテナ1312を介して基地局に送信される。受信機1314および送信機1316は、CDMA、GSM、W−CDMA、LTE、LTE Advancedなどをサポートするトランシーバの一部である。
デジタルセクション1320は、たとえば、モデムプロセッサ1322、縮小命令(reduced instruction)セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)1324、コントローラ/プロセッサ1326、内部メモリ1328、一般化オーディオエンコーダ1332、一般化オーディオデコーダ1334、グラフィックス/ディスプレイプロセッサ1336、および外部バスインターフェース(EBI)1338など、様々な処理、インターフェース、およびメモリユニットを含む。モデムプロセッサ1322は、データ送信および受信のための処理、たとえば、符号化、変調、復調、および復号を実行する。RISC/DSP1324は、ワイヤレスデバイス1300のための一般的専用処理を実行する。コントローラ/プロセッサ1326は、デジタルセクション1320内の様々な処理およびインターフェースユニットの演算を制御する。内部メモリ1328は、デジタルセクション1320内の様々なユニットのためのデータおよび/または命令を記憶する。
一般化オーディオエンコーダ1332は、オーディオソース1342、マイクロフォン1343などからの入力信号に対して符号化を実行する。一般化オーディオデコーダ1334は、コード化オーディオデータに対して復号を実行し、出力信号をスピーカー/ヘッドセット1344に与える。一般化オーディオエンコーダ1332および一般化オーディオデコーダ1334は、必ずしも、オーディオソース、マイクロフォン1343およびスピーカー/ヘッドセット1344とのインターフェースのために必要とされるとは限らず、したがって、モバイルデバイス1300において省略されることに留意されたい。グラフィックス/ディスプレイプロセッサ1336は、ディスプレイユニット1346に提示されるグラフィックス、ビデオ、画像、およびテキストのための処理を実行する。EBI1338は、デジタルセクション1320とメインメモリ1348との間のデータの転送を可能にする。
デジタルセクション1320は、1つまたは複数のプロセッサ、DSP、マイクロプロセッサ、RISCなどで実装される。デジタルセクション1320はまた、1つまたは複数の特定用途向け集積回路(ASIC)および/または何らかの他のタイプの集積回路(IC)上に作製される。
概して、本明細書で説明したいかなるデバイスも、ワイヤレスフォン、セルラーフォン、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ(PC)カード、PDA、外部または内部モデム、ワイヤレスチャネルを介して通信するデバイスなど、様々なタイプのデバイスを示す。デバイスは、アクセス端末(AT)、アクセスユニット、加入者ユニット、移動局、クライアントデバイス、モバイルユニット、モバイルフォン、モバイル、リモート局、リモート端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなど、様々な名前を有し得る。本明細書で説明したいかなるデバイスも、命令およびデータ、ならびにハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを記憶するためのメモリを有し得る。
本明細書で説明したコンテキスト判断およびグループ化技法は、様々な手段によって実装される。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装される。さらに、本明細書の開示に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装するが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
ハードウェア実装の場合、本技法を実行するために使用される処理ユニットは、1つまたは複数のASIC、DSP、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明した機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装される。
したがって、本明細書の開示に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAまたは他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せで実装または実行される。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装される。
ソフトウェアで実装する場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
本開示についての以上の説明は、いかなる当業者も本開示を作成または使用することができるように与えたものである。本開示への様々な修正は当業者には容易に明らかとなり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用される。したがって、本開示は、本明細書で説明した例に限定されるものではなく、本明細書で開示した原理および新規の特徴に合致する最も広い範囲を与えられるべきである。
例示的な実装形態は、1つまたは複数のスタンドアロンコンピュータシステムの文脈で、本開示の主題の態様を利用することに言及するが、主題は、そのように限定されるのではなく、ネットワークまたは分散コンピューティング環境など、任意のコンピューティング環境に関連して実施され得る。またさらに、本開示の主題の態様は、複数の処理チップまたはデバイスにおいてあるいはそれらにわたって実装され得、同様に複数のデバイスにわたって記憶が実施され得る。そのようなデバイスは、PC、ネットワークサーバ、およびハンドヘルドデバイスを含む。
主題について構造的機能および/または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記で説明した特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
主題について構造的機能および/または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記で説明した特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] 複数のクライアントデバイスをグループ化するための方法であって、
前記複数のクライアントデバイスから音記述子を受信することと、ここで、前記音記述子が環境音から抽出される、受信することと、
前記受信した音記述子の類似度を判断することと、
前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化することとを備える、方法。
[C2] 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、C1に記載の方法。
[C3] 前記音記述子が、前記環境音の分類を示すか、または前記環境音から抽出された音特徴を示す、C1に記載の方法。
[C4] 前記方法が、前記複数のクライアントデバイスのうちの1つによって実行される、C1に記載の方法。
[C5] 前記類似度を判断することが、前記受信した音記述子を比較することを含む、C1に記載の方法。
[C6] 前記受信した音記述子のシーケンスが、前記シーケンスを一致させることによって比較される、C5に記載の方法。
[C7] 前記シーケンスが動的時間ワーピングによって一致させられる、C6に記載の方法。
[C8] 前記類似度が、前記受信した音記述子間の類似度値を含み、
前記複数のクライアントデバイスをグループ化することは、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、C1に記載の方法。
[C9] 前記類似コンテキストグループのうちの1つ中の前記クライアントデバイスのうちの1つのための類似クライアントリストを構築することをさらに備え、ここで、前記類似クライアントリストが、前記類似コンテキストグループのうちの前記1つ中の他のクライアントデバイスのリストを含む、C1に記載の方法。
[C10] 前記クライアントデバイスのうちの少なくとも1つに前記類似クライアントリストを送信することをさらに備える、C9に記載の方法。
[C11] 類似度値の行列を生成することをさらに備え、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、
前記複数のクライアントデバイスをグループ化することが、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、C1に記載の方法。
[C12] 音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとをさらに備える、C1に記載の方法。
[C13] 前記類似コンテキストグループ中の前記複数のクライアントデバイスの間で、前記識別されたコンテキストに関する情報を共有することをさらに備える、C12に記載の方法。
[C14] 前記類似コンテキストグループ中の前記複数のクライアントデバイスにソーシャルネットワーキングサービスを提供することをさらに備える、C1に記載の方法。
[C15] 複数のクライアントデバイスをグループ化するためのサーバであって、
前記複数のクライアントデバイスから音記述子を受信するように構成された受信機であって、前記音記述子が環境音から抽出される、受信機と、
前記受信した音記述子の類似度を判断するように構成された類似度処理ユニットと、前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するように構成されたグループ化ユニットとを備える、サーバ。
[C16] 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、C15に記載のサーバ。
[C17] 前記音記述子が、前記環境音の分類を示すか、または前記環境音から抽出された音特徴を示す、C15に記載のサーバ。
[C18] 前記サーバが別のクライアントデバイスを含む、C15に記載のサーバ。
[C19] 前記類似度処理ユニットが、前記受信した音記述子を比較することによって前記類似度を判断するように構成された、C15に記載のサーバ。
[C20] 前記類似度処理ユニットが、前記受信した音記述子のシーケンスを一致させることによって前記シーケンスを比較するように構成された、C19に記載のサーバ。
[C21] 前記シーケンスが動的時間ワーピングによって一致させられる、C20に記載のサーバ。
[C22] 前記類似度が、前記受信した音記述子間の類似度値を含み、前記グループ化ユニットは、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、C15に記載のサーバ。
[C23] 前記グループ化ユニットが、前記類似コンテキストグループのうちの1つ中の前記クライアントデバイスのうちの1つのための類似クライアントリストを構築するようにさらに構成され、
前記類似クライアントリストが、前記類似コンテキストグループのうちの前記1つ中の他のクライアントデバイスのリストを含む、C15に記載のサーバ。
[C24] 前記クライアントデバイスのうちの少なくとも1つに前記類似クライアントリストを送信するように構成された送信機をさらに備える、C23に記載のサーバ。
[C25] 前記グループ化ユニットが、類似度値の行列を生成するようにさらに構成され、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、前記グループ化ユニットが、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、C15に記載のサーバ。
[C26] 基準コンテキスト中のキャプチャされた音から抽出された少なくとも1つの基準音記述子を記憶するように構成された音コンテキストデータベースと、
前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別するように構成された識別ユニットとをさらに備える、C15に記載のサーバ。
[C27] 前記類似コンテキストグループ中の前記クライアントデバイスのうちの少なくとも1つに前記識別されたコンテキストに関する情報を送信するように構成された送信機をさらに備える、C26に記載のサーバ。
[C28] 前記類似コンテキストグループ中の前記複数のクライアントデバイスにソーシャルネットワーキングサービスを提供するように構成されたサービス提供ユニットをさらに備える、C15に記載のサーバ。
[C29] 複数のクライアントデバイスをグループ化するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、
前記複数のクライアントデバイスから音記述子を受信する動作と、ここで、前記音記述子が環境音から抽出される、
前記受信した音記述子の類似度を判断する動作と、
前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化する動作とをプロセッサに実行させる、非一時的コンピュータ可読記憶媒体。
[C30] 前記音記述子の各々が、前記環境音の期間中の音成分の発生の数を含む、C29に記載の媒体。
[C31] 前記類似度を判断することが、前記受信した音記述子を比較することを含む、C29に記載の媒体。
[C32] 前記受信した音記述子のシーケンスが、前記シーケンスを一致させることによって比較される、C31に記載の媒体。
[C33] 前記シーケンスが動的時間ワーピングによって一致させられる、C32に記載の媒体。
[C34] 前記類似度が、前記受信した音記述子間の類似度値を含み、
前記複数のクライアントデバイスをグループ化することは、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、C29に記載の媒体。
[C35] 前記動作が、類似度値の行列を生成することをさらに含み、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、
前記複数のクライアントデバイスをグループ化することが、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、C29に記載の媒体。
[C36] 前記動作は、
音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、ここで、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、
前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとをさらに含む、C29に記載の媒体。
[C37] 複数のクライアントデバイスをグループ化するためのサーバであって、
前記複数のクライアントデバイスから音記述子を受信するための手段と、ここで、前記音記述子が環境音から抽出される、
前記受信した音記述子の類似度を判断するための手段と、
前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するための手段とを備える、サーバ。
[C38] 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、C37に記載のサーバ。
[C39] 前記類似度を判断するための前記手段が、前記受信した音記述子を比較することによって前記類似度を判断するように構成された、C37に記載のサーバ。
[C40] 前記類似度を判断するための前記手段が、前記受信した音記述子のシーケンスを一致させることによって前記シーケンスを比較するように構成された、C39に記載のサーバ。
[C41] 前記シーケンスが動的時間ワーピングによって一致させられる、C40に記載のサーバ。
[C42] 前記類似度が、前記受信した音記述子間の類似度値を含み、
グループ化するための前記手段は、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、C37に記載のサーバ。
[C43] グループ化するための前記手段が、類似度値の行列を生成するようにさらに構成され、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、
グループ化するための前記手段が、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、C37に記載のサーバ。
[C44] 基準コンテキスト中のキャプチャされた音から抽出された少なくとも1つの基準音記述子を記憶するための手段と、
前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別するための手段とをさらに備える、C37に記載のサーバ。
[C45] 環境音をキャプチャするように構成された音センサーと、
前記環境音から音記述子を抽出するように構成された音プロセッサと、
前記クライアントデバイスからの前記音記述子の類似度に基づいて、複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するように構成されたサーバに前記音記述子を送信するように構成された送信ユニットと、
前記サーバから、前記類似コンテキストグループ中の前記複数のクライアントデバイスを示す情報を受信するように構成された受信ユニットとを備える、クライアントデバイス。
[C46] 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、C45に記載のクライアントデバイス。
[C47] 前記音記述子が、前記環境音の分類を示すか、または前記環境音から抽出された音特徴を示す、C45に記載のクライアントデバイス。
[C48] 前記サーバが、
音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、ここで、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、
前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとを行うようにさらに構成され、
前記受信ユニットが、前記識別されたコンテキストに関する情報を受信するように構成された、C45に記載のクライアントデバイス。
[C49] 環境音をキャプチャするための手段と、
前記環境音から音記述子を抽出するための手段と、
前記クライアントデバイスからの前記音記述子の類似度に基づいて、複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するように構成されたサーバに前記音記述子を送信するための手段と、
前記サーバから、前記類似コンテキストグループ中の前記複数のクライアントデバイスを示す情報を受信するための手段とを備える、クライアントデバイス。
[C50] 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、C49に記載のクライアントデバイス。
[C51] 前記サーバから、前記類似コンテキストグループ中の前記複数のクライアントデバイスを示す情報を受信するための手段をさらに備える、C49に記載のクライアントデバイス。
[C52] 前記サーバが、
音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、ここで、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとを行うようにさらに構成され、
前記クライアントデバイスが、前記識別されたコンテキストに関する情報を受信するための手段をさらに備える、C49に記載のクライアントデバイス。

Claims (52)

  1. 複数のクライアントデバイスをグループ化するための方法であって、
    前記複数のクライアントデバイスから音記述子を受信することと、ここで、前記音記述子が環境音から抽出される、受信することと、
    前記受信した音記述子の類似度を判断することと、
    前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化することとを備える、方法。
  2. 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、請求項1に記載の方法。
  3. 前記音記述子が、前記環境音の分類を示すか、または前記環境音から抽出された音特徴を示す、請求項1に記載の方法。
  4. 前記方法が、前記複数のクライアントデバイスのうちの1つによって実行される、請求項1に記載の方法。
  5. 前記類似度を判断することが、前記受信した音記述子を比較することを含む、請求項1に記載の方法。
  6. 前記受信した音記述子のシーケンスが、前記シーケンスを一致させることによって比較される、請求項5に記載の方法。
  7. 前記シーケンスが動的時間ワーピングによって一致させられる、請求項6に記載の方法。
  8. 前記類似度が、前記受信した音記述子間の類似度値を含み、
    前記複数のクライアントデバイスをグループ化することは、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、請求項1に記載の方法。
  9. 前記類似コンテキストグループのうちの1つ中の前記クライアントデバイスのうちの1つのための類似クライアントリストを構築することをさらに備え、ここで、前記類似クライアントリストが、前記類似コンテキストグループのうちの前記1つ中の他のクライアントデバイスのリストを含む、請求項1に記載の方法。
  10. 前記クライアントデバイスのうちの少なくとも1つに前記類似クライアントリストを送信することをさらに備える、請求項9に記載の方法。
  11. 類似度値の行列を生成することをさらに備え、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、
    前記複数のクライアントデバイスをグループ化することが、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、請求項1に記載の方法。
  12. 音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとをさらに備える、請求項1に記載の方法。
  13. 前記類似コンテキストグループ中の前記複数のクライアントデバイスの間で、前記識別されたコンテキストに関する情報を共有することをさらに備える、請求項12に記載の方法。
  14. 前記類似コンテキストグループ中の前記複数のクライアントデバイスにソーシャルネットワーキングサービスを提供することをさらに備える、請求項1に記載の方法。
  15. 複数のクライアントデバイスをグループ化するためのサーバであって、
    前記複数のクライアントデバイスから音記述子を受信するように構成された受信機であって、前記音記述子が環境音から抽出される、受信機と、
    前記受信した音記述子の類似度を判断するように構成された類似度処理ユニットと、前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するように構成されたグループ化ユニットとを備える、サーバ。
  16. 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、請求項15に記載のサーバ。
  17. 前記音記述子が、前記環境音の分類を示すか、または前記環境音から抽出された音特徴を示す、請求項15に記載のサーバ。
  18. 前記サーバが別のクライアントデバイスを含む、請求項15に記載のサーバ。
  19. 前記類似度処理ユニットが、前記受信した音記述子を比較することによって前記類似度を判断するように構成された、請求項15に記載のサーバ。
  20. 前記類似度処理ユニットが、前記受信した音記述子のシーケンスを一致させることによって前記シーケンスを比較するように構成された、請求項19に記載のサーバ。
  21. 前記シーケンスが動的時間ワーピングによって一致させられる、請求項20に記載のサーバ。
  22. 前記類似度が、前記受信した音記述子間の類似度値を含み、前記グループ化ユニットは、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、請求項15に記載のサーバ。
  23. 前記グループ化ユニットが、前記類似コンテキストグループのうちの1つ中の前記クライアントデバイスのうちの1つのための類似クライアントリストを構築するようにさらに構成され、
    前記類似クライアントリストが、前記類似コンテキストグループのうちの前記1つ中の他のクライアントデバイスのリストを含む、請求項15に記載のサーバ。
  24. 前記クライアントデバイスのうちの少なくとも1つに前記類似クライアントリストを送信するように構成された送信機をさらに備える、請求項23に記載のサーバ。
  25. 前記グループ化ユニットが、類似度値の行列を生成するようにさらに構成され、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、前記グループ化ユニットが、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、請求項15に記載のサーバ。
  26. 基準コンテキスト中のキャプチャされた音から抽出された少なくとも1つの基準音記述子を記憶するように構成された音コンテキストデータベースと、
    前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別するように構成された識別ユニットとをさらに備える、請求項15に記載のサーバ。
  27. 前記類似コンテキストグループ中の前記クライアントデバイスのうちの少なくとも1つに前記識別されたコンテキストに関する情報を送信するように構成された送信機をさらに備える、請求項26に記載のサーバ。
  28. 前記類似コンテキストグループ中の前記複数のクライアントデバイスにソーシャルネットワーキングサービスを提供するように構成されたサービス提供ユニットをさらに備える、請求項15に記載のサーバ。
  29. 複数のクライアントデバイスをグループ化するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、
    前記複数のクライアントデバイスから音記述子を受信する動作と、ここで、前記音記述子が環境音から抽出される、
    前記受信した音記述子の類似度を判断する動作と、
    前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化する動作とをプロセッサに実行させる、非一時的コンピュータ可読記憶媒体。
  30. 前記音記述子の各々が、前記環境音の期間中の音成分の発生の数を含む、請求項29に記載の媒体。
  31. 前記類似度を判断することが、前記受信した音記述子を比較することを含む、請求項29に記載の媒体。
  32. 前記受信した音記述子のシーケンスが、前記シーケンスを一致させることによって比較される、請求項31に記載の媒体。
  33. 前記シーケンスが動的時間ワーピングによって一致させられる、請求項32に記載の媒体。
  34. 前記類似度が、前記受信した音記述子間の類似度値を含み、
    前記複数のクライアントデバイスをグループ化することは、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、請求項29に記載の媒体。
  35. 前記動作が、類似度値の行列を生成することをさらに含み、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、
    前記複数のクライアントデバイスをグループ化することが、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化することを含む、請求項29に記載の媒体。
  36. 前記動作は、
    音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、ここで、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、
    前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとをさらに含む、請求項29に記載の媒体。
  37. 複数のクライアントデバイスをグループ化するためのサーバであって、
    前記複数のクライアントデバイスから音記述子を受信するための手段と、ここで、前記音記述子が環境音から抽出される、
    前記受信した音記述子の類似度を判断するための手段と、
    前記音記述子の前記類似度に基づいて、前記複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するための手段とを備える、サーバ。
  38. 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、請求項37に記載のサーバ。
  39. 前記類似度を判断するための前記手段が、前記受信した音記述子を比較することによって前記類似度を判断するように構成された、請求項37に記載のサーバ。
  40. 前記類似度を判断するための前記手段が、前記受信した音記述子のシーケンスを一致させることによって前記シーケンスを比較するように構成された、請求項39に記載のサーバ。
  41. 前記シーケンスが動的時間ワーピングによって一致させられる、請求項40に記載のサーバ。
  42. 前記類似度が、前記受信した音記述子間の類似度値を含み、
    グループ化するための前記手段は、前記類似度値が所定の値を超える場合、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、請求項37に記載のサーバ。
  43. グループ化するための前記手段が、類似度値の行列を生成するようにさらに構成され、前記行列中の類似度値が、前記受信した音記述子の少なくとも1つのペアを比較することによって生成され、
    グループ化するための前記手段が、前記行列に基づいて、前記複数のクライアントデバイスを前記少なくとも1つの類似コンテキストグループにグループ化するように構成された、請求項37に記載のサーバ。
  44. 基準コンテキスト中のキャプチャされた音から抽出された少なくとも1つの基準音記述子を記憶するための手段と、
    前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別するための手段とをさらに備える、請求項37に記載のサーバ。
  45. 環境音をキャプチャするように構成された音センサーと、
    前記環境音から音記述子を抽出するように構成された音プロセッサと、
    前記クライアントデバイスからの前記音記述子の類似度に基づいて、複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するように構成されたサーバに前記音記述子を送信するように構成された送信ユニットと、
    前記サーバから、前記類似コンテキストグループ中の前記複数のクライアントデバイスを示す情報を受信するように構成された受信ユニットとを備える、クライアントデバイス。
  46. 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、請求項45に記載のクライアントデバイス。
  47. 前記音記述子が、前記環境音の分類を示すか、または前記環境音から抽出された音特徴を示す、請求項45に記載のクライアントデバイス。
  48. 前記サーバが、
    音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、ここで、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、
    前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとを行うようにさらに構成され、
    前記受信ユニットが、前記識別されたコンテキストに関する情報を受信するように構成された、請求項45に記載のクライアントデバイス。
  49. 環境音をキャプチャするための手段と、
    前記環境音から音記述子を抽出するための手段と、
    前記クライアントデバイスからの前記音記述子の類似度に基づいて、複数のクライアントデバイスを少なくとも1つの類似コンテキストグループにグループ化するように構成されたサーバに前記音記述子を送信するための手段と、
    前記サーバから、前記類似コンテキストグループ中の前記複数のクライアントデバイスを示す情報を受信するための手段とを備える、クライアントデバイス。
  50. 前記音記述子が、前記環境音の期間中の音成分の発生の数を含む、請求項49に記載のクライアントデバイス。
  51. 前記サーバから、前記類似コンテキストグループ中の前記複数のクライアントデバイスを示す情報を受信するための手段をさらに備える、請求項49に記載のクライアントデバイス。
  52. 前記サーバが、
    音コンテキストデータベースから少なくとも1つの基準音記述子を取り出すことと、ここで、前記基準音記述子が、基準コンテキスト中のキャプチャされた音から抽出される、前記クライアントデバイスのうちの前記少なくとも1つから受信した前記音記述子と前記少なくとも1つの基準音記述子とを比較することによって、前記クライアントデバイスのうちの少なくとも1つのコンテキストを識別することとを行うようにさらに構成され、
    前記クライアントデバイスが、前記識別されたコンテキストに関する情報を受信するための手段をさらに備える、請求項49に記載のクライアントデバイス。
JP2015234821A 2011-03-04 2015-12-01 コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置 Withdrawn JP2016066366A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161449517P 2011-03-04 2011-03-04
US61/449,517 2011-03-04
US13/371,057 US20120224711A1 (en) 2011-03-04 2012-02-10 Method and apparatus for grouping client devices based on context similarity
US13/371,057 2012-02-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013556645A Division JP6062379B2 (ja) 2011-03-04 2012-02-16 コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置

Publications (1)

Publication Number Publication Date
JP2016066366A true JP2016066366A (ja) 2016-04-28

Family

ID=46753310

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013556645A Expired - Fee Related JP6062379B2 (ja) 2011-03-04 2012-02-16 コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置
JP2015234821A Withdrawn JP2016066366A (ja) 2011-03-04 2015-12-01 コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013556645A Expired - Fee Related JP6062379B2 (ja) 2011-03-04 2012-02-16 コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置

Country Status (6)

Country Link
US (1) US20120224711A1 (ja)
EP (1) EP2681895B1 (ja)
JP (2) JP6062379B2 (ja)
KR (2) KR20160041055A (ja)
CN (1) CN103370920A (ja)
WO (1) WO2012121854A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101853819B1 (ko) * 2011-09-14 2018-06-15 삼성전자주식회사 정보 제공 방법 및 장치, 디바이스와 컴퓨터로 읽을 수 있는 기록 매체
US9460390B1 (en) * 2011-12-21 2016-10-04 Emc Corporation Analyzing device similarity
CN103178878B (zh) * 2011-12-21 2015-07-22 国际商业机器公司 一种用于连接无线设备的方法和系统
US9414183B2 (en) * 2012-03-20 2016-08-09 Nokia Technologies Oy Method and apparatus for providing group context sensing and inference
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
CN103685185B (zh) * 2012-09-14 2018-04-27 上海果壳电子有限公司 移动设备声纹注册、认证的方法及系统
US20140081692A1 (en) * 2012-09-14 2014-03-20 OrgSpan, Inc. Methods for Generating a List of Similar Organization Members of an Organization Hierarchy
CN103813441B (zh) * 2012-11-08 2017-04-26 阿里巴巴集团控股有限公司 一种终端定位的方法及装置
US20140282683A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Computing system with device interaction mechanism and method of operation thereof
CN103220151A (zh) * 2013-04-17 2013-07-24 合肥华恒电子科技有限责任公司 一种基于声音识别的用户关联方法
CN103346897B (zh) * 2013-06-26 2016-12-07 腾讯科技(北京)有限公司 一种群组加入方法及相关设备、系统
US9466317B2 (en) * 2013-10-11 2016-10-11 Facebook, Inc. Generating a reference audio fingerprint for an audio signal associated with an event
US9094453B2 (en) 2013-11-06 2015-07-28 Google Technology Holdings LLC Method and apparatus for associating mobile devices using audio signature detection
CN103618713A (zh) * 2013-11-26 2014-03-05 王玉娇 用户关联方法、系统及相关设备
US20160027044A1 (en) * 2013-12-19 2016-01-28 Google Inc. Presenting information cards for events associated with entities
US10575126B2 (en) 2014-05-16 2020-02-25 Alphonso Inc. Apparatus and method for determining audio and/or visual time shift
US9949078B2 (en) 2014-08-27 2018-04-17 Qualcomm Incorporated Determining a context-dependent virtual distance using measurements of stigmergic interference
US9462456B2 (en) 2014-11-19 2016-10-04 Qualcomm Incorporated Method and apparatus for creating a time-sensitive grammar
DE112015005293T5 (de) * 2014-11-26 2017-08-17 Google Inc. Präsentation von Informationskarten für Ereignisse, die mit Entitäten verbunden sind
US11042457B2 (en) 2015-01-29 2021-06-22 Micro Focus Llc Application updates
EP3157264B1 (en) * 2015-10-17 2019-02-20 Tata Consultancy Services Limited Multi-sensor data summarization
US10210545B2 (en) * 2015-12-30 2019-02-19 TCL Research America Inc. Method and system for grouping devices in a same space for cross-device marketing
JP7204771B2 (ja) * 2018-06-06 2023-01-16 インテル コーポレイション 複数のアクセスポイントスケジューリング及び送信を調整する方法、システム、及び機器
CN109065028B (zh) * 2018-06-11 2022-12-30 平安科技(深圳)有限公司 说话人聚类方法、装置、计算机设备及存储介质
CN109146617A (zh) * 2018-07-27 2019-01-04 重庆小雨点小额贷款有限公司 一种业务审批方法、服务器、客户端及存储介质
CN109255624A (zh) * 2018-07-27 2019-01-22 重庆小雨点小额贷款有限公司 一种业务审批方法、装置、服务器及存储介质
CN109242023B (zh) * 2018-09-12 2021-12-07 江苏科技大学 一种基于dtw和mds的锚链闪光焊质量在线评估方法
CN109239301B (zh) * 2018-09-12 2021-06-01 江苏科技大学 一种锚链闪光焊质量在线评估方法
DE102018128214A1 (de) * 2018-11-12 2020-05-14 Sennheiser Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zur Auswahl eines Audiodatenstroms
US10769203B1 (en) * 2019-10-17 2020-09-08 Samsung Electronics Co., Ltd. System and method for prediction and recommendation using collaborative filtering
DE102020209048A1 (de) * 2020-07-20 2022-01-20 Sivantos Pte. Ltd. Verfahren zur Identifikation eines Störeffekts sowie ein Hörsystem
US20220103549A1 (en) * 2020-09-29 2022-03-31 Schneider Electric USA, Inc. Management of setting change propagation in networked devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287641A (ja) * 2007-05-21 2008-11-27 Ntt Docomo Inc コンテンツ配信先選択装置及びコンテンツ配信先選択方法
JP2009129298A (ja) * 2007-11-27 2009-06-11 Nec Corp コンテクスト対応情報推薦装置、コンテクスト対応情報推薦方法およびコンテクスト対応情報推薦プログラム
EP2264988A1 (en) * 2009-06-18 2010-12-22 Deutsche Telekom AG Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116991B (fi) * 1999-01-18 2006-04-28 Nokia Corp Menetelmä puheen tunnistamisessa, puheentunnistuslaite ja puheella ohjattava langaton viestin
JP2001338218A (ja) * 2000-05-29 2001-12-07 Isao:Kk 広告システム、広告方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7054811B2 (en) * 2002-11-06 2006-05-30 Cellmax Systems Ltd. Method and system for verifying and enabling user access based on voice parameters
US7082394B2 (en) * 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
CN1508734A (zh) * 2002-12-13 2004-06-30 华人创意股份有限公司 用以支持中小企业营运发展的信息供应方法以及系统
US20050147256A1 (en) * 2003-12-30 2005-07-07 Peters Geoffrey W. Automated presentation of entertainment content in response to received ambient audio
US20050197724A1 (en) * 2004-03-08 2005-09-08 Raja Neogi System and method to generate audio fingerprints for classification and storage of audio clips
EP1955458B1 (en) * 2005-11-29 2012-07-11 Google Inc. Social and interactive applications for mass media
CN101517550B (zh) * 2005-11-29 2013-01-02 谷歌公司 大众传媒的社会性和交互式应用
US7831531B1 (en) * 2006-06-22 2010-11-09 Google Inc. Approximate hashing functions for finding similar content
US8090358B2 (en) * 2006-08-16 2012-01-03 At&T Intellectual Property I, L.P. Methods and computer-readable media for location-based targeted advertising
US8503651B2 (en) * 2006-12-27 2013-08-06 Nokia Corporation Teleconferencing configuration based on proximity information
US7973857B2 (en) * 2006-12-27 2011-07-05 Nokia Corporation Teleconference group formation using context information
US20080300702A1 (en) * 2007-05-29 2008-12-04 Universitat Pompeu Fabra Music similarity systems and methods using descriptors
EP2179574B1 (en) * 2007-07-20 2018-09-05 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Identification of proximate mobile devices
JP2009043125A (ja) * 2007-08-10 2009-02-26 Kddi Corp ユーザ分類装置、広告配信装置、ユーザ分類方法、広告配信方法およびプログラム
US8588427B2 (en) * 2007-09-26 2013-11-19 Frauhnhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program
EP2384565B1 (en) * 2009-01-30 2018-09-26 Hewlett-Packard Development Company, L.P. Methods and systems for establishing collaborative communications between devices using ambient audio
US8254964B2 (en) * 2009-02-23 2012-08-28 Sony Ericsson Mobile Communications Ab Method and arrangement relating to location based services for a communication device
JP5267994B2 (ja) * 2009-05-15 2013-08-21 独立行政法人情報通信研究機構 音データラベル付与装置、音データラベル付与方法、及びプログラム
US8745250B2 (en) * 2009-06-30 2014-06-03 Intel Corporation Multimodal proximity detection
US9183580B2 (en) * 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
US20110230987A1 (en) * 2010-03-11 2011-09-22 Telefonica, S.A. Real-Time Music to Music-Video Synchronization Method and System
US8606293B2 (en) * 2010-10-05 2013-12-10 Qualcomm Incorporated Mobile device location estimation using environmental information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287641A (ja) * 2007-05-21 2008-11-27 Ntt Docomo Inc コンテンツ配信先選択装置及びコンテンツ配信先選択方法
JP2009129298A (ja) * 2007-11-27 2009-06-11 Nec Corp コンテクスト対応情報推薦装置、コンテクスト対応情報推薦方法およびコンテクスト対応情報推薦プログラム
EP2264988A1 (en) * 2009-06-18 2010-12-22 Deutsche Telekom AG Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone

Also Published As

Publication number Publication date
JP6062379B2 (ja) 2017-01-18
CN103370920A (zh) 2013-10-23
JP2014515844A (ja) 2014-07-03
EP2681895B1 (en) 2020-08-19
KR20130108661A (ko) 2013-10-04
WO2012121854A1 (en) 2012-09-13
EP2681895A1 (en) 2014-01-08
US20120224711A1 (en) 2012-09-06
KR20160041055A (ko) 2016-04-15

Similar Documents

Publication Publication Date Title
JP6062379B2 (ja) コンテキスト類似度に基づいてクライアントデバイスをグループ化するための方法および装置
JP5905494B2 (ja) 類似のサウンド環境においてモバイルデバイスを識別するための方法および装置
CN103370739B (zh) 用于辨识环境声音的系统和方法
JP5795378B2 (ja) 環境情報を用いたモバイルデバイスのロケーション推定
US20190007510A1 (en) Accumulation of real-time crowd sourced data for inferring metadata about entities
JP5819435B2 (ja) モバイルデバイスのロケーションを決定するための方法および装置
CN104170413B (zh) 基于环境上下文控制移动装置中的应用程序
US20150066925A1 (en) Method and Apparatus for Classifying Data Items Based on Sound Tags
CN103038765A (zh) 用于适配情境模型的方法和装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20161121