JP2015508205A - 音識別に基づくモバイルデバイスの制御 - Google Patents

音識別に基づくモバイルデバイスの制御 Download PDF

Info

Publication number
JP2015508205A
JP2015508205A JP2014556569A JP2014556569A JP2015508205A JP 2015508205 A JP2015508205 A JP 2015508205A JP 2014556569 A JP2014556569 A JP 2014556569A JP 2014556569 A JP2014556569 A JP 2014556569A JP 2015508205 A JP2015508205 A JP 2015508205A
Authority
JP
Japan
Prior art keywords
sound
mobile device
function
media
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014556569A
Other languages
English (en)
Other versions
JP2015508205A5 (ja
Inventor
キム、テス
ホワン、キュ・ウォン
ジン、ミンホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015508205A publication Critical patent/JP2015508205A/ja
Publication of JP2015508205A5 publication Critical patent/JP2015508205A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/02—Non-electrical signal transmission systems, e.g. optical systems using infrasonic, sonic or ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2101—Auditing as a secondary aspect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

モバイルデバイスにおいて機能を実行するための方法および装置が開示される。モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャし、キャプチャされたメディア音から音特徴を抽出する。抽出された音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、モバイルデバイスにおいて実行されるべき機能を決定し、基準音特徴のセット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連する。さらに、モバイルデバイスにおいて、決定された機能を実行する。

Description

優先権の主張
本特許出願は、各々が本出願の譲受人（出願人）に譲渡され、参照により本明細書に明確に組み込まれる、２０１２年２月８日に出願された米国仮出願第６１／５９６，５７６号および２０１３年１月２８日に出願された米国非仮出願第１３／７５２，０８０号の優先権を主張する。
本開示は、一般に、ポータブルコンピューティングデバイス上の機能を制御することに関する。より詳細には、本開示は、音識別に基づいてモバイルデバイスを制御することに関する。
[0003]近年、スマートフォンおよびタブレットコンピュータなど、モバイルデバイスの使用が普及してきた。これらのデバイスは、一般に、ワイヤレスネットワークを介して音声およびデータ通信機能を与える。さらに、そのようなモバイルデバイスは、ユーザが、インターネットをブラウズすること、写真またはビデオを撮ること、電話呼またはビデオ呼を行うことなど、様々な機能を実行することを可能にする。したがって、たいていのユーザは、便利な機能のために、そのようなモバイルデバイスを常に携帯している。
[0004]しかしながら、モバイルデバイスは、しばしば、望ましくない状況で動作させられる。たとえば、モバイルフォンのユーザは、しばしば、映画館などのいくつかの状況ではモバイルフォンの電源を切ることを期待される。最善の意図にもかかわらず、何人かのユーザは、電話の電源を切るのを忘れることがあり、近くの観客を迷惑がられる。
[0005]さらに、モバイルデバイスユーザは、日常生活において様々な情報を受ける。ユーザが、興味の対象に関するより多くの情報を見つけ出すことを望むとき、ユーザは、一般に、自分のモバイルデバイス上でクエリを手動で入力することによって情報の検索を実行する。運転中のユーザにとって、これはあまり便利な作業でないことがある。
[0006]したがって、ユーザによる手入力なしにモバイルデバイスにおいて機能を自動的に実行することができる方法および装置が必要である。
[0007]本開示は、音識別に基づいてモバイルデバイス上で機能を制御するための方法、システムおよびデバイスを提供する。
[0008]本開示の一態様によれば、モバイルデバイスを制御するための方法が開示される。本方法では、モバイルデバイスの外部の音出力デバイスからのメディア音がキャプチャされ、キャプチャされたメディア音から音特徴が抽出される。抽出された音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、モバイルデバイスによって実行されるべき機能が決定され、基準音特徴のセット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連する。当該決定された機能は、モバイルデバイスにおいて実行される。さらに、本方法は、音特徴を生成するために少なくとも１つの基礎フィルタ（basis filter）を適用することを含み得る。本開示は、本方法に関係するデバイス、システム、サーバ、手段の組合せ、およびコンピュータ可読媒体についても説明する。
[0009]本開示の別の態様によれば、モバイルデバイスにおいて機能を実行するための方法が開示される。本方法では、少なくとも１つのメディア音を含む合成音（composite sound）は、複数の音センサーによってキャプチャされる。少なくとも１つのメディア音は、合成音から分離される。また、少なくとも１つの抽出された音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、モバイルデバイスにおいて実行されるべき機能が決定される。基準音特徴のセット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連する。決定された機能はモバイルデバイスにおいて実行される。本開示では、本方法に関係するデバイス、システム、サーバ、手段の組合せ、およびコンピュータ可読媒体についても説明する。
[0010]本開示のさらに別の態様によれば、サーバは、受信機と、識別ユニットと、機能決定ユニットとを含む。受信機は音特徴を受信するように構成され、音特徴は、モバイルデバイスによってキャプチャされたメディア音から抽出される。識別ユニットは、音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別するように構成され、基準音特徴のセット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連する。機能決定ユニットは、少なくとも１つの識別された基準音特徴に基づいてモバイルデバイスによって実行されるべき機能を決定するように構成される。
[0011]本開示のまた別の態様によれば、モバイルデバイスは、音センサーと、音特徴抽出器と、識別ユニットと、機能決定ユニットと、制御ユニットとを含む。音センサーは、モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャするように構成される。音特徴抽出器は、キャプチャされたメディア音から音特徴を抽出するように構成される。識別ユニットは、音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別するように構成され、基準音特徴のセット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連する。機能決定ユニットは、少なくとも１つの識別された基準音特徴に基づいてモバイルデバイスにおいて実行されるべき機能を決定するように構成される。制御ユニットは、モバイルデバイスにおいて、決定された機能を実行するように構成される。
[0012]本開示の発明的態様の実施形態は、以下の発明を実施するための形態を参照し、添付の図面とともに読めば理解されよう。
いくつかの実施形態に従って、モバイルデバイスが、機能を実行するためにメディア音をキャプチャするように構成された、映画館を示す図。 いくつかの実施形態に従って、テレビジョンからキャプチャされたメディア音に基づいて機能を実行するように構成されたモバイルデバイスを装備した視聴者を示す図。 いくつかの実施形態に従って、それぞれ、テレビジョンからのメディア音に基づいてチャット機能を起動するように構成されたモバイルデバイスを装備した視聴者を示す図。 いくつかの実施形態に従って、車中のカーオーディオからのメディア音に応答して機能を実行するように構成され得るモバイルデバイスを装備した運転者を示す図。 いくつかの実施形態に従って、バス中のスピーカーからのメディア音に応答して機能を実行するように構成され得るモバイルデバイスを装備した、バスの乗客を示す図。 いくつかの実施形態に従って、メディア音から抽出された音特徴に基づいてモバイルデバイスにおいて実行されるべき機能を決定するように構成されたシステムを示すブロック図。 いくつかの実施形態に従って、サーバが、モバイルデバイスから受信したメディア音に基づいてモバイルデバイスにおいて実行されるべき機能を決定するように構成された、システムを示すブロック図。 いくつかの実施形態に従って、実行されるべき機能を決定するための音特徴データベースを含むモバイルデバイスのブロック図。 一実施形態に従って、音特徴データベースのデータ構造を示すブロック図。 いくつかの実施形態に従って、サーバにおいて実行されるべき機能を決定することによって、メディア音から抽出された音特徴に基づいてモバイルデバイスによって機能を実行するための方法のフローチャート。 いくつかの実施形態に従って、メディア音の音特徴に基づいてモバイルデバイスにおいて実行されるべき機能を決定するための、サーバによって実行される方法のフローチャート。 いくつかの実施形態に従って、メディア音に基づいて機能を決定し、実行するための、モバイルデバイスによって実行される方法のフローチャート。 いくつかの実施形態に従って、基礎フィルタに基づいてメディア音から音特徴を抽出するための、モバイルデバイスによって実行される方法のフローチャート。 いくつかの実施形態に従って、音特徴を抽出する際に使用する複数の基礎フィルタから少なくとも１つの基礎フィルタを選択するための方法のフローチャート。 いくつかの実施形態に従って、複数のメディア音のうちの少なくとも１つをキャプチャすることに応答して少なくとも１つの機能を実行するように構成された、複数の音センサーを有するモバイルデバイスを示す図。 いくつかの実施形態に従って、複数の音から選択されたメディア音に応答して機能を実行するためのモバイルデバイスにおける方法のフローチャート。 いくつかの他の実施形態に従って、複数のメディア音に応答して少なくとも１つの機能を実行するためのモバイルデバイスにおける方法のフローチャート。 いくつかの実施形態に従って、音識別に基づいて機能を制御するための方法および装置が実装され得る例示的なモバイルデバイスのブロック図。 いくつかの実施形態に従って、音識別に基づいて機能を制御するための方法および装置が実装され得るサーバシステムのブロック図。
[0032]次に、添付の図面にそれの例が示されている、様々な実施形態を詳細に参照する。以下の発明を実施するための形態では、本主題の完全な理解を与えるために多数の具体的な詳細を記載する。ただし、本主題はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。他の事例では、様々な実施形態の態様を不必要に不明瞭にしないように、よく知られている方法、プロシージャ、システム、および構成要素については詳細に説明していない。
[0033]図１に、いくつかの実施形態による、モバイルデバイス１３０が、機能を実行するためにメディア音をキャプチャするように構成された、映画館１００を示す。映画館１００にいる視聴者１２０（たとえば、映画ファン）はモバイルデバイス１３０を有し得る。モバイルデバイス１３０は、たとえば、マイクロフォンなどの音キャプチャ機能、ならびに／あるいはデータおよび／または通信ネットワークを通した通信機能を装備した、セルラーフォン、スマートフォン、ラップトップコンピュータまたはタブレットパーソナルコンピュータなど、任意の好適なデバイスであり得る。視聴者１２０は、映画館１００においてモバイルデバイス１３０の電源を切るのを忘れることがある。
[0034]視聴者１２０のモバイルデバイス１３０は環境音をキャプチャするように動作可能である。映画が始まる前に、映画館１００は、１つまたは複数のスピーカー１４０を通して「電話の電源を切ってください」などのメディア音を再生し得、映画スクリーン１１０上に、対応する視覚メッセージを表示することもある。モバイルデバイス１３０は、メディア音をキャプチャし、キャプチャされたメディア音から音特徴を抽出する。
[0035]スピーカー１４０を通して再生されるメディア音は、再生のためにキャプチャされ、録音された音である。本明細書で使用するメディア音（たとえば、ソース音またはデータベース中に登録された音）は、再生のために記憶媒体（たとえば、光媒体、磁気媒体、またはデジタル媒体）上に記録され得る、音声、音楽、または任意のタイプの音であり得る。メディア音は、音を一意に記述するかまたは表す音特徴によって特徴づけられ、オーディオフィンガープリント、音シグネチャ（sound signature）、または任意の他の音識別子を含み得る。メディア音を特徴づける音特徴は、メディア音に応答してモバイルデバイスの電源を切ることなど、モバイルデバイスによって実行されるべき機能に関連し得る。「機能」（または代替的に「アクション」と呼ばれる）という用語は、モバイルデバイスにおいて実行または履行され得る、任意の動作またはその動作のための命令を指す。
[0036]キャプチャされたメディア音から音特徴を抽出した後、モバイルデバイス１３０は、抽出された音特徴に関連する機能を決定し得る。図示の例では、「電話の電源を切ってください」というアナウンスは、映画館１００における再生のために声優によってあらかじめ録音され得る。機能が決定されると、モバイルデバイス１３０は機能を実行する。たとえば、モバイルデバイス１３０は、視覚、オーディオ、または触覚通知を与えることによって、視聴者１２０にモバイルデバイス１３０の電源を切るように促す機能を実行し得る。いくつかの実施形態では、モバイルデバイス１３０は、視聴者１２０による介入を必要とすることなしに、モバイルデバイス１３０の電源を自動的に切るように構成され得る。
[0037]図２に、いくつかの実施形態による、テレビジョン２１０からキャプチャされたメディア音に基づいて機能を実行するように構成されたモバイルデバイス１３０を装備した視聴者１２０を示す。図示の実施形態では、テレビジョン２１０からブロードキャストされるいくつかの音はメディア音であり得、メディア音の各々は、モバイルデバイス機能に関連する音特徴によって特徴づけられる。テレビジョン２１０がメディア音をブロードキャストしたとき、モバイルデバイス１３０は、メディア音をキャプチャし、メディア音から音特徴を抽出する。
[0038]一実施形態では、テレビジョン２１０は、スクリーン上にコマーシャルを表示し、同時に、テレビジョン２１０の１つまたは複数のスピーカー２４０を通してそのコマーシャルに関連するメディア音を再生し得る。たとえば、テレビジョン２１０は、人気がある缶飲料の広告を再生し得、あらかじめ録音されている、缶飲料に関係する音クリップ（たとえば、缶飲料を飲んでいる人）がモバイルデバイス１３０によってキャプチャされる。キャプチャされると、メディア音は、キャプチャされた音クリップのための一意の音特徴を抽出するためにデジタル的に処理される。音特徴は、モバイルデバイス１３０が、情報の検索、たとえば、インターネット検索を自動的に実行し得るように、モバイルデバイス１３０によって実行されるべき機能に関連し得る。缶飲料コマーシャルの例では、モバイルデバイス１３０は、製品詳細、クーポン、または缶飲料に関係する検索結果を表示するために、たとえば、検索エンジンを介して検索を自動的に実行し得る。別の例では、モバイルデバイス１３０によって実行されるべき機能は、視聴者１２０がテレビジョン２１０でフットボールの試合を見ている間、フットボールプレーヤーに関する最新の統計の検索を実行することであり得る。また別の例では、モバイルデバイス１３０は、視聴者１２０が見ているテレビ番組、たとえばニュース番組または朝番組のウェブサイトの検索を実行し得る。
[0039]図３に、いくつかの実施形態による、それぞれテレビジョン３１２Ａおよび３１２Ｂからのメディア音に基づいてチャット機能を起動するように構成された、それぞれモバイルデバイス１３０Ａおよび１３０Ｂを装備した視聴者１２０Ａおよび１２０Ｂを示す。図示の実施形態では、視聴者１２０Ａは第１のロケーション３１０Ａにおいてテレビジョン３１２Ａを見ているが、視聴者１２０Ｂは第２のロケーション３１０Ｂにおいてテレビジョン３１２Ｂを見ている。視聴者１２０Ａおよび１２０Ｂが同じテレビ番組（たとえば、ショー、コマーシャル、スポーツイベントなど）を見ているとき、モバイルデバイス１３０Ａおよび１３０Ｂは、それぞれテレビジョン３１２Ａおよび３１２Ｂからブロードキャストされたメディア音をキャプチャし、キャプチャされたメディア音から音特徴を抽出するように構成される。たとえば、テレビ番組中の俳優３３０の音声などのメディア音がテレビジョン３１２Ａのスピーカー３２０Ａを通して再生されたとき、モバイルデバイス１３０Ａは俳優３３０の音声のメディア音をキャプチャし得る。同様に、モバイルデバイス１３０Ｂは、視聴者１２０Ａおよび１２０Ｂが同じテレビ番組を見ているので、スピーカー３２０Ｂを通して俳優３３０の音声の同じメディア音をキャプチャし得る。
[0040]モバイルデバイス１３０Ａおよび１３０Ｂが俳優３３０の音声のメディア音をキャプチャすると、モバイルデバイス１３０Ａおよび１３０Ｂは、キャプチャされたメディア音から音特徴を抽出し、ネットワーク３５０を通して、抽出された音特徴をサーバ３４０に送信し得る。ネットワーク３５０は、任意のタイプのネットワーク、ならびに、限定はしないが、セルラーネットワーク、回線交換ネットワーク、公衆交換ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤレスネットワーク、および／またはパケット交換ネットワークなどを含む、ネットワークの任意の組合せであり得る。サーバ３４０は、俳優３３０の音声のメディア音から抽出された基準音特徴を記憶し得る。サーバ３４０は、モバイルデバイス１３０Ａおよび１３０Ｂからの受信した音特徴は、両方の音特徴が基準音特徴と同じであると決定された場合に、同じメディア音を表すと決定する。
[0041]サーバ３４０は、次いで、モバイルデバイス１３０Ａおよび１３０Ｂによって実行されるべきである、基準音特徴に関連する機能を決定する。たとえば、機能は、音声またはビデオチャットセッション、ソーシャルネットワーキングサービス、テキストおよび／またはピクチャ交換サービスなどを開始することなど、モバイルデバイス１３０Ａとモバイルデバイス１３０Ｂの両方の上で同様の動作をアクティブにする機能であり得る。サーバ３４０は、モバイルデバイスによって実行されるべき機能を識別する情報（たとえば、データまたは命令）をモバイルデバイス１３０Ａおよび１３０Ｂに送信する。モバイルデバイス１３０Ａおよび１３０Ｂは、実行されるべき機能を識別する情報を受信し、その機能を実行し得る。一実施形態では、モバイルデバイス１３０Ａおよび１３０Ｂは、それぞれモバイルデバイス１３０Ａの視聴者１２０Ａとモバイルデバイス１３０Ｂの視聴者１２０Ｂとの間で通信セッション（たとえば、音声またはビデオチャットセッション）を開始するために、識別された機能を実行する。
[0042]一実施形態では、サーバ３４０は、モバイルデバイス１３０Ａおよび１３０Ｂによるキャプチャされた音が、サーバ３４０においてデータベース中に登録されたメディア音のうちの１つであるかどうかを決定することによって、音出力デバイスから出力される音（すなわち、メディア音）と音出力デバイス以外のソースから出力されるライブ音（すなわち、メディア音でない音）とを区別することが可能であり得る。たとえば、俳優３３０が、第２のロケーション３１０Ｂに物理的に存在し、テレビジョン３１２Ｂがオンになることなしに視聴者１２０Ｂに向かって話している場合、モバイルデバイス１３０Ｂは、俳優３３０のライブ音声（すなわち、メディア音でない音）をキャプチャし、キャプチャされた音声から音特徴を抽出し得る。一方、モバイルデバイス１３０Ａは、テレビジョン３１２Ａからの俳優３３０の音（すなわち、メディア音）をキャプチャして、音特徴を抽出する。モバイルデバイス１３０Ａおよび１３０Ｂは、次いで、抽出された音特徴を、モバイルデバイス１３０Ａおよび１３０Ｂからの抽出された音特徴が同じ基準音特徴に関連するかどうかを決定するように構成されたサーバ３４０に送信する。第２のロケーション３１０Ｂにおいてキャプチャされた俳優のライブ音声のための音特徴の場合、サーバ３４０におけるデータベースは、一致する基準音特徴を有さず、したがって、モバイルデバイス１３０Ａによってキャプチャされた音が、モバイルデバイス１３０Ｂによってキャプチャされた俳優のライブ音声とは異なると決定する。その結果、サーバ３４０は、モバイルデバイス１３０Ａおよび１３０Ｂによって実行されるべき機能を識別する情報を与えない。
[0043]図４に、いくつかの実施形態による、車４１０中のカーオーディオ４３０からのメディア音に応答して機能を実行するように構成され得るモバイルデバイス１３０を装備した運転者４２０を示す。図示の実施形態では、カーオーディオ４３０は、あらかじめ録音されている広告、音楽、ニュース、または天気予報など、ある音をブロードキャストし得る。たとえば、製品に関係する広告の音クリップが、メディア音としてモバイルデバイス１３０によってキャプチャされ得る。キャプチャされたメディア音から、モバイルデバイス１３０は、音特徴を抽出し、抽出された音特徴を図３のサーバ３４０などのサーバに送信し得る。いくつかの実施形態では、モバイルデバイス１３０はまた、全地球測位システム（ＧＰＳ）など、モバイルデバイス１３０のロケーション追跡機能を使用することによって、抽出された音特徴とともにモバイルデバイス１３０のロケーション情報をサーバ３４０に送信し得る。
[0044]モバイルデバイス１３０から音特徴を受信した後、サーバ３４０は、音特徴が、サーバ３４０に記憶された基準音特徴と同じであるかどうかを決定し得る。モバイルデバイス１３０から受信した音特徴が基準音特徴と同じであるとサーバ３４０が決定した場合、サーバ３４０は、モバイルデバイス１３０によって実行されるべき機能を決定し、機能を識別する情報をモバイルデバイス１３０に送信し得る。たとえば、機能は、メディア音を通して広告されている製品が購入され得るロケーションのリストを与えることであり得る。モバイルデバイス１３０は、サーバ３４０から、機能を識別する情報を受信し、マップ中にロケーションのリストを表示すること、または会社の名前、ロケーション情報および電話番号など、詳細な情報を与えることによって機能を実行する。
[0045]別の実施形態では、サーバ３４０は、モバイルデバイス１３０の広告された製品および／またはロケーションに基づいて販売促進情報（たとえば、割引券、無料サービスクーポンなど）を与えるために機能を決定し得る。他の機能は、カーオーディオ４３０上でブロードキャストされ得る任意のメディア音に基づいて、モバイルデバイス１３０上で可能であり、広告に限定される必要がないことを諒解されよう。
[0046]図５に、いくつかの実施形態による、バス５１０中のスピーカー５４０からのメディア音に応答して機能を実行するように構成され得るモバイルデバイス１３０を装備した、バス５１０の乗客５２０を示す。乗客５２０がバス５１０中にいる間、乗客に次の停留所について通知するために、バス５１０中のスピーカー５４０を通してアナウンスなどのメディア音が生じ得る。乗客５２０のモバイルデバイス１３０は、そのようなアナウンスをキャプチャし、前に説明したように、モバイルデバイス１３０上で機能を実行するために処理され得る音特徴を抽出するために、キャプチャされた音を処理するように構成され得る。
[0047]次の停留所のアナウンスが行われたとき、乗客５２０が、イヤフォンを用いてモバイルデバイス１３０で音楽を聞いている場合、乗客５２０はアナウンスが聞こえないことがある。したがって、モバイルデバイス１３０は、アナウンスをキャプチャし、アナウンスの抽出された音特徴に基づいて、オーディオおよび／またはビジュアルメッセージ、触覚通知、またはそれらの任意の組合せを出力することなど、乗客５２０に次の停留所について通知する機能を実行し得る。たとえば、モバイルデバイス１３０は、乗客５２０に対して再生されている音楽を停止し、および／または振動通知を生成するように構成され得る。さらに、モバイルデバイス１３０は、モバイルデバイス１３０のスクリーン上にポップアップメッセージ（たとえば、「次の停留所が目的地です」）を表示し得る。いくつかの実施形態では、乗客５２０は、目的地の停留所がアナウンスされたときに通知を受信するために、目的地情報を用いてモバイルデバイス１３０を事前構成し得る。
[0048]モバイルデバイス１３０は、メディア音に基づいて他の機能を実行するように構成され得る。たとえば、モバイルデバイス１３０は、目的地の停留所のあらかじめ録音されたアナウンスに基づく地図または公共交通ルートなど、ロケーション情報を表示するように構成され得る。別の例では、モバイルデバイス１３０は、バス５１０のスピーカー５４０を介してアナウンスされるあらかじめ録音された広告をキャプチャし、乗客５２０に、広告された製品に関連する製品情報および／またはロケーション情報を通知し得る。
[0049]いくつかの実施形態では、モバイルデバイス１３０は、メディア音（たとえば、ラジオまたはテレビ番組、コマーシャル音クリップ、スピーカーアナウンスなどから）を、再生中いつでもキャプチャし得ることを諒解されよう。いくつかの実施形態では、メディア音は、一定の時間間隔においてモバイルデバイス１３０によってキャプチャされ得る。たとえば、図３に示したようにテレビ番組を見る場合、視聴者１２０Ｂが視聴者１２０Ａよりも後で同じテレビ番組に同調した場合、モバイルデバイス１３０Ａおよび１３０Ｂは、次に、テレビジョン３１２Ｂ上で、関連する音特徴を有するメディア音が再生されたときにチャットサービスを開始する。
[0050]図６Ａは、いくつかの実施形態による、メディア音から抽出された音特徴に基づいてモバイルデバイス１３０Ａにおいて実行されるべき機能を決定するように構成されたシステム６００Ａを示すブロック図である。システム６００Ａは、ネットワーク３５０を介して接続された、モバイルデバイス１３０Ａとサーバ３４０Ａと含み得る。モバイルデバイス１３０Ａは、音センサー６１２と、音特徴抽出器６１４と、送信機６１６と、受信機６１８と、制御ユニット６２０と、出力ユニット６２２とを含み得る。音センサー６１２は、電話の電源を切ること、通知を送ること、またはインターネット上で検索を行い、検索結果を与えることなど、メディア音に関連する機能を識別するために使用され得る少なくとも１つの一意の音特徴を有するメディア音をキャプチャするように構成される。たとえば、音センサー６１２は、１つまたは複数のマイクロフォン、または周囲の周囲音を検出、感知、および／またはキャプチャするために使用される他のタイプの音センサーを含み得る。音センサー６１２は、通話のためにまたはビデオを録音するためにモバイルデバイス１３０Ａに組み込まれたマイクロフォン、または周囲音を受信するための専用のマイクロフォンであり得る。音特徴抽出器６１４は、音声およびオーディオコーディング、圧縮、認識ならびに分析方法を含む、好適な信号処理方法を使用することによって、音センサー６１２からメディア音を受信し、メディア音から一意の音特徴（たとえば、オーディオフィンガープリントまたは音シグネチャ）を抽出する。たとえば、そのような方法には、オーディオフィンガープリンティング、音声認識または音声およびオーディオコーディングのための周知の方法である、スペクトル分析、ＭＦＣＣ（メル周波数ケプストラム係数（Mel-frequency cepstral coefficient））、ＬＰＣ（線形予測コーディング（linear predictive coding））、および／またはＬＳＰ（線スペクトル対（line spectral pair））技法がある。また、以下でより詳細に説明するように、一意の音特徴は、キャプチャされたメディア音に基礎フィルタを適用することによって抽出され得る。
[0051]モバイルデバイス１３０Ａの送信機６１６は、ネットワーク３５０を介して、抽出された音特徴をサーバ３４０Ａに送信するように構成される。サーバ３４０Ａは、以下でより詳細に説明するように、モバイルデバイス１３０Ａによって実行されるべき機能を決定するためにモバイルデバイス１３０Ａから受信した音特徴を処理し、ネットワーク３５０を介してモバイルデバイス１３０Ａに機能を識別する情報を与える。モバイルデバイス１３０Ａの受信機６１８は、音特徴に基づいて決定された機能を識別する情報を受信し、機能を識別する情報を、モバイルデバイス１３０Ａにおいて機能を実行するように構成された制御ユニット６２０に送信するように構成される。たとえば、制御ユニット６２０は、モバイルデバイス１３０Ａの電源を切ることまたは出力ユニット６２２を通して通知メッセージを表示することによって機能を実行し得る。
[0052]サーバ３４０Ａは、モバイルデバイス１３０Ａから受信した音特徴に基づいてモバイルデバイス１３０Ａ上で実行されるべき機能を決定するように構成される。サーバ３４０Ａは、受信機６４２と、機能決定ユニット６４４と、音特徴データベース６４６と、基礎フィルタ生成器６５０と、送信機６４８と、サンプル音データベース６５２とを含み得る。受信機６４２は、モバイルデバイス１３０Ａから音特徴を受信するように構成され、モバイルデバイス１３０Ａによって実行されるべき機能を決定するために音特徴を機能決定ユニット６４４に与える。
[0053]機能決定ユニット６４４は、受信した音特徴との最も大きい類似度を有する基準音特徴を識別するために、音特徴データベース６４６にアクセスするように構成される。音特徴データベース６４６は複数の基準音特徴を含み、基準音特徴の各々は、メディア音から抽出され、モバイルデバイスによって実行されるべき機能に関連する。一実施形態では、抽出された音特徴または基準音特徴は、メディア音を一意に記述するかまたは表す値の任意の好適なセットによって表され得る。たとえば、値のセットは、周波数領域スペクトル、電力領域スペクトルなどに対応し得る。メディア音は、音を一意に記述するかまたは表す音特徴によって特徴づけられ、オーディオフィンガープリント、音シグネチャ、または任意の他の音識別子を含み得る。したがって、音特徴データベース６４６は、複数の抽出された音特徴または基準音特徴から構成され得、それらの音特徴の各々は、関連する機能を有する。本明細書で説明するように、音特徴がメディア音から抽出され、関連する機能とともに音特徴データベース６４６中に含まれているとき、メディア音は、音特徴データベース６４６中に登録されていると見なされ得る。したがって、入力メディア音が音特徴データベース６４６中に登録されているとき、音特徴データベース６４６から、モバイルデバイスによって実行されるべき対応する機能が識別され得る。
[0054]以下の表１に示すように、音特徴データベース６４６は複数の基準音特徴１〜Ｎを含み得、基準音特徴の各々は、実行されるべき機能に関連する。たとえば、基準音特徴１は、「電話の電源を切る」という機能に関連するが、基準音特徴２は、インターネット上で製品検索を行い、検索結果を与える機能に関連し得る。
Figure 2015508205
[0055]サーバ３４０Ａ中の基礎フィルタ生成器６５０は、サンプル音データベース６５２のサンプル音を使用することによって、抽出された音特徴に適用され得る１つまたは複数の基礎フィルタを生成するように構成される。さらに、基礎フィルタは、音特徴データベース６４６の精度を改善するために、音特徴データベース６４６を更新するために使用され得る。基礎フィルタ生成器６５０の具体的な動作を以下でより詳細に与える。
[0056]受信した音特徴に基づいて、機能決定ユニット６４４は、音特徴データベース６４６にアクセスし、受信した音特徴との最も大きい類似度を有する基準音特徴を決定する。基準音特徴が音特徴データベース６４６から識別されると、機能決定ユニット６４４は、音特徴データベース６４６からの識別された基準音特徴に関連する機能を決定する。サーバ３４０Ａは、送信機６４８を介してネットワーク３５０を通して、機能を識別する情報をモバイルデバイス１３０Ａに送信する。モバイルデバイス１３０Ａの制御ユニット６２０は、受信機６１８を介してサーバ３４０Ａから、機能を識別する情報を受信し、たとえば、モバイルデバイス１３０Ａの電源を切ることまたは出力ユニット６２２を通して通知メッセージを表示することによって、モバイルデバイス１３０Ａにおいて機能を実行する。
[0057]一実施形態では、モバイルデバイス１３０Ａまたは１３０Ｂは、ユーザ介入を必要とすることなしに、音処理機能を自動的に実行するように構成され得る。言い換えれば、ユーザは、モバイルデバイス１３０Ａまたは１３０Ｂ上での機能の実行を手動で開始する必要がない。この場合、モバイルデバイス１３０Ａまたは１３０Ｂの音センサー６１２は、モバイルデバイス１３０Ａまたは１３０Ｂ上で実行されるべき機能を決定するために、たとえば、連続的に環境音をキャプチャして、登録されたメディア音を認識し得る。しかしながら、モバイルデバイス１３０Ａまたは１３０Ｂが連続的に環境音をキャプチャし、処理するように動作している間、電力は、概して、一般に容量が制限されるバッテリから消費される。したがって、バッテリを節約するために、以下のいくつかの実施形態で説明するように、低電力モードで動作することによって、モバイルデバイス１３０Ａまたは１３０Ｂの電力消費が低減され得る。
[0058]いくつかの実施形態では、モバイルデバイス１３０Ａは、電力消費を低減するために、所定の時間間隔において環境音をキャプチャし得る。この場合、環境音をキャプチャまたは処理するために使用されるモバイルデバイス１３０Ａ中の構成要素が、所定の時間間隔（たとえば、１００ｍｓの間隔において１０ｍｓの持続時間をもつ音）においてアクティブにされ得る。たとえば、そのような構成要素は、１０ｍｓでは「アクティブ状態」に（すなわち、高電力状態に）あり、次の９０ｍｓでは「アイドル状態」に（すなわち、低電力状態またはオフ状態に）あるように構成され得る。アクティブ状態の間に、モバイルデバイス１３０Ａは、環境音をキャプチャし、キャプチャされた音が所定のしきい値音レベル（たとえば、電力レベル）を超えるかどうかを決定する。キャプチャされた音の音レベルがしきい値音レベルを超えた場合、モバイルデバイス１３０Ａは、キャプチャされた音を処理して、モバイルデバイス１３０Ａ上で実行されるべき機能を決定し得る。アイドル状態では、環境音をキャプチャまたは処理するために使用される構成要素は、デューティサイクルの９０％について非アクティブである。したがって、そのような場合、モバイルデバイス１３０Ａは、連続的に環境音をキャプチャし、処理する場合よりも、音処理における電力の９０％をも節約し得る。
[0059]モバイルデバイス１３０Ａはまた、キャプチャされた音が、音声または音楽など、メディア音であるかどうかを決定するように構成され得る。一実施形態では、音センサー６１２は、雑音などの非メディア音と区別するために、キャプチャされた音がメディア音であるかどうかを決定するためのデジタル信号プロセッサ（「ＤＳＰ」）を含み得る。たとえば、キャプチャされた音の音レベルがしきい値音レベルを超えると決定されたとき、ＤＳＰは、ＭＦＣＣ（メル周波数ケプストラム係数）をもつガウス混合モデル（Gaussian Mixture Model）など、好適な信号処理方法を使用することによって、キャプチャされた音がメディア音であるか否かを決定するためにアクティブにされ得る。キャプチャされた音が、音声または音楽など、メディア音であるとＤＳＰが決定した場合、キャプチャされた音は、上記で説明したように、さらなる処理のために音特徴抽出器６１４に与えられる。一方、キャプチャされた音がメディア音でないとＤＳＰが決定した場合、キャプチャされた音はそれ以上処理されない。音処理のフロントエンドにおいて非メディア音を識別し、破棄することによって、モバイルデバイス１３０Ａは、すべてのキャプチャされた音を処理する場合よりもかなりの電力を節約し得る。
[0060]図６Ｂは、別の実施形態による、サーバ３４０Ｂが、モバイルデバイス１３０Ｂから受信したメディア音に基づいてモバイルデバイス１３０Ｂにおいて実行されるべき機能を決定するように構成された、システム６００Ｂを示すブロック図ある。図示のように、システム６００Ｂは、ネットワーク３５０を介して接続された、モバイルデバイス１３０Ｂとサーバ３４０Ｂとを含む。この実施形態では、音特徴抽出器６４３は、図６Ａのシステム６００Ａとは対照的に、モバイルデバイス１３０Ｂではなくサーバ３４０Ｂ中に含まれる。モバイルデバイス１３０Ｂの音センサー６１２がメディア音をキャプチャした後、モバイルデバイス１３０Ｂは、送信機６１６を通してメディア音をサーバ３４０Ｂに直接送信する。
[0061]サーバ３４０Ｂでは、受信機６４２は、モバイルデバイス１３０Ｂから送信されたメディア音を受信し、受信したメディア音を音特徴抽出器６４３に与える。音特徴抽出器６４３は、メディア音から一意の音特徴を抽出するように構成される。サーバ３４０Ｂは、次いで、モバイルデバイス１３０Ｂによって実行されるべき機能を決定し、ネットワーク３５０を介してモバイルデバイス１３０Ｂに機能を識別する情報を与えるために、図６Ａに関して上記で説明したのと同じ方法で、抽出された音特徴を処理し得る。
[0062]図７に、いくつかの実施形態による、実行されるべき機能を決定するための音特徴データベース７４０を含むモバイルデバイス７００のブロック図を示す。モバイルデバイス７００は、少なくとも１つの一意の音特徴を有するメディア音をキャプチャするように構成された音センサー７１０と、音センサー７１０からメディア音を受信し、キャプチャされたメディア音から音特徴（たとえば、オーディオフィンガープリント）を抽出するように構成された音特徴抽出器７２０とを含む。モバイルデバイス７００は、抽出された音特徴を音特徴データベース７４０に記憶された複数の基準音特徴と比較するように構成された機能決定ユニット７３０をさらに含む。
[0063]機能決定ユニット７３０は、受信した音特徴に対し最大類似度を有する基準音特徴を識別するために、音特徴データベース７４０にアクセスするように構成される。上記で説明したように、音特徴データベース７４０は複数の基準音特徴を含み、基準音特徴の各々は、メディア音から抽出され、モバイルデバイスによって実行されるべき機能に関連する。音特徴データベース７４０の複数の基準音特徴は、モバイルデバイス７００においてローカルで更新されるか、またはサーバと通信してリモートで更新され得る。たとえば、メディア音をキャプチャし、関連する機能をモバイルデバイス７００に入力するために、ユーザがモバイルデバイス７００を操作し得る。モバイルデバイス７００は、次いで、キャプチャされたメディア音から基準音特徴を抽出し、当該関連する機能とともに当該抽出された基準音特徴を音特徴データベース７４０に記憶し得る。代替として、音特徴データベース７４０は、リモートサーバから、関連する機能をもつ基準音特徴をダウンロードし得る。音特徴データベース７４０から、機能決定ユニット７３０は、識別された基準音特徴に関連する機能を決定する。機能決定ユニット７３０からの決定された機能に基づいて、制御ユニット７６０はモバイルデバイス７００において機能を実行する。
[0064]図８は、一実施形態による、音特徴データベース６４６のデータ構造８００を示すブロック図である。図６Ａおよび図６Ｂの音特徴データベース６４６はデータ構造８００によって記述され得るが、図７の音特徴データベース７４０もデータ構造８００を使用し得る。データ構造８００は、複数のメタデータ８１０Ａ〜８１０Ｎを含み、それらは、それぞれ、基準音特徴８１２Ａ〜８１２Ｎ、機能８１４Ａ〜８１４Ｎ、およびコンテキスト情報８１６Ａ〜８１６Ｎを含む。コンテキスト情報８１６Ａ〜８１６Ｎは、基準音特徴８１２Ａ〜８１２Ｎに追加の情報またはパラメータをそれぞれ与え得る。したがって、メタデータ８１０Ａ〜８１０Ｎの各々は、対応する基準音特徴の特性を記述する。たとえば、「電話の電源を切ってください」というメディア音は、メディア音から抽出された基準音特徴８１２Ａと、モバイルデバイス上で実行されるべき機能８１４Ａ（たとえば、モバイルデバイスの電源を切ることまたはモバイルデバイスの構成をサイレントモードに調整すること）と、メディア音がキャプチャされ得る環境コンテキスト（たとえば、映画館）を識別するコンテキスト情報８１６Ａとを含む、メタデータ８１０Ａによって表され得る。
[0065]メタデータ８１０Ａ〜８１０Ｎは、サーバ３４０または別のリモートサーバにおいてローカルに事前生成され、音特徴データベース６４６に記憶され得る。たとえば、メタデータ８１０Ａは、ターゲットメディア音から基準音特徴８１２Ａを抽出し、当該基準音特徴８１２Ａに関連する機能８１４Ａとして望ましい機能を与えることによって生成され得る。基準音特徴８１２Ａを記述するかまたは特徴づけ得る追加の情報またはパラメータは、コンテキスト情報８１６Ａとして与えられ得る。上記の方法で生成されたメタデータ８１０Ａ〜８１０Ｎは、サーバ３４０にアップロードされ、音特徴データベース６４６に記憶され得る。
[0066]図９は、いくつかの実施形態による、サーバ３４０において実行されるべき機能を決定することによって、メディア音から抽出された音特徴に基づいてモバイルデバイス１３０によって機能を実行するための方法９００のフローチャートである。初めに、モバイルデバイス１３０は、９１０において、音出力デバイス（たとえば、図１に示したように映画館１００におけるスピーカー１４０）を介して再生されるメディア音をキャプチャする。モバイルデバイス１３０は、９２０において、キャプチャされた音を処理して、キャプチャされたメディア音から音特徴を抽出する。９３０において、モバイルデバイス１３０は、抽出された音特徴をサーバ３４０に送信し、サーバ３４０は、モバイルデバイス１３０によって実行されるべき機能を決定し、ネットワークを介して、機能を識別する情報をモバイルデバイス１３０に送信する。モバイルデバイス１３０は、９４０において、サーバ３４０から、機能を識別する情報を受信し、９５０において機能を実行する。
[0067]図１０は、いくつかの実施形態による、メディア音の音特徴に基づいてモバイルデバイス１３０において実行されるべき機能を決定するための、サーバ３４０において実行される方法１０００のフローチャートである。１０１０において、サーバ３４０は、モバイルデバイス１３０からの抽出された音特徴を受信する。次いで、１０２０において、サーバ３４０は、モバイルデバイス１３０からの抽出された音特徴と音特徴データベース６４６からの基準音特徴の各々との間の類似度値を決定する。類似度値を決定した後、サーバ３４０は、１０３０において、最も大きい類似度値を決定し、最も大きい類似度値に関連する音特徴データベース６４６における基準音特徴を識別する。一実施形態では、最も大きい類似度値が所定のしきい値よりも小さい場合、基準音特徴は識別されず、したがって、サーバ３４０は、送信された音特徴について識別された機能がないことを示す応答をモバイルデバイス１３０に送信し得る。最も大きい類似度値を有する基準音特徴が決定されると、サーバ３４０は、１０４０において、音特徴データベース６４６から、識別された基準音特徴に関連する機能を決定する。次いで、１０５０において、サーバ３４０は、ネットワークを通して、決定された機能を識別する情報をモバイルデバイス１３０に送信する。
[0068]図１１は、いくつかの実施形態による、メディア音に基づいて機能を決定し、実行するための、モバイルデバイス１３０によって実行される方法１１００のフローチャートである。モバイルデバイス１３０は、初めに、１１１０においてメディア音をキャプチャする。モバイルデバイス１３０は、１１２０において、キャプチャされた音を処理して、キャプチャされたメディア音から音特徴を抽出する。次いで、１１３０において、モバイルデバイス１３０は、抽出された音特徴とモバイルデバイス１３０中の音特徴データベースからの基準音特徴の各々との間の類似度値を決定する。類似度値を決定した後、モバイルデバイス１３０は、１１４０において、最も大きい類似度値を決定し、音特徴データベース中の最も大きい類似度値に関連する基準音特徴を識別する。最も大きい類似度値を有する基準音特徴が決定されると、モバイルデバイス１３０は、１１５０において、音特徴データベースから、識別された基準音特徴に関連する機能を決定する。次いで、１１６０において、モバイルデバイス１３０は、決定された機能を実行する。
[0069]図１２に、いくつかの実施形態に従って、基礎フィルタに基づいてメディア音から音特徴を抽出するための、モバイルデバイス１３０によって実行される方法１２００のフローチャートを示す。モバイルデバイス１３０の音センサー６１２は、初めに、１２１０においてメディア音をキャプチャする。１２２０において、モバイルデバイス１３０の音特徴抽出器６１４は、音センサー６１２からのキャプチャされたメディア音を受信し、メディア音を所定の時間期間を有する複数のフレームにセグメント化する（「ウィンドウ処理」と呼ばれることもある）。一実施形態では、隣接するフレームは、そのフレームの一部分がそれらのフレームに共通であるようにオーバーラップするようにセグメント化される。そのような場合、オーバーラップする部分の時間期間があらかじめ決定され得る。フレームおよびオーバーラップする部分の時間期間は、音一意性（sound uniqueness）における所望のレベルの精度を達成するように調整され得る。たとえば、音一意性を高めることによって、フレームおよび／またはオーバーラップする部分のためのより小さい時間期間が、より高い精度をもたらし得る。
[0070]メディア音を複数のフレームにセグメント化した後、たとえば、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を使用することによって、１２３０において、各フレームを周波数領域スペクトルに変換する。代替的に、いくつかの他の変換プロセス（たとえば、限定はしないが、離散コサイン変換、ハール変換（Haar Transform）またはウォルシュアダマール変換（Walsh-Hadamard Transform）を含む）が、フレームを変換するために使用され得る。一実施形態では、周波数領域スペクトルにおける変換されたフレームは、抽出された音特徴、または抽出された音特徴を生成するための中間音特徴として使用され得る。
[0071]フレームに対応する各周波数領域スペクトルについて、音特徴抽出器６１４は、１２４０において電力スペクトルを計算する。このプロセスでは、各フレームについての周波数領域スペクトルは周波数帯域にセグメント化され得、各帯域におけるエネルギー値（すなわち、電力値）がそれぞれの周波数帯域の電力レベルとして計算される。したがって、周波数帯域の計算されたエネルギー値は、フレームを一意に識別する中間音特徴として使用され得るフレームの電力スペクトルを表す。
[0072]各フレーム（すなわち、各フレームの中間音特徴）についてスペクトルが取得されると、音特徴抽出器６１４は、１２５０において、各電力スペクトルに基礎フィルタを適用することによって音特徴（すなわち、抽出された音特徴）を生成する。本明細書で使用する「基礎フィルタ」は、中間音特徴よりも雑音およびひずみに対してよりロバストである抽出された音特徴を生成するために中間音特徴（たとえば、メディア音から抽出された電力スペクトル）に適用され得る、値のセット、ベクトル、または行列を指す。基礎フィルタを適用することによって中間音特徴から抽出された音特徴は、中間特徴よりも高いレベルの特徴を表し得る。たとえば、抽出された音特徴は、キャプチャされた音の周波数成分の変化または組合せを表すが、中間特徴は、キャプチャされた音の周波数成分を表すにすぎない。別の例では、抽出された音特徴は、キャプチャされた音のオンセットまたはオフセットを表し得る。
[0073]上記で生成された、抽出された音特徴は、キャプチャされた音を表す一連の値からなり得る。次いで、１２６０において、任意の好適な２値化アルゴリズムを採用することによって、抽出された音特徴の値を２進形式（たとえば、「０」または「１」）に変換する。一実施形態では、抽出された音特徴の各値は、抽出された音特徴の２値化された形態を生成するためにしきい値と比較され得る。たとえば、抽出された音特徴の値がしきい値に等しいかまたはそれよりも大きい場合、ビット「１」が値に割り当てられるが、値がしきい値よりも小さい場合、ビット「０」が値に割り当てられる。別の実施形態では、一連の値のうちの所定の数の値が選択され、「１」の値を割り当てられ得るが、残りの値は「０」の値を割り当てられる。たとえば、一連の値のうちのＮ個の最大値が選択され、「１」の値を割り当てられ得るが、残りの値は「０」の値を割り当てられる。２値化の後、１２７０において、抽出された音特徴として、２値化された音特徴を出力する。
[0074]いくつかの実施形態では、基準音と基準音のひずみ音との間の差を最小限に抑えるために値または行列を計算することによって、基礎フィルタが生成され得る。本明細書で使用する、「基準音セット」と総称され得る、「基準音」（または「サンプル音」）および基準音のひずみ音は、雑音のない元の音（すなわち、無ひずみ基準音）と、雑音のある元の音（すなわち、ひずみ基準音）とのセットを指す。たとえば、基準音セットは、音楽またはアナウンスなど、雑音のない元の音（すなわち、無ひずみ基準音）と、雑音のある同じ元の音（すなわち、ひずみ基準音）とから抽出され得る。
[0075]一実施形態によれば、無ひずみ基準音とそれの対応するひずみ基準音との間の誤差Ｅを最小限に抑えるために、基礎フィルタＭが生成され得、
Figure 2015508205
のように行列形式で表され得る。
上式で、ｘiは、ｉ番目の無ひずみ基準音の中間音特徴を示すベクトルであり、
ｘi k は、ｉ番目の無ひずみ基準音のｋ番目のひずみ音の中間音特徴を示すベクトルである。上式では、誤差Ｅは、基礎フィルタＭのための係数を調整または最適化することによって減少され得る。いくつかの実施形態では、基礎フィルタＭは、限定はしないが、ＰＣＡ（主成分分析（Principal Components Analysis））、ＯＰＣＡ（指向性主成分分析（Oriented Principal Components Analysis））、ＩＣＡ（独立成分分析（Independent Component Analysis））、スパースコーディング、および他の同様のアルゴリズムを含む、任意の好適な技法を採用することによって生成され得る。
[0076]上記の基礎フィルタＭに基づいて、基礎フィルタＭをメディア音から抽出された中間音特徴に適用することにより、中間音特徴よりも雑音およびひずみに対してよりロバストである音特徴を生成する。基礎フィルタＭは、サーバ３４０の基礎フィルタ生成器６５０によって生成され、音特徴を抽出する際に使用するために、送信機６４８を介してモバイルデバイス１３０に与えられ得る。代替として、モバイルデバイス１３０はサーバ３４０に中間音特徴を送信し得、サーバ３４０は、音特徴を抽出する際に基礎フィルタＭを使用し得る。別の実施形態では、モバイルデバイス１３０はサーバ３４０にメディア音を送信し得、サーバ３４０は、メディア音から中間音特徴を抽出し、音特徴を抽出する際に基礎フィルタＭを使用し得る。上記のように生成された基礎フィルタＭは、音特徴データベース６４６において基準音特徴を生成し、更新するために使用され得る。

[0077]いくつかの実施形態では、基礎フィルタがＯＰＣＡ法によって生成されたとき、基礎フィルタは、基礎フィルタの４つの行を有する行列によって特徴づけられ得、以下の式に従って音特徴Ｃが生成され得る。
Figure 2015508205
上式で、行［ａ1 ａ2 ・・・ ａn］、［ｂ1 ｂ2 ・・・ ｂn］、［ｃ1 ｃ2 ・・・ ｃn］、および［ｄ１ ｄ2 ・・・ ｄn］は、それぞれ第１の基礎フィルタ、第２の基礎フィルタ、第３の基礎フィルタ、および第４の基礎フィルタを示すが、列［ｆ1 ｆ2 ・・・ ｆn］は、メディア音から抽出された中間音特徴（たとえば、電力スペクトル）を示す。基礎フィルタ行列は、４つの基礎フィルタを使用して示されるが、基礎フィルタ行列は、中間音特徴の対応するエントリをもつ任意の好適な数の基礎フィルタを含み得る。
[0078]上記で説明したように、基礎フィルタ（たとえば、基礎フィルタ行列）は、無ひずみ基準音とひずみ基準音とを比較することによって生成され、メディア音から雑音ロバストな音特徴を抽出する際に使用され得る。複数の基礎フィルタの場合、いくつかの基礎フィルタは、他の基礎フィルタよりも雑音を低減する際に良好な結果を与え得、したがって、音特徴を抽出する際に使用するために選択され得る。上記の基礎フィルタ行列では、たとえば、類似する音特徴が、無ひずみ基準音とひずみ基準音とに基づいて第１の基礎フィルタおよび第３の基礎フィルタから生成され得る。一方、無ひずみ基準音とひずみ基準音とに基づいて、第１および第３の基礎フィルタと比べて、より類似しない音特徴が第２の基礎フィルタおよび第４の基礎フィルタから生成され得る。したがって、第１の基礎フィルタおよび第３の基礎フィルタは、以下で説明するように、メディア音から音特徴Ｃを生成するように選択され得る（基礎フィルタを「更新する」と呼ばれることもある）。
Figure 2015508205
[0079]図１３に、いくつかの実施形態による、音特徴を抽出する際に使用する複数の基礎フィルタから少なくとも１つの基礎フィルタを選択するための方法１３００のフローチャートを示す。基礎フィルタを選択するための方法１３００は、図６Ａおよび図６Ｂのサーバ３４０中の基礎フィルタ生成器６５０またはモバイルデバイス１３０中の基礎フィルタ生成器によって実行され得る。さらに、基礎フィルタを選択するための方法１３００は、モバイルデバイス１３０においてメディア音を受信する前に実行され得、選択された基礎フィルタは、メディア音を受信した後にメディア音から音特徴を抽出するために使用され得る。方法１３００について、説明の目的で第１〜第３のサンプル音を参照しながら説明する。
[0080]図示の方法１３００では、基礎フィルタ生成器６５０は、１３０２、１３０４、および１３０６において、サンプル音データベース６５２から、それぞれ第１のサンプル音、第２のサンプル音、および第３のサンプル音を受信する。第１のサンプル音は、雑音のない無ひずみ音である。第２のサンプル音は、雑音を加えた第１のサンプル音のひずみ音であり、したがって、音コンテンツにおいて第１のサンプル音に類似する。第３のサンプル音は、雑音のない別の無ひずみ音であり、したがって、音コンテンツにおいて第１のサンプル音と異なる。たとえば、スピーカー（たとえば、最小雑音およびひずみをもつ高忠実度（high fidelity）スピーカー）を通して再生された音楽からキャプチャされた音は、コンテンツにおいて別のスピーカー（たとえば、低忠実度（low fidelity）スピーカー）を通して再生された同じ音楽に類似すると見なされ得る。一方、高忠実度スピーカーを通して再生されたアナウンス（たとえば、「電話の電源を切ってください」）は、コンテンツにおいて同じ高忠実度スピーカーを通して再生された音楽に類似しないと見なされ得る。
[0081]サンプル音データベース６５２からサンプル音を受信した後、基礎フィルタ生成器６５０は、初めに、１３０８において複数の基礎フィルタから１つの基礎フィルタを選択する。第１〜第３のサンプル音の各々から、基礎フィルタ生成器６５０は、１３１０において、上記で説明した電力スペクトルなど、中間音特徴を抽出する。中間音特徴の各々について、基礎フィルタ生成器６５０は、１３１２において、中間音特徴よりも雑音およびひずみに対してよりロバストである音特徴を生成するために、選択された基礎フィルタを各中間音特徴に適用する。
[0082]サンプル音の音特徴が生成されると、選択された基礎フィルタを適用することによってサンプル音のペアから抽出された音特徴間の類似度の程度を示す１つまたは複数の信頼性値が、ペアワイズブースティング（ＰＢ：pairwise boosting）アルゴリズムなどの任意の好適なアルゴリズムを採用することによって計算され得る。選択された基礎フィルタがサンプル音のペアの中間音特徴に適用されたとき、信頼性値は雑音低減の程度をも示し得る。一実施形態では、基礎フィルタ生成器６５０は、類似するサンプル音の抽出された音特徴間の差の信頼性値と、類似しないサンプル音の抽出された音特徴間の差の別の信頼性値とを計算し得る。
具体的には、１３１４において、第１のサンプル音の抽出された音特徴と第２のサンプル音の抽出された音特徴との間の差を計算することによって、基礎フィルタの第１の信頼性値を決定する。たとえば、第１および第２のサンプル音が、類似する音であると仮定すれば、選択された基礎フィルタを第１および第２のサンプル音の中間音特徴に適用することによって抽出された音特徴間の差が低い場合、基礎フィルタの信頼性値は高い。さらに、１３１６において、第１のサンプル音の抽出された音特徴と第３のサンプル音の抽出された音特徴との間の差を計算することによって、基礎フィルタの第２の信頼性値を決定する。この場合、第１および第３のサンプル音が、類似しない音であると仮定すれば、選択された基礎フィルタを第１および第３のサンプル音に適用することによって抽出された音特徴間の差が高い場合、基礎フィルタの信頼性値は高い。
[0083]１３１８において、基礎フィルタ生成器６５０は、第１および第２の信頼性値に基づいて、選択された基礎フィルタのための総合信頼性値を決定する。一実施形態では、総合信頼性値は、第１および第２の信頼性値を加算することによって計算され得る。代替として、総合信頼性値は、重み付けされた第１および第２の信頼性値を加算することによって計算され得る。
[0084]選択された基礎フィルタの総合信頼性値を生成した後、基礎フィルタ生成器６５０は、１３２０において、選択され得る別の基礎フィルタがあるかどうかを決定する。別の基礎フィルタがある場合、方法１３００は、１３０８に戻り、総合信頼性値を決定するために次の基礎フィルタを選択する。総合信頼性値がすべての基礎フィルタについて計算されると、基礎フィルタ生成器６５０は、１３２２において、総合信頼性値に基づいて複数の基礎フィルタから少なくとも１つの基礎フィルタを選択する。一実施形態では、最も高い総合信頼性値を有する基礎フィルタが選択され得る。代替として、所定のしきい値を超える総合信頼性値を有するすべての基礎フィルタが選択され得る。
[0085]図１４に、いくつかの実施形態による、複数のメディア音のうちの少なくとも１つをキャプチャすることに応答して少なくとも１つの機能を実行するように構成された、複数の音センサー１４４０および１４５０を有するモバイルデバイス１４３０を示す。モバイルデバイス１４３０において、２つの音センサー１４４０および１４５０は、たとえば、２つのマイクロフォンであり得る。各音センサー１４４０および１４５０は、周辺環境から、複数の音を含む合成音をキャプチャ（たとえば、ＴＶ１４１０からのメディア音と時計１４２０からのアラーム音とを同時にキャプチャ）し得る。一実施形態では、音センサー１４４０および１４５０の各々からキャプチャされた合成音は、たとえば、モバイルデバイス１４３０の異なるロケーションにおいて音をキャプチャする音センサー１４４０および１４５０により、互いに区別され得る。音センサー１４４０および音センサー１４５０から受信した異なる合成音に基づいて、モバイルデバイス１４３０は合成音を音の各々に分離し得る。図示の実施形態では、モバイルデバイス１４３０は、ＴＶ１４１０からのメディア音および時計１４２０からのアラーム音と混合された合成音をキャプチャし得る。モバイルデバイス１４３０は、合成音を、それぞれＴＶ１４１０からのメディア音と時計１４２０の音とに分離し得る。
[0086]ソース（たとえば、ＴＶまたはアラーム）に従って合成音を分離した後、モバイルデバイス１４３０は、分離された音の各々から音特徴を抽出し、抽出された音特徴のうちのいずれか１つが、モバイルデバイス１４３０上で実行されるべき機能に関連するかどうかを決定し得る。モバイルデバイス１４３０は、分離された音のうちの１つから、抽出された音特徴に関連する機能を実行し得る。音センサー１４４０および１４５０によってキャプチャされた複数のメディア音から複数の機能が決定され得ることを諒解されよう。
[0087]図１５に、いくつかの実施形態による、複数の音から選択された１つのメディア音に応答して機能を実行するためのモバイルデバイス１４３０における方法１５００のフローチャートを示す。この方法１５００では、モバイルデバイス１４３０は、１５１０において、音センサー（たとえば、マイクロフォン）を通して、少なくとも１つのメディア音を含む音（すなわち、合成音）をキャプチャする。次いで、モバイルデバイス１４３０は、１５２０において、キャプチャされた合成音から少なくとも１つのメディア音を分離する。この実施形態では、キャプチャされた音は、独立成分分析（ＩＣＡ：independent component analysis）またはブラインド音源分離（ＢＳＳ：blind source separation）を採用することによって分離され得るが、それに限定されない。それらの音を分離した後、モバイルデバイス１４３０は、それらの音のうちの少なくとも１つがメディア音であるか、またはおそらくメディア音であるという識別に基づいて、１５３０において、複数の分離された音のうち１つのメディア音を選択する。一実施形態では、モバイルデバイス１４３０が、映画館に位置し、シアター音響システムから「電話の電源を切ってください」というアナウンスなどの音を受信したとき、他の音（たとえば、モバイルデバイスの呼出し音）は雑音と見なされ得る。この場合、モバイルデバイス１４３０は、キャプチャされた音を分離した後、シアター音響システムからの音を選択し、モバイルフォンからの他の音を無視し得る。１５４０において、モバイルデバイス１４３０は、選択されたメディア音から音特徴を抽出する。１５５０において、抽出された特徴をサーバに送信する。モバイルデバイス１４３０からの音特徴に基づいて、サーバは、１５６０において、モバイルデバイス１４３０において実行されるべき機能を決定し、機能を識別する情報をモバイルデバイス１４３０に送る。サーバから、機能を識別する情報を受信した後、モバイルデバイス１４３０は、１５７０において機能を実行する。
[0088]図１６に、いくつかの他の実施形態による、複数のメディア音に応答して少なくとも１つの機能を実行するためのモバイルデバイス１４３０における方法１６００のフローチャートを示す。この方法１６００では、モバイルデバイス１４３０は、１６１０において、音センサーを通して、複数のメディア音を含む合成音をキャプチャする。次いで、モバイルデバイス１４３０は、１６２０において、キャプチャされた合成音から複数のメディア音を分離する。合成音を分離した後、モバイルデバイス１４３０は、１６３０において、特にいずれか１つの音を選択することなしに、分離されたメディア音の各々から音特徴を抽出する。モバイルデバイス１４３０は、１６４０において、抽出された音特徴をサーバに送信する。映画館の例では、モバイルデバイス１４３０は、シアター音響システムの音から音特徴を抽出し、モバイルデバイスの呼出し音から音特徴を抽出し、両方の音特徴をサーバに送り得る。次いで、サーバは、受信した音特徴を音特徴データベースに記憶された基準音特徴と比較し、抽出された音特徴に関連する少なくとも１つの基準音特徴を識別する。基準音特徴との一致を識別した後、サーバは、１６５０において、識別された少なくとも１つの基準音特徴に関連する少なくとも１つの機能を識別する情報をモバイルデバイス１４３０に送る。１６６０において、モバイルデバイス１４３０は当該少なくとも１つの機能を実行する。
[0089]図１７に、いくつかの実施形態による、音識別に基づいて機能を制御するための本開示の方法および装置が実装され得る、ワイヤレス通信システムにおけるモバイルデバイス１７００のブロック図を示す。モバイルデバイス１７００は、セルラーフォン、端末、ハンドセット、携帯情報端末（ＰＤＡ）、ワイヤレスモデム、コードレスフォン、タブレットなどであり得る。ワイヤレス通信システムは、符号分割多元接続（ＣＤＭＡ）システム、モバイル通信用グローバルシステム（ＧＳＭ（登録商標）：Global System for Mobile Communications）システム、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）（登録商標）システム、ロングタームエボリューション（ＬＴＥ：Long Tern Evolution）システム、ＬＴＥ Ａｄｖａｎｃｅｄシステムなどであり得る。
[0090]モバイルデバイス１７００は、受信経路および送信経路を介して双方向通信を行うことが可能であり得る。受信経路上では、基地局によって送信された信号は、アンテナ１７１２によって受信され、受信機（ＲＣＶＲ）１７１４に与えられる。受信機１７１４は、受信信号を調整し、デジタル化し、さらなる処理のために調整およびデジタル化された信号をデジタルセクション１７２０に与える。送信経路上では、送信機（ＴＭＴＲ）は、デジタルセクション１７２０から送信されるべきデータを受信し、データを処理し、調整し、被変調信号を生成し、被変調信号はアンテナ１７１２を介して基地局に送信される。受信機１７１４および送信機１７１６は、ＣＤＭＡ、ＧＳＭ、Ｗ−ＣＤＭＡ、ＬＴＥ、ＬＴＥ Ａｄｖａｎｃｅｄなどをサポートするトランシーバの一部である。
[0091]デジタルセクション１７２０は、たとえば、モデムプロセッサ１７２２、縮小命令セットコンピュータ／デジタル信号プロセッサ（ＲＩＳＣ／ＤＳＰ）１７２４、コントローラ／プロセッサ１７２６、内部メモリ１７２８、一般化オーディオエンコーダ１７３２、一般化オーディオデコーダ１７３４、グラフィックス／ディスプレイプロセッサ１７３６、および／または外部バスインターフェース（ＥＢＩ）１７３８など、様々な処理、インターフェース、およびメモリユニットを含む。モデムプロセッサ１７２２は、データ送信および受信のための処理、たとえば、符号化、変調、復調、および復号を実行する。ＲＩＳＣ／ＤＳＰ１７２４は、モバイルデバイス１７００のための一般的専用処理を実行する。コントローラ／プロセッサ１７２６は、デジタルセクション１７２０内の様々な処理およびインターフェースユニットの演算を制御する。内部メモリ１７２８は、デジタルセクション１７２０内の様々なユニットのためのデータおよび／または命令を記憶する。
[0092]一般化オーディオエンコーダ１７３２は、オーディオソース１７４２、マイクロフォン１７４３などからの入力信号に対して符号化を実行する。一般化オーディオデコーダ１７３４は、コード化オーディオデータに対して復号を実行し、出力信号をスピーカー／ヘッドセット１７４４に与える。一般化オーディオエンコーダ１７３２および一般化オーディオデコーダ１７３４は、必ずしも、オーディオソース、マイクロフォン１７４３およびスピーカー／ヘッドセット１７４４とのインターフェースのために必要とされるとは限らず、したがって、モバイルデバイス１７００に示されていないことに留意されたい。グラフィックス／ディスプレイプロセッサ１７３６は、ディスプレイユニット１７４６に提示されるグラフィックス、ビデオ、画像、およびテキストのための処理を実行する。外部バスインターフェース（ＥＢＩ）１７３８は、デジタルセクション１７２０とメインメモリ１７４８との間のデータの転送を可能にする。
[0093]デジタルセクション１７２０は、１つまたは複数のプロセッサ、ＤＳＰ、マイクロプロセッサ、ＲＩＳＣなどを用いて実装される。デジタルセクション１７２０はまた、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）および／または何らかの他のタイプの集積回路（ＩＣ）上に作製される。
[0094]概して、本明細書で説明したいかなるデバイスも、ワイヤレスフォン、セルラーフォン、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ（ＰＣ）カード、ＰＤＡ、外部または内部モデム、ワイヤレスチャネルを介して通信するデバイスなど、様々なタイプのデバイスを示す。デバイスは、アクセス端末（ＡＴ）、アクセスユニット、加入者ユニット、移動局、クライアントデバイス、モバイルユニット、モバイルフォン、モバイル、リモート局、リモート端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなど、様々な名前を有し得る。本明細書で説明したいかなるデバイスも、命令およびデータ、ならびにハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを記憶するためのメモリを有し得る。
[0095]図１８は、いくつかの実施形態に従って実装される音識別に基づいて機能を制御するための、前に説明したサーバのうちのいずれか１つであり得るサーバシステム１８００を示すブロック図である。サーバシステム１８００は、１つまたは複数の処理ユニット（ＣＰＵ）１８０２と、１つまたは複数のネットワークまたは他の通信インターフェース１８１０と、メモリ１８１２と、これらの構成要素を相互接続するための１つまたは複数の通信バス１８１４とを含み得る。サーバシステム１８００はまた、ディスプレイデバイスとキーボードとを有するユーザインターフェース（図示せず）を含み得る。
[0096]メモリ１８１２は、高速ランダムアクセスメモリ（たとえば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭまたは他のランダムアクセス固体メモリデバイス）など、任意の好適なメモリであり得る。メモリ１８１２は、不揮発性メモリ（たとえば、１つまたは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、または他の不揮発性固体ストレージデバイス）を含み得るか、または代替的に不揮発性メモリであり得る。いくつかの実施形態では、メモリ１８１２は、（１つまたは複数の）ＣＰＵ１８０２から遠隔に位置する、および／または複数のサイト中に遠隔に位置する１つまたは複数のストレージデバイスを含み得る。
[0097]メモリ１８１２によって表される上記のメモリデバイスのうちのいずれか１つが、前に説明したプロセス、動作、および方法のいずれかを実行および／または履行するための命令のセットに対応する、任意の数のモジュールまたはプログラムを記憶し得る。たとえば、メモリ１８１２は、様々な基本システムサービスを処理するためのプロシージャと、ハードウェア依存タスクを実行するためのプロシージャとを含む命令を記憶するように構成されたオペレーティングシステム１８１６を含み得る。メモリ１８１２のネットワーク通信モジュール１８１８は、１つまたは複数の通信ネットワークインターフェース１８１０（ワイヤードまたはワイヤレス）と、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなど、１つまたは複数の通信ネットワークとを介して、サーバシステム１８００を他のコンピュータに接続するために使用され得る。メモリ１８１２はまた、機能が関連するメディア音の基準音特徴から機能を決定するように構成された機能決定エンジン１８４４と、音特徴を抽出するための基礎フィルタを生成し、更新するように構成された基礎フィルタ生成器１８５０とを含み得る。機能決定エンジン１８４４および基礎フィルタ生成器１８５０は、基準音特徴データ、基礎フィルタデータ、および／またはサンプル音データを記憶するように構成されたデータベース１８４８にアクセスし得る。
[0098]上記の識別されたモジュールまたはプログラム（すなわち、命令のセット）は、別個のソフトウェアプログラム、プロシージャまたはモジュールとして実装される必要がなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において組み合わせられるか、あるいは並べ替えられ得ることを諒解されよう。さらに、メモリ１８１２は、上記で説明していない追加のモジュールおよびデータ構造を記憶し得る。
[0099]図１７および図１８は、本明細書で説明する実施形態の構造概略図というよりむしろ、クライアントシステムおよびサーバシステムの様々な特徴の機能説明として意図されている。実際には、当業者によって認識されるように、別々に示されたアイテムが組み合わせられ得、いくつかのアイテムが分離され得る。たとえば、図１８で別々に示されたいくつかのアイテムは、単一のサーバ上で実装され得、単一のアイテムは、１つまたは複数のサーバによって実装され得る。さらに、データベース１８４８は、サーバの異なるセット上で実装されるか、またはサーバシステム１８００の他の構成要素において実装され得る。サーバシステム１８００を実装するために使用されるサーバの実際の数、およびそれらの間の特徴の割振りは、実装ごとに異なり得る。
[00100]本明細書で説明した技法は様々な方法によって実装される。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装される。さらに、本明細書の開示に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せが可能であるように実装され得ることを諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課された設計制約に依存する。説明した機能は、特定の適用例ごとに様々な方法で実装され得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
[00101]ハードウェア実装の場合、本技法を実行するために使用される処理ユニットは、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明した機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装され得る。
[00102]ソフトウェアで実装した場合、前に説明した方法、動作、およびプロセスは、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶され得るか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ、あるいは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、もしくは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用でき、コンピュータによってアクセスできる任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびｂｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[00103]本開示についての以上の説明は、当業者が本開示を作成または使用することができるように与えたものである。本開示への様々な修正は当業者には容易に明らかとなり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用される。したがって、本開示は、本明細書で説明した例に限定されるものではなく、本明細書で開示した原理および新規の特徴に合致する最も広い範囲を与えられるべきである。
[00104]主題について構造的機能および／または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
[00104]主題について構造的機能および／または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ モバイルデバイスにおいて機能を実行するための方法であって、
前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャすることと、
前記キャプチャされたメディア音から音特徴を抽出することと、
前記抽出された音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、前記モバイルデバイスにおいて実行されるべき前記機能を決定することと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
前記モバイルデバイスにおいて前記決定された機能を実行することと、
を備える、方法。
［２］ 前記少なくとも１つの基準音特徴は広告に関連し、前記決定された機能を実行することは、前記モバイルデバイス上に前記広告を表示することを含む、［１］に記載の方法。
［３］ 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定された機能を実行することは、
前記キーワードを前記検索エンジンに送信することと、
前記検索エンジンから検索結果を受信することと、
前記モバイルデバイス上に前記検索結果を出力することと、
を含む、［１］に記載の方法。
［４］ 前記決定された機能を実行することは、前記モバイルデバイスの構成を調整することを含む、［１］に記載の方法。
［５］ 前記決定された機能を実行することは、
実行されるべき前記機能の通知を出力することと、
前記機能を実行するための入力を受信することと、
前記受信された入力に応答して前記機能を実行することと、
を含む、［１］に記載の方法。
［６］ 前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から前記音特徴を抽出することと、前記モバイルデバイスによって実行されるべき前記機能を決定することとが実行される、［１］に記載の方法。
［７］ 前記キャプチャされたメディア音から前記音特徴を抽出することは、
前記キャプチャされたメディア音から中間音特徴を抽出することと、
前記音特徴を生成するために、前記中間音特徴に少なくとも１つの基礎フィルタを適用することと、
を含む、［１］に記載の方法。
［８］ 前記少なくとも１つの基礎フィルタは、複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、選択される、［７］に記載の方法。
［９］ 前記少なくとも１つの基準音特徴は、前記モバイルデバイス上で実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、［１］に記載の方法。
［１０］ モバイルデバイスにおいて機能を実行するための方法であって、
複数の音センサーによって、少なくとも１つのメディア音を含む合成音をキャプチャすることと、
前記合成音から前記少なくとも１つのメディア音を分離することと、
前記少なくとも１つの分離されたメディア音から少なくとも１つの音特徴を抽出することと、
前記少なくとも１つの抽出された音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、前記モバイルデバイスにおいて実行されるべき前記機能を決定することと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
前記モバイルデバイスにおいて前記決定された機能を実行することと、
を備える、方法。
［１１］ 前記少なくとも１つの基準音特徴は広告に関連し、前記決定された機能を実行することは、前記モバイルデバイス上に前記広告を表示することを含む、［１０］に記載の方法。
［１２］ 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定された機能を実行することは、
前記キーワードを前記検索エンジンに送信することと、
前記検索エンジンから検索結果を受信することと、
前記モバイルデバイス上に前記検索結果を出力することと、
を含む、［１０］に記載の方法。
［１３］ 前記決定された機能を実行することは、前記モバイルデバイスの構成を調整することを含む、［１０］に記載の方法。
［１４］ 前記決定された機能を実行することは、
実行されるべき前記機能の通知を出力することと、
前記機能を実行するための入力を受信することと、
前記受信された入力に応答して前記機能を実行することと、
を含む、［１０］に記載の方法。
［１５］ 前記少なくとも１つの分離されたメディア音から前記少なくとも１つの音特徴を抽出することは、
前記少なくとも１つの分離されたメディア音から１つのメディア音を選択することと、
前記選択されたメディア音から音特徴を抽出することと、
を含む、［１０］に記載の方法。
［１６］ 前記少なくとも１つの分離されたメディア音から前記少なくとも１つの音特徴を抽出することは、すべての分離されたメディア音から音特徴を抽出することを含む、［１０］に記載の方法。
［１７］ モバイルデバイスによって実行されるべき機能を決定するためのサーバであって、
音特徴を受信するように構成された受信機と、前記音特徴は、前記モバイルデバイスによってキャプチャされたメディア音から抽出され、
前記音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別するように構成された識別ユニットと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき前記機能を決定するように構成された機能決定ユニットと、
を備える、サーバ。
［１８］ 前記少なくとも１つの基準音特徴は広告に関連し、前記機能決定ユニットは、前記モバイルデバイス上に前記広告を表示するような前記機能を決定するように構成された、［１７］に記載のサーバ。
［１９］ 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記機能決定ユニットは、
前記キーワードを前記検索エンジンに送信し、
前記検索エンジンから検索結果を受信し、
前記モバイルデバイス上に前記検索結果を出力するような
前記機能を決定するように構成された、［１７］に記載のサーバ。
［２０］ 前記機能決定ユニットは、前記モバイルデバイスの構成を調整するような前記機能を決定するように構成された、［１７］に記載のサーバ。
［２１］ 前記機能決定ユニットは、
実行されるべき前記機能の通知を出力し、
前記機能を実行するための入力を受信し、
前記受信された入力に応答して前記機能を実行するような
前記機能を決定するように構成された、［１７］に記載のサーバ。
［２２］ 前記音特徴は、前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から抽出される、［１７］に記載のサーバ。
［２３］ 前記音特徴は、前記キャプチャされたメディア音から中間音特徴を抽出することと、前記音特徴を生成するために前記中間音特徴に少なくとも１つの基礎フィルタを適用することとによって、前記キャプチャされたメディア音から抽出される、［１７］に記載のサーバ。
［２４］ 複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、前記少なくとも１つの基礎フィルタを選択するように構成された基礎フィルタ生成器をさらに備える、［２３］に記載のサーバ。
［２５］ 前記少なくとも１つの基準音特徴は、前記モバイルデバイスによって実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、［１７］に記載のサーバ。
［２６］ モバイルデバイスであって、
前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャするように構成された音センサーと、
前記キャプチャされたメディア音から音特徴を抽出するように構成された音特徴抽出器と、
前記音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別するように構成された識別ユニットと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき機能を決定するように構成された機能決定ユニットと、
前記モバイルデバイスにおいて前記決定された機能を実行するように構成された制御ユニットと、
を備える、モバイルデバイス。
［２７］ 前記少なくとも１つの基準音特徴は広告に関連し、前記制御ユニットは、前記モバイルデバイス上に前記広告を表示するように構成された、［２６］に記載のモバイルデバイス。
［２８］ 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記制御ユニットは、
前記キーワードを前記検索エンジンに送信することと、
前記検索エンジンから検索結果を受信することと、
前記モバイルデバイス上に前記検索結果を出力することと、
を行うように構成された、［２６］に記載のモバイルデバイス。
［２９］ 前記制御ユニットは、前記モバイルデバイスの構成を調整するように構成された、［２６］に記載のモバイルデバイス。
［３０］ 前記制御ユニットは、
実行されるべき前記機能の通知を出力することと、
前記機能を実行するための入力を受信することと、
前記受信された入力に応答して前記機能を実行することと、
を行うように構成された、［２６］に記載のモバイルデバイス。
［３１］ 前記音センサーは、所定の時間間隔で環境音を受信することと、前記受信された環境音が前記メディア音であるかどうかを決定することとによって、前記メディア音をキャプチャするようにさらに構成された、［２６］に記載のモバイルデバイス。
［３２］ モバイルデバイスにおいて機能を実行するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、
前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャすることと、
前記キャプチャされたメディア音から音特徴を抽出することと、
前記抽出された音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、前記モバイルデバイスにおいて実行されるべき前記機能を決定することと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
前記モバイルデバイスにおいて前記決定された機能を実行することと、
の動作をプロセッサに実行させる、非一時的コンピュータ可読記憶媒体。
［３３］ 前記少なくとも１つの基準音特徴は広告に関連し、前記決定された機能を実行することは、前記モバイルデバイス上に前記広告を表示することを含む、［３２］に記載の媒体。
［３４］ 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定された機能を実行することは、
前記キーワードを前記検索エンジンに送信することと、
前記検索エンジンから検索結果を受信することと、
前記モバイルデバイス上に前記検索結果を出力することと、
を含む、［３２］に記載の媒体。
［３５］ 前記決定された機能を実行することは、前記モバイルデバイスの構成を調整することを含む、［３２］に記載の媒体。
［３６］ 前記決定された機能を実行することは、
実行されるべき前記機能の通知を出力することと、
前記機能を実行するための入力を受信することと、
前記受信された入力に応答して前記機能を実行することと、
を含む、［３２］に記載の媒体。
［３７］ 前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から前記音特徴を抽出することと、前記モバイルデバイスによって実行されるべき前記機能を決定することとが実行される、［３２］に記載の媒体。
［３８］ 前記キャプチャされたメディア音から前記音特徴を抽出することは、
前記キャプチャされたメディア音から中間音特徴を抽出することと、
前記音特徴を生成するために前記中間音特徴に少なくとも１つの基礎フィルタを適用することと、
を含む、［３２］に記載の媒体。
［３９］ 前記少なくとも１つの基礎フィルタは、複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、選択される、［３８］に記載の媒体。
［４０］ 前記少なくとも１つの基準音特徴は、前記モバイルデバイスにおいて実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、［３２］に記載の媒体。
［４１］ モバイルデバイスによって実行されるべき機能を決定するためのサーバであって、
音特徴を受信する手段と、前記音特徴は、前記モバイルデバイスによってキャプチャされたメディア音から抽出され、
前記音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別する手段と、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき前記機能を決定する手段と、
を備える、サーバ。
［４２］ 前記少なくとも１つの基準音特徴は広告に関連し、前記決定する手段は、前記モバイルデバイス上に前記広告を表示するような前記機能を決定するように構成された、［４１］に記載のサーバ。
［４３］ 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定する手段は、
前記キーワードを前記検索エンジンに送信し、
前記検索エンジンから検索結果を受信し、
前記モバイルデバイス上に前記検索結果を出力するような
前記機能を決定するように構成された、［４１］に記載のサーバ。
［４４］ 前記決定する手段は、前記モバイルデバイスの構成を調整するような前記機能を決定するように構成された、［４１］に記載のサーバ。
［４５］ 前記決定する手段は、
実行されるべき前記機能の通知を出力し、
前記機能を実行するための入力を受信し、
前記受信された入力に応答して前記機能を実行するような
前記機能を決定するように構成された、［４１］に記載のサーバ。
［４６］ 前記音特徴は、前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から抽出される、［４１］に記載のサーバ。
［４７］ 前記音特徴は、前記キャプチャされたメディア音から中間音特徴を抽出することと、前記音特徴を生成するために前記中間音特徴に少なくとも１つの基礎フィルタを適用することとによって、前記キャプチャされたメディア音から抽出される、［４１］に記載のサーバ。
［４８］ 複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、前記少なくとも１つの基礎フィルタを選択する手段をさらに備える、［４７］に記載のサーバ。
［４９］ 前記少なくとも１つの基準音特徴は、前記モバイルデバイスによって実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、［４１］に記載のサーバ。
［５０］ モバイルデバイスであって、
前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャする手段と、
前記キャプチャされたメディア音から音特徴を抽出する手段と、
前記音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別する手段と、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき機能を決定する手段と、
前記モバイルデバイスにおいて前記決定された機能を実行する手段と、
を備える、モバイルデバイス。
［５１］ 前記少なくとも１つの基準音特徴は広告に関連し、前記実行する手段は、前記モバイルデバイス上に前記広告を表示するように構成された、［５０］に記載のモバイルデバイス。
［５２］ 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記実行する手段は、
前記キーワードを前記検索エンジンに送信することと、
前記検索エンジンから検索結果を受信することと、
前記モバイルデバイス上に前記検索結果を出力することと
を行うように構成された、［５０］に記載のモバイルデバイス。
［５３］ 前記実行する手段は、前記モバイルデバイスの構成を調整するように構成された、［５０］に記載のモバイルデバイス。
［５４］ 前記実行する手段は、
実行されるべき前記機能の通知を出力することと、
前記機能を実行するための入力を受信することと、
前記受信された入力に応答して前記機能を実行することと、
を行うように構成された、［５０］に記載のモバイルデバイス。

Claims (54)

  1. モバイルデバイスにおいて機能を実行するための方法であって、
    前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャすることと、
    前記キャプチャされたメディア音から音特徴を抽出することと、
    前記抽出された音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、前記モバイルデバイスにおいて実行されるべき前記機能を決定することと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
    前記モバイルデバイスにおいて前記決定された機能を実行することと、
    を備える、方法。
  2. 前記少なくとも１つの基準音特徴は広告に関連し、前記決定された機能を実行することは、前記モバイルデバイス上に前記広告を表示することを含む、請求項１に記載の方法。
  3. 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定された機能を実行することは、
    前記キーワードを前記検索エンジンに送信することと、
    前記検索エンジンから検索結果を受信することと、
    前記モバイルデバイス上に前記検索結果を出力することと、
    を含む、請求項１に記載の方法。
  4. 前記決定された機能を実行することは、前記モバイルデバイスの構成を調整することを含む、請求項１に記載の方法。
  5. 前記決定された機能を実行することは、
    実行されるべき前記機能の通知を出力することと、
    前記機能を実行するための入力を受信することと、
    前記受信された入力に応答して前記機能を実行することと、
    を含む、請求項１に記載の方法。
  6. 前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から前記音特徴を抽出することと、前記モバイルデバイスによって実行されるべき前記機能を決定することとが実行される、請求項１に記載の方法。
  7. 前記キャプチャされたメディア音から前記音特徴を抽出することは、
    前記キャプチャされたメディア音から中間音特徴を抽出することと、
    前記音特徴を生成するために、前記中間音特徴に少なくとも１つの基礎フィルタを適用することと、
    を含む、請求項１に記載の方法。
  8. 前記少なくとも１つの基礎フィルタは、複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、選択される、請求項７に記載の方法。
  9. 前記少なくとも１つの基準音特徴は、前記モバイルデバイス上で実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、請求項１に記載の方法。
  10. モバイルデバイスにおいて機能を実行するための方法であって、
    複数の音センサーによって、少なくとも１つのメディア音を含む合成音をキャプチャすることと、
    前記合成音から前記少なくとも１つのメディア音を分離することと、
    前記少なくとも１つの分離されたメディア音から少なくとも１つの音特徴を抽出することと、
    前記少なくとも１つの抽出された音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、前記モバイルデバイスにおいて実行されるべき前記機能を決定することと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
    前記モバイルデバイスにおいて前記決定された機能を実行することと、
    を備える、方法。
  11. 前記少なくとも１つの基準音特徴は広告に関連し、前記決定された機能を実行することは、前記モバイルデバイス上に前記広告を表示することを含む、請求項１０に記載の方法。
  12. 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定された機能を実行することは、
    前記キーワードを前記検索エンジンに送信することと、
    前記検索エンジンから検索結果を受信することと、
    前記モバイルデバイス上に前記検索結果を出力することと、
    を含む、請求項１０に記載の方法。
  13. 前記決定された機能を実行することは、前記モバイルデバイスの構成を調整することを含む、請求項１０に記載の方法。
  14. 前記決定された機能を実行することは、
    実行されるべき前記機能の通知を出力することと、
    前記機能を実行するための入力を受信することと、
    前記受信された入力に応答して前記機能を実行することと、
    を含む、請求項１０に記載の方法。
  15. 前記少なくとも１つの分離されたメディア音から前記少なくとも１つの音特徴を抽出することは、
    前記少なくとも１つの分離されたメディア音から１つのメディア音を選択することと、
    前記選択されたメディア音から音特徴を抽出することと、
    を含む、請求項１０に記載の方法。
  16. 前記少なくとも１つの分離されたメディア音から前記少なくとも１つの音特徴を抽出することは、すべての分離されたメディア音から音特徴を抽出することを含む、請求項１０に記載の方法。
  17. モバイルデバイスによって実行されるべき機能を決定するためのサーバであって、
    音特徴を受信するように構成された受信機と、前記音特徴は、前記モバイルデバイスによってキャプチャされたメディア音から抽出され、
    前記音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別するように構成された識別ユニットと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
    前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき前記機能を決定するように構成された機能決定ユニットと、
    を備える、サーバ。
  18. 前記少なくとも１つの基準音特徴は広告に関連し、前記機能決定ユニットは、前記モバイルデバイス上に前記広告を表示するような前記機能を決定するように構成された、請求項１７に記載のサーバ。
  19. 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記機能決定ユニットは、
    前記キーワードを前記検索エンジンに送信し、
    前記検索エンジンから検索結果を受信し、
    前記モバイルデバイス上に前記検索結果を出力するような
    前記機能を決定するように構成された、請求項１７に記載のサーバ。
  20. 前記機能決定ユニットは、前記モバイルデバイスの構成を調整するような前記機能を決定するように構成された、請求項１７に記載のサーバ。
  21. 前記機能決定ユニットは、
    実行されるべき前記機能の通知を出力し、
    前記機能を実行するための入力を受信し、
    前記受信された入力に応答して前記機能を実行するような
    前記機能を決定するように構成された、請求項１７に記載のサーバ。
  22. 前記音特徴は、前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から抽出される、請求項１７に記載のサーバ。
  23. 前記音特徴は、前記キャプチャされたメディア音から中間音特徴を抽出することと、前記音特徴を生成するために前記中間音特徴に少なくとも１つの基礎フィルタを適用することとによって、前記キャプチャされたメディア音から抽出される、請求項１７に記載のサーバ。
  24. 複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、前記少なくとも１つの基礎フィルタを選択するように構成された基礎フィルタ生成器をさらに備える、請求項２３に記載のサーバ。
  25. 前記少なくとも１つの基準音特徴は、前記モバイルデバイスによって実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、請求項１７に記載のサーバ。
  26. モバイルデバイスであって、
    前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャするように構成された音センサーと、
    前記キャプチャされたメディア音から音特徴を抽出するように構成された音特徴抽出器と、
    前記音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別するように構成された識別ユニットと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
    前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき機能を決定するように構成された機能決定ユニットと、
    前記モバイルデバイスにおいて前記決定された機能を実行するように構成された制御ユニットと、
    を備える、モバイルデバイス。
  27. 前記少なくとも１つの基準音特徴は広告に関連し、前記制御ユニットは、前記モバイルデバイス上に前記広告を表示するように構成された、請求項２６に記載のモバイルデバイス。
  28. 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記制御ユニットは、
    前記キーワードを前記検索エンジンに送信することと、
    前記検索エンジンから検索結果を受信することと、
    前記モバイルデバイス上に前記検索結果を出力することと、
    を行うように構成された、請求項２６に記載のモバイルデバイス。
  29. 前記制御ユニットは、前記モバイルデバイスの構成を調整するように構成された、請求項２６に記載のモバイルデバイス。
  30. 前記制御ユニットは、
    実行されるべき前記機能の通知を出力することと、
    前記機能を実行するための入力を受信することと、
    前記受信された入力に応答して前記機能を実行することと、
    を行うように構成された、請求項２６に記載のモバイルデバイス。
  31. 前記音センサーは、所定の時間間隔で環境音を受信することと、前記受信された環境音が前記メディア音であるかどうかを決定することとによって、前記メディア音をキャプチャするようにさらに構成された、請求項２６に記載のモバイルデバイス。
  32. モバイルデバイスにおいて機能を実行するための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、
    前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャすることと、
    前記キャプチャされたメディア音から音特徴を抽出することと、
    前記抽出された音特徴に基づいて基準音特徴のセット中の少なくとも１つの基準音特徴を識別することによって、前記モバイルデバイスにおいて実行されるべき前記機能を決定することと、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
    前記モバイルデバイスにおいて前記決定された機能を実行することと、
    の動作をプロセッサに実行させる、非一時的コンピュータ可読記憶媒体。
  33. 前記少なくとも１つの基準音特徴は広告に関連し、前記決定された機能を実行することは、前記モバイルデバイス上に前記広告を表示することを含む、請求項３２に記載の媒体。
  34. 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定された機能を実行することは、
    前記キーワードを前記検索エンジンに送信することと、
    前記検索エンジンから検索結果を受信することと、
    前記モバイルデバイス上に前記検索結果を出力することと、
    を含む、請求項３２に記載の媒体。
  35. 前記決定された機能を実行することは、前記モバイルデバイスの構成を調整することを含む、請求項３２に記載の媒体。
  36. 前記決定された機能を実行することは、
    実行されるべき前記機能の通知を出力することと、
    前記機能を実行するための入力を受信することと、
    前記受信された入力に応答して前記機能を実行することと、
    を含む、請求項３２に記載の媒体。
  37. 前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から前記音特徴を抽出することと、前記モバイルデバイスによって実行されるべき前記機能を決定することとが実行される、請求項３２に記載の媒体。
  38. 前記キャプチャされたメディア音から前記音特徴を抽出することは、
    前記キャプチャされたメディア音から中間音特徴を抽出することと、
    前記音特徴を生成するために前記中間音特徴に少なくとも１つの基礎フィルタを適用することと、
    を含む、請求項３２に記載の媒体。
  39. 前記少なくとも１つの基礎フィルタは、複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、選択される、請求項３８に記載の媒体。
  40. 前記少なくとも１つの基準音特徴は、前記モバイルデバイスにおいて実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、請求項３２に記載の媒体。
  41. モバイルデバイスによって実行されるべき機能を決定するためのサーバであって、
    音特徴を受信する手段と、前記音特徴は、前記モバイルデバイスによってキャプチャされたメディア音から抽出され、
    前記音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別する手段と、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
    前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき前記機能を決定する手段と、
    を備える、サーバ。
  42. 前記少なくとも１つの基準音特徴は広告に関連し、前記決定する手段は、前記モバイルデバイス上に前記広告を表示するような前記機能を決定するように構成された、請求項４１に記載のサーバ。
  43. 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記決定する手段は、
    前記キーワードを前記検索エンジンに送信し、
    前記検索エンジンから検索結果を受信し、
    前記モバイルデバイス上に前記検索結果を出力するような
    前記機能を決定するように構成された、請求項４１に記載のサーバ。
  44. 前記決定する手段は、前記モバイルデバイスの構成を調整するような前記機能を決定するように構成された、請求項４１に記載のサーバ。
  45. 前記決定する手段は、
    実行されるべき前記機能の通知を出力し、
    前記機能を実行するための入力を受信し、
    前記受信された入力に応答して前記機能を実行するような
    前記機能を決定するように構成された、請求項４１に記載のサーバ。
  46. 前記音特徴は、前記キャプチャされたメディア音の音レベルが所定の音レベルよりも大きい場合、前記キャプチャされたメディア音から抽出される、請求項４１に記載のサーバ。
  47. 前記音特徴は、前記キャプチャされたメディア音から中間音特徴を抽出することと、前記音特徴を生成するために前記中間音特徴に少なくとも１つの基礎フィルタを適用することとによって、前記キャプチャされたメディア音から抽出される、請求項４１に記載のサーバ。
  48. 複数の基礎フィルタから、前記複数の基礎フィルタの各々によって１ペアのサンプル音から抽出された音特徴間の類似度の程度に基づいて、前記少なくとも１つの基礎フィルタを選択する手段をさらに備える、請求項４７に記載のサーバ。
  49. 前記少なくとも１つの基準音特徴は、前記モバイルデバイスによって実行されるべき前記機能とコンテキスト情報とを含むメタデータに関連する、請求項４１に記載のサーバ。
  50. モバイルデバイスであって、
    前記モバイルデバイスの外部の音出力デバイスからのメディア音をキャプチャする手段と、
    前記キャプチャされたメディア音から音特徴を抽出する手段と、
    前記音特徴に基づいて、基準音特徴のセット中の少なくとも１つの基準音特徴を識別する手段と、基準音特徴の前記セット中の各基準音特徴は、複数のメディア音のうちの少なくとも１つと、複数の機能のうちの少なくとも１つとに関連し、
    前記少なくとも１つの識別された基準音特徴に基づいて前記モバイルデバイスによって実行されるべき機能を決定する手段と、
    前記モバイルデバイスにおいて前記決定された機能を実行する手段と、
    を備える、モバイルデバイス。
  51. 前記少なくとも１つの基準音特徴は広告に関連し、前記実行する手段は、前記モバイルデバイス上に前記広告を表示するように構成された、請求項５０に記載のモバイルデバイス。
  52. 前記少なくとも１つの基準音特徴は、検索エンジンによって検索されるべきキーワードに関連し、前記実行する手段は、
    前記キーワードを前記検索エンジンに送信することと、
    前記検索エンジンから検索結果を受信することと、
    前記モバイルデバイス上に前記検索結果を出力することと
    を行うように構成された、請求項５０に記載のモバイルデバイス。
  53. 前記実行する手段は、前記モバイルデバイスの構成を調整するように構成された、請求項５０に記載のモバイルデバイス。
  54. 前記実行する手段は、
    実行されるべき前記機能の通知を出力することと、
    前記機能を実行するための入力を受信することと、
    前記受信された入力に応答して前記機能を実行することと、
    を行うように構成された、請求項５０に記載のモバイルデバイス。
JP2014556569A 2012-02-08 2013-01-29 音識別に基づくモバイルデバイスの制御 Pending JP2015508205A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261596576P 2012-02-08 2012-02-08
US61/596,576 2012-02-08
US13/752,080 2013-01-28
US13/752,080 US9524638B2 (en) 2012-02-08 2013-01-28 Controlling mobile device based on sound identification
PCT/US2013/023607 WO2013119418A1 (en) 2012-02-08 2013-01-29 Controlling mobile device based on sound identification

Publications (2)

Publication Number Publication Date
JP2015508205A true JP2015508205A (ja) 2015-03-16
JP2015508205A5 JP2015508205A5 (ja) 2016-03-03

Family

ID=48902784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014556569A Pending JP2015508205A (ja) 2012-02-08 2013-01-29 音識別に基づくモバイルデバイスの制御

Country Status (6)

Country Link
US (1) US9524638B2 (ja)
EP (1) EP2813061A1 (ja)
JP (1) JP2015508205A (ja)
KR (1) KR20140133501A (ja)
CN (1) CN104094580A (ja)
WO (1) WO2013119418A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140372210A1 (en) * 2013-06-18 2014-12-18 Yahoo! Inc. Method and system for serving advertisements related to segments of a media program
CN103414830A (zh) * 2013-08-28 2013-11-27 上海斐讯数据通信技术有限公司 基于语音实现快速关机的方法及系统
EP3201730A1 (en) * 2014-10-03 2017-08-09 Seiko Epson Corporation Head mounted display device adapted to the environment
MX2018012484A (es) 2016-04-15 2019-03-01 Walmart Apollo Llc Sistemas y metodos para facilitar la adquisicion en una instalacion minorista fisica.
CA3021014A1 (en) * 2016-04-15 2017-10-19 Walmart Apollo, Llc Systems and methods for providing content-based product recommendations
US9928025B2 (en) * 2016-06-01 2018-03-27 Ford Global Technologies, Llc Dynamically equalizing receiver
US10225730B2 (en) 2016-06-24 2019-03-05 The Nielsen Company (Us), Llc Methods and apparatus to perform audio sensor selection in an audience measurement device
US11172293B2 (en) * 2018-07-11 2021-11-09 Ambiq Micro, Inc. Power efficient context-based audio processing
WO2020012145A1 (en) * 2018-07-12 2020-01-16 Source to Site Accessories Limited System for identifying electrical devices
CN111061156A (zh) * 2018-10-17 2020-04-24 上海摩软通讯技术有限公司 智能家居系统的提醒控制方法及智能家居系统
KR102532424B1 (ko) 2018-12-03 2023-05-12 한국전기연구원 탄소나노소재-나노금속 복합체 및 이의 제조방법
US11934915B2 (en) 2019-11-20 2024-03-19 Farzad Salimi Jazi Synthetic standardized wave identifiers for representing and classifying entities
WO2021102342A1 (en) 2019-11-20 2021-05-27 Salimi Jazi Farzad Synthetic standardized wave identifiers for representing and classifying entities

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120468A (ja) * 1997-10-16 1999-04-30 Nec Shizuoka Ltd 聴覚障害者用生活支援装置
JP2007028391A (ja) * 2005-07-20 2007-02-01 Sanyo Electric Co Ltd マイクロホンアレー装置
JP2007215198A (ja) * 2007-02-22 2007-08-23 Sony Corp 情報処理装置、検索サーバ、記録媒体
US20080167867A1 (en) * 2007-01-05 2008-07-10 Fein Gene S System and Method for Altering Settings on Electronic Devices Based upon Sensing Stimuli
JP2011243204A (ja) * 2010-05-19 2011-12-01 Google Inc 番組コンテキストに基づくモバイルコンテンツの提示

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI942753A (fi) * 1994-06-10 1995-12-11 Nokia Mobile Phones Ltd Menetelmä jänniteregulaattorin sisältävän elektronisen laitteen tehonkulutuksen pienentämiseksi
US6070140A (en) * 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
DE19816933A1 (de) * 1998-04-16 1999-10-21 Nokia Mobile Phones Ltd Verfahren zum Steuern einer elektronischen Einrichtung, insbesondere einer Mobilstation eines Mobilfunknetzes
US6766295B1 (en) * 1999-05-10 2004-07-20 Nuance Communications Adaptation of a speech recognition system across multiple remote sessions with a speaker
JP2002041276A (ja) 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
WO2003096562A1 (en) * 2002-05-08 2003-11-20 Neomtel Co., Ltd. Method for playing interactive contents for standby mode in a mobile communication terminal, and a mobile communication terminal of the same
US7106103B2 (en) 2003-12-10 2006-09-12 Hewlett-Packard Development Company, L.P. Selectable integrated circuit interface
EP1581026B1 (en) 2004-03-17 2015-11-11 Nuance Communications, Inc. Method for detecting and reducing noise from a microphone array
US7308516B2 (en) 2004-04-26 2007-12-11 Atmel Corporation Bi-directional serial interface for communication control
US20060031618A1 (en) 2004-05-20 2006-02-09 Hansquine David W Single wire and three wire bus interoperability
JP2006154926A (ja) 2004-11-25 2006-06-15 Denso Corp キャラクタ表示を利用した電子機器操作システム及び電子機器
KR100703703B1 (ko) * 2005-08-12 2007-04-06 삼성전자주식회사 음향 입출력 확장 방법 및 장치
US8185680B2 (en) 2006-02-06 2012-05-22 Standard Microsystems Corporation Method for changing ownership of a bus between master/slave devices
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8121299B2 (en) * 2007-08-30 2012-02-21 Texas Instruments Incorporated Method and system for music detection
DE102008039330A1 (de) * 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
US8077022B2 (en) * 2008-06-11 2011-12-13 Flextronics Automotive Inc. System and method for activating vehicular electromechanical systems using RF communications and voice commands received from a user positioned locally external to a vehicle
US20110069937A1 (en) * 2009-09-18 2011-03-24 Laura Toerner Apparatus, system and method for identifying advertisements from a broadcast source and providing functionality relating to the same
CN201601759U (zh) 2010-03-18 2010-10-06 青岛海信电器股份有限公司 电视机语音控制系统及采用该语音系统的电视机
KR20120034378A (ko) * 2010-10-01 2012-04-12 엔에이치엔(주) 사운드 인식을 통한 광고 정보 제공 시스템 및 방법
CN102065260A (zh) 2010-11-15 2011-05-18 冠捷显示科技（厦门）有限公司 基于背景环境变化自动调节音量的电视
US9224388B2 (en) * 2011-03-04 2015-12-29 Qualcomm Incorporated Sound recognition method and system
US8595015B2 (en) * 2011-08-08 2013-11-26 Verizon New Jersey Inc. Audio communication assessment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120468A (ja) * 1997-10-16 1999-04-30 Nec Shizuoka Ltd 聴覚障害者用生活支援装置
JP2007028391A (ja) * 2005-07-20 2007-02-01 Sanyo Electric Co Ltd マイクロホンアレー装置
US20080167867A1 (en) * 2007-01-05 2008-07-10 Fein Gene S System and Method for Altering Settings on Electronic Devices Based upon Sensing Stimuli
JP2007215198A (ja) * 2007-02-22 2007-08-23 Sony Corp 情報処理装置、検索サーバ、記録媒体
JP2011243204A (ja) * 2010-05-19 2011-12-01 Google Inc 番組コンテキストに基づくモバイルコンテンツの提示

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KE, YAN ET AL.: "Computer Vision for Music Identification", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION [ONLINE], JPN6016036370, 25 July 2005 (2005-07-25), ISSN: 0003402534 *

Also Published As

Publication number Publication date
US20130201800A1 (en) 2013-08-08
CN104094580A (zh) 2014-10-08
EP2813061A1 (en) 2014-12-17
WO2013119418A1 (en) 2013-08-15
KR20140133501A (ko) 2014-11-19
US9524638B2 (en) 2016-12-20

Similar Documents

Publication Publication Date Title
US9524638B2 (en) Controlling mobile device based on sound identification
EP2681895B1 (en) Method and apparatus for grouping client devices based on context similarity
US10083687B2 (en) Method and apparatus for identifying acoustic background environments based on time and speed to enhance automatic speech recognition
CN104954555B (zh) 一种音量调节方法及系统
US9685156B2 (en) Low-power voice command detector
JP5819435B2 (ja) モバイルデバイスのロケーションを決定するための方法および装置
US9143571B2 (en) Method and apparatus for identifying mobile devices in similar sound environment
US9167520B2 (en) Controlling applications in a mobile device based on environmental context
JP2013013092A (ja) 双方向ストリーミングコンテンツ処理方法、装置、及びシステム
JP2016522910A (ja) キーワード検出のための適応的オーディオフレーム処理
US20150066925A1 (en) Method and Apparatus for Classifying Data Items Based on Sound Tags
US9794620B2 (en) System and method for providing related content at low power, and computer readable recording medium having program recorded therein
JP2017509009A (ja) オーディオストリームの中の音楽の追跡
US20170371615A1 (en) Alerting a user to a change in an audio stream
US9514129B2 (en) Technologies for providing textual information and systems and methods using the same
US20150370892A1 (en) System and method for audio identification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170124