JP6585300B2 - ユーザからの音声フレーズに応答してのコンテキストデータに基づいた電子デバイスによる通知の生成 - Google Patents

ユーザからの音声フレーズに応答してのコンテキストデータに基づいた電子デバイスによる通知の生成 Download PDF

Info

Publication number
JP6585300B2
JP6585300B2 JP2018527997A JP2018527997A JP6585300B2 JP 6585300 B2 JP6585300 B2 JP 6585300B2 JP 2018527997 A JP2018527997 A JP 2018527997A JP 2018527997 A JP2018527997 A JP 2018527997A JP 6585300 B2 JP6585300 B2 JP 6585300B2
Authority
JP
Japan
Prior art keywords
electronic device
notification
phrase
voice
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018527997A
Other languages
English (en)
Other versions
JP2018537714A (ja
Inventor
ユン、サンラク
キム、テス
キム、ソンウン
キム、ヒマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018537714A publication Critical patent/JP2018537714A/ja
Application granted granted Critical
Publication of JP6585300B2 publication Critical patent/JP6585300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/66Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667Preventing unauthorised calls from a telephone set
    • H04M1/67Preventing unauthorised calls from a telephone set by electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Telephone Function (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Alarm Systems (AREA)

Description

関連出願への相互参照
[0001]本願は、2015年12月1日に出願された「ELECTRONIC DEVICE GENERATING NOTIFICATION BASED ON CONTEXT DATA IN RESPONSE TO SPEECH PHRASE FROM USER」と題する、共同所有された米国特許出願第14/956,180号からの優先権の利益を主張し、その全コンテンツは、参照によりここに組み込まれる。
[0002]本開示は、電子デバイスによって通知を生成することに関し、より具体的には、電子デバイスのユーザに警告するための通知を生成することに関する。
[0003]最近では、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、等の電子デバイスの使用が普及してきた。これらのデバイスは、多くの場合、ワイヤレスまたはワイヤードネットワークを介してボイスおよび/またはデータ通信機能性を提供している。加えて、そのようなデバイスは、サウンド処理、画像またはビデオ処理、ナビゲーション、ミュージックまたはマルチメディアファイルの再生、等の、ユーザの利便性を高めるように設計されたさまざまな機能を提供し得る。
[0004]そのような機能の中でも、従来の電子デバイスには、多くの場合、音声認識機能が備わっている。そのような電子デバイスは、ユーザからボイスコマンドを受信および認識することに応答して、機能を実行し得る。たとえば、音声認識機能が備わっている電子デバイスは、ユーザからのボイスコマンドに応答して、アプリケーションをアクティブにしたり、オーディオファイルを再生したり、写真を撮ったりし得る。
[0005]時折、電子デバイスは、それらのユーザによって、紛失されるまたは置き忘れられ得る。そのようなケースでは、いくつかの従来の電子デバイスは、アラームサウンドまたはメッセージを出力して、ユーザがこの電子デバイスを見つけるのを支援するように構成される。たとえば、電子デバイスは、ユーザからのボイスコマンドに応答してアラームサウンドを生成することで、その位置をユーザに警告し得る。電子デバイスはまた、この電子デバイスの位置をユーザに知らせるために、ユーザの別の電子デバイスにメッセージを送信し得る。
[0006]しかしながら、いくつかの状況では、アラームサウンドは、誤って生成され得る。たとえば、別の人物自身の電子デバイスを対象としたその別の人物から、電子デバイスを見つけるボイスコマンドがユーザの電子デバイスによって受信されると、ユーザの電子デバイスは、このボイスコマンドに応答してアラームサウンドを生成し得る。さらに、図書館、映画館、会議室、等、場所によっては(in some locations)、電子デバイスのオーディオ機能の使用が制限されているまたは限られているであろう。そのような環境では、ユーザまたは別の人物からのボイスコマンドに応答して、電子デバイスを位置特定するためのアラームサウンドを生成することは望ましくないであろう。
[0007]本開示は、電子デバイスのコンテキストデータと、通知を生成するコマンド(command to generate the notification)とに基づいて、電子デバイスのユーザに警告するための通知を生成することに関する。
[0008]本開示の一態様によれば、電子デバイスのユーザに警告するための通知を電子デバイスによって生成するための方法が開示される。この方法では、音声フレーズが受信され得る。次いで、受信された音声フレーズは、プロセッサによって、通知を生成するコマンドとして認識され得る。加えて、電子デバイスの1つ以上のコンテキストデータが、少なくとも1つのセンサによって検出され得る。コンテキストデータに少なくとも基づいて、通知が生成されるべきかどうかが決定され得る。通知は、プロセッサによって、コンテキストデータと、通知を生成するコマンドとに基づいて生成され得る。本開示はまた、この方法に関するコンピュータ読取可能な媒体を説明する。
[0009]本開示の別の態様によれば、電子デバイスのユーザに警告するための通知を生成するための電子デバイスが開示される。電子デバイスは、サウンドセンサと、音声認識ユニットと、センサユニットと、プロセッサと、出力ユニットとを含み得る。サウンドセンサは、音声フレーズを受信するように構成され得、音声認識ユニットは、この音声フレーズを、通知を生成するコマンドとして認識するように構成され得る。加えて、センサユニットは、電子デバイスのコンテキストデータを検出するように構成され得る。さらに、プロセッサは、コンテキストデータとコマンドとに基づいて通知を生成するように構成され得る。出力ユニットは、この通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成するように構成され得る。追加的に、プロセッサは、コンテキストデータに基づいて、通知が生成されるべきかどうかを決定するように構成された通知処理ユニットを含み得る。

[0010]本開示の革新的な態様の実施形態は、添付の図面と併せて読まれたとき、以下の詳細な説明を参照して理解されるであろう。
[0011]図1は、本開示の一実施形態にかかる、電子デバイスのコンテキストデータに基づいて、電子デバイスのユーザに警告するための通知を生成するように構成された電子デバイスを例示する。 [0012]図2は、本開示の一実施形態にかかる、電子デバイスのコンテキストデータに基づいてユーザに対する通知を生成するように構成された電子デバイスのブロック図を例示する。 [0013]図3は、本開示の一実施形態にかかる、電子デバイスのコンテキストデータを検出するように構成されたセンサユニットのブロック図を例示する。 [0014]図4は、本開示の一実施形態にかかる、電子デバイスのコンテキストデータに基づいて通知を生成するための、電子デバイス中のプロセッサによって実行される方法のフローチャートを例示する。 [0015]図5は、本開示の一実施形態にかかる、コンテキストデータに基づいて、通知が生成されるべきかどうかを決定するための、プロセッサ中の通知処理ユニットによって実行される方法のフローチャートを例示する。 [0016]図6は、本開示の一実施形態にかかる、電子デバイスに向かう方向にユーザによって発せられる入力サウンドを例示する。 [0017]図7は、本開示の一実施形態にかかる、電子デバイスに向かう方向以外の方向にユーザによって発せられる入力サウンドを例示する。 [0018]図8は、本開示の一実施形態にかかる、第1の音声フレーズおよび第2の音声フレーズの受信時刻に基づいて、音声フレーズを、通知を生成するコマンドとして認識することを例示する。 [0019]図9は、本開示の一実施形態にかかる、ユーザの外部デバイスに、電子デバイスの位置情報を含む通知を送信するように構成された電子デバイスを例示する。 [0020]図10は、本開示の一実施形態にかかる、電子デバイスをロックまたはロック解除するための、プロセッサによって実行される方法のフローチャートを例示する。 [0021]図11は、本開示の一実施形態にかかる、コンテキストデータと、通知を生成するコマンドとに基づいて通知を生成するための方法および装置がインプリメントされ得る例示的な電子デバイスのブロック図である。
発明の詳細な説明
[0022]ここからさまざまな実施形態が詳細に参照され、それらの例は、添付の図面に例示される。以下の詳細な説明では、多数の特定の詳細が、本開示の革新的な態様の完全な理解を与えるために示される。しかしながら、本開示の革新的な態様がこれらの特定の詳細なしに実施され得ることは、当業者には明らかであろう。他の事例では、周知の方法、プロシージャ、システム、およびコンポーネントは、さまざまな実施形態の態様を不必要に曖昧にしないために、詳細には説明されていない。
[0023]図1は、本開示の一実施形態にかかる、電子デバイス120のコンテキストデータに基づいて、電子デバイス120のユーザ110に警告するための通知を生成するように構成された電子デバイス120を例示する。示されるように、ユーザ110および電子デバイス120は、部屋100に位置し得る。電子デバイスは、机102上に置かれており、複数の本104で覆われ得、そのため、ユーザ110は、電子デバイス120を見つけることができないであろう。ここで例示されるように、電子デバイス120は、スマートフォン、デジタルカメラ、ウェアラブルコンピュータ(たとえば、スマートグラス、スマートウォッチ、等)、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ゲーミングデバイス、等のような、サウンドを受信および処理するのに適している任意の適切なデバイスであり得る。
[0024]電子デバイス120を位置特定するために、ユーザ110は、電子デバイス120のユーザ110に警告するための通知を生成するコマンドを示す音声フレーズを発し得る。電子デバイス120は、電子デバイス120中のサウンドセンサ130を介してユーザ110から音声フレーズを受信し得る。音声フレーズは、図8を参照して以下でより詳細に説明されるように、1つ以上の所定のキーワードおよび/または1つ以上の自然言語フレーズであり得る。音声フレーズを受信すると、電子デバイス120は、この音声フレーズを、通知を生成するコマンドとして認識し得る。
[0025]音声フレーズを、通知を生成するコマンドとして認識すると、電子デバイス120は、電子デバイス120のコンテキストデータを検出し得る。ここで使用される場合、電子デバイスの「コンテキストデータ」という用語は、電子デバイスの周辺光(ambient light level)レベル、周辺サウンドレベル、現在時刻、現在位置、等の、電子デバイスの環境条件を説明するまたは特徴付ける任意のデータまたは情報、ならびに、電子デバイスの移動を示すデータ、ユーザ110の画像、電子デバイスによって検出されるユーザ入力(たとえば、キー入力、タッチ入力、音声入力、等)、確認応答されていない着信通信を示すイベント、および/または電子デバイスに向かう方向以外の方向に発せられる入力サウンド(たとえば、音声コマンド)、等の、電子デバイス120がユーザ110によって使用されているかどうかを示す使用データであり得る。
[0026]コンテキストデータと、通知を生成するコマンドとに基づいて、電子デバイス120は、通知を生成し得る。一実施形態では、電子デバイス120は、コンテキストデータと、通知を生成するコマンドとに基づいて、通知が生成されるべきかどうかを決定し得る。通知が生成されるべきであると決定すると、電子デバイス120は、電子デバイス120のユーザ110に警告するのに適している通知を生成および出力し得る。通知は、スピーカ、振動ユニット、光出力ユニット(たとえば、ディスプレイスクリーン、LEDフラッシュ、等)、通信ユニット、および電子デバイス120の位置または存在を示す出力を提供し、ユーザ110が電子デバイス120を見つけるまたは位置特定することを可能にし得る同様のもののような任意の適切な出力ユニットを使用して出力され得る。
[0027]他方で、電子デバイス120は、電子デバイス120のコンテキストデータに基づいて、通知が生成されるべきでないと決定し得る。たとえば、電子デバイス120がユーザ110によって使用されているか、図書館に位置していることをコンテキストデータが示す場合、電子デバイス120は、通知が生成されるべきでないと決定し得る。このケースでは、電子デバイス120が、音声フレーズを、通知を生成するコマンドとして認識したときでさえ、通知は生成されないであろう。このように、通知の生成は、望ましくないまたは不注意な通知が生成および出力されるのを防ぐために、電子デバイス120のコンテキストデータに基づいて制御され得る。
[0028]図2は、本開示の一実施形態にかかる、電子デバイス120のコンテキストデータに基づいて、ユーザ110に対する通知を生成するように構成された電子デバイス120のブロック図を例示する。電子デバイス120は、サウンドセンサ130と、センサユニット210と、出力ユニット220と、通信ユニット230と、記憶ユニット240と、プロセッサ250とを含み得る。プロセッサ250は、音声認識ユニット252と、ボイス支援ユニット254と、通知処理ユニット256とを含み得る。プロセッサ250は、アプリケーションプロセッサ(AP)、中央処理装置(CPU)、デジタルシグナルプロセッサ(DSP)、等の、電子デバイス120を管理および動作するための任意の適切なプロセッサであり得る。サウンドセンサ130は、センサユニット210とは別個のコンポーネントであり得るか、センサユニット210に含まれ得、サウンドを受信し、このサウンドを、このサウンドを示す電子信号へと変換する能力がある任意の適切なデバイスであり得る。ここで使用される場合、「ユニット」という用語は、1つ以上の機能を実行する能力があるまたはそれを実行するのに適している1つ以上のハードウェアコンポーネント、セクション、パート、または回路を指し得、プロセス、命令、プロシージャ、サブルーチン、または同様のもの(たとえば、プログラムコード、マイクロコード、等)と併せてまたはそれらを実行することでそのような機能を追加的に実行し得る。同様にして、1つの「ユニット」が、より小さいユニット(たとえば、サブユニット)へとセグメント化され得るか、2つ以上のユニットが、単一の「ユニット」へと組み合わせられ得る。
[0029]電子デバイス120では、サウンドセンサ130は、ユーザ110から音声フレーズを受信するように構成され得る。音声フレーズを受信すると、サウンドセンサ130は、この音声フレーズを、プロセッサ250の音声認識ユニット252に提供し得る。プロセッサ250中の音声認識ユニット252は、隠れマルコフモデル、ディープニューラルネットワーク、等の任意の適切な音声認識スキームを使用して、この音声フレーズを、通知を生成するコマンドのような、機能を実行するコマンドとして認識するように構成され得る。音声フレーズが、通知を生成するコマンドとして認識されると、音声認識ユニット252は、この通知を生成するコマンドを、プロセッサ250中の通知処理ユニット256に提供し得る。このケースでは、通知処理ユニット256は、非アクティブ状態であり得、通知を生成するコマンドを認識すると、音声認識ユニット252によってアクティブにされ得る。代替的に、通知処理ユニット256は、音声認識ユニット252から、通知を生成するコマンドを受信するために、すでにアクティブにされているであろう。
[0030]いくつかの実施形態によれば、音声フレーズは、少なくとも第1の音声フレーズおよび第2の音声フレーズを含み得、それらは各々、所定のキーワードまたはフレーズであり得る。たとえば、音声認識ユニット252は、第1のフレーズ(たとえば、「ヘイ、スナップドラゴン」)を認識し、プロセッサ250中のボイス支援ユニット254をアクティブにし得る。次いで、ボイス支援ユニット254は、サウンドセンサ130を介して第2の音声フレーズ(たとえば、「どこにいる?」)を受信し、この第2の音声フレーズを、通知を生成するコマンドとして認識し得る。第2の音声フレーズを認識すると、ボイス支援ユニット254は、通知処理ユニット256をアクティブにし、通知を生成する認識されたコマンドを、通知処理ユニット256に提供し得る。
[0031]電子デバイス120では、センサユニット210は、この電子デバイスのコンテキストデータを検出する能力がある任意の適切な数およびタイプのセンサまたはデバイスを含み得る。たとえば、センサユニット210は、図3を参照してより詳細に説明するように、サウンドセンサ(たとえば、サウンドセンサ130)、画像センサ、動きセンサ、クロックユニット、位置センサ、入力ユニット、等を含み得る。センサユニット210は、ユーザ入力、ユーザ110の画像、環境条件(たとえば、位置情報、タイミング情報、周辺光値)、電子デバイス120の移動、確認応答されていない着信通信を示すイベント、および/または電子デバイス120に向かう方向以外の方向に発せられる入力サウンド(たとえば、音声コマンド)のようなコンテキストデータを検出し、このコンテキストデータを、通知処理ユニット256に提供し得る。一実施形態では、センサユニット210は、連続的に、周期的に、または間欠的に、コンテキストデータをモニタするように構成され得る。追加的にまたは代替的に、センサユニット210は、通知を生成するコマンドを示す音声フレーズを受信および/または認識すると、コンテキストデータを検出するように構成され得る。
[0032]通知を生成するコマンドを受信すると、通知処理ユニット256は、センサユニット210および/またはサウンドセンサ130から受信されたコンテキストデータに基づいて、通知が生成されるべきかどうかを決定するように構成され得る。たとえば、電子デバイス120にユーザ110がアクセス不可能である(たとえば、紛失中であるまたは置き忘れられている)可能性が高いことをコンテキストデータが示す場合、電子デバイス120の通知処理ユニット256は、通知が生成されるべきであると決定し得る。他方で、電子デバイス120が、電子デバイス120の使用が制限されているであろう、図書館、映画館、等の場所に位置していることをコンテキストデータが示す場合、通知処理ユニット256は、通知が生成されるべきでないと決定し得る。
[0033]通知処理ユニット256は、コンテキストデータと、通知を生成する認識されたコマンドとに基づいて通知を生成するよう出力ユニット220に命令するように構成され得る。一実施形態によれば、コンテキストデータに基づいて、通知が生成されるべきであると決定することに応答して、通知処理ユニット256は、出力ユニット220による通知の生成を制御するように構成された1つ以上の信号を生成し得る。たとえば、通知処理ユニット256は、通知が生成されるべきであると決定すると、通知を生成するために出力ユニット220をアクティブにするおよび/または通知を生成するよう出力ユニット220に命令するための1つ以上の信号を提供し得る。他方で、通知処理ユニット256は、コンテキストデータに基づいて、通知が生成されるべきでないと決定し得る。このケースでは、通知処理ユニット256は、通知を生成することに関して出力ユニット220に命令するためのいずれの信号も提供しないか、通知の生成を防ぐために出力ユニット220を非アクティブにするおよび/または通知の生成を防ぐよう出力ユニット220に命令するための1つ以上の信号を提供し得る。このように、通知は、ユーザ110から受信された音声フレーズが、通知を生成するコマンドとして認識されるときであっても、コンテキストデータに基づいて出力されることはないであろう。
[0034]出力ユニット220は、コンテキストデータと、通知を生成するコマンドとに基づいて通知を生成するように構成され得る。ここで説明するように、出力ユニット220は、通知処理ユニット256からの1つ以上の制御信号に応答して通知を出力する能力がある任意の適切なコンポーネントであり得る。一実施形態では、出力ユニット220は、スピーカ222、振動ユニット224、ディスプレイスクリーン226、LEDユニット228、等のうちの任意の1つまたはそれらの任意の組合せを含み得る。たとえば、電子デバイス120中のスピーカ222は、ユーザ110が電子デバイス120を見つけるのを支援するために、可聴サウンド(たとえば、アラームサウンド、着信音、等)を出力し得る。追加的にまたは代替的に、振動ユニット224が振動し得るか、ディスプレイスクリーン226またはLEDユニット228が可視光を出力し得る。追加的なまたは代替的な実施形態では、通知処理ユニット256は、通知(たとえば、電子デバイスの位置を示すメッセージ、これは、センサユニット210中の位置センサから取得され得る)を生成し、この通知を、通信ユニット230を介して、ユーザ110に関連する外部デバイスに送信し得る。
[0035]電子デバイス120中の記憶ユニット240は、電子デバイス120が通知を生成するための、1つ以上の所定の音声フレーズのコマンドデータベース(図示されない)を記憶し得る。コマンドデータベースは、受信された音声フレーズを、通知を生成するコマンドとして認識するために、プロセッサ250中の音声認識ユニット252および/またはボイス支援ユニット254によってアクセスされ得る。いくつかの実施形態では、記憶ユニット240は、コンテキストデータベース(図示されない)を記憶し得、これは、コンテキストデータに基づいて、通知が生成されるべきかどうかを決定する際に使用するためにプロセッサ250中の通知処理ユニット256によってアクセスされ得る。コンテキストデータベースは、通知が生成されるべきでない所定の位置、通知が生成されるべきでない所定の時間期間、等の、通知が生成されるべきかどうかを決定するために使用され得る任意の適切なタイプのデータまたは情報を記憶するように構成され得る。一実施形態では、コンテキストデータベースは、センサユニット210によって連続的に、周期的に、または間欠的に受信されるコンテキストデータに基づいて更新され得る。記憶ユニット240は、RAM(ランダムアクセスメモリ)、ROM(読取専用メモリ)、EEPROM(登録商標)(電気的消去可能プログラマブル読取専用メモリ)、フラッシュメモリ、またはSSD(ソリッドステートドライブ)のような任意の適切な記憶またはメモリデバイスを使用してインプリメントされ得る。
[0036]図3は、本開示の一実施形態にかかる、電子デバイス120のコンテキストデータを検出するように構成されたセンサユニット210のブロック図を例示する。センサユニット210は、サウンドセンサ130、画像センサ310、移動センサ320(たとえば、加速度計、ジャイロスコープ、等)、クロックユニット330、位置センサ340、および入力ユニット350(たとえば、タッチスクリーン、キーまたはボタン、等)のような複数のセンサを含み得る。センサ130、310、320、330、340、および350は、コンテキストデータとして1つ以上の入力を検出し得、これらは、プロセッサ250中の通知処理ユニット256に提供され得る。
[0037]サウンドセンサ130は、入力サウンドを受信し、この入力サウンドをサウンドデータに変換するように構成され得、これらは、コンテキストデータとして通知処理ユニット256に出力され得る。サウンドセンサ130は、入力サウンドを受信する、キャプチャする、検知する、および/または検出するために使用されることができる1つ以上のマイクロフォンまたは任意の他のタイプのサウンドセンサを含み得、そのような機能を実行するための任意の適切なソフトウェアおよび/またはハードウェアを用い得る。一実施形態では、サウンドセンサ130は、ユーザ110から発せられた音声フレーズを含む入力サウンドを受信し得る。入力サウンドはまた、背景サウンド、ノイズ、等のような、電子デバイス120のまたはユーザ110からの環境サウンドを含み得る。入力サウンドが受信されると、サウンドセンサ130は、サウンドデータを生成し得、これらは、コンテキストデータとして通知処理ユニット256に提供され得る。
[0038]一実施形態によれば、サウンドセンサ130はまた、通知を生成するコマンドとして音声フレーズをユーザ110から受信し、この音声フレーズを音声認識ユニット252に提供するように構成され得る。別の実施形態では、音声フレーズは、第1の音声フレーズおよび第2の音声フレーズを含み得る。このケースでは、サウンドセンサ130は、第1の音声フレーズを音声認識ユニット252に提供し得、これは、第1の音声フレーズを、ボイス支援ユニット254をアクティブにするコマンドとして認識すると、ボイス支援ユニット254をアクティブにし得る。ボイス支援ユニット254は、サウンドセンサ130から第2の音声フレーズを受信し、このフレーズを、通知を生成するコマンドとして認識し得る。
[0039]センサユニット210では、画像センサ310は、ユーザの顔、目、唇、または手、等の1つ以上の画像をキャプチャするように構成され得る。これらの画像はまた、電子デバイス120またはユーザの背景画像を含み得る。一実施形態によれば、画像センサ310は、顔、目(たとえば、瞳)の画像、またはユーザを識別するために使用されることができる任意の他の物理的な画像をキャプチャし得る。別の実施形態によれば、電子デバイス120の周辺光レベルが、画像センサ310によって検出され得る。次いで、画像センサ310は、画像および/または周辺光レベルをコンテキストデータとしてプロセッサ250中の通知処理ユニット256に提供し得る。ここで説明するように、画像センサ310は、画像または光レベルをキャプチャまたは検知する能力がある任意の適切な画像または光検知デバイス(たとえば、カメラ、カメラモジュール、電荷結合デバイス、等)であり得る。
[0040]移動センサ320は、電子デバイス120の移動を検出するように構成され得る。一実施形態では、移動センサ320は、電子デバイス120の向きおよび/または加速度をモニタし、電子デバイス120の向きまたは動きの変化を示すデータを生成するように構成されたジャイロスコープおよび/または加速度計であり得る。たとえば、電子デバイス120の動きまたは移動を追跡するために、ジャイロスコープが電子デバイス120の向きを検出し得る。他方で、電子デバイス120の動きを追跡するために、加速度計が電子デバイス120の加速度または向きを検出し得る。電子デバイス120の向きまたは動きの変化を示す生成されたデータは、コンテキストデータとして通知処理ユニット256に提供され得る。
[0041]センサユニット210中のクロックユニット330は、電子デバイス120のタイミング情報(たとえば、現在時刻)を検出し、検出されたタイミング情報をコンテキストデータとして出力するように構成され得る。クロックユニット330は、電子デバイス120に組み込まれており、現在時刻を追跡するように構成されたタイミングデバイスまたはクロックであり得る。追加的にまたは代替的に、クロックユニット330は、CPUクロックとしてプロセッサ250にインプリメントされるか、通信ユニット230を介して外部ネットワークからタイミング情報を受信するか、位置センサ340を介して受信されたGPS時間情報を使用して、現在時刻の経過を追い得る。クロックユニット330は、通知処理ユニット256にコンテキストデータとしてタイミング情報を提供し得る。
[0042]位置センサ340は、電子デバイス120の位置情報(たとえば、現在位置)を検出し、この検出された位置情報をコンテキストデータとして出力するように構成され得る。一実施形態では、位置センサ340は、複数のGPS衛星から受信されたGPS信号に基づいてGPS位置情報およびタイミング情報を検出するように構成されたGPS受信機であり得る。追加的にまたは代替的に、位置センサ340は、複数のWi−Fiアクセスポイントまたはセルタワー基地局から信号を受信し、電子デバイス120の位置情報を検出するように構成されたワイヤレス受信機であり得る。次いで、位置センサ340は、電子デバイス120の緯度、経度、および高度のセットを含み得る位置情報をコンテキストデータとして通知処理ユニット256に提供し得る。
[0043]入力ユニット350は、電子デバイス120のユーザからの入力(たとえば、手入力)を検出し、検出された入力をコンテキストデータとして出力するように構成され得る。一実施形態では、入力ユニット350は、ユーザからの入力(たとえば、ユーザ入力)を受信するための任意の適切な入力デバイスであり得、タッチスクリーン、ボタン、キーバッド、タッチパッド、等を含み得る。入力ユニット350は、ユーザからの検出された入力をコンテキストデータとして通知処理ユニット256に提供し得る。
[0044]図4は、本開示の一実施形態にかかる、電子デバイス120のコンテキストデータに基づいて通知を生成するための、電子デバイス120中のプロセッサ250によって実行される方法のフローチャートを例示する。最初に、プロセッサ250は、410において、サウンドセンサ130を介してユーザから音声フレーズを受信し得る。一実施形態では、プロセッサ250中の音声認識ユニット252は、受信された音声フレーズを、通知を生成するコマンドとして認識し得る。代替的に、音声認識ユニット252ユニットは、サウンドセンサ130を介して、ボイス支援ユニット254をアクティブにするコマンドとして、第1の音声フレーズを受信し、この第1の音声フレーズをアクティベーションコマンドとして認識すると、ボイス支援ユニット254をアクティブにし得る。次いで、ボイス支援ユニット254は、サウンドセンサ130から第2の音声フレーズを受信し、このフレーズを、通知を生成するコマンドとして認識し得る。次いで、通知を生成するコマンドは、通知処理ユニット256に提供され得る。
[0045]通知を生成するコマンドに応答して、通知処理ユニット256は、430において、センサユニット210中の1つ以上のセンサから電子デバイス120のコンテキストデータを受信し得る。一実施形態では、通知処理ユニット256は、ユーザ入力、電子デバイスの移動、タイミング情報、電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づいて、コンテキストデータを受信し得る。追加的にまたは代替的に、プロセッサ250はまた、確認応答されていない着信通信を示すイベントを、コンテキストデータとして検出し得る。たとえば、プロセッサ250は、通信ユニット230を介して着信通信(たとえば、メッセージ、電子メール、等)を受信し、この着信通信を記憶ユニット240に記憶し得る。ユーザ110が着信通信をレビューするまで、プロセッサ250は、この着信通信がユーザ110によって確認応答されていない(たとえば、レビューされていない)ものと決定し、ゆえに、この確認応答されていない着信通信を、コンテキストデータとして検出し得、これは、プロセッサ250中の通知処理ユニット256に提供され得る。追加的にまたは代替的に、センサユニット210は、確認応答されていない着信通信を示すイベントをコンテキストデータとして検出し得る別個の処理ユニットを含み得る。
[0046]440において、通知処理ユニット256は、コンテキストデータと、通知を生成するコマンドとに基づいて、通知を生成するかどうかを決定し得る。一実施形態では、通知を生成する認識されたコマンドに応答して、通知処理ユニット256は、コンテキストデータに基づいて、通知が生成されるべきかどうかを決定し得る。このケースでは、通知処理ユニット256は、ユーザ入力、ユーザ110の画像、環境条件(たとえば、位置情報、タイミング情報、周辺光値)、電子デバイス120の移動、確認応答されていない着信通信を示すイベント、および/または入力サウンド(たとえば、音声コマンド)のような、センサユニット210および/またはプロセッサ250あるいはそれらの任意の組合せからの1つ以上のコンテキストデータを分析し得る。ユーザ110の画像のケースでは、通知処理ユニット256は、センサユニット210中の画像センサ310から受信され得る1つ以上の画像中のユーザ110の顔を識別するために任意の適切な顔認識技法を適用し得る。入力サウンドのケースでは、通知処理ユニット256は、入力サウンドが、電子デバイス120に向かう方向以外の方向に発せられるどうかを決定し得、これはまた、図6および図7を参照してより詳細に説明するように、コンテキストデータとしても使用され得る。
[0047]さまざまなタイプのコンテキストデータは、図5を参照してより詳細に説明するように、通知を生成するかどうかを決定するために通知処理ユニット256によって処理され得る。一実施形態では、1つ以上のタイプのコンテキストデータは、他のタイプのコンテキストデータを検出することにかかわらず、そのようなタイプのコンテキストデータを検出することに基づいてこの通知が生成され得るように、より高いまたは最も高い優先度が与えられ得る。追加的にまたは代替的に、コンテキストスコアは、各々が重み付けおよび組み合わせられ得るさまざまなタイプのコンテキストデータに基づいて決定され得る。通知が生成されるべきであると通知処理ユニット256が決定すると、それは、450において、通知を生成するために出力ユニット220に制御信号を提供し得る。
[0048]制御信号を受信すると、出力ユニット220は、スピーカ222、振動ユニット224、ディスプレイスクリーン226、および/またはLEDユニット228を介して通知を出力し得る。たとえば、出力ユニット220中のスピーカ222は、可聴サウンド(たとえば、アラームサウンド、着信音、等)を出力し得る。追加的にまたは代替的に、出力ユニット220中の振動ユニット224が振動し得るか、可視光がディスプレイスクリーン226またはLEDユニット228を介して出力され得る。
[0049]一実施形態によれば、電子デバイス120は、電子デバイス120がスピーカ222を介したサウンドの出力をディセーブル(disable)にするように構成され得るサイレントモードになるように構成され得る。このケースでは、通知が生成されるべきであると電子デバイス120が決定すると、それは、通知がスピーカ222を介して出力され得るように、サイレントモードを非アクティブにし得る。たとえば、振動ユニット224を介して振動が出力され、スピーカ222を介したサウンドの出力がディセーブルにされ得る振動モードに電子デバイス120がある場合、それは、スピーカ222を介した通知の出力を可能にするために振動モードを非アクティブにし得る。
[0050]図5は、本開示の一実施形態にかかる、コンテキストデータに基づいて、通知が生成されるべきかどうかを決定するための、プロセッサ250中の通知処理ユニット256によって実行される方法のフローチャートを例示する。通知が生成されるべきかどうかを決定するために、通知処理ユニット256は、センサユニット210中の任意の1つ以上のセンサまたはユニットからのコンテキストデータを分析および/または処理し得る。いくつかの実施形態では、通知処理ユニット256は、より高いまたは最も高い優先度を特定のタイプのコンテキストデータに割り当て得る。
[0051]最初に、通知処理ユニット256は、510において、センサユニット210から受信されたコンテキストデータ中でユーザ入力が検出されるかどうかを決定し得る。たとえば、ユーザ入力は、電子デバイス120がユーザ110によって使用されていることまたは電子デバイス120にユーザ110がアクセス可能であることを示し得る。一実施形態では、510において、コンテキストデータがユーザ入力(たとえば、手動入力)を含むと決定されると、通知処理ユニット256は、560において、いずれの通知も生成されるべきでないと決定し得る。代替的にまたは追加的に、通知処理ユニット256は、コンテキストデータとして受信されたユーザ入力に応答して電子デバイス120が動作されているかどうかを決定し得る。たとえば、電子デバイス120は、ユーザ110からの入力またはコマンドに応答して、電子デバイス120のディスプレイ上にビデオを表示しているか、音楽を再生している最中であり得る。このケースでは、通知処理ユニット256は、560において、いずれの通知も生成されるべきでないと決定し得る。
[0052]他方で、510において、いずれのユーザ入力も受信されていないと決定されると、通知処理ユニット256は、520において、電子デバイス120の現在位置または現在時刻が、それぞれ、所定の位置または所定の時間内であるかどうかを決定し得る。いくつかの実施形態では、電子デバイス120は、通知が生成されるべきでない1つ以上の時間期間および/または位置をユーザ110から受信し、記憶し得る。電子デバイスの現在位置または現在時刻がそれぞれ所定の位置または所定の時間内であると決定すると、通知処理ユニット256は、560において、通知が生成されるべきでないと決定し得る。そうでない場合、通知処理ユニット256は、続いて、530において、他のタイプのコンテキストデータに基づいて、通知を生成することに関するコンテキストスコアを決定し得る。
[0053]一実施形態では、通知処理ユニット256は、センサユニット210からコンテキストデータとして現在時刻を受信し、この現在時刻が、通知が生成されるべきでない所定の時間期間内、たとえば、ユーザ110が、非アクティブであり得る(たとえば、就寝中、夜間、等)かまたは電子デバイス120にアクセスすることができない可能性がある(たとえば、会議中)とき、であるかどうかを決定し得る。通知が生成されるべきでない所定の時間期間は、電子デバイス120の使用履歴または電子デバイスのカレンダアプリケーション中の予定タスクに基づいて決定され得る。たとえば、通知処理ユニット256は、520において、カレンダアプリケーションにアクセスし、現在時刻が、会議が予定されている時間期間内であると決定し、ゆえに、続いて、560において、いずれの通知も生成されるべきでないと決定し得る。
[0054]別の実施形態では、通知処理ユニット256は、センサユニット210からコンテキストデータとして電子デバイス120の現在位置を受信し、この現在位置が、通知が生成されるべきでない所定の位置に対応するかどうかを決定し得る。たとえば、電子デバイス120の現在位置は、たとえば、図書館、映画館、等の、電子デバイス120の使用が制限されているであろう位置に対応すると決定され得る。このケースでは、通知処理ユニット256は、続いて、560において、通知が生成されるべきでないと決定し得る。そうでない場合、通知処理ユニット256は、続いて、530において、他のタイプのコンテキストデータに基づいて、通知を生成することに関するコンテキストスコアを決定し得る。
[0055]530において、通知処理ユニット256は、1つ以上のタイプのコンテキストデータに基づいてコンテキストスコアを決定し得る。ここで使用される場合、「コンテキストスコア」という用語は、電子デバイス120が、通知が生成されるべきであるコンテキストの中にあるかどうかを示す確率値であり得る。一実施形態では、通知処理ユニット256は、センサユニット210および/またはプロセッサ250から受信されたコンテキストデータに基づいてコンテキストスコアを算出し得る。たとえば、コンテキストデータは、ユーザ入力、現在位置、および現在時刻以外の1つ以上のタイプのコンテキストデータを含み得る。代替的に、コンテキストデータは、センサユニット210および/またはプロセッサ250から受信されるすべてのタイプのコンテキストデータを含み得る。
[0056]いくつかの実施形態では、コンテキストスコアは、周辺光値、ユーザの画像、確認応答されていない着信通信を示すイベント、および/または電子デバイスの移動のような、複数のタイプのコンテキストデータに基づいて決定され得る。複数のタイプのコンテキストデータの各々は、任意の適切な値を用いて表され得、これらは、任意の適切な重み付けスキームを使用して、コンテキストスコアを算出するために、関連する所定の重みで重み付けされおよび組み合わせられ得る。たとえば、コンテキストスコアは、本開示の一実施形態にしたがって以下の表1に示されるように重み付けされ得るコンテキストデータに基づいて決定され得る。
[0057]<表1>
Figure 0006585300
[0058]上の表1中の周辺光のケースでは、周辺光は、光の強度に比例し得る0から1の範囲の数字を使ったコンテキスト値で表され得、ここで、値0は、最も低い強度レベル(たとえば、完全な暗闇)を示し得、値1は、最も高い強度を示し得る。たとえば、低い周辺光値は、電子デバイス120が、オブジェクト(たとえば、複数の本、紙、服、ポケット、等)によって覆われていることまたはそれら内に位置していることを示し得、ゆえに、ユーザ110は、電子デバイス120を見つけることができないであろう。そのような状況では、電子デバイス120のユーザ110に警告するための通知が生成され得る。他のケースでは、低い周辺光値は、夕方のような一日のうちのある時間帯の結果であり得、通知が生成されるべきかどうかを明確には示さないであろう。ゆえに、表1中で例示されている実施形態では、比較的低い重み0.1が、強度0.2を有する周辺光に割り当てられ得、それにより、通知処理ユニット256は、周辺光値に対して、重み付けされたコンテキスト値0.02を決定し得る。
[0059]ユーザ110の画像のケースの場合、画像は、ユーザ110が画像内にあると認識されるかどうかに依存して、0または1のいずれかの数字を使ったコンテキスト値で表され得る。たとえば、画像センサ310から受信された画像中にユーザ110が識別されるとき、値1が割り当てられ得る。そうでない場合、値0が割り当てられ得る。画像センサ310を介して受信された画像中にユーザ110が検出される場合、ユーザ110が電子デバイス120を見ることができる可能性は高い。したがって、表1では、比較的高い重み0.5が、値1を有するユーザ110の画像に割り当てられ得、それによって、通知処理ユニット256は、この画像に対して、重み付けされたコンテキスト値0.5を決定し得る。
[0060]電子デバイス120における確認応答されていない着信通信のケースでは、そのような着信通信データを示すイベントは、0から1の範囲内の数字を使ったコンテキスト値で表され得、これは、確認応答されていない着信通信の受信からの経過時間に反比例し得る。たとえば、確認応答されていない着信通信を示すイベントをコンテキストデータとして受信すると、通知処理ユニット256は、確認応答されていない着信通信が通信ユニット230を介して受信されてからどれだけの時間が経過したかを決定し得る。確認応答されていない着信通信を示すイベントが、通信ユニット230を介した受信直後に受信されるとき、このイベントに対するコンテキスト値は1に対応し得る。他方で、確認応答されていない着信通信の受信からの経過時間が、所定のしきい値時間期間(たとえば、10時間、1日、等)より長いとき、確認応答されていない着信通信を示すこのイベントに対するコンテキスト値は、0に対応し得る。これらのケース間の経過時間については、任意の適切な中間値が、その経過時間に反比例して割り当てられ得る。例示される実施形態では、値0.4が、6時間という経過時間に割り当てられ得、通知処理ユニット256が、確認応答されていない着信通信を示すイベントに対して、重み付けされたコンテキスト値0.12を決定し得るようなイベントに対して重み0.3が割り当てられ得る。
[0061]電子デバイス120の移動のケースの場合、電子デバイス120の移動を示す移動データが、0から1の範囲の数字を使ったコンテキスト値で表され得、これは、電子デバイス120の最後のまたは最も最近の移動からの経過時間に反比例し得る。たとえば、移動センサ320から受信された現在の移動データが電子デバイス120の移動を示す場合、経過時間は0であり得、電子デバイス120のこの移動に対するコンテキスト値は、1に対応し得る。他方で、現在の移動データが、電子デバイスのいずれの移動も示さなかった場合、通知処理ユニット256は、最後のまたは最も最近の移動が検出された時間に基づいて、最後のまたは最も最近の移動が検出されてからどれだけの時間が経過したかを決定し得る。たとえば、電子デバイス120の移動を示す移動データが移動センサ320から受信されると、プロセッサ250は、電子デバイス120の移動が検出された時間を記憶ユニット240に記憶し得る。このケースでは、通知処理ユニット256は、記憶ユニット240からの、電子デバイス120の最後の移動が検出された時間にアクセスし、最後の移動が検出されてからどれだけの時間が経過したかを決定し得る。電子デバイス120の最後のまたは最も最近の移動からの経過時間が所定のしきい値時間期間(たとえば、10時間、1日、等)より長い場合、電子デバイス120のこの移動に対するコンテキスト値は、0であると決定され得る。0と所定のしきい値時間期間との間の経過時間については、任意の適切な中間値が、その経過時間に反比例して割り当てられ得る。例示された実施形態で示されるように、値0.8が、2時間という経過時間に割り当てられ得、重み0.1がそのような移動データに割り当てられ得る。このケースでは、通知処理ユニット256は、電子デバイス120の移動に対して、重み付けされたコンテキスト値0.08を決定し得る。
[0062]表1中の複数のタイプのコンテキストデータの各々に対して、重み付けされたコンテキスト値を生成すると、通知処理ユニット256は、この重み付けされたコンテキスト値を加算することで、コンテキストスコア0.72を算出し得る。たとえば、コンテキストスコアSは、次の式にしたがって決定され得、ここで、wおよびvは、それぞれ、重みおよびコンテキスト値である。
Figure 0006585300
代替的に、コンテキストスコアSは、S=f(v,...v)のような、コンテキストスコアを決定するための任意の適切な関数にしたがって決定され得、ここで、vは、コンテキスト値である。通知処理ユニット256は、表1に示される複数のタイプのコンテキストデータに基づいてコンテキストスコアを決定するが、それはまた、ユーザ入力、現在位置、現在時刻、入力サウンドが発せられる方向(たとえば、出射方向(direction of departure))、および/または同様のもののような、他のタイプのコンテキストデータに基づいてもコンテキストスコアを決定し得る。そのようなケースでは、高い重み値は、実質的にそのようなタイプのコンテキストデータのうちの1つ以上に基づいてコンテキストスコアが決定され得るように、そのようなタイプのコンテキストデータの各々に割り当てられ得る。
[0063]図5を参照して、コンテキストスコアを決定すると、通知処理ユニット256は、540において、コンテキストスコアを所定のしきい値スコアと比較し得る。コンテキストスコアが所定のしきい値スコア以下である場合、通知処理ユニット256は、550において、通知が生成されるべきであると決定し得る。他方で、コンテキストスコアが所定のしきい値より大きいと決定されると、通知処理ユニット256は、560において、通知が生成されるべきでないと決定し得る。上の表1を参照して、所定のしきい値スコア0.5を前提とすると、算出されたコンテキストスコア0.72が所定のしきい値スコア0.5以上であるため、通知処理ユニット256は、560において、通知が生成されるべきでないと決定し得る。他方で、算出されたコンテキストスコアがしきい値スコアより小さい場合、通知処理ユニット256は、550において、通知が生成されるべきであると決定し得る。
[0064]いくつかの実施形態では、通知処理ユニット256は、入力サウンドが、サウンドセンサ130に向かう方向に対応し得る、電子デバイス120に向かう方向に発せられるかどうかにさらに基づいて、通知を生成するかどうかを決定し得る。たとえば、入力サウンドは、ユーザ110によって発せられる音声フレーズ(たとえば、通知を生成するコマンドを示す音声フレーズ)であり得、これは、サウンドセンサ130を介して電子デバイス120によって受信される。この入力サウンドを受信すると、通知処理ユニット256は、入力サウンドが、電子デバイス120に向かう方向以外の方向に発せられるかどうかを決定し得る。
[0065]一実施形態によれば、通知処理ユニット256は、ユーザ110からの入力サウンドの出射角を、入力サウンドの「出射方向」(DOD)として決定し得る。このケースでは、入力サウンドは、入力サウンドの出射方向が、音源(たとえば、ユーザ)と電子デバイス120との間の線(たとえば、基準線または方向)に沿った方向である場合、電子デバイス120に向かう方向に発せられると決定され得る。そうでない場合、入力サウンドは、電子デバイス120に向かう方向以外の方向に発せられると決定され得る。さらに、通知処理ユニット256はまた、入力サウンドの出射方向が、電子デバイス120とユーザ110との間の線から所定の角度または範囲内にあると決定されるとき、この方向が電子デバイス120に向かうと決定し得る。
[0066]図6は、本開示の一実施形態にかかる、電子デバイス120に向かう方向にユーザ110によって発せられる入力サウンドを例示する。例示される実施形態では、ユーザ110は、電子デバイス120に向かう基準方向620から外れているであろう方向610に音声フレーズを入力サウンドとして発し得る。サウンドセンサ130を介して音声フレーズを入力サウンドとして受信すると、通知処理ユニット256は、音声フレーズの出射方向610、ユーザ110と電子デバイス120との間の基準方向620、および方向610と方向620との間の角度θを決定し得る。それ内であれば入力サウンドが電子デバイス120に向かって発せられたとみなされ得る所定の角度βを前提とすると、通知処理ユニット256は、角度θが所定の角度βより小さいと決定し、ゆえに、音声フレーズの出射方向610が電子デバイス120向きであると決定し得る。
[0067]図7は、本開示の一実施形態にかかる、電子デバイス120に向かう方向以外の方向にユーザ110によって発せられる入力サウンドを例示する。例示される実施形態で示されるように、ユーザ110は、電子デバイス120に向かう基準方向720から外れているであろう方向710に音声フレーズを入力サウンドとして発し得る。サウンドセンサ130を介して音声フレーズを入力サウンドとして受信すると、通知処理ユニット256は、音声フレーズの出射方向710、ユーザ110と電子デバイス120との間の基準方向720、および方向710と方向720との間の角度θを決定し得る。それ内であれば入力サウンドが電子デバイス120に向かって発せられたとみなされ得る所定の角度βを前提とすると、通知処理ユニット256は、角度θが所定の角度βより大きいと決定し、ゆえに、音声フレーズの出射方向710が電子デバイス120に向かう方向以外の方向であると決定し得る。
[0068]図8は、本開示の一実施形態にかかる、第1の音声フレーズ810および第2の音声フレーズ820の受信時刻に基づいて、音声フレーズを、通知を生成するコマンドとして認識することを例示する。例示される実施形態では、音声フレーズは、第1の音声フレーズ810を、ボイス支援ユニット254をアクティブにするコマンドとして、第2の音声フレーズ820を、通知を生成するコマンドとして含み得る。最初に、ユーザ110は、時刻T1において、第1の音声フレーズ(たとえば、“ヘイ、スナップドラゴン”)を発し得る。電子デバイス120は、サウンドセンサ130を介して第1の音声フレーズを受信し得、音声認識ユニット252は、任意の適切な音声認識機能を使用して、この第1の音声フレーズを、プロセッサ250中のボイス支援ユニット254をアクティブにするコマンドとして認識し得る。第1の音声フレーズを認識すると、音声認識ユニット252は、ボイス支援ユニット254をアクティブにし得る。
[0069]時刻T2において、ユーザ110は、第2の音声フレーズ(たとえば、「どこにいる?」)を発し得る。アクティブにされているボイス支援ユニット254は、サウンドセンサ130を介して第2の音声フレーズを受信し、この第2の音声フレーズを、通知を生成するコマンドとして認識し得る。第2の音声フレーズを、通知を生成するコマンドとして認識すると、ボイス支援ユニット254は、第1の音声フレーズ810および第2の音声フレーズ820の受信時刻に基づいて、第1の音声フレーズ810および第2の音声フレーズ820が所定の時間期間(たとえば、5秒)内に受信されると決定し得る。第1の音声フレーズ810および第2のフレーズ820が所定の時間期間内に受信されていると決定されると、ボイス支援ユニット254は、通知処理ユニット256をアクティブにし、認識されたコマンドを、通知処理ユニット256に提供し得、これは、通知を生成するかどうかを決定し得る。一実施形態では、ボイス支援ユニット254は、認識されたコマンドを通知処理ユニット256に提供すると、非アクティブにされ得る。
[0070]いくつかの実施形態によれば、音声認識ユニット252またはボイス支援ユニット254は、第1の音声フレーズ810および第2の音声フレーズ820の両方を認識し得る。一実施形態では、第1の音声フレーズ810および第2の音声フレーズ820は、任意の順序でまたは順に受信され得、音声認識ユニット252および/またはボイス支援ユニット254は、そのような順序で第1の音声フレーズ810および第2の音声フレーズ820を認識するように構成され得る。たとえば、音声認識ユニット252が、第1の音声フレーズ810は受信または認識しそこない、第2の音声フレーズ820は受信および認識する場合、音声認識ユニット252は、第1の音声フレーズ810を、通知を生成するコマンドとして受信および認識し得る。
[0071]図9は、本開示の一実施形態にかかる、電子デバイスの位置情報を含む通知を、ユーザ110の外部デバイス930に送信するように構成された電子デバイス120を例示する。ここで使用される場合、「外部デバイス」という用語は、電子デバイス120から物理的に離れており、電子デバイス120とワイヤレスに通信する能力がある任意の電子デバイスであり得る。示されるように、ユーザ110は、位置910(たとえば、オフィス)にあり得、電子デバイス120は、位置920(たとえば、家)にあり得るため、電子デバイス120は、ユーザ110によって発せられる音声フレーズを受信または認識することができないであろう。
[0072]例示された実施形態では、ユーザ110は、電子デバイス120を位置特定するために、コマンド(たとえば、通知を生成するための音声フレーズ)を外部デバイス930(たとえば、スマートウォッチ、スマートグラス、等)に入力し得る。それに応答して、外部デバイス930は、入力された音声フレーズを含み得る、通知を生成するよう求める要求を、電子デバイス120にワイヤレスに送信し得る。通信ユニット230を介して、通知を求める要求を受信すると、電子デバイス120中のプロセッサ250は、位置センサ340から位置情報を受信し、この位置情報を、通信ユニット230を介して外部デバイス930にワイヤレスに送信し得る。代替的にまたは追加的に、プロセッサ250は、センサユニット210を介して、または、記憶ユニット240から、電子デバイスの位置を示す任意の他のタイプのコンテキストデータ(たとえば、画像センサ310によってキャプチャされた画像)を受信し、そのようなデータを、電子デバイス120の位置情報として、外部デバイス930に送信し得る。追加的にまたは代替的に、電子デバイス120は、出力ユニット220を介して通知を出力し得る。電子デバイス120の位置情報を受信することに応答して、外部デバイス930は、ユーザ110に対して位置情報を出力し得る。
[0073]追加的にまたは代替的に、外部デバイス930は、電子デバイス120を位置特定するためにユーザ110から音声フレーズを受信し、この音声フレーズを、電子デバイス120を位置特定するコマンドとして認識し得る。認識されたコマンドに応答して、外部デバイス930は、通知を生成するよう求める要求を電子デバイス120に送信し得る。この要求を受信すると、電子デバイス120は、電子デバイス120の位置情報を外部デバイス930に送信し得る。追加的に、電子デバイス120は、電子デバイス120の任意の他のタイプのコンテキストデータを外部デバイス930に送信し得る。このケースでは、外部デバイス930は、電子デバイス120から受信されたコンテキストデータに基づいて、電子デバイス120によって通知が生成されるべきかどうかを決定し得る。通知が生成されるべきであると決定されると、外部デバイス930は、通知を生成するコマンドを電子デバイス120にワイヤレスに送信し得、これは、それに応答して通知を生成および出力し得る。いくつかの実施形態では、外部デバイス930は、1つ以上のセンサを介して外部デバイス930のコンテキストデータを検出するように構成され得る。外部デバイス930の検出されたコンテキストデータに基づいて、外部デバイス930は、電子デバイス120の位置情報を出力するための1つ以上の出力ユニットを選択し、ユーザ110のために、選択された出力ユニットを介して位置情報を出力し得る。
[0074]図10は、本開示の一実施形態にかかる、電子デバイス120をロックまたはロック解除するための、プロセッサ250によって実行される方法のフローチャートを例示する。1010において、通知処理ユニット256は、コンテキストデータに基づいて、通知が生成されるべきであると決定し得る。たとえば、プロセッサ250中の通知処理ユニット256は、1つ以上のタイプのコンテキストデータに基づいて、通知が生成されるべきであると決定し得、これは、電子デバイス120にユーザ110がアクセス不可能である(例えば、紛失中であるまたは置き忘れられている)可能性が高いことを示し得る。通知が生成されるべきであると決定することに応答して、プロセッサ250は、ユーザ110以外のユーザによる電子デバイス120への不正アクセスを防ぐために、1020において、電子デバイス120をロックし得る。1030において、プロセッサ250は、サウンド入力、所定のパターンまたは画像、個人識別番号、パスワード、指紋、等の、ユーザ110を検証するのに適しているユーザ入力を、入力ユニット350、サウンドセンサ130、指紋センサ、および/または画像センサ310を介して受信し得る。ユーザ入力を受信および検証することに応答して、プロセッサ250は、1040において、電子デバイス120をロック解除し得る。一実施形態では、通知が生成されるべきであると決定することに応答して電子デバイス120がロックされているとき、プロセッサ250は、高水準の検証または認証のあるタイプのユーザ入力に基づいて、電子デバイスをロック解除し得る。たとえば、プロセッサ250は、パスコード入力に応答して電子デバイス120をロック解除するのではなく、電子デバイス120をロック解除するためのユーザ入力として、指紋または顔画像を要求し得る。
[0075]図11は、いくつかの実施形態にかかる、コンテキストデータと、通知を生成するコマンドとに基づいて通知を生成するための本開示の方法および装置がインプリメントされ得る電子デバイス1100のブロック図を例示する。電子デバイス1100は、セルラ電話、スマートフォン、ウェアラブルコンピュータ、スマートウォッチ、スマートグラス、タブレットパーソナルコンピュータ、端末、ハンドセット、携帯情報端末(PDA)、コードレス電話、タブレット、等であり得る。ワイヤレス通信システムは、CDMAシステム、GSM(登録商標)システム、W−CDMA(登録商標)システム、LTE(登録商標)システム、LTEアドバンスドシステム、等であり得る。
[0076]電子デバイス1100は、受信径路および送信径路を介して双方向通信を提供する能力があり得る。受信径路上では、基地局によって送信された信号は、アンテナ1112によって受信され得、受信機(RCVR)1114に提供され得る。受信機1114は、受信された信号を調整およびデジタル化し、さらなる処理のために、調整およびデジタル化された信号をデジタルセクションに提供し得る。送信径路上では、送信機(TMTR)1116が、送信されるべきデータをデジタルセクション1120から受信し、このデータを処理および調整し、変調された信号を生成し得、これは、アンテナ1112を介して基地局に送信される。受信機1114および送信機1116は、CDMA、GSM、W−CDMA、LTE、LTEアドバンスト、等をサポートし得るトランシーバの一部であり得る。
[0077]デジタルセクション1120は、たとえば、モデムプロセッサ1122、縮小命令セットコンピュータ/デジタルシグナルプロセッサ(RISC/DSP)1124、コントローラ/プロセッサ1126、内部メモリ1128、汎用オーディオ/ビデオエンコーダ1132、汎用オーディオデコーダ1134、グラフィックス/ディスプレイプロセッサ1136、および外部バスインターフェース(EBI)1138のようなさまざまな処理、インターフェース、およびメモリのユニットを含み得る。モデムプロセッサ1122は、データの送信および受信のための処理、たとえば、符号化、変調、復調、および復号、を実行し得る。RISC/DSP1124は、電子デバイス1100のための汎用および専用の処理を実行し得る。コントローラ/プロセッサ1126は、デジタルセクション1120内のさまざまな処理およびインターフェースユニットの動作を実行し得る。内部メモリ1128は、デジタルセクション1120内のさまざまなユニットのためのデータおよび/または命令を記憶し得る。
[0078]汎用オーディオ/ビデオエンコーダ1132は、オーディオ/ビデオソース1142、マイクロフォン1144、画像センサ1146、等からの入力信号のための符号化を実行し得る。汎用オーディオデコーダ1134は、コード化されたオーディオデータのための復号を実行し、出力信号をスピーカ/ヘッドセット1148に提供し得る。グラフィックス/ディスプレイプロセッサ1136は、グラフィックス、ビデオ、画像、およびテキストのための処理を実行し得、それらは、ディスプレイユニット1150に提示され得る。EBI1138は、デジタルセクション1120とメインメモリ1152との間でのデータの移送を容易にし得る。
[0079]デジタルセクション1120は、1つ以上のプロセッサ、DSP、マイクロプロセッサ、RISC、等を用いてインプリメントされ得る。デジタルセクション1120はまた、1つ以上の特定用途向け集積回路(ASIC)および/または何らかの他のタイプの集積回路(IC)上で製造され得る。
[0080]一般に、ここに説明された任意のデバイスは、ワイヤレス電話、セルラ電話、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ(PC)カード、PDA、外部または内部モデム、ワイヤレスチャネルを通じて通信するデバイス、等のような、さまざまなタイプのデバイスを表し得る。デバイスは、アクセス端末(AT)、アクセスユニット、加入者ユニット、モバイル局、モバイルデバイス、モバイルユニット、モバイル電話、モバイル、リモート局、リモート端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイス、等、さまざまな名称を有し得る。ここで説明された任意のデバイスは、命令およびデータを記憶するためのメモリ、ならびにハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを有し得る。
[0081]ここで説明された技法は、さまざまな手段によってインプリメントされ得る。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せによりインプリメントされ得る。当業者であれば、ここでの開示に関連して説明された実例となるさまざまな論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとしてインプリメントされ得ることをさらに理解するであろう。このハードウェアとソフトウェアとの互換性を明確に例示するために、実例となるさまざまなコンポーネント、ブロック、モジュール、回路、およびステップが、概してそれらの機能性の観点から上で説明されている。このような機能性がハードウェアとしてインプリメントされるかソフトウェアとしてインプリメントされるかは、特定の用途とシステム全体に課せられる設計制約とに依存する。当業者は、説明した機能性を特定の用途ごとにさまざまな方法でインプリメントし得るが、このようなインプリメンテーションの決定は、本開示の範囲からの逸脱をさせるものとして解釈されるべきでない。
[0082]ハードウェアインプリメンテーションの場合、これら技法を実行するために使用される処理ユニットは、1つ以上のASIC、DSP、デジタルシグナル処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、ここで説明された機能を実行するように設計された他の電子ユニット、コンピュータ、またはこれらの組合せ内でインプリメントされ得る。
[0083]ゆえに、ここでの開示に関連して説明された実例となるさまざまな論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAまたは他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいはここで説明された機能を実行するように設計されるこれらの任意の組合せでインプリメントまたは実行され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替的に、プロセッサは、任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPと、1つのマイクロプロセッサ、複数のマイクロプロセッサ、DSPコアに連結した1つ以上のマイクロプロセッサ、または任意の他のそのような構成との組合せとしてインプリメントされ得る。
[0084]ソフトウェアによりインプリメントされる場合、これら機能は、コンピュータ読取可能な媒体上の1つ以上の命令またはコードとして、記憶または送信され得る。コンピュータ読取可能な媒体は、ある箇所から別の箇所へのコンピュータプログラムの移送を容易にする任意の媒体を含む通信媒体およびコンピュータ記憶媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であり得る。限定ではなく例として、このようなコンピュータ読取可能な媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいはデータ構造または命令の形式で所望のプログラムコードを記憶または搬送するために使用されることができ、かつコンピュータによってアクセスされることができる任意の他の媒体を備えることができる。ここで使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスクおよびブルーレイディスクを含み、ディスク(disk)は、通常磁気的にデータを再生し、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。たとえば、コンピュータ読取可能な記憶媒体は、プロセッサによって実行可能な命令を含む、非一時的なコンピュータ読取可能な記憶デバイスであり得る。ゆえに、コンピュータ読取可能な記憶媒体は、信号ではないであろう。
[0085]本開示の先の説明は、当業者による本開示の実行または使用を可能にするために提供される。本開示に対するさまざまな修正は、当業者には容易に明らかとなり、ここで定義された包括的な原理は、本開示の精神または範囲から逸脱することなく他の変形に適用される。ゆえに、本開示は、ここで説明された例に制限されるよう意図されるのではなく、ここで開示された原理および新規な特徴に合致する最も広い範囲が与えられるべきである。
[0086]例示的なインプリメンテーションは、1つ以上のスタンドアローン型コンピュータシステムのコンテキストにおいて、ここに開示された主題事項の態様を利用することについて参照しているが、この主題事項は、それに限定されるのではなく、むしろ、ネットワークまたは分散型コンピューティング環境のような、任意のコンピューティング環境に関連してインプリメントされ得る。さらに、ここに開示された主題事項の態様は、複数の処理チップまたはデバイスにおいてまたはそれらにわたってインプリメントされ得、記憶装置は、複数のデバイスにわたって同様に影響を受け得る。このようなデバイスは、PC、ネットワークサーバ、およびハンドヘルドデバイスを含み得る。
[0087]主題事項は、構造的特徴および/または方法論的動作(act)に固有の言語で説明されてきたが、添付の特許請求の範囲に定義される主題事項が、上で説明したこれら特定の特徴または動作に必ずしも限定されないことは理解されるべきである。むしろ、上で説明したこれら特定の特徴または動作は、特許請求の範囲をインプリメントすることの例となる形として開示される。
[0088]<本開示の態様>
[0089]下文に、本開示のいくつかの態様を付加的に記載する。
[0090](例1)本開示のある態様によれば、音声フレーズを受信することと、プロセッサによって、この音声フレーズを、通知を生成するコマンドとして認識することと、少なくとも1つのセンサによって、電子デバイスのコンテキストデータを検出することと、コンテキストデータとコマンドとに基づいて、プロセッサによって、通知を生成することとを備える、電子デバイスによって通知を生成するための方法が提供される。
[0091](例2)例1の方法において、コンテキストデータを検出することは、ユーザ入力、電子デバイスの移動、タイミング情報、電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づく。
[0092](例3)例2の方法において、通知を生成することは、コンテキストデータに少なくとも基づいて、通知が生成されるべきかどうかを決定することを備える。
[0093](例4)例3の方法において、通知が生成されるべきかどうかを決定することは、通知が生成されるべきであると決定すると、電子デバイスのサイレントモードを非アクティブにすることを備える。
[0094](例5)例3の方法において、通知が生成されるべきかどうかを決定することは、コンテキストデータがユーザ入力を含むことを検出すると、通知が生成されるべきでないと決定することを備える。
[0095](例6)例4の方法において、通知が生成されるべきかどうかを決定することは、タイミング情報が、通知が生成されるべきでない所定の時間期間内であるかどうかを決定すること、または電子デバイスの位置情報が、通知が生成されるべきでない所定の位置に対応するかどうかを決定すること、のうちの少なくとも1つを備える。
[0096](例7)例1の方法において、音声フレーズを受信することは、サウンドセンサによって、第1の音声フレーズおよび第2の音声フレーズを受信することを備え、音声フレーズを、通知を生成するコマンドとして認識することは、第1の音声フレーズおよび第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、音声フレーズを、通知を生成するコマンドとして認識することを備える。
[0097](例8)例7の方法において、音声フレーズを、通知を生成するコマンドとして認識することは、第1の音声フレーズを、電子デバイス中のボイス支援ユニットをアクティブにするコマンドとして、第2の音声フレーズを、通知を生成するコマンドとして認識することを備える。
[0098](例9)例1の方法において、音声フレーズを受信することは、通信ユニットによって、外部デバイスから音声フレーズを受信することを備え、通知を生成することは、通信ユニットによって、電子デバイスの位置情報を外部デバイスに送信することを備える。
[0099](例10)例4の方法において、通知が生成されるべきであると決定することに応答して、電子デバイスへの不正アクセスを防ぐために、電子デバイスをロックすることをさらに含む。
[00100](例11)例10の方法において、ユーザ入力を受信することに応答して、電子デバイスをロック解除することをさらに含む。
[00101](例12)例1の方法において、通知を生成することは、出力ユニットによって、この通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成することを備える。
[00102](例13)本開示のある態様によれば、音声フレーズを受信するように構成されたサウンドセンサと、この音声フレーズを、通知を生成するコマンドとして認識するように構成された音声認識ユニットと、電子デバイスのコンテキストデータを検出するように構成されたセンサユニットと、コンテキストデータとこのコマンドとに基づいて通知を生成するように構成されたプロセッサとを備える、通知を生成するための電子デバイスが提供される。
[00103](例14)例13の電子デバイスは、この通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成するように構成された出力ユニットをさらに含む。
[00104](例15)例13の電子デバイスにおいて、センサユニットは、ユーザ入力、電子デバイスの移動、タイミング情報、電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づいて、コンテキストデータを検出するようにさらに構成される。
[00105](例16)例15の電子デバイスにおいて、プロセッサは、コンテキストデータに少なくとも基づいて、通知が生成されるべきかどうかを決定するように構成された通知処理ユニットをさらに備える。
[00106](例17)例16の電子デバイスにおいて、通知処理ユニットは、コンテキストデータがユーザ入力を含むことを検出すると、通知が生成されるべきでないと決定すること、タイミング情報が、通知が生成されるべきでない所定の時間期間内であるかどうかを決定すること、または電子デバイスの位置情報が、通知が生成されるべきでない所定の位置に対応するかどうかを決定すること、のうちの少なくとも1つに基づいて、通知が生成されるべきかどうかを決定するようにさらに構成される。
[00107](例18)例13の電子デバイスにおいて、サウンドセンサは、第1の音声フレーズおよび第2の音声フレーズを音声フレーズとして受信するようにさらに構成され、音声認識ユニットは、第1の音声フレーズおよび第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、音声フレーズを、通知を生成するコマンドとして認識するようにさらに構成される。
[00108](例19)例18の電子デバイスは、ボイス支援ユニットをさらに含み、ここで、音声認識ユニットは、第1の音声フレーズを、ボイス支援ユニットをアクティブにするコマンドとして認識するようにさらに構成され、ボイス支援ユニットは、第2の音声フレーズを、通知を生成するコマンドとして認識するように構成される。
[00109](例20)例13の電子デバイスは、外部デバイスから音声フレーズを受信し、電子デバイスの位置情報を外部デバイスに送信するように構成された通信ユニットをさらに含む。
[00110](例21)例16の電子デバイスにおいて、電子デバイスは、通知が生成されるべきであると決定することに応答して、電子デバイスへの不正アクセスを防ぐために、電子デバイスをロックすること、またはユーザ入力を受信することに応答して、電子デバイスをロック解除すること、のうちの少なくとも1つを実行するようにさらに構成される。
[00111](例22)音声フレーズを受信することと、この音声フレーズを、通知を生成するコマンドとして認識することと、少なくとも1つのセンサを介して、電子デバイスのコンテキストデータを検出することと、コンテキストデータとこのコマンドとに基づいて通知を生成することとの動作を電子デバイスの少なくとも1つのプロセッサに行わせる命令を備える非一時的なコンピュータ読取可能な記憶媒体。
[00112](例23)例22の非一時的なコンピュータ読取可能な記憶媒体において、コンテキストデータを検出することは、ユーザ入力、電子デバイスの移動、タイミング情報、電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づく。
[00113](例24)例23の非一時的なコンピュータ読取可能な記憶媒体において、通知を生成することは、コンテキストデータに少なくとも基づいて、通知が生成されるべきかどうかを決定することを備える。
[00114](例25)例24の非一時的なコンピュータ読取可能な記憶媒体において、通知が生成されるべきかどうかを決定することは、コンテキストデータがユーザ入力を含むことを検出すると、通知が生成されるべきでないと決定すること、タイミング情報が、通知が生成されるべきでない所定の時間期間内であるかどうかを決定すること、または電子デバイスの位置情報が、通知が生成されるべきでない所定の位置に対応するかどうかを決定すること、のうちの少なくとも1つを備える。
[00115](例26)例22の非一時的なコンピュータ読取可能な記憶媒体において、サウンドセンサを介して音声フレーズを受信することは、第1の音声フレーズおよび第2の音声フレーズを受信することを備え、音声フレーズを、通知を生成するコマンドとして認識することは、第1の音声フレーズおよび第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、音声フレーズを、通知を生成するコマンドとして認識することを備える。
[00116](例27)例26の非一時的なコンピュータ読取可能な記憶媒体において、音声フレーズを、通知を生成するコマンドとして認識することは、第1の音声フレーズを、電子デバイス中のボイス支援ユニットをアクティブにするコマンドとして、第2の音声フレーズを、通知を生成するコマンドとして認識することを備える。
[00117](例28)例22の非一時的なコンピュータ読取可能な記憶媒体において、音声フレーズを受信することは、通信ユニットを介して、外部デバイスから音声フレーズ受信することを備え、通知を生成することは、通信ユニットを介して、電子デバイスの位置情報を外部デバイスに送信することを備える。
[00118](例29)例24の非一時的なコンピュータ読取可能な記憶媒体において、通知が生成されるべきであると決定することに応答して、電子デバイスへの不正アクセスを防ぐために、電子デバイスをロックすること、またはユーザ入力を受信することに応答して、電子デバイスをロック解除すること、のうちの少なくとも1つの動作を実行することを、電子デバイスの少なくとも1つのプロセッサに行わせる命令をさらに含む。
[00119](例30)例22の非一時的なコンピュータ読取可能な記憶媒体において、通知を生成することは、出力ユニットを介して、この通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成することを備える。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
電子デバイスによって通知を生成するための方法であって、
音声フレーズを受信することと、
プロセッサによって、前記音声フレーズを、前記通知を生成するコマンドとして認識することと、
少なくとも1つのセンサによって、前記電子デバイスのコンテキストデータを検出することと、
前記プロセッサによって、前記コンテキストデータと前記コマンドとに基づいて前記通知を生成することと
を備える方法。
[C2]
前記コンテキストデータを検出することは、ユーザ入力、前記電子デバイスの移動、タイミング情報、前記電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づく、C1に記載の方法。
[C3]
前記通知を生成することは、前記コンテキストデータに少なくとも基づいて、前記通知が生成されるべきかどうかを決定することを備える、C2に記載の方法。
[C4]
前記通知が生成されるべきかどうかを決定することは、前記通知が生成されるべきであると決定すると、前記電子デバイスのサイレントモードを非アクティブにすることを備える、C3に記載の方法。
[C5]
前記通知が生成されるべきかどうかを決定することは、前記コンテキストデータが前記ユーザ入力を含むことを検出すると、前記通知が生成されるべきでないと決定することを備える、C3に記載の方法。
[C6]
前記通知が生成されるべきかどうかを決定することは、
前記タイミング情報が、前記通知が生成されるべきでない所定の時間期間内であるかどうかを決定すること、または
前記電子デバイスの前記位置情報が、前記通知が生成されるべきでない所定の位置に対応するかどうかを決定すること
のうちの少なくとも1つを備える、C4に記載の方法。
[C7]
音声フレーズを受信することは、サウンドセンサによって、第1の音声フレーズおよび第2の音声フレーズを受信することを備え、
前記音声フレーズを、前記通知を生成するコマンドとして認識することは、前記第1の音声フレーズおよび前記第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、前記音声フレーズを、前記通知を生成する前記コマンドとして認識することを備える、
C1に記載の方法。
[C8]
前記音声フレーズを、前記通知を生成するコマンドとして認識することは、前記第1の音声フレーズを、前記電子デバイス中のボイス支援ユニットをアクティブにするコマンドとして、前記第2の音声フレーズを、前記通知を生成する前記コマンドとして認識することを備える、C7に記載の方法。
[C9]
音声フレーズを受信することは、通信ユニットによって、外部デバイスから前記音声フレーズを受信することを備え、
前記通知を生成することは、前記通信ユニットによって、前記電子デバイスの位置情報を前記外部デバイスに送信することを備える、
C1に記載の方法。
[C10]
前記通知が生成されるべきであると決定することに応答して、前記電子デバイスへの不正アクセスを防ぐために、前記電子デバイスをロックすること
をさらに備える、C4に記載の方法。
[C11]
ユーザ入力を受信することに応答して、前記電子デバイスをロック解除することをさらに備える、C10に記載の方法。
[C12]
前記通知を生成することは、出力ユニットによって、前記通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成することを備える、C1に記載の方法。
[C13]
通知を生成するための電子デバイスであって、
音声フレーズを受信するように構成されたサウンドセンサと、
前記音声フレーズを、前記通知を生成するコマンドとして認識するように構成された音声認識ユニットと、
前記電子デバイスのコンテキストデータを検出するように構成されたセンサユニットと、
前記コンテキストデータと前記コマンドとに基づいて前記通知を生成するように構成されたプロセッサと
を備える電子デバイス。
[C14]
前記通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成するように構成された出力ユニットをさらに備える、C13に記載の電子デバイス。
[C15]
前記センサユニットは、ユーザ入力、前記電子デバイスの移動、タイミング情報、前記電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づいて、前記コンテキストデータを検出するようにさらに構成される、C13に記載の電子デバイス。
[C16]
前記プロセッサは、前記コンテキストデータに少なくとも基づいて、前記通知が生成されるべきかどうかを決定するように構成された通知処理ユニットを備える、C15に記載の電子デバイス。
[C17]
前記通知処理ユニットは、
前記コンテキストデータが前記ユーザ入力を含むことを検出しると、前記通知が生成されるべきでないと決定すること、
前記タイミング情報が、前記通知が生成されるべきでない所定の時間期間内であるかどうかを決定すること、または
前記電子デバイスの前記位置情報が、前記通知が生成されるべきでない所定の位置に対応するかどうかを決定すること
のうちの少なくとも1つに基づいて、前記通知が生成されるべきかどうかを決定するようにさらに構成される、C16に記載の電子デバイス。
[C18]
前記サウンドセンサは、第1の音声フレーズおよび第2の音声フレーズを前記音声フレーズとして受信するようにさらに構成され、
前記音声認識ユニットは、前記第1の音声フレーズおよび前記第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、前記音声フレーズを、前記通知を生成するコマンドとして認識するようにさらに構成される、
C13に記載の電子デバイス。
[C19]
ボイス支援ユニットをさらに備え、
ここにおいて、前記音声認識ユニットは、前記第1の音声フレーズを、前記ボイス支援ユニットをアクティブにするコマンドとして認識するようにさらに構成され、
前記ボイス支援ユニットは、前記第2の音声フレーズを、前記通知を生成する前記コマンドとして認識するように構成される、
C18に記載の電子デバイス。
[C20]
外部デバイスから前記音声フレーズを受信し、前記電子デバイスの位置情報を前記外部デバイスに送信するように構成された通信ユニット
をさらに備える、C13に記載の電子デバイス。
[C21]
前記電子デバイスは、
前記通知が生成されるべきであると決定することに応答して、前記電子デバイスへの不正アクセスを防ぐために、前記電子デバイスをロックすること、または
ユーザ入力を受信することに応答して、前記電子デバイスをロック解除すること
のうちの少なくとも1つを実行するようにさらに構成される、C16に記載の電子デバイス。
[C22]
非一時的なコンピュータ読取可能な記憶媒体であって、
音声フレーズを受信することと、
前記音声フレーズを、通知を生成するコマンドとして認識することと、
少なくとも1つのセンサを介して、電子デバイスのコンテキストデータを検出することと、
前記コンテキストデータと前記コマンドとに基づいて前記通知を生成することと
の動作を前記電子デバイスの少なくとも1つのプロセッサに実行させる命令を備える非一時的なコンピュータ読取可能な記憶媒体。
[C23]
前記コンテキストデータを検出することは、ユーザ入力、前記電子デバイスの移動、タイミング情報、前記電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づく、C22に記載の非一時的なコンピュータ読取可能な記憶媒体。
[C24]
前記通知を生成することは、前記コンテキストデータに少なくとも基づいて、前記通知が生成されるべきかどうかを決定することを備える、C23に記載の非一時的なコンピュータ読取可能な記憶媒体。
[C25]
前記通知が生成されるべきかどうかを決定することは、
前記コンテキストデータが前記ユーザ入力を含むことを検出すると、前記通知が生成されるべきでないと決定すること、
前記タイミング情報が、前記通知が生成されるべきでない所定の時間期間内であるかどうかを決定すること、または
前記電子デバイスの前記位置情報が、前記通知が生成されるべきでない所定の位置に対応するかどうかを決定すること
のうちの少なくとも1つを備える、C24に記載の非一時的なコンピュータ読取可能な記憶媒体。
[C26]
サウンドセンサを介して音声フレーズを受信することは、第1の音声フレーズおよび第2の音声フレーズを受信することを備え、
前記音声フレーズを、前記通知を生成するコマンドとして認識することは、前記第1の音声フレーズおよび前記第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、前記音声フレーズを、前記通知を生成する前記コマンドとして認識することを備える、
C22に記載の非一時的なコンピュータ読取可能な記憶媒体。
[C27]
前記音声フレーズを、前記通知を生成するコマンドとして認識することは、前記第1の音声フレーズを、前記電子デバイス中のボイス支援ユニットをアクティブにするコマンドとして、前記第2の音声フレーズを、前記通知を生成する前記コマンドとして認識することを備える、C26に記載の非一時的なコンピュータ読取可能な記憶媒体。
[C28]
音声フレーズを受信することは、通信ユニットを介して、外部デバイスから前記音声フレーズを受信することを備え、
前記通知を生成することは、前記通信ユニットを介して、前記電子デバイスの位置情報を前記外部デバイスに送信することを備える、
C22に記載の非一時的なコンピュータ読取可能な記憶媒体。
[C29]
前記通知が生成されるべきであると決定することに応答して、前記電子デバイスへの不正アクセスを防ぐために、前記電子デバイスをロックすること、または
ユーザ入力を受信することに応答して、前記電子デバイスをロック解除すること
のうちの少なくとも1つの動作を実行することを、前記電子デバイスの前記少なくとも1つのプロセッサに行わせる命令をさらに備える、C24に記載の非一時的なコンピュータ読取可能な記憶媒体。
[C30]
前記通知を生成することは、出力ユニットを介して、前記通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成することを備える、C22に記載の非一時的なコンピュータ読取可能な記憶媒体。

Claims (30)

  1. 電子デバイスによって、ユーザが前記電子デバイスを見つけることを支援するための通知を生成するための方法であって、
    音声フレーズを受信することと、
    プロセッサによって、前記音声フレーズを、前記通知を生成するコマンドとして認識することと、
    少なくとも1つのセンサによって、前記電子デバイスのコンテキストデータを検出することと、
    前記コンテキストデータに関連付けられたコンテキストスコアを決定することと、
    前記プロセッサによって、前記認識されたコマンドに応答して、前記コンテキストスコアとしきい値との比較に少なくとも基づいて、前記通知を生成するかどうかを決定することと、
    前記比較に基づいて前記通知を生成することと
    を備える方法。
  2. 前記コンテキストデータを検出することは、ユーザ入力、前記電子デバイスの移動、タイミング情報、前記電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づく、請求項1に記載の方法。
  3. 前記通知を生成するかどうかを決定することは、前記電子デバイスの前記位置情報が、前記通知が生成されるべきでない位置に対応するかどうかを決定することを備える、請求項2に記載の方法。
  4. 前記通知を生成するかどうかを決定することは、前記通知が生成されるべきであると決定すると、前記電子デバイスのサイレントモードを非アクティブにすることを備える、請求項1に記載の方法。
  5. 前記通知を生成するかどうかを決定することは、前記コンテキストデータがユーザ入力を含むかどうかを決定することを備える、請求項1に記載の方法。
  6. 前記通知を生成するかどうかを決定することは、前記タイミング情報が、特定の時間期間外であるかどうかを決定することを備える、請求項2に記載の方法。
  7. 音声フレーズを受信することは、サウンドセンサによって、第1の音声フレーズおよび第2の音声フレーズを受信することを備え、
    前記音声フレーズは、前記第1の音声フレーズおよび前記第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、前記通知を生成する前記コマンドとして認識される
    請求項1に記載の方法。
  8. 前記音声フレーズを、前記通知を生成するコマンドとして認識することは、前記第1の音声フレーズを、前記電子デバイス中のボイス支援ユニットをアクティブにするコマンドとして、前記第2の音声フレーズを、前記通知を生成する前記コマンドとして認識することを備える、請求項7に記載の方法。
  9. 音声フレーズを受信することは、通信ユニットによって、外部デバイスから前記音声フレーズを受信することを備え、
    前記通知を生成することは、前記比較に基づいて、前記通信ユニットによって、前記電子デバイスの位置情報を前記外部デバイスに送信することである、
    請求項1に記載の方法。
  10. 前記通知が生成されるべきであると決定することに応答して、前記電子デバイスをロックすること、または、ユーザ入力を受信することに応答して、前記電子デバイスをロック解除すること
    をさらに備える、請求項4に記載の方法。
  11. 前記コンテキストデータに対するコンテキスト値を決定することと、
    前記コンテキスト値に重み値を掛けることで、前記コンテキストスコアを算出することと
    をさらに備える、請求項10に記載の方法。
  12. 前記通知を生成することは、出力ユニットによって、前記通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成することを備える、請求項1に記載の方法。
  13. ユーザが電子デバイスを見つけることを支援するための通知を生成するための前記電子デバイスであって、
    音声フレーズを受信するように構成されたサウンドセンサと、
    前記音声フレーズを、前記通知を生成するコマンドとして認識するように構成された音声認識ユニットと、
    前記電子デバイスのコンテキストデータを検出するように構成されたセンサユニットと、
    前記コンテキストデータに関連付けられたコンテキストスコアを決定することと、前記認識されたコマンドに応答して、前記コンテキストスコアとしきい値との比較に少なくとも基づいて、前記通知を生成するかどうかを決定することとを行うように構成されたプロセッサと、
    前記比較に基づいて前記通知を生成するように構成された出力ユニットと
    を備える電子デバイス。
  14. 前記出力ユニットは、可聴サウンド、振動、または可視光のうちの少なくとも1つを生成するように構成される、請求項13に記載の電子デバイス。
  15. 前記センサユニットは、ユーザ入力、前記電子デバイスの移動、タイミング情報、前記電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づいて、前記コンテキストデータを検出するようにさらに構成される、請求項13に記載の電子デバイス。
  16. 前記プロセッサは、
    前記コンテキストデータに対するコンテキスト値を決定することと、
    前記コンテキスト値に重み値を掛けることで、前記コンテキストスコアを算出することと
    を行うようにさらに構成される、請求項15に記載の電子デバイス。
  17. 前記プロセッサは、
    前記コンテキストデータが前記ユーザ入力を含むことを検出すると、前記通知が生成されるべきでないと決定すること、
    前記タイミング情報が、特定の時間期間外であるかどうかを決定すること、または
    前記電子デバイスの前記位置情報が、前記通知が生成されるべきでない位置に対応するかどうかを決定すること
    のうちの少なくとも1つに基づいて、前記通知を生成するかどうかを決定するようにさらに構成される、請求項15に記載の電子デバイス。
  18. 前記サウンドセンサは、第1の音声フレーズおよび第2の音声フレーズを前記音声フレーズとして受信するようにさらに構成され、
    前記音声認識ユニットは、前記第1の音声フレーズおよび前記第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、前記音声フレーズを、前記通知を生成するコマンドとして認識するようにさらに構成される、
    請求項13に記載の電子デバイス。
  19. ボイス支援ユニットをさらに備え、
    ここにおいて、前記音声認識ユニットは、前記第1の音声フレーズを、前記ボイス支援ユニットをアクティブにするコマンドとして認識するようにさらに構成され、
    前記ボイス支援ユニットは、前記第2の音声フレーズを、前記通知を生成する前記コマンドとして認識するように構成される、
    請求項18に記載の電子デバイス。
  20. 前記電子デバイスの位置情報を外部デバイスに送信するように構成された通信ユニット をさらに備える、請求項13に記載の電子デバイス。
  21. 前記電子デバイスは、
    前記通知が生成されるべきであると決定することに応答して、前記電子デバイスをロックすること、または
    ユーザ入力を受信することに応答して、前記電子デバイスをロック解除すること
    のうちの少なくとも1つを実行するようにさらに構成される、請求項16に記載の電子デバイス。
  22. 非一時的なコンピュータ読取可能な記憶媒体であって、
    音声フレーズを受信することと、
    前記音声フレーズを、ユーザが電子デバイスを見つけることを支援するための通知を生成するコマンドとして認識することと、
    少なくとも1つのセンサを介して、前記電子デバイスのコンテキストデータを検出することと、
    前記コンテキストデータに関連付けられたコンテキストスコアを決定することと、
    前記認識されたコマンドに応答して、前記コンテキストスコアとしきい値との比較に少なくとも基づいて、前記通知を生成するかどうかを決定することと、
    前記比較に基づいて前記通知を生成することと
    の動作を実行することを、前記電子デバイスの少なくとも1つのプロセッサに行わせるように実行可能な命令を備える非一時的なコンピュータ読取可能な記憶媒体。
  23. 前記コンテキストデータを検出することは、ユーザ入力、前記電子デバイスの移動、タイミング情報、前記電子デバイスの位置情報、周辺光値、および入力サウンドのうちの1つに少なくとも基づく、請求項22に記載の非一時的なコンピュータ読取可能な記憶媒体。
  24. 前記コンテキストデータに対するコンテキスト値を決定することと、
    前記コンテキスト値に重み値を掛けることで、前記コンテキストスコアを算出することと
    をさらに備える、請求項23に記載の非一時的なコンピュータ読取可能な記憶媒体。
  25. 前記通知を生成するかどうかを決定することは、
    前記コンテキストデータが前記ユーザ入力を含むことを検出すると、前記通知が生成されるべきでないと決定すること、
    前記タイミング情報が、特定の時間期間外であるかどうかを決定すること、または
    前記電子デバイスの前記位置情報が、前記通知が生成されるべきでない位置に対応するかどうかを決定すること
    のうちの少なくとも1つを備える、請求項23に記載の非一時的なコンピュータ読取可能な記憶媒体。
  26. サウンドセンサを介して音声フレーズを受信することは、第1の音声フレーズおよび第2の音声フレーズを受信することを備え、
    前記音声フレーズは、前記第1の音声フレーズおよび前記第2の音声フレーズが所定の時間期間内に受信されると決定することに応答して、前記通知を生成する前記コマンドとして認識される、
    請求項22に記載の非一時的なコンピュータ読取可能な記憶媒体。
  27. 前記第1の音声フレーズは、前記電子デバイス中のボイス支援ユニットをアクティブにするコマンドを備え、前記第2の音声フレーズは、前記通知を生成する前記コマンドを備える、請求項26に記載の非一時的なコンピュータ読取可能な記憶媒体。
  28. 前記通知を生成することは、前記比較に基づいて、通信ユニットを介して、前記電子デバイスの位置情報を外部デバイスに送信することである、
    請求項22に記載の非一時的なコンピュータ読取可能な記憶媒体。
  29. 前記通知が生成されるべきであると決定することに応答して、前記電子デバイスをロックすること、または
    ユーザ入力を受信することに応答して、前記電子デバイスをロック解除すること
    のうちの少なくとも1つの動作を実行することを、前記電子デバイスの前記少なくとも1つのプロセッサに行わせるように実行可能な命令をさらに備える、請求項24に記載の非一時的なコンピュータ読取可能な記憶媒体。
  30. 前記通知を生成することは、出力ユニットを介して、前記通知を示す可聴サウンド、振動、または可視光のうちの少なくとも1つを生成することを備える、請求項22に記載の非一時的なコンピュータ読取可能な記憶媒体。
JP2018527997A 2015-12-01 2016-10-26 ユーザからの音声フレーズに応答してのコンテキストデータに基づいた電子デバイスによる通知の生成 Active JP6585300B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/956,180 US9946862B2 (en) 2015-12-01 2015-12-01 Electronic device generating notification based on context data in response to speech phrase from user
US14/956,180 2015-12-01
PCT/US2016/058920 WO2017095560A1 (en) 2015-12-01 2016-10-26 Electronic device generating notification based on context data in response to speech phrase from user

Publications (2)

Publication Number Publication Date
JP2018537714A JP2018537714A (ja) 2018-12-20
JP6585300B2 true JP6585300B2 (ja) 2019-10-02

Family

ID=57321405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018527997A Active JP6585300B2 (ja) 2015-12-01 2016-10-26 ユーザからの音声フレーズに応答してのコンテキストデータに基づいた電子デバイスによる通知の生成

Country Status (11)

Country Link
US (1) US9946862B2 (ja)
EP (3) EP3384489B1 (ja)
JP (1) JP6585300B2 (ja)
KR (1) KR101921037B1 (ja)
CN (1) CN108292503B (ja)
BR (1) BR112018010876A2 (ja)
ES (1) ES2842181T3 (ja)
HK (1) HK1251075A1 (ja)
SG (1) SG11201803050PA (ja)
TW (1) TWI647590B (ja)
WO (1) WO2017095560A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US11392580B2 (en) * 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP2016218852A (ja) * 2015-05-22 2016-12-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
KR20180037543A (ko) * 2016-10-04 2018-04-12 삼성전자주식회사 음성 인식 전자 장치
US11276395B1 (en) * 2017-03-10 2022-03-15 Amazon Technologies, Inc. Voice-based parameter assignment for voice-capturing devices
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179549B1 (en) * 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10599391B2 (en) * 2017-11-06 2020-03-24 Google Llc Parsing electronic conversations for presentation in an alternative interface
CN108022586B (zh) 2017-11-30 2019-10-18 百度在线网络技术(北京)有限公司 用于控制页面的方法和装置
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11094316B2 (en) * 2018-05-04 2021-08-17 Qualcomm Incorporated Audio analytics for natural language processing
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
JP2019204025A (ja) * 2018-05-24 2019-11-28 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
JP7055722B2 (ja) 2018-08-27 2022-04-18 京セラ株式会社 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム
JP2020052445A (ja) * 2018-09-21 2020-04-02 シャープ株式会社 発話装置、サーバ、制御システム、制御方法、およびプログラム
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11205433B2 (en) * 2019-08-21 2021-12-21 Qualcomm Incorporated Method and apparatus for activating speech recognition
CN110648645A (zh) * 2019-09-27 2020-01-03 北京小米移动软件有限公司 带屏电子设备控制方法、装置及控制系统
US11664044B2 (en) 2019-11-25 2023-05-30 Qualcomm Incorporated Sound event detection learning
JP7482640B2 (ja) 2020-02-05 2024-05-14 キヤノン株式会社 音声入力装置およびその制御方法ならびにプログラム
CN111354360A (zh) * 2020-03-17 2020-06-30 北京百度网讯科技有限公司 语音交互处理方法、装置和电子设备
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US20220028245A1 (en) * 2020-07-21 2022-01-27 Rai Strategic Holdings, Inc. Aerosol Generation Device Locator
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11410677B2 (en) 2020-11-24 2022-08-09 Qualcomm Incorporated Adaptive sound event classification
US11749287B2 (en) * 2021-04-09 2023-09-05 Qualcomm Incorporated Device finder using voice authentication

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888727B2 (ja) * 1997-04-15 2007-03-07 三菱電機株式会社 音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置
JP2002057749A (ja) * 2000-08-09 2002-02-22 Denso Corp 携帯形通信装置
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
JP4429691B2 (ja) * 2003-11-07 2010-03-10 クラリオン株式会社 車載用音響装置、車載用音響装置の制御方法、車載用音響装置の制御プログラム、及び記録媒体
US9042921B2 (en) * 2005-09-21 2015-05-26 Buckyball Mobile Inc. Association of context data with a voice-message component
JP2009124188A (ja) * 2006-01-30 2009-06-04 Nec Corp 携帯端末、携帯端末の紛失通知方法、および紛失通知プログラム
US8587402B2 (en) * 2008-03-07 2013-11-19 Palm, Inc. Context aware data processing in mobile computing device
JP2010098356A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 携帯端末
US9076125B2 (en) * 2009-02-27 2015-07-07 Microsoft Technology Licensing, Llc Visualization of participant relationships and sentiment for electronic messaging
US8423508B2 (en) * 2009-12-04 2013-04-16 Qualcomm Incorporated Apparatus and method of creating and utilizing a context
US8854318B2 (en) * 2010-09-01 2014-10-07 Nokia Corporation Mode switching
JP2012070085A (ja) * 2010-09-21 2012-04-05 Ntt Docomo Inc 携帯端末及びプログラム
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8594737B2 (en) 2011-04-06 2013-11-26 Blackberry Limited System and method for locating a misplaced mobile device
US20130324071A1 (en) * 2012-06-04 2013-12-05 Yeung Hwae Huh Modifying alert modes for electronic devices
US9348607B2 (en) * 2012-06-07 2016-05-24 Apple Inc. Quiet hours for notifications
JP2014036360A (ja) * 2012-08-09 2014-02-24 Sharp Corp 電子機器、電子機器の制御方法、および制御プログラム
US9721587B2 (en) * 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
US9854084B2 (en) 2013-03-06 2017-12-26 Google Llc Contextual alarm and notification management
AU2014251347B2 (en) 2013-03-15 2017-05-18 Apple Inc. Context-sensitive handling of interruptions
WO2014165470A1 (en) 2013-04-03 2014-10-09 Qmotion Incorporated System and method for wireless voice activation of motorized window coverings
US10145579B2 (en) * 2013-05-01 2018-12-04 Honeywell International Inc. Devices and methods for interacting with a control system that is connected to a network
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
US9892729B2 (en) * 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
US9767672B2 (en) 2013-06-14 2017-09-19 Ebay Inc. Mobile device self-identification system
US9240182B2 (en) * 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US8938394B1 (en) * 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
JP2015148648A (ja) * 2014-02-04 2015-08-20 シャープ株式会社 対話システム、発話制御装置、対話装置、発話制御方法、発話制御装置の制御プログラム、および、対話装置の制御プログラム
US20150249718A1 (en) * 2014-02-28 2015-09-03 Chris Huybregts Performing actions associated with individual presence
US9430186B2 (en) * 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
US9966079B2 (en) * 2014-03-24 2018-05-08 Lenovo (Singapore) Pte. Ltd. Directing voice input based on eye tracking
US10770075B2 (en) 2014-04-21 2020-09-08 Qualcomm Incorporated Method and apparatus for activating application by speech input
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9696801B2 (en) * 2014-06-26 2017-07-04 Thomas Alan Donaldson Eye-controlled user interface to control an electronic device
US10515081B2 (en) * 2014-12-11 2019-12-24 Facebook, Inc. User-aware notification delivery
US10274911B2 (en) * 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model

Also Published As

Publication number Publication date
KR101921037B1 (ko) 2018-11-21
TW201729039A (zh) 2017-08-16
US20170154176A1 (en) 2017-06-01
JP2018537714A (ja) 2018-12-20
ES2842181T3 (es) 2021-07-13
CN108292503B (zh) 2019-06-14
EP3384489A1 (en) 2018-10-10
KR20180066251A (ko) 2018-06-18
SG11201803050PA (en) 2018-06-28
BR112018010876A2 (pt) 2018-11-21
US9946862B2 (en) 2018-04-17
WO2017095560A1 (en) 2017-06-08
EP4350691A1 (en) 2024-04-10
HK1251075A1 (zh) 2019-01-18
EP3757989A1 (en) 2020-12-30
TWI647590B (zh) 2019-01-11
EP3384489B1 (en) 2020-09-23
CN108292503A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
JP6585300B2 (ja) ユーザからの音声フレーズに応答してのコンテキストデータに基づいた電子デバイスによる通知の生成
US9916431B2 (en) Context-based access verification
KR102317608B1 (ko) 음성 보조 기능을 활성화하는 검출 임계값을 조정하는 방법 및 장치
US11217084B2 (en) Mobile device self-identification system
EP2829087B1 (en) Controlling applications in a mobile device based on the environmental context
US20150249718A1 (en) Performing actions associated with individual presence
US10334100B2 (en) Presence-based device mode modification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180705

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180705

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190904

R150 Certificate of patent or registration of utility model

Ref document number: 6585300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250