JP2014517939A - モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること - Google Patents

モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること Download PDF

Info

Publication number
JP2014517939A
JP2014517939A JP2014512870A JP2014512870A JP2014517939A JP 2014517939 A JP2014517939 A JP 2014517939A JP 2014512870 A JP2014512870 A JP 2014512870A JP 2014512870 A JP2014512870 A JP 2014512870A JP 2014517939 A JP2014517939 A JP 2014517939A
Authority
JP
Japan
Prior art keywords
audio
audio data
subset
continuous
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014512870A
Other languages
English (en)
Other versions
JP5937202B2 (ja
Inventor
グロコップ、レオナルド・エイチ.
ナラヤナン、ビドゥヤ
ドルター、ジェームズ・ダブリュ.
ナンダ、サンジブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014517939A publication Critical patent/JP2014517939A/ja
Application granted granted Critical
Publication of JP5937202B2 publication Critical patent/JP5937202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

オーディオデータを使用したコンテキストアウェアネスアプリケーションによってコンテキスト判断が行われる前に、オーディオデータ中の音声を不明瞭にするためにモバイルデバイスのハードウェアおよび/またはソフトウェアを使用するための技法を開示する。特に、収集されたオーディオから音声(単語、句および文)が確実に再構成され得ないように、連続オーディオストリームのサブセットがキャプチャされる。サブセットはオーディオ特性について分析され、周囲環境に関する判断が行われ得る。

Description

関連出願の相互参照
本出願は、そのすべてがすべての目的のために参照により本明細書に組み込まれる、2011年5月23日に出願された「PRESERVING AUDIO DATA COLLECTION PRIVACY IN MOBILE DEVICES」と題する米国仮特許出願第61/488,927号、代理人整理番号第111174P1号の優先権を主張する。本出願はまた、そのすべてがすべての目的のために参照により本明細書に組み込まれる、2011年8月19日に出願された「PRESERVING AUDIO DATA COLLECTION PRIVACY IN MOBILE DEVICES」と題する米国特許出願第13/213,294号、代理人整理番号第111174号の優先権を主張する。
モバイルデバイスは、今日の社会において信じられないほど普及している。たとえば、人々は、セルラーフォン、スマートフォン、携帯情報端末、ラップトップコンピュータ、ページャ、タブレットコンピュータなどを使用して、無数のロケーションからデータをワイヤレスに送信および受信する。さらに、ワイヤレス通信技術の進歩は、今日のモバイルデバイスの汎用性を大幅に高め、ユーザは、従来は複数のデバイスまたはより大きい非ポータブル機器のいずれかを必要とした広範囲のタスクを単一のポータブルデバイスから実行することが可能になった。
たとえば、モバイルデバイスは、コンテキスト判断と呼ばれるプロセスを通して、モバイルデバイスユーザがどんな環境(たとえば、レストラン、車、公園、空港など)にあり得るかを判断するように構成され得る。そのようなコンテキスト判断を実行するコンテキストアウェアネスアプリケーションは、GPS、WiFiおよびBlueTooth(登録商標)など、モバイルデバイスのセンサー入力からの情報を利用することによってモバイルデバイスの環境を判断しようとする。多くのシナリオでは、モバイルデバイスのマイクロフォンからのオーディオを分類することは、コンテキスト判断を行う際に極めて有益であるが、音声を含み得るオーディオを収集するプロセスはプライバシー問題を引き起こすことがある。
本明細書で開示する技法は、オーディオデータを使用したコンテキストアウェアネスアプリケーションによってコンテキスト判断が行われる前に、オーディオデータ中の音声を不明瞭にするためにモバイルデバイスのハードウェアおよび/またはソフトウェアを使用することを提供する。特に、収集されたオーディオから音声(単語、句および文)が確実に再構成され得ないように、連続オーディオストリームのサブセットがキャプチャされる。サブセットはオーディオ特性について分析され、周囲環境に関する判断が行われ得る。
いくつかの実施形態では、プライバシー敏感オーディオ分析の方法を提示する。本方法は、連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることを含み得る。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。本方法は、オーディオ特性についてオーディオデータのサブセットを分析することを含み得る。本方法は、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことを含み得る。
そのような方法の実施形態は、以下のうちの1つまたは複数を含み得る。オーディオデータのサブセットは、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数を備え得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。本方法は、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことを含み得る。複数のオーディオデータセグメントは、30ms〜100msの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが250ms〜2sであり得る。本方法は、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更することを含み得る。複数のオーディオデータセグメントの順序をランダムに変更することは、地球測位システム(GPS)デバイスと、モバイルデバイス内の回路からの信号雑音と、マイクロフォンからの信号雑音と、アンテナからの信号雑音とのうちの1つからの情報に少なくとも部分的に基づき得る。
いくつかの実施形態では、プライバシー敏感オーディオを不明瞭にするためのデバイスを提示する。本デバイスはマイクロフォンを含み得る。本デバイスは、マイクロフォンに通信可能に結合された処理ユニットを含み得る。処理ユニットは、マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするように構成され得る。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。処理ユニットは、オーディオ特性についてオーディオデータのサブセットを分析するように構成され得る。処理ユニットは、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うように構成され得る。
そのようなデバイスの実施形態は、以下のうちの1つまたは複数を含み得る。オーディオデータのサブセットは、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数を備え得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。処理ユニットは、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成され得る。複数のオーディオデータセグメントの各々は、30ms〜100msの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが250ms〜2sであり得る。処理ユニットは、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更するようにさらに構成される。複数のオーディオデータセグメントの順序をランダムに変更することは、地球測位システム(GPS)デバイスと、モバイルデバイス内の回路からの信号雑音と、マイクロフォンからの信号雑音と、アンテナからの信号雑音とのうちの1つからの情報に少なくとも部分的に基づき得る。
いくつかの実施形態では、モバイルデバイスに関連する環境を判断するためのシステムを提示する。本システムは、連続オーディオストリームを受信するように構成されたオーディオセンサーを含み得る。本システムは、オーディオセンサーに結合された少なくとも1つの処理ユニットを含み得る。処理ユニットは、オーディオデータのサブセットが連続オーディオストリーム中に含まれる人間音声の成分を不明瞭にするように、連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするように構成され得る。処理ユニットは、オーディオ特性についてオーディオデータのサブセットを分析するように構成され得る。処理ユニットは、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うように構成され得る。
そのようなシステムの実施形態は、以下のうちの1つまたは複数を含み得る。本システムは、モバイルデバイスからリモートにあるロケーションに、ネットワークを介してオーディオデータのサブセットを表す情報を送るように構成されたネットワークインターフェースを含み得る。少なくとも1つの処理ユニットは、モバイルデバイスからリモートにあるロケーションにおいて周囲環境の判断を行うように構成され得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。少なくとも1つの処理ユニットは、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成され得る。複数のオーディオデータセグメントの各々は、30ms〜100msの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが250ms〜2sであり得る。処理ユニットは、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更するようにさらに構成され得る。
いくつかの実施形態では、非一時的プロセッサ可読媒体上に常駐するコンピュータプログラム製品を提示する。非一時的プロセッサ可読媒体は、連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることをプロセッサに行わせるように構成されたプロセッサ可読命令を含む。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。プロセッサ可読命令は、オーディオ特性についてオーディオデータのサブセットを分析することをプロセッサに行わせるように構成され得る。プロセッサ可読命令は、オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことをプロセッサに行わせるように構成され得る。
そのようなコンピュータプログラム製品の実施形態は、以下のうちの1つまたは複数を含み得る。オーディオデータのサブセットは、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数を備え得る。オーディオデータのサブセットは複数のオーディオデータセグメントを備え得、各オーディオデータセグメントは、連続オーディオストリームの異なる時間成分からのデータを備える。プロセッサ可読命令は、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことをプロセッサに行わせるように構成され得る。複数のオーディオデータセグメントの各々は、30ms〜100msの記録されたオーディオを備え得る。連続オーディオストリームの各時間成分は、長さが250ms〜2sであり得る。プロセッサ可読命令は、オーディオデータのサブセットを分析する前に、複数のオーディオデータセグメントの順序をランダムに変更するように構成され得る。複数のオーディオデータセグメントの順序をランダムに変更するためのプロセッサ可読命令は、地球測位システム(GPS)デバイスと、モバイルデバイス内の回路からの信号雑音と、マイクロフォンからの信号雑音と、アンテナからの信号雑音とのうちの1つからの情報に少なくとも部分的に基づく。
いくつかの実施形態では、プライバシー敏感オーディオを不明瞭にするためのデバイスを提示する。本デバイスは、マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするための手段を含み得る。連続オーディオストリームは人間音声を含んでいることがある。オーディオデータのサブセットは人間音声の成分を不明瞭にし得る。本デバイスは、オーディオ特性についてオーディオデータのサブセットを分析するための手段を含み得る。本デバイスは、オーディオ特性に少なくとも部分的に基づいて周囲環境を判断するための手段を含み得る。
そのようなデバイスの実施形態は、以下のうちの1つまたは複数を含み得る。オーディオデータのサブセットをキャプチャするための手段は、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する連続オーディオストリームの計算された関数に従ってオーディオデータのサブセットをキャプチャするように構成され得る。オーディオデータのサブセットをキャプチャするための手段は、オーディオデータのサブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、連続オーディオストリームの異なる時間成分からのデータを備えるように、オーディオデータのサブセットをキャプチャするように構成され得る。周囲環境を判断するための手段は、オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成され得る。オーディオデータのサブセットをキャプチャするための手段は、複数のオーディオデータセグメントの各々が、30ms〜100msの記録されたオーディオを備えるように、オーディオデータのサブセットをキャプチャするように構成され得る。
本明細書で説明するアイテムおよび/または技法は、以下の機能、ならびに言及しない他の機能のうちの1つまたは複数を提供し得る。コンテキスト判断の精度にほとんどまたはまったく影響を与えることなしに、コンテキスト判断のために使用されるオーディオストリーム中に含まれ得る音声の成分を不明瞭にすること。最小処理リソースを使用して、リアルタイムで実行され得る比較的単純な方法を利用すること。コンテキスト判断において使用されるモデルの精度を改善するのを助けるために、(不明瞭にされた音声を有する)オーディオデータのサブセットをアップロードする能力を含むこと。少なくとも1つのアイテム/技法効果ペアについて説明したが、言及した効果は、言及した手段以外の手段によって実現されることが可能であり得、言及したアイテム/技法は、必ずしも言及した効果を生じ得るとは限らない。
以下の図を参照すれば、様々な実施形態の性質および利点の理解が促進され得る。添付の図において、同様の構成要素または特徴は同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、それらの同様の構成要素同士を区別する第2のラベルとを続けることによって区別され得る。第1の参照ラベルのみが明細書において使用される場合、その説明は、第2の参照ラベルにかかわらず、同じ第1の参照ラベルを有する同様の構成要素のうちのいずれか1つに適用可能である。
一実施形態による、コンテキストアウェアネスアプリケーションをサポートするように構成されたモバイルデバイスの基本構成要素の簡略ブロック図。 音声のプライバシーを保証するのを助けると同時に、性能劣化のないモバイルデバイスの周囲環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスの可視化を示す図。 音声のプライバシーを保証するのを助けると同時に、性能劣化のないモバイルデバイスの周囲環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスの可視化を示す図。 音声のプライバシーを保証するのを助けると同時に、性能劣化のないモバイルデバイスの周囲環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスの可視化を示す図。 図2bおよび図2cに示した機能を提供するための方法の流れ図。 図2bおよび図2cに示した機能を提供するための方法の流れ図。 本明細書で説明するいくつかの処理方法から生じるオーディオデータから、音声認識器が単語のn字列(n-gram)を再構成する確率に対する上限を計算する分析の結果を示すグラフ。
図面を参照しながら以下の説明を行う。図面全体にわたって、同様の要素を指すのに同様の参照番号を使用する。本明細書では、1つまたは複数の技法の様々な詳細について説明するが、他の技法も可能である。いくつかの例では、様々な技法の説明を円滑にするために、よく知られている構造およびデバイスをブロック図の形態で示す。
携帯情報端末(PDA)、モバイルフォン、タブレットコンピュータ、および他のパーソナル電子機器など、モバイルデバイスは、コンテキストアウェアネスアプリケーションが使用可能であり得る。これらのコンテキストアウェアネスアプリケーションは、たとえば、モバイルデバイスのユーザがどこにいるか、特に、そのユーザが何をしている可能性があるかを判断することができる。そのようなコンテキスト判断は、モバイルデバイスが、ユーザが車中にいると判断した後に自動車モードに入ること、またはユーザが映画館に入ったと判断したときにサイレントモードに入ることなど、追加の機能をユーザに与えることを可能にするのを助けることができる。
本明細書では、モバイルデバイスのコンテキスト判断のために使用されるオーディオ中でキャプチャされ得る音声におけるプライバシーを保護するための技法について説明する。より詳細には、オーディオデータのサブセットが、音声を含んでいることがある連続オーディオストリームからキャプチャされ得、それにより、サンプリングの性質は、連続オーディオストリーム中に含まれていることがある音声を不明瞭にする。しかしながら、サンプリングの性質はまた、モバイルデバイスの特定の周囲環境に関する判断などのコンテキスト判断が精度の低減をほとんどまたはまったく受けないように、連続オーディオストリームのいくつかのオーディオ特性を保護する。これらおよび他の技法について以下でさらに詳細に説明する。
図1は、一実施形態による、コンテキストアウェアネスを提供することができるモバイルデバイス100のいくつかの構成要素を示す簡略ブロック図である。この図は一例であり、限定的なものではない。たとえば、モバイルデバイス100は、簡単のために図1から省略される追加の構成要素(たとえば、ユーザインターフェース、アンテナ、ディスプレイなど)を含み得る。さらに、図示された構成要素は、モバイルデバイス100の機能に応じて、組み合わせられるか、分離されるか、または省略され得る。
この実施形態では、モバイルデバイス100はモバイルネットワークインターフェース120を含む。そのようなインターフェースは、モバイルキャリアと通信するためのハードウェア、ソフトウェア、および/またはファームウェアを含むことができる。モバイルネットワークインターフェース120は、高速パケットアクセス(HSPA:High Speed Packet Access)、Enhanced HSPA(HSPA+)、3GPP Long Term Evolution(LTE)、および/またはモバイル通信のための他の規格を利用することができる。モバイルネットワークインターフェース120はまた、コンテキストアウェアネスアプリケーションにおいて有用であり得る、ロケーションデータなどのある情報を与えることができる。
さらに、モバイルデバイス100は他の(1つまたは複数の)ワイヤレスインターフェース170を含むことができる。そのようなインターフェースは、IEEE802.11(WiFi)、Bluetooth(登録商標)、および/または他のワイヤレス技術を含むことができる。これらの(1つまたは複数の)ワイヤレスインターフェース170は、コンテキスト判断において使用され得るモバイルデバイス100に情報を与えることができる。たとえば、(1つまたは複数の)ワイヤレスインターフェース170は、(1つまたは複数の)ワイヤレスインターフェース170のうちの1つまたは複数が接続されるワイヤレスネットワークの近似ロケーションを判断することによってロケーションに関する情報を与えることができる。追加または代替として、(1つまたは複数の)ワイヤレスインターフェース170は、モバイルデバイス100が、モバイルデバイス100のコンテキストを判断する際に有用な情報を与え得る、ワイヤレスヘッドセットおよび/またはマイクロフォンなど、他のデバイスと通信することを可能にすることができる。
モバイルデバイス100はまた、全地球測位システム(GPS)ユニット160、(1つまたは複数の)加速度計130、および/または他の(1つまたは複数の)センサー150を含むことができる。これらの追加の特徴は、ロケーション、配向、動き、温度、近接度などの情報を与えることができる。(1つまたは複数の)ワイヤレスインターフェース170の場合と同様に、これらの構成要素からの情報は、コンテキストアウェアネスアプリケーションがモバイルデバイス100のコンテキストに関するコンテキスト判断を行うのを助けることができる。
モバイルデバイス100はさらに(1つまたは複数の)分析/判断モジュール110を含むことができる。特に、(1つまたは複数の)分析/判断モジュール110は、それが通信可能に結合される様々な構成要素からセンサー情報を受信することができる。(1つまたは複数の)分析/判断モジュール110はまた、(1つまたは複数の)分析/判断モジュール110とは別個であり、および/または(1つまたは複数の)分析/判断モジュール110に組み込まれ得る、メモリ180に記憶された(コンテキストアウェアネスアプリケーションを含む)ソフトウェアを実行することができる。さらに、(1つまたは複数の)分析/判断モジュール110は、中央処理ユニット(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、および/または、特に、オーディオデータを分析し、その分析に基づいて判断を行うことが可能な手段を有する構成要素を含む、1つのまたは多数の処理デバイスを備えることができる。
ワイヤレスインターフェース170、GPSユニット160、(1つまたは複数の)加速度計130、および/または他の(1つまたは複数の)センサー150からの情報は、ユーザが、屋外にいるとき、識別可能なWiFiまたはBlueToothアクセスポイントの近くにいるとき、歩行しているときなどのロケーションを判断するのを大いに支援することができるが、これらの構成要素には限界がある。多くのシナリオでは、それらは、環境および状況を判断するためにあまり有用でない。たとえば、これらの構成要素からの情報は、ユーザが会議中であるのか、自分のオフィスにいるのか、またはユーザが食品雑貨品店にいるのか、そのすぐ隣のジムにいるのかを区別する際にあまり有用でない。これらのシナリオなどでは、モバイルデバイス100のオーディオキャプチャモジュール140(たとえば、(1つまたは複数の)マイクロフォンおよび/または他のオーディオキャプチャ手段)からの情報は、環境を分類するのを助けるために使用され得る極めて有益なオーディオデータを与え、ならびに音声が存在するかどうか、複数の話者が存在するかどうか、話者の識別情報などを判断することができる。
コンテキスト判断のためにモバイルデバイス100によってオーディオデータをキャプチャするプロセスは、電話のメモリ180にオーディオデータを一時的におよび/または永続的に記憶することを含むことができる。しかしながら、明瞭な音声を含むオーディオデータのキャプチャはプライバシー問題を引き起こすことがある。事実上、モバイルデバイス100が、承諾なしに、モバイルデバイス100のユーザまたは別の人間からの音声をキャプチャする場合、連邦法、州法、および/または地域法が関係していることがある。これらの問題は、音声(単語、句および文)が、キャプチャされたオーディオデータから確実に再構成され得ないように、音声がキャプチャされる前にオーディオデータを前処理するために、モバイルデバイス100のハードウェアおよび/またはソフトウェアを使用することによって緩和され得る。その上、前処理は、さらに、(たとえば、背景雑音からの)周囲環境、および/または音声、音楽、タイピング音などの存在など、オーディオデータの他のオーディオ特性の判断を可能にすることができる。
図2aは、性能劣化のないモバイルデバイスおよび/またはユーザの状況/環境を分類するために十分なオーディオ情報をキャプチャするためのプロセスを可視化したものである。さらに、そのプロセスはまた、キャプチャされた情報から音声(単語、句および文)が確実に再構成され得ないことを保証するのを助けることができる。このプロセスは、入力オーディオストリームの次元数を低減することを伴う。言い換えれば、連続オーディオの入力ストリームのビット(すなわち、デジタルデータ)は、得られたオーディオストリームが、了解性忠実度をもって連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有するように低減される。したがって、次元数を低減することは、音声が再生不可能であることを保証するように設計された、計算された関数であり得る。
たとえば、連続オーディオストリームは、Twindow秒持続するオーディオデータのウィンドウ210を備えることができる。ウィンドウ210は、複数のオーディオデータセグメントを有するものと見なされ得る。より詳細には、ウィンドウ210は、N個の時間成分、またはブロック220を備えることができ、各ブロック220は、Tblock秒持続し、それぞれTframe秒の複数のフレーム230を備える。マイクロフォン信号は、(データのTframe秒をもつ)ただ1つのフレーム230がTblock秒のあらゆるブロック中で収集されるようにサンプリングされ得る。
frameおよびTblockの値は、所望の機能に応じて変動することができる。一実施形態では、たとえば、Tframe=50msおよびTblock=500msであるが、これらの設定は、得られたオーディオ情報240aを使用するコンテキスト判断の精度への影響がほとんどなしに大幅に変動することができる。たとえば、Tframeは30ms未満から100ms以上にわたることができ、Tblockは250ms未満から2000ms(2s)以上までにわたることができ、Twindowは、単一のブロックと同じくらい短く(たとえば、ウィンドウ当たり1つのブロック)、最高1分以上になり得る。異なるフレーム長、ブロック長、およびウィンドウ長は、ブロック220当たりのフレーム230の数とウィンドウ210当たりのブロック220の数とに影響を及ぼすことがある。
フレーム230のキャプチャは異なる方法で達成され得る。たとえば、(1つまたは複数の)分析/判断モジュール110は、連続オーディオのウィンドウ210中のマイクロフォン信号を連続的にサンプリングし、不要なフレーム230を廃棄する(すなわち、記憶しない)ことがある。したがって、上記の例では、Tframe=50msおよびTblock=500msである場合、処理ユニットは、サンプリングされた500msごとに450msを単に廃棄することができる。追加または代替として、(1つまたは複数の)分析/判断モジュール110は、不要なフレーム230の間にオーディオキャプチャモジュール140をオフにし(たとえば、500msごとに450msの間オーディオキャプチャジュール140をオフにし)、それにより、コンテキスト判断において使用される、得られたオーディオ情報240a中に挿入されるフレーム230のみを収集することができる。
得られたオーディオ情報240aは、ウィンドウ210中の連続オーディオストリームのサブセットのみを備えるフレーム230の収集である。たとえそうでも、この得られたオーディオ情報240aは、判断の精度への著しい影響なしに、周囲環境を判断することなどのコンテキスト判断を可能にするのを助けることができるオーディオ特性を含むことができる。したがって、得られたオーディオ情報240aは、コンテキスト分類のためのアプリケーションにリアルタイムで与えられ、ならびに/あるいは後の分析のために、および/またはモバイルデバイス100に通信可能に結合されたサーバにアップロードするためにメモリ180に1つまたは複数の波形として記憶され得る。
図2bおよび図2cは、図2aに示したプロセスと同様に、オーディオ情報をキャプチャするためのプロセスを可視化したものである。ただし、図2bおよび図2cでは、キャプチャされ得る音声のさらなるプライバシーを保証するのを助けるために追加のステップをとる。
図2bを参照すると、Twindow秒のウィンドウ210ごとに、各ブロック220の第1のフレーム230がどのようにキャプチャされ得るかを示す可視化が与えられている。ウィンドウ210の最終ブロック220のフレーム230−1がキャプチャされた後、ウィンドウ210のすべてのキャプチャされたフレームは、得られたオーディオ情報240bを与えるためにランダムに置換(すなわち、ランダムにシャッフル)され得る。したがって、得られたオーディオ情報240bは、図2aの得られたオーディオ情報240aと同様であるが、得られたオーディオ情報240bがそれから構成されるフレームがランダム化される追加の特徴をもち、それにより、得られたオーディオ情報240b中に含まれ得る音声が了解性忠実度をもって再生され得る可能性がさらに低下する。
図2cは、図2bに示したプロセスと同様であるが、各ブロック220についてキャプチャされたフレーム230をさらにランダム化するプロセスを示す。より詳細には、図2aおよび図2bに示したようにウィンドウ210の各ブロック220の第1のフレーム230をキャプチャするのではなく、図2cに示すプロセスは、代わりに各ブロック220からのランダムフレーム230が選択され得ることを示す。ウィンドウ210のフレーム230のキャプチャと得られたオーディオ情報240c中のフレーム230の順序付けの両方のランダム化は、ウィンドウ210内の連続オーディオストリーム中に含まれている音声が不明瞭にされ、再生不可能であることをさらに保証するのを助ける。
図2bおよび図2cに示したプロセスにおいて使用されるランダム化は、多数の方法で生成されるシードを使用して計算され得る。たとえば、シードは、GPSユニット160によって与えられるGPS時間、モバイルデバイス100内の回路からの雑音、オーディオキャプチャモジュール140からの雑音(または他の信号)、アンテナからの雑音などに基づき得る。さらに、置換は、シャフリング効果が逆転させられ得ないことを保証するのを助けるために廃棄され得る(たとえば、記憶され得ない)。
図2a、図2b、および図2cに示したプロセスは、例として与えたものであり、限定的なものではない。他の実施形態が企図される。たとえば、ブロック220は、フレーム230がキャプチャされる前にランダムに置換され得る。代替的に、フレーム230は、ブロック220当たり1つのフレーム230をキャプチャするのではなく、ウィンドウ210全体にわたってランダムにキャプチャされ得る。
図3aは、図2bおよび図2cに示した機能を提供するための方法300−1の実施形態を示す流れ図である。方法300−1は段階310において開始し、そこで、連続オーディオストリームからオーディオデータのブロック220を受信する。連続オーディオストリームは、たとえば、モバイルデバイス100のオーディオキャプチャモジュール140が露出される時間のウィンドウ210内のオーディオであり得る。
段階320において、オーディオデータのブロック220のフレーム230をキャプチャする。前に説明したように、フレーム230はオーディオデータの各ブロック220の所定のフレーム(たとえば、第1のフレーム)であり得るか、またはそれはランダムに選択され得る。フレーム230は、たとえば、モバイルデバイス100のメモリ180に(一時的にまたは永続的に)記憶されることによってキャプチャされる。前に説明したように、フレーム230のキャプチャは、オーディオキャプチャモジュール140をオンおよびオフにすることおよび/または連続オーディオストリームを表すオーディオキャプチャモジュール140からの信号のいくつかの部分をサンプリングすることを含むことができる。
段階330において、現在のウィンドウ210中に追加のブロック220があるかどうかを判断する。追加のブロック220がある場合、ブロック220からのフレーム230をキャプチャするプロセスが繰り返される。これは、所望の機能に応じて、何度でも繰り返され得る。たとえば、Tblock=500msおよびTwindow=10秒である場合、フレーム230をキャプチャするプロセスは20回繰り返され、その結果、フレーム230が20個キャプチャされることになる。
現在のウィンドウ210中のすべてのブロック220からのフレーム230がキャプチャされた場合、プロセスは段階340に移動し、そこで、キャプチャされたフレームの順序をランダム化する。これらのランダム化されたフレームは、たとえば、コンテキストアウェアネスアプリケーションによる分析のために使用されるオーディオファイルに記憶され得る。最後に、段階350において、ランダム化されたフレームのオーディオ特性に少なくとも部分的に基づいて周囲環境の判断(または他のコンテキスト判断)を行う。
方法300−1の異なる段階は、モバイルデバイス100の1つまたは複数の異なる構成要素および/またはモバイルデバイス100に通信可能に結合された他のシステムによって実行され得る。さらに、段階は、ハードウェア、ソフトウェア、および/またはファームウェアの任意の組合せによって実行され得る。たとえば、オーディオストリーム全体(たとえば、認識可能な音声を有し得るオーディオストリーム)が、モバイルデバイス100によって実行されるソフトウェアアプリケーションにアクセス不可能であることを保証するのを助けるために、段階320〜340などのいくつかの段階は、((1つまたは複数の)分析/判断モジュール110などの)ハードウェアによって実行され、キャプチャされたフレームをメモリ180に記憶するおよび/またはそれらをソフトウェアアプリケーションに与える前に、たとえば、バッファ上でそれらをランダム化し得る。追加または代替として、いくつかの実施形態は、いくつかのパラメータ(たとえば、Twindow、Tblock、および/またはTframe)がソフトウェアによって少なくとも部分的に構成可能であることを可能にし得る。
さらに他の実施形態では、モバイルデバイス100は、キャプチャされたフレームを含む、得られたオーディオ情報240をリモートサーバにアップロードし得る。この場合、リモートサーバは、段階350の周囲環境の判断を行うことができる。代替的に、モバイルデバイス100は、モバイルデバイス100によって行われた周囲環境の判断とともに、得られたオーディオ情報240をアップロードすることができる。いずれの場合も、リモートサーバは、その判断と得られたオーディオ情報240とを使用して、周囲環境判断を行うために使用される既存のモデルを変更することができる。これにより、サーバは、モバイルデバイス100によって受信された入力から「学習する」ことが可能であるモデルを維持することが可能になる。次いで、修正および/または更新されたモデルは、モバイルデバイス100によって行われた周囲環境判断の精度を改善するのを助けるためにモバイルデバイス100にダウンロードされ得る。したがって、周囲環境判断(または他のコンテキスト判断)は継続的に改善され得る。
上記のように、本明細書で説明する技法は、周囲環境および/または他のコンテキスト判断だけでなく、オーディオデータの他のオーディオ特性の判断をも可能にすることができる。これらのオーディオ特性は、音声、音楽、タイピング音などの存在を含むことができる。オーディオ特性に応じて、異なる判断が行われ得る。
図3bは、図3の方法300−1と同様の段階を含む、方法300−1の一例を示す流れ図である。ただし、図3bの方法300−2は、周囲環境の判断を行うために使用されるキャプチャされたフレーム中に音声が含まれる(1人または複数の)話者の識別情報に関する判断を行う追加の段階360を含む。段階350の場合と同様に、段階360の判断は、モバイルデバイス100、および/またはキャプチャされたフレームがアップロードされるリモートサーバによって行われ得る。さらに、識別情報に関する判断は、話者の年齢、性別などを判断するのを助けるためのモデル、および特定の人間の音声のオーディオ特性に関する記憶された情報など、他の情報および/またはモデル、ならびに他のデータの使用を含むことができる。
上記で説明したプロセスによって生成された、キャプチャされたオーディオファイルをリッスンすることは、単語がこの方式から確実に再構成され得ないことを明確に示す。ただし、この概念は、商用音声認識器を開発するための公開されているソースからの収集されたオーディオデータが与えられれば、音声認識器が単語のn字列を再構成する確率に対する上限を計算するための分析を実行することによって数学的に示され得、単語のn字列はn個の連続する単語の集合である。
図4は、収集されたオーディオが与えられれば、n字列を正しく推測する確率に対する上限を示す、そのような分析の結果を示すグラフである。1字列410と2字列420とを正しく再構成するための結果を示し、Tblockの可変長について、Tframe=50msである。直観的にn字列を再構成する確率はnの増加とともに減少する。これは図4からわかり得、Tblock=500msの場合、1字列410を正しく再構成する確率は14%であり、2字列420を正しく再構成する確率は8%である。(この分析は、言語をなお一層不明瞭にし得る、本明細書で説明するフレームの置換を含まず、おおよそ(Twindow/Tblock)だけ確率を低減することに留意されたい。)
音声を再構成する確率の低減にもかかわらず、本明細書で説明する技法は、ユーザの環境を見分けるための、分類器(たとえば、コンテキストアウェアネスアプリケーションにおいて使用される確率的分類器)の能力に著しい影響を与えない。これは、1つの混合成分と2つの混合成分とを有する統計的モデルを用いた、コンテキストアウェアネス分類器の精度および再現率(recall)を示す表1に示されており、Tframe=50msであり、Tblockは可変である。使用されたデータは、コンテキストアウェアネスアプリケーション間で共通の(たとえば、公園内、街路上、マーケット内、車中、空港内などの)環境のセットの環境音の商業的に収集されたオーディオデータセットであった。
Figure 2014517939
frame=50msであるので、Tblock=50msについて表1に示した精度および再現率は連続オーディオである。したがって、表1は、連続オーディオストリームのサブセットのみをサンプリングすることによってオーディオデータの次元数を低減することが、Tblockが2秒に近づく(すなわち、マイクロフォンが、2秒ごとに50msのみ、またはその時間の2.5%の間オンである)まで、周囲環境の分類器の判断の精度にほとんど影響を与えないことがあることを示す。分類器ごとに結果が異なり得る。
上記で説明した方法、システム、デバイス、グラフ、および表は例である。様々な構成は、適宜に様々なプロシージャまたは構成要素を省略、置換、または追加し得る。たとえば、代替構成では、本方法は、説明した順序とは異なる順序で実行され得、ならびに/あるいは様々な段階が追加、省略、および/または組み合わせられ得る。また、いくつかの構成に関して説明した特徴は、様々な他の構成において組み合わせられ得る。構成の異なる態様および要素が、同様の方法で組み合わせられ得る。また、技術は発展し、したがって、要素の多くは例であり、本開示または特許請求の範囲を限定しない。さらに、本明細書で説明した技法は、異なるタイプのコンテキストアウェアネス分類器を用いて異なる結果を与え得る。
説明では、(実装形態を含む)例示的な実施形態の完全な理解が得られるように具体的な詳細を与えた。ただし、実施形態は、これらの具体的な詳細なしに実施され得る。たとえば、構成を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法を不要な詳細なしに示した。この説明は、例示的な構成を与えるにすぎず、特許請求の範囲の範囲、適用性、または構成を限定しない。そうではなく、構成の上記の説明は、説明した技法を実装することを可能にする説明を当業者に与えるものである。本開示の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得る。
また、構成は、流れ図またはブロック図として示されるプロセスとして説明されることがある。各々は動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実行され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、図中に含まれない追加のステップを有し得る。
本発明の様々な特徴を組み込んだコンピュータプログラムは、様々な非一時的コンピュータ可読記憶媒体および/または非一時的プロセッサ可読記憶媒体上で符号化され得、好適な媒体は、磁気媒体と、光学媒体と、フラッシュメモリと、他の非一時的媒体とを含む。プログラムコードで符号化された非一時的プロセッサ可読記憶媒体は、互換デバイスとともにパッケージングされるか、または他のデバイスから別々に与えられ得る。さらに、プログラムコードは、インターネットを含む、様々なプロトコルに準拠するワイヤード、光、および/またはワイヤレスネットワークを介して符号化され、送信され、それにより、たとえば、インターネットダウンロードを介した配信が可能になり得る。
いくつかの例示的な構成を説明したが、本開示の趣旨から逸脱することなく、様々な変更形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、他のルールが、本発明の適用よりも優先するかまたは他の方法で本発明の適用を変更し得る。また、上記の要素が考慮される前に、考慮されている間に、または考慮された後に、いくつかのステップが行われ得る。したがって、上記の説明は特許請求の範囲を限定しない。

Claims (37)

  1. 連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
    キャプチャすることと、
    オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
    を備える、プライバシー敏感オーディオ分析の方法。
  2. オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、請求項1に記載のプライバシー敏感オーディオ分析の方法。
  3. オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、請求項1に記載のプライバシー敏感オーディオ分析の方法。
  4. 前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことをさらに備える、請求項3に記載のプライバシー敏感オーディオ分析の方法。
  5. 前記複数のオーディオデータセグメントの各々が、30ms〜100msの記録されたオーディオを備える、請求項3に記載のプライバシー敏感オーディオ分析の方法。
  6. 前記連続オーディオストリームの各時間成分は、長さが250ms〜2sである、請求項3に記載のプライバシー敏感オーディオ分析の方法。
  7. オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更することをさらに備える、請求項3に記載のプライバシー敏感オーディオ分析の方法。
  8. 前記複数のオーディオデータセグメントの前記順序をランダムに変更することが、
    全地球測位システム(GPS)デバイスと、
    モバイルデバイス内の回路からの信号雑音と、
    マイクロフォンからの信号雑音と、
    アンテナからの信号雑音と
    のうちの1つからの情報に少なくとも部分的に基づく、請求項7に記載のプライバシー敏感オーディオ分析の方法。
  9. マイクロフォンと、
    前記マイクロフォンに通信可能に結合された処理ユニットであって、
    前記マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
    キャプチャすることと、
    オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
    を行うように構成された処理ユニットと
    を備える、プライバシー敏感オーディオを不明瞭にするためのデバイス。
  10. オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、請求項9に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  11. オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、請求項9に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  12. 前記処理ユニットが、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、請求項11に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  13. 前記複数のオーディオデータセグメントの各々が、30ms〜100msの記録されたオーディオを備える、請求項11に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  14. 前記連続オーディオストリームの各時間成分は、長さが250ms〜2sである、請求項11に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  15. 前記処理ユニットが、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更するように構成された、請求項11に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  16. 前記処理ユニットが、
    全地球測位システム(GPS)デバイスと、
    モバイルデバイス内の回路からの信号雑音と、
    前記マイクロフォンからの信号雑音と、
    アンテナからの信号雑音と
    のうちの1つからの情報に少なくとも部分的に基づいて、前記複数のオーディオデータセグメントの前記順序をランダムに変更するように構成された、請求項15に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  17. 連続オーディオストリームを受信するように構成されたオーディオセンサーと、
    前記オーディオセンサーに結合された少なくとも1つの処理ユニットであって、
    オーディオデータのサブセットが前記連続オーディオストリーム中に含まれる人間音声の成分を不明瞭にするように、前記連続オーディオストリーム中に含まれているオーディオデータの前記サブセットをキャプチャすることと、
    オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
    を行うように構成された少なくとも1つの処理ユニットと
    を備える、モバイルデバイスに関連する環境を判断するためのシステム。
  18. 前記モバイルデバイスからリモートにあるロケーションに、ネットワークを介してオーディオデータの前記サブセットを表す情報を送るように構成されたネットワークインターフェースをさらに備える、請求項17に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  19. 前記少なくとも1つの処理ユニットが、前記モバイルデバイスからリモートにある前記ロケーションにおいて前記周囲環境の前記判断を行うように構成された、請求項18に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  20. オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、請求項18に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  21. 前記少なくとも1つの処理ユニットが、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、請求項20に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  22. 前記複数のオーディオデータセグメントの各々が、30ms〜100msの記録されたオーディオを備える、請求項20に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  23. 前記連続オーディオストリームの各時間成分は、長さが250ms〜2sである、請求項20に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  24. 前記少なくとも1つの処理ユニットが、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更するように構成された、請求項20に記載のモバイルデバイスに関連する環境を判断するためのシステム。
  25. 非一時的プロセッサ可読媒体上に常駐するコンピュータプログラム製品であって、
    連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャすることであって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
    キャプチャすることと、
    オーディオ特性についてオーディオデータの前記サブセットを分析することと、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境の判断を行うことと
    をプロセッサに行わせるように構成されたプロセッサ可読命令を備えるコンピュータプログラム製品。
  26. オーディオデータの前記サブセットが、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数を備える、請求項25に記載のコンピュータプログラム製品。
  27. オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備える、請求項25に記載のコンピュータプログラム製品。
  28. 前記プロセッサ可読命令が、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うことを前記プロセッサに行わせるように構成された、請求項27に記載のコンピュータプログラム製品。
  29. 前記複数のオーディオデータセグメントの各々が、30ms〜100msの記録されたオーディオを備える、請求項27に記載のコンピュータプログラム製品。
  30. 前記連続オーディオストリームの各時間成分は、長さが250ms〜2sである、請求項27に記載のコンピュータプログラム製品。
  31. 前記プロセッサ可読命令が、オーディオデータの前記サブセットを分析する前に、前記複数のオーディオデータセグメントの順序をランダムに変更することを前記プロセッサに行わせるように構成された、請求項27に記載のコンピュータプログラム製品。
  32. 前記プロセッサ可読命令が、
    全地球測位システム(GPS)デバイスと、
    モバイルデバイス内の回路からの信号雑音と、
    マイクロフォンからの信号雑音と、
    アンテナからの信号雑音と
    のうちの1つからの情報に少なくとも部分的に基づいて、前記複数のオーディオデータセグメントの前記順序をランダムに変更することを前記プロセッサに行わせるように構成された、請求項31に記載のコンピュータプログラム製品。
  33. マイクロフォンからの信号中に表される連続オーディオストリーム中に含まれているオーディオデータのサブセットをキャプチャするための手段であって、
    前記連続オーディオストリームが人間音声を含んでおり、
    オーディオデータの前記サブセットが前記人間音声の成分を不明瞭にする
    キャプチャするための手段と、
    オーディオ特性についてオーディオデータの前記サブセットを分析するための手段と、
    前記オーディオ特性に少なくとも部分的に基づいて周囲環境を判断するための手段と
    を備える、プライバシー敏感オーディオを不明瞭にするためのデバイス。
  34. オーディオデータの前記サブセットをキャプチャするための前記手段が、了解性忠実度をもって前記連続オーディオストリームを再生するために必要とされるよりも少ないビット数を有する前記連続オーディオストリームの計算された関数に従ってオーディオデータの前記サブセットをキャプチャするように構成された、請求項33に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  35. オーディオデータの前記サブセットをキャプチャするための前記手段は、オーディオデータの前記サブセットが複数のオーディオデータセグメントを備え、各オーディオデータセグメントが、前記連続オーディオストリームの異なる時間成分からのデータを備えるように、オーディオデータの前記サブセットをキャプチャするように構成された、請求項33に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  36. 前記周囲環境を判断するための前記手段が、前記オーディオ特性に少なくとも部分的に基づいて人間の識別情報の判断を行うように構成された、請求項35に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
  37. オーディオデータの前記サブセットをキャプチャするための前記手段は、前記複数のオーディオデータセグメントの各々が、30ms〜100msの記録されたオーディオを備えるように、オーディオデータの前記サブセットをキャプチャするように構成された、請求項35に記載のプライバシー敏感オーディオを不明瞭にするためのデバイス。
JP2014512870A 2011-05-23 2012-05-14 モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること Active JP5937202B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161488927P 2011-05-23 2011-05-23
US61/488,927 2011-05-23
US13/213,294 US8700406B2 (en) 2011-05-23 2011-08-19 Preserving audio data collection privacy in mobile devices
US13/213,294 2011-08-19
PCT/US2012/037783 WO2012162009A1 (en) 2011-05-23 2012-05-14 Preserving audio data collection privacy in mobile devices

Publications (2)

Publication Number Publication Date
JP2014517939A true JP2014517939A (ja) 2014-07-24
JP5937202B2 JP5937202B2 (ja) 2016-06-22

Family

ID=46178795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014512870A Active JP5937202B2 (ja) 2011-05-23 2012-05-14 モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること

Country Status (6)

Country Link
US (2) US8700406B2 (ja)
EP (1) EP2715722B1 (ja)
JP (1) JP5937202B2 (ja)
KR (1) KR101580510B1 (ja)
CN (1) CN103620680B (ja)
WO (1) WO2012162009A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection
ES2767097T3 (es) * 2011-09-30 2020-06-16 Orange Método, aparatos y aplicaciones para los atributos de oscurecimiento contextual de un perfil de usuario
US8925037B2 (en) * 2013-01-02 2014-12-30 Symantec Corporation Systems and methods for enforcing data-loss-prevention policies using mobile sensors
US9300266B2 (en) * 2013-02-12 2016-03-29 Qualcomm Incorporated Speaker equalization for mobile devices
US9076459B2 (en) 2013-03-12 2015-07-07 Intermec Ip, Corp. Apparatus and method to classify sound to detect speech
KR102149266B1 (ko) * 2013-05-21 2020-08-28 삼성전자 주식회사 전자 기기의 오디오 데이터의 관리 방법 및 장치
WO2015061712A1 (en) 2013-10-24 2015-04-30 Tourmaline Labs, Inc. Systems and methods for collecting and transmitting telematics data from a mobile device
US10057764B2 (en) * 2014-01-18 2018-08-21 Microsoft Technology Licensing, Llc Privacy preserving sensor apparatus
JP6215129B2 (ja) * 2014-04-25 2017-10-18 京セラ株式会社 携帯電子機器、制御方法及び制御プログラム
US10404697B1 (en) 2015-12-28 2019-09-03 Symantec Corporation Systems and methods for using vehicles as information sources for knowledge-based authentication
US10326733B2 (en) 2015-12-30 2019-06-18 Symantec Corporation Systems and methods for facilitating single sign-on for multiple devices
US10116513B1 (en) 2016-02-10 2018-10-30 Symantec Corporation Systems and methods for managing smart building systems
US10375114B1 (en) 2016-06-27 2019-08-06 Symantec Corporation Systems and methods for enforcing access-control policies
US10462184B1 (en) 2016-06-28 2019-10-29 Symantec Corporation Systems and methods for enforcing access-control policies in an arbitrary physical space
US10469457B1 (en) 2016-09-26 2019-11-05 Symantec Corporation Systems and methods for securely sharing cloud-service credentials within a network of computing devices
US10812981B1 (en) 2017-03-22 2020-10-20 NortonLifeLock, Inc. Systems and methods for certifying geolocation coordinates of computing devices
US10540521B2 (en) 2017-08-24 2020-01-21 International Business Machines Corporation Selective enforcement of privacy and confidentiality for optimization of voice applications
GB2567703B (en) * 2017-10-20 2022-07-13 Cirrus Logic Int Semiconductor Ltd Secure voice biometric authentication
DE102019108178B3 (de) * 2019-03-29 2020-06-18 Tribe Technologies Gmbh Verfahren und Vorrichtung zur automatischen Überwachung von Telefonaten
US11580213B2 (en) * 2019-07-03 2023-02-14 Qualcomm Incorporated Password-based authorization for audio rendering
US11354085B2 (en) 2019-07-03 2022-06-07 Qualcomm Incorporated Privacy zoning and authorization for audio rendering
WO2021107218A1 (ko) * 2019-11-29 2021-06-03 주식회사 공훈 음성 데이터의 프라이버시 보호를 위한 방법 및 디바이스
KR20210100368A (ko) 2020-02-06 2021-08-17 삼성전자주식회사 전자장치 및 그 제어방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086707A (ja) * 2003-09-10 2005-03-31 Yamaha Corp 遠隔地の様子を伝達する通信装置およびプログラム
JP2005534061A (ja) * 2002-07-24 2005-11-10 アプライド マインズ インク 言語をマスキングするための方法およびシステム
JP2006238110A (ja) * 2005-02-25 2006-09-07 Matsushita Electric Ind Co Ltd 監視システム
JP2009075160A (ja) * 2007-09-18 2009-04-09 Nippon Telegr & Teleph Corp <Ntt> コミュニケーション音声処理方法とその装置、及びそのプログラム
JP2009294642A (ja) * 2008-06-06 2009-12-17 Fuji Xerox Co Ltd 音声信号を合成する方法、システム、およびプログラム
JP2010079748A (ja) * 2008-09-26 2010-04-08 Secom Co Ltd 端末利用者監視装置およびシステム

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4221931A (en) * 1977-10-17 1980-09-09 Harris Corporation Time division multiplied speech scrambler
JPS59111441A (ja) * 1982-12-17 1984-06-27 Sony Corp 音声信号の秘話方式
US5267312A (en) * 1990-08-06 1993-11-30 Nec Home Electronics, Ltd. Audio signal cryptographic system
JP2655046B2 (ja) * 1993-09-13 1997-09-17 日本電気株式会社 ベクトル量子化装置
WO1997027578A1 (en) * 1996-01-26 1997-07-31 Motorola Inc. Very low bit rate time domain speech analyzer for voice messaging
US7930546B2 (en) * 1996-05-16 2011-04-19 Digimarc Corporation Methods, systems, and sub-combinations useful in media identification
US6078666A (en) * 1996-10-25 2000-06-20 Matsushita Electric Industrial Co., Ltd. Audio signal processing method and related device with block order switching
US7809138B2 (en) * 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
US6119086A (en) * 1998-04-28 2000-09-12 International Business Machines Corporation Speech coding via speech recognition and synthesis based on pre-enrolled phonetic tokens
JP3180762B2 (ja) * 1998-05-11 2001-06-25 日本電気株式会社 音声符号化装置及び音声復号化装置
US7457415B2 (en) * 1998-08-20 2008-11-25 Akikaze Technologies, Llc Secure information distribution system utilizing information segment scrambling
US7263489B2 (en) * 1998-12-01 2007-08-28 Nuance Communications, Inc. Detection of characteristics of human-machine interactions for dialog customization and analysis
US6937730B1 (en) * 2000-02-16 2005-08-30 Intel Corporation Method and system for providing content-specific conditional access to digital content
US8677505B2 (en) * 2000-11-13 2014-03-18 Digital Doors, Inc. Security system with extraction, reconstruction and secure recovery and storage of data
US7177808B2 (en) * 2000-11-29 2007-02-13 The United States Of America As Represented By The Secretary Of The Air Force Method for improving speaker identification by determining usable speech
WO2002049363A1 (en) * 2000-12-15 2002-06-20 Agency For Science, Technology And Research Method and system of digital watermarking for compressed audio
US7350228B2 (en) * 2001-01-23 2008-03-25 Portauthority Technologies Inc. Method for securing digital content
JP3946965B2 (ja) * 2001-04-09 2007-07-18 ソニー株式会社 無体財産権を保護する情報を記録する記録装置、記録方法、記録媒体、およびプログラム
DE10138650A1 (de) * 2001-08-07 2003-02-27 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschlüsseln eines diskreten Signals sowie Verfahren und Vorrichtung zur Entschlüsselung
GB2392807A (en) * 2002-09-06 2004-03-10 Sony Uk Ltd Processing digital data
FR2846179B1 (fr) * 2002-10-21 2005-02-04 Medialive Embrouillage adaptatif et progressif de flux audio
FR2846178B1 (fr) * 2002-10-21 2005-03-11 Medialive Desembrouillage adaptatif et progressif de flux audio
US7564906B2 (en) * 2004-02-17 2009-07-21 Nokia Siemens Networks Oy OFDM transceiver structure with time-domain scrambling
US7720012B1 (en) * 2004-07-09 2010-05-18 Arrowhead Center, Inc. Speaker identification in the presence of packet losses
EP1725056B1 (en) * 2005-05-16 2013-01-09 Sony Ericsson Mobile Communications AB Method for disabling a mobile device
US8781967B2 (en) * 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US8214516B2 (en) * 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
ES2312142T3 (es) * 2006-04-24 2009-02-16 Nero Ag Aparato avanzado para codificar datos de audio digitales.
US8433915B2 (en) * 2006-06-28 2013-04-30 Intellisist, Inc. Selective security masking within recorded speech
US20080243492A1 (en) * 2006-09-07 2008-10-02 Yamaha Corporation Voice-scrambling-signal creation method and apparatus, and computer-readable storage medium therefor
WO2008103738A2 (en) * 2007-02-20 2008-08-28 Nielsen Media Research, Inc. Methods and apparatus for characterizing media
JP4245060B2 (ja) * 2007-03-22 2009-03-25 ヤマハ株式会社 サウンドマスキングシステム、マスキングサウンド生成方法およびプログラム
US8243924B2 (en) * 2007-06-29 2012-08-14 Google Inc. Progressive download or streaming of digital media securely through a localized container and communication protocol proxy
US8379854B2 (en) * 2007-10-09 2013-02-19 Alcatel Lucent Secure wireless communication
KR101444099B1 (ko) * 2007-11-13 2014-09-26 삼성전자주식회사 음성 구간 검출 방법 및 장치
CA2731732A1 (en) * 2008-07-21 2010-01-28 Auraya Pty Ltd Voice authentication system and methods
WO2010028301A1 (en) * 2008-09-06 2010-03-11 GH Innovation, Inc. Spectrum harmonic/noise sharpness control
US8244531B2 (en) * 2008-09-28 2012-08-14 Avaya Inc. Method of retaining a media stream without its private audio content
WO2010047566A2 (en) * 2008-10-24 2010-04-29 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US20100114344A1 (en) * 2008-10-31 2010-05-06 France Telecom Communication system incorporating ambient sound pattern detection and method of operation thereof
KR101829865B1 (ko) * 2008-11-10 2018-02-20 구글 엘엘씨 멀티센서 음성 검출
JP5691191B2 (ja) * 2009-02-19 2015-04-01 ヤマハ株式会社 マスキング音生成装置、マスキングシステム、マスキング音生成方法、およびプログラム
KR101581883B1 (ko) * 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
US8200480B2 (en) * 2009-09-30 2012-06-12 International Business Machines Corporation Deriving geographic distribution of physiological or psychological conditions of human speakers while preserving personal privacy
US8861742B2 (en) * 2010-01-26 2014-10-14 Yamaha Corporation Masker sound generation apparatus and program
US20110184740A1 (en) * 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
US8423351B2 (en) * 2010-02-19 2013-04-16 Google Inc. Speech correction for typed input
US20110216905A1 (en) * 2010-03-05 2011-09-08 Nexidia Inc. Channel compression
US20110218798A1 (en) * 2010-03-05 2011-09-08 Nexdia Inc. Obfuscating sensitive content in audio sources
US8965545B2 (en) * 2010-09-30 2015-02-24 Google Inc. Progressive encoding of audio
US20120136658A1 (en) * 2010-11-30 2012-05-31 Cox Communications, Inc. Systems and methods for customizing broadband content based upon passive presence detection of users
US8938619B2 (en) * 2010-12-29 2015-01-20 Adobe Systems Incorporated System and method for decrypting content samples including distinct encryption chains
US20120203491A1 (en) * 2011-02-03 2012-08-09 Nokia Corporation Method and apparatus for providing context-aware control of sensors and sensor data
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9407706B2 (en) * 2011-03-31 2016-08-02 Qualcomm Incorporated Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features
US20130006633A1 (en) * 2011-07-01 2013-01-03 Qualcomm Incorporated Learning speech models for mobile device users
US9159324B2 (en) * 2011-07-01 2015-10-13 Qualcomm Incorporated Identifying people that are proximate to a mobile device user via social graphs, speech models, and user context
US20130090926A1 (en) * 2011-09-16 2013-04-11 Qualcomm Incorporated Mobile device context information using speech detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005534061A (ja) * 2002-07-24 2005-11-10 アプライド マインズ インク 言語をマスキングするための方法およびシステム
JP2005086707A (ja) * 2003-09-10 2005-03-31 Yamaha Corp 遠隔地の様子を伝達する通信装置およびプログラム
JP2006238110A (ja) * 2005-02-25 2006-09-07 Matsushita Electric Ind Co Ltd 監視システム
JP2009075160A (ja) * 2007-09-18 2009-04-09 Nippon Telegr & Teleph Corp <Ntt> コミュニケーション音声処理方法とその装置、及びそのプログラム
JP2009294642A (ja) * 2008-06-06 2009-12-17 Fuji Xerox Co Ltd 音声信号を合成する方法、システム、およびプログラム
JP2010079748A (ja) * 2008-09-26 2010-04-08 Secom Co Ltd 端末利用者監視装置およびシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200900073008; 山野貴一郎他: '"音響情報を用いたライフログデータのクラスタリング"' 第3回音声ドキュメント処理ワークショップ講演論文集 , 200902, pp.65-70, 豊橋技術科学大学メディア科学リサーチセンター *
JPN6014048824; 山野貴一郎他: '"音響情報を用いたライフログデータのクラスタリング"' 第3回音声ドキュメント処理ワークショップ講演論文集 , 200902, pp.65-70, 豊橋技術科学大学メディア科学リサーチセンター *

Also Published As

Publication number Publication date
US8700406B2 (en) 2014-04-15
KR101580510B1 (ko) 2015-12-28
JP5937202B2 (ja) 2016-06-22
KR20140021681A (ko) 2014-02-20
WO2012162009A1 (en) 2012-11-29
CN103620680A (zh) 2014-03-05
EP2715722A1 (en) 2014-04-09
US20120303360A1 (en) 2012-11-29
EP2715722B1 (en) 2018-06-13
CN103620680B (zh) 2015-12-23
US20140172424A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
JP5937202B2 (ja) モバイルデバイスにおけるオーディオデータ収集プライバシーを保護すること
WO2020029906A1 (zh) 一种多人语音的分离方法和装置
EP2994911B1 (en) Adaptive audio frame processing for keyword detection
TWI779113B (zh) 音頻活動追蹤及概括的裝置、方法、設備以及電腦可讀儲存媒體
KR101615421B1 (ko) 유사한 사운드 환경 내의 모바일 디바이스들을 식별하는 방법 및 장치
US20130006633A1 (en) Learning speech models for mobile device users
CN108346433A (zh) 一种音频处理方法、装置、设备及可读存储介质
WO2018228105A1 (en) Application control method and application control device
WO2013040414A1 (en) Mobile device context information using speech detection
CN110995933A (zh) 移动终端的音量调节方法、装置、移动终端及存储介质
CN109739464A (zh) 音效的设置方法、装置、终端及存储介质
CN111385688A (zh) 一种基于深度学习的主动降噪方法、装置及系统
US9818427B2 (en) Automatic self-utterance removal from multimedia files
CN115804099A (zh) 场景描述的再现控制
CN109686359A (zh) 语音输出方法、终端及计算机可读存储介质
CN111787149A (zh) 一种降噪处理方法、系统和计算机储存介质
CN109815806A (zh) 人脸识别方法及装置、计算机设备、计算机存储介质
WO2023160515A1 (zh) 视频处理方法、装置、设备及介质
CN115841812A (zh) 语音激活检测模型的训练方法及电子设备和存储介质
CN112926623A (zh) 识别合成视频的方法、装置、介质及电子设备
CN115054915A (zh) 环境音频播放方法、装置、存储介质以及电子设备
EP3210169A1 (en) Context-sensitive media classification

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160511

R150 Certificate of patent or registration of utility model

Ref document number: 5937202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250