JP2022136197A - 記録メディアのホットワードトリガ抑制 - Google Patents

記録メディアのホットワードトリガ抑制 Download PDF

Info

Publication number
JP2022136197A
JP2022136197A JP2022118728A JP2022118728A JP2022136197A JP 2022136197 A JP2022136197 A JP 2022136197A JP 2022118728 A JP2022118728 A JP 2022118728A JP 2022118728 A JP2022118728 A JP 2022118728A JP 2022136197 A JP2022136197 A JP 2022136197A
Authority
JP
Japan
Prior art keywords
audio
audio data
watermark
user device
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022118728A
Other languages
English (en)
Other versions
JP7461416B2 (ja
Inventor
リカルド・アントニオ・ガルシア
Antonio Garcia Ricardo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2022136197A publication Critical patent/JP2022136197A/ja
Application granted granted Critical
Publication of JP7461416B2 publication Critical patent/JP7461416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】記録メディア中でホットワードを検出するときにホットワードトリガを抑制する、コンピュータストレージ媒体上に符号化されたコンピュータプログラムを含む方法、システム、および装置を開示する。【解決手段】１つの態様では、方法は、コンピューティングデバイスが、１個のメディアコンテンツの再生に対応するオーディオを受け取るアクションを含む。この方法は、コンピューティングデバイスが、オーディオが既定のホットワードの発語を含み、オーディオがオーディオ透かしを含むと判定するアクションをさらに含む。この方法は、コンピューティングデバイスが、オーディオ透かしを解析するアクションをさらに含む。この方法は、オーディオ透かしの解析に基づいて、コンピューティングデバイスが、既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうかを判定するアクションをさらに含む。【選択図】図１

Description

本明細書は、一般に、自動スピーチ認識に関する。
スピーチ対応型の家庭またはその他の環境、すなわち、ユーザがクエリまたはコマンドを声に出して言うだけで、コンピュータ型システムがそのクエリを処理して回答し、かつ／またはコマンドを実行させる環境が実現する日が来る。スピーチ対応型環境（例えば家庭、職場、学校など）は、その環境内の様々な部屋または領域全体に分散させたマイクロフォンデバイスを接続したネットワークを用いて実施することができる。このようなマイクロフォンのネットワークによって、ユーザは、自分の目の前、または付近にコンピュータまたは他のデバイスがなくても、その環境内の基本的にどこからでもシステムに口頭でクエリをすることができる。例えば、ユーザが、台所で料理をしているときに、「３カップは何ミリリットル？」とシステムに尋ね、それに応じて、例えば合成ボイス出力の形態で、システムからの回答を受け取ることもできる。あるいは、ユーザは、「一番近いガソリンスタンドが閉まるのは何時？」という質問や、外出する準備をした後で「今日はコートを着た方がいいかな？」という質問などをシステムに尋ねることもできる。
さらに、ユーザは、ユーザの個人情報に関係する問合せをシステムにする、かつ／またはユーザの個人情報に関係するコマンドを発することもある。例えば、ユーザが、「ジョンと会うのはいつだっけ？」とシステムに尋ねる、または「家に帰ったらジョンに電話するように知らせて」とシステムに命令することもある。
スピーチ対応型システムでは、ユーザがシステムと対話する方法は、限定されるわけではないが、主に、ボイス入力によるものとなるように設計されている。したがって、システムは、システムに向けられていないものも含めて周囲環境で発せられた全ての発語を拾う可能性があり、例えば環境内にいる個人に向けられている発語に対して、任意の所与の発語がいつシステムに向けられているかを識別する何らかの方法を備えなければならない。これを実現する１つの方法は、ホットワードを使用することである。ホットワードとは、環境内のユーザの間の合意によって、システムの注意を喚起するために発せられる所定の言葉として確保される言葉である。例示的な環境では、システムの注意を喚起するために使用されるホットワードは、「ＯＫ、コンピュータ」という言葉である。したがって、「ＯＫ、コンピュータ」という言葉が発せられるたびに、この言葉がマイクロフォンによって拾われてシステムに搬送され、システムは、スピーチ認識技術を実行する、またはオーディオ機能およびニューラルネットワークを使用して、ホットワードが発せられたかどうかを判定し、発せられた場合には、引き続き生じるコマンドまたはクエリを待機する。したがって、システムに向けられる発語は、大まかに言うと［ホットワード］［クエリ］という形態をとり、この例における「ホットワード」は、「ＯＫ、コンピュータ」であり、「クエリ」は、システムが単独で、またはネットワークを介してサーバと協働して、スピーチ認識し、構文解析し、作用することができる任意の質問、コマンド、宣言、またはその他の要求とすることができる。
ホットワードを検出することに加えて、コンピューティングデバイスは、ホットワードのオーディオ中に埋め込まれたオーディオ透かしを検出するように構成することもできる。オーディオ透かしは、人間には不可聴な高周波数透かしであっても、バックグラウンドノイズまたは静音のように聞こえる透かしであってもよい。コンピューティングデバイスは、オーディオ透かしに応じて様々にホットワードに対して応答するように構成することができる。例えば、「ＯＫ、コンピュータ、駅までの道順を教えてくれ」という俳優の発話を含むメディアコンテンツの一部分を作成することもできる。このメディアコンテンツを再生しているテレビジョンの近傍内の任意のコンピューティングデバイスが駅までの道順を提示することを防止するために、メディアコンテンツの制作者は、このホットワードと重なり合うオーディオ透かしを含めることができる。メディアコンテンツのオーディオを検出したコンピューティングデバイスは、オーディオ透かしを抽出し、そのオーディオ透かしをオーディオ透かしデータベースと比較すればよい。オーディオ透かしデータベースは、いつコンピューティングデバイスがホットワードおよびこの特定のオーディオ透かしに続くオーディオに対してスピーチ認識を実行すべきかについてのルールと、その他のオーディオ透かしについての追加のルールとを含むことがある。本明細書に記載する方法およびシステムの少なくともいくつかは、コンピューティングデバイスの近傍のスピーカを介して出力された発語に対して応答すべきときをコンピューティングデバイスが選択的に決定することを可能にすることができることは理解されるであろう。
メディアコンテンツのオーディオ透かしについてのルールは、コンピューティングデバイスがメディアコンテンツからのオーディオをさらに処理する前に満たさなければならない条件を含むことがある。例示的なルールとしては、コンピューティングデバイスは、そのコンピューティングデバイスが現在道順を提示していない場合、移動速度が時速１０マイルを超えていない場合、スマートスピーカである場合、およびユーザの家に位置している場合には応答しなければならない、というものがあり得る。別のルールの例としては、コンピューティングデバイスは、そのコンピューティングデバイスがメディアコンテンツの所有者または制作者に関連する敷地内にある場合、および発語の優先度が高いことを透かしが示している場合にのみ応答しなければならない、というものもあり得る。コンピューティングデバイスがこれらのルールを満たす場合には、コンピューティングデバイスは、ホットワードに続く部分に対してスピーチ認識を実行することができる。その音訳が「駅までの道順を教えてくれ」である場合には、コンピューティングデバイスは、駅までの道順を表示する、または音声によって提示することができる。コンピューティングデバイスがルールを満たさない場合には、コンピューティングデバイスは、ホットワードに続くオーディオの部分に対してスピーチ認識を実行せず、このオーディオに応答したそれ以上のアクションを行わない。
いくつかの実施態様では、オーディオ透かしは、コンピューティングデバイスがオーディオ透かしをオーディオ透かしデータベースと比較する必要をなくすことができるデータを符号化していることもある。この符号化データは、いつコンピューティングデバイスがスピーチ認識を行うべきかについてのルール、識別子、アクション、またはそれらに類するその他の任意のデータを含む可能性がある。いくつかの実施態様では、コンピューティングデバイスは、この符号化データをオーディオ透かしデータベースと組み合わせて使用して、ホットワードに続くオーディオに対してスピーチ認識を実行するかどうかを判定することもできる。
本願に記載する主題の革新的な態様によれば、記録メディア中でホットワードを検出するときにホットワードトリガを抑制する方法は、コンピューティングデバイスが、１個のメディアコンテンツの再生に対応するオーディオを受け取るアクションと、コンピューティングデバイスが、オーディオが既定のホットワードの発語を含み、オーディオがオーディオ透かしを含むと判定するアクションと、コンピューティングデバイスが、オーディオ透かしを解析するアクションと、オーディオ透かしの解析に基づいて、コンピューティングデバイスが、既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうかを判定するアクションと、を含む。
上記およびその他の実施態様は、任意選択で、以下の特徴のうちの１つまたは複数をそれぞれ含む可能性がある。オーディオ透かしを解析するアクションは、オーディオ透かしを１つまたは複数のオーディオ透かしと比較するアクションを含む。既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうかを判定するアクションは、オーディオ透かしと１つまたは複数のオーディオ透かしとの比較にさらに基づく。オーディオ透かしは、１個のメディアコンテンツの再生に対応するオーディオの不可聴部分である。この方法は、オーディオ透かしの解析に基づいて、１個のメディアコンテンツの再生に対応するオーディオのソースを識別するアクションをさらに含む。既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうかを判定するアクションは、１個のメディアコンテンツの再生に対応するオーディオのソースにさらに基づく。この方法は、オーディオ透かしの解析に基づいて、１個のメディアコンテンツの再生に対応するオーディオのソースを識別するアクションと、１個のメディアコンテンツの再生に対応するオーディオのソースを示すようにログファイルを更新するアクションと、をさらに含む。
オーディオ透かしは、既定のホットワードの発語を含むオーディオの一部分に含まれる。この方法は、追加のコンピューティングデバイスのタイプを決定するアクションをさらに含む。既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうか判定するアクションは、追加のコンピューティングデバイスのタイプにさらに基づく。コンピューティングデバイスが、既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうか判定するアクションは、既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行すると決定するアクションを含む。この方法は、自動スピーチ認識器が既定のホットワードに続くオーディオの音訳を生成するアクションと、既定のホットワードに続くオーディオの音訳に対応するアクションを実行するアクションと、をさらに含む。コンピューティングデバイスが、既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうかを判定するアクションは、既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行しないと決定するアクションを含む。この方法は、１個のメディアコンテンツの再生に対応するオーディオに対応するアクションを抑制するアクションをさらに含む。
この方法は、追加のコンピューティングデバイスの位置を決定するアクションをさらに含む。既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうか判定するアクションは、追加のコンピューティングデバイスの位置にさらに基づく。この方法は、追加のコンピューティングデバイスのユーザ設定を決定するアクションをさらに含む。既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうか判定するアクションは、追加のコンピューティングデバイスのユーザ設定にさらに基づく。コンピューティングデバイスが、オーディオが既定のホットワードの発語を含み、オーディオがオーディオ透かしを含むと判定するアクションは、オーディオが既定のホットワードの発語を含むと判定するアクションと、オーディオが既定のホットワードの発語を含むという判定に基づいて、オーディオがオーディオ透かしを含むと判定するアクションと、を含む。コンピューティングデバイスが、オーディオが既定のホットワードの発語を含み、オーディオがオーディオ透かしを含むと判定するアクションは、オーディオが既定のホットワードの発語を含むと判定するアクションと、オーディオが既定のホットワードの発語を含むと判定した後で、オーディオがオーディオ透かしを含むと判定するアクションと、を含む。
オーディオ透かしを解析するアクションは、オーディオ透かし中に符号化されたデータを抽出するアクションを含む。既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうかを判定するアクションは、オーディオ透かし中に符号化されたデータにさらに基づく。この方法は、オーディオ透かしの解析に基づいて、１個のメディアコンテンツの再生に対応するオーディオのメディアコンテンツタイプを識別するアクションと、１個のメディアコンテンツの再生に対応するオーディオのメディアコンテンツタイプを示すようにログファイルを更新するアクションと、をさらに含む。この方法は、オーディオ透かしの解析に基づいて、１個のメディアコンテンツの再生に対応するオーディオのメディアコンテンツタイプを識別するアクションをさらに含む。既定のホットワードに続くオーディオの一部分に対してスピーチ認識を実行するかどうかを判定するアクションは、１個のメディアコンテンツの再生に対応するオーディオのメディアコンテンツタイプにさらに基づく。この方法は、オーディオ透かしの解析に基づいて、コンピューティングデバイスが、既定のホットワードに続くオーディオの一部分に対して自然言語処理を実行するかどうかを判定するアクションをさらに含む。
この態様の他の実施形態は、これらの方法の動作を実行するようにそれぞれ構成された対応するシステム、装置、およびコンピュータストレージデバイスに記録されたコンピュータプログラムを含む。
本明細書に記載する主題の特定の実施形態は、以下の利点のうちの１つまたは複数を実現するように実施することができる。コンピューティングデバイスは、特定のオーディオ透かしのみを含むホットワードに応答することができるので、コンピューティングデバイスのバッテリ電力および処理能力を節約することができる。オーディオ透かしを備えるホットワードを受け取ったときに検索クエリを実行するコンピューティングデバイスの数が少ないので、ネットワーク帯域幅も節約することができる。さらに、オーディオ透かしを利用して、例えばユーザの近傍に位置しているラウドスピーカを介して出力してもユーザに聞こえない可能性がある状況で、ユーザのコンピューティングデバイスに情報（例えば口頭のクエリに対する応答、または何らかの種類の警告）をユーザに伝えさせることもできる。上記のようなユーザとしては、聴覚障害のあるユーザ、または自分のオーディオデバイスに接続されたパーソナルスピーカ（例えばヘッドフォン）で他のオーディオを聞いているユーザなどが挙げられる。例えば、コンピューティングデバイスが、特定のオーディオ透かしを高い優先度を示すものとして理解することもあり、そのような場合には、コンピューティングデバイスは、主オーディオを介して受け取るクエリに応答することができる。
本明細書に記載する主題の１つまたは複数の実施形態の詳細を、添付の図面、および以下の説明に記載する。この主題の他の特徴、態様、および利点は、この説明、図面、および特許請求の範囲から明らかになるであろう。
記録メディア中でホットワードを検出するときにホットワードトリガを抑制する例示的なシステムを示す図である。 記録メディア中でホットワードを検出するときにホットワードトリガを抑制する例示的なプロセスを示す流れ図である。 コンピューティングデバイスおよびモバイルコンピューティングデバイスの例を示す図である。
様々な図面で、同じ参照番号および名称は、同じ要素を指している。
図１は、記録メディア中でホットワードを検出するときにホットワードトリガを抑制する例示的なシステム１００を示す図である。以下でさらに詳細に述べるが、簡単に言うと、コンピューティングデバイス１０２および１０４は、オーディオ源１０６（例えばテレビジョン）からオーディオ１０８を受け取る。オーディオ１０８は、既定のホットワードの発語およびオーディオ透かしを含む。コンピューティングデバイス１０２および１０４の両方が、オーディオ１０８を処理し、オーディオ１０８が既定のホットワードを含むと判定する。コンピューティングデバイス１０２および１０４は、オーディオ透かしを識別する。このオーディオ透かしと、コンピューティングデバイス１０２および１０４のコンテキストまたは特徴に基づいて、各コンピューティングデバイス１０２および１０４は、そのオーディオに対してスピーチ認識を実行することができる。
図１に示す例では、オーディオ源１０６は、Ｎｕｇｇｅｔ Ｗｏｒｌｄに関連するメディアコンテンツを再生している。このメディアコンテンツ中に、メディアコンテンツ内の俳優が、「ＯＫ、コンピュータ、ナゲットには何が入っている？」という発語１０８を口にする。この発語１０８は、「ＯＫ、コンピュータ」というホットワード１１０と、「ナゲットには何が入っている？」というクエリ１１２とを含んでいる。オーディオ源１０６は、スピーカを通して発語１０８を出力する。マイクロフォンを有する近傍の任意のコンピューティングデバイスは、この発語１０８を検出することができる。
発語１０８のオーディオは、可聴部分１１４と、オーディオ透かし１１６とを含む。メディアコンテンツの制作者は、オーディオ透かし１１６を追加して、特定のコンピューティングデバイスが発語１０８に正しく応答することを確実にすることができる。いくつかの実施態様では、オーディオ透かし１１６は、人間の可聴範囲より高い、または低いオーディオ周波数を含むことがある。例えば、オーディオ透かし１１６は、２０ｋＨｚ超、または２０Ｈｚ未満の周波数を含むこともある。いくつかの実施態様では、オーディオ透かし１１６は、人間の可聴範囲内であるが、その音がノイズに似ているために人間には検出できないオーディオを含むこともある。例えば、オーディオ透かし１１６は、８ｋＨｚから１０ｋＨｚの間の周波数パターンを含むことがある。様々な周波数帯域の強さは、人間には知覚できない可能性があるが、コンピューティングデバイスには検出可能である可能性がある。オーディオ１０８の周波数領域表現１１８に示すように、オーディオ１０８は、可聴部分１１４より高い周波数範囲に含まれるオーディオ透かし１１６を含む。
コンピューティングデバイス１０２および１０４は、マイクロフォンを通してオーディオを受け取ることができる任意のタイプのデバイスとすることができる。例えば、コンピューティングデバイス１０２および１０４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブルコンピュータ、携帯電話、スマートフォン、音楽プレイヤ、電子書籍リーダ、ナビゲーションシステム、スマートスピーカ／ホームアシスタント、ワイヤレス（例えばＢｌｕｅｔｏｏｔｈ（登録商標））ヘッドセット、補聴器、スマートウォッチ、スマートグラス、生活活動量計、またはその他の任意の適当なコンピューティングデバイスとすることができる。図１では、コンピューティングデバイス１０２は、スマートフォンであり、コンピューティングデバイス１０４は、デスクトップコンピュータである。オーディオ源１０６は、例えばテレビジョン、ラジオ、音楽プレイヤ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブルコンピュータ、携帯電話、またはスマートフォンなど、任意のオーディオ源とすることができる。図１では、オーディオ源１０６は、テレビジョンである。
コンピューティングデバイス１０２および１０４は、それぞれマイクロフォンを通してオーディオを受け取る。コンピューティングデバイス１０２に関して言えば、マイクロフォンは、オーディオサブシステム１２０の一部とすることができる。オーディオサブシステム１２０は、マイクロフォンを通して受け取ったオーディオを最初に処理するようにそれぞれ設計された、バッファ、フィルタ、アナログデジタル変換器を含む可能性がある。バッファは、マイクロフォンを通して受け取られ、オーディオサブシステム１２０によって処理された、現在のオーディオを格納することができる。例えば、バッファは、直前５秒間のオーディオデータを格納する。同様に、コンピューティングデバイス１０４のマイクロフォンは、オーディオサブシステム１２２の一部とすることができる。オーディオサブシステム１２２は、マイクロフォンを通して受け取ったオーディオを最初に処理するようにそれぞれ設計された、バッファ、フィルタ、アナログデジタル変換器を含む可能性がある。バッファは、マイクロフォンを通して受け取られ、オーディオサブシステム１２２によって処理された、現在のオーディオを格納することができる。例えば、バッファは、直前３秒間のオーディオデータを格納する。
コンピューティングデバイス１０２および１０４は、ホットワーダ１２４および１２６をそれぞれ含む。ホットワーダ１２４および１２６は、マイクロフォンを通して受け取られ、かつ／またはバッファに格納されているオーディオ中のホットワードを識別するようにそれぞれ構成されている。いくつかの実施態様では、ホットワーダ１２４および１２６は、コンピューティングデバイス１０２および１０４が電源投入されているときには常に活動状態にすることができる。ホットワーダ１２４は、バッファに格納されているオーディオデータを継続的に解析する。ホットワーダ１２４は、バッファ中の現在のオーディオデータがホットワードを含む可能性を反映するホットワード信頼度スコアを計算する。ホットワード信頼度スコアを計算するために、ホットワーダ１２４は、フィルタバンクエネルギーまたはメル周波数ケプストラム係数などのオーディオ特徴をオーディオデータから抽出することができる。ホットワーダ１２４は、サポートベクターマシンまたはニューラルネットワークを使用するなど、分類ウィンドウを使用して、これらのオーディオ特徴を処理することができる。いくつかの実施態様では、ホットワーダ１２４は、ホットワード信頼度スコアを決定するためにスピーチ認識を行わない。ホットワーダ１２４は、ホットワード信頼度スコアがホットワード信頼度スコアしきい値を満たす場合に、オーディオがホットワードを含むと判定する。例えば、ホットワード信頼度スコアが０．８であり、ホットワード信頼度スコアしきい値が０．７である場合には、ホットワーダ１２４は、発語１０８に対応するオーディオがホットワード１１０を含むと判定する。ホットワーダ１２６は、ホットワーダ１２４と同様に機能することができる。
コンピューティングデバイス１０２および１０４は、オーディオ透かし識別器１２８および１３０をそれぞれ含む。オーディオ透かし識別器１２８および１３０は、マイクロフォンを通して受け取られ、かつ／またはバッファに格納されているオーディオを処理し、そのオーディオに含まれるオーディオ透かしを識別するようにそれぞれ構成されている。オーディオ透かし識別器１２８および１３０は、スペクトラム拡散および音響心理学的シェーピングのタイプの透かしを検出するようにそれぞれ構成することができる。これらのタイプの透かしは、対応するオーディオの周波数帯域と重複する周波数帯域に位置することがある。人間は、これらのタイプの透かしをノイズとして知覚することがある。オーディオ透かし識別器１２８および１３０は、また、高周波数透かしを検出するようにそれぞれ構成することもできる。これらのタイプの透かしは、対応するオーディオの周波数帯域より高い周波数帯域に位置することがある。高周波数透かしの周波数帯域は、人間の聴覚のしきい値より高いことがある。オーディオ透かし識別器１２８および１３０は、また、低周波数透かしを検出するようにそれぞれ構成することもできる。これらのタイプの透かしは、対応するオーディオの周波数帯域より低い周波数帯域に位置することがある。低周波数透かしの周波数帯域は、人間の聴覚のしきい値より低いことがある。いくつかの実施態様では、オーディオ透かし識別器１２８および１３０は、それぞれのホットワーダ１２４および１２６がホットワードを検出したのに応答してオーディオを処理する。
オーディオ透かし識別器１２８および１３０は、オーディオ透かしと主オーディオとを分離するようにそれぞれ構成することもできる。主オーディオは、オーディオのうち、オーディオ透かしが付加されている部分とすることができる。例えば、主オーディオは、透かし１１６を含まない、「ＯＫ、コンピュータ、ナゲットには何が入っている？」に対応するオーディオを含む可聴部分１１４を含むことがある。オーディオ透かし識別器１２８は、コンピューティングデバイス１０２のマイクロフォンを通して受け取ったオーディオ１１８を、主オーディオ１３２と、オーディオ透かし１３４とに分離する。同様に、オーディオ透かし識別器１３０は、コンピューティングデバイス１０４のマイクロフォンを通して受け取ったオーディオ１１８を、主オーディオ１３６と、オーディオ透かし１３８とに分離する。いくつかの実施態様では、オーディオ透かしと主オーディオとが、時間領域で重複していることもある。
いくつかの実施態様では、オーディオ透かし識別器１２８および１３０は、それぞれオーディオ透かし１３４および１３８を処理して、そのオーディオ透かしの対応するビットストリームを識別することができる。例えば、オーディオ透かし識別器１２８は、オーディオ透かし１３４を処理し、オーディオ透かし１３４がビットストリーム０１０１１０１１１０１０１に対応すると判定することもある。オーディオ透かし識別器１３０は、オーディオ透かし１３８に対して同様の処理を行うことができる。
オーディオ透かし比較器１４０は、オーディオ透かし１３４をオーディオ透かし１４２と比較し、オーディオ透かし比較器１４４は、オーディオ透かし１３８をオーディオ透かし１４６と比較する。例えば、オーディオ透かし比較器１４０は、透かし１３４の周波数パターンまたはビットストリームを、オーディオ透かし１４２と比較することができる。オーディオ透かし比較器１４０は、オーディオ透かし１３４がＮｕｇｇｅｔ Ｗｏｒｌｄのオーディオ透かしと一致すると判定することがある。オーディオ透かし比較器１４４は、同様の判定を行うことができる。
オーディオ透かし１４２および１４６は、様々なエンティティがホットワードを含むメディアコンテンツのオーディオあるいはその他の配信または放送されるオーディオに埋め込むオーディオ透かしを含む可能性がある。Ｎｕｇｇｅｔ Ｗｏｒｌｄは、特定のデバイスだけがホットワードに応答し、オーディオに対してスピーチ認識を実行し、クエリ１１２を実行することを保証するために、オーディオ１０８に透かしを含めることがある。Ｎｕｇｇｅｔ Ｗｏｒｌｄは、オーディオ透かし１４２および１４６に含めるオーディオ透かし１１６を、オーディオ透かし１１６を備えるホットワードにデバイスが応答するときのための命令とともに提供することがある。例えば、Ｎｕｇｇｅｔ Ｗｏｒｌｄは、Ｎｕｇｇｅｔ Ｗｏｒｌｄのレストラン内に位置しているＮｕｇｇｅｔ Ｗｏｒｌｄユーザ識別子を有する任意のデバイスが、オーディオ透かし１１６を備えるホットワードに応答するための命令を、オーディオ透かし１４２および１４６に含めることがある。いくつかの実施態様では、オーディオ透かし１４２および１４６は、コンピューティングデバイス１０２および１０４に格納され、例えば毎日一度など定期的に更新される。いくつかの実施態様では、オーディオ透かし１４２または１４６、オーディオ透かし識別器１２８および１３０、ならびに／あるいはオーディオ透かし比較器１４０および１４４が、遠隔サーバ上に位置することもある。この場合には、コンピューティングデバイス１０２または１０４は、ネットワークを介して遠隔サーバと通信することができる。
コンピューティングデバイス１０２は、オーディオ透かし１３４を抽出し、オーディオ透かし１３４をＮｕｇｇｅｔ Ｗｏｒｌｄの透かしと突き合わせる。そのＮｕｇｇｅｔ Ｗｏｒｌｄの透かしに対応するオーディオ透かし１４２の命令に基づいて、コンピューティングデバイス１０２は、主オーディオ１３２に対してスピーチ認識を実行し、対応する音訳に含まれる任意のクエリまたはコマンドを実行することができる。これらの命令は、コンピューティングデバイス１０２がスピーチ認識を実行するかどうかを判定するために従うルールのセットを含むことがある。
コンピューティングデバイス１０２は、位置検出器１５６を含む。位置検出器１５６は、コンピューティングデバイスの位置を反映した地理学的位置データを生成することができる。位置検出器１５６は、例えばＧＰＳ、三角法、および／またはそれらに類するその他の任意の位置特定技術など、任意の地理学的位置特定技術を使用することができる。いくつかの実施態様では、位置検出器１５６は、様々な関心点の位置を示す地図または位置データにアクセスすることもできる。位置検出器１５６は、さらに、コンピューティングデバイスが位置している関心点を識別することもできる。例えば、位置検出器１５６は、コンピューティングデバイス１０２がＮｕｇｇｅｔ Ｗｏｒｌｄに位置していると判定することもある。
コンピューティングデバイス１０２は、デバイス識別子１５８を含む。デバイス識別子１５８は、コンピューティングデバイス１０２についてデバイスのタイプを識別するデバイス識別１６０を含む。デバイス識別１６０は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブルコンピュータ、携帯電話、スマートフォン、音楽プレイヤ、電子書籍リーダ、ナビゲーションシステム、スマートスピーカ／ホームアシスタント、またはその他の任意の適当なコンピューティングデバイスである可能性がある。例えば、コンピューティングデバイス１０２のデバイス識別１６０は、電話である。
コンピューティングデバイス１０２は、ユーザ識別子１６２を含む。ユーザ識別子１６２は、コンピューティングデバイス１０２のユーザを識別するユーザ識別１６４を含む。ユーザ識別１６４は、電子メールアドレス、電話番号、またはそれらに類するその他の任意の種類の一意的なユーザ識別子である可能性がある。例えば、コンピューティングデバイス１０２のユーザ識別１６４は、ｕｓｅｒ＠ｅｘａｍｐｌｅ．ｃｏｍである。ユーザ識別子１６２は、ユーザ１５４が入力することができる。
コンピューティングデバイス１０２は、ユーザ設定１５２を含む。ユーザ設定１５２は、ユーザ１５４が与えることができ、コンピューティングデバイス１０２がどのようにホットワードに応答するかについての追加のルールを含むことがある。例えば、ユーザ設定１５２は、コンピューティングデバイス１０２が家にあるときにオーディオ透かしを含むホットワードを受け取らない限り、コンピューティングデバイス１０２は、オーディオ透かしを含むいかなるホットワードにも応答しないというルールを含むことがある。別の例としては、ユーザ設定１５２は、コンピューティングデバイス１０２は、Ｃｈｉｃｋｅｎ Ｗｏｒｌｄなど特定のエンティティ（例えばメディアコンテンツの所有者または制作者）に対応するオーディオ透かしを含むホットワードに応答しないというルールを含むこともある。いくつかの実施態様では、ユーザ１５４は、コンピューティングデバイス１０２が特定のエンティティの透かしを備えたホットワードに応答できるようにすることに同意することもある。
図１に示す例では、スピーチ認識器１６６は、スピーチ認識器状態１６８が示すように非活動状態のままである。コンピューティングデバイス１０２は、オーディオ透かしに格納されるオーディオ透かし１３４に対応する命令が、デバイス位置、ユーザ設定１５２、デバイス識別１６０、およびユーザ識別１６４に当てはまることに基づいて、スピーチ認識器状態１６８を非活動状態に設定する。例えば、オーディオ透かし１３４に対応する命令は、ユーザ識別１６４がＮｕｇｇｅｔ Ｗｏｒｌｄ識別子であり、デバイスがＮｕｇｇｅｔ Ｗｏｒｌｄのレストランに位置している場合にスピーチ認識器状態１６８を活動状態に設定する、というものであることもある。コンピューティングデバイス１０２については、ユーザ識別１６４は、Ｎｕｇｇｅｔ Ｗｏｒｌｄ識別子ではない。したがって、スピーチ認識器状態１６８は、非活動状態である。
いくつかの実施態様では、コンピューティングデバイス１０２のユーザインタフェース生成器１４８は、グラフィカルインタフェース用のデータをコンピューティングデバイスのディスプレイに提供することがある。グラフィカルインタフェースは、コンピューティングデバイスがプロセスまたはアクションを実行しているとき、実行する前、または実行した後で、コンピューティングデバイス１０２のプロセスまたはアクションを示すことができる。例えば、ユーザインタフェース生成器１４８は、コンピューティングデバイス１０２が受け取ったオーディオを処理中であること、コンピューティングデバイス１０２がオーディオ透かし１３４の識別中であること、スピーチ認識器状態１６８、および／あるいは識別したオーディオ透かし１３４の任意の特性またはルールを示すインタフェースを表示することがある。
いくつかの実施態様では、ユーザインタフェース生成器１４８は、スピーチ認識器状態１６８が非活動状態であることを示すインタフェースを生成することがある。このインタフェースは、スピーチ認識器状態１６８をオーバライドするためのユーザ選択可能なオプションを含むこともある。例えば、ユーザ１５４は、スピーチ認識器状態１６８を活動状態に設定するオプションを選択することもある。「ナゲットには何が入っている？」というクエリ１１２を聞いて、ユーザ１５４が興味を覚え、コンピューティングデバイス１０２がクエリ１１２を処理して出力を提供することを要求することもある。
いくつかの実施態様では、コンピューティングデバイス１０２は、オーディオ透かしログ１７０を含むことがある。オーディオ透かしログ１７０は、コンピューティングデバイス１０２が各オーディオ透かしを受け取った回数を示すデータを含むことがある。例えば、コンピューティングデバイス１０２は、オーディオ透かし１３４を受け取って識別するたびに、オーディオ透かし１３４を受け取ったことを示すデータをオーディオ透かしログ１７０に格納することがある。このデータは、タイムスタンプ、デバイス位置、任意の関連のあるユーザ設定、ユーザ識別子、およびそれらに類するその他の任意の情報を含む可能性がある。いくつかの実施態様では、コンピューティングデバイス１０２は、オーディオ透かしログ１７０のデータを、サーバ上の集合オーディオ透かしログに提供し、サーバは、オーディオ透かしを受け取る様々なコンピューティングデバイスからのオーディオ透かしログを結合する。集合オーディオ透かしログは、受け取ったコンピューティングデバイスのユーザ識別、デバイス識別子、およびオーディオ透かしログ１７０に格納されているデータを含む可能性がある。いくつかの実施態様では、集合オーディオ透かしログ内のデータとオーディオ透かしログ１７０内のデータとが同期していることもある。その場合には、オーディオ透かしログ１７０は、様々なデバイスからの追加のログデータ、ならびにそれらの様々なデバイスを識別するデータ、様々なユーザ、位置情報、タイムスタンプデータ、およびその他の関連情報を含むことがある。
いくつかの実施態様では、特定のオーディオ透かしについての命令は、オーディオ透かしログ１７０に格納されているデータに関係する命令を含むことがある。これらの命令は、特定のオーディオ透かしでマークされたホットワードがスピーチ認識を起動する特定の回数に関することがある。例えば、これらの命令は、２４時間の期間内に、オーディオ透かし１１６はスピーチ認識器１６６を１回しか起動しないということを示すこともある。
いくつかの実施態様では、オーディオデバイス１０６のメディアコンテンツの制作者は、集合オーディオ透かしログにアクセスして、ホットワード１１０および対応するオーディオ透かし１１６がスピーチ認識器を起動するたびにそれに関する詳細を識別することもある。いくつかの実施態様では、ユーザは、デバイス上のユーザ設定を通して、コンピューティングデバイスがオーディオ透かしログを集合オーディオ透かしログにアップロードしないように指示することもある。
コンピューティングデバイス１０４は、コンピューティングデバイス１０２がオーディオ透かし１３４を処理するのと同様に、オーディオ透かし１３８を処理する。特に、コンピューティングデバイス１０４は、オーディオ透かし１３８を抽出し、このオーディオ透かし１３８をＮｕｇｇｅｔ Ｗｏｒｌｄの透かしと突き合わせる。そのＮｕｇｇｅｔ Ｗｏｒｌｄの透かしに対応するオーディオ透かし１４６の命令に基づいて、コンピューティングデバイス１０４は、主オーディオ１３６に対してスピーチ認識を実行し、対応する音訳に含まれる任意のクエリまたはコマンドを実行することができる。これらの命令は、コンピューティングデバイス１０４がスピーチ認識を実行するかどうかを判定するために従うルールのセットを含むことがある。
コンピューティングデバイス１０４は、位置検出器１７６を含む。位置検出器１７６は、コンピューティングデバイスの位置を反映した地理学的位置データを生成することができる。位置検出器１７６は、例えばＧＰＳ、三角法、および／またはそれらに類するその他の任意の位置特定技術など、任意の地理学的位置特定技術を使用することができる。いくつかの実施態様では、位置検出器１７６は、様々な関心点の位置を示す地図または位置データにアクセスすることもできる。位置検出器１７６は、さらに、コンピューティングデバイス１０４が位置している関心点を識別することもできる。例えば、位置検出器１７６は、コンピューティングデバイス１０４がＮｕｇｇｅｔ Ｗｏｒｌｄに位置していると判定することもある。
コンピューティングデバイス１０４は、デバイス識別子１７８を含む。デバイス識別子１７８は、コンピューティングデバイス１０４についてデバイスのタイプを識別するデバイス識別１８０を含む。デバイス識別１８０は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ウェアラブルコンピュータ、携帯電話、スマートフォン、音楽プレイヤ、電子書籍リーダ、ナビゲーションシステム、スマートスピーカ／ホームアシスタント、またはその他の任意の適当なコンピューティングデバイスである可能性がある。例えば、コンピューティングデバイス１０４のデバイス識別１８０は、デスクトップコンピュータである。
コンピューティングデバイス１０４は、ユーザ識別子１８２を含む。ユーザ識別子１８２は、コンピューティングデバイス１０４のユーザを識別するユーザ識別１８４を含む。ユーザ識別１８４は、電子メールアドレス、電話番号、またはそれらに類するその他の任意の種類の一意的なユーザ識別子である可能性がある。例えば、コンピューティングデバイス１０４のユーザ識別１８４は、ｓｔｏｒｅ＠ｎｕｇｇｅｔｗｏｒｌｄ．ｃｏｍである。ユーザ識別子１８２は、ユーザが入力することができる。
コンピューティングデバイス１０４は、ユーザ設定１８６を含む。ユーザ設定１８６は、ユーザが与えることができ、コンピューティングデバイス１０４がどのようにホットワードに応答するかについての追加のルールを含むことがある。例えば、ユーザ設定１８６は、コンピューティングデバイス１０４がＮｕｇｇｅｔ Ｗｏｒｌｄのレストランに位置していない限り、コンピューティングデバイス１０４はオーディオ透かしを含むいかなるホットワードにも応答しないというルールを含むことがある。別の例としては、ユーザ設定１８６は、コンピューティングデバイス１０４は、Ｎｕｇｇｅｔ Ｗｏｒｌｄのオーディオ透かしでマークされたホットワード以外のいかなるホットワードにも応答しないというルールを含むこともある。別の例としては、ユーザ設定１８６は、コンピューティングデバイス１０４は、Ｎｕｇｇｅｔ Ｗｏｒｌｄの営業時間外にはいかなる種類のオーディオ透かしを有するいかなるホットワードにも応答しないと示すこともある。
図１に示す例では、スピーチ認識器１７２は、スピーチ認識器状態１７４が示すように活動状態である。コンピューティングデバイス１０４は、オーディオ透かしに格納されるオーディオ透かし１３８に対応する命令が、デバイス位置、ユーザ設定１８６、デバイス識別１８０、およびユーザ識別１８４に当てはまることに基づいて、スピーチ認識器状態１７４を活動状態に設定する。例えば、オーディオ透かし１３８に対応する命令は、ユーザ識別１８４がＮｕｇｇｅｔ Ｗｏｒｌｄ識別子であり、デバイスがＮｕｇｇｅｔ Ｗｏｒｌｄのレストランに位置している場合にスピーチ認識器状態１７４を活動状態に設定する、というものであることもある。コンピューティングデバイス１０４については、ユーザ識別１８４は、Ｎｕｇｇｅｔ Ｗｏｒｌｄ識別子であり、その位置は、Ｎｕｇｇｅｔ Ｗｏｒｌｄである。したがって、スピーチ認識器状態１７４は、活動状態である。
スピーチ認識器１７２は、主オーディオ１３６に対してスピーチ認識を実行する。スピーチ認識器１７２は、「ナゲットには何が入っている？」という音訳を生成する。コンピューティングデバイス１０４は、この音訳がクエリに対応する場合には、この音訳を検索エンジンに提供することもある。コンピューティングデバイスは、この音訳がコマンドに対応する場合には、コマンドを実行することができる。図１の例では、コンピューティングデバイス１０４は、主オーディオ１３６の音訳を検索エンジンに提供する。検索エンジンは、結果を戻し、コンピューティングデバイス１０４は、スピーカを通してその結果を出力することができ、このスピーカは、例えばコンピューティングデバイスのスピーカ、またはヘッドフォン、イヤフォン、インナーイヤー型イヤフォンなどの、コンピューティングデバイスに接続されたパーソナルスピーカとすることができる。パーソナルスピーカを介して結果を出力することは、例えば情報が主オーディオに含まれた状態で出力されるとその情報をユーザが聞き取ることができないときに、情報をユーザに提供するのに有用であることがある。例えば、Ｎｕｇｇｅｔ Ｗｏｒｌｄの例では、コンピューティングデバイス１０４は、「ナゲットには鶏肉が入っています」というオーディオ１９０を出力することがある。いくつかの実施態様では、ユーザインタフェース生成器１５０は、コンピューティングデバイス１０４のディスプレイに検索結果を表示することができる。これは、情報が主オーディオに含まれた状態で出力された場合、またはコンピューティングデバイスに関連するスピーカを介して出力された場合にその情報を聞き取ることができない可能性がある聴覚障害者などのユーザに情報を提供するのに特に有用であることがある。
いくつかの実施態様では、ユーザインタフェース生成器１５０は、追加のインタフェースを提供することもある。グラフィカルインタフェースは、コンピューティングデバイス１０４がプロセスまたはアクションを実行しているとき、実行する前、または実行した後で、コンピューティングデバイス１０４のプロセスまたはアクションを示すことができる。例えば、ユーザインタフェース生成器１５０は、コンピューティングデバイス１０４が受け取ったオーディオを処理中であること、コンピューティングデバイス１０４がオーディオ透かし１３８の識別中であること、スピーチ認識器状態１７４、および／あるいは識別したオーディオ透かし１３８の任意の特性またはルールを示すインタフェースを表示することがある。
いくつかの実施態様では、ユーザインタフェース生成器１５０は、スピーチ認識器状態１７４が活動状態であることを示すインタフェースを生成することがある。このインタフェースは、スピーチ認識器状態１７４をオーバライドするためのユーザ選択可能なオプションを含むこともある。例えば、ユーザは、音訳に関係する任意のアクションを抑制するようにスピーチ認識器状態１７４を設定するオプションを選択することもある。いくつかの実施態様では、ユーザインタフェース生成器１５０は、最近受け取ったオーバライド、およびコンピューティングデバイス１０４の現在の特性に基づいてユーザ設定１８６を更新するインタフェースを生成することもある。ユーザインタフェース生成器１５０は、また、オーバライドコマンドを受け取った後で同様のインタフェースを提供することもある。
いくつかの実施態様では、コンピューティングデバイス１０４は、オーディオ透かしログ１８８を含むことがある。オーディオ透かしログ１８８は、コンピューティングデバイス１０４が受け取るオーディオ透かしに基づいて、オーディオ透かしログ１７０と同様のデータを格納することができる。オーディオ透かしログ１８８は、オーディオ透かしログ１７０と同様の方法で、集合オーディオ透かしログと対話することができる。
いくつかの実施態様では、コンピューティングデバイス１０２および１０４は、オーディオ透かし１４２および１４６に格納されるルールとは無関係に、それぞれ主オーディオ１３４および１３８に対してスピーチ認識を実行することができる。オーディオ透かし１４２および１４６は、部分的に音訳に基づいて主オーディオのアクションを実行することに関係するルールを含むことがある。
図２は、記録メディア中でホットワードを検出するときにホットワードトリガを抑制する例示的なプロセス２００を示す図である。一般に、プロセス２００は、ホットワードおよび透かしを含むオーディオに基づいてメディアコンテンツに対応するオーディオに対してスピーチ認識を実行するものである。プロセス２００について、例えば図１に示すコンピューティングデバイス１０２または１０４などの１つまたは複数のコンピュータを含むコンピュータシステムによって実行されるものとして説明する。
このシステムは、１個のメディアコンテンツの再生に対応するオーディオを受け取る（２１０）。いくつかの実施態様では、このオーディオは、システムのマイクロフォンを通して受け取ることができる。このオーディオは、テレビジョンまたはラジオで再生されるメディアコンテンツのオーディオに対応していることがある。
このシステムは、このオーディオが、既定のホットワードの発語およびオーディオ透かしを含むと判定する（２２０）。いくつかの実施態様では、オーディオ透かしは、オーディオの不可聴部分である。例えば、オーディオ透かしは、人間の聴覚の周波数帯域より高い、またはそれより低い周波数帯域に位置することがある。いくつかの実施態様では、オーディオ透かしは可聴であるが、ノイズのように聞こえる。いくつかの実施態様では、オーディオ透かしは、既定のホットワードのオーディオと重複している。いくつかの実施態様では、システムは、オーディオが既定のホットワードを含むと判定する。この判定に応答して、システムは、このオーディオを処理して、このオーディオがオーディオ透かしを含むかどうかを判定する。
このシステムは、このオーディオ透かしを、１つまたは複数のオーディオ透かしと比較する（２３０）。いくつかの実施態様では、システムは、このオーディオ透かしを、オーディオ透かしのデータベースと比較することもある。このデータベースは、このシステム上、または異なるコンピューティングデバイス上に格納することができる。システムは、オーディオ透かしのデジタル表現またはオーディオ透かしのアナログ表現を、時間領域および／または周波数領域で比較することができる。システムは、一致するオーディオ透かしを識別し、識別したオーディオ透かしについてデータベースに指定されているルールにしたがって、そのオーディオを処理する。いくつかの実施態様では、システムは、オーディオ透かしのソースまたは所有者を識別することもある。例えば、ソースまたは所有者は、エンティティ、Ｎｕｇｇｅｔ Ｗｏｒｌｄであることもある。システムは、システムがＮｕｇｇｅｔ Ｗｏｒｌｄのオーディオ透かしを備えたホットワードを受け取ったことを示すようにログファイルを更新することができる。
システムは、オーディオ透かしと１つまたは複数のオーディオ透かしとの比較に基づいて、そのオーディオの既定のホットワードに続く部分に対してスピーチ認識を実行するかどうかを判定する（２４０）。識別したオーディオ透かしについてデータベースに指定されているルール、オーディオ透かしのソース、およびシステムのコンテキストに基づいて、システムは、既定のホットワードに続くオーディオに対してスピーチ認識を実行するかどうかを判定する。システムのコンテキストは、システムの種類、システムの位置、および任意のユーザ設定の任意の組合せに基づいていることもある。例えば、ルールが、ユーザの家に位置している携帯電話は、ユーザが住んでいるアパートの管理会社の特定の透かしを備えたホットワードを受け取ったら、そのオーディオに対してスピーチ認識を実行しなければならないと指定することもある。いくつかの実施態様では、システムは、このオーディオ透かしと１つまたは複数の透かしとの比較に基づいて、あるいはこのオーディオ透かしの解析に基づいて、そのオーディオの既定のホットワードに続く部分に対して自然言語処理を実行するかどうかを判定する。システムは、スピーチ認識に加えて自然言語処理を行うこともあるし、あるいはスピーチ認識の代わりに自然言語処理を行うこともある。
システムがスピーチ認識を実行すると決定した場合には、システムは、ホットワードに続くオーディオの音訳を生成する。システムは、アパート建設会合の約束をカレンダーに追加するなど、音訳に含まれるコマンドを実行する、または検索エンジンにクエリを提示する。システムは、システムのスピーカを介して、またはシステムのディスプレイ上に、あるいはその両方によって、検索結果を出力することができる。
システムがスピーチ認識を実行しないと決定した場合には、システムは、スリープモード、待機モード、または低エネルギーモードに留まることがある。システムは、オーディオを処理している間、スリープモード、待機モード、または低エネルギーモードであることがあり、システムがオーディオに対してスピーチ認識を実行しない場合も、スリープモード、待機モード、または低エネルギーモードに留まることがある。いくつかの実施態様では、ユーザ１５４は、コンピューティングデバイス１０２がオーディオ１１８を受け取るときにコンピューティングデバイス１０２を使用していることがある。例えば、ユーザ１５４は、音楽を聴いていたり、またはフォトアプリケーションを見ていたりすることもある。この場合には、ホットワードおよびオーディオ透かしの処理は、バックグラウンドで行うことができ、ユーザの活動が中断されないようにすることができる。いくつかの実施態様では、オーディオは、オーディオ透かしを含まないこともある。この場合には、システムは、ホットワードの後のオーディオに対してスピーチ認識を実行し、そのオーディオに含まれる任意のコマンドまたはクエリを実行することができる。
いくつかの実施態様では、システムは、オーディオのメディアコンテンツのタイプを決定することがある。システムは、オーディオ透かしを、オーディオ透かしデータベースに含まれるオーディオ透かしと比較することができる。システムは、オーディオ透かしデータベース中の一致するオーディオ透かしを識別することができ、この一致するオーディオ透かしが、その特定のオーディオ透かしのメディアコンテンツのタイプを特定することができる。システムは、その特定したメディアコンテンツのタイプについてのルールを適用することができる。例えば、オーディオ透かしデータベースが、あるオーディオ透かしが、セールスメディア、ディレクショナルメディア（ｄｉｒｅｃｔｉｏｎａｌ ｍｅｄｉａ）、商業メディア、政治メディア、またはその他の任意のタイプのメディアに含まれていることを示すことがある。この場合には、システムは、そのメディアのタイプについての一般ルールに従うことがある。例えば、そのルールは、システムが家に位置しているときには、商業メディアについてのみスピーチ認識を実行する、というものであることもある。また、そのルールは、受け取ったオーディオ透かしに特有のルールであることもある。いくつかの実施態様では、システムは、メディアコンテンツのタイプもオーディオ透かしログに記録することがある。
いくつかの実施態様では、システムは、オーディオ透かしを解析することがある。システムは、オーディオ透かしをオーディオ透かしデータベースと比較する代わりにオーディオ透かしを解析することもあるし、あるいはオーディオ透かしデータベースとの比較と組み合わせてオーディオ透かしを解析することもある。オーディオ透かしは、アクション、識別子、ルール、またはそれらに類するその他の任意のデータを符号化していることがある。システムは、オーディオ透かしを復号し、復号したオーディオ透かしにしたがってオーディオを処理することができる。オーディオ透かしは、ヘッダおよびペイロードとして符号化することができる。システムは、ヘッダを識別することもあり、このヘッダは、全て、またはほとんど全てのオーディオ透かしに共通であることもある、あるいは特定のオーディオ透かしのグループを特定することもある。ペイロードは、ヘッダの後にあることもあり、アクション、識別子、ルール、またはそれらに類するその他のデータを符号化していることがある。
システムは、オーディオ透かしに符号化されたルールを適用することができる。例えば、そのルールは、システムが、システムに格納されたユーザ識別子に対応する位置に位置するスマートスピーカである場合に、システムが、ホットワードに続くオーディオの部分に対してスピーチ認識を実行する、というものであることもある。この場合には、システムは、オーディオ透かしデータベースにアクセスする必要がないこともある。いくつかの実施態様では、システムは、オーディオ透かしに符号化されたルールをオーディオ透かしデータベースに追加することもある。
システムは、オーディオ透かしデータベースと組み合わせて、オーディオ透かしに符号化されたデータを使用することもある。例えば、オーディオ透かしに符号化されたデータは、そのオーディオが政治的なメディアコンテンツであることを示していることもある。システムは、オーディオ透かしに対応するルールであって、システムがユーザの家に位置しているときにその政治的メディアコンテンツの透かし、または商業メディアコンテンツの透かしを含むオーディオに対してシステムがスピーチ認識を実行するように指定するルールにアクセスする。この場合には、オーディオ透かしは、システムがオーディオ透かしデータベース内の対応するオーディオ透かしを識別するために使用することができるヘッダまたはその他の部分を含むことがある。ペイロードは、そのメディアコンテンツのタイプ、あるいはアクション、識別子、またはルールなどその他のデータを符号化していることもある。
図３は、本明細書に記載する技術を実施するために使用することができる、コンピューティングデバイス３００およびモバイルコンピューティングデバイス３５０の例を示す図である。コンピューティングデバイス３００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、およびその他の適当なコンピュータなど、様々な形態のデジタルコンピュータを表すものと意図されている。モバイルコンピューティングデバイス３５０は、携帯情報端末、携帯電話、スマートフォン、ワイヤレス（例えばＢｌｕｅｔｏｏｔｈ（登録商標））ヘッドセット、補聴器、スマートウォッチ、スマートグラス、生活活動量計、およびそれらに類するその他のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表すものと意図されている。ここに示す構成要素、それらの接続および関係、ならびにそれらの機能は、例示のみを目的としたものであり、限定のためのものではない。
コンピューティングデバイス３００は、プロセッサ３０２と、メモリ３０４と、ストレージデバイス３０６と、メモリ３０４および複数の高速拡張ポート３１０に接続する高速インタフェース３０８と、低速拡張ポート３１４およびストレージデバイス３０６に接続する低速インタフェース３１２とを含む。プロセッサ３０２、メモリ３０４、ストレージデバイス３０６、高速インタフェース３０８、高速拡張ポート３１０、および低速インタフェース３１２は、様々なバスを用いて相互接続されており、共通のマザーボードに取り付けることもできるし、あるいは適宜その他の方法で取り付けることもできる。プロセッサ３０２は、ＧＵＩのためのグラフィック情報を、高速インタフェース３０８に結合されたディスプレイ３１６などの外部入出力デバイス上に表示するためのメモリ３０４またはストレージデバイス３０６に格納された命令など、コンピューティングデバイス３００内で実行される命令を処理する。他の実施態様では、複数のメモリ、および複数種類のメモリとともに、適宜、複数のプロセッサおよび／または複数のバスを使用することもできる。また、複数のコンピューティングデバイスを接続して、各デバイスが必要な動作の一部分を（例えばサーババンクとして、ブレードサーバのグループとして、またはマルチプロセッサシステムとして）提供するようにすることもできる。
メモリ３０４は、コンピューティングデバイス３００内の情報を格納する。いくつかの実施態様では、メモリ３０４は、１つまたは複数の揮発性メモリユニットである。いくつかの実施態様では、メモリ３０４は、１つまたは複数の不揮発性メモリユニットである。メモリ３０４は、磁気ディスクまたは光ディスクなど、別の形態のコンピュータ可読媒体であってもよい。
ストレージデバイス３０６は、コンピューティングデバイス３００に大容量記憶域を提供することができる。いくつかの実施態様では、ストレージデバイス３０６は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイスなどのコンピュータ可読媒体、フラッシュメモリもしくはそれに類するその他のソリッドステートメモリデバイス、または記憶領域ネットワークもしくはその他の構成のデバイスを含むデバイスのアレイである、あるいはそれらを含む可能性がある。命令は、情報担体に格納することができる。命令は、１つまたは複数の処理デバイス（例えばプロセッサ３０２）によって実行されると、上記に記載した方法など、１つまたは複数の方法を実行する。命令は、また、コンピュータ可読媒体または機械可読媒体など、１つまたは複数のストレージデバイス（例えばメモリ３０４、ストレージデバイス３０６、またはプロセッサ３０２上のメモリ）によって格納することもできる。
高速インタフェース３０８は、コンピューティングデバイス３００の帯域消費性の高い動作を管理し、低速インタフェース３１２は、帯域消費性の低い動作を管理する。このような機能の割振りは、単なる例示である。いくつかの実施態様では、高速インタフェース３０８は、メモリ３０４、ディスプレイ３１６（グラフィックスプロセッサまたはアクセラレータを通して）、および様々な拡張カード（図示せず）を受けることができる高速拡張ポート３１０に結合される。その実施態様では、低速インタフェース３１２は、ストレージデバイス３０６、および低速拡張ポート３１４に結合される。様々な通信ポート（例えばＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ、ワイヤレスＥｔｈｅｒｎｅｔ）を含む可能性がある低速拡張ポート３１４は、例えばネットワークアダプタを通して、キーボード、ポインティングデバイス、スキャナ、マイクロフォン、スピーカ、あるいはスイッチまたはルータなどのネットワーキングデバイスなど、１つまたは複数の入出力デバイスに結合することができる。
コンピューティングデバイス３００は、図示のように、いくつかの異なる形態で実装することができる。例えば、コンピューティングデバイス３００は、標準的なサーバ３２０として実装することも、またはそのようなサーバのグループに複数回実装することもできる。さらに、コンピューティングデバイス３００は、ラップトップコンピュータ３２２などのパーソナルコンピュータに実装することもできる。コンピューティングデバイス３００は、ラックサーバシステム３２４の一部として実装することもできる。あるいは、コンピューティングデバイス３００の構成要素を、モバイルコンピューティングデバイス３５０などのモバイルデバイス（図示せず）内の他の構成要素と結合することもできる。このようなデバイスはそれぞれ、コンピューティングデバイス３００およびモバイルコンピューティングデバイス３５０を１つまたは複数含み、システム全体は、互いに通信する複数のコンピューティングデバイスで構成することができる。
モバイルコンピューティングデバイス３５０は、特に、プロセッサ３５２、メモリ３６４、タッチ式ディスプレイ３５４などの入出力デバイス、通信インタフェース３６６、およびトランシーバ３６８を含む。モバイルコンピューティングデバイス３５０は、追加の記憶域を提供するために、マイクロドライブまたはその他のデバイスなどのストレージデバイスを備えることもある。プロセッサ３５２、メモリ３６４、ディスプレイ３５４、通信インタフェース３６６、およびトランシーバ３６８は、様々なバスを用いて相互接続されており、これらの構成要素の一部は、共通のマザーボードに取り付けることもできるし、あるいは適宜その他の方法で取り付けることもできる。
プロセッサ３５２は、メモリ３６４に格納された命令など、モバイルコンピューティングデバイス３５０内で命令を実行することができる。プロセッサ３５２は、別個の複数のアナログプロセッサおよびデジタルプロセッサを含むチップのチップセットとして実装することができる。プロセッサ３５２は、例えば、ユーザインタフェース、モバイルコンピューティングデバイス３５０によって実行されるアプリケーション、およびモバイルコンピューティングデバイス３５０によるワイヤレス通信の制御など、モバイルコンピューティングデバイス３５０の他の構成要素の調整を行うことができる。
プロセッサ３５２は、制御インタフェース３５８と、ディスプレイ３５４に結合されたディスプレイインタフェース３５６とを通して、ユーザと通信することができる。ディスプレイ３５４は、例えば、ＴＦＴ（薄膜トランジスタ液晶ディスプレイ）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、あるいはその他の適当な表示技術とすることができる。ディスプレイインタフェース３５６は、ディスプレイ３５４を駆動してグラフィック情報およびその他の情報をユーザに対して提示するための適当な回路を含むことができる。制御インタフェース３５８は、ユーザからコマンドを受け取り、それらのコマンドをプロセッサ３５２に提示するために変換することができる。さらに、外部インタフェース３６２が、モバイルコンピューティングデバイス３５０がその他のデバイスと近領域通信することを可能にするように、プロセッサ３５２との通信を実現することもある。外部インタフェース３６２は、例えば、いくつかの実施態様では有線通信を実現することもあるし、他の実施態様ではワイヤレス通信を実現することもあり、複数のインタフェースを使用することもできる。
メモリ３６４は、モバイルコンピューティングデバイス３５０内の情報を格納する。メモリ３６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、あるいは１つまたは複数の不揮発性メモリユニットのうちの１つまたは複数として実装することができる。拡張メモリ３７４を設けて、拡張インタフェース３７２を通してモバイルコンピューティングデバイス３５０に接続することもでき、拡張インタフェース３７２は、例えば、ＳＩＭＭ（Ｓｉｎｇｌｅ Ｉｎ Ｌｉｎｅ Ｍｅｍｏｒｙ Ｍｏｄｕｌｅ）カードインタフェースを含む可能性がある。拡張メモリ３７４は、モバイルコンピューティングデバイス３５０に追加の記憶スペースを提供することもできるし、あるいは、モバイルコンピューティングデバイス３５０のためのアプリケーションまたはその他の情報を格納することもできる。具体的には、拡張メモリ３７４は、上述したプロセスを実行する、または補足する命令を含むことがあり、セキュア情報を含むこともある。したがって、例えば、拡張メモリ３７４は、モバイルコンピューティングデバイス３５０のためのセキュリティモジュールとして設けられることもあり、モバイルコンピューティングデバイス３５０の安全な使用を可能にする命令がプログラムされていることもある。さらに、識別情報をハッキングできない方法でＳＩＭＭカードに入れるなど、安全なアプリケーションをＳＩＭＭカードを介して追加の情報とともに提供することもできる。
メモリは、以下で述べるように、例えばフラッシュメモリおよび／またはＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含む可能性がある。いくつかの実施態様では、命令は、情報担体に格納される。命令は、１つまたは複数の処理デバイス（例えばプロセッサ３５２）によって実行されたときに、上述した方法など、１つまたは複数の方法を実行する。命令は、また、１つまたは複数のコンピュータ可読媒体または機械可読媒体など、１つまたは複数のストレージデバイス（例えばメモリ３６４、拡張メモリ３７４、またはプロセッサ３５２上のメモリ）によって格納することもできる。いくつかの実施態様では、命令は、例えばトランシーバ３６８または外部インタフェース３６２を介して、伝搬信号に含まれた状態で受信することもできる。
モバイルコンピューティングデバイス３５０は、通信インタフェース３６６を通してワイヤレス通信することができ、通信インタフェース３６６は、必要な場合にはデジタル信号処理回路を含むことがある。通信インタフェース３６６は、特にＧＳＭ（登録商標）音声電話（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＳＭＳ（ショートメッセージサービス）、ＥＭＳ（Ｅｎｈａｎｃｅｄ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）、ＭＭＳメッセジング（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）、ＣＤＭＡ（符号分割多重アクセス）、ＴＤＭＡ（時分割多重アクセス）、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＷＣＤＭＡ（登録商標）（広帯域符号分割多重アクセス）、ＣＤＭＡ２０００、またはＧＰＲＳ（汎用パケット無線サービス）など、様々なモードまたはプロトコルの通信を実現することができる。このような通信は、例えば、無線周波数を用いてトランシーバ３６８を通して行うことができる。さらに、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、またはその他のそのようなトランシーバ（図示せず）を用いるなどして、短距離通信を行うこともできる。さらに、ＧＰＳ（全地球測位システム）受信モジュール３７０が、追加のナビゲーションおよび位置に関するワイヤレスデータをモバイルコンピューティングデバイス３５０に提供することもでき、このデータは、モバイルコンピューティングデバイス３５０上で動作するアプリケーションが適宜使用することができる。
モバイルコンピューティングデバイス３５０は、また、ユーザからの口頭情報を受け取り、その情報を使用可能なデジタル情報に変換することができるオーディオコーデック３６０を使用して、音声通信することもできる。オーディオコーデック３６０は、例えばモバイルコンピューティングデバイス３５０のハンドセット内のスピーカなどを通して、ユーザに聞こえる可聴音を生成することもできる。このような音は、音声電話の音を含むことがあり、記録音（例えばボイスメッセージ、音楽ファイルなど）を含むこともあり、またモバイルコンピューティングデバイス３５０上で動作するアプリケーションによって生成された音を含むこともある。
モバイルコンピューティングデバイス３５０は、図に示すように、いくつかの異なる形態で実装することができる。例えば、モバイルコンピューティングデバイス３５０は、携帯電話３８０として実装することもできる。モバイルコンピューティングデバイス３５０は、また、スマートフォン３８２、携帯情報端末、またはそれらに類するその他のモバイルデバイスの一部として実装することもできる。
本明細書に記載するシステムおよび技術の様々な実施態様は、デジタル電子回路、集積回路、特殊設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現することができる。これらの様々な実施態様は、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受け取り、かつそれらにデータおよび命令を伝送するように結合された特殊目的用である場合も汎用である場合もある少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能かつ／または解釈可能な１つまたは複数のコンピュータプログラムにおける実施態様を含む可能性がある。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルプロセッサ用の機械命令を含み、高水準手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語で、かつ／あるいはアセンブリ／機械言語で、実装することができる。本明細書で使用する機械可読媒体およびコンピュータ可読媒体という用語は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置、および／またはデバイス（例えば磁気ディスク、光ディしく、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。機械可読信号という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。
ユーザとの対話を実現するために、本明細書に記載するシステムおよび技術は、ユーザに対して情報を表示する表示デバイス（例えばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を与えることができるようにするためのキーボードおよびポインティングデバイス（例えばマウスまたはトラックボール）とを有するコンピュータ上に実装することができる。他の種類のデバイスを使用して、ユーザとの対話を実現することもできる。例えば、ユーザに与えられるフィードバックは、任意の形態の感覚フィードバック（例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができ、ユーザからの入力は、音響入力、スピーチ入力、または触覚入力など、任意の形態で受け取ることができる。
本明細書に記載するシステムおよび技術は、バックエンド構成要素（例えばデータサーバ）、ミドルウェア構成要素（例えばアプリケーションサーバ）、フロントエンド構成要素（例えばユーザが本明細書に記載するシステムおよび技術の実施態様と対話することを可能にするグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータ）、あるいはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含む、コンピューティングシステム内に実装することができる。このシステムの構成要素は、任意の形態または媒体のデジタル・データ通信（例えば通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、およびインターネットがある。
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般には互いに遠隔にあり、通常は通信ネットワークを通して対話する。クライアントとサーバの関係は、コンピュータプログラムがそれぞれのコンピュータ上で動作し、互いにクライアント／サーバ関係を有することによって生じる。
上記ではいくつかの実施態様について詳細に説明したが、他の修正形態も可能である。例えば、クライアントアプリケーションがデリゲート（ｄｅｌｅｇａｔｅ）にアクセスするものとして説明したが、他の実施態様では、１つまたは複数のサーバ上で実行されるアプリケーションなど、１つまたは複数のプロセッサによって実施される他のアプリケーションがデリゲートを利用することもできる。さらに、図面に示す論理の流れは、図示した特定の順序または順番でなくても、望ましい結果を得ることができる。さらに、他のアクションを行うことも、記載した流れからアクションを省略することも、記載したシステムに他の構成要素を追加することも、あるいは記載したシステムから構成要素を省略することもできる。したがって、他の実施態様が、後記の特許請求の範囲に含まれる。
１２０ オーディオサブシステム
１２２ オーディオサブシステム
１２４ ホットワーダ
１２６ ホットワーダ
１２８ オーディオ透かし識別子
１３０ オーディオ透かし識別子
１４０ オーディオ透かし比較器
１４２ オーディオ透かし
１４４ オーディオ透かし比較器
１４６ オーディオ透かし
１４８ ユーザインタフェース生成器
１５０ ユーザインタフェース生成器
１５２ ユーザ設定
１５６ 位置検出器
１５８ デバイス識別子
１６０ デバイス識別
１６２ ユーザ識別子
１６６ スピーチ認識器
１６８ スピーチ認識器状態
１７０ オーディオ透かしログ
１７２ スピーチ認識器
１７４ スピーチ認識器状態
１７６ 位置検出器
１７８ デバイス識別子
１８０ デバイス識別
１８２ ユーザ識別子
１８６ ユーザ設定
１８８ オーディオ透かしログ
３００ コンピューティングデバイス
３０２ プロセッサ
３０４ メモリ
３０６ ストレージデバイス
３０８ 高速インタフェース
３１０ 高速拡張ポート
３１２ 低速インタフェース
３１４ 低速拡張ポート
３１６ ディスプレイ
３２０ サーバ
３２２ ラップトップコンピュータ
３２４ ラックサーバシステ
３５０ モバイルコンピューティングデバイス
３５２ プロセッサ
３５４ タッチ式ディスプレイ
３５６ ディスプレイインタフェース
３５８ 制御インタフェース
３６０ オーディオコーデック
３６２ 外部インタフェース
３６４ メモリ
３６６ 通信インタフェース
３６８ トランシーバ
３７０ ＧＰＳ受信モジュール
３７２ 拡張インタフェース
３７４ 拡張メモリ
３８０ 携帯電話
３８２ スマートフォン

Claims (20)

  1. ユーザデバイスのデータ処理ハードウェア上で実行される際に、
    前記ユーザデバイスがスリープモードにある間に、前記ユーザデバイスのマイクロフォンによって捕捉されたオーディオデータを受信し、前記オーディオデータは、前記ユーザデバイスの近傍にあるオーディオソースから出力された１個のメディアコンテンツの再生に対応するステップ；
    前記ユーザデバイスがスリープモードにある間に、前記オーディオデータを処理して、前記オーディオデータに符号化されたオーディオ透かしの対応するビットストリームを決定するステップ；及び、
    前記オーディオデータに符号化されたオーディオ透かしの決定された前記対応するビットストリームに基づいて、一致するオーディオ透かしを識別するために前記オーディオ透かしデータベースにアクセスせずに、前記オーディオデータに対して音声認識を行うことを回避することを決定するステップ；
    を含む動作を前記データ処理ハードウェアに実行させることを特徴とするコンピュータ実装方法。
  2. 前記オーディオデータは、ホットワードに先行するコマンドの発話からなることを特徴とする請求項１に記載のコンピュータ実装方法。
  3. 前記オーディオデータに対して音声認識を行うことを回避することを決定するステップは、前記コマンドの前記発話に対応する受信した前記オーディオデータの部分に対して音声認識を行うことを回避するステップを含むことを特徴とする請求項２に記載のコンピュータ実装方法。
  4. 前記オーディオ透かしは、前記ホットワードを含む前記オーディオデータの一部に符号化されることを特徴とする請求項２に記載のコンピュータ実装方法。
  5. 前記動作は、前記オーディオデータに符号化された前記オーディオ透かしの対応するビットストリームを決定するために前記オーディオデータを処理する前に、受信した前記オーディオデータが前記ホットワードを含むことを決定するステップをさらに含むことを特徴とする請求項２に記載のコンピュータ実装方法。
  6. 前記受信した前記オーディオデータが前記ホットワードを含むことを決定するステップは、
    音声認識を行うことなく、前記オーディオデータが前記ホットワードを含む可能性を示すホットワード信頼度スコアを計算するステップ；及び、
    前記ホットワード信頼度スコアがホットワード信頼度スコアしきい値を満たすと決定するステップ；
    を含むことを特徴とする請求項５に記載のコンピュータ実装方法。
  7. 前記ユーザデバイスがスリープ状態にある間に、前記オーディオデータを処理するステップは、前記オーディオデータを処理して、スペクトル拡散シェーピングタイプの透かしを検出することによって前記オーディオデータに符号化されたオーディオ透かしを識別するステップをさらに含むことを特徴とする請求項１に記載のコンピュータ実装方法。
  8. 前記ユーザデバイスは、前記オーディオデータに対して音声認識を実行することを回避することを決定した後、前記スリープモードのままであることを特徴とする請求項１に記載のコンピュータ実装方法。
  9. 前記動作が、
    前記１個のメディアコンテンツの再生に対応する前記オーディオデータのオーディオ源を識別するために、前記オーディオ透かしを分析するステップ；
    をさらに含み、
    前記オーディオデータに対して音声認識を実行することを回避することを決定するステップが、前記１個のメディアコンテンツの再生に対応する前記オーディオデータのオーディオ源にさらに基づいていることを特徴する請求項１に記載のコンピュータ実装方法。
  10. 前記動作は、前記１個のメディアコンテンツの再生に対応する前記オーディオデータの前記オーディオ源を示すためにログファイルを更新するステップをさらに含むことを特徴とする請求項９に記載のコンピュータ実装方法。
  11. ユーザデバイスであって、
    データ処理ハードウェア；及び、
    前記データ処理ハードウェアと通信し、命令を記憶するメモリハードウェアであって、前記データ処理ハードウェア上で実行される際に、
    前記ユーザデバイスがスリープモードにある間に、前記ユーザデバイスのマイクロフォンによって捕捉されたオーディオデータを受信し、前記オーディオデータは、前記ユーザデバイスの近傍にあるオーディオソースから出力された１個のメディアコンテンツの再生に対応すること；
    前記ユーザデバイスがスリープモードにある間に、前記オーディオデータを処理して、前記オーディオデータに符号化されたオーディオ透かしの対応するビットストリームを決定すること；及び
    前記オーディオデータに符号化されたオーディオ透かしの決定された前記対応するビットストリームに基づいて、一致するオーディオ透かしを識別するために前記オーディオ透かしデータベースにアクセスせずに、前記オーディオデータに対して音声認識を行うことを回避することを決定すること；
    を含む動作を前記データ処理ハードウェアに実行させるメモリハードウェア；
    を備えることを特徴とするユーザデバイス。
  12. 前記オーディオデータは、ホットワードに先行するコマンドの発話からなることを特徴とする請求項１１に記載のユーザデバイス。
  13. 前記オーディオデータに対して音声認識を行うことを回避することを決定することは、前記コマンドの前記発話に対応する受信した前記オーディオデータの部分に対して音声認識を行うことを回避することを含むことを特徴とする請求項１２に記載のユーザデバイス。
  14. 前記オーディオ透かしは、前記ホットワードを含む前記オーディオデータの一部に符号化されることを特徴とする請求項１２に記載のユーザデバイス。
  15. 前記動作は、前記オーディオデータに符号化された前記オーディオ透かしの対応するビットストリームを決定するために前記オーディオデータを処理する前に、受信した前記オーディオデータが前記ホットワードを含むことを決定することをさらに含むことを特徴とする請求項１２に記載のユーザデバイス。
  16. 前記受信した前記オーディオデータが前記ホットワードを含むことを決定することは、
    音声認識を行うことなく、前記オーディオデータが前記ホットワードを含む可能性を示すホットワード信頼度スコアを計算すること；及び、
    前記ホットワード信頼度スコアがホットワード信頼度スコアしきい値を満たすと決定すること；
    を含むことを特徴とする請求項１５に記載のユーザデバイス。
  17. 前記ユーザデバイスがスリープ状態にある間に、前記オーディオデータを処理することは、前記オーディオデータを処理して、スペクトル拡散シェーピングタイプの透かしを検出することによって前記オーディオデータに符号化されたオーディオ透かしを識別することをさらに含むことを特徴とする請求項１１に記載のユーザデバイス。
  18. 前記ユーザデバイスは、前記オーディオデータに対して音声認識を実行することを回避することを決定した後、前記スリープモードのままであることを特徴とする請求項１１に記載のユーザデバイス。
  19. 前記動作が、
    前記１個のメディアコンテンツの再生に対応する前記オーディオデータのオーディオ源を識別するために、前記オーディオ透かしを分析すること；
    をさらに含み、
    前記オーディオデータに対して音声認識を実行することを回避することを決定することが、前記１個のメディアコンテンツの再生に対応する前記オーディオデータのオーディオ源にさらに基づいていることを特徴する請求項１１に記載のユーザデバイス。
  20. 前記動作は、前記１個のメディアコンテンツの再生に対応する前記オーディオデータの前記オーディオ源を示すためにログファイルを更新することをさらに含むことを特徴とする請求項１９に記載のユーザデバイス。
JP2022118728A 2017-06-05 2022-07-26 記録メディアのホットワードトリガ抑制 Active JP7461416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/614,213 2017-06-05
US15/614,213 US10395650B2 (en) 2017-06-05 2017-06-05 Recorded media hotword trigger suppression
JP2020135793A JP7114660B2 (ja) 2017-06-05 2020-08-11 記録メディアのホットワードトリガ抑制

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020135793A Division JP7114660B2 (ja) 2017-06-05 2020-08-11 記録メディアのホットワードトリガ抑制

Publications (2)

Publication Number Publication Date
JP2022136197A true JP2022136197A (ja) 2022-09-15
JP7461416B2 JP7461416B2 (ja) 2024-04-03

Family

ID=61837845

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019538634A Active JP6750125B2 (ja) 2017-06-05 2018-03-13 記録メディアのホットワードトリガ抑制
JP2020135793A Active JP7114660B2 (ja) 2017-06-05 2020-08-11 記録メディアのホットワードトリガ抑制
JP2022118728A Active JP7461416B2 (ja) 2017-06-05 2022-07-26 記録メディアのホットワードトリガ抑制

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019538634A Active JP6750125B2 (ja) 2017-06-05 2018-03-13 記録メディアのホットワードトリガ抑制
JP2020135793A Active JP7114660B2 (ja) 2017-06-05 2020-08-11 記録メディアのホットワードトリガ抑制

Country Status (6)

Country Link
US (3) US10395650B2 (ja)
EP (3) EP4220629A1 (ja)
JP (3) JP6750125B2 (ja)
KR (1) KR102296238B1 (ja)
CN (2) CN116597836A (ja)
WO (1) WO2018226283A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10347247B2 (en) 2016-12-30 2019-07-09 Google Llc Modulation of packetized audio signals
US10395650B2 (en) 2017-06-05 2019-08-27 Google Llc Recorded media hotword trigger suppression
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
CA3071560C (en) * 2017-08-10 2024-01-23 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
SG11202001429XA (en) * 2017-09-15 2020-04-29 Sony Corp Information processing apparatus and information processing method
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10276175B1 (en) 2017-11-28 2019-04-30 Google Llc Key phrase detection with audio watermarking
US10818290B2 (en) * 2017-12-11 2020-10-27 Sonos, Inc. Home graph
CN108172224B (zh) * 2017-12-19 2019-08-27 浙江大学 基于机器学习的防御无声指令控制语音助手的方法
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10692496B2 (en) * 2018-05-22 2020-06-23 Google Llc Hotword suppression
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11089348B2 (en) * 2018-10-03 2021-08-10 At&T Intellectual Property I, L.P. Method and apparatus for determining the accuracy of targeted advertising
US11227310B2 (en) * 2018-10-16 2022-01-18 At&T Intellectual Property I, L.P. Method and apparatus for targeted advertising selection
US11210699B2 (en) * 2018-10-18 2021-12-28 At&T Intellectual Property I, L.P. Method and apparatus for targeted advertising
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11522619B2 (en) 2019-03-08 2022-12-06 Rovi Guides, Inc. Frequency pairing for device synchronization
US11011169B2 (en) 2019-03-08 2021-05-18 ROVl GUIDES, INC. Inaudible frequency transmission in interactive content
US11074914B2 (en) 2019-03-08 2021-07-27 Rovi Guides, Inc. Automated query detection in interactive content
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10956123B2 (en) 2019-05-08 2021-03-23 Rovi Guides, Inc. Device and query management system
US11810575B2 (en) * 2019-06-12 2023-11-07 Lg Electronics Inc. Artificial intelligence robot for providing voice recognition function and method of operating the same
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
WO2021100555A1 (ja) * 2019-11-21 2021-05-27 ソニーグループ株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11170793B2 (en) * 2020-02-13 2021-11-09 Adobe Inc. Secure audio watermarking based on neural networks
KR102348091B1 (ko) 2020-04-01 2022-01-10 한국원자력연구원 증기 발생기 사고 대처 시스템
RU2767962C2 (ru) 2020-04-13 2022-03-22 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для распознавания воспроизведенного речевого фрагмента
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11776549B2 (en) * 2020-11-06 2023-10-03 Google Llc Multi-factor audio watermarking
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112767917B (zh) * 2020-12-31 2022-05-17 科大讯飞股份有限公司 语音识别方法、装置及存储介质
US11483427B1 (en) 2021-04-28 2022-10-25 Zoom Video Communications, Inc. Call recording authentication
US11915711B2 (en) 2021-07-20 2024-02-27 Direct Cursus Technology L.L.C Method and system for augmenting audio signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003295894A (ja) * 2002-03-28 2003-10-15 Seiko Epson Corp 付加情報埋め込み方法および付加情報読み出し方法ならびに音声認識システム
JP2005338454A (ja) * 2004-05-27 2005-12-08 Toshiba Tec Corp 音声対話装置
US20170083285A1 (en) * 2015-09-21 2017-03-23 Amazon Technologies, Inc. Device selection for providing a response
JP2017513037A (ja) * 2014-10-09 2017-05-25 グーグル インコーポレイテッド 複数のデバイスにおけるホットワードの検出

Family Cites Families (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4363102A (en) 1981-03-27 1982-12-07 Bell Telephone Laboratories, Incorporated Speaker identification system using word recognition templates
JPS59180599A (ja) 1983-03-31 1984-10-13 日本電気ホームエレクトロニクス株式会社 車載用音声認識制御装置
JPS59170599A (ja) 1983-12-07 1984-09-26 Ishikawajima Harima Heavy Ind Co Ltd 低温液体用タンク
US5659665A (en) 1994-12-08 1997-08-19 Lucent Technologies Inc. Method and apparatus for including speech recognition capabilities in a computer system
JP3674990B2 (ja) 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US6023676A (en) 1996-12-12 2000-02-08 Dspc Israel, Ltd. Keyword recognition system and method
SE511418C2 (sv) 1997-03-13 1999-09-27 Telia Ab Metod för talarverifiering/identifiering via modellering av typiska icke-typiska egenskaper.
US6076055A (en) 1997-05-27 2000-06-13 Ameritech Speaker verification method
US5897616A (en) 1997-06-11 1999-04-27 International Business Machines Corporation Apparatus and methods for speaker verification/identification/classification employing non-acoustic and/or acoustic models and databases
JPH1152976A (ja) 1997-07-29 1999-02-26 Nec Home Electron Ltd 音声認識装置
JP3524370B2 (ja) 1998-02-19 2004-05-10 富士通テン株式会社 音声起動システム
US6141644A (en) 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
US6744860B1 (en) 1998-12-31 2004-06-01 Bell Atlantic Network Services Methods and apparatus for initiating a voice-dialing operation
US6671672B1 (en) 1999-03-30 2003-12-30 Nuance Communications Voice authentication system having cognitive recall mechanism for password verification
US6408272B1 (en) 1999-04-12 2002-06-18 General Magic, Inc. Distributed voice user interface
JP3357629B2 (ja) 1999-04-26 2002-12-16 旭化成株式会社 設備制御システム
DE10015960C2 (de) 2000-03-30 2003-01-16 Micronas Munich Gmbh Spracherkennungsverfahren und Spracherkennungsvorrichtung
US6567775B1 (en) 2000-04-26 2003-05-20 International Business Machines Corporation Fusion of audio and video based speaker identification for multimedia information access
US6826159B1 (en) 2000-05-24 2004-11-30 Cisco Technology, Inc. System and method for providing speaker identification in a conference call
EP1168736A1 (en) 2000-06-30 2002-01-02 Alcatel Telecommunication system and method with a speech recognizer
US7016833B2 (en) 2000-11-21 2006-03-21 The Regents Of The University Of California Speaker verification system using acoustic data and non-acoustic data
US6973426B1 (en) 2000-12-29 2005-12-06 Cisco Technology, Inc. Method and apparatus for performing speaker verification based on speaker independent recognition of commands
US6701293B2 (en) 2001-06-13 2004-03-02 Intel Corporation Combining N-best lists from multiple speech recognizers
KR100552468B1 (ko) * 2001-07-19 2006-02-15 삼성전자주식회사 음성인식에 따른 오동작을 방지 및 음성인식율을 향상 할수 있는 전자기기 및 방법
JP4224250B2 (ja) 2002-04-17 2009-02-12 パイオニア株式会社 音声認識装置、音声認識方法および音声認識プログラム
US20030231746A1 (en) 2002-06-14 2003-12-18 Hunter Karla Rae Teleconference speaker identification
TW200409525A (en) 2002-11-26 2004-06-01 Lite On Technology Corp Voice identification method for cellular phone and cellular phone with voiceprint password
EP1429314A1 (en) 2002-12-13 2004-06-16 Sony International (Europe) GmbH Correction of energy as input feature for speech processing
US7222072B2 (en) 2003-02-13 2007-05-22 Sbc Properties, L.P. Bio-phonetic multi-phrase speaker identity verification
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US7571014B1 (en) 2004-04-01 2009-08-04 Sonos, Inc. Method and apparatus for controlling multimedia players in a multi-zone system
US20070198262A1 (en) 2003-08-20 2007-08-23 Mindlin Bernardo G Topological voiceprints for speaker identification
US20050165607A1 (en) 2004-01-22 2005-07-28 At&T Corp. System and method to disambiguate and clarify user intention in a spoken dialog system
US8214447B2 (en) 2004-06-08 2012-07-03 Bose Corporation Managing an audio network
US7720012B1 (en) 2004-07-09 2010-05-18 Arrowhead Center, Inc. Speaker identification in the presence of packet losses
US8412521B2 (en) 2004-08-20 2013-04-02 Multimodal Technologies, Llc Discriminative training of document transcription system
US8521529B2 (en) 2004-10-18 2013-08-27 Creative Technology Ltd Method for segmenting audio signals
KR100679043B1 (ko) 2005-02-15 2007-02-05 삼성전자주식회사 음성 대화 인터페이스 장치 및 방법
US8041570B2 (en) 2005-05-31 2011-10-18 Robert Bosch Corporation Dialogue management using scripts
US8709018B2 (en) 2005-09-16 2014-04-29 Applied Medical Technology, Inc. Non-balloon low profile feed device with insertion/removal tool
US7603275B2 (en) 2005-10-31 2009-10-13 Hitachi, Ltd. System, method and computer program product for verifying an identity using voiced to unvoiced classifiers
KR100711094B1 (ko) 2005-11-29 2007-04-27 삼성전자주식회사 분산 통신 환경에서의 이동체들 간의 자원 할당 방법
JP2006227634A (ja) 2006-03-29 2006-08-31 Seiko Epson Corp 音声認識を用いた機器制御方法および音声認識を用いた機器制御システムならびに音声認識を用いた機器制御プログラムを記録した記録媒体
CN1996847B (zh) 2006-12-27 2010-05-19 中国科学院上海技术物理研究所 基于协作网格的图像及多媒体数据通信与存储系统
US8099288B2 (en) 2007-02-12 2012-01-17 Microsoft Corp. Text-dependent speaker verification
US20110060587A1 (en) 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
US8838457B2 (en) 2007-03-07 2014-09-16 Vlingo Corporation Using results of unstructured language model based speech recognition to control a system-level function of a mobile communications facility
US20080252595A1 (en) 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
US8503686B2 (en) 2007-05-25 2013-08-06 Aliphcom Vibration sensor and acoustic voice activity detection system (VADS) for use with electronic systems
US8385233B2 (en) 2007-06-12 2013-02-26 Microsoft Corporation Active speaker identification
GB2450886B (en) 2007-07-10 2009-12-16 Motorola Inc Voice activity detector and a method of operation
US8528033B2 (en) * 2007-10-22 2013-09-03 At&T Intellectual Property I, L.P. Method and system for providing subscription data
GB2458461A (en) 2008-03-17 2009-09-23 Kai Yu Spoken language learning system
US8805689B2 (en) * 2008-04-11 2014-08-12 The Nielsen Company (Us), Llc Methods and apparatus to generate and use content-aware watermarks
US8504365B2 (en) 2008-04-11 2013-08-06 At&T Intellectual Property I, L.P. System and method for detecting synthetic speaker verification
US8145482B2 (en) 2008-05-25 2012-03-27 Ezra Daya Enhancing analysis of test key phrases from acoustic sources with key phrase training models
KR101056511B1 (ko) 2008-05-28 2011-08-11 (주)파워보이스 실시간 호출명령어 인식을 이용한 잡음환경에서의음성구간검출과 연속음성인식 시스템
GB2463231B (en) 2008-09-01 2012-05-30 Sony Corp Audio watermarking apparatus and method
US8676586B2 (en) 2008-09-16 2014-03-18 Nice Systems Ltd Method and apparatus for interaction or discourse analytics
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9922640B2 (en) 2008-10-17 2018-03-20 Ashwin P Rao System and method for multimodal utterance detection
KR101519104B1 (ko) 2008-10-30 2015-05-11 삼성전자 주식회사 목적음 검출 장치 및 방법
US20110066437A1 (en) * 2009-01-26 2011-03-17 Robert Luff Methods and apparatus to monitor media exposure using content-aware watermarks
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8209174B2 (en) 2009-04-17 2012-06-26 Saudi Arabian Oil Company Speaker verification system
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
CN101923853B (zh) 2009-06-12 2013-01-23 华为技术有限公司 说话人识别方法、设备和系统
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8626511B2 (en) 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
KR101672212B1 (ko) 2010-06-15 2016-11-04 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8719018B2 (en) 2010-10-25 2014-05-06 Lockheed Martin Corporation Biometric speaker identification
EP2494545A4 (en) 2010-12-24 2012-11-21 Huawei Tech Co Ltd METHOD AND DEVICE FOR DETECTING LANGUAGE ACTIVITIES
US9196028B2 (en) * 2011-09-23 2015-11-24 Digimarc Corporation Context-based smartphone sensor logic
US9294869B2 (en) * 2013-03-13 2016-03-22 Aliphcom Methods, systems and apparatus to affect RF transmission from a non-linked wireless client
US9159324B2 (en) 2011-07-01 2015-10-13 Qualcomm Incorporated Identifying people that are proximate to a mobile device user via social graphs, speech models, and user context
WO2013012112A1 (ko) * 2011-07-21 2013-01-24 엘지전자 주식회사 쿠폰 검색을 수행하는 전자 기기 및 소셜 커머스 서버
US8660847B2 (en) 2011-09-02 2014-02-25 Microsoft Corporation Integrated local and cloud based speech recognition
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
US9031847B2 (en) 2011-11-15 2015-05-12 Microsoft Technology Licensing, Llc Voice-controlled camera operations
EP2783365B1 (en) 2011-11-21 2018-02-21 Robert Bosch GmbH Method and system for adapting grammars in hybrid speech recognition engines for enhancing local speech recognition performance
US8825020B2 (en) 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9536528B2 (en) 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
JP6131537B2 (ja) 2012-07-04 2017-05-24 セイコーエプソン株式会社 音声認識システム、音声認識プログラム、記録媒体及び音声認識方法
TWI474317B (zh) 2012-07-06 2015-02-21 Realtek Semiconductor Corp 訊號處理裝置以及訊號處理方法
US8983836B2 (en) 2012-09-26 2015-03-17 International Business Machines Corporation Captioning using socially derived acoustic profiles
US9401153B2 (en) * 2012-10-15 2016-07-26 Digimarc Corporation Multi-mode audio recognition and auxiliary data encoding and decoding
US9305559B2 (en) 2012-10-15 2016-04-05 Digimarc Corporation Audio watermark encoding with reversing polarity and pairwise embedding
US8996372B1 (en) 2012-10-30 2015-03-31 Amazon Technologies, Inc. Using adaptation data with cloud-based speech recognition
CN104641410A (zh) * 2012-11-30 2015-05-20 日立麦克赛尔株式会社 影像显示装置,及其设定变更方法,设定变更程序
FR3000632A1 (fr) * 2012-12-28 2014-07-04 Thomson Licensing Procede d'affichage de donnees dans un reseau et dispositif mobile associe
JP6225920B2 (ja) * 2012-12-28 2017-11-08 株式会社ソシオネクスト 音声認識付き機器及び音声認識方法
EP2760015A1 (en) * 2013-01-23 2014-07-30 BlackBerry Limited Event-triggered hands-free multitasking for media playback
US9530409B2 (en) * 2013-01-23 2016-12-27 Blackberry Limited Event-triggered hands-free multitasking for media playback
US9349386B2 (en) 2013-03-07 2016-05-24 Analog Device Global System and method for processor wake-up based on sensor data
US9171450B2 (en) * 2013-03-08 2015-10-27 Qualcomm Incorporated Emergency handling system using informative alarm sound
US9093064B2 (en) * 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9384754B2 (en) * 2013-03-12 2016-07-05 Comcast Cable Communications, Llc Removal of audio noise
US9312826B2 (en) 2013-03-13 2016-04-12 Kopin Corporation Apparatuses and methods for acoustic channel auto-balancing during multi-channel signal extraction
US8768687B1 (en) 2013-04-29 2014-07-01 Google Inc. Machine translation of indirect speech
US9679053B2 (en) * 2013-05-20 2017-06-13 The Nielsen Company (Us), Llc Detecting media watermarks in magnetic field data
US9285886B2 (en) * 2013-06-24 2016-03-15 Sonos, Inc. Intelligent amplifier activation
WO2015025330A1 (en) 2013-08-21 2015-02-26 Kale Aaditya Kishore A system to enable user to interact with an electronic processing device using voice of the user
US9286943B2 (en) * 2013-08-23 2016-03-15 International Business Machines Corporation Enhancing karaoke systems utilizing audience sentiment feedback and audio watermarking
JP6502249B2 (ja) 2013-08-29 2019-04-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声認識方法及び音声認識装置
US8775191B1 (en) 2013-11-13 2014-07-08 Google Inc. Efficient utterance-specific endpointer triggering for always-on hotwording
US9373321B2 (en) 2013-12-02 2016-06-21 Cypress Semiconductor Corporation Generation of wake-up words
US8918326B1 (en) * 2013-12-05 2014-12-23 The Telos Alliance Feedback and simulation regarding detectability of a watermark message
WO2015100430A1 (en) * 2013-12-24 2015-07-02 Digimarc Corporation Methods and system for cue detection from audio input, low-power data processing and related arrangements
US8938394B1 (en) 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
CN104978968A (zh) 2014-04-11 2015-10-14 鸿富锦精密工业（深圳）有限公司 水印加载装置及水印加载的方法
US10770075B2 (en) * 2014-04-21 2020-09-08 Qualcomm Incorporated Method and apparatus for activating application by speech input
CN104093079B (zh) * 2014-05-29 2015-10-07 腾讯科技（深圳）有限公司 基于多媒体节目的交互方法、终端、服务器和系统
US9357320B2 (en) 2014-06-24 2016-05-31 Harmon International Industries, Inc. Headphone listening apparatus
KR102208477B1 (ko) * 2014-06-30 2021-01-27 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
US9368124B2 (en) 2014-08-12 2016-06-14 Tata Consultancy Services Ltd. Computer implemented system for audio watermarking
US9548053B1 (en) 2014-09-19 2017-01-17 Amazon Technologies, Inc. Audible command filtering
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
KR20160043267A (ko) 2014-10-13 2016-04-21 한국전자통신연구원 음향 채널 왜곡에 강인한 워터마크 전송 장치 및 방법
KR102299330B1 (ko) * 2014-11-26 2021-09-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
US9418395B1 (en) * 2014-12-31 2016-08-16 The Nielsen Company (Us), Llc Power efficient detection of watermarks in media signals
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10153113B2 (en) * 2015-08-31 2018-12-11 Deako, Inc. Systems and methods for occupancy prediction
US9928840B2 (en) * 2015-10-16 2018-03-27 Google Llc Hotword recognition
US9747926B2 (en) * 2015-10-16 2017-08-29 Google Inc. Hotword recognition
JP6463710B2 (ja) * 2015-10-16 2019-02-06 グーグル エルエルシー ホットワード認識
KR20170046958A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 전자 장치 및 그의 음성 인식을 이용한 기능 실행 방법
US20180254042A1 (en) * 2015-10-23 2018-09-06 Samsung Electronics Co., Ltd. Electronic device and control method therefor
US10028023B2 (en) * 2016-01-20 2018-07-17 Google Llc Methods and systems for automatic media output based on user proximity
TWI633425B (zh) * 2016-03-02 2018-08-21 美律實業股份有限公司 麥克風裝置
TWI584270B (zh) * 2016-06-15 2017-05-21 瑞昱半導體股份有限公司 語音控制系統及其方法
US10332513B1 (en) * 2016-06-27 2019-06-25 Amazon Technologies, Inc. Voice enablement and disablement of speech processing functionality
KR102241970B1 (ko) * 2016-11-07 2021-04-20 구글 엘엘씨 기록된 미디어 핫워드 트리거 억제
US10079015B1 (en) * 2016-12-06 2018-09-18 Amazon Technologies, Inc. Multi-layer keyword detection
US10559309B2 (en) * 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10902001B1 (en) * 2017-02-27 2021-01-26 Amazon Technologies, Inc. Contact presence aggregator
US10074371B1 (en) * 2017-03-14 2018-09-11 Amazon Technologies, Inc. Voice control of remote device by disabling wakeword detection
US10102855B1 (en) * 2017-03-30 2018-10-16 Amazon Technologies, Inc. Embedded instructions for voice user interface
US10170112B2 (en) 2017-05-11 2019-01-01 Google Llc Detecting and suppressing voice queries
US10242680B2 (en) * 2017-06-02 2019-03-26 The Nielsen Company (Us), Llc Methods and apparatus to inspect characteristics of multichannel audio
US10395650B2 (en) 2017-06-05 2019-08-27 Google Llc Recorded media hotword trigger suppression
JP7202214B2 (ja) 2019-02-26 2023-01-11 ヤンマーパワーテクノロジー株式会社 自動走行システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003295894A (ja) * 2002-03-28 2003-10-15 Seiko Epson Corp 付加情報埋め込み方法および付加情報読み出し方法ならびに音声認識システム
JP2005338454A (ja) * 2004-05-27 2005-12-08 Toshiba Tec Corp 音声対話装置
JP2017513037A (ja) * 2014-10-09 2017-05-25 グーグル インコーポレイテッド 複数のデバイスにおけるホットワードの検出
US20170083285A1 (en) * 2015-09-21 2017-03-23 Amazon Technologies, Inc. Device selection for providing a response

Also Published As

Publication number Publication date
CN110214351A (zh) 2019-09-06
US11798543B2 (en) 2023-10-24
US20200035232A1 (en) 2020-01-30
EP3430618B1 (en) 2020-07-15
EP4220629A1 (en) 2023-08-02
US20180350356A1 (en) 2018-12-06
JP2020511682A (ja) 2020-04-16
US11244674B2 (en) 2022-02-08
EP3723083B1 (en) 2023-05-10
JP6750125B2 (ja) 2020-09-02
CN116597836A (zh) 2023-08-15
EP3430618A1 (en) 2019-01-23
US20220139387A1 (en) 2022-05-05
EP3723083A1 (en) 2020-10-14
US10395650B2 (en) 2019-08-27
JP2020190752A (ja) 2020-11-26
WO2018226283A1 (en) 2018-12-13
KR20190103308A (ko) 2019-09-04
KR102296238B1 (ko) 2021-08-31
CN110214351B (zh) 2023-05-30
JP7461416B2 (ja) 2024-04-03
JP7114660B2 (ja) 2022-08-08

Similar Documents

Publication Publication Date Title
JP7114660B2 (ja) 記録メディアのホットワードトリガ抑制
US11887603B2 (en) Hotword detection on multiple devices
US11967323B2 (en) Hotword suppression
US20210043210A1 (en) Contextual hotwords
US10978070B2 (en) Speaker diarization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240322

R150 Certificate of patent or registration of utility model

Ref document number: 7461416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150