JP2019510247A5 - パケット化されたデータのマルチモーダル送信のシステムおよび方法 - Google Patents

Description

インタフェース管理コンポーネント１４０は、当該入力オーディオ信号を受信するコンピューティングデバイス１５０の閾値距離内にある１つまたは複数の他のコンピューティングデバイス１５０を識別し、次いでコンピューティングデバイス１５０の閾値距離内にあるコンピューティングデバイス１５０に関連付けられた候補インタフェースをポーリングすることができる。インタフェース管理コンポーネント１４０を、当該入力オーディオ信号を受信するコンピューティングデバイス１５０の閾値距離内にあるコンピューティングデバイス１５０を識別するための１つまたは複数の近接性検出技術で構成することができる。近接性検出技術は、例えば、非可聴音波(Sub-audiable Wave)技術、WIFIベースの技術、Bluetooth（登録商標）ベースの技術、マッチング入力オーディオ信号ベースの技術、またはトークンベースの技術を含むことができる。WIFI（またはWi-Fi）は、標準に基づくコンピューティングデバイスとのワイヤレスローカル・エリア・ネットワーキングのための技術を指すことができる。

例えば、エンド・ユーザの同意によりインタフェース管理コンポーネント１４０は、当該入力オーディオ信号を受信する第１のコンピューティングデバイスに、閾値距離内の他のコンピューティングデバイスを識別するための非可聴音波を送信するように指示することができる。非可聴音波は、人間の耳により認識できず、または容易に認識できない音響またはオーディオ送信を指すことができる。例えば、当該非可聴音波は、２０Ｈｚより低い周波数である音波のような超低音を含むことができる。当該非可聴音波は、２０、０００Ｈｚより大きく最大１ギガヘルツ、２ギガヘルツ、またはそれ以上のような人間の耳が聴ける上限より高い周波数の音波のような超音波を含むことができる。第２のコンピューティングデバイスが当該非可聴音波（または超音波）を検出できる場合、第２のコンピューティングデバイスは応答して第２の非可聴音波（または超音波）を送信することができる。第２の非可聴音波は、識別子または他のデータを符号化して、第２のコンピューティングデバイスを示すかまたは識別することができる。第１のコンピューティングデバイスは次いで、第１のおよび第２のコンピューティングデバイスがサブ可聴音波の互いからの送受信に成功することができたので、第１のおよび第２のコンピューティングデバイスが閾値距離内にあると判定するために、当該応答を第２のコンピューティングデバイスから受信することができる。例えば、第１のコンピューティングデバイスは、第２の非可聴音波を復号化して、第２のコンピューティングデバイスの識別子を抽出することができる。第１のコンピューティングデバイスは、データ処理システム１０５に問い合わせて、コンテンツまたは通知の第２のコンピューティングデバイスへの送信を促進するための第２のコンピューティングデバイスに関連付けられた情報またはプロフィール情報を取得することができる。

幾つかのケースでは、第３のコンピューティングデバイスは、第１のコンピューティングデバイスにより送信された非可聴音波を受信してもよい。第３のコンピューティングデバイスは、第３の識別子で符号化された第３の非可聴音波で当該非可聴音波に応答することができる。第１のコンピューティングデバイスは第３のコンピューティングデバイスが第１のコンピューティングデバイスの範囲内にあると判定するために、第３のサブ可聴を受信することができる。

幾つかのケースでは、第１のコンピューティングデバイスはトークンを有する非可聴音波（または超音波）を送信することができる。当該トークンは一意な識別子を含むことができる。当該トークンを、ハッシュ関数に基づいて、例えばｎ個のタプルを用いて生成することができる。送信される当該波に対応する現在のタイムスタンプ、デバイス識別子、インターネットプロトコルアドレス、またはデータ処理システムが当該複数のコンピューティングデバイスが閾値距離内に配置されていると判定することを促進するための一意な識別子またはトークンをもたらしうる他のパラメータまたは値のような１つまたは複数の値に基づいて、当該トークンを生成することができる。第１のコンピューティングデバイスは、当該トークンでの当該非可聴音波の送信に対応する第１のタイムスタンプを記録することができる。第２のコンピューティングデバイスは当該送信されたサブ可聴信号を検出し、当該非可聴音波の検出に対応する第２のタイムスタンプを記録することができる。第１のコンピューティングデバイスは、ネットワーク１６５を介して、第１のタイムスタンプおよび当該トークンの指示をデータ処理システム１０５（例えば、インタフェース管理コンポーネント１４０）に送信することができる。第２のコンピューティングデバイスは当該非可聴音波を受信し、当該トークンを抽出するための当該波を復号することができる。当該トークンを識別すると、第２のコンピューティングデバイスは、データ処理システム１０５に、当該トークンおよび（例えば、センサ１５１を介した）検出または当該非可聴音波の受信に対応する第２のタイムスタンプを送信することができる。

例えば、データ処理システム１０５（例えば、インタフェース管理コンポーネント１４０を介して）は第２のタイムスタンプおよび第１のタイムスタンプの間の差異を決定することができる。データ処理システム１０５は、当該差異に基づいて、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスの間の距離を決定することができる。例えば、当該差異は当該サブ可聴送信が通過する距離量に対応することができる。当該サブ可聴送信は、おおよそ毎秒３４０．２９メートルでありうる音速で通過することができる。第１のタイムスタンプおよび第２のタイムスタンプの間の差異が０．０１秒である場合、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスはおおよそ（例えば、プラスマイナス１０％）３．４メートルだけ分かれている。別の例では、第１のタイムスタンプおよび第２のタイムスタンプの間の差異が．００１秒である場合、第１のコンピューティングデバイスおよび第２のコンピューティングデバイスはおおよそ０．３４メートルだけ分かれている。したがって、データ処理システム１０５は、当該コンピューティングデバイスの間の距離を決定するために、当該非可聴音波の速度（例えば、音速）に当該時間差異を乗ずることができる。データ処理システム１０５は、第２のコンピューティングデバイスが第１のコンピューティングデバイスの閾値距離内にあると判定するために、当該決定された距離を閾値距離（例えば、１メートル、２メートル、３メートル、４メートル、５メートル、７メートル、またはそれ以上）と比較することができる。

Claims (20)

1. 音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境におけるパケット化されたデータのマルチモーダル送信のシステムであって、
   データ処理システムのインタフェースを介して、クライアントコンピューティングデバイスのセンサにより検出された入力オーディオ信号を含むデータ・パケットを受信するための前記データ処理システムにより実行される自然言語プロセッサ・コンポーネントと、
   要求およびトリガキーワードの少なくとも１つに基づいて第１のアクションデータ構造を生成するための前記データ処理システムのダイレクト・アクション・アプリケーション・プログラミング・インタフェースと、
   前記自然言語プロセッサにより識別された前記要求および前記トリガキーワードのうち少なくとも１つを受信し、リアルタイムコンテンツ選択プロセスを介して前記要求および前記トリガキーワードのうち少なくとも１つに基づいて、コンテンツ・アイテムを選択する、前記データ処理システムにより実行されたコンテンツセレクタコンポーネントと、
   複数のインタフェースをポーリングして、前記コンピューティングデバイスの閾値距離内の第１の候補インタフェースおよび第２の候補インタフェースを識別し、
   前記第１の候補インタフェースに対する第１のリソース利用値および前記第２の候補インタフェースに対する第２のリソース利用値を決定し、
   前記第１のリソース利用値および前記第２のリソース利用値の比較に基づいて、前記第１の候補インタフェースを、前記コンテンツ・アイテムを提供するための選択されたインタフェースとして選択し、
   前記第１のリソース利用値および前記第２のリソース利用値の比較に基づいて選択された前記選択されたインタフェースと互換性のある第1のモダリティで配送するための前記コンテンツ・アイテムを提供し、
   前記選択されたインタフェースを介して提示するための前記コンテンツ・アイテムを配送するために、前記コンテンツ・アイテムを前記第１のモダリティで送信する、
   前記データ処理システムのインタフェース管理コンポーネントと、
   を備え、
   前記自然言語プロセッサ・コンポーネントは、前記入力オーディオ信号を解析して前記要求および前記要求に対応する前記トリガキーワードを識別する、
   システム。
2. 前記インタフェース管理コンポーネントは、前記コンピューティングデバイスの前記閾値距離内の第２のコンピューティングデバイスを識別するための非可聴音波を送信するように前記コンピューティングデバイスに指示し、前記第２のコンピューティングデバイスは前記第２の候補インタフェースを含む、請求項１に記載のシステム。
3. 前記インタフェース管理コンポーネントは、
   前記コンピューティングデバイスにより送信された非可聴音波を介して、第２のコンピューティングデバイスの第２のセンサにより検出するためにトークンを提供し、
   ネットワークを介して前記第２のコンピューティングデバイスから、前記第２のコンピューティングデバイスの前記第２のセンサにより検出された前記トークンを受信し、
   前記第２のコンピューティングデバイスから受信された前記トークンおよび前記コンピューティングデバイスにより送信された前記非可聴音波を介して提供された前記トークンの間のマッチに基づいて、前記第２のコンピューティングデバイスが前記コンピューティングデバイスの前記閾値距離内にあると判定する
   請求項１に記載のシステム。
4. 前記インタフェース管理コンポーネントは、前記コンピューティングデバイスの前記閾値距離内の第２のコンピューティングデバイスを識別する信号を含む短波ワイヤレス送信を送信するように前記コンピューティングデバイスに指示し、前記第２のコンピューティングデバイスは前記第２の候補インタフェースを含む、請求項１に記載のシステム。
5. 前記インタフェース管理コンポーネントは、前記クライアントコンピューティングデバイスの前記センサにより検出された前記入力オーディオ信号を第２のクライアントコンピューティングデバイスの第２のセンサにより検出された第２の入力オーディオ信号と比較して、マッチを識別し、
   前記マッチに基づいて、前記第２のコンピューティングデバイスを前記コンピューティングデバイスの前記閾値距離内にあるとして識別し、前記第２のコンピューティングデバイスは前記第２の候補インタフェースを含む、
   請求項４に記載のシステム。
6. 前記インタフェース管理コンポーネントは、
   前記コンピューティングデバイスにより、トークンを含む非可聴音波の送信に対応する第１のタイムスタンプを受信し、
   前記第２のコンピューティングデバイスにより、前記トークンを含む前記非可聴音波の検出に対応する第２のタイムスタンプを受信し、
   前記第２のタイムスタンプおよび前記第１のタイムスタンプの間の差異に基づいて、前記第２のコンピューティングデバイスが前記コンピューティングデバイスからの前記閾値距離内にあると判定する、
   請求項５に記載のシステム。
7. 前記インタフェース管理コンポーネントは、
   複数の近接性検出技術に基づいて、前記コンピューティングデバイスの前記閾値距離内の複数のコンピューティングデバイスを識別し、
   前記第１の候補インタフェース、前記第２の候補インタフェース、および第３の候補インタフェースを含む前記複数のインタフェースをポーリングし、
   前記第３の候補インタフェースに対する第３のリソース利用値を決定し、
   前記第１のリソース利用値、前記第２のリソース利用値、および前記第３のリソース利用値の比較に基づいて、前記第１の候補インタフェースを、前記コンテンツ・アイテムを提供するための前記選択されたインタフェースとして選択し、
   前記複数のコンピューティングデバイスは前記第２の候補インタフェースを含む第２のコンピューティングデバイスを含み、第３のコンピューティングデバイス第３の候補インタフェースを含む、
   請求項１に記載のシステム。
8. 前記インタフェース管理コンポーネントは、メモリから、前記コンピューティングデバイスの前記閾値距離内の複数のコンピューティングデバイスを示す近接性情報を取り出す、請求項１に記載のシステム。
9. 前記インタフェース管理コンポーネントは、
   前記第２の候補インタフェースを含む第２のコンピューティングデバイスを識別し、
   前記第２のリソース利用値を決定するために前記第２のコンピューティングデバイスで実行されているアプリケーション・プログラミング・インタフェースに、オーディオ・コンテンツが再生されているボリューム・レベルを示す前記第２のリソース利用値を問い合わせる、
   請求項１に記載のシステム。
10. 前記第１のリソース利用値および前記第２のリソース利用値は、バッテリステータス、プロセッサ利用、メモリ利用、インタフェースパラメータ、およびネットワーク帯域幅利用の少なくとも１つに基づいて決定される、請求項１に記載のシステム。
11. 前記第１のリソース利用値および前記第２のリソース利用値はセンサ利用に基づいて決定される、請求項１に記載のシステム。
12. 第１の候補インタフェースおよび第２の候補インタフェースは前記クライアントコンピューティングデバイスの２つの異なるインタフェースである、請求項１に記載のシステム。
13. 前記クライアントコンピューティングデバイスは第１のクライアントコンピューティングデバイスであり、
    前記インタフェース管理コンポーネントは、前記第１の候補インタフェースはアカウントにリンクされた前記第１のクライアントコンピューティングデバイスに対応し、前記第２の候補インタフェースは前記アカウントにリンクされた第２のクライアントコンピューティングデバイスに対応すると判定する、
    請求項１に記載のシステム。
14. 前記第１の候補インタフェースはディスプレイスクリーンを含み、前記第２の候補インタフェースはオーディオインタフェースを含む、請求項１に記載のシステム。
15. 前記第１の候補インタフェースはプッシュ通知に関連付けられ、前記第２の候補インタフェースはオンラインドキュメント上のjavaスクリプトスロットを含む、請求項１に記載のシステム。
16. 前記インタフェース管理コンポーネントが、
    第３の候補インタフェースを識別し、
    前記第３の候補インタフェースに対する第３のリソース利用値を決定し、
    前記第１のリソース利用値、前記第２のリソース利用値、および前記第３のリソース利用値に基づいて、階層を前記第１の候補インタフェース、前記第２の候補インタフェース、および前記第３の候補インタフェースに割り当てる、
    請求項１に記載のシステム。
17. 前記複数のインタフェースは、ディスプレイスクリーン、オーディオインタフェース、振動インタフェース、電子メールインタフェース、プッシュ通知インタフェース、モバイルコンピューティングデバイスインタフェース、ポータブルコンピューティングデバイスアプリケーション、オンラインドキュメント上のコンテンツスロット、チャットアプリケーション、モバイルコンピューティングデバイスアプリケーション、ラップトップ、時計、仮想現実ヘッドセット、およびスピーカのうち少なくとも１つを含む、請求項１に記載のシステム。
18. 音声起動されたデータ・パケット・ベースのコンピュータ・ネットワーク環境におけるパケット化されたデータのマルチモーダル送信の方法であって、
    データ処理システムにより実行される自然言語プロセッサ・コンポーネントにより、前記データ処理システムのインタフェースを介して、クライアントコンピューティングデバイスのセンサにより検出された入力オーディオ信号を含むデータ・パケットを受信するステップと、
    前記自然言語プロセッサ・コンポーネントにより、前記入力オーディオ信号から、要求および前記要求に対応するトリガキーワードを識別するステップと、
    前記データ処理システムのダイレクト・アクション・アプリケーション・プログラミング・インタフェースにより、前記要求および前記トリガキーワードの少なくとも１つに基づいて第１のアクションデータ構造を生成するステップと、
    前記データ処理システムにより実行されたコンテンツセレクタコンポーネントにより、前記自然言語プロセッサにより識別された前記要求および前記トリガキーワードのうち少なくとも１つを受信し、リアルタイムコンテンツ選択プロセスを介して前記要求および前記トリガキーワードのうち少なくとも１つに基づいて、コンテンツ・アイテムを選択するステップと、
    前記データ処理システムのインタフェース管理コンポーネントにより、複数のインタフェースをポーリングして、前記コンピューティングデバイスの閾値距離内の第１の候補インタフェースおよび第２の候補インタフェースを識別するステップと、
    前記インタフェース管理コンポーネントにより、前記第１の候補インタフェースに対する第１のリソース利用値および前記第２の候補インタフェースに対する第２のリソース利用値を決定するステップと、
    前記第１のリソース利用値および前記第２のリソース利用値の比較に基づいて、前記第１の候補インタフェースを、前記コンテンツ・アイテムを提供するための選択されたインタフェースとして選択するステップと、
    前記第１のリソース利用値および前記第２のリソース利用値の前記比較に基づいて選択された前記第１の候補インタフェースと互換性のある第1のモダリティで配送するための前記コンテンツ・アイテムを変換するステップと、
    前記選択されたインタフェースから描画するための前記コンテンツ・アイテムを配送するために前記第1のモダリティに変換された前記コンテンツ・アイテムを送信するステップと、
    を含む方法。
19. 前記インタフェース管理コンポーネントにより、前記コンピューティングデバイスに、前記コンピューティングデバイスの前記閾値距離内の第２のコンピューティングデバイスを識別するための非可聴音波を送信することを命令するステップであって、前記第２のコンピューティングデバイスは前記第２の候補インタフェースを含む、ステップを含む、請求項１８に記載の方法。
20. 前記コンピューティングデバイスにより送信された非可聴音波を介して、第２のコンピューティングデバイスの第２のセンサにより検出するためにトークンを提供するステップと、
    ネットワークを介して前記第２のコンピューティングデバイスから、前記第２のコンピューティングデバイスの前記第２のセンサにより検出された前記トークンを受信するステップと、
    前記第２のコンピューティングデバイスから受信された前記トークンおよび前記コンピューティングデバイスにより送信された前記非可聴音波を介して提供された前記トークンの間のマッチに基づいて、前記第２のコンピューティングデバイスが前記コンピューティングデバイスの前記閾値距離内にあると判定するステップと、
    を含む、請求項１８に記載の方法。