JP2019528526A5 - - Google Patents

Claims (21)

1. 処理回路に方法を実行させるためのコンピュータプログラムであって、前記方法は、
   前記処理回路を含む第１の電子デバイスのカメラからビデオストリームを受信することを備え、前記カメラは、前記第１の電子デバイスのユーザの方向に向けられ、前記第１の電子デバイスは、第２の電子デバイスから離れてその近傍にあり、前記第２の電子デバイスは、知覚出力を作成するように構成され、前記方法はさらに、
   前記ビデオストリームのフレームのセットにわたって、前記ユーザによって行われたジェスチャを検出することと、
   前記ジェスチャを検出したことに応答して、
   前記第１の電子デバイス内のリモートコントロールを、前記リモートコントロールが非アクティブ状態からアクティブ状態に遷移するようにアクティベートすることとを備え、前記リモートコントロールが前記アクティブ状態にあるときに、前記リモートコントロールは、前記第２の電子デバイスによって作成された前記知覚出力に対して変化をトリガするように構成されており、前記方法はさらに、
   音波から変換された音データを受信することと、
   前記第１の電子デバイスと前記第２の電子デバイスとの間の距離を決定することと、
   前記リモートコントロールが前記アクティブ状態にあることに応答して、前記決定された距離に基づき、前記音データを、前記第２の電子デバイスの前記知覚出力を変化させるための予め定められたコマンドとして識別することと、
   前記リモートコントロールが前記アクティブ状態にあるときに前記ジェスチャが前記ユーザによって行われないことに応答して、前記リモートコントロールを前記非アクティブ状態へと遷移させるように、前記リモートコントロールを非アクティブ化することとを備える、コンピュータプログラム。
2. 前記第１の電子デバイスはマイクロフォンをさらに含み、当該マイクロフォンは、その上に入射する音波を、前記第１の電子デバイスのメモリ内に記憶される音データへと変換するように構成されており、
   前記リモートコントロールが前記アクティブ状態にあることに応答して、前記方法はさらに、
   前記音データを、リモートコントロールデータに変換することとを備え、前記リモートコントロールデータが前記第２の電子デバイスによって受信されると、前記第２の電子デバイスは、前記第２の電子デバイスによって作成された前記知覚出力に対して前記変化をトリガし、前記方法はさらに、
   前記リモートコントロールデータを前記第２の電子デバイスに送信することを備える、請求項１に記載のコンピュータプログラム。
3. 前記第２の電子デバイスによって作成された前記知覚出力は、発声音を含み、
   前記音データを、前記第２の電子デバイスの前記知覚出力を前記変化させるための前記予め定められたコマンドとして識別することは、フィルタ演算を行うことを含み、前記フィルタ演算は、前記発声音を前記マイクロフォン上に前記入射する音波からフィルタリングするように構成されている、請求項１または２に記載のコンピュータプログラム。
4. 前記フィルタ演算を行うことは、前記リモートコントロールが前記アクティブ状態に遷移することに応答して、前記第２の電子デバイスに音量低下コマンドを送信することを含み、前記音量低下コマンドは、前記第２の電子デバイスによって受信されると、前記第２の電子デバイスに、より小さい振幅において前記発声音を作成させ、
   前記方法は、前記リモートコントロールが前記非アクティブ状態に遷移することに応答して、音量増大コマンドを前記第２の電子デバイスに送信することをさらに備え、前記音量増大コマンドは、前記第２の電子デバイスによって受信されると、前記第２の電子デバイスに、より大きい振幅において前記発声音を作成させる、請求項３に記載のコンピュータプログラム。
5. 前記方法はさらに、前記第２の電子デバイスによって作成された前記発声音の周波数のセットを取得することを備え、
   前記フィルタ演算を行うことは、
   前記マイクロフォンへ入力された前記音データの周波数のセットを取得することと、
   前記第２の電子デバイスによって作成された前記発声音の周波数の前記セットのうちのいくつかの前記周波数を、前記音データの周波数の前記セットから抑圧し、フィルタされた周波数のセットを形成することと、
   フィルタされた周波数の前記セットから、リモートコントロールデータが作成されるフィルタされた音データを形成することとを含む、請求項３または４に記載のコンピュータプログラム。
6. 前記マイクロフォンへ入力された前記音データの周波数の前記セットを取得することは、
   指定した時間の間入力された前記音データを記録し、音のタイムウィンドウを生成することと、
   前記音のタイムウィンドウから周波数のセットを取得し、周波数のタイムウィンドウを形成することと、
   前記リモートコントロールが前記アクティブ状態にあるときに、前記指定した時間の間、音データを前記記録することを繰り返し、周波数のセットを取得し、前記記録された音データのスペクトログラムを形成することとを含む、請求項５に記載のコンピュータプログラム。
7. 前記マイクロフォンへ入力された前記音データの周波数の前記セットを取得することは、前記マイクロフォンへ入力された前記音データについてフーリエ変換演算を行うことを含む、請求項５に記載のコンピュータプログラム。
8. 前記第２の電子デバイスによって作成された前記発声音の周波数の前記セットのうちのいくつかの前記周波数を抑圧することは、
   前記第２の電子デバイスから前記発声音が伝播されたネットワーク信号の到来角（ＡＯＡ）を決定することと、
   前記ＡＯＡに基づき、前記第２の電子デバイスによって作成された前記発声音の周波数の前記セットのうちのいくつかの前記周波数の振幅および位相を作成することと、
   前記音データ入力の周波数の前記セットのうち、前記第２の電子デバイスによって作成された前記発声音の周波数の前記セットのうちのいくつかの前記周波数の前記振幅および位相に十分に近い振幅および位相を有する周波数のものを識別することとを含む、請求項５に記載のコンピュータプログラム。
9. 前記フィルタ演算は、前記第１の電子デバイスおよび前記第２の電子デバイスが配置される部屋によって作成される、前記マイクロフォン上に前記入射する音波からの音響ノイズをフィルタリングするように、さらに構成されている、請求項３に記載のコンピュータプログラム。
10. 前記フィルタ演算を行うことは、ノイズ周波数閾値よりも低い周波数を、前記マイクロフォンへ入力された前記音データからフィルタリングすることを含む、請求項９に記載のコンピュータプログラム。
11. 方法であって、
    第１の電子デバイスの処理回路によって、前記第１の電子デバイスのカメラからビデオストリームを受信することを備え、前記カメラは、前記第１の電子デバイスのユーザの方向に向けられ、前記第１の電子デバイスは、第２の電子デバイスから離れてその近傍にあり、前記第２の電子デバイスは、知覚出力を作成するように構成され、前記方法はさらに、
    前記処理回路によって、前記ビデオストリームのフレームのセットにわたって、前記ユーザによって行われたジェスチャを検出することと、
    前記ジェスチャを検出したことに応答して、
    前記処理回路によって、前記第１の電子デバイス内のリモートコントロールを、前記リモートコントロールが非アクティブ状態からアクティブ状態に遷移するようにアクティベートすることとを備え、前記リモートコントロールが前記アクティブ状態にあるときに、前記リモートコントロールは、前記第２の電子デバイスによって作成された前記知覚出力に対して変化をトリガするように構成されており、前記方法はさらに、
    前記処理回路によって、音波から変換された音データを受信することと、
    前記処理回路によって、前記第１の電子デバイスと前記第２の電子デバイスとの間の距離を決定することと、
    前記リモートコントロールが前記アクティブ状態にあることに応答して、前記処理回路によって、前記決定された距離に基づき、前記音データを、前記第２の電子デバイスの前記知覚出力を変化させるための予め定められたコマンドとして識別することと、
    前記リモートコントロールが前記アクティブ状態にあるときに前記ジェスチャが前記ユーザによって行われないことに応答して、前記処理回路によって、前記リモートコントロールを前記非アクティブ状態へと遷移させるように、前記リモートコントロールを非アクティブ化することとを備える、方法。
12. 前記第１の電子デバイスは、マイクロフォンをさらに含み、前記マイクロフォンは、当該マイクロフォン上に入射する音波を、前記第１の電子デバイスのメモリ内に記憶される音データへと変換するように構成されており、
    前記リモートコントロールが前記アクティブ状態にあることに応答して、前記方法はさらに、
    前記音データをリモートコントロールデータに変換することを備え、前記リモートコントロールデータが前記第２の電子デバイスによって受信されると、前記第２の電子デバイスは、前記第２の電子デバイスによって作成された前記知覚出力に対する前記変化をトリガさせ、前記方法はさらに、
    前記リモートコントロールデータを前記第２の電子デバイスに送信することを備える、請求項１１に記載の方法。
13. 前記第２の電子デバイスによって作成された前記知覚出力は、発声音を含み、
    前記音データを前記第２の電子デバイスの前記知覚出力を前記変化させるための前記予め定められたコマンドとして識別することは、フィルタ演算を行うことを含み、前記フィルタ演算は、前記発声音を前記マイクロフォン上に前記入射する音波からフィルタリングするように構成されている、請求項１１に記載の方法。
14. 前記フィルタ演算を行うことは、
    前記リモートコントロールが前記アクティブ状態に遷移したことに応答して、音量低下コマンドを前記第２の電子デバイスに送信することを含み、前記音量低下コマンドは、前記第２の電子デバイスによって受信されると、前記第２の電子デバイスに、より小さい振幅において前記発声音を作成させ、
    前記方法は、前記リモートコントロールが前記非アクティブ状態に遷移することに応答して、音量増大コマンドを前記第２の電子デバイスに送信することをさらに備え、前記音量増大コマンドは、前記第２の電子デバイスによって受信されると、前記第２の電子デバイスにより大きい振幅において前記発声音を作成させる、請求項１３に記載の方法。
15. 前記第２の電子デバイスによって作成された前記発声音の周波数のセットを取得することをさらに備え、
    前記フィルタ演算を行うことは、
    前記マイクロフォンへ入力される前記音データの周波数のセットを取得することと、
    前記音データの周波数の前記セットから、前記第２の電子デバイスによって作成された前記発声音の周波数の前記セットのうちのいくつかの前記周波数を抑圧し、フィルタされた周波数のセットを形成することと、
    フィルタされた周波数の前記セットから、リモートコントロールデータが作成されるフィルタされた音データを形成することとを含む、請求項１３に記載の方法。
16. システムであって、
    第１の電子デバイスおよび第２の電子デバイスを備え、前記第１の電子デバイスは、前記第２の電子デバイスから離れてその近傍にあり、前記第２の電子デバイスは、知覚出力を作成するように構成されており、前記第１の電子デバイスは、ネットワークインターフェース、カメラ、メモリ、および前記メモリに結合される処理回路を含み、前記処理回路は、
    前記カメラからビデオストリームを受信するように構成されており、前記カメラは、前記第１の電子デバイスのユーザの方向に向けられており、前記処理回路はさらに、
    前記ビデオストリームのフレームのセットにわたって、前記ユーザによって行われたジェスチャを検出するように構成されており、
    前記ジェスチャを検出したことに応答して、
    前記第１の電子デバイス内のリモートコントロールを、前記リモートコントロールが非アクティブ状態からアクティブ状態に遷移するようにアクティベートするように構成されており、前記リモートコントロールが前記アクティブ状態にあるときに、前記リモートコントロールは、前記第２の電子デバイスによって作成された前記知覚出力に対して変化をトリガするように構成されており、前記処理回路はさらに、
    音波から変換された音データを受信し、
    前記第１の電子デバイスと前記第２の電子デバイスとの間の距離を決定し、
    前記リモートコントロールが前記アクティブ状態にあることに応答して、前記決定された距離に基づき、前記音データを、前記第２の電子デバイスの前記知覚出力を変化させるための予め定められたコマンドとして識別し、
    前記リモートコントロールが前記アクティブ状態にあるときに前記ジェスチャが前記ユーザによって行われないことに応答して、前記リモートコントロールを前記非アクティブ状態へと遷移させるように、前記リモートコントロールを非アクティブ化することとを備える、システム。
17. 前記音波から変換された前記音データを受信することは、
    指定した時間の間前記音データを記録し、音のタイムウィンドウを生成することと、
    前記音のタイムウィンドウから周波数のセットを取得し、周波数のタイムウィンドウを形成することと、
    前記リモートコントロールが前記アクティブ状態にあるときに、前記指定した時間の間、音データを前記記録することを繰り返し、周波数のセットを取得し、前記記録された音データのスペクトログラムを形成することとを含む、請求項１に記載のシステム。
18. 前記音データは、周波数のセットを含み、
    前記音データを、前記第２の電子デバイスの前記知覚出力を変化させるための予め定められたコマンドとして識別することは、
    前記距離に基づき、前記第２の電子デバイスによって作成された前記発声音の前記周波数の前記セットのうちのいくつかの前記周波数の振幅および位相を作成することと、
    前記音データ入力の周波数の前記セットのうち、前記第２の電子デバイスによって作成された前記発声音の周波数の前記セットのうちのいくつかの前記周波数の前記振幅および位相に十分に近い振幅および位相を有する周波数のものを識別することとを含む、請求項１に記載のコンピュータプログラム。
19. 処理回路に方法を実行させるためのコンピュータプログラムであって、前記方法は、
    前記処理回路を含む第１の電子デバイスのカメラからビデオストリームを受信することを備え、前記カメラは、前記第１の電子デバイスのユーザの方向に向けられており、前記第１の電子デバイスは、第２の電子デバイスから離れてその近傍にあり、前記第２の電子デバイスは、知覚出力を作成するように構成されており、前記方法はさらに、
    前記ビデオストリームのフレームのセットにわたって、前記ユーザによって行われたジェスチャを検出することと、
    前記ジェスチャを検出したことに応答して、
    前記第１の電子デバイス内のリモートコントロールを、前記リモートコントロールが非アクティブ状態からアクティブ状態に遷移するようにアクティベートすることとを備え、前記リモートコントロールが前記アクティブ状態にあるときに、前記リモートコントロールは、前記第２の電子デバイスによって作成された前記知覚出力に対して変化をトリガするように構成されており、前記方法はさらに、
    音波から変換された音データを受信することと、
    前記第２の電子デバイスから前記発声音が伝播されたネットワーク信号の到来角（ＡＯＡ）を決定することと、
    前記リモートコントロールが前記アクティブ状態にあることに応答して、前記決定されたＡＯＡに基づき、前記音データを、前記第２の電子デバイスの前記知覚出力を変化させるための予め定められたコマンドとして識別することと、
    前記リモートコントロールが前記アクティブ状態にあるときに前記ジェスチャが前記ユーザによって行われないことに応答して、前記リモートコントロールを前記非アクティブ状態へと遷移させるように、前記リモートコントロールを非アクティブ化することとを備える、コンピュータプログラム。
20. 前記音データは、周波数のセットを含み、
    前記決定されたＡＯＡに基づき、前記音データを、前記第２の電子デバイスの前記知覚出力を変化させるための予め定められたコマンドとして識別することはさらに、
    前記ＡＯＡに基づき、前記第２の電子デバイスによって作成された前記発声音の前記周波数の前記セットのうちのいくつかの前記周波数の振幅および位相を作成することと、
    前記音データ入力の周波数の前記セットのうち、前記第２の電子デバイスによって作成された前記発声音の周波数の前記セットのうちのいくつかの前記周波数の前記振幅および位相に十分に近い振幅および位相を有する周波数のものを識別することとを含む、請求項１９に記載のコンピュータプログラム。
21. 請求項１〜１０，１９および２０のいずれかに記載のコンピュータプログラムを格納したメモリと、
    前記コンピュータプログラムを実行するための処理回路とを備える、装置。