JP2017509181A5 - - Google Patents

Description

有利には、この開示された技術はユーザが、オーディオイベントが音響空間内で再生される位置を修正することを可能にする。例えば、ユーザは直感的に、オーディオイベントと関連した仮想物体を把持し、仮想物体を仮想３次元音響空間内の所望の位置に再配置し得る。したがって、オーディオイベントは音響空間内に再配置されてよく、ユーザが、多数のオーディオイベントを同時により効果的に聴取及び／または相互作用することを可能にする。また、ユーザが仮想３次元音響空間内にオーディオイベントを再配置するのをさらに支援するために、ユーザの手がオーディオイベントと関連した仮想物体に隣接した時に、聴覚フィードバック及び／または触覚フィードバックが、ユーザに提供され得る。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
オーディオパラメータをジェスチャに基づいて修正する方法であって、
ユーザの手に関連したセンサデータを取得し、
前記センサデータを分析して少なくとも１つの手の位置を決定し、
前記少なくとも１つの手の位置に基づいて手のジェスチャを検出し、
前記手のジェスチャに対応して、オーディオストリームに関連した空間オーディオパラメータを修正して、修正されたオーディオストリームを生成し、
前記修正されたオーディオストリームを前記ユーザに出力するために再生させることを含む、方法。
（項目２）
前記空間オーディオパラメータの修正が、音響空間の第１の側に向かって前記オーディオストリームに含まれた第１のオーディオイベントを移動することと、前記音響空間の第２の側に向かって前記オーディオストリームに含まれた第２のオーディオイベントを移動することと、を含む、項目１に記載の方法。
（項目３）
前記センサデータを分析することが、前記手のジェスチャが開始された第１の手の位置を決定し、前記手のジェスチャが完了された第２の手の位置を決定することを含む、項目１に記載の方法。
（項目４）
前記空間オーディオパラメータを修正することが、前記第２の手の位置に関連する、音響空間の第２の位置に向かって前記第１の手の位置に関連する、前記音響空間の第１の位置から前記オーディオストリームに含まれたオーディオイベントを移動することを含む、項目３に記載の方法。
（項目５）
前記手のジェスチャが把持ジェスチャを含む、項目４に記載の方法。
（項目６）
前記空間オーディオパラメータを修正することが、物理モデルを介して、前記オーディオイベントに対応する第１の仮想物体と、前記ユーザの前記手に対応する第２の仮想物体との間の相互作用を決定することをさらに含む、項目４に記載の方法。
（項目７）
前記センサデータが画像データと奥行きデータのうち少なくとも１つを含む、項目１に記載の方法。
（項目８）
前記手のジェスチャを検出することが、前記少なくとも１つの手の位置と前記オーディオストリームに含まれたオーディオイベントに関連する仮想物体との間の交差を検出することを含む、項目１に記載の方法。
（項目９）
前記少なくとも１つの手の位置と前記仮想物体との間の前記交差の検出に対応して、聴覚フィードバックと触覚フィードバックのうち少なくとも１つを生成させることをさらに含む、項目８に記載の方法。
（項目１０）
ジェスチャに基づいてオーディオパラメータを修正するシステムであって、
ユーザの手に関連したセンサデータを取得するよう構成された少なくとも１つのセンサと、
前記少なくとも１つのセンサに連結された処理装置であって、
少なくとも１つの手の位置を決定するために前記センサデータを分析し、
前記少なくとも１つの手の位置に基づいて手のジェスチャを検出し、
前記手のジェスチャに対応して、オーディオストリームに含まれた第１のオーディオイベントを音響空間の第１の位置から前記音響空間の第２の位置へと移動して修正されたオーディオストリームを生成するよう構成された処理装置と、
前記処理装置に連結され、前記修正されたオーディオストリームを再生するよう構成されたスピーカと、を備えるシステム。
（項目１１）
前記音響空間の第１の側に対応する前記第２の位置と、前記処理装置が、さらに、前記手のジェスチャに対応して、前記オーディオストリームに含まれた第２のオーディオイベントを前記音響空間の第２の側へと移動するよう構成された、項目１０に記載のシステム。
（項目１２）
前記手のジェスチャが分割ジェスチャを含む、項目１１に記載のシステム。
（項目１３）
前記処理装置が前記センサデータを分析して、前記手のジェスチャが開始された第１の手の位置と、前記手のジェスチャが完了された第２の手の位置を決定するよう構成され、前記音響空間の前記第１の位置が前記第１の手の位置と関連し、前記音響空間の前記第２の位置が前記第２の手の位置と関連する、項目１０に記載のシステム。
（項目１４）
前記手のジェスチャが、押圧ジェスチャとスワイプジェスチャのうち少なくとも１つを含む、項目１３に記載のシステム。
（項目１５）
前記第１の手の位置と前記第２の手の位置との間の距離を決定することによって、前記処理装置が、前記第１の前記オーディオイベントを移動するよう構成された、項目１３に記載のシステム。
（項目１６）
前記少なくとも１つのセンサが第１のセンサと第２のセンサを備え、前記処理装置が、前記第２のセンサの第２の位置に対して前記第１のセンサの第１の位置を決定することにより、前記少なくとも１つの手の位置を決定するよう構成された、項目１０に記載のシステム。
（項目１７）
前記処理装置が、前記第１のオーディオイベントを、頭部伝達関数に基づいて、前記音響空間の前記第１の位置から前記音響空間の前記第２の位置へと移動するよう構成された、項目１０に記載のシステム。
（項目１８）
前記少なくとも１つの手の位置と前記第１のオーディオイベントに関連した仮想物体との間の交差の検出に対応して、触覚フィードバックを生成するよう構成されたフィードバック装置をさらに備える、項目１０に記載のシステム。
（項目１９）
前記処理装置が、前記少なくとも１つの手の位置と前記第１のオーディオイベントに関連した仮想物体との間の交差の検出に対応して、前記スピーカに聴覚フィードバックを生成させるようさらに構成された、項目１０に記載のシステム。
（項目２０）
処理装置によって実行されるときに、命令を含む非一時的なコンピュータ可読記憶媒体であって、
ユーザの手に関連したセンサデータを取得し、
前記センサデータを分析して第１の手の位置と第２の手の位置とを決定し、
前記第１の手の位置と前記第２の手の位置に基づいて手のジェスチャを検出し、
前記手のジェスチャに対応して、オーディオストリームに関連した空間オーディオパラメータを修正して、修正されたオーディオストリームを生成し、
前記修正されたオーディオストリームを前記ユーザに出力するために再生させる、工程を実行することにより、前記処理装置にジェスチャに基づいてオーディオパラメータを修正させる記憶媒体。

Claims (16)

1. オーディオパラメータをジェスチャに基づいて修正する方法であって、
   ユーザの手に関連したセンサデータを取得し、
   前記センサデータを分析して少なくとも１つの手の位置を決定し、
   前記少なくとも１つの手の位置に基づいて手のジェスチャを検出し、
   前記手のジェスチャに対応して、オーディオストリームに関連した空間オーディオパラメータを修正して、修正されたオーディオストリームを生成し、
   前記修正されたオーディオストリームを前記ユーザに出力するために再生させることを含む、方法。
2. 前記空間オーディオパラメータの修正が、音響空間の第１の側に向かって前記オーディオストリームに含まれた第１のオーディオイベントを移動することと、前記音響空間の第２の側に向かって前記オーディオストリームに含まれた第２のオーディオイベントを移動することと、を含む、請求項１に記載の方法。
3. 前記センサデータを分析することが、前記手のジェスチャが開始された第１の手の位置を決定し、前記手のジェスチャが完了された第２の手の位置を決定することを含む、請求項１に記載の方法。
4. 前記空間オーディオパラメータを修正することが、前記第２の手の位置に関連する、音響空間の第２の位置に向かって前記第１の手の位置に関連する、前記音響空間の第１の位置から前記オーディオストリームに含まれたオーディオイベントを移動することを含む、請求項３に記載の方法。
5. 前記手のジェスチャが把持ジェスチャを含む、請求項４に記載の方法。
6. 前記空間オーディオパラメータを修正することが、物理モデルを介して、前記オーディオイベントに対応する第１の仮想物体と、前記ユーザの前記手に対応する第２の仮想物体との間の相互作用を決定することをさらに含む、請求項４に記載の方法。
7. 前記センサデータが画像データと奥行きデータのうち少なくとも１つを含む、請求項１に記載の方法。
8. 前記手のジェスチャを検出することが、前記少なくとも１つの手の位置と前記オーディオストリームに含まれたオーディオイベントに関連する仮想物体との間の交差を検出することを含む、請求項１に記載の方法。
9. 前記少なくとも１つの手の位置と前記仮想物体との間の前記交差の検出に対応して、聴覚フィードバックと触覚フィードバックのうち少なくとも１つを生成させることをさらに含む、請求項８に記載の方法。
10. ジェスチャに基づいてオーディオパラメータを修正するシステムであって、
    ユーザの手に関連したセンサデータを取得するよう構成された少なくとも１つのセンサと、
    前記少なくとも１つのセンサに連結された処理装置であって、
    少なくとも１つの手の位置を決定するために前記センサデータを分析し、
    前記少なくとも１つの手の位置に基づいて手のジェスチャを検出し、
    前記手のジェスチャに対応して、オーディオストリームに含まれた第１のオーディオイベントを音響空間の第１の位置から前記音響空間の第２の位置へと移動して修正されたオーディオストリームを生成するよう構成された処理装置と、
    前記処理装置に連結され、前記修正されたオーディオストリームを再生するよう構成されたスピーカと、を備えるシステム。
11. 前記音響空間の第１の側に対応する前記第２の位置と、前記処理装置が、さらに、前記手のジェスチャに対応して、前記オーディオストリームに含まれた第２のオーディオイベントを前記音響空間の第２の側へと移動するよう構成された、請求項１０に記載のシステム。
12. 前記手のジェスチャが分割ジェスチャを含む、請求項１１に記載のシステム。
13. 前記処理装置が前記センサデータを分析して、前記手のジェスチャが開始された第１の手の位置と、前記手のジェスチャが完了された第２の手の位置を決定するよう構成され、前記音響空間の前記第１の位置が前記第１の手の位置と関連し、前記音響空間の前記第２の位置が前記第２の手の位置と関連する、請求項１０に記載のシステム。
14. 前記手のジェスチャが、押圧ジェスチャとスワイプジェスチャのうち少なくとも１つを含む、請求項１３に記載のシステム。
15. 前記処理装置が、前記第１のオーディオイベントを、頭部伝達関数に基づいて、前記音響空間の前記第１の位置から前記音響空間の前記第２の位置へと移動するよう構成された、請求項１０に記載のシステム。
16. 処理装置によって実行されるときに、命令を含む非一時的なコンピュータ可読記憶媒体であって、
    ユーザの手に関連したセンサデータを取得し、
    前記センサデータを分析して第１の手の位置と第２の手の位置とを決定し、
    前記第１の手の位置と前記第２の手の位置に基づいて手のジェスチャを検出し、
    前記手のジェスチャに対応して、オーディオストリームに関連した空間オーディオパラメータを修正して、修正されたオーディオストリームを生成し、
    前記修正されたオーディオストリームを前記ユーザに出力するために再生させる、工程を実行することにより、前記処理装置にジェスチャに基づいてオーディオパラメータを修正させる記憶媒体。