JP2017532920A - ３次元空間において音像を定位し、制御するための方法及びシステム - Google Patents

Abstract

３次元空間において音像を定位し、制御するためのシステムであって、３次元動作感知式入力装置と、ジェスチャライブラリ及び１つ又は複数のビルトインフィーチャを含む、デジタルオーディオワークステーションアプリケーションを組み込んでいるコンピュータシステムであって、通信リンクによって３次元動作感知式入力装置に接続されているコンピュータシステムと、を備え、ジェスチャライブラリに予め定義されているジェスチャが、３次元動作感知式入力装置によってキャプチャされ、通信リンクを介してコンピュータシステムに提供され、デジタルオーディオワークステーションアプリケーションによって使用されて、３次元空間において音像を定位するか、又はデジタルオーディオワークステーションアプリケーションの１つ若しくは複数のビルトインフィーチャを制御する、システム。【選択図】 図１ａ

Description

本発明は、３次元空間において音像を定位し（音像の位置を定め）、制御するための方法及びシステムに関する。本発明は、概して、音声、映像、映画及びマルチメディア制作を含む、メディア制作の分野に適用可能である。

３次元空間における音像の定位及び制御を伴うメディア制作は、多くのフィーチャ・アンド・ファンクションを伴って益々高度化してきている。一方、３次元空間における音像の実際の静的及び動的な定位及び制御は、典型的には、マウス、キーボード、及びその他の周辺装置によって操作される。そのような従前のコントローラは、３次元空間において音像を定位し、制御することに関して、オペレータに制限された奥行き感を与えることしかできない。

それゆえに、機能性の向上に伴い、特に、複雑で高スループットの状況では、３次元空間において音像を定位し、制御するための改善されたシステム及び方法を提供することが継続して必要とされている。

本発明の目的は、従来技術の欠点のうちの１つ又は複数を実質的に克服し、又は少なくとも改善することである。

一態様では、３次元空間において音像を定位し、制御するためのシステムが提供される。そのようなシステムは、
３次元動作感知式入力装置と、
ジェスチャライブラリ及び１つ又は複数のビルトインフィーチャ（組込み機能）を含む、デジタルオーディオワークステーションアプリケーションを組み込んでいるコンピュータシステムであって、通信リンクによって３次元動作感知式入力装置（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｍｏｔｉｏｎ ｓｅｎｓｉｎｇ ｉｎｐｕｔ ｄｅｖｉｃｅ）に接続されているコンピュータシステムと、を備えることができ、
ジェスチャライブラリに予め定義されているジェスチャが、３次元動作感知式入力装置によってキャプチャされ、通信リンクを介してコンピュータシステムに提供され、デジタルオーディオワークステーションアプリケーションによって使用されて、３次元空間において音像を定位するか、又はデジタルオーディオワークステーションアプリケーションの１つ若しくは複数のビルトインフィーチャを制御する。

本態様による代替システムは、
３次元動作感知式入力装置と、
通信リンクによって３次元動作感知式入力装置に接続されている、マスタコンピュータシステムと、
通信リンク（複数可）によってマスタコンピュータシステムにネットワーク接続されている、１つ又は複数の追加のコンピュータシステム（複数可）と、を備えることができ、
コンピュータシステムのそれぞれが、ジェスチャライブラリ及び１つ又は複数のビルトインフィーチャを含むデジタルオーディオワークステーションアプリケーションを組み込んでおり、
ジェスチャライブラリに予め定義されているジェスチャが、３次元動作感知式入力装置によってキャプチャされ、通信リンクを介してマスタコンピュータシステムに提供され、コンピュータシステムのうちのいずれかのデジタルオーディオワークステーションアプリケーションによって、３次元空間において音像を定位するために、又はデジタルオーディオワークステーションアプリケーションの１つ若しくは複数のビルトインフィーチャを制御するために使用可能である。

そのような代替システムでは、通信リンクによってマスタコンピュータシステムにネットワーク接続されている５個以上の追加のコンピュータシステムが存在してもよい。

別の態様では、３次元空間において音像を定位するための方法が提供される。そのような方法は、
３次元動作感知式入力装置によって検出可能な予め定義されたジェスチャを使用して、３次元空間において音像を定位するか、又は通信リンクを介して３次元動作感知式入力装置に接続されているコンピュータシステムに位置するデジタルオーディオワークステーションアプリケーションの１つ又は複数のビルトインフィーチャを制御するステップを含むことができる。

次いで、本発明の好ましい実施形態について、添付図面を参照して説明する。

好ましい実施形態による、３次元空間において音像を定位し、制御するためのシステムの例としてのブロック図を示す。 別の好ましい実施形態による、３次元空間において音像を定位し、制御するためのシステムの例としてのブロック図を示す。 さらなる好ましい実施形態による、３次元空間において音像を定位し、制御するためのシステムの例としてのブロック図を示す。 ディスプレイ上の球が音像を表す仮想部屋の３次元表現を示したディスプレイのスクリーンショットを示す。

好ましい実施形態は、３次元空間において音像を定位し、制御するためのデジタルオーディオワークステーションアプリケーションを実行するコンピュータシステムに接続されるコントローラとして、例えば、ＬｅａｐＭｏｔｉｏｎ Ｃｏｎｔｒｏｌ（ｈｔｔｐｓ：／／ｗｗｗ．ｌｅａｐｍｏｔｉｏｎ．ｃｏｍ／を参照。最終アクセスは２０１５年８月２１日）、又はＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔ（ｈｔｔｐ：／／ｗｗｗ．Ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ−ｕｓ／ｋｉｎｅｃｔｆｏｒｗｉｎｄｏｗｓ／を参照。最終アクセスは２０１５年８月２１日）といった、３次元動作感知式入力装置の使用を伴う。

デジタルオーディオワークステーションアプリケーションを実行するコンピュータシステムは、典型的には、ディスプレイを備えるか、又はディスプレイに接続されてもよい。図２に示す例に見られるように、ディスプレイは、３次元空間の表現、典型的には「仮想部屋」を提示してもよい。図２では、音像は、「球」によって表されている。好ましい実施形態に従ってこの空間内で音像を定位するために、ユーザは、コンピュータシステムで実行しているデジタルオーディオワークステーション上で所望のファンクション、例えば、パン機能を用いてもよく、そして、コンピュータシステムに接続されている３次元動作感知式入力装置の検出ゾーンに手を伸ばす。グラフィカルフィーチャが、ディスプレイ上の仮想部屋内にユーザの手を示してもよい。次いで、ユーザは、単に「球」に手を伸ばして掴み、仮想部屋内で３次元的に球を動かしてもよい。ユーザの手が、例えば、挟む動作、拳を作ること、又はキーボードストロークを選択できるとき、ユーザの手のグラフィカルフィーチャ又はユーザの手の近似の表示の代わりに、グラフィカルフィーチャが、球をハイライトしてもよい。片手を使って１つの音声オブジェクトを制御してもよく、又は両手で２つの独立した信号を同時に制御してもよい。

以下のような、他のファンクションに対する制御の振る舞いを修正する修正子（Ｍｏｄｉｆｉｅｒ）が、例えばキーボードを介して、実装されてもよい。

「ＰＯＩへのロック（Ｌｏｃｋ ｔｏ ＰＯＩ）」は、注目点、例えば、スピーカの位置、又は特定の平面への動きを制限する。

「回転（Ｒｏｔａｔｅ）」は、位置ではなく音像の制御に感知を切り替え、手のひねり動作に応答して、音像の回転を可能にする。

「傾き（Ｔｉｌｔ）」は、位置ではなく音像の制御に感知を切り替え、手の傾き動作に応答して、音像の傾きを可能にすることができる。

「拡大（Ｓｐｒｅａｄ）」は、手／指を開いて閉じることに応答して、音像サイズの制御を可能にすることができる。

「発散（Ｄｉｖｅｒｇｅｎｃｅ）」は、手／指を開いて閉じることに応答して、音像にじみの制御を可能にすることができる。

図１ａ〜１ｃを参照すると、好ましい実施形態による、３次元空間において音像を定位し、制御するためのシステムは、デジタルオーディオワークステーションアプリケーション１４を組み込んでいるコンピュータシステム１３と通信リンク１２を介して通信する３次元動作感知式入力装置１１を含むことが示されている。通信リンク１２は、有線接続及び／又は無線接続であってもよい。通信リンク１２が有線である場合、通信リンク１２は、ＵＳＢ接続であってもよい。通信リンク１２は、直接又は間接であってもよい。通信リンク１２は、移動アプリケーション及び／又はプラグインの形態を含んでもよい。３次元動作感知式入力装置１１は、その検出ゾーンで行われている動作に関する情報をキャプチャする。３次元動作感知式入力装置１１は、キャプチャした情報を、デジタルオーディオワークステーションアプリケーション１４を組み込んでいるコンピュータシステム１３に、通信リンク１２を介して提供する。

コンピュータシステム１３は、デジタルオーディオワークステーションアプリケーション１４、プロセッサ１５、メモリ１６、及びディスプレイ１７を組み込んでいる。プロセッサ１５は、メモリ１６に記憶されている命令を実行して、音声−映像出力信号をディスプレイ１７に提供し、及び他の機能性を実現してもよい。デジタルオーディオワークステーションアプリケーション１４は、例えば、Ｆａｉｒｌｉｇｈｔ Ｄｒｅａｍ ＩＩ、Ｎｕｅｎｄｏ、又はＰｒｏ Ｔｏｏｌｓなどの、音声制作ソフトウェアプラットフォームの形態を取ってもよい。デジタルオーディオワークステーションアプリケーションは、ジェスチャライブラリ１４１、及び音声制作用の１つ又は複数のビルトインフィーチャ１４２、例えばパニング機能を含んでもよい。図１ｂ及び図１ｃに見られるように、デジタルオーディオワークステーションアプリケーション１４のアーキテクチャは、例えば、デジタルオーディオワークステーションアプリケーション１４に含まれない代替のパニング機能などの、音声制作用のプラグインフィーチャ（プラグイン機能）１８を使用するように構成されてもよい。

デジタルオーディオワークステーションアプリケーションは、ジェスチャフィルタの集合などのジェスチャライブラリ１４１を含み、それぞれが、（ユーザが動く時に）実行され得るジェスチャに関する情報を有してもよい。例えば、ジェスチャフィルタは、スワイプ又は手の投げ出しなどの様々な手のジェスチャに対して提供され得る。検出された動作を各フィルタと比較することによって、人が実行する指定されたジェスチャ又は動きが、識別されてもよい。動きが実行される範囲も判断されてもよい。３次元動作感知式入力装置１１によってキャプチャされ、通信リンク１２を介してコンピュータシステム１３に提供される情報は、デジタルオーディオワークステーションアプリケーションの１つ又は複数のビルトインフィーチャ１４２を制御するために、ジェスチャライブラリ１４１に予め定義されてもよい。

図１ｃを参照すると、コンピュータシステム１３は、通信リンク１２を介して他のコンピュータシステム１３ａ、１３ｂ、及び１３ｃにネットワーク接続されてもよい。そのようなネットワーク接続によって、３次元動作感知式入力装置１１が、デジタルオーディオワークステーションアプリケーションの１つ若しくは複数のビルトインフィーチャ、及び／又はコンピュータシステム１３のデジタルオーディオワークステーションアプリケーション１４を介してネットワーク接続されたコンピュータシステム１３ａ、１３ｂ、及び１３ｃのプラグインフィーチャを制御できるようにしてもよい。そのような構成では、デジタルオーディオワークステーションアプリケーション１４は、そうでなければ物理的に分離したコンピュータシステムで制作されている音像を、３次元空間において定位し、制御することが可能である。好ましい実施形態では、コンピュータシステム１３は、５〜１２個の物理的に分離したコンピュータシステムにネットワーク接続されてもよい。

本発明の好ましい実施形態の３次元動作感知式入力装置は、例えば、選択するジェスチャ、掴むジェスチャ、投げるジェスチャなどであるとして、ジェスチャを認識することが可能で、ユーザの直観的なジェスチャ又は予め定義されたジェスチャを検出可能な、任意の従来型の３次元動作感知式入力装置であってもよい。現在利用できる適当な３次元感知式入力装置の例は、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ、及びＬｅａｐ Ｍｏｔｉｏｎ３次元入力感知装置である。

好ましい実施形態では、３次元動作感知式入力装置は、モバイル装置若しくはパーソナルコンピュータなどの別のネットワークコンポーネントに組み込まれてもよく、又は、壁掛け、デスクトップ、若しくは自立型装置などのネットワーク内のスタンドアロン装置であってもよい。さらに、３次元動作感知式入力装置は、ユーザ、ユーザのジェスチャ、又は任意の仮想コンポーネント若しくはクラウドリソースを含む任意のネットワークコンポーネントから、任意の適当な距離にあってもよく、又はこれらに対し任意の方位を有してもよい。適当な距離は、ミリメートルなどの短距離、又は３次元動作感知式入力装置が十分なジェスチャ情報を正確に取得することが依然として可能な任意の距離などの長距離を含んでもよい。適当な方位は、直交方位、垂直方位、空中方位、又は任意の他の方位などの、任意の方位を含んでもよい。

好ましい実施形態では、３次元動作感知式入力装置は、複数部分からなるジェスチャであるジェスチャ、又は一部が時間的に遅延しているジェスチャを認識するように構成されてもよい。例えば、掴むジェスチャが、投げるジェスチャよりいくらか前に実行され、投げるジェスチャと時間的に別々であるときでも、３次元動作感知式入力装置は、掴むジェスチャと投げるジェスチャとを認識してもよい。

好ましい実施形態では、システムが特定のジェスチャ又は特定のユーザを正確に検出することができるように、システムが使用前に較正されてもよい。システム較正はまた、システムが、ネットワーク装置及びコンポーネントの、互いから及び／又はユーザからの方位、距離、及び／又は方向を、外挿法によって推定することを補助してもよい。

本明細書は、メディア処理、コンピュータアーキテクチャ、及びプログラミングの当業者に向けて書かれている。

具体的に特段の記述がない限り、明細書全体を通して、「処理する」、「計算する」、「算出する」、「判断する」などの用語を使用する考察は、電子量などの物理量として表されるデータを操作し、及び／又は、電子量などの物理量として表されるデータを、同様に物理量として表される他のデータに変換する、コンピュータ若しくは計算システム、又は類似の電子計算装置の動作及び／又は処理を指す。

同様に、「プロセッサ」という用語は、例えば、レジスタ及び／又はメモリからの電子データを処理して、例えば、レジスタ及び／又はメモリに記憶され得る他の電子データに、その電子データを変換する、任意の装置又は装置の一部を指してもよい。「コンピュータ」、又は「計算機械」、又は「計算プラットフォーム」は、１つ又は複数のプロセッサを含んでもよい。

各プロセッサは、１つ又は複数のＣＰＵ、グラフィック処理ユニット、及びプログラマブルＤＳＰユニットを含んでもよい。処理システムは、メインＲＡＭ、及び／又はスタティックＲＡＭ、及び／又はＲＯＭを含む、メモリサブシステムをさらに含んでもよい。バスサブシステムは、コンポーネント間で通信するために含まれてもよい。処理システムがディスプレイを必要とする場合、そのようなディスプレイには、例えば、液晶ディスプレイ（ＬＣＤ）、又は陰極線管（ＣＲＴ）ディスプレイが含まれてもよい。手動データ入力が必要とされる場合、処理システムは、また、キーボードなどの英数字入力ユニット、マウスなどのポインティング制御装置などのうちの１つ又は複数などの入力装置を含む。本明細書で使用されるメモリユニットの用語は、また、ディスクドライブユニットなどの記憶システムを包含する。いくつかの構成における処理システムは、音響出力装置、及びネットワークインターフェース装置を含んでもよい。メモリサブシステムは、したがって、処理システムによって実行される際に、本明細書に記載した方法のうちの１つ又は複数を実行するためのコンピュータ可読命令、例えば、ソフトウェアを担持する、担持媒体を含む。方法が、いくつかの要素、例えば、いくつかのステップを含むとき、具体的に記述しない限り、そのような要素の順序付けを示唆するものではないことに留意されたい。ソフトウェアは、ハードディスクに存在してもよく、又は、コンピュータシステムによる実行中に、ＲＡＭ及び／若しくはプロセッサ内に、完全に、若しくは少なくとも部分的に存在してもよい。したがって、メモリ及びプロセッサは、また、コンピュータ可読命令を担持する担持媒体を構成する。

いくつかの図面（複数可）には、単一のプロセッサ及びコンピュータ可読命令を担持する単一のメモリのみを示すものの、当業者には理解されるように、上述したコンポーネントの多くが含まれるが、発明の態様を不明確にしないために、明示的には図示又は説明しないことに留意されたい。

考察された方法のステップは、記憶装置に記憶された命令（コードセグメント）を実行する処理（即ち、コンピュータ）システムの適切なプロセッサ（又は複数のプロセッサ）によって、一実施形態において実行されると理解されたい。発明が、いかなる特定の実装又はプログラミング技術にも限定されないこと、及び、発明が、本明細書に記載した機能性を実装するための任意の適切な技術を使用して実装され得ることも理解されたい。発明は、どの特定のプログラミング言語又はオペレーティングシステムにも限定されない。

本発明の好ましい形態が、音声制作に関連する応用例に対する特定の参照と共に説明されたが、上述した好ましい実施形態に対して修正が行われ得ること、又は、発明が他の形態で具体化され、代替的なアプリケーションにおいて使用され得ることが、当業者には明らかである。

本明細書及び下記の特許請求の範囲を通じて、文脈がそうでないことを要しない限り、「組み込む（ｉｎｃｏｒｐｏｒａｔｅ）」及び「備える（ｃｏｍｐｒｉｓｅ）」という語、並びに「組み込む（ｉｎｃｏｒｐｏｒａｔｅｓ）」、「組み込んでいる（ｉｎｃｏｒｐｏｒａｔｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、及び「備えている（ｃｏｍｐｒｉｓｉｎｇ）」などの変化形は、記述した整数若しくはステップ、又は整数若しくはステップの群を包含することを示唆するが、いかなる他の整数若しくはステップ、又は整数若しくはステップの群も除外しないことを示唆すると理解されるであろう。

任意の先行出版物（若しくは、それから派生した情報）、又は任意の既知の事項に対する本明細書での参照は、先行出版物（若しくは、それから派生した情報）、又は既知の事項が、本明細書が関係する努力傾注分野における共通の一般的知識の一部を形成することの、承認若しくは自認、又は任意の形式の提案と解釈されるものではなく、また解釈されるべきではない。

Claims (4)

1. ３次元空間において音像を定位し、制御するためのシステムであって、
   ３次元動作感知式入力装置と、
   ジェスチャライブラリ及び１つ又は複数のビルトインフィーチャを含むデジタルオーディオワークステーションアプリケーションを組み込んでいるコンピュータシステムであって、通信リンクによって前記３次元動作感知式入力装置に接続されている前記コンピュータシステムと、を備え、
   前記ジェスチャライブラリに予め定義されているジェスチャが、前記３次元動作感知式入力装置によってキャプチャされ、前記通信リンクを介して前記コンピュータシステムに提供され、前記デジタルオーディオワークステーションアプリケーションによって使用されて、３次元空間において音像を定位するか、又は前記デジタルオーディオワークステーションアプリケーションの１つ若しくは複数のビルトインフィーチャを制御する、システム。
2. ３次元空間において音像を定位し、制御するためのシステムであって、
   ３次元動作感知式入力装置と、
   通信リンクによって前記３次元動作感知式入力装置に接続されているマスタコンピュータシステムと、
   通信リンク（複数可）によって前記マスタコンピュータシステムにネットワーク接続されている１つ又は複数の追加のコンピュータシステム（複数可）と、を備え、
   前記コンピュータシステムのそれぞれが、ジェスチャライブラリ及び１つ又は複数のビルトインフィーチャを含むデジタルオーディオワークステーションアプリケーションを組み込んでおり、
   前記ジェスチャライブラリに予め定義されているジェスチャが、前記３次元動作感知式入力装置によってキャプチャされ、前記通信リンクを介して前記マスタコンピュータシステムに提供され、前記コンピュータシステムのうちのいずれかの前記デジタルオーディオワークステーションアプリケーションによって、３次元空間において音像を定位するために、又は前記デジタルオーディオワークステーションアプリケーションの１つ若しくは複数のビルトインフィーチャを制御するために使用可能である、システム。
3. 通信リンクによって前記マスタコンピュータシステムにネットワーク接続されている５個以上の追加のコンピュータシステムが存在する、請求項２に記載のシステム。
4. ３次元空間において音像を定位するための方法であって、
   ３次元動作感知式入力装置によって検出可能な予め定義されたジェスチャを使用して、３次元空間において音像を定位するか、又は通信リンクを介して３次元動作感知式入力装置に接続されているコンピュータシステムに位置するデジタルオーディオワークステーションアプリケーションの１つ又は複数のビルトインフィーチャを制御するステップを含む、方法。

Images