JP2020526962A - 多チャネルバイノーラル録音および動的再生 - Google Patents

Abstract

ＶＲ／ＡＲ用途における強化された音声体験のための方法およびシステムが提供される。本開示の装置は、複数のバイノーラルステレオ対を録音し、ユーザの頭部位置に対応する選ばれたバイノーラル対を再生するように適合されている。複数のバイノーラルステレオ対を録音するために、さまざまな実施形態で、実質的に球形のマイクロアレイが利用される。さらに、ユーザの頭部位置を追跡し、頭部位置に対応するバイノーラル音対を動的に再生するように、ＶＲ／ＡＲヘッドセットが適合されている。

Description

本開示は一般に音声録音および再生に関する。詳細には、本開示は、強化された仮想現実感／拡張現実感（ＶＲ／ＡＲ）音声体験を提供するための装置および方法に関する。より詳細には、多チャネルサラウンドサウンド録音および録音された音のバイノーラル再生のための装置および方法が提供される。

録音は、長い間、主要な２つの方法、すなわちモノおよびステレオを使用して実施されてきた。モノは、音をピックアップするのに単一のマイクロホンを使用し、ステレオは、互いに間隔を置いて配置された２つのマイクロホンを使用する。近年のＶＲ／ＡＲ技術の出現および広がりにより、録音はしばしば、２つ超のマイクロホンを使用して実施されている。その結果得られた録音は通常、再生に２つ超のスピーカを必要とする。いくつかのシナリオでは、この録音に対してミキシング処理または信号処理が実行され、それによって２つのスピーカだけを使用して再生がなされる。しかしながら、関与するスピーカの数を問わず、このような「シミュレートされた」サラウンドサウンドはしばしば、現実とは感じられないまたは満足できない人間の耳の聴音（ｌｉｓｔｅｎｉｎｇ）体験につながる。これは、１つには、人間の耳による聴力（ｈｅａｒｉｎｇ）または聴覚（ａｕｄｉｔｏｒｙ ｐｅｒｃｅｐｔｉｏｎ）の複雑さ、特に、リスナの頭および耳に対する音源の相対的位置および向きに対する聴力の感度に起因する。

録音および聴音体験を改善する目的でバイノーラル録音が利用されている。しかしながら、一組の耳介を有する従来の「ダミーヘッド」は一般に１つの向きまたは位置を提示するため、このようなダミーヘッドには限界がある。例えば、ダミーヘッドが、リスナの頭の位置（以後、頭部位置という）または向きを模倣しない場合、その結果得られる音は、リスナの耳の聴音体験を、現実のものまたはビセラル（ｖｉｓｃｅｒａｌ）なものとしては生み出さないであろう。このことは特にＶＲ／ＡＲ用途で問題となる。これは、聴覚のわずかな瑕疵が、全体のＶＲ／ＡＲ体験を、設計よりも劣ったものにする可能性があるためである。

したがって、強化されたＶＲ／ＡＲ音声体験を提供する改良された方法およびシステムが求められている。より詳細には、サラウンドサウンド録音および再生を改良する装置および方法であって、頭部位置および向きの変化を考慮する装置および方法が求められている。

したがって、本開示の目的は、ユーザまたはリスナの頭部位置および角度に対応した強化されたＶＲ／ＡＲ音声体験のための方法およびシステムを提供することにある。

具体的には、本開示によれば、一実施形態において、ユーザの少なくとも２つの頭部位置に対応するサラウンドサウンド録音およびバイノーラル再生のためのシステムが提供される。このシステムは、複数のバイノーラル音対を録音するように適合された実質的に球形のマイクロホンアレイと、これらの複数のバイノーラル音対を処理し、それによって複数のバイノーラル音声対を生成するように適合された多チャネル録音プロセッサと、ユーザの頭部位置を検索し、その頭部位置に基づいてこれらの複数のバイノーラル音声対を処理し、それによってその頭部位置に対応するバイノーラル音対を再現するように適合された多チャネル再生プロセッサと、このバイノーラル音対を再生するように適合された再生ユニットとを備える。

別の実施形態では、再生ユニットが、ヘッドホンとイヤホンのうちの一方である。さらに別の実施形態では、このヘッドホンまたはイヤホンが無線式である。

さらなる実施形態では、このシステムが、多チャネル再生プロセッサに接続された追跡ユニット（ｔｒａｃｋｉｎｇ ｕｎｉｔ）であり、ユーザの頭部位置を追跡するように適合された追跡ユニットをさらに備える。

別の実施形態によれば、この追跡ユニットが、仮想現実感および拡張現実感（ＶＲ／ＡＲ）ヘッドセットである。

さらに別の実施形態によれば、実質的に球形のマイクロホンアレイが、実質的に球形のフレームと、このフレームに固定された複数のマイクロホンとを備える。バイノーラル音対を録音するため、これらの複数のマイクロホンのうちのそれぞれのマイクロホンは、大円（ｏｒｔｈｏｄｒｏｍｅ）上でそのマイクロホンの反対側に位置するマイクロホンと対をなしている。

さらに別の実施形態によれば、フレームのそれぞれの大円の直径が実質的に、人間の一対の耳の耳と耳の間の距離である。

さらなる実施形態によれば、フレームが、ゴム、シリコーン、金属、プラスチックまたはこれらの組合せでできている。

別の実施形態では、実質的に球形のマイクロホンアレイが１８個のマイクロホンを含む。さらに別の実施形態では、実質的に球形のマイクロホンアレイが３２個のマイクロホンを含む。

さらなる実施形態では、多チャネル録音プロセッサが、音信号をフィルタリング処理するように適合された多チャネル増幅器をさらに備える。

本開示によれば、別の実施形態において、バイノーラル録音のための装置が提供される。この装置は、複数のバイノーラル音対を録音するように適合された実質的に球形のマイクロホンアレイと、これらの複数のバイノーラル音対を処理し、それによって複数のバイノーラル音声対を生成するように適合された多チャネル録音プロセッサとを備える。

本開示によれば、さらに別の実施形態において、強化された音声体験をユーザに提供するためのＶＲ／ＡＲシステムが提供される。このシステムは、ユーザの頭部位置を追跡するように適合されたＶＲ／ＡＲヘッドセットと、前述の装置と、ＶＲ／ＡＲヘッドセットに接続されたＶＲ／ＡＲイヤセットであり、ＶＲ／ＡＲヘッドセットからユーザの頭部位置を検索するように適合されたＶＲ／ＡＲイヤセットとを備える。このＶＲ／ＡＲイヤセットはさらに、複数のバイノーラル音対を受け取り、頭部位置に対応するバイノーラル音対を動的に再現するように適合されている。

別の実施形態では、ＶＲ／ＡＲヘッドセットとＶＲ／ＡＲイヤセットとが物理的に接合されている。さらに別の実施形態では、ＶＲ／ＡＲヘッドセットとＶＲ／ＡＲイヤセットとが無線で接続されている。

本開示によれば、さらなる実施形態において、バイノーラル音声ストリームをユーザの頭部位置に基づいて動的に再生するための方法が提供される。この方法は、異なる頭部位置に対応するサラウンドサウンドのバイノーラル録音による複数のバイノーラル音声対を処理すること、ユーザの頭部位置を検索すること、および頭部位置に対応するバイノーラル音対を出力することを含む。

別の実施形態では、この方法が、実質的に球形のマイクロホンアレイを使用して複数のバイノーラル音対を録音すること、および複数のバイノーラル音声対を生成することをさらに含む。さらに別の実施形態では、これらの複数のバイノーラル音対が９つのチャネルを含む。さらなる実施形態では、これらの複数のバイノーラル音対が１６個のチャネルを含む。

実質的に球形のマイクロホンアレイを示す、本開示の一実施形態に基づく図である。 実質的に球形のマイクロホンアレイの透視図を示す、一実施形態に基づく図である。 ヘッドホン再生ユニットを示す、別の実施形態に基づく図である。 上は、ある頭部位置、下は、異なる角度から見た実質的に球形のフレーム上の対応するマイクロホン対を示す、一実施形態に基づく図である。 上は、ある別の頭部位置、下は、異なる角度から見た実質的に球形のフレーム上の対応するマイクロホン対を示す、別の実施形態に基づく図である。 上は、ある追加の頭部位置、下は、異なる角度から見た実質的に球形のフレーム上の対応するマイクロホン対を示す、別の実施形態に基づく図である。 上は、あるさらなる頭部位置、下は、異なる角度から見た実質的に球形のフレーム上の対応するマイクロホン対を示す、一実施形態に基づく図である。 バイノーラル音対を再生するための方法の概要を示す、一実施形態に基づく図である。

本開示の録音および再生システムは、複数のバイノーラルステレオ対を録音し、ユーザの頭部位置に対応する選ばれたバイノーラル対を再生するように適合されている。さまざまな実施形態で、バイノーラルサラウンドサウンド録音および動的再生の方法は、ＶＲ／ＡＲ用途におけるユーザのサラウンドサウンド音声体験を強化する。

＜バイノーラル録音＞
本開示の例示的なシステムは、球形マイクロホンアレイを含み、このアレイは、アレイのそれぞれのマイクロホンの近傍の音を集めるためのものである。一実施形態では、この球形マイクロホンアレイが、実質的に球形のフレームと、フレームに固定された複数のマイクロホンとを備える。図１を参照すると、この球形フレームの３次元（３−Ｄ）透視図が示されている。球形フレームの外面には複数のマイクロホンが固定されている。これらのマイクロホンは、球の表面全体にわたって複製された（ｄｕｂｂｅｄ）突起物として示されている。それぞれのマイクロホンは３−Ｄ座標系内に配置されており、したがって３−Ｄ座標系内で追跡可能である。一実施形態ではこの３−Ｄ座標系が球座標系であり、代替実施形態では３−Ｄデカルト座標系である。図１の球形フレームの中心に３−Ｄ座標系の一例が示されている。

一実施形態によれば、これらの複数のマイクロホンのうちのそれぞれのマイクロホンは、大円上でそのマイクロホンの反対側に位置するマイクロホンと対をなしている。それぞれのマイクロホン対は、ユーザの頭の対応する向きまたは角度に対するバイノーラル音対を録音するように設計されている。対をなす２つのマイクロホン間の距離は実質的に耳と耳の間の距離と同じである。すなわち、球形フレームのそれぞれの大円の直径は、人間の一対の耳の耳と耳の間の距離に実質的に等しい。図３を参照すると、一実施形態では、人間の一対の耳の耳と耳の間の距離が１２ｃｍである。代替実施形態では、ユーザの母集団内の異なる頭のサイズまたは耳の距離に対応するためにこの距離が変動する。

図２を参照すると、球形フレーム上のマイクロホンの配置の一例が、別の図解で示されている。球形フレームの中心にはやはり３−Ｄ座標系が示されている。球形マイクロホンアレイのそれぞれのマイクロホンは、３−Ｄ座標系におけるそのマイクロホンの座標、例えば一実施形態によれば３−Ｄデカルト座標系の（ａ，ｂ，ｃ）または別の実施形態によれば球座標系の（ｒ，θ，φ）によってアドレス指定または追跡が可能である。

さまざまな実施形態で、球形フレームは、ゴム、シリコーン、金属、プラスチックまたは他の複合材料でできている。球形フレーム上に固定されたマイクロホンは、さまざまな録音環境に適したさまざまな仕様を有する。

図４〜７を参照すると、球形フレーム上のマイクロホンの位置が、人間の頭の異なる向きに対してマップされている。これらの向きは例えば、前向きから後ろ向き、左向きから右向き、上向きから下向きおよび斜め上向きまたは斜め下向きを含む。これらの位置は特に、上で論じた３−Ｄ座標を使用して追跡される。

図２に示された例示的配置では、球形フレーム上に１８個のマイクロホンが固定されている。したがって、このマイクロホンアレイは最大９つのバイノーラル音声チャネルを録音することができる。さまざまな実施形態で、マイクロホンアレイの設計に従ってマイクロホンの数を変更することができる。代替実施形態では、球形フレーム上に３２個のマイクロホンが固定されており、最大１６個のバイノーラル音声チャネルが生成されうる。

本開示のシステムはさらに、球形マイクロホンアレイに接続された多チャネル録音プロセッサを含む。この多チャネル録音プロセッサは、マイクロホンアレイの集められた音信号から複数のバイノーラル音声対を生成するように適合されている。一実施形態では、この多チャネル録音プロセッサが、音信号をフィルタリング処理してｎ個の音声ストリーム対を生成するための多チャネル（例えば、Ｎ対の）前置増幅器を含む。別の実施形態では、この録音プロセッサがさらに、サンプリング用のデータ取得カードを含む。

その結果得られる多チャネル録音プロセッサからのバイノーラルサラウンドサウンドは、本開示のシステムにより、以下に論じるようにして、動的に再生することができる。

＜動的再生＞
一実施形態では、本開示の録音および再生システムが、多チャネルサラウンドサウンド録音のバイノーラル再生能力を有する。この多チャネルサラウンドサウンドは、リスナに対して動的にレンダリングされ、サラウンドサウンドフィールド内で頭を回転させているまたは動かしているリスナに、その頭部位置または向きに整合した一対のバイノーラル音を送達する。このことは、ＶＲ／ＡＲ用途について音声体験を強化および改善する。

動的再生のため、本開示のシステムは、再生ユニットおよび多チャネル再生プロセッサを含む。この再生ユニットは、バイノーラル音対を再生するように適合されている。さまざまな実施形態で、再生ユニットは、さまざまな設計の有線または無線のヘッドホンまたはイヤホンである。ある実施形態では再生ユニットがＶＲ／ＡＲヘッドセットである。代替実施形態では、再生ユニットが、サラウンドサウンド効果のために空間内に配置された複数のスピーカ対を含む。

この再生ユニットは、本開示の多チャネル再生プロセッサに接続されている。ある実施形態では、再生ユニットと再生プロセッサとが物理的に接合されている。多チャネル再生プロセッサは、ユーザの頭部位置を検索し、頭部位置に基づいて複数のバイノーラル音声対を処理し、それによって頭部位置に対応するバイノーラル音対を再現するように適合されている。この動的再生プロセスの概要が図８に示されている。

詳細には、本開示の再生プロセッサは、音声データと頭部位置データ（例えばリスナの頭の位置および角度）との結合処理（ｊｏｉｎｔ ｐｒｏｃｅｓｓｉｎｇ）を実行するように構成されている。一実施形態では、再生プロセッサがさらに、３−Ｄ座標系における頭部位置および向きを追跡するように適合された追跡ユニットを含む。この３−Ｄ座標系は、一実施形態では３−Ｄデカルト座標系、別の実施形態では３−Ｄ球座標系である。さまざまな実施形態で、この追跡ユニットを、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せとすることができる。ある実施形態では、この追跡ユニットが、追跡カメラを備えるＶＲ／ＡＲヘッドセットである。別の実施形態では、この追跡ユニットが、ジャイロスコープを備えるスマートホンまたはスマートカメラ装置である。

一実施形態に基づく動的再生法は、追跡ユニットの３−Ｄ座標系の座標もしくは基準点を、球形マイクロホンアレイの３−Ｄ座標系の座標もしくは基準点に関係づけること、または前者を後者と比較することに基づく。１つの座標または一組の座標によって定義された対応する頭部位置を検索し、次いで、その頭部位置を、その３−Ｄ座標に基づいて、球形マイクロホンアレイのそれぞれのマイクロホン対と整合させる。代替実施形態では、使用可能なマイクロホン対に基づいて、マイクロホン対と頭部位置とを実質的にまたは近似的に整合させることができる。

次いで、再生ユニットが、整合した座標データを受け取り、整合した座標に基づいてバイノーラル音対を再生する。

＜音声が強化されたＶＲ／ＡＲシステム＞
サラウンドサウンド録音およびバイノーラル再生のための本開示のシステムおよび方法を、ＶＲ／ＡＲ用途において有利に使用することができる。

一実施形態では、音声が強化されたＶＲ／ＡＲシステムが提供され、このＶＲ／ＡＲシステムは、ユーザの頭部位置を追跡するように適合されたＶＲ／ＡＲヘッドセットと、ＶＲ／ＡＲヘッドセットに接続されたＶＲ／ＡＲイヤセットであり、ＶＲ／ＡＲヘッドセットからユーザの頭部位置を検索するように適合されたＶＲ／ＡＲイヤセットと、球形マイクロホンアレイを備えるバイノーラル録音装置とを含む。このＶＲ／ＡＲイヤセットは、複数のバイノーラル音対を受け取り、頭部位置に対応するバイノーラル音対を動的に再現するように適合されている。代替実施形態では、ＶＲ／ＡＲヘッドセットとＶＲ／ＡＲイヤセットとが接合されて１つの装置として構成されている。

ＶＲ設定では、近似的に整合させたバイノーラル音声対のこのシステムによる動的レンダリングが、視覚的体験に対応しその視覚的体験を確認する音声体験をリスナに与え、それによって、多チャネルサラウンドサウンド録音が実施された空間内でユーザが頭を回転させたり、動かしたりしたときに、全体的な没入感のある（ｉｍｍｅｒｓｉｖｅ）ＶＲ体験を提供する。

ある実施形態によれば、ＶＲ／ＡＲシステム上で事前較正が実行される。例えば、最初に、多チャネル再生プロセッサが、球形マイクロホンアレイのマイクロホン対の座標に対応するリスナの頭の向きのマップを較正および構築する。再生プロセッサは次いで、頭の向きまたは位置を検出する。再生プロセッサは、頭の向きまたは位置の現在位置または当時の現在位置に整合した、マイクロホン対によって録音された２つのサウンドトラックを検索し、対応する録音対を、再生のため、一実施形態ではＶＲヘッドホンまたはイヤセットである再生ユニットに送る。

別の実施形態では、ＶＲサラウンドサウンド空間に戦略的に配置された複数の球形アレイを備える本開示の録音システムによって、バイノーラルサラウンドサウンド録音が達成される。

図面および例を含む上記のさまざまな実施形態の説明は、本発明および本発明のさまざまな実施形態を例示するためのものであり、本発明を限定するものではない。

Claims (23)

1. ユーザの少なくとも２つの頭部位置に対応するサラウンドサウンド録音およびバイノーラル再生のためのシステムであって、
   複数のバイノーラル音対を録音するように適合された実質的に球形のマイクロホンアレイと、
   前記複数のバイノーラル音対を処理し、それによって複数のバイノーラル音声対を生成するように適合された多チャネル録音プロセッサと、
   前記ユーザの頭部位置を検索し、前記頭部位置に基づいて前記複数のバイノーラル音声対を処理し、それによって前記頭部位置に対応するバイノーラル音対を再現するように適合された多チャネル再生プロセッサと、
   前記バイノーラル音対を再生するように適合された再生ユニットと
   を備えるシステム。
2. 前記再生ユニットが、ヘッドホンとイヤホンのうちの一方である、請求項１に記載のシステム。
3. ヘッドホンとイヤホンのうちの前記一方が無線式である、請求項２に記載のシステム。
4. 前記多チャネル再生プロセッサに接続された追跡ユニットをさらに備え、前記追跡ユニットが、ユーザの頭部位置を追跡するように適合された、請求項１に記載のシステム。
5. 前記追跡ユニットが、仮想現実感および拡張現実感（ＶＲ／ＡＲ）ヘッドセットである、請求項４に記載のシステム。
6. 前記実質的に球形のマイクロホンアレイが、実質的に球形のフレームと、前記フレームに固定された複数のマイクロホンとを備え、バイノーラル音対を録音するために、前記複数のマイクロホンのうちのそれぞれのマイクロホンが、大円上でそのマイクロホンの反対側に位置するマイクロホンと対をなしている、請求項１に記載のシステム。
7. 前記フレームのそれぞれの大円の直径が実質的に、人間の一対の耳の耳と耳の間の距離である、請求項６に記載のシステム。
8. 前記フレームが、ゴム、シリコーン、金属およびプラスチックのうちの少なくとも１つでできている、請求項５に記載のシステム。
9. 前記実質的に球形のマイクロホンアレイが１８個のマイクロホンを含む、請求項６に記載のシステム。
10. 前記実質的に球形のマイクロホンアレイが３２個のマイクロホンを含む、請求項６に記載のシステム。
11. 前記多チャネル録音プロセッサが、音信号をフィルタリング処理するように適合された多チャネル増幅器をさらに備える、請求項１に記載のシステム。
12. バイノーラル録音のための装置であって、
    複数のバイノーラル音対を録音するように適合された実質的に球形のマイクロホンアレイと、
    前記複数のバイノーラル音対を処理し、それによって複数のバイノーラル音声対を生成するように適合された多チャネル録音プロセッサと、
    を備える装置。
13. 前記実質的に球形のマイクロホンアレイが、実質的に球形のフレームと、前記フレームに固定された複数のマイクロホンとを備え、
    バイノーラル音対を録音するために、前記複数のマイクロホンのうちのそれぞれのマイクロホンが、大円上でそのマイクロホンの反対側に位置するマイクロホンと対をなしている、請求項１２に記載の装置。
14. 前記複数のマイクロホンが１８個のマイクロホンを含む、請求項１３に記載の装置。
15. 前記複数のマイクロホンが３２個のマイクロホンを含む、請求項１３に記載の装置。
16. 前記多チャネル録音プロセッサが、音信号をフィルタリング処理するように適合された多チャネル増幅器をさらに備える、請求項１２に記載の装置。
17. 強化された音声体験をユーザに提供するためのＶＲ／ＡＲシステムであって、
    ユーザの頭部位置を追跡するように適合されたＶＲ／ＡＲヘッドセットと、
    請求項１２に記載の装置と、
    前記ＶＲ／ＡＲヘッドセットに接続されたＶＲ／ＡＲイヤセットであり、前記ＶＲ／ＡＲヘッドセットから前記ユーザの頭部位置を検索するように適合されたＶＲ／ＡＲイヤセットと、
    を備え、
    前記ＶＲ／ＡＲイヤセットがさらに、複数のバイノーラル音対を受け取り、前記頭部位置に対応するバイノーラル音対を動的に再現するように適合された、ＶＲ／ＡＲシステム。
18. 前記ＶＲ／ＡＲヘッドセットと前記ＶＲ／ＡＲイヤセットとが物理的に接合された、請求項１７に記載のＶＲ／ＡＲシステム。
19. 前記ＶＲ／ＡＲヘッドセットと前記ＶＲ／ＡＲイヤセットとが無線で接続された、請求項１７に記載のＶＲ／ＡＲシステム。
20. バイノーラル音声ストリームをユーザの頭部位置に基づいて動的に再生するための方法であって、
    異なる頭部位置に対応するサラウンドサウンドのバイノーラル録音による複数のバイノーラル音声対を処理することと、
    前記ユーザの頭部位置を検索することと、
    前記頭部位置に対応するバイノーラル音対を出力することと、
    を含む方法。
21. 実質的に球形のマイクロホンアレイを使用して複数のバイノーラル音対を録音することと、
    複数のバイノーラル音声対を生成することと、
    をさらに含む、請求項２０に記載の方法。
22. 前記複数のバイノーラル音対が９つのチャネルを含む、請求項２１に記載の方法。
23. 前記複数のバイノーラル音対が１６個のチャネルを含む、請求項２１に記載の方法。