JP2016534352A - 音響位置追跡システム - Google Patents

Abstract

互いに固定された非平面的な関係で配置された3つの送信機の各々から音響信号を受信する複数の受信機を含むモバイルデバイスを含む音響追跡システムが提供され、この場合に3つの送信機が送信デバイスに結合されている。本システムはまた、複数の受信機において受信された音響信号に基づいて多次元空間における送信デバイスの位置を判断する処理構成要素を含む。本システムはまた、3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいてアプリケーションの動作に影響を与えるアプリケーションコントローラを含む。

Description

関連出願の相互参照
本出願は、参照によって全体が本明細書に組み込まれている、2013年9月3日に出願された米国非仮出願第14/017,185号に対する優先権を主張する。

本明細書で開示する実施形態は、一般に、音響追跡システムにおける送信デバイスの位置を追跡することを対象とする。

音響信号ベースの位置追跡システムは、スマートフォン、タブレット、およびラップトップなどのモバイルデバイスとともに使用され得る。さらに、音響信号ベースの位置追跡システムは、スクリーンを有する基本的に任意のコンピューティングデバイスとともに使用され得る。音響信号ベースの位置追跡システムの一例は、コンピューティングデバイスである受信機と通信する音響信号送信機を有するデジタルペンであり、コンピューティングデバイスと対話するためにデジタルペンが使用される。

従来の音響信号ベースの位置追跡システムは、音響信号を出す送信機および出された信号を受信する受信機を含む。受信機は、到着時間(「TOA」)と呼ばれる、受信された音響信号の伝搬遅延を測定し、TOAと音速とを乗算して送信機の位置を判断することができる。複数の受信機を使用することで、三角測量および/または別の形態のマルチラテレーションが可能になり、2次元またはさらには3次元における位置の判断ができることがある。位置を判断するためにTOAを使用する追跡システムは、性能に限界があり、送信デバイスがコンピューティングデバイスと接触していないときに精度が最適でないことがある。さらに、位置特定誤差を軽減するために、追加のタイミング同期または音速推定機能が必要とされ得る。

低電力要件を有し、専用同期ハードウェアを必要とせず、様々な電子デバイスにおいて実装が容易な改善された音響追跡システムが必要である。

いくつかの実施形態に従って、音響追跡システムが提供される。音響追跡システムは、互いに固定された非平面的な関係で配置された少なくとも3つの送信機の各々から音響信号を受信することが可能である複数の受信機を含むモバイルデバイスを含む。音響追跡システムはまた、複数の受信機において受信された音響信号に基づいて多次元空間における少なくとも3つの送信機の位置を判断することが可能である処理構成要素を含む。音響追跡システムはさらに、少なくとも3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいてアプリケーションの動作に影響を与えることが可能であるアプリケーションコントローラを含む。

いくつかの実施形態に従って、送信デバイスの位置を判断する方法が提供される。本方法は、複数の受信機において、互いに固定された非平面的な関係で配置された少なくとも3つの送信機の各々から音響信号を受信するステップを含む。本方法はまた、複数の受信機において受信された音響信号に基づいて多次元空間における少なくとも3つの送信機の位置を判断するステップを含む。本方法はさらに、少なくとも3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいてアプリケーションの動作に影響を与えるステップを含む。

いくつかの実施形態に従った音響追跡システムを示す図である。 一実施形態による送信デバイスを示す図である。 一実施形態による送信デバイスの傾斜角を示す図である。 いくつかの実施形態に従った送信デバイスの位置を判断する方法を示すフローチャートである。

図面では、同じ記号表示を有する要素は同じまたは同様の機能を有する。

以下の説明では、具体的な詳細を記載して、いくつかの実施形態について説明する。しかし、開示される実施形態は、これらの具体的な詳細の一部または全部を伴わずに実施され得ることが、当業者には明らかであろう。提示される具体的な実施形態は、例示的であることが意図されており、限定的であることは意図されていない。当業者は、本明細書で具体的に説明してはいないが、本開示の趣旨および範囲内にある他の物を実現し得る。

図1は、いくつかの実施形態に従った音響追跡システム100を示す図である。図1に示すように、音響追跡システム100は、位置が判断される送信デバイス102、および送信デバイス102によって送信された信号を取得するための受信デバイス104を含む。いくつかの実施形態では、送信デバイス102が静止している一方で、受信デバイス104は移動していることがある。他の実施形態では、送信デバイス102が移動している一方で、受信デバイス104は静止していることがある。受信デバイス104はまた、パーソナルコンピュータまたはモバイルデバイス(たとえば、ラップトップ、モバイルスマートフォン、携帯情報端末、またはタブレットコンピュータ)などのコンピューティングデバイスであり得る。

図1に示すように、送信デバイス102は、デジタルペンに埋め込まれるか、具現化されるか、接続されるか、またはさもなければ組み込まれ得る。送信デバイスは、デジタルペン上に配置されている複数の送信機を含むことができる。システム100は、本明細書において、デジタルペンに組み込まれている送信デバイスに関して説明されているが、他の実施形態は、デジタルペンとは異なる物体に組み込まれている送信デバイスを含み得る。

図1では、送信デバイス102は、送信機112、送信機114および送信機116を含む。3つの送信機が示されているが、4つ以上の送信機を有する他の実施形態も本開示の範囲内にある。原則として、4つ以上の送信機は、電力、設計の複雑さ、およびシステムのロバスト性がそれを許容する場合にデジタルペン上に配置され得る。ただし、デジタルペン上の隣接する送信機からの干渉の増大が生じることがあり、そのような干渉の増大はパターン信号設計に左右され得る。理想的な相関特性を有する直交系列が、送信機のパターン設計に使用され得る。さらに、送信機の数量が増えると、ゼロ平均範囲測定雑音想定(zero mean range measurement noise assumption)という想定が崩れ、結果的に雑音が増大し、位置追跡精度が低下することがある。

いくつかの実施形態では、送信機112、送信機114、および/または送信機116は、超音波信号などの音響信号を送信することができる。送信デバイス102は、超音波信号を生成するための1つまたは複数の超音波トランスデューサを含む任意の適切な超音波デバイスであり得る。さらに、超音波信号は広帯域超音波信号であり得る。広帯域超音波信号の信号範囲は、たとえば、約25KHzから70KHzの間で変化し得る。

送信機112は、デジタルペンの上部近くに位置し得、送信機116は、デジタルペンの書込み要素118の近くに位置し得、送信機114は、書込み要素に極めて近接してデジタルペンの長手方向に沿って送信機112と送信機116との間に位置し得る。デジタルペンは、1つまたは複数のスイッチ、および表面上で書込み、かつ/または受信デバイス104に結合されたタッチスクリーンデバイスと対話するための書込み要素118を有し得る。1つの送信機がデジタルペンの上部近くにあるものとして示されているが、デジタルペンの上部近くに2つ以上の送信機を有する他の実施形態も、本開示の範囲内にある。ただし、デジタルペンの上部近くの送信機の数量は、たとえば、デジタルペンに組み込まれた他の送信機への干渉、帯域幅共有、信号対雑音比、および電力消費量に基づいて制限されることがある。さらに、デジタルペンの長さが、製造可能性などの実際的な理由により制限されることがある。

受信デバイス104は、送信機112、114、および116によって出された音響信号を受信することができる複数の受信機を含む。受信デバイス104は、受信機122、124、126、および128を含む。4つの受信機が示されているが、4つ未満または5つ以上の受信機を有する他の実施形態も本開示の範囲内にある。受信機の数量は、送信機の数量によって決まり得る。たとえば、いくつかの実施形態では、受信機の数量は、送信機の数量よりも多い。受信デバイス104は、マイクロフォンなどの任意の適切な音響受信機を含むことができ、送信デバイス102は、受信デバイス104上の複数のマイクロフォンに広帯域超音波信号を送信することができる。受信機122、124、126、および128は、モバイルデバイス上に位置するマイクロフォンであり得る。

受信デバイス104はまた、処理構成要素132およびメモリ134を含むことができる。いくつかの実施形態では、処理構成要素132は、1つまたは複数のプロセッサ、中央処理装置(CPU)、画像信号プロセッサ(ISP)、マイクロコントローラ、またはデジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)、ならびにアナログおよび/もしくはデジタルオーディオ信号プロセッサを含み得るオーディオ信号プロセッサであり得る。メモリ134は、たとえば、ランダムアクセスメモリ(RAM)に対応し得るシステムメモリ構成要素、読取り専用メモリ(ROM)に対応し得る内部メモリ構成要素、および光メモリ、磁気メモリまたはソリッドステートメモリに対応し得る外部またはスタティックメモリを含み得る。

メモリ134は、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、および/または処理構成要素132が読み取ることが可能である任意の他の媒体を含む非一時的機械可読媒体に対応し得る。

さらに、メモリ134は、アプリケーションコントローラ142およびアプリケーション144を含み得る。処理構成要素132は、デジタルペンの位置を判断し、判断された位置をアプリケーションコントローラ142に伝えることができる。アプリケーションコントローラ142は、デジタルペンの判断された位置に基づいてアプリケーション144の動作に影響を与えることができる。いくつかの実施形態では、デジタルペンの位置は、受信デバイス104および/または受信機に対する相対座標であり得る。そしてアプリケーション144は、デジタルペンの座標を使用し、たとえば、1つまたは複数のユーザ入力を判断することができる。

いくつかの実施形態では、受信デバイス104によって検出され、デジタルペンの位置を導出するために処理構成要素132によって使用され得る音響信号を、デジタルペンは送信することができる。特に、処理構成要素132は、デジタルペン上に配置された送信機の各々の位置を追跡することができる。位置精度は、デジタルペンの重要な性能パラメータであることがあり、トランスデューサの配置、信号シーケンス設計、およびトランスデューサの音響効果(たとえば、ポーティングおよび信号対雑音比)に左右され得る。

デジタルペン上に配置された送信機は電力を消費しており、これらの送信機によって使用される電力を制御することが望まれ得る。送信機112、114、および116によって使用される電力を適切に制御するために、多重化技法が使用され得る。いくつかの実施形態では、送信機112、114、および116は、時分割多元接続(TDMA)を使用して音響信号を送信する。受信機122は、第1のタイムスロットにおいて送信デバイス102の第1の送信機から第1の超音波信号を受信し、第2のタイムスロットにおいて送信デバイス102の第2の送信機から第2の超音波信号を受信し、第3のタイムスロットにおいて送信デバイス102の第3の送信機から第3の超音波信号を受信し得る。異なるタイムスロットにおいて信号を送信することで、干渉雑音を低減し得る。

いくつかの実施形態では、送信機112、114、および116は、TDMAとは異なる多重化技法を使用して音響信号を送信し得る。一例では、送信機112、114、および116は、周波数分割多重化(FDM)を使用して音響信号を送信し得る。たとえば、受信機122は、第1の周波数サブバンドにおいて送信デバイス102の第1の送信機から第1の超音波信号を受信し、第2の周波数サブバンドにおいて送信デバイス102の第2の送信機から第2の超音波信号を受信し、第3の周波数サブバンドにおいて送信デバイス102の第3の送信機から第3の超音波信号を受信し得る。別の例では、送信機112、114、および116は、位相分割多重化(PDM)を使用して音響信号を送信し得る。たとえば、受信機122は、チャネルの第1の位相において送信デバイス102の第1の送信機から第1の超音波信号を受信し、チャネルの第2の位相において送信デバイス102の第2の送信機から第2の超音波信号を受信し、チャネルの第3の位相において送信デバイス102の第3の送信機から第3の超音波信号を受信し得る。

図1に示すデジタルペンの物理的構造およびデジタルペンの上部近くに送信機112を位置付けることは、上部近くに送信機を有しない他のデジタルペンよりも有利であり得る。たとえば、デジタルペンの上部近くの送信機は、デジタルペンの物理的構造を3次元空間にもたらし得る。書込み要素の近くの送信機のみを含むデジタルペンの場合、デジタルペン先の3次元座標位置を判断することが可能であり得る。デジタルペンの上部近くに送信機を含めることによって、以下でより詳細に述べるように、書込み要素に最も近い送信機からデジタルペンの上部近くの送信機までデジタルペンは追跡可能であり、デジタルペンの3次元座標位置が判断され得る。デジタルペンの3次元座標を判断することは、デジタルペンの位置をより正確に判断できるようになるので、単にデジタルペン先の3次元座標を判断することよりも有利である。

デジタルペンの上部近くに送信機を有することの別の利点は、音響追跡システムの少なくとも1つの送信機と受信機との間に明確な見通し線(LOS: Line of Sight)がもたらされ得ることであり得る。ユーザがデジタルペンにより書き込んでいるときには、ペン先の近くの送信機が手および/または手のひらによる信号経路ブロックの影響を受けやすいので、送信機と受信機との間の少なくとも1つの経路がブロックされることがある。デジタルペンの上部近くに送信機112が位置することで、送信機112と受信デバイス104の受信機との間に明確な見通し線がもたらされ得、ユーザのペンの動きの依存度を低減することができる。いくつかの実施形態では、送信機のうちの少なくとも1つは、受信デバイス104の複数の受信機との間で明確な見通し線を有するように位置付けられ得る。したがって、デジタルペンが信号経路のブロックに起因して不正確にペン位置を検出する傾向が緩和され得る。

デジタルペンの書込み要素近くに2つの送信機を有するデジタルペンは、たとえば、4つのマイクロフォンを含む受信デバイスによって、ペン先の3次元位置付けを一意に判断するために使用され得る。ただし、これら2つの送信機を有するデジタルペンの場合、特に2次元オフスクリーンでは、スクリーンを有する受信デバイスとともにデジタルペンを使用するとき、また3次元デジタルペンがホバー追跡(hover track)して、デジタルペンの上部と受信デバイスとの間のz軸距離が大きくなる場合、位置精度は最適ではないことがある。差異はz方向においてより大きくなり、幾何学的精度低下率(GDOP: Geometric Dilution of Precision)の差異の誤差が実質的に増大する。

ユーザは、デジタルペンを受信デバイス(たとえば、受信デバイスのタッチセンシティブスクリーン)と物理的にタッチさせることによって、「オンスクリーン」で書き込むことができる。ユーザは、デジタルペンを受信デバイスと物理的にタッチさせることなく、「オフスクリーン」で書き込むことができる。たとえば、ユーザは、デジタルペンを空中または紙の上で受信デバイスに近接して動かすことによって、オフスクリーンで書き込むことができる。

前述のとおり、デジタルペンの位置を判断するためにTOAを使用する追跡システムにおいて1つまたは2つの送信機を有するデジタルペンは、性能に限界があることがあり、ユーザがデジタルペンを受信デバイスと接触させずに使用するときに、デジタルペンの位置を追跡することに関して精度が最適でないことがある。位置特定誤差を軽減するために、追加のタイミング同期が必要とされ得る。さらに、デジタルペンの書込み要素の近くに2つの送信機を有するデジタルペンは、受信機の平面(たとえば、受信デバイスのスクリーン)と同じ平面に位置すると考えられ得る。たとえば、受信デバイスは、ゼロに等しいzを有するx、y平面に対応するタッチセンシティブスクリーンを含み得る。デジタルペンがタッチセンシティブスクリーンと接触するときにこれらの送信機が極めて近接していることから、2つの送信機は受信機の平面と同じ平面に位置すると考えられ得る。2つの送信機がタッチセンシティブスクリーンに極めて近接していることは、ユーザがオンスクリーンまたはオフスクリーンでの書込みにデジタルペンを使用するときの不正確さの原因となり得る。2つの送信機が書込み要素に近いものとして説明されているが、この説明は、書込み要素の近くに2つ未満または3つ以上の送信機を有するデジタルペンにも当てはまる。

対照的に、デジタルペンの上部近くに送信機112が位置することで、送信機と受信デバイスのスクリーンとの間の距離が増大し、GDOPの差異の誤差が実質的に低減する。たとえば、本開示で提供する、デジタルペンの上部近くに送信機を有するデジタルペンは、特にオフスクリーンの場合に、ユーザがデジタルペンを使用するときにデジタルペンの動きを追跡する精度を改善することができ、ロバスト性を高めることもできる。したがって、いくつかの実施形態では、送信機112は、(たとえば、z軸における)受信機の平面の上にある平面に位置付けられ得、多次元空間におけるデジタルペンの位置を判断する精度を高めることができる。多次元空間は3次元を有し得る。

いくつかの実施形態では、複数の受信機は、互いに固定された非平面的な関係で配置された送信機112、114、および116の各々から音響信号を受信することができる。各送信機は、互いに異なる音響信号パターンを送信することができる。いくつかの実施形態では、処理構成要素132は、複数の受信機の各受信機によって受信された音響信号を抽出する。受信機において受信された音響信号ごとに、処理構成要素132は、それぞれの音響信号をどの送信機が送信したかを判断することができる。受信された音響信号は、たとえば、メモリ134に記憶された命令に従って、処理構成要素132によって予想信号と比較され、メモリ134に記憶されたか、または処理構成要素132によって生成された予想信号と比較され得る。

いくつかの実施形態では、処理構成要素132は、複数の受信機において受信された音響信号に基づいて、多次元空間における送信機112、114、および116の位置を判断することによってデジタルペンの位置を判断することができる。処理構成要素132は、様々な実施形態においてハードウェア、ソフトウェア、もしくはファームウェア、またはそれらの組合せとして提供され得る。

処理構成要素132は、複数の受信機において受信された音響信号ごとに到着時間差(TDOA)を計算し、判断された送信機に基づいてデジタルペンの3次元座標を判断するために最小2乗アルゴリズムを適用することができる。処理構成要素132は、3つの送信機の位置を判断するために、1つまたは複数の計算された到着時間差に最小2乗アルゴリズムを適用することができる。少なくとも3つの次元を有する多次元空間における送信デバイスの位置が、3つの送信機の位置に基づいて判断され得る。

音響信号のTDOAは、デジタルペン(たとえば、送信デバイス上102に配置された複数の送信機)のロケーションを判断(または推定)するために使用され得る。TOAおよび最小2乗アルゴリズムを適用することで、他の音響追跡システムと比較してオフスクリーンの精度を改善することができる。処理構成要素132は最小2乗アルゴリズムを適用するものとして説明されてきたが、これが限定的であることは意図されない。処理構成要素132は、デジタルペンのより正確な位置を判断するために、他のアルゴリズムを適用してもよい。たとえば、デジタルペンのより正確な位置を判断するために、カルマンフィルタが適用され得る。

さらに、様々な音響信号パターンは、送信機と受信機との間の明確な見通し線を維持するのに役立ち得る。さらに、デジタルペンの上部近くに送信機112が位置することで、雑音を低減することができ、位置を判断するためのより多くの等式を有する過剰決定体系を提供することによってデジタルペンの迅速な座標判断をもたらし、デジタルペンのより正確な追跡をもたらすことができる。送信機112は、より多くの等式およびより少ない独立変数を提供し、その結果、過剰決定体系が生じ得る。

図2は、一実施形態による送信デバイス102を示す図である。図2では、3次元座標(x,y,z)は送信機116の座標であり、3次元座標(x',y',z')は送信機114の座標であり、3次元座標(x",y",z")は送信機112の座標である。さらに、送信機114と送信機116との間の距離がdx'であり、送信機116と送信機112との間の距離がdx"である。

いくつかの実施形態では、送信機からの距離測定値は、以下の等式を使用して提供され得る。一例では、送信機116からの第1の距離測定値(たとえば、送信機116とN個の受信機の各々との間の距離)が、以下の等式R1、R2、R3、およびR4によって決定され得る。

送信機116は、送信機112および114と比較して、送信デバイス102の書込み要素118に最も近い。R1、R2、R3、およびR4における3次元座標(x,y,z)は、多次元空間における送信機116の位置であり、ここで、tは時間オフセットであり、vは気温により変化する音速であり、e_Nは独立な雑音の範囲測定値である。さらに、3次元座標(xN,yN,zN)は、第Nの受信機(たとえば、マイクロフォン)の位置である。第1の距離測定値は、最小2乗座標計算への入力として使用され得る。

さらに、送信機114からの第2の距離測定値(たとえば、送信機114とN個の受信機の各々との間の距離)が、以下の等式R5、R6、R7、およびR8によって決定され得る。

送信機114は、送信デバイス102の長手方向に沿って送信機112と送信機116との間に位置する。R5、R6、R7、およびR8における3次元座標(x',y',z')は、多次元空間における送信機114の位置であり、ここで、tは時間オフセットであり、vは気温により変化する音速であり、e_Nは独立な雑音の範囲測定値である。さらに、3次元座標(xN,yN,zN)は、第Nの受信機(たとえば、マイクロフォン)の位置である。第2の距離測定値は、最小2乗座標計算への入力として使用され得る。

さらに、送信機112からの第3の距離測定値(たとえば、送信機112とN個の受信機の各々との間の距離)が、以下の等式R9、R10、R11、およびR12によって決定され得る。

送信機112は、送信機114および116と比較して、書込み要素118から最も遠い。R9、R10、R11、およびR12における3次元座標(x",y",z")は、多次元空間における送信機112の位置であり、ここで、tは時間オフセットであり、vは気温により変化する音速であり、e_Nは独立な雑音の範囲測定値である。さらに、3次元座標(xN,yN,zN)は、第Nの受信機(たとえば、マイクロフォン)の位置である。第3の距離測定値は、最小2乗座標計算への入力として使用され得る。3次元座標(x,y,z)は、上記のR1〜R12を入力として使用した最小2乗計算の結果であり得る。

いくつかの実施形態では、受信デバイス104は、スクリーンを含むモバイルデバイスにおいて具現化され得、スクリーンは地面に対してある角度にあり得る。一例では、受信デバイス104が、たとえば地面またはテーブルに対してある角度で傾斜しているとき、地面またはテーブルの近くの送信機は複雑さを反映し、複雑さをもたらし得る。デジタルペンの上部近くに送信機112が位置することで、デジタルペンの位置を判断する際の誤差を低減する助けとなり得る。

いくつかの実施形態では、処理構成要素132は、送信機112、114、および116のうちの1つまたは複数の送信機の判断された位置に基づいて、デジタルペンの傾斜角を判断することができる。図3は、一実施形態による送信デバイス102の傾斜角を示す図である。デジタルペンとz軸との間の角度は角αと呼ばれ得る。さらに、x軸と、デジタルペンと直角な、座標系の原点から延びるラインセグメントとの間の角度は角βと呼ばれ得る。図2に関して述べたように、送信機114から送信機116までの第1の距離がd_x"に相当することができ、送信機112から送信機116までの第2の距離がd_xx'に相当することができ、
ここで、x'は以下の等式によって決定され得る。
x'=x+d_xx'sin(α)cos(β) (13)
ここで、y'は以下の等式によって決定され得る。
y'=y+d_xx'sin(α)cos(β) (14)
ここで、z'は以下の等式によって決定され得る。
z'=z+d_xx'cos(α) (15)
ここで、x"は以下の等式によって決定され得る。
x"=x+d_x"sin(α)cos(β) (16)
ここで、y"は以下の等式によって決定され得る。
y"=y+d_x"sin(α)sin(β) (17)
ここで、z"は以下の等式によって決定され得る。
z"=z+d_x"cos(α) (18)
ここで、αおよびβは送信デバイスの可変傾斜角である。

座標(x',y',z')および(x",y",z")は、座標(x,y,z)ならびに既知のd_x"およびd_xx'の値に置き換えられ得る。

11個の独立な等式を有する過剰決定系は、7個の変数(x,y,z,v,t,α,β)を解くことができ、(v,t)がわかっていることは、オフスクリーン誤差を効率的に低減するのに役立ち得る。さらに、送信デバイス102の位置精度は、
に比例し、ここで、Nは独立な距離の等式の数である。幾何学的精度低下率(GDOP)の精度利得は

≒1.25であり得る。x、y方向のオフスクリーン誤差は、大幅に低減され得、タイミング同期を伴う2つの送信機を有するデジタルペンと同じくらいの精度であり得る。したがって、11個の過剰決定等式は、絶対(v,t)値を計算する必要なしに、オフスクリーンおよびオンスクリーンでの誤差をある程度改善するのに役立ち得る。

音響追跡システム100は、受信デバイス104上に追加のモジュールを含めることなく、送信デバイス102のオンスクリーンとオフスクリーンの両方での精度を改善することができる。いくつかの実施形態では、処理構成要素132は、複数の受信機において受信された音響信号ごとにTDOAを計算することができる。TDOAに基づいて位置を判断する音響追跡システムは、同期チャネルを使用することなしに、そうすることができる。このようにして、音響追跡システム100にさらなるハードウェアを追加すること、およびさらなるハードウェアに基づいてソフトウェアを修正することは不要になり得る。非同期化システムは複数の受信機を使用して、出された音響信号を受信し、複数の受信機間で測定された時間遅延である到着時間差(「DTOA」)を計算することができる。DTOAを計算するために、等式(1)〜(12)を直接使用するのではなく、等式の各ペア間の差が座標計算において使用され得る。たとえば、R1とR2との間の差(たとえば、R1-R2)は、計算されるパラメータリストからvtオフセットを除去する。ただし、同期チャネルが使用される場合、オフスクリーンおよびオンスクリーンでの精度は依然として、音響信号についてTDOAを計算する実施形態と比較的整合したものであり得る。

TDOAは送信機の位置を判断するために説明されているが、これは、限定的であることは意図されておらず、他の技法が使用されてもよい。たとえば、音響追跡システムは、同期化され得るTOAに基づいて送信機の位置を判断することができる。同期化システムは、送信機および受信機のクロックを同期化するための、音速よりも速い速度を有する、受信機に送信される同期信号を使用し得る。送信機から同期信号を受信するために、受信デバイス104上に追加のモジュールが置かれ得る。

受信された信号に基づいて、処理構成要素114は、TOFを計算することができ、時間の関数として送信デバイスの位置を判断するために三角測量または他の形態のマルチラテレーションを実行することができる。同期化された音響信号ベースの位置システムでは、赤外線(IR)信号が、低コストおよび低電力要件を理由に同期化に使用され得る。IRは、コスト効果的な低電力同期化方法であり得る。ただし、それは、上記で言及したシステムにおいて実施するのは困難であり得る。たとえば、ハンドセットまたはタブレットのスクリーン上で作業しているデジタルペンでは、ハンドセットまたはタブレットは、IR受信機を含まないことがあり、たとえば、IR受信機がデバイスの外部に光学的に露出するように、許容可能な信号感度を有するスクリーンの下にIR受信機を埋め込むのが困難であり得る。IR受信機がシステムハードウェア内に統合されたとしても、IR同期信号と音響位置付け信号との間で必要な同期を維持するために、IR回路とデバイスのオーディオ処理回路との間に専用ハードウェア同期ブロックが必要とされ得る。

一般に使用され得る別の同期信号は、電波同期信号である。ただし、電波を同期信号として使用する場合でもなお、必要な同期を維持するために、電波回路とオーディオ処理回路との間に専用ハードウェア同期ブロックが必要とされ得る。その上、電波同期信号を生成し受信する場合は、IR信号を生成し受信する場合よりも多くの電力を使用し得る。したがって、低電力要件を有し、専用同期ハードウェアを必要とせず、様々な電子デバイスにおいて実装が容易な改善された音響信号ベースの追跡システムが必要である。

図4は、一実施形態による、送信デバイスの位置を判断する方法400を示すフローチャートである。方法400は、限定的であることは意図されておらず、他のアプリケーションにおいて使用されてよい。

方法400は、ブロック410〜430を含む。ブロック410において、モバイルデバイスの複数の受信機において、互いに固定された非平面的な関係で配置された少なくとも3つの送信機の各々から音響信号が受信され、この場合に少なくとも3つの送信機が送信デバイスに結合されている。一例では、受信機122、124、126および128は、互いに固定された非平面的な関係で配置された送信機112、114、および116から音響信号を受信することがあり、この場合に送信機112、114、および116が送信デバイス102に結合されている。

ブロック420において、複数の受信機において受信された音響信号に基づいて、多次元空間における送信デバイスの位置が判断される。一例では、処理構成要素132は、受信機122、124、126、および128において受信された音響信号に基づいて、少なくとも3つの次元を有する多次元空間における送信デバイス102の位置を判断する。

ブロック430では、少なくとも3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいて、アプリケーションの動作が影響を受ける。一例では、アプリケーションコントローラ142は、送信機112、114、および/または116のうちの1つまたは複数の送信機の判断された位置に基づいて、アプリケーション144の動作に影響を与える。

上記で説明したブロック410〜430の前、最中、または後に追加のプロセスが実行され得ることも理解されたい。たとえば、方法400は、複数の受信機の各受信機によって受信された音響信号を抽出するプロセスを含み得る。本明細書で説明する方法400のブロックのうちの1つまたは複数は、必要に応じて省略されるか、結合されるか、または異なる順序で実行されてよいことも理解されたい。

当業者は、本開示の範囲内であることが意図されている、開示する実施形態と整合する他のシステムを容易に考案することができる。上記の説明は、本開示を、開示した使用とまったく同一の形態または開示した使用の特定の分野に限定することは意図されていない。したがって、本開示の様々な代替実施形態および/または変形形態が、本明細書で明示されているか、暗示されているかを問わず、本開示に照らして可能であることが企図されている。本開示の範囲から逸脱することなく、形態および詳細の変更が行われ得る。したがって、本開示は、特許請求の範囲によってのみ限定される。

100 音響追跡システム、システム
102 送信デバイス
104 受信デバイス
112 送信機
114 送信機
116 送信機
118 書込み要素
122 受信機
124 受信機
126 受信機
128 受信機
132 処理構成要素
134 メモリ
142 アプリケーションコントローラ
144 アプリケーション
400 方法

Claims (34)

1. 互いに固定された非平面的な関係で配置された少なくとも3つの送信機の各々から音響信号を受信する複数の受信機を含むモバイルデバイスであって、前記少なくとも3つの送信機が送信デバイスに結合されている、モバイルデバイスと、
   前記複数の受信機において受信された前記音響信号に基づいて、多次元空間における前記送信デバイスの位置を判断する処理構成要素と、
   前記少なくとも3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいてアプリケーションの動作に影響を与えるアプリケーションコントローラと
   を含む音響追跡システム。
2. デジタルペンをさらに含み、前記少なくとも3つの送信機は前記デジタルペン上に配置されている、請求項1に記載の音響追跡システム。
3. 前記少なくとも3つの送信機のうちの第1の送信機は、前記デジタルペンの上部近くに位置する、請求項2に記載の音響追跡システム。
4. 送信デバイスをさらに含み、前記少なくとも3つの送信機は前記送信デバイス上に配置されている、請求項1に記載の音響追跡システム。
5. 前記処理構成要素は、前記少なくとも3つの送信機のうちの1つまたは複数の送信機の前記判断された位置に基づいて、前記送信デバイスの傾斜角を判断する、請求項4に記載の音響追跡システム。
6. 前記少なくとも3つの送信機のうちの第1の送信機からの第1の距離測定値が、等式R1、R2、R3、およびR4、すなわち、
   によって決定され、
   前記第1の送信機は、前記少なくとも3つの送信機のうちの第2の送信機および第3の送信機と比較して、前記送信デバイスの書込み要素に最も近く、
   R1、R2、R3、およびR4における(x,y,z)は、多次元空間における前記第1の送信機の位置であり、
   tは時間オフセットであり、
   vは気温により変化する音速であり、
   e_Nは独立な雑音の範囲測定値である、請求項4に記載の音響追跡システム。
7. 前記傾斜角は、可変傾斜角αおよびβを含み、前記送信デバイスの前記可変傾斜角αおよびβは、以下の等式、すなわち
   x'=x+d_xx'sin(α)cos(β)、
   y'=y+d_xx'sin(α)sin(β)、
   z'=z+d_xx'cos(α)、
   x"=x+d_x"sin(α)cos(β)、
   y"=y+d_x"sin(α)sin(β)、
   z"=z+d_x"cos(α)
   によって決定され、
   d_x"は、第1の送信機から第2の送信機までの第1の距離であり、d_xx'は、第3の送信機から前記第1の送信機までの第2の距離であり、(x',y',z')および(x",y",z")は、前記1つまたは複数の送信機の前記判断された位置に対応する座標である、請求項5に記載の音響追跡システム。
8. 前記第2の送信機からの第2の距離測定値が、等式R5、R6、R7、およびR8、すなわち、
   によって決定され、
   前記第2の送信機は、デジタルペンの長手方向に沿って前記第1の送信機と前記第3の送信機との間に位置し、R5、R6、R7、およびR8における(x,y,z)は、前記多次元空間における前記第2の送信機の位置であり、
   前記第3の送信機からの第3の距離測定値が、等式R9、R10、R11、およびR12、すなわち、
   によって決定され、
   前記第3の送信機は、前記第1の送信機および前記第2の送信機と比較して、書込み要素から最も遠く、R9、R10、R11、およびR12における(x,y,z)は、前記多次元空間における前記第3の送信機の位置である、請求項7に記載の音響追跡システム。
9. 前記複数の受信機は広帯域超音波信号を受信する、請求項1に記載の音響追跡システム。
10. 前記広帯域超音波信号は、25KHzから70KHzの間の周波数範囲を有する、請求項9に記載の音響追跡システム。
11. 前記処理構成要素は、前記複数の受信機の各受信機において受信された音響信号を抽出し、前記それぞれの音響信号をどの送信機が送信したかを判断する、請求項1に記載の音響追跡システム。
12. 前記処理構成要素は、前記複数の受信機において受信された音響信号ごとに到着時間差を計算する、請求項11に記載の音響追跡システム。
13. 前記処理構成要素は、前記少なくとも3つの送信機の前記位置を判断するために、前記1つまたは複数の計算された到着時間差に最小2乗アルゴリズムを適用する、請求項12に記載の音響追跡システム。
14. 前記モバイルデバイスはスクリーンを含み、前記スクリーンは地面に対してある角度にある、請求項1に記載の音響追跡システム。
15. 前記モバイルデバイスは、スマートフォン、タブレットコンピュータ、携帯情報端末、およびラップトップのうちの少なくとも1つである、請求項1に記載の音響追跡システム。
16. 前記多次元空間は3次元空間を含む、請求項1に記載の音響追跡システム。
17. 送信機の位置を判断する方法であって、
    複数の受信機において、互いに固定された非平面的な関係で配置された少なくとも3つの送信機の各々から音響信号を受信するステップであって、前記少なくとも3つの送信機が送信デバイスに結合されている、ステップと、
    前記複数の受信機において受信された前記音響信号に基づいて、多次元空間における前記送信デバイスの位置を判断するステップと、
    前記少なくとも3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいてアプリケーションの動作に影響を与えるステップと
    を含む方法。
18. 前記少なくとも3つの送信機はデジタルペン上に配置されている、請求項17に記載の方法。
19. 前記少なくとも3つの送信機のうちの第1の送信機は、前記デジタルペンの上部近くに位置する、請求項18に記載の方法。
20. 前記少なくとも3つの送信機のうちの1つまたは複数の送信機の前記判断された位置に基づいて、デジタルペンの傾斜角を判断するステップ
    をさらに含む、請求項17に記載の方法。
21. 複数の受信機において音響信号を前記受信するステップは、前記複数の受信機において超音波信号を受信するステップを含み、前記判断するステップは、前記複数の受信機において受信された前記超音波信号に基づいて、少なくとも3つの次元を有する前記多次元空間における前記送信デバイスの前記位置を判断するステップを含む、請求項17に記載の方法。
22. 前記複数の受信機において超音波信号を前記受信するステップは、前記複数の受信機において、25KHzから70KHzの間の周波数範囲を有する広帯域超音波信号を受信するステップを含む、請求項21に記載の方法。
23. 前記受信するステップは、複数のマイクロフォンにおいて、前記少なくとも3つの送信機の各々から前記音響信号を受信するステップを含む、請求項17に記載の方法。
24. 前記複数のマイクロフォンは4つ以上のマイクロフォンを含む、請求項23に記載の方法。
25. 前記複数の受信機はモバイルデバイス上に位置する、請求項17に記載の方法。
26. 前記モバイルデバイスは、スマートフォン、タブレットコンピュータ、携帯情報端末、およびラップトップのうちの少なくとも1つである、請求項25に記載の方法。
27. 前記送信機のうちの少なくとも1つは、前記複数の受信機との間で明確な見通し線を有するように位置付けられる、請求項17に記載の方法。
28. 前記少なくとも3つの送信機の各々は、時分割多元接続を使用して音響信号を送信する、請求項17に記載の方法。
29. 前記受信するステップは、第1のタイムスロットにおいて第1の送信機から第1の音響信号を受信し、第2のタイムスロットにおいて第2の送信機から第2の音響信号を受信し、第3のタイムスロットにおいて第3の送信機から第3の音響信号を受信するステップを含む、請求項28に記載の方法。
30. 前記複数の受信機の各受信機によって受信された音響信号を抽出するステップと、
    前記複数の受信機のうちの受信機において受信された音響信号ごとに、前記それぞれの音響信号をどの送信機が送信したかを判断するステップと、
    前記複数の受信機において受信された音響信号ごとに到着時間差を計算するステップと、
    前記多次元空間における前記送信デバイスの前記位置を判断するために、前記1つまたは複数の到着時間差に最小2乗アルゴリズムを適用するステップと
    をさらに含む、請求項17に記載の方法。
31. 前記複数の受信機は、スクリーンを有するデバイスに結合され、前記スクリーンは地面に対してある角度にある、請求項17に記載の方法。
32. 前記多次元空間は3次元空間を含む、請求項17に記載の方法。
33. 複数の受信機において、互いに固定された非平面的な関係で配置された少なくとも3つの送信機の各々から音響信号を受信するステップであって、前記少なくとも3つの送信機が送信デバイスに結合されている、ステップと、
    前記複数の受信機において受信された前記音響信号に基づいて、多次元空間における前記送信デバイスの位置を判断するステップと、
    前記少なくとも3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいてアプリケーションの動作に影響を与えるステップと
    を含む動作を実行するためのコンピュータ実行可能命令を記憶したコンピュータ可読媒体。
34. 送信機の位置を判断するための装置であって、
    複数の受信機において、互いに固定された非平面的な関係で配置された少なくとも3つの送信機の各々から音響信号を受信するための手段であって、前記少なくとも3つの送信機が送信デバイスに結合されている、手段と、
    前記複数の受信機において受信された前記音響信号に基づいて、多次元空間における前記送信デバイスの位置を判断するための手段と、
    前記少なくとも3つの送信機のうちの1つまたは複数の送信機の判断された位置に基づいてアプリケーションの動作に影響を与えるための手段と
    を含む装置。