JP2021156600A - 移動体位置推定装置および移動体位置推定方法 - Google Patents

Abstract

【課題】人などの移動体の移動した位置を簡易な構成で推定できるようにする。【解決手段】移動体推定装置は、移動方向決定部、状態決定部、記憶部および現在位置入力部を備える。移動方向決定部は、移動体が移動する方向を決定する。状態決定部は、移動体の移動状態の検出結果が入力される。記憶部は、移動状態と移動速度の対応を記憶する。現在位置入力部は、現在位置が入力される。移動体推定装置は、移動状態が移動を示すのもである場合、移動状態に対応した移動速度と経過時間に応じた距離だけ入力された移動方向へ入力された現在位置から移動した位置を新たな現在位置として推定する。【選択図】図８

Description

この発明の一実施形態は、人などの移動体の移動を推定する移動体位置推定装置および移動体位置推定方法に関する。

ユーザに、ヘッドホン、イヤホンなどの音響デバイスを装用させ、ユーザが滞在している場所に応じた音声を音響デバイスから放音して、ユーザに拡張現実（ＡＲ：Augmented Reality）を体験させることが提案されている。このためには、ユーザの頭部の向き、および、にユーザの移動を検出する必要がある。

従来より、３軸のジャイロセンサ（３Ｄｏｆ）を備え、ユーザの頭部の向きを検出可能なヘッドホンは提案されている（例えば、特許文献１参照）。しかし、ジャイロセンサに加えてユーザの移動を検出する３軸の加速度センサを備え、ユーザの移動と頭部の向きを並行して検出可能なもの（６Ｄｏｆ）は、構造が複雑化するため提案されていない。なお、特許文献１に設けられている加速度センサは、イヤホンの傾きを検出するためのものである。

現実空間において、人の移動または移動した位置を測定する手段としては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、Ｗｉ−Ｆｉ（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）ビーコンを使用した三角測量などがある。また、人工衛星からの信号を用いて移動体の速度等を推定する衛星測位システムなども提案されている（例えば、特許文献２参照）。

特許４７３５９９３号公報 特開２０１５−００２３０８号公報

上述のような移動測定手段のうち、ＧＰＳおよび衛星測位システムの場合は屋内で使用できず、またＷｉ−ＦｉやＢＬＥビーコンは、設置に手間がかかるという問題があった。

そこで、本発明の一実施形態に係る目的の一つは、６ＤｏＦの機能を持たなくても移動体の移動を簡易に推定できるようにすることにある。

本発明の一実施形態に係る移動体推定装置は、移動方向決定部、状態決定部、記憶部および現在位置入力部を備える。移動方向決定部は、移動体の移動方向を決定する。状態決定部は、移動体の移動状態の検出結果が入力される。記憶部は、移動状態と移動速度の対応を記憶する。現在位置入力部は、現在位置が入力される。また、移動体推定装置は、移動状態が停止から変化した時、移動状態に対応した移動速度と経過時間に応じた距離だけ入力された移動方向へ入力された現在位置から移動した位置を新たな現在位置として推定する。

本発明の一実施形態に係る移動体位置推定方法は、携帯端末装置が、移動体が移動する方向を取得し、移動体の移動状態を取得し、移動状態に基づいて移動体が停止しているか移動しているかを推定する。携帯端末装置は、移動状態が移動を示すものである場合、移動状態に対応した移動速度を移動状態と移動速度との対応データに基づいて決定し、現在位置から取得された移動方向へ経過時間に応じた距離だけ移動した位置を新たな現在位置として推定する。

この発明によれば、移動体の移動した位置を簡易な構成で推定することが可能になる。

この発明が適用される音声再生システムの構成を示す図である。 この発明が適用される携帯端末装置のブロック図である。 この発明が適用されるヘッドホンのブロック図である。 速度テーブルを示す図である。 展示施設のフロアマップを示す図である。 シナリオファイルの例を示す図である。 携帯端末装置の処理動作を示すフローチャートである。 携帯端末装置の処理動作を示すフローチャートである。 携帯端末装置の処理動作を示すフローチャートである。 他の実施形態のシナリオファイルの例を示す図である。 他の実施形態の携帯端末装置の処理動作を示すフローチャートである。

図１は、本発明が適用される音声再生システム１の構成を示す図である。音声再生システム１は、携帯端末装置１０および音響デバイスであるヘッドホン２０を含む。図１は、ユーザ（移動体）Ｌが、携帯端末装置１０を手に持ち、ヘッドホン２０を装用した例を示す図である。携帯端末装置１０は、例えば、スマートホン（多機能携帯電話）が用いられる。携帯端末装置１０とヘッドホン２０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）で接続（ペアリング）されており、相互に通信可能である。携帯端末装置１０とヘッドホン２０との接続は、Ｂｌｕｅｔｏｏｔｈに限定されず、他の無線通信規格または有線でもよい。ヘッドホン２０は、例えば、２個のスピーカ２１Ｒ，２１Ｌとヘッドバンド２２とを組み合わせた、いわゆる耳掛け型である。また、ヘッドホン２０は、ヘッドバンド２２に３軸のジャイロセンサ（センサ）２３を有し、ユーザの頭部の向きがトラッキング可能である。音響デバイスとして、ヘッドホン２０に代えてイヤホンを用いてもよい。

音声再生システム１は、携帯端末装置１０に設けられた加速度センサ１５０（図２参照）の検出値によって、ユーザＬの移動を検出し、それをもとに現在位置を推定する。音声再生システム１は、推定されたユーザＬの現在位置および頭部の向きに応じた音声を自動的に再生する。このシステムは、主としてＧＰＳによる測位をすることができない屋内で用いられる。このシステムは、例えば、美術館などの展示施設で展示物の解説音声を再生するシステムに適用される。携帯端末装置１０は、ユーザＬの現在位置に応じて再生した音声を所定の位置に定位させるように処理してヘッドホン２０に送信する。ヘッドホン２０は、受信した音声をスピーカ２１Ｒ，２１Ｌから出力する。これにより、ユーザＬは、所定の位置から聞こえてくる聴感で音声を聞くことができる。たとえは、上述の美術館の場合、ユーザＬに絵画などの展示物から解説音声が聞こえてくるような聴感を与えることができる。音声の定位は、頭部伝達関数を用いて音声信号を処理することにより、精度の良い定位を実現することが可能である。音声の定位には、ユーザＬの現在位置、音声の定位位置（展示物の位置）およびユーザＬの頭部の向きの情報が必要である。ユーザＬの現在位置は、上述の加速度センサ１５０による推定値が用いられる。音声の定位位置は、図６に示すようなシナリオファイルに記載されている。ユーザＬの頭部の向きは、ヘッドホン２０のジャイロセンサ２３で検出することができる。これらの情報を用いることにより、ユーザＬがどの位置にいても、どの方向を向いていても、所定の位置（例えば、展示物の位置）に音声を定位させることができる。

図２は、携帯端末装置１０のブロック図である。携帯端末装置１０は、ハードウェア的には、制御部１００、記憶部１０３、音声生成部１０６、および、加速度センサ１５０等で構成されるスマートホンである。制御部１００は、ＣＰＵを有している。記憶部１０３は、ＲＯＭ，ＲＡＭおよびフラッシュメモリを有しており、アプリケーションプログラム７０を含む種々のプログラム、データを記憶している。音声生成部１０６は、信号処理部１０６Ａを有している。携帯端末装置１０およびヘッドホン２０は、移動体位置推定プログラムを含むアプリケーションプログラム７０が起動されることにより移動体推定装置を含む音声再生装置として機能する。アプリケーションプログラム７０は、記憶部（フラッシュメモリ）１０３に記憶されている。

携帯端末装置１０の制御部１００は、アプリケーションプログラム７０が起動されることにより、移動方向決定部１０１、状態決定部１０２、推定部１０４、および、頭部方向決定部１０８として機能する。

移動方向決定部１０１は、ユーザＬの移動方向を決定する。この実施形態では、後述のシナリオファイル（図６参照）に記載されている仮想通路２１０上を移動するように移動方向が決定される。移動方向決定部１０１は、さらに、ヘッドホン２０から受信したユーザＬの頭部の向きを移動方向として決定してもよく、音声の定位方向に接近または遠ざかる向きを移動方向として決定してもよい。状態決定部１０２は、加速度センサ１５０の検出値を入力し、加速度センサ１５０の検出値に基づいてユーザＬの移動状態を決定する。

記憶部１０３は、上述のアプリケーションプログラム７０、速度テーブル７１、シナリオファイル７２および音声データ７３を記憶する。また、本発明の現在位置記憶部１０５も記憶部１０３に設けられている。速度テーブル７１は、図４に示すように、加速度センサ１５０の検出値と推定される移動速度とが対応付けて記載されたテーブルである。具体的には、加速度センサ１５０の検出値が所定値以上になった場合のユーザＬの推定される移動速度が対応付けて記憶されている。図４において、加速度センサ１５０の検出値がＶ１以上の場合は、ユーザＬの移動状態が「歩行」と決定される。「歩行」の場合、ユーザＬの移動速度は、４ｋｍ／ｈ（１．１ｍ／秒）と決定される。加速度センサ１５０の検出値がＶ２（＞Ｖ１）以上の場合は、ユーザＬの移動状態が「走行」と決定される。「走行」の場合、ユーザＬの移動速度は、１０ｋｍ／ｈ（２．８ｍ／秒）と決定される。加速度センサ１５０の検出値がＶ１未満の場合は、ユーザＬの移動状態が「停止」と決定される。「停止」の場合、ユーザＬの移動速度は、０ｋｍ／ｈと決定される。したがって、本実施形態では、加速度センサ１５０の検出値によって、ユーザＬの移動状態が、「停止」、「歩行」、「走行」の３段階の状態で決定される。

移動状態の決定は上述の３段階に限定されない。加速度センサ１５０の検出値に対して、より多くの段階（Ｖｎ：ｎ≦3）が決定されてもよく、「停止」、「移動」の２段階（Ｖ１）のみ決定されてもよい。この実施形態では、各段階は、しきい値Ｖ１、Ｖ２に対する「以上／未満」で区切られているが、「より大きい／以下」で区切られてもよい。

なお、状態決定部１０２は、しきい値に基づいて移動状態を決定する必要はない。例えば、状態決定部１０２は、加速度センサ１５０から得られる加速度の振幅の周波数（歩くテンポに同期するもの）を分析して移動状態を決定してもよい。また、状態決定部１０２は、実際の歩行状態および走行状態の加速度センサの値を予め測定し、ディープラーニングなどの手法で学習して、学習済モデルから移動状態を決定してもよい。 一般的にスマートホンは三次元の加速度センサを備えているため、その姿勢が特定できれば加速度センサ１５０によってどの向きにどれだけの加速度が加わったかを検出することができる。しかしながら、この実施形態では携帯端末装置（スマートホン）１０がユーザＬにどのような姿勢で所持されているかを特定することができない。そこで、状態決定部１０２は、加速度センサ１５０の任意の方向の加速度を検出値として用いている。 推定部１０４は、ユーザＬの現在位置を一定時間毎に推定する。推定部１０４は、一定時間毎（例えば１秒毎）に、移動方向および移動速度の情報を、移動方向決定部１０１および状態決定部１０２から取得する。推定部１０４は、取得した移動方向に取得した移動速度×一定時間の距離だけ移動したと推定し、この移動分だけ現在位置を更新する。状態決定部１０２から取得した移動速度が「停止」であれば、一定時間内の移動距離は０であり、現在位置は更新されない。現在位置は、現在位置記憶部１０５に記憶されている。

推定部１０４は、現在位置記憶部１０５から現在位置を取得し、この現在位置から移動方向に上記距離だけ移動させた位置を、ユーザＬの新たな現在位置とする。推定部１０４は、現在位置記憶部１０５に新たな現在位置を書き込むことによって更新する。

頭部方向決定部１０８は、ヘッドホン２０からジャイロセンサ２３の積算値を取得し、この検出値を直前のユーザＬの頭部の向きに加算することによって、現在の頭部の向きを決定する。

音声生成部１０６は、ヘッドホン２０に出力する音声を生成する。音声生成部１０６は、ユーザＬの現在位置に応じた音声データ７３を読み出して再生する。どの音声データをどの条件で読み出すかは、シナリオファイル７２に書き込まれている。条件と音声データ７３とが関連付けられたデータはイベントと呼ばれる。イベント発生の条件はトリガと呼ばれる。

音声生成部１０６は、信号処理部１０６Ａを備えている。信号処理部１０６Ａは、再生された音声信号を、音声データの位置、推定されたユーザＬの現在位置、および、ユーザＬの頭部の向きに基づき、所定の位置に定位させるように信号処理を行う。この信号処理は定位処理と呼ばれる。定位処理は、頭部伝達関数を用いたフィルタリング処理で行われる。再生され、定位処理をされた音声信号は、通信処理部１０７によってヘッドホン２０に送信される。

通信処理部１０７は、Ｂｌｕｅｔｏｏｔｈ対応機器であるヘッドホン２０（通信処理部２４：図３参照）と通信する。通信処理部１０７は、ヘッドホン２０に対してオーディオ信号の送信を行い、ヘッドホン２０からジャイロセンサ２３の検出値を受信する。

図３は、ヘッドホン２０のブロック図である。ヘッドホン２０は、ユーザＬの左右の耳に装着されるスピーカ２１Ｌ，２１Ｒを備え、これらスピーカ２１Ｌ，２１Ｒがヘッドバンドで接続された構成を有している。ヘッドホン２０は、ヘッドバンド、または、左右のスピーカ２１Ｌ，２１Ｒが収容されるハウジングの内部に、ジャイロセンサ２３、通信処理部２４、ＡＩＦ２５、ＤＡＣ２６Ｌ，２６Ｒ、アンプ２７Ｌ，２７Ｒを備えている。

通信処理部２４は、Ｂｌｕｅｔｏｏｔｈ対応機器である携帯端末装置１０（通信処理部１０７）と通信する。ＡＩＦ（Ａｕｄｉｏ Ｉｎｔｅｒｆａｃｅ）２５は、携帯端末装置１０から受信した音声信号を左右チャンネル毎にＤＡＣ２６Ｌ，２６Ｒに送信する。ＤＡＣ（Ｄｉｇｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）２６Ｌ，２６Ｒは、ＡＩＦ２５から入力されたデジタル信号をアナログ信号に変換する。アンプ２７Ｌ，２７Ｒは、ＤＡＣ２６Ｌ，２６Ｒから入力されたアナログ信号を増幅してスピーカ２１Ｌ，２１Ｒに供給する。これにより、携帯端末装置１０から受信した音声信号は、音響としてスピーカ２１Ｌ，２１Ｒから放音される。上述したように、音声信号は、ユーザＬの現在位置の変化や、頭部の向きの変化をキャンセルして、常に予め決められた定位位置に定位するよう信号処理されている。これにより、ユーザＬが移動しても且つ頭部の向きを変えても、ユーザＬには同じ位置から発音しているように聞こえる。

図５を参照して、本発明が適用される展示施設２００の例と、ユーザＬの現在位置について説明する。ユーザＬの現在位置は、現実空間上に設定された座標情報で表される。図５は、現実空間を例示した図であり、例えば美術館などの展示施設２００のフロアマップを示す図である。展示施設２００では、絵画などの展示物３０１〜３０３が壁面に配置されている。図中、展示施設２００の下側には、入口Ｅ１および出口Ｅ２が設けられている。入口Ｅ１から出口Ｅ２までの間に、逆Ｕ字状の仮想通路２１０が設定されている。移動方向決定部１０１は、ユーザＬが、入口Ｅ１から入り、仮想通路２１０上を後戻りせずに矢印２１１方向に移動して出口Ｅ２から退出するとして、ユーザＬの移動方向を決定する。

この現実空間に座標軸が設定されている。図５左下に示すように、図中左右方向にＸ軸、上下方向にＹ軸が設定されている。図面の表裏方向にＺ軸をさらに設定してもよいが、本実施形態では、ユーザＬの上下方向の移動は無いとみなし、高さ（ｚ値）は一定値とすることで処理を簡略化している。

ＸＹ座標においては、フロアの入口Ｅ１の位置Ｐが、原点（０，０）とされる。ユーザＬは、入口Ｅ１において、アプリケーションプログラム７０を起動させる。アプリケーションプログラム７０は、起動時または起動後の所定タイミングに、ユーザＬに正面、すなわちＹ軸方向（図５の矢印ＨＤの方向）に向くことを促す。これにより、ユーザＬの現在位置および頭部の向きが初期化される。アプリケーションプログラム７０は、初期化処理で、現在位置記憶部１０５に座標値（ｘ，ｙ）＝（０，０）を書き込み、Ｙ軸方向（図５の矢印ＨＤの方向）をユーザＬの頭部の向きの初期値とする。頭部の向きは、頭部方向決定部１０８に記憶される。

その後、携帯端末装置１０は、定期的（例えば１秒毎）にユーザの移動を検出する。ユーザＬの状態が「移動」と判定されると、携帯端末装置１０（推定部１０４）は、その移動方向および移動距離からなる移動ベクトルを決定し、この移動ベクトルを現在位置（ｘ，ｙ）に加算することで現在位置を更新する。移動方向は、現在位置に基づき、図５の仮想通路２１０上を移動するように決定される。

現在位置の初期値および頭部の向きの初期値は、上述したように、アプリケーションプログラム７０の起動時に自動設定されるが、これらを、ユーザに入力させてもよい。例えば、携帯端末装置１０の画面に図５に示すフロアマップを表示し、ユーザＬがフロアマップ上のどの位置にいるか、および、どの方向を向いているかを入力させればよい。入力は、画面上のタッチパネルのタップ操作やフリック操作によって行われればよい。

図５に示した展示施設２００において、どのように音声が再生されるかを、図６を参照して説明する。図６は、シナリオファイル７２の例を示す図である。このシナリオファイル７２は、展示施設２００において、どのタイミングでどの音声データを再生するかが記述されたファイルである。シナリオファイル７２には、イベント毎に、トリガ種類、トリガデータ、定位位置、コンテンツＩＤが記憶されている。シナリオファイル７２には、図５に示した仮想通路２１０の座標をプロットした仮想通路情報も記憶されている。イベントとは、所定のコンテンツを再生するタイミングや場所が記述された一群のデータである。音声生成部１０６は、イベントに従って所定のコンテンツ（本実施形態では音声データ）を再生する。トリガ種類は、どの指標に基づいてこのイベントを起動するかの情報である。図６の例では、全てのイベントが場所に応じて起動される。トリガ種類としては、場所以外に、時刻、停止時間などが適用可能である。トリガデータは、具体的に、トリガ種類がどの条件を満たしたときイベントを起動するか、この実施形態では、ユーザＬがどの位置に来たときイベントを起動するか、を定めたデータである。コンテンツＩＤは、再生されるコンテンツの識別情報である。この実施形態では、コンテンツは音声データであるが、音声データに対する信号処理などの効果を含んでいてもよい。定位位置は、再生されるコンテンツの定位位置であり、図５に示したＸ，Ｙ座標の座標値で表される。

図６において、第１イベントは、展示物３０１を説明する音声（音声データＡ）を再生するイベントであり、ユーザＬが領域２０１に居る間再生される。音声データＡの定位位置は、図中ＳＰ１で示される展示物３０１の中央である。第２イベントは、展示物３０２を説明する音声（音声データＢ）を再生するイベントであり、ユーザＬが領域２０２に居る間再生される。音声データＢの定位位置は、図中ＳＰ２で示される展示物３０２の中央後方の壁の中である。また、第３イベントは、展示物３０３を説明する音声（音声データＣ）を再生するイベントであり、ユーザＬが領域２０３に居る間再生される。音声データＣの定位位置は、図中ＳＰ３で示される展示物３０３の中央である。

推定部１０４は、一定時間毎に、ユーザＬの現在位置を推定する。シナリオファイル７２では、ユーザＬは仮想通路２１０上を矢印２１１方向に移動するとしているため、推定される現在位置は、仮想通路２１０上のいずれかの地点である。音声生成部１０６は、推定部１０４が推定したユーザＬの現在位置を判断し、ユーザＬがいずれかのイベントの領域にいる場合は、そのコンテンツを再生する。例えば、図５において、ユーザＬが入口Ｅ１から位置Ｐ２に移動して領域２０１に入ったタイミングで、音声生成部１０６が、音声データＡの再生を開始する。音声生成部１０６は、ユーザＬが同一の領域２０１にいる間、同一のコンテンツ（音声データＡ）の再生を継続する。

音声生成部１０６は、音声データＡを再生するとき、展示物３０１の中央の定位位置ＳＰ１に音声が定位するように信号処理（定位処理）を行う。音声生成部１０６は、ユーザＬの現在位置と定位位置ＳＰ１の座標から、ユーザＬから定位位置ＳＰ１までの距離および絶対方位を算出し、この絶対方位およびユーザＬの頭部の向きに基づいて相対方位を決定する。音声生成部１０６は、この相対方位および距離に対応する頭部伝達関数を選択し、生成した音声を頭部伝達関数でフィルタリングして、ユーザＬに対して、音声を定位位置ＳＰ１に定位させる。これにより、ユーザＬは、展示物３０１から聞こえてくるような聴感で音声を聞くことができる。

音声データＡ，Ｂ，Ｃは、展示物３０１，３０２，３０３の解説音声に限定されない。例えば、展示物に登場するキャラクタの声が適用可能である。この場合、定位位置ＳＰ１は、キャラクタが描かれている位置に設定すればよい。シナリオファイル７２に記憶されるイベントは、ユーザＬの位置に応じて音声データに音響効果を付与するイベントでもよい。

ユーザＬが領域２０１にいる間は、音声データＡが再生される。携帯端末装置１０は、一定時間（例えば１秒）毎にユーザＬの現在位置および頭部の向きを検出し、上述の定位処理を更新する。現在位置は、図２を参照して説明したように、加速度センサ１５０の検出値に基づいて決定された移動速度で仮想通路２１０に沿って矢印２１１の方向に移動したとして更新される。

図７〜図９のフローチャートを参照して、携帯端末装置１０が実行する処理動作について説明する。図７は、アプリケーションプログラム７０が起動したときに実行される動作である。アプリケーションプログラム７０が起動されると、携帯端末装置１０は、ユーザＬの現在位置および頭部の向きに初期値を設定する（ステップＳ１０：以下、ステップＳｎを単にＳｎと記す。）。すなわち、携帯端末装置１０は、現在位置記憶部１０５に（０，０）を書き込み、図５のＨＤ方向を頭部の向きとして記憶する。携帯端末装置１０は、アプリケーションプログラム７０の起動時、または、起動後所定のタイミングに、音声または表示で、ユーザＬに対して入口Ｅ１で正面を向くよう促せばよい。この処理ののち、携帯端末装置１０は、図８の移動推定処理および図９の音声再生処理を起動する。

図８は、携帯端末装置１０によって実行される移動推定処理を示すフローチャートである。この処理は、所定の推定間隔（例えば１秒間隔）で繰り返し実行される。携帯端末装置１０は、加速度センサ１５０から検出値を取得する（Ｓ２１）。携帯端末装置１０は、取得した検出値で速度テーブル７１を検索して現在のユーザＬの移動状態を判断し、移動速度を決定する（Ｓ２２）。決定された移動速度が０（停止）である場合には（Ｓ２３でＮＯ）、携帯端末装置１０は、今回の移動推定処理を終了する。

推定された移動速度が移動（歩行または走行）である場合（Ｓ２３でＹＥＳ）、携帯端末装置１０は、仮想通路２１０の形状と現在位置とに基づいて移動方向を決定する（Ｓ２４）。携帯端末装置１０は、決定された移動速度×推定間隔と移動方向に基づいて移動ベクトルを算出する（Ｓ２５）。携帯端末装置１０は、算出された移動ベクトルを現在位置に加算して現在位置を更新する（Ｓ２６）。例えば、決定された移動速度が１．１ｍ／ｓであれば、１．１ｍ／ｓで推定間隔（１秒）だけ移動した距離を、今回の移動距離とすればよい。

図９は、音声再生処理を示すフローチャートである。この処理は、移動推定処理と同様に、所定の推定間隔（例えば１秒間隔）で繰り返し実行される。携帯端末装置１０は、現在位置記憶部１０５から現在位置を取得し（Ｓ３１）、音声データを生成する領域に入っているか否かを判断する（Ｓ３２）。再生領域に入っている場合（Ｓ３２でＹＥＳ）、携帯端末装置１０は、現在、音声データを再生中であるか否かを判断する（Ｓ３５）。音声データを再生中で無い場合（Ｓ３５でＮＯ）、携帯端末装置１０は、その領域に対応する音声データを読み出して（Ｓ３６）、再生をスタートする（Ｓ３７）。

携帯端末装置１０は、ヘッドホン２０からジャイロセンサ２３の積算値を取得し、この検出値を直前のユーザＬの頭部の向きに加算することによって、現在の頭部の向きを決定する（Ｓ３８）。携帯端末装置１０は、頭部の向き、Ｓ３１で取得した現在位置、および、シナリオファイル７２に記載されている音声データの定位位置（絶対定位位置）に基づいて相対定位位置を算出する（Ｓ３９）。相対定位位置とは、音声データに基づいて生成された音声のユーザＬから見た定位位置であり、絶対定位位置が動かなくても、ユーザＬが移動したり頭部の向きを変えることによって変化する。携帯端末装置１０は、音声をこの相対定位位置に定位させるための頭部伝達関数を算出または選択して信号処理部１０６Ａのフィルタに設定する（Ｓ４０）。この実施形態では、ジャイロセンサ２３の積算値を取得することで、頭部の向きが決定される。これにより、ユーザＬが体を固定して頭部だけ回転させた場合でも、ユーザＬが体を回転させ、これに併せて頭部が回転した場合でも、同様に頭部の向きが決定可能である。ユーザＬの頭部の向きは、ジャイロセンサ２３以外の方法で測定もしくは決定されてもよい。

Ｓ３５で音声データを再生中であった場合（Ｓ３５でＹＥＳ）、携帯端末装置１０は、その再生を継続し（Ｓ４５）、ユーザＬの頭部の向きを再度決定する（Ｓ４６）。ユーザＬの頭部の向きは、Ｓ３８と同様に、ヘッドホン２０からジャイロセンサ２３の積算値を取得し、この検出値を直前のユーザＬの頭部の向きを加算することによって決定されればよい。この頭部の向き、および、Ｓ３１で取得した現在位置が、前回の処理から変化があるかを判断する（Ｓ４７）。変化がない場合（Ｓ４７でＮＯ）、携帯端末装置１０は、Ｓ４０で設定済の頭部伝達関数を用いて音声再生処理を継続する。現在位置または頭部の向きが前回の音声再生処理から変化していた場合（Ｓ４７でＹＥＳ）、携帯端末装置１０は、処理をＳ３９に進め、相対定位位置を算出して（Ｓ３９）、信号処理部１０６Ａのフィルタを更新する（Ｓ４０）。

Ｓ３２で、ユーザＬの現在位置が再生領域外であると判断された場合（Ｓ３２でＮＯ）、携帯端末装置１０は、現在、音声データを再生中か否かを判断する（Ｓ３３）。携帯端末装置１０は、音声データを再生中の場合（Ｓ３３でＹＥＳ）、その音声データの再生を停止して今回の音声再生処理を終了する。音声データを再生中でない場合（Ｓ３３でＮＯ）、携帯端末装置１０は、音声再生処理を終了する。

以上のように、この実施形態では、携帯端末装置１０が、以下のように現在位置を推定する。

停止、歩行、走行の３状態を加速度センサ１５０の検出値に基づいて簡易に決定する。

仮想通路２１０上を移動するものとして移動方向を決定する。

決定した移動方向へ、移動状態に対応した移動速度と経過時間とに応じた距離だけ現在位置から移動した位置を、新たな現在位置と推定する。

これにより、携帯端末装置１０は、３ＤｏＦの移動センサを備えていなくても、人などの移動体の移動した位置を簡易な構成で推定できる。

本実施形態で例示したように、この音声再生システム１を用いた音響ＡＲは、簡易な現在位置の推定であっても、シナリオに基づく音声データの再生を認容できる精度で実現でき、十分なＡＲ体験をユーザに提供できる。

上述の実施形態では、シナリオファイル７２に記憶された仮想通路２１０上をユーザＬが移動するものとして、ユーザＬの移動方向が推定されているが、他の情報に基づいてユーザＬの移動方向が推定されてもよい。例えば、音声の定位方向にユーザＬが移動していると推定して、ユーザＬの移動方向を決定してもよい。この場合、全ての音声に対して、ユーザＬがその定位方向に移動していると推定するのではなく、特定の音声（例えば、移動を促す内容の音声）の場合のみ、その音声の定位方向にユーザＬが移動していると推定してもよい。

再生されるコンテンツに基づいて移動方向を決定することも可能である。音声データが「こっちに来い」など接近を促す文言の場合には、ユーザＬがその音声の方向に移動していると推定してもよい。「あっちへ行け」など離反を促す文言の場合には、ユーザＬがその音声と反対の方向に移動していると推定してもよい。図１０、図１１にこの例を示す。

図１０は、シナリオファイル７２０の例を示す図である。このシナリオファイルには、各イベントの音声データが、接近を促す文言であるか、または、離反を促す文言であるかの方向指定情報が書き込まれている。音声データＢは、接近を促す文言である。音声データＣは、離反を促す文言である。一方、音声データＡは、ユーザＬの移動方向を指定する文言を含んでいない。このシナリオファイル７２０は、図５に示した展示施設２００に関連付けられたものではない。

図１１は、方向指定情報を有する音声データが再生される場合の移動推定処理を示すフローチャートである。この処理は、図８に示した移動推定処理に方向指定情報に関する処理を加えたものである。このため、図８と同様の処理には同一のステップ番号を付す。この処理は、所定の推定間隔（例えば１秒間隔）で繰り返し実行される。携帯端末装置１０は、加速度センサ１５０から検出値を取得する（Ｓ２１）。携帯端末装置１０は、取得した検出値で速度テーブル７１を検索して現在のユーザＬの推定される移動速度を決定する（Ｓ２２）。推定された移動速度が０（停止）である場合には（Ｓ２３でＮＯ）、携帯端末装置１０は、今回の移動推定処理を終了する。

推定された移動速度が移動（歩行または走行）である場合（Ｓ２３でＹＥＳ）、携帯端末装置１０は、現在音声データを再生中であるか否かを判断する（Ｓ６０）。音声データを再生中の場合（Ｓ６０でＹＥＳ）、携帯端末装置１０は、シナリオファイル７２０から方向指定情報を読み出す（Ｓ６１）。再生中の音声データが方向指定情報を有するものであれば（Ｓ６２でＹＥＳ）、携帯端末装置１０は、その指定方向がユーザＬの現在位置から見てどの方向になるかを計算し、この計算された方向をユーザＬの移動方向と決定して更新する（Ｓ６３）。携帯端末装置１０は、この移動方向を用いて移動ベクトルを算出する（Ｓ２５）。

再生中の音声データが方向指定情報を有しないものである場合（Ｓ６２でＮＯ）、および、現在、音声データを再生中でない場合（Ｓ６０でＮＯ）、携帯端末装置１０は、直前に決定された移動方向を維持する（Ｓ６４）。携帯端末装置１０は、決定された移動速度×推定間隔と頭部の向きに基づいて移動ベクトルを算出する（Ｓ２５）。携帯端末装置１０は、算出された移動ベクトルを現在位置に加算して現在位置を更新する（Ｓ２６）。

実施形態では、携帯端末装置１０として、多機能携帯電話（スマートホン）が例示された。しかし、携帯端末装置１０は、図２に示す機構を有するものであればスマートホンに限られない。たとえば、携帯音楽プレーヤが適用可能である。

実施形態では、移動方向決定部１０１、状態決定部１０２、記憶部１０３、推定部１０４、現在位置記憶部１０５、および、音声生成部１０６が、携帯端末装置１０設けられていた。これらの構成部が、ヘッドバンド２２等、ヘッドホン２０に内蔵されていてもよい。

実施形態では、音声再生システム１について説明した。本発明の適用は、これに限定されない。移動体の現在位置を特定が必要なシステムであれば、本発明を適用可能である。例えば、本発明は、ユーザが頭部に装着して仮想空間を体験するヘッドマウントディスプレイ（ＶＲゴーグル）に適用可能である。本発明は、仮想現実を現実世界に反映（拡張）させるＡＲゴーグルに適用可能である。

実施形態では、現在位置に基づく単一のコンテンツの再生について説明した。本発明の適用は、これに限定されるものではない。例えば、複数のコンテンツが同時期に併行して再生されてもよい。例えば、図５において、領域２０１，２０２，２０３が、相互に重なり合っていてもよい。

上実施形態では、屋内施設の構成について説明したが、屋外でも本発明を適用可能である。屋外の場合には、上述の現在位置を推定する構成とＧＰＳ測位とを併用してもよい。

携帯端末装置１０および音響デバイスであるヘッドホン２０が、本発明の移動体位置推定装置に対応する。ユーザＬが、本発明の移動体に対応する。

以上詳述した実施形態から、以下のような態様が把握される。

《態様１》
本開示の態様１に係る移動体位置推定装置は、移動方向決定部、状態決定部、記憶部および現在位置入力部を備える。移動方向決定部は、移動体が移動する方向を決定する。状態決定部は、移動体の移動状態の検出結果が入力される。記憶部は、移動状態と移動速度の対応を記憶する。現在位置入力部は、現在位置が入力される。移動体推定装置は、移動状態に対応した移動速度と経過時間に応じた距離だけ入力された移動方向へ入力された現在位置から移動した位置を新たな現在位置として推定する。状態決定部および移動方向決定部で移動体の移動状態および移動方向を推定するようにしたので、カメラ等のセンサを設けることなく、簡易に移動体の移動および現在位置を推定できる。

《態様２》
本開示の態様２に係る移動体位置推定装置は、態様１に以下の態様が追加される。状態決定部は、加速度センサを有する。記憶部は、加速度センサの検出値が所定値以上になった場合の移動体の移動速度を対応づけて記憶している。加速度センサの検出値をリニアに位相速度に反映させるのでなく所定のしきい値以上になった場合にある速度で移動していると推定することで、処理が容易になる。

《態様３》
本開示の態様３に係る移動体位置推定装置は、態様１に以下の態様が追加される。移動方向決定部は、移動体であるユーザが頭部に装用する音響デバイスに設けられたジャイロセンサを含んでいる。音響デバイスに出力する音声を生成する音声生成部をさらに備える。音声生成部は、音声の絶対定位位置、推定された現在位置、および、ユーザの頭部の向きに応じて、ユーザに対して前記音声を定位させる。ユーザが音響デバイスを装用することで音響ＡＲを実現することができる。さらに、音響デバイスにジャイロセンサを備えたことで、移動体であるユーザの頭部の向きを検出することができる。

《態様４》
本開示の態様４に係る移動体位置推定装置は、態様３に以下の態様が追加される。音響デバイスは、ヘッドホンまたはイヤホンである。これにより、ユーザは、音声再生部が再生する音声を聴くことができる。

《態様５》
本開示の態様５に係る移動体位置推定装置は、態様３に以下の態様が追加される。音声生成部が生成する音声には、ユーザに移動を促す音声である誘導音声が含まれている。誘導音声は、その音声の定位位置方向への移動を促す音声、または、その音声の定位位置から遠ざかる方向への移動を促す音声のいずれかである。音声の定位位置方向への移動を促す誘導音声が音響デバイスに入力されているとき、ユーザが移動を促す音声の定位位置方向に移動していると推定する。音声の定位位置から遠ざかる方向への移動を促す誘導音声が音響デバイスに入力されているとき、ユーザが前記移動を促す音声の定位位置方向と逆の方向に移動していると推定する。ユーザの頭部の向きのみでなく、再生される音声で移動体であるユーザの移動方向を推定することができる。

《態様６−９》
態様６−９に係る移動体位置推定方法は態様１−５の移動体位置推定装置が方法で表現される。

１ 音声再生システム
１０ 携帯端末装置（スマートホン）
２０ ヘッドホン（音響デバイス）
２１ スピーカ
２２ ヘッドバンド
２３ ジャイロセンサ
２４ 通信処理部
７０ アプリケーションプログラム
１００ 制御部
１０１ 移動方向決定部
１０２ 状態決定部
１０３ 記憶部
１０４ 推定部
１０５ 現在位置記憶部
１０６ 音声生成部
１０７ 通信処理部
１０８ 頭部方向決定部
１５０ 加速度センサ

Claims (9)

1. 移動体の移動方向を決定する移動方向決定部と、
   前記移動体の移動状態の検出結果が入力される状態決定部と、
   前記移動状態と移動速度の対応を記憶した記憶部と、
   現在位置が入力される現在位置入力部と、
   を備え、
   前記移動状態が移動を示している場合、前記移動状態に対応した移動速度と経過時間に応じた距離だけ前記入力された移動方向へ前記入力された現在位置から移動した位置を新たな現在位置として推定する
   移動体位置推定装置。
2. 前記状態決定部は、加速度センサを有し、
   前記記憶部は、前記加速度センサの検出値が所定値以上になった場合の前記移動体の移動速度を対応づけて記憶している
   請求項１に記載の移動体位置推定装置。
3. 前記移動方向決定部は、移動体であるユーザが頭部に装用する音響デバイスに設けられたジャイロセンサを含んでおり、
   前記音響デバイスに出力する音声を生成する音声生成部をさらに備え、
   前記音声生成部は、前記音声の定位位置、前記推定された現在位置、および、前記ジャイロセンサの検出値に基づいて決定された前記ユーザの頭部の向きに応じて、前記ユーザに対して前記音声を定位させる
   請求項１または請求項２に記載の移動体位置推定装置。
4. 前記音響デバイスは、ヘッドホンまたはイヤホンである請求項３に記載の移動体位置推定装置。
5. 前記音声生成部が生成する音声には、前記ユーザに移動を促す音声である誘導音声が含まれており、
   前記誘導音声は、その音声の定位位置方向への移動を促す音声、または、その音声の定位位置から遠ざかる方向への移動を促す音声のいずれかであり、
   前記音声の定位位置方向への移動を促す誘導音声が前記デバイスに入力されているとき、前記ユーザが前記移動を促す音声の定位位置方向に移動していると推定し、
   前記音声の定位位置から遠ざかる方向への移動を促す誘導音声が前記音響デバイスに入力されているとき、前記ユーザが前記移動を促す音声の定位位置方向と逆の方向に移動していると推定する
   請求項３または請求項４に記載の移動体位置推定装置。
6. 携帯端末装置が、
   移動体が移動する方向を取得し、
   前記移動体の移動状態を取得し、
   前記移動状態に基づいて前記移動体が停止しているか移動しているかを推定し、
   前記移動状態が移動を示すものである場合、前記移動状態に対応した移動速度を前記移動状態と移動速度との対応データに基づいて決定し、
   現在位置から、経過時間に応じた距離だけ前記取得された移動方向へ移動した位置を新たな現在位置として推定する
   移動体位置推定方法。
7. 前記移動体の移動状態として、加速度センサの検出値を取得し、
   前記移動体が停止しているか移動しているかを、前記加速度センサの検出値が所定値以上になったか否かに基づいて推定する
   請求項６に記載の移動体位置推定方法。
8. 前記移動体は、音響デバイスを装用したユーザであり、
   前記音響デバイスに出力する音声を生成する音声生成部は、前記推定された現在位置に応じて、前記ユーザに対して前記音声を定位させる
   請求項６または請求項７に記載の移動体位置推定方法。
9. 前記音声生成部は、その音声の定位位置方向への移動を促す誘導音声、または、その音声の定位位置から遠ざかる方向への移動を促す誘導音声を前記音響デバイスに入力し、
   前記音声の定位位置方向への移動を促す誘導音声が前記音響デバイスに入力されているとき、前記ユーザが前記移動を促す音声の定位位置方向に移動していると推定し、
   前記音声の定位位置から遠ざかる方向への移動を促す誘導音声が前記音響デバイスに入力されているとき、前記ユーザが前記移動を促す音声の定位位置方向と逆の方向に移動していると推定する
   請求項８に記載の移動体位置推定方法。

Images