JP2015076797A - 空間情報提示装置、空間情報提示方法及び空間情報提示用コンピュータプログラム - Google Patents

Abstract

【課題】ユーザの位置から所定位置までの距離の情報を音声により提示可能な空間情報提示装置を提供する。【解決手段】空間情報提示装置は、ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ仮想音源の移動軌跡を設定する移動軌跡設定部１２と、ユーザの現在位置と提示位置間の距離にかかわらずに一定周期で移動軌跡に沿って仮想音源が移動するように、あるいは、ユーザの現在位置と提示位置間の距離にかかわらずに一定速度となるように、仮想音源の移動速度を決定し、かつ仮想音源の現在位置を決定する音源位置速度決定部１３と、仮想音源の現在位置とユーザの頭部の姿勢に基づいて、仮想音源の現在位置から音声が発するように音声データに対して音像定位を行うことにより、音声出力部７から出力させる出力音声信号を生成する音声加工部１４とを有する。【選択図】図３

Description

本発明は、例えば、音声により人に空間的な情報を提示する空間情報提示装置、空間情報提示方法及び空間情報提示用コンピュータプログラムに関する。

人の行動または状態に合わせてその人をアシストするような情報提供を行うことが提案されている。このような用途において情報提供がある度に端末を取り出したり、端末に視線を向けたりすることは、情報提供を受ける人にとって煩わしい。そこで人の手及び目を占有しないハンズフリーかつアイズフリーなユーザインタフェースの研究開発が進められている。

例えば、３次元音響の技術を使うことで、ユーザインターフェースは、ユーザが身につけたイヤホンから出力される音を、そのユーザの周囲の任意の位置及び方向に設定された仮想的な音源から聞こえてくるようにすることができる。さらに、ユーザの頭部の位置及び姿勢を検知し、その位置及び姿勢に応じて、ユーザの周囲の環境にの特定位置に音源が固定されているように、ユーザインターフェースは、出力音をリアルタイムに調整することができる。これにより、あたかも実世界の環境中に音源があるかのようにユーザに感じさせる、音声による拡張現実感(Augmented Reality, AR)が実現される。

例えば、特許文献１に開示された音像定位装置は、仮想発音の設定位置及びヘッドホンの向きの検出内容に基づいてヘッドホンに対する仮想発音位置の少なくとも方向を含む相対位置データを求める。そして音像定位装置は、その相対位置データに基づいて複数の方向から両耳への楽音伝達特性で楽音信号を畳み込み演算する複数のフィルタのゲインをそれぞれ設定し、複数のフィルタから出力された信号を合成してヘッドホンのスピーカに供給する。これにより、音像定位装置は、ヘッドホンの回転にかかわらず定点に音像を定位できる。

特許文献１に開示された技術を利用して音情報によりユーザに仮想音源の位置を指示しようとする場合、ユーザが現在向いている方向に対する仮想音源の位置の方向をユーザは正確に判別できる。しかし、この技術では、ユーザは、音情報のみに基づいて、現在位置からその仮想音源の位置までの距離を正確に把握することは困難である。

一方、特許文献２に開示された音像定位制御装置は、左右２チャネルの信号系に分離された周波数可変音源からの音信号を、音像の定位位置の移動状態に応じて遅延させることで双方の音信号の相対時間差を設定する。そして音像定位制御装置は、音像の定位位置の移動状態に応じて周波数可変音源から出力されるべき音信号の周波数を変更することで、音像移動のリアル感を豊かにする。

また、特許文献３に開示された携帯電話端末は、三次元仮想音響効果を付与するために、音像定位・音像移動情報、音像移動の繰り返し回数、繰り返し回数に基づく分割した時間情報等を受け、頭部伝達関数に基づいて三次元仮想音響を生成する。

特開平１０−２３６００号公報 特開平６−３２７１００号公報 特開２００６−２８７８７８号公報

特許文献２に開示された技術及び特許文献３に開示された技術は、ユーザに対して音源が移動している感覚を与えることができる。しかしながら、これらの技術でも、音声信号だけでは、ユーザには、ユーザの現在位置から仮想音源までの距離を把握するための情報は与えられない。

そこで本明細書は、ユーザの位置から所定位置までの距離の情報を音声により提示可能な空間情報提示装置を提供することを目的とする。

一つの実施形態によれば、空間情報提示装置が提供される。この空間情報提示装置は、仮想音源から発する音声を表す音声データを記憶する記憶部と、音声出力部と、ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ仮想音源の移動軌跡を設定する移動軌跡設定部と、ユーザの現在位置と提示位置間の距離にかかわらずに一定周期で移動軌跡に沿って仮想音源が移動するように、あるいは、ユーザの現在位置と提示位置間の距離にかかわらずに一定速度となるように、仮想音源の移動速度を決定し、かつ決定した移動速度で移動軌跡に沿って仮想音源を移動させることで仮想音源の現在位置を決定する音源位置速度決定部と、仮想音源の現在位置とユーザの頭部の姿勢に基づいて、仮想音源の現在位置から音声が発するように音声データに対して音像定位を行うことにより、音声出力部から出力させる出力音声信号を生成する音声加工部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された空間情報提示装置は、ユーザの位置から所定位置までの距離の情報を音声により提示できる。

音声による空間情報提示の一例を示す図である。 空間情報提示装置の概略構成図である。 処理部の概略構成図である。 （ａ）〜（ｄ）は、それぞれ、仮想音源の移動軌跡の一例を示す図である。 仮想音源の加減速パターンの一例を示す図である。 空間情報提示処理の動作フローチャートである。

以下、図を参照しつつ、様々な実施形態による空間情報提示装置について説明する。
発明者は、音声ARの技術に着目して、ユーザに対して目的位置まで誘導するための情報を音声により提示する空間情報提示装置を提案するに至った。

図１は、音声による空間情報提示の一例を示す図である。この例では、ユーザ１００は、倉庫あるいは書庫といった、複数の棚１１１のそれぞれに物品が収納された場所１１０の中から、指定された物品１２０を移動しながら探索する。この場合、各物品の位置は、予めデータベースに登録される。そして、ユーザ１００が指定された物品１２０を探索する際に、ユーザ１００が所持する空間情報提示装置は、データベースから物品１２０の位置の情報を取得し、物品１２０の位置を音声により提示する。これにより、空間情報提示装置は、ユーザ１００が配置図等を見る手間を省き、物品を楽に見つけられるようにする。

ここで、指定物品１２０の位置に設定された仮想音源１２１から音がするようにスピーカから出力される音声を調整すると、ユーザ１００は、矢印１３０で示される、ユーザ１００の現在位置から指定物品１２０へ向かう方向に指定物品１２０があることまでは分かる。しかし、矢印１３０上には複数の棚があるので、ユーザ１０は、どの棚に指定物品１２０があるかまでは分からない。

そこで、本実施形態による空間情報提示装置は、ユーザの現在位置側に設定される第１の点とユーザに提示する位置側に設定される第２の点とを結ぶ移動軌跡に沿って仮想音源を移動させる。その際、空間情報提示装置は、仮想音源を、ユーザの現在位置と提示する位置との間の距離にかかわらず、第１の点と第２の点との間を一定時間で移動させる。なお、以下では、説明の便宜上、ユーザに提示する位置を「提示位置」と呼ぶ。

ユーザの現在位置と提示位置間を仮想音源が一定時間で移動する結果、ユーザの現在位置と提示位置間の距離が大きくなるにつれて、仮想音源の移動速度も速くなる。そのため、ユーザは、仮想音源からの音によって仮想音源の移動速度を知覚することができ、知覚した移動速度によってユーザの現在位置から提示位置までの距離を把握できる。またユーザは、ユーザ自身が移動しながら仮想音源の移動速度の変化を知覚することで提示位置へ近づいているか否かを判断できる。

図２は、一つの実施形態による空間情報提示装置の概略構成図である。空間情報提示装置１は、位置測定部２と、姿勢測定部３と、通信部４と、記憶部５と、記憶媒体アクセス装置６と、音声出力部７と、処理部８とを有する。姿勢測定部３及び音声出力部７は、例えば、ユーザの頭部に装着される、ヘッドホン型あるいはイヤホン型の頭部装着部に内蔵される。一方、位置測定部２、通信部４、記憶部５、記憶媒体アクセス装置６及び処理部８は、空間情報提示装置本体の筐体に収容され、ユーザが持ち運び可能となっている。そして頭部装着部と空間情報提示装置本体とは、例えば、信号線あるいはBlootooth(登録商標)といった近距離無線通信規格に従った無線通信にて、互いに通信可能に接続される。なお、空間情報提示装置本体は、携帯電話機あるいは携帯情報端末であってもよい。あるいは、空間情報提示装置１が有する各部が頭部装着部に内蔵されてもよい。

位置測定部２は、空間情報提示装置１がユーザに対して提示位置の空間情報を提示している間、所定の測定間隔（例えば、0.1秒〜5秒）で空間情報提示装置１の現在位置を測定する。なお、空間情報提示装置１は、ユーザに装着された状態で使用されるので、空間情報提示装置１の現在位置は、すなわち、ユーザの現在位置である。位置測定部２は、例えば、グローバル・ポジショニング・システム(Global Positioning System, GPS)の受信器あるいはIndoor MEssaging System(IMES)の受信器といった、位置センサを有する。そして位置測定部２は、空間情報提示装置１の現在位置を測定する度に、その現在位置を表す測定信号を処理部８へ出力する。

姿勢測定部３は、空間情報提示装置１がユーザに対して提示位置の空間情報を提示している間、所定の測定間隔（例えば、0.1秒〜5秒）でユーザの頭部の向きを含む、ユーザの頭部の姿勢を推定するために利用される物理量を測定する。そのために、姿勢測定部３は、例えば、ジャイロセンサあるいは地磁気センサを有する。姿勢測定部３は、さらに、加速度センサを有していてもよい。姿勢測定部３は、所定の測定間隔ごとに、それらのセンサの測定信号を処理部８へ出力する。

通信部４は、他の機器と無線通信することにより、提示位置といった、空間情報提示装置１が必要とする情報を他の機器から受信する。そのために、通信部４は、例えば、所定の無線通信規格に従って他の機器と無線通信するための回路及びアンテナを有する。所定の無線通信規格は、例えば、IEEE802.11a、IEEE802.11gまたはIEEE802.11nといった、無線LAN規格とすることができる。あるいは、通信部４が準拠する所定の無線通信規格は、Long Term Evolutionといった、移動体通信規格であってもよい。
通信部４は、他の機器から無線通信により取得した情報を処理部８へ出力する。

記憶部５は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部５は、空間情報提示装置１で用いられる各種コンピュータプログラム及び各種のデータを記憶する。記憶部５が記憶するデータは、例えば、空間情報提示装置１の現在位置、提示位置及び仮想音源のそれぞれの座標、仮想音源の移動速度などである。また記憶部５は、仮想音源から出力される音声を表す音声データ及び音像定位に用いられる頭部伝達関数などを記憶する。

記憶媒体アクセス装置６は、例えば、半導体メモリカードといった記憶媒体１０にアクセスする装置である。記憶媒体アクセス装置６は、例えば、記憶媒体１０に記憶された処理部８上で実行されるコンピュータプログラムを読み込み、処理部８に渡す。

音声出力部７は、処理部８により生成された、仮想音源から発するように音像定位された音声信号を出力する。そこで、音声出力部７は、ユーザから仮想音源の方向が分かるように、左耳用の音声信号と右耳用の音声信号とをそれぞれ別個に出力できるように二つのスピーカを有することが好ましい。そして音声出力部７のそれらの二つのスピーカは、ユーザが頭部装着部を装着したときに、それぞれ、ユーザの左耳と右耳に近接するように、頭部装着部に配置される。

処理部８は、一つまたは複数のプロセッサと、メモリ回路と、周辺回路とを有する。処理部８は、空間情報提示装置１全体を制御する。また処理部８は、ユーザに対して音声により提示位置を示すための空間情報提示処理を実行する。

処理部８は、空間情報提示処理を開始する際に、通信部４を介して他の機器から提示位置の座標を取得する。他の機器は、例えば、ユーザが探索しようとしている物品の位置が登録されたデータベースを記憶するサーバである。例えば、空間情報提示装置１が有する、タッチパネルといったユーザインターフェース（図示せず）を介して、ユーザが探索したい物品を指定すると、処理部８は、その物品の識別情報を、通信部４を介してサーバへ送信する。サーバは、データベースを参照して、受信した識別情報に対応する物品の位置座標を特定し、その位置座標を、提示位置の座標として空間情報提示装置１へ返信する。
あるいは、サーバは、サーバが有するユーザインターフェースあるいはサーバと接続された端末を介して指定された提示位置の座標を、空間情報提示装置１へ送信してもよい。

処理部８は、受信した提示位置の座標を記憶部５に記憶する。そして処理部８は、空間情報提示装置１の現在位置と提示位置とに基づいて、仮想音源の移動軌跡を決定し、その移動軌跡に沿って仮想音源を移動させつつ、仮想音源から発する音声信号を生成する。

図３は、処理部８の概略構成図である。処理部８は、位置姿勢推定部１１と、移動軌跡設定部１２と、音源位置速度決定部１３と、音声加工部１４とを有する。
処理部８が有するこれらの各部は、例えば、処理部８が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、処理部８が有するこれらの各部は、処理部８が有するプロセッサとは別個に、それらの各部の機能を実現する一つの集積回路として空間情報提示装置１に実装されてもよい。

位置姿勢推定部１１は、位置測定部２から測定信号が得られる度に、その測定信号に基づいて、ユーザの現在位置を推定する。その際、位置姿勢推定部１１は、位置測定部２が有する位置センサ（例えば、GPS、IMES等）に応じた所定の演算を、その測定信号に対して実行することで、ユーザの現在位置の推定座標を算出する。

また位置姿勢推定部１１は、姿勢測定部３から測定信号が得られる度に、その測定信号に基づいて、地面に略平行な面におけるユーザの頭部の向きを含む、ユーザの頭部の姿勢を推定する。その際、位置姿勢推定部１１は、姿勢測定部３が有するセンサ（例えば、ジャイロセンサ、地磁気センサ等）に応じた所定の演算を、測定信号に対して実行することで、ユーザの頭部の姿勢を推定する。
位置姿勢推定部１１は、推定した空間情報提示装置１の現在位置を移動軌跡設定部１２に通知する。また位置姿勢推定部１１は、推定したユーザの頭部の姿勢を音声加工部１４に通知する。

移動軌跡設定部１２は、推定された空間情報提示装置１の現在位置と提示位置に基づいて、仮想音源の移動軌跡を設定する。本実施形態では、移動軌跡設定部１２は、ユーザの現在位置側に設定される第１の点と、提示位置側に設定される第２の点とを結ぶように移動軌跡を設定する。さらに、移動軌跡設定部１２は、仮想音源が、第１の点と第２の点間をほぼ直線的に移動するように仮想音源の移動軌跡を設定することが好ましい。これにより、ユーザは、仮想音源が提示位置から近づいてくるように移動するか、あるいは、仮想音源が提示位置へ向けて遠ざかるように移動するように、仮想音源からの音を知覚できるので、提示位置の方向を容易に把握できる。なお、第１の点は、例えば、仮想音源が第１の点に位置する場合にユーザの手の届く範囲から音が聞こえてくるように、ユーザの現在位置そのものまたはユーザの現在位置から1m以内に設定されることが好ましい。また第２の点は、例えば、ユーザが提示位置に近接したときに提示位置を特定できるように、提示そのものまたは提示位置から1m以内に設定されることが好ましい。

図４（ａ）〜図４（ｄ）は、それぞれ、仮想音源の移動軌跡の一例を示す図である。図４（ａ）において矢印で示された移動軌跡４１０は、仮想音源４００が、提示位置自体に設定された第２の点４０２からユーザの現在位置自体に設定された第１の点４０１へ向けて移動するように設定される。この例では、仮想音源がユーザの現在位置４０１に達すると、仮想音源は提示位置４０２に戻される。すなわち、仮想音源４００は、常に提示位置４０２からユーザの現在位置４０１へ向けて移動する。

図４（ｂ）において矢印で示された移動軌跡４２０は、仮想音源４００が、ユーザの現在位置自体に設定された第１の点４０１から提示位置自体に設定された第２の点４０２へ向けて移動するように設定される。この例では、仮想音源が提示位置４０２に達すると、仮想音源はユーザの現在位置４０１に戻される。すなわち、仮想音源４００は、常にユーザの現在位置４０１から提示位置４０２へ向けて移動する。

図４（ｃ）において矢印で示された移動軌跡４３０は、仮想音源４００が、ユーザの現在位置自体に設定された第１の点４０１と提示位置自体に設定された第２の点４０２との間を直線的に交互に移動する軌跡である。すなわち、仮想音源４００は、提示位置４０２からユーザの現在位置４０１へ向かって移動し、ユーザの現在位置４０１に達すると、今度はユーザの現在位置４０１から提示位置４０２へ向かって移動する。そして仮想音源４００が提示位置４０２に達すると、仮想音源４００は、再度提示位置４０２からユーザの現在位置４０１へ向けて移動する。

図４（ｄ）において矢印で示された移動軌跡４４０は、提示位置自体に設定された第２の点４０２から移動を開始した仮想音源４００が、ユーザの現在位置の周囲を巡って提示位置４０２へ戻る軌跡である。この例では、第１の点４０１は、ユーザの現在位置よりも提示位置４０２から遠い位置に設定される。

なお、移動軌跡設定部１２は、推定されたユーザの現在位置を位置姿勢推定部１１から受け取る度に移動軌跡を設定する代わりに、仮想音源が第１の点または第２の点に達する度に、移動軌跡を再設定してもよい。これにより、移動軌跡を設定するための演算量が少なくて済む。
移動軌跡設定部１２は、設定した移動軌跡を表す関数（例えば、地面に平行な面において互いに直交するように設定されたX軸とY軸のそれぞれの座標値を変数とする関数）を求め、その関数を音源位置速度決定部１３へ通知する。

音源位置速度決定部１３は、移動軌跡を表す関数と仮想音源の直前の位置に基づいて、仮想音源の移動速度及び仮想音源の現在位置を決定する。

本実施形態では、音源位置速度決定部１３は、ユーザの現在位置と提示位置間の距離によらず、一定時間（例えば、5秒〜10秒）で仮想音源が第１の点と第２の点の間を移動するように、仮想音源の移動速度を決定する。なお、以下では、仮想音源が第１の点と第２の点の間を移動するのに要する期間を移動周期と呼ぶ。

図５は、仮想音源の移動周期と仮想音源の移動速度の関係の一例を示す図である。図５において、横軸は時間を表し、縦軸は移動速度を表す。この例では、時刻0において、仮想音源は第１の点に位置し、時刻0から移動周期に相当する期間が経過した時刻tpにおいて、仮想音源は第２の点に位置するものとする。グラフ５００は、移動周期内の各時刻における仮想音源の移動速度を表す。グラフ５００に示されるように、仮想音源は、第１の点近傍及び第２の点近傍から離れた位置にある期間Tm(例えば、2秒〜7秒)において等速で移動する。また仮想音源は、第１の点近傍または第２の点近傍に位置する期間Ta(例えば、1秒〜2秒)では、第１の点または第２の点に近づくにつれて等減速する。そして仮想音源は、第１の点または第２の点で期間Ts(例えば、0.5秒〜1秒)だけ静止する。
この場合、音源位置速度決定部１３は、期間Tmにおける仮想音源の移動速度kmaxを次式に従って算出する。

ここで、||x_s-x_u||は、第１の点と第２の点間の移動軌跡に沿った距離を表す。

なお、変形例によれば、音源位置速度決定部１３は、仮想音源の移動速度が、第１の点及び第２の点の一方から移動開始した仮想音源が第１の点及び第２の点の他方に近づくにつれて速くなるように、等加速度運動に従って仮想音源の移動速度を決定してもよい。あるいは、音源位置速度決定部１３は、仮想音源の移動速度が、第１の点及び第２の点の一方から移動開始した仮想音源が第１の点及び第２の点の他方に近づくにつれて遅くなるように、等減速運動に従って仮想音源の移動速度を決定してもよい。あるいは、音源位置速度決定部１３は、移動周期全体にわたって仮想音源の移動速度を一定としてもよい。あるいはまた、音源位置速度決定部１３は、図５に示した例における期間Tmを0として仮想音源の移動速度を決定してもよい。この場合、仮想音源が第１の点と第２の点の中点に達するまでは等加速度運動に従って仮想音源の移動速度は速くなり、その中点を過ぎると等減速運動に従って仮想音源の移動速度は遅くなる。

音源位置速度決定部１３は、所定のサンプリング期間（例えば、0.05〜0.2秒）ごとに、直前の仮想音源の位置、移動方向及び移動軌跡と仮想音源の移動速度に基づいて、仮想音源の現在位置を決定する。

音源位置速度決定部１３は、直前の仮想音源の位置から、現時点における仮想音源の移動速度にサンプリング期間を乗じで得られる距離だけ、仮想音源の移動軌跡に沿って、仮想音源の移動方向に向けて仮想音源を移動させる。

なお、ユーザの移動に伴って、直前の仮想音源の位置が最新の仮想音源の移動軌跡から外れていることがある。この場合、音源位置速度決定部１３は、仮想音源の位置が最新の移動軌跡上に位置するように、仮想音源の位置を修正してもよい。例えば、音源位置速度決定部１３は、直前の仮想音源の位置から移動軌跡へ下した垂線と移動軌跡の交点の位置を直前の仮想音源の位置として、上記と同様の処理を行って現時点における仮想音源の位置を求めてもよい。これにより、ユーザが移動中であっても、ユーザは、仮想音源の方向に提示位置が有ることを知覚できる。
あるいは、音源位置速度決定部１３は、仮想音源が第１の点または第２の点に達するまでは、直前の仮想音源の位置の算出時に利用された移動軌跡に従って、仮想音源の位置及び移動速度を決定してもよい。この場合、仮想音源は、ユーザの左側または右側を通過するように移動することになるので、ユーザは、仮想音源が通過した側に提示位置が有ることを把握できる。

音源位置速度決定部１３は、仮想音源の現在位置及び移動速度を記憶部５に記憶するとともに、音声加工部１４へ通知する。

音声加工部１４は、仮想音源の現在位置及び移動速度に基づいて、仮想音源の現在位置から音が発しているように音像定位することで、仮想音源からの音声を表す音声データを加工する。そこで、音声加工部１４は、記憶部５から仮想音源から発する音声を表す音声データを読み込む。なお、以下では、仮想音源から発する音声を表す音声データを、単に音声データと呼ぶ。この音声データは、例えば、モノトーン、一定周期で繰り返される所定の効果音あるいは所定のリズム音を表す。音声データは、時間領域の信号として記憶部５に記憶される。

音声加工部１４は、仮想音源から発する音の周波数を、仮想音源の移動速度に応じたドップラー効果に従って補正する。そのために、音声加工部１４は、例えば、次式に従って音声データに含まれる各周波数を補正する。

ここで、fは、音声データに含まれる元の音の周波数であり、f'は、補正後の周波数である。またVは音速であり、vは、仮想音源の移動速度である。なお、vは、仮想音源がユーザから遠ざかる方向に移動している場合、正の値を有し、一方、仮想音源がユーザに近づく方向に移動している場合、負の値を有する。したがって、仮想音源がユーザから遠ざかる方向に移動している場合、仮想音源からの音の周波数は低くなり、一方、仮想音源がユーザに近づく方向に移動している場合、仮想音源からの音の周波数は高くなる。

さらに、音声加工部１４は、仮想音源がユーザから離れるにつれて、仮想音源からの音が小さくなるように、仮想音源からの音の強度を減衰させてもよい。この場合、音声加工部１４は、リアリティーを向上させるために、実空間における音源とユーザ間の距離と音の強度の関係と同様に、ユーザの現在位置から仮想音源までの距離の2乗に反比例して音の強度を減衰させることが好ましい。

また、音声加工部１４は、仮想音源の位置から音が聞こえるように、仮想音源の位置及びユーザの頭部の姿勢に基づいて、頭部伝達関数(Head-Related Transfer Function, HRTF)を決定する。なお、HRTFは、ユーザの右耳用と左耳用の二つがある。例えば、音声加工部１４は、現時点におけるユーザの頭部の正面方向の向きに対する、ユーザの現在位置から仮想音源へ向かう方向とのなす角を、仮想音源の方向として算出する。そして音声加工部１４は、仮想音源の方向とHRTFとの関係を表すテーブルを参照して、仮想音源の方向に対応するHRTFを決定すればよい。なお、仮想音源の方向ごとのHRTF及び仮想音源の方向とHRTFの関係を表すテーブルは、予め記憶部５に記憶される。

音声加工部１４は、ドップラー効果による周波数補正及びユーザから仮想音源までの距離に応じた強度補正が行われた音声データに、決定された左耳用及び右耳用のHRTFをそれぞれ適用することで音像定位を行って、左耳用及び右耳用の出力音声信号を求める。本実施形態では、記憶部５には、各HRTFに対応する頭部インパルス応答を表す有限要素フィルタが記憶されている。そこで音声加工部１４は、決定された左耳用のHRTFに対応する有限要素フィルタ及び右耳用のHRTFに対応する有限要素フィルタと補正された音声データとの畳み込み演算を行うことで左耳用及び右耳用の出力音声信号を求める。

変形例によれば、音声データは、所定長（例えば、数10ミリ秒）を持つフレーム単位の周波数領域の信号として記憶部５に記憶されていてもよい。この場合には、音声加工部１４は、フレームごとに、その音声データに含まれる各周波数を（２）式に従って補正し、各周波数成分の振幅を、ユーザの現在位置と仮想音源の現在位置間の距離に応じて減衰させることで音声データを補正する。そして音声加工部１４は、フレームごとの補正された周波数領域の信号に対して左耳用のHRTF及び右耳用のHRTFをそれぞれ乗じる。これにより、左耳用及び右耳用の周波数領域の信号が得られる。そして音声加工部１４は、各フレームの左耳用及び右耳用の周波数領域の信号をそれぞれ逆フーリエ変換し、各フレームを出力順につなげることで、左耳用及び右耳用の出力音声信号を求める。

音声加工部１４は、左耳用の出力音声信号を、音声出力部７の左耳用のスピーカへ出力し、右耳用の出力音声信号を、音声出力部７の右耳用のスピーカへ出力する。

図６は、処理部８により実行される、空間情報提示処理の動作フローチャートである。
位置姿勢推定部１１は、位置測定部２からの測定信号に基づいて、ユーザの現在位置を推定し、姿勢測定部３からの測定信号に基づいて、ユーザの頭部の姿勢を推定する（ステップＳ１０１）。位置姿勢推定部１１は、推定したユーザの現在位置を移動軌跡設定部１２に通知する。また位置姿勢推定部１１は、推定したユーザの頭部の姿勢を音声加工部１４に通知する。

移動軌跡設定部１２は、推定されたユーザの現在位置と提示位置に基づいて、仮想音源の移動軌跡を設定する（ステップＳ１０２）。移動軌跡設定部１２は、設定した移動軌跡を表す関数を求め、その関数を音源位置速度決定部１３へ通知する。

音源位置速度決定部１３は、移動軌跡を表す関数に基づいて、ユーザの現在位置と提示位置間の距離によらずに一定の移動周期で仮想音源が移動軌跡の第１の点及び第２の点の一方から他方へ移動するように仮想音源の移動速度を決定する（ステップＳ１０３）。また音源位置速度決定部１３は、仮想音源の移動速度及び仮想音源の直前の位置に基づいて仮想音源の現在位置を決定する（ステップＳ１０４）。音源位置速度決定部１３は、仮想音源の現在位置及び移動速度を記憶部５に記憶するとともに、音声加工部１４へ通知する。

音声加工部１４は、仮想音源の移動速度に応じたドップラー効果に従って、仮想音源からの音声の周波数を補正する（ステップＳ１０５）。また音声加工部１４は、ユーザの現在位置と仮想音源の現在位置間の距離が長くなるほど、仮想音源からの音声の強度が減衰するように、その音声の強度を補正する（ステップＳ１０６）。

また音声加工部１４は、ユーザの頭部の姿勢と仮想音源の現在位置に基づいて、仮想音源の方向に応じたHRTFを求める（ステップＳ１０７）。そして音声加工部１４は、周波数及び強度が補正された仮想音源からの音声にHRTFを適用することで音像定位を行って、仮想音源から音が発しているようにユーザが聞こえるように、左耳用及び右耳用の出力音声信号を生成する（ステップＳ１０８）。そして音声加工部１４は、左耳用及び右耳用の出力音声信号を、それぞれ、音声出力部７へ出力する。

本願の発明者は、図４（ａ）〜図４（ｄ）に示された移動軌跡に従って仮想音源を移動させたときに、静止している被験者が提示位置までの距離を把握できるか否かの実験を、被験者の位置と提示位置間の距離を0m〜20mまでの間で変えつつ行った。その結果、図４（ａ）〜図４（ｄ）に示されたそれぞれの移動軌跡について、被験者が提示位置までの距離を正確に把握できた率である正答率は、それぞれ、62%、74%、75%、67%となった。すなわち、仮想音源の移動軌跡に、図４（ｂ）または図４（ｃ）に示されるような、ユーザの現在位置側に設定された第１の点から提示位置側に設定された第２の点へ向けて仮想音源が移動する経路が含まれる方が正答率が高いことが分かった。したがって、仮想音源の移動軌跡には、ユーザの現在位置側に設定された第１の点から提示位置側に設定された第２の点へ向けて仮想音源が移動する経路が含まれることが好ましい。

以上に説明してきたように、この空間情報提示装置は、ユーザの現在位置と提示位置間の距離によらずに一定の移動周期で、仮想音源を、ユーザの現在位置側の第１の点と提示位置側の第２の点間で移動させる。これにより、ユーザの現在位置と提示位置間の距離が短くなるほど、仮想音源の移動速度が遅くなる。そのため、ユーザは、仮想音源からの音によって仮想音源の移動速度を把握することで、提示位置までの距離を認識できる。またユーザは、移動しながら仮想音源の移動速度が速くなるか否かを知覚することで、提示位置に近づいているか否かを判別することができる。また、この例では、ユーザの現在位置と提示位置間の距離が遠くても、仮想音源からの音の移動周期は一定なので、特に、ユーザの現在位置が提示位置から遠い場合に、ユーザは、提示位置から離れていることを容易に把握できる。さらに、この空間情報提示装置は、ドップラー効果に従って仮想音源からの音の周波数を補正するので、ユーザは、聞こえる音の高さによって、容易に仮想音源の移動速度を把握できる。さらに、この空間情報提示装置は、ユーザの現在位置と仮想音源の現在位置間の距離に応じて仮想音源からの音の強さを補正するので、ユーザは、聞こえる音の強弱の変化の早さによって、容易に仮想音源の移動速度を把握できる。

なお、変形例によれば、空間情報提示装置は、ユーザの現在位置と提示位置間の距離によらず、仮想音源の移動速度を一定としてもよい。この場合には、ユーザが提示位置に近づくほど、仮想音源の移動周期が短くなる。そのため、ユーザは、仮想音源からの音が変化する周期が短くなるか否かによって、提示位置に近づいているか否かを知ることができる。また、音が変化する周期の長さの変動は、ユーザにとって知覚し易いので、ユーザは、提示位置に近づいているか否かを容易に判断できる。

また変形例によれば、音声加工部１４は、ドップラー効果による周波数の補正とユーザの現在位置と仮想音源の現在位置間の距離による音の強さの補正のうちの何れか一方のみを行ってもよい。また他の変形例によれば、音声加工部１４は、仮想音源の位置によって音声の強度以外の仮想音源から発する音の様々な特性を変えてもよい。

さらに他の変形例によれば、ユーザの頭部の姿勢は、ユーザの頭部の地面に略平行な面における向きと、上下方向の傾きの組み合わせで表されてもよい。この場合には、ユーザの頭部の地面に略平行な面における向きと、上下方向の傾きの組み合わせごとに、HRTFが用意されてもよい。そして、音声加工部１４は、ユーザの頭部の姿勢とHRFTの関係を表すテーブルを参照して、推定されたユーザの頭部の地面に略平行な面における向きと、上下方向の傾きの組み合わせに応じたHRFTを選択すればよい。

さらに他の変形例によれば、空間情報提示装置１は、ユーザが行動する範囲を撮影するカメラがある場合、そのカメラにより得られた画像に基づいてユーザの位置及びユーザの頭部の向きを検出する装置と通信可能に接続されていてもよい。この場合、空間情報提示装置１は、その装置から通信部４を介してユーザの現在位置及びユーザの頭部の向きの情報を得ることができるので、位置測定部２及び姿勢測定部３は省略されてもよい。

さらに、上記の実施形態または変形例による空間情報提示装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体または光記録媒体といった、コンピュータが読み取り可能な媒体に記録された形で提供されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
仮想音源から発する音声を表す音声データを記憶する記憶部と、
音声出力部と、
ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ前記仮想音源の移動軌跡を設定する移動軌跡設定部と、
前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定周期で前記移動軌跡に沿って前記仮想音源が移動するように、あるいは、前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定速度となるように、前記仮想音源の移動速度を決定し、かつ前記移動速度で前記移動軌跡に沿って前記仮想音源を移動させることで前記仮想音源の現在位置を決定する音源位置速度決定部と、
前記仮想音源の現在位置と前記ユーザの頭部の姿勢に基づいて、前記仮想音源の現在位置から前記音声が発するように前記音声データに対して音像定位を行うことにより、前記音声出力部から出力させる出力音声信号を生成する音声加工部と、
を有する空間情報提示装置。
（付記２）
前記音声加工部は、前記仮想音源の移動速度に応じたドップラー効果に従って前記音声データに含まれる音声の周波数を補正する、付記１に記載の空間情報提示装置。
（付記３）
前記音声加工部は、前記ユーザの現在位置と前記仮想音源の現在位置間の距離が大きくなるほど前記仮想音源から発する音声の強度を減衰させるように、前記音声データに含まれる音声の強度を補正する、付記１または２に記載の空間情報提示装置。
（付記４）
前記移動軌跡設定部は、前記移動軌跡が前記ユーザの現在位置から前記提示位置へ前記仮想音源が向かう経路を含むように前記移動軌跡を設定する、付記１〜３の何れか一項に記載の空間情報提示装置。
（付記５）
前記記憶部は、前記ユーザの頭部の向きと前記ユーザの頭部から前記仮想音源の向きとがなす角度ごとに、当該角度に応じた頭部伝達関数を記憶し、
前記音声加工部は、前記ユーザの頭部の向きと前記ユーザの現在位置から前記仮想音源の現在位置への向きとがなす角度を求め、前記記憶部から当該角度に応じた前記頭部伝達関数を選択し、該選択した頭部伝達関数を前記音声データに適用することで前記音像定位を行う、付記１〜４の何れか一項に記載の空間情報提示装置。
（付記６）
ユーザの現在位置を測定する位置測定部をさらに有する、付記１〜５の何れか一項に記載の空間情報提示装置。
（付記７）
ユーザの頭部の姿勢を測定する姿勢測定部をさらに有する、付記１〜６の何れか一項に記載の空間情報提示装置。
（付記８）
前記位置測定部は所定の周期でユーザの現在位置を測定し、
前記移動軌跡設定部は、ユーザの現在位置が測定される度に、最新のユーザの現在位置に基づいて前記移動軌跡を更新し、
前記音源位置速度決定部は、更新後の前記移動軌跡に基づいて前記仮想音源の移動速度を決定する、付記６または７に記載の空間情報提示装置。
（付記９）
前記位置測定部は所定の周期でユーザの現在位置を測定し、
前記移動軌跡設定部は、前記仮想音源が前記第１の点または前記第２の点に達したときに、最新のユーザの現在位置に基づいて前記移動軌跡を更新し、
前記音源位置速度決定部は、更新後の前記移動軌跡に基づいて前記仮想音源の移動速度を決定する、付記６または７に記載の空間情報提示装置。
（付記１０）
ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ前記仮想音源の移動軌跡を設定し、
前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定周期で前記移動軌跡に沿って前記仮想音源が移動するように、あるいは、前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定速度となるように、前記仮想音源の移動速度を決定し、かつ前記移動速度で前記移動軌跡に沿って前記仮想音源を移動させることで前記仮想音源の現在位置を決定し、
前記仮想音源の現在位置と前記ユーザの頭部の姿勢に基づいて、前記仮想音源の現在位置から前記音声が発するように仮想音源から発する音声を表す音声データに対して音像定位を行うことにより、出力音声信号を生成し、該出力音声信号を音声出力部から出力させる、
ことを含む空間情報提示方法。
（付記１１）
ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ前記仮想音源の移動軌跡を設定し、
前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定周期で前記移動軌跡に沿って前記仮想音源が移動するように、あるいは、前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定速度となるように、前記仮想音源の移動速度を決定し、かつ前記移動速度で前記移動軌跡に沿って前記仮想音源を移動させることで前記仮想音源の現在位置を決定し、
前記仮想音源の現在位置と前記ユーザの頭部の姿勢に基づいて、前記仮想音源の現在位置から前記音声が発するように仮想音源から発する音声を表す音声データに対して音像定位を行うことにより、出力音声信号を生成し、該出力音声信号を音声出力部から出力させる、
ことをコンピュータに実行させるための空間情報提示用コンピュータプログラム。

１ 空間情報提示装置
２ 位置測定部
３ 姿勢測定部
４ 通信部
５ 記憶部
６ 記憶媒体アクセス装置
７ 音声出力部
８ 処理部
１０ 記録媒体
１１ 位置姿勢推定部
１２ 移動軌跡設定部
１３ 音源位置速度決定部
１４ 音声加工部

Claims (4)

1. 仮想音源から発する音声を表す音声データを記憶する記憶部と、
   音声出力部と、
   ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ前記仮想音源の移動軌跡を設定する移動軌跡設定部と、
   前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定周期で前記移動軌跡に沿って前記仮想音源が移動するように、あるいは、前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定速度となるように、前記仮想音源の移動速度を決定し、かつ前記移動速度で前記移動軌跡に沿って前記仮想音源を移動させることで前記仮想音源の現在位置を決定する音源位置速度決定部と、
   前記仮想音源の現在位置と前記ユーザの頭部の姿勢に基づいて、前記仮想音源の現在位置から前記音声が発するように前記音声データに対して音像定位を行うことにより、前記音声出力部から出力させる出力音声信号を生成する音声加工部と、
   を有する空間情報提示装置。
2. 前記移動軌跡設定部は、前記移動軌跡が前記ユーザの現在位置から前記提示位置へ前記仮想音源が向かう経路を含むように前記移動軌跡を設定する、請求項１に記載の空間情報提示装置。
3. ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ前記仮想音源の移動軌跡を設定し、
   前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定周期で前記移動軌跡に沿って前記仮想音源が移動するように、あるいは、前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定速度となるように、前記仮想音源の移動速度を決定し、かつ前記移動速度で前記移動軌跡に沿って前記仮想音源を移動させることで前記仮想音源の現在位置を決定し、
   前記仮想音源の現在位置と前記ユーザの頭部の姿勢に基づいて、前記仮想音源の現在位置から前記音声が発するように仮想音源から発する音声を表す音声データに対して音像定位を行うことにより、出力音声信号を生成し、該出力音声信号を音声出力部から出力させる、
   ことを含む空間情報提示方法。
4. ユーザの現在位置側に設定される第１の点とユーザへの提示位置側に設定される第２の点とを結ぶ前記仮想音源の移動軌跡を設定し、
   前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定周期で前記移動軌跡に沿って前記仮想音源が移動するように、あるいは、前記ユーザの現在位置と前記提示位置間の距離にかかわらずに一定速度となるように、前記仮想音源の移動速度を決定し、かつ前記移動速度で前記移動軌跡に沿って前記仮想音源を移動させることで前記仮想音源の現在位置を決定し、
   前記仮想音源の現在位置と前記ユーザの頭部の姿勢に基づいて、前記仮想音源の現在位置から前記音声が発するように仮想音源から発する音声を表す音声データに対して音像定位を行うことにより、出力音声信号を生成し、該出力音声信号を音声出力部から出力させる、
   ことをコンピュータに実行させるための空間情報提示用コンピュータプログラム。

Images