JP2020188382A - 拡張サウンドシステム、及び拡張サウンド提供方法 - Google Patents

Abstract

【課題】ユーザが体感している実空間の環境を、音により、ユーザの好みに応じて仮想的に拡張できるようにすること。【解決手段】音を発する対象物を、いつ、どこに出現させるかを特定するための情報セットと、対象物が発する音の音データと、対象物の出現場所に仮想音源を配置して対象物が発する音を仮想音源から出力したときにユーザに聞こえる音を再現するプログラムモジュールと、を組み合わせた複数のソフトウェアユニットを保持し、ユーザ機器からの要求に応じて、保持している複数のソフトウェアユニットのうち、ユーザが指定した２以上のソフトウェアユニットに対応する２以上のプログラムモジュールを並列動作させ、現在時刻及びユーザ機器の現在位置に基づいて２以上のプログラムモジュールで再現される２以上の音の音データ又は多重音の音データをユーザ機器に提供するシステムが提供される。【選択図】図１

Description

本発明は、拡張サウンドシステム、及び拡張サウンド提供方法に関する。

近年、コンピュータを利用して、ユーザが現実に知覚している環境を拡張するＡＲ（Augmented Reality）技術に注目が集まっている。その多くは視覚情報を追加するものであるが、聴覚情報を追加して現実環境を拡張する技術（音声ＡＲ技術；特許文献１を参照）も提案されている。音声ＡＲ技術では、ユーザ機器の位置に合わせて音像定位が行われる。なお、音像定位に関し、下記の特許文献２には、音像の広がり感や奥行き感を維持した状態で、複数の音像位置を移動させる技術が提案されている。

特開2015-23534号公報 特開2018-148323号公報

上記の音声ＡＲ技術では、複数の音声を多重した際に音が重なり過ぎて聞き取れないことを課題とするものであり、ユーザの熟練度などに応じて多重数を制限する方法は提案されているものの、音声ＡＲ技術を利用してユーザが望む拡張環境を実現できるようにする仕組みについては全く検討されていない。つまり、上記の音声ＡＲ技術では、どのような音環境を実現したいか、というユーザの希望に沿って現実環境を拡張する仕組みがなく、ユーザは、与えられた仮想環境を単に体験するに留まる。

上記のような事情に鑑み、本発明の１つの観点によれば、本発明の目的は、ユーザが体感している実空間の環境を、音により、ユーザの好みに応じて仮想的に拡張できるようにする拡張サウンドシステム、及び拡張サウンド提供方法を提供することにある。

本発明の第１の態様によれば、ユーザが体感している実空間の環境を、音により、ユーザの好みに応じて仮想的に拡張できるようにする拡張サウンド提供方法が提供される。この方法では、音を発する対象物を、いつ、どこに出現させるかを特定するための情報セットと、対象物が発する音の音データと、対象物の出現場所に仮想音源を配置して対象物が発する音を仮想音源から出力したときにユーザに聞こえる音を再現するプログラムモジュールと、を組み合わせたソフトウェアユニットが複数格納された記憶部から、ユーザのユーザ機器からの要求に応じて、記憶部に格納された複数のソフトウェアユニットのうち、ユーザが指定した２以上のソフトウェアユニットに対応する２以上のプログラムモジュールを読み出し、２以上のプログラムモジュールを並列動作させ、現在時刻及びユーザ機器の現在位置に基づいて２以上のプログラムモジュールで再現される２以上の音の音データ、又は当該２以上の音を多重した多重音の音データをユーザ機器に提供する処理をコンピュータが実行する。

なお、第２の態様によれば、上記の拡張サウンド提供方法を実行する拡張サウンドシステムが提供されうる。また、第３の態様によれば、上記の拡張サウンド提供方法に係る処理をコンピュータに実行させるプログラム、又は当該プログラムが格納されたコンピュータにより読み取り可能な記録媒体が提供されうる。また、第４の態様によれば、上記の拡張サウンド提供方法に係る処理を実行するサーバ装置が提供されうる。また、第５の態様によれば、上記の拡張サウンド提供方法に係る処理は上記のユーザ機器が実行してもよい。こうした種々の態様についても当然に本発明の技術的範囲に含まれうる。

本発明によれば、ユーザが体感している実空間の環境を、音により、ユーザの好みに応じて仮想的に拡張できるようになる。

本実施形態に係るシステムについて説明するためのブロック図である。 登録管理ＤＢについて説明するための図表である。 制御プログラムについて説明するための図表である。 仮想音源の設定方法について説明するための説明図である。 サウンドレイヤの多重方法について説明するための説明図である。 本実施形態に係るシステムの動作について説明するためのフロー図である。 サウンドレイヤの投稿に係る処理について説明するためのシーケンス図である。

以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

［１．システム］図１を参照しながら、本実施形態に係るシステムについて説明する。図１は、本実施形態に係るシステムについて説明するためのブロック図である。なお、図１に示したシステムは、本発明の一態様に係る拡張サウンドシステムの一例である。

このシステムは、仮想音源を実空間内に配置し、あたかも仮想音源の位置で音が発せられているかのようにユーザに感じさせるサウンドフィールドを提供するソフトウェアユニットを複数用意し、ユーザが自由にソフトウェアユニットを組み合わせて、いま実際に体感している周囲の環境を、音により、自分の好みに合った環境に拡張できるようにする仕組みを提供する。以下の説明では、上記のソフトウェアユニットを「サウンドレイヤ」と呼ぶ場合がある。

サウンドレイヤは、仮想音源による音の出力及び仮想音源の動きなどを制御する制御プログラムと、その制御プログラムが参照する情報との組み合わせにより構成される。なお、サウンドレイヤを構成する制御プログラムは、一般的なプログラム言語で記述されたものでなくてもよく、上述したサウンドフィールドを提供するように仮想音源による音の出力方法や仮想音源の動き方を規定する情報が含まれたプログラムモジュールであればよい。

サウンドレイヤの構成については後段において具体的に説明することとし、まず、上記の仕組みを実現するためのシステム構成について説明する。

図１には、サーバ装置１０及びユーザ機器２０が記載されている。なお、図１の例では、ユーザ機器の数が１台（ユーザ機器２０）であるが、本実施形態に係るシステムには、２台以上のユーザ機器が含まれていてもよい。但し、以下では、説明を簡単にするため、サーバ装置１０にユーザ機器２０だけが接続されているケースを例に説明を進める。

サーバ装置１０及びユーザ機器２０は、以下のようなハードウェア要素を有する。サーバ装置１０は、記憶装置１１、プロセッサ１２、及び通信ＩＦ（Interface）１３を有する。ユーザ機器２０は、プロセッサ２１、メモリ２２、入力ＩＦ２３、通信ＩＦ２４、センサ類２５、音声出力ＩＦ２６、及び表示ＩＦ２７を有する。

なお、記憶装置１１は、上述した記憶部の一例である。プロセッサ１２は、上述した制御部の一例である。

記憶装置１１及びメモリ２２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどのストレージデバイスである。プロセッサ１２、２１は、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの処理デバイスである。

通信ＩＦ１３、２４は、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、光通信ネットワーク、携帯電話ネットワークなどに接続するためのインターフェース回路である。入力ＩＦ２３は、例えば、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースである。

センサ類２５は、例えば、ＧＰＳ（Global Positioning System）、ビーコン、加速度センサ、ジャイロセンサ、地磁気センサ（電子コンパス）などのセンサデバイスである。これらのセンサデバイスを利用することで、ユーザ機器２０の地理的な位置、方位、鉛直方向の傾きを検知することができる。なお、センサ類２５には、ユーザ機器２０のカメラ（非図示）で撮像した映像を利用して、ユーザ機器２０がどこを向いているかを検知するタイプのセンサデバイスが含まれていてもよい。例えば、ユーザ機器２０のカメラが正面を向くようにユーザの頭部にユーザ機器２０を固定する手段を利用すれば、カメラ出力から、ユーザがどこを向いているかを容易に検知することができる。また、この手段を利用すれば、ユーザ機器２０の高さがユーザの耳の高さに近いため、ユーザ機器２０の位置で音像定位を行うことで、実際にユーザの耳に入る音に、より近い音が再現されうる。

音声出力ＩＦ２６は、例えば、スピーカ、イヤフォン、ヘッドフォンなどの出力デバイスに音声を出力するための出力インターフェースである。表示ＩＦ２７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro-Luminescence Display）などのディスプレイ装置に画像や映像を出力するための出力インターフェースである。なお、上述したハードウェア要素の一部は省略されてもよいし、他のハードウェア要素が追加されてもよい。但し、以下では、説明を簡単にするために、上記のハードウェア構成を念頭に置いて説明を進める。

図１の例において、記憶装置１１には、登録管理ＤＢ（Database）１１ａ、制御プログラム群１１ｂ、音データ群１１ｃ、時刻表・路線図群１１ｄ、気象データ群１１ｅ、地図データ群１１ｆ、動植物マップ群１１ｇ、展示情報群１１ｈ、混雑マップ群１１ｉ、及び広告マップ群１１ｊが格納されている。

なお、時刻表・路線図群１１ｄ、気象データ群１１ｅ、地図データ群１１ｆ、動植物マップ群１１ｇ、展示情報群１１ｈ、混雑マップ群１１ｉ、及び広告マップ群１１ｊは、上述した情報セットの具体例である。以下では、説明の都合上、時刻表・路線図群１１ｄ、気象データ群１１ｅ、地図データ群１１ｆ、動植物マップ群１１ｇ、展示情報群１１ｈ、混雑マップ群１１ｉ、及び広告マップ群１１ｊを「参照情報」と呼ぶ場合がある。参照情報は、実施の態様に応じて一部が省略されてもよい。また、記憶装置１１には、図１に例示されていない参照情報が格納されてもよい。

登録管理ＤＢ１１ａは、サーバ装置１０に登録される制御プログラム及びその制御プログラムを投稿した投稿者に関する情報を管理するためのＤＢである。例えば、登録管理ＤＢ１１ａは、図２に示すような情報を含む。図２は、登録管理ＤＢについて説明するための図表である。

図２に例示した登録管理ＤＢ１１ａには、レイヤ識別情報、投稿者識別情報、レイヤ種別、プログラム識別情報、利用回数、及び機能説明の欄が設けられている。

レイヤ識別情報の欄には、個々のサウンドレイヤを識別するための識別情報（レイヤＩＤ）が記載される。投稿者識別情報の欄には、サウンドレイヤを投稿した投稿者を識別するための識別情報（投稿者ＩＤ）が記載される。投稿者識別情報の欄には、投稿者の属性情報（例えば、一般個人、法人、専門家など）が付記されていてもよい。

レイヤ種別は、サウンドレイヤの内容に関する特徴を表す情報であり、どのような音又は音声に関するサウンドレイヤであるかを示す情報である。例えば、レイヤ種別が「電車音」のサウンドレイヤは、対応する路線を走る電車の音を再現するサウンドレイヤである。プログラム識別情報の欄には、制御プログラムを識別するための識別情報（プログラムＩＤ）が記載される。利用回数の欄には、対応するサウンドレイヤがユーザに利用された回数が記載される。機能説明の欄には、対応するサウンドレイヤの機能説明が記載される。

以下では、表記を簡単にするため、レイヤＩＤがＸのサウンドレイヤを「レイヤＸ」と表記する場合がある。また、投稿者ＩＤがＹの投稿者を「投稿者Ｙ」と表記する場合がある。また、プログラムＩＤがＺの制御プログラムを「プログラムＺ」と表記する場合がある。

図２の例では、「電車音」、「人の気配」、「草木の音」、「鳥の声」、「動物解説」、「仮想ペット」、「車内アナウンス」、「商品の広告」、…、「星空解説」、「車（ＰＲ）のサウンド」、「駅舎風景」、「サウンド恐竜展」というレイヤ種別のサウンドレイヤが登録されている。以下、これらのサウンドレイヤの機能について簡単に説明する。

「電車音」のサウンドレイヤは、ある時期に発行された時刻表及び路線図を参照し、ユーザの周囲にある線路を通る電車の音を再現する。例えば、ユーザが再現時期を１０年前に設定した場合、１０年前の時刻表及び路線図に従って現在時刻に近くを走る電車の音が再現される。その路線が５年前に廃線になっていた場合、そのサウンドレイヤを利用しながら廃線跡を歩くことで、ユーザは、当時の電車の気配を感じることができる。

また、ユーザが実際の電車に乗って、現在とは異なるダイヤが掲載されている時刻表に沿って電車の音をサウンドレイヤに再現させると、車窓からは見えない電車のすれ違い音が聞こえたり、或いは、現在は運行していない車両の音を聞くことができるなど、ユーザは、過去に実在した電車の存在を仮想環境として体験することができる。後述するように、本実施形態に係るシステムでは、複数のサウンドレイヤを組み合わせるができる。そのため、ユーザが望めば、仮想環境に登場させる電車の解説音声を提供するサウンドレイヤなどと組み合わせることもできる。

「人の気配」のサウンドレイヤは、ある時期の街中や屋内施設など、特定のエリアでの人の賑わいを再現する。例えば、ユーザが再現時期を江戸時代に設定した場合、江戸時代の日本橋近辺における雑踏の様子が再現される。人の気配を感じられる音としては、例えば、人の話し声、足音、売り声、衣類が擦れる音などがある。また、雨が降っていれば傘に当たる雨音、雪が積もっていれば雪を踏みしめる音などでも人の気配を感じられるだろう。このサウンドレイヤを利用すると、このような人の気配を感じられる音を聞くことができる。なお、ユーザが望めば、上述した「電車音」サウンドレイヤと、江戸時代の「人の気配」サウンドレイヤとを組み合わせることもできる。

「草木の音」のサウンドレイヤは、特定のエリアでの草木の音を再現する。例えば、風で枝がしなり、葉が擦れる音などが再現される。エリアによって存在する草木の種類が異なり、また、季節によっても草木の種類や風の吹き方が異なるため、ユーザが季節や気象条件を設定すると、その設定の内容に応じた音が再現される。「鳥の声」のサウンドレイヤは、特定のエリアでの鳥の声を再現する。鳥の声もエリアや季節、時間帯によって異なるため、ユーザによる設定の内容に応じた音が再現される。「動物解説」のサウンドレイヤは、特定のエリアに生息する動物についての解説音声を提供し、その動物が発する音を再現する。

「仮想ペット」のサウンドレイヤは、ユーザの現在位置を基準とする実空間内の所定位置に仮想的な動物を配置し、その動物の動きを音でユーザに感じさせる。例えば、その空間内で、シミュレートした動物達の動きに沿って仮想音源を移動させ、その動物達が発する音を再現する。例えば、ユーザがドッグランで遊ぶ犬を対象物（仮想音源）に設定した場合、ユーザは、部屋に居ながらドッグランで遊ぶ犬の気配を感じることができる。なお、ここではペットを例に挙げたが、仮想的なキャラクター、仮想的な乗り物、仮想的な人工物（例えば、洋服や椅子など）についても、同様の方法でサウンドレイヤを作ることができる。そのような応用例についても本実施形態の技術的範囲に属する。

「車内アナウンス」のサウンドレイヤは、ある時期に走っていた列車で流れる車内アナウンスを再現する。例えば、寝台列車が走っていた当時の車内アナウンスを設定した場合、その寝台列車と同じ区間を通る列車に乗ると、その寝台列車で車内アナウンスが流れていた区間に差し掛かったとき、その車内アナウンスが再現される。「商品の広告」のサウンドレイヤは、特定のエリアに差し掛かると商品の広告サウンドを再生する。「星空解説」のサウンドレイヤは、時刻や季節に応じて、ユーザが見上げている方向にある星座の解説音声を再生する。

「車（ＰＳ）のサウンド」のサウンドレイヤは、特定のエリアを車で通過するときに、その車の速度や加速度に応じて特定の車のエンジン音を再現する。例えば、ある自動車メーカの正規ディーラに面した道路を、ユーザの車が通過するとき、その自動車メーカを代表する車（ＰＳ）の排気サウンドが再現される。「駅舎風景」のサウンドレイヤは、廃線の駅舎跡に来ると、その路線を走っていた汽車の音や駅舎の賑わい音を再現する。「サウンド恐竜展」のサウンドレイヤは、特定のエリアで恐竜の足音などを再現する。例えば、何もない広い空間で、ユーザは、恐竜が獲物を追いかける様子や、自らが追いかけられる様子などを体感できるアトラクションを実現することができる。

上記のサウンドレイヤは一例であり、登録管理ＤＢ１１ａには、上記の例とは異なるサウンドレイヤも登録されうる。また、本実施形態の技術的範囲は上記の例に限定されず、上記の例から当業者が想到しうる様々な変形例についても当然に本実施形態の技術的範囲に属する。

上述したサウンドレイヤの様々な機能は、制御プログラム群１１ｂに含まれる制御プログラムを利用して実現される。なお、サウンドレイヤと制御プログラムとの間の対応関係は、登録管理ＤＢ１１ａのレイヤＩＤとプログラムＩＤとにより特定されうる。例えば、レイヤＬ０００１は、プログラムＰＧ０００１に対応する。各制御プログラムは、図３に示すような制御を実施する。図３は、制御プログラムについて説明するための図表である。

プログラムＰＧ０００１は、「電車音」のサウンドレイヤに対応し、電車の特定、電車（仮想音源）の再現、音像定位、及び音データの提供を含む各種処理をプロセッサ１２に実行させる。このとき、プロセッサ１２は、時期、曜日、気象条件をユーザ設定（設定可能項目）として受け付ける。時期は、例えば、年、年代、月日、季節などである。気象条件は、例えば、晴れ／曇り／雨／雪／雹、風の強弱、竜巻などである。また、プロセッサ１２は、時刻表・路線図を参照情報として利用する。

例えば、時期は、時刻表及び路線図を選択するために利用される。曜日は、選択した時刻表のうち参照すべき時刻を特定するために利用される。電車の特定は、例えば、ユーザ機器２０の現在位置に基づく路線及び区間の特定と、現在時刻に基づく、特定された区間を通過する電車の特定とに分けて実施される。また、気象条件は、電車が発する音の音データを選択するために利用される。例えば、雪の日における電車の音と、晴れの日における電車の音とは異なるため、気象条件に応じて音データが選択される。なお、音像定位には、例えば、上記の特許文献２の技術が適用されうる。

プログラムＰＧ０００２は、「人の気配」のサウンドレイヤに対応し、人混み（仮想音源）の再現、音像定位、及び音データの提供を含む各種処理をプロセッサ１２に実行させる。プログラムＰＧ０００２における設定可能項目は、時期、混雑状況及び気象条件であり、参照情報は、混雑マップである。混雑状況は、閑散／通常／混雑などである。混雑マップは、特定のエリアにおける人の分布を示す情報（等高線マップなど）である。例えば、混雑マップを参照することにより、ユーザ機器２０の現在位置周辺に、個々の人又は人の集まりに対応する仮想音源を配置し、人混み（仮想音源）を再現できる。

プログラムＰＧ０１０１は、「草木の音」のサウンドレイヤに対応し、草木の特定、風況再現、草木（仮想音源）の再現、音像定位、及び音データの提供を含む各種処理をプロセッサ１２に実行させる。プログラムＰＧ０１０１における設定可能項目は、時期及び気象条件であり、参照情報は、地図データ、動植物マップ及び気象データである。動植物マップは、特定のエリアにおける植物の分布を示す情報（分布図）を含む。例えば、動植物マップを参照することにより、ユーザ機器２０の現在位置周辺にある草木を特定できる。また、地図データを参照することにより、ユーザ機器２０の現在位置周辺における地形を特定し、現在時刻に対応する気象データを参照して風況を再現することができる。これらの情報を利用することで、風に揺れる草木（仮想音源）を再現できる。

プログラムＰＧ０２０１は、「動物解説」のサウンドレイヤに対応し、動物の特定、及び動物の鳴き声や解説音声に対応する音データの提供を含む各種処理をプロセッサ１２に実行させる。プログラムＰＧ０２０１における設定可能項目は、時期、時間帯及び気象条件であり、参照情報は、動植物マップである。動植物マップは、特定のエリアにおける動物の分布を示す情報（分布図）を含む。例えば、動植物マップを参照することにより、特定の時間帯に、ユーザ機器２０の現在位置周辺に現れる動物を特定できる。そして、特定された動物の鳴き声及び解説音声の音データを提供することができる。

プログラムＰＧ０２０２は、「仮想ペット」のサウンドレイヤに対応し、猫（仮想ペット）の数を決定し、猫（仮想音源）を再現し、音像定位及び音データの提供を行う処理を含む各種処理をプロセッサ１２に実行させる。プログラムＰＧ０２０２における設定可能項目は、混雑状況及び空間サイズであり、参照情報は利用されない。混雑状況は、仮想ペットの密度や数を示す情報（例えば、密、疎、１匹、５匹など）である。空間サイズは、仮想ペットを走り回らせる範囲を示す情報（例えば、６畳、１０坪、２０ｍ＾２、正方形、円形、楕円形、南北に長い長方形など）である。混在状況及び空間サイズが指定されると、その広さに応じて猫の数を決定することができる。また、プログラムＰＧ０２０２により猫の動き（例えば、ランダムな動きや、猫カフェで観察される猫の動きなど）を規定することで、猫（仮想音源）を再現できる。

プログラムＰＧ０１５５は、「車（ＰＳ）のサウンド」のサウンドレイヤに対応し、ユーザ機器２０のセンサデータから現在の速度及び加速度を推定し、推定した速度及び加速度に対応する車種ＰＳのエンジン音を再現し、音像定位及び音データの提供を行う処理を含む各種処理をプロセッサ１２に実行させる。また、プログラムＰＧ０１５５は、例えば、車種ＰＳの車を販売するディーラ周辺の道路や事前に設定された区間をユーザが走行中にエンジン音をユーザ機器２０に提供するように処理を実行させてもよく、その場合には参照情報として地図データを利用する。

プログラムＰＧ０１７３は、「駅舎風景」のサウンドレイヤに対応し、プログラムＰＧ０００１、ＰＧ０１０１、ＰＧ０００２と同様の方法で列車及び草木の特定、風況再現、列車、草木、人混みの再現、音像定位、及び音データの提供を含む各種処理をプロセッサ１２に実行させる。プログラムＰＧ０１７３における設定可能項目は、時期及び気象条件であり、参照情報は地図データ、時刻表・路線図、動植物マップ、混雑マップである。

プログラムＰＧ０１６６は、「サウンド恐竜展」のサウンドレイヤであり、プログラムＰＧ０１０１、ＰＧ０２０１、ＰＧ０２０２と同様の方法で恐竜を含む動植物の再現、音像定位、及び音データの提供を含む各種処理をプロセッサ１２に実行させる。プログラムＰＧ０１７３における設定可能項目は、時期及び時間帯であり、参照情報は地図データ及び動植物マップである。なお、恐竜を含む中生代の自然環境は、現在知られている恐竜の生態に関する研究結果に基づいて作成された動植物マップを利用して再現されてもよいし、恐竜を仮想ペットとして再現してもよい。

なお、上述した制御プログラムは、その制御プログラムの動作時に利用されるデータ（音データ及び参照情報に対応するデータセット）へのリンクを含んでいる。また、上述した制御プログラムは一例であり、上記の例を参考に当業者であれば様々な変形例に想到しうるであろう。こうした変形例についても当然に本実施形態の技術的範囲に属する。

上記のように、個々のサウンドレイヤの制御プログラムは、ユーザ設定に応じて様々なサウンド環境を実現するための音データを提供する機能を実現する。そのため、記憶装置１１には、制御プログラム群１１ｂの各制御プログラムに対応する複数の音データが音データ群１１ｃとして格納される。例えば、年代や季節、月日や時間帯などの時間的条件が異なる音データのデータセット、天候や風況などの気象条件が異なる音データのデータセットなど、同じ対象物に対しても条件の異なる様々な音データが記憶装置１１に格納される。同様に、参照情報についても、時間的条件や気象条件など、条件の異なる様々な参照情報が記憶装置１１に格納される。各サウンドレイヤは、ユーザ設定に応じて音データや参照情報の組み合わせを変化させ、ユーザが所望するサウンド環境を提供する。

ここで、音データ群１１ｃ、時刻表・路線図群１１ｄ、気象データ群１１ｅ、地図データ群１１ｆ、動植物マップ群１１ｇ、展示情報群１１ｈ、混雑マップ群１１ｉ、及び広告マップ群１１ｊに含まれるデータ及び情報の特徴について説明を補足する。

音データ群１１ｃに含まれる音データは、上述した仮想音源から発せられる音の音データである。例えば、鉄道の車両音、動物の鳴き声や足音、風に揺れる草木の音、人や群衆の足音、各種対象物（動物、植物、電車、展示物、風景、星空など）の解説音声、及び広告音声（例えば、広告主から提供される音の広告コンテンツ）などの音データが音データ群１１ｃ含まれうる。時刻表・路線図群１１ｄには、様々な鉄道やバスの路線についての発行時期が異なる多数の時刻表及び路線図が含まれうる。なお、時刻表及び路線図により運行状況が規定される交通手段には、鉄道やバスの他、船舶や航空機などがある。また、鉄道には、新幹線、電車、汽車、路面電車などの種類があり、バスには、路線バスや高速バスなどの種類があり、船舶には、客船、高速船、ホバークラフトなどの種類があり、航空機には、旅客機、回転翼機（ヘリコプターなど）、飛行船などの種類がある。また、人工衛星、ロケット、貨物列車、貨物船、貨物機、専用機（例えば、政府専用機、チャーター機）なども、時刻及び飛行経路をある程度知ることができるため、本実施形態に係る技術は、そのような移動体にも応用できる。気象データ群１１ｅには、様々なエリアについての時期が異なる多数の気象データ（天候、風況、気温、天気図などの観測データ又は予想データ）が含まれうる。

地図データ群１１ｆには、様々なエリア、様々な縮尺、様々な時期に対応する多数の地図データが含まれうる。動植物マップ群１１ｇには、様々なエリアにおける様々な種類の動植物についての分布図が含まれうる。展示情報群１１ｈには、様々な展示会場（美術館、博物館、展示場など）における過去又は現在の展示物に関する情報が含まれうる。例えば、特定の美術館において過去に展示された展示物の種類及び配置に関する情報が、その展示物に関する音データ（解説音声や展示物を想起させる音声などの音データ）へのリンクと共に展示情報群１１ｈとして記憶装置１１に格納されうる。この展示情報を利用することで、例えば、展示物がない状態の美術館を開放し、サウンド環境だけで過去の様々な展示を体験するサービスなどを提供するサウンドレイヤを構築することができる。

混雑マップ群１１ｉには、様々なエリアにおける様々な混雑状況に対応した人の分布図が含まれうる。広告マップ群１１ｊには、どこに広告音声の発生源（仮想音源）を配置するかを示す広告マップが含まれうる。例えば、ある商品を販売する販売店の入り口付近の上空５ｍの位置から広告音声が流れるように仮想音源を配置する空間配置マップなどが広告マップ群１１ｊに含まれうる。また、その広告マップは、各仮想音源から出力される広告音声の音データへのリンクと共に記憶装置１１に格納される。このような広告マップを利用することで、例えば、商品と販売店との対応関係をユーザが意識しやすい場所から広告音声を流したり、或いは、商品のイメージをユーザに意識させやすい場所で広告音声を流したりするサウンドレイヤを構築することができる。

なお、音データの種類及び上述した各種参照情報の内容については、実施の態様に応じて適宜変形すること及び追加することが可能である。サーバ装置１０で扱うサウンドレイヤは、事前にサービスの提供者により用意されたものだけでなく、投稿による登録されたものを含みうる。そのため、上述した例に限らず、様々なサウンドレイヤが登録されうるし、そうしたサウンドレイヤで利用される参照情報が追加されうる。つまり、上記の例を参考に当業者が容易に想到しうるようなサウンドレイヤの構成及び参照情報の内容についても当然に本実施形態の技術的範囲に属する。

ここで、図４を参照しながら、上述した各種マップにおける仮想音源の設定方法について説明する。図４は、仮想音源の設定方法について説明するための説明図である。なお、ここでは説明の都合上、動植物マップ群１１ｇに含まれうる１つの動物マップに仮想音源として動物を配置する方法を例に説明する。

例えば、３匹の動物Ａ、Ｂ、Ｃを配置する場合、まず、設定者は、それらの動物が出現する地図上のエリアを設定する。例えば、設定者は、基準位置（緯度・経度など）を指定し、その基準位置を原点とする三次元座標系に動物Ａ、Ｂ、Ｃをマッピングする。このとき、設定者は、動物Ａ、Ｂ、Ｃがそれぞれ発する音の音データへのリンクを設定する。図４の例では、動物Ａが座標（１，−３，４）に配置され、音データＳｎｄ＃１０１へのリンクが設定されている。また、動物Ｂが座標（２，０，２）に配置され、音データＳｎｄ＃１０２へのリンクが設定されている。また、動物Ｃが座標（−３，３，１）に配置され、音データＳｎｄ＃１０３へのリンクが設定されている。

動物マップでは、動物の動きを予め設定することもできる。図４の例では、動物Ｃについて、地点Ｃ１（−４，２，４）、地点Ｃ２（−２，１，３）、地点Ｃ３（−１，２，２）を通って最初の配置座標（−３，３，１）に戻る動きＭＶ＃Ｃが設定されている。なお、図４の例では曲線的な動きＭＶ＃Ｃを示しているが、事前に設定したエリア内でランダムに動物Ｃが動きまわるようにプログラムしてもよい。また、図４に例示した座標の取り方や配置の仕方、リンクの設定方法は一例であり、本実施形態の技術的範囲はこれに限定されず、動物の動きを設定する任意の方法を適用可能である。また、ここでは動物マップの設定方法を例に挙げたが、他の対象物についても同様である。

次に、プロセッサ１２の機能について、さらに説明する。図１に示したように、サーバ装置１０のプロセッサ１２は、レイヤ選択部１２ａ、多重実行部１２ｂ、及び投稿管理部１２ｃの機能を提供する。レイヤ選択部１２ａは、ユーザ機器２０に対してサウンドレイヤの選択肢を提供し、ユーザ機器２０からの要求に応じてサウンドレイヤを選択する。なお、おすすめの複数のサウンドレイヤを組み合わせたシナリオを複数用意しておき、レイヤ選択部１２ａが、シナリオのリストをユーザ機器２０に提供してもよい。この場合、シナリオに含まれるサウンドレイヤの一部をユーザが変更したり、別のサウンドレイヤを追加したりできるようにすることが好ましい。

多重実行部１２ｂは、レイヤ選択部１２ａにより選択されたサウンドレイヤを多重する。このとき、多重実行部１２ｂは、登録管理ＤＢ１１ａを参照して各サウンドレイヤに対応する制御プログラムを特定する。また、多重実行部１２ｂは、特定した制御プログラムを並列動作させ、ユーザ設定を取得し、各制御プログラムが利用する参照情報のうち、取得したユーザ設定に対応する参照情報を記憶装置１１から読み出す。そして、多重実行部１２ｂは、通信ＩＦ１３を介して、各制御プログラムにより提供される音データをユーザ機器２０に提供する。なお、多重実行部１２ｂは、各制御プログラムで再現される音を多重した多重音の音データを生成してユーザ機器２０に提供してもよい。

例えば、多重実行部１２ｂは、ユーザ設定に応じて、図５のようにサウンドレイヤを多重する。図５は、サウンドレイヤの多重方法について説明するための説明図である。図５の例では、レイヤＬ０００１、Ｌ０００３、Ｌ０００２、Ｌ０００５が多重されている。この例において、レイヤＬ０００１は、１９９４年１２月の日曜ダイヤで運行される電車が雪の中を走り抜ける音を再現する。レイヤＬ０００３は、２０１５年夏の晴れた朝と同じ条件で、風に揺れる草木の音を再現する。レイヤＬ０００２は、２０１８年４月の雨が降る閑散とした環境と同じ条件で、人又は群衆の音を再現する。レイヤＬ０００５は、１９８１年冬の晴れた朝に出現する動物の音（鳴き声や足音）及び解説音声を再現する。

仮に２０００年に廃線になった路線の線路脇をユーザが歩きながら、レイヤＬ０００１の音を聞くことで、あたかも廃線前の線路脇を歩いているように感じることができ、当時のリアルなサウンドを感じながら廃線跡巡りをより楽しむことができる。また、図５の例では、敢えて廃線後の草木や人が発する音をレイヤＬ０００３、Ｌ０００２で組み合わせ、さらに、廃線になる２０年近く前の動物に関する解説音声をレイヤＬ０００５で組み合わせている。レイヤＬ０００１と同じ時期を設定すれば、廃線跡の周囲にあった当時の環境をリアルに再現でき、それだけでも十分に廃線跡巡りの楽しさを倍増させることになるが、図５のようにユーザの遊び心を加えることで、現実世界には過去にも存在しなかった環境を体験することができるようになる。

再び図１を参照する。投稿管理部１２ｃは、サウンドレイヤの投稿者を登録し、サウンドレイヤの投稿を受け付ける。また、投稿管理部１２ｃは、投稿されたサウンドレイヤの利用回数をカウントし、その利用回数に応じて投稿者への課金額を計算し、計算した課金額に基づいて、所定のタイミング（毎月の月初／月末、ユーザによる指定日など）で投稿者に対するサービス利用料を請求する。つまり、投稿管理部１２ｃは、所定期間における利用回数を示す利用頻度を計算し、その利用頻度に応じてサービス利用料を請求する。例えば、投稿管理部１２ｃは、投稿者の登録時に支払方法（口座引落、クレジットカード、電子マネー、有価ポイント、プリペイドカードなど）を登録させ、その支払方法でのサービス利用料の支払を請求する。

なお、サウンドレイヤの投稿者への課金方法については、サービスの内容に応じて適宜変更可能である。例えば、広告音声などの広告コンテンツを含むサウンドレイヤを投稿した投稿者（つまり、広告主）に対しては、広告料に相当するサービス利用料を課金し、その他の一般投稿者に対してはサービス利用料を無料にする仕組みにしてもよい。また、音の再生時間が所定時間（例えば、１０分）より長いサウンドレイヤを投稿した投稿者に対してはサービス利用料を課金する仕組みにしてもよい。また、システムが提供する拡張機能（例えば、利用状況の分析、高度な三次元音響など）を利用する投稿者に対してはサービス利用料を課金する仕組みにしてもよい。

広告主に広告料相当のサービス利用料を課金する仕組みを採用する場合、例えば、広告コンテンツを含むサウンドレイヤと共に一般投稿者のサウンドレイヤが利用されたときに（それらのサウンドレイヤが多重されたときに）、その一般投稿者に広告料を分配する仕組みにしてもよい。ここでは、この仕組みを報酬分配方式と呼ぶことにする。報酬分配方式では、複数の異なる一般投稿者のサウンドレイヤと、広告主のサウンドレイヤとが多重されたとき、広告料が、複数の一般投稿者に分配される。分配方法としては、例えば、広告料から所定の手数料を差し引いた分配対象額を決定し、その分配対象額を一般投稿者の数で等分する方法が利用できる。なお、所定の手数料は０でもよい。また、一般投稿者のサウンドレイヤにより再生される音の再生時間に応じて分配比率が決められてもよい。また、サウンドレイヤの重要度に応じて分配比率が決められてもよい。重要度は、例えば、対応するサウンドレイヤの累計利用回数、音の再生時間、投稿者の属性などに応じて設定されうる。このような報酬分配方式についても本実施形態の技術的範囲に属する。なお、広告料、分配対象額、及び分配金の計算は、投稿管理部１２ｃにより実行されうる。

ところで、上述したサーバ装置１０によるサービスの提供を受けるために、ユーザ機器２０は、センサ類２５から出力されるセンサデータ（センサ出力）、及び入力ＩＦ２３を介してユーザが指定したサウンドレイヤ及びユーザ設定の内容をサーバ装置１０に提供する。また、通信ＩＦ２４を介してサーバ装置１０から受信した音データは音声出力ＩＦ２６に入力され、スピーカ又はイヤフォンなどから音が出力される。なお、音データと共にサーバ装置１０から映像データ（例えば、広告音声に対応する映像コンテンツ）がユーザ機器２０に送られ、表示ＩＦ２７に表示されてもよい。これらの処理は、例えば、メモリ２２に格納されたプログラム２２ａをプロセッサ２１が読み出し、プログラム２２ａを実行することにより実現されてもよい。

これまで、サウンドレイヤに関する処理をサーバ装置１０が実行する構成を例に説明を進めてきたが、サーバ装置１０の一部機能をユーザ機器２０に搭載してもよい。例えば、上述したレイヤ選択部１２ａ及び多重実行部１２ｂの機能をユーザ機器２０のプロセッサ２１で実行するように、それら機能をプログラム２２ａにより実装してもよい。また、上述したサーバ装置１０の機能を複数のコンピュータにより実装してもよいし、記憶装置１１の機能をサーバ装置１０の外部に設置されたストレージシステムに実装してもよい。このような変形例についても当然に本実施形態の技術的範囲に属する。

［２．処理の流れ（拡張サウンド提供方法）］図１に例示したシステムの動作について、図６を参照しながら説明する。図６は、本実施形態に係るシステムの動作について説明するためのフロー図である。

ユーザは、ユーザ機器２０を用いて多重するサウンドレイヤのレイヤ種別を選択し（Ｓ１０１）、各レイヤ種別のサウンドレイヤに対するユーザ設定を行う（Ｓ１０２）。選択されたレイヤ種別及び各レイヤ種別のサウンドレイヤに対するユーザ設定の情報は、ユーザ機器２０からサーバ装置１０へと送られる。サーバ装置１０は、各レイヤ種別のサウンドレイヤに対応する制御プログラム及びユーザ設定に対応する参照情報を取得し（Ｓ１０３）、Ｓ１０４以降へと処理を進める。

サーバ装置１０は、ユーザ機器２０からセンサデータ（センサ類２５からのセンサ出力）を取得し、ユーザがいる地図上の場所、顔の向き、及び頭の高さを特定する（Ｓ１０４）。なお、頭の高さを特定できない場合には、事前に設定された値（例えば、平均身長から推定される頭の高さ）が利用される。サーバ装置１０は、制御プログラムを並列動作させ、現在時刻、ユーザの現在位置、ユーザ設定に基づいて仮想音源を配置し（Ｓ１０５）、各仮想音源が発する音の音データを用いて、ユーザの左右それぞれの耳に届く音（各耳に対応する出力音）の音データを生成する（Ｓ１０６）。

サーバ装置１０は、各制御プログラムによる生成音を多重した多重音の音データを生成し、ユーザ機器２０に提供する（Ｓ１０７）。ユーザ機器２０は、サーバ装置１０が提供するサービス（サウンド環境提供サービス）の利用を終了するか否かを判定する（Ｓ１０８）。例えば、ユーザが終了操作を行った場合、ユーザ機器２０は、サービスの利用終了と判定する。サービスの利用を終了する場合、図６に示した一連の処理は終了する。一方、サービスの利用を継続する場合、処理はＳ１０４へと進む。なお、サーバ装置１０の一部機能をユーザ機器２０に実装する場合には、上記の処理フローにおいて、その一部機能に対応する処理の主体がユーザ機器２０に変更される。

次に、図７を参照しながら、サウンドレイヤの投稿に係る処理について説明する。図７は、サウンドレイヤの投稿に係る処理について説明するためのシーケンス図である。なお、ここでは投稿者が投稿者端末３０を利用してサウンドレイヤを投稿し、投稿されたサウンドレイヤの利用回数に応じてサーバ装置１０が投稿者にサービス利用料を請求するまでの処理について説明する。なお、投稿者端末３０は、投稿者が利用するコンピュータであり、例えば、上述したユーザ機器２０と同じハードウェア要素を有する。

まず、投稿者は、投稿者端末３０を用いて、サウンドレイヤの登録要求（レイヤ登録要求）、投稿者情報、及び支払方法をサーバ装置１０に送る（Ｓ２０１）。投稿者情報は、例えば、投稿者の氏名又は名称、投稿者の属性情報（一般個人、専門家、法人など）や連絡先などの情報を含む。支払方法は、口座振替、クレジットカード、電子マネー、有価ポイント、プリペイドカードなどであり、例えば、クレジットカードを選択した場合には選択結果及びカード番号などの情報が支払方法の情報としてサーバ装置１０に送られる。

サーバ装置１０は、レイヤ登録要求に応じて投稿者ＩＤを発行し、投稿者ＩＤに対応付けて投稿者情報を記憶装置１１に格納する（Ｓ２０２：情報登録）。また、サーバ装置１０は、発行した投稿者ＩＤと共に、サウンドレイヤを構成する情報及びデータの登録に利用する登録フォームを投稿者端末３０に提供する（Ｓ２０３）。投稿者は、投稿者端末３０に表示された登録フォームを介して、投稿するサウンドレイヤを構成する制御プログラム、その制御プログラムのレイヤ種別、その制御プログラムが用いる音データ及び参照情報をサーバ装置１０に送る（Ｓ２０４）。なお、既存の参照情報を利用するサウンドレイヤを登録する場合には、Ｓ２０４における参照情報の送信は省略されうる。

サーバ装置１０は、投稿されたサウンドレイヤに対してレイヤＩＤを発行し、発行されたレイヤＩＤ、制御プログラムのプログラムＩＤ及びレイヤ種別、及び投稿者ＩＤを対応付けて登録管理ＤＢ１１ａに格納し、投稿者端末３０から受信した制御プログラム及び参照情報を記憶装置１１に格納する（Ｓ２０５：レイヤ登録）。また、サーバ装置１０は、サウンドレイヤの登録完了及びレイヤＩＤを投稿者端末３０に通知する（Ｓ２０６）。

その後、サーバ装置１０は、投稿されたサウンドレイヤの利用回数をカウントし（Ｓ２０７）、所定のタイミングで、利用回数に基づいて投稿者への請求額を計算する（Ｓ２０８）。また、サーバ装置１０は、計算した請求額に対応する該当機関の利用回数及び請求額を投稿者端末３０に通知し（Ｓ２０９）、投稿者に対するサービス利用料の請求処理を実行する（Ｓ２１０）。Ｓ２１０の処理が完了すると、図７に示した一連の処理は終了する。なお、上述した処理のうち一部の処理が省略されてもよいし、他の処理が追加されてもよい。こうした変形例についても当然に本実施形態の技術的範囲に属する。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属する。

例えば、対象物の三次元モデルを構築し、その三次元モデルに基づいて仮想音源の位置を決定することにより、より精緻に仮想音源を配置することができ、さらにリアリティが増す。また、三次元モデルに基づいて仮想音源を配置するサウンドレイヤを利用する場合、そのサウンドレイヤの利用中に、ユーザ機器２０の画面に三次元モデルをＡＲ（Augmented Reality）表示してもよい。例えば、すれ違う新幹線の三次元モデルをＡＲ表示し、かつ、すれ違い音が立体的に聞こえることで、現実に限りなく近い存在感をユーザに感じさせることができるようになる。このような変形例についても当然に本実施形態の技術的範囲に属する。

１０ サーバ装置
１１ 記憶装置
１２ プロセッサ
１３、２４ 通信ＩＦ
２０ ユーザ機器
２１ プロセッサ
２２ メモリ
２３ 入力ＩＦ
２５ センサ類
２６ 音声出力ＩＦ
２７ 表示ＩＦ

Claims (7)

1. ユーザが体感している実空間の環境を、音により、前記ユーザの好みに応じて仮想的に拡張できるようにするための拡張サウンドシステムであって、
   音を発する対象物を、いつ、どこに出現させるかを特定するための情報セットと、前記対象物が発する音の音データと、前記対象物の出現場所に仮想音源を配置して前記対象物が発する音を前記仮想音源から出力したときに前記ユーザに聞こえる音を再現するプログラムモジュールと、を組み合わせたソフトウェアユニットが複数格納された記憶部と、
   前記ユーザのユーザ機器からの要求に応じて、前記記憶部に格納された複数のソフトウェアユニットのうち、前記ユーザが指定した２以上のソフトウェアユニットに対応する２以上のプログラムモジュールを並列動作させ、現在時刻及び前記ユーザ機器の現在位置に基づいて前記２以上のプログラムモジュールで再現される２以上の音の音データ、又は当該２以上の音を多重した多重音の音データを前記ユーザ機器に提供する制御部と
   を備える、拡張サウンドシステム。
2. 前記対象物が交通手段である第１のソフトウェアユニットの前記情報セットには、発行時期が異なる複数の時刻表及び路線図が含まれ、前記第１のソフトウェアユニットに対応するプログラムモジュールは、前記ユーザが指定した時期に対応する時刻表及び路線図に基づいて前記交通手段の動きに追従するように前記仮想音源を移動させ、前記ユーザ機器の場所で聞こえる前記交通手段の音を再現し、
   前記交通手段は、鉄道、バス、船舶、及び航空機のうちいずれかである
   請求項１に記載の拡張サウンドシステム。
3. 前記第１のソフトウェアユニットには、前記交通手段に関する解説音声の音データがさらに組み合わされ、前記第１のソフトウェアユニットに対応するプログラムモジュールは、音を再現する前記交通手段の解説音声を前記交通手段の再現音に多重する
   請求項２に記載の拡張サウンドシステム。
4. 前記対象物が発する音が広告音声である第２のソフトウェアユニットの前記情報セットには、前記広告音声を出力する出力デバイスを前記対象物として、広告主が事前設定した出現時期及び出現場所が含まれ、前記第２のソフトウェアユニットに対応するプログラムモジュールは、前記広告主が事前設定した出現場所に前記仮想音源を配置し、前記ユーザ機器の場所で聞こえる前記広告音声の音を再現する
   請求項１〜３のいずれか１項に記載の拡張サウンドシステム。
5. 前記ソフトウェアユニットの投稿を受け付ける投稿管理部をさらに備え、
   前記制御部は、異なる投稿者により投稿された２以上のソフトウェアユニットを前記ユーザが指定したとき、当該２以上のソフトウェアユニットに対応する２以上のプログラムモジュールを並列動作させる
   請求項１〜４のいずれか１項に記載の拡張サウンドシステム。
6. 前記ソフトウェアユニットの投稿を受け付ける投稿管理部をさらに備え、
   前記投稿管理部は、前記第２のソフトウェアユニットに対応するプログラムモジュールと、投稿者により投稿された１以上のソフトウェアユニットに対応する１以上のプログラムモジュールとを前記制御部が並列動作させた場合、前記第２のソフトウェアユニットを投稿した広告主が支払う広告料を計算すると共に、前記広告料を原資として前記１以上のソフトウェアユニットを投稿した投稿者に分配される報酬額を計算する、
   請求項４に記載の拡張サウンドシステム。
7. ユーザが体感している実空間の環境を、音により、前記ユーザの好みに応じて仮想的に拡張できるようにする拡張サウンド提供方法であって、
   音を発する対象物を、いつ、どこに出現させるかを特定するための情報セットと、前記対象物が発する音の音データと、前記対象物の出現場所に仮想音源を配置して前記対象物が発する音を前記仮想音源から出力したときに前記ユーザに聞こえる音を再現するプログラムモジュールと、を組み合わせたソフトウェアユニットが複数格納された記憶部から、
   前記ユーザのユーザ機器からの要求に応じて、前記記憶部に格納された複数のソフトウェアユニットのうち、前記ユーザが指定した２以上のソフトウェアユニットに対応する２以上のプログラムモジュールを読み出し、前記２以上のプログラムモジュールを並列動作させ、現在時刻及び前記ユーザ機器の現在位置に基づいて前記２以上のプログラムモジュールで再現される２以上の音の音データ、又は当該２以上の音を多重した多重音の音データを前記ユーザ機器に提供する
   処理をコンピュータが実行する、拡張サウンド提供方法。

Images