JP2011521511A - 拡張現実を強化した音声 - Google Patents

拡張現実を強化した音声 Download PDF

Info

Publication number
JP2011521511A
JP2011521511A JP2011503962A JP2011503962A JP2011521511A JP 2011521511 A JP2011521511 A JP 2011521511A JP 2011503962 A JP2011503962 A JP 2011503962A JP 2011503962 A JP2011503962 A JP 2011503962A JP 2011521511 A JP2011521511 A JP 2011521511A
Authority
JP
Japan
Prior art keywords
environment
audio content
audio
orientation
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011503962A
Other languages
English (en)
Inventor
ドゥンコ、グレゴリー、エー.
Original Assignee
ソニー エリクソン モバイル コミュニケーションズ, エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エリクソン モバイル コミュニケーションズ, エービー filed Critical ソニー エリクソン モバイル コミュニケーションズ, エービー
Publication of JP2011521511A publication Critical patent/JP2011521511A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation

Abstract

本発明は、拡張現実を強化した音声を提供するための装置と方法に関する。装置(200)は、携帯可能であり、位置情報を受信可能であり環境中での装置の位置を決定可能な位置処理モジュール(202)と、当該位置での装置の方位を決定可能な方位処理モジュール(203)と、環境中での装置の位置と当該位置での装置の方位とに基づき、音声コンテンツを修正可能なプロセッサ(201)と、修正された音声コンテンツを出力可能な音声出力装置(205)とを含みうる。装置の方位は、装置の方位角と標高を含む。

Description

本発明は、音声通信(telephony)、より具体的には拡張現実を強化した音声通信に関する。
拡張現実は、仮想の映像または音声により強化された現実世界を含む。現実世界の人は、現実世界の物体を見るのみならず、現実世界に存在するように生成された仮想物体も見うる。また、現実世界の環境に音声が追加され、環境中での人の体験がさらに強化されうる。
現在、拡張現実(Augumented Reality:AR)環境中で人により聞かれる音声は、環境中での人の位置に基づき変化しない。
本発明のある観点によれば、拡張現実を強化した音声のための方法が提供される。方法は、音声コンテンツを装置により取得すること、環境中での装置の位置と当該位置での装置の方位とに基づき、音声コンテンツを装置により修正すること、修正された音声コンテンツを装置により出力することを含む。
本発明の他の観点によれば、拡張現実を強化した音声のための装置が提供される。装置は、位置情報を受信可能であり環境中での装置の位置を決定可能な位置処理モジュールと、当該位置での装置の方位を決定可能な方位処理モジュールと、環境中での装置の位置と当該位置での装置の方位とに基づき、音声コンテンツを修正可能なプロセッサと、修正された音声コンテンツを出力可能な音声出力装置とを備える。
本発明は、本発明の実施形態の非限定的な例を示す複数の図面を参照して、以下の実施形態の説明中でさらに説明される。同一の参照符号は、複数の図面中の様々な図を通して同様の部分を表している。
本発明の一実施形態に係る拡張現実を強化した音声のための方法を示す図である。 本発明の一実施形態に係る拡張現実を強化した音声のための装置を示す図である。 本発明の一実施形態に係る環境中でのAR装置の動作を示す図である。 本発明の一実施形態に係る位置情報を受信するためのシステムを示す図である。 本発明の一実施形態に係る拡張現実の音声コンテンツのある環境から他の環境へのマッピングを示す図である。
当業者であれば理解するように、本発明は、方法、システム、コンピュータプログラム製品、またはこれらの組合せとして実施されうる。よって、本発明は、専らハードウェアによる実施形態をとってもよく、専らソフトウェアによる実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等)をとってもよく、または、ここでは「システム」として一般に称される、ソフトウェアとハードウェアを組合せた実施形態をとってもよい。また、本発明は、コンピュータ利用可能な記憶媒体上のコンピュータ利用可能なプログラムコードを有する、コンピュータプログラム製品による実施形態をとってもよい。
コンピュータ利用可能または読取可能な適当な媒体が利用されうる。コンピュータ利用可能または読取可能な媒体は、例えば非限定的に、電子、磁気、光、電磁気、赤外線、または半導体のシステム、機器、装置、または伝搬媒体でありうる。コンピュータ読取可能な媒体のより具体的な例(限定的なリスト)は、1以上の配線を有する電気接続、携帯可能なコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、消去可能プログラム可能読取専用メモリ(EPROMまたはフラッシュメモリ)、コンパクトディスク読取専用メモリ(CD−ROM)、または他の有形の光もしくは磁気記録装置等の有形の媒体を含む。コンピュータ利用可能または読取可能な媒体は、プログラムが印刷される紙または他の適当な媒体でもよい。この場合、プログラムは、例えば、紙または他の媒体の光走査を通じて電子的にとらえられた後、コンパイルまたは解釈され、さもなければ必要に応じて適当な方法で処理された後に、コンピュータのメモリに記憶されうる。
本明細書の文脈上、コンピュータ利用可能または読取可能な媒体は、指令実行システム、プラットフォーム、機器、または装置による利用のための、またはこれらに関連付けられたプログラムを含み、記憶し、通信し、伝搬し、または運ぶことのできるいかなる媒体でもよい。
本発明の動作を実行するためのコンピュータプログラムコードは、Java、Perl、Smalltalk、C++等、オブジェクト指向型、スクリプト型またはアンスクリプト型のプログラム言語で記述されうる。しかし、本発明の動作を実行するためのコンピュータプログラムコードは、“C”プログラミング言語または同様なプログラミング言語等、従来の手続き型プログラミング言語で記述されてもよい。
以下では、本発明は、本発明の実施形態に係る方法、機器(システム)およびコンピュータプログラム製品のフロー図および/またはブロック図を参照して説明されている。勿論、フロー図および/またはブロック図中の各ブロックと、フロー図および/またはブロック図中のブロックの組合せは、コンピュータプログラム指令により実施されうる。これらのコンピュータプログラム指令は、コンピュータまたは他のプログラム可能データ処理機器のプロセッサを通じて実行されて、フロー図および/またはブロック図中に示された機能/動作を実現するための手段を生成する機械を作り出すために、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能データ処理機器のプロセッサに供給されうる。
これらのコンピュータプログラム指令は、コンピュータ読取可能な媒体に記憶されてもよい。コンピュータ読取可能なメモリに記憶されたコンピュータプログラム指令は、フロー図および/またはブロック図中のブロックに示された機能/動作を実現する指令手段を含む製造品を作り出すような特定の方法で機能することを、コンピュータまたは他のプログラム可能データ処理機器に指令する。
コンピュータプログラム指令は、コンピュータまたは他のプログラム可能データ処理機器にロードされてもよい。コンピュータまたは他のプログラム可能機器上で実行される一連の動作は、フロー図および/またはブロック図中のブロック中に示された機能/動作を実施するためのステップを提供する、コンピュータにより実施されるプロセスを生じさせる。代替的に、本発明の一実施形態を実行するために、コンピュータプログラムにより実施されるステップまたは動作は、オペレータまたは人により実施されるステップまたは動作と組合されてもよい。
本発明の実施形態によれば、ユーザの詳細な位置、音源との近接度、および音源に対する方位(orientation)/方向(direction)を考慮することで、ユーザの拡張現実(AR)体験の音声側面が強化される。これらのパラメータは、ユーザが聞きうる音声特性(ラウドネス、サラウンド音響等)の修正に際して考慮されうる。
本発明の実施形態によれば、AR演出装置は、AR演出装置により出力されてユーザにより聞かれる音源からの音声を調整するために、音源の位置、音源により発せられた音声の音圧レベル(SPL)(ラウドネス等)、およびAR演出装置を持つユーザと音源との相対位置を利用する。例えば、ラウドネスは、音源とユーザの近接度に基づき調整されてもよく、左右(L/R)バランスまたはサラウンド音響「バランス」は、AR演出装置が面している方位/方向に基づき調整されてもよい。よって、本発明の実施形態によれば、環境中でのユーザのAR演出装置の位置と方位に依存して、音声は、音声を発する音源の方向と音源からユーザまでの距離とを表すように修正されうる。
ユーザは、ユーザ聴取用の音声を出力可能であり、かつ音源に対する装置(つまりユーザ)の位置に基づき音声を含む音声コンテンツを処理可能な携帯型のAR演出装置を携行する。AR演出装置は、所定位置からの物理的な位置や距離を決定する機能と方位/方向(つまり装置が面している方向)を決定する機能とからなる、拡張現実生成機能を有する。また、AR演出装置は、拡張現実を提供された音声を音源位置/音声レベル記述子について分析する機能と、可能であれば、現在の環境を音源位置との近接度と方向について評価する機能とを有してもよい。AR演出装置は、近接度と方位の情報を用いて音声コンテンツの演出を調整してもよく、ユーザによる聴取のために修正された音声コンテンツを演出してもよい。
また、ユーザは、ユーザが位置する環境で入手可能な音声コンテンツを再生(play)するために、携帯型のAR演出装置を利用しうる。例えば、ユーザが博物館または古戦場に入ると、博物館を通り抜けるユーザのAR演出装置に拡張現実の音声コンテンツが提供されうる。この点では、音声コンテンツは、ユーザの装置にストリーミングされてもよく、ユーザは、博物館に関連付けられた音声コンテンツをロードもしくはダウンロードしてもよい。ユーザがAR演出装置を持って博物館を通り抜けると、装置は、博物館中でのユーザの位置と、その位置での装置の方位に基づき音声コンテンツを処理しうる。装置の方位は、装置の方位角、標高、および傾き(または航空機用語では、ロール、ピッチ、およびヨー)に関連しうる。
拡張現実からの音声は、音源に対するユーザとAR演出装置の相対位置に依存して、ラウドネスと方向が修正されうる。また、本発明の実施形態では、ユーザは、音源を追加または除外すること、音源位置を変更すること、音源のラウドネスを変更すること等により環境に関連付けられた音声コンテンツを修正しうる。音声コンテンツは、音声と音声の最大ラウドネスを含みうる。音声コンテンツは、携帯可能な記憶媒体(ディスケット、CD等)の形式で存在してもよく、ユーザのAR演出装置にロードされてもよい。さらに、本発明の実施形態によれば、AR音声コンテンツは、ユーザのAR演出装置に予め記憶され、ユーザによる選択または環境中でのAR演出装置の位置に依存して再生されてもよい。
さらに、本発明の実施形態によれば、ユーザのAR装置が新たな環境に位置すると、特定の環境に関連付けられた音声と音源が新たな環境に自動的にスケーリング(scaling)されてもよい。AR装置は、スケーリングを実行してもよく、スケーリングは、AR装置の外部で実行されてもよい。例えば、AR装置が現在位置するステージ用(staged)の古戦場の環境にARコンテンツが関連付けられる場合、AR装置が異なる環境(雑貨店等)に移動すると、音源と、古戦場に関連付けて定義された音源同士の相対位置は、雑貨店の環境に自動的にスケーリングされうる。この点では、音源と、音源同士の相対位置、古戦場の環境のサイズ、雑貨店の環境のサイズがスケーリングのために利用されうる。
さらに、本発明の実施形態によれば、AR装置は、例えば、AR装置中の記憶装置から、AR装置に送信されるストリーム音声コンテンツから、有償でダウンロードされたコンテンツから、サーバから無線送信された音声コンテンツから等の様々な方法のうちいずれかで、音声コンテンツを受信または取得しうる。また、本発明の実施形態に係るAR装置は、GPSシステム、測位(positioning)システム、三角測量(triangulation)システム、装置の位置に位置するシステム等から位置情報を受信しうる。
また、本発明の実施形態によれば、音源のマップが既存の環境に重ねられてもよい。AR装置は、環境に入ると、音源から発せられた音声の拡張現実版を再生しうる。前述したように、AR装置は、音声、音声のラウドネスを含み、および音声の音源、環境中での音源の位置、または環境の物理サイズを含みうる音声コンテンツを受信しうる。例えば、ユーザは、自らの環境を移動するときに自らの音声体験が強化されるように、自らの環境中で音声の方向/音声効果を「綿密に計画」しうる。
図1は、本発明の一実施形態に係る拡張現実を強化した音声のためのプロセスを示している。プロセス100において、ブロック101では、音声コンテンツが装置で取得されうる。音声コンテンツは、音声と音声のラウドネスを含む。音声コンテンツは、1以上の音声と、関連するラウドネス音声を含みうる。ブロック102では、装置の位置が決定されうる。ブロック103では、装置の方位が決定されうる。ブロック104では、装置に対する音源の相対位置が決定されうる。ブロック105では、装置の位置および方位と音源の相対位置とに基づき音声コンテンツが修正されうる。ブロック106では、装置が修正された音声コンテンツ(つまり、拡張現実を強化した音声)を出力しうる。
図2は、本発明の一実施形態に係る拡張現実を強化した音声のための装置を示している。装置200は、位置処理モジュール202と方位処理モジュール203と入力インタフェース204と音声出力装置205と記憶装置206とに接続可能なプロセッサ201を含む。位置処理モジュール202は、位置情報を受信し、環境中での装置200の位置を決定しうる。方位処理モジュール203は、環境中のその位置での装置200の方位を決定しうる。音声出力装置205は、装置200のユーザによる聴取のために、プロセッサ201により修正された音声を出力しうる。入力インタフェース204は、1以上の音声と1以上の音声に関連した音圧レベル(SPL)データを含む音声コンテンツを受信しうる。記憶装置206は、音声コンテンツを記憶しうる。プロセッサ201は、環境中での装置200の位置、環境中での音源の相対位置、およびその位置での装置200の方位に基づき、音声コンテンツを修正しうる。
装置200は、例えば、携帯電話、コンピュータ、携帯情報端末(PDA)、電子ゲーム、オーディオ装置等、いかなる種類の携帯装置でもよい。音声出力装置205は、例えば、ヘッドセット、イヤプラグ、1以上のスピーカ等、いかなる種類の音声出力装置でもよい。位置処理モジュール202は、例えば、GPSシステムからの装置200のGPS座標、環境中の各音源から装置200までの距離、測位システムからの装置200の測位情報、三角測量システムからの装置200の三角測量情報等、いかなる種類の位置情報を受信しうる。位置処理モジュール202と方位処理モジュール203は、記憶装置206またはプロセッサ201に記憶されたソフトウェアの形式でもよい。また、位置処理モジュール202と方位処理モジュール203は、ハードウェア機能でもよく、ソフトウェアとハードウェアの組合せでもよい。さらに、方位処理モジュール203と統合された位置処理モジュール202を実現するために、ソフトウェア、ハードウェア、または両者の組合せが用いられてもよい。
図3は、本発明の一実施形態に係る環境中でのAR装置の動作を示している。本実施例では、環境301は、現実世界の一部(部屋等)として示されている。本実施形態の環境301は、環境301中を蛇行する道302を含み。現実世界の環境301は、複数の現実世界の物体303〜309を含みうる。物体303〜309は、人や、例えば、家具、備品、立木、建物、車両、電気製品、家財道具等、現実世界に存在しうる物等、いかなる種類の物体でもよい。本発明の実施形態の説明を容易にするために、現実世界の物体303〜309は、斜線を伴う単純な形状で示されている。現実世界の物体303〜309は、静止物体でもよく、移動可能物体でもよく、移動物体でもよい。例えば、ユーザが環境に入ると音声体験が始まってもよく、音源が時間とともに「移動」してもよい。また、ユーザが環境中に静止し、音声がユーザの耳に「移動」してもよい。
ユーザは、携帯型の拡張現実(AR)演出装置を持って環境301に入る。ユーザは、環境301に入ると、AR装置を持って道302に沿って移動しうる。ユーザが道302に沿って移動すると、AR装置は、異なる位置と方位316〜320に移動しうる。また、環境301は、環境301中の様々な場所に位置するように感じられる1以上の仮想音源310〜315を重ねられてもよい。各仮想音源310〜315は、音声と関連ラウドネスを含む音声コンテンツに関連付けられてもよい。実施例に示すように、音源(音源3、312等)は、現実世界の物体(物体305等)に重ねられうる。音源312からの音声は、現実世界の物体305から発せられたように感じられる。
本発明の実施形態の説明を容易にするために、AR装置は、装置の方位を示す矢印とともに示されている。AR装置の方位は、方位角、標高、および傾きを含みうる。この説明では、方位のうち方位角の部分のみが示されている。AR装置が第1の位置/方位316にあるとき、AR装置は、音源1、310と音源2、311から音声コンテンツを受信しうる。AR装置は、環境301中でのAR装置の位置を示す位置情報を受信しうる。AR装置は、第1の位置/方位316で、音源1、310と音源2、311から受信される音声コンテンツを修正するために、この位置情報とAR装置の方位を利用する。音源1、310からの音声コンテンツは、低い音量で、かつAR装置の右側から来るように感じられる音声を示すために、AR装置の第1の位置/方位316に基づき修正されうる。また、音源2、311からの音声コンテンツは、中レベルの音量で、かつ音源2、311からの音声が正面の方向からAR装置の第1の位置/方位316の左へ来るように感じられるように修正されうる。
同様に、AR装置が第2の位置/方位317にあるとき、音源1、310は、かすかな音量で、かつAR装置の後ろから来るように感じられる一方、音源2、311は、大きな音量で、かつAR装置の正面に感じられる。また、AR装置が第3の位置/方位318にあるとき、音源2、311は、かすかな音量で、かつAR装置の後ろから来るように感じられ、音源3、312は、大きな音量で、かつAR装置の右から来るように感じられ、音源4、313は、他の2つの音源よりも大きな音量で、かつAR装置の正面から来るように感じられる。AR装置が第4の位置/方位319にあるとき、音源4、313は、極端に大きな音量で、かつAR装置の左後側から来るように感じられる一方、音源3、312は、かすかな音量で、かつAR装置の右側から来るように感じられる。AR装置が第5の位置/方位320にあるとき、音源5、314は、かなり大きな音量で、かつAR装置の正面から来るように感じられる一方、音源6、315は、かすかな音量で、かつAR装置の後ろから来るように感じられる。よって、本発明の実施形態によれば、AR装置は、環境中の1以上の音源に関連して受信された音声コンテンツを、環境中での各音源に対するAR装置の位置/方位に基づき修正しうる。本実施例に示す音源の数とAR装置の位置/方位は、説明を目的とするものであり、本発明の実施形態の範囲を限定するものではない。
図4は、本発明の一実施形態に係る位置情報を受信するためのシステムを示している。システム400では、現実世界の環境301は、環境301中の特定の位置/方位317にあるAR装置を含みうる。位置/方位317のAR装置は、様々な情報源から様々な方法で位置情報を受信しうる。例えば、AR装置は、GPSシステム401、測位システム402、または三角測量システム403から位置情報を受信しうる。さらに、音声コンテンツは、購入されてもよく、さもなければ音声コンテンツレポジトリ404から取得されてAR装置に記憶および/または処理されうる。さらに、本発明の実施形態によれば、AR装置は、各個別の音声コンテンツ源310〜315から音声コンテンツを受信してもよく、環境301中の全ての音源に音声コンテンツを提供する中央源405から音声コンテンツを受信してもよい。さらに、環境301中の音声コンテンツ源310〜315に関連付けられた音声コンテンツは、予め記憶されていてもよく、さもなければAR装置に記憶されてもよい。
図5は、本発明の一実施形態に係る拡張現実を強化した音声コンテンツの、ある環境から他の環境へのマッピングを示している。第1の環境501は、第1の環境501中の様々な場所に位置する1以上の関連する仮想音源502〜505を有しうる。AR装置506は、環境501中のAR装置506の位置に基づき、各仮想音源502〜505に関連付けられた音声コンテンツを修正しうる。AR装置506が新たな第2の環境510に移動すると、AR装置506は、様々な仮想音源502〜505の音声コンテンツを新たな第2の環境510のサイズにマッピングする処理を実行しうる。この点では、AR装置506は、第1の環境501のサイズおよびレイアウトに関する情報と、各仮想音源502〜505の第1の環境501中での相対位置とを受信しうる。AR装置506は、新たな第2の環境510のサイズおよびレイアウトに関する知識を取得し、仮想音源502〜505の第2の環境510へのマッピングを実行するために全ての情報を処理してもよい。よって、本発明の実施形態によれば、AR装置が第2の環境に移動すると、第1の環境に関連付けられた音源が第2の環境にマッピングされてもよい。
さらに、本発明の実施形態によれば、AR装置のユーザは、AR装置により取得された音声コンテンツ中の音声に新たな環境中の位置を割当ててもよい。例えば、音声が他の環境中の位置に関連付けられてもよい。この場合は、ユーザは、新たな環境に入り、かつ新たな環境中の位置を音源に割当てる。代替的に、音声は、環境に関連付けられなくてもよい。この場合、ユーザは、環境に入り、AR装置により取得された音声コンテンツ中の音声に環境中の位置を割当てる。このことは、音声コンテンツ中の音声の音源のために位置を定義することをAR装置のユーザに許すことになる。
添付図面中のフロー図とブロック図は、本発明の様々な実施形態に係るシステム、方法およびコンピュータプログラム製品の予想される実施のアーキテクチャ、機能性、および動作を説明している。この点では、フロー図またはブロック図中の各ブロックは、特定の論理機能を実現するための1以上の実行可能な指令からなる、モジュール、セグメント、またはコードの一部を表しうる。いくつかの代替的な実施では、ブロック中に示された機能は、図中に示した順序とは異なる順序で生じることもある。例えば、関連する機能性に応じては、連続して示した2つのブロックは、実際には実質上同時に実行されてもよく、時には反対の順序で実行されてもよい。ブロック図および/またはフロー図中の各ブロックと、ブロック図および/またはフロー図中のブロックの組合せとは、特定の機能もしくは動作を実行する特殊用途のハードウェアに基づくシステムにより、または特殊用途のハードウェアとコンピュータ指令との組合せにより実施可能である。
ここで用いられる専門用語は、特定の実施形態の説明のみを目的とするものであり、本発明を限定することを意図するものではない。ここで用いられるように、単数形「a」、「an」および「the」は、文脈上明確に指示されない限り複数形も含むことを意図するものである。用語「備える(comprises)」および/または「備える(comprising)」は、明細書中で用いられるとき、記載された特徴、整数(integer)、ステップ、動作、要素、および/または部品の存在を特定するが、1以上の他の特徴、整数、ステップ、動作、要素、部品、および/またはこれらの組合せの存在または追加を除外するものではないことは勿論である。
ここでは、特定の実施形態が説明および記載されているが、当業者であれば、特定の実施形態のために同様の目的を達成すると予想されるいかなるアレンジに置換されてもよいこと、および本発明が他の環境中では他の適用を有することを理解するであろう。本適用は、本発明のいかなる適応または変形をも含むことを意図している。以下の請求項は、ここに説明された特定の実施形態に本発明の範囲を限定することを意図するものでは決してない。

Claims (20)

  1. 拡張現実を強化した音声のための装置(200)であって、
    位置情報を受信可能であり環境中での前記装置(200)の位置を決定可能な位置処理モジュール(202)と、
    前記位置での前記装置(200)の方位を決定可能な方位処理モジュール(203)と、
    前記環境中での前記装置(200)の位置と前記位置での前記装置(200)の方位とに基づき、音声コンテンツを修正可能なプロセッサ(201)と、
    前記修正された音声コンテンツを出力可能な音声出力装置(205)と
    を備える装置。
  2. 前記音声コンテンツを受信可能な入力インタフェース(204)をさらに備える、請求項1に記載の装置。
  3. 前記音声コンテンツを記憶可能な記憶装置(206)をさらに備える、請求項1に記載の装置。
  4. 前記装置(200)は、携帯電話、コンピュータ、携帯情報端末(PDA)、電子ゲーム装置、またはオーディオ装置のうちの1つである、請求項1に記載の装置。
  5. 前記位置情報は、前記装置の位置のGPS座標、前記環境中での音源から前記装置までの距離、前記装置の測位情報、または前記装置の三角測量情報のうちの1以上である、請求項1に記載の装置。
  6. 前記位置での前記装置の方位を決定することは、前記装置の方位角、標高および傾きを決定することである、請求項1に記載の装置。
  7. 前記音声出力装置は、ヘッドセット、イヤプラグ、または1以上のスピーカのうちの1以上である、請求項1に記載の装置。
  8. 拡張現実を強化した音声のための方法であって、
    音声コンテンツを装置により取得すること(101)、
    環境中での前記装置の位置と前記位置での前記装置の方位とに基づき、前記音声コンテンツを前記装置により修正すること(105)、
    前記修正された音声コンテンツを前記装置により出力すること(106)
    を含む方法。
  9. 前記環境中で前記位置から他の位置(316〜320)へ前記装置を移動すること、
    前記他の位置への前記装置の移動と前記他の位置での前記装置の方位とに応じて、前記取得された音声コンテンツを修正すること(105)、
    前記修正された音声コンテンツを前記装置により出力すること(106)
    をさらに含む、請求項8に記載の方法。
  10. 前記装置内の音源から音声コンテンツを取得すること(101)、または1以上の外部音源(405)から音声コンテンツを取得することをさらに含む、請求項8に記載の方法。
  11. 前記環境中に位置する外部音源(405)または前記環境の外部に位置する外部音源(404)のうち1以上から音声コンテンツを取得することをさらに含む、請求項10に記載の方法。
  12. 前記装置の方位は、前記装置の方位角、前記装置の標高、または前記装置の傾きの1以上である、請求項8に記載の方法。
  13. 前記音声コンテンツは、音声と前記音声のラウドネスである、請求項8に記載の方法。
  14. 前記音声のラウドネスは、前記環境中での前記装置の位置と前記位置での前記装置の方位(316〜320)に基づき変化する、請求項13に記載の方法。
  15. 前記音声のラウドネスは、前記環境(301)中での前記装置の位置(316〜320)に対する前記環境中での前記音声の音源の位置(310〜315)に基づく、請求項13に記載の方法。
  16. 前記音声コンテンツ、前記音声コンテンツ中の1以上の音声の音源の情報、および前記環境中での前記1以上の音声の音源の位置を前記装置で受信することをさらに含む、請求項8に記載の方法。
  17. 前記装置のユーザは、前記音声コンテンツ中の音声、前記音声コンテンツ中の音声の音源または前記環境中での音声の音源の位置のうち1以上を決定する、請求項8に記載の方法。
  18. 前記装置が第2の環境(510)中に位置するとき、第1の環境(501)に関連付けられた音声コンテンツを前記第2の環境(510)にスケーリングすることをさらに含む、請求項8に記載の方法。
  19. 前記装置が前記環境中に入ると、前記音声コンテンツを前記装置で受信することをさらに含む、請求項8に記載の方法。
  20. 前記装置のユーザが前記装置により取得された前記音声コンテンツ中の音声の音源に新たな環境中の位置を割当てることをさらに含む、請求項8に記載の方法。
JP2011503962A 2008-04-18 2008-10-16 拡張現実を強化した音声 Pending JP2011521511A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/105,367 2008-04-18
US12/105,367 US8170222B2 (en) 2008-04-18 2008-04-18 Augmented reality enhanced audio
PCT/US2008/080104 WO2009128859A1 (en) 2008-04-18 2008-10-16 Augmented reality enhanced audio

Publications (1)

Publication Number Publication Date
JP2011521511A true JP2011521511A (ja) 2011-07-21

Family

ID=40241463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011503962A Pending JP2011521511A (ja) 2008-04-18 2008-10-16 拡張現実を強化した音声

Country Status (5)

Country Link
US (1) US8170222B2 (ja)
EP (1) EP2277009A1 (ja)
JP (1) JP2011521511A (ja)
CN (1) CN101999067A (ja)
WO (1) WO2009128859A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012249292A (ja) * 2011-05-27 2012-12-13 Visteon Global Technologies Inc 方向性音響データを生成するための方法及び装置
JP2014039140A (ja) * 2012-08-15 2014-02-27 Fujitsu Ltd 推定プログラム、推定装置、及び推定方法
JP2015023534A (ja) * 2013-07-23 2015-02-02 富士通株式会社 情報提供装置、情報提供システム、及び情報提供プログラム
JP2015057700A (ja) * 2013-09-12 2015-03-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド ユーザにナビゲーション支援を提供するための方法及びシステム
JP2016026294A (ja) * 2015-09-03 2016-02-12 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、携帯端末、その制御方法およびプログラム
WO2016140058A1 (ja) * 2015-03-04 2016-09-09 シャープ株式会社 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体
KR20190004809A (ko) * 2016-05-28 2019-01-14 어쿠스틱 날리지, 엘엘씨 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라
JP2021500568A (ja) * 2017-10-26 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 方位判定デバイス、方位判定方法、レンダリングデバイス、およびレンダリング方法

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
DE102009050667A1 (de) * 2009-10-26 2011-04-28 Siemens Aktiengesellschaft System zur Notifikation verorteter Information
US8610771B2 (en) 2010-03-08 2013-12-17 Empire Technology Development Llc Broadband passive tracking for augmented reality
WO2011161487A1 (en) 2010-06-21 2011-12-29 Nokia Corporation Apparatus, method and computer program for adjustable noise cancellation
KR101285391B1 (ko) * 2010-07-28 2013-07-10 주식회사 팬택 음향 객체 정보 융합 장치 및 방법
US9522330B2 (en) 2010-10-13 2016-12-20 Microsoft Technology Licensing, Llc Three-dimensional audio sweet spot feedback
US20130208897A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Skeletal modeling for world space object sounds
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US9037458B2 (en) 2011-02-23 2015-05-19 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US8825187B1 (en) * 2011-03-15 2014-09-02 Motion Reality, Inc. Surround sound in a sensory immersive motion capture simulation environment
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9084001B2 (en) 2011-07-18 2015-07-14 At&T Intellectual Property I, Lp Method and apparatus for multi-experience metadata translation of media content with metadata
US8943396B2 (en) 2011-07-18 2015-01-27 At&T Intellectual Property I, Lp Method and apparatus for multi-experience adaptation of media content
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US9237362B2 (en) 2011-08-11 2016-01-12 At&T Intellectual Property I, Lp Method and apparatus for multi-experience translation of media content with sensor sharing
US8942412B2 (en) 2011-08-11 2015-01-27 At&T Intellectual Property I, Lp Method and apparatus for controlling multi-experience translation of media content
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9606992B2 (en) 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
JP2013101248A (ja) 2011-11-09 2013-05-23 Sony Corp 音声制御装置、音声制御方法、およびプログラム
EP2786594A4 (en) * 2011-11-30 2015-10-21 Nokia Technologies Oy SIGNAL PROCESSING FOR AUDIO SCENE RENDER
WO2013083133A1 (en) * 2011-12-07 2013-06-13 Audux Aps System for multimedia broadcasting
US9408011B2 (en) 2011-12-19 2016-08-02 Qualcomm Incorporated Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
US10129682B2 (en) * 2012-01-06 2018-11-13 Bacch Laboratories, Inc. Method and apparatus to provide a virtualized audio file
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP2645749B1 (en) * 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9384737B2 (en) * 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
CN103841492A (zh) * 2012-11-20 2014-06-04 联想(北京)有限公司 一种音频信号的输出方法及装置
EP2824649A1 (en) * 2013-07-12 2015-01-14 GN Store Nord A/S Audio based learning system comprising a portable terminal connected to an audio unit and plurality of zones
US9244516B2 (en) 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
EP2866217A1 (en) * 2013-10-25 2015-04-29 GN Store Nord A/S An audio information system based on zones and contexts
CN105745602B (zh) * 2013-11-05 2020-07-14 索尼公司 信息处理装置、信息处理方法和程序
US20150139448A1 (en) 2013-11-18 2015-05-21 International Business Machines Corporation Location and orientation based volume control
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
WO2015152951A1 (en) * 2014-03-31 2015-10-08 Hewlett-Packard Development Company, L.P. Media navigation recommendations
US10367818B2 (en) 2014-04-30 2019-07-30 Hewlett-Packard Development Company, L.P. Response to a machine-readable link
WO2016001909A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd Audiovisual surround augmented reality (asar)
US20160026430A1 (en) * 2014-07-25 2016-01-28 Rovio Entertainment Ltd. Device-specific control
EP2977857A1 (en) * 2014-07-25 2016-01-27 Rovio Entertainment Ltd Device-specific control
US10742749B2 (en) 2014-08-11 2020-08-11 Hewlett-Packard Development Company, L.P. Media hotspot payoffs with alternatives lists
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
CN105260158B (zh) * 2015-09-17 2018-09-25 深圳市冠旭电子股份有限公司 一种基于增强现实技术的音频处理方法和装置
PT109485A (pt) * 2016-06-23 2017-12-26 Inst Politécnico De Leiria Método e aparelho de criação de um cenário tridimensional
US9959342B2 (en) 2016-06-28 2018-05-01 Microsoft Technology Licensing, Llc Audio augmented reality system
EP3264801B1 (en) * 2016-06-30 2019-10-02 Nokia Technologies Oy Providing audio signals in a virtual environment
US9906885B2 (en) 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
EP3301951A1 (en) * 2016-09-30 2018-04-04 Koninklijke KPN N.V. Audio object processing based on spatial listener information
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
CN106528038B (zh) * 2016-10-25 2019-09-06 三星电子(中国)研发中心 一种虚拟现实场景下调节音频效果的方法、系统及装置
US11037202B2 (en) * 2016-12-27 2021-06-15 Paypal, Inc. Contextual data in augmented reality processing for item recommendations
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10133544B2 (en) * 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
US10516961B2 (en) * 2017-03-17 2019-12-24 Nokia Technologies Oy Preferential rendering of multi-user free-viewpoint audio for improved coverage of interest
US10531219B2 (en) * 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
CN107016990B (zh) * 2017-03-21 2018-06-05 腾讯科技(深圳)有限公司 音频信号生成方法及装置
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
EP3422743B1 (en) * 2017-06-26 2021-02-24 Nokia Technologies Oy An apparatus and associated methods for audio presented as spatial audio
WO2019067370A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc 3D AUDIO RENDERING USING A VOLUMETRIC AUDIO RENDER AND A PRE-DEFINED AUDIO DETAIL LEVEL
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
EP3470975B1 (en) 2017-10-10 2022-08-24 Nokia Technologies Oy An apparatus and associated methods for presentation of a bird's eye view
US11473911B2 (en) 2017-10-26 2022-10-18 Sony Semiconductor Solutions Corporation Heading determination device and method, rendering device and method
EP3502863A1 (en) * 2017-12-19 2019-06-26 Nokia Technologies Oy An apparatus and associated methods for presentation of first and second augmented, virtual or mixed reality content
EP3503102A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy An apparatus and associated methods for presentation of captured spatial audio content
EP3506081A1 (en) * 2017-12-27 2019-07-03 Nokia Technologies Oy Audio copy-paste function
CN110164464A (zh) * 2018-02-12 2019-08-23 北京三星通信技术研究有限公司 音频处理方法及终端设备
GB2571572A (en) * 2018-03-02 2019-09-04 Nokia Technologies Oy Audio processing
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
EP3595336A1 (en) * 2018-07-09 2020-01-15 Koninklijke Philips N.V. Audio apparatus and method of operation therefor
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency
WO2021128287A1 (zh) * 2019-12-27 2021-07-01 华为技术有限公司 一种数据生成方法及装置
CN113467603B (zh) * 2020-03-31 2024-03-08 抖音视界有限公司 音频处理方法、装置、可读介质及电子设备
KR20210123198A (ko) * 2020-04-02 2021-10-13 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
JP7473489B2 (ja) * 2021-01-15 2024-04-23 トヨタ紡織株式会社 出力制御装置、出力制御システム、および制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0719887A (ja) * 1993-06-30 1995-01-20 Aqueous Res:Kk 音声案内装置
JPH10230899A (ja) * 1997-02-24 1998-09-02 Motoya Takeyama 航空宇宙飛行機のマンマシンインターフェース
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
JP2005309948A (ja) * 2004-04-23 2005-11-04 Yamaha Corp 情報提供装置
JP2006258591A (ja) * 2005-03-17 2006-09-28 Univ Of Tokushima 赤外線案内システムおよび利用者案内端末装置
JP2006266902A (ja) * 2005-03-24 2006-10-05 Werk Japan:Kk 環境音再生を伴うナビゲーション装置
JP2007215228A (ja) * 2002-08-27 2007-08-23 Yamaha Corp サウンドデータ配信システム
WO2008015733A1 (fr) * 2006-07-31 2008-02-07 Pioneer Corporation Dispositif, procédé et programme de commande sonore

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021206A (en) 1996-10-02 2000-02-01 Lake Dsp Pty Ltd Methods and apparatus for processing spatialised audio
AUPP271598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US9183306B2 (en) * 1998-12-18 2015-11-10 Microsoft Technology Licensing, Llc Automated selection of appropriate information based on a computer user's context
JP2001289646A (ja) * 2000-04-06 2001-10-19 Ap One System Co Ltd 位置情報表示システム
JP2003075180A (ja) * 2001-09-03 2003-03-12 Pioneer Electronic Corp 通信ナビゲーションシステム及び方法、並びにコンピュータプログラム
GB2415071B (en) 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
US6990211B2 (en) 2003-02-11 2006-01-24 Hewlett-Packard Development Company, L.P. Audio system and method
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
US7822607B2 (en) * 2005-08-26 2010-10-26 Palo Alto Research Center Incorporated Computer application environment and communication system employing automatic identification of human conversational behavior
US7732694B2 (en) * 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
US8300077B2 (en) * 2008-03-14 2012-10-30 Sony Mobile Communications Ab Enhanced video telephony through augmented reality
JP5616737B2 (ja) * 2009-11-20 2014-10-29 株式会社日立国際電気 半導体装置の製造方法、基板処理方法および基板処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0719887A (ja) * 1993-06-30 1995-01-20 Aqueous Res:Kk 音声案内装置
JPH10230899A (ja) * 1997-02-24 1998-09-02 Motoya Takeyama 航空宇宙飛行機のマンマシンインターフェース
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2007215228A (ja) * 2002-08-27 2007-08-23 Yamaha Corp サウンドデータ配信システム
JP2005309948A (ja) * 2004-04-23 2005-11-04 Yamaha Corp 情報提供装置
JP2006258591A (ja) * 2005-03-17 2006-09-28 Univ Of Tokushima 赤外線案内システムおよび利用者案内端末装置
JP2006266902A (ja) * 2005-03-24 2006-10-05 Werk Japan:Kk 環境音再生を伴うナビゲーション装置
WO2008015733A1 (fr) * 2006-07-31 2008-02-07 Pioneer Corporation Dispositif, procédé et programme de commande sonore

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012249292A (ja) * 2011-05-27 2012-12-13 Visteon Global Technologies Inc 方向性音響データを生成するための方法及び装置
JP2014039140A (ja) * 2012-08-15 2014-02-27 Fujitsu Ltd 推定プログラム、推定装置、及び推定方法
JP2015023534A (ja) * 2013-07-23 2015-02-02 富士通株式会社 情報提供装置、情報提供システム、及び情報提供プログラム
JP2015057700A (ja) * 2013-09-12 2015-03-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド ユーザにナビゲーション支援を提供するための方法及びシステム
WO2016140058A1 (ja) * 2015-03-04 2016-09-09 シャープ株式会社 音声信号再生装置、音声信号再生方法、プログラム、および記録媒体
JP2016026294A (ja) * 2015-09-03 2016-02-12 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、携帯端末、その制御方法およびプログラム
KR20190004809A (ko) * 2016-05-28 2019-01-14 어쿠스틱 날리지, 엘엘씨 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라
KR102036545B1 (ko) * 2016-05-28 2019-10-25 어쿠스틱 날리지, 엘엘씨 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라
US10477117B2 (en) 2016-05-28 2019-11-12 Acoustic Knowledge, LLC Digital camera with audio, visual and motion analysis
JP2021500568A (ja) * 2017-10-26 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 方位判定デバイス、方位判定方法、レンダリングデバイス、およびレンダリング方法
JP7063992B2 (ja) 2017-10-26 2022-05-09 ソニーセミコンダクタソリューションズ株式会社 方位判定デバイス、方位判定方法、レンダリングデバイス、およびレンダリング方法

Also Published As

Publication number Publication date
CN101999067A (zh) 2011-03-30
WO2009128859A1 (en) 2009-10-22
EP2277009A1 (en) 2011-01-26
US8170222B2 (en) 2012-05-01
US20090262946A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
JP2011521511A (ja) 拡張現実を強化した音声
CN110121695B (zh) 虚拟现实领域中的装置及相关联的方法
US10623881B2 (en) Method, computer readable storage medium, and apparatus for determining a target sound scene at a target position from two or more source sound scenes
CN111916039B (zh) 音乐文件的处理方法、装置、终端及存储介质
JP6055657B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
CN108781341B (zh) 音响处理方法及音响处理装置
US20190139312A1 (en) An apparatus and associated methods
WO2014077374A1 (ja) オーディオ信号処理装置、位置情報取得装置、およびオーディオ信号処理システム
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
CN111492342B (zh) 音频场景处理
JP2005046270A (ja) ゲーム装置、コンピュータの制御方法及びプログラム
JP6187131B2 (ja) 音像定位装置
CN112055974A (zh) 音频处理
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
US11696085B2 (en) Apparatus, method and computer program for providing notifications
EP3718312A1 (en) Processing audio signals
CN115623410A (zh) 一种音频处理方法、装置及存储介质
CN116193196A (zh) 虚拟环绕声渲染方法、装置、设备及存储介质
JP2022128177A (ja) 音声生成装置、音声再生装置、音声再生方法、及び音声信号処理プログラム
CN115550831A (zh) 通话音频的处理方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130430