JP2019527956A5

JP2019527956A5 -

Info

Publication number: JP2019527956A5
Application number: JP2019501595A
Authority: JP
Filing date: 2017-05-25
Publication date: 2020-06-18

Claims

仮想音を出力するための装置であって、前記装置は、
ある環境中のオーディオ信号を検出するように構成された１つまたは複数のマイクロフォンと、
前記１つまたは複数のマイクロフォンに結合されたプロセッサと、
を備え、前記プロセッサは、
前記オーディオ信号の残響特性を決定することと、
前記オーディオ信号の前記決定した残響特性に基づいて、前記オーディオ信号の音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記環境に仮想音を挿入することと、ここにおいて、前記挿入された仮想音は、前記検出されたオーディオ信号の前記音源とは異なるが前記検出されたオーディオ信号の前記音源と同じ前記環境の区域である位置において、仮想音源を有し、前記挿入された仮想音は、前記仮想音源の前記位置に基づく到来方向と、前記検出されたオーディオ信号の残響特性に基づく前記残響特性とを有する、
を行うように構成される、装置。
前記第１の視覚的パラメータは、前記環境の視覚的表現において前記音源の前記位置を示し、前記プロセッサは、
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することと、
前記第１の視覚的パラメータと前記仮想音の前記視覚的パラメータとの比較にさらに基づいて前記環境に前記仮想音を挿入することと
を行うようにさらに構成される、請求項１に記載の装置。
前記プロセッサは、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
を行うようにさらに構成される、請求項１に記載の装置。
前記プロセッサは、
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
を行うようにさらに構成される、請求項１に記載の装置。
前記プロセッサに結合されたカメラをさらに備え、前記カメラは、前記環境をキャプチャするように構成される、請求項１に記載の装置。
前記カメラは、防犯カメラを含む、請求項５に記載の装置。
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合され、前記ヘッドセットは、前記環境の視覚的描写を表示するように構成される、請求項５に記載の装置。
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、請求項１に記載の装置。
仮想音を出力するための方法であって、前記方法は、
１つまたは複数のマイクロフォンにおいて、ある環境中のオーディオ信号を検出することと、
前記オーディオ信号の音特性を決定することと、
前記オーディオ信号の前記決定した音特性に基づいて、前記オーディオ信号の音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記検出されたオーディオ信号に基づいて、前記検出されたオーディオ信号の前記音源が位置すると決定された前記環境の前記区域の１つまたは複数の音響特性を推定することと、
前記環境に仮想音を挿入することと、ここにおいて、前記挿入された仮想音は、前記検出されたオーディオ信号の前記音源とは異なるが前記検出されたオーディオ信号の前記音源と同じ前記環境の区域である位置において、仮想音源を有し、前記挿入された仮想音は、前記仮想音源の前記位置に基づく到来方向と、前記検出されたオーディオ信号の残響特性に基づく前記残響特性とを有する、
を備える、方法。
カメラを介して前記環境をキャプチャすることをさらに備える、請求項９に記載の方法。
前記カメラは、防犯カメラを含む、請求項１０に記載の方法。
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合される、請求項１０に記載の方法。
前記ヘッドセットにおいて前記環境の視覚的描写を表示することをさらに備える、請求項１２に記載の方法。
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、請求項９に記載の方法。
仮想音を出力するための命令を備える非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、請求項１１乃至１４のいずれかに記載の方法を備える動作を行わせる、非一時的コンピュータ可読媒体。