JP2006047523A - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2006047523A
JP2006047523A JP2004226274A JP2004226274A JP2006047523A JP 2006047523 A JP2006047523 A JP 2006047523A JP 2004226274 A JP2004226274 A JP 2004226274A JP 2004226274 A JP2004226274 A JP 2004226274A JP 2006047523 A JP2006047523 A JP 2006047523A
Authority
JP
Japan
Prior art keywords
transfer characteristic
importance
acoustic signal
transfer
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004226274A
Other languages
English (en)
Inventor
Shinichi Honda
真一 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004226274A priority Critical patent/JP2006047523A/ja
Publication of JP2006047523A publication Critical patent/JP2006047523A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】 音響信号処理の分散処理の高速化と信頼性の向上とを達成させる。
【解決手段】 直接波部分検出部22、伝達部分検出部23、および残響部分検出部23のそれぞれは、伝達特性記憶部4に記憶されている伝達特性の中から、直接波部分、伝達部分、残響部分のそれぞれを検出する。部分重要度決定部24は、検出された直接波部分と残響部分との部分重要度を決定する。伝達特性重要度決定部5は、その伝達特性自身の伝達特性重要度を決定する。トータル重要度決定部9は、直接波部分と残響部分との部分重要度、および、伝達特性重要度を総合的に判断してトータル重要度を決定する。出力情報生成部10は、直接波部分、残響部分、およびトータル重要度を少なくとも含む情報を出力情報として生成する。本発明は、音響信号処理の前処理を実行する情報処理装置に適用可能である。
【選択図】 図1

Description

本発明は、情報処理装置および方法並びにプログラムに関し、特に、音響信号処理の分散処理の高速化と信頼性の向上とを図るための情報を提供することができる情報処理装置および方法並びにプログラムに関する。
近年、音響信号処理(非特許文献1参照)を実行する信号処理装置が普及している。
このような音響信号処理において、その処理の遅れは許されない。従って、信号処理装置は、所定の時間内にその処理を実行する必要がある。このため、信号処理装置には、処理の高速化が要求されている。また、音響信号処理の中には再計算ができない処理もあり、信号処理装置には、処理の高速化とともに、信頼性の向上も要求されている。
そこで、音響信号処理の分散処理が考えられるようになってきた。即ち、所定の音響信号処理が幾つかの部分処理に分割され、分割された各部分処理のそれぞれが並列的に実行される処理が、音響信号処理の分散処理であるといえる。
大賀寿朗、山崎芳男、金田豊著 「音響システムとディジタル信号処理」 社団法人電子情報通信学会編集および発行 (株)コロナ社出版、平成7年3月25日初版発行
しかしながら、特許文献1等従来の技術を利用して音響信号処理の分散処理を実現したとしても、音響信号処理の分散処理の高速化と信頼性の向上という2つの要求に充分に応えることは困難であるという課題があった。
本発明は、このような状況に鑑みてなされたものであり、音響信号処理の分散処理の高速化と信頼性の向上を図るための情報を提供することができるようにするものである。
本発明の第1の情報処理装置は、所定の音源から所定の到達点までの音波の伝播系における伝達特性を解析し、その解析結果に基づいて、伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分を1以上検出し、音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された1以上の部分のうちの少なくとも1つに対して第1の重要度を決定する解析手段を備えることを特徴とする。
解析手段は、伝達特性を時間領域で解析して、その伝達特性の中から直接波部分を検出する第1の検出手段と、伝達特性を時間領域で解析して、その伝達特性の中から伝達部分を検出する第2の検出手段と、伝達特性を時間領域で解析して、その伝達特性の中から残響部分を検出する第3の検出手段と、第1の検出手段により検出された直接波部分、第2の検出手段により検出された伝達部分、および、第3の検出手段により検出された残響部分のうちの、少なくとも直接波部分と残響部分とに対して第1の重要度を決定する第1の重要度決定手段と有するようにすることができる。
伝達特性から、第1の検出手段により検出された直接波部分、第2の検出手段により検出された伝達部分、および、第3の検出手段により検出された残響部分のそれぞれを分割する分割手段と、分割手段により伝達特性から分割された直接波部分、伝達部分、および、残響部分のうちの少なくとも直接波部分と残響部分とを含み、かつ、第1の重要度決定手段により決定された前記直接波部分の前記第1の重要度と前記残響部分の前記第1の重要度とを少なくともメタデータとして含む情報を出力情報として生成し、出力情報を出力する出力情報生成手段とをさらに設けるようにすることができる。
伝達特性を生成するために必要な1以上のパラメータのそれぞれの値を決定するパラメータ決定手段と、パラメータ決定手段により決定された1以上のパラメータのそれぞれの値を利用して、伝達特性を生成する伝達特性生成手段とをさらに設け、出力情報生成手段は、パラメータ決定手段により決定された1以上のパラメータのそれぞれの値のうちの少なくとも1つの値を、メタデータにさらに含めるようにすることができる。
分割手段は、さらに、伝達特性生成手段により伝達特性が生成されたときに音源から音が発生した時刻を基準時刻とし、基準時刻から直接波部分の開始時刻までの時間を直接波部分の潜伏時間として検出し、基準時刻から残響波部分の開始時刻までの時間を残響部分の潜伏時間として検出し、出力情報生成手段は、分割手段により検出された直接波部分の潜伏時間と残響部分の潜伏時間とをメタデータにさらに含めた出力情報を生成するようにすることができる。
音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、伝達特性自身に対して第2の重要度を決定する第2の重要度決定手段と、第2の重要度決定手段により決定された伝達特性自身の第2の重要度に基づいて、解析手段により決定された、伝達特性内の複数の部分のうちの少なくとも1つの第1の重要度のそれぞれを更新する更新手段とをさらに設けるようにすることができる。
本発明の第1の情報処理方法は、所定の音源から所定の到達点までの音波の伝播系における伝達特性を時間領域で解析し、その解析結果に基づいて、伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分を1以上検出し、音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された複数の部分のうちの少なくとも1つに対して重要度を決定する解析ステップを含むことを特徴とする。
本発明の第1のプログラムは、コンピュータに実行させるプログラムであって、所定の音源から所定の到達点までの音波の伝播系における伝達特性を時間領域で解析し、その解析結果に基づいて、伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分を1以上検出し、音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された複数の部分のうちの少なくとも1つに対して重要度を決定する解析ステップを含むことを特徴とする。
本発明の第1の情報処理装置および方法、並びに第1のプログラムにおいては、所定の音源から所定の到達点までの音波の伝播系における伝達特性が時間領域で解析され、その解析結果に基づいて、伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分が1以上検出され、音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された複数の部分のうちの少なくとも1つに対して重要度が決定される。
本発明の第2の情報処理装置は、後段の所定の音響信号処理において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の伝達特性のそれぞれに対して重要度を決定する重要度決定手段を備えることを特徴とする。
本発明の第2の情報処理方法は、後段の所定の音響信号処理において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の伝達特性のそれぞれに対して重要度を決定する重要度決定ステップを含むことを特徴とする。
本発明の第2のプログラムは、コンピュータに実行させるプログラムであって、後段の所定の音響信号処理において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の伝達特性のそれぞれに対して重要度を決定する重要度決定ステップを含むことを特徴とする。
以上のごとく、本発明によれば、音響信号処理に必要な情報として、伝達特性を提供することができる。特に、その際さらに、音響信号処理の分散処理の高速化と信頼性の向上とを図るための情報として、伝達特性の重要度も提供することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
本発明によれば、第1の情報処理装置が提供される。この第1の情報処理装置(例えば、図1の情報処理装置)は、所定の音源から所定の到達点までの音波の伝播系における伝達特性(例えば、図2の伝達特性31)を解析し、その解析結果に基づいて、前記伝達特性の中から、後段の所定の音響信号処理(例えば、後述するたたみ込み処理)において個別に処理が施されることが可能な部分(例えば、図3の部分41乃至部分50)を1以上検出し、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された1以上の前記部分のうちの少なくとも1つに対して第1の重要度(例えば、後述する部分重要度)を決定する解析手段(例えば、図1の伝達特性解析部7)を備えることを特徴とする。
この第1の情報処理装置において、前記解析手段は、前記伝達特性を時間領域で解析して、その伝達特性の中から直接波部分(例えば、図3の直接波部分42)を検出する第1の検出手段(例えば、図1の直接波部分検出部21)と、前記伝達特性を時間領域で解析して、その伝達特性の中から伝達部分(例えば、図3の伝達部分41,43,45,48,50)を検出する第2の検出手段(例えば、図1の伝達部分検出部22)と、前記伝達特性を時間領域で解析して、その伝達特性の中から残響部分(例えば、図3の残響部分44,46,47)を検出する第3の検出手段(例えば、図1の残響部分検出部23)と、前記第1の検出手段により検出された前記直接波部分、前記第2の検出手段により検出された前記伝達部分、および、前記第3の検出手段により検出された前記残響部分のうちの、少なくとも前記直接波部分と前記残響部分とに対して前記第1の重要度を決定する第1の重要度決定手段(例えば、図1の部分重要度決定部24)とを有するようにすることができる。
この第1の情報処理装置は、前記伝達特性から、前記第1の検出手段により検出された前記直接波部分、前記第2の検出手段により検出された前記伝達部分、および、前記第3の検出手段により検出された前記残響部分のそれぞれを分割する分割手段(例えば、図1の伝達特性分割部8)と、前記分割手段により前記伝達特性から分割された前記直接波部分、前記伝達部分、および、前記残響部分のうちの少なくとも前記直接波部分と前記残響部分(例えば、図5の「部分ID」の項目の記載「42」,「44」,「46」,「47」,「49」のそれぞれの下方に示される波形情報)とを含み、かつ、前記第1の重要度決定手段により決定された前記直接波部分の前記第1の重要度と前記残響部分の前記第1の重要度と(例えば、図5の「トータル重要度」の項目の記載「0.81」,「0.27」,「0.18」,「0.18」,「0.072」。なお、トータル重要度とは、後述するように、伝達特性重要度に基づいて、第1の重要度である部分重要度が更新された値を指す)を少なくともメタデータとして含む情報(例えば、図5に示される情報)を出力情報として生成し、前記出力情報を出力する出力情報生成手段(例えば、図1の出力情報生成部10)とをさらに設けるようにすることができる。
この第1の情報処理装置は、前記伝達特性を生成するために必要な1以上のパラメータのそれぞれの値を決定するパラメータ決定手段(例えば、図1のパラメータ決定部1)と、前記パラメータ決定手段により決定された1以上の前記パラメータのそれぞれの値を利用して、前記伝達特性を生成する伝達特性生成手段(例えば、図1の伝達特性生成部3)とをさらに設け、前記出力情報生成手段は、前記パラメータ決定手段により決定された1以上の前記パラメータのそれぞれの値(例えば、図5の「パラメータ」の項目の記載「5.2m」,「10°」。なお、これらの値の意味については後述する)のうちの少なくとも1つの値を前記メタデータにさらに含めた前記出力情報を生成するようにすることができる。
この第1の情報処理装置において、前記分割手段は、さらに、前記伝達特性生成手段により前記伝達特性が生成されたときに前記音源から音が発生した時刻を基準時刻(例えば、図3の時刻t=0)とし、前記基準時刻から前記直接波部分の開始時刻までの時間を前記直接波部分の潜伏時間として検出し、前記基準時刻から前記残響波部分の開始時刻までの時間を前記残響部分の潜伏時間として検出し、前記出力情報生成手段は、前記分割手段により検出された前記直接波部分の潜伏時間と前記残響部分の潜伏時間(例えば、図5の「潜伏時間(開始時刻)」の項目に記述された「6」,「18」,「23」,「30」,「42」)とを前記メタデータにさらに含めた前記出力情報を生成するようにすることができる。
この第1の情報処理装置は、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、前記伝達特性自身に対して第2の重要度(後述する伝達特性重要度)を決定する第2の重要度決定手段(例えば、図1の伝達特性重要度決定部5)と、前記第2の重要度決定手段により決定された前記伝達特性自身の前記第2の重要度に基づいて、前記解析手段により決定された、前記伝達特性内の複数の前記部分のうちの少なくとも1つの前記第1の重要度のそれぞれを更新する更新手段(例えば、図1のトータル重要度決定部9。即ち、図1の例では、伝達特性重要度に基づいて更新された部分重要度の更新値が、トータル重要度の一形態として取り扱われている)とをさらに設けるようにすることができる。
本発明によれば、第1の情報処理方法が提供される。この第1の情報処理方法は、所定の音源から所定の到達点までの音波の伝播系における伝達特性を解析し、その解析結果に基づいて、前記伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分を1以上検出し、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された複数の前記部分のうちの少なくとも1つに対して重要度を決定する解析ステップ(例えば、図8のステップS41乃至S45の処理)を含むことを特徴とする。
本発明によれば、第1のプログラムが提供される。この第1のプログラムは、上述した本発明の第1の情報処理方法に対応するプログラムであって、例えば、図10の構成のコンピュータにより実行される。
本発明によれば、第2の情報処理装置が提供される。この第2の情報処理装置(例えば、図1の情報処理装置)は、後段の所定の音響信号処理(例えば、後述するたたみ込み処理)において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の前記伝達特性のそれぞれに対して重要度(例えば後述する伝達特性重要度)を決定する重要度決定手段(例えば、図1の伝達特性重要度決定部5)を備えることを特徴とする。
本発明によれば、第2の情報処理方法が提供される。この第2の情報処理方法は、後段の所定の音響信号処理において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の前記伝達特性のそれぞれに対して重要度を決定する重要度決定ステップ(例えば、図7のステップS25の処理)を含むことを特徴とする。
本発明によれば、第2のプログラムが提供される。この第2のプログラムは、上述した本発明の第2の情報処理方法に対応するプログラムであって、例えば、図10の構成のコンピュータにより実行される。
次に、本発明の実施の形態を説明する前に、本発明がなされるまでの経緯と、本発明の原理とについて説明する。
音響信号処理を構成する各部分処理の中には、処理結果が得られなくても音響信号処理全体に与える影響が少ない部分処理も存在する。換言すると、音響信号処理を構成する全ての部分処理が同一の重要度を有しているわけではなく、聴覚上の特徴に応じて各部分処理の重要度も自ずと異なってくる、と本発明人は思想した。
しかしながら、音響信号処理の従来の分散処理においては、これらの聴覚上の特徴は活用されず、各部分処理の重要度は皆同一であるという前提がなされていた。さらに、各部分処理の結果の全てを揃える必要があるという前提もなされていた。この2つの前提こそが、上述した従来の課題の発生要因である、と本発明人は思想した。
即ち、例えば複数のプロセッサで音響信号処理の分散処理を行う場合、従来においては、部分処理の重要度は考慮されていないので、信頼性の高いプロセッサが、重要度の低い部分処理を実行してしまう一方、信頼性の低いプロセッサが、重要度の高い部分処理を実行してしまう場合も多々あった。
このような場合、音響信号処理の従来の分散処理では全ての部分処理の結果が揃うことが前提とされているため、例えば、信頼性の低いプロセッサが所定の部分処理を実行するときに再演算を何度も行ったりすると、音響信号処理全体の処理時間がその分だけ長時間になってしまう。即ち、音響信号処理の分散処理の高速化という要求に応えることはできなくなる、と本発明人は思想した。
また、このような場合、例えば、信頼性の低いプロセッサによる部分処理の演算結果が間違っており、かつ、その部分処理が再計算不可能な処理とされているときには、音響信号処理全体としても適切な処理結果の出力は困難となる。最悪、音響信号処理全体が破綻する恐れもある。即ち、音響信号処理の分散処理の信頼性の向上という要求に応えることはできなくなる、と本発明人は思想した。
以上のように本発明人が思想したことが、本発明がなされるまでの経緯である。
そして、本発明人は、このような思想に基づいて、次のような第1の手法と第2の手法を発明した。換言すると、次の第1の手法と第2の手法との内容こそが、本発明の原理であると言える。
即ち、音響信号処理には潜伏時間が存在することが多い。潜伏時間とは、音響信号処理を時間方向に見た場合、音響信号処理の実行が不要な時間帯を指す。そこで、本発明人は、音響信号処理の前処理として、この潜伏時間を検出する第1の手法を発明した。
また、音響信号処理を構成する各部分処理は、聴覚上の重要度合がそれぞれ異なる。従って、各部分処理に対して重要度を付与することが可能である。即ち、各部分処理に対して優先順位をつけることが可能である。そこで、本発明人は、音響信号処理の前処理として、各部分処理のそれぞれに対して重要度(優先順位)を付与する第2の手法を発明した。
これにより、例えば、音響信号処理の分散処理が複数のプロセッサにより実行される場合、第1の手法により検出された潜伏時間、第2の手法により付与された各部分処理の重要度、および、分散処理を行う複数のプロセッサの特徴や役割を総合的に判断することで、複数のプロセッサのそれぞれに対して適切な部分処理をそれぞれ割り振ることが可能になる。その結果、信頼性の異なる複数のプロセッサ(機器)を用いても、音響信号処理の分散処理が容易に実現可能になり、さらには、その音響信号処理の高速化と信頼性の向上とを図ることが可能になる。即ち、従来の課題を解決することが可能になる。
以下、本発明の第1の手法と第2の手法についてさらに説明する。
音響信号処理として例えば、所定の伝達特性と、音源(ソース)から出力される音響信号とをたたみ込む処理(以下、たたみ込み処理と称する)がよく知られている。
伝達特性とは、単位インパルス状の音波が所定の音源から出力されて所定の空間内を伝播していき所定の点(以下、到達点と称する)に到達した場合、到達点における音波の特性を指す。
即ち、たたみ込み処理の結果として出力される音響信号とは、音源(ソース)から出力された音響信号が空間を伝播していき到達点に達した場合における、その到達点における音響信号を模した(推定した)信号を指す。
換言すると、音源を入力点として、到達点を出力点とした場合、入力点から出力点までの音波の伝播系におけるインパルス応答(伝達関数)が、伝達特性である。別言すると、この音波の伝播系がモデル化されたものが、伝達特性である。従って、音源(ソース)から出力された音響信号がこのモデル内を伝播した場合、そのモデルから出力される音響信号が、たたみ込み処理の結果となる。
このように、伝達特性は、音波の伝播系がモデル化されたものであることから、例えば、時間領域で表すこともできるし、周波数領域で表すこともできる。ただし、以下においては、説明の簡略上、伝達特性は、時間領域で表すとする。より具体的には、以下においては、例えば、到達点における音波の強度を示す信号(電気信号等)のタイミングチャートで表すとする。
この場合、伝達特性は、一般的に次の3つの部分(時間帯)に区分することができる。即ち、音波が到来するまでの部分(伝達時間帯)、直接波部分(直接波が到達点に到達している時間帯)、および、残響部分(直接波以外の音波、即ち、反射波等が到達点に到達している時間帯)、といった3つの部分(時間帯)に伝達特性は区分可能である。
なお、以下、音波(直接波の他、反射波等も含む)が到来するまでの部分を、伝達部分と称する。換言すると、ここで言う伝達部分とは、伝達特性のうちの音波波形の振幅が小さいまたはゼロの部分を指す。より正確には、ここで言う伝達部分とは、音波波形の振幅の大きさが閾値以下の部分(当然ながらゼロ部分も含む)を指す。なお、伝達部分であるか否かを判定するためのこの閾値は、特に限定されず、設計者等が自在に設定可能な値である。この伝達部分は、たたみ込み処理が不要になる部分である。即ち、伝達部分(伝達時間帯)は、上述した潜伏時間に相当する。
従って、音響信号処理としてたたみ込み処理が実行される場合、本発明の第1の手法とは、たたみ込み処理の対象となる伝達特性の中から伝達部分(潜伏時間)を検出する手法であるといえる。
また、たたみ込み処理は、音響信号と直接波部分とをたたみ込む部分処理(以下、直接波たたみ込み処理と称する)と、その音響信号と残響部分とをたたみ込む部分処理(以下、残響部分たたみ込み処理と称する)とに区分することができる。
この場合、本発明の第2の手法とは、例えば次のような手法を指す。
即ち、直接波は、聴覚上、音場の生成に重要な役目を果たす。そこで、直接波たたみ込み処理に対して、または、その処理対象である直接波部分に対しては、高い重要度を付す。これに対して、反射波も重要ではあるものの直接波より優先度は低い。そこで、残響部分たたみ込み処理に対して、または、その処理対象である残響部分に対しては、直接波たたみ込み処理の重要度よりも低い重要度を付す。このような手法が、本発明の第2の手法の1つである。
また、たたみ込み処理の対象となる伝達特性は、一般的に複数個となることが多い。従って、たたみ込み処理全体から見た場合、1つの音響信号と、複数の伝達特性自体のそれぞれとをたたみ込む各処理のそれぞれもまた、部分処理の1つであるといえる。この場合、複数の伝達特性がたたみ込み処理で使用される際の各種状況(シチュエーション)に応じて、複数の伝達特性のそれぞれに対して重要度を付すといった手法も、本発明の第2の手法の1つである。各種状況とは、例えば、複数の伝達特性が生成された際の対象空間内の状況や、その対象空間内に存在するオブジェクト(受聴者や音源含む)の状況等を指す。
なお、所定の空間内の伝達特性単体または複数の伝達特性の集合体、即ち、所定の空間における音波の伝播系のモデル単体または複数のモデルの集合体を、以下、音響システムと称する。即ち、ここで言う音響システムとは、複数のオーディオ機器等から構成されるシステムではなく、いわゆる制御系システムを指す。
以上の内容をまとめると、音響信号処理としてたたみ込み処理が実行される場合、本発明の第2の手法として、音響システム内における1以上の伝達特性自体のそれぞれの重要度を決定する手法と、所定の1つの伝達特性を構成する各部分(後述するように、少なくとも直接波部分と残響部分)の重要度を決定する手法とが少なくとも存在する。
なお、以下、前者の手法で決定される重要度を、伝達特性重要度と称する。また、以下、後者の手法で決定される重要度を、部分重要度と称する。
この場合、第2の手法のうちの後者の手法とは、即ち、部分重要度を決定する手法とは、第1の手法も含めると、結局、次のような手法であるといえる。即ち、所定の1つの伝達特性から、伝達部分(潜伏時間)、直接波部分、および残響部分のそれぞれを検出し、伝達部分(潜伏時間)、直接波部分、および残響部分のうちの直接波部分と残響部分との重要度を少なくとも決定する手法が、部分重要度を決定する手法であるといえる。
なお、「直接波部分と残響部分との重要度を少なくとも決定する」と記述しているのは、伝達部分(潜伏時間)はたたみ込み処理の対象とならないので、一般的に部分重要度を付す必要はないが、後述するように、伝達部分に対して、0のような特定な値を部分重要度として付してもよいからである。
換言すると、音響信号処理としてたたみ込み処理が実行される場合、本発明の第2の手法として、伝達特性重要度を決定する手法単体を適用してもよいし、部分重要度を決定する手法単体を適用してもよいし、或いは、それらの2つの手法の組合せを適用してもよい。それらの2つの手法の組合せとは、伝達特性重要度と部分重要度との両者を用いて総合的な重要度を決定する手法を指す。なお、以下、このように、伝達特性重要度と部分重要度との両者に基づいて決定された総合的な重要度を、トータル重要度と称する。
また、たたみ込み処理以外の音響信号処理であって、伝達特性を使用する音響信号処理であれば、たたみ込み処理の場合と全く同様に、上述した本発明の手法をそのまま利用することが可能である。
さらに、伝達特性重要度、部分重要度、および、トータル重要度のそれぞれの決定方法自体については、即ち、如何にして各重要度を決定するかについては、上述した例に限定されず、後段の音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づく決定方法であればよい。なお、決定方法の具体例については後述する。
以上の内容をまとめると、伝達特性を使用する音響信号処理が実行される場合、本発明の第1の手法とは、潜伏時間を検出する手法である。なお、詳細については図5等を参照して後述するが、第1の手法により検出される潜伏時間とは、伝達特性自体における潜伏時間(伝達部分)の他、第2の手法により部分重要度が決定された各部分のそれぞれにおける潜伏時間、例えば、直接波部分と残響部分のそれぞれにおける潜伏時間も含む。
また、伝達特性を使用する音響信号処理が実行される場合、本発明の第2の手法とは、後段の音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、伝達特性重要度、部分重要度、および、トータル重要度のうちの少なくとも1つを決定する手法であると言える。
次に、図面を参照して、上述した本発明の第1の手法と第2の手法とがともに適用された情報処理装置、即ち、本発明の情報処理装置の実施の形態について説明する。
図1は、本発明の情報処理装置の機能的構成の一例を示している。
図1に示されるように、この情報処理装置には、パラメータ決定部1乃至出力情報生成部10が設けられている。
この情報処理装置は、所定の音響信号処理の前処理を実行する装置である。所定の音響信号処理とは、伝達特性を利用する処理であればその種類や内容は特に限定されないが、ここでは、以下、たたみ込み処理であるとする。
換言すると、たたみ込み処理の前処理の実現に必要な機能ブロックが、パラメータ決定部1乃至出力情報生成部10とされている。従って、図1には図示はしないが、この情報処理装置には、その他の機能ブロック、例えば、たたみ込み処理の実行機能を有する機能ブロックが設けられる場合もある。即ち、たたみ込み処理とその前処理とは、1つの情報処理装置により実行されてもよいし、或いは、複数の情報処理装置により実行されてもよい。
さらにまた、パラメータ決定部1乃至出力情報生成部10のそれぞれは、ここでは1つの情報処理装置に搭載されているとしたが、当然ながら、各機能ブロックのそれぞれは、任意の数の任意の情報処理装置に自在に搭載可能である。即ち、複数の情報処理装置からなる情報処理システムにより、パラメータ決定部1乃至出力情報生成部10のそれぞれの機能を実現してもよい。例えば、パラメータ決定部1、伝達特性生成部3、および、伝達特性重要度決定部5を搭載した第1の情報処理装置と、それ以外の機能ブロックを搭載した第2の情報処理装置とで、本発明を実現してもよい。
以下、パラメータ決定部1乃至出力情報生成部10のそれぞれの機能的構成について個別に説明していく。
パラメータ決定部1は、伝達特性生成部3により伝達特性が生成される際に必要となる各種パラメータの値を決定する。パラメータ決定部1により決定された各種パラメータの値は、パラメータ記憶部2に記憶されるとともに、伝達特性生成部3と伝達特性重要度決定部5とに供給される。
伝達特性生成部3は、パラメータ決定部1から供給された各種パラメータの値を利用して、所定の空間内の所定の音源から所定の到達点までの音波の伝播系における伝達特性を生成する。伝達特性生成部3により生成された伝達特性は、伝達特性記憶部4に記憶されるとともに、伝達特性重要度決定部5に提供される。
なお、伝達特性生成部3により伝達特性が生成される際に対象となる所定の空間とは、実空間の他、仮想空間も含む広義な空間を指す。
実空間における伝達特性が生成される場合、例えば、実世界に存在する実ホール内における伝達特性が生成される場合、音源や到達点も当然ながら、その実空間内の点となる。例えば、音源は、実ホール内に実際に配置されたスピーカとなる。より正確には、音源は、例えば、そのスピーカの表面上の点、内部の点、および、そのスピーカの近傍の点のうちの所定の点、例えば中心点等となる。また、例えば、到達点は、ホール内の所定の椅子に座っている人間やマネキン人形の表面上の点、または、その近傍の点となる。
なお、マネキン人形の耳にマイクロホンが仕込まれたものは、ダミーヘッドマイクロホンと称されている。この呼称の定義によれば、肩から下の胴体がなく頭だけのマネキン人形もまた、ダミーヘッドマイクロホンである。そこで、肩(胴体)があるマネキン人形は、ヘッドアンドトルソシミュレータ(HATS)と称されている。本明細書では、このような肩の有るヘッドアンドトルソシミュレータの他、肩の無い頭だけのダミーヘッドマイクロホンも含めて、マネキン人形と称している。本発明においては、肩の有るマネキン人形と肩の無いマネキン人形とを個々に区別する必要が無いからである。
具体的には例えば、所定の音楽をヘッドホンで受聴者が聴く場合を考える。なお、ここで言う受聴者とは、伝達特性が生成される対象の実ホールとは異なる場所、例えば、自身の家に存在する者を指す。また、受聴者と、伝達特性が生成されるときに実ホール内の椅子に座っていた人間やマネキン人形とを明確に区別するために、以下、実ホール内の椅子にはマネキン人形が座っているとする。
この場合、ヘッドホンで実ホールの音場を再現するためには、即ち、ヘッドホンを着けた受聴者に対して、実ホール内の実椅子にあたかも座って音楽を聴いているように感じさせるためには、例えば、次のような部分処理が実行されることがある。即ち、受聴者の左右の耳それぞれにヘッドホンが音楽を出力することを考慮すると、例えば、その音楽に対応する音響信号と、実ホールの音源からマネキン人形の左耳までの伝達特性とをたたみ込む第1の部分処理と、その音響信号と、実ホールの音源からマネキン人形の右耳までの伝達特性とをたたみ込む第2の部分処理とのそれぞれが実行されるときがある。このようなとき、マネキン人形の左右両耳のそれぞれの近傍の2点が到達点として設定されることになる。
さらに、受聴者の顔の方向によらず、ヘッドホンで実ホールの音場を再現するためには、例えば、上述した音響信号と、実ホールの音源からマネキン人形の近傍の3以上の点のそれぞれまでの伝達特性のそれぞれとをたたみ込む3以上の部分処理が実行されるときがある。このようなとき、マネキン人形の近傍の任意の3以上の点がそれぞれ到達点として設定されることになる。なお、3以上の点の中に、マネキン人形の左右両耳のそれぞれの近傍の2点を含めてもよいし、含めなくてもよい。
さらにまた、受聴者が歩いたりしても、ヘッドホンで実ホールの音場を再現すること等を考慮すると、結局、この実空間(実ホール)内の任意の数の任意の点を到達点として設定することも可能である。
以上のような実空間における伝達特性が生成(測定)されるためには、パラメータ決定部1は、例えば、キーボードやマウスのような入力機器で構成される。
この場合、パラメータ決定部1により決定されるパラメータ、即ち、入力機器により入力されるパラメータとは、例えば、実空間内の各種情報に関連するパラメータ、実空間内に存在する実オブジェクト(実際の椅子やマネキン人形等)に関連するパラメータ、実空間を仕切る実際の壁(ホールの実際の壁等)に関連するパラメータ、実到達点に関連するパラメータ、実音源に関連するパラメータ等である。なお、実到達点に関連するパラメータの中には、それ単体に関連するパラメータの他、実音源からの相対的な距離、方向、および角度といった実到達点と実音源との関係性を示すパラメータも含まれる。
また、伝達特性生成部3は、例えば、音波の強度信号を連続時間測定し、タイミングチャートとして出力可能な測定機器で構成される。即ち、実空間における実音源から単位インパルス状の音波が発生された場合、伝達特性生成部3は、所定の実到達点に到達する音波の波形を連続時間測定し、所定の時間帯の測定結果であるタイミングチャートを伝達特性として生成する。
或いは、伝達特性生成部3は、例えば、MATLAB(商標)等の制御シミュレーション機能を有するソフトウエアで構成される。即ち、伝達特性生成部3は、パラメータ決定部1により決定された各種パラメータの値に基づいて、実空間における実音源から実到達点までのインパルス応答(時間領域)を推定演算し、その推定演算結果を伝達特性として生成する。
なお、このような制御シミュレーションにより伝達特性が推定演算される場合、ホール内の椅子に座るマネキン人形の顔等は、例えば、剛球として取り扱われる。即ち、剛球上の点またはその近傍の点が、到達点として設定される。
或いは、ホール内の椅子に座るマネキン人形の顔等がスキャンされ、そのスキャン結果が、制御シミュレーションに反映される場合もある。この場合には、剛球を利用する制御シミュレーションに比較して、より正確な伝達特性が推定演算される。
このような実空間に対して、仮想空間における伝達特性が生成される場合、例えば、仮想ホール内を構築する仮想空間における伝達特性が生成される場合、音源や到達点も当然ながら、その仮想空間内の点となる。例えば、音源は、仮想ホール内に配置された仮想スピーカとなる。より正確には、音源は、例えば、その仮想スピーカの表面上の点、内部の点、および、その仮想スピーカの近傍の点のうちの所定の点、例えば中心点等となる。また、例えば、到達点は、仮想ホール内の所定の仮想椅子に座っている仮想キャラクタ(いわゆるバーチャルシュミレーションゲーム等に登場する仮想人間や仮想動物等)の表面上の点、または、その近傍の点となる。
具体的には例えば、受聴者が仮想キャラクタになったとして、仮想空間内に流れる所定の音楽を仮想キャラクタが聴く状況を、ヘッドホンで再現する場合を考える。ただし、この場合、受聴者の動きと仮想キャラクタの動きとは必ずしも同期する必要はない。
この場合、ヘッドホンで仮想ホールの音場を再現するためには、即ち、仮想キャラクタが仮想ホール内の仮想椅子に座って音楽を聴いている状況を、ヘッドホンで再現するためには、例えば、次のような部分処理が実行されるときもある。即ち、受聴者の左右の耳それぞれにヘッドホンが音楽を出力することを考慮すると、例えば、その音楽に対応する音響信号と、仮想ホールの仮想音源から仮想キャラクタの左耳までの伝達特性とをたたみ込む第1の部分処理と、その音響信号と、仮想ホールの仮想音源から仮想キャラクタの右耳までの伝達特性とをたたみ込む第2の部分処理とのそれぞれが実行されるときがある。このようなとき、仮想キャラクタの左右両耳のそれぞれの近傍の2点が到達点として設定される。
さらに、仮想空間における仮想キャラクタの顔の方向に応じて、ヘッドホンで仮想ホールの音場を再現するためには、例えば、上述した音響信号と、仮想ホールの音源から仮想キャラクタの近傍の3以上の点のそれぞれまでの伝達特性のそれぞれとをたたみ込む3以上の部分処理が実行されるときがある。このようなとき、仮想キャラクタの近傍の任意の3以上の点がそれぞれ到達点として設定される。なお、3以上の点の中に、仮想キャラクタの左右両耳のそれぞれの近傍の2点を含めてもよいし、含めなくてもよい。
さらにまた、仮想空間内で仮想キャラクタが歩いたりしても、ヘッドホンで実ホールの音場を再現すること等を考慮すると、結局、この仮想空間内の任意の数の任意の点を到達点として設定することができる。
以上のような仮想空間における伝達特性が生成されるためには、パラメータ決定部1は、例えば、仮想空間内の操作が可能なソフトウエアで構成される。即ち、この場合、ソフトウエアは、仮想空間内において仮想音源や仮想到達点を設定すると、その設定に関連する各種パラメータの値を決定する。
この場合、パラメータ決定部1により決定されるパラメータとは、例えば、仮想空間内の各種情報(仮想空間内の物理法則や定理等)に関連するパラメータ、仮想空間内に存在する仮想オブジェクト(仮想キャラクタや仮想椅子等)に関連するパラメータ、仮想空間を仕切る仮想壁(仮想ホールの壁等)に関連するパラメータ、仮想到達点に関連するパラメータ、仮想音源に関連するパラメータ等である。なお、仮想到達点に関連するパラメータの中には、それ単体に関連するパラメータの他、仮想音源からの相対的な距離、方向、および角度といった仮想到達点と仮想音源との関係性を示すパラメータも含まれる。
また、伝達特性生成部3は、例えば、MATLAB(商標)等の制御シミュレーション機能を有するソフトウエアで構成される。即ち、伝達特性生成部3は、パラメータ決定部1により決定された各種パラメータの値に基づいて、仮想空間における仮想音源から仮想到達点までのインパルス応答(時間領域)を推定演算し、その推定演算結果を伝達特性として生成する。
このようにして伝達特性生成部3により生成された1以上の伝達特性のそれぞれは、伝達特性記憶部4に記憶されるとともに、伝達特性重要度決定部5に供給される。
伝達特性重要度決定部5は、供給された伝達特性についての音響システム内(対象空間内)での重要度、即ち、伝達特性重要度を決定し、伝達特性重要度記憶部6に記憶させる。
この場合、伝達特性重要度決定部5は、パラメータ決定部1から供給された各種パラメータの値の他、図示せぬ様々な情報に基づいて、伝達特性重要度を決定することができる。即ち、上述したように、たたみ込み処理の特徴とそれが実行される場合の状況とのうちの少なくとも1つに対応するような情報であれば、伝達特性重要度決定部5は任意の情報を利用することができる。
換言すると、伝達特性重要度の決定方法は、上述したように、たたみ込み処理の特徴とそれが実行される場合の状況とのうちの少なくとも1つに基づく決定方法であれば、特に限定されない。
以下、伝達特性重要度の決定方法として、幾つかの具体例を挙げる。
例えば、ヘッドホン等で音声を聴く受聴者が、所定の仮想空間内の仮想キャラクタになり、仮想空間内で仮想体験をするとする。即ち、受聴者は、仮想キャラクタとして、仮想空間内を自在に移動し、また、仮想空間内で発生した音を聴くとする。
この場合、例えば、仮想空間内の所定の仮想音源から発生された音が仮想空間内を伝播し仮想キャラクタに到達したときに仮想キャラクタが聴くであろう音をヘッドホンで再現する処理が、後段の音響信号処理として必要になる。即ち、後段の音響信号処理として、例えば、仮想空間内の所定の仮想音源から発生された音に対応する音響信号と、伝達特性生成部3により生成された1以上の伝達特性のそれぞれとをたたみ込む処理が必要になる。
この場合、たたみ込み処理に必要な伝達特性は、仮想空間内の仮想音源と仮想キャラクタとの相対位置が変わる度に異なることになる。即ち、図1の伝達特性生成部3は、仮想空間内の仮想音源と仮想キャラクタとのうちの少なくとも一方が移動する度に、伝達特性を再生成していくことになる。
このとき、当然ながら、仮想空間内の仮想音源と仮想キャラクタとの位置関係が変化することになる。そこで、仮想音源と仮想キャラクタとの位置関係に応じて、再生成された伝達特性の伝達特性重要度を決定する、といった第1の決定方法が採用可能である。
また、仮想空間内の変化に応じて、仮想音源も変化することがある。仮想音源の変化とは、その位置が相対的に移動することの他、発生する音のパワー(振幅)の大小が変化することも指す。即ち、仮想音源が変化することの中には、仮想音源の音量が変化することも含まれる。
このように仮想音源の音量が変化される場合等に、その音量を利用して伝達特性重要度を決定する、といった第2の決定方法が採用可能である。例えば、同一位置の仮想音源から同一位置の到達点までの伝達特性であっても、その仮想音源の音量が大きい場合と小さい場合とで、その伝達特性重要度を異ならせる、といった方法が第2の決定方法の一例である。
なお、音量は、上述したパワーといった物理的な量の他、聴覚的な量でも表現可能である。即ち、音量は、物理的な量と聴覚的な量とのうちの片方または両方で表現される。
また、仮想キャラクタのこれまでの行動履歴を利用して伝達特性重要度を決定する、といった第3の決定方法が採用可能である。
仮想キャラクタのこれまでの行動履歴とは、例えば、所定の仮想音源に対して仮想キャラクタが相対的に動いている場合、その動いている速度や方向を指す。なお、相対的に動いていると記載したのは、仮想音源が固定されて仮想キャラクタが動く場合、仮想キャラクタが固定されて仮想音源が動く場合、および、仮想音源と仮想キャラクタとのいずれもが動く場合の全てを考慮しているためである。
この場合、例えば同じ伝達特性であっても、仮想キャラクタが仮想音源に相対的に近づくように動いてきて仮想到達点に到達した場合と、仮想キャラクタが仮想音源から相対的に遠ざかるように動いてきて仮想到達点に到達した場合とでは、当然ながら、仮想音源から仮想到達点までの伝達特性の重要度は異なることになる。そこで、例えば、前者の場合には伝達特性重要度を高くする一方、後者の場合には伝達特性重要度を低くする、といった決定方法が第3の決定方法の一例である。
また、仮想キャラクタまたは仮想音源の移動は、図示せぬ複数プロセッサであらかじめ予測される範囲の計算を行っておけば実現可能である。ここでいう予測される範囲とは、仮想キャラクタの体の構造や特徴を考慮して決定される範囲である。
このような仮想キャラクタの体の構造や特徴を考慮して、即ち、例えば、仮想キャラクタの行動の予測される範囲を考慮して伝達特性重要度を決定する、といった第4の決定方法が採用可能である。
具体的には例えば、仮想空間の物理法則や定理が実空間に従うとすると、仮想キャラクタもまた、「1マイクロ秒で真後ろを向くことができない」といった体の構造または特徴を有していることになる。この場合、仮想キャラクタの次の瞬間の行動として、正面を見続ける行動と、突然後ろに振り返る行動とでは、前者が行われる可能性の方が当然ながら高くなる。即ち、仮想キャラクタの次の瞬間の顔の方向の予測範囲は自ずと決まってくる。
このような場合、例えば、仮想キャラクタの進行方向に対して水平面で見開き角度の狭い部分に到達点が存在するときには、その伝達特性重要度を上げ、到達点の存在位置が見開き角度が広くなっていくにつれて、その伝達特性重要度を下げていく、といった方法が第4の決定方法の一例である。
正中面に対しても同様に、例えば、打ち上げ角の見開き角度が低い部分に到達点が存在するときには、その伝達特性重要度を上げ、到達点の存在位置が見開き角度が広くなっていくにつれて、その伝達特性重要度を下げていく、といった方法も第4の決定方法の一例である。
さらに、第4の決定方法を応用すると、仮想音源の行動の予測される範囲を考慮して、伝達特性重要度を決定する、といった第5の方法も採用可能である。即ち、音源の移動を表現するために、複数の実音源もしくは仮想音源に対して、その音量(振幅)または時間差(位相)を制御することがある。例えば今の場合、その制御は仮想音源で実現されることになり、制御対象となる仮想音源をあらかじめ生成しておかなければならない。このような場合に、仮想音源が移動する可能性の高い方向に対しては伝達特性重要度を高く設定し、可能性が低くなるに応じて伝達特性重要度を下げるといった方法も第5の決定方法の一例であると言える。
以上、仮想空間内の伝達特性重要度の決定方法の例として、第1の決定方法乃至第5の決定方法について説明したが、上述した「仮想キャラクタ」を、「受聴者」(または「マネキン人形」)と訂正し、かつ、「仮想音源」等「仮想」がつくものを「実音源」等「実」がつくものに訂正することで、上述した第1の決定方法乃至第5の決定方法を、実空間内の伝達特性重要度の決定方法としても採用することも当然ながら可能になる。
また、以上の第1の決定方法乃至第5の決定方法のうちの少なくとも1つの決定方法に基づいて、伝達特性重要度が決定される場合、その伝達特性重要度は所定のパラメータ値で正規化(スケーリング)しておくと好適である。
例えば、第1の決定方法等、距離に基づいて伝達特性重要度が決定される場合、その伝達特性重要度は所定の距離で正規化(スケーリング)しておくと好適である。例えば、音源から到達点までの距離が1mの場合の伝達特性であっても、縦×横×高が3m×3m×3mの部屋内の空間における伝達特性の伝達特性重要度と、縦×横×高が無限遠×3km×3kmの広場の空間における伝達特性の伝達特性重要度とは自ずと異なってくるためである。即ち、このような空間サイズの違いを考慮するため、所定の距離をパラメータ値として、そのパラメータ値で正規化すると好適である。
従って、空間サイズの違いを考慮するためには、上述した距離のパラメータによるスケーリングのみならず、例えば、次のようなパラメータ値を利用するスケーリングも好適である。即ち、例えば、空間の広さの最大値をパラメータ値として利用するスケーリングも好適である。或いは、仮想空間が広すぎる場合等をさらに考慮して、最大値ではなく任意の広さの値をパラメータ値として利用するスケーリングも好適である。
さらに、スケーリングは、上述した例に限定されず、様々なスケーリングが適用可能である。
例えば、伝達特性重要度と距離のパラメータ値とが時間とともに変化するようなスケーリングも適用可能である。具体的には例えば、パラメータ値として、一定時間の観測における最も近い音源の距離を利用するスケーリングも適用可能である。より具体的には例えば、過去1分の中の最大の音量(音量は、音源と到達点の距離を利用して表すことができるため)をパラメータ値として利用するスケーリングが採用可能である。さらに、この際に最大値の他に平均値などを、パラメータ値として利用するスケーリングも採用可能である。
また例えば、伝達特性重要度と距離のパラメータ値とが時間とともに変化する場合には、時定数を用いたスケーリングを採用することができる。時定数を用いたスケーリングとは、遠くに音源が生成されれば、距離のパラメータ値は、すぐに遠くを示す値なるが、そのあとは時間とともにだんだん近くなる(そのような値)となる処理を指す。即ち、時定数を用いたスケーリングとは、いわゆるピークホールド型レベルメータの処理と類似する処理を指す。
以上説明したように、パラメータ決定部1、伝達特性生成部3、および、伝達特性重要度決定部5が上述した一連の処理を実行することで、1以上の伝達特性が伝達特性記憶部4に記憶され、1以上の伝達特性のそれぞれが生成される際に用いられた各種パラメータの値がパラメータ記憶部2に記憶され、かつ、1以上の伝達特性のそれぞれの伝達特性重要度が伝達特性重要度記憶部6に記憶される。すると、伝達特性解析部7乃至出力情報生成部10は機能することになる。
伝達特性解析部7は、伝達特性記憶部4に記憶された1以上の伝達特性の中から所定の1つを取得し、その解析を行う。伝達特性解析部7は、その解析結果に基づいて、伝達特性の中から、後段のたたみ込み処理において個別に処理が施されることが可能な部分を1以上検出する。そして、伝達特性解析部7は、たたみ込み処理の特徴と、そのたたみ込み処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された1以上の部分のうちの少なくとも1つに対して上述した部分重要度を決定する。
なお、このように、伝達特性解析部7により検出される部分は、後段のたたみ込み処理において個別に処理が施されることが可能な部分であれば特に限定されないが、ここでは例えば、上述した直接波部分、伝達部分、および、残響部分とされている。
このため、図1の例の伝達特性解析部7には、直接波部分検出部21乃至部分重要度決定部24が設けられている。
例えばいま、伝達特性解析部7の解析対象が、図2に示される伝達特性31であるとして、以下、直接波部分検出部21乃至部分重要度決定部24のそれぞれを個別に説明していく。
直接波部分検出部21は、伝達特性記憶部4から伝達特性31を取得し、その伝達特性31の中から直接波部分の検出を行う。例えばいまの場合、直接波部分検出部21は、図3に示される伝達特性31(図2と同一)のうちの部分42を、直接波部分として検出する。
この場合、直接波部分の検出方法は特に限定されず、例えば次のような3つの検出方法が採用可能である。
1つ目の検出方法とは、伝達特性31(インパルス応答31)が電気信号で与えられた場合、インパルス応答31のうちの、その電力がピークになる部分とその近傍を、直接波部分として検出する、といった検出方法である。
2つ目の検出方法とは、インパルス応答31の時間変化の傾き、即ち、一次微分値から直接波部分を検出する、といった検出方法である。
3つ目の検出方法とは、伝達特性31が伝達特性生成部3により生成された際に設定された音源と到達点との間の距離、および、伝達特性31が生成された時点の音速から、直接波部分を検出する、といった検出方法である。
なお、音源と到達点との間の距離、および、音速は、例えば、パラメータ値の1つとしてパラメータ記憶部2に記憶可能である。従って、直接波部分検出部21は、3つ目の検出方法を利用する場合、図1には図示されていないが、パラメータ記憶部2に記憶されたこれらのパラメータ値を利用すればよい。
このような検出手法を利用する直接波部分検出部21により直接波部分が検出されると、その検出結果は、伝達部分検出部分22に供給される。伝達部分検出部22にはまた伝達特性31も供給される。
伝達部分検出部22は、伝達特性31の中から伝達部分の検出を行う。例えばいまの場合、伝達部分検出部22は、図3に示される伝達特性31のうちの、部分41,43,45,48,50のそれぞれを、伝達部分として検出する。
なお、上述したように、伝達部分の時間帯が潜伏時間に相当するので、図1に示されるように、伝達部分検出部22はまた潜伏時間検出部22であるともいえる。即ち、図3のt=0[msec]乃至6[msec]までの伝達部分41の時間帯が、伝達特性31における潜伏時間である。同様に、t=12[msec]乃至18[msec]までの伝達部分43の時間帯、t=21[msec]乃至23[msec]までの伝達部分45の時間帯、t=35[msec]乃至42[msec]までの伝達部分48の時間帯、および、t=45[msec]乃至53[msec]までの伝達部分50の時間帯もそれぞれ、伝達特性31における潜伏時間である。
このような伝達部分検出部22の伝達部分の検出方法、即ち、潜伏時間検出部22の潜伏時間の検出方法は特に限定されず、例えば次の2つの検出方法が採用可能である。
1つ目の検出方法とは、伝達特性31自体の開始時点(以下、基準時刻と称する。図3の例ではt=0が基準時刻)から、直接波部分の開始時点(即ち、図3の例ではt=6)までの部分(時間帯)を、伝達部分(潜伏時間)として検出する、といった検出方法である。
なお、基準時刻とは、即ち、t=0とは、伝達特性生成部3により伝達特性31が生成された際の、単位インパルス状の音波が音源から発生した時点を指す。
2つ目の検出方法とは、伝達特性31(インパルス応答31)が電気信号で与えられた場合、インパルス応答31のうちの、その電力がゼロまたはゼロに近い部分(時間帯)を、伝達部分(潜伏時間)として検出する、といった検出方法である。
具体的には例えば図3の例では、2つ目の検出方法とは、その電力がゼロである図3の部分41,45,50の他、図3の部分43,48のように、その電力が完全にゼロでなくてもゼロとみなされる部分も含めて、伝達部分として検出する、といった検出方法である。
なお、以下、伝達特性31を含む全ての電気信号のうちの、電力がゼロの部分とゼロに近い部分とをまとめて、単にゼロ部分と称する。また、電気信号のうちの、ゼロ部分以外の部分を、非ゼロ部分と称する。
このようにして伝達部分検出部22(潜伏時間検出部22)により伝達部分(潜伏時間)が検出されると、その検出結果は残響部分検出部23に供給される。残響部分検出部23にはその他、伝達特性31と、直接波部分検出部21の検出結果も供給される。
残響部分検出部23は、伝達特性31の中から残響部分の検出を行う。例えばいまの場合、残響部分検出部23は、図3に示される伝達特性31のうちの、部分44,46,47,49のそれぞれを、残響部分として検出する。
この場合、残響部分の検出方法は特に限定されず、例えば次のような方法が採用可能である。即ち、例えば、伝達特性31(インパルス応答31)が電気信号で与えられた場合、インパルス応答31のうちの非ゼロ部分を残響部分として検出する、といった検出方法を採用することができる。
このようにして残響部分検出部23により残響部分が検出されると、その検出結果は、伝達特性分割部8と部分重要度決定部24とのそれぞれに供給される。伝達特性分割部8と部分重要度決定部24とのそれぞれには、その他、直接波部分検出部21の検出結果と、伝達部分22の検出結果とが供給される。
部分重要度決定部24は、伝達特性31のうちの、直接波部分検出部21により検出された直接波部分42の部分重要度と、残響部分検出部23により検出された残響部分44,46,47,49の部分重要度とをそれぞれ決定する。
この場合、部分重要度の決定方法は、上述したように、後段のたたみ込み処理の特徴と、そのたたみ込み処理が実行された場合の状況とのうちの少なくとも1つに基づく決定方法であれば特に限定されず、例えば次のような3つの決定方法が採用可能である。
1つ目の決定方法とは、上述したように、聴覚上の特性から直接波部分は残響部分より重要であるので、直接波部分の部分重要度を高い値に決定し、残響部分の部分重要度をそれよりも低い値に決定する、といった決定方法である。
具体的には例えば、図4の「部分重要度」の項目に示されるように、直接波部分42の部分重要度を0.9に決定し、残響部分44,46,47,49の部分重要度を0.3以下に決定する、といった決定方法が1つ目の決定方法の一例である。
2つ目の決定方法とは、次の決定方法を指す。即ち、等感度曲線に合わせた聴覚補正を行ったり、マスキングなどの人間の聴覚モデルを用いると、人間が実際に聞いたときに感じる音(その特性)が得られる。そこで、人間が実際に聞いたときに感じるこの音を利用して部分重要度を決定する、といった決定方法である。
聴覚補正とは、一般的には騒音計に用いられているA特性そのものやこれに類するものを指しており、人間の聴覚の特性を単純に模擬したものを指す。
聴覚補正についてさらに説明する。即ち、超低音や超高音に対して、人間の感度は低い。従って、超低音や超高音が中音と同じ大きさに聞こえるためには、換言すると、超低音や超高音に対する人間の感度を中音に対するそれと等しくするためには、超低音や超高音の音圧を大きくする必要がある。このように、音に対する人間の感度はその周波数によって異なり、人間の耳には同一の大きさに聞こえる音の周波数分布が、等感度曲線である。具体的には例えば、横軸が周波数とされ、縦軸が音の大きさとされた平面において、各周波数のそれぞれにおける、人間の耳には同一の大きさの音に聞こえる点のそれぞれを結んだ線が、等感度曲線である。
この等感度曲線を逆に利用することで、中音の大きさと同一の大きさで超低音や超高音を与えても、人間の耳には小さく聞こえるという特性を表現することが可能になる。このような特性を表現することが、聴覚補正である。
従って、このような聴覚補正を行うことで、たとえ、大きな高音が与えられたとしても、その高音は人間の聴覚上さほど大事ではなく、その結果、その高音に対応する部分の重要度を低い値に決定する、といった決定方法が、2つ目の決定方法として採用可能になる。
なお、この2つ目の決定方法は、上述した伝達特性重要度決定部5により決定される伝達特性重要度の決定方法としても採用可能である。即ち、対象の伝達特性全体の周波数特性に応じて伝達特性重要度を決定するといった決定方法もまた、上述した幾つかの方法に加えて、伝達特性重要度の決定方法として採用可能である。
3つ目の決定方法とは、次のような決定方法を指す。即ち、残響部分は複数個となる場合が多々ある。例えばいまの場合、図3の伝達特性31には、4つの残響部分44,46,47,49が存在する。このような場合、複数の残響部分のそれぞれの部分重要度も自ずと異なってくる。そこで、各残響部分の部分重要度のそれぞれを決定する必要がある。このような各残響部分の部分重要度のそれぞれを決定する決定方法が、3つ目の決定方法である。
例えば、残響部分の電力を利用したり、直接波部分が到達点に到達してから対象の残響部分が到達点に到達するまでに要した時間を利用したり、或いは、それらの組合せを利用して、対象の残響部分の部分重要度を決定する、といった決定方法が3つ目の決定方法の一例である。
また例えば、振幅の大きい残響部分や低次反射成分若しくは低次反射波形を有する残響部分の部分重要度を高い値に決定し、振幅の小さい残響部分や高次反射成分若しくは高次反射波形を有する残響部分の部分重要度を低い値に決定する、といった決定方法が3つ目の決定方法の一例である。
さらに例えば、上述した2つ目の決定方法をそのまま利用する、といった決定方法も3つ目の決定方法の一例であると言える。
このような3つ目の決定方法が部分重要度決定部24に採用されると、例えば、伝達特性31における、4つの残響部分44,46,47,49のそれぞれの部分重要度として、図4に示されるような、0.3、0.2、0.2、0.08といった相異なる値(0.2はたまたま同一値)が、部分重要度決定部24によりそれぞれ決定される。
以上、部分重要度の決定方法として、3つの例について説明した。繰り返しになるが、部分重要度の決定方法は、後段のたたみ込み処理の特徴と、そのたたみ込み処理が実行された場合の状況とのうちの少なくとも1つに基づく決定方法であれば、上述した3つの例に限定されない。
換言すると、上述した3つの例のような「人間の聴覚上の特性」は、後段のたたみ込み処理の特徴または、そのたたみ込み処理が実行された場合の状況とのうちの1つを示す情報であると言える。「人間の聴覚上の特性」以外にも、後段のたたみ込み処理の特徴または、そのたたみ込み処理が実行された場合の状況とのうちの1つを示す情報は多数存在する。例えば、このような情報として「音波の振幅の単純な大小」が挙げられる。
ただし、「音波の振幅の大小」だけに基づく単純な決定方法を利用するよりも、上述した3つの例のような「人間の聴覚上の特性」に基づく決定方法を採用した方が、後段のたたみ込み処理の結果を利用する人間にとって適切な部分重要度が得られることになる。即ち、部分重要度の決定方法としては、音波の振幅の大小だけに基づく単純な決定方法よりも、上述した3つの例のような人間の聴覚上の特性に基づく決定方法を採用した方が好適である。
なお、部分重要度決定部24はさらに、伝達特性31内の伝達部分41,43,45,48,50の部分重要度を決定してもよい。例えば図4の例では、伝達部分41,43,45,48,50のそれぞれの部分重要度としていずれも0が設定されている。
しかしながら、上述したように、後段のたたみ込み処理では、伝達特性31のうちの伝達部分41,43,45,48,50には処理を施す必要が無い。従って、伝達部分41,43,45,48,50については、部分重要度の決定は特に必須ではない。以下の説明においても、部分重要度決定部24は、伝達特性31のうちの、直接波部分42と残響部分44,46,47,49とについてのみ部分重要度を決定し、伝達部分41,43,45,48,50の部分重要度は決定しないとする。
以上説明した部分重要度決定部24に供給された各検出結果、即ち、直接波部分検出部21の検出結果、伝達部分検出部22の検出結果、および、残響部分検出部23の検出結果はまた、上述したように、伝達特性分割部8にも供給される。伝達特性分割部8にはまた、伝達特性解析部7の解析対象の伝達特性、例えばいまの場合には図2の伝達特性31も供給される。
そこで、伝達特性分割部8は、直接波部分検出部21の検出結果、伝達部分検出部22の検出結果、および、残響部分検出部23の検出結果のそれぞれに基づいて、伝達特性記憶部4から供給された伝達特性31を、図3の直接波部分42、残響部分44,46,47,49、および、伝達部分41,43,45,48,50のそれぞれに分割し、出力情報生成部10に供給する。
より正確には、上述したように、伝達部分41,43,45,48,50自体は後段のたたみ込み処理で特に利用されないので、ここでは例えば、伝達特性31のうちの、直接波部分42、および残響部分44,46,47,49のみが出力情報生成部10に供給されるとする。
伝達特性分割部8はその他、例えば、伝達特性ID、部分ID、および潜伏時間(開始時刻)も出力情報生成部10に供給する。
ここで、伝達特性ID、部分ID、および潜伏時間(開始時刻)について説明する。
即ち、図示はしないが、伝達特性31を利用する後段のたたみ処理の分散処理が例えば5つのプロセッサにより行われる場合、第1のプロセッサにより直接波部分42のたたみ込み処理が、第2のプロセッサにより残響部分44のたたみ込み処理が、第3のプロセッサにより残響部分46のたたみ込み処理が、第4のプロセッサにより残響部分47のたたみ込み処理が、第5のプロセッサにより残響部分49のたたみ込み処理が、それぞれ行われることがある。
このようなとき、後段の第1のプロセッサ乃至第5のプロセッサは、直接波部分42、および残響部分44,46,47,49の中から処理対象の部分を適切に取得し、かつ、処理対象の部分は伝達特性31のうちのどの時間帯に存在するのかを特定する必要がある。
このため、伝達特性分割部8は、例えば、伝達特性31を特定するためのID、直接波部分42、および残響部分44,46,47,49のそれぞれを特定するためのIDを付与し、それらのIDを出力情報生成部10に供給する。即ち、伝達特性31自体を特定するためのIDが伝達特性IDであり、また、伝達特性31のうちの、直接波部分42、および残響部分44,46,47,49のそれぞれを特定するIDが、部分IDである。
なお、伝達特性IDと部分IDとのそれぞれの付与方法は特に限定されないが、ここでは例えば、図面の符号がそのまま付与されるとする。即ち、ここでは例えば、後述する図5の「伝達特性ID」と「部分ID」との項目に示されるように、伝達特性31の伝達特性IDとして31が付与され、かつ、直接波部分42、および残響部分44,46,47,49のそれぞれの部分IDとして、42,44,46,47,49のそれぞれが付与されるとする。
さらに、伝達特性分割部8は、直接波部分42、および残響部分44,46,47,49のそれぞれの開始時刻も出力情報生成部10に供給する。開始時刻とは、各部分における、直前の部分との分割点の時刻を指す。従って、例えばいまの場合、上述した図3と後述する図5に示されるように、直接波部分42、および残響部分44,46,47,49のそれぞれの開始時刻として、6[msec]、18[msec]、23[msec]、30[msec]、42[msec]のそれぞれが出力情報生成部10に供給されるのである。
従って、例えば、上述した第1のプロセッサ乃至第5のプロセッサによる分散処理が行われる場合、第1のプロセッサは、t=0から6[msec]までの時間帯を潜伏時間として、直接波部分42のたたみ込み処理を行えばよい。同様に、第2のプロセッサはt=0から18[msec]までの時間帯を潜伏時間として、残響部分44のたたみ込み処理を行えばよい。第3のプロセッサはt=0から23[msec]までの時間帯を潜伏時間として、残響部分46のたたみ込み処理を行えばよい。第4のプロセッサはt=0から30[msec]までの時間帯を潜伏時間として、残響部分47のたたみ込み処理を行えばよい。第5のプロセッサはt=0から42[msec]までの時間帯を潜伏時間として、残響部分49のたたみ込み処理を行えばよい。
このように、開始時刻はまた、各部分における潜伏時間を示す情報であるといえる。
換言すると、直接波部分42を、図3の区分のようにt=6[msec]乃至12[msec]までの部分であると捉えた場合には、6[msec]とは開始時刻になる。これに対して、直接波部分42を、t=0乃至6[msec]の潜伏時間(ゼロ部分)の後にt=6[msec]乃至12[msec]までの部分が続いた部分であると捉えた場合には、6[msec]とは直接波部分42における潜伏時間になる。
同様に、残響部分44を、図3の区分のようにt=18[msec]乃至21[msec]までの部分であると捉えた場合には、18[msec]とは開始時刻になる。これに対して、残響部分44を、t=0乃至18[msec]の潜伏時間(ゼロ部分)の後にt=18[msec]乃至21[msec]までの部分が続いた部分であると捉えた場合には、18[msec]とは残響部分44における潜伏時間になる。
残響部分46を、図3の区分のようにt=23[msec]乃至30[msec]までの部分であると捉えた場合には、23[msec]とは開始時刻になる。これに対して、残響部分46を、t=0乃至23[msec]の潜伏時間(ゼロ部分)の後にt=23[msec]乃至30[msec]までの部分が続いた部分であると捉えた場合には、23[msec]とは残響部分46における潜伏時間になる。
残響部分47を、図3の区分のようにt=30[msec]乃至35[msec]までの部分であると捉えた場合には、30[msec]とは開始時刻になる。これに対して、残響部分47を、t=0乃至30[msec]の潜伏時間(ゼロ部分)の後にt=30[msec]乃至35[msec]までの部分が続いた部分であると捉えた場合には、30[msec]とは残響部分47における潜伏時間になる。
残響部分49を、図3の区分のようにt=42[msec]乃至45[msec]までの部分であると捉えた場合には、42[msec]とは開始時刻になる。これに対して、残響部分49を、t=0乃至42[msec]の潜伏時間(ゼロ部分)の後にt=42[msec]乃至45[msec]までの部分が続いた部分であると捉えた場合には、42[msec]とは残響部分47における潜伏時間になる。
このように、直接波部分42、および残響部分44,46,47,49は、図3の区分のまま捉えてもよいし、図3の区分の前にさらに潜伏時間が存在する部分であると捉えてもよい。ただし、以下の説明においては、直接波部分42、および残響部分44,46,47,49とは、図3の区分の前にさらに潜伏時間が存在する部分であるとする。
また、直接波部分42、および残響部分44,46,47,49における潜伏時間は、伝達部分41,43,45,48,50も含めて図3のように部分41乃至部分50に区分されていて初めて認識可能になる時間帯(部分)である。従って、直接波部分検出部21乃至残響部分23は、直接波部分42、および残響部分44,46,47,49を検出するとともに、それらの各潜伏時間のそれぞれも検出しているともいえる。
或いは、伝達特性分割部8が、直接波部分42、および残響部分44,46,47,49のそれぞれを伝達特性31から分割する際に各分割点(開始時刻と終了時刻)を決定することになるが、そのことを、直接波部分42、および残響部分44,46,47,49のそれぞれの潜伏時間の検出と捉えてもよい。即ち、伝達特性分割部8が、直接波部分42、および残響部分44,46,47,49のそれぞれの潜伏時間を検出していると捉えてもよい。
図1に戻り、このような伝達特性分割部8による伝達特性31の分割処理と並行して、トータル重要度決定部9は、次のような処理を実行する。即ち、トータル重要度決定部9は、部分重要度決定部24に決定された伝達特性31を構成する各部分の部分重要度のそれぞれと、伝達特性重要度記憶部6に記憶されている伝達特性31の伝達特性重要度とに基づいて、伝達特性31のトータル重要度を決定し、出力情報生成部10に供給する。
この場合、トータル重要度の決定方法は特に限定されず、様々な方法が採用可能である。
例えば、各部分重要度のそれぞれと伝達特性重要度との積を、トータル重要度としてそれぞれ決定する決定方法を採用することができる。
この決定方法がトータル重要度決定部9に採用され、かつ、例えば伝達特性31の伝達特性重要度が0.9とされると、例えば、直接波部分42、および残響部分44,46,47,49のそれぞれについてのトータル重要度として、図4に示されるような、0.81(=0.9×0.9)、0.27(=0.9×0.3)、0.18(=0.9×0.2)、0.18(=0.9×0.2)、および、0.072(=0.08×0.9)のそれぞれの値が、トータル重要度決定部9により決定されるのである。
その他例えば、各部分重要度のそれぞれと伝達特性重要度との和を、トータル重要度としてそれぞれ決定する決定方法を採用することができる。
また例えば、各部分重要度のそれぞれと伝達特性重要度とを入力パラメータとして所定の非線形の関数に代入した場合において、その関数の各出力値をトータル重要度として決定する決定方法を採用することができる。なお、この決定方法で利用される関数は特に限定されず、例えば、上述した積または和の自乗を出力する関数でもよいし、上述した積または和の平方根を出力する関数でもよいし、或いは、上述した積または和の対数を出力する関数でもよい。
このように、上述した決定方法の例で決定されるトータル重要度とは、各部分重要度のそれぞれが伝達特性重要度に基づいて更新された値のそれぞれ、即ち、更新後の各部分重要度のそれぞれであるといえる。或いは、上述した決定方法の例で決定されるトータル重要度とは、伝達特性重要度に基づく重み付けがなされた各部分重要度のそれぞれであるといえる。
図1に戻り、以上説明したように、伝達特性31のうちの直接波部分42、および残響部分44,46,47,49のそれぞれが伝達特性分割部8から出力情報生成部10に供給さる。その他、例えば、伝達特性31の伝達特性IDや、直接波部分42、および残響部分44,46,47,49のそれぞれの部分IDも、伝達特性分割部8から出力情報生成部10に供給される。また、直接波部分42、および残響部分44,46,47,49のそれぞれのトータル重要度がトータル重要度決定部9から出力情報生成部10に供給される。
このとき、出力情報生成部10はさらに、パラメータ記憶部2に記憶されている各種パラメータ値の中から、伝達特性31に対応するパラメータ値の幾つかを取得する。例えば、出力情報生成部10は、伝達特性31が生成された際の音源から到達点までの相対距離や角度として、「5.2m」や「10°」といったパラメータ値を取得する。
そして、出力情報生成部10は、図5に示されるような情報を、伝達関数31についての出力情報として生成し、その出力情報を所定の出力先に出力する。
出力先とは、伝達特性31のたたみ込み処理を実行する後段の図示せぬ装置または実行部を指す。
また、伝達特性31についての出力情報とは、図5に示されるように、伝達特性31のうちの直接波部分42、および残響部分44,46,47,49を少なくとも含み、かつ、伝達特性31の伝達特性ID、伝達特性31の各部分の部分ID、トータル重要度、および、潜伏時間、並びに、伝達特性31のパラメータを、伝達特性31のメタデータとして含む情報である。
なお、以下、伝達特性31の各部分、即ち、直接波部分42、および残響部分44,46,47,49を、伝達特性31の分割伝達特性と称する。従って、伝達特性31についての出力情報とは、結局、伝達特性31の分割伝達特性と、伝達特性31のメタデータとがセットになった情報であるといえる。
なお、メタデータには、図5の例の情報の他、後段のたたみ込み処理で必要となる他の情報等、任意の情報をさらに含ませることが可能である。
ところで、後段のたたみ込み処理で利用される伝達特性は、上述したように、1つであるとは限らない。
従って、後段のたたみ込み処理で複数の伝達特性が利用される場合には、伝達特性解析部7、伝達特性分割部8、および、トータル重要度決定部9のそれぞれは、複数の伝達特性のそれぞれについて、上述した一連の処理を繰り返すことになる。そして、出力情報生成部10は、複数の伝達特性のそれぞれについての出力情報を生成して出力することになる。なお、この場合、複数の伝達特性のそれぞれについての出力情報は、個別に出力されてもよいし、一括して出力されてもよい。
以上、本発明の情報処理装置の機能的構成例について説明した。
次に、図6のフローチャートを参照して、かかる機能的構成を有する情報処理装置の処理について説明する。
ステップS1において、パラメータ決定部1、伝達特性生成部3、および、伝達特性重要度決定部5は、各種パラメータの値に基づいて1以上の伝達特性を生成し、生成された1以上の伝達特性のそれぞれについての伝達特性重要度を決定する。ステップS1の処理で生成された1以上の伝達特性は伝達特性記憶部4に記憶され、ステップS1の処理で使用された各種パラメータの値はパラメータ記憶部2に記憶され、ステップS1の処理で決定された1以上の伝達特性重要度は、伝達特性重要度記憶部6に記憶される。
以下、このようなステップS1の処理を「伝達特性生成処理」と称する。この「伝達特性生成処理」の詳細例については、図7のフローチャートを参照して後述する。
ステップS1の「伝達特性生成処理」が終了すると、処理はステップS2に進む。
ステップS2において、伝達特性解析部7、伝達特性分割部8、トータル重要度決定部9、および出力情報生成部10は、伝達特性記憶部4に記憶された1以上の伝達特性のそれぞれに対して、上述した一連の処理を繰り返すことで、1以上の伝達特性のそれぞれについての出力情報を生成して出力先に出力する。
以下、このようなステップS2の処理を「出力情報生成処理」と称する。この「出力情報生成処理」の詳細例については、図8と図9のフローチャートを参照して後述する。
ステップS2の処理が終了すると、即ち、1以上の伝達特性のそれぞれについての出力情報が通知先に出力されると、図1の情報処理装置の処理は終了となる。
以下、ステップS1の「伝達特性生成処理」とステップS2の「出力情報生成処理」とのそれぞれの詳細例について、その順番に個別に説明していく。
はじめに、図7のフローチャートを参照して、ステップS1の「伝達特性生成処理」の詳細例について説明する。
ステップS21において、パラメータ決定部1は、対象空間における音源を設定する。
ステップS22において、パラメータ決定部1は、対象空間における到達点を設定する。
ステップS23において、パラメータ決定部1は、ステップS21の処理で設定された音源、ステップS22の処理で設定された到達点等に関する各種パラメータの値を決定する。
ステップS23の処理で決定された各種パラメータの値が、パラメータ記憶部2に記憶され、また、伝達特性生成部3と伝達特性重要度決定部5とに供給されると、処理はステップS24に進む。
ステップS24において、伝達特性生成部3は、ステップS22の処理で決定された各種パラメータの値に基づいて、ステップS21の処理で設定された音源から、ステップS22の処理で設定された到達点までの伝達特性を生成する。
ステップS24の処理で生成された伝達特性が、伝達特性記憶部4に記憶され、また、伝達特性重要度決定部5に供給されると、処理はステップS25に進む。
ステップS25において、伝達特性重要度決定部5は、ステップS24の処理で生成された伝達特性についての伝達特性重要度を決定する。
ステップS25の処理で決定された伝達特性重要度が伝達特性重要度記憶部6に記憶されると、処理はステップS26に進む。
ステップS26において、パラメータ決定部1は、他の到達点における伝達特性を生成するか否かを判定する。
ステップS26において、他の到達点における伝達特性を生成すると判定された場合、処理はステップS22に戻され、それ以降の処理が繰り返される。即ち、今度は、直前のステップS21の処理で設定された音源から、他の到達点までの伝達特性が生成されることになる。この場合も、他の到達点における伝達特性は伝達特性記憶部4に記憶され、他の到達点における伝達特性が生成される際に使用された各種パラメータの値はパラメータ記憶部2に記憶され、他の到達点における伝達特性についての伝達特性重要度は伝達特性重要度記憶部6に記憶される。
このようにして、ステップS22乃至S26の処理が繰り返されることで、1つの音源から、複数の到達点のそれぞれまでの複数の伝達特性が順次生成され、伝達特性記憶部4に記憶されていく。また、複数の伝達特性のそれぞれに対応する各種パラメータ値と伝達特性重要度のそれぞれは、パラメータ記憶部2と伝達特性重要度記憶部6とのそれぞれに順次記憶されていく。
その後、1つの音源についての全ての伝達特性が生成され、それらの伝達特性重要度が全て決定されると、ステップS26において、他の到達点における伝達特性を生成しないと判定されて、処理はステップS27に進む。
ステップS27において、パラメータ決定部1は、音源を変更するか否かを判定する。
他の音源についての伝達特性の生成が必要な場合には、ステップS27において、音源を変更すると判定され、処理はステップS21に戻され、それ以降の処理が繰り返される。
即ち、今度は、ステップS21の処理で他の音源が設定され、上述したステップS22乃至S26の処理が繰り返されて、他の音源から1以上の到達点のそれぞれまでの1以上の伝達特性が順次生成され、伝達特性記憶部4に記憶されていく。また、1以上の伝達特性のそれぞれに対応する各種パラメータ値と伝達特性重要度のそれぞれは、パラメータ記憶部2と伝達特性重要度記憶部6とのそれぞれに順次記憶されていく。
その後、他の音源についての全ての伝達特性が生成され、それらの伝達特性重要度が全て決定されると、ステップS26において、他の到達点における伝達特性を生成しないと判定されて、処理はステップS27に進む。
この時点で、さらなる他の音源ついての伝達特性の生成が必要な場合には、ステップS27において、音源を変更すると再度判定され、処理はステップS21に戻され、それ以降の処理が再度繰り返されることになる。
これに対して、さらなる他の音源ついての伝達特性の生成が不要な場合には、ステップS27において、音源を変更しないと判定され、「伝達特性生成処理」は終了となる。即ち、図6のステップS1の処理が終了し、処理はステップS2の「出力情報生成処理」に進む。
以上、図7のフローチャートを参照して、図6のステップS1の「伝達特性生成処理」の詳細例について説明した。
次に、図8と図9のフローチャートを参照して、図6のステップS2の「出力情報生成処理」の詳細例について説明する。
図8のステップS41において、伝達特性解析部7は、伝達特性記憶部4に記憶されている1以上の伝達特性のうちの所定の1つを、出力対象の伝達特性として設定する。
ステップS41の処理で設定された出力対象の伝達特性が伝達特性記憶部4から読み出され、伝達特性解析部7の直接波部分検出部21に供給されると、処理はステップS42に進む。
ステップS42において、直接波部分検出部21は、出力対象の伝達特性のうちの直接波部分を検出する。
ステップS42の処理結果と、出力対象の伝達特性とが伝達部分検出部22に供給されると、処理はステップS43に進む。
ステップS43において、伝達部分検出部22は、出力対象の伝達特性のうちの伝達部分を検出する。即ち、ステップS43において、潜伏時間検出部22は、出力対象の伝達特性における潜伏時間を検出する。
ステップS42とS43の処理結果および出力対象の伝達特性が、残響部分検出部23に供給されると、処理はステップS44に進む。
ステップS44において、残響部分検出部23は、出力対象の伝達特性のうちの残響部分を検出する。
ステップS42乃至S44の処理結果が、部分重要度決定部24と伝達特性分割部8に供給されると、処理はステップS45に進む。
ステップS45において、部分重要度決定部24は、出力対象の伝達特性を構成する各部分、即ち、直接波部分、伝達部分、および、残響部分についての部分重要度をそれぞれ決定する。ただし、上述したように、伝達部分の部分重要度の決定は特に必須ではない。
ステップS46において、伝達特性解析部7は、他の伝達特性も出力対象とするか否かを判定する。
伝達特性記憶部4に記憶されている1以上の伝達特性の中に、伝達特性解析部7によりまだ解析されていない伝達特性が存在する場合、ステップS46において、YESであると判定されて、処理はステップS41に戻され、それ以降の処理が繰り返される。
即ち、今度は、伝達特性解析部7によりまだ解析されていない伝達特性のうちの所定の1つが、新たな出力対象の伝達特性として設定され、新たな出力対象の伝達特性の中から直接波部分、伝達部分、および、残響部分が検出される。そして、直接波部分と残響部分とのそれぞれの部分重要度が少なくとも決定される。
以上のステップS41乃至S46の繰り返し処理により、伝達特性記憶部4に記憶されている1以上の伝達特性の全てが、伝達特性解析部7により解析されると、ステップS46においてNOであると判定されて、処理は図9のステップS47に進む。
なお、以上までの処理の結果、伝達特性記憶部4に記憶されている1以上の伝達特性は皆、出力対象の伝達特性となる。
図9のステップS47において、トータル重要度決定部9は、出力対象の各伝達特性のそれぞれについて、伝達特性重要度と各部分重要度とに基づいてトータル重要度を決定する。即ち、ステップS47において、トータル重要度決定部9は、出力対象の各伝達特性のそれぞれについて、上述したように、伝達特性重要度に応じて各部分重要度を更新し、更新された各部分重要度をトータル重要度としてそれぞれ決定する。
また、ステップS48において、伝達特性分割部8は、出力対象の各伝達特性のそれぞれを分割し、その結果得られる分割伝達特性(直接波部分と各残響部分との集合体)を出力情報生成部10に供給する。このとき、出力対象の各伝達特性のそれぞれについての分割伝達特性が出力情報生成部10に供給される毎に、伝達特性ID、部分ID、および、潜伏時間といった各種情報もメタデータとして、出力情報生成部10に併せて供給される。
ステップS49において、出力情報生成部10は、出力対象の各伝達特性のそれぞれに対応するパラメータ値のそれぞれを、対応する伝達特性のメタデータとしてパラメータ記憶部2から取得する。
ステップS50において、出力情報生成部10は、出力対象の各伝達特性のそれぞれについて、対応する分割伝達特性と、対応するメタデータ(伝達特性ID、部分ID、潜伏時間、トータル重要度、各種パラメータ値等)とをセットにした情報をそれぞれ生成し、それらを、出力対象の各伝達特性のそれぞれについての出力情報として出力先に出力する。
これにより、「出力情報生成処理」は終了となる。即ち、図6のステップS2の処理が終了し、図6の処理自体が終了となる。
その後、出力先が、以上の一連の処理により出力された各伝達特性のそれぞれについての出力情報を利用して音響信号処理(上述した例ではたたみ込み処理)の分散処理を実行することで、例えば、次の第1の効果乃至第3の効果を奏することが可能になる。なお、次の第1の効果乃至第3の効果でいう重要度とは、上述した例ではトータル重要度となるが、伝達特性重要度単体の場合も含むし、部分重要度単体の場合も含む。
第1の効果とは、音響信号処理全体から見て処理結果が存在した方が望ましいが、存在しなくとも大きな問題にならない部分の重要度を下げ、重要な演算が必要な部分の重要度を上げることで、重要な演算が必要な部分に対して優先的に処理を割り振ることが容易に可能になる、という効果である。
第2の効果とは、音響信号処理全体から見て利用するのは後だけど大事な処理となり得る部分の重要度を上げることで、その処理に対する答えが確実に得られるような分散処理を行うことが容易に可能になる、という効果である。
第3の効果とは、例えば、図示はしないが、メインプロセッサとサブプロセッサとが、上述した分散処理を行う場合の効果である。即ち、重要な処理となり得る部分の重要度を上げ、重要度の低い処理(いわゆるおまけの処理や負荷価値)となり得る部分の重要度を下げることで、例えば、メインプロセッサに重要な処理をさせ、サブプロセッサに重要度の低い処理をさせることが可能になる、という効果が第3の効果である。即ち、例えば、サブプロセッサは、他のプログラムからの使用要求があると他のプログラムに演算量を提供してしまい、その結果として、音響信号処理(その部分処理)を実行できなくなる場合も多々ある。しかしながら、このような場合であっても、処理不可能となった部分は重要度が低いので、そのような重要度の低い部分の処理結果が得られなくても、音響信号処理全体の結果としては聴覚上大きな問題にはならない、という効果が第3の効果である。
なお、ここでは、説明の簡略上、音響信号処理全体の制御を行うプロセッサが、メインプロセッサと称されている。従って、メインプロセッサと同一の装置に搭載されている他のプロセッサの他、他の装置に搭載されているプロセッサも皆、サブプロセッサであるとみなす。
以下、第3の効果について、具体例を用いてさらに説明する。
例えば、ヘッドホン等で音声を聴く受聴者が、所定の仮想空間内の仮想キャラクタとして、仮想空間内で仮想体験をするといった例を考える。即ち、例えば、受聴者が、仮想キャラクタとして、仮想空間内を自在に移動し、また、仮想空間内で発生した音を聴くといった例を考える。
この例の場合、仮想空間内の所定の音源から発生された音波が仮想空間内を伝播し仮想キャラクタに到達したときに仮想キャラクタが聴くであろう音をヘッドホンで再現する処理として、例えば、たたみ込み処理が必要になる。
例えばいま、仮想空間において、仮想キャラクタの位置から遠方でイベントが発生したとする。具体的には例えば、遠方に存在する仮想箱が爆発したとする。
仮想空間においては、このときに発生した音はあらかじめ分かる。この音は、仮想キャラクタ(受聴者)の位置まで時間をかけてたどり着くことになる。図1の伝達特性生成部3は、この仮想箱から仮想キャラクタ(受聴者)の両耳までの伝達特性を生成することが可能である。
例えば、ここでも上述した他の例と同様に、伝達特性生成部3により生成される伝達特性は、時間領域で表現されるとする。
この場合、この伝達特性において、最初の時間帯はゼロ部分、潜伏時間(伝達部分)となる。なお、この潜伏時間の長さは仮想空間の音速と距離によって決定される。この潜伏時間が経過した後には、即ち、伝達部分の後には、直接波部分が続き、さらにその後には、1以上の残響部分(反射波や回折波の部分)が続き、最終的に、再度ゼロ部分となる(ゼロに収束する)。
即ち、このとき伝達特性生成部3により生成される伝達特性もまた、上述した図2の伝達特性31と類似する波形となる。そこで、以下、説明の簡略上、このときに伝達特性生成部3により生成された伝達特性は図2の伝達特性31であるとする。また、それに伴い、図5の出力情報がメインプロセッサに送られたとする。
この場合、潜伏時間に対するたたみ込み処理は不要であるので、たたみ込み処理の分散処理全体を制御するメインプロセッサは、この潜伏時間を有効に利用することができる。
例えば、メインプロセッサは、この潜伏時間内に、遠方に存在するサブプロセッサに所定のデータをおくり、そのデータを利用したサブプロセッサの処理結果(以下、計算データと称する)を受け取るような処理を実行できる。
具体的には例えば、所定のサブプロセッサに図5の残響部分44のたたみ込み処理(部分処理)を実行させる(割り当てる)とする。この場合、図5の出力情報に示されるように、残響部分44における潜伏時間は18[msec]となる。従って、メインプロセッサは、潜伏時間であるこの18[msec]を利用して、図5の出力情報のうちの残響部分44とメタデータとをセットにした情報や、たたみ込み処理の実行機能を有するソフトウエア等の各種データを、そのサブプロセッサに送り、その計算データ(残響部分44のたたみ込み処理の結果)を受け取る処理を行うことができる。
ところで、サブプロセッサが他の処理に使われたり、或いは、メインプロセッサとサブプロセッサとを接続するネットワークの遅延の影響をうけたりするといったトラブルが発生すると、メインプロセッサは、サブプロセッサの計算データ(部分処理の結果)の全てを得られるとは限らない。
従って、たたみ込み処理の分散処理を実現するためには、サブプロセッサには、重要度の低い部分処理を実行させる必要がある。例えばいまの場合、重要度の低い部分処理とは次のような処理となる。
即ち、上述したように、聴覚上、直接波は重要な意味を持つ。従って、上述した仮想箱の爆発音のうちの直接波が仮想キャラクタに到達する時間内に、図5の直接波部分42のたたみ込み処理(部分処理)は確実に行わなければならない。即ち、仮想箱の爆発音の直接波は、ヘッドホンから必ず適切なタイミングに出力され、受聴者の耳に伝わらなければならない。なぜならば、出力すべきタイミングに直接波の出力が間に合わないと、受聴者は、反射波のみを聴いたり、或いは、タイミングのずれた直接波を聴くこととなり、その被害(仮想箱の爆発音の再現に対する被害)は大きくなるからである。このように、直接波部分42のたたみ込み処理の結果は、聴覚上重要なデータである。
これに対して、聴覚上、受聴者の耳に直接波が伝われば、反射波が欠けても大きな問題にはならない。即ち、反射波が受聴者の耳にたとえ届かなかったとしても、或いは、タイミングがずれて届いたとしても、受聴者は、仮想箱の爆発音をさほど違和感なく聴くことができる。従って、図5の残響部分44,46,47,49のそれぞれのたたみ込み処理(部分処理)のうちの幾つかの処理結果が得られなかったり、或いは、遅いタイミングで得られたとしてもさほど大きな問題とならない。即ち、残響部分44,46,47,49それぞれのたたみ込み処理の結果は、聴覚上重要ではないデータである。
以上の内容をまとめると、聴覚上重要なデータである直接波部分42は確実に処理をする必要がある。これに対して、聴覚上重要でないデータである残響部分44,46,47,49はある程度のリスクを取る処理も可能である。即ち、残響部分44,46,47,49の処理は必須ではなく、省略さえ可能である。さらに、直接波部分42、および残響部分44,46,47,49のそれぞれにおける潜伏時間に対する処理はいずれも省略可能である。
詳細には、直接波部分42は、上述したように、聴覚上重要なデータであり、かつ、潜伏時間は6[msec]と一番短くなる。
これに対して、初期反射波を含む残響部分44,46,47は、聴覚上重要ではないデータであり、かつ、潜伏時間はそれぞれ18[msec],23[msec],30[msec]と直接波部分42より長くなる。さらに、後期反射波を含む残響部分49は、聴覚上重要ではないデータであり、かつ、その潜伏時間は42[msec]と、初期反射波を含む残響部分44,46,47の潜伏時間よりさらに長くなる。
そこで、図1のトータル重要度決定部9は、直接波部分42、初期反射波を含む残響部分44,46,47、および、後期反射波を含む残響部分49の順番に高い値となるように、トータル重要度を順次決定していけばよい。なお、上述した図4の例でもそのように各部分のトータル重要度は決定されている。
このようなトータル重要度が低い部分に対する部分処理こそが、たたみ込み処理全体から見て重要度の低い部分処理であると言える。
このように、所定の部分のトータル重要度は、たたみ込み処理全体から見た場合の、対応する部分のたたみ込み処理(部分処理)の重要度も表しているので、メインプロセッサはこのトータル重要度を利用することで、第3の効果を奏することが可能になる。即ち、メインプロセッサは、トータル重要度に応じて、各部分のたたみ込み処理(部分処理)を適切に割り振ることが可能になる。具体的には例えば、メインプロセッサが、直接波部分42のたたみ込み処理を担当し、他の幾つかのサブプロセッサが、初期反射波を含む残響部分44,46,47のたたみ込み処理を担当し、かつ、後期反射波を含む残響部分49のたたみ込む処理を省略する、といったたたみ込み処理の分割処理が可能になる。
以上説明したように、たたみ込み処理等音響信号処理の分散処理が行われる場合、従来においては、音響信号処理全体が幾つかのブロックにたとえ分割されたとしても、それらのブロックの重要度は考慮されなかった。換言すると、ブロックの重要度は全て同一とみなされていた。このため、各プロセッサの能力やトラブルの発生頻度によらず、それらのブロックは、任意のプロセッサに均等に割り振られていた。即ち、本発明でいう重要度の高いブロックが、信頼性が低く処理速度が遅いプロセッサに割り振られることも多々あった。このため、音響信号処理全体の遅延を招くことが多々あった。さらに、従来においては、全てのデータ(全部分処理結果)が確実に得られることが前提とされていたため、1つのプロセッサにトラブルが発生した場合であっても、音響信号処理全体が破綻してしまうことが多々あり、音響信号処理全体の信頼性にも問題があった。
これに対して、本発明においては、音響信号処理全体は幾つかのブロックに分割されるまでは従来と同様であるが、さらに、分割された各ブロックのそれぞれに対して重要度が付加されるので、その重要度に応じて、各ブロックを適切なプロセッサに割り振ることが可能になる。さらに、重要度が低いブロックについてはその処理を省略することさえも可能になる。これにより、音響信号処理全体の高速化が図られるとともに、音響信号処理全体の信頼性も高まるのである。即ち、各ブロックの重要度を考慮することで、トラブルにたいして被害の少ない高速な音響信号処理が可能となる。
さらにまた、メインプロセッサは、このような本発明を利用した音響信号処理の分散処理を実行することで、時間に余裕ができ、自身またはサブプロセッサのリソース配分に自由度が生まれる。従って、時間に余裕があるプロセッサは、別の緊急の処理を行うことができる。また、メインプロセッサは、余裕の時間を利用して、自身と同一の装置に内蔵されるサブプロセッサで処理をしたり、ネットワークを介してデータを転送してサブプロセッサで処理をおこなってその結果をネットワークを介して転送することも可能になる。
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
この場合、図1の情報処理装置は、例えば、図10に示されるようなコンピュータで構成することができる。
図10において、CPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記録されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、ディスプレイなどよりなる出力部107、ハードディスクなどより構成される記憶部108、および、モデム、ターミナルアダプタなどより構成される通信部109が接続されている。通信部109は、インターネットを含むネットワークを介して他の信号処理装置との通信処理を行う。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体111が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図10に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブル記録媒体(パッケージメディア)111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM102や、記憶部108に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述したように、本明細書において、システムとは、2つの意味を有する。即ち、一方は、複数の処理装置や処理部により構成される装置全体を表すものであり、他方は、いわゆる制御システムを表すものであり、例えば、所定の空間における伝達特性単体または複数の伝達特性の集合体、即ち、所定の空間における音波の伝播系のモデル単体または複数のモデルの集合体を表すものである。
本発明が適用される情報処理装置の機能的構成を示すブロック図である。 図1の情報処理装置により生成される伝達特性の一例を示す図である。 図1の伝達特性解析部による、図2の伝達特性の解析結果の一例を示す図である。 図1の伝達特性重要度決定部、部分重要度決定部、および、トータル重要度決定部により決定される、図3の伝達特性についての各種重要度の一例を示す図である。 図1の出力情報生成部により生成される、図3の伝達特性についての出力情報の一例を示す図である。 図1の情報処理装置の処理の一例を説明するフローチャートである。 図6の処理のうちの「伝達特性生成処理」の詳細例を説明するフローチャートである。 図6の処理のうちの「出力情報生成処理」の詳細例を説明するフローチャートである。 図6の処理のうちの「出力情報生成処理」の詳細例を説明するフローチャートである。 本発明が適用される情報処理装置のハードウエア構成の一例を示すブロック図である。
符号の説明
1 パラメータ決定部, 2 パラメータ記憶部, 3 伝達特性生成部, 4 伝達特性記憶部, 5 伝達特性重要度決定部, 6 伝達特性重要度記憶部, 7 伝達特性解析部, 8 伝達特性分割部, 9 トータル重要度決定部, 10 出力情報生成部, 21 直接波部分検出部, 22 伝達部分検出部(潜伏時間検出部), 23 残響部分検出部, 24 部分重要度決定部, 31 伝達特性, 41乃至50 伝達特性を構成する各部分, 101 CPU, 102 ROM, 103 RAM, 108 記憶部, 111 リムーバブル記録媒体

Claims (11)

  1. 所定の音源から所定の到達点までの音波の伝播系における伝達特性を解析し、
    その解析結果に基づいて、前記伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分を1以上検出し、
    前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された1以上の前記部分のうちの少なくとも1つに対して第1の重要度を決定する解析手段
    を備えることを特徴とする情報処理装置。
  2. 前記解析手段は、
    前記伝達特性を時間領域で解析して、その伝達特性の中から直接波部分を検出する第1の検出手段と、
    前記伝達特性を時間領域で解析して、その伝達特性の中から伝達部分を検出する第2の検出手段と、
    前記伝達特性を時間領域で解析して、その伝達特性の中から残響部分を検出する第3の検出手段と、
    前記第1の検出手段により検出された前記直接波部分、前記第2の検出手段により検出された前記伝達部分、および、前記第3の検出手段により検出された前記残響部分のうちの、少なくとも前記直接波部分と前記残響部分とに対して前記第1の重要度を決定する第1の重要度決定手段と
    を有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記伝達特性から、前記第1の検出手段により検出された前記直接波部分、前記第2の検出手段により検出された前記伝達部分、および、前記第3の検出手段により検出された前記残響部分のそれぞれを分割する分割手段と、
    前記分割手段により前記伝達特性から分割された前記直接波部分、前記伝達部分、および、前記残響部分のうちの少なくとも前記直接波部分と前記残響部分とを含み、かつ、前記第1の重要度決定手段により決定された前記直接波部分の前記第1の重要度と前記残響部分の前記第1の重要度とを少なくともメタデータとして含む情報を出力情報として生成し、前記出力情報を出力する出力情報生成手段と
    をさらに備えることを特徴とする請求項2に記載の情報処理装置。
  4. 前記伝達特性を生成するために必要な1以上のパラメータのそれぞれの値を決定するパラメータ決定手段と、
    前記パラメータ決定手段により決定された1以上の前記パラメータのそれぞれの値を利用して、前記伝達特性を生成する伝達特性生成手段とをさらに備え、
    前記出力情報生成手段は、前記パラメータ決定手段により決定された1以上の前記パラメータのそれぞれの値のうちの少なくとも1つの値を前記メタデータにさらに含めた前記出力情報を生成する
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 前記分割手段は、さらに、前記伝達特性生成手段により前記伝達特性が生成されたときに前記音源から音が発生した時刻を基準時刻とし、前記基準時刻から前記直接波部分の開始時刻までの時間を前記直接波部分の潜伏時間として検出し、前記基準時刻から前記残響波部分の開始時刻までの時間を前記残響部分の潜伏時間として検出し、
    前記出力情報生成手段は、前記分割手段により検出された前記直接波部分の潜伏時間と前記残響部分の潜伏時間とを前記メタデータにさらに含めた前記出力情報を生成する
    ことを特徴とする請求項3に記載の情報処理装置。
  6. 前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、前記伝達特性自身に対して第2の重要度を決定する第2の重要度決定手段と、
    前記第2の重要度決定手段により決定された前記伝達特性自身の前記第2の重要度に基づいて、前記解析手段により決定された、前記伝達特性内の複数の前記部分のうちの少なくとも1つの前記第1の重要度のそれぞれを更新する更新手段と
    をさらに備えることを特徴とする請求項1に記載の情報処理装置
  7. 所定の音源から所定の到達点までの音波の伝播系における伝達特性を解析し、
    その解析結果に基づいて、前記伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分を1以上検出し、
    前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された複数の前記部分のうちの少なくとも1つに対して重要度を決定する解析ステップ
    を含むことを特徴とする情報処理方法。
  8. コンピュータに実行させるプログラムであって、
    所定の音源から所定の到達点までの音波の伝播系における伝達特性を解析し、
    その解析結果に基づいて、前記伝達特性の中から、後段の所定の音響信号処理において個別に処理が施されることが可能な部分を1以上検出し、
    前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、検出された複数の前記部分のうちの少なくとも1つに対して重要度を決定する解析ステップ
    を含むことを特徴とするプログラム。
  9. 後段の所定の音響信号処理において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の前記伝達特性のそれぞれに対して重要度を決定する重要度決定手段
    を備えることを特徴とする情報処理装置。
  10. 後段の所定の音響信号処理において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の前記伝達特性のそれぞれに対して重要度を決定する重要度決定ステップ
    を含むことを特徴とする情報処理方法。
  11. コンピュータに実行させるプログラムであって、
    後段の所定の音響信号処理において、所定の音源から所定の到達点までの音波の伝播系における伝達特性が1以上必要な場合、前記音響信号処理の特徴と、その音響信号処理が実行される場合の状況とのうちの少なくとも1つに基づいて、1以上の前記伝達特性のそれぞれに対して重要度を決定する重要度決定ステップ
    を含むことを特徴とするプログラム。
JP2004226274A 2004-08-03 2004-08-03 情報処理装置および方法、並びにプログラム Pending JP2006047523A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004226274A JP2006047523A (ja) 2004-08-03 2004-08-03 情報処理装置および方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004226274A JP2006047523A (ja) 2004-08-03 2004-08-03 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2006047523A true JP2006047523A (ja) 2006-02-16

Family

ID=36026169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004226274A Pending JP2006047523A (ja) 2004-08-03 2004-08-03 情報処理装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2006047523A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242597A (ja) * 2011-05-19 2012-12-10 Hitachi Ltd 音響シミュレータ、音響コンサルティング装置及びそれらの処理方法
WO2013143016A2 (en) * 2012-03-30 2013-10-03 Eth Zurich Accoustic wave reproduction system
WO2022004665A1 (ja) * 2020-06-30 2022-01-06 株式会社電通 音声コンテンツ配信システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242597A (ja) * 2011-05-19 2012-12-10 Hitachi Ltd 音響シミュレータ、音響コンサルティング装置及びそれらの処理方法
WO2013143016A2 (en) * 2012-03-30 2013-10-03 Eth Zurich Accoustic wave reproduction system
WO2013143016A3 (en) * 2012-03-30 2014-01-23 Eth Zurich Accoustic wave reproduction system
US9728180B2 (en) 2012-03-30 2017-08-08 Eth Zurich Accoustic wave reproduction system
WO2022004665A1 (ja) * 2020-06-30 2022-01-06 株式会社電通 音声コンテンツ配信システム
JP2022012034A (ja) * 2020-06-30 2022-01-17 株式会社電通 音声コンテンツ配信システム

Similar Documents

Publication Publication Date Title
JP6744940B2 (ja) 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法
US11617050B2 (en) Systems and methods for sound source virtualization
JP6933215B2 (ja) 音場形成装置および方法、並びにプログラム
JP5865899B2 (ja) 立体音響の再生方法及び装置
US20090310802A1 (en) Virtual sound source positioning
US10924875B2 (en) Augmented reality platform for navigable, immersive audio experience
CN112205006A (zh) 音频内容的自适应再混合
WO2007105689A1 (ja) ゲーム音出力装置、ゲーム音制御方法、情報記録媒体、および、プログラム
CN101483797A (zh) 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
JP2017175356A (ja) 音響処理装置およびプログラム
WO2017128481A1 (zh) 骨传导耳机的播放控制方法、装置及骨传导耳机设备
CN108391199A (zh) 基于个性化反射声阈值的虚拟声像合成方法、介质和终端
WO2021169689A1 (zh) 音效优化方法及装置、电子设备、存储介质
Rosen et al. Interactive sound propagation for dynamic scenes using 2D wave simulation
WO2021158273A1 (en) Augmented reality virtual audio source enhancement
US11437010B2 (en) Systems and methods for selectively providing audio alerts
JPWO2017208822A1 (ja) 局所消音音場形成装置および方法、並びにプログラム
Yadav et al. A system for simulating room acoustical environments for one’s own voice
JP2006047523A (ja) 情報処理装置および方法、並びにプログラム
JP2022505391A (ja) バイノーラルスピーカーの指向性補償
Minnaar et al. Improving hearing aids through listening tests in a virtual sound environment
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
Kurniawan et al. Design and user evaluation of a spatial audio system for blind users
US11337021B2 (en) Head-related transfer function generator, head-related transfer function generation program, and head-related transfer function generation method
JP6614241B2 (ja) 耳形状解析装置、情報処理装置、耳形状解析方法、および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081008

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081118