JP2003330477A - 音響処理装置および音響処理用データの配信方法 - Google Patents

Abstract

(57)【要約】 【課題】 聴き手により豊かな臨場感を与えることがで
きる音響処理が簡単にできる音響処理装置、および、そ
れに用いる音響処理用データをユーザが手軽に手に入れ
られるようにする音響処理用データの配信方法を提供す
る。 【解決手段】 現実の音響空間で採取されたインパルス
応答データを含む処理用コンテンツデータ８Ｃをオーデ
ィオソース７からの原音にたたみ込むという音響処理を
施すと共に、音響処理音の出力と並行して、その出力中
の音響処理音が形作る音場に対応した画像を表示装置３
に表示する。ユーザは、聴覚的にも視覚的にも臨場感の
あるリアルな仮想視聴体験ができる。たたみ込み処理は
ソフトウェアを用いて行う。ユーザは、自分の所持して
いるパーソナルコンピュータを用いて自分が既に所有し
ているＣＤ等に収録された音楽等に対して手軽に音響処
理を施すことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、収録済の原音に対
して所定の音響処理を施すための音響処理装置、およ
び、実在の音響空間の響きに対応して得られた音響処理
用データの配信に適用される音響処理用データの配信方
法に関する。

【０００２】

【従来の技術】オーディオ信号に対して効果音を付加す
るための装置の１つとして、残響付加装置（リバーブレ
ータ：reverberator）が知られている。この装置は、例
えば録音スタジオでオーディオ信号に残響音を付加し、
音に広がりや深みを出すために多く用いられている。ス
タジオ等で録音された音に残響音を付加することで、実
際にホールで演奏されているような効果や、さらに特殊
な効果を与えることができる。

【０００３】古くは、残響音の付加は、実際にホール等
の残響音を得られるような場所で録音を行うか、あるい
は、鉄板やスプリング等の機械的振動を利用して残響音
的な効果を得るようにした鉄板エコー装置やスプリング
エコー装置等を用いて行われていた。

【０００４】実際にホール等で録音を行うと、より自然
な残響音を得ることができる。しかしながら、実際のホ
ールでは、残響音に関するパラメータ（例えば、残響時
間等）を変更できないこと、瞬時にマイクロホンの位置
や銘柄（特性）を変えることができないこと、膨大な機
材が必要なこと、および空調機器等の騒音がありＳ／Ｎ
が悪いこと、等の問題点がある。また、鉄板エコー装置
やスプリングエコー装置のような機械式の残響付加装置
は、経年変化がありメンテナンスが大変であると共に、
機械式なので、振動や外来のノイズに弱い。さらに、残
響時間の調整可能範囲が制限されることに加え、再現性
にも乏しい。さらに、装置自身が重厚長大であること、
およびＳ／Ｎが悪いこと、等の問題点もある。

【０００５】近年の残響付加装置では、これらの効果が
電気的に実現されている。さらに、最近では、ディジタ
ル信号処理技術の発達に伴い、ディジタル的に残響音を
合成するような方法が普及してきている。この方法の１
つに、例えば巡回型のディジタルフィルタを用いる方法
がある。この方法では、入力されたディジタルオーディ
オ信号が減衰されながら巡回され、残響音が生成され
る。この残響音を元のディジタルオーディオ信号に混合
する。実際には、直接音に対して所定期間遅延された位
置に初期反射音が加えられ、さらに所定期間後に残響音
が加えられる。直接音に対する残響音の遅延時間は、プ
リディレイと称される。この方法によれば、残響時間の
調整、副残響音の付加、および細かなレベル調整等を行
うことが可能で、幅広い音作りができる。

【０００６】ところで、実際のホール等での残響音は、
ホールの形状や音源の位置等により、音が様々に反射や
干渉等を起こし、より複雑な波形となっている。しかし
ながら、上記した方法のように、ディジタルフィルタを
用いて元のディジタルオーディオ信号をフィルタ処理す
るようにした場合には、単純に減衰した波形が得られる
だけなので、どうしても人工的な印象を免れなかった。
また、上記の方法では、元の信号をフィルタ処理により
巡回させるようにしているので、入力がなくなった後の
最終的な残響音のピッチが、巡回型フィルタ内部のフィ
ードバックループのピッチとなってしまい、高品位で自
然な残響音を得ることができなかった。

【０００７】

【発明が解決しようとする課題】そこで、実際にホール
や鉄板エコー等で残響音を発生させて、この残響音に基
づきインパルス応答を収集し、収集されたインパルス応
答をフィルタ処理により入力データと共にたたみ込むと
いう方法が既に提案されている。ここで、インパルス応
答とは、一般に、あるシステムに単位インパルス（所定
の高さの細いパルス状の入力）を与えたときにそのシス
テムから出力される応答パルス列をいう。上記のような
たたみ込み法により、実際の空間や装置のインパルス応
答に基づいた、より自然でリアルな残響音を得ることが
できる。そのようなたたみ込み処理を実現するハードウ
ェア回路構成の一例が、例えば特開２０００−９７７６
２号公報に記載されている。この公報に開示されたハー
ドウェア回路は、ＦＩＲ(Finite Impulse Response) フ
ィルタを用いて、時間軸上でインパルス応答をたたみ込
むようにしたものである。

【０００８】しかしながら、上記のように、時間軸方向
にインパルス応答をたたみ込む方法では、膨大な数の遅
延回路と係数乗算器とが必要になり、回路規模が極めて
大きくなってしまうという問題点がある。

【０００９】これを解決するために、例えば同公報に示
されているように、入力ディジタルオーディオ信号およ
びインパルス応答データをそれぞれハードウェア回路を
用いてフーリエ変換することにより周波数要素データに
変換し、この周波数軸上で両者をたたみ込むという方法
が提案されている。この方法では、上記した時間軸上で
たたみ込みを行う方法に比べて、ハードウェア回路の規
模が小さくて済むという利点がある。

【００１０】また、インパルス応答のたたみ込みに関す
る上記の諸問題を解決するため、例えば特表平８−５０
１６６７号公報に記載されているように、インパルス応
答データを時間軸上で分割し、分割されたそれぞれのイ
ンパルス応答によって入力データのたたみ込みを行う方
法も提案されている。

【００１１】このように、従来より、オーディオ信号に
関する処理については様々な試みがなされていたもの
の、必ずしも十分な臨場感をユーザに与え得るものでは
なかった。例えば、一部のクラシック音楽ファンやロッ
ク音楽ファンのような熱狂的な音楽ファンにあっては、
実際のコンサートホールでの名演奏の視聴を希望しなが
らも、その場に行くことができないことがある。そのよ
うなとき、彼らは、そのコンサートホールの雰囲気を仮
想的に体験したいと希望する場合が多い。しかしなが
ら、上記したいずれの方法においても、音響効果のみが
考慮されており、その他の要素についてはまったく配慮
がなされていなかった。

【００１２】また、上記のいずれの方法においても、イ
ンパルス応答のたたみ込み処理にハードウェア回路を用
いていることから、一般のコンスーマ（例えば、ＰＣ
（パーソナルコンピュータ）ユーザ等）にとっては、手
持ちのコンテンツ（例えばＣＤに記録された形で保有し
ている既存の楽曲）に簡単に音響効果処理を施して臨場
感のある音場を手軽に生成することは技術面およびコス
ト面の両面で困難であった。

【００１３】本発明はかかる問題点に鑑みてなされたも
ので、その第１の目的は、記録媒体に記録された音楽等
の収録音を、ユーザが十分な臨場感をもって楽しむこと
を可能とする音響処理装置を提供することにある。ま
た、本発明の第２の目的は、音楽等の既存の収録音に対
する音響処理を容易かつ低コストで行うことを可能にす
る音響処理装置を提供することにある。また、本発明の
第３の目的は、記録媒体に記録された音楽等の収録音を
再生する際に、ユーザに不自然な違和感を与えることな
く音響処理を施すことが可能な音響処理装置を提供する
ことにある。また、本発明の第４の目的は、上記のよう
な音響処理装置に用いられる音響処理用データをユーザ
が手軽に手に入れることを可能にする音響処理用データ
の配信方法を提供することにある。

【００１４】

【課題を解決するための手段】本発明の第１の観点に係
る音響処理装置は、原音に対して、実在する音響空間の
響きに対応したインパルス応答データをたたみ込むこと
により、効果音を生成するたたみ込み手段と、画像を再
生して出力する画像再生手段と、画像再生手段からの再
生画像の出力に沿って、原音とたたみ込み手段からの効
果音とを重畳させて音響処理音を生成し出力するように
画像再生手段およびたたみ込み手段を制御する制御手段
とを備えたものである。この場合において、少なくとも
たたみ込み手段はソフトウェアにより構成するのが好ま
しく、また、インパルス応答データは、画像再生手段か
らの再生画像と関連したものであることが好ましい。こ
こで、原音とは、対象となる音響処理が未だ施されてい
ない音響をいい、音響処理音とは、原音に基づいて作ら
れた効果音をその原音に重畳して得られる音響をいう。
効果音とは、原音にインパルス応答データをたたみ込む
ことにより得られる音響をいう。以下、本明細書におい
て同様である。

【００１５】本発明の第２の観点に係る音響処理装置
は、原音に対して、実在する音響空間の響きに対応した
インパルス応答データをたたみ込むことにより、効果音
を生成するたたみ込み手段と、インパルス応答データの
たたみ込み処理を行う際に生ずる遅延時間に相当する箇
所から原音に対するたたみ込み処理を開始するようにた
たみ込み手段の制御を行うと共に、音響処理の開始が指
示された時点から遅延時間の経過時点までの間は原音を
そのまま外部に出力する外部出力制御を行う一方、遅延
時間の経過時点以降は原音と効果音とを重畳させて音響
処理音を生成し出力する重畳制御を行う制御手段とを備
えたものである。

【００１６】本発明の第３の観点に係る音響処理装置
は、実在する第１の音響空間の響きに対応して得られた
第１のインパルス応答データを保持する手段と、音響処
理が施された音の再生出力が行われる予定の実在する第
２の音響空間の響きに対応して得られた第２のインパル
ス応答データを保持する手段と、原音に対して第１およ
び第２のインパルス応答データをたたみ込むことによ
り、効果音を生成するたたみ込み手段と、原音とたたみ
込み手段からの効果音とを重畳させて音響処理音を生成
し出力するようにたたみ込み手段を制御する制御手段と
を備えたものである。

【００１７】本発明に係る音響処理用データの配信方法
は、様々な実在の音響空間について提供されたインパル
ス応答データをサーバシステムに蓄積し、ユーザシステ
ムからの要求に応じて、サーバシステム内の選択された
インパルス応答データを、通信路を介して、その要求を
したユーザシステムに配信し、インパルス応答データの
配信に応じた料金をユーザシステムに課金する課金処理
を行うようにしたものである。この場合において、サー
バシステムにおいて、広域通信ネットワークに接続され
たコンテンツ提供システムから通信路を介してインパル
ス応答データの提供を受けて蓄積するようにするのが好
ましく、さらに、ユーザシステムに対するインパルス応
答データの配信回数に応じた料金をその配信されたイン
パルス応答データを提供したコンテンツ提供システムに
支払うために必要な支払処理を行うようにするのが好ま
しい。

【００１８】本発明の第１の観点に係る音響処理装置で
は、たたみ込み手段によって原音にインパルス応答デー
タをたたみ込むことにより効果音が生成され、さらに、
この効果音が原音に重畳されて音響処理音が生成され
る。この音響処理音は、画像再生手段からの再生画像の
出力に合わせて出力される。インパルス応答データは実
在する音響空間の響きに対応したものなので、実際にそ
の音響空間で音響を聴いているかのような臨場感を聴き
手に与えることになる。しかも、音響処理音に連動して
再生画像が出力されるので、聴き手に視覚的な臨場感を
も与えることになる。

【００１９】本発明の第２の観点に係る音響処理装置で
は、たたみ込み手段によって原音にインパルス応答デー
タをたたみ込むことにより効果音が生成される。このた
たみ込み処理の際に遅延が生ずる。このたたみ込み処理
は、原音のうち、上記の遅延した時間を差し引いた箇所
（遅延分をオフセットした位置）から開始される。そし
て、音響処理開始が指示された時点から遅延時間の経過
時点までの間は原音がそのまま外部に出力される一方、
遅延時間の経過時点以降は原音と効果音とを重畳させて
生成された音響処理音が出力される。この結果、聴き手
は、遅延時間に相当する当初の期間は原音を、その後は
音響処理音を聴くことになる。このため、たたみ込み処
理による遅延に起因する再生開始直後の無音期間がなく
なる。

【００２０】本発明の第３の観点に係る音響処理装置で
は、実在する第１の音響空間の響きに対応して得られた
第１のインパルス応答データと、音響処理が施された音
の再生出力が行われる予定の実在する第２の音響空間の
響きに対応して得られた第２のインパルス応答データと
を原音にたたみ込むことにより、効果音が生成される。
そして、この効果音が原音に重畳されて音響処理音が生
成され、出力される。すなわち、収録空間としての第１
の音響空間のみならず、再生空間としての第２の音響空
間の音響特性をも加味した音響処理が行われることにな
る。このため、視聴する空間の良し悪しに左右されるこ
となく、ほぼ一定の安定した音響特性を保った臨場感を
聴き手に与えることになる。

【００２１】本発明の音響処理用データの配信方法で
は、サーバシステムに蓄積された様々な実在の音響空間
についてのインパルス応答データのうち、ユーザシステ
ムから要求されたインパルス応答データが、通信路を介
して、そのユーザシステムに配信される。そして、イン
パルス応答データの配信に応じた利用料金がユーザシス
テムに課金される。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００２３】［音響処理装置］ 《第１の実施の形態》図１は、本発明の第１の実施の形
態に係る音響処理装置を用いて構成したオーディオビジ
ュアルシステム（以下、ＡＶシステムという。）の概略
構成を表すものである。このＡＶシステムは、収録済の
原音に所定の音響処理を施して音響処理音を生成する音
響処理装置１と、生成された音響処理音（オーディオデ
ータ）を出力する４つのスピーカ２Ａ〜２Ｄと、音響処
理装置１により再生された画像（以下、適宜、映像とも
いう。）を表示する表示装置３とを含んで構成されてい
る。スピーカ２Ａ〜２Ｄは、それぞれ、信号増幅機能を
有するオーディオアンプ４Ａ〜４Ｄを介して、音響処理
装置１に接続されている。表示装置３もまた音響処理装
置１に接続されている。

【００２４】音響処理装置１は、例えばパーソナルコン
ピュータ等で構成されるが、その他の情報処理装置を用
いて構成することも可能である。４つのスピーカのう
ち、スピーカ２Ａ，２Ｂは、このシステムのユーザ（視
聴者）Ｕの前方に配置されるフロントスピーカであり、
スピーカ２Ｃ，２Ｄは、ユーザＵの後方に配置されるリ
アスピーカである。これらの４つのスピーカによって、
いわゆるサラウンドシステム（surround system ）が実
現されるようになっている。

【００２５】ここで、サラウンドシステムとは、一般
に、周囲に４個以上のスピーカーを配して、音の到達時
間を変えたり、壁や天井からの反射による間接音や残響
に相当する音を出したりすることにより、視聴者が感じ
る音の像に左右の広がりだけでなく、奥行も感じられる
ようにした音響再生システムであり、コンサートホール
や映画館の臨場感を出すことを目的として用いられる。
このサラウンドシステムでは、左右の音声信号の時間的
ずれ、位相差と音量差によって、リアエフェクト音声を
作り出し、これを後方や横に置かれたエフェクトスピー
カから再生することにより、できる限り実際の音声に近
づけることができる。

【００２６】表示装置３は、通常、ユーザＵの正面に配
置される。表示装置３としては、例えば、大画面のＣＲ
Ｔ（cathode −ray tube）ディスプレイ、液晶ディスプ
レイ、プラズマディスプレイ、ＥＬ（electoroluminesc
ence）ディスプレイ、ＦＥＤ（Field Emission Displa
y）、あるいは液晶プロジェクタ等が用いられる。

【００２７】このＡＶシステムには、音響処理装置１に
よる音響処理の結果生成された音響処理音および画像
（ビデオデータ）を記録・再生することが可能な記録再
生装置５を含めることも可能である。この記録再生装置
５としては、例えば、追記型または書き替え可能型のＤ
ＶＤ( Ｄigital Versatile Disk ）装置や、ビデオカセ
ットレコーダ（ＶＴＲ）等が用いられる。この記録再生
装置５には、ヘッドフォン６が接続可能である。ユーザ
Ｕは、記録再生装置５から再生されて表示装置３に表示
される画像を見ながら、記録再生装置５から再生された
音響処理音をヘッドフォン６を通じて聴取することがで
きるようになっている。なお、記録再生装置５として
は、音声の記録・再生のみが可能な装置、例えばＭＤ
（Mini Disc ）やカセットテープレコーダ等のような携
帯可能な小型の装置を用いるようにしてもよい。また、
記録再生装置５を音響処理装置１に内蔵するようにして
もよく、その場合には、この記録再生装置５が本発明の
「着脱可能記録媒体に記録する記録手段」の一具体例に
対応する。

【００２８】音響処理装置１は、オーディオソース（音
源）７からオーディオデータ７Ａを取り込むと共に、コ
ンテンツソース（素材源）８から処理用コンテンツデー
タ８Ｃを取り込み、この処理用コンテンツデータ８Ｃを
用いてオーディオデータ７Ａに所定の音響処理（リバー
ブ処理、より具体的には、たたみ込み処理）を施すとい
う機能を有している。

【００２９】オーディオソース７は、例えば、ＣＤ（Co
mpact Disc）、ＭＤおよびＤＶＤのような音声記録媒体
であってもよいし、あるいはインターネットウェブサイ
ト（すなわち、インターネット上に開設されている音楽
配信サイト）のホームページ（ＨＰ）であってもよい。
コンテンツソース８は、処理用コンテンツデータ８Ｃを
提供するためのものであり、例えばＣＤ−ＲＯＭやフロ
ッピー（登録商標）ディスク等のデータ記録媒体の形で
配布されるものであってもよいし、あるいは、インター
ネットウェブサイト（すなわち、インターネット上に開
設されているコンテンツ配信サイト）のホームページ
（ＨＰ）であってもよい。そのようなコンテンツ配信サ
イトについては後述する。

【００３０】オーディオデータ７Ａは、既に収録された
各種の音楽や音色（例えば楽器の音や鐘の音等）を表す
データである。処理用コンテンツデータ８Ｃは、リバー
ブデータ、画像データ、付帯データおよびリンクデータ
の４者よりなる複合データである。なお、以下の説明で
は、「処理用コンテンツデータ８Ｃ」を単に「コンテン
ツデータ８Ｃ」と略記する。

【００３１】リバーブデータは、音声データに対して後
述の音響処理（たたみ込み処理）を施すときに用いられ
る音響処理用データ（具体的には、インパルス応答デー
タ）であり、実在する音響空間において採取されたもの
である。音響空間およびインパルス応答データについて
は後述する（図９参照）。

【００３２】画像データは、リバーブデータと関連した
内容の画像を表すデータであり、静止画もしくは動画の
いずれか一方または双方を含むデータである。画像デー
タには、例えば、インパルス応答データが採取された音
響空間自体を撮影して得られる静止画または動画を表す
データや、その音響空間を想起させるような絵画または
意匠等を表すデータ等が含まれる。この画像データは、
圧縮されたデータである。具体的には、静止画の場合に
は、例えばｊｐｅｇ（joint photographic expert grou
p ）形式等の圧縮データが用いられ、動画の場合には、
例えばＭＰＥＧ（motion pictures expert group）形式
等の圧縮データが用いられる。

【００３３】付帯データは、コンテンツデータ８Ｃの内
容に関する補足情報であり、リバーブデータのタイトル
と、画像データのタイトルと、画像データに関わる説明
とを含む。ここで、「画像データに関わる説明」として
は、例えば、そのリバーブデータが採取された施設（音
響空間）の紹介（例えば、その施設の規模や歴史）や、
その施設がある都市の紹介、さらには、その施設や都市
にまつわる人物やエピソード等の紹介が挙げられる。

【００３４】リンクデータは、リバーブデータと画像デ
ータおよび付帯データとをリンクさせる（関連付ける）
ための定義付け情報である。

【００３５】なお、リバーブデータ、画像データ、付帯
データおよびリンクデータの具体的内容、ならびにそれ
らのデータの相互関係については後述する（図４参照)
。

【００３６】ここで、図９を参照して、リバーブデータ
として用いられるインパルス応答データの意義について
説明する。

【００３７】図９は、ある音響空間について得られたイ
ンパルス応答データの一例を表すものである。なお、こ
こにいう音響空間とは、例えば、ウイーン・コンツェル
トハウスやライプツィヒ・ゲヴァントハウスのような著
名なコンサートホール、東京ドームのようなイベントホ
ール、さらには、グランドキャニオンのような地表の壮
大な空間や、鍾乳洞あるいは鉱石採掘跡のような地下空
間等、およそ自然界に存在して音を伝播可能なすべての
空間を意味するものとする。

【００３８】図９において、横軸は時間軸を表し、縦軸
はデータの値を表す。ここにいうインパルス応答データ
とは、ある音響空間に単位インパルス音を与えたときに
そこに生ずる残響音を所定の時間間隔でサンプリングし
て得られるパルス列のデータをいい、その音響空間がも
つ固有の音響特性、具体的には残響音特性を表してい
る。なお、図９では、サンプリングポイント数をＮｓ
（Ｎｓは正の整数）として描いている。この図に示した
ように、インパルス応答データは、一般に、時間の経過
と共にほぼ指数関数的に減衰する形を有している。但
し、その厳密な形は、音響空間の大きさ、形状、構造お
よび構成材料等に応じて音響空間ごとに異なるのが普通
であり、それぞれ独特の形をしている。

【００３９】このように、インパルス応答データは、そ
れが得られた音響空間と一体不可分の関係にある。そこ
で、本実施の形態では、画像データとして、例えば、そ
の音響空間自体を撮影して得られる静止画または動画を
表すデータや、その音響空間を想起させるような絵画ま
たは意匠等を表すデータを用い、この画像データを各音
響空間に対応付けて提供すると共に、インパルス応答デ
ータを用いて生成した音響処理音に関連付けて画像デー
タを取り扱うようにしている。その詳細については後述
する。

【００４０】図２は、図１に示した音響処理装置１の概
略構成を表すものである。この音響処理装置１は、ＣＰ
Ｕ（中央処理装置）１１と、ＣＰＵ１１が行うデータ処
理に必要な作業データ等の随時書き込みと随時読み出し
とが可能なＲＡＭ１２と、ＢＩＯＳ（Basic Input/Outp
ut System ）等が格納された読み出し専用のＲＯＭ（Re
ad Only Memory）１３とを備えている。音響処理装置１
はまた、ＯＳ（operating system）およびアプリケー
ションプログラム等のプログラムを含む様々なデータを
格納すると共にこれらのデータのランダム読出が可能な
ハードディスクドライブ（ＨＤＤ）１４と、インターネ
ットに接続可能な通信Ｉ／Ｆ１５と、ＣＤドライブ１６
と、オーディオビジュアルインタフェイス（ＡＶ−Ｉ／
Ｆ）１７とを備えている。音響処理装置１は、さらに、
データ入力用のキーボード１８Ｋおよびマウス１８Ｍ
と、表示デバイス（ＤＰＬＹ）１９とを備えている。以
上列挙した各部は、バスＢによって相互に接続されてい
る。

【００４１】ＣＰＵ１１は、この音響処理装置１の全体
に係わる動作を制御するほか、後述するたたみ込み演算
等を高速で処理する機能を有する。ＣＰＵ１１として
は、動作クロックが例えば５００ＭＨｚ以上の高速タイ
プのデバイスを用いるのが好ましい。ここで、ＣＰＵ１
１が、本発明における「たたみ込み手段」、「画像再生
手段」および「制御手段」を実現するハードウェアの一
具体例に対応する。

【００４２】ＨＤＤ１４は、上記したＯＳのほかに、少
なくともリバーブアプリケーションプログラム１４Ｐ
と、コンテンツライブラリ１４Ｃとを格納できるだけの
記憶容量を有する。リバーブアプリケーションプログラ
ム１４Ｐは、オーディオソース７（図１）から供給され
る原音（オーディオデータ７Ａ）に音響処理であるリバ
ーブ処理（たたみ込み処理）を施すためのプログラムで
あり、例えばＣＤドライブ１６を用いてＣＤ−ＲＯＭ１
６ＰからＨＤＤ１４にインストールされるようになって
いる。コンテンツライブラリ１４Ｃは、コンテンツソー
ス８（図１）から供給された、リバーブデータ、画像デ
ータ、付帯データおよびリンクデータからなるコンテン
ツデータ８Ｃを集めたファイルライブラリである。な
お、図２に示した例では、オーディオソースは音楽ＣＤ
１６Ａであり、コンテンツソースはインターネット上の
ウェブサイトである。

【００４３】ＡＶ−Ｉ／Ｆ１７は、オーディオアンプ４
Ａ〜４Ｄ、表示装置３および記録再生装置５（図１）と
バスＢとの間を接続し、ディジタル信号（ディジタルオ
ーディオデータおよびディジタル画像データ）を、アナ
ログ信号（アナログオーディオデータおよびアナログ画
像データ）に変換する信号変換機能等を有している。通
信Ｉ／Ｆ１５としては、例えば、ＩＳＤＮ回線用であれ
ばターミナルアダプタ（ＴＡ）、アナログ回線用であれ
ばモデム（modem ）等が用いられる。ＣＤドライブ１６
は、通常の音楽ＣＤ１６Ａを駆動してオーディオデータ
７ＡをＨＤＤ１４に取り込むことができるほか、プログ
ラムが記録されたＣＤ−ＲＯＭ１６Ｐを駆動してリバー
ブアプリケーションプログラム１４ＰをＨＤＤ１４に取
り込むことができるようになっている。なお、ＣＤドラ
イブ１６は、読み出し専用メディアであるＣＤやＣＤ−
ＲＯＭを駆動可能なもののほか、追記型メディアである
ＣＤ−Ｒ（Recordable）や、書き替え可能型メディアで
あるＣＤ−ＲＷ（Rewitable ）等の駆動が可能な複合型
ドライブであってもよい。さらに、ＣＤドライブ１６に
代えて、書込専用ＤＶＤや書き替え可能型ＤＶＤの駆動
が可能なＤＶＤドライブを用いるようにしてもよい。

【００４４】図３は、音響処理装置１がＨＤＤ１４内の
コンテンツライブラリ１４Ｃを用いて行う機能の要部を
表したものである。なお、図３において、「データ」と
いう用語は、意味的なまとまりをもった一連の情報を意
味し、「ファイル」という用語は、記憶装置に格納され
た複数の同種データの集合体を意味するものとする。例
えば、リバーブファイルＲＦは、複数種類のリバーブデ
ータＲＤi （ｉ＝１，２，３，…) を含むデータファイ
ルであり、画像ファイルＩＭＦは、複数種類の画像デー
タＩＭj （ｊ＝１，２，３，…) を含むデータファイル
である。付帯ファイルＡＸＦは、複数の付帯データＡＸ
i （ｉ＝１，２，３，…) を含むデータファイルであ
り、リンクファイルＬＦは、複数のリンクデータＬi
（ｉ＝１，２，３，…) を含むデータファイルである。

【００４５】図４は、リンクファイルの内容の一具体例
を表すものである。リンクファイルＬＦは、複数のリン
クデータＬ１，Ｌ２，Ｌ３，…を含んでいる。各リンク
データＬi （ｉ＝１，２，３，…）は、１つのリバーブ
データと、１または複数の画像データと、１つの付帯デ
ータとを相互に対応付ける定義付けデータである。例え
ば、リンクデータＬ１は、リバーブデータＲＤ１と、３
つの画像データ［ＩＭ１，ＩＭ２，ＩＭ３］と、付帯デ
ータＡＸ1 とを対応付けており、リンクデータＬ２は、
リバーブデータＲＤ２と、３つの画像データ［ＩＭ４，
ＩＭ５，ＩＭ６］と、付帯データＡＸ2 とを対応付けて
いる。リンクデータＬ３は、リバーブデータＲＤ３と、
４つの画像データ［ＩＭ４，ＩＭ５，ＩＭ６，ＩＭ１］
と、付帯データＡＸ3 とを対応付けている。なお、図４
におけるＲＤｉ，ＩＭj ，ＡＸｉの表記は各データの中
身自体を示すものではなく、データの中身が実際に格納
されている場所（ハードディスク１４上のアドレス）を
表しているにすぎない。

【００４６】画像データＩＭ１〜ＩＭ６の実際のデータ
内容は、例えば、 ＩＭ１：IMAGE1.bmp，ＩＭ２：IMAGE2.bmp，ＩＭ３：IM
AGE3.bmp ＩＭ４：VIDEO1.mpg，ＩＭ５：VIDEO2.mpg，ＩＭ６：VI
DEO3.mpg である。ここで、拡張子「bmp 」はビットマップ形式の
静止画データであることを示し、拡張子「mpg 」はＭＰ
ＥＧ(Moving Picture Experts Group)形式で圧縮された
動画データであることを示す。

【００４７】図４に示した例において、リンクデータＬ
１は、「リバーブデータＲＤ１が選択された場合に、３
つの静止画像データIMAGE1.bmp，IMAGE2.bmp，IMAGE3.b
mpをそれぞれ所定の時間ずつ順次表示させると共に、こ
れらの静止画像の表示に同期して付帯データＡＸ１の内
容を表示する」ことを意味している。リンクデータＬ２
は、「リバーブデータＲＤ２が選択された場合に、３つ
の動画像データVIDEO1.mpg，VIDEO2.mpg，VIDEO3.mpgを
順次表示させると共に、これらの静止画像の表示に同期
して付帯データＡＸ２の内容をオーバーラップ表示す
る」ことを意味している。リンクデータＬ３は、「リバ
ーブデータＲＤ３が選択された場合に、３つの動画像デ
ータVIDEO1.mpg，VIDEO2.mpg，VIDEO3.mpgを順次表示さ
せたのち、静止画像データIMAGE1.bmpを所定時間表示さ
せ、その後、２番目の動画像データVIDEO2.mpgを表示さ
せると共に、これらの静止画像の表示に同期して付帯デ
ータＡＸ３の内容をオーバーラップ表示する」ことを意
味している。その他のリンクデータについても同様であ
る。なお、リンクデータＬ３における「Go To #2」は、
２番目の画像データに制御を移すことを意味するが、こ
のような記述が存在しない場合には、先頭の画像データ
に制御を移すようになっている。

【００４８】図３に示したように、リバーブアプリケー
ションプログラム１４Ｐは、少なくとも、リバーブモジ
ュールＲＥＶ、画像再生モジュールＲＥＰおよびリンク
制御モジュールＬＣという３つのプログラムモジュール
を含んで構成されている。リンク制御モジュールＬＣ
は、ユーザによって指定されたリンクデータＬi をリン
クファイルＬＦから読み出し、このリンクデータＬi の
内容に従って、リバーブモジュールＲＥＶおよび画像再
生モジュールＲＥＰを制御するようになっている。リバ
ーブモジュールＲＥＶおよび画像再生モジュールＲＥＰ
は、それぞれ、リンク制御モジュールＬＣによる制御の
下、互いに同期して、リバーブデータＲＤi と、画像デ
ータＩＭi および付帯データＡＸi とを読み出し、以下
に述べる処理を行うようになっている。画像再生モジュ
ールＲＥＰが、本発明における「画像再生手段」の一具
体例に対応し、リンク制御モジュールＬＣが本発明にお
ける「制御手段」の一具体例に対応する。

【００４９】すなわち、リバーブモジュールＲＥＶは、
リバーブファイルＲＦからリバーブデータＲＤi を読み
出し、このリバーブデータＲＤi を用いて、音楽ＣＤ１
６Ａ（図２、図３参照）から出力されるオーディオデー
タ７Ａ（図１〜図３参照）に対して、後述するリバーブ
処理（たたみ込み処理）を行い、スピーカ２Ａ〜２Ｄに
出力するという音響処理機能を有する。

【００５０】一方、画像再生モジュールＲＥＰは、画像
ファイルＩＭＦから画像データＩＭj を読み出してその
圧縮状態を解凍し、これをリバーブモジュールＲＥＶの
出力に合わせて表示装置３に出力するという画像デコー
ド機能を有する。画像再生モジュールＲＥＰはまた、付
帯ファイルＡＸＦから付帯データＡＸi を読み出し、画
像再生出力に同期して表示装置３に出力するという機能
も有している。リバーブモジュールＲＥＶは以下に述べ
るような構造を有している。

【００５１】図５は、図３に示したリバーブモジュール
ＲＥＶの機能構造を詳細に表すものである。なお、この
図に示した各機能ブロックは、いずれもソフトウェアに
よって実現されるものである。

【００５２】このリバーブモジュールＲＥＶは、ステレ
オ入力／ステレオ出力の機能を有する。すなわち、この
リバーブモジュールＲＥＶは、Ｌチャンネル（左チャン
ネル）の入力オーディオデータＬinとＲチャンネル（右
チャンネル）の入力オーディオデータＲinとからなるオ
ーディオデータ７Ａ（図１、図２，図３参照）を入力と
し、Ｌチャンネルの出力オーディオデータＬout とＲチ
ャンネルの出力オーディオデータＲout とからなる音響
処理データ７Ｂを出力するようになっている。

【００５３】リバーブモジュールＲＥＶは、Ｌチャンネ
ルの入力オーディオデータＬinに対してたたみ込み処理
を行うための２つのたたみ込み処理部５１Ｌ１，５１Ｌ
２と、Ｒチャンネルの入力オーディオデータＲinに対し
てたたみ込み処理を行うための２つのたたみ込み処理部
５１Ｒ１，５１Ｒ２とを含んで構成されている。リバー
ブモジュールＲＥＶはまた、Ｌチャンネルの入力オーデ
ィオデータＬinを遅延させるための遅延処理部５２Ｌ
と、Ｒチャンネルの入力オーディオデータＲinを遅延さ
せるための遅延処理部５２Ｒとを含んでいる。Ｌチャン
ネルの入力オーディオデータＬinは３経路に分岐されて
入力され、各分岐されたデータが、それぞれ、たたみ込
み処理部５１Ｌ１，５１Ｌ２および遅延処理部５２Ｌに
入力されるようになっている。同様に、Ｒチャンネルの
入力オーディオデータＲinは３経路に分岐されて入力さ
れ、各分岐されたデータが、それぞれ、たたみ込み処理
部５１Ｒ１，５１Ｒ２および遅延処理部５２Ｒに入力さ
れるようになっている。ここで、たたみ込み処理部５１
Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２が本発明における
「たたみ込み手段」の一具体例に対応する。

【００５４】たたみ込み処理部５１Ｌ１，５１Ｌ２，５
１Ｒ１，５１Ｒ２には、リバーブデータＲＤi （図３〜
図５参照）が個別に供給され、これを用いて、入力オー
ディオデータＬin，Ｒinに対するたたみ込み処理が行わ
れるようになっている。たたみ込み処理部５１Ｌ１，５
１Ｌ２，５１Ｒ１，５１Ｒ２にはまた、リバーブ時間調
整データ５６が供給され、これにより、リバーブ時間を
個別に設定できるようになっている。このリバーブ時間
は、入力オーディオデータＬin，Ｒinに対して実際にた
たみ込み処理を施す時間の長さであり、通常、リバーブ
データが採取された音響空間が有する固有の残響時間の
長短に応じて設定される。なお、一般に、残響時間は音
が止まってから音圧レベルが６０ｄＢ減衰するまでの時
間を意味する。

【００５５】たたみ込み処理部５１Ｌ１の出力とたたみ
込み処理部５１Ｒ２の出力とは、加算部５３Ｌ１に入力
され、ここで互いに加算されて、効果音（ウェット音）
データＷＬとして出力されるようになっている。一方、
たたみ込み処理部５１Ｌ２の出力とたたみ込み処理部５
１Ｒ１の出力とは、加算部５３Ｒ１に入力され、ここで
互いに加算されて、効果音データＷＲとして出力され
る。加算部５３Ｌ１から出力された効果音データＷＬは
乗算部５４Ｌ１に入力され、ここで、Ｌチャンネル用の
ウェット成分調整データ５７Ｌと乗ぜられる。一方、加
算部５３Ｒ１から出力された効果音データＷＲは乗算部
５４Ｒ１に入力され、ここで、Ｒチャンネル用のウェッ
ト成分調整データ５７Ｒと乗ぜられるようになってい
る。ここで、ウェット成分調整データとは、最終的に視
聴に供される音響処理済みの音の全体（すなわち、音響
処理音）に占める効果音の割合を決定する係数である。
具体的には、ウェット成分調整データ５７Ｌは、出力オ
ーディオデータＬout のうち効果音データＷＬが占める
割合を表し、ウェット成分調整データ５７Ｒは出力オー
ディオデータＲout のうち効果音データＷＲが占める割
合を表す。

【００５６】遅延処理部５２Ｌから出力された原音（た
たみ込みがなされていないドライ音）データＤＬは乗算
部５４Ｌ２に入力され、ここでＬチャンネル用のドライ
成分調整データ５８Ｌと乗ぜられるようになっている。
一方、遅延処理部５２Ｒから出力された原音データＤＲ
は乗算部５４Ｒ２に入力され、ここでＲチャンネル用の
ドライ成分調整データ５８Ｒと乗ぜられる。ここで、ド
ライ成分調整データとは、最終的に視聴に供される音響
処理音に占める原音の割合を表す係数である。具体的に
は、ドライ成分調整データ５７Ｌは、出力オーディオデ
ータＬout のうち原音データＤＬが占める割合を表す係
数であり、ドライ成分調整データ５７Ｒは、出力オーデ
ィオデータＲout のうち原音データＤＲが占める割合を
表す係数である。

【００５７】乗算部５４Ｌ１，５４Ｌ２の各出力は、加
算部５３Ｌ２で互いに加算（重畳）され、これにより、
Ｌチャンネルの原音データＤＬと効果音データＷＬとが
所定の比率（すなわち、ドライ成分調整データ５８Ｌと
ウェット成分調整データ５７Ｌの比）で混合された出力
オーディオデータＬout が生成される。一方、乗算部５
４Ｒ１，５４Ｒ２の各出力は、加算部５３Ｒ２で互いに
加算（重畳）され、これにより、Ｒチャンネルの原音デ
ータＤＲと効果音データＷＲとが所定の比率で混合され
た出力オーディオデータＲout が生成されるようになっ
ている。

【００５８】図６は、図５におけるたたみ込み処理部５
１Ｌ１の機能構造をより詳細に表すものである。このた
たみ込み処理部５１Ｌ１は、Ｌチャンネルの入力オーデ
ィオデータＬinが入力されるバッファ処理ブロック６１
と、バッファ処理ブロック６１の出力が供給されるＦＦ
Ｔ（Fast Fourier Transformation ）処理ブロック６２
と、リバーブデータＲＤi （ｉ＝１，２，３，…；図３
〜図５参照）が入力されるバッファ処理ブロック６３
と、バッファ処理ブロック６３の出力が供給されるＦＦ
Ｔ処理ブロック６４とを含んで構成されている。たたみ
込み処理部５１Ｌ１はまた、ＦＦＴ処理ブロック６２の
出力とＦＦＴ処理ブロック６２の出力とが供給される乗
算ブロック６５と、乗算ブロック６５の出力が供給され
るＩＦＦＴ処理ブロック６６とを含んでいる。

【００５９】バッファ処理ブロック６１は、音楽ＣＤ１
６Ａ（図２，図３）からＬチャンネルの入力オーディオ
データＬinを読み出し、これをメモリ（図２；ＲＡＭ１
２）に所定量蓄積したのちに出力する処理を行うブロッ
クである。このバッファ処理ブロック６１によってメモ
リに蓄積されるデータの量は、リバーブ時間調整データ
５６によって設定されるようになっている。具体的に
は、例えば５１２ｋ（＝２¹⁹＝５２４，２８８）ポイン
ト分のサンプリングデータがバッファ処理ブロック６１
に格納される。

【００６０】バッファ処理ブロック６３は、ＨＤＤ１４
（図２）のリバーブファイルＲＦ（図３）からいずれか
のリバーブデータＲＤi を読み出し、これをメモリ（図
２；ＲＡＭ１２）に所定量蓄積したのち出力する処理を
行うブロックである。このバッファ処理ブロック６３に
よってメモリに蓄積されるデータ量もまた、リバーブ時
間調整データ５６によって設定される。

【００６１】ＦＦＴ処理ブロック６２は、バッファ処理
ブロック６１から出力された時間軸上のオーディオデー
タを高速フーリエ変換(FFT) によって周波数軸上のデー
タに変換する処理を行うブロックである。このブロック
により、Ｌチャンネルの入力オーディオデータＬinは、
例えば、０．１Ｈｚ毎の周波数要素データに変換される
ようになっている。ＦＦＴ処理ブロック６４は、バッフ
ァ処理ブロック６３から出力された時間軸上のリバーブ
データＲＤi を高速フーリエ変換によって周波数軸上の
データに変換する処理を行うブロックである。

【００６２】乗算ブロック６５は、ＦＦＴ処理ブロック
６２の出力にＦＦＴ処理ブロック６４の出力を乗ずるた
たみ込み演算処理を行うブロックである。このときの乗
算は、互いに周波数成分が一致するデータ同士で行われ
る。

【００６３】ＩＦＦＴ処理ブロック６６は、乗算ブロッ
ク６５から出力された周波数軸上のデータを逆高速フー
リエ変換(IFFT ;Inverse Fast Fourier Transformatio
n) によって時間軸上のデータに変換し、効果音（ウェ
ット音）６７として出力する処理を行うブロックであ
る。

【００６４】なお、他のたたみ込み処理部５１Ｌ２は、
たたみ込み処理部５１Ｌ１と同様のブロック構造および
機能を有する。また、たたみ込み処理部５１Ｒ１，５１
Ｒ２は、入力がＲチャンネルの入力オーディオデータＲ
inである点を除き、たたみ込み処理部５１Ｌ１と同様の
ブロック構造および機能を有する。但し、これらの４つ
のたたみ込み処理部５１Ｌ１〜５１Ｒ２で行われる処理
は、実際には、ＣＰＵ１１（図２）によって時分割的に
実行される処理である。

【００６５】次に、主に図７および図８を参照して、以
上のような構成の音響処理装置の全体動作および作用を
説明する。

【００６６】図７は、ユーザＵ（図１）が音響処理装置
１を用いて音響処理を行う場合の操作を含めた全体の流
れを表し、図８は、リバーブモジュールＲＥＶ（図３，
図５参照）における音響処理のタイミングを表すもので
ある。ここでは、図２に示したように、ユーザＵはすで
に、ＣＤ−ＲＯＭ１６Ｐによって提供されたリバーブア
プリケーションプログラム１４ＰをＣＤドライブ１６を
用いてＨＤＤ１４にインストールする作業を終了してい
るものとする。このリバーブアプリケーションプログラ
ム１４Ｐを記録したＣＤ−ＲＯＭ１６Ｐは、例えば音楽
雑誌の付録として提供するようにしてもよい。なお、リ
バーブアプリケーションプログラム１４Ｐは、ＣＤ−Ｒ
ＯＭ以外の記憶媒体で提供されるようにしたり、あるい
はインターネットのホームページからダウンロードによ
り提供されるようにすることも可能である。

【００６７】ユーザＵはまず、音響処理装置１を操作し
て、コンテンツソース８（図１）から、リバーブデー
タ、画像データ、付帯データおよびリンクデータからな
るコンテンツデータ８Ｃを取得する。ここでは、コンテ
ンツソース８がインターネット上の任意のコンテンツ配
信サイトのサーバ（図示せず）であるものとする。この
場合、ユーザＵは、コンテンツ配信サイトのホームペー
ジ（図示せず）にアクセスして、コンテンツデータ８Ｃ
をダウンロードし（図７；ステップＳ１０１）、これを
ＨＤＤ１４のコンテンツライブラリ１４Ｃ（図２）に格
納する。このとき、ユーザＵは、１つのサイトから複数
種類のコンテンツデータ８Ｃをダウンロードしたり、あ
るいは、複数のサイトからコンテンツデータ８Ｃをダウ
ンロードすることにより、ＨＤＤ１４のコンテンツライ
ブラリ１４Ｃに複数のコンテンツデータ８Ｃを蓄積する
ことができる。なお、コンテンツデータ８ＣをＣＤ−Ｒ
ＯＭ等の物理的な記憶媒体を介して取得することも可能
である。

【００６８】次に、ユーザＵが、ＣＤドライブ１６（図
２）にオーディオソースである音楽ＣＤ１６Ａをセット
し、ＨＤＤ１４内のリバーブアプリケーションプログラ
ム１４Ｐを起動して所定の操作を行うと（ステップＳ１
０２）、リバーブアプリケーションプログラム１４Ｐ
は、ＨＤＤ１４のコンテンツライブラリ１４Ｃの内容を
ディスプレイ１９にリスト表示すると共に、音楽ＣＤ１
６Ａの中の楽曲（音楽プログラム）のリストを表示する
（ステップＳ１０３）。

【００６９】コンテンツライブラリ１４Ｃの内容表示
は、次のようにして行われる。すなわち、リバーブアプ
リケーションプログラム１４Ｐのリンク制御モジュール
ＬＣ（図３）は、コンテンツライブラリ１４Ｃ内のリン
クファイルＬＦ（図３，図４）に含まれるすべての付帯
データＡＸｉの内容を参照し、リバーブデータＲＤi の
タイトルと、このリバーブデータＲＤi に対応する画像
データＩＭj のタイトルとをリスト形式でディスプレイ
１９に表示する。具体的には、リバーブデータＲＤi の
タイトルとして、例えばそのリバーブデータＲＤi が採
取された音響空間（施設や場所）の名称（例えば、「ウ
ィーンコンツェルトハウス」等）が表示され、画像デー
タＩＭj のタイトルとして、その画像の内容を簡潔に表
すタイトル（例えば、「ウィーンコンツェルトハウスの
全景とウィーンの春の風景」等）が表示される。

【００７０】こうして表示された楽曲リストおよびコン
テンツライブラリリストの中から、ユーザＵによってい
ずれかの楽曲とリバーブデータＲＤi とが選択されると
（ステップＳ１０４；Ｙ）、リバーブアプリケーション
プログラム１４Ｐは、選択された楽曲の再生と、選択さ
れたリバーブデータＲＤi が指し示す画像の再生とを開
始する。

【００７１】具体的には、リンク制御モジュールＬＣ
は、まず、リンクファイルＬＦから、その選択されたリ
バーブデータＲＤi に関するリンクデータＬi を読み出
し、このリンクデータＬi の内容に従って、選択された
リバーブデータＲＤi に対応する画像データＩＭj の再
生表示を開始するよう、画像再生モジュールＲＥＰ（図
３）に指示する。さらに、リンク制御モジュールＬＣ
は、選択されたリバーブデータＲＤi を用いて、選択さ
れた楽曲のオーディオデータ７Ａ（図１〜図３）にリバ
ーブ音響処理を行うよう、リバーブモジュールＲＥＶ
（図３，図５）に指示する。

【００７２】例えばリバーブデータＲ１が選択されたと
すると、リンク制御モジュールＬＣは、コンテンツライ
ブラリ１４ＣのリンクファイルＬＦから、対応するリン
クデータＬ１を読み出す。そして、そのリンクデータＬ
１中に列挙されている画像データＩＭj （図４に示した
例では、静止画データIMAGE1.bmp，IMAGE2.bmp，IMAGE
3.bmp）の再生出力を画像再生モジュールＲＥＰに指示
する。さらに、リンク制御モジュールＬＣは、ユーザに
よって選択された楽曲（オーディオデータ７Ａ）を音楽
ＣＤ１６Ａから読み出し、このオーディオデータ７Ａに
対し、リバーブデータＲ１を用いたリバーブ音響処理を
開始するよう、リバーブモジュールＲＥＶに指示する。

【００７３】リンク制御モジュールＬＣからの指示を受
けた画像再生モジュールＲＥＰは、画像再生を開始する
（ステップＳ１０５）。具体的には、指示された圧縮状
態の画像データＩＭj を画像ファイルＩＭＦ（図３）か
ら読み出し、これを伸長（デコード）し、ＡＶ−Ｉ／Ｆ
１７を介して表示装置３に出力する。これにより、表示
装置３に、画像データＩＭj の内容（静止画IMAGE1.bm
p，IMAGE2.bmp，IMAGE3.bmp）が、所定の時間間隔で順
次表示される。なお、ユーザＵによる指示があった場合
には、リンク制御モジュールＬＣは、リンクデータＬ１
の付帯データＡＸ１をも読み出し、これを画像再生モジ
ュールＲＥＰに渡す。画像再生モジュールＲＥＰは、付
帯データＡＸ１の内容を静止画と共に表示装置３にオー
バーラップさせて表示する（図３では図示せず）。

【００７４】例えば、選択されたリバーブデータＲ１の
タイトルが上記したように「ウィーンコンツェルトハウ
ス」であったとすると、表示装置３には、ウィーンコン
ツェルトハウスの外観、内観およびウィーンの春の景色
等が、このウィーンコンツェルトハウスの規模および歴
史の解説や音楽の都ウィーンにまつわる作曲家のエピソ
ード等の付帯データＡＸi と共に表示されることにな
る。

【００７５】一方、リンク制御モジュールＬＣからの指
示を受けたリバーブモジュールＲＥＶは、選択された楽
曲に対するリバーブ処理を開始する（ステップＳ１０
６）。具体的には、まず、オーディオデータ７Ａに対
し、その曲頭から、リバーブデータＲＤ1 によるたたみ
込み処理を開始すると共に、この開始時点から所定の時
間τが経過したところで、原音（ドライ音）に効果音
（ウェット音）が重畳した音響処理音の出力を開始する
（ステップＳ１０７）。なお、上記した「所定の時間
τ」については後述する。

【００７６】こうして原音に効果音が重畳されて出力さ
れた音響処理音は、各チャンネルごとにオーディオアン
プ４Ａ，４Ｂ（図１）によって増幅されたのち、スピー
カ２Ａ，２Ｂ（図１，図３）から出力され、ユーザＵに
よって聴取される。この音響処理音は、ユーザＵが選択
したリバーブデータＲＤi が採取された現実の音響空間
（例えば、ウィーンコンツェルトハウス）においてその
曲を演奏した場合に得られるものと同等の残響音を含ん
だ臨場感のある音響になっている。このため、ユーザＵ
は、あたかも、実際にその音響空間に行ってその曲を聞
いているかのような疑似的聴取体験をすることができ
る。

【００７７】さらに、このような臨場感のある音響処理
音の出力と並行して、表示装置３には、画像再生モジュ
ールＲＥＰによって再生された画像（例えば、ウィーン
コンツェルトハウスの内観やウィーンの町並み等を表す
絵や写真）が表示される。この再生画像の内容は、ユー
ザＵの選択に応じたもの（例えば、現にスピーカから出
力されている音響処理音が形作る音場と対応したもの）
になっているため、ユーザＵは、その音響空間の情景を
イメージとして描きながら音楽を聞くことができる。す
なわち、ユーザＵは、聴覚的な効果に加えて、視覚的に
も臨場感のあるリアルな仮想体験をすることができる。
しかも、ユーザＵの選択により、再生画像と共に、その
擬似的創出の対象となった現実の音響空間に関する解説
文もまた表示装置３に表示されるので、ユーザＵは、そ
の音響空間等についての知識や理解を深めることができ
る。

【００７８】次に、図５，図６および図８を参照して、
リバーブモジュールＲＥＶが行うリバーブ音響処理につ
いて詳細に説明する。

【００７９】図５において、音楽ＣＤ１６Ａ（図３参
照）から読み出されたオーディオデータ７Ａのうち、Ｌ
チャンネルの入力オーディオデータＬinは、たたみ込み
処理部５１Ｌ１，５１Ｌ２および遅延処理部５２Ｌに入
力され、Ｒチャンネルの入力オーディオデータＲinは、
たたみ込み処理部５１Ｒ１，５１Ｒ２および遅延処理部
５２Ｒに入力される。たたみ込み処理部５１Ｌ１，５１
Ｌ２，５１Ｒ１，５１Ｒ２には、ユーザＵによって選択
されたリバーブデータＲＤi も入力される。

【００８０】たたみ込み処理部５１Ｌ１，５１Ｒ２は、
それぞれ、リバーブデータＲＤi に基づいて、入力オー
ディオデータＬin，Ｒinに対してたたみ込み処理（図６
参照）を行い、その処理結果を、共に加算部５３Ｌ１に
供給する。加算部５３Ｌ１は、たたみ込み処理部５１Ｌ
１，５１Ｒ２の各出力同士を加算（混合）し、その結果
を乗算部５４Ｌ１に供給する。

【００８１】一方、たたみ込み処理部５１Ｌ２，５１Ｒ
１は、それぞれ、リバーブデータＲＤi に基づき、入力
オーディオデータＬin，Ｒinに対して、たたみ込み処理
を行い、その処理結果を、共に加算部５３Ｒ１に供給す
る。加算部５３Ｒ１は、たたみ込み処理部５１Ｌ２，５
１Ｒ１の各出力同士を加算（混合）し、その結果を乗算
部５４Ｒ１に供給する。

【００８２】遅延処理部５２Ｌは、入力オーディオデー
タＬinに対して所定時間τの遅延を与える処理を行い、
その出力を原音データＤＬとして乗算部５４Ｌ２に供給
する。一方、遅延処理部５２Ｒは、入力オーディオデー
タＲinに対して所定時間τの遅延を与える処理を行い、
その出力を原音データＤＲとして乗算部５４Ｒ２に供給
する。

【００８３】原音データＤＬ，ＤＲに遅延を与える理由
は次の通りである。すなわち、たたみ込み処理部５１Ｌ
１（図５）では、後述するように、バッファ処理ブロッ
ク６１（図６）において、必要な残響時間に対応する分
の入力オーディオデータＬinを、一旦メモリ（図２のＲ
ＡＭ１２）に所定量蓄積したのちに読み出して、この読
み出したデータにたたみ込み処理を行うようになってい
るため、効果音データ（ウェット音）ＷＬには所定の時
間遅延が生ずる。そこで、効果音とドライ音との間のマ
ッチング（曲ずれ防止）を図るために、効果音データ
（ウェット音）ＷＬの遅延量と同一の時間遅延を、遅延
処理部５２Ｌ（図５）によって原音（ドライ音）データ
ＤＬにも与えるようにしているのである。

【００８４】なお、遅延時間τは、オーディオデータ７
Ａのサンプリング周波数、たたみ込みのサンプル数、お
よびたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，
５１Ｒ２における処理速度（すなわち、ＣＰＵ１１の動
作周波数）等に依存して決まるが、通常は６秒程度に設
定される。

【００８５】乗算部５４Ｌ１は、加算部５３Ｌ１からの
出力に対して、予め設定されたウェット成分調整データ
５７Ｌを乗じ、その結果を加算部５３Ｌ２に供給する。
乗算部５４Ｌ２は、遅延処理部５２Ｌからの出力に対し
て、予め設定されたドライ成分調整データ５８Ｌを乗
じ、その結果を加算部５３Ｌ２に供給する。加算部５３
Ｌ２は、乗算部５４Ｌ１，５４Ｌ２の各出力同士を加算
（重畳）し、その結果をＬチャンネルの出力オーディオ
データＬout として出力する。出力オーディオデータＬ
out は、オーディオアンプ４Ａ（図１）によって増幅さ
れ、スピーカ２Ａ（図１）から出力される。

【００８６】一方、乗算部５４Ｒ１は、加算部５３Ｒ１
からの出力に対して、予め設定されたウェット成分調整
データ５７Ｒを乗じ、その結果を加算部５３Ｒ２に供給
する。乗算部５４Ｒ２は、遅延処理部５２Ｒからの出力
に対して、予め設定されたドライ成分調整データ５８Ｒ
を乗じ、その結果を加算部５３Ｒ２に供給する。加算部
５３Ｒ２は、乗算部５４Ｒ１，５４Ｒ２の各出力同士を
加算（重畳）し、その結果をＲチャンネルの出力オーデ
ィオデータＲout として出力する。出力オーディオデー
タＲout は、オーディオアンプ４Ｂ（図１）によって増
幅され、スピーカ２Ｂ（図１）から出力される。

【００８７】ここで、図６を参照して、たたみ込み処理
部５１Ｌ１における処理内容を詳細に説明する。なお、
他のたたみ込み処理部５１Ｌ２，５１Ｒ１，５１Ｒ２に
おける処理も同様であるので、その説明を省略する。

【００８８】図６に示したたたみ込み処理部５１Ｌ１に
おいて、バッファ処理ブロック６１は、Ｌチャンネルの
入力オーディオデータＬinを一旦蓄積したのち、ＦＦＴ
処理ブロック６２に供給する。一方、バッファ処理ブロ
ック６３は、リバーブデータＲＤi を一旦蓄積したの
ち、ＦＦＴ処理ブロック６４に供給する。その際、バッ
ファ処理ブロック６１，６３は、蓄積するデータの量を
リバーブ時間調整データ５６に応じて決定する。この蓄
積データ量は、遅延処理部５２Ｌでの遅延時間τに対応
したものである。

【００８９】ＦＦＴ処理ブロック６２は、バッファ処理
ブロック６１の出力に対して高速フーリエ変換を行うこ
とにより、時間軸上のデータである入力オーディオデー
タＬinを周波数軸上のデータに変換し、乗算ブロック６
５へと出力する。一方、ＦＦＴ処理ブロック６４は、バ
ッファ処理ブロック６３の出力に対して高速フーリエ変
換を行うことにより、時間軸上のデータであるリバーブ
データＲＤi を周波数軸上のデータに変換し、乗算ブロ
ック６５に供給する。

【００９０】乗算ブロック６５は、ＦＦＴ処理ブロック
６２からの出力にＦＦＴ処理ブロック６４からの出力を
乗ずるたたみ込み演算を行い、その結果をＩＦＦＴ処理
ブロック６６に供給する。このとき、乗算ブロック６５
は、互いに周波数成分が一致するデータ同士で乗算を行
う。

【００９１】例えば、入力オーディオデータＬinのサン
プリング周波数が４８ｋＨｚであり、必要とされる残響
時間に対応するサンプル数が２¹⁸＝２５６ｋであったと
すると、遅延時間τは約５．３秒程度となる。ＣＰＵ１
１は、このようなたたみ込み処理を、４つのたたみ込み
処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２におい
て時分割的に並行して行うことになる。この場合、ＣＰ
Ｕ１１として動作周波数が５００ＭＨｚ程度のものを用
い、３２ビットのフローティングポイント演算を行うよ
うにすれば、十分実現可能である。

【００９２】ＩＦＦＴ処理ブロック６６は、乗算ブロッ
ク６５の出力に対して逆高速フーリエ変換を行うことに
より、周波数軸上のデータであるたたみ込み演算の結果
を時間軸上のデータに戻して出力する。このようにし
て、Ｌチャンネル用の加算部５３Ｌ１（図５）に供給さ
れるべきデータが生成される。

【００９３】次に、図８を参照して、図３，図５に示し
たリバーブモジュールＲＥＶにおけるデータ処理のタイ
ミングを説明する。この図の（Ａ）は、リバーブモジュ
ールＲＥＶに原音 （＝ドライ音＝入力オーディオデー
タＬin, Ｒin）が入力されるタイミングを表し、（Ｂ）
は、遅延処理部５２Ｌ，５２Ｒからドライ音が出力され
るタイミングを表す。（Ｃ）は、リバーブモジュールＲ
ＥＶのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ
１，５１Ｒ２におけるたたみ込み処理のタイミングを表
し、（Ｄ）は、たたみ込み処理部５１Ｌ１，５１Ｌ２，
５１Ｒ１，５１Ｒ２の出力タイミングを表す。（Ｅ）
は、加算部５３Ｌ２，５３Ｒ２の出力タイミング、すな
わち、リバーブモジュールＲＥＶから最終的に音響処理
音（ドライ音＋ウェット音）が出力されるタイミングを
表す。なお、図８において、加算部５３Ｌ１，５３Ｒ
１，５３Ｌ２，５３Ｒ２、および乗算部５４Ｌ１，５４
Ｌ２，５４Ｒ１，５４Ｒ２における演算時間は、たたみ
込み処理部５１Ｌ１等における演算時間に比べて十分小
さいので、これを無視して描いている。

【００９４】この図の（Ｃ）に示したように、時刻Ｔ０
において、原音の曲頭からたたみ込み処理部５１Ｌ１に
おけるたたみ込み処理が開始し、これから時間τだけ遅
れて、（Ｅ）に示したように、時刻Ｔ１において、最初
の処理済みデータ（音響処理音）が出力される。この遅
延は、上記したように、時間軸に沿って入力された原音
およびリバーブデータＲＤi をそれぞれバッファ処理ブ
ロック６１，６２に一旦蓄積してから周波数軸上のデー
タに変換するようにしていること、および、４つのたた
み込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２
の演算処理がソフトウェアによって行われるためＣＰＵ
１１の処理能力に応じた遅延が生ずること、等の理由に
よる。

【００９５】このように、たたみ込み処理部５１Ｌ１，
５１Ｌ２，５１Ｒ１，５１Ｒ２では入力に対して出力が
時間τだけ遅れることから、遅延処理部５２Ｌ，５２Ｒ
は、（Ａ），（Ｂ）に示したように、その遅れ分に対応
した時間τだけドライ音を遅延させて出力するようにし
ている。この結果、リバーブ処理が開始してから時間τ
が経過するまでは無音期間となる。そして、この無音期
間τの経過後に、（Ｅ）に示したように、ドライ音とウ
ェット音とが重畳された音響処理音の出力が開始する。

【００９６】以上のように、本実施の形態に係る音響処
理装置１によれば、現実の音響空間において採取された
リバーブデータＲＤi を用いた音響処理を原音に施して
出力するようにしたので、臨場感のある音響を得ること
ができる。さらに、本実施の形態では、音響処理音の出
力と並行して、ユーザＵの選択に応じ、出力中の音響処
理音が形作る音場と対応した画像を表示装置３に表示す
ることを可能にしたので、ユーザＵは、その音響空間の
情景をイメージとして描きながら音楽を聞くこともでき
る。このため、ユーザＵは、聴覚的にも視覚的にも臨場
感のあるリアルな仮想体験、すなわち、あたかも、実際
にその音響空間に身を置いてその曲を聞いているかのよ
うな疑似的聴取体験をすることができる。さらに、ユー
ザＵの選択により、再生画像と共に解説文もまた表示装
置３に表示されるようにしたので、その音響空間等につ
いての知識や理解を深めることもでき、仮想体験のリア
ル性を高めることができる。

【００９７】また、本実施の形態の音響処理装置１によ
れば、たたみ込み処理をソフトウェアを用いて行うよう
にしたので、ユーザＵは、自分の所持しているパーソナ
ルコンピュータにアプリケーションプログラム１４Ｐを
インストールするだけでよく、特別のハードウェア装置
を購入する必要がない。したがって、ユーザＵは、自分
が既に所有しているＣＤ等に収録された音楽等に対する
音響処理を、容易かつ低コストで行うことが可能にな
る。

【００９８】次に、第１の実施の形態における音響処理
装置１についてのいくつかの変形例を説明する。

【００９９】〈変形例１−１〉本変形例の音響処理装置
は、図５のリバーブモジュールＲＥＶに代えて、図１０
のようなモノラル入力／ステレオ出力の機能を有するリ
バーブモジュールＲＥＶ−Ａを用いるようにしたもので
あり、ＣＰＵ１１の処理能力が不足している場合に好適
である。この図で、図５における要素と同一要素には同
一の符号を付し、適宜説明を省略するものとする。

【０１００】図１０に示したように、本変形例のリバー
ブモジュールＲＥＶ−Ａは、Ｌ，Ｒの両チャンネルの入
力オーディオデータを１つに合成してモノラルの入力オ
ーディオデータとし、このモノラルのオーディオデータ
を２分岐して、それぞれについてたたみ込み処理を行う
ようにしたものである。以下、詳細に説明する。

【０１０１】このリバーブモジュールＲＥＶ−Ａは、Ｌ
チャンネルの入力オーディオデータＬinの一部とＲチャ
ンネルの入力オーディオデータＲinの一部とを合成して
モノラルの入力オーディオデータを生成する加算部５３
と、Ｌチャンネルの入力オーディオデータＬinを遅延さ
せるための遅延処理部５２Ｌと、Ｒチャンネルの入力オ
ーディオデータＲinを遅延させるための遅延処理部５２
Ｒとを備えている。Ｌチャンネルの入力オーディオデー
タＬinは２分岐されて、一方は加算部５３に入力され、
他方は遅延処理部５２Ｌに入力される。Ｒチャンネルの
入力オーディオデータＲinもまた２分岐されて、一方が
加算部５３に入力され、他方が遅延処理部５２Ｒに入力
されるようになっている。加算部５３から出力されたモ
ノラルの入力オーディオデータは２分岐されて、それぞ
れ、たたみ込み処理部５１Ｌ１，５１Ｒ１に入力される
ようになっている。たたみ込み処理部５１Ｌ１，５１Ｒ
１には、それぞれ、リバーブデータＲＤi およびリバー
ブ時間調整データ５６が供給され、これらのデータに基
づき、モノラルの入力オーディオデータに対するリバー
ブ処理が行われるようになっている。

【０１０２】たたみ込み処理部５１Ｌ１から出力された
効果音データＷＬは、乗算部５４Ｌ１に入力され、ここ
でウェット成分調整データ５７Ｌが乗ぜられる。たたみ
込み処理部５１Ｒ１から出力された効果音データＷＲ
は、乗算部５４Ｒ１に入力され、ここでドライ成分調整
データ５７Ｒが乗ぜられるようになっている。

【０１０３】遅延処理部５２Ｌから出力された原音デー
タＤＬは、乗算部５４Ｌ２に入力され、ここでＬチャン
ネル用のドライ成分調整データ５８Ｌが乗ぜられる。遅
延処理部５２Ｒから出力された原音データＤＲは、乗算
部５４Ｒ２に入力され、ここでＲチャンネル用のドライ
成分調整データ５８Ｒが乗ぜられる。

【０１０４】乗算部５４Ｌ１，５４Ｌ２の各出力は、加
算部５３Ｌ２で加算され、これにより、Ｌチャンネルの
原音と効果音とが所定の比率で混合された出力オーディ
オデータＬout が生成され、出力されるようになってい
る。乗算部５４Ｒ１，５４Ｒ２の各出力は、加算部５３
Ｒ２で加算され、これにより、Ｒチャンネルの原音と効
果音とが所定の比率で混合された出力オーディオデータ
Ｒout が生成され、出力されるようになっている。

【０１０５】その他の構成は上記第１の実施の形態と同
様である。

【０１０６】上記第１の実施の形態では、ＬおよびＲチ
ャンネルの入力オーディオデータＬin，Ｒinに対して、
４つのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ
１，５１Ｒ２によってたたみ込み処理を行うようにして
いる。これに対し、本変形例では、Ｌチャンネルの入力
オーディオデータＬinとＲチャンネルの入力オーディオ
データＲinとを、一旦、加算部５３によってモノラルの
入力オーディオデータに合成し、このモノラルの入力オ
ーディオデータに対して、２つのたたみ込み処理部５１
Ｌ１，５１Ｒ１によってたたみ込み処理を行うようにし
ている。このため、これをソフトウェアで実行するＣＰ
Ｕ１１への負担が軽減されるという利点がある。したが
って、さほど高速でないマイクロプロセッサであっても
実現可能である。

【０１０７】〈変形例１−２〉本変形例の音響処理装置
は、図５のリバーブモジュールＲＥＶに代えて、図１１
に示したようなモノラル入力／４チャンネル出力（サラ
ウンド出力）の機能を有するリバーブモジュールＲＥＶ
−Ｂを用いるようにしたものである。その他の構成は上
記第１の実施の形態と同様である。

【０１０８】図１１に示したように、本変形例に係るリ
バーブモジュールＲＥＶ−Ｂは、上記〈変形例１−１〉
のリバーブモジュールＲＥＶ−Ａ（図１０）に、たたみ
込み処理部５１Ｌ２，５１Ｒ２と、加算部５４Ｌ３，５
４Ｒ３とを追加したものである。本変形例では、加算部
５３の出力を４分岐し、そのうちの２つをたたみ込み処
理部５１Ｌ１，５１Ｒ１に入力し、他の２つをたたみ込
み処理部５１Ｌ２，５１Ｒ２に入力するようにしてい
る。

【０１０９】たたみ込み処理部５１Ｌ２の出力ＷＬＲ
は、加算部５４Ｌ３に入力され、ここで、Ｌチャンネル
用のドライ成分調整データ５９Ｌが乗ぜられて、リアＬ
チャンネルの出力オーディオデータＬout （Ｒ）が生成
される。たたみ込み処理部５１Ｒ２の出力ＷＲＲは、加
算部５４Ｒ３に入力され、ここで、Ｒチャンネル用のド
ライ成分調整データ５９Ｒが乗ぜられて、リアＲチャン
ネルの出力オーディオデータＲout （Ｒ）が生成され
る。これらの出力オーディオデータＬout （Ｒ），Ｒou
t （Ｒ）は、それスピーカ２Ｃ，２Ｄ（図１，図３）に
出力される。

【０１１０】一方、加算部５３Ｌ２，５３Ｒ２の各出力
は、それぞれ、フロントＬチャンネルの出力オーディオ
データＬout （Ｆ）およびフロントＲチャンネルの出力
オーディオデータＲout （Ｆ）として、それぞれ、スピ
ーカ２Ａ，２Ｂ（図１，図３）に出力される。

【０１１１】このようにして、本変形例では、モノラル
入力に対するたたみ込み処理を行うことにより、４チャ
ンネルの出力が得られ、サラウンドモードでの聴取が可
能になるので、ユーザは、図１０の場合よりも一層豊か
な臨場感を享受することができる。なお、本変形例の音
響処理装置は、サラウンド対応のオーディオ機器を所有
しているユーザにとって特に利用価値が高い。一般に、
ステレオ録音されたＣＤは多く出回っているが、サラウ
ンド対応で録音されたＣＤは少ないという現実があるか
らである。すなわち、高価なサラウンド対応オーディオ
機器を折角所有しながら、サラウンド対応の音楽ソフト
の流通量が寡少であることによって、そのような高価な
機器を十分に生かしきれていないユーザにとって、ステ
レオ録音ＣＤを用いてサラウンドオーディオを聞くこと
ができるのは願ってもない福音だからである。

【０１１２】なお、音響空間が、例えば音楽スタジオの
ような空間の場合には、残響時間が比較的短いので、そ
こで得られたリバーブデータＲＤi については３秒程度
のたたみ込みで十分である。このような短い残響音の空
間においては、モノラル入力に対してたたみ込み処理を
行うよりも、ステレオ入力に対してたたみ込み処理を行
うようにした方が、特に前方での定位がはっきりする。
すなわち、ユーザの前方位置にはっきりした音像ができ
る。３秒のたたみ込み処理は６秒のたたみ込み処理に比
べて半分の時間で行うことができるので、少なくとも前
方についてはステレオ入力／ステレオ出力とするのが好
ましい。

【０１１３】さらに、バーチャルサウンド処理をすれ
ば、２本のスピーカのみを用いて出力した場合や、ヘッ
ドホーンを用いた場合でも、リアルな響きに包まれるよ
うな臨場感のある効果を期待することができる。

【０１１４】《第２の実施の形態》次に、本発明の第２
の実施の形態に係る音響処理装置について説明する。

【０１１５】上記第１の実施の形態において説明したよ
うに、リバーブモジュールＲＥＶのたたみ込み処理部５
１Ｌ１（図５）では、バッファ処理ブロック６１（図
６）において、必要な残響時間に対応する分の入力オー
ディオデータＬinを、一旦メモリ（図２のＲＡＭ１２）
に所定量蓄積したのちに読み出して、この読み出したデ
ータにたたみ込み処理を行うようになっているため、効
果音データ（ウェット音）ＷＬには所定の時間遅延τが
生ずる。そこで、この効果音データ（ウェット音）ＷＬ
の遅延量に相当する時間を、遅延処理部５２Ｌ（図５）
によって原音（ドライ音）データＤＬにも与え、効果音
とドライ音との間のマッチング（曲ずれ防止）を図って
いる。したがって、第１の実施の形態においては、ユー
ザが楽曲再生開始の操作を行ってから最初の音が出力さ
れるまでに比較的長い時間（例えば数秒）がかかり、ユ
ーザにとっては曲頭の無音期間が異常に長く感じられる
結果、視聴時の快適さが損われる。

【０１１６】本実施の形態は、この点に改善を加えたも
ので、曲頭の長い無音期間をなくすように構成したもの
である。以下、図１２〜図１４を参照して、本実施の形
態を詳細に説明する。

【０１１７】図１２は、本実施の形態の音響処理装置に
おけるリバーブモジュールＲＥＶ−Ｃの構成を表すもの
で、上記第１の実施の形態のリバーブモジュールＲＥＶ
（図５）に代わるものである。

【０１１８】このリバーブモジュールＲＥＶ−Ｃは、上
記第１の実施の形態のリバーブモジュールＲＥＶ（図
５）から遅延処理部５２Ｌ，５２Ｒを除いた構成となっ
ている。したがって、入力オーディオデータＬinは、遅
延されることなく、Ｌチャンネルの原音データである入
力オーディオデータＬin（Ｔ０）として加算部５４Ｌ２
に入力され、入力オーディオデータＲinは、遅延される
ことなく、Ｒチャンネルの原音データである入力オーデ
ィオデータＲin（Ｔ０）として加算部５４Ｒ２に入力さ
れるようになっている。

【０１１９】本実施の形態の音響処理装置では、入力オ
ーディオデータＬin，Ｒinは、音楽ＣＤ１６Ａからリバ
ーブモジュールＲＥＶ−Ｃに直接入力されるのではな
く、一旦、「記録再生手段」としてのＨＤＤ１４に書き
込まれたのちに、所定のタイミングで読み出され、リバ
ーブモジュールＲＥＶ−Ｃに供給されるようになってい
る。なお、上記した「所定のタイミング」については後
述する。

【０１２０】本実施の形態に係る音響処理装置における
上記以外の構成は、第１の実施の形態の場合（図１〜図
４，図６）と同様である。また、処理の概要について
は、音楽ＣＤ１６ＡとリバーブモジュールＲＥＶ−Ｃと
の間にＨＤＤ１４（図２）が配置されている点、およ
び、リバーブモジュールＲＥＶ−Ｃに入力オーディオデ
ータＬin，Ｒinが供給されるタイミング（後述）が異な
る点を除き、上記第１の実施の形態（図３）と同様であ
る。

【０１２１】次に、本実施の形態の音響処理装置の動作
を説明する。

【０１２２】図１３は、ユーザＵ（図１）が音響処理装
置１を用いて音響処理を行う場合の操作を含めた全体の
流れを表し、図１４は、リバーブモジュールＲＥＶ−Ｃ
（図３，図１２参照）における音響処理のタイミングを
表すものである。なお、図１３に示した処理のうち、ス
テップＳ２０１〜Ｓ２０５については、第１の実施の形
態の場合（図７）と同様であるので、説明を省略する。

【０１２３】図１３のステップＳ２０５において、画像
再生モジュールＲＥＰ（図３）は、リンク制御モジュー
ルＬＣからの指示に基づいて画像再生を開始するが、こ
れと同時に、リバーブモジュールＲＥＶは、リンク制御
モジュールＬＣからの指示に基づいて、選択された楽曲
についての原音（ドライ音）再生とリバーブ処理とを同
時に開始する（ステップＳ２０６）。

【０１２４】具体的には、図１２に示したように、ま
ず、音楽ＣＤ１６Ａからオーディオデータ７Ａを入力オ
ーディオデータＬin，ＲinとしてＨＤＤ１４に一旦書き
込んだのち、Ｌチャンネルの入力オーディオデータＬin
を２つの互いに異なるタイミング（図１４の時刻Ｔ０，
Ｔ１）で読み出すと共に、Ｒチャンネルの入力オーディ
オデータＲinを２つの互いに異なるタイミング（時刻Ｔ
０，Ｔ１）で読み出し、これらの４つのデータをリバー
ブモジュールＲＥＶ−Ｃに入力する。より具体的には、
タイミングＴ０において、曲頭から入力オーディオデー
タＬin，Ｒinを読み出し、これらをそれぞれ入力オーデ
ィオデータＬin（Ｔ０），Ｒin（Ｔ０）として、加算部
５４Ｌ２，５４Ｒ２（図１２）に入力する。一方、タイ
ミングＴ１では、曲頭から時間τだけ進んだ位置から入
力オーディオデータＬin，Ｒinを読み出し、この読み出
した入力オーディオデータＬin（Ｔ１）をたたみ込み処
理部５１Ｌ１，５１Ｌ２に入力し、読み出した入力オー
ディオデータＲin（Ｔ１）をたたみ込み処理部５１Ｒ
１，５１Ｒ２に入力する。

【０１２５】ここで、Ｔ０，Ｔ１は、Ｔ１−Ｔ０＝τを
満たすように設定される。なお、τは、図８におけるτ
と同じものであり、たたみ込み処理部５１Ｌ１において
生ずる遅延時間である。

【０１２６】時刻Ｔ０からＴ１までの期間τにおいて
は、たたみ込み処理部５１Ｌ１等から加算部５４Ｌ２，
５４Ｒ２への入力はないので、その間、原音である入力
オーディオデータＬin（Ｔ０），Ｒin（Ｔ０）がそのま
ま出力される。

【０１２７】一方、たたみ込み処理部５１Ｌ１，５１Ｌ
２およびたたみ込み処理部５１Ｒ１，５１Ｒ２は、時刻
Ｔ０において、入力オーディオデータＬin（Ｔ１），Ｒ
in（Ｔ１）に対して、その曲頭より時間τだけ進んだ位
置から、リバーブデータＲＤi によるたたみ込み処理を
開始する。そして、この開始時点から所定の時間τが経
過した時刻Ｔ１において、効果音（ウェット音）の出力
を開始する。これ以降、原音（ドライ音）に効果音（ウ
ェット音）が重畳した音響処理音が出力される（ステッ
プＳ２０７）。

【０１２８】このようにして、時刻Ｔ０からＴ１までの
期間は原音がそのまま出力され、時刻Ｔ１以降は、原音
に効果音が重畳された音響処理音が出力される。これら
の原音および音響処理音は、各チャンネルごとにオーデ
ィオアンプ４Ａ，４Ｂ（図１）によって増幅されたの
ち、スピーカ２Ａ，２Ｂ（図１，図３）から出力され、
ユーザＵによって聴取される。

【０１２９】次に、図１４を参照して、図１２に示した
リバーブモジュールＲＥＶ−Ｃにおけるデータ処理のタ
イミングを説明する。この図の（Ａ）は、リバーブモジ
ュールＲＥＶ−Ｃに原音（ドライ音＝入力オーディオデ
ータＬin（Ｔ０）, Ｒin（Ｔ０））が入力されるタイミ
ングを表す。（Ｂ）は、リバーブモジュールＲＥＶ−Ｃ
のたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５
１Ｒ２におけるたたみ込み処理のタイミングを表し、
（Ｃ）は、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１
Ｒ１，５１Ｒ２の出力タイミングを表す。（Ｄ）は、加
算部５３Ｌ２，５３Ｒ２の出力タイミング、すなわち、
リバーブモジュールＲＥＶ−Ｃから最終的に音響処理音
（ドライ音＋ウェット音）が出力されるタイミングを表
す。なお、図１４では、図８と同様に、加算部５３Ｌ
１，５３Ｒ１，５３Ｌ２，５３Ｒ２、および乗算部５４
Ｌ１，５４Ｌ２，５４Ｒ１，５４Ｒ２における演算時間
を無視して描いている。

【０１３０】図１４に示したように、本実施の形態で
は、時刻Ｔ０において、原音の曲頭より時間τだけ進ん
だ位置からたたみ込み処理部５１Ｌ１等によってたたみ
込み処理が開始される（図１４（Ａ））と同時に、原音
の出力が開始される（同図（Ｂ））。たたみ込み処理部
は、時刻Ｔ０より時間τだけ遅れた時刻Ｔ１に効果音の
出力を開始する（同図（Ｃ））。これ以降、原音に効果
音が重畳した音響処理音が出力される（同図（Ｄ））。

【０１３１】このように、本実施の形態によれば、リバ
ーブ処理が開始した直後から時間τが経過するまでは原
音をそのまま出力し、時間τの経過後以降はドライ音と
ウェット音とが重畳された音響処理音を出力するように
したので、上記第１の実施の形態の場合（図８）とは異
なり、曲頭からτの時間にわたって無音期間が続くとい
うことがない。すなわち、ユーザが再生操作をした直後
から楽曲の再生が開始されるので、ユーザにとってあま
り違和感がなく、視聴時の快適さが損われることがな
い。

【０１３２】なお、本実施の形態では、音楽ＣＤ１６Ａ
からの出力タイミングと、リバーブモジュールＲＥＶ−
Ｃへの入力タイミングとの間の調整を行うための手段と
してＨＤＤ１４を利用するようにしたが、これに代え
て、例えば図１５に示したように、バッファメモリ１２
Ａを利用してタイミング調整を行うようにしてもよい。
この場合、バッファメモリ１２Ａは、例えば、ＲＡＭ１
２の一部を利用して構成することができる。

【０１３３】《第３の実施の形態》上記第１および第２
の実施の形態では、収録済の音響データ（原音）に、実
在の音楽ホール等の音響空間について予め得られている
インパルス応答データ（リバーブデータ）を適用したリ
バーブ処理を行うことにより、その音があたかもその実
在の音響空間で収録されたものであるかのような仮想現
実的印象を聴き手（ユーザ）に与えることができるよう
にしている。

【０１３４】しかしながら、ユーザの視聴環境、すなわ
ち、ユーザが実際に音楽を鑑賞する音響空間（例えば、
ユーザ宅のオーディオルーム等。以下、ユーザ音響空間
という。）は多様であり、音響効果を考慮して作られた
広くて本格的なオーディオルームで音楽を楽しむユーザ
もいれば、ごく狭いリビングルームで音楽を鑑賞するユ
ーザもいる。したがって、折角、仮想現実的な音響処理
を施して音響を再生しているにもかかわらず、その効果
が十分に発揮されない場合もあり得る。この場合、ユー
ザは、その実在の音響空間に実際に行って音響を聴いて
いるかのように感じる仮想体験を十分にすることができ
ない。

【０１３５】本実施の形態は、この点に改善を加えたも
ので、収録済の音響データ（原音）を再生する際に、実
在の音楽ホール等の音響空間について予め得られている
インパルス応答データを用いたリバーブ処理（以下、第
１のリバーブ処理という。）に加えて、ユーザ音響空間
について予め得られているインパルス応答データを用い
たリバーブ処理（以下、第２のリバーブ処理という。）
をも行うことにより、ユーザ音響空間の音響特性をも加
味した、より忠実な音響再生を可能にしたものである。
以下、図１６および図１７を参照して、本実施の形態を
詳細に説明する。なお、本実施の形態に係る音響処理装
置のハードウェア構成は図２に示したものと同様であ
り、また、この音響処理装置が図１に示したＡＶシステ
ムに適用される点もまた同様である。

【０１３６】図１６は、本発明の第３の実施の形態に係
る音響処理装置のリバーブモジュールＲＥＶ−Ｄ（図
３，図５）におけるたたみ込み処理部１５１Ｌ１の構成
を表すもので、上記第１の実施の形態のたたみ込み処理
部５１Ｌ１（図６）に代わるものである。なお、図１６
において、図６に示した構成要素と同一の構成要素には
同一の符号を付し、適宜説明を省略する。

【０１３７】このたたみ込み処理部１５１Ｌ１は、図６
に示したたたみ込み処理部５１Ｌ１を構成する各要素に
加えて、ユーザリバーブデータＲＤＵが入力されるバッ
ファ処理ブロック６８と、バッファ処理ブロック６８の
出力が供給されるＦＦＴ処理ブロック６９と、乗算ブロ
ック６５の出力とＦＦＴ処理ブロック６９の出力とが供
給される乗算ブロック７０とを備えている。乗算ブロッ
ク７０の出力は、ＩＦＦＴ処理ブロック６６に供給され
るようになっている。ユーザリバーブデータＲＤＵは、
ユーザ音響空間の音響特性を表すインパルス応答データ
であり、上記した第２のリバーブ処理に用いられる。こ
のユーザリバーブデータＲＤＵは、後述するリバーブデ
ータ収集装置（図１７）を用いて各ユーザによって予め
収集され、例えばＨＤＤ１４に格納される。ここで、ユ
ーザリバーブデータＲＤＵが本発明における「第２のイ
ンパルス応答データ」の一具体例に対応する。

【０１３８】バッファ処理ブロック６８およびＦＦＴ処
理ブロック６９の各機能は、バッファ処理ブロック６３
およびＦＦＴ処理ブロック６４の各機能と同様である。
すなわち、バッファ処理ブロック６８は、ＨＤＤ１４
（図２）からユーザリバーブデータＲＤＵを読み出し、
これをメモリ（図２；ＲＡＭ１２）に所定量蓄積したの
ち出力する処理を行う。ＦＦＴ処理ブロック６９は、バ
ッファ処理ブロック６８から出力された時間軸上のオー
ディオデータを高速フーリエ変換によって周波数軸上の
データに変換する処理を行う。バッファ処理ブロック６
８によってメモリに蓄積されるデータ量は、リバーブ時
間調整データ５６によって設定可能になっている。

【０１３９】なお、リバーブモジュールＲＥＶ−Ｄにお
けるＬチャンネル用の他のたたみ込み処理部は、たたみ
込み処理部１５１Ｌ１と同様のブロック構造および機能
を有する。また、Ｒチャンネル用の２つのたたみ込み処
理部は、入力がＲチャンネルの入力オーディオデータＲ
inである点を除き、たたみ込み処理部１５１Ｌ１と同様
のブロック構造および機能を有する。但し、これらの４
つのたたみ込み処理部１５１Ｌ１等で行われる処理は、
実際には、ＣＰＵ１１（図２）によって時分割的に実行
される処理である。

【０１４０】本実施の形態に係る音響処理装置における
上記以外の構成は、第１の実施の形態の場合（図１〜図
４，図６）と同様である。

【０１４１】次に、図１６を参照して、たたみ込み処理
部１５１Ｌ１における処理内容を詳細に説明する。な
お、他のたたみ込み処理部１５１Ｌ２，１５１Ｒ１，１
５１Ｒ２における処理も同様であるので、その説明を省
略する。

【０１４２】図１６において、バッファ処理ブロック６
１、ＦＦＴ処理ブロック６２、バッファ処理ブロック６
３、ＦＦＴ処理ブロック６４および乗算ブロック６５
は、図６の場合と同様に、Ｌチャンネルの入力オーディ
オデータＬinに対し、リバーブデータＲＤi を用いてた
たみ込み処理を行い、その処理されたデータを乗算ブロ
ック７０に入力する。ここで、リバーブデータＲＤi が
本発明における「第１のインパルス応答データ」の一具
体例に対応する。

【０１４３】一方、バッファ処理ブロック６８は、ユー
ザリバーブデータＲＤＵを一旦蓄積したのち、ＦＦＴ処
理ブロック６９に供給する。その際、バッファ処理ブロ
ック６８は、蓄積するユーザリバーブデータＲＤＵの量
をリバーブ時間調整データ５６に応じて決定する。この
蓄積データ量は、遅延処理部５２Ｌ（図５）での遅延時
間τに対応したものである。ＦＦＴ処理ブロック６９
は、バッファ処理ブロック６８の出力に対して高速フー
リエ変換を行うことにより、時間軸上のデータであるユ
ーザリバーブデータＲＤＵを周波数軸上のデータに変換
し、乗算ブロック７０に供給する。

【０１４４】乗算ブロック７０は、乗算ブロック６５か
らの出力にＦＦＴ処理ブロック６９からの出力を乗ずる
たたみ込み演算を行い、その結果をＩＦＦＴ処理ブロッ
ク６６に供給する。このとき、乗算ブロック７０は、互
いに周波数成分が一致するデータ同士で乗算を行う。

【０１４５】ＩＦＦＴ処理ブロック６６は、乗算ブロッ
ク７０の出力に対して逆高速フーリエ変換を行うことに
より、周波数軸上のデータであるたたみ込み演算の結果
を時間軸上のデータに戻して出力する。こうして、Ｌチ
ャンネル用の加算部５３Ｌ１（図５）に供給されるべき
データが生成される。

【０１４６】それ以降のリバーブモジュールＲＥＶ−Ｄ
における処理は、上記第１の実施の形態のリバーブモジ
ュールＲＥＶにおけるものと同様であり、最終的に、Ｌ
チャンネルの出力オーディオデータＬout とＲチャンネ
ルの出力オーディオデータＲout が出力される。これら
の出力オーディオデータＬout ，Ｒout は、実在の音響
空間についてのインパルス応答データを用いて原音に対
するたたみ込み処理を行って得られたデータに対して、
さらに、ユーザ音響空間についてのインパルス応答デー
タをたたみ込んで得られたデータであるので、これらの
出力オーディオデータＬout ，Ｒout に基づく音響（楽
曲等）が実際にそのユーザ音響空間で再生出力された際
には、そのユーザ音響空間がもつ特有の音響特性が相殺
される。その結果、そこでの響きは、実在の音響空間で
演奏されたときに得られる響きに、より一層近づき、ユ
ーザは、よりリアルな臨場感を得ることができる。

【０１４７】次に、第２のリバーブ処理で用いられるユ
ーザリバーブデータＲＤＵ（インパルス応答データ）を
収集する方法について説明する。

【０１４８】図１７は、ユーザリバーブデータＲＤＵを
収集するためのリバーブデータ収集装置の概略構成を表
すものである。この装置は、ユーザが実際に音楽を鑑賞
するユーザ音響空間４５（例えば、ユーザ宅のオーディ
オルーム等）において得られる残響音をインパルス応答
として測定し、収集するためのもので、例えばパーソナ
ルコンピュータを利用して構成される。

【０１４９】このリバーブデータ収集装置３０は、イン
パルス応答測定用の信号を発生する機能と、測定対象の
ユーザ音響空間４５から得られた測定結果を収集して測
定結果をインパルス応答データに変換する機能とを備え
ている。測定対象のユーザ音響空間４５には、音源４０
と、１対の音響検出部４１Ｌ，４１Ｒとを配置する。音
源４０は、例えば、球面上の互いに異なる１２方向にス
ピーカが設けられた１２面体スピーカにより構成されて
おり、リバーブデータ収集装置３０から供給されたイン
パルス応答測定用の信号に応じた音響を発生するように
なっている。音響検出部４１Ｌ，４１Ｒは、それぞれ、
ＬおよびＲチャンネル用のマイクロフォンで構成されて
おり、音源４０から発せられた音響に応じてそれぞれ検
出したＬおよびＲチャンネルのオーディオ信号をリバー
ブデータ収集装置３０に供給するようになっている。

【０１５０】リバーブデータ収集装置３０は、測定用信
号発生ブロック３１と、Ｄ／Ａ（ディジタル／アナロ
グ）変換ブロック３２と、増幅ブロック３３と、Ａ／Ｄ
（アナログ／ディジタル）変換ブロック部３４と、同期
加算ブロック３５と、インパルス応答変換部３６とを備
えている。

【０１５１】測定用信号発生ブロック３１は、インパル
ス応答測定用の信号であるＴＳＰ（タイムストレッチパ
ルス）信号を発生するためのものである。このＴＳＰ信
号は、スイープ信号の一種であり、それ自身を逆特性の
信号で除することによりインパルス信号が得られる。イ
ンパルス応答を測定するためには、直接的にインパルス
信号を発生させるのがより好ましいが、測定が困難であ
るため、このような間接的な方法を用いる。なお、ＴＳ
Ｐ信号の発生は、後述するようにＮ回行われる。測定用
信号発生ブロック３１から出力されたＴＳＰ信号は、Ｄ
／Ａ変換ブロック３２および増幅ブロック３３を介して
音源４０に供給されるようになっている。

【０１５２】同期加算ブロック３５は、Ｎ回分のＴＳＰ
信号に対応して音響検出部４１Ｌ，４１Ｒから出力され
た信号を同期加算するためのものである。同期加算は、
例えばＴＳＰ信号の発生タイミングに基づき出力信号を
揃えるようにして行われるようになっている。

【０１５３】インパルス応答変換ブロック３６は、同期
加算ブロック３５から供給されたデータを、ＴＳＰ信号
の逆特性を有するデータで除することにより、インパル
ス応答データ（ユーザリバーブデータＲＤＵ）に変換す
るためのものである。

【０１５４】次に、このリバーブデータ収集装置３０の
動作を説明する。

【０１５５】測定用信号発生ブロック３１から出力され
たＴＳＰ信号３７Ａは、Ｄ／Ａ変換ブロック３２により
アナログ信号に変換され、増幅ブロック３３で増幅され
たのち、音源４０に供給される。これにより、音源４０
からは、ＴＳＰ信号３７Ａに対応した音響が出力され
る。音響検出部４１Ｌ，４１Ｒは、音源４０から出力さ
れた再生音響に応じたＬおよびＲチャンネルのオーディ
オ信号３７ＢＬ，３７ＢＲを出力し、リバーブデータ収
集装置３０に入力供給する。

【０１５６】リバーブデータ収集装置３０に入力された
ＬおよびＲチャンネルのオーディオ信号３７ＢＬ，３７
ＢＲは、Ａ／Ｄ変換ブロック３４で所定のサンプリング
周波数（例えば、４８ｋＨｚあるいは９６ｋＨｚ）およ
び量子化ビット数（例えば、２４ビット）でサンプリン
グされ、ＬおよびＲチャンネルのディジタルオーディオ
データ３７ＣＬ，３７ＣＲとなる。なお、一般に、残響
時間は、音が止まってから音圧レベルが６０ｄＢ減衰す
るまでの時間を意味するが、本実施の形態では、量子化
ビット数（２４ビット）の各ビットに対して６ｄＢが割
り当てられる。

【０１５７】Ａ／Ｄ変換ブロック３４から出力されたデ
ィジタルオーディオデータ３７ＣＬ，３７ＣＲは、同期
加算ブロック３５に入力される。同期加算ブロック３５
は、入力されたディジタルオーディオデータ３７ＣＬ，
３７ＣＲの各々について、ＴＳＰ信号３７Ａの発生回数
（Ｎ回）と同数回にわたってそれぞれ同期加算を行う。
同期加算は、例えばＴＳＰ信号３７Ａの発生タイミング
に基づいて加算対象データ（ディジタルオーディオデー
タ３７ＣＬ，３７ＣＲ）を揃えるようにして行われる。
このように、Ｎ回分のオーディオデータの同期加算を行
うことにより、再現性のある信号のみが加算され、ラン
ダムなノイズ成分は加算されないため、Ｓ／Ｎ比が向上
する。

【０１５８】同期加算ブロック３５から出力されたＬお
よびＲチャンネルの同期加算データ３７ＤＬ，３７ＤＲ
は、インパルス応答変換ブロック３６に供給される。イ
ンパルス応答変換ブロック３６では、供給された同期加
算データ３７ＤＬ，３７ＤＲを、それぞれ、ＴＳＰ信号
３７Ａの逆特性を有する信号データで除する演算を行
う。これにより、「ＴＳＰ信号３７Ａを予めインパルス
信号に変換し、このインパルス信号を音源４０に供給
し、音源４０で発生した残響音を収集し、この残響音に
基づいてインパルス応答を得た」場合と同等の結果（イ
ンパルス応答データ３８Ｌ，３８Ｒ）が得られる。この
インパルス応答データ３８Ｌ，３８Ｒは、サンプリング
周波数に対応した間隔で得られる波高値である。

【０１５９】インパルス応答変換ブロック３６から出力
されたＬおよびＲチャンネルのインパルス応答データ３
８Ｌ，３８Ｒは、ＨＤＤ１４や図示しないＭＯディスク
等の記録媒体に記録され、上記したユーザリバーブデー
タＲＤＵ（図１６）として利用される。

【０１６０】なお、以上のようなユーザリバーブデータ
の収集は、音源４０の位置を様々に変えたり、音源４０
であるスピーカの種類等を様々に変えて行うようにして
もよい。同様に、音響検出部４１Ｌ，４１Ｒであるマイ
クロフォンについても、その配設位置や種類等を様々に
変えて収集するようにしてもよい。この場合には、１つ
のユーザ音響空間４５について複数のユーザリバーブデ
ータが収集されることになる。ユーザは、音響を再生さ
せる際のバリエーションとして、これらの複数のユーザ
リバーブデータの中から任意の一つを選択することがで
きる。

【０１６１】また、リバーブデータ収集装置３０により
得られたインパルス応答データは、必要に応じて適宜加
工することができる。通常、オーディオデータには、音
の伝搬によるシステムディレイ部分が存在するが、後か
らの加工処理により、このシステムディレイ部分の値を
“０”に固定することにより、この部分のノイズを除去
することが可能である。また、データの後半について
は、データの終端を“０”に収束させるためのフェード
アウト処理を施すことで後半の微小レベル信号部分のノ
イズを除去するようにしてもよい。

【０１６２】以上説明したように、本実施の形態によれ
ば、収録済の音響データ（原音）を再生する際に、実在
の音楽ホール等の音響空間について予め得られているイ
ンパルス応答データを用いた第１のリバーブ処理に加え
て、ユーザ音響空間４５について予め得られているイン
パルス応答データを用いた第２のリバーブ処理をも行う
ようにしたので、ユーザ音響空間４５の音響特性をも加
味した音響再生を行うことができる。したがって、ユー
ザの視聴環境に応じた音響再生が可能となり、上記第１
の実施の形態の場合に比べて、忠実性（すなわち、実際
に音楽ホール等に赴いて聴取しているかのように感ずる
リアリティの度合い）が向上する。

【０１６３】以上、いくつかの実施の形態および変形例
を挙げて本発明の音響処理装置について説明したが、本
発明はこれらの実施の形態等に限定されず、種々の変形
が可能である。例えば、上記の各実施の形態では、イン
パルス応答データのたたみ込みをソフトウェアによって
行うようにしたが、ハードウェアを用いるようにしても
よい。すなわち、図３に示したアプリケーションプログ
ラム１４Ｐの機能のうち、リバーブモジュールＲＥＶの
機能のすべてまたは一部をハードウェアに置き換えるよ
うにしてもよい。さらに、アプリケーションプログラム
１４Ｐの機能のうち、画像再生モジュールＲＥＰの機能
のすべてまたは一部をハードウェアに置き換えることも
可能である。

【０１６４】また、上記各実施の形態では、４つのスピ
ーカ２Ａ〜２Ｄを用いて再生するようにしたが、もう１
つのスピーカを前方の２つのスピーカ２Ａ，２Ｂの間に
追加して、５スピーカシステムにしてもよい。これによ
り、臨場感をさらに高めることができる。

【０１６５】［音響処理用データの配信方法］次に、本
発明の一実施の形態に係る音響処理用データの配信方法
について説明する。この配信方法は、例えば上記各実施
の形態の音響処理装置において利用される音響処理用デ
ータである処理用コンテンツデータ８Ｃ（図１，図２）
を、インターネットを介してユーザに配信して利用に供
するための方法である。以下、この配信方法について、
これを適用して構築されるビジネスモデルと共に説明す
る。

【０１６６】図１８は本実施の形態に係る音響処理用デ
ータの配信方法が適用されるネットワークシステムの要
部を表すものである。このシステムは、コンテンツ配信
事業者１００が運用するサーバシステム１０１と、ユー
ザ２００が保有するユーザシステム２０１と、コンテン
ツ提供者３００が運用するコンテンツ提供システム３０
１と、これらの各システムに接続された広域通信網とし
てのインターネット４００とを含んで構成されている。
サーバシステム１０１、ユーザシステム２０１およびコ
ンテンツ提供システム３０１は、例えば、一般的なパー
ソナルコンピュータやワークステーション等のコンピュ
ータを用いて構成される。

【０１６７】サーバシステム１０１は、第１に、様々な
実在の音響空間について提供された処理用コンテンツデ
ータ８Ｃを蓄積するコンテンツソース８（図１）として
の機能を有する。より詳細には、サーバシステム１０１
は、コンテンツ提供システム３０１からインターネット
４００を介して提供されたコンテンツ８３を受信すると
共に、受信したコンテンツ８３に含まれるリバーブデー
タ、画像データおよび付帯データをリンクデータによっ
て相互にリンクさせるデータ加工を行い、その加工結果
を処理用コンテンツデータ８Ｃの形で蓄積するようにな
っている。なお、処理用コンテンツデータ８Ｃは、図１
および図２に示したものと同じもので、リバーブデータ
（インパルス応答データ）、画像データ、付帯データお
よびリンクデータを含む。

【０１６８】サーバシステム１０１は、第２の機能とし
て、ユーザシステム２０１からの要求に応じて、その要
求をしたユーザシステム２０１に処理用コンテンツデー
タ８Ｃをインターネット４００を介して配信する配信機
能を備え、さらに、第３の機能として、処理用コンテン
ツデータ８Ｃの配信に応じた料金をその配信先のユーザ
２００に課金する課金機能を備えている。サーバシステ
ム１０１はさらに、第４の機能として、ユーザシステム
２０１に対する処理用コンテンツデータ８Ｃの配信回数
に応じた料金を、その処理用コンテンツデータ８Ｃを提
供したコンテンツ提供者３００に支払う支払機能を備え
ている。

【０１６９】サーバシステム１０１は、上記した第１〜
第４の機能を実現するために、後述するように、コンテ
ンツデータベースＤＢ１（図１９）と、コンテンツ管理
データベースＤＢ２（図２０）と、ユーザ管理データベ
ースＤＢ３（図２１）とを備えている。

【０１７０】ユーザシステム２０１は、例えば上記の図
２に示した構成を有するもので、収録済の原音に対して
実在の音響空間の響きに対応したリバーブデータをたた
み込む音響処理機能と、インターネット４００を介して
サーバシステム１０１と通信を行う通信機能とを備えて
いる。その詳細な構成および機能は、上記各実施の形態
において説明した通りである。

【０１７１】コンテンツ提供システム３０１は、リバー
ブデータ、画像データおよび付帯データを含むコンテン
ツ８３を少なくとも一時的に保有する保有機能と、保有
するコンテンツ８３をインターネット４００を介してサ
ーバシステム１０１に送信する通信機能とを備えてい
る。

【０１７２】次に、サーバシステム１０１における各デ
ータベースについて説明する。

【０１７３】図１９はコンテンツデータベースＤＢ１の
概略構造を表すものである。このデータベースは、コン
テンツ提供者３００等から提供されたコンテンツ８３
（リバーブデータ、画像データおよび付帯データ）を格
納するもので、各コンテンツ８３ごとに、コンテンツ番
号が付されている。

【０１７４】図２０はコンテンツ管理データベースＤＢ
２の概略構造を表すものである。このデータベースは、
コンテンツデータベースＤＢ１に格納された各コンテン
ツ８３のコンテンツ番号ごとに、コンテンツ提供者情報
と、アップロード情報と、使用権確認フラグと、ダウン
ロード回数とが対応付けられて構成されている。

【０１７５】コンテンツ提供者情報は、コンテンツ８３
を提供した者の氏名や銀行口座番号等を含む情報であ
る。ここで、銀行口座番号は、後述するように、提供さ
れたコンテンツ８３の利用じきに応じた対価をその提供
者に支払う際に必要となるものである。

【０１７６】アップロード情報は、アップロードライセ
ンスと、アップロード年月日とを含む。アップロードラ
イセンスは、コンテンツ配信事業者１００がコンテンツ
提供者３００からコンテンツ８３の提供を受けるに際し
て、不特定の者からの悪意のアップロード（いわゆるハ
ッキング）を防ぐために、予めコンテンツ配信事業者１
００からコンテンツ提供者３００に発行する許可情報で
ある。アップロード年月日は、コンテンツ配信事業者１
００がコンテンツ提供者３００から実際にコンテンツ提
供を受けたときの日付情報である。

【０１７７】使用権確認フラグは、コンテンツ提供者３
００から提供されたコンテンツ８３が正規のコンテンツ
使用許諾を得たものであるか否かを示すフラグ情報であ
り、「確認済」または「未確認」のいずれかの状態をと
る。具体的には、使用権確認フラグは、リバーブデータ
が得られた音響空間（音楽ホール等）の所有者や管理者
等から、その音響空間の名前の使用、そのリバーブデー
タの使用、およびその音響空間に関わる画像データの使
用を許可されていることを示すもので、これが「確認」
状態になって初めて、そのコンテンツ８３のダウンロー
ドが可能となる。これにより、その音響空間に関わる権
利の無断使用を防止することができる。

【０１７８】ダウンロード回数は、ある特定のコンテン
ツ８３がユーザ２００によってどのくらい利用されたか
を示すためのもので、実際にダウンロードされた回数を
表す。

【０１７９】図２１はユーザ管理データベースＤＢ３の
概略構造を表すものである。このデータベースは、ユー
ザ識別番号ごとに、ユーザ情報と、利用ライセンス情報
と、利用コンテンツ番号とが対応付けられて構成されて
いる。

【０１８０】ユーザ識別番号は、個々のユーザ２００ご
とに付された識別情報である。ユーザ情報は、ユーザの
氏名やクレジットカード番号等を含む個人情報である。
ここで、クレジットカード番号は、そのコンテンツ８３
の利用に対する対価についての課金処理に用いられる。

【０１８１】利用ライセンス情報は、ユーザ２００によ
ってダウンロードされた鍵付きのコンテンツ８３の鍵を
外して利用可能な状態にするために用いられるもので、
例えば、ユーザ２００のクレジットカード番号とコンテ
ンツの内容の一部とを用いて作成される。

【０１８２】利用コンテンツ番号は、ユーザ２００によ
ってダウンロードされ利用可能になったコンテンツ８３
についてのコンテンツ番号を示す。

【０１８３】次に、図２２および図２３を参照して、以
上のような構成のネットワークシステムにおける処理内
容を説明する。図２２は、コンテンツ提供システム３０
１とサーバシステム１０１との間で行われる処理、およ
びそれぞれにおける処理を表すものである。図２３は、
ユーザシステム２０１とサーバシステム１０１との間で
行われる処理、およびそれぞれにおける処理を表すもの
である。

【０１８４】まず、図１８および図２２を参照して、コ
ンテンツ提供者３００がコンテンツ提供システム３０１
からサーバシステム１０１にコンテンツ８３をアップロ
ードして登録する場合の処理を説明する。

【０１８５】コンテンツ提供者３００のコンテンツ提供
システム３０１には、予め取得したコンテンツ８３が格
納されているものとする。コンテンツ提供者３００は、
取得したコンテンツ８３をコンテンツ配信事業者１００
に提供するに際し、まず、コンテンツ提供システム３０
１からウェブ上のサーバシステム１０１にアクセスし、
サーバシステム１０１からコンテンツ登録画面（図示せ
ず）の送信を受ける（ステップＳ３０１）。次に、コン
テンツ提供者３００は、ウェブ上のコンテンツ登録画面
（図示せず）から、自己の氏名や、コンテンツ提供の対
価の振込を希望する銀行口座番号等の個人情報を含むア
ップロード申込情報８１（図１８）を入力し、送信する
（ステップＳ３０２）。

【０１８６】サーバシステム１０１は、コンテンツ提供
システム３０１からアップロード申込情報８１が送られ
てくると、そのコンテンツ提供者３００のコンテンツ提
供システム３０１に対し、コンテンツ８３のアップロー
ドを許可するアップロードライセンス情報８２（図１
８）を送信する（ステップＳ３０３）。アップロードラ
イセンス情報８２は、例えば、コンテンツ提供者３００
がアップロード申込時に送信した個人情報（例えば、ア
ップロード申込情報８１のうちの口座番号等）を用いて
生成するのが好ましい。ここで、アップロードライセン
ス情報８２が本発明における「第２の認証情報」の一具
体例に対応する。

【０１８７】コンテンツ提供システム３０１は、サーバ
システム１０１からアップロードライセンス情報８２を
受信する（ステップＳ３０４）。これにより、コンテン
ツ提供者３００は、アップロードライセンス情報８２を
取得する。

【０１８８】ここで、コンテンツ提供者３００が、コン
テンツ提供システム３０１からサーバシステム１０１に
対してコンテンツ８３のアップロードを要求すると、サ
ーバシステム１０１は、コンテンツアップロード画面
（図示せず）をコンテンツ提供システム３０１に送信す
る（ステップＳ３０５）。このコンテンツアップロード
画面において、取得したアップロードライセンス情報８
２を入力すると（ステップＳ３０６）、コンテンツ提供
システム３０１は、コンテンツアップロード可能状態に
移行する（ステップＳ３０７）。これにより、コンテン
ツ提供者３００は、コンテンツ８３を送信することがで
きる（ステップＳ３０８）。

【０１８９】サーバシステム１０１は、コンテンツ８３
を受信し（ステップＳ３０９）、その受信したコンテン
ツ８３に含まれるリバーブデータ、画像データおよび付
帯データを相互にリンクさせるリンクデータを作成し、
これらをひとまとまりのコンテンツデータとしてコンテ
ンツ番号を付してコンテンツデータベースＤＢ１（図１
９）に記録する。さらに、サーバシステム１０１は、コ
ンテンツ提供者３００に関わるコンテンツ提供者情報
と、アップロードライセンスやアップロード年月日等を
含むアップロード情報とをコンテンツ管理データベース
ＤＢ２（図２０）に記録する（ステップＳ３１０）。但
し、この段階では、コンテンツ管理データベースＤＢ２
における、そのコンテンツに関する使用権確認フラグ
（図２０）は、まだ「未確認」となっている。

【０１９０】次に、コンテンツ提供者３００は、コンテ
ンツ配信事業者１００に対し、電子メールまたはファク
シミリあるいは文書等を用いて、使用権の存在を示す使
用権証明書を提供する。この証明書は、リバーブデータ
が得られた音響空間（音楽ホール等）の所有者や管理者
等から、その音響空間の名前の使用、そのリバーブデー
タの使用、およびその音響空間に関わる画像データの使
用を許可されていることを示すものである。

【０１９１】コンテンツ配信事業者１００は、コンテン
ツ提供者３００から使用権証明書を受けると、サーバシ
ステム１０１のコンテンツ管理データベースＤＢ２にお
ける該当コンテンツ番号についての使用権確認フラグを
「確認済」に変更する。これにより、コンテンツ提供に
対する対価支払処理に必要なコンテンツ登録手続のすべ
てが完了し、これ以降、ユーザへのコンテンツ提供（ダ
ウンロード）が可能となる。

【０１９２】次に、図１８および図２３を参照して、ユ
ーザシステム２０１がサーバシステム１０１からコンテ
ンツをダウンロードして利用する場合の処理を説明す
る。なお、ユーザシステム２０１には、予め、音響処理
用プログラム（図１および図２のリバーブアプリケーシ
ョンプログラム１４Ｐ）がインストールされているもの
とする。この音響処理用プログラムは、後述するロック
解除情報を生成する機能を有するものとする。

【０１９３】ユーザ２００は、ユーザシステム２０１か
らサーバシステム１０１にアクセスし、サーバシステム
１０１からコンテンツダウンロード画面の送信を受ける
（ステップＳ４０１）。ユーザ２００がコンテンツダウ
ンロード画面において所望のコンテンツデータの番号を
選択すると（ステップＳ４０２）、サーバシステム１０
１は、コンテンツデータベースＤＢ１から、その選択さ
れた番号の処理用コンテンツデータ８Ｃを読み出し、ユ
ーザシステム２０１に送信する（ステップＳ４０３）。

【０１９４】ユーザ２００は、サーバシステム１０１か
らユーザシステム２０１にダウンロードされたコンテン
ツデータを用いて所定の期間または回数だけ試視聴を行
うこと（すなわち、例えば自分の持っている楽曲に、ダ
ウンロードしたコンテンツデータを適用することによ
り、音響効果と画像を確認すること）ができる（ステッ
プＳ４０４）。なお、この試視聴機能は、予めアプリケ
ーションプログラム１４Ｐが備えている機能である。

【０１９５】ユーザ２００は、そのダウンロードしたコ
ンテンツデータの購入を希望するときは（ステップＳ４
０５；Ｙ）、購入申込画面を開いて自己の氏名、クレジ
ットカード番号および購入を希望するコンテンツのコン
テンツ番号等を含む購入申込情報８４（図１８）を入力
し、これをサーバシステム１０１に送信する（ステップ
Ｓ４０６）。

【０１９６】サーバシステム１０１は、ユーザシステム
２０１から購入申込情報８４が送られてくると、この購
入申込情報８４を基に利用ライセンス情報８５（図１
８）を生成し、これをユーザシステム２０１に送信する
（ステップＳ４０７）。利用ライセンス情報８５の生成
は、例えば、購入申込情報８４から抽出したクレジット
カード番号と、購入対象コンテンツデータの中のリバー
ブデータの一部（例えば、先頭よりｍバイト目からｎバ
イト目までのデータ（ｍ，ｎは整数））とを用いて行う
のが好ましい。ここで、利用ライセンス情報８５が本発
明における「第１の認証情報」の一具体例に対応する。
クレジットカード番号が本発明における「ユーザ個人情
報」の一具体例に対応し、購入対象コンテンツデータ中
のリバーブデータの一部が本発明における「データ固有
情報」の一具体例に対応する。

【０１９７】利用ライセンス情報８５の生成にクレジッ
トカード番号を用いるようにしている理由は次の通りで
ある。すなわち、一般に、ユーザにとってクレジットカ
ード番号は非常に重要な情報であり、これを気軽に他人
に教えることは殆ど考えられない。したがって、後述す
るように、このクレジットカード番号を入力しない限
り、ダウンロードしたコンテンツの利用ができないよう
にしておけば、第３者による無断コピーによるコンテン
ツの使用を排除することができるのである。

【０１９８】また、利用ライセンス情報８５の生成に購
入対象コンテンツデータ中のリバーブデータの一部を用
いるようにしているのは、あるコンテンツについてのみ
利用ライセンスを受けたユーザが、試視聴のためにダウ
ンロードした他のコンテンツを自由に利用することを不
可能にするためである。

【０１９９】サーバシステム１０１はさらに、購入申込
情報８４から抽出したユーザの氏名、クレジットカード
番号および購入対象コンテンツのコンテンツ番号、なら
びに、これらから生成した利用ライセンス情報８５をユ
ーザ管理データベースＤＢ３（図２１）に登録する（ス
テップＳ４０８）と共に、コンテンツ管理データベース
ＤＢ２の利用回数を１つカウントアップする。これによ
り、ユーザ２００によるコンテンツ利用に対する課金処
理に必要なユーザ登録処理が完了すると共に、コンテン
ツ提供の対価に関するコンテンツ提供者３００への支払
いに必要なデータエントリ処理が完了する。

【０２００】ユーザシステム２０１は、サーバシステム
１０１から送られてきた利用ライセンス情報８５を受信
すると（ステップＳ４０９）、この利用ライセンス情報
８５をメモリ（例えば図２のＲＡＭ１２）に記憶する。
これにより、ユーザ２００による処理用コンテンツデー
タ８Ｃの購入処理が完了する。

【０２０１】ここで、ユーザ２００が、ユーザシステム
２０１においてリバーブアプリケーションプログラム１
４Ｐを起動し、利用するコンテンツ８３の番号を指定し
た上で、キー番号としてクレジットカード番号を入力す
る（ステップＳ４１０；Ｙ）。すると、リバーブアプリ
ケーションプログラム１４Ｐは、その入力されたキー番
号（クレジットカード番号）と、その指定されたコンテ
ンツ８３の中のリバーブデータの一部とに基づいて、ロ
ック解除情報を生成し、これを、既にサーバシステム１
０１から取得し記憶している利用ライセンス情報８５と
照合する（ステップＳ４１１）。この結果、両者が一致
したときは（ステップＳ４１２；Ｙ）、リバーブアプリ
ケーションプログラム１４Ｐが楽曲再生可能状態へと移
行する（ステップＳ４１３）。一方、一致しないとき
は、処理用コンテンツデータ８Ｃを用いた楽曲再生は禁
止され、「キー番号または指定したコンテンツ番号が違
っています」等のメッセージが表示される。なお、キー
番号としてのクレジットカード番号が入力されたのち、
これを暗号化しておけば、簡単にクレジットカード番号
を盗まれるおそれがないので、ユーザ２００にとっては
安心である。

【０２０２】このようにして、サーバシステム１０１
は、ユーザ２００が処理用コンテンツデータ８Ｃを購入
するごとに、ユーザ管理データベースＤＢ３へのユーザ
登録（課金処理）を行う。コンテンツ配信事業者１００
は、購入処理が行われる都度、あるいは定期的にユーザ
管理データベースＤＢ３を参照して、購入したユーザ２
００に対して料金請求手続きを行うことにより、コンテ
ンツ利用に対する対価の支払いをユーザ２００から受け
ることとなる。なお、サーバシステム１０１に請求処理
用のソフトウェアをインストールしておき、ユーザ２０
０に対する請求処理を自動的に行うようにすることも可
能である。

【０２０３】また、サーバシステム１０１は、処理用コ
ンテンツデータ８Ｃが利用（購入）されるごとに、コン
テンツ管理データベースＤＢ２の利用回数をカウントア
ップする。コンテンツ配信事業者１００は、例えば一定
期間（例えば１カ月）ごとに利用回数をチェックし、そ
の利用回数に応じた対価の支払いをコンテンツ提供者３
００に対して行うこととなる。なお、サーバシステム１
０１に支払い処理用のソフトウェアをインストールして
おき、コンテンツ提供者３００に対する対価の支払い処
理を自動的に行うようにすることも可能である。

【０２０４】以上のように、本実施の形態に係る音響処
理用データの配信方法によれば、インターネットを通じ
て、世界中から広く、リバーブデータや画像データ等を
含むコンテンツを収集することを容易に実現することが
できる。また、世界中のユーザに対して様々なコンテン
ツを提供することを容易に実現することができる。この
ため、ユーザは自宅に居ながらにして、世界中の著名な
音楽ホール等へ実際に行って音楽を聴いているかのよう
な仮想体験を得ることが可能になる。

【０２０５】また、コンテンツ配信事業者にとっては、
多くのユーザにコンテンツを配信することにより、配信
回数に応じた利益を得ることができる。この場合、コン
テンツの種類や内容等に応じて配信料金の額を適宜設定
することが可能である。また、サーバシステム１０１を
用いて、コンテンツの収集と配信とを自動的に管理する
ようにしたことにより、これらの一連の複雑な処理を自
動的に行うことができ、極めて効率よくコンテンツ配信
事業を運営することができる。

【０２０６】さらに、コンテンツ提供者にとっては、貴
重なあるいは人気のあるコンテンツを探して、これをコ
ンテンツ配信事業者に提供することにより、ユーザによ
る購入の回数（利用回数）に応じた利益を得ることがで
きる。

【０２０７】また、コンテンツ提供者からコンテンツ配
信事業者にコンテンツを提供するに際して、アップロー
ドライセンス情報の入力を要求するようにしたので、不
特定の者からの悪意のアップロード（いわゆるハッキン
グ）を防ぐことができる。

【０２０８】以上、実施の形態を挙げて本発明に係る音
響処理用データの配信方法を説明したが、本発明はこの
実施の形態に限定されず、以下に列挙するように、種々
の変形が可能である。

【０２０９】上記実施の形態では、配信する対象の音響
処理用データが、リバーブデータのほかに、画像データ
および付帯データ、ならびにこれらをリンクさせるため
のリンクデータを含むものとして説明したが、これには
限定されない。例えば、画像データを含まずに、リバー
ブデータ、付帯データおよびリンクデータからなるよう
にしてもよい。あるいは、リバーブデータだけを含むよ
うにしてもよい。

【０２１０】上記実施の形態では、利用ライセンス情報
およびこれと照合されるロック解除情報を生成する際
に、クレジットカード番号のほかに、リバーブデータの
一部を用いるようにしたが、これには限定されない。リ
バーブデータ、画像データおよび付帯データのうちの少
なくとも１つを用いて生成するようにしてもよい。その
際の各データの用い方については、単にそれぞれのデー
タの一部を抽出してそのまま用いるのではなく、各デー
タに基づいて所定の演算を行って得られる演算結果デー
タを用いるようにしてもよい。

【０２１１】コンテンツデータをダウンロードして利用
するユーザは、一般家庭の個人であってもよいが、カラ
オケハウスやゲームセンター等の娯楽施設に来店したユ
ーザであってもよい。この場合には、これらの娯楽施設
に来店した客からのオプション料金の支払いを条件とし
て、その客がコンテンツをダウンロードして利用できる
ようにすればよい。

【０２１２】コンテンツ配信事業者１００が運営するサ
ーバシステム１０１は、リバーブデータおよび画像デー
タ等を主とするコンテンツデータを配信するための専門
サイトであってもよいが、一般的な音楽配信サイトであ
ってもよい。この場合には、例えば、配信楽曲を選択す
るためのウェブ画面上に音響効果体験ボタンを設けて、
これをクリックするだけでリバーブ効果を体験できるよ
うにしておき、この画面から購入もできるようにすれば
よい。

【０２１３】

【発明の効果】以上説明したように、請求項１ないし請
求項４のいずれかに記載の音響処理装置によれば、原音
に実在する音響空間の響きに対応したインパルス応答デ
ータをたたみ込むことにより生成した効果音を原音に重
畳して音響処理音を生成し、この音響処理音を画像再生
手段からの再生画像の出力に合わせて出力するようにし
たので、聴き手は、実際にその音響空間で音響を聴いて
いるかのような音響的な臨場感と視覚的な臨場感とを得
ることができる。

【０２１４】特に、請求項２に記載の音響処理装置によ
れば、少なくともたたみ込み手段をソフトウェアにより
構成するようにしたので、特別なハードウェア機器を用
いなくても、音響処理を行うことができる。例えば一般
家庭に広く普及しているパーソナルコンピュータにソフ
トウェアをインストールするだけで、臨場感溢れる仮想
視聴体験を手軽に楽しむことができる。

【０２１５】また、特に、請求項３に記載の音響処理装
置によれば、画像再生手段からの再生画像が実在する音
響空間と関連したものであるようにしたので、聴き手
は、今聴いている音の響きに重ねてその音響空間の情景
をイメージとして描きながら音楽を聞くこともできる。
このため、聴き手は、あたかも、実際にその音響空間に
身を置いてその音響空間を見ながらその曲を聞いている
かのように感じられるという疑似的視聴体験を実現する
ことができる。

【０２１６】また、特に、請求項４に記載の音響処理装
置によれば、さらに、生成された音響処理音と画像再生
手段からの再生画像とを着脱可能記録媒体に記録する記
録手段を備えるようにしたので、一旦作成した画像付き
音響処理音のうち、気に入ったものを保存しておくこと
ができる。さらには、お気に入りの画像付き音響処理音
を集めた疑似的視聴体験ライブラリを手軽に作成するこ
とも可能である。

【０２１７】請求項５ないし請求項８のいずれかに記載
の音響処理装置によれば、原音にインパルス応答データ
をたたみ込む際に生じた遅延時間を差し引いた箇所（遅
延分をオフセットした位置）から原音に対するたたみ込
み処理を開始し、音響処理開始が指示された時点から遅
延時間の経過時点までの間は原音をそのまま外部に出力
する一方、遅延時間の経過時点以降は原音と効果音とを
重畳させて生成した音響処理音を出力するようにしたの
で、聴き手は、遅延時間に相当する当初の期間は原音
を、その後は音響処理音を聴くことになる。このため、
たたみ込み処理による遅延に起因する再生開始直後の無
音期間がなくなり、聴き手が違和感を覚えたりイライラ
することがない。

【０２１８】請求項９または請求項１０に記載の音響処
理装置によれば、実在する第１の音響空間の響きに対応
して得られた第１のインパルス応答データのみならず、
音響処理が施された音の再生出力が行われる予定の実在
する第２の音響空間の響きに対応して得られた第２のイ
ンパルス応答データをも原音にたたみ込むことにより効
果音を生成し、この効果音を原音に重畳して音響処理音
を生成するようにしたので、収録空間としての第１の音
響空間のみならず、再生空間としての第２の音響空間の
音響特性をも加味した音響処理が行われる。このため、
視聴する空間の良し悪しに左右されることなく、ほぼ一
定の安定した音響特性を保った臨場感を聴き手に与える
ことができる。

【０２１９】請求項１１ないし請求項１８のいずれかに
記載の音響処理用データの配信方法によれば、サーバシ
ステムに蓄積された様々な実在の音響空間についてのイ
ンパルス応答データのうち、ユーザシステムから要求さ
れたインパルス応答データを通信路を介してそのユーザ
システムに配信し、そのデータ配信に応じた利用料金を
ユーザシステムに課金するようにしたので、配信業者
は、多くの手間をかけずに低コストでインパルス応答デ
ータを世界中のユーザに広く提供できると共に、その対
価の回収を簡単に行うことができる。一方、ユーザは自
宅に居ながらにして、世界中の著名な音楽ホール等へ実
際に行って音楽を聴いているかのような仮想体験を得る
ことが可能になる。

【０２２０】特に、請求項１３に記載の音響処理用デー
タの配信方法によれば、サーバシステムからユーザシス
テムに対してインパルス応答データを配信する際に、そ
のユーザシステムによるインパルス応答データの利用を
可能にさせるための第１の認証情報を併せて配信するよ
うにしたので、インパルス応答データの不正コピーを防
止することができる。

【０２２１】また、特に、請求項１５に記載の音響処理
用データの配信方法によれば、サーバシステムは、広域
通信ネットワークに接続されたコンテンツ提供システム
から通信路を介してインパルス応答データの提供を受け
て蓄積するようにしたので、世界中から広くインパルス
応答データを収集することを容易に実現することができ
る。

【０２２２】また、特に、請求項１６に記載の音響処理
用データの配信方法によれば、サーバシステムは、ユー
ザシステムに対するインパルス応答データの配信回数に
応じた料金をその配信されたインパルス応答データを提
供したコンテンツ提供システムに支払うために必要な支
払処理を行うようにしたので、インパルス応答データの
利用頻度に応じた相応の対価を提供者に支払うことがで
きる。

【０２２３】また、特に、請求項１７に記載の音響処理
用データの配信方法によれば、サーバシステムは、コン
テンツ提供システムからインパルス応答データの提供の
申出がされた場合に、インパルス応答データの提供を可
能にさせるための第２の認証情報をコンテンツ提供シス
テムに送信するようにしたので、不特定の者からインパ
ルス応答データが提供されることにより生ずるであろう
不都合、例えば悪意のアップロード（いわゆるハッキン
グ）等を防止することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る音響処理装置
を用いて構成したオーディオビジュアルシステムの概略
構成を表すブロック図である。

【図２】図１における音響処理装置のハードウェア構成
の概略を表すブロック図である。

【図３】図１における音響処理装置の機能構成の要部を
表すブロック図である。

【図４】図３におけるリンクファイルの一例を表す図で
ある。

【図５】図３におけるリバーブモジュールの機能構造を
表すブロック図である。

【図６】図５におけるたたみ込み処理部の機能構造を表
すブロック図である。

【図７】本発明の第１の実施の形態に係る音響処理装置
を用いて音響処理を行う場合のユーザ操作を含めた全体
の流れを表す流れ図である。

【図８】図５に示したリバーブモジュールにおける音響
処理のタイミングを表すタイミング図である。

【図９】インパルス応答データの一例を表す図である。

【図１０】本発明の第１の実施の形態の一変形例に係る
音響処理装置におけるリバーブモジュールの機能構造を
表すブロック図である。

【図１１】本発明の第１の実施の形態の他の変形例に係
る音響処理装置におけるリバーブモジュールの機能構造
を表すブロック図である。

【図１２】本発明の第２の実施の形態に係る音響処理装
置におけるリバーブモジュールの機能構造を表すブロッ
ク図である。

【図１３】本発明の第２の実施の形態に係る音響処理装
置を用いて音響処理を行う場合のユーザ操作を含めた全
体の流れを表す流れ図である。

【図１４】図１２のリバーブモジュールにおける音響処
理のタイミングを表すタイミング図である。

【図１５】本発明の第２の実施の形態の一変形例に係る
音響処理装置におけるリバーブモジュールの機能構造を
表すブロック図である。

【図１６】本発明の第３の実施の形態に係る音響処理装
置におけるリバーブモジュールの機能構造を表すブロッ
ク図である。

【図１７】ユーザリバーブデータを収集するためのリバ
ーブデータ収集装置の概略構成を表すブロック図であ
る。

【図１８】本発明の一実施の形態に係る音響処理用デー
タの配信方法が適用されるネットワークシステムの要部
を表すシステム構成図である。

【図１９】図１８におけるサーバシステムに設けられた
コンテンツデータベースの一例を表す図である。

【図２０】図１８におけるサーバシステムに設けられた
コンテンツ管理データベースの一例を表す図である。

【図２１】図１８におけるサーバシステムに設けられた
ユーザ管理データベースの一例を表す図である。

【図２２】コンテンツ提供システムとサーバシステムと
の間で行われる処理、およびこれらのシステムの各々に
おける処理を表す流れ図である。

【図２３】ユーザシステムとサーバシステムとの間で行
われる処理、およびこれらのシステムの各々における処
理を表す流れ図である。

【符号の説明】

１…音響処理装置、２Ａ〜２Ｄ…スピーカ、３…表示装
置、５…記録再生装置、７…オーディオソース、７Ａ…
オーディオデータ、８…コンテンツソース、８Ｃ…処理
用コンテンツデータ、１１…ＣＰＵ、１２…ＲＡＭ、１
３…ＲＯＭ、１４…ハードディスク装置、１４Ｃ…コン
テンツライブラリ、１４Ｐ…リバーブアプリケーション
プログラム、１６…ＣＤドライブ、１６Ａ…音楽ＣＤ、
１６Ｐ…ＣＤ−ＲＯＭ、５１Ｌ１，５１Ｌ２, ５１Ｒ
１，５１Ｒ２…たたみ込み処理部、５２Ｌ，５２Ｒ…遅
延処理部、６２，６４，６９…ＦＦＴ処理ブロック、６
５…たたみ込み演算処理ブロック、６６…ＩＦＦＴ処理
ブロック、Ｌi …リンクデータ、ＲＤi …リバーブデー
タ、ＩＭi …画像データ、ＡＸi …付帯データ、ＲＥＶ
…リバーブモジュール、ＬＣ…リンクモジュール、ＲＥ
Ｐ…画像再生モジュール、８２…アップロードライセン
ス情報、８３…コンテンツ、８５…利用ライセンス情
報、１０１…サーバシステム、２０１…ユーザシステ
ム、３０１…コンテンツ提供システム、４００…インタ
ーネット、ＤＢ１…コンテンツデータベース、ＤＢ２…
コンテンツ管理データベース、ＤＢ３…ユーザ管理デー
タベース。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5D044 AB05 AB07 BC02 CC06 DE50 FG23 FG30 GK12 HL11 5D108 AB19 AC02 AC07

Claims (18)

【特許請求の範囲】
1. 【請求項１】 収録済の原音に対して所定の音響処理を
   施すための装置であって、 前記原音に対して、実在する音響空間の響きに対応した
   インパルス応答データをたたみ込むことにより、効果音
   を生成するたたみ込み手段と、 画像を再生して出力する画像再生手段と、 前記画像再生手段からの再生画像の出力に沿って、前記
   原音と前記たたみ込み手段からの効果音とを重畳させて
   音響処理音を生成し出力するように前記画像再生手段お
   よびたたみ込み手段を制御する制御手段とを備えたこと
   を特徴とする音響処理装置。
2. 【請求項２】 少なくとも前記たたみ込み手段が、ソフ
   トウェアにより構成されていることを特徴とする請求項
   １に記載の音響処理装置。
3. 【請求項３】 前記画像再生手段からの再生画像は、前
   記実在する音響空間と関連したものであることを特徴と
   する請求項１に記載の音響処理装置。
4. 【請求項４】さらに、 前記生成された音響処理音と前記画像再生手段からの再
   生画像とを着脱可能記録媒体に記録する記録手段を備え
   たことを特徴とする請求項１に記載の音響処理装置。
5. 【請求項５】 収録済の原音に対して所定の音響処理を
   施すための装置であって、 前記原音に対して、実在する音響空間の響きに対応した
   インパルス応答データをたたみ込むことにより、効果音
   を生成するたたみ込み手段と、 前記インパルス応答データのたたみ込み処理を行う際に
   生ずる遅延時間に相当する箇所から前記原音に対するた
   たみ込み処理を開始するように前記たたみ込み手段の制
   御を行うと共に、前記音響処理の開始が指示された時点
   から前記遅延時間の経過時点までの間は前記原音をその
   まま外部に出力する外部出力制御を行う一方、前記遅延
   時間の経過時点以降は前記原音と効果音とを重畳させて
   音響処理音を生成し出力する重畳制御を行う制御手段と
   を備えたことを特徴とする音響処理装置。
6. 【請求項６】 前記原音の全体を記録することが可能な
   記録媒体を有すると共に、この記録媒体の任意の箇所か
   ら前記原音を再生する機能を有する記録再生手段をさら
   に備え、 前記制御手段は、前記記録再生手段からの原音の再生を
   制御することにより、前記たたみ込み手段の制御と、前
   記外部出力制御と、前記重畳制御とを行うことを特徴と
   する請求項５に記載の音響処理装置。
7. 【請求項７】 前記原音を一時的に蓄積するバッファメ
   モリを備え、 前記制御手段は、前記バッファメモリからの原音の再生
   を制御することにより、前記たたみ込み手段の制御と、
   前記外部出力制御と、前記重畳制御とを行うことを特徴
   とする請求項５に記載の音響処理装置。
8. 【請求項８】 さらに、画像を再生して出力する画像再
   生手段を備え、 前記制御手段は、前記画像再生手段からの再生画像の出
   力に沿って、前記原音と前記たたみ込み手段からの効果
   音とを重畳させて音響処理音を生成し出力するように前
   記画像再生手段およびたたみ込み手段を制御することを
   特徴とする請求項５に記載の音響処理装置。
9. 【請求項９】 収録済の原音に対して所定の音響処理を
   施すための装置であって、 実在する第１の音響空間の響きに対応して得られた第１
   のインパルス応答データを保持する手段と、 前記音響処理が施された音の再生出力が行われる予定の
   実在する第２の音響空間の響きに対応して得られた第２
   のインパルス応答データを保持する手段と、 前記原音に対して前記第１および第２のインパルス応答
   データをたたみ込むことにより、効果音を生成するたた
   み込み手段と、 前記原音と前記たたみ込み手段からの効果音とを重畳さ
   せて音響処理音を生成し出力するように、前記たたみ込
   み手段を制御する制御手段とを備えたことを特徴とする
   音響処理装置。
10. 【請求項１０】 さらに、画像を再生して出力する画像
    再生手段を備え、 前記制御手段は、前記画像再生手段からの再生画像の出
    力に沿って、前記原音と前記たたみ込み手段からの効果
    音とを重畳させて音響処理音を生成し出力するように前
    記画像再生手段およびたたみ込み手段を制御することを
    特徴とする請求項９に記載の音響処理装置。
11. 【請求項１１】 収録済の原音に対して実在の音響空間
    の響きに対応したインパルス応答データをたたみ込む音
    響処理を行う機能を有するユーザシステムと、通信路を
    介して前記ユーザシステムに接続する機能を有するサー
    バシステムとを含む広域通信ネットワークに適用される
    方法であって、 様々な実在の音響空間について提供されたインパルス応
    答データを前記サーバシステムに蓄積し、 前記ユーザシステムからの要求に応じて、前記サーバシ
    ステム内の選択されたインパルス応答データを、前記通
    信路を介して、その要求をしたユーザシステムに配信
    し、 インパルス応答データの配信に応じた料金を前記ユーザ
    システムに課金する課金処理を行うことを特徴とする音
    響処理用データの配信方法。
12. 【請求項１２】 前記サーバシステムは、前記インパル
    ス応答データと共にそのインパルス応答データと関連し
    た画像データを配信することを特徴とする請求項１１に
    記載の音響処理用データの配信方法。
13. 【請求項１３】 前記サーバシステムからユーザシステ
    ムに対してインパルス応答データを配信する際に、その
    ユーザシステムによるインパルス応答データの利用を可
    能にさせるための第１の認証情報を併せて配信すること
    を特徴とする請求項１１に記載の音響処理用データの配
    信方法。
14. 【請求項１４】 前記第１の認証情報は、 前記ユーザシステムからサーバシステムに対してインパ
    ルス応答データの配信を要求した際に併せてサーバシス
    テムに送信されたユーザ個人情報と、 前記サーバシステムからユーザシステムに対して配信さ
    れたインパルス応答データから演算または抽出により得
    られるデータ固有情報とを含んで構成されていることを
    特徴とする請求項１３に記載の音響処理用データの配信
    方法。
15. 【請求項１５】 前記サーバシステムは、前記広域通信
    ネットワークに接続されたコンテンツ提供システムから
    前記通信路を介してインパルス応答データの提供を受け
    て蓄積することを特徴とする請求項１１に記載の音響処
    理用データの配信方法。
16. 【請求項１６】 前記サーバシステムは、ユーザシステ
    ムに対するインパルス応答データの配信回数に応じた料
    金をその配信されたインパルス応答データを提供したコ
    ンテンツ提供システムに支払うために必要な支払処理を
    行うことを特徴とする請求項１５に記載の音響処理用デ
    ータの配信方法。
17. 【請求項１７】 前記サーバシステムは、前記コンテン
    ツ提供システムからインパルス応答データの提供の申出
    がされた場合に、インパルス応答データの提供を可能に
    させるための第２の認証情報を前記コンテンツ提供シス
    テムに送信することを特徴とする請求項１５に記載の音
    響処理用データの配信方法。
18. 【請求項１８】 前記第２の認証情報は、前記コンテン
    ツ提供システムからユーザシステムに対してインパルス
    応答データの提供を申し出た際に併せてサーバシステム
    に送信されたコンテンツ提供者個人情報を含んで構成さ
    れていることを特徴とする請求項１７に記載の音響処理
    用データの配信方法。