JP2015198413A

JP2015198413A - 収音システム及び放音システム

Info

Publication number: JP2015198413A
Application number: JP2014076663A
Authority: JP
Inventors: 健太丹羽; Kenta Niwa; 小林　和則; Kazunori Kobayashi; 和則小林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-04-03
Filing date: 2014-04-03
Publication date: 2015-11-09
Anticipated expiration: 2034-04-03
Also published as: JP6125457B2

Abstract

【課題】従来よりも直感的な操作を可能とした収音システム及び放音システムを提供する。
【解決手段】本発明の一態様によれば、収音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像に、操作者の操作により指定される少なくとも１つの指定範囲を指定可能とする入力手段と、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含む。
【選択図】図１

Description

本発明は、収音システム及び放音システムに関する。特に、所定の範囲に存在する音を強調や抑圧等して収音する収音システム、及び、所定の範囲において（音がよく聞こえるように）強調や（音が聞こえないように）抑圧等して放音する放音システムに関する。

非特許文献１及び２が、マイクロホンアレイを用いた拡散センシングに基づく音声強調技術の従来技術として知られている。非特許文献１及び２では、反射構造体により擬似的な拡散音場を生成し、その中にマイクロホンアレイを設置して、拡散センシングを実現している。

K. Niwa, S. Sakauchi, K. Furuya, M. Okamoto, and Y. Haneda, "Diffused sensing for sharp directivity microphone array", ICASSP 2012, 2012, pp. 225 - 228 K. Niwa, Y. Hioka, K. Furuya, and Y. Haneda, "Telescopic microphone array using reflector for segregating target source from noises in same direction", ICASSP 2012, 2012, pp. 5457-5460

従来技術は、音声強調の対象となる範囲を特定する方法について開示されていない。実験条件を考慮すると、マイクロホンアレイの正面に対する角度や、マイクロホンアレイからの距離等をパラメータとして与えることで、範囲を特定していたと考えられる。または、各測定点（範囲）に対して、インデックスを付与し、インデックスを特定することで、範囲を特定していたと考えられる。しかしながら、そのような特定方法では、直感的な操作はできず、利用者は、利用するために、ある程度、説明書を読んだり、説明を受ける必要がある。また、直感的な操作ができないため、素早く収音範囲を特定することが難しい。例えば、競技場等にマイクロホンアレイを設置し、素早く動く選手に合わせて、パラメータやインデックスを入力して、収音範囲を変更するのは非常に難しいと考えられる。

本発明は、従来よりも直感的な操作を可能とした収音システム及び放音システムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、収音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像に、操作者の操作により指定される少なくとも１つの指定範囲を指定可能とする入力手段と、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含む。

上記の課題を解決するために、本発明の他の態様によれば、収音システムは、操作者の操作により指定される指定範囲の存在しうるエリアである指定範囲存在エリアを表示する表示手段と、指定範囲存在エリアに、少なくとも１つの指定範囲を指定可能とする入力手段と、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段と、を含む。

上記の課題を解決するために、本発明の他の態様によれば、収音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像の表示範囲を、操作者の操作により変更可能とする入力手段と、実空間で収音された音のうち、表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含む。

上記の課題を解決するために、本発明の他の態様によれば、収音システムは、実空間で発せられた音を収音可能なように配置された、複数のマイクロホンと少なくとも１つの波進行方向変更手段を含んで構成された収音手段と、複数のマイクロホンそれぞれで収音された複数チャネルの音を記憶する記憶手段と、記憶手段に記憶された音であって、実空間で収音された音のうち、実空間上の所望の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含む。波進行方向変更手段は、音波の進行方向を変更する。

上記の課題を解決するために、本発明の他の態様によれば、放音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像に、操作者の操作により指定される少なくとも１つの指定範囲を指定可能とする入力手段と、所定の音を、指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする音響信号処理手段とを含む。

上記の課題を解決するために、本発明の他の態様によれば、放音システムは、操作者の操作により指定される指定範囲の存在しうるエリアである指定範囲存在エリアを表示する表示手段と、指定範囲存在エリアに、少なくとも１つの指定範囲を指定可能とする入力手段と、所定の音を、指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする音響信号処理手段とを含む。

上記の課題を解決するために、本発明の他の態様によれば、放音システムは、実空間に対応する画像である実空間対応画像を表示する表示手段と、実空間対応画像の表示範囲を、操作者の操作により変更可能とする入力手段と、所定の音を、表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする音響信号処理手段とを含む。

上記の課題を解決するために、本発明の他の態様によれば、放音システムは、実空間に音を放音可能なように配置された、複数のスピーカと少なくとも１つの波進行方向変更手段を含んで構成された放音手段と、Ｍ_１を２以上の整数とし、Ｍ_１チャネルの音を記憶する記憶手段と、Ｍ_２を２以上Ｍ_１以下の整数とし、記憶手段に記憶されたＭ_１チャネルの音のうちの、Ｍ_２チャネルの音それぞれを、実空間上の所望の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする音響信号処理手段とを含む。Ｐを１以上（Ｍ_２−１）以下の整数とし、Ｑを１以上（Ｍ_２−Ｐ）以下の整数とし、音響信号処理手段は、Ｍ_２チャネルのうちのＰチャネルの音を受聴可能とする実空間上の所望の範囲と、Ｍ_２チャネルのうちのＰチャネルとは別のＱチャネルの音を受聴可能とする実空間上の所望の範囲とを異ならせる。波進行方向変更手段は、音波の進行方向を変更する、

本発明によれば、利用者は従来よりも収音システム及び放音システムを直感的に操作できるという効果を奏する。

第一実施形態に係る収音システムの機能構成を示す図。第一実施形態に係る収音システムの処理フローを示す図。図３Ａ及び図３Ｂは実空間対応画像の例（実空間を撮影した画像）を示す図。図４Ａ及び図４Ｂは入力手段による指定範囲の指定方法を説明するための図。図５Ａ及び図５Ｂは入力手段による指定範囲の指定方法を説明するための図。図６Ａ及び図６Ｂは入力手段による指定範囲の指定方法を説明するための図。図７Ａ及び図７Ｂは入力手段による指定範囲の指定方法を説明するための図。指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を説明するための図。指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を説明するための図。複数個の指定範囲特定図形を実空間対応画像に追加した場合の例を示す図。指定範囲特定図形の例を示す図。指定範囲に距離を表す目盛りと矢印を付与した場合の例を示す図。図１３Ａ及び図１３Ｂは入力手段による指定範囲の指定方法を説明するための図。指定範囲の、時間的に連続した移動、回転、拡大、縮小、形状変更を説明するための図。反射器に対するマイクロホンの配置を説明するための図。所定の図形が指定範囲を表す例を示す図。第一実施形態の変形例の構成を示す図。実空間対応画像の例を示す図。表示範囲の例を示す図。第三実施形態に係る放音システムの機能構成を示す図。第三実施形態に係る放音システムの処理フローを示す図。第三実施形態の変形例を説明するための図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^→」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態＞
本実施形態では、従来よりも直感的な操作を可能とした収音システムについて説明する。まず、操作の対象となる収音システムの一例を説明する。ここでは、収音システムは、実空間で発せられた音を収音可能なように配置された、複数のマイクロホンと少なくとも１つの反射器とを含んで構成された収音手段を含む。収音手段の配置、収音手段の方向、並びに、収音手段に含まれるマイクロホン及び反射器の配置の何れも変えることなく、実空間で収音された収音信号を用いて、所定の範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とすることができる。例えば、非特許文献１の収音システムにより実現することができる。まず、非特許文献１で説明されているこれまでの拡散センシングに基づく収音処理について説明する。

[観測信号のモデル化]
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれa_m(i)、b_k,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、n_k(t)とするとき、m番目のマイクロホンで観測した観測信号x_m(t)は、次式でモデル化される。

ここで、tは時間のインデックスを表わす。

x_m(t)を短時間フーリエ変換することで、式(1)の畳み込み混合は、次式のような周波数領域における瞬時混合として近似される。

ここで、ω、τはそれぞれ周波数、フレームのインデックスを表わす。また、X_m(ω,τ)、S(ω,τ)、N_k(ω,τ)は、それぞれ観測信号x_m(t)、ターゲット音の音源信号s(t)、k番目の雑音の音源信号n_k(t)の時間周波数表現を表わす。a_m(ω)、b_k,m(ω)は、それぞれターゲット音、k番目の雑音とm番目のマイクロホンとの間の周波数特性を表し、以後これらを伝達特性と呼ぶ。式(2)を行列形式で表記すると、次式のようになる。

であり、^Tは転置を表わす。

[ビームフォーミング]
ビームフォーミング後の出力信号y(t)は、次式のように観測信号x_m(t)と、ターゲット音を強調するように設計されたフィルタw_m(t)とを畳み込むことで得られる。

ここで、Jはフィルタ長を表わし、インパルス応答長Lと同程度とすればよい。y(t)の時間周波数表現であるY(ω,τ)は、次式で近似的に求められる。

ここで、^Hは共役転置を表し、W^→ _m(ω)の複素共役がw_m(j)の周波数応答に対応する。

出力信号Y(ω,τ)に含まれる雑音成分をY_N(ω,τ)と書くとき、次式のパワーp_N(ω)は雑音成分のパワーとして定義される。

ここで、E_Tは時間的な期待値演算を表わす。音源信号が互いに無相関であると仮定すると、パワーp_N(ω)は伝達特性b^→ _k(ω)とフィルタW^→(ω)だけで計算できる。

アレイ信号処理の分野では、p_N(ω)を最小化するために、様々なフィルタ設計法が説明されてきた。代表例として、遅延和法と最尤法を説明する(参考文献１参照)。
[参考文献１]浅野太,「音のアレイ信号処理-音源の定位・追跡と分離」,コロナ社,2011年

遅延和法において、フィルタW^→ _DSは、次式により、ターゲット音の直接音を強調するように設計される。

は、ターゲット音の直接音のアレイ・マニフォールド・ベクトルを表わす。要素h_m(ω)は、ターゲット音からm番目のマイクロホンまでの直接音の経路の伝達特性を表し、ターゲット音とm番目のマイクロホン間の距離をd_m、音速をc、虚数単位をjとすると、例えば次式により計算できる。

また、最尤法において、フィルタW^→ _MLは、次式により、ターゲット音の直接音を強調し、パワーp_N(ω)を最小化するように設計される。

ここで、R(ω)は雑音の空間相関行列を表わす。例えば、音源信号間が無相関であると仮定すると、雑音の空間相関行列R(ω)は次式のように、伝達特性b^→ _k(ω)のみを用いて計算される。

参考文献１に載っているような古典的なアレイ信号処理において、マイクロホン間の間隔をどのようにアレンジするのかといったことが考えられてきた。しかし、特定の周波数を除いてマイクロホン間の相関が高くなることが多かった。代表的な問題として知られているのは以下の二つである。一つ目は波長の長い低周波帯域では、伝達特性間の相関が高くなりやすいので、狭指向制御しづらいことである。二つ目は波長の短い高周波帯域では、波長の半波長以下の間隔でマイクロホンを並べない限り、特定のターゲット音以外の音を強調してしまう空間エリアジングが生じることである。以上の2点から、広帯域に渡ってパワーp_N(ω)を小さくすることは困難とされてきた。

[拡散センシング]
非特許文献２では、広帯域に渡ってパワーp_N(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングとして纏められている。

拡散センシングでは、アレイ構造を工夫することにより、次式で表すように伝達特性そのものが互いに無相関化するように物理的に変える。

ここで、伝達特性の性質そのものを変えるためのあらゆる物理的手段を用いることができ、例えばマイクロホンの近傍に反射構造体を設置することで、伝達特性そのものが変化する。非特許文献２で提案されている方式は、多数回反射を繰り返し、等方位的に反射音が到来する音場(疑似拡散音場)を生成し、その中にマイクロホンアレイを設置する方式である。例えば、マイクロホンアレイを包囲するような形状の反射構造体を作り、一面だけ開けておけば、反射構造体内に到来した音が自ずと反射を繰り返し、疑似的な拡散音場を生成することになる。

何故、拡散音場にマイクロホンアレイを設置すると、伝達特性間が無相関化されるのかを簡単に説明する。伝達特性間の相関をγ(ω)とすると、拡散音場における相関γ(ω)は次式により計算されることが知られている。

ここで、E_S,p^→はそれぞれ空間的な期待値演算、マイクロホン間の位置ベクトルを表わす。マイクロホン間の距離||p^→||が十分に広いとすると、拡散音場における伝達特性間の相関γ(ω)の期待値は0に漸近する。

だから、従来技術において反射構造体により疑似的な拡散音場を物理的に生成し、その中にマイクロホンアレイを設置してきた（非特許文献２、３参照）。

また、パワーp_N(ω)を小さくするために、事前のシミュレーションや測定により用意した伝達特性を用いたフィルタ設計方式を検討してきた。簡単に言えば、ターゲット音のみを強調するようにしてきたが、拡散センシングに基づく制御では、伝達特性そのものを強調するように設計される。

遅延和法をベースとする場合、次式のように、アレイ・マニフォールド・ベクトルh^→(ω)をターゲット音の伝達特性a^→(ω)に置き換えることで、フィルタW^→ _DS1(ω)を設計できる。

この場合、a^→(ω)をシミュレーションや実測により事前に用意する必要がある。

また、最尤法をベースとする場合、次式によりフィルタW^→ _DS2(ω)を設計できる。

この場合も同様に、a^→(ω)やR(ω)をシミュレーションや実測により事前に用意する必要がある。先に挙げたような手段を用いて、疑似的な拡散音場を生成し、音を収音する場合、伝達特性が自ずと無相関化されていることが期待されるので、パワーp_N(ω)を広帯域に渡って小さくすることができた。

＜第一実施形態のポイント＞
特定の方向や範囲に存在する音を収音しようとした場合、式(16)や(17)による、特定の方向や範囲に対応するフィルタを選択する必要がある（式(5)等参照）。本実施形態では、この特定の方向や範囲に対応するフィルタを直感的な操作により特定することができる。例えば、ピンチイン／ピンチアウト、フリック、スワイプといったスマートフォン上で写真の拡大／縮小、中心位置を操作するように、音のズームイン／ズームアウト、追従といった操作ができるようになれば、これまで録れなかったような音(特定の選手やボール等を追従し、その位置にいるかのような音)の収録が可能となり、臨場感のある再生が可能となる。なお、ピンチインとは、ピンチクローズともいい、スマートフォン等のタッチパネル上で2本の指で画面上の操作対象をつまむように動かすことであり、写真等の画像を縮小するときなどによく使われる。また、ピンチアウトとは、ピンチオープンともいい、タッチパネル上で2本の指を広げることであり、写真等の画像を拡大するときなどによく使われる。フリックとはタッチパネル上で画面を軽く払うように指を動かすことであり、スワイプとはタッチパネル上で指が画面に触れた状態で指を滑らせることであり、画面の移動や拡大された画像の表示部分の移動（言い換えると、中心位置の移動）等によく使われる。

よって、本実施形態では、以前よりも直感的な収音操作インタフェースを実現し、ピンチイン／アウト、フリック、スワイプといった手の動きに応じて、音が強調や抑圧等される範囲が変わるような収音システムを実現したい。

以下、第一実施形態に係る収音システム１０について説明する。
＜第一実施形態に係る収音システム１０＞
第一実施形態に係る収音システム１０の機能構成および処理フローを図１と図２に示す。この第一実施形態の収音システム１０は、Ｍ個のマイクロホン２１１−ｍ、音響信号処理手段１１０、ＡＤ変換部１２０、入力手段１８１、表示手段１８２、反射器１９０を含む。なお、音響信号処理手段１１０は、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０を含む。ｍ＝１，２，…，Ｍであり、Ｍ≧２である。

＜表示手段１８１及び入力手段１８２＞
表示手段１８１は、実空間に対応する画像である実空間対応画像を表示する。表示手段としては、ディスプレイやタッチパネル等が考えられる。

実空間対応画像としては、実空間を撮影した画像（図３Ａ参照）や実空間に対応するイラストの画像（図３Ｂ参照）等が考えられる。撮影した画像を用いる場合、操作者は、自身が収音したいと思っている実空間上の範囲を簡単な操作で直感的に指定することができる。一方、実空間を撮影した画像が不鮮明な場合や人や物が無秩序にたくさんあって雑然としているような場合（つまり、操作者自身が収音したいと思っている実空間上の範囲を実空間を撮影した画像から指定しづらい状況）には、実空間対応画像として、イラストの画像を用いたほうが、操作者は、自身が収音したいと思っている範囲を正しく指定することができる。画像は静止画でも動画であってもよい。特に、音源が移動する場合には、その音源を撮影した動画を実空間対応画像として用いることで、容易に音源を追従して収音することができる。例えば、競技場で特定の選手を追従しようと思った場合には、競技場を撮影した動画を用いることで、容易に音源を追従することができる。

また、実空間対応画像の視点は、収音対象となる実空間を含めばどのようなものであってもよい。例えば、実空間対応画像として、表示手段１８１が配置された場所から収音対象となる実空間を見たときの画像（図３Ａ参照）を用いてもよいし、収音対象となる実空間を上空から斜めに見下ろしたような画像（鳥瞰図、図３Ｂ参照）であってもよい。また、表示手段１８１の一部に、表示手段１８１が配置された場所から収音対象となる実空間を見たときの実空間を撮影した画像を表示しつつ、表示手段１８１の他部に、収音対象となる実空間を上空から斜めに見下ろしたようなイラストの画像を表示してもよい。

画像データは、図１のように外部から入力されてもよいし、図示しない記憶部内に記憶されているものを用いてもよいし、収音システム１０が図示しない画像取得手段（カメラやビデオカメラ等）を備え、実空間を撮影することにより画像データを取得してもよい。

入力手段１８２は、実空間対応画像に、少なくとも１つの指定範囲を指定可能とする。なお、指定範囲とは、操作者の操作により指定される範囲である。入力手段としては、タッチパネル、キーボード、マウス、カメラ等が考えられる。なお、カメラを入力手段として用いる場合、例えば、表情やジェスチャーにより、操作を行う。例えば、両手を挙げることで指定範囲を拡大させ、右手を右方向に伸ばすことで、指定範囲を右に移動させる等、要は、ある入力画像と操作内容とを対応付けておけば、カメラを入力手段として用いることができる。例えば、スマートフォンのアウトカメラで実空間を撮影した画像を実空間対応画像として用い、インカメラで操作者自身を映して、表情やジェスチャーにより操作を行う。例えば、入力手段は、図示しない記憶部、カメラ及び操作特定部を含む。記憶部には、予め表情やジェスチャーと操作内容とが対応付けられたものが記憶される。カメラで、操作者を撮影し、その表情やジェスチャーをキャプチャする。操作特定部は、記憶部を参照して、キャプチャした表情やジェスチャーを対応する操作内容に変換することで、操作を行う。このような構成により、記憶部、カメラ及び操作特定部を含む入力手段は、実空間対応画像に、少なくとも１つの指定範囲を指定可能とする。

（指定方法）
以下に、指定方法を例示する。なお、表示手段１８１、入力手段１８２としてタッチパネルを用いた例について説明しているが、他の表示手段１８１（例えば、タッチパネルではないディスプレイ）及び入力手段１８２（マウスやキーボード）により実現してもよい。

(1)タッチパネル上でタップした部分やドラッグした部分を指定範囲とする。例えば、図４Ａのようにタッチパネルのほぼ中央をタップした場合、図４Ｂのようにタップした部分が指定範囲となる。例えば、図５Ａのようにタッチパネルのほぼ中央から左下へドラッグした場合、図５Ｂのようにドラッグした部分が指定範囲となる。

(2)タッチパネル上でドラッグにより囲んだ部分を指定範囲とする（図６Ａ及び図６Ｂ参照）。

(3)タッチパネル上でドラッグしたときの始点と終点とをそれぞれ対角とする四角形（図７Ａ及び図７Ｂ参照）やその四角形に内接する楕円等の図形により囲まれる部分を指定範囲とする。

(4)表示手段１８１は、指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を含む（図８、図９参照）。なお、指定範囲特定図形とは、指定範囲を特定するための図形である。図８では、指定範囲特定図形表示範囲は、表示手段１８１内の実空間対応画像とは別領域に表示されており、表示手段１８１内の特定の場所に固定されている。図９では、指定範囲特定図形表示範囲は、表示手段１８１内の実空間対応画像上に表示されており、表示手段１８１内を、ドラッグ等により移動させることができる。

入力手段１８２で、指定範囲特定図形表示範囲に表示される指定範囲特定図形を、実空間対応画像に追加することにより、指定範囲を指定とすることができる。なお、図８や図９のように、指定範囲特定図形表示範囲には、複数の感度特性のそれぞれに対応する複数の指定範囲特定図形（この例では、「強調」に対応する実線の長方形と「抑圧」に対応する破線の長方形）を表示してもよい。この場合、入力手段１８２は、指定範囲特定図形表示範囲に表示される複数の指定範囲特定図形の内の何れかを、実空間対応画像に追加することにより、指定範囲と感度特性とを指定することができる。なお、複数個の指定範囲特定図形を実空間対応画像に追加してもよい（図１０参照）。

図８のように感度特性の度合いを調整するための調整部、例えば、感度特性の度合いを示す目盛りを設けてもよい。

例えば、指定範囲特定図形表示範囲内の指定範囲特定図形をドラッグし、実空間対応画像にドロップすることで追加してもよい（図１０参照）。また、指定範囲特定図形表示範囲内の指定範囲特定図形をタップすることで、指定範囲特定図形を選択し、次に、実空間対応画像をタップすることで、タップした場所に先に選択した指定範囲特定図形を追加してもよい。

なお、予め指定範囲特定図形とその感度特性とを決めておき、指定範囲特定図形表示範囲を設けずに、表示手段１８２の実空間対応画像をタップすることで、指定範囲特定図形を表示してもよい。指定範囲特定図形として何らかの照準のような図形（図１１参照）を用いてもよい。この照準の中心方向の音を収音する。照準を移動したり、拡大や縮小することで指定範囲を変更することができる。

(5)入力手段１８１は、操作者の操作により、指定範囲についての距離に対応する情報である距離情報を指定できる。この場合、指定範囲に対応する実空間上の範囲は、距離情報にも対応する範囲である。例えば、図１２のように各指定範囲に距離を表す目盛りと矢印（赤丸や黒丸等、その他の指し示す場所がわかるような図形であればどのようなものであってもよい。）とを付与し、操作者の操作により、矢印を動かすことで距離を変更することができるようにする。

指定範囲についてより詳しく説明する。
前述の(1)〜(4)の指定方法では、奥行きに関する情報を得ることができない。そのため、指定範囲は、実際には、(1)〜(4)の指定方法で特定された指定範囲（以下「第一指定範囲」ともいう）の方向に、マイクロホンアレイが配置された場所からビーム状に指定範囲（以下「第二指定範囲」ともいう）が形成される。例えば、(1)の指定方法では、マイクロホンアレイがタッチパネルの画面外（中央下部あたり）に配置されている場合に、図１３Ａ図のようにタッチパネルのほぼ中央をタップすると、図１３Ｂのようにタップした部分と画面外（中央下部あたり）のマイクロホンアレイが配置された場所を結ぶビーム状に第二指定範囲が形成される。この(5)の指定方法により、ビーム状の指定範囲の距離を限定することができる。

なお、実空間対応画像により、奥行き（距離）に関する情報の重要性が異なる。例えば、実空間対応画像を図３Ｂのような鳥瞰図とした場合、実空間対応画像の奥行きは地面からの高さに相当する。通常、地面から2メートル程度の高さで競技が行われるため、予め地面から2メートル程度までの高さ音を収音するように設定しておけばよく、この場合、距離に関する情報の重要度は低く、取得する必要はない。よって、距離に関する情報を取得する構成とするか否かは、扱う実空間対応画像に応じて適宜設定すればよい。

(6)入力手段１８１は、(1)〜(5)の指定方法で指定した指定範囲を、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行うことができる（図１４参照）。既存の図形描画ソフト等で使われている機能を用いて実現することができる。例えば、指定範囲をドラック＆ドロップすることで、移動させることができる。例えば、移動する音源を撮影した動画を実空間対応画像として用いた場合、指定範囲を移動させることで容易に音源を追従して収音することができる。また、指定範囲をタップにより選択し、選択された指定範囲に対して回転を表す記号等を表示し、回転を表す記号をドラック＆ドロップすることで指定範囲を回転させてもよい。選択した指定範囲の縁をドラック＆ドロップすることで、拡大、縮小、形状変更させてもよい。

このような構成により、直感的に指定範囲を指定することができる。

入力手段１８１は、指定範囲の中心位置の座標と、その座標を中心として収音したい範囲を表すレンジを出力する。さらに、必要に応じて、距離情報や、指定範囲に対する感度特性を出力する。

＜反射器１９０及びマイクロホン２１１−ｍ＞
反射器１９０及びM個のマイクロホン２１１−ｍは、上述の拡散センシングに基づく収音処理を可能とするものであればよい。

例えば、非特許文献１と同様の構成とすればよい。図１５は反射器１９０に対するマイクロホン２１１−ｍの配置を説明するための図である。反射器１９０は、剛体からなる切頂8面体であり、M個のマイクロホン２１１−ｍは、切頂8面体内部の頂点に配置される。このような構成により、疑似的な拡散音場を生成し、伝達特性間を無相関化する。ただし、反射器１９０及びM個のマイクロホン２１１−ｍの構成は、このような構成に限定されず、拡散センシングに基づく収音処理を可能とするものであれば、どのような構成であってもよい。

このような、Ｍ個のマイクロホン２１１−ｍを用いて収音し（ｓ１（図２参照））、アナログ信号（収音信号）をＡＤ変換部１２０に出力する。

＜ＡＤ変換部１２０＞
ＡＤ変換部１２０が、Ｍ個のマイクロホン２１１−ｍで収音されたM個のアナログ信号をディジタル信号x^→(t)＝[x₁(t),…,x_M(t)]^Tへ変換し、（ｓ２）、周波数領域変換部１３０に出力する。ｔは離散時間のインデックスを表す。

＜音響信号処理手段１１０＞
音響信号処理手段１１０は、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。言い換えると、指定範囲に対応する実空間上の範囲に存在する音に対する感度特性と、それ以外の範囲に存在する音に対する感度特性とを、所定の聴者（例えば、操作者）に対して受聴可能とする。また、別の言い方をすると、音響信号処理手段１１０は、指定範囲に対応する実空間上の範囲から発せられる音と、それ以外の範囲から発せられる音とに、異なる感度特性を与えて出力するといってもよい。なお、「感度特性を異ならせる」とは、例えば、特定の位置で発せられた音響信号を局所収音して他の位置で発せられた音響信号を極力収音しないようにしたり、逆に特定の位置で発せられた音響信号を抑圧（消音）して他の位置で発せられた音響信号のみを収音したり、特定の位置で発せられた音響信号に対してだけ特定の周波数によるフィルタリングを行うこと等を意味する。

なお、入力手段１８２において、指定範囲に対して、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行った場合、音響信号処理手段１１０は、時間的に変更した指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。

音響信号処理手段１１０内の各部の処理内容について説明する。

＜周波数領域変換部１３０＞
周波数領域変換部１３０は、まず、ＡＤ変換部１２０が出力したディジタル信号x^→(t)＝[x₁(t),…,x_M(t)]^Tを入力とし、チャネルごとに所定数のサンプルをバッファに貯めてフレーム単位のディジタル信号x^→(τ)＝[x^→ ₁(τ),…,x^→ _M(τ)]^Tを生成する。τはフレーム番号のインデックスである。x^→ _m(τ)=[x_m((τ-1)N+1),…,x_m(τN)]（1≦m≦M）である。所定数のサンプルはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部１３０は、各フレームのディジタル信号x^→(τ)を周波数領域の信号X^→(ω,τ)＝[X₁(ω,τ),…,X_M(ω,τ)]^Tに変換し（ｓ３）、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X^→(ω,τ)は、各周波数ω、フレームτごとに出力される。

＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音システム１０を使って測定された伝達特性A^→(ω)=[a^→(ω),b^→ ₁(ω),…,b^→ _K(ω)]を記憶しておく。a^→(ω)＝[a₁(ω),…,a_M(ω)]^Tを、ターゲット音とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a^→(ω)＝[a₁(ω),…,a_M(ω)]^Tは、マイクロホンアレイに含まれる各マイクロホンへのターゲット音の周波数ωでの伝達特性とする。k=1,2,…,Kであり、Kは雑音の個数であり、b_k ^→(ω)＝[b_k1(ω),…,b_kM(ω)]^Tを、雑音kとM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、b_k ^→(ω)＝[b_k1(ω),…,b_kM(ω)]^Tは、マイクロホンアレイに含まれる各マイクロホンへの雑音kの周波数ωでの伝達特性とする。なお、伝達特性A^→(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。

＜フィルタ計算部１５０＞
フィルタ計算部１５０は、伝達特性記憶部１４０から伝達特性A^→(ω)を取り出し、フィルタW^→(ω)を計算し、フィルタリング部１６０に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW^→(ω)を計算する。

なお、従来技術と同様の方法により、フィルタW^→(ω)を設計することができる。例えば、参考文献２に記載されている<１>SN比最大化規準によるフィルタ設計法、<２>パワーインバージョン(Power Inversion)に基づくフィルタ設計法、<３>一つ以上の死角（雑音のゲインが抑圧される方向）を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法、<４>遅延合成（Delay-and-Sum Beam Forming）法によるフィルタ設計法、<５>最尤法によるフィルタ設計法、<６>AMNOR（Adaptive Microphone-array for noise reduction）法等によって、フィルタW^→(ω)を設計することができる。
[参考文献２]国際公開第ＷＯ２０１２／０８６８３４号パンフレット

例えば、遅延和法をベースとする場合、式(16)により、フィルタW^→ _DS1(ω)を計算する。

また例えば、最尤法をベースとする場合、式(17)により、フィルタW^→ _DS2(ω)を計算する。

また例えば、一つ以上の死角を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法の場合、次式により、フィルタW^→ _DS3(ω)を計算する。

ただし、ｆ_S(ω),f_k(ω)はそれぞれターゲット音、雑音k(k=1,2,…,K)に関する周波数ωでの通過特性を表す。例えば、式(18)において、伝達特性a^→(ω)が方向θに依存する伝達特性a^→(ω,θ)として事前に用意できる場合には、伝達特性a^→(ω,θ)を用いて、フィルタW^→(ω,θ)を計算し、フィルタリング部１６０において、特定の方向θ_sの信号処理が行える。また、伝達特性a^→(ω)が方向θ、距離Dに依存する伝達特性a^→(ω,θ,D)として事前に用意できる場合には、伝達特性a^→(ω,θ,D)を用いて、フィルタW^→(ω,θ,D)を計算し、フィルタリング部１６０において、特定の位置（特定の方向θ_sと距離D_Hにより特定される位置）の信号処理が行える。

＜フィルタリング部１６０＞
フィルタリング部１６０は、予めフィルタ計算部１５０からフィルタW^→(ω)を受け取っておき、入力手段１８２から座標及びレンジ（必要に応じて距離情報及び感度特性）を受け取り、周波数領域変換部１３０から周波数領域信号X^→(ω,τ)を受け取る。予め受け取っておいたフィルタW^→(ω)から受け取った座標及びレンジ（必要に応じて距離情報及び感度特性）に応じたフィルタを選択し、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X^→(ω,τ)=[X₁(ω,τ),…,X_M(ω,τ)]^Tに、選択したフィルタW^→(ω)を適用して（式(5)参照、ｓ４）、出力信号Y(ω,τ)を出力する。

例えば、フィルタリング部１６０はM個のマイクロホン２１１−ｍによる収音信号に基づき、空間上の少なくとも１つの位置または方向から発せられた音響信号の感度特性を異ならせるものであればよい。なお、複数個の指定範囲が、入力手段１８２を介して、指定されているときには、複数個の指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とすればよい。なお、指定範囲ごとに感度特性が異なる場合（例えば、ある指定範囲は「強調」するように指定されており、別の指定範囲は「抑圧」するように指定されている場合）、指定範囲に対応する実空間上の範囲に存在する音のそれぞれを、入力手段１８２で指定した感度特性で受聴可能とすればよい。なお、予め、指定範囲、及び、感度特性に応じたフィルタをフィルタ計算部１５０で計算しておき、フィルタリング部１６０はそれを受け取り、入力手段１８２を介して、指定された座標、レンジ及び距離並びに感度特性に応じて、適宜対応するフィルタを選択すればよい。

＜時間領域変換部１７０＞
時間領域変換部１７０は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して（ｓ５）、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。

＜効果＞
このような構成により、利用者は従来よりも収音システムを直感的に操作できる。例えば、タッチパネルやマウス、キーボードを操作する手の動きに応じて、簡単に指定範囲を拡大、縮小、移動等することができ、収音範囲を変えることができる。

＜変形例＞
なお、表示手段１８１は、必ずしも実空間に対応する画像である実空間対応画像を表示しなくともよい。実空間対応画像に代えて、座標、レンジ、距離等を示す図形Sを表示するだけでもよい。操作者は、この図形Sにより指定範囲を指定する。例えば、図１６のように図形Sを扇状にし、扇の要とマイクロホンアレイの中心とを一致させ、扇の湾曲部分の先端Pを座標、扇の広さW（例えば角度で表す）をレンジ、扇面の放射方向の長さとその位置を距離Dに対応付けて出力する構成としてもよい。図形Sを回転させたり、移動させたり、拡大、縮小、形状変形させることで指定範囲を変えることできる。さらには、図形も何もなく、ディスプレイやタッチパネル等からなる表示手段１８１だけでもよい。第一実施形態で説明した指定方法(1)〜(5)と同様の方法により、指定範囲を指定すればよい。なお、表示手段１８１の中の指定範囲が存在しうるエリアを指定範囲存在エリアという。表示手段１８１は、実空間対応画像に代えて、指定範囲存在エリアを表示するといってもよい。このような方法では、操作者は、実空間上のどの位置の音を聴いているのか詳細に把握することはできないが、実空間上を見ながら、収音された音を聴くことで大体どの辺の音が収音されているかを把握することができる。よって、このような構成であっても、利用者は従来よりも収音システムを直感的に操作できる。

さらに、表示手段１８１は、ディスプレイやタッチパネル等ではなく、実空間に対応する絵がかかれた面であり、例えば、紙面であってもよいし、ペイントが施された操作端末の筐体の一つの面であってもよい。よって、実空間対応画像は、ディスプレイやタッチパネル等にうつる像だけを意味するのではなく、紙等に描かれた絵をも意味する。この場合も、表示手段１８１は、実空間対応画像に代えて、指定範囲存在エリアを表示してもよい。実空間対応画像または指定範囲存在エリアとタッチセンサ等を組合せることで同様の効果を得ることができる。

本実施形態では、反射器１９０及びM個のマイクロホン２１１−ｍは、拡散センシングに基づく収音処理を可能としているが、他の構成であってもよい。要は、入力手段１８２の入力（座標、レンジ、距離、感度特性等）に応じて、音響信号処理手段１１０において、実空間で収音された音のうち、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とすることができればよい。ただし、本実施形態のように、少なくとも１つの反射器１９０とM個のマイクロホン２１１−ｍを含んで構成された収音手段を用い、拡散センシングに基づく収音処理を行うことで、収音手段の配置、収音手段の方向、並びに、収音手段に含まれるマイクロホン及び反射器の配置の何れも変えることなく、収音することができ、指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせることができる。

本実施形態では、実空間で収音された音は、M個のマイクロホン２１１−ｍを用いてリアルタイムで収音された音であるが、M個のマイクロホン２１１−ｍそれぞれで収音されたMチャネルの音が記憶手段に記憶されたものであってもよい。その場合、図１７のような構成が考えられる。収音システム１０は、第一実施形態の構成に加え、符号化部１２１、記憶媒体書込み部１２２、記憶媒体読取り部１２３及び復号部１２４を含む。

符号化部１２１は、ＡＤ変換部１２０が出力したディジタル信号x^→(t)＝[x₁(t),…,x_M(t)]^Tを受け取り、符号化する。なお、符号化部１２１の入力と復号部１２４の出力とが同一となる符号化（例えば、ロスレス符号化）が好ましい。ロッシー符号化でもよいが、その場合には、再生側でNチャネルの信号を再生可能なように符号化部１２１に入力されたNチャネルのディジタル信号のチャネル間の振幅差、及び、位相差と、復号部１２４から出力されたNチャネルの信号のチャネル間の振幅差、及び、位相差との差分が小さくなる方が好ましい。ただし、符号化部１２１及び復号部１２４は、記憶量を減らしたい場合等に必要に応じて設ければよく、必ずしも必要ではない。

記憶媒体書込み部１２２は、ＡＤ変換部１２０から出力されたNチャネルのデジタル信号、または、符号化部１２１から出力された符号を記憶媒体に記憶する。なお、記憶媒体は、図１７の収音システム１０の内部に備えられたもの（ハードディスク、メモリ）などでもよいし、着脱可能なもの（SDカードやCD-ROM等）で収音システムから取り出せるものであってもよい。なお、記憶媒体は、記憶されたデータを、100年等、長期保存可能であってもよい。

記憶媒体読取り部１２３は、記憶媒体から、Nチャネルのディジタル信号x^→(t)（または、Nチャネルのディジタル信号のうちのより多くの複数信号）、または、符号（または、符号のうち、復号するとN未満の複数チャネルとなる部分）を読み出す。なお、読み出される信号はNチャネルでなくてもよい。指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせるためには、2チャネル以上のディジタル信号が読み出せればよいが、処理（例えば雑音抑圧）の精度を上げるため、できるだけ多くのチャネル数であることが望ましい。音響信号処理手段１１０に入力するために読み出すため、「いつ」の信号を読み出すのかを時間指定することが望ましい。

復号部１２４は、記憶媒体から読み出される（符号化されている）信号を復号し、Nチャネルの信号を得、音響信号処理手段１１０に出力する。音響信号処理手段１１０における処理は第一実施形態と同様である。

このような構成とすることで、収音時には、どこを強調したいかということは気にせずに、N本のマイクロホンで収音した信号になるべく近い信号を音響信号処理手段の入力にできるように媒体に記憶することができる。後になって（例えば100年経って後）「あのとき」の「あの場所の音」を強調したいという情報をもとに、媒体に記憶された信号の中から、「あのとき」収音した信号に対応するファイルを読み取り、音響信号処理手段１１０で「あの場所」の音を強調するフィルタを乗算する。例えば、サッカースタジアムで試合中のフィールドの音を収音しておき、とある選手の一言で選手間の言い争いが起こった場合に、「とある選手の一言」を試合後にズームして再生することができる。また例えば、セキュリティ分野で、ある場所で異常が発生していたことが後になって判明した場合に、異常が発生した時刻、場所の音をズームして再生することができる。なおこのような利用方法は、少なくとも１つの反射器１９０とM個のマイクロホン２１１−ｍを含んで構成された収音手段を用いて、記憶手段に記憶することで可能であり、必ずしも表示手段１８１や入力部１８２を必要としない。

なお、反射器１９０、Ｍ個のマイクロホン２１１−ｍ、ＡＤ変換部１２０、符号化部１２１及び記憶媒体書込み部１２２と、記憶媒体読取り部１２３、復号部１２４、表示手段１８１、入力手段１８２及び音響信号処理手段１１０とを一つの装置内で実現してもよいし、別装置として実現してもよい。その場合であっても、全体として一つの収音システムとして機能する。

なお、本実施形態では、予めフィルタ計算部１５０において、全ての指定範囲と感度特性に対応するフィルタW^→(ω)を全て計算しておき、フィルタリング部１６０はそれ予め受け取っておく構成としたが、フィルタリング部１６０が入力手段１８２から指定範囲と感度特性を受け取った時点で、フィルタ計算部１５０において、その指定範囲と感度特性に応じたフィルタW^→(ω)のみを計算し、フィルタリング部１６０に出力する構成としてもよい。

なお、距離情報は、操作者の操作以外の方法で入力されてもよい。例えば、カメラ等のオートフォーカス機能により、対象物までの距離を取得することができる。外部から距離情報を受信してもよいし、収音システム１０がカメラ等の画像取得手段とともにオートフォーカス機能を備え、距離情報を取得してもよい。

本実施形態では、実空間で収音された音（音波）を対象としているが、電波や光波、他の帯域の電磁波を対象としてもよい。その場合、マイクロホンに代えて、受信アンテナや受光素子等を用いることができる。要は、対象とする、同じ種類の波を信号に変換可能な複数の変換部であればよい。なお、ここでいう信号とは、情報を伝達するために記号化、符号化したものであって、その媒体としては、電気、音、光、電波等が考えられる。波を信号に変換する変換技術の例として、以下の技術が挙げられる。(1)音波を電気信号に変換する技術や、(2)電磁波を電気信号に変換する技術がある。ただし、これに限るものではなく、(3)音波を光信号に変換する技術等であってもよい。(1)を実現するデバイスとしてはマイクロホンがある。(2)を実現するデバイスとしては受信アンテナがある。また、(3)を直接実現できるハードウェアがあればそれを用いてもよい。なお、変換部のことを、波を受信できるという意味から受信部と呼んでもよい。また、波源（音源）から伝わる波を入力とするという意味で波源入力部と呼んでもよい。

前述の通り、波として、電波や光波、他の帯域の電磁波を対象としてもよい。例えば、波として、電波を用いる場合、反射器１９０は、所定の方向の電波を反射する構造体である。電波の波長で扱う波長幅は0.01〜1mである（参考文献３参照）。
[参考文献３]「周波数帯ごとの主な用途と電波の特徴」、[online]、総務省、[平成26年2月28日検索]、インターネット<http://www.tele.soumu.go.jp/j/adm/freq/search/myuse/summary/>
ただし、電波の場合、特定の波長を利用することが多いため、その特定の波長に合わせて、扱う波長幅の中で最大の波長幅の半波長程度以上であることが望ましい。反射器１９０の材質は、電波を反射しやすいものが望ましい。そこで、固くて面積のある剛体を反射器１９０として用いればよい。また、例えば、鉄筋やビル等により反射器１９０を実現してもよい。

なお、本実施形態では、反射器１９０を用いているが、これは一例である。要は、波（例えば本実施形態のように音波）の進行方向を変えるもの（構造物）であれば、他の構成を用いてもよい。なお、このような構成を波の進行方向を変更するものという意味で波進行方向変更手段ともいう。例えば、波進行方向変更手段として、波がM個のマイクロホンに集まるように波の進行方向を変えるものを用いてもよい。言い換えると、波進行方向変更手段として、M個のマイクロホン２１１−ｍのSN比を高めるものを用いてもよい。そのような構成とすることで、M個のマイクロホン２１１−ｍのSN比を高め、拡散センシングに基づく収音処理をしやすくすることができる。なお、このような構成を、高SNゾーンを形成するという意味で高SNゾーン形成器ともいう。高SNゾーン形成器は、反射以外の方法で、高SNゾーンを形成してもよい。例えば、音のフレネルレンズ（参考文献４参照）等を高SNゾーン形成器として用いてもよい。
［参考文献４］「音のフレネルレンズ」、[online]、名古屋市科学館、[平成26年2月28日検索]、インターネット<http://www.ncsm.city.nagoya.jp/cgi-bin/visit/exhibition_guide/exhibit.cgi?id=S406&key=%E3%81%B5&keyword=%E3%83%95%E3%83%AC%E3%83%8D%E3%83%AB%E3%83%AC%E3%83%B3%E3%82%BA>

この場合、音のフレネルレンズの焦点が高SNゾーンに相当する。なお、高SNゾーンとは、高SNゾーン形成器によって特にSN比が高められる範囲である。例えば、高SNゾーン形成器が剛体からなる切頂8面体である場合には、切頂8面体の形成する焦点が高SNゾーンであり、高SNゾーン形成器が音のフレネルレンズの焦点が高SNゾーンに相当する。

なお、M個のマイクロホン２１１−ｍは、必ずしも高SNゾーンに配置する必要はなく、高SNゾーン付近に配置すればよい。なお、高SNゾーン付近とは、高SNゾーン形成器がない場合に比べ、ある場合に、SN比が高くなる範囲を意味している。高SNゾーン形成器をM個のマイクロホン２１１−ｍの付近に配置すればよい。別の言い方をすると、高SNゾーン形成器が形成する高SNゾーンの付近にM個のマイクロホン２１１−ｍを配置すればよい。なお、波として、電磁波を用いる場合には、それぞれ波長に対応するレンズを用いればよい。例えば、波として光波を用いる場合には通常のレンズを、波として電波を用いる場合には電波レンズを用いればよい。

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

本実施形態では、入力手段１８２は、実空間対応画像の表示範囲を、操作者の操作により変更可能とする。

そして、音響信号処理手段１１０は、指定範囲ではなく、表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。

第一実施形態とは異なり、本実施形態では、実空間対応画像全体が表示手段１８１に表示されるとは限らない。つまり、図１８に示すような実空間対応画像があったとき、実空間対応画像全体が表示手段１８１に表示されることもあるが、実空間対応画像の一部（図１８の破線で囲まれた範囲）が拡大されて表示手段１８１に表示されることもある（図１９参照）。なお、実空間対応画像自体は、第一実施形態と同様である。表示手段１８１に表示される部分が表示範囲であり、操作者は、入力手段を操作することにより、表示範囲を変更することができる。

例えば、ピンチイン／ピンチアウト、フリック、スワイプといったスマートフォン上で実空間対応画像の拡大／縮小、中心位置を操作することができ、表示範囲を変更することができる。また、表示範囲の変更方法としては、他の既存の画像に対する表示範囲の変更方法と同様の方法を用いることができる。

なお、入力手段１８２において、表示範囲に対して、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行った場合、音響信号処理手段１１０は、時間的に変更した表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。

第一実施形態同様、表示手段としてはディスプレイやタッチパネル等が、入力手段としてはタッチパネルやキーボード、マウス、カメラ等が考えられる。

表示範囲の中心に対応する座標、表示範囲に対応するレンジが音響信号処理手段１１０に出力される。なお、操作者が表示範囲の中心を常に認識できるように、図１１の照準のような図形を表示範囲の中心に常に表示してもよい。

音響信号処理手段１１０は、指定範囲に代えて、表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする。なお、どのように感度特性を異ならせてもよいが、特に、表示範囲に対応する実空間上の範囲に存在する音が、それ以外の範囲に存在する音よりも、強調されて受聴可能とすると、表示範囲に表示されている画像に対応する音が強調されるため、受聴者には、画像と音声とが連動しているように聞こえる。

なお、音響信号処理手段１１０は、表示範囲が実空間上の範囲である第１範囲に対応する場合と、表示範囲が第１範囲よりも狭い実空間上の範囲である第２範囲に対応する場合とでは、表示範囲が第１範囲に対応する場合のほうが、表示範囲が第２範囲に対応する場合よりも、実空間上の広い範囲の音が強調されて受聴可能としてもよい。このような構成により、表示範囲に表示されている画像が拡大されているほど、対応する狭い実空間上の音が強調されることになり、受聴者にとってはより、画像と音声の連動がより分かりやすくなる。

入力手段は、実空間対応画像の表示範囲を時間的に連続して拡大または縮小、移動可能とする。例えば、入力手段がタッチパネルの場合には、前述のように、ピンチイン／ピンチアウト等の操作により、実空間対応画像の表示範囲を時間的に連続して拡大または縮小することができる。また、フリック、スワイプ等の操作により、中心位置を操作することができる。また、例えば、表示手段１８１の表示範囲とは別の範囲に、表示範囲の倍率を示す目盛りを設け、マウスやキーボードを操作することにより目盛りを変更し、表示範囲を拡大、縮小してもよい。また、マウスをドラッグ＆ドロップすることにより、表示範囲を移動してもよい。要は、入力手段に対する所定の操作と、表示範囲の拡大、縮小、移動等の変更が対応付けられていればよい。

なお、本実施形態と、第一実施形態の第二変形例とを組合せてもよい。

なお、入力手段１８１は、操作者の操作により、表示範囲についての距離に対応する情報である距離情報を指定できる構成としてもよい。このとき、第一実施形態と同様に、表示範囲に対応する実空間上の範囲は、距離情報にも対応する範囲となる。例えば、表示手段１８１の表示範囲上に、または表示範囲とは別の範囲に、距離を表す目盛りと矢印等を表示し、操作者の操作により、矢印を動かすことで距離を変更することができるようにすればよい。

このような構成により、第一実施形態と同様の効果を得ることができる。
＜第三実施形態＞
第一実施形態と異なる部分を中心に説明する。

本発明は、スピーカを用いた放音システムとして扱ってもよい。

M(≧2)個のスピーカを用いて制御点Ｄで強調されるような指向制御を行うことを考える。

第三実施形態に係る放音システム３０の機能構成および処理フローを図２０と図２１に示す。この第三実施形態の放音システム３０は、Ｍ個のスピーカ３１１−ｍ、音響信号処理手段３１０、反射器３９０、表示手段３８１及び入力手段３８２を含む。ｍ＝１，２，…，Ｍであり、Ｍ≧２である。なお、周波数領域変換部３００、フィルタリング部３３０、時間領域変換部３４０、フィルタ計算部３２０、伝達特性記憶部３１０を含む。

＜表示手段３８１及び入力手段３８２＞
表示手段３８１及び入力手段３８２は、第一実施形態や第二実施形態、またはその変形例の表示手段１８１及び入力手段１８２と同様の構成とすればよい。ただし、指定範囲、または、表示範囲が、収音する範囲ではなく、放音する範囲を表す。なお、「放音」とは、スピーカから音を出力すること、または、スピーカからの出力により音を再生することを意味する。

そのため、例えば、第一実施形態で説明した指定方法(4)で指定するのは、収音特性ではなく、放音特性であり、入力手段３８１は、指定範囲に対する感度特性ではなく、放音特性を出力する。
[放音システム３０の信号処理]
信号源２００がN個の音源信号s_n(t)を出力する。ｎ＝１，２，…，Ｎであり、Ｎ≧１である。この実施形態では、信号源２００からの音源信号s_n(t)はディジタル信号であるとする。ただし、音源信号としてアナログ信号を用いる場合には、アナログ信号をディジタル信号s_n(t)へＡＤ変換するＡＤ変換部を設ければよい。例えば、信号源２００はN個のマイクロホンであってもよいし、N個の音源信号s_n(t)が記憶された記憶媒体であってもよく、音源信号を所定の音ともいう。

＜音響信号処理手段３１０＞
音響信号処理手段３１０は、所定の音を、指定範囲または表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、所定の聴者（例えば観客）に対して受聴可能とする。なお、音源信号s_n(t)毎に放音特性を異ならせてもよい。言い換えると、指定範囲に対応する実空間上の範囲から発せられる音に対する放音特性と、それ以外の範囲から発せられる音に対する放音特性とを、所定の聴者（例えば、観客）に対して受聴可能とする。また、別の言い方をすると、音響信号処理手段３１０は、指定範囲に対応する実空間上の範囲から発せられる音と、それ以外の範囲から発せられる音とに、異なる放音特性を与えて出力するといってもよい。なお、「放音特性を異ならせる」とは、例えば、特定の位置で音響信号を局所放音して他の位置で音響信号を極力放音しないようにしたり、逆に特定の位置で音響信号を放音しないようにして他の位置でのみ音響信号を放音したり、特定の位置で放音される音響信号に対してだけ特定の周波数によるフィルタリングを行うこと等を意味する。

なお、入力手段３８２において、指定範囲または表示範囲に対して、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を行った場合、音響信号処理手段３１０は、時間的に変更した指定範囲または表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて受聴可能とする。

なお、音響信号処理手段３１０は、どのように放音特性を異ならせてもよいが、特に、表示範囲に対応する実空間上の範囲から発せられる音が、それ以外の範囲から発せられる音よりも、強調されて受聴可能とすると、表示範囲に表示されている画像に対応する音が強調されるため、受聴者には、画像と音声とが連動しているように聞こえる。

なお、音響信号処理手段３１０は、表示範囲が実空間上の範囲である第１範囲に対応する場合と、表示範囲が第１範囲よりも狭い実空間上の範囲である第２範囲に対応する場合とでは、表示範囲が第１範囲に対応する場合のほうが、表示範囲が第２範囲に対応する場合よりも、実空間上の広い範囲で音が強調されて所定の聴者（例えば観客）に対して受聴可能としてもよい。このような構成により、表示範囲に表示されている画像が拡大されているほど、対応する狭い実空間上の狭い範囲で放音が強調されることになり、受聴者にとってはより、画像と音声の連動がより分かりやすくなる。

音響信号処理手段３１０内の各部の処理内容について説明する。

＜周波数領域変換部３００＞
まず、周波数領域変換部３００は、N個のディジタル信号s_n(t)を受け取り、所定数のサンプルをバッファに貯めてフレーム単位のディジタル信号s_n(τ)を出力する。次に、周波数領域変換部３００は、各フレームのディジタル信号s_n(τ)を周波数領域の信号S_n(ω,τ)に変換して（ｓ３１）出力する。

＜伝達特性記憶部３１０及びフィルタ計算部３２０＞
伝達特性記憶部３１０及びフィルタ計算部３２０の機能構成は、第一実施形態と同様である。例えば、フィルタ計算部３２０は、伝達特性記憶部３１０から、k番目の位置とM個のスピーカ間の伝達特性をa_k(ω)=[A_1,k(ω),…,A_M,k(ω)]^Tを取り出し、参考文献５記載の方法により、フィルタw_k(ω)を計算し、フィルタリング部３３０に出力する。
［参考文献５］羽田陽一、片岡章俊、「自由空間伝達関数を用いた多点制御に基づく小型スピーカアレーの実空間性能」、日本音響学会研究発表会講演論文集、2008、pp.631-632

例えば、n番目の音源信号をσ(n)番目の位置に対して強調して放音したいとする。その場合、最小分散法を用いて上記の性質を実現するための線形フィルタw_k(ω)=[W_1,k(ω),…,W_M,k(ω)]^Tを次式により計算する。

ここで、空間相関行列R(ω)は、伝達特性のみを用いて、近似計算できる。

ここで、κは、位置を表すインデックス群である。

＜フィルタリング部３３０＞
フィルタリング部３３０は、空間上の少なくとも複数の位置へ、M個のスピーカ３１１−ｍから発する音響信号の放音特性を異ならせるものであればよい。

例えば、フィルタリング部３３０は、予めフィルタ計算部３２０からフィルタw_k(ω)を受け取っておき、入力手段から座標及びレンジ（必要に応じて距離情報）を受け取り、N個の周波数領域信号S_n(ω,τ)を受け取る。予め受け取っておいたフィルタw_k(ω)の中から受け取った座標及びレンジ（必要に応じて距離情報）に応じたフィルタを選択し、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号S_n(ω,τ)に、フィルタw_k(ω)を適用して（次式参照、ｓ３２）、Mチャネルの出力信号Y_1,n(ω,τ),…,Y_M,n(ω,τ)を算出する。

最後に、次式のように、N個の音源信号に対応する出力信号を各チャネルごとに加算してまとめ、出力信号Z^→(ω,τ)＝[Z₁(ω,τ),…,Z_M(ω,τ)]を出力する。

例えば、フィルタリング部３３０はM個のスピーカ３１１−ｍによる放音信号の放音特性を、空間上の少なくとも１つの位置または方向により異ならせるものであればよい。なお、複数個の指定範囲が、入力手段１８２を介して、指定されているときには、複数個の指定範囲に対応する実空間上の範囲と、それ以外の範囲とで、放音特性を異ならせて所定の音を受聴可能とすればよい。なお、指定範囲ごとに放音特性が異なる場合（例えば、ある指定範囲は「強調」するように指定されており、別の指定範囲は「抑圧」するように指定されている場合）、指定範囲に対応する実空間上の範囲のそれぞれを、入力手段３８２で指定した放音特性で所定の聴者に対して受聴可能とすればよい。なお、予め、指定範囲、及び、感度特性に応じたフィルタをフィルタ計算部３２０で計算しておき、フィルタリング部３３０はそれを受け取り、入力手段３８２を介して、指定された座標、レンジ及び距離並びに放音特性に応じて、適宜対応するフィルタを選択すればよい。

＜時間領域変換部３４０＞
時間領域変換部３４０は、第τフレームの各周波数ω∈Ωの放音信号Z^→(ω,τ)＝[Z₁(ω,τ),…,Z_M(ω,τ)]を時間領域に変換して（ｓ３３）、第τフレームのフレーム単位時間領域信号z^→(τ)＝[z₁(τ),…,z_M(τ)]を得て、さらに、得られたフレーム単位時間領域信号z^→(τ)＝[z₁(τ),…,z_M(τ)]をフレーム番号のインデックスの順番に連結して、時間領域信号z^→(t)＝[z₁(t),…,z_M(t)]を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３１の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。

＜スピーカ３１１−ｍ及び反射器３９０＞
Mチャネルの時間領域信号z₁(t),…,z_M(t)はそれぞれ、スピーカアレイを構成するM個のスピーカ３１１のうち、チャネルに対応するスピーカで放音される（ｓ３４）。

反射器３９０は第一実施形態と同様の反射器１９０と同様の構成である。なお、反射器３９０に対するM個のスピーカ３１１−ｍの位置関係は、第一実施形態の反射成器１９０及びM個のマイクロホン２１１−ｍを、反射器３９０及びM個のスピーカ３１１−ｍにそれぞれ置き換えればよい。

＜効果＞
このような構成により、利用者は従来よりも放音システムを直感的に操作できる。例えば、タッチパネルやマウス、キーボードを操作する手の動きに応じて、簡単に指定範囲や表示範囲を拡大、縮小、移動等することができ、放音範囲を変えることができる。

＜変形例＞
本実施形態では、反射器３９０及びM個のスピーカ３１１−ｍは、拡散センシングに基づく放音処理を可能としているが、他の構成であってもよい。要は、入力手段３８２の入力（座標、レンジ、距離、感度特性等）に応じて、音響信号処理手段３１０において、実空間で放音された音のうち、指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて受聴可能とすることができればよい。ただし、本実施形態のように、少なくとも１つの反射器３９０とM個のスピーカ３１１−ｍを含んで構成された放音手段を用い、拡散センシングに基づく放音処理を行うことで、放音手段の配置、放音手段の方向、並びに、放音手段に含まれるマイクロホン及び反射器の配置の何れも変えることなく、放音することができ、指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせることができる。

なお、本実施形態では、図１７の符号化部１２１、記憶媒体書込み部１２２、記憶媒体読取り部１２３及び復号部１２４を含んでいないが同様の構成を含んでもよい。その場合、符号化部１２１、記憶媒体書込み部１２２、記憶媒体読取り部１２３及び復号部１２４は、信号源２００と周波数領域変換部３００との間に設ければよい。

また、放音システム３０は、以下のような構成としてもよい。少なくとも１つの反射器３９０とＭ個のスピーカ３１１−ｍを含んで構成された放音手段と、信号源である記憶手段と、音響信号処理手段３１０とを含む。なお、この放音手段として、拡散センシングに基づく放音処理を可能とするものを用いる。記憶手段には、Ｍ_１チャネルの音（Ｍ_１個の音源信号s_m1(t)といってもよい）が記憶されている。ただし、Ｍ_１は２以上の整数とする。

音響信号処理手段３１０は、記憶手段に記憶されたＭ_１チャネルの音のうちの、Ｍ_２チャネルの音それぞれを、実空間上の所望の範囲（図２２参照）と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする。Ｍ_２を２以上Ｍ_１以下の整数とする。つまり、図２２では、所望の範囲をＨ_１、Ｈ_２の２つとしている。

さらに、音響信号処理手段３１０は、Ｍ_２チャネルのうちのＰチャネルの音を受聴可能とする実空間上の所望の範囲と、Ｍ_２チャネルのうちのＰチャネルとは別のＱチャネルの音を受聴可能とする実空間上の所望の範囲とを異ならせる。Ｐを１以上（Ｍ_２−１）以下の整数とし、Ｑを１以上（Ｍ_２−Ｐ）以下の整数とする。例えば、記憶手段には、５チャネルの音が記憶されており（Ｍ_１＝５）、このうち、３チャネル（Ｍ_２＝３）の音がそれぞれ実空間上の所望の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする。例えば、所望の範囲で強調して放音する。このとき、所望の範囲は１つではなく、２つ以上となるようにする。そして、３チャネル（Ｍ_２＝３）のうちの１チャネルを（Ｐ＝１）を所望の範囲をＨ_１で受聴可能とし、３チャネル（Ｍ_２＝３）のうちの１チャネルのうち２チャネル（Ｑ＝２）を所望の範囲をＨ_２で受聴可能とする。このとき、Ｍ個のスピーカ３１１−ｍからは、それぞれ３チャネル分の音が混ざり合った音を放音する。所望の範囲Ｈ_１では、１チャネル分の音のみが聞こえ、所望の範囲Ｈ_２では、２チャネル分の音のみが聞こえる。具体的には、フィルタリング部で以下のような処理を行うことで、実現する。

例えば、フィルタリング部３３０は、予めフィルタ計算部３２０からフィルタw_k(ω)を受け取っておき、入力手段から座標及びレンジ（必要に応じて距離情報）を受け取り、Ｍ_１個の周波数領域信号S_m1(ω,τ)を受け取る。このうち、Ｍ₂個の周波数領域信号S_m2(ω,τ)を選択する。さらに、Ｍ₂個の周波数領域信号S_m2(ω,τ)のうち、所望の範囲Ｈ₁で放音したいＰチャネルの信号に対して、所望の範囲Ｈ_２に対応するフィルタを適用し、Ｐチャネルの出力信号を算出する。また、Ｍ₂個の周波数領域信号S_m2(ω,τ)のうち、所望の範囲Ｈ_２で放音したいＱチャネルの信号に対して、所望の範囲Ｈ_２に対応するフィルタを適用し、Ｑチャネルの出力信号を算出する。Ｐチャネル及びＱチャネルの出力信号をそれぞれチャネルｍごとに加算してまとめ、出力信号Z^→(ω,τ)＝[Z₁(ω,τ),…,Z_M(ω,τ)]を出力する。

例えば、従来技術であっても、指向性のスピーカを２つ以上用意すれば、２つ以上の所望の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とすることはできたが、所望の範囲を変更するたびに、放音手段の配置、放音手段の方向、並びに、放音手段に含まれるマイクロホン及び反射器の配置等を変える必要があった。上述の構成であれば、所望の範囲を変更しても、放音手段の配置、放音手段の方向、並びに、放音手段に含まれるマイクロホン及び反射器の配置の何れも変える必要がない。２チャネル以上の音を異なる所望範囲でそれぞれ放音することができる。

第一実施形態同様、波として、音波を用いているが、電波や光波を用いてもよいし、他の帯域の電磁波を用いてもよい。その場合、スピーカに代えて、送信アンテナや発光素子等を用いることができる。要は、対象とする信号を同種の波に変換可能な複数の変換部であればよい。

信号を波に変換する変換技術の例として、以下の技術が挙げられる。(i)電気信号を音波に変換する技術や、(ii)電気信号を電磁波に変換する技術がある。ただし、これに限るものではなく、(iii)光信号を音波に変換する技術等であってもよい。(i)を実現するデバイスとしてはスピーカがある。(ii)を実現するデバイスとしては送信アンテナがある。また、(iii)を直接実現できるハードウェアがあればそれを用いてもよい。なお、変換部のことを、波を送信できるという意味から送信部と呼んでもよい。なお、第一実施形態の変形例で説明した受信部と送信部とを合わせて送受信部と呼んでもよい。また、変換部は、波源となり、波を出力するという意味で波源出力部と呼んでもよい。なお、第一実施形態の変形例で説明した波源入力部と合わせて波源入出力部と呼んでもよい。

なお、本実施形態では、反射器３９０を用いているが、これは一例である。要は、波（例えば本実施形態のように音波）の進行方向を変えるもの（構造物）であれば、第一実施形態の場合と同様、他の構成を用いてもよい。なお、第一実施形態の場合と同様に、このような構成を波の進行方向を変更するものという意味で波進行方向変更手段ともいう。波進行方向変更手段として、第一実施形態の変形例で説明した高SNゾーン形成器を用いてもよい。高SNゾーン形成器は、M個のスピーカ３１１−ｍのSN比を高めることができ、拡散センシングに基づく放音処理をしやすくすることができる。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims

実空間に対応する画像である実空間対応画像を表示する表示手段と、
前記実空間対応画像に、操作者の操作により指定される少なくとも１つの指定範囲を指定可能とする入力手段と、
前記実空間で収音された音のうち、前記指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含む、
収音システム。
請求項１の収音システムであって、
前記実空間対応画像は、前記実空間を撮影した画像と、前記実空間に対応する鳥瞰図との少なくとも何れかである、
収音システム。
操作者の操作により指定される指定範囲の存在しうるエリアである指定範囲存在エリアを表示する表示手段と、
前記指定範囲存在エリアに、少なくとも１つの指定範囲を指定可能とする入力手段と、
実空間で収音された音のうち、前記指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段と、
を含む収音システム。
請求項１から請求項３の何れかの収音システムであって、
指定範囲を特定するための図形を指定範囲特定図形とし、前記表示手段、または、前記操作端末の画面は、指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を含むものとし、
前記入力手段は、指定範囲特定図形表示範囲に表示される指定範囲特定図形を、前記実空間対応画像、または、前記指定範囲存在エリアに追加することにより、前記指定範囲を指定可能とする、
収音システム。
請求項４の収音システムであって、
前記指定範囲特定図形表示範囲には、複数の感度特性のそれぞれに対応する複数の指定範囲特定図形が表示されており、
前記入力手段は、指定範囲特定図形表示範囲に表示される複数の指定範囲特定図形の内の何れかを、前記実空間対応画像、または、前記指定範囲存在エリアに追加することにより、前記指定範囲と感度特性とを指定可能とする、
収音システム。
請求項１から請求項５の何れかの収音システムであって、
前記入力手段は、複数個の指定範囲を指定可能とし、
前記音響信号処理手段は、前記実空間で収音された音のうち、前記複数個の指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする、
収音システム。
請求項６の収音システムであって、
前記入力手段は、前記複数個の指定範囲に対して、指定範囲ごとに感度特性を指定可能とし、
前記音響信号処理手段は、前記指定範囲に対応する実空間上の範囲に存在する音のそれぞれを、前記入力手段で指定した感度特性で受聴可能とする、
収音システム。
請求項１から請求項７の何れかの収音システムであって、
前記入力手段は、前記指定範囲を、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を可能とし、
前記音響信号処理手段は、前記実空間で収音された音のうち、時間的に変更した前記指定範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする、
収音システム。
実空間に対応する画像である実空間対応画像を表示する表示手段と、
前記実空間対応画像の表示範囲を、操作者の操作により変更可能とする入力手段と、
前記実空間で収音された音のうち、前記表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含む、
収音システム。
請求項９の収音システムであって、
前記実空間対応画像は、前記実空間を撮影した画像と、前記実空間に対応する鳥瞰図との少なくとも何れかである、
収音システム。
請求項９または請求項１０の収音システムであって、
前記音響信号処理手段は、前記表示範囲に対応する実空間上の範囲に存在する音が、それ以外の範囲に存在する音よりも、強調されて受聴可能とする、
収音システム。
請求項１１の収音システムであって、
前記音響信号処理手段は、前記表示範囲が実空間上の範囲である第１範囲に対応する場合と、前記表示範囲が前記第１範囲よりも狭い実空間上の範囲である第２範囲に対応する場合とでは、前記表示範囲が前記第１範囲に対応する場合のほうが、前記表示範囲が前記第２範囲に対応する場合よりも、実空間上の広い範囲の音が強調されて受聴可能とする、
収音システム。
請求項９から請求項１２の何れかの収音システムであって、
前記入力手段は、前記実空間対応画像の表示範囲を時間的に連続して拡大または縮小可能とし、
前記音響信号処理手段は、前記実空間で収音された音のうち、拡大または縮小した前記表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする、
収音システム。
請求項９から請求項１３の何れかの収音システムであって、
前記入力手段は、前記実空間対応画像の表示範囲を時間的に連続して移動可能とし、
前記音響信号処理手段は、前記実空間で収音された音のうち、移動した前記表示範囲に対応する実空間上の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする、
収音システム。
請求項１から請求項１４の何れかの収音システムであって、
前記入力手段は、操作者の操作により、前記指定範囲についての距離に対応する情報である距離情報を指定可能とし、
前記指定範囲に対応する実空間上の範囲は、前記距離情報にも対応する範囲である、
収音システム。
請求項１から請求項１５の何れかの収音システムであって、
前記実空間で収音された音は、前記実空間で発せられた音を収音可能なように配置された、複数のマイクロホンと少なくとも１つの波進行方向変更手段を含んで構成された収音手段で、前記収音手段の配置、前記収音手段の方向、並びに、前記収音手段に含まれるマイクロホン及び波進行方向変更手段の配置の何れも変えることなく収音されたものであり、
前記波進行方向変更手段は、音波の進行方向を変更する、
収音システム。
請求項１６の収音システムであって、
前記実空間で収音された音は、前記複数のマイクロホンそれぞれで収音された複数チャネルの音が記憶手段に記憶されたものである、
収音システム。
実空間で発せられた音を収音可能なように配置された、複数のマイクロホンと少なくとも１つの波進行方向変更手段を含んで構成された収音手段と、
前記複数のマイクロホンそれぞれで収音された複数チャネルの音を記憶する記憶手段と、
前記記憶手段に記憶された音であって、前記実空間で収音された音のうち、前記実空間上の所望の範囲に存在する音と、それ以外の範囲に存在する音とを感度特性を異ならせて受聴可能とする音響信号処理手段とを含み、
前記波進行方向変更手段は、音波の進行方向を変更する、
収音システム。
実空間に対応する画像である実空間対応画像を表示する表示手段と、
前記実空間対応画像に、操作者の操作により指定される少なくとも１つの指定範囲を指定可能とする入力手段と、
所定の音を、前記指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする音響信号処理手段とを含む、
放音システム。
請求項１９の放音システムであって、
前記実空間対応画像は、前記実空間を撮影した画像と、前記実空間に対応する鳥瞰図との少なくとも何れかである、
放音システム。
操作者の操作により指定される指定範囲の存在しうるエリアである指定範囲存在エリアを表示する表示手段と、
前記指定範囲存在エリアに、少なくとも１つの指定範囲を指定可能とする入力手段と、
所定の音を、前記指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする音響信号処理手段とを含む、
を含む放音システム。
請求項１９から請求項２１の何れかの放音システムであって、
指定範囲を特定するための図形を指定範囲特定図形とし、前記表示手段、または、前記操作端末の画面は、指定範囲特定図形を表示する範囲である指定範囲特定図形表示範囲を含むものとし、
前記入力手段は、指定範囲特定図形表示範囲に表示される指定範囲特定図形を、前記実空間対応画像、または、前記指定範囲存在エリアに追加することにより、前記指定範囲を指定可能とする、
放音システム。
請求項２２の放音システムであって、
前記指定範囲特定図形表示範囲には、複数の放音特性のそれぞれに対応する複数の指定範囲特定図形が表示されており、
前記入力手段は、指定範囲特定図形表示範囲に表示される複数の指定範囲特定図形の内の何れかを、前記実空間対応画像、または、前記指定範囲存在エリアに追加することにより、前記指定範囲と放音特性とを指定可能とする、
放音システム。
請求項１９から請求項２３の何れかの放音システムであって、
前記入力手段は、複数個の指定範囲を指定可能とし、
前記音響信号処理手段は、所定の音を、前記複数個の指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする、
放音システム。
請求項２４の放音システムであって、
前記入力手段は、前記複数個の指定範囲に対して、指定範囲ごとに放音特性を指定可能とし、
前記音響信号処理手段は、前記指定範囲に対応する実空間上の範囲に存在する音のそれぞれを、前記入力手段で指定した放音特性で受聴可能とする、
放音システム。
請求項１９から請求項２５の何れかの放音システムであって、
前記入力手段は、前記指定範囲を、時間的に連続した移動、回転、拡大、縮小、形状変更の少なくとも何れかの変更を可能とし、
前記音響信号処理手段は、所定の音を、時間的に変更した前記指定範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする、
放音システム。
実空間に対応する画像である実空間対応画像を表示する表示手段と、
前記実空間対応画像の表示範囲を、操作者の操作により変更可能とする入力手段と、
所定の音を、前記表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする前記音響信号処理手段とを含む、
放音システム。
請求項２７の放音システムであって、
前記実空間対応画像は、前記実空間を撮影した画像と、前記実空間に対応する鳥瞰図との少なくとも何れかである、
放音システム。
請求項２７または請求項２８の放音システムであって、
前記音響信号処理手段は、前記表示範囲に対応する実空間上の範囲で放音される音が、それ以外の範囲で放音される音よりも、強調されて受聴可能とする、
放音システム。
請求項２９の放音システムであって、
前記音響信号処理手段は、前記表示範囲が実空間上の範囲である第１範囲に対応する場合と、前記表示範囲が前記第１範囲よりも狭い実空間上の範囲である第２範囲に対応する場合とでは、前記表示範囲が前記第１範囲に対応する場合のほうが、前記表示範囲が前記第２範囲に対応する場合よりも、実空間上の広い範囲で音が強調されて受聴可能とする、
放音システム。
請求項２７から請求項３０の何れかの放音システムであって、
前記入力手段は、前記実空間対応画像の表示範囲を時間的に連続して拡大または縮小可能とし、
前記音響信号処理手段は、所定の音を、拡大または縮小した前記表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする、
放音システム。
請求項２７から請求項３１の何れかの放音システムであって、
前記入力手段は、前記実空間対応画像の表示範囲を時間的に連続して移動可能とし、
前記音響信号処理手段は、所定の音を、移動した前記表示範囲に対応する実空間上の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする前記音響信号処理手段とを含む、
放音システム。
請求項１９から請求項３２の何れかの放音システムであって、
前記入力手段は、操作者の操作により、前記指定範囲についての距離に対応する情報である距離情報を指定可能とし、
前記指定範囲に対応する実空間上の範囲は、前記距離情報にも対応する範囲である、
放音システム。
請求項１９から請求項３３の何れかの放音システムであって、
前記所定の音は、前記実空間に音を放音可能なように配置された、複数のスピーカと少なくとも１つの波進行方向変更手段を含んで構成された放音手段で、前記放音手段の配置、前記放音手段の方向、並びに、前記放音手段に含まれるスピーカ及び波進行方向変更手段の配置の何れも変えることなく放音されるものであり、
前記波進行方向変更手段は、音波の進行方向を変更する、
放音システム。
請求項３４の放音システムであって、
前記所定の音は、記憶手段に記憶されたものである、
放音システム。
実空間に音を放音可能なように配置された、複数のスピーカと少なくとも１つの波進行方向変更手段を含んで構成された放音手段と、
Ｍ_１を２以上の整数とし、Ｍ_１チャネルの音を記憶する記憶手段と、
Ｍ_２を２以上Ｍ_１以下の整数とし、前記記憶手段に記憶されたＭ_１チャネルの音のうちの、Ｍ_２チャネルの音それぞれを、前記実空間上の所望の範囲と、それ以外の範囲とで放音特性を異ならせて、受聴可能とする音響信号処理手段とを含み、
前記波進行方向変更手段は、音波の進行方向を変更し、
Ｐを１以上（Ｍ_２−１）以下の整数とし、Ｑを１以上（Ｍ_２−Ｐ）以下の整数とし、前記音響信号処理手段は、前記Ｍ_２チャネルのうちのＰチャネルの音を受聴可能とする前記実空間上の所望の範囲と、前記Ｍ_２チャネルのうちの前記Ｐチャネルとは別のＱチャネルの音を受聴可能とする前記実空間上の所望の範囲とを異ならせる、
放音システム。