JP2017204756A - 音信号出力装置、プログラム、および音信号処理システム - Google Patents

Abstract

【課題】ユーザが直感的にわかりやすい操作で複数の音信号出力装置の中から所望の音信号出力装置を選択できるようにする。
【解決手段】 音信号出力装置１００が、光により第１ＩＤを（Ｓ１）、出力する音信号に重畳して第２ＩＤを送信する（Ｓ２）。端末装置２００は、ユーザの操作に従い、音信号出力装置１００の動画を撮影して表示し（Ｓ３）、その動画中の、ユーザが指定した注目位置にある光から、上記第１ＩＤを取得する（Ｓ４）。音信号処理装置３００は、複数の音信号出力装置から送信される音信号を入力し、その各音信号に含まれる第２ＩＤを取得して、音信号と対応付けて保持する。端末装置２００は、上記取得した第１ＩＤを音信号処理装置３００へ送信する（Ｓ５）。音信号処理装置３００は、送信された第１ＩＤと対応する第２ＩＤを含む音信号に関して所定の処理を行って（Ｓ６）、所定の出力先へ出力する（Ｓ７）。
【選択図】 図１

Description

この発明は、音信号出力装置、プログラム、および音信号処理システムに関する。特に、音信号出力装置が出力するＩＤを利用して、ユーザが直感的にわかりやすい操作で複数の音信号出力装置の中から所望の音信号出力装置を選択できるようにする音信号処理システムを実現するために有用な技術に関する。

従来から、オーケストラやバンドなど、複数の楽器が同時に演奏をしている環境で、楽器毎、パート毎等にマイクを用意し、複数のマイクで集音した音を、適宜にバランスや特性を調整しつつミキシングすることにより、録音や放送に適した音信号を生成することが行われている。また、ミキシング結果の音信号をスピーカから出力することにより、所望の特性の音を観客に聞かせることも行われている。これらの場合におけるマイクは、演奏音を集音して音信号として出力する音信号出力装置であり、ミキシングを行うミキサは、音信号処理装置である。

また、これとは別に、従来から、音を媒体に利用してデータ通信を行う技術（以下「音響通信」という）が知られている。また、可視光を媒体に利用してデータ通信を行う技術（以下「光通信」という）も知られている。
音響通信の技術については例えば特許文献１乃至３に、光通信の技術については例えば特許文献４乃至８に記載されている。

特開２０１２−２２２４６３号公報 特開２０１１−９７２４２号公報 特開２０１０−８１２４８号公報 特開２００４−８０７１９号公報 特開２００８−２３６２３９号公報 特開２０１４−１２７７４２号公報 特開２０１３−２１３７３９号公報 特開２０１２−４７３３号公報

ところで、従来は、複数の楽器が同時に演奏をしている環境で、個別の音源（楽器等）を高品質に分離しつつ直感的に選択する簡便な方法がなかった。例えば、上述のように楽器毎やパート毎等に楽器に近接した位置にマイクを設けたり、あるいは楽器にピックアップを設けたりすれば、個別の音源を比較的高品質に分離して集音することができる。しかし、それらのうち所望のマイクを直感的に選択してそのマイクで集音した音のみを聴く、といったことは難しかった。
また、アレイマイクの技術を用いれば、アレイを構成する各マイクの指向性に基づき、おおよその集音範囲を直感的に選択することはできるが、音源を高品質に分離することは困難であった。また、装置が大がかりになるという問題もあった。
このような選択の問題は、マイク以外の音信号出力装置を音源に応じて設けたり、または音信号出力装置自体が音源である場合であっても、同様に生じるものである。

この発明は、このような事情に鑑みてなされたものであり、ユーザが直感的にわかりやすい操作で複数の音信号出力装置の中から所望の音信号出力装置を選択できるようにすることを目的とする。また、このような選択が可能な音信号処理システムを構成する音信号処理装置及び端末装置を実現することを目的とする。

上記の目的を達成するため、この発明の音信号出力装置は、発光手段の発光を、第１ＩＤの値に従って制御することにより上記第１ＩＤを送信する第１送信手段と、音信号を取得する取得手段と、上記音信号に、第２ＩＤの値を重畳して上記第２ＩＤを送信する第２送信手段とを設けたものである。

このような音信号出力装置において、その音信号出力装置の起動時に、上記第１ＩＤと上記第２ＩＤとの対応関係を示す情報を上記音信号に重畳して送信する対応情報送信手段を設けるとよい。
さらに、ユーザの操作を検出する検出手段を設け、上記対応情報送信手段が、上記検出手段が所定の操作を検出したことに応じて、上記第１ＩＤと上記第２ＩＤとの対応関係を示す情報を送信するようにするとよい。
あるいは、上記第１ＩＤと上記第２ＩＤとが同じであるとよい。

また、この発明のプログラムは、コンピュータに、動画像を取得する動画像取得手順と、ユーザから、上記動画像中の位置の指定を受け付ける第１受付手順と、上記動画像中のその指定された位置における発光のパターンを復号して第１ＩＤを取得するＩＤ取得手順と、その取得した第１ＩＤを所定の音信号処理装置へ送信するＩＤ送信手順とを実行させるためのプログラムである。

このようなプログラムにおいて、上記コンピュータに、ユーザから、上記音信号処理装置に実行させる処理の指定を受け付ける第２受付手順を実行させるためのプログラムをさらに含め、上記ＩＤ送信手順を、上記音信号処理装置へ、上記第１ＩＤと対応する音信号に関して上記指定された処理を実行する指示を送信する手順とするとよい。
さらに、上記コンピュータに、上記音信号処理装置が備える出力部の一つを指定し、上記音信号処理装置に対して、上記ＩＤ送信手順で送信する第１ＩＤに従って処理した音信号を、その指定した出力部から出力することを指示する出力先指示手順を実行させるためのプログラムをさらに含めるとよい。

また、この発明の音信号処理システムは、動画像を取得する動画像取得手段と、ユーザから、上記動画像中の位置の指定を受け付ける第１受付手段と、上記動画像中のその指定された位置における発光のパターンを復号して第１ＩＤを取得する第１ＩＤ取得手段と、複数チャンネルの音信号を取得する音信号取得手段と、その取得した各音信号を復調して各音信号の第２ＩＤを取得する第２ＩＤ取得手段と、上記第１ＩＤと上記第２ＩＤとの対応関係を示す情報を、所定の取得先から取得する対応情報取得手段と、上記音信号取得手段が取得した各音信号のうち、上記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して所定の処理を行って、その処理後の各音信号を所定の出力先へ出力する音信号処理手段とを設けたものである。

このような音信号処理システムにおいて、ユーザから、上記音信号処理手段に実行させる処理の指定を受け付ける第２受付手段を設け、上記音信号処理手段が、上記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して、上記指定された処理を行うようにするとよい。
さらに、上記音信号処理手段を複数設け、上記動画像取得手段と、上記第１受付手段と、上記第１ＩＤ取得手段とを複数組設け、その各組と対応して、上記音信号処理手段の一つを指定する出力先指定手段を設け、上記複数の音信号処理手段のうちその指定された音信号処理手段が、上記音信号取得手段が取得した各音信号のうち、その指定と対応する組に属する上記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して所定の処理を行って、その処理後の各音信号を所定の出力先へ出力するようにするとよい。

また、この発明の別の音信号処理システムは、発光手段の発光を、第１ＩＤの値に従って制御することにより上記第１ＩＤを送信する第１送信手段と、音信号を取得する取得手段と、上記音信号に、第２ＩＤの値を重畳して上記第２ＩＤを送信する第２送信手段とを備える音信号出力装置を複数備え、動画像を取得する動画像取得手段と、ユーザから、上記動画像中の位置の指定を受け付ける第１受付手段と、上記動画像中のその指定された位置における発光のパターンを復号して上記第１ＩＤを取得する第１ＩＤ取得手段と、上記各音信号出力装置が出力する音信号を取得する音信号取得手段と、その取得した各音信号を復調して各音信号の第２ＩＤを取得する第２ＩＤ取得手段と、上記第１ＩＤと上記第２ＩＤとの対応関係を示す情報を、所定の取得先から取得する対応情報取得手段と、上記音信号取得手段が取得した各音信号のうち、上記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して所定の処理を行って、その処理後の各音信号を所定の出力先へ出力する音信号処理手段とを備えるものである。
また、この発明は、上記した具体的な態様の他、システム、方法、装置、プログラム、記録媒体等、任意の態様で実施することができる。

以上のようなこの発明の構成によれば、ユーザが直感的にわかりやすい操作で複数の音信号出力装置の中から所望の音信号出力装置を選択することができる。また、このような選択が可能な音信号処理システムを構成する音信号処理装置及び端末装置を実現することができる。

この発明の第１実施形態である音信号処理システムの構成及び動作の概略を示す図である。 図１の音信号処理システムにおいて、端末装置と発音装置とがそれぞれ複数ある場合のシステムの構成及び動作の概略を示す図である。 図１に示した音信号出力装置のハードウェア構成を示す図である。 図１に示した端末装置のハードウェア構成を示す図である。 図１に示した音信号処理装置のハードウェア構成を示す図である。 図１に示した各装置が備える機能の構成を示す図である。 処理選択画面の表示例を示す図である。 出力先選択画面の表示例を示す図である。 図６に示す音信号処理装置の変調信号デコード部、ミキシング部及び音信号出力部のより詳細な機能構成を示す図である。 図６に示した各部を介した、音信号出力装置から発音装置までの信号伝送経路の概略を示す図である。 入力信号管理テーブルの例を示す図である。 出力先管理テーブルの例を示す図である。 音信号処理装置のＣＰＵが実行する、入力信号管理テーブルにおける第２ＩＤ管理の処理のフローチャートである。 端末装置のＣＰＵが実行する、音信号処理装置に対する信号処理の指示のための処理のフローチャートである。 音信号処理装置のＣＰＵが実行する、ミキシング制御処理のフローチャートである。 この発明の第２実施形態である音信号処理システムを構成する各装置の構成及び機能を示す、図６と対応する図である。 この発明の第３実施形態である音信号処理システムを構成する各装置の構成及び機能を示す、図６と対応する図である。 この発明の第４実施形態である音信号処理システムを構成する各装置の構成及び機能を示す、図１７と対応する図である。 この発明の第１変形例における音信号処理システムを構成する各装置の構成及び機能を示す、図６と対応する図である。 ＩＤ管理テーブルの例を示す図である。 この発明の第２変形例の音信号処理システムにおける音信号出力装置の機能構成を示す図である。 図２１に示す音信号出力装置の変調信号生成部の動作を示すフローチャートである。 この発明の第２変形例の音信号処理装置のＣＰＵが実行する、入力信号管理テーブル及びＩＤ管理テーブルの更新処理のフローチャートである。 音信号出力装置の、図３と異なるハードウェア構成の一例を示す図である。 音信号出力装置の、図３と異なるハードウェア構成の別の一例を示す図である。

以下、この発明を実施するための形態を図面に基づいて具体的に説明する。
〔第１実施形態：図１乃至図１５〕
まず、この発明の音信号処理システムの第１実施形態について説明する。
図１に、その音信号処理システムの構成及び動作の概略を示す。
図１に示すように、この発明の音信号処理システムは、複数の音信号出力装置１００と、端末装置２００と、音信号処理装置３００と、発音装置４００とを備える。端末装置２００と発音装置４００とは、図２を用いて後述するように、複数あってもよい。

これらのうち音信号出力装置１００は、この発明の音信号出力装置の実施形態であり、音信号を取得して、音信号処理装置３００に対してその音信号を出力する装置である。音信号の取得は、任意の方法で行うことができる。例えば、集音部により周囲から集音する、ユーザの演奏操作や予め保存された演奏データに従って音源部により生成する、予め録音されていた音信号を再生する、等が考えられるが、これには限られない。

この実施形態では、音信号出力装置１００を、集音部により集音した音の音信号を出力する装置、すなわちマイク装置として構成した例について説明する。そして、各音信号出力装置１００は、楽器、ボーカリスト等の音源の近傍に、その音源が発する音の集音に適するように配置される。
なお、音信号の出力は、有線、無線を問わず、アナログ、デジタルを問わず、また、１対１か、ネットワーク経由かを問わず、音信号処理装置３００が音信号を取得可能な任意の方式で行うことができる。

また、音信号出力装置１００は、以上の他、２種類のＩＤをそれぞれ異なる方法で外部へ送信する機能を備える。まず、音信号出力装置１００は、第１ＩＤを、光信号により送信する。この送信は、ＬＥＤ（発光ダイオード）等の発光部の発光を、送信すべき情報に従って制御して、光通信により行う（Ｓ１）。光通信の方式は、特許文献４乃至８に記載の方式など、適宜公知のものを採用すればよい。また、発光部は、音信号出力装置１００の外部にあってもよい。
また、音信号出力装置１００は、第２ＩＤを変調し、音信号処理装置３００へ出力する音信号に重畳して送信する。この送信は、音響通信により行う（Ｓ２）。音響通信の方式も、特許文献１乃至３に記載の方式など、適宜公知のものを採用すればよい。

これらの第１ＩＤ及び第２ＩＤはそれぞれ、少なくとも１つの音信号処理システムを構成する複数の音信号出力装置１００の間では重複しないユニークなＩＤとする。装置に固有のＩＤでも、ユーザが任意に設定できてもよい。第１ＩＤは固有だが第２ＩＤは設定可能でも、その逆でもよい。あるいは、第１ＩＤ又は第２ＩＤのいずれか又は両方について、グローバルユニークなＩＤがメーカーにより予め設定されていてもよい。

なお、１つの音信号出力装置１００が持つ第１ＩＤと第２ＩＤは、同じ値でも、異なった値でもよい。いずれの場合も、何らかの手段により、音信号処理システムを構成する（すなわち音信号処理装置３００へ音信号を出力する）各音信号出力装置１００が持つ第１ＩＤと第２ＩＤとの対応関係を示す情報を、音信号処理装置３００が参照できるようにする。この対応関係を示す情報は、「第１ＩＤと第２ＩＤとは常に同じ値である」という情報であってもよい。この実施形態では、第１ＩＤと第２ＩＤとは常に同じ値であるとする。この場合、ＩＤの設定の自由度は低くなるが、第１ＩＤと第２ＩＤとの対応関係を個別に管理する必要がないというメリットがある。

次に、端末装置２００は、ユーザ５００が操作する情報処理装置であり、例えばタブレット型コンピュータやスマートフォン等の、撮影部を備える携帯型コンピュータに所要のプログラムを実行させることにより、その機能を実現できる。しかし、端末装置２００をここで説明する機能に特化した専用の装置として構成してもよい。
端末装置２００は、まず、カメラ等の撮影部により動画像を撮影すると共に、その画像をディスプレイ等の表示部を用いてリアルタイムでユーザ５００に表示する機能を備える（Ｓ３）。あるいは、一旦記録した動画を再生して表示することも考えられる。

ユーザ５００は、音信号処理システムの機能により音信号出力装置１００を選択したい場合、その音信号出力装置１００（の発光部）の方へ端末装置２００の撮影部を向け、その音信号出力装置１００の動画を撮影する。そして、その動画中で、選択したい音信号出力装置１００の発光部付近を、注目位置として選択する（Ｓ４）。このとき、選択した音信号出力装置１００に関して音信号処理装置３００に実行させる処理や、その処理結果を反映した音信号を出力させたい出力先等を予め選択できるようにすることが考えられるが、この点については後述する。

端末装置２００は、ユーザ５００が注目位置を選択すると、その注目位置付近の動画を解析して、光通信のための光信号を検索する。そして、光信号を発見できた場合、これをデコードして、音信号出力装置１００が送信した第１ＩＤを取得する。端末装置２００は、この第１ＩＤを音信号処理装置３００へ送信する（Ｓ５）。このとき、音信号処理装置３００に実行させる処理や出力先が選択されていれば、それらの情報も合わせて送信する。

音信号処理装置３００は、複数の音信号出力装置１００からそれぞれ供給される音信号をミキシングして、発音装置４００をはじめとする出力先に対して出力する機能を備える（Ｓ７）。また、音信号処理装置３００は、端末装置２００から送信される第１ＩＤに基づき、上記ミキシングの処理を制御する機能を備える。
より具体的には、音信号処理装置３００は、各音信号出力装置１００から供給される音信号を復調してデコードし、音響通信によりその音信号に重畳されて送信された第２ＩＤを取得し、その音信号と対応付けて記憶する。そして、音信号処理装置３００は、端末装置２００から第１ＩＤが送信されると、出力先へ出力する音信号のミキシングについて、その第１ＩＤと対応する第２ＩＤ（ここでは第１ＩＤと同じ第２ＩＤ）を持つ音信号に関し、予め定められた処理（あるいは端末装置２００から処理の指定があればその処理）を行う（Ｓ６）。

なお、考えられる出力先が１つのみであれば、出力先の指定は不要であるが、複数ある場合には、どの出力先へ出力する音信号について上記の処理を行うのかを、何らかの手段で指定することが望ましい。端末装置２００により指定されていればその指定に従えばよいし、音信号処理装置３００側に予め指定がなされていてもよい。音信号処理装置３００が、発音装置４００が接続されている端子等を自動で検出して、その端子等と対応する出力先を指定してもよい。ユーザ５００が端末装置２００に対して出力先の指定を行う場合、発音装置４００が接続されている音信号処理装置３００側の端子の番号や、無線通信のチャンネルや通信方式、発音装置４００の機器ＩＤ等を用いてこの指定を行うことが考えられる。

ここで行う処理は例えば、特に指示がなければ全ての音信号出力装置１００から供給される音信号をミキシングして出力するところ、送信した第１ＩＤと対応する第２ＩＤを持つ音信号のみを出力し、他の音信号の出力をオフにする、といったものが考えられる。これは、ユーザが選択した音信号出力装置１００が出力する音のみ、あるいはその音を強調して、出力する処理である。この処理は、特定の音源の音のみ聴きたい場合に有用である。

あるいは、他の音信号のレベルを下げてミキシングすることも考えられる。逆に、当該第２ＩＤを持つ音信号のみ出力をオフにしたり、レベルを下げてミキシングしたりすることも考えられる。これは、ユーザが選択した音信号出力装置１００が出力する音を除いて、あるいはその音を弱くして出力する処理である。この処理は、他のパートの音に合わせて特定のパートの演奏等を練習するような場合に有用である。ボーカル音をオフにすれば、バックの演奏の音をカラオケに利用することもできる。
その他、音信号処理装置３００が実行する処理には、上記の処理の組合せや、その他種々のものが考えられるが、他の例については変形例で説明する。

また発音装置４００は、ユーザ５００が音を聴くための、スピーカ、ヘッドホン、イヤホン等の装置であり、音信号処理装置３００から供給される音信号に基づき音を発する機能を備える（Ｓ８）。この発音装置４００は、従来からある装置を適宜に採用すればよい。

以上の音信号処理システムによれば、ユーザ５００は、音信号出力装置１００の配置を眺めつつ、選択したい音信号出力装置１００を端末装置２００により撮影してその動画中で音信号出力装置１００を選択するという、視覚情報に基づく直感的な操作で所望の音信号出力装置１００を選択することができる。また、ユーザ５００は、各音信号出力装置１００が集音した音を発音装置４００により聴く場合に、選択した音信号出力装置１００が集音した音のみ聴く、またはその音のみ除いて聴くといった操作も、直感的にわかりやすく行うことができる。

このような選択は、音信号出力装置１００が、光と音という２つの手段により、音信号処理装置３００が対応関係を把握可能な２つのＩＤを出力することにより可能となっている。端末装置２００は、ユーザによる動画中での位置指定に応じて、動画中の光に基づきユーザが選択したい音信号出力装置の第１ＩＤを容易に把握可能であり、音信号処理装置３００に対し、その第１ＩＤを用いて、ユーザにより指定された位置にある音信号処理装置が出力する音に関する種々の処理を指示可能である。

音信号処理装置３００は、処理対象の音により出力された第２ＩＤを、発音装置４００へ出力する音信号を生成するためのミキシング処理に加えてデコード処理を行うのみで取得可能である。そして、端末装置２００からの指示に従い、対応関係に基づき第１ＩＤと対応する第２ＩＤを特定して、端末装置２００により指定された音信号に関する処理を実行可能である。

次に、図２に、図１に示した音信号処理システムにおいて、端末装置２００と発音装置４００とがそれぞれ複数ある場合のシステムの構成及び動作の概略を示す。
図２に示すケースは、複数のユーザが、それぞれ所望の音信号出力装置１００及び処理内容を選択して、その選択に従った処理がなされた音を聴きたい場合に利用することが考えられる。この場合、同じ環境で複数の発音装置４００が音を出力するため、各発音装置４００は、ヘッドホンなど、特定のユーザ５００のみが音を聞けるような装置であることが望ましい。

図２の構成の場合、各ユーザ５００は、それぞれ自身が持つ端末装置２００で音信号出力装置１００を撮影しつつ、図１の場合と同様に、動画中の注目位置として音信号出力装置１００の指定を行う。また、自身が使用する発音装置４００に対する音信号の出力に用いられている、音信号処理装置３００側の出力先を、端末装置２００に対して予め指定しておく。そして、各端末装置２００は、ユーザ５００の指示に応じて個別に、音信号処理装置３００に対し、第１ＩＤを送信し、処理方法及び出力先を指定する。

また、音信号処理装置３００は、指定可能な各出力先毎と対応付けられるミキシング部（ミキシングバス）を備えており、各音信号出力装置１００から供給される音信号を各ミキシング部へどのように出力するか（例えば出力オンオフやレベル調整）を、音信号とミキシング部の組合せ毎に制御する機能を備える（図９参照）。
そして、音信号処理装置３００は、端末装置２００から第１ＩＤが送信されると、その時指定された出力先へ出力する音信号をミキシングするミキシング部への、各音信号の出力について、図１の場合と同様なオンオフやレベル調整の制御を行う。この制御は、他の出力先へ出力する音信号のミキシングに対しては、影響を与えない。
この場合における、１つの出力先と対応するミキシング部及び、該ミキシング部への音信号の出力調整を行う箇所が、該出力先と対応する１つの音信号処理手段と捉えることができる。従って、図２における音信号処理装置３００は、音信号処理手段を複数備えると考えることができる。

以上の制御の結果、端末装置２００を操作するユーザ５００が使用する発音装置４００に対し、ユーザ５００が指示した処理がなされた音信号が出力されることになる。音信号処理装置３００が使用可能な出力先の数や音信号処理装置３００の処理能力が十分であれば、端末装置２００や発音装置４００の台数に制約はない。
このように、この実施形態の音信号処理システムにおいて端末装置２００及び発音装置４００を複数用いると、例えば、コンサートホールにおいて、各聴衆が必要に応じてヘッドホンを装着して、演奏中の楽曲の中から所望のパートのみ選んで聴く、あるいは所望のパートのみ除外して聴く、といった、多様な視聴形態が可能となる。

次に、以上説明してきたこの実施形態の音信号処理システムを構成する各装置のハードウェア構成及び機能構成について、より詳細に説明する。なお、以上説明した音信号出力装置１００の選択及び音信号処理装置３００におけるミキシング処理の制御に関連する構成を中心に説明し、その他の構成についての説明は省略するか簡単にする。
まず図３に、音信号出力装置１００のハードウェア構成を示す。図３に示すのは、音信号出力装置１００をマイク装置として構成した例である。
図３に示す音信号出力装置１００は、制御回路１０１、ＲＯＭ１０２、スイッチ１０３、集音部１０４、信号処理回路１０５、出力インタフェース（Ｉ／Ｆ）１０６、発光素子１０７を備え、これらが信号線１０８により接続されている。

これらのうち制御回路１０１は、音信号出力装置１００全体の制御を司る機能を備える。
ＲＯＭ１０２は、音信号出力装置１００の第１ＩＤ及び第２ＩＤをはじめ、音信号出力装置１００が使用する設定情報を記憶する記憶手段である。
スイッチ１０３は、電源オンオフやリセットなど、ユーザからの操作を受け付けるための簡易な操作部である。
集音部１０４は、周囲の音を検出してその音に応じた音信号を生成する機能を備える。

信号処理回路１０５は、集音部１０４が生成した音信号に対し、その特性を調整する信号処理を行う機能を備える。この信号処理には、音響通信のための変調信号の重畳も含まれる。
出力Ｉ／Ｆ１０６は、信号処理回路１０５による処理後の音信号を音信号処理装置３００等の外部装置へ出力する機能を備える。この出力は、上述のように任意の方式で行うことができる。

発光素子１０７は、ＬＥＤ等の発光部を備え、光通信のための発光を行う機能を備える。情報送信のための発光素子１０７の発光制御は、制御回路１０１が行う。
信号線１０８は、以上の各部の間を必要に応じて接続する信号線である。図では模式的にバス様の記載ぶりにしているが、必ずしも各部全てが相互に接続されていなくてもよい。

次に図４に端末装置２００のハードウェア構成を示す。
図４に示す端末装置２００は、ＣＰＵ２０１、フラッシュメモリ２０２、ＲＡＭ２０３、撮影部２０４、表示器２０５、操作子２０６、通信Ｉ／Ｆ２０７を備え、これらがシステムバス２０８によって接続されている。
これらのうちＣＰＵ２０１は、端末装置２００全体の動作を制御する制御手段であり、フラッシュメモリ２０２に記憶された所要のプログラムを実行して所要のハードウェアを制御することにより、図６を用いて説明するものをはじめとする種々の機能を実現する。

フラッシュメモリ２０２は、ＣＰＵ２０１が実行する制御プログラム等を記憶する書き換え可能な不揮発性記憶手段である。
ＲＡＭ２０３は、一時的に記憶すべきデータを記憶したり、ＣＰＵ２０１のワークメモリとして使用したりする記憶手段である。

撮影部２０４は、ＣＰＵ２０１からの制御に従い動画を撮影してその動画データを出力する、カメラ等による撮影手段である。
表示器２０５は、ＣＰＵ２０１からの制御に従い、撮影部２０４が撮影した動画、ユーザから端末装置２００に対する操作を受け付けるためのＧＵＩ（グラフィカルユーザインタフェース）、ユーザに対する通知のメッセージ等を表示するための、液晶ディスプレイ等の表示手段である。

操作子２０６は、ユーザからの操作を受け付けるための操作手段であり、ディスプレイに積層されたタッチパネルに加え、キーやスイッチ等により構成される。
通信Ｉ／Ｆ２０７は、音信号処理装置３００等の外部装置と通信するためのインタフェースである。通信は、無線通信であることが望ましいが、有線通信も妨げられない。また、ピアツーピア、ネットワークを問わず、音信号処理装置３００が対応している任意の通信方式を採用可能である。

次に図５に音信号処理装置３００のハードウェア構成を示す。
図５に示す音信号処理装置３００は、ＣＰＵ３０１、フラッシュメモリ３０２、ＲＡＭ３０３、表示器３０４、操作子３０５、音信号入出力部３０６、信号処理部（ＤＳＰ）３０７、通信Ｉ／Ｆ３０８を備え、これらがシステムバス３０９によって接続されている。

これらのうちＣＰＵ３０１、フラッシュメモリ３０２及びＲＡＭ３０３、表示器３０４、操作子３０５、通信Ｉ／Ｆ３０８は、端末装置２００が備える同名の構成と同趣旨である。ただし、性能、形状、数等が一致している必要はない。
なお、音信号処理装置３００を、図１の音信号処理システムを構成する装置としての機能を持つように構成する場合、ユーザから音信号処理装置３００に対する直接の操作としては、さほど複雑なものを受け付ける必要がないため、操作子３０５は簡素なものでよいし、無くても良い。また、端末装置２００等の外部装置から、図１を用いて説明した信号処理の指示の他、後述するパッチの設定など、必要な設定操作も受け付けるようにしてもよい。

音信号入出力部３０６は、ＤＳＰ３０７で処理すべき音信号の入力を受け付け、また処理後の音信号を出力するためのインタフェースである。図１の音信号処理システムを構成する場合、音信号の入力は、音信号出力装置１００から受け付け、音信号の出力は、発音装置４００に対して行う。また、音信号入出力部３０６は、入力する音信号を復調して、音響通信によりその音信号に重畳して送信されたデータを取得する機能も備える。
ＤＳＰ３０７は、信号処理回路を含み、音信号入出力部３０６から入力する音信号に対し、各種処理パラメータに従って、ミキシング、レベル調整等の各種信号処理を施して音信号入出力部３０６に出力する信号処理手段である。その信号処理の構成は、図９を用いてより詳細に説明する。

次に、図６に、音信号出力装置１００、端末装置２００、および音信号処理装置３００が備える機能の構成を示す。図６には、端末装置２００が１台のみである例を示しているが、複数台ある場合でも、各装置は、図６に示す機能については全て同様なものを備える。ただし、細かな処理手順やユーザインタフェースまで一致している必要はない。また、図６に示す各機能は、専用のハードウェアにより実現されても、図３乃至図５に示した制御回路やＣＰＵが所要のプログラムを実行することにより所要のハードウェアの動作を制御して実現されても、それらの組合せであってもよい。

まず、音信号出力装置１００は、第１ＩＤ記憶部１２１、第２ＩＤ記憶部１２２、発光制御部１２３、発光部１２４、変調信号生成部１２５、音信号取得部１２６、音信号重畳部１２７、および音信号出力部１２８の機能を備える。
これらのうち第１ＩＤ記憶部１２１及び第２ＩＤ記憶部１２２はそれぞれ、音信号出力装置１００の第１ＩＤ及び第２ＩＤを記憶する機能を備える。この実施形態では第１ＩＤと第２ＩＤとは同じ値であるから、どちらか一方のみ記憶していても構わない。

発光制御部１２３は、第１ＩＤ記憶部１２１に記憶されている第１ＩＤの値に従って発光部１２４の発光を制御することにより、光通信によって第１ＩＤの値を送信する第１送信手段の機能を備える。
発光部１２４は、図３の発光素子１０７と対応し、発光制御部１２３の制御に従って光を出力する機能を備える。

変調信号生成部１２５は、第２ＩＤ記憶部１２２に記憶されている第２ＩＤの値を音響通信により送信するための、該値に従った変調信号を生成する機能を備える。
音信号取得部１２６は、音信号処理装置３００等の外部装置へ出力すべき音信号を取得する取得手段の機能を備える。この取得は、例えば、音信号出力装置１００が図３の構成であれば、集音部１０４が生成した音信号に対して信号処理回路１０５により必要な加工を施して行うことができる。他の取得方法の例については変形例で説明する。

音信号重畳部１２７は、音信号取得部１２６が取得した音信号に、変調信号生成部１２５が生成した変調信号を重畳することにより、音響通信により第２ＩＤを送信する第２送信手段の機能を備える。
音信号出力部１２８は、音信号重畳部１２７による重畳後の音信号を外部装置へ出力する機能を備える。

また、端末装置２００は、動画像取得部２２１、動画像表示部２２２、位置指定受付部２２３、光情報デコード部２２４、処理方法受付部２２５、出力先受付部２２６、およびミキシング指示部２２７を備える。
これらのうち動画像取得部２２１は、周囲の動画像を撮影してその動画データを取得する動画像取得手段の機能を備える。この撮影の動作が、動画像取得手順の動作である。なお、ユーザが音信号出力装置１００を選択するためには、選択したい音信号出力装置１００の発光部１２４（から発せられる光信号）を含む動画像を撮影する必要があるが、常にこのような動画像を撮影している必要はない。また、全ての音信号出力装置１００の発光部１２４を含む動画像を撮影する必要もない。

動画像表示部２２２は、動画像取得部２２１が取得した動画データに基づき表示器２０５により動画を表示する機能を備える。動画像取得部２２１が取得する各時点の画像をリアルタイムで表示するとよいが、このことは必須ではない。
位置指定受付部２２３は、動画像表示部２２２が表示する動画像中で注目する注目位置（選択したい音信号出力装置１００の発光部１２４付近の位置）の指定を受け付ける第１受付手段の機能を備える。この指定は、動画を表示するディスプレイに対するタッチ操作や、マウス等のポインティングデバイスを用いた指示により受け付けることが考えられる。この指定の受け付けの動作が、第１受付手順の動作である。

光情報デコード部２２４は、動画像取得部２２１が取得した動画データのうち、位置指定受付部２２３が受け付けた注目位置近傍の明度や色等の推移を分析し、光通信による情報送信を行っている発光部１２４の画像を探索する機能を備える。また、発光部１２４の画像を発見した場合、その発光のパターンを取得してデコード（復号）することにより、光通信により送信された第１ＩＤの値を取得する機能も備える。この取得の動作が、ＩＤ取得手順の動作である。

処理方法受付部２２５は、ユーザが選択した音信号出力装置が出力する音信号に関して音信号処理装置３００に実行させる処理の種類の指定を受け付ける第２受付手段の機能を備える。この指定は例えば、表示器２０５にポップアップ表示させる図７に示す処理選択画面５１０により受け付けることができる。この処理選択画面５１０には指定可能な処理の選択肢が表示され、ユーザが指定した処理の箇所にカーソル５１１が表示される。処理の選択肢については、図１を用いて説明した通りである。この受け付けの動作は、第２受付手順の動作である。

出力先受付部２２６は、音信号処理装置３００からどの出力先へ出力する音信号について、端末装置２００からの指示に従った処理を実行させるかの指定を受け付ける機能を備える。この指定は例えば、表示器２０５にポップアップ表示させる図８に示す出力先選択画面５２０により受け付けることができる。この出力先選択画面５２０には指定可能な出力先の選択肢が表示され、ユーザが指定した出力先の箇所にカーソル５２１が表示される。出力先の選択肢については、図８の例では音信号処理装置３００が備える出力端子あるいはネットワーク経由の伝送チャンネルとしているが、これに限られないことは、図１の説明で述べた通りである。

ミキシング指示部２２７は、光情報デコード部２２４がユーザの指定に従って第１ＩＤを取得した場合に、その第１ＩＤと、処理方法受付部２２５が受け付けた処理の指定と、出力先受付部２２６が受け付けた出力先との指定を音信号処理装置３００へ送信し、それらに従った音信号処理の実行を指示する機能を備える。この送信及び指示の動作は、ＩＤ送信手順の動作である。また、出力先の指定を送信する動作は、出力先指示手順の動作であり、出力先指定手段の機能に係る動作である。

なお、ユーザによる注目位置の指定があった場合に速やかにこの指示を行えるよう、ミキシング指示部２２７は、位置指定受付部２２３が動作を開始した時点で、速やかに端末装置２００と音信号処理装置３００との間の通信経路を確立させておくとよい。なお、通信相手とする音信号処理装置３００は、予め端末装置２００に登録しておいても、端末装置２００と通信可能な装置の中からユーザに選択させるようにしてもよい。

次に、音信号処理装置３００は、変調信号デコード部３２１、ミキシング部３２２、ミキシング指示受付部３２３、ＩＤ対応情報管理部３２４、ミキシング制御部３２５、および音信号出力部３２６を備える。
これらのうち変調信号デコード部３２１は、各音信号出力装置１００から送信される音信号を取得する音信号取得手段の機能と、取得した各音信号を復調して、音響通信による情報送信のために重畳された変調信号を取り出し、これをデコードして、音響通信により送信された第２ＩＤの値を取得する第２ＩＤ取得手段の機能も備える。

ミキシング部３２２は、変調信号デコード部３２１が取得した各音信号に対し、ミキシング制御部３２５による制御に従ったミキシング処理や特性調整処理を実行し、音信号出力部３２６を介して外部へ出力する音信号を生成する音信号処理手段の機能を備える。ミキシング部３２２は、音信号出力部３２６が複数の出力先を備える場合には、その各出力先毎に、その出力先へ出力する音信号を生成する。

ミキシング指示受付部３２３は、端末装置２００のミキシング指示部２２７が送信する、音信号処理に関する指示を受け付ける機能を備える。
ＩＤ対応情報管理部３２４は、少なくとも音信号処理装置３００へ音信号を供給している各音信号出力装置１００について、第１ＩＤと第２ＩＤとの対応関係を把握してその情報をミキシング制御部３２５へ提供する機能を備える。この実施形態では、第１ＩＤと第２ＩＤとは常に同じ値であるので、単にその旨の情報をミキシング制御部３２５へ提供すればよい。この情報自体は、システムの仕様としてメーカーが予め設定しておいても、ユーザが任意に変更できるものであってもよい。

ミキシング制御部３２５は、ＩＤ対応情報管理部３２４から第１ＩＤと第２ＩＤとの対応関係の情報を取得する対応情報取得手段の機能と、その情報に基づき、ミキシング指示受付部３２３が受け付けた指示に従った信号処理をミキシング部３２２に実行させるべく、ミキシング部３２２が信号処理に用いるパラメータの値を適宜に設定して、ミキシング部３２２が実行する信号処理を制御する機能を備える。

音信号出力部３２６は、ミキシング部３２２が生成した音信号を、所定の出力先へ出力する機能を備える。ここでいう出力先としては、音信号処理装置３００が備える出力端子、ネットワークを介して音信号を出力するための伝送チャンネル、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信用のインタフェース等が考えられる。この出力先へ出力された音信号は、その出力先に接続された外部装置へ供給される。出力先に発音装置４００が接続されていれば、発音装置４００は、音信号出力部３２６から出力される音信号に従い発音することができる。

次に、図９に、図６に示した音信号処理装置３００の機能構成のうち、変調信号デコード部３２１、ミキシング部３２２及び音信号出力部３２６の構成をより詳細に示す。
図６に示すように、変調信号デコード部３２１は、複数（ここではｎ１個）の入力ポート３３０−１〜ｎ１（以後、個体を特定する必要がない場合、「−」の後ろの数字を省略した符号を用いる。他の構成要素についても同様とする。）を備える。また、各入力ポート３３０に対応して、復調部３３１、デコード部３３２及びＩＤ抽出部３３３を備える。

入力ポート３３０は、音信号出力装置１００等の外部装置から音信号を取得するために音信号処理装置３００に設けられた入力手段である、入力端子、ネットワークを介して音信号を入力するための伝送チャンネル、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信用のインタフェース等と対応して設けられたものである。そして、対応する外部装置から対応する入力手段へ供給される音信号を取得する音信号取得手段の機能を備える。また、入力ポート３３０は、取得した音信号がアナログ信号であれば、ミキシング部３２２における処理に供するためデジタル信号に変換する機能を備える。

また、復調部３３１は、対応する入力ポート３３０が取得した音信号に対し復調処理を行って、音響通信のために重畳されている変調信号があればこれを取り出す機能を備える。デコード部３３２は、復調部３３１が取り出した変調信号をデコードして、音響通信により送信されたデータを取得する機能を備える。ＩＤ抽出部３３３は、デコード部３３２から取り出したデータから、第２ＩＤの値を取得して、ミキシング制御部３２５へ通知する機能を備える。ミキシング制御部３２５は、通知された第２ＩＤの値を、後述するように図１１の入力信号管理テーブルに反映させる。

また、ミキシング部３２２は、入力パッチ３４０、入力チャンネル（ｃｈ）３５０、センドスイッチ３５１、センドフェーダ３５２、ミキシングバス３６０、出力ｃｈ３７０、出力パッチ３８０を備える。
このうち入力パッチ３４０は、複数（ここではｎ２個）の各入力ｃｈ３５０−１〜ｎ２に対して、それぞれ最大１つの入力ポート３３０を対応付け、該入力ポート３３０が取得した音信号を、対応する入力ｃｈ３５０へ供給する機能を備える。入力パッチ３４０により入力ｃｈ３５０と対応付けられなかった入力ポート３３０が取得した音信号は、音信号出力部３２６からの出力には全く反映されないことになる。
なお、入力ｃｈ３５０の数は、同時に入力する音信号の最大数に合わせて定めればよい。また、入力ポート３３０と入力ｃｈ３５０とを１対１対応で設けるのであれば、入力パッチ３４０は不要である。

入力ｃｈ３５０は、入力する音信号に対して、レベル調整、周波数特性調整、オンオフ制御等の種々の信号処理を行う機能を備える。ただし、音信号処理装置３００を単に聴きたい音信号を選択するだけの用途に用いるのであれば、入力ｃｈ３５０は、単に音信号を通過させるだけの機能とするなど、簡素な構成でもよい。
センドスイッチ３５１及びセンドフェーダ３５２は、各入力ｃｈ３５０における処理後の音信号を、１以上（ここではｎ３ライン）設けられた各ミキシングバス３６０−１〜ｎ３に対して供給する経路上に設けられる。そして、センドスイッチ３５１は信号出力のオンオフを、センドフェーダ３５２は信号のレベルを、それぞれ出力先のミキシングバス３６０の系統毎に調整する機能を備える。

ミキシングバス３６０は、各入力ｃｈ３５０から供給される音信号をミキシングして、ミキシング後の音信号を、対応する出力ｃｈ３７０へ供給する機能を備える。なお、ミキシングバス３６０と出力ｃｈ３７０は１対１対応であり、その数は、音信号処理装置３００が同時に音信号を出力する出力先の最大数に合わせて定めればよい。１つの出力先へ音信号を出力できればよいのであれば、ｎ３＝１でも構わない。
なお、図９の構成において、１系統のミキシングバス３６０と、各入力ｃｈ３５０からその当該１系統のミキシングバス３６０に対して音信号を供給する経路上のセンドスイッチ３５１及びセンドフェーダ３５２とが、１つの出力先と対応する音信号処理手段に該当する。従って、音信号処理装置３００は、音信号処理手段をｎ３個備えることになる。

出力ｃｈ３７０は、入力ｃｈ３５０と同様、入力する音信号に対して、レベル調整、周波数特性調整、オンオフ制御等の種々の信号処理を行う機能を備える。簡素な構成としてもよいことも、入力ｃｈ３５０と同様である。
出力パッチ３８０は、複数（ここではｎ４個）の各出力ポート３９０−１〜ｎ４に対して、それぞれ最大１つの出力ｃｈ３７０を対応付け、該出力ｃｈ３７０における処理後の音信号を、対応する出力ポート３９０へ供給する機能を備える。なお、出力ｃｈ３７０と出力ポート３９０とを１対１対応で設けるのであれば、出力パッチ３８０は不要である。

出力ポート３９０は、音信号出力部３２６と対応し、発音装置４００等の外部装置へ音信号を出力するために音信号処理装置３００に設けられた出力手段である、出力端子、ネットワークを介して音信号を出力するための伝送チャンネル、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信用のインタフェース等と対応して設けられたものである。そして、出力パッチ３８０により対応付けられた出力ｃｈ３７０から供給される音信号を、対応する出力手段を介して、そこに接続された外部装置へ出力する機能を備える。

なお、出力パッチ３８０により出力ｃｈ３７０と対応付けられなかった出力ポート３９０は、音信号の出力には使用されないことになる。従って、発音装置４００へ音信号を出力するためには、その発音装置４００が接続された出力ポート３９０に、いずれかの出力ｃｈ３７０を対応付ける必要がある。

ここで、図１０に、以上の各部を介した、音信号出力装置１００から発音装置４００までの信号伝送経路の概略を示す。
図１０に示すように音信号出力装置１００から出力され入力ポート３３０が取得した音信号は、入力ｃｈ３５０、ミキシングバス３６０、出力ｃｈ３７０、出力ポート３９０を順に経由して発音装置４００へ出力される。
ここで、特定の発音装置４００に対して出力する音についてのみ、各音信号出力装置１００から出力される音信号のバランスを制御し、指定された音信号出力装置１００から出力される音を除いたり、指定された音信号出力装置１００から出力される音のみを出力したりする処理は、出力先が複数ある場合には、入力ｃｈ３５０からミキシングバス３６０への伝送経路上で、センドスイッチ３５１及びセンドフェーダ３５２により行うことになる。

入力ｃｈ３５０で行う信号処理を変更してしまうと、他の出力先への出力にも影響を与えてしまうし、出力ｃｈ３７０での信号処理を変更したのでは、特定の音信号出力装置１００由来の音信号のみを狙った処理ができないためである。
またセンドスイッチ３５１及びセンドフェーダ３５２は、入力ｃｈ３５０とミキシングバス３６０の組合せ毎に設けられているため、上記処理に際しては、その組合せを特定して、センドスイッチ３５１及びセンドフェーダ３５２の動作を規定するパラメータ（オンオフ及びゲイン値）を設定する必要がある。

このうち入力ｃｈ３５０については、各入力ポート３３０に入力する音信号の第２ＩＤがわかっているため、この情報と、入力パッチ３４０に設定されている、入力ポート３３０と入力ｃｈ３５０との対応関係とを用いて特定できる。すなわち、端末装置２００からの処理の指示に係る第１ＩＤと対応する第２ＩＤを持つ音信号（あるいはそれ以外の音信号）が入力する入力ポート３３０と対応付けられた入力ｃｈ３５０を探せばよい。

また、ミキシングバス３６０については、端末装置２００からの処理の指示に係る出力先の指定と、出力パッチ３８０に設定されている、出力ｃｈ３７０と出力ポート３９０との対応関係とを用いて特定できる。すなわち、指定された出力先と対応する出力ポート３９０と対応付けられた出力ｃｈ３７０と対応するミキシングバス３６０を探せばよい。
以上により特定した組合せと対応するセンドスイッチ３５１及びセンドフェーダ３５２を、実行すべき処理の内容に従って制御することにより、ミキシング制御部３２５は、端末装置２００からの指示に従った信号処理を実行することができる。

なお、出力先が１つのみである場合には、他の出力先への出力に与える影響を考えることなく、入力ｃｈ３５０も利用した特性調整を行ってよい。従って、出力先が複数ある場合に比べ、多彩な処理が可能となる。例えば、指定された音信号出力装置１００から出力される音のみ、周波数特性を調整して高音や低音を強調する等の処理も可能である。
このような処理は、入力ｃｈ３５０とミキシングバス３６０の組合せ毎に必要な信号処理部を設ければ、出力先が複数ある場合でも可能ではあるが、このような構成は、多大な信号処理リソースを必要とし、高コスト化につながる。

音信号処理装置３００のミキシング制御部３２５は、以上の考え方に基づき、端末装置２００からの指示に従った信号処理のためにパラメータを調整すべき箇所（センドスイッチ３５１やセンドフェーダ３５２など）を特定するため、図１１に示す入力信号管理テーブルと、図１２に示す出力先管理テーブルとを記憶し、管理する。

図１１の入力信号管理テーブルは、各入力ポート３３０と対応付けて、その入力ポート３３０に入力する音信号が持つ第２ＩＤと、その入力ポート３３０と対応付けられた入力ｃｈ３５０とを記憶するテーブルである。入力ｃｈ３５０の情報は、入力パッチ３４０の設定内容に基づき登録することができる。第２ＩＤの情報は、各ＩＤ抽出部３３３から通知される情報に基づき、図１３の処理により登録することができる。
図中「−」は、入力する音信号あるいは対応付けられた入力ｃｈ３５０がないことを示す。なお、入力信号管理テーブルにおいては、第２ＩＤと入力ｃｈ３５０との対応関係が参照できれば足りる。また、１つの入力ポート３３０が複数の入力ｃｈ３５０と対応付けられる場合もあり、このときは「入力ｃｈ」の項にその複数の入力ｃｈ３５０を全て登録すればよい。

図１２の出力先管理テーブルは、各出力ポート３９０と対応付けて、その出力ポート３９０と対応付けられた出力ｃｈ３７０を記憶するテーブルである。出力ｃｈ３７０が特定されれば、対応するミキシングバス３６０も同時に特定されることになる。出力ｃｈ３７０の情報は、出力パッチ３８０の設定内容に基づき登録することができる。図中「−」は、対応付けられた出力ｃｈ３７０がないことを示す。

次に、以上説明してきた各機能を実現するために各装置が実行するいくつかの処理について説明する。ここで説明するのは、各装置が実行する処理のうち、特に追加の説明が必要と思われる、ある程度複雑な処理である。
まず図１３に、音信号処理装置３００のＣＰＵ３０１が実行する、図１１の入力信号管理テーブルにおける第２ＩＤの管理の処理を示す。この処理は、ミキシング制御部３２５が備える機能と対応するものである。

ＣＰＵ３０１は、定期的に図１３の処理を開始し、音信号処理装置３００が備える各入力ポート３３０を順次対象として、ステップＳ２１乃至Ｓ２４の処理を実行する。
すなわち、ＣＰＵ３０１はまず、前回の図１３の処理後に、対象ポートについてＩＤ抽出部３３３から第２ＩＤの通知があったか否か判断する（Ｓ２１）。なお、音信号出力装置１００からの音信号が継続的にある入力ポート３３０に入力される場合において、ＩＤ抽出部３３３からの第２ＩＤの通知間隔（音信号出力装置１００が第２ＩＤを送信する間隔）は、図１３の処理の実行間隔よりも十分に短いとする。

ステップＳ２１でＮｏの場合、ＣＰＵ３０１は、音信号出力装置１００がもはや対象の入力ポート３３０へ音信号を供給していないと判断し、対象ポートについての第２ＩＤの登録を、入力信号管理テーブルから削除する（Ｓ２２）。初めから登録されていなければ、テーブルを変更する必要はない。
また、ステップＳ２１でＹｅｓの場合、ＣＰＵ３０１は、通知された第２ＩＤが、現在の登録内容と一致するか否か判断する（Ｓ２３）。ここでＮｏであれば、ＣＰＵ３０１は、これまでと異なる音信号出力装置１００が対象の入力ポート３３０へ音信号を供給していると判断し、対象ポートについて、今回通知された第２ＩＤを入力信号管理テーブルへ登録する（Ｓ２４）。

ステップＳ２３でＹｅｓの場合は、ＣＰＵ３０１、入力ポート３３０へ音信号を供給する音信号出力装置１００に変化はないと判断し、入力信号管理テーブルを変更しない。そして、ＣＰＵ３０１は、ステップＳ２３でＹｅｓの場合、あるいは、ステップＳ２２又はＳ２４の後、１つの対象ポートに係る処理を終了し、次の対象ポートに係る処理に移る。
以上の処理により、音信号処理装置３００は、各入力ポート３３０から入力する音信号に含まれる第２ＩＤを、入力信号管理テーブルに登録することができる。

次に図１４に、端末装置２００のＣＰＵ２０１が実行する、音信号処理装置３００に対する信号処理の指示のための処理を示す。この処理は、光情報デコード部２２４及びミキシング指示部２２７が備える機能と対応するものである。
ＣＰＵ２０１は、位置指定受付部２２３がユーザから注目位置の指定操作を受け付けると、図１４に示す処理を開始する。この処理において、ＣＰＵ２０１はまず、動画像表示部２２２にて表示中の動画のうち、指定された注目位置の近傍のデータを分析し、明度や色等の推移に基づき、光通信に用いる光信号を探索する（Ｓ３１）。そして、光信号を発見した場合（Ｓ３２のＹｅｓ）、ＣＰＵ２０１は、発見した光信号の発光パターンをデコードして、音信号出力装置１００が送信している第１ＩＤを取得する（Ｓ３３）。

このデコードが成功した場合（Ｓ３４のＹｅｓ）、ＣＰＵ２０１は、デコードにより取得した第１ＩＤと、処理方法受付部２２５が指定を受け付けた処理方法と、出力先受付部２２６が指定を受け付けた出力先とを音信号処理装置３００へ送信し、それらの情報に従った信号処理の実行を指示する（Ｓ３５）。その後、音信号処理装置３００からの応答を待ち、処理成功を示すＯＫか処理失敗を示すＮＧかに応じて、その結果をユーザに通知し（Ｓ３６〜Ｓ３８）、処理を終了する。

また、ステップＳ３２又はＳ３４でＮｏの場合には、第１ＩＤを取得できないため、指定された注目位置に選択可能な音源（音信号出力装置１００）がない旨をユーザに通知して（Ｓ３９）、処理を終了する。
以上の処理により、端末装置２００は、ユーザが画像中で音信号出力装置１００を指定したことに応じて、音信号処理装置３００に対し、その音信号出力装置１００が出力する音信号に関する信号処理を指示することができる。

次に、図１５に、音信号処理装置３００のＣＰＵ３０１が実行する、図１４のステップＳ３５で送信される指示に応じたミキシング制御処理を示す。この処理は、ミキシング制御部３２５が備える機能と対応するものである。
ＣＰＵ３０１は、ミキシング指示受付部３２３が、端末装置２００からの信号処理の指示を受け付けると、図１５に示す処理を開始する。この処理において、ＣＰＵ３０１はまず、受け付けた指示において指定された第１ＩＤと対応する第２ＩＤを特定する（Ｓ５１）。ここでは、第１ＩＤの値をそのまま第２ＩＤの値として特定すればよい。

次に、ＣＰＵ３０１は、図１１の入力信号管理テーブルを参照し、ステップＳ５１で特定した第２ＩＤを持つ音信号が入力する入力ｃｈＸを特定する（Ｓ５２）。さらに、ＣＰＵ３０１は、図１２の出力先管理テーブルを参照し、受け付けた指示において指定された出力先と接続されるミキシングバスＹを特定する（Ｓ５３）。

そして、これらの双方が特定できると（Ｓ５４のＹｅｓ）、ＣＰＵ３０１は、指定された音信号を処理するｃｈが入力ｃｈＸであるとして、各入力ｃｈからミキシングバスＹへの信号出力のオンオフ及びゲインを、受け付けた指示において指定された処理方法に従って設定する（Ｓ５５）。ここで「指定された音信号以外全て」について何らかの処理を行うべき場合、指定された音信号以外の何らかの音信号が入力する入力ｃｈ３５０を全て特定して、その各入力ｃｈ３５０に対して個別に設定を行ってもよいが、入力ｃｈＸ以外の全ての入力ｃｈ３５０について、ミキシングバスＹへの信号出力のオンオフ及びゲインを一律に設定してしまってもよい。音信号が入力されていない入力ｃｈ３５０の設定を変更しても、出力先への出力に影響を与えることがないためである。

その後、ステップＳ５５での設定が全て成功すると（Ｓ５６のＹｅｓ）、ＣＰＵ３０１は、指示に従った設定が成功した旨を指示元の端末装置２００に通知して（Ｓ５７）、処理を終了する。ステップＳ５４又はＳ５６でＮｏの場合、指示に従った設定が失敗した旨を同様に通知して（Ｓ５８）、処理を終了する。ステップＳ５４でＮｏであるのは、ユーザが選択した音信号出力装置１００が出力した音信号がいずれの入力ｃｈ３５０にも入力されていない場合、ユーザが選択した出力先へ出力する音信号を生成するミキシングバス３６０がない（該当の出力ポート３９０と対応付けられた出力ｃｈ３７０がない）場合、等である。
以上の処理により、音信号処理装置３００は、可能な範囲で、端末装置２００からの指示に従った信号処理を実行し、その結果の音信号を発音装置４００へ出力することができる。

〔第２実施形態：図１６〕
次に、この発明の音信号処理システムの第２実施形態について説明する。
この第２実施形態のシステムも、基本的な動作は第１実施形態のシステムと同様であり、端末装置２００及び発音装置４００が、音信号出力装置１００及び音信号処理装置３００と離れた位置にあり、これらの装置が通信装置７０２，７０３を介して通信を行う点が第１実施形態の場合と異なる。そこで、このことに応じた第１実施形態との相違点についてのみ説明し、第１実施形態と共通する部分については説明を省略する。
また、図面において、既に説明した実施形態のシステムと共通の又は対応する箇所には同じ符号を用いる。この点は、以下の実施形態についても同様である。

図１６に、第２実施形態の音信号処理システムを構成する各装置の構成及び機能を示す。この図は、図６と対応するものである。
図１６に示すように、第２実施形態の音信号処理システムは、音信号出力装置１００、端末装置２００、音信号処理装置３００及び発音装置４００に加え、撮影装置７０１、通信装置７０２，７０３、および表示装置７０４を備える。

これらのうち、音信号出力装置１００、端末装置２００、音信号処理装置３００及び発音装置４００の機能は、基本的には第１実施形態の場合と共通である。ただし、通信装置７０２側の環境にある音信号出力装置１００及び音信号処理装置３００が、通信装置７０３側の環境にある端末装置２００及び発音装置４００と通信する場合に、通信装置７０２，７０３を介した通信を行う点は異なる。しかし、第１実施形態の場合も、各装置が間に他の装置を介さずに通信を行うことは必須ではないので、通信装置７０２，７０３を介して通信を行うとしても、このことによりこれら各装置の動作を特段変更する必要はない。ただし、音信号出力部３２６から発音装置４００への音信号の伝送を、通信装置７０２，７０３を介して行うことに伴い、デジタルで行う必要がある点は第１実施形態と異なる。

なお、通信装置７０２，７０３は、双方向のデータ通信が可能な装置であり、動画データ、音データ（デジタルの音信号）、端末装置２００から音信号処理装置３００への指示データ及びその応答等、種々のデータを送受信可能な装置である。使用する通信方式は任意であり、インターネットを介して遠隔地間で通信を行うものであってよい。

この第２実施形態における第１実施形態との大きな違いは、端末装置２００が音信号出力装置１００を直接撮影できないため、音信号出力装置１００を配置した演奏空間Ｐ（実際に「演奏」が行われることは必須ではない）の動画を撮影するための撮影装置７０１を別途設けている。そして、撮影装置７０１は、撮影で得た動画データを、通信装置７０２，７０３を介して、端末装置２００の近傍に配置した、ディスプレイ等の表示装置７０４へ送信し、表示装置７０４がその動画データに基づき動画を表示する。ユーザは、端末装置２００を用いて音信号出力装置１００を直接撮影することに代えて、表示装置７０４に表示された動画中の音信号出力装置１００を撮影する。この場合であっても、第１実施形態の場合と同様、撮影で得られた動画中から、光通信によって送信された第１ＩＤを取得することができる。

従って、第２実施形態の音信号処理システムによれば、ユーザが音信号出力装置１００から離れた位置にいる場合でも、第１実施形態の場合と同様に、視覚情報に基づく直感的な操作で所望の音信号出力装置１００を選択することができる。選択した音信号出力装置１００が集音した音のみ聴く、またはその音のみ除いて聴くといった操作も、同様に直感的にわかりやすく行うことができる。

なお、撮影装置７０１は、全ての音信号出力装置１００を同時に撮影する必要はなく、撮影範囲を随時移動させつつ、各音信号出力装置１００を随時フレームに収めるものであってもよい。
なお、表示装置７０４は、ネットワークに接続されたＰＣ等のコンピュータのディスプレイでもよい。また、表示装置７０４を介さず、端末装置２００が撮影装置７０１から動画データを受信して表示することもできる。この場合、動画像取得部２２１は、撮影によってではなく、動画データの受信によって動画像を取得する。この場合でも、注目位置の指定受け付け以降の処理は、第１実施形態の場合と同様に行うことができる。

〔第３実施形態：図１７〕
次に、この発明の音信号処理システムの第３実施形態について説明する。
この第３実施形態のシステムも、基本的な動作は第１実施形態のシステムと同様であり、音信号出力装置１００が、端末装置２００、音信号処理装置３００及び発音装置４００と離れた位置にあり、端末装置２００、音信号処理装置３００及び発音装置４００が、送信装置７１２及び受信装置７１３を介して音信号出力装置１００等から送信されるデータに基づき動作する点が第１実施形態の場合と異なる。そこで、このことに応じた第１実施形態との相違点についてのみ説明し、第１実施形態と共通する部分については説明を省略する。

図１７に、第３実施形態の音信号処理システムを構成する各装置の構成及び機能を示す。この図は、図６と対応するものである。
図１７に示すように、第３実施形態の音信号処理システムは、音信号出力装置１００、端末装置２００、音信号処理装置３００及び発音装置４００に加え、撮影装置７０１、表示装置７０４、送信装置７１２及び受信装置７１３を備える。

音信号出力装置１００、端末装置２００、音信号処理装置３００及び発音装置４００の機能は、第３実施形態においても、基本的には第１実施形態の場合と共通である。撮影装置７０１及び表示装置７０４の機能及び趣旨は、第２実施形態の場合と同様である。
送信装置７１２と受信装置７１３については、第３実施形態では音信号出力装置１００側からその他の装置側への一方向のデータ送信でよいが、第２実施形態の場合と同様な、双方向通信が可能な装置を用いてもよい。ただし、各音信号出力装置１００から音信号処理装置３００へ送信する音信号を、全てリアルタイムで伝送することが求められるため、比較的伝送帯域の広い通信路が必要となる。

そこで、一方向通信でよいことに鑑み、ネットワーク通信ではなく放送により、例えば、高解像度の画像と共に２２．１ｃｈの音信号を伝送できる、スーパーハイビジョンの放送により、音信号出力装置１００から各装置へのデータ伝送を行うことも考えられる。この場合、送信装置７１２は放送設備、受信装置７１３はアンテナやデコーダ等の受信設備である。そして、受信した動画像を表示装置７０４に表示させ、音信号は音信号処理装置３００へ入力すればよい。

このような第３実施形態の音信号処理システムによれば、ユーザが音信号出力装置１００から離れた位置にいる場合でも、第２実施形態の場合と同様に、視覚情報に基づく直感的な操作で所望の音信号出力装置１００を選択することができる。選択した音信号出力装置１００が集音した音のみ聴く、またはその音のみ除いて聴くといった操作も、同様に直感的にわかりやすく行うことができる。

また、放送により動画と音信号を伝送する場合、多数のユーザが自宅に音信号処理装置３００を配置すると共に端末装置２００を操作して、放送で提供される音声の中から、ユーザ毎に異なる所望の音声を取り出して聴けるようにすることができる。
表示装置７０４としてコンピュータのディスプレイや端末装置２００自体を用いてよいことは、第２実施形態の場合と同様である。

〔第４実施形態：図１８〕
次に、この発明の音信号処理システムの第４実施形態について説明する。
この第４実施形態のシステムは、第３実施形態と概ね共通であり、端末装置２００、音信号処理装置３００、発音装置４００及び表示装置７０４を、これらの機能を合わせ持つディスプレイ装置８００に置き換えた点が異なるのみである。そこで、このことに応じた第３実施形態との相違点についてのみ説明し、第３実施形態と共通する部分については説明を省略する。

図１８に、第４実施形態の音信号処理システムを構成する各装置の構成及び機能を示す。この図は、図１７と対応するものである。
図１８に示すように、第４実施形態の音信号処理システムは、音信号出力装置１００、撮影装置７０１、送信装置７１２、受信装置７１３、およびディスプレイ装置８００を備える。これらの装置のうち、ディスプレイ装置８００以外は第３実施形態と共通である。

また、ディスプレイ装置８００は、例えばスーパーハイビジョン放送を受信して表示できるテレビ受像器として構成することができる。このうちＵＩ部８１０は、端末装置２００と対応する機能を備える。ただし、音信号の出力先は、ディスプレイ装置８００が備えるスピーカ８３０のみであるので、出力先受付部２２６に該当する機能は不要であり、設けていない。また、動画像表示部２２２の機能は、放送される映像を表示する機能により実現される。

音信号処理部８２０は、音信号処理装置３００と対応する機能を備える。こちらについては、音信号出力部３２６の出力先がスピーカ８３０に固定されている点以外は、音信号処理装置３００の機能と同様である。
ただし、ヘッドホン端子や、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により、外部のヘッドホン等へも音信号を出力できるようにしてもよい。
このような第４実施形態の構成でも、第３実施形態の場合と同様な効果が得られる。

〔変形例〕
以上で実施形態の説明を終了し、次に、各実施形態の変形例について説明する。以下に説明する変形例は、基本的に第１実施形態に適用した例について説明するが、特に断らない限り、上述した全ての実施形態に同じように適用可能であるし、相互に矛盾しない限り他の変形例と組み合わせて適用することも可能である。

〔第１変形例：図１９、図２０〕
図１９に、第１変形例における音信号処理システムを構成する各装置の構成及び機能を示す。この図は、図６と対応するものである。
この第１変形例は、音信号出力装置１００が出力する第１ＩＤと第２ＩＤとが同じ値ではなく、それらの対応関係を、音信号処理装置３００のＩＤ対応情報管理部３２４が、ＩＤ管理サーバ６００から取得するものである。

このＩＤ管理サーバ６００は、音信号出力装置１００のメーカーが設け、自社で生産した全ての音信号出力装置１００について、第１ＩＤと第２ＩＤの対応関係を示す情報を記憶して、インターネットを介したアクセスに応じてその情報を提供するためのものである。
第１ＩＤと第２ＩＤとが異なる値であっても、ＩＤ対応情報管理部３２４が、ＩＤ管理サーバ６００からそれらの対応関係を示す情報をダウンロードして保持しておけば、音信号処理装置３００は、指定された第１ＩＤと対応する第２ＩＤを持つ音信号を、問題なく特定することができる。

なお、第１ＩＤと第２ＩＤとの対応関係は、図２０に示すようなＩＤ管理テーブルに登録しておけばよい。また、ＩＤ管理サーバ６００から全ての音信号出力装置１００に関する対応関係を取得すると、データ量が膨大になる。そこで、まだ対応関係をＩＤ管理テーブルに登録していない第２ＩＤを検出した場合に、その第２ＩＤと対応する第１ＩＤを、ＩＤ管理サーバ６００に問い合わせて取得し、ＩＤ管理テーブルに登録するようにしてもよい。

〔第２変形例：図２１乃至図２３〕
次に説明する第２変形例は、音信号出力装置１００に、自身の第１ＩＤと第２ＩＤとの対応関係を音信号処理装置３００（音信号の出力先）に通知する機能を設ける例である。
図２１に、第２変形例における音信号出力装置１００の機能構成を示す。
図２１に示す音信号出力装置１００は、通知タイミング検出部１３１が追加された点と、変調信号生成部１３２の機能が変更された点が、図６の例と異なる。

より具体的には、通知タイミング検出部１３１は、第１ＩＤと第２ＩＤとの対応関係の通知を行うタイミングを検出し、これを変調信号生成部１３２に通知する機能を備える。このタイミングは、例えば音信号出力装置１００の電源投入時やリセット時等の起動時、ユーザによる通知指示用ボタンの操作など、特定の操作を検出した時、等とするとよい。これらの条件を用いれば、通知のタイミングを簡単な処理で検出でき、かつ、必要な場合に確実性よく通知を行うことができる。

また、図２２に、変調信号生成部１３２の動作のフローチャートを示す。この動作は、ソフトウェアを用いて行う必要はなく、専用回路の動作であってもよい。
変調信号生成部１３２は、音信号出力装置１００の起動時に図２２の動作を開始し、第２ＩＤの通知を行うタイミングか否か判断する（Ｓ７１）。この通知タイミングは、所定周期で発生させるとよい。ステップＳ７１でＹｅｓであれば、変調信号生成部１３２は、第２ＩＤ記憶部１２２に記憶されている第２ＩＤを変調して変調信号を生成し、音信号に重畳して出力すべく、これを音信号重畳部１２７へ出力する（Ｓ７２）。

また、ステップＳ７１でＮＯの場合、通知タイミング検出部１３１からの通知に基づき、ＩＤの対応関係の通知を行うタイミングか否か判断する（Ｓ７３）。これがＹｅｓであれば、変調信号生成部１３２は、第１ＩＤ記憶部１２１に記憶されている第１ＩＤと第２ＩＤ記憶部１２２に記憶されている第２ＩＤとの対応関係の情報を変調して変調信号を生成し、音信号に重畳して出力すべく、これを音信号重畳部１２７へ出力する（Ｓ７４）。この場合において、変調信号生成部１３２及び後段の音信号重畳部１２７は対応情報送信手段として機能する。
ステップＳ７３でＮＯの場合、あるいはステップＳ７２又はＳ７４の後は、ステップＳ７１に戻って処理を繰り返す。

また、第２変形例において、音信号処理装置３００のＣＰＵ３０１は、図１３の処理に代えて、図２３の処理を行う。これは、音響通信により送信される情報として、第２ＩＤだけでなく、ＩＤの対応関係の情報もあり得ることと対応するものである。なお、ＩＤ抽出部３３３は、デコード部３３２によるデコード結果にＩＤの対応関係の情報が含まれていれば、これを抽出してミキシング制御部３２５に通知する。

図２３の処理において、ステップＳ９４乃至Ｓ９７は図１３のステップＳ２１乃至Ｓ２４と共通であり、ステップＳ９１乃至Ｓ９３が追加されている。
すなわち、ＣＰＵ３０１は、前回の図２３の処理後に、対象ポートについて第１ＩＤと第２ＩＤの対応関係が通知されており（Ｓ９１のＹｅｓ）、その情報が既にＩＤ管理テーブルに登録済みでなければ（Ｓ９２のＮｏ）、今回通知された対応関係を、ＩＤ管理テーブルに登録する（Ｓ９３）。ＩＤ管理テーブルへは、対象ポートの情報を登録する必要はない。
第２変形例においては、各装置が以上の動作を実行することにより、第１ＩＤと第２ＩＤとが異なる値を取り得るようにする場合でも、追加の装置を設けることなく、上述した実施形態の場合と同様な、音信号の選択を可能とすることができる。

〔音信号処理装置の他の例：図２４，図２５〕
次に、図２４及び図２５に、音信号出力装置１００の、図３と異なるハードウェア構成の例を示す。図２４は、音信号出力装置１００を電子楽器として構成した場合の例、図２５は再生装置として構成した場合の例である。
図２４に示す音信号出力装置１００は、ＣＰＵ１４１、フラッシュメモリ１４２、ＲＡＭ１４３、通信Ｉ／Ｆ１４４、制御操作子１４５、演奏操作子１４６、音源部１４７、信号処理回路１０５、出力Ｉ／Ｆ１０６、発光素子１０７を備え、これらがシステムバス１４８により接続されている。

この音信号出力装置１００は、鍵盤や弦等の演奏操作子１４６に対する演奏操作や、フラッシュメモリ１４２から読み出したり、通信Ｉ／Ｆ１４４を介して外部から受信したりした演奏データに基づき、音源部１４７が演奏音の音信号を生成する機能を備えるものである。
音信号出力装置１００は、この音信号に対し、信号処理回路１０５が信号処理を行った上で出力Ｉ／Ｆ１０６から出力するが、このとき、上述の実施形態の場合と同様、第２ＩＤの情報を重畳して出力する。また、発光素子１０７を用いた第１ＩＤの出力も行う。

また、図２５に示す音信号出力装置１００は、ＣＰＵ１４１、フラッシュメモリ１４２、ＲＡＭ１４３、通信Ｉ／Ｆ１４４、制御操作子１４５、ＨＤＤ（ハードディスクドライブ）１５１、ＤＳＰ１５２、音信号入出力部１５３、発光素子１０７を備え、これらがシステムバス１４８により接続されている。

この音信号出力装置１００は、音信号入出力部１５３から入力する音信号を、ＤＳＰ１５２による信号処理を行った上でＨＤＤ１５１に記録することにより録音する機能を備える。また、録音した音信号を再生し、ＤＳＰ１５２による信号処理を行った上で音信号入出力部１５３から出力することができる。このとき、ＤＳＰ１５２により上述の実施形態の場合と同様に第２ＩＤの情報を重畳して出力する。また、発光素子１０７を用いた第１ＩＤの出力も行う。

これらのように、光通信による第１ＩＤの出力と音響通信による第２ＩＤの出力とを行えば、出力する音信号が、集音により取得したものでなくても、上述した実施形態の音信号出力装置１００と同様に機能させることができる。
なお、図２５の再生装置の場合、音信号出力装置１００の配置と、音信号出力装置１００が出力する音信号との間に、特段の関係はない。従って、ユーザが音信号出力装置１００を選択するか否かを判断する材料となるよう、音信号出力装置１００が出力する音信号がどのようなものであるかを示す情報を、ユーザから見えるように提示することが望ましい。

〔その他の変形例〕
以上で実施形態の説明を終了するが、装置の具体的な構成や数、画面の構成、音信号処理装置３００が実行可能な信号処理の内容、具体的な処理の手順などが、上述の実施形態で説明したものに限られないことはもちろんである。
例えば、上述した実施形態の音信号処理装置３００では、ミキシングバス３６０は全てモノラルバスであったが、ステレオ、５．１ｃｈなど、複数系統の音信号を扱うバスを設けてもよい。この場合、各入力ｃｈから各バスへの伝送経路上に、音像定位位置を制御する信号処理要素を設けるとよい。

また、端末装置２００が音信号処理装置３００に実行させる処理としては、上述した実施形態で説明したものの他、以下のように、種々のものが考えられる。以下に列挙する処理には、ステレオや５．１ｃｈのミキシングバスを前提としたものも含まれる。
まず、指定された音信号を加工して目立たせる処理や、他の音信号を加工して目立たなくさせる処理が考えられる。音信号を目立たせるための処理としては、音色を変化させる、目立たせたい音信号の定位位置をユーザの近くに移動させる、目立たせたい音信号の定位位置を他の音信号の定位位置から離れた位置とする、等が考えられる。

その他、音信号処理装置３００に、予め録音しておいた音信号を再生する機能を設け、指定された音信号を、予め録音しておいた音信号（リハーサルの録音等）に切り替える処理を行うことも考えられる。
また、音信号処理装置３００に音声合成機能を設け、指定された音信号を、その音声合成機能で生成した音信号に置き換える処理を行うことも考えら得る。音声合成は、自動演奏により行うことも考えられ、入力される音信号から、どの楽曲のどの位置を演奏中であるかを検出して、その位置に合わせて行う自動演奏の音信号を、置き換え用の音信号として生成することも考えられる。

また、上述した実施形態において、ミキシング指示部２２７は、位置指定受付部２２３が注目位置の指定を受け付けると、ただちに音信号処理装置３００に対して信号処理の指示を行うようにしていた（図１４参照）。しかし、ステップＳ３４で第１ＩＤの取得を確認した後、表示中の動画において、選択された音信号出力装置１００あるいはその発光部１０７が識別できるような表示を行い、ユーザから、意図通りの選択がなされた旨の確認を受けた上で、信号処理の指示を行うようにしてもよい。
また、上述した第２変形例において、音信号出力装置１００が、第１ＩＤと第２ＩＤとの対応関係を音信号に重畳して音響通信により送信する例について説明した。しかし、この対応関係を、音響通信に代えて、またはこれに加えて、光通信により送信することも考えられる。

また、上述した各実施形態の音信号処理システムを構成する各装置の機能は、任意に複数の装置に分散して設けたり、逆に複数の装置の機能を１台の装置にまとめて設けたりすることもできる（第４実施形態はその一例である）。また、図１や図６等に示した全ての装置がシステムを構成すると考えるのではなく、そのうち一部の装置のみによりシステムが構成されると考えてもよい。例えば、端末装置２００と音信号処理装置３００とにより、音信号出力装置１００から出力される音信号に対して所望の処理を行う音信号処理システムが構成されると考えることができる。特に第３実施形態においては、送信装置７１２側に配置された各装置と、受信装置７１３側に配置された各装置とを、別々の者が独立に運用することも想定される。

また、上述した実施形態では音信号処理装置３００は１台のみ設けているが、音信号処理装置３００を複数設け、各音信号出力装置１００が出力する音信号を、それら全ての音信号処理装置３００に同じように供給する構成も考えられる。この場合、出力先受付部２２６は、端末装置２００と通信可能な音信号処理装置３００のいずれかにおいて指定可能な出力先の中から、出力先の指定を受け付ける。そして、端末装置２００は、指定された出力先を備える音信号処理装置３００と通信して、該音信号処理装置３００へ、第１ＩＤ、処理の指定、出力先の指定等を送信する。

音信号処理システムを利用するユーザの数が多く、１台の音信号処理装置３００では出力先（と対応付けて設ける音信号処理手段）の数が足りない場合には、このような複数の音信号処理装置３００を設ける構成も有用である。
あるいは、各端末装置２００や発音装置４００と対応付けて、出力先を１つのみ備える音信号処理装置３００を用意することも考えられる。この場合、各音信号処理装置３００はユーザの個人用の装置となり、出力先の指定が、音信号処理装置３００の指定とイコールになる。

また、この発明の実施形態であるプログラムは、コンピュータに必要なハードウェアを制御させて、端末装置２００をはじめとする、上述した各装置の機能の少なくとも一部を実現させるためのプログラムである。
そして、このようなプログラムをコンピュータに実行させることにより、上述したような効果を得ることができる。

このようなプログラムは、はじめからコンピュータに備えるＲＯＭや他の不揮発性記憶媒体（フラッシュメモリ，ＥＥＰＲＯＭ等）などに格納しておいてもよい。しかし、メモリカード、ＣＤ、ＤＶＤ、ブルーレイディスク等の任意の不揮発性記録媒体に記録して提供することもできる。それらの記録媒体に記録されたプログラムをコンピュータにインストールして実行させることにより、上述した各手順を実行させることができる。

さらに、ネットワークに接続され、プログラムを記録した記録媒体を備える外部装置あるいはプログラムを記憶手段に記憶した外部装置からダウンロードし、コンピュータにインストールして実行させることも可能である。
また、以上述べてきた構成及び変形例は、矛盾しない範囲で適宜組み合わせて適用することも可能である。

以上の説明から明らかなように、この発明を利用すれば、ユーザが直感的にわかりやすい操作で複数の音信号出力装置の中から所望の音信号出力装置を選択できるような音信号処理システムを構築することができる。

１００：音信号出力装置、１０１：制御回路、１０２：ＲＯＭ、１０３：スイッチ、１０４：集音部、１０５：信号処理回路、１０６：出力Ｉ／Ｆ、１０７：発光素子、１０８：信号線、１２１：第１ＩＤ記憶部、１２２：第２ＩＤ記憶部、１２３：発光制御部、１２４：発光部、１２５：変調信号生成部、１２６：音信号取得部、１２７：音信号重畳部、１２８：音信号出力部、１３１：通知タイミング検出部、１４１，２０１，３０１：ＣＰＵ、１４２，２０２，３０２：フラッシュメモリ、１４３，２０３，３０３：ＲＡＭ、１４４，２０７，３０８：通信Ｉ／Ｆ、１４５：制御操作子、１４６：演奏操作子、１４７：音源部、１４８，２０８，３０９：システムバス、１５１：ＨＤＤ、１５２，３０７：信号処理部（ＤＳＰ）、１５３，３０６：音信号入出力部、２００：端末装置、２０４：撮影部、２０５，３０４：表示器、２０６，３０５：操作子、２２１：動画像取得部、２２２：動画像表示部、２２３：位置指定受付部、２２４：光情報デコード部、２２５：処理方法受付部、２２６：出力先受付部、２２７：ミキシング指示部、３００：音信号処理装置、３２１：変調信号デコード部、３２２：ミキシング部、３２３：ミキシング指示受付部、３２４：ＩＤ対応情報管理部、３２５：ミキシング制御部、３２６：音信号出力部、３３０：入力ポート、３３１：復調部、３３２：デコード部、３３３：ＩＤ抽出部、３４０：入力パッチ、３５０：入力ｃｈ、３５１：センドスイッチ、３５２：センドフェーダ、３６０：ミキシングバス、３７０：出力ｃｈ、３８０：出力パッチ、３９０：出力ポート、４００：発音装置、５００：ユーザ、６００：ＩＤ管理サーバ、７０１：撮影装置、７０２，７０３：通信装置、７０４：表示装置、７１２：送信装置、７１３：受信装置、８００：ディスプレイ装置、８１０：ＵＩ部、８２０：音信号処理部、８３０：スピーカ

Claims (11)

1. 発光手段の発光を、第１ＩＤの値に従って制御することにより前記第１ＩＤを送信する第１送信手段と、
   音信号を取得する取得手段と、
   前記音信号に、第２ＩＤの値を重畳して前記第２ＩＤを送信する第２送信手段と、
   を備えることを特徴とする音信号出力装置。
2. 請求項１に記載の音信号出力装置であって、
   前記第１ＩＤと前記第２ＩＤとの対応関係を示す情報を、前記音信号に重畳して送信する対応情報送信手段を備えることを特徴とする音信号出力装置。
3. 請求項２に記載の音信号出力装置であって、
   ユーザの操作を検出する検出手段を備え、
   前記対応情報送信手段は、前記検出手段が所定の操作を検出したことに応じて、前記第１ＩＤと前記第２ＩＤとの対応関係を示す情報を、送信することを特徴とする音信号出力装置。
4. 請求項１に記載の音信号出力装置であって、
   前記第１ＩＤと前記第２ＩＤとが同じであることを特徴とする音信号出力装置。
5. コンピュータに、
   動画像を取得する動画像取得手順と、
   ユーザから、前記動画像中の位置の指定を受け付ける第１受付手順と、
   前記動画像中の該指定された位置における発光のパターンを復号して第１ＩＤを取得するＩＤ取得手順と、
   該取得した第１ＩＤを所定の音信号処理装置へ送信するＩＤ送信手順とを実行させるためのプログラム。
6. 請求項５に記載のプログラムであって、
   前記コンピュータに、
   ユーザから、前記音信号処理装置に実行させる処理の指定を受け付ける第２受付手順を実行させるためのプログラムをさらに含み、
   前記ＩＤ送信手順は、前記音信号処理装置へ、前記第１ＩＤと対応する音信号に関して前記指定された処理を実行する指示を送信する手順であることを特徴とするプログラム。
7. 請求項５又は６に記載のプログラムであって、
   前記コンピュータに、
   前記音信号処理装置が備える出力部の一つを指定し、前記音信号処理装置に対して、前記ＩＤ送信手順で送信する第１ＩＤに従って処理した音信号を、該指定した出力部から出力することを指示する出力先指示手順を実行させるためのプログラムをさらに含むことを特徴とするプログラム。
8. 動画像を取得する動画像取得手段と、
   ユーザから、前記動画像中の位置の指定を受け付ける第１受付手段と、
   前記動画像中の該指定された位置における発光のパターンを復号して第１ＩＤを取得する第１ＩＤ取得手段と、
   複数チャンネルの音信号を取得する音信号取得手段と、
   該取得した各音信号を復調して各音信号の第２ＩＤを取得する第２ＩＤ取得手段と、
   前記第１ＩＤと前記第２ＩＤとの対応関係を示す情報を、所定の取得先から取得する対応情報取得手段と、
   前記音信号取得手段が取得した各音信号のうち、前記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して所定の処理を行って、該処理後の各音信号を所定の出力先へ出力する音信号処理手段とを備えることを特徴とする音信号処理システム。
9. 請求項８に記載の音信号処理システムであって、
   ユーザから、前記音信号処理手段に実行させる処理の指定を受け付ける第２受付手段を備え、
   前記音信号処理手段は、前記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して、前記指定された処理を行うことを特徴とする音信号処理システム。
10. 請求項８又は９に記載の音信号処理システムであって、
    前記音信号処理手段を複数備え、
    前記動画像取得手段と、前記第１受付手段と、前記第１ＩＤ取得手段とを複数組備え、
    該各組と対応して、前記音信号処理手段の一つを指定する出力先指定手段を備え、
    前記複数の音信号処理手段のうち該指定された音信号処理手段が、前記音信号取得手段が取得した各音信号のうち、該指定と対応する組に属する前記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して所定の処理を行って、該処理後の各音信号を所定の出力先へ出力することを特徴とする音信号処理システム。
11. 発光手段の発光を、第１ＩＤの値に従って制御することにより前記第１ＩＤを送信する第１送信手段と、音信号を取得する取得手段と、前記音信号に、第２ＩＤの値を重畳して前記第２ＩＤを送信する第２送信手段とを備える音信号出力装置を複数備え、
    動画像を取得する動画像取得手段と、
    ユーザから、前記動画像中の位置の指定を受け付ける第１受付手段と、
    前記動画像中の該指定された位置における発光のパターンを復号して前記第１ＩＤを取得する第１ＩＤ取得手段と、
    前記各音信号出力装置が出力する音信号を取得する音信号取得手段と、
    該取得した各音信号を復調して各音信号の第２ＩＤを取得する第２ＩＤ取得手段と、
    前記第１ＩＤと前記第２ＩＤとの対応関係を示す情報を、所定の取得先から取得する対応情報取得手段と、
    前記音信号取得手段が取得した各音信号のうち、前記第１ＩＤ取得手段が取得した第１ＩＤと対応する第２ＩＤを持つ音信号に関して所定の処理を行って、該処理後の各音信号を所定の出力先へ出力する音信号処理手段とを備えることを特徴とする音信号処理システム。

Images