JP2020198545A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】設定された聴取点に対応する音響信号における音の偏りを抑制することを目的とする。【解決手段】複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得し、複数の収音部それぞれの収音信号から取得された音響信号に基づいて、聴取点に対応する音響信号を生成する。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、多数のカメラ映像を合成、処理することにより、撮影エリア内の任意位置に視点を設定し、その視点から見た場合の映像を生成する自由視点映像生成技術がある。このような状況において、設定された視点等の指定された地点における音場を再現する音響信号を生成する技術が求められている。
空間上のある位置における音場を再現する従来技術として、アンビソニック技術がある。アンビソニック技術では、専用のマイクロホンアレイを設置した位置における全方向からの音を再現することでその地点の音場を再現することができる、また、その位置における任意方向の指向性を持つ信号を、収音後の処理によって生成することが可能である。アンビソニック技術では、マイクロホンアレイが設置された地点における音場の再現が可能であるが、それ以外の地点における音場の再現も考えられている。
マイクロホンアレイが設置された地点以外の地点における音場再現方法として、特許文献１に記載の技術がある。特許文献１には、二つ以上のアンビソニック収音シーンを、ターゲット位置を中心とする円形状または球形状に等方に投影した仮想ラウドスピーカー位置に位置付けて、ターゲット位置のアンビソニック音場を生成する技術が開示されている。

特開２０１７−１８８８７３号公報

複数の位置に設置された収音部による収音に基づいて得られる収音信号を用いて、設定された仮想の聴取位置（聴取点）における音場を再現可能な音響信号を生成することが考えられる。この場合に、聴取点と複数の収音部との位置関係によって、生成された音響信号を用いて再生される音に不要な偏りが生じる虞がある。例えば、図１に示すように、収音対象範囲を取り囲むように複数の収音部１００３が設置されているとする。そして、各収音部１００３により取得された収音信号を、設定された聴取点１００１から見た各収音部１００３の方向１００２に応じてレンダリングすることにより、聴取点における音場を再現するための音響信号を生成することを考える。この場合、聴取点１００１が収音対象範囲の端に寄ると、聴取点１００１に対する収音信号の方向に偏りが生じ、網掛けで図示した領域１００４のように、他の方向に比べて音源が疎となる方向ができる。その結果、音場の再現の質が低下する。
そこで、本発明は、設定された聴取点に対応する音響信号における音の偏りを抑制することを目的とする。

本発明の情報処理装置は、複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と前記複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得する取得手段と、前記取得手段により前記複数の収音部それぞれの収音信号から取得された音響信号に基づいて、前記聴取点に対応する音響信号を生成する生成手段と、を有する。

本発明によれば、設定された聴取点に対応する音響信号における音の偏りを抑制することができる。

マイクロホンアレイの設置状況の一例を説明する図である。 生成システムのシステム構成の一例を示す図である。 三次元座標の一例を説明する図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 情報処理装置の処理の一例を示すフローチャートである。 マイクロホン情報等の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 開き角のデータの一例を示す図である。 取得される音響信号の指向性の一例を説明する図である。 情報処理装置の処理の一例を示すフローチャートである。 情報処理装置の処理の一例を示すフローチャートである。 イベント発生の際の状況の一例を示す図である。 生成システムのシステム構成の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。 情報処理装置の処理の一例を示すフローチャートである。 イベント情報の一例を示す図である。 情報処理装置の処理の一例を示すフローチャートである。

以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本実施形態における生成システムのシステム構成の一例を示す図である。
生成システムは、複数のマイクロホンアレイ１、情報処理装置２００、スピーカーアレイ１４を含む。情報処理装置２００は、複数のマイクロホンアレイ１、スピーカーアレイ１４それぞれと接続されている。

情報処理装置２００は、音場の信号を生成する情報処理装置である。本実施形態では、情報処理装置２００は、パーソナルコンピュータ（ＰＣ）であるとするが、サーバ装置、タブレット装置等の他の情報処理装置であってもよい。
マイクロホンアレイ１は、収音対象となる範囲の周囲に設置され、設置された位置の設定された方向の音を、方向情報に対応付けて収音する。
スピーカーアレイ１４は、情報処理装置２００から出力されるアナログ音響信号を、アレイを構成する個々のスピーカーにおいて音に変換して出力する。

図１を用いて、情報処理装置２００の機能構成の一例について説明する。
情報処理装置２００は、収音制御部２、複数の指向性成分生成部３、音場生成部４、操作制御部５、座標・向き決定部６、距離算出部７、座標管理部８、指向性決定部９、通信制御部１０、出力制御部１２、再生部１３を含む。
収音制御部２は、マイクロホンアレイ１により収音されたアナログ音響信号を適宜増幅し、デジタル音響信号にＡＤ変換して指向性成分生成部３へ送信する。

指向性成分生成部３は、対応する収音制御部２から受信した音響信号を処理して、各マイクロホンアレイ１について、指向性決定部９により決定された指向性を持つ音響信号を生成する。ここで、指向性とは、対応する音響信号がどの方向にかかる音響の信号であるかを示す性質である。
音場生成部４は、指向性成分生成部３によって各マイクロホンアレイの信号から生成された指向性信号を、聴取点とマイクロホンとの位置関係に応じてレンダリングする。これにより、音場生成部４は、予め定めた出力チャンネルフォーマット（例えば、５．１ｃｈ、７．１ｃｈ、２２．２ｃｈ等）の音響信号を生成する。なお、音場生成部４は、出力チャンネルフォーマットとして独自のフォーマットの音響信号を生成してもよい。

操作制御部５は、聴取点の位置指定等のユーザからの各種入力を受け付け、制御信号に変換する。
座標・向き決定部６は、操作制御部５により受け付けられた入力に従って、聴取点の位置と向き（聴取点の正面方向）とを決定する。なお、本実施形態では、座標・向き決定部６により決定される聴取点の座標は、収音対象となる範囲に設定された三次元座標系における三次元座標として表される。本実施形態では、この三次元座標系は、図３に示すように、競技範囲１００５の南北に南に向けてＸ軸、東西に東に向けてＹ軸、水平面に対して鉛直方向に上に向けてＺ軸を取り、競技範囲の北西角を原点Ｏとする座標系である。以下では、図３に示すＸ軸、Ｙ軸、Ｚ軸で示される三次元座標系を、ＸＹＺ座標系とする。

距離算出部７は、座標・向き決定部６により決定された聴取点の座標と、座標管理部８により管理されている各マイクロホンアレイ１の座標と、を用いて、聴取点と各マイクロホンアレイ１間の直線距離を算出する。そして、距離算出部７は、聴取点とマイクロホンアレイ１との間の距離を指向性決定部９へ出力する。
座標管理部８は、各マイクロホンアレイ１を設置した位置の座標を、情報処理装置２００の記憶部に記憶し、適宜、距離算出部７の要求に応じて出力する。

指向性決定部９は、聴取点と各マイクロホンアレイ１との間の距離や、聴取点から見た方向に基づき、各マイクロホンアレイ１について、どのような指向性の音響信号を取得するかを決定する。
通信制御部１０は、音場生成部４から出力される音響信号を、通信網１１を介して外部の機器に出力する。
通信網１１は、インターネットや一般電話回線等である。本実施形態では、情報処理装置２００は、通信網１１を介して生成システム外の機器に対して音響信号を出力することができる。

出力制御部１２は、出力端子に接続した外部機器に、音場生成部４によって送信される音響信号を出力する。
再生部１３は、音場生成部４によって生成された音響信号を適宜増幅し、アナログ信号に変換して、予め定められた出力フォーマットに準じるスピーカーアレイ１４に出力する。

スピーカーアレイ１４は、再生部１３から出力されるアナログ音響信号を、アレイを構成する個々のスピーカーにおいて音に変換して出力する。
図２に示す生成システムの構成要素のうち、マイクロホンアレイ１、通信網１１、及びスピーカーアレイ１４以外の構成要素は、情報処理装置２００に含まれる。ただし、構成要素２−１０、１２、１３の一部が情報処理装置２００とは別の装置に含まれることとしてもよい。

情報処理装置２００のハードウェア構成の一例について、図４を用いて説明する。情報処理装置２００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２１１、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２１２、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２１３、補助記憶装置２１４を含む。また、情報処理装置２００は、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を含む。ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７は、バス２１８を介して相互に通信可能に接続されている。
ＣＰＵ２１１は、情報処理装置２００の全体を制御する中央演算装置である。ＲＯＭ２１２は、変更を必要としないプログラム等を格納する記憶装置である。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータ等を一時記憶する記憶装置である。補助記憶装置２１４は、画像データや音声データ等の種々のデータを記憶する。本実施形態では、補助記憶装置２１４は、ハードディスクドライブ（ＨＤＤ）であるとするが、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等の他の記憶装置であってもよい。

表示部２１５は、ユーザが情報処理装置２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する表示装置（例えば、液晶ディスプレイやＬＥＤ等）である。操作部２１６は、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する入力装置（例えば、キーボードやマウス、ジョイスティック、タッチパネル等）である。
通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられるインターフェースである。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。通信Ｉ／Ｆ２１７がアンテナを備え、情報処理装置２００が外部の装置と無線通信する機能を有することとしてもよい。バス２１８は、情報処理装置２００の各部をつないで情報を伝達するバスである。

本実施形態では、表示部２１５と操作部２１６とが情報処理装置２００の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。この場合でも、ＣＰＵ２１１が、表示部２１５、操作部２１６を制御する。
ＣＰＵ２１１がＲＯＭ２１２、補助記憶装置２１４等に記憶されたプログラムに従って処理を実行することで、図１で説明した情報処理装置２００の機能、図５、６、８、１１、１２、１５、１６，１８で後述するフローチャートの処理等が実現される。

本実施形態では、生成システムは、複数のマイクロホンアレイ１で収音し、聴取点と各マイクロホンアレイ１との位置関係に応じて、各マイクロホンアレイ１についての指向性を決定し、それに基づいて聴取点における音場を生成する。
図５は、情報処理装置２００の処理の一例を示すフローチャートである。

Ｓ１０１において、収音制御部２は、マイクロホンアレイ１の各マイクユニットによって、アナログ電気信号に変換された音の信号を、予め調整した増幅レベルに従って適宜増幅してからデジタル信号に変換する。そして、収音制御部２は、変換したデジタル信号を、各マイクロユニット別のチャンネル信号として指向性成分生成部３へ送信する。
Ｓ１０２において、座標・向き決定部６は、操作部２１６に対するユーザからの入力に基づいて、聴取点の位置と向きとを決定する。以下では、Ｓ１０２で位置と向きとを決定された聴取点を、指定聴取点とする。

Ｓ１０３において、距離算出部７は、座標管理部８により管理されている各マイクロホンアレイ１の座標と、指定聴取点の座標と、に基づいて、各マイクロホンアレイ１と指定聴取点との間の距離などの情報を含むマイクロホン情報を生成する。Ｓ１０３の処理の詳細は、図６で後述する。
Ｓ１０４において、指向性決定部９は、Ｓ１０３で生成したマイクロホン情報に基づき、各マイクロホンアレイで収音した音響信号から生成する信号の指向性を決定する。Ｓ１０４の処理の詳細は、図８で後述する。

Ｓ１０５において、指向性成分生成部３それぞれは、対応するマイクロホンアレイ１の収音信号を用いて、Ｓ１０４で決定された指向性の信号を生成する。Ｓ１０５の処理の詳細は、図１１で後述する。
Ｓ１０６において、音場生成部４は、Ｓ１０５で生成された複数の指向性信号を、指定聴取点と各マイクロホンアレイ１との位置関係に基づいて、予め定めた出力チャンネルフォーマットにレンダリングする。これにより、音場生成部４は、指定聴取点における音場を再現するための音響信号である音場信号を生成する。Ｓ１０６の処理の詳細は、図１２で後述する。

Ｓ１０７において、音場生成部４は、Ｓ１０６で生成した音場信号の出力先を判定する。本実施形態では、音場生成部４は、音場信号の出力先を、予め、ユーザによる操作部２１６を用いた入力に基づいて決定し、決定した出力先の情報をＲＡＭ２１３に記憶している。
音場生成部４は、出力先が通信網１１に接続された外部機器であると判定した場合、処理をＳ１０８へ進め、出力先が出力端子に接続された外部機器であると判定した場合、処理をＳ１０９へ進める。また、音場生成部４は、出力先がスピーカーアレイ１４であると判定した場合、処理をＳ１１０へ進める。

Ｓ１０８において、音場生成部４は、通信制御部１０を介して、Ｓ１０６で生成された音場信号を、通信網１１を経由して出力先の外部機器へ送信する。
Ｓ１０９において、音場生成部４は、出力制御部１２を介して、Ｓ１０６で生成された音場信号を、出力端子に接続された外部機器に送信する。

Ｓ１１０において、音場生成部４は、再生部１３を介して、Ｓ１０６で生成された音場信号を、スピーカーアレイ１４に出力する。そして、スピーカーアレイ１４は、出力された音場信号を、音に変換し出力する。
Ｓ１１１において、ＣＰＵ２１１は、図５の処理を終了するか否かを判定する。ＣＰＵ２１１は、図５の処理を終了しないと判定した場合、処理をＳ１０１へ進め、図５の処理を終了すると判定した場合、図５の処理を終了する。

図６は、Ｓ１０３の処理の詳細の一例を示すフローチャートである。
Ｓ２０１において、距離算出部７は、座標・向き決定部６によって決定された指定聴取点の座標と向きとＲＡＭ２１３に記憶する。
Ｓ２０２において、距離算出部７は、ＲＡＭ２１３に記憶されているマイクロホン情報リストを初期化する。マイクロホン情報リストとは、マイクロホン情報というデータについて、複数をまとめてリスト化したデータ構造の情報である。ここで、マイクロホン情報は、１つのマイクロホンアレイ１と一対一で対応する情報であり、対応するマイクロホンアレイ１の各種の属性を示す情報である。マイクロホン情報の詳細について図７を用いて説明する。

図７（ａ）は、マイクロホン情報のデータ構造の一例を示す図である。マイクロホン情報は、「マイクロホンＩＤ」、「マイクロホン座標」、「聴取点座標」、「聴取点向き」、「聴取点との距離」、「聴取点から見た方向」の項目を含む。また、マイクロホン情報は、「指向方向の数」、「指向方向の数」が示す個数の「指向性情報」を含む。
「マイクロホンＩＤ」は、対応するマイクロホンアレイ１を識別するための情報（例えば、番号等）であり、対応するマイクロホンアレイ１と一対一で紐付けられる。本実施形態では、「マイクロホンＩＤ」は、対応するマイクロホン情報と紐付けられるマイクロホンアレイ１のＩＤであるとする。

「マイクロホン座標」は、対応するマイクロホンアレイ１が設置される場所の三次元座標を示す。「聴取点座標」は、指定聴取点の三次元座標を示し、図３で説明したＸ、Ｙ、Ｚ軸による座標で表される。「聴取点の向き」は、指定聴取点が向いている向きを示し、図３のＸ軸の正の向きを０°として、ＸＹ平面でなす水平角Θと、ＸＹ平面に対する俯角Φと、指定聴取点のロール角Δと、で表される。
「聴取点との距離」は、対応するマイクロホンアレイ１と指定聴取点との距離を示す。「聴取点から見た方向」は、指定聴取点の正面方向を基準として、指定聴取点から見たこのマイクロホンアレイ１の方向を示し、水平角θ、俯角φ、ロール角δによって表される。なお、本実施形態では、ＸＹＺ座標系を基準として表される角度を大文字（Θ、Φ、Δ）で表し、指定聴取点の向きを基準とする相対的な角度を小文字（θ、φ、δ）で表すこととする。

「指向方向の数」は、対応するマイクロホンアレイ１について、指向性の異なる幾つの音響信号が取得されるかを示す。「指向性情報」は、対応するマイクロホンアレイ１の信号に基づいて取得される音響信号の各種属性を示す情報である。本実施形態では、「指向性情報」は、図７（ｂ）で後述するデータ構造の情報である。なお、「指向性情報」は、「指向方向の数」が示す個数だけ、マイクロホン情報に含まれる。

図７（ｂ）は、本実施形態の「指向性情報」のデータ構造の一例を示す図である。「指向性情報」は、「指向性情報ＩＤ」、「指向性種別」、「聴取点から見た指向性の方向」、「指向性信号データ」を含む。
「指向性情報ＩＤ」は、「指向性情報」を識別するための情報（例えば、番号等）であり、全ての「指向性情報」それぞれについて唯一の値となる。「指向性種別」は、対応する音響信号の指向性の種別を示し、無指向性、単一指向性、双指向性、狭指向性、超指向性等の値を取る。「聴取点から見た指向性の方向」は、指定聴取点の正面を基準方向とした場合の対応する音響信号の指向性の方向を示し、水平角θ、俯角φ、ロール角δによって表される。「指向性信号データ」は、指向性成分生成部３によって生成された音響信号を示す。

図６の説明に戻る。
距離算出部７は、Ｓ２０２で、ＲＡＭ２１３に記憶されたマイクロホン情報リストを初期化し、マイクロホン情報が１つも含まれていない状態にする。
Ｓ２０３において、距離算出部７は、マイクロホン情報リストに含まれるマイクロホン情報のカウントに用いられるカウンタ変数ｉを、ＲＡＭ２１３に記憶し、ｉの値を１に初期化する。

Ｓ２０４において、距離算出部７は、新規のマイクロホン情報を生成する。以下、図６の処理の説明において、最新のＳ２０４の処理で生成されたマイクロホン情報を生成マイクロホン情報とする。
Ｓ２０５において、距離算出部７は、生成マイクロホン情報の「マイクロホンＩＤ」の値をｉに決定する。
Ｓ２０６において、距離算出部７は、「マイクロホンＩＤ」＝ｉをキーとして座標管理部８にＩＤ＝ｉのマイクロホンアレイ１の座標を要求することにより、ＩＤ＝ｉのマイクロホンアレイ１の座標を取得する。そして、距離算出部７は、取得した座標を、生成マイクロホン情報の「マイクロホン座標」の値に決定する。

Ｓ２０７において、距離算出部７は、生成マイクロホン情報の「聴取点座標」と「聴取点向き」との値を、それぞれＳ２０１でＲＡＭ２１３に記憶した指定聴取点の座標と指定聴取点の向きとに決定する。
Ｓ２０８において、距離算出部７は、Ｓ２０６で決定した「マイクロホン座標」と、Ｓ２０７で決定した「聴取点座標」と、を用いて、三平方の定理よりマイクロホンアレイ１と指定聴取点との距離を求める。そして、距離算出部７は、求めた距離を、生成マイクロホン情報の「聴取点との距離」の値に決定する。

Ｓ２０９において、距離算出部７は、生成マイクロホン情報の「聴取点向き」と、「聴取点座標」と、「マイクロホン座標」と、に基づいて、指定聴取点から見たマイクロホンアレイ１の方向を求める。そして、距離算出部７は、求めた方向を、生成マイクロホン情報の「聴取点から見た方向」の値に決定する。
Ｓ２１０において、距離算出部７は、生成マイクロホン情報を、ＲＡＭ２１３に記憶されたマイクロホン情報リストの末尾に追加する。なお、この時点では、生成マイクロホン情報の「指向方向の数」は、未定であり、「指向性情報」もマイクロホン情報には含まれていない。「指向方向の数」、「指向性情報」の情報は、Ｓ１０４の処理によって決定される。

Ｓ２１１において、距離算出部７は、カウンタｉの値がマイクロホンアレイ１の総数ｎに達したか否かを判定する。本実施形態では、マイクロホンアレイの総数ｎは、ＲＡＭ２１３に記憶されているとする。距離算出部７は、ｉの値がｎに達したと判定した場合、処理をＳ２１３に進め、ｉがｎに満たないと判定した場合、処理をＳ２１２へ進める。
Ｓ２１２において、距離算出部７は、カウンタｉに１を足して処理をＳ２０４へ進める。
Ｓ２１３において、距離算出部７は、ＲＡＭ２１３に記憶されたマイクロホン情報リストを指向性決定部９に出力し図６の処理を終了する。

図８は、本実施形態におけるＳ１０４の処理の詳細の一例を示すフローチャートである。
Ｓ３０１において、指向性決定部９は、指定聴取点から見た方向に応じて、距離算出部７から受信したマイクロホン情報リスト内のマイクロホン情報をソートする。本実施形態では、複数のマイクロホンアレイ１は、ＸＹ平面で見ると、指定聴取点を囲むように配置されている。そこで、指向性決定部９は、マイクロホン情報リスト内のマイクロホン情報を、対応するマイクロホンアレイ１がＸＹ平面において指定聴取点から見て時計回りの順序になるように、ソートする。

Ｓ３０２において、指向性決定部９は、指定聴取点から見た隣接するマイクロホンアレイ１間の開き角（∠一方のマイクロホンアレイ１、指定聴取点、他方のマイクロホンアレイ１）を、各マイクロホン情報の「聴取点から見た方向」に基づいて求める。指向性決定部９は、以上の処理を、Ｓ３０１でソートした順に、一番目と二番目のマイクロホン情報間、二番目と三番目のマイクロホン情報間というように順番に行い、最後に、ｎ番目と一番目のマイクロホン情報間で行う。
指向性決定部９は、求めた開き角それぞれを、ＲＡＭ２１３に記憶する。図９にＲＡＭ２１３に記憶された開き角のデータの一例を示す。開き角は、それをなす二つのマイクロホンアレイ１のＩＤと紐付けて記憶される。Ｓ３０２で求められた各開き角は、それぞれ、隣接する２つのマイクロホンアレイ１の一方と指定聴取点とを結ぶ線分と、この２つのマイクロホンアレイ１の他方と指定聴取点とを結ぶ線分と、のなす角である。

Ｓ３０３において、指向性決定部９は、マイクロホン情報リストに格納されている全てのマイクロホン情報から、１つのマイクロホン情報を選択する。以下、図８の処理の説明において、最新のＳ３０３の処理で選択されたマイクロホン情報を、選択マイクロホン情報とする。
Ｓ３０４において、指向性決定部９は、選択マイクロホン情報の「聴取点との距離」が、予め定められた閾値（Ｌ）以上か否かを判定する。なお、本実施形態において、閾値Ｌは、予めＲＡＭ２１３に記憶されている。指向性決定部９は、選択マイクロホン情報の「聴取点との距離」が閾値以上（Ｌ以上）と判定した場合、処理をＳ３０５へ進め、選択マイクロホン情報の「聴取点との距離」が閾値未満（Ｌ未満）と判定した場合、処理をＳ３０８へ進める。

Ｓ３０５〜Ｓ３０７では、指向性決定部９は、選択マイクロホン情報に対応するマイクロホンアレイ１の信号に基づいて、無指向性の音響信号のみを生成することを決定する。
Ｓ３０５において、指向性決定部９は、選択マイクロホン情報の「指向方向の数」を、１に決定する。

Ｓ３０６において、指向性決定部９は、「指向性情報」を一個生成し、選択マイクロホン情報に追加する。これにより、選択マイクロホン情報に「指向性情報」が１つだけ含まれることとなり、図１１で後述する処理で選択マイクロホン情報について１つの指向性の音響信号が生成される。
Ｓ３０７において、指向性決定部９は、Ｓ３０６で生成した「指向性情報」の「指向性種別」の値を、「無指向性」に決定し、処理をＳ３１８へ進める。

Ｓ３０８において、指向性決定部９は、Ｓ３０２で求められた開き角のうち、選択マイクロホン情報に対応するマイクロホンアレイ１に対応づけられた２つの開き角を特定する。この２つの開き角は、それぞれ∠（選択マイクロホン情報に対応するマイクロホンアレイ１）、（指定聴取点）、（このマイクロホンアレイ１に隣接するマイクロホンアレイ１）である。そして、指向性決定部９は、特定した２つの開き角を加算することで、開き角αを求める。この開き角αは、∠（選択マイクロホン情報に対応するマイクロホンアレイ１に隣接する一方のマイクロホンアレイ１）、（指定聴取点）、（選択マイクロホン情報に対応するマイクロホンアレイ１に隣接する他方のマイクロホンアレイ１）である。開き角αは、この一方のマイクロホンアレイ１と指定聴取点とを結ぶ線分と、他方のマイクロホンアレイ１と指定聴取点とを結ぶ線分と、のなす角である。

図１０を用いて、Ｓ３０８で求められた開き角を説明する。図１０の例では、説明の便宜のため、指定聴取点とマイクロホンアレイ１それぞれが同一平面（水平面）上にあることとするが、同一平面上に無いこととしてもよい。
ここで、選択マイクロホン情報に対応するマイクロホンアレイ１が位置１００６に存在するとする。また、その両隣にあるマイクロホンアレイ１は、それぞれ位置１００７と位置１００８とに存在するとする。また、指定聴取点は、位置１１００に存在するとする。
指向性決定部９は、Ｓ３０２で求められた開き角から、∠（位置１００６）、（位置１１００）、（位置１００７）と、∠（位置１００６）、（位置１１００）、（位置１００８）と、を特定し、特定した２つの角度を加算する。これにより、指向性決定部９は、開き角α（∠（位置１００７）、（位置１１００）、（位置１００８））を求める。

Ｓ３０９において、指向性決定部９は、Ｓ３０２で求めた開き角のうち、選択マイクロホンアレイがなす角以外で、最大の開き角βを求める。これは、Ｓ３０８の処理に用いられた開き角以外の開き角で、最大の値を検索することに相当する。図１０の例では、開き角βは、図示の角度になる。
Ｓ３１０において、指向性決定部９は、αをβで割った整数の商ｍを求める。指向性決定部９は、求めたｍを、選択マイクロホン情報の「指向方向の数」の値として決定する。

Ｓ３１１において、指向性決定部９は、「指向性情報」をｍ個（「指向性情報１」〜「指向性情報ｍ」）生成し、選択マイクロホン情報に追加する。図１０の例ではｍは２となるため、指向性決定部９は、「指向方向の数」を２に決定し、「指向性情報」を２つ生成する。つまり、指向性決定部９は、図１１で後述する処理で、位置１００６に存在するマイクロホンアレイ１による収音信号から２方向に対する指向性を生成する。これにより、情報処理装置２００は、開き角αの方向に二つの音響信号を配置し、まばらさを埋めることができる。
図１０の例では、指定聴取点から見て、位置１００６に存在するマイクロホンアレイ１の方向は、他の方向に比べてマイクロホンアレイ１が粗に配置されている。そこで、情報処理装置２００は、位置１００６に存在するマイクロホンアレイ１については、ｍ個の指向性の異なる音響信号を生成し、指定聴取点における音場の情報を生成することで、このマイクロホンアレイ１の方向についての音響信号のまばらさを軽減できる。

Ｓ３１２において、指向性決定部９は、カウンタｉの値を１に初期化する。
Ｓ３１３において、指向性決定部９は、Ｓ３１１で生成したｍ個の「指向性情報」のうち、「指向性情報ｉ」を処理対象として決定する。
Ｓ３１４において、指向性決定部９は、「指向性情報ｉ」の「指向性種別」の値を、予め定められた指向性（例えば、「単一指向性」等）に決定する。本実施形態では、この予め定められた指向性は、予めＲＡＭ２１３に記憶されている。

Ｓ３１５において、指向性決定部９は、「指向性情報ｉ」の「聴取点から見た指向性方向」の値を、θｉ＝θ＋α／（ｍ＋１）×ｉに決定する。ここで、θは、指定聴取点から、選択マイクロホン情報に対応するマイクロホンアレイ１の左隣のマイクロホンアレイ１を見た方向を示す角度である。指向性決定部９は、マイクロホン情報リストを検索してθを取得する。図１０の場合は、θ、θ１は各々図示したようになる。情報処理装置２００は、このように指向性の方向を決めることで、開き角αの方向に対して音源を均等に配置することができる。
Ｓ３１６において、指向性決定部９は、カウンタｉに１を足す。
Ｓ３１７において、指向性決定部９は、ｉがｍと等しいか否かを判定する。指向性決定部９は、ｉがｍと等しいと判定した場合、全ての「指向性情報」に対する処理を終えたとして、処理をＳ３１８に進め、ｉがｍ未満と判定した場合、処理をＳ３１３に進める。

Ｓ３１８において、指向性決定部９は、マイクロホン情報リストに格納されている全てのマイクロホン情報について、Ｓ３０４〜Ｓ３１７の処理を終えたか否かを判定する。指向性決定部９は、マイクロホン情報リストに格納されている全てのマイクロホン情報について、Ｓ３０４〜Ｓ３１７の処理を終えたと判定した場合、処理をＳ３１９に進める。指向性決定部９は、マイクロホン情報リストに格納されているマイクロホン情報の中にＳ３０４〜Ｓ３１７の処理を終えていないマイクロホン情報があると判定した場合、処理をＳ３０３に進める。
Ｓ３１９において、指向性決定部９は、マイクロホン情報リストを指向性成分生成部３それぞれに出力する。

図１１は、Ｓ１０５の処理の詳細の一例を示すフローチャートである。
Ｓ４０１において、指向性成分生成部３は、指向性決定部９から出力されたマイクロホン情報リストから、対応するマイクロホンアレイ１のＩＤに対応するマイクロホン情報を選択する。本実施形態では、指向性成分生成部３それぞれに対応するマイクロホンアレイ１のＩＤは、予めＲＡＭ２１３に記憶されている。

Ｓ４０２において、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報に含まれる「指向性情報」から１つを選択する。以下、図１１の処理の説明において、最新のＳ４０２の処理で選択された「指向性情報」を選択指向性情報とする。
Ｓ４０３において、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報の「聴取点との距離」が閾値（Ｌ）以上か否かを判定する。指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報の「聴取点との距離」がＬ以上であると判定した場合、処理をＳ４０４に進め、Ｌ未満であると判定した場合、処理をＳ４０６に進める。

Ｓ４０４において、指向性成分生成部３は、対応するマイクロホンアレイ１により取得された全ての収音チャンネルの信号に基づき、無指向性の音響信号を生成する。本実施形態では、マイクロホンアレイ１はアンビソニックマイクロホンであるとする。この場合、指向性成分生成部３は、マイクロホンアレイ１の４つの収音チャンネル、ＬＦ（左前上向き）、ＬＢ（左後下向き）、ＲＦ（右前下向き）、ＲＢ（右後上向き）の信号について、以下の式１の計算を行うことで、無指向性の音響信号Ｗを生成する。
Ｗ＝ＬＢ−ＬＦ＋ＲＦ−ＲＢ （式１）
アンビソニックマイクロホンについては、式１のように収音信号の単純な一次加算により無指向性の音響信号を生成することができる。このように、指向性成分生成部３は、収音チャンネルの全てに共通に含まれる信号成分を、相互相関等を用いて抽出することにより、無指向性の音響信号を生成することができる。

Ｓ４０５において、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報の「聴取点から見た方向」の値を、選択指向性情報の「配置方向」の値に決定し、処理をＳ４０８に進める。これにより、後の指定聴取点における音場の情報の生成処理において、Ｓ４０４で生成された無指向性信号が、指定聴取点から見て、Ｓ４０１で選択されたマイクロホン情報に対応するマイクロホンアレイ１の方向に配置されることになる。

Ｓ４０６において、指向性成分生成部３は、対応するマイクロホンアレイ１により取得された全ての収音チャンネルの信号に基づき、選択指向性情報の「指向性種別」と「聴取点から見た指向性の方向」とに応じた音響信号を生成する。本実施形態では、マイクロホンアレイ１が水平面に対して平行な向きを正面として設置されているとする。また、選択指向性情報の「指向性種別」が単一指向性であるとする。Ｘ軸の正方向が、マイクロホンアレイ１の正面向きの方向とする。また、Ｙ軸は、Ｘ軸と垂直、かつ、水平面内に存在するとする。Ｚ軸は、ＸＹ平面に対して鉛直方向の軸となる。この場合、このマイクロホンアレイ１により取得された音響信号のＸ軸、Ｙ軸、Ｘ軸方向それぞれの成分、Ｘｓ、Ｙｓ、Ｚｓは、以下の式２で表される。指向性成分生成部３は、式２を用いてＸｓ、Ｙｓ、Ｚｓを求める。
Ｘｓ＝ＬＦ−ＲＢ＋ＲＦ−ＬＢ
Ｙｓ＝ＬＦ−ＲＢ−ＲＦ＋ＬＢ （式２）
Ｚｓ＝ＬＦ−ＬＢ＋ＲＢ−ＲＦ

この場合、マイクロホンアレイ１の正面となるＸ軸に対して水平面内で角度ψだけ回転した方向の指向性信号Ｘｓ´は、以下の式３で表される。指向性成分生成部３は、選択指向性情報の「聴取点から見た指向性の方向」が示す方向と、Ｘ軸と、画水平面内でなす角度をψとして、選択指向性情報の「聴取点から見た指向性の方向」が示す方向に係る音響信号Ｘｓ´を、式３を用いて求める。
Ｘｓ´＝（ｃｏｓψ）Ｘｓ−（ｓｉｎψ）Ｙｓ （３）
なお、アンビソニックマイクロホンと異なるマイクロホンアレイについては、ビームフォーミング等の処理計算を行うことにより、任意方向、かつ、任意の指向性を持つ音響信号を生成することができる。ただし、アレイを構成するマイクロホンユニットの数や配列により物理的な制限が発生する。

Ｓ４０７において、指向性成分生成部３は、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報の「聴取点から見た方向」の値を、選択指向性情報の「配置方向」の値に決定し、処理をＳ４０８に進める。これにより、後の指定聴取点における音場の情報の生成処理において、Ｓ４０６で生成された指向性信号が、聴取点の周囲に、疎となる方向ができないように配置されることになる。
Ｓ４０８において、指向性成分生成部３は、Ｓ４０４、又はＳ４０６で生成した音響信号に対して、Ｓ４０１で選択したマイクロホン情報の「聴取点との距離」に基づいて重み付けを行う。例えば、対象のマイクロホンアレイ１と指定聴取点との距離がｌ［ｍ］とする。この場合、指向性成分生成部３は、例えば、音響信号の時間領域における振幅を１／ｌ²倍する。

Ｓ４０９において、指向性成分生成部３は、Ｓ４０８で重みづけした音響信号を選択指向性情報内の「指向性信号データ」の値に決定する。
Ｓ４１０において、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報に含まれる全ての「指向性情報」についてＳ４０３で選択したか否かを判定する。指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報に含まれる全ての「指向性情報」についてＳ４０３で選択したと判定した場合、処理をＳ４１１に進める。また、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報に含まれる「指向性情報」の中にＳ４０３で選択されていないものがあると判定した場合、処理をＳ４０３に進める。
Ｓ４１１において、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報を音場生成部４へ出力し、図１１の処理を終了する。

図１２は、Ｓ１０６の処理の詳細の一例を示すフローチャートである。
Ｓ５０１において、音場生成部４は、指向性成分生成部３の各々から受信した全てのマイクロホン情報から１つを選択する。以下、図１２の処理の説明において、最新のＳ５０１の処理で選択されたマイクロホン情報を選択マイクロホン情報とする。
Ｓ５０２において、音場生成部４は、選択マイクロホン情報に含まれる「指向性情報」から１つを選択する。以下、図１２の処理の説明において、最新のＳ５０２の処理で選択された「指向性情報」を選択指向性情報とする。

Ｓ５０３において、音場生成部４は、選択指向性情報の「指向性信号データ」が示す音響信号の音場における配置方向を、選択指向性情報の「配置方向」に決定する。
Ｓ５０４において、音場生成部４は、Ｓ５０３で音場における配置方向を決定した音響信号を、予め定めた出力フォーマット（例えば、５．１ｃｈ、７．１ｃｈ、２２．２ｃｈ等）にレンダリングする。このようなレンダリングは、ＶＢＡＰ等のアルゴリズムを用いて音源を配置した方向周辺のチャンネルに音源信号を適宜分配することによって配置方向に定位させることで実現できる。レンダリングにより生成される音響信号（音場信号）は、設定された聴取点に対応する音響信号となり、この音響信号を出力フォーマットに応じた再生環境で再生することで、聴取点における音場を再現することができる。本実施形態では、予め定められた出力フォーマットは、予めＲＡＭ２１３に記憶されている。また、ＲＡＭ２１３には、予め定められた出力フォーマットに含まれる出力チャネルそれぞれについて、出力信号用のバッファが予め用意されている。即ち、これらのバッファに記憶される情報が、指定聴取点における音場の情報(即ち、指定聴取点に対応する音響信号）となる。

Ｓ５０５において、音場生成部４は、Ｓ５０４でのレンダリングの結果、各出力チャンネルに分配された音響信号を、出力チャンネル毎に、ＲＡＭ２１３内に用意された出力バッファに加算する。Ｓ５０５の処理によって、選択指向性情報の「指向性信号データ」の音響信号が各出力チャンネルの音響信号として適宜出力される。結果として全ての「指向性信号データ」が配置方向に配置された状態で出力されることになる。
Ｓ５０６において、音場生成部４は、選択マイクロホン情報の全ての「指向性情報」をＳ５０２で選択したか否かを判定する。音場生成部４は、選択マイクロホン情報の全ての「指向性情報」をＳ５０２で選択したと判定した場合、処理をＳ５０７に進め、選択マイクロホン情報にＳ５０２で選択されていない「指向性情報」があると判定した場合、処理をＳ５０２に進める。

Ｓ５０７において、音場生成部４は、マイクロホン情報リスト内の全てのマイクロホン情報をＳ５０１で選択したか否かを判定する。音場生成部４は、マイクロホン情報リスト内の全てのマイクロホン情報をＳ５０１で選択したと判定した場合、処理をＳ５０８に進め、マイクロホン情報リスト内にＳ５０１で選択されていないマイクロホン情報があると判定した場合、処理をＳ５０１に進める。
Ｓ５０８において、音場生成部４は、ＲＡＭ２１３に記憶された予め定められた出力フォーマットにＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｌｅｍｅｎｔ：低域周波数成分）が含まれるか否かを判定する。音場生成部４は、予め定められた出力フォーマットにＬＦＥが含まれると判定した場合、処理をＳ５０９へ進め、予め定められた出力フォーマットにＬＦＥが含まれないと判定した場合、図１２の処理を終了する。

Ｓ５０９において、音場生成部４は、各出力チャンネルに係る音響信号を加算して、予め定められたＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ：低域通過フィルタ）を掛けることにより、ＬＦＥ信号を生成する。音場生成部４は、生成したＬＦＥ信号を、ＲＡＭ２１３に用意されたＬＦＥ出力チャンネルのバッファに加算する。
図１２の処理により、ＲＡＭ２１３に用意された出力チャネルそれぞれについてのバッファに指定聴取点における音場の情報が記憶される。

以上、本実施形態では、情報処理装置２００は、指定聴取点と各マイクロホンアレイ１との位置関係に基づいて、各マイクロホンアレイ１について、１つ以上のどの指向性の音響信号を取得するかを決定する。情報処理装置２００は、各マイクロホンアレイ１について、決定した指向性の音響信号を取得し、取得した音響信号を用いて、指定聴取点における音場を再現するための信号を生成することとした。このように、情報処理装置２００は、指定聴取点と各マイクロホンアレイ１との位置関係に基づき、各マイクロホンアレイ１から取得する音響信号の指向性を決定する。これにより、情報処理装置２００は、より適切な指向性の音響信号を取得することができ、このように取得された音響信号を用いて、指定聴取点におけるより適切な音場の情報を生成できる。

＜実施形態２＞
本実施形態の情報処理装置２００は、映像信号から得られる情報を用いて、収音対象範囲で生じたイベントに応じた音場の情報の生成を行う。
まず、図１３を用いて、本実施形態の情報処理装置２００の処理の概要を説明する。図１３の例では、撮影・収音対象は、サッカーの試合が行われている競技場である。情報処理装置２００は、カメラ１０１によって撮影された映像１０１４を解析することにより、イベントである位置１０１１でのシュートを検出する。そして、情報処理装置２００は、検出したイベントの位置に最も近い位置１００９のマイクロホンアレイ１の収音信号に対して、イベントの位置に向けた指向性１０１０の音響信号を取得する。情報処理装置２００は、取得したこの信号を、聴取点１００１から見た競技イベント位置の方向である１０１２に配置して音場を生成することにより、聴取点における音場を生成する。以上が、本実施形態の情報処理装置２００の処理の概要である。

本実施形態における生成システムのシステム構成は、実施形態１と同様である。また、本実施形態の情報処理装置２００のハードウェア構成についても、実施形態１と同様である。
本実施形態における情報処理装置２００の機能構成の一例について図１４を用いて説明する。本実施形態の情報処理装置２００は、図２と同様の機能構成要素１−１３に加えて、映像取得部１０２、イベント検出部１０３を含む。
映像取得部１０２は、情報処理装置２００に接続されたカメラ１０１から受信したＲＡＷ画像に対して現像や映像調整などの処理を行って、映像信号を生成し、イベント検出部１０３に出力する。カメラ１０１は、撮影対象範囲の撮像をＣＭＯＳ等のセンサーで画素ごとに取り込み、ＡＤ変換したデジタル映像信号を出力する撮像装置である。

イベント検出部１０３は、映像取得部１０２から出力された映像信号を解析して、イベント（例えば、サッカーにおけるキックやシュート、ゴール等）の発生と発生位置とを検出する。そして、イベント検出部１０３は、検出した情報をイベント情報として、イベントの発生位置に最も近いマイクロホンアレイ１に対応する指向性成分生成部３へ出力する。
イベント情報を受信した指向性成分生成部３は、受信したイベント情報に基づいて、イベントの発生位置に向けた指向性の音響信号を生成し、出力する。

図１５は、本実施形態の情報処理装置２００の処理の一例を示すフローチャートである。図１５のＳ１０１−Ｓ１０４、Ｓ１０６−Ｓ１１１それぞれの処理は、図５と同様である。
本実施形態では、情報処理装置２００は、Ｓ１０１−Ｓ１０４の処理と、Ｓ１００１−Ｓ１００２の処理と、を並列実行する。
Ｓ１００１において、映像取得部１０２は、カメラ１０１から受信したＲＡＷ画像に対して、予め定められた処理（現像や映像調整等の処理）を行うことで、映像信号を生成し、イベント検出部１０３に出力する。

Ｓ１００２において、イベント検出部１０３は、Ｓ１００１で出力された映像信号を解析し、イベントの検出を行う。Ｓ１００２の処理の詳細は、図１６で後述する。
Ｓ１００３において、指向性成分生成部３は、Ｓ１０４で生成した「指向性情報」と、Ｓ１００２で生成されたイベント情報と、に基づいて、撮影・収音対象の範囲の外側やイベントの発生位置に向けた指向性の音響信号を生成する。Ｓ１００３の処理の詳細は、図１８で後述する。

図１６は、Ｓ１００２の処理の詳細の一例を示すフローチャートである。
Ｓ１１０１において、イベント検出部１０３は、映像取得部１０２から出力された映像信号を解析し、予め定められた被写体オブジェクト（例えば、人物やボール等）を検出して抽出する。イベント検出部１０３は、例えば、映像信号から輪郭を抽出し、その形状に対して学習結果に基づく認識処理を行う等の方法で、被写体オブジェクトを検出する。

Ｓ１１０２において、イベント検出部１０３は、時間的に連続するフレームにおいて同じオブジェクトと判定された物の位置を追っていくことにより、被写体オブジェクトの軌跡を抽出する。
Ｓ１１０３において、イベント検出部１０３は、Ｓ１１０１で検出した被写体オブジェクト、Ｓ１１０２で取得された軌跡の少なくとも１つに基づいて、予め定められたイベントを検出する。イベント検出部１０３は、例えば、撮影対象としている競技がサッカーで、被写体オブジェクトとしてボールを検出し、ボールの軌跡が人物と認識されたオブジェクトと接触して方向転換した場合、キックが発生しているとして、イベントとしてキックを検出する。

Ｓ１１０４において、イベント検出部１０３は、イベント情報を新規に生成して、ＲＡＭ２１３に記憶する。
Ｓ１１０４で生成されるイベント情報のデータ構造について、図１７を用いて説明する。競技イベント情報は、「マイクロホンＩＤ」と、「イベント発生座標」と、の項目を含む。「マイクロホンＩＤ」は、対応するイベントが発生した位置に最も近いマイクロホンアレイ１のＩＤを示す。「イベント発生座標」は、対応するイベントが発生した位置のＸＹＺ座標系における座標を示す。Ｓ１１０４の処理の完了時点では、Ｓ１１０４で生成されたイベント情報の「マイクロホンＩＤ」と「イベント発生座標」との項目には、予め定められた初期値が入力されている。

Ｓ１１０５において、イベント検出部１０３は、映像取得部１０２から出力された映像信号における被写体オブジェクト位置に基づき、イベントが発生した位置の実空間（ＸＹＺ座標系）における座標を検出する。イベント検出部１０３は、映像信号内に撮影されている実空間の３Ｄモデル上にマッピングを行う手法等を用いる。例えば、イベント検出部１０３は、映像信号上の複数の目印（例えば、ピッチ上の白線の角等）と実空間上の座標とのマッピングを事前に行っておく。そして、イベント検出部１０３は、イベントが発生した時点のフレームにおいて、処理対象のオブジェクトと、フレーム上におけるこれら目印との位置関係より、実空間モデルに落とし込むことにより実空間上の座標を推定する。イベント検出部１０３は、検出した座標を、Ｓ１１０４で生成したイベント情報の「イベント発生座標」に記憶する。

Ｓ１１０６において、イベント検出部１０３は、マイクロホンアレイ１のうち、Ｓ１１０６で検出した座標が示すイベントの発生位置に最も近いマイクロホンアレイ１を、座標管理部８により管理される座標に基づき特定する。そして、イベント検出部１０３は、特定したマイクロホンアレイ１のＩＤをＳ１１０４で生成したイベント情報の「マイクロホンＩＤ」に記憶する。
Ｓ１１０７において、イベント検出部１０３は、Ｓ１１０６で記憶したＩＤのマイクロホンアレイ１に対応する指向性成分生成部３に、ＲＡＭ２１３に記憶されたイベント情報を出力する。

図１８は、Ｓ１００３の処理の詳細の一例を示すフローチャートである。図１８のＳ４０１、Ｓ４０２−Ｓ４０６、Ｓ４０７−Ｓ４１０それぞれの処理は、図１１と同様である。
Ｓ１２０１において、指向性成分生成部３は、イベント検出部１０３からイベント情報を受信したか否かを判定する。指向性成分生成部３は、イベント検出部１０３からイベント情報を受信したと判定した場合、処理をＳ１２０２に進め、イベント検出部１０３からイベント情報を受信していないと判定した場合、処理をＳ４０２に進める。

Ｓ１２０２において、指向性成分生成部３は、新規に「指向性情報」を生成し、Ｓ４０１で選択したマイクロホン情報に追加する。
Ｓ１２０３において、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報に格納されている「マイクロホン座標」と、イベント検出部１０３から受信したイベント情報に格納されている「イベント発生座標」と、を用いて、以下の処理を行う。即ち、指向性成分生成部３は、「マイクロホン座標」の位置から「イベント発生座標」の位置を見た方向を求める。そして、指向性成分生成部３は、求めた方向の情報を、Ｓ１２０２で生成した「指向性情報」の「聴取点から見た指向性の方向」の値に決定する。これにより、以降のＳ４０６の処理において、マイクロホンアレイ１からイベントの発生位置への方向に向けた指向性の音響信号が生成される。

Ｓ１２０４において、指向性成分生成部３は、Ｓ４０１で選択したマイクロホン情報の「聴取点座標」及び「聴取点向き」と、イベント検出部１０３から受信したイベント情報の「イベント発生座標」と、を用いて、以下の処理を行う。即ち、指向性成分生成部３は、指定聴取点からイベントの発生位置を見た場合の方向を求める。そして、指向性成分生成部３は、求めた方向の情報を、Ｓ１２０２で生成した「指向性情報」の「配置方向」の値として決定する。
これにより、情報処理装置２００は、後のＳ１０６の処理で、発生したイベントに係る音響信号を、指定聴取点から見たそのイベントの発生方向に配置することができる。

Ｓ１２０５において、指向性成分生成部３は、Ｓ１２０２で生成した「指向性情報」の「指向性種別」の値を、予め定めた指向性の種類を示す値に決定する。なお、予め定めた指向性の種類の情報は、予めＲＡＭ２１３に記憶されている。
Ｓ１２０６において、指向性成分生成部３は、Ｓ４０２で選択した選択指向性情報の「配置方向」の値が決定されているか否かを判定する。指向性成分生成部３は、選択指向性情報の「配置方向」の値が決定されていると判定した場合、処理をＳ４０８に進め、選択指向性情報の「配置方向」の値が決定されていないと判定した場合、処理をＳ４０７に進める。

以上、本実施形態の処理により、情報処理装置２００は、発生したイベントに係る音響信号が適切な方向に配置された音場を生成できる。
本実施形態では、生成システムは、イベントの種類に関わらず、一律に同じ指向性のイベントに係る音響信号を取得することとした。ただし、生成システムは、イベントの種類を検出し、検出したイベントの種類に応じて、イベントに係る音響信号の指向性の種類を変更するようにしてもよい。例えば、生成システムは、ラグビーにおけるキックのイベントについてはより狭い指向性の音響信号を取得し、ラインアウトやスクラムの場合は単一指向性等のより広い指向性の音響信号を取得するようにしてもよい。

＜その他の実施形態＞
実施形態１、２では、位置、方向を、それぞれ、三次元座標系の座標値、水平角と俯角とロール角との組み合わせで表現されることとした。ただし、位置、方向を、他の形式で表現されることとしてもよい。
また、実施形態１、２では、生成システムの収音部は、マイクロホンアレイ１であるとした。ただし、生成システムは、収音部として、指向特性の異なる複数のマイクロホンを含む収音部であれば、マイクロホンアレイと異なる収音部を含むこととしてもよい。例えば、生成システムは、収音部として、無指向性マイクロホンと複数の指向性マイクロホンとの組み合わせを用いることとしてもよい。その場合、生成システムは、指定聴取点からの距離に応じて、収音部において使用されるマイクロホンを適宜選択するようにしてもよい。

また、実施形態１、２では、生成システムは、マイクロホンアレイ１により収音された信号を即時に処理することによって音場生成を行っている。ただし、他の例として、生成システムは、マイクロホンアレイ１群で収音した信号を記憶メディアに一旦記憶しておき、収音後に聴取点座標・向きの決定指示操作を行うことによって音場生成を行うようにしてもよい。
また、実施形態１、２では、生成システムは、指定聴取点との距離が閾値Ｌ以上のマイクロホンアレイ１について、無指向性の音響信号を取得することとした。ただし、生成システムは、指定聴取点との距離が閾値Ｌ以上のマイクロホンアレイ１について、マイクロホンアレイ１から見て、聴取点方向と逆向きの指向性を持つ音響信号を取得してもよい。その場合、生成システムは、指定聴取点から見たマイクロホン方向に配置することで、指定聴取点における音場を生成してもよい。

また、実施形態１、２では、生成システムは、指向性成分生成部３を介し、取得した音響信号に対して、指定聴取点からの距離による重み付けを行うこととした。ただし、生成システムは、指向性成分生成部３を介して重み係数だけを求めて、後に、音場生成部４を介して、レンダリングの際に重み付けを行うようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した生成システムの機能構成の一部又は全てをハードウェアとして情報処理装置２００に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。

１０１ マイクロホンアレイ
２００ 情報処理装置
２１１ ＣＰＵ

Claims (11)

1. 複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と前記複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得する取得手段と、
   前記取得手段により前記複数の収音部それぞれの収音信号から取得された音響信号に基づいて、前記聴取点に対応する音響信号を生成する生成手段と、
   を有する情報処理装置。
2. 前記生成手段は、前記取得手段により前記複数の収音部それぞれについて取得された音響信号と、前記聴取点と前記複数の収音部との位置関係と、に基づいて、前記聴取点に対応する音響信号を生成する請求項１に記載の情報処理装置。
3. 前記生成手段は、前記取得手段により前記複数の収音部それぞれについて取得された音響信号であって、音響信号に対応する収音部と前記聴取点との距離が小さい程、重くなるように重み付けされた音響信号に基づいて、前記聴取点に対応する音響信号を生成する請求項１又は２に記載の情報処理装置。
4. 前記取得手段は、前記聴取点と収音部との距離が設定された閾値以上である場合、前記収音部について無指向性の音響信号を取得する請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記取得手段は、前記聴取点と収音部との距離が設定された閾値以上である場合、前記収音部について、前記収音部に対して前記聴取点の方向と逆向きの方向に係る指向性の音響信号を取得する請求項１乃至３の何れか１項に記載の情報処理装置。
6. 前記取得手段は、前記聴取点と収音部との距離が設定された閾値未満である場合、前記収音部について、前記聴取点から見て他の収音部の方向と異なる１つ以上の方向それぞれに係る音響信号を取得する請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記取得手段は、前記聴取点と収音部との距離が予め定められた閾値未満である場合、前記収音部について、前記収音部の両隣の２つの収音部の一方の収音部と前記聴取点とを結ぶ線分と、前記２つの収音部の他方の収音部と前記聴取点とを結ぶ線分と、のなす角αと、前記収音部と異なる２つの収音部であって、互いに隣接する前記２つの収音部の一方の収音部と前記聴取点とを結ぶ線分と、前記２つの収音部の他方の収音部と前記聴取点とを結ぶ線分と、のなす角βと、に基づいて決定された数だけ、指向性の異なる音響信号を取得する請求項１乃至６の何れか１項に記載の情報処理装置。
8. 収音対象の範囲において発生したイベントを検出する検出手段を更に有し、
   前記取得手段は、更に、前記複数の収音部それぞれと前記検出手段により検出されたイベントとの距離に応じて前記複数の収音部から決定される収音部について、前記収音部から前記イベントへ向かう指向性の音響信号を取得し、
   前記生成手段は、前記取得手段により取得された前記収音部から前記イベントへ向かう指向性の音響信号の配置方向を、前記聴取点から見て前記イベントの方向として、前記聴取点に対応する音響信号を生成する請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記複数の収音部それぞれは、マイクロホンアレイである請求項１乃至８の何れか１項に記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    複数のマイクロホンをそれぞれ含む複数の収音部それぞれの収音信号から、設定された聴取点と前記複数の収音部との位置関係に応じて決定される数の指向方向それぞれに応じた音響信号を取得する取得ステップと、
    前記取得ステップで前記複数の収音部それぞれの収音信号から取得された音響信号に基づいて、前記聴取点に対応する音響信号を生成する生成ステップと、
    を含む情報処理方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。

Images