JP2018037842A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能な仕組みを提供する。【解決手段】情報処理システム１は、特定の空間に係る映像情報を取得する映像情報取得部４００Ａ、４００Ｂと、映像情報に係る映像における、特定の空間における第１の領域の表示態様に係る情報に応じて、第１の領域に係る第１の音情報および特定の空間における第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成する音出力制御部と、を備える。【選択図】図１

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

近年、情報通信技術の発達により、遠隔地の状況を伝達する技術が研究開発されるようになっている。具体的には、遠隔地の映像および音を配信するシステムがある。このようなシステムでは、視聴者がさも遠隔地にいるような臨場感を与えることが望まれる。

臨場感を与える方法として、視聴が所望される音以外の雑音を抑制することが考えられる。例えば、特許文献１では、マイクロホンアレーを用いて背景雑音の量を減衰させる収音装置に係る発明が開示されている。当該収音装置は、電話会議システムなどに活用されることが想定されている。

また、視聴者に臨場感を与えるためには、配信される映像と音とが位置について合致していることが望ましい。例えば、特許文献２では、監視区域の撮影により得られる画像および当該監視区域の音声を取得し、取得された画像の送信中に取得された音声を送信する画像監視装置に係る発明が開示されている。

特開２００７−２３５３５８号公報 特開２０１０−２３３１４５号公報

しかし、上述した発明に代表される従来技術では、臨場感が不足するおそれがあるという問題があった。例えば、特許文献１で開示される収音装置を用いた電話会議システムでは、常に局所的な音のみが配信されるため、視聴者が違和感を覚えるおそれがある。また、特許文献２で開示される画像監視装置では、監視区域全体の音が送信されるため、視聴者は監視区域の一部の音を局所的に聴くことが困難である。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能な仕組みを提供することにある。

上記課題を解決するために、本発明のある観点によれば、特定の空間に係る映像情報を取得する映像情報取得部と、前記映像情報に係る映像における、前記特定の空間における第１の領域の表示態様に係る情報に応じて、前記第１の領域に係る第１の音情報および前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成する音出力制御部と、を備える情報処理装置が提供される。

また、前記表示態様に係る情報は、前記第１の領域の大きさを示す情報を含んでもよい。

また、前記表示態様に係る情報は、前記映像情報に係るズーム情報を含んでもよい。

また、前記表示態様に係る情報は、前記映像情報に係る映像についての仮想的な視聴位置と前記映像情報に係る映像における前記第１の領域との位置関係を示す情報を含んでもよい。

また、前記音出力に係る制御情報は、前記第１の音情報および前記第２の音情報に基づく音の混合に係る制御情報を含んでもよい。

また、前記音の混合に係る制御情報は、前記第１の音情報および前記第２の音情報の音量制御情報を含んでもよい。

また、前記第１の領域は、前記表示態様に係る情報に応じて特定される領域を含んでもよい。

また、前記第１の領域は、指定操作情報に基づいて特定される指定領域を含んでもよい。

また、前記指定操作情報に係る操作は、前記第１の領域の選択操作または前記映像情報に係る映像における物体の選択操作を含んでもよい。

また、前記第１の領域は、前記指定領域に応じて特定される領域を含んでもよい。

また、前記音出力に係る制御情報は、前記指定領域の特定に応じて生成されてもよい。

また、前記音出力に係る制御情報は、前記表示態様に係る情報の変化に応じて生成されてもよい。

また、前記音出力に係る制御情報は、前記映像情報の変更に応じて生成されてもよい。

また、前記第１の音情報は、前記第２の音情報からの抽出により生成されてもよい。

また、前記音出力制御部は、前記音出力に係る制御情報の生成に用いられる前記第１の音情報に応じて複数の前記第２の音情報から前記音出力に係る制御情報の生成に用いられる前記第２の音情報を選択してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、特定の空間における第１の領域に係る第１の音情報と、前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報と、を取得する音情報取得部と、前記特定の空間に係る映像情報を取得する映像情報取得部と、前記映像情報に係る映像における前記第１の領域の表示態様に係る情報に応じて、前記第１の音情報および前記第２の音情報に基づく音出力に係る制御情報を生成する音出力制御部と、前記音出力に係る制御情報に基づいて前記第１の音情報および前記第２の音情報に基づく音出力を行う音出力部と、を備える情報処理システムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、プロセッサを用いて、特定の空間に係る映像情報を取得することと、前記映像情報に係る映像における、前記特定の空間における第１の領域の表示態様に係る情報に応じて、前記第１の領域に係る第１の音情報および前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成することと、を含む情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、特定の空間に係る映像情報を取得する映像情報取得機能と、前記映像情報に係る映像における、前記特定の空間における第１の領域の表示態様に係る情報に応じて、前記第１の領域に係る第１の音情報および前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成する音出力制御機能と、をコンピュータに実現させるためのプログラムが提供される。

以上説明したように本発明によれば、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能な仕組みが提供される。

本発明の一実施形態に係る情報処理システムの概要を説明するための図である。 本発明の一実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。 本発明の一実施形態に係る情報処理システムにおいて再生される映像の例を説明するための図である。 本発明の一実施形態に係る情報処理システムにおいて再生される映像の例を説明するための図である。 本発明の一実施形態に係る情報処理システムにおいて再生される映像の例を説明するための図である。 本発明の一実施形態に係る情報処理システムにおける音制御のパターン例を示す図である。 本発明の一実施形態に係る情報処理システムにおけるターゲットが未選択である場合の処理の例を概念的に示す図である。 本発明の一実施形態に係る情報処理システムにおけるターゲットが選択された場合の処理の例を概念的に示す図である。 本発明の一実施形態に係る情報処理システムにおける映像が切り替えられた場合の処理の例を概念的に示す図である。 本発明の一実施形態に係る情報処理システムにおける映像がさらに切り替えられた場合の処理の例を概念的に示す図である。 本発明の一実施形態の第１の変形例に係る情報処理システムにおける音制御のパターン例を示す図である。 本発明の一実施形態の第１の変形例に係る情報処理システムにおける音制御の別のパターン例を示す図である。 本発明の一実施形態の第２の変形例に係る情報処理システムの処理の例を概念的に示す図である。 本発明の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の構成を、必要に応じて撮影装置４００Ａおよび撮影装置４００Ｂなどのように区別する。ただし、実質的に同一の機能構成を区別する必要が無い場合、同一符号のみを付する。例えば、撮影装置４００Ａおよび撮影装置４００Ｂを特に区別する必要がない場合には、単に撮影装置４００と称する。

＜１．本発明の一実施形態＞
本発明の一実施形態に係る情報処理システム１および当該情報処理システムの構成要素の１つである情報処理装置１００について説明する。

＜１．１．システムの概要＞
まず、図１を参照して、情報処理システム１の概要について説明する。図１は、本発明の一実施形態に係る情報処理システム１の概要を説明するための図である。

情報処理システム１は、情報処理装置１００、収音装置２００、エリア音生成装置３００、撮影装置４００およびメディア再生装置５００を備える。情報処理システム１では、収音装置２００および撮影装置４００が同一の空間に配置され、収音装置２００および撮影装置４００は当該空間で収音および撮影を行う。

ここで、情報処理システム１では、収音および撮影の対象となる空間（以下、対象空間とも称する。）が複数の領域（以下、エリアとも称する。）に分割される。例えば、対象空間は、図１に示したようなエリアＡ〜エリアＩに分割される。なお、収音装置２００は、当該エリアよりも広い範囲について収音する。

エリア音生成装置３００は、収音装置２００の収音により得られる音（以下、広範囲音とも称する。）情報（第２の音情報）に基づいて、各エリアにおいて知覚されると想定される音（以下、エリア音とも称する。）情報（第１の音情報）をエリア毎に生成する。例えば、エリア音生成装置３００は、収音装置２００Ａ〜２００Ｄなどから得られる広範囲音情報に基づいてエリアＡ〜エリアＩについてのエリア音情報をそれぞれ生成する。なお、エリア音の生成には、既存技術が用いられてよい。

そして、情報処理装置１００は、メディア再生装置５００に再生させる映像および音を制御する。具体的には、情報処理装置１００は、撮影装置４００を制御することによりメディア再生装置５００に映像情報を提供する。また、情報処理装置１００は、映像の態様に応じて、収音装置２００から得られた広範囲音情報およびエリア音生成装置３００から得られたエリア音情報の混合処理により得られる音情報（以下、混合音情報とも称する。）を生成し、生成された混合音情報をメディア再生装置５００に提供する。メディア再生装置５００は、提供された映像情報および混合音情報に基づいて映像および音を再生する。例えば、情報処理装置１００は、図１に示したようなエリアＥを中心としたズームイン制御を撮影装置４００Ａに指示する。撮影装置４００Ａは、指示に基づいて撮影により得られた映像から切り出された映像、または指示に基づいて光学系を制御することにより拡大された映像を映像情報としてメディア再生装置５００に提供する。また、情報処理装置１００は、映像に大きく映っているエリアＥについてのエリア音情報と広範囲音情報との混合処理により得られる混合音情報をメディア再生装置５００に提供する。

このように、情報処理システム１は、映像に合わせてエリア音と広範囲音との混合音を再生する。そのため、再生される映像において視聴者が聴きたい音であると想定される音（以下、所望音とも称する。）を明瞭化しながら当該所望音以外の音（以下、背景音とも称する。）を再生することができる。例えば、図１に示したように、メディア再生装置５００により再生される映像においてフォーカスされているエリアＥについてのエリア音（すなわち所望音）が再生されると共に、エリアＥ周辺の広範囲音（すなわち背景音）が再生される。そのため、エリアＥにおける「これどうですか」といった音声だけでなく、エリアＥに隣接するエリアＦにおける「こんにちは」という音声も視聴者の耳に入ってくることになり、視聴者があたかもエリアＥ付近にいるような臨場感を与えることができる。

なお、図１では、収音装置２００および撮影装置４００が複数配置される例を説明したが、収音装置２００および撮影装置４００は単数であってもよい。

＜１．２．システムの構成＞
次に、図２を参照して、本発明の一実施形態に係る情報処理システム１の構成について説明する。図２は、本発明の一実施形態に係る情報処理システム１の概略的な機能構成の例を示すブロック図である。

図２に示したように、情報処理システム１は、情報処理装置１００、収音装置２００、エリア音生成装置３００、撮影装置４００およびメディア再生装置５００を備える。各装置は、通信を介して接続される。以下、各装置の機能について詳細に説明する。

［情報処理装置］
情報処理装置１００は、メディア制御部１０１および音混合部１０２を備える。なお、メディア制御部１０１および音混合部１０２は、通信部（図示せず。）を介して外部の装置から情報を受信したり、外部の装置へ情報を送信したりする。

メディア制御部１０１は、メディア再生装置５００に再生させる映像および音を制御する。具体的には、メディア制御部１０１は、撮影装置４００を制御することによりメディア再生装置５００に再生させる映像を制御する。例えば、メディア制御部１０１は、撮影有無、制御パラメタおよび配信有無などを示す映像制御情報を生成し、撮影装置４００に生成された映像制御情報を提供する。制御パラメタとしては、映像の一部を切り出すデジタルズームまたは映像を拡大もしくは縮小する光学ズームに係るズーム情報およびパンまたはチルトに係る撮影方向情報などがある。以下では、映像制御としてデジタルズームが行われる場合について説明する。

また、メディア制御部１０１は、撮影装置４００から取得される映像情報を用いて、メディア再生装置５００に再生させる音を制御する。具体的には、メディア制御部１０１は、映像情報取得部として、撮影装置４００から映像情報を取得し、音出力制御部として、映像情報に係る映像におけるエリアの表示態様に係る情報（以下、エリアクローズアップ指標とも称する。）に応じて、エリア音情報および広範囲音情報に基づく音出力に係る制御情報（以下、音制御情報とも称する。）を生成する。エリアクローズアップ指標としては、エリアの大きさを示す情報がある。また、音制御情報の生成に関わるエリアは、指定操作情報に基づいて特定される指定領域（以下、目的エリアとも称する。）ならびに目的エリアに応じて特定される領域（以下、第１近傍エリアとも称する。）およびエリアクローズアップ指標に応じて特定される領域（以下、第２近傍エリアとも称する。）がある。例えば、メディア制御部１０１は、目的エリア、第１近傍エリアまたは第２近傍エリアについてのエリア音情報および広範囲音情報に基づく音の混合に係る音制御情報を生成する。生成された音制御情報は、音混合部１０２に提供される。なお、以下では、第１近傍エリアおよび第２近傍エリアを区別しない場合には、単に近傍エリアとも称する。

さらに、図３〜図５および図６を参照して、音制御処理の例について説明する。図３〜図５は、本発明の一実施形態に係る情報処理システム１において再生される映像の例の各々をそれぞれ説明するための図である。図６は、本発明の一実施形態に係る情報処理システム１における音制御のパターン例を示す図である。

（音制御パターン１）
メディア制御部１０１はまず、目的エリアの設定を試みる。具体的には、メディア制御部１０１は、エリアの選択操作または映像情報に係る映像における物体の選択操作に基づいて目的エリアを設定する。例えば、メディア制御部１０１は、フォーカスのターゲットとなる映像上のエリアまたは物体の選択有無を判定する。図３の例では、ターゲットが未選択であるため、目的エリアは設定されない。なお、エリアまたは物体の選択操作情報は、メディア再生装置５００などの装置から提供されてよい。

目的エリアが設定されない場合、メディア制御部１０１は、第２近傍エリアを設定する。具体的には、メディア制御部１０１は、映像において面積が閾値以上であるエリアを第２近傍エリアとして設定する。例えば、図３に示したようなエリアＨおよびエリアＩが第２近傍エリアとして設定される。なお、映像における複数のエリアのうち相対的に面積が大きいエリアが第２近傍エリアとして設定されてもよい。このように、ターゲットが選択されていない場合は、映像についての仮想的な視聴位置（例えば撮影位置）が相対的に近いエリアのエリア音を混合することにより、映像に対する臨場感を視聴者に与えることができる。

そして、メディア制御部１０１は、目的エリアの設定有無に応じて、エリア音と広範囲音との混合にかかる音制御情報を生成する。音の混合に係る音制御情報としては、音量制御情報がある。例えば、メディア制御部１０１は、目的エリア（すなわちターゲット）が未選択であるため、図６の上段に示したような音量増幅率で広範囲音および近傍エリア音を音混合部１０２に混合させるための音制御情報を生成する。ここでは、ターゲットが選択されていないため、広範囲音の音量増幅率が近傍エリア音よりも高く設定される。

なお、図６の例では、いずれかの音の音量が増幅され（音量増幅率が１以上である）、他の音の音量が減衰される（音量増幅率が１未満である）場合について説明したが、音量の相対関係が維持される範囲で全ての音の音量が増幅または減衰されてもよい。例えば、音制御パターン１について、広範囲音の音量増幅率が３．６で、近傍エリア音の音量増幅率が１．０に設定されもよい。また、音制御パターン１について、広範囲音の音量増幅率が０．９で、近傍エリア音の音量増幅率が０．２５に設定されてもよい。

（音制御パターン２）
目的エリアが設定される場合、メディア制御部１０１は、第１近傍エリアを設定する。例えば、エリアＥまたはエリアＥに位置する人がターゲットとして選択されるため、エリアＥが目的エリアとして設定される。そして、メディア制御部１０１は、目的エリアであるエリアＥ以外のエリアであって映像における面積が閾値以上のエリアＦを第１近傍エリアとして設定する。

そして、メディア制御部１０１は、目的エリアについてのエリアクローズアップ指標に応じて、エリア音と広範囲音との混合に係る音制御情報を生成する。具体的には、メディア制御部１０１は、エリアクローズアップ指標に応じて、エリア音および広範囲音の音量の比率を制御する。詳細には、メディア制御部１０１は、目的エリアについてのエリアクローズアップ指標が小さいほど（すなわちクローズアップの程度が小さいほど）、広範囲音の比率を上げる。例えば、メディア制御部１０１は、エリアＥが目的エリア（すなわちターゲット）として選択されているため、映像におけるエリアＥの面積と閾値との関係を判定する。エリアＥの面積が閾値未満であると判定されると、メディア制御部１０１は、図６の中段に示したような音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。ここでは、広範囲音、近傍エリア音、目的エリア音の順に音量増幅率が低くなるようにそれぞれの音量増幅率が設定される。このため、広範囲音が目的エリア音よりも大きく聴こえるため、視聴者に目的エリアを遠くに感じさせることができる。さらに、第１近傍エリア音が混合されることにより、混合音が層状になり、混合音に対する現実感を向上させることができる。また、第１近傍エリア音が広範囲音よりも小さく目的エリア音よりも大きく聴こえるため、第１近傍エリア音に対する現実感を視聴者に与えることができる。

（音制御パターン３）
また、メディア制御部１０１は、目的エリアについてのエリアクローズアップ指標が大きいほど（すなわちクローズアップの程度が大きいほど）、目的エリア音の比率を上げる。例えば、目的エリアが設定され、映像における目的エリアの面積が閾値以上であると判定されると、メディア制御部１０１は、図６の下段に示したような音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。ここでは、広範囲音、近傍エリア音、目的エリア音の順に音量増幅率が高くなるようにそれぞれの音量増幅率が設定される。このため、目的エリア音が広範囲音および第１近傍エリア音よりも大きく聴こえるため、視聴者に目的エリアを近くに感じさせることができる。また、第１近傍エリア音が目的エリア音よりも小さく広範囲音よりも大きく聴こえるため、第１近傍エリア音に対する現実感を視聴者に与えることができる。

なお、上記では、エリアの面積の閾値との比較結果に応じて音量増幅率が決定される例を説明したが、エリアの面積に係る数値に応じて音量増幅率が決定されてもよい。例えば、メディア制御部１０１は、エリアの面積の増加に比例して音量増幅率が増加するように制御してよい。

（音制御パターンの切り替え）
メディア制御部１０１は、状況に応じて音制御のパターンを切り替える。具体的には、メディア制御部１０１は、目的エリアの特定に応じて音制御情報を生成する。例えば、メディア制御部１０１は、目的エリアの有無の変化に応じて、図６に示したようなパターンのいずれかに対応する音制御情報を生成し、生成される音制御情報を音混合部１０２に提供する。これにより、音制御パターンを切り替えることができる。

また、メディア制御部１０１は、エリアクローズアップ指標の変化に応じて音制御情報を生成してもよい。例えば、メディア制御部１０１は、映像における目的エリアまたは近傍エリアの面積の変化に応じて、図６に示したようなパターンのいずれかに対応する音制御情報を生成し、生成される音制御情報を音混合部１０２に提供する。

以上、メディア制御部１０１の機能について説明した。続いて、音混合部１０２の機能について説明する。音混合部１０２は、メディア制御部１０１の指示に基づいて、広範囲音情報およびエリア音情報の混合処理を行う。具体的には、音混合部１０２は、メディア制御部１０１からの音制御御情報により指示される混合処理対象の音情報について指示される音量増幅率で混合処理を行い、混合音情報を生成する。例えば、音混合部１０２は、音制御情報の示すエリア音情報および広範囲音情報を取得し、取得されたエリア音情報に係る音と広範囲音情報に係る音とが音制御情報の示す音量増幅率に応じて混合させられた音に係る混合音情報を生成する。そして、音混合部１０２は、生成された混合音情報をメディア再生装置５００に提供する。なお、音混合部１０２は、エリア音または広範囲音をそのままメディア再生装置５００に提供してもよい。

［収音装置］
収音装置２００は、収音装置２００の周辺における音について収音する。具体的には、収音装置２００は、収音により音情報を生成する。例えば、収音装置２００は、マイクロホンまたはマイクロホンアレーである。

［エリア音生成装置］
エリア音生成装置３００は、音情報からエリア音情報を生成する。具体的には、エリア音生成装置３００は、収音装置２００から得られる広範囲音に基づいてエリア音情報を生成する。例えば、エリア音生成装置３００は、広範囲音から特定のエリアにおける音を抽出することによりエリア音情報を生成する。生成されたエリア音情報は、情報処理装置１００の音混合部１０２に提供される。

［撮影装置］
撮影装置４００は、撮影装置４００の周辺を撮影する。具体的には、撮影装置４００は、メディア制御部１０１の指示に基づいて、撮影および撮影により得られる映像情報の提供を行う。例えば、撮影装置４００は、メディア制御部１０１からの映像制御情報に基づいて、撮影装置４００が設置される空間を撮影し、撮影により得られる画像（静止画または動画）などの撮影情報をメディア再生装置５００に提供する。

［メディア再生装置］
メディア再生装置５００は、映像および音を再生する。具体的には、メディア再生装置５００は、撮影装置４００から提供される映像情報および情報処理装置１００の音混合部１０２から提供される混合音情報に基づいて映像および音を再生する。例えば、メディア再生装置５００は、音出力機能付きの表示装置である。なお、メディア再生装置５００は、音出力装置および表示装置などの複数の装置の集合体であってもよく、当該複数の装置の各々が独立して動作してもよい。

また、メディア再生装置５００は、入力装置として動作してもよい。具体的には、メディア再生装置５００は、ユーザの操作入力を受け付け、入力情報を生成する。例えば、メディア再生装置５００は、ユーザによるターゲットを指定する操作を受け付け、上述した指定操作情報を生成する。

＜１．３．システムの処理＞
次に、本発明の一実施形態に係る情報処理システム１の処理について説明する。ここでは、ターゲット選択および映像の各状況における処理の流れを図７〜図１０を参照してそれぞれ説明する。

（ターゲット未選択）
まず、図７を参照して、ターゲットが未選択である場合の処理について説明する。図７は、本発明の一実施形態に係る情報処理システム１におけるターゲットが未選択である場合の処理の例を概念的に示す図である。

収音装置２００は、継続的に広範囲音情報を音混合部１０２およびエリア音生成装置３００に送信する（ステップＳ６０１）。具体的には、収音装置２００は、収音により広範囲音情報を生成する。なお、音情報には、音情報を識別するための音ＩＤ（Identifier）が付与される。例えば、広範囲音情報には、audioWという音ＩＤが付与される。

エリア音生成装置３００は、広範囲音情報に基づいてエリア音情報を生成し（ステップＳ６０２）、生成されたエリア音情報を音混合部１０２に送信する（ステップＳ６０３）。具体的には、エリア音生成装置３００は、広範囲音情報からエリアＡ〜エリアＩについてのエリア音情報（音ＩＤ：audioA〜auidoI）をそれぞれ生成する。そして、エリア音生成装置３００は、生成されたエリア音情報を音混合部１０２に送信する。なお、エリア音生成装置３００は、音混合部１０２からの要求に応じてエリア音情報を送信してもよい。

メディア制御部１０１は、映像制御情報としての映像制御メッセージを撮影装置４００に送信する（ステップＳ６０４）。具体的には、メディア制御部１０１は、撮影の開始、映像配信の開始、ズーム率の１００％（すなわちズームなし）への設定を指示する映像制御メッセージを生成する。そして、メディア制御部１０１は、生成された映像制御メッセージを撮影装置４００に送信する。

撮影装置４００は、映像制御メッセージに基づいて動作し、映像情報をメディア制御部１０１に送信する（ステップＳ６０５）。具体的には、撮影装置４００は、受信された映像制御メッセージに基づいて、撮影を開始し、撮影により得られた映像情報をメディア制御部１０１に送信する。なお、この時点ではメディア再生装置５００に映像情報が送信されないとしてもよい。

次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６０６）。具体的には、メディア制御部１０１は、視聴者により選択されるターゲットに基づいて目的エリアを設定する。ここでは、ターゲットが未選択であるため、目的エリアは設定されない。

また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６０７）。具体的には、メディア制御部１０１は、映像情報に基づいて近傍エリアを設定する。ここでは、目的エリアが設定されていないため、映像における面積が閾値以上であるエリアＨおよびエリアＩが第２近傍エリアとして設定される。

そして、メディア制御部１０１は、音制御情報としての音制御メッセージを音混合部１０２に通知する（ステップＳ６０８）。具体的には、メディア制御部１０１は、広範囲音情報および第２近傍エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、ターゲットが未選択すなわち目的エリアが未設定であるため、音制御パターン１が適用され、audioWの音量増幅率＝１．８、audioHおよびauidoIの音量増幅率＝０．５を示す音制御メッセージが通知される。

音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６０９）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率１．８で、audioHおよびaudioIの音情報をそれぞれ音量増幅率０．５で、混合処理し、混合音情報を生成する。

撮影装置４００は、映像情報をメディア再生装置５００に送信し（ステップＳ６１０）、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信する（ステップＳ６１１）。そして、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６１２）。

（ターゲット選択）
続いて、図８を参照して、ターゲットが選択された場合の処理について説明する。図８は、本発明の一実施形態に係る情報処理システム１におけるターゲットが選択された場合の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。

メディア制御部１０１は、メディア再生装置５００などから指定操作情報を受信する（ステップＳ６２１）。具体的には、メディア再生装置５００は、ユーザによるターゲットの指定操作を受け付け、指定操作情報を生成する。そして、メディア再生装置５００は、生成された指定操作情報をメディア制御部１０１へ送信する。

次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６２２）。具体的には、メディア制御部１０１は、受信された指定操作情報からターゲットを特定する。次に、メディア制御部１０１は、特定されたターゲットがエリアである場合、当該エリアを目的エリアとして設定する。また、メディア制御部１０１は、特定されたターゲットが物体である場合、当該物体が位置するエリアを目的エリアとして設定する。ここでは、エリアＥが目的エリアとして設定される。

また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６２３）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、目的エリア以外のエリアであって、映像における面積が閾値以上であるエリアを第１近傍エリアとして設定する。ここでは、エリアＨおよびエリアＩが第１近傍エリアとして設定される。

そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知する（ステップＳ６２４）。具体的には、メディア制御部１０１は、広範囲音情報、第１近傍エリア音情報および目的エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、映像におけるエリアＥの面積が閾値未満であるため、音制御パターン２が適用され、audioWの音量増幅率＝１．８、audioHおよびaudioIの音量増幅率＝０．５、audioEの音量増幅率０．２を示す音制御メッセージが通知される。

音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６２５）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率１．８で、audioHおよびaudioIの音情報を音量増幅率０．５で、audioEの音情報を音量増幅率０．２で、混合処理し、混合音情報を生成する。

そして、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信し（ステップＳ６２６）、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６２７）。

（映像の切り替え）
続いて、図９を参照して、映像が切り替えられた場合の処理について説明する。図９は、本発明の一実施形態に係る情報処理システム１における映像が切り替えられた場合の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。

メディア制御部１０１は、メディア再生装置５００などから映像操作情報を受信する（ステップＳ６４１）。具体的には、メディア再生装置５００は、ユーザによる映像のズーム操作を受け付け、受け付けられたズーム操作に係る映像操作情報を生成する。そして、メディア再生装置５００は、生成された映像操作情報をメディア制御部１０１へ送信する。

次に、メディア制御部１０１は、受信された映像操作情報に基づいて映像制御メッセージを撮影装置４００へ送信する（ステップＳ６４２）。具体的には、メディア制御部１０１は、映像配信の継続に加えて、受信された映像操作情報に応じてズーム位置およびズーム率１５０％の設定を指示する映像制御メッセージを生成する。そして、メディア制御部１０１は、生成された映像制御メッセージを撮影装置４００に送信する。

撮影装置４００は、受信された映像制御メッセージに基づいて映像情報をメディア制御部１０１へ送信する（ステップＳ６４３）。具体的には、撮影装置４００は、受信された映像制御メッセージに基づいて、撮影により得られた映像を指示されたズーム位置を中心に切り出し、切り出された映像を１５０％のサイズに引き伸ばす。そして、撮影装置４００は、このような処理により得られた映像情報をメディア制御部１０１に送信する。

次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６４４）。具体的には、メディア制御部１０１は、受信された映像情報に基づいて目的エリアを更新する。例えば、メディア制御部１０１は、ズーム率の変更後に得られる映像情報に係る映像におけるターゲットを特定する。次に、メディア制御部１０１は、特定されたターゲットがエリアである場合、当該エリアを目的エリアとして設定する。また、メディア制御部１０１は、特定されたターゲットが物体である場合、当該物体が位置するエリアを目的エリアとして設定する。ここでは、エリアＥが引き続き目的エリアとして設定される。

また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６４５）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、第１近傍エリアを設定する。ここでは、映像のズームインによりエリアＨおよびエリアＩが第１近傍エリアから外れ、エリアＦが新たに第１近傍エリアに設定される。

そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知する（ステップＳ６４６）。具体的には、メディア制御部１０１は、広範囲音情報、第１近傍エリア音情報および目的エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、映像のズームインにより映像におけるエリアＥの面積が閾値を超過したため、音制御パターン３が適用され、audioWの音量増幅率＝０．２、audioFの音量増幅率＝０．５、audioEの音量増幅率１．８を示す音制御メッセージが通知される。

音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６４７）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率０．２で、audioFの音情報を音量増幅率０．５で、audioEの音情報を音量増幅率１．８で、混合処理し、混合音情報を生成する。

そして、撮影装置４００は、映像操作情報による制御後に生成された映像情報をメディア再生装置５００に送信し（ステップＳ６４８）、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信する（ステップＳ６４９）。そして、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６５０）。

（更なる映像の切り替え）
続いて、図１０を参照して、映像がさらに切り替えられた場合の処理について説明する。図１０は、本発明の一実施形態に係る情報処理システム１における映像がさらに切り替えられた場合の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。

メディア制御部１０１は、メディア再生装置５００などから映像操作情報を受信し（ステップＳ６６１）、受信された映像操作情報に基づいて映像制御メッセージを撮影装置４００へ送信する（ステップＳ６６２）。具体的には、メディア制御部１０１は、受信された映像操作情報に応じてズーム位置およびズーム率２００％の設定を指示する映像制御メッセージを生成する。そして、メディア制御部１０１は、生成された映像制御メッセージを撮影装置４００に送信する。

撮影装置４００は、受信された映像制御メッセージに基づいて映像情報をメディア制御部１０１へ送信する（ステップＳ６６３）。具体的には、撮影装置４００は、受信された映像制御メッセージに基づいて、撮影により得られた映像を指示されたズーム位置を中心に切り出し、切り出された映像を２００％のサイズに引き伸ばす。そして、撮影装置４００は、このような処理により得られた映像情報をメディア制御部１０１に送信する。

次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ６６４）。具体的には、メディア制御部１０１は、ズーム率２００％の映像におけるターゲットに基づいて目的エリアを設定する。ここでは、エリアＥが引き続き目的エリアとして設定される。

また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ６６５）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、第１近傍エリアの設定を試みる。しかし、ここでは、映像のズームインにより映像における面積が閾値以上であるエリアであって、エリアＥ以外のエリアが存在しないため、第１近傍エリアは設定されない。

そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知する（ステップＳ６６６）。具体的には、メディア制御部１０１は、広範囲音情報および目的エリア音情報の混合音情報を生成させる音制御メッセージを音混合部１０２に通知する。ここでは、映像のズームインにより映像におけるエリアＥの面積が閾値を超過したため、音制御パターン３が適用され、audioWの音量増幅率＝０．２、audioEの音量増幅率１．８を示す音制御メッセージが通知される。

音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ６６７）。具体的には、音混合部１０２は、受信された音制御メッセージに基づいて、audioWの音情報を音量増幅率０．２で、audioEの音情報を音量増幅率１．８で、混合処理し、混合音情報を生成する。

そして、撮影装置４００は、映像操作情報による制御後に生成された映像情報をメディア再生装置５００に送信し（ステップＳ６６８）、音混合部１０２は、生成された混合音情報をメディア再生装置５００に送信する（ステップＳ６６９）。そして、メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ６７０）。

＜１．４．本発明の一実施形態のまとめ＞
このように、本発明の一実施形態によれば、情報処理装置１００は、特定の空間に係る映像情報を取得し、当該映像情報に係る映像における当該特定の空間における第１の領域の表示態様に係る情報に応じて、当該第１の領域に係る第１の音情報および当該特定の空間における第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成する。

従来では、特定の領域の音以外の背景雑音を減衰させることにより当該特定の領域の音を明瞭化させる技術が用いられていた。しかし、当該技術では、視聴者には当該特定の領域の音のみが聴こえるため、臨場感を与えることが困難であった。

これに対し、本発明の一実施形態によれば、映像情報における第１の領域（エリア）の表示態様に応じて、第１の音情報（エリア音）と第２の音情報（広範囲音）とに基づく音出力が制御される。このため、局所的なエリア音だけでなくエリアよりも広い範囲における広範囲音を映像に応じて視聴者に提供することができる。それにより、視聴者はエリア音を聴き取りながらエリアよりも広い空間の雰囲気を感じることができる。従って、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能となる。

また、上記表示態様に係る情報は、上記第１の領域の大きさを示す情報を含む。このため、映像におけるエリアの大きさに応じてエリア音が制御されることにより、映像と音との関係性を視聴者に提示することができる。従って、映像および音に対する臨場感を向上させることが可能となる。

また、上記音出力に係る制御情報は、上記第１の音情報および上記第２の音情報に基づく音の混合に係る制御情報を含む。このため、エリア音および広範囲音を一体的な音として視聴者に提示することができる。従って、エリア音および広範囲音がそれぞれ独立して提示される場合に比べて臨場感を向上させることが可能となる。なお、上記実施形態のように、複数の第１の音情報（目的エリア音および近傍エリア音）と第２の音情報とが混合処理されてもよい。

また、上記音の混合に係る制御情報は、上記第１の音情報および上記第２の音情報の音量制御情報を含む。このため、映像における特定のエリアの表示態様に応じて、エリア音および広範囲音の混合の程度を制御することができる。従って、例えば映像における目的エリアの面積が大きいほど、エリア音の音量増幅率を上げながら広範囲音の音量増幅率を下げることにより、当該目的エリアに近づいたような臨場感を視聴者に与えることが可能となる。

また、上記第１の領域は、上記表示態様に係る情報に応じて特定される領域を含む。このため、例えば映像における面積が閾値よりも大きいエリアを第２近傍エリアとして設定し、第２近傍エリア音を混合させることができる。従って、目的エリアが設定されていない場合であっても、視聴者に仮想的に近いエリアについてのエリア音が混合され、再生されることにより、映像および音に対する臨場感を向上させることが可能となる。

また、上記第１の領域は、指定操作情報に基づいて特定される指定領域を含む。このため、目的エリアをユーザの操作に基づいて決定することができる。従って、ユーザが視聴を所望するエリアの音をより確実に再生させることが可能となる。

また、上記指定操作情報に係る操作は、上記第１の領域の選択操作または上記映像情報に係る映像における物体の選択操作を含む。このため、ユーザがエリアを認識している場合には、エリアが直接的に選択されることにより目的エリアの設定に齟齬が生じることを抑制できる。また、ユーザが映像上の物体を選択する場合には、ユーザはエリアを予め認識することなく目的エリアのエリア音を明瞭に聴くことができる。

また、上記第１の領域は、上記指定領域に応じて特定される領域を含む。このため、例えば目的エリアの周辺エリアが近傍エリアとして設定されることにより、混合音の臨場感を向上させることが可能となる。

また、上記音出力に係る制御情報は、上記指定領域の特定に応じて生成される。このため、目的エリアの設定に応じて再生される混合音が制御されることにより、ユーザの操作に対する混合音制御の応答性を向上させることができる。従って、ユーザの操作感を向上させることが可能となる。

また、上記音出力に係る制御情報は、上記表示態様に係る情報の変化に応じて生成される。このため、エリアクローズアップ指標の変化に応じて混合音が制御されることにより、映像の切り替わりによる臨場感の低下を抑制することができる。

また、上記第１の音情報は、上記第２の音情報からの抽出により生成される。このため、混合音に対する視聴者の違和感を抑制することができる。

＜１．５．変形例＞
以上、本発明の一実施形態について説明した。なお、本発明の一実施形態は、上述の例に限定されない。以下に、本発明の一実施形態の第１〜第３の変形例について説明する。

（第１の変形例）
本発明の一実施形態の第１の変形例として、映像におけるエリアの表示態様に係る情報は、エリアの大きさを示す情報以外の他の情報であってもよい。具体的には、エリアクローズアップ指標は、映像情報に係るズーム情報であってもよい。例えば、メディア制御部１０１は、映像のズーム倍率に応じて音の混合を制御する。さらに、図１１を参照して、本変形例の処理について説明する。図１１は、本発明の一実施形態の第１の変形例に係る情報処理システム１における音制御のパターン例を示す図である。

（音制御パターン４）
メディア制御部１０１は、映像のズーム倍率に応じて、エリア音および広範囲音の音量の比率を制御する。具体的には、メディア制御部１０１は、映像のズーム倍率が低いほど、広範囲音の比率を上げる（またはエリア音の比率を下げる）。例えば、メディア制御部１０１は、再生されている映像のズーム倍率が閾値未満であるかを判定する。ズーム倍率が閾値未満であると判定されると、メディア制御部１０１は、図１１の中段に示したような音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、ズーム倍率が低いほど、視聴者は目的エリアを遠くに感じると考えられるためである。

（音制御パターン５）
また、メディア制御部１０１は、映像のズーム倍率が高いほど、目的エリア音の比率を上げる（または広範囲音の比率を下げる）。例えば、再生されている映像のズーム倍率が閾値以上であると判定されると、メディア制御部１０１は、図１１の下段に示したような音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、ズーム倍率が高いほど、視聴者は目的エリアを近くに感じると考えられるためである。

また、エリアクローズアップ指標は、映像情報に係る映像についての仮想的な視聴位置と当該映像におけるエリアとの位置関係を示す情報であってもよい。例えば、メディア制御部１０１は、仮想的な視聴位置と目的エリアとの仮想距離に応じて音の混合を制御する。さらに、図１２を参照して、本変形例の別の処理について説明する。図１２は、本発明の一実施形態の第１の変形例に係る情報処理システム１における音制御の別のパターン例を示す図である。

（音制御パターン６）
メディア制御部１０１は、仮想的な視聴位置と目的エリアとの仮想距離に応じて、エリア音および広範囲音の音量の比率を制御する。具体的には、メディア制御部１０１は、仮想距離が長いほど、広範囲音の比率を上げる。例えば、メディア制御部１０１はまず、映像の撮影位置と映像における目的エリアとの仮想距離を算出する。次いで、メディア制御部１０１は、算出された仮想距離が閾値超過であるかを判定する。仮想距離が閾値超過であると判定されると、メディア制御部１０１は、図１２の中段に示したような音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、仮想距離が長いほど、視聴者が目的エリアを遠くに感じると考えられるためである。

（音制御パターン７）
また、メディア制御部１０１は、仮想距離が短いほど、目的エリア音の比率を上げる。例えば、算出された仮想距離が閾値以下あると判定されると、メディア制御部１０１は、図１２の下段に示したような音量増幅率で広範囲音、近傍エリア音および目的エリア音を音混合部１０２に混合させるための音制御情報を生成する。これは、仮想距離が短いほど、視聴者が目的エリアを近くに感じると考えられるためである。

このように、第１の変形例によれば、映像におけるエリアの表示態様に係る情報は、映像情報に係るズーム情報を含む。このため、映像を解析することなく、混合音の制御を行うことができる。従って、音制御処理にかかる処理負荷および処理速度を向上させることが可能となる。

また、映像におけるエリアの表示態様に係る情報は、映像情報に係る映像についての仮想的な視聴位置と映像情報に係る映像におけるエリアとの位置関係を示す情報を含む。このため、映像におけるエリアの大きさよりも正確な混合音の制御を行うことができる。従って、視聴者に与える臨場感をより高めることが可能となる。

（第２の変形例）
本発明の一実施形態の第２の変形例として、エリア音と広範囲音との混合音は、映像情報の変更に応じて制御されてもよい。具体的には、メディア制御部１０１は、映像情報の提供元の変更に応じてエリア音情報および広範囲音情報に基づく音出力を制御する。例えば、メディア制御部１０１は、映像情報を配信させる撮影装置４００が切り替えられると、切り替え先の撮影装置４００から得られる映像情報に基づいて目的エリアまたは近傍エリアを設定する。そして、メディア制御部１０１は、設定された目的エリアまたは近傍エリアに応じて、エリア音情報および広範囲音情報の混合処理を行う。さらに、図１３を参照して、本変形例の処理について説明する。図１３は、本発明の一実施形態の第２の変形例に係る情報処理システム１の処理の例を概念的に示す図である。なお、上述した処理と実質的に同一である処理については説明を省略する。

メディア制御部１０１は、メディア再生装置５００などから映像操作情報を受信し（ステップＳ７０１）、受信された映像操作情報に基づいて映像制御メッセージを撮影装置４００へ送信する（ステップＳ７０２、Ｓ７０３）。具体的には、メディア制御部１０１は、受信された映像操作情報が映像情報を配信する撮影装置４００の切り替え操作に係る情報である場合、切り替え元の撮影装置４００Ａに配信停止を指示する映像制御メッセージを送信する。また、メディア制御部１０１は、切り替え先の撮影装置４００Ｂに配信開始を指示する映像制御メッセージを送信する。

撮影装置４００は、受信された映像制御メッセージに基づいて映像情報をメディア制御部１０１へ送信する（ステップＳ７０４）。具体的には、撮影装置４００Ｂは、受信された映像制御メッセージに基づいて、撮影を開始し、撮影により得られた映像情報をメディア制御部１０１に送信する。既に撮影を開始している場合には映像の配信のみが開始される。なお、撮影装置４００Ａは、受信された映像制御メッセージに基づいて映像の配信を停止する。さらに、撮影が停止させられてもよい。

次に、メディア制御部１０１は、目的エリアを設定する（ステップＳ７０５）。具体的には、メディア制御部１０１は、撮影装置４００Ｂから受信される映像情報と指定操作情報とに基づいて目的エリアを設定し直す。ここでは、エリアＥが目的エリアとして設定される。

また、メディア制御部１０１は、近傍エリアを設定する（ステップＳ７０６）。具体的には、メディア制御部１０１は、目的エリアが設定されているため、撮影装置４００Ｂから受信された映像情報に基づいて第１近傍エリアの設定を試みる。ここでは、面積が閾値以上であるエリアがエリアＤであるため、エリアＤが第１近傍エリアとして設定される。

そして、メディア制御部１０１は、音制御メッセージを音混合部１０２に通知し（ステップＳ７０７）、音混合部１０２は、音制御メッセージに基づいて混合音情報を生成する（ステップＳ７０８）。

その後、撮影装置４００Ａではなく撮影装置４００Ｂから映像情報がメディア再生装置５００に送信され（ステップＳ７０９）、音混合部１０２から混合音情報がメディア再生装置５００に送信される（ステップＳ７１０）。メディア再生装置５００は、受信された映像情報および混合音情報に基づいて映像および音を再生する（ステップＳ７１１）。

このように、第２の変形例によれば、音制御情報は、映像情報の変更に応じて生成される。このため、再生される映像自体が切り替えられた際にも切り替え後の映像に応じた混合音を視聴者に提示することができる。従って、映像および音に対する臨場感を継続させることが可能となる。

なお、映像が切り替えられた場合に、ターゲットの選択状態は維持されてもよく、リセットされてもよい。

（第３の変形例）
本発明の一実施形態の第３の変形例として、情報処理装置１００は、複数の広範囲音情報から選択される広範囲音情報を用いて混合処理を行ってもよい。具体的には、メディア制御部１０１は、音制御情報の生成に用いられるエリア音情報に応じて複数の広範囲音情報から当該音制御情報の生成に用いられる広範囲音情報を選択する。例えば、メディア制御部１０１は、目的エリアが設定される場合、目的エリアの近くに配置される収音装置２００により生成される広範囲音情報を選択し、選択される広範囲音情報を混合処理に用いる。また、目的エリアが設定されない場合、メディア制御部１０１は、第２近傍エリアの近くに配置される収音装置２００により生成される広範囲音情報を選択する。

このように、第３の変形例によれば、情報処理装置１００は、音制御情報の生成に用いられるエリア音情報に応じて複数の広範囲音情報から当該音制御情報の生成に用いられる広範囲音情報を選択する。このため、エリア音に合った広範囲音が選択されることにより、混合音に対する視聴者の違和感を抑制し臨場感を向上させることができる。特に、情報処理システム１が適用される空間が広く複数の収音装置２００が設置される場合に、当該構成はより効果的である。

＜２．本発明の一実施形態に係る情報処理装置のハードウェア構成＞
以上、本発明の実施形態を説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。

図１４は、本発明の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図１４に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３６と、内部バス１３８と、入出力インターフェース１４０と、入力装置１４２と、出力装置１４４と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４６と、ネットワークインターフェース１４８と、外部インターフェース１５０とを備える。

ＣＰＵ１３２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置１００内のメディア制御部１０１および音混合部１０２の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメタ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、情報処理装置１００内の記憶部の一部が実現される。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バス１３８により相互に接続されている。

入力装置１４２は、ボタン、マイクロホン、スイッチおよびレバーなど情報を入力するための入力手段と、入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。入力装置１４２が操作されることにより、情報処理装置１００に対して各種のデータが入力されたり処理動作が指示されたりし得る。

出力装置１４４は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置への出力を行う。さらに、出力装置１４４は、スピーカおよびヘッドホンなどの音声出力を行ってもよい。

ＨＤＤ１４６は、データ格納用の装置である。ＨＤＤ１４６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ＨＤＤ１４６は、ＣＰＵ１３２が実行するプログラムおよび各種データを格納する。

ネットワークインターフェース１４８は、ネットワークに接続するための通信デバイスで構成され得る。また、ネットワークインターフェース１４８は、有線による通信を行うワイヤー通信対応デバイスであるが、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信デバイスであっても、３ＧまたはＬＴＥ対応通信デバイスであってもよい。

外部インターフェース１５０は、例えば、情報処理装置１００の外部の装置または周辺機器と接続するためのバスである。また、外部インターフェース１５０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。

＜３．むすび＞
以上、本発明の一実施形態によれば、局所的なエリア音だけでなくエリアよりも広い範囲における広範囲音を映像に応じて視聴者に提供することができる。それにより、視聴者はエリア音を聴き取りながらエリアよりも広い空間の雰囲気を感じることができる。従って、視聴者に明瞭化された所望の音を提供することと、視聴者に提供する映像および音に対する臨場感を向上させることと、を両立させることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、エリアの大きさを示す情報が面積であるとしたが、本発明はかかる例に限定されない。例えば、エリアの大きさを示す情報は、エリアの全長、中心からの端部までの長さ、または半径（円の場合）などの情報であってもよい。

また、上記実施形態では、撮影装置４００は、メディア制御部１０１により制御される例を説明したが、メディア制御部１０１以外によって制御されてもよい。その場合、メディア制御部１０１に、撮影装置４００の制御パラメタが通知されてもよい。

また、上記実施形態では、エリア音情報および広範囲音情報が混合処理される例を説明したが、エリア音情報および広範囲音情報は独立して配信され、エリア音および広範囲音がそれぞれ別個の音出力装置から出力されてもよい。

また、上記実施形態では、ズーム位置がユーザの操作により決定される例を説明したが、ズーム位置は固定であってもよい。例えば、ズーム位置は映像の中心またはその他の特定の位置に固定されてよい。

また、上記実施形態では、指定操作情報および映像操作情報がユーザの操作に基づいて生成される例を説明したが、指定操作情報および映像操作情報はコンピュータによって生成されてもよい。例えば、指定操作情報または映像操作情報は、再生される映像における予めプログラムされたタイミングで生成され、メディア制御部１０１へ送信されてよい。

また、上記の実施形態の処理図に示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

また、情報処理装置１００に内蔵されるハードウェアに上述した情報処理装置１００の各機能構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。

１００ 情報処理装置
１０１ メディア制御部
１０２ 音混合部
２００ 収音装置
３００ エリア音生成装置
４００ 撮影装置
５００ メディア再生装置

Claims (18)

1. 特定の空間に係る映像情報を取得する映像情報取得部と、
   前記映像情報に係る映像における、前記特定の空間における第１の領域の表示態様に係る情報に応じて、前記第１の領域に係る第１の音情報および前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成する音出力制御部と、
   を備える情報処理装置。
2. 前記表示態様に係る情報は、前記第１の領域の大きさを示す情報を含む、
   請求項１に記載の情報処理装置。
3. 前記表示態様に係る情報は、前記映像情報に係るズーム情報を含む、
   請求項１または２に記載の情報処理装置。
4. 前記表示態様に係る情報は、前記映像情報に係る映像についての仮想的な視聴位置と前記映像情報に係る映像における前記第１の領域との位置関係を示す情報を含む、
   請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記音出力に係る制御情報は、前記第１の音情報および前記第２の音情報に基づく音の混合に係る制御情報を含む、
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記音の混合に係る制御情報は、前記第１の音情報および前記第２の音情報の音量制御情報を含む、
   請求項５に記載の情報処理装置。
7. 前記第１の領域は、前記表示態様に係る情報に応じて特定される領域を含む、
   請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記第１の領域は、指定操作情報に基づいて特定される指定領域を含む、
   請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記指定操作情報に係る操作は、前記第１の領域の選択操作または前記映像情報に係る映像における物体の選択操作を含む、
   請求項８に記載の情報処理装置。
10. 前記第１の領域は、前記指定領域に応じて特定される領域を含む、
    請求項８または９に記載の情報処理装置。
11. 前記音出力に係る制御情報は、前記指定領域の特定に応じて生成される、
    請求項８〜１０のいずれか１項に記載の情報処理装置。
12. 前記音出力に係る制御情報は、前記表示態様に係る情報の変化に応じて生成される、
    請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記音出力に係る制御情報は、前記映像情報の変更に応じて生成される、
    請求項１〜１２のいずれか１項に記載の情報処理装置。
14. 前記第１の音情報は、前記第２の音情報からの抽出により生成される、
    請求項１〜１３のいずれか１項に記載の情報処理装置。
15. 前記音出力制御部は、前記音出力に係る制御情報の生成に用いられる前記第１の音情報に応じて複数の前記第２の音情報から前記音出力に係る制御情報の生成に用いられる前記第２の音情報を選択する、
    請求項１〜１４のいずれか１項に記載の情報処理装置。
16. 特定の空間における第１の領域に係る第１の音情報と、前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報と、を取得する音情報取得部と、
    前記特定の空間に係る映像情報を取得する映像情報取得部と、
    前記映像情報に係る映像における前記第１の領域の表示態様に係る情報に応じて、前記第１の音情報および前記第２の音情報に基づく音出力に係る制御情報を生成する音出力制御部と、
    前記音出力に係る制御情報に基づいて前記第１の音情報および前記第２の音情報に基づく音出力を行う音出力部と、
    を備える情報処理システム。
17. プロセッサを用いて、
    特定の空間に係る映像情報を取得することと、
    前記映像情報に係る映像における、前記特定の空間における第１の領域の表示態様に係る情報に応じて、前記第１の領域に係る第１の音情報および前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成することと、
    を含む情報処理方法。
18. 特定の空間に係る映像情報を取得する映像情報取得機能と、
    前記映像情報に係る映像における、前記特定の空間における第１の領域の表示態様に係る情報に応じて、前記第１の領域に係る第１の音情報および前記特定の空間における前記第１の領域よりも広い範囲に係る第２の音情報に基づく音出力に係る制御情報を生成する音出力制御機能と、
    をコンピュータに実現させるためのプログラム。

Images