JP2009100134A

JP2009100134A - 情報処理装置及びプログラム

Info

Publication number: JP2009100134A
Application number: JP2007268273A
Authority: JP
Inventors: 剛 ▲高▼澤; Go Takazawa
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-10-15
Filing date: 2007-10-15
Publication date: 2009-05-07
Anticipated expiration: 2027-10-15
Also published as: JP5256682B2

Abstract

【課題】通信ネットワークを介してセッションを行うに際し、映像に変化を与えて娯楽性を高める。
【解決手段】情報送信装置１１０は、マイクＭＩＣａ〜ＭＩＣｃにより収音された演奏音を表す音声情報を送信するとともに、カメラＣＡＭａ〜ＣＡＭｃにより撮影された映像を表す映像情報を送信する。情報処理装置１２０は、音声情報と映像情報とを受信し、これらを適宜に加工してスピーカＳＰａ〜ＳＰｃ及びスクリーンＳＣＲａ〜ＳＣＲｃに供給する。情報処理装置１２０は、映像情報を音声情報に応じて、音量の大小や音像定位に映像の態様とが一致するように加工する。
【選択図】図１

Description

本発明は、映像情報を加工する技術に関する。

通信ネットワークを介してセッションを行うための技術が知られている（例えば、特許文献１参照）。このような技術を用いれば、遠隔地にいる演奏者同士でも気軽にセッションを行うことが可能となる。通信ネットワークを介してセッションを行う場合、演奏音等の音声に加えて演奏者の映像を再生すれば、より臨場感が高まり、セッションの娯楽性を高めることができる。

一方、カラオケ演奏においては、歌唱者の位置を検出し、ハーモニーコーラスの歌唱者やデュエットのパートナーに相当する擬似的な音声を歌唱者の位置に応じて発生させるとともに、この擬似的な音声に対応する擬似的な映像を表示させる技術が知られている（例えば、特許文献２参照）。また、監視制御においては、対象物の映像を撮影し、その映像に基づいて対象物に関する音量を制御する技術も知られている（例えば、特許文献３参照）。
特許第３８４６３４４号公報特許第３５７７７７７号公報特開平８−１７１４１３号公報

しかし、特許文献２に記載された技術をセッションに適用したとしても、遠隔地の演奏者の映像の表示位置が再生地点の歌唱者の位置に応じて変化するだけであり、その映像自体は単調に再生されるだけである。また、特許文献３に記載された技術は、映像に基づいて音声を変化させることができるが、映像自体は撮影されたままの態様で再生されるだけである。
そこで、本発明は、通信ネットワークを介してセッションを行うに際し、映像に変化を与えて娯楽性を高めることを目的としている。

本発明に係る情報処理装置は、第１の構成として、音声情報及び映像情報の組を通信ネットワークを介して１又は複数取得する取得手段と、前記取得手段により取得された映像情報を、当該映像情報と組をなす前記音声情報に応じた態様で加工する映像加工手段と、前記映像加工手段により加工された映像情報と前記取得手段により取得された音声情報とを出力する出力手段とを備えることを特徴とする。

また、本発明に係る情報処理装置は、第２の構成として、音声情報、映像情報及び当該音声情報に対応付けられた位置情報の組を通信ネットワークを介して１又は複数取得する取得手段と、前記取得手段により取得された映像情報を、当該映像情報と組をなす前記位置情報に応じた態様で加工する映像加工手段と、前記映像加工手段により加工された映像情報と前記取得手段により取得された音声情報とを出力する出力手段とを備えることを特徴とする。

本発明に係る情報処理装置は、第１又は第２の構成において、前記映像加工手段が、前記映像情報が出力されることにより表示される映像の位置又は大きさを変更する加工を行う構成としてもよい。
また、前記映像加工手段は、前記映像情報が複数取得された場合に、当該複数の映像情報を合成する加工を行う構成としてもよい。

本発明に係る情報処理装置は、第１又は第２の構成において、前記映像情報に対する加工の態様を指定する指定手段を備え、前記映像加工手段が、前記音声情報又は位置情報に応じた態様又は前記指定手段により指定された態様の加工を行う構成としてもよい。

本発明に係る情報処理装置は、第１又は第２の構成において、前記取得手段により取得された音声情報と映像情報とを同期させる同期手段を備え、前記取得手段が、前記音声情報及び映像情報のそれぞれについて、各々の再生タイミングを表す時間情報を対応付けて取得し、前記同期手段が、前記映像加工手段による加工の前又は後に、前記音声情報及び映像情報のそれぞれに対応付けられた前記時間情報に基づいて当該音声情報及び映像情報を同期させる構成としてもよい。

本発明に係る情報処理装置は、第１の構成において、前記映像加工手段が、前記映像情報と組をなす前記音声情報と、当該映像情報と組をなさない前記音声情報とに基づいて当該映像情報を加工する構成としてもよい。
また、前記映像加工手段は、前記映像情報が表す映像の大きさを当該映像情報と組をなす前記音声情報が表す音声の音量に応じて変更する加工を行う構成としてもよい。
また、前記音声情報が、その表す音声の発生方向を識別可能な情報である場合においては、前記映像加工手段は、前記映像情報が表す映像の表示位置を当該映像情報と組をなす前記音声情報が表す音声の発生方向に応じて変更する加工を行う構成としてもよい。

本発明に係る情報処理装置は、第１の構成において、前記映像情報に対応付けられる位置情報を取得する位置情報取得手段を備え、前記映像加工手段が、前記音声情報又は前記位置情報取得手段により取得された位置情報に応じた態様の加工を行う構成としてもよい。

本発明に係る情報処理装置は、第１の構成において、前記音声情報に対応付けられる位置情報を取得する位置情報取得手段と、前記位置情報取得手段により取得された位置情報に応じた態様で前記音声情報を加工する音声加工手段とを備える構成としてもよい。

本発明に係る情報処理装置は、第２の構成において、前記映像加工手段が、前記映像情報と組をなす前記位置情報と、当該映像情報と組をなさない前記位置情報とに基づいて当該映像情報を加工する構成としてもよい。
また、前記位置情報が、組をなす前記音声情報が表す音声の発生方向を表す情報である場合においては、前記映像加工手段は、前記映像情報が表す映像の表示位置を当該映像情報と組をなす前記位置情報が表す音声の発生方向に応じて変更する加工を行う構成としてもよい。
また、前記位置情報が、組をなす前記音声情報が表す音声を収音した収音手段の位置を表す情報である場合においては、前記映像加工手段は、前記映像情報が表す映像の表示位置を当該映像情報と組をなす前記位置情報が表す位置に応じて変更する加工を行う構成としてもよい。

本発明に係る情報処理装置は、第２の構成において、前記音声情報及び前記映像情報が、それぞれ、対象者の音声及び映像を表し、前記位置情報が、測位手段により計測された前記対象者の位置を表し、前記映像加工手段が、前記映像情報が表す映像の表示位置を前記位置情報が表す位置に応じて変更する加工を行う構成としてもよい。

本発明に係る情報処理装置は、第２の構成において、前記映像加工手段により前記複数の映像情報に行われた加工の態様に応じて前記音声情報を加工する音声加工手段を備える構成としてもよい。
あるいは、前記取得手段により取得された位置情報に応じた態様で当該位置情報に対応付けられた前記音声情報を加工する音声加工手段を備える構成としてもよい。

なお、本発明の実施の形態は、上述した情報処理装置に限らず、コンピュータにかかる情報処理装置の機能を実現させるためのプログラムや、かかるプログラムを記憶した記録媒体であってもよい。

本発明によれば、通信ネットワークを介してセッションを行うに際し、映像に変化を与えて娯楽性を高めることが可能となる。

［第１実施形態］
図１は、本発明の一実施形態であるネットワークセッションシステムの全体構成を概略的に示す図である。同図に示すように、ネットワークセッションシステム１０は、第１セッション地点と第２セッション地点とをネットワーク１３０を介して接続した構成を有する。ネットワーク１３０は、第１セッション地点と第２セッション地点との間の通信を可能にする通信ネットワークであり、例えば、インターネットである。

本実施形態において、第１セッション地点には、３人の演奏者がいるものとする。また、第２セッション地点は、第１セッション地点において記録された音声や映像を再生する地点であり、ここには１人の演奏者がいるものとする。第１セッション地点の３人の演奏者は、それぞれ、ここではキーボード、ドラム又はギターのいずれかを演奏し、第２セッション地点の演奏者は、第１セッション地点の演奏に合わせて歌唱するヴォーカリストであるとする。

第１セッション地点には、複数のマイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃと、複数のカメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃと、情報送信装置１１０とが設けられている。マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃは、それぞれ、キーボードの演奏者（以下「演奏者ａ」という。）、ドラムの演奏者（以下「演奏者ｂ」という。）又はギターの演奏者（以下「演奏者ｃ」という。）のいずれかに対応するマイクロホンであり、対応する演奏者の演奏音や歌唱音を収音する。本実施形態において、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃは、それぞれ、ステレオ収音が可能なステレオマイクロホンであり、Ｌチャネル（左方）及びＲチャネル（右方）に対応する演奏音を収音する構成であるとする。すなわち、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃは、その発生方向を識別可能なように演奏者の音声を収音する。カメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃは、それぞれ、演奏者ａ、ｂ又はｃのいずれかに対応するビデオカメラであり、対応する演奏者を撮影する。カメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃは、ここでは、撮影方向を固定されているものとする。情報送信装置１１０は、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃにより収音された演奏音を表す音声情報と、カメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃにより撮影された映像を表す映像情報とを取得し、適当なデータ処理を施して第２セッション地点へと送信する。なお、情報送信装置１１０は、自動で処理を行ってもよいが、演奏者以外の操作者が操作できるように構成されている。

なお、演奏者ａ、ｂ及びｃの位置関係は、ここでは次のとおりであるとする。すなわち、演奏者ｂが演奏者ａとｃの中間に位置しており、演奏者ａが演奏者ｂの左側に、演奏者ｃが演奏者ｂの右側に、それぞれ位置している。また、本実施形態において、この位置関係は、演奏者が多少の移動を行ったとしても、相対的には変わらないものとする。
本実施形態において、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃの位置は、あらかじめ決められた位置に固定されているものとする。すなわち、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃは、演奏者が移動する場合であっても、マイク自体は移動しない。

第２セッション地点には、情報処理装置１２０と、複数のスクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃと、複数のスピーカＳＰａ、ＳＰｂ及びＳＰｃと、マイクＭＩＣｄとが設けられている。情報処理装置１２０は、情報送信装置１１０から送信された音声情報及び映像情報と、マイクＭＩＣｄから供給された音声情報とを取得し、適当なデータ処理を施すことによりこれらを加工して出力する。なお、情報処理装置１２０も、自動で処理を行ってもよいが、演奏者以外の操作者が操作できるように構成されている。

スクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃは、それぞれ、情報処理装置１２０から出力された映像情報を投影するためのスクリーンである。ここにおいて、スクリーンＳＣＲａは、他のスクリーンＳＣＲｂ及びＳＣＲｃから見て相対的に「左」、スクリーンＳＣＲｂは相対的に「中央」、スクリーンＳＣＲｃは相対的に「右」に、それぞれ位置している。なお、スクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃは、ここでは、液晶等の表示素子により構成されたスクリーンであるとするが、別途設けられる投影装置（プロジェクタ等）により投影された映像を表示する布や幕であってもよい。この場合には、投影装置が映像情報を取得するように構成すればよい。

スピーカＳＰａ、ＳＰｂ及びＳＰｃは、それぞれ、いわゆるマルチスピーカであり、情報処理装置１２０から出力された音声情報を音声として再生する。スピーカＳＰａ、ＳＰｂ及びＳＰｃは、それぞれ、いわゆるアレイスピーカであると望ましい。ここにおいて、スピーカＳＰａは、他のスピーカＳＰｂ及びＳＰｃから見て相対的に「左」、スピーカＳＰｂは相対的に「中央」、スピーカＳＰｃは相対的に「右」に、それぞれ位置している。マイクＭＩＣｄは、ヴォーカリスト（以下「演奏者ｄ」という。）に対応するマイクロホンであり、演奏者ｄの歌唱音声を収音する。なお、本実施形態においては、マイクＭＩＣｄの位置は固定であり、あらかじめ決められた位置であるとする。マイクＭＩＣｄの位置は、スクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃが演奏者ｄの背後に設けられるような任意の位置である。

図２は、情報送信装置１１０の構成を示すブロック図である。同図に示すように、情報送信装置１１０は、入力部１１１と、制御部１１２と、記憶部１１３と、操作部１１４と、通信部１１５とを備える。なお、情報送信装置１１０は、汎用のパーソナルコンピュータであってもよいし、図２の構成を備えた専用の装置であってもよい。

入力部１１１は、音声情報及び映像情報を入力するインタフェースである。入力部１１１は、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃ並びにカメラＣＡＭａ、ＣＡＭｂ及びＣＡＭｃと接続され、それぞれから音声情報又は映像情報を取得する。図２において、符号Ａ_aは演奏者ａに対応する音声情報を表し、符号Ｖ_aは演奏者ａに対応する映像情報を表している。同様に、符号Ａ_b、Ａ_c、Ｖ_b及びＶ_cは、それぞれ、添字に対応する演奏者の音声情報又は映像情報を表している。

本実施形態において、入力部１１１に入力される音声情報及び映像情報は、それぞれ３種類であり、それぞれが演奏者ａ、ｂ又はｃのいずれかに対応している。すなわち、同一の演奏者に対応する音声情報と映像情報とを１つのまとまり（組）とみなすと、入力部１１１には３組の情報が入力される。

制御部１１２は、ＣＰＵ（Central Processing Unit）等の演算装置やメモリを備え、記憶部１１３に記憶されたプログラムを実行することにより情報送信装置１１０の各部の動作を制御する。制御部１１２は、プログラムを実行することにより、音声情報や映像情報にデータ処理を実行する。制御部１１２が実行するデータ処理には、音声情報や映像情報を所定のフォーマットに変換するエンコード処理と、音声情報及び映像情報に時間情報を付加する付加処理とが含まれる。

記憶部１１３は、ハードディスク等の書き換え可能な記憶媒体を備え、制御部１１２が実行するプログラムを記憶する。操作部１１４は、ボタンやスライダ（ツマミ）等の操作子を備え、操作者による操作を受け付ける。操作部１１４は、操作者による操作を受け付けると、これを表すデータを制御部１１２に供給する。通信部１１５は、ネットワーク１３０を介して通信を行うためのインタフェースであり、制御部１１２から供給された音声情報や映像情報を情報処理装置１２０に送信する。

図３は、情報処理装置１２０の構成を示すブロック図である。同図に示すように、情報処理装置１２０は、通信部１２１と、制御部１２２と、記憶部１２３と、操作部１２４と、音声入力部１２５と、音声出力部１２６と、映像出力部１２７とを備える。なお、情報処理装置１２０は、汎用のパーソナルコンピュータであってもよいし、図３の構成を備えた専用の装置であってもよい。

通信部１２１は、通信部１１５と同様のインタフェースであり、情報送信装置１１０から送信された音声情報や映像情報を受信し、制御部１２２に供給する。制御部１２２は、演算装置やメモリを備え、記憶部１２３に記憶されたプログラムを実行することにより情報処理装置１２０の各部の動作を制御する。制御部１２２は、プログラムを実行することにより、音声情報や映像情報にデータ処理を実行する。制御部１２２が実行するデータ処理には、所定のフォーマットでエンコードされた音声情報や映像情報をデコードするデコード処理と、映像情報を音声情報に基づいて加工する加工処理と、複数の音声情報をミキシングするミキシング処理とが含まれる。なお、制御部１２２は、音声情報と映像情報のそれぞれに対する専用のＤＳＰ（Digital Signal Processor）などによってデータ処理を行う構成であってもよい。

なお、制御部１２２は、組をなす音声情報と映像情報とを認識可能に構成されている。本実施形態の場合、制御部１２２は、音声情報Ａ_aと映像情報Ｖ_aが組をなし、同様に、音声情報Ａ_bと映像情報Ｖ_b、音声情報Ａ_cと映像情報Ｖ_cがそれぞれ組をなすことを認識可能である。これを実現するためには、例えば、音声情報と映像情報の双方に組を識別可能な情報が含まれている態様を用いてもよいし、複数の音声情報と映像情報のそれぞれに対応したチャネルを設け、入力されたチャネルにより組を識別する態様を用いてもよい。

記憶部１２３は、書き換え可能な記憶媒体を備え、制御部１２２が実行するプログラムを記憶する。操作部１２４は、操作者による操作を操作子により受け付け、これを表すデータを制御部１２２に供給する。音声入力部１２５は、マイクＭＩＣｄと接続され、マイクＭＩＣｄから音声情報を取得する。音声出力部１２６は、制御部１２２によりミックス処理が実行された音声情報を取得し、これをスピーカＳＰａ、ＳＰｂ及びＳＰｃに出力する。映像出力部１２７は、制御部１２２により加工処理が実行された映像情報を取得し、これをスクリーンＳＣＲａ、ＳＣＲｂ及びＳＣＲｃに出力する。

以上の構成のもと、本実施形態のネットワークセッションシステム１０においては、情報送信装置１１０が音声情報及び映像情報を送信し、情報処理装置１２０が再生地点での再生に適した態様となるようにこれらを加工して出力する。情報処理装置１２０は、複数の映像情報を加工するに際し、当該映像情報と組をなす音声情報を参照し、音声情報に応じた態様で映像が変化するように映像情報を加工する。これを実現するための情報送信装置１１０及び情報処理装置１２０の動作は、以下のとおりである。

図４は、情報送信装置１１０の動作を示すフローチャートである。同図に示すように、情報送信装置１１０の制御部１１２は、まず、入力部１１１を介して演奏者ａ、ｂ及びｃに対応する音声情報と映像情報とを取得する（ステップＳ１１１）。このとき取得される音声情報（Ａ_a、Ａ_b及びＡ_c）は、それぞれ、Ｌチャネルの情報とＲチャネルの情報を含んでいる。続いて、制御部１１２は、音声情報と映像情報のそれぞれに時間情報を付加する処理を実行する（ステップＳ１１２）。ここにおいて、時間情報とは、複数の音声情報及び映像情報を同期して再生できるようにするための情報をいう。時間情報は、例えば、音声情報及び映像情報の再生タイミングを示す情報であり、情報処理装置１２０は、この時間情報が示すタイミングで複数の音声情報及び映像情報を読み出すことによって、時間的なずれを生じさせることなくこれらを再生することができる。

音声情報及び映像情報に時間情報を付加したら、制御部１１２は、音声情報及び映像情報を所定のフォーマットで符号化するエンコード処理を実行し（ステップＳ１１３）、エンコードされた音声情報及び映像情報を通信部１１５に出力し、通信部１１５を介して情報処理装置１２０に送信する（ステップＳ１１４）。

図５は、情報処理装置１２０の動作を示すフローチャートである。情報処理装置１２０は、情報送信装置１１０から以上のように音声情報及び映像情報が送信されると、同図に示す処理を実行する。まず、情報処理装置１２０の制御部１２２は、音声情報及び映像情報を受信すると、通信部１２１を介してこれらを取得する（ステップＳ１２１）。また、制御部１２２は、第１セッション地点の音声情報及び映像情報を取得しつつ、音声入力部１２５を介してマイクＭＩＣｄからの音声情報、すなわち第２セッション地点の演奏者（演奏者ｄ）の音声情報を取得する（ステップＳ１２２）。

次に、制御部１２２は、通信部１２１を介して取得した音声情報及び映像情報を同期させる処理を実行する（ステップＳ１２３）。制御部１２２は、音声情報及び映像情報に付加された時間情報を参照し、これらが時間的なずれを生じることなく再生されるように各音声情報及び映像情報の再生タイミングを調整する。

制御部１２２は、映像情報を同期させたら、これを加工する加工処理を実行する（ステップＳ１２４）。制御部１２２は、この加工処理を音声情報に基づいて行うが、音声情報の利用の方法は２通りある。第１の方法は、各々の映像情報と組をなす音声情報に応じた態様で加工するものであり、第２の方法は、各々の映像情報と組をなす音声情報と組をなさない音声情報とに基づいて加工するものである。すなわち、制御部１２２は、いずれの方法で映像情報を加工する場合であっても、少なくとも、当該映像情報と組をなす音声情報を参照して解析する。

第１の方法は、例えば、組をなす音声情報に含まれるＬチャネルの情報とＲチャネルの情報の変化に基づく。例えば、演奏者の演奏音に相当する成分がＬチャネルにおいて徐々に大きくなり、Ｒチャネルにおいて徐々に小さくなる場合、第１セッション地点の演奏者は、右方から左方へと移動しながら演奏を行っているとみなせる。そこで、このような場合、制御部１２２は、スクリーンに表示される演奏者の位置が対応する演奏音の音像の移動に伴って移動するように映像情報を加工する。すなわち、この例の場合、制御部１２２は、演奏者が（当該演奏者から見て）右方から左方へと移動するようにスクリーン上で視認されるように、映像を左方から右方へと移動させる加工を行う。
なお、第１の方法は、この例に限らず、例えば、組をなす音声情報が表す演奏音の音量の増加（又は減少）に応じて対応する映像を拡大（又は縮小）させるものであってもよい。

第２の方法は、例えば、組をなす音声情報と組をなさない音声情報との音量の比較に基づく。例えば、演奏のあるパートにおいて、ある映像情報と組をなす音声情報が表す音量が相対的に大きく、当該映像情報と組をなさない音声情報が表す音量が相対的に小さい場合、当該映像情報に対応する演奏者は、そのパートを主導する、いわば当該パートのメインの演奏者であるといえる。そこで、このような場合、制御部１２２は、スクリーンに表示される当該演奏者の映像が他の演奏者の映像よりも大きく表示されるように映像情報を加工する。

また、制御部１２２は、音声情報を同期させたら、これにミキシング処理を実行する（ステップＳ１２５）。このとき、制御部１２２は、マイクＭＩＣａ〜ＭＩＣｄのそれぞれから取得した音声情報を、スピーカＳＰａ〜ＳＰｃにおいて適当なバランスで再生されるように分配する比率を決定し、ミキシングを行う。本実施形態においては、マイクＭＩＣａからの音声情報は主にスピーカＳＰａから出力され、マイクＭＩＣｂからの音声情報は主にスピーカＳＰｂから出力される、といったように、第２セッション地点において、第１セッション地点における演奏者の相対的な位置関係と一致する態様で音声情報が再生される。なお、マイクＭＩＣｄからの音声情報については、スピーカＳＰａ〜ＳＰｃに配分する比率を特に問わない。

その後、制御部１２２は、ミキシングされた音声情報と加工された映像情報とを出力し、音声出力部１２６及び映像出力部１２７を介してスピーカＳＰａ〜ＳＰｃ及びスクリーンＳＣＲａ〜ＳＣＲｃに供給する（ステップＳ１２６）。これにより、第２セッション地点においては、演奏者ａ〜ｄの演奏音や歌唱音がミキシングされて再生され、演奏者ａ〜ｃの加工された映像が演奏者ｄの背後に再生される。なお、制御部１２２は、映像情報Ｖ_aに応じた映像がスクリーンＳＣＲａに表示され、同様に、映像情報Ｖ_bに応じた映像がスクリーンＳＣＲｂ、映像情報Ｖ_cに応じた映像がスクリーンＳＣＲｃに、それぞれ表示されるようにこれらの情報を出力する。

本実施形態のネットワークセッションシステム１０は、以上のように動作することによって、複数の音声情報及び映像情報の再生タイミングを同期させるとともに、加工した映像情報により表示される映像の位置や大きさを適宜に変更することを可能にする。ゆえに、本実施形態のネットワークセッションシステム１０によれば、遠隔地から取得される音声情報に基づいて、遠隔地の演奏者の動きやその演奏態様に応じた演出を映像に施すことができ、この映像を見る者にとっての娯楽性を向上させることが可能となる。

また、本実施形態のネットワークセッションシステム１０においては、音声情報に基づいて映像情報が加工されるため、映像の変化が遠隔地の演奏者の演奏に応じて異なってくる。そのため、本実施形態のネットワークセッションシステム１０によれば、映像の変化が単調とならず、見る者を飽きさせない面白味のある映像再生が可能となる。

［第２実施形態］
本実施形態は、映像情報の加工の基礎として用いる情報が音声情報と異なる情報である点が、上述した第１実施形態との主たる相違点である。そこで、ここでは、第１実施形態との相違点の説明を中心に行い、重複する説明は適宜省略する。なお、本実施形態において、第１実施形態と共通する符号を付して説明される構成要素は、第１実施形態のそれと同様のものであることを意味している。

また、図示は省略するが、説明の便宜上、本実施形態のネットワークセッションシステムを「ネットワークセッションシステム２０」という。ネットワークセッションシステム２０は、第１セッション地点と第２セッション地点とをネットワーク１３０により接続した構成であり、図１の情報送信装置１１０に代えて情報送信装置２１０を備え、図１の情報処理装置１２０に代えて情報処理装置２２０を備える。

図６は、情報送信装置２１０の構成を示すブロック図である。同図に示すように、情報送信装置２１０は、入力部２１１と、制御部２１２と、記憶部２１３と、操作部２１４と、通信部２１５とを備える。なお、記憶部２１３、操作部２１４及び通信部２１５の構成は、それぞれ、第１実施形態の記憶部１１３、操作部１１４及び通信部１１５の構成と同様である。

入力部２１１は、音声情報Ａ_a、Ａ_b及びＡ_c並びに映像情報Ｖ_a、Ｖ_b及びＶ_cに加えて、これらの音声情報のいずれかに対応付けられた位置情報Ｐ_a、Ｐ_b及びＰ_cを取得する。ここにおいて、位置情報Ｐ_a、Ｐ_b及びＰ_cは、それぞれ、演奏者ａ、ｂ又はｃの位置、すなわち、主たる音声が発生する位置を表す情報である。位置情報は、例えば、第２セッション地点の演奏者の位置をある地点（例えば、演奏者ｄがいると仮定される地点）を基準に表した情報であり、演奏者の位置の時間的な変化を特定可能な情報である。かかる位置情報は、例えば、受信機と発信機とからなる図示せぬ測位手段を用いて、演奏者が発信機を携帯し、受信機が発信機からの情報（電波等）を受信してこれを位置情報として供給することにより実現される。かかる測位手段を実現する技術としては、例えば、ＵＷＢ（Ultra Wide Band）などが挙げられる。なお、本実施形態において、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃが演奏者と共に移動可能に構成される場合は、マイクＭＩＣａ、ＭＩＣｂ及びＭＩＣｃのそれぞれに発信機を設けるようにしてもよい。
なお、位置情報は、必要に応じて、操作者が変更することも可能である。

制御部２１２は、制御部１１２と同様に、情報送信装置１１０の各部の動作を制御する。制御部２１２が実行するデータ処理には、音声情報や映像情報を所定のフォーマットに変換するエンコード処理と、映像情報に時間情報を付加するとともに、音声情報に時間情報と位置情報とを付加する付加処理とが含まれる。本実施形態の付加処理の内容は、音声情報に位置情報を付加する点において第１実施形態と異なる。

図７は、情報処理装置２２０の構成を示すブロック図である。同図に示すように、情報処理装置２２０は、通信部２２１と、制御部２２２と、記憶部２２３と、操作部２２４と、音声入力部２２５と、音声出力部２２６と、映像出力部２２７とを備える。通信部２２１、記憶部２２３、操作部２２４、音声入力部２２５、音声出力部２２６及び映像出力部２２７の構成は、それぞれ、第１実施形態の通信部１２１、記憶部１２３、操作部１２４、音声入力部１２５、音声出力部１２６及び映像出力部１２７の構成と同様である。制御部２２２は、映像情報を加工するに際し、音声情報に付加された位置情報を参照する点が第１実施形態の制御部１２２と異なる。

図８は、情報送信装置２１０の動作を示すフローチャートである。同図に示すように、情報送信装置２１０の制御部２１２は、まず、入力部２１１を介して演奏者ａ、ｂ及びｃに対応する音声情報と映像情報とに加え、各演奏者の音声情報に対応する位置情報を取得する（ステップＳ２１１）。次に、制御部２１２は、音声情報に付加される位置情報を変更（すなわち編集）するか否かを判断する（ステップＳ２１２）。制御部２１２は、この判断を操作部２１４からのデータがあるか否かにより行う。すなわち、ここにおいて位置情報を変更するか否かは、操作者の任意である。操作者は、映像の演出効果を強調したい場合などに、必要に応じて、操作部２１４を操作することにより位置情報を変更することができる。よって、制御部２１２は、操作者から位置情報を入力された場合に、位置情報を変更する（ステップＳ２１３）。そして、制御部２１２は、位置情報を音声情報に付加する（ステップＳ２１４）。
なお、ステップＳ２１５〜Ｓ２１７の処理は、第１実施形態のステップＳ１１２〜Ｓ１１４の処理（図４参照）と同様であるため、その説明を省略する。

図９は、情報処理装置２２０の動作を示すフローチャートである。同図に示す処理のうち、第１実施形態の処理（図５参照）と大きく異なるのは、ステップＳ２２４の加工処理のみである。ステップＳ２２４において、情報処理装置２２０の制御部２２２は、音声情報に付加された位置情報を参照し、この位置情報に基づいて映像情報を加工する。制御部２２２は、ある映像情報について、当該映像情報と組をなす音声情報を参照し、その音声情報に付加された位置情報に応じた態様で映像情報を加工する。より具体的には、制御部２２２は、再生される映像の位置や大きさが位置情報の変化に応じて変化するように映像情報を加工する。例えば、制御部２２２は、演奏者が左方から右方へと移動するように位置情報が変化する場合には、表示される映像がこの移動に追従するように映像情報を加工し、演奏者が基準となる地点から遠ざかるように位置情報が変化する場合には、表示される映像がこの移動に追従して縮小されるように映像情報を加工する。

また、制御部２２２は、ある映像情報について、組をなす位置情報を組をなさない位置情報の双方に基づいて加工を行ってもよい。例えば、制御部２２２は、ある映像情報について、組をなす位置情報に変化がなく、組をなさない位置情報が基準となる地点から遠ざかるように変化している場合、当該映像情報に対応する映像を拡大して表示させ、その他の映像情報に対応する映像を拡大せずに（又は縮小して）表示させるようにしてもよい。

本実施形態のネットワークセッションシステム２０によれば、上述したネットワークセッションシステム１０と同様に、複数の音声情報及び映像情報の再生タイミングを同期させるとともに、加工した映像情報により表示される映像の位置や大きさを適宜に変更することが可能となる。本実施形態の場合、第１実施形態のように音声情報が表す演奏音を解析せずに、音声情報に付加された位置情報に基づいて映像情報を加工するため、かかる解析のための処理や時間が不要となる。

［変形例］
本発明は、上述した実施形態に限らず、その他の形態でも実施し得る。本発明に対しては、例えば、以下のような変形を適用することが可能である。なお、以下に示す変形例は、各々を適宜に組み合わせてもよい。

（１）変形例１
本発明に係る情報処理装置は、映像情報の加工を操作者の指定に基づいて行ってもよい。例えば、操作者は、上述した操作部１２４（又は２２４）を介して加工の態様を指定し、制御部１２２（又は２２２）は、操作者により指定された態様の加工を行うようにすることができる。このとき、操作者は、演奏の内容に応じて音声情報や映像情報の加工の態様を決定する。例えば、ギターの演奏者ｃが楽曲のあるパートをソロで演奏する場合、操作者は、演奏者ｃに対応する映像を右側のスクリーンＳＣＲｃではなく中央のスクリーンＳＣＲｂに表示させるよう指定してもよい。また、この場合、操作者は、演奏者ｃに対応する映像が拡大されるよう指定を行ってもよい。すなわち、操作者は、映像情報について、映像の拡大又は縮小や表示位置の変更などを指定することが可能である。

なお、本発明に係る情報処理装置は、映像情報の加工に際し、音声情報（又は位置情報）に応じた態様の加工と操作者の指定に応じた態様の加工の双方を行ってもよいが、音声情報（又は位置情報）に応じた態様の加工に代えて操作者の指定に応じた態様の加工を行うようにしてもよい。
また、上述した実施形態においては、映像情報の加工が同期処理（ステップＳ１２３又はＳ２２３）の後に行われたが、本発明に係る情報処理装置は、音声情報や映像情報の加工を同期処理の前に行ってもよい。

（２）変形例２
本発明に係る情報処理装置は、映像情報の出力の態様を、当該映像情報と組をなす音声情報の音量に応じて決定してもよい。例えば、音量が最大である音声情報と組をなす映像情報が目立つように、この映像情報の出力先を中央のスクリーンＳＣＲｂにしてもよい。すなわち、第２セッション地点における映像の並びは、第１セッション地点における演奏者の並びと一致していなくてもよい。
また、本発明に係る情報処理装置は、音量が一定の閾値以下となる音声情報と組をなす映像情報を、スクリーンに表示しないように制御してもよい。このようにした場合も、ソロ演奏の場合などに注目すべき演奏者を目立たせることが可能となる。

（３）変形例３
本発明に係る情報処理装置は、複数の映像情報を合成する加工を行ってもよい。例えば、スクリーンに表示される複数の映像の隣り合う辺の部分を合成し、複数の映像が１つの映像になるように映像情報を加工してもよい。このようにすれば、１つのスクリーンで映像を再生することが可能となる。

なお、このような加工を行う場合、第１セッション地点においては、演奏者をいわゆるブルーバック（ブルースクリーン）を用いて撮影するのが望ましい。このようにすれば、映像情報から演奏者の映像を抽出することが容易となるからである。この場合、演奏者の映像情報の他に演奏者の背景を構成する映像情報を別途取得し、これらを合成するようにしてもよい。なお、背景部分に相当する映像情報は、情報処理装置がこれを記憶していてもよいし、通信ネットワークを介して外部装置から取得してもよい。

（４）変形例４
本発明に係る情報処理装置は、映像情報に加え、音声情報を加工してもよい。例えば、上述した第１実施形態の場合は、第２実施形態の位置情報に相当する情報を取得し、この情報に基づいて音量や音像定位の制御を行うとよい。また、第２実施形態の場合は、組をなす映像情報に行われた加工の態様に応じた加工を音声情報にも行ったり、映像情報に対して行う処理と同様に、対応する位置情報に応じた態様で音声情報を加工したりすることができる。このようにすれば、音声と映像とが同様の変化をするため、より違和感のない再生を行うことが可能となる。

（５）変形例５
本発明に係る情報処理装置は、上述した第１実施形態において、映像情報に対応付けられた位置情報を取得可能な構成としてもよい。この場合における位置情報としては、例えば、被写体である演奏者までの距離を示す情報を用いることができる。このような情報は、例えば、オートフォーカス機構を有するビデオカメラであればフォーカス時の測距により求めることができる。また、第２実施形態と同様に、測位手段により演奏者の位置を計測し、計測した位置を示す情報を位置情報として用いてもよい。

また、かかる位置情報を取得可能な構成とした場合、本発明に係る情報処理装置は、位置情報及び音声情報の双方に応じて映像情報を加工してもよいが、音声情報に代えて位置情報に応じた加工を行ってもよい。すなわち、本発明に係る情報処理装置は、上述した第１実施形態に本変形例を適用した場合において、音声情報又は位置情報のいずれかに応じた態様で映像情報を加工する構成としてもよい。

（６）変形例６
本発明において、位置情報の対応付けの態様は、上述したものに限らない。例えば、位置情報は、いわゆるメタデータのようにして音声情報に含まれていてもよいし、位置情報又は音声情報のいずれか一方又は両方に、対応付けの対象となる情報を特定可能な識別情報が含まれていてもよい。要するに、本発明における位置情報は、組をなす音声情報と何らかの方法で対応付けがなされていればよく、その対応付けの態様は任意である。

（７）変形例７
第２セッション地点には、演奏者ｄが他の演奏者の映像を確認するための表示装置が設けられてもよい。この表示装置は、いわゆるカラオケ装置の表示部のように、演奏者ｄが歌唱する楽曲の歌詞を表示してもよい。また、この表示装置は、スクリーンに表示される映像と同様の映像を表示してもよい。

（８）変形例８
第２セッション地点には、演奏者ｄの映像を撮影するビデオカメラと、この映像を再生する表示装置とが設けられてもよい。この場合においては、演奏者ｄとともに背後のスクリーンＳＣＲａ〜ＳＣＲｃを撮影してもよいし、第１セッション地点の映像をスクリーンＳＣＲａ〜ＳＣＲｃに表示させずに、第１セッション地点の映像と演奏者ｄの映像とを合成して表示装置に表示させてもよい。後者の場合は、変形例３に示したような合成を行うと、より望ましい。

第１セッション地点の映像と第２セッション地点の映像とを合わせて表示する場合、演奏者ｄの位置を計測する測位手段を更に設け、この測位手段により得られる位置情報を更に用いて、音声や映像の加工を行ってもよい。例えば、演奏者ｄが左右に歩きながら歌唱するとき、表示される演奏者ｄの映像と他の演奏者の映像とが重ならないようにそれぞれの映像の表示位置を変更したり、さらに、映像の表示位置の変更に応じて音声の定位を変更したりしてもよい。
また、演奏者ｄがソロで歌唱する場合には、演奏者ｄの映像のみがアップで表示されるようにしてもよい。

（９）変形例９
第２セッション地点には、光の照射方向が映像に応じて変化する照明装置が設けられてもよい。この照明装置は、いわゆるスポットライトのように、局所的な照明であると望ましい。このようにすれば、映像上の演奏者があたかもその場にいるような演出効果を行うことができる。また、照明装置の照射方向を制御するために、音声情報に対応付けられた位置情報を用いてもよい。
なお、この照明装置は、操作者により点灯及び消灯を制御される構成でもよい。また、第２セッション地点の演奏者ｄを照明する照明装置を設けてもよい。

（１０）変形例１０
本発明において、取得する音声情報及び映像情報の数は、上述した実施形態に限定されない。上述した実施形態においては、第１セッション地点から３人の演奏者に対応する音声情報及び映像情報が送信されたが、演奏者をより多数としてもよいし、２人としてもよい。

また、第２セッション地点の演奏者の人数も、変更可能である。例えば、第２セッション地点に複数の演奏者がおり、それぞれの演奏音を複数のマイクで収音してもよい。あるいは、第２セッション地点には演奏者がおらず、第１セッション地点の演奏音と映像を再生するのみであってもよい。
また、第２セッション地点における出力先（スクリーン及びスピーカ）の数も、変更可能である。

さらに、セッション地点は、３箇所以上あってもよい。本発明に係る情報処理装置は、このような場合であっても、時間情報を参照することによって複数の音声情報及び映像情報を同期させることが可能である。

（１１）変形例１１
本発明におけるセッションは、歌唱や演奏を目的としたものに限らず、複数の対象者が集団で行う種々の活動を含み得る。例えば、通信ネットワークを介した会議において本発明を適用してもよいし、学校での授業等に本発明を適用してもよい。すなわち、本発明において収音や撮影の対象となる者は、演奏者に限らない。

（１２）変形例１２
本発明は、コンピュータに上述した制御部１２２の機能を実現させるためのプログラムとしても提供され得る。かかるプログラムは、これを記憶させた光ディスク等の記録媒体としても提供可能であり、また、インターネット等の通信ネットワークを介して所定のサーバ装置からコンピュータにダウンロードされ、これをインストールして利用可能にするなどの形態でも提供され得る。

本発明のネットワークセッションシステムの構成を示す図である。情報送信装置の構成を示すブロック図である。情報処理装置の構成を示すブロック図である。情報送信装置の動作を示すフローチャートである。情報処理装置の動作を示すフローチャートである。情報送信装置の構成を示すブロック図である。情報処理装置の構成を示すブロック図である。情報送信装置の動作を示すフローチャートである。情報処理装置の動作を示すフローチャートである。

符号の説明

１０、２０…ネットワークセッションシステム、１１０、２１０…情報送信装置、１１１、２１１…入力部、１１２、２１２…制御部、１１３、２１３…記憶部、１１４、２１４…操作部、１１５、２１５…通信部、１２０、２２０…情報処理装置、１２１、２２１…通信部、１２２、２２２…制御部、１２３、２２３…記憶部、１２４、２２４…操作部、１２５、２２５…音声入力部、１２６、２２６…音声出力部、１２７、２２７…映像出力部、１３０…ネットワーク

Claims

音声情報及び映像情報の組を通信ネットワークを介して１又は複数取得する取得手段と、
前記取得手段により取得された映像情報を、当該映像情報と組をなす前記音声情報に応じた態様で加工する映像加工手段と、
前記映像加工手段により加工された映像情報と前記取得手段により取得された音声情報とを出力する出力手段と
を備えることを特徴とする情報処理装置。
音声情報、映像情報及び当該音声情報に対応付けられた位置情報の組を通信ネットワークを介して１又は複数取得する取得手段と、
前記取得手段により取得された映像情報を、当該映像情報と組をなす前記位置情報に応じた態様で加工する映像加工手段と、
前記映像加工手段により加工された映像情報と前記取得手段により取得された音声情報とを出力する出力手段と
を備えることを特徴とする情報処理装置。
前記映像加工手段は、前記映像情報が出力されることにより表示される映像の位置又は大きさを変更する加工を行う
ことを特徴とする請求項１又は２に記載の情報処理装置。
前記映像加工手段は、前記映像情報が複数取得された場合に、当該複数の映像情報を合成する加工を行う
ことを特徴とする請求項１又は２に記載の情報処理装置。
前記映像情報に対する加工の態様を指定する指定手段を備え、
前記映像加工手段は、前記音声情報又は位置情報に応じた態様又は前記指定手段により指定された態様の加工を行う
ことを特徴とする請求項１又は２に記載の情報処理装置。
前記取得手段により取得された音声情報と映像情報とを同期させる同期手段を備え、
前記取得手段は、前記音声情報及び映像情報のそれぞれについて、各々の再生タイミングを表す時間情報を対応付けて取得し、
前記同期手段は、前記映像加工手段による加工の前又は後に、前記音声情報及び映像情報のそれぞれに対応付けられた前記時間情報に基づいて当該音声情報及び映像情報を同期させる
ことを特徴とする請求項１又は２に記載の情報処理装置。
前記音声情報及び前記映像情報は、それぞれ、対象者の音声及び映像を表し、
前記位置情報は、測位手段により計測された前記対象者の位置を表し、
前記映像加工手段は、前記映像情報が表す映像の表示位置を前記位置情報が表す位置に応じて変更する加工を行う
ことを特徴とする請求項２に記載の情報処理装置。
コンピュータを、
音声情報及び映像情報の組を通信ネットワークを介して１又は複数取得する取得手段と、
前記取得手段により取得された映像情報を、当該映像情報と組をなす前記音声情報に応じた態様で加工する映像加工手段と、
前記映像加工手段により加工された映像情報と前記取得手段により取得された音声情報とを出力する出力手段
として機能させるためのプログラム。
コンピュータを、
音声情報、映像情報及び当該音声情報に対応付けられた位置情報の組を通信ネットワークを介して１又は複数取得する取得手段と、
前記取得手段により取得された映像情報を、当該映像情報と組をなす前記位置情報に応じた態様で加工する映像加工手段と、
前記映像加工手段により加工された映像情報と前記取得手段により取得された音声情報とを出力する出力手段
として機能させるためのプログラム。