JP2023139615A - 再生装置および再生方法 - Google Patents

Abstract

【課題】通信ネットワークを介して接続された複数の端末から送信された音声情報を再生するときに、適正でない音声情報を送信した端末の情報を報知することが可能な再生装置を提供する。【解決手段】再生装置としてのマスター装置１０は、端末側情報取得部１８３と、特定部１８６と、出力部としてのマスター音声出力部１６およびマスター表示部１５とを備える。端末側情報取得部１８３は、通信ネットワーク３０を介して接続された複数の生徒端末２０－１～２０－４から送信された、音声情報と時刻情報とを取得する。特定部１８６は、取得した音声情報を時刻情報に基づいて同期させて比較することで、適正でない音声が含まれる音声情報に対応する端末を特定する。マスター音声出力部１６は、取得した音声情報を再生する。マスター表示部１５は、特定部１８６により特定された端末から取得した音声情報に適正でない音声が含まれることを示す報知情報を出力する。【選択図】図１

Description

本発明は、再生装置および再生方法に関する。

近年、通信ネットワークを介して複数の端末を相互に通信接続させて、各端末で他の複数の端末から送信された映像信号および音声情報を同時に再生させる技術が開発されている。この技術を用いることで、それぞれ異なる場所にいる複数人の間で、リモートから同時にコミュニケーションをとることができる。

特開２０１２－１２９９５０号公報

上述した技術を用いて、ピアノ等の楽器のレッスンをリモートで行うケースが増えつつある。講師１人が複数人の生徒の指導を行うグループレッスンをリモートで行う場合、講師側の端末では、複数の生徒の端末から送信された音声情報を合成して出力する。

グループレッスンで複数の生徒が同時に同じ曲を弾き、その中の１人が弾き間違えた場合に、現実の空間で行うレッスンでは、音の指向性により講師は誰が間違えたのかを判断することができる。しかし、上述したようにリモートでグループレッスンを行う場合は、複数の生徒の端末から送信された音声情報が合成されて出力されるため、講師はどの生徒が間違えたのかを判断し難いという問題があった。

本発明は、通信ネットワークを介して接続された複数の端末から送信された音声情報を再生するときに、適正でない音声情報を送信した端末の情報を報知することが可能な、再生装置および再生方法を提供することを目的とする。

上記目的を達成するための本発明の再生装置は、通信ネットワークを介して接続された複数の端末から送信された、音声情報と時刻情報とを取得する端末側情報取得部と、前記端末側情報取得部が取得した音声情報を、前記時刻情報に基づいて同期させて比較することで、適正でない音声が含まれる音声情報に対応する端末を特定する特定部と、前記端末側情報取得部が取得した音声情報を再生するとともに、前記特定部により特定された端末から取得した音声情報に、適正でない音声が含まれることを示す報知情報を出力する出力部とを備える。

また、本発明の再生方法は、通信ネットワークを介して接続された複数の端末から送信された、音声情報と時刻情報とを取得し、取得した音声情報を、前記時刻情報に基づいて同期させて比較することで、適正でない音声が含まれる音声情報に対応する端末を特定し、取得した音声情報を再生するとともに、特定した端末から取得した音声情報に適正でない音声が含まれることを示す報知情報を出力する。

本発明の再生装置および再生方法によれば、通信ネットワークを介して接続された複数の端末から送信された音声情報を再生するときに、適正でない音声情報を送信した端末の情報を報知することができる。

本発明の一実施形態による再生装置としてのマスター装置を利用リモートレッスンシステムの構成の構成を示すブロック図である。 本発明の一実施形態による再生装置としてのマスター装置に通信接続された生徒端末の構成を示すブロック図である。 本発明の一実施形態による再生装置としてのマスター装置に表示された端末側表示情報の一例を示す画面構成図である。 本発明の一実施形態による再生装置としてのマスター装置が実行する処理の流れを示すフローチャートである。 （ａ）は、本発明の一実施形態による再生装置としてのマスター装置に表示された所定の端末の映像情報に、適正でないピアノ演奏の音声が含まれることを示す目印情報が重畳された状態を示す図であり、（ｂ）は、通信遅延によるずれが生じていることを示す目印情報が重畳された状態を示す図である。 （ａ）、（ｂ）は、本発明の一実施形態による再生装置としてのマスター装置に表示された判定結果情報の一例を示す図である。

以下に、本発明の実施形態による再生装置としてのマスター装置を用いたリモートレッスンシステムの構成およびリモートレッスン情報の再生方法について、図面を参照して説明する。本実施形態では、講師Ｔが、マスター装置を用いて、生徒端末を有する複数の生徒（生徒Ａ、生徒Ｂ、生徒Ｃ、および生徒Ｄ）を対象としたリモートによるピアノのグループレッスンを行う場合について説明する。

〈一実施形態によるリモートレッスンシステムの構成〉
図１は、本発明の一実施形態によるリモートレッスンシステム１の構成を示すブロック図である。リモートレッスンシステム１は、講師Ｔが用いるマスター装置１０と、生徒Ａが利用する生徒端末２０－１と、生徒Ｂが利用する生徒端末２０－２と、生徒Ｃが利用する生徒端末２０－３と、生徒Ｄが利用する生徒端末２０－４とが、通信ネットワーク３０を介して接続されて構成される。本実施形態においては、マスター装置１０に通信ネットワーク３０を介して接続されている生徒端末の台数が４台の場合を示しているが、これには限定されず、２台、３台、または５台以上であってもよい。以降、生徒端末２０－１、２０－２、２０－３、および２０－４のうち、いずれの生徒端末であるかを特定しない場合には、生徒端末２０と記載する。

マスター装置１０は、マスター入力部１１と、マスター撮像部１２と、マスター集音部１３と、マスター記憶部１４と、出力部としてのマスター表示部１５およびマスター音声出力部１６と、マスター通信部１７と、マスターＣＰＵ１８とを有する。

マスター入力部１１は、講師Ｔの操作情報を入力する。マスター撮像部１２は、講師Ｔを撮影する。マスター集音部１３は、講師Ｔの話し声の音声および講師Ｔが弾くピアノの音声を集音する。マスター記憶部１４は、レッスンに用いる楽曲を演奏したお手本の音声情報を各楽曲の音源として予め記憶する。

マスター表示部１５は表示画面を有し、後述するようにマスターＣＰＵ１８で生成される表示情報を表示する。マスター音声出力部１６はスピーカで構成され、後述するようにマスターＣＰＵ１８で生成される音声出力情報を出力する。マスター通信部１７は、通信ネットワーク３０を介して各生徒端末２０との通信を行う。

マスターＣＰＵ１８は、テンポ提示部１８１と、マスター側情報生成部１８２と、端末側情報取得部１８３と、映像情報取得部１８４と、音声情報取得部１８５と、特定部１８６と、遅延判定部１８７と、表示情報生成部１８８と、音声出力情報生成部１８９とを有する。

テンポ提示部１８１は、メトロノームとしての機能を有し、マスター入力部１１から入力される情報により設定された時間間隔で拍情報を出力することでテンポを提示する。マスター側情報生成部１８２は、マスター撮像部１２で撮影された映像情報と、マスター集音部１３で集音された音声情報と、テンポ提示部１８１から出力される拍情報とを含むマスター側情報を生成し、各生徒端末２０に送信する。

端末側情報取得部１８３は、後述するように各生徒端末２０から送信される、映像情報と音声情報と時刻情報とを含む端末側情報を取得する。映像情報取得部１８４は、端末側情報取得部１８３で取得された端末側情報の中から、映像情報を取得する。音声情報取得部１８５は、端末側情報取得部１８３で取得された端末側情報の中から、音声情報を取得する。

特定部１８６は、音声情報取得部１８５で取得された各生徒端末２０の音声情報の中に、適正でないピアノ演奏の音声が含まれる音声情報があるか否かを判定する。特定部１８６は、該当する音声情報があると判定すると、当該音声情報に対応する生徒端末２０を特定する。

遅延判定部１８７は、端末側情報取得部１８３で各生徒端末２０から受信した端末側情報内の時刻情報に基づいて、対応する生徒端末２０との通信遅延が発生しているか否かを判定する。

表示情報生成部１８８は、生徒端末２０ごとに設定された端末表示情報として、映像情報取得部１８４で取得した各生徒端末２０の映像情報を１画面上に並べた表示情報を生成し、マスター表示部１５に表示させる。表示情報生成部１８８は、表示情報の中で、特定部１８６で特定された生徒端末２０に対応する映像情報内に、適正でないピアノ演奏の音声が含まれることを示す目印情報を重畳させる。また表示情報生成部１８８は、特定部１８６で特定された生徒端末との通信に遅延が発生している場合には、表示情報の中の該当する生徒端末２０に対応する映像情報内に通信遅延によるずれが生じていることを示す情報を重畳する。

音声出力情報生成部１８９は、音声情報取得部１８５で取得した各生徒端末２０の音声情報を合成して、マスター音声出力部１６から出力させる。

図２は、各生徒端末２０の構成を示すブロック図である。生徒端末２０はそれぞれ、端末表示部２１と、端末音声出力部２２と、端末撮像部２３と、端末集音部２４と、端末通信部２５と、端末ＣＰＵ２６とを有する。

端末表示部２１は表示モニタで構成され、マスター装置１０から送信されたマスター側情報に含まれる映像情報を表示する。端末音声出力部２２はスピーカで構成され、マスター装置１０から送信されたマスター側情報に含まれる音声情報を出力する。端末撮像部２３は、当該生徒端末２０を操作する生徒を撮影する。端末集音部２４は、当該生徒端末２０を操作する生徒の話し声の音声および当該生徒が弾くピアノの音声を集音する。端末通信部２５は、通信ネットワーク３０を介してマスター装置１０との通信を行う。

端末ＣＰＵ２６は、マスター側情報取得部２６１と、端末側情報生成部２６２とを有する。マスター側情報取得部２６１は、マスター装置１０から送信されたマスター側情報を取得し、マスター側情報に含まれる映像情報を端末表示部２１に表示させ、音声情報を端末音声出力部２２から出力させる。またマスター側情報取得部２６１は、マスター情報に含まれる拍情報が表示情報で生成されているときには、対応する拍情報を端末表示部２１に表示させ、拍情報が音声情報で生成されているときには、対応する拍情報を端末音声出力部２２から出力させる。

端末側情報生成部２６２は、端末撮像部２３で撮影された映像情報と、端末集音部２４で集音された音声情報とを含む端末側情報を生成し、生成した端末側情報に該当する時刻情報を付加してマスター装置１０に送信する。時刻情報は、例えばＧＰＳ（Global Positioning System）を用いて取得することができる。

〈一実施形態によるリモートレッスンシステムの動作〉
次に、本実施形態によるリモートレッスンシステムの動作について説明する。マスター装置１０と各生徒端末２０との通信を確立させた状態でオンラインレッスンが開始されると、マスター側情報生成部１８２が、マスター装置１０のマスター撮像部１２で撮影された講師Ｔの映像情報とマスター集音部１３で集音された講師Ｔの話し声の音声情報とを含むマスター側情報を生成し、マスター通信部１７を介して各生徒端末２０に送信する。

各生徒端末２０では、マスター装置１０から送信されたマスター側情報を端末通信部２５から受信し、マスター側情報取得部２６１が取得する。マスター側情報取得部２６１は、マスター側情報に含まれる映像情報を端末表示部２１に表示させ、音声情報を端末音声出力部２２から出力させることで再生させる。生徒Ａ、Ｂ、Ｃ、およびＤは、それぞれ所持する生徒端末２０－１、２０－２、２０－３、および２０－４から再生される映像情報および音声情報を視聴する。

また、生徒端末２０－１において、端末撮像部２３で撮影された生徒Ａの映像情報と端末集音部２４で集音された生徒Ａの話し声の音声情報とを含む第１端末側情報を端末側情報生成部２６２が生成し、時刻情報を付加して端末通信部２５を介してマスター装置１０に送信する。同様に、生徒端末２０－２が、生徒Ｂに関する第２端末側情報を生成し、時刻情報を付加してマスター装置１０に送信する。同様に、生徒端末２０－３が、生徒Ｃに関する第３端末側情報を生成し、時刻情報を付加してマスター装置１０に送信する。同様に、生徒端末２０－４が、生徒Ｄに関する第４端末側情報を生成し、時刻情報を付加してマスター装置１０に送信する。

マスター装置１０では、生徒端末２０－１から送信された第１端末側情報、生徒端末２０－２から送信された第２端末側情報、生徒端末２０－３から送信された第３端末側情報、および生徒端末２０－４から送信された第４端末側情報を、マスター通信部１７を介して端末側情報取得部１８３が取得する。そして、映像情報取得部１８４が、取得した第１～第４端末側情報に含まれる映像情報を取得し、表示情報生成部１８８に送出する。表示情報生成部１８８は、映像情報取得部１８４で取得した第１～第４端末側情報内の映像情報を１画面内に並べた端末側表示情報を生成し、マスター表示部１５に表示させる。

図３は、マスター表示部１５に表示された端末側表示情報の一例を示す画面構成図である。図３の端末表示情報では、１画面内に、第１端末側情報内の映像情報Ｐ1、第２端末側情報内の映像情報Ｐ2、第３端末側情報内の映像情報Ｐ3、および第４端末側情報内の映像情報Ｐ4が並べて表示されている。

また、音声情報取得部１８５が、取得した第１～第４端末側情報に含まれる音声情報を取得し、音声出力情報生成部１８９に送出する。音声出力情報生成部１８９は、音声情報取得部１８５で取得した第１～第４端末側情報内の音声情報を合成して、マスター音声出力部１６から出力させることで再生させる。

このように、講師Ｔに関する映像情報および音声情報を各生徒端末２０で出力させ、生徒Ａ、Ｂ、Ｃ、およびＤに関する映像情報および音声情報をマスター装置１０で出力させることで、講師Ｔと、生徒Ａ、Ｂ、Ｃ、およびＤとの間でコミュニケーションをとることができる。

レッスン中に、講師Ｔの指示により、生徒Ａ、Ｂ、Ｃ、およびＤが同時に同じ曲を演奏する場合の処理について説明する。図４は、生徒Ａ、Ｂ、Ｃ、およびＤが同時に同じ曲を演奏する際に、マスター装置１０が実行するリモートレッスン情報の再生処理の流れを示すフローチャートである。

講師Ｔがマスター入力部１１から所定速度のテンポの提示を指示する操作を行うと、テンポ提示部１８１が当該速度に対応する時間間隔で拍情報の出力を開始する。マスター側情報生成部１８２は、順次生成しているマスター側情報に、テンポ提示部１８１から出力される拍情報を、音声情報または所定の表示情報として生成して重畳する。各生徒端末２０では、マスター側情報に重畳された拍情報が所定時間間隔で出力され、生徒Ａ、Ｂ、Ｃ、およびＤは、演奏する曲のテンポを認識することができる。この操作は、マスター撮像部１２により講師Ｔのジェスチャを撮像して画像認識によってなされてもよいし、マスター集音部１３により講師Ｔの音声を集音して音声認識によってなされてもよい（図示せず）。

そして講師Ｔがマスター入力部１１から演奏開始を指示する操作を行うと、マスター側情報生成部１８２がマスター側情報に、拍情報の出力タイミングに合わせて開始指示情報「３、２、１、はい」を、音声情報または表示情報として重畳する。各生徒端末２０では、マスター側情報に重畳された開始指示情報が出力され、生徒Ａ、Ｂ、Ｃ、およびＤは、演奏開始のタイミングを認識することができる。この操作は、マスター撮像部１２により講師Ｔのジェスチャを撮像して画像認識によってなされてもよいし、マスター集音部１３により講師Ｔの音声を集音して音声認識によってなされてもよい（図示せず）。

生徒Ａ、Ｂ、Ｃ、およびＤは、出力された演奏開始情報に基づいて認識したタイミングで演奏を開始し、開始後は出力されている拍情報に合わせて演奏を継続する。生徒Ａ、Ｂ、Ｃ、およびＤの演奏が開始すると（Ｓ１の「YES」）、特定部１８６が、音声情報取得部１８５で取得された所定期間の生徒端末２０－１～２０－４音声情報をバッファリングする（Ｓ２）。この所定期間は例えば、演奏している楽曲の１小節分の期間である。

特定部１８６は、バッファリングした音声情報を解析することで、各生徒端末２０－１～２０－４の音声情報の中に、適正でないピアノ演奏の音声が含まれる音声情報があるか否かを判定する（Ｓ３）。適正でないピアノ演奏の音声とは、音が間違っている、途中で止まった、または、速さがずれている、例えば遅れている演奏の音声である。

特定部１８６が、各生徒端末２０－１～２０－４の音声情報の中に適正でないピアノ演奏の音声が含まれる音声情報があるか否かを判定する判定処理の具体例として、以下に４つの判定処理(1)～(4)を挙げて説明する。特定部１８６は、判定処理(1)～(4)のうちの１つを用いて、または複数を組み合わせて判定する。

［判定処理(1)］
判定処理(1)では、特定部１８６は、バッファリングした期間の各生徒端末２０－１～２０－４の音声情報の分析情報として、例えば波形データを生成し、各音声情報に付加されている時刻情報に基づいてこれらの波形データを同期させ、類似度に基づいて波形データをクラスタリングする。そして特定部１８６は、クラスタリングした波形データのうち、異なるグループに分類されるか、または同じグループに分類されても類似度が所定値以下となる波形データがある場合、当該波形データを構成する音声情報を、適正でないピアノ演奏の音声が含まれる音声情報と判定する。

この判定方法は上記クラスタリングに限られない。各波形データの差分を算出して、差分値が所定値より大きいか否かによって判定しても良い。また、各波形データの相関値を算出して、相関値が所定値より低いか否かによって判定しても良い。さらに、各波形データのスペクトル解析により、周波数成分が平均値からの所定の範囲より乖離しているか否かによって判定しても良い。

［判定処理(2)］
判定処理(2)では、特定部１８６は、生徒端末２０－１～２０－４の中で音声情報の正確さに基づいて予め設定された重み付け情報を予め保持する。この重み付け情報は、ピアノ演奏の上級者が用いる生徒端末２０に対しては高い値で設定され、初心者が用いる生徒端末２０に対しては低い値で設定される。この重み付け情報は、予め設定せず、その都度講師Ｔが手動で設定しても良い。また、この重み付け情報は、これまでの演奏の履歴から、適正でないと判断された頻度が高いほど初心者とし、適正でないと判断された頻度が低いほど上級者として、自動的に設定しても良い。この場合、生徒の端末と、適正でないと判断された頻度とが対応付けられて特定部１８６に保存される。

特定部１８６は、バッファリングした期間の各生徒端末２０－１～２０－４の音声情報それぞれに対応する波形データを生成し、各音声情報に付加されている時刻情報に基づいてこれらの波形データを同期させて比較し、重み付け情報の値が高い生徒端末２０の音声情報に関する波形データとの相関値が所定値よりも低い音声情報を、適正でないピアノ演奏の音声が含まれる音声情報と判定する。

［判定処理(3)］
判定処理(3)を行う場合、講師Ｔも生徒Ａ、Ｂ、Ｃ、およびＤと同じタイミングで該当楽曲を演奏する。特定部１８６は、マスター集音部１３で集音された講師Ｔの演奏の音声情報を、各生徒端末２０－１～２０－４の音声情報と同様に所定期間分バッファリングする。特定部１８６は、バッファリングした期間の各生徒端末２０－１～２０－４の音声情報それぞれに対応する波形データと、講師Ｔの演奏の音声情報に関する波形データとを生成し、各音声情報に付加されている時刻情報に基づいてこれらの波形データを同期させて比較し、その相関値を類似度として算出する。そして特定部１８６は、各生徒端末２０－１～２０－４の音声情報のうち、対応する波形データと、講師Ｔの演奏の音声情報に関する波形データとの相関値が所定値よりも低い音声情報を、適正でないピアノ演奏の音声が含まれる音声情報と判定する。

［判定処理(4)］
判定処理(4)を行う場合、特定部１８６は、マスター記憶部１４から該当する楽曲の音源の音声情報を取得し、各生徒端末２０－１～２０－４の音声情報と同様に所定期間分バッファリングする。特定部１８６は、バッファリングした期間の各生徒端末２０－１～２０－４の音声情報に関する波形データと、音源の音声情報に関する波形データとを生成し、各音声情報に付加されている時刻情報に基づいてこれらの波形データを同期させて比較し、その相関値を類似度として算出する。そして特定部１８６は、各生徒端末２０－１～２０－４の音声情報のうち、対応する波形データと、音源の音声情報に関する波形データとの相関値が所定値よりも低い音声情報を、適正でないピアノ演奏の音声が含まれる音声情報と判定する。

特定部１８６は、適正でないピアノ演奏の音声が含まれると判定した音声情報に対応する生徒端末２０を特定する（Ｓ４）。ここでは、生徒端末２０－２が対応当する生徒端末として特定される。

特定部１８６は、遅延判定部１８７による判定結果に基づいて、対応する生徒端末２０－２との通信に遅延が生じているか否かを判定する（Ｓ５）。特定部１８６が、生徒端末２０－２との通信に遅延が生じていないと判定したときには（Ｓ５の「NO」）、表示情報生成部１８８が図５（ａ）に示すように、マスター表示部１５の生徒端末２０－２に対応する第２端末側情報の映像情報Ｐ2内に目印情報（アイコン情報）Ｑ1を重畳する。このアイコン情報Ｑ1は、適正でないピアノ演奏の音声が含まれることを示す報知情報である。

また特定部１８６が、生徒端末２０－２との通信に遅延が生じていると判定したときには（Ｓ５の「YES」）、表示情報生成部１８８が図５（ｂ）に示すように、マスター表示部１５の生徒端末２０－２に対応する第２端末側情報の映像情報Ｐ2内にアイコン情報Ｑ2を重畳する。このアイコン情報Ｑ2は、生徒端末２０－２から取得した音声情報に通信遅延によるずれが生じていることを示す報知情報である。

表示情報生成部１８８は、アイコン情報Ｑ1またはＱ2を重畳して表示させてから所定時間、例えば１秒間が経過すると（Ｓ８の「YES」）、重畳したアイコン情報Ｑ1またはＱ2を表示情報から削除する（Ｓ９）。

その後、演奏が終了していなければ（Ｓ１０の「NO」）、マスター装置１０はステップＳ２に戻り、次の所定期間、例えば次の小節に関する各生徒端末２０の音声情報をバッファリングして（Ｓ２）、上述した処理と同様にステップＳ３以降の処理を実行する。ステップＳ３において適正でないピアノ演奏の音声が含まれる音声情報がないと判定されたときには（Ｓ３の「NO」）、ステップＳ１０に移行する。演奏が終了すると（Ｓ１０の「YES」）、ステップＳ１に戻り、次の演奏が開始するまで待機する（Ｓ１の「NO」）。

上述した処理中に、特定部１８６が、演奏された曲の中でどの生徒端末２０に関してどの箇所で適正でないピアノ演奏の音声が含まれると判定したかを記憶しておき、表示情報生成部１８８が、記憶した情報を判定結果情報としてマスター表示部１５に表示させてもよい。

例えば表示情報生成部１８８は、判定結果情報として図６（ａ）に示すように、該当する曲の開始から終了までの時間を示した時間軸バーＬと、時間軸バーＬに対応する曲の小節数（図６内の「5」、「9」）と、適正でないピアノ演奏の音声が含まれると判定された音声情報に対応する生徒の識別情報と、時間軸バーＬ内の該当する箇所を矢印で示す情報とを表示する。

また他の例として、表示情報生成部１８８は図６（ｂ）に示すように、該当する曲の楽譜の情報と、適正でないピアノ演奏の音声が含まれると判定された音声情報に対応する生徒の識別情報と、楽譜の中の該当する箇所を矢印で示す情報とを判定結果情報として表示してもよい。図６（ａ）および（ｂ）では、生徒Ｂが、９小節目の直前で弾き間違えをしたことにより、対応する箇所に生徒Ｂの識別情報が表示されている。

以上のステップＳ１～Ｓ１０の処理は、オンラインレッスン中、繰り返される。

上述した実施形態によれば、マスター装置１０は、通信ネットワーク３０を介して接続された複数の生徒端末２０－１～２０－４から送信されたピアノ演奏の音声情報を再生するときに、適正でないピアノ演奏の音声が含まれる音声情報を送信した生徒端末の情報を報知情報として出力し、表示させる。これにより、マスター装置１０を用いる講師Ｔは、どの生徒の演奏が適正でなかったかを認識することができる。

またマスター装置１０の特定部１８６は、生徒端末２０－１～２０－４から取得した音声情報のうち、他の生徒端末２０の音声情報との類似度が所定値よりも低い音声情報か、または生徒端末２０の音声情報とは異なる所定の音声情報との類似度が所定値よりも低い音声情報を適正でない音声が含まれる音声情報と判定し、判定した音声情報に対応する生徒端末２０を特定する。このように特定処理を行うことで、特定部１８６は高い精度で、適正でない音声が含まれる音声情報に対応する端末を特定することができる。

またマスター装置１０の遅延判定部１８７は、端末側情報取得部１８３が取得した時刻情報に基づいて、対応する生徒端末２０との通信遅延が発生しているか否かを判定し、表示情報生成部１８８は、特定部１８６で特定された生徒端末２０に関し、遅延判定部１８７で通信遅延が発生していると判定されていれば、該当する生徒端末２０から取得した音声情報には通信遅延によるずれが生じていることを示す報知情報を出力する。そして、マスター表示部は、この報知情報を表示する。このように報知処理を行うことで、講師Ｔは、所定の音声情報に対して適正でないと判定された要因が通信遅延によるものであったことを認識することができる。報知情報は、音声出力情報生成部１８９により各端末が区別できるように音像を定位させ、マスター音声出力部１６から出力するようにしても良い。

また上述した実施形態において、特定部１８６が適正でない音声が含まれる音声情報に対応する生徒端末２０を特定する際に、端末側情報取得部１８３が取得した映像情報の解析情報をさらに加えて該当する生徒端末２０を判断してもよい。

具体的には、特定部１８６は、各生徒端末２０－１～２０－４から取得した映像情報を解析して、演奏が開始してからの時間ごとに生徒が押している鍵盤の位置を特定する。そして、適正な位置の鍵盤を押していない生徒が映っている映像情報があると判定すると、該当する映像情報に対応する生徒端末２０を、適正でない音声が含まれる音声情報に対応する生徒端末２０として特定する。このように特定処理を行うことで、特定部１８６はさらに精度良く、適正でない音声が含まれる音声情報に対応する端末を特定することができる。

上述した実施形態では、マスター装置１０のマスター表示部１５に表示させる生徒端末２０ごとの端末表示情報が、各生徒端末２０の映像情報である場合について説明したが、これには限定されない。例えば、各生徒端末２０を利用する生徒の顔画像、名前を示したテキスト情報等を端末表示情報として１画面上に並べて、マスター表示部１５に表示させてもよい。また、ピアノ以外の任意の楽器や任意の音声を対象としたレッスンにも上述の実施形態を適用できる。

１ リモートレッスンシステム
１０ マスター装置
１１ マスター入力部
１２ マスター撮像部
１３ マスター集音部
１４ マスター記憶部
１５ マスター表示部
１６ マスター音声出力部
１７ マスター通信部
１８ マスターＣＰＵ
２０、２０－１～２０－４ 生徒端末
２１ 端末表示部
２２ 端末音声出力部
２３ 端末撮像部
２４ 端末集音部
２５ 端末通信部
２６ 端末ＣＰＵ
３０ 通信ネットワーク
１８１ テンポ提示部
１８２ マスター側情報生成部
１８３ 端末側情報取得部
１８４ 映像情報取得部
１８５ 音声情報取得部
１８６ 特定部
１８７ 遅延判定部
１８８ 表示情報生成部
１８９ 音声出力情報生成部
２６１ マスター側情報取得部
２６２ 端末側情報生成部

Claims (5)

1. 通信ネットワークを介して接続された複数の端末から送信された、音声情報と時刻情報とを取得する端末側情報取得部と、
   前記端末側情報取得部が取得した音声情報を、前記時刻情報に基づいて同期させて比較することで、適正でない音声が含まれる音声情報に対応する端末を特定する特定部と、
   前記端末側情報取得部が取得した音声情報を再生するとともに、前記特定部により特定された端末から取得した音声情報に適正でない音声が含まれることを示す報知情報を出力する出力部と、を備える再生装置。
2. 前記特定部は、前記端末側情報取得部が取得した音声情報のうち、他の端末の音声情報との類似度が所定値よりも低い音声情報か、または前記複数の端末の音声情報とは異なる所定の音声情報との類似度が所定値よりも低い音声情報を、適正でない音声が含まれる音声情報と判定し、判定した音声情報に対応する端末を特定する、請求項１に記載の再生装置。
3. 前記端末側情報取得部が取得した時刻情報に基づいて、対応する端末との通信遅延が発生しているか否かを判定する遅延判定部をさらに備え、
   前記出力部は、前記特定部で特定された端末に関し、前記遅延判定部で通信遅延が発生していると判定されていれば、該当する端末から取得した音声情報には通信遅延によるずれが生じていることを示す報知情報を出力する、請求項１または２に記載の再生装置。
4. 前記端末側情報取得部は、前記複数の端末から映像情報をさらに取得し、
   前記特定部は、前記端末側情報取得部が取得した映像情報を解析することで、適正でない音声が含まれる音声情報に対応する端末を特定する、請求項１～３いずれか１項に記載の再生装置。
5. 通信ネットワークを介して接続された複数の端末から送信された、音声情報と時刻情報とを取得し、
   取得した音声情報を、前記時刻情報に基づいて同期させて比較することで、適正でない音声が含まれる音声情報に対応する端末を特定し、
   取得した音声情報を再生するとともに、特定した端末から取得した音声情報に適正でない音声が含まれることを示す報知情報を出力する、再生方法。

Images