JP2016076884A - マルチメディア同期再生装置及びマルチメディア同期再生方法 - Google Patents

Abstract

【課題】 それぞれのクライアント端末の時刻ずれがある場合においても、それぞれのクライアント端末での同期再生を実現するマルチメディア同期再生装置を得る。【解決手段】 読みだした第１のマルチメディアデータに含まれる第１の映像データと第１の音声データとについて、前記第１の映像データに含まれる提示時刻情報を調整した第２の映像データと、前記第１の音声データをデコードしたものを第２のサンプリング周波数で再サンプリング処理をして再エンコードした第２の音声データとを多重して第２のマルチメディアデータを生成し、前記第１のマルチメディアデータを第１のクライアント端末へ配信し、前記第２のマルチメディアデータを第２のクライアント端末へ配信する。【選択図】 図１

Description

この発明は、複数のクライアント端末に対してそれぞれのクライアント端末での映像または音声が再生されるタイミングを調整してマルチメディアデータを配信するマルチメディア同期再生装置に関する。

タブレット端末やディスプレイモニターなどの複数のクライアント端末に対して、マルチメディアデータを配信し、それぞれのクライアント端末で映像または音声を再生させるシステムがある。このようなシステムにおいて、それぞれのクライアント端末での映像または音声が再生されるタイミングを調整したい場合がある。例えばそれぞれのクライアント端末での再生タイミングを同時に再生させたい場合や、それぞれのクライアント端末での再生タイミングを意図的にずらして再生させたい場合などがある。

また、それぞれのクライアント端末がＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）や標準電波（電波時計）を用いて時刻調整を行なう機能を持ち、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（以下、ＭＰＥＧ）で規格化されている方法（例えば、非特許文献１参照）では、各マルチメディアデータには表示時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）データが含まれており、クライアント端末がＰＴＳに基づいて表示することで所望の時刻に表示することができる。この方法を用いてそれぞれのクライアント端末での再生タイミングを同時に再生させることが一般的である。

ＩＳＯ／ＩＥＣ「１３８１８−１ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ： Ｓｙｓｔｅｍｓ」、２００７年１０月１５日、ｐ．９−１８

しかしながら、それぞれのクライアント端末及びマルチメディアデータ配信側の端末がＮＴＰまたは電波時計を用いた時刻調整を定期的に行なっても各クライアント端末が有する発振回路の個体差によって時刻ずれが生じるため、同じＰＴＳに基づいて再生してもずれが生じるという問題があった。また、単純にクライアント端末ごとに配信するマルチメディアデータのＰＴＳ情報を調整することが考えられるが、その場合は、映像についてはデコードした映像データのフレームスキップや同じフレーム画像の継続表示などでＰＴＳに基づいた表示を行なうことができるが、音声についてはデコードした音声データを途中で切ることになったり間延びすることになったりするという問題が生じる。

この発明は、上述のような課題を解決するためになされたもので、それぞれのクライアント端末の時刻ずれがある場合においても、それぞれのクライアント端末での同期再生を実現するマルチメディア同期再生装置を得ることを目的とする。

この発明に係るマルチメディア同期再生装置においては、第１のマルチメディアデータを読み出すマルチメディアデータ読出し部と、前記第１のマルチメディアデータを第１の映像データと第１の音声データとに分離する分離部と、前記第１の映像データに含まれる提示時刻情報を調整した第２の映像データを生成する時刻情報変換部と、前記第１の音声データをデコードするデコード部と、デコードされた前記第１の音声データについて第２のサンプリング周波数で再サンプリング処理を実行する再サンプリング部と、再サンプリング処理された前記第１の音声データをエンコードして第２の音声データを生成するエンコード部と、前記第２の映像データ及び前記第２の音声データを多重して第２のマルチメディアデータを生成する多重化部と、前記第１のマルチメディアデータを第１のクライアント端末へ配信し、前記第２のマルチメディアデータを第２のクライアント端末へ配信するデータ配信部と、前記第１のクライアント端末において再生された映像データ及び音声データの量に関する情報である再生情報と前記第２のクライアント端末において再生された映像データ及び音声データの量に関する情報である再生情報とに基づいて、前記時刻情報変換部が調整する前記提示時刻情報の調整量と第２のサンプリング周波数とを制御する再生情報管理部とを備えたことを特徴とするものである。

この発明は、第１のマルチメディアデータを第１のクライアント端末へ配信するとともに、第２のクライアント端末へ配信する際に、第１のマルチメディアデータを映像データと音声データとに分離して、映像データについては映像データに含まれる提示時刻情報を調整した第２の映像データを生成し、音声データについては一旦デコードして第２のサンプリング周波数で再サンプリング処理を行なってエンコードした第２の音声データを生成して第２の映像データ及び第２の音声データを多重した第２のマルチメディアデータを配信することにより、第１のクライアント端末と第２のクライアント端末との再生ずれを調整可能にすることができる。

実施の形態１にかかるマルチメディア同期再生装置の構成例を示すブロック図である。 実施の形態１にかかるタイミング調整部の構成例を示すブロック図である。 実施の形態１にかかる再生情報のやり取りの一例を示す図である。 実施の形態１にかかる提示開始要求のやり取りの一例を示す図である。 実施の形態２にかかるマルチメディア同期再生装置の構成例を示すブロック図である。

実施の形態１．
図１は、この発明の実施の形態１にかかるマルチメディア同期再生装置の構成例を示すブロック図である。マルチメディア配信装置１０（以下、サーバーともいう）はネットワーク２０を介して第１のクライアント端末３０及び第２のクライアント端末４０と配信可能に接続されている。図１ではクライアント端末を２台として示し、それぞれ第１のクライアント端末３０は表示装置３１と接続され、第２のクライアント端末４０は表示装置４１と接続されているものとして示している。例えばクライアント端末がタブレットなどであればクライアント端末自体が表示装置を備えることになる。また、クライアント端末がマルチメディア配信装置１０からのマルチメディアデータのうち音声再生のみ必要であれば、そのクライアント端末は表示装置を備える必要はない。

次にマルチメディア配信装置１０について説明する。マルチメディア配信装置１０は、マルチメディアデータ読出し部１００と、タイミング調整部１１０と、データ配信部１４０とを備える。マルチメディアデータ読出し部１００は、タイミング調整部１１０の指示に従い、ストレージ１０１から第１のマルチメディアデータを読出す。

ここで、マルチメディアデータは、例えばＭＰＥＧ−２規格準拠の映像データとＭＰＥＧ−４ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）規格準拠の音声データがＭＰＥＧ−２ ＳＹＳＴＥＭ規格のＭＰＥＧ−２ トランスポートストリーム形式で多重されたマルチメディアデータとする。なお、映像データは、ＩＴＵ−Ｔ Ｈ．２６４規格準拠のものであってもよいし、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格準拠の静止画が連番になっているものやＭｏｔｉｉｏｎ ＪＰＥＧ形式でもよいし、ＭＰＥＧ−４形式でもよいし、また、それ以外でもよい。音声データも、ＭＰＥＧ−２ ＡＡＣ形式でもよいし、ＭＰＥＧ−１ Ｌａｙｅｒ２形式、ＭＰＥＧ−１ Ｌａｙｅｒ３形式、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）形式、であってもよいし、それ以外の形式でもよい。また、多重化方式もＭＰＥＧ−２ ＳＹＳＴＥＭのＭＰＥＧ−２トランスポートストリーム以外に、ＭＰＥＧ−２プログラムストリーム形式でもよいし、ＭＰ４形式でもよいし、それ以外でもよい。以下、ＭＰＥＧ−２規格準拠の映像データとＭＰＥＧ−４ ＡＡＣ規格準拠の音声データが、ＭＰＥＧ−２ ＳＹＳＴＥＭ規格のＭＰＥＧ−２ トランスポートストリーム形式に多重されているものとして説明する。

ストレージ１０１は、クライアント装置で再生するためのマルチメディアデータが保管されており、物理的な装置として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）でもよいし、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはＮＡＮＤ型フラッシュメモリなどの記憶素子でもよいし、ＳＤメモリーカードなど着脱可能なメモリーカードでもよい。

タイミング調整部１１０は、マルチメディアデータ読出し部１００へマルチメディアデータの読み出しを指示し、マルチメディアデータ読出し部１００から入力した第１のマルチメディアデータについて、第１のクライアント端末３０へ配信するマルチメディアデータと第２のクライアント端末４０へ配信するために再生タイミングを調整した第２のマルチメディアデータとをデータ配信部１３０へ出力する。マルチメディアデータ読出し部１００への読み出し指示はユーザーからの指示に基づくものとして、マルチメディア配信装置１０側で直接ユーザーからの再生開始指示を入力するとしても、クライアント端末からネットワーク２０を介して再生開始要求されたものを入力するとしても構わない。第２のマルチメディアデータの生成については後ほど詳細を説明する。

データ書き出し／読み出し部１２０は、タイミング調整部１１０を介して得られた第１のマルチメディアデータと、タイミング調整部１１０が生成した第２のマルチメディアデータとをストレージ１２１に書き込み、ストレージ１２１から第１のマルチメディアデータ及び第２のマルチメディアデータをデータ配信部１３０の配信に合わせて読み出してデータ配信部１３０に出力する。

ストレージ１２１は、ストレージ１０１と同様に、物理的な装置として、ＨＤＤまたはＳＳＤでもよいし、ＳＲＡＭ、ＤＲＡＭ、ＥＥＰＲＯＭ、またはＮＡＮＤ型フラッシュメモリなどの記憶素子でもよいし、ＳＤメモリーカードなど着脱可能なメモリーカードでもよい。また、実際の実装時においては、ストレージ１０１と共用してもよい。ストレージ１２１の用途については後述する。

データ配信部１３０は、データ書き出し／読み出し部１２０が読み出した第１のマルチメディアデータを第１のクライアント端末３０に配信し、データ書き出し／読み出し部１２０が読み出した第２のマルチメディアデータを第２のクライアント端末４０に配信する。データ配信部１３０において、第１のクライアント端末３０、第２のクライアント端末４０へのデータ配信は、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いたダウンロード形式より擬似ストリーミング方式でもよいし、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いたストリーミング形式でもよい。ＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）方式でもよいし、その他の方法でよい。以降では、ＨＴＴＰ方式を使うものとする。データ配信部１３０は、第１のクライアント端末３０、第２のクライアント端末４０からの接続情報、例えば、各クライアントのＩＰアドレスなどの情報や、クライアントの接続台数などを再生情報管理部１４０へ通知する。

ネットワーク２０は、物理層にイーサネット（Ｅｔｈｅｒｎｅｔ（登録商標））を用いたＴＣＰ／ＩＰネットワークでもよいし、ＩＥＥＥ８０２．１１ｇ準拠の無線ＬＡＮとＴＣＰ／ＩＰを用いたネットワークでもよいし、ＴＣＰ／ＩＰを用いないネットワークでもよいし、車載向けの通信規格であるＭＯＳＴ（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）などそれ以外の通信方式でもよい。以降では、物理層にイーサネットを用いたＴＣＰ／ＩＰネットワークであるとする。

再生情報管理部１４０は、データ配信部１３０、各クライアント端末から入力を受け取り、タイミング調整部１１０または各クライアント端末に情報を送る。データ配信部１３０から入力される情報は、各クライアント端末から再生要求が発生したこと、再生停止要求があったことなどの情報である。各クライアント端末から入力される情報は、各クライアント端末が備えるデコード部（第１のクライアント端末であればデコード部３２０）から受け取った映像データや音声データの再生時刻などの再生情報である。

次にタイミング調整部１１０について詳細を説明する。図２は、本実施の形態にかかるタイミング調整部１１０の構成例を示すブロック図である。タイミング調整部１１０は、分離部１１３と、時刻情報変換部（ＰＴＳ変換部ともいう）１１４と、デコード部１１５と、再サンプリング部１１６と、エンコード部１１７と、多重化部１１８とを備える。

調整部制御部１１１は、再生情報管理部１４０からの制御を受けセレクタ１１２を制御する。例えば、第１のクライアント端末３０及び第２のクライアント端末４０のいずれか一方のみからの再生要求しかない場合もしくは、第１のクライアント端末３０及び第２のクライアント端末４０が異なるマルチメディアデータの再生を要求する場合は、セレクタ１１２は入力されたマルチメディアデータをそのまま出力するパスを選択する。第１のクライアント端末３０及び第２のクライアント端末４０の両方から同じマルチメディアデータについて再生要求がある場合は、第１のクライアント端末３０向けのマルチメディアデータとしてセレクタ１１２の上部のパスに接続し、第２のクライアント端末４０向けのマルチメディアデータとして、セレクタ１１２を下部のパスへ接続する。

データ分離部１１３は、第１のマルチメディアデータを第１の映像データと第１の音声データとに分離する。また、分離した第１の映像データをＰＴＳ変換部１１４に送り、分離した第１の音声データをデコード部１１６に送る。

ＰＴＳ変換部１１４は、再生情報管理部１４０から制御を受け第１の映像データの提示時刻、例えば、ＭＰＥＧ−２ ＳＹＳＴＥＭでは、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を調整（付け替え）する。また、ＰＴＳが調整された映像データ（第２の映像データ）をデータ多重部１１８へ送る。具体的な調整について説明する。ＰＴＳ変換部１１４は、再生情報管理部１４０からＰＴＳの差分値情報を受け取り、ＰＴＳを書き換える。データ分離部１１３から送られてきた第１の映像データに含まれるＰＴＳをＰＴＳｓ、再生情報管理部１４０から送られてきたＰＴＳの差分値をＰＴＳｄとする。新しいＰＴＳｎは以下の第１式で計算できる。

ＰＴＳｎ＝ＰＴＳｓ＋ＰＴＳｄ ・・・（１）
ただし、ＰＴＳの差分値情報については、上記のようにＰＴＳの時刻情報としてやりとりしてもよいし、映像データの繰り返し回数としてもよい。このとき、映像データの繰り返し回数をＰＴＳｒ、映像データの間隔の時間をＰＴＳｆとする。また、ＰＴＳｒ、ＰＴＳｆは、再生情報管理部１４０から入力される。この場合の、ＰＴＳｎは、以下の第２式で求められる。

ＰＴＳｎ＝ＰＴＳｓ＋ＰＴＳｒ×ＰＴＳｆ ・・・（２）
このとき、ＰＴＳｒは、映像データをコピーするように制御する場合は正の値を、映像データをスキップする場合は、負の値を設定する。

デコード部１１５は、第１の音声データについてデコード処理を行なう。

再サンプリング部１１６は、デコード部１１５でデコードされた第１の音声データについて第２のサンプリング周波数でサンプリング処理を実行する。第２のサンプリング周波数を元々第１の音声データがサンプリングされていたサンプリング周波数（第１のサンプリング周波数）と異なる周波数で再びサンプリングしなおすことで、音声データの再生時間を長くしたり短くしたりする。第２のサンプリング周波数を第１のサンプリング周波数よりも低い周波数で再サンプリングすることで第１の音声データそのままを再生するよりも音声データの再生時間は短くなる。一方、第２のサンプリング周波数を第１のサンプリング周波数よりも高い周波数で再サンプリングすることで第１の音声データそのままを再生するよりも音声データの再生時間は長くなる。なお、元々のサンプリング周波数と異なる周波数で再びサンプリングしなおすことを再サンプリングするまたはスケーリングするともいう。

これにより、第１のクライアント端末３０、第２のクライアント端末４０での再生時に音声データはスキップやコピーをすることなく再生し続けること、音声の同期再生を実現することが可能となる。

デコード後の音声データをスケーリングすると音声のピッチ（音程）が変化する。この対策として、既存のピッチ変換技術を用いてもよいがここではその方法は規定しない。また、第１のクライアント端末３０と第２のクライアント端末４０の再生時間のずれはそれぞれのクライアント端末に搭載される水晶発振子のようなタイミング生成回路の精度に由来するものが考えられる。一般にそのタイミング生成回路の精度は、百万分の１から十数万分の１の精度であり、音声のピッチが変更されても聴感上は影響のない範囲と考え、ピッチ制御はなくてもよい場合もある。再サンプリングされた音声データは、再エンコード部１１７へ送られる。再サンプリング部１１６は、再生情報管理部１４０から音声の再生時間を長くするか、短くするかの情報を受ける。再サンプリング部１１６で調整する量（ミリ秒）をｄｓ［ミリ秒］とするとｄｓは、長くする場合、短くする場合でその値を変えても良いし、同じ値でもよい。もともとの音声データの再生時間をＴｃ、新しい再生時間をＴｎ、ｄｓは正の値であるとし、再生情報管理部２０７からの入力をｆとすると以下の第３式が成り立つ。ｆは、再生時間を長くする場合は１、短くする場合は、−１となる。

Ｔｎ＝Ｔｃ＋ｆ×ｄｓ ・・・（３）
再エンコード部１１７は、デコード部１１５からエンコード情報を受け、その情報と同じ設定で再サンプリングされた音声データを再び符号化し、再符号化された音声データをデータ多重部１１８へ送る。

データ多重部１１８は、ＰＴＳが調整された第２の映像データと再エンコードされた第２の音声データとを、データ分離部１１３から伝達された多重情報に従い再び多重することで第２のマルチメディアデータを生成し、データ書き出し／読み出し部１２０へ第２のマルチメディアデータを出力する。

このタイミング調整部１１０は、例えば、第１のクライアント３０を基準に第２のクライアント４０を調整する場合では、１つあればよい。その逆も同様である。一方、第１のクライアント３０と第２のクライアント４０の平均となるようにそれぞれを調整する場合には、タイミング調整部１１０を２つ備えることで実現できる。

次にデータ書き出し／読み出し部１２０とストレージ１２１について述べる。前述の通り、データ書き出し／読み出し部１２０は、タイミング調整部１１０からデータを受け取り、データ配信部１３０にデータを送る。これは、クライアント端末からの指示をうけたデータ配信部１３０、再生情報管理部１４０からの指示に従って動作している状態である。この場合、ストレージ１２１は、データ書き出し／読み出し部１２０にとって、データ配信部１３０とタイミング調整部１１０のデータ入出力時のバッファーとして機能する。

一方で、複数のクライアント端末が存在する場合、クライアント端末間で再生ズレが生じた場合は、前述のような方法で、映像データと音声データのＰＴＳを修正する。この時、ＰＴＳの修正が必要になったクライアント端末向けのデータについて、それ以降すべてのＰＴＳを修正する必要がある。クライアント端末の台数が少ない場合は前述の逐次処理でも問題は発生しないが、台数が多い場合は処理が間に合わなくなる場合がある。そこで、タイミング調整部１１０は、再生情報管理部１４０の指示よりも事前にＰＴＳを修正したデータを作成することができる。クライアント端末間の再生のズレは、一般的には、一定間隔のズレとなる場合が多く、初回の修正に基づいてその後のデータを生成することができる。その場合は、タイミング調整部１１０は、データ配信部１３０の要求よりも多くのデータをデータ書き出し／読み出し部１２０へ送ることになる。その際、データを一時的にストレージ１２１に貯めることで対応することができる。

また、クライアント端末間の再生ズレが一定ではない場合は、再生開始から初めてＰＴＳを修正した時までの時間Ｔｍｏｄｐｔｓの分のデータのＰＴＳを修正するようにしてもよい。ないしは、Ｔｍｏｄｐｔｓの半分としてもよいし、それ以下でも以上でもよい。この場合に、ＰＴＳを修正したデータを先行して作りすぎた場合は、データ書き出し／読み出し部１２０は、ストレージ１２１に保存されているデータを捨てるように動作させる必要がある。ＰＴＳを修正したデータを少なく生成した場合は、タイミング調整部１１０は再度、ＰＴＳを修正したデータを先行して生成することができる。

次にクライアント端末の構成について図１を用いて説明する。ここで、図１では第１のクライアント端末３０についてのみ構成を示しているが、第２のクライアント端末４０も同様の構成要素であって同様の作用をする。

第１のクライアント端末３０の外部に表示装置３１が接続される。一方、第２のクライアント端末４０の外部に表示装置４１が接続される。ここまでに述べてきた同期再生とは、この表示装置３１と表示装置４１に表示される映像が一定の誤差範囲に収まりつつ再生が維持される状態をいう。音声についても同様であり、音声が一定の誤差範囲に収まりつつ再生される状態をいう。ここで、一定の誤差範囲とは、実験的ないし、統計的に決められた、視聴上違和感のない範囲をさす。

第１のクライアント端末３０は、データ受信部３００、データ分離部３１０（第３の分離部ともいう）、デコード部３２０（第３のデコード部ともいう）、提示制御部３３０、及び再生制御部３４０を備える。

データ受信部３００は、ネットワーク２０を介してマルチメディア配信装置１０と接続され、マルチメディア配信装置１０から配信されたマルチメディアデータを受信する。このとき、マルチメディアデータの要求は、クライアント側が要求することになる。この要求は、再生制御部３４０が行う。データ受信部３００は、受信したマルチメディア情報をデータ分離部３１０へ出力する。データ受信部３００には、ネットワークの遅延やゆらぎを吸収するために、バッファーとして、一時的な記憶領域を設けてもよい。

データ分離部３１０は、データ受信部３００が受信したマルチメディアデータを映像データと音声データとに分離する。ここでは、ＭＰＥＧ−２規格準拠の映像データとＭＰＥＧ−４ ＡＡＣ規格準拠の音声データとが、ＭＰＥＧ−２ ＳＹＳＴＥＭ規格のＭＰＥＧ−２ トランスポートストリーム形式に多重されているものであるので、トランスポートストリームを分離して、ＭＰＥＧ−２形式の映像データとＭＰＥＧ−４ ＡＡＣ形式の音声データとに分ける。データ分離部３１０についても、処理遅延などを吸収する目的にバッファーとして一時的な記憶領域を設けてもよい。

デコード部３２０は、データ分離部３１０で分離された映像データと音声データとを取得してデコード処理を行なう。このとき、データ分離部３１０とデコード部３２０は、別々の構成となっているが１つにまとめた構成としてもよい。デコード部３２０は、映像データと音声データをデコードしてデコードデータを提示制御部３３０へ送る。また、デコード部３２０では、映像データであれば、何フレーム分のデータをデコードしたなどの情報や、どの時刻に提示すべき映像データなのかなど、音声データも同様に何秒分のＰＣＭデータを生成したか、どの時刻に提示すべき音声データかなどのマルチメディア情報に含まれる再生情報を再生制御部３４０へ送る。

再生制御部３４０は、デコード部３２０から受け取った映像データや音声データの再生時刻などの再生情報を再生情報管理部１４０へ送信する。

この再生情報は、映像データのＰＴＳｖ、音声データのＰＴＳａ、もしくは再生制御部３４０から提示制御部３３０へ送信したデータでもよい。再生情報は、第１のクライアント端末３０やその他のクライアント端末で再生している映像データや音声データ、またはその両方の時間的な情報であればよい。以下では、映像データのＰＴＳｖ、音声データのＰＴＳａが送られるとする。また、再生制御部３４０は、再生情報管理部１４０の要求に従って再生情報を送信するが、再生制御部３４０が定期的（例えば、１秒毎）に再生情報管理部１４０へ再生情報を送出するような構成としてもよい。以下ではそのような構成で述べるが、再生情報管理部１４０の要求にしたがって動作する場合について記載する。

また、再生情報管理部１４０は、接続されるクライアント端末が１台のみの場合は、以下に述べる再生開始要求を再生制御部３４０に送信するのみでよい。しかし、再生情報管理部１４０を実現する際にその制御を簡略化するため、ないし、時間的に後から別のクライアントからの同期再生要求がある場合に備えて、再生情報を再生制御部３４０へ要求しつづけてもよい。

提示制御部３３０は、表示装置３１に対して、映像データを送信して表示するよう制御する。

このように、第１のクライアント端末３０において再生された映像データ及び音声データの量に関する情報である再生情報と第２のクライアント端末４０において再生された映像データ及び音声データの量に関する情報である再生情報とに基づいて、ＰＴＳ変換部１１４が調整する前記提示時刻情報の調整量と第２のサンプリング周波数とを制御することで第１のクライアント端末３０と第２のクライアント端末４０との同期再生が可能となる。

次に、マルチメディア配信装置１０と第１のクライアント端末３０及び第２のクライアント端末４０の全体の動作を説明する。ここでは、複数（２台以上）のクライアント端末が同時に１つのマルチメディアデータを同時に同期して再生する場合について述べる。

まず、ユーザーが１つのマルチメディアデータを複数のクライアント端末で同時に同期して再生するという指示を行なう。この指示は、ユーザーがあるクライアント端末に再生制御部を介してマルチメディア配信装置１０の再生情報管理部１４０へ指示内容を送信してもよいし、ユーザーがマルチメディア配信装置１０側で設定指示した情報を再生情報管理部１４０が受け取る方法でもよい。以下ではユーザーが再生情報管理部１０７に対して複数端末同期再生を指示する例を述べる。このときのユーザーは第１のクライアント端末３０及び表示装置３１を用いて視聴するユーザー（以下、第１のユーザーともいう）でも、第２のクライアント端末４０及び表示装置４１を用いて視聴するユーザー（以下、第２のユーザーともいう）でもそれ以外のユーザーであってもよい。ユーザーは１名でもよいし、複数名でもよい。第１のユーザー及び第２のユーザーがそれぞれのクライアント端末を操作することによりそれぞれのクライアント端末の再生情報管理部に再生開始要求が発行される。このとき、時間的に全く同一時刻となる場合もあるが、時差が生じる場合もある。以下では、第１のユーザーが第２のユーザーよりも早く再生開始要求をしたものとして述べるが、逆であっても同時であってもよい。

再生情報管理部１４０は、第１のクライアント３０からの再生要求に従って、タイミング調整部１１０に対してデータ配信開始を指示する。この段階では、複数クライアント端末間の再生のずれは発生していないので、前述のような再生情報は送信しない。

次に、再生情報管理部１４０は別のクライアント端末からの再生開始要求を待つ。ここで、本発明に影響は与えないが、第２のクライアント端末４０からの再生開始要求の待ち時間にしきい値を設けて第２のクライアント端末へ対応不可の旨を示す情報を送信したり第２のクライアント端末４０からの再生開始要求を無視したりする処理を含めてもよい。

第２のクライアント端末４０から再生開始要求があったら、第１のクライアント端末の時と同様にタイミング調整部１１０に対してデータ配信開始を指示する。

次に、再生情報管理部１４０は、データ配信部１３０からそれぞれのクライアント端末に配信されたデータ量を受信するようになっているので、予め決められたデータ量をそれぞれのクライアント端末に配信した、予め決めた時刻が経過した、またはその両方の条件にて、第１のクライアント端末３０及び第２のクライアント端末４０の再生制御部に提示開始を指示する。ここで、各クライアント端末のデータ受信部３００、データ分離部３１０、デコード部３２０、提示制御３３０は、再生開始要求を再生管理部１４０に発行した後は、それぞれ動作を開始し、再生情報管理部１４０からの再生開始指示を受けたら、瞬時に映像データ、音声データを出力できるような状態になる。このような状況は、例えば、第１のクライアント端末３０でユーザーがマルチメディア情報の再生開始を指示し、その直後に一時停止のような状態で停止している状態である。再生情報管理部１４０から各クライアント端末へ提示開始を出したのち、各クライアント端末の再生制御部３４０にてマルチメディアデータの提示が開始され、各クライアント端末にて同期した再生が可能となる。

提示開始後、以下の例では再生情報管理部１４０が再生情報要求を発行する例を示すが、各クライアント端末の再生制御部３４０が定期的に再生情報を送出してもよい。

次に提示開始後の各クライアント端末での同期制御について述べる。

再生情報管理部１４０は、提示開始要求発行後、予め決められた時間毎（例えば、１秒など）に各クライアント端末の再生制御部３４０に再生情報要求を発行する。前述した通り、再生情報は各クライアント端末の映像データと音声データのＰＴＳ情報であるとして述べる。第１のクライアント端末３０からの再生情報をＰＴＳｖ１（映像データ）、ＰＴＳａ１（音声データ）、第２のクライアント端末からの再生情報をＰＴＳｖ２（映像データ）、ＰＴＳａ２（音声データ）とすると、例えば本例では第１のクライアント端末３０が先に再生開始要求をしたため第１のクライアント端末３０の再生情報を基準にクライアント端末間のズレを補正する。ただし、逆でもあってもよい。３台以上の場合はいずれのクライアント端末の情報を基準にしてもよい。

次に図３を用いてマルチメディア配信装置１０と第１のクライアント端末３０及び第２のクライアント端末４０との再生情報の取得があった場合のずれ量の補正量の算出について説明する。図３は、マルチメディア配信装置１０と第１のクライアント端末３０及び第２のクライアント端末４０との情報のやり取りの一例を示す図である。横軸は時間の経過を示す。

まず時刻Ｔ_ｓ０にマルチメディア配信装置１０が第１のクライアント端末３０へ再生情報要求を発行する。

第１のクライアント端末３０は、マルチメディア配信装置１０からの再生情報の要求に応じて再生情報を返答する。マルチメディア配信装置１０は、再生情報の要求した時刻Ｔ_ｓ０からｄ１秒後に、第１のクライアント端末３０からの再生情報を取得する。

次にマルチメディア配信装置１０は、時刻Ｔ_ｓ０から予め決められた時間ｄ秒後に第２のクライアント端末４０へ再生情報要求を発行する。

第２のクライアント端末４０は、マルチメディア配信装置１０からの再生情報の要求に応じて再生情報を返答する。マルチメディア配信装置１０は、再生情報の要求した時刻からｄ２秒後に、第２のクライアント端末４０からの再生情報を取得する。

図３では、第１のクライアント端末３０と第２のクライアント端末４０が別々のタイミングで再生情報要求をしているが同時であってもよい。図３のｄ１とｄ２について述べる。これらは、各クライアントでのネットワーク遅延とクライアントでの動作時間を含む遅延時間である。このとき、ｄ１／２とｄ２／２が各クライアントでの再生情報と考えられる。この時、予め決められた時間よりもｄ１、ｄ２が大きな値となる場合には、予期しない遅延が発生していると考え、それぞれの値を採用しないという方法を取り入れてもよい。この予期しない遅延時間には、ネットワークに起因するものなどがある。ここで、第１のクライアント端末３０と第２のクライアント端末４０に全く誤差がない場合は、以下の式が成り立つ

Ｔｓ０＋ｄ＋ｄ２／２―（Ｔｓ０＋ｄ１／２）＝ＰＴＳｖ２―ＰＴＳｖ１
Ｔｓ０＋ｄ＋ｄ２／２―（Ｔｓ０＋ｄ１／２）＝ＰＴＳａ２―ＰＴＳａ１
ただし、各ＰＴＳは、再生制御部３４０で受け取るＰＴＳは、ＰＴＳ間隔の誤差を含んでいる場合がある。これは、再生制御部３４０でのＰＴＳ取得方法や補間処理に起因する。しかし、以下のズレ補正方法においては、これらの誤差を含んでいても不具合は発生しないため、それらを考慮しないものとするが、現在のマルチメディア情報の映像データ、音声データのＰＴＳの間隔をΔＰＴＳｖ、ΔＰＴＳａとする。また、計測間隔のｄ秒にｆｖ、ｆａ個の映像データ、音声データが含まれるとする。ｄｖを映像データから推定した値、ｄａを音声データから推定した値とする。

ｄｖ＝ｄ＋ｄ２／２―ｄ１／２―（ＰＴＳｖ２―ＰＴＳｖ１）
ｄａ＝ｄ＋ｄ２／２―ｄ１／２−（ＰＴＳａ２―ＰＴＳａ１）
とするとズレが発生する場合というのは、次の式を満たす場合である。

｜ｄｖ｜―（ｆｖ＋１）×ΔＰＴＳｖ＞０
｜ｄａ｜―（ｆａ＋１）×ΔＰＴＳａ＞０
ｄｖ、ｄａの符号によりどちらが進んでいるか判別できる。上記では、第２のクライアント端末４０が早い場合は、負の値となる。また、一般的に、ｄｖ、ｄａの符号は同じになる。これは各クライアントで映像データと音声データの同期再生は保証されている場合が多いためである。

しかし、異なっていた場合は映像データと音声データでそれぞれに個別の処理を実施すればよい。もし、各クライアント内での同期再生が保証されている場合は、映像データもしくは音声データどちらかについて上記を検討すればよい。

ここまでで、各クライアント端末のずれの方向が算出できるため、前述した方法にて新しいＰＴＳを算出し、タイミング調整部１１０へ出力する。

次に、図４を用いて第１のクライアント端末３０が既に再生・提示を開始している場合に、第２のクライアント端末４０が同じマルチメディアデータを第１のクライアント端末３０と同期して再生・提示を行う場合について述べる。ただし、第１のクライアント端末３０と第２のクライアント端末４０が逆転する場合や３台以上のクライアント端末を考える場合も同様に制御できるため、クライアント端末が２台の場合のみを述べる。

図４に時間の関係を示す。図４は、マルチメディア配信装置１０と第１のクライアント端末３０及び第２のクライアント端末４０との再生要求のやり取りの一例を示す図である。横軸は時間の経過を示す。

再生情報管理部１４０は、第１のクライアント端末３０への提示開始要求の時刻Ｔｔ１を記録する。次に、第２のクライアント端末４０から再生開始要求が再生情報管理部１４０へあった時刻Ｔｓ２を記録する。このとき、図３にあるように第１のクライアント端末３０の提示開始要求に対して再生制御部３４０が提示開始を再生情報管理部１０７へ返答するように実装すると、その時間差分によりネットワーク等の遅延時間を推定することができ、より正確な制御が可能となる。

また、第２のクライアント端末４０の提示開始要求を発行する際にも、先立ってダミーの提示開始要求と提示開始への返答する手順を加える事で、ネットワーク等の遅延を考慮したより正確な制御が可能となるが、ここでは簡単のため、そのような制御のない図４で検討する。第２のクライアント端末４０から再生情報管理部１４０に再生開始要求があった時に、第１のクライアント端末３０が再生している映像データと音声データのＰＴＳをＰＴＳｖｖ１、ＰＴＳａａ１とする。

各クライアント同時再生のときと同様に再生情報管理部１４０が再生開始要求を受けてから提示開始要求を出すまでを、予め決めた時刻ｄｉｎｔｅｒが経過した場合とすると、再生情報管理部１４０がクライアント８の再生制御部３４０に提示開始要求を発行する時刻Ｔｔ２は以下を満たす。

Ｔｔ２＝Ｔｓ２＋ｄｉｎｔｅｒ
とすると第２のクライアント端末４０が提示開始要求を受けた時に再生すべきＰＴＳはそれぞれＰＴＳｖｖ１＋ｄｉｎｔｅｒ、ＰＴＳａａ１＋ｄｉｎｔｅｒであると計算でき、第２のクライアント端末４０へ配信するマルチメディア情報の先頭をＰＴＳｖｖ１＋ｄｉｎｔｅｒ、ＰＴＳａａ１＋ｄｉｎｔｅｒとなるようにタイミング調整部１１０を制御しデータ読み込み部１００を制御する。

第２のクライアント端末４０に提示開始を発行した後の動作は、同時同期再生時と同様の制御をする。

ここで、ＰＴＳｖｖ１＋ｄｉｎｔｅｒ、ＰＴＳａａ１＋ｄｉｎｔｅｒについて、本例ではマルチメディア情報として、映像データをＭＰＥＧ−２ストリームとしている。前述したとおり、ＭＰＥＧ−２ストリームは、フレーム間予測技術があるため、任意の映像データからデコードすることができない。このため、ＰＴＳｖｖ１＋ｄｉｎｔｅｒ、ＰＴＳａａ１＋ｄｉｎｔｅｒを算出するにあたり、マルチメディア情報に含まれる映像データで、ＰＴＳｖｖ１＋ｄｉｎｔｅｒより大きな値となりかつその映像データからデコードできる映像データを見つける必要がある。

この時のＰＴＳの差分をΔＰＴＳｉとすると、第２のクライアント端末４０への提示開始要求時刻は、Ｔｔ２＝Ｔｓ２＋ｄｉｎｔｅｒ＋ΔＰＴＳｉとなる。さらに、マルチメディア情報のＰＴＳは、それぞれＰＴＳｖｖ１＋ｄｉｎｔｅｒ＋ΔＰＴＳｉ、ＰＴＳａａ１＋ｄｉｎｔｅｒ＋ΔＰＴＳｉとなる。

この発明に係るマルチメディア同期再生装置の実施の形態１の構成であるマルチメディア同期再生装置は、以上のように構成されているので、同期のための時刻情報を付加することなく、また、クロック調整機構を搭載していなくても、端末間でマルチメディア情報の同期再生が実現できるという効果を得ることが出来る。

以上、本実施の形態では、クライアント端末を２台として記載したが、２台以上であってもよい。この場合、タイミング調整部１１０、再生情報管理部１４０はクライアント端末の数だけ処理できるように拡張すればよい。例えば、３台のクライアント端末が存在する場合は、タイミング調整部１１０は２個あれば対応できる。

実施の形態２．
図５に、実施の形態２に係るマルチメディア同期再生装置の構成を示す。実施の形態１と比較して、データ配信部１３１、再生情報管理部１４１、及び再生制御部３４１の動作が異なる。それ以外の構成要素は、実施の形態１と同じである。

データ配信部１３１は、実施の形態１では、第１のクライアント端末３０及び第２のクライアント端末４０からの接続情報、例えば、各クライアント端末のＩＰアドレスなどの情報や、クライアント端末の接続台数などを再生情報管理部へ通知していたが、実施の形態２では通知しない。実施の形態２では、第１のクライアント端末３０及び第２のクライアント端末４０の接続情報は、再生情報管理１４１で管理する。各クライアント端末の再生制御部３４１は、ユーザー等から再生開始要求をうけ、第１のクライアント端末３０または第２のクライアント端末４０の接続情報を再生情報管理部１４１へ通知する。それ以外の機能は実施の形態１と同様である。

このように構成することで、第１のクライアント端末３０及び第２のクライアント端末４０において、再生情報や再生制御はそれぞれの再生制御部３４１に集約され、マルチメディア配信装置１０において、第１のクライアント端末３０及び第２のクライアント端末４０の再生情報や再生制御は再生情報管理部１４１に集約することができる。

これにより、実施の形態１に係るマルチメディア同期再生装置と同様、同期のための時刻情報を付加することなく、また、それぞれのクライアント端末３０でクロック調整機構を搭載していなくても、端末間でマルチメディア情報の同期再生が実現できるという効果を得ることが出来る。

実施の形態２では、クライアント端末は、２台で説明したが、２台以上であってもよい。この場合、タイミング調整部１１０、再生情報管理部１４１はクライアント端末数だけ処理できるように拡張すればよい。例えば、３台のクライアントが存在する場合は、タイミング調整部１１０は、３から２個あれば対応できる。

１０ マルチメディア配信装置
１００ マルチメディアデータ読出し部
１１０ タイミング調整部
１１３ 分離部
１１４ 時刻情報変換部
１１５ デコード部
１１６ 再サンプリング部
１１７ 再エンコード部
１１８ 多重化部
１３０ データ配信部
１４０ 再生情報管理部
２０ ネットワーク
３０ 第１のクライアント端末
４０ 第２のクライアント端末

Claims (6)

1. 第１のマルチメディアデータを読み出すマルチメディアデータ読出し部と、
   前記第１のマルチメディアデータを第１の映像データと第１の音声データとに分離する分離部と、
   前記第１の映像データに含まれる提示時刻情報を調整した第２の映像データを生成する時刻情報変換部と、
   前記第１の音声データをデコードするデコード部と、
   デコードされた前記第１の音声データについて第２のサンプリング周波数で再サンプリング処理を実行する再サンプリング部と、
   再サンプリング処理された前記第１の音声データをエンコードして第２の音声データを生成するエンコード部と、
   前記第２の映像データ及び前記第２の音声データを多重して第２のマルチメディアデータを生成する多重化部と、
   前記第１のマルチメディアデータを第１のクライアント端末へ配信し、前記第２のマルチメディアデータを第２のクライアント端末へ配信するデータ配信部と、
   前記第１のクライアント端末において再生された映像データ及び音声データの量に関する情報である再生情報と前記第２のクライアント端末において再生された映像データ及び音声データの量に関する情報である再生情報とに基づいて、前記時刻情報変換部が調整する前記提示時刻情報の調整量と第２のサンプリング周波数とを制御する再生情報管理部とを備えたことを特徴とするマルチメディア同期再生装置。
2. 前記再生情報は、それぞれのクライアント端末がどの時刻に提示すべき映像データまたは音声データなのかを示す情報、映像データについて何フレーム分のデータをデコードしたかを示す情報、または音声データについて何秒分の音声データをデコードしたかを示す情報を含む
   ことを特徴とする請求項１に記載のマルチメディア同期再生装置。
3. 前記第１のクライアント端末及び前記第２のクライアント端末は、配信されたマルチメディアデータを映像データと音声データとに分離する第３の分離部、分離された前記映像データと前記音声データとをデコードし、デコードした前記映像データのフレーム数及び再生する時刻並びにデコードした前記音声データのデータ量及び再生する時刻を含む再生情報を送信する第３のデコード部、前記映像データの提示時刻情報に基づいて前記映像データの表示をスキップまたは繰り返し表示する提示制御部を備えた
   ことを特徴とする請求項１または請求項２に記載のマルチメディア同期再生装置。
4. 前記データ配信部は、前記再生情報管理部に前記第１のクライアント端末及び前記第２のクライアント端末のＩＰアドレスと、前記第１のクライアント端末及び前記第２のクライアント端末の台数とを含む接続情報を出力する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載のマルチメディア同期再生装置。
5. 前記第１のクライアント端末及び前記第２のクライアント端末は、再生情報管理部に前記クライアント端末のＩＰアドレスを含む接続情報を送信する
   ことを特徴とする請求項４に記載のマルチメディア同期再生装置。
6. 第１のマルチメディアデータを読み出すマルチメディアデータ読出しステップと、
   前記第１のマルチメディアデータを第１の映像データと第１の音声データとに分離する分離ステップと、
   前記第１の映像データに含まれる提示時刻情報を調整した第２の映像データを生成する時刻情報変換ステップと、
   前記第１の音声データをデコードするデコードステップと、
   デコードされた前記第１の音声データについて第２のサンプリング周波数で再サンプリング処理を実行する再サンプリングステップと、
   再サンプリング処理された前記第１の音声データをエンコードして第２の音声データを生成するエンコードステップと、
   前記第２の映像データ及び前記第２の音声データを多重して第２のマルチメディアデータを生成する多重化ステップと、
   前記第１のマルチメディアデータを第１のクライアント端末へ配信し、前記第２のマルチメディアデータを第２のクライアント端末へ配信するデータ配信ステップと、
   前記第１のクライアント端末において再生された映像データ及び音声データの量に関する情報である再生情報と前記第２のクライアント端末において再生された映像データ及び音声データの量に関する情報である再生情報とに基づいて、前記時刻情報変換部が調整する前記提示時刻情報の調整量と第２のサンプリング周波数とを制御する再生情報管理ステップと
   を備えたことを特徴とするマルチメディア同期再生方法。

Images