JP2006197013A - マルチメディアデータ再生装置及びマルチメディアデータ再生方法 - Google Patents

Abstract

【課題】 遅延時間の異なる再生デバイスを用いて同期再生中に再生デバイスを変更してもメディアデータを失うことなく同期再生を継続すること。
【解決手段】 マルチメディアデータ再生装置１０１は、マルチメディアデータを同期出力する映像出力デバイス１１４及び音声出力デバイス１１５と、映像出力デバイス１１４及び音声出力デバイス１１５に映像信号及び音声信号を送信する映像信号送信部１１０及び音声信号送信部１１３と、映像出力デバイス１１４及び音声出力デバイス１１５の出力遅延時間を記憶するＤｅｌａｙ値テーブル１２１と、同期再生中に他の出力デバイスに切り替えたとき、Ｄｅｌａｙ値テーブル１２１に記憶される切り替え前の出力デバイスの遅延時間と、切り替え後の出力デバイスの遅延時間に基づいて、切り替え後の映像信号及び音声信号の送信時刻を設定する同期設定部１２３と、を具備する。
【選択図】 図２

Description

本発明は、動画と音声のように複数の再生デバイスによってマルチメディアデータを同時に再生するマルチメディアデータ再生装置及びマルチメディアデータ再生方法に関し、特に、再生中に出力デバイスを切り替えたときにもメディアデータの連続性を維持しながら同期再生できるマルチメディアデータ再生装置及びマルチメディアデータ再生方法に関する。

従来、ユーザは、ビデオテープレコーダ、及びＤＶＤプレイヤなどの再生機器を用いて動画と音声を同時に再生してきたが、近年、マルチメディアの発達に伴い、携帯電話機などの移動端末を使って動画やテレビ放送などを録画して再生できるようになってきた。また、再生出力デバイスもブラウン管、スピーカ、及びイヤホンに加え、プラズマ、液晶、及びＢｌｕｅｔｏｏｔｈなどを用いたワイヤレスイヤホンなどが普及し、再生装置内に複数の再生出力デバイスを備え、再生出力デバイスを切り替えて動画及び音声を再生したいというユーザの要望があり、再生機器によって制御コマンドの発行から再生開始までの遅延時間が異なるために生じる同期ずれを解決して、マルチメディアデータの同期再生を汎用的に行うマルチメディアデータ再生制御装置もある（例えば、特許文献１）。

特許文献１のマルチメディアデータ再生制御装置は、複数の再生機器が持つ固有の遅延時間を記憶するための遅延時間記憶装置と、遅延時間記憶装置から遅延時間及び最大遅延時間を読み出し、最大遅延時間に合わせて各制御コマンドを遅らせて発行するように制御時刻を算出する制御時刻算出手段と、制御時刻に複数の再生機器に対して制御コマンドを与える制御コマンド付与手段とを備えており、記録再生開始時、各々の再生機器毎に遅延時間が違なる場合においても、マルチメディアデータの同期再生を行うことができる。
特開平８-１４７８５７号公報（図１）

しかしながら、特許文献１のマルチメディアデータ再生制御装置によると、最大遅延時間に合わせて再生コマンドを遅らせて発行すれば、再生開始時は、同期再生を行うことができるが、再生中に出力先を切り替えた場合、再生デバイスの最大遅延時間に合わせて各制御コマンドを遅らせて発行するとスムースに同期再生を行うことができなくなることがある。

図１３に、再生中に再生デバイスを切り替えて再生した例を示す。図１３では、例えば、映像信号のタイムスタンプｖｔｓ及び音声信号のタイムスタンプａｔｓを、０００、１００、２００、…というように、１００ｍｓごとに与え、同じタイムスタンプを有する映像信号Ｖｖｔｓと音声信号Ａｖｔｓのように、例えば、映像信号Ｖ０００と音声信号Ａ０００、映像信号Ｖ１００と音声信号Ａ１００、映像信号Ｖ２００と音声信号Ａ２００が、同じ時刻に表示又は出力されるように再生コマンドを発行して、同期を確立する。

図１３に示すように、映像再生デバイスの遅延時間Ｖｄｂ＝１００ｍｓ、音声再生デバイスの遅延時間Ａｄｂ＝３００ｍｓの再生デバイスを用いて再生を開始したとき、最大遅延時間は、音声再生デバイスの遅延時間Ａｄｂ＝３００ｍｓなので、音声データの再生コマンドの発行時刻をタイムカウンタＴ＝０ｍｓとして、音声データＡ０００の再生コマンドを発行し、タイムカウンタＴ＝３００ｍｓ−１００ｍｓ＝２００ｍｓで映像データＶ０００の再生コマンドを発行すると、映像データＶ０００と音声データＡ０００は、それぞれの固有の遅延時間が経過したタイムカウンタＴ＝３００ｍｓにおいて同期再生される。

例えば、タイムカウンタＴ＝５００ｍｓにおいて、再生デバイスを映像再生デバイスの遅延時間Ｖｄａ＝３００ｍｓ、音声再生デバイスの遅延時間Ａｄａ＝１００ｍｓに切り替えたとすると、切り替え直前のタイムカウンタＴ＝４００ｍｓでは、既に、音声データＡ４００及び映像データＶ２００の再生コマンドが発行されているので、切り替え後、最大となる映像再生デバイスの遅延時間Ｖｄａ＝３００ｍｓに合わせて、タイムカウンタＴ＝５００ｍｓで、映像データＶ５００の再生コマンドを発行し、２００ｍｓ後のＴ＝７００ｍｓにおいて、音声データＡ５００の再生コマンドを発行する。

その結果、音声データの再生コマンドは、タイムカウンタＴ＝５００ｍｓからタイムカウンタＴ＝６００ｍｓまで発行されないが、音声データＡ５００と映像データＶ５００は、タイムカウンタＴ＝８００ｍｓにおいて同期再生され、音声は連続性を維持して出力されるが、映像データは、Ｖ３００からＶ４００の映像が欠落する。

このように、最大遅延時間で再生する再生デバイスに合わせて再生コマンドを遅らせて発行する特許文献１の再生制御装置よると、切り替え前、最も遅延時間の長い再生デバイスにおいて再生されるメデイアデータの連続性を維持することはできるが、それより遅延時間の短い再生デバイスでは、切り替えによって再生されないデータが存在し、再生されないデータが映像データの場合、映像が乱れるという問題が生じる。

本発明は、かかる点に鑑みてなされたものであり、遅延時間の異なる再生デバイスを用いて同期再生中に再生デバイスを変更してもメディアデータを失うことなく同期再生を継続することができるマルチメディアデータ再生装置及びマルチメディアデータ再生方法を提供することを目的とする。

本発明のマルチメディアデータ再生装置は、タイムスタンプによって同期再生を行うマルチメディアデータと、前記マルチメディアデータを再生する複数の再生デバイスと、前記再生デバイスに再生要求を送信する送信手段と、前記再生デバイスに前記マルチメディアデータの再生要求を送信してから前記再生デバイスで再生されたデータが出力されるまでの遅延時間を記憶する記憶手段と、前記再生デバイスにおいて前記マルチメディアデータを同期再生中に、他の再生デバイスに切り替えたとき、前記記憶手段に記憶される切り替え前の各再生デバイスの遅延時間と、切り替え後の各再生デバイスの遅延時間に基づいて、切り替え後の前記マルチメディアデータの再生要求を送信する時刻を設定する同期設定手段と、を具備することを特徴とする。

本発明によれば、遅延時間の異なる再生デバイスを用いて同期再生中に再生デバイスを変更してもメディアデータを失うことなく同期再生を継続することができるという効果がある。

以下、本発明の実施の形態１及び実施の形態２について図面を参照して詳細に説明する。実施の形態１は、複数の出力デバイスにおいてマルチメディアデータを同期出力しているとき、出力を他の出力デバイスに切り替えて継続して同期出力を行うものであり、実施の形態２は、複数の再生デバイスにおいてマルチメディアデータを同期再生しているとき、再生を他の再生デバイスに切り替えて継続して同期再生を行うものである。

（実施の形態１）
以下、本発明の実施の形態１ついて、図面を参照して詳細に説明する。図１は、本発明の実施の形態１に係るマルチメディアデータ再生装置の構成を示すブロック図である。図１に示すように、マルチメディアデータ再生装置１０１は、Ｏｎによって再生を開始し、Ｏｆｆによって再生を終了する操作スイッチ、又は、パソコンに内蔵された動画を再生するプログラムであるビューワアプリ１０２と、ビューワアプリ１０２から起動されて再生処理を制御する再生制御部１０３と、再生制御部１０３からの再生命令に従って記録媒体１０４から映像及び音声の多重化ストリームを読み出す読み出し部１０５と、読み出した多重化ストリームを記憶するＲＡＭ１０６と、ＲＡＭ１０６に記憶された多重化ストリームを映像データと音声データとに分離する分離部１０７と、圧縮形式の映像データを映像信号に復号化するビデオデコーダ１０８と、復号化された映像信号を記憶するＲＡＭ１０９と、ＲＡＭ１０９に記憶されている映像信号を送信する映像信号送信部１１０と、同じく、分離部１０７によって分離された圧縮形式の音声データを音声信号に復号化するオーディオデコーダ１１１と、復号化された音声信号を記憶するＲＡＭ１１２と、ＲＡＭ１１２に記憶されている音声信号を送信する音声信号送信部１１３とを備える。

読み出し部１０５、分離部１０７、ビデオデコーダ１０８、映像信号送信部１１０、オーディオデコーダ１１１、及び音声信号送信部１１３は、再生制御部１０３に接続されて制御される。

映像信号送信部１１０は、ブラウン管、プラズマ、又は液晶などからなるＴＶ端末、又は、液晶などからなるパソコンのディスプレイなどの映像出力デバイス１１４に映像信号を送信し、音声信号送信部１１３は、ＴＶ端末やパソコンなどのスピーカ、イヤホン、又はＢｌｕｅｔｏｏｔｈを使ったワイヤレスイヤホンなどの音声出力デバイス１１５に音声信号を送信する。

図２は、本発明の実施の形態１に係る再生制御部の機能ブロック図である。図２に示すように、再生制御部１０３は、映像信号及び音声信号を送信してから映像出力デバイス１１４及び音声出力デバイス１１５に映像及び音声が出力されるまでの遅延時間を記録するＤｅｌａｙ値テーブル１２１を記憶する記憶部１２２と、ビューワアプリ１０２などによって起動された開始時、又は出力デバイスの切り替え時に映像出力デバイス１１４及び音声出力デバイス１１５に映像信号及び音声信号を送信するタイミングを設定する同期設定部１２３と、読み出し部１０５を制御する読み出し制御部１２４と、分離部１０７を制御する分離制御部１２５と、同期設定部１２３において設定されたタイミングに従って映像出力デバイス１１４及び音声出力デバイス１１５に映像信号及び音声信号を送出するように制御するタイミング制御部１２６と、タイミング制御部１２６に従って映像信号送信部１１０及び音声信号送信部１１３を制御して映像出力デバイス１１４及び音声出力デバイス１１５にＲＡＭ１０９及びＲＡＭ１１２に記憶される映像信号及び音声信号を送信する送信制御部１２７とを備える。

図３は、本発明の実施の形態１に係るＤｅｌａｙ値テーブルの構成例を示す図である。図３に示すように、Ｄｅｌａｙ値テーブル１２１は、再生制御部１０３から映像信号を送信して映像出力デバイス１１４に映像が表示されるまでの出力遅延時間Ｖｄと、再生制御部１０３から音声信号を送信して音声出力デバイス１１５から音声が出力されるまでの出力遅延時間Ａｄをデバイス１３１毎に記憶したものである。

以上のように構成されたマルチメディアデータ再生装置１０１の動作について説明する。図４は、本発明の実施の形態１に係るマルチメディアデータ再生装置の動作を説明するフロー図である。図４に示すように、パソコン上でビューワアプリ１０２などによって再生制御部１０３が起動されると、映像信号のタイムスタンプｖｔｓ＝０００、音声信号のタイムスタンプａｔｓ＝０００、及び再生時のタイムカウンタＴ＝０を初期値として設定し（ＳＴ１０１）、同期設定部１２３で開始時の同期設定処理を行う（ＳＴ１０２）。

図５は、本発明の実施の形態１に係る開始時の同期設定処理の動作を示すフロー図である。始めに、Ｄｅｌａｙ値テーブル１２１に記憶される映像出力デバイス１１４の遅延時間Ｖｄと音声出力デバイス１１５の遅延時間Ａｄの中で、開始時に接続される映像出力デバイスの遅延時間Ｖｄと音声出力デバイスの遅延時間Ａｄとを比較する。開始時に接続される映像出力デバイスの遅延時間Ｖｄが、音声出力デバイスの遅延時間Ａｄより長い場合（ＳＴ４０１；ＹＥＳ）、遅延時間の最も長い映像出力デバイス１１４に直ちに映像信号を送信するように、映像信号の送出タイマｉを「０」と設定する。また、遅延時間が短い音声信号を長い映像出力デバイスの遅延時間Ｖｄに合わせて、映像出力デバイスの遅延時間Ｖｄと音声出力デバイスの遅延時間Ａｄとの時間差が経過した後に送信するように、音声信号の送出タイマｊを以下の式（１）と設定して（ＳＴ４０２）、処理を終了する。
ｊ＝Ｖｄ―Ａｄ ・・・（１）

ＳＴ４０１において映像出力デバイスの遅延時間Ｖｄが、音声出力デバイスの遅延時間Ａｄ以下の場合（ＳＴ４０１；ＮＯ）、遅延時間が短い映像信号を長い音声出力デバイスの遅延時間Ａｄに合わせて、音声出力デバイスの遅延時間Ａｄと映像出力デバイスの遅延時間Ｖｄとの時間差が経過した後に送信するように、映像信号の送出タイマｉを以下の式（２）と設定する。また、遅延時間の最も長い音声出力デバイス１１５に直ちに音声信号を送信するように、音声信号の送出タイマｊを「０」と設定して（ＳＴ４０３）、処理を終了する。
ｉ＝Ａｄ―Ｖｄ ・・・（２）

ＳＴ１０２において開始時の同期設定処理が終了すると、ビューワアプリ１０２から出力デバイスの切り替えが通知されなければ（ＳＴ１０３；ＮＯ）、読み出し制御部１２４によって読み出し部１０５を制御し、記録媒体１０４からＲＡＭ１０６に映像及び音声の多重化ストリームを読み出し（ＳＴ１０５）、分離制御部１２５によって分離部１０７を制御して、読み出した多重化ストリームを映像データと音声データに分離して（ＳＴ１０６）、送信制御部１２７によって映像データをビデオデコーダ１０８に送信し、音声データをオーディオデコーダ１１１に送信する（ＳＴ１０７）。このとき前回送信済みのデータに対して出力コマンドを送っていないときは送信しない。

ビデオデコーダ１０８は、圧縮された映像データを受信して（ＳＴ２０１）、圧縮された映像データを映像信号に復号化し（ＳＴ２０２）、映像信号をＲＡＭ１０９に記憶する（ＳＴ２０３）。

ＳＴ１０７のデータ送信後、再生制御部１０３のタイミング制御部１２６は、タイムカウンタＴが映像信号の送出タイマｉ以上になったとき（ＳＴ１０８；ＹＥＳ）、ＲＡＭ１０９が記憶している映像信号Ｖの中からタイムスタンプｖｔｓの映像信号Ｖｖｔｓを映像出力デバイス１１４に出力するように、送信制御部１２７から映像信号送信部１１０に、映像信号Ｖｖｔｓと出力コマンドを送信し（ＳＴ１０９）、タイムスタンプｖｔｓに、例えば、１００ｍｓを加算し、次に出力する映像信号のタイムスタンプｖｔｓを設定して（ＳＴ１１０）、ＳＴ１１１に進む。

映像信号送信部１１０は、タイムスタンプｖｔｓの映像信号Ｖｖｔｓと出力コマンドを受信し（ＳＴ２０４）、映像出力デバイス１１４にタイムスタンプｖｔｓの映像信号Ｖｖｔｓを送信する。

映像出力デバイス１１４は、ＳＴ１０９においてタイムスタンプｖｔｓの映像信号Ｖｖｔｓと出力コマンドが送信されてから遅延時間Ｖｄ後に（ＳＴ２０５）、映像信号Ｖｖｔｓの映像を表示し（ＳＴ２０６）、再生制御部１０３から終了を受信するまでは（ＳＴ２０７；ＮＯ）、ＳＴ２０１に戻って、ビデオデコーダ１０８、映像信号送信部１１０及び映像出力デバイス１１４で実行されるＳＴ２０１からＳＴ２０７までの処理を繰り返す。

ＳＴ１０８において、タイミング制御部１２６は、タイムカウンタＴが映像信号の送出タイマｉ以上になるまでは（ＳＴ１０８；ＮＯ）、何もしないで、次のＳＴ１１１の処理に進む。

ＳＴ１０７の音声データの送信を受けて、オーディオデコーダ１１１は、圧縮された音声データを受信して（ＳＴ３０１）、圧縮された音声データを音声信号に復号化し（ＳＴ３０２）、音声信号をＲＡＭ１１２に記憶する（ＳＴ３０３）。

ＳＴ１０８又はＳＴ１１０の次に、再生制御部１０３のタイミング制御部１２６は、タイムカウンタＴが音声信号の送出タイマｊ以上になったとき（ＳＴ１１１；ＹＥＳ）、ＲＡＭ１１２が記憶している音声信号Ａの中からタイムスタンプａｔｓの音声信号Ａａｔｓを音声出力デバイス１１５に出力するように、送信制御部１２７から音声信号送信部１１３に、音声信号Ａｖｔｓと出力コマンドを送信し（ＳＴ１１２）、タイムスタンプａｔｓに、例えば、１００ｍｓを加算し、次に出力する音声信号のタイムスタンプａｔｓを設定して（ＳＴ１１３）、ＳＴ１１４に進む。

音声信号送信部１１３は、タイムスタンプａｔｓの音声信号Ａａｔｓと出力コマンドを受信し（ＳＴ３０４）、音声出力デバイス１１５にタイムスタンプａｔｓの音声信号Ａａｔｓを送信する。

音声出力デバイス１１５は、タイムスタンプａｔｓの音声信号Ａａｔｓを受信した遅延時間Ａｄ後に（ＳＴ３０５）、音声信号Ａａｔｓの音声を出力し（ＳＴ３０６）、再生制御部１０３から終了を受信するまでは（ＳＴ３０７；ＮＯ）、ＳＴ３０１に戻って、オーディオデコーダ１１１、音声信号送信部１１３及び音声出力デバイス１１５で実行されるＳＴ３０１からＳＴ３０７までの処理を繰り返す。

ＳＴ１１１において、タイミング制御部１２６は、タイムカウンタＴが音声信号の送出タイマｊ以上になるまでは（ＳＴ１１１；ＮＯ）、何もしないで、次のＳＴ１１４の処理に進み、ＳＴ１１４において、タイムカウンタＴを経過時間に従って更新し（ＳＴ１１４）、パソコン上で起動されたビューワアプリ１０２などが終了するまでは（ＳＴ１１５；ＮＯ）、ＳＴ１０３に戻って、ＳＴ１０３からＳＴ１１５までの処理を繰り返す。

ＳＴ１０３からＳＴ１１５までの処理を繰り返す間にビューワアプリ１０２から終了が入力されると（ＳＴ１１５；ＹＥＳ）、ビデオデコーダ１０８、映像信号送信部１１０及び映像出力デバイス１１４と、オーディオデコーダ１１１、音声信号送信部１１３及び音声出力デバイス１１５に終了命令を送信して（ＳＴ１１６）、再生処理を終了する。

ＳＴ１０３からＳＴ１１５までの処理を繰り返す間にビューワアプリ１０２から出力デバイスの切り替えが通知されると（ＳＴ１０３；ＹＥＳ）、同期設定部１２３で切り替え時の同期設定処理を実行して新しい同期タイミングを確立した後に（ＳＴ１０４）、ＳＴ１０５以下の処理を実行する。

図６は、本発明の実施の形態１に係る切り替え時の同期設定処理の動作を示すフロー図である。始めに、Ｄｅｌａｙ値テーブル１２１に記憶される映像出力デバイス１１４の遅延時間Ｖｄと音声出力デバイス１１５の遅延時間Ａｄの中で、切り替え後の映像出力デバイスの遅延時間Ｖｄａと音声出力デバイスの遅延時間Ａｄａとの時間差Ｔｄａ（ＳＴ５０１）、及び切り替え前の映像出力デバイスの遅延時間Ｖｄｂと音声出力デバイスの遅延時間Ａｄｂとの時間差Ｔｄｂを求めて（ＳＴ５０２）、切り替え後の時間差Ｔｄａと切り替え前の時間差Ｔｄｂとを比較する。

切り替え後の映像出力デバイスの遅延時間Ｖｄｂと音声出力デバイスの遅延時間Ａｄｂとの時間差Ｔｄａが、切り替え前の映像出力デバイスの遅延時間Ｖｄａと音声出力デバイスの遅延時間Ａｄａとの時間差Ｔｄｂより長い場合（ＳＴ５０３；ＹＥＳ）、切り替え後、映像出力デバイスに対する音声出力デバイスの遅延時間が拡大するので、映像出力デバイスに直ちに映像信号を送信するように、映像信号の送出タイマｉをタイムスタンプＴに設定し、映像出力デバイスに対する音声出力デバイスの遅延時間が拡大するので、映像出力デバイスに対する音声出力デバイスの遅延時間の増加時間分、即ち、切り替え後の映像出力デバイスの遅延時間Ｖｄａと音声出力デバイスの遅延時間Ａｄａとの時間差から切り替え前の映像出力デバイスの遅延時間Ｖｄｂと音声出力デバイスの遅延時間Ａｄｂとの時間差を減算した時間分、音声信号を遅らせて送信するように、音声信号の送出タイマｊを以下の式（３）と設定して（ＳＴ５０４）、処理を終了する。
ｊ＝Ｔ＋（Ｖｄａ―Ａｄａ）―（Ｖｄｂ―Ａｄｂ） ・・・（３）

ＳＴ５０３において、切り替え後の映像出力デバイスの遅延時間Ｖｄａと音声出力デバイスの遅延時間Ａｄａとの時間差Ｔｄａが、切り替え前の映像出力デバイスの遅延時間Ｖｄｂと音声出力デバイスの遅延時間Ａｄｂとの時間差Ｔｄｂ以下の場合（ＳＴ５０３；ＮＯ）、切り替え後、音声出力デバイスに対する映像出力デバイスの遅延時間が拡大するので、音声出力デバイスに対する映像音声出力デバイスの遅延時間の増加時間分、即ち、切り替え後の音声出力デバイスの遅延時間Ａｄａと映像出力デバイスの遅延時間Ｖｄａとの時間差から切り替え前の音声出力デバイスの遅延時間Ａｄｂと映像出力デバイスの遅延時間Ｖｄｂとの時間差を減算した時間分、映像信号を遅らせて送信するように、映像信号の送出タイマｉを以下の式（４）と設定する。また、切り替え後、音声出力デバイスに対する映像出力デバイスの遅延時間が拡大するので、音声出力デバイスに直ちに音声信号を送信するように、音声信号の送出タイマｊをタイムスタンプＴに設定して（ＳＴ５０５）、処理を終了する。
ｉ＝Ｔ＋（Ａｄａ―Ｖｄａ）―（Ａｄｂ―Ｖｄｂ） ・・・（４）

具体的に、再生中に出力デバイスを切り替えた例について説明する。図７は、本発明の実施の形態１に係る再生途中で出力デバイスを切り替えて出力したときの例を説明する図である。図７に示すように、映像出力デバイスの遅延時間Ｖｄｂ＝１００ｍｓ、音声出力デバイスの遅延時間Ａｄｂ＝３００ｍｓの出力デバイスを用いて出力を開始したとき、最大遅延時間は、音声出力デバイスの遅延時間Ａｄｂ＝３００ｍｓなので、音声信号の出力コマンドの発行時刻をタイムカウンタＴ＝０ｍｓとして、音声信号Ａ０００の出力コマンドを発行し、タイムカウンタＴ＝３００ｍｓ−１００ｍｓ＝２００ｍｓ後、映像信号Ｖ０００の出力コマンドを発行すると、映像信号Ｖ０００と音声信号Ａ０００は、タイムカウンタＴ＝３００ｍｓにおいて同期して出力される。

タイムカウンタＴ＝５００ｍｓで、映像出力デバイスの遅延時間Ｖｄａ＝３００ｍｓ、音声出力デバイスの遅延時間Ａｄａ＝１００ｍｓの出力デバイスに切り替えたとすると、切り替え直前のタイムカウンタＴ＝４００ｍｓまでには、音声信号Ａ４００及び映像信号Ｖ２００までの出力コマンドが発行されている。

図６に示すように、切り替え前の映像出力デバイスの遅延時間Ｖｄｂ＝１００ｍｓと音声出力デバイスの遅延時間Ａｄｂ＝３００ｍｓとの時間差Ｔｄｂ＝１００ｍｓ−３００ｍｓ＝−２００ｍｓと、切り替え後の映像出力デバイスの遅延時間Ｖｄａ＝３００ｍｓと音声出力デバイスの遅延時間Ａｄａ＝１００ｍｓとの時間差Ｔｄａ＝３００ｍｓ−１００ｍｓ＝２００ｍｓとを比較すると、切り替え後の時間差Ｔｄａ＝２００ｍｓが、切り替え前の時間差Ｔｄｂ＝―２００ｍｓより長いので（ＳＴ５０３；ＹＥＳ）、ＳＴ５０４の式（５）及び式（６）にそれぞれの値を代入する。

切り替え後、映像出力デバイスに対する音声出力デバイスの遅延時間が拡大するので、直ちに映像信号を送信するようにｉ＝５００ｍｓと設定し、映像出力デバイスに対する音声出力デバイスの遅延時間の増加時間分、音声信号を遅らせて送信するようにｊ＝５００ｍｓ＋（３００ｍｓ−１００ｍｓ）―（１００ｍｓ−３００ｍｓ）＝９００ｍｓと設定される。

これによって、図７に示すように、次の映像信号Ｖ３００は、タイムカウンタＴが５００ｍｓである切り替え時に出力されるが、次の音声信号Ａ５００は、タイムカウンタＴが９００ｍｓになるまで出力されない。

その結果、音声信号は、タイムカウンタＴ＝５００ｍｓからタイムカウンタＴ＝８００ｍｓまで発行されないが、映像信号Ｖ３００は、捨てられずにタイムカウンタＴ＝６００ｍｓにおいて再生され、タイムカウンタＴ＝６００ｍｓからタイムカウンタＴ＝９００ｍｓの間は、映像と音声の同期が完全には確立できないが、タイムカウンタＴ＝１０００ｍｓからは映像と音声の同期も確立されて、映像と音声の連続性が維持できる。

図８は、本発明の実施の形態１に係る再生途中で出力デバイスを切り替えて出力したときの他の例を説明する図である。図８に示すように、映像出力デバイスの遅延時間Ｖｄｂ＝３００ｍｓ、音声出力デバイスの遅延時間Ａｄｂ＝１００ｍｓの出力デバイスを用いて記録を開始したとき、最大遅延時間は、映像出力デバイスの遅延時間Ｖｄｂ＝３００ｍｓなので、映像信号の出力コマンドの発行時刻をタイムカウンタＴ＝０ｍｓとして、音声信号Ｖ０００の出力コマンドを発行し、タイムカウンタＴ＝３００ｍｓ−１００ｍｓ＝２００ｍｓ後、音声信号Ａ０００の出力コマンドを発行すると、映像信号Ｖ０００と音声信号Ａ０００は、タイムカウンタＴ＝３００ｍｓにおいて同期して出力される。

タイムカウンタＴ＝５００ｍｓで、映像出力デバイスの遅延時間Ｖｄａ＝２００ｍｓ、音声出力デバイスの遅延時間Ａｄａ＝１００ｍｓの出力デバイスに切り替えたとすると、切り替え直前のタイムカウンタＴ＝４００ｍｓまでには、音声信号Ａ２００及び映像信号Ｖ４００までの出力コマンドが発行されている。

図６に示すように、切り替え前の映像出力デバイスの遅延時間Ｖｄｂ＝３００ｍｓと音声出力デバイスの遅延時間Ａｄｂ＝１００ｍｓとの時間差Ｔｄｂ＝３００ｍｓ−１００ｍｓ＝２００ｍｓと、切り替え後の映像出力デバイスの遅延時間Ｖｄａ＝２００ｍｓと音声出力デバイスの遅延時間Ａｄａ＝１００ｍｓとの時間差Ｔｄａ＝２００ｍｓ−１００ｍｓ＝１００ｍｓとを比較すると、切り替え後の時間差Ｔｄａ＝１００ｍｓが、切り替え前の時間差Ｔｄｂ＝２００ｍｓ以下なので（ＳＴ５０３；ＮＯ）、ＳＴ５０５の式（７）及び式（８）にそれぞれの値を代入する。

切り替え後、音声出力デバイスに対する映像出力デバイスの遅延時間が拡大するので、音声出力デバイスに対する映像出力デバイスの遅延時間の増加時間分、映像信号を遅らせて送信するようにｉ＝５００ｍｓ＋（３００ｍｓ−１００ｍｓ）−（２００ｍｓ−１００ｍｓ）＝６００ｍｓと設定し、直ちに音声信号を送信するようにｊ＝５００ｍｓと設定される。

つまり、図８に示すように、次の音声信号Ａ３００は、タイムカウンタＴが５００ｍｓである切り替え時に出力されるが、次の音声信号Ｖ５００は、タイムカウンタＴが６００ｍｓになるまで出力されない。その結果、映像と音声の同期が確立されて連続性が維持できる。

このように、本発明の実施の形態１によれば、マルチメディアデータ再生装置１０１の再生制御部１０３にＤｅｌａｙ値テーブル１２１に記憶される切り替え前の映像出力デバイスと音声出力デバイス間の遅延時間の時間差Ｔｄｂと、切り替え後の映像出力デバイスと音声出力デバイス間の遅延時間Ｔｄａの時間差を求め、切り替え後に、遅延時間の時間差が拡大している場合、切り替えと同時に映像出力デバイスに出力を要求し、音声出力デバイスの出力を拡大した時間差分だけ遅らせて設定し、切り替え後に、遅延時間の時間差が縮小している場合、切り替えと同時に音声出力デバイスに出力を要求し、映像出力デバイスの出力を縮小した時間差分だけ遅らせて設定する同期設定部１２３を設けたので、遅延時間の異なる出力デバイスを用いて同期出力中に出力デバイスを変更してもメディアデータを失うことなく同期出力を継続することができる。

（実施の形態２）
図９は、本発明の実施の形態２に係るマルチメディアデータ再生装置の構成を示すブロック図である。図９において、図１に示す実施の形態１に係るマルチメディアデータ再生装置１０１の構成を示すブロック図と同じ機能ブロックについては同一の符号を付して説明を省略する。図９に示すように、実施の形態２のマルチメディアデータ再生装置２０１は、分離部１０７において分離された映像データを記憶するＲＡＭ２０２と、ＲＡＭ２０２からそのまま映像データを送信する映像データ送信部２０３と、同じく、分離部１０７において分離された音声データを記憶するＲＡＭ２０４と、ＲＡＭ２０４から音声データをそのまま送信する音声データ送信部２０５とを備え、読み出し部１０５、分離部１０７、映像データ送信部２０３、及び音声データ送信部２０５は、再生制御部２０６に接続されて制御される。

映像データ送信部２０３は、ビデオデコーダ１０８を内蔵するブラウン管、プラズマ、液晶などのＴＶ端末、又はパソコンのディスプレイなどの映像再生デバイス２０７に映像データを送信し、音声データ送信部２０５は、オーディオデコーダ１１１を内蔵するＴＶ端末やパソコンのスピーカ、イヤホン、又はＢｌｕｅｔｏｏｔｈを使ったワイヤレスイヤホンなどの音声再生デバイス２０８に音声データを送信する。

映像再生デバイス２０７は、映像データを受信する映像データ受信部２０９と、圧縮形式の映像データを映像信号に復号化するビデオデコーダ１０８と、復号化された映像信号を記憶するＲＡＭ１０９と、映像を表示する映像出力デバイス１１４とを備える。

音声再生デバイス２０８は、音声データを受信する音声データ受信部２１０と、圧縮形式の音声データを音声信号に復号化するオーディオデコーダ１１１と、復号化された映像信号を記憶するＲＡＭ１１２と、音声を表示する音声出力デバイス１１５とを備える。

図１０は、本発明の実施の形態２に係る再生制御部の機能ブロック図である。図１０において、図２に示す実施の形態１に係る再生制御部１０３の機能ブロック図と同じ機能ブロックについては同一の符号を付して説明を省略する。図１０に示すように、再生制御部２０６は、映像データ及び音声データと再生コマンドを送信してから映像データ及び音声データが映像信号及び音声信号に復号化されて映像及び音声が映像出力デバイス１１４及び音声出力デバイス１１５に出力されるまでの再生遅延時間を記憶するＤｅｌａｙ値テーブル２２１と、タイミング制御部１２６に従って映像データ送信部２０３及び音声データ送信部２０５を制御して映像再生デバイス２０７及び音声再生デバイス２０８にＲＡＭ２０２及びＲＡＭ２０４に記憶される映像データ及び音声データを送信する送信制御部２２２とを備える。

図１１は、本発明の実施の形態２に係るＤｅｌａｙ値テーブルの構成例を示す図である。図１１に示すように、Ｄｅｌａｙ値テーブル２２１は、再生制御部２０６から映像データと再生コマンドを映像再生デバイス２０７に送信して映像出力デバイス１１４に映像が表示されるまでの再生遅延時間Ｖｄと、再生制御部２０６から音声データと再生コマンドを音声再生デバイス２０８に送信して音声再生デバイス１１５から音声が出力されるまでの再生遅延時間Ａｄを再生デバイス２３１毎に記憶したもので、図３に示す実施の形態１のＤｅｌａｙ値テーブル１２１と比較すると、デバイス２３１毎に記憶される再生遅延時間は復号化処理時間の分だけ長くなる。

以上のように構成されたマルチメディアデータ再生装置２０１の動作について説明する。図１２は、本発明の実施の形態２に係るマルチメディアデータ再生装置の動作を説明するフロー図である。図１２において、図４に示す実施の形態１に係るマルチメディアデータ再生装置１０１の動作を説明するフロー図と同じ処理ステップについては同一の符号を付して説明を省略する。

ＳＴ１０５において、記録媒体１０４からＲＡＭ１０６に映像及び音声の多重化ストリームを読み出し、ＳＴ１０６において、分離部１０６を制御して、読み出した多重化ストリームを映像データと音声データに分離し、映像データをＲＡＭ２０２に、音声データをＲＡＭ２０４に記憶する。

次に、タイミング制御部１２６は、タイムカウンタＴが映像信号の送出タイマｉ以上になったとき（ＳＴ１０８；ＹＥＳ）、ＲＡＭ２０２が記憶している映像信号Ｖの中からのタイムスタンプｖｔｓの映像データＶｖｔｓを映像再生デバイス２０７に送信するように、再生制御部２０６の送信制御部２２２から映像データ送信部２０３に、映像データＶｖｔｓと再生コマンドを送信する（ＳＴ６０１）。

映像再生デバイス２０７の映像データ受信部２０９は、タイムスタンプｖｔｓの映像データＶｖｔｓと再生コマンドを受信し（ＳＴ７０１）、ビデオデコーダ１０８によって受信した映像データＶｖｔｓを復号化し（ＳＴ２０２）、映像信号をＲＡＭ１０９に記憶して（ＳＴ２０３）、映像出力デバイス１１４にタイムスタンプｖｔｓの映像信号Ｖｖｔｓを送信する（ＳＴ７０２）。

ＳＴ６０１においてタイムスタンプｖｔｓの映像データＶｖｔｓと再生コマンドが送信されてから再生遅延時間Ｖｄ後に、映像信号Ｖｖｔｓの映像が映像再生デバイス２０７の映像出力デバイス１１４に表示される（ＳＴ２０６）。

ＳＴ１０８又はＳＴ１１０の次に、再生制御部１０３のタイミング制御部１２６は、タイムカウンタＴが音声信号の送出タイマｊ以上になったとき（ＳＴ１１１；ＹＥＳ）、ＲＡＭ２０４が記憶している音声データＡの中からタイムスタンプａｔｓの音声データＡａｔｓを音声再生デバイス２０８に出力するように、再生制御部２０６の送信制御部２２２から音声データ送信部２０５に、音声データＡａｔｓと再生コマンドを送信する（ＳＴ６０２）。

音声再生デバイス２０８の音声データ受信部２１０は、タイムスタンプｖｔｓの音声データＡａｔｓと再生コマンドを受信し（ＳＴ８０１）、オーディオデコーダ１１１によって受信した音声データＡａｔｓを復号化し（ＳＴ３０２）、音声信号をＲＡＭ１１２に記憶して（ＳＴ３０３）、音声出力デバイス１１５にタイムスタンプｖｔｓの音声信号Ａａｔｓを送信する（ＳＴ８０２）。

ＳＴ６０２においてタイムスタンプｖｔｓの音声データＡａｔｓと再生コマンドが送信されてから再生遅延時間Ａｄ後に、音声信号Ａａｔｓの音声が音声再生デバイス２０８の音声出力デバイス１１５から出力される（ＳＴ３０６）。

同期設定部１２３で行われるＳＴ１０２の開始時の同期設定処理、及びＳＴ１０４の切り替え時の同期設定処理は、図５及び図６に示す開始時の同期設定処理及び切り替え時の同期設定処理と同じであるが、実施の形態２ではＤｅｌａｙ値テーブル２２１に記憶される映像再生デバイス２０７の再生遅延時間Ｖｄと音声再生デバイス２０８の再生遅延時間Ａｄを参照して処理を行うので、ＳＴ１０２及びＳＴ１０４においては、復号化の処理時間と各出力デバイスでの出力遅延時間とが合算されて開始時の同期設定処理、及び切り替え時の同期設定処理が実行される。

このように、本発明の実施の形態２によれば、マルチメディアデータ再生装置２０１の再生制御部２０６にＤｅｌａｙ値テーブル２２１に記憶される切り替え前の映像再生デバイスと音声再生デバイス間の遅延時間の時間差Ｔｄｂと、切り替え後の映像再生デバイスと音声再生デバイス間の遅延時間Ｔｄａの時間差を求め、切り替え後に、遅延時間の時間差が拡大している場合、切り替えと同時に映像再生デバイスに再生を要求し、音声再生デバイスの再生を拡大した時間差分だけ遅らせて設定し、切り替え後に、遅延時間の時間差が縮小している場合、切り替えと同時に音声再生デバイスに再生を要求し、映像再生デバイスの再生を縮小した時間差分だけ遅らせて設定する同期設定部１２３を設けたので、遅延時間の異なる再生デバイスを用いて同期再生中に再生デバイスを変更してもメディアデータを失うことなく同期再生を継続することができる。

尚、実施の形態１のマルチメディアデータ再生装置１０１は、出力デバイスについて、実施の形態２のマルチメディアデータ再生装置２０１は、復号化処理を含む再生デバイスについての実施例であるが、マルチメディアデータ再生装置に出力デバイスと再生デバイスの両方を備えてもよい。その場合、Ｄｅｌａｙ値テーブルの各デバイスの値をそれぞれ出力遅延時間又は再生遅延時間とする。

本発明に係るマルチメディアデータ再生装置は、遅延時間の異なる再生デバイスを用いて同期再生中に再生デバイスを変更してもメディアデータを失うことなく同期再生を継続することができるという効果を有し、動画と音声のように複数の再生デバイスによってマルチメディアデータを同時に再生するマルチメディアデータ再生装置に関し、特に、再生中に出力デバイスを切り替えたときにもメディアデータの連続性を維持しながら同期再生できるマルチメディアデータ再生装置に有効である。

本発明の実施の形態１に係るマルチメディアデータ再生装置の構成を示すブロック図 本発明の実施の形態１に係る再生制御部の機能ブロック図 本発明の実施の形態１に係るＤｅｌａｙ値テーブルの構成例を示す図 本発明の実施の形態１に係るマルチメディアデータ再生装置の動作を説明するフロー図 本発明の実施の形態１に係る開始時の同期設定処理の動作を示すフロー図 本発明の実施の形態１に係る切り替え時の同期設定処理の動作を示すフロー図 本発明の実施の形態１に係る再生途中で出力デバイスを切り替えて出力したときの例を説明する図 本発明の実施の形態１に係る再生途中で出力デバイスを切り替えて出力したときの他の例を説明する図 本発明の実施の形態２に係るマルチメディアデータ再生装置の構成を示すブロック図 本発明の実施の形態２に係る再生制御部の機能ブロック図 本発明の実施の形態２に係るＤｅｌａｙ値テーブルの構成例を示す図 本発明の実施の形態２に係るマルチメディアデータ再生装置の動作を説明するフロー図 従来の再生中に再生デバイスを切り替えて再生した例を示す図

符号の説明

１０１、２０１ マルチメディアデータ再生装置
１０２ ビューワアプリ
１０３、２０６ 再生制御部
１０４ 記録媒体
１０５ 読み出し部
１０６、１０９、１１２、２０２、２０４ ＲＡＭ
１０７ 分離部
１０８ ビデオデコーダ
１１０ 映像信号送信部
１１１ オーディオデコーダ
１１３ 音声信号送信部
１１４ 映像出力デバイス
１１５ 音声出力デバイス
１２１、２２１ Ｄｅｌａｙ値テーブル
１２２ 記憶部
１２３ 同期設定部
１２４ 読み出し制御部
１２５ 分離制御部
１２６ タイミング制御部
１２７、２２２ 送信制御部
１３１ デバイス
２０３ 映像データ送信部
２０５ 音声データ送信部
２０７ 映像再生デバイス
２０８ 音声再生デバイス
２０９ 映像データ受信部
２１０ 音声データ受信部

Claims (10)

1. タイムスタンプによって同期再生を行うマルチメディアデータと、
   前記マルチメディアデータを再生する複数の再生デバイスと、
   前記再生デバイスに再生要求を送信する送信手段と、
   前記再生デバイスに前記マルチメディアデータの再生要求を送信してから前記再生デバイスで再生されたデータが出力されるまでの遅延時間を記憶する記憶手段と、
   前記再生デバイスにおいて前記マルチメディアデータを同期再生中に、他の再生デバイスに切り替えたとき、前記記憶手段に記憶される切り替え前の各再生デバイスの遅延時間と、切り替え後の各再生デバイスの遅延時間に基づいて、切り替え後の前記マルチメディアデータの再生要求を送信する時刻を設定する同期設定手段と、
   を具備することを特徴とするマルチメディアデータ再生装置。
2. 前記同期設定手段は、１つのメディアについて前記記憶手段に記憶される切り替え前の各再生デバイス間の遅延時間の時間差と、切り替え後の各再生デバイス間の遅延時間の時間差を求め、切り替え後に、前記遅延時間の時間差が拡大している場合、切り替えと同時に前記メディアの再生デバイスの再生要求を送信し、その他のメディアの再生デバイスの再生要求を拡大した時間差分だけ遅らせて設定し、切り替え後に、前記遅延時間の時間差が縮小している場合、切り替えと同時に前記他のメディアの再生デバイスの再生要求を送信し、前記メディアの再生デバイスの再生要求を縮小した時間差分だけ遅らせて設定することを特徴とする請求項１記載のマルチメディアデータ再生装置。
3. 前記遅延時間は、前記マルチメディアデータを前記再生デバイスへ出力するときの出力遅延時間であることを特徴とする請求項１又は請求項２記載のマルチメディアデータ再生装置。
4. 前記遅延時間は、前記マルチメディアデータの復号処理時間と、前記マルチメディアデータを前記再生デバイスへ出力するときの出力遅延時間とを合算した時間であることを特徴とする請求項１又は請求項２記載のマルチメディアデータ再生装置。
5. 前記マルチメディアデータは、映像メディアデータ及び音声メディアデータであることを特徴とする請求項１から請求項４のいずれかに記載のマルチメディアデータ再生装置。
6. 記録媒体から同期のためのタイムスタンプを有するマルチメディアデータを読み出す読み出しステップと、
   前記読み出したマルチメディアデータをメディア毎に分離する分離ステップと、
   前記メディア毎に分離されたマルチメディアデータを複数のメディアの再生デバイスにおいて同期再生中に他の再生デバイスに切り替えたとき、切り替え前の各再生デバイスの遅延時間と、切り替え後の各再生デバイスの遅延時間に基づいて、切り替え後の前記マルチメディアデータを送信する時刻を設定する同期設定ステップと、
   前記切り替え後の前記マルチメディアデータを送信する時刻に従って前記マルチメディアデータを前記切り替え後の再生デバイスに送信する送信ステップと、
   を順に実行することを特徴とするマルチメディアデータ再生方法。
7. 前記同期設定ステップは、１つのメディアについて切り替え前の各再生デバイス間の遅延時間の時間差と、切り替え後の各再生デバイス間の遅延時間の時間差を求め、切り替え後に、前記遅延時間の時間差が拡大している場合、切り替えと同時に前記メディアの再生デバイスの再生要求を送信し、その他のメディアの再生デバイスの再生要求を拡大した時間差分だけ遅らせて設定し、切り替え後に、前記遅延時間の時間差が縮小している場合、切り替えと同時に前記他のメディアの再生デバイスの再生要求を送信し、前記メディアの再生デバイスの再生要求を縮小した時間差分だけ遅らせて設定することを特徴とする請求項６記載のマルチメディアデータ再生方法。
8. 前記遅延時間は、前記マルチメディアデータを前記再生デバイスへ出力するときの出力遅延時間であることを特徴とする請求項６又は請求項７記載のマルチメディアデータ再生方法。
9. 前記遅延時間は、前記マルチメディアデータの復号処理時間と、前記マルチメディアデータを前記再生デバイスへ出力するときの出力遅延時間とを合算した時間であることを特徴とする請求項６又は請求項７記載のマルチメディアデータ再生方法。
10. 前記マルチメディアデータは、映像メディアデータ及び音声メディアデータであることを特徴とする請求項６から請求項９のいずれかに記載のマルチメディアデータ再生方法。

Images