JP2005229168A

JP2005229168A - メディア出力システムとその同期誤差制御方法およびプログラム

Info

Publication number: JP2005229168A
Application number: JP2004033220A
Authority: JP
Inventors: Toshiaki Asano; 寿朗浅野; Yutaka Ishibashi; 豊石橋
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-02-10
Filing date: 2004-02-10
Publication date: 2005-08-25

Abstract

【課題】メディア間の出力タイミングの誤差をある程度許す構成とし、高品質なメディア出力を実現する。
【解決手段】ネットワーク１０を介して受信した複数のメディア情報をバッファリングして同期をとって出力するメディア出力システム１であって、異なる第１、第２のメディアのそれぞれの出力時の同期誤差を求める同期誤差取得部５と、同期誤差取得部５で求めた同期誤差が第１、第２のメディアに対して予め定められた許容限界値Ｅａｌの範囲内であるか否かを判別する判別部６と、判別部６の判別結果で同期誤差が許容限界値Ｅａｌの範囲外となれば、第１、第２のメディア間での同期誤差が第１、第２のメディアに対して予め定められた知覚限界値Ｅｐｅｒの範囲内になるよう、一方のメディアの出力タイミングを予め定められた時間間隔ｒで修正する出力制御部７とを有する構成とする。
【選択図】図１

Description

本発明は、コンピュータ装置により視覚メディア、聴覚メディア、触覚メディア（「重い」、「軽い」、「痛い」等）等のマルチメディアをネットワークを介して通信する技術に係わり、特に、それらのメディア間の時間構造の保持・回復を効率的に行うのに好適なメディア間同期技術に関するものである。

コンピュータ装置によるマルチメディア通信の従来の通信に対する最大の特徴は、複数メディアを一緒に扱うことと、それらのメディア間に時間関係が存在することである。唇の動き（ビデオ）と音声を合わせるリップシンクは、その代表的な例である。このような複数メディアを別々のストリームとして転送する場合、ネットワーク遅延の揺らぎ等によって、その時間構造が乱されるという問題がある。

この時間構造を保持・回復する技術は、メディア同期制御として知られている。すなわち、メディア同期制御は、メディア出力先（コンピュータ装置）において、メディア発生時のメディアの時間関係を再現するためのものである。これまで、多くのメディア同期技術が考案されてきている。その代表的なものに、非特許文献１としての論文に記載の技術が挙げられる。

この論文に代表されるように、従来のメディア同期技術では、複数メディア間に同期誤差があれば、修正するように設計されている。説明のため、メディア情報の処理単位をメディアユニット（ＭＵ）と呼ぶことにする。例えば、ＭＵは、ビデオフレームまたは音声パケット等に相当する。

従来技術では、メディア出力先としてのコンピュータ装置において、まず、複数メディアの最初のＭＵを同時に出力しようとする。但し、簡単のため、最初のＭＵは、同じ時刻に発生されたと仮定する。最初のＭＵの同時出力のとき、ネットワーク遅延の差や揺らぎを吸収するため、受信したＭＵのバッファリングを行う。このバッファリング時間は、通常、ネットワーク遅延の差や揺らぎの最大見積もり値に等しく取られる。

しかし、これら（ネットワーク遅延の差や揺らぎ）がバッファリング時間よりも大きいとき、時間関係が乱される。このときには、メディア出力のポーズ（一時停止）が発生する。このポーズが発生した後、ＭＵが予定よりも早く到着すれば、ポーズによる出力タイミングの遅れを取り戻すために、ＭＵの出力時間の短縮等の技術を用いる。

また、従来技術では、複数メディアを一つのマスタメディアとその他のスレーブメディアに分け、スレーブメディアをマスタメディアに合わせるようにしている。一般に、マスタメディアは、メディア内同期誤差（単一メディアの２ＭＵの発生時刻の差と出力時刻の差の違い）に敏感なメディアが選ばれる。例えば、リップシンクでは、音声をマスタメディアとし、唇の動き（ビデオ）をスレーブメディアとする。

上述の非特許文献１に記載の技術においては、マスタメディアの出力タイミングに変更がある場合には、スレーブメディアのそれも同様に変更している。具体的には、マスタメディアにおいて、大きなポーズが発生した場合、スレーブメディアにおいても、同じ時間だけポーズを発生させるようにしている。これによって、メディア間の時間関係を維持しようとする。

このように出力タイミングを遅らせるのは、ネットワーク負荷が大きくなり、ＭＵの到着が大きく遅れた場合に、後続のＭＵに対して、バッファリング時間を長くするためである。バッファリング時間が長いほど、大きな遅延揺らぎを吸収できる。

大きなポーズによってインタラクティブ性が失われては困る場合、マスタメディアのＭＵが予定よりも早く到着するときに、出力タイミングの遅れを回復しようとする。出力タイミングを早めるためには、ＭＵの出力時間の短縮等が用いられる。このときにも、同じ時間だけスレーブメディアの出力タイミングの変更が行われる。

ＭＵが予定よりも早く到着することは、ネットワーク負荷が軽くなったことを意味すると考え、バッファリング時間を短くするのである。

更に、従来技術では、スレーブメディアに対しては、独自に出力タイミングの変更を行うことは許されていない。スレーブメディアの出力タイミングの変更は、あくまでもマスタメディアのそれに合わせるために行われるだけである。

このような従来技術では、ネットワーク遅延やその揺らぎの大きさによっては、最初のＭＵの同時出力のために、メディアのインタラクティブ性が失われる可能性がある。メディアのインタラクティブ性は、許容される遅延時間（ＭＵが生成されてから出力されるまでの時間）と密接に関係している。音声の許容遅延時間は最大で４００ｍｓ、触覚メディアのそれは３０〜６０ｍｓ程度であることが知られている。

このように、メディアのインタラクティブ性に対する要求条件は、メディアによって異なる。従って、インタラクティブ性を維持しつつ、これらのメディアを同時に出力しようとすれば、許容遅延が短い方のメディアの出力タイミングに合わせる必要がある。

しかし、ＭＵのキャプチャ時間はメディアによって異なる。例えば、音声ＭＵのキャプチャ時間は２０〜６０ｍｓ程度であるのに対して、触覚ＭＵのそれは１ｍｓ以下である。触覚ＭＵと音声ＭＵを同時に出力しようとすれば、触覚ＭＵを１９〜５９ｍｓ程度（触覚ＭＵと音声ＭＵの遅延が同じで、揺らぎがない場合）だけ遅らせる必要があることになる。これは、触覚メディアのインタラクティブ性を大きく劣化させるという欠点となる。

また、マスタメディアの出力タイミングの変更時に、同じ時間だけスレーブメディアのそれが変更されるので、スレーブメディアの出力品質（この場合には、単一メディアの入力時の時間関係がどの程度維持されているかを表すメディア内同期品質）が大きく劣化する可能性がある。すなわち、スレーブメディアのメディア内同期がマスタメディアによって乱されることがあり得る。

出力タイミングの変更時間がメディア内同期品質に及ぼす影響はメディアによって異なるため、マスタメディアのメディア内同期品質上は大きな変更でなくても、スレーブメディアのメディア内同期品質が大きく劣化することがある。例えば、触覚メディアをマスタメディア、音声をスレーブメディアとする場合、触覚メディアにおける長いポーズによって、音声メディアも同じ長さのポーズを生じることがある。この場合、音声メディアのメディア内同期品質は、大きく劣化するという欠点がある。

更に、スレーブメディアに対しては、独自に出力タイミングの変更ができないので、ネットワーク負荷が大きくなっても、対応することができないという欠点がある。特に、マスタメディアとスレーブメディアとでネットワーク内で転送される経路が異なる場合、このことは大きな問題となる。

Y.Ishibashi and S.Tasaka，"A synchronization mechanism for continuous media in multimedia communications," in Proceedings of IEEE INFOCOM'95, pp.１０１０−１０１9, April 1995.

解決しようとする問題点は、従来の技術では、メディア間の出力タイミングの誤差制御を効率的に行うことができず、高品質なメディア出力を容易に実現することができない点である。

上記目的を達成するため、本発明では、メディア間の出力タイミングの誤差をある程度許す構成とする。すなわち、一つのメディア出力先で複数のメディア発生源から発生したメディア間の時間構造を保持・回復するメディア同期技術として、任意の異なる２つのメディア間での同期誤差が知覚されない最大値を、該メディア間での知覚限界とし、任意の異なる２つのメディア間での同期誤差が許容される最大値を、該メディア間での許容限界とし、任意の異なる２つのメディア間での同期誤差が、該メディア間で定義される知覚限界の範囲内であれば、該メディア間での同期誤差は修正せず、任意の異なる２つのメディア間での同期誤差が、該メディア間で定義される許容限界の範囲外であれば、該メディア間での同期誤差を修正することを特徴とする。また、同期誤差の修正のために、一方のメディアとは独立に他方のメディアの出力タイミングを変更することを特徴とする。

本発明によれば、メディア間の出力タイミングの誤差をある程度許す構成としており、このことにより、高品質なメディア出力を実現することが可能である。

以下、図を用いて本発明を実施するための最良の形態例を説明する。

図１は、本発明に係わるメディア出力システムの構成例を示すブロック図であり、図２は、図１におけるメディア出力システムのハードウェア構成例を示すブロック図、図３は、本発明のメディア出力システムの同期誤差制御方法に係わる処理手順の第１の実施例を示す説明図、図４は、本発明のメディア出力システムの同期誤差制御方法に係わる処理手順の第２の実施例を示す説明図、図５は、本発明のメディア出力システムの同期誤差制御方法に係わる処理手順の第３の実施例を示す説明図である。

図２において、２１ａはＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等からなる表示装置、２１ｂはスピーカー、２１ｃは触覚インタフェース装置（図中「触覚ＩＦ装置」と記載）、２２はキーボードやマウス等からなる入力装置、２３はＨＤＤ（Hard Disk Drive）等からなる外部記憶装置、２４はＣＰＵ（Central Processing Unit）２４ａや主メモリ２４ｂおよび入出力インタフェース２４ｃ等を具備してコンピュータ処理を行なう情報処理装置、２５は本発明に係わるプログラムやデータを記録したＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）もしくはＤＶＤ（Digital Video Disc/Digital Versatile Disc）等からなる光ディスク、２６は光ディスク２５に記録されたプログラムおよびデータを読み出すための駆動装置、２７はＬＡＮ（Local Area Network）カードやモデム等からなる通信装置である。

光ディスク２５に格納されたプログラムおよびデータを情報処理装置２４により駆動装置２６を介して外部記憶装置２３内にインストールした後、外部記憶装置２３から主メモリ２４ｂに読み込みＣＰＵ２４ａで処理することにより、情報処理装置２４内に図１に示すメディア出力システムの各機能が構成される。

図１において、１は本発明に係わるメディア出力システム、１０は音声や動画等のマルチメディアの通信に用いられるインターネット等のネットワークであり、２は通信装置２７と入力インタフェース（図中「入力ＩＦ」と記載）２４ｄを介してネットワーク１０から複数のメディア情報を受信する受信部、３は受信した各メディア情報を一時蓄積した後に出力するバッファ部、４はバッファ部３から出力されたメディア情報を出力インタフェース（図中「出力ＩＦ」と記載）２４ｅを介して表示装置２１ａやスピーカー２１ｂあるいは触覚インタフェース装置２１ｃ等に出力する出力部であり、５〜９はそれぞれ本発明に係わるメディア出力システムとしての同期誤差制御を行うたに設けられた同期誤差取得部（５）、判別部（６）、出力制御部（７）、遅延検出部（８）、回復検知部（９）である。

このような構成かなるメディア出力システム１は、ネットワーク１０を介して受信した複数のメディア情報をバッファリングして同期をとって出力する際、同期誤差取得部５により、異なる第１、第２のメディアのそれぞれのバッファ部３からの出力時の同期誤差を求め、この同期誤差取得部５で求めた同期誤差が第１、第２のメディアに対して予め定められた許容限界値Ｅａｌの範囲内であるか否かを判別部６で判別し、この判別部６の判別結果で同期誤差が許容限界値Ｅａｌの範囲外となれば、出力制御部７により、第１、第２のメディア間での同期誤差が第１、第２のメディアに対して予め定められた知覚限界値Ｅｐｅｒの範囲内になるよう、一方のメディアのバッファ部３からの出力タイミングを予め定められた時間間隔ｒで修正する。

さらに、遅延検知部８により、第１のメディアの受信の遅れが予め定められた閾値Ｔｈｍを越えることを検知すると、出力制御部７により、検知直後に受信した第１のメディアをバッファ部３から直ちに出力し、以降に受信する第１のメディアを予め定められた等間隔でバッファ部３から出力する。

また、判別部６において、第１のメディアの受信の遅れに伴う、この第１のメディアと第２のメディアとの同期誤差が許容限界値Ｅａｌの範囲もしくは予め定められた他の許容限界値の範囲外となることを判別すると、出力制御部７により、第１、第２のメディア間での同期誤差が該第１、第２のメディアに対して予め定められた知覚限界値Ｅｐｅｒの範囲内もしくは予め定められた他の知覚限界値の範囲内になるよう、第２のメディアのバッファ部３からの出力タイミングを時間間隔ｒもしくは予め定められた他の時間間隔で修正する。

また、回復検知部９において、受信部２における第１のメディアの受信の遅れの回復を検知すると、この検知結果に基づき、出力制御部７は、第１のメディアのバッファ部３からの出力タイミングを時間間隔ｒもしくは予め定められた他の時間間隔で戻し、この第１のメディアの出力タイミングの変化に応じて第２のメディアに対し知覚限界値Ｅｐｅｒもしくは予め定められた他の知覚限界値に基づくバッファ部３からの出力タイミングの修正を行う。

より具体的には、第１のメディアをマスタメディア、第２のメディアをスレーブメディアとし、遅延検知部８において、受信部２でのスレーブメディアの受信の遅れが予め定められた閾値Ｔｈｓを越えることを検知すると、出力制御部７は、検知後に受信した直後のスレーブメディアを直ちにバッファ部３から出力し、出力したスレーブメディアのこのスレーブメディアに対応するマスタメディアに対する出力時刻の遅れが許容限界値Ｅａｌの範囲外であれば、以降のスレーブメディアのバッファ部３からの出力タイミングを予め定められた時間間隔で遅らせ、その後、回復検知部９において、受信部２でのスレーブメディアの受信の遅れの回復を検知すると、このスレーブメディアのバッファ部３からの出力タイミングを、対応するマスタメディア間との同期誤差が知覚限界値Ｅｐｅｒの範囲内になるまで早める。

あるいは、出力制御部７は、遅延検知部８において、受信部２でのスレーブメディアの受信の遅れが予め定められた閾値Ｔｈｓを越えることを検知した後の直後に受信したスレーブメディアを直ちにバッファ部３から出力すると、この出力したスレーブメディアのこのスレーブメディアに対応するマスタメディアに対する出力時刻の遅れが許容限界値Ｅａｌの範囲外であれば、以降のスレーブメディアのバッファ部３からの出力タイミングを、少なくとも対応するマスタメディアとの同期誤差が許容限界値Ｅａｌの範囲内でおさまる範囲で遅らせ、その後、回復検知部９において受信部２でのスレーブメディアの受信の遅れの回復を検知すると、このスレーブメディアのバッファ部３からの出力タイミングを、対応するマスタメディア間の同期誤差が知覚限界値Ｅｐｅｒの範囲内になるまで早める。

以下、このようなマスタメディアとスレーブメディアとを例として、本発明に係わる動作を説明する。尚、説明の簡単のため、一つのマスタメディアと一つのスレーブメディアを同期出力する場合を想定する。また、これらのメディアのＭＵ（メディア情報の処理単位としてのメディアユニット）の発生間隔は、同じで、且つ一定（周期メディア）であるとする。

図３においては、メディア出力先における最初のＭＵの出力開始時のタイミングを表す。この図３において、マスタメディア（メディア１とも呼ぶ）の最初のＭＵ（ＭＵ１（１）と表す）が到着したとき、メディア出力先としてのメディア出力システム（１）は、そのＭＵをＪｍａｘ（１）秒だけバッファリングした後に、出力する。このバッファリング時間（Ｊｍａｘ（１））は、予め定められたマスタメディアに対するネットワーク遅延の揺らぎの最大見積もり値である。

なお、最初のＭＵの出力は、最大許容遅延を満足するように決定されることも重要である。

また、スレーブメディア（メディア２）の最初のＭＵ（ＭＵ１（２））に対しても、同様に、そのスレーブメディアに対する予め定められたネットワーク遅延の揺らぎの最大見積もり値であるＪｍａｘ（２）秒だけバッファリングしてから出力する。

このとき、ＭＵ１（１）とＭＵ１（２）の出力時刻Ｄ１（１）、Ｄ１（２）（図３では、Ｄ１（１）＜Ｄ１（２））の差を求める。求めた差（「Ｄ１（２）−Ｄ１（１）」）が予め定められた許容限界Ｅａｌ秒より大きいときのみ、後続のスレーブメディアのＭＵが予定よりも早く到着すれば、予め定められる一定時間ｒ秒ずつ出力タイミングを早めていく（すなわち、各ＭＵの出力時間をｒ秒だけ短縮する）。

この一定時間ｒは、主観評価試験により決定する。この値（ｒ）は、メディアだけでなく、ＭＵの出力時間にも依存する。「ｒ」の値を小さくし過ぎると、主観的には伸縮の影響に気づかないが、回復が遅くなるため、メディア間同期の誤差は大きくなる。また、ｒの値が大き過ぎると、メディア間同期の誤差はすぐに小さくできるが、主観的に伸縮の影響が気になる可能性がある。

例えば、各ＭＵの出力時間を５０ｍｓとした音声とビデオの場合には、主観評価試験により、ＭＯＳ値（Mean Opinion Score）において「ｒ＝２０ｍｓ」が最適であるという結果が得られる。

図３では、「Ｄ１（２）−Ｄ１（１）」が許容限界Ｅａｌ秒より大きい場合を示しており、後続の二つのＭＵ（ＭＵ２（２）とＭＵ３（２））の出力時刻をｒ秒ずつ早めている（ＭＵ１（２）とＭＵ２（２）の出力時間がｒ秒ずつ短くなる）。結果として、ＭＵ３（１）とＭＵ３（２）の出力時刻の差が予め定められる知覚限界Ｅｐｅｒ秒よりも小さくなり、ＭＵ３（２）以降のＭＵの出力時間は、短縮されない。

図４は、マスタメディアのＭＵの到着が閾値Ｔｈｍ秒より遅れてポーズが発生し、以降の出力タイミングを遅らせる場合のタイミングを表す。この閾値Ｔｈｍ秒も、一定時間ｒと同様に主観評価試験により予め決定する。

この図４では、ＭＵ６（１）が閾値Ｔｈｍ秒より遅れて到着している。このような場合、メディア出力先は、ＭＵ６（１）が到着すると直ちに、そのＭＵを出力する。

その結果として、メディア出力先は、マスタメディアの出力タイミングを遅らせることを決定し（例えば、ＭＵの到着が予め定めた閾値以上に遅れると、出力タイミングを遅らせるようにすることができる）、以降のマスタメディアのＭＵを等間隔で出力する。

スレーブメディアについては、ＭＵ６（２）の出力をＭＵ５（２）の出力に引き続いて行っているが、ＭＵ７（２）の出力時に、ＭＵ６（２）の出力時刻がＭＵ６（１）の出力時刻と大きく違い、許容限界Ｅａｌ秒（今はスレーブメディアの方がマスタメディアよりも出力タイミングが早いので、この許容限界は、スレーブメディアの方が遅い場合の許容限界とは異なる値になる可能性はある）を超えてしまったとして、二つのＭＵ（ＭＵ７（１）とＭＵ８（１））にわたり、一定時間ｒ秒（このｒの値を、出力時間を短縮する場合のｒの値と違う値にする可能性はある）ずつ出力時刻を遅らせている（許容限界の範囲内であれば、スレーブメディアに影要はない）。

その結果として、ポーズが２回発生している。例えば、音声の場合のポーズは、無音となり、ビデオの場合には、直前に出力されたＭＵ（ビデオフレーム）が出力され続ける。

そして、ＭＵ９（２）の出力の際に、ＭＵ８（２）とＭＵ８（１）の出力時刻の差が知覚限界Ｅｐｅｒ秒（今はスレーブメディアの方がマスタメディアよりも出力タイミングが早いので、この知覚限界も同様に、スレーブメディアの方が遅い場合の知覚限界とは異なる値になる可能性はある）よりも小さくなったことが判明し、ポーズの発生を止める。

図４のように、一旦遅らされたマスタメディアの出力タイミングは、インタラクティブ性を維持するために、いずれ早める必要がある。これは、ネットワーク負荷が軽くなったと判断されたときである。この場合には、マスタメディアの出力タイミングを一定時間ｒ秒ずつ早めていく。

スレーブメディアに対しては、対応するマスタメディアのＭＵとの出力時刻の差が予め定められた許容限界を超えたか否かを判定し、超えているときのみ、予め定められた知覚限界内に入るまで、スレーブメディアの出力タイミングを徐々に変更する。

図５は、スレーブメディアのＭＵが閾値Ｔｈｓ秒より遅れて到着し、以降の出力タイミングを一旦遅らせた後に、出力タイミングを早める場合のタイミングを示す。

この図５においては、ＭＵ１１（２）が閾値Ｔｈｓ秒より遅れて到着しており、到着すると直ちに出力されている。しかし、このＭＵ１１（２）の出力時刻と対応するマスタメディアのＭＵであるＭＵ１１（１）の出力時刻との差が予め定められた許容限界のＥａｌ秒を超えている。その結果として、メディア出力先は、ネットワーク負荷が重くなったと判断し、スレーブメディアの出力タイミングを遅らせることを決定する。

その後、ＭＵ１２（２）とＭＵ１３（２）を予定よりも早く受信している。メディア出力先は、このことによって、ネットワーク負荷が軽くなったと考え、インタラクティブ性を回復するため、出力タイミングを早めることを決定する。尚、出力タイミングを早める判断に使用するＭＵ数は、本例で「２」としているが、別の一定数以上とすることも可能である。

そして、ＭＵ１３（２）とＭＵ１４（２）に対してｒ秒だけ早く出力する。さらに、ＭＵ１４（２）の出力時に、ＭＵ１４（１）の出力時刻との差が知覚限界Ｅｐｅｒを下回ったことを知り、以降のＭＵに対して、出力時刻を早めるのを止める。ＭＵ１４（１）の出力時間は短縮されていないことに注意されたい。

図５において、許容限界の範囲内で、スレーブメディアの出力タイミングを遅らせるようにすることも考えられる。すなわち、図５では、出力タイミングを遅らせた後に、ＭＵ１２（２）の出力時刻を早めていないが、このＭＵの出力時刻も早めることも可能である。そして、マスタメディアとスレーブメディアの対応するＭＵの出力時刻の差がＥａｌ秒以内になるようにしておく。その後に、一定数以上のＭＵが予定より早く到着するならば、再び出力タイミングを早めていき、同期誤差を知覚限界以内に持っていく。

以上の例では、周期メディアに関して説明したが、非周期メディアに対しては、ＭＵ内の発生時刻を示すタイムスタンプを利用する。周期メディアとの差分を以下に示す。

マスタメディアのｎ番目のＭＵのタイムスタンプをＴｎ（１）、スレーブメディアのｍ番目のＭＵのタイムスタンプをＴｍ（２）と表し、また、これらの出力時刻をそれぞれＤｎ（１）、Ｄｍ（２）と表す。そして、スレーブメディアのｍ番目のＭＵを出力しようとするとき、マスタメディアにおいて最も最近出力されたＭＵをｎ番目のものと仮定する。このとき、「Ｄｍ（２）−Ｄｎ（１）−（Ｔｍ（２）−Ｔｎ（１））」が許容限界内または知覚限界内にあるか否かを考えれば良い。すなわち、非周期メディアに対しては、対応するＭＵ間のタイムスタンプ差を考慮すれば、周期メディアと同じことが言える。

このように本例によれば、スレーブメディアのメディア内同期品質がマスタメディアによって大きな影響を受けなくなるため、高品質なメディア内同期を実現することができる。また、マスタメディアとスレーブメディア間の出力タイミングの差は、常に許容限界の中に入るように制御されるため、メディア間同期品質が大きく劣化することはない。

以上、図１〜図５を用いて説明したように、本例では、メディア間同期制御技術において、各メディアの最初のＭＵの出力時に、マスタメディアの最初のＭＵの出力時間との時間差を求め、この時間差が許容限界の範囲内であれば、そのまま出力し、許容限界の範囲外であれば、後続のＭＵの出力時間をある一定時間ずつ伸縮することによって、徐々に時間差が知覚限界の範囲内に入るようにする。また、各ＭＵの出力時にも、そのＭＵと一緒に出力されるべきマスタメディアのＭＵとの出力時間の差を計算して、この場合にも最初のＭＵの出力時と同様の制御を行う。更に、マスタメディアだけでなく、スレーブメディアに対しても、ネットワーク負荷に応じて動的に出力タイミングを変更可能とする。

このような制御を行う本例の技術では、最初のＭＵの出力時には、他の最初のＭＵが到着するのを持つことなく、出力が行えるため、各メディアのインタラクティブ性が失われにくい。また、スレーブメディアのＭＵの対応するマスタメディアのＭＵとの出力時刻の差が許容限界の範囲外にあれば、スレーブメディアの後続のＭＵの出力時刻を一定時間ずつ徐々に変更することによって、知覚限界の範囲内に入るように制御しようとする。

更に、マスタメディアの出力タイミングの変更があっても、スレーブメディアの出力タイミングとの時間差が許容限界の範囲内にあれば、スレーブメディアの出力タイミングを変更する必要はない。許容限界の範囲外になったとしても、スレーブメディアの出力タイミングは一定時間ずつ徐々に変更されて、知覚限界の範囲内に入るようにされる。

スレーブメディアの出力タイミングの変更に用いられる一定時間について、メディアの特性を考慮し、ＭＵの出力時間を伸縮しても、知覚されないように選ぶことによって、メディア間同期品質を良好に保ちながら、各メディアのメディア内同期品質を高く維持することが可能である。

また、マスタメディアの出力タイミングとは独立に、ネットワーク負荷に応じてスレーブメディアの出力タイミングを変更することが可能であり、この変更の大きさを、マスタメディアとの同期誤差の許容限界の範囲内になるようにすれば、ある程度までメディア間同期品質を良好に維持しながら、スレーブメディアのメディア内同期品質の向上が可能となる。

従って、本例の技術では、従来技術の問題点を解決でき、メディア間の出力タイミングの誤差をある程度許すことによって、高品質なメディア出力を実現することができる。

尚、本発明は、図１〜図５を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、メディア出力システムのコンピュータ構成として図２に示す構成例を示したが、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Flexible Disk）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。

本発明に係わるメディア出力システムの構成例を示すブロック図である。図１におけるメディア出力システムのハードウェア構成例を示すブロック図である。本発明のメディア出力システムの同期誤差制御方法に係わる処理手順の第１の実施例を示す説明図である。本発明のメディア出力システムの同期誤差制御方法に係わる処理手順の第２の実施例を示す説明図である。本発明のメディア出力システムの同期誤差制御方法に係わる処理手順の第３の実施例を示す説明図である。

符号の説明

１：メディア出力システム、２：受信部、３：バッファ部、４：出力部、５：同期誤差取得部、６：判別部、７：出力制御部、８：遅延検出部、９：回復検知部、１０：ネットワーク、２１ａ：表示装置、２１ｂ：スピーカー、２１ｃ：触覚インタフェース装置（触覚ＩＦ装置）、２２：入力装置、２３：外部記憶装置、２４：情報処理装置、２４ａ：ＣＰＵ、２４ｂ：主メモリ、２４ｃ：入出力インタフェース、２４ｄ：入力インタフェース（入力ＩＦ）、２４ｅ：出力インタフェース（出力ＩＦ）、２５：光ディスク、２６：駆動装置、２７：通信装置。

Claims

ネットワークを介して受信した複数のメディア情報をバッファリングして同期をとって出力するメディア出力システムであって、
異なる第１、第２のメディアのそれぞれの出力時の同期誤差を求める同期誤差取得手段と、
該同期誤差取得手段で求めた同期誤差が上記第１、第２のメディアに対して予め定められた許容限界値Ｅａｌの範囲内であるか否かを判別する判別手段と、
該判別手段の判別結果で上記同期誤差が上記許容限界値Ｅａｌの範囲外となれば、上記第１、第２のメディア間での同期誤差が該第１、第２のメディアに対して予め定められた知覚限界値Ｅｐｅｒの範囲内になるよう、一方のメディアの出力タイミングを予め定められた時間間隔ｒで修正する出力制御手段と
を有することを特徴とするメディア出力システム。
請求項１に記載のメディア出力システムであって、
上記第１のメディアの受信の遅れが予め定められた閾値Ｔｈｍを越えることを検知する遅延検知手段を有し、
上記出力制御手段は、上記遅延検知手段で上記第１のメディアの受信の遅れが上記閾値Ｔｈｍを越えたことを検知した後に受信した直後の第１のメディアを直ちに出力し、以降に受信する第１のメディアを予め定められた等間隔で出力することを特徴とするメディア出力システム。
請求項２に記載のメディア出力システムであって、
上記判別手段は、上記第１のメディアの受信の遅れに伴う該第１のメディアと上記第２のメディアとの同期誤差が上記許容限界値Ｅａｌの範囲もしくは予め定められた他の許容限界値の範囲外となることを判別し、
該判別結果に基づき、上記出力制御手段は、上記第１、第２のメディア間での同期誤差が該第１、第２のメディアに対して予め定められた上記知覚限界値Ｅｐｅｒの範囲内もしくは予め定められた他の知覚限界値の範囲内になるよう、上記第２のメディアの出力タイミングを上記時間間隔ｒもしくは予め定められた他の時間間隔で修正する
ことを特徴とするメディア出力システム。
請求項２もしくは請求項３のいずれかに記載のメディア出力システムであって、
上記第１のメディアの受信の遅れの回復を検知する回復検知手段を有し、
該回復検知手段の検知結果に基づき、上記出力制御手段は、上記第１のメディアの出力タイミングを上記時間間隔ｒもしくは予め定められた他の時間間隔で戻し、該第１のメディアの出力タイミングの変化に応じて上記第２のメディアに対し上記知覚限界値Ｅｐｅｒもしくは予め定められた他の知覚限界値に基づく出力タイミングの修正を行う
ことを特徴とするメディア出力システム。
請求項１から請求項４のいずれかに記載のメディア出力システムであって、
上記第１のメディアをマスタメディア、上記第２のメディアをスレーブメディアとし、
該スレーブメディアの受信の遅れが予め定められた閾値Ｔｈｓを越えることを検知するスレーブメディア遅延検知手段と、
上記スレーブメディアの受信の遅れの回復を検知するスレーブメディア回復検知手段とを有し、
上記出力制御手段は、
上記スレーブメディア遅延検知手段で上記スレーブメディアの受信の遅れが上記閾値Ｔｈｓを越えたことを検知した後に受信した直後のスレーブメディアを直ちに出力し、出力したスレーブメディアの該スレーブメディアに対応するマスタメディアに対する出力時刻の遅れが上記許容限界値Ｅａｌの範囲外であれば、以降のスレーブメディアの出力タイミングを予め定められた時間間隔で遅らせ、
その後、上記スレーブメディア回復検知手段で上記スレーブメディアの受信の遅れの回復を検知すると、該スレーブメディアの出力タイミングを、対応するマスタメディア間との同期誤差が上記知覚限界値Ｅｐｅｒの範囲内になるまで早める
ことを特徴とするメディア出力システム。
請求項１から請求項４のいずれかに記載のメディア出力システムであって、
上記第１のメディアをマスタメディア、上記第２のメディアをスレーブメディアとし、
該スレーブメディアの受信の遅れが予め定められた閾値Ｔｈｓを越えることを検知するスレーブメディア遅延検知手段と、
上記スレーブメディアの受信の遅れの回復を検知するスレーブメディア回復検知手段とを有し、
上記出力制御手段は、
上記スレーブメディア遅延検知手段で上記スレーブメディアの受信の遅れが上記閾値Ｔｈｓを越えたことを検知した後に受信した直後のスレーブメディアを直ちに出力し、出力したスレーブメディアの該スレーブメディアに対応するマスタメディアに対する出力時刻の遅れが上記許容限界値Ｅａｌの範囲外であれば、以降のスレーブメディアの出力タイミングを、少なくとも対応するマスタメディアとの同期誤差が上記許容限界値Ｅａｌの範囲内でおさまる範囲で遅らせ、
その後、上記スレーブメディア回復検知手段で上記スレーブメディアの受信の遅れの回復を検知すると、該スレーブメディアの出力タイミングを、対応するマスタメディア間の同期誤差が上記知覚限界値Ｅｐｅｒの範囲内になるまで早める
ことを特徴とするメディア出力システム。
コンピュータを、請求項１から請求項６のいずれかに記載のメディア出力システムにおける各手段として機能させるためのプログラム。
ネットワークを介して受信した複数のメディア情報をバッファリングして同期をとって出力するメディア出力システムの同期誤差制御方法であって、
上記メディア出力システムは、上記複数のメディア情報の同期を制御する手順として、
異なる第１、第２のメディアのそれぞれの出力時の同期誤差を求める第１の手順と、
該第１の手順で求めた同期誤差が上記第１、第２のメディアに対して予め定められた許容限界値Ｅａｌの範囲内であるか否かを判別する第２の手順と、
該第２の手順の判別結果で上記同期誤差が上記許容限界値Ｅａｌの範囲外となれば、上記第１、第２のメディア間での同期誤差が該第１、第２のメディアに対して予め定められた知覚限界値Ｅｐｅｒの範囲内になるよう、一方のメディアの出力タイミングを予め定められた時間間隔ｒで修正する第３の手順と
を有することを特徴とする同期誤差制御方法。
請求項８に記載の同期誤差制御方法であって、
上記第１のメディアの受信の遅れが予め定められた閾値Ｔｈｍを越えることを検知する手順と、
該手順で上記第１のメディアの受信の遅れが上記閾値Ｔｈｍを越えたことを検知した後に受信した直後の第１のメディアを直ちに出力する手順と、
以降に受信する第１のメディアを予め定められた等間隔で出力する手順と
を有することを特徴とする同期誤差制御方法。
請求項９に記載の同期誤差制御方法であって、
上記第１のメディアの受信の遅れに伴う該第１のメディアと上記第２のメディアとの同期誤差が上記許容限界値Ｅａｌの範囲もしくは予め定められた他の許容限界値の範囲外となることを判別する手順と、
該手順での判別結果に基づき、上記第１、第２のメディア間での同期誤差が該第１、第２のメディアに対して予め定められた上記知覚限界値Ｅｐｅｒの範囲内もしくは予め定められた他の知覚限界値の範囲内になるよう、上記第２のメディアの出力タイミングを上記時間間隔ｒもしくは予め定められた他の時間間隔で修正する手順と
を有することを特徴とする同期誤差制御方法。
請求項９もしくは請求項１０のいずれかに記載の同期誤差制御方法であって、
上記第１のメディアの受信の遅れの回復を検知する手順と、
該手順での検知結果に基づき、上記第１のメディアの出力タイミングを上記時間間隔ｒもしくは予め定められた他の時間間隔で戻す手順と、
該手順での上記第１のメディアの出力タイミングの変化に応じて上記第２のメディアに対し上記知覚限界値Ｅｐｅｒもしくは予め定められた他の知覚限界値に基づく出力タイミングの修正を行う手順と
を有することを特徴とする同期誤差制御方法。
請求項８から請求項１１のいずれかに記載の同期誤差制御方法であって、
上記第１のメディアをマスタメディア、上記第２のメディアをスレーブメディアとし、
該スレーブメディアの受信の遅れが予め定められた閾値Ｔｈｓを越えることを検知する手順と、
該手順で上記スレーブメディアの受信の遅れが上記閾値Ｔｈｓを越えたことを検知した後に受信した直後のスレーブメディアを直ちに出力する手順と、
該手順で出力したスレーブメディアの該スレーブメディアに対応するマスタメディアに対する出力時刻の遅れが上記許容限界値Ｅａｌの範囲外であれば、以降のスレーブメディアの出力タイミングを予め定められた時間間隔で遅らせる手順と、
その後、上記スレーブメディアの受信の遅れの回復を検知する手順と、
該手順で上記スレーブメディアの受信の遅れの回復を検知すると該スレーブメディアの出力タイミングを、対応するマスタメディア間との同期誤差が上記知覚限界値Ｅｐｅｒの範囲内になるまで早める手順と
を有することを特徴とする同期誤差制御方法。
請求項８から請求項１１のいずれかに記載の同期誤差制御方法であって、
上記第１のメディアをマスタメディア、上記第２のメディアをスレーブメディアとし、
該スレーブメディアの受信の遅れが予め定められた閾値Ｔｈｓを越えることを検知する手順と、
該手順で上記スレーブメディアの受信の遅れが上記閾値Ｔｈｓを越えたことを検知した後に受信した直後のスレーブメディアを直ちに出力する手順と、
該手順で出力したスレーブメディアの該スレーブメディアに対応するマスタメディアに対する出力時刻の遅れが上記許容限界値Ｅａｌの範囲外であれば、以降のスレーブメディアの出力タイミングを、少なくとも対応するマスタメディアとの同期誤差が上記許容限界値Ｅａｌの範囲内でおさまる範囲で遅らせる手順と、
その後、上記スレーブメディアの受信の遅れの回復を検知する手順と、
該手順で上記スレーブメディアの受信の遅れの回復を検知すると、該スレーブメディアの出力タイミングを、対応するマスタメディア間の同期誤差が上記知覚限界値Ｅｐｅｒの範囲内になるまで早める手順と
を有することを特徴とする同期誤差制御方法。