JP2005148152A

JP2005148152A - メディア送信装置、メディア受信装置、メディア通信装置及びメディア再生装置

Info

Publication number: JP2005148152A
Application number: JP2003381486A
Authority: JP
Inventors: Masayuki Baba; 昌之馬場; Hiroyuki Kurokawa; 弘幸黒川; Fuminobu Ogawa; 文伸小川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-11-11
Filing date: 2003-11-11
Publication date: 2005-06-09

Abstract

【課題】クロックの周波数を変更することなく、メディア送信装置との同期を図ることができるメディア受信装置を得ることを目的とする。
【解決手段】内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを順次受信して復号し、ユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生する。これにより、クロックの周波数を変更することなく、メディア送信装置１との同期を擬似的に図ることができる。
【選択図】図１

Description

この発明は、ネットワークを介してメディアデータを送信するメディア送信装置と、ネットワークを介してメディアデータを受信して再生するメディア受信装置と、メディアデータの送信機能と受信機能の双方を有するメディア通信装置と、メディアデータを蓄積して再生するメディア再生装置とに関するものである。

従来のメディア送信装置は、ビデオデータなどのＡＶストリームソースをＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）と呼ばれるインターネット技術標準に準拠した所定のフォーマットに変換することにより、複数のＲＴＰパケットを生成し、ネットワーク経由で、複数のＲＴＰパケットを送信する。
ただし、メディア送信装置は、複数のＲＴＰパケットを生成する際、内蔵している送信側のクロックを用いて、各ＲＴＰパケットにタイムスタンプを付加する。
一方、メディア受信装置は、ネットワーク経由で、複数のＲＴＰパケットを受信すると、複数のＲＴＰパケットを一旦ジッタ除去バッファに格納してから、内蔵している受信側のクロックを用いて、複数のＲＴＰパケットを復号し、復号後のＲＴＰパケットであるＡＶストリームソースをＡＶ復号装置に提供する。

これにより、ＡＶ復号装置によりＡＶストリームソースが再生されるが、メディア送信装置における送信側のクロックと、メディア受信装置における受信側のクロックとの周波数が完全に一致しないと、メディア受信装置がＡＶ復号装置に提供するＡＶストリームソースの過不足が発生する。
そこで、メディア受信装置は、ＡＶストリームソースの過不足の発生を防止するため、ジッタ除去バッファに一時的に格納されているＲＴＰパケットのデータ量を監視し、バッファ残量が多ければ、受信側のクロックの周波数を少し上げる一方、バッファ残量が少なければ、受信側のクロックの周波数を少し下げることによって、メディア送信装置との同期を図ることができるようにしている（例えば、特許文献１参照）。

特開２０００−９２１３０号公報（段落番号［００３０］から［００３６］、図１）

従来のメディア受信装置は以上のように構成されているので、受信側のクロックの周波数を変更することが可能な専用通信装置であれば、メディア送信装置との同期を図ることができる。しかし、パソコンのような汎用の通信機能を使用して受信処理を行う場合、受信側のクロックの周波数を変更することができず、メディア送信装置との同期を図ることができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、クロックの周波数を変更することなく、メディア送信装置との同期を図ることができるメディア受信装置を得ることを目的とする。
また、この発明は、受信側が容易に送信側との同期を図ることができるメディア送信装置及びメディア通信装置を得ることを目的とする。
さらに、この発明は、オフライン状態でも視聴者に違和感を与えることなくメディアデータを再生することができるメディア再生装置を得ることを目的とする。

この発明に係るメディア受信装置は、内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを順次受信して復号し、ユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生するようにしたものである。

この発明によれば、内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを順次受信して復号し、ユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生するように構成したので、クロックの周波数を変更することなく、メディア送信装置との同期を図ることができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるメディア送信装置及びメディア受信装置を示す構成図であり、図において、メディア送信装置１とメディア受信装置２は例えばインターネットなどのネットワーク３を介して接続され、メディアデータの送受信を実施する。
メディア送信装置１の分割部１１はメディアデータの内容の時間的連続性を検査し、その内容の時間的連続性が認められる範囲毎に当該メディアデータを分割して複数のユニットを生成するユニット生成手段を構成している。
クロック発生部１２は符号化部１３が符号化処理に用いる符号化用クロックを発生し、符号化部１３はクロック発生部１２から発生された符号化用クロックに同期して、分割部１１により生成された複数のユニットを符号化する。なお、クロック発生部１２及び符号化部１３から符号化手段が構成されている。
送信部１４は符号化部１３により符号化された複数のユニットをネットワーク３経由でメディア受信装置２に順次送信する送信手段を構成している。

メディア受信装置２の受信部２１はメディア送信装置１から送信された複数のユニットを順次受信する受信手段を構成している。
復号部２２は受信部２１により受信された複数のユニットを復号する復号手段を構成している。
クロック発生部２３は再生部２４が再生処理に用いる再生用クロックを発生し、再生部２４は復号部２２により復号されたユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生する。なお、クロック発生部２３及び再生部２４から再生手段が構成されている。

次に動作について説明する。
メディア送信装置１の分割部１１は、例えば、外部から送信対象のメディアデータを受けると、そのメディアデータの内容の時間的連続性を検査する。
即ち、メディア受信装置２がメディアデータを再生するに際して、連続的に再生しなければ、再生された表示内容や音声に違和感を生じる範囲（連続性を保証する範囲）を特定し、その範囲の途中で分割することがないようにするため、そのメディアデータの内容の時間的連続性を検査する。
換言すると、途中で分割しても、再生された表示内容や音声に違和感を生じない部分（メディアデータの区切り部分）を特定するため、そのメディアデータの内容の時間的連続性を検査する。

具体的には、下記のようにして、メディアデータの内容の時間的連続性を検査し、その内容の時間的連続性が認められる範囲毎に当該メディアデータを分割して複数のユニットを生成する。
（１）メディアデータが音声データである場合、そのメディアデータを構成する「、」や「。」などの句読点に相当する区間（例えば、無音区間）は、実際に音声を発するデータではなく、その区間の音声が一部消失したり、音声が間延びしたりしても、再生された音声に違和感を覚える可能性が低いので、そのメディアデータに含まれている句読点相当区間をサーチし、句読点相当区間は内容の時間的連続性がないと認定する。
例えば、音声データが「本日は、晴天なり。」である場合、句読点を区切り部分とすると、「本日は」と「晴天なり」に分割することになる。この場合、メディア受信装置２が再生する際に、仮に「本日は」と「晴天なり」の間に時間的な空白を入れても、違和感無く聞き取ることができる。
この例では、「本日は」を表すユニットと、「晴天なり」を表すユニットを生成する。

（２）メディアデータが音声データであって、その音声データが例えば「本日は晴天なり」の場合、そのメディアデータを構成する単語単位に区切ると、メディア受信装置２により「本日」・「は」・「晴天」・「なり」のように、音声が途切れ途切れに再生されることになるが、単語自体の意味や文章の意味は理解することができるので、そのメディアデータを単語単位に分解し、単語と単語の間は、内容の時間的連続性がないものと認定する。
この例では、「本日」を表すユニットと、「は」を表すユニットと、「晴天」を表すユニットと、「なり」を表すユニットとを生成する。

（３）メディアデータが音声データである場合、無音区間は音声が途切れている部分であり、メディア受信装置２が無音区間を再生しなくても、音声に違和感を覚える可能性が低く、無音区間は内容の時間的連続性がない可能性が高いので、そのメディアデータに含まれている無音区間をサーチする。
しかしながら、１つの単語の中にも一瞬無音部分が含まれることがあるため、無音部分が一定時間以上継続する場合に限り、内容の時間的連続性がないものと認定する。
この例では、メディアデータを無音区間で細切れにして、２つ以上のユニットを生成する。

（４）メディアデータがビデオデータである場合、動画像などのシーンチェンジは、一般的に前後の画像が全く異なるので、シーンチェンジを区切りにして、そのメディアデータを分割し、メディア受信装置２がシーンチェンジを跨ぐ部分を連続的に表示しなくても、表示内容に違和感を覚える可能性が低い。したがって、シーンチェンジを区切りにして、そのメディアデータを分割して複数のパケットを生成する。
なお、メディアデータにシーンチェンジであることを示すフラグが付加されるデータフォーマットが採用されている場合には、そのようなフラグをサーチすることにより、シーンチェンジを検出するが、そのようなフラグが付加されないデータフォーマットが採用されている場合には、動画像の変化分を表す差分データのデータ量が基準データ量を超えたとき（動画像の変化が極めて多いとき）、シーンチェンジであると認定する。

（５）メディアデータがビデオデータである場合、一定時間以上画像が変化しない無変化シーンは、仮にメディア受信装置２が一部カットして再生しても、表示内容に変化がなく違和感を覚える可能性が低いので、一定時間以上の無変化シーンを細切れにして、そのメディアデータを分割して複数のパケットを生成する。

メディア送信装置１の符号化部１３は、分割部１１がメディアデータを分割して複数のパケットを生成すると、クロック発生部１２から発生された符号化用クロックに同期して、複数のユニットを符号化する。
メディア送信装置１の送信部１４は、所望の通信プロトコルにしたがって、符号化部１３により符号化された複数のユニットをネットワーク３経由でメディア受信装置２に順次送信する。

一方、メディア受信装置２の受信部２１は、メディア送信装置１がユニットの送信を開始すると、複数のユニットを順次受信する。
メディア受信装置２の復号部２２は、受信部２１により受信された複数のユニットを復号する。
メディア受信装置２の再生部２４は、クロック発生部２３から発生された再生用クロックを使用して、復号部２２により復号されたユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生（表示、音声出力）する。
この際、ユニット内のメディアデータの内容は連続性が保証されている一方、あるユニットの最後のメディアデータの内容と、あるユニットの後段のユニットの最初のメディアデータの内容とは連続性が保証されていないので、ユニット毎に再生タイミングを切り替える際、ユニットとユニットの間隔が多少長くなったり、短くなったりしても、表示内容や音声に違和感を覚える可能性は極めて低いものとなる。
したがって、メディア送信装置１のクロック発生部１２から発生された符号化用クロックと、メディア受信装置２のクロック発生部２３から発生された再生用クロックとは必ずしも一致しないため、送信部１の送信タイミング（符号化部１３の符号化タイミング）と再生部２４の再生タイミングにずれが生じるが、ユニットとユニットの間隔を適切に調整することにより、視聴者に違和感を与えることなく、タイミングのずれを吸収することができる。

再生用クロックの周波数が符号化用クロックの周波数より低い場合、図２に示すように、再生部２４の再生タイミングが送信部１の送信タイミング（符号化部１３の符号化タイミング）より遅くなるため、除々に再生部２４の再生がユニットの送信に追いつかなくなり、受信部２１や復号部２２におけるユニットの一時格納バッファがオーバーフローする事態の発生などが考えられる。

そこで、メディア受信装置２の再生部２４は、クロック発生部２３から発生された再生用クロックの周波数を変更することなく、メディア送信装置１との同期を擬似的に図るようにしている。
即ち、再生用クロックの周波数が符号化用クロックの周波数より低い場合、あるユニットのメディアデータの再生が完了する前に、復号部２２が当該ユニットの後段のユニットの復号を完了することがあるので（図３を参照）、復号部２２の処理状況を監視し、あるユニットのメディアデータの再生が完了する前に、後段のユニットの復号を完了したことを検知すると、後段のユニットのメディアデータの再生を開始する。

図３の例では、１番目のユニットにおける４番目のメディアデータの再生が完了する前に、２番目のユニットの復号を完了しているので、２番目のユニットの復号完了を検知したとき、２番目のユニットにおける１番目のメディアデータの再生を開始する。
この場合、１番目のユニットにおける４番目のメディアデータと、２番目のユニットにおける１番目のメディアデータとが同時刻に再生されることになるため、１番目のユニットにおける４番目のユニットのメディアデータと、２番目のユニットにおける１番目のユニットのメディアデータとが合成（例えば、メディアデータが音声データであれば、２つの音声データを混合する）されて再生されることになる。これにより、メディア送信装置１とメディア受信装置２が擬似的に同期が図られ、メディア送信装置１から送信されたメディアデータのオーバーフローの発生を防止することができる。

ここでは、１番目のユニットにおける４番目のユニットのメディアデータと、２番目のユニットにおける１番目のユニットのメディアデータとを合成するものについて示したが、メディア受信装置２の再生部２４がデータの合成機能を搭載していない場合や、そのメディアデータが合成に適していないビデオデータなどの場合には、１番目のユニットにおける４番目のユニットのメディアデータ、あるいは、２番目のユニットにおける１番目のユニットのメディアデータの何れか一方を再生するようにしてもよい。
一般的には、メディアデータの終わりの方は、内容的に不要なデータが含まれていることが多いため、新しい方のメディアデータを再生する。図３の例では、１番目のユニットにおける４番目のユニットのメディアデータを廃棄して、２番目のユニットにおける１番目のユニットのメディアデータを再生する。

一方、再生用クロックの周波数が符号化用クロックの周波数より高い場合、再生部２４の再生タイミングが送信部１の送信タイミング（符号化部１３の符号化タイミング）より早くなるため、除々にユニットの送信が再生部２４の再生に追いつかなくなり、受信部２１や復号部２２におけるユニットが不足気味になることが考えられる。
メディアデータがビデオデータである場合、ユニットが不足気味になって、メディアデータの再生が途切れると、例えば、画面が真っ暗やブルーになることがあるため視聴者に違和感を与える。
そこで、メディア受信装置２の再生部２４は、クロック発生部２３から発生された再生用クロックの周波数を変更することなく、メディア送信装置１との同期を擬似的に図るようにしている。
即ち、再生用クロックの周波数が符号化用クロックの周波数より高い場合、あるユニットのメディアデータの再生が完了しても、あるユニットの後段のユニットの復号が完了していないことがあるので（図４を参照）、復号部２２の処理状況を監視し、あるユニットのメディアデータの再生が完了しても、あるユニットの後段のユニットの復号が完了していないことを検知すると、あるユニットの最後のメディアデータの再生を継続するようにする。

図４の例では、１番目のユニットのメディアデータの再生が完了しても、２番目のユニットの復号が完了していないので、２番目のユニットの復号が完了していないことを検知すると、１番目のユニットの最後のメディアデータの再生を継続するようにしている。これにより、メディア送信装置１とメディア受信装置２が擬似的に同期が図られ、表示内容が大きく変化することがないので、視聴者の違和感を抑えることができる。
ただし、メディアデータが音声データである場合、メディアデータの再生が途切れて無音になっても、視聴者に大きな違和感を与えることがないので、メディアデータが音声データであれば、必ずしも最後のメディアデータの再生を継続しなくてもよい。

以上で明らかなように、この実施の形態１によれば、内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを順次受信して復号し、ユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生するように構成したので、再生用クロックの周波数を変更することなく、メディア送信装置１との同期を擬似的に図ることができる効果を奏する。

また、ユニットとユニットの間隔が多少長くなったり、短くなったりしても、表示内容や音声に違和感を覚える可能性が極めて低くなるので、ネットワーク３の揺らぎ等の影響で、メディアデータの到着が遅れた場合でも、そのポイントで一時的に再生を中断することも可能となる。
また、メディア受信装置２がマルチタスクで動作する場合、再生処理以外の処理に時間をとられて、連続した再生処理を行えないような状況でも、各ユニット単位に区切って再生を行うことで、視聴者に違和感を与えず再生を行える効果も奏する。

実施の形態２．
上記実施の形態１では、メディアデータがビデオデータである場合、分割部１１がメディアデータに含まれている一定時間以上の無音区間又は無変化シーンを細切れにして、そのメディアデータを分割するものについて示したが、メディアデータが一定時間以上変化しない場合、分割部１１がその変化しない区間のメディアデータの一部を廃棄するようにしてもよい。

即ち、メディアデータが音声データである場合において、メディアデータが一定時間以上変化しない状況は、音声が無音、雑音が重畳、あるいは、ある周波数の音が延々と継続している状況である。
また、メディアデータがビデオデータである場合において、メディアデータが一定時間以上変化しない状況は、シーンの変化がない状況である。
このような状況化のメディアデータは、新たな情報を視聴者に提供する性質のものではないため、メディアデータの一部がなくても、視聴者は表示内容や音声に違和感を覚えることはない。
そこで、この実施の形態２では、メディアデータが一定時間以上変化しない場合、分割部１１がその変化しない区間のメディアデータの一部を廃棄するようにしている。

この実施の形態２によれば、一定時間以上変化しない区間のメディアデータの一部を廃棄するので、メディア送信装置１から送信されるデータ量が減少し、ネットワーク３の負荷を軽減することができる効果を奏する。また、メディア受信装置２の再生部２４における再生処理を軽減することができる効果を奏する。

実施の形態３．
上記実施の形態１では、メディア送信装置１の送信部１４が所望の通信プロトコルにしたがって、符号化部１３により符号化された複数のユニットをネットワーク３経由でメディア受信装置２に順次送信するものについて示したが、送信部１４が複数のユニットを送信する際に、使用する通信プロトコルによっては、１つのパケットデータとして伝送可能な最大レングスが規定されることがある。このような場合に、送信部１４ではユニットをいくつかに分割して送信しなければならないことがある。

このような場合、メディア送信装置１の送信部１４は、符号化部１３により符号化されたユニットを細分化して複数のパケットを生成し、先頭のパケットに所定のフラグを付与してから、複数のパケットを順次送信するようにする。
ここで、先頭のパケットに所定のフラグを付与する理由は、受信側では、フラグが付加されているパケットを検出することで、先頭のパケットを見つけることができ、フラグが付加されていないパケットは、先頭パケットに従属しているパケットであることを認識することができるからである。
また、新たにフラグが付加されている先頭のパケットを見つければ、そのパケットから別のユニットが始まることが分かる。

例えば、ＩＦＴＦのＲＦＣ１８８９には、リアルタイムアプリケーション用の転送プロトコルが規定されており、その中でＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）ヘッダのＭビットを、この先頭を示すフラグに使用すればよい。
この実施の形態３によれば、ユニットの連続性を保証しながら、短いパケットでユニットを送信することができる効果を奏する。

実施の形態４．
上記実施の形態１〜３では、メディア受信装置２の受信部２１が１つのメディア送信装置１から送信されるユニットを受信するものについて示したが、メディア受信装置２の受信部２１が複数のメディア送信装置１から送信されるユニットを同時に受信する機能を有している場合、図５に示すように、メディア受信装置２の受信部２１により受信された複数のユニットの受信タイミングが重なると、再生部２４が複数のユニットのメディアデータを合成して再生するようにしてもよい。

図５の例では、あるメディア送信装置１から送信されたユニットにおける最後のメディアデータの受信タイミングと、あるメディア送信装置１から送信されたユニットにおける最初のメディアデータの受信タイミングとが重なっており、メディア受信装置２の再生部２４は、その最後のメディアデータと、最初のメディアデータとを合成して再生している。
これにより、複数のメディア送信装置１から同時にユニットが送信されても、複数のユニットを同時に受信して再生することができる効果を奏する。

なお、複数のユニットのメディアデータが音声データであれば、上記のような合成を施して同時に再生を行えばよいが、複数のユニットのメディアデータが合成処理に適さないビデオデータである場合には、再生部２４が複数のユニットの再生タイミングをずらして、順番に複数のユニットのメディアデータを再生すればよい。

実施の形態５．
図６はこの発明の実施の形態５によるメディア通信装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
メディア通信装置４は例えばインターネットなどのネットワーク３と接続され、メディアデータの送信機能と受信機能を備えている。
ただし、メディア通信装置４の再生部２５は図１の再生部２４と同様の機能を有する他に、自己のメディアデータの再生能力を上回る再生未完了のメディアデータが受信されている状況下では、送信対象のメディアデータの廃棄を分割部１１に指示する機能を備えている。なお、再生部２５は再生手段を構成している。

次に動作について説明する。
複数のメディア通信装置４がネットワーク３に接続され、上記実施の形態１〜４と同様の方法で、互いに一連のメディアデータから複数のユニットを生成して送信する場合、複数のメディア通信装置４は、他のメディア通信装置４から送信された複数のユニットを同時に受信し、大量のユニットを復号して再生することになる。
しかし、メディア通信装置４の再生部２５におけるメディアデータの再生能力には限界があるため、その再生能力を上回るデータ量を受信すると、例えば、受信部２１や復号部２２におけるユニットの一時格納バッファのオーバーフローや、メディアデータのリアルタイムな再生処理が不可能になるなどの事態を招くことになる。

そこで、メディア通信装置４の再生部２５は、自己の再生能力を上回るデータ量を受信している状況下では、他のメディア通信装置４の再生部２５においても同様の状況が発生している可能性が高いので、送信対象のメディアデータの廃棄を分割部１１に指示する。
これにより、自己の送信部１４からはユニットの送信が抑制されるため、ネットワーク３を伝送されるユニットのデータ量が減少し、各メディア通信装置４の再生部２５におけるメディアデータの再生処理量が減少する。このため、ネットワーク３に接続されている複数のメディア通信装置４の再生部２５は、メディアデータのリアルタイムな再生処理を継続することができる効果を奏する。

実施の形態６．
図７はこの発明の実施の形態６によるメディア再生装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
メディア再生装置５はネットワーク３と接続されておらず、オフライン状態でメディアデータを再生する。
蓄積部２６は内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを蓄積する蓄積手段を構成している。

上記実施の形態１〜５では、受信部２１がメディア送信装置１から送信されたユニットをネットワーク３経由で受信するものについて示したが、図７に示すように、オフライン状態のメディア再生装置５が例えばＳＤカードなどの記憶媒体を利用して、内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを蓄積部２６に蓄積するようにしてもよい。
また、メディア再生装置５がオンライン状態のときに、メディア送信装置１から送信された複数のユニットを受信して蓄積部２６に蓄積し、その後、オフライン状態で蓄積部２６に蓄積されている複数のユニットのメディアデータを再生するようにしてもよい。

メディア再生装置５の復号部２２及び再生部２４は、図１の復号部２２及び再生部２４と同様の処理を実施するため説明を省略する。
この実施の形態６によれば、メディア再生装置５がオフライン状態で、複数のユニットのメディアデータを再生する場合にも、ユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生することができるようになり、メディアデータの生成側が意図する通りにメディアデータを再生することができる効果を奏する。

また、ユニットとユニットの間隔を調整することで、メディアデータ全体の再生時間を長くしたり短くしたりできるので、特に表示内容に変化がない場合などには、再生部２４でユニットのメディアデータを重ね合わせるように表示することができるようになり、その結果、表示内容や音声に違和感を与えることなく、再生時間を短縮することができる効果を奏する。
即ち、表示内容や音声に違和感を与えることなく、再生時間の調整を容易に行うことができる効果を奏する。

この発明の実施の形態１によるメディア送信装置及びメディア受信装置を示す構成図である。送信側と受信側のタイムスケールを示す説明図である。送信側と受信側のタイムスケールを示す説明図である。送信側と受信側のタイムスケールを示す説明図である。送信側と受信側のタイムスケールを示す説明図である。この発明の実施の形態５によるメディア送信装置及びメディア受信装置を示す構成図である。この発明の実施の形態６によるメディア送信装置及びメディア受信装置を示す構成図である。

符号の説明

１メディア送信装置、２メディア受信装置、３ネットワーク、４メディア通信装置、５メディア再生装置、１１分割部（ユニット生成手段）、１２クロック発生部（符号化手段）、１３符号化部（符号化手段）、１４送信部（送信手段）、２１受信部（受信手段）、２２復号部（復号手段）、２３クロック発生部（再生手段）、２４再生部（再生手段）、２５再生部（再生手段）、２６蓄積部（蓄積手段）。

Claims

メディアデータの内容の時間的連続性を検査し、その内容の時間的連続性が認められる範囲毎に当該メディアデータを分割して複数のユニットを生成するユニット生成手段と、上記ユニット生成手段により生成された複数のユニットを符号化する符号化手段と、上記符号化手段により符号化された複数のユニットを順次送信する送信手段とを備えたメディア送信装置。
ユニット生成手段は、メディアデータが音声データである場合、そのメディアデータを構成する句読点相当区間を区切りにして、そのメディアデータを分割することを特徴とする請求項１記載のメディア送信装置。
ユニット生成手段は、メディアデータが音声データである場合、そのメディアデータを構成する単語を一単位にして、そのメディアデータを分割することを特徴とする請求項１記載のメディア送信装置。
ユニット生成手段は、メディアデータが音声データである場合、そのメディアデータに含まれている一定時間以上の無音区間を細切れにして、そのメディアデータを分割することを特徴とする請求項１記載のメディア送信装置。
ユニット生成手段は、メディアデータがビデオデータである場合、シーンチェンジを区切りにして、そのメディアデータを分割することを特徴とする請求項１記載のメディア送信装置。
ユニット生成手段は、メディアデータがビデオデータである場合、そのメディアデータに含まれている一定時間以上の無変化シーンを細切れにして、そのメディアデータを分割することを特徴とする請求項１記載のメディア送信装置。
ユニット生成手段は、メディアデータが一定時間以上変化しない場合、その変化しない区間のメディアデータの一部を廃棄することを特徴とする請求項４または請求項６記載のメディア送信装置。
送信手段は、符号化手段により符号化されたユニットを細分化して複数のパケットを生成し、先頭のパケットに所定のフラグを付与してから、複数のパケットを順次送信することを特徴とする請求項１から請求項７のうちのいずれか１項記載のメディア送信装置。
内容の時間的連続性が認められる範囲毎にメディアデータを分割したユニットを複数順次受信する受信手段と、上記受信手段により受信された複数のユニットを復号する復号手段と、上記復号手段により復号されたユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生する再生手段とを備えたメディア受信装置。
再生手段は、復号手段により復号された任意のユニットのメディアデータの再生が完了する前に、上記復号手段が当該ユニットの後段のユニットの復号が完了すると、後段のユニットのメディアデータの再生を開始することを特徴とする請求項９記載のメディア受信装置。
再生手段は、後段のユニットのメディアデータの再生を開始する際、後段のユニットのメディアデータと再生未完了のユニットのメディアデータとを合成して再生することを特徴とする請求項１０記載のメディア受信装置。
再生手段は、後段のユニットのメディアデータの再生を開始する際、再生未完了のユニットのメディアデータを廃棄して、後段のユニットのメディアデータを再生することを特徴とする請求項１０記載のメディア受信装置。
再生手段は、復号手段により復号された任意のユニットのメディアデータの再生が完了しても、上記復号手段が当該ユニットの後段のユニットの復号が完了しない場合、当該ユニットの最後のメディアデータの再生を継続することを特徴とする請求項９記載のメディア受信装置。
再生手段は、受信手段が複数のメディア送信装置から送信されるユニットを同時に受信する機能を有し、上記受信手段により受信された複数のユニットの受信タイミングが重なっている場合、複数のユニットのメディアデータを合成して再生することを特徴とする請求項９から請求項１３のうちのいずれか１項記載のメディア受信装置。
再生手段は、受信手段が複数のメディア送信装置から送信されるユニットを同時に受信する機能を有し、上記受信手段により受信された複数のユニットの受信タイミングが重なっている場合、複数のユニットのメディアデータを順番に再生することを特徴とする請求項９から請求項１３のうちのいずれか１項記載のメディア受信装置。
メディアデータの内容の時間的連続性を検査し、その内容の時間的連続性が認められる範囲毎に当該メディアデータを分割して複数のユニットを生成するユニット生成手段と、上記ユニット生成手段により生成された複数のユニットを符号化する符号化手段と、上記符号化手段により符号化された複数のユニットを順次送信する送信手段と、内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを順次受信する受信手段と、上記受信手段により受信された複数のユニットを復号する復号手段と、上記復号手段により復号されたユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生する再生手段とを備えたメディア通信装置。
再生手段は、自己のメディアデータの再生能力を上回る再生未完了のメディアデータが受信されている状況下では、送信対象のメディアデータの廃棄を上記ユニット生成手段に指示することを特徴とする請求項１６記載のメディア通信装置。
内容の時間的連続性が認められる範囲毎にメディアデータが分割された複数のユニットを蓄積する蓄積手段と、上記蓄積手段に蓄積された複数のユニットを復号する復号手段と、上記復号手段により復号されたユニット毎に再生タイミングを切り替えながら、複数のユニットのメディアデータを再生する再生手段とを備えたメディア再生装置。