JP2003284025A - マルチメディア情報伝送システム - Google Patents

Abstract

(57)【要約】 【課題】ストリーミング伝送型における特殊再生を行う
際に、無駄なデータを送受信せずに再生可能なデータを
送受信可能とすること。 【解決手段】スキップ再生をする際、先ず、クライアン
ト端末２に設けた再生制御情報生成部２５が、マルチメ
ディア情報受信部２１の受信バッファの中に、再生所望
点および再生所望点を再生するために必要なIフレーム
を含む多重化パケットの位置あるいはパケット番号が含
まれるか否かを判断する。そして、バッファにこれらの
情報が含まれると判断された場合は、サーバからのデー
タ転送を行わない。こうすることにより、すでにバッフ
ァ内に蓄積されているマルチメディア情報を再度サーバ
から取得するという処理を行わずに済み、余計な伝送デ
ータ量の発生を抑えることができる。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、映像、音声、デー
タが多重化されたマルチメディア情報をストリーミング
伝送する際のサーバ−クライアント間の制御方法に関す
るものである。 【０００２】 【従来の技術】映像、音声、データ等を伝送するマルチ
メディア情報伝送システムの一形態として、マルチメデ
ィア情報をサーバにあらかじめ蓄積しておき、クライア
ント端末からの要求に応じて情報を送信するものがあ
る。この送信の際、クライアント端末側において、所望
のマルチメディア情報をすべて受信してから再生を開始
する方法と、所望のマルチメディア情報をすべて受信す
る前に再生を開始し、情報の受信と再生を並行して実行
する方法とが存在する。特に後者の方法は、「ストリー
ミング再生」と呼ばれている。 【０００３】マルチメディア情報の伝送時に、映像や音
声等の原情報をそのままの形で送ることは、データ量が
非常に大きくなってしまうことから、何らかの手法で圧
縮して伝送し、受信時に展開することが一般的である。
映像と音声を比較すると、映像の情報量は音声のそれに
比べて非常に大きいため、映像情報の圧縮は必須とされ
ている。映像情報の圧縮手法には様々なものが存在する
が、標準的な圧縮手法として、ＭＰＥＧ−２やＭＰＥＧ
−４が使用されている。これらの手法の特徴として、映
像の原情報であるフレーム情報を各々符号化するだけで
なく、ある符号化済みフレームの情報を用いて次のフレ
ームを符号化することが挙げられる。これは、時間軸方
向での映像情報の冗長度を利用しており、情報圧縮の上
で大きな役目を果している。 【０００４】たとえば、ＭＰＥＧ−４を用いた圧縮にお
いては、あるフレーム情報 (これをＩフレーム:intra
frame と呼ぶ) を単独で符号化し、次のフレーム
は、このＩフレームの情報を基に差分を計算した結果の
みを符号化し(これをＰフレーム:predictive frame
と呼ぶ)、さらに次のフレームは、このＰフレームの情
報を基にして上述と同じ処理を繰り返すことで、時間軸
方法での冗長度を抑圧し、情報圧縮している。 【０００５】ここで、Ｐフレームは前フレームとの差分
情報のみを符号化しているので、フレームあたりの情報
量は小さくなる。一方Ｉフレームでは、該当フレームの
情報だけを基に符号化しているため、フレームあたりの
情報量は大きくなる。したがって、同等の品質をもって
伝送レートを小さくする場合、できるだけＩフレームで
符号化すべきフレームが少ないほうが、全体を通してみ
ると画質の向上に繋がるといえる。さて、マルチメディ
ア情報の途中から再生する場合を考慮すると、Iフレー
ムでは、単独のフレームから情報が構成されているた
め、Iフレームから再生することは可能である。一方、
Ｐフレームでは、以前のフレームからの差分情報を基に
符号化されているため、Ｐフレームから再生を開始する
ことは不可能である。 【０００６】したがって、マルチメディア情報の途中か
ら再生するとき、ユーザが再生を所望する地点がＰフレ
ームで符号化されていた場合は、マルチメディア情報に
おける次のＩフレームが出現するまでは正常な再生表示
がされないことになる。これは、ユーザにとってみる
と、再生を指示したのに再生されないという点で不満の
元となる。また、再生不可能な情報を、ネットワークを
介して伝送するという点において、ユーザは無駄な情報
に対して課金されるということにもなり、サービスを受
ける側にとっては好ましくない。 【０００７】このような問題を解決するため出願人は、
特願２０００−３９４３５５において効果的な解決方法
を開示している。 【０００８】 【発明が解決しようとする課題】ところで、マルチメデ
ィア情報を再生するクライアント端末には、サーバから
受信した情報を一時蓄積するバッファを持つことが一般
的である。したがって、再生中に別の地点の再生をユー
ザが指示した際、その指示した地点の情報がバッファ内
に存在するのであれば、サーバからマルチメディア情報
を取得するのは無駄なこととなる。従来のマルチメディ
ア伝送では、ストリーミング伝送型におけるスキップ処
理等の特殊再生時に、クライアント端末内のバッファに
どのような情報が蓄積されているかを効果的に知る手段
を持ち得ないため、すでにバッファ内に蓄積されている
マルチメディア情報もサーバから取得することになるこ
とから、余計な伝送データ量が発生することとなってい
た。 【０００９】本発明の目的は、上記した事情に基づいて
なされたもので、ストリーミング伝送型における特殊再
生を実行する際に、無駄なデータの送受信をすることな
く、再生可能なデータを送受信できるマルチメディア情
報伝送システムを提供することにある。 【００１０】 【課題を解決するための手段】上記の目的を達成するた
めに、本発明のマルチメディア情報伝送システムは、マ
ルチメディア情報を蓄積し、その蓄積されている情報を
送信するサーバ装置と、前記サーバ装置から送信された
前記マルチメディア情報を再生できるクライアント端末
とを備え、前記サーバ装置は、マルチメディア情報中の
再生開始可能点を記憶する再生開始可能点記憶部と、前
記クライアント端末から送信される再生制御情報から、
前記再生開始可能点記憶部が記憶する再生開始可能点を
検索し、その結果得られた再生開始可能点を含む多重化
パケットを起点としてマルチメディア情報を送信する送
信する送信制御手段とを備え、前記クライアント端末
は、前記サーバ装置から送信されたマルチメディア情報
を蓄積できる受信バッファを備え、スキップ再生を行う
際に、前記受信バッファの中が蓄積する情報内容に応じ
た前記再生制御情報を発生する再生制御情報生成手段を
備えたことを特徴とする。 【００１１】すなわち、本発明では、クライアント端末
に再生制御情報生成手段を設け、スキップ再生を行う際
に、先ずこの再生制御情報生成手段が、前記受信バッフ
ァの中に、再生所望点および再生所望点を再生するため
に必要なIフレームを含む多重化パケットの位置あるい
はパケット番号が含まれるか否かを判断し、その結果に
応じた再生制御情報を生成する。そして、この再生制御
情報からバッファにこれらの情報が含まれると判断され
た場合は、クライアント端末はサーバからのデータ転送
を行わない。 【００１２】こうすることにより、すでにバッファ内に
蓄積されているマルチメディア情報を再度サーバから取
得するという処理を行わずに済み、余計な伝送データ量
の発生を抑えることができる。 【００１３】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は、本発明の一実施形態にお
けるマルチメディア情報伝送システムの全体構成を示す
ブロック図である。図１において、１はマルチメディア
情報送信サーバ装置、２はマルチメディア情報受信クラ
イアント端末をそれぞれ表し、両者はネットワークを介
して接続されている。以下、マルチメディア情報送信サ
ーバ装置１を「サーバ装置１」、マルチメディア情報受
信クライアント端末２を「クライアント端末２」と略記
する。 【００１４】サーバ装置１は、マルチメディア情報蓄積
部１１、再生可能点管理データベース１２、送信制御処
理部１３、制御情報受信部１４から構成される。一方、
クライアント端末２は、マルチメディア情報受信部２
１、ユーザインタフェース２２、再生制御情報受信部２
３、再生制御情報入力処理部２４、再生制御情報生成部
２５から構成される。図２は、本実施形態で用いられ
る、１つのビデオストリームと１つの音声ストリームを
多重化したマルチメディアストリームの構造の例を示し
ている。図２におけるV1,V2,V3は、ビデオストリームを
フレーム単位で符号化したパケットを、A1,…，A6,…，
A11は音声ストリームをフレーム単位で符号化したパケ
ットを示す。M1,M2,M3は、ビデオストリームと音声スト
リームを多重化した多重化パケットを示す。 【００１５】符号化されたビデオストリームには、フレ
ーム内の情報のみを用いて符号化されたイントラフレー
ム(Ｉフレーム)と、以前符号化されたフレームの情報を
用いて符号化されたフレーム(Ｐフレーム)とが混在して
いる。図２においては、V1がＩフレーム、V2とV3がＰフ
レームであるとする。また、音声フレームは固定時間内
に固定長であるとする。上記のように符号化されたビデ
オストリームを再生する際には、Ｉフレームからの再生
が必須となる。したがって、ストリーム中のＩフレーム
の先頭を再生開始可能点とする。一方、音声ストリーム
はフレーム単独で復号が可能であるため、再生開始可能
点という概念は必要ではない。 【００１６】ここで、受信側の復号処理は多重化パケッ
ト単位に実行されるため、Ｉフレームからの再生という
のは、Ｉフレームを含む多重化パケットを復号し、該当
パケットに含まれるビデオストリームのＩフレームから
再生する、ということを意味している。以下に、図１に
示した構成に基づくサーバ装置１と受信クライアント装
置２の動作を説明する。いま、クライアント端末２のユ
ーザが、サーバ装置１に蓄積されているマルチメディア
ストリームを受信し、再生する方法としてストリーミン
グ再生を考える。 【００１７】なお、ストリーミング再生を選択した場
合、クライアント端末２では、マルチメディアストリー
ム全体を受信する前に再生を開始することができる。そ
のためクライアント端末２は、マルチメディアストリー
ム全体を記憶する必要が発生しないため、記憶領域を小
さくできる。クライアント端末２は、サーバ装置１から
受信したマルチメディアストリームを、マルチメディア
情報受信部２１は、ビデオと音声と制御情報に分離す
る。分離されたビデオ情報と音声情報はユーザインタフ
ェース２２において出力され、分離された制御情報は、
再生制御情報受信部２３に渡される。 【００１８】ここで、再生の際にユーザがユーザインタ
フェース２２においてスキップ再生を指示することを考
える。スキップ再生とは、たとえば、全長が600秒のマ
ルチメディアストリームにおいて先頭から200秒地点を
再生中に「先頭から100秒地点からの再生を希望」する
場合に、再生点を先頭から100秒地点に移動して再生処
理を再開する処理のことを指す。ユーザインタフェース
２２においてスキップ再生が指示されると、その旨が再
生制御入力処理部２４に渡される。「先頭から100秒地
点からの再生を希望」した場合、その100秒地点を再生
所望点とする。再生制御入力処理部２４は、再生所望点
が100秒地点であることを再生制御情報生成部２５へ伝
える。 【００１９】再生制御情報生成部２５では、再生制御入
力処理部２４から伝えられた再生所望点から、再生制御
情報を生成してサーバ装置１に送信する。このとき、再
生所望点の値により、再生制御情報として適切な値を選
択する処理を実行する。図３は再生制御情報の一例であ
る。図３に示すように、スキップ先の情報として「再生
時刻」「パケット番号」「ストリーム位置」のいずれか
を用いることができる。これは、再生制御情報受信部２
３において受信した再生所望点の管理を、再生時刻ある
いはパケット番号あるいはストリーム位置のいずれで行
っても良いことを意味する。「判断手法」は、サーバ装
置１における処理内容を指定するものである。 【００２０】また、図３における「要求情報」である
が、サーバ装置１に対して、再生所望点の「情報」を要
求するのか、再生所望点を指定して「ストリーム」を要
求するのかを示すものである。要求情報の判断手法を以
下に示す。要求情報の「情報」とは、サーバ装置１に対
して再生可能点に関する情報のみを要求するものであ
る。これは、マルチメディア情報受信部２１が備える受
信バッファに、再生所望点が含まれているか否かにより
再生制御情報生成部２５が判断する。 【００２１】再生所望点が受信バッファに含まれている
と再生制御情報生成部２５が判断した場合、要求情報と
して「情報」を選択する。一方、再生所望点が受信バッ
ファに含まれていないと判断した場合、サーバ装置１か
らストリームを取得する必要があるため、要求情報とし
て「データ」を選択する。図３のＡの場合は、サーバ装
置１に対して要求する情報が再生所望点の情報であり、
再生所望点は100秒地点であり、判断手法が「直前」で
あることを示す。また、Ｂの場合は、要求する情報が再
生所望点のデータであり、再生所望点のパケット番号が
1000番、判断手法は「最近」であることを示す。 【００２２】前述したように、ビデオストリームの再生
においては再生可能点、すなわちＩフレームからの再生
が必須となる。しかし、再生所望点が必ずしもＩフレー
ムを指しているとは限らないことから、再生所望点と再
生可能点とは異なる可能性がある。したがって、前記の
判断処理にて「情報」を選択した場合でも、再生可能点
が受信バッファ内に存在しない場合があるが、この場合
の処理については後述する。サーバ装置１の制御情報受
信処理部１３は、受信した前述の再生制御情報を解析す
ることにより、クライアント端末２の制御要求に含まれ
る再生所望点と要求情報と判断手法を検知、その旨を送
信制御処理部１４へ伝える。 【００２３】送信制御処理部１４では、伝えられた再生
制御情報を基に、再生可能点の探索を開始する。図４
に、本実施形態におけるマルチメディアストリームの構
成例を示す。図４では、全長が600秒のストリームにお
いて、再生所望点が100秒地点である場合の、該当地点
付近でどのようにビデオストリームが多重化されている
かを示す。図４の例では、99秒地点と107秒地点のパケ
ット情報に、再生可能点であるＩフレームの先頭が含ま
れるものとする。 【００２４】まず、再生制御情報中の「再生所望点」と
「判断手法」から、再生可能点を検出する。図５に、再
生可能点の検出に用いるマルチメディア再生可能点デー
タベース１２の例を示す。図５では、再生可能点の情報
として、Ｉフレームを含むパケット番号、該当パケット
のストリーム上の位置、該当パケットの再生時刻を含
む。再生可能点の検出処理では、受信した再生所望点が
マルチメディア再生可能点データベースに登録されてい
るかを探索する。探索の結果、登録されていれば、再生
所望点＝再生可能点とする。一方、登録されていないこ
とが判明した場合、判断手法にしたがって再生可能点を
検出する。 【００２５】判断手法が「直前」である場合、再生可能
点は、再生所望点の直前にあるＩフレームを含むパケッ
トとなる。図５の例では、再生所望点が100秒地点であ
る場合、99秒地点を再生可能点と選択することになる。
一方、判断手法が「最近」と指定された場合、再生可能
点は、再生所望点に最も近い地点にあるＩフレームを含
むパケットとなる。図５の例で、再生所望点が105秒で
ある場合、前後の再生可能点を探索し、より近いほうを
再生可能点とするため、再生所望点の直前との違いが6
秒、再生所望点の直後との違いが2秒であるため、107秒
地点を再生開始点と選択することになる。 【００２６】次に、再生制御情報中の「要求情報」に基
づき、クライアント端末２に対してどの情報を送信する
かを決定する。要求情報が「データ」である場合、上述
の処理結果で得られた再生所望点のマルチメディアスト
リームから送信を開始する。一方、要求情報が「情報」
である場合、上述の処理結果で得られた再生所望点に関
する情報(図５に示したマルチメディア再生可能点デー
タベースの情報)を、「再生制御応答情報」としてクラ
イアント端末２に送信する。 【００２７】再生制御情報生成部２５で要求情報を「情
報」と選択した場合、クライアント端末２は、上述の手
順にしたがって送信された「再生制御応答情報」を受信
し、マルチメディア情報受信部２１で分離した上で、再
生制御情報受信部２３に伝える。再生制御情報受信部２
３では、受信した「再生制御応答情報」を基に受信バッ
ファ内データを検索し、該当する再生可能点を含むデー
タが受信バッファ内に含まれているか否かを判断する。 【００２８】判断の結果、受信バッファ内に再生可能点
が含まれている場合は、該当再生点からの再生を開始す
る。一方、判断の結果、受信バッファ内に再生可能点が
含まれてない場合は、再度マルチメディア情報送信サー
バ装置１に対してデータ送信を要求する必要がある。し
たがって、受信バッファ内にデータがなかった旨を再生
制御情報生成部に伝え、再生制御情報生成部は、再生所
望点として上記で受信した再生可能点、要求情報を「デ
ータ」として、再度マルチメディア情報送信サーバ装置
１に対して再生制御情報を送信する。 【００２９】上述したスキップ再生処理動作をフローチ
ャートで表したものが図６である。なお、各ステップ内
で（Ｓ），（Ｃ）で示した記号はそれぞれサーバ装置１
側、クライアント端末２側の動作を意味する。最初に、
ユーザがユーザインタフェース２２においてスキップ再
生を指示する。（ステップ１） ユーザインタフェース２２においてスキップ再生が指示
されると、その旨が再生制御入力処理部２４に渡され
る。再生制御入力処理部２４は、再生所望点を再生制御
情報生成部２５へ伝える。再生制御情報生成部２５で
は、再生制御入力処理部２４から伝えられた再生所望点
から、再生制御情報を生成する。（ステップ２） 次に、マルチメディア情報受信部２１が備える受信バッ
ファに、上記再生所望点が含まれているか否かを再生制
御情報生成部２５が判断する。（ステップ３） 再生所望点が受信バッファに含まれていると再生制御情
報生成部２５が判断した場合、要求情報として「情報」
を選択する。（ステップ４） クライアント端末２が再生制御情報を送信する。（ステ
ップ５） 一方、再生所望点が受信バッファに含まれていないと判
断した場合、サーバ装置１からストリームを取得する必
要があるため、要求情報として「データ」を選択する。
（ステップ１０） サーバ装置１の制御情報受信処理部１３は、受信した前
述の再生制御情報を解析することにより、クライアント
端末２の制御要求に含まれる再生所望点と要求情報と判
断手法を検知、その旨を送信制御処理部１４へ伝える。
送信制御処理部１４では、伝えられた再生制御情報を基
に、再生可能点を探索、検出する。（ステップ６） 図５に示したマルチメディア再生可能点データベースの
情報を、「再生制御応答情報」としてクライアント端末
２に送信する。（ステップ７） クライアント端末２は、「再生制御応答情報」を受信
し、マルチメディア情報受信部２１で分離した上で、再
生制御情報受信部２３に伝える。再生制御情報受信部２
３では、受信した「再生制御応答情報」を基に受信バッ
ファ内データを検索し、該当する再生可能点を含むデー
タが受信バッファ内に含まれているか否かを判断する。
（ステップ８） 判断の結果、受信バッファ内に再生可能点が含まれてい
る場合は、該当再生点からの再生を開始する。（ステッ
プ９） 一方、判断の結果、受信バッファ内に再生可能点が含ま
れてない場合は、サーバ装置１に対してデータ送信を要
求する必要がある。したがって、受信バッファ内にデー
タがなかった旨を再生制御情報生成部に伝え、再生制御
情報生成部は、再生所望点として上記で受信した再生可
能点、要求情報を「データ」として、再度サーバ装置１
に対して再生制御情報を送信する。（ステップ１０、１
１） サーバ装置１では、再生所望点の情報に基き、前述した
手順で再生可能点を検出する。（ステップ１２） そして、前述の処理結果で得られた再生所望点のマルチ
メディアストリームからストリーミング伝送を開始す
る。（ステップ１３） 以上の処理によって、スキップ再生が完了する。 【００３０】このように、本実施形態では、クライアン
トに再生制御情報生成部２５を設け、この再生制御情報
生成部２５が、マルチメディア情報受信部２１の受信バ
ッファの中に、再生所望点および再生所望点を再生する
ために必要なIフレームを含む多重化パケットの位置あ
るいはパケット番号が含まれるか否かを判断する。そし
て、バッファにこれらの情報が含まれると判断された場
合は、サーバからのデータ転送を行わない。 【００３１】つまり、本実施形態では、スキップ再生時
において、クライアント端末２におけるマルチメディア
情報受信部２１の受信バッファ内に再生可能点を含むデ
ータが蓄積されていることを、クライアント側で容易に
知ることができるため、すでにバッファ内に蓄積されて
いるマルチメディア情報を再度サーバから取得するとい
う処理を行わずに済み、余計な伝送データ量の発生を抑
えることができる。 【００３２】 【発明の効果】以上述べたように、本発明のマルチメデ
ィア情報伝送システムによれば、ストリーミング型伝送
における特殊再生を行う際、サーバ装置とクライアント
装置の間で送受信される無駄なデータ量を抑制すること
ができる。

【図面の簡単な説明】 【図１】本発明の一実施形態におけるマルチメディア情
報伝送システムの全体構成を示すブロック図。 【図２】本実施形態で用いられるビデオストリームと音
声ストリームを多重化したマルチメディアストリームの
構造の例を示す図。 【図３】本実施形態で用いられる再生制御情報の一例を
示す図。 【図４】本実施形態におけるマルチメディアストリーム
の構成例を示す図。 【図５】再生可能点の検出に用いるマルチメディア再生
可能点データベース１２の一例を示す図。 【図６】本発明のスキップ再生処理動作を表すフローチ
ャート。 【符号の説明】 １・・・マルチメディア情報送信サーバ装置、 ２・・・マルチメディア情報受信クライアント端末 １１・・・マルチメディア情報蓄積部 １２・・・再生可能点管理データベース １３・・・送信制御処理部 １４・・・制御情報受信部 ２１・・・マルチメディア情報受信部 ２２・・・ユーザインタフェース ２３・・・再生制御情報受信部 ２４・・・再生制御情報入力処理部 ２５・・・再生制御情報生成部

Claims (1)

1. 【特許請求の範囲】 【請求項１】マルチメディア情報を蓄積し、その蓄積さ
   れている情報を送信するサーバ装置と、前記サーバ装置
   から送信された前記マルチメディア情報を再生できるク
   ライアント端末とを備えたマルチメディア情報伝送シス
   テムにおいて、前記サーバ装置は、マルチメディア情報
   中の再生開始可能点を記憶する再生開始可能点記憶部
   と、前記クライアント端末から送信される再生制御情報
   から、前記再生開始可能点記憶部が記憶する再生開始可
   能点を検索し、検索の結果得られた再生開始可能点を含
   む多重化パケットを起点としてマルチメディア情報を送
   信する送信する送信制御手段とを備え、前記クライアン
   ト端末は、前記サーバ装置から送信されたマルチメディ
   ア情報を蓄積できる受信バッファを備え、スキップ再生
   を行う際に、前記受信バッファの中が蓄積する情報内容
   に応じた前記再生制御情報を発生する再生制御情報生成
   手段を備えたことを特徴とするマルチメディア情報伝送
   システム。