JP2009060553A

JP2009060553A - Ｍｐｅｇデータの送受信方法

Info

Publication number: JP2009060553A
Application number: JP2007228463A
Authority: JP
Inventors: Masahiko Kudo; 雅彦工藤; Shigeru Kashiwagi; 繁柏木
Original assignee: Meidensha Corp; Meidensha Electric Manufacturing Co Ltd
Current assignee: Meidensha Corp; Meidensha Electric Manufacturing Co Ltd
Priority date: 2007-09-04
Filing date: 2007-09-04
Publication date: 2009-03-19

Abstract

【課題】ＭＰＥＧデータに対するサーバ側の間引き処理およびクライアント側の受信処理を簡易にして、データ欠落にも再生画像への影響を軽減できる。
【解決手段】サーバは、ＭＰＥＧデータのＩピクチャから次のＩピクチャの直前のデータまでを１つのグループとしてまとめるグルーピング処理を行い（Ｓ２）、各グループ単位で間引き処理し（Ｓ３）、これをバッファリングして送信する（Ｓ４、Ｓ５）。
クライアントは、ＭＰＥＧデータのＩピクチャを受信したときに該Ｉピクチャを受信データバッファに格納し、かつ該Ｉピクチャに続くＢピクチャおよびＰピクチャが受信される場合にそれらを受信データバッファに格納し、これらピクチャを再生する。
【選択図】図１

Description

本発明は、端末からのＭＰＥＧデータをサーバが受信してクライアントに配信するネットワークシステムに係り、特にＭＰＥＧデータの間引きや伝送データ欠落に対応した送受信方法に関する。

この種のネットワークシステムの例を図５に示す。複数の端末Ｔ１〜Ｔ４、サーバＳ、及び、複数のクライアントＣ１〜Ｃ４で構成されるネットワーク網において、端末からの、ＭＰＥＧデータをパケット化して伝送回線に載せ、このパケット群をサーバＳが順次受信し、少なくとも１つのクライアントに配信する。

ここで、端末とサーバ間、サーバとクライアント間のネットワーク帯域は様々で、介在する回線や中継機器の伝送速度による制限、及び、端末やクライアントのデータ帯域制限により、例えば、高帯域（１Ｇｂｐｓ〜１００Ｍｂｐｓ）から低帯域（３２ｋｂｐｓ〜１２８ｋｂｐｓ）までのデータが混在する。

例えば、図６に示すように、端末Ｔ→サーバＳの経路では高帯域回線（１００Ｍｂｐｓ）でデータを伝送し、サーバＳ→クライアントＣ１の経路では低帯域回線（６４Ｋｂｐｓ）でデータを伝送し、サーバＳ→クライアントＣ２の経路では高帯域回線でデータを伝送する。

このようなネットワークシステムにおいて、端末ＴとサーバＳ間およびサーバＳとクライアントＣ２間では帯域が同等であるため、端末ＴからのＭＰＥＧデータは過不足なくクライアントＣ２に送信することができる。一方、サーバＳとクライアントＣ１間では低帯域であるため、サーバＳが受信したＭＰＥＧデータをクライアントＣ１へそのまま送信すると、サーバＳの送信バッファでオーバフローをすることになる。したがって、サーバＳでは受信したＭＰＥＧデータを間引きして送信する仕組みが必要となる。

サーバＳ内の送信バッファにバッファリングされるＭＰＥＧ画像データ列は、「Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ，…」のようになる。ここで、Ｉピクチャはフレーム内データのみで圧縮したもの（ＪＰＥＧデータに相当）、Ｐピクチャは時間的に前のＩもしくはＰからの変化分（差分データ）、Ｂピクチャは前後両方の再生画像からの予測したもの（差分データ）である。

このＭＰＥＧデータから、無作為に間引きすると、Ｉピクチャ（ＪＰＥＧ相当）がなくなり、Ｐピクチャ、Ｂピクチャのみの差分データで構成されたデータ列を送信する可能性が生じ、このデータ列を受信したクライアントでは乱れた画像表示になる。

ＭＰＥＧ画像の間引き方法として、画像間予測の参照画像とならない画像の符号列（Ｂピクチャの符号列）の間引き率を制御することにより、再生画像の動きのスムーズさが損なわれるのを最小限に抑え、符号転送レートを少なくするものがある（例えば、特許文献１参照）。
特開２００１−２６８５７４号公報

特許文献１のように、Ｂピクチャの間引き率を制御する方法では、間引き率が高くなるほど、ＭＰＥＧ画像の動きへの影響が大きくなる。また、動画像の動きアクティビティ情報を分離するなど、複雑な画像処理を必要とする。

また、ネットワーク伝送において、データ欠落が発生した場合、無作為に間引きしたのと同じに、画像が乱れてしまう。

本発明の目的は、サーバ側の間引き処理およびクライアント側の受信処理を簡易にして、データ欠落にも再生画像への影響を軽減できるＭＰＥＧデータの送受信方法を提供することにある。

本発明は、前記の課題を解決するため、以下の方法を特徴とする。

（１）サーバが受信する高帯域のＭＰＥＧデータを間引き処理し、このＭＰＥＧデータを低帯域で受信するクライアントで再生するＭＰＥＧデータの送受信方法であって、
前記サーバは、ＭＰＥＧデータのＩピクチャから次のＩピクチャの直前のデータまでを１つのグループとしてまとめるグルーピング処理を行い、各グループ単位で間引き処理して送信する手順を有し、
前記クライアントは、前記サーバから間引き処理したＭＰＥＧデータを受信して再生することを特徴とする。

（２）サーバが受信する高帯域のＭＰＥＧデータを間引き処理し、このＭＰＥＧデータを低帯域で受信するクライアントで再生するＭＰＥＧデータの送受信方法であって、
前記クライアントは、前記サーバから間引き処理したＭＰＥＧデータのＩピクチャを受信したときに該Ｉピクチャを受信データバッファに格納し、かつ該Ｉピクチャに続くＢピクチャおよびＰピクチャが受信される場合にそれらを前記受信データバッファに格納し、前記受信データバッファに格納されたピクチャを再生する手順を有することを特徴とする。

（３）サーバが受信するＭＰＥＧデータをクライアントに送信し、このＭＰＥＧデータをクライアントで受信して再生するＭＰＥＧデータの送受信方法であって、
前記クライアントは、前記サーバから受信したＭＰＥＧデータのＩピクチャを受信したときに該Ｉピクチャを受信データバッファに格納し、かつ該Ｉピクチャに続くＢピクチャおよびＰピクチャが受信される場合にそれらを前記受信データバッファに格納し、前記受信データバッファに格納されたピクチャを再生する手順を有することを特徴とする。

本発明によれば、サーバ側は、ＭＰＥＧデータをグループ単位で間引き処理してクライアントに送信するため、グループ単位の間引き処理という簡易な処理で済み、しかもＪＰＥＧ相当のＩピクチャの欠落がないため、クライアントでの再生画像への影響を軽減できる。

また、本発明によれば、クライアント側は、Ｉピクチャを受信データバッファに格納し、かつ該Ｉピクチャに続くＢピクチャおよびＰピクチャが受信される場合にそれらを受信データバッファに順次格納して再生するため、Ｉピクチャが欠落しない限り、最小限のＩピクチャ（ＪＰＥＧ相当）の再生ができる。また、クライアント側の受信処理は欠落ピクチャから次のＩピクチャの直前のピクチャまでの削除が自動的になされ、しかもＪＰＥＧ相当のＩピクチャの欠落がないため、再生画像への影響を軽減できる。

（実施形態１）
図１は、サーバによる送信処理フローチャートであり、この送信における間引き処理はサーバを構成するコンピュータ資源とこれを利用したソフトウェア構成で実現される。

サーバは、端末からＭＰＥＧデータのパケットを受信したときに、これを復号してクライアント別に受信バッファに順次保存する受信バッファリング処理を行う（Ｓ１）。

次に、受信バッファリング処理とは非同期で、受信バッファに保存されたＭＰＥＧデータをグルーピングする（Ｓ２）。このグルーピング処理は、Ｉピクチャから次のＩピクチャの直前のデータまでを１つのグループとしてまとめる。

次に、グループ単位の間引きを行う（Ｓ３）。この間引き処理は、グループ単位を間引き対象とし、伝送回線の帯域幅に応じて間引くグループ数を決定し、伝送帯域が低くなるほど間引きグループ数を多くする。

グループ単位で間引きされたＭＰＥＧデータを送信バッファに順次保存する送信バッファリング処理を行う（Ｓ４）。送信バッファに保存されたＭＰＥＧデータを符号化して宛先クライアントに送信処理する（Ｓ５）。

上記の処理Ｓ２、Ｓ３の具体的な処理例を図２に示す。グルーピング処理（Ｓ２）は、Ｉピクチャから次のＩピクチャの直前のデータまでを１つのグループとしてまとめるため、先頭データがＩピクチャになるグループ１〜１１のようにまとめられる。グループ間引き処理（Ｓ３）は、３グループ中から２グループを間引く場合を示し、間引き結果はグループ１，グループ４，グループ７，グループ１０，…のような送信データ列になる。

以上のとおり、本実施形態によれば、ＭＰＥＧデータの間引き処理には、Ｉピクチャから次のＩピクチャの直前のデータまでを１つのグループとしてまとめるグルーピング処理と、そのグループ単位の間引き処理という簡易な処理で済み、しかもＪＰＥＧ相当のＩピクチャの欠落がないため、クライアントでの再生画像への影響を軽減できる。

（実施形態２）
図３は、クライアントによるＭＰＥＧデータの受信処理フローチャートであり、この受信処理はクライアントを構成するコンピュータ資源とこれを利用したソフトウェア構成で実現される。

クライアントは、サーバから伝送されてきたＭＰＥＧデータのパケットを受信し、これを復号して順次取り込む（Ｓ１１）。この受信はピクチャ単位（Ｉ、Ｐ、Ｂ）で行う。

次に、受信したピクチャがＩピクチャか否かをチェックする（Ｓ１２）。Ｉピクチャでなければ次のピクチャの受信処理に戻る（Ｓ１１）。

受信ピクチャがＩピクチャのとき、このピクチャを受信データバッファに格納し（Ｓ１３）、このピクチャに続く次のピクチャを取り込み（Ｓ１４）、このピクチャが前回のピクチャの続きか否かをチェックする（Ｓ１５）。このチェックで前回のピクチャの続きでない場合は次のピクチャの受信処理に戻る（Ｓ１１）。続きのピクチャの場合は当該ピクチャを受信データバッファに格納する（Ｓ１３）。

処理Ｓ１５におけるチェックは、ＭＰＥＧデータのヘッダ情報にもつシーケンス番号で行い、グループのピクチャの欠落はシーケンス番号が連続しているか否かで判断することができる。

したがって、受信データバッファには、図４にバッファリングの例を示すように、Ｉピクチャから次のＩピクチャの直前のピクチャまでが順次格納され、グループにデータ欠落がある場合（サーバ側での間引きや伝送路でのデータ欠落が発生した場合）には受信データバッファリングを中断して次のＩピクチャ受信に戻り、データ欠落ピクチャから次のＩピクチャの直前のピクチャまでは削除した受信データを得ることができる。

受信データバッファに格納されたＭＰＥＧデータは、それらを連続させた画像として再生処理する（Ｓ１６）。

以上のとおり、本実施形態によれば、受信したＭＰＥＧデータがサーバによりグループ単位で間引き処理されたもの、または無作為に間引き処理されたもの、もしくは伝送路でデータ欠落した場合には、Ｉピクチャが欠落しない限り、最小限のＩピクチャ（ＪＰＥＧ相当）の再生ができる。また、この受信処理は欠落ピクチャから次のＩピクチャの直前のピクチャまでの削除が自動的になされ、しかもＪＰＥＧ相当のＩピクチャの欠落がないため、再生画像への影響を軽減できる。

本発明の実施形態１を示すサーバの送信処理フローチャート。グループ単位に間引いた例。本発明の実施形態２を示すクライアントの受信処理フローチャート。受信データのバッファリングの例。ネットワークシステムの例。高帯域と低帯域データの送受信の例。

符号の説明

Ｓサーバ
Ｔ、Ｔ１〜Ｔ４端末
Ｃ１〜Ｃ４クライアント

Claims

サーバが受信する高帯域のＭＰＥＧデータを間引き処理し、このＭＰＥＧデータを低帯域で受信するクライアントで再生するＭＰＥＧデータの送受信方法であって、
前記サーバは、ＭＰＥＧデータのＩピクチャから次のＩピクチャの直前のデータまでを１つのグループとしてまとめるグルーピング処理を行い、各グループ単位で間引き処理して送信する手順を有し、
前記クライアントは、前記サーバから間引き処理したＭＰＥＧデータを受信して再生することを特徴とするＭＰＥＧデータの送受信方法。
サーバが受信する高帯域のＭＰＥＧデータを間引き処理し、このＭＰＥＧデータを低帯域で受信するクライアントで再生するＭＰＥＧデータの送受信方法であって、
前記クライアントは、前記サーバから間引き処理したＭＰＥＧデータのＩピクチャを受信したときに該Ｉピクチャを受信データバッファに格納し、かつ該Ｉピクチャに続くＢピクチャおよびＰピクチャが受信される場合にそれらを前記受信データバッファに格納し、前記受信データバッファに格納されたピクチャを再生する手順を有することを特徴とするＭＰＥＧデータの送受信方法。
サーバが受信するＭＰＥＧデータをクライアントに送信し、このＭＰＥＧデータをクライアントで受信して再生するＭＰＥＧデータの送受信方法であって、
前記クライアントは、前記サーバから受信したＭＰＥＧデータのＩピクチャを受信したときに該Ｉピクチャを受信データバッファに格納し、かつ該Ｉピクチャに続くＢピクチャおよびＰピクチャが受信される場合にそれらを前記受信データバッファに格納し、前記受信データバッファに格納されたピクチャを再生する手順を有することを特徴とするＭＰＥＧデータの送受信方法。