JP2006115304A - 異なるメディアデータにおけるパケット多重化フレームのデータ構造、送受信装置及び送受信プログラム - Google Patents

Abstract

【課題】 異なるメディアデータにおけるパケット到着時間のゆらぎと、ヘッダによるオーバヘッドとを改善することができる、パケット多重化フレームのデータ構造と、そのフレームを送受信する送受信装置及び送受信プログラムを提供する。
【解決手段】 異なるメディアデータを多重化して伝送するためのフレームのデータ構造において、ＵＤＰヘッダに続いて、０〜２５５の巡回値であって１byteのシリアル番号部と、０〜２５５のバイト数であって１byteの音声データサイズ部と、該サイズ部に格納された長さの音声データと、映像データとを含むことを特徴とする。
【選択図】 図４

Description

本発明は、異なるメディアデータにおけるパケット多重化フレームのデータ構造、送受信装置及び送受信プログラムに関する。

異なるメディアデータを多重化する送信装置は、同時に並行して発生する複数のメディアデータをメディア毎に符号化し、所定サイズのフレームに構成してネットワークへ送信する。一方、受信装置は、メディア毎に異なるメディアデコーダを用いて、受信したフレーム単位でメディアデータを復号する。メディアデータ毎に、所定サイズをどのように決定するかが、マルチメディアデータの多重化においては重要である。

多重化方式としては、バイト多重がある。バイト多重は、異なるメディアデータを適当なバイト数の単位で切り替えることができる。受信装置は、フレームに付加されたヘッダの内容によって、そのメディアデータに適したデコーダに切り替える。このようなパケット多重は、柔軟性が高く、ソフトウェア処理に適している。

図１は、従来技術によるパケット多重化のための送信装置の機能構成図である。

送信装置１は、映像データ及び音声データをリアルタイムで符号化して送信するものである。送信装置１は、映像信号を出力するカメラ４と、音声信号を出力するマイク５とに接続され、データパケットを送信するためにＩＰネットワーク３に接続されている。

送信装置１は、映像データについて、フォーマット変換部１０１と、映像エンコーダ部１０２と、映像データ用バッファ１０３と、ＲＴＰ(Real-time Transport Protocol)ヘッダ付加部１０４とを有する。また、音声データについて、増幅器１１０と、音声エンコーダ部１０８と、音声データ用バッファ１０７と、ＲＴＰヘッダ付加部１０６とを有する。更に、ＩＰ(Internet Protocol)ネットワーク３に対応してＵＤＰ(User Datagram Protocol)／ＩＰプロトコルスタック部１０５を有する。

カメラ４から出力された映像信号は、フォーマット変換部１０１によって圧縮符号化に適した映像フォーマットに変換され、映像エンコーダ１０２によって圧縮符号化される。その方式は、１フレーム（１画面）を単位として符号化データを生成するものであって、例えばＩＳＯ／ＩＥＣ(International Organization for Standardization／International Electrotechnical Commission) ＭＰＥＧ−４(Moving Picture Experts Group-4)ビジュアルがある。低ビットレートのＭＰＥＧ−４によれば、１フレームは、例えば１００ｍ秒間隔（毎秒１０フレーム）となる。生成されたビットストリームデータは、映像データ用バッファ１０３に入力される。ＲＴＰヘッダ付加部１０４は、バッファ１０３から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。

一方、マイク５から出力された音声信号は、増幅器１１０によって増幅され、Ａ／Ｄ(Analog/Digital)変換部１０９によって伝送可能なビット列に変換される。次に、その音声データは、音声エンコーダ１０８によって圧縮符号化される。その方式は、予め決められた時間長を１フレームとして符号化データを生成するものであって、例えば３ＧＰＰ(3rd Generation Partnership Project) ＡＭＲ(Adaptive Multi Rate)がある。ＡＭＲ方式においては、１フレームは２０ｍ秒となる。生成されたビットストリームは、音声データ用バッファ１０７に入力される。ＲＴＰヘッダ付加部１０６は、バッファ１０７から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。

受信装置２は、データパケットを受信するためにＩＰネットワーク３に接続され、受信したデータパケットのメディアデータに応じて復号するものである。受信装置２は、映像信号を入力するディスプレイ６と、音声信号を入力するスピーカ７とに接続されている。

受信装置２は、ＩＰネットワーク３から受信したパケットに対して、ＩＰ及びＵＤＰヘッダを処理するＵＤＰ／ＩＰプロトコルスタック部２０５を有する。受信装置２は、映像データについて、ＲＴＰヘッダ除去部２０４と、映像デコーダ２０３と、映像データ用バッファ２０２と、ディスプレイ制御部２０１とを有する。映像信号は、ディスプレイ制御部２０１からディスプレイ６に出力される。また、音声データについて、ＲＴＰヘッダ除去部２０６と、音声デコーダ２０７と、音声データ用バッファ２０８と、Ｄ／Ａ変換部２０９と、増幅器２１０とを有する。音声信号は、増幅器２１０からスピーカ７へ出力される。

先行公知文献としては、ＲＴＰについて規定したＩＥＴＦ ＲＦＣ３５５０（非特許文献１参照）、ＭＰＥＧ−４をＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３０１６（非特許文献２参照）、ＡＭＲをＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３２６７（非特許文献３参照）がある。

ＩＥＴＦ(Internet Engineering Task Force) ＲＦＣ(Request For Comment) ３５５０ ＩＥＴＦ ＲＦＣ３０１６ ＩＥＴＦ ＲＦＣ３２６７

表１は、従来技術におけるパケット多重化フレームのデータ構造である。

従来技術によれば、音声データのフレームと、映像データのフレームとは別々に必要となる。これは、フレーム毎に、そのメディアデータに応じたデコーダによって復号させるためである。

前述したような従来技術によれば、生成されるＲＴＰパケットは以下のようになる。ここで、符号化パラメータとして、低い伝送レート（６４ｋbit／秒）における一般的な値を想定する。
映像の符号化ビットレート：３２ｋbit／秒、フレームレート：１０枚／秒
音声の符号化ビットレート：６８００bit／秒、フレーム長：２０m秒
ＲＴＰヘッダサイズ：１２byte
ＵＤＰヘッダ：８byte
ＩＰヘッダ：２０byte

映像データについては、以下のようになる。
映像の符号化ビットレート：３２ｋbit／秒÷８bit ＝ ４ｋbyte／秒
秒当たりの伝送フレーム数：１０フレーム／秒
映像データパケットの伝送間隔：１秒／１０フレーム ＝ １００ｍ秒
フレームレート：４ｋbyte／秒÷１０フレーム／秒 ＝ ４００byte／フレーム
映像の１パケット：４００byte＋１２byte＋８byte＋２０byte ＝ ４４０byte
映像１パケットの伝送時間：４４０byte×８bit÷６４ｋbit／秒 ＝ ５５m秒

音声データについては、以下のようになる。
音声の符号化ビットレート：６８００bit／秒÷８bit ＝ ８５０byte／秒
秒当たりの伝送フレーム数：５０フレーム／秒
音声データパケットの伝送間隔：１秒／５０フレーム ＝ ２０ｍ秒
１フレーム当たりのバイト数：８５０byte／秒×２０ｍ秒 ＝ １７byte／フレーム
音声の１パケット：１７byte＋１２byte＋８byte＋２０byte ＝ ５７byte
音声１パケットの伝送時間：５７byte×８bit÷６４ｋbit／秒 ＝ ７．１２５m秒

音声データパケットは２０ｍ秒間隔で送信され、映像データパケットは１００ｍ秒間隔で送信されるので、音声データパケットの送信の５回に１回の割合で、映像データパケットの送信が割り込むこととなる。

図２は、従来技術におけるフレームの伝送シーケンス図である。

音声データパケットは２０ｍ秒毎に送信され、映像データパケットは１００ｍ秒毎に送信される。音声データパケットは、４０byteのヘッダ（ＩＰ、ＵＤＰ、ＲＴＰ）とデータ部分とからなる。データ部分が１７byteとすると、伝送に７．１２５ｍ秒を要する。映像データパケットは、４０byteのヘッダとデータ部分とからなる。データ部分が４００byteとすると、伝送に５５ｍ秒を要する。

図２によれば、例えば、映像データパケットV1の送信の直後に、音声データパケットA3が送信されたとする。映像データパケットV1は、送信装置から送信されてから５５ｍ秒後に、受信装置に到着する。一方、音声データパケットA3は、更に７．１２５ｍ秒後、即ち送信装置から送信されてから６２．１２５ｍ秒後に、受信装置に到着する。このために、映像データパケットによって割り込まれた音声データパケットは、送信装置の送出間隔２０ｍ秒に対し、受信装置に受信された時は６２ｍ秒後ということになる。その後、音声データパケットA4,A5,A6,A7が連続して、受信装置に到着する。音声データパケットの伝送に要する時間７ｍ秒は、送出間隔２０ｍ秒に比べて十分小さいため、受信装置における到着間隔はやがて元に戻ることとなるが、その後、再度、映像データパケットが音声データパケットの間に割り込むため、到着遅延の変動が生じる。

音声データは、映像データのようなフレーム単位で離散的なデータと異なって、アナログ信号に戻して再生する際に、連続的でなければならない。このため、受信装置は、音声データパケットの最大到着遅延量に合わせて、予めバッファに蓄積してから再生する。このような音声データパケットの遅延変動は、受信側に大きなバッファ蓄積を要求することとなり、伝送遅延全体を増大させるものとなる。

更に、従来技術によれば、ＲＴＰ、ＵＤＰ、ＩＰのヘッダを、映像データパケット及び音声データパケットそれぞれ独立に付加する必要がある。従って、
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋１０映像フレーム）
＝ １９．２ｋbit／秒
ものヘッダによるオーバヘッドを要する。

また、音声データパケットの遅延変動を抑えるために、映像データパケットを分割し、映像データパケットと音声データパケットとを交互に送信するという方法もある。この場合、両パケットが等間隔で送信されるため、音声データパケットの到着時間ゆらぎを回避することは可能となる。しかしながら、この方法によれば、ヘッダによるオーバヘッドは、更に大きくなり、伝送効率が極めて低下する。
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋５０映像フレーム）
＝ ３２ｋbit／秒

このように、従来技術によれば、異なるメディアデータが異なるフレームで伝送され、フレーム毎にＲＴＰヘッダを必要とするために伝送効率が低くなるだけでなく、一方のメディアデータの伝送が、他方のメディアデータの伝送の遅延変動に影響を与えることとなる。

従って、本発明は、異なるメディアデータにおけるパケット到着時間のゆらぎと、ヘッダによるオーバヘッドとを改善することができる、パケット多重化フレームのデータ構造と、そのフレームを送受信する送受信装置及び送受信プログラムを提供することを目的とする。

本発明におけるコンピュータが処理可能なフレームのデータ構造は、ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むことを特徴とする。

また、本発明のデータ構造における他の実施形態によれば、第１のメディアデータは音声データであって、第２のメディアデータは映像データであることも好ましい。

更に、本発明のデータ構造における他の実施形態によれば、シリアル番号部は１byteの０〜２５５の巡回値であって、第１のメディアデータサイズ部は１byteの０〜２５５のバイト数であることも好ましい。

本発明における送信装置は、前述したデータ構造を有するフレームを送信するものであって、
多重化手段を有し、該多重化手段は、
シリアル番号を送出する加算手段と、
送信すべき第１のメディアデータを一時的に蓄積する第１のメモリと、
送信すべき第２のメディアデータを一時的に蓄積する第２のメモリと、
加算手段から出力されたシリアル番号を、フレームのシリアル番号部に含め、次に、第１のメモリから出力された第１のメディアデータサイズを、フレームの第１のメディアデータサイズ部に含め、次に、第１のメモリから出力された、第１のメディアデータサイズ部に格納された長さの第１のメディアデータを含め、次に、第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
を含むことを特徴とする。

また、本発明の送信装置における他の実施形態によれば、
第１のメディアデータを符号化し、該符号化された第１のメディアデータを多重化手段に入力する第１のエンコーダと、
第２のメディアデータを符号化し、該符号化された第２のメディアデータを多重化手段に入力する第２のエンコーダとを有し、
多重化手段の多重パケット生成手段は、フレームを、第１のエンコーダの符号化方式に必要な送出タイミングで生成することも好ましい。

更に、本発明の送信装置における他の実施形態によれば、
生成されたフレームに、ＵＤＰヘッダ及びＩＰヘッダを更に付加してＩＰネットワークへ送信するＵＤＰ／ＩＰプロトコルスタック手段を更に有することも好ましい。

本発明における受信装置は、前述したデータ構造を有するフレームを受信するものであって、
受信されたフレームのＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離する分離手段と、
分離されたシリアル番号が巡回していることを確認する加算確認手段と
を有することを特徴とする。

また、本発明の受信装置における他の実施形態によれば、
受信されたフレームから、ＵＤＰヘッダ及びＩＰヘッダを除去して分離手段に入力するＵＤＰ／ＩＰプロトコルスタック部と、
分離手段から送出された第１のメディアデータを復号する第１のデコーダと、
分離手段から送出された第２のメディアデータを復号する第２のデコーダとを更に有することも好ましい。

本発明における送信プログラムは、前述したデータ構造を有するフレームを送信するものであって、
多重化手段を有し、該多重化手段は、
シリアル番号を送出する加算手段と、
送信すべき第１のメディアデータを一時的に蓄積する第１のメモリと、
送信すべき第２のメディアデータを一時的に蓄積する第２のメモリと、
加算手段から出力されたシリアル番号を、フレームのシリアル番号部に含め、次に、第１のメモリから出力された第１のメディアデータサイズを、フレームの第１のメディアデータサイズ部に含め、次に、第１のメモリから出力された、第１のメディアデータサイズ部に格納された長さの第１のメディアデータを含め、次に、第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
を含むようにコンピュータを機能させることを特徴とする。

また、本発明の送信プログラムにおける他の実施形態によれば、
第１のメディアデータを符号化し、該符号化された第１のメディアデータを多重化手段に入力する第１のエンコーダと、
第２のメディアデータを符号化し、該符号化された第２のメディアデータを多重化手段に入力する第２のエンコーダとを有し、
多重化手段の多重パケット生成手段は、フレームを、第１のエンコーダの符号化方式に必要な送出タイミングで生成するように機能させることも好ましい。

更に、本発明の送信プログラムにおける他の実施形態によれば、
生成されたフレームに、ＵＤＰヘッダ及びＩＰヘッダを更に付加してＩＰネットワークへ送信するＵＤＰ／ＩＰプロトコルスタック手段を更に有するようにコンピュータを機能させることも好ましい。

本発明における受信プログラムは、前述したデータ構造を有するフレームを受信するものであって、
受信されたフレームのＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離する分離手段と、
分離されたシリアル番号が巡回していることを確認する加算確認手段と
してコンピュータを機能させることを特徴とする。

また、本発明の受信プログラムにおける他の実施形態によれば、
受信されたフレームから、ＵＤＰヘッダ及びＩＰヘッダを除去して分離手段に入力するＵＤＰ／ＩＰプロトコルスタック手段と、
分離手段から送出された第１のメディアデータを復号する第１のデコーダと、
分離手段から送出された第２のメディアデータを復号する第２のデコーダと
して更にコンピュータを機能させることも好ましい。

本発明によれば、映像データ及び音声データは、同じタイミングでバッファから抜き取られ、１つのフレームに多重化されて伝送される。これにより、映像データ及び音声データの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。

また、パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズをかなり軽減することができ、伝送効率を高めることができる。

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。

表２は、本発明におけるパケット多重化フレームのデータ構造である。

表２によれば、本発明におけるフレームのデータ構造は、ＵＤＰヘッダに続いて、１byteのシリアル番号部と、１byteの音声データサイズ部と、そのサイズ部に格納された長さの音声データと、映像データとを含む。従って、表１と比較して、ＲＴＰヘッダを必要としない。シリアル番号部は、符号なし整数であって、０〜２５５の巡回値となる。音声データサイズ部は１byteであるので、必然的に音声データのサイズは０〜２５５byteとなる。

図３は、本発明におけるパケット多重化フレームのメディア分割構成図である。

図３の上段には、映像データを等サイズに分割し、パケット多重化フレームを構成したものである。常に、所定のバイト数の位置で映像データを分割することができるので、実装が容易となる。しかしながら、フレームの間を意識することなく、等サイズに分割するために、フレームに跨って分割される場合がある。この場合、映像フレームに跨った映像データを含むパケットを損失すると、２つの（前後の）フレーム対して影響を及ぼす。

図３の下段には、ＭＰＥＧ４で規定された再同期のためのResyncマーカが映像フレームに挿入されたものが表されている。Resyncマーカとは、特定パターンのビット列であって、それをストリーム中に挿入し可変長符号語の切れ目を示す。エラー発生時にそのResyncマーカから復号を再開することにより、ストリームの途中からの再生が可能となる。Resyncマーカは、符号化時に、マクロブロック境界に挿入される。このResyncマーカを実質的に等サイズ間に挿入し、このResyncマーカ間を１つの映像データとして多重化フレームに含めることにより、映像フレームに跨って映像データが分割されることがなくなる。即ち、１つの多重化フレームの損失が、２つの映像フレームに影響を及ぼすことがなくなる。

図４は、本発明における送信装置の機能構成図である。以下では、送信装置の機能について説明するが、各機能はプログラムによっても実装でき、そのプログラムをコンピュータが実行することによって各機能が実現される。

図４によれば、送信装置１は、図１のＲＴＰヘッダ付加部１０４及び１０６に代わって、多重化部１１１を備えている。多重化部１１１は、多重パケット生成部１１１と、映像データを一時的に蓄積するメモリ１１１２と、音声データを一時的に蓄積するメモリ１１１３と、シリアル番号を生成する加算器１１１４と、遅延回路１１１５とを有する。ここで、音声データ用メモリ１１１２は、音声データサイズ（書き込みポインタと読み出しポインタとの差分）を、０〜２５５byteで表して出力することができる。

音声データがメモリ１１３に蓄積され及び／又は映像データがメモリ１１２に蓄積された際、多重パケット生成部１１１は、４入力１出力のスイッチで、シリアル番号、音声データサイズ、音声データ、映像データの順に切り替えて、その１巡によって、表２に表した１つのフレームを構成する。シリアル番号は、遅延回路１１５を通じて加算器１１１４に入力され、１増分（１加算）されて、新たなシリアル番号となる。

本発明によれば、映像データ及び音声データは、同じタイミングでバッファ１０３及び１０７から抜き取られ、シェーピングされて１つのフレームに多重化される。これにより、映像データと音声データとの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。

また、多重パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズを軽減することができる。

例えば、パケット送出間隔を２０ｍ秒とした場合、
（２byte＋８byte＋２０byte） × ８bit × ５０ ＝ １２ｋbit／秒
のオーバヘッドとなる。

即ち、従来技術によれば３２ｋbit／秒であることを考慮すると、本発明によれば２０ｋbit／秒ものオーバヘッドを削減することができる。ここで削減されたオーバヘッドのbit数は、映像データ又は音声データの符号化ビットレートに割り当てることができ、符号化品質を向上させることもできる。

図５は、本発明におけるフレームの伝送シーケンス図である。以下では、受信装置の機能について説明するが、各機能はプログラムによっても実現できる。

図５は、従来技術である図２のＳ２００の部分を表している。２０ｍ秒毎に送信する音声データパケットの送信タイミングで、且つ、図２の映像データパケットよりも短い長さの映像データパケットを送信する。図５によれば、１７byteの音声データと８０byteの映像データとからなるフレームは、１５．８ｍ秒で受信装置によって受信される。即ち、映像データV1（４００byte）の受信終了タイミングは、音声データA1〜A4（１７byte×４個）の受信終了のタイミングと一致する。

例えば、ＡＭＲ方式の音声データサイズは、パケット送出間隔が２０ｍ秒である場合、以下のようなバイト数になる。ここでは、代表的な３モードについて列記する。
４．７５ｋbit／秒モード： １４byte
※６．７０ｋbit／秒モード： １９byte
１２．２ｋbit／秒モード： ３３byte

映像データサイズは、単純に「ビットレート×時間」で表される。１パケットが２０ｍ秒間隔の場合、以下のようなバイト数となる。
３２ｋbit／秒： ３２ｋbit／８bit × ２０ｍ秒 ＝ ８０byte

ＡＭＲが６．７０ｋbit／秒モードの場合、多重化フレームは、シリアル番号１byte、音声データサイズ１byte、音声データ１９byte及び映像データ８０byteからなる合計１０１byteを要する。

図６は、本発明における受信装置の機能構成図である。

図６によれば、受信装置２は、図１のＲＴＰヘッダ除去部２０４及び２０６に代わって、分離部２１１を備えている。分離部２１１は、パケット分離部２１１１と、加算確認部２１１２とを有する。ＵＤＰ／ＩＰプロトコルスタック部２０５によってＵＤＰ／ＩＰヘッダが除去されたフレームについて、分離部２１１は、シリアル番号部と、音声データデータサイズ部と、そのサイズ部に格納された長さの音声データと、映像データとに分離する。加算確認手段は、分離されたシリアル番号が巡回していることを確認する。分離部２１１から送出された音声データは、音声デコーダ２０７によって復号され、映像データは、映像デコーダ２０３によって復号される。

前述した本発明におけるパケット多重化フレームのデータ構造、送受信装置及び送受信プログラムの種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

従来技術によるパケット多重化のための送信装置の機能構成図である。 従来技術におけるフレームの伝送シーケンス図である。 本発明におけるパケット多重化フレームのメディア分割構成図である。 本発明における送信装置の機能構成図である。 本発明におけるフレームの伝送シーケンス図である。 本発明における受信装置の機能構成図である。

符号の説明

１ 送信装置
１０１ フォーマット変換部
１０２ 映像エンコーダ部
１０３ 映像データ用バッファ
１０４、１０６ ＲＴＰヘッダ付加部
１０５ ＵＤＰ／ＩＰプロトコルスタック部
１０７ 音声データ用バッファ
１０８ 音声エンコーダ部
１０９ Ａ／Ｄ変換部
１１０ 増幅器
１１１ 多重化部
１１１１ 多重パケット生成部
１１１２ 映像データ用メモリ
１１１３ 音声データ用メモリ
１１１４ 加算器
１１１５ 遅延回路
２ 受信装置
２０１ ディスプレイ制御部
２０２ 映像データ用バッファ
２０３ 映像デコーダ
２０４、２０６ ＲＴＰヘッダ除去部
２０５ ＵＤＰ／ＩＰプロトコルスタック部
２０７ 音声デコーダ
２０８ 音声データ用バッファ
２０９ Ｄ／Ａ変換部
２１０ 増幅器
２１１ 分離部
２１１１ パケット分離部
２１１２ 加算確認部
３ ＩＰネットワーク
４ カメラ
５ マイク
６ ディスプレイ
７ スピーカ

Claims (13)

1. 異なるメディアデータにおけるパケット多重化フレームのデータ構造であって、
   ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むことを特徴とするコンピュータが処理可能なデータ構造。
2. 前記第１のメディアデータは音声データであって、前記第２のメディアデータは映像データであることを特徴とする請求項１に記載のデータ構造。
3. 前記シリアル番号部は１byteの０〜２５５の巡回値であって、前記第１のメディアデータサイズ部は１byteの０〜２５５のバイト数であることを特徴とする請求項１又は２に記載のデータ構造。
4. 請求項１から３のいずれか１項に記載のデータ構造を有するフレームを送信する送信装置であって、
   多重化手段を有し、該多重化手段は、
   前記シリアル番号を出力する加算手段と、
   送信すべき第１のメディアデータを一時的に蓄積する第１のメモリと、
   送信すべき第２のメディアデータを一時的に蓄積する第２のメモリと、
   前記加算手段から出力された前記シリアル番号を、前記フレームの前記シリアル番号部に含め、次に、前記第１のメモリから出力された第１のメディアデータサイズを、前記フレームの前記第１のメディアデータサイズ部に含め、次に、前記第１のメモリから出力された、前記第１のメディアデータサイズ部に格納された長さの前記第１のメディアデータを含め、次に、前記第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
   を含むことを特徴とする送信装置。
5. 第１のメディアデータを符号化し、該符号化された第１のメディアデータを前記多重化手段に入力する第１のエンコーダと、
   第２のメディアデータを符号化し、該符号化された第２のメディアデータを前記多重化手段に入力する第２のエンコーダとを有し、
   前記多重化手段の前記多重パケット生成手段は、前記パケット多重化フレームを、前記第１のエンコーダの符号化方式に必要な送出タイミングで生成することを特徴とする請求項４に記載の送信装置。
6. 生成された前記パケット多重化フレームに、ＵＤＰヘッダ及びＩＰヘッダを更に付加してＩＰネットワークへ送信するＵＤＰ／ＩＰプロトコルスタック手段を更に有することを特徴とする請求項４又は５に記載の送信装置。
7. 請求項１から３のいずれか１項に記載のデータ構造を有するフレームを受信する受信装置であって、
   受信された前記フレームのＵＤＰヘッダに続いて、前記シリアル番号部と、前記第１のメディアデータサイズ部と、該サイズ部に格納された長さの前記第１のメディアデータと、前記第２のメディアデータとに分離する分離手段と、
   分離された前記シリアル番号が巡回していることを確認する加算確認手段と
   を有することを特徴とする受信装置。
8. 受信された前記フレームから、ＵＤＰヘッダ及びＩＰヘッダを除去して前記分離手段に入力するＵＤＰ／ＩＰプロトコルスタック部と、
   前記分離手段から送出された前記第１のメディアデータを復号する第１のデコーダと、
   前記分離手段から送出された前記第２のメディアデータを復号する第２のデコーダとを更に有することを特徴とする請求項７に記載の受信装置。
9. 請求項１から３のいずれか１項に記載のデータ構造を有するフレームを送信する送信プログラムであって、
   多重化手段を有し、該多重化手段は、
   前記シリアル番号を送出する加算手段と、
   送信すべき第１のメディアデータを一時的に蓄積する第１のメモリと、
   送信すべき第２のメディアデータを一時的に蓄積する第２のメモリと、
   前記加算手段から出力された前記シリアル番号を、前記フレームの前記シリアル番号部に含め、次に、前記第１のメモリから出力された第１のメディアデータサイズを、前記フレームの前記第１のメディアデータサイズ部に含め、次に、前記第１のメモリから出力された、前記第１のメディアデータサイズ部に格納された長さの前記第１のメディアデータを含め、次に、前記第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
   を含むようにコンピュータを機能させることを特徴とする送信プログラム。
10. 第１のメディアデータを符号化し、該符号化された第１のメディアデータを前記多重化手段に入力する第１のエンコーダと、
    第２のメディアデータを符号化し、該符号化された第２のメディアデータを前記多重化手段に入力する第２のエンコーダとを有し、
    前記多重化手段の前記多重パケット生成手段は、前記フレームを、前記第１のエンコーダの符号化方式に必要な送出タイミングで生成するようにコンピュータを機能させることを特徴とする請求項９に記載の送信プログラム。
11. 生成された前記フレームに、ＵＤＰヘッダ及びＩＰヘッダを更に付加してＩＰネットワークへ送信するＵＤＰ／ＩＰプロトコルスタック手段を更に有するようにコンピュータを機能させることを特徴とする請求項９又は１０に記載の送信プログラム。
12. 請求項１から３のいずれか１項に記載のデータ構造を有するフレームを受信する受信プログラムであって、
    受信された前記フレームのＵＤＰヘッダに続いて、前記シリアル番号部と、前記第１のメディアデータサイズ部と、該サイズ部に格納された長さの前記第１のメディアデータと、前記第２のメディアデータとに分離する分離手段と、
    分離された前記シリアル番号が巡回していることを確認する加算確認手段と
    してコンピュータを機能させることを特徴とする受信プログラム。
13. 受信されたフレームから、ＵＤＰヘッダ及びＩＰヘッダを除去して前記分離手段に入力するＵＤＰ／ＩＰプロトコルスタック手段と、
    前記分離手段から送出された前記第１のメディアデータを復号する第１のデコーダと、
    前記分離手段から送出された前記第２のメディアデータを復号する第２のデコーダと
    して更にコンピュータを機能させることを特徴とする請求項１２に記載の受信プログラム。

Images