JP2009284500A - 画像伝送装置 - Google Patents

Abstract

【課題】画像伝送装置において、一時的な伝送路の障害に対しても画像符号化データを最適な状態で伝送可能とする。
【解決手段】プロトコル制御部１３２は、設定されている要求間隔に従ってパケットデータを要求する複数のタイマー処理部１３９、および伝送路の破棄率情報と上記要求間隔に加算する遅延時間との関係を示すテーブルを記憶したメモリを有し、上記複数のタイマー処理部の各々は、それぞれの画像受信部からのパケットデータの送信要求があると、上記テーブルから上記画像受信部から送られてくる破棄率情報に対応する遅延時間を求めて、該遅延時間を上記要求間隔に加算し、加算された要求間隔の経過後に上記パケット処理部１３７を介してバッファ１３３からパケットデータを読み出し、上記要求のあったそれぞれの上記伝送路に伝送する。
【選択図】図２

Description

本発明は、画像伝送方法および伝送装置に関し、特に、動画像を圧縮してネットワークに動画像を伝送する動画像伝送方法および伝送装置に関するものである。

遠隔画像監視システムあるいは画像配信システムでは、公衆回線やインターネットに代表されるように、ＩＰ（Internet Protocol）ネットワークを伝導路とした動画像伝送装置のニーズが急速に拡大している。例えば、従来、MPEG-4（Moving Picture Experts Group Phase 4）における画像のストリームデータ（圧縮データで構成されている。）の配信では、画像伝送部において、送るべき画像データをMPEG-4により、符号化変換を行い、符号化変換された画像データをストリームデータとして画像伝送部の記憶部に一旦格納される。この画像データとしては、静止画、動画、CG（ Computer Graphics）、アニメーション等の画像であり、また、音声、オーディオ、合成音楽等も含まれる。これらの画像データは、ネットワークからの要求により、記憶部から配信される。

このような画像データ、特に、動画像を配信するためには、デジタル化して伝送する必要があるが、デジタル化した場合、その情報量は膨大となるため、その情報の伝送容量を減少させるために動画像の圧縮技術が必要になる。ここで、従来から良く知られている動画像の圧縮方式としてＭＰＥＧ−２あるいはＭＰＥＧ−４等の圧縮の世界標準方式が使用される。

ここで、ＭＰＥＧ方式の画像圧縮技術について説明する。ＭＰＥＧ−２やＭＰＥＧ−４の画像圧縮データ、即ち、ストリームデータは、Intra Picture（以下、Iピクチャと称する）、Predictive Picture（以下、Ｐピクチャと称する）およびBiderectionally Predictive Picture（以下、Ｂピクチャと称する）の３種類のデータから構成されて、ピクチャ毎に３つの異なる符号化モードで圧縮されている。I ピクチャとは、アナログ映像の１フレーム分全ての画像データをそのフレーム内で符号化変換されたデータである。従って、画像受信部では、この ピクチャを受信した場合、１つの Ｉ ピクチャだけで画像を再生することができる。Ｐ ピクチャとは、前の画像データ（Ｉ ピクチャまたはＰ ピクチャ）から一方向のフレーム間予測を行い、差分のデータのみ符号化したものである。従って、画像受信部では、受信した Ｐ ピクチャだけでは画像を再生することができず、元になる Ｉ ピクチャがなければ画像を再生できない。更に、途中の Ｐピクチャがなければ、誤った画像、例えば、プロック歪等が発生した画像となる。Ｂピクチャとは、前の画像データと次の画像データの2つの画像データから二方向のフレーム間予測を行い差分データのみ符号化したものである。このＢピクチャは、Ｐピクチャと同様にＢピクチャだけでは元の画像を再生できない。ＰピクチャおよびＢピクチャは、前後のピクチャとの時間軸方向の冗長度を削減しているため、圧縮データ量を少なくできるが、それだけでは元の画像を再生できない。なお、一般的なＭＰＥＧ−２の各ピクチャの組合せの一例を次に示す。（Ｉ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｐ）（Ｂ）（Ｂ）（Ｉ）（Ｂ）（Ｂ）（Ｐ）・・・・・
このようにＩピクチャは、１５ピクチャに１回存在し、これが繰り返される構成が一般的である。

次に、上述したような圧縮動画像をネットワークに配信するシステムについて説明する。図８は、本発明者らが先に提案した画像伝送方法および画像伝送装置（特開２００３−３０９８４７、出願日：２００２年１１月２７日）で説明されているネットワーク型動画像配信システムがある。図８において、カメラ１２０で撮影された監視画像は、エンコーダのような画像伝送部１１１で符号化され、ネットワーク１２２を介してそれぞれデコーダのような画像受信部１１２−１、１１２−２および１１２−３に配信され、ここで復号され、画像モニタ１２４−１、１２４−２および１２４−３にそれぞれ監視画像として表示される。

動画像を圧縮する画像伝送部１１１は、画像伝送部内部の圧縮処理部により所定のビットレート（圧縮率）で圧縮され、ここから生成される画像圧縮データ（ストリーム）を画像受信部１１２−１、１１２−２および１１２−３に伝送し、各画像受信部は、上記ストリームを元の画像データに伸張してモニタに出力する。なお、図８においては、画像伝送部１１１からの出力ストリームが直接ネットワーク１２２−１、１２２−２、１２２−３に伝送されている。このような伝送方式をユニキャスト構成と呼ばれている。

このシステムの動作は、例えば、画像受信部１１２−１からネットワーク１２２−１を経由し、画像伝送部１１１にストリームデータを要求する。画像送信部１１１は、ストリームデータの要求があった画像受信部１１２−１にストリームデータを配信する。

画像受信部１１２−１は、ストリームデータを受信し、圧縮されているストリームデータを伸張し、モニタ１２４−１に表示すると共に、必要により記録部（図示せず）に記録される。次に、画像受信部１１２−１は、続いて、ネットワーク１２２−１を経由し、画像伝送部１１１に次のストリームデータを要求する。

画像伝送部１１１は、ストリームデータ要求があった画像受信部１１２−１に次のストリームデータを伝送する。画像受信部１１２−１は、次のストリームデータを受信し、前述と同様に、圧縮されているストリームデータを伸張し、モニタ１２４−１に表示すると共に、必要により記録部に記録する。以降も同様であり、また、他の画像受信部１１２−２および１１２−３においても連続してストリームデータの送信要求と受信及び伸長を行なう。

次に、画像伝送部１１１について、図９を用いて詳細に説明する。図９において、カメラ１２０からの映像信号が入力端子１３０を介して画像伝送部１１１に映像信号が入力される。画像伝送部１１１の内部は、符号化処理部１３１およびプロトコル制御部１３２からなる。なお、本例では、符号化処理部１３１は、ＭＰＥＧ−４の符号化処理部で説明するが、これに限られるものではなく、ＭＰＥＧ−２等の他の方式の符号化処理部で構成することも可能である。プロトコル制御部１３２は、Ｉ−ＶＯＰ（Video Object Plane）周期バッファ１３３、ＲＴＰ（real time transport protocol）パケット処理部１３４−１、１３４−２、１３４−３およびＴＣＰ（transmission control protocol）＿ＵＤＰ（user datagram protocol）処理部１３５から構成されている。なお、ＴＣＰ＿ＵＤＰ処理部１３５の出力は、出力端子１３６から各々のネットワーク１２２に送られる。ここで、ＲＴＰパケット処理部が３個示されているが、本例の場合、異なる伝送速度の伝送路１２２が３種類であるためであり、３個に限定されるものではない。

而して、プロトコル制御部１３２を上記のように構成することにより伝送レート適応型パケット伝送を実現している。以下この構成について、詳細に説明する。なお、Ｉ−ＶＯＰ周期バッファ１３３は、少なくてもＩ−ＶＯＰ（先に説明したＩピクチャに相当する。）から次のＩ−ＶＯＰの直前までの符号化データを蓄積可能な容量を有するバッファである。

ＲＴＰパケット処理部１３４は、ＭＰＥＧ−４符号化データなどをネットワーク上で伝送するのに適したパケットを生成する。即ち、ＲＴＰの基本仕様に従い、符号化データを各ＶＯＰ毎に１〜数パケットに分割したパケットにし、次のＴＣＰ_ＵＤＰ処理部１３５へ出力する。

ＴＣＰ_ＵＤＰ処理部１３５では、コネクション型のＴＣＰプロトコルか、コネクションレス型のＵＤＰプロトコルかの何れか一方のプロトコルでＲＴＰパケットをネットワーク１２２へ伝送する。なお、この選択は、ユーザがパソコン等でリモート設定できるように構成することもできる。

プロトコル制御部１３２は、主にプロセッサによるソフトウェア処理であり、ＲＴＰパケット処理部１３４は、ユニキャストで同時配信するため伝送路に接続される画像受信部１１２の３種類の伝送路１２２の処理を行う。

ＭＰＥＧ−４仕様の符号化処理部１３１は、映像信号を入力してＭＰＥＧ−４符号化データを出力し、Ｉ−ＶＯＰ周期バッファ１３３に符号化データを書き込む。ＲＴＰパケット処理部１３４は、ＴＣＰ＿ＵＤＰ処理部１３５からの伝送レートに応じたレディー信号（図９では点線で示す信号。）により、Ｉ−ＶＯＰ周期バッファ１３３から符号化データを読み出す。即ち、各ＲＴＰパケット処理部１３４−１、１３４−２、１３４−３は、それぞれの画像受信部１１２−１、１１２−２、１１２−３までの伝送路レート（伝送速度）に従ったデータ量をＩ−ＶＯＰ周期バッファ１３３から読み出すことになる。即ち、高ビットレートの伝送路から低レート伝送路に対して必然的にＩ−ＶＯＰ周期バッファ１３３内で画像データが破棄されることになる。このようにして自動的に伝送路の伝送速度にあわせて画像データが伝送される。

なお、ＴＣＰ＿ＵＤＰ処理部１３５で伝送レートに応じたレディー信号を生成する方法は、選択されたプロトコルで異なる。ＴＣＰプロトコルの場合は、コネクション型であるため符号化処理部１３１からの伝送パケットに対する応答により、自動的に伝送レートに応じたレディー信号が生成可能である。

一方、ＵＤＰプロトコルの場合は、コネクションレス型のため自動的にレディー信号を生成することはできない。そこで、画像受信部１１２から、定期的に伝送されるパケット破棄率情報をＴＣＰ＿ＵＤＰ処理部１３５で収集する。この定期的な情報から、パケット破棄率がゼロとなるようにＴＣＰ＿ＵＤＰ処理部１３５がパケットの伝送レートを制御し、それに応じたレディー信号を生成する。これにより、伝送レートに応じたレディー信号の生成が可能となる。

ここで、パケット破棄率は、ＲＴＰパケットの予想受信パケット数と実際の受信パケット数から求めることができる。予想受信パケット数とは、送信側から届いたパケットの数であり、遅延パケットや重複パケットも含める。期間は、前回のＲＴＣＰパケット受信から今回のＲＴＣＰパケット受信までの間である。計算は、受信パケットの最大シーケンス番号と最小シーケンス番号から求める。シーケンス番号とはＲＴＰヘッダーに含まれるパケットの順番を表したものである。なお、詳細は、ＲＦＣ（Request For Comment）１８８９に説明されているので、ここでは説明を省略する。
（予想受信パケット数）＝（最大シーケンス番号）−（最小シーケンス番号）＋1
パケット破棄率は、以下のようにして求める。
（パケット破棄数）＝（予想受信パケット数）−（実際の受信パケット数）
（パケット破棄率）＝（（パケット破棄数）／（予想受信パケット数））×255
また、破棄率送信間隔については、ＲＦＣ１８８９、Ａ．７ＲＲＣＰ送信間隔の計算に詳細に述べられているが、破棄率は、ＲＴＣＰのＲＲパケットのヘッダーに含まれる情報で、約５秒間隔で送信している。

上述したように高ビットレート伝送路から低ビットレート伝送路に画像データを伝送する場合の画像データの破棄について更に詳細に説明する。

まず、画像データの破棄が行われる構成の一例を図３を用いて説明する。図３において、画像伝送部１１１から画像受信部１１２へ画像データを伝送する場合について説明する。なお、ここで言う画像データとは、画像符号化データのことである。画像伝送部１１１から画像受信部１１２へ画像データを送信する場合、高ビットレート伝送路（ネットワークを含む、以下同じ）１２５および低ビットレート伝送路１２６を介して画像データが送られることになる。この際、高ビットレート伝送路１２５から低ビットレート伝送路１２６にビットレートが低くなるため、画像データの破棄が発生する。更に、詳細について説明すると、上記の画像データ伝送方法では、画像符号化データは、前述したようにピクチャ単位で管理しているため、図４に示すように高ビットレート伝送路１２５（例えば、伝送レートは、１Ｍｂｐｓである。）では、Ｐ１、Ｐ２で示すバースト的な画像符号化データで伝送される。一方、低ビットレート伝送路１２６（例えば、伝送レートは、３８４Ｋｂｐｓである。）では、低ビットレートの画像符号化データＰ３として伝送されるため、ここでは画像符号化データの破棄が行なわれる。なお、上記のような高ビットレートの伝送路ではないが、例えば、伝送レートが３２０Ｋｂｐｓのネットワークから伝送レートが３８．８Ｋｂｐｓの一般の公衆回線へデータを送るような場合にも起こり得る。

而して、ＴＣＰプロトコル使用時には再送処理が行われるので、画像符号化データの破棄が行なわれたとしても問題無いが、ＵＤＰプロトコル使用時では画像符号化データを相手側へ送る保証が無いため、バースト的なデータに対しては、画像符号化データの破棄が頻繁に発生する。従って、画像符号化データを正しく伝送できないことがある。これを対策するために、ピクチャーデータを要求するレディー信号の生成を制御し、平均的な画像符号化データの送信を行うようにすることが必要である。

また、画像符号化データの破棄を起こさない方法として、画像伝送のためのシステムおよび方法（例えば、特許文献１参照）があるが、これは、パケットデータそれぞれを予め決められた所定時間以上空けるために送信タイミングを遅延する方法が提案されている。

特開平２００２−７７２６０号公報

上述したようにＵＤＰプロトコル使用時には、画像符号化データの破棄が頻繁に発生し、画像符号化データを確実に相手側へ送る保証が無いため、受信側で要求する画像符号化データが入手できないと言う問題が発生する。また、上記特開平２００２−７７２６０号公報の技術は、パケットデータのサイズと予め設定されているネットワークの帯域、最低遅延時間とから遅延時間を計算する方法であるため、処理が複雑かつ回路規模も大きくなると言う問題がある。

本発明の目的は、受信側で要求する画像符号化データを正しく伝送可能にする画像伝送方法および画像伝送装置を提供することである。

本発明の他の目的は、バースト的なデータでは無く、時間単位において平均的な画像符号化データを伝送可能にする画像伝送方法および画像伝送装置を提供することである。

本発明の他の目的は、低ビットレート伝送路でのパケット破棄を低減し、画像符号化データを伝送可能にする画像伝送方法および画像伝送装置を提供することである。

本発明の更に他の目的は、伝送負荷の集中等の一時的な伝送路の障害に対しても画像符号化データを伝送可能にする画像伝送方法および画像伝送装置を提供することである。

本発明の画像伝送装置は、画像信号を入力する画像入力手段と、上記画像信号を符号化する符号化処理部と、上記符号化処理部で符号化されたデータをパケット化して送信するプロトコル制御部および上記パケット化されたデータパケットを伝送する伝送手段とを有し、上記プロトコル制御部は、少なくとも1個のタイマー処理部を有し、上記タイマー処理部は、上記伝送路からのパケット破棄率情報に基づいて上記データパケットの送信間隔を制御するように構成される。

また、本発明の画像伝送装置は、すくなくとも２以上の回線速度の異なる伝送路に用いられる画像伝送装置であって、画像信号を入力する画像入力手段と、上記画像信号を符号化する符号化処理部と、上記符号化処理部で符号化されたデータをパケット化して送信するプロトコル制御部および上記パケット化されたデータパケットを伝送する伝送手段とを有し、上記プロトコル制御部は、少なくとも１個のタイマー処理部を有し、上記タイマー処理部は、上記伝送路からのデータパケットの破棄率情報に基づいて上記データパケットの送信間隔を各々の伝送路の回線速度に個別に対応して制御するように構成される。

また、本発明の画像伝送装置において、上記プロトコル制御部は上記データパケットの破棄率情報の破棄率に対応した遅延時間が設定されたテーブルを有し、前記タイマー処理部は上記伝送路からのデータパケットの破棄率情報に対応する前記テーブルの遅延時間に応じてデータパケットの送出処理を遅延させるように構成される。

また、本発明の画像伝送装置において、上記プロトコル制御部は上記データパケットの破棄率情報の破棄率に対応したデータパケット送出の要求間隔が設定されたテーブルを有し、前記タイマー処理部は上記伝送路からのデータパケットの破棄率情報に対応する前記テーブルの要求間隔に応じて、データパケットの送出処理を制御するように構成される。

また、本発明の画像伝送装置において、上記プロトコル制御部は、更に、トリガー発生部を有し、上記トリガー発生部は、所定間隔で上記タイマー処理部を再設定するためのトリガーパルスを発生するように構成される。

また、本発明の画像伝送装置において、上記タイマー処理部は上記トリガー発生部からのトリガーパルスに基づき、上記テーブルの遅延時間に応じて遅延させたデータパケットの送出処理を元の送信間隔に戻すよう制御するように構成される。

また、本発明の画像伝送装置において、上記プロトコル制御部は、更に上記破棄率と遅延時間を設定するテーブルを有し、上記タイマー処理部は、上記テーブルに基づいて遅延時間が設定される。

更に、本発明の画像伝送方法は、符号化された画像データをパケット化して伝送路に送信する画像伝送方法であって、画像信号を入力し、上記画像信号を符号化データに変換し、上記符号化データをパケット化してパケットデータを送信する場合に、上記伝送路からの破棄率情報に基づいてタイマー処理部を制御し、上記タイマー処理部で設定された送信間隔で上記パケットデータを送信するように構成される。

また、本発明の画像伝送方法は、すくなくとも２以上の回線速度の異なる伝送路で、符号化された画像データをパケット化して伝送路に送信する画像伝送方法であって、画像信号を入力し、上記画像信号を符号化データに変換し、上記符号化データをパケット化してパケットデータを送信する場合に、上記伝送路からの破棄率情報に基づいてタイマー処理部を制御し、上記タイマー処理部で設定された送信間隔で、各々の伝送路の回線速度に個別に対応して制御上記パケットデータを送信するように構成される。

また、本発明の画像伝送方法において、前記タイマー処理部は、上記データパケットの破棄率情報の破棄率に対応した遅延時間が設定されたテーブルに基づき、上記伝送路からのデータパケットの破棄率情報に対応する前記テーブルの遅延時間に応じてデータパケットの送出処理を遅延させるように構成される。

また、本発明の画像伝送方法において、前記タイマー処理部は、上記データパケットの破棄率情報の破棄率に対応したデータパケット送出要求時間が設定されたテーブルに基づき、上記伝送路からのデータパケットの破棄率情報に対応する前記テーブルの要求時間に応じてデータパケットの送出を制御するように構成される。

また、本発明の画像伝送方法において、更に、所定間隔でトリガーを発生し、当該トリガーにより、所定間隔で上記タイマー処理部での送信間隔設定を再設定するように構成される。

また、本発明の画像伝送方法において、上記トリガーに基づき、上記テーブルの遅延時間に応じて遅延させたデータパケットの送出処理を元の送信間隔に戻すように構成される。

本発明によれば、受信側で要求する画像符号化データを正しく伝送することができ、また、バースト的なデータでは無く、時間単位において平均的な画像符号化データを伝送可能にすることができる。更に、低ビットレート伝送路でのパケット破棄を低減し、画像符号化データを伝送可能にし、伝送負荷の集中等の一時的な伝送路の障害に対しても画像符号化データを伝送可能にする画像伝送方法および画像伝送装置を提供することができる。

本発明の一実施例を説明するためのブロック図である。 本発明の他の一実施例を説明するためのブロック図である。 従来の画像データの破棄を説明するための原理説明図である。 従来の画像データの破棄を説明するための原理説明図である。 本発明の原理を説明するための図である。 本発明の動作を説明するためのブロック図である。 図２に示す本発明の一実施例の動作を説明するためのフローチャートである。 ネットワーク型動画像配信システムの一例を示すブロック図である。 従来の画像伝送部の一例を説明するためのブロック図である。

本発明の原理を図５により説明する。図５において、高ビットレート伝送路１２５から低ビットレート伝送路１２６に画像符号化データを送る場合、高ビットレート伝送路１２５からの画像符号化データの送信を分散した画像符号化データとして低ビットレート伝送路１２６に送信するように構成することである。以下、これについて詳細に説明する。

図１は、本発明の一実施例を示すブロック図である。１３７−１、１３７−２、１３７−３は、ＲＴＰパケット処理部である。なお、特に、区別する必要がないときは、ＲＴＰパケット処理部１３７と総称する。１３８は、ＵＤＰ処理部、１３９−１、１３９−２、１３９−３は、タイマー処理部（総称する場合は、タイマー処理部１３９とする。）である。なお、図９と同じものには同じ符号が付されている。また、この画像伝送部１１１は、例えば、図８に示される画像配信システムにも使用されるもので、その詳細については、既に説明したので、ここでは説明を省略する。

図１において、カメラ１２０からの映像信号が入力端子１３０を介して画像伝送部１１１に入力される。画像伝送部１１１の内部は、符号化処理部１３１およびプロトコル制御部１３２からなる。なお、符号化処理部１３１は、ＭＰＥＧ−４やＭＰＥＧ−２等の方式の符号化処理部で構成することが可能である。プロトコル制御部１３２は、Ｉ−ＶＯＰ周期バッファ１３３、ＲＴＰパケット処理部１３７−１、１３７−２、１３７−３およびＵＤＰ処理部１３８から構成されている。ＵＤＰ処理部１３８の中にはタイマー処理部１３９−１、１３９−２、１３９−３がある。なお、ＵＤＰ処理部１３８の出力は、出力端子１３６から各々のネットワーク１２２に送られる。ここで、ＲＴＰパケット処理部、タイマー処理部が各々３個示されているが、３個に限定されるものではない。

次に、この動作について図６を用いて説明する。図６は、図１中の構成で例えば、Ｉ−ＶＯＰ周期バッファ１３３、ＲＴＰパケット処理部１３７−１およびＵＤＰ処理部１３８のタイマー処理部１３９−１の動作を説明するための図である。なお、入力端子１４５には、符号化処理部１３１から符号化された画像符号化データが印加される。また、他のＲＴＰパケット処理部１３７−２、３およびタイマー処理部１３９−２、３の動作も同様であるので説明は省略する。

まず、予めネットワーク１２２のビットレートがわかっている場合、個々のネットワーク接続時に画像受信部１１２からネットワーク１２２のビットレートが端子１３６を介して画像伝送部１１１に通知される。画像受信部１１２のビットレート設定は、ＰＣなどで設定することができる。例えば、画像受信部１１２−１が画像伝送部１１１へネットワークで接続されたとすると、ビットレート情報は、ＵＤＰ処理部１３８に送られる。ＵＤＰ処理部１３８は、タイマー処理部１３９−１へビットレート情報を送り、タイマー処理部１３９−１ではビットレート情報に合わせた待ち時間設定、所謂、ビットレート待ち時間を設定する。タイマー処理部１３９−１では、ＵＤＰ処理部１３８からレディー信号が送られてくると、ビットレート待ち時間分だけ処理を休ませてからレディー信号をＲＴＰパケット処理部１３７−１に送る。例えば、ビットレート待ち時間が１０ｍｓｅｃと設定された場合、タイマー処理部１３９−１は、システムの動作時（初期値設定時）は、１０ｍsec間隔でパケット（画像符号化データを伝送するためにパケット化したもの）を送るようＲＴＰパケット処理部１３７−１に要求を出す働きをする。なお、この要求間隔（初期値はビットレート待ち時間）には、伝送路１２２から送られてくる破棄率情報に基づいて適宜遅延時間が加算される。例えば、表１は、破棄率と遅延時間との関係を示すもので、このようなテーブルがＵＤＰ処理部１３８のメモリ（図示せず）に記憶されている。

表１において、破棄率情報は、０（０％に相当）〜２５５（１００％に相当）で表され、それらに対応して遅延時間が設定されている。即ち、破棄率０で遅延時間０ｍsec（正常時、遅延時間なし。）、破棄率１〜１０では、１０ｍsec、破棄率１１〜２０では、２０ｍsec、・・・のように破棄率が大きくなるに従ってパケットの要求間隔に加算される遅延時間が増加するように設定されている。また、表１のように破棄率に応じて遅延時間を異ならせるのではなく、破棄率が０でない場合は、要求間隔に一定の遅延時間を加算する、例えば、１０ｍsecずつ加算するようにすることも可能である。このように破棄率に対する遅延時間の設定は、破棄率が伝送路の伝送帯域、使用頻度等の種々の要因で変化するため、予め実験等により定めておくことが望ましい。

図６において、まず、ＵＤＰ処理部１３８からレディー信号Ｒ１でパケットＤを送る要求をＲＴＰパケット処理部１３７−１に出す。ＲＴＰパケット処理部１３７−１では、レディー信号Ｒ１を受信すると、パケットＤを送る動作を開始するが、送るべきパケットが存在しない場合、ＲＴＰパケット処理部１３７−１は、レディー信号Ｒ２によりＩ−ＶＯＰ周期バッファ１３３に画像符号化データＳ１を要求する。画像符号化データＳ１が送られてくると、ＲＴＰパケット処理部１３７−１は、画像符号化データＳ１をパケット化し、蓄積すると共に、パケットＤ１をＵＤＰ処理部１３８に送る。ＵＤＰ処理部１３８では、送られてきたパケットＤ１を出力端子１３６を介して伝送路１２２に伝送する。なお、ＲＴＰパケット処理部１３７−１では、画像符号化データＳ１をＤ１、Ｄ２、Ｄ３の３個のパケットにパケット化した場合を示しているが、特に、これに限定されるものではない。これに対して、図５の原理説明図では、画像符号化データとしてＰ４，Ｐ５，Ｐ６，Ｐ７をそれぞれ４つのパケットにパケット化した場合について例示している。

次に、ＵＤＰ処理部１３８でパケットＤ１を受信すると、ＵＤＰ処理部１３８では、次のレディー信号Ｒ３により次のパケットＤ２の送信を要求する。ここで、パケットＤ２を要求するレディー信号Ｒ３を送信するに当たり、タイマー処理部１３９−１に設定されている要求間隔に従ってレディー信号Ｒ３が送信される。例えば、今、タイマー処理部１３９−１に設定されている要求間隔が１０m secであるとすると、パケットＤ１を受信して、１０m sec後にレディー信号Ｒ３がＲＴＰパケット処理部１３７−１に送られ、次のパケットＤ２がＵＤＰ処理部１３８に送られる。同様に、更に、１０m sec後にレディー信号Ｒ４がＲＴＰパケット処理部１３７−１に送られ、パケットＤ３がＵＤＰ処理部１３８に送られる。

このようにＵＤＰ処理部１３８は、タイマー処理部１３９−１に設定されている要求間隔に基づいてパケットＤを要求するレディー信号Ｒの要求タイミングを制御するように構成されている。また、タイマー処理部１３９−１に設定されている要求間隔は、前述した表１に示される破棄率と遅延時間との関係で適宜増加して行く。なお、図６では、レディー信号Ｒ１の要求時にパケットＤが存在しない場合について説明したが、パケットＤが存在した場合は、レディー信号Ｒ１の到来に応じてパケットＤ１を送信することは言うまでもない。また、上述の説明では、ＵＤＰ処理部１３８のタイマー処理部１３９−１とＲＴＰパケット処理部１３７−１についての動作を説明したが、他のタイマー処理部１３９とＲＴＰパケット処理部１３７についても同様であるので、説明は省略する。このようにすることによって、図５に示すように高ビットレート伝送路１２５から分散した画像符号化データＰ４、Ｐ５として低ビットレート伝送路１２６に伝送することができるので、低ビットレート伝送路１２６でのパケット破棄を低減した画像符号化データＰ６、Ｐ７とすることが可能となる。

以上は、予めネットワーク１２２のビットレートがわかっている場合について説明したが、ネットワーク１２２のビットレートが不明な場合、接続時に画像受信部１２２はビットレートが不明であることを画像伝送部１１１、具体的には、ＵＤＰ処理部１３８に通知する。この場合、タイマー処理部１３９では、レディー信号Ｒの要求間隔を予め設定しておいたシステムの最小の待ち時間（初期値）に設定する。例えば、ここでは、１０ｍsecとする。これにより画像配信システムは、画像符号化データを最小の間隔で画像伝送部１１１からネットワーク１２２へ送信していく。このため、画像符号化データは、バースト的になり、低ビットレート伝送路を通過する際にデータの破棄が起こり、画像受信部１１２では正しいデータを受信できなくなる。その結果、画像受信部１１２は、画像伝送部１１１のＵＤＰ処理部１３８にパケット破棄率情報を送信する。ＵＤＰ処理部１３８では、この破棄率情報に基づいて表１に示すテーブルからタイマー処理部１３９で適切なレディー信号Ｒの要求間隔を設定する。つまり、破棄率情報に基づいて遅延時間を加算して行き、要求間隔を増加させる。このように構成することにより予めネットワーク１２２のビットレートがわかっている場合と同様に、低ビットレート伝送路でのパケット破棄を低減した画像符号化データを伝送することが可能となる。

而して、図１で説明した実施例の場合、ネットワーク１２２の通話量の増大、所謂、トラフィックの増加やネットワーク障害などのために一時的なネットワークの制約が発生する。この場合、破棄率が増大し、しばらくの間、ネットワークの伝送するビットレートが下がる。ビットレートが下がると、パケットの破棄が発生し、上述したような実施例の動作が行われ、画像符号化データの配信が低速になる。その結果、一時的にネットワークのビットレートが下がっただけにもかかわらず、ＵＤＰ処理部１３８は、ネットワーク１２２を低ビットレート伝送路であると認識し、タイマー処理部のパケットの要求間隔（待ち時間）を延ばしてしまう。結果として、トラフィックの解消やネットワーク障害が除去され、ネットワークの伝送容量が十分あるにもかかわらず（例えば、パケットの破棄率が０となっていたとしても）、延びたままの要求間隔を用いるため少量の画像符号化データを送信し、回線の使用容量を余らせてしまう結果となる。従って、上記実施例で説明した技術では、トラフィックの増加やネットワーク障害などの一時的な障害には充分でない場合もあった。

次に、これを改善するための本発明の他の一実施例を図２を用いて説明する。図２において、１４０は、ＵＤＰ処理部で、新たにトリガー発生部１４１−１、１４１−２、１４１−３を設けている。なお、トリガー発生部を総称する場合は、トリガー発生部１４１と称する。また、図１と同じものには同じ符号が付されている。図２において、カメラ１２０からの映像信号が入力端子１３０を介して画像伝送部１１１に映像信号が入力される。画像伝送部１１１の内部は、符号化処理部１３１およびプロトコル制御部１３２からなる。

なお、符号化処理部１３１は、ＭＰＥＧ−４、ＭＰＥＧ−２等の方式の符号化処理部で構成することが可能である。プロトコル制御部１３２は、Ｉ−ＶＯＰ周期バッファ１３３、ＲＴＰパケット処理部１３７−１、１３７−２、１３７−３およびＵＤＰ処理部１４０から構成されている。ＵＤＰ処理部１４０の中には、タイマー処理部１３９−１、１３９−２、１３９−３およびトリガー発生部１４１−１、１４１−２、１４１−３が設けられている。なお、ＵＤＰ処理部１４０の出力は、出力端子１３６から各々のネットワーク１２２に送られる。ここで、ＲＴＰパケット処理部、タイマー処理部、トリガー発生部が各々３個示されているが、３個に限定されるものではない。

次に、図２に示す実施例の動作について説明する。この画像伝送部１１１の基本的な動作は上記実施例と同じであるので、トリガー発生部１４１による送信待ち時間の制御について説明する。先の実施例で説明したように、例えば、ＲＴＰパケット処理部１３７−１からＵＤＰ処理部１４０に送られてくるパケットの時間間隔は、レディー信号の要求間隔で決まることを説明した。このレディー信号の要求間隔は、タイマー処理部１３９で設定される間隔、例えば、１０m secで決まるが、ネットワークからの破棄率により、このレディー信号のパケットの要求間隔が増大する。トリガー発生部１４１は、この増大したレディー信号のパケットの要求間隔を定期的に減らし、初期値（上述したビットレート待ち時間又は最少の待ち時間）に戻す働きをする。

一例を上げると、トリガー発生部１４１は、例えば、１分、１０分、１時間あるいは２４時間と言うような間隔で、タイマー処理部１３９の要求間隔を、例えば、１０m secずつ戻す働きをする。例えば、トリガー発生部１４１−１に１時間毎にタイマー処理部１３９−１のレディー信号の要求間隔を１０m sec減らすように設定されていると、最初、タイマー処理部１３９−１のレディー信号の要求間隔が１０m sec（初期値）に設定され、１時間後にネットワークからの破棄率によりレディー信号の要求間隔が６０m secに増加していたとする。この時、トリガー発生部１４１−１からのトリガーパルスがタイマー処理部１３９−１に印加され、これによりタイマー処理部１３９−１のレディー信号の要求間隔が１０m sec減らされ、５０m secに変更（再設定）される。同様に、更に１時間後には、トリガー発生部１４１−１からトリガーパルスがタイマー処理部１３９−１に印加され、タイマー処理部１３９−１のレディー信号の要求間隔が１０m sec減らされ、４０m secに変更される。このような動作が繰り返されると、更に、３時間後には、タイマー処理部１３９−１のレディー信号の要求間隔は初期値である１０m secにまで戻る。なお、必ずしも初期値にまで戻すとは限らず、伝送路の伝送帯域、使用頻度等の種々の要因で設定値が変更されることはもちろんである。また、実際には、この間においてもネットワークからの破棄率によりレディー信号の要求間隔は、徐々に増加することは勿論である。

このようにトリガー発生部１４１は、タイマー処理部１３９のレディー信号の要求間隔を短くする働きをする。なお、トリガー発生間隔は、上述したように１分、１０分、１時間あるいは２４時間と言うように、実際のシステムの状況に応じて種々な値を用いることが可能であり、予めメモリ（図示せず）に登録しておくことができる。また、上記では、タイマー処理部１３９の要求間隔を１０m secずつ減らすようにしていたが、何m secずつ減らすか、という値についても、実際のシステムの状況に応じて種々な値を用いることが可能であり、予めメモリ（図示せず）に登録しておくことができる。

動作の詳細を図７により説明する。トリガー発生部１４１では、ステップ１５１で、前回トリガー発生からの経過時間を測定する。ステップ１５２では、前回トリガー発生からの経過時間がトリガー発生間隔に達しているかを調べ、トリガー発生間隔に達していた場合は、トリガーをタイマー処理部１３９に発生させる（ステップ１５３）。トリガー発生間隔に達していない場合は、時間待ち（ステップ１５４）を行う。

トリガーを受信したタイマー処理部１３９では、ステップ１５５で画像受信部１１２からビットレートが通知されているかを検出する。ビットレートが通知されている場合、現在の待ち時間（要求間隔）とビットレート待ち時間を比較（ステップ１５６）し、現在の待ち時間がビットレート待ち時間より大きい場合、待ち時間を減らす（ステップ１５７）処理を行なう。逆の場合は、待ち時間を減らす必要はない。また、ビットレートが通知されていない場合、ステップ１５８に進み、現在の待ち時間が最小の待ち時間、例えば、１０ｍsecより大きい場合、待ち時間を減らす（ステップ１５７）処理を行なう。逆の場合は、待ち時間を減らす必要はない。以上の動作を繰り返すことでタイマー処理部１３９の待ち時間を元にもどし、（初期値に戻し）伝送路の一時的なビットレートの変化に対応することが可能となる。

なお、上述した実施例では、トリガーが発生する度に、タイマー処理部１３９は、例えば、現在の要求間隔を例えば、１０m secずつ減らすようにしていたが、他の例として、トリガーが発生する度にタイマー処理部１３９は、要求間隔を強制的に初期値（ビットレート待ち時間、或いは、最小の待ち時間）に戻すようにしても良い。また、その際、初期値に戻す前の直前の要求間隔をＵＤＰ処理部１４０のメモリ（図示せず。）に記憶しておき、例えば、要求間隔を初期値に戻した直後の破棄率が所定値以上（例えば、初期値に戻す直前の破棄率以上）であった場合は、要求間隔を上記メモリに記憶しておいた直前の要求間隔に戻すようにしても良い。

次に、表２に言及して本発明の更に他の実施例を説明する。なお、画像伝送部１１１の構成は図１に示したものと同様である。上述した実施例では、タイマー処理部１３９は、表１に示したテーブルを用いて破棄率に基づいて遅延時間を加算して要求間隔を増大させる処理を行う一方で、その処理とは別に、所定間隔で発生するトリガーに基づいて図７で示したように要求間隔を減らす処理を行っていた。本実施例では、表２で示したテーブルを用いて、伝送路から送られてくる破棄率情報に基づいて適宜要求間隔を再設定するようにしたため、上述した実施例とは異なり、破棄率の増減に応じて要求間隔は適宜長い間隔となったり、短い間隔となったりする。表２は、破棄率と要求間隔との関係を示すもので、このようなテーブルがＵＤＰ処理部１３８のメモリに記憶されている。表２において、破棄率情報は、０（０％に相当）〜２５５（１００％に相当）で表され、それらに対応して要求間隔が設定されている。即ち、一例として、破棄率０（初期値）で要求間隔１０ｍsec（正常時）、破棄率１〜１０では、２０ｍsec、破棄率１１〜２０では、６０ｍsec、・・・のように破棄率が大きくなるに従ってパケットの要求間隔が増加するように設定されている。

例えば、ネットワーク１２２のビットレートが不明な場合、タイマー処理部１３９−１では、ＵＤＰ処理部１３８からレディー信号が送られてくると、システムの動作時（初期値設定時）は、正常と見なし、例えば、表２に示されている破棄率０に対応する要求間隔、即ち、１０ｍsec間隔でパケットを送るようＲＴＰパケット処理部１３７−１に要求を出す働きをする。この要求間隔（待ち時間）は、伝送路から送られてくる破棄率情報に基づいて適宜変更される。

従って、例えば、ネットワーク１２２の通話量が増大してパケットの破棄が発生した場合、表２に示したテーブルに従い破棄率に応じた要求間隔が設定される。一方、ネットワーク１２２の通話量の増大が解消された場合、パケットの破棄は発生しなくなり、例えば、パケットの破棄率が０になると、要求間隔は、表２に示したように、破棄率０に対応した要求間隔、即ち、初期値に戻ることになる。

なお、ネットワーク１２２のビットレートがわかっている場合には、ビットレート情報に合わせた待ち時間設定、所謂、ビットレート待ち時間を破棄率が０の場合の初期値の要求間隔として設定すればよい。

本発明の実施例によれば、各々の伝送路の回線速度を個別に対応して制御し、受信側で要求する画像符号化データを正しく伝送可能にすると共に高ビットレート伝送路から低ビットレート伝送路への符号化データの伝送に対してパケット破棄率を低減し、画像符号化データを伝送可能にする画像伝送方法および画像伝送装置を提供することができる。また、一時的な伝送路の障害に対しても画像符号化データを最適な状態で伝送可能にする画像伝送方法および画像伝送装置を提供することができる。

以上、本発明の実施例について詳細に説明したが、本発明は、ここに記載された画像伝送方法および画像伝送装置の実施例に限定されるものではなく、上記以外の画像伝送方法および画像伝送装置に広く適応することが出来ることは、言うまでも無い。また、これまでの実施例では、処理対象となるデータはＭＰＥＧ−４、ＭＰＥＧ−２等を例に挙げて説明したが、単なる例示であって処理対象データをＭＰＥＧに限定するものでは無い。

１１１：画像伝送部、１１２：画像受信部、１２０：監視カメラ、１２２：ネットワーク、１２４：モニタ、１２５：高ビットレート伝送路、１２６：低ビットレート伝送路、１３０、１４５：入力端子、１３１：符号化処理部、１３２：プロトコル制御部、１３３：Ｉ-ＶＯＰ周期バッファ、１３６：入出力端子、１３７：ＲＴＰパケット処理部、１３８、１４０：ＵＤＰ処理部、１３９：タイマー処理部、１４１：トリガー発生部、Ｒ１、・・・Ｒ４：レディー信号、Ｄ１、・・・Ｄ３：パケット、Ｓ１：画像符号化データ。

Claims (2)

1. 画像信号を入力する画像入力手段と、上記画像信号が入力され、符号化し、伝送する画像伝送部と、上記画像伝送部からの符号化されたデータを伝送する複数の伝送速度の異なる伝送路と、上記伝送路にそれぞれ結合された画像受信部を有し、
   上記画像伝送部は、上記画像信号をピクチャ単位にストリームデータに変換する符号化処理部と、上記符号化処理部で符号化されたストリームデータをパケット化して送信するプロトコル制御部を有し、
   上記プロトコル制御部は、上記ストリームデータを蓄積するバッファと、該バッファに結合され、上記伝送路のそれぞれに上記バッファに蓄積されたパケットデータを読み出す複数のパケット処理部、設定されている要求間隔に従ってパケットデータを要求する複数のタイマー処理部、および上記伝送路の破棄率情報と上記要求間隔に加算する遅延時間との関係を示すテーブルを記憶したメモリを有し、
   上記複数のタイマー処理部の各々は、上記それぞれの画像受信部からの上記パケットデータの送信要求があると、上記テーブルから上記画像受信部から送られてくる上記破棄率情報に対応する遅延時間を求めて、該遅延時間を前記要求間隔に加算し、加算された要求間隔の経過後に上記パケット処理部を介して上記バッファからパケットデータを読み出し、上記要求のあったそれぞれの上記伝送路に上記パケットデータを伝送すると共に、
   上記プロトコル制御部は、更に、複数の上記伝送路に対応して複数のトリガー発生部を有し、上記それぞれのトリガー発生部は、所定間隔でトリガーパルスを発生し、上記タイマー処理部は、該トリガーパルスを受信すると、上記タイマー処理部で設定されている上記要求間隔を強制的に初期値に戻すことを特徴とする画像伝送装置。
2. 請求項1記載の画像伝送装置において、
   初期値に戻す前の直前の要求間隔を記憶するメモリを有し、
   上記タイマー処理部は、要求間隔を初期値に戻した直後の破棄率が所定値以上であった場合は、上記要求間隔を上記メモリに記憶しておいた直前の要求間隔に戻すようにしたことを特徴とする画像伝送装置。

Images