JP2011124699A

JP2011124699A - ユニキャスト再配信装置およびパケット処理プログラム

Info

Publication number: JP2011124699A
Application number: JP2009279420A
Authority: JP
Inventors: Daisuke Suwa; 大介諏訪
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-12-09
Filing date: 2009-12-09
Publication date: 2011-06-23
Anticipated expiration: 2029-12-09
Also published as: JP5094826B2

Abstract

【課題】受信端末ごとかかる処理負荷を軽減し、受信端末で確保するバッファサイズの増加を抑えることを可能にする。
【解決手段】ユニキャスト再配信装置３は、ユニキャスト配信された画像データを受信して次のネットワークを介してマルチキャストまたはユニキャスト配信するためにパケットのヘッダを書き換えた後、受信したパケットのパケットシーケンスをチェックし、想定外のパケットシーケンスのパケットを受信した場合には該当パケットをバッファに一時的に格納し、当該格納したパケットのパケットシーケンスがそれ以降に受信したパケットのパケットシーケンスと関連がある場合にはこれらのパケットをパケットシーケンス順に並べ替えてから再配信する。
【選択図】図１

Description

この発明は、マルチキャスト通信をサポートしていない公衆網にユニキャスト通信で送信された画像データを他のネットワークにマルチキャストまたはユニキャストで再配信するユニキャスト再配信装置およびパケット処理プログラムに関するものである。

道路や河川などにカメラ装置を設置して監視領域を撮像し、撮像した画像データを遠隔地にある再生装置や蓄積装置などにネットワークを介して送信する監視システムがある。このような監視システムの場合、監視カメラは複数使用され、監視センタに置かれる再生装置や蓄積装置も複数あり、さらに複数の異なる場所に置かれて使用される形態が考えられる。また、この種の監視システムではカメラ装置が広範囲に設置される場合が多く、画像データの伝送路としては敷設コスト、管理コストを考慮して公衆網を使用するのが一般的である。また、画像配信システムとしてはマルチキャスト通信を用いるのが望ましいが、使用する公衆網がマルチキャスト通信をサポートしていないので、ユニキャスト通信を用い、監視センタ側に設置したユニキャスト再配信装置で画像データを受信し、再生装置や蓄積装置に対しては監視センタ側のネットワークを介してユニキャストあるいはマルチキャストで再配信するようにしている。ここで使用されるユニキャスト再配信装置は、ユニキャスト通信で受信したデータをマルチキャスト通信で送信する場合、受信したデータパケットのヘッダの配信先ＩＰを書き換えてマルチキャストデータまたはユニキャストデータにしてネットワークへ出力するもの（例えば特許文献１および特許文献２参照）で、受信した画像データがパケットシーケンス順に到着する、しないにかかわらず、その画像データをユニキャストあるいはマルチキャストで再配信する機能のみのものであった。

特開２００１−２３０７７４号公報特開２００７−６０１９７号公報

従来のユニキャスト再配信装置の機能は、以上のように受信した画像データがパケットシーケンス順に到着する、しないにかかわらず、画像データをユニキャストあるいはマルチキャストで再配信するもののみであるため、次のような問題がある。
公衆網などマルチキャスト配信に未対応のネットワークを使用してユニキャスト配信されたデータをユニキャスト再配信装置で受信しているが、その際、公衆網から配信されてくる画像データのパケットは必ずしもパケットシーケンス順で受信されるとは限らない。しかし、従来のユニキャスト再配信装置では、パケットシーケンス順でない画像データもそのままマルチキャストもしくはユニキャストで再配信を行うため、監視システムにおいて再配信された画像データを受信する再生装置や蓄積装置のそれぞれで、受信画像データのパケットをバッファに格納してパケットシーケンス順に並び替えてからその後のデータ処理を行うという方法をとらなければならなかった。例えば、１枚の画像データがカメラ装置から３つのパケット（パケット１、パケット２、パケット３）に分割されて送信され、再生装置や蓄積装置でパケット１、パケット３、パケット２と受信された場合には、それぞれの装置内で、パケット１、パケット２、パケット３とデータをパケットシーケンス順に並べ変える再構築を行った後、データ処理を行うことになる。

また、カメラ装置とユニキャスト再配信装置間の伝送でパケットロスが発生する場合があるが、従来のユニキャスト再配信装置はパケットロスにより影響を受ける関連する画像データのパケットもそのまま再生装置や蓄積装置側に配信してしまうため、再生装置や蓄積装置側で受信した後に対応する画像データの廃棄処理を行わなければならなかった。
以上監視システムにみられる再生装置や蓄積装置などのようにネットワーク上の受信端末では、パケット整列やパケットロスのために画像データより大きい領域のバッファを確保せねばならず、さらに画像データ再構築が可か不可かの判断のための処理負荷が高くなるという問題があった。

この発明は、上記のような問題点を解決するためになされたもので、受信端末ごとかかる処理負荷を軽減し、受信端末で確保するバッファサイズの増加を抑えることを可能にするユニキャスト再配信装置およびパケット処理プログラムを得ることを目的とする。

この発明に係るユニキャスト再配信装置は、マルチキャスト配信不可のネットワークを介してユニキャスト配信された画像データを受信してパケットのヘッダを書き換えて次のネットワークを介してマルチキャストまたはユニキャスト配信するユニキャスト再配信装置において、パケットヘッダの書き換え後、受信したパケットのパケットシーケンスをチェックし、想定外のパケットシーケンスのパケットを受信した場合には該当パケットをバッファに一時的に格納し、当該格納したパケットのパケットシーケンスがそれ以降に受信したパケットのパケットシーケンスと関連がある場合にはこれらのパケットをパケットシーケンス順に並べ替えてから再配信するものである。

この発明によれば、再配信する画像データのパケットをユニキャスト再配信装置においてパケットシーケンス順に整列させるようにしたので、監視システムの再生装置や蓄積装置のような受信端末では、それぞれでパケット整列の処理を行う必要がなくなるため、受信端末で確保するバッファサイズはその分少なくすることができる。

この発明の各実施の形態によるユニキャスト再配信装置を含む画像配信システムの構成を示すブロック図であるこの発明の実施の形態１に係るデータ処理部の処理を示すフローチャートである。この発明の各実施の形態に係る画像配信システムの各部における画像データの状況を示す説明図である。この発明の実施の形態２に係るデータ処理部の処理を示すフローチャートである。

実施の形態１．
図１は、この発明の各実施の形態によるユニキャスト再配信装置を含む画像配信システムの構成を示すブロック図である。
図１において、カメラ装置１ａ〜１ｃは、回転台に搭載されたカメラなどからなり、例えば監視対象とする道路や河川などに設置して撮像を行い、取得した映像を符号化した画像データのパケットにしてネットワークを介して配信を行う手段である。ネットワーク２は、カメラ装置１ａ〜１ｃから配信される画像データのパケットを通すのに十分な環境であるが、マルチキャスト配信に対応していない、公衆網である。ユニキャスト再配信装置３は、カメラ装置１ａ〜１ｃからユニキャスト配信される画像データのパケットを受信し、カメラ装置１ａ〜１ｃと接続しているネットワーク２とは別のネットワーク４へ再配信を行う手段である。ネットワーク４は、ユニキャスト再配信装置３からの配信される画像データのパケットを通すのに十分な環境であればインターネット回線でもＬＡＮ（Local Area Network）回線でもよいものとする。また、ネットワーク２とは別のネットワークセグメントとする。

再生装置５は、ユニキャスト再配信装置３を経由して配信された画像データのパケットを受信して表示する受信端末であり、映像表示用のソフトウェアを内部記憶媒体もしくは外部記憶媒体から読み込んで保持している。なお、再生装置５は複数存在しても構わない。一方、蓄積装置６は、ユニキャスト再配信装置３を経由して配信された画像データのパケットを受信して蓄積する受信端末であり、蓄積手法としては画像データを保存する方法や受信したパケットデータをそのまま保存する方法などがある。また、蓄積装置６も複数存在しても構わない。

次に、画像配信システムの動作の概要を説明する。
カメラ装置１ａ〜１ｃは、例えば道路状況や河川状況の監視のためにリアルタイムの撮像を行う。当該撮像で取得された映像は、リアルタイムでＪＰＥＧなどにより符号化され、パケットにしてネットワーク２へ配信される。ユニキャスト再配信装置３において、データ受信部３１により、ネットワーク２を介して送信されてきたカメラ装置１ａ〜１ｃからの画像データのパケットを受信する。データ処理部３２では、データ受信部３１で受信したパケットの配信先ＩＰの書き換えやバッファへの格納によるパケットの整列を行う。データ配信部３３では、データ処理部３２でパケットの配信先ＩＰの書き換えが行われたパケットをネットワーク４に対して再配信する。ネットワーク４に再配信された画像データのパケットは再生装置５および蓄積装置６で受信される。再生装置５では映像表示を行い、一方、蓄積装置６では画像データもしくは画像データのパケットの蓄積を行う。

ここで、実施の形態１に係るデータ処理部３２による特有の処理について図２のフローに従って説明する。
データ処理部３２は、受信するパケットについて、最後に送信したパケットシーケンスより１大きい値のパケットを受信したかを調べる（ステップＳＴ１）。１大きい値のパケットを受信した場合にはそのまま再配信を行う（ステップＳＴ２）。逆に１以上大きい値のパケットを受信した場合にはバッファに格納する（ステップＳＴ３）。ステップＳＴ２でパケットを再配信した際にバッファにパケットが格納されているかを調べる（ステップＳＴ４）。バッファにパケットが格納されている場合にはそのパケットの中に、最後に配信したパケットシーケンスより１大きい値のパケットが存在するかを調べ（ステップＳＴ５）、該当するパケットが存在した場合にはそのパケットの再配信を行う（ステップＳＴ６）。

図３は、画像配信システムの各部における画像データの状況を示すもので、１０１はカメラ装置１ａ〜１ｃで撮像した映像をＪＰＥＧに符号化して生成したＪＰＥＧ画像データを表している。１０３は、カメラ装置１ａ〜１ｃからＪＰＥＧ画像Ａ〜Ｄをそれぞれ４分割にパケット化してネットワーク２に配信されるパケット列を表している。１０２は、ネットワーク２に配信されたパケットのシーケンス番号を表す。このシーケンス番号１０２は、パケットを配信する際に配信する側、本例においては、カメラ装置において昇順に付与される。１０４は、ユニキャスト再配信装置３で受信した画像データのパケット例を表す。１０５は、ユニキャスト再配信装置３で処理されてネットワーク４に再配信され、再生装置５や蓄積装置６で受信される画像データのパケット例を示す。

図３において、ＪＰＥＧ画像ＡのパケットＡ１〜Ａ４はシーケンス順にユニキャスト再配信装置３で受信されている。そのため、再配信の際も受信した順番で再配信されている。一方、ＪＰＥＧ画像Ｂの場合、パケットＢ１〜Ｂ４はシーケンス順に配信されるが、ユニキャスト再配信装置３での受信順はパケットＢ３とパケットＢ４が入れ替わっている。ユニキャスト再配信装置３では、図２で説明したデータ処理部３２による処理に基づいて、パケットＢ４を受信した際には、このパケットＢ４をバッファに格納し、その後、パケットＢ３を受信すると、パケットＢ３の再配信を行い、その後にパケットＢ４をバッファから取り出して再配信するようにしている。
以上のようにユニキャスト再配信装置３においてパケット順の入れ替え処理を行うことにより、受信端末である再生装置５や蓄積装置６では、パケットシーケンス通りにパケットＢ１〜Ｂ４を受信することが可能となり、再生装置５や蓄積装置６はパケット順の入れ替え処理を行わずに済むため、それぞれが持つバッファ領域をその分少なくすることが可能となる。

以上のように、この実施の形態１によれば、ユニキャスト再配信装置は、パケットヘッダの書き換え後、受信したパケットのパケットシーケンスをチェックし、想定外のパケットシーケンスのパケットを受信した場合には該当パケットをバッファに一時的に格納し、当該格納したパケットのパケットシーケンスがそれ以降に受信したパケットのパケットシーケンスと関連がある場合にはこれらのパケットをパケットシーケンス順に並べ替えてから再配信するものである。したがって、監視システムにおける再生装置５や蓄積装置６などの受信端末では、端末ごとに画像データのパケット整列を行う処理の必要が無くなるため、受信端末で確保するバッファサイズはその分少なくすることができる。
なお、図２で説明した処理はコンピュータで実行できるプログラムとすることもできる。

実施の形態２．
上記実施の形態１では、図１の画像配信システムのユニキャスト再配信装置３において、データ受信部３１により、カメラ装置１ａ〜１ｃから送信される画像データのパケットの受信を行った後、データ処理部３２で、受信したパケットのヘッダの配信先ＩＰの書き換えやバッファへの格納によるパケットの整列を行っている。この実施の形態２では、その際、データ処理部３２で後述する図４に示す処理に従ってパケットデータ内部のチェックを行って、処理されたパケットを再配信する。

次に、実施の形態２に係るデータ処理部３２による特有の処理について図４のフローに従って説明する。
データ処理部３２は、パケットのデータ部分に画像データの先頭情報が存在するかを調べる（ステップＳＴ２１）。先頭情報が存在する場合にはバッファに格納する（ステップＳＴ２２）。一方、先頭情報以外の場合には、画像データを再構築できないと判断して、パケットを再配信せずに破棄する（ステップＳＴ２３）。ステップＳＴ２２でパケットバッファに格納した後、次に受信したパケットについて、同様にパケットのデータ部分をチェックする。その際チェックするのは画像データの最終情報とし（ステップＳＴ２４）、最終情報が存在しない場合にはバッファに格納して（ステップＳＴ２５）、ステップＳＴ２１からの処理を繰り返す。一方、ステップＳＴ２４の判定で、パケットのデータ部分に画像データの最終情報が存在すると判定した場合で、かつ画像データの先頭情報のパケットから全て受信した場合、それまでバッファに格納されたパケットと共に再配信を行う（ステップＳＴ２６）。画像データのパケットが一部でも抜けていた場合には、画像再構築が行えないと判断し、バッファのデータを全て破棄する。

また、画像データの最終情報が格納されたパケットを受信する前に、画像データの先頭情報が存在するパケットを受信した場合はバッファのデータを全て破棄する。
例えば、図３の１０１に示すＪＰＥＧ画像Ｄの場合、各パケットＤ１〜Ｄ４はシーケンス順に配信されるが、受信パケット列１０４に示されるように、パケットＤ３は受信できずパケットロスとなっている。その際、ユニキャスト再配信装置３では、図４の処理に基づいてバッファのデータを破棄し、１０５に示すように再配信していない。

また、図３において、ＪＰＥＧ画像Ｃの場合、各パケットＣ１〜Ｃ４は最初シーケンス順に配信されるが、１０４に示されるように、パケットＣ４はユニキャスト再配信装置３で受信できずパケットロスとなっている。その後、ユニキャスト再配信装置３は、パケットＤ１を受信した際に、図４の処理に基づき、バッファのデータを破棄し、１０５に示すように再配信していない。
前述のパケット破棄により、再配信を行わないため、ネットワークを効率的に利用することが可能となる。

以上のように、この実施の形態２によれば、ユニキャスト再配信装置３は、画像を構成するパケットに関し、データ部分に画像データの先頭情報から最終情報が存在するパケットが存在するか順次調べてバッファに格納し、画像を構成する全パケットが存在した場合には対応するパケットを再配信し、一方、一つでもパケットロスが存在した場合には、バッファに格納した画像のパケットをすべて破棄して再配信しないようにしている。したがって、受信端末側でデータ処理することができないパケットについては再配信を行わないことによりネットワークの効率的利用ができる。また、パケット配信数を軽減することによりユニキャスト再配信装置３の負荷軽減を図る。また、監視システムにおける再生装置５や蓄積装置６などの受信端末それぞれで画像データを構成するパケットをチェックしないで済むため、それぞれが備えるバッファサイズを少なくすることができ、スペックダウンが図れる監視システムを構築することが可能となる。
なお、図４で説明した処理はコンピュータで実行できるプログラムとすることもできる。

１ａ〜１ｃカメラ装置、２ネットワーク（公衆網）、３ユニキャスト再配信装置、４ネットワーク、５再生装置（受信端末）、６蓄積装置（受信端末）、３１データ受信部、３２データ処理部、３３データ配信部。

Claims

マルチキャスト配信不可のネットワークを介してユニキャスト配信された画像データを受信してパケットのヘッダを書き換えて次のネットワークを介してマルチキャストまたはユニキャスト配信するユニキャスト再配信装置において、
前記パケットヘッダの書き換え後、受信したパケットのパケットシーケンスをチェックし、想定外のパケットシーケンスのパケットを受信した場合には該当パケットをバッファに一時的に格納し、当該格納したパケットのパケットシーケンスがそれ以降に受信したパケットのパケットシーケンスと関連がある場合にはこれらのパケットをパケットシーケンス順に並べ替えてから再配信することを特徴とするユニキャスト再配信装置。
パケットシーケンス順にパケットを並べ替え処理後、画像を構成するパケットに関し、データ部分に画像データの先頭情報から最終情報が存在するパケットが存在するか順次調べてバッファに格納し、画像を構成する全パケットが存在した場合には対応するパケットを再配信し、一方、一つでもパケットロスが存在した場合には、バッファに格納したパケットをすべて破棄して再配信しないようにすることを特徴とする請求項１記載のユニキャスト再配信装置。
マルチキャスト配信不可のネットワークを介してユニキャスト配信された画像データを受信してパケットのヘッダを書き換えて次のネットワークを介してマルチキャストまたはユニキャスト配信するユニキャスト再配信装置において、
前記パケットヘッダの書き換え後、画像を構成するパケットに関し、データ部分に画像データの先頭情報から最終情報が存在するパケットが存在するか順次調べてバッファに格納し、画像を構成する全パケットが存在した場合には対応するパケットを再配信し、一方、一つでもパケットロスが存在した場合には、バッファに格納したパケットをすべて破棄して再配信しないようにすることを特徴とするユニキャスト再配信装置。
受信したパケットのパケットシーケンスをチェックし、想定外のパケットシーケンスのパケットを受信した場合には該当パケットをバッファに一時的に格納し、当該格納したパケットのパケットシーケンスがそれ以降に受信したパケットのパケットシーケンスと関連がある場合にはこれらのパケットをパケットシーケンス順に並べ替えてから再配信することを特徴とするコンピュータで実行させるプログラム。
画像を構成するパケットに関し、データ部分に画像データの先頭情報から最終情報が存在するパケットが存在するか順次調べてバッファに格納し、画像を構成する全パケットが存在した場合には対応するパケットを再配信し、一方、一つでもパケットロスが存在した場合には、バッファに格納したパケットをすべて破棄して再配信しないようにすることを特徴とするコンピュータで実行させるプログラム。