JP2008271378A - 映像監視装置 - Google Patents

Abstract

【課題】再送処理における最大再送許容時間を適切に設定することができ、受信側で映像データを有効に利用することができる映像監視装置を提供する。
【解決手段】映像監視装置１は、監視対象を撮影した映像データをネットワークを介して映像受信装置に送信する。映像監視装置１は、映像データの送信条件を設定する送信条件設定部２３と、送信条件に従って映像データを送信するデータ送信部１９とを備える。送信条件設定部２３により設定される送信条件は、映像データの受領応答を受信しない場合の再送までの時間を規定するタイムアウト時間、および、タイムアウト時間に応じた再送処理を許容する最大経過時間を規定する最大再送許容時間を含み、送信条件設定部２３は、映像データの映像利用目的に応じて最大再送許容時間を可変設定する。
【選択図】 図１

Description

本発明は、監視対象を撮影した映像データをネットワークを介して映像受信装置に送信する映像監視装置に関する。

従来、監視カメラなどの映像監視装置が各種の施設に備えられている。最近では、ネットワーク技術の進展を背景として、ネットワークに対応した映像監視装置が開発されている。この種の映像監視装置は映像受信装置とネットワークを介して接続されて、映像監視システムを構成する。そして、監視映像が映像監視装置から映像受信装置へ送信されて、映像受信装置側でモニタに表示されたり、録画される。ネットワークを介した映像データの伝送には、ＴＣＰ（Transmission Control Protocol）を適用できる（例えば特許文献１参照）。

ＴＣＰでは、データの伝送を確実に行うために再送処理が行われる。再送処理では、タイムアウト値（ＲＴＯ）と再送回数が設定される。ＲＴＯは、受信側から受領応答（ＡＣＫ）が得られない場合にデータを再送するまで時間である。ＲＴＯは、データ伝送のラウンドトリップタイム（ＲＴＴ）の統計情報により求められる。データ送信側の装置は、データを送信して、データ受信側の装置からのＡＣＫを待ち、ＲＴＯが経過してもＡＣＫを受信しないときはデータを再送する（例えば、特許文献２参照）。

図１４は、従来の映像監視装置における再送処理の例を示す図である。ＲＴＯは１００ｍｓｅｃに設定され、再送回数は３回に設定されている。第１回目の再送は、画像フレームを送信してからＲＴＯが経過したときに行われる。第２回目の再送は、第１回目の再送からＲＴＯ×２（２００ｍｓｅｃ）が経過したときに行われる。第３回目の再送は、第２回目の再送からＲＴＯ×４（４００ｍｓｅｃ）が経過したときに行われる。

図示のように、従来の再送処理では、ＲＴＯと再送回数により、データを再送するか否かを判断する。図中の最大再送許容時間は、上記のようなＲＴＯに応じた再送処理を許容する最大経過時間である。映像監視装置は、最大回数の再送を行ってもＡＣＫが受信されないときは、対象データの送信を断念する。
特開２００６−２２２４９４号公報 特開２００４−２５３９３４号公報

しかしながら、従来の映像監視装置においては、映像利用目的と無関係に一律に再送処理が行われ、それにより最大再送許容時間も一律に決定されるために、伝送する映像データによっては最大再送許容時間が適切ではなく、そのために受信側で映像データを有効に利用できないことがあるという問題があった。

例えば、映像利用目的が、現在の監視映像を利用するライブ利用であり、リアルタイム性（即時性）が要求されるとする。また、映像フレームは一定間隔で送られるとする。従来のように、最大再送許容時間が映像利用目的と関係なく一律に設定されたとすると、最大再送許容時間が長すぎる場合がある。最大再送許容時間が長すぎると、最大再送許容時間内に再送が成功したとしても、再送されたデータはリアルタイム性の要求を満たせず、既に有益でなくなっている可能性がある。

本発明は、従来の問題を解決するためになされたもので、その目的は、最大再送許容時間を適切に設定して、受信側で映像データを有効に利用することのできる映像監視装置を提供することにある。

本発明の映像監視装置は、監視対象を撮影した映像データをネットワークを介して映像受信装置に送信する装置であって、前記映像データの送信条件を設定する送信条件設定部と、前記送信条件に従って前記映像データを送信するデータ送信部とを備え、前記送信条件設定部により設定される前記送信条件は、映像データの受領応答を受信しない場合における再送処理を許容する最大経過時間を規定する最大再送許容時間を含み、前記送信条件設定部は、前記映像データの映像利用目的に応じて前記最大再送許容時間を可変設定するように構成されている。

この構成により、映像データの映像利用目的に応じて最大再送許容時間を可変設定するので、最大再送許容時間を適切に設定することができ、受信側で映像データを有効に利用することができる。

また、本発明の映像監視装置は、前記映像受信装置から前記映像利用目的の情報を含む映像要求メッセージを受信するデータ受信部と、前記映像要求メッセージを解析して前記映像利用目的を特定する要求解析部とを備え、前記送信条件設定部は、前記要求解析部により解析された前記映像利用目的に応じて前記最大再送許容時間を設定するように構成されている。

この構成により、映像受信装置からの映像要求メッセージを解析して映像利用目的を特定するので、映像受信装置間での映像利用目的の相違に容易に対処でき、また、一つの映像受信装置における映像利用目的の変化にも対処でき、したがって、最大再送許容時間を容易に適切に設定できる。

また、本発明の映像監視装置において、前記送信条件設定部は、前記映像利用目的が受信映像をリアルタイムで表示するライブ利用か受信映像を録画する録画利用であるかに応じて、前記録画利用の前記最大再送許容時間と比較して前記ライブ利用の前記最大再送許容時間を短く設定する。

この構成により、ライブ利用と録画利用といった映像利用目的の相違によって最大再送許容時間を適切に設定できる。そして、録画利用では伝送の確実性の観点で最大再送許容時間を適切に設定するとともに、ライブ利用では最大再送許容時間の短縮によってリアルタイム性の要求に応えることができる。

また、本発明の映像監視装置において、前記送信条件設定部は、前記映像利用目的が前記ライブ利用である場合に、前記最大再送許容時間を前記映像データのフレーム間隔に設定する。この構成により、ライブ利用でのリアルタイム性の要求に応えられるように最大再送許容時間を適切に設定できる。この構成では、映像データは例えばＪＰＥＧデータである。

また、本発明の映像監視装置において、前記映像データは、フレーム間予測を行わないＩフレームとフレーム間予測を行うＰフレームを含むデータであり、前記送信条件設定部は、前記映像利用目的が前記ライブ利用である場合に前記最大再送許容時間をＩフレーム同士の間隔に設定し、前記データ送信部は、１つのＩフレームの生成から前記最大再送許容時間が経過するまで、前記Ｉフレームおよびその後のＰフレームの再送処理を行う。

この構成により、映像利用目的がライブ利用であるときの最大再送許容時間をＩフレーム同士の間隔に設定することにより、ライブ利用でのリアルタイム性の要求に応えられるように最大再送許容時間を適切に設定できる。フレーム間予測により生成される映像データは、例えばＨ．２６４またはＭＰＥＧのデータである。

また、本発明の映像監視装置は、前記ネットワークに対するデータ伝送の実効レートを監視する伝送路監視部と、映像データの生成処理を制御する映像生成制御部とを備え、前記映像生成制御部は、前記実効レートが低下したときに、前記映像利用目的に応じて、映像生成におけるフレームレートおよび画質を制御する。

この構成により、映像利用目的の情報を映像生成処理の制御にも利用して、データ伝送の実効レート（ビットレート）が低下したときに、映像利用目的に応じた適切なかたちで、映像監視装置での映像生成のビットレートを下げられる。例えば、映像利用目的が録画利用であればフレームレートを優先して下げて画質を確保し、映像利用目的がライブ利用であれば画質を優先して下げて動きのなめらかさを確保する、といった適切な制御が可能になる。

また、本発明の映像監視装置において、前記データ送信部は、映像データのヘッダを生成するヘッダ生成部と、前記ヘッダを有する前記映像データを送信する送信処理部とを備え、前記ヘッダ生成部は、Ｉフレームを識別するデータを含むＴＯＳフィールドを生成し、前記送信処理部は、前記ＴＯＳフィールドからＩフレームの前記映像データを特定するように構成されている。

この構成により、データ送信部は、ヘッダのＴＯＳフィールドを参照することにより、連続する映像フレームのうちのＩフレームを容易に特定でき、送信条件に従って次のＩフレームを送信する送信処理を容易に行える。

また、本発明の映像監視システムは、映像監視装置と映像受信装置がネットワークを介して接続され、前記映像監視装置から前記映像受信装置へ、監視対象を撮影した映像データを前記ネットワークを介して送信するシステムであって、前記映像受信装置は、前記映像データの映像利用目的を含む映像要求メッセージを前記映像監視装置へ送信し、前記映像監視装置は、前記映像データの送信条件を設定する送信条件設定部と、前記送信条件に従って前記映像データを送信するデータ送信部とを備え、前記送信条件設定部により設定される前記送信条件は、映像データの受領応答を受信しない場合における再送処理を許容する最大経過時間を規定する最大再送許容時間を含み、前記送信条件設定部は、前記映像要求メッセージから解析される前記映像利用目的に応じて前記最大再送許容時間を可変設定する。この構成によっても上述した本発明の利点が得られる。

また、本発明の映像監視方法は、監視対象を撮影した映像データをネットワークを介して映像受信装置に送信する方法であって、前記映像データの送信条件を設定する送信条件設定ステップと、前記送信条件に従って前記映像データを送信するデータ送信ステップとを有し、前記送信条件設定ステップにより設定される前記送信条件は、映像データの受領応答を受信しない場合における再送処理を許容する最大経過時間を規定する最大再送許容時間を含み、前記送信条件設定ステップは、前記映像データの映像利用目的に応じて前記最大再送許容時間を可変設定する。この方法によっても上述した本発明の利点が得られる。

本発明は、映像データの映像利用目的に応じて最大再送許容時間を可変設定する構成を設けることにより、最大再送許容時間を適切に設定することができ、受信側で映像データを有効に利用できるという効果を有する映像監視装置を提供することができる。

以下、本発明の実施の形態に係る映像監視装置について、図面を用いて説明する。

本発明の第１の実施の形態に係る映像監視装置を図１に示す。また、映像監視装置が設けられる映像監視システムを図２に示す。まず、図２を参照すると、映像監視システム１００においては、映像監視装置１と映像受信装置３とがネットワーク５を介して接続されている。映像データはＴＣＰのデータ伝送により映像監視装置１からネットワーク５を介して映像受信装置３へと送信される。

本実施の形態の例では、映像監視装置１はネットワーク送受信機能を備えた監視カメラである。ただし、映像監視装置１は監視カメラに限定されず、例えば、ネットワーク送受信機能を備えたエンコーダでもよい。この場合はエンコーダがカメラに接続され、カメラからの入力映像がエンコーダで符号化されて、ネットワーク５に送出される。

一方、映像受信装置３は、例えば、監視室などに備えられる監視制御装置である。映像受信装置３は、映像要求メッセージを映像監視装置１に送信して、映像監視装置１から映像データを受信する。映像受信装置３では、受信映像がモニタに表示されたり、録画される。

図２では、１つの映像監視装置１と１つの映像受信装置３が示されている。しかし、複数の映像監視装置１が設けられてよく、また、複数の映像受信装置３が設けられてよい。そして、任意の映像監視装置１から任意の映像受信装置３へと映像データが送信されてよい。

次に、図１を参照し、映像監視装置１の構成について説明する。図示のように、映像監視装置１は、撮像部１１、映像生成部１３および送受信部１５を備え、送受信部１５はデータ受信部１７とデータ送信部１９で構成されている。また、映像監視装置１は、本実施の形態における送信条件の制御に関連して、要求解析部２１、送信条件設定部２３および送信条件記憶部２５を備えている。

撮像部１１は、レンズ、撮像素子、信号処理回路等で構成され、被写体の映像を生成する。映像生成部１３は、撮像部１１からの入力映像信号を処理して送信用の映像データを生成する。本実施の形態では、ＪＰＥＧの映像データが想定されており、映像生成部１３は、ＪＰＥＧ形式の画像フレームデータを一定の時間間隔で次々と生成する。

なお、前述のように、本実施の形態では、映像監視装置１が監視カメラに限定されず、例えばエンコーダでよい。映像監視装置１がエンコーダの場合、監視カメラから映像が入力され、入力映像から映像データが生成される。

送受信部１５はネットワーク５との通信を行う構成であり、データ受信部１７がネットワーク５からデータを受信し、データ送信部１９がネットワーク５へデータを送信する。映像受信装置３との通信においては、データ受信部１７が映像受信装置３から映像要求メッセージを受信し、データ送信部１９が映像データを映像受信装置３へ送信する。

要求解析部２１は、データ受信部１７により受信された映像要求メッセージを解析する処理を行う。送信条件設定部２３は、映像データの送信条件を設定する構成であり、送信条件は、要求解析部２１による解析結果に応じて設定される。また、送信条件の設定処理では、送信条件記憶部２５に記憶された条件テーブルが参照される。

図３は映像要求メッセージの例を示している。映像要求メッセージは、映像利用目的と要求フレームレートの情報を含んでいる。上側の例では、映像利用目的が録画利用（ｒｅｃｏｒｄ）であり、要求フレームレートが、１秒当たり５フレーム（ＦＰＳ＝５）である。下側の例では、映像利用目的がライブ利用（ｌｉｖｅ）であり、要求フレームレートが、１秒当たり５フレーム（ＦＰＳ＝５）である。録画利用の目的は、受信側で映像を録画することであり、リアルタイム性よりも確実性が要求される。ライブ利用の目的は、受信側で現在の映像をリアルタイムにモニタに表示することであり、確実性よりもリアルタイム性（即時性）が要求される。

図４は、送信条件記憶部２５に記憶される条件テーブルの例を示している。条件テーブルは、映像データ伝送における要求条件と送信条件を対応付けるテーブルである。要求条件は、ここでは映像利用目的であり、具体的には録画利用およびライブ利用である。送信条件は、再送タイムアウト時間（ＲＴＯ）、再送回数および最大再送許容時間である。ＲＴＯは、映像データの受領応答を受信しない場合の再送までの時間を規定する。再送回数は、再送を行う回数の上限値である。最大再送許容時間は、タイムアウト時間に応じた再送処理を許容する最大経過時間（より詳細には最初のデータ送信からの最大経過時間）を規定する。

図示のように、要求条件すなわち映像利用目的が「録画」の場合、ＲＴＯが１００ｍｓｅｃであり、再送回数が３であり、最大再送許容時間が１１００ｍｓｅｃである。一方、映像利用目的が「ライブ」の場合、ＲＴＯが１００ｍｓｅｃであり、再送回数が１であり、最大再送許容時間が１つのフレーム間隔である。図３の要求メッセージの例では、要求フレームレートが１秒当たり５フレームなので、フレーム間隔が２００ｍｓｅｃになる。

送信条件設定部２３は、送信条件記憶部２５を参照して、要求解析部２１により解析された映像利用目的に対応する送信条件を読み出す。送信条件設定部２３は、読み出した送信条件を、送信時に使用すべき送信条件として設定する。映像利用目的がライブの場合、最大再送許容時間は要求フレームレートから算出されてよい。データ送信部１９は、設定された送信条件に従って映像データを送信する。

図５は、図４の送信条件を図で表している。図５において、映像利用目的が録画である場合、送信条件は、ＲＴＯ＝１００ｍｓｅｃ、再送回数＝３、最大再送許容時間＝１１００ｍｓｅｃである。最初の送信後の応答待ち時間（ＡＣＫ待ち時間）は、ＲＴＯ（＝１００ｍｓｅｃ）に等しい。第１回の再送後の応答待ち時間は、ＲＴＯ×２（＝２００ｍｓｅｃ）である。この応答待ち時間は、第１回と第２回の再送間隔に相当しており、第１回の再送後にＲＴＯ×２の時間はＡＣＫを待ち、それから第２回の再送が行われる。さらに、第２回の再送後の応答待ち時間は、ＲＴＯ×４（＝４００ｍｓｅｃ）であり、第３回の再送後の応答待ち時間も、ＲＴＯ×４（＝４００ｍｓｅｃ）である。第３回の再送後に応答待ち時間が経過したとき、最初の送信からの経過時間が１１００ｍｓｅｃになり、最大再送許容時間が経過し、それ以上の再送は行われない。上記のように応答待ち時間はＲＴＯの倍数であって、段階的に長くなるが、このような応答待ち時間の規則（倍数の規定）も送信条件として設定される。

一方、映像利用目的が「ライブ」である場合、送信条件は、ＲＴＯ＝１００ｍｓｅｃ、再送回数＝１、最大再送許容時間＝フレーム間隔（＝２００ｍｓｅｃ）である。最初の送信後の応答待ち時間（ＡＣＫ待ち時間）は、ＲＴＯ（＝１００ｍｓｅｃ）に等しい。再送後の応答待ち時間は、ＲＴＯ×２（＝２００ｍｓｅｃ）である。また、最大再送許容時間はフレーム間隔に等しい２００ｍｓｅｃであり、１回の再送後の応答待ち時間中に終了する。このように録画利用と比べてライブ利用の最大再送許容時間は大幅に短く設定されている。

上述したように、本実施の形態では、送信条件が映像利用目的に応じて異なって設定される。特に、本実施の形態では、最大再送許容時間が映像利用目的に応じて異なって設定されて、これにより以下に説明するように適切なデータ伝送が行われる。

以上に本発明の実施の形態に係る映像監視装置１の構成について説明した。次に、映像監視装置１の動作について説明する。

図６および図７は、映像監視装置１の動作を示すフロー図である。図６は、映像要求の受信から映像データの生成までの動作である。

図６に示すように、データ受信部１７がネットワーク５を介して映像受信装置３から映像要求メッセージを受信すると（Ｓ１）、要求解析部２１が映像要求メッセージを解析してデータ要求内容を求める（Ｓ３）。ここでは、映像利用目的と要求フレームレートが求められる。送信条件設定部２３は、ステップＳ３で求められたデータ要求内容に応じて送信条件を設定する（Ｓ５）。この設定処理では、映像利用目的に対応する送信条件が送信条件記憶部２５から読み出され、送信時に使用すべき条件として設定される。

次に、映像生成部１３が、撮像部１１から入力される映像から、送信用の映像データを生成する（Ｓ７）、生成した映像データの送信をデータ送信部１９に対して要求する（Ｓ９）。そして、映像生成部１３は、映像送信の中止の要求の有無を判定する（Ｓ１１）。中止要求がデータ受信部１７により受信されていれば、ステップＳ１１がＹｅｓになり、処理が終了する。中止要求が受信されていなければ、ステップＳ７に戻り、映像データ生成と送信要求が繰り返される。

図７は、図６の処理で生成された映像データを送信する動作を示しており、具体的にはパケット送信が行われる。図６のステップＳ７でデータ送信要求が発生したとする。図７に示すように、データ送信要求が有ると（Ｓ２１）、データ送信部１９は、映像データを送信し（Ｓ２３）、そして、送受信部１５が、映像受信装置３からの応答の有無を判定する（Ｓ２５）。ここでは、送信条件のＲＴＯが参照される。ＲＴＯに応じた応答待ち時間が経過する前にデータ受信部１７が映像受信装置３からＡＣＫを受信すると、応答が有りになり（Ｓ２５、Ｎｏ）、処理が終了し、次のパケットデータが送信される。

一方、ＲＴＯに応じた応答待ち時間が経過してもデータ受信部１７が映像受信装置３からＡＣＫを受信しない場合、応答が無しになり（Ｓ２５、Ｙｅｓ）、データ送信部１９は、再送が必要か否かを判断する再送判定を行う（Ｓ２７）。ここでは、データ送信部１９が、図６のステップＳ５で設定された再送条件を参照して、再送が必要か否かを判定する。再送が必要であれば（Ｓ２７、Ｙｅｓ）、データが再送され（Ｓ２９）、ステップＳ２５に戻る。

再送が不要で有れば（Ｓ２７、Ｎｏ）、処理が終了する。本実施の形態では、送信条件として、最大再送許容時間が設定されており、最大再送許容時間が経過していれば、ステップＳ２７の判定がＮｏになり、処理が終了する。

次に、図８を参照し、具体例を用いて本実施の形態に係る映像監視装置１の動作を説明する。図８は、図５の送信条件に従った送信動作のタイムチャートを示している。図８の上段に示すように、本実施の形態では映像データは、ＪＰＥＧの画像フレームであり、等時間間隔（２００ｍｓｅｃ）で生成される。

図８の中段は、映像利用目的が「録画」である場合の送信条件に従った送信動作である。図の例では、最初のフレーム１のデータ送信が行われて、ＲＴＯ（＝１００ｍｓｅｃ）が経過してもＡＣＫが受信されない。そこで、第１回の再送が行われる。第１回の再送後にＲＴＯ×２が経過してもＡＣＫが受信されない。このとき、最初の送信から３００ｍｓｅｃが経過しており、フレーム２が既に生成されている。しかし、最大再送許容時間はまだ経過していない。そこで、第２回の再送が行われる。第２回の再送にてＡＣＫが受信され、フレーム２が送信される。さらに、フレーム２のＡＣＫが受信され、フレーム３が送信される。

図８の下段は、映像利用目的が「ライブ」である場合の送信条件に従った送信動作である。図の例では、最初のフレーム１のデータ送信が行われて、ＲＴＯ（＝１００ｍｓｅｃ）が経過してもＡＣＫが受信されない。そこで、第１回の再送が行われる。第１回の再送後にＲＴＯ×２が経過してもＡＣＫが受信されない。このとき、最初の送信から３００ｍｓｅｃが経過しており、フレーム２が既に生成されている。しかも、最大再送許容時間（フレーム期間＝２００ｍｓｅｃ）が既に経過している。最大再送許容時間が経過しているので、フレーム１の送信は中止される。そして、フレーム２が送信される。

このように映像利用目的が「ライブ」のときは、次のフレーム２の送信準備ができると、送信に失敗した前のフレーム１の再送をせずにフレーム２が送信される。そして、フレーム２のＡＣＫが受信されると、続いてフレーム３が送信される。

上記の例に示したように、映像利用目的が「録画」である場合、データ伝送の確実性の観点から最大再送許容時間が長く設定されており、フレーム１が遅くなっても映像受信装置３に届けられる。一方、映像利用目的が「ライブ」である場合、リアルタイム性の観点から最大再送許容時間が短く設定されており、フレーム１は映像受信装置３に届かないとしても、次のフレーム２、３を早期に映像受信装置３に送ることができる。

以上に、本発明の第１の実施の形態に係る映像監視装置１について説明した。本実施の形態によれば、映像データの映像利用目的に応じて最大再送許容時間が可変設定されるので、最大再送許容時間を適切に設定することができ、受信側で映像データを有効に利用することができる。

また、本実施の形態によれば、映像受信装置からの映像要求メッセージが解析されて映像利用目的が特定される。これにより、映像受信装置間での映像利用目的の相違に容易に対処でき、また、一つの映像受信装置における映像利用目的の変化にも対処でき、したがって、最大再送許容時間を容易に適切に設定できる。

また、本実施の形態によれば、映像利用目的が受信映像をリアルタイムで表示するライブ利用か受信映像を録画する録画利用であるかに応じて、録画利用の最大再送許容時間と比較してライブ利用の最大再送許容時間が短く設定される。これにより、ライブ利用と録画利用といった映像利用目的の相違によって最大再送許容時間を適切に設定できる。そして、録画利用では伝送の確実性の観点で最大再送許容時間を適切に設定するとともに、ライブ利用では最大再送許容時間の短縮によってリアルタイム性の要求に応えることができる。

また、本実施の形態によれば、映像利用目的がライブ利用である場合に、最大再送許容時間が映像データのフレーム間隔に設定される。これにより、ライブ利用でのリアルタイム性の要求に応えられるように最大再送許容時間を適切に設定できる。

次に、本発明の第２の実施の形態に係る映像監視装置について説明する。上述の第１の実施の形態では映像データが、フレーム間予測を伴わないＪＰＥＧデータであった。これに対して、第２の実施の形態では、映像データが、フレーム間予測により生成されるデータであり、より詳細には、Ｈ．２６４、ＭＰＥＧ−４などの動画像圧縮データである。ここでは、例として、映像データがＨ．２６４データであるとする。また、以下では、上述の第１の実施の形態と共通する事項の説明は省略する。

図９は、本実施の形態の映像監視装置を示している。図９において、概略的には、映像監視装置３１は、第１の実施の形態と同様の構成に加えて、伝送路監視部６１と映像生成制御部６３とを有している。

図９において、映像生成部４３は、撮像部４１からの入力映像信号を処理して、Ｈ．２６４の映像データを生成する。この映像データは、フレーム間予測を行うことにより生成される。より詳細には、ＩフレームとＰフレームが生成され、Ｐフレームの作成にフレーム間予測が用いられる（Ｉフレームの生成ではフレーム間予測は行われない）。また、本実施の形態の例では、Ｐフレームの枚数が２枚である。すなわち、１枚のＩフレームに続いて２枚のＰフレームが生成される。

送受信部４５のデータ受信部４７は、図１０に示されるように、Ｈ．２６４の映像データを要求する映像要求メッセージを受信する。この映像要求メッセージが要求解析部５１により解析されて、映像利用目的が特定される。図１０において、上側の例では、映像利用目的が録画（ｒｅｃｏｒｄ）であり、下側の例では、映像利用目的がライブ（ｌｉｖｅ）である。また、両者においては、ビットレートの要求値が５Ｍｂｐｓである。この要求ビットレートは後述する映像生成制御に利用される。

送信条件記憶部５５は、第１の実施の形態と同様に、送信条件を規定する条件テーブルを記憶している。ただし、本実施の形態では、映像利用目的がライブ利用の場合の送信条件が第１の実施の形態と異なっている。具体的には、送信条件のうちの最大再送許容時間が、Ｉフレーム間隔に設定されている。Ｉフレーム間隔は、１つのＩフレーム生成から次のＩフレーム生成までの時間である。本実施の形態の例では、上述のようにＩフレームの後に２枚のＰフレームが生成される（Ｉ、Ｐ、Ｐ、Ｉ・・・）。したがって、Ｉフレーム間隔は、具体的には３フレーム分の時間である。

また、第１の実施の形態の例では、映像利用目的がライブの場合、再送回数が１回であった。これに対して、本実施の形態では、再送回数が２回に設定される。第２回の再送後の応答待ち時間は、映像利用目的が録画の場合と同じく、ＲＴＯ×４に設定される。

送信条件設定部５３は、送信条件記憶部５５を参照して、映像要求メッセージから特定された映像利用目的に対応する送信条件を設定する。そして、データ送信部４９は、設定された送信条件に従って映像データを送信する。

伝送路監視部６１は、ネットワーク５に対するデータ伝送の実効レート（ビットレート）を監視する。映像要求メッセージ中の要求レート（図１０の例では５Ｍｂｐｓ）と比べて実効レートが低下すると、映像生成制御部６３が、映像生成でのビットレート（映像監視装置１で生成される映像のビットレート）を下げるように映像生成処理のフレームレートおよび画質を制御する。このとき、映像利用目的に応じて異なる制御が行われる。具体的には、映像利用目的が録画である場合はフレームレートを優先的に下げる制御が行われ、映像利用目的がライブである場合は画質を優先的に下げる制御が行われる。

以上に、本実施の形態における映像監視装置３１の構成について説明した。次に、映像監視装置３１の動作を説明する。概略的には、本実施の形態の映像監視装置３１は、第１の実施の形態と同様、図６および図７のフロー図に従って動作する。

図１１は、本実施の形態におけるデータ送信動作の例を示すタイムチャートである。図１１の上段に示されるように、Ｉ、Ｐ、Ｐ、Ｉの順でフレームが生成され、Ｉフレームの間隔は、３フレーム分である。

図１１の中段は、映像利用目的が「録画」である場合の送信条件に従った送信動作である。図の例では、フレーム１（１つ目のＩフレーム）のデータ送信が行われて、ＲＴＯ（＝１００ｍｓｅｃ）が経過してもＡＣＫが受信されない。そこで、第１回の再送が行われる。第１回の再送後にＲＴＯ×２が経過してもＡＣＫが受信されない。そこで、第２回の再送が行われる。第２回の再送にてＡＣＫが受信され、次に、フレーム２（Ｐフレーム）が送信される。

フレーム２についても、最初のデータ送信が行われて、ＲＴＯ（＝１００ｍｓｅｃ）が経過してもＡＣＫが受信されない。そこで、第１回の再送が行われる。第１回の再送後にＲＴＯ×２が経過してもＡＣＫが受信されない。このとき、フレーム４（２つ目のＩフレーム）が既に生成されているが、最大再送許容時間はまだ経過していない。そこで、第２回の再送が行われる。第２回の再送にてＡＣＫが受信され、次に、フレーム３（Ｐフレーム）が送信される。さらに、フレーム３のＡＣＫが受信され、フレーム４（次のＩフレーム）が送信される。

図１１の下段は、映像利用目的がライブである場合の送信条件に従った送信動作である。図の例では、最初のフレーム１のデータ送信が行われて、ＲＴＯ（＝１００ｍｓｅｃ）が経過してもＡＣＫが受信されない。そこで、第１回の再送が行われる。第１回の再送後にＲＴＯ×２が経過してもＡＣＫが受信されない。そこで、第２回の再送が行われる。第２回の再送にてＡＣＫが受信され、次に、フレーム２（Ｐフレーム）が送信される。

フレーム２についても、最初のデータ送信が行われて、ＲＴＯ（＝１００ｍｓｅｃ）が経過してもＡＣＫが受信されない。そこで、第１回の再送が行われる。第１回の再送後に、フレーム４（次のＩフレーム）が生成され、最大再送許容時間が経過する。そこで、フレーム２の送信は中止される。フレーム３（Ｐフレーム）も送信されずに終わる。そして、フレーム４が送信される。

このように、本実施の形態では、第１の実施の形態におけるＪＰＥＧ送信とはライブ時の処理が異なり、次のＩフレームまでは再送が行われる。そして、次のＩフレームの再送準備ができたら、それまでに送信されていない未送信のフレームは、Ｉフレームであっても、Ｐフレームであっても、送信されずに終わる。

図１２は、伝送路監視部６１および映像生成制御部６３による送信レート調整動作を示している。図示のように、伝送路監視部６１は、ネットワーク５に対するデータ伝送の実効レートを監視する（Ｓ３１）。実効レートは要求レートと比較される。要求レートは要求解析部５１により映像要求メッセージから求められ、図１０の例では要求レートが５Ｍｂｐｓである。実効レートが要求レートに満たないと、映像生成制御部６３が映像生成のフレームレートおよび画質を制御して、映像生成側のビットレートを低下させる。このとき、映像生成制御部６３は、要求解析部５１により解析された映像利用目的が録画利用か否かを判定する（Ｓ３３）。映像利用目的は、送信条件設定部５３により設定された送信条件から求められてもよい。映像利用目的が録画利用で有れば（Ｓ３３、Ｙｅｓ）、映像生成制御部６３は、フレームレートを優先して下げるように映像生成部４３を制御する（Ｓ３５）。これにより、画質は良好に維持される。また、映像利用目的がライブ利用であれば（Ｓ３３、Ｎｏ）、映像生成制御部６３は、画質を優先して下げるように映像生成部４３を制御する（Ｓ３７）。この処理では圧縮率が上げられる。これにより、フレームレートを優先して維持することにより動きのなめらかさが維持される。このようにして、映像利用目的に応じた制御を行うことにより、録画利用の場合の画質やライブ利用におけるリアルタイム性といった目的毎の要求を満たすことができる。

以上に、第２の実施の形態に係る映像監視装置３１の動作を説明した。次に、第２の実施の形態の応用例について説明する。この応用例では、Ｉフレームを識別可能なヘッダ情報が生成される。そして、ヘッダ情報を利用して再送制御が行われる。

図１３は、この応用例におけるデータ伝送部４９の構成を示している。データ送信部４９はヘッダ生成部７１と送信処理部７３で構成されている。

ヘッダ生成部７１は、映像のパケットデータに付加されるべきヘッダを生成する構成であり、特に、ＩＰヘッダのＴＯＳ（ｔｙｐｅ ｏｆ ｓｅｒｖｉｃｅ）フィールドにて、Ｉフレーム（Ｉピクチャ）とＰフレーム（Ｐピクチャ）を区別する値を設定する。生成されるＴＯＳフィールドデータは、例えば以下の通りである。
Ｉフレーム：１０００１１（先頭パケット）
Ｉフレーム：１０００１０（先頭以外のパケット）
Ｐフレーム：１００１０１（先頭パケット）
Ｐフレーム：１００１００（先頭以外のパケット）

上記においては、前側の５ビットが、ＩフレームとＰフレームで異なっている。また、各フレームの先頭パケットでは、最終ビットが１であり、先頭以外のパケットでは最終ビットが０である。したがって、ＴＯＳフィールドから、ＩフレームとＰフレームを識別でき、各フレームの先頭パケットも識別できる。

送信処理部７３は、前述したように送信条件に従って映像データを送信する構成である。このとき、送信処理部７３は、各パケットのヘッダ中のＴＯＳフィールドの値を参照し、各パケットがＩフレームのパケットかＰフレームのパケットかを識別し、各パケットを再送するか、それとも次のパケットを送信するかを判断する。送信処理部７３は、Ｉフレームの先頭パケットを認識すると、未送信パケット（ＡＣＫを未受信のパケット）をもう再送しない。そして、送信処理部７３は、認識されたＩフレームのパケットの送信を開始する。

このようにして、本実施の形態では、ＴＯＳフィールドを使ってＩフレームとＰフレームの優先度が区別される。Ｉフレームの優先度がＰフレームのよりも高い。そこで、次の優先データであるＩフレームが認識されるまでは、再送処理が行われる。

上記の応用例において、Ｉフレームの先頭パケットの発生は、第２の実施の形態における最大再送許容時間が経過したことを意味する。したがって、上記の処理によっても、データ伝送部７３は、送信条件の最大再送許容時間が経過したことを判別でき、最大再送許容時間が経過したときに次のＩフレームの映像データの送信を開始する処理を好適に行える。

また、上記の応用例では、Ｉ／Ｐフレームを識別可能にＴＯＳフィールドが構成されるので、送信処理部７３はメディアヘッダまで見ないでもＩフレームのパケットを特定でき、本実施の形態の送信条件に従ったデータ送信を容易にできる。

また、本実施の形態では、１つのフレームが複数のパケットに分割されることを考慮し、上述のように各フレームの先頭パケットを識別する識別情報が付加されている。これにより、送信処理部７３は、フレームの区切りを認識することができ、次のＩフレームの始まりも認識することができる。

また、本実施の形態では、中継機器を経由する場合、中継機器にてＴＯＳフィールドを参照することにより、パケットを再送するか否かを判定することも可能になる。

以上に本発明の第２の実施の形態に係る映像監視装置３１について説明した。本実施の形態においても、第１の実施の形態と同様に、映像データの映像利用目的に応じて最大再送許容時間を可変設定するので、最大再送許容時間を適切に設定することができ、受信側で映像データを有効に利用することができる。

また、本実施の形態では、映像データは、Ｈ．２６４／ＭＰＥＧ−４等のデータであり、フレーム間予測を行わないＩフレームとフレーム間予測を行うＰフレームを含むデータである。そして、映像利用目的がライブ利用である場合に最大再送許容時間がＩフレーム同士の間隔に設定される。データ送信処理では、１つのＩフレームの生成から最大再送許容時間が経過するまで、Ｉフレームおよびその後のＰフレームの再送処理が行われる。これにより、ライブ利用でのリアルタイム性の要求に応えられるように最大再送許容時間を適切に設定できる。

また、本実施の形態では、ネットワークに対するデータ伝送の実効レートが監視される。そして、実効レートが低下したときに映像利用目的に応じて、映像生成におけるフレームレートおよび画質が制御される。これにより、映像利用目的の情報を映像生成処理の制御にも利用して、データ伝送の実効レートが低下したときに、映像利用目的に応じた適切なかたちで、映像生成側のビットレートを下げられる。上述の例のように、映像利用目的が録画利用であればフレームレートを優先して下げて画質を確保し、映像利用目的がライブ利用であれば画質を優先して下げて動きのなめらかさを確保する、といった適切な制御が可能になる。

また、本実施の形態では、ヘッダ生成処理において、Ｉフレームを識別するデータを含むＴＯＳフィールドが生成される。そして、ＴＯＳフィールドからＩフレームの映像データが特定される。この構成により、データ送信部は、ヘッダのＴＯＳフィールドを参照することにより、連続する映像フレームのうちのＩフレームを容易に特定でき、送信条件に従って次のＩフレームを送信する送信処理を容易に行える。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる映像監視装置は、最大再送許容時間を適切に設定することができ、受信側で映像データを有効に利用することができるという効果を有し、ネットワークに接続される監視カメラ等として有用である。

本発明の第１の実施の形態における映像監視装置のブロック図 映像監視装置が設けられる映像監視システムを示す図 映像要求メッセージの例を示す図 送信条件記憶部に記憶される条件テーブルの例を示す図 映像利用目的が録画およびライブであるときの送信条件を示す図 映像監視装置の動作を示すフロー図 映像監視装置の動作を示すフロー図 映像監視装置の動作例のタイムチャートを示す図 本発明の第２の実施の形態における映像監視装置のブロック図 映像要求メッセージの例を示す図 映像監視装置の動作例のタイムチャートを示す図 映像監視装置による送信レート調整動作を示すフロー図 データ伝送部の構成を示す図 従来の映像監視装置における再送処理の例を示す図

符号の説明

１ 映像監視装置
３ 映像受信装置
５ ネットワーク
１１ 撮像部
１３ 映像生成部
１５ 送受信部
１７ データ受信部
１９ データ送信部
２１ 要求解析部
２３ 送信条件設定部
２５ 送信条件記憶部

Claims (9)

1. 監視対象を撮影した映像データをネットワークを介して映像受信装置に送信する映像監視装置であって、
   前記映像データの送信条件を設定する送信条件設定部と、前記送信条件に従って前記映像データを送信するデータ送信部とを備え、前記送信条件設定部により設定される前記送信条件は、映像データの受領応答を受信しない場合における再送処理を許容する最大経過時間を規定する最大再送許容時間を含み、前記送信条件設定部は、前記映像データの映像利用目的に応じて前記最大再送許容時間を可変設定することを特徴とする映像監視装置。
2. 前記映像受信装置から前記映像利用目的の情報を含む映像要求メッセージを受信するデータ受信部と、前記映像要求メッセージを解析して前記映像利用目的を特定する要求解析部とを備え、前記送信条件設定部は、前記要求解析部により解析された前記映像利用目的に応じて前記最大再送許容時間を設定することを特徴とする請求項１に記載の映像監視装置。
3. 前記送信条件設定部は、前記映像利用目的が受信映像をリアルタイムで表示するライブ利用か受信映像を録画する録画利用であるかに応じて、前記録画利用の前記最大再送許容時間と比較して前記ライブ利用の前記最大再送許容時間を短く設定することを特徴とする請求項１または２に記載の映像監視装置。
4. 前記送信条件設定部は、前記映像利用目的が前記ライブ利用である場合に、前記最大再送許容時間を前記映像データのフレーム間隔に設定することを特徴とする請求項３に記載の映像監視装置。
5. 前記映像データは、フレーム間予測を行わないＩフレームとフレーム間予測を行うＰフレームを含むデータであり、前記送信条件設定部は、前記映像利用目的が前記ライブ利用である場合に前記最大再送許容時間をＩフレーム同士の間隔に設定し、前記データ送信部は、１つのＩフレームの生成から前記最大再送許容時間が経過するまで、前記Ｉフレームおよびその後のＰフレームの再送処理を行うことを特徴とする請求項３に記載の映像監視装置。
6. 前記ネットワークに対するデータ伝送の実効レートを監視する伝送路監視部と、
   映像データの生成処理を制御する映像生成制御部とを備え、
   前記映像生成制御部は、前記実効レートが低下したときに、前記映像利用目的に応じて、映像生成におけるフレームレートおよび画質を制御することを特徴とする請求項５に記載の映像監視装置。
7. 前記データ送信部は、映像データのヘッダを生成するヘッダ生成部と、前記ヘッダを有する前記映像データを送信する送信処理部とを備え、前記ヘッダ生成部は、Ｉフレームを識別するデータを含むＴＯＳフィールドを生成し、前記送信処理部は、前記ＴＯＳフィールドからＩフレームの前記映像データを特定することを特徴とする請求項５または６に記載の映像監視装置。
8. 映像監視装置と映像受信装置がネットワークを介して接続され、前記映像監視装置から前記映像受信装置へ、監視対象を撮影した映像データを前記ネットワークを介して送信する映像監視システムであって、
   前記映像受信装置は、前記映像データの映像利用目的を含む映像要求メッセージを前記映像監視装置へ送信し、
   前記映像監視装置は、前記映像データの送信条件を設定する送信条件設定部と、前記送信条件に従って前記映像データを送信するデータ送信部とを備え、前記送信条件設定部により設定される前記送信条件は、映像データの受領応答を受信しない場合における再送処理を許容する最大経過時間を規定する最大再送許容時間を含み、前記送信条件設定部は、前記映像要求メッセージから解析される前記映像利用目的に応じて前記最大再送許容時間を可変設定することを特徴とする映像監視システム。
9. 監視対象を撮影した映像データをネットワークを介して映像受信装置に送信する映像監視方法であって、
   前記映像データの送信条件を設定する送信条件設定ステップと、前記送信条件に従って前記映像データを送信するデータ送信ステップとを有し、前記送信条件設定ステップにより設定される前記送信条件は、映像データの受領応答を受信しない場合における再送処理を許容する最大経過時間を規定する最大再送許容時間を含み、前記送信条件設定ステップは、前記映像データの映像利用目的に応じて前記最大再送許容時間を可変設定することを特徴とする映像監視方法。

Images