JP2015119374A - 映像処理装置 - Google Patents

Abstract

【課題】ネットワークが混雑した場合に、優先度の高い映像フレームを選択して低レートで伝送を続けるとともに、内部メモリに優先度の高いデータを長時間蓄積できるようにする。【解決手段】カメラ１１０は、イベント毎に、圧縮された画像データ及び画像データの優先度を示す第１の優先度を含む優先度処理フレームとともに、イベントの優先度を示す第２の優先度を記憶し、ネットワーク１５０が混雑している場合に、第１の優先度が第１の閾値以上で、かつ、第２の優先度が第２の閾値以上である優先度処理フレームに含まれている圧縮された画像データを情報処理装置１３０に送信するとともに、記憶しているデータ量が第３の閾値以上となった場合には、第１の優先度及び第２の優先度の低い優先度処理フレームから順に削除又は再圧縮する。【選択図】図１

Description

本発明は、映像処理装置に関する。

従来から、カメラと、遠隔に設置したモニタ又は録画機器（以下、情報処理装置という）とをケーブルにて接続し、カメラが撮影した映像の表示又は記録をするシステムがある。このシステムは、大別してアナログカメラシステムとデジタルカメラシステムがあり、以下、本発明が対象とするデジタルカメラシステムについて説明する。

デジタルカメラシステムは、カメラにて撮影された映像をデジタルデータに変換して圧縮した後、パケットデータとしてネットワークに送信する。通常、カメラが生成する映像データのレートは、カメラに割り当てられるネットワークのビットレートより低く、カメラで撮影された映像が滞りなくネットワークを通じて情報処理装置に伝送できるように、システムは構成される。しかし、ネットワークに多数の機器が接続されている場合、災害時等に通信が殺到してネットワークが混雑すると、カメラに割り当てられるビットレートが低下し、パケットデータの遅延又は脱落が発生し、映像が正常に情報処理装置に伝送できないことが起こりうる。

ネットワークのビットレート低下に対応するため、特許文献１では、管理端末から予め帯域が割り当てられるネットワーク（帯域幅は可変）において、送信バッファが破綻しないように映像のデータレートを制御（圧縮率を高める）する技術についての記載がある。

また、特許文献２には、映像フレーム毎に優先度を付けてレイヤに分類し、記録容量がなくなれば、低優先、古いフレームから削除する技術が記載されている。この技術を用いれば、ネットワーク混雑時に映像記録メモリに高優先な映像フレームを長期間残すことができる。

国際公開第２０１０／１１３６７１号 特開２００５−１５１５４６号公報

しかしながら、特許文献１に記載された技術は、ネットワークのビットレートが管理端末からの制御に委ねられるため、管理端末がそのような制御を行なうことができないようなネットワークにおいては、特許文献１に記載された技術を適用することができない。また、特許文献１に記載された技術は、ネットワークの混雑度が高く、管理端末から帯域が割り当てられない場合を考慮したものではないため、このような場合には、映像を正常に映像表示機に伝送することができず、映像がどこにも残らず消滅してしまう。

ネットワーク混雑時のパケットデータの不達に対応し映像データを残しておくには、カメラ側で映像記録メモリを有し、記録しておくことが考えられる。その際、ネットワーク混雑が長時間続くことを見込み、できるだけ重要な映像を選択して残しておくことが必要となる。

また、特許文献２に記載された技術は、カメラをネットワークに接続することを想定したものではない。
ここで、ネットワークが混雑していても、低レートで伝送するほど正常に映像表示機に伝送できる確率は上がる。

そこで、本発明は、ネットワークが混雑した場合に、優先度の高い映像フレームを選択して低レートで伝送を続けるとともに、内部メモリに優先度の高いデータを長時間蓄積できるようにすることを目的とする。

本発明の一態様に係る映像処理装置は、イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第１の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第２の優先度を記憶するメモリと、ネットワークの状況を監視するネットワーク監視部と、前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、前記ネットワークが混雑していると前記装置制御部が判断した場合に、前記第１の優先度が第１の閾値以上で、かつ、前記第２の優先度が第２の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、を備え、前記メモリ制御部は、前記メモリのデータ量が第３の閾値以上となった場合には、前記第１の優先度及び前記第２の優先度の低い優先度処理フレームから順に削除することで、前記メモリの空き領域を増やすことを特徴とする。

本発明の他の態様に係る映像処理装置は、イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第１の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第２の優先度を記憶するメモリと、ネットワークの状況を監視するネットワーク監視部と、前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、前記装置制御部が、前記ネットワークが混雑していると判断した場合に、前記第１の優先度が第１の閾値以上で、かつ、前記第２の優先度が第２の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、前記圧縮された画像データを展開して、より圧縮率が高くなるように再圧縮する再圧縮部と、を備え、前記メモリ制御部は、前記メモリのデータ量が第３の閾値以上となった場合には、前記第１の優先度及び前記第２の優先度の低い優先度処理フレームに含まれている圧縮された画像データから順に前記再圧縮部に再圧縮させることで、前記メモリの空き領域を増やすことを特徴とする。

本発明の一態様によれば、ネットワークが混雑した場合に、優先度の高い映像フレームを選択して低レートで伝送を続けるとともに、内部メモリに優先度の高いデータを長時間蓄積することができる。

実施の形態１及び２に係る映像処理システムの構成を概略的に示すブロック図である。 実施の形態１及び２におけるカメラの構成を概略的に示すブロック図である。 実施の形態１におけるカメラの動作を示すフローチャートである。 （Ａ）及び（Ｂ）は、実施の形態１において、優先度処理フレームを生成する処理の第１の例を示す概略図である。 （Ａ）〜（Ｃ）は、実施の形態１において、優先度処理フレームを生成する処理の第２の例を示す概略図である。 実施の形態１において、イベント期間を取得する処理を説明する概略図である。 （Ａ）〜（Ｃ）は、実施の形態１におけるメモリの構造を示す概略図である。 実施の形態１において、優先度処理フレームをメモリの並べ替え用領域に書き込む処理を示すフローチャートである。 実施の形態１において、並べ替え用領域に書き込まれた１イベント分の優先度処理フレームを、そのイベント用に確保された領域に書き込む処理を示すフローチャートである。 （Ａ）〜（Ｃ）は、実施の形態１において、削除時におけるメモリ制御部の前ポインタ及び後ポインタの操作例を示す概略図である。 実施の形態１において、映像記憶領域の各イベント用の領域に書き込まれた優先度処理フレームを、映像記憶領域の空き領域を確保するために削除する処理を示すフローチャートである。 （Ａ）〜（Ｄ）は、実施の形態１におけるメモリ制御部の再圧縮処理の操作例を示す概略図である。 実施の形態１において、映像記憶領域の各イベント用の領域に書き込まれた優先度処理フレームを、映像記憶領域の空き領域を確保するために再圧縮する処理を示すフローチャートである。 （Ａ）〜（Ｃ）は、実施の形態２において、優先度処理フレームを生成する処理の第３の例を示す概略図である。 実施の形態において、低優先分割領域が一つ削除された映像フレームの構成を示す概略図である。

実施の形態１．
図１は、実施の形態１に係る映像処理システム１００の構成を概略的に示すブロック図である。
映像処理システム１００は、映像処理装置としてのカメラ１１０と、情報処理装置１３０とを備える。カメラ１１０及び情報処理装置１３０は、ネットワーク１５０に接続されている。カメラ１１０は、接続線１５１を介してネットワーク１５０に接続され、情報処理装置１３０は、接続線１５２を介してネットワーク１５０に接続されているが、カメラ１１０及び情報処理装置１３０は、無線でネットワーク１５０に接続されていてもよい。なお、図１の括弧内の符号は、実施の形態２における構成を示している。

ネットワーク１５０には、複数の通信機器が接続される。ネットワーク１５０は、インターネット回線、又は、常時通信機器が多数接続される専用線であってもよい。
情報処理装置１３０は、カメラ１１０が撮影し、伝送してくる映像データを処理する。例えば、情報処理装置１３０は、カメラ１１０からの映像を表示する。また、情報処理装置１３０は、カメラ１１０からの映像を録画してもよい。さらに、情報処理装置１３０は、カメラ１１０の制御も行う。

実施の形態１では、災害時等にネットワーク１５０が混雑し、カメラ１１０が情報処理装置１３０に映像データを伝送できなくなる場合に備え、カメラ１１０は、映像データを記録するためのメモリを有する。カメラ１１０は、映像伝送ができない間、メモリに映像データを記録し、ネットワーク１５０の混雑が解消されたら、記録していた映像データを伝送する。

図２は、カメラ１１０の構成を概略的に示すブロック図である。
カメラ１１０は、光学系１１１と、撮像部１１２と、イベント数値インタフェース部（以下、イベント数値Ｉ／Ｆ部という）１１３と、優先制御部１１４と、装置制御部としてのＣＰＵ１１５と、圧縮部１１６と、メモリ制御部１１７と、メモリ１１８と、再圧縮部１１９と、送信部１２０と、ネットワーク送信インタフェース部（以下、ネットワーク送信Ｉ／Ｆ部という）１２１と、ネットワーク受信インタフェース部（以下、ネットワーク受信Ｉ／Ｆ部という）１２２と、受信部１２３と、ネットワーク監視部１２４とを備える。なお、図２の括弧内の符号は、実施の形態２における構成を示している。

光学系１１１は、図示しないレンズを通じて得られる光をカメラ１１０に入力する。光学系１１１を通じて入力された光は、撮像部１１２に入力される。
撮像部１１２は、対象を撮影して映像データを取得する。例えば、撮像部１１２は、入力された光を電気信号に変換して、映像フレームを生成する。ここで、撮像部１１２で生成される映像フレームは、未圧縮の画像データである。撮像部１１２で生成された映像フレームは圧縮部１１６に送られる。

イベント数値Ｉ／Ｆ部１１３は、イベント数値の入力を受けるインタフェースである。ここで、カメラ１１０で撮影すべき状況をイベント、カメラ１１０で撮影すべきであるか否かを判断するために、時間的経過で変化する値がイベント数値である。例えば、映像処理システム１００で河川の水位を監視している場合、河川の水位が高いほど、カメラ１１０で撮影される河川の画像データの優先度が高いとすれば、イベント数値は河川の水位の値とする。又は、映像処理システム１００で広域監視をしており、大規模地震発生以降の余震の震度が大きいほど、カメラ１１０で撮影される画像データの優先度が高いとすれば、イベント数値は震度の値となる。言い換えると、イベント数値は、撮影されている対象の時間的経過に応じて値が変化し、このようなイベント数値に基づいて、カメラ１１０で撮影されている映像の優先度が時系列的に決められる。イベント数値Ｉ／Ｆ部１１３を通じて外部より入力されるイベント数値は、優先制御部１１４及びＣＰＵ１１５に入力される。

優先制御部１１４は、イベント数値Ｉ／Ｆ部１１３から与えられるイベント数値に基づいて、撮像部１１２で生成される映像フレームの優先度（第１の優先度）を決定する。例えば、優先制御部１１４は、映像フレームの優先度を１からｎ（ｎは２以上の整数）のｎ段階の何れかに決定する。ここで優先度は、値が小さいほど高優先であるとする。ｎはイベント数値の入力範囲と、段階分けしたい数とをもとに、ＣＰＵ１１５から指示される。
ＣＰＵ１１５は、カメラ１１０の全体的な制御を行う。例えば、映像処理システム１００で河川の水位を監視し、監視されている水位の値が１０センチから１００センチの範囲でイベント数値として入力され、映像フレームの優先度を９段階とする場合には、ＣＰＵ１１５は、１０センチ刻みで優先度を決定するように優先制御部１１４に指示する。具体的には、９０センチ以上１００センチ以下は優先度１、８０センチ以上９０センチ未満は優先度２、以下同様にして、１０センチ以上２０センチ以下は優先度９と決定するように指示を出す。優先制御部１１４は、その指示に従い、撮像部１１２が生成する未圧縮の映像フレームと同期させて、決定した優先度を示す優先度情報を圧縮部１１６に与える。

圧縮部１１６は、２つの機能を備える。圧縮部１１６が備える１つ目の機能は、撮像部１１２から与えられる映像フレームを圧縮する機能である。映像圧縮には、大別してＭｏｔｉｏｎ ＪＰＥＧに代表される個々の映像フレーム間で独立して圧縮する方式と、ＭＰＥＧ２やＭＰＥＧ４ ＡＶＣ／Ｈ．２６４に代表される前後のフレーム間にまたがって圧縮する方式の２つがある。実施の形態１におけるカメラ１１０の圧縮部１１６は、上記いずれか又は両方の映像圧縮方式に従い、映像フレームを圧縮する。

また、圧縮部１１６が備える２つ目の機能は、圧縮された映像フレームに、優先制御部１１４から与えられる優先度情報と、ＣＰＵ１１５から与えられるタイムスタンプ及びカメラ制御情報と、圧縮された映像フレームのデータサイズとを付加することで、優先度処理フレームを生成して、この優先度処理フレームをメモリ制御部１１７に与える機能である。

メモリ制御部１１７は、６つ機能を備える。メモリ制御部１１７が備える１つ目の機能は、圧縮部１１６から与えられる優先度処理フレームをメモリ１１８に書き込む処理である。メモリ１１８への書き込みは、ＣＰＵ１１５の指示に従い行う。
メモリ制御部１１７が備える２つ目の機能は、１つ目の機能でメモリ１１８に書き込まれた優先度処理フレームを、イベント毎に優先度順に並べ替える機能である。ここで、メモリ制御部１１７は、ＣＰＵ１１５からイベントの開始及び終了と、イベントの優先度を示すイベント優先度（第２の優先度）とを取得して、イベント毎に、優先度処理フレームを優先度順に並べ替えるとともに、イベント優先度をこれらの優先度処理フレームに対応付けてメモリ１１８に記憶させる。
メモリ制御部１１７が備える３つ目の機能は、２つ目の機能で並べ替えられた優先度処理フレームを、メモリ１１８の空き領域確保のために削除する機能である。例えば、メモリ制御部１１７は、メモリ１１８のデータ量が予め定められた閾値（第３の閾値）以上となった場合に、イベント優先度及び優先度処理フレームに含まれている優先度の低い優先度処理フレームから順に削除することで、メモリ１１８の空き領域を増やす。
メモリ制御部１１７が備える４つ目の機能は、２つ目の機能でメモリ１１８に書き込まれた優先度処理フレームを、メモリ１１８の空き領域確保のために、再圧縮部１１９に再圧縮させる機能である。例えば、メモリ制御部１１７は、メモリ１１８のデータ量が予め定められた閾値（第３の閾値）以上となった場合に、イベント優先度及び優先度処理フレームに含まれている優先度の低い優先度処理フレームに含まれている圧縮された画像データから順に再圧縮部１１９に再圧縮させることで、メモリ１１８の空き領域を増やす。
メモリ制御部１１７が備える５つ目の機能は、３つ目の機能又は４つ目の機能により、メモリ１１８に確保された空き領域を整理する機能である。例えば、メモリ制御部１１７は、優先度処理フレームの削除又は再圧縮により空き領域となった領域を詰めるように、優先度処理フレームを移動させる。
メモリ制御部１１７が備える６つ目の機能は、メモリ１１８に記憶されている優先度処理フレームから必要なデータを抽出して、送信部１２０に与えて出力させる機能である。例えば、ネットワークが混雑している場合に、メモリ制御部１１７は、優先度処理フレームに含まれている優先度が予め定められた閾値（第１の閾値）以上であり、かつ、イベント優先度が予め定められた閾値（第２の閾値）以上である優先度処理フレームに含まれている圧縮された画像データをメモリ１１８から読み出し、読み出された圧縮された画像データを送信部１２０から出力させる。また、ネットワークの混雑が解消した場合に、メモリ制御部１１７は、情報処理装置１３０から指示された優先度処理フレームに含まれている圧縮された画像データをメモリ１１８から読み出し、読み出された圧縮された画像データを送信部１２０から出力させる。
以上の６つの機能については、後ほど詳細に説明する。
なお、メモリ制御部１１７が備える３つ目の機能及び４つ目の機能は、ＣＰＵ１１５からの指示に応じて、何れか一方が行われる。ＣＰＵ１１５は、例えば、情報処理装置１３０からの制御に応じて、メモリ制御部１１７に、３つ目の機能及び４つ目の機能の何れかを実行させてもよい。さらに、ＣＰＵ１１５は、まず、４つ目の機能により、圧縮を行なわせても、まだ、メモリ１１８のデータ量が予め定められた閾値（第４の閾値）以上である場合に、３つ目の機能を実行させてもよい。

メモリ１１８は、メモリ制御部１１７からの指示に応じて、イベント毎に、優先度処理フレームとともに、イベントの優先度を示すイベント優先度を記録する。
再圧縮部１１９は、メモリ制御部１１７からの指示に応じて、圧縮部１１６の行う映像圧縮方式と同等の方式で入力された圧縮された画像データを一旦展開し、圧縮率を高めて再度圧縮処理を行い、再度圧縮された画像データをメモリ制御部１１７に与える。ここでの圧縮率は、ＣＰＵ１１５により指示されるものとする。

送信部１２０は、ネットワーク送信Ｉ／Ｆ部１２１を介して、ネットワーク１５０へデータを出力する。例えば、送信部１２０は、メモリ制御部１１７から与えられたデータを内蔵バッファ（図示せず）に蓄積し、ネットワーク１５０の伝送方式に合わせてパケットデータを生成し、このパケットデータを変調して、ネットワーク送信Ｉ／Ｆ部１２１から送信する。なお、メモリ制御部１１７は、ＣＰＵ１１５の指示に従い、メモリ１１８からデータを読み出して送信部１２０に与える。

受信部１２３は、ネットワーク受信Ｉ／Ｆ部１２２を介して、ネットワーク１５０からデータを入力する。例えば、受信部１２３は、ネットワーク受信Ｉ／Ｆ部１２２で受信された信号から、ネットワーク１５０の伝送方式に合わせてパケットデータを復調して、復調されたパケットデータから情報処理装置１３０の制御情報を抽出する。抽出された制御情報は、ＣＰＵ１１５に与えられ、ＣＰＵ１１５は、その制御情報をもとに、カメラ１１０の制御を行なう。

ネットワーク監視部１２４は、ネットワーク１５０の状況を監視する。例えば、ネットワーク監視部１２４は、ＣＰＵ１１５からの指示に応じて、送信部１２０及びネットワーク送信Ｉ／Ｆ部１２１を介して、ネットワーク１５０にパケットを送出する。そして、ネットワーク監視部１２４は、ネットワーク受信Ｉ／Ｆ部１２２及び受信部１２３を介して、その応答パケットを受け取り、その受信結果をＣＰＵ１１５に与える。ＣＰＵ１１５は、その受信結果からビットレートを計算する。具体的には、ネットワーク監視部１２４は、ＣＰＵ１１５の指示するデータ長のパケットを、ＣＰＵ１１５の指示する間隔にて生成し、送信部１２０に与える。送信部１２０は、メモリ制御部１１７からのデータと、ネットワーク監視部１２４からのデータとを内蔵バッファを用いて一旦溜め、ネットワーク送信Ｉ／Ｆ部１２１を介して、順次ネットワーク１５０へ送出する。また、受信部１２３は、ネットワーク受信Ｉ／Ｆ部１２２を介して、返ってきたネットワーク監視用パケットを受け取り、ネットワーク監視部１２４に与える。ネットワーク監視部１２４は、その返ってきたネットワーク監視用パケットの往復の時間を計測し、ＣＰＵ１１５に与える。ＣＰＵ１１５は、その結果をもとに、ネットワーク１５０のビットレートが、カメラ１１０の映像伝送レートを規定回数上回るか否かで、ネットワーク１５０が混雑しているか否かを判断する。

図３は、実施の形態１におけるカメラ１１０の動作を示すフローチャートである。
カメラ１１０での動作が開始されると、ＣＰＵ１１５は、ネットワーク状況監視に移行する（Ｓ１０）。このネットワーク状況監視は、カメラ１１０の動作中常時行われるものであり、ネットワークの混雑度を測定し、ネットワーク１５０が混雑しているか否か判断するために行なわれる。

この測定は、具体的にはｐｉｎｇに代表されるＩＣＭＰ（Ｉｎｔｅｒｎｅｔ
Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）を用いることで行なうことができる。例えば、ＣＰＵ１１５は、ネットワーク監視部１２４に指示することで、ネットワーク１５０にパケットを送出させ、その返ってきたパケットの受信結果からビットレートを計算する。パケットの長さがＬ（Ｂｙｔｅ）、パケットを送出してからそのパケットを受信するまでにかかった時間がＤの場合、ＣＰＵ１１５は、Ｌ×８／（Ｄ／２）で、ビットレート（ｂｐｓ）を計算することができる。なお、このネットワーク状況監視は、ｐｉｎｇに限らずネットワーク１５０のビットレートが推定できるものであれば、どのようなものでも利用可能である。

圧縮部１１６は、撮像部１１２で取得された映像データと、イベント数値Ｉ／Ｆ部１１３に入力されたイベント数値に応じて定まる優先度とを関連付ける優先度処理フレームを生成する（Ｓ１１）。イベント数値は外部から入力されるものであり、このイベント数値により、撮影された映像に対して、高い優先度から低い優先度までの何段階かに渡る複数の優先度から何れかの優先度が付加された優先度処理フレームが生成される。優先度処理フレーム及びイベントについて、詳細は後述する。

次に、ＣＰＵ１１５は、ステップＳ１０で行っているネットワーク状況監視により、ネットワーク１５０が混雑しているか否か判定する（Ｓ１２）。判定方法として、ＣＰＵ１１５は、ネットワーク１５０のビットレートと、カメラ１１０の映像伝送レートとを比較する。この比較において、ネットワーク１５０のビットレートが、カメラ１１０の映像伝送レートを規定回数下回れば、ＣＰＵ１１５は、ネットワーク１５０が混雑していると判定する。例えば、ステップＳ１０におけるネットワーク状況監視が１回／秒で行われるとすると、５秒間継続して、すなわち５回連続ネットワーク１５０のビットレートがカメラ１１０の映像伝送レートを下回ったとき、ＣＰＵ１１５は、ネットワーク１５０が混雑していると判定する。この場合には、規定回数は５回である。
これは、ｐｉｎｇによるネットワーク速度の測定は、長いパケットを複数回送出したときの結果をもとに平均をとることで、より確度の高い推定ができることによる。実施の形態１におけるカメラ１１０は、ネットワーク１５０が混雑していると判定されると、優先度の高い映像フレームを優先して伝送及び蓄積し、低優先の映像フレームを消去又は再圧縮するため、ＣＰＵ１１５は、高い確度をもってネットワーク１５０が混雑していると判断する必要がある。しかし、一方で長いパケットを高頻度で送出すると、それ自体ネットワーク１５０の混雑を誘引するため、ネットワーク１５０のパフォーマンスの低下が許される程度でとどめる必要がある。この規定回数は、上記２つの事情を鑑みて予め設定されているものとする。
ネットワーク１５０が混雑していないと判断された場合（Ｓ１２でＮｏ）には、処理はステップＳ１３に進み、ネットワーク１５０が混雑していると判断された場合（Ｓ１２でＹｅｓ）には、処理はステップＳ１５に進む。

ステップＳ１３では、ネットワーク１５０が混雑していないため、メモリ制御部１１７は、ＣＰＵ１１５からの指示に応じて、圧縮部１１６から与えられる優先度処理フレームをすべてメモリ１１８に記憶させる。また、メモリ制御部１１７は、メモリ１１８が満杯になれば古いものから順に優先度処理フレームを上書きする。
さらに、メモリ制御部１１７は、メモリ１１８に蓄積されている優先度処理フレームを全て読み出して、送信部１２０に与えて、ネットワーク１５０に伝送させる。ネットワーク１５０が混雑していない場合の動作（ステップＳ１３及びステップＳ１４）は、撮影された映像の映像データを伝送する一般的な機能及び撮影された映像の映像データを記録する一般的な機能と同様である。

ステップＳ１５では、ネットワーク１５０が混雑しているため、メモリ制御部１１７は、ＣＰＵ１１５からの指示に応じて、イベント数値から導かれるイベント毎にメモリ１１８の領域を区切り、優先度処理フレームを記録させる。また、メモリ１１８が満杯になれば、メモリ制御部１１７は、優先度の低いイベントの優先度の低い優先度処理フレームを削除又は再圧縮をさせて、新しいイベントの優先度処理フレームをメモリ１１８に記録させる。ステップＳ１５では、カメラ１１０で撮影される映像データの内、イベントが発生することで時系列的にその一部が切り出された映像フレームを含む特定の優先度処理フレームがメモリ１１８に記録される。

さらに、メモリ制御部１１７は、ＣＰＵ１１５からの指示に応じて、優先度の高いイベントの優先度の高い優先度処理フレームをメモリ１１８から読み出して、送信部１２０に与えることで、ネットワーク１５０へ送出させる（Ｓ１６）。これは、カメラ１１０から伝送するデータ量を少なくすることで、ビットレートを低く抑え、混雑したネットワーク１５０においても、情報処理装置１３０に全ての映像データが届くことを期待するものである。なお、これにより、情報処理装置１３０はカメラ１１０から伝送する映像のビットレートは低く抑えられるものの、継続して受信できる可能性が高くなる。但し、ネットワーク１５０の状況により、必ずしも受信できるとは限らない。これらステップＳ１５及びＳ１６での処理の詳細は後述する。

ステップＳ１５及びＳ１６の処理は、ＣＰＵ１１５がネットワーク１５０の混雑が解消したと判定されるまで（Ｓ１７でＹｅｓ）、継続される。ステップＳ１７におけるネットワーク混雑解消の判定方法は、ステップＳ１２で行なわれるネットワーク混雑の判定方法と同様である。即ち、ネットワーク１５０のビットレートがカメラ１１０の映像伝送レートを規定回数上回った場合には、ＣＰＵ１１５は、ネットワーク１５０が混雑していると判断し、ネットワーク１５０のビットレートがカメラ１１０の映像伝送レートを下回った場合には、ＣＰＵ１１５は、ネットワーク１５０の混雑が解消されたと判断する。ここで、例えば、ＣＰＵ１１５は、ネットワーク１５０のビットレートがカメラ１１０の映像伝送レートを規定回数下回った場合に、ネットワーク１５０の混雑が解消されたと判断してもよい。

ネットワーク１５０の混雑が解消される（Ｓ１７でＹｅｓ）と、メモリ制御部１１７は、ＣＰＵ１１５からの指示を受けて、ネットワーク１５０の混雑中にステップＳ１５でメモリ１１８に蓄積されていた優先度処理フレームを読み出し、送信部１２０に与えることで、ネットワーク１５０へ送出する（Ｓ１８）。このとき、情報処理装置１３０が、カメラ１１０が蓄積している映像データの内、例えば、イベントの発生時刻及び優先度情報等により特定の映像データの送信を要求した場合には、メモリ制御部１１７は、ＣＰＵ１１５からの指示に応じて、要求された通りの順番で蓄積されている優先度処理フレームを読み出し、送信部１２０に与えることにより、ネットワーク１５０へ送出する制御を行う。なお、情報処理装置１３０から上記のような要求がない場合には、メモリ制御部１１７は、ＣＰＵ１１５からの指示に応じて、イベントの発生時刻の新しい順、又は、優先度の高いイベント順に、メモリ１１８に蓄積されている優先度処理フレームを読み出して、送信部１２０に与えることにより、ネットワーク１５０に送出する制御を行う。
ステップＳ１８にてメモリ１１８から優先度処理フレームを読み出して映像データを送出した後は、ステップＳ１９にて、メモリ制御部１１７は、その読み出した領域の解放を行う。

なお、ステップＳ１８及びＳ１９の処理が行なわれている間にも、ステップＳ１５及びＳ１６の処理は並行して行なわれる。具体的には、ステップＳ１８において、メモリ１１８に蓄積されていた優先度処理フレームがネットワーク１５０へ送出され、ステップＳ１９において、その領域が解放されているときにも、特定の優先度処理フレームのメモリ記録は行なわれる（Ｓ１５）。これはステップＳ１８の動作中に、イベントが発生しても、カメラ１１０が映像データを取り逃がさないようにするためである。ステップＳ１５での特定の優先度処理フレームの蓄積は、イベントが発生したときにのみ行われるものであり、メモリ１１８に蓄積されている優先度処理フレームの伝送は常にできるため、いずれメモリ１１８はすべて空き領域となる。

ステップＳ１９で、全てのメモリ１１８の領域が解放されたら、処理はステップＳ１３へ移行し、ネットワーク１５０の混雑が起こっていないときの動作が継続して行なわれる。

以上のように、実施の形態１におけるカメラ１１０は、ネットワーク１５０が混雑しているか否かを判定し、混雑している場合は、特定の優先度処理フレームのみ記録を行うことで、優先度の高いデータを長時間蓄積する。また、ネットワーク１５０の混雑が解消されたら、カメラ１１０は、それまで蓄積していた映像データを送出する。これにより、情報処理装置１３０は、ネットワーク１５０を経由して、カメラ１１０で撮像された映像をリアルタイムではなくとも後から遠隔で受信することができる。

以下、図４〜図１３を用いて、カメラ１１０での動作の詳細を説明する。なお、ネットワーク１５０が混雑していない場合のステップＳ１３及びＳ１４での処理は、撮影された映像の映像データを蓄積して送信する一般的な処理と同様であるため、説明を省略する。以下では、実施の形態１における特徴であるネットワーク１５０が混雑した場合の処理（Ｓ１５〜Ｓ１９）について主に述べる。

図４（Ａ）及び（Ｂ）は、圧縮部１１６が、入力されてくる映像フレーム（未圧縮の映像フレーム）から、優先度処理フレームを生成する処理の第１の例を示す概略図である。図４では、圧縮部１１６が、入力されてくる個々の映像フレームを独立して圧縮する場合の例を示す。
図４（Ａ）に示されているように、圧縮部１１６には、撮像部１１２から映像フレームＦ０１〜Ｆ０５が入力される。
図４（Ｂ）に示されているように、圧縮部１１６は、入力された個々の映像フレームＦ０１〜Ｆ０５を圧縮して、優先度処理フレームＰＦ０１〜ＰＦ０５を生成する。
優先度処理フレームＰＦ０２は、優先度情報Ｄ０１と、タイムスタンプＤ０２と、データサイズＤ０３と、カメラ制御情報Ｄ０４と、フレーム圧縮データＤ０５とを有する。
優先度情報Ｄ０１は、優先制御部１１４が出力してくる優先度を示す情報である。
タイムスタンプＤ０２は、ＣＰＵ１１５が管理しているその映像フレームＦ０２が撮影された時刻情報である。その時刻情報は、ＣＰＵ１１５から与えられる。
データサイズＤ０３は、圧縮部１１６が圧縮したデータ、即ち、フレーム圧縮データＤ０５のデータサイズを示す情報である。
カメラ制御情報Ｄ０４は、ＣＰＵ１１５が管理しているその映像フレームＦ０２が撮影されたときのカメラ１１０の制御情報（パン、チルト及びズーム等の値）である。この制御情報は、ＣＰＵ１１５から与えられる。
フレーム圧縮データＤ０５は、圧縮部１１６が圧縮したデータである。例えば、優先度処理フレームＰＦ０２においては映像フレームＦ０２を圧縮したデータが、フレーム圧縮データＤ０５となる。
なお、図４においては、優先度処理フレームＰＦ０２について説明したが、他の優先度処理フレームＰＦ０１、ＰＦ０３〜ＰＦ０５も同様に構成されている。

図５（Ａ）〜（Ｃ）は、圧縮部１１６が、入力されてくる映像フレーム（未圧縮の映像フレーム）から、優先度処理フレームを生成する処理の第２の例を示す概略図である。図５では、圧縮部１１６が、入力されてくる映像フレームを前後にまたがって圧縮する場合の例を示す。
図５（Ａ）に示されているように、圧縮部１１６には、撮像部１１２から映像フレームＦ１１〜Ｆ１１６が入力される。
図５（Ｂ）に示されているように、圧縮部１１６は、入力された個々の映像フレームＦ１１〜Ｆ１１６を前後にわたって圧縮することで、圧縮済みのフレームＣＦ１１〜ＣＦ１１６を生成する。圧縮済みのフレームＣＦ１１〜ＣＦ１１６は、ＩフレームＣＦ１１、ＣＦ１１６と、ＢフレームＣＦ１２、ＣＦ１３、ＣＦ１５、ＣＦ１６、ＣＦ１１５と、ＰフレームＣＦ１４、ＣＦ１７とに分類される。ＰフレームＣＦ１４、ＣＦ１７及びＢフレームＣＦ１２、ＣＦ１３、ＣＦ１５、ＣＦ１６、ＣＦ１１５は、その直前にあるＩフレームＣＦ１１をもとに、前方向及び後方向に順次参照しながら圧縮がなされるため、圧縮部１１６は、あるＩフレームＣＦ１１から次のＩフレームＣＦ１１６の一つ前のフレームＣＦ１１５（Ｉフレーム間）をひとまとめにして優先度処理フレームＰＦ１１を生成する。
優先度処理フレームＰＦ１１は、優先度情報Ｄ１１と、タイムスタンプＤ１２と、データサイズＤ１３と、カメラ制御情報Ｄ１４と、フレーム圧縮データＤ１５とを有する。
優先度情報Ｄ１１は、優先制御部１１４が出力してくるＩフレームＣＦ１１の優先度を示す情報である。
タイムスタンプＤ１２は、ＣＰＵ１１５が管理しているＩフレームＣＦ１１が撮影された時刻情報である。この時刻情報は、ＣＰＵ１１５から与えられる。
データサイズＤ１３は、圧縮部１１６が圧縮したＩフレーム間のデータ、即ち、フレーム圧縮データＤ１５のデータサイズを示す情報である。
カメラ制御情報Ｄ１４は、ＣＰＵ１１５が管理しているＩフレームＣＦ１１が撮影されたときのカメラ１１０の制御情報（パン、チルト、ズーム等の値）である。この制御情報は、ＣＰＵ１１５から与えられる。
フレーム圧縮データＤ１５は、圧縮部１１６が圧縮したデータである。例えば、優先度処理フレームＰＦ１１においては映像フレームＦ１１〜Ｆ１１５を圧縮したデータが、フレーム圧縮データＤ１５となる。

図６は、イベント期間を取得する処理を説明する概略図である。
図６に示されているように、ＣＰＵ１１５は、イベント数値Ｉ／Ｆ部１１３から与えられるイベント数値が、予め設定されたイベント開始閾値以上となった場合に、イベントの開始と判断し、そのイベント数値が、予め設定されたイベント開始閾値以下となった場合に、イベントの終了と判断する。例えば、図６に示されているように、ＣＰＵ１１５は、予め設定されたイベント開始閾値及びイベント終了閾値により、イベントＸ（開始時刻Ｘ０、終了時刻Ｘ１）及びイベントＹ（開始時刻Ｙ０、終了時刻Ｙ１）の期間を判定する。ＣＰＵ１１５は、図３のステップＳ１５において、これら開始時刻と終了時刻との間のイベント期間のみ、メモリ制御部１１７に優先度処理フレームをメモリ１１８に書き込むよう指示を出す。なお、ネットワーク１５０が混雑しておらず、カメラ１１０が図３のステップＳ１３及びＳ１４の処理を行っているときは、イベント期間はネットワーク１５０が混雑していない期間全体とする。

図７（Ａ）〜（Ｃ）は、メモリ１１８の構造を示す概略図である。
図７（Ａ）に示されているように、メモリ１１８は、並べ替え用領域Ｒ１と、空き領域管理領域Ｒ２と、映像記憶領域Ｒ３とを有する。このうち映像記憶領域Ｒ３は、イベント毎に優先度処理フレームを記録する領域である。

そして、メモリ制御部１１７は、図３のステップＳ１５において、まず、圧縮部１１６から与えられる優先度処理フレームをメモリ１１８の並べ替え用領域Ｒ１に書き込む。
図８は、優先度処理フレームをメモリ１１８の並べ替え用領域Ｒ１に書き込む処理を示すフローチャートである。
書き込み処理を開始すると、まず、メモリ制御部１１７は、ＣＰＵ１１５からのイベント開始指示があるまで待機する（Ｓ２０）。
イベントが開始されると（Ｓ２０でＹｅｓ）、メモリ制御部１１７は、メモリ１１８の並べ替え用領域Ｒ１に圧縮部１１６から与えられる優先度処理フレームを時系列に書き込む（Ｓ２１）。
そして、メモリ制御部１１７は、ＣＰＵ１１５からのイベント終了指示がある（Ｓ２２でＹｅｓ）と、ステップＳ２１の処理に戻り、次のイベントの開始指示が入力されるまで待機する。

図７に示されているフローにより、並べ替え用領域Ｒ１には、１イベント分の優先度処理フレームが書き込まれると、メモリ制御部１１７は、並べ替え用領域Ｒ１に書き込んだ優先度処理フレームを、映像記憶領域Ｒ３のそのイベント用に確保された領域に優先度順に書き込む。

図７（Ａ）に示されているように、映像記憶領域Ｒ３には、複数のイベント用の領域（イベント領域ともいう）が区切られている。図７（Ａ）では、例えば、イベントＡ用領域Ｒ３Ａ、イベントＢ用領域Ｒ３Ｂ、イベントＣ用領域Ｒ３Ｃ、イベントＤ用領域Ｒ３Ｄが示されている。メモリ制御部１１７は、並べ替え用領域Ｒ１に１イベント分の優先度処理フレームをすべて書き込み、そのデータサイズが判明した時点で、映像記憶領域Ｒ３の先頭アドレスから順に、そのイベント用に領域を確保する。

図７（Ｂ）は、映像記憶領域Ｒ３に確保されたイベント用の領域の構造を示す概略図である。なお、図７（Ｂ）では、イベントＤ用領域Ｒ３Ｄの構造を説明するが、他のイベント用の領域も同様の構造を有している。
図７（Ｂ）に示されているように、イベントＤ用領域Ｒ３Ｄは、イベント識別情報領域Ｒ４と、優先度別領域Ｒ５とを有する。
イベント識別情報領域Ｒ４は、イベントＤ用領域Ｒ３Ｄに格納されているイベントを識別するための情報であるイベント識別情報を格納する。
優先度別領域Ｒ５は、さらに優先度別に優先度領域が区切られている。図７（Ｂ）では、優先度別領域Ｒ５は、優先度１領域Ｒ５１、優先度２領域Ｒ５２、優先度３領域Ｒ５３、・・・、優先度ｎ領域Ｒ５ｎを有する。ここで、メモリ制御部１１７は、並べ替え用領域Ｒ１に１イベント分の優先度処理フレームをすべて書き込むときに、優先度処理フレームの優先度情報及び優先度処理フレームの全体のデータサイズを参照して、優先度処理フレームの全体のデータサイズと、後述する前ポインタ及び後ポインタのデータサイズを集計することにより、各優先度の領域サイズを算出する。そして、メモリ制御部１１７は、算出された領域サイズに応じて、優先度別領域Ｒ５を区切る。なお、イベント識別情報領域Ｒ４の領域サイズは固定であり、ＣＰＵ１１５から指示されることで、各イベント用の領域が区切られる。

図７（Ｃ）は、イベントＤ用領域Ｒ３Ｄに格納される情報を示す概略図である。
イベント識別情報領域Ｒ４は、イベント内容Ｄ２０、タイムスタンプＤ２１、イベント優先度Ｄ２２、イベントサイズＤ２３及び先頭ポインタＤ２４を格納する。
イベント内容Ｄ２０は、イベントの内容を示す情報である。例えば、映像処理システム１００で河川の水位を監視している場合、イベント内容Ｄ２０は、そのイベント期間中の平均水位を示す。なお、イベント内容Ｄ２０は、ＣＰＵ１１５が生成しメモリ制御部１１７に通知する。
タイムスタンプＤ２１は、イベントの開始時刻と終了時刻とを示す情報である。タイムスタンプＤ２１で示される開始時刻と終了時刻は、優先度別領域Ｒ５に格納される優先度処理フレームを時系列に並べたときに、最初の優先度処理フレームのタイムスタンプと最後の優先度処理フレームのタイムスタンプとそれぞれ一致する。
イベント優先度Ｄ２２は、１つのイベント期間中のイベント数値の平均値により定まるそのイベントの優先度を示す情報である。例えば、ＣＰＵ１１５は、イベント優先度平均値Ｖ、イベント優先度閾値ｄ及びイベント優先度の段階数ＤＳを予め定めておき、１つのイベント期間中のイベント数値の平均値をＶａとすると、下記の（１）式により、イベント優先度を求める。
（ＤＳ／２）＋（Ｖａ−Ｖ）／ｄ （１）
ここで、（ＤＳ／２）及び（Ｖａ−Ｖ）／ｄにおいては、小数点以下は切り捨てられる。また、（１）で算出された値がＤＳを超える場合は、ＣＰＵ１１５は、イベント優先度をＤＳとし、その値が１未満である場合には、イベント優先度を１とする。（１）式からも分かるように、イベント優先度は、イベント数値の平均値Ｖａが大きい程大きな値となる。イベント優先度の値が大きいほど、そのイベントの優先度は高くなる。
イベントサイズＤ２３は、イベントＤ領域Ｒ３Ｄのデータサイズを示す情報である。
先頭ポインタＤ２４は、優先度別領域Ｒ５に格納される優先度処理フレームのうち、時系列で最初となるフレームがどの領域に書き込まれているかを指し示すポインタである。例えば、先頭ポインタＤ２４は、その優先度処理フレームに付加された前ポイントの先頭アドレスを示す。

図７（Ｃ）に示されているように、優先度１領域Ｒ５１には、優先度処理フレームに前ポインタ及び後ポインタが付加されたポインタ付き優先度処理フレームＰＰＦ３１、ＰＰＦ３２が格納されている。優先度２領域Ｒ５２には、ポインタ付き優先度処理フレームＰＰＦ３３が格納されている。優先度３領域Ｒ５３には、ポインタ付き優先度処理フレームＰＰＦ３４、ＰＰＦ３５が格納されている。
メモリ制御部１１７は、１イベントの優先度処理フレームを並べ替え用領域Ｒ１に時系列で書き込んだ後、その領域から優先度処理フレームを読み出し、優先度別領域Ｒ５に書き込む。その際、後ほどイベントとして時系列順に再び並び替えることができるように、メモリ制御部１１７は、時系列的に前後する優先度処理フレームを、前から後の優先度処理フレームが参照できるように後ポインタ、逆に後ろから前の優先度処理フレームが参照できるように前ポインタを付加する。言い換えると、前ポインタは、あるポインタ付き優先度処理フレームの時系列的に直前のポインタ付き優先度処理フレームの先頭アドレスを示し、後ポインタは、あるポインタ付き優先度処理フレームの時系列的に直後のポインタ付き優先度処理フレームの先頭アドレスを示す。

図９は、並べ替え用領域Ｒ１に書き込まれた１イベント分の優先度処理フレームを、そのイベント用に確保された領域に書き込む処理を示すフローチャートである。
まず、書き込み処理が開始されると、メモリ制御部１１７は、１イベント分の優先度処理フレームが並べ替え用領域Ｒ１に蓄積されるまで待機する（Ｓ３０）。１イベント分の優先度処理フレームが並べ替え用領域Ｒ１に蓄積されると（Ｓ３０でＹｅｓ）、メモリ制御部１１７は、ＣＰＵ１１５から必要な情報を取得して、このイベント用に確保された領域の先頭にイベント識別情報を書き込む（Ｓ３１）。
また、メモリ制御部１１７は、並べ替え用領域Ｒ１の先頭から順に優先度処理フレームを読み出し（Ｓ３２）、その優先度に応じた領域（図７（Ｂ）では、優先度１領域Ｒ５１〜優先度ｎ領域Ｒ５ｎのいずれか）に書き込む（Ｓ３３）。
また、メモリ制御部１１７は、ステップＳ３３で書き込んだ優先度処理フレームの前後に、イベント全体の時系列が維持できるよう前ポインタ及び後ポインタを書き込む（Ｓ３４）。
そして、メモリ制御部１１７は、１イベント分の処理が完了したら（Ｓ３５でＹｅｓ）、ステップＳ３０に戻り、再び並べ替え用領域Ｒ１に１イベント分の優先度処理フレームが蓄積されるまで待機する。

なお、並べ替え用領域Ｒ１は、１イベントの優先度処理フレームを蓄積することのできる領域を２つ有し、メモリ制御部１１７は、その２つの領域を交互に使用する。例えば、一方の領域に優先度処理フレームを書き込み、他方の領域から優先度処理フレームを読み出し、優先度別領域Ｒ５に書き込みを行う。ここで、メモリ制御部１１７は、読み出し速度が書き込み速度を上回るように制御することで、書き込みと読み出しの領域が同じタイミングで重ならないようにする。また、１イベントに含まれる優先度処理フレームのデータ量が、並べ替え用領域Ｒ１の一方の領域のデータ量を超えないように、ＣＰＵ１１５はイベントを複数に分割するものとする。

次に、メモリ制御部１１７が、ＣＰＵ１１５からの指示に応じて、映像記憶領域Ｒ３の各イベント用の領域に書き込んだポインタ付き優先度処理フレームを、映像記憶領域Ｒ３の空き領域確保のために削除する処理について説明する。

ＣＰＵ１１５は、メモリ制御部１１７から映像記憶領域Ｒ３の各イベント用の領域の情報を入手する。この情報をもとに映像記憶領域Ｒ３が満杯に近づいたと判断した場合、ＣＰＵ１１５は、各イベント用の領域のイベント識別情報領域Ｒ４に含まれているイベント優先度Ｄ２２を参照し、最も低いイベント優先度を有するイベントの、最も優先度の低い優先度ｎ領域の削除をメモリ制御部１１７に指示する。それでも満杯に近づいた場合は、ＣＰＵ１１５は、次に低いイベント優先度を有するイベントの、最も優先度の低い優先度ｎ領域の削除をメモリ制御部１１７に指示する。このような順番で、すべてのイベントにおいて最も優先度の低い優先度ｎ領域の削除が行われた場合は、次は、最も低いイベント優先度を有するイベントの、優先度ｎ領域の次に優先度の低い優先度（ｎ−１）領域の削除をメモリ制御部１１７に指示する。以上を繰り返すことにより、ＣＰＵ１１５は、メモリ制御部１１７に映像記憶領域Ｒ３の空き領域を確保させる。
なお、複数のイベントでイベント優先度Ｄ２２の値が同じ場合は、タイムスタンプＤ２１を参照して、古いものから順に削除対象とする。
なお、上記削除の順番は一例であり、実施の形態１のカメラ１１０の根本動作である優先度の高いデータをなるべく長期間保存するということが維持されれば、データの削除順はシステムに応じて変更しても良い。

メモリ制御部１１７は、ＣＰＵ１１５によって指示されるデータの削除処理を、各ポインタ付き優先度処理フレームの前ポインタ及び後ポイントを操作することで実現する。図１０（Ａ）〜（Ｃ）は、削除時におけるメモリ制御部１１７の前ポインタ及び後ポインタの操作例を示す概略図である。
図１０（Ａ）に示されているように、ポインタ付き優先度処理フレームＰＰＦ４１、ポインタ付き優先度処理フレームＰＰＦ４２及びポインタ付き優先度処理フレームＰＰＦ４３は、時系列的に上記の順で前ポインタ及び後ポインタによってつながれている。なお、ポインタ付き優先度処理フレームＰＰＦ４１、ＰＰＦ４２、ＰＰＦ４３の優先度領域は異なっていても良い。

ポインタ付き優先度処理フレームＰＰＦ４２の優先度が低く、これが削除対象となったとき、図１０（Ｂ）に示されているように、メモリ制御部１１７は、ポインタ付き優先度処理フレームＰＰＦ４１の後ポインタを、優先度処理フレーム４２を指し示していたものから、優先度処理フレームＰＰＦ４３を指し示すものに書き換えることで、優先度処理フレームＰＰＦ４１＃を生成する。また、メモリ制御部１１７は、優先度処理フレームＰＰＦ４３の前ポインタを、優先度処理フレームＰＰＦ４２を指し示していたものから優先度処理フレームＰＰＦ４１を指し示すものに書き換えることで、優先度処理フレームＰＰＦ４３＃を生成する。そして、図１０（Ｃ）に示されているように、前ポインタ及び後ポインタで繋がれなくなった優先度処理フレームＰＰＦ４２の領域ＶＲ１は、空き領域管理領域Ｒ２に登録され、後ほど説明するメモリ整理動作によりほかのポインタ付き優先度処理フレームのデータ領域に置き換えられる。

図１１は、映像記憶領域Ｒ３の各イベント用の領域に書き込まれた優先度処理フレームを、映像記憶領域Ｒ３の空き領域を確保するために削除する処理を示すフローチャートである。
削除動作が開始されると、メモリ制御部１１７は、ＣＰＵ１１５によりどのイベントのどの優先度領域を削除するかという指示があるまで待機する（Ｓ４０）。
ＣＰＵ１１５から削除指示が入力されると（Ｓ４０でＹｅｓ）、メモリ制御部１１７は、削除対象となるイベントの、削除対象となる優先度領域に格納されているポインタ付き優先度処理フレームを先頭から順番に読み出す（Ｓ４１）。

次に、メモリ制御部１１７は、ステップＳ４１で読み出された各ポインタ付き優先度処理フレームの前ポインタ及び後ポインタを読み出す（Ｓ４２）。
次に、メモリ制御部１１７は、ステップＳ４１で読み出されたポインタ付き優先度処理フレームの、時系列で連続する前のポインタ付き優先度処理フレームの後ポインタを、ステップＳ４１で読み出されたポインタ付き優先度処理フレームの時系列における次のポインタ付き優先度処理フレームの先頭アドレスに書き換える（Ｓ４３）。
また、メモリ制御部１１７は、ステップＳ４１で読み出されたポインタ付き優先度処理フレームの、時系列で連続する後ろのポインタ付き優先度処理フレームの前ポインタを、ステップＳ４１で読み出されたポインタ付き優先度処理フレームの時系列における前のポインタ付き優先度処理フレームの先頭アドレスに書き換える（Ｓ４４）。
次に、メモリ制御部１１７は、ステップＳ４１〜Ｓ４３の処理が１つの優先度領域分完了したか否かを判断する（Ｓ４５）。これらの処理が完了した場合（Ｓ４５でＹｅｓ）には、処理はステップＳ４６に進み、これらの処理が完了していない場合（Ｓ４５でＮｏ）には、処理はステップＳ４１に戻り、ステップＳ４２及びＳ４３の処理が行なわれていないポインタ付き優先度処理フレームが読み出される。

ステップＳ４６では、メモリ制御部１１７は、上記のようにして削除対象とされたポインタ付き優先度処理フレーム及び削除対象とされたポインタ付き優先度処理フレームが格納されていた優先度領域を空き領域管理領域Ｒ２に登録する。
次に、メモリ制御部１１７は、削除指示を受けたイベントのイベント識別情報領域Ｒ４に格納されているイベント識別情報を更新する（Ｓ４７）。例えば、メモリ制御部１１７は、イベントサイズＤ２３を削除後のデータ容量に書き換える。また、削除によってイベントの先頭ポインタが変わる場合は、メモリ制御部１１７は、先頭ポインタＤ２４を削除後のものに書き換える。

次に、メモリ制御部１１７が、ＣＰＵ１１５からの指示に応じて、映像記憶領域Ｒ３の各イベント用の領域に書き込んだポインタ付き優先度処理フレームを、映像記憶領域Ｒ３の空き領域確保のために再圧縮する処理について説明する。ここでは、メモリ制御部１１７は、ポインタ付き優先度処理フレームを削除するのではなく、圧縮率を高め、再圧縮することで空き領域を確保する。

ＣＰＵ１１５は、メモリ制御部１１７から映像記憶領域Ｒ３の各イベント用の領域の情報を入手する。この情報をもとに映像記憶領域Ｒ３が満杯に近づいたと判断した場合、ＣＰＵ１１５は、各イベント用の領域のイベント識別情報領域Ｒ４に含まれているイベント優先度Ｄ２２を参照し、最も低いイベント優先度を有するイベントの、最も優先度の低い優先度ｎ領域の再圧縮をメモリ制御部１１７に指示する。それでも満杯に近づいた場合は、ＣＰＵ１１５は、次に低いイベント優先度を有するイベントの、最も優先度の低い優先度ｎ領域の再圧縮をメモリ制御部１１７に指示する。このような順番で、すべてのイベントにおいて最も優先度の低い優先度ｎ領域の再圧縮が行なわれた場合は、次は、最も低いイベント優先度を有するイベントの、優先度ｎ領域の次に優先度の低い優先度（ｎ−１）領域の再圧縮をメモリ制御部１１７に指示する。以上を繰り返すことにより、ＣＰＵ１１５は、メモリ制御部１１７に映像記憶領域Ｒ３の空き領域を確保させる。
なお、複数のイベントでイベント優先度Ｄ２２の値が同じ場合は、タイムスタンプＤ２１を参照して、古いものから順に再圧縮対象とする。
なお、上記再圧縮の順番は一例であり、実施の形態１のカメラ１１０の根本動作である優先度の高いデータをなるべく長期間保存するということが維持されれば、データの再圧縮順はシステムに応じて変更しても良い。

メモリ制御部１１７は、ＣＰＵ１１５によって指示されるデータの再圧縮処理を以下の通り実現する。第一に、再圧縮対象の優先度処理フレームを読み出し、再圧縮部１１９（図２参照）に与える。再圧縮部１１９は、ＣＰＵ１１５からの指示に応じて、与えられたポインタ付き優先度処理フレームに含まれているフレーム圧縮データを一旦展開し、圧縮率を高めて再度圧縮する。

メモリ制御部１１７は、第二に、再圧縮部１１９にて再圧縮された優先度処理フレームを、データ領域の変更に応じて前ポインタ及び後ポイントを操作するとともに、空き領域の発生とともに再圧縮された優先度処理フレームの移動を行う。この第一、第二の操作により、メモリ制御部１１７は、ＣＰＵ１１５によって指示されるデータの再圧縮処理を実現する。

図１２（Ａ）〜（Ｄ）は、メモリ制御部１１７の再圧縮処理の操作例を示す概略図である。
図１２（Ａ）に示されているように、ポインタ付き優先度処理フレームＰＰＦ５１、ポインタ付き優先度処理フレームＰＰＦ５２及びポインタ付き優先度処理フレームＰＰＦ５３は、時系列的に上記の順で前ポインタ及び後ポインタによってつながれている。優先度処理フレームＰＰＦ５２及びポインタ付き優先度処理フレームＰＰＦ５３は、同じ優先度領域にあるものとし、それらとポインタ付き優先度処理フレームＰＰＦ５１の優先度領域は異なっているものとする。

ポインタ付き優先度処理フレームＰＰＦ５３及びポインタ付き優先度処理フレームＰＰＦ５４の優先度が低く、これらが再圧縮対象となったとき、メモリ制御部１１７は、同じ優先度でメモリ１１８の前方にあるポインタ付き優先度処理フレームＰＰＦ５３から優先度処理フレームＰＦ５３を読み出して、再圧縮部１１９に与える。再圧縮部１１９から再圧縮済の優先度処理フレーム（以下、再圧縮済優先度処理フレームという）ＰＦ５３＃を受け取ると、メモリ制御部１１７は、図１２（Ｂ）に示されているように、優先度処理フレームＰＦ５３が格納されていた領域の先頭に合わせて、再圧縮済優先度処理フレームＰＦ５３＃を書き込む。また、メモリ制御部１１７は、ポインタ付き優先度処理フレームＰＰＦ５３の後ポインタを再圧縮済優先度処理フレームＰＦ５３＃の後となるよう移動する。
さらに、メモリ制御部１１７は、優先度処理フレームＰＦ５２も同様に再圧縮部１１９に与え、再圧縮済優先度処理フレームＰＦ５２＃を生成する。そして、メモリ制御部１１７は、再圧縮済優先度処理フレームＰＦ５２＃を含むポインタ付き優先度処理フレームＰＰＦ５２＃用に前ポインタ及び後ポインタを生成し、図１２（Ｃ）に示されているように、ポインタ付き優先度処理フレームＰＰＦ５３＃の直後に、ポインタ付き優先度処理フレームＰＰＦ５２＃を書き込む。
そして、メモリ制御部１１７は、ポインタ付き優先度処理フレームＰＰＦ５１、ＰＰＦ５２＃、ＰＰＦ５３＃の前ポインタ及び後ポインタを、削除のときと同様に調整することで、図１２（Ｄ）に示されているように、ポインタ付き優先度処理フレームＰＰＦ５１＃、ＰＰＦ５２＃＃、ＰＰＦ５３＃＃とする。具体的には、メモリ制御部１１７は、ポインタ付き優先度処理フレームＰＰＦ５２＃の前ポインタに合わせてポインタ付き優先度処理フレームＰＰＦ５１＃の後ポインタを書き換えることで、ポインタ付き優先度処理フレームＰＰＦ５１＃を生成する。また、メモリ制御部１１７は、ポインタ付き優先度処理フレームＰＰＦ５２＃の後ポインタに合わせてポインタ付き優先度処理フレームＰＰＦ５３＃の前ポインタを書き換えることで、ポインタ付き優先度処理フレームＰＰＦ５３＃＃を生成する。以上の動作により空き領域となった領域ＶＲ２は、空き領域管理領域Ｒ２に登録され、後ほど説明するメモリ整理動作によりほかのポインタ付き優先度処理フレームのデータ領域に置き換えられる。

図１３は、映像記憶領域Ｒ３の各イベント用の領域に書き込まれた優先度処理フレームを、映像記憶領域Ｒ３の空き領域を確保するために再圧縮する処理を示すフローチャートである。
再圧縮動作が開始されると、メモリ制御部１１７は、ＣＰＵ１１５によりどのイベントのどの優先度領域を再圧縮するかという指示があるまで待機する（Ｓ５０）。
ＣＰＵ１１５から再圧縮指示が入力されると（Ｓ５０でＹｅｓ）、メモリ制御部１１７は、再圧縮対象のイベント、再圧縮対象の優先度領域に格納されている優先度処理フレームを先頭から順番に読み出す（Ｓ５１）。ステップＳ５１で読み出されたポインタ付き優先度処理フレームが再圧縮対象となる。

次に、メモリ制御部１１７は、ステップＳ５１で読み出された優先度処理フレームを再圧縮部１１９に与え（Ｓ５２）、ステップＳ５３で、再圧縮部１１９から再圧縮済優先度処理フレームが得られるまで待機する。再圧縮済優先度処理フレームが得られると（Ｓ５３でＹｅｓ）、メモリ制御部１１７は、上記で説明したように再圧縮する優先度領域に、得られた再圧縮済優先度処理フレームを先頭から順番に書き戻す（Ｓ５４）。この際、再圧縮済優先度処理フレームを含むポインタ付き優先度処理フレームの前ポインタ及び後ポインタの少なくとも何れか一方の位置についても調整する。
次に、メモリ制御部１１７は、ステップＳ５１で読み出された優先度処理フレームの、時系列で連続する前のポインタ付き優先度処理フレームの後ポインタを書き換える（Ｓ５５）。
また、メモリ制御部１１７は、ステップＳ５１で読み出された優先度処理フレームの、時系列で連続する後ろのポインタ付き優先度処理フレームの前ポインタを書き換える（Ｓ５６）。

次に、メモリ制御部１１７は、ステップＳ５１〜Ｓ５６の処理が１つの優先度領域分完了したか否かを判断する（Ｓ５７）。これらの処理が完了した場合（Ｓ５７でＹｅｓ）には、処理はステップＳ５８に進み、これらの処理が完了していない場合（Ｓ５７でＮｏ）には、処理はステップＳ５１に戻り、再圧縮が行なわれていないポインタ付き優先度処理フレームが読み出される。

ステップＳ５８では、メモリ制御部１１７は、上記のようにして圧縮することにより空き領域となった優先度領域を空き領域管理領域Ｒ２に登録する。
次に、メモリ制御部１１７は、再圧縮指示を受けたイベントのイベント識別情報領域Ｒ４に格納されているイベント識別情報を更新する（Ｓ５９）。例えば、メモリ制御部１１７は、イベントサイズＤ２３を再圧縮後のデータ容量に書き換える。また、再圧縮によってイベントの先頭ポインタが変わる場合は、メモリ制御部１１７は、先頭ポインタＤ２４を再圧縮後のものに書き換える。

次に、メモリ制御部１１７が行なう、空き領域管理領域Ｒ２に登録された空き領域の整理動作について説明する。
メモリ制御部１１７は、空き領域管理領域Ｒ２を読み出して空き領域となっている映像記憶領域Ｒ３の空間を確認すると、その空き領域を埋めるように後ろのデータ領域を先頭に向かってコピーし、詰めるような処理を行う。このような処理を行うことにより、空き領域のデータが削除される。この際、メモリ制御部１１７は、前ポインタ及び後ポインタの調整も行なう。また、優先度処理フレームの書き込み、削除又は再圧縮が行われているイベントの領域があれば、その動作が完了するまでコピーを一時停止する。一時停止することで、上記優先度処理フレームの書き込みや、削除、再圧縮処理に影響を及ぼさないようすることができる。先頭に向かってのコピーが完了すれば、空き領域管理領域Ｒ２から空き領域の登録を抹消する。

次に、ネットワーク混雑時における、送信部１２０へのデータ出力について説明する。
ＣＰＵ１１５は、ネットワーク混雑時は、優先度の高いイベントの優先度の高い優先度処理フレームのみを出力するようメモリ制御部１１７に指示を与える。具体的には、ＣＰＵ１１５は、イベント優先度Ｄ２２が一定の閾値以上の、特定の優先度領域（例えば、優先度１領域）に格納されているデータのみを出力するというような指示をメモリ制御部１１７に出力する。メモリ制御部１１７はこの指示に従い、イベント優先度Ｄ２２が一定の閾値以上のイベントの、特定の優先度領域に格納されているポインタ付き優先度処理フレームを先頭から順番に出力する。優先度領域は、先頭から順番に古いポインタ付き優先度処理フレームが並んでいるため、出力は、時系列でとびとびとはなるが、古いデータから新しいデータとなる。なお、送信部１２０へは、前ポインタ及び後ポインタを除いた優先度処理フレームが出力され、優先度情報Ｄ０１、タイムスタンプＤ０２、データサイズＤ０３及びカメラ制御情報Ｄ０４のそれぞれの一部又は全部、並びに、フレーム圧縮データＤ０５が出力される。なお、優先度情報Ｄ０１、タイムスタンプＤ０２、データサイズＤ０３及びカメラ制御情報Ｄ０４の全てが出力される必要はなく、これらの何れかは、出力されなくてもよい。

次に、ネットワーク１５０の混雑が解消した場合の動作について説明する。
ＣＰＵ１１５は、ネットワーク１５０の混雑が解消すると、情報処理装置１３０に蓄積している映像データの情報、例えば、イベントの発生時刻及び優先度情報等を送信する。そして、情報処理装置１３０からの要求を、ネットワーク受信Ｉ／Ｆ部１２２を介して受信部１２３が受信した場合には、ＣＰＵ１１５は、受け取った要求に従って、メモリ制御部１１７に、要求に対応する全ての優先度処理フレームの出力を指示する。例えば、情報処理装置１３０からの要求が、特定のイベントの映像の送信であった場合には、ＣＰＵ１１５は、受け取った要求に従って、メモリ制御部１１７に、要求に対応するイベントに含まれている全ての優先度処理フレームの出力を指示する。メモリ制御部１１７はその指示に従い、特定のイベントのデータを時系列で読み出し、先頭から順番に送信部１２０へ出力する。なお、送信部１２０へのデータ出力は、上述と同様、前ポインタ及び後ポインタを除いた優先度処理フレームである。さらに、メモリ制御部１１７は、出力が完了したイベント領域を空き領域管理領域Ｒ２に登録し、メモリ制御部１１７の五つ目の機能の整理動作により映像記録領域の整理を行い、記録領域を解放する。

以上のように、実施の形態１によれば、ネットワーク混雑により映像伝送ができない場合でも、優先度の高い映像フレームを選択して低レートでの伝送を続けるとともに、内部メモリに優先度の高いデータを長時間蓄積することができる。また、ネットワーク混雑が軽減されたときに蓄積した映像データを伝送し、優先度の高い映像データが消失することがなくなる。

実施の形態２．
実施の形態２は、実施の形態１で説明した優先度処理フレームについて、生成の仕方及び管理、出力方法が異なるものである。

図１に示されているように、実施の形態２に係る映像処理システム２００は、カメラ２１０と、情報処理装置１３０とを備える。実施の形態２に係る映像処理システム２００は、カメラ２１０において、実施の形態１に係る映像処理システム１００と異なっている。

図２に示されているように、実施の形態２におけるカメラ２１０は、光学系１１１と、撮像部１１２と、イベント数値Ｉ／Ｆ部１１３と、優先制御部２１４と、ＣＰＵ２１５と、圧縮部２１６と、メモリ制御部１１７と、メモリ１１８と、再圧縮部１１９と、送信部１２０と、ネットワーク送信Ｉ／Ｆ部１２１と、ネットワーク受信Ｉ／Ｆ部１２２と、受信部１２３と、ネットワーク監視部１２４とを備える。実施の形態２におけるカメラ２１０は、優先制御部２１４、ＣＰＵ２１５及び圧縮部２１６での処理において、実施の形態１におけるカメラ１１０と異なっている。

圧縮部２１６は、撮像部１１２から与えられる映像フレームを、予め定められた数の領域に分割し、分割後の各領域の画像データを圧縮する。
また、圧縮部２１６は、圧縮された分割領域の画像データに、優先制御部１１４から与えられる優先度情報と、ＣＰＵ１１５から与えられるタイムスタンプ及びカメラ制御情報と、圧縮された分割領域のデータサイズとを付加することで、優先度処理フレームを生成して、この優先度処理フレームをメモリ制御部１１７に与える。

図１４（Ａ）〜（Ｃ）は、圧縮部２１６が、入力されてくる映像フレーム（未圧縮の映像フレーム）から、優先度処理フレームを生成する処理の第３の例を示す概略図である。
図１４（Ａ）に示されているように、圧縮部２１６は、撮像部１１２から入力される１つの映像フレームを、ｆ１〜ｆ９の分割領域に分割する。
次に、圧縮部２１６は、図１４（Ｂ）に示されているように、それぞれの分割領域ｆ１〜ｆ９をＪＰＥＧ等の静止画圧縮処理を施すことにより、分割領域の圧縮画像データｃｆ１〜ｃｆ９を生成する。
そして、圧縮部２１６は、図１４（Ｃ）に示されているように、入力された映像フレームを分割した分割領域の圧縮画像データを含む優先度処理フレームＰＦ２１〜ＰＦ２９を生成する。
優先度処理フレームＰＦ２２は、優先度情報Ｄ２１と、タイムスタンプＤ２２と、データサイズＤ２３と、フレーム内情報Ｄ２４と、分割領域圧縮データＤ２５とを有する。
優先度情報Ｄ２１は、優先制御部２１４が出力してくる優先度を示す情報である。
タイムスタンプＤ２２は、ＣＰＵ２１５が管理している映像フレームが撮影された時刻情報である。ここでは、タイムスタンプＤ２２は、圧縮画像データｃｆ２の元となった映像フレームが撮影された時刻情報である。その時刻情報は、ＣＰＵ２１５から与えられる。
データサイズＤ２３は、圧縮部２１６が圧縮したデータ、即ち、分割領域圧縮データＤ２５のデータサイズを示す情報である。
フレーム内情報Ｄ２４は、分割領域圧縮データＤ２５の元となった分割領域のデータの映像フレーム内における位置を示す情報である。１フレームを左上から右方向、下方向に向かって１から順にｎまで番号を振れば、分割数（＝優先度段階ｎ）とその番号のみでフレーム内の位置を決定することができる。
分割領域圧縮データＤ２５は、圧縮部２１６で圧縮された分割領域の圧縮画像データｃｆ２である。
なお、図１４（Ｃ）においては、優先度処理フレームＰＦ２２について説明したが、他の優先度処理フレームＰＦ２１、ＰＦ２３〜ＰＦ２９も同様に構成されている。

優先制御部２１４は、ＣＰＵ２１５からの指示に応じて、１つの映像フレームから分割された各分割領域の優先度を１からｎ（ｎは２以上の整数）のｎ段階の何れかに決定する。ここで優先度は、値が小さいほど高優先であるとし、どの分割領域にどの優先度を割り当てるかは、ＣＰＵ２１５から指示されるものとする。また、ｎは、分割数に対応した値であり、ＣＰＵ２１５から指示される。優先制御部２１４は、フレームと分割領域に同期させて圧縮部２１６に優先度情報を与える。

ＣＰＵ２１５は、カメラ２１０の全体的な制御を行う。実施の形態２では、特に、ＣＰＵ２１５は、映像フレームの分割数を圧縮部２１６に通知するほか、映像フレームの分割数と、分割領域の優先度とを優先制御部２１４に通知する。なお、分割数及び優先度は、ＣＰＵ２１５に予め設定されているものとする。なお、この設定は、情報処理装置１３０によりネットワーク１５０を通じて制御されてもよく、また、フレーム毎に変更されてもよい。

圧縮部１１６から優先度処理フレームを受け取ったメモリ制御部１１７での処理については、実施の形態１と同様である。なお、優先度及び分割領域数が等しく設定されているため、メモリ１１８の優先度別領域Ｒ５における、それぞれの優先度領域の先頭からｍ番目の優先度処理フレームは、イベントのｍ番目の分割領域の圧縮画像データを含むフレームとなる。

ネットワーク１５０への出力制御においては、ＣＰＵ２１５はネットワーク混雑時、優先度の高いイベントの優先度の高い優先度処理フレームのみを出力するようメモリ制御部２１７に指示を出力する。具体的には、イベント優先度Ｄ２２が一定の閾値以上の、優先度１領域に格納されている優先度処理フレームのみを出力するというような指示を与える。メモリ制御部２１７は、このような指示に従い、イベント優先度Ｄ２２が一定の閾値以上のイベントの、優先度１領域に格納されている優先度処理フレームを先頭から順番に出力する。優先度１領域は、先頭から順番に１フレーム毎の分割領域が並んでいるため、図１４の例では出力は元の映像の１／９の解像度となるが、毎フレームの映像となる。なお、送信部１２０へのデータ出力は、前ポインタ及び後ポインタを除いた優先度処理フレームであり、優先度情報Ｄ２１、タイムスタンプＤ２２、データサイズＤ２３、フレーム内情報Ｄ２４のそれぞれの一部又は全部、並びに、分割領域圧縮データＤ２５が出力される。また、優先度情報Ｄ２１、タイムスタンプＤ２２、データサイズＤ２３及びフレーム内情報Ｄ２４は全てが出力される必要はなく、これらの何れかは出力されなくてもよい。

また、ネットワーク混雑解消時における、情報処理装置１３０が要求するイベント情報のやりとり及び制御は、実施の形態１と同じであるが、ＣＰＵ２１５はその制御をもとにメモリ制御部２１７に一つのイベントのすべての優先度処理フレームの出力を指示する。メモリ制御部２１７はその指示に従い、イベントのデータを時系列で読み出し、優先度処理フレームから１フレームを構成する。

図１５は、低優先分割領域が一つ削除された映像フレームの構成を示す概略図である。
ネットワーク１５０に送出される映像フレームＦ２１、Ｆ２２、Ｆ２３は、時系列で連続している。映像フレームＦ２１の分割領域ｆ７、映像フレームＦ２２の分割領域ｆ４及び映像フレームＦ２３の分割領域ｆ９は、それぞれ最も低い優先度の分割領域であるため、削除されている。このため、これらの分割領域はデータがない領域として、映像フレームが構成されている。また、再圧縮された場合は、映像の解像度は低下するものの、データとしては存続する。なお、送信部１２０へのデータ出力は、上記１フレームに構成したものと、タイムスタンプＤ２２、データサイズＤ２３のそれぞれの一部又は全部を含むものである。例えば、必ずしもタイムスタンプＤ２２及びデータサイズＤ２３は、すべて含まなくても良い。また１フレーム構成とするので、優先度情報Ｄ２１及びフレーム内情報Ｄ２４は、必要ない。

実施の形態２では、優先度段階ｎは何段階でも良く、映像フレームは、そのｎと同じだけ分割領域に分割される。分割数をより多くするとフレームはより細かく分割できる。フレームに曲線で囲まれた範囲を設定し、その範囲内に優先度の高い分割領域を設定すれば、フレームの優先度範囲は矩形範囲だけでなく、曲線範囲的に設定することも可能である。

以上説明したように、１フレーム内で分割領域毎に優先度を設定し、優先度処理フレームを構成する手法を用いれば、ネットワーク混雑により映像伝送ができない場合でも、１フレーム内の優先度の高い撮影範囲を選択して低レートでの伝送を続けるとともに、内部メモリに優先度の高い撮影範囲を長時間蓄積することができる。また、ネットワーク混雑が軽減されたときに蓄積された映像データを伝送することで、優先度の高い撮影範囲を消失することなくネットワークを通じて伝送することができる。さらに、優先度の高い撮影範囲は矩形範囲のみならず、曲線範囲に設定することも可能である。

１００，２００ 映像処理システム、 １１０，２１０ カメラ、 １１１ 光学系、 １１２ 撮像部、 １１３ イベント数値Ｉ／Ｆ部、 １１４，２１４ 優先制御部、 １１５，２１５ ＣＰＵ、 １１６，２１６ 圧縮部、 １１７ メモリ制御部、 １１８ メモリ、 １１９ 再圧縮部、 １２０ 送信部、 １２１ ネットワーク送信Ｉ／Ｆ部、 １２２ ネットワーク受信Ｉ／Ｆ部、 １２３ 受信部、 １２４ ネットワーク監視部、 １３０ 情報処理装置。

Claims (12)

1. イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第１の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第２の優先度を記憶するメモリと、
   ネットワークの状況を監視するネットワーク監視部と、
   前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、
   前記ネットワークが混雑していると前記装置制御部が判断した場合に、前記第１の優先度が第１の閾値以上で、かつ、前記第２の優先度が第２の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、
   前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、を備え、
   前記メモリ制御部は、前記メモリのデータ量が第３の閾値以上となった場合には、前記第１の優先度及び前記第２の優先度の低い優先度処理フレームから順に削除することで、前記メモリの空き領域を増やすこと
   を特徴とする映像処理装置。
2. イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第１の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第２の優先度を記憶するメモリと、
   ネットワークの状況を監視するネットワーク監視部と、
   前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、
   前記装置制御部が、前記ネットワークが混雑していると判断した場合に、前記第１の優先度が第１の閾値以上で、かつ、前記第２の優先度が第２の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、
   前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、
   前記圧縮された画像データを展開して、より圧縮率が高くなるように再圧縮する再圧縮部と、を備え、
   前記メモリ制御部は、前記メモリのデータ量が第３の閾値以上となった場合には、前記第１の優先度及び前記第２の優先度の低い優先度処理フレームに含まれている圧縮された画像データから順に前記再圧縮部に再圧縮させることで、前記メモリの空き領域を増やすこと
   を特徴とする映像処理装置。
3. 対象を撮影して映像データを取得する撮像部と、
   前記撮像部で撮影されている対象の時間的経過に応じて値が変化するイベント数値の入力を受けるイベント数値インタフェースと、
   前記イベント数値インタフェースに入力されたイベント数値に基づいて、前記撮像部で取得された映像データに含まれている画像データの優先度を示す第１の優先度を決定する優先制御部と、
   前記撮像部で取得された映像データに含まれている画像データを圧縮するとともに、前記優先制御部で決定された第１の優先度を当該圧縮された画像データに付加することで、前記優先度処理フレームを生成する圧縮部と、をさらに備え、
   前記装置制御部は、前記イベント数値インタフェースが入力を受け付けたイベント数値に基づいて、イベントを特定し、当該特定されたイベントに対応する画像データに対して前記優先制御部が決定した第１の優先度に基づいて、当該特定されたイベントの優先度を示す第２の優先度を決定し、
   前記メモリ制御部は、前記装置制御部が特定したイベント毎に、前記装置制御部が決定した第２の優先度とともに前記優先度処理フレームを前記メモリに記憶させること
   を特徴とする請求項１又は２に記載の映像処理装置。
4. 前記メモリ制御部は、
   前記メモリに、前記第１の優先度の各々に対応する優先度領域を備えるイベント領域を、前記装置制御部が特定したイベント毎に形成し、
   前記第２の優先度及び前記優先度処理フレームを、対応する前記イベント領域の対応する前記優先度領域に格納すること
   を特徴とする請求項３に記載の映像処理装置。
5. 前記メモリ制御部は、
   前記メモリに、前記優先度処理フレームを一時的に記憶する並べ替え用領域をさらに形成し、
   前記圧縮部で生成された優先度処理フレームを時系列に前記並べ替え用領域に記憶させ、前記並べ替え用領域に記憶された優先度処理フレームに、時系列において前後の優先度処理フレームの格納位置を特定することのできるポインタを付加して、対応する前記イベント領域の対応する前記優先度領域に格納すること
   を特徴とする請求項４に記載の映像処理装置。
6. 前記圧縮部は、前記撮像部で取得された映像データに含まれる１フレームの画像データ毎に圧縮を行なうことで、前記圧縮された画像データを生成すること、
   を特徴とする請求項３から５の何れか一項に記載の映像処理装置。
7. 前記圧縮部は、前記撮像部で取得された映像データに含まれる複数のフレームの画像データに対してフレーム間圧縮を行なうことで、Ｉフレーム、Ｐフレーム及びＢフレームを生成し、Ｉフレームから次のＩフレームの１つ前のフレームまでのデータにより、前記圧縮された画像データを生成すること
   を特徴とする請求項３から５の何れか一項に記載の映像処理装置。
8. 前記メモリ制御部は、
   前記メモリに、前記優先度処理フレームを削除することにより空き領域となった領域を示す情報を格納する空き領域管理領域を形成し、
   前記空き領域管理領域に格納されている情報で示される空き領域を詰めるように、前記優先度処理フレームを移動させること
   を特徴とする請求項１に記載の映像処理装置。
9. 前記メモリ制御部は、
   前記メモリに、再圧縮により空き領域となった領域を示す情報を格納する空き領域管理領域を形成し、
   前記空き領域管理領域に格納されている情報で示される空き領域を詰めるように、前記優先度処理フレームを移動させること
   を特徴とする請求項２に記載の映像処理装置。
10. 前記メモリに記憶されている前記優先度処理フレームは、時系列において前後の優先度処理フレームの格納位置を特定することのできるポインタが付加されており、
    前記メモリ制御部は、前記優先度処理フレームを移動する際には、前記ポインタを更新すること
    を特徴とする請求項８又は９に記載の映像処理装置。
11. 対象を撮影して映像データを取得する撮像部と、
    前記撮像部で取得された映像データに含まれる１フレームの画像データを分割した分割領域毎に、当該分割領域の優先度を示す第１の優先度を決定する優先制御部と、
    前記撮像部で取得された映像データに含まれる１フレームの画像データを分割した分割画像データを圧縮することで、前記圧縮された画像データを生成するとともに、前記優先制御部で決定された第１の優先度を前記圧縮された画像データに付加することで、前記優先度処理フレームを生成する圧縮部と、
    前記撮像部で撮影されている対象に応じて値が変化するイベント数値の入力を受けるイベント数値インタフェースと、をさらに備え、
    前記装置制御部は、前記イベント数値インタフェースが入力を受け付けたイベント数値に基づいて、イベントを特定し、当該特定されたイベントに対応する画像データに対して前記優先制御部が決定した第１の優先度に基づいて、当該特定されたイベントの優先度を示す第２の優先度を決定し、
    前記メモリ制御部は、前記装置制御部が特定したイベント毎に、前記装置制御部が決定した第２の優先度とともに前記優先度処理フレームを前記メモリに記憶させること
    を特徴とする請求項１又は２に記載の映像処理装置。
12. 前記装置制御部が、前記ネットワーク監視部で監視されている状況から、前記ネットワークの混雑が解消したと判断した場合に、前記メモリ制御部は、前記圧縮された映像データの送信先からの要求に対応する前記優先度処理フレームに含まれている圧縮された映像データを前記メモリから読み出して、当該読み出された圧縮された映像データを前記送信部に出力させること
    を特徴とする請求項１から１１に記載の映像処理装置。

Images