JP2008124626A - 画像記録制御装置および画像記録制御方法 - Google Patents

Abstract

【課題】フレーム内符号化方式を用いて符号化された監視画像データから、監視エリア内で発生した異常を簡易な構成の回路で検出することにより、異常状態が発生したときの監視画像データを効率よく記録するように制御する監視画像記録制御装置および監視画像記録制御方法を提供する。
【解決手段】符号化画像データの輝度信号からＤＣ成分を抽出し、抽出されたＤＣ成分をハフマン符号を利用して復号してサムネイル画像データを生成する輝度信号分離部２２と、生成されたサムネイル画像データと１フレーム前のサムネイル画像データとを比較して動きを検出する異常検出部２３と、動きが検出された位置に基づいて記録レートを制御する制御信号を生成する記録制御部２４と、制御信号に基づいて符号化画像データを記録装置に送信するバッファメモリ部２５とを備える。
【選択図】図１

Description

本発明は、入力した映像を記録するための制御を行う画像記録制御装置および画像記録制御方法に関する。

従来、監視カメラを用いた映像監視システムには、撮影した画像データをすぐにモニタに表示することにより監視エリアを監視する用途と、撮影した画像データを記録装置に記録しておき、後にこの記録された画像データを再生することにより監視エリアの異常の確認をする用途とがある。

この映像監視システムにおいては、より多くの画像データを扱うためにＭｏｔｉｏｎ ＪＰＥＧ（Ｍ−ＪＰＥＧ：Motion Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）２またはＭＰＥＧ４などの動画符号化方式が利用されている。

さらには、監視カメラと記録装置とをＬＡＮ（Local Area Network）などを用いたネットワークで接続することにより、多くの画像データを伝送することが可能になっている。

しかし、これらの技術を用いてもやはり撮影した画像データを記録する際には記録装置の記録容量に限度があるため、主に監視エリア内に異常が発生したときの画像データのみを選択して記録することが望まれている。

監視システムにおいて異常が発生したときの画像データを選択する技術として、例えば特許文献１〜３に記載された技術が知られている。

特許文献１には、監視カメラから入力される画像データについて、記録媒体に記録する前の動画像符号化段階において動きベクトルを検出し、動きベクトルの値が小さい状態から大きい状態に移ったときに画像データの記録を開始し、動きベクトルの値が大きい状態から小さい状態に移ったときに画像データの記録を停止するように制御する画像処理装置、および所定の時間間隔ごとに間欠的に記録するように制御する画像処理装置が記載されている。

また、特許文献２には、監視カメラから入力される画像データをフレーム間予測方式を利用して圧縮し、その出力を符号化した１画面分の可変長符号があらかじめ設定した値を超えたときを検出したときのみ画像データを記録するように制御する監視システム用の記録装置が記載されている。

また、特許文献３には、異常が発生した否かを検出する異常検出部の過敏な反応を抑え、かつ回路規模が小さい監視装置が記載されている。

例えば、この特許文献３では、監視カメラから入力される画像データをＪＰＥＧにより圧縮符号化する技術を利用し、通常状態では情報量の少ない低画質の画像データで異常検出を行い、異常が検出されると目視に適した高画質の画像データが得られるように制御する。

これらの技術により、監視エリア内で異常が発生したときのみを選択して記録装置に記録することができ、限られた記録容量を有効に利用することができる。
特開２００１−３０９３５４号公報 特開平８−３２９７１号公報 特開平９−２７９５２号公報

しかし、特許文献１の技術では、記録媒体に入力される画像データを符号化する過程で検出される動きベクトルを基に制御が行われるため、ネットワークを利用して既に符号化された画像データを受信する場合に利用するには回路が複雑化するという問題があった。

また、特許文献２の技術では、ＭＰＥＧのようなフレーム間予測を用いた圧縮符号化でしか対応できないため、異常の発生を検出するには複雑な演算を必要として回路規模が大きくなるという問題があった。

さらに、特許文献２の技術では、監視システムで多く利用されているフレーム内符号化方式を利用したＭ−ＪＰＥＧには対応できないとい問題があった。

また、特許文献３の技術では、受信した画像データを表示するか否かにかかわらずすべて復号する必要があり、高性能な回路が要求されるという問題があった。

さらに、特許文献３の技術では、異常が検出されたときのみ高画質の画像データが取得されるため、異常が検出されていないときの画像データは低画質のものしか得られないという問題があった。

本発明は上記事情に鑑みてなされたものであり、フレーム内符号化方式を用いて符号化された画像データから、フレーム内の動きを簡易な構成の回路で検出することにより、例えば異常状態が発生したときの画像データを効率よく記録するように制御する画像記録制御装置および画像記録制御方法を提供することを目的とする。

上記目的を達成するための本発明の画像記録制御装置（２０）は、フレーム内符号化方式により符号化された符号化画像データを入力し、これを記録装置に記録するための制御を行うものであり、前記入力した符号化画像データの輝度信号からＤＣ成分を抽出するＤＣ成分抽出部（２２１）と、前記ＤＣ成分抽出部（２２１）で抽出されたＤＣ成分をハフマン符号を用いて復号しサムネイル画像データを生成するサムネイル画像生成部（２２２、２２３）と、前記サムネイル画像生成部（２２２、２２３）で１フレーム前に生成されたサムネイル画像データを保持するメモリ部（２３２）と、前記サムネイル画像生成部（２２２、２２３）で生成されたサムネイル画像データを取得するとともに前記メモリ部（２３２）に保持されている１フレーム前のサムネイル画像データを取得してこれら取得したサムネイル画像データに基づき画像の動きを検出し、前記画像の動きが検出されたときに、この画像の動きが検出された位置が、重要度に応じて画像を区分した複数の領域において含まれる領域に対応した重要度に基づいて記録するフレームレートを算出する動き検出部（２３２）と、前記動き検出部（２３１）で算出されたフレームレートに基づいて、前記入力した符号化画像データを前記記録装置に送信する制御を行う送信制御部（２４、２５）とを備えることを特徴とする。

また、本発明の画像記録制御方法は、フレーム内符号化方式により符号化された符号化画像データを入力し、この符号化画像データの輝度信号からＤＣ成分を抽出するステップ（２２１）と、前記抽出したＤＣ成分をハフマン符号を用いて復号しサムネイル画像データを生成するステップ（２２２、２２３）と、１フレーム前に生成したサムネイル画像データを保持するステップ（２３２）と、今回生成したサムネイル画像データを取得するとともに前記保持した１フレーム前のサムネイル画像データを取得してこれら取得したサムネイル画像データに基づき画像の動きを検出し、前記画像の動きが検出されたときに、この画像の動きが検出された位置が、重要度に応じて画像を区分した複数の領域において含まれる領域に対応した重要度に基づいて記録するフレームレートを算出するステップ（２３１）と、前記算出したフレームレートに基づいて、前記入力した符号化画像データを記録する制御を行うステップ（２５）とを有することを特徴とする。

本発明の画像記録制御装置および画像記録制御方法によれば、フレーム内符号化方式を用いて符号化された画像データから、フレーム内で発生した異常を簡易な構成の回路で検出することにより、異常状態が発生したときの画像データを効率よく記録するように制御することができる。

〈一実施形態による監視システムの構成〉
本発明の実施形態を適用した監視画像記録制御装置を用いた監視システムの構成を、図１および図２を用いて説明する。

本実施形態による監視システムは、監視カメラ１０と、監視画像記録制御装置２０と、監視カメラ１０と監視画像記録制御装置２０とを接続するネットワーク３０と、記録装置４０と、モニタ５０とを有する。

監視カメラ１０は、撮像部１１と、ＡＤ変換部１２と、画像符号化部１３と、ネットワークＩ／Ｆ部１４とを有する。

撮像部１１は、監視対象となる監視エリアの撮影を行う。

ＡＤ変換部１２は、撮像部１１で撮影した画像信号のデジタル変換を行う。

画像符号化部１３は、ＡＤ変換部１２でデジタル変換された画像データに圧縮符号化処理を行い、Ｍ−ＪＰＥＧ信号を生成する。

Ｍ−ＪＰＥＧは、１フレーム分の画像データの中での相関を利用して動画像の圧縮を行うフレーム内符号化方式である。

Ｍ−ＪＰＥＧ信号のパケット構造について図２を参照して説明する。

図２（Ａ）は、１フレーム分のＭ−ＪＰＥＧ信号を示し、この信号が生成された時間を示す時間情報および撮影されたカメラ装置を識別するカメラ識別番号などの制御用情報が格納されたＩＤ６１と、ＪＰＥＧアルゴリズムに基づく情報である画像サイズなどが格納されたＪＰＥＧヘッダ６２と、圧縮符号化された画像データが格納されたストリームデータ６３とから構成されている。

ストリームデータ６３は、８×８画素信号からなる複数のＭＣＵ（Minimum Coded Unit）と呼ばれる単位のブロックの集合で構成されており、図２（Ｂ）は色差間引き方法が４：２：２の場合のストリームデータ６３中の１つのＭＣＵ６３ａの構成を示す。

ＭＣＵ６３ａは、８×８＝６４画素信号の、輝度信号６３ａ（Ｙ１）および６３ａ（Ｙ２）と、輝度信号と青色成分との差を示す色差信号６３ａ（Ｕ）と、輝度信号と赤色成分との差を示す色差信号６３ａ（Ｖ）とを有し、これらの各信号は図２（Ｃ）に示すように、直流成分である先頭１画素のＤＣ成分６３ａ（Ｙ−ＤＣ）と空間周波数を示す残りの６３画素のＡＣ成分６３ａ（Ｙ−ＡＣ）とにより構成されている。

ネットワークＩ／Ｆ部１４は、ネットワーク３０に接続され、画像符号化部１３で生成されたＭ−ＪＰＥＧ信号をネットワーク３０に出力する。

監視画像記録制御装置２０は、ネットワークＩ／Ｆ部２１と、輝度信号分離部２２と、異常検出部２３と、記録制御部２４と、バッファメモリ部２５と、画像復号部２６とを有する。

ネットワークＩ／Ｆ部２１は、ネットワーク３０を介して監視カメラ１０からＭ−ＪＰＥＧ信号を受信して入力する。

輝度信号分離部２２は、Ｙ−ＤＣ抽出部２２１と、ハフマン復号部２２２と、バッファ部２２３とを有する。

Ｙ−ＤＣ抽出部２２１は、ネットワークＩ／Ｆ部２１から入力されたＭ−ＪＰＥＧ信号から、各ＭＣＵの輝度信号ＹのＤＣ成分のみを順次抽出し、ハフマン復号部２２２に出力するとともに、Ｍ−ＪＰＥＧ信号をそのままバッファメモリ部２５に出力する。

ハフマン復号部２２２は、ハフマン符号化アルゴリズムを利用した輝度信号ＹのＤＣ成分用の復号テーブルをあらかじめ保持し、Ｙ−ＤＣ抽出部２２１から取得した輝度信号ＹのＤＣ成分を画像データに変換してバッファ部２２３に出力する。

バッファ部２２３は、例えばＲＡＭ（Random Access Memory）であり、ハフマン復号部２２２から取得した画像データを１フレーム分になるまで蓄積し、蓄積された１フレームの画像データをサムネイル画像データとして異常検出部２３に出力する。

異常検出部２３は、動き検出部２３２と、メモリ部２３１とを有し、この動き検出部２３２およびメモリ部２３１のそれぞれで輝度信号分離部２２のバッファ部２２３から出力されたサムネイル画像データを取得する。

メモリ部２３１は、バッファ部２２３から取得したサムネイル画像データを次に生成されるサムネイル画像データを取得するまでの間保持し、次のサムネイル画像データを取得すると保持していたサムネイル画像データを動き検出部２３２に出力する。

動き検出部２３２は、バッファ部２２３から取得したサムネイル画像データとメモリ部２３１から取得した１フレーム前のサムネイル画像データとを比較して画像が変化した動きが発生した位置の検出を行い、検出された位置に基づいて発生した動きの重要度を段階付けるステータス信号を生成する。

記録制御部２４は、異常検出部２３の動き検出部２３２で生成されたステータス信号に基づいて、記録装置４０に記録するＭ−ＪＰＥＧ信号のフレームレートを指定するための制御信号を生成する。

バッファメモリ部２５は、例えばＦＩＦＯ（First-In First-Out）方式のメモリであり、複数フレーム分のＭ−ＪＰＥＧ信号を格納し、記録制御部２４で生成された制御信号に従って格納しているＭ−ＪＰＥＧ信号を記録装置４０または画像復号部２６に出力するか否かを判定する。

このとき、記録装置４０への出力と画像復号部２６への出力は、それぞれ独立したタイミングで行うことが可能な構成となっている。

画像復号部２６は、バッファメモリ部２５から取得したＭ−ＪＰＥＧ信号を画像データに復号し、モニタ５０に送信する。

記録装置４０は、バッファメモリ部２５から取得したＭ−ＪＰＥＧ信号を設定されたフォーマットで記録する。

モニタ５０は、ＤＶＩ（Digital Visual Interface）などを利用することにより監視画像記録制御装置２０に接続され、ＮＴＳＣ（National Television Standards Committee）方式などを用いて画像復号部２６から取得した画像データを表示する。

〈一実施形態による監視システムの動作〉
次に、本実施形態による監視システムの動作について、図３のフローチャートを参照して説明する。

まず、監視カメラ１０の撮像部１１で撮影された画像が、ＡＤ変換部１２で画像データにデジタル変換される。

ＡＤ変換部１２でデジタル変換された画像データは、画像符号化部１３で圧縮符号化処理が行われ、Ｍ−ＪＰＥＧ信号が生成される。

画像符号化部１３で生成されたＭ−ＪＰＥＧ信号はネットワークＩ／Ｆ部１４を介してネットワーク３０に送出され、監視画像記録制御装置２０のネットワークＩ／Ｆ部２１で受信され入力される（Ｓ１）。

ネットワークＩ／Ｆ部２１から受信され入力されたＭ−ＪＰＥＧ信号は輝度信号分離部２２のＹ−ＤＣ抽出部２２１に送出される。

Ｙ−ＤＣ抽出部２２１では、Ｍ−ＪＰＥＧ信号が取得されるとこのＭ−ＪＰＥＧ信号がバッファメモリ部２５に送出される（Ｓ２）とともに、各ＭＣＵの輝度信号のＤＣ成分のみの抽出が順次行われる（Ｓ３）。

バッファメモリ部２５に送出されたＭ−ＪＰＥＧ信号は、バッファメモリ部２５に格納され保持される。

Ｙ−ＤＣ抽出部２２１で輝度信号のＤＣ成分が抽出されると、ハフマン復号部２２２において予め保持されているハフマン符号化アルゴリズムを利用した輝度信号ＹのＤＣ成分用の復号テーブルが参照され、輝度信号ＹのＤＣ成分が画像データに変換される（Ｓ４）。

ハフマン復号部２２２で変換され得られた画像データはバッファ部２２３で１フレーム分になるまで蓄積され、蓄積された１フレームの画像データがサムネイル画像データとして異常検出部２３に出力される（Ｓ５）。

ここでは、図４に示すように、監視カメラ１０から取得したＭ−ＪＰＥＧ信号７１の解像度がＶＧＡサイズ（６４０×４８０画素）であるため１フレームを構成する８×８画素のＭＣＵ７２は８０×６０個であり、各ＭＣＵから抽出される輝度信号のＤＣ成分７３の数は１フレームで８０×６０個である。

そのため、バッファ部２２３では１フレーム分である８０×６０個の画像データが得られるまで蓄積され、蓄積された画像データから解像度が８０×６０画素の１フレームのサムネイル画像データ７４が生成され、異常検出部２３に送出されることになる。

このＤＣ成分はＤＣＴ変換によりＭＣＵの画素信号の合計値と比例する関係を持っているため、生成されたサムネイル画像データにより取得したＭ−ＪＰＥＧ信号の輝度信号の特徴を表すことが可能である。

バッファ部２２３で生成されたサムネイル画像データは異常検出部２３のメモリ部２３１および動き検出部２３２でそれぞれ取得される。

メモリ部２３１には１フレーム前のサムネイル画像データが保存されており、新たにサムネイル画像データが取得されることにより保存されていた１フレーム前のサムネイル画像データは動き検出部２３２に送出される。

動き検出部２３２では、バッファ部２２３から取得したサムネイル画像データとメモリ部２３１から取得した１フレーム前のサムネイル画像データとが比較されて画像が変化した動きが発生した位置の検出が行われ（Ｓ６）、検出された位置に基づいて発生した動きの重要度を段階付けるためのステータス信号が生成される（Ｓ７）。

動きが発生した位置を分類するために、領域ごとに区分けしたサムネイル画像データを図５（Ａ）に例示し、図５（Ａ）で区分けされた領域に割り当てられた重要度を示すステータスを図５（Ｂ）に例示する。

図５（Ａ）において、サムネイル画像データは、外枠に最も近い領域８１から中心部分の領域８７に向かって７つの領域（領域８１〜領域８７）に区分けされている。

また図５（Ｂ）では、領域８１は重要度の最も低いステータス（１）が割り当てられ、以降中心部分に向かうに連れて重要度が高くなっていき、領域８２はステータス（２）、領域８３はステータス（３）、領域８４はステータス（４）、領域８５はステータス（５）、領域８６はステータス（６）、そして中心部分の領域７は最も重要度が高いステータス（７）が割り当てられている。

動き検出部２３２にはこの図５（Ａ）および（Ｂ）の情報が保持されており、これらの情報が参照されて判定されたステータスに基づいてステータス信号が生成される。

動き検出部２３２で生成されたステータス信号は記録制御部２４で取得され、このステータス信号に基づいて記録装置４０に記録するＭ−ＪＰＥＧ信号のフレームレートを指定するための制御信号が生成される（Ｓ８）。

ステータス信号と記録されるＭ−ＪＰＥＧ信号のフレームレートとの関係の一例を図６に示す。

図６に示すように、ステータス（１）のときは記録されるフレームレートは１フレーム／秒、ステータス（２）のときは記録されるフレームレートは２フレーム／秒、ステータス（３）のときは記録されるフレームレートは４フレーム／秒、ステータス（４）のときは記録されるフレームレートは８フレーム／秒、ステータス（５）のときは記録されるフレームレートは１５フレーム／秒、ステータス（６）のときおよび（７）のときは記録されるフレームレートは３０フレーム／秒として制御信号が生成される。

記録制御部２４で生成された制御信号はバッファメモリ部２５で取得され、Ｙ−ＤＣ抽出部２２１から取得され格納されたＭ−ＪＰＥＧ信号が記録制御部２４で生成された制御信号に従って記録装置４０に送信される（Ｓ９）とともに、Ｙ−ＤＣ抽出部２２１から取得されたすべてのＭ−ＪＰＥＧ信号が画像復号部２６に送出される。

記録装置４０で受信されたＭ−ＪＰＥＧ信号は記録装置４０に適当な記録フォーマットで記録され、画像復号部２６で取得されたＭ−ＪＰＥＧ信号はＪＰＥＧアルゴリズムに基づいて復号処理され、モニタ５０に送信されて表示される。

バッファメモリ部２５において、記録装置４０へ送信されるＭ−ＪＰＥＧ信号のフレームレートと画像復号部２６に送出されるＭ−ＪＰＧＥ信号のフレームレートとは独立して制御されている。

以上の本実施形態によれば、フレーム内符号化方式を用いて符号化された監視画像データを復号することなく画像の動きを検出することにより、簡易な回路構成で異常の発生を検出することができる。

また、この検出された異常の発生位置により重要度が判断され、この重要度が高いときのみ高いフレームレートで記録し重要度が低いときには低いフレームレートで記録するため、記録媒体の容量を効率よく使用することができる。

本実施形態においては記録装置を監視画像記録制御装置とは異なる装置として構成したが、これには限定されず、記録装置をハードディスクなどで構成し、監視画像記録制御装置に内蔵させてもよい。

また、本実施形態において符号化方式としてＭ−ＪＰＥＧを利用したが、これには限定されず、フレーム内で符号化を行う方式であれば他の方式でもよい。

また、本実施形態においては生成されたサムネイル画像の中心部分を重要度が高くなるように設定したがこれには限定されず、監視する対象によって重要度を高くする部分をユーザが設定するようにしてもよい。

また、上記の実施形態の監視画像記録制御装置の機能構成をプログラム化してコンピュータに組み込むことにより、当該コンピュータを監視画像記録制御装置として機能させることも可能である。

本発明の一実施形態による監視画像記録制御装置を用いた監視システムの構成を示すブロック図である。 本発明の一実施形態による監視画像記録制御装置で利用するＭ−ＪＰＥＧ信号の構成を示す説明図である。 本発明の一実施形態による監視画像記録制御装置の動作を示すフローチャートである。 本発明の一実施形態による監視画像記録制御装置で利用する１フレームのＭ−ＪＰＥＧ信号の構成を示す説明図である。 本発明の一実施形態による監視画像記録制御装置において、（Ａ）動きが発生した位置を分類するために領域ごとに区分けしたサムネイル画像データを示す説明図、および、（Ｂ）区分けされた領域に割り当てられた重要度を示すステータスを示す表である。 本発明の一実施形態による監視画像記録制御装置において、ステータス信号と記録されるＭ−ＪＰＥＧ信号のフレームレートとの関係を示すグラフである。

符号の説明

１…監視システム
１０…監視カメラ
１１…撮像部
１２…ＡＤ変換部
１３…画像符号化部
１４…ネットワークＩ／Ｆ部
２０…監視画像記録制御装置
２１…ネットワークＩ／Ｆ部
２２…輝度信号分離部
２３…異常検出部
２４…記録制御部
２５…バッファメモリ部
２６…画像復号部
３０…ネットワーク
４０…記録装置
５０…モニタ
６１…ＩＤ
６２…ＪＰＥＧヘッダ
６３…ストリームデータ
６３ａ…ＭＣＵ
７１…ＪＰＥＧ信号
７２…ＭＣＵ
７３…ＤＣ成分
７４…サムネイル画像データ
８１〜８７…領域
２２１…Ｙ−ＤＣ抽出部
２２２…ハフマン復号部
２２３…バッファ部
２３１…メモリ部
２３２…動き検出部

Claims (2)

1. フレーム内符号化方式により符号化された符号化画像データを入力し、これを記録装置に記録するための制御を行う画像記録制御装置において、
   前記入力した符号化画像データの輝度信号からＤＣ成分を抽出するＤＣ成分抽出部と、
   前記ＤＣ成分抽出部で抽出されたＤＣ成分をハフマン符号を用いて復号しサムネイル画像データを生成するサムネイル画像生成部と、
   前記サムネイル画像生成部で１フレーム前に生成されたサムネイル画像データを保持するメモリ部と、
   前記サムネイル画像生成部で生成されたサムネイル画像データを取得するとともに前記メモリ部に保持されている１フレーム前のサムネイル画像データを取得してこれら取得したサムネイル画像データに基づき画像の動きを検出し、前記画像の動きが検出されたときに、この画像の動きが検出された位置が、重要度に応じて画像を区分した複数の領域において含まれる領域に対応した重要度に基づいて記録するフレームレートを算出する動き検出部と、
   前記動き検出部で算出されたフレームレートに基づいて、前記入力した符号化画像データを前記記録装置に送信する制御を行う送信制御部と、
   を備えることを特徴とする画像記録制御装置。
2. フレーム内符号化方式により符号化された符号化画像データを入力し、この符号化画像データの輝度信号からＤＣ成分を抽出するステップと、
   前記抽出したＤＣ成分をハフマン符号を用いて復号しサムネイル画像データを生成するステップと、
   １フレーム前に生成したサムネイル画像データを保持するステップと、
   今回生成したサムネイル画像データを取得するとともに前記保持した１フレーム前のサムネイル画像データを取得してこれら取得したサムネイル画像データに基づき画像の動きを検出し、前記画像の動きが検出されたときに、この画像の動きが検出された位置が、重要度に応じて画像を区分した複数の領域において含まれる領域に対応した重要度に基づいて記録するフレームレートを算出するステップと、
   前記算出したフレームレートに基づいて、前記入力した符号化画像データを記録する制御を行うステップと、
   を有することを特徴とする画像記録制御方法。

Images