JP2005086740A - 監視画像の記録方法 - Google Patents

Abstract

【課題】監視カメラからの映像を予め設定された条件に従って分析し、監視対象物としてまたは環境映像として好適に記録することのできる監視画像の記録方法を実現することにある。
【解決手段】監視カメラ１１からの映像信号を直交変換して直交基底監視情報データを得、得られたデータを予め選定された監視対象及び観察対象を直交変換して得られる直交基底データと比較して監視対象又は観察対象としての記録モードを評価手段２４により設定し、設定された記録モードが防犯モードの場合は長時間保存モードで、観察モードの場合は高品質モードで、その他の場合は長時間記録モードで記録手段２６により記録するようにした監視画像の記録方法を実現した。
【選択図】図１

Description

本発明は、監視カメラからの映像、ないしは集音した音響信号を基に監視対象物、及び記録対象物の出現を検知し、それらの対象物の監視記録、または観察記録の判定を行い、その判定結果に応じて適応的に映像の記録を行う、ないしは必要に応じて過去に記録した映像の消去を行う監視画像の記録方法に関するものである。

従来より、監視カメラの映像をそのまま、ないしは駒落とし記録する監視装置は防犯、警備、警戒のために使用されている。その監視装置は人による見張り、見まわりを省力化する機器として用いられる。そして、監視カメラにより撮影された映像の動き検出を行うことにより、異常を検出し警報する装置も開発されている。

図８に、従来から用いられている監視カメラ装置の構成を示す。
同図において、監視カメラ１１で撮影された映像信号は標本化量子化手段２１によりディジタル信号に変換され、動き検出手段２２ａに供給される。

動き検出手段２２ａでは撮影された映像から背景であるベース画像を減じることにより監視対象物を検出するようにし、監視対象物が検出されたときには警報信号が出力され、情報センターに報知されるようになされている。

しかし、実際には、背景である木の枝のゆれ、リスや小鳥などの小動物の動きなど、防犯目的としては検出不要なノイズにより警報が発せられる場合もあり、そのような誤報を伴う監視装置は実用的でない。そこで、誤報の恐れを排除した防犯監視装置の研究、開発も進められている（例えば、特許文献１参照。）。

ところで、監視カメラ装置は防犯用映像の撮影、記録、及び警報装置として使用できる他に、自然環境の記録装置として用いることもできる。本願発明者により発明され、本願出願人により出願された「自動検索サービスのための解析用音響信号通信方法、及びその通信端末装置」に、発音体から発生される音響信号を、音響信号解析装置を用いて高能率に抽出し、利用者に通知する。そして、カメラの撮影方向、ズーム、フォーカシングを行い、目的とする対象物の撮影を行うものも提案されている（例えば、特許文献２参照。）。
特許第２６６７９７３号公報 特開２００２−９９５４５号公報

しかしながら、監視カメラ装置は警備、警戒のための見まわりを省力化する、及び人々に災害、事件、事故の発生を通知し、被害を少なくするためのものでありながら、誤報が生じたときには無駄な出動がなされる、警報の信頼性が低下するためその後における初動動作に遅れが生じてしまうなどの課題もある。

さらに、警報の信頼性に関しては、例えば犯意を有する人の検出が目的であるときには、小動物の挙動により検出される警報は誤報となってしまい、逆にごみをあさるカラスや猫を検出するのが目的であるときには通行人の検出は誤報となってしまうなど、従来の一意的に動き検出を基に警報を発する監視カメラ装置では利用者の意に従って動作する機能が実現できていなかった。

ところで、多くの監視装置は、防犯効果などを目的とし、事件や事故発生時の初動体制を確保するために公共スペース、さらには家庭内にも設置されるようになってきている。そのような生活空間への設置は、「他人を見たら泥棒と思え」のような人間不信を前提とするものであり、これからの社会を相互監視社会の実現に向けて進めるようでもあり好ましくない。そこで、監視装置を非常時は別とし、通常時には環境に優しい映像撮影装置として使用するなど、これから実現すべき環境と共生する社会の実現に向けた装置とすべきである。

そこで本発明は、監視対象物を記録するか、又は環境映像を記録するかを監視カメラからの映像、及び集音された音響信号を分析、検知する。その検知は、検知対象を報知するか（警報）、否か（誤報）の２つのレベルで検知するのではなく、複数に層別された情報として扱い、監視カメラからの信号を指定される目的に合わせ、適応的な記録及び保存を行う監視画像の記録方法を実現する。

即ち、検知されたレベルにより警備モードとして動作させる、監視映像及び集音された音響信号のうち有効なものを記録する、間引かれた情報を記録する、または記録を行わないように動作分けする。さらには、過去に記録されたレベルの低い映像、ないしは音響信号を消去しようとするものである。

本発明は、上記課題を解決するために以下の１）〜３）の手段より成るものである。
すなわち、

１） 監視カメラの設置位置において撮像可能と予想される撮像画像に関連して、予め登録してある多種類の画像のうちから所望のサンプル画像を選択する第１のステップ（２４）と、
前記第１のステップで選択した各サンプル画像について「観察」、「監視」、「その他」として３つに分類分けする第２のステップ（２４）と、
を前記監視カメラで撮像する監視に先立って事前に実行しておき、この実行後、
前記監視カメラから入力される監視画像のうち、動きがある被写体についてのみ周波数分析を行う第３のステップ（２２）と、
前記第２のステップで分類分けされた複数のサンプル画像に係るそれぞれの周波数分析結果と、前記第３のステップで得られた周波数分析結果とを比較して、前記動きがある被写体が分類分けされた前記複数のサンプル画像のいずれに最も近いかどうかを判定する第４のステップ（２３）と、
前記第４のステップで判定されたそれぞれの判定結果に応じて、前記第２のステップにおける「観察」として分類できるときには前記監視画像を実時間記録する高画質モードで記録し、前記第２のステップにおける「監視」として分類できるときには前記監視画像を重ね書きすることなく長時間記録する長時間保存モードで記録し、前記第２のステップにおける「観察」「監視」以外の「その他」に分類されるときには前記監視画像を重ね書きで長時間記録する長時間記録モードで記録する第５のステップ（２６）と、
を有してなることを特徴とする監視画像の記録方法。
２） 監視カメラの設置位置において撮像可能と予想される撮像画像に関連して、予め登録してある多種類の画像のうちから所望のサンプル画像を選択する第１のステップ（２４）と、
前記第１のステップで選択した各サンプル画像について「観察」、「監視」、「その他」として３つに分類分けする第２のステップ（２４）と、
を前記監視カメラで撮像する監視に先立って事前に実行しておき、この実行後、
前記監視カメラから入力される監視画像のうち、動きがある被写体についてのみ周波数分析を行う第３のステップ（２２）と、
前記第２のステップで分類分けされた複数のサンプル画像に係るそれぞれの周波数分析結果と、前記第３のステップで得られた周波数分析結果とを比較して、前記動きがある被写体が分類分けされた前記複数のサンプル画像のいずれに最も近いかどうかを判定する第４のステップ（２３）と、
前記第４のステップで判定されたそれぞれの判定結果に応じて、前記第２のステップにおける「観察」として分類できるときには前記監視画像を実時間記録する高画質モードで記録し、前記第２のステップにおける「監視」として分類できるときには前記監視画像を重ね書きすることなく長時間記録する長時間保存モードで記録し、前記第２のステップにおける「観察」「監視」以外の「その他」に分類されるときには前記監視画像を重ね書きで長時間記録する長時間記録モードで記録する第５のステップ（２６）と、
前記第５のステップでの記録により、未記録領域の容量が所定値以下であるとして検出されたときには、記録後所定時間を経過した前記長時間記録モードによる記録部分を消去する第６のステップ（３３）と、
を有してなることを特徴とする監視画像の記録方法。
３） 監視カメラの設置位置において撮像可能と予想される撮像画像に関連して、予め登録してある多種類の画像のうちから所望のサンプル画像を選択する第１のステップ（２４）と、
前記第１のステップで選択した各サンプル画像について「観察」、「監視」、「その他」として３つに分類分けする第２のステップ（２４）と、
を前記監視カメラで撮像する監視に先立って事前に実行しておき、この実行後、
前記監視カメラから入力される監視画像のうち、動きがある被写体についてのみ周波数分析を行う第３のステップ（２２）と、
前記第２のステップで分類分けされた複数のサンプル画像に係るそれぞれの周波数分析結果と、前記第３のステップで得られた周波数分析結果とを比較して、前記動きがある被写体が分類分けされた前記複数のサンプル画像のいずれに最も近いかどうかを判定する第４のステップ（２３）と、
前記第４のステップで判定された結果を、前記監視カメラから入力された監視画像に畳み込んで透かし入り監視画像を生成する第５のステップ（２５）と、
前記第４のステップで判定されたそれぞれの判定結果に応じて、前記第２のステップにおける「観察」として分類できるときには前記第４のステップで生成された透かし入り監視画像を実時間記録する高画質モードで記録し、前記第２のステップにおける「監視」として分類できるときには前記第４のステップで生成された透かし入り監視画像を重ね書きすることなく長時間記録する長時間保存モードで記録し、前記第２のステップにおける「観察」「監視」以外の「その他」に分類されるときには前記第４のステップで生成された透かし入り監視画像を重ね書きで長時間記録する長時間記録モードで記録する第６のステップ（２６）と、
を有してなることを特徴とする監視画像の記録方法。

本発明の監視画像の記録方法によれば、以下の１）〜３）に示す効果を提供できる。
すなわち、

１） 監視カメラから入力される監視画像を複数の記録モードを設定して記録するに際し、予め蓄積してある登録対象物の候補から監視対象画像及び観察対象画像を選択しておき、監視カメラから入力される被写画像部分の被写画像周波数データを、監視対象周波数データ及び観察対象周波数データと比較して監視画像は監視対象であるか、観察対象であるか、又は一般対象であるかを判定し、それらの判定結果に応じた記録モードにより記録するようにしているため、監視対象物の記録及び環境画像の記録を同一の監視カメラからの画像を判定し、複数に層別された情報のそれぞれに適した記録モードで、所定の記録容量を有する記録媒体に記録することができると共に、監視画像の他に環境画像を記録することができ、監視社会を実現するのではなく、人々の心の安らぎにつながる環境情報の収集ができる自然との共生社会を実現するための監視画像の記録方法を提供できる効果を有している。
２） また、記録媒体の未記録領域を検出する場合では、長時間記録モードにより記録された記録部分を消去するようにしているため、監視対象及び観察対象の記録部分の保存時間を長くした監視画像の記録方法を提供できる。
３） また、記録モードを監視画像に畳み込んで透かし入り監視画像を生成し、記録する場合では、記録内容を他のアナログ記録媒体にコピーし、コピーされた監視画像を再生するときに埋め込まれた記録モードが再生可能であるため、監視対象及び観察対象の記録部分の検索を容易に行うことができる監視画像の記録方法を提供できる。

以下、本発明の監視装置における監視記録の方法に係る監視記録装置の実施の形態につき、好ましい実施例により説明する。

図１に、第１の実施例に関わる監視記録装置の概略構成を示し、図面を参照しその動作について説明する。
同図に示す監視記録装置は、監視カメラ１１、集音マイク１２ａ及び同１２ｂよりなるカメラマイク部１と、標本化量子化手段２１、特徴抽出手段２２、認識手段２３、評価手段２４、記録手段２６、記録媒体２７、再生手段２８、評価手段３１、比較手段３２、及び制御手段３３よりなる記録装置部２とより構成される。

まず、監視カメラ１１で撮影された映像信号、及び集音マイク１２ａ、１２ｂで集音された音響信号のそれぞれは標本化量子化手段２１に供給される。映像信号は例えば標本化周波数１３．５ＭＨｚで標本化され、ビット数１０ビットで量子化される。音響信号は例えば標本化周波数４８ｋＨｚ、ビット数１８ビットで量子化される。

次に、ディジタル映像信号又はディジタル音声信号が入力され、監視オブジェクトの認識がなされる。ここで、説明の混乱を避けるため、最初に映像信号が入力される場合の認識、及び評価の動作について述べ、その後に音響信号に対するそれぞれの動作について述べる。

まず、ディジタル映像信号は、１秒間に３０フレームづつ特徴抽出手段２２に入力される。そこでは、画面は縦横それぞれ１６ピクセル毎の小画面に分割され、それらの分割された小画面毎の動きベクトルが検出される。動きベクトルの検出はいわゆる動画圧縮技術に用いられる動きベクトル検出と同様な方法で行われる。

次に、入力された映像信号と小画面毎の動きベクトル情報とは認識手段２３に供給される。そこでは分割された小画面のうち、動きベクトル量が所定値以上の小画面画像が選択され、選択されたそれぞれの小画面映像として撮影されている画像の集合を基にした監視対象の認識がなされる。

その認識方法には、例えば後述のＫＬ（Karhunen-Loeve）展開法を用いる。ＫＬ展開法は、多変量データの冗長性を削減する手法であり、例えば文字のパターン認識などの際に辞書の容量や演算の際に必要なメモリ容量や処理時間などのリソースの削減を図る方法として、広く知られている。

次に、認識手段２３で認識されたオブジェクト情報は評価手段２４に供給される。そこでは、後述の予め設定されている条件に基づいて、監視目的とされる画像か、高レベルの観察目的画像か、又は低レベルの観察目的画像であるかなど監視情報のレベルが評価、決定される。

そして、標本化量子化手段２１によりディジタル化された映像信号、及び評価手段２４で決定された監視情報のレベル情報は記録手段２６に供給される。そこで映像信号は、ハードディスクなどの記録媒体２７に記録するための信号にフォーマット化され、記録媒体２７に供給され、記録される。

ここで、記録媒体２７の記録容量は有限である。そこで、記録媒体の利用効率を上げるため、供給された情報が上位レベルである監視目的の情報の場合には保存を目的とした記録を行い、中位レベルの観察目的の情報の場合には可能な限り高品質な映像を記録し、低位レベルの情報の場合には媒体の空き領域がわずかとなったときに所定時間経過した記録部分を消去するようにしている。それにより、使用者により設定された条件に従って検出される情報のレベルに応じた記録情報の適応制御がなされ、必要度が高いとされた情報のみが長時間保存されるようになされ、他の情報は消去される。次に、記録データの管理方法についてさらに述べる。

評価手段２４により、現在得られている映像と同じ又はそれよりも下位レベルである映像が再生される場合について述べる。まず、記録媒体２７から再生された信号は再生手段２８によりディジタル復調され、記録されている信号の評価結果は評価手段３１を介して比較手段３２に供給される。

その比較手段３２には評価手段２４からの評価結果が供給されており、そこでどちらの評価レベルが高いかが比較される。その評価結果のポイントはユーザにより設定された高レベルの条件に近い映像に対しては高いポイントが与えられている。比較手段３２からは、ユーザの高レベル設定に近い方の映像が記録されるように、記録手段２６に制御信号が伝送される。

従って、記録手段２６では、再生手段２８により再生された映像に対しポイントの低い映像の記録は行わず、ポイントの高い映像のみが上書き記録されるように動作する。
なお、評価手段３１では、記録された時期に対する評価も行われるようになされており、最近記録された映像のポイントはそのままとするが、例えば１週間以上前に記録した映像に対してはポイントを減じる機能を有している。従って、同一ポイントの映像に対しては新しい方の映像が記録されるようになされている。

以上、記録装置部２の映像に関する動作について述べた。次に同装置部の音響信号に対する同様な機能、動作について述べる。
まず、集音マイク１２ａ、１２ｂから標本化量子化手段２１に供給され、そこで標本化及び量子化されたディジタルオーディオ信号は特徴抽出手段２２に供給される。

その特徴抽出手段２２では、時系列信号であるディジタルオーディオ信号はＦＦＴ（Fast Fourier Transform：高速フーリエ変換）処理がなされ、周波数ごとの信号成分が求められる。次に、求められた信号成分から背景雑音周波数成分が減算されて排除される。それにより、音響信号に何らかの変化が有ったときには、背景雑音成分を超える音響信号成分が出力される。

さらに、２つの集音マイク１２ａ及び１２ｂは所定の距離離れた場所に、異なる指向特性を有して設置されることにより、２つの集音マイクに到達する音響信号の時間差、及び音波の到来角度により異なる指向性パターンの周波数特性を有している。監視対象物から発せられる音響信号を、それらの特性差により解析することにより、背景雑音成分を減じた異音を検出しやすくできている。

そして、特徴抽出手段２２で抽出された、音源自体の方向、角度の移動ベクトル、及び異音の周波数スペクトラム情報は認識手段２３に供給される。そこでは、認識された音源が何に起因して生じた異音であるかが解析される。

即ち、認識手段２３では、集音マイク１２ａ、及び１２ｂから入来する複数音源による音響信号を、それぞれの音源毎に独立したソフトウエアプロセスにより、同時に音源解析を行うようにする。認識手段２３により認識された音源に係る情報は評価手段２４に供給される。

その評価手段２４では、使用者により予め設定されている監視目的の対象物が発する音響スペクトラム情報に対し、後述の予め設定されている条件に基づく監視目的とされる音響情報か、高レベルの観察目的音響情報か、又は低レベルの観察目的音響情報であるかが評価され、決定される。

次に、標本化量子化手段２１によりディジタル化された音響信号、及び評価手段２４で決定された評価結果は記録手段２６に供給され、記録される。その記録は映像信号の場合と同様になされ、ハードディスクなどの記録媒体２７には優先レベルの高い音響信号が記録される。

以上、映像情報及び音響信号が入力される場合の動作について述べた。
当然のことながら、標本化量子化手段２１、特徴抽出手段２２、認識手段２３、及び評価手段２４は映像情報及び音響信号の両者を処理する機能を有しており、映像情報及び音響信号の両者を記録手段２６に記録するようにしても構わない。

その場合は、認識手段２３において映像情報及び音響信号の両方の情報を用いて記録する信号の順位付けを行うため、精度の高い評価及びレベル分けを行うことができる。さらに監視記録装置は、映像信号及び音響信号の他に自動ドアの開閉情報、境界に設置される赤外光の遮断情報、モニター電極の容量変化情報などの検出情報を併せて用い、評価の精度を高くすることもできる。

以上、監視記録装置の構成とその動作について述べた。
次に、記録装置部２の構成要素である認識手段２３の動作について詳述する。
図２に、集音信号の認識のプロセスを、小鳥を認識する場合の例により模式的に示し、説明する。

同図において、集音信号の分類のプロセスを上から順に（ａ）大分類、（ｂ）中分類、そして（ｃ）小分類として示してある。
（ａ）の大分類は、小川のせせらぎ、木の葉などの環境音、動物達により発生される自然音、人間の関わる人口音、及び機械音などの大分類である。

そして、自然音は、犬、鳥、猫などの動物ごとの発する音に中分類される。さらに、その中の鳥のさえずりはホオジロ、メジロ、スズメなどの鳴き声に小分類される。そのような集音信号の分析を行う認識プログラムはそれぞれの分類毎に段階的に実行され、最後に小分類の泣き声分析ソフトプログラムが用いられて小鳥の鳴き声が特定できるようにされている。

この分析プログラムは鳥の生態情報を得ようとする観察目的の機能を有する監視記録装置に搭載されるものである。
一方、立ち入り禁止の自然保護地区に設置される監視記録装置の場合には、心無き者の立ち入りがなされたときの証拠能力が優先されるため、人口音、および機械音に対して分析能力の優れた認識手段、及び評価手段の優れた装置が用いられる。

そして、保護対象が例えばアマサギなどの野鳥であり、保護地区への不当な侵入の防止と、アマサギの成長の記録を目的とする場合などでは監視対象を第１目的の侵入者とし、観察対象を第２目的のアマサギとし、他の鳥の観察を第３目的とし、評価の高い映像、および音響信号を多く記録するようにする。

その場合の評価を行うための評価関数は、季節及び時刻により変化させ、貴重な映像の記録時間を長くさせる。アマサギは、春に鮮やかな亜麻色の頭を有するが、それを検出するようにしてアマサギの渡来を認識し映像を記録する。そして、夏にはかえるを捕まえるアマサギの動作を多く記録するためアマサギと水面の両者が検出される映像信号の評価ポイントを高くする。さらには、秋には全身を真っ白にするアマサギを記録に残すなどである。

次に、そのようなアマサギの変化を検出するための評価手段の設定方法について述べる。
記録装置部２の評価手段２４には「Ｌ」として図示する操作手段及び表示手段が接続されており、装置の利用者が監視条件を入力することにより、上述の監視目的、及び観察目的の対象物に係るレベルを設定することができる。

図３に、監視対象物に対するレベルを設定するための操作画面を示す。
同図において、画面の左側には監視条件をプルダウンメニューにより設定するための操作画面が示されている。

まず、監視／観察の部分の▼を図示しないポインティングデバイスによるり押すと監視と観察が表示される。同図は、観察を選択した場合の表示例である。同様にして、前述の図２に示した条件を選択により入力すると第１〜第３分類の入力操作ができる。その下のプルダウンメニューは、時刻又は季節の選択であり、季節を選択し、その右側で秋を選択した状態を示している。

左側の画面で対象物の設定がなされると右側の画面にそれに係る対象物の写真が表示される。この写真は上記入力操作により指定可能な対象物のそれぞれに対する複数枚の写真が予め記録媒体２７に内蔵されており、それらがユーザに提示される。ユーザにより、提示された写真に近い鳥が観察対象として選択される場合には画像選択の選択ボタンが押され、選択したくないとされるときにはパスボタンが押される。複数の提示用写真は画像候補の三角キーを押すことにより次々と表示され、好ましい写真に対して選択ボタンが押される。

以上は観察対象に対する設定であるが、監視対象の設定に関しても同様に行う。全ての設定が完了したときに実行キーが押されると、監視記録装置により設定されたサンプル画像が有するテキスチャが周波数分析されて求められ、求められた周波数分析結果を比較することにより、使用者により操作され、設定された条件に従った観察動作又は監視動作が行われる。
次に、設定された条件により行われる監視／観察対象物の評価について述べる。

図４に、記録装置部の評価手段で行われる評価動作をフローチャートにより示し、説明する。
最初に、前記の図３で選択された画像は、予めＫＬ（Karhunen Loeve）展開が行われ、直交基底画像データが得られる。直交基底画像データを得るための他の手法としては、画像データを例えばＤＣＴ（discrete cosine transform）して周波数軸に変換する方法によっても良い。変換して得られた複数画像に対する直交基底画像は辞書空間部分として例えば記録媒体２７に蓄積しておく。

次に、Ｓ（ステップ）６１において、監視カメラ１１からの映像信号は、標本化量子化手段２１を介して特徴抽出手段２２に供給される。Ｓ６２において、特徴抽出手段２２で供給されたディジタル映像信号は動きベクトルを有しているか否かが検出される。Ｓ６３において動きベクトルが検出されると、認識手段２３で動き検出された対象物の輪郭抽出がなされる。

Ｓ６４において、輪郭抽出された部分の画像データはＫＬ展開がなされ、Ｓ６５において対象物空間部分における直交基底画像が生成される。次に、Ｓ６６において複数ある上記辞書空間部分と対象物空間部分との空間相関演算がなされる。Ｓ６７において、類似度に関する閾値処理がなされ、所定値以上の類似度を有する空間部分が存在するときには、入力画像は該当する監視／観察対象物であるとして評価される。順位としてのレベルが付与される。

そして、評価された監視／観察対象物はそのレベルに応じ、上述の方法により記録媒体２７に記録される。
以上、評価の動作について説明した。
次に、ＫＬ展開について詳述する。

図５に、ＫＬ展開を説明するための特徴空間の変換方法を示す。即ち、ＫＬ展開で、多変量データが与えられたとき、各変量を組み合わせて、各データ間の違いをより際立たせて表現できるような新しい変量を作る主成分分析の模式図を示している。同図において、ｘ軸及びｙ軸の座標上に網点を付した楕円で示される特徴ベクトルの分布を示している。ここで、特徴ベクトルの分布に対し正投射したときに最も分散が大きくなる座標軸ｚを定義する。１点鎖線で示される曲線は、座標軸ｚに投射される特徴ベクトルの分布を示したものである。

このようにして、多変量データをより少ない変量で表現する。映像の場合、座標や輝度、色彩などの他、特徴抽出段で検出した動きの速度などの特徴データの使用が考えられる。例えば、９箇所の特徴点について、輝度、色相、色度の３パラメタ、そして移動速度と移動方向（ｘ，ｙ）をひとつのデータセットとした場合、ρ＝３０（＝９×３＋３）の変量データを、ｎ（ｎ＜ρ）の変量に削減する。

削減された変量を特徴として代表させようとするのが、ＫＬ展開の考え方である。ここでは統計学的説明を省略するが、主成分分析によって得られる各固有ベクトルは互いに直交する。例えば、２５６×２５６画素の画像の各画素の輝度を、ひとつのデータとすると、６５５３６（＝２５６×２５６）次元のデータとなるが、ＫＬ展開により、この次元数を減らすことができる。上記理由のため、ＫＬ展開はパタン認識分野では古くから使われている。

なお、マイクロフォンを平面上に多数配置する場合には平面的な音響信号として同様の展開を行うことができるが、実際には左右に並べられた２つのマイクロフォンからの音響信号として得られている。従って、２チャンネル音響信号の場合は、左右それぞれのチャンネルの信号をＦＦＴ（Fast Fourier Transform）などを用いて直交変換し、変換して得られる直交基底ベクトルである周波数成分、及びその時間変化の特性により対象物の分析を行うことになる。

以上、ＫＬ展開やＤＣＴなどを例とし、直交変換を応用して直交基底ベクトルにより監視対象物を検出し、評価する方法について述べた。そして、辞書空間部分と対象物空間部分とを直交基底ベクトル情報により相関を求める場合においては、例え形状が異なる場合であってもテクスチャ（表面の質感など）が似通っている場合には、直交基底成分は同様な分布を示すため、前述の図３で設定した対象物と同種類のテクスチャを有する監視対象物の検出が可能となる。

すなわち、検出された監視対象物に係る映像及び音響信号は高品質な信号として記録媒体２７に記録する。そして、前述の図３を用いて述べた第３分類まで合致する観察対象もまた高品質な信号として媒体に記録する。しかし、第２分類までしか合致しない例えばアマサギ以外の鳥の場合では通常の記録、又は駒落とし等により情報を間引いた映像の記録を行う。

また、アマサギ以外の鳥であっても例えば羽のテクスチャの類似度が高く、似通った直交基底成分を有している鳥の場合には、一般の鳥とアマサギとの中間のレベル、もしくはアマサギの記録に近い品質の記録を行うなど、評価結果に応じて記録のレベルを適応的に変化させる。

しかし、長時間の記録、ないしは多くの第２分類の観察対象の記録により記録媒体２７の記録領域が不足する。そこで、レベルの低い対象の映像を定期的に消去する必要が生じる。
図６に、記録媒体の領域確保に係る動作をフローチャートにより示す。

まず、Ｓ７１において記録媒体２７の空き領域が十分であるかがチェックされる。十分な領域がないときには、Ｓ７２において映像信号と共に記録してある評価結果が読み出され、評価リストが作成される。Ｓ７３において、監視対象に係る評価値の順にリストが並び替えられる。そしてＳ７４では、観察目的の対象物に対するリストの並び替えが行われる。

Ｓ７５において、表価値の低い順に記録データの消去が行われ、Ｓ７６で十分な空き領域が確保されたとして検出されるときに消去作業が終了される。
以上、評価手段２４により評価され、記録された結果を基に記録情報の整理を自動的に行う方法について述べた。

次に、記録を手動モードにより切換えて行う方法について述べる。
その場合のモード切換えは、評価手段２４に接続される、前述の図３に示したと同様の入力手段により、画面上のスイッチを操作して行う。

切換えモードとしては、警備モードと警備解除モードとを切換えるようにする。そして、切換えを半自動で行う方法としてタイマから時刻情報を得て行う方法もある。例えば自然観察施設や公園場合では、閉鎖時間帯は警備モードに開園時間帯は解除モードに設定するなどである。

そして、入力された映像、音声信号の認識評価結果によりモード切換えを警備解除モードから警備モードに切換える方法もある。反対に、警備モードに設定しておき、所定時間以上経過したときに警備解除モードに切換えるようにしても良い。

そして、特にモードが変更されて記録される場合には映像と切換えポイントとの関係を明確にするため、切換えポイント情報を映像信号と共に記録する。即ち、評価結果をメタ情報として映像信号と共に記録媒体に記録する。

メタ情報を共に記録するためのフィールドを確保できないときには、例えば映像信号をファイル化して記録するときのファイル名を評価結果と関連させた名前として記録するようにしても良い。

記録手段に記録される情報がデジタル信号である場合には映像ないしは音響信号と共に上記の評価結果が記録可能であり、記録媒体の整理、及び記録内容の検索などが容易になされる。しかし、記録媒体がアナログ記録である場合には評価結果の記録及び再生は容易ではない。

例えば、アナログＶＣＲ（Video Cassette Recorder）を記録媒体として用いる場合には、ファイル管理記録を行うことはできなく、記録場所のアドレッシングもタイムコードのみである。そして、タイムコードを管理する他のディジタル記録媒体を併用することにより評価結果を記録することは可能であるものの、記録媒体数が複数になることは好ましくない。

そこで、映像信号のアナログ記録を行うときには、評価結果を映像ないしは音響信号に透かし情報として埋め込み、記録する方法がある。

図７に、第２の実施例による監視記録装置の構成を示し、図を参照して説明する。なお、第１の実施例と同一機能部分には同一の符号を付し、説明を省く。
同図に示す記録装置部２ａは、前述の記録装置部２に比して透かし付加手段２５、透かし検出手段２９が多く配置され、ディジタル信号を記録する記録媒体２７の代わりにアナログ信号を記録する記録媒体２７ａが配されている点で異なっている。

記録装置部２ａの動作は、記録装置部２に比し次が異なる。
まず、評価手段２４から透かし付加手段２５に評価結果のデータが供給される。標本化量子化手段２１から供給される映像信号ないしは音響信号に対して評価結果のデータが埋め込まれた映像信号ないしは音響信号が生成され、記憶手段２６を介して記録媒体２７に記録される。

記録された映像信号ないしは音響信号は再生手段２８を介して再生され、透かし検出手段２９に供給される。透かし付加手段２５で埋め込まれた評価結果のデータはそこで検出される。

ここで、透かし付加手段２５により埋め込まれる評価結果のデータは、アナログ信号伝送時に生じるレベル変動、雑音の増加、及びジッター成分に対しても影響の受け難い埋め込み特性のものを用いるようにする。通常の電子透かしが秘話性を重視するのと異なる点である。

そして、記録媒体２７ａに記録される情報がディジタル信号であり、そこに記録された信号が再生され、他のアナログ記録媒体にコピーされる場合であっても再生される映像信号ないしは音響信号に埋め込まれた評価結果のデータは読み出し可能である。従って、コピーされた記録媒体の再生においても、記録された評価情報を基にした機能の実現、例えば記録された映像信号の検索を行うことも可能となる。

以上、第２の実施例による監視記録装置の構成と動作について述べた。
なお、アナログＶＣＲに映像信号をアナログ記録する場合であって音響信号の記録を行わない場合には、評価結果情報をアナログ音声帯域の信号に変換、ないしは変調し音声トラックに記録するようにしても良い。

そして、記録された評価結果情報は信号逆変換、ないしはディジタル復調手段を用いて再生することができる。
しかし、アナログＶＣＲの場合では早送り、巻き戻し中に音声信号を再生することは困難であるため、予めタイムコードと評価結果の関係を他の記録媒体に記録、又はコピーしておき、それを用いて警備モード記録部の高速頭出しを行う方法もある。

以上、第１及び第２の実施例により監視対象を評価しながら適応的に記録する監視記録装置の構成とその動作について述べた。記録情報の優先順位は監視情報、特定対象物の観察情報、そして一般対象物の観察情報の順である。

評価値が低い映像については駒落とし映像として記録する方法について述べたが、その場合の情報量の少ない映像は駒落とし映像の外にＭＰＥＧ（moving picture experts group）符号化時の圧縮率を高くしたもの、画素数を小さくしたものによる符号化映像を記録しても良い。

同様に、音響信号に関してもレベルの高い部分を抜き取って記録する、圧縮率を高めた符号化信号を記録する、ないしはサンプリング周波数を低く間引いた圧縮符号化信号を記録するなどの方法もある。

それらの記録される情報の品質は監視目的であるか又は観察目的であるかによっても異なっており、監視目的のときには例えば不審者の背格好や挙動を主に記録する方法によっても良い。一方、観察目的の場合には保存の優先度は低いが画質、音質は高品質な記録が要求される。

従って、記録される情報信号の保存優先度と品質優先度とは監視目的であるか又は観察目的により異なっており、必ずしも一義的に定められるものではない。評価結果を１次元のスカラ量として求めて記録信号の制御を行うのではなく、多次元のベクトル量として扱い、更には複数の評価関数を用いそれらの評価結果毎に記録信号を制御するようにする場合には、ユーザの要求に従った好適な監視情報、及び観察情報の記録を行うことができる。

従って、ユーザにより設定される用途及び目的により、撮影された映像の分析及び異常の検出要求に従った監視対象物の適応的な解析、検出がなされ、検出された対象物をズーミングして撮影、記録、及び保存することができる。

一方、集音される音響信号を用いて監視カメラ装置の撮影方向などの制御も可能であり、その場合では、騒音を発する迷惑行為、対象物を検出した撮影、また交通違反、事故の撮影にも効果的である。さらには、スプレー式ペイントの放出音を検出して公共物への落書き行為を検出し、その検出された方向でなされる行為を監視カメラによりパン、ズーミング撮影、記録して摘発するなども可能となるものである。

以上詳述した監視情報記録方法は次のように記述できる。
すなわち、

監視カメラの映像信号及び／又は監視用マイクの音響信号を含む監視情報の記録を、防犯目的の監視対象に対しては防犯モード、観察目的の観察対象に対しては観察モード、及び一般的な対象に対しては一般モードのそれぞれの記録モードに設定して行う監視情報の記録方法であって、
表示手段に提示された複数の監視対象の候補から前記監視対象に係る監視候補及び前記観察対象に係る観察候補を操作により選定する第１のステップと、
監視カメラ及び／又は監視用マイクから得られる前記監視情報を直交変換して直交基底監視情報データを得る第２のステップと、
前記第２のステップで得られた直交基底監視情報データと、前記第１のステップで選定した監視候補及び観察候補を直交変換したそれぞれの直交基底候補データとを比較することにより、前記監視情報は前記監視対象であるか、前記観察対象であるか、又は前記一般対象であるかを判定し、判定して得られた結果を基に前記記録モードを設定する第３のステップと、
前記第３のステップで設定された記録モードが前記防犯モードの場合は記録内容を長時間保存する長時間保存モードで、設定された記録モードが前記観察モードの場合は監視情報を高品質記録する高品質モードで、及び設定された記録モードが前記一般記録モードの場合は前記監視情報を高い符号化圧縮率で記録する長時間記録モードにより記録する第４のステップと、
を有して監視情報の記録方法を実現できる。

そして、監視カメラの映像信号及び／又は監視用マイクの音響信号を含む監視情報の記録を、防犯目的の監視対象に対しては防犯モード、観察目的の観察対象に対しては観察モード、及び一般的な対象に対しては一般モードのそれぞれの記録モードに設定して行う監視情報の記録方法であって、
表示手段に提示された複数の監視対象の候補から前記監視対象に係る監視候補及び前記観察対象に係る観察候補を操作により選定する第１のステップと、
監視カメラ及び／又は監視用マイクから得られる前記監視情報を直交変換して直交基底監視情報データを得る第２のステップと、
前記第２のステップで得られた直交基底監視情報データと、前記第１のステップで選定した監視候補及び観察候補を直交変換したそれぞれの直交基底候補データとを比較することにより、前記監視情報は前記監視対象であるか、前記観察対象であるか、又は前記一般対象であるかを判定し、判定して得られた結果を基に前記記録モードを設定する第３のステップと、
前記第３のステップで設定された記録モードが前記防犯モードの場合は記録内容を長時間保存する長時間保存モードで、設定された記録モードが前記観察モードの場合は監視情報を高品質記録する高品質モードで、及び設定された記録モードが前記一般記録モードの場合は前記監視情報を高い符号化圧縮率で記録する長時間記録モードにより記録する第４のステップと、
前記第４のステップでの記録により、記録媒体の未記録領域の容量が所定値以下であると検出されたときは、前記一般記録モードにより記録され、その記録から所定時間を経過した記録部分を消去する第５のステップと、
を有して監視情報の記録方法を実現できる。

さらに、監視カメラの映像信号及び／又は監視用マイクの音響信号を含む監視情報の記録を、防犯目的の監視対象に対しては防犯モード、観察目的の観察対象に対しては観察モード、及び一般的な対象に対しては一般モードのそれぞれの記録モードに設定して行う監視情報の記録方法であって、
表示手段に提示された複数の監視対象の候補から前記監視対象に係る監視候補及び前記観察対象に係る観察候補を操作により選定する第１のステップと、
監視カメラ及び／又は監視用マイクから得られる前記監視情報を直交変換して直交基底監視情報データを得る第２のステップと、
前記第２のステップで得られた直交基底監視情報データと、前記第１のステップで選定した監視候補及び観察候補を直交変換したそれぞれの直交基底候補データとを比較することにより、前記監視情報は前記監視対象であるか、前記観察対象であるか、又は前記一般対象であるかを判定し、判定して得られた結果を基に前記記録モードを設定すると共に、前記設定された記録モードを、前記第２のステップで得られた監視情報に畳み込んで透かし入り監視情報を生成する第３のステップと、
前記第３のステップで生成された透かし入り監視情報を、設定された記録モードが前記防犯モードの場合は記録内容を長時間保存する長時間保存モードで、設定された記録モードが前記観察モードの場合は監視情報を高品質記録する高品質モードで、及び設定された記録モードが前記一般記録モードの場合は前記監視情報を高い符号化圧縮率で記録する長時間記録モードにより記録する第４のステップと、
を有して監視情報の記録方法を実現しても良い。

以上、詳述したように、本実施例による監視記録装置によれば、主目的である監視映像の記録の他に、警備モードを解除したときには人々の心の安らぎとなるエンターテインメント素材ともなる観察映像の記録も可能とし、ユーザフレンドリーな好適な監視及び自然観察を行うための監視記録装置を実現できるものである。

さらに、発明は、上述した監視情報の記録方法をコンピュータにより実現させるためのプログラムを含むものである。

本発明の監視画像の記録方法によれば、監視カメラ装置から出力される映像信号、及び音響信号を、状況に応じて監視映像として、又は自然観察のための観察映像として記録することのできる監視記録装置の実現に利用できる。

本発明の実施例に係る、監視記録装置の構成を示すブロック図である。（実施例１） 本発明の実施例に係る、集音信号の認識のプロセスを示す図である。（実施例１） 本発明の実施例に係る、監視対象物の設定に係る操作画面を示す図である。（実施例１） 本発明の実施例に係る、対象物の評価動作を示すフローチャートである。（実施例１） 本発明の実施例に係る、ＫＬ展開に係る特徴空間の変換方法を示す図である。（実施例１） 本発明の実施例に係る、領域確保に係る動作のフローチャートである。（実施例１） 本発明の実施例に係る、監視記録装置の構成を示すブロック図である。（実施例２） 従来の実施例に係る、監視警報装置の構成を示したブロック図である。（従来例）

符号の説明

１ カメラマイク部
２、２ａ 記録装置部
１１ 監視カメラ
１２ａ、１２ｂ 集音マイク
２１ 標本化量子化手段
２２ 特徴抽出手段
２２ａ 動き検出手段
２３ 認識手段
２４ 評価手段
２５ 透かし付加手段
２６ 記録手段
２７ 記録媒体
２８ 再生手段
２９ 透かし検出手段
３１ 評価手段
３２ 比較手段
３３ 制御手段

Claims (3)

1. 監視カメラの設置位置において撮像可能と予想される撮像画像に関連して、予め登録してある多種類の画像のうちから所望のサンプル画像を選択する第１のステップと、
   前記第１のステップで選択した各サンプル画像について「観察」、「監視」、「その他」として３つに分類分けする第２のステップと、
   を前記監視カメラで撮像する監視に先立って事前に実行しておき、この実行後、
   前記監視カメラから入力される監視画像のうち、動きがある被写体についてのみ周波数分析を行う第３のステップと、
   前記第２のステップで分類分けされた複数のサンプル画像に係るそれぞれの周波数分析結果と、前記第３のステップで得られた周波数分析結果とを比較して、前記動きがある被写体が分類分けされた前記複数のサンプル画像のいずれに最も近いかどうかを判定する第４のステップと、
   前記第４のステップで判定されたそれぞれの判定結果に応じて、前記第２のステップにおける「観察」として分類できるときには前記監視画像を実時間記録する高画質モードで記録し、前記第２のステップにおける「監視」として分類できるときには前記監視画像を重ね書きすることなく長時間記録する長時間保存モードで記録し、前記第２のステップにおける「観察」「監視」以外の「その他」に分類されるときには前記監視画像を重ね書きで長時間記録する長時間記録モードで記録する第５のステップと、
   を有してなることを特徴とする監視画像の記録方法。
2. 監視カメラの設置位置において撮像可能と予想される撮像画像に関連して、予め登録してある多種類の画像のうちから所望のサンプル画像を選択する第１のステップと、
   前記第１のステップで選択した各サンプル画像について「観察」、「監視」、「その他」として３つに分類分けする第２のステップと、
   を前記監視カメラで撮像する監視に先立って事前に実行しておき、この実行後、
   前記監視カメラから入力される監視画像のうち、動きがある被写体についてのみ周波数分析を行う第３のステップと、
   前記第２のステップで分類分けされた複数のサンプル画像に係るそれぞれの周波数分析結果と、前記第３のステップで得られた周波数分析結果とを比較して、前記動きがある被写体が分類分けされた前記複数のサンプル画像のいずれに最も近いかどうかを判定する第４のステップと、
   前記第４のステップで判定されたそれぞれの判定結果に応じて、前記第２のステップにおける「観察」として分類できるときには前記監視画像を実時間記録する高画質モードで記録し、前記第２のステップにおける「監視」として分類できるときには前記監視画像を重ね書きすることなく長時間記録する長時間保存モードで記録し、前記第２のステップにおける「観察」「監視」以外の「その他」に分類されるときには前記監視画像を重ね書きで長時間記録する長時間記録モードで記録する第５のステップと、
   前記第５のステップでの記録により、未記録領域の容量が所定値以下であるとして検出されたときには、記録後所定時間を経過した前記長時間記録モードによる記録部分を消去する第６のステップと、
   を有してなることを特徴とする監視画像の記録方法。
3. 監視カメラの設置位置において撮像可能と予想される撮像画像に関連して、予め登録してある多種類の画像のうちから所望のサンプル画像を選択する第１のステップと、
   前記第１のステップで選択した各サンプル画像について「観察」、「監視」、「その他」として３つに分類分けする第２のステップと、
   を前記監視カメラで撮像する監視に先立って事前に実行しておき、この実行後、
   前記監視カメラから入力される監視画像のうち、動きがある被写体についてのみ周波数分析を行う第３のステップと、
   前記第２のステップで分類分けされた複数のサンプル画像に係るそれぞれの周波数分析結果と、前記第３のステップで得られた周波数分析結果とを比較して、前記動きがある被写体が分類分けされた前記複数のサンプル画像のいずれに最も近いかどうかを判定する第４のステップと、
   前記第４のステップで判定された結果を、前記監視カメラから入力された監視画像に畳み込んで透かし入り監視画像を生成する第５のステップと、
   前記第４のステップで判定されたそれぞれの判定結果に応じて、前記第２のステップにおける「観察」として分類できるときには前記第４のステップで生成された透かし入り監視画像を実時間記録する高画質モードで記録し、前記第２のステップにおける「監視」として分類できるときには前記第４のステップで生成された透かし入り監視画像を重ね書きすることなく長時間記録する長時間保存モードで記録し、前記第２のステップにおける「観察」「監視」以外の「その他」に分類されるときには前記第４のステップで生成された透かし入り監視画像を重ね書きで長時間記録する長時間記録モードで記録する第６のステップと、
   を有してなることを特徴とする監視画像の記録方法。

Images