(実施形態1)
本実施形態の監視システムは、例えば住宅屋内外間で通話を行うためのドアホンシステムに組み込まれている。
図2に示すドアホンシステムは、住宅Hの庭に設置されるカメラ装置(撮像装置)1と、住宅H内(屋内)に設置される親機(ドアホン親機)よりなりカメラ装置1とともに監視システムを構成するモニタ装置(監視装置)2と、住宅H外(屋外)に設置される子器(ドアホン子器)3とで構成されている。なお、カメラ装置1および子器3はモニタ装置2に伝送線により接続されている。また、子器3は従来周知のものを採用することが可能であるから、本実施形態では子器3の説明を省略する。
カメラ装置1は、図1に示すように、所定の撮像領域を時系列で連続的に撮像する撮像部10を有する。撮像部10は、CCDイメージ・センサやCMOSイメージ・センサなどの固体撮像素子よりなる撮像素子(図示せず)と、当該撮像素子とともにカメラとしての機能を発揮するDSP(Digital Signal Processor)などの制御装置(図示せず)とを主構成要素として備える。当該制御装置は、図3(a)に示すように、撮像素子の出力(電荷)を所定のフレームレート(例えば15FPS)で取り込み、取り込んだ撮像素子の出力に基づいて所定の形式(例えばYUV形式)のデジタル・データである画像データ(以下、「撮像画像」と称する)Pn(図3では時系列の撮像画像を区別するためにP1〜P52で表す)を作成して出力する機能を有する。この他、制御装置は、撮像素子の利得の自動制御機能や、画像を濃淡画像などに変換する色制御機能などを有する。なお、撮像素子としてCMOSイメージ・センサを用いる場合、撮像部10として、システム・オン・チップ(SoC)技術などを利用して撮像素子と制御装置とを一体に構成したワンチップカメラを用いることもできる。
さらに、カメラ装置1は、撮像部10の撮像画像をモニタ装置2に送信する画像送信部11と、撮像部10の撮像画像に検知対象物(本実施形態では人)が写っているか否かの判定を行う画像処理部12と、画像処理部12の判定結果に基づいて撮像画像に検知対象物が写っているかを示す検知状態信号をモニタ装置2に送信する検知状態信号送信部13と、カメラ装置1の全体的な制御を行う制御部(以下、「カメラ側制御部」と称する)14とを有する。また、カメラ装置1には必要に応じて撮像画像が記憶される記憶部(図示せず)を有する。
画像送信部11は、伝送線(通信線)L1によりモニタ装置2の後述する画像受信部20に接続される。画像送信部11は、通信インタフェースやFPGA(Field Programmable Gate Array)などを利用して構成される。画像送信部11は、カメラ側制御部14より後述する伝送開始信号を受け取ると、撮像部10により撮像中の撮像画像を符号化(伝送路符号化)してモニタ装置2に送信する処理(画像送信処理)を実行する。当該画像送信処理は、カメラ側制御部14より後述する伝送終了信号を受け取った際に終了される。ここで、画像送信部11からモニタ装置2に撮像画像を送出するタイミングは、撮像部10のフレームレートと同期させている。なお、画像送信部11は、撮像画像を伝送路符号化する前に、YUV形式の撮像画像をNTSC形式の撮像画像に変換する処理(YUV/NTSC変換処理)を実行する。ただし、モニタ装置2においてYUV形式の撮像画像のままで再生が可能であれば、YUV/NTSC変換処理は実行する必要がない。この他、画像送信部11は、必要に応じて撮像画像を圧縮する処理や、撮像画像の輪郭を強調する処理などを行う。
画像処理部12は、撮像部10の撮像画像に検知対象物が写っているか否かの判定を行うにあたっては、第1の処理(輪郭抽出処理)と、第2の処理(移動輪郭抽出処理)と、第3の処理(移動領域検出処理)と、第4の処理(領域特徴量検出処理)とを実行する。なお、画像処理部12には、RAMなどの記憶装置よりなり、輪郭抽出処理で作成されたエッジ画像を一定期間保存するための輪郭画像記憶部(図示せず)が設けられる。
輪郭抽出処理は、一般的に知られたSOBELフィルタなどを使用して撮像部10から得られる撮像画像を微分処理してエッジ(輪郭)の抽出を行い、各撮像画像のエッジ画像を上記輪郭画像記憶部に一定期間保存する処理である。移動輪郭抽出処理は、上記輪郭画像記憶部に保存された時系列のエッジ画像を用いて論理合成を行い、移動体のエッジのみを抽出した合成画像を作成する処理である。移動領域検出処理は、移動輪郭抽出処理で作成された合成画像をラベリングして移動体に相当する領域(以下、「移動領域」と称する)を検出する処理である。なお、上記移動領域は、移動体の輪郭に外接する四角形等の移動枠で表わせばデータ量が減り、計算が容易となる。また、この手法を用いればフレーム差分などとは異なり、残像がなく移動した領域のエッジのみを抽出できる。
最後の領域特徴量検出処理は、エッジ方向値分布作成処理と、判定処理とで構成される。エッジ方向値分布作成処理は、上記輪郭画像記憶部に保存されたエッジ画像と移動領域検出処理で作成された移動体の移動領域とに基づいて、移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する処理である。判定処理は、エッジ方向値分布作成処理で作成されたエッジ方向値分布を移動領域のエッジ方向の特徴量として、このエッジ方向の特徴量に基づいて領域移動が外乱によるものか検知対象物によるものかを判定する処理である。
ここで、領域移動が外乱によるものか人によるものかを判定する際には、エッジの分布を利用することができる。すなわち、人体のエッジには直線部分より曲線部分が多く且つ複雑な形状であるため、そのエッジ方向はあらゆる方向に分布しており、対して構造物の影などのエッジは直線的な成分が多く、エッジの分布は偏った分布になりやすいことを利用している。また、ある移動領域が人体を表わしている否かを判定するために、エッジ方向値分布をテーブルに格納し、人体の動きによるエッジ方向値分布テーブルと互いの分布を比較することも可能である。
画像処理部12は、上記の処理を実行した結果、撮像部10の撮像画像に検知対象物が写っていると判定すると、カメラ側制御部14にハイレベルの人体検知信号(図3(b)参照)を出力する。本実施形態における人体検知信号は、撮像部10の撮像画像に検知対象物が写っているときはハイレベル、検知対象物が写っていないときはロウレベルに設定される信号である。
このように本実施形態の監視システムでは、画像処理部12が、カメラ装置1の撮像部10で撮像された撮像画像に検知対象物が写っているか否かを判定する判定手段を構成する。なお、画像処理部12は、例えばマイクロコンピュータ(マイクロコントローラ、略称としてマイコン、広義にはCPUとも称される)であり、メモリに記憶されたプログラムをCPUで実行することにより上記の処理を実行する。また、画像処理部12としてはマイコンの他に専用のASIC(Application Specific Integrated Circuit)やDSPなども利用できる。
検知状態信号送信部13は、伝送線(通信線)L2によりモニタ装置2の後述する検知状態信号受信部21に接続される。検知状態信号送信部13は、図3(d)に示すように、カメラ側制御部14より後述する検知開始通知信号を受け取ると、伝送線L2の電位を「ハイレベル」に設定し(ハイレベルの検知状態信号を出力し)、カメラ側制御部14より後述する検知終了通知信号を受け取ると伝送線L2の電位を「ロウレベル」に設定する(ロウレベルの検知状態信号を出力する)。なお、検知状態信号送信部13により検知状態信号を送信するタイミングと、画像送信部11により撮像画像を送信するタイミングとは、時間的に大きなずれが生じない(検知対象物が写っていない撮像画像の送信時にはロウレベルの検地状態信号が、検知対象物が写っている撮像画像の送信時にはハイレベルの検地状態信号がそれぞれ送信される)ように、同期を取るようにしている。
カメラ側制御部14は、例えばメモリに記憶されたプログラムをCPUで実行することにより種々の機能を実現するマイコンなどにより構成される。カメラ側制御部14は、画像処理部12よりハイレベルの人体検知信号を受け取った際(つまりは、人の存在を検知した際)には、送信開始処理と、検知開始通知処理と、報知開始処理とを実行する。送信開始処理は、画像送信部11に前述の伝送開始信号を出力する処理であり、検知開始通知処理は、検知状態信号送信部13に前述の検知開始通知信号を出力する処理である。一方、報知開始処理は、カメラ装置1に設けた報知部(図示せず)に報知開始信号を出力する処理である。当該報知部は、侵入者に対して威嚇用の報知を行うためのものであって、視覚的な威嚇に用いられるライトや、聴覚的な威嚇に用いられる電気音響変換器(ブザーやスピーカ)などを備えるものであり、報知開始信号を受け取ってから後述する報知終了信号を受け取るまでの間、ライトを点灯したり、電気音響変換器から音声を出力したりする威嚇動作を実行する。
また、カメラ側制御部14は、画像処理部12よりハイレベルの人体検知信号を受け取ってから所定の伝送時間が経過したときに、画像送信部11に前述の伝送終了信号を出力する処理(送信終了処理)を実行する。ここで、上記伝送時間が経過する前(すなわち伝送時間中)に、画像処理部11よりロウレベルの人体検知信号を受け取ると、カメラ側制御部14は、検知状態信号送信部13に前述の検知終了通知信号を出力する処理(検知終了通知処理)を実行する。ここで、カメラ側制御部14は、上記伝送時間の経過前に再びハイレベルの人体検知信号を受け取った場合には、検知開始通知処理を実行するが、上記伝送時間の再カウントは行わず、上記伝送時間が経過した時に予定通り送信終了処理を実行する。さらに、カメラ側制御部14は、ハイレベルの人体検知信号を受け取ってから所定の警報時間が経過した後に、報知部に前述の報知終了信号を出力する処理(報知終了処理)を実行する。なお、上記伝送時間および上記警報時間は適宜設定される。
モニタ装置2は、図1に示すように、画像送信部11により送信された撮像画像を受信する前述の画像受信部20と、検知状態信号送信部13により送信された検知状態信号を受信する前述の検知状態信号受信部21とを有する。また、モニタ装置2は、RAMなどの記憶装置よりなる記憶部22と、録画部23と、液晶表示装置などの画像表示装置よりなる画像表示部24と、モニタ装置2の全体的な制御部を行う制御部(以下、「モニタ側制御部」と称する)25と、モニタ装置2を操作するためのユーザインタフェースとなる操作入力部(図示せず)と、子器3との間で通話を行うための通話装置(図示せず)とを有する。ここで、通話装置は、子器3との間で音声データなどの送受信を行う通信部や、音声入力用のマイク、音声出力用のスピーカなどを備えている。なお、子器3がカメラ付きのものであるならば、子器3の動作時に、子器3のカメラで撮像した画像を、画像表示部24に表示するようにしてもよい。このような通話装置については従来周知のものを採用することができるから詳細な説明を省略する。
画像受信部20は、画像送信部11より受け取った撮像画像を復号化(伝送路復号化)して録画部23および画像表示部24に順次出力する処理を実行する。また、画像受信部20は、画像送信部11において撮像画像を圧縮する処理が実行されていた場合には、圧縮された撮像画像を伸張する処理を実行する。
検知状態信号受信部21は、伝送線L2の電位を監視し、その監視結果に応じてモニタ側制御部25に検知状態信号を出力する。本実施形態の場合、検知状態信号受信部21は、伝送線L2の電位がハイレベルであればハイレベルの検知状態信号をモニタ側制御部25に、伝送線L2の電位がロウレベルであればロウレベルの検知状態信号をモニタ側制御部25に出力する。このように本実施形態では、検知状態信号送信部13と検知状態信号受信部21によって、検知状態信号がモニタ側制御部25に出力される。
録画部23は、画像受信部20で受信された時系列順の撮像画像群(以下、「受信画像群」と称する)を動画として記憶部22に録画する処理(録画処理)を実行する。ここで、録画部23は、モニタ側制御部25より後述する録画開始信号を受け取った際に録画処理を開始し、後述する録画終了信号を受け取ると所定時間経過後に録画処理を終了する。なお、上記所定時間の経過を待たずに、録画終了信号を受け取ると同時に録画処理を終了するようにしてもよい。
画像表示部24は、上記受信画像群を時系列順に表示する処理(受信画像表示処理)を実行する。当該受信画像表示処理は、画像受信部20より撮像画像を受け取った際に開始され、撮像画像を受け取らなくなった際に終了される。また、画像表示部24は、記憶部22に録画された動画を表示する処理(再生処理)を実行する。当該再生処理は、モニタ側制御部25より後述する再生開始信号を受け取ったときに開始される。
モニタ側制御部25は、例えばメモリに記憶されたプログラムをCPUで実行することにより種々の機能を実現するマイコンなどにより構成される。モニタ側制御部25は、検知状態信号がロウレベルからハイレベルになると録画部23に前述の録画開始信号を出力する処理(録画開始処理)を実行し、検知状態信号がハイレベルからロウレベルになると録画部23に前述の録画終了信号を出力する処理(録画終了処理)を実行する。したがって、本実施形態では、モニタ側制御部25が、録画部23の制御を行う。
また、モニタ側制御部25は、上記操作入力部で所定の操作が行われると、前述の再生開始信号を画像表示部24に出力する処理(再生開始処理)を実行する。
次に本実施形態の監視システムの動作について、図3(a)〜(e)を参照して説明する。なお、図3(a)は撮像部10で撮像された撮像画像群を示し、図3(b)は人体検知信号を示し、図3(c)は画像送信部11が送信する撮像画像群を示し、図3(d)は検知状態信号を示し、図3(e)は録画部23が記憶部22に録画する撮像画像群を示す。また、以下では、説明の簡略化のために、処理時間や伝送時間などによる時刻のずれを無視して、同時刻に処理が実行されるとして説明を行う。
カメラ装置1は、図3(a)に示すように、起動している間は、常時、撮像部10により所定の撮像領域を所定のフレームレートで撮像する。撮像部10で撮像された撮像画像P1…は、画像送信部11および画像処理部12に順次出力される。
画像処理部12は、所定の時間間隔で、撮像部10の撮像画像に検知対象物が写っているか否かの判定を行う。ここで、画像処理部12により検知対象物が写っていると判定される前(時刻t1以前)は、図3(b)に示すように、人体検知信号はロウレベルである。そのためカメラ側制御部14は、送信開始処理および検知開始通知処理を実行しないので、画像送信部11より撮像画像は送信されず、また検知状態信号送信部13が送信する検知状態信号はロウレベルである。
ここで、画像処理部12により検知対象物が写っていると判定されると(時刻t1)、図3(b)に示すように、カメラ側制御部14にハイレベルの人体検知信号が出力される。そうすると、カメラ側制御部14は送信開始処理を実行するので、画像送信部11は、図3(c)に示すように、撮像部10により撮像中の撮像画像Pをモニタ装置2に送信する画像送信処理を実行する。また、カメラ側制御部14は、検知開始通知処理を実行し、これによって、検知状態信号送信部13は、図3(d)に示すように、ハイレベルの検知状態信号を検知状態信号受信部21に送信する。
モニタ装置2では、画像受信部20により撮像画像が受信され、録画部23および画像表示部24それぞれに送られる。画像表示部24では、受信画像群を時系列順に表示する受信画像表示処理が実行される。また、検知状態信号受信部21で受信された検知状態信号がモニタ側制御部25に入力される。これによってモニタ側制御部25は録画開始処理を実行し、録画部23で録画処理が開始される。
その後、画像処理部12が撮像部10の撮像画像に検知対象物が写っていないと判定すると、カメラ側制御部14にロウレベルの人体検知信号が出力される(時刻t2)。そうすると、カメラ側制御部14は検知終了通知処理を実行し、これによって、検知状態信号送信部13が送信する検知状態信号はロウレベルになり、このロウレベルの検知状態信号が検知状態信号受信部21を通じてモニタ側制御部25に入力される。そうすると、モニタ側制御部25は録画終了信号を録画部23に出力する録画終了処理を実行する。そして、録画部23は、録画終了信号を受け取ってから所定時間経過後(図3に示す例では3フレーム分に相当する時間)に録画処理を終了する(時刻t3)。
そして、カメラ側制御部14は、画像処理部12よりハイレベルの人体検知信号を受け取った時刻(時刻t1)から所定の伝送時間が経過すると(時刻t4)、送信終了処理を実行する。これによって、画像送信部11による画像送信処理が終了される。
監視システムが上記動作を行った場合、カメラ装置1からモニタ装置2には、撮像画像P7〜P43が送信される(図3(c)参照)。一方、モニタ装置2では、カメラ装置1より受け取った撮像画像P7〜P43の全てを録画せず、撮像画像P7〜P18を録画する。
すなわち、以上述べた本実施形態の監視システムによれば、画像受信部20で受信された時系列順の撮像画像群の全てを動画として記憶部22に録画するのではなく、撮像画像に検知対象物が写っているかを示す検知状態信号に基づいて、画像受信部20で受信された撮像画像のうち検知対象物が写っていると判定された撮像画像群を動画として記憶部22に録画するので、画像受信部20で受信された時系列順の撮像画像群のうち検知対象物が写っていない撮像画像を省くことが可能になるから、記憶部22に録画される動画の容量(データ・サイズ)を少なくすることができるようになり、記憶部22を効率良く使用することができる。よって、記憶部22の記憶容量を増やすことなく録画可能な動画数を増やすことができる。
また、判定手段となる画像処理部12がカメラ装置1に設けられているので、画像処理部12をモニタ装置2に設けた場合とは異なり、必要なとき(例えば対象物を検知したときだけ)だけ撮像画像をモニタ装置2に送信することができるようになるから、カメラ装置1からモニタ装置2に送信する撮像画像のデータ量を削減することができ、また低消費電力化が図れる。
ところで、上記の例では、画像表示部24で行われる受信画像表示処理は、画像受信部20より撮像画像を受け取った際に開始され、撮像画像を受け取らなくなった際に終了されるが、受信画像表示処理を行うタイミングはモニタ制御部25により制御するようにしてもよい。すなわち、画像表示部24は、モニタ側制御部25から表示開始信号を受け取った際に受信画像表示処理を開始し、表示終了信号を受け取った際に終了するようにしてもよい。ここで、モニタ側制御部25は、検知状態信号がハイレベルであれば、画像表示部24に表示開始信号を出力し、検知状態信号がロウレベルであれば、画像表示部24に表示終了信号を出力する。
すなわち、モニタ側制御部25は、検知状態信号に基づいて、画像受信部20で受信された時系列順の撮像画像群のうち検知対象物が写っていると判定された撮像画像群が時系列順に表示されるように画像表示部24を制御する。
このようにすれば、画像受信部20で受信された時系列順の撮像画像群の全てを画像表示部24で表示するのではなく、撮像画像に検知対象物が写っているかを示す検知状態信号に基づいて、画像受信部20で受信された撮像画像のうち検知対象物が写っていると判定された撮像画像群を画像表示部24で表示するので、画像受信部20で受信された時系列順の撮像画像群のうち検知対象物が写っていない撮像画像を省くことが可能になるから、無駄な撮像画像の表示を抑制することができるようになり、画像表示部24の駆動に必要な電力の低消費化を図ることができる。
ところで、上記のカメラ側制御部14は、送信開始処理の実行から上記伝送時間が経過する前に、人体検知信号がロウレベルになり、その後再びハイレベルの人体検知信号を受け取った場合でも、上記伝送時間の再カウントは行わない。そのため、この場合には、人体検知信号がハイレベルかロウレベルかによらずに上記伝送時間の経過によりモニタ装置2への撮像画像の送信が終了される。よって、例えば図4において時刻t3と時刻t4との間の時刻で上記伝送時間が経過した場合、人体検知信号がハイレベルであるときの撮像画像P29〜P37が分断されてしまう(途切れてしまう)。
そこで、カメラ側制御部14は、送信開始処理の実行から上記伝送時間が経過する前に、人体検知信号がロウレベルになり、その後再びハイレベルの人体検知信号を受け取った場合、上記伝送時間を再カウントする(すなわち上記伝送時間を延長する)処理を行うようにしてもよい。このようにすれば、人体検知信号がハイレベルであるときの撮像画像群が分断されてしまうことを防止することができる。
以上述べた本実施形態の監視システムの構成はあくまでも本発明の一実施形態であって、本発明の技術的範囲を上記の例に限定する趣旨ではなく、本発明の趣旨を逸脱しない程度に変更することができる。例えば、本実施形態では、画像送信部11と画像受信部21との通信、および検知状態信号送信部13と検知状態信号受信部14との通信を有線通信により行うようにしているが、無線通信により行うようにしてもよい。また、周波数分割多重方式や時分割多重方式を用いることで、画像送信部11と検知状態信号送信部13とを一体化するとともに、画像受信部21と検知状態信号受信部14とを一体化するようにしてもよい。また、本実施形態における判定手段は、画像処理部12により構成されているが、その他のセンサ(例えば熱線センサ)により構成されていてもよいし、画像処理部12とその他のセンサ(例えば熱線センサ)とで構成されたものであってもよい。この場合、判定手段は、各々の判定結果に基づいて、撮像画像に検知対象が写っているか否かを判定するようにし、これによって判定の精度を向上することができる。このような点は後述する実施形態2,3においても同様である。
(実施形態2)
本実施形態の監視システムは、モニタ装置2の構成が実施形態1と異なっており、カメラ装置1の構成は実施形態1と同じであるから説明および図示を省略する。
本実施形態におけるモニタ装置2は、画像受信部20で受信された撮像画像群と、検知状態信号とを一時的に記憶する一次記憶部(図示せず)を有する。当該一次記憶部は、例えば、記憶部22の記憶領域の一部により構成される。
本実施形態におけるモニタ側制御部25は、実施形態1で述べた種々の処理に加えて、一次記憶処理と、再録判定処理と、再録制御処理とを実行する。
一次記憶処理は、画像受信部20で撮像画像を受信してから撮像画像を受信しなくなるまでの間(すなわち伝送時間中)に受信した撮像画像群と、当該伝送時間中における検知状態信号の推移(検知状態信号の時間変化)を示す検知状態データとを一次記憶部に記憶させる処理である。
再録判定処理は、検知状態データを元に、上記伝送時間中に、検知状態信号がハイレベルである期間が複数回あったか否かを判定する処理である。この再録判定処理の結果、検知状態信号がハイレベルである期間が1回であれば、再録制御処理は実行されず、この場合、再録判定処理に使用された検知状態データは一次記憶部より消去される。一方、検知状態信号がハイレベルである期間が複数回あった場合(例えば図4(b)に示すような場合)、再録制御処理が実行される。
再録制御処理は、一次記憶部に記憶された検知状態データに基づいて一次記憶部に記憶された撮像画像群を録画部23により記憶部22に録画させる処理である。本実施形態における再録制御処理では、モニタ側制御部25は、検知状態信号がハイレベルである期間の撮像画像に加えて、検知状態信号がハイレベルである期間の間の撮像画像(検知状態信号がロウレベルである期間の撮像画像)を、録画部23での録画対象とし、録画する撮像画像を示す録画指示信号を作成して録画部23に与える。その後に、再録制御処理に使用された検知状態データは一次記憶部より消去される。
本実施形態における録画部23は、実施形態1で述べた種々の処理に加えて、再録画処理を実行する。再録画処理は、録画部23が録画指示信号を受け取った際に実行される。この再録画処理では、録画部23は、録画指示信号で指示された撮像画像を一次記憶部より読み出し、読み出した撮像画像群を動画として記憶部22に録画する。そして、録画部23は、再録画処理を行った後には、録画処理によって記憶部22に録画した動画を消去する処理(消去処理)を実行する。これは、再録画処理で記憶部22に録画された動画と録画処理で記憶部22に録画された動画とは、内容が重複し、記憶部22の記憶容量を無駄に使用することになるためである。ただし、消去処理は必ずしも実行する必要はない。また、再録画処理が実行された場合、当該再録処理に使用された撮像画像群は一次記憶部より消去される。
次に本実施形態の監視システムの動作について、図4(a)〜(e)を参照して説明する。なお、図4(a)は撮像部10で撮像された撮像画像群を示し、図4(b)は人体検知信号を示し、図4(c)は画像送信部11が送信する撮像画像群を示し、図4(d)は検知状態信号を示し、図4(e)は再録画処理により記憶部22に録画された撮像画像群を示す。また、以下では、説明の簡略化のために、処理時間や伝送時間などによる時刻のずれを無視して、同時刻に処理が実行されるとして説明を行う。
カメラ装置1は、図4(a)に示すように、起動している間は、常時、撮像部10により所定の撮像領域を所定のフレームレートで撮像する。撮像部10で撮像された撮像画像P1…は、画像送信部11および画像処理部12に順次出力される。
画像処理部12は、所定の時間間隔で、撮像部10の撮像画像に検知対象物が写っているか否かの判定を行い、検知対象物が写っていると判定される前(時刻t1以前)は、図4(b)に示すように、人体検知信号はロウレベルである。そのためカメラ側制御部14は、送信開始処理および検知開始通知処理を実行しない。よって、画像送信部11より撮像画像は送信されず、また検知状態信号送信部13が送信する検知状態信号はロウレベルである。
ここで、画像処理部12により検知対象物が写っていると判定されると(時刻t1)、図4(b)に示すように、カメラ側制御部14にハイレベルの人体検知信号が出力される。そうすると、カメラ側制御部14は送信開始処理を実行するため、画像送信部11は、図4(c)に示すように画像送信処理を実行する。また、カメラ側制御部14は、検知開始通知処理を実行するため、図4(d)に示すように、ハイレベルの検知状態信号が検知状態信号送信部13より検知状態信号受信部21に伝送される。
モニタ装置2では、画像受信部20により受信された撮像画像が録画部23および画像表示部24それぞれに送られる。録画部23では受信画像群記憶処理が実行され、画像表示部24では受信画像表示処理が実行される。また、検知状態信号受信部21で受信された検知状態信号はモニタ側制御部25に入力されるため、モニタ側制御部25は録画開始処理を実行し、録画部23で録画処理が開始される。さらに、モニタ側制御部25は、一次記憶処理を実行するため、一次記憶部には、撮像部10で撮像された撮像画像群と検知状態信号とが順次記憶される。
その後、画像処理部12が撮像部10の撮像画像に検知対象物が写っていないと判定すると(時刻t2)、図4(b)に示すように、カメラ側制御部14にロウレベルの人体検知信号が出力される。そうすると、カメラ側制御部14は検知終了通知処理を実行するため、図4(d)に示すようにロウレベルの検知状態信号が検知状態信号送信部13および検知状態信号受信部21を通じてモニタ側制御部25に入力される。よって、モニタ側制御部25は録画終了処理を実行し、録画部23は、録画終了信号を受け取ってから所定時間経過後に録画処理を終了する(図4に示す例では、撮像画像P7〜P18までが録画される)。
さらにその後、画像処理部12よりハイレベルの人体検知信号を受け取った時刻(時刻t1)から上記伝送時間が経過する前に、再度、画像処理部12により検知対象物が写っていると判定されると(時刻t3)、図4(b)に示すように、カメラ側制御部14にハイレベルの人体検知信号が出力される。この場合、カメラ制御部14は、既に送信開始処理を実行しているため、検知開始通知処理のみを実行する。よって、図4(d)に示すように、ハイレベルの検知状態信号が検知状態信号送信部13より検知状態信号受信部21に伝送される。
一方、モニタ装置2では、検知状態信号受信部21で受信された検知状態信号がモニタ側制御部25に入力されるため、モニタ側制御部25は録画開始処理を実行し、録画部23で再び録画処理が開始される。
その後、画像処理部12が撮像部10の撮像画像に検知対象物が写っていないと判定すると(時刻t4)、図4(b)に示すように、カメラ側制御部14にロウレベルの人体検知信号が出力される。その結果、モニタ側制御部25は録画終了処理を実行し、録画部23は、録画終了信号を受け取ってから所定時間経過後に録画処理を終了する(図4に示す例では、撮像画像P29〜P40までが録画される)。
そして、カメラ側制御部14は、画像処理部12よりハイレベルの人体検知信号を受け取った時刻(時刻t1)から上記伝送時間が経過すると(時刻t5)、送信終了処理を実行し、画像送信部11による画像送信処理が終了される。
さらにその後に、上記伝送時間が満了すると(時刻t5)、モニタ側制御部25において一次記憶処理が終了される。当該一次記憶処理により、一次記憶部には、送信開始処理の実行から上記伝送時間が経過するまでの間(時刻t1〜時刻t5)に撮像部10で撮像された撮像画像群および検知状態データが記憶されることになる。
一次記憶処理の終了後には再録判定処理が実行される。図4に示す例では、上記伝送時間中(時刻t1〜時刻t5)に、検知状態信号がハイレベルである期間が複数回ある(時刻t1〜時刻t2、時刻t3〜時刻t4)ため、モニタ側制御部25は再録制御処理を実行する。ここでは、検知状態信号がハイレベルである期間(時刻t1〜時刻t2、時刻t3〜時刻t4)の撮像画像P7〜P15,P29〜P37に加えて、検知状態信号がハイレベルである期間の間(時刻t2〜時刻t3)の撮像画像P16〜P28が、録画部23での録画対象とされる。したがって、再録制御処理では、録画する撮像画像として撮像画像P7〜P37を示す録画指示信号が作成され、モニタ側制御部25より録画部23に与えられる。
録画部23はモニタ側制御部25より録画指示信号を受け取ると、再録画処理を実行するため、当該録画指示信号で指示された撮像画像(撮像画像P7〜P37)が一次記憶部より読み出され、読み出された撮像画像群が動画として記憶部22に録画される。また、録画部23は、再録画処理を行った後には消去処理を実行するため、録画処理によって記憶部22に録画された動画(すなわち、撮像画像P7〜P18により構成された動画と、撮像画像P29〜P40により構成された動画)が消去される。
本実施形態の監視システムが上記動作を行った場合、カメラ装置1からモニタ装置2には、撮像画像P7〜P43が送信される(図4(c)参照)。そのため、画像表示部24には、撮像画像P7〜P43が表示される。そして、録画部23で行われる録画処理により、記憶部22には、撮像画像P7〜P18と撮像画像P29〜P40とが録画される。しかし、再録画処理が実行されるため、最終的には、撮像画像P7〜P37により構成された動画が記憶部22に録画され、撮像画像P7〜P18により構成された動画と撮像画像P29〜P40により構成された動画とは消去される。その結果、モニタ装置2では、カメラ装置1より受け取った撮像画像P7〜P43の全てを録画せず、撮像画像P7〜P37が録画される。
以上述べた本実施形態の監視システムによれば、実施形態1と同様の効果を奏する。さらに、画像受信部20で受信された撮像画像群と検知状態信号とを一次記憶部に記憶するため、検知状態信号に基づいて、受信画像群のなかから、適切な撮像画像を取捨選択して記憶部22に録画することができる。
特に、本実施形態の監視システムでは、画像送信部11による画像送信処理が終了すると、一次記憶部に記憶された検知状態信号に基づいて、所定時間(本実施形態では伝送時間)内に、検知状態信号がハイレベルである期間が複数回あったか否かを判定する。その結果、検知状態信号がハイレベルである期間が複数回あった場合には、検知状態信号がハイレベルである期間の撮像画像に加えて、検知状態信号がハイレベルである期間の間の撮像画像を、録画部23により記憶部22に録画させる。
このように、伝送時間内に、検知対象物が撮像画像に存在しなくなった(撮像部10の撮像領域から人がいなくなった)後に、再度撮像画像に写った(撮像部10の撮像領域に人が侵入した)場合には、その間の期間の撮像画像も録画することができ、途切れることがない。そのため、画像受信部20で受信された撮像画像群のうち、検知状態信号がハイレベルである期間の間の撮像画像も確認することができる。よって、撮像画像に写った検知対象物の挙動が確認し易くなり、使用者に安心感を与えることができる。
また、本実施形態のようにモニタ装置2に一次記憶部を設けた場合の他例について以下に説明する。本例の監視システムは、モニタ側制御部25の処理内容および録画部23の処理内容が上記の例と異なる。
本例におけるモニタ側制御部25は、録画開始処理、録画終了処理、再録判定処理、および再録制御処理を実行する機能を有する代わりに、一次記憶処理の終了後に録画制御処理を実行する機能を有する。この録画制御処理では、モニタ側制御部25は、まず、検知状態データを元に、送信開始処理の実行から上記伝送時間が経過するまでに、検知状態信号がハイレベルである期間が複数回あったか否かの判定(回数判定)を行う。当該回数判定の結果、検知状態信号がハイレベルである期間の回数が1回であれば、モニタ側制御部25は、検知状態信号がハイレベルである期間の撮像画像を録画部23での録画対象として画像指示信号を作成し、録画部23に与える。一方、回数判定の結果、検知状態信号がハイレベルである期間の回数が複数回であれば、モニタ側制御部25は、検知状態信号がハイレベルである期間の撮像画像に加えて、検知状態信号がハイレベルである期間の間の撮像画像(検知状態信号がロウレベルである期間の撮像画像)を録画部23での録画対象として画像指示信号を作成し、録画部23に与える。
本例における録画部23は、録画処理および再録画処理を実行する機能を有する代わりに、モニタ側制御部25より画像指示信号を受け取った際に、編集録画処理を実行する機能を有する。編集録画処理では、録画部23は、画像指示信号で指示された撮像画像を一次記憶部より読み出し、読み出した撮像画像群を動画として記憶部22に録画する。なお、編集録画処理が実行された場合、当該編集録画処理に使用された撮像画像群は一次記憶部より消去される。
この例によれば、検知状態信号がハイレベルである期間の回数が1回であった場合、録画部23の編集録画処理により、送信開始処理の実行時から上記伝送時間の経過時までに撮像部10で撮像された撮像画像のうち、検知状態信号がハイレベルである期間の撮像画像のみが録画される。例えば、図3において、送信開始処理の実行時から上記伝送時間の経過時までに撮像部10で撮像された撮像画像がP7〜P43である場合には、撮像画像P7〜P15のみが録画される。
一方、検知状態信号がハイレベルである期間の回数が複数回であった場合、録画部23の編集録画処理により、送信開始処理の実行時から上記伝送時間の経過時までに撮像部10で撮像された撮像画像のうち、検知状態信号がハイレベルである期間の撮像画像のみならず、検知状態信号がハイレベルである期間の間の撮像画像も録画される。例えば、図4において、送信開始処理の実行時から上記伝送時間の経過時までに撮像部10で撮像された撮像画像がP7〜P43である場合には、撮像画像P7〜P15および撮像画像P29〜P37に加えて撮像画像P16〜P28も録画される(つまり撮像画像P7〜P37が録画される)。
このようにすれば、送信開始処理の実行時から上記伝送時間の経過時までに検知状態信号がハイレベルである期間の回数に関わらず、録画部23は、撮像画像を記憶部22に録画する処理を1回行うだけで済むから、録画部23の処理内容を簡素化することができる。また、このようなモニタ装置2では、画像受信部20で撮像画像を受信した場合、画像表示部24は動作するが、録画部23は上記伝送時間が経過した後に動作するため、画像表示部24と録画部23とが同時に動作しない。よって、モニタ装置2にかかる負荷を低減でき、低消費電力化も図れる。
(実施形態3)
本実施形態の監視システムは、図5に示すように、主として、カメラ装置1ではなくモニタ装置2に画像処理部12を設けた点で実施形態1と異なっている。
本実施形態におけるカメラ装置1は、撮像部10と、画像送信部11と、カメラ側制御部14とを有するが、画像処理部12と、検知状態信号送信部13とは有していない。なお撮像部10は実施形態1と同様のものであるから説明を省略する。
本実施形態における画像送信部11は、撮像部10により撮像中の撮像画像を符号化(伝送路符号化)してモニタ装置2に送信する処理(画像送信処理)を実行する。ここで、画像送信部11からモニタ装置2に撮像画像を送出するタイミングは、撮像部10のフレームレートと同期させている。この他、画像送信部11は、実施形態1と同様に必要に応じて上記YUV/NTSC変換処理や、撮像画像を圧縮する処理、撮像画像の輪郭を強調する処理などを行う。
本実施形態におけるカメラ側制御部14は、実施形態1とは異なり、送信開始処理や、検知開始通知処理、報知開始処理、送信終了処理、検知終了通知処理、報知終了処理などは行わない。
すなわち、本実施形態におけるカメラ装置1は、撮像部10で撮像された撮像画像を順次画像送信部11より送出するものであり、汎用のカメラ装置などを用いることができる。
本実施形態におけるモニタ装置2は、実施形態1とは異なり検知状態受信部21を有していないが、画像処理部12を有している。したがって、本実施形態における画像受信部20は、録画部23および画像表示部24だけではなく、画像処理部12にも、画像送信部11より受け取った撮像画像を復号化(伝送路復号化)して順次出力する。また、画像受信部20は、画像送信部11において撮像画像を圧縮する処理が実行されていた場合には、圧縮された撮像画像を伸張する処理を実行する。
本実施形態における画像処理部12は、実施形態1と同様のものであり、上記の第1の処理(輪郭抽出処理)と、第2の処理(移動輪郭抽出処理)と、第3の処理(移動領域検出処理)と、第4の処理(領域特徴量検出処理)とを実行する。そして、画像処理部12は、上記第1〜第4の処理を実行した結果、撮像部10の撮像画像に検知対象物が写っていると判定すると、モニタ側制御部25にハイレベルの人体検知信号を出力する。当該人体検知信号は、撮像部10の撮像画像に検知対象物が写っていないと判定された際には、ロウレベルとなる。
また、本実施形態におけるモニタ装置2は、モニタ側制御部25が実施形態1と異なっている。なお、本実施形態における記憶部22、録画部23、および画像表示部24については実施形態1と同様であるから説明を省略する。
本実施形態におけるモニタ側制御部25は、主として録画開始処理および録画終了処理の内容が実施形態1と異なる。本実施形態における録画開始処理では、モニタ側制御部25は、画像処理部12より受け取った人体検知信号がロウレベルからハイレベルになると録画部23に録画開始信号を出力し、録画終了処理では、人体検知信号がハイレベルからロウレベルになると録画部23に録画終了信号を出力する。すなわち本実施形態の監視システムでは、画像処理部12が出力する人体検知信号を撮像画像に検知対象物が写っているかを示す検知状態信号として用いている。そのため、本実施形態では、画像処理部12が、カメラ装置1の撮像部10で撮像された撮像画像に検知対象物が写っているか否かを判定する判定手段と、判定手段の判定結果に基づいて撮像画像に検知対象物が写っているかを示す検知状態信号をモニタ側制御部25に出力する検知状態信号出力手段とを構成する。
次に本実施形態の監視システムの動作について、図3(a),(b),(e)を参照して説明する。なお、以下の説明では、図3(a)は画像送信部11が送信する撮像画像群を示し、図3(b)は画像処理部12がモニタ側制御部25に出力する人体検知信号を示し、図3(e)は録画部23が記憶部22に録画する撮像画像群を示す。また、以下では、説明の簡略化のために、処理時間や伝送時間などによる時刻のずれを無視して、同時刻に処理が実行されるとして説明を行う。
カメラ装置1は、図3(a)に示すように、起動している間は、常時、撮像部10により所定の撮像領域を所定のフレームレートで撮像する。撮像部10で撮像された撮像画像P1…は、画像送信部11によりモニタ装置2に順次送信される。
モニタ装置2では、画像受信部20により撮像画像P1…が受信され、録画部23、画像表示部24、および画像処理部12それぞれに送られる。画像表示部24では、受信画像群を時系列順に表示する受信画像表示処理が実行される。
画像処理部12は、所定の時間間隔で、撮像部10の撮像画像に検知対象物が写っているか否かの判定を行う。ここで、画像処理部12により検知対象物が写っていると判定される前(時刻t1以前)は、図3(b)に示すように、人体検知信号はロウレベルである。そのためモニタ側制御部25は、録画開始処理を実行しないので、録画部23で録画処理が開始されない。
ここで、画像処理部12により検知対象物が写っていると判定されると(時刻t1)、図3(b)に示すように、人体検知信号はハイレベルになる。そうすると、モニタ側制御部25は録画開始処理を実行するので、録画部23で録画処理が開始される。
その後、画像処理部12が撮像部10の撮像画像に検知対象物が写っていないと判定すると、人体検知信号がロウレベルになる(時刻t2)。そうすると、モニタ側制御部25は録画終了処理を実行するから、録画部23は、録画終了信号を受け取ってから所定時間経過後に録画処理を終了する(時刻t3)。
本実施形態の監視システムが上記動作を行った場合、モニタ装置2では、カメラ装置1より受け取った撮像画像P1〜P52の全てを録画せず、撮像画像P7〜P18を録画する。
すなわち、以上述べた本実施形態の監視システムによれば、実施形態1と同様に、記憶部22の記憶容量を増やすことなく録画可能な動画数を増やすことができる。
また、本実施形態では判定手段となる画像処理部12がモニタ装置2に設けられているので、実施形態1のように画像処理部12をカメラ装置1に設けた場合とは異なり、カメラ装置1からモニタ装置2に検知状態信号を送信しなくて済むから、検知状態信号出力手段の構成を簡単にすることができる(検知状態信号送信部13および検知状態信号受信部21が不要になる)。よって、検知状態信号の送受のための通信線などが不要になり、低コスト化が図れる。また、監視システムを構成するにあたって、汎用のカメラ装置を利用することができるようになり、システムの構築が容易になる。
ところで、上記の例では、画像表示部24で行われる受信画像表示処理は、画像受信部20より撮像画像を受け取った際に開始され、撮像画像を受け取らなくなった際に終了されるが、受信画像表示処理を行うタイミングはモニタ制御部25により制御するようにしてもよい。すなわち、画像表示部24は、モニタ側制御部25から表示開始信号を受け取った際に受信画像表示処理を開始し、表示終了信号を受け取った際に終了するようにしてもよい。ここで、モニタ側制御部25は、人体検知信号がハイレベルであれば、画像表示部24に表示開始信号を出力し、人体検知信号がロウレベルであれば、画像表示部24に表示終了信号を出力する。
すなわち、モニタ側制御部25は、検知状態信号に基づいて、画像受信部20で受信された時系列順の撮像画像群のうち検知対象物が写っていると判定された撮像画像群を時系列順に表示するように画像表示部24を制御する。
このようにすれば、画像受信部20で受信された時系列順の撮像画像群の全てを画像表示部24で表示するのではなく、撮像画像に検知対象物が写っているかを示す検知状態信号に基づいて、画像受信部20で受信された撮像画像のうち検知対象物が写っていると判定された撮像画像群を画像表示部24で表示するので、画像受信部20で受信された時系列順の撮像画像群のうち検知対象物が写っていない撮像画像を省くことが可能になるから、無駄な撮像画像の表示を抑制することができるようになり、画像表示部24の駆動に必要な電力の低消費化を図ることができる。
また、上記実施形態2における一次記憶部に関する構成は、本実施形態にも適用することができる。例えば、モニタ側制御部25に、ハイレベルの人体検知信号を受け取ってから所定時間が経過するまでに撮像部10で撮像された撮像画像群、およびハイレベルの人体検知信号を受け取ってから上記所定時間が経過するまでの人体検知信号(検知状態信号)の推移を示す人体検知データ(検知状態データ)とを一次記憶部(図示せず)に記憶させる一次記憶処理と、一次記憶処理の終了後に一次記憶部に記憶された人体検知データに基づいて一次記憶部に記憶された撮像画像群を録画部23により記憶部22に録画させる再録画処理とを実行させることによって実現できる。なお、上記所定時間は、例えば、撮像部10の撮像範囲から退出した人と同一人が再度撮像範囲に侵入するおそれがある時間(30秒や1分など)とすることが好ましい。これは、別人が撮像部10の撮像範囲に侵入した場合にまで、撮像画像を補間する必要がないからである。