JP2019169807A - 監視装置、監視システム、制御方法、及びプログラム。 - Google Patents

監視装置、監視システム、制御方法、及びプログラム。 Download PDF

Info

Publication number
JP2019169807A
JP2019169807A JP2018055100A JP2018055100A JP2019169807A JP 2019169807 A JP2019169807 A JP 2019169807A JP 2018055100 A JP2018055100 A JP 2018055100A JP 2018055100 A JP2018055100 A JP 2018055100A JP 2019169807 A JP2019169807 A JP 2019169807A
Authority
JP
Japan
Prior art keywords
detection
unit
moving object
background image
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018055100A
Other languages
English (en)
Other versions
JP2019169807A5 (ja
JP7079126B2 (ja
Inventor
智彦 黒木
Tomohiko Kuroki
智彦 黒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018055100A priority Critical patent/JP7079126B2/ja
Priority to US16/353,131 priority patent/US11244462B2/en
Publication of JP2019169807A publication Critical patent/JP2019169807A/ja
Publication of JP2019169807A5 publication Critical patent/JP2019169807A5/ja
Application granted granted Critical
Publication of JP7079126B2 publication Critical patent/JP7079126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】監視システムの利便性を向上させること。【解決手段】撮像装置によって撮像された画像データを取得し、その画像データに基づいて背景画像を生成し、画像データと背景画像とを用いて動体の検知処理を行う監視装置が提供される。監視装置は、検知に関する条件に基づいて、背景画像の生成を開始してから検知処理を開始するまでの待ち時間を設定する。【選択図】 図1

Description

本発明は、撮像された画像に基づいて動体を検知する監視技術に関する。
監視システムにおいて、撮像装置によって撮像された映像を入力画像として、その入力画像を解析して動体の有無を判定することにより、人の侵入や物の置き去り・持ち去りの有無、撮像装置へのいたずらの有無を検知する技術が知られている。このように入力映像から動体を継続して検知する際には、背景差分法を用いた動体の検知が行われうる。
背景差分法を用いた動体の検知では、予め生成した背景画像と入力映像との差分を抽出することで入力映像に含まれる動体が検知される。このとき、検知精度の向上のために、例えば日照変動や影の揺らぎ等を学習することによって背景画像が生成される。なお、背景画像の生成時には、揺らぎ等の動体ではないものを動体として検知してしまうため、これを早期に背景として扱うように、動体を動体として検知し続ける時間の長さが短く設定される。そして、学習が進むにつれ、この時間の長さが延長される。通常、この背景画像の生成処理は、検知処理の開始時のほかに撮影画角や撮像モードが変更された際など入力映像に変化がある場合に都度行われる。特許文献1には、検知機能の動作が終了するまでの間、撮像モードの切り替え動作を行わないように制御する手法が記載されている。
特開2009−253537号公報
背景差分法を用いた検知処理では、背景の学習が進んで上述の動体を動体として検知し続ける時間の長さが、検知処理を実行するのに十分な長さとなってから、実際の検知処理が開始される。しかしながら、従来、検知処理によって必要な検知継続時間が異なりうることや、撮像環境のことが考慮されておらず、背景画像の生成開始後に検知処理が開始されるまでの時間が不必要に長くなってしまいうる。このため、監視システムの利便性が低下してしまいうるという課題があった。
本発明は上記課題に鑑みなされたものであり、監視システムの利便性を向上させることを目的とする。
本発明の一態様による監視装置は、撮像装置によって撮像された画像データを取得する取得手段と、前記画像データに基づいて背景画像を生成する生成手段と、前記画像データと前記背景画像とを用いて動体の検知処理を行う検知手段と、前記検知手段による検知に関する条件に基づいて、前記生成手段が前記背景画像の生成を開始してから前記検知手段が検知処理を開始するまでの待ち時間を設定する設定手段と、を有する。
本発明によれば、監視システムの利便性を向上させることができる。
システム構成例及び監視装置の機能構成の第1の例を示すブロック図である。 監視装置のハードウェア構成例を示すブロック図である。 背景画像の生成後の経過時間と動体検知の継続時間との関係を示す図である。 検知設定と待ち時間との関係の第1の例を示す図である。 監視装置が実行する処理の第1の例を示すフローチャートである。 システム構成例及び監視装置の機能構成の第2の例を示すブロック図である。 検知設定と待ち時間との関係の第2の例を示す図である。 監視装置が実行する処理の第2の例を示すフローチャートである。 システム構成例及び監視装置の機能構成の第3の例を示すブロック図である。 監視装置が実行する処理の第3の例を示すフローチャートである。 動体の検知と、検知された動体の背景化までの流れを説明する図である。 システム構成例及び監視装置の機能構成の第4の例を示すブロック図である。 監視装置が実行する処理の第4の例を示すフローチャートである。
以下、本発明の実施の形態について、添付の図面を参照しながら説明する。なお、以下で図示及び説明される構成、処理の流れ、及び数値は一例に過ぎず、本発明をこれらの実施形態に限定することを意図するものではないことに留意されたい。
<実施形態1>
本実施形態では、検出処理で要求される、動体を検知し続けるべき時間の長さに応じて、背景画像が生成されてから(生成処理が開始されてから)、検知処理を実行するまでの時間長を決定する。背景画像が生成されてからの経過時間が長くなるほど、動体を動体として検知する時間長が長くなる。そして、検知処理の種別によって、動体を動体として検知し続けるべき時間長が異なる。このため、例えば、この時間長が短い検知処理を実行する際に、この検知処理に対応する時間長だけ待機するように検知処理の開始タイミングを制御することにより、不必要に長い時間待機することを防ぐ。
(システム構成)
図1に、本実施形態に係る監視装置120を含んだ監視システム1の構成例を示す。本監視システム1は、画像入力装置100、監視装置120、及びモニタ装置140を含んで構成される。監視システム1は、これらの装置構成によって、撮像された画像において動体を検知し、動体の通過や侵入、物の置き去りや持ち去り、いたずらの有無等を検知して表示するシステムである。
画像入力装置100は、周囲を撮像することによって撮像画像を生成する装置であり、カメラ等によって構成される。画像入力装置100は、撮像された画像データを含む画像情報を監視装置120へ出力する。監視装置120は、画像入力装置100から画像情報を取得すると、その画像情報に含まれる画像データから動体を検知して、動体の通過と侵入、物の置き去りと持ち去り、画像入力装置100へのいたずらの有無等を検知する検知処理を行う。なお、監視装置120は、動体が検知された後に静止した場合に、その動体を背景とみなすまでの間は、検知し続けることができる。以下では、この動体が静止してからも検知し続ける時間のことを検知継続時間と呼ぶ。監視装置120は、所定の検知継続時間を超えて動体が静止したまま検知され続けた場合に、その動体を背景とみなし、これにより、その動体は背景として取り扱われるようになる(背景化する)。検知継続時間は、例えば、侵入検知の場合は100秒間以上、置き去り・持ち去り検知の場合は600秒間以上、いたずら検知の場合は60秒間以上に設定される。監視装置120は、検知結果及び処理画像をモニタ装置140に出力し、モニタ装置140は、監視装置120から入力された画像を表示する。
図1では、監視装置120の機能構成例について示しているが、この機能構成は、一例において、図2のようなハードウェア構成によって実現される。監視装置120は、一例において、制御部201、記憶部202、表示部203、入力部204、及び、通信部205を含んで構成される。なお、図2に示す構成は一例であり、図2の構成の一部が省略されてもよいし、図2の構成にさらなる構成要素が追加されてもよい。また、図2の複数のブロックが1つのブロックに統合されてもよいし、図2の1つのブロックが複数のブロックに分割されてもよい。図2に示す構成の一部または全部が別の構成要素と置き換えられてもよい。なお、本実施形態に続く他の実施形態においても、監視装置120は、図2のようなハードウェア構成を有するものとする。
制御部201は、例えば記憶部202に記憶されたプログラムを実行することにより、監視装置120の全体の制御や各種処理を行う。制御部201は、一例において、CPUやMPU等の1つ以上のプロセッサを含んで構成される。なお、制御部201は、ASIC(特定用途向け集積回路)や、FPGA(フィールドプログラマブルゲートアレイ)によって実現された論理回路等の他の任意のプロセッサによって、監視装置120の全体の制御や各種処理を行ってもよい。記憶部202は、例えば、制御部201が実行するプログラムを記憶し、また、プログラム実行中に制御部201によって使用されるワーク領域を提供する。なお、記憶部202は、例えば、ROM(読み出し専用メモリ)やRAM(ランダムアクセスメモリ)等のメモリ、ハードディスクドライブ等の外部記憶装置を含んで構成される。表示部203は、例えばLCD(液晶ディスプレイ)または有機ELディスプレイ等の画面表示機能や、LED(発光ダイオード)等の発行パターンによって情報を視覚的に提示する各種機能を含んで構成される。表示部203は、これに加えて、情報を音声・音響で提示する装置を含んで構成されてもよい。一例において、監視装置120は、表示部203を介して、自装置の使用者に対して、データ取得及び表示のための設定画面、画像入力装置100から受信した画像、各種メッセージ等、様々な情報を視覚的に提示することができる。また、監視装置120は、例えば、外部のディスプレイに画像を表示させる表示制御機能を有してもよく、この場合、表示部203は画面表示機能を有しなくてもよい。入力部204は、例えばボタン、十字キー、タッチパネル、マウス等の操作受付装置を含んで構成され、ユーザによる操作の内容を電気信号に変換して制御部201に通知する。通信部205は、画像入力装置100やモニタ装置140等の他の装置との間の通信を行う。例えば、通信部205は、有線または無線の通信用の変復調回路やインタフェースを含んで構成される。通信部205は、例えば、イーサネット(登録商標)等を用いて画像入力装置100との通信を行い、ビデオインタフェースを用いてモニタ装置140との通信を行う等、複数のインタフェースを有しうる。
監視装置120は、これらのハードウェア構成により、図1に示すような機能構成を実現する。なお、以下の実施形態で説明する処理では、これらの少なくとも一部が用いられるものとするが、その全部が用いられる必要はない。すなわち、以下の実施形態のいくつかにおいては、図1に示す機能のうちの一部の機能が利用されなくてもよい。また、図1に示す機能構成例は一例であり、後述の処理と同様の処理を実行可能な様々な構成が利用されうる。
図1の機能構成において、画像入力部121は、画像入力装置100から、画像入力装置100が撮像した画像に関する画像情報を取得し、その画像情報を、背景学習部122、動体抽出部124、及び、画像出力部128へ出力する。撮像モード保持部129は、現在の撮像モードを保持し、ユーザ操作によって撮像モードが更新された場合に、撮像モード変更情報を背景学習部122へ出力する。背景学習部122は、画像入力部121から入力された画像を用いて背景の学習処理を行う。また、背景学習部122は、撮像モード保持部129から撮像モード変更情報を受け取ると、その時点までの背景学習情報を破棄し、背景の再学習処理を実行する。背景学習部122は、背景画像生成処理が開始されると、画像入力部121から入力された画像情報を背景画像として背景画像生成部123へ出力する。また、背景学習部122は、その後の背景の日照変動による変動情報や水面や木々の揺れなどの揺らぎ情報を生成して、背景画像生成部123へ継続的に出力する。このような揺らぎ情報を用いることにより、撮像画像内の揺らぎを動体として誤検知してしまうことを防ぐことができる。
背景画像生成部123は、背景学習部122から入力された画像情報と変動情報や揺らぎ情報とに基づいて、背景画像を生成及び更新する。背景画像生成部123は、生成・更新した背景画像情報を、動体抽出部124へ出力する。動体抽出部124は、画像入力部121から入力された画像情報と、背景画像生成部123から入力された背景画像情報とから、入力画像に含まれる動体の抽出処理を行い、抽出した動体情報を検知処理部127へ出力する。なお、動体の抽出は、例えば、背景差分法を用いて行われる。ここで、背景差分法について簡単に説明する。
背景差分法を用いた動体の検知では、予め生成した背景画像と入力映像との差分を抽出することで入力映像に含まれる動体が検知される。また、日照変動などで背景が徐々に変化するのに合わせて、過去の変化に基づいて背景画像を徐々に更新することで、また、複数の背景画像を用意して比較することで、動体の誤検知の発生が抑制される。これにより、屋外環境下で長時間監視する場合等においても高い検知精度を維持することができる。このような手法では、背景画像が生成された直後は、風によって動く背景物体など動体ではない物体まで動体として検知されてしまいうる。このため、背景画像が生成された直後に検知された動体が早期に背景として扱われるように、動体として検知された物体を動体として検知継続する時間である検知継続時間が、背景画像が生成されてからの経過時間に比例するように設定されうる。
本実施形態では、動体抽出部124は、画像入力部121から入力された画像情報と背景画像生成部123から入力された背景画像とを比較し、差分がある領域を動体として抽出する。抽出された動体領域の画像は、背景画像生成部123に入力される。背景画像生成部123は、動体抽出部124から取得した画像を前景画像として、撮像画像中に動体が存在する時間の長さを表す出現カウント値と共に保存する。背景画像生成部123は、保存した前景画像と背景画像とを動体抽出部124に出力する。動体抽出部124は、これに応じて、背景画像と前景画像との双方を入力画像と比較する。そして、動体抽出部124は、前景画像にマッチした部分を動体領域として扱い、マッチした領域の情報を背景画像生成部123に送信する。背景画像生成部123は、動体抽出部124から取得した前景領域の情報に基づいて、その前景領域に対応する出現カウント値を更新する。そして、背景画像生成部123は、更新した出現カウント値が検知継続時間を超えた場合に、その前景画像を背景画像として保存し、その前景画像に関する前景画像情報を削除する。これにより、一定時間以上静止し続けた物体は背景として扱われ、背景化した物体は抽出されなくなる。
ここで、背景画像の生成開始後(初期的な背景画像生成後)の経過時間と動体の検知継続時間について、図3を用いて説明する。図3は、背景画像生成後の経過時間と、各経過時間に対応する検知継続時間との関係を示している。検知継続時間は、上述の通り、この検知継続時間を超えて動体が静止したまま検知され続けた場合にその動体が背景と判定されるようにするための時間である。背景画像が生成された直後は、背景学習部122の背景学習が十分でなく、日照変動や揺らぎを動体として検知してしまう場合があるなど、動体の検知が相対的に不安定な状態で行われてしまいうる。これに対して、時間が経過して学習が進むにつれて、このような不安定性が解消される。このため、曲線301に示すように、背景画像生成後の経過時間が短い時点においては、不安定な状態で検知された動体が早期に背景化されるように、検知継続時間が短く設定される。一方、背景画像生成後の経過時間が十分に長くなった時点においては、検知が安定していることが想定されるため、その状態で検知された動体が背景化するまでの時間は長く設定される。一例において、背景画像の生成開始後の経過時間の長さと、検知継続時間(動体を動体として検知し続けることができる期間の長さ)は、検知継続時間が最大値に至るまでの間において比例する。
検知設定保持部125は、ユーザによって設定された、動体の通過検知、侵入検知、置き去り・持ち去り検知、いたずら検知の検知設定の少なくともいずれかについての有効または無効の設定、及び、検知ルールの設定の情報を保存する。検知ルールの設定は、例えば、通過検知の場合は通過ラインの設定、侵入検知の場合は進入禁止エリアの設定、置き去り持ち去り検知の場合は検知エリアの設定を含みうる。検知設定保持部125は、保持している検知設定情報を、待ち時間設定部126及び検知処理部127へ出力する。
待ち時間設定部126は、背景画像生成時に検知設定保持部125から検知設定情報を取得し、有効な検知設定に基づいて、背景画像生成後に、検知処理の開始を待機する時間(待ち時間)を決定し、待ち時間のカウントアップを行う。待ち時間設定部126は、背景画像再生成後の待ち時間情報を検知処理部127へ出力する。ここで、検知継続時間と検知設定情報に伴う待ち時間との関係を、図4(A)及び図4(B)を用いて説明する。図3を用いて上述したとおり、動体の背景化までの検知継続時間は、背景画像が生成されてからの経過時間に比例する。このため、動体を動体として継続して検知しておくべき時間の分だけ検知継続時間を確保できるタイミングまで、検知の実行を待機する必要がある。例えば、検知設定として置き去り・持ち去り検知が設定されている場合に600秒の検知継続時間が確保される必要がありうる。この場合、図4(A)の破線401によって示すように、背景画像を生成した後に例えば60秒間の待ち時間を設ける必要がある。したがって、待ち時間設定部126は、置き去り・持ち去り検知のために、待ち時間を「60秒」に設定しうる。また、例えば、いたずら検知では例えば60秒の検知継続時間が確保される必要がありうる。この検知継続時間は置き去り・持ち去り検知と比較して1/10であるため、図4(B)の破線402によって示すように、背景画像を生成した後の待ち時間も1/10の6秒間で足りる。したがって、待ち時間設定部126は、いたずら検知のために、待ち時間を「6秒」に設定しうる。さらに、侵入検知において100秒の検知継続時間が確保される必要がある場合に、侵入検知の開始前の待ち時間は、例えば「10秒」と設定されうる。このように、検知設定ごとに動体としての検知を継続すべき時間の長さに応じて、背景画像が生成されてから検知処理が開始されるまでの待ち時間を決定することで、検知処理を適切に実行することができるようになる。なお、複数の検知設定が有効となっている場合、待ち時間設定部126は、有効となっている検知設定のうち最も検知継続時間が長いものに応じて、待ち時間を設定しうる。例えば、待ち時間設定部126は、いたずら検知のみが有効な検知設定に対して待ち時間を6秒に設定しうる。また、待ち時間設定部126は、いたずら検知に加えて置き去り・持ち去り検知が有効な検知設定に対しては、待ち時間を、その時間が長い方(置き去り・持ち去り検知)に合わせて、60秒に設定しうる。これによれば、有効とされている検知処理の組み合わせに応じて、検知処理の実行前の待ち時間を適切に設定することが可能となる。
検知処理部127は、動体抽出部124から動体情報を、検知設定保持部125から検知設定情報を、待ち時間設定部126から待ち時間情報を取得して、それらの情報に基づいて各種検知処理を行う。例えば、検知処理部127は、待ち時間設定部126から入力された待ち時間情報に基づいて、現在が待ち状態中であるか否かを判定し、待ち状態の間は各種検知処理を実行しない。検知処理部127は、通過検知の検知設定情報を取得した場合、検知設定保持部125から入力された通過ラインを動体抽出部124で抽出された動体が通過したか否かを判定する。また、検知処理部127は、侵入検知の検知設定情報を取得した場合、検知設定保持部125から入力された侵入禁止エリアに、動体抽出部124で抽出された動体が含まれているか否かを判定する。また、検知処理部127は、置き去り・持ち去り検知の検知設定情報を取得した場合、検知設定保持部125から入力された検知エリア内に動体抽出部124で抽出された動体が存在しているか否かを判定する。なお、持ち去り検知においても、本来存在していた物体が存在しなくなることによって、その物体が本来存在するはずの領域が動体として抽出されるため、置き去り検知と同様のアルゴリズムで検知を行うことができる。また、検知処理部127は、いたずら検知の検知設定情報を取得した場合、動体抽出部124で抽出された動体が画面の70%以上等の所定以上の割合を占めているか否かを判定する。そして、検知処理部127は、動体が画面の所定以上の割合を占めている場合に、画像入力装置100に対して何らかのいたずら(カメラ画角の変更やスプレーの塗布など)が行われたと判定する。検知処理部127は、検知結果を示す情報を、画像出力部128へ出力する。
画像出力部128は、画像入力部121から入力された画像情報に検知処理部127から入力された各種検知の結果情報を重畳した画像を生成し、その生成した画像の情報をモニタ装置140へ出力する。
(処理の流れ)
続いて、監視装置120が実行する処理の流れの例について、図5を用いて説明する。監視装置120は、例えばユーザ操作によって監視システム1が起動されて監視処理が開始されることによって、図5の処理を開始する。本処理は、一例において、制御部201が記憶部202に記憶されているプログラムを実行することによって実現される。ただし、以下では、図1の機能ブロックに基づいて説明を行う。
監視装置120は、まず、待ち時間設定部126は検知設定保持部125から検知設定情報を取得する(S501)。そして、待ち時間設定部126は、取得した検知設定情報において置き去り・持ち去り検知が有効に設定されているか否かを判定する(S502)。待ち時間設定部126は、置き去り・持ち去り検知が有効に設定されていると判定すると(S502でYES)、背景画像生成から検知処理の開始までの待ち時間を60秒に設定してカウントアップを開始する(S503)。その後、処理はS509へ進む。一方、待ち時間設定部126は、置き去り・持ち去り検知が有効に設定されていない場合(S502でNO)は、続いて、検知設定情報において侵入検知が有効に設定されているか否かを判定する(S504)。待ち時間設定部126は、侵入検知が有効に設定されていると判定すると(S504でYES)、背景画像生成から検知処理の開始までの待ち時間を10秒に設定してカウントアップを開始する(S505)。その後、処理はS509へ進む。一方、待ち時間設定部126は、侵入検知が有効に設定されていない場合(S504でNO)は、続いて、検知設定情報においていたずら検知が有効に設定されているか否かを判定する(S506)。待ち時間設定部126は、いたずら検知が有効に設定されていると判定すると(S506でYES)、背景画像生成から検知処理の開始までの待ち時間を6秒に設定してカウントアップを開始する(S507)。一方、待ち時間設定部126は、いたずら検知が有効に設定されていない場合(S506でNO)は、背景画像生成から検知処理の開始までの待ち時間を2秒に設定してカウントアップを開始する(S508)。以上のようにして、有効とされている検知種別のうち、検知継続時間が最も長い種別に基づいて、待ち時間が設定されうる。これにより、検知継続時間が短い種別の検知処理のみが実行される場合に、不必要に待ち時間が長期化することを防ぐことができる。S507及びS508の後に、処理はS509に進む。
S509では、画像入力部121が、画像入力装置100から画像情報を取得する。画像入力部121が取得した画像は、背景学習部122及び動体抽出部124へ入力される。背景学習部122は、初期的にその入力された画像を背景画像生成部123へそのまま出力しうる。背景画像生成部123は、背景学習部122から入力された背景画像情報に基づいて、背景画像を生成する(S510)。一方、画像入力部121は、画像入力装置100からさらに画像情報を取得し(S511)、その画像情報を背景学習部122及び動体抽出部124へ入力する。背景学習部122は、画像入力装置100から入力された画像情報を用いて背景の学習処理を行う(S512)。背景学習部122は、学習によって得られた変動情報や揺らぎ情報を背景画像生成部123へ入力する。背景画像生成部123は、背景学習部122から取得した変動情報や揺らぎ情報を用いて、背景画像の更新処理を行う(S513)。背景画像生成部123が生成した背景画像は、動体抽出部124へと入力される。そして、動体抽出部124は、画像入力部121から入力された画像情報と背景画像生成部123から入力された背景画像情報とに基づいて、動体の検知処理を行う(S514)。動体が検知された場合、例えば、その動体が検知されている間の撮像画像が保存される。検知処理部127は、背景画像の生成(例えばS510の処理)が開始されてから、上述のS502〜S508の処理によって設定された待ち時間が経過したか否かを判別する。そして、検知処理部127は、待ち時間が経過していない場合(S515でNO)は、検知処理を実行せずに処理をS511へ戻す。一方、検知処理部127は、待ち時間が経過した場合(S515でYES)、検知設定保持部125から取得した検知設定情報に基づいて、各種検知処理を実行する(S516)。
その後、監視装置120は、例えばユーザ操作による不図示の監視処理オン/オフスイッチが操作される等によって監視処理の停止操作が行われたか否かを判定し(S517)、停止操作が行われた場合(S517でYES)、本処理を終了する。一方、停止操作が行われていない場合(S517でNO)、検知設定保持部125が、例えばユーザ操作によって検知設定が更新されたか否かを判定する(S518)。検知設定保持部125は、検知設定が更新されたと判定した場合(S518でYES)に、検知設定の更新を行い(S519)、続いて、撮像モード保持部129が、例えばユーザ操作による撮像モードの切り替えが行われたか否かを判定する(S520)。一方、検知設定に更新がなかったと検知設定保持部125が判定した場合(S518でNO)は、検知設定の更新を行わずにS520の判定が行われる。撮像モードの切り替えが行われたと撮像モード保持部129が判定した場合(S520でYES)は処理をS501へ戻し、一方で、撮像モードの切り替えが行われていないと撮像モード保持部129が判定した場合(S520でNO)は処理をS511に戻す。なお、S520では、撮像モードの切り替えが行われたか否かが判定されるが、背景の再学習が必要となるような撮像設定等の変更があったか否かの判定が行われうる。すなわち、背景の学習のやり直しが必要となる状態となったことに応じて、処理をS501に戻し、一方、背景の学習のやり直しが必要でない場合には、学習を継続しながら検知処理を繰り返す。
以上のように、本実施形態では、どの検知処理が有効となっているかに応じて、背景画像の生成が開始されてから検知処理を実行するまでの待ち時間を適切に設定することができる。これにより、例えば、いたずら検知のみが有効で置き去り・持ち去り検知が無効であるにも関わらず、置き去り・持ち去り検知に対応する待ち時間だけユーザを待たせるなどの、不必要な待機時間を削減することが可能となり、利便性を向上させることができる。
なお、上述の構成及び処理の流れは一例であり、様々な変更を行うことができる。例えば、図5の処理では、複数の検知処理のそれぞれが有効であるか否かを段階的に判定しながら待ち時間を設定したが、複数の検知処理のそれぞれの待ち時間を特定して、その最大値を特定する処理を行ってもよい。また、上述の各処理ステップの順序は反転されてもよいし、並行して行われてもよい。
<実施形態2>
実施形態1では、検知処理の種別を条件として、条件に適合する待ち時間の設定を行う処理について説明した。本実施形態では、(例えば撮像モード等による)画像の変動や揺らぎの大きさを条件として、その条件に適した待ち時間を設定する手法について説明する。これにより、例えば、変動や揺らぎが小さい場合には学習結果が早期に収束することが想定される場合などに、待ち時間を短縮させることによって、不必要な待ち時間が発生することを防ぐ。
図6に、本実施形態に係る監視装置120を含んだ監視システム1の構成例を示す。本実施形態は、主として背景学習部122及び待ち時間設定部126の処理が実施形態1と異なるため、その点に着目して説明する。なお、以下では、本実施形態の背景学習部及び待ち時間設定部を、それぞれ「背景学習部601」及び「待ち時間設定部602」と表記する。
背景学習部601は、実施形態1と同様に、画像入力部121から入力された画像を用いて、背景の学習処理を行うが、変動情報や揺らぎ情報を、背景画像生成部123に加えて、待ち時間設定部602へ出力する。待ち時間設定部602は、背景学習部601から入力された変動情報や揺らぎ情報を用いて、画面内での日照変動や揺らぎなどの変動量を判定し、その変動量から背景画像が生成されてから検知処理を開始するまでの待ち時間を設定する。ここで、変動量と待ち時間について図7を用いて説明する。図7は、背景画像生成後の経過時間と動体の検知継続時間との関係を示している。待ち時間設定部602は、画面内の変動量が所定の閾値を超える場合は、日照変動や揺らぎの影響が大きく、検知が安定しない可能性があると判定し、曲線701で示すように、背景画像の生成開始後の経過時間と検知継続時間の傾きを緩やかにする。すなわち、検知継続時間が最大値に至るまでの時間長を長くする。そして、待ち時間設定部602は、背景の学習が十分に行われてから検知処理を開始するような待ち時間703を設定する。一方、待ち時間設定部602は、画面内の変動量があらかじめ定めた閾値を下回る場合は、日照変動や揺らぎの影響が少なく、早期に検知が安定すると判断し、曲線702で示すように、背景画像生成後の経過時間と検知継続時間の傾きを急にする。すなわち、検知継続時間が最大値に至るまでの時間長を短くする。そして、待ち時間設定部602は、これに応じて、早期に検知処理を開始するような待ち時間704を設定する。
本実施形態で実行される処理の流れの例について、図8を用いて説明する。本処理は、一例において、制御部201が記憶部202に記憶されているプログラムを実行することによって実現される。
監視装置120は、例えばユーザ操作によって監視システム1が起動されて監視処理が開始されると、待ち時間設定部126において、待ち時間のデフォルト値として30秒を設定する(S801)。そして、この設定値を用いて、図5のS509〜S517までの処理を実行する。S517において検知処理を終了しないと判定された場合(S517でNO)、撮像モード保持部129は、ユーザ操作等によって撮像モードが変更されたか否かを判定する(S802)。そして、撮像モードの変更がなかったと判定された場合(S802でNO)、監視装置120は、処理をS511に戻す。一方、撮像モードの変更があったと判定された場合(S802でYES)に、待ち時間設定部602は、背景学習部601から入力された変動情報や揺らぎ情報を用いて、画面内での日照変動や揺らぎなどの変動量を特定する。そして、待ち時間設定部602は、特定した変動量に基づいて、背景画像の生成が開始されてから検知処理を開始するまで待ち時間を設定する(S803)。例えば、待ち時間設定部602は、撮像モードの変更によって、動きの少ないシーンの撮像を行うことになった場合に短い待ち時間を設定し、動きの多いシーンの撮像を行うことになった場合には長い待ち時間を設定するようにしうる。この設定は、例えば、撮像モードごとに撮像された過去の画像についての動き量に基づいて行われうる。すなわち、過去に撮像された画像において動き量が少なかった撮像モードが用いられる場合には待ち時間が短くなるような設定が行われ、過去に撮像された画像において動き量が多かった撮像モードについては相対的に待ち時間が長くなるような設定が行われうる。なお、本実施形態では、撮像モードが変更された場合に待ち時間の更新を行うものとしたが、これに限られない。例えば、背景の学習処理中に、待ち時間設定部602は、現在の撮像画像中の動きの大きさを判定して、その大きさに基づいて、動的に待ち時間を変更してもよい。
以上のように、背景画像生成時の画面内での変動量に基づいて待ち時間を設定することにより、早期に検知処理を開始しても問題が生じない状況であるか否かが判定され、待ち時間が更新される。この結果、待ち時間が必要以上に長期化することを防ぎ、ユーザを必要以上待たせることなく監視処理を開始することが可能となる。
本実施形態についても、装置の構成や処理の流れは一例にすぎず、これら以外の形式で装置が構成され、または処理が実行されてもよい。
また、例えば、実施形態1の処理において、実施形態2の背景画像生成時の画面内の動きの多さに基づいて待ち時間を変更するようにしてもよい。例えば、図5のS502〜S4508のようにして定められた待ち時間を、動きの大きさに基づいて更新するようにしてもよい。さらに、実施形態1及び実施形態2において、監視システム1内に、画像入力装置100、監視装置120、及びモニタ装置140の3つの装置があるように説明したが、これに限られない。例えば、監視システム1が1つの装置によって実装されてもよいし、例えば、監視装置120の上述の機能が2つ以上の装置に分散されてもよい。
以上のようにして、実施形態1及び実施形態2では、背景画像の生成時、すなわち、撮像の開始時や撮像モード(シーン)の変更時に、検知処理が開始されるまでの待ち時間を、検知モードに基づいて適切に設定することができる。これにより、監視システム1が不必要に長時間にわたって待ち状態となることを防ぐことができ、ユーザの利便性を向上させることができる。
<実施形態3>
上述の実施形態1及び2では、有効となっている検知処理に応じて、背景画像が生成されてから検知処理の実行開始までの待ち時間を設定する手法について説明した。本実施形態では、この待ち時間を固定値とし、一方で、動体を動体として検知し続ける検知継続時間を適切に設定する。例えば、建物内での物体のレイアウトを変更した場合に、変更直後からその物体が動体として検知されるが、その検知された状態のまま検知継続時間を経過すると、その物体は背景として取り扱われるようになる。一方で、背景として取り扱われるまでの期間は、その物体が動体として扱われるため、その期間における画像が一律に保存されてしまいうる。これにより、不必要に画像が保存され、記憶装置の記憶容量を浪費してしまう等の問題が生じてしまいうる。本実施形態では、このような事態に対処するために、検知継続時間を適切に設定し、不必要な画像が多量に保存されることを防ぐ。
本実施形態の監視システム1の構成例を図9に示す。本実施形態では、監視装置120が、図1の構成に加えて、検知継続時間設定部901を有する。また、背景画像生成部、検知設定保持部、及び待ち時間設定部の動作が変更される。このため、本実施形態では、これらを背景画像生成部902、検知設定保持部903、及び待ち時間設定部904と表記する。検知継続時間設定部901は、検知設定保持部903から受信した検知設定に応じて動体の検知継続時間を決定し、背景画像生成部902に出力する。背景画像生成部902は、受信した検知継続時間を用いて前景情報を背景として保存するか否かの判定を行う。なお、待ち時間設定部904は、固定長の待ち時間を設定する。なお、この固定長の待ち時間は、例えばユーザ操作によって変更可能に構成されうる。
続いて、本実施形態の監視装置120が実行する処理の流れの例について図10を用いて説明する。監視装置120は、例えばユーザ操作によって監視システム1が起動されて監視処理が開始されることによって、図10の処理を開始する。本処理は、一例において、制御部201が記憶部202に記憶されているプログラムを実行することによって実現される。ただし、以下では、図9の機能ブロックに基づいて説明を行う。
監視装置120は、まず、検知継続時間設定部901は、検知設定保持部903から検知設定情報を取得する(S1001)。そして、検知継続時間設定部901は、取得した検知設定情報から、動体検知以外の検知設定が有効となっているか否かを判定する(S1002)。検知継続時間設定部901は、例えば、通過検知、置き去り・持ち去り検知、侵入検知、またはいたずら検知のいずれかが有効となっている場合に、動体検知以外の検知が有効となっていると判定しうる。検知継続時間設定部901は、動体検知以外の検知設定が有効となっていると判定すると(S1002でYES)、動体を動体として検知し続ける時間である検知継続時間を例えば3分に設定して(S1003)、処理をS1007へ進める。一方、検知継続時間設定部901は、動体検知以外の検知設定が有効となっていないと判定すると(S1002でNO)、続いて、取得した検知設定情報から、動体検知が有効となっているか否かを判定する(S1004)。そして、検知継続時間設定部901は、動体検知が有効となっていると判定すると(S1004でYES)、検知継続時間を例えば10秒に設定して(S1005)、処理をS1007へ進める。また、検知継続時間設定部901は、動体検知が有効となっていないと判定すると(S1004でNO)、検知継続時間を例えば30秒に設定して(S1006)、処理をS1007へ進める。
S1007では、画像入力部121が、画像入力装置100から画像情報を取得し、背景画像生成部902は、背景学習部122から入力された背景画像情報に基づいて、背景画像の生成を行う。待ち時間設定部904が設定した待ち時間が経過するまで、背景画像生成部902は、背景学習部122から取得した変動情報や揺らぎ情報を用いて、背景画像の更新処理を繰り返す。
待ち時間が経過して背景画像の更新処理が完了すると、続いて、動体抽出部124が、画像入力部121から入力された画像情報と背景画像生成部902から入力された背景画像および前景画像と比較して、動体抽出処理を行う(S1008)。抽出された動体情報は、背景画像生成部902に送られ、前景画像情報に保存されている動体が現れた時間を表す出現カウント値と共に保存される。背景画像生成部902は、前景情報の出現カウント値を検知継続時間設定部901から受信した検知継続時間と比較し、出現カウント値が検知継続時間を超過したか否かを判定する(1009)。そして、背景画像生成部902は、抽出されている動体についての出現カウント値が検知継続時間を超過している場合(S1009でYES)には、その動体を背景として扱い(S1010)、処理をS1011へ進める。なお、動体が背景化したことに応じて、その動体についての前景情報は破棄される。一方、背景画像生成部902は、抽出されている動体についての出現カウント値が検知継続時間を超過していない場合(S1009でNO)、S1010の処理を実行せずに、処理をS1011へ進める。S1011では、検知処理部127が、検知設定保持部903から取得した検知設定情報にもとづいて、各種検知処理を実行する。検知設定に応じて動体が検知された場合には、その検知がなされたタイミングで撮像された画像が保存される。なお、S1009では、例えば、検知継続時間が最大より小さく設定されている場合であっても、その最大の検知継続時間に基づいて前景情報を維持してもよい。この場合、S1011では、その前景情報に基づいて検知処理を実行するため、最大の検知継続時間が経過するまでの画像が保存されることとなる。そこで、動体が静止状態となってから最大の検知継続時間が経過した後に、設定された検知継続時間の分だけ画像を残して、残りを破棄するようにしてもよい。このとき、画像が破棄される前に検知継続時間が延長される設定変更が行われた場合、その延長された後の検知継続時間分の画像を残すようにすることができる。これにより、記憶容量の浪費を防ぎながら、かつ、途中での設定変更に対して、変更後の設定に対応する検知結果を出力することが可能となる。
S1011の処理の後、検知設定保持部903は、例えばユーザ操作等によって検知設定が更新されたか否かを判定し(S1012)、検知設定が更新されていない場合(S1012でNO)には処理をS1008へ戻す。一方、検知設定が更新された場合(S1012でYES)、検知設定保持部903は検知設定を更新し(S1013)、処理をS1001へ戻す。
続いて、図11(A)〜図11(E)を用いて、扉を開けて画面内に人が現れてから扉を放置したまま移動して画面から消え去るシーンにおいて、検知がどのように動作するかの例について説明する。本例では、初期状態として、図11(A)に示すような、扉1101が撮像範囲に含まれる背景画像が撮像されているものとする。この状態で、扉を開けて人が現れると、図11(B)のような画像が入力される。そして、この画像のうち、破線で示した領域1111及び1112が動体として抽出され、前景情報として保存される。その後、人が画面から移動する間に扉が開け放たれたままの場合、扉を検知した領域1111の出現カウントは増加し続ける。一方、人の部分に対しては、人の移動と共に検知位置も移動する。図11(B)の入力画像に対しては領域1112において動体が検知され、図11(C)の入力画像に対しては領域1122の位置において動体が検知される。検知領域が移動し続けるため、前景の領域1112及び領域1122の出現カウントは増加しない。また、人がさらに移動して撮像範囲外に到達すると、図11(D)の画面が入力され、扉の領域1111のみが動体として検知され続ける。ここで、検知設定が動体検知のみの場合には、図10の処理に従って、S1005の処理により検知継続時間が10秒に設定される。このため、10秒後には扉の部分の出現カウント値が検知継続時間を超過するため、S1010の処理により、図11(E)に示すように、扉1141の領域が背景化され、動体として検知されなくなる。
検知設定に置き去り検知が設定されている場合には、S1003の処理によって検知継続時間が3分に設定される。そのため、扉が開け放たれてから3分間は図11(D)に示すように、扉が動体として検知され続ける。これに対して、動体検知のみが設定されている場合、S1005の処理によって検知継続時間が10秒に設定される。これによれば、例えば図11(A)〜図11(E)の状況において、扉から出てくる人や扉の奥へ入る人を検知する動体検知が用いられる場合、扉が開いているか否かは重要ではないため、扉の現在の状態を迅速に背景化することができる。これにより、扉を不必要に長期にわたって動体として検知し続けることを防ぎ、保存される画像の量を抑制することができる。一方、例えば図11(A)〜図11(E)の状況において、物体の置き去りや持ち去りを監視したい場合、扉が動体として検知し続けられるが、物体が置き去りにされる又は持ち去られる状態を長期間記録しておくことが可能となる。なお、何の検知処理も設定されていない場合は、S1006の処理によって、検知継続時間が30秒に設定される。そのため、扉が開け放たれてから30秒間は扉を動体として検知し続ける。この結果、ユーザがその後に検知設定を行うときに、図11(D)に示すように扉が動体として検知し続けられる様子を30秒間は確認することができる。このため、ユーザは、検知結果を確認しながら置き去り検知の領域を設定することが可能となる。
以上のように、検知設定によって、適した検知継続時間を設定することにより、不必要に物体が動体として検知され続けることを防ぎ、ユーザの利便性を向上させることができる。
<実施形態4>
実施形態3では、検知設定に応じて検知継続時間を設定したが、撮像装置(カメラ)の設置状況によって、適した検知継続時間が異なる場合がある。例えば、混雑する駅の通路など人通りの激しい場所では、常に人の動きがあるため、動いている動体の検知が要求されず、その一方で置き去られた物体や倒れて動かない人などの静止した物体の検知が要求される場合がある。また、人通りの少ない場所に一人でいる人が転倒して動けなくなった場合に、その画面内に人が写っている間はその人を検知し続けることが要求される場合がある。このような場合に検知継続時間を長くすることで、長時間の置き去り物体を検知することができる。本実施形態では、検知継続時間の初期値は固定とし、検知状況に応じて適応的に検知継続時間を更新する。
図12は、本実施形態の監視システム1の構成例を示している。本システムでは、監視装置120の検知継続時間設定部1201が取得する情報が、実施形態1と異なっている。検知継続時間設定部1201は、動体抽出結果を動体抽出部124から取得し、また、背景画像生成部902から、背景画像生成部902に保存されている前景の出現カウント情報を取得する。検知継続時間設定部1201は、動体抽出部124から受信した動体検知結果と背景画像生成部902から受信した前景の出現カウント情報に基づいて、検知継続時間を変更し、背景画像生成部902に送信する。背景画像生成部902は、受信した検知継続時間を用いて前景情報を背景として取り扱うか否かを決定する。
続いて、図13を参照しながら、本実施形態の検知継続時間の変更手順について説明する。本処理は、一例において、制御部201が記憶部202に記憶されているプログラムを実行することによって実現される。ただし、以下では、図12の機能ブロックに基づいて説明を行う。
まず、検知継続時間設定部1201は、検知継続時間に、初期値(例えば10秒)を設定する(S1301)。そして、動体抽出部124が、動体抽出処理を実行する(S1302)。検知継続時間設定部1201は、動体抽出部124から取得した抽出結果から、所定期間内(例えば30秒間)に抽出された動体の個数を保存し、また、背景画像生成部902から取得した、この所定期間内の動体の出現カウントを保存する(S1303)。そして、検知継続時間設定部1201は、この所定期間における動体抽出数の平均を計算し、平均値が所定の閾値を超えているか否かを判定する(S1304)。検知継続時間設定部1201は、所定期間内の動体抽出数が所定数以上であったと判定した場合(S1304でYES)、検知継続時間を初期値の倍(例えば20秒)に変更して(S1305)、変更後の検知継続時間を背景画像生成部902に出力する。その後、処理はS1302へ戻る。これにより、人通りの多い場所に設置された撮像装置による撮像画像等の動きの多い画像において、置き去り・持ち去りがあった場合や倒れて動かない人の検知を行うことができるようになる。なお、通過するだけの動体は、図11を用いて説明したように、動体として抽出はされるが、検知され続けることはないため、このような処理によって、効率的に置き去り・持ち去りや動かない人を検知することができるようになる。なお、検知継続時間の延長後に、所定期間内の動体抽出数が上述の所定数未満となった場合に、検知継続時間を変更前の値に戻してもよい。これによれば、状況に応じて適切に検知継続時間を設定することができる。また、検知継続時間を元に戻す際の条件を、所定期間内の動体抽出数が上述の所定数より小さい第2の所定数を下回ったこととしてもよい。これによれば、検知継続時間の変更が繰り返されることを防ぐことができる。
一方、検知継続時間設定部1201は、所定期間内の動体抽出数が所定数未満であったと判定した場合(S1304でNO)、続いて、動体抽出数が所定期間内において1のままであるか否かを判定する(S1306)。検知継続時間設定部1201は、動体抽出数(平均値)が所定期間内において1のままであったと判定した場合(S1306でYES)、動体に対応する前景の出現カウントが所定値以上であるか否かを判定する(S1307)。ここで、所定値は、例えば、検知継続時間の4/5(例えば8秒)などである。そして、検知継続時間設定部1201は、前景の出現カウントが所定値以上であると判定した場合(S1307でYES)、検知継続時間を、現在の値の3倍に変更する(S1308)。例えば、検知継続時間が10秒であった場合、S1308においてその時間が30秒に変更される。検知継続時間設定部1201は、変更後の検知継続時間の情報を背景画像生成部902に出力する。これによれば、例えば、人通りの少ない場所に一人で動けないでいる人などを検知し続けることが可能となる。なお、例えば、この後に検知されていた動体が移動するなどによって所定期間内の動体抽出数に変化があった場合などにおいては、検知継続時間を元に戻してもよい。これにより、状況に応じて、適応的に検知継続時間を制御することができるようになる。S1308の処理の終了後、または、動体抽出数(平均値)が所定期間内において1のままではなかった場合(S1306でNO)もしくは前景の出現カウントが所定値未満であった場合(S1307でNO)、処理はS1302に戻る。
以上のように、撮像装置の設置状況や、撮像されているシーンの状態によって、検知継続時間を適切に設定することにより、状況に応じた適切な検知処理を実行することができるようになる。
なお、S1306では、動体抽出数が所定期間内において1のままであったか否かが判定されると説明したが、これに限られない。例えば、動体抽出数が所定期間内においてS1304の所定数より小さい第2の所定数以下であったかが判定されてもよい。すなわち、動体の数が十分に少ない場合に、S1307の判定を行うようにしてもよい。また、S1306の判定が行われなくてもよい。すなわち、S1304で動体抽出数が所定数未満であると判定された場合に、出現カウントが所定値以上の動体(前景)があるかが判定されてもよい。すなわち、動体抽出数と、動体が前景として抽出され続けている時間長との少なくともいずれかに基づいて、検知継続時間が設定・更新されうる。
実施形態3では、どの検知処理が設定されているかに応じて検知継続時間を決定していたが、設定された検知領域内に動体が検知されているか否かを判定して、検知継続時間を決定してもよい。例えば、監視装置120は、検知継続時間の初期値を10秒に設定し、動体検知以外の検知種別が設定された検知領域内において動体が検知されているか否かを調べる。そして、監視装置120は、動体検知以外の検知種別が設定された検知領域内で動体が検知されていることを確認した場合に、その検知種別の検知判定時間よりも例えば1分長い時間に検知継続時間を設定しうる。また、監視装置120は、その後に検知領域内に動体が検知されなくなった場合に、検知継続時間を初期値(10秒)に戻すように構成してもよい。これによれば、実際の検知状況に応じて適応的に検知継続時間を設定することができ、より適切な検知処理を実行することができるようになる。
また、実施形態4では、動きの多さを動体抽出数が所定数以上であるか否かによって判定したが、例えばコーデックの情報に基づいて動きの多さを特定してもよい。そして、動きの多さが所定値を超える場合に、検知継続時間を延長するようにしてもよい。また、背景画像の複雑性に応じて、検知継続時間を設定してもよい。例えば、変動や揺らぎの発生しやすい複雑な背景画像が得られる撮像環境においては、その変動や揺らぎによって動体として誤検知された背景が早期に背景化するように、検知継続時間を短く設定しうる。一方で、変動や揺らぎの発生しにくい複雑性の低い背景画像が得られる撮像環境においては、背景が動体として誤検知される確率が低いため、検知継続時間を長く設定しうる。なお、これらの検知継続時間の設定は、動体検知以外の検知処理が無効である間など、検知種別の設定に基づいて行われてもよい。
また、実施形態3及び4では、検知設定または撮像装置の設置状況のいずれかによって検知継続時間が設定される例について説明したが、これらに限られず、2つの情報の組み合わせによって、検知継続時間が決定されてもよい。例えば、設定されている検知設定の組み合わせによって、検知継続時間の初期値が決定され、その後の動体の検知結果に応じて検知継続時間が初期値から変更されてもよい。
また、検知処理ごとに、検知処理によって動体が検知された実績に基づいて、検知継続時間を適応的に変更してもよい。例えば、各検知種別において、検知継続時間を初期値として5秒などに設定しておく。その状態で、各検知種別での検知を実行し、その仮検知によって動体を検知した期間の長さを調べる。ここでの検知は、5秒で背景化が行われない場合の仮検知でありうる。すなわち、背景化が行われないと仮定した場合に、動体として検知された物体がその後さらに移動するまでの期間を、動体が検知され続ける期間として特定するために仮検知が行われる。そして、検知種別ごとに特定された期間の長さに応じて、検知継続時間が更新されうる。例えば、検知種別ごとに特定された期間の長さの最大値を、検知種別ごとの検知継続時間として設定しうる。なお、このときに、仮検知で物体が動体として検知され続けた期間が所定の値を超える場合は、その物体は動体ではなかったと判定し、この場合の期間の長さは、検知継続時間の更新には用いられないようにしうる。すなわち、動体が動体として検知されるべき期間の長さを仮検知によって取得して、その期間の長さに応じて、必要な検知継続時間が決定されうる。このとき、有効な検知処理の種別について、それぞれ特定された検知継続時間のうちの最長の検知継続時間を使用することが決定されうる。これによれば、実際の検知環境に応じて、検知継続時間を設定することが可能となる。また、例えば、検知処理ごとに、所定期間内に背景化された物体の数をカウントし、その物体の数が多いほど、検知継続時間を長くするようにしてもよい。すなわち、背景化された物体の数が多い場合は、検知継続時間が短すぎるために背景化の頻度が高くなっていることがありうる。このため、背景化の頻度が高い場合には検知継続時間を長期化するようにしてもよい。なお、この場合、検知継続時間の最大値を用意しておき、これを越えての検知継続時間の長期化は行われないようにしうる。また、これらの処理では、動体が検知されない状態が所定時間長を超えて継続したこと応じて、検知継続時間の長さを更新前の値に戻しうる。この更新前の値は直前の更新の前の値であってもよいし、例えば所定数回前の更新の前の値であってもよい。監視装置120は、一例において、更新の履歴を保持しておき、動体が検知されない状態が継続するごとに、検知継続時間の設定を徐々に初期値に戻しうる。なお、監視装置120は、動体が検知されない状態が所定時間長を超えて継続したことに応じて、検知継続時間の設定を全ての更新が行われる前の値、すなわち、初期値に戻してもよい。これにより、例えば撮像状況が一時的に特殊な状態となった後にその特殊な状態の影響を継続的に受けること等を防ぎ、状況に応じた適切な検知継続時間の設定を行うことができる。なお、実施形態3及び4の処理と、これらの処理とは、任意に組み合わされて用いられてもよい。同様に、本明細書に記載の処理は、任意に組み合わせることが可能である。
<<その他の実施形態>>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:監視システム、100:画像入力装置、120:監視装置、121:画像入力部、122、601:背景学習部、123、902:背景画像生成部、124:動体抽出部、125、903:検知設定保持部、126、602、904:待ち時間設定部、127:検知処理部、128:画像出力部、129:撮像モード保持部、140:モニタ装置、901、1201:検知継続時間設定部

Claims (10)

  1. 撮像装置によって撮像された画像データを取得する取得手段と、
    前記画像データに基づいて背景画像を生成する生成手段と、
    前記画像データと前記背景画像とを用いて動体の検知処理を行う検知手段と、
    前記検知手段による検知に関する条件に基づいて、前記生成手段が前記背景画像の生成を開始してから前記検知手段が検知処理を開始するまでの待ち時間を設定する設定手段と、
    を有することを特徴とする監視装置。
  2. 前記条件は、前記検知手段による検知処理の種別を含み、
    前記設定手段は、有効とされている検知処理の種別に基づいて、前記待ち時間を設定する、
    ことを特徴とする請求項1に記載の監視装置。
  3. 前記設定手段は、有効とされている検知処理の種別において動体の検知を継続すべき時間の長さに基づいて、前記待ち時間を設定する、
    ことを特徴とする請求項2に記載の監視装置。
  4. 前記設定手段は、有効とされている検知処理の種別のうち、動体の検知を継続すべき時間の長さが最も長い種別に基づいて、前記待ち時間を設定する、
    ことを特徴とする請求項2又は3に記載の監視装置。
  5. 前記条件は、前記背景画像の変動または揺らぎの大きさを含み、
    前記設定手段は、前記変動または揺らぎの大きさが小さいほど、前記待ち時間を短く設定する、
    ことを特徴とする請求項1から4のいずれか1項に記載の監視装置。
  6. 前記生成手段が前記背景画像の生成を開始してからの時間の長さと、動体を動体として検知し続けることができる期間の長さとが、当該期間の長さが最大値に至るまでの間において比例し、
    前記設定手段は、前記変動または揺らぎの大きさに基づいて、前記生成手段が前記背景画像の生成を開始してから前記期間の長さが最大値に至るまでの時間の長さを設定することにより、前記待ち時間を設定する、
    ことを特徴とする請求項5に記載の監視装置。
  7. 前記設定手段は、前記変動または揺らぎの大きさが小さいほど、前記生成手段が前記背景画像の生成を開始してから前記期間の長さが最大値に至るまでの時間の長さを短く設定する、
    ことを特徴とする請求項6に記載の監視装置。
  8. 請求項1から7のいずれか1項に記載の監視装置と、前記撮像装置とを含むことを特徴とする監視システム。
  9. 撮像装置によって撮像された画像データを取得する取得手段と、前記画像データに基づいて背景画像を生成する生成手段と、前記画像データと前記背景画像とを用いて動体の検知処理を行う検知手段と、を有する監視装置の制御方法であって、
    設定手段が、前記検知手段による検知に関する条件に基づいて、前記生成手段が前記背景画像の生成を開始してから前記検知手段が検知処理を開始するまでの待ち時間を設定する設定工程を有することを特徴とする制御方法。
  10. 撮像装置によって撮像された画像データを取得する取得手段と、前記画像データに基づいて背景画像を生成する生成手段と、前記画像データと前記背景画像とを用いて動体の検知処理を行う検知手段と、を有する監視装置に備えられたコンピュータに、請求項9に記載の制御方法を実行させるためのプログラム。
JP2018055100A 2018-03-22 2018-03-22 監視装置、監視システム、制御方法、及びプログラム Active JP7079126B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018055100A JP7079126B2 (ja) 2018-03-22 2018-03-22 監視装置、監視システム、制御方法、及びプログラム
US16/353,131 US11244462B2 (en) 2018-03-22 2019-03-14 Monitoring apparatus, monitoring system, control method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018055100A JP7079126B2 (ja) 2018-03-22 2018-03-22 監視装置、監視システム、制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2019169807A true JP2019169807A (ja) 2019-10-03
JP2019169807A5 JP2019169807A5 (ja) 2021-04-30
JP7079126B2 JP7079126B2 (ja) 2022-06-01

Family

ID=67985441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018055100A Active JP7079126B2 (ja) 2018-03-22 2018-03-22 監視装置、監視システム、制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US11244462B2 (ja)
JP (1) JP7079126B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
JP7169752B2 (ja) * 2018-03-22 2022-11-11 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175735A (ja) * 1997-12-15 1999-07-02 Hitachi Denshi Ltd 画像処理による物体認識方法及び装置
JP2003174641A (ja) * 2001-12-07 2003-06-20 Nagoya Electric Works Co Ltd カメラ切換制御方法およびその装置
JP2012217056A (ja) * 2011-03-31 2012-11-08 Saxa Inc 置き去り又は持ち去り検知システム及び前記検知システムにおける置き去り又は持ち去り発生時刻を検知する方法
JP2019091121A (ja) * 2017-11-10 2019-06-13 富士通株式会社 情報処理装置、背景更新方法および背景更新プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4458131B2 (ja) * 2007-08-23 2010-04-28 ソニー株式会社 画像撮像装置、撮像方法
JP5153420B2 (ja) 2008-04-03 2013-02-27 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9392972B2 (en) * 2012-11-27 2016-07-19 Neuropace, Inc. Methods and systems for automatically identifying detection parameters for an implantable medical device
JP6238568B2 (ja) * 2013-05-20 2017-11-29 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175735A (ja) * 1997-12-15 1999-07-02 Hitachi Denshi Ltd 画像処理による物体認識方法及び装置
JP2003174641A (ja) * 2001-12-07 2003-06-20 Nagoya Electric Works Co Ltd カメラ切換制御方法およびその装置
JP2012217056A (ja) * 2011-03-31 2012-11-08 Saxa Inc 置き去り又は持ち去り検知システム及び前記検知システムにおける置き去り又は持ち去り発生時刻を検知する方法
JP2019091121A (ja) * 2017-11-10 2019-06-13 富士通株式会社 情報処理装置、背景更新方法および背景更新プログラム

Also Published As

Publication number Publication date
US11244462B2 (en) 2022-02-08
JP7079126B2 (ja) 2022-06-01
US20190295263A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP7169752B2 (ja) 監視装置、監視システム、制御方法、及びプログラム
US10381001B2 (en) Voice control user interface during low-power mode
KR20200124648A (ko) 저전력 사용으로 모바일 카메라를 동작하는 방법 및 장치
US20150002665A1 (en) Video-surveillance method, corresponding system, and computer program product
EP3113549A1 (en) Method and device for waking up mcu chip
US20110280551A1 (en) Unintended Video Recording Detection in a Video Recording Device
US20140278443A1 (en) Voice Control User Interface with Progressive Command Engagement
JP2016201756A (ja) 画像処理装置、画像処理方法、および画像処理システム
JP7079126B2 (ja) 監視装置、監視システム、制御方法、及びプログラム
WO2016167016A1 (ja) 画像処理装置、画像処理方法、および画像処理システム
WO2016177200A1 (zh) 一种实现屏幕控制的方法及终端
JP2016519447A5 (ja)
CN104581064B (zh) 一种摄像头报警信息整合的方法及装置
CN106507192B (zh) 一种基于人眼识别的电视关机控制方法及系统
WO2017219446A1 (zh) 图标的处理方法以及装置
CN105549376A (zh) 终端闹铃控制方法和装置
CN106095637B (zh) 一种智能终端的控制方法、装置及智能终端
WO2017012205A1 (zh) 一种控制屏幕的方法、装置和终端、存储介质
CN107765834B (zh) 应用管理方法、装置、存储介质及电子设备
CN113556649B (zh) 智能音箱的播报控制方法和装置
WO2017088419A1 (zh) 图像信息的获取方法、用户设备及服务器
CN106133672B (zh) 信息处理装置、信息处理方法和信息处理程序
KR101544671B1 (ko) 소리 기반 저전력 전단 이벤트 감지 방법 및 장치
TWI445353B (zh) 具有影像監控的網路裝置、節能控制系統及影像監控方法
CN108279776A (zh) 用于控制电子设备的方法及电子设备

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220520

R151 Written notification of patent or utility model registration

Ref document number: 7079126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151