JP2017135476A - 置去り監視装置およびこれを備えた置去り監視システムならびに置去り監視方法 - Google Patents

置去り監視装置およびこれを備えた置去り監視システムならびに置去り監視方法 Download PDF

Info

Publication number
JP2017135476A
JP2017135476A JP2016011835A JP2016011835A JP2017135476A JP 2017135476 A JP2017135476 A JP 2017135476A JP 2016011835 A JP2016011835 A JP 2016011835A JP 2016011835 A JP2016011835 A JP 2016011835A JP 2017135476 A JP2017135476 A JP 2017135476A
Authority
JP
Japan
Prior art keywords
image
appearing
monitoring
leaving
progress information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016011835A
Other languages
English (en)
Other versions
JP6390860B2 (ja
Inventor
偉志 渡邊
Takeshi Watanabe
偉志 渡邊
龍次 山崎
Tatsuji Yamazaki
龍次 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016011835A priority Critical patent/JP6390860B2/ja
Priority to US16/070,330 priority patent/US10740906B2/en
Priority to DE112016006300.8T priority patent/DE112016006300T5/de
Priority to CN201680079200.8A priority patent/CN108476304B/zh
Priority to GB1810066.9A priority patent/GB2560477B/en
Priority to PCT/JP2016/004817 priority patent/WO2017130252A1/ja
Publication of JP2017135476A publication Critical patent/JP2017135476A/ja
Application granted granted Critical
Publication of JP6390860B2 publication Critical patent/JP6390860B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】監視領域内への出現後の置去り物体の経過情報をユーザに提供することを可能とする。
【解決手段】置去り物体監視装置３が、撮像装置２により撮像された監視領域の撮像画像を取得する画像取得部１１と、撮像画像から監視領域内に出現した出現物体を検出し、該出現物体毎に撮像画像間で追跡する物体追跡部２１と、出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない物体を置去り物体として検出する置去り物体検出部２２と、出現物体毎の追跡結果に基づき、監視領域内への出現後の置去り物体の経過情報を生成する経過情報生成部２３と、経過情報を撮像画像に重畳して報知画像を生成する報知画像生成部１３とを備えた構成とする。
【選択図】図１

Description

本発明は、撮像装置により撮像された監視領域の撮像画像に基づいて監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法に関する。
従来、駅や空港等の不特定多数の者が利用する空間では、防犯等を目的として、不審物の置き去りを監視することが行われている。置き去りの監視は一般的に、監視カメラ（撮像装置）により撮像された監視領域の撮像画像を監視員がモニタリングすることにより行われるが、監視員の負担軽減および置き去り検出の精度向上のために、監視領域の撮像画像に基づいて置去り物体を自動的に検出することが求められている。そこで、撮像画像に基づいて置去り物体を自動的に検出するための様々な技術が提案されている（例えば、特許文献１）。特許文献１の従来技術では、所定の時間間隔で撮像入力される監視対象領域の入力画像と監視対象領域の初期画像との差を求めて監視対象領域内における人物像を切り出し、この所定の時間間隔で逐次求められる人物像を相互に比較して該人物像から分離する物体像を検出し、物体像が検出されたときにはこの物体像の放置時間を計測し、所定の時間が経過したときに警報を発報するようにしている。
また、置去り物体が検出された場合は、その置去り物体の置去り主を特定できることが望ましい。そこで、撮像画像に基づいて置去り物体の置去り主を特定するための様々な技術が提案されている（例えば、特許文献２、特許文献３）。特許文献２の従来技術では、撮像画像から、置去り物の画像と、該置去り物から所定の距離範囲内にいる周辺人物の画像とを抽出し、置去り物の画像と周辺人物の画像とを含むログデータを生成することにより、置去り主を特定するための情報をユーザに提供するようにしている。また、特許文献３の従来技術では、置去り物（不審物）が最初に検出された検出時刻直前を終点とする所定期間において、検出領域が不審物の検出領域と重なる全ての物体を置去り主の候補物体として検知し、検知された候補物体の物体像を含む情報（事案情報）を出力することにより、置去り主を特定するための情報をユーザに提供するようにしている。
特開平１−２４５３９５号公報 特開２０１２−２３５３００号公報 特開２０１１−４９６４６号公報
しかしながら、上記特許文献１の従来技術では、監視領域内への出現後の置去り物体の経過情報をユーザに提供することができないという問題があった。もし、監視領域内への出現後の置去り物体の経過情報をユーザに提供することができれば、置去り物体の状態の変化や、置去り物体の出現から警報の発報に至るまでの経緯をユーザが把握することが可能になるため有益である。
また、上記特許文献２および特許文献３の従来技術では、置去り物体の置去り主を特定することは可能であるが、置去り物体が置去り主や他の置去り物体等の他の出現物体の背後に隠れた場合に、ユーザが置去り物体を視認することができないという問題があった。もし、置去り物体が他の出現物体の背後に隠れた場合でも、置去り物体を画像中に表示することができれば、ユーザが置去り物体の状態を確認することが可能になるため有益である。
本発明は、このような従来技術の課題を鑑みて案出されたものであり、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能な置去り監視装置およびこれを備えた置去り監視システムならびに置去り監視方法を提供することを第１の目的とする。また、本発明は、置去り物体が他の出現物体の背後に隠れた場合でも、置去り物体を画像中に表示することが可能な置去り監視装置およびこれを備えた置去り監視システムならびに置去り監視方法を提供することを第２の目的とする。
本発明の置去り監視装置は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡する物体追跡部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出する置去り物体検出部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成する経過情報生成部と、前記経過情報を前記撮像画像に重畳して報知画像を生成する報知画像生成部とを備えたことを特徴とする。
本発明によれば、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能となる。また、これにより、置去り物体の状態の変化や、出現から警報の発報に至るまでの経緯をユーザが把握することが可能となる。
本発明の第１実施形態に係る置去り物体監視システムの概略構成図 （Ａ）撮像画像から監視領域内に出現した出現物体（カバンを持った人物）が検出された例を示す図、（Ｂ）撮像画像から監視領域内に新規に出現した出現物体（カバン）が検出された例を示す図 経過情報が、置去り物体が監視領域内に出現した時点から経過時間である場合の報知画像の例を示す図であり、（Ａ）報知画像の例を示す図、（Ｂ）報知画像の他の例を示す図 経過情報が、置去り物体が監視領域内に出現した時点以降の置去り物体の時系列画像である場合の報知画像の例を示す図であり、（Ａ）報知画像の例を示す図、（Ｂ）時系列画像の例を示す図 経過情報が、置去り物体が監視領域内に出現した時点から経過時間であり、経過時間を枠画像の色の変化により示した報知画像の例を示す図であり、（Ａ）枠画像の色が青色の報知画像の例を示す図、（Ｂ）枠画像の色が黄色の報知画像の例を示す図、（Ｃ）枠画像の色が赤色の報知画像の例を示す図 第１実施形態に係る置去り物体監視装置での処理の流れを示すフロー図 本発明の第２実施形態に係る置去り物体監視システムの概略構成図 時系列の撮像画像中の局所領域の特徴量レベルを示したグラフ （Ａ）は背景物体および出現物体Ａの画像層の例を示す図、（Ｂ）は出現物体Ｂの画像層の例を示す図 （Ａ）背景画像の例を示す図、（Ｂ）背景画像に各画像層を重畳した画像を示す図、（Ｃ）前記（Ｂ）の画像に経過情報および枠画像を重畳して生成した報知画像を示す図 第２実施形態に係る置去り物体監視装置での処理の流れを示すフロー図
上記課題を解決するためになされた第１の発明は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡する物体追跡部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出する置去り物体検出部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成する経過情報生成部と、前記経過情報を前記撮像画像に重畳して報知画像を生成する報知画像生成部とを備えたことを特徴とする。
この第１の発明に係る置去り監視装置によれば、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能となる。
また、第２の発明では、上記第１の発明において、前記経過情報が、前記監視領域内への出現後の所定時点からの経過時間を含むことを特徴とする。
この第２の発明に係る置去り監視装置によれば、監視領域内への出現後の所定時点からの経過時間をユーザに対して視覚的に分かりやすく表示することが可能となる。
また、第３の発明では、上記第１の発明または第２の発明において、前記経過情報が、前記監視領域内への出現後の所定時点以降の前記置去り物体の時系列画像を含むことを特徴とする。
この第３の発明に係る置去り監視装置によれば、監視領域内への出現後の所定時点以降の置去り物体の状態の変化をユーザに対して視覚的に分かりやすく表示することが可能となる。
また、第４の発明では、上記第１の発明ないし第３の発明のいずれかにおいて、前記出現物体が検出された場合に、該出現物体を取り囲む枠画像を前記報知画像にさらに重畳することを特徴とする。
この第４の発明に係る置去り監視装置によれば、出現物体が検出された場合に、出現物体をユーザに対して視覚的に分かりやすく表示することが可能となる。
また、第５の発明では、上記第４の発明において、前記報知画像生成部は、前記枠画像の色を、前記置去り物体の前記監視領域内への出現後の所定時点からの経過時間に応じて変更することを特徴とする。
この第５の発明に係る置去り監視装置によれば、置去り物体の監視領域内への出現後の所定時点からの経過時間をユーザに対して視覚的に分かりやすく表示することが可能となる。
また、第６の発明では、上記第１の発明ないし第５の発明のいずれかにおいて、前記出現物体が複数検出された場合に、前記出現物体毎に該出現物体の画像を含む画像層を生成する画像層生成部と、前記撮像画像から前記出現物体を除去した背景画像を生成する背景画像生成部とをさらに備え、前記報知画像生成部は、前記背景画像に前記各画像層を該各画像層に含まれる前記出現物体の検出順に重畳することを特徴とする。
この第６の発明に係る置去り監視装置によれば、置去り物体が他の出現物体の背後に隠れた場合でも、置去り物体を画像中に表示することが可能となる。
また、第７の発明は、上記第１の発明ないし第６の発明のいずれかに記載の置去り監視装置と、監視領域を撮像するための撮像装置と、前記置去り物体監視装置で生成された報知画像を表示する表示装置とを備えた置去り物体監視システムである。
また、第８の発明は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視方法であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得するステップと、前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡するステップと、前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出するステップと、出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成するステップと、前記経過情報を前記撮像画像に重畳して報知画像を生成するステップとを有することを特徴とする。
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１実施形態）
まず、本発明の第１の実施形態に係る置去り物体監視システム１について、図１〜６を参照して説明する。この置去り物体監視システム１は、撮像装置２により撮像された監視領域の撮像画像に基づいて監視領域内に置き去りにされた置去り物体を検出し、置去り物体が検出された場合に警報を発報するためのシステムであり、駅や空港等の不特定多数の者が利用する空間における不審物の置き去りの監視に適用可能である。以下では、本発明に係る置去り物体監視システム１を、駅構内での不審物の置き去りの監視に適用した場合について説明する。置去り物体としては、物品（例えば、紙袋、カバン）や人物等が挙げられる。なお、置去り物体は特に限定されるものではなく、例えば車椅子や電動カート等の他の様々な物体であってよい。
図１は、本発明の第１実施形態に係る置去り物体監視システム１の概略構成図である。図１に示すように、置去り物体監視システム１は、撮像装置２と、置去り物体監視装置３と、表示装置４とを備えて構成される。表示装置４は、監視員に対して警報を報知するための報知装置としての役割を果たす。置去り物体監視装置３は、撮像装置２および表示装置４と、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、置去り物体監視装置３と、撮像装置２および表示装置４との接続形態は特に限定されるものではなく、例えば、インターネット等のネットワークを介した接続であってよいし、汎用のインターフェース（例えばＵＳＢ（Universal Serial Bus）インターフェース）を用いて通信ケーブルで互いに接続してもよい。
撮像装置２は、例えばＣＣＤカメラ等の一般的な撮像装置であり、壁や天井等に設置され、予め定められた監視領域を、静止画像または動画像として時系列に撮像する。なお、撮像装置２は、監視領域を時系列に撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、撮像装置２は、壁等に設置され１台で１８０度撮影できるパノラマ型カメラや、天井等に設置され１台で３６０度撮影できる全方位型カメラであってもよい。撮像装置２により時系列に撮像された監視領域の撮像画像は、置去り物体監視装置３に入力される。
表示装置４は、監視員が監視業務を行う監視室等に設置されたモニタ（ディスプレイ）等の一般的な表示装置であり、置去り物体監視装置３から出力された報知画像（図４参照）を表示する。報知画像の詳細については後述する。なお、表示装置４は、報知画像の表示が可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、表示装置４は、巡回等で監視室を離れる場合に監視員が携帯する携帯端末の表示画面であってもよい。
置去り物体監視装置３は、一般的なコンピュータ装置であり、詳細は図示しないが、所定の制御プログラムに基づき各種情報処理や周辺機器の制御等を統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインタフェース等を含んで構成されている。後に詳述する置去り物体監視装置３の各種機能（例えば、経過情報の生成）は、ＣＰＵが所定の制御プログラム（例えば、経過情報生成プログラム）を実行することによって実現可能である。なお、置去り物体監視装置３としては、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバ等）を用いることもできる。また、置去り物体監視装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
置去り物体監視装置３は、置去り物体が検出されてから予め定められた時間が経過すると、表示装置４を介して警報の発報を行う。具体的には、表示装置４に出力する報知画像上に警報の発報を示す情報を表示することにより警報の発報を行う。例えば、置去り物体が検出された時点で置去り物体を枠画像で取り囲んでおき、置去り物体が検出されてから予め定められた時間が経過したときに、枠画像の色を目立つ色に変更したり、枠画像を点滅させたりすることによって警報の発報を行うとよい。また、置去り物体監視装置３が図示しない発報装置を制御して警報の発報を行うようにしてもよい。発報装置としては、例えば警報ブザーや警報ランプ等の一般的な発報装置の他、所定の警報メッセージを音声で流す音声発生装置を用いることができる。
図１に示すように、置去り物体監視装置３は、画像取得部１１と、画像処理部１２と、報知画像生成部１３とを備えており、画像処理部１２は、物体追跡部２１と、置去り物体検出部２２と、経過情報生成部２３とを有している。各部は、図示しない制御部によって制御される。
画像取得部１１は、撮像装置２と接続されており、撮像装置２から監視領域の撮像画像を取得する。画像取得部１１は、画像処理部１２および報知画像生成部１３と接続されており、画像取得部１１が撮像装置２から取得した撮像画像は、画像処理部１２および報知画像生成部１３に入力される。
画像処理部１２は、画像取得部１１から撮像画像を取得する。撮像画像が所定時間間隔で撮像された静止画像である場合は、その静止画像データとして取得し、撮像画像が動画像である場合は、該動画像から所定時間間隔で抽出した静止画像データ（画像フレームデータ）として取得する。画像処理部１２が画像取得部１１から取得した撮像画像（静止画像データ）は、物体追跡部２１、置去り物体検出部２２および経過情報生成部２３で処理される。
物体追跡部２１は、撮像画像から監視領域内に出現した出現物体を検出し、検出された出現物体毎に、該出現物体の検出以降の撮像画像間で追跡する。出現物体は、人物、車椅子や電動カート等の人が乗っている移動物体、またはその他の有人または無人の移動物体等であり得る。出現物体の検出は、予め撮像した背景画像と撮像画像との比較、または時系列に互いに隣接する２枚の撮像画像の比較により行われる。具体的には、比較される撮像画像間の対応する画素の画素値（例えば、輝度値）の相違度（差または相関値）を求め、求められた相違度が予め定められた閾値を超える画素を抽出し、近接して抽出された画素をまとめた領域を出現物体として検出する。撮像画像から出現物体が検出されたら、検出された出現物体毎に個別の識別符号を付与し、該出現物体の検出以降の撮像画像間で追跡する。既に検出済みの出現物体の近くに新規の出現物体が出現した場合は、既に検出済みの出現物体から新規の出現物体が分離したと判断する。この場合は、既に検出済みの出現物体の識別符号は変更せず、新規に出現した出現物体に新しい識別符号を付与して管理する。物体追跡部２１で出現物体が検出された場合、その検出結果は報知画像生成部１３に入力される。
図２（Ａ）は、物体追跡部２１により、撮像画像から監視領域内に出現した出現物体３１が検出された例を示す図である。図２（Ａ）の例では、出現物体３１は、カバン３２を持った人物３３である。この時点では、カバン３２と人物３３は個別に識別されておらず、１つの出現物体３１として検出される。図２（Ｂ）は、物体追跡部２１により、撮像画像から監視領域内に新規に出現した出現物体３４が検出された例を示す図である。図２（Ｂ）の例では、人物３３から分離したカバン３２が新たな出現物体３４として検出される。以降、カバン３２は、新たな出現物体３４として追跡される。また、カバン３２が分離した出現物体３１（すなわち、人物３３）は、そのまま出現物体３１として追跡される。
置去り物体検出部２２は、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物体を検出する。具体的には、物体追跡部２１で検出された出現物体毎に、該出現物体の撮像画像内での経時的な変位を求め、予め定められた時間を超えて変位しない、すなわち予め定められた時間を超えて静止している出現物体を置去り物体として検出する。置去り物体が検出されたら、置去り物体毎に固有の識別符号を付与し、該置去り物体の検出以降の撮像画像間で追跡する。置去り物体検出部２２で置去り物体が検出された場合、その検出結果は報知画像生成部１３に入力される。
経過情報生成部２３は、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物体が監視領域内に出現した時点（以降、「物体出現時点」と称する）より後の置去り物体の経過情報を生成する。経過情報としては、物体出現時点以後の所定時点からの経過時間、置去り物体が検出された時点以後の所定時点からの経過時間、物体出現時点以後の所定時点以降の置去り物体の時系列画像が挙げられる。なお、経過情報は、これらに限定されるものではなく、例えば、置去り物体の監視領域内への出現時の画像や時刻、置去り物体の検出時の画像や時刻等の他の様々な情報または画像であってよい。経過情報生成部２３で生成された経過情報は、報知画像生成部１３に入力される。
報知画像生成部１３は、画像取得部１１から撮像画像を取得する。そして、報知画像生成部１３は、経過情報生成部２３から置去り物体の経過情報が入力された場合に、置去り物体の経過情報を撮像画像に重畳して報知画像を生成する。具体的には、報知画像生成部１３は、経過情報生成部２３から入力された経過情報に基づいて置去り物体の経過情報を含む画像を生成し、その画像を撮像画像に重畳して報知画像を生成する。経過情報生成部２３から入力される経過情報が経過情報を含む画像である場合は、その画像を撮像画像に重畳して報知画像を生成する。
また、報知画像生成部１３は、物体追跡部２１で出現物体が検出された場合に、その出現物体を取り囲む枠画像を、報知画像にさらに重畳する。置去り物体検出部２２で置去り物体が検出されなかった場合は、報知画像生成部１３は、出現物体を取り囲む枠画像を撮像画像に重畳して報知画像を生成する。報知画像生成部１３で生成された報知画像は、表示装置４に出力される。なお、物体追跡部２１で出現物体が検出されなかった場合は、報知画像生成部１３は、画像取得部１１から取得した撮像画像をそのまま表示装置４に出力する。
図３は、経過情報が、物体出現時点からの経過時間である場合の報知画像の例を示す図である。この場合、報知画像生成部１３は、物体出現時点からの経過時間を示す画像（以降、「経過時間画像」と称する）を生成し、その経過時間画像を撮像画像上に重畳して報知画像を生成する。また、報知画像生成部１３は、置去り物体を取り囲む枠画像を報知画像にさらに重畳する。
図３の例では、置去り物体として紙袋４１が検出されており、撮像画像中における紙袋４１の上側の位置に経過時間画像４２が重畳されている。また、紙袋４１を取り囲む枠画像４３が報知画像にさらに重畳されている。図３（Ａ）の例では、置去り物体である紙袋４１が監視領域内に出現した時点からの経過時間が３分１５秒であることを示す「３：１５」という経過時間画像４２が撮像画像に重畳されている。また、図３（Ｂ）の例では、置去り物体である紙袋４１が監視領域内に出現した時点からの経過時間が８分５９秒であることを示す「８：５９」という経過時間画像４２が撮像画像に重畳されている。
このように、撮像画像に経過時間画像４２を重畳すると、置去り物体である紙袋４１が監視領域内に出現した時点からの経過時間をユーザに対して視覚的に分かりやすく表示することができる。また、置去り物体（紙袋４１）を枠画像４３で取り囲むことにより、置去り物体（紙袋４１）をユーザに対して視覚的に分かりやすく表示することができる。なお、撮像画像から紙袋４１以外の他の出現物体または置去り物が検出された場合は、それらの物体を枠画像で取り囲むと、それらの物体をユーザに対して視覚的に分かりやすく表示することができる。なお、図３の例では、経過情報が、物体出現時点からの経過時間である場合について説明したが、経過情報は、物体出現時点以後の所定時点からの経過時間であってもよい。また、経過情報は、置去り物体が検出された時点（またはそれ以後の所定時点）からの経過時間であってもよい。
図４は、経過情報が、物体出現時点以降の置去り物体の時系列画像である場合の報知画像の例を示す図である。この場合、報知画像生成部１３は、経過情報生成部２３から入力された置去り物体の時系列画像を撮像画像上に重畳して報知画像を生成する。また、報知画像生成部１３は、置去り物体を取り囲む枠画像を報知画像にさらに重畳する。
図４（Ａ）の例では、置去り物体として床に倒れた人物５１が検出されており、撮像画像中における人物５１の上側の位置に経過時間画像５２が重畳されている。また、人物５１を取り囲む枠画像５３がさらに重畳されている。図４（Ａ）の例では、置去り物体である人物５１の物体出現時点からの経過時間が１０分であることを示す「１０：００」という経過時間画像５２が撮像画像に重畳されている。
この例では、物体出現時点から１０分経過し、置去り物体が発生した時点で警報を発報した様子を示している。つまり、図４（Ａ）の時点は、警報発報時点である。警報が発報されると、監視員は、キーボードやマウス等の図示しない入力操作装置を介して置去り物体監視装置３を操作することにより、図４（Ｂ）に示すように、枠画像５３内に、置去り物体である人物５１の時系列画像５４を表示することができる。時系列画像５４は、所定時間間隔の静止画像（コマ送り画像）または動画像として表示される。また、時系列画像５４の経過時間も時系列画像５４中に表示される。図４（Ｂ）の例では、４分５０秒の時点の画像では人物５１は立っており、５分００秒の時点以降の画像では人物５１は倒れている。
このように、撮像画像に、置去り物体である人物５１の時系列画像５４を重畳すると、物体出現時点以降の置去り物体（人物５１）の状態の変化をユーザに対して視覚的に分かりやすく表示することができる。図４（Ｂ）の例では、人物５１は４分５０秒の時点までは立っていたが、５分００秒の時点では倒れていたことが分かる。これにより、監視員は、人物５１が倒れる前の状態や人物５１が倒れた時点を把握することが可能となる。なお、図４の例では、経過情報が、物体出現時点以降の置去り物体の時系列画像である場合について説明したが、経過情報は、物体出現時点以後の所定時点からの経過時間であってもよい。また、経過情報は、置去り物体が検出された時点（またはそれ以後の所定時点）からの経過時間であってもよい。
なお、人物５１の時系列画像５４の表示位置は枠画像５３内に限定されるものではなく、例えば、報知画像中の他の位置や別の画面に表示してもよい。また、時系列画像５４の経過時間の表示位置または表示方法も様々であってよい。また、監視員が時系列画像５４を表示する時点は、警報発報時点よりも前の時点であってもかまわない。例えば、人物５１が倒れている図４（Ｂ）の時点で、時系列画像５４を表示するようにしてもよい。このようにすると、人物５１の状態変化を警報発報時点よりも早い時点で把握することができるので、より早く対応することが可能となる。
図５は、経過情報が、物体出現時点からの経過時間であり、経過時間を枠画像の色の変化により示した報知画像の例を示す図である。この場合、報知画像生成部１３は、置去り物体を取り囲む枠画像を撮像画像に重畳し、枠画像の色を経過時間に応じて変更する。図５の例では、経過時間に応じて、枠画像の色を青色、黄色、赤色の順に変更している。
図５の例では、置去り物体としてバック６１が検出されており、バック６１を取り囲む枠画像６２が撮像画像に重畳されている。図５の例では、時間が経過するに従って、枠画像６２の色を、青色（図５（Ａ）参照）、黄色（図５（Ｂ）参照）、赤色（図５（Ｃ）参照）の順に変更している。図５（Ａ）は、置去り物体であるバック６１の物体出現時点から所定時間経過した時点までの期間の報知画像であり、図５（Ｂ）は、図５（Ａ）の時点から所定時間経過した時点までの期間の報知画像であり、図５（Ｃ）は、図５（Ｂ）の時点から所定時間経過した時点までの期間の報知画像である。この例では、図５（Ｃ）の時点で警報が発報されるように設定されており、枠画像６２を赤色に変更することによって警報の発報が行われる。枠画像６２の色を変更する時間間隔は任意に設定可能である。また、経過時間に応じて変更する枠画像６２の色も任意に設定可能である。さらに、枠画像６２の色だけでなく、経過時間に応じて、枠画像６２の形状や明るさ等を変更したり、点滅させたりしてもよい。
このように、枠画像の色を経過時間に応じて変更すると、置去り物体である紙袋４１の物体出現時点からの経過時間をユーザに対して視覚的に分かりやすく表示することができる。なお、図５の例では、経過情報が、物体出現時点からの経過時間である場合について説明したが、経過情報は、物体出現時点以後の所定時点からの経過時間であってもよい。また、経過情報は、置去り物体が検出された時点（またはそれ以後の所定時点）からの経過時間であってもよい。
次に、図１に示した本発明の第１実施形態に係る置去り物体監視システム１の置去り物体監視装置３での処理の流れを、図６のフロー図を参照して説明する。
まず、画像取得部１１が、撮像装置２から撮像画像を取得し、画像処理部１２および報知画像生成部１３に入力する（ステップＳＴ１０１）。続いて、物体追跡部２１が、撮像画像から監視領域内に出現した出現物体（図２（Ａ）、図２（Ｂ）参照）の検出を行う（ステップＳＴ１０２）。出現物体が検出された場合（ステップＳＴ１０２：Ｙｅｓ）は、ステップＳＴ１０３に進み、出現物体が検出されなかった場合（ステップＳＴ１０２：Ｎｏ）は、ステップＳＴ１０１に戻る。
ステップＳＴ１０３では、物体追跡部２１が、検出された出現物体毎に、該出現物体の検出以降の撮像画像間で追跡する。続くステップＳＴ１０４では、置去り物体検出部２２が、物体追跡部２１による出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない出現物体を置去り物体として検出する。置去り物体が検出された場合（ステップＳＴ１０４：Ｙｅｓ）は、ステップＳＴ１０５に進み、置去り物体が検出されなかった場合（ステップＳＴ１０４：Ｎｏ）は、ステップＳＴ１０１に戻る。
ステップＳＴ１０５では、経過情報生成部２３が、物体追跡部２１による出現物体毎の追跡結果に基づき、物体出現時点より後の置去り物体の経過情報を生成する。上述したように、経過情報としては、物体出現時点以後の所定時点からの経過時間、置去り物体が検出された時点以後の所定時点からの経過時間、物体出現時点以後の所定時点以降の置去り物体の時系列画像が挙げられる。
次に、ステップＳＴ１０６では、報知画像生成部１３が、経過情報生成部２３で生成された経過情報を撮像画像に重畳して報知画像（図３〜図５参照）を生成する。また、報知画像生成部１３は、出現物体を取り囲む枠画像を報知画像にさらに重畳する。生成された報知画像は、表示装置４に出力される。
そして、ステップＳＴ１０７では、置去り物体が検出されてから予め定められた時間が経過すると、置去り物体監視装置３は、表示装置４または図示しない発報装置を介して警報の発報を行う。
以上のように、この第１実施形態によれば、物体出現時点より後の置去り物体の経過情報を撮像画像に重畳して報知画像を生成することができるので、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能となる。また、置去り物体の経過情報をユーザに対して感覚的に分かりやすく表示することが可能となる。
（第２実施形態）
次に、本発明の第２の実施形態に係る置去り物体監視システム１について、図７〜１１を参照して説明する。この第２実施形態に係る置去り物体監視装置３は、画像層生成部２４と、背景画像生成部２５とをさらに備えている点が、図１に示した第１実施形態に係る置去り物体監視装置３と異なる。他の点は上述した第１実施形態と同じであるので、同一の符号を付してその説明は省略する。
画像層生成部２４は、監視領域内に出現物体が複数検出された場合に、検出された出現物体毎に該出現物体の画像を含む画像層を生成する。具体的には、撮像画像中の局所領域の特徴量レベルに基づいて複数の出現物体をそれぞれ識別し、識別された出現物体毎に画像層を生成する。また、出現物体が置去り物体であり、その背後に背景物体が存在する場合は、その背景物体の画像を含む画像層も生成する。なお、背景物体の画像層の生成は必須ではない。
図８は、時系列の複数の撮像画像（撮像フレーム）中の局所領域の特徴量レベルを示したグラフである。図８の例では、特徴量レベルに応じて、背景物体と、出現物体Ａと、出現物体Ｂとが識別されている。画像層生成部２４は、このようにして識別された物体毎に画像層を生成する。各画像層は、背景画像から各物体を切り出すことにより生成される。
図９（Ａ）は、図８のグラフにおけるｔ１の時点での特徴量レベルに基づいて生成された画像層である。この図９（Ａ）の例では、図８の出現物体Ａは置去り物体であり、置去り物体（出現物体Ａ）としてバッグ７１が検出されている。また、バッグ７１はベンチ７２の上に置かれており、置去り物体であるバッグ７１の背景物体としてベンチ７２が検出されている。画像層生成部２４は、図９（Ａ）の右側に示すように、背景物体であるベンチ７２の画像を含む画像層Ｌ１と、置去り物体（出現物体Ａ）であるバッグ７１の画像を含む画像層Ｌ２とを生成する。
図９（Ｂ）は、図８のグラフにおけるｔ２の時点での特徴量レベルに基づいて生成された画像層である。この図９（Ｂ）の例では、図８の出現物体Ｂとして人物７３が検出されている。この人物７３は画像中を左から右へ移動中であり、このｔ２の時点ではバッグ７１およびベンチ７２の前に位置している。すなわち、このｔ２の時点では、バッグ７１およびベンチ７２は、人物７３の背後に隠れている。画像層生成部２４は、図９（Ｂ）の右側に示すように、出現物体Ｂである人物７３の画像を含む画像層Ｌ３を生成する。
背景画像生成部２５は、撮像画像から出現物体を除去した背景画像を生成する。図１０（Ａ）は、背景画像生成部２５で生成された背景画像を示す図である。具体的には、最初の出現物体が検出された時点（図９の例では、出現物体Ａが検出されたｔ１の時点）の撮像画像と、それ以前の時点の撮像画像との差分に基づいて出現物体の画像領域を前景画像として抽出する。そして、最初の出現物体が検出された時点の撮像画像から、上記の前景画像を除去することにより背景画像を生成する。あるいは、事前に撮像しておいた、出現物体が存在しない状況での監視領域の画像を背景画像として用いてもよい。
報知画像生成部１３は、図１０（Ｂ）に示すように、背景画像（図１０（Ａ）参照）に、画像層生成部２４で生成された画像層Ｌ１〜Ｌ３を、背後側からその検出順に重畳する。画像層Ｌ１およびＬ２は、それらの画像層中に含まれる物体の少なくとも一部が見えるように重畳される。図１０（Ｂ）の例では、各画像層Ｌ１〜Ｌ３は、互いに左右方向に所定距離だけ位置をずらして重畳されている。これにより、人物７３の背後に隠れたバッグ７１およびベンチ７２を画像中に表示することができる。各画像層Ｌ１〜Ｌ３の位置をずらす方向や距離は任意に設定してよい。なお、そのまま重畳しても画像層Ｌ１およびＬ２に含まれる物体の少なくとも一部が見える場合は、各画像層Ｌ１〜Ｌ３の位置を互いにずらさなくてもよい。また、各画像層Ｌ１〜Ｌ３が互いに重畳されていることを監視員が認識することができれば、各画像層Ｌ１〜Ｌ３はそのまま重畳してもよい。この場合は、例えば、画像枠に付加したタブ（図示せず）や、他の任意の操作キー（図示せず）等の画像層の重畳順を変更する手段を設け、該手段を操作して背後側の画像層を表示するようにするとよい。
また、報知画像生成部１３は、図１０（Ｃ）に示すように、背景画像に各画像層を重畳した画像（図１０（Ｂ）参照）に、経過情報生成部２３で生成された経過情報および枠画像をさらに重畳して報知画像を生成する。図１０（Ｃ）の例では、経過情報として、「６：１８」という経過時間画像７４と、人物７３、バッグ７１およびベンチ７２をそれぞれ取り囲む枠画像７５〜７７が重畳されている。報知画像生成部１３で生成された報知画像は、表示装置４に出力される。
次に、図６に示した本発明の第２実施形態に係る置去り物体監視システム１の置去り物体監視装置３での処理の流れを、図１１のフロー図を参照して説明する。
この第２実施形態に係る置去り物体監視装置３での処理は、図６を参照して説明した第１実施形態に係る置去り物体監視装置３の処理のステップＳＴ１０５とステップＳＴ１０６との間にステップＳＴ２０１〜２０４が追加された点が、第１実施形態と異なる。以下、主に、追加されたステップＳＴ２０１〜２０４について説明する。
ステップＳＴ１０５で監視領域内に出現物体が検出された場合、ステップＳＴ１０５に続くステップＳＴＳＴ２０１では、監視領域内に出現物体が複数検出されたか否かを判断する。出現物体が複数検出された場合（ステップＳＴ２０１：Ｙｅｓ）は、ステップＳＴ２０２に進み、出現物体が複数検出されなかった場合（ステップＳＴ２０１：Ｎｏ）は、ステップＳＴ１０６に進む。
ステップＳＴＳＴ２０２では、画像層生成部２４が、出現物体毎に、該出現物体の画像を含む画像層を生成する。また、出現物体が置去り物体であり、その背後に背景物体が存在する場合は、その背景物体の画像を含む画像層も生成する（図９（Ａ）、図９（Ｂ）参照）。続く、ステップＳＴＳＴ２０３では、画像層生成部２４が、背景画像（図１０（Ａ）参照）を生成する。
次のステップＳＴ２０４では、報知画像生成部１３が、背景画像生成部２５で生成された背景画像に、画像層生成部２４で生成された各画像層を、該各画像層に含まれる物体の少なくとも一部が見えるように重畳する（図１０（Ｂ）参照）。そして、ステップＳＴ２０４に続くステップＳＴ１０６では、報知画像生成部１３が、背景画像に各画像層を重畳した画像に、経過情報生成部２３で生成された経過情報および枠画像をさらに重畳して報知画像（図１０（Ｃ）参照）を生成し、表示装置４に出力する。
以上のように、この第２実施形態によれば、監視領域内に出現物体が複数検出された場合に撮像画像中に含まれる各出現物体および背景物体を画像中に表示することができるので、置去り物体が他の物体の背後に隠れた場合でも、置去り物体を画像中に表示することが可能となる。また、置去り物体の背後に位置する背景物体も画像中に表示することが可能となる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る置去り監視装置およびこれを備えた置去り監視システムならびに置去り監視方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本発明に係る置去り監視装置およびこれを備えた置去り監視システムならびに置去り監視方法は、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能な置去り監視装置およびこれを備えた置去り監視システムならびに置去り監視方法等として有用である。
１ 置去り物体監視システム
２ 撮像装置
３ 置去り物体監視装置
４ 表示装置（報知装置）
１１ 画像取得部
１２ 画像処理部
１３ 報知画像生成部
２１ 物体追跡部
２２ 置去り物体検出部
２３ 経過情報生成部
２４ 画像層生成部
２５ 背景画像生成部

Claims (8)

  1. 撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置であって、
    前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、
    前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡する物体追跡部と、
    前記物体追跡部による前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出する置去り物体検出部と、
    前記物体追跡部による前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成する経過情報生成部と、
    前記経過情報を前記撮像画像に重畳して報知画像を生成する報知画像生成部と
    を備えたことを特徴とする置去り物体監視装置。
  2. 前記経過情報が、前記監視領域内への出現後の所定時点からの経過時間を含むことを特徴とする請求項１に記載の置去り物体監視装置。
  3. 前記経過情報が、前記監視領域内への出現後の所定時点以降の前記置去り物体の時系列画像を含むことを特徴とする請求項１または請求項２に記載の置去り物体監視装置。
  4. 前記報知画像生成部は、前記出現物体が検出された場合に、該出現物体を取り囲む枠画像を前記報知画像にさらに重畳することを特徴とする請求項１ないし請求項３のいずれかに記載の置去り物体監視装置。
  5. 前記報知画像生成部は、前記枠画像の色を、前記置去り物体の前記監視領域内への出現後の所定時点からの経過時間に応じて変更することを特徴とする請求項４に記載の置去り物体監視装置。
  6. 前記出現物体が複数検出された場合に、前記出現物体毎に該出現物体の画像を含む画像層を生成する画像層生成部と、
    前記撮像画像から前記出現物体を除去した背景画像を生成する背景画像生成部とをさらに備え、
    前記報知画像生成部は、前記背景画像に前記各画像層を該各画像層に含まれる前記出現物体の検出順に重畳することを特徴とする請求項１ないし請求項５のいずれかに記載の置去り物体監視装置。
  7. 請求項１ないし請求項６のいずれかに記載の置去り物体監視装置と、
    監視領域を撮像するための撮像装置と、
    前記置去り物体監視装置で生成された報知画像を表示する表示装置と
    を備えた置去り物体監視システム。
  8. 撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視方法であって、
    前記撮像装置により撮像された前記監視領域の撮像画像を取得するステップと、
    前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡するステップと、
    前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出するステップと、
    前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成するステップと、
    前記経過情報を前記撮像画像に重畳して報知画像を生成するステップと
    を有することを特徴とする置去り物体監視方法。
JP2016011835A 2016-01-25 2016-01-25 置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法 Active JP6390860B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016011835A JP6390860B2 (ja) 2016-01-25 2016-01-25 置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法
US16/070,330 US10740906B2 (en) 2016-01-25 2016-11-07 Unattended object monitoring device, unattended object monitoring system equipped with same, and unattended object monitoring method
DE112016006300.8T DE112016006300T5 (de) 2016-01-25 2016-11-07 Vorrichtung zur Überwachung unbeaufsichtigter Objekte, mit derselben ausgestattetes System zur Überwachung unbeaufsichtigter Objekte und Verfahren zur Überwachung unbeaufsichtigter Objekte
CN201680079200.8A CN108476304B (zh) 2016-01-25 2016-11-07 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视系统以及丢弃物体监视方法
GB1810066.9A GB2560477B (en) 2016-01-25 2016-11-07 Unattended object monitoring device, unattended object monitoring system equipped with same, and unattended object monitoring method
PCT/JP2016/004817 WO2017130252A1 (ja) 2016-01-25 2016-11-07 置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016011835A JP6390860B2 (ja) 2016-01-25 2016-01-25 置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法

Publications (2)

Publication Number Publication Date
JP2017135476A true JP2017135476A (ja) 2017-08-03
JP6390860B2 JP6390860B2 (ja) 2018-09-19

Family

ID=59397579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016011835A Active JP6390860B2 (ja) 2016-01-25 2016-01-25 置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法

Country Status (6)

Country Link
US (1) US10740906B2 (ja)
JP (1) JP6390860B2 (ja)
CN (1) CN108476304B (ja)
DE (1) DE112016006300T5 (ja)
GB (1) GB2560477B (ja)
WO (1) WO2017130252A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886746A (zh) * 2016-12-27 2017-06-23 浙江宇视科技有限公司 一种识别方法及后端服务器
JP2019169931A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2019185435A (ja) * 2018-04-11 2019-10-24 パナソニック株式会社 置き去りカート検知システム及び置き去りカート検知方法
JP2021064364A (ja) * 2019-10-16 2021-04-22 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ 情報認識システムおよびその方法
JP7223472B1 (ja) 2018-05-24 2023-02-16 株式会社ユピテル システム及びプログラム等

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6241796B2 (ja) * 2015-12-25 2017-12-06 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
EP3416361B1 (en) * 2016-02-12 2022-08-31 Ricoh Company, Ltd. Image processing device, image processing system and image processing method
SG11201909105TA (en) 2017-03-30 2019-11-28 Nec Corp Information processing apparatus, control method, and program
SG10201807675TA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd Duration and Potential Region of Interest for Suspicious Activities
CN109660757A (zh) * 2018-11-19 2019-04-19 珠海格力电器股份有限公司 安全监护方法、装置、空气净化器、防护栏及存储介质
US11450044B2 (en) * 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality
CN112560655A (zh) * 2020-12-10 2021-03-26 瓴盛科技有限公司 无主物品检测方法和系统
JP7312868B2 (ja) 2020-12-22 2023-07-21 楽天グループ株式会社 監視システム、及び無人走行体
CN117152751A (zh) * 2023-10-30 2023-12-01 西南石油大学 一种图像分割方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258704A (ja) * 2009-04-23 2010-11-11 Canon Inc 再生装置及び再生方法
JP2011039584A (ja) * 2009-08-06 2011-02-24 Secom Co Ltd 不審物検知装置
JP2011055270A (ja) * 2009-09-02 2011-03-17 Canon Inc 情報送信装置及び情報送信方法
JP2011087253A (ja) * 2009-10-19 2011-04-28 Canon Inc 撮像装置、情報処理装置及び情報処理方法
JP2011091705A (ja) * 2009-10-23 2011-05-06 Canon Inc 画像処理装置、および画像処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01245395A (ja) 1988-03-28 1989-09-29 Toshiba Corp 画像監視システム
CN100508555C (zh) * 2007-03-23 2009-07-01 北京中星微电子有限公司 一种静止物体检测的方法及系统
CN100504942C (zh) * 2007-07-03 2009-06-24 北京智安邦科技有限公司 智能视频监控设备模组和系统及其监控方法
US8611590B2 (en) * 2008-12-23 2013-12-17 Canon Kabushiki Kaisha Video object fragmentation detection and management
CN101777183A (zh) * 2009-01-13 2010-07-14 北京中星微电子有限公司 检测静止物体的方法、装置及检测遗留物体的方法、装置
CN101552910B (zh) * 2009-03-30 2011-04-06 浙江工业大学 基于全方位计算机视觉的遗留物检测装置
JP5203319B2 (ja) 2009-08-25 2013-06-05 セコム株式会社 置き去り監視装置
US9226037B2 (en) * 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
JP5691807B2 (ja) 2011-04-28 2015-04-01 サクサ株式会社 置き去り又は持ち去り検知システム
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
CN103605983B (zh) * 2013-10-30 2017-01-25 天津大学 一种遗留物检测和跟踪方法
CN103729858B (zh) * 2013-12-13 2016-06-15 广州中国科学院先进技术研究所 一种视频监控系统中遗留物品的检测方法
CN104881643B (zh) * 2015-05-22 2018-06-12 深圳市赛为智能股份有限公司 一种快速的遗留物检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258704A (ja) * 2009-04-23 2010-11-11 Canon Inc 再生装置及び再生方法
JP2011039584A (ja) * 2009-08-06 2011-02-24 Secom Co Ltd 不審物検知装置
JP2011055270A (ja) * 2009-09-02 2011-03-17 Canon Inc 情報送信装置及び情報送信方法
JP2011087253A (ja) * 2009-10-19 2011-04-28 Canon Inc 撮像装置、情報処理装置及び情報処理方法
JP2011091705A (ja) * 2009-10-23 2011-05-06 Canon Inc 画像処理装置、および画像処理方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886746A (zh) * 2016-12-27 2017-06-23 浙江宇视科技有限公司 一种识别方法及后端服务器
CN106886746B (zh) * 2016-12-27 2020-07-28 浙江宇视科技有限公司 一种识别方法及后端服务器
JP2019169931A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP7170409B2 (ja) 2018-03-26 2022-11-14 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2019185435A (ja) * 2018-04-11 2019-10-24 パナソニック株式会社 置き去りカート検知システム及び置き去りカート検知方法
JP7131944B2 (ja) 2018-04-11 2022-09-06 パナソニックホールディングス株式会社 置き去りカート検知システム及び置き去りカート検知方法
JP7223472B1 (ja) 2018-05-24 2023-02-16 株式会社ユピテル システム及びプログラム等
JP2023026427A (ja) * 2018-05-24 2023-02-24 株式会社ユピテル システム及びプログラム等
JP2021064364A (ja) * 2019-10-16 2021-04-22 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ 情報認識システムおよびその方法
JP7075460B2 (ja) 2019-10-16 2022-05-25 清華大学 情報認識システムおよびその方法

Also Published As

Publication number Publication date
JP6390860B2 (ja) 2018-09-19
WO2017130252A1 (ja) 2017-08-03
US10740906B2 (en) 2020-08-11
CN108476304A (zh) 2018-08-31
GB201810066D0 (en) 2018-08-08
DE112016006300T5 (de) 2018-10-18
US20190019296A1 (en) 2019-01-17
GB2560477B (en) 2022-01-12
CN108476304B (zh) 2020-08-11
GB2560477A (en) 2018-09-12

Similar Documents

Publication Publication Date Title
JP6390860B2 (ja) 置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法
JP6241796B2 (ja) 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP6532043B2 (ja) 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP6674584B2 (ja) 映像監視システム
WO2018096787A1 (ja) 人物行動監視装置および人物行動監視システム
EP3016382A1 (en) Monitoring methods and devices
JP2008104130A (ja) 映像監視装置および映像監視システム
US20210090611A1 (en) Information processing apparatus, control method, and program
JP5088463B2 (ja) 監視システム
JP5370009B2 (ja) 監視システム
JP2009239507A (ja) 監視システム
JP2012174223A (ja) 人物監視装置、人物監視方法、及びコンピュータプログラム
KR101524922B1 (ko) 비상 알림을 위한 장치, 방법 및, 기록 매체
JP2007274656A (ja) 映像監視装置及び方法
JP2012212238A (ja) 物品検出装置および静止人物検出装置
JP5405365B2 (ja) 画像監視装置および監視システム
JP2019161362A (ja) 監視システム
JP6664078B2 (ja) ３次元侵入検知システムおよび３次元侵入検知方法
JP6807247B2 (ja) 監視システム、及び監視方法
WO2021205831A1 (ja) 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP2015046811A (ja) 画像センサ
JP2020074506A (ja) 人物行動監視装置および人物行動監視システム
JP5416421B2 (ja) 監視映像検索装置、監視映像検索プログラム及び監視映像検索方法
JP6863390B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6937666B2 (ja) 施設管理装置、施設管理システム及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180807

R151 Written notification of patent or utility model registration

Ref document number: 6390860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151