JP2022033600A - 装置、システム、方法およびプログラム - Google Patents

装置、システム、方法およびプログラム Download PDF

Info

Publication number
JP2022033600A
JP2022033600A JP2020137583A JP2020137583A JP2022033600A JP 2022033600 A JP2022033600 A JP 2022033600A JP 2020137583 A JP2020137583 A JP 2020137583A JP 2020137583 A JP2020137583 A JP 2020137583A JP 2022033600 A JP2022033600 A JP 2022033600A
Authority
JP
Japan
Prior art keywords
image data
surveillance camera
unit
surveillance
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020137583A
Other languages
English (en)
Other versions
JP7415848B2 (ja
Inventor
修 小嶋
Osamu Kojima
篤士 和田
Atsushi Wada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2020137583A priority Critical patent/JP7415848B2/ja
Priority to US17/389,369 priority patent/US11657515B2/en
Priority to EP21189266.6A priority patent/EP3958228B1/en
Priority to CN202110936321.2A priority patent/CN114079752A/zh
Publication of JP2022033600A publication Critical patent/JP2022033600A/ja
Application granted granted Critical
Publication of JP7415848B2 publication Critical patent/JP7415848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19669Event triggers storage or change of storage policy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Emergency Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】複数のカメラによって、対象被写体を追跡する装置、システム、方法およびプログラムを提供する。【解決手段】警備システム1において、装置は、複数の監視カメラにより撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラにより撮影された画像データの間での当該被写体の移動履歴を複数記憶する移動履歴記憶部と、オペレータの操作に応じて、複数の監視カメラのうち追跡の対象被写体を撮影した一の監視カメラと撮影時刻とを特定する特定部と、移動履歴と特定部による特定結果とに基づいて、複数の監視カメラのうち一の監視カメラとは異なり、対象被写体を撮影する少なくとも1つの他の監視カメラと、他の監視カメラが対象被写体を撮影する推定時刻とを推定する推定部と、を備える。【選択図】図1

Description

本発明は、装置、システム、方法およびプログラムに関する。
従来、監視カメラを用いた種々の警備システムが提案されている(例えば、特許文献1参照)。
[特許文献1] 特開2015-162232号公報
本発明の第1の態様においては、装置が提供される。装置は、複数の監視カメラにより撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラにより撮影された画像データの間での当該被写体の移動履歴を複数記憶する第1記憶部を備えてよい。装置は、オペレータの操作に応じて、複数の監視カメラのうち追跡の対象被写体を撮影した一の監視カメラと、撮影時刻とを特定する特定部を備えてよい。装置は、移動履歴と特定部による特定結果とに基づいて、複数の監視カメラのうち一の監視カメラとは異なり、対象被写体を撮影する少なくとも1つの他の監視カメラと、当該他の監視カメラが対象被写体を撮影する推定時刻とを推定する推定部を備えてよい。
装置は、他の監視カメラが推定時刻に撮影した画像データ、または、一の監視カメラが撮影時刻に撮影した画像データのうちの少なくとも一方を記憶する第2記憶部を備えてよい。
装置は、他の監視カメラが推定時刻に撮影した画像データ、または、一の監視カメラが撮影時刻に撮影した画像データのうちの少なくとも一方を予め設定された送信先に送信する第1送信部を備えてよい。
第2記憶部は、他の監視カメラが推定時刻に撮影した画像データ、および、一の監視カメラが撮影時刻に撮影した画像データを記憶してよい。装置は、画像データを解析する画像解析部を備えてよい。装置は、他の監視カメラが推定時刻に撮影した画像データと、一の監視カメラが撮影時刻に撮影した画像データとのそれぞれから画像解析部により取得された対象被写体の特徴を一纏めにして出力する第1出力部を備えてよい。
第2記憶部は、他の監視カメラが推定時刻に撮影した画像データ、および、一の監視カメラが撮影時刻に撮影した画像データを記憶してよい。装置は、画像データを解析する画像解析部を備えてよい。装置は、他の監視カメラが推定時刻に撮影した画像データに対象被写体が写っていない場合に、アラート信号を出力する第2出力部を備えてよい。
装置は、他の監視カメラが推定時刻に撮影した画像データの位置情報、または、一の監視カメラが撮影時刻に撮影した画像データの位置情報のうちの少なくとも一方を予め設定された送信先に送信する第2送信部を備えてよい。
特定部は、各監視カメラの識別情報のうち、オペレータから入力される識別情報に対応する監視カメラを一の監視カメラとして特定し、オペレータから入力される時刻を撮影時刻として特定してよい。
装置は、各監視カメラから、当該監視カメラにより撮影された画像データを取得する取得部を備えてよい。特定部は、オペレータが画像データ内で対象被写体を指定することに応じて、当該画像データを撮影した監視カメラを一の監視カメラとして特定し、当該画像データが撮影された時刻を撮影時刻として特定してよい。
特定部は、オペレータの操作に応じて、対象被写体の移動方向または移動速度の少なくとも一方をさらに特定してよい。
推定部は、複数の移動履歴に対して統計処理を行って他の監視カメラおよび推定時刻を推定してよい。
推定部は、複数の移動履歴を含む学習データを用いて学習処理が行われたモデルであって、特定部による特定結果が入力されることに応じて他の監視カメラの識別情報および推定時刻を出力するモデルを用いて、他の監視カメラの識別情報および推定時刻を推定してよい。
本発明の第2の態様においては、システムが提供される。システムは、第1の態様の装置を備えてよい。システムは、別々の撮影領域の撮影を行う複数の監視カメラを備えてよい。
本発明の第3の態様においては、方法が提供される。方法は、複数の監視カメラにより撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラにより撮影された画像データの間での当該被写体の移動履歴を複数記憶する記憶段階を備えてよい。方法は、オペレータの操作に応じて、複数の監視カメラのうち追跡の対象被写体を撮影した一の監視カメラと、撮影時刻とを特定する特定段階を備えてよい。方法は、移動履歴と特定段階による特定結果とに基づいて、複数の監視カメラのうち一の監視カメラとは異なり、対象被写体を撮影する少なくとも1つの他の監視カメラと、当該他の監視カメラが対象被写体を撮影する推定時刻とを推定する推定段階を備えてよい。
本発明の第4の態様においては、プログラムが提供される。プログラムは、コンピュータを、複数の監視カメラにより撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラにより撮影された画像データの間での当該被写体の移動履歴を複数記憶する第1記憶部として機能させてよい。プログラムは、コンピュータを、オペレータの操作に応じて、複数の監視カメラのうち追跡の対象被写体を撮影した一の監視カメラと、撮影時刻とを特定する特定部として機能させてよい。プログラムは、コンピュータを、移動履歴と特定部による特定結果とに基づいて、複数の監視カメラのうち一の監視カメラとは異なり、対象被写体を撮影する少なくとも1つの他の監視カメラと、当該他の監視カメラが対象被写体を撮影する推定時刻とを推定する推定部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る警備システム1を示す。 装置4の動作を示す。 変形例に係る警備システム1Aを示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[1.警備システム1]
図1は、本実施形態に係る警備システム1を示す。警備システム1は、複数の監視カメラ2と、装置4と、ファイルサーバ5とを備える。
ここで本実施形態では一例として、警備システム1の各構成のうち、各監視カメラ2と装置4とは直接接続されてよく、装置4と、ファイルサーバ5とは、通信ネットワーク10を介して接続されてよい。通信ネットワーク10は、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成されてよい。通信ネットワーク10は、有線および無線の少なくとも一方による接続ポイントを含んでよい。通信ネットワーク10は、インターネットなどの公衆回線から分離された専用回線により実現されてもよい。
[1.1.監視カメラ2]
複数の監視カメラ2は、それぞれ別々の撮影領域の撮影を行う。各監視カメラ2は、常時、撮影を行って動画像データを生成してよい。一例として、監視カメラ2は30f/sで撮影を行ってよい。監視カメラ2は可視光のカメラであってもよいし、赤外線や紫外線(一例としてX線)のカメラであってもよい。監視カメラ2は、撮影した画像データを装置4に供給可能であってよい。監視カメラ2は、撮影した画像データを内部の記憶領域(図示せず)に記憶させてもよい。
なお、複数の監視カメラ2は、被写体が移動し得る経路に沿って配置されてよい。被写体は人であってもよいし、野生動物や家畜などの動物であってもよいし、自動車や自転車などの車両であってもよい。経路は、被写体が一方向のみへ移動可能な経路でもよいし、両方向へ移動可能な経路でもよい。経路は、分岐点や合流点を含んでよい。
例えば、各監視カメラ2は、道路や駐車場に配置されてもよいし、設備の出入り口や通路などに配置されてもよい。設備は、プラントでもよいし、学校や住宅、駅、空港、博物館、病院、店舗(一例として飲食店)などであってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。設備の出入り口とは、設備の内側と外側との境界に設けられた出入り口であってもよいし、設備内の一の領域と他の領域との境界に設けられた出入り口であってもよい。
[1.2.装置4]
装置4は、複数の監視カメラ2と協働して設備の警備を支援する。装置4は、移動履歴記憶部40と、特定部41と、推定部42と、取得部43と、画像記憶部44と、送信部46と、画像解析部47と、出力部48とを有する。
[1.2.1.移動履歴記憶部40]
移動履歴記憶部40は、第1記憶部の一例であり、複数の監視カメラ2により撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラ2により撮影された画像データの間での当該被写体の移動履歴を複数記憶する。
ここで、各監視カメラ2により撮影された画像データ間での被写体の移動履歴とは、各監視カメラ2の画像データのうち、当該被写体を写した画像データの遷移履歴であってよい。本実施形態では一例として、画像データ間での被写体の移動履歴は、被写体ごとに当該被写体を写した画像データの撮影時刻と、当該画像データを撮影した監視カメラ2の識別情報(カメラIDとも称する)との対応データを時系列順に纏めたものであってよい。
[1.2.2.特定部41]
特定部41は、オペレータの操作に応じて、複数の監視カメラ2のうち追跡の対象被写体を撮影した一の監視カメラ2(被特定監視カメラ2Aとも称する)と、撮影時刻とを特定する。
本実施形態では一例として特定部41は、各監視カメラ2のカメラIDのうち、オペレータから入力されるカメラIDに対応する監視カメラ2を被特定監視カメラ2Aとして特定してよい。また、特定部41は、オペレータから入力される時刻を、被特定監視カメラ2Aによる対象被写体の撮影時刻として特定してよい。なお、特定部41は、オペレータにより操作されるタッチパネルやキーボード、マウスなどの入力装置(図示せず)を有してもよいし、入力装置に外部接続されてもよい。
特定部41は、特定結果を推定部42に供給してよい。なお、追跡の対象被写体は、何れかの監視カメラ2で撮影された任意の被写体であってよく、監視カメラ2の画像データを用いて追跡される対象の被写体であってよい。
[1.2.3.推定部42]
推定部42は、移動履歴記憶部40に記憶された移動履歴と、特定部41による特定結果とに基づいて、複数の監視カメラ2のうち被特定監視カメラ2Aとは異なり、対象被写体を撮影する少なくとも1つの他の監視カメラ2(被推定監視カメラ2Bとも称する)と、当該被推定監視カメラ2Bが対象被写体を撮影する推定時刻とを推定する。
なお、被推定監視カメラ2Bが対象被写体を撮影する推定時刻は、推定部42による推定のタイミングよりも前の時刻であってよい。この場合には、対象被写体を撮影する監視カメラとは、対象被写体を撮影した監視カメラであってよく、対象被写体を撮影する推定時刻とは、対象被写体を撮影した撮影時刻であってよい。
また、被推定監視カメラ2Bが対象被写体を撮影したと推定される推定時刻は、被特定監視カメラ2Aが対象被写体を撮影した撮影時刻とは異なる時刻であってよい。一例として、推定時刻は、撮影時刻より後の時刻であってよい。推定部42は、被推定監視カメラ2Bと推定時刻との組み合わせを複数推定する場合には、2以上の組み合わせの間で推定時刻が異なってもよい。
推定部42は、推定結果(本実施形態では一例として被推定監視カメラ2BのカメラID、および、推定時刻)を取得部43、送信部46および画像解析部47に供給してよい。
[1.2.4.取得部43]
取得部43は、被推定監視カメラ2Bから推定時刻に撮影された画像データを取得する。推定部42により被推定監視カメラ2Bおよび推定時刻の組み合わせが複数推定されている場合には、取得部43は、各組み合わせにおける被推定監視カメラ2Bから、当該組み合わせにおける推定時刻に撮影された画像データを取得してよい。
また、取得部43は、被特定監視カメラ2Aから撮影時刻に撮影された画像データを取得する。但し、取得部43は被推定監視カメラ2Bおよび非特定監視カメラ2Aの一方のみから画像データを取得してもよい。取得部43は、取得した画像データを画像記憶部44に供給してよい。
[1.2.5.画像記憶部44]
画像記憶部44は、被推定監視カメラ2Bが推定時刻に撮影した画像データ、または、被特定監視カメラ2Aが撮影時刻に撮影した画像データのうちの少なくとも一方を記憶する。本実施形態では一例として、画像記憶部44は、被推定監視カメラ2Bが撮影した画像データおよび非特定監視カメラ2が撮影した画像データの両方を記憶してよい。推定部42により被推定監視カメラ2Bおよび推定時刻の組み合わせが複数推定されている場合には、画像記憶部44は、各組み合わせにおける推定監視カメラ2Bが当該組み合わせにおける推定時刻に撮影した画像データを記憶してよい。
[1.2.6.送信部46]
送信部46は、第1送信部の一例であり、被推定監視カメラ2Bが推定時刻に撮影した画像データ、または、被特定監視カメラ2Aが撮影時刻に撮影した画像データのうちの少なくとも一方を予め設定された送信先に送信する。推定部42により被推定監視カメラ2Bおよび推定時刻の組み合わせが複数推定されている場合には、送信部46は、各組み合わせにおける推定監視カメラ2Bにより当該組み合わせにおける推定時刻に撮影された画像データを送信してよい。
送信先は、他の機器からアクセス可能なファイルサーバ5であってよい。但し、送信先はこれに限らず、監視カメラ2を設置した警備会社であってもよいし、設備のオーナーや管理会社であってもよいし、設備を含む地域の警察であってもよい。
[1.2.7.画像解析部47]
画像解析部47は、画像データを解析する。画像解析部47は、被推定監視カメラ2Bが推定時刻に撮影した画像データ、および、被特定監視カメラ2Aが撮影時刻に撮影した画像データのそれぞれに対して解析を行ってよい。推定部42により被推定監視カメラ2Bおよび推定時刻の組み合わせが複数推定されている場合には、画像解析部47は、各組み合わせにおける推定監視カメラ2Bが当該組み合わせにおける推定時刻に撮影した画像データを解析してよい。
画像解析部47は、解析により対象被写体の特徴を抽出してよい。対象被写体が人である場合には、その特徴は、顔や全身の特徴点の位置関係であってもよいし、瞳や皮膚、頭髪、衣服の色であってもよいし、アクセサリ(一例としてメガネやピアス、バッグ等)の色や形状などであってもよい。対象被写体が車である場合には、その特徴は車種、車の色、車両番号などであってよい。
画像解析部47は、解析結果を出力部48に供給してよい。画像解析部47は、被推定監視カメラ2Bが推定時刻に撮影した画像データに対象被写体が写っていない場合には、その旨を示す解析結果を出力部48に供給してよい。例えば、画像解析部47は、被特定監視カメラ2Aからの画像データに解析を行って対象被写体の特徴を抽出し、同じ特徴を示す被写体が被推定監視カメラ2Bからの画像データ内に存在しない場合には、被推定監視カメラ2Bからの画像データに対象被写体が写っていないと判定してよい。
[1.2.8.出力部48]
出力部48は、第1出力部の一例であり、被推定監視カメラ2Bが推定時刻に撮影した画像データと、被特定監視カメラ2Aが撮影時刻に撮影した画像データとのそれぞれから画像解析部47により取得された対象被写体の特徴を一纏めにして出力する。出力部48は、対象被写体の特徴をモニタ(図示せず)に表示してもよいし、送信部46を介して上述の送信先に送信してもよい。
これに加えて、または、これに代えて、出力部48は、第2出力部の一例であってよく、被推定監視カメラ2Bが推定時刻に撮影した画像データに対象被写体が写っていない場合に、アラート信号を出力してよい。これにより、例えば、空港などのセキュリティゲートと、その先の通路とに監視カメラ2が設置されている場合に、セキュリティゲートを通過した人が、その先の通路の画像データに写っておらず追跡できなくなったことに応じてアラート信号が出力される。出力部48は、アラート信号をモニタ(図示せず)に表示してもよいし、送信部46を介して上述の送信先に送信してもよい。
なお、アラート信号には、対象被写体に関する情報が含まれてよい。本実施形態では一例として、対象被写体に関する情報には、特定部41により特定された情報、被特定監視カメラ2Aにより撮影時刻に撮影された画像データ、または、画像解析部47により当該画像データが抽出された対象被写体の特徴の少なくとも1つが含まれてよい。
[1.3.ファイルサーバ5]
ファイルサーバ5は、装置4とは異なる他の機器(一例として監視カメラ2を設置した警備会社)からアクセス可能であり、記憶するファイルを他の機器と共有する。ファイルサーバ5は、複数の機器から同時アクセス可能であってよい。
[1.4.装置4から得られる効果]
以上の装置4によれば、オペレータの操作に応じて対象被写体を撮影した被特定監視カメラ2Aと、撮影時刻とが特定されて、移動履歴記憶部40における被写体の移動履歴と特定部41による特定結果とに基づいて対象被写体を撮影した被推定監視カメラ2Bと、撮影した推定時刻とが推定される。従って、画像データから対象被写体を探す手間を省き、対象被写体の追跡を容易化することができる。
また、被推定監視カメラ2Bが推定時刻に撮影した画像データ、または、被特定監視カメラ2Aが撮影時刻に撮影した画像データのうちの少なくとも一方が画像記憶部44に記憶されるので、移動前後の少なくとも一方の対象被写体を画像データ内で確認することができる。
また、各画像データから取得された対象被写体の特徴が一纏めにして出力されるので、単一の画像データから取得された対象被写体の特徴が出力される場合と比較して、対象被写体の多くの特徴をいっぺんに取得することができる。よって、対象被写体の追跡をいっそう容易化することができる。
また、対象被写体を撮影したと推定された画像データに対象被写体が写っていない場合にアラート信号が出力されるので、対象被写体が追跡できなくなったことを早期に検知することができる。
また、被推定監視カメラ2Bが推定時刻に撮影した画像データ、または、被特定監視カメラ2Aが撮影時刻に撮影した画像データのうちの少なくとも一方が予め設定された送信先に送信されるので、対象被写体を撮影した画像データへのアクセシビリティを高めることができる。
また、オペレータから入力されるカメラIDに対応する監視カメラ2が被特定監視カメラ2Aとして特定され、オペレータから入力される時刻が撮影時刻として特定されるので、対象被写体の写った画像データを装置4内に取り込むことなく被特定監視カメラ2Aおよび撮影時刻を特定させることができる。
[1.4.装置4の動作]
図2は、装置4の動作を示す。装置4は、ステップS11~S19の処理を行うことにより設備の警備を支援する。
ステップS11において、移動履歴記憶部40は、複数の監視カメラ2により撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラ2により撮影された画像データの間での当該被写体の移動履歴を複数記憶する。各移動履歴は、被写体ごとに当該被写体を写した画像データの撮影時刻と、当該画像データを撮影した監視カメラ2の識別情報(カメラIDとも称する)との対応データを時系列順に纏めたものであってよい。移動履歴の各対応データには、被写体の移動方向または移動速度の少なくとも一方がさらに含まれてもよい。
各移動履歴は装置4が運転を開始する前に予め各監視カメラ2により撮影された画像データに基づいて作成されていてよい。例えば、各移動履歴は、各監視カメラ2により撮影された画像データをそれぞれ画像解析して画像データ内の各被写体を検出し、被写体ごとに画像データの撮影時刻と、当該画像データを撮影した監視カメラ2のカメラIDとを纏めることで作成されてよい。本実施形態では一例として、移動履歴は装置4の外部で作成されてよい。
移動履歴の各対応データに被写体の移動方向や移動速度が含まれる場合には、各監視カメラ2により撮影された画像データをそれぞれ画像解析して移動方向や移動速度が算出され、該当のカメラIDの対応データに含められてよい。
なお、ステップS11の処理は、装置4の初回動作時にのみ行われてよく、2回目以降の動作では行われなくてもよい。
ステップS13において、特定部41は、オペレータの操作に応じて、複数の監視カメラ2のうち追跡の対象被写体を撮影した被特定監視カメラ2Aと、被特定監視カメラ2Aが対象被写体を撮影した撮影時刻とを特定する。
また、本実施形態では一例として、ステップS13の処理において特定部41は、オペレータの操作に応じて、対象被写体の移動方向または移動速度の少なくとも一方をさらに特定する。例えば、特定部41は、オペレータから入力される移動方向(一例として或る監視カメラ2の撮影領域から別の監視カメラ2の撮影領域へ向かう方向)を対象被写体の移動方向として特定してよい。また、特定部41は、オペレータから入力される移動速度の目安(一例として標準的、速い、遅いなど)から移動速度を特定してもよいし、オペレータから入力される、移動速度に関連し得る情報(一例として性別や年齢)から移動速度を特定してもよい。移動速度は幅を有する速度範囲であってよい。
ステップS15において、推定部42は、移動履歴記憶部40により記憶された移動履歴と、特定部41による特定結果とに基づいて、対象被写体を撮影した少なくとも1つの被推定監視カメラ2Bと、当該被推定監視カメラ2Bが対象被写体を撮影した推定時刻とを推定する。
推定部42は、複数の移動履歴に対して統計処理を行って被推定監視カメラ2Bおよび推定時刻を推定してよい。例えば、推定部42は、移動履歴記憶部40に記憶された複数の移動履歴(本実施形態では一例として、被写体ごとに当該被写体を写した画像データの撮影時刻と、当該画像データを撮影した監視カメラ2のカメラIDとの対応データを時系列順に纏めたもの)から、被特定監視カメラ2AのカメラIDを含む移動履歴をそれぞれ抽出してよい。抽出される移動履歴は、被特定監視カメラ2Aの撮影領域を通過した各被写体の移動履歴であってよい。
推定部42は、抽出した各移動履歴から、被特定監視カメラ2AのカメラIDを含む、カメラIDと撮影時刻との対応データを基準対応データとして特定し、基準対応データよりも後の少なくとも1つの対応データを抽出してよい。抽出される対応データは、被特定監視カメラ2Aの撮影領域を通った被写体が他の何れの監視カメラ2により何時撮影されたかを示してよい。
推定部42は、抽出された各対応データについて、その撮影時刻と、基準対応データの撮影時刻との間の時間差を算出してよい。一例として、基準対応データの撮影時刻が12:00であり、抽出された対応データの撮影時刻が12:05である場合には、推定部42は、時間差を5分として算出してよい。
推定部42は、対応データのカメラIDと、当該対応データについて算出された時間差との組み合わせを集計して統計データを生成してよい。推定部42は、生成した統計データを用い、被特定監視カメラ2Aにより撮影された被写体をその後に撮影したと推定される監視カメラ2および時間差の組み合わせを統計的に決定してよい。一例として、推定部42は、統計データを用いて監視カメラ2および時間差の組み合わせ毎の確率分布を算出し、最も高い確率分布を示す少なくとも1つの組み合わせを決定してよい。
本実施形態においてはステップS13において対象被写体の移動方向または移動速度の少なくとも一方がさらに特定されているため、推定部42は、特定された移動方向や移動速度をさらに用いて被推定監視カメラ2Bと推定時刻とを推定してよい。例えば、推定部42は、移動履歴における対応データのカメラIDおよび移動方向,移動速度と、当該対応データについて上述のように算出された時間差との組み合わせを集計して統計データを生成してよい。推定部42は、生成した統計データを用い、監視カメラ2と、移動方向,移動速度と、時間差との組み合わせ毎の確率分布を算出し、最も高い確率分布を示す少なくとも1つの組み合わせを決定してよい。
そして、推定部42は、決定された組み合わせのカメラIDに対応する監視カメラ2を被推定監視カメラ2Bとしてよい。また、推定部42は、決定された組み合わせの時間差を、ステップS13で特定した撮影時刻に加算した結果を推定時刻としてよい。
ステップS17において取得部43は、被推定監視カメラ2Bが推定時刻に撮影された画像データ、および、被特定監視カメラ2Aが撮影時刻に撮影された画像データを取得して、画像記憶部44に記憶させる。
ステップS19において送信部46は、被推定監視カメラ2Bが推定時刻に撮影した画像データ、または、被特定監視カメラ2Aが撮影時刻に撮影した画像データのうちの少なくとも一方を予め設定された送信先(例えばファイルサーバ5)に送信する。
これに加えて、または、これに代えて、ステップS19においては被推定監視カメラ2Bが推定時刻に撮影した画像データ、および、被特定監視カメラ2Aが撮影時刻に撮影した画像データのそれぞれに対して画像解析部47が画像解析を行い、取得された対象被写体の特徴を一纏めにして出力部48が出力してもよい。出力部48は、被推定監視カメラ2Bが推定時刻に撮影した画像データに対象被写体が写っていない場合には、その旨を示すアラート信号を出力してもよい。
以上の動作によれば、オペレータの操作に応じて対象被写体の移動方向または移動速度の少なくとも一方がさらに特定されるので、対象被写体を撮影した被推定監視カメラ2Bと、対象被写体を撮影した推定時刻とをより正確に推定することができる。
[2.変形例]
図3は、変形例に係る警備システム1Aを示す。警備システム1Aの装置4Aは、複数の画像解析部47Aと、出力部48Aとを有する。なお、本実施形態に係る警備システム1Aにおいて、図1に示された警備システム1の構成と略同一のものには同一の符号を付け、説明を省略する。
複数の画像解析部47Aは、それぞれ1または複数の監視カメラ2に対応付けられており、本変形例においては一例として、それぞれ1つの監視カメラ2に1対1で対応付けられる。各画像解析部47Aは、対応する監視カメラ2の近傍に設置されてよい。各画像解析部47Aは、対応する監視カメラ2により撮影された画像データを解析し、解析結果を出力部48Aに供給してよい。
出力部48Aは、特定部41による特定結果と、推定部42による推定結果とに基づいて、被特定監視カメラ2Aが撮影時刻に撮影した画像データから取得される対象被写体の特徴と、被推定監視カメラ2Bが推定時刻に撮影した画像データから取得される対象被写体の特徴とを、被特定監視カメラ2Aに対応する画像解析部47Aと、被推定監視カメラ2Bに対応する画像解析部47Aとから取得してよい。出力部48Aは、取得した特徴を一纏めにして出力してよい。
以上の変形例に係る装置4Aによれば、画像解析部47Aが複数具備されるため、画像解析の負荷を分散することができる。
なお、各画像解析部47Aには、図示しないGPS受信装置が設けられてよく、図示しないGPS衛星からの電波を受信して画像解析部47Aの位置情報を取得し、推定部42に供給してよい。GPS受信装置により取得される位置情報は、対応する監視カメラ2の位置を示してよい。この場合に、推定部42は、各監視カメラ2の位置情報をさらに用いて推定を行って良い。一例として、推定部42は、各監視カメラ2の位置情報から、複数の監視カメラ2の位置関係を検出して推定を行ってよい。各監視カメラ2にGPS受信装置が設けられる場合には、推定部42は当該監視カメラ2のGPS受信装置により取得される位置情報を用いて推定を行ってもよい。
[3.その他の変形例]
なお、上記の実施形態および変形例においては、装置4,4Aは取得部43と、画像記憶部44と、送信部46と、画像解析部47,47Aと、出力部48とを有することとして説明したが、これらの少なくとも1つを有しなくてもよい。
また、被特定監視カメラ2Aにより対象被写体が撮影された撮影時刻よりも後の時刻を推定部42が推定時刻として推定することとして説明したが、これに加えて、または、これに代えて、撮影時刻より前の時刻を推定時刻として推定してもよい。
また、推定のタイミングよりも前の時刻を推定部42が推定時刻として推定することとして説明したが、これに加えて、または、これに代えて、推定のタイミングよりも後の時刻を推定時刻として推定してもよい。この場合には、推定部42は、移動履歴記憶部40に記憶された移動履歴と、特定部41による特定結果とに基づいて、将来的に対象被写体を撮影する少なくとも1つの被推定監視カメラ2Bと、当該被推定監視カメラ2Bが対象被写体を撮影する推定時刻とを推定してよい。この場合には、推定部42は出力部48を介して推定結果を出力してよい。一例として、推定結果は、監視カメラ2を設置した警備会社や、設備のオーナー、設備の管理会社、設備を含む地域の警察などに送信されてよい。
また、推定部42は移動履歴に対して統計処理を行って被推定監視カメラ2Bおよび推定時刻を推定することとして説明したが、他の処理によって被推定監視カメラ2Bおよび推定時刻を推定してもよい。例えば、推定部42は、特定部41による特定結果(本実施形態では一例として対象被写体を撮影した被特定監視カメラ2AのカメラIDと撮影時刻)とが入力されることに応じて、その後(またはその前)のタイミングで当該対象被写体を撮影したと推定される被推定監視カメラ2Bの識別情報と推定時刻とを出力するモデル(図示せず)を用いて推定を行ってよい。このようなモデルは、複数の移動履歴を含む学習データを用いて学習処理が行われてよい。モデルは装置4,4Aに具備されてもよいし、装置4,4Aと外部接続されてもよい。モデルが装置4,4Aに具備される場合には、当該モデルの学習処理は、装置4,4A内の学習処理部(図示せず)によって行われてよい。
また、取得部43は、被推定監視カメラ2Bが推定時刻に撮影した画像データを取得することとして説明したが、これに加えて、または、これに代えて、複数の監視カメラ2のそれぞれから、当該監視カメラ2により撮影された画像データを取得してもよい。一例として、取得部43は、各監視カメラ2により撮影された画像データを、ステップS13の処理前に取得してよい。この場合には、装置4,4Aは、任意の監視カメラ2により任意の時刻に撮影された画像データを表示可能であってよい。また、特定部41は、ステップS13の処理において上述のようにオペレータから入力されるカメラIDおよび時刻から被特定監視カメラ2Aおよび撮影時刻を特定することに代えて、または、これに加えて、オペレータが画像データ内で対象被写体を指定することに応じて、当該画像データを撮影した監視カメラ2を被特定監視カメラ2Aとして特定し、当該画像データが撮影された時刻を撮影時刻として特定してよい。これにより、オペレータの操作を容易化することができる。また、この場合、特定部41は、画像データ内で指定された対象被写体を追跡することで当該対象被写体の移動方向または移動速度の少なくとも一方をさらに特定してよい。これにより、オペレータの操作をさらに容易化することができる。
また、送信部46は被推定監視カメラ2Bが推定時刻に撮影した画像データ、または、被特定監視カメラ2Aが撮影時刻に撮影した画像データのうちの少なくとも一方を予め設定された送信先に送信することとして説明したが、これに加えて、または、これに代えて、被推定監視カメラ2Bが推定時刻に撮影した画像データの位置情報、または、被特定監視カメラ2Aが撮影時刻に撮影した画像データの位置情報のうちの少なくとも一方を送信してもよい。画像データの位置情報は、監視カメラ2や画像記憶部44、ファイルサーバ5内での画像データのアドレスであってもよいし、カメラIDと、画像データの撮影時刻とを含む情報であってもよい。この場合にも、対象被写体を撮影した画像データへのアクセシビリティを高めることができる。
また、推定部42により推定された推定時刻に被推定監視カメラ2Bが撮影した画像データが画像記憶部44や送信部46、画像解析部47などに提供されることとして説明したが、推定時刻を含む基準幅(一例として5分)の時間内に被推定監視カメラ2Bが撮影した画像データが提供されることとしてもよい。この場合には、対象被写体が確実に写っている画像データを画像記憶部44などに提供することができる。
また、移動履歴記憶部40は装置4,4Aの初回動作時にのみ移動履歴を記憶することとして説明したが、装置4,4Aの動作が開始される都度、記憶してもよいし、基準インターバル(一例として一か月)をあけて装置4,4Aの動作が開始される都度、記憶してもよい。例えば、移動履歴は基準インターバル毎に各監視カメラ2の画像データを解析することで生成され、その後に装置4,4Aの動作が開始される場合に移動履歴記憶部40に記憶されてよい。
また、移動履歴は装置4,4Aの外部で生成されることとして説明したが、装置4,4Aの内部で生成されてもよい。この場合には、取得部43が各監視カメラ2から当該監視カメラ2により撮影された画像データを取得してよく、画像解析部47,47Aが画像解析により各画像データ内の各被写体を検出し、被写体ごとに画像データの撮影時刻と、当該画像データを撮影した監視カメラ2のカメラIDとを纏めることで移動履歴を作成してよい。
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図4は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 警備システム
2 監視カメラ
4 装置
5 ファイルサーバ
10 通信ネットワーク
40 移動履歴記憶部
41 特定部
42 推定部
43 取得部
44 画像記憶部
46 送信部
47 画像解析部
48 出力部
2200 コンピュータ
2201 DVD-ROM
2210 ホストコントローラ
2212 CPU
2214 RAM
2216 グラフィックコントローラ
2218 ディスプレイデバイス
2220 入/出力コントローラ
2222 通信インタフェース
2224 ハードディスクドライブ
2226 DVD-ROMドライブ
2230 ROM
2240 入/出力チップ
2242 キーボード

Claims (14)

  1. 複数の監視カメラにより撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラにより撮影された画像データの間での当該被写体の移動履歴を複数記憶する第1記憶部と、
    オペレータの操作に応じて、前記複数の監視カメラのうち追跡の対象被写体を撮影した一の監視カメラと、撮影時刻とを特定する特定部と、
    前記移動履歴と前記特定部による特定結果とに基づいて、前記複数の監視カメラのうち前記一の監視カメラとは異なり、前記対象被写体を撮影する少なくとも1つの他の監視カメラと、当該他の監視カメラが前記対象被写体を撮影する推定時刻とを推定する推定部と、
    を備える装置。
  2. 前記他の監視カメラが前記推定時刻に撮影した画像データ、または、前記一の監視カメラが前記撮影時刻に撮影した画像データのうちの少なくとも一方を記憶する第2記憶部を備える、
    請求項1に記載の装置。
  3. 前記他の監視カメラが前記推定時刻に撮影した画像データ、または、前記一の監視カメラが前記撮影時刻に撮影した画像データのうちの少なくとも一方を予め設定された送信先に送信する第1送信部を備える、
    請求項2に記載の装置。
  4. 前記第2記憶部は、前記他の監視カメラが前記推定時刻に撮影した画像データ、および、前記一の監視カメラが前記撮影時刻に撮影した画像データを記憶し、
    当該装置は、
    画像データを解析する画像解析部と、
    前記他の監視カメラが前記推定時刻に撮影した画像データと、前記一の監視カメラが前記撮影時刻に撮影した画像データとのそれぞれから前記画像解析部により取得された前記対象被写体の特徴を一纏めにして出力する第1出力部と、
    を備える、
    請求項2または3に記載の装置。
  5. 前記第2記憶部は、前記他の監視カメラが前記推定時刻に撮影した画像データ、および、前記一の監視カメラが前記撮影時刻に撮影した画像データを記憶し、
    当該装置は、
    画像データを解析する画像解析部と、
    前記他の監視カメラが前記推定時刻に撮影した画像データに前記対象被写体が写っていない場合に、アラート信号を出力する第2出力部と、
    を備える、
    請求項2から4のいずれか一項に記載の装置。
  6. 前記他の監視カメラが前記推定時刻に撮影した画像データの位置情報、または、前記一の監視カメラが前記撮影時刻に撮影した画像データの位置情報のうちの少なくとも一方を予め設定された送信先に送信する第2送信部を備える、
    請求項1から5の何れか一項に記載の装置。
  7. 前記特定部は、
    各監視カメラの識別情報のうち、オペレータから入力される識別情報に対応する監視カメラを前記一の監視カメラとして特定し、
    オペレータから入力される時刻を前記撮影時刻として特定する、
    請求項1から6の何れか一項に記載の装置。
  8. 各監視カメラから、当該監視カメラにより撮影された画像データを取得する取得部を備え、
    前記特定部は、オペレータが画像データ内で前記対象被写体を指定することに応じて、当該画像データを撮影した監視カメラを前記一の監視カメラとして特定し、当該画像データが撮影された時刻を前記撮影時刻として特定する、
    請求項1から7の何れか一項に記載の装置。
  9. 前記特定部は、オペレータの操作に応じて、前記対象被写体の移動方向または移動速度の少なくとも一方をさらに特定する、
    請求項1から8の何れか一項に記載の装置。
  10. 前記推定部は、複数の前記移動履歴に対して統計処理を行って前記他の監視カメラおよび前記推定時刻を推定する、請求項1から9の何れか一項に記載の装置。
  11. 前記推定部は、複数の前記移動履歴を含む学習データを用いて学習処理が行われたモデルであって、前記特定部による特定結果が入力されることに応じて前記他の監視カメラの識別情報および前記推定時刻を出力するモデルを用いて、前記他の監視カメラの識別情報および前記推定時刻を推定する、請求項1から9の何れか一項に記載の装置。
  12. 請求項1から11の何れか一項に記載の装置と、
    別々の撮影領域の撮影を行う複数の監視カメラと、
    を備えるシステム。
  13. 複数の監視カメラにより撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラにより撮影された画像データの間での当該被写体の移動履歴を複数記憶する記憶段階と、
    オペレータの操作に応じて、前記複数の監視カメラのうち追跡の対象被写体を撮影した一の監視カメラと、撮影時刻とを特定する特定段階と、
    前記移動履歴と前記特定段階による特定結果とに基づいて、前記複数の監視カメラのうち前記一の監視カメラとは異なり、前記対象被写体を撮影する少なくとも1つの他の監視カメラと、当該他の監視カメラが前記対象被写体を撮影する推定時刻とを推定する推定段階と、
    を備える方法。
  14. コンピュータを、
    複数の監視カメラにより撮影される別々の撮影領域の間を被写体が移動した場合に各監視カメラにより撮影された画像データの間での当該被写体の移動履歴を複数記憶する第1記憶部と、
    オペレータの操作に応じて、前記複数の監視カメラのうち追跡の対象被写体を撮影した一の監視カメラと、撮影時刻とを特定する特定部と、
    前記移動履歴と前記特定部による特定結果とに基づいて、前記複数の監視カメラのうち前記一の監視カメラとは異なり、前記対象被写体を撮影する少なくとも1つの他の監視カメラと、当該他の監視カメラが前記対象被写体を撮影する推定時刻とを推定する推定部
    として機能させるプログラム。
JP2020137583A 2020-08-17 2020-08-17 装置、システム、方法およびプログラム Active JP7415848B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020137583A JP7415848B2 (ja) 2020-08-17 2020-08-17 装置、システム、方法およびプログラム
US17/389,369 US11657515B2 (en) 2020-08-17 2021-07-30 Device, method and storage medium
EP21189266.6A EP3958228B1 (en) 2020-08-17 2021-08-03 System, device and method for tracking movement of object across different areas by multiple surveillance cameras
CN202110936321.2A CN114079752A (zh) 2020-08-17 2021-08-16 装置、系统、方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020137583A JP7415848B2 (ja) 2020-08-17 2020-08-17 装置、システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022033600A true JP2022033600A (ja) 2022-03-02
JP7415848B2 JP7415848B2 (ja) 2024-01-17

Family

ID=77179951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020137583A Active JP7415848B2 (ja) 2020-08-17 2020-08-17 装置、システム、方法およびプログラム

Country Status (4)

Country Link
US (1) US11657515B2 (ja)
EP (1) EP3958228B1 (ja)
JP (1) JP7415848B2 (ja)
CN (1) CN114079752A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017416A (ja) * 2007-07-09 2009-01-22 Mitsubishi Electric Corp 監視装置及び監視方法及びプログラム
WO2014021004A1 (ja) * 2012-07-31 2014-02-06 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム
WO2018116488A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
JP6305110B2 (ja) 2014-02-28 2018-04-04 キヤノン株式会社 撮像装置、及び撮像システム
JP6555906B2 (ja) * 2015-03-05 2019-08-07 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
US11017539B2 (en) 2018-04-30 2021-05-25 Intel Corporation Object tracking and identification using intelligent camera orchestration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017416A (ja) * 2007-07-09 2009-01-22 Mitsubishi Electric Corp 監視装置及び監視方法及びプログラム
WO2014021004A1 (ja) * 2012-07-31 2014-02-06 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム
WO2018116488A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム

Also Published As

Publication number Publication date
CN114079752A (zh) 2022-02-22
EP3958228B1 (en) 2024-02-14
US20220051415A1 (en) 2022-02-17
EP3958228A1 (en) 2022-02-23
US11657515B2 (en) 2023-05-23
JP7415848B2 (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
CN109886078B (zh) 目标对象的检索定位方法和装置
CN102843547B (zh) 一种嫌疑目标智能追踪方法和系统
CN112424769A (zh) 用于地理位置预测的系统和方法
US11875569B2 (en) Smart video surveillance system using a neural network engine
WO2020000697A1 (zh) 行为识别方法、装置、计算机设备及存储介质
US11272091B2 (en) Apparatus, system, method and storage medium
JP2016208127A (ja) 事件映像処理装置、事件映像処理システム、事件映像処理方法、及びプログラム
US11048917B2 (en) Method, electronic device, and computer readable medium for image identification
CN110659391A (zh) 一种视频侦查方法及装置
EP3765995B1 (en) Systems and methods for inter-camera recognition of individuals and their properties
US11176700B2 (en) Systems and methods for a real-time intelligent inspection assistant
US11113838B2 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
CN110291516A (zh) 信息处理设备、信息处理方法和程序
EP4203465A1 (en) Delivery server, method and program
JP7371595B2 (ja) 装置、システム、方法およびプログラム
WO2018132098A1 (en) Crowd control using individual guidance
JP2022033600A (ja) 装置、システム、方法およびプログラム
JP2014215747A (ja) 追跡装置、追跡システム、及び、追跡方法
US11722763B2 (en) System and method for audio tagging of an object of interest
KR102320262B1 (ko) 재난피해영역의 피해규모 추정 방법 및 장치
WO2021051230A1 (en) Systems and methods for object detection
JP2022055229A (ja) 監視用デバイス、学習装置、方法およびプログラム
JP7351272B2 (ja) 装置、システム、方法およびプログラム
US20220101014A1 (en) Surveillance device, surveillance system, computer-readable medium having recorded thereon program, and method
EP3843382A1 (en) Apparatus, system, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7415848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150