JP2018011263A - 監視システム、監視カメラ、及び管理装置 - Google Patents

監視システム、監視カメラ、及び管理装置 Download PDF

Info

Publication number
JP2018011263A
JP2018011263A JP2016140438A JP2016140438A JP2018011263A JP 2018011263 A JP2018011263 A JP 2018011263A JP 2016140438 A JP2016140438 A JP 2016140438A JP 2016140438 A JP2016140438 A JP 2016140438A JP 2018011263 A JP2018011263 A JP 2018011263A
Authority
JP
Japan
Prior art keywords
image
person
camera
management device
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016140438A
Other languages
English (en)
Other versions
JP6885682B2 (ja
Inventor
外舘 弘理
Hiromichi Sotodate
弘理 外舘
英男 野口
Hideo Noguchi
英男 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016140438A priority Critical patent/JP6885682B2/ja
Priority to US15/624,348 priority patent/US10438049B2/en
Publication of JP2018011263A publication Critical patent/JP2018011263A/ja
Priority to US16/511,982 priority patent/US10839197B2/en
Application granted granted Critical
Publication of JP6885682B2 publication Critical patent/JP6885682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】管理装置の処理負荷を軽減し、特定の人物を迅速に検出できる監視システムを提供する。【解決手段】監視システムは、複数の監視カメラと、監視カメラが接続される管理装置とを備える。管理装置は、第1の人物に関する第1の特徴情報を、1つ以上の第1の監視カメラに送信する。各第1の監視カメラは、受信した前記第1の特徴情報を用いて、第1の監視カメラが撮像した第1の画像に対し第1の照合を行い、第1の照合の結果を管理装置に送信する。管理装置は、第1の照合の結果に基づき、第1の人物を含む第1の画像が撮像された時刻に基づく時刻情報を、第1の監視カメラのうち、時刻情報に係る第1の画像を撮像した第2の監視カメラに送信する。第2の監視カメラは、受信した時刻情報を用いて、第2の監視カメラが撮像した第2の画像に対し第2の照合を行い、第2の照合の結果を管理装置に送信する。管理装置は、第2の照合の結果に基づき、第2の人物を特定する。【選択図】図1

Description

本開示は、監視システム、監視カメラ、及び管理装置に関する。
近年、誘拐、迷子、ひったくり等の事件が多発していることから、地域内の道路や建物には、数多くの監視カメラが設置されている。多数の監視カメラを設置することで、事件の発生を未然に防止したり、また、多数の監視カメラで撮像された映像により事件の早期解決が図られたりしている。
先行技術として、各監視カメラが、静止画をホスト装置に送信し、ホスト装置は、受信した静止画をデータベースの顔画像と顔照合を行い、この照合結果に基づいて動画を監視カメラに要求する監視システムが知られている(特許文献1参照)。この監視システムでは、監視カメラが、顔画像を切り出して送信し、ホスト装置が、顔画像を用いて顔照合処理し、動画の送信要求を監視カメラに送信する。
特開2005−323046号公報
しかしながら、従来では、監視カメラが静止画をホスト装置(管理装置)に送信し、ホスト装置が顔照合するので、ホスト装置における処理負荷が大きい。例えば、地域内に設置されている数多くの監視カメラから、ホスト装置が静止画を受信し、顔照合を行う場合、ホスト装置による顔照合に係る処理負荷が大きく、処理遅延が発生する可能性がある。迅速な処理結果が求められるケースでは、特許文献1の技術では速やかな対応をとることが難しいと考えられる。
本開示は、上記事情に鑑みてなされたものであり、管理装置の処理負荷を軽減し、特定の人物を迅速に検出できる監視システム、監視カメラ、及び管理装置を提供する。
本開示の監視システムは、画像を撮像する複数の監視カメラと、前記監視カメラが接続される管理装置とを備える。管理装置は、第1の人物に関する第1の特徴情報を、1つ以上の第1の監視カメラに送信する。各第1の監視カメラは、受信した第1の特徴情報を用いて、当該第1の監視カメラが撮像した第1の画像に対し第1の照合を行い、第1の照合の結果を管理装置に送信する。管理装置は、第1の照合の結果に基づき、第1の人物を含む第1の画像が撮像された時刻に基づく時刻情報を、第1の監視カメラのうち、上記の時刻に第1の画像を撮像した第2の監視カメラに送信する。第2の監視カメラは、受信した時刻情報を用いて、当該第2の監視カメラが撮像した第2の画像に対し第2の照合を行い、第2の照合の結果を管理装置に送信する。管理装置は、第2の照合の結果に基づき、第2の人物を特定する。
本開示の監視カメラは、管理装置と接続され、画像を撮像する。監視カメラは、イメージセンサと、プロセッサと、通信デバイスと、を備える。イメージセンサは、第1の人物の画像を撮像する。プロセッサは、画像から第1の人物の特徴量を検出する。通信デバイスは、管理装置からの第1の人物に関する第1の特徴情報を受信する。プロセッサは、第1の特徴情報と第1の人物の特徴量とを照合する第1の照合を行う。通信デバイスは、第1の照合の結果を管理装置へ送信する。
本開示の管理装置は、監視カメラと接続される管理装置であって、プロセッサと、通信デバイスと、を備える。通信デバイスは、第1の人物に関する第1の特徴情報を、1つ以上の第1の監視カメラに送信し、第1の監視カメラから第1の特徴情報を用いた第1の照合の結果を受信し、第1の照合の結果に基づき、第1の人物を含む第1の画像が撮像された時刻に基づく時刻情報を、第1の監視カメラのうち、第1の人物を含む第1の画像を撮像した第2の監視カメラに送信し、第2の監視カメラから時刻情報を用いた第2の照合の結果を受信する。プロセッサは、第2の照合の結果に基づき、第2の人物を特定する。
本開示によれば、管理装置の処理負荷を軽減し、特定の人物を迅速に検出できる。
実施形態における監視システムの概略構成例を示す図 複数の監視カメラが設置されたエリアの3次元マップを示す模式図 監視カメラの構成例を示すブロック図 本部に設置された管理装置の構成例を示すブロック図 監視システムの動作例を示すシーケンス図 図5に続く監視システムの動作例を示すシーケンス図 被害者の特徴量に対する照合結果を反映したマップ情報の一例を時系列に示す図 高頻度領域内の被害者リストの一例を示すテーブル 同一人物リストの一例を示すテーブル マップ情報の一例を示す図 高頻度領域内の容疑者リストの一例を示すテーブル
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(第1の実施形態)
[構成等]
図1は、第1の実施形態における監視システム5の概略構成を示す図である。監視システム5は、エリアRA,RB,RC,…毎にそれぞれ設置された複数の監視カメラ10と、本部HOに設置された管理装置30と、を含む構成を有する。複数の監視カメラ10は、ネットワーク50を介して、管理装置30とデータ通信可能に接続される。
ここで、エリアRA,RB,RCは、予め決められた区域、例えば市町村の地域を表す。この区域の決め方は、任意である。
また、エリアRAにおいて映像を撮像する複数の監視カメラ10を、監視カメラ10A−1,10A−2,…,10A−n(nは任意の整数)として区別する。同様に、エリアRBにおいて映像を撮像する複数の監視カメラ10を、監視カメラ10B−1,10B−2,…,10B−nとして区別し、エリアRCにおいて映像を撮像する複数の監視カメラ10を、監視カメラ10C−1,10C−2,…,10C−nとして区別する。なお、区域毎に監視カメラを区別する場合、監視カメラ10A,監視カメラ10B,監視カメラ10Cと称し、また、特に区域で区別する必要が無い場合、監視カメラ10と総称する。区域毎に設置される監視カメラ10の台数は、特に制限されず、任意の数でよい。
また、本部HOは、例えば警察署、市町村役場、検察庁等である。本部HOは、エリアRA,RB,RCの区域内に置かれてもよいし、エリアRA,RB,RCの区域外に置かれてもよい。ここでは、エリアRAに本部HOが設置されている場合を示す。
図2は、複数の監視カメラ10Aが設置されたエリアRAの3次元マップを示す図である。エリアRA内の、多くの建物が並ぶ街中には、複数台(ここでは9台)の監視カメラ10A−1〜10A−9が設置される。監視カメラ10A−1〜10A−9は、それぞれネットワーク50を介して本部HO内の管理装置30と接続される。
図3は、監視カメラ10の構成を示すブロック図である。監視カメラ10は、前述したように、エリアRA,RB,RC,…に設置され、所定の撮像範囲を被写体として撮像し、その映像信号に基づく画像の特徴量や各種照合結果の情報を、本部HOの管理装置30に送信する。また、監視カメラ10は、管理装置30から検索キー等の情報を受信する。監視カメラ10は、イメージセンサ11、レンズ12、プロセッサ13、メモリ14、及び通信デバイス15を有する。
レンズ12は、被写体の光学像をイメージセンサ11の撮像面に結像する。レンズ12は、魚眼画像を撮像するための魚眼レンズ、レンズ倍率が所定の撮像範囲を撮像するように設定された撮像レンズ、レンズ倍率を変更可能なズームレンズ、等であってもよい。
イメージセンサ11は、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等の撮像素子が搭載されたセンサ基板を有する。イメージセンサ11は、レンズ12により結像した光学像を撮像して電気信号(映像真悟)を生成し、その映像信号を出力する。また、イメージセンサ11と共に、又はイメージセンサ11の代わりに、距離センサ、温度センサ、赤外線センサ及び電波センサのうちの少なくとも1つを用いてもよい。
プロセッサ13は、例えば、CPU(Central Processing Unit)、DSP(Disital Signal Processor)、GPU(Graphics Processing Unit)、を含んで構成される。プロセッサ13は、メモリ14に保持されたプログラムを実行することで、監視カメラ10の動作を制御し、特徴検出部21及び特徴照合部22の機能を有する。
特徴検出部21は、イメージセンサ11から出力される映像信号に基づく画像から、顔、色、身長、サムネイル画像(例えば顔画像、全身画像)、車種、ナンバー等の特徴量を抽出する。また、特徴量は、映像信号に基づく画像の撮像時刻や撮像場所などの撮像に係る情報(メタデータ)を含んでもよい。
特徴照合部22は、特徴検出部21によって抽出された特徴量と、特徴格納部24に蓄積された特徴量と、を照合し、これら特徴量間のマッチングを行い、例えば閾値を用いて一致(合致)又は不一致を判定する。例えば、2つのサムネイル画像において一致する特徴点の個数が所定閾値以上である場合、画像が一致すると判定する。また、身長を示す2つの特徴量の差が所定閾値以内である場合に、両者が一致すると判定する。特徴照合部22による照合には、例えば、後述する被害者照合、時刻照合、及び容疑者照合が含まれる。
メモリ14は、ROM(Read Only Memory)やRAM(Random Access Memory)等の一次記憶装置を含む。また、メモリ14は、HDD(Hard Disk Memory)、SSD(Solid State Drive)、等の2次記憶装置やUSBメモリやSDカード等の三次記憶装置を含んでもよい。
メモリ14は、各種のデータを記憶するものであり、映像格納部23、特徴格納部24及び検索キー格納部25を含む。
映像格納部23は、イメージセンサ11で撮像された映像信号に基づく画像を記憶する。
特徴格納部24は、特徴検出部21によって抽出された特徴量を記憶する。例えば、特徴検出部21は、映像信号に基づく画像に含まれる全部又は一部の人物の特徴量を抽出する。特徴格納部24は、抽出された特徴量を人物毎に格納してもよい。
検索キー格納部25は、本部HOの管理装置30から送られた、照合用の検索キーを記憶する。この検索キーは、顔、色、身長、サムネイル画像(例えば顔画像、全身画像)、車種、ナンバー等であり、特徴量に相当する。
通信デバイス15は、通信デバイスによって構成され、有線回線又は無線回線で本部HOの管理装置30と接続され、各種のデータを通信する。通信デバイス15は、インターネット等のネットワーク50を介して管理装置30と接続されてもよいし、専用線で直接に接続されてもよい。
図4は、管理装置30の構成を示すブロック図である。管理装置30は、監視カメラ10から送信された映像信号等の情報を受信し、受信した映像信号に基づく画像から特徴量の照合処理を行い、照合結果に基づく検索キーを監視カメラ10に送信する。管理装置30は、例えば汎用のPC(コンピュータ装置)やサーバにより構成される。管理装置30は、通信デバイス31、プロセッサ32、メモリ37、入力デバイス38、及びディスプレイ39を有する。
通信デバイス31は、有線回線又は無線回線で各エリアに設置された監視カメラ10と接続され、各種のデータを通信する。通信デバイス31は、インターネット等のネットワーク50を介して監視カメラ10と接続されてもよいし、専用線で直接に接続されてもよい。例えば、通信デバイス31は、検索キーを監視カメラ10に送信する。また、通信デバイス31は、監視カメラ10から撮像画像の特徴量や照合結果に係るデータを受信する。
プロセッサ32は、例えば、CPU、DSP、GPU、を含んで構成される。プロセッサ32は、メモリ37に保持されたプログラムを実行することで、管理装置30の動作を制御し、特徴照合部33、高頻度判定処理部34、リスト制御部35、及びマップ制御部36の機能を有する。
特徴照合部33は、複数の特徴量を照合し、例えば、複数の画像に含まれる特徴量を総当たりで照合する相互照合を行う。この相互照合では、例えば、複数の画像に含まれる人物が同一人物であるか否かが判定される。
高頻度判定処理部34は、監視カメラ10が設置された位置(カメラ位置)と通信デバイス31が受信した結果(例えば監視カメラ10からの照合結果)とを基に、LDA(Latent Dirichlet Allocation)やSVM(Support Vector Machine)等の公知のクラスタリングアルゴリズムに従い、高頻度な領域を判定する。LDAやSVMは、例えば機械学習的なアルゴリズムである。
高頻度な領域とは、例えば、照合の結果、被害者や容疑者の特徴量が含まれるとされる画像を撮像した監視カメラ10が所定密度以上に密集(偏在)している領域である。カメラ位置は、例えば、監視カメラ10の識別情報(例えばカメラ番号)とこの監視カメラ10の設置位置の情報とを対応させて、メモリ14にこの対応情報が保持されている。
マップ制御部36は、高頻度判定処理部34の判定結果、及び特徴照合部33の照合結果に基づいて、マップ情報を生成し、マップ情報をディスプレイ39に表示させる。このマップは、各エリアにおける、被害者や容疑者の特徴量が検出された画像(つまり検索キーを用いた照合結果として合致した特徴量を有する画像)を撮像した監視カメラ10のカメラ位置を示す。また、マップ制御部36は、監視カメラ10において画像の特徴量を照合するための検索キーを、通信デバイス31に渡してもよい。尚、この検索キーは、例えば、被害者や容疑者の特徴量が検出された画像が撮像された時刻情報やカメラ位置の情報を含む。マップは、エリア毎に分けて示されてもよいし、撮像時間帯毎に分けて示されてもよい。
リスト制御部35は、高頻度判定処理部34の判定結果、及び特徴照合部33の照合結果に基づいて、リスト情報を生成し、リスト情報をディスプレイ39に表示させる。このリストとは、被害者や容疑者の特徴量が検出された画像の特徴量の少なくとも一部を示す。リストには、被害者や容疑者の特徴量が検出された画像の特徴量の少なくとも一部が、高頻度領域に限定して示されてもよい。また、リスト制御部35は、監視カメラ10において画像の特徴量を照合するための検索キーを、通信デバイス31に渡してもよい。リストは、エリア毎に分けて示されてもよいし、撮像時間帯毎に分けて示されてもよい。
メモリ37は、ROMやRAM等の一次記憶装置を含む。また、メモリ14は、HDD、SSD、等の2次記憶装置やUSBメモリやSDカード等の三次記憶装置を含んでもよい。メモリ37は、各種のデータを記憶する。
入力デバイス38は、例えば、マウス、キーボード、タッチパネル、マイクロホン、等を含んで構成される。入力デバイス38は、ユーザ操作等により、各種のデータを入力する。
ディスプレイ39は、例えばLCD(Liquid Crystal Display)を含んで構成され、各種データ(例えば映像信号に基づく画像)を表示する。
[動作等]
次に、監視システム5の動作を示す。図5及び図6は、監視システム5の動作を示すシーケンス図である。ここでは、一例として、誘拐事件が発生し、本部である警察署において、容疑者の捜索が行われる場合を想定する。
まず、本部HO内の管理装置30は、予め入力された検索キーをエリアRA内の各監視カメラ10Aに対し、通信デバイス31により送信する(S1)。被害者が通常所在すると推定されるエリアであるエリアRA内の監視カメラ10Aに対し、検索キーを送ることを想定している。被害者が通常どのエリアに所在するかの推定(エリア推定)は、被害者の最終目撃場所、被害者の生活圏、被害者が所有する携帯機器(例えばスマートフォン、携帯機器、防犯機器)によるGPS信号の最終発信場所、交通機関の利用履歴、キャッシュディスペンサーの利用履歴、等に基づいて行われる。
S1で送信される検索キーは、被害者の特徴量であり、例えば、被害者の顔画像、服装の色や模様、全身画像、身長である。これらの特徴量は、警察官が被害者の家族から聞き取ることで得られた情報の一例である。警察官は、入力デバイス38等を介して、これらの特徴量を検索キーとして管理装置30に事前に入力しておく。
監視カメラ10Aは、通信デバイス15により管理装置30から送信された検索キーを受信すると、メモリ14内の検索キー格納部25に記憶する(S2)。
尚、管理装置30が、例えば被害者の家族が有するデジタルカメラにより撮像された画像を監視カメラ10Aへ送り、監視カメラ10Aの特徴検出部21が、受信した画像から特徴量を抽出してもよい。この特徴量が、メモリ14内の検索キー格納部25に記憶されてもよい。
監視カメラ10Aの特徴照合部22は、特徴格納部24に格納された特徴量と、検索キー格納部25に記憶された特徴量と、を照合(被害者照合)する(S3)。
これらの特徴量が一致し、同一の人物であるとの照合結果が得られた場合、監視カメラ10Aは、通信デバイス15によりこの照合結果(被害者照合結果ともいう)を管理装置30に送信する(S4)。この被害者照合結果には、撮像した監視カメラ10Aのカメラ番号、撮像時刻、被害者の顔画像、全身画像、身長等の情報が含まれる。ここでは、顔画像及び全身画像は、サムネイル(縮小画像)である。サムネイルを用いることで、データ量を少なくでき、トラフィックの軽減に繋がる。
管理装置30の通信デバイス31が、監視カメラ10から送られた被害者照合結果を受信すると、マップ制御部36は、この被害者照合結果を反映したマップ情報MAをディスプレイ39に表示する(S5)。
図7は、被害者の特徴量に対する被害者照合結果を反映したマップ情報MAを時系列に示す図である。マップ情報MAには、エリアRAにおいて、被害者の特徴量が検出されたとする被害者照合結果を送信した監視カメラ10Aのカメラ位置が、「×」印で示される。尚、「×」印で示されるカメラ位置には、正しく被害者の特徴量が検出された正報の他に、誤って被害者の特徴量が検出された誤報も含まれる。
例えば、エリアRAにおいて、被害者の特徴量を検出したとする監視カメラ10Aのカメラ位置が所定の領域に偏って集まっている(偏在している)場合には、その領域内の特徴量の検出結果は確からしいとして、正報と判断される。一方、エリアRAにおいて、被害者の特徴量を検出したとする監視カメラ10Aのカメラ位置が偏在している領域の外側にあり、孤立している場合には、疑わしいとして誤報と判断される。
具体的には、図7の12時台のマップ情報では、エリアRAにおいて、点線枠h0で囲まれる範囲には、多くのカメラ位置が集まっている。この場合、点線枠h0で囲まれた範囲にある監視カメラ10Aによる特徴量の検出結果は、正報であると判断される。一方、符号i0で示されるカメラ位置は、他のカメラ位置から孤立している。この場合、符号i0で示される位置にある監視カメラ10Aによる特徴量の検出結果は、誤報であると判断される。点線枠h0は、ディスプレイ39に表示されても表示されなくてもよい。
図7の13時台のマップ情報では、エリアRA内において、点線枠h1で囲まれる範囲には、多くのカメラ位置が集まっている。この場合、点線枠h1で囲まれた範囲にある監視カメラ10Aによる特徴量の検出結果は、正報であると判断される。一方、点線枠h1から外れる所にも、5つのカメラ位置が存在しているが、これらのカメラ位置は、他のカメラ位置から孤立している。この場合、符号i1で示される位置にある監視カメラ10Aによる特徴量の検出結果は、誤報であると判断される。点線枠h1は、ディスプレイ39に表示されても表示されなくてもよい。
上記のように、また、エリアRAにおける点線枠h0の位置と点線枠h1の位置とが異なっているため、マップ制御部36は、被害者はエリアRAにおいて移動しているものと推定可能である。
図7の14時台のマップ情報では、エリアRAにおいて、偏在しているカメラ位置が存在しない。よって、エリアRAにおける監視カメラ10Aによる特徴量の検出結果は、正報が無いと判断される。これにより、マップ制御部36は、14時台には、被害者がエリアRAから外れてしまった可能性が高いと推定可能である。その場合、エリアRAに隣接しているエリア、例えばエリアRBについて、S1〜S5までの処理を実施してもよい。
ディスプレイ39は、12時台、13時台、14時台のマップ情報を表示する。この場合、ディスプレイ39は、12時台、13時台、14時台のマップ情報を、入力デバイス38を介したユーザ指示に従って、切り替えて表示してもよいし、スライドショーのように順次切り替え表示してもよいし、全ての時間帯におけるマップ情報を同時に表示してもよい。
管理装置30内の高頻度判定処理部34は、S5で表示されたマップ情報に対し、前述したクラスタアルゴリズムに従って、高頻度領域を判定する(S6)。この高頻度領域判定の結果、例えば図7に示した13時台のマップ情報に含まれる点線枠h1に存在する監視カメラ10Aの情報が抽出される。
リスト制御部35は、高頻度判定処理部34によって判定された、高頻度領域内(例えば点線枠h1内)の監視カメラ10Aの情報をリスト(一覧)でディスプレイ39に表示する(S7)。尚、リスト以外の形式で高頻度領域内の監視カメラ10Aの情報が表示されてもよい。
図8は、高頻度領域内の被害者リストLS1を示すテーブルである。被害者リストLS1には、例えば、撮像時刻(図8では「日時」)、カメラ番号、顔画像、全身画像、身長及び正解チェックの項目が設定される。この被害者リストLS1では、13時台の監視カメラ10Aの情報として、例えば、日時:「13:22」、カメラ番号「No.3」、被害者の顔画像、被害者の全身画像、身長及び正解チェックが一覧で登録される。
正解チェックは、本部HOに所属する警察官が、被害者であるか否かを目視で確認して、その結果をチェックマークで付加する項目である。警察官による目視やチェックマークの付加は、例えば管理装置30の入力デバイス38及びディスプレイ39を介して行われる。チェックマークが付加されている場合、リスト制御部35は、被害者の情報を正しいと判断する。一方、チェックマークが付加されていない、リスト制御部35は、被害者の情報を誤りと判断する。正解チェックの項目は、省略されてもよい。
図8に示す被害者リストLS1には、4つの日時で被害者の情報が登録されているが、特に、最終時刻に監視された被害者の情報が、容疑者を捜し出すためには、最も重要な情報である。現時点での状態に最も近いと考えられるためである。
リスト制御部35は、被害者リストLS1に登録された監視カメラ10Aに対し、検索キーとしての撮像時刻の情報を送信し、この撮像時刻から一定期間(例えば1分)内に撮像された画像に含まれる人物の特徴量を送信するように要求する(S8)。
例えば、リスト制御部35は、被害者リストLS1に登録されたカメラ番号「No.4」の監視カメラ10Aに対し、撮像時刻である13:59を中心とする前後5分以内に撮像された全人物の特徴量を送信するように命令する。通信デバイス31は、リスト制御部35の制御により、上記の全人物の特徴量を送信する。
監視カメラ10Aは、管理装置30から検索キーとしての撮像時刻の情報を受信すると、メモリ14内の検索キー格納部25に格納する(S9)。
特徴照合部22は、特徴格納部24に格納された特徴量に含まれる撮像時刻と、受信した検索キーとしての撮像時刻と、を照合(時刻照合)する(S10)。
S10の双方の撮像時刻が一致する場合、通信デバイス15は、この撮像時刻から一定期間に(例えば、前後5分に)撮像された、全ての人物の顔画像、全身画像、身長等の特徴量を、照合結果(時刻照合結果ともいう)として管理装置30に送信する(S11)。
管理装置30では、通信デバイス31が、監視カメラ10Aから、時刻照合結果として一定期間内の全ての人物の特徴量を受信し、特徴照合部33が、相互照合処理を行う(S12)。この相互照合処理では、一定期間内の各画像に写り込んだ同一人物を、人物毎に照合する。例えば、100枚の画像が存在する場合には、1枚目の画像の特徴量と2枚目〜100枚目の画像の特徴量と照合し、2枚目の画像の特徴量と3枚目〜100枚目の画像の特徴量とを照合する。以下、4枚目、5枚目も同様の手順で照合を続ける。例えば1枚目、5枚目、10枚目に同一人物が映り込んでいると判定される。
リスト制御部35は、相互照合処理の結果、同一人物単位で現れている回数(クラスタング数)を昇順(出現回数順)で一覧にした同一人物リストLS2を作成し、ディスプレイ39に表示する(S13)。尚、同一人物リストLS2の形式は任意であり、他の方法で作成されてもよい。
図9は、同一人物リストLS2を示すテーブルである。同一人物リストLS2には、クラスタリング数で昇順に並び替え、同一人物として集計された容疑者候補及びクラスタリング数が登録される。図9では、最初の列には、「人物pa,22回」が登録される。2番目の列には、「人物pb,3回」が登録される。3番目の列には、「人物pc,2回」が登録される。
管理装置30内のリスト制御部35は、クラスタリング数が最も大きい(最多出現回数の)人物が容疑者であると特定する。これは、クラスタリング数が極端に多い人物、つまり被害者と一緒にいた人物で知らない人物であれば容疑者であるとの推定に基づく。
尚、容疑者以外でも、被害者の家族は被害者と一緒にいたことが多いとも想定される。この場合、家族のクラスタリング数が最も多くなることもある。よって、管理装置30の入力デバイス38やディスプレイ39を介して、被害者の家族を容疑者候補から除外するための設定を行っておいてもよい。この設定は、例えば、ディスプレイ39に表示されたサムネイル画像がユーザにより確認され、正解チェックの項目を用いて行われてもよい。
リスト制御部35は、クラスリング数が最も多い同一人物、つまり容疑者の特徴量を検索キーとして、エリアRAを含む広域なエリアRA,RB,RCに設置されている各監視カメラ10に送信する(S14)。尚、広域なエリアRA,RB,RCを送信対象とすることを例示したが、エリアRAだけを送信対象としてもよいし、エリアRA,RBだけを送信対象としてもよいし、他のエリアを含んでもよい。
広域なエリアRA,RB,RCに設置された、各監視カメラ10は、通信デバイス15により管理装置30から受信した検索キーとしての容疑者の特徴量の情報を、検索キー格納部25に保存する(S15)。
特徴照合部22は、特徴格納部24に格納された容疑者の特徴量と、受信した検索キーとしての容疑者の特徴量とを照合(容疑者照合)する(S16)。
S16の双方の容疑者の特徴量が一致し、同一の人物であるとの照合結果が得られた場合、通信デバイス15は、容疑者と同一人物である照合結果(容疑者照合結果)を管理装置30に送信する(S17)。この容疑者照合結果として、例えば、カメラ番号及び撮像時刻の他、サムネイル画像(顔画像や全身画像)、服装の色、身長、等の容疑者の特徴量に係る情報が送信される。
マップ制御部36は、通信デバイス31により各監視カメラ10からの容疑者照合結果を受信すると、この容疑者照合結果が反映されたマップ情報MBを作成し、ディスプレイ39に表示させる(S18)。
ディスプレイ39は、エリアRA,RB,RCのマップ情報MBを表示する。この場合、ディスプレイ39は、入力デバイス38を介したユーザ指示に従って、各エリアのマップ情報MBを切り替えて表示してもよいし、各エリアのマップ情報MBをスライドショーのように順次切り替え表示してもよいし、全エリアのマップ情報MBを同時に表示してもよい。
高頻度判定処理部34は、監視カメラ10のカメラ番号及び撮像時刻を含む容疑者の特徴量に係る情報を基に、前述したクラスタアルゴリズムに従い、高頻度領域を判定し、この高頻度領域をマップ情報MBに反映する(S19)。
図10は、マップ情報MBを示す図である。マップ情報MBには、エリアRA,RB,RC毎に設置され、容疑者を監視した監視カメラ10の位置が「×」印で表される。ここでは、広域なエリアには、エリアRAの他、エリアRAに隣接するエリアRB,RCが含まれる。エリアRBのマップ情報MBには、点線枠h2で示される高頻度領域が含まれる。マップ制御部36は、点線枠h2で示される高頻度領域に、容疑者が存在すると推定する。尚、高頻度領域は、例えば容疑者の主生活エリアである。
リスト制御部35は、高頻度領域内の容疑者の特徴量に係る情報を撮像時刻毎にリスト化した容疑者リストLS3を作成し、容疑者リストLS3をディスプレイ39に表示させる(S20)。
図11は、高頻度領域内の容疑者リストLS3を示すテーブルである。容疑者リストLS3には、撮像時刻(図11では「日時」)、カメラ番号、顔画像、全身画像、身長、等の項目が設定される。尚、図11では、容疑者リストLS3には、図8に示したような正解チェックの項目は含まれていないが、正解チェックの項目が含まれてもよい。正解チェックのチェック方法は、図8の場合と同様である。
警察官は、ディスプレイ39に表示された容疑者リストLS3の内容から、現在の容疑者の特性(例えば外見、風貌)と容疑者の位置とを把握できる。
従って、本部HOでは、警察官は、被害者リストLS1に登録された被害者の最終撮像日時(例えば「13:59」)及びエリア(例えばエリアRB)を基に、被害者が所在したと推定される最終時刻とエリアとを把握できる。また、警察官は、同一人物リストLS2で特定された容疑者の特徴量を基に、容疑者を把握できる。また、警察官は、マップ情報MBに含まれる高頻度領域を基に、容疑者が所在すると推定されるエリアを把握できる。よって、本部HOは、容易者が所在すると推定されるエリアへ、捜査員を派遣できる。捜査員は、容疑者リストLS3に登録された容疑者の最新情報を基に、容疑者の捜索できる。これにより、迅速な事件の解決が期待される。
尚、捜査員や他の警察官が管理装置30が有する情報を共有可能となるように、管理装置30が有する機能を搭載した携帯端末(例えばスマートフォン、タブレット端末)を所持してもよい。携帯端末は、例えばネットワーク50を介して管理装置30と接続可能とし、クラウド端末として利用されてもよいし、携帯端末自体が各機能を有し、管理装置30の機能を実現するための処理を実行してもよい。これにより、捜査員は、捜査現場において容疑者や被害者の最新情報を自主的に取得できる。
[効果等]
このように、本実施形態の監視システム5は、画像を撮像する複数の監視カメラ10と、監視カメラ10が接続される管理装置30とを備える。管理装置30は、第1の人物(例えば被害者)に関する第1の特徴情報(例えば検索キー、被害者の特徴量)を、1つ以上の第1の監視カメラ(例えばエリアRAに設置された監視カメラ10)に送信する。各第1の監視カメラは、受信した第1の特徴情報を用いて、第1の監視カメラ(自監視カメラ)が撮像した第1の画像に対し第1の照合(例えば被害者照合)を行い、第1の照合の結果を管理装置30に送信する。管理装置30は、第1の照合の結果に基づき、第1の人物を含む第1の画像が撮像された時刻(例えば被害者の最終撮像時刻)に基づく時刻情報(例えば検索キーとしての撮像時刻の情報)を、第1の監視カメラのうち、時刻情報に係る第1の画像を撮像した第2の監視カメラ(例えば、13:59に撮像したカメラ番号「4」の監視カメラ10や13:22に撮像したカメラ番号「2」の監視カメラ10)に送信する。第2の監視カメラは、受信した時刻情報を用いて、第2の監視カメラ(自監視カメラ)が撮像した第2の画像に対し第2の照合(例えば時刻照合)を行い、第2の照合の結果を管理装置30に送信する。管理装置30は、第2の照合の結果に基づき、第2の人物(例えば容疑者)を特定する。
これにより、監視システム5は、監視カメラ10と管理装置30とが連携して、被害者及び容疑者を特定し、迅速に捜索できる。また、監視システム5は、被害者の照合を基に、被害者の周囲に存在する人を合わせて抽出して、容疑者を推定できる。また、監視カメラ10が、管理装置30から検索キーを受信して、撮像した画像に対して各種照合の処理を行うことで、管理装置30が各種照合を行う場合と比べて、被害者及び容疑者を捜索するための管理装置30の処理負荷を軽減でき、被害者及び容疑者を迅速に検出できる。また、時刻情報を用いて時刻照合することで、例えば被害者が撮像された時刻を中心に容疑者候補を捜索可能である。また、管理装置30の処理負荷が低減されることで、例えば、複数の監視カメラ10で特定の人物を追跡する場合でも、特許文献1の場合と異なり、管理装置30による照合処理が間に合わず、容疑者を取り逃がすような事態を回避できる。
また、例えば監視カメラ10により撮像された画像が高画質画像(例えば4K画像)である場合、画像のデータ量が大きくなる。そのため、撮像画像を通信するとネットワークトラフィックが過多になる可能性がある。これに対し、監視カメラ10は、自装置内で各種照合に係る処理を実施でき、画像に係るメタデータや特徴量に限って管理装置30との間で通信するので、ネットワークトラフィックが過多になることを抑制できる。
また、管理装置30は、特定した第2の人物に関する第2の特徴情報(例えば検索キー、容疑者の特徴量)を、第1の監視カメラを含む1つ以上の第3の監視カメラ(例えばエリアRA,RB,RCに設置された監視カメラ10)に送信してもよい。各第3の監視カメラは、受信した第2の特徴情報を用いて、第3の監視カメラ(自監視カメラ)が撮像した第3の画像に対し第3の照合(例えば容疑者照合)を行い、第3の照合の結果を管理装置30に送信してもよい。
これにより、監視システム5は、監視カメラ10の位置から現在の容疑者が所在する位置を推定できる。よって、捜査員は、容疑者を捜索し易くなる。
また、第1の監視カメラは、第1の画像から第1の人物の特徴量を検出し、第1の特徴情報と第1の人物の特徴量とを照合する第1の照合を行ってもよい。第2の監視カメラは、時刻情報と第1の人物の特徴量が検出された第2の画像を撮像した時刻とを照合する第2の照合を行ってもよい。第3の監視カメラは、第3の画像から第2の人物の特徴量を検出し、第2の特徴情報と第2の人物の特徴量とを照合する第3の照合を行ってもよい。
これにより、監視システム5は、管理装置30ではなく、監視カメラ10により各照合の処理を行うので、管理装置30の処理負荷を軽減できる。また、監視システム5は、各照合を行うために管理装置30にデータを送信することを不要にでき、管理装置30へ送信されるデータ量を低減できるので、ネットワーク50のトラフィック量を低減できる。
このように、監視カメラ10が、撮像した画像に対し、特徴検出や特徴量の照合等の処理を行うことで、本部HOの管理装置30の処理負荷を軽減できる。また、監視カメラ10によって迅速に処理できるので、数多くの監視カメラ10で撮像される画像から短時間で特定の人物(被害者、容疑者)を捜索できる。
また、管理装置30は、第1の照合の結果に基づき、第1の特徴情報に合致する第1の人物を含む第1の画像を撮像した第1の監視カメラの位置を、ディスプレイ39に表示(例えばマップ形式での表示)してもよい。
これにより、管理装置30のユーザ(例えば警察官)は、ディスプレイ39に表示されたマップ情報から、被害者が所在した日時や時刻と位置を直感的に把握できる。
また、管理装置30は、撮像時刻毎(例えば12時台、13時台、14時台)に、第1の特徴情報に合致する第1の人物を撮像した第1の監視カメラの位置を表示してもよい。
これにより、管理装置30のユーザは、時刻毎に被害者(第1の人物の一例)がどの位置に所在したかを直感的に理解できる。また、時刻毎に被害者の位置が異なる場合、管理装置30のユーザは、被害者が移動していることを認識できる。また、時刻毎に被害者の位置が規則的に異なる場合(例えば等距離で移動している場合)、管理装置30のユーザは、被害者の移動先を推定できる。
また、管理装置30は、第3の照合の結果に基づき、第2の特徴情報に合致する第2の人物を撮像した第3の監視カメラの位置を、ディスプレイに表示(例えばマップ形式での表示)してもよい。
これにより、管理装置30のユーザは、ディスプレイ39に表示されたマップ情報から、容疑者が所在した日時や時刻と位置を直感的に把握できる。
また、監視システム5では、複数のエリア(例えばエリアRA,RB,RC)にそれぞれ1つ以上の監視カメラ(例えば監視カメラ10A,10B,10C)が設置されてもよい。管理装置30は、エリア毎に、第2の特徴情報に合致する第2の人物を撮像した第3の監視カメラの位置を表示してもよい。
これにより、管理装置30のユーザは、複数のエリア全体の中で、どの位置に容疑者(第2の人物の一例)が偏在して所在するかを推測できる。例えば、容疑者が偏在するエリアは、容疑者の主要な生活圏であると推定され得る。管理装置30のユーザは、このエリアに捜査員を派遣できる。
また、第1の照合の結果は、第1の監視カメラの位置(例えば被害者に合致する人物を撮像した監視カメラ10の位置)、第1の画像のサムネイル画像、及び前記第1の画像が撮像された時刻の情報の少なくとも1つを含んでもよい。管理装置30は、各第1の監視カメラの位置が第1の領域(例えば点線枠h1で囲まれた領域)に偏在する場合、第1の領域に設置された第1の監視カメラによる第1の照合の結果を表示(例えばリスト形式での表示)してもよい。
これにより、管理装置30のユーザは、ディスプレイ39に表示されたリスト情報を参照して、被害者と思われる人物を把握できる。例えば、第1の監視カメラによって最後に撮像された位置が被害者の最終所在位置となるので、最終所在位置の周辺に被害者が現在所在すると推定できる。また、第1の照合の結果を参照することで、被害者の特徴を把握でき、管理装置30のユーザは、捜査をし易くなる、又は捜査指示をし易くなる。また、サムネイル画像を管理装置30と監視カメラ10との間で送受することで、動画を送受する場合と比較して、管理装置30と監視カメラ10との間のデータ伝送量を小さくできる。
また、第3の照合の結果は、第3の監視カメラの位置(例えば容疑者に合致する人物を撮像した監視カメラ10の位置)、第3の画像のサムネイル画像、及び第3の画像が撮像された時刻の情報の少なくとも1つを含んでもよい。管理装置30は、各第3の監視カメラの位置が第2の領域(例えば点線枠h2で囲まれた領域)に偏在する場合、第2の領域に設置された第3の監視カメラによる第3の照合の結果を表示(例えばリスト形式での表示)してもよい。
これにより、管理装置30のユーザは、ディスプレイ39に表示されたリスト情報を参照して、容疑者と思われる人物を把握できる。例えば、第3の監視カメラによって頻繁に撮像された位置周辺に被害者が所在する可能性が高い。また、第3の照合の結果を参照することで、管理装置30のユーザは、容疑者の特徴を把握でき、捜査をし易くなる、又は捜査指示をし易くなる。
また、管理装置30は、第2の画像に現れる人物毎(例えば人物a,b,c)の出現回数をディスプレイ39に表示し、最多の出現回数を基に、第2の人物を特定してもよい。
第2の画像では、例えば被害者が映り込んでおり、同じ画像内に頻繁に映り込んでいる容疑者は、被害者に関係する人物である可能性が高い。そのため、管理装置30のユーザは、容疑者と思われる人物を速やかに把握できる。
また、複数のエリアにそれぞれ監視カメラ10が設置されてもよい。第3の監視カメラが設置されたエリア(例えばエリアRA,RB,RC)は、第1の監視カメラが設置されたエリア(例えばエリアRA)よりも広域であってもよい。
これにより、被害者が所在したと推定されるエリアよりも広域で、容疑者を捜し出すことができる。よって、容疑者がエリア間を移動していたとしても、容疑者を探し出すことのできる可能性が高くなり、容疑者の逃亡が困難になる。
また、監視カメラ10は、イメージセンサ11と、プロセッサ13と、通信デバイス15と、を備える。イメージセンサ11は、第1の人物(例えば被害者)の画像を撮像する。プロセッサ13は、画像から第1の人物の特徴量を検出する。通信デバイス15は、管理装置30からの第1の人物に関する第1の特徴情報(例えば検索キー、被害者の特徴量)を受信する。プロセッサ13は、第1の特徴情報と第1の人物の特徴量とを照合する第1の照合(例えば被害者照合)を行う。通信デバイス15は、第1の照合の結果を管理装置30へ送信する。
これにより、監視カメラ10は、管理装置30と連携して、被害者を特定し、迅速に捜索できる。また、監視カメラ10は、撮像した画像に対して各種照合の処理を行うことで、管理装置が各種照合を行う場合と比べて、被害者を捜索するための管理装置30の処理負荷を軽減でき、被害者を迅速に検出できる。
また、プロセッサ13は、画像から第2の人物(例えば容疑者)の特徴量を検出してもよい。通信デバイス15は、第1の人物を含む画像が撮像された時刻(例えば被害者の最終撮像時刻)に基づく時刻情報(例えば検索キー)を受信してもよい。プロセッサ13は、時刻情報と第2の人物の特徴量とを照合する第2の照合(例えば時刻照合)を行ってもよい。通信デバイス15は、第2の照合の結果を管理装置30へ送信してもよい。
これにより、監視カメラ10は、管理装置30と連携して、容疑者を特定し、迅速に捜索できる。また、監視カメラ10は、撮像した画像に対して各種照合の処理を行うことで、管理装置が各種照合を行う場合と比べて、容疑者を捜索するための管理装置30の処理負荷を軽減でき、容疑者を迅速に検出できる。また、監視カメラ10は、時刻情報を用いて時刻照合することで、例えば被害者が撮像された時刻を中心に容疑者候補を捜索可能である。
また、管理装置30は、プロセッサ32と、通信デバイス31と、を備える。通信デバイス31は、第1の人物(例えば被害者)に関する第1の特徴情報(例えば検索キー、被害者の特徴量)を、1つ以上の第1の監視カメラ(例えばエリアRAに設置された監視カメラ10)に送信する。通信デバイス31は、第1の監視カメラから第1の特徴情報を用いた第1の照合(例えば被害者照合)の結果を受信する。通信デバイス31は、第1の照合の結果に基づき、第1の人物を含む第1の画像が撮像された時刻(例えば被害者の最終撮像時刻)に基づく時刻情報(例えば検索キーとしての撮像時刻の情報)を、第1の監視カメラのうち、時刻情報に係る第1の画像を撮像した第2の監視カメラ(例えば、13:59に撮像したカメラ番号「4」の監視カメラ10や13:22に撮像したカメラ番号「2」の監視カメラ10)に送信する。通信デバイス31は、第2の監視カメラから時刻情報を用いた第2の照合(例えば時刻照合)の結果を受信する。プロセッサ32は、第2の照合の結果に基づき、第2の人物(例えば容疑者)を特定する。
これにより、管理装置30は、監視カメラ10と連携して、被害者及び容疑者を特定し、迅速に捜索できる。また、管理装置30は、撮像した画像に対する各種照合の処理を管理装置30に任せることで、管理装置30が各種照合を行う場合と比べて、被疑者及び容疑者を捜索するための管理装置30の処理負荷を軽減でき、容疑者を迅速に検出できる。
(他の実施形態)
以上のように、本開示における技術の例示として、第1の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。
第1の実施形態では、画像に含まれる人物の特徴量が検出されることを例示したが、人物以外の被写体(例えば車)の特徴量(例えば、車種、車両の長さ、車両の色、車速)が検出されてもよい。
例えば、プロセッサ32は、画像における車の検出(つまり車の利用)の有無に応じて、広域なエリアの範囲を決定してもよい。例えば、車が検出された場合、容疑者が車を利用して高速に移動している可能性を加味して、広域なエリアをエリアRA,RB,RC,RD(不図示),RE(不図示)の範囲としてもよい。また、車が検出されなかった場合、あまり遠くまでは移動していないことを加味して、広域なエリアをエリアRA,RBの範囲としてもよい。
また、プロセッサ32は、特徴量としての車速に応じて、広域なエリアの範囲を決定してもよい。例えば、車速が所定速度以上の高速で移動していることが検出された場合、容疑者が車を利用して高速に移動している可能性を加味して、広域なエリアをエリアRA,RB,RC,RD(不図示),RE(不図示)の範囲としてもよい。また、車速が所定速度未満の低速で移動していることが検出された場合、車での移動距離があまり長くないことを加味して、広域なエリアをエリアRA,RBの範囲としてもよい。
また、プロセッサ32は、乗用車、自動二輪車、自転車、などの車種に応じて、広域なエリアの範囲を決定してもよい。
第1の実施形態では、プロセッサ32が、高頻度領域の範囲を示す点線枠h0,h1,h2を、クラスタアルゴリズムによって抽出し、表示することを例示したが、手動で高頻度領域の範囲を入力し、表示してもよい。例えば、ディスプレイ39によって特徴量が検出されたカメラ位置を目視で確認し、ある程度以上にカメラ位置が偏在していると考えられる領域に対して、入力デバイス38により高頻度領域であると設定してもよい。
また、高頻度領域の範囲を示す点線枠h0,h1,h2がエリアの周端部に近接する場合、近接する周端部と隣り合う隣のエリアを被害者や容疑者の捜索範囲に指定してもよい。例えば、13時台において点線枠h1はエリアAの周端部に近接する(周端からの距離が所定距離以内)ので、プロセッサ32は、14時台における特徴量の抽出を、エリアAに設置された監視カメラ10Aとともに、エリアBに設置された監視カメラ10Bに対しても行わせてもよい。
第1の実施形態では、プロセッサ32が、監視カメラ10が撮像した画像において被害者が確認された時刻から一定期間(例えば、撮像時刻が13時台、被害者が含まれる画像の最終撮像時刻から前後5分)内における画像の特徴量を、管理装置30へ送信するよう要求することを例示した。尚、プロセッサ32は、監視カメラ10が撮像した画像において被害者が確認された位置から一定距離(例えば、被害者が含まれる画像の最終撮像位置から所定距離内)内で撮像された画像の特徴量を、管理装置30へ送信するよう要求してもよい。また、プロセッサ32は、上記の一定期間、且つ、一定距離内で撮像された画像の特徴量を、管理装置30へ送信するよう要求してもよい。
また、プロセッサ32は、監視カメラ10で撮像された画像(撮像画像)における奥行き方向の位置を加味して、撮像画像における座標(画像位置)から距離を算出してもよい。例えば、撮像画像における手前側に被害者や容疑者が存在すると画像認識された場合、撮像画像の画像上の距離に比較的小さな値が乗算されて、実際の(実空間上の)距離が導出される。例えば、撮像画像における奥側に被害者や容疑者が存在すると画像認識された場合、撮像画像の画像上の距離に比較的大きな値が乗算されて、実際の(実空間上の)距離が導出される。これにより、撮像画像における3次元的な位置に応じて、実空間上の位置を導出でき、ユーザは、実空間での距離感を把握できる。よって、捜査官による被害者や容疑者の捜査がより容易になる。
第1の実施形態では、各エリアにおいて、高頻度領域が1個又は0個である場合を例示したが、1つのエリアに高頻度領域が2個以上あってもよい。
第1の実施形態では、プロセッサ13,32は、物理的にどのように構成してもよい。また、プログラム可能なプロセッサ13,32を用いれば、プログラムの変更により処理内容を変更できるので、プロセッサ13,32の設計の自由度を高めることができる。プロセッサ13,32は、1つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、第1の実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで1つのプロセッサ13,32を構成すると考えることができる。また、プロセッサ13,32は、半導体チップと別の機能を有する部材(コンデンサ等)で構成してもよい。また、プロセッサ13,32が有する機能とそれ以外の機能とを実現するように、1つの半導体チップを構成してもよい。
本開示は、管理装置の処理負荷を軽減し、特定の人物を迅速に検出できる監視システム、監視カメラ、及び管理装置等に有用である。
5 監視システム
10、10A,10B,10C,10A−1〜10A−n,10B−1〜10B−n,10C−1〜10C−n 監視カメラ
11 イメージセンサ
12 レンズ
13 プロセッサ
14 メモリ
15 通信デバイス
21 特徴検出部
22 特徴照合部
23 映像格納部
24 特徴格納部
25 検索キー格納部
30 管理装置
31 通信デバイス
32 プロセッサ
33 特徴照合部
34 高頻度判定処理部
35 リスト制御部
36 マップ制御部
37 メモリ
38 入力デバイス
39 ディスプレイ
50 ネットワーク
h0,h1,h2 点線枠
i0 符号
HO 本部
LS1 被害者リスト
LS2 同一人物リスト
LS3 容疑者リスト
MA,MB マップ情報
RA,RB,RC エリア

Claims (14)

  1. 画像を撮像する複数の監視カメラと、前記監視カメラが接続される管理装置とを備える監視システムであって、
    前記管理装置は、第1の人物に関する第1の特徴情報を、1つ以上の第1の監視カメラに送信し、
    各第1の監視カメラは、受信した前記第1の特徴情報を用いて、当該第1の監視カメラが撮像した第1の画像に対し第1の照合を行い、前記第1の照合の結果を前記管理装置に送信し、
    前記管理装置は、前記第1の照合の結果に基づき、前記第1の人物を含む前記第1の画像が撮像された時刻に基づく時刻情報を、前記第1の監視カメラのうち、前記時刻情報に係る前記第1の画像を撮像した第2の監視カメラに送信し、
    前記第2の監視カメラは、受信した前記時刻情報を用いて、当該第2の監視カメラが撮像した第2の画像に対し第2の照合を行い、前記第2の照合の結果を前記管理装置に送信し、
    前記管理装置は、前記第2の照合の結果に基づき、第2の人物を特定する、
    監視システム。
  2. 請求項1に記載の監視システムであって、
    前記管理装置は、特定した前記第2の人物に関する第2の特徴情報を、前記第1の監視カメラを含む1つ以上の第3の監視カメラに送信し、
    各第3の監視カメラは、受信した前記第2の特徴情報を用いて、当該第3の監視カメラが撮像した第3の画像に対し第3の照合を行い、前記第3の照合の結果を前記管理装置に送信する、
    監視システム。
  3. 請求項2に記載の監視システムであって、
    前記第1の監視カメラは、前記第1の画像から前記第1の人物の特徴量を検出し、前記第1の特徴情報と前記第1の人物の特徴量とを照合する前記第1の照合を行い、
    前記第2の監視カメラは、前記時刻情報と前記第1の人物の特徴量が検出された前記第2の画像を撮像した時刻とを照合する前記第2の照合を行い、
    前記第3の監視カメラは、前記第3の画像から前記第2の人物の特徴量を検出し、前記第2の特徴情報と前記第2の人物の特徴量とを照合する前記第3の照合を行う、
    監視システム。
  4. 請求項1または2に記載の監視システムであって、
    前記管理装置は、前記第1の照合の結果に基づき、前記第1の特徴情報に合致する前記第1の人物を含む前記第1の画像を撮像した前記第1の監視カメラの位置を、ディスプレイに表示する、
    監視システム。
  5. 請求項4に記載の監視システムであって、
    前記管理装置は、前記第1の画像が撮像された撮像時刻毎に、前記第1の特徴情報に合致する前記第1の人物を撮像した前記第1の監視カメラの位置を表示する、
    監視システム。
  6. 請求項2に記載の監視システムであって、
    前記管理装置は、前記第3の照合の結果に基づき、前記第2の特徴情報に合致する前記第2の人物を撮像した前記第3の監視カメラの位置を、ディスプレイに表示する、
    監視システム。
  7. 請求項6に記載の監視システムであって、
    複数のエリアにそれぞれ1つ以上の前記監視カメラが設置され、
    前記管理装置は、前記エリア毎に、前記第2の特徴情報に合致する前記第2の人物を撮像した前記第3の監視カメラの位置を表示する、
    監視システム。
  8. 請求項4または5に記載の監視システムであって、
    前記第1の照合の結果は、前記第1の監視カメラの位置、前記第1の画像のサムネイル画像、及び前記第1の画像が撮像された時刻の情報の少なくとも1つを含み、
    前記管理装置は、各第1の監視カメラの位置が第1の領域に偏在する場合、前記第1の領域に設置された前記第1の監視カメラによる前記第1の照合の結果を表示する、
    監視システム。
  9. 請求項6または7に記載の監視システムであって、
    前記第3の照合の結果は、前記第3の監視カメラの位置、前記第3の画像のサムネイル画像、及び前記第3の画像が撮像された時刻の情報の少なくとも1つを含み、
    前記管理装置は、各第3の監視カメラの位置が第2の領域に偏在する場合、前記第2の領域に設置された前記第3の監視カメラによる前記第3の照合の結果を表示する、
    監視システム。
  10. 請求項1に記載の監視システムであって、
    前記管理装置は、前記第2の画像に現れる人物毎の出現回数をディスプレイに表示し、最多の出現回数を基に、前記第2の人物を特定する、
    監視システム。
  11. 請求項2に記載の監視システムであって、
    複数のエリアにそれぞれ前記監視カメラが設置され、
    前記第3の監視カメラが設置されたエリアは、前記第1の監視カメラが設置されたエリアよりも広域である、
    監視システム。
  12. 管理装置と接続され、画像を撮像する監視カメラであって、
    イメージセンサと、プロセッサと、通信デバイスと、を備え、
    前記イメージセンサは、第1の人物の画像を撮像し、
    前記プロセッサは、前記画像から前記第1の人物の特徴量を検出し、
    前記通信デバイスは、前記管理装置からの前記第1の人物に関する第1の特徴情報を受信し、
    前記プロセッサは、前記第1の特徴情報と前記第1の人物の特徴量とを照合する第1の照合を行い、
    前記通信デバイスは、前記第1の照合の結果を前記管理装置へ送信する、監視カメラ。
  13. 請求項12に記載の監視カメラであって、
    前記プロセッサは、前記画像から第2の人物の特徴量を検出し、
    前記通信デバイスは、前記第1の人物を含む画像が撮像された時刻に基づく時刻情報を受信し、
    前記プロセッサは、前記時刻情報と前記第2の人物の特徴量とを照合する第2の照合を行い、
    前記通信デバイスは、前記第2の照合の結果を前記管理装置へ送信する、監視カメラ。
  14. 監視カメラと接続される管理装置であって、
    プロセッサと、通信デバイスと、を備え、
    前記通信デバイスは、
    第1の人物に関する第1の特徴情報を、1つ以上の第1の監視カメラに送信し、
    前記第1の監視カメラから前記第1の特徴情報を用いた第1の照合の結果を受信し、
    前記第1の照合の結果に基づき、前記第1の人物を含む第1の画像が撮像された時刻に基づく時刻情報を、前記第1の監視カメラのうち、前記第1の人物を含む前記第1の画像を撮像した第2の監視カメラに送信し、
    前記第2の監視カメラから前記時刻情報を用いた第2の照合の結果を受信し、
    前記プロセッサは、前記第2の照合の結果に基づき、第2の人物を特定する、
    管理装置。
JP2016140438A 2016-07-15 2016-07-15 監視システム、管理装置、及び監視方法 Active JP6885682B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016140438A JP6885682B2 (ja) 2016-07-15 2016-07-15 監視システム、管理装置、及び監視方法
US15/624,348 US10438049B2 (en) 2016-07-15 2017-06-15 Monitoring system, monitoring camera, and management device
US16/511,982 US10839197B2 (en) 2016-07-15 2019-07-15 Monitoring system, monitoring camera, and management device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016140438A JP6885682B2 (ja) 2016-07-15 2016-07-15 監視システム、管理装置、及び監視方法

Publications (2)

Publication Number Publication Date
JP2018011263A true JP2018011263A (ja) 2018-01-18
JP6885682B2 JP6885682B2 (ja) 2021-06-16

Family

ID=60941259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016140438A Active JP6885682B2 (ja) 2016-07-15 2016-07-15 監視システム、管理装置、及び監視方法

Country Status (2)

Country Link
US (2) US10438049B2 (ja)
JP (1) JP6885682B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020178167A (ja) * 2019-04-15 2020-10-29 パナソニックi−PROセンシングソリューションズ株式会社 人物監視システムおよび人物監視方法
JP2022518469A (ja) * 2019-06-28 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 情報処理方法および装置、記憶媒体
JP2022518459A (ja) * 2019-06-28 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 情報処理方法および装置、記憶媒体

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017037754A1 (en) * 2015-08-28 2017-03-09 Nec Corporation Analysis apparatus, analysis method, and storage medium
CN106960172A (zh) * 2016-01-08 2017-07-18 中兴通讯股份有限公司 人员识别处理方法、装置及系统
US10997422B2 (en) * 2016-01-29 2021-05-04 Nec Corporation Information processing apparatus, information processing method, and program
WO2017130902A1 (ja) 2016-01-29 2017-08-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
SG10201807678WA (en) 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd A method for identifying potential associates of at least one target person, and an identification device
SG10201807663PA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd System and method for multi-layer potential associates discovery
CA3110265A1 (en) * 2018-09-07 2020-03-12 Controle De Donnees Metropolis Inc. Streetlight camera
US11803245B2 (en) * 2019-01-09 2023-10-31 Harman International Industries, Incorporated Scalable distributed data architecture
CN110971826A (zh) * 2019-12-06 2020-04-07 长沙千视通智能科技有限公司 视频前端监控装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP2009075916A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 人物捜索システム及び人物捜索方法
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法
JP2014187645A (ja) * 2013-03-25 2014-10-02 Ms&Ad Research Institute Co Ltd 監視システム、撮像装置、サーバ装置、監視方法およびプログラム
WO2016031720A1 (ja) * 2014-08-25 2016-03-03 株式会社日立国際電気 監視カメラシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
JP3999561B2 (ja) * 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
JP4424031B2 (ja) * 2004-03-30 2010-03-03 株式会社日立製作所 画像生成装置、システムまたは画像合成方法。
JP4622301B2 (ja) 2004-05-07 2011-02-02 オムロン株式会社 監視システム、および監視カメラ
JP2005353046A (ja) 2004-05-10 2005-12-22 Matsushita Electric Ind Co Ltd 記録媒体、ホスト機器及びデータ処理方法
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
JP5109564B2 (ja) * 2007-10-02 2012-12-26 ソニー株式会社 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP2011081763A (ja) * 2009-09-09 2011-04-21 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
JP2011107997A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8208696B2 (en) * 2009-12-15 2012-06-26 Hewlett-Packard Development Company, L.P. Relation tree
US9134399B2 (en) * 2010-07-28 2015-09-15 International Business Machines Corporation Attribute-based person tracking across multiple cameras
JP2012247841A (ja) * 2011-05-25 2012-12-13 Sony Corp 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム
IL216058B (en) * 2011-10-31 2019-08-29 Verint Systems Ltd A system and method for analyzing relationships by image processing
JP5899179B2 (ja) * 2013-09-30 2016-04-06 富士フイルム株式会社 人物認識装置、人物認識方法、人物認識プログラムおよびその記録媒体
US10311475B2 (en) * 2014-06-20 2019-06-04 Go Yuasa Digital information gathering and analyzing method and apparatus
US9389083B1 (en) * 2014-12-31 2016-07-12 Motorola Solutions, Inc. Method and apparatus for prediction of a destination and movement of a person of interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP2009075916A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 人物捜索システム及び人物捜索方法
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法
JP2014187645A (ja) * 2013-03-25 2014-10-02 Ms&Ad Research Institute Co Ltd 監視システム、撮像装置、サーバ装置、監視方法およびプログラム
WO2016031720A1 (ja) * 2014-08-25 2016-03-03 株式会社日立国際電気 監視カメラシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020178167A (ja) * 2019-04-15 2020-10-29 パナソニックi−PROセンシングソリューションズ株式会社 人物監視システムおよび人物監視方法
JP7032350B2 (ja) 2019-04-15 2022-03-08 パナソニックi-PROセンシングソリューションズ株式会社 人物監視システムおよび人物監視方法
US11640726B2 (en) 2019-04-15 2023-05-02 i-PRO Co., Ltd. Person monitoring system and person monitoring method
JP2022518469A (ja) * 2019-06-28 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 情報処理方法および装置、記憶媒体
JP2022518459A (ja) * 2019-06-28 2022-03-15 深▲セン▼市商▲湯▼科技有限公司 情報処理方法および装置、記憶媒体

Also Published As

Publication number Publication date
US10839197B2 (en) 2020-11-17
US20180018504A1 (en) 2018-01-18
JP6885682B2 (ja) 2021-06-16
US20190340417A1 (en) 2019-11-07
US10438049B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
JP6885682B2 (ja) 監視システム、管理装置、及び監視方法
EP3125135B1 (en) Picture processing method and device
JP6814673B2 (ja) 移動経路予測装置、及び移動経路予測方法
US9076069B2 (en) Registering metadata apparatus
US9704040B2 (en) Image processing apparatus for dividing an image based on markers, method thereof and program therefor
JP5500303B1 (ja) 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体
CN105745601A (zh) 眼睛跟踪
JP2014099739A (ja) 映像監視システム
WO2016199662A1 (ja) 画像情報処理システム
JP2017220085A (ja) 画像検索装置、画像検索システム及び画像検索方法
CN109426785A (zh) 一种人体目标身份识别方法及装置
WO2012075219A2 (en) Relationship detection within biometric match results candidates
JP5202419B2 (ja) 警備システムおよび警備方法
CN110738077B (zh) 一种异物检测方法及装置
US11574502B2 (en) Method and device for identifying face, and computer-readable storage medium
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
CN111294552A (zh) 图像采集设备确定方法及装置
US20180197000A1 (en) Image processing device and image processing system
JPWO2018074027A1 (ja) 異常検出装置、制御方法、及びプログラム
JP2012124658A (ja) 特定人物検知システムおよび検知方法
WO2023005662A1 (zh) 图像处理方法及装置、电子设备、程序产品及计算机可读存储介质
US20220277642A1 (en) Investigation assistance system and investigation assistance method
US9076031B2 (en) Image capture apparatus, control method of image capture apparatus, and recording medium
JP2019083532A (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190708

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210513

R150 Certificate of patent or registration of utility model

Ref document number: 6885682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250