JP2021100201A - 装置、システム、方法およびプログラム - Google Patents

装置、システム、方法およびプログラム Download PDF

Info

Publication number
JP2021100201A
JP2021100201A JP2019231460A JP2019231460A JP2021100201A JP 2021100201 A JP2021100201 A JP 2021100201A JP 2019231460 A JP2019231460 A JP 2019231460A JP 2019231460 A JP2019231460 A JP 2019231460A JP 2021100201 A JP2021100201 A JP 2021100201A
Authority
JP
Japan
Prior art keywords
image data
image
unit
data
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019231460A
Other languages
English (en)
Other versions
JP7205457B2 (ja
Inventor
修 小嶋
Osamu Kojima
修 小嶋
篤士 和田
Atsushi Wada
篤士 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2019231460A priority Critical patent/JP7205457B2/ja
Priority to US17/120,248 priority patent/US11272091B2/en
Priority to CN202011465755.0A priority patent/CN113099105A/zh
Priority to EP20214533.0A priority patent/EP3843383B1/en
Publication of JP2021100201A publication Critical patent/JP2021100201A/ja
Application granted granted Critical
Publication of JP7205457B2 publication Critical patent/JP7205457B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮影された画像データを画像解析を行わないで、所望の被写体が含まれる画像データにアクセスできるようにする。
【解決手段】システム1において、複数の装置4は、監視カメラにより取得された画像データを記憶する画像記憶部と、画像データに対して画像解析を行い、画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析部と、特徴データと、当該特徴データが生成された画像データの撮影時刻および画像記憶部内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、当該装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信部と、を備える。
【選択図】図1

Description

本発明は、装置、システム、方法およびプログラムに関する。
従来、監視カメラを用いて監視を行うシステムにおいては、監視カメラで撮影された画像データへのアクセスを提供する種々の技術が提案されている(例えば、特許文献1参照)。
特許文献1 特開2015−162232号公報
しかしながら、撮影された画像データが単純に記憶されている場合には、各画像データに対して都度、画像解析を行わないと、所望の被写体が含まれる画像データにアクセスすることができない。
上記課題を解決するために、本発明の第1の態様においては、装置が提供される。装置は、監視カメラにより取得された画像データを記憶する画像記憶部を備えてよい。装置は、画像データに対して画像解析を行い、画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析部を備えてよい。装置は、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、当該装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信部を備えてよい。
送信部は、特徴データの内容が変化するごとにメタデータを送信してよい。
画像記憶部は、複数の監視カメラにより取得された各画像データを記憶してよい。送信部は、複数の監視カメラのそれぞれについて、メタデータを送信してよい。
特徴データは、画像内の顔の特徴、画像内の車両の番号、および、画像内の車両の車種の少なくとも1つを示してよい。
解析部は、複数の画像解析エンジンを並列に、または、タイミングをずらして動作させてよい。
本発明の第2の態様においては、システムが提供される。システムは、第1の態様の装置を備えてよい。システムは、装置から送信されるメタデータを記憶するファイルサーバを備えてよい。システムは、装置およびファイルサーバに接続された監視端末を備えてよい。監視端末は、オペレータの操作に応じてファイルサーバに記憶された何れか1つのメタデータを選択する選択部を有してよい。監視端末は、装置から、選択されたメタデータに対応する画像データを読み出す読出部を有してよい。監視端末は、読出部により読み出された画像データを表示する表示制御部を有してよい。
選択部は、オペレータの操作に応じて被写体の特徴データを入力する入力部を有してよい。選択部は、ファイルサーバに記憶された複数のメタデータのうち、入力された特徴データを含むメタデータを検索する検索部を有してよい。選択部は、検索部によって検出されたメタデータを選択してよい。
監視端末は、読出部が読み出した画像データをファイルサーバに記憶させる記憶制御部をさらに備えてよい。
システムは、装置に接続される配信サーバをさらに備えてよい。配信サーバは、画像解析に適した画像データの撮影条件、および、画像データに含まれ得る被写体のうち検出するべき対象被写体の特徴の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部を有してよい。配信サーバは、複数の画像解析エンジンのうち、装置が取得する画像データの撮影条件、および、装置に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを、当該装置に供給する供給部を有してよい。
本発明の第3の態様においては、装置で実行される方法が提供される。方法は、監視カメラにより取得された画像データを記憶装置に記憶させる画像記憶段階を備えてよい。方法は、画像データに対して画像解析を行い、画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析段階を備えてよい。方法は、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、記憶装置内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信段階を備えてよい。
本発明の第4の態様においては、プログラムが提供される。プログラムは、装置のコンピュータを、監視カメラにより取得された画像データを記憶する画像記憶部として機能させてよい。プログラムは、装置のコンピュータを、画像データに対して画像解析を行い、画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析部として機能させてよい。プログラムは、装置のコンピュータを、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
実施形態に係るシステム1を示す。 撮影条件記憶部62の記憶内容を示す。 検出対象記憶部63の記憶内容を示す。 画像解析エンジンの配信に関する動作を示す。 監視に関する動作を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[1.システム1]
図1は、本実施形態に係るシステム1を示す。
システム1は、1または複数の監視カメラ3と、1または複数の装置4と、ファイルサーバ5と、配信サーバ6と、監視端末7と、1または複数のモバイル端末8とを備え、監視領域の遠隔監視を行う。
監視領域は、監視端末7によって監視される領域であってよく、監視カメラ3によって撮影される領域(撮影領域とも称する)を含んでよい。本実施形態では一例として、監視領域は、設備の敷地であるが、車道や歩道などであってもよい。設備は、プラントでもよいし、学校や住宅、駅、博物館などであってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。設備には監視カメラ3とは別に種々の警備用センサ(図示せず)が設けられてよい。
ここで、システム1の各構成のうち、装置4と、ファイルサーバ5と、配信サーバ6と、監視端末7と、モバイル端末8とは、通信ネットワーク10を介して互いに接続されてよい。図中では、単一の通信ネットワーク10を介して装置4と、ファイルサーバ5と、配信サーバ6と、監視端末7と、モバイル端末8とが接続されているが、別々の通信ネットワークを介して接続されてもよい。
通信ネットワーク10は、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成されてよい。通信ネットワーク10は、有線および無線の少なくとも一方による接続ポイントを含んでよい。通信ネットワーク10は、インターネットなどの公衆回線から分離された専用回線により実現されてもよい。
[1.1.監視カメラ3]
各監視カメラ3は、撮影領域の撮影を行う。各監視カメラ3は、撮影により取得した画像データを装置4に供給してよい。監視カメラ3は可視光のカメラであってもよいし、赤外線や紫外線(一例としてX線)のカメラであってもよい。
[1.2.装置4]
各装置4は、少なくとも1つの監視カメラ3に接続される。各装置4は、画像記憶部40と、解析部41と、通信部45とを有する。
[1.2.1.画像記憶部40]
画像記憶部40は、監視カメラ3により取得された画像データを記憶する。画像記憶部40は、複数の監視カメラ3により取得された各画像データを記憶してよい。
画像記憶部40は、撮影日時と、各監視カメラ3の識別情報(カメラIDとも称する)とに対応付けて、当該監視カメラ3で撮影された画像データを記憶してよい。画像記憶部40は、少なくとも基準期間(一例として5日)の間に画像データを保存してよく、新たな画像データを逐次、上書き保存してよい。画像記憶部40の容量は、一例として1TBであってよい。
[1.2.2.解析部41]
解析部41は、画像データに対して画像解析を行い、画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する。解析部41は、画像記憶部40に記憶された画像データに対して画像解析を行ってよく、特徴データを通信部45に供給してよい。解析部41は、監視カメラ3ごとに画像解析を行って特徴データを生成してよい。
なお、対象被写体は、画像解析によって検出可能な被写体のうち、警備上、着目すべき被写体であってよい。例えば、対象被写体は、人の顔、人(一例として大人、子供)の全身、服装、車両(走行中の車両、停車中の車両)、車種、車の色、ナンバープレート、および、特定の物体(カバン、凶器)などの少なくとも1つであってよい。また、対象被写体は、特定の人物の顔や、特定の車両であってもよい。対象被写体は、画像間(フレーム間)で移動する人や車両でもよいし、複数の画像に亘って行われる動作であってもよい。
対象被写体が人の顔である場合には、特徴データは、画像内の顔の特徴を示してよい。画像内の顔の特徴は、顔の特徴点の位置関係であってもよいし、瞳や皮膚、頭髪の色であってもよいし、アクセサリ(一例としてメガネやピアス等)の色や形状などであってもよい。また、対象被写体が車両である場合には、特徴データは画像内の車両の車種を示してよい。また、対象被写体がナンバープレートである場合には、特徴データは、画像内の車両の番号を示してよい。
なお、対象被写体はオペレータによって予め装置4に設定されてよく、任意に変更されてもよい。対象被写体の種類は1つであってもよいし、複数であってもよい。対象被写体が複数である場合には、解析部41は、少なくとも1つの対象被写体についての特徴データを生成してよい。特徴データは、複数の画像データの中から特定の画像データを抽出するための識別子として使用されてよい。
解析部41は、1または複数の画像解析エンジン(図示せず)によって画像データに画像解析を行ってよい。本実施形態では一例として、解析部41は、複数の画像解析エンジンを並列に、または、タイミングをずらして動作させて画像解析を行ってよい。
タイミングをずらして複数の画像解析エンジンを動作させるとは、例えば日中に撮影される画像データに画像解析を行う期間では一の画像解析エンジンを動作させ、夜間に撮影される画像データに画像解析を行う期間では他の画像解析エンジンを動作させることであってよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、順光で撮影される画像データに画像解析を行う期間では一の画像解析エンジンを動作させ、逆光で撮影される画像データに画像解析を行う期間では他の画像解析エンジンを動作させることであってもよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、晴天の環境で撮影される画像データに画像解析を行う期間では一の画像解析エンジンを動作させ、曇天や雨天の環境で撮影される画像データに画像解析を行う期間では他の画像解析エンジンを動作させることであってもよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、基準インターバル(一例として1分)ごとに別々の画像解析エンジンを動作させることであってもよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、画像データに同じ(または類似の)被写体が含まれる期間内に対象被写体が切り替わるように別々の画像解析エンジンを動作させることであってもよい。画像データに同じ(または類似の)被写体が含まれる期間内に対象被写体が切り替わるとは、一例として、人が被写体として画像データに含まれる期間内に対象被写体が顔と動作との間で切り替わることであってもよいし、車が被写体として画像データに含まれる期間内に対象被写体が車種とナンバープレートとの間で切り替わることであってもよい。
複数の画像解析エンジンの間では、対象被写体、および、画像解析に適した画像データの撮影条件の少なくとも一方が異なってよい。画像データの撮影条件は、撮影する監視カメラ3によって決定される条件であってもよいし、監視カメラ3の設置状況や撮影タイミングによって決定される条件であってもよい。例えば、画像データの撮影条件は、撮影を行う監視カメラ3の性能(画素数、フレームレートなど)、用途(屋内用、屋外用など)、撮影方向(方角や、光源に対する向き、画像データに含まれ得る対象被写体に対する向きなど)、設置位置(住所やGPSデータ、画像データに含まれ得る対象被写体に対する相対位置、屋内か屋外かなど)、画像データに含まれ得る対象被写体の数(単数か複数かなど)、画像データに含まれ得る対象被写体の状況(移動しているか、止まっているかなど)、撮影する時間帯、および、撮影時の撮影領域の状況(照明の色や、明るさ、天候)などの少なくとも1つであってよい。
なお、画像解析エンジンは、一例としてディープラーニングなどの機械学習により得られるモデルであってよいが、これに限定されるものではない。
[1.2.3.通信部45]
通信部45は、通信ネットワーク10を介してファイルサーバ5等と通信する。
通信部45は、送信部の一例であり、特徴データが生成された画像データのメタデータをファイルサーバ5に送信する。複数の監視カメラ3で取得された複数の画像データについて特徴データが生成される場合には、通信部45は、複数の監視カメラ3のそれぞれについて、メタデータを送信してよい。通信部45は、特徴データの内容が変化するごとにメタデータを送信してよい。
ここで、メタデータは、対応する画像データの内容および所在を示すデータであってよく、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部40内での当該画像データのアドレスの少なくとも一方とを含んでよい。
メタデータが撮影時刻を含む場合には、メタデータはカメラIDと、装置IDとをさらに含んでよい。また、メタデータが画像記憶部40内での画像データのアドレスを含む場合には、当該アドレスは、システム1内での装置4のアドレスをさらに示してよい。
通信部45は、配信サーバ6から送信される画像解析エンジンを受信して解析部41に供給してよい。
また、通信部45は、各監視カメラ3により取得される画像データのサムネイル画像を定期的なタイミングでファイルサーバ5や監視端末7に送信してよい。また、通信部45は、画像記憶部40に記憶されている画像データを、上書きされる前にファイルサーバ5に送信してもよい。この場合に通信部45は、画像データを圧縮して送信してよい。
[1.3.ファイルサーバ5]
ファイルサーバ5は、装置4とは異なる他の機器(本実施形態では一例として監視端末7やモバイル端末8)からアクセス可能であり、記憶するファイルを他の機器と共有する。ファイルサーバ5は、通信コストを増加させることなく複数の機器から同時アクセス可能であってよい。ファイルサーバ5は、記憶部52を有する。
記憶部52は、装置4から送信されるメタデータを記憶する。記憶部52は、メタデータに対応する画像データを、当該メタデータに対応付けてさらに記憶してもよい。
記憶部52は、装置4から送信されるサムネイル画像の画像データや、上書きによって消去される前に装置4から送信される画像データを、送信元の装置IDと対応付けてさらに記憶してもよい。記憶部52は、画像記憶部40よりも大きい容量を有してよい。
[1.4.配信サーバ6]
配信サーバ6は、各装置4に画像解析エンジンを配信する。配信サーバ6は、解析エンジン記憶部61と、撮影条件記憶部62と、検出対象記憶部63と、設定部64と、供給部65とを有する。
[1.4.1.解析エンジン記憶部61]
解析エンジン記憶部61は、複数の画像解析エンジンを記憶する。複数の画像解析エンジンの間では、対象被写体と、画像解析に適した画像データの撮影条件との少なくとも一方が異なってよい。画像解析エンジンが機械学習によって生成されている場合には、解析エンジン記憶部61に記憶される各画像解析エンジンは、解析結果の正誤を用いた学習によって更新されてよい。
[1.4.2.撮影条件記憶部62]
撮影条件記憶部62は、複数の装置4のそれぞれについて、当該装置4が取得する画像データの撮影条件を記憶する。撮影条件が変化する場合には、撮影条件記憶部62は複数の撮影条件を記憶してよい。記憶される撮影条件は、オペレータによって設定されてよい。
これに代えて、記憶される撮影条件は、装置4から出力される画像データに対し、解析エンジン記憶部61内の各画像解析エンジンで画像解析を行った結果に基づいて設定されてもよい。例えば、解析エンジン記憶部61内の複数の画像解析エンジンのうち、対象被写体が等しく、画像解析に適した画像データの撮影条件が異なる2以上の画像解析エンジンを用いて一の装置4からの画像データに画像解析が行われてよい。そして、画像解析の結果、対象被写体を最も多く検出した画像解析エンジンに対応する撮影条件が、当該一の装置4が取得する画像データの撮影条件として設定されてよい。画像解析の対象とされる画像データは、例えばファイルサーバ5に記憶されるサムネイル画像などの画像データであってよい。
[1.4.3.検出対象記憶部63]
検出対象記憶部63は、複数の装置4のそれぞれについて、当該装置4に設定された対象被写体を記憶する。検出対象記憶部63は、一の装置4について、2以上の対象被写体を記憶してもよい。記憶される対象被写体は、オペレータによって設定されてよく、任意に変更されてもよい。
[1.4.4.設定部64]
設定部64は、各装置4における各画像解析エンジンの動作条件を設定する。画像解析エンジンの動作条件とは、画像解析エンジンが画像解析を行うタイミングを決定する条件であってよく、画像解析の対象とする画像データの撮影条件であってもよい。一例として、動作条件は、画像データが日中または夜間に撮影されていることであってよい。この場合には、画像解析エンジンは日中または夜間に撮影された画像データに対して画像解析を行う。
設定部64は、供給部65を介して各装置4の解析部41に対し、当該解析部41が使用する画像解析エンジンの動作条件を設定してよい。これにより、各装置4の解析部41は、設定された動作条件で各画像解析エンジンを動作させる。
[1.4.5.供給部65]
供給部65は、解析エンジン記憶部61に記憶された複数の画像解析エンジンの何れかを該当の少なくとも1つの装置4に供給する。供給部65は、装置4が取得する画像データの撮影条件、および、装置4に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを、当該装置4に供給してよい。
供給部65は、撮影条件記憶部62を参照し、装置4が取得する画像データの撮影条件を検知してよい。供給部65は、検出対象記憶部63を参照し、装置4に設定された対象被写体を検知してよい。
供給部65は、システム1に具備される複数の装置4のうち、少なくとも部分的に撮影条件が等しい画像データを取得する2以上の装置4それぞれに、同じ画像解析エンジンを供給してよい。これにより、例えば2以上の装置4がそれぞれ同じ時間帯に撮影された画像データを取得する場合には、当該時間帯で撮影される画像データに適した画像解析エンジンが当該2以上の装置4のそれぞれに供給される。
供給部65は、システム1に具備される複数の装置4のうち、対象被写体が等しい2以上の装置4それぞれに、同じ画像解析エンジンを供給してよい。供給される画像解析エンジンは装置4の通信部45で受信されて解析部41により使用されてよい。
[1.5.監視端末7]
監視端末7は、監視領域の監視を行う。監視端末7は、選択部75と、通信部76と、表示制御部71とを有する。
[1.5.1.選択部75]
選択部75は、オペレータの操作に応じてファイルサーバ5に記憶された何れか1つのメタデータを選択する。選択部75は、入力部751と、検索部752とを有してよく、これらの入力部751および検索部752によって検出されたメタデータを選択して通信部76に供給してよい。
入力部751は、オペレータの操作に応じて被写体の特徴データを入力する。入力部751は、入力された特徴データを検索部752に供給してよい。
ここで、オペレータから入力される特徴データは、何れかの監視カメラ3によって撮影された可能性のある被写体の特徴を示すデータであってよい。例えば、オペレータから入力される特徴データは、警察などから特定の人物や車両について情報提供が求められた場合に、当該人物や車両の特徴を示すデータであってよい。
検索部752は、ファイルサーバ5に記憶された複数のメタデータ(本実施形態においては一例として特徴データと、画像データの撮影時刻およびアドレスの少なくとも一方とを含むデータ)のうち、入力された特徴データを含むメタデータを検索する。
[1.5.2.通信部76]
通信部76は、読出部の一例であり、選択されたメタデータに対応する画像データを装置4から読み出す。通信部76は、読み出した画像データを表示制御部71に供給してよい。
ここで、メタデータに撮影時刻が含まれる場合には、メタデータに対応する画像データとは、その撮影時刻に撮影された画像データであってもよいし、撮影時刻を含む基準時間幅内に撮影された画像データであってもよい。基準時間幅は、本実施形態では一例として2分であるが、10分や1日など、他の時間幅であってもよい。
メタデータにカメラIDおよび装置IDがさらに含まれる場合には、メタデータに対応する画像データは、装置IDに対応する装置4に記憶される画像データのうち、カメラIDに対応する監視カメラ3で撮影された画像データであってよい。メタデータに装置IDが含まれてカメラIDが含まれない場合には、メタデータに対応する画像データは、装置IDに対応する装置4に記憶される画像データのうち、各監視カメラ3によって撮影された画像データであってよい。メタデータに装置IDおよびカメラIDが含まれない場合には、メタデータに対応する画像データは、各装置4に記憶される画像データのうち、各監視カメラ3によって撮影された画像データであってよい。
また、メタデータに画像記憶部40内での画像データのアドレスが含まれる場合には、メタデータに対応する画像データとは、当該アドレスで示される装置4の画像記憶部40内の画像データであってもよいし、当該画像データを含む基準時間幅内に撮影された画像データであってもよい。
また、通信部76は、記憶制御部の一例であり、読み出した画像データをファイルサーバ5に記憶させる。通信部76は、読み出しに用いたメタデータに対応付けて、読み出した画像データをファイルサーバ5に記憶させてよい。
[1.5.3.表示制御部71]
表示制御部71は、通信部76により読み出された画像データを表示する。
表示制御部71は、選択部75によってメタデータが選択されておらず通信部76によって画像データが読み出されて表示制御部71に供給されていない場合には、各装置4を介して各監視カメラ3から取得された画像データのサムネイル画像を一覧表示してよい。
また、表示制御部71は、サムネイル画像が一覧表示された状態でオペレータから何れかの監視カメラ3のサムネイル画像が選択されることに応じて、当該監視カメラ3から取得された画像データを装置4の画像記憶部40から読み出して表示してもよい。
[1.6.モバイル端末8]
各モバイル端末8は、各地域の警備会社の警備員によって携帯される。モバイル端末8は、ファイルサーバ5にアクセス可能であってよい。
[1.7.システム1から得られる効果]
以上のシステム1の配信サーバ6によれば、解析エンジン記憶部61に記憶された複数の画像解析エンジンのうち、装置4が取得する画像データの撮影条件、および、装置4に設定された対象被写体の少なくとも一方に応じた画像解析エンジンが装置4に供給される。これにより、適切な解析エンジンによって装置4に画像解析を行わせることができる。例えば、監視カメラ3によって画像データの撮影条件が異なる場合に、監視カメラ3の撮影条件に応じた画像解析エンジンを用いて装置4に画像解析を行わせることができる。また、対象被写体を変更する場合に、変更後の対象被写体に応じた画像解析エンジンを用いて装置4に画像解析を行わせることができる。
また、少なくとも部分的に撮影条件が等しい画像データを取得する2以上の装置4それぞれに同じ画像解析エンジンが供給されるので、各装置4で取得される、少なくとも部分的に撮影条件の等しい画像データに対し、同じ画像解析エンジンを用いて画像解析を行わせることができる。
また、対象被写体が等しい2以上の装置4それぞれに同じ画像解析エンジンが供給されるので、同じ対象被写体を検出するべき各装置4で、同じ画像解析エンジンを用いて画像解析を行わせることができる。
また、設定部64によって装置4内の各画像解析エンジンの動作条件が設定されるので、予め任意の動作条件を設定することで、任意の動作条件によって装置4に画像解析を行わせることができる。
また、以上のシステム1の装置4によれば、監視カメラ3により取得された画像データに対して画像解析を行い、予め設定された被写体を検出したことに応じて当該被写体の特徴を示す特徴データが生成され、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部40内での当該画像データのアドレスの少なくとも一方とを含むメタデータがファイルサーバ5に送信される。従って、ファイルサーバ5にメタデータを貯めておき、画像データを検索するためのインデックスとして使用することができる。これにより、装置4内の画像データのうち、特徴データが生成された画像データへのアクセスを容易化し、監視領域に存在していた被写体を過去に遡って容易に発見することができる。
また、複数の監視カメラ3のそれぞれについてメタデータが送信されるので、監視領域に存在していた被写体の発見をいっそう容易化することができる。
また、特徴データの内容が変化するごとにメタデータが送信されるので、被写体が切り替わるごとにメタデータが送信される。従って、被写体ごとの画像データへのアクセスを容易化し、監視領域に存在していた被写体の発見を容易化することができる。
また、画像内の顔の特徴、画像内の車両の番号、および、画像内の車両の車種の少なくとも1つを示す特徴データが生成されてメタデータに含まれるので、監視領域に存在していた人物や自動車の発見を容易化することができる。同様に、対象被写体の特徴データとして、人の全身や服装、車両(走行中の車両、停車中の車両)、車の色、特定の物体(カバン、凶器)等の特徴を示す特徴データが生成されてメタデータに含まれる場合にも、監視領域に存在していたこれらの対象被写体の発見を容易化することができる。
また、解析部41では複数の画像解析エンジンが並列に、または、タイミングをずらして動作するので、対象被写体が監視領域に存在する場合に、当該対象被写体を確実に検出することができる。
また、以上のシステム1の監視端末7によれば、オペレータの操作に応じてファイルサーバ5に記憶された何れか1つのメタデータが選択され、選択されたメタデータに対応する画像データが読み出されて表示される。従って、特徴データが生成された任意の画像データを容易に確認することができる。
また、オペレータの操作に応じて被写体の特徴データが入力されると、ファイルサーバ5に記憶された複数のメタデータのうち、入力された特徴データを含むメタデータが検出されて表示されるので、任意の特徴データに対応する被写体の画像データを容易に確認することができる。
また、読み出した画像データがファイルサーバ5に記憶されるので、選択したメタデータに対応する画像データをファイルサーバ5に集めることができる。また、特徴データが生成された画像データが装置4内での上書き等によって消失してしまうのを防止し、画像データを確実に保存することができる。
[2.撮影条件記憶部62]
図2は、撮影条件記憶部62の記憶内容を示す。本実施形態では一例として、撮影条件記憶部62は、複数の装置4のそれぞれについて、当該装置4の装置ID(例えば「aaa1」など)と、当該装置4に接続された各監視カメラ3のカメラID(例えば「c−01」など)と、画像データの撮影条件(例えば、監視カメラ3の用途が屋内用であり、設置位置が屋内であることなど)とを対応付けて記憶している。
[3.検出対象記憶部63]
図3は、検出対象記憶部63の記憶内容を示す。本実施形態では一例として、検出対象記憶部63は、複数の装置4のそれぞれについて、当該装置4の装置ID(例えば「aaa1」など)と、装置4に設定された対象被写体(例えば「人の顔」など)とを対応付けて記憶している。
[4.システム1の動作]
[4.1.画像解析エンジンの配信]
図4は、画像解析エンジンの配信に関する動作を示す。システム1は、ステップS11〜S13の処理を行うことにより画像解析エンジンを各装置4に配信する。なお、この動作の開始時点では、配信サーバ6の解析エンジン記憶部61は、画像解析に適した画像データの撮影条件、および、検出するべき対象被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶していてよい。各画像解析エンジンには、画像解析によって検出するべき検出被写体と、画像解析に適した画像データの撮影条件とを示す情報が含まれてよい。
ステップS11において供給部65は、解析エンジン記憶部61に記憶された複数の画像解析エンジンの何れかを装置4に供給する。供給部65は、撮影条件記憶部62および検出対象記憶部63の少なくとも一方を参照し、装置4が取得する画像データの撮影条件、および、装置4に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを、当該装置4に供給してよい。なお、このステップS11において供給部65は、供給する画像解析エンジンの動作条件を設定部64から受信して、装置4にさらに供給してよい。
供給部65は、供給する画像解析エンジンで装置4内の画像解析エンジンを更新してもよいし、供給する画像解析エンジンを装置4内に追加してもよい。例えば、供給部65は、装置4の解析部41に対して画像解析エンジンの更新または追加を指示してよい。画像解析エンジンの更新を指示する場合には、供給部65は解析部41によって使用される1または複数の画像解析エンジンのうち、更新される画像解析エンジンを指定してよい。
供給部65は、オペレータからの操作に応じて画像解析エンジンの供給を行ってよい。
例えば、供給部65は、オペレータの操作によって解析エンジン記憶部61に記憶されている画像解析エンジンの更新および追加の少なくとも一方が行われた場合に、装置4への画像解析エンジンの供給を行ってよい。この場合には、供給部65は、更新・追加された各画像解析エンジンの検出被写体と、画像解析に適した画像データの撮影条件とを検出し、これらの検出被写体および撮影条件の少なくとも一方に対応する装置4に対し、当該画像解析エンジンを供給してよい。
また、供給部65は、オペレータの操作によって検出対象記憶部63および撮影条件記憶部62の少なくとも一方の情報が変更された場合に画像解析エンジンの供給を行ってよい。この場合には、供給部65は、検出対象記憶部63において変更された検出被写体に対応する各装置4に対し、変更後の検出被写体に応じた画像解析エンジンを供給してよい。また、供給部65は、撮影条件記憶部62において変更された撮影条件に対応する各装置4に対し、変更後の撮影条件に応じた画像解析エンジンを供給してよい。
ステップS13において装置4の解析部41は、通信部45を介して画像解析エンジンを取得する。解析部41は、供給部65から画像解析エンジンの更新が指示された場合には、何れかの画像解析エンジンを、供給された画像解析エンジンで更新する。解析部41は、供給部65から画像解析エンジンの追加が指示された場合には、供給された画像解析エンジンを使用対象に追加する。供給部65から画像解析エンジンの動作条件を受信した場合には、解析部41は、供給された画像解析エンジンを当該動作条件で動作させるよう設定を行う。
以上の動作によれば、供給する画像解析エンジンで装置4内の画像解析エンジンが更新されるので、装置4の記憶領域に制限がある場合であっても、新たな画像解析エンジンを用いて装置4に画像解析を行わせることができる。
また、供給する画像解析エンジンが装置4内に追加されるので、複数の画像解析エンジンを用いて装置4に画像解析を行わせることができる。
[4.2.監視]
図5は、監視に関する動作を示す。システム1は、ステップS51〜S69の処理を行うことにより監視領域の監視を行う。なお、この動作中に装置4は、監視カメラ3により取得された画像データを画像記憶部40に記憶させてよい。
ステップS51において、装置4の解析部41は、取得された画像データに対して1または複数の画像解析エンジンを用いて画像解析を行い、対象被写体を検出したことに応じて当該被写体の特徴を示す特徴データを生成する。
ステップS53において通信部45は、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部40内での当該画像データのアドレスとの少なくとも一方を含むメタデータを生成し、ファイルサーバ5に送信する。
ステップS55においてファイルサーバ5の記憶部52は、送信されたメタデータを記憶する。
ステップS57において監視端末7の選択部75は、オペレータの操作に応じてファイルサーバ5に記憶された何れか1つのメタデータを選択する。本実施形態では一例として、選択部75は、入力部751を介してオペレータから入力される特徴データを含むメタデータを選択してよい。
ステップS61において通信部76は、選択されたメタデータに対応する画像データを装置4の画像記憶部40から読み出す。これに応じ、ステップS63において装置4は、監視端末7に対して画像記憶部40へのアクセスを提供してよい。
ステップS65において監視端末7の表示制御部71は、読み出された画像データを表示する。なお、ステップS57,S61,S65の処理はモバイル端末8によって行われてもよい。この場合には、装置4からモバイル端末8に画像記憶部40へのアクセスが提供され、モバイル端末8において読み出された画像データが表示される。これにより、警備員によって監視領域の状況確認が可能となる。
ステップS67において通信部76は、読み出された画像データをメタデータと対応付けてファイルサーバ5に送信する。通信部76は、表示された画像を確認したオペレータからの指示に応じて送信を行ってよい。
そして、ステップS69においてファイルサーバの記憶部52は、記憶済みの複数のメタデータのうち、受信したメタデータと同一のメタデータを検出し、当該メタデータに対応付けて、受信した画像データを記憶する。
[5.実施形態の変形例]
なお、上記の実施形態においては、監視端末7と配信サーバ6とを別体の装置として説明したが、同一の装置としてもよい。
また、配信サーバ6は各装置4における各画像解析エンジンの動作条件を設定する設定部64を有することとして説明したが、装置4内の各画像解析エンジンに対し画像解析の実行を指示する指示部(図示せず)を有してもよい。この場合には、状況に応じて都度、画像解析エンジンに画像解析を行わせることができる。
また、配信サーバ6は撮影条件記憶部62や検出対象記憶部63、設定部64(または指示部)を有することとして説明したが、これらの少なくとも1つを有しないこととしてもよい。例えば配信サーバ6が設定部64(または指示部)を有しない場合には、装置4の側で画像解析エンジンの動作条件を設定してよい。
また、監視端末7で選択したメタデータに対応する画像データを装置4から読み出してファイルサーバ5に保存することとして説明したが、メタデータに対応する画像データの消失を他の手法によって防止してもよい。例えば、装置4の解析部41は、特徴データ生成した画像データが上書き消去されないように、当該画像データを画像記憶部40内でロックしてよい。
また、装置4は監視カメラ3により取得された画像データを画像記憶部40に記憶することとして説明したが、解析部41により対象被写体が検出されたことに応じて画像データを記憶することとしてもよい。この場合には、装置4に保存される画像データの量を低減することができるため、装置4はファイルサーバ5にメタデータを送信しなくてもよい。
また、装置4は、単一の解析部41を有することとして説明したが、同種の解析部41を複数有してもよい。この場合には、画像解析を並行して高速に行うことができる。
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図6は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD−ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD−ROMドライブ2226は、プログラムまたはデータをDVD−ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
プログラムが、DVD−ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD−ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD−ROMドライブ2226(DVD−ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 システム、3 監視カメラ、4 装置、5 ファイルサーバ、6 配信サーバ、7 監視端末、8 モバイル端末、10 通信ネットワーク、40 画像記憶部、41 解析部、45 通信部、52 記憶部、61 解析エンジン記憶部、62 撮影条件記憶部、63 検出対象記憶部、64 設定部、65 供給部、71 表示制御部、75 選択部、76 通信部、751 入力部、752 検索部、2200 コンピュータ、2201 DVD−ROM、2210 ホストコントローラ、2212 CPU、2214 RAM、2216 グラフィックコントローラ、2218 ディスプレイデバイス、2220 入/出力コントローラ、2222 通信インタフェース、2224 ハードディスクドライブ、2226 DVD−ROMドライブ、2230 ROM、2240 入/出力チップ、2242 キーボード

Claims (11)

  1. 装置であって、
    監視カメラにより取得された画像データを記憶する画像記憶部と、
    前記画像データに対して画像解析を行い、前記画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析部と、
    前記特徴データと、当該特徴データが生成された画像データの撮影時刻、および、前記画像記憶部内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、当該装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信部と、
    を備える装置。
  2. 前記送信部は、前記特徴データの内容が変化するごとに前記メタデータを送信する、請求項1に記載の装置。
  3. 前記画像記憶部は、複数の前記監視カメラにより取得された各画像データを記憶し、
    前記送信部は、前記複数の監視カメラのそれぞれについて、前記メタデータを送信する、請求項1または2に記載の装置。
  4. 前記特徴データは、画像内の顔の特徴、画像内の車両の番号、および、画像内の車両の車種の少なくとも1つを示す、請求項1から3のいずれか一項に記載の装置。
  5. 前記解析部は、複数の画像解析エンジンを並列に、または、タイミングをずらして動作させる、請求項1から4のいずれか一項に記載の装置。
  6. 請求項1から5のいずれか一項に記載の装置と、
    前記装置から送信される前記メタデータを記憶する前記ファイルサーバと、
    前記装置および前記ファイルサーバに接続された監視端末と、
    を備え、
    前記監視端末は、
    オペレータの操作に応じて前記ファイルサーバに記憶された何れか1つの前記メタデータを選択する選択部と、
    前記装置から、選択された前記メタデータに対応する画像データを読み出す読出部と、
    前記読出部により読み出された画像データを表示する表示制御部と、
    を有するシステム。
  7. 前記選択部は、
    オペレータの操作に応じて被写体の特徴データを入力する入力部と、
    前記ファイルサーバに記憶された複数の前記メタデータのうち、入力された前記特徴データを含むメタデータを検索する検索部と、
    を有し、
    前記検索部によって検出された前記メタデータを選択する、請求項6に記載のシステム。
  8. 前記監視端末は、前記読出部が読み出した前記画像データを前記ファイルサーバに記憶させる記憶制御部をさらに備える、請求項6または7に記載のシステム。
  9. 前記装置に接続される配信サーバをさらに備え、
    前記配信サーバは、
    画像解析に適した前記画像データの撮影条件、および、前記画像データに含まれ得る被写体のうち検出するべき対象被写体の特徴の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部と、
    前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影条件、および、前記装置に設定された前記対象被写体の少なくとも一方に応じた画像解析エンジンを、当該装置に供給する供給部と、
    を有する、請求項6から8のいずれか一項に記載のシステム。
  10. 装置で実行される方法であって、
    監視カメラにより取得された画像データを記憶装置に記憶させる画像記憶段階と、
    前記画像データに対して画像解析を行い、前記画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析段階と、
    前記特徴データと、当該特徴データが生成された画像データの撮影時刻、および、前記記憶装置内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、前記装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信段階と、
    を備える方法。
  11. 装置のコンピュータを、
    監視カメラにより取得された画像データを記憶する画像記憶部と、
    前記画像データに対して画像解析を行い、前記画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析部と、
    前記特徴データと、当該特徴データが生成された画像データの撮影時刻、および、前記画像記憶部内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、前記装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信部
    として機能させるプログラム。
JP2019231460A 2019-12-23 2019-12-23 装置、システム、方法およびプログラム Active JP7205457B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019231460A JP7205457B2 (ja) 2019-12-23 2019-12-23 装置、システム、方法およびプログラム
US17/120,248 US11272091B2 (en) 2019-12-23 2020-12-13 Apparatus, system, method and storage medium
CN202011465755.0A CN113099105A (zh) 2019-12-23 2020-12-14 装置、系统、方法和记录介质
EP20214533.0A EP3843383B1 (en) 2019-12-23 2020-12-16 Apparatus, system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019231460A JP7205457B2 (ja) 2019-12-23 2019-12-23 装置、システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021100201A true JP2021100201A (ja) 2021-07-01
JP7205457B2 JP7205457B2 (ja) 2023-01-17

Family

ID=73854793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019231460A Active JP7205457B2 (ja) 2019-12-23 2019-12-23 装置、システム、方法およびプログラム

Country Status (4)

Country Link
US (1) US11272091B2 (ja)
EP (1) EP3843383B1 (ja)
JP (1) JP7205457B2 (ja)
CN (1) CN113099105A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11683453B2 (en) * 2020-08-12 2023-06-20 Nvidia Corporation Overlaying metadata on video streams on demand for intelligent video analysis
US11792501B2 (en) * 2020-12-17 2023-10-17 Motorola Solutions, Inc. Device, method and system for installing video analytics parameters at a video analytics engine
GB2616068B (en) * 2022-02-28 2024-04-24 Vodafone Group Services Ltd Monitoring device and method of monitoring an area

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077431A (ja) * 2008-12-04 2009-04-09 Seiko Epson Corp 画像処理装置、画像処理方法
JP2009278481A (ja) * 2008-05-16 2009-11-26 Hitachi Ltd 映像コンテンツ受信装置、映像コンテンツ配信装置および映像コンテンツ配信方法
WO2010073905A1 (ja) * 2008-12-25 2010-07-01 シャープ株式会社 動画像視聴装置
JP2012151547A (ja) * 2011-01-17 2012-08-09 Panasonic Corp 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
JP2015084504A (ja) * 2013-09-19 2015-04-30 パナソニックIpマネジメント株式会社 信号記録装置、カメラレコーダおよび信号処理装置
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3945193B2 (ja) 2001-06-29 2007-07-18 富士ゼロックス株式会社 情報通知システムおよび情報通知装置
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
JP4201025B2 (ja) * 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
JP5397014B2 (ja) * 2009-05-21 2014-01-22 ソニー株式会社 監視システム、撮像装置、解析装置及び監視方法
US8830327B2 (en) * 2010-05-13 2014-09-09 Honeywell International Inc. Surveillance system with direct database server storage
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
JP6225039B2 (ja) * 2014-01-31 2017-11-01 株式会社日立製作所 画像検索システム、画像検索装置及び画像検索方法
JP6305110B2 (ja) 2014-02-28 2018-04-04 キヤノン株式会社 撮像装置、及び撮像システム
JP6663229B2 (ja) * 2016-01-20 2020-03-11 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018167904A1 (ja) * 2017-03-16 2018-09-20 三菱電機ビルテクノサービス株式会社 監視システム
US11501572B2 (en) * 2018-03-26 2022-11-15 Nvidia Corporation Object behavior anomaly detection using neural networks
GB2585800B (en) * 2018-03-27 2022-05-18 Teledyne FLIR LLC People counting and tracking systems and methods
US20200388139A1 (en) * 2019-06-07 2020-12-10 Ooma, Inc. Continuous detection and recognition for threat determination via a camera system
RU2710308C1 (ru) * 2019-09-20 2019-12-25 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ для обработки видеоданных из архива

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278481A (ja) * 2008-05-16 2009-11-26 Hitachi Ltd 映像コンテンツ受信装置、映像コンテンツ配信装置および映像コンテンツ配信方法
JP2009077431A (ja) * 2008-12-04 2009-04-09 Seiko Epson Corp 画像処理装置、画像処理方法
WO2010073905A1 (ja) * 2008-12-25 2010-07-01 シャープ株式会社 動画像視聴装置
JP2012151547A (ja) * 2011-01-17 2012-08-09 Panasonic Corp 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
JP2015084504A (ja) * 2013-09-19 2015-04-30 パナソニックIpマネジメント株式会社 信号記録装置、カメラレコーダおよび信号処理装置
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Also Published As

Publication number Publication date
EP3843383B1 (en) 2023-10-18
US20210195089A1 (en) 2021-06-24
JP7205457B2 (ja) 2023-01-17
CN113099105A (zh) 2021-07-09
EP3843383A1 (en) 2021-06-30
US11272091B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
US11272091B2 (en) Apparatus, system, method and storage medium
CN108292311B (zh) 用于处理元数据的设备和方法
CN111246091B (zh) 一种动态自动曝光控制方法和装置及电子设备
JP2023103210A (ja) 装置、方法およびプログラム
CN112115975B (zh) 一种适用于监拍装置的深度学习网络模型快速迭代训练方法及设备
CN107820008A (zh) 一种机房监控系统及方法
US20190278275A1 (en) Active off-vehicle notification to autonomous-driving vehicle
JP7211353B2 (ja) 装置、システム、方法およびプログラム
CN113099171B (zh) 分发服务器、方法和记录介质
JP2022033600A (ja) 装置、システム、方法およびプログラム
JP2022055229A (ja) 監視用デバイス、学習装置、方法およびプログラム
JP7424345B2 (ja) 装置、方法およびプログラム
JP2022032722A (ja) 装置、システム、方法およびプログラム
Wang et al. Research on UAV Target Detection Algorithm Based on Improved Air-Borne-YOLOv3
JP2024058712A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2024021706A (ja) 監視装置および監視方法
JP2022007219A (ja) 装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7205457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150