JP2019153920A - Information processing apparatus, control method thereof, subject detection system, and program - Google Patents
Information processing apparatus, control method thereof, subject detection system, and program Download PDFInfo
- Publication number
- JP2019153920A JP2019153920A JP2018037730A JP2018037730A JP2019153920A JP 2019153920 A JP2019153920 A JP 2019153920A JP 2018037730 A JP2018037730 A JP 2018037730A JP 2018037730 A JP2018037730 A JP 2018037730A JP 2019153920 A JP2019153920 A JP 2019153920A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- information
- detected
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、情報処理装置、情報処理装置の制御方法、被写体検出システム、及び、プログラムに関する。 The present invention relates to an information processing apparatus, a control method for the information processing apparatus, a subject detection system, and a program.
近年、多数のネットワークカメラを用いた大規模な監視システムが登場してきている。このような監視システムでは、オフィス、店舗、ショッピングモール、スタジアム、街頭、地域全体など、広い範囲にネットワークカメラが設置されるようになっており、セキュリティの向上に役立っている。 In recent years, large-scale monitoring systems using many network cameras have appeared. In such a monitoring system, network cameras are installed in a wide range such as offices, stores, shopping malls, stadiums, streets, and entire regions, which helps to improve security.
このような監視システムの一例として、ネットワークカメラで撮像した画像に対して画像解析・認識処理を行うことで、画像中の被写体認識を行い、被写体を検出する被写体検出システム等が提案されている。被写体検出システムでは、検出すべき物体や人物等の特定の被写体の画像をシステムに予め登録しておき、リアルタイムにカメラ映像を解析し検出対象の被写体を検出した際に警報（アラーム）を監視員や警備員に通知する。当該アラームは、検出時に監視モニタへアラーム表示を行うことで、監視員らに通知することができる。このとき監視員らはアラーム通知の原因となったカメラ映像も確認できる。このような被写体検出システムにつき特許文献１では、ネットワークカメラで撮影した人物の顔画像と、予め登録した要注意人物の顔画像を照合することで、要注意人物であるか否かを判定するシステムが提案されている。 As an example of such a monitoring system, there has been proposed a subject detection system that detects a subject by recognizing a subject in the image by performing image analysis / recognition processing on an image captured by a network camera. In the subject detection system, an image of a specific subject such as an object to be detected or a person is registered in the system in advance, and an alarm is alarmed when a subject to be detected is detected by analyzing a camera image in real time. Notify security guards. The alarm can be notified to the monitoring staff by displaying an alarm on the monitoring monitor upon detection. At this time, the monitor can also check the camera image that caused the alarm notification. In Japanese Patent Application Laid-Open No. 2005-228561, such a subject detection system is a system for determining whether or not a person is a watchable person by collating a face image of a person photographed by a network camera with a face image of a watched person registered in advance. Has been proposed.
また、監視システムが大規模化するにつれ、カメラ台数やそれを表示するモニタ数が増加し、システムの操作者の負担が大きくなりつつある。そこで、特許文献２では、保安システムの警報活動がリスト化されたログを一覧表示することで操作員のシステムの操作性を向上させる技術を提案している。 Further, as the size of the monitoring system increases, the number of cameras and the number of monitors for displaying them increase, and the burden on the system operator is increasing. Therefore, Patent Document 2 proposes a technique for improving the operability of the operator's system by displaying a list of logs in which alarm activities of the security system are listed.
提案にかかる被写体検出システムでは、映像解析により検出対象の人物が検出されると、表示画面にカメラ映像と共にアラームやその履歴を表示し、当該人物が検出されたことを報知していた。 In the subject detection system according to the proposal, when a person to be detected is detected by video analysis, an alarm and its history are displayed together with the camera video on the display screen to notify that the person has been detected.
しかし、画面表示されるカメラ映像は、ネットワークカメラの設置条件や照明条件、被写体の状態などの影響を受けるため、必ずしも操作者が人物を特定できる程度に鮮明に撮影されているとは限らない。よって、アラームが発生した場合に操作者がカメラ映像を見ても検出された人物を特定することが困難となるおそれがある。 However, since the camera image displayed on the screen is affected by the installation conditions, lighting conditions, and subject state of the network camera, the camera video is not always photographed so clearly that the operator can identify a person. Therefore, when an alarm is generated, it may be difficult for the operator to specify the detected person even when viewing the camera video.
また、撮影条件によっては映像解析の結果に誤りが生ずる場合もある。この場合、映像中の人物を別の人物と誤認識してアラーム表示を行うことになるが、検出された人物をカメラ映像において特定しにくいと操作者は誤認識が発生していることにすら気づかないおそれがある。 Also, depending on the shooting conditions, an error may occur in the result of video analysis. In this case, the person in the video is misrecognized as another person and an alarm is displayed, but if the detected person is difficult to identify in the camera video, the operator may even have misrecognized. You may not notice.
そこで、本発明は、被写体検出システムにおいて、被写体を検出したことの通知表示において、検出対象の被写体の視認性を向上させることを可能とする技術を提供する。 Therefore, the present invention provides a technique that can improve the visibility of a subject to be detected in a notification display indicating that a subject has been detected in a subject detection system.
上記課題を解決するための本発明は情報処理装置であって、
撮像画像から検出すべき被写体の特徴情報を保持する保持手段と、
前記特徴情報に基づいて、撮像画像から前記被写体を検出する検出手段と、
前記検出手段が第１の撮像画像において検出した前記被写体について、前記被写体の検出を報知するための表示情報を生成する生成手段と
前記表示情報を出力する出力手段と
を備え、
前記生成手段は、前記第１の撮像画像と、検出された前記被写体に関する情報と、前記検出された被写体の前記特徴情報とが関連付けられて表示されるように前記表示情報を生成することを特徴とする。
The present invention for solving the above problems is an information processing apparatus,
Holding means for holding feature information of a subject to be detected from the captured image;
Detecting means for detecting the subject from a captured image based on the feature information;
For the subject detected by the detection means in the first captured image, a generation means for generating display information for informing the detection of the subject, and an output means for outputting the display information,
The generation unit generates the display information so that the first captured image, information about the detected subject, and the feature information of the detected subject are displayed in association with each other. And
本発明によれば、被写体検出システムにおいて、被写体を検出したことの通知表示において、検出対象の被写体の視認性を向上させることを可能とする技術を提供することができる。 According to the present invention, it is possible to provide a technique capable of improving the visibility of a subject to be detected in a notification display indicating that a subject has been detected in the subject detection system.
以下、添付図面を参照して、発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the invention will be described in detail with reference to the accompanying drawings. The embodiment described below is an example as means for realizing the present invention, and should be appropriately modified or changed depending on the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment.
図１は、本実施形態における被写体検出システムの構成の一例を示したブロック図である。本実施形態では、被写体検出システムをネットワークカメラシステム１０に適用する。 FIG. 1 is a block diagram showing an example of the configuration of the subject detection system in the present embodiment. In this embodiment, the subject detection system is applied to the network camera system 10.
ネットワークカメラシステム１０は、少なくとも１台のネットワークカメラ（以下、単に「カメラ」ともいう）１０２と、情報処理装置１０３、１０４、１０５を備える。情報処理装置１０３は画像録画サーバ、情報処理装置１０４は画像解析サーバ、情報処理装置１０５は操作端末として、それぞれ構成することができる。これらの情報処理装置は、物理的に独立した装置として構成しても、あるいは、一体的に構成してもよい。 The network camera system 10 includes at least one network camera (hereinafter simply referred to as “camera”) 102 and information processing apparatuses 103, 104, and 105. The information processing apparatus 103 can be configured as an image recording server, the information processing apparatus 104 can be configured as an image analysis server, and the information processing apparatus 105 can be configured as an operation terminal. These information processing apparatuses may be configured as physically independent apparatuses or may be configured integrally.
カメラ１０２と情報処理装置１０３、１０４、１０５とは、ネットワーク回線であるＬＡＮ（Local Area Network）１０１によって接続されている。なお、ネットワーク回線はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。また、ＬＡＮ１０１への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１において、カメラ１０２及び情報処理装置１０３、１０４、１０５は、１台または２台がＬＡＮ１０１に接続されているが、接続台数は図１に示す数に限定されない。 The camera 102 and the information processing apparatuses 103, 104, and 105 are connected by a LAN (Local Area Network) 101 that is a network line. The network line is not limited to the LAN, and may be the Internet, a WAN (Wide Area Network), or the like. The physical connection form to the LAN 101 may be wired or wireless. Further, in FIG. 1, one or two cameras 102 and information processing apparatuses 103, 104, and 105 are connected to the LAN 101, but the number of connected devices is not limited to the number shown in FIG.
カメラ１０２は、所定の画角で監視対象空間内に存在する所定の被写体を撮像する、監視カメラ等の撮像装置である。カメラ１０２は、撮像画像（以下、単に「画像」ともいう。）を、ＬＡＮ１０１を介して各情報処理装置１０３、１０４、１０５へ送信する機能を有する。 The camera 102 is an imaging device such as a monitoring camera that images a predetermined subject existing in the monitoring target space at a predetermined angle of view. The camera 102 has a function of transmitting a captured image (hereinafter also simply referred to as “image”) to the information processing apparatuses 103, 104, and 105 via the LAN 101.
画像録画サーバ１０３は、ネットワークカメラ１０２から送信された撮像画像をＬＡＮ１０１経由で受信して保存、蓄積する。また、画像録画サーバ１０３は、画像解析サーバ１０４及び操作端末１０５から受け付けた要求に応じて保存している撮像画像を各装置に送信する。画像解析サーバ１０４は、撮像画像から検出すべき被写体の画像等を操作端末１０５からＬＡＮ１０１経由で受信し、被写体検出処理に必要な特徴量を生成し被写体を検出するために用いる特徴情報として保存しておく。また、画像解析サーバ１０４は、カメラ１０２が撮像した撮像画像をＬＡＮ１０１経由でカメラ１０２から受信して画像解析処理を行い、検出すべき被写体が当該撮像画像に含まれているかどうかの被写体検出処理を行うことができる。また、画像録画サーバ１０３に記録されている撮像画像をＬＡＮ１０１経由で受信した場合も、当該撮像画像について同様に被写体検出処理を行うことができる。 The image recording server 103 receives the captured image transmitted from the network camera 102 via the LAN 101 and stores and stores it. Further, the image recording server 103 transmits the captured image stored in response to the request received from the image analysis server 104 and the operation terminal 105 to each device. The image analysis server 104 receives an image of a subject to be detected from the captured image from the operation terminal 105 via the LAN 101, generates a feature amount necessary for subject detection processing, and stores it as feature information used for detecting the subject. Keep it. Further, the image analysis server 104 receives a captured image captured by the camera 102 from the camera 102 via the LAN 101, performs image analysis processing, and performs subject detection processing to determine whether or not a subject to be detected is included in the captured image. It can be carried out. Also, when a captured image recorded in the image recording server 103 is received via the LAN 101, subject detection processing can be similarly performed on the captured image.
画像解析サーバ１０４は、撮像画像中で検出すべき被写体を検出した場合にはアラーム表示情報を生成し、操作端末１０５に生成したアラーム表示情報を送信する。アラーム表示情報の送信は、操作端末１０５からの要求に基づき実行してもよいし、操作端末１０５が検出結果をリアルタイムで受信する設定であれば、画像解析サーバ１０４は解析結果を解析処理終了毎に操作端末１０５へ送信してもよい。 The image analysis server 104 generates alarm display information when transmitting a subject to be detected in the captured image, and transmits the generated alarm display information to the operation terminal 105. The alarm display information may be transmitted based on a request from the operation terminal 105. If the operation terminal 105 is set to receive the detection result in real time, the image analysis server 104 transmits the analysis result every time the analysis process ends. May be transmitted to the operation terminal 105.
本実施形態の以下の説明では、画像解析サーバ１０４がネットワークカメラ１０２の撮像画像を画像録画サーバ１０３経由で受信する場合を想定しているが、ネットワークカメラ１０２から直接受信する場合も同様にして各種の処理を実行することができる。また、以下の説明では、画像解析サーバ１０４が解析結果や登録情報を保持する場合を想定しているが、ネットワークを介した他のデータベースや操作端末１０５に保存するようにしても構わない。 In the following description of the present embodiment, it is assumed that the image analysis server 104 receives a captured image of the network camera 102 via the image recording server 103. However, various cases are similarly performed when receiving directly from the network camera 102. Can be executed. In the following description, it is assumed that the image analysis server 104 holds the analysis result and registration information, but it may be stored in another database or the operation terminal 105 via the network.
操作端末１０５は、表示装置（ディスプレイ）を備え、カメラ１０２から受信した撮像画像や、画像録画サーバ１０３に記録された画像データの再生・表示や、画像解析サーバ１０４から受信したアラーム表示情報を表示するための表示制御機能を有する。また操作端末１０５は、被写体検出用のユーザインタフェースと入力部を備え、被写体検出のための画像解析処理に関するパラメータ設定や、登録情報の設定、アラーム表示情報の各種パラメータの設定の操作を行うための機能を有する。 The operation terminal 105 includes a display device (display) and displays captured images received from the camera 102, reproduction / display of image data recorded in the image recording server 103, and alarm display information received from the image analysis server 104. Display control function. The operation terminal 105 includes a user interface for subject detection and an input unit, and is used to perform parameter setting related to image analysis processing for subject detection, setting of registration information, and setting of various parameters of alarm display information. It has a function.
次に、発明の実施形態に対応する各装置の構成について説明する。図２（Ａ）は、発明の実施形態に対応するカメラ１０２のハードウェア構成の一例を示す図である。カメラ１０２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６、通信Ｉ／Ｆ２０７、システムバス２０８を含んで構成することができる。これ以外の構成をさらに含んでいてもよい。 Next, the configuration of each device corresponding to the embodiment of the invention will be described. FIG. 2A is a diagram illustrating an example of a hardware configuration of the camera 102 corresponding to the embodiment of the invention. The camera 102 can include a CPU 201, a ROM 202, a RAM 203, an external memory 204, an imaging unit 205, an input unit 206, a communication I / F 207, and a system bus 208. A configuration other than this may be further included.
ＣＰＵ２０１は、カメラ１０２における動作を統括的に制御する制御部であって、システムバス２０８を介して、各構成要素（２０２〜２０７）の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２０４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。 The CPU 201 is a control unit that comprehensively controls the operation of the camera 102, and controls the operation of each component (202 to 207) via the system bus 208. The ROM 202 is a non-volatile memory that stores a control program necessary for the CPU 201 to execute processing. The program may be stored in the external memory 204 or a removable storage medium (not shown). The RAM 203 functions as a main memory, work area, and the like for the CPU 201. That is, the CPU 201 loads various programs and the like from the ROM 202 to the RAM 203 when executing the processing, and implements various functional operations by executing the programs and the like.
外部メモリ２０４は、例えば、ＣＰＵ２０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２０４には、例えば、ＣＰＵ２０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。撮像部２０５は、被写体の撮像を行って撮像画像を生成する。撮像部２０５は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子、Ａ／Ｄ変換器、現像処理部等を含んで構成することができる。 The external memory 204 stores, for example, various data and various information necessary for the CPU 201 to perform processing using a program. Also, the external memory 204 stores, for example, various data and various information obtained by the CPU 201 performing processing using a program or the like. The imaging unit 205 captures a subject and generates a captured image. The imaging unit 205 can include, for example, an imaging device such as a complementary metal oxide semiconductor (CMOS) and a charge coupled device (CCD), an A / D converter, a development processing unit, and the like.
入力部２０６は電源ボタンや設定ボタンなどから構成され、カメラ１０２の操作者は、入力部２０６を介して当該カメラ１０２に指示を与えることができる。通信Ｉ／Ｆ２０７は、外部装置（ここでは、情報処理装置１０３）と通信するためのインターフェースである。通信Ｉ／Ｆ２０７は、例えばＬＡＮインターフェースである。システムバス２０８は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６及び通信Ｉ／Ｆ２０７を通信可能に接続する。カメラ１０２の各部の機能は、ＣＰＵ２０１がＲＯＭ２０２もしくは外部メモリ２０４に記憶されたプログラムを実行することで実現される。 The input unit 206 includes a power button, a setting button, and the like, and an operator of the camera 102 can give an instruction to the camera 102 via the input unit 206. The communication I / F 207 is an interface for communicating with an external device (here, the information processing device 103). The communication I / F 207 is a LAN interface, for example. The system bus 208 connects the CPU 201, the ROM 202, the RAM 203, the external memory 204, the imaging unit 205, the input unit 206, and the communication I / F 207 so that they can communicate with each other. The function of each part of the camera 102 is realized by the CPU 201 executing a program stored in the ROM 202 or the external memory 204.
本実施形態において、情報処理装置１０３から１０５のそれぞれのハードウェア構成についても、図２（Ａ）に示すハードウェア構成に準ずることができる。ただし、その場合には、撮像部２０５に代えて、表示部等のハードウェア構成を具備することができる。ここで、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。また、情報処理装置１０３から１０５は、入力部２０６として、キーボードやマウス等のポインティングデバイスを具備し、操作者が情報処理装置１０３から１０５に対して指示を与えることができるように構成される。また、外部メモリ２０４は、種々の情報を記憶しておくためのデータベースを含むことができる。 In the present embodiment, the hardware configurations of the information processing apparatuses 103 to 105 can also conform to the hardware configuration shown in FIG. However, in that case, a hardware configuration such as a display unit may be provided instead of the imaging unit 205. Here, the display unit includes a monitor such as a liquid crystal display (LCD). In addition, the information processing apparatuses 103 to 105 include a pointing device such as a keyboard and a mouse as the input unit 206, and are configured so that an operator can give instructions to the information processing apparatuses 103 to 105. The external memory 204 can include a database for storing various information.
図２（Ｂ）は、発明の実施形態に対応する情報処理装置としての画像解析サーバ１０４の機能構成の一例を示すブロック図である。画像解析サーバ１０４は、画像取得部２１１、被写体領域検出部２１２、特徴量取得部２１３、被写体情報登録部２１４、被写体情報管理部２１５、照合部２１６を備えることができる。さらに、アラーム情報設定部２１７、アラーム情報管理部２１８、アラーム作成部２１９、アラーム通信部２２０、設定管理部２２１を備えることができる。 FIG. 2B is a block diagram illustrating an example of a functional configuration of the image analysis server 104 as an information processing apparatus corresponding to the embodiment of the invention. The image analysis server 104 can include an image acquisition unit 211, a subject area detection unit 212, a feature amount acquisition unit 213, a subject information registration unit 214, a subject information management unit 215, and a collation unit 216. Furthermore, an alarm information setting unit 217, an alarm information management unit 218, an alarm creation unit 219, an alarm communication unit 220, and a setting management unit 221 can be provided.
図２（Ｂ）に示す各機能構成要素は、画像解析サーバ１０４のＣＰＵ２０１が対応する処理プログラムを実行することによって実現され得る。ただし、図２（Ｂ）に示す各要素のうち少なくとも一部を専用のハードウェアで実現するように構成してもよい。この場合、専用のハードウェアは、ＣＰＵ２０１の制御に基づいて動作する。 Each functional component shown in FIG. 2B can be realized by the CPU 201 of the image analysis server 104 executing a corresponding processing program. However, at least a part of each element shown in FIG. 2B may be realized by dedicated hardware. In this case, the dedicated hardware operates based on the control of the CPU 201.
本実施形態では、図２（Ｂ）の各機能を画像解析サーバ１０４内に搭載する場合を説明するが、機能の一部を他の機器に搭載してもよい。例えば、機能の一部をカメラ１０２内に搭載してもよいし、画像録画サーバ１０３を含む他の情報処理装置に搭載してもよい。また、本実施形態においては、画像解析サーバ１０４が被写体として主に人物を検出する場合を説明するが、検出対象となる被写体は人物に限定されるものではない。例えば、車両や不審物などの特定の被写体を検出対象とすることもできる。 In this embodiment, the case where each function of FIG. 2B is installed in the image analysis server 104 will be described, but a part of the function may be installed in another device. For example, a part of the function may be installed in the camera 102 or may be installed in another information processing apparatus including the image recording server 103. In this embodiment, the case where the image analysis server 104 mainly detects a person as a subject will be described, but the subject to be detected is not limited to a person. For example, a specific subject such as a vehicle or a suspicious object can be set as a detection target.
画像取得部２１１は、カメラ１０２から送信された撮像画像を画像録画サーバ１０３経由で受信し、伸長、復号化して画像（動画像若しくは静止画像）を取得する。画像取得部２１１は、取得した画像を順次、被写体領域検出部２１２へ送出する。ここで、本実施形態においてカメラ１０２から提供される撮像画像は、静止画であっても動画であってもよい。また、撮像画像の供給元については特に限定するものではない。供給元は、有線若しくは無線を介して撮像画像を供給するカメラ１０２、画像録画サーバ１０３、あるいは、それら以外の他の撮像装置であってもよい。また、画像取得部２１１は、同一の装置内のメモリ（例えば、外部メモリ２０４）から撮像画像を取得するようにしてもよい。以下の説明では、画像取得部２１１が動画像を取得した場合であっても静止画像を取得した場合であっても、画像取得部２１１は、被写体領域検出部２１２へ１枚の画像を送出する場合について説明する。前者の場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、上記１枚の画像が静止画像に相当する。動画像の場合は、各フレームについて同様の処理を繰り返せばよい。 The image acquisition unit 211 receives the captured image transmitted from the camera 102 via the image recording server 103, expands and decodes the acquired image (moving image or still image). The image acquisition unit 211 sequentially sends the acquired images to the subject area detection unit 212. Here, the captured image provided from the camera 102 in the present embodiment may be a still image or a moving image. Further, the supply source of the captured image is not particularly limited. The supply source may be the camera 102, the image recording server 103, or another imaging device other than the camera 102 that supplies the captured image via a wired or wireless connection. The image acquisition unit 211 may acquire a captured image from a memory (for example, the external memory 204) in the same apparatus. In the following description, whether the image acquisition unit 211 acquires a moving image or a still image, the image acquisition unit 211 sends one image to the subject area detection unit 212. The case will be described. In the former case, the one image corresponds to each frame constituting the moving image, and in the latter case, the one image corresponds to a still image. In the case of a moving image, the same process may be repeated for each frame.
次に、被写体領域検出部２１２は、画像取得部２１１が受信した撮像画像に対し、照合パターン辞書等を用いて被写体領域検出処理を実施する。これにより、撮像画像中で被写体（例えば、人物）が含まれる被写体領域（人物領域）が抽出される。特徴量取得部２１３は、被写体領域検出部２１２で抽出された被写体領域の画像から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。例えば、被写体として人物が抽出される場合、特徴量として人物の顔の特徴量を抽出することができる。また、顔以外にも上半身、下半身、全身、後姿、着衣等の特徴量を抽出してもよい。 Next, the subject region detection unit 212 performs subject region detection processing on the captured image received by the image acquisition unit 211 using a matching pattern dictionary or the like. Thereby, a subject area (person area) including a subject (for example, a person) in the captured image is extracted. The feature amount acquisition unit 213 performs a feature amount extraction process for extracting a feature amount from the image of the subject region extracted by the subject region detection unit 212 based on a predetermined calculation. For example, when a person is extracted as a subject, a feature amount of a person's face can be extracted as a feature amount. In addition to the face, feature quantities such as the upper body, the lower body, the whole body, the rear view, and clothes may be extracted.
次に、被写体情報登録部２１４は、検出対象とする被写体の画像を含む情報を操作端末１０５からＬＡＮ１０１経由で受信し、被写体検出処理に必要な特徴量を生成し被写体の特徴情報（以下、「被写体情報」という）として被写体情報管理部２１５に登録する。ここでの特徴量の生成については、特徴量取得部２１３が行う処理と同様に実施することができる。被写体情報管理部２１５は、被写体情報登録部２１４が生成した登録対象の被写体の特徴量や画像を、登録名や登録時刻等の情報と共に被写体情報として管理する。 Next, the subject information registration unit 214 receives information including an image of the subject to be detected from the operation terminal 105 via the LAN 101, generates a feature amount necessary for subject detection processing, and generates subject feature information (hereinafter, “ It is registered in the subject information management unit 215 as “subject information”. The feature amount generation here can be performed in the same manner as the processing performed by the feature amount acquisition unit 213. The subject information management unit 215 manages the feature quantity and image of the subject to be registered generated by the subject information registration unit 214 as subject information together with information such as the registration name and registration time.
照合部２１６は特徴量取得部２１３が取得した特徴量と被写体情報管理部２１５が保持・管理する、検出対象の被写体の特徴量とを照合し、類似度を算出する。算出した類似度が所定の閾値以上である場合、撮像された被写体は、検出対象の被写体に類似していると判断し、検出対象の被写体が検出されたと認識する。 The collation unit 216 collates the feature amount acquired by the feature amount acquisition unit 213 with the feature amount of the subject to be detected, which is held and managed by the subject information management unit 215, and calculates the similarity. If the calculated similarity is greater than or equal to a predetermined threshold, it is determined that the imaged subject is similar to the subject to be detected, and it is recognized that the subject to be detected has been detected.
上述のように本実施形態において検出すべき対象である被写体は人物に限定されない。したがって、被写体情報登録部２１４は、操作端末１０５から提供された被写体画像から、当該被写体を撮像画像において検出するのに有効となる特徴量を抽出する。検出対象が車両であれば、当該車両を検出可能な車両の形状的特徴や、車両に固有の識別情報（例えばナンバープレートの番号）を特徴量として抽出することができる。 As described above, the subject to be detected in the present embodiment is not limited to a person. Therefore, the subject information registration unit 214 extracts a feature amount effective for detecting the subject in the captured image from the subject image provided from the operation terminal 105. If the detection target is a vehicle, it is possible to extract, as a feature amount, a shape characteristic of the vehicle that can detect the vehicle and identification information (for example, the number of a license plate) unique to the vehicle.
アラーム情報設定部２１７は、画像解析サーバ１０４での解析処理結果に応じたアラームの通知内容や対象カメラなどのアラーム設定を行う。アラーム情報設定部２１７は、アラーム設定を操作端末１０５からＬＡＮ１０１経由で受信し、アラーム情報管理部２１８へ登録する。アラーム作成部２１９は、検出対象の被写体が検出されたことを通知するためのアラーム表示情報をアラーム情報管理部２１８の設定及びに基づき作成する。アラーム通信部２２０は、アラーム作成部２１９が作成したアラーム表示情報をＬＡＮ１０１経由で操作端末１０５へ送信する。設定管理部２２１は、画像解析サーバ１０４の設定や映像解析に必要な設定、カメラ設定など映像解析処理及びアラーム作成処理に必要な情報を保持している。 The alarm information setting unit 217 performs alarm settings such as alarm notification contents and target cameras according to the analysis processing result in the image analysis server 104. The alarm information setting unit 217 receives the alarm setting from the operation terminal 105 via the LAN 101 and registers it in the alarm information management unit 218. The alarm creation unit 219 creates alarm display information for notifying that a subject to be detected has been detected based on the setting of the alarm information management unit 218. The alarm communication unit 220 transmits the alarm display information created by the alarm creation unit 219 to the operation terminal 105 via the LAN 101. The setting management unit 221 holds information necessary for video analysis processing and alarm creation processing such as settings of the image analysis server 104, settings necessary for video analysis, camera settings, and the like.
図２（Ｃ）は、発明の実施形態に対応する操作端末１０５の機能構成の一例を示すブロック図である。操作端末１０５は、アラーム受信部２３１と、画像取得部２３２と、設定入力部２３３と、設定通信部２３４と、アラーム通知部２３５とを備える。設定入力部２３３は、検出対象とする被写体の画像を含む被写体に関する情報やアラーム設定情報を入力する。設定通信部２３４は、入力された情報をＬＡＮ１０１経由で画像解析サーバ１０４に送信する。アラーム受信部２３１は、画像解析サーバ１０４からアラーム表示情報をＬＡＮ１０１経由で受信する。画像取得部２３２は、受信したアラーム表示情報のアラーム発生時刻の撮像画像を画像録画サーバ１０３から取得する。アラーム通知部２３５は、受信したアラーム表示情報とアラームに関する撮像画像等を含むアラーム表示画面をディスプレイに表示し操作者へアラームを通知する。 FIG. 2C is a block diagram illustrating an example of a functional configuration of the operation terminal 105 corresponding to the embodiment of the invention. The operation terminal 105 includes an alarm reception unit 231, an image acquisition unit 232, a setting input unit 233, a setting communication unit 234, and an alarm notification unit 235. The setting input unit 233 inputs information related to a subject including an image of the subject to be detected and alarm setting information. The setting communication unit 234 transmits the input information to the image analysis server 104 via the LAN 101. The alarm receiving unit 231 receives alarm display information from the image analysis server 104 via the LAN 101. The image acquisition unit 232 acquires a captured image at the alarm occurrence time of the received alarm display information from the image recording server 103. The alarm notification unit 235 displays an alarm display screen including the received alarm display information and a captured image related to the alarm on the display, and notifies the operator of the alarm.
上記構成で本発明が適用できる被写体検出システムの動作の詳細を説明する。まず画像解析サーバ１０４が実行する被写体情報登録処理手順について、図３を参照しながら説明する。 Details of the operation of the subject detection system to which the present invention can be applied with the above configuration will be described. First, the subject information registration processing procedure executed by the image analysis server 104 will be described with reference to FIG.
Ｓ３０１では、被写体情報登録部２１４は、検出対象となる被写体に関する情報が入力されたか否かを判定する。本実施形態では、操作端末１０５から画像解析サーバ１０４に対して当該情報を入力することができる。操作端末１０５の操作者は、被写体情報登録時に、登録しようとする被写体の名称（人物であれば氏名、名称）、被写体画像、被写体に関する記述的情報を含めることができる。例えば、記述的情報には、被写体に関するコメントや、被写体が人物である場合には性別、年齢、その他の当該人物に関連する任意の属性情報を含めることができる。被写体画像は、例えば人物の場合には顔画像とすることができ、複数枚数の画像を登録することができる。複数枚の画像を登録することで、人物を検出する精度をより高めることが可能となる。情報が入力された場合、処理はＳ３０２へ進む。 In S301, the subject information registration unit 214 determines whether or not information related to a subject to be detected has been input. In the present embodiment, the information can be input from the operation terminal 105 to the image analysis server 104. When registering subject information, the operator of the operation terminal 105 can include the name of the subject to be registered (name, name if a person), subject image, and descriptive information about the subject. For example, the descriptive information can include comments regarding the subject, and, if the subject is a person, sex, age, and other arbitrary attribute information related to the person. For example, in the case of a person, the subject image can be a face image, and a plurality of images can be registered. By registering a plurality of images, it is possible to further improve the accuracy of detecting a person. If information is input, the process proceeds to S302.
Ｓ３０２では、Ｓ３０１で入力された情報のチェックを行う。入力値のチェックとして、入力された画像に対し特徴量の抽出処理を行う。例えば、検出対象の被写体が人物の場合には、顔検出処理を行って、入力画像に顔画像が含まれるかどうかを判定する。顔画像が含まれる場合には、顔特徴量抽出処理を更に行って、顔特徴量が抽出する。Ｓ３０１において顔画像が複数枚入力された場合には、顔画像ごとに顔特徴量を抽出する。顔特徴量が抽出できる場合には、処理はＳ３０３へ進む。一方、検出対象の被写体の特徴量が抽出できない場合には、入力された情報は、登録するには不十分な情報であるので、処理はＳ３０１に戻る。Ｓ３０３では、Ｓ３０１で入力された被写体画像等の情報と、Ｓ３０２で抽出した特徴量とを関連付けて被写体情報管理部２１５に被写体情報として登録する。 In S302, the information input in S301 is checked. As an input value check, feature amount extraction processing is performed on the input image. For example, when the subject to be detected is a person, face detection processing is performed to determine whether or not a face image is included in the input image. If a face image is included, the face feature amount extraction process is further performed to extract the face feature amount. When a plurality of face images are input in S301, a face feature amount is extracted for each face image. If the face feature amount can be extracted, the process proceeds to S303. On the other hand, if the feature amount of the subject to be detected cannot be extracted, the input information is insufficient for registration, and the process returns to S301. In step S303, information such as the subject image input in step S301 and the feature amount extracted in step S302 are associated with each other and registered as subject information in the subject information management unit 215.
ここで、被写体情報管理部２１５が管理する被写体情報について説明する。図４（Ａ）は被写体情報として人物情報を登録している登録者リスト４００の一例を示す。登録者リスト４００は、登録者ＩＤ４０１、登録時刻４０２、登録名４０３、特徴量４０４、顔画像４０５、性別４０６、コメント４０７のフィールドを有するが、登録人物に関するさらなる情報が登録されていてもよい。 Here, subject information managed by the subject information management unit 215 will be described. FIG. 4A shows an example of a registrant list 400 in which person information is registered as subject information. The registrant list 400 includes fields of a registrant ID 401, a registration time 402, a registration name 403, a feature amount 404, a face image 405, a gender 406, and a comment 407, but further information on a registered person may be registered.
登録者ＩＤ４０１は、登録人物に対して一意に割り当てられる識別情報であり、登録人物と関連付けられた登録情報を識別するために用いることができる。登録時刻４０２は、被写体情報管理部２１５に当該人物情報が登録された時刻を示す。登録名４０３は、登録された人物の指名、名称等が登録される。登録名４０３は、操作端末１０５から被写体情報を画像解析サーバ１０４に登録する際に、端末操作者により入力することができる。同様に顔画像４０５、性別４０６、コメント４０７は端末操作者により入力された内容を登録することができる。特徴量４０４には、登録人物が含まれる画像において、当該人物を特定するために利用可能な特徴量が登録される。本実施形態では、顔画像４０５から抽出された顔特徴量を登録することができる。また、顔画像以外の他の画像（全身画像、上半身画像、下半身画像、後姿、着衣の画像）が提供される場合にも、それらの画像から抽出された特徴量が登録される。また、提供された他の画像も登録者リスト４００に登録することができる。 The registrant ID 401 is identification information uniquely assigned to a registered person, and can be used to identify registration information associated with the registered person. The registration time 402 indicates the time when the person information is registered in the subject information management unit 215. The registered name 403 is a registered name, name, and the like of the registered person. The registered name 403 can be input by the terminal operator when subject information is registered in the image analysis server 104 from the operation terminal 105. Similarly, the face image 405, the sex 406, and the comment 407 can register the contents input by the terminal operator. In the feature quantity 404, a feature quantity that can be used to identify the person in the image including the registered person is registered. In the present embodiment, the face feature amount extracted from the face image 405 can be registered. Also, in the case where images other than the face image (full body image, upper body image, lower body image, rear view, clothing image) are provided, the feature values extracted from these images are registered. Also, other provided images can be registered in the registrant list 400.
このようにして登録者リストを生成することができるが、当該リストは登録される対象の属性に応じて複数種類を生成することもできる。図４（Ｂ）は、複数種類のリストが生成される場合に、当該リストを管理するための登録者リスト管理テーブルの構成の一例を示す図である。図４（Ｂ）に示すように、図４（Ａ）の一般的な登録人物のリストの他に、例えば要注意人物リストや従業員リストといったリストを作成することもできる。テーブル４１０は、これらのリストを識別するための識別情報であるリストＩＤ、リスト名４１２、コメント４１３が登録される。ここで、リストＩＤ００１の登録者リスト１が図４（Ａ）に示した登録者リスト４００に対応している。 In this way, the registrant list can be generated, but the list can also generate a plurality of types according to the attributes to be registered. FIG. 4B is a diagram illustrating an example of a configuration of a registrant list management table for managing a list when a plurality of types of lists are generated. As shown in FIG. 4B, in addition to the general registered person list shown in FIG. 4A, a list such as a list of people to be watched and an employee list can be created. In the table 410, a list ID, a list name 412, and a comment 413, which are identification information for identifying these lists, are registered. Here, the registrant list 1 with the list ID 001 corresponds to the registrant list 400 shown in FIG.
登録者リスト４００は、一部の情報が操作端末１０５に保持されてもよい。例えば、登録者ＩＤ４０１、登録時刻４０２、登録名４０３、顔画像４０５、性別４０６、コメント４０７の情報は、操作端末１０５側にもリストとして保持されてもよい。このリストを操作端末１０５側での保持しておくことにより、画像解析サーバ１０４から受信したアラーム表示情報を操作端末１０５の表示装置に表示する際に、検出された被写体の画像を特定してアラーム表示に含めることが可能となる。 Part of the registrant list 400 may be held in the operation terminal 105. For example, information on the registrant ID 401, the registration time 402, the registered name 403, the face image 405, the sex 406, and the comment 407 may be held as a list on the operation terminal 105 side. By holding this list on the operation terminal 105 side, when the alarm display information received from the image analysis server 104 is displayed on the display device of the operation terminal 105, the detected object image is identified and the alarm is detected. It can be included in the display.
次に、画像解析サーバ１０４が実行する照合処理について、図５（Ａ）のフローチャートを参照しながら説明する。まず、Ｓ５０１では、画像取得部２１１が、カメラ１０２が撮像した撮像画像を画像録画サーバ１０３経由で受信し、伸長、復号化して画像（動画像若しくは静止画像）を取得する。取得した画像は順次、被写体領域検出部２１２へ送出する。Ｓ５０２では、被写体領域検出部２１２が、照合パターン辞書等を用いて取得した画像から被写体領域を検出する処理を実施する。ここで検出すべき被写体が特定の人物である場合には、撮像画像から人物領域を抽出する。その場合、被写体領域検出部２１２は、画像から人物が含まれる領域であって、少なくとも顔特徴量等を抽出可能な領域を検出する機能を有していればよく、人物領域の検出処理はパターン処理に限定されない。 Next, collation processing executed by the image analysis server 104 will be described with reference to the flowchart of FIG. First, in S501, the image acquisition unit 211 receives a captured image captured by the camera 102 via the image recording server 103, and expands and decodes the acquired image (moving image or still image). The acquired images are sequentially sent to the subject area detection unit 212. In step S502, the subject region detection unit 212 performs processing for detecting a subject region from an image acquired using a matching pattern dictionary or the like. If the subject to be detected is a specific person, a person region is extracted from the captured image. In this case, the subject area detection unit 212 only needs to have a function of detecting an area in which a person is included from an image and can extract at least a facial feature amount and the like. It is not limited to processing.
人物領域を検出するための他の手法としては例えば、以下の方法がある。当該方法では所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの２クラス判別を行う。この判別には、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器はＨＯＧ特徴量で構成されている。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。 As another method for detecting a person area, for example, there is the following method. In this method, a detection window having a predetermined size is scanned on the input image, and two-class discrimination is performed as to whether or not a person is a pattern image obtained by cutting out the image in the detection window. For this discrimination, a discriminator is configured by effectively combining many weak discriminators using Adaboost to improve discrimination accuracy. Further, the discriminators are connected in series to constitute a cascade type detector. The weak classifier is composed of HOG features. The cascade detector first removes a pattern candidate that is clearly not a subject on the spot using a simple discriminator in the previous stage. Only for other candidates, it is determined whether or not it is a person by using a later complex discriminator having higher discrimination performance.
また、被写体領域検出部２１２による被写体領域検出処理においては、必ずしも受信した撮像画像の全体について処理を行う必要はない。例えば、撮像画像のうち特定の領域あるいは範囲をあらかじめ処理対象に定めておき、当該範囲内で被写体が存在するか否かを判定し、被写体領域を抽出してもよい。また、検出対象とする被写体の最大サイズと最小サイズとに基づく範囲を指定しておき、この範囲から外れた被写体の検出を行わないようにすることも可能である。このような処理により、被写体領域の検出処理を高速化することができる。当該範囲などの指定は、情報処理装置１０４又は操作端末１０５のユーザインタフェースを介して被写体領域検出部２１２に処理パラメータを設定することにより行うことができる。 Further, in the subject area detection processing by the subject area detection unit 212, it is not always necessary to perform processing on the entire received captured image. For example, a specific region or range in the captured image may be determined as a processing target in advance, and it may be determined whether or not a subject exists within the range, and the subject region may be extracted. It is also possible to designate a range based on the maximum size and the minimum size of the subject to be detected, and not to detect a subject outside the range. By such processing, the subject region detection processing can be speeded up. The range or the like can be specified by setting a processing parameter in the subject area detection unit 212 via the user interface of the information processing apparatus 104 or the operation terminal 105.
続くＳ５０３では、特徴量取得部２１３が、Ｓ５０２で取得した被写体領域画像から特徴量を抽出する抽出処理を行う。例えば、被写体が人物である場合には、被写体領域である人物領域から顔検出処理を行って顔領域を特定し、当該顔領域から顔特徴量を抽出する。顔検出処理は、画像から目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を行う。すなわち、顔検出処理では、顔位置や顔の大きさ、顔の確からしさ等から顔領域を検出する。 In subsequent S503, the feature amount acquisition unit 213 performs an extraction process of extracting the feature amount from the subject area image acquired in S502. For example, when the subject is a person, face detection processing is performed from the person region that is the subject region, the face region is specified, and the face feature amount is extracted from the face region. In the face detection process, a feature of the face of a person is detected by detecting edges such as eyes and mouth from the image. That is, in the face detection process, a face area is detected from the face position, the face size, the likelihood of the face, and the like.
続くＳ５０４では、照合部２１６が、Ｓ５０３で取得した特徴量と、被写体情報管理部２１５に保持されている被写体情報における特徴量とを照合し、類似度を算出する。例えば、検出しようとする被写体が図４（Ａ）に示す登録者リスト１に含まれる人物である場合、Ｓ５０３で取得した特徴量としての顔特徴量と、登録者リスト４００に登録されている各人物の特徴量４０４とを順に比較して、それぞれについて類似度を算出する。 In subsequent S504, the collation unit 216 collates the feature amount acquired in S503 with the feature amount in the subject information held in the subject information management unit 215, and calculates the similarity. For example, when the subject to be detected is a person included in the registrant list 1 shown in FIG. 4A, the face feature amount as the feature amount acquired in S503 and each registered in the registrant list 400. The feature amount 404 of the person is compared in order, and the similarity is calculated for each.
続くＳ５０５では、照合部２１６が、被写体情報管理部２１５に登録されている被写体と同一とみなされる被写体が検出されたか否かの判定を行う。当該判定は、Ｓ５０４で算出した類似度が所定の類似度閾値以上となるかどうかに基づく。具体的に図４（Ａ）のリストを用いた場合では、登録者リスト４００に登録されている各人物の特徴量４０４と比較して算出された類似度のうち、閾値以上となった特徴量４０４があれば、当該特徴量４０４対応する人物が判定対象の撮像画像に写っている人物とみなすことができるので、登録人物が検出されたことになる。一方、類似度が閾値以上となる特徴量４０４が存在しない場合には、撮像画像に写っている人物は、登録人物ではないとみなすことができる。なお、類似度が閾値以上になる人物が複数存在する場合には、類似度がより高い人物を選択する。また、複数の登録画像が存在する場合には、画像ごとに算出された特徴量との比較を行い、算出された類似度の平均値がより高くなる人物を選択してもよい。 In subsequent S505, the collation unit 216 determines whether or not a subject that is considered to be the same as the subject registered in the subject information management unit 215 has been detected. This determination is based on whether the similarity calculated in S504 is equal to or greater than a predetermined similarity threshold. Specifically, in the case of using the list of FIG. 4A, the feature amount that is equal to or greater than the threshold value among the similarity calculated by comparing with the feature amount 404 of each person registered in the registrant list 400. If there is 404, the person corresponding to the feature quantity 404 can be regarded as a person shown in the captured image to be determined, so that the registered person is detected. On the other hand, when there is no feature quantity 404 having a similarity equal to or greater than the threshold, it can be considered that the person shown in the captured image is not a registered person. If there are a plurality of persons whose similarity is equal to or greater than the threshold, a person with a higher similarity is selected. In addition, when there are a plurality of registered images, a comparison may be made with the feature amount calculated for each image, and a person with a higher average value of the calculated similarities may be selected.
Ｓ５０５において、照合部２１６が登録被写体を検出したと判定される場合、処理はＳ５０６に進む。一方、照合部２１６が登録被写体を検出していないと判定される場合、処理はＳ５０８に進む。Ｓ５０６では、アラーム作成部２１９が、登録された被写体が検出されたことを操作端末１０５において報知（画面表示）するためのアラーム表示情報の作成を行う。このアラーム表示情報は、アラーム情報管理部２１８で設定された条件を満たす検出結果について生成される。続くＳ５０７において、アラーム通信部２２０が、Ｓ５０６で作成したアラーム表示情報を操作端末１０５へ送信する。Ｓ５０８では、本処理を継続するか否かを判別し、継続する場合はＳ５０１へ戻り、継続しない場合は本処理を終了する。 If it is determined in S505 that the collation unit 216 has detected a registered subject, the process proceeds to S506. On the other hand, if it is determined that the collation unit 216 has not detected the registered subject, the process proceeds to S508. In S <b> 506, the alarm creation unit 219 creates alarm display information for notifying (displaying a screen) on the operation terminal 105 that the registered subject has been detected. This alarm display information is generated for a detection result that satisfies the conditions set by the alarm information management unit 218. In subsequent S507, the alarm communication unit 220 transmits the alarm display information created in S506 to the operation terminal 105. In S508, it is determined whether or not to continue this process. If it is to be continued, the process returns to S501. If it is not to be continued, this process is terminated.
Ｓ５０７における送信では、生成したアラーム表示情報を外部装置である操作端末１０５に送信する場合を記載したが、画像解析サーバ１０４がディスプレイ等の表示装置を有する場合に、当該表示装置にも表示してもよい。 In the transmission in S507, the case where the generated alarm display information is transmitted to the operation terminal 105 which is an external device is described. However, when the image analysis server 104 has a display device such as a display, the alarm display information is also displayed on the display device. Also good.
次に図６を参照して、アラーム情報管理部２１８で管理するアラーム設定項目について説明する。図６（Ａ）はアラーム設定リストであり、アラーム情報管理部２１８で管理するアラーム条件設定の一例である。アラーム設定は画像解析サーバ１０４が保持する情報であり、アラームＩＤ６０１、リストＩＤ６０２、アラーム種別６０３、優先度６０４、対象カメラ６０５、アラーム閾値６０６の項目が含まれる。 Next, alarm setting items managed by the alarm information management unit 218 will be described with reference to FIG. FIG. 6A shows an alarm setting list, which is an example of alarm condition settings managed by the alarm information management unit 218. The alarm setting is information held by the image analysis server 104, and includes items of alarm ID 601, list ID 602, alarm type 603, priority 604, target camera 605, and alarm threshold 606.
アラームＩＤ６０１はアラーム設定に対して一意に割り当てられ、アラームを識別するための識別情報である。リストＩＤ６０２は、アラーム設定が適用されるリストＩＤを示し、図４（Ｂ）のリストＩＤ４１１と共通の識別情報が用いられる。図６（Ａ）の設定では登録者リストＩＤ「００１」の登録者が検出された際はアラームＩＤ「１」が出力される。 The alarm ID 601 is uniquely assigned to the alarm setting and is identification information for identifying the alarm. A list ID 602 indicates a list ID to which the alarm setting is applied, and identification information common to the list ID 411 in FIG. 4B is used. In the setting of FIG. 6A, when a registrant with a registrant list ID “001” is detected, an alarm ID “1” is output.
アラーム種別６０３には、撮像画像を解析して検出する内容が登録される。本実施形態では人物検出を行っているため設定値として「Human Detection」が設定されている。画像解析サーバ１０４で他の画像解析を行い、その結果をアラームとして通知する場合には、対応する解析種別を設定することができる。例えば画像解析サーバ１０４で人物が侵入禁止エリアに侵入したことを検知し、それをアラームとして出力することもできる。 In the alarm type 603, contents to be detected by analyzing the captured image are registered. In this embodiment, since human detection is performed, “Human Detection” is set as a setting value. When another image analysis is performed by the image analysis server 104 and the result is notified as an alarm, a corresponding analysis type can be set. For example, the image analysis server 104 can detect that a person has entered the intrusion prohibited area and output it as an alarm.
優先度６０４には、出力するアラームの優先度を示す値が設定される。優先度６０４は、リストＩＤ６０２に登録されるリストの種別に対応付けられている。よって、操作端末１０５上でアラーム表示画面に優先度の表示を含めることで、どのリストに登録されている人物についてアラームが出力されたのかを把握することができる。優先度は、アラームに対する優先度の高低を操作者が認識することを可能とする。例えば、アラームとしての緊急性が高いものほど優先度を高くすることができる。図４（Ｂ）に示したリストとの関連では、リストＩＤ４１１が００２の要注意人物リストには優先度Ｈｉｇｈを割り当て、００１の登録者リスト１にはＭｉｄｄｌｅを割り当て、００３の従業員リストにはＬｏｗを割り当てることができる。また、優先度に応じて操作端末１０５側で別の警報装置へ通知する等のシステムを導入することも可能である。 In the priority 604, a value indicating the priority of the alarm to be output is set. The priority 604 is associated with a list type registered in the list ID 602. Therefore, by including the priority display on the alarm display screen on the operation terminal 105, it is possible to grasp which list the person registered in which alarm is output. The priority allows the operator to recognize the priority level of the alarm. For example, the higher the urgency as an alarm, the higher the priority. In relation to the list shown in FIG. 4B, the priority High is assigned to the list of people to be watched whose list ID 411 is 002, Middle is assigned to the registrant list 1 of 001, and the employee list of 003 is assigned to the list. Low can be assigned. It is also possible to introduce a system such as notifying another alarm device on the operation terminal 105 side according to the priority.
対象カメラ６０５には、アラーム生成の対象となるカメラ１０２を特定する値が登録される。システム１０に接続されているカメラ１０２のすべてを対象とする場合は「all」を示す値が登録される。一部のカメラ１０２のみを指定する場合には、当該カメラを特定するためのカメラＩＤ等を登録することができる。アラーム閾値６０６には、照合部２１６が算出した類似度に基づきアラームを生成する場合に用いるアラーム閾値が登録される。アラーム閾値６０６は、照合部２１６が登録された被写体が検出されたか否かを判定する際に用いる閾値とは異なる。アラーム閾値６０６は、照合部２１６で登録人物と判定した人物について、アラーム生成の有無やアラーム種別の変更等を行うかどうかを判定するために用いられる閾値である。よって、リスト００１や００２の人物が検出されたと照合部２１６が判定した場合には、アラーム閾値は０であるので、全てがアラーム生成の対象となる。アラーム閾値６０６を設定することにより、例えば、画像解析処理の設定パラメータは変更せずにアラームの発行制限を行うことや、類似度が高く登録人物の可能性が高い場合に別のアラーム種別のアラーム生成を行ったりすることができる。 In the target camera 605, a value specifying the camera 102 that is the target of alarm generation is registered. When all the cameras 102 connected to the system 10 are targeted, a value indicating “all” is registered. When only a part of the cameras 102 is designated, a camera ID or the like for specifying the camera can be registered. In the alarm threshold 606, an alarm threshold used when generating an alarm based on the similarity calculated by the collation unit 216 is registered. The alarm threshold 606 is different from the threshold used when the collation unit 216 determines whether a registered subject is detected. The alarm threshold value 606 is a threshold value used for determining whether or not to generate an alarm, change an alarm type, or the like for a person determined to be a registered person by the matching unit 216. Therefore, when the collation unit 216 determines that a person in the list 001 or 002 has been detected, the alarm threshold is 0, so that all are subject to alarm generation. By setting the alarm threshold 606, for example, the issue of an alarm is restricted without changing the setting parameters of the image analysis processing, or an alarm of another alarm type when the similarity is high and the possibility of a registered person is high. Can be generated.
図６（Ｂ）は、発明の実施形態に対応するアラーム表示情報テーブルの一例を示す。アラーム表示情報テーブル６１０は画像解析サーバ１０４が保持する情報であり、検出日時６１１、登録者ＩＤ６１２、登録名６１３、アラーム種別６１４、場所６１５、カメラＩＤ６１６、カメラ名６１７、優先度６１８、登録リスト名６１９、類似度６２０のフィールドを有する。 FIG. 6B shows an example of an alarm display information table corresponding to the embodiment of the invention. The alarm display information table 610 is information held by the image analysis server 104, and includes a detection date and time 611, a registrant ID 612, a registered name 613, an alarm type 614, a location 615, a camera ID 616, a camera name 617, a priority 618, and a registered list name. 619 and a similarity 620 field.
検出日時６１１はカメラ１０２の撮像画像から登録人物が検出された日時である。登録者ＩＤ６１２は、照合部２１６で検出した人物を識別するための識別情報であり、図４（Ａ）の登録者ＩＤ４０１と対応する値が登録される。登録名６１３は、照合部２１６で検出した被写体の登録名であり、図４（Ａ）の登録名４０３と対応する値が登録される。アラーム種別は６１４、アラーム情報管理部２１８の設定条件に基づき作成されたアラームの種類である。場所６１５は、被写体が検出された画像を撮像したカメラ１０２の設置場所である。カメラＩＤ６１６は、被写体を検出した画像を撮像したカメラ１０２の識別情報である。カメラ名６１７は被写体を検出した画像を撮像したカメラ１０２のカメラ名である。優先度６１８は、アラーム情報管理部２１８の設定条件に基づき作成されたアラームの優先度である。登録リスト名６１９は、検出した被写体が含まれるリスト名である。類似度６２０は、被写体を検出した際に算出した類似度である。 The detection date and time 611 is the date and time when the registered person is detected from the captured image of the camera 102. The registrant ID 612 is identification information for identifying the person detected by the matching unit 216, and a value corresponding to the registrant ID 401 in FIG. 4A is registered. The registered name 613 is a registered name of the subject detected by the matching unit 216, and a value corresponding to the registered name 403 in FIG. 4A is registered. The alarm type is 614, and is the type of alarm created based on the setting conditions of the alarm information management unit 218. A place 615 is an installation place of the camera 102 that has captured an image in which a subject is detected. The camera ID 616 is identification information of the camera 102 that has captured an image in which a subject is detected. A camera name 617 is a camera name of the camera 102 that has captured an image in which a subject is detected. The priority 618 is an alarm priority created based on the setting conditions of the alarm information management unit 218. The registered list name 619 is a list name including the detected subject. The similarity 620 is a similarity calculated when a subject is detected.
このようなアラーム表示情報は、画像解析サーバ１０４から操作端末１０５へアラーム表示を操作端末１０５で行うための表示情報として送信され、図７に示すアラーム表示処理手順にしたがって表示される。 Such alarm display information is transmitted from the image analysis server 104 to the operation terminal 105 as display information for displaying an alarm on the operation terminal 105, and is displayed according to the alarm display processing procedure shown in FIG.
次に図６（Ｃ）は、発明の実施形態に対応するカメラ情報テーブル６３０の一例を示す図である。カメラ情報テーブル６３０は、カメラＩＤ６３１、カメラ名６３２、場所６３３、ＩＰアドレス６４４、領域６３５、マップＩＤ６３６、マップ位置６３７の項目を有する。カメラＩＤ６３１には、個々のカメラ１０２を識別する情報が登録される。カメラ名６３２には、個々のカメラに与えられる名称が登録される。場所６３３には、カメラが配置される場所を示す情報が登録される。ＩＰアドレス６３４には、個々のカメラに与えられたＩＰアドレスが登録される。これによりカメラ１０２は外部装置と直接に通信することができる。領域６３５には、カメラが撮影する領域を示す情報が登録される。マップＩＤ６３６には、表示情報で用いられるマップ画像を特定するための識別情報が登録される。マップ位置６３７は、マップＩＤ６３６により特定されるマップ画像上におけるカメラ相対位置を示す情報が登録される。これらの情報は画像解析サーバ１０４が保持する情報であり、カメラ名６３２、場所６３３、領域６３５、マップ位置６３７は、操作端末１０５からも変更が可能である。また、アラーム作成部２１９は、当該情報をアラーム作成時に参照し、作成したアラーム表示情報を操作端末１０５へ送信する。 Next, FIG. 6C is a diagram showing an example of the camera information table 630 corresponding to the embodiment of the invention. The camera information table 630 includes items of camera ID 631, camera name 632, place 633, IP address 644, area 635, map ID 636, and map position 637. Information for identifying each camera 102 is registered in the camera ID 631. In the camera name 632, a name given to each camera is registered. In the place 633, information indicating a place where the camera is arranged is registered. In the IP address 634, an IP address assigned to each camera is registered. This allows the camera 102 to communicate directly with the external device. In the area 635, information indicating an area to be photographed by the camera is registered. In the map ID 636, identification information for specifying a map image used in display information is registered. In the map position 637, information indicating the camera relative position on the map image specified by the map ID 636 is registered. These pieces of information are information held by the image analysis server 104, and the camera name 632, the place 633, the area 635, and the map position 637 can be changed from the operation terminal 105. Further, the alarm creation unit 219 refers to the information when creating the alarm, and transmits the created alarm display information to the operation terminal 105.
次に図６（Ｄ）は、発明の実施形態に対応するマップ情報テーブル６４０の一例を示す図である。マップ情報テーブル６４０は、マップＩＤ６４１、マップ名６４２、画像データ６４３の項目を有する。マップＩＤ６４１は、マップを一意に特定するための識別情報が登録され、カメラ情報テーブル６３０のマップＩＤ６３６と対応する。マップ名６４２には、マップの名称が登録される。画像データ６４３は、マップＩＤで識別されるマップ画像のデータが登録される。本テーブルを参照することにより、マップＩＤが特定されれば、対応するマップ画像を取得することが可能となる。マップ情報テーブル６４０は、画像解析サーバ１０４が保持していてもよいし、操作端末１０５が保持していてもよい。また、両装置がそれぞれ保持していてもよい。 Next, FIG. 6D is a diagram showing an example of the map information table 640 corresponding to the embodiment of the invention. The map information table 640 includes items of a map ID 641, a map name 642, and image data 643. In the map ID 641, identification information for uniquely identifying the map is registered, and corresponds to the map ID 636 in the camera information table 630. In the map name 642, the name of the map is registered. In the image data 643, map image data identified by the map ID is registered. By referring to this table, if a map ID is specified, a corresponding map image can be acquired. The map information table 640 may be held by the image analysis server 104, or may be held by the operation terminal 105. Moreover, both apparatuses may hold | maintain each.
次に、操作端末１０５が実行するアラーム表示処理手順について、図５（Ｂ）のフローチャートを参照しながら説明する。Ｓ５１１において、操作端末１０５は、画像解析サーバ１０４からアラーム表示情報を受信する。続くＳ５１２において、操作端末１０５は、操作端末１０５の表示装置にアラーム表示画面を表示するために、Ｓ５１１で受信したアラーム表示情報を解析する。続くＳ５１３において、Ｓ５１２における解析結果に基づき、アラーム表示情報に含める各種の情報を取得する。当該情報は、画像録画サーバ１０３や画像解析サーバ１０４から取得することもできるし、操作端末１０５自体が保持している場合には操作端末１０５が保持する情報を利用することもできる。例えば、操作端末１０５は、検出日時６１１及びカメラＩＤ６１６に基づいてアラーム発生時の撮像画像を画像録画サーバ１０３から取得する。また、受信したアラーム表示情報の登録者ＩＤ６１２に基づき、登録者リストからアラーム表示に含める顔画像を取得する。また、アラーム表示情報のカメラＩＤ６１６に基づき、カメラ情報テーブル６３０に従いマップＩＤ６３６及びマップ位置６３７を取得する。また、取得したマップＩＤ６３６とマップ情報テーブル６４０とに基づき、対応するマップ画像データを取得する。 Next, the alarm display processing procedure executed by the operation terminal 105 will be described with reference to the flowchart of FIG. In step S <b> 511, the operation terminal 105 receives alarm display information from the image analysis server 104. In subsequent S512, the operation terminal 105 analyzes the alarm display information received in S511 in order to display the alarm display screen on the display device of the operation terminal 105. In subsequent S513, various information included in the alarm display information is acquired based on the analysis result in S512. The information can be acquired from the image recording server 103 or the image analysis server 104. When the operation terminal 105 itself holds, the information held by the operation terminal 105 can be used. For example, the operation terminal 105 acquires a captured image at the time of alarm occurrence from the image recording server 103 based on the detection date 611 and the camera ID 616. Further, based on the registrant ID 612 of the received alarm display information, a face image to be included in the alarm display is acquired from the registrant list. Further, based on the camera ID 616 of the alarm display information, the map ID 636 and the map position 637 are acquired according to the camera information table 630. Also, corresponding map image data is acquired based on the acquired map ID 636 and the map information table 640.
続くＳ５１４では、以上により取得した情報に基づいてアラーム表示画面を操作端末１０５の表示装置上に表示する。アラーム表示画面は、アラーム表示情報に含まれる検出日時、アラーム種別などのテキストデータの他、検出した被写体の画像、被写体が検出された画像を撮像カメラ１０２の位置により、マップ上において被写体が検出された位置を示すマップ画像等を含むことができる。Ｓ５１４におけるアラーム画面表示では、Ｓ５１３で取得した情報を全て表示してもよいが、操作者の設定や操作に応じて、所定の情報に絞り込んで表示を行ったり、段階的に情報を提供したりするようにしてもよい。 In subsequent S514, an alarm display screen is displayed on the display device of the operation terminal 105 based on the information acquired as described above. In the alarm display screen, in addition to text data such as detection date and time and alarm type included in the alarm display information, the subject is detected on the map based on the position of the imaging camera 102 based on the detected subject image and the subject detected image. A map image showing the position is displayed. In the alarm screen display in S514, all of the information acquired in S513 may be displayed. However, according to the setting and operation of the operator, the information is narrowed down to predetermined information, or information is provided step by step. You may make it do.
また、アラーム表示情報を画像解析サーバ１０４がディスプレイ等の表示装置に表示する場合には、画像解析サーバ１０４が図５（Ｂ）の処理を実行することができる。 Further, when the image analysis server 104 displays the alarm display information on a display device such as a display, the image analysis server 104 can execute the process of FIG.
次に、発明の実施形態に対応するアラーム表示画面の例を説明する。図７は発明の実施形態に対応するアラーム表示画面の一例を示す図である。図７に示すアラーム表示画面７０１は、アラーム情報リスト７０２、被写体情報表示領域７０３、撮像画像７０４、登録画像７０５、操作パネル７０６、マップ画像７０７、カメラ標識７０８を含めることができる。 Next, an example of an alarm display screen corresponding to the embodiment of the invention will be described. FIG. 7 is a diagram showing an example of an alarm display screen corresponding to the embodiment of the invention. The alarm display screen 701 illustrated in FIG. 7 can include an alarm information list 702, a subject information display area 703, a captured image 704, a registered image 705, an operation panel 706, a map image 707, and a camera sign 708.
アラーム情報リスト７０２は、検出された被写体を一覧表示するリストであり、検出対象の被写体が検出される度にリストの先頭行に当該検出被写体に関する情報が追加される。被写体情報表示領域７０３には、被写体が検出されたときに撮像された撮像画像７０４と、検出された被写体の登録画像７０５、撮像画像７０４が動画である場合、あるいは、複数枚の静止画である場合に、表示を制御するための操作パネル７０６が含まれる。アラーム情報リスト７０２の中からから、いずれかの検出被写体が選択されると、選択された被写体の検出時の画像が撮像画像７０４として表示される。また、当該被写体の画像が登録画像７０５として表示される。これにより、操作端末１０５の操作者は、検出時の被写体の様子を把握すると同時に、検出された被写体が誰（何）であるかを登録画像７０５により直ちに認識することが可能となる。よって、撮像画像７０４からは被写体を認識しづらい場合であっても、直ちに検出された被写体を特定することが可能となる。登録画像７０５を表示する場合に、枠の色を優先度に対応する色としてもよい。例えば、優先度がＨｉｇｈの場合は赤、Ｍｉｄｄｌｅは黄色、Ｌｏｗは青といったように色分けすることにより、検出された被写体の優先度を直感的に把握することが可能となる。 The alarm information list 702 is a list that displays a list of detected subjects, and each time a subject to be detected is detected, information on the detected subject is added to the top row of the list. The subject information display area 703 includes a captured image 704 captured when the subject is detected, a registered image 705 of the detected subject, and a captured image 704 that are moving images, or a plurality of still images. In some cases, an operation panel 706 for controlling the display is included. When any detected subject is selected from the alarm information list 702, an image at the time of detection of the selected subject is displayed as a captured image 704. In addition, an image of the subject is displayed as a registered image 705. As a result, the operator of the operation terminal 105 can grasp the state of the subject at the time of detection and can immediately recognize who (what) the detected subject is from the registered image 705. Therefore, even if it is difficult to recognize the subject from the captured image 704, the detected subject can be immediately identified. When the registered image 705 is displayed, the color of the frame may be a color corresponding to the priority. For example, when the priority is High, the priority of the detected subject can be intuitively grasped by color classification such as red, Middle is yellow, and Low is blue.
マップ７０７には、撮像画像７０４を撮像したカメラ１０２に対応するマップ画像が表示され、当該カメラ１０２の位置がカメラ標識７０８により示される。これにより、どのカメラ１０２によって被写体が検出されたか、換言すれば、マップ上のどの位置において被写体が検出されたかを直ちに把握することができる。 On the map 707, a map image corresponding to the camera 102 that captured the captured image 704 is displayed, and the position of the camera 102 is indicated by a camera sign 708. Thereby, it is possible to immediately grasp which camera 102 has detected the subject, in other words, at which position on the map the subject has been detected.
次に、図８を参照して、発明の実施形態に対応するアラーム表示画面の他の例を説明する。図８は発明の実施形態に対応するアラーム表示画面の他の一例を示す図である。図８に示すアラーム表示画面８０１は図７に示したアラーム表示画面７０１とほぼ同様であるが、図７では登録画像が１枚であったのに対して、図８では３枚の登録画像が表示される点で異なっている。登録画像８０１から８０３は、同一の被写体について登録された画像である。ここでは、人物を想定しているので同一人物について３枚の画像が登録されている。これらの画像は登録者リスト４００に登録された画像を用いることができるので、登録者リスト４００に複数枚の画像が登録されていれば、それらを表示することができる。 Next, another example of the alarm display screen corresponding to the embodiment of the invention will be described with reference to FIG. FIG. 8 is a diagram showing another example of an alarm display screen corresponding to the embodiment of the invention. The alarm display screen 801 shown in FIG. 8 is almost the same as the alarm display screen 701 shown in FIG. 7, but in FIG. 7, there is one registered image, whereas in FIG. 8, three registered images are displayed. It differs in that it is displayed. Registered images 801 to 803 are images registered for the same subject. Here, since a person is assumed, three images are registered for the same person. Since these images can use images registered in the registrant list 400, if a plurality of images are registered in the registrant list 400, they can be displayed.
また、複数の画像を表示する場合、撮像画像から抽出された特徴量との類似度が最も高いと判定された登録画像を優先して表示することができる。その際に、類似度がより高いと判定された画像を識別可能に表示してもよい。例えば、類似度が高いほど表示サイズを大きくしたり、撮像画像７０４の近くに表示したりしてもよい。 Further, when displaying a plurality of images, it is possible to preferentially display a registered image determined to have the highest similarity with the feature amount extracted from the captured image. At that time, an image determined to have a higher similarity may be displayed in an identifiable manner. For example, the higher the similarity is, the larger the display size may be, or the closer the captured image 704 is displayed.
次に、図９を参照して、発明の実施形態に対応するアラーム表示画面の更に他の例を説明する。図９は発明の実施形態に対応するアラーム表示画面の更に他の一例を示す図である。図９に示すアラーム表示画面９０１は図７に示したアラーム表示画面７０１とほぼ同様であるが、図７と比較して撮像画像７０４をより大きく表示するとともに、登録画像をマップ７０７上に表示している点で異なる。アラーム表示画面７０１では、被写体を検出したカメラの位置をカメラ標識７０８により示していたが、図９に示すように登録画像９０２を標識として用いて当該カメラと関連付けることにより、被写体が検出された位置をマップ上で特定できると同時に、被写体が誰（何）であるかを把握することが可能となる。また、図９に示すように、操作端末１０５のアラーム表示画面上において、アラーム情報リスト７０２、被写体情報表示領域７０３及びマップ７０７の表示位置は固定的ではなく、任意に変更が可能である。 Next, still another example of the alarm display screen corresponding to the embodiment of the invention will be described with reference to FIG. FIG. 9 is a diagram showing still another example of an alarm display screen corresponding to the embodiment of the invention. The alarm display screen 901 shown in FIG. 9 is almost the same as the alarm display screen 701 shown in FIG. 7, but the captured image 704 is displayed larger than that in FIG. 7 and the registered image is displayed on the map 707. Is different. In the alarm display screen 701, the position of the camera that detected the subject is indicated by the camera sign 708. However, as shown in FIG. 9, the position where the subject is detected by associating with the camera using the registered image 902 as a sign. Can be identified on the map, and at the same time, it is possible to grasp who (what) the subject is. As shown in FIG. 9, the display positions of the alarm information list 702, the subject information display area 703, and the map 707 on the alarm display screen of the operation terminal 105 are not fixed and can be arbitrarily changed.
次に、図１０を参照して、発明の実施形態に対応するアラーム表示画面の更に他の例を説明する。図１０は発明の実施形態に対応するアラーム表示画面の更に他の一例を示す図である。図１０に示すアラーム表示画面１００１は図７に示したアラーム表示画面７０１とほぼ同様であるが、図７と比較して登録画像１００２から１００４がマップ上７０７にも表示されるとともに、登録画像７０５と関連付けて検出日時、登録名、検出場所の情報１００５が表示される点で異なる。 Next, still another example of the alarm display screen corresponding to the embodiment of the invention will be described with reference to FIG. FIG. 10 is a diagram showing still another example of an alarm display screen corresponding to the embodiment of the invention. The alarm display screen 1001 shown in FIG. 10 is almost the same as the alarm display screen 701 shown in FIG. 7, but the registered images 1002 to 1004 are also displayed on the map 707 and the registered image 705 compared to FIG. And the detection date / time, registered name, and detection location information 1005 are displayed.
登録画像１００２は、カメラ標識７０８で示すカメラ１０２で検出された被写体の登録画像を表示する。また、登録画像１００３及び１００４は、登録画像１００２に対応する画像であって、カメラ標識７０８で示すカメラ１０２で検出される以前に、同一の被写体を検出したカメラ１０２をマップ上で示すための標識として機能しえる。このように過去に検出された位置をマップ上で示すことにより、検出対象の被写体の移動の軌跡をマップ上に示すことが可能となる。このとき被写体の移動方向が分かりやすいように、移動の方向を示す表示を付加してもよい。例えば、被写体の移動方向に合わせて矢印等の方向を示す表示を重畳してもよい。あるいは、表示する登録画像の透明度や色や枠等の画像表示形態を変える等で過去のアラームであることが分かるようにすることも可能である。具体的には、新しく検出された位置程、透明度を低くし、古い検出位置ほど透明度を高くすることができる。 A registered image 1002 displays a registered image of a subject detected by the camera 102 indicated by a camera sign 708. Registered images 1003 and 1004 are images corresponding to the registered image 1002, and are signs for indicating the camera 102 that has detected the same subject on the map before being detected by the camera 102 indicated by the camera sign 708. Can function as. Thus, by indicating the positions detected in the past on the map, it is possible to indicate the movement trajectory of the subject to be detected on the map. At this time, a display indicating the moving direction may be added so that the moving direction of the subject can be easily understood. For example, a display indicating a direction such as an arrow may be superimposed in accordance with the moving direction of the subject. Alternatively, it is possible to make it known that the alarm is a past alarm by changing the image display form such as the transparency, color, and frame of the registered image to be displayed. Specifically, the transparency can be lowered as the position is newly detected, and the transparency can be increased as the detection position is older.
情報１００５は、検出された被写体に関する情報の別の表示形態の例を示す。当該情報は、アラーム情報リスト７０２に含まれる情報を用いてもよい。これにより、検出された被写体に関する情報を登録画像と対応付けてより把握しやすくすることができる。情報１００５の表示位置は、図１０に示した位置に限定されるものではなく、マップ７０７上に表示してもよい。また、情報１００５に含める情報の種類は、操作端末１０５の操作者が任意に選択できるようにしてもよい。 Information 1005 shows an example of another display form of information about the detected subject. As the information, information included in the alarm information list 702 may be used. Thereby, it is possible to make it easier to grasp information relating to the detected subject in association with the registered image. The display position of the information 1005 is not limited to the position shown in FIG. 10 and may be displayed on the map 707. Further, the type of information included in the information 1005 may be arbitrarily selected by the operator of the operation terminal 105.
次に、図１１を参照して、発明の実施形態に対応するアラーム表示画面における撮像画像７０４及びマップ７０７の他の表示形態を説明する。図１１（Ａ）は発明の実施形態に対応する撮像画像７０４の他の表示形態の一例を示す図である。図１１（Ａ）に示す撮像画像７０４においては、検出対象の被写体が撮像画像７０４に含まれる被写体のうちのいずれであるかを示す標識１１０１と、被写体の登録名１１０２とが撮像画像に重畳表示される。これの表示により、撮像画像中において検出対象の被写体を直ちに特定することが可能となる。この時、登録名１１０２と共に他の被写体情報を表示してもよい。例えば、登録画像を合わせて表示してもよい。これらの標識の表示は、画像解析サーバ１０４における画像解析において顔領域を撮像画像から検出した際に特定した顔位置の情報を利用することができる。当該顔位置の情報は、アラーム表示情報に含められて、画像解析サーバ１０４から操作端末１０５に提供される。 Next, another display form of the captured image 704 and the map 707 on the alarm display screen corresponding to the embodiment of the invention will be described with reference to FIG. FIG. 11A is a diagram showing an example of another display form of the captured image 704 corresponding to the embodiment of the invention. In the captured image 704 shown in FIG. 11A, a marker 1101 indicating which of the subjects included in the captured image 704 is a detection target subject and a registered name 1102 of the subject are superimposed on the captured image. Is done. This display makes it possible to immediately specify the subject to be detected in the captured image. At this time, other subject information may be displayed together with the registered name 1102. For example, registered images may be displayed together. For the display of these signs, information on the face position specified when the face area is detected from the captured image in the image analysis in the image analysis server 104 can be used. The face position information is included in the alarm display information and provided from the image analysis server 104 to the operation terminal 105.
次に、図１１（Ｂ）及び（Ｃ）は発明の実施形態に対応するマップ７０７の他の表示形態の一例を示す図である。図１１（Ｂ）に示すマップ７０７においては、検出対象の被写体を検出したカメラ１０２を示すカメラ標識１１０３が、図７等に示したカメラ標識７０８とは異なっている。これは標識の表示形態を、アラームの優先度に対応させたものであって、アラームの優先度が高い場合には、優先度が高いことを示すように標識の表示を切り替えることができる。これによりマップ表示を見るだけで、優先度の高さを直感的に認識することが可能となる。 Next, FIGS. 11B and 11C are diagrams showing examples of other display forms of the map 707 corresponding to the embodiment of the invention. In the map 707 shown in FIG. 11B, a camera sign 1103 indicating the camera 102 that has detected the subject to be detected is different from the camera sign 708 shown in FIG. This is a display form of the sign corresponding to the priority of the alarm. When the priority of the alarm is high, the display of the sign can be switched so as to indicate that the priority is high. This makes it possible to intuitively recognize the high priority only by looking at the map display.
また、現在マップで表示されている検出被写体よりもアラームの優先度が高い被写体が検出された場合には、図１１（Ｃ）に示すように選択されていない検出被写体であっても重畳表示をして、操作者に通知を行うことができる。例えば、アラーム情報リスト７０２において選択され表示されていた検出被写体が、優先度がＭｉｄｄｌｅの人物Ａであり、操作者は当該人物Ａについて撮像画像を確認している最中に、優先度がＨｉｇｈの人物Ｚが検出された場合を想定する。この時、操作者は直ちに人物Ｚについて把握するべきであるが、アラーム情報リスト７０２に人物Ｚについての情報が一行追加されただけでは気づかないことも考えられる。そこで、現在表示している被写体よりも優先度の高い被写体が検出された場合には、マップ上で当該人物を検出したカメラ位置を標識１１０３を使って通知することで、操作者に確実に新しい被写体が検出されたことを通知することができる。このとき、単に画面上の表示によるだけではなく、音声を出力することにより操作者に通知してもよい。 Further, when a subject having a higher alarm priority than the detected subject currently displayed on the map is detected, even if the subject is not selected as shown in FIG. Thus, the operator can be notified. For example, the detected subject selected and displayed in the alarm information list 702 is a person A having a priority of Middle, and the operator has a priority of High while confirming a captured image of the person A. Assume that a person Z is detected. At this time, the operator should immediately grasp the person Z, but it is also conceivable that the operator does not notice just by adding one line of information about the person Z to the alarm information list 702. Therefore, when a subject having a higher priority than the currently displayed subject is detected, the camera position where the person is detected on the map is notified using the sign 1103, so that the operator is surely new. It can be notified that the subject has been detected. At this time, the operator may be notified not only by display on the screen but also by outputting sound.
以上に説明した発明の実施形態によれば、被写体検出システムにおいて、登録されている検出対象の被写体を検出した際の表示の視認性を向上させることが可能となる。 According to the embodiment of the invention described above, in the subject detection system, it is possible to improve display visibility when a registered subject to be detected is detected.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０...被写体検出システム、１０１...ＬＡＮ、１０２...ネットワークカメラ、１０３...画像録画サーバ、１０４...画像解析サーバ、１０５...操作端末 DESCRIPTION OF SYMBOLS 10 ... Subject detection system, 101 ... LAN, 102 ... Network camera, 103 ... Image recording server, 104 ... Image analysis server, 105 ... Operation terminal
Claims (17)
前記特徴情報に基づいて、撮像画像から前記被写体を検出する検出手段と、
前記検出手段が第１の撮像画像において検出した前記被写体について、前記被写体の検出を報知するための表示情報を生成する生成手段と
前記表示情報を出力する出力手段と
を備え、
前記生成手段は、前記第１の撮像画像と、検出された前記被写体に関する情報と、前記検出された被写体の前記特徴情報とが関連付けられて表示されるように前記表示情報を生成する
ことを特徴とする情報処理装置。 Holding means for holding feature information of a subject to be detected from the captured image;
Detecting means for detecting the subject from a captured image based on the feature information;
For the subject detected by the detection means in the first captured image, a generation means for generating display information for informing the detection of the subject, and an output means for outputting the display information,
The generation unit generates the display information so that the first captured image, information about the detected subject, and the feature information of the detected subject are displayed in association with each other. Information processing apparatus.
前記生成手段は、前記複数の被写体のうち、前記リストにおいて選択された第１の被写体について、前記第１の被写体が検出された撮像画像と、検出された前記第１の被写体を特定する情報と、前記検出された第１の被写体の前記特徴情報が表示されるように前記表示情報を生成することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。 The display information further includes a list of information regarding a plurality of subjects detected in the past,
For the first subject selected from the list among the plurality of subjects, the generation means includes a captured image in which the first subject is detected, and information for identifying the detected first subject. The information processing apparatus according to claim 1, wherein the display information is generated so that the characteristic information of the detected first subject is displayed.
前記生成手段は、前記第１の被写体の優先度が表示されるように前記表示情報を生成することを特徴とする請求項１１に記載の情報処理装置。 The list includes at least information on priorities related to notification of detection of the subject,
The information processing apparatus according to claim 11, wherein the generation unit generates the display information so that a priority of the first subject is displayed.
前記撮像装置が撮像した撮像画像を処理する請求項１から１３のいずれか１項に記載の情報処理装置と、
前記情報処理装置が出力した表示情報を表示する表示装置と
を備える、被写体検出システム。 An imaging device;
The information processing apparatus according to any one of claims 1 to 13, which processes a captured image captured by the imaging apparatus.
A subject detection system comprising: a display device that displays display information output by the information processing device.
検出手段が、撮像画像から検出すべき被写体の特徴情報に基づいて、撮像画像から前記被写体を検出する検出工程と、
生成手段が、前記検出工程において前記被写体が検出された場合に、前記被写体の検出を報知するための表示情報を生成する生成工程と
出力手段が、前記表示情報を出力する出力工程と
を含み、
前記生成工程では、前記撮像画像と、検出された前記被写体に関する情報と、前記検出された被写体の前記特徴情報とが関連付けられて表示されるように前記表示情報が生成される
ことを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus,
A detecting step of detecting the subject from the captured image based on the feature information of the subject to be detected from the captured image;
A generating unit that generates display information for notifying the detection of the subject when the subject is detected in the detection step; and an output unit that outputs the display information.
In the generation step, the display information is generated so that the captured image, information about the detected subject, and the feature information of the detected subject are displayed in association with each other. A method for controlling an information processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018037730A JP7145622B2 (en) | 2018-03-02 | 2018-03-02 | Information processing device, information processing device control method, subject detection system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018037730A JP7145622B2 (en) | 2018-03-02 | 2018-03-02 | Information processing device, information processing device control method, subject detection system, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019153920A true JP2019153920A (en) | 2019-09-12 |
| JP2019153920A5 JP2019153920A5 (en) | 2021-04-15 |
| JP7145622B2 JP7145622B2 (en) | 2022-10-03 |
Family
ID=67947056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018037730A Active JP7145622B2 (en) | 2018-03-02 | 2018-03-02 | Information processing device, information processing device control method, subject detection system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7145622B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111182265A (en) * | 2019-12-31 | 2020-05-19 | 浙江大华技术股份有限公司 | Video monitoring equipment cascading method and device |
| WO2023203637A1 (en) * | 2022-04-19 | 2023-10-26 | 日本電気株式会社 | Monitoring system, information processing device, monitoring device, method, and non-transitory computer recording medium |
| JP7382465B2 (en) | 2021-09-30 | 2023-11-16 | ウーブン・バイ・トヨタ株式会社 | Vehicle data collection system and how to use it |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077064A (en) * | 2007-09-19 | 2009-04-09 | Fujifilm Corp | Monitoring method and monitoring apparatus |
| WO2016147770A1 (en) * | 2015-03-19 | 2016-09-22 | 日本電気株式会社 | Monitoring system and monitoring method |
| JP2018018150A (en) * | 2016-07-25 | 2018-02-01 | ユニティガードシステム株式会社 | Crime prevention system, crime prevention method, and robot |
-
2018
- 2018-03-02 JP JP2018037730A patent/JP7145622B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077064A (en) * | 2007-09-19 | 2009-04-09 | Fujifilm Corp | Monitoring method and monitoring apparatus |
| WO2016147770A1 (en) * | 2015-03-19 | 2016-09-22 | 日本電気株式会社 | Monitoring system and monitoring method |
| JP2018018150A (en) * | 2016-07-25 | 2018-02-01 | ユニティガードシステム株式会社 | Crime prevention system, crime prevention method, and robot |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111182265A (en) * | 2019-12-31 | 2020-05-19 | 浙江大华技术股份有限公司 | Video monitoring equipment cascading method and device |
| CN111182265B (en) * | 2019-12-31 | 2021-12-17 | 浙江大华技术股份有限公司 | Video monitoring equipment cascading method and device |
| JP7382465B2 (en) | 2021-09-30 | 2023-11-16 | ウーブン・バイ・トヨタ株式会社 | Vehicle data collection system and how to use it |
| WO2023203637A1 (en) * | 2022-04-19 | 2023-10-26 | 日本電気株式会社 | Monitoring system, information processing device, monitoring device, method, and non-transitory computer recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7145622B2 (en) | 2022-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7160154B2 (en) | System, abnormality determination device and method | |
| JP5339476B2 (en) | Image processing system, fever tracking method, image processing apparatus, control method thereof, and control program | |
| JP2022082561A (en) | Analysis server, monitoring system, monitoring method, and program | |
| JP6885682B2 (en) | Monitoring system, management device, and monitoring method | |
| JP5523900B2 (en) | Person search device, person search method, and person search program | |
| CN102859554B (en) | Collating device | |
| KR20130085315A (en) | Method for video surveillance system based on human identification | |
| JP5590945B2 (en) | Person search device, person search method, and person search program | |
| JP7145622B2 (en) | Information processing device, information processing device control method, subject detection system, and program | |
| JP2019020777A (en) | Information processing device, control method of information processing device, computer program, and storage medium | |
| WO2018179202A1 (en) | Information processing device, control method, and program | |
| JP2009077064A (en) | Monitoring method and monitoring apparatus | |
| JP6206627B1 (en) | Information processing apparatus, control method, and program | |
| JP5202419B2 (en) | Security system and security method | |
| JP2022003526A (en) | Information processor, detection system, method for processing information, and program | |
| JP2013046135A (en) | Image providing apparatus, image utilization apparatus, image providing system, image providing method, and computer program | |
| JP7210163B2 (en) | Image processing device, image processing method and program | |
| US20180197000A1 (en) | Image processing device and image processing system | |
| WO2022059223A1 (en) | Video analyzing system and video analyzing method | |
| JP2018092599A (en) | Information processing device, control method and program | |
| JP2020191585A (en) | Information processing device, information processing method, and program | |
| JP2014016969A (en) | Face matching system | |
| US20160188856A1 (en) | Authentication device, authentication method, and non-transitory computer readable medium | |
| JP2022011666A (en) | Image processing device, image processing method, and program | |
| JP7039084B1 (en) | Self-registration monitoring system and self-registration monitoring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210301 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220920 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7145622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |