JP2011186733A - Image search device - Google Patents

Image search device Download PDF

Info

Publication number
JP2011186733A
JP2011186733A JP2010050655A JP2010050655A JP2011186733A JP 2011186733 A JP2011186733 A JP 2011186733A JP 2010050655 A JP2010050655 A JP 2010050655A JP 2010050655 A JP2010050655 A JP 2010050655A JP 2011186733 A JP2011186733 A JP 2011186733A
Authority
JP
Japan
Prior art keywords
image
search
registration
unit
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010050655A
Other languages
Japanese (ja)
Other versions
JP5058279B2 (en
Inventor
Sumie Nakabayashi
澄江 中林
Seiichi Hirai
誠一 平井
Hideaki Uchikoshi
秀昭 打越
Tsuneo Kawaba
庸生 川場
Takashi Mito
崇 三戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2010050655A priority Critical patent/JP5058279B2/en
Priority to PCT/JP2010/006029 priority patent/WO2011111129A1/en
Publication of JP2011186733A publication Critical patent/JP2011186733A/en
Application granted granted Critical
Publication of JP5058279B2 publication Critical patent/JP5058279B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
    • H04N1/2187—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries with image input from a plurality of different locations or from a non-central location, e.g. from one or more users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/2179—Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034—Details of the connection, e.g. connector, interface
    • H04N2201/0037—Topological details of the connection
    • H04N2201/0039—Connection via a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image search device for efficiently searching for images. <P>SOLUTION: The image search device includes an image recording device 202 which records image data from imaging devices 201-1 to 201-n. The image search device is provided to search for similar images. An image feature quantity registration part 210 calculates and registers the feature quantity of the image data. An image feature quantity storage part 220 stores the feature quantity of the calculated image data. An image search part 230 searches for the image using the feature quantity of the image, based on input search conditions. A user interface part 240 notifies the image search part 230 of the input search conditions, and displays the search results. The image search part 230 searches for the similar images using the image feature quantity, and counts the number of searches of the searched images with a high degree of similarity. In addition, the user interface part 240 displays the result, depending on the conditions and the number of counts which are specified by the user in advance. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像の特徴量を使用して画像を検索する画像検索装置に係り、特に監視カメラ等の撮像装置の記録画像データから類似画像を検索して表示する画像検索装置に関する。   The present invention relates to an image retrieval apparatus that retrieves an image using image feature amounts, and more particularly to an image retrieval apparatus that retrieves and displays a similar image from recorded image data of an imaging apparatus such as a monitoring camera.

近年、セキュリティ（安全）意識の高まりや、警備の省力化の要求から、監視用の動画や静止画像のカメラ（監視カメラ）を用いた監視システムが注目されている。
監視システムは、防犯用の監視カメラ等の撮像装置、及び撮像装置で取得した静止画や動画の画像の表示機能を含むシステムである。
監視システムにおいては、ホテル、ビル、コンビニエンスストア、金融機関、ダム、又は道路のような不特定多数の人が訪れる施設等の防犯・防災用に監視したい場所に撮像装置を配置する。そして、撮像された映像を、管理室等にいる監視者が監視し、目的や必要に応じて注意を喚起したり、映像を録画・保存したりする。
しかしながら、昨今、監視システムが大規模化、広域化している。これに伴って、監視カメラの数も増大し、映像を目視でチェックするシステムでは、監視担当者の負担が増大している。
また、大量の記録画像から必要な画像を探し出すのために、膨大な時間がかかるようになってきている。 In recent years, surveillance systems using surveillance video and still image cameras (surveillance cameras) have been attracting attention because of increasing security (safety) awareness and demands for labor saving of security.
The monitoring system is a system that includes an imaging device such as a security monitoring camera, and a display function of still images and moving images acquired by the imaging device.
In the monitoring system, an imaging device is arranged at a place to be monitored for crime prevention / disaster prevention such as a hotel, a building, a convenience store, a financial institution, a dam, or a facility visited by an unspecified number of people. Then, the imaged video is monitored by a supervisor in the management room or the like to call attention or record / store the video according to the purpose or necessity.
However, recently, monitoring systems are becoming larger and wider. Along with this, the number of surveillance cameras has also increased, and the burden on the person in charge of surveillance has increased in a system that visually checks video.
In addition, it takes an enormous amount of time to search for a necessary image from a large number of recorded images.

このため、センサーアラーム等の事象発生等の検出事象と連動し、必要な部分の画像録画や、各種検出事象そのものを検索条件とした記録画像の検索技術が開発されている。
しかしながら、このような記録画像の検索技術を備えたシステムでは、検出事象を予め設定しておく必要があった。このため、予め設定されていない検出事象が発生した場合には、録画がされていないか、録画がされている場合であっても記録画像を目視等でチェックする必要があった。 Therefore, in conjunction with detection events such as the occurrence of events such as sensor alarms, image recording techniques have been developed that record images of necessary portions and recorded images using various detection events themselves as search conditions.
However, in a system equipped with such a recorded image search technique, it is necessary to set a detection event in advance. For this reason, when a detection event that is not set in advance occurs, it is necessary to visually check the recorded image even if the recording is not performed or the recording is performed.

これに対して、近年、予め検出事象を設定していなくても、キー画像を使用して、記録画像からキー画像に類似の画像を検索する技術が提案されている。
これは、キー画像の画像特徴量と記録画像の画像特徴量の類似度を計算して、類似度の大きい記録画像を検索結果として選択するものである。 On the other hand, in recent years, a technique has been proposed in which a key image is used to search for an image similar to a key image from a recorded image without setting a detection event in advance.
In this method, the similarity between the image feature quantity of the key image and the image feature quantity of the recorded image is calculated, and a recorded image having a high similarity is selected as a search result.

このような従来のキー画像から類似画像を検索する画像記録装置として、特許文献１を参照すると、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する画像記録装置及びその制御方法が記載されている（以下、従来技術１とする。）。   As an image recording apparatus for searching for a similar image from such a conventional key image, referring to Patent Document 1, in an image recording apparatus having a storage medium for storing a plurality of search target image data, a plurality of search target image data are stored. There is described an image recording apparatus that searches and extracts similar image data similar to key image data from among them, and displays the retrieved similar image data and key image data in a manner that can be visually distinguished, and a control method thereof. (Hereinafter referred to as Conventional Technology 1).

特開２００５−３５２７８０号公報JP 2005-352780 A

ここで、テロ（テロリズム）等の犯罪において、犯罪計画者は実行に先立って下見をすることが多いことが知られている。
しかしながら、従来技術１のような従来の警備システムにおいては、犯罪計画者を含む不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないことがあった。
このため、不審者情報を取りこぼしてしまうことがあるという問題があった。 Here, it is known that in crimes such as terrorism (terrorism), crime planners often preview before execution.
However, in the conventional security system such as the prior art 1, even if a suspicious person including a crime planner appears several times in the same place, the sighting information may not be carried over if the security guard is changed. It was.
For this reason, there is a problem that suspicious person information may be missed.

本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。   This invention is made | formed in view of such a condition, and makes it a subject to eliminate the above-mentioned subject.

本発明の画像検索装置は、撮像装置からの画像データを記録する画像記録装置と、前記画像データの特徴量を登録する特徴量登録手段と、前記画像データの登録ＩＤと、登録された前記特徴量とを記憶する特徴量記憶手段と、入力された検索条件をもとに、前記登録ＩＤの前記特徴量を使用して検索を行う画像検索手段と、入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、前記画像検索手段は、前記登録ＩＤの前記特徴量を用いて、類似性の高い特徴量をもつ登録ＩＤの検索を行い、検索された前記類似性の高い特徴量をもつ登録ＩＤが検索された回数をカウントし、ユーザにより設定された条件と前記カウントされた回数に応じて、前記ユーザインタフェース手段に表示を行わせることを特徴とする。
ことを特徴とする。
本発明の画像検索装置は、前記画像検索手段は、あらかじめ指定された登録ＩＤの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせないことを特徴とする。 The image search device of the present invention includes an image recording device that records image data from an imaging device, a feature amount registration unit that registers a feature amount of the image data, a registration ID of the image data, and the registered feature A feature amount storage means for storing the amount, an image search means for performing a search using the feature amount of the registration ID based on the input search condition, and the image search for the input search condition. User interface means for notifying the means and displaying a search result, wherein the image search means searches for a registered ID having a highly similar feature quantity using the feature quantity of the registration ID, and performs a search. The number of times that the registered ID having the feature value with high similarity is searched is counted, and displayed on the user interface unit according to the condition set by the user and the counted number. And characterized in that.
It is characterized by that.
The image search device of the present invention is characterized in that the image search means does not cause the user interface means to display an image with a registered ID specified in advance, regardless of the number of times the search is performed.

本発明によれば、類似人物の出現頻度を推定することで、不特定の人物中から不審人物を探し出しやすくする画像検索装置を提供することができる。   According to the present invention, it is possible to provide an image search device that makes it easy to find a suspicious person from unspecified persons by estimating the appearance frequency of similar persons.

本発明の実施の形態に係る類似顔画像検索方法を実行する監視システムＸのシステム構成図である。It is a system configuration figure of surveillance system X which performs the similar face image retrieval method concerning an embodiment of the invention. 本発明の実施の形態に係る画像特徴量記憶部２２０が用いる画像特徴量のデータを示す概念図である。It is a conceptual diagram which shows the data of the image feature-value which the image feature-value memory | storage part 220 which concerns on embodiment of this invention uses. 本発明の実施の形態に係るユーザインタフェース部２４０の検索条件入力画面の表示例を示す概念図である。It is a conceptual diagram which shows the example of a display of the search condition input screen of the user interface part 240 which concerns on embodiment of this invention. 本発明の実施の形態に係る監視システムＸのユーザ指示による検索処理のシーケンス図である。It is a sequence diagram of the search process by the user instruction | indication of the monitoring system X which concerns on embodiment of this invention. 本発明の実施の形態に係る画像特徴量登録部２１０の特徴量登録処理のフローチャートである。It is a flowchart of the feature-value registration process of the image feature-value registration part 210 which concerns on embodiment of this invention. 本発明の実施の形態に係る画像検索部２３０の検索実行処理のフローチャートである。It is a flowchart of the search execution process of the image search part 230 which concerns on embodiment of this invention. 本発明の実施の形態に係る画像検索処理に用いるデータ構造を示す概念図である。It is a conceptual diagram which shows the data structure used for the image search process which concerns on embodiment of this invention. 本発明の実施の形態に係る登録画像の重複の判定を行わない場合の画面例である。It is an example of a screen when not judging the duplication of the registration image which concerns on embodiment of this invention. 本発明の実施の形態に係る画像検索部２３０の検索結果データ応答処理のフローチャートである。It is a flowchart of the search result data response process of the image search part 230 which concerns on embodiment of this invention. 本発明の実施の形態に係る検索結果の重ね表示モードでの表示画面の画面例である。It is a screen example of the display screen in the overlapping display mode of the search results according to the embodiment of the present invention. 本発明の実施の形態に係る検索結果の展開表示モードでの表示画面の画面例である。It is a screen example of the display screen in the expansion | deployment display mode of the search result which concerns on embodiment of this invention. 本発明の実施の形態に係る検索結果の別の表示例を示す画面例である。It is an example of a screen which shows another example of a display of a search result concerning an embodiment of the invention. 本発明の実施の形態に係る監視システムＸの自動検索処理のシーケンス図である。It is a sequence diagram of the automatic search process of the monitoring system X which concerns on embodiment of this invention. 本発明の実施の形態に係る指定した画像の表示抑止のためのデータ構造を示す概念図である。It is a conceptual diagram which shows the data structure for the display suppression of the designated image which concerns on embodiment of this invention.

＜実施の形態＞
〔監視システムＸの制御構成〕
以下、本発明の実施の形態について、図面を参照して説明する。
図１を参照すると、本発明の実施の形態に係る監視システムＸは、撮像装置２０１−１〜２０１−ｎと、画像記録装置２０２と、画像検索装置２０３とが、ネットワーク２００にて接続されて構成されている。 <Embodiment>
[Control configuration of monitoring system X]
Embodiments of the present invention will be described below with reference to the drawings.
Referring to FIG. 1, in a monitoring system X according to an embodiment of the present invention, imaging devices 201-1 to 201-n, an image recording device 202, and an image search device 203 are connected via a network 200. It is configured.

ネットワーク２００は、各装置を結ぶ、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、ＷｉＭＡＸ（登録商標）、メッシュネットワーク、携帯電話網等のデータ通信可能な回線である。
また、ネットワーク２００は、専用線、イントラネット、インターネット等のＩＰネットワーク等を用いてもよい。 The network 200 includes a LAN, an optical fiber, c. A line capable of data communication such as a link, a wireless LAN, WiMAX (registered trademark), a mesh network, and a mobile phone network.
The network 200 may be an IP network such as a dedicated line, an intranet, or the Internet.

撮像装置２０１−１〜２０１−ｎは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を用いて、ネットワーク２００に接続して画像データを送信可能な、いわゆるＩＰカメラやネットワークカメラ等の撮像装置である。
撮像装置２０１−１〜２０１−ｎは、上述の検出事象を検出するための、例えば人感センサや動きセンサやマイク等も備えている。なお、撮像装置２０１−１〜２０１−ｎは、通常のテレビジョンカメラを用いて、画像記録装置２０２に直接接続し、画像記録装置２０２の画像・音声エンコーダ（図示せず）を用いて映像デジタルデータに変換するように構成してもよい。 The imaging devices 201-1 to 201-n are so-called IP cameras and networks that can transmit image data by connecting to the network 200 using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like. An imaging device such as a camera.
The imaging devices 201-1 to 201-n also include, for example, a human sensor, a motion sensor, a microphone, and the like for detecting the above-described detection event. Note that the imaging devices 201-1 to 201-n are directly connected to the image recording device 202 using a normal television camera, and video digital using an image / audio encoder (not shown) of the image recording device 202. You may comprise so that it may convert into data.

画像記録装置２０２は、撮像装置２０１−１〜２０１−ｎの映像等の画像データをネットワーク２００経由で記録するネットワークデジタルレコーダ等の装置である。
画像記録装置２０２は、ＣＰＵ等の制御部や演算部と、内蔵のＤＲＡＭやフラッシュメモリ等の記憶部とを備えている。
また、画像記録装置２０２は、ネットワーク２００を介して撮像装置２０１−１〜２０１−ｎより入力された画像データを、ＨＤＤ等の記録媒体に記録する。
監視システムＸにおいて、他の部位が画像記録装置２０２から画像を読み出す場合、画像記録装置２０２に対して、カメラＩＤと時刻情報等を指定することで、該当する画像を読み出すことができる。 The image recording device 202 is a device such as a network digital recorder that records image data such as videos of the imaging devices 201-1 to 201-n via the network 200.
The image recording apparatus 202 includes a control unit such as a CPU and a calculation unit, and a storage unit such as a built-in DRAM and a flash memory.
The image recording device 202 records image data input from the imaging devices 201-1 to 201-n via the network 200 on a recording medium such as an HDD.
In the monitoring system X, when another part reads an image from the image recording apparatus 202, the corresponding image can be read by designating the camera ID and time information to the image recording apparatus 202.

画像検索装置２０３は、ネットワーク２００を介して画像記録装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示し、画像検索を行うＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）等の専用の監視端末装置である。
画像検索装置２０３は、下記で説明する処理の制御を行うＣＰＵ、ＭＰＵ、ＤＳＰ（デジタル・シグナル・プロセッサ）、ＧＰＵ（グラフィック・プロセッシング・ユニット）、画像検索専用プロセッサ等の制御部と、制御部が実行する画像検索等の処理が記載されたプログラムと結果表示用の画像データと画像データの属性と一時データとを含んで記憶するＲＡＭ、ＲＯＭ、ＨＤＤ、フラッシュメモリ等の記憶部とを備えている。
また、画像検索装置２０３は、キーボードやマウス等のユーザ入力部を備え、画像記録装置２０２に記録された画像の再生操作や動画表示、人物に関する画像検索の実行操作や結果表示等を行うユーザインタフェースを提供する。 The image search device 203 displays image data acquired from the image recording device 202 via the network 200 on a display monitor such as a liquid crystal display or a CRT, and performs image search. It is a dedicated monitoring terminal device such as (personal computer).
The image search apparatus 203 includes a control unit such as a CPU, MPU, DSP (digital signal processor), GPU (graphic processing unit), and a dedicated image search processor that control processing described below. A storage unit such as a RAM, ROM, HDD, flash memory or the like that stores a program in which processing such as image search to be executed is described, image data for result display, image data attributes, and temporary data is stored. .
The image search device 203 includes a user input unit such as a keyboard and a mouse, and a user interface for performing an operation for reproducing an image recorded in the image recording device 202, displaying a moving image, an operation for executing an image search related to a person, and displaying a result. I will provide a.

また、画像検索装置２０３は、画像特徴量登録部２１０（特徴量登録手段）と、画像特徴量記憶部２２０（特徴量記憶手段）と、画像検索部２３０（画像検索手段）と、ユーザインタフェース部２４０（ユーザインタフェース手段）とを備えて構成される。   The image search device 203 includes an image feature amount registration unit 210 (feature amount registration unit), an image feature amount storage unit 220 (feature amount storage unit), an image search unit 230 (image search unit), and a user interface unit. 240 (user interface means).

画像特徴量登録部２１０は、監視カメラ等の撮像装置２０１−１〜２０１−ｎで撮影した時系列的に連続した画像フレームから一つの画像フレームを選択し、選択画像フレームについて特徴量を抽出する部位である。具体的には、画像特徴量登録部２１０は、画像特徴量を抽出し、登録するＤＳＰやこのＤＳＰ用のプログラムや制御部で実行されるプログラム等である。画像特徴量登録部２１０は、例えば、画像記録装置２０２に記憶された画像データに対し画像認識技術を用いた人物検出やオブジェクト検出をして、画像特徴量の抽出を行う。また、画像特徴量登録部２１０は、これらの抽出された画像特徴量を画像特徴量データとして出力する。
まず、画像特徴量登録部２１０は、人物検出として、公知の顔検出技術を用いて、映像中の顔の存在の有無判定をし、顔が存在する場合にはその領域の座標算出を行う。
同様に、オブジェクト検出は、特定の物品や着衣等の画像領域である「オブジェクト」の有無を判定し、座標算出を行う。
画像特徴量登録部２１０は、着衣領域の座標算出の場合、公知の技術として、例えば動的プログラミング等を用いて人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）であると検出するような技術を用いることができる。
また、画像特徴量登録部２１０は、画像特徴量の算出としては、色合い、形状等の画像の特徴を示す多次元ベクトルなどを使用する。
画像特徴量登録部２１０は、抽出した特徴量を画像特徴量記憶部２２０に保存する。具体的な多次元ベクトルの要素としては、顔特徴量、オブジェクトの特徴量等を計算する。
画像特徴量登録部２１０は、顔特徴量の検出としては、画像の輪郭、顔の輪郭の形状や方向、皮膚の色、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出する。また、顔特徴量として、人物が焦っていたり、怒っていたりという「表情」の検出も行う。
さらに、画像特徴量登録部２１０は、画像認識技術を用いたオブジェクトの特徴量の検出として、例えば、着衣特徴量の検出を行う。画像特徴量登録部２１０は、着衣特徴量算出としては、着衣領域に対して、例えば、上述の着衣の色の分布や周波数的な特徴等を着衣特徴量として検出して用いることができる。 The image feature amount registration unit 210 selects one image frame from time-series continuous image frames captured by the imaging devices 201-1 to 201-n such as surveillance cameras, and extracts feature amounts for the selected image frame. It is a part. Specifically, the image feature quantity registration unit 210 is a DSP that extracts and registers an image feature quantity, a program for the DSP, a program executed by the control unit, and the like. The image feature amount registration unit 210 performs, for example, person detection or object detection using image recognition technology on the image data stored in the image recording apparatus 202, and extracts image feature amounts. Further, the image feature amount registration unit 210 outputs these extracted image feature amounts as image feature amount data.
First, the image feature amount registration unit 210 determines the presence or absence of a face in the video using a known face detection technique as person detection, and calculates the coordinates of the area when a face exists.
Similarly, in the object detection, the presence / absence of an “object” that is an image region of a specific article or clothing is determined, and coordinates are calculated.
In the case of coordinate calculation of the clothing area, the image feature amount registration unit 210 extracts a person's outline using, for example, dynamic programming as a known technique, and distributes the color within the outline and the frequency characteristics of the texture. A technique for detecting clothing (clothes) from (frequency distribution when performing FFT, wavelet transform, etc.) can be used.
Further, the image feature amount registration unit 210 uses a multidimensional vector or the like indicating image features such as hue and shape for the calculation of the image feature amount.
The image feature amount registration unit 210 stores the extracted feature amount in the image feature amount storage unit 220. As specific multidimensional vector elements, face feature amounts, object feature amounts, and the like are calculated.
The image feature amount registration unit 210 detects the face feature amount such as the image contour, the shape and direction of the face contour, the color of the skin, the size / shape of the main components such as the eyes, nose, mouth, etc. From the above, vector components, statistics and the like that statistically show a difference for each individual are detected. In addition, as a facial feature amount, a “facial expression” that a person is impatient or angry is also detected.
Further, the image feature quantity registration unit 210 detects, for example, a clothing feature quantity as the feature quantity detection of the object using the image recognition technique. For the calculation of the clothing feature value, the image feature value registration unit 210 can detect and use, for example, the above-described color distribution and frequency characteristics of the clothing as the clothing feature value for the clothing region.

なお、画像特徴量は、画像フレーム全体の特徴量に限定する必要はなく、システムの目的に応じて、顔検出した顔領域や、オブジェクト検出したオブジェクト領域といった画像フレームの一部領域の画像特徴量を使用してよい。
また、画像特徴量登録部２１０へ供給する画像フレームは、画像記録装置２０２から供給されても、撮像装置２０１−１〜２０１−ｎから直接供給されてもよい。
画像フレームの選択方法は、一定時間毎に選択する方法、画像に変化があった場合の画像フレームを選択する方法、センサーアラーム等外部からの通知に同期して選択する方法など各種方法を用いてよい。
たとえば、画像に変化があった場合の画像フレームを選択する方法として、画像フレーム毎に色合い、形状等の変化を監視する。その変化により、連続する画像フレームを所定の単位に分割し、その単位での代表的なフレームを選択することができる。 Note that the image feature amount need not be limited to the feature amount of the entire image frame. Depending on the purpose of the system, the image feature amount of a partial region of the image frame, such as a face region where the face is detected or an object region where the object is detected. May be used.
Further, the image frame supplied to the image feature amount registration unit 210 may be supplied from the image recording device 202 or directly from the imaging devices 201-1 to 201-n.
The image frame selection method uses various methods, such as a method of selecting every fixed time, a method of selecting an image frame when there is a change in the image, a method of selecting in synchronization with an external notification such as a sensor alarm, etc. Good.
For example, as a method of selecting an image frame when there is a change in the image, changes in color, shape, etc. are monitored for each image frame. Due to the change, a continuous image frame can be divided into predetermined units, and a representative frame in that unit can be selected.

画像特徴量記憶部２２０は、主に画像検索に係る画像特徴量を記憶する部位である。また、画像特徴量記憶部２２０は、画像データ（フレーム）や検索結果画像そのもの等についても記憶することが可能である。
具体的には、画像特徴量記憶部２２０は、画像特徴量登録部２１０が検出した画像特徴量データを記憶部へ読み書きするための制御部で実行されるプログラム等と、記憶部のＲＡＭ等の主記憶装置、ＨＤＤやフラッシュメモリ等補助記憶装置から構成される。
また、画像特徴量記憶部２２０は、この画像抽出量データを、ＬＡＮカード等のネットワーク送受信部（図示せず）を介して、画像記録装置２０２に記憶することもできる。
なお、画像特徴量記憶部２２０は、ＤＭＡ（ダイレクト・メモリ・アクセス）等により、画像特徴量登録部２１０が直接、各種データ等を記憶部に記憶するような構成としてもよい。 The image feature amount storage unit 220 is a part that mainly stores image feature amounts related to image search. The image feature amount storage unit 220 can also store image data (frames), search result images themselves, and the like.
Specifically, the image feature amount storage unit 220 includes a program executed by the control unit for reading and writing the image feature amount data detected by the image feature amount registration unit 210 to the storage unit, and a RAM of the storage unit. It consists of a main storage device, an auxiliary storage device such as an HDD and a flash memory.
The image feature amount storage unit 220 can also store this image extraction amount data in the image recording apparatus 202 via a network transmission / reception unit (not shown) such as a LAN card.
The image feature amount storage unit 220 may be configured such that the image feature amount registration unit 210 directly stores various data and the like in the storage unit by DMA (direct memory access) or the like.

画像検索部２３０は、入力された検索条件をもとに上記画像特徴量記憶部２２０を使用して監視カメラ等の撮像装置で撮影した画像を記録する画像記録装置の検索処理を行う部位である。
画像検索部２３０は、入力された検索条件をもとに画像特徴量記憶部２２０を使用して、監視カメラ等の撮像装置２０１−１〜２０１−ｎで撮影した画像を記録する画像記録装置２０２の検索処理を行う。
具体的には、画像検索部２３０は制御部で実行されるプログラム等により、ユーザインタフェース部２４０より検索条件を受取ると、画像特徴量を画像特徴量記憶部２２０より読出し、検索条件に含まれるキー画像の画像特徴量との類似度を計算する。
この際、画像検索部２３０は、類似度がある閾値以上の場合、読み出した特徴量に対応する画像に関するデータを保存する。
画像検索部２３０は、検索範囲の画像特徴量について上述の処理が終了すると、保存している画像に関するデータ全てまたは所定件数を検索結果としてユーザインタフェース部２４０に応答する。
なお、キー画像の画像特徴量は、画像検索部２３０で計算してもよいし、キー画像の画像特徴量が画像特徴量記憶部２２０にある場合はそれを使用してもよい。 The image search unit 230 is a part that performs a search process of an image recording device that records an image captured by an imaging device such as a monitoring camera using the image feature amount storage unit 220 based on an input search condition. .
The image search unit 230 uses the image feature amount storage unit 220 based on the input search condition, and records an image captured by the imaging devices 201-1 to 201-n such as a monitoring camera. Perform the search process.
Specifically, when the image search unit 230 receives a search condition from the user interface unit 240 by a program or the like executed by the control unit, the image search unit 230 reads the image feature amount from the image feature amount storage unit 220 and includes the key included in the search condition. The similarity with the image feature amount of the image is calculated.
At this time, the image search unit 230 stores data related to the image corresponding to the read feature amount when the similarity is equal to or greater than a certain threshold.
When the above-described processing is completed for the image feature quantity in the search range, the image search unit 230 responds to the user interface unit 240 with all the data related to the stored image or a predetermined number as a search result.
Note that the image feature quantity of the key image may be calculated by the image search unit 230, or may be used when the image feature quantity of the key image is in the image feature quantity storage unit 220.

ユーザインタフェース部２４０は、検索条件を入力し、検索結果を表示する、いわゆるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙａｔｅｍ）のユーザインタフェースの部位である。
具体的には、ユーザインタフェース部２４０は、制御部で実行されるプログラム等により構成される。ユーザインタフェース部２４０は、ユーザにより設定された検索条件を他の部位に通知し、検索結果を液晶ディスプレイ等である表示部（図示せず）に表示する。また、ユーザインタフェース部２４０は、ユーザによるマウス等のポインティングデバイスやキーボードやジョグシャトル等を備える入力部（図示せず）からの入力を、ＯＳのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて入力指示として検知する。また、ユーザインタフェース部２４０は、これらの検知の結果等を液晶ディスプレイやプラズマディスプレイ等の表示部（図示せず）に表示する。
さらに、ユーザインタフェース部２４０は、画像の再生要求があった場合、対応する画像を画像記録装置２０２に要求する。ユーザインタフェース部２４０は、画像記録装置２０２から応答画像を受信すると、表示部の画像再生画面にその画像を表示する。このようにして、ユーザインタフェース部２４０は、画像記録装置２０２から画像を読み出し、表示することを連続的に繰り返すことで画像を表示部に再生表示する。
また、ユーザインタフェース部２４０は、画像再生中に再生を停止させるなどして、画像記録装置２０２に記録された任意の画像を表示部に表示することができる。
また、ユーザインタフェース部２４０は、画像特徴量登録部が登録した画像や検索結果の画像を表示する。さらに、ユーザインタフェース部２４０は、検索結果の画像から、ユーザが表示を抑止することを指示した画像を検知することができる。 The user interface unit 240 is a part of a so-called OS (Operating System) user interface that inputs search conditions and displays search results.
Specifically, the user interface unit 240 includes a program executed by the control unit. The user interface unit 240 notifies the search conditions set by the user to other parts, and displays the search results on a display unit (not shown) such as a liquid crystal display. Also, the user interface unit 240 detects an input from a pointing device such as a mouse, an input unit (not shown) including a keyboard, a jog shuttle, or the like by a user as an input instruction using an OS API (Application Programming Interface). To do. Further, the user interface unit 240 displays the detection results and the like on a display unit (not shown) such as a liquid crystal display or a plasma display.
Furthermore, when there is an image reproduction request, the user interface unit 240 requests a corresponding image from the image recording apparatus 202. When receiving the response image from the image recording device 202, the user interface unit 240 displays the image on the image reproduction screen of the display unit. In this way, the user interface unit 240 reproduces and displays an image on the display unit by continuously reading and displaying the image from the image recording device 202.
Further, the user interface unit 240 can display an arbitrary image recorded in the image recording device 202 on the display unit by stopping the reproduction during the image reproduction.
In addition, the user interface unit 240 displays the image registered by the image feature amount registration unit and the search result image. Further, the user interface unit 240 can detect an image instructed by the user to suppress display from the search result image.

なお、画像検索装置２０３は、通常のＯＳがインストールされたＰＣの記憶部に記憶したプログラムにより実現してもよい。
さらに、画像特徴量登録部２１０と、画像特徴量記憶部２２０と、画像検索部２３０とは、制御部でハードウェア資源を使用して実行されるプログラムとして実装されていてもよい。このプログラムは、画像検索装置２０３の記憶部に記憶されていても、制御部内のＲＯＭやフラッシュメモリ等に記憶されていてもよい。 The image search device 203 may be realized by a program stored in a storage unit of a PC in which a normal OS is installed.
Furthermore, the image feature quantity registration unit 210, the image feature quantity storage unit 220, and the image search unit 230 may be implemented as programs that are executed using hardware resources by the control unit. This program may be stored in the storage unit of the image search apparatus 203 or may be stored in a ROM, a flash memory, or the like in the control unit.

（画像検索処理に用いるデータ構造）
ここで図２を参照して、本実施形態の監視システムＸの画像特徴量記憶部２２０が用いる画像特徴量のデータ構造の例について説明する。
画像特徴量記憶部２２０が用いる画像特徴量のデータは、登録ＩＤＤ１０１、カメラＩＤＤ１０２、時刻Ｄ１０３、画像特徴量Ｄ１０４、縮小画像データＤ１０５、画像記録場所Ｄ１０６等により構成される。
登録ＩＤＤ１０１は、画像特徴量のデータを識別する登録ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を記憶する部位である。このＩＤは、ユニークな数値や文字を用いて生成し、所定の規則に従い、所定のＩＤの範囲を検索可能である。
カメラＩＤＤ１０２は、画像を撮影した撮像装置２０１−１〜２０１−ｎを同定するカメラＩＤを記憶する部位である。
時刻Ｄ１０３は、画像フレームが撮像または記録された時刻をグリニッジ標準時（ＧＭＴ）やフレーム数等により表したデータを記憶する部位である。
画像特徴量Ｄ１０４は、画像フレームから画像特徴量登録部２１０が抽出した画像特徴量データを記憶する部位である。
縮小画像データＤ１０５は、画像フレーム、顔検出した顔領域、オブジェクト検出したオブジェクト領域等の縮小画像データを記憶する部位である。この縮小画像データは、画像特徴量登録部２１０等により、元の画像データから生成する。
画像記録場所Ｄ１０６は、画像記録装置２０２の場所（アドレス）等を同定するもので、画像記録装置２０２のＩＰアドレスや画像検索装置２０３の記憶部のアドレス等を記憶している。 (Data structure used for image search processing)
Here, an example of the data structure of the image feature amount used by the image feature amount storage unit 220 of the monitoring system X of the present embodiment will be described with reference to FIG.
Image feature amount data used by the image feature amount storage unit 220 includes a registered IDD 101, a camera IDD 102, a time D103, an image feature amount D104, reduced image data D105, an image recording location D106, and the like.
The registration IDD 101 is a part that stores a registration ID (Identification) for identifying image feature data. This ID is generated using unique numerical values and characters, and a predetermined ID range can be searched according to a predetermined rule.
The camera IDD 102 is a part that stores a camera ID for identifying the imaging devices 201-1 to 201-n that have captured images.
The time D103 is a part that stores data representing the time at which an image frame is captured or recorded by Greenwich Mean Time (GMT), the number of frames, and the like.
The image feature amount D104 is a part that stores image feature amount data extracted by the image feature amount registration unit 210 from the image frame.
The reduced image data D105 is a part that stores reduced image data such as an image frame, a face area where a face is detected, and an object area where an object is detected. The reduced image data is generated from the original image data by the image feature amount registration unit 210 or the like.
The image recording location D106 identifies the location (address) of the image recording device 202, and stores the IP address of the image recording device 202, the address of the storage unit of the image search device 203, and the like.

〈ユーザインタフェース部２４０の検索条件入力画面の表示例〉
次に、図３を参照して、ユーザインタフェース部２４０によりユーザの操作を検知して、検索条件を入力する表示例について説明する。
検索条件入力画面４００は、画像検索に係るパラメータを入力する表示欄である表示欄４１０〜４４０と、設定を確定させる「設定」のボタン５００等を備えている。
表示欄４１０においては、検索範囲となる画像データを供給する撮像装置２０１−１〜２０１−ｎを同定するカメラＩＤを指定する。この表示欄４１０にて入力するカメラＩＤについては、複数のカメラＩＤを指定してもよい。なお、この表示欄４１０のカメラＩＤは、カメラＩＤＤ１０２と直接対応していても、場所的・概念的な撮像装置のグループを示すような仮想的なカメラＩＤを示していてもよい。
表示欄４２０においては、検索範囲となる時刻の範囲等を指定する。
表示欄４３０においては、後述する検索処理を実行する時刻の範囲等を設定する。
表示欄４４０においては、類似人物が設定した検出回数以上検索された場合、アラーム通知を行うよう設定することができる。
ここで、ユーザインタフェース部２４０は、「設定」のボタン５００の押下を検知すると、検索指示がなされたと判断する。 <Display Example of Search Condition Input Screen of User Interface Unit 240>
Next, a display example in which a user operation is detected by the user interface unit 240 and a search condition is input will be described with reference to FIG.
The search condition input screen 400 includes display fields 410 to 440 which are display fields for inputting parameters relating to image search, a “setting” button 500 for confirming the setting, and the like.
In the display column 410, a camera ID for identifying the imaging devices 201-1 to 201-n that supply image data that is a search range is designated. A plurality of camera IDs may be specified for the camera ID input in the display column 410. Note that the camera ID in the display column 410 may correspond directly to the camera IDD 102 or may indicate a virtual camera ID that indicates a group of spatial and conceptual imaging devices.
In the display column 420, a time range or the like as a search range is designated.
In the display column 430, a time range for executing a search process to be described later is set.
In the display field 440, when similar persons are searched more than the set number of detection times, an alarm notification can be set.
Here, when the user interface unit 240 detects that the “Setting” button 500 is pressed, the user interface unit 240 determines that a search instruction has been issued.

〈監視システムＸのユーザ指示による検索処理〉
次に、図４のシーケンス図を参照して、監視システムＸを用いて、ユーザの指示を検索開始の合図として、顔画像をキー画像として、録画された画像データから画像検索を行う一例の概要について説明する。 <Retrieval process by user instruction of monitoring system X>
Next, referring to the sequence diagram of FIG. 4, an overview of an example of using the monitoring system X to perform an image search from recorded image data using a user instruction as a cue for search start and a face image as a key image. Will be described.

まず、ユーザインタフェース部２４０の検索条件入力画面４００（図３参照）で検索条件が設定され、設定された内容のデータは画像検索部２３０に送られる（タイミングＴ３０１）。
ここで、画像検索部２３０は、検索処理を実行する時刻（指定起動時刻）になると検索処理を開始する。この際には、タスクマネージャのようなサービスやＣＲＯＮ等のデーモン等により画像検索部２３０が起動される。 First, the search condition is set on the search condition input screen 400 (see FIG. 3) of the user interface unit 240, and the data of the set content is sent to the image search unit 230 (timing T301).
Here, the image search unit 230 starts the search process when the time for executing the search process (designated start time) is reached. At this time, the image search unit 230 is activated by a service such as a task manager or a daemon such as CRON.

画像特徴量登録部２１０は、画像記録装置２０２から画像データを取得する（タイミングＴ３０２）。
画像特徴量登録部２１０は、この画像データから画像特徴量を抽出し、画像特徴量データとして、画像特徴量記憶部２２０に記憶する「特徴量登録」処理を行う（タイミングＴ３０３）。
その後、画像特徴量登録部２１０は、画像検索部２３０に、後述する特徴量登録通知を行う（タイミングＴ３０４）。 The image feature amount registration unit 210 acquires image data from the image recording apparatus 202 (timing T302).
The image feature amount registration unit 210 extracts an image feature amount from the image data, and performs a “feature amount registration” process that stores it as image feature amount data in the image feature amount storage unit 220 (timing T303).
Thereafter, the image feature amount registration unit 210 notifies the image search unit 230 of a feature amount registration described later (timing T304).

画像検索部２３０は、画像特徴量登録部２１０より特徴量登録通知を受取ると、画像特徴量記憶部２２０から、画像特徴量データを読み出して、画像登録通知のデータに含まれる画像の特徴量と比較することで、記録された画像データの検索を行う（タイミングＴ３０５）。この際には、画像検索部２３０は、検索条件入力画面４００で設定されたカメラＩＤと検索範囲の時刻等により、検索を行う。
その後、画像検索部２３０は、画像特徴量記憶部２２０より検索結果を受け取る（タイミングＴ３０６） Upon receiving the feature amount registration notification from the image feature amount registration unit 210, the image search unit 230 reads the image feature amount data from the image feature amount storage unit 220, and the image feature amount included in the image registration notification data By comparison, the recorded image data is searched (timing T305). At this time, the image search unit 230 performs a search based on the camera ID set on the search condition input screen 400 and the time of the search range.
Thereafter, the image search unit 230 receives a search result from the image feature amount storage unit 220 (timing T306).

その後、ステップＳ２０１において、画像検索部２３０は、検索結果データ保存処理を行う。
具体的には、画像検索部２３０は、検索結果の画像データや特徴量を比較して計算した類似度等の検索結果データを記憶部に記憶保存する。なお、この検索結果データは、画像特徴量記憶部２２０に記憶されるように構成してもよい。
設定された検索時刻が複数ある場合は、画像検索部２３０は、指定時刻に起動されて画像検索と、検索結果保存処理とを繰り返す（タイミングＴ３０７〜Ｔ３１１）。 Thereafter, in step S201, the image search unit 230 performs search result data storage processing.
Specifically, the image search unit 230 stores and saves search result data such as similarity calculated by comparing image data and feature amounts of the search result in the storage unit. The search result data may be configured to be stored in the image feature amount storage unit 220.
When there are a plurality of set search times, the image search unit 230 is activated at the specified time and repeats the image search and the search result storage process (timing T307 to T311).

ここで、ユーザインタフェース部２４０は、ユーザからの入力を検知すると画像検索部２３０に検索結果の要求を行う（タイミングＴ３１２）。
すると、画像検索部２３０は、保存してある検索結果をユーザインタフェース部２４０に応答する（タイミングＴ３１３）。
画像検索部２３０は、検索終了時刻になると検索処理を終了する。
なお、この検索処理においては、複数の検索結果の画像を時系列的に並べ替えたものを表示してもよい。 Here, when the user interface unit 240 detects an input from the user, the user interface unit 240 requests a search result from the image search unit 230 (timing T312).
Then, the image search unit 230 responds to the user interface unit 240 with the stored search results (timing T313).
The image search unit 230 ends the search process when the search end time is reached.
In this search process, images obtained by rearranging a plurality of search result images in time series may be displayed.

〔ユーザ指示による検索処理における各部位の処理〕
ここで、本発明の実施の形態に係る監視システムＸを用いたユーザ指示による検索処理について、各部位の処理について、より詳しく説明する。
以下において、図４に加えて、図５〜図８を参照して、各部位におけるフローチャートを基に説明する。 [Processing of each part in search processing by user instruction]
Here, the search processing by a user instruction using the monitoring system X according to the embodiment of the present invention will be described in more detail for each part.
Hereinafter, in addition to FIG. 4, a description will be given with reference to FIGS.

〈画像特徴量登録部２１０の特徴量登録処理〉
図５を更に参照して、画像特徴量登録部２１０が画像検索処理において行う特徴量登録処理の詳細について説明する。
この処理は、図４のタイミングＴ３０２〜Ｔ３０４の間の処理に対応する。 <Feature Quantity Registration Process of Image Feature Quantity Registration Unit 210>
With further reference to FIG. 5, the details of the feature amount registration processing performed by the image feature amount registration unit 210 in the image search processing will be described.
This process corresponds to the process between timings T302 to T304 in FIG.

まず、ステップＳ１０１において、画像特徴量登録部２１０は、画像取り込み処理を行う。
ここでは、画像特徴量登録部２１０は、画像記録装置２０２にコマンド等を送信し、画像データをネットワーク２００を介して受信して取り込む。なお、撮像装置２０１−１〜２０１−ｎから直接画像データを取り込むこともできる。
その後、画像特徴量登録部２１０は、取り込んだ画像データについて、顔検出を行う。 First, in step S101, the image feature amount registration unit 210 performs an image capturing process.
Here, the image feature quantity registration unit 210 transmits a command or the like to the image recording apparatus 202, and receives and takes in the image data via the network 200. Note that image data can also be directly captured from the imaging devices 201-1 to 201-n.
Thereafter, the image feature amount registration unit 210 performs face detection on the captured image data.

次に、ステップＳ１０２において、画像特徴量登録部２１０は、顔検出により顔が検出されたか否か判定する。
Ｙｅｓの場合、画像特徴量登録部２１０は、処理をステップＳ１０３に進める。
Ｎｏの場合、画像特徴量登録部２１０は、特徴量登録処理を終了する。 Next, in step S102, the image feature amount registration unit 210 determines whether a face is detected by face detection.
In the case of Yes, the image feature amount registration unit 210 proceeds with the process to step S103.
In the case of No, the image feature amount registration unit 210 ends the feature amount registration process.

取り込まれた画像データに顔が検出された場合、ステップＳ１０３にて、画像特徴量登録部２１０は、顔画像特徴量登録処理を行う。
具体的に、画像特徴量登録部２１０は、顔が検出された場合、まず、検出された顔画像の特徴量を算出する。そして、画像特徴量登録部２１０は、算出した特徴量を画像特徴量記憶部２２０に記憶する。
なお、一枚の画像に複数の顔が検出された場合、顔画像毎に特徴量を算出し、記憶を行う。 When a face is detected in the captured image data, in step S103, the image feature amount registration unit 210 performs a face image feature amount registration process.
Specifically, when a face is detected, the image feature amount registration unit 210 first calculates the feature amount of the detected face image. Then, the image feature value registration unit 210 stores the calculated feature value in the image feature value storage unit 220.
When a plurality of faces are detected in one image, a feature amount is calculated for each face image and stored.

次に、ステップＳ１０４にて、画像特徴量登録部２１０は、特徴量登録通知処理を行う。
具体的には、画像特徴量登録部２１０は、特徴量の登録完了後、画像検索部２３０に対して、新規に特徴量が登録されたことを通知する。この通知のデータには、登録された画像特徴量のデータの登録ＩＤを含める。この登録ＩＤを基に、画像特徴量記憶部２２０のカメラＩＤＤ１０２〜画像記録場所Ｄ１０６を閲覧することができ、これを基に、当該画像データと画像データに付随するセンサ等のデータとを閲覧することが可能である。
以上により、特徴量登録処理を終了する。 Next, in step S104, the image feature amount registration unit 210 performs a feature amount registration notification process.
Specifically, the image feature amount registration unit 210 notifies the image search unit 230 that a feature amount has been newly registered after the feature amount registration is completed. The notification data includes the registration ID of the registered image feature data. Based on the registered ID, the camera IDD102 to the image recording location D106 of the image feature amount storage unit 220 can be browsed. Based on this, the image data and data such as sensors attached to the image data are browsed. It is possible.
Thus, the feature amount registration process ends.

〈画像検索部２３０の検索実行処理〉
次に、図６を更に参照して、検索処理の実行時における画像検索部２３０の処理の一例を、検索実行処理として説明する。この処理は、図４のタイミングＴ３０１、Ｔ３０５〜Ｔ３０６、ステップＳ２０１の間の処理に対応するものである。
画像検索部２３０は、タイミングＴ３０１にて、画像特徴量登録部２１０より特徴量登録通知を受信すると処理を開始する。 <Search Execution Processing of Image Search Unit 230>
Next, with reference to FIG. 6 further, an example of processing of the image search unit 230 at the time of execution of search processing will be described as search execution processing. This processing corresponds to the processing between timings T301, T305 to T306, and step S201 in FIG.
The image search unit 230 starts processing when receiving a feature amount registration notification from the image feature amount registration unit 210 at timing T301.

ステップＳ１１１において、画像検索部２３０は、画像特徴量検出実行処理を行う。
具体的に、画像検索部２３０は、まず、登録通知された登録ＩＤの特徴量データを画像特徴量記憶部２２０から取得する。つまり、画像検索部２３０は、この取得した特徴量を、検索のための画像であるキー画像の特徴量として用いる。
この上で、画像検索部２３０は、当該登録ＩＤの画像特徴量データを使用して、画像特徴量記憶部２２０に登録された各登録ＩＤの画像特徴量データの検索を実行する。
すなわち、画像検索部２３０は、画像特徴量記憶部２２０から画像特徴量データを読み出し、それぞれの登録ＩＤにて記録された画像特徴量データと、登録通知された登録ＩＤの画像特徴量データ（キー画像の画像特徴量データ）との類似度を計算する。
これは、画像記録装置２０２に記録された画像データの検索のうち、人物の画像データの検索を行うことにあたる。 In step S111, the image search unit 230 performs an image feature amount detection execution process.
Specifically, the image search unit 230 first acquires the feature amount data of the registration ID notified of registration from the image feature amount storage unit 220. That is, the image search unit 230 uses the acquired feature amount as a feature amount of a key image that is an image for search.
Then, the image search unit 230 uses the image feature amount data of the registration ID to perform a search for the image feature amount data of each registration ID registered in the image feature amount storage unit 220.
That is, the image search unit 230 reads the image feature amount data from the image feature amount storage unit 220, and the image feature amount data recorded with the respective registration IDs and the image feature amount data (keys of the registered IDs notified of registration). The similarity with the image feature amount data of the image is calculated.
This is equivalent to searching for human image data out of searching for image data recorded in the image recording apparatus 202.

具体的に、画像検索部２３０は、キー画像の画像特徴量データと、各登録ＩＤの画像特徴量の距離を計算して類似度を求める。
登録ＩＤがｉの画像特徴量をＸi＝（ｘi1，ｘi2，…， ｘin）、
検索のためのキー画像の画像特徴量をＹ＝（ｙ1，ｙ2，…，ｙn）、
画像特徴量の要素ごとの重要度を表す重み付け係数をＷ＝（ｗ1， ｗ2，…，ｗn）とすると、特徴量の距離Ｚiは、以下の式（１）にて定義可能である。

Ｚi＝Σjｗj｜ｘij − ｙj｜ …… 式（１）

ここで、ｊは、０≦ｊ≦ｎを示す変数である。
この距離Ｚiの値を、各登録ＩＤに係る画像と、キー画像との類似度とすることができる。すなわち、この距離Ｚiの値が小さいほど二つの画像は似ていることを示しているため、Ｚiが小さいほど登録通知された登録ＩＤの画像と、画像特徴量記憶部２２０の登録ＩＤの画像との類似度は大きいことになる。
なお、類似度の計算の際に、画像検索部２３０は、画像記録装置２０２に記録されている画像データそのものを取得して、画像特徴量を計算し直して、類似度を計算することもできる。 Specifically, the image search unit 230 calculates the distance between the image feature amount data of the key image and the image feature amount of each registered ID to obtain the similarity.
X i = (x i1 , x i2 ,..., X in )
Y = (y 1 , y 2 ,..., Y n ), the image feature quantity of the key image for search.
When the weighting coefficient representing the importance of each element of the image feature amount is W = (w 1 , w 2 ,..., W n ), the feature amount distance Z i can be defined by the following equation (1). is there.

Z i = Σ j w j | x ij −y j | Equation (1)

Here, j is a variable indicating 0 ≦ j ≦ n.
The value of the distance Z i can be set as the similarity between the image related to each registration ID and the key image. That is, the smaller the distance Z i is, the more similar the two images are. Therefore, the smaller the Z i is, the registration ID image notified for registration and the registration ID of the image feature amount storage unit 220 are. The degree of similarity with the image is large.
When calculating the similarity, the image search unit 230 can also acquire the image data itself recorded in the image recording apparatus 202, recalculate the image feature amount, and calculate the similarity. .

類似度が所定の閾値以上の場合、画像検索部２３０は、類似性が高いと判断する。
この際、画像検索部２３０は、この類似度の高い登録ＩＤ（あるいは、その登録ＩＤに対応する画像の画像ＩＤ）を、画像検索装置２０３の記憶部にキー画像、類似度などと共に一時的に記憶しておく。以後、この類似度の高い登録ＩＤを、便宜的に検索結果画像ＩＤとよぶ。
なお、画像検索部２３０は、登録ＩＤの他に、画像ＩＤそのものやカメラＩＤ等も取得可能である。 When the similarity is equal to or greater than a predetermined threshold, the image search unit 230 determines that the similarity is high.
At this time, the image search unit 230 temporarily stores the registration ID having a high similarity (or the image ID of the image corresponding to the registration ID) in the storage unit of the image search device 203 together with the key image, the similarity, and the like. Remember. Hereinafter, this registration ID having a high degree of similarity is referred to as a search result image ID for convenience.
In addition to the registration ID, the image search unit 230 can acquire an image ID itself, a camera ID, and the like.

（検索結果データレコードのデータ構造）
ここで、図７を参照して、具体的な検索結果データレコードのデータ構造の例について説明する。
図７では、ステップＳ１１１の１回の処理で類似度が所定の閾値以上となる登録ＩＤが複数得られた場合を想定しており、得られた登録ＩＤ（検索結果画像ＩＤ）を左側に示してある。その右側には、各登録ＩＤ（検索結果画像ＩＤ）に対して、「関連づけられたデータ」のレコードを記憶する。この「関連づけられたデータ」は、後述のステップにより作成されるもので、該登録ＩＤがこれまでに検索された（類似度が高いと判断された）回数と、該登録ＩＤの検索に使用されたキー画像の登録ＩＤ及び類似度の組のデータとを記憶することができる。関連づけは、登録ＩＤを引数にして、「関連づけられたデータ」の先頭アドレスを保持するポインタ配列等により行うことができる。
なお、類似度は再計算可能なため、図４において類似度のない構成でも差し支えない。また、類似度の高い登録ＩＤのみではなく、登録通知された登録ＩＤすべてについて、関連づけられたデータを記憶する二次元アレイやリストのような構成にすることもできる。
加えて、検索に際しても、登録された登録ＩＤに係る画像特徴量データのみ検索するのではなく、画像データを指定し、特徴量検出をして検索を行うこともできる。 (Data structure of search result data record)
Here, an example of the data structure of a specific search result data record will be described with reference to FIG.
In FIG. 7, it is assumed that a plurality of registration IDs whose similarity is equal to or greater than a predetermined threshold value are obtained in one process of step S111, and the obtained registration IDs (search result image IDs) are shown on the left side. It is. On the right side, a record of “associated data” is stored for each registration ID (search result image ID). This “associated data” is created by the steps described later, and is used for searching the registration ID and the number of times the registration ID has been searched so far (determined that the degree of similarity is high). It is possible to store a key image registration ID and a set of similarity data. The association can be performed by a pointer array or the like that holds the start address of “associated data” using the registration ID as an argument.
Since the similarity can be recalculated, a configuration without similarity in FIG. 4 may be used. Further, not only a registration ID with a high degree of similarity but also a configuration such as a two-dimensional array or a list that stores associated data for all registered registration IDs.
In addition, when searching, it is possible not only to search for the image feature amount data related to the registered ID but also to specify the image data and detect the feature amount for the search.

次に、ステップＳ１１２において、画像検索部２３０は、検索結果時系列ソート処理を行う。
画像検索部２３０は、具体的には、ステップＳ１１１で得られた検索結果画像ＩＤを、画像ＩＤに対応する時刻Ｄ１０３を参照するなどして、時系列順にソートする。
なお、この際に単純にソートするのではなく、カメラＩＤ等を用いて、撮像装置２０１−１〜２０１−ｎの位置関係や動線の関係等を用いて、人物の動き等を追いやすいようにソートすることも可能である。
また、事件があった場所を指定しておいて、その近くにあるカメラＩＤにより頻度高く映っていた登録ＩＤの画像を、より多くカウントするように重み付けしてソートすることも可能である。
さらに、顔の画像特徴量を用いて、眉や口や目の位置関係等から、「焦り」「いらだち」といった表情を示している人物の写っている画像の登録ＩＤを優先することもできる。さらに、この際に、顔の温度分布等を用いて興奮している人物の写っている画像の登録ＩＤを優先させることもできる。 Next, in step S112, the image search unit 230 performs a search result time series sorting process.
Specifically, the image search unit 230 sorts the search result image IDs obtained in step S111 in chronological order by referring to the time D103 corresponding to the image ID.
In this case, instead of simply sorting, using a camera ID or the like, it is easy to follow a person's movement or the like using a positional relationship or a flow line relationship of the imaging devices 201-1 to 201-n. It is also possible to sort into
It is also possible to specify the place where the incident occurred and sort by weighting so that the images of registered IDs that are frequently reflected by the camera IDs nearby are counted more.
Furthermore, using the image feature amount of the face, it is possible to give priority to the registration ID of an image in which a person showing a facial expression such as “impression” or “irritability” is determined based on the positional relationship of the eyebrows, mouth, and eyes. Further, at this time, it is possible to give priority to the registration ID of an image showing a person who is excited using the temperature distribution of the face.

次に、ステップＳ１１３において、画像検索部２３０は、最古検索結果取得処理を行う。
ここでは、画像検索部２３０は、検索結果画像ＩＤの登録ＩＤ及び類似度の組のうち、時系列順で最も古い登録ＩＤを選択する。すなわち、ソート時にもっとも最初になった登録ＩＤを選択する。 Next, in step S113, the image search unit 230 performs the oldest search result acquisition process.
Here, the image search unit 230 selects the oldest registration ID in chronological order from the set of registration ID and similarity of the search result image ID. That is, the registration ID that is first in sorting is selected.

次に、ステップＳ１１４において、画像検索部２３０は、検索回数カウントアップ処理を行う。
具体的には、画像検索部２３０は、直前のステップＳ１１１で用いた全てのキー画像に対して、最古の検索結果画像ＩＤに関連付けられたデータにそのキー画像が含まれているか否かチェックし、含まれていなければ、関連付けられたデータ（レコード）そのものが存在しない場合も含み、その場合はレコードを新規作成する。この上で、キー画像の登録ＩＤと類似度の組をレコードに追加し、含まれるか否かに係らず、検索回数をカウントアップ（インクリメント）する。その検索結果画像ＩＤに対してレコードを新規作成した場合は、検索回数は１となる。なお、この際に、登録ＩＤ及び類似度の組のうち、もっとも古い登録ＩＤを、以降の検索のキー画像の登録ＩＤとするような処理も可能である。
ここで記憶された各データは、検索結果データとして、後述のステップにてユーザインタフェース部２４０に送信される。 Next, in step S114, the image search unit 230 performs a search count counting process.
Specifically, the image search unit 230 checks whether or not the key image is included in the data associated with the oldest search result image ID for all the key images used in the immediately preceding step S111. However, if it is not included, it includes the case where the associated data (record) itself does not exist. In that case, a new record is created. Then, a set of key image registration ID and similarity is added to the record, and the number of searches is counted up (incremented) regardless of whether it is included. When a new record is created for the search result image ID, the number of searches is 1. At this time, it is also possible to perform processing such that the oldest registration ID of the set of registration ID and similarity is used as the registration ID of the key image for subsequent searches.
Each data stored here is transmitted as search result data to the user interface unit 240 in steps described later.

次に、ステップＳ１１５において、画像検索部２３０は、直前のステップＳ１１１の検索結果画像ＩＤの全てについて、処理が終了したか否か判定する。
Ｙｅｓの場合、すなわち処理が終了している場合、画像検索部２３０は、検索実行処理を終了する。
Ｎｏの場合、すなわち処理が終了していない場合、画像検索部２３０は、ステップＳ１１６に処理を進める。ここで、検索結果画像ＩＤが複数あれば、最低１度はステップＳ１１６に処理を進める。 Next, in step S115, the image search unit 230 determines whether or not the processing has been completed for all the search result image IDs in the immediately preceding step S111.
In the case of Yes, that is, when the process is finished, the image search unit 230 finishes the search execution process.
If No, that is, if the process has not ended, the image search unit 230 advances the process to step S116. If there are a plurality of search result image IDs, the process proceeds to step S116 at least once.

ステップＳ１１６において、画像検索部２３０は、登録ＩＤ取得処理を行う。
ここでは、画像検索部２３０は、ステップＳ１１２でソートされた、時系列順で次に古い、検索結果画像ＩＤ（登録ＩＤ）を取り出す。これが、次の検索結果データとなる。 In step S116, the image search unit 230 performs a registration ID acquisition process.
Here, the image search unit 230 takes out the search result image ID (registration ID) that is sorted next in step S112 and is the next oldest in time series order. This is the next search result data.

ステップＳ１１７において、画像検索部２３０は、取り出した検索結果画像ＩＤが時系列順でより古い検索結果画像ＩＤに関連付けられたデータ（検索に使用されたキー画像の登録ＩＤ）に含まれるか、すなわち冗長な表示になるかか否かを判定する。
Ｙｅｓの場合、重複していた場合には、画像検索部２３０は、処理をステップＳ１１５に戻して次の検索結果画像ＩＤについての処理を行う。つまり、重複していた検索結果画像ＩＤは、「関連付けられたデータ」に変更を与えることなく、実質的に破棄される。
Ｎｏの場合、すなわち重複がなければ、画像検索部２３０は、ステップＳ１１８に処理を進める。 In step S117, the image search unit 230 determines whether the retrieved search result image ID is included in the data (registration ID of the key image used for the search) associated with the older search result image ID in chronological order. It is determined whether or not the display is redundant.
In the case of Yes, if there is an overlap, the image search unit 230 returns the process to step S115 and performs the process for the next search result image ID. That is, the search result image ID that has been duplicated is substantially discarded without changing the “associated data”.
In the case of No, that is, if there is no overlap, the image search unit 230 advances the process to step S118.

ステップＳ１１８において、画像検索部２３０は、カウントアップ処理を行う。ここでは、画像検索部２３０は、重複がなかった検索結果画像ＩＤと関連付けて、検索に使用したキー画像の登録ＩＤを記憶し、検索回数をカウントアップする。
その後、画像検索部２３０は、処理をステップＳ１１５に戻す。
なお、Ｓ１１５〜Ｓ１１８は、省略しても良い。省略しても、最古の検索結果画像ＩＤだけは、レコードに反映される。 In step S118, the image search unit 230 performs a count-up process. Here, the image search unit 230 stores the registration ID of the key image used for the search in association with the search result image ID that has not been duplicated, and counts up the number of searches.
Thereafter, the image search unit 230 returns the process to step S115.
Note that S115 to S118 may be omitted. Even if omitted, only the oldest search result image ID is reflected in the record.

（登録ＩＤの検索の重複を防ぐ効果）
ここで、この検索結果画像ＩＤからの登録ＩＤの検索において、ステップＳ１１７のような重複を検知するステップを用いた場合の効果について説明する。
まず、図８を参照して、ステップＳ１１７の判定を行わ「ない」場合の検索結果の表示例について説明する。
図８は、時系列順の登録ＩＤに係る画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈにおいて、互いの類似度が所定の閾値以上の場合、検索結果データのキー画像の画像と、このキー画像に関連づけられた画像とから構成される検索結果の表示例である。
すなわち、ステップＳ１１７のような重複の判定を行わない場合、撮像装置２０１−１〜２０１−ｎや画像記録装置２０２から供給される画像データから、顔が検出される都度に検索を行う。このため、関連づけられた画像データは、次に類似人物が出現すると検索結果画像データとして取得される。すなわち、図８のように、時間的に古い（検索結果画像＋関連づけられた画像）に含まれる時間的に新しい（検索結果画像＋関連づけられた画像）が複数得られ、すなわち検索結果データの入れ子構造が起きて、検索結果データを記憶する際の記憶容量の増大を招いてしまうという問題があった。なお、図８では、関連がない画像、例えば、Ｂ、Ｃ、Ｄは表示されないように構成可能である。
これに対して、本実施形態の処理にて、ステップＳ１１７の判定を行うことで、この冗長性を防止することができる。これにより、検索結果データにおける入れ子構造を防ぐことができる。
このように構成することにより、検索結果データの記憶容量を少なくすることができ、に効率的な処理を実現することができる。 (Effects to prevent duplicate registration ID searches)
Here, an effect when the step of detecting duplication as in step S117 is used in the search of the registration ID from the search result image ID will be described.
First, with reference to FIG. 8, a display example of a search result when the determination in step S117 is “no” will be described.
FIG. 8 shows an image of the key image of the search result data when the images A, B, C, D, E, F, G, and H related to the registration IDs in time-series order have similarities equal to or higher than a predetermined threshold. And a display example of a search result composed of an image associated with the key image.
That is, when the overlap determination is not performed as in step S117, the search is performed every time a face is detected from the image data supplied from the imaging devices 201-1 to 201-n and the image recording device 202. Therefore, the associated image data is acquired as search result image data when a similar person appears next time. That is, as shown in FIG. 8, a plurality of temporally new (search result image + associated image) included in the temporally old (search result image + associated image) is obtained, that is, the search result data is nested. There is a problem that the structure occurs and the storage capacity is increased when the search result data is stored. In FIG. 8, it is possible to configure so that unrelated images, for example, B, C, and D, are not displayed.
On the other hand, this redundancy can be prevented by performing the determination in step S117 in the processing of the present embodiment. Thereby, the nested structure in search result data can be prevented.
With such a configuration, the storage capacity of the search result data can be reduced, and more efficient processing can be realized.

その後、画像検索部２３０は、処理をステップＳ１１５に戻す。
以上により、画像検索部２３０の検索実行処理を終了する。登録通知された登録ＩＤが複数ある場合には、上述の処理を繰り返して行う。
その後、画像検索部２３０は、図４のステップＳ２０１の検索結果データ保存処理を行う。 Thereafter, the image search unit 230 returns the process to step S115.
Thus, the search execution process of the image search unit 230 ends. When there are a plurality of registration IDs notified of registration, the above process is repeated.
Thereafter, the image search unit 230 performs search result data storage processing in step S201 of FIG.

なお、図４において、タイミングＴ３０７〜Ｔ３１１とその後のステップＳ２０１において、各構成部位は、上述の処理と同様の処理を行う。   In FIG. 4, at timings T <b> 307 to T <b> 311 and subsequent step S <b> 201, each component performs the same processing as the above-described processing.

〈画像検索部２３０の検索結果データ応答処理〉
次に、図９を更に参照して、画像検索部２３０の検索結果データ応答処理について説明する。
この処理は、図４のタイミングＴ３１２にて、ユーザインタフェース部２４０から、検索結果要求を受け取った際の、画像検索部２３０の処理を示している。すなわち、図４のステップＳ２０３と、タイミングＴ３１３の処理に対応する。 <Search Result Data Response Processing of Image Search Unit 230>
Next, the search result data response process of the image search unit 230 will be described with further reference to FIG.
This process indicates the process of the image search unit 230 when a search result request is received from the user interface unit 240 at timing T312 in FIG. That is, this corresponds to step S203 in FIG. 4 and processing at timing T313.

まず、ステップＳ１３１において、画像検索部２３０は、検索結果選択処理を行う。
具体的には、画像検索部２３０は、ユーザインタフェース部２４０から検索結果要求を受信すると、記憶部に記憶している検索結果データから、検索回数値の大きい登録ＩＤを選択する。 First, in step S131, the image search unit 230 performs a search result selection process.
Specifically, when receiving the search result request from the user interface unit 240, the image search unit 230 selects a registration ID having a large search count value from the search result data stored in the storage unit.

次に、ステップＳ１３２において、画像検索部２３０は、対応画像及び関連データ取り出し処理を行う。
この処理において、画像検索部２３０は、画像特徴量記憶部２２０から、上述のキー画像の登録ＩＤと、キー画像の関連づけられたデータに係る登録ＩＤとについて、対応する画像データと、この画像データに対応する他のデータとを取得する。具体的には、登録ＩＤに対応する縮小画像データを取得する。
なお、画像記録装置２０２に対して、登録ＩＤと、該登録ＩＤに関連付けられたデータに係る登録ＩＤとを用いてアクセスし、縮小画像でない画像データ等を取得することもできる。 Next, in step S132, the image search unit 230 performs a corresponding image and related data extraction process.
In this process, the image search unit 230 receives image data corresponding to the registration ID of the key image and the registration ID related to the data associated with the key image from the image feature amount storage unit 220 and the image data. Get other data corresponding to. Specifically, reduced image data corresponding to the registration ID is acquired.
It is also possible to access the image recording apparatus 202 using a registration ID and a registration ID related to data associated with the registration ID, and acquire image data that is not a reduced image.

次に、ステップＳ１３３において、画像検索部２３０は、対応画像及び関連データ表示処理を行う。
具体的には、画像検索部２３０は、上述のステップで得た、キー画像の画像データと、これに関連づけられた画像データとを送信する。
これを受信したユーザインタフェース部２４０は、画像データ等を表示する。この際に、画像データに対応する他のデータも表示することができる。
なお、検索結果データの登録ＩＤは、検索回数の大きい順にソートして表示することで、視認効果が高い見やすい表示を実現してもよい。
以上により、検索結果データ応答処理を終了する。 Next, in step S133, the image search unit 230 performs a corresponding image and related data display process.
Specifically, the image search unit 230 transmits the image data of the key image obtained in the above steps and the image data associated therewith.
Upon receiving this, the user interface unit 240 displays image data and the like. At this time, other data corresponding to the image data can also be displayed.
The search result data registration IDs may be sorted and displayed in descending order of the number of searches, thereby realizing an easy-to-see display with a high visual effect.
Thus, the search result data response process ends.

（検索結果の表示例）
ここで、図１０〜図１２を参照して、ユーザインタフェース部２４０により表示される、検索結果データの表示例について説明する。
図１０は、画像を重ねて表示する重ね表示モードの表示例を示している。この重ね表示モードにおいては、図７のデータフォーマットにおける検索結果画像の登録ＩＤに対応する画像を前面に表示し、この登録ＩＤに関連づけられた登録ＩＤに対応する画像を背面に表示する。
このように、複数の画像を立体的に並べて重ねて表示することで、ある画像について検索された回数の多い少ないが容易に分かる。このため、類似の人物の出現頻度が一目で分かるという効果が得られる。この重ねた表示においては、前面、後面の画像の前後をユーザインタフェース部２４０からの操作により入れ換えることもできる。 (Search result display example)
Here, display examples of search result data displayed by the user interface unit 240 will be described with reference to FIGS.
FIG. 10 shows a display example in the overlapping display mode in which images are displayed in an overlapping manner. In this overlapping display mode, an image corresponding to the registration ID of the search result image in the data format of FIG. 7 is displayed on the front, and an image corresponding to the registration ID associated with this registration ID is displayed on the back.
In this way, by displaying a plurality of images arranged in a three-dimensional manner in a superimposed manner, it is easy to understand although the number of searches for a certain image is small. For this reason, the effect that the appearance frequency of a similar person can be known at a glance is obtained. In this superimposed display, the front and back images can be replaced by an operation from the user interface unit 240.

図１１は、図１０を展開表示する展開表示モードの画面例を示す。
この展開表示モードでは、前面の画像を右に表示し、背面の画像を左に表示することで、類似の人物の登場場面を確認できる。
なお、ユーザインタフェース部２４０を用いて、ユーザの要求に応じてこれら二つの検索結果データの重ね表示モードと展開表示モードとを切り換え可能なように構成してもよい。 FIG. 11 shows an example of an expanded display mode screen for expanding and displaying FIG.
In this unfolded display mode, the appearance image of a similar person can be confirmed by displaying the front image on the right and the back image on the left.
Note that the user interface unit 240 may be configured to be able to switch between the overlapping display mode and the expanded display mode of these two search result data according to a user request.

図１２は検索結果の別の表示例を示す。この表示例では、時系列順の画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉの画像特徴量空間での位置が図１２（ｃ）に示すような場合の表示例について説明する。
図１２（ａ）の表示例においては、図１１のように展開して表示する例を示している。すなわち、画像Ａに関連づけられた画像は、Ｄ、Ｅ、Ｆである。また、画像Ｄに関連づけられた画像は、Ｇ、Ｈ、Ｉである。また、画像Ｆに関連づけられた画像は、Ｉである。なお、ここでは、関連づけられていないＢ、Ｃは表示されないように構成可能である。
さらに、図１２（ｂ）のように、画像Ａに関連づけられた画像Ｄ，Ｅ，Ｆを検索結果とする画像群を、画像Ａに関連付けて画像間の二次的な関連を表示することもできる。
また、図１２（ｃ）のように、相関図自体をプロットすることも可能である。 FIG. 12 shows another display example of the search result. In this display example, a display example in which the positions of the images A, B, C, D, E, F, G, H, and I in time series order in the image feature amount space are as shown in FIG. explain.
In the display example of FIG. 12A, an example of expanding and displaying as shown in FIG. 11 is shown. That is, the images associated with the image A are D, E, and F. The images associated with the image D are G, H, and I. The image associated with the image F is I. Here, B and C which are not associated with each other can be configured not to be displayed.
Further, as shown in FIG. 12B, the image group whose search results are the images D, E, and F associated with the image A may be associated with the image A to display a secondary relationship between the images. it can.
Also, as shown in FIG. 12C, the correlation diagram itself can be plotted.

〔監視システムＸの自動検索処理〕
上述のユーザ指示による検索処理においては、ユーザの指示を検索開始の合図として、録画された画像データから画像検索を行う例について記載した。
これに対して、テロ等の事前抑止を目的とする場合、予め設定された検索条件を用いた検索により、警告を表示等する自動検索を行うことが望ましいと考えられる。 [Automatic search processing of monitoring system X]
In the search process based on the user instruction described above, an example is described in which an image search is performed from recorded image data with the user instruction as a cue to start the search.
On the other hand, when the purpose is to prevent terrorism or the like in advance, it may be desirable to perform an automatic search that displays a warning or the like by a search using a preset search condition.

ここで、図１３を参照して、このような自動検索の処理について説明する。
図１３は、自動検索を行い、類似人物があらかじめ指定した回数以上検出されるとユーザインタフェース部２４０に表示する場合のシーケンス図を示している。
図１３において、各部は、図４のユーザの指示による検索処理とほぼ同様の処理を行う。ここで、図４と同じ符号は、同様のタイミングと処理を示している。 Here, the automatic search process will be described with reference to FIG.
FIG. 13 shows a sequence diagram in the case where an automatic search is performed and a similar person is detected on the user interface unit 240 when a predetermined number of times or more are detected.
In FIG. 13, each unit performs almost the same process as the search process according to the user instruction in FIG. 4. Here, the same reference numerals as those in FIG. 4 indicate the same timing and processing.

ここで、ステップＳ３０１において、この検索結果データの保存時に、画像検索部２３０は、検索結果データ発報処理を行う。
具体的には、画像検索部２３０は、検索結果データの各登録ＩＤの検索回数をチェックする。その上で、登録ＩＤにカウントアップされた検索回数が、検索条件入力画面４００（図３参照）で設定したアラーム通知条件値以上となった場合、ユーザインタフェース部２４０に検索結果発報を送信する。
この検索結果発報を受信したユーザインタフェース部２４０は、アラーム通知等の表示を行う。 Here, in step S301, when the search result data is stored, the image search unit 230 performs a search result data issue process.
Specifically, the image search unit 230 checks the number of searches for each registered ID in the search result data. In addition, when the number of searches counted up in the registration ID is equal to or greater than the alarm notification condition value set on the search condition input screen 400 (see FIG. 3), a search result notification is transmitted to the user interface unit 240. .
The user interface unit 240 that has received the search result notification displays an alarm notification or the like.

この自動検索処理においても、検出された画像に関する表示内容は、図１０乃至１２と同様でもよい。
なお、検索回数としては、ある登録ＩＤの画像が検索された回数に加えて、その登録ＩＤに関連づけられた画像が検索された回数を加えた合算値を使用することもできる。これにより、画像の二次的な関連も考慮して表示を行うことができる。
図１２の例では、画像Ａに関する検索回数は、画像Ａの検索回数＋画像Ｄの検索回数＋画像Ｆの検索回数となる。なお、画像Ｉのように重複がある場合、必要に応じて重複数を合算値から差し引く等の処理を行って表示することもできる。 Also in this automatic search process, the display content related to the detected image may be the same as in FIGS.
As the number of searches, in addition to the number of times an image with a certain registration ID is searched, a total value obtained by adding the number of times an image associated with the registration ID is searched can be used. Thereby, it is possible to display in consideration of the secondary relation of the image.
In the example of FIG. 12, the number of searches for image A is the number of searches for image A + the number of searches for image D + the number of searches for image F. In addition, when there exists duplication like the image I, it can also display by performing processes, such as subtracting the duplication number from a total value as needed.

また、図６に示す手順で検索回数のカウントをおこなった場合、検索回数値の高い登録ＩＤに係る画像は典型的な類似人物の画像である「典型画像」と期待される。
一方、典型画像が出現する前の類似画像は、典型画像の検索回数に反映されていない。したがって、検索回数の多い典型画像を使用して検索を行うように構成することができる。この際、その検索のカウント数がアラーム通知条件として設定した値以上となった場合、アラーム表示することができる。また、この結果を利用して、典型画像が出現する前の類似画像を典型画像に関連づけて記憶するように構成することもできる。
以上により、自動検索処理を終了する。 When the number of searches is counted according to the procedure shown in FIG. 6, an image related to a registration ID having a high search count value is expected to be a “typical image” that is a typical similar person image.
On the other hand, the similar image before the appearance of the typical image is not reflected in the number of searches for the typical image. Therefore, it can be configured to perform a search using a typical image having a large number of searches. At this time, if the number of search counts exceeds the value set as the alarm notification condition, an alarm can be displayed. Further, by using this result, a similar image before the typical image appears can be stored in association with the typical image.
Thus, the automatic search process ends.

〔指定した画像の表示抑止〕
次に、あらかじめ指定した画像の表示を抑止する例について説明する。
たとえば、監視システムＸにより監視する区域に、要注意人物でない業務員等が現れた場合、このような人物の画像が検索されないように構成することが可能である。
図１４を参照すると、このような構成の場合、例えば検索結果データレコードに「表示ＯＮ／ＯＦＦ」のフィールドを備え、指定した登録ＩＤについて、検索結果を表示する／しないという選択が可能である。
表示しない場合の指定は、図１０〜図１２のような検索結果を表示後、ユーザが表示を抑止する検索結果画像をポインティングデバイス等で指定するように構成できる。 [Suppress display of specified image]
Next, an example of suppressing display of an image designated in advance will be described.
For example, when a business worker who does not require attention appears in an area monitored by the monitoring system X, an image of such a person can be prevented from being searched.
Referring to FIG. 14, in the case of such a configuration, for example, a search result data record includes a “display ON / OFF” field, and it is possible to select whether or not to display a search result for a designated registration ID.
The designation in the case of not displaying can be configured such that, after displaying the search results as shown in FIG.

以上のように構成することで、以下のような効果を得ることができる。
まず、従来技術１の警備システムでは、不審な人物が何度か同じ場所に現われても、警備員が交代してしまうと目撃情報が引き継ぎされないため、不審者情報を取りこぼしてしまうという課題があった。
これに対して、本発明の実施の形態に係る監視システムＸにおいては、画像検索部２３０は、監視カメラの映像から抽出された画像特徴量を使用して、画像記録装置の記録画像について類似の画像検索を行い、検索された類似性の高い登録ＩＤの画像が検索された回数をカウントする。そして、あらかじめユーザが設定した条件とカウント回数に応じて、ユーザインタフェース部２４０に表示を行うことができる。これにより、監視カメラで撮影された映像の顔と類似の顔を監視カメラの記録映像から自動検索し、類似人物の出現頻度を推定することで、従来の警備システムを補完することができる。
また、監視システムＸは、画像検索部２３０は、あらかじめ指定した記録画像については、検索されたカウント回数にかかわらず表示を行わないことができる。これにより、従業員等、業務上の理由等で監視カメラに複数回にわたり撮影される人物については、表示を抑止することができる。このため、不審人物を検出しやすくなるという効果が得られる。 With the configuration described above, the following effects can be obtained.
First, in the security system of Prior Art 1, there is a problem that even if a suspicious person appears several times in the same place, the sighting information is not taken over if the security guard is changed, and thus the suspicious person information is missed. It was.
On the other hand, in the monitoring system X according to the embodiment of the present invention, the image search unit 230 uses the image feature amount extracted from the video of the monitoring camera, and similar to the recorded image of the image recording device. An image search is performed, and the number of times the searched image with a registered ID having a high similarity is searched. Then, display can be performed on the user interface unit 240 in accordance with the conditions and the number of counts set in advance by the user. Thus, the conventional security system can be complemented by automatically searching for a face similar to the face of the video taken by the surveillance camera from the recorded video of the surveillance camera and estimating the appearance frequency of the similar person.
In addition, in the monitoring system X, the image search unit 230 can not display the previously specified recorded image regardless of the number of counts searched. Thereby, it is possible to suppress the display of a person who is photographed multiple times by the monitoring camera for business reasons or the like. For this reason, the effect that it becomes easy to detect a suspicious person is acquired.

以上のように、本発明の実施の形態に係る監視システムＸによれば、監視カメラの映像から検出された顔画像等を使用して、画像記録装置の記録画像について類似の顔画像検索を行い、類似人物の出現頻度を推定することができる。このため、テロ等の事件の事前抑止に効果的なシステムを提供できる。
また、本実施形態の監視システムＸは、あらかじめ検索対象の人物を設定しておく必要がないため、不特定の人々なかから不審人物を探し出すのに有効なシステムを提供できる。 As described above, according to the monitoring system X according to the embodiment of the present invention, a similar face image search is performed on the recorded image of the image recording apparatus using the face image detected from the video of the monitoring camera. The appearance frequency of similar persons can be estimated. Therefore, it is possible to provide an effective system for pre-determination of incidents such as terrorism.
In addition, since the monitoring system X according to the present embodiment does not need to set a search target person in advance, it is possible to provide an effective system for finding a suspicious person from unspecified people.

また、本実施形態の監視システムＸの画像検索部２３０は、あらかじめ設定した検索条件にしたがって類似の人物が複数回検出された場合、アラーム通知を行うことを特徴とする。これにより、警備等の業務における迅速な対応をサポートすることができる。
また、本実施形態の監視システムＸの画像検索部２３０は、類似画像検索結果の保存において、時系列順に検索結果をチェックし、重複画像の記録を抑止することができる。これにより、検索結果記憶容量を削減することができ、各装置のコストを抑制することができる。
また、本実施形態の監視システムＸのユーザインタフェース部２４０は、登録ＩＤに関連づけられたデータを重ねて表示する表示モードと、並べて表示する表示モードとを備えることを特徴とする。これにより、多数の類似画像を効率的に分類して、チェックすることができる。 In addition, the image search unit 230 of the monitoring system X according to the present embodiment is characterized in that an alarm is notified when a similar person is detected a plurality of times in accordance with a preset search condition. As a result, it is possible to support a quick response in security operations.
In addition, the image search unit 230 of the monitoring system X according to the present embodiment can check the search results in the time series order when storing similar image search results, and can suppress the recording of duplicate images. Thereby, the search result storage capacity can be reduced, and the cost of each device can be suppressed.
In addition, the user interface unit 240 of the monitoring system X according to the present embodiment includes a display mode in which data associated with a registration ID is displayed in a superimposed manner, and a display mode in which the data is displayed side by side. Thereby, a large number of similar images can be efficiently classified and checked.

なお、本実施の形態の監視システムＸの画像検索方法においては、上述の検索処理に限定するものではない。たとえば、類似する画像グループの代表の画像の登録ＩＤを選択し、その登録ＩＤの画像を用いて検索を行うこともできる。また、類似画像の出現頻度をカウントするだけではなく、時間的、空間的な出現確率から、ベイズ推定等の統計的手法や人工知能的な手法を用いて行動パターンを分析するといった処理を行うこともできる。
また、本実施形態の監視システムＸの画像検索部２３０は、リアルタイムに類似画像を検索するだけではなく、画像記録装置２０２の記憶媒体に記憶した画像データを用いて上述の処理を行うことで、記録画像の解析による人物動向の解析にも活用可能である。
また、本実施の形態における画像検索装置２０３における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。たとえば、画像特徴量登録部２１０、画像特徴量記憶部２２０、画像検索部２３０をＰＣ等のコンピュータで実現し、ユーザインタフェース部２４０を別のＰＣ等のコンピュータで実現し、各コンピュータをネットワークで接続することで画像検索装置２０３を実現することもできる。
また、画像記録装置２０２に、画像特徴量登録部２１０、画像特徴量記憶部２２０、画像検索部２３０を備えるような構成も可能である。これにより、システムで使用するハードウェア台数を削減し、より低消費電力でコストを削減した監視システムを構成することができる。 Note that the image search method of the monitoring system X according to the present embodiment is not limited to the above-described search processing. For example, it is possible to select a registration ID of a representative image of a similar image group and perform a search using the image of the registration ID. In addition to counting the appearance frequency of similar images, processing such as analyzing behavior patterns using temporal and spatial appearance probabilities using statistical methods such as Bayesian estimation and artificial intelligence methods You can also.
In addition, the image search unit 230 of the monitoring system X according to the present embodiment not only searches for similar images in real time, but also performs the above-described processing using image data stored in the storage medium of the image recording device 202. It can also be used to analyze human trends by analyzing recorded images.
In addition, each unit in the image search apparatus 203 in the present embodiment may not be realized by independent hardware, and a plurality of units may be realized by one piece of hardware. For example, the image feature amount registration unit 210, the image feature amount storage unit 220, and the image search unit 230 are realized by a computer such as a PC, the user interface unit 240 is realized by a computer such as another PC, and the computers are connected via a network. Thus, the image search device 203 can also be realized.
Further, the image recording apparatus 202 may be configured to include an image feature amount registration unit 210, an image feature amount storage unit 220, and an image search unit 230. As a result, the number of hardware used in the system can be reduced, and a monitoring system with lower power consumption and reduced cost can be configured.

また本発明の実施の形態に係る監視システムＸにおいては、人物検索を対象に示したが、これに限られない。たとえば、本発明明の実施の形態に係る監視システムＸは、人物だけでなく、一般的な画像検索にも適用できる。たとえば、家畜や害獣の検索、製品管理等にも応用可能である。   In the monitoring system X according to the embodiment of the present invention, the person search is shown as an object, but the present invention is not limited to this. For example, the monitoring system X according to the embodiment of the present invention can be applied not only to a person but also to a general image search. For example, it can be applied to search for livestock and harmful animals, product management, and the like.

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。   Note that the configuration and operation of the above-described embodiment are examples, and it is needless to say that the configuration and operation can be appropriately changed and executed without departing from the gist of the present invention.

２００ ネットワーク
２０１−１〜２０１−ｎ 撮像装置
２０２ 画像記録装置
２０３ 画像検索装置
２１０ 画像特徴量登録部
２２０ 画像特徴量記憶部
２３０ 画像検索部
２４０ ユーザインタフェース部
４００ 検索条件入力画面
４１０、４２０、４３０、４４０ 表示欄
５００ ボタン
Ｘ 監視システム 200 network 201-1 to 201-n imaging device 202 image recording device 203 image search device 210 image feature amount registration unit 220 image feature amount storage unit 230 image search unit 240 user interface unit 400 search condition input screen 410, 420, 430, 440 Display column 500 Button X Monitoring system

Claims (2)

撮像装置からの画像データを記録する画像記録装置と、
前記画像データの特徴量を登録する特徴量登録手段と、
前記画像データの登録ＩＤと、登録された前記特徴量とを記憶する特徴量記憶手段と、
入力された検索条件をもとに、前記登録ＩＤの前記特徴量を使用して検索を行う画像検索手段と、
入力された前記検索条件を前記画像検索手段に通知し、検索結果を表示するユーザインタフェース手段とを備え、
前記画像検索手段は、
前記登録ＩＤの前記特徴量を用いて、類似性の高い特徴量をもつ登録ＩＤの検索を行い、
検索された前記類似性の高い特徴量をもつ登録ＩＤが検索された回数をカウントし、
ユーザにより設定された条件と前記カウントされた回数に応じて、前記ユーザインタフェース手段に表示を行わせる
ことを特徴とする画像検索装置。 An image recording device for recording image data from the imaging device;
Feature amount registration means for registering the feature amount of the image data;
Feature quantity storage means for storing the registration ID of the image data and the registered feature quantity;
Image search means for performing a search using the feature amount of the registration ID based on the input search condition;
User interface means for notifying the image search means of the input search conditions and displaying search results;
The image search means includes
Using the feature quantity of the registration ID, search for a registration ID having a feature quantity with high similarity,
Count the number of times the registered ID having the feature value with the similar similarity was searched,
An image search apparatus characterized by causing the user interface means to perform display according to a condition set by a user and the counted number of times. 前記画像検索手段は、あらかじめ指定された登録ＩＤの画像については、検索されたカウント回数にかかわらず、前記ユーザインタフェース手段に表示を行わせない
ことを特徴とする請求項１に記載の画像検索装置。 2. The image search device according to claim 1, wherein the image search unit does not cause the user interface unit to display an image with a registration ID designated in advance, regardless of the number of times the search is performed. .
JP2010050655A 2010-03-08 2010-03-08 Image search device Active JP5058279B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010050655A JP5058279B2 (en) 2010-03-08 2010-03-08 Image search device
PCT/JP2010/006029 WO2011111129A1 (en) 2010-03-08 2010-10-08 Image-search apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010050655A JP5058279B2 (en) 2010-03-08 2010-03-08 Image search device

Publications (2)

Publication Number Publication Date
JP2011186733A true JP2011186733A (en) 2011-09-22
JP5058279B2 JP5058279B2 (en) 2012-10-24

Family

ID=44562977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010050655A Active JP5058279B2 (en) 2010-03-08 2010-03-08 Image search device

Country Status (2)

Country Link
JP (1) JP5058279B2 (en)
WO (1) WO2011111129A1 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069605A1 (en) * 2011-11-07 2013-05-16 株式会社日立国際電気 Similar image search system
WO2014132841A1 (en) * 2013-02-28 2014-09-04 株式会社日立国際電気 Person search method and platform occupant search device
JP2014229103A (en) * 2013-05-23 2014-12-08 グローリー株式会社 Video analysis device and video analysis method
WO2015053604A1 (en) * 2013-10-08 2015-04-16 Data Calibre Sdn Bhd A face retrieval method
WO2015137190A1 (en) * 2014-03-14 2015-09-17 株式会社日立国際電気 Video monitoring support device, video monitoring support method and storage medium
JP2015228564A (en) * 2014-05-30 2015-12-17 株式会社日立国際電気 Monitoring camera system
JP2016134134A (en) * 2015-01-22 2016-07-25 株式会社デンソーアイティーラボラトリ Image searching device, image searching method, and image searching program
KR20170009300A (en) * 2015-07-16 2017-01-25 한화테크윈 주식회사 Advanced wander alarm system and method thereof
JP2017033413A (en) * 2015-08-04 2017-02-09 ユニファ株式会社 Robot photographing system and image management method
WO2017077902A1 (en) * 2015-11-06 2017-05-11 日本電気株式会社 Data processing device, data processing method, and program
JP6172551B1 (en) * 2016-06-09 2017-08-02 パナソニックＩｐマネジメント株式会社 Image search device, image search system, and image search method
WO2018179586A1 (en) * 2017-03-31 2018-10-04 日本電気株式会社 Analysis system, analysis method, and program
US10140354B2 (en) 2013-03-01 2018-11-27 Nec Corporation Information processing device, data processing method therefor, and recording medium
WO2019176736A1 (en) * 2018-03-13 2019-09-19 本田技研工業株式会社 Display data generating device and program
JPWO2018180201A1 (en) * 2017-03-29 2020-01-16 株式会社日立国際電気 Similar face image retrieval system
JP2020136714A (en) * 2019-02-13 2020-08-31 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 Information processing device and monitoring method
WO2020213107A1 (en) * 2019-04-17 2020-10-22 ヤマハ発動機株式会社 Image search device, component mounting system, and image search method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176728A1 (en) * 2018-03-13 2019-09-19 本田技研工業株式会社 Information generation device and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109014A (en) * 2004-10-04 2006-04-20 Omron Corp Suspicious person determining device
JP2006259828A (en) * 2005-03-15 2006-09-28 Omron Corp Monitoring system, device and method, recording medium and program
JP2007310464A (en) * 2006-05-16 2007-11-29 Seiko Epson Corp Monitoring camera system and control method for the same
JP2009199322A (en) * 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc Monitoring system, and person retrieval method
JP2009205594A (en) * 2008-02-29 2009-09-10 Sogo Keibi Hosho Co Ltd Security device and suspicious person determining method
JP2009301501A (en) * 2008-06-17 2009-12-24 Hitachi Kokusai Electric Inc Search result display method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051076A (en) * 2001-08-07 2003-02-21 Fujitsu General Ltd Device for monitoring intrusion
JP5035595B2 (en) * 2006-07-21 2012-09-26 オムロン株式会社 Monitoring device and method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109014A (en) * 2004-10-04 2006-04-20 Omron Corp Suspicious person determining device
JP2006259828A (en) * 2005-03-15 2006-09-28 Omron Corp Monitoring system, device and method, recording medium and program
JP2007310464A (en) * 2006-05-16 2007-11-29 Seiko Epson Corp Monitoring camera system and control method for the same
JP2009199322A (en) * 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc Monitoring system, and person retrieval method
JP2009205594A (en) * 2008-02-29 2009-09-10 Sogo Keibi Hosho Co Ltd Security device and suspicious person determining method
JP2009301501A (en) * 2008-06-17 2009-12-24 Hitachi Kokusai Electric Inc Search result display method

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101431A (en) * 2011-11-07 2013-05-23 Hitachi Kokusai Electric Inc Similar image search system
WO2013069605A1 (en) * 2011-11-07 2013-05-16 株式会社日立国際電気 Similar image search system
JPWO2014132841A1 (en) * 2013-02-28 2017-02-02 株式会社日立国際電気 Person search method and home staying person search device
WO2014132841A1 (en) * 2013-02-28 2014-09-04 株式会社日立国際電気 Person search method and platform occupant search device
US9589181B2 (en) 2013-02-28 2017-03-07 Hitachi Kokusai Electric Inc. Person search method and device for searching person staying on platform
US10140354B2 (en) 2013-03-01 2018-11-27 Nec Corporation Information processing device, data processing method therefor, and recording medium
US11423054B2 (en) 2013-03-01 2022-08-23 Nec Corporation Information processing device, data processing method therefor, and recording medium
JP2014229103A (en) * 2013-05-23 2014-12-08 グローリー株式会社 Video analysis device and video analysis method
WO2015053604A1 (en) * 2013-10-08 2015-04-16 Data Calibre Sdn Bhd A face retrieval method
WO2015137190A1 (en) * 2014-03-14 2015-09-17 株式会社日立国際電気 Video monitoring support device, video monitoring support method and storage medium
JPWO2015137190A1 (en) * 2014-03-14 2017-04-06 株式会社日立国際電気 Video surveillance support apparatus, video surveillance support method, and storage medium
JP2015228564A (en) * 2014-05-30 2015-12-17 株式会社日立国際電気 Monitoring camera system
JP2016134134A (en) * 2015-01-22 2016-07-25 株式会社デンソーアイティーラボラトリ Image searching device, image searching method, and image searching program
KR20170009300A (en) * 2015-07-16 2017-01-25 한화테크윈 주식회사 Advanced wander alarm system and method thereof
KR102015588B1 (en) * 2015-07-16 2019-08-28 한화테크윈 주식회사 Advanced wander alarm system and method thereof
JP2017033413A (en) * 2015-08-04 2017-02-09 ユニファ株式会社 Robot photographing system and image management method
WO2017077902A1 (en) * 2015-11-06 2017-05-11 日本電気株式会社 Data processing device, data processing method, and program
US11830286B2 (en) 2015-11-06 2023-11-28 Nec Corporation Data processing apparatus, data processing method, and non-transitory storage medium
JPWO2017077902A1 (en) * 2015-11-06 2018-08-16 日本電気株式会社 Data processing apparatus, data processing method, and program
JP7103624B2 (en) 2015-11-06 2022-07-20 日本電気株式会社 Data processing equipment, data processing methods, and programs
US10867162B2 (en) 2015-11-06 2020-12-15 Nec Corporation Data processing apparatus, data processing method, and non-transitory storage medium
WO2017212813A1 (en) * 2016-06-09 2017-12-14 パナソニックＩｐマネジメント株式会社 Image search device, image search system, and image search method
JP6172551B1 (en) * 2016-06-09 2017-08-02 パナソニックＩｐマネジメント株式会社 Image search device, image search system, and image search method
JP2017220085A (en) * 2016-06-09 2017-12-14 パナソニックＩｐマネジメント株式会社 Image retrieval device, image retrieval system and image retrieval method
JPWO2018180201A1 (en) * 2017-03-29 2020-01-16 株式会社日立国際電気 Similar face image retrieval system
JP7103345B2 (en) 2017-03-31 2022-07-20 日本電気株式会社 Analysis system, analysis method and program
JPWO2018179586A1 (en) * 2017-03-31 2020-02-06 日本電気株式会社 Analysis system, analysis method and program
WO2018179586A1 (en) * 2017-03-31 2018-10-04 日本電気株式会社 Analysis system, analysis method, and program
WO2019176736A1 (en) * 2018-03-13 2019-09-19 本田技研工業株式会社 Display data generating device and program
JPWO2019176736A1 (en) * 2018-03-13 2021-01-14 本田技研工業株式会社 Display data generator and program
JP2020136714A (en) * 2019-02-13 2020-08-31 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 Information processing device and monitoring method
WO2020213107A1 (en) * 2019-04-17 2020-10-22 ヤマハ発動機株式会社 Image search device, component mounting system, and image search method
JP7083962B2 (en) 2019-04-17 2022-06-13 ヤマハ発動機株式会社 Image search device, component mounting system and image search method
JPWO2020213107A1 (en) * 2019-04-17 2021-12-02 ヤマハ発動機株式会社 Image search device, component mounting system and image search method
CN113711706A (en) * 2019-04-17 2021-11-26 雅马哈发动机株式会社 Image search device, component mounting system, and image search method

Also Published As

Publication number Publication date
WO2011111129A1 (en) 2011-09-15
JP5058279B2 (en) 2012-10-24

Similar Documents

Publication Publication Date Title
JP5058279B2 (en) Image search device
JP5438436B2 (en) Image search device
US11157778B2 (en) Image analysis system, image analysis method, and storage medium
JP6674584B2 (en) Video surveillance system
EP2954499B1 (en) Information processing apparatus, information processing method, program, and information processing system
JP4541316B2 (en) Video surveillance search system
JP4945477B2 (en) Surveillance system, person search method
US20180115749A1 (en) Surveillance system and surveillance method
JP5500303B1 (en) MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
JP2011233133A (en) Shoplifting preventing system
US20160125232A1 (en) Dynamic face identification
JP2021072475A (en) Monitoring system and monitoring system setting program
JP6867056B2 (en) Information processing equipment, control methods, and programs
JP2017220085A (en) Image retrieval device, image retrieval system and image retrieval method
JP2010257449A (en) Device, method, and program for retrieving person
JP2024041796A (en) information processing equipment
JP6206627B1 (en) Information processing apparatus, control method, and program
JP6683889B2 (en) Image retrieval device
US10783365B2 (en) Image processing device and image processing system
JP5758165B2 (en) Article detection device and stationary person detection device
JP5752977B2 (en) Image monitoring device
JP2021196741A (en) Image processing device, image processing method and program
JP2021072474A (en) Server device and alarm check image generation method
JP6536643B2 (en) INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM
JP2010257450A (en) Device, method, and program for retrieving person

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120731

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5058279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250