JP2018074317A - Person specification support device - Google Patents
Person specification support device Download PDFInfo
- Publication number
- JP2018074317A JP2018074317A JP2016210572A JP2016210572A JP2018074317A JP 2018074317 A JP2018074317 A JP 2018074317A JP 2016210572 A JP2016210572 A JP 2016210572A JP 2016210572 A JP2016210572 A JP 2016210572A JP 2018074317 A JP2018074317 A JP 2018074317A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- camera
- information
- person
- date
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Collating Specific Patterns (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、撮影機器によって撮像した映像を用いて人物を特定する際にその特定動作を支援する人物特定支援装置に関する。 The present invention relates to a person identification support device that supports a specific operation when a person is specified using an image captured by an imaging device.
カメラが撮像した人物が要注意人物であるか否かを特定してその結果を通知する防犯システムとして、特許文献１には、施設への入場許可人物の顔画像を記憶しておき、カメラが撮像した人物の顔の撮像画像と記憶された入場許可人物の顔画像とを顔認証照合し、入場許可人物の顔画像と一致しないと判定された撮像画像の人物を注意候補人物としてその撮像画像にこの注意候補人物の施設への訪問履歴情報を対応付けて記憶しておき、次の照合では、カメラが撮像した人物の顔の撮像画像と注意候補人物とを顔認証照合して一致する場合はこの注意候補人物の施設への訪問履歴情報を更新し、その更新した訪問履歴情報が所定要件を満たす場合（例えば更新した注意候補人物の所定期間内における訪問回数が所定回数以上の場合）に取得した撮像画像の人物を要注意人物であると推定してこの要注意人物が施設に来ている旨を示す情報を出力することが開示されている。 As a crime prevention system that identifies whether a person captured by a camera is a person who needs attention and notifies the result, Patent Document 1 stores a face image of a person permitted to enter a facility. The face image of the captured person's face and the stored face image of the permitted entry person are face-authenticated, and the captured image person determined not to match the face image of the permitted entry person is taken as the attention candidate person. The visit history information of the attention candidate person to the facility is stored in association with each other, and in the next verification, the captured image of the face of the person captured by the camera and the attention candidate person are matched by face authentication verification. Updates the visit history information to the facility of the attention candidate person, and the updated visit history information satisfies a predetermined requirement (for example, the number of visits of the updated attention candidate person within a predetermined period is a predetermined number of times) Acquired The blacklist a person captured image is estimated that blacklist is disclosed that outputs information indicating that coming facility.
しかしながら、特許文献１に記載された防犯システムにおいては、顔認証照合と更新される訪問履歴情報の頻度とから、要注意人物であるか否かの特定を行っているため、要注意人物であることを容易に判断することが難しく、また、訪問履歴情報の蓄積が必要であるため、その判断に長時間を要していた。 However, in the crime prevention system described in Patent Document 1, since it is specified whether or not it is a person requiring attention based on the face authentication collation and the frequency of updated visit history information, it is a person requiring attention. It is difficult to easily determine this, and since it is necessary to accumulate visit history information, this determination takes a long time.
従って本発明の目的は、人物の特定の判断を容易に行うことができ、しかもその判断を短時間で行うことができる人物特定支援装置を提供することにある。 Accordingly, an object of the present invention is to provide a person identification support device that can easily determine a person and can make the determination in a short time.
本発明によれば、人物特定支援装置は、人物を撮像して得た動画像データ又は静止画像データから顔画像を切り出して顔情報データを生成する画像処理手段と、画像処理手段が生成した顔情報データを、撮像したカメラを表すカメラ情報及び撮像した日時を表す日時情報に紐付けて記憶する第１の画像データ記憶手段と、人物を撮像して得た動画像データを、撮像したカメラを表すカメラ情報及び撮像した日時を表す日時情報に紐付けて記憶する第２の画像データ記憶手段と、第１の画像データ記憶手段に記憶されている顔情報データのカメラ情報及び日時情報に対応するカメラ情報及び日時情報を有する動画像データを、第２の画像データ記憶手段から読み出して顔情報データと共に表示する表示手段とを備えている。 According to the present invention, the person identification support device includes an image processing unit that generates face information data by cutting out a face image from moving image data or still image data obtained by imaging a person, and a face generated by the image processing unit. First image data storage means for storing information data in association with camera information representing a captured camera and date / time information representing a captured date and time, and a camera that captures moving image data obtained by capturing a person. Corresponding to the camera information and the date / time information of the face information data stored in the first image data storage means, the second image data storage means associated with the date / time information indicating the camera information and the date / time of imaging Displaying means for reading moving image data having camera information and date / time information from the second image data storage means and displaying it together with face information data.
第１の画像データ記憶手段に記憶されている顔情報データのカメラ情報及び日時情報に対応するカメラ情報及び日時情報を有する動画像データを、第２の画像データ記憶手段から読み出してこの人物の顔情報データと共に表示する。これにより、顔情報データに対応する人物の録画データである動画像データが同時に表示されるので、その人物の時間的に前後のふるまいを確認することができ、これだけで人物の特定が可能となり、人物特定が容易にかつ確実となる。しかも表示内容から直ちに判断できるので、人物特定を短時間で行うことができる。 The moving image data having camera information and date / time information corresponding to the camera information and date / time information of the face information data stored in the first image data storage means is read from the second image data storage means and the face of this person is read. Display with information data. As a result, since the moving image data, which is the recording data of the person corresponding to the face information data, is displayed at the same time, it is possible to check the behavior of the person before and after in time, and this makes it possible to identify the person, Person identification is easy and reliable. In addition, since it is possible to immediately determine from the display content, it is possible to specify a person in a short time.
第２の画像データ記憶手段が、映像監視レコーダの記憶手段であり、この記憶手段には、人物を撮像して得た動画像データと、この動画像データを撮像したカメラを表すカメラ情報及び撮像した日時を表す日時情報とが互いに紐付けされて記憶されており、カメラ情報及び日時情報を参照して記憶されている動画像データを読み出し可能に構成されていることが好ましい。 The second image data storage means is the storage means of the video surveillance recorder, and in this storage means, moving image data obtained by imaging a person, camera information representing the camera that has captured this moving image data, and imaging It is preferable that the date and time information indicating the date and time is stored in association with each other, and the moving image data stored with reference to the camera information and the date and time information can be read.
人物を撮像して動画像データを出力する少なくとも１つのカメラをさらに備えており、画像処理手段はこの少なくとも１つのカメラからの動画像データ又は静止画データから顔画像を切り出して顔情報データを生成するように構成されており、第２の画像データ記憶手段はこの少なくとも１つのカメラからの動画像データを記憶するように構成されていることも好ましい。 The image processing unit further includes at least one camera that captures a person and outputs moving image data, and the image processing unit generates face information data by extracting a face image from the moving image data or the still image data from the at least one camera. It is also preferable that the second image data storage means is configured to store moving image data from the at least one camera.
画像処理手段は、第１の画像データ記憶手段に記憶されている顔情報データを、登録されている顔情報と比較して人物の顔認証を行う顔認証手段を備えており、表示手段は、この顔認証手段によって認証された人物に関する動画像データを、第２の画像データ記憶手段から読み出して人物の認証顔情報と共に表示するように構成されていることも好ましい。 The image processing means includes face authentication means for performing face authentication of a person by comparing the face information data stored in the first image data storage means with the registered face information, and the display means includes: It is also preferable that the moving image data relating to the person authenticated by the face authentication means is read from the second image data storage means and displayed together with the person's authentication face information.
この場合、第１の画像データ記憶手段は、顔認証手段によって認証された人物に関する個人情報を認証顔情報、カメラ情報及び日時情報に紐付けて記憶するように構成されていることがより好ましい。 In this case, the first image data storage means is more preferably configured to store personal information related to the person authenticated by the face authentication means in association with the authentication face information, camera information, and date / time information.
本発明によれば、顔情報データに対応する人物の録画データである動画像データが同時に表示されるので、その人物の時間的に前後のふるまいを確認することができ、これだけで人物の特定が可能となり、人物特定が容易にかつ確実となる。しかも表示内容から直ちに判断できるので、人物特定を短時間で行うことができる。 According to the present invention, since moving image data that is recorded data of a person corresponding to face information data is displayed at the same time, it is possible to check the behavior of the person before and after the time. This makes it possible to identify a person easily and reliably. In addition, since it is possible to immediately determine from the display content, it is possible to specify a person in a short time.
以下、本発明に係る人物特定支援装置の実施形態を、図を参照して説明する。 Embodiments of a person identification support apparatus according to the present invention will be described below with reference to the drawings.
図１は本発明の一実施形態として、人物特定支援装置の全体構成を概略的に示しており、図２は本実施形態の人物特定支援装置におけるコンピュータの電気的構成を概略的に示している。以下、本実施形態の人物特定支援装置が、店舗において防犯のために人物特定の支援を行う装置であるとして説明する。もちろん、本発明の人物特定支援装置は、その他の用途、例えば店舗以外における防犯目的や、店舗等においてお得意様や会員様の特定目的のために適用することができる。 FIG. 1 schematically shows the overall configuration of a person identification support apparatus as an embodiment of the present invention, and FIG. 2 schematically shows the electrical configuration of a computer in the person identification support apparatus of this embodiment. . In the following description, it is assumed that the person identification support apparatus according to the present embodiment is an apparatus that performs person identification support for crime prevention in a store. Of course, the person identification support device of the present invention can be applied for other purposes, for example, for crime prevention purposes other than in stores, and for specific purposes of customers and members in stores and the like.
図１及び図２に示すように、人物特定支援装置は、例えば外部、出入口、及び店舗内等の所定位置にそれぞれ配置された複数（本実施形態では４つ）のカメラ１１、１２、１３及び１４と、画像処理手段を有するコンピュータ１５と、ディスプレイ１６と、動画像を記録する動画像録画機器１７とから主に構成されている。本実施形態では、コンピュータ１５は、ディスプレイ１６を有するデスクトップ型又はノート型等の汎用コンピュータである。カメラ１１、１２、１３及び１４は、動画像を連続的に撮像して動画像録画機器１７に録画すると共に、コンピュータ１５に同じ動画像データ又は静止画像データを送り込む機能を有する防犯カメラや監視カメラである。ＷｅｂカメラやＩＰカメラで構成されることもある。これらカメラ１１、１２、１３及び１４は、コンピュータ１５とＵＳＢケーブル、ＬＡＮケーブル又は無線ＬＡＮ等により通信可能に接続されている。なお、カメラの台数は、４つに限定されるものではなく、１台以上何台であっても良い。 As shown in FIGS. 1 and 2, the person identification support device includes, for example, a plurality (four in this embodiment) of cameras 11, 12, 13, which are respectively arranged at predetermined positions such as outside, entrance / exit, and store. 14, a computer 15 having image processing means, a display 16, and a moving image recording device 17 for recording moving images. In this embodiment, the computer 15 is a general-purpose computer such as a desktop type or a notebook type having a display 16. The cameras 11, 12, 13 and 14 are security cameras and surveillance cameras having a function of continuously capturing moving images and recording them on the moving image recording device 17 and sending the same moving image data or still image data to the computer 15. It is. It may be configured with a Web camera or an IP camera. These cameras 11, 12, 13, and 14 are communicably connected to the computer 15 via a USB cable, a LAN cable, a wireless LAN, or the like. Note that the number of cameras is not limited to four, and may be one or more.
動画像録画機器１７は、市販されている一般的な映像監視レコーダである。この映像監視レコーダには、カメラ１１、１２、１３及び１４から得られる動画像データをそれぞれ別個に順次記憶すると共に、その動画像を撮像したカメラＩＤ及び撮像日時をこの動画像データに紐づけて記憶する記憶手段（本発明の第２の画像データ記憶手段に対応）が設けられている。この映像監視レコーダは、カメラＩＤ及び日時情報を参照して、記憶手段に記憶されている動画像データを読み出し可能に構成されている。 The moving image recording device 17 is a general video surveillance recorder that is commercially available. In this video surveillance recorder, the moving image data obtained from the cameras 11, 12, 13 and 14 are sequentially stored separately, and the camera ID and imaging date / time when the moving image is captured are linked to the moving image data. Storage means for storing (corresponding to the second image data storage means of the present invention) is provided. This video surveillance recorder is configured to be able to read out the moving image data stored in the storage means with reference to the camera ID and date / time information.
コンピュータ１５は、電気的には、図２に示すように、バス１５ａを介して互いに接続されプログラムによって作動する中央処理装置（ＣＰＵ）１５ｂと、ＲＡＭ及びＲＯＭ等のメモリ１５ｃと、ＨＤＤ（ハードデスク駆動装置）１５ｄと、入出力インタフェース１５ｅとを備えている。 As shown in FIG. 2, the computer 15 is electrically connected to each other via a bus 15a and is operated by a program, a central processing unit (CPU) 15b, a memory 15c such as RAM and ROM, and an HDD (hard disk). Drive device) 15d and an input / output interface 15e.
入出力インタフェース１５ｅには、カメラ１１、１２、１３及び１４、ディスプレイ１６並びに動画像録画機器１７が接続されている。 Cameras 11, 12, 13, and 14, a display 16, and a moving image recording device 17 are connected to the input / output interface 15e.
ＣＰＵ１５ｂは、ＨＤＤ１５ｄに記憶されているオペレーションシステム（ＯＳ）やブートプログラム等の基本プログラム及びアプリケーションプログラムに従って動画像データ又は静止画像データ、カメラＩＤ及び撮像日時の登録処理や、顔画像の切り出し処理、認証処理及び動画像データの連携処理を実行する。また、ＣＰＵ１５ｂは、メモリ１５ｃ、ＨＤＤ１５ｄ、及び入出力インタフェース１５ｅの動作を制御する。 The CPU 15b performs registration processing of moving image data or still image data, camera ID and imaging date, face image clipping processing, authentication in accordance with an operating system (OS), a basic program such as a boot program, and an application program stored in the HDD 15d. Execute processing and moving image data linkage processing. The CPU 15b controls operations of the memory 15c, the HDD 15d, and the input / output interface 15e.
ＨＤＤ１５ｄは、ＯＳ、基本プログラム及びアプリケーションプログラムを記憶すると共に、撮像された動画像データ又は静止画像データから切り出した顔情報データ（第２の実施形態では認証顔情報データ）を、撮像したカメラＩＤ及び撮像日時と紐づけて記憶するデータベース（本発明の第１の画像データ記憶手段に対応）を構成している。 The HDD 15d stores an OS, a basic program, and an application program, and also captures face information data (authentication face information data in the second embodiment) cut out from captured moving image data or still image data, A database (corresponding to the first image data storage means of the present invention) that stores the image in association with the imaging date and time is configured.
メモリ１５ｃはメインメモリとして使用され、ＨＤＤ１５ｄから転送されたプログラムやデータを一時的に保存するように構成されている。また、このメモリ１５ｃは、プログラム実行時の各種データが一時的に保存されるワークエリアとしても使用される。 The memory 15c is used as a main memory, and is configured to temporarily store programs and data transferred from the HDD 15d. The memory 15c is also used as a work area for temporarily storing various data during program execution.
入出力インタフェース１５ｅは、カメラ１１、１２、１３及び１４、ディスプレイ１６並びに動画像録画機器１７と、ＣＰＵ１５ｂ又はメモリ１５ｃとの間のデータのやり取りを制御する。 The input / output interface 15e controls the exchange of data between the cameras 11, 12, 13, and 14, the display 16, and the moving image recording device 17, and the CPU 15b or the memory 15c.
このような構成のコンピュータにおいて、ＣＰＵ１５ｂは、作動時は、まず、メモリ１５ｃ内にプログラム記憶領域、データ記憶領域及びワークエリアを確保し、ＨＤＤ１５ｄからプログラム及びデータを取り込んで、プログラム記憶領域及びデータ記憶領域に格納する。次いで、このプログラム記憶領域に格納されたプログラムに基づいて、図３及び図６に示す処理を実行する。ＣＰＵ１５ｂが図３及び図４に示す処理を実行することによって、図５に概略的に示すごとき登録処理が実行され、図６に示す処理を実行することによって、図７に概略的に示すごとき参照処理が実行される。 In the computer having such a configuration, when operating, the CPU 15b first secures a program storage area, a data storage area, and a work area in the memory 15c, and fetches the program and data from the HDD 15d to obtain the program storage area and the data storage. Store in the area. Next, the processing shown in FIGS. 3 and 6 is executed based on the program stored in the program storage area. When the CPU 15b executes the processing shown in FIGS. 3 and 4, the registration processing as schematically shown in FIG. 5 is executed, and when the processing shown in FIG. 6 is executed, reference is made as schematically shown in FIG. Processing is executed.
図３は本実施形態におけるコンピュータの顔情報データの登録処理の流れを概略的に示しており、図４はこの実施形態における動画像録画機器の動画像データの登録処理の流れを概略的に示している。以下、これらの図を用いて本実施形態における登録処理を説明する。ただし、以下では、説明を簡単にするために、１台のカメラ１１の撮像した動画像データに関する登録処理について説明する。 FIG. 3 schematically shows a flow of registration processing of face information data of a computer in this embodiment, and FIG. 4 schematically shows a flow of registration processing of moving image data of a moving image recording device in this embodiment. ing. Hereinafter, the registration process in this embodiment will be described with reference to these drawings. However, in the following, in order to simplify the description, registration processing relating to moving image data captured by one camera 11 will be described.
まず、コンピュータ１５は、カメラ１１からこのカメラが撮像したデジタル動画像データを取得する（図３のステップＳ１）。この場合、撮像したカメラ１１を表すカメラＩＤ（本発明のカメラ情報に対応）、及び撮像した日時を表す日時情報を把握しておく。 First, the computer 15 acquires digital moving image data captured by the camera 11 from the camera 11 (step S1 in FIG. 3). In this case, the camera ID representing the imaged camera 11 (corresponding to the camera information of the present invention) and the date / time information representing the imaged date / time are grasped.
次いで、この動画像データから、撮像した人物の顔検出処理を行う（図３のステップＳ２）。この顔検出処理には、種々の公知のアルゴリズムを使用することが可能であるが、本実施形態では、例えば、各探索窓において顔が存在するかどうかを、Ｂｏｏｓｔｉｎｇと言う機械学習アルゴリズムを使用し、Ｈａａｒ-Ｌｉｋｅ特徴量を用いたＣａｓｃａｄｅ構造の識別器により高速で判定するＶｉｏｌａ-Ｊｏｎｅｓ法によるアルゴリズムを使用する。 Next, a face detection process is performed on the captured person from the moving image data (step S2 in FIG. 3). Various known algorithms can be used for this face detection process. In this embodiment, for example, a machine learning algorithm called Boosting is used to determine whether or not a face exists in each search window. An algorithm based on the Viola-Jones method is used in which determination is performed at high speed by a classifier having a Cascade structure using Haar-Like features.
次いで、顔が存在する各探索窓内の顔情報データの切り出しを行う（図３のステップＳ３）。即ち、カメラ１１のデジタル画像データ内に顔が存在した場合は、検出した顔の存在する領域のデータである顔情報データを切り出す。 Next, face information data in each search window in which a face exists is cut out (step S3 in FIG. 3). That is, when a face exists in the digital image data of the camera 11, face information data that is data of an area where the detected face exists is cut out.
次いで、切り出した顔情報データに、カメラＩＤと日時情報とを紐付けてＨＤＤ１５ｄの所定領域であるデータベース（本発明の第１の画像データ記憶手段に対応）に記憶させる（図３のステップＳ４）。カメラＩＤ及び日時情報に加えて、既に判別している場合には、顔情報データの人物についての個人情報を顔情報データに紐付けて記憶させておいても良い。この場合の個人情報とは、例えば人物のＩＤ、性別、名前、生年月日、住所、会社名、所属、その人物の種別（例えばＶＩＰ、お得意、会員、要注意人物等）、その他が含まれる。 Next, the cut-out face information data is associated with the camera ID and date / time information and stored in a database (corresponding to the first image data storage means of the present invention) which is a predetermined area of the HDD 15d (step S4 in FIG. 3). . In addition to the camera ID and date / time information, if it is already determined, personal information about the person in the face information data may be stored in association with the face information data. The personal information in this case includes, for example, a person's ID, gender, name, date of birth, address, company name, affiliation, type of person (for example, VIP, good customer, member, person requiring attention), and others. It is.
その後、この顔情報データの登録処理を終了するか否かを判別し（図３のステップＳ５）、終了すると判別した場合（ＹＥＳの場合）は、登録処理を終了し、終了しないと判別した場合（ＮＯの場合）は、ステップＳ１〜Ｓ５の処理を繰り返し、他の動画像データについて、同様の登録処理を行う。 After that, it is determined whether or not the face information data registration process is to be ended (step S5 in FIG. 3). (In the case of NO), the processing of steps S1 to S5 is repeated, and the same registration processing is performed for other moving image data.
一方、カメラ１１から、このカメラが撮像したデジタル動画像データが動画像録画機器１７である映像監視レコーダに順次送り込まれて記憶される（図４のステップＳ１１）。その際、撮像したカメラ１１を表すカメラＩＤ（本発明のカメラ情報に対応）と、撮像した日時を表す日時情報とが動画像データに紐付けされた状態でこの映像監視レコーダに記憶される（図４のステップＳ１２）。 On the other hand, the digital moving image data captured by the camera 11 is sequentially sent from the camera 11 to the video surveillance recorder, which is the moving image recording device 17, and stored (step S11 in FIG. 4). At this time, the camera ID representing the captured camera 11 (corresponding to the camera information of the present invention) and the date / time information representing the date / time of imaging are stored in the video surveillance recorder in a state linked to the moving image data ( Step S12 in FIG.
その後、この動画像データの登録処理を終了するか否かを判別し（図４のステップＳ１３）、終了すると判別した場合（ＹＥＳの場合）は、登録処理を終了し、終了しないと判別した場合（ＮＯの場合）は、ステップＳ１１〜Ｓ１３の処理を繰り返し、他の動画像データについて、同様の登録処理を行う。 Thereafter, it is determined whether or not to end the registration process of the moving image data (step S13 in FIG. 4). (In the case of NO), the processing of steps S11 to S13 is repeated, and the same registration processing is performed for other moving image data.
図５は以上述べた登録処理の流れを概略的に示している。 FIG. 5 schematically shows the flow of the registration process described above.
同図に示すように、登録処理は、カメラ１１によって撮像された人物の動画像データがコンピュータ１５に入力され、この動画像データから顔画像が切り出されて顔情報データが生成され、生成した顔情報データと、撮像したカメラ１１を表すカメラＩＤ及び撮像した日時を表す日時情報とが紐付けされてＨＤＤ１５ｄに記憶される。また、カメラ１１によって撮像された人物の動画像データが動画像録画機器１７である映像監視レコーダに入力されて順次記憶されると共に、この記憶された動画像データにその動画像を撮像したカメラＩＤ及び撮像日時が紐付けされて記憶される。 As shown in the figure, in the registration process, moving image data of a person imaged by the camera 11 is input to the computer 15, a face image is cut out from the moving image data, face information data is generated, and the generated face is generated. The information data is associated with the camera ID representing the imaged camera 11 and the date / time information representing the date and time of imaging, and is stored in the HDD 15d. In addition, the moving image data of the person imaged by the camera 11 is input to the video surveillance recorder as the moving image recording device 17 and sequentially stored, and the camera ID that captures the moving image in the stored moving image data. And the imaging date and time are linked and stored.
図６は本実施形態におけるコンピュータの参照処理の流れを概略的に示しており、図７はこの参照処理の流れを概略的に示しており、図８はこの参照処理時のディスプレイ上の画像を表している。以下、これらの図を用いて本実施形態における参照処理を説明する。 FIG. 6 schematically shows the flow of the reference process of the computer in this embodiment, FIG. 7 schematically shows the flow of the reference process, and FIG. 8 shows the image on the display at the time of this reference process. Represents. Hereinafter, the reference process in this embodiment will be described with reference to these drawings.
まず、コンピュータ１５は、ディスプレイ１６に、ＨＤＤ１５ｄのデータベース（本発明の第１の画像データ記憶手段に対応）に記憶されている複数の顔情報データを表示する（図６のステップＳ２１）。この際に、顔情報データの人物に対応する個人情報をも表示しても良い。 First, the computer 15 displays a plurality of face information data stored in the database of the HDD 15d (corresponding to the first image data storage means of the present invention) on the display 16 (step S21 in FIG. 6). At this time, personal information corresponding to the person in the face information data may also be displayed.
次いで、表示されているこの複数の顔情報データのうち、所望の顔情報データを指定することにより、その顔情報データに紐付けされているカメラＩＤと日時情報とを指定する（図６のステップＳ２２）。 Next, by specifying desired face information data among the plurality of displayed face information data, the camera ID and date / time information associated with the face information data are specified (step of FIG. 6). S22).
これにより、紐付けされているカメラＩＤ及び日時情報が動画像録画機器１７である映像監視レコーダへ送信され、この映像監視レコーダから対応するカメラＩＤ及び日時情報の動画像データが読み出され、コンピュータ１５へ送られる（図６のステップＳ２３）。 Thereby, the associated camera ID and date / time information are transmitted to the video surveillance recorder which is the video recording device 17, and the corresponding video image data of the camera ID and date / time information is read from the video surveillance recorder. 15 (step S23 in FIG. 6).
次いで、この読み出してコンピュータ１５へ送られた動画像データがディスプレイ１６上で顔情報データと共に表示される（図６のステップＳ２４）。即ち、ディスプレイ１６上には、顔情報データの静止画と共に対応する人物の動画像データが再生表示される。 Next, the moving image data read out and sent to the computer 15 is displayed on the display 16 together with the face information data (step S24 in FIG. 6). That is, the moving image data of the corresponding person is reproduced and displayed on the display 16 together with the still image of the face information data.
その後、この動画像データの参照処理を終了するか否かを判別し（図６のステップＳ２５）、終了すると判別した場合（ＹＥＳの場合）は、参照処理を終了し、終了しないと判別した場合（ＮＯの場合）は、ステップＳ２１〜Ｓ２５の処理を繰り返し、他の顔情報データについて、同様の参照処理を行う。 Thereafter, it is determined whether or not to end the moving image data reference process (step S25 in FIG. 6). If it is determined that the moving image data is to be ended (in the case of YES), the reference process is ended and it is determined not to be ended. (In the case of NO), the processing of steps S21 to S25 is repeated, and the same reference processing is performed for other face information data.
図７に示すように、参照処理は、ディスプレイ１６上に表示された顔情報データのうちの所望の顔画像について、図８（Ａ）に示すように指定すると、その顔情報データに紐付けられて保存されているカメラＩＤ及び日時情報が読み出されて映像監視レコーダへ送られ、この映像監視レコーダに録画されている対応するカメラＩＤ及び日時情報の動画像データがコンピュータ１５に送られ、図８（Ｂ）〜（Ｄ）に示すように、ディスプレイ１６上に表示される。 As shown in FIG. 7, when a desired face image in the face information data displayed on the display 16 is designated as shown in FIG. 8A, the reference process is associated with the face information data. The stored camera ID and date / time information is read out and sent to the video surveillance recorder, and the corresponding camera ID and date / time information moving image data recorded in the video surveillance recorder is sent to the computer 15. It is displayed on the display 16 as shown in 8 (B) to (D).
以上詳細に説明したように本実施形態によれば、人物を撮像して得た動画像データから顔画像を切り出して顔情報データを作成し、撮像したカメラＩＤ及び撮像日時情報に紐付けてコンピュータ１５のＨＤＤ１５ｄに記憶させておき、この顔情報データをディスプレイ１６に表示した際にその内の所望の顔画像を指定するとその顔情報データに紐付けられて保存されているカメラＩＤ及び日時情報が読み出されて映像監視レコーダへ送られ、この映像監視レコーダに録画されている対応するカメラＩＤ及び日時情報の動画像データがコンピュータ１５に送られてディスプレイ１６上に表示される。これにより、ディスプレイ１６上に顔情報データに対応する人物の録画データである動画像データが同時に表示されるので、その人物の時間的に前後のふるまいを確認することができ、これだけで人物の特定が可能となり、人物特定が容易にかつ確実となる。しかも表示内容から直ちに判断できるので、人物特定を短時間で行うことができる。さらに、顔認証することなく、顔画像及び対応する動画像の表示のみで人物特定を行うので、人物特定支援装置の構成が非常に簡単となり、処理時間が短縮化されて素早い表示及び特定が可能となる。 As described above in detail, according to the present embodiment, a face image is cut out from moving image data obtained by imaging a person, face information data is created, and the computer is associated with the captured camera ID and imaging date / time information. When the desired face image is designated when the face information data is displayed on the display 16 and stored in the HDD 15d, the camera ID and date / time information stored in association with the face information data are stored. It is read out and sent to the video surveillance recorder, and the corresponding camera ID and moving image data of the date / time information recorded in this video surveillance recorder is sent to the computer 15 and displayed on the display 16. As a result, the moving image data, which is the recording data of the person corresponding to the face information data, is displayed on the display 16 at the same time, so that the behavior of the person before and after can be confirmed. This makes it possible to identify a person easily and reliably. In addition, since it is possible to immediately determine from the display content, it is possible to specify a person in a short time. Furthermore, since the person is identified only by displaying the face image and the corresponding moving image without performing face authentication, the configuration of the person identification support device becomes very simple, the processing time is shortened, and quick display and identification are possible. It becomes.
図９は本発明の他の実施形態におけるコンピュータの認証顔情報データの登録処理の流れを概略的に示しており、図１０は本実施形態におけるコンピュータの参照処理の流れを概略的に示している。以下、これらの図を用いて本実施形態における登録処理及び参照処理を説明する。 FIG. 9 schematically shows the flow of registration processing of authentication face information data of a computer in another embodiment of the present invention, and FIG. 10 schematically shows the flow of reference processing of the computer in this embodiment. . Hereinafter, the registration process and the reference process in this embodiment will be described with reference to these drawings.
なお、本実施形態において、人物特定支援装置の全体構成及びこの人物特定支援装置におけるコンピュータの電気的構成、並びに動画像録画機器１７である映像監視レコーダへの登録処理は、前述の実施形態（図１〜図８の実施形態）の場合と全く同じであるため、説明を省略する。 In the present embodiment, the entire configuration of the person identification support device, the electrical configuration of the computer in the person identification support device, and the registration processing to the video surveillance recorder which is the moving image recording device 17 are the same as those in the above-described embodiment (FIG. 1 to 8), the description is omitted.
図９に示すように、まず、コンピュータ１５は、カメラ１１からこのカメラが撮像したデジタル動画像データを取得する（図９のステップＳ３１）。この場合、撮像したカメラ１１を表すカメラＩＤ（本発明のカメラ情報に対応）と、撮像した日時を表す日時情報を把握しておく。 As shown in FIG. 9, first, the computer 15 acquires digital moving image data captured by the camera 11 from the camera 11 (step S31 in FIG. 9). In this case, the camera ID representing the imaged camera 11 (corresponding to the camera information of the present invention) and the date / time information representing the imaged date / time are grasped.
次いで、この動画像データから撮像した人物の顔検出処理を行う（図９のステップＳ３２）。この顔検出処理には、種々の公知のアルゴリズムを使用することが可能であるが、本実施形態では、例えば、各探索窓において顔が存在するかどうかを、Ｂｏｏｓｔｉｎｇと言う機械学習アルゴリズムを使用し、Ｈａａｒ-Ｌｉｋｅ特徴量を用いたＣａｓｃａｄｅ構造の識別器により高速で判定するＶｉｏｌａ-Ｊｏｎｅｓ法によるアルゴリズムを使用する。 Next, face detection processing of a person imaged from the moving image data is performed (step S32 in FIG. 9). Various known algorithms can be used for this face detection process. In this embodiment, for example, a machine learning algorithm called Boosting is used to determine whether or not a face exists in each search window. An algorithm based on the Viola-Jones method is used in which determination is performed at high speed by a classifier having a Cascade structure using Haar-Like features.
次いで、顔が存在する各探索窓内の顔情報データの切り出しを行う（図９のステップＳ３３）。即ち、カメラ１１のデジタル画像データ内に顔が存在した場合は、検出した顔の存在する領域のデータである顔情報データを切り出す。 Next, face information data in each search window in which a face exists is cut out (step S33 in FIG. 9). That is, when a face exists in the digital image data of the camera 11, face information data that is data of an area where the detected face exists is cut out.
次いで、切り出した顔情報データの認証処理を行う（図９のステップＳ３４）。この認証処理は、顔情報データと、あらかじめ登録されている（ＨＤＤ１５ｄに記憶されている）人物の基準顔情報データとを照合することによって行う。この照合処理には、種々の公知のアルゴリズムを使用することが可能であるが、本実施形態では、例えば、多数の人物間でのクラス間分散を大きくし、クラス内分散を小さくする線形判別分析法であるＦｉｓｈｅｒＦａｃｅ法によるアルゴリズムを使用する。具体的には、顔情報データからＦｉｓｈｅｒＦａｃｅ法によるアルゴリズムを利用して顔画像中の特徴量を算出し、基準顔情報データから同様に算出した特徴量データと照合する。基準特徴量データがＫＤＤ１５ｄに登録されている場合は、これを利用する。 Next, authentication processing of the cut face information data is performed (step S34 in FIG. 9). This authentication process is performed by collating face information data with reference face information data of a person registered in advance (stored in the HDD 15d). Various known algorithms can be used for this matching processing. In this embodiment, for example, linear discriminant analysis that increases the inter-class variance among a large number of persons and reduces the intra-class variance. The algorithm according to the FisherFace method is used. Specifically, the feature amount in the face image is calculated from the face information data using an algorithm according to the FisherFace method, and collated with the feature amount data similarly calculated from the reference face information data. If the reference feature data is registered in the KDD 15d, this is used.
次いで、認証された顔情報データにカメラＩＤと日時情報とを紐付けてＨＤＤ１５ｄの所定領域であるデータベース（本発明の第１の画像データ記憶手段に対応）に記憶させる（図９のステップＳ３５）。 Next, the camera ID and date / time information are associated with the authenticated face information data and stored in a database (corresponding to the first image data storage means of the present invention) in the HDD 15d (step S35 in FIG. 9). .
その後、この認証顔情報データの登録処理を終了するか否かを判別し（図９のステップＳ３６）、終了すると判別した場合（ＹＥＳの場合）は、登録処理を終了し、終了しないと判別した場合（ＮＯの場合）は、ステップＳ３１〜Ｓ３６の処理を繰り返し、他の動画像データについて、同様の登録処理を行う。 Thereafter, it is determined whether or not to end the registration process of the authentication face information data (step S36 in FIG. 9). If it is determined to end (in the case of YES), it is determined that the registration process is ended and not ended. In the case (NO), the processes in steps S31 to S36 are repeated, and the same registration process is performed for other moving image data.
前述したように、動画像録画機器１７である映像監視レコーダへの登録処理は、図４を用いて説明した処理と同様である。 As described above, the registration process to the video surveillance recorder which is the moving image recording device 17 is the same as the process described with reference to FIG.
以下、図１０を用いて本実施形態における参照処理を説明する。 Hereinafter, the reference process in this embodiment will be described with reference to FIG.
まず、コンピュータ１５は、ディスプレイ１６に、ＨＤＤ１５ｄのデータベース（本発明の第１の画像データ記憶手段に対応）に記憶されている複数の認証顔情報データを表示する（図１０のステップＳ４１）。 First, the computer 15 displays a plurality of authentication face information data stored in the database of the HDD 15d (corresponding to the first image data storage means of the present invention) on the display 16 (step S41 in FIG. 10).
次いで、表示されているこの複数の認証顔情報データのうち、所望の認証顔情報データを指定することにより、その認証顔情報データに紐付けされているカメラＩＤと日時情報とを指定する（図１０のステップＳ４２）。 Next, by specifying desired authentication face information data from among the plurality of authentication face information data displayed, the camera ID and date / time information associated with the authentication face information data are specified (FIG. 10 step S42).
これにより、紐付けされているカメラＩＤ及び日時情報が動画像録画機器１７である映像監視レコーダへ送信され、この映像監視レコーダから対応するカメラＩＤ及び日時情報の動画像データが読み出され、コンピュータ１５へ送られる（図１０のステップＳ４３）。 Thereby, the associated camera ID and date / time information are transmitted to the video surveillance recorder which is the video recording device 17, and the corresponding video image data of the camera ID and date / time information is read from the video surveillance recorder. 15 (step S43 in FIG. 10).
次いで、この読み出してコンピュータ１５へ送られた動画像データがディスプレイ１６上で認証顔情報データと共に表示される（図１０のステップＳ４４）。即ち、ディスプレイ１６上には、認証顔情報データの静止画と共に対応する人物の動画像データが再生表示される。 Next, the moving image data read out and sent to the computer 15 is displayed on the display 16 together with the authentication face information data (step S44 in FIG. 10). That is, the moving image data of the corresponding person is reproduced and displayed on the display 16 together with the still image of the authentication face information data.
その後、この動画像データの参照処理を終了するか否かを判別し（図１０のステップＳ４５）、終了すると判別した場合（ＹＥＳの場合）は、参照処理を終了し、終了しないと判別した場合（ＮＯの場合）は、ステップＳ４１〜Ｓ４５の処理を繰り返し、他の認証顔情報データについて、同様の参照処理を行う。 After that, it is determined whether or not to end the reference processing of the moving image data (step S45 in FIG. 10). (In the case of NO), the processing of steps S41 to S45 is repeated, and the same reference processing is performed for other authentication face information data.
以上詳細に説明したように本実施形態によれば、人物を撮像して得た動画像データから顔画像を切り出して顔情報データを作成し、さらにこの顔情報データの認証処理を行い、撮像したカメラＩＤ及び撮像日時情報に紐付けてコンピュータ１５のＨＤＤ１５ｄに記憶させておき、この認証顔情報データをディスプレイ１６に表示した際にその内の所望の認証顔画像を指定するとその認証顔情報データに紐付けられて保存されているカメラＩＤ及び日時情報が読み出されて映像監視レコーダへ送られ、この映像監視レコーダに録画されている対応するカメラＩＤ及び日時情報の動画像データがコンピュータ１５に送られてディスプレイ１６上に表示される。これにより、ディスプレイ１６上に認証顔情報データに対応する人物の録画データである動画像データが同時に表示されるので、その人物の時間的に前後のふるまいを確認することができて人物の特定が可能となり、人物特定が容易にかつ確実となる。しかも表示内容から直ちに判断できるので、人物特定を短時間で行うことができる。 As described above in detail, according to the present embodiment, face information is created by cutting out a face image from moving image data obtained by imaging a person, and further authentication processing of the face information data is performed for imaging. When the authentication face information data is stored in the HDD 15d of the computer 15 in association with the camera ID and the shooting date / time information and the authentication face information data is displayed on the display 16, the authentication face information data is designated as the authentication face information data. The linked camera ID and date / time information is read and sent to the video surveillance recorder, and the corresponding camera ID and date / time information moving image data recorded in the video surveillance recorder is sent to the computer 15. And displayed on the display 16. As a result, the moving image data, which is the recording data of the person corresponding to the authentication face information data, is displayed on the display 16 at the same time, so that the behavior of the person before and after can be confirmed and the person can be identified. This makes it possible to identify a person easily and reliably. In addition, since it is possible to immediately determine from the display content, it is possible to specify a person in a short time.
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。 All the embodiments described above are illustrative of the present invention and are not intended to be limiting, and the present invention can be implemented in other various modifications and changes. Therefore, the scope of the present invention is defined only by the claims and their equivalents.
１１、１２、１３、１４ カメラ
１５ コンピュータ
１６ ディスプレイ
１７ 動画像録画機器
１５ａ バス
１５ｂ ＣＰＵ
１５ｃ メモリ
１５ｄ ＨＤＤ
１５ｅ 入出力インタフェース
11, 12, 13, 14 Camera 15 Computer 16 Display 17 Video recording device 15a Bus 15b CPU
15c memory 15d HDD
15e I / O interface
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016210572A JP2018074317A (en) | 2016-10-27 | 2016-10-27 | Person specification support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016210572A JP2018074317A (en) | 2016-10-27 | 2016-10-27 | Person specification support device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018074317A true JP2018074317A (en) | 2018-05-10 |
Family
ID=62115662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016210572A Pending JP2018074317A (en) | 2016-10-27 | 2016-10-27 | Person specification support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018074317A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021152932A (en) * | 2020-02-18 | 2021-09-30 | Ｄｘｙｚ株式会社 | Authentification system and information processing method |
| CN113508436A (en) * | 2019-03-05 | 2021-10-15 | 株式会社富士 | Auxiliary information management system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000308042A (en) * | 1999-04-21 | 2000-11-02 | Nippon Telegr & Teleph Corp <Ntt> | Device and method for displaying monitor video and recording medium recording program of the method |
| JP2005323046A (en) * | 2004-05-07 | 2005-11-17 | Omron Corp | Monitoring system and monitoring camera |
| JP2007241377A (en) * | 2006-03-06 | 2007-09-20 | Sony Corp | Retrieval system, imaging apparatus, data storage device, information processor, picked-up image processing method, information processing method, and program |
| JP2011223193A (en) * | 2010-04-07 | 2011-11-04 | Mitsubishi Electric Corp | Image monitoring recorder |
-
2016
- 2016-10-27 JP JP2016210572A patent/JP2018074317A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000308042A (en) * | 1999-04-21 | 2000-11-02 | Nippon Telegr & Teleph Corp <Ntt> | Device and method for displaying monitor video and recording medium recording program of the method |
| JP2005323046A (en) * | 2004-05-07 | 2005-11-17 | Omron Corp | Monitoring system and monitoring camera |
| JP2007241377A (en) * | 2006-03-06 | 2007-09-20 | Sony Corp | Retrieval system, imaging apparatus, data storage device, information processor, picked-up image processing method, information processing method, and program |
| JP2011223193A (en) * | 2010-04-07 | 2011-11-04 | Mitsubishi Electric Corp | Image monitoring recorder |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113508436A (en) * | 2019-03-05 | 2021-10-15 | 株式会社富士 | Auxiliary information management system |
| CN113508436B (en) * | 2019-03-05 | 2023-06-02 | 株式会社富士 | Auxiliary information management system |
| JP2021152932A (en) * | 2020-02-18 | 2021-09-30 | Ｄｘｙｚ株式会社 | Authentification system and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5500303B1 (en) | MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
| US9891798B2 (en) | Face image tracking system | |
| US20140233854A1 (en) | Real time object scanning using a mobile phone and cloud-based visual search engine | |
| US20160189395A1 (en) | Information processing apparatus, recording medium, and information processing method | |
| JP7287511B2 (en) | Information processing device, suspect information generation method and program | |
| CN112771522A (en) | Biometric authentication device, biometric authentication method, and biometric authentication program | |
| JP2018074317A (en) | Person specification support device | |
| JP2022003526A (en) | Information processor, detection system, method for processing information, and program | |
| US10007842B2 (en) | Same person determination device and method, and control program therefor | |
| JP6499750B2 (en) | Face matching system and face matching method | |
| JP7020567B2 (en) | Information processing systems, information processing equipment, information processing methods, and programs | |
| JP2010086263A (en) | Biometrics matching device, face matching device and biometrics matching method | |
| JP2016118977A (en) | Information processing device, control method, and program | |
| CN116134480A (en) | Image processing device, image processing method, and program | |
| JP2014016969A (en) | Face matching system | |
| US11659273B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| US10678903B2 (en) | Authentication using sequence of images | |
| JP2021111201A (en) | Face authentication system and face authentication method | |
| JP6773144B2 (en) | Content selection device, content selection method, content selection system and program | |
| JP6267350B2 (en) | Data processing apparatus, data processing system, data processing method and program | |
| JP2013069187A (en) | Image processing system, image processing method, server and program | |
| JP7371806B2 (en) | Information processing device, information processing method, and program | |
| WO2023120221A1 (en) | Authentication device, authentication system, authentication method, and recording medium | |
| JP7098508B2 (en) | Object authentication system, object registration device, object authentication method and object authentication program | |
| JP6975666B2 (en) | Person identification system and person identification method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210928 |