JP2013137604A - Image collation processing device, image collation processing method and image collation processing program - Google Patents

Image collation processing device, image collation processing method and image collation processing program Download PDF

Info

Publication number
JP2013137604A
JP2013137604A JP2011287613A JP2011287613A JP2013137604A JP 2013137604 A JP2013137604 A JP 2013137604A JP 2011287613 A JP2011287613 A JP 2011287613A JP 2011287613 A JP2011287613 A JP 2011287613A JP 2013137604 A JP2013137604 A JP 2013137604A
Authority
JP
Japan
Prior art keywords
image data
person
value
collation
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011287613A
Other languages
Japanese (ja)
Other versions
JP5937823B2 (en
Inventor
Toru Yonezawa
亨 米澤
Satoshi Tadokoro
諭 田所
Kazunori Ono
和則 大野
Eijiro Takeuchi
栄二朗 竹内
Original Assignee
Glory Ltd
グローリー株式会社
Tohoku Univ
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd, グローリー株式会社, Tohoku Univ, 国立大学法人東北大学 filed Critical Glory Ltd
Priority to JP2011287613A priority Critical patent/JP5937823B2/en
Publication of JP2013137604A publication Critical patent/JP2013137604A/en
Application granted granted Critical
Publication of JP5937823B2 publication Critical patent/JP5937823B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To efficiently determine whether a person included in image data matches a registered person even when the image data including physical feature sections such as a person's face has not been properly picked up.SOLUTION: An image collation processing device 20 cuts out pieces of image data of a registered person from multiple frames composing video image picked up by a monitoring camera 10, calculates a feature quantity for each piece of the data and stores them as a template 24b in a storage part 24. The device cuts out pieces of image data of a collation object person from multiple frames composing video image picked up by the monitoring camera 10 and calculates a feature quantity for each piece of the data. The device calculates respective collation values for all the combination of the multiple feature quantities calculated and the multiple feature quantities composing the template 24b, and determines that the collation object person matches the template 24b when the maximum value among the multiple collation values calculated is equal to or more than a prescribed value.

Description

この発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理装置、画像照合処理方法及び画像照合処理プログラムに関する。   The present invention relates to an image collation processing device, an image collation processing method, and an image that collate a plurality of registered image data relating to a registered person to be collated with input image data included in moving image data captured by a predetermined imaging device. The present invention relates to a verification processing program.
従来、人物を撮像した画像データを用いて人物の照合処理を行う画像照合処理装置が知られている。例えば、特許文献1には、顔など本人の身体の所定の部位を取り込んだ入力画像データのサンプル点における局所的な特徴量と該部位に関する本人及び他人の複数の登録画像データの特徴量とを比較して本人確認を行う画像認識装置が開示されている。   2. Description of the Related Art Conventionally, an image matching processing apparatus that performs a person matching process using image data obtained by imaging a person is known. For example, Patent Document 1 discloses a local feature amount at a sample point of input image data in which a predetermined part of a person's body such as a face is captured, and feature amounts of a plurality of registered image data of the person and others related to the part. An image recognition apparatus that performs identity verification in comparison is disclosed.
また、動画像データに含まれる人物の全身像を用いて人物の照合を行う人物同定装置も知られている。例えば、特許文献2には、人の歩幅、歩調、歩速、身長、体の傾き、脚長、肥満度及び性別を特徴量として、時系列に得られる画像データ群に含まれる人物が同一人物であるか他人であるかを判定する人物同定装置が開示されている。   Also known is a person identification device that performs person verification using a whole body image of a person included in moving image data. For example, in Patent Document 2, a person included in a group of image data obtained in time series with a person's stride, pace, step speed, height, body tilt, leg length, obesity, and gender as feature quantities is the same person. A person identification device for determining whether there is a person or another person is disclosed.
特許4187494号公報Japanese Patent No. 4187494 特開2010−239992号公報JP 2010-239992 A
しかしながら、上記特許文献1に代表される従来の画像照合処理装置は、利用者が施設に入退室する際の入退室管理を行う場合に主として利用されるものであり、施設内に所在する人物の居場所を探索する場合に利用することが難しい。その結果、この特許文献1を用いたとしても、例えば遊園地やデパート等の施設において、親からはぐれた迷子や犯罪者の居場所を探索することはできない。   However, the conventional image collation processing apparatus represented by the above-mentioned Patent Document 1 is mainly used when performing entrance / exit management when a user enters / exits the facility, and the person of the person located in the facility is used. Difficult to use when searching whereabouts. As a result, even if this Patent Document 1 is used, for example, in amusement parks and department stores, it is not possible to search for whereabouts of lost children or criminals who are separated from their parents.
かかる特許文献1等では、顔をある一定以上の解像度(目の間に45画素以上)で撮像できることが条件となるが、遊園地やデパート等の施設に設置した監視カメラでは良好な解像度の画像データを取得するのが難しいためである。加えて、この特許文献1等では、顔の角度が所定の範囲内であることが条件となるが、上記監視カメラでは所定の範囲内の角度で顔を撮影できない場合が多い。   In such Patent Document 1 or the like, it is a condition that the face can be imaged at a certain resolution or higher (45 pixels or more between eyes), but an image with a good resolution can be obtained with a surveillance camera installed in a facility such as an amusement park or a department store. This is because it is difficult to obtain data. In addition, in Patent Document 1 and the like, the condition is that the face angle is within a predetermined range. However, in many cases, the monitoring camera cannot capture a face at an angle within the predetermined range.
一方、上記特許文献2に代表される人物同定装置は、人の行動を用いて人物を同定するため、良好な顔画像データを撮像できなくとも人物を特定することができるが、人の歩幅等を算定できる画像データを撮影できることが前提となるため、適用できる場面が大きく制限され、遊園地やデパート等の施設に設置した監視カメラで撮影した画像データに適用するのが難しいのが実情である。   On the other hand, since the person identification device represented by the above-mentioned Patent Document 2 identifies a person using human behavior, it can identify a person even if it cannot capture good face image data. Since it is premised that image data that can be calculated can be taken, the applicable scenes are greatly limited, and it is difficult to apply to image data taken with surveillance cameras installed in facilities such as amusement parks and department stores .
これらのことから、遊園地やデパート等の施設において、親からはぐれた迷子や犯罪者の居場所をいかに効率良く探索できるようにするかが重要な課題となっており、このためには、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定できるようにすることが重要となる。なお、かかる判定を行うことができれば、各利用者が施設内でどのような経路を辿ったかというデータや、各利用者の入場から退場までの滞在時間に関するデータを入手することも可能となる。   For these reasons, in facilities such as amusement parks and department stores, it has become an important issue how to efficiently search for whereabouts of lost children and criminals who have fallen from their parents. Even when appropriate image data including a physical feature such as a face is not captured, it is possible to accurately and efficiently determine whether or not a person included in the image data matches a registered person. It is important to do so. If such a determination can be made, it is possible to obtain data on what route each user has followed in the facility and data on the staying time from entry to exit of each user.
本発明は、上記従来技術の課題を解消するためになされたものであって、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる画像照合処理装置、画像照合処理方法及び画像照合処理プログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems of the prior art, and even when appropriate image data including physical features such as a human face is not captured, the image data It is an object of the present invention to provide an image matching processing device, an image matching processing method, and an image matching processing program that can accurately and efficiently determine whether or not a person included in the list matches a registered person.
上述した課題を解決し、目的を達成するため、本発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理装置であって、前記照合対象者に係る複数の登録画像データの特徴量を記憶する第1の記憶手段と、前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第1の切出手段と、前記第1の切出手段により切り出された入力画像データの特徴量を算出する第1の特徴量算出手段と、前記第1の特徴量算出手段により算出された入力画像データの特徴量と前記第1の記憶手段に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第1の照合値算出手段と、前記第1の照合値算出手段により算出された複数の照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手段とを備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention collates a plurality of registered image data relating to a registered person to be collated with input image data included in moving image data captured by a predetermined imaging device. An image collation processing apparatus for processing, wherein a first storage means for storing feature amounts of a plurality of registered image data relating to the person to be collated, and an input image relating to a person from a plurality of frames forming the moving image data Calculated by a first cutout unit that cuts out data, a first feature amount calculation unit that calculates the feature amount of the input image data cut out by the first cutout unit, and the first feature amount calculation unit First collation value calculating means for calculating collation values between the feature quantities of the input image data thus obtained and the feature quantities of the plurality of registered image data stored in the first storage means; Collation value calculation Based on the maximum value of a plurality of verification values calculated by the means, characterized in that the collation object person is provided with a determining means for determining whether or not existing in the moving image data.
また、本発明は、上記発明において、前記動画像データを形成する複数のフレームから前記照合対象者に係る複数の画像データをそれぞれ切り出す第2の切出手段と、前記第2の切出手段により切り出された前記照合対象者に係る複数の画像データから特徴量をそれぞれ算出する第2の特徴量算出手段と、前記第2の特徴量算出手段により算出された前記照合対象者に係る複数の画像データから特徴量を前記第1の記憶手段に格納するよう制御する制御手段とをさらに備えたことを特徴とする。   Further, according to the present invention, in the above invention, the second cutout unit that cuts out the plurality of pieces of image data relating to the person to be collated from the plurality of frames forming the moving image data, and the second cutout unit A second feature amount calculating unit configured to calculate a feature amount from a plurality of pieces of image data relating to the cut target person, and a plurality of images relating to the target person calculated by the second feature amount calculating unit. Control means for controlling to store the feature quantity from the data in the first storage means is further provided.
また、本発明は、上記発明において、前記撮像装置により撮像された人物に係る画像データを補正用画像データとして記憶する第2の記憶手段と、前記第1の記憶手段に記憶された前記照合対象者に係る複数の登録画像データの特徴量と前記第2の記憶手段に記憶された補正用画像データから算出された特徴量との照合値を算出する第2の照合値算出手段と、前記第2の照合値算出手段により算出された照合値に基づいて各登録画像データの補正値を算出する補正値算出手段と、前記補正値算出手段により算出された補正値に基づいて、前記第1の照合値算出手段により算出された複数の登録画像データの特徴量を補正処理する補正処理手段とをさらに備えたことを特徴とする。   Further, according to the present invention, in the above invention, a second storage unit that stores image data relating to a person imaged by the imaging device as correction image data, and the collation target stored in the first storage unit A second collation value calculating means for calculating a collation value between a feature quantity of a plurality of registered image data relating to the person and a feature quantity calculated from the correction image data stored in the second storage means; Correction value calculating means for calculating a correction value of each registered image data based on the matching value calculated by the second matching value calculating means, and the first value based on the correction value calculated by the correction value calculating means. The image processing apparatus further includes correction processing means for correcting the feature amounts of the plurality of registered image data calculated by the collation value calculating means.
また、本発明は、上記発明において、前記第2の切出手段により切り出される複数の画像データは、前記照合対象者の上半身部分を含む画像データであることを特徴とする。   Further, the present invention is characterized in that, in the above invention, the plurality of image data cut out by the second cutting means is image data including an upper body part of the person to be collated.
また、本発明は、上記発明において、前記第1の記憶手段は、前記照合対象者に係る各登録画像データについて複数の異なる特徴量を記憶し、前記第1の特徴量算出手段は、前記第1の切出手段により切り出された入力画像データについて前記複数の異なる特徴量を算出することを特徴とする。   Further, the present invention is the above invention, wherein the first storage unit stores a plurality of different feature amounts for each registered image data relating to the person to be collated, and the first feature amount calculation unit includes the first feature unit. The plurality of different feature amounts are calculated for the input image data cut out by one cutting means.
また、本発明は、上記発明において、前記複数の種類の特徴量は、前記画像データの濃淡に係る特徴量、色相に係る特徴量及びエッジに係る特徴量のうち、少なくとも1つを含むことを特徴とする。   Further, in the present invention according to the above invention, the plurality of types of feature amounts include at least one of a feature amount relating to the shading of the image data, a feature amount relating to a hue, and a feature amount relating to an edge. Features.
また、本発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理方法であって、前記照合対象者に係る複数の登録画像データの特徴量を第1の記憶部に格納する格納工程と、前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第1の切出工程と、前記第1の切出工程により切り出された入力画像データの特徴量を算出する第1の特徴量算出工程と、前記第1の特徴量算出工程により算出された入力画像データの特徴量と前記第1の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第1の照合値算出工程と、前記第1の照合値算出工程により算出された複数の照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定工程とを含んだことを特徴とする。   The present invention is also an image collation processing method for collating a plurality of registered image data related to a registered person to be collated with input image data included in moving image data captured by a predetermined imaging device, A storage step of storing in the first storage unit the feature amounts of a plurality of registered image data related to a person to be collated, and a first cut-out of input image data related to a person from a plurality of frames forming the moving image data A first feature amount calculating step for calculating a feature amount of the input image data cut out by the first cutting step, and a feature amount of the input image data calculated by the first feature amount calculating step And a first collation value calculating step for calculating a collation value between the feature values of the plurality of registered image data stored in the first storage unit and the first collation value calculating step. Multiple lights Based on the maximum value of the value, and wherein the matching target person is possible, including a determination step of determining whether or not existing in the moving image data.
また、本発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理プログラムであって、前記照合対象者に係る複数の登録画像データの特徴量を第1の記憶部に格納する格納手順と、前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第1の切出手順と、前記第1の切出手順により切り出された入力画像データの特徴量を算出する第1の特徴量算出手順と、前記第1の特徴量算出手順により算出された入力画像データの特徴量と前記第1の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第1の照合値算出手順と、前記第1の照合値算出手順により算出された複数の照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手順とをコンピュータに実行させることを特徴とする。   Further, the present invention is an image collation processing program for collating a plurality of registered image data relating to a registered person to be collated with input image data included in moving image data captured by a predetermined imaging device, A storage procedure for storing the feature amounts of a plurality of registered image data relating to a person to be collated in a first storage unit, and a first cutout for extracting input image data relating to a person from a plurality of frames forming the moving image data A first feature amount calculating procedure for calculating a feature amount of the input image data cut out by the first cut-out procedure, and a feature amount of the input image data calculated by the first feature amount calculating procedure And a first collation value calculation procedure for calculating a collation value between the feature amounts of the plurality of registered image data stored in the first storage unit and the first collation value calculation procedure. Duplicate Based on the maximum value of the matching value, the collation object person, characterized in that to execute a determining step determines whether or not existing in the moving image data to the computer.
本発明によれば、照合対象者に係る複数の登録画像データの特徴量を第1の記憶手段に格納し、動画像データを形成する複数のフレームから人物に係る入力画像データを切り出し、切り出した入力画像データの特徴量を算出し、第1の記憶手段に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出し、算出した複数の照合値の最大値に基づいて、照合対象者が動画像データ内に存在するか否かを判定するよう構成したので、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。   According to the present invention, feature amounts of a plurality of registered image data related to a person to be collated are stored in the first storage unit, and input image data related to a person is cut out from a plurality of frames forming moving image data. A feature amount of the input image data is calculated, a collation value is calculated between the feature amounts of the plurality of registered image data stored in the first storage unit, and based on the calculated maximum value of the plurality of collation values Since it is configured to determine whether or not the person to be collated exists in the moving image data, even when appropriate image data including a physical feature portion such as a person's face is not captured, Whether or not the person included in the image data matches the registered person can be accurately and efficiently determined.
図1は、実施例1に係る画像照合処理システムのシステム構成図である。FIG. 1 is a system configuration diagram of an image matching processing system according to the first embodiment. 図2は、図1に示した画像照合処理装置の内部構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing an internal configuration of the image collation processing apparatus shown in FIG. 図3は、図2に示した画像切出部による画像データの切出処理を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining image data cut-out processing by the image cut-out unit shown in FIG. 図4は、図2に示した特徴量算出部による特徴量の算出処理を説明するための説明図である。FIG. 4 is an explanatory diagram for describing a feature amount calculation process by the feature amount calculation unit illustrated in FIG. 2. 図5は、図2に示した照合値算出部による照合値の算出処理を説明するための説明図である。FIG. 5 is an explanatory diagram for describing a collation value calculation process by the collation value calculation unit illustrated in FIG. 2. 図6は、ブロック分割を用いた正規化相関の算出処理を説明するための説明図である。FIG. 6 is an explanatory diagram for explaining a normalized correlation calculation process using block division. 図7は、照合値の算出処理の具体例を説明するための説明図である。FIG. 7 is an explanatory diagram for describing a specific example of the collation value calculation processing. 図8は、オフセットの算出処理を説明するための説明図である。FIG. 8 is an explanatory diagram for explaining an offset calculation process. 図9は、テンプレートの具体例を説明するための説明図である。FIG. 9 is an explanatory diagram for describing a specific example of a template. 図10は、図2に示した画像照合処理装置によるテンプレートの登録処理手順を示すフローチャートである。FIG. 10 is a flowchart showing a template registration processing procedure performed by the image matching processing apparatus shown in FIG. 図11は、図10に示したオフセット算出処理手順を示すフローチャートである。FIG. 11 is a flowchart showing the offset calculation processing procedure shown in FIG. 図12は、図2に示した画像照合処理装置による画像照合処理手順を示すフローチャートである。FIG. 12 is a flowchart showing an image matching processing procedure by the image matching processing apparatus shown in FIG. 図13は、図12に示した照合値算出処理手順を示すフローチャートである。FIG. 13 is a flowchart showing the collation value calculation processing procedure shown in FIG. 図14は、実施例2に係る画像照合処理システムのシステム構成図である。FIG. 14 is a system configuration diagram of an image matching processing system according to the second embodiment. 図15は、図14に示した画像照合処理装置の内部構成を示す機能ブロック図である。FIG. 15 is a functional block diagram showing an internal configuration of the image collation processing apparatus shown in FIG. 図16は、図15に示した画像照合処理装置によるテンプレートの登録処理手順を示すフローチャートである。FIG. 16 is a flowchart showing a template registration processing procedure by the image matching processing apparatus shown in FIG. 図17は、実施例3に係る画像照合処理システムのシステム構成図である。FIG. 17 is a system configuration diagram of an image matching processing system according to the third embodiment. 図18は、図17に示した画像照合処理装置の内部構成を示す機能ブロック図である。FIG. 18 is a functional block diagram showing the internal configuration of the image collation processing apparatus shown in FIG. 図19は、登録用の監視カメラにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。FIG. 19 is a flowchart showing a processing procedure when moving image data captured by a registration monitoring camera is processed. 図20は、照合用の監視カメラにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。FIG. 20 is a flowchart illustrating a processing procedure in the case of processing moving image data captured by the verification monitoring camera.
以下に、添付図面を参照して、本発明に係る画像照合処理装置、画像照合処理方法及び画像照合処理プログラムの好適な実施例を詳細に説明する。なお、以下に示す実施例1では、監視カメラで撮像された動画像データの中から特定の人物(例えば、迷子)を指定し、指定された人物が他の監視カメラのいずれに映るかを判定する場合について説明する。また、実施例2では、特定の人物を指定するのではなく、あらかじめ準備された人物のリスト(例えば、犯罪者リスト)に該当する人物が監視カメラに映るか否かを判定する場合について説明する。さらに、実施例3では、登録用として設けられた監視カメラで撮像した全ての人物の行動軌跡を他の監視カメラを用いて辿る場合について説明する。   Exemplary embodiments of an image matching processing device, an image matching processing method, and an image matching processing program according to the present invention will be described below in detail with reference to the accompanying drawings. In Example 1 shown below, a specific person (for example, a lost child) is specified from moving image data captured by the monitoring camera, and it is determined which of the other monitoring cameras the specified person is displayed on. The case where it does is demonstrated. In the second embodiment, a case will be described in which it is determined whether or not a person corresponding to a list of persons prepared in advance (for example, a criminal list) appears on the surveillance camera, instead of designating a specific person. . Furthermore, in the third embodiment, a case will be described in which the action trajectories of all persons captured by a monitoring camera provided for registration are traced using another monitoring camera.
まず、本実施例1に係る画像照合処理システムのシステム構成について説明する。図1は、本実施例1に係る画像照合処理システムのシステム構成図である。ここでは、遊園地の敷地内に複数の監視カメラ10a〜10d(以下、「監視カメラ10」と総称する場合がある)が設置されるとともに、各監視カメラ10a〜10dが遊園地内の迷子センタ等に設置された画像照合処理装置と接続された状況を示している。   First, the system configuration of the image matching processing system according to the first embodiment will be described. FIG. 1 is a system configuration diagram of an image matching processing system according to the first embodiment. Here, a plurality of surveillance cameras 10a to 10d (hereinafter may be collectively referred to as “surveillance cameras 10”) are installed in the amusement park site, and each surveillance camera 10a to 10d is a lost child center in the amusement park. FIG. 2 shows a state in which the apparatus is connected to an image collation processing apparatus installed in FIG.
迷子センタの係員が、保護者等から「子供が迷子になった」旨の相談を受けた場合には、各監視カメラ10a〜10dで過去に撮影した動画像データを表示部に表示して、この動画像データの中に子供が存在するか否かを保護者等に確認させる。その結果、子供が存在する場合には、該当する人物(子供)を指定して、人物の登録処理を行う。かかる登録処理を行うと、各監視カメラ10a〜10dに登録した人物が映った場合に、その旨が報知される。このため、迷子が現時点でどの設備に所在するかを特定し、迷子を効率的に保護することが可能となる。   When a staff member of the lost child center receives a consultation from a parent or the like to the effect that “the child has been lost”, the moving image data captured in the past by each of the monitoring cameras 10a to 10d is displayed on the display unit, The guardian or the like is confirmed whether or not there is a child in the moving image data. As a result, if there is a child, the corresponding person (child) is designated and the person registration process is performed. When such a registration process is performed, when a person registered in each of the monitoring cameras 10a to 10d is reflected, the fact is notified. For this reason, it becomes possible to identify the facility where the lost child is currently located, and to efficiently protect the lost child.
具体的には、図1に示す遊園地には、遊園地に利用者が入場する際及び遊園地から利用者が退場する際に通過する入退場用のゲート11と、遊技施設等からなる設備12、設備13及び設備14が設けられている。ここで、監視カメラ10aは、ゲート11を通過する人物を撮像可能な位置に設置されており、監視カメラ10b、10c及び10dは、設備12、13及び14をそれぞれ訪れる人物を撮像可能な位置に設置されている。なお、かかる監視カメラ10は、カラー画像データを撮像できるCCDカメラである。   Specifically, the amusement park shown in FIG. 1 includes an entrance / exit gate 11 that passes when a user enters the amusement park and when the user leaves the amusement park, and an amusement facility. 12, equipment 13 and equipment 14 are provided. Here, the monitoring camera 10a is installed at a position where a person passing through the gate 11 can be imaged, and the monitoring cameras 10b, 10c, and 10d are positioned so as to image a person visiting the facilities 12, 13 and 14, respectively. is set up. The monitoring camera 10 is a CCD camera that can capture color image data.
画像照合処理装置20は、監視カメラ10により撮像された動画像データを受信すると、この動画像データを動画像データ27aとして動画像データベース27に記憶する。そして、迷子センタの係員が、保護者から迷子の届出を受けたならば、この画像照合処理装置20に対して所定の操作入力を行って、過去の動画像データ27aを表示部に表示し、迷子となった人物を保護者に特定させる。保護者が過去の動画像データ27aから迷子となった人物を特定する際に、顔や髪型、服装等の入力を受け付けて画像を絞り込む処理を行うことで迷子となった人物の特定を支援してもよい。表示部上でかかる人物が指定されたならば、画像照合処理装置20は、指定された人物の特徴を示すテンプレート24bを生成する。   When receiving the moving image data captured by the monitoring camera 10, the image matching processing device 20 stores the moving image data in the moving image database 27 as moving image data 27a. Then, if a staff member of the lost child center receives notification of the lost child from the guardian, it performs a predetermined operation input to the image matching processing device 20 to display the past moving image data 27a on the display unit, Have parents identify the person who was lost. When a guardian identifies a lost person from past moving image data 27a, it supports the identification of the lost person by receiving input of face, hairstyle, clothes, etc. and narrowing down the image. May be. If such a person is designated on the display unit, the image matching processing device 20 generates a template 24b indicating the characteristics of the designated person.
かかるテンプレート24bが生成されたならば、監視カメラ10からリアルタイムで受信した動画像データに含まれる人物の画像データを切り出し、切り出した人物の画像データとテンプレートを照合処理して、テンプレートがいずれかの監視カメラ10で撮影された画像データと一致する場合にはその旨を報知する。これにより、現時点での迷子の所在位置を特定することが可能となる。   If the template 24b is generated, the person image data included in the moving image data received in real time from the monitoring camera 10 is cut out, the cut out person image data is compared with the template, and the template is selected. If it matches the image data photographed by the monitoring camera 10, the fact is notified. This makes it possible to specify the current location of the lost child.
次に、図1に示した画像照合処理装置の構成について説明する。図2は、図1に示した画像照合処理装置20の内部構成を示す機能ブロック図である。同図に示すように、この画像照合処理装置20は、入力部21、表示部22、通信インタフェース部23、動画像データベース27、記憶部24及び制御部25を有する。   Next, the configuration of the image matching processing apparatus shown in FIG. 1 will be described. FIG. 2 is a functional block diagram showing an internal configuration of the image matching processing device 20 shown in FIG. As shown in the figure, the image collation processing device 20 includes an input unit 21, a display unit 22, a communication interface unit 23, a moving image database 27, a storage unit 24, and a control unit 25.
入力部21は、キーボードやマウスからなる入力デバイスであり、表示部22は、液晶パネルやディスプレイ装置からなる表示デバイスである。通信インタフェース部23は、監視カメラ10と通信を行うためのインタフェース部である。   The input unit 21 is an input device including a keyboard and a mouse, and the display unit 22 is a display device including a liquid crystal panel and a display device. The communication interface unit 23 is an interface unit for communicating with the monitoring camera 10.
動画像データベース27は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、通信インタフェース部23を介して受信した動画像データ27aを記憶する。ここでは、この動画像データ27aが、連続する複数枚の静止画像データ(以下では、単に「フレーム」と言う)からなるものとする。   The moving image database 27 is a storage device including a flash memory, a hard disk device, and the like, and stores moving image data 27 a received via the communication interface unit 23. Here, it is assumed that the moving image data 27a is composed of a plurality of continuous still image data (hereinafter simply referred to as “frames”).
記憶部24は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、参照画像特徴量24a及びテンプレート24bを記憶する。この参照画像特徴量24aは、あらかじめ撮像した複数人の参照画像データの特徴量であり、後述するオフセットを生成する際に使用される。テンプレート24bは、迷子として指定された人物の画像データから算出された特徴量とオフセットを対応付けたデータである。なお、オフセットに関する説明については後述する。   The storage unit 24 is a storage device including a flash memory, a hard disk device, and the like, and stores a reference image feature amount 24a and a template 24b. The reference image feature amount 24a is a feature amount of reference image data of a plurality of persons imaged in advance, and is used when generating an offset described later. The template 24b is data in which a feature amount calculated from image data of a person designated as a lost child is associated with an offset. Note that an explanation regarding the offset will be described later.
制御部25は、画像照合処理装置20を全体制御する制御部であり、迷子となっている人物のテンプレートを登録する登録処理部25Aと、登録されたテンプレートと監視カメラ10で撮像された動画像データ内の人物の画像データの照合処理を行う照合処理部25Bとを有する。実際には、これらの機能部に対応するプログラムを図示しないROMや不揮発性メモリに記憶しておき、これらのプログラムをCPUにロードして実行することにより、登録処理部25A及び照合処理部25Bにそれぞれ対応するプロセスを実行させることになる。   The control unit 25 is a control unit that controls the image collation processing device 20 as a whole, a registration processing unit 25A that registers a template of a person who is lost, a registered template, and a moving image captured by the monitoring camera 10. And a collation processing unit 25B that performs collation processing of person image data in the data. Actually, programs corresponding to these functional units are stored in a ROM or a non-volatile memory (not shown), and these programs are loaded into the CPU and executed, so that the registration processing unit 25A and the verification processing unit 25B Each corresponding process will be executed.
登録処理部25Aは、指定人物画像切出部25A1、特徴量算出部25A2、オフセット算出部25A3及びテンプレート生成部25A4を有する。指定人物画像切出部25A1は、動画像データベース27に蓄積された撮像済みの動画像データ(当日分のもの)の中から、迷子として指定された人物の複数枚(例えば、5枚)の画像データを切り出す処理部である。   The registration processing unit 25A includes a designated person image cutout unit 25A1, a feature amount calculation unit 25A2, an offset calculation unit 25A3, and a template generation unit 25A4. The designated person image cutout unit 25A1 includes a plurality of (for example, five) images of a person designated as a lost child from the captured moving image data (for the day) accumulated in the moving image database 27. It is a processing unit that cuts out data.
具体的には、遊園地の係員によって画像照合処理装置20に対して所定の操作がなされると、動画像データベース27に蓄積された撮像済みの動画像データ27aが表示部22に表示制御される。ここで、入力部21を用いて表示部22の所定の位置が指示されると、指示された動画像データ27a内のフレーム及び座標位置を特定し、特定されたフレーム内の座標位置に位置する人物の画像データを切り出すとともに、当該フレームの前後に位置する複数枚のフレームから同一人物の画像データを切り出し、その結果として複数枚の人物の画像データを切り出すことになる。   Specifically, when a predetermined operation is performed on the image collation processing device 20 by an amusement park attendant, the captured moving image data 27 a stored in the moving image database 27 is displayed on the display unit 22. . Here, when a predetermined position of the display unit 22 is instructed using the input unit 21, the frame and coordinate position in the instructed moving image data 27a are specified, and the specified position is located in the specified frame. The person image data is cut out, the image data of the same person is cut out from a plurality of frames positioned before and after the frame, and as a result, the image data of a plurality of persons are cut out.
特徴量算出部25A2は、指定人物画像切出部25A1により切り出された複数枚の人物の画像データの特徴量を算出する処理部である。この特徴量算出部25A2は、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Gaborフィルタを適用した振幅成分及びGaborフィルタを適用した方向成分をそれぞれ特徴量として抽出する。   The feature amount calculation unit 25A2 is a processing unit that calculates feature amounts of image data of a plurality of persons cut out by the designated person image cutout unit 25A1. The feature amount calculation unit 25A2 extracts grayscale image data obtained by converting color image data into a monochrome grayscale image, a hue histogram, an amplitude component to which a Gabor filter is applied, and a direction component to which the Gabor filter is applied as feature amounts.
オフセット算出部25A3は、特徴量算出部25A2により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像データの特徴量(以下、「参照画像特徴量」と言う)24aとを用いてオフセットを算出する処理部である。   The offset calculation unit 25A3 is a feature amount calculated by the feature amount calculation unit 25A2 and a feature amount of reference image data calculated from a plurality of reference image data captured in advance (hereinafter referred to as “reference image feature amount”). 24a is a processing unit that calculates an offset.
ここで、このオフセットとは、人物の各画像データがどの程度その人物の特徴を表しているか否かを示す一種の重み付けデータであり、画像データがその人物の特徴を表している程高い値となる。例えば、画像データがその人物を背面から撮像したものである場合にはオフセットが小さくなり、画像データがその人物の正面顔を含んでいる場合にはオフセットが大きくなる。かかるオフセットは、複数の画像データの特徴量から照合値を算出する際の重み付けデータとして利用される。   Here, this offset is a kind of weighting data indicating how much each person's image data represents the characteristics of the person, and the higher the value the image data represents the characteristics of the person. Become. For example, when the image data is a picture of the person from the back, the offset is small, and when the image data includes the front face of the person, the offset is large. Such an offset is used as weighting data when a collation value is calculated from feature amounts of a plurality of image data.
テンプレート生成部25A4は、迷子として指定された人物の画像データの特徴量とオフセットからなるテンプレート24bを生成する処理部であり、生成されたテンプレート24bは記憶部24に格納される。   The template generation unit 25A4 is a processing unit that generates a template 24b composed of the feature amount and offset of image data of a person designated as a lost child, and the generated template 24b is stored in the storage unit 24.
次に、照合処理部25Bについて説明する。照合処理部25Bは、人物画像切出部25B1、特徴量算出部25B2、照合値算出部25B3及び判定処理部25B4を有する。人物画像切出部25B1は、監視カメラ10からリアルタイムに受信した動画像データの各フレームに含まれる人物の画像データをそれぞれ切出処理する処理部である。   Next, the verification processing unit 25B will be described. The collation processing unit 25B includes a person image cutout unit 25B1, a feature amount calculation unit 25B2, a collation value calculation unit 25B3, and a determination processing unit 25B4. The person image cutout unit 25B1 is a processing unit that cuts out person image data included in each frame of moving image data received in real time from the monitoring camera 10.
特徴量算出部25B2は、人物画像切出部25B1により切り出された人物の画像データの特徴量を算出する処理部である。この特徴量算出部25B2は、上記特徴量算出部25A2と同様に、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Gaborフィルタを適用した振幅成分及び方向成分をそれぞれ特徴量として抽出する。   The feature amount calculation unit 25B2 is a processing unit that calculates the feature amount of the image data of the person cut out by the person image cutout unit 25B1. Similar to the feature amount calculation unit 25A2, the feature amount calculation unit 25B2 uses grayscale image data obtained by converting color image data into a monochrome grayscale image, a hue histogram, and an amplitude component and a direction component to which a Gabor filter is applied. Extract as
照合値算出部25B3は、特徴量算出部25B2により算出された人物の画像データの特徴量と、テンプレート24bに含まれる特徴量との照合値を算出する処理部である。かかる照合値算出部25B3による照合値の算出処理の詳細な説明については後述するが、各特徴量だけではなくオフセットについても照合値を算出する際に利用される。   The matching value calculation unit 25B3 is a processing unit that calculates a matching value between the feature amount of the human image data calculated by the feature amount calculation unit 25B2 and the feature amount included in the template 24b. A detailed description of the collation value calculation processing by the collation value calculation unit 25B3 will be described later, but is used when calculating collation values not only for each feature quantity but also for an offset.
判定処理部25B4は、照合値算出部25B3により算出された照合値に基づいて、指定人物に該当する人物が監視カメラ10からリアルタイムに受信した動画像データに存在するか否かを判定する処理部である。なお、該当する人物が存在する場合には、その旨が表示部22に表示される。この表示部22に表示する情報は、どの監視カメラ10が撮像した動画像データにテンプレート24bに対応する人物が映っていたかを示す情報が含まれる。   The determination processing unit 25B4 determines whether a person corresponding to the designated person exists in the moving image data received in real time from the monitoring camera 10 based on the collation value calculated by the collation value calculation unit 25B3. It is. If there is a corresponding person, that effect is displayed on the display unit 22. The information displayed on the display unit 22 includes information indicating which monitoring camera 10 has captured the person corresponding to the template 24b in the moving image data.
次に、図2に示した人物画像切出部25B1の切出処理についてさらに具体的に説明する。図3は、図2に示した人物画像切出部25B1の切出処理を説明するための説明図である。人物画像切出部25B1では、監視カメラ10から受信した動画像データに人物が含まれているか否かを判定する。かかる判定に際しては、動画像データの一部を形成するフレームすなわち静止画の画像データに対して人物のテンプレートを適用する周知のテンプレートマッチング技術等で行うことができる。   Next, the extraction process of the person image extraction unit 25B1 shown in FIG. 2 will be described more specifically. FIG. 3 is an explanatory diagram for explaining the extraction processing of the person image extraction unit 25B1 shown in FIG. The person image cutout unit 25B1 determines whether or not a person is included in the moving image data received from the monitoring camera 10. This determination can be performed by a known template matching technique that applies a person template to a frame forming a part of moving image data, that is, still image data.
図3に示すように、位置P1、P3及びP5を通過する人物の動画像データを監視カメラ10で撮像した場合には、位置P1で人物を撮像したフレームG1、位置P3で人物を撮像したフレームG3、位置P5で人物を撮像したフレームG5からそれぞれ人物の画像データA1、A3及びA5を切り出す。ここでは、画像データA1が人物の上半身(正面)を含む画像データであり、画像データA3が人物の上半身(側面)を含む画像データであり、画像データA5が人物の上半身(背面)を含む画像データである場合を示している。   As shown in FIG. 3, when moving image data of a person passing through positions P1, P3, and P5 is captured by the monitoring camera 10, a frame G1 that captures a person at the position P1 and a frame that captures a person at the position P3 The image data A1, A3, and A5 of the person are cut out from the frame G5 in which the person is imaged at G3 and position P5, respectively. Here, the image data A1 is image data including the upper body (front) of the person, the image data A3 is image data including the upper body (side) of the person, and the image data A5 is an image including the upper body (back) of the person. The case of data is shown.
このように、人物画像切出部25B1では、同一人物を撮像した動画像データに含まれる複数のフレームから画像データを切り出すことで、同一人物を複数の時点で撮像した複数の画像データを切り出す。なお、これら同一人物に係る一連の画像データを入力画像データ群31とする。   In this way, the person image cutout unit 25B1 cuts out image data from a plurality of frames included in moving image data obtained by capturing the same person, thereby cutting out a plurality of image data obtained by capturing the same person at a plurality of points in time. Note that a series of image data relating to the same person is defined as an input image data group 31.
次に、図2に示した特徴量算出部25A2による特徴量の算出処理について説明する。図4は、図2に示した特徴量算出部25A2による特徴量の算出処理を説明するための説明図である。なお、図2に示した特徴量算出部25B2についても同様の処理を行う。ここでは、入力画像データ群31には、5枚の画像データB1〜B5が含まれており、濃淡画像データ、色相ヒストグラム、Gaborフィルタ(Gabor Filter)を適用した場合の振幅成分及び方向成分を特徴量とする場合を示している。   Next, a feature amount calculation process performed by the feature amount calculation unit 25A2 illustrated in FIG. 2 will be described. FIG. 4 is an explanatory diagram for describing a feature amount calculation process by the feature amount calculation unit 25A2 illustrated in FIG. The same processing is performed for the feature amount calculation unit 25B2 illustrated in FIG. Here, the input image data group 31 includes five pieces of image data B1 to B5, and features an amplitude component and a direction component when gray image data, a hue histogram, and a Gabor filter are applied. The case of quantity is shown.
濃淡画像データは、カラー画像である画像データB1〜B5を白黒濃淡画像に変換することによって生成する。具体的には、画像データB1〜B5の各画素のR、G、B成分を加算した加算値を所定数で除算して正規化することにより濃淡画像データの画素値に変換する。ただし、かかる方法に限定されるものではなく、従来から周知な様々な変換方法を用いることができる。   The grayscale image data is generated by converting the image data B1 to B5, which are color images, into black and white grayscale images. Specifically, the addition value obtained by adding the R, G, and B components of each pixel of the image data B1 to B5 is divided by a predetermined number and normalized to convert the pixel value of grayscale image data. However, it is not limited to such a method, and various conventionally known conversion methods can be used.
色相ヒストグラムは、横軸を色相の値とし、縦軸を画素数としたヒストグラムである。具体的には、RGB表色系の画素値を持つ画像データB1〜B5を、色相、明度、彩度からなるマンセル表色系に変換し、同じ色相を持つ画素をヒストグラム上に投票することで、色相ヒストグラムを生成することができる。かかる色相ヒストグラムは、画像データB1〜B5の色の特性を示す特徴量となる。   The hue histogram is a histogram in which the horizontal axis is the hue value and the vertical axis is the number of pixels. Specifically, by converting the image data B1 to B5 having RGB color system pixel values into a Munsell color system composed of hue, brightness, and saturation, and voting pixels having the same hue on the histogram. A hue histogram can be generated. The hue histogram is a feature amount indicating the color characteristics of the image data B1 to B5.
Gaborフィルタを適用した場合の振幅成分及び方向成分は、画像データB1〜B5のエッジの大きさ及び方向をそれぞれ示す特徴量である。図4に示すように、ここでは、5×5画素のサイズからなるGaborフィルタ5と、7×7画素のサイズからなるGaborフィルタ7を適用した場合を示している。このため、Gabor5振幅、Gabor7振幅、Gabor5方向及びGabor7方向が特徴量となる。なお、本実施例では、Gaborフィルタを用いる場合について説明するが、SOBELやラプラシアン等の他のエッジ検出オペレータを用いることもできる。   The amplitude component and the direction component when the Gabor filter is applied are feature amounts indicating the sizes and directions of the edges of the image data B1 to B5, respectively. As shown in FIG. 4, here, a case where a Gabor filter 5 having a size of 5 × 5 pixels and a Gabor filter 7 having a size of 7 × 7 pixels are applied is shown. For this reason, Gabor5 amplitude, Gabor7 amplitude, Gabor5 direction, and Gabor7 direction are feature quantities. In this embodiment, a case where a Gabor filter is used will be described. However, other edge detection operators such as SOBEL and Laplacian can also be used.
次に、図2に示した照合値算出部25B3による照合値の算出処理について説明する。図5は、図2に示した照合値算出部25B3による照合値の算出処理を説明するための説明図である。ここでは、入力画像データ群31には画像データB1〜B5が含まれることとし、画像データB1〜B5の特徴量はすでに算出されているものとする。また、テンプレート24bには、迷子として指定された人物の画像データA1〜A5に対応する特徴量が含まれている。   Next, the collation value calculation processing by the collation value calculation unit 25B3 shown in FIG. 2 will be described. FIG. 5 is an explanatory diagram for explaining the collation value calculation processing by the collation value calculation unit 25B3 shown in FIG. Here, it is assumed that the input image data group 31 includes image data B1 to B5, and the feature amounts of the image data B1 to B5 have already been calculated. The template 24b includes feature amounts corresponding to the image data A1 to A5 of the person designated as a lost child.
図5に示すように、照合値算出部25B3は、入力画像データ群31に含まれる各入力画像データB1〜B5の特徴量と、テンプレート24bに含まれる迷子として指定された人物の画像データA1〜A5との全ての組み合わせについて照合値をそれぞれ算出し、複数の照合値の最大値を入力画像データ群31とテンプレート24bとの照合値とする。   As shown in FIG. 5, the matching value calculation unit 25B3 includes the feature amounts of the input image data B1 to B5 included in the input image data group 31 and the image data A1 to A of the person specified as the lost child included in the template 24b. Collation values are calculated for all combinations with A5, and the maximum value of the plurality of collation values is used as the collation value between the input image data group 31 and the template 24b.
このように、全ての組み合わせの照合値を算出して最大値を算出する理由は、入力画像データ群31に対応する人物とテンプレート24bに対応する人物が同一人物であれば、少なくともいずれかの組み合わせにおいて照合値が高くなることが期待できるからである。   As described above, the reason why the maximum value is calculated by calculating the collation values of all combinations is that at least any combination of the person corresponding to the input image data group 31 and the person corresponding to the template 24b is the same person. This is because the collation value can be expected to be high.
ここで、すでに説明した通り、上記特徴量には、濃淡画像データ、色相ヒストグラム、Gaborフィルタを適用した場合の振幅成分及び方向成分という複数の種類のものが含まれる。このため、画像データ間の特徴量を算出する際には、特徴量の種類毎に照合値を算出し、種類毎に算出した照合値を合計する。例えば、画像データB1の特徴量と画像データA1の特徴量との間の照合値は、画像データB1の白黒濃淡画像データと画像データA1の白黒濃淡画像との照合値を算出し、画像データB1の色相ヒストグラムと画像データA1の色相ヒストグラムとの照合値を算出し、画像データB1のGabor5振幅成分と画像データA1のGabor5振幅成分の照合値を算出し、画像データB1のGabor7振幅成分と画像データA1のGabor7振幅成分の照合値を算出し、画像データB1のGabor5方向成分と画像データA1のGabor5方向成分の照合値を算出し、画像データB1のGabor7方向と画像データA1のGabor7方向成分の照合値を算出し、算出した照合値をそれぞれ重み付け加算したものを画像データB1の特徴量と画像データA1の特徴量との照合値とする。   Here, as described above, the feature amount includes a plurality of types of components such as grayscale image data, a hue histogram, and an amplitude component and a direction component when a Gabor filter is applied. For this reason, when calculating the feature amount between the image data, a collation value is calculated for each type of feature amount, and the collation values calculated for each type are summed. For example, the collation value between the feature quantity of the image data B1 and the feature quantity of the image data A1 is calculated as a collation value between the black and white image data of the image data B1 and the black and white image of the image data A1. The matching value between the hue histogram of the image data A1 and the hue histogram of the image data A1 is calculated, the matching value of the Gabor5 amplitude component of the image data B1 and the Gabor5 amplitude component of the image data A1 is calculated, and the Gabor7 amplitude component of the image data B1 and the image data A matching value of Gabor7 amplitude component of A1 is calculated, a matching value of Gabor5 direction component of image data B1 and Gabor5 direction component of image data A1 is calculated, and matching of Gabor7 direction of image data B1 and Gabor7 direction component of image data A1 is performed. The image data B1 is obtained by calculating the value and weighting and adding the calculated collation values. A matching value between the feature quantity of the feature amount and the image data A1.
なお、画像データB1の白黒濃淡画像データと画像データA1の白黒濃淡画像データの照合値を算出する場合には、図6に示すようにブロック分割を行ってブロックの位置をずらしながら正規化相関を取り、全ブロックの合計値を照合値とする。人物が動くことを考慮し、細かな位置あわせをするためである。   When the collation value between the black and white image data of the image data B1 and the black and white image data of the image data A1 is calculated, the normalized correlation is performed while shifting the block position by performing block division as shown in FIG. The total value of all the blocks is used as the collation value. This is because fine positioning is performed in consideration of the movement of the person.
また、Gabor5振幅成分、Gabor7振幅成分、Gabor5方向成分及びGabor7方向成分の照合値を算出する場合にも、白黒濃淡画像データの照合値を算出する場合と同様に、ブロック分割を行ってブロックの位置をずらしながら正規化相関を取り、全ブロックの合計値を照合値とする。色相ヒストグラムの照合値を算出する場合には、ヒストグラムの一致度合いを求める周知の技術を用いて照合値を算出する。   Also, when calculating the collation values of the Gabor 5 amplitude component, the Gabor 7 amplitude component, the Gabor 5 direction component, and the Gabor 7 direction component, the block position is determined by performing block division in the same manner as when calculating the collation value of the monochrome grayscale image data. Normalization correlation is taken while shifting and the total value of all blocks is used as the collation value. When calculating the matching value of the hue histogram, the matching value is calculated using a known technique for obtaining the degree of matching of the histogram.
なお、照合値算出部25B3は、テンプレート24bが複数存在する場合には、各テンプレートの特徴量に対して入力画像データ群31内の画像データの特徴量との照合値を算出する。   Note that, when there are a plurality of templates 24b, the matching value calculation unit 25B3 calculates a matching value between the feature amount of each template and the feature amount of the image data in the input image data group 31.
また、テンプレート24b及び入力画像データ群31に含まれる画像データ数が多くなればなるほど、同一人物の場合に高い照合値が得られるため、処理負荷が過大とならない範囲で画像データ数を増やすことが望ましい。具体的には、2〜3秒分、フレーム数にして30〜40フレーム程度から画像データを切り出すことが好適である。ただし、入力画像データ群31に含まれる画像データは、撮影環境によっては1枚であってもよい。   Further, as the number of image data included in the template 24b and the input image data group 31 increases, a higher collation value is obtained for the same person. Therefore, the number of image data can be increased within a range where the processing load is not excessive. desirable. Specifically, it is preferable to cut out image data from about 30 to 40 frames in the number of frames for 2 to 3 seconds. However, the image data included in the input image data group 31 may be one depending on the shooting environment.
また、画像データには、上半身の画像が含まれていればよく、顔部分の解像度が顔のみによる画像照合処理には不足であっても人物の画像照合処理が可能である。また、後ろ向きなど顔が写っていなくてもよい。なお、上半身に加えて下半身も写っているならば画像照合処理の精度はさらに向上する。   The image data only needs to include an image of the upper body. Even if the resolution of the face portion is insufficient for the image matching process using only the face, the person image matching process can be performed. Moreover, the face does not have to be reflected such as facing backward. If the lower body is shown in addition to the upper body, the accuracy of the image matching process is further improved.
次に、図2に示した照合値算出部25B3による照合値の算出をさらに詳細に説明する。図7は、図2に示した照合値算出部25B3による照合値の算出の具体例を示す図である。同図では、入力画像データ群31aの特徴量とテンプレート24bに含まれる特徴量とを照合した場合と、入力画像データ群31bの特徴量とテンプレート24bに含まれる特徴量とを照合した場合を示している。ただし、入力画像データ群31aの特徴量とテンプレート24bの特徴量は、同一人物を撮像した動画像データから生成したものであり、入力画像データ群31bの特徴量とテンプレート24bの特徴量は、異なる人物を撮像した動画像データから生成したものとする。   Next, the calculation of the collation value by the collation value calculation unit 25B3 shown in FIG. 2 will be described in more detail. FIG. 7 is a diagram illustrating a specific example of calculation of a collation value by the collation value calculation unit 25B3 illustrated in FIG. This figure shows a case where the feature amount of the input image data group 31a is collated with the feature amount included in the template 24b, and a case where the feature amount of the input image data group 31b is collated with the feature amount included in the template 24b. ing. However, the feature amount of the input image data group 31a and the feature amount of the template 24b are generated from moving image data obtained by imaging the same person, and the feature amount of the input image data group 31b and the feature amount of the template 24b are different. It is assumed that it is generated from moving image data obtained by imaging a person.
入力画像データ群31aの特徴量には、人物を前方から撮像した画像データB1aの特徴量と、人物を斜め前方から撮像した画像データB2aの特徴量と、人物を側方から撮像した画像データB3aの特徴量と、人物を斜め後方から撮像した画像データB4aの特徴量と、人物を後方から撮像した画像データB5aの特徴量とが含まれる。また、テンプレート24bの特徴量には、人物を前方から撮像した画像データA1の特徴量と、人物を斜め前方から撮像した画像データA2の特徴量と、人物を側方から撮像した画像データA3の特徴量と、人物を斜め後方から撮像した画像データA4の特徴量と、人物を後方から撮像した画像データA5の特徴量とが含まれる。   The feature amount of the input image data group 31a includes a feature amount of image data B1a obtained by capturing a person from the front, a feature amount of image data B2a obtained by capturing a person from an oblique front, and image data B3a obtained by capturing a person from the side. , The feature amount of image data B4a obtained by imaging a person from behind, and the feature amount of image data B5a obtained by imaging a person from behind. Further, the feature amount of the template 24b includes a feature amount of image data A1 obtained by imaging a person from the front, a feature amount of image data A2 obtained by imaging a person from an oblique front, and image data A3 obtained by imaging a person from the side. A feature amount, a feature amount of image data A4 obtained by imaging a person from behind, and a feature amount of image data A5 obtained by imaging a person from behind are included.
画像データB1aの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB1aの特徴量と画像データA1の特徴量との間で算出された照合値「0.60」が最大値となる。また、画像データB2aの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB2aの特徴量と画像データA2の特徴量との間で算出された照合値「0.56」が最大値となる。また、画像データB3aの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB3aの特徴量と画像データA3の特徴量との間で算出された照合値「0.53」が最大値となる。また、画像データB4aの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB4aの特徴量と画像データA4の特徴量との間で算出された照合値「0.59」が最大値となる。また、画像データB5aの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB5aの特徴量と画像データA5の特徴量との間で算出された照合値「0.60」が最大値となる。   When the feature amount of the image data B1a and the feature amount of the image data A1 to A5 are collated, the collation value “0.60” calculated between the feature amount of the image data B1a and the feature amount of the image data A1 is the maximum value. It becomes. When the feature amount of the image data B2a and the feature amounts of the image data A1 to A5 are collated, a collation value “0.56” calculated between the feature amount of the image data B2a and the feature amount of the image data A2 is obtained. Maximum value. When the feature amount of the image data B3a and the feature amount of the image data A1 to A5 are collated, a collation value “0.53” calculated between the feature amount of the image data B3a and the feature amount of the image data A3 is obtained. Maximum value. When the feature amount of the image data B4a and the feature amounts of the image data A1 to A5 are collated, a collation value “0.59” calculated between the feature amount of the image data B4a and the feature amount of the image data A4 is obtained. Maximum value. When the feature amount of the image data B5a and the feature amount of the image data A1 to A5 are collated, a collation value “0.60” calculated between the feature amount of the image data B5a and the feature amount of the image data A5 is obtained. Maximum value.
ここで、入力画像データ群31aの特徴量とテンプレート24bの特徴量との照合値は、画像データB1aの特徴量と画像データA1の特徴量との照合値「0.60」、画像データB2aの特徴量と画像データA2の特徴量との照合値「0.56」、画像データB3aの特徴量と画像データA3の特徴量との照合値「0.53」、画像データB4aの特徴量と画像データA4の特徴量との照合値「0.59」及び画像データB5aの特徴量と画像データA5の特徴量との照合値「0.60」のうち最大の値である「0.60」となる。   Here, the collation value between the feature amount of the input image data group 31a and the feature amount of the template 24b is a collation value “0.60” between the feature amount of the image data B1a and the feature amount of the image data A1, and the collation value of the image data B2a. The collation value “0.56” between the feature quantity and the feature quantity of the image data A2, the collation value “0.53” between the feature quantity of the image data B3a and the feature quantity of the image data A3, the feature quantity of the image data B4a and the image “0.60” that is the maximum value among the collation value “0.59” with the feature amount of the data A4 and the collation value “0.60” between the feature amount of the image data A5 and the feature amount of the image data A5. Become.
一方で、画像データB1bの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB1bの特徴量と画像データA1の特徴量との間で算出された照合値「0.30」が最大値となる。また、画像データB2bの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB2bの特徴量と画像データA2の特徴量との間で算出された照合値「0.47」が最大値となる。また、画像データB3bの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB3bの特徴量と画像データA3の特徴量との間で算出された照合値「0.39」が最大値となる。また、画像データB4bの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB4bの特徴量と画像データA4の特徴量との間で算出された照合値「0.51」が最大値となる。また、画像データB5bの特徴量と画像データA1〜A5の特徴量とを照合すると、画像データB5bの特徴量と画像データA5の特徴量との間で算出された照合値「0.60」が最大値となる。   On the other hand, when the feature amount of the image data B1b and the feature amount of the image data A1 to A5 are collated, the collation value “0.30” calculated between the feature amount of the image data B1b and the feature amount of the image data A1. Is the maximum value. When the feature amount of the image data B2b and the feature amount of the image data A1 to A5 are collated, a collation value “0.47” calculated between the feature amount of the image data B2b and the feature amount of the image data A2 is obtained. Maximum value. When the feature amount of the image data B3b and the feature amount of the image data A1 to A5 are collated, a collation value “0.39” calculated between the feature amount of the image data B3b and the feature amount of the image data A3 is obtained. Maximum value. When the feature amount of the image data B4b and the feature amount of the image data A1 to A5 are collated, a collation value “0.51” calculated between the feature amount of the image data B4b and the feature amount of the image data A4 is obtained. Maximum value. When the feature amount of the image data B5b and the feature amount of the image data A1 to A5 are collated, a collation value “0.60” calculated between the feature amount of the image data B5b and the feature amount of the image data A5 is obtained. Maximum value.
ここで、入力画像データ群31bの特徴量とテンプレート24bの特徴量との照合値は、画像データB1bの特徴量と画像データA1の特徴量との照合値「0.30」、画像データB2bの特徴量と画像データA2の特徴量との照合値「0.47」、画像データB3bの特徴量と画像データA3の特徴量との照合値「0.39」、画像データB4bの特徴量と画像データA4の特徴量との照合値「0.51」及び画像データB5bの特徴量と画像データA5の特徴量との照合値「0.60」のうち最大の値である「0.60」となる。   Here, the collation value between the feature amount of the input image data group 31b and the feature amount of the template 24b is a collation value “0.30” between the feature amount of the image data B1b and the feature amount of the image data A1, and the image data B2b The collation value “0.47” between the feature quantity and the feature quantity of the image data A2, the collation value “0.39” between the feature quantity of the image data B3b and the feature quantity of the image data A3, and the feature quantity and image of the image data B4b “0.60” that is the maximum value among the collation value “0.51” with the feature amount of the data A4 and the collation value “0.60” between the feature amount of the image data A5 and the feature amount of the image data A5. Become.
この結果から分かるように、本来は、同一人物を照合した場合の照合値は、異なる人物を照合した場合の照合値よりも高くなる必要があるにも係わらず、上記の具体例では、同一人物の場合の照合値と異なる人物の場合の照合値が、ともに「0.60」と同一の値となってしまっている。その理由は、前方から撮像した画像データや側方から撮像した画像データは人物の特徴を示す情報を多く含むのに対し、後方から撮像した画像データには人物の特徴を示す情報が少ないためである。   As can be seen from this result, the matching value when matching the same person originally needs to be higher than the matching value when matching different persons. The collation values in the case of a person different from the collation values in the case of are both the same value as “0.60”. The reason is that the image data captured from the front and the side captured from the side contain a lot of information indicating the characteristics of the person, whereas the image data captured from the back contains little information indicating the characteristics of the person. is there.
かかる問題を解決するために、本実施例では、テンプレート24b内の各画像データの特徴量に対して一種の補正データの役割を果たすオフセットを対応付けており、このオフセットを用いて、人物の特徴を示す情報が少ない画像データから算出された照合値を下げる処理を行う。これにより、テンプレート24bの特徴量と入力画像データ群31の特徴量との照合値は、人物の特徴を示す情報が多い画像データから算出した照合値が採用されることとなる。その結果、異なる人物を同一人物であると誤って判定することを防止し、画像照合処理の精度を高めることができる。   In order to solve such a problem, in the present embodiment, an offset functioning as a kind of correction data is associated with the feature amount of each image data in the template 24b, and the feature of the person is used by using this offset. A process for lowering the collation value calculated from image data having a small amount of information indicating the image quality is performed. As a result, the collation value calculated from the image data having a lot of information indicating the characteristics of the person is adopted as the collation value between the feature quantity of the template 24b and the feature quantity of the input image data group 31. As a result, it can be prevented that different persons are erroneously determined to be the same person, and the accuracy of the image matching process can be improved.
図8は、図2に示したオフセット算出部25A3によるオフセットの算出の概念を説明するための説明図である。ここでは、指定人物画像切出部25A1によって画像データA1〜A5(以下、「登録用画像データ群32」と総称する)が切り出されているとともに、オフセットを算出するために、あらかじめ複数の参照画像データ群24a1及び24a2が準備されているものとする。この参照画像データ群24a1及び24a2は、監視カメラ10で撮像された人物に関する画像データであるが、指定人物とは無関係に選択されたものである。   FIG. 8 is an explanatory diagram for explaining the concept of offset calculation by the offset calculator 25A3 shown in FIG. Here, image data A1 to A5 (hereinafter collectively referred to as “registration image data group 32”) are cut out by the designated person image cutout unit 25A1, and a plurality of reference images are calculated in advance in order to calculate an offset. It is assumed that data groups 24a1 and 24a2 are prepared. The reference image data groups 24a1 and 24a2 are image data related to a person captured by the monitoring camera 10, but are selected regardless of the designated person.
同図に示すように、オフセット算出部25A3は、この画像データA1〜A5について、複数の参照画像データ群24a1及び24a2に含まれる参照画像データとの間でそれぞれ照合値を算出する。具体的には、まず画像データA1と参照画像データ群24a1に含まれる各参照画像データとの照合値をそれぞれ算出してその最大値を選択する。同様に、該画像データA1と参照画像データ群24a2に含まれる各参照画像データとの照合値をそれぞれ算出してその最大値を選択する。そして、選択した2つの照合値の平均値を画像データA1の平均照合値とする。   As shown in the figure, the offset calculation unit 25A3 calculates a collation value between the image data A1 to A5 and the reference image data included in the plurality of reference image data groups 24a1 and 24a2. Specifically, first, a collation value between the image data A1 and each reference image data included in the reference image data group 24a1 is calculated, and the maximum value is selected. Similarly, a collation value between the image data A1 and each reference image data included in the reference image data group 24a2 is calculated, and the maximum value is selected. The average value of the two selected verification values is set as the average verification value of the image data A1.
同様の処理を画像データA2〜A5に対して行い、画像データA1〜A5の平均照合値を算出する。ここでは、画像データA1の平均照合値が「0.30」となり、画像データA2の平均照合値が「0.35」となり、画像データA3の平均照合値が「0.42」となり、画像データA4の平均照合値が「0.53」となり、画像データA5の平均照合値が「0.60」となった状況を示している。   Similar processing is performed on the image data A2 to A5, and an average collation value of the image data A1 to A5 is calculated. Here, the average collation value of the image data A1 is “0.30”, the average collation value of the image data A2 is “0.35”, the average collation value of the image data A3 is “0.42”, and the image data This shows a situation where the average collation value of A4 is “0.53” and the average collation value of image data A5 is “0.60”.
その後、かかる画像データA1〜A5の平均照合値の平均値を算出し、これを基準値とする。ここでは、この基準値は、(0.30+0.35+0.42+0.53+0.60)/5=0.44の算定式から算定される。   Thereafter, an average value of the average collation values of the image data A1 to A5 is calculated and used as a reference value. Here, this reference value is calculated from the calculation formula of (0.30 + 0.35 + 0.42 + 0.53 + 0.60) /5=0.44.
このため、オフセット算出部25A3は、上記基準値である「0.44」から各画像データA1〜A5の平均照合値を減算した値をオフセットとして算出する。ここでは、画像データA1のオフセットが「0.14」であり、画像データA2のオフセットが「0.09」であり、画像データA3のオフセットが「0.02」であり、画像データA4のオフセットが「−0.09」であり、画像データA5のオフセットが「−0.16」である状況を示している。   Therefore, the offset calculation unit 25A3 calculates, as an offset, a value obtained by subtracting the average collation value of each of the image data A1 to A5 from “0.44” that is the reference value. Here, the offset of the image data A1 is “0.14”, the offset of the image data A2 is “0.09”, the offset of the image data A3 is “0.02”, and the offset of the image data A4 Is “−0.09”, and the offset of the image data A5 is “−0.16”.
すなわち、後方から撮像された画像データA5のように、人物の特徴を示す情報が少ない画像データは、たとえ他人の画像データであっても後方から撮像されたものであればその照合値が大きくなるため、他人との平均照合値が大きくなり、オフセットがマイナスの値となる。一方、前方から撮像された画像データA1のように、人物の特徴を示す情報が多い画像データは、他人の画像データとの平均照合値が小さくなり、オフセットがプラスの値となる。また、特徴を示す情報が多ければ多いほど、オフセットの値が大きくなる。   That is, image data with little information indicating the characteristics of a person, such as image data A5 captured from the back, has a higher collation value if it is captured from the back even if it is image data of another person. For this reason, the average collation value with others increases, and the offset becomes a negative value. On the other hand, like image data A1 imaged from the front, image data with a lot of information indicating the characteristics of a person has a small average collation value with other person's image data and a positive offset value. Further, the more information indicating the feature, the larger the offset value.
このようにして、オフセット算出部25A3により算出されたオフセットは、テンプレート24b内の特徴量に対応付けて記憶部24に格納される。図9は、図2に示したテンプレート24bの一例を説明するための説明図である。   In this manner, the offset calculated by the offset calculation unit 25A3 is stored in the storage unit 24 in association with the feature amount in the template 24b. FIG. 9 is an explanatory diagram for explaining an example of the template 24b shown in FIG.
同図に示すように、テンプレート24bは、画像データA1〜A5ごとに、白黒濃淡画像データ及びそのオフセット、色相ヒストグラム及びそのオフセット、Gabor5の振幅成分及びそのオフセット、Gabor7の振幅成分及びそのオフセット、Gabor5の方向成分及びそのオフセット並びにGabor7の方向成分及びそのオフセットを有する。   As shown in the figure, the template 24b includes, for each of the image data A1 to A5, black and white grayscale image data and its offset, hue histogram and its offset, Gabor5 amplitude component and its offset, Gabor7 amplitude component and its offset, Gabor5. Direction component and its offset, and Gabor7 direction component and its offset.
次に、画像照合処理装置20によるテンプレートの登録処理手順について説明する。図10は、図2に示した画像照合処理装置20によるテンプレートの登録処理手順を示すフローチャートである。   Next, a template registration processing procedure performed by the image matching processing device 20 will be described. FIG. 10 is a flowchart showing a template registration processing procedure by the image matching processing device 20 shown in FIG.
同図に示すように、まず登録人物の指定を行う(ステップS101)。すなわち、迷子センタの係員による所定の操作入力を受け付けたならば、動画像データベース27に蓄積された過去の動画像データ27a(当日分)を表示部22に表示する。そして、入力部21を用いて表示部22の所定の位置が指示されると(ステップS101)、指示された動画像データ27a内のフレーム及び座標位置を特定し、特定されたフレーム内の座標位置に位置する人物の上半身を含む画像データが切り出されるとともに、当該フレームの前後に位置する複数枚のフレームから同一人物の画像データを切り出し、その結果として複数枚の人物の画像データを含む登録用画像データ群が切り出される(ステップS102)。   As shown in the figure, first, a registered person is designated (step S101). That is, when a predetermined operation input by a staff member of the lost child center is received, the past moving image data 27a (for the current day) accumulated in the moving image database 27 is displayed on the display unit 22. When a predetermined position of the display unit 22 is instructed using the input unit 21 (step S101), the specified frame and coordinate position in the moving image data 27a are specified, and the coordinate position in the specified frame is specified. The image data including the upper body of the person located in the image is cut out, the image data of the same person is cut out from a plurality of frames positioned before and after the frame, and as a result, the registration image including the image data of the plurality of persons A data group is cut out (step S102).
その後、特徴量算出部25A2が、登録用画像データ群に含まれる各画像データの特徴量を算出する(ステップS103)。具体的には、特徴量算出部25A2は、ステップS102により切り出された複数枚の人物の画像データについて、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Gaborフィルタを適用した振幅成分及びGaborフィルタを適用した方向成分をそれぞれ特徴量として算出する。   Thereafter, the feature amount calculation unit 25A2 calculates the feature amount of each image data included in the registration image data group (step S103). Specifically, the feature amount calculation unit 25A2 applies grayscale image data obtained by converting color image data into a monochrome grayscale image, a hue histogram, and a Gabor filter for the image data of a plurality of persons cut out in step S102. The amplitude component and the direction component to which the Gabor filter is applied are calculated as feature amounts.
オフセット算出部25A3は、ステップS103により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像特徴量とを用いてオフセット算出処理を行う(ステップS104)。このオフセット算出処理(ステップS104)の詳細については後述する。   The offset calculation unit 25A3 performs an offset calculation process using the feature amount calculated in step S103 and the reference image feature amount calculated from a plurality of reference image data captured in advance (step S104). Details of the offset calculation process (step S104) will be described later.
ステップS104の後、特徴量算出部25A2は、全ての種類の特徴量が算出されたか否かを判定する(ステップS105)。算出されていない特徴量が残っているならば(ステップS105;No)、特徴量算出部25A2は、ステップS103に移行して特徴量の算出を行う。   After step S104, the feature amount calculation unit 25A2 determines whether all types of feature amounts have been calculated (step S105). If a feature amount that has not been calculated remains (step S105; No), the feature amount calculation unit 25A2 proceeds to step S103 and calculates the feature amount.
全ての種類の特徴量が算出されたならば(ステップS105;Yes)、テンプレート生成部25A4は、算出された特徴量とオフセットとを対応付けてテンプレート24bとして記憶部24に登録し(ステップS106)、処理を終了する。   If all types of feature values have been calculated (step S105; Yes), the template generation unit 25A4 associates the calculated feature values with the offset and registers them in the storage unit 24 as a template 24b (step S106). The process is terminated.
次に、図10に示したオフセット算出処理について詳細に説明する。図11は、図10に示したオフセット算出処理手順を示すフローチャートである。同図に示すように、オフセット算出部25A3は、まず、変数i及び基準値を「0」に初期化(ステップS201)する。また、変数j及び最大照合値を「0」に初期化する(ステップS202)。   Next, the offset calculation process shown in FIG. 10 will be described in detail. FIG. 11 is a flowchart showing the offset calculation processing procedure shown in FIG. As shown in the figure, the offset calculation unit 25A3 first initializes the variable i and the reference value to “0” (step S201). Further, the variable j and the maximum collation value are initialized to “0” (step S202).
オフセット算出部25A3は、登録用画像データ群内の画像データ(i)を読み出し(ステップS203)、参照画像データ群(j)内に含まれる複数の参照画像データを読み出す(ステップS204)。   The offset calculation unit 25A3 reads the image data (i) in the registration image data group (step S203), and reads a plurality of reference image data included in the reference image data group (j) (step S204).
オフセット算出部25A3は、画像データ(i)と参照画像データ群(j)に含まれる各参照画像データとの照合値をそれぞれ算出して、その最大値を参照画像データ群(j)の最大照合値とする(ステップS205)。   The offset calculation unit 25A3 calculates a collation value between the image data (i) and each reference image data included in the reference image data group (j), and uses the maximum value as the maximum collation of the reference image data group (j). A value is set (step S205).
ステップS205の後、オフセット算出部25A3は、変数jの値をインクリメントし(ステップS206)、変数jの値が「2」に達したか否かを判定する(ステップS207)。変数jの値が「2」に達していなければ(ステップS207;No)、ステップS204に移行して、参照画像データ群(j)内に含まれる複数の参照画像データを読み出す。   After step S205, the offset calculation unit 25A3 increments the value of the variable j (step S206), and determines whether or not the value of the variable j has reached “2” (step S207). If the value of the variable j has not reached “2” (step S207; No), the process proceeds to step S204, and a plurality of reference image data included in the reference image data group (j) is read.
変数jの値が「2」に達したならば(ステップS207;Yes)、オフセット算出部25A3は、参照画像データ群(j)の最大照合値を合計し、変数jの値である「2」で除算して画像データ(i)の平均照合値を算出する(ステップS208)。   If the value of the variable j reaches “2” (step S207; Yes), the offset calculation unit 25A3 sums up the maximum collation values of the reference image data group (j), and the value of the variable j is “2”. The average collation value of the image data (i) is calculated by dividing by (step S208).
ステップS208の後、オフセット算出部25A3は、変数iの値をインクリメントし(ステップS209)、変数iの値が「5」に達したか否かを判定する(ステップS210)。変数iの値が「5」に達していなければ(ステップS210;No)、オフセット算出部25A3は、ステップS202に移行して、変数j及び最大照合値を「0」に初期化する。   After step S208, the offset calculation unit 25A3 increments the value of the variable i (step S209), and determines whether or not the value of the variable i has reached “5” (step S210). If the value of the variable i has not reached “5” (step S210; No), the offset calculation unit 25A3 proceeds to step S202, and initializes the variable j and the maximum collation value to “0”.
変数iの値が「5」に達したならば(ステップS210;Yes)、オフセット算出部25A3は、画像データ(i)の平均照合値を合計し、変数iの値である「5」で除算して基準値を算出する(ステップS211)。   If the value of the variable i reaches “5” (step S210; Yes), the offset calculation unit 25A3 adds up the average collation values of the image data (i) and divides by “5” that is the value of the variable i. The reference value is calculated (step S211).
ステップS211の後、オフセット算出部25A3は、変数iの値を「0」に初期化する(ステップS212)。ステップS212の後、オフセット算出部25A3は、基準値から画像データ(i)の平均照合値を減算して画像データ(i)のオフセットを算出する(ステップS213)。   After step S211, the offset calculation unit 25A3 initializes the value of the variable i to “0” (step S212). After step S212, the offset calculation unit 25A3 calculates the offset of the image data (i) by subtracting the average collation value of the image data (i) from the reference value (step S213).
ステップS213の後、オフセット算出部25A3は、変数iの値をインクリメントし(ステップS214)、変数iの値が「5」に達したか否かを判定する(ステップS215)。変数iの値が「5」に達していなければ(ステップS215;No)、オフセット算出部25A3は、ステップS213に移行して、画像データ(i)のオフセットを算出する。変数iの値が「5」に達したならば(ステップS215;Yes)、オフセット算出部25A3は、オフセット算出処理を終了する。なお、図11は、登録用画像データ群に含まれる画像データの数が「5」、参照画像データ群の数が「2」である場合を示したため、変数iの最大値を「5」、変数jの最大値を「2」としたが、変数i及びjの最大値は、登録用画像データ群に含まれる画像データの数並びに参照画像データ群の数により適宜変更可能である。   After step S213, the offset calculation unit 25A3 increments the value of the variable i (step S214), and determines whether or not the value of the variable i has reached “5” (step S215). If the value of the variable i has not reached “5” (step S215; No), the offset calculation unit 25A3 proceeds to step S213 and calculates the offset of the image data (i). If the value of the variable i reaches “5” (step S215; Yes), the offset calculation unit 25A3 ends the offset calculation process. FIG. 11 shows the case where the number of image data included in the registration image data group is “5” and the number of reference image data groups is “2”. Therefore, the maximum value of the variable i is set to “5”. Although the maximum value of the variable j is “2”, the maximum values of the variables i and j can be changed as appropriate depending on the number of image data included in the registration image data group and the number of reference image data groups.
次に、画像照合処理装置20による画像照合処理手順について説明する。図12は、図2に示した画像照合処理装置20による画像照合処理手順を示すフローチャートである。同図に示すように、画像照合処理装置20の人物画像切出部25B1は、まず、監視カメラ10からリアルタイムに受信した動画像データの各フレームに含まれる人物を検知し(ステップS301)、動画像データの複数のフレームに渡る人物の移動を追跡して、複数のフレームから人物の上半身を含む画像データを入力画像データ群として切り出す(ステップS302)。   Next, an image collation processing procedure by the image collation processing device 20 will be described. FIG. 12 is a flowchart showing an image matching processing procedure performed by the image matching processing device 20 shown in FIG. As shown in the figure, the person image cutout unit 25B1 of the image matching processing device 20 first detects a person included in each frame of moving image data received in real time from the monitoring camera 10 (step S301), The movement of the person over a plurality of frames of image data is tracked, and image data including the upper body of the person is cut out from the plurality of frames as an input image data group (step S302).
特徴量算出部25A2は、入力画像データ群の各画像データについて、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Gaborフィルタを適用した振幅成分及び方向成分をそれぞれ特徴量として算出する(ステップS303)。   For each image data of the input image data group, the feature amount calculation unit 25A2 uses, as feature amounts, grayscale image data obtained by converting color image data into a monochrome grayscale image, a hue histogram, and an amplitude component and a direction component to which a Gabor filter is applied. Calculate (step S303).
照合値算出部25B3は、テンプレートと入力画像データ群との照合値を算出する照合値算出処理を実行する(ステップS304)。この照合値算出処理(ステップS304)の詳細については後述する。照合値算出部25B3は、ステップS303により算出された特徴量(カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Gaborフィルタを適用した振幅成分及び方向成分)のうち、照合値の算出処理が未処理の特徴量があるかを判定し(ステップS305)、未処理の特徴量があるならば(ステップS305;Yes)、照合値算出処理(ステップS304)に移行する。   The matching value calculation unit 25B3 executes a matching value calculation process for calculating a matching value between the template and the input image data group (step S304). Details of this collation value calculation process (step S304) will be described later. The matching value calculation unit 25B3 includes a matching value among the feature amounts calculated in step S303 (grayscale image data obtained by converting color image data into a monochrome grayscale image, a hue histogram, and an amplitude component and a direction component to which a Gabor filter is applied). It is determined whether there is an unprocessed feature value (step S305). If there is an unprocessed feature value (step S305; Yes), the process proceeds to a collation value calculation process (step S304).
全ての種類の特徴量について照合値算出処理を行って、未処理の特徴量が無いならば(ステップS305;No)、照合値算出部25B3は、各特徴量について算出した照合値(後述の最大照合値)に重み係数を掛けて合計し(ステップS306)、判定処理部25B4に出力する。   If the matching value calculation processing is performed for all types of feature values and there is no unprocessed feature value (step S305; No), the matching value calculation unit 25B3 calculates the matching value calculated for each feature value (maximum described later). The collation value) is multiplied by the weighting coefficient and summed (step S306), and is output to the determination processing unit 25B4.
判定処理部25B4は、ステップS306により算出された照合値の合計としきい値とを比較する(ステップS307)。照合値の合計がしきい値以上であるならば(ステップS307;Yes)、判定処理部25B4は、選択したテンプレート24bと入力画像データ群とが一致すると判定する(ステップS309)。選択したテンプレート24bと入力画像データ群とが一致するのは、選択したテンプレートに対応する人物が監視カメラ10からリアルタイムに受信した動画像データに存在する場合である。判定処理部25B4は、どの監視カメラ10が撮像した動画像データにテンプレート24bに対応する人物が映っていたかを示す情報とともに判定結果を表示部22に表示出力して(ステップS310)、画像照合処理を終了する。   The determination processing unit 25B4 compares the sum of the collation values calculated in step S306 with a threshold value (step S307). If the sum of the collation values is equal to or greater than the threshold value (step S307; Yes), the determination processing unit 25B4 determines that the selected template 24b matches the input image data group (step S309). The selected template 24b matches the input image data group when the person corresponding to the selected template exists in the moving image data received from the monitoring camera 10 in real time. The determination processing unit 25B4 displays and outputs the determination result on the display unit 22 together with information indicating which person corresponding to the template 24b appears in the moving image data captured by which monitoring camera 10 (step S310), and image matching processing Exit.
判定処理部25B4は、ステップS306により算出された照合値の合計がしきい値未満であるならば(ステップS307;No)、未処理のテンプレートが残っているか否かを判定する(ステップS308)。未処理のテンプレートが残っているならば(ステップS308;Yes)、照合値算出部25B3は、ステップS304に移行する。未処理のテンプレートが残っていないならば(ステップS308;No)、画像照合処理を終了する。このフローでは、照合値の合計がしきい値以上のものがあれば判定結果を出力しているが、すべてのテンプレートについて、照合値の合計を算出し、照合値の合計が最大のものを判定結果としてもよい。また、しきい値以上のテンプレートが複数あった場合はエラーとしてもよい。   If the sum of the collation values calculated in step S306 is less than the threshold value (step S307; No), the determination processing unit 25B4 determines whether an unprocessed template remains (step S308). If an unprocessed template remains (step S308; Yes), the matching value calculation unit 25B3 proceeds to step S304. If there is no unprocessed template remaining (step S308; No), the image matching process ends. In this flow, if the total collation value is greater than or equal to the threshold value, the judgment result is output. However, for all templates, the sum of the collation values is calculated, and the sum of the collation values is the maximum. As a result. Further, if there are a plurality of templates that are equal to or greater than the threshold value, an error may be generated.
次に、図12に示した照合値算出処理について詳細に説明する。図13は、図12に示した照合値算出処理の処理手順を示すフローチャートである。同図に示すように、照合値算出部25B3は、まず、変数m及び最大照合値を「0」に初期化する(ステップS401)。また、変数nを「0」に初期化する(ステップS402)。   Next, the collation value calculation process shown in FIG. 12 will be described in detail. FIG. 13 is a flowchart showing a processing procedure of the collation value calculation processing shown in FIG. As shown in the figure, the matching value calculation unit 25B3 first initializes the variable m and the maximum matching value to “0” (step S401). Also, the variable n is initialized to “0” (step S402).
照合値算出部25B3は、入力画像データ群内の画像データ(m)を読み出し(ステップS403)、テンプレート内の画像データ(n)を読み出す(ステップS404)。照合値算出部25B3は、画像データ(m)と画像データ(n)との照合値を算出し(ステップS405)、画像データ(n)に対応するオフセットを加算する(ステップS406)。   The matching value calculation unit 25B3 reads the image data (m) in the input image data group (step S403), and reads the image data (n) in the template (step S404). The matching value calculation unit 25B3 calculates a matching value between the image data (m) and the image data (n) (step S405), and adds an offset corresponding to the image data (n) (step S406).
照合値算出部25B3は、オフセット加算後の照合値が最大照合値を超えているならば(ステップS407;Yes)、オフセット加算後の照合値を最大照合値とする(ステップS408)。   If the collation value after offset addition exceeds the maximum collation value (step S407; Yes), the collation value calculation unit 25B3 sets the collation value after offset addition as the maximum collation value (step S408).
ステップS408の後若しくはオフセット加算後の照合値が最大照合値以下である場合には(ステップS407;No)、照合値算出部25B3は、変数nの値をインクリメントし(ステップS409)、変数nの値が「5」に達したか否かを判定する(ステップS410)。変数nの値が「5」に達していなければ(ステップS410;No)、ステップS404に移行して、テンプレート内の画像データ(n)を読み出す。   When the collation value after step S408 or after offset addition is equal to or less than the maximum collation value (step S407; No), the collation value calculation unit 25B3 increments the value of the variable n (step S409), It is determined whether or not the value has reached “5” (step S410). If the value of the variable n has not reached “5” (step S410; No), the process proceeds to step S404, and the image data (n) in the template is read.
変数nの値が「5」に達したならば(ステップS410;Yes)、照合値算出部25B3は、最大照合値を画像データ(m)の照合値として(ステップS411)、最大照合値の値を「0」に初期化する(ステップS412)。   If the value of the variable n reaches “5” (step S410; Yes), the collation value calculation unit 25B3 sets the maximum collation value as the collation value of the image data (m) (step S411), and the value of the maximum collation value. Is initialized to “0” (step S412).
ステップS412の後、照合値算出部25B3は、変数mの値をインクリメントし(ステップS413)、変数mの値が「5」に達したか否かを判定する(ステップS414)。変数mの値が「5」に達していなければ(ステップS414;No)、ステップS402に移行して、変数nを「0」に初期化する。変数mの値が「5」に達したならば(ステップS414;Yes)、照合値算出部25B3は、照合値算出処理を終了する。なお、図13は、入力画像データ群及びテンプレートに含まれる画像データの数がそれぞれ「5」である場合を示したため、変数m及びnの最大値を「5」としたが、変数m及びnの最大値は、入力画像データ群及びテンプレートに含まれる画像データの数により適宜変更可能である。   After step S412, the collation value calculation unit 25B3 increments the value of the variable m (step S413), and determines whether or not the value of the variable m has reached “5” (step S414). If the value of the variable m has not reached “5” (step S414; No), the process proceeds to step S402, and the variable n is initialized to “0”. If the value of the variable m reaches “5” (step S414; Yes), the matching value calculation unit 25B3 ends the matching value calculation process. Note that FIG. 13 shows the case where the number of image data included in the input image data group and the template is “5”, so the maximum value of the variables m and n is “5”. The maximum value can be appropriately changed according to the number of image data included in the input image data group and the template.
このようにして、入力画像データ群に含まれる各画像データの特徴量毎の最大の照合値を求め、前述したように、特徴量毎の最大の照合値に重み係数を掛けて合算し、テンプレートと入力画像データ群とが一致するか否かの判定を行う。   In this way, the maximum collation value for each feature amount of each image data included in the input image data group is obtained, and as described above, the maximum collation value for each feature amount is multiplied by the weighting factor, and the template is added. And whether or not the input image data group matches.
上述してきたように、本実施例1では、画像照合処理装置20は、監視カメラ10が撮像した動画像データを動画像データベース27に蓄積し、蓄積した動画像データから登録人物を指定された場合には、動画像データを形成する複数のフレームから登録人物に係る複数の画像データをそれぞれ切り出し、切り出された登録人物に係る複数の画像データから特徴量をそれぞれ算定し、算定された複数の特徴量を登録人物のテンプレートとして記憶部24に記憶する。そして、監視カメラ10が撮像した動画像データを形成する複数のフレームから照合対象者に係る複数の画像データをそれぞれ切り出し、切り出された照合対象者に係る複数の画像データから特徴量をそれぞれ算定し、算定された複数の特徴量とテンプレートを形成する複数の特徴量との全ての組み合わせについての照合値をそれぞれ算定し、算定された複数の照合値のうちの最大の値となる最大照合値が所定の値以上である場合に、照合対象者が前記テンプレート内の登録人物と一致すると判定する。かかる構成により、画像照合処理装置20は、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。   As described above, in the first embodiment, the image matching processing device 20 accumulates the moving image data captured by the monitoring camera 10 in the moving image database 27, and a registered person is designated from the accumulated moving image data. Includes cutting out a plurality of image data related to a registered person from a plurality of frames forming moving image data, calculating feature amounts from the plurality of image data related to the extracted registered person, and calculating a plurality of calculated features. The amount is stored in the storage unit 24 as a template of the registered person. Then, a plurality of pieces of image data relating to the person to be collated are cut out from a plurality of frames forming the moving image data captured by the monitoring camera 10, and feature amounts are calculated from the plurality of pieces of image data relating to the person to be collated. , The collation values for all combinations of the plurality of calculated feature quantities and the plurality of feature quantities forming the template are respectively calculated, and the maximum collation value that is the maximum value among the plurality of calculated collation values is If it is equal to or greater than the predetermined value, it is determined that the person to be verified matches the registered person in the template. With this configuration, the image collation processing device 20 has a person who is registered as a person included in the image data even when appropriate image data including a physical feature such as a person's face is not captured. Whether or not they match can be determined accurately and efficiently.
また、登録人物のテンプレートを登録する際に、テンプレートに含まれる複数の画像データに対し、登録人物の特徴を示す情報が多い画像データほど照合値が大きくなるようにオフセットを算定して画像データに対応付ける。このため、登録人物の特徴を示す情報が少ない画像データから算出された照合値が最大照合値となることを防止し、画像照合処理の精度を向上することができる。   In addition, when registering a registered person template, an offset is calculated for the plurality of image data included in the template so that the matching value becomes larger for image data with more information indicating the characteristics of the registered person. Associate. For this reason, it is possible to prevent the collation value calculated from the image data having little information indicating the characteristics of the registered person from being the maximum collation value, and to improve the accuracy of the image collation processing.
具体的には、顔の画像の解像度が十分でない場合や、顔が映っていない場合でも人物の照合が可能である。また、体の一部が写っていない場合でも人物の照合が可能である。さらに、互いに相関の小さい複数の特徴量を組み合わせて照合を行うことで、画像照合処理の精度を向上している。   Specifically, the person can be collated even when the resolution of the face image is not sufficient or when the face is not reflected. Even when a part of the body is not shown, the person can be verified. Furthermore, the accuracy of the image matching process is improved by performing matching by combining a plurality of feature quantities having a small correlation with each other.
本実施例2では、あらかじめ準備された人物のリスト(例えば、犯罪者リスト)に該当する人物が監視カメラのいずれかに映るか否かを判定する場合について説明する。まず、本実施例2に係る画像照合処理システムのシステム構成について説明する。図14は、実施例2に係る画像照合処理システムのシステム構成図である。   In the second embodiment, a case will be described in which it is determined whether or not a person corresponding to a list of persons prepared in advance (for example, a criminal list) appears in any of the surveillance cameras. First, the system configuration of the image matching processing system according to the second embodiment will be described. FIG. 14 is a system configuration diagram of an image matching processing system according to the second embodiment.
図14に示すように、監視カメラ10を設置する位置は実施例1と同様である。図14に示す画像照合処理装置120は、登録の対象となる人物のリストを対象者リスト121としてあらかじめ記憶している。この対象者リスト121は、登録の対象となる人物を識別するデータを有する。この識別のためのデータには、任意のデータを用いることができるが、ここでは監視カメラ10の撮像結果と比較可能な画像データを対象者リスト121として用いる場合を例に説明を行う。画像データとしては、登録の対象となる人物の顔画像データが好適である。   As shown in FIG. 14, the position where the surveillance camera 10 is installed is the same as in the first embodiment. The image matching processing device 120 illustrated in FIG. 14 stores a list of persons to be registered as a target person list 121 in advance. The target person list 121 has data for identifying a person to be registered. Arbitrary data can be used as the data for identification, but here, a case where image data that can be compared with the imaging result of the monitoring camera 10 is used as the target person list 121 will be described as an example. As the image data, face image data of a person to be registered is suitable.
画像照合処理装置120は、監視カメラ10から受信した動画像データと、対象者リスト121に登録された顔画像データとを比較することで登録判定処理を行う。画像照合処理装置120は、動画像データに対象者が含まれていると判定したならば、監視カメラ10から受信した動画像データを用いて指定された人物の特徴を示すテンプレート24bを生成する。   The image matching processing device 120 performs registration determination processing by comparing the moving image data received from the monitoring camera 10 and the face image data registered in the target person list 121. If it is determined that the target person is included in the moving image data, the image matching processing device 120 generates a template 24b indicating the characteristics of the specified person using the moving image data received from the monitoring camera 10.
かかるテンプレート24bが生成されたならば、監視カメラ10からリアルタイムで受信した動画像データに含まれる人物の画像データを切り出し、切り出した人物の画像データとテンプレートを照合処理して、テンプレートがいずれかの監視カメラ10で撮影された画像データと一致する場合にはその旨を報知する。これにより、対象者リスト121に含まれる人物の所在位置を特定することが可能となる。   If the template 24b is generated, the person image data included in the moving image data received in real time from the monitoring camera 10 is cut out, the cut out person image data is compared with the template, and the template is selected. If it matches the image data photographed by the monitoring camera 10, the fact is notified. As a result, the location of the person included in the target person list 121 can be specified.
次に、図14に示した画像照合処理装置120の構成について説明する。図15は、図14に示した画像照合処理装置120の内部構成を示す機能ブロック図である。同図に示す画像照合処理装置120は、動画像データベース27を有さず、記憶部24に対象者リスト121をさらに記憶し、登録処理部25Aに登録判定処理部122をさらに有する点が図2に示した画像照合処理装置20と異なる。   Next, the configuration of the image matching processing device 120 shown in FIG. 14 will be described. FIG. 15 is a functional block diagram showing an internal configuration of the image matching processing device 120 shown in FIG. The image collation processing device 120 shown in FIG. 2 does not have the moving image database 27, further stores the target person list 121 in the storage unit 24, and further includes a registration determination processing unit 122 in the registration processing unit 25A. Different from the image collation processing device 20 shown in FIG.
登録判定処理部122は、監視カメラ10からリアルタイムで受信した動画像データと対象者リスト121に含まれる顔画像データとを比較し、動画像データに含まれる人物を登録するか否かを判定する。登録判定処理部122は、対象者リスト121に含まれる顔画像データと一致する人物が動画像データに含まれる場合には、該人物の複数枚(例えば、5枚)の画像データを指定人物画像切出部25A1に切り出させる。   The registration determination processing unit 122 compares the moving image data received from the surveillance camera 10 in real time with the face image data included in the target person list 121 and determines whether or not to register a person included in the moving image data. . When the moving image data includes a person that matches the face image data included in the target person list 121, the registration determination processing unit 122 selects a plurality of (for example, five) image data of the person as the designated person image. Cut to 25A1.
その他の構成及び動作については実施例1に示した画像照合処理装置20と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。   Since other configurations and operations are the same as those of the image matching processing device 20 shown in the first embodiment, the same components are denoted by the same reference numerals and description thereof is omitted.
次に、実施例2に係る画像照合処理装置120によるテンプレートの登録処理手順について説明する。図16は、図15に示した画像照合処理装置120によるテンプレートの登録処理手順を示すフローチャートである。同図に示すように、画像照合処理装置120の登録判定処理部122は、まず、監視カメラ10からリアルタイムに受信した動画像データの各フレームに含まれる人物を検知し(ステップS501)、対象者リスト121と比較して、登録対象者であるか否かを判定する(ステップS502)。   Next, a template registration processing procedure performed by the image matching processing device 120 according to the second embodiment will be described. FIG. 16 is a flowchart showing a template registration processing procedure performed by the image matching processing device 120 shown in FIG. As shown in the figure, the registration determination processing unit 122 of the image matching processing device 120 first detects a person included in each frame of moving image data received in real time from the monitoring camera 10 (step S501), and the target person Compared with the list 121, it is determined whether or not the person is a registration target (step S502).
検知した人物が登録対象者でなければ(ステップS503;No)、画像照合処理装置120は登録処理手順を終了する。一方、検知した人物が登録対象者であるならば(ステップS503;Yes)、指定人物画像切出部25A1により、動画像データの複数のフレームから検知した人物の上半身を含む画像データが登録用画像データ群として切り出される(ステップS504)。   If the detected person is not a registration target person (step S503; No), the image matching processing device 120 ends the registration processing procedure. On the other hand, if the detected person is a person to be registered (step S503; Yes), the designated person image cutout unit 25A1 generates image data including the upper body of the person detected from a plurality of frames of the moving image data for registration. It is cut out as a data group (step S504).
その後、特徴量算出部25A2が、登録用画像データ群に含まれる各画像データの特徴量を算出する(ステップS505)。具体的には、特徴量算出部25A2は、ステップS504により切り出された複数枚の人物の画像データについて、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Gaborフィルタを適用した振幅成分及びGaborフィルタを適用した方向成分をそれぞれ特徴量として算出する。   Thereafter, the feature amount calculation unit 25A2 calculates the feature amount of each image data included in the registration image data group (step S505). Specifically, the feature amount calculation unit 25A2 applies grayscale image data obtained by converting color image data to a monochrome grayscale image, a hue histogram, and a Gabor filter for the image data of a plurality of persons cut out in step S504. The amplitude component and the direction component to which the Gabor filter is applied are calculated as feature amounts.
オフセット算出部25A3は、ステップS505により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像特徴量とを用いてオフセット算出処理を行う(ステップS506)。   The offset calculation unit 25A3 performs an offset calculation process using the feature amount calculated in step S505 and the reference image feature amount calculated from a plurality of reference image data captured in advance (step S506).
ステップS506の後、特徴量算出部25A2は、全ての種類の特徴量が算出されたか否かを判定する(ステップS507)。算出されていない特徴量が残っているならば(ステップS507;No)、特徴量算出部25A2は、ステップS505に移行して特徴量の算出を行う。   After step S506, the feature amount calculation unit 25A2 determines whether or not all types of feature amounts have been calculated (step S507). If a feature quantity that has not been calculated remains (step S507; No), the feature quantity calculation unit 25A2 proceeds to step S505 and calculates the feature quantity.
全ての種類の特徴量が算出されたならば(ステップS507;Yes)、テンプレート生成部25A4は、算出された特徴量とオフセットとを対応付けてテンプレート24bとして記憶部24に登録し(ステップS508)、処理を終了する。   If all types of feature amounts have been calculated (step S507; Yes), the template generation unit 25A4 associates the calculated feature amounts with the offset and registers them in the storage unit 24 as a template 24b (step S508). The process is terminated.
オフセット算出処理の詳細は、実施例1と同様であるので、説明を省略する。また、画像照合処理装置120は、登録処理手順の終了後若しくは登録処理手順と並行して、画像照合処理を行うが、画像照合処理手順についても実施例と同様であるので説明を省略する。   The details of the offset calculation process are the same as those in the first embodiment, and a description thereof will be omitted. The image matching processing device 120 performs the image matching processing after the registration processing procedure is completed or in parallel with the registration processing procedure.
上述してきたように、本実施例2では、画像照合処理装置120は、登録の対象となる人物に関する対象者リスト121を用い、監視カメラ10が撮像した動画像データに対象者が含まれる場合には、動画像データを形成する複数のフレームからテンプレート24bを生成する。かかる構成においても実施例1と同様に、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。オフセットを算定して画像データに対応付けることにより、画像照合処理の精度を向上できる点も実施例1と同様である。   As described above, in the second embodiment, the image matching processing device 120 uses the target person list 121 related to the person to be registered, and the moving image data captured by the monitoring camera 10 includes the target person. Generates a template 24b from a plurality of frames forming moving image data. Even in such a configuration, as in the first embodiment, even when appropriate image data including a physical feature such as a person's face is not captured, a person registered as a person included in the image data is displayed. Whether or not they match can be determined accurately and efficiently. Similar to the first embodiment, the accuracy of the image matching process can be improved by calculating the offset and associating it with the image data.
なお、本実施例2では、対象者リスト121として画像データを用い、監視カメラ10の撮像結果と比較することで登録を行うか否かを判定する構成を例示したが、対象者リスト121としては任意のデータを用いることができる。例えば、IDカード等を読み取って通行を制御するゲート装置の近傍に監視カメラを設置してもよい。この構成では、IDカード等から読み取ったIDがあらかじめ用意した対象者IDリストに含まれている場合には、ゲート装置を通過中の人物を登録人物として撮像し、テンプレートを生成・登録する。   In the second embodiment, image data is used as the target person list 121, and the configuration for determining whether or not to perform registration by comparing with the imaging result of the monitoring camera 10 is exemplified. Arbitrary data can be used. For example, a surveillance camera may be installed in the vicinity of a gate device that controls traffic by reading an ID card or the like. In this configuration, when an ID read from an ID card or the like is included in a target person ID list prepared in advance, a person passing through the gate device is imaged as a registered person, and a template is generated and registered.
本実施例3では、登録用として設けられた監視カメラに写った全ての人物が他の監視カメラのいずれに映るかを判定する場合について説明する。まず、本実施例3に係る画像照合処理システムのシステム構成について説明する。図17は、実施例3に係る画像照合処理システムのシステム構成図である。   In the third embodiment, a case will be described in which it is determined which of the other monitoring cameras all persons appearing on the monitoring camera provided for registration appear. First, the system configuration of the image matching processing system according to the third embodiment will be described. FIG. 17 is a system configuration diagram of an image matching processing system according to the third embodiment.
図17に示すように、画像照合処理装置220は、ゲート11の近傍に設置された監視カメラ10aをテンプレートの登録用に使用する。画像照合処理装置220は、監視カメラ10aより受信した動画像データに含まれる全ての人物についてテンプレート24bを生成する。   As shown in FIG. 17, the image matching processing device 220 uses a monitoring camera 10 a installed in the vicinity of the gate 11 for registering a template. The image matching processing device 220 generates a template 24b for all persons included in the moving image data received from the monitoring camera 10a.
テンプレート24bの生成後、画像照合処理装置220は、監視カメラ10b、監視カメラ10c及び監視カメラ10dより受信した動画像データに含まれる人物の画像とテンプレート24bとを照合する画像照合処理を行う。この画像照合処理によって、監視カメラ10b、監視カメラ10c及び監視カメラ10dより受信した動画像データに含まれる人物の画像とテンプレート24bとが一致すると判定したならば、画像照合処理装置220は、登録した人物が映っていた監視カメラ10の設置場所と動画像データの撮像時刻とを対応付けた行動ログを生成・更新する。この行動ログは、登録した人物毎に生成する。   After generating the template 24b, the image matching processing device 220 performs an image matching process for matching the person image included in the moving image data received from the monitoring camera 10b, the monitoring camera 10c, and the monitoring camera 10d with the template 24b. If it is determined that the image of the person included in the moving image data received from the monitoring camera 10b, the monitoring camera 10c, and the monitoring camera 10d matches the template 24b by this image matching processing, the image matching processing device 220 has registered. An action log in which the installation location of the monitoring camera 10 in which a person is reflected and the imaging time of moving image data is associated is generated and updated. This action log is generated for each registered person.
次に、実施例3に係る画像照合処理装置の構成について説明する。図18は、図17に示した画像照合処理装置の内部構成を示す機能ブロック図である。同図に示す画像照合処理装置220は、動画像データベース27を有さず、記憶部24に行動ログ221をさらに記憶する。また、登録処理部25Aは、人物画像切出し部223、特徴量算出部25A2、オフセット算出部25A3、テンプレート生成部25A4及びテンプレート登録処理部224を有する。また、照合処理部25Bの判定処理部222は、実施例1に示した判定処理部25B4と処理が異なる。   Next, the configuration of the image matching processing apparatus according to the third embodiment will be described. FIG. 18 is a functional block diagram showing the internal configuration of the image collation processing apparatus shown in FIG. The image collation processing device 220 shown in the figure does not have the moving image database 27 and further stores an action log 221 in the storage unit 24. In addition, the registration processing unit 25A includes a person image cutout unit 223, a feature amount calculation unit 25A2, an offset calculation unit 25A3, a template generation unit 25A4, and a template registration processing unit 224. Further, the determination processing unit 222 of the matching processing unit 25B is different in processing from the determination processing unit 25B4 shown in the first embodiment.
行動ログ221は、テンプレート24bに登録された人物が監視カメラ10で撮像される度に、撮像された場所と時刻とを記録したデータである。この行動ログ221により、テンプレート24bに登録された人物の行動軌跡を辿ることができる。   The action log 221 is data that records the location and time when the person registered in the template 24 b is captured by the monitoring camera 10. By this action log 221, it is possible to trace the action locus of the person registered in the template 24b.
画像照合処理装置220が監視カメラ10aより動画像データを受信すると、登録処理部25Aの人物画像切出部223により動画像データの各フレームに含まれる人物の画像データが切り出され、特徴量算出部25A2による特徴量の算出が行われる。   When the image collation processing device 220 receives the moving image data from the monitoring camera 10a, the person image cutout unit 223 of the registration processing unit 25A cuts out the person image data included in each frame of the moving image data, and the feature amount calculating unit The feature amount is calculated by 25A2.
オフセット算出部25A3は、実施例1と同様に、特徴量算出部25A2により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像特徴量24aとを用いてオフセットを算出する。テンプレート生成部25A4は、特徴量算出部25A2により算出された特徴量とオフセットとを対応付けてテンプレートを生成する。   Similarly to the first embodiment, the offset calculation unit 25A3 calculates an offset using the feature amount calculated by the feature amount calculation unit 25A2 and the reference image feature amount 24a calculated from a plurality of reference image data captured in advance. calculate. The template generation unit 25A4 generates a template by associating the feature amount calculated by the feature amount calculation unit 25A2 with the offset.
テンプレート登録処理部224は、テンプレート生成部25A4により生成されたテンプレートを記憶部24に登録する処理部である。テンプレート登録処理部224は、テンプレート生成部25A4により生成されたテンプレートと、既に記憶部24bに記憶されたテンプレート24bとを照合処理する。かかる照合処理の結果、一致するテンプレート24bが記憶部24に登録されていなければ、テンプレート生成部25A4により生成されたテンプレートを新たな人物に対応する新規のテンプレートとして登録する。一方、一致するテンプレート24bが記憶部24に登録されているならば、テンプレート生成部25A4により生成されたテンプレートを既存の人物に対応する最新のテンプレートとしてテンプレート24bを更新する。   The template registration processing unit 224 is a processing unit that registers the template generated by the template generation unit 25A4 in the storage unit 24. The template registration processing unit 224 collates the template generated by the template generation unit 25A4 with the template 24b already stored in the storage unit 24b. If the matching template 24b is not registered in the storage unit 24 as a result of the matching process, the template generated by the template generation unit 25A4 is registered as a new template corresponding to a new person. On the other hand, if the matching template 24b is registered in the storage unit 24, the template 24b is updated with the template generated by the template generation unit 25A4 as the latest template corresponding to an existing person.
テンプレート登録処理部224は、新規のテンプレートを登録した場合には、該テンプレートに対応する行動ログ221を生成し、記憶部24に記憶させる。また、既存のテンプレートを更新した場合には、該テンプレートに対応する行動ログ221に監視カメラ10aの場所並びに撮像時刻を追加して更新する。   When a new template is registered, the template registration processing unit 224 generates an action log 221 corresponding to the template and stores it in the storage unit 24. When an existing template is updated, the location of the monitoring camera 10a and the imaging time are added to the behavior log 221 corresponding to the template and updated.
画像照合処理装置220が監視カメラ10b、監視カメラ10c及び監視カメラ10dより動画像データを受信すると、実施例1と同様に、人物画像切出部25B1が動画像データの各フレームに含まれる人物の画像データをそれぞれ切出処理する。特徴量算出部25B2は、人物画像切出部25B1により切り出された人物の画像データの特徴量を算出し、照合値算出部25B3による照合値の算出が行われる。   When the image collation processing device 220 receives the moving image data from the monitoring camera 10b, the monitoring camera 10c, and the monitoring camera 10d, the person image cutout unit 25B1 of the person included in each frame of the moving image data is similar to the first embodiment. Each image data is cut out. The feature amount calculation unit 25B2 calculates the feature amount of the image data of the person cut out by the person image cutout unit 25B1, and the matching value calculation unit 25B3 calculates the matching value.
判定処理部222は、照合値算出部25B3により算出された照合値に基づいて、指定人物に該当する人物が監視カメラ10からリアルタイムに受信した動画像データに存在するか否かを判定する。判定処理部222は、該当する人物が存在する場合には、どの監視カメラ10が撮像した動画像データにテンプレート24bに対応する人物が映っていたかを示す情報、及び該動画データの撮像時刻とを対応付けて、行動ログ221に登録する。   The determination processing unit 222 determines whether a person corresponding to the designated person exists in the moving image data received in real time from the monitoring camera 10 based on the collation value calculated by the collation value calculation unit 25B3. If there is a corresponding person, the determination processing unit 222 displays information indicating which moving image data captured by the monitoring camera 10 shows the person corresponding to the template 24b and the imaging time of the moving image data. Correspondingly, the action log 221 is registered.
次に、実施例3に係る画像照合処理装置220による処理動作について説明する。図19は、画像照合処理装置220が監視カメラ10aにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。図19に示すように、画像照合処理装置220は、監視カメラ10aが撮像した動画像データから人物の存在を検知し(ステップS601)、動画像データの複数のフレームに渡る人物の移動を追跡して、複数のフレームから人物の上半身を含む画像データを入力画像データ群として切り出す(ステップS602)。   Next, a processing operation performed by the image matching processing device 220 according to the third embodiment will be described. FIG. 19 is a flowchart illustrating a processing procedure when the image matching processing device 220 processes moving image data captured by the monitoring camera 10a. As shown in FIG. 19, the image matching processing device 220 detects the presence of a person from the moving image data captured by the monitoring camera 10a (step S601), and tracks the movement of the person over a plurality of frames of moving image data. Thus, the image data including the upper body of the person is cut out from the plurality of frames as the input image data group (step S602).
画像照合処理装置220は、入力画像データ群に含まれる各画像データについて特徴量を算出し(ステップS603)、照合処理を行う(ステップS604)。照合処理の結果、入力画像データ群と一致するテンプレートがある場合には(ステップS605;Yes)、該テンプレートを上書きして更新登録する(ステップS606)。一方、照合処理の結果、入力画像データ群と一致するテンプレートがない場合には(ステップS605;No)、画像照合処理装置220は、ステップS603により算出した特徴量を用いてテンプレートを新規登録する(ステップS608)。   The image matching processing device 220 calculates a feature amount for each image data included in the input image data group (step S603), and performs matching processing (step S604). If there is a template that matches the input image data group as a result of the collation processing (step S605; Yes), the template is overwritten and registered (step S606). On the other hand, if there is no template that matches the input image data group as a result of the matching process (step S605; No), the image matching processing apparatus 220 newly registers a template using the feature amount calculated in step S603 ( Step S608).
テンプレートの更新登録(ステップS606)又は新規登録(ステップS608)を行った後、画像照合処理装置220は、監視カメラ10の場所並びに撮像時刻を行動ログ221に登録して(ステップS607)処理を終了する。   After performing template update registration (step S606) or new registration (step S608), the image matching processing device 220 registers the location of the monitoring camera 10 and the imaging time in the action log 221 (step S607), and ends the processing. To do.
図20は、画像照合処理装置220が監視カメラ10b、監視カメラ10c及び監視カメラ10dにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。   FIG. 20 is a flowchart illustrating a processing procedure when the image matching processing device 220 processes moving image data captured by the monitoring camera 10b, the monitoring camera 10c, and the monitoring camera 10d.
図20に示すように、画像照合処理装置220は、監視カメラ10b、監視カメラ10c及び監視カメラ10dが撮像した動画像データから人物の存在を検知し(ステップS701)、動画像データの複数のフレームに渡る人物の移動を追跡して、複数のフレームから人物の上半身を含む画像データを入力画像データ群として切り出す(ステップS702)。   As shown in FIG. 20, the image matching processing device 220 detects the presence of a person from the moving image data captured by the monitoring camera 10b, the monitoring camera 10c, and the monitoring camera 10d (step S701), and a plurality of frames of the moving image data. The image data including the upper body of the person is cut out from a plurality of frames as an input image data group (step S702).
画像照合処理装置220は、入力画像データ群に含まれる各画像データについて特徴量を算出し(ステップS703)、照合処理を行う(ステップS704)。この特徴量算出及び照合処理については、実施例1及び2と同様であるので、説明を省略する。   The image matching processing device 220 calculates a feature amount for each image data included in the input image data group (step S703), and performs matching processing (step S704). Since this feature amount calculation and collation processing is the same as in the first and second embodiments, the description thereof is omitted.
照合処理の結果、入力画像データ群と一致するテンプレートがある場合には(ステップS705;Yes)、画像照合処理装置220は、行動ログを登録して(ステップS706)処理を終了する。この行動ログの登録は、行動ログ221に監視カメラ10の場所並びに撮像時刻を追加して更新することで行われる。また、表示部22に判定結果を出力しても良い。一方、画像照合処理の結果、入力画像データ群と一致するテンプレートがない場合には(ステップS705;No)、画像照合処理装置220はそのまま処理を終了する。   As a result of the collation processing, when there is a template that matches the input image data group (step S705; Yes), the image collation processing device 220 registers an action log (step S706) and ends the processing. This behavior log registration is performed by updating the behavior log 221 by adding the location of the monitoring camera 10 and the imaging time. Further, the determination result may be output to the display unit 22. On the other hand, if there is no template that matches the input image data group as a result of the image matching process (step S705; No), the image matching processing device 220 ends the process as it is.
上述してきたように、本実施例3では、画像照合処理装置220は、登録用の監視カメラ10aにより撮像された動画像データについては、テンプレートとの画像照合処理を行った後、照合結果に基づいてテンプレートの新規登録又は更新登録を行う。かかる構成においても実施例1と同様に、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。オフセットを算定して画像データに対応付けることにより、画像照合処理の精度を向上することができる点も実施例1と同様である。   As described above, in the third embodiment, the image matching processing device 220 performs the image matching process with the template on the moving image data captured by the registration monitoring camera 10a, and then based on the matching result. New registration or update registration of the template. Even in such a configuration, as in the first embodiment, even when appropriate image data including a physical feature such as a person's face is not captured, a person registered as a person included in the image data is displayed. Whether or not they match can be determined accurately and efficiently. Similar to the first embodiment, it is possible to improve the accuracy of the image matching process by calculating the offset and associating it with the image data.
また、登録した人物が監視カメラ10に撮像される度に行動ログ221を更新することで、遊園地に入場した人物がどのような経路を辿ったかというデータや、各利用者の入場から退場までの滞在時間に関するデータを入手することも可能となる。   In addition, by updating the action log 221 every time a registered person is imaged by the monitoring camera 10, data on what route the person who entered the amusement park has followed, from entry to exit of each user It is also possible to obtain data on the staying time.
なお、上記実施例1、2及び3に図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。   Each configuration illustrated in the first, second, and third embodiments is functionally schematic, and does not necessarily need to be physically configured as illustrated. That is, the form of distribution / integration of each device is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed / integrated in an arbitrary unit according to various loads or usage conditions. Can be configured.
例えば、上記実施例1、2及び3では、4台の監視カメラが撮像した動画像データを単一の画像照合処理装置により処理する構成を例示したが、画像照合処理装置を複数設けて、複数の画像照合処理装置がテンプレートを共有する構成として実施してもよい。   For example, in the first, second, and third embodiments, the configuration in which moving image data captured by four surveillance cameras is processed by a single image matching processing device is illustrated. The image matching processing apparatus may be configured to share the template.
また、画像照合処理装置に接続する監視カメラは任意の数を用いることができる。膨大な監視カメラを設置しても良いし、1台の監視カメラであっても良い。一台の監視カメラで実施する場合には、該監視カメラに登録人物が写る度にその時刻を記憶することが好ましい。このように、本発明は、ある時刻及び場所の動画像データを登録に使用し、時刻と場所とのうち少なくとも一方が異なる動画像データを画像照合処理に使用する場合に広く適用可能である。   In addition, any number of monitoring cameras connected to the image matching processing device can be used. An enormous number of surveillance cameras may be installed, or a single surveillance camera may be used. When implemented with a single surveillance camera, it is preferable to store the time each time a registered person appears in the surveillance camera. As described above, the present invention is widely applicable when moving image data at a certain time and place is used for registration and moving image data having at least one of time and place is used for image collation processing.
また、上記実施例1、2及び3では、監視カメラが撮像した動画像データをリアルタイムでテンプレートと照合する構成を例示して説明を行ったが、監視カメラが撮像した動画像データを所定の記憶部に記憶させて保存しておき、保存した動画像データを任意のタイミングで読み出してテンプレートと照合するように構成してもよい。このように監視カメラが撮像した動画像データを一旦保存する構成とすれば、保存により蓄積された過去の動画像データを対象として照合を行うことが可能である。   In the first, second, and third embodiments, the description has been given of the configuration in which the moving image data captured by the monitoring camera is collated with the template in real time. However, the moving image data captured by the monitoring camera is stored in a predetermined memory. It may be configured to be stored and stored in a unit, and the stored moving image data may be read at an arbitrary timing and collated with a template. If the moving image data captured by the monitoring camera is temporarily stored in this way, it is possible to perform collation for past moving image data accumulated by the storage.
また、上記実施例3では、監視カメラ10aをテンプレートの登録専用に使用する構成について説明を行ったが、監視カメラ10aを登録と画像照合処理の双方に使用する構成としてもよい。   In the third embodiment, the configuration in which the monitoring camera 10a is used exclusively for template registration has been described. However, the monitoring camera 10a may be used for both registration and image matching processing.
以上のように、本発明に係る画像照合処理装置、画像照合処理方法及び画像照合処理プログラムは、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定するために有用な技術である。   As described above, the image collation processing device, the image collation processing method, and the image collation processing program according to the present invention can be performed even when proper image data including physical features such as a human face is not captured. This is a useful technique for accurately and efficiently determining whether or not a person included in the image data matches a registered person.
10、10a、10b、10c、10d 監視カメラ
11 ゲート
12〜14 設備
20、120、220 画像照合処理装置
21 入力部
22 表示部
23 通信インタフェース部
24 記憶部
24a 参照画像特徴量
24b テンプレート
25 制御部
25A 登録処理部
25A1 指定人物画像切出部
25A2、25B2 特徴量算出部
25A3 オフセット算出部
25A4 テンプレート生成部
25B 照合処理部
25B1、223 人物画像切出部
25B3 照合値算出部
25B4、222 判定処理部
27 動画像データベース
27a 動画像データ
31、31a、31b 入力画像データ群
32 登録用画像データ群
121 対象者リスト
122 登録判定処理部
221 行動ログ
224 テンプレート登録処理部
10, 10a, 10b, 10c, 10d Surveillance camera 11 Gate 12-14 Equipment 20, 120, 220 Image collation processor 21 Input unit 22 Display unit 23 Communication interface unit 24 Storage unit 24a Reference image feature 24b Template 25 Control unit 25A Registration processing unit 25A1 Designated person image extraction unit 25A2, 25B2 Feature quantity calculation unit 25A3 Offset calculation unit 25A4 Template generation unit 25B Collation processing unit 25B1, 223 Person image extraction unit 25B3 Collation value calculation unit 25B4, 222 Judgment processing unit 27 Movie Image database 27a Moving image data 31, 31a, 31b Input image data group 32 Image data group for registration 121 Target person list 122 Registration determination processing unit 221 Action log 224 Template registration processing unit

Claims (8)

  1. 登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理装置であって、
    前記照合対象者に係る複数の登録画像データの特徴量を記憶する第1の記憶手段と、
    前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第1の切出手段と、
    前記第1の切出手段により切り出された入力画像データの特徴量を算出する第1の特徴量算出手段と、
    前記第1の特徴量算出手段により算出された入力画像データの特徴量と前記第1の記憶手段に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第1の照合値算出手段と、
    前記第1の照合値算出手段により算出された複数の照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手段と
    を備えたことを特徴とする画像照合処理装置。
    An image collation processing device that collates a plurality of registered image data relating to a registered person to be collated with input image data included in moving image data captured by a predetermined imaging device,
    First storage means for storing feature quantities of a plurality of registered image data relating to the person to be verified;
    First cutout means for cutting out input image data relating to a person from a plurality of frames forming the moving image data;
    First feature amount calculating means for calculating the feature amount of the input image data cut out by the first cutting out means;
    A first value for calculating a collation value between the feature amount of the input image data calculated by the first feature amount calculation means and the feature amounts of the plurality of registered image data stored in the first storage means. Collation value calculation means;
    Determination means for determining whether or not the person to be collated exists in the moving image data based on a maximum value of a plurality of collation values calculated by the first collation value calculation means. A featured image matching processor.
  2. 前記動画像データを形成する複数のフレームから前記照合対象者に係る複数の画像データをそれぞれ切り出す第2の切出手段と、
    前記第2の切出手段により切り出された前記照合対象者に係る複数の画像データから特徴量をそれぞれ算出する第2の特徴量算出手段と、
    前記第2の特徴量算出手段により算出された前記照合対象者に係る複数の画像データから特徴量を前記第1の記憶手段に格納するよう制御する制御手段と
    をさらに備えたことを特徴とする請求項1に記載の画像照合処理装置。
    Second cutout means for cutting out a plurality of pieces of image data related to the person to be collated from a plurality of frames forming the moving image data;
    Second feature amount calculating means for calculating feature amounts from a plurality of pieces of image data related to the person to be collated extracted by the second cutting means;
    Control means for controlling to store feature quantities in the first storage means from a plurality of image data related to the person to be collated calculated by the second feature quantity calculation means. The image collation processing apparatus according to claim 1.
  3. 前記撮像装置により撮像された人物に係る画像データを補正用画像データとして記憶する第2の記憶手段と、
    前記第1の記憶手段に記憶された前記照合対象者に係る複数の登録画像データの特徴量と前記第2の記憶手段に記憶された補正用画像データから算出された特徴量との照合値を算出する第2の照合値算出手段と、
    前記第2の照合値算出手段により算出された照合値に基づいて各登録画像データの補正値を算出する補正値算出手段と、
    前記補正値算出手段により算出された補正値に基づいて、前記第1の照合値算出手段により算出された複数の登録画像データの特徴量を補正処理する補正処理手段と
    をさらに備えたことを特徴とする請求項1又は2に記載の画像照合処理装置。
    Second storage means for storing image data relating to a person imaged by the imaging device as correction image data;
    A collation value between a feature amount of a plurality of registered image data related to the person to be collated stored in the first storage unit and a feature amount calculated from the correction image data stored in the second storage unit. A second collation value calculating means for calculating;
    Correction value calculating means for calculating a correction value of each registered image data based on the matching value calculated by the second matching value calculating means;
    Correction processing means for correcting the feature amounts of the plurality of registered image data calculated by the first collation value calculating means based on the correction values calculated by the correction value calculating means. The image collation processing device according to claim 1 or 2.
  4. 前記第2の切出手段により切り出される複数の画像データは、前記照合対象者の上半身部分を含む画像データであることを特徴とする請求項2に記載の画像照合処理装置。   The image collation processing apparatus according to claim 2, wherein the plurality of pieces of image data cut out by the second cutout unit are image data including an upper body portion of the person to be collated.
  5. 前記第1の記憶手段は、前記照合対象者に係る各登録画像データについて複数の異なる特徴量を記憶し、
    前記第1の特徴量算出手段は、前記第1の切出手段により切り出された入力画像データについて前記複数の異なる特徴量を算出する
    ことを特徴とする請求項1〜4のいずれか一つに記載の画像照合処理装置。
    The first storage means stores a plurality of different feature amounts for each registered image data related to the verification target person,
    The said 1st feature-value calculation means calculates the said several different feature-value about the input image data cut out by the said 1st cut-out means. Any one of Claims 1-4 characterized by the above-mentioned. The image verification processing device described.
  6. 前記複数の種類の特徴量は、前記画像データの濃淡に係る特徴量、色相に係る特徴量及びエッジに係る特徴量のうち、少なくとも1つを含むことを特徴とする請求項5に記載の画像照合処理装置。   The image according to claim 5, wherein the plurality of types of feature amounts include at least one of a feature amount related to shading of the image data, a feature amount related to a hue, and a feature amount related to an edge. Verification processing device.
  7. 登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理方法であって、
    前記照合対象者に係る複数の登録画像データの特徴量を第1の記憶部に格納する格納工程と、
    前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第1の切出工程と、
    前記第1の切出工程により切り出された入力画像データの特徴量を算出する第1の特徴量算出工程と、
    前記第1の特徴量算出工程により算出された入力画像データの特徴量と前記第1の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第1の照合値算出工程と、
    前記第1の照合値算出工程により算出された複数の照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定工程と
    を含んだことを特徴とする画像照合処理方法。
    An image collation processing method for collating a plurality of registered image data relating to a registered person to be collated with input image data included in moving image data captured by a predetermined imaging device,
    A storing step of storing, in the first storage unit, feature amounts of a plurality of registered image data related to the verification target person;
    A first extraction step of extracting input image data relating to a person from a plurality of frames forming the moving image data;
    A first feature amount calculating step of calculating a feature amount of the input image data cut out by the first cutting step;
    A first value for calculating a collation value between the feature amount of the input image data calculated by the first feature amount calculation step and the feature amounts of the plurality of registered image data stored in the first storage unit. A verification value calculation step;
    A determination step of determining whether or not the verification target person exists in the moving image data based on a maximum value of a plurality of verification values calculated by the first verification value calculation step. A featured image matching processing method.
  8. 登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理プログラムであって、
    前記照合対象者に係る複数の登録画像データの特徴量を第1の記憶部に格納する格納手順と、
    前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第1の切出手順と、
    前記第1の切出手順により切り出された入力画像データの特徴量を算出する第1の特徴量算出手順と、
    前記第1の特徴量算出手順により算出された入力画像データの特徴量と前記第1の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第1の照合値算出手順と、
    前記第1の照合値算出手順により算出された複数の照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手順と
    をコンピュータに実行させることを特徴とする画像照合処理プログラム。
    An image collation processing program for collating a plurality of registered image data related to a registered person to be collated with input image data included in moving image data captured by a predetermined imaging device,
    A storage procedure for storing feature quantities of a plurality of registered image data relating to the person to be collated in a first storage unit;
    A first extraction procedure for extracting input image data relating to a person from a plurality of frames forming the moving image data;
    A first feature amount calculation procedure for calculating a feature amount of the input image data cut out by the first cut-out procedure;
    A first value for calculating a collation value between the feature amount of the input image data calculated by the first feature amount calculation procedure and the feature amounts of the plurality of registered image data stored in the first storage unit. The procedure for calculating the collation value,
    Causing the computer to execute a determination procedure for determining whether or not the verification target person exists in the moving image data based on the maximum value of the plurality of verification values calculated by the first verification value calculation procedure. An image collation processing program characterized by that.
JP2011287613A 2011-12-28 2011-12-28 Image collation processing apparatus, image collation processing method, and image collation processing program Active JP5937823B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011287613A JP5937823B2 (en) 2011-12-28 2011-12-28 Image collation processing apparatus, image collation processing method, and image collation processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011287613A JP5937823B2 (en) 2011-12-28 2011-12-28 Image collation processing apparatus, image collation processing method, and image collation processing program

Publications (2)

Publication Number Publication Date
JP2013137604A true JP2013137604A (en) 2013-07-11
JP5937823B2 JP5937823B2 (en) 2016-06-22

Family

ID=48913289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011287613A Active JP5937823B2 (en) 2011-12-28 2011-12-28 Image collation processing apparatus, image collation processing method, and image collation processing program

Country Status (1)

Country Link
JP (1) JP5937823B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016177739A (en) * 2015-03-23 2016-10-06 グローリー株式会社 Personal authentication device and personal authentication method
WO2019069814A1 (en) * 2017-10-04 2019-04-11 オムロン株式会社 Identification device, matching method, and matching program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005303A (en) * 2002-06-03 2004-01-08 Fuji Xerox Co Ltd Image search system, image searching method, and image search program
JP2004118359A (en) * 2002-09-24 2004-04-15 Toshiba Corp Figure recognizing device, figure recognizing method and passing controller
JP2004151820A (en) * 2002-10-29 2004-05-27 Hitachi Eng Co Ltd Lost child searching and monitoring system
JP2005234765A (en) * 2004-02-18 2005-09-02 Omron Corp Image acquisition device and search device
JP2006178651A (en) * 2004-12-21 2006-07-06 Toshiba Corp Person recognition apparatus and method, and passage control apparatus
JP2008250693A (en) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd Image search device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005303A (en) * 2002-06-03 2004-01-08 Fuji Xerox Co Ltd Image search system, image searching method, and image search program
JP2004118359A (en) * 2002-09-24 2004-04-15 Toshiba Corp Figure recognizing device, figure recognizing method and passing controller
JP2004151820A (en) * 2002-10-29 2004-05-27 Hitachi Eng Co Ltd Lost child searching and monitoring system
JP2005234765A (en) * 2004-02-18 2005-09-02 Omron Corp Image acquisition device and search device
JP2006178651A (en) * 2004-12-21 2006-07-06 Toshiba Corp Person recognition apparatus and method, and passage control apparatus
JP2008250693A (en) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd Image search device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016177739A (en) * 2015-03-23 2016-10-06 グローリー株式会社 Personal authentication device and personal authentication method
WO2019069814A1 (en) * 2017-10-04 2019-04-11 オムロン株式会社 Identification device, matching method, and matching program

Also Published As

Publication number Publication date
JP5937823B2 (en) 2016-06-22

Similar Documents

Publication Publication Date Title
US20180204070A1 (en) Image processing apparatus and image processing method
CN104424634B (en) Object tracking method and device
KR101758684B1 (en) Apparatus and method for tracking object
US9530071B2 (en) Hierarchical interlinked multi-scale convolutional network for image parsing
JP4970557B2 (en) Face search and detection in digital image capture device
US8081844B2 (en) Detecting orientation of digital images using face detection information
US20150271471A1 (en) Blocking detection method for camera and electronic apparatus with cameras
US8619135B2 (en) Detection of abnormal behaviour in video objects
EP2490171B1 (en) Person image search starting from clothing query text.
RU2426172C1 (en) Method and system for isolating foreground object image proceeding from colour and depth data
RU2479037C2 (en) Device and method to process image, trained device and training method, and program
KR100664425B1 (en) Object trace device, object trace method, and computer-readable storage medium having a program for tracking object
JP4772839B2 (en) Image identification method and imaging apparatus
US8588546B2 (en) Apparatus and program for producing a panoramic image
US9141184B2 (en) Person detection system
US7970180B2 (en) Method, apparatus, and program for processing red eyes
JP4961965B2 (en) Subject tracking program, subject tracking device, and camera
US10452893B2 (en) Method, terminal, and storage medium for tracking facial critical area
JP4957922B2 (en) Image direction determination apparatus, image direction determination method, and image direction determination program
TWI438719B (en) Detection information registration device, electronic device, method for controlling detection information registration device, method for controlling electronic device, program for controlling detection information device, and program for controlling el
DE60316690T2 (en) Image comparison system using a three-dimensional object model, image comparison method, and image compare program
EP3101594A1 (en) Saliency information acquisition device and saliency information acquisition method
US8644563B2 (en) Recognition of faces using prior behavior
US9619708B2 (en) Method of detecting a main subject in an image
US20150054824A1 (en) Object detection method, object detection device, and image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160513

R150 Certificate of patent or registration of utility model

Ref document number: 5937823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150