JP2017068375A - Device, method and program for tracking person using plural cameras - Google Patents
Device, method and program for tracking person using plural cameras Download PDFInfo
- Publication number
- JP2017068375A JP2017068375A JP2015190304A JP2015190304A JP2017068375A JP 2017068375 A JP2017068375 A JP 2017068375A JP 2015190304 A JP2015190304 A JP 2015190304A JP 2015190304 A JP2015190304 A JP 2015190304A JP 2017068375 A JP2017068375 A JP 2017068375A
- Authority
- JP
- Japan
- Prior art keywords
- person
- camera
- detected
- real space
- tracking device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数のカメラ間での人物の追跡技術に関する。 The present invention relates to a technique for tracking a person between a plurality of cameras.
監視用途や、店舗内における来客やスタッフの行動を理解するために、カメラで撮影した動画像を用いて、移動する人物の実空間位置を追跡することが提案されている。なお、この様な用途には全方位カメラの様な広い範囲を撮影可能なカメラが使用される。しかしながら、全方位カメラであっても１台で室内の全領域を撮影することができないため、通常は、複数のカメラを設置して人物の実空間位置の追跡を行う。 In order to understand the purpose of surveillance and the behavior of customers and staff in a store, it has been proposed to track the real space position of a moving person using a moving image taken by a camera. For such applications, a camera capable of photographing a wide range such as an omnidirectional camera is used. However, even with an omnidirectional camera, it is not possible to capture the entire area of the room with a single camera. Therefore, usually, a plurality of cameras are installed to track the real space position of a person.
複数のカメラを使用する場合、カメラ間において人物の同一性を判定する必要がある。つまり、あるカメラの撮影範囲内にいた人物が他のカメラの撮影範囲内に移動した場合においても、当該人物が同一人であると判定して追跡を行う必要がある。このため非特許文献１は、２次元画像空間の人物領域と、図３に示す人物の円柱モデルを２次元画像空間に投影した領域に基づき、人物の３次元実空間内の位置を判定し、３次元実空間内で人物を追跡する構成を開示している。 When using a plurality of cameras, it is necessary to determine the identity of a person between the cameras. In other words, even when a person who is in the shooting range of a certain camera moves into the shooting range of another camera, it is necessary to perform tracking by determining that the person is the same person. Therefore, Non-Patent Document 1 determines the position of the person in the three-dimensional real space based on the person area in the two-dimensional image space and the area obtained by projecting the cylindrical model of the person shown in FIG. A configuration for tracking a person in a three-dimensional real space is disclosed.
しかしながら、カメラ間における人物の同一性をより精度良く判定して追跡を行うことが求められている。 However, it is required to perform tracking by determining the identity of a person between cameras with higher accuracy.
本発明は、カメラ間における人物の同一性を精度良く判定して人物の追跡を行う追跡装置、追跡方法及びプログラムを提供するものである。 The present invention provides a tracking apparatus, a tracking method, and a program for tracking a person by accurately determining the identity of the person between cameras.
本発明の一側面によると、複数のカメラのそれぞれが撮影する動画像により人物を追跡する追跡装置は、前記複数のカメラのそれぞれが撮影する動画像内の人物を検出する検出手段と、前記検出手段が検出した人物の実空間位置及び向きを算出する算出手段と、前記複数のカメラの内の第１カメラと第２カメラの撮影範囲の重複領域において、前記第１カメラにより検出された人物と前記第２カメラにより検出された人物の異同を判定する判定手段と、を備えており、前記判定手段は、前記第１カメラにより前記重複領域において検出された第１人物の実空間位置に人型モデルを前記第１人物の向きと同じ向きに向けて設置したときの、前記第２のカメラが撮影する画像空間内における前記人型モデルの輪郭を求め、前記第２のカメラにより前記重複領域において検出された第２人物の前記画像空間内における輪郭と前記人型モデルの輪郭との類似度に基づき、前記第２カメラにより前記重複領域において検出された第２人物の内、前記第１人物と同じ人物を判定することを特徴とする。 According to one aspect of the present invention, the tracking device that tracks a person using a moving image captured by each of a plurality of cameras includes a detecting unit that detects a person in the moving image captured by each of the plurality of cameras, and the detection Calculating means for calculating the real space position and orientation of the person detected by the means, and a person detected by the first camera in an overlapping area of the shooting ranges of the first camera and the second camera of the plurality of cameras; Determining means for determining the difference between the persons detected by the second camera, wherein the determining means has a human shape at a real space position of the first person detected in the overlapping area by the first camera. An outline of the humanoid model in an image space photographed by the second camera when the model is placed in the same direction as the first person is determined by the second camera. Based on the similarity between the contour of the second person detected in the overlapping region in the image space and the contour of the humanoid model, the second person detected in the overlapping region by the second camera, The same person as the first person is determined.
カメラ間における人物の同一性を精度良く判定して人物の追跡を行うことができる。 The person can be tracked by accurately determining the identity of the person between the cameras.
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. In addition, the following embodiment is an illustration and does not limit this invention to the content of embodiment. In the following drawings, components that are not necessary for the description of the embodiments are omitted from the drawings.
＜第一実施形態＞
図１は、本実施形態による追跡装置の構成図である。追跡装置は、複数のカメラ１−１及び１−２が撮影する動画データに基づき人物の追跡を行う。なお、図１においては図の簡略化のため、カメラ１−１及びカメラ１−２の２つのみを表示している。また、以下の説明においてカメラ１−１及びカメラ１−２を区別する必要がない場合には纏めてカメラ１として記述する。他の構成要素についても同様とする。カメラ１は、例えば、広角な範囲の動画を撮影する全方位カメラであり、人物を追跡すべき追跡範囲の総てをカバーする様に複数のカメラ１は設置される。図２は、カメラ１の設置状態の一例を示している。図２に示す様に、カメラ１−１及びカメラ１−２は、垂直下向きをその撮影範囲の中心とする様に天井等に固定される。なお、本実施形態において、隣接して設置される２つのカメラ１の撮影範囲に重複領域を設ける。なお、重複領域内の少なくとも一部の領域においては、両カメラ１により人物の頭から足元までが撮影される様に、重複領域を設定する。なお、設置される総てのカメラ１に対しては、事前にキャリブレーションを行っておき、各カメラ１の内部パラメータおよび外部パラメータは既知であるものとする。
<First embodiment>
FIG. 1 is a configuration diagram of a tracking device according to the present embodiment. The tracking device tracks a person based on moving image data captured by a plurality of cameras 1-1 and 1-2. In FIG. 1, only two cameras 1-1 and 1-2 are displayed for simplification of the drawing. In the following description, when it is not necessary to distinguish between the camera 1-1 and the camera 1-2, they are collectively described as the camera 1. The same applies to other components. The camera 1 is, for example, an omnidirectional camera that captures a wide-angle range of moving images, and a plurality of cameras 1 are installed so as to cover the entire tracking range in which a person should be tracked. FIG. 2 shows an example of the installation state of the camera 1. As shown in FIG. 2, the camera 1-1 and the camera 1-2 are fixed to a ceiling or the like so that the vertical downward direction is the center of the shooting range. In the present embodiment, an overlapping area is provided in the shooting range of two cameras 1 installed adjacent to each other. Note that, in at least a part of the overlapping area, the overlapping area is set so that both the cameras 1 can capture the head to the foot of the person. It is assumed that calibration is performed in advance for all cameras 1 installed, and internal parameters and external parameters of each camera 1 are known.
図１に戻り、追跡装置は、各カメラ１に対応する人物検出部２を有する。人物検出部２は、対応するカメラ１から受け取る動画像データの各フレームの人物領域を検出する。人物領域の検出には、背景差分による前景検出技術と、円柱モデルを使用したモデルマップとを使用することができる。 Returning to FIG. 1, the tracking device includes a person detection unit 2 corresponding to each camera 1. The person detection unit 2 detects a person region of each frame of moving image data received from the corresponding camera 1. For the detection of the person area, a foreground detection technique based on background difference and a model map using a cylindrical model can be used.
具体的には、人物検出部２は、対応するカメラ１の撮影範囲の背景画像を示す画像データを保持している。そして、人物検出部２は、対応するカメラ１からの動画像データが示す各フレームの画像と、背景画像との差分により人物領域を含む前景領域を抽出する。さらに、前景領域から人物領域を抽出するため、図３に示す人物の円柱モデルを使用する。具体的には、対応するカメラ１の撮影範囲内における３次元実空間の各位置に円柱モデルを設置したと仮定した場合に、対応するカメラ１が撮影する２次元画像空間内において円柱モデルがどの様な形状となるかを、対応するカメラ１の内部パラメータ及び外部パラメータに基づき計算する。図４は、円柱モデルを３次元実空間内の各位置に設置した場合における、当該円柱モデルの２次元画像空間内における形状を示している。なお、円柱モデルを設置したと仮定する３次元実空間の位置とその数は、計算量と位置検出の精度に基づき予め決定しておく。 Specifically, the person detection unit 2 holds image data indicating a background image of the shooting range of the corresponding camera 1. Then, the person detection unit 2 extracts a foreground area including the person area based on the difference between the image of each frame indicated by the moving image data from the corresponding camera 1 and the background image. Further, in order to extract a person area from the foreground area, a human cylindrical model shown in FIG. 3 is used. Specifically, when it is assumed that a cylinder model is installed at each position in the three-dimensional real space within the shooting range of the corresponding camera 1, which cylinder model is in the two-dimensional image space shot by the corresponding camera 1 Whether such a shape is obtained is calculated based on the internal parameters and external parameters of the corresponding camera 1. FIG. 4 shows the shape of the cylindrical model in the two-dimensional image space when the cylindrical model is installed at each position in the three-dimensional real space. Note that the position and the number of the three-dimensional real space on which it is assumed that the cylindrical model is installed are determined in advance based on the calculation amount and the accuracy of position detection.
人物検出部２は、背景差分により検出した前景領域と、円柱モデルの２次元画像空間への投影領域それぞれの重複領域を求め、この重複領域の当該前景領域に対する重複率を求める。ここで、最も高い重複率でも、その値が所定値以下である場合、当該前景領域は人物領域ではないと判定する。一方、最も高い重複率が当該所定値より大きい場合、当該前景領域を人物領域と判定する。 The person detection unit 2 obtains an overlapping area of each of the foreground area detected by the background difference and the projection area of the cylindrical model onto the two-dimensional image space, and obtains an overlapping rate of the overlapping area with respect to the foreground area. Here, even if the highest overlap ratio is equal to or less than a predetermined value, it is determined that the foreground area is not a person area. On the other hand, when the highest overlap ratio is larger than the predetermined value, the foreground area is determined as a person area.
図１に戻り、追跡装置は、各人物検出部２に対応する情報算出部３を有する。情報算出部３は、あるフレームにおいて対応する人物検出部２が検出した人物領域に対応する人物の３次元実空間位置とその向きを判定する。具体的には、まず、対応する人物検出部２が検出した人物領域との重複率が最も高かった円柱モデルの３次元実空間の位置を、当該人物の３次元実空間位置と判定する。また、情報算出部３は、人物領域の動きベクトルを算出する。具体的には、人物領域の複数の特徴点を求め、連続する２つのフレームの対応する特徴点の差から、特徴点毎の動きベクトルを算出する。そして、１つの人物領域の各動きベクトルの平均ベクトルを当該人物領域に対応する人物の移動方向かつ向きとする。或いは、時間的に連続する少なくとも２つのフレームの同じ人物に対応する人物領域の位置の差から当該人物領域の動きベクトルを算出しても良い。なお、２つのフレームの人物領域の人物の対応関係は、以下に説明する通常処理部４が判定するため、その情報を使用する。なお、本実施形態において人物の向きとは、人物の胸部に対して垂直な方向とする。 Returning to FIG. 1, the tracking device includes an information calculation unit 3 corresponding to each person detection unit 2. The information calculation unit 3 determines the three-dimensional real space position and the direction of the person corresponding to the person area detected by the corresponding person detection unit 2 in a certain frame. Specifically, first, the position of the three-dimensional real space of the cylindrical model having the highest overlap rate with the person region detected by the corresponding person detection unit 2 is determined as the three-dimensional real space position of the person. In addition, the information calculation unit 3 calculates a motion vector of the person area. Specifically, a plurality of feature points in the person region are obtained, and a motion vector for each feature point is calculated from a difference between corresponding feature points in two consecutive frames. Then, the average vector of the motion vectors of one person area is set as the moving direction and direction of the person corresponding to the person area. Alternatively, the motion vector of the person area may be calculated from the difference in position of the person area corresponding to the same person in at least two frames continuous in time. Note that the correspondence between the persons in the person areas of the two frames is determined by the normal processing unit 4 described below, so that information is used. In the present embodiment, the direction of the person is a direction perpendicular to the person's chest.
情報管理部４は、各情報算出部３から各人物の位置と、その向きとを示す情報を受け取る。情報管理部４の通常処理部４は、まず、各カメラ１が撮影した撮影範囲毎に図５の処理を行う。図５の処理は、カメラ１によりあるフレームにおいて検出された人物と、当該カメラ１により１つ前のフレームにおいて検出された人物との異同を判定する処理である。なお、１つ前のフレームにおいて検出された人物についての情報はデータベース部（ＤＢ）４１に登録されている。まず、通常処理部４２は、Ｓ１０で、情報算出部３があるフレームにおいて検出した人物と、ＤＢ４１に登録されている、当該情報算出部３に対応するカメラ１の撮影範囲内の各人物との３次元実空間における距離を求める。そして、通常処理部４２は、Ｓ１１で、情報算出部３があるフレームにおいて検出した人物それぞれについて、ＤＢ４１に登録されている総ての人物との距離を第１閾値と比較する。ここで、情報算出部３があるフレームにおいて検出したある人物と、ＤＢ４１に登録されている各人物との距離の総てが第１閾値以上であると、通常処理部４２は、情報算出部３が当該フレームにおいて検出した当該ある人物が新規人物であると判定する。この場合、通常処理部４２は、Ｓ１３で、当該人物に新規の識別子（ＩＤ）を付与し、付与したＩＤを、当該人物の位置及び向きと関連付けてＤＢ４１に登録する。なお、この場合、向きについては検出されないため、向きについては"不明"を示す値を登録しておく。一方、情報算出部３があるフレームにおいて検出したある人物と、ＤＢ４１に登録されている各人物との距離に第１閾値未満のものがあると、通常処理部４２は、Ｓ１２で、当該人物が、ＤＢ４１に登録された人物の内、距離の最も近い人物と同一であると判定し、ＤＢ４１に登録されている人物の位置及び向きを当該フレームで検出した値に更新する。 The information management unit 4 receives information indicating the position and orientation of each person from each information calculation unit 3. The normal processing unit 4 of the information management unit 4 first performs the process of FIG. 5 for each shooting range shot by each camera 1. The process of FIG. 5 is a process of determining the difference between a person detected in a certain frame by the camera 1 and a person detected in the previous frame by the camera 1. Information about the person detected in the previous frame is registered in the database unit (DB) 41. First, the normal processing unit 42 compares the person detected in a frame with the information calculation unit 3 in S10 and each person within the shooting range of the camera 1 corresponding to the information calculation unit 3 registered in the DB 41. Find the distance in 3D real space. Then, in S11, the normal processing unit 42 compares the distances of all the persons registered in the DB 41 with the first threshold value for each person detected in a certain frame in S11. Here, if the total distance between a person detected in a frame of the information calculation unit 3 and each person registered in the DB 41 is equal to or greater than the first threshold, the normal processing unit 42 determines that the information calculation unit 3 Determines that the certain person detected in the frame is a new person. In this case, the normal processing unit 42 assigns a new identifier (ID) to the person and registers the assigned ID in the DB 41 in association with the position and orientation of the person in S13. In this case, since the direction is not detected, a value indicating “unknown” is registered for the direction. On the other hand, if there is a distance between a certain person detected in a certain frame and each person registered in the DB 41 that is less than the first threshold, the normal processing unit 42 determines that the person is in S12. Then, it is determined that the person registered in the DB 41 is the same as the closest person, and the position and orientation of the person registered in the DB 41 are updated to the values detected in the frame.
この様に、ＤＢ４１は、カメラ１それぞれに対して、その撮影範囲内にいる人物の位置及び向きと、そのＩＤを管理している。 In this manner, the DB 41 manages the position and orientation of the person within the shooting range and the ID thereof for each camera 1.
その後、重複領域処理部４３は、各カメラ１の撮影範囲の重複領域において検出されている人物についての処理を行う。以下では、カメラ１−１とカメラ１−２の重複領域においてそれぞれのカメラ１が２人の人物を検出している場合について説明する。ここで、カメラ１−１が検出している２人の人物を、それぞれ、人物１Ａ及び１Ｂとし、カメラ１−２が検出している２人の人物を人物２Ｘ及び２Ｙとする。 Thereafter, the overlapping area processing unit 43 performs processing for the person detected in the overlapping area of the shooting range of each camera 1. Below, the case where each camera 1 has detected two persons in the overlap area | region of the camera 1-1 and the camera 1-2 is demonstrated. Here, it is assumed that the two persons detected by the camera 1-1 are persons 1A and 1B, and the two persons detected by the camera 1-2 are persons 2X and 2Y.
まず、人物１Ａの位置と、人物２Ｘ及び２Ｙの距離を第２閾値と比較する。各距離が共に第２閾値以上であると、人物１Ａは、カメラ１−２により撮影されていないとする。これは、カメラ１−１とカメラ１−２の重複領域の端部に人物１Ａがいることにより、カメラ１−２では人物１Ａの一部のみが撮影されており、よって、カメラ１−２が撮影した動画から人物を検出する人物検出部２−２では、人物１Ａが人物として検出されなかった場合に対する処理である。 First, the position of the person 1A and the distance between the persons 2X and 2Y are compared with the second threshold value. It is assumed that the person 1A is not photographed by the camera 1-2 when both distances are equal to or greater than the second threshold. This is because only a part of the person 1A is photographed by the camera 1-2 because the person 1A is at the end of the overlapping area of the camera 1-1 and the camera 1-2. This is a process for the case where the person 1A is not detected as a person in the person detection unit 2-2 that detects a person from the captured video.
一方、人物１Ａの位置と、人物２Ｘ及び人物２Ｙとの距離の１つの距離が第２閾値未満である場合、例えば、人物１Ａと人物２Ｘとの距離が第２閾値未満であるが、人物１Ａと人物２Ｙとの距離が第２閾値以上であると、人物１Ａと人物２Ｘは同一であると判定する。この場合、重複領域処理部４３は、人物１Ａと人物２Ｘの３次元実空間位置の例えば中間位置を人物１Ａ（＝人物２Ｘ）の３次元実空間位置とする。また、付与している識別子を統一する。例えば、カメラ１−１では以前から人物１Ａを撮影しており、カメラ１−２で人物２Ｘが新規に検出された場合、図５のＳ１３の処理で人物２Ｘに付与したＩＤを削除し、代わりに、人物１Ａに付与したＩＤを人物２Ｘに与える様にＤＢ４１を更新する。また、人物１Ａ（＝人物２Ｘ）の向きは、人物１Ａの向きと人物２Ｘの向きの中間の向きとする。なお、人物２Ｘの向きが不明である場合には、人物１Ａの向きをそのまま使用する。なお、カメラ１−２では、重複領域において３人以上の人物が検出されている場合、１つの距離が第２閾値未満であり、他の総ての距離が第２閾値以上であると、第２閾値未満の距離となる人物を人物１Ａと同一であると判定する。 On the other hand, when the distance between the position of the person 1A and the distance between the person 2X and the person 2Y is less than the second threshold, for example, the distance between the person 1A and the person 2X is less than the second threshold. If the distance between the person 1Y and the person 2Y is equal to or greater than the second threshold, the person 1A and the person 2X are determined to be the same. In this case, the overlapping area processing unit 43 sets, for example, an intermediate position between the three-dimensional real space positions of the person 1A and the person 2X as the three-dimensional real space position of the person 1A (= person 2X). Also, the assigned identifiers are unified. For example, if the camera 1-1 has previously photographed the person 1A and the camera 1-2 has newly detected the person 2X, the ID assigned to the person 2X in the process of S13 in FIG. In addition, the DB 41 is updated so that the ID assigned to the person 1A is given to the person 2X. In addition, the direction of the person 1A (= person 2X) is an intermediate direction between the direction of the person 1A and the direction of the person 2X. If the orientation of the person 2X is unknown, the orientation of the person 1A is used as it is. Note that in the camera 1-2, when three or more persons are detected in the overlapping region, one distance is less than the second threshold, and all other distances are greater than or equal to the second threshold. It is determined that a person having a distance less than two thresholds is the same as the person 1A.
一方、人物１Ａと人物２Ｘとの距離と、人物１Ａと人物２Ｙとの距離とのそれぞれが第２閾値未満であると、重複領域処理部４３は、３次元人型モデルにより人物１Ａが、人物２Ｘと人物２Ｙのどちらと同一であるかを判定する。図６は、３次元人型モデルの一例を示している。なお、３次元人型モデルを示すデータは、予め重複領域処理部４３に保持させておく。図６に示す様に、３次元人型モデルは、人物の顔、胴体、手及び足を含む、人型の３次元のモデルデータである。 On the other hand, if each of the distance between the person 1A and the person 2X and the distance between the person 1A and the person 2Y is less than the second threshold, the overlapping area processing unit 43 determines that the person 1A It is determined whether it is the same as 2X or person 2Y. FIG. 6 shows an example of a three-dimensional humanoid model. Note that the data indicating the three-dimensional human model is stored in the overlapping area processing unit 43 in advance. As shown in FIG. 6, the three-dimensional humanoid model is humanoid three-dimensional model data including a human face, torso, hands, and feet.
まず、重複領域処理部４３は、人物１Ａの３次元実空間位置に３次元人型モデルを、その向きを、人物１Ａの向きに合わせて設置したと仮定した場合において、カメラ１−２が取得する２次元画像空間内での３次元人型モデルの輪郭（領域）を、カメラ１−２の外部パラメータ及び内部パラメータより求める。そして、カメラ１−２が取得する２次元画像空間内における人物２Ｘ及び２Ｙの輪郭（領域）との類似度を求める。そして、重複領域処理部４３は、人物２Ｘ及び２Ｙの内の類似度が大きい方を、人物１Ａと同一であると判定する。類似度の判定には、３次元人型モデルの領域と、人物２Ｘ及び２Ｙの領域の重複度を使用することができる。或いは、輪郭をベクトルとして表現しそのベクトルの類似度で算出することができる。さらには、「Ｖｅｌｔｋａｍｐ， Ｒｅｍｃｏ Ｃ．"Ｓｈａｐｅ ｍａｔｃｈｉｎｇ：Ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅｓ ａｎｄ ａｌｇｏｒｉｔｈｍｓ．"ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｈａｐｅ Ｍｏｄｅｌｉｎｇ ａｎd Ａｐｐｌｉｃａｔｉｏｎｓ （ＳＭＩ２００１），ｐｐ．１８８−１９７，２００１年」に記載の方法を使用することもできる。 First, the overlapping area processing unit 43 acquires the three-dimensional humanoid model in the three-dimensional real space position of the person 1A and the camera 1-2 acquires it when it is assumed that the direction of the model is aligned with the direction of the person 1A. The contour (region) of the three-dimensional human model in the two-dimensional image space is obtained from the external parameters and internal parameters of the camera 1-2. And the similarity with the outline (area | region) of the persons 2X and 2Y in the two-dimensional image space which the camera 1-2 acquires is calculated | required. Then, the overlapping area processing unit 43 determines that the person 2X and 2Y having the larger similarity is the same as the person 1A. For the determination of the similarity, the overlapping degree between the area of the three-dimensional human model and the areas of the persons 2X and 2Y can be used. Alternatively, the contour can be expressed as a vector and calculated by the similarity of the vector. Further, “Veltamp, Remco C.” Shape matching: Similarity measurements and algorithms. The method described in “IEEE International Conference on Shape Modeling and Applications (SMI2001), pp. 188-197, 2001” can also be used.
なお、カメラ１−１で検出された人物が新規であり、その方向が判定できない場合には、カメラ１−２で検出された人物の３次元実空間位置に対して３次元人型モデルを設置したと仮定して同様の処理を行うことができる。或いは、当該フレームでの処理をスキップし、次のフレームにおいてカメラ１−１で検出された人物の向きが確定してからカメラ間での人物の対応関係の判定を行っても良い。 If the person detected by the camera 1-1 is new and its direction cannot be determined, a three-dimensional humanoid model is installed for the three-dimensional real space position of the person detected by the camera 1-2. The same processing can be performed assuming that Alternatively, the processing in the frame may be skipped, and the correspondence relationship between the cameras may be determined after the orientation of the person detected by the camera 1-1 is determined in the next frame.
重複領域処理部４３は、人物１Ａと同一であると判定した人物２Ｘ又は２ＹのＩＤを統一する様に、ＤＢ４１を更新する。例えば、人物１Ａと人物２Ｘが同一であると判定すると、カメラ１−１が撮影している人物１Ａと、カメラ１−２が撮影している人物２ＸのＩＤが同一となる様にＤＢ４１を更新する。さらには、人物１Ａ及び人物２Ｘの位置を、カメラ１−１が撮影した画像から判定した３次元実空間位置と、カメラ１−２が撮影した画像から判定した３次元実空間位置の例えば中間位置としてＤＢ４１を更新する。さらには、人物１Ａ及び人物２Ｘの向きを、カメラ１−１が撮影した画像から判定した向きと、カメラ１−２が撮影した画像から判定した向きの例えば中間の向きとしてＤＢ４１を更新する。 The overlapping area processing unit 43 updates the DB 41 so that the ID of the person 2X or 2Y determined to be the same as the person 1A is unified. For example, if it is determined that the person 1A and the person 2X are the same, the DB 41 is updated so that the ID of the person 1A photographed by the camera 1-1 and the person 2X photographed by the camera 1-2 are the same. To do. Furthermore, the positions of the person 1A and the person 2X are, for example, intermediate positions between the three-dimensional real space position determined from the image captured by the camera 1-1 and the three-dimensional real space position determined from the image captured by the camera 1-2. The DB 41 is updated as follows. Furthermore, the DB 41 is updated with the orientations of the person 1A and the person 2X as, for example, an intermediate orientation between the orientation determined from the image captured by the camera 1-1 and the orientation determined from the image captured by the camera 1-2.
なお、重複領域において３人以上の人物が検出されている場合、距離が閾値未満である人物それぞれに対する類似度を判定し、類似度が最も大きい人物が同一であると判定する。以上の処理は、カメラ１−１が撮影した画像内のカメラ１−２との重複領域内において検出された人物に対して順に行う。このとき、重複領域内において検出された人物の内、既に２つのカメラでの同一性が判定された人物については除外する。重複領域処理部４３は、以上の処理を各カメラ１の重複領域毎に行うことで、カメラ間における人物の同一性を判定する。 When three or more persons are detected in the overlapping area, the degree of similarity is determined for each person whose distance is less than the threshold, and it is determined that the person having the largest degree of similarity is the same. The above processing is sequentially performed on the person detected in the overlapping area with the camera 1-2 in the image captured by the camera 1-1. At this time, out of the persons detected in the overlapping area, persons who have already been determined to be identical by the two cameras are excluded. The overlapping area processing unit 43 determines the identity of the person between the cameras by performing the above processing for each overlapping area of each camera 1.
図７及び図８は、３次元人型モデルを同じ位置に立たせた場合であってもその向きにより、カメラ１−２が取得する２次元画像空間内での３次元人型モデルの輪郭が異なる事を示している。本実施形態では、３次元人型モデルを使用し、この３次元人型モデルの２次元画像空間内における輪郭を算出するに当たり、その向きをも考慮する。したがって、重複領域に複数の人物が存在する場合において、カメラ間における人物の対応関係を精度良く判定することができる。 7 and 8, even when the 3D human model is placed at the same position, the outline of the 3D human model in the 2D image space acquired by the camera 1-2 differs depending on the orientation. Shows things. In this embodiment, a three-dimensional humanoid model is used, and the orientation of the three-dimensional humanoid model is also taken into account when calculating the contour in the two-dimensional image space. Therefore, when there are a plurality of persons in the overlapping area, it is possible to accurately determine the correspondence between persons between cameras.
なお、本発明による追跡装置は、コンピュータを上記追跡装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 The tracking device according to the present invention can be realized by a program that causes a computer to operate as the tracking device. These computer programs can be stored in a computer-readable storage medium or distributed via a network.
１：カメラ、２：人物検出部、３：情報算出部、４２：通常処理部、４３：重複領域算出部 1: camera, 2: person detection unit, 3: information calculation unit, 42: normal processing unit, 43: overlapping region calculation unit
Claims (10)
前記複数のカメラのそれぞれが撮影する動画像内の人物を検出する検出手段と、
前記検出手段が検出した人物の実空間位置及び向きを算出する算出手段と、
前記複数のカメラの内の第１カメラと第２カメラの撮影範囲の重複領域において、前記第１カメラにより検出された人物と前記第２カメラにより検出された人物の異同を判定する判定手段と、
を備えており、
前記判定手段は、前記第１カメラにより前記重複領域において検出された第１人物の実空間位置に人型モデルを前記第１人物の向きと同じ向きに向けて設置したときの、前記第２カメラが撮影する画像空間内における前記人型モデルの輪郭を求め、前記第２カメラにより前記重複領域において検出された第２人物の前記画像空間内における輪郭と、前記人型モデルの輪郭との類似度に基づき、前記第２カメラにより前記重複領域において検出された第２人物の内、前記第１人物と同じ人物を判定することを特徴とする追跡装置。 A tracking device that tracks a person based on a moving image captured by each of a plurality of cameras,
Detecting means for detecting a person in a moving image captured by each of the plurality of cameras;
Calculating means for calculating the real space position and orientation of the person detected by the detecting means;
Determining means for determining the difference between the person detected by the first camera and the person detected by the second camera in an overlapping region of the shooting ranges of the first camera and the second camera of the plurality of cameras;
With
The determination unit includes the second camera when the humanoid model is installed in the same direction as the first person at the real space position of the first person detected in the overlap region by the first camera. The contour of the humanoid model in the image space taken by the camera is obtained, and the similarity between the contour in the image space of the second person detected in the overlap region by the second camera and the contour of the humanoid model And a second person detected in the overlapping area by the second camera based on the second person, the same person as the first person being determined.
前記閾値未満の距離が１つの場合、前記閾値未満の距離に対応する第２人物が前記第１人物と同じ人物であると判定し、
前記閾値未満の距離が複数ある場合、前記閾値未満の距離に対応する第２人物それぞれの前記画像空間内における輪郭と前記人型モデルの輪郭との類似度に基づき、前記閾値未満の距離に対応する第２人物の中から前記第１人物と同じ人物を判定することを特徴とする請求項１に記載の追跡装置。 The determination means includes a distance between a real space position of the first person detected in the overlap region by the first camera and a real space position of each second person detected in the overlap region by the second camera. And compare with the threshold,
When the distance less than the threshold is one, it is determined that the second person corresponding to the distance less than the threshold is the same person as the first person,
When there are a plurality of distances less than the threshold, the distance less than the threshold is supported based on the similarity between the contour of the second person corresponding to the distance less than the threshold in the image space and the contour of the humanoid model. The tracking device according to claim 1, wherein a person who is the same as the first person is determined from among the second persons.
前記検出手段は、カメラの撮影範囲内の実空間位置に人物の円柱モデルを設置した場合に当該カメラが撮影する画像の画像空間内での前記円柱モデルの領域を、当該カメラの撮影範囲内の複数の実空間位置それぞれについて求め、当該カメラにより検出された前景領域と求めた各領域との重複率に所定値より大きいものがあると、当該前景領域を人物として検出することを特徴とする請求項１から３のいずれか１項に記載の追跡装置。 The detection means holds a background image of each of the plurality of cameras, detects a foreground region based on a difference between a moving image captured by each of the plurality of cameras and a corresponding background image,
When the cylindrical model of the person is installed at a real space position in the shooting range of the camera, the detection unit is configured to determine the area of the cylindrical model in the image space of the image shot by the camera within the shooting range of the camera. Claiming a plurality of real space positions, and detecting a foreground area as a person when the overlap ratio between the foreground area detected by the camera and each area obtained is greater than a predetermined value. Item 4. The tracking device according to any one of Items 1 to 3.
前記複数のカメラのそれぞれが撮影する動画像内の人物を検出する検出ステップと、
前記検出ステップにおいて検出した人物の実空間位置及び向きを算出する算出ステップと、
前記複数のカメラの内の第１カメラと第２カメラの撮影範囲の重複領域において、前記第１カメラにより検出された人物と前記第２カメラにより検出された人物の異同を判定する判定ステップと、
を含み、
前記判定ステップは、
前記第１カメラにより前記重複領域において検出された第１人物の実空間位置に人型モデルを前記第１人物の向きと同じ向きに向けて設置したときの、前記第２カメラが撮影する画像空間内における前記人型モデルの輪郭を求めるステップと、
前記第２カメラにより前記重複領域において検出された第２人物の前記画像空間内における輪郭と前記人型モデルの輪郭との類似度に基づき、前記第２カメラにより前記重複領域において検出された第２人物の内、前記第１人物と同じ人物を判定するステップと、
を含むことを特徴とする追跡方法。 A tracking method in a tracking device that tracks a person using a moving image captured by each of a plurality of cameras,
A detection step of detecting a person in a moving image captured by each of the plurality of cameras;
A calculation step of calculating the real space position and orientation of the person detected in the detection step;
A determination step of determining a difference between the person detected by the first camera and the person detected by the second camera in an overlapping region of the shooting ranges of the first camera and the second camera of the plurality of cameras;
Including
The determination step includes
An image space taken by the second camera when a humanoid model is placed in the same direction as the first person at the real space position of the first person detected in the overlapping area by the first camera. Obtaining a contour of the humanoid model in
Based on the similarity between the contour in the image space of the second person detected in the overlap region by the second camera and the contour of the humanoid model, the second detected in the overlap region by the second camera. Determining the same person as the first person among the persons;
The tracking method characterized by including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015190304A JP6546057B2 (en) | 2015-09-28 | 2015-09-28 | Apparatus for tracking a person between multiple cameras, tracking method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015190304A JP6546057B2 (en) | 2015-09-28 | 2015-09-28 | Apparatus for tracking a person between multiple cameras, tracking method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017068375A true JP2017068375A (en) | 2017-04-06 |
| JP6546057B2 JP6546057B2 (en) | 2019-07-17 |
Family
ID=58492573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015190304A Active JP6546057B2 (en) | 2015-09-28 | 2015-09-28 | Apparatus for tracking a person between multiple cameras, tracking method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6546057B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021168289A1 (en) * | 2020-02-21 | 2021-08-26 | Nec Laboratories America, Inc. | Tracking within and across facilities |
| WO2022199422A1 (en) * | 2021-03-23 | 2022-09-29 | 北京灵汐科技有限公司 | Moving target tracking system and method, and electronic device and readable storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249889A (en) * | 2006-03-20 | 2007-09-27 | Yazaki Corp | Gas alarm |
| JP2015002547A (en) * | 2013-06-18 | 2015-01-05 | 富士通株式会社 | Image processing apparatus, program, and image processing method |
| JP2015114917A (en) * | 2013-12-12 | 2015-06-22 | セコム株式会社 | Person detection device |
| JP2015184810A (en) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | Image processing apparatus, image processing method, and image processing program |
-
2015
- 2015-09-28 JP JP2015190304A patent/JP6546057B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007249889A (en) * | 2006-03-20 | 2007-09-27 | Yazaki Corp | Gas alarm |
| JP2015002547A (en) * | 2013-06-18 | 2015-01-05 | 富士通株式会社 | Image processing apparatus, program, and image processing method |
| JP2015114917A (en) * | 2013-12-12 | 2015-06-22 | セコム株式会社 | Person detection device |
| JP2015184810A (en) * | 2014-03-20 | 2015-10-22 | 株式会社東芝 | Image processing apparatus, image processing method, and image processing program |
Non-Patent Citations (1)
| Title |
|---|
| 加藤 博一: "楕円体モデルを用いたリアルタイム人物追跡", 情報処理学会論文誌, vol. 第４０巻 第１１号, JPN6019016557, 15 November 1999 (1999-11-15), JP, pages 4087 - 4096, ISSN: 0004030658 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021168289A1 (en) * | 2020-02-21 | 2021-08-26 | Nec Laboratories America, Inc. | Tracking within and across facilities |
| US11468576B2 (en) | 2020-02-21 | 2022-10-11 | Nec Corporation | Tracking within and across facilities |
| WO2022199422A1 (en) * | 2021-03-23 | 2022-09-29 | 北京灵汐科技有限公司 | Moving target tracking system and method, and electronic device and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6546057B2 (en) | 2019-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
| US8179440B2 (en) | Method and system for object surveillance and real time activity recognition | |
| JP2021530821A (en) | Methods, equipment and computer programs for performing 3D wireless model construction | |
| JP5554726B2 (en) | Method and apparatus for data association | |
| AU2016284943A1 (en) | Methods circuits devices systems and associated computer executable code for Multi factor image feature registration and tracking | |
| JP2019079487A (en) | Parameter optimization device, parameter optimization method and program | |
| US11501462B2 (en) | Multi-view three-dimensional positioning | |
| US11645777B2 (en) | Multi-view positioning using reflections | |
| JP2017059945A (en) | Device and method for image analysis | |
| WO2022127181A1 (en) | Passenger flow monitoring method and apparatus, and electronic device and storage medium | |
| JP6546057B2 (en) | Apparatus for tracking a person between multiple cameras, tracking method and program | |
| Sun et al. | See-your-room: Indoor localization with camera vision | |
| Mohedano et al. | Robust 3d people tracking and positioning system in a semi-overlapped multi-camera environment | |
| Pham et al. | Fusion of wifi and visual signals for person tracking | |
| JP2019121019A (en) | Information processing device, three-dimensional position estimation method, computer program, and storage medium | |
| JP6504711B2 (en) | Image processing device | |
| JP6548306B2 (en) | Image analysis apparatus, program and method for tracking a person appearing in a captured image of a camera | |
| JP7396364B2 (en) | Image processing device, image processing method, and image processing program | |
| JP7420146B2 (en) | Camera calibration device, camera calibration method, and camera calibration program | |
| Naitsat et al. | Face anti-spoofing based on projective invariants | |
| Zhang et al. | Pedestrian Tracking based on 3D Head Point Detection. | |
| Ma et al. | Location and Fusion Algorithm of High-Rise Building Rescue Drill Scene Based on Binocular Vision | |
| JP2022177391A (en) | Multiple objects tracking device, method and program | |
| Silla et al. | Person reidentification using omnidirectional cameras | |
| Gomez et al. | Calibration and Comparison of Visual Tracking on the Ground for Multi Camera Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6546057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |