JP2016143335A - Group mapping device, group mapping method, and group mapping computer program - Google Patents

Group mapping device, group mapping method, and group mapping computer program Download PDF

Info

Publication number
JP2016143335A
JP2016143335A JP2015020521A JP2015020521A JP2016143335A JP 2016143335 A JP2016143335 A JP 2016143335A JP 2015020521 A JP2015020521 A JP 2015020521A JP 2015020521 A JP2015020521 A JP 2015020521A JP 2016143335 A JP2016143335 A JP 2016143335A
Authority
JP
Japan
Prior art keywords
group
image
person
groups
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015020521A
Other languages
Japanese (ja)
Inventor
松田　裕司
Yuji Matsuda
裕司 松田
健太郎 辻
Kentaro Tsuji
健太郎 辻
明洋 皆川
Akihiro Minagawa
明洋 皆川
上原　祐介
Yusuke Uehara
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015020521A priority Critical patent/JP2016143335A/en
Publication of JP2016143335A publication Critical patent/JP2016143335A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a group mapping device capable of improving group mapping accuracy.SOLUTION: A group mapping device includes a person detection part 11 for detecting persons respectively included in a first image generated by a first camera 2-1 and a second image generated by a second camera 2-2, a grouping part 13 for classifying at least one person detected from the image into at least one group for each of the first image and the second image, an inter-group similarity calculation part 15 for calculating, for each set of one group selected from the groups of the first image and one group selected from the groups of the second image, similarity between two groups included in the set, and a group mapping part 16 for determining whether the two groups included in the set are identical groups according to the calculated similarity between the groups.SELECTED DRAWING: Figure 3

Description

本発明は、例えば、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループとを対応付けるグループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラムに関する。   The present invention relates to, for example, a group association apparatus, a group association method, and a group association for associating a group of persons captured in an image generated by a camera with a group of persons captured in an image generated by another camera It relates to a computer program.

従来、ショッピングモールや商店街などの店舗の内外に、互いに撮影範囲が異なる複数の監視カメラが設置されている。そこで、それら複数の監視カメラのそれぞれで生成された画像を解析することで、人の流れを把握することが検討されている。   Conventionally, a plurality of surveillance cameras having different shooting ranges are installed inside and outside a store such as a shopping mall or a shopping street. Therefore, it has been studied to grasp the flow of people by analyzing images generated by each of the plurality of surveillance cameras.

例えば、追跡対象者に特徴が少ない場合でも、追跡対象者に同伴する同伴者の中から特異的な特徴量を有する特徴人物を選出して、追跡対象者と特徴人物との相対位置に応じて、追跡対象者を追跡する人物追跡装置が提案されている（例えば、特許文献１を参照）。   For example, even if there are few features in the tracking target person, select a characteristic person with a specific feature amount from the accompanying persons accompanying the tracking target person, and depending on the relative position of the tracking target person and the characteristic person A person tracking device for tracking a tracking target person has been proposed (see, for example, Patent Document 1).

国際公開第２０１２／１３１８１６号International Publication No. 2012/131816

特許文献１に開示された技術では、同行するグループ内に特異的な特徴量を有する人物が存在すれば、そのグループの追跡が可能となる。しかしながら、同行するグループ内に特異的な特徴量を有する人物が存在しないこともある。このような場合、特許文献１に開示された技術では、そのようなグループの追跡が困難となる。   With the technique disclosed in Patent Document 1, if a person having a specific feature amount exists in the accompanying group, the group can be tracked. However, there may be no person having a specific feature amount in the accompanying group. In such a case, the technique disclosed in Patent Document 1 makes it difficult to track such a group.

そこで、本明細書は、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループ間で同一のグループを対応付ける精度を向上できるグループ対応付け装置を提供することを目的とする。   Accordingly, the present specification describes a group association apparatus capable of improving the accuracy of associating the same group between a group of persons shown in an image generated by a camera and a group of persons shown in an image generated by another camera. The purpose is to provide.

一つの実施形態によれば、第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれからその画像に写っている人物を検出する人物検出部と、第１の画像及び第２の画像のそれぞれについて、その画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、第１の画像のグループから選択された一つのグループと、第２の画像のグループから選択された一つのグループの組のそれぞれごとに、その組に含まれる二つのグループ間の類似度を算出するグループ間類似度算出部と、その組のそれぞれごとに、算出されたグループ間の類似度に応じて、その組に含まれる二つのグループが同一グループであるか否か判定するグループ対応付け部、を有するグループ対応付け装置を有する。   According to one embodiment, a person detection unit that detects a person in the image from each of the first image generated by the first camera and the second image generated by the second camera; Each of the first image and the second image is selected from a grouping unit for classifying at least one person detected from the image into one of at least one group, and a group of the first image. An inter-group similarity calculation unit that calculates the similarity between two groups included in the set for each of the one group and one set of groups selected from the group of the second image; A group having, for each group, a group association unit that determines whether two groups included in the pair are the same group according to the calculated similarity between the groups. Have a response with the device.

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。   The objects and advantages of the invention will be realized and attained by means of the elements and combinations particularly pointed out in the appended claims.

上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。   It should be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention as claimed.

本明細書に開示されたグループ対応付け装置は、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループ間で同一のグループを対応付ける精度を向上できる。   The group association apparatus disclosed in this specification has an accuracy for associating the same group between a group of persons shown in an image generated by a camera and a group of people shown in an image generated by another camera. Can be improved.

一つの実施形態による、グループ対応付け装置のハードウェア構成図である。It is a hardware block diagram of the group matching apparatus according to one embodiment. 設置された第１のカメラ及び第２のカメラの撮影範囲の一例を示す図である。It is a figure which shows an example of the imaging range of the installed 1st camera and 2nd camera. 処理部の機能ブロック図である。It is a functional block diagram of a processing part. 人物テーブルの一例を示す図である。It is a figure which shows an example of a person table. グループ化処理の動作フローチャートである。It is an operation | movement flowchart of a grouping process. グループ化処理の動作フローチャートである。It is an operation | movement flowchart of a grouping process. 人物グループ対応テーブルの一例を示す図である。It is a figure which shows an example of a person group correspondence table. （ａ）は、第１の画像上で検出された人物のグループ分けの結果の一例を示す図であり、（ｂ）は、第２の画像上で検出された人物のグループ分けの結果の一例を示す図である。(A) is a figure which shows an example of the result of grouping of the persons detected on the 1st image, (b) is an example of the result of grouping of the persons detected on the 2nd image FIG. （ａ）及び（ｂ）は、それぞれ、人物の組の集合の一例を示す図である。(A) And (b) is a figure which shows an example of the set of a group of a person, respectively. グループ対応付け処理の動作フローチャートである。It is an operation | movement flowchart of a group matching process.

以下、図を参照しつつ、一つの実施形態による、グループ対応付け装置について説明する。このグループ対応付け装置は、互いの撮影範囲の少なくとも一部が重ならないように設置された二つのカメラで生成された画像ごとに、その画像に写っている人物を検出してグループ化する。そしてこのグループ対応付け装置は、一方のカメラにより生成された画像上のグループと、他方のカメラにより生成された画像上のグループ間の類似度を算出し、その類似度に応じて、それら二つのグループが同一か否か判定する。その際、このグループ対応付け装置は、それら二つのグループのうちの一方に属する人物と他方のグループに属する人物とを、組み合わせを変えながら一人ずつ組み合わせることで、複数の人物の組の集合を求める。そしてこのグループ対応付け装置は、人物の組の集合ごとに、その集合に含まれる各人物の組について、人物間の類似度を求めてその類似度の総和を算出し、類似度の総和の最大値をグループ間の類似度とする。   Hereinafter, a group association apparatus according to an embodiment will be described with reference to the drawings. The group association device detects and groups persons in the images for each image generated by two cameras installed so that at least a part of the shooting range of each other does not overlap. And this group matching apparatus calculates the similarity between the group on the image generated by one camera and the group on the image generated by the other camera, and depending on the similarity, the two Determine whether the groups are the same. At this time, the group association apparatus obtains a set of a plurality of sets by combining a person belonging to one of the two groups and a person belonging to the other group one by one while changing the combination. . Then, for each set of persons, this group association device calculates the sum of similarities for each person set included in the set, calculates the sum of the similarities, and calculates the maximum sum of similarities. The value is the similarity between groups.

図１は、一つの実施形態によるグループ対応付け装置のハードウェア構成図である。図１に示されるように、グループ対応付け装置１は、操作部３と、記憶部４と、処理部５と、出力部６と、通信インターフェース部７とを有し、通信ネットワークを介して第１のカメラ２−１及び第２のカメラ２−２と接続されている。また処理部５は、操作部３、記憶部４、出力部６及び通信インターフェース部７と、例えば、バスを介して接続される。なお、グループ対応付け装置１と接続されるカメラの数は、二つに限定されず、三つ以上あってもよい。   FIG. 1 is a hardware configuration diagram of a group association apparatus according to an embodiment. As shown in FIG. 1, the group association device 1 includes an operation unit 3, a storage unit 4, a processing unit 5, an output unit 6, and a communication interface unit 7, which are connected via a communication network. The first camera 2-1 and the second camera 2-2 are connected. The processing unit 5 is connected to the operation unit 3, the storage unit 4, the output unit 6, and the communication interface unit 7 through, for example, a bus. Note that the number of cameras connected to the group association apparatus 1 is not limited to two, and may be three or more.

第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、所定の撮影範囲を撮影し、その撮影範囲が写った画像を生成する。そのため、第１のカメラ２−１及び第２のカメラ２−２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影範囲の像を結像する結像光学系を有する。第１のカメラ２−１及び第２のカメラ２−２は、一定の撮影周期（例えば1/30秒）ごとに画像を生成する。そして第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、画像を生成する度に、その画像を、通信ネットワークを介して、グループ対応付け装置１へ出力する。なお、第１のカメラ２−１及び第２のカメラ２−２により生成される画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。以下では、説明の便宜上、第１のカメラ２−１で生成された画像を第１の画像とし、第２のカメラ２−２で生成された画像を第２の画像とする。   The first camera 2-1 and the second camera 2-2 each shoot a predetermined shooting range, and generate an image showing the shooting range. Therefore, the first camera 2-1 and the second camera 2-2 include a two-dimensional detector composed of an array of photoelectric conversion elements having sensitivity to visible light, such as CCD or C-MOS, and the two-dimensional detector. An imaging optical system that forms an image of the imaging range on the detector is provided. The first camera 2-1 and the second camera 2-2 generate images at a constant shooting period (for example, 1/30 second). Each time the first camera 2-1 and the second camera 2-2 generate an image, the image is output to the group association apparatus 1 via the communication network. The images generated by the first camera 2-1 and the second camera 2-2 may be color images or gray images. Hereinafter, for convenience of explanation, an image generated by the first camera 2-1 is referred to as a first image, and an image generated by the second camera 2-2 is referred to as a second image.

本実施形態において、第１のカメラ２−１及び第２のカメラ２−２は、互いの撮影範囲の少なくとも一部が重ならないように設置される。
図２は、第１のカメラ２−１及び第２のカメラ２−２の撮影範囲の一例を示す図である。この例では、第１のカメラ２−１及び第２のカメラ２−２は、互いの撮影範囲２００、２０１が重ならないように、ショッピングモールなどの建物の異なるフロアに設置されている。このように二つのカメラが設置されていると、同一の人物を含むグループがカメラ２−１が設置されたフロア及びカメラ２−２が設置されたフロアを通行する際に、そのグループは、第１のカメラ２−１及び第２のカメラ２−２によりそれぞれ撮影される。したがって、第１のカメラ２−１で生成された画像に写った人物のグループと、第２のカメラ２−２で生成された画像に写った人物のグループとが同一のグループであることが判定できれば、その人物のグループの移動経路を特定することが可能となる。 In the present embodiment, the first camera 2-1 and the second camera 2-2 are installed so that at least a part of their shooting ranges do not overlap.
FIG. 2 is a diagram illustrating an example of shooting ranges of the first camera 2-1 and the second camera 2-2. In this example, the first camera 2-1 and the second camera 2-2 are installed on different floors of a building such as a shopping mall so that the shooting ranges 200 and 201 do not overlap each other. When two cameras are installed in this way, when a group including the same person passes through the floor where the camera 2-1 is installed and the floor where the camera 2-2 is installed, the group Photographed by the first camera 2-1 and the second camera 2-2. Therefore, it is determined that the group of persons shown in the image generated by the first camera 2-1 and the group of persons shown in the image generated by the second camera 2-2 are the same group. If possible, it becomes possible to specify the movement path of the group of the person.

操作部３は、例えば、キーボードとマウスなどの入力装置を有する。そして操作部３は、例えば、ユーザの操作に応じて、グループ対応付け処理を開始させる操作信号を処理部５へ出力する。   The operation unit 3 includes input devices such as a keyboard and a mouse, for example. For example, the operation unit 3 outputs an operation signal for starting the group association processing to the processing unit 5 in accordance with a user operation.

記憶部４は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部４は、例えば、処理部５上で実行されるグループ対応付け処理を実行するためのコンピュータプログラム、及びそのグループ対応付け処理で利用されるデータ及びグループ対応付け処理の途中で生成される各種のデータを一時的に記憶する。さらに、記憶部４は、カメラ２−１から取得した第１の画像及びカメラ２−２から取得した第２の画像を一定期間記憶する。   The storage unit 4 includes, for example, a readable / writable semiconductor memory and a read-only semiconductor memory. And the memory | storage part 4 is produced | generated in the middle of the computer program for performing the group matching process performed on the process part 5, for example, and the data utilized by the group matching process, and a group matching process Temporarily store various data. Further, the storage unit 4 stores the first image acquired from the camera 2-1 and the second image acquired from the camera 2-2 for a certain period.

処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部５は、グループ対応付け装置１全体を制御する。また、処理部５は、通信インターフェース部７を介して第１のカメラ２−１から第１の画像を受け取る度に、その第１の画像に第１のカメラ２−１を識別するためのカメラＩＤ及び画像生成日時を対応付けて記憶部４に保存する。同様に、処理部５は、通信インターフェース部７を介して第２のカメラ２−２から第２の画像を受け取る度に、その第２の画像に第２のカメラ２−２を識別するためのカメラＩＤ及び画像生成日時を対応付けて記憶部４に保存する。そして処理部５は、順次取得された第１の画像及び第２の画像に基づいてグループ対応付け処理を実行する。なお、グループ対応付け処理の詳細については後述する。   The processing unit 5 includes one or a plurality of processors and their peripheral circuits. And the process part 5 controls the group matching apparatus 1 whole. Further, each time the processing unit 5 receives a first image from the first camera 2-1 via the communication interface unit 7, the camera for identifying the first camera 2-1 in the first image The ID and the image generation date are stored in the storage unit 4 in association with each other. Similarly, each time the processing unit 5 receives a second image from the second camera 2-2 via the communication interface unit 7, the processing unit 5 identifies the second camera 2-2 in the second image. The camera ID and the image generation date / time are stored in the storage unit 4 in association with each other. And the process part 5 performs a group matching process based on the 1st image and 2nd image which were acquired sequentially. Details of the group association process will be described later.

出力部６は、処理部５から受け取った対応付け結果を表示装置（図示せず）へ出力する。そのために、出力部６は、例えば、表示装置をグループ対応付け装置１と接続するためのビデオインターフェース回路を有する。なお、操作部３及び出力部６は、タッチパネルディスプレイといった、入力装置と出力装置とが一体化された装置を有してもよい。   The output unit 6 outputs the association result received from the processing unit 5 to a display device (not shown). For this purpose, the output unit 6 includes, for example, a video interface circuit for connecting the display device to the group association device 1. The operation unit 3 and the output unit 6 may include a device such as a touch panel display in which the input device and the output device are integrated.

通信インターフェース部７は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース部７は、通信ネットワークを介して第１のカメラ２−１及び第２のカメラ２−２からそれぞれ画像を受け取り、その受け取った画像を処理部５にわたす。また通信インターフェース部７は、処理部５から受け取ったグループ間対応付け結果を、通信ネットワークを介して他の機器（図示せず）へ出力してもよい。   The communication interface unit 7 includes a communication interface for connecting to a communication network according to a communication standard such as Ethernet (registered trademark) and a control circuit for the communication interface. The communication interface unit 7 receives images from the first camera 2-1 and the second camera 2-2 via the communication network, and passes the received images to the processing unit 5. The communication interface unit 7 may output the inter-group association result received from the processing unit 5 to another device (not shown) via the communication network.

以下、処理部５により実行されるグループ対応付け処理の詳細について説明する。   Details of the group association process executed by the processing unit 5 will be described below.

図３は、グループ対応付け処理に関する処理部５の機能ブロック図である。図３に示されるように、処理部５は、人物検出部１１と、追跡部１２と、グループ化部１３と、特徴量算出部１４と、グループ間類似度算出部１５と、グループ対応付け部１６とを有する。   FIG. 3 is a functional block diagram of the processing unit 5 related to the group association processing. As illustrated in FIG. 3, the processing unit 5 includes a person detection unit 11, a tracking unit 12, a grouping unit 13, a feature amount calculation unit 14, an inter-group similarity calculation unit 15, and a group association unit. 16.

処理部５が有するこれらの各部は、例えば、処理部が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、処理部５が有するこれらの各部は、ファームウェアとしてグループ対応付け装置１に実装されてもよい。   Each of these units included in the processing unit 5 is, for example, a functional module realized by a computer program executed on a processor included in the processing unit. Alternatively, these units included in the processing unit 5 may be implemented in the group association apparatus 1 as firmware.

人物検出部１１は、処理部５が第１のカメラ２−１から第１の画像を取得する度に、その第１の画像に写っている人物を検出する。同様に、人物検出部１１は、処理部５が第２のカメラ２−２から第２の画像を取得する度に、その第２の画像に写っている人物を検出する。なお、人物検出部１１は、第１の画像及び第２の画像に対して同一の処理を実行するので、以下では、第１の画像に対する処理を例として説明する。   Each time the processing unit 5 acquires a first image from the first camera 2-1, the person detection unit 11 detects a person shown in the first image. Similarly, each time the processing unit 5 acquires a second image from the second camera 2-2, the person detection unit 11 detects a person shown in the second image. In addition, since the person detection part 11 performs the same process with respect to a 1st image and a 2nd image, below, the process with respect to a 1st image is demonstrated as an example.

人物検出部１１は、例えば、国際公開第２０１２／１３１８１６号に開示されているように、第１の画像と背景画像間の差分から移動物体が写っている領域を抽出し、抽出された領域が人物に該当するか否かの判定処理を行うことで人物を検出する。あるいは、人物検出部１１は、人物検出用に学習されたAdaBoost、サポートベクトルマシン、またはパーセプトロンといった識別器を用いて、第１の画像から人物を検出してもよい。
人物検出部１１は、第１の画像のそれぞれに対して、検出された人物の情報を表す人物テーブルを生成し、その人物テーブルを記憶部４に記憶する。 For example, as disclosed in International Publication No. 2012/131816, the person detection unit 11 extracts a region where a moving object is shown from the difference between the first image and the background image, and the extracted region is A person is detected by performing a process of determining whether or not it corresponds to a person. Alternatively, the person detection unit 11 may detect a person from the first image using a classifier such as AdaBoost, a support vector machine, or a perceptron learned for person detection.
The person detection unit 11 generates a person table representing information of the detected person for each of the first images, and stores the person table in the storage unit 4.

図４は、人物テーブル４００の一例を示す図である。人物テーブル４００には、人物検出対象となった画像を生成したカメラのＩＤ（第１の画像の場合、カメラ２−１のＩＤ）、及びその画像が生成された日時が含まれる。さらに、人物テーブル４００には、検出された人物ごとに、その人物を識別するための人物ＩＤ、その人物が写った領域の左上座標（ｘ，ｙ）、その人物が写った領域の外接矩形サイズ（ｗ，ｈ）が含まれる。なお、ｗは、人物が写った領域の外接矩形の幅であり、ｈは、その外接矩形の高さである。   FIG. 4 is a diagram illustrating an example of the person table 400. The person table 400 includes the ID of the camera that generated the image that is the person detection target (in the case of the first image, the ID of the camera 2-1), and the date and time when the image was generated. Further, in the person table 400, for each detected person, a person ID for identifying the person, the upper left coordinates (x, y) of the area where the person is shown, and the circumscribed rectangle size of the area where the person is shown (W, h) is included. Note that w is the width of the circumscribed rectangle of the area in which the person is shown, and h is the height of the circumscribed rectangle.

追跡部１２は、検出された人物をグループに分類するために利用する情報を得るために、第１のカメラ２−１及び第２のカメラ２−２のそれぞれごとに、画像から検出された人物を追跡する。なお、追跡部１２は、第１のカメラ２−１から得られた第１の画像から検出された人物及び第２のカメラ２−２から得られた第２の画像から検出された人物に対して同一の処理を実行する。そこで以下では、第１の画像から検出された人物に対する処理を例として、追跡部１２の処理を説明する。   The tracking unit 12 detects the person detected from the image for each of the first camera 2-1 and the second camera 2-2 in order to obtain information used to classify the detected persons into groups. To track. Note that the tracking unit 12 applies to a person detected from the first image obtained from the first camera 2-1 and a person detected from the second image obtained from the second camera 2-2. Execute the same process. Therefore, in the following, the processing of the tracking unit 12 will be described by taking processing for a person detected from the first image as an example.

追跡部１２は、処理部５が最新の第１の画像を受け取る度に、直近の二つの第１の画像についての人物テーブルを参照して、追跡中の人物のそれぞれごとに、その直近の二つの第１の画像上でのその人物の位置の差分から移動ベクトルを算出する。追跡部１２は、着目する追跡中の人物の直前の第１の画像上でのその人物の位置から移動ベクトルだけ移動した位置を、最新の第１の画像上でのその人物の予想移動位置とする。そして追跡部１２は、最新の第１の画像上で、予想移動位置から所定範囲内（例えば、実世界の１〜２ｍに相当する画素数）に、検出された人物が存在するか否か判定する。その所定範囲内に検出された人物が存在する場合、追跡部１２は、その検出された人物を着目する追跡中の人物と同一人物であると判定する。そして追跡部１２は、着目する追跡中の人物の人物ＩＤを、その検出された人物に割り当て、最新の第１の画像についての人物テーブルに、その人物ＩＤを登録する。これにより、時系列に取得された複数の第１の画像のそれぞれに対応する人物テーブルに登録された、同一の人物ＩＤが割り当てられた人物の画像上の位置が、その人物の位置の時系列の遷移を表す追跡情報となる。なお、着目する追跡中の人物が直前の一つの第１の画像でしか検出されていない場合、追跡部１２は、その人物について、直前の画像の位置を最新の画像上の予想移動位置とし、その予想移動位置から人物を検出する所定範囲をより広くしてもよい。   Each time the processing unit 5 receives the latest first image, the tracking unit 12 refers to the person table for the two most recent first images, and for each person being tracked, the tracking unit 12 A movement vector is calculated from the difference between the positions of the persons on the first images. The tracking unit 12 uses the position moved by the movement vector from the position of the person on the first image immediately before the person being tracked as the predicted movement position of the person on the latest first image. To do. Then, the tracking unit 12 determines whether or not the detected person exists within a predetermined range (for example, the number of pixels corresponding to 1 to 2 m in the real world) on the latest first image. To do. When there is a detected person within the predetermined range, the tracking unit 12 determines that the detected person is the same person as the person being tracked focusing on the detected person. Then, the tracking unit 12 assigns the person ID of the person being tracked of interest to the detected person, and registers the person ID in the person table for the latest first image. Thereby, the position on the image of the person assigned with the same person ID registered in the person table corresponding to each of the plurality of first images acquired in time series is the time series of the position of the person. Tracking information representing the transition of When the tracking person of interest is detected only in the immediately preceding first image, the tracking unit 12 sets the position of the immediately preceding image as the expected movement position on the latest image for the person, The predetermined range for detecting a person from the expected movement position may be wider.

一方、最新の第１の画像上で、予想移動位置から所定範囲内に検出された人物が存在しない場合、追跡部１２は、着目する追跡中の人物の追跡を中止する。なお、他の物体あるいは他の人物に隠れていて、一時的に最新の画像上の予想移動位置から所定範囲内に検出された人物が存在しない場合もある。そこで、例えば、追跡部１２は、最新の第１の画像上の予想移動位置から所定範囲内に検出された人物が存在しないことが所定期間（例えば、10秒〜30秒間）連続した場合に、着目する追跡中の人物の追跡を中止してもよい。これにより、追跡部１２は、人物が一時的に隠れてしまった場合も、その人物に対する追跡を続行できる。   On the other hand, if there is no person detected within the predetermined range from the expected movement position on the latest first image, the tracking unit 12 stops tracking the person being tracked of interest. There may be a case where there is no person who is hidden behind another object or another person and temporarily detected within a predetermined range from the expected movement position on the latest image. Therefore, for example, when the tracking unit 12 continues for a predetermined period (for example, 10 seconds to 30 seconds) that there is no person detected within a predetermined range from the predicted movement position on the latest first image, The tracking of the person being tracked of interest may be stopped. As a result, the tracking unit 12 can continue tracking the person even if the person is temporarily hidden.

また、追跡部１２は、最新の第１の画像上で検出された人物のうち、追跡中の何れの人物とも対応付けられていない人物が存在する場合、その人物を新たな追跡対象人物とし、追跡中の何れの人物の人物ＩＤとも異なる新たな人物ＩＤを割り当てる。そして追跡部１２は、その新たな追跡対象人物の人物ＩＤを人物テーブルに登録する。   Further, when there is a person that is not associated with any person being tracked among the persons detected on the latest first image, the tracking unit 12 sets the person as a new person to be tracked, A new person ID different from the person ID of any person being tracked is assigned. Then, the tracking unit 12 registers the person ID of the new tracking target person in the person table.

なお、追跡部１２は、時系列に取得される複数の画像間で移動物体を追跡する他の様々なトラッキング手法の何れかを利用して、人物を追跡してもよい。例えば、追跡部１２は、山下隆義など, “追跡対象と周辺領域の関係性を利用した協調的な物体追跡”, 画像の認識・理解シンポジウム(MIRU2011), pp.56−63, 2011年、特開２００２−１５７５９９号公報に開示されているトラッキング手法に従って、人物を追跡してもよい。   Note that the tracking unit 12 may track a person using any of various other tracking methods for tracking a moving object between a plurality of images acquired in time series. For example, the tracking unit 12 is described in Takayoshi Yamashita, “Collaborative object tracking using the relationship between the tracking target and the surrounding area”, Symposium on Image Recognition and Understanding (MIRU2011), pp.56-63, 2011. A person may be tracked in accordance with the tracking method disclosed in Kaikai 2002-157599.

グループ化部１３は、第１のカメラ２−１及び第２のカメラ２−２のそれぞれごとに、画像から検出された人物をグループ化する。本実施形態では、グループ化部１３は、第１のカメラ２−１から処理部５が第１の画像を受け取る度に、その第１の画像から検出された人物に対してグループ化処理を実行する。同様に、グループ化部１３は、第２のカメラ２−２から処理部５が第２の画像を受け取る度に、その第２の画像から検出された人物に対してグループ化処理を実行する。なお、グループ化部１３は、第１のカメラ２−１から得られた第１の画像から検出された人物及び第２のカメラ２−２から得られた第２の画像から検出された人物に対して同一の処理を実行する。そこで以下では、第１の画像から検出された人物に対する処理を例として、グループ化部１３の処理を説明する。   The grouping unit 13 groups the persons detected from the images for each of the first camera 2-1 and the second camera 2-2. In this embodiment, every time the processing unit 5 receives a first image from the first camera 2-1, the grouping unit 13 performs a grouping process on a person detected from the first image. To do. Similarly, every time the processing unit 5 receives a second image from the second camera 2-2, the grouping unit 13 performs a grouping process on the persons detected from the second image. The grouping unit 13 applies a person detected from the first image obtained from the first camera 2-1 and a person detected from the second image obtained from the second camera 2-2. The same processing is executed on the same. Therefore, in the following, the processing of the grouping unit 13 will be described by taking processing for a person detected from the first image as an example.

本実施形態では、グループ化部１３は、検出された人物ごとの追跡情報を参照して、一定期間にわたって近傍にいる人物同士を同一のグループに分類する。同一のグループに属している複数の人物は、継続的に互いに近接していると想定されるためである。そこでグループ化部１３は、追跡中の各人物について、その人物の近傍に一定期間にわたって他の追跡中の人物がいるか否か判定する。   In the present embodiment, the grouping unit 13 refers to the tracking information for each detected person and classifies the persons who are in the vicinity for a certain period into the same group. This is because a plurality of persons belonging to the same group are assumed to be continuously close to each other. Therefore, the grouping unit 13 determines for each person being tracked whether there is another person being tracked for a certain period in the vicinity of the person.

図５及び図６は、グループ化部１３により実行される、グループ化処理の動作フローチャートである。まず、グループ化部１３は、未着目の追跡中の人物のうちの一人を着目する追跡中の人物に設定する（ステップＳ１０１）。グループ化部１３は、同一の画像上での着目する追跡中の人物と他の全ての追跡中の人物との重心間距離distを次式に従って算出する。   5 and 6 are operation flowcharts of the grouping process executed by the grouping unit 13. First, the grouping unit 13 sets one of the untracked persons being tracked as a tracked person who is focused (step S101). The grouping unit 13 calculates the center-to-center distance dist between the person being tracked and all other persons being tracked on the same image according to the following equation.

Figure 2016143335
Figure 2016143335

ここで、(x1,t、y1,t)は、時刻tにおける第１の画像（この例では、最新の第１の画像）上の着目する追跡中の人物が写った領域の左上座標である。(x2,t，y2,t)は、時刻ｔにおける第１の画像上に写った他の追跡中の人物が写った画像上の領域の左上座標である。また、w1,t，h1,tは、時刻ｔにおける第１の画像上の着目する追跡中の人物が写った領域の外接矩形の幅及び高さである。同様に、w2,t，h2,tは、時刻ｔにおける第１の画像上に写っている他の追跡中の人物が写った領域の外接矩形の幅及び高さである。 Here, (x 1, t , y 1, t ) is the upper left coordinates of the region in which the person being tracked on the first image (in this example, the latest first image) at time t is shown. It is. (x 2, t , y 2, t ) is the upper left coordinates of the area on the image in which another person being tracked that appears on the first image at time t is shown. Further, w 1, t and h 1, t are the width and height of the circumscribed rectangle of the area in which the target tracking person on the first image at time t is shown. Similarly, w 2, t and h 2, t are the width and height of the circumscribed rectangle of the area in which another person being tracked that appears on the first image at time t is shown.

グループ化部１３は、他の追跡中の人物のそれぞれについての重心間距離distを、他の追跡中の人物の人物ＩＤと対応付けて記憶部４に登録する（ステップＳ１０２）。   The grouping unit 13 registers the inter-centroid distance dist for each other person being tracked in the storage unit 4 in association with the person ID of the other person being tracked (step S102).

グループ化部１３は、記憶部４を参照して、他の追跡中の人物のそれぞれについて、過去一定期間（例えば、３分間）における、着目する追跡中の人物との重心間距離distが所定の閾値dTh以内である近傍出現回数をカウントする（ステップＳ１０３）。なお、所定の閾値dThは、二人の人物が同一グループに含まれる可能性がある距離に相当する閾値であり、例えば、実世界の２ｍに相当する画素数に設定される。あるいは、閾値dThは、検出された人物の幅または高さの平均値の定数倍（例えば、１〜２倍程度）に設定される。   The grouping unit 13 refers to the storage unit 4, and for each of the other persons being tracked, the distance between the centers of gravity with respect to the tracked person of interest in a past fixed period (for example, 3 minutes) is predetermined. The number of neighboring appearances that are within the threshold value dTh is counted (step S103). The predetermined threshold value dTh is a threshold value corresponding to a distance at which two persons may be included in the same group, and is set to, for example, the number of pixels corresponding to 2 m in the real world. Alternatively, the threshold value dTh is set to a constant multiple (for example, about 1 to 2 times) of the average value of the detected width or height of the person.

グループ化部１３は、他の追跡中の人物のうち、近傍出現回数が所定の閾値fTh以上となる人物を、着目する追跡中の人物の近傍にいる人物として検出する（ステップＳ１０４）。なお、所定の閾値fThは、二人の人物が同一グループに含まれる可能性がある近傍出現回数に相当する閾値であり、例えば、近傍出現回数のカウント期間中に取得される第１の画像の枚数に0.3〜0.5を乗じた値に設定される。ステップＳ１０４の後、グループ化部１３は、最新の第１の画像について追跡が終了したと判定された人物のそれぞれについて、過去一定期間に、近傍に人物がいるか否かの判定結果を利用して、何れかのグループに分類する。   The grouping unit 13 detects a person whose neighborhood appearance count is equal to or greater than a predetermined threshold value fTh among other people being tracked as a person in the vicinity of the tracked person of interest (step S104). Note that the predetermined threshold value fTh is a threshold value corresponding to the number of neighboring appearances in which two persons may be included in the same group. For example, the predetermined threshold value fTh is, for example, It is set to a value obtained by multiplying the number of sheets by 0.3 to 0.5. After step S104, the grouping unit 13 uses the determination result as to whether or not there is a person in the vicinity for a certain period in the past for each of the persons determined to have been tracked for the latest first image. And classify into any group.

図６を参照すると、グループ化部１３は、着目する追跡が終了した人物が属するグループが既に決定されているか否か判定する（ステップＳ２０１）。着目する追跡が終了した人物が属するグループが未だ決定されていない場合（ステップＳ２０１−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物の近傍にいる人物が検出されたか否か判定する（ステップＳ２０２）。着目する追跡が終了した人物の近傍にいる人物が検出されない場合（ステップＳ２０２−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物を新規のグループに追加する（ステップＳ２０３）。そしてグループ化部１３は、新規のグループのグループＩＤを設定する。そしてグループ化部１３は、各人物が属するグループを表す人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物の人物ＩＤを登録する。   Referring to FIG. 6, the grouping unit 13 determines whether or not a group to which a person whose tracking of interest has ended belongs has already been determined (step S201). When the group to which the person who has finished tracking of interest belongs has not yet been determined (step S201-No), the grouping unit 13 determines whether or not a person in the vicinity of the person whose tracking of interest has been completed has been detected. (Step S202). When a person in the vicinity of the person who has finished tracking of interest is not detected (step S202-No), the grouping unit 13 adds the person whose tracking of interest has been completed to a new group (step S203). The grouping unit 13 sets the group ID of the new group. Then, the grouping unit 13 registers the person ID of the person who has been tracked, together with the new group ID, in the person group correspondence table representing the group to which each person belongs.

図７は、記憶部４に記憶された人物グループ対応テーブル７００の一例を示す図である。人物グループ対応テーブル７００では、グループごとに、そのグループを他のグループと識別するためのグループＩＤが示される。そして人物グループ対応テーブル７００は、追跡中の人物ごとに、その人物の人物ＩＤと、その人物が属するグループのグループＩＤとを表す。例えば、図７に示される例では、人物ＩＤが'1'である人物と'3'である人物とがグループＩＤが'1'のグループに属し、人物ＩＤが'2'である人物がグループＩＤが'2'のグループに属することが示されている。   FIG. 7 is a diagram illustrating an example of the person group correspondence table 700 stored in the storage unit 4. In the person group correspondence table 700, for each group, a group ID for identifying the group from other groups is shown. The person group correspondence table 700 represents, for each person being tracked, the person ID of the person and the group ID of the group to which the person belongs. For example, in the example shown in FIG. 7, the person whose person ID is “1” and the person who is “3” belong to the group whose group ID is “1”, and the person whose person ID is “2” is a group. It is shown that it belongs to the group with ID “2”.

一方、着目する追跡が終了した人物の近傍にいる人物が検出された場合（ステップＳ２０２−Ｙｅｓ）、グループ化部１３は、近傍にいる人物が複数か否か判定する（ステップＳ２０４）。近傍にいる人物が複数でない場合（ステップＳ２０４−Ｎｏ）、グループ化部１３は、人物グループ対応テーブルを参照し、近傍にいる人物が何れかのグループに属しているか否か判定する（ステップＳ２０５）。近傍にいる人物が何れかのグループに属している場合（ステップＳ２０５−Ｙｅｓ）、グループ化部１３は、着目する追跡が終了した人物を、近傍にいる人物が属するグループに追加する（ステップＳ２０６）。そしてグループ化部１３は、人物グループ対応テーブルに、着目する追跡が終了した人物の人物ＩＤを、その人物が追加されたグループのグループＩＤと対応付けて登録する。一方、近傍にいる人物が何れのグループにも属していない場合（ステップＳ２０５−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物及びその近傍にいる人物を新規のグループに追加する（ステップＳ２０７）。そしてグループ化部１３は、その新規のグループＩＤを設定する。グループ化部１３は、人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物及びその近傍にいる人物のそれぞれの人物ＩＤを登録する。   On the other hand, when a person in the vicinity of the person who has finished tracking of interest is detected (step S202—Yes), the grouping unit 13 determines whether there are a plurality of persons in the vicinity (step S204). When there are not a plurality of persons in the vicinity (step S204—No), the grouping unit 13 refers to the person group correspondence table and determines whether the person in the vicinity belongs to any group (step S205). . When the person in the vicinity belongs to any group (step S205—Yes), the grouping unit 13 adds the person whose tracking is finished to the group to which the person in the vicinity belongs (step S206). . Then, the grouping unit 13 registers the person ID of the person whose tracking has been completed in the person group correspondence table in association with the group ID of the group to which the person has been added. On the other hand, if the person in the vicinity does not belong to any group (No in step S205), the grouping unit 13 adds the person whose tracking is completed and the person in the vicinity to the new group ( Step S207). Then, the grouping unit 13 sets the new group ID. The grouping unit 13 registers, in the person group correspondence table, the person IDs of the person who has been tracked and the person in the vicinity thereof together with the new group ID.

一方、近傍にいる人物が複数である場合（ステップＳ２０４−Ｙｅｓ）、グループ化部１３は、近傍にいる複数の人物のうち、近傍出現回数が最大の人物を判定対象人物とし、判定対象人物が何れかのグループに属しているか否か判定する（ステップＳ２０８）。判定対象人物が何れかのグループに属している場合（ステップＳ２０８−Ｙｅｓ）、グループ化部１３は、着目する追跡が終了した人物を、判定対象人物が属するグループに追加する（ステップＳ２０９）。一方、判定対象人物が何れのグループにも属していない場合（ステップＳ２０８−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物の近傍にいる人物のうちで判定対象人物に設定されていない人物がいるか否か判定する（ステップＳ２１０）。判定対象人物に設定されていない人物がいる場合（ステップＳ２１０−Ｙｅｓ）、グループ化部１３は、現在の判定対象人物の次に近傍出現回数が多い人物を次の判定対象人物とする（ステップＳ２１２）。そしてグループ化部１３は、ステップＳ２０８以降の処理を繰り返す。一方、判定対象人物に設定されていない人物がいない場合（ステップＳ２１０−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物及びその近傍にいる複数の人物を新規のグループに追加する（ステップＳ２１１）。そしてグループ化部１３は、その新規のグループＩＤを設定する。グループ化部１３は、人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物及びその近傍にいる複数の人物の人物ＩＤを登録する。   On the other hand, when there are a plurality of persons in the vicinity (Yes in step S204), the grouping unit 13 sets a person having the maximum number of appearances as a determination target person among a plurality of persons in the vicinity, and the determination target person is It is determined whether it belongs to any group (step S208). When the determination target person belongs to any group (step S208—Yes), the grouping unit 13 adds the person whose tracking is completed to the group to which the determination target person belongs (step S209). On the other hand, when the determination target person does not belong to any group (step S208-No), the grouping unit 13 is set as the determination target person among the persons in the vicinity of the person whose tracking has been focused on. It is determined whether or not there is any person (step S210). When there is a person who is not set as the determination target person (step S210-Yes), the grouping unit 13 sets a person with the next most frequent appearance number next to the current determination target person as the next determination target person (step S212). ). And the grouping part 13 repeats the process after step S208. On the other hand, when there is no person who is not set as the determination target person (step S210-No), the grouping unit 13 adds the person whose tracking is completed and a plurality of persons in the vicinity thereof to the new group ( Step S211). Then, the grouping unit 13 sets the new group ID. The grouping unit 13 registers, in the person group correspondence table, the person ID of the person who has been tracked and the plurality of persons in the vicinity thereof together with the new group ID.

ステップＳ２０１にて、着目する追跡が終了した人物が既に何れかのグループに属している場合（ステップＳ２０１−Ｙｅｓ）、グループ化部１３は、追跡が終了した全ての人物に対してグループ化処理を終了したか否か判定する（ステップＳ２１３）。また、ステップＳ２０３、ステップＳ２０６、ステップＳ２０７、ステップＳ２０９、またはステップＳ２１１の後も、グループ化部１３は、ステップＳ２１３の処理を行う。追跡が終了した全ての人物に対してグループ化処理を終了していない場合（ステップＳ２１３−Ｎｏ）、グループ化部１３は、図５のステップＳ１０１以降の処理を繰り返す。一方、追跡が終了した全ての人物に対してグループ化処理を終了した場合（ステップＳ２１３−Ｙｅｓ）、グループ化部１３は、グループ化処理を終了する。なお、グループ化部１３は、ステップＳ２０１〜ステップＳ２１３の処理を、追跡中の人物について実行してもよい。   In step S201, when the person whose tracking that has been focused on already belongs to any group (step S201-Yes), the grouping unit 13 performs a grouping process on all the persons whose tracking has ended. It is determined whether or not the processing has been completed (step S213). Further, after step S203, step S206, step S207, step S209, or step S211, the grouping unit 13 performs the process of step S213. When the grouping process has not been completed for all the persons who have been tracked (step S213-No), the grouping unit 13 repeats the processes after step S101 in FIG. On the other hand, when the grouping process is completed for all the persons who have been tracked (step S213-Yes), the grouping unit 13 ends the grouping process. Note that the grouping unit 13 may execute the processes in steps S201 to S213 for the person being tracked.

図８（ａ）は、第１の画像上で検出された人物のグループ分けの結果の一例を示す図である。例えば、人物８１０及び人物８１１は、グループ８００に分類され、人物８１２、人物８１３及び人物８１４は、グループ８０１に分類され、人物８１５及び人物８１６は、グループ８０２に分類される。   FIG. 8A is a diagram illustrating an example of a result of grouping the persons detected on the first image. For example, the person 810 and the person 811 are classified into the group 800, the person 812, the person 813, and the person 814 are classified into the group 801, and the person 815 and the person 816 are classified into the group 802.

図８（ｂ）は、第２の画像上で検出された人物のグループ分けの結果の一例を示す図である。例えば、人物８１７及び人物８１８は、グループ８０３に分類され、人物８１９及び人物８２０は、グループ８０４に分類され、人物８２１〜人物８２４は、グループ８０５に分類される。   FIG. 8B is a diagram illustrating an example of a result of grouping the persons detected on the second image. For example, the person 817 and the person 818 are classified into the group 803, the person 819 and the person 820 are classified into the group 804, and the persons 821 to 824 are classified into the group 805.

特徴量算出部１４は、処理部５が第１のカメラ２−１から第１の画像を取得する度に、その第１の画像に写っている人物ごとに、その人物の外見を表す特徴量を算出する。同様に、特徴量算出部１４は、処理部５が第２のカメラ２−２から第２の画像を取得する度に、その第２の画像に写っている人物ごとに、その人物の外見を表す特徴量を算出する。なお、特徴量算出部１４は、第１の画像及び第２の画像に対して同一の処理を実行するので、以下では、第１の画像に対する処理を例として説明する。   Each time the processing unit 5 acquires the first image from the first camera 2-1, the feature amount calculation unit 14 represents a feature amount representing the appearance of the person for each person shown in the first image. Is calculated. Similarly, each time the processing unit 5 acquires the second image from the second camera 2-2, the feature amount calculation unit 14 displays the appearance of the person for each person shown in the second image. The feature amount to be expressed is calculated. Note that the feature amount calculation unit 14 performs the same processing on the first image and the second image, and therefore, the processing on the first image will be described below as an example.

特徴量算出部１４は、例えば、特開２００５−２０２９３８号公報に開示される手法に従って、人物ごとに、その人物の外見を表す特徴量を算出する。この場合、特徴量算出部１４は、第１の画像上のその人物が写っている領域を、例えば垂直方向に沿って四つのブロックに分割する。そして特徴量算出部１４は、ブロックごとに、色相のヒストグラムを作成し、そのヒストグラムに基づいて出現頻度が最も高い色相の値を代表色とする。そして特徴量算出部１４は、ブロックごとの代表色に相当する色相の値を表す四次元空間の座標を、その人物の外見を表す特徴量とする。特徴量算出部１４は、算出した特徴量をその人物と対応付けて人物テーブルに登録する。
なお、特徴量算出部１４は、人物の外見を表す特徴量として、上記以外の特徴量を算出してもよい。 The feature amount calculation unit 14 calculates, for each person, a feature amount representing the appearance of the person, for example, according to the method disclosed in Japanese Patent Application Laid-Open No. 2005-202938. In this case, the feature amount calculation unit 14 divides the region in which the person is shown on the first image into, for example, four blocks along the vertical direction. Then, the feature amount calculation unit 14 creates a hue histogram for each block, and sets the hue value having the highest appearance frequency as the representative color based on the histogram. Then, the feature amount calculation unit 14 sets the coordinates of the four-dimensional space representing the hue value corresponding to the representative color for each block as the feature amount representing the appearance of the person. The feature amount calculation unit 14 registers the calculated feature amount in the person table in association with the person.
Note that the feature quantity calculation unit 14 may calculate a feature quantity other than the above as a feature quantity representing the appearance of a person.

グループ間類似度算出部１５は、第１のカメラ２−１で生成された画像のグループが第２のカメラ２−２で生成された画像のグループと同一か否か判定するために、グループ間の類似度を算出する。   The inter-group similarity calculation unit 15 determines whether the group of images generated by the first camera 2-1 is the same as the group of images generated by the second camera 2-2. The similarity is calculated.

本実施形態では、第１のカメラ２−１の撮影範囲と第２のカメラ２−２の撮影範囲が互いに異なっているので、第１のカメラ２−１の撮影範囲にいたグループが、第２のカメラ２−２の撮影範囲に到達するまでにある程度の時間を要する。逆に、第２のカメラ２−２の撮影範囲にいたグループが、第１のカメラ２−１の撮影範囲に到達するまでにも、ある程度の時間を要する。そのため、同一グループか否かの判定及びグループ類似度の算出は、その撮影範囲間のグループの移動に要すると想定される時間である予想移動時間だけ撮影時刻の差がある第１の画像と第２の画像間で行われる。なお、予想移動時間は、撮影範囲間の距離及び想定されるグループの移動速度に応じて予め設定される。   In the present embodiment, since the shooting range of the first camera 2-1 and the shooting range of the second camera 2-2 are different from each other, the group that was in the shooting range of the first camera 2-1 is the second group. It takes a certain amount of time to reach the shooting range of the camera 2-2. Conversely, it takes a certain amount of time for the group that was in the shooting range of the second camera 2-2 to reach the shooting range of the first camera 2-1. Therefore, the determination of whether or not they are in the same group and the calculation of the group similarity are the same as the first image and the first image that have a difference in shooting time by an estimated moving time that is assumed to be required for moving the group between the shooting ranges. Between two images. The expected moving time is set in advance according to the distance between the shooting ranges and the assumed moving speed of the group.

グループ間類似度算出部１５は、最新の第１の画像において一つ以上のグループが検出された場合、その最新の第１の画像の撮影時刻から予想移動時間だけ前の基準時刻を含む所定の時間範囲に含まれる撮影時刻の第２の画像を特定する。なお、所定の時間範囲は、例えば、基準時刻の前後３分間とすることができる。そしてグループ間類似度算出部１５は、その最新の第１の画像と特定された第２の画像のそれぞれとの間でグループ間の類似度を算出する。同様に、グループ間類似度算出部１５は、最新の第２の画像において一つ以上のグループが検出された場合、その最新の第２の画像の撮影時刻から予想移動時間だけ前の基準時刻を含む所定の時間範囲に含まれる撮影時刻の第１の画像を特定する。そしてグループ間類似度算出部１５は、その最新の第２の画像と特定された第１の画像のそれぞれとの間でグループ間の類似度を算出する。以下では、第１の画像と第２の画像の一つの組を例として、グループ間の類似度算出処理を説明する。   The inter-group similarity calculation unit 15, when one or more groups are detected in the latest first image, includes a predetermined time including a reference time that is an estimated moving time before the shooting time of the latest first image. The second image at the photographing time included in the time range is specified. The predetermined time range can be, for example, 3 minutes before and after the reference time. Then, the inter-group similarity calculation unit 15 calculates the inter-group similarity between the latest first image and each identified second image. Similarly, when one or more groups are detected in the latest second image, the inter-group similarity calculation unit 15 sets a reference time that is the estimated travel time before the shooting time of the latest second image. The first image at the photographing time included in the predetermined time range is specified. Then, the inter-group similarity calculation unit 15 calculates the inter-group similarity between the latest second image and each identified first image. Hereinafter, the similarity calculation processing between groups will be described by taking one set of the first image and the second image as an example.

グループ間類似度算出部１５は、第１の画像上のグループに属する人物と第２の画像上のグループに属する人物とを一人ずつ組み合わせた人物の組の集合を、人物の組み合わせを変えながら複数作成する。さらにグループ間類似度算出部１５は、第１の画像または第２の画像において、複数のグループが検出されている場合、第１の画像上のグループと第２の画像上のグループの組み合わせを変えながら、各グループの組み合わせについて人物の組の集合を複数作成する。   The inter-group similarity calculating unit 15 sets a plurality of sets of persons each combining a person belonging to the group on the first image and a person belonging to the group on the second image while changing the combination of the persons. create. Further, the inter-group similarity calculation unit 15 changes the combination of the group on the first image and the group on the second image when a plurality of groups are detected in the first image or the second image. However, a plurality of sets of person sets are created for each group combination.

図９（ａ）及び図９（ｂ）は、それぞれ、人物の組の集合の一例を示す図である。図９（ａ）では、一方の画像（例えば、第１の画像）からグループ９０１が検出され、他方の画像（例えば、第２の画像）からグループ９０４が検出されている。そしてグループ９０１には、人物９０２と人物９０３が属しており、グループ９０４には、人物９０５と人物９０６が属している。そのため、グループ間類似度算出部１５は、グループ９０１とグループ９０４の組について、（人物９０２，人物９０５）の組と、（人物９０３，人物９０６）の組とを含む人物の組の集合を作成する。さらに、グループ間類似度算出部１５は、（人物９０２，人物９０６）の組と、（人物９０３，人物９０５）の組とを含む人物の組の集合を作成する。   FIG. 9A and FIG. 9B are diagrams illustrating an example of a set of person groups, respectively. In FIG. 9A, the group 901 is detected from one image (for example, the first image), and the group 904 is detected from the other image (for example, the second image). A person 902 and a person 903 belong to the group 901, and a person 905 and a person 906 belong to the group 904. Therefore, the inter-group similarity calculation unit 15 creates a set of person sets including a set of (person 902, person 905) and a set of (person 903, person 906) for the set of groups 901 and 904. To do. Furthermore, the inter-group similarity calculation unit 15 creates a set of person sets including a set of (person 902, person 906) and a set of (person 903, person 905).

同様に、図９（ｂ）では、一方の画像（例えば、第１の画像）からグループ９０７が検出され、他方の画像（例えば、第２の画像）からグループ９１０が検出されている。そしてグループ９０７には、人物９０８と人物９０９が属しており、グループ９１０には、人物９１１と人物９１２が属している。そのため、グループ間類似度算出部１５は、グループ９０７とグループ９１０の組について、（人物９０８，人物９１１）の組と、（人物９０９，人物９１２）の組とを含む人物の組の集合を作成する。さらに、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組と、（人物９０９，人物９１１）の組とを含む人物の組の集合を作成する。   Similarly, in FIG. 9B, the group 907 is detected from one image (for example, the first image), and the group 910 is detected from the other image (for example, the second image). A person 908 and a person 909 belong to the group 907, and a person 911 and a person 912 belong to the group 910. Therefore, the inter-group similarity calculation unit 15 creates a set of person sets including a set of (person 908, person 911) and a set of (person 909, person 912) for the set of group 907 and group 910. To do. Further, the inter-group similarity calculation unit 15 creates a set of person sets including a set of (person 908, person 912) and a set of (person 909, person 911).

グループ間類似度算出部１５は、記憶部４に記憶された人物テーブルを参照して、グループの組み合わせごとに、その組み合わせに含まれるグループに属する人物の特徴量を読み込む。そしてグループ間類似度算出部１５は、複数の人物の組の集合のそれぞれについて、その集合に含まれる人物の組ごとに、その組に含まれる二人の人物間の類似度を算出する。例えば、グループ間類似度算出部１５は、人物の組に含まれる二人の人物のそれぞれの特徴量間の正規化相互相関値を類似度として算出する。また、上記のように、人物の特徴量が四次元座標で表されている場合、二人の人物の特徴量間の距離の逆数を正規化した値を類似度として算出してもよい。   The inter-group similarity calculation unit 15 refers to the person table stored in the storage unit 4 and reads the feature amount of the person belonging to the group included in the combination for each group combination. Then, the inter-group similarity calculation unit 15 calculates the similarity between two persons included in the set for each set of persons included in the set for each set of a plurality of sets of persons. For example, the inter-group similarity calculation unit 15 calculates a normalized cross-correlation value between the respective feature amounts of two persons included in the set of persons as the similarity. Further, as described above, when the feature amount of a person is represented by four-dimensional coordinates, a value obtained by normalizing the reciprocal of the distance between the feature amounts of two people may be calculated as the similarity.

例えば、図９（ａ）に示される例では、（人物９０２，人物９０５）の組についての類似度は９５であり、（人物９０３，人物９０６）の組についての類似度は９０である。また、（人物９０２，人物９０６）の組についての類似度は４５であり、（人物９０３，人物９０５）の組についての類似度は５０である。また、図９（ｂ）に示される例では、（人物９０８，人物９１１）の組についての類似度は５であり、（人物９０９，人物９１２）の組についての類似度は２５である。また、（人物９０８，人物９１２）の組についての類似度は３０であり、（人物９０９，人物９１１）の組についての類似度は１０である。なお、人物間の類似度は、０〜１００で正規化されているとする。   For example, in the example shown in FIG. 9A, the similarity for the set of (person 902, person 905) is 95, and the similarity for the set of (person 903, person 906) is 90. Further, the similarity for the group of (person 902, person 906) is 45, and the similarity for the group of (person 903, person 905) is 50. In the example shown in FIG. 9B, the similarity for the group of (person 908, person 911) is 5, and the similarity for the group of (person 909, person 912) is 25. Further, the similarity for the group of (person 908, person 912) is 30, and the similarity for the group of (person 909, person 911) is 10. It is assumed that the similarity between persons is normalized from 0 to 100.

グループ間類似度算出部１５は、算出された人物の組ごとの類似度の総和が最大となる人物の組の集合を選択する。図９（ａ）に示される例では、（人物９０２，人物９０５）の組と（人物９０３，人物９０６）の組を含む人物の組の集合についての類似度の総和は１８５である。一方、（人物９０２，人物９０６）の組と（人物９０３，人物９０５）の組を含む人物の組の集合についての類似度の総和は９５である。そこでグループ間類似度算出部１５は、（人物９０２，人物９０５）の組と（人物９０３，人物９０６）の組を含む人物の組の集合を選択する。同様に、図９（ｂ）に示される例では、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組と（人物９０９，人物９１１）の組を含む人物の組の集合を選択する。   The inter-group similarity calculation unit 15 selects a set of person groups having the maximum sum of similarities for each calculated person pair. In the example shown in FIG. 9A, the sum of similarities of a set of persons including a set of (person 902, person 905) and a set of (person 903, person 906) is 185. On the other hand, the sum of the similarities of the set of persons including the set of (person 902, person 906) and the set of (person 903, person 905) is 95. Therefore, the inter-group similarity calculation unit 15 selects a set of person sets including a set of (person 902, person 905) and a set of (person 903, person 906). Similarly, in the example shown in FIG. 9B, the inter-group similarity calculation unit 15 generates a set of person sets including a set of (person 908, person 912) and a set of (person 909, person 911). select.

グループ間類似度算出部１５は、選択した、人物の組ごとの類似度の総和が最大となる人物の組の集合に含まれる人物の組のそれぞれの類似度の統計的代表値（例えば、合計値または平均値）を、グループ間の類似度として算出する。図９（ａ）に示される例では、グループ間類似度算出部１５は、（人物９０２，人物９０５）の組の類似度９５と（人物９０３，人物９０６）の組の類似度９０の平均値９２．５をグループ９０１とグループ９０４間の類似度とする。また、図９（ｂ）に示される例では、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組の類似度３０，（人物９０９，人物９１１）の組の類似度１０の平均値２０を、グループ９０７とグループ９１０間の類似度とする。   The inter-group similarity calculation unit 15 selects a statistical representative value (for example, total sum) of each of the person groups included in the set of person groups having the largest sum of similarities for each selected person group. Value or average value) is calculated as the similarity between groups. In the example illustrated in FIG. 9A, the inter-group similarity calculation unit 15 calculates the average value of the similarity 95 of the set of (person 902, person 905) and the similarity 90 of the set of (person 903, person 906). Let 92.5 be the similarity between group 901 and group 904. In the example shown in FIG. 9B, the inter-group similarity calculation unit 15 calculates the similarity 30 of the set of (person 908, person 912) and the similarity 10 of the set of (person 909, person 911). The average value 20 is set as the similarity between the group 907 and the group 910.

グループ間類似度算出部１５は、グループの組ごとに、その組について算出されたグループ間の類似度をグループ対応付け部１６へ出力する。   The inter-group similarity calculation unit 15 outputs, for each group set, the inter-group similarity calculated for the set to the group association unit 16.

グループ対応付け部１６は、グループの組ごとに、グループ間の類似度に応じて、その組に含まれる二つのグループが同一グループか否か判定し、同一と判定された二つのグループを対応付ける。   For each group of groups, the group association unit 16 determines whether two groups included in the set are the same group according to the similarity between the groups, and associates the two groups determined to be the same.

例えば、グループ対応付け部１６は、グループ間の類似度が所定の閾値gTh以上である場合、そのグループの組に含まれる二つのグループが同一のグループ、すなわち、属する人物の少なくとも一部が同一のグループであると判定する。なお、所定の閾値gThは、同一のグループについてのグループ間の類似度の下限値に相当する値、例えば、グループ間の類似度が取り得る値の最大値に0.6〜0.8を乗じた値に設定される。そしてグループ対応付け部１６は、グループの組に含まれる二つのグループが同一グループであると判定した場合、その二つのグループに同一ＩＤを割り当てて、その二つのグループを対応付ける。一方、グループ間の類似度が所定の閾値gTh未満である場合、グループ対応付け部１６は、そのグループの組に含まれる二つのグループは、互いに異なるグループ、すなわち、属する人物が互いに異なるグループであると判定する。   For example, when the similarity between groups is equal to or greater than a predetermined threshold value gTh, the group association unit 16 has two groups included in the group set as the same group, that is, at least a part of the persons belonging to the group is the same. Judge as a group. The predetermined threshold value gTh is set to a value corresponding to the lower limit value of similarity between groups for the same group, for example, a value obtained by multiplying the maximum value of similarity between groups by 0.6 to 0.8. Is done. When the group association unit 16 determines that the two groups included in the group set are the same group, the group association unit 16 assigns the same ID to the two groups and associates the two groups. On the other hand, when the similarity between groups is less than the predetermined threshold value gTh, the group association unit 16 includes two groups included in the group set that are different from each other, that is, a group to which the persons belonging are different from each other. Is determined.

例えば、所定の閾値gThが８０である場合、図９（ａ）に示される、グループ９０１とグループ９０４間の類似度は９２．５なので、グループ対応付け部１６は、グループ９０１とグループ９０４を同一のグループと判定する。一方、図９（ｂ）に示される、グループ９０７とグループ９１０間の類似度は２０なので、グループ対応付け部１６は、グループ９０７とグループ９１０を互いに異なるグループと判定する。   For example, when the predetermined threshold value gTh is 80, the similarity between the group 901 and the group 904 shown in FIG. 9A is 92.5, so the group association unit 16 makes the group 901 and the group 904 identical. Judged as a group. On the other hand, since the similarity between the group 907 and the group 910 shown in FIG. 9B is 20, the group association unit 16 determines that the group 907 and the group 910 are different groups.

図１０は、グループ対応付け装置１の処理部５により実行される、グループ対応付け処理全体の動作フローチャートである。処理部５は、以下の動作フローチャートに従ってグループ対応付け処理を実行する。   FIG. 10 is an operation flowchart of the entire group association process executed by the processing unit 5 of the group association apparatus 1. The processing unit 5 executes group association processing according to the following operation flowchart.

処理部５の人物検出部１１は、第１のカメラ２−１で生成された第１の画像及び第２のカメラ２−２で生成された第２の画像のそれぞれから人物を検出する（ステップＳ３０１）。処理部５の追跡部１２は、追跡処理を行って、検出された人物を追跡中の人物と対応付ける（ステップＳ３０２）。処理部５のグループ化部１３は、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物をグループの何れかに分類する（ステップＳ３０３）。   The person detection unit 11 of the processing unit 5 detects a person from each of the first image generated by the first camera 2-1 and the second image generated by the second camera 2-2 (step). S301). The tracking unit 12 of the processing unit 5 performs tracking processing to associate the detected person with the person being tracked (step S302). For each of the first image and the second image, the grouping unit 13 of the processing unit 5 classifies the person detected from the image into one of the groups (step S303).

処理部５の特徴量算出部１４は、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物ごとに、その人物の外見を表す特徴量を算出する（ステップＳ３０４）。   The feature amount calculation unit 14 of the processing unit 5 calculates, for each person detected from the first image and the second image, a feature amount representing the appearance of the person (step S304).

処理部５のグループ間類似度算出部１５は、第１の画像と第２の画像の組について、第１の画像上のグループと、第２の画像上のグループとの組のそれぞれごとに、その組に含まれる二つのグループ間の類似度を算出する（ステップＳ３０５）。ここで、第１の画像と第２の画像の組には、同一のグループが写っている可能性がある。   The inter-group similarity calculation unit 15 of the processing unit 5 for each set of a group on the first image and a group on the second image for each set of the first image and the second image. The similarity between two groups included in the set is calculated (step S305). Here, there is a possibility that the same group appears in the set of the first image and the second image.

処理部５のグループ対応付け部１６は、グループ間の類似度に応じて、その組に含まれる二つのグループが同一のグループか否か判定する。そしてグループ対応付け部１６は、同一のグループと判定された二つのグループに同一のＩＤを割り当て、その二つのグループを対応付ける（ステップＳ３０６）。   The group association unit 16 of the processing unit 5 determines whether the two groups included in the set are the same group according to the similarity between the groups. The group association unit 16 assigns the same ID to two groups determined to be the same group, and associates the two groups (step S306).

以上に説明してきたように、このグループ対応付け装置は、互いに異なる撮影範囲を持つ二つのカメラの一方により生成された画像に写っているグループと他方のカメラにより生成された画像に写っているグループとの間で類似度を求める。そしてこのグループ対応付け装置は、グループ間の類似度に応じて、異なるカメラにより撮影されたグループ同士が同一のグループか否かを判定する。そのため、このグループ対応付け装置は、異なるカメラにより撮影された同一のグループについての対応付けの精度を向上できる。さらに、このグループ対応付け装置は、二つのグループ間の類似度を、一方のグループに属する人物と他方のグループに属する人物間の類似度に応じて算出する。そのため、グループ内に特徴的な人物が含まれていない場合でも、各画像に写っているグループ同士が同一グループか否かを適切に判定できる。   As described above, the group association apparatus is configured such that the group shown in the image generated by one of the two cameras having different shooting ranges and the group shown in the image generated by the other camera. The degree of similarity is obtained. And this group matching apparatus determines whether the groups image | photographed with the different camera are the same groups according to the similarity between groups. Therefore, this group association device can improve the accuracy of association for the same group photographed by different cameras. Further, this group association apparatus calculates the similarity between two groups according to the similarity between a person belonging to one group and a person belonging to the other group. Therefore, even when a characteristic person is not included in the group, it can be appropriately determined whether the groups shown in each image are the same group.

これにより、このグループ対応付け装置は、同一のグループであると判定された、各カメラにより生成された画像に写っているグループについて、それら画像の撮影時刻及び各カメラの撮影範囲に基づいて移動経路を推定できる。このグループ対応付けの結果から推定される、ショッピングモールまたは商店街などを通行するグループ客の移動経路は、マーケティングあるいは混雑緩和による安全の確保に利用できる。   As a result, the group association apparatus moves the path of the groups that are determined to be the same group and appear in the images generated by the cameras based on the shooting times of the images and the shooting ranges of the cameras. Can be estimated. The movement route of the group customer passing through a shopping mall or a shopping street estimated from the result of this group association can be used for ensuring safety by marketing or congestion reduction.

なお、変形例によれば、グループ間類似度算出部１５は、グループの組について、人物の組の集合ごとに、人物間の類似度が所定の閾値pTh以上となる人物の組の数をカウントし、そのカウント数の最大値を求めてもよい。そしてグループ間類似度算出部１５は、グループの組に含まれる何れか一方のグループに属する人物の数に対する、カウント数の最大値の比、またはその比に所定数（例えば、100）を乗じた値を、グループ間の類似度としてもよい。   Note that, according to the modification, the inter-group similarity calculation unit 15 counts the number of sets of persons whose similarity between persons is equal to or greater than a predetermined threshold pTh for each set of sets of groups. Then, the maximum value of the count number may be obtained. Then, the inter-group similarity calculation unit 15 multiplies the ratio of the maximum number of counts to the number of persons belonging to any one group included in the group of groups, or the ratio multiplied by a predetermined number (for example, 100). The value may be a similarity between groups.

再度、図９（ａ）を参照すると、所定の閾値pThが８０である場合、（人物９０２，人物９０５）の組の類似度及び（人物９０３，人物９０６）の組の類似度の何れも閾値pTh以上となる。そのため、グループ９０１とグループ９０４間の類似度は1となる。一方、図９（ｂ）を参照すると、人物の組の類似度が閾値pTh以上となる人物の組は無い。そのため、グループ９０７とグループ９１０間の類似度は0となる。   Referring to FIG. 9A again, when the predetermined threshold pTh is 80, both the similarity of the pair of (person 902, person 905) and the similarity of the pair of (person 903, person 906) are threshold values. pTh or more. Therefore, the similarity between the group 901 and the group 904 is 1. On the other hand, referring to FIG. 9 (b), there is no set of persons whose similarity is equal to or greater than the threshold pTh. Therefore, the similarity between the group 907 and the group 910 is zero.

また、変形例によれば、特徴量算出部１４は、グループごとに、グループ全体として一つの特徴量を算出してもよい。例えば、特徴量算出部１４は、グループに属する全ての人物の外見を表す特徴量をグループ全体の特徴量として算出してもよい。この場合、特徴量算出部１４は、グループに属する人物の画像上の領域の何れかに含まれる画素の集合について、色相の正規化ヒストグラムを求める。そして特徴量算出部１４は、その正規化ヒストグラムそのもの、あるいは、その正規化ヒストグラムから求めた、特定の複数の色相の値における頻度値を、グループ全体の特徴量とする。   In addition, according to the modification, the feature amount calculation unit 14 may calculate one feature amount for the entire group for each group. For example, the feature amount calculation unit 14 may calculate a feature amount that represents the appearance of all persons belonging to the group as a feature amount of the entire group. In this case, the feature amount calculation unit 14 obtains a hue normalization histogram for a set of pixels included in any region on the image of the person belonging to the group. Then, the feature amount calculation unit 14 uses the normalized histogram itself or the frequency values of a plurality of specific hue values obtained from the normalized histogram as the feature amount of the entire group.

この場合、グループ間類似度算出部１５は、グループの組に含まれる二つのグループのそれぞれのグループ全体の特徴量間の正規化相互相関値、あるいは、特徴量間の距離の逆数を正規化した値をグループ間の類似度として算出すればよい。
この変形例では、グループ対応付け装置は、グループ間の類似度を算出する際に、人物の組ごとに類似度を算出しなくてもよいので、グループ間の類似度の算出に要する演算量を削減できる。 In this case, the inter-group similarity calculation unit 15 normalized the normalized cross-correlation value between the feature values of the entire groups of the two groups included in the group set or the inverse of the distance between the feature values. The value may be calculated as the similarity between groups.
In this modification, the group association device does not have to calculate the similarity for each set of persons when calculating the similarity between groups, so the amount of computation required to calculate the similarity between groups is reduced. Can be reduced.

また、変形例によれば、グループ化部１３は、最短距離法、最長距離法、又は群平均法などの階層的クラスタリング手法を用いることにより、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物をグループの何れかに分類してもよい。この場合には、検出された人物を、複数の画像にわたって追跡しなくてよいので、追跡部１２は省略されてもよい。   In addition, according to the modification, the grouping unit 13 uses a hierarchical clustering method such as the shortest distance method, the longest distance method, or the group average method, so that each of the first image and the second image is The person detected from the image may be classified into any group. In this case, since the detected person does not need to be tracked over a plurality of images, the tracking unit 12 may be omitted.

また、同一のグループであれば、何れのカメラにより撮影された画像上でも、そのグループに属する人物の数はあまり変わらないと想定される。そこで他の変形例によれば、グループ間類似度算出部１５は、第１の画像上のグループに属する人物の数と、第２の画像上のグループに属する人物の数の差が所定の許容範囲に含まれる場合にのみ、その二つのグループ間の類似度を算出してもよい。ここで、所定の許容範囲は、例えば、一人以内あるいは同数である。この場合、グループ間の人数差が所定の許容範囲内でない場合、グループ間の類似度の算出をしないため、グループ対応付け装置は、グループ間の類似度の算出に要する演算量を削減できる。またこの場合、全てのグループについて、グループ間の類似度が算出されるとは限らない。そこで、特徴量算出部１４は、グループ間の類似度が算出されると判定されたグループ、またはそのグループに属する人物についてのみ、特徴量を算出してもよい。これにより、グループ対応付け装置は、特徴量の算出に要する演算量を削減できる。   In addition, in the case of the same group, it is assumed that the number of persons belonging to the group does not change much on an image taken by any camera. Therefore, according to another modification, the inter-group similarity calculation unit 15 determines that a difference between the number of persons belonging to the group on the first image and the number of persons belonging to the group on the second image is a predetermined tolerance. Only when it is included in the range, the similarity between the two groups may be calculated. Here, the predetermined allowable range is, for example, within one person or the same number. In this case, when the difference in the number of people between the groups is not within a predetermined allowable range, the similarity between the groups is not calculated, so that the group association apparatus can reduce the amount of calculation required for calculating the similarity between the groups. In this case, the similarity between groups is not necessarily calculated for all groups. Therefore, the feature amount calculation unit 14 may calculate the feature amount only for a group in which it is determined that the similarity between groups is calculated or a person belonging to the group. Thereby, the group correlation apparatus can reduce the amount of calculation required for calculating the feature amount.

例えば、再度図８(ａ)及び図８（ｂ）を参照すると、所定の許容範囲が一人以内である場合、グループ８０５に属する人物の数は４名であり、グループ８００に属する人物の数、及び、グループ８０２に属する人物の数は２名である。そのため、グループ８００とグループ８０５の間、及び、グループ８０２とグループ８０５の間については、グループ間の類似度の算出は省略される。   For example, referring again to FIGS. 8A and 8B, when the predetermined allowable range is within one person, the number of persons belonging to the group 805 is four, and the number of persons belonging to the group 800 is The number of persons belonging to the group 802 is two. Therefore, the calculation of the similarity between groups is omitted between the group 800 and the group 805 and between the group 802 and the group 805.

さらに、上記の各実施形態による処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な媒体、例えば、磁気記録媒体、光記録媒体、又は半導体メモリに記憶された形で提供されてもよい。   Furthermore, a computer program that causes a computer to realize the functions of the processing units according to the above embodiments is provided in a form stored in a computer-readable medium, for example, a magnetic recording medium, an optical recording medium, or a semiconductor memory. May be.

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。   All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.

以上説明した実施形態及びその変形例に関し、さらに以下の付記を開示する。
（付記１）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出する人物検出部と、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、
前記第１の画像の前記グループから選択された一つのグループと、前記第２の画像の前記グループから選択された一つのグループの組のそれぞれごとに、当該組に含まれる二つの前記グループ間の類似度を算出するグループ間類似度算出部と、
当該組のそれぞれごとに、算出されたグループ間の前記類似度に応じて、当該組に含まれる二つのグループが同一グループであるか否か判定するグループ対応付け部と、
を有するグループ対応付け装置。
（付記２）
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、当該人物の組の集合に含まれる人物の組ごとに当該組に含まれる二人の人物間の類似度を算出して、当該集合に含まれる前記人物の組の前記類似度の総和を算出し、
算出された前記類似度の総和の最大値に相当する前記人物の組の集合に含まれる前記人物の組ごとの前記人物間の類似度の統計的代表値を前記グループ間の類似度とする、付記１に記載のグループ対応付け装置。
（付記３）
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、人物の組に含まれる二人の人物間の類似度が所定の閾値以上となる人物の組の数をカウントし、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物の数または前記第２の画像上の前記グループに属する人物の数に対する、二人の人物間の前記類似度が前記所定の閾値以上となる前記組の数の最大値の比に応じて前記グループ間の類似度を算出する、付記１に記載のグループ対応付け装置。
（付記４）
前記グループの組に含まれる前記第１の画像の前記グループと、前記第２の画像の前記グループとのそれぞれについて、当該グループに属する全ての人物の外見から当該グループの特徴量を算出する特徴量算出部をさらに有し、
前記グループ間類似度算出部は、前記グループの組に含まれる前記第１の画像の前記グループの前記特徴量と、前記第２の画像の前記グループの前記特徴量とに基づいて、前記グループ間の類似度を算出する、
付記１に記載のグループ対応付け装置。
（付記５）
前記特徴量算出部は、当該グループに属する人物の画像上の領域の何れかに含まれる画素の集合について、色相の正規化ヒストグラムを求め、求めた前記色相の正規化ヒストグラムから当該グループの特徴量を算出する、付記４に記載のグループ対応付け装置。
（付記６）
前記第１のカメラにより一定期間にわたって生成された複数の前記第１の画像のそれぞれにおいて、検出された人物ごとに、当該人物の位置を求める追跡部をさらに有し、
前記グループ化部は、前記一定期間に取得された複数の前記第１の画像のうち、検出された二人の人物の位置間の距離が所定距離範囲内となる前記第１の画像の数が所定値以上となる場合に、当該検出された二人の人物を同一のグループに分類する、
付記１〜５の何れか一項に記載のグループ対応付け装置。
（付記７）
前記グループ間類似度算出部は、前記第１の画像の前記グループと前記第２の画像の前記グループのうち、属する人数の差が所定の許容範囲内となる前記第１の画像の前記グループと前記第２の画像の前記グループを前記グループの組とする、付記１〜６の何れか一項に記載のグループ対応付け装置。
（付記８）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことを含むグループ対応付け方法。
（付記９）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことをコンピュータに実行させるためのグループ対応付け用コンピュータプログラム。 The following supplementary notes are further disclosed regarding the embodiment described above and its modifications.
(Appendix 1)
A person detection unit for detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, a grouping unit that classifies at least one person detected from the image into any one of at least one group;
For each of one group selected from the group of the first image and one group selected from the group of the second image, between the two groups included in the set An inter-group similarity calculation unit for calculating the similarity,
A group association unit for determining whether or not two groups included in the set are the same group according to the calculated similarity between the groups for each of the sets;
A group association apparatus having
(Appendix 2)
The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of persons, the similarity between two persons included in the set is calculated for each set of persons included in the set of persons and included in the set. Calculating the sum of the similarities of the set of persons,
A statistical representative value of similarity between the persons for each set of persons included in the set of sets of persons corresponding to the maximum value of the calculated sum of similarities is set as the similarity between the groups. The group association apparatus according to attachment 1.
(Appendix 3)
The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of person sets, count the number of person sets whose similarity between two persons included in the person set is equal to or greater than a predetermined threshold,
The similarity between two persons with respect to the number of persons belonging to the group on the first image or the number of persons belonging to the group on the second image, included in the group set, is The group association device according to supplementary note 1, wherein a similarity between the groups is calculated according to a ratio of a maximum value of the number of sets that is equal to or greater than a predetermined threshold.
(Appendix 4)
For each of the group of the first image and the group of the second image included in the group set, a feature amount for calculating the feature amount of the group from the appearances of all persons belonging to the group A calculation unit;
The similarity calculation unit between groups is based on the feature amount of the group of the first image and the feature amount of the group of the second image included in the group set. Calculate the similarity of
The group association apparatus according to attachment 1.
(Appendix 5)
The feature amount calculation unit obtains a hue normalization histogram for a set of pixels included in any of the regions on the image of the person belonging to the group, and the feature amount of the group from the obtained hue normalization histogram The group association apparatus according to appendix 4, which calculates
(Appendix 6)
In each of the plurality of first images generated by the first camera over a certain period, for each detected person, a tracking unit that obtains the position of the person is further included.
In the grouping unit, the number of the first images in which the distance between the positions of the two detected persons is within a predetermined distance range among the plurality of the first images acquired in the certain period. Classify the detected two persons into the same group when the predetermined value is exceeded,
The group matching apparatus according to any one of appendices 1 to 5.
(Appendix 7)
The similarity calculation unit between groups includes the group of the first images in which a difference in the number of persons belonging to the group of the first images and the group of the second images is within a predetermined allowable range. The group matching apparatus according to any one of appendices 1 to 6, wherein the group of the second image is set to the group.
(Appendix 8)
Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
Group association method including the above.
(Appendix 9)
Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
A computer program for group association for causing a computer to execute this.

１ グループ対応付け装置
２−１ 第１のカメラ
２−２ 第２のカメラ
３ 操作部
４ 記憶部
５ 処理部
６ 出力部
７ 通信インターフェース部
１１ 人物検出部
１２ 追跡部
１３ グループ化部
１４ 特徴量算出部
１５ グループ間類似度算出部
１６ グループ対応付け部 DESCRIPTION OF SYMBOLS 1 Group matching apparatus 2-1 1st camera 2-2 2nd camera 3 Operation part 4 Memory | storage part 5 Processing part 6 Output part 7 Communication interface part 11 Person detection part 12 Tracking part 13 Grouping part 14 Feature-value calculation 15 Group similarity calculation unit 16 Group association unit

Claims (8)

第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出する人物検出部と、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出するグループ間類似度算出部と、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定するグループ対応付け部と、
を有するグループ対応付け装置。 A person detection unit for detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, a grouping unit that classifies at least one person detected from the image into any one of at least one group;
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, An inter-group similarity calculation unit that calculates the similarity between the two groups included in the group set;
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group A group association unit for determining whether or not;
A group association apparatus having 前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、当該人物の組の集合に含まれる人物の組ごとに当該組に含まれる二人の人物間の類似度を算出して、当該集合に含まれる前記人物の組の前記類似度の総和を算出し、
算出された前記類似度の総和の最大値に相当する前記人物の組の集合に含まれる前記人物の組ごとの前記人物間の類似度の統計的代表値を前記グループ間の類似度とする、請求項１に記載のグループ対応付け装置。 The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of persons, the similarity between two persons included in the set is calculated for each set of persons included in the set of persons and included in the set. Calculating the sum of the similarities of the set of persons,
A statistical representative value of similarity between the persons for each set of persons included in the set of sets of persons corresponding to the maximum value of the calculated sum of similarities is set as the similarity between the groups. The group matching apparatus according to claim 1. 前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、人物の組に含まれる二人の人物間の類似度が所定の閾値以上となる人物の組の数をカウントし、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物の数または前記第２の画像上の前記グループに属する人物の数に対する、二人の人物間の前記類似度が前記所定の閾値以上となる前記組の数の最大値の比に応じて前記グループ間の類似度を算出する、請求項１に記載のグループ対応付け装置。 The inter-group similarity calculation unit
A person detected from the first image while changing a combination of a person belonging to the group on the first image and a person belonging to the group on the second image included in the group set And a plurality of sets of sets of persons detected from the second image,
For each set of the plurality of person sets, count the number of person sets whose similarity between two persons included in the person set is equal to or greater than a predetermined threshold,
The similarity between two persons with respect to the number of persons belonging to the group on the first image or the number of persons belonging to the group on the second image, included in the group set, is The group correlation apparatus according to claim 1, wherein a similarity between the groups is calculated according to a ratio of maximum values of the number of sets that are equal to or greater than a predetermined threshold. 前記グループの組に含まれる前記第１の画像の前記グループと、前記第２の画像の前記グループとのそれぞれについて、当該グループに属する全ての人物の外見から当該グループの特徴量を算出する特徴量算出部をさらに有し、
前記グループ間類似度算出部は、前記グループの組に含まれる前記第１の画像の前記グループの前記特徴量と、前記第２の画像の前記グループの前記特徴量とに基づいて、前記グループ間の類似度を算出する、
請求項１に記載のグループ対応付け装置。 For each of the group of the first image and the group of the second image included in the group set, a feature amount for calculating the feature amount of the group from the appearances of all persons belonging to the group A calculation unit;
The similarity calculation unit between groups is based on the feature amount of the group of the first image and the feature amount of the group of the second image included in the group set. Calculate the similarity of
The group matching apparatus according to claim 1. 前記第１のカメラにより一定期間にわたって生成された複数の前記第１の画像のそれぞれにおいて、検出された人物ごとに、当該人物の位置を求める追跡部をさらに有し、
前記グループ化部は、前記一定期間に取得された複数の前記第１の画像のうち、検出された二人の人物の位置間の距離が所定距離範囲内となる前記第１の画像の数が所定値以上となる場合に、当該検出された二人の人物を同一のグループに分類する、請求項１〜４の何れか一項に記載のグループ対応付け装置。 In each of the plurality of first images generated by the first camera over a certain period, for each detected person, a tracking unit that obtains the position of the person is further included.
In the grouping unit, the number of the first images in which the distance between the positions of the two detected persons is within a predetermined distance range among the plurality of the first images acquired in the certain period. The group association device according to any one of claims 1 to 4, wherein the detected two persons are classified into the same group when the predetermined value is exceeded. 前記グループ間類似度算出部は、前記第１の画像の前記グループと前記第２の画像の前記グループのうち、属する人数の差が所定の許容範囲内となる前記第１の画像の前記グループと前記第２の画像の前記グループを前記グループの組とする、請求項１〜５の何れか一項に記載のグループ対応付け装置。   The similarity calculation unit between groups includes the group of the first images in which a difference in the number of persons belonging to the group of the first images and the group of the second images is within a predetermined allowable range. The group association apparatus according to claim 1, wherein the group of the second image is a set of the group. 第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことを含むグループ対応付け方法。 Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
Group association method including the above. 第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことをコンピュータに実行させるためのグループ対応付け用コンピュータプログラム。 Detecting a person in the image from each of the first image generated by the first camera and the second image generated by the second camera;
For each of the first image and the second image, classify at least one person detected from the image into at least one group,
Obtaining at least one combination of one of the groups of the first image and one of the groups of the second image, and for each of the at least one set of groups, Calculate the similarity between the two groups included in the group of the group,
According to the similarity between the two groups calculated for the group set for each of the at least one group set, whether the two groups included in the group set are the same group Whether or not
A computer program for group association for causing a computer to execute this.
JP2015020521A 2015-02-04 2015-02-04 Group mapping device, group mapping method, and group mapping computer program Pending JP2016143335A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015020521A JP2016143335A (en) 2015-02-04 2015-02-04 Group mapping device, group mapping method, and group mapping computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015020521A JP2016143335A (en) 2015-02-04 2015-02-04 Group mapping device, group mapping method, and group mapping computer program

Publications (1)

Publication Number Publication Date
JP2016143335A true JP2016143335A (en) 2016-08-08

Family

ID=56570476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015020521A Pending JP2016143335A (en) 2015-02-04 2015-02-04 Group mapping device, group mapping method, and group mapping computer program

Country Status (1)

Country Link
JP (1) JP2016143335A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028784A (en) * 2016-08-17 2018-02-22 富士通株式会社 Movable body group detection program, movable body group detection device, and movable body group detection method
JP6407493B1 (en) * 2017-08-22 2018-10-17 三菱電機株式会社 Image processing apparatus and image processing method
JP2019033430A (en) * 2017-08-09 2019-02-28 キヤノン株式会社 Movie reproduction apparatus, control method thereof, and program
JP2019168886A (en) * 2018-03-23 2019-10-03 カシオ計算機株式会社 Detection body region detecting device, imaging device, flying device, detection body region detecting method, imaging method and program
JP2021013188A (en) * 2018-09-06 2021-02-04 日本電気株式会社 Method, device, and program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028784A (en) * 2016-08-17 2018-02-22 富士通株式会社 Movable body group detection program, movable body group detection device, and movable body group detection method
JP2019033430A (en) * 2017-08-09 2019-02-28 キヤノン株式会社 Movie reproduction apparatus, control method thereof, and program
US11200683B2 (en) 2017-08-22 2021-12-14 Mitsubishi Electric Corporation Image processing device and image processing method
JP6407493B1 (en) * 2017-08-22 2018-10-17 三菱電機株式会社 Image processing apparatus and image processing method
WO2019038821A1 (en) * 2017-08-22 2019-02-28 三菱電機株式会社 Image processing device and image processing method
KR20200020009A (en) * 2017-08-22 2020-02-25 미쓰비시덴키 가부시키가이샤 Image processing apparatus and image processing method
CN111033564A (en) * 2017-08-22 2020-04-17 三菱电机株式会社 Image processing apparatus and image processing method
GB2579736A (en) * 2017-08-22 2020-07-01 Mitsubishi Electric Corp Image processing device and image processing method
KR102150847B1 (en) 2017-08-22 2020-09-02 미쓰비시덴키 가부시키가이샤 Image processing apparatus and image processing method
GB2579736B (en) * 2017-08-22 2021-01-27 Mitsubishi Electric Corp Image processing device and image processing method
CN111033564B (en) * 2017-08-22 2023-11-07 三菱电机株式会社 Image processing apparatus and image processing method
JP2019168886A (en) * 2018-03-23 2019-10-03 カシオ計算機株式会社 Detection body region detecting device, imaging device, flying device, detection body region detecting method, imaging method and program
JP2022105047A (en) * 2018-03-23 2022-07-12 カシオ計算機株式会社 Imaging apparatus, flight device, imaging method, and program
US11250251B2 (en) 2018-09-06 2022-02-15 Nec Corporation Method for identifying potential associates of at least one target person, and an identification device
JP7302566B2 (en) 2018-09-06 2023-07-04 日本電気株式会社 Method, Apparatus and Program
JP2021013188A (en) * 2018-09-06 2021-02-04 日本電気株式会社 Method, device, and program

Similar Documents

Publication Publication Date Title
JP5102410B2 (en) Moving body detection apparatus and moving body detection method
Khan et al. Analyzing crowd behavior in naturalistic conditions: Identifying sources and sinks and characterizing main flows
WO2019023921A1 (en) Gesture recognition method, apparatus, and device
US20130258107A1 (en) Method of determining parking lot occupancy from digital camera images
Idrees et al. Tracking in dense crowds using prominence and neighborhood motion concurrence
JP6233624B2 (en) Information processing system, information processing method, and program
WO2009109127A1 (en) Real-time body segmentation system
JP2016143335A (en) Group mapping device, group mapping method, and group mapping computer program
CN104517095B (en) A kind of number of people dividing method based on depth image
US10157327B2 (en) Image processing device, image processing method, and program
EP2951783B1 (en) Method and system for detecting moving objects
Jiang et al. Multiple pedestrian tracking using colour and motion models
AU2015203666A1 (en) Methods and systems for controlling a camera to perform a task
Santoro et al. Crowd analysis by using optical flow and density based clustering
US20170053172A1 (en) Image processing apparatus, and image processing method
CN113920585A (en) Behavior recognition method and device, equipment and storage medium
CN107665495B (en) Object tracking method and object tracking device
Munteanu et al. The detection of moving objects in video by background subtraction using Dempster-Shafer theory
CN111027482B (en) Behavior analysis method and device based on motion vector segmentation analysis
JP6028972B2 (en) Image processing apparatus, image processing method, and image processing program
US20070223818A1 (en) Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video
JP2014203133A (en) Image processing device and image processing method
JP2018084926A (en) Image processing system, image processing apparatus and image processing method
JP2006010652A (en) Object-detecting device
Vijayarani et al. An efficient algorithm for facial image classification