JP2009143722A

JP2009143722A - Person tracking apparatus, person tracking method and person tracking program

Info

Publication number: JP2009143722A
Application number: JP2007325910A
Authority: JP
Inventors: Shinya Taguchi; 進也田口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-12-18
Filing date: 2007-12-18
Publication date: 2009-07-02

Abstract

<P>PROBLEM TO BE SOLVED: To accurately detect an individual person in a monitoring object area even when the monitoring object area is very crowded. <P>SOLUTION: The person tracking apparatus is provided with: a person detecting part 8 for detecting the person projected on an image taken by a plurality of cameras 1; and a three-dimensional position estimating part 9 for estimating a three-dimensional position of the individual person by stereoscopic vision of the individual person detected by the person detecting part 8. A movement track analysis part 10 monitors time change of the three-dimensional position of the individual person estimated by the three-dimensional position estimating part 9, and analyzes the movement track of the individual person. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、例えば、カメラにより撮影された映像に写っている個々の人物を検出して、個々の人物を追跡する人物追跡装置、人物追跡方法及び人物追跡プログラムに関するものである。 The present invention relates to, for example, a person tracking device, a person tracking method, and a person tracking program for detecting an individual person in an image captured by a camera and tracking the individual person.

例えば、高層ビルには非常に多数のエレベータが設置されており、早朝の通勤ラッシュ時や、お昼休みの混雑時などには、多数のエレベータをうまく連携させて、乗客を効率的に輸送しなければならない。
多数のエレベータの群管理を効率的に行うには、“誰がどの階で乗って、どの階で降りたか”という乗客の移動履歴を計測して、その移動履歴を群管理システムに提供する必要がある。 For example, there are a large number of elevators installed in high-rise buildings, and passengers must be transported efficiently by linking many elevators well during early morning commuting rush hours or during lunch breaks. I must.
In order to efficiently manage a large number of elevators, it is necessary to measure the movement history of passengers, such as “who got on which floor and which floor,” and provide the movement history to the group management system. is there.

従来より、カメラを用いることで、乗客の人数カウントや人物移動を計測する人物追跡装置が多数提案されている。
例えば、以下の特許文献１には、予め記憶している背景画像と、カメラから随時取り込む入力画像との差分の画像（背景差分画像）を求めることにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する手法が開示されている。
しかし、非常に混み合っているエレベータでは、約２５ｃｍ四方に一人の乗客が存在し、乗客が重なり合う状況が発生するため、背景差分画像は一塊のシルエットになる。
このため、背景差分画像から個々の人物を分離することは極めて困難である。 2. Description of the Related Art Conventionally, many person tracking devices that measure the number of passengers and the movement of people by using a camera have been proposed.
For example, in Patent Document 1 below, passengers in an elevator are detected by obtaining a difference image (background difference image) between a background image stored in advance and an input image captured from the camera as needed. A method for detecting the number of passengers is disclosed.
However, in a very crowded elevator, there is one passenger in a square of about 25 cm, and a situation occurs in which the passengers overlap, so the background differential image becomes a lump of silhouette.
For this reason, it is very difficult to separate individual persons from the background difference image.

また、以下の特許文献２には、エレベータのかご内の上部にカメラを設置し、予め記憶している頭部画像参照パターンとカメラの撮影画像とを対比することにより、エレベータ内の乗客を検出して、エレベータ内で乗客数を検知する手法が開示されている。
しかし、単純なパターンマッチングによる人物検出方法では、例えば、カメラから見て、ある人物が他の人物に隠れてしまっている場合など、遮蔽が生じている場合には、誤って人数をカウントしてしまうことがある。
また、エレベータのかご内に鏡が設置されている場合には、鏡に映っている人物を誤検出してしまうことがある。 Further, in Patent Document 2 below, a camera is installed in the upper part of an elevator car, and a passenger in the elevator is detected by comparing a head image reference pattern stored in advance with a captured image of the camera. And the method of detecting the number of passengers in an elevator is disclosed.
However, in the person detection method based on simple pattern matching, for example, when a person is hidden behind another person when viewed from the camera, the number of persons is counted incorrectly. It may end up.
In addition, when a mirror is installed in the elevator car, a person reflected in the mirror may be erroneously detected.

特開平８−２６６１１号公報（段落番号［００１６］、図１）JP-A-8-26611 (paragraph number [0016], FIG. 1) 特開２００６−１６８９３０号公報（段落番号［００２７］、図１）JP 2006-168930 A (paragraph number [0027], FIG. 1)

従来の人物追跡装置は以上のように構成されているので、エレベータが非常に混雑している状況などでは、エレベータ内の乗客を正確に検出することができないなどの課題があった。 Since the conventional person tracking device is configured as described above, there is a problem that the passengers in the elevator cannot be accurately detected in a situation where the elevator is very crowded.

この発明は上記のような課題を解決するためになされたもので、監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができる人物追跡装置、人物追跡方法及び人物追跡プログラムを得ることを目的とする。 The present invention has been made in order to solve the above-described problems, and is capable of accurately detecting individual persons in a monitoring target area even when the monitoring target area is very crowded. An object is to obtain a device, a person tracking method, and a person tracking program.

この発明に係る人物追跡装置は、複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段とを設け、移動軌跡解析手段が３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するようにしたものである。 The person tracking device according to the present invention includes a person detection unit that detects a person in an image captured by a plurality of image capturing units, and a stereo stereoscopic view of each person detected by the person detection unit. 3D position estimation means for estimating the three-dimensional position of each person, and the movement trajectory analysis means monitors temporal changes in the three-dimensional position of each person estimated by the 3D position estimation means, The movement trajectory of the person is analyzed.

この発明によれば、複数の映像撮影手段により撮影された映像に写っている人物を検出する人物検出手段と、人物検出手段により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定手段とを設け、移動軌跡解析手段が３次元位置推定手段により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するように構成したので、監視対象領域が非常に混雑している状況などでも、監視対象領域内の個々の人物を正確に検出することができるとともに、個々の人物を追跡することができる効果がある。 According to the present invention, the person detecting means for detecting a person shown in the images photographed by the plurality of image photographing means, and the individual person detected by the person detecting means are stereoscopically viewed in stereo, A three-dimensional position estimating means for estimating a three-dimensional position, and the movement trajectory analyzing means monitors the temporal change of the three-dimensional position of each person estimated by the three-dimensional position estimating means to move each person Since it is configured to analyze the trajectory, it is possible to accurately detect individual persons in the monitoring target area even when the monitoring target area is very crowded, and to track each person. There is an effect that can be done.

実施の形態１．
図１はこの発明の実施の形態１による人物追跡装置を示す構成図であり、図において、カメラ１はエレベータのかご内（監視対象領域）の上部に複数台設置されており、複数のカメラ１はかご内の映像を撮影して、その映像を映像取得部２に出力する。なお、カメラ１は映像撮影手段を構成している。
ただし、カメラ１の種類は特に問わず、一般的な監視カメラのほかに、可視カメラ、近赤外線領域まで撮影可能な高感度カメラ、熱源を撮影することが可能な遠赤外線カメラなどでもよい。また、距離計測が可能な赤外線距離センサや、レーザーレンジファインダなどで代用してもよい。
映像取得部２はカメラ１により撮影された映像を取得する映像入力インタフェースである。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing a person tracking apparatus according to Embodiment 1 of the present invention. In the figure, a plurality of cameras 1 are installed in the upper part of an elevator car (monitoring target area). The video in the cage is taken and the video is output to the video acquisition unit 2. The camera 1 constitutes a video photographing means.
However, the type of the camera 1 is not particularly limited, and in addition to a general monitoring camera, a visible camera, a high-sensitivity camera capable of photographing up to the near infrared region, a far infrared camera capable of photographing a heat source, and the like may be used. Further, an infrared distance sensor capable of measuring a distance or a laser range finder may be substituted.
The video acquisition unit 2 is a video input interface that acquires video captured by the camera 1.

カメラキャリブレーション部３はカメラパラメータ算出部４及び設置位置角度算出部５から構成されている。
カメラパラメータ算出部４は映像解析部６による人物の検出処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像の歪み具合を解析して、複数のカメラ１のカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌｐｏｉｎｔ）に関するパラメータ）を算出する処理を実施する。なお、カメラパラメータ算出部４はパラメータ算出手段を構成している。
設置位置角度算出部５は映像解析部６による人物の３次元位置の推定処理が開始される前に、複数のカメラ１により撮影されたキャリブレーションパターンの映像から、エレベータのかご内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する処理を実施する。なお、設置位置角度算出部５は設置位置角度算出手段を構成している。 The camera calibration unit 3 includes a camera parameter calculation unit 4 and an installation position angle calculation unit 5.
The camera parameter calculation unit 4 analyzes the degree of distortion of the images of the calibration patterns photographed by the plurality of cameras 1 before the image detection unit 6 starts the human detection process, and sets the camera parameters of the plurality of cameras 1. (Processing for calculating lens distortion, focal length, optical axis, image center (principal point)) is performed. The camera parameter calculation unit 4 constitutes parameter calculation means.
The installation position angle calculation unit 5 uses the calibration pattern images captured by the plurality of cameras 1 before the image analysis unit 6 starts the process of estimating the three-dimensional position of the person, with respect to the reference point in the elevator car. The process which calculates the installation position and installation angle of the some camera 1 is implemented. The installation position angle calculation unit 5 constitutes installation position angle calculation means.

映像解析部６は映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０から構成されており、人物の検出処理や移動軌跡の解析処理などを実施する。
映像補正部７はカメラパラメータ算出部４により算出されたカメラパラメータを用いて、映像取得部２により取得された複数の映像の歪みを補正する処理を実施する。なお、映像補正部７は映像補正手段を構成している。 The video analysis unit 6 includes a video correction unit 7, a person detection unit 8, a three-dimensional position estimation unit 9, and a movement trajectory analysis unit 10. The video analysis unit 6 performs a person detection process, a movement trajectory analysis process, and the like.
The video correction unit 7 uses the camera parameters calculated by the camera parameter calculation unit 4 to perform a process of correcting distortion of a plurality of videos acquired by the video acquisition unit 2. The video correction unit 7 constitutes video correction means.

人物検出部８は映像取得部２により取得された複数の映像に写っている人物（例えば、人間の頭部、肩、胴体など）を検出する処理を実施する。なお、人物検出部８は人物検出手段を構成している。
３次元位置推定部９は設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、人物検出部８により検出された個々の人物をステレオ立体視することにより、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部９は３次元位置推定手段を構成している。
移動軌跡解析部１０は３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するなど処理を実施する。なお、移動軌跡解析部１０は移動軌跡解析手段を構成している。 The person detection unit 8 performs processing for detecting a person (for example, a human head, a shoulder, a torso, etc.) shown in a plurality of videos acquired by the video acquisition unit 2. The person detection unit 8 constitutes a person detection unit.
The three-dimensional position estimation unit 9 uses the installation positions and installation angles of the plurality of cameras 1 calculated by the installation position angle calculation unit 5 to stereoscopically view each individual person detected by the person detection unit 8. The process of estimating the three-dimensional position of each individual person is performed. The three-dimensional position estimation unit 9 constitutes a three-dimensional position estimation unit.
The movement trajectory analysis unit 10 monitors the temporal change in the three-dimensional position of each person estimated by the three-dimensional position estimation unit 9, and performs processing such as analyzing the movement trajectory of each person. Note that the movement trajectory analysis unit 10 constitutes a movement trajectory analysis means.

図１の例では、人物追跡装置の構成要素である映像取得部２、カメラパラメータ算出部４、設置位置角度算出部５、映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０のそれぞれが専用のハードウェア（例えば、ＭＰＵを実装している半導体集積回路基板）で構成されているものを想定しているが、人物追跡装置がコンピュータで構成される場合、映像取得部２、カメラパラメータ算出部４、設置位置角度算出部５、映像補正部７、人物検出部８、３次元位置推定部９及び移動軌跡解析部１０の処理内容を記述している人物追跡プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されている人物追跡プログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の前処理部分）を示すフローチャートであり、図３はこの発明の実施の形態１による人物追跡方法の一部（人物追跡装置の後処理部分）を示すフローチャートである。 In the example of FIG. 1, the image acquisition unit 2, the camera parameter calculation unit 4, the installation position angle calculation unit 5, the image correction unit 7, the person detection unit 8, the three-dimensional position estimation unit 9, and the movement that are components of the person tracking device It is assumed that each of the trajectory analysis units 10 is configured by dedicated hardware (for example, a semiconductor integrated circuit board on which an MPU is mounted). A person tracking program describing the processing contents of the acquisition unit 2, the camera parameter calculation unit 4, the installation position angle calculation unit 5, the video correction unit 7, the person detection unit 8, the three-dimensional position estimation unit 9, and the movement trajectory analysis unit 10. May be stored in the memory of the computer, and the CPU of the computer may execute the person tracking program stored in the memory.
FIG. 2 is a flowchart showing a part of the person tracking method according to the first embodiment of the present invention (the pre-processing part of the person tracking apparatus), and FIG. 3 shows a part of the person tracking method according to the first embodiment of the present invention ( It is a flowchart which shows the post-processing part of a person tracking device.

次に動作について説明する。
最初に、カメラキャリブレーション部３が実施する前処理について説明する。
カメラキャリブレーション部３のカメラパラメータ算出部４がカメラパラメータ（レンズの歪み、焦点距離、光軸、画像中心（ｐｒｉｎｃｉｐａｌｐｏｉｎｔ）に関するパラメータ）を算出するに際して、個々のカメラ１がキャリブレーションパターンを撮影する（図２のステップＳＴ１）。 Next, the operation will be described.
First, preprocessing performed by the camera calibration unit 3 will be described.
When the camera parameter calculation unit 4 of the camera calibration unit 3 calculates camera parameters (parameters relating to lens distortion, focal length, optical axis, and image center), each camera 1 captures a calibration pattern. (Step ST1 in FIG. 2).

映像取得部２は、個々のカメラ１により撮影されたキャリブレーションパターンの映像を取得して、そのキャリブレーションパターンの映像をカメラキャリブレーション部３のカメラパラメータ算出部４に出力する。
キャリブレーションパターンとしては、例えば、大きさが既知の白黒のチェッカーフラグパターンなどが該当する（図４を参照）。
なお、キャリブレーションパターンは、１０〜２０通りの異なる角度からカメラ１により撮影される。 The video acquisition unit 2 acquires a calibration pattern video captured by each camera 1 and outputs the calibration pattern video to the camera parameter calculation unit 4 of the camera calibration unit 3.
As the calibration pattern, for example, a black and white checker flag pattern having a known size is applicable (see FIG. 4).
The calibration pattern is taken by the camera 1 from 10 to 20 different angles.

カメラキャリブレーション部３のカメラパラメータ算出部４は、映像取得部２からキャリブレーションパターンの映像を受けると、そのキャリブレーションパターンの映像の歪み具合を解析して、各カメラ１のカメラパラメータを算出する（ステップＳＴ２）。
カメラパラメータの算出方法は、公知の技術であるため詳細な説明を省略する。 When the camera parameter calculation unit 4 of the camera calibration unit 3 receives the image of the calibration pattern from the video acquisition unit 2, it analyzes the degree of distortion of the image of the calibration pattern and calculates the camera parameter of each camera 1. (Step ST2).
Since the camera parameter calculation method is a known technique, a detailed description thereof will be omitted.

次に、カメラキャリブレーション部３の設置位置角度算出部５が複数のカメラ１の設置位置及び設置角度を算出するに際して、複数のカメラ１がエレベータのかご内の上部に設置されたのち、複数のカメラ１が既知の大きさのカメラキャリブレーションパターンを同時に撮影する（ステップＳＴ３）。
例えば、図４に示すように、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いて、チェッカーフラグパターンが複数のカメラ１で同時に写るように撮影する。 Next, when the installation position angle calculation unit 5 of the camera calibration unit 3 calculates the installation positions and installation angles of the plurality of cameras 1, after the plurality of cameras 1 are installed in the upper part of the elevator car, the plurality of cameras 1 are installed. The camera 1 simultaneously captures a camera calibration pattern of a known size (step ST3).
For example, as shown in FIG. 4, a checker flag pattern is laid on the floor in the car as a calibration pattern, and a plurality of cameras 1 are photographed so that the checker flag pattern is captured simultaneously.

このとき、かご内の床に敷いているキャリブレーションパターンに対して、かご内の基準点（例えば、かごの入口）からの位置と角度をオフセットとして計測し、また、かごの内寸を計測しておくようにする。
図４の例では、キャリブレーションパターンとしてチェッカーフラグパターンをかご内の床に敷いているものを示しているが、これに限るものではなく、例えば、かご内の床に描かれた模様でもよい。この場合、床に描かれた模様の大きさを予め計測しておくようにする。
また、図５に示すように、キャリブレーションパターンとして、無人のかご内を撮影し、かご内の床と天井の四隅を選択したものでもよい。この場合、かごの内寸を計測しておくようにする。 At this time, with respect to the calibration pattern laid on the floor in the car, the position and angle from the reference point (for example, the car entrance) in the car are measured as an offset, and the inner dimensions of the car are measured. To keep.
In the example of FIG. 4, a calibration pattern in which a checker flag pattern is laid on the floor in the car is shown, but the invention is not limited to this, and for example, a pattern drawn on the floor in the car may be used. In this case, the size of the pattern drawn on the floor is measured in advance.
Further, as shown in FIG. 5, the calibration pattern may be obtained by photographing an unmanned car and selecting the four corners of the floor and ceiling in the car. In this case, measure the internal dimensions of the car.

カメラキャリブレーション部３の設置位置角度算出部５は、複数のカメラ１により撮影されたキャリブレーションパターンの映像と、カメラパラメータ算出部４により算出されたカメラパラメータを用いて、エレベータのかご内の基準点に対する複数のカメラ１の設置位置及び設置角度を算出する（ステップＳＴ４）。
具体的には、キャリブレーションパターンとして、例えば、白黒のチェッカーフラグパターンが用いられる場合、まず、複数のカメラ１により撮影されたチェッカーパターンに対するカメラ１の相対位置と相対角度を算出する。
次に、予め計測しているチェッカーパターンのオフセット（かご内の基準点であるかごの入口からの位置と角度）を複数のカメラ１の相対位置と相対角度に足し合わせることで、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を求める。 The installation position angle calculation unit 5 of the camera calibration unit 3 uses a calibration pattern image captured by the plurality of cameras 1 and the camera parameters calculated by the camera parameter calculation unit 4 to provide a reference in the elevator car. The installation positions and installation angles of the plurality of cameras 1 with respect to the point are calculated (step ST4).
Specifically, for example, when a black and white checker flag pattern is used as the calibration pattern, first, a relative position and a relative angle of the camera 1 with respect to the checker patterns photographed by the plurality of cameras 1 are calculated.
Next, by adding the offset of the checker pattern measured in advance (position and angle from the entrance of the car, which is the reference point in the car), to the relative position and relative angle of the plurality of cameras 1, the reference in the car is added. The installation positions and installation angles of the plurality of cameras 1 with respect to the point are obtained.

また、キャリブレーションパターンとして、例えば、かご内の床の四隅と天井の三隅が用いられる場合、予め計測しているかごの内寸から、かご内の基準点に対する複数のカメラ１の設置位置と設置角度を算出する。
この場合、かご内にカメラ１を設置するだけで、カメラ１の設置位置と設置角度を自動的に求めることが可能である。 In addition, for example, when the four corners of the floor in the car and the three corners of the ceiling are used as the calibration pattern, the installation position and the installation of the plurality of cameras 1 with respect to the reference point in the car are determined based on the inner dimensions of the car measured in advance. Calculate the angle.
In this case, it is possible to automatically obtain the installation position and installation angle of the camera 1 simply by installing the camera 1 in the car.

次に、映像解析部６が実施する後処理について説明する。
映像解析部６が人物の検出処理や移動軌跡の解析処理などを実施するに際して、複数のカメラ１が運行中のエレベータのかご内の映像を繰り返し撮影する。
映像取得部２は、複数のカメラ１により撮影されたかご内の映像を時々刻々と取得する（図３のステップＳＴ１１）。 Next, post-processing performed by the video analysis unit 6 will be described.
When the video analysis unit 6 performs a person detection process, a movement trajectory analysis process, and the like, a plurality of cameras 1 repeatedly captures images in an elevator car in operation.
The video acquisition unit 2 acquires videos in the car taken by the plurality of cameras 1 from time to time (step ST11 in FIG. 3).

映像解析部６の映像補正部７は、映像取得部２が複数のカメラ１により撮影された映像を取得する毎に、カメラパラメータ算出部４により算出されたカメラパラメータを用いて、複数の映像の歪みを補正し、歪みの無い映像である正規化画像を生成する（ステップＳＴ１２）。
映像の歪みを補正する方法は、公知の技術であるため詳細な説明を省略する。 The video correction unit 7 of the video analysis unit 6 uses the camera parameters calculated by the camera parameter calculation unit 4 each time the video acquisition unit 2 acquires videos taken by the plurality of cameras 1. The distortion is corrected, and a normalized image that is an image without distortion is generated (step ST12).
Since a method for correcting image distortion is a known technique, detailed description thereof is omitted.

映像解析部６の人物検出部８は、映像補正部７が複数のカメラ１により撮影された映像から正規化画像をそれぞれ生成すると、複数の正規化画像に存在している人間の頭部を検出し、頭部の画像座標と確信度を算出する（ステップＳＴ１３）。
ここで、頭部の画像座標は、人間の頭部の領域を囲む矩形の中心座標のことである。
また、確信度は、人物検出部８の検出物が、どの程度、人間の頭部に近いかを表現する指標であり、確信度が高いほど、人間の頭部である確率が高く、確信度が低いほど、人間の頭部である確率が低いことを表している。 The person detection unit 8 of the video analysis unit 6 detects the human heads present in the plurality of normalized images when the video correction unit 7 generates the normalized images from the images captured by the plurality of cameras 1. Then, the image coordinates of the head and the certainty factor are calculated (step ST13).
Here, the image coordinates of the head are center coordinates of a rectangle surrounding the human head region.
The certainty factor is an index that expresses how close the detected object of the person detection unit 8 is to the human head. The higher the certainty factor, the higher the probability of being a human head. The lower the value, the lower the probability of being a human head.

図６は人物検出部８による頭部の検出処理を示す説明図である。
図６の例では、かご内の天井に２台のカメラ１が設置されており、２台のカメラ１がかご内の乗客（人物）を撮影し、人物検出部８が２台のカメラ１の映像に係る正規化画像から乗客の頭部を検出している。頭部の検出結果には確信度が付随している。人物検出部８の検出結果には、図６に示すように、誤検出が存在していることがある。
乗客の頭部は、例えば、以下の非特許文献１に開示されている顔検出手法を利用して検出すればよい。
即ち、“ＲｅｃｔａｎｇｌｅＦｅａｔｕｒｅ”と呼ばれるハール基底状のパターンをＡｄａｂｏｏｓｔにより選択して多数の弱判別機を取得し、これら弱判別機の出力と適当な閾値をすべて加算した値を確信度として利用することができる。
「Viola, P.; Jones, M., "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001」 FIG. 6 is an explanatory diagram showing a head detection process by the person detection unit 8.
In the example of FIG. 6, two cameras 1 are installed on the ceiling in the car, the two cameras 1 photograph passengers (persons) in the car, and the person detection unit 8 includes two cameras 1. The head of the passenger is detected from the normalized image related to the video. A certainty factor is attached to the detection result of the head. In the detection result of the person detection unit 8, there may be a false detection as shown in FIG.
What is necessary is just to detect a passenger's head using the face detection method currently disclosed by the following nonpatent literature 1, for example.
That is, a Haar basis pattern called “Rectangular Feature” is selected by Adaboost to obtain a large number of weak classifiers, and a value obtained by adding all the outputs of these weak classifiers and appropriate thresholds is used as a certainty factor. Can do.
"Viola, P .; Jones, M.," Rapid Object Detection Using a Boosted Cascade of Simple Features ", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001 ''

また、人物検出部８は、例えば、以下の非特許文献２に開示されている道路標識検出方法を人間の頭部検出方法に応用して、その画像座標と確信度を算出するようにしてもよい。
「田口進也、神田準史郎、島嘉宏、瀧口純一、“特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 : 道路標識認識への適用”電子情報通信学会技術研究報告. IE, 画像工学,Vol.106, No.537(20070216) pp. 55-60,IE2006-270」なお、この実施の形態１では、人物検出部８が人物の頭部を検出するものを示しているが、検出対象は人物の特徴的な箇所であれば頭部に限るものではなく、例えば、人物の顔、肩や胴体などを検出するようにしてもよい。 Also, the person detection unit 8 may apply the road sign detection method disclosed in Non-Patent Document 2 below to the human head detection method to calculate the image coordinates and the certainty factor, for example. Good.
“Shinya Taguchi, Junshiro Kanda, Yoshihiro Shima, Junichi Higuchi,“ High-precision image recognition with a small number of samples using feature vector correlation coefficient matrix: Application to road sign recognition ”IEICE technical report. IE, Image Engineering, Vol.106, No.537 (20070216) pp. 55-60, IE2006-270 ”In the first embodiment, the person detection unit 8 detects the person's head. However, the detection target is not limited to the head as long as it is a characteristic part of the person, and for example, the face, shoulder, or torso of the person may be detected.

映像解析部６の３次元位置推定部９は、人物検出部８が人物の頭部を検出すると、設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、人物検出部８により検出された個々の人物の頭部をステレオ立体視することにより、個々の人物の３次元位置を推定する（ステップＳＴ１４）。
即ち、３次元位置推定部９は、設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求め、二つ以上の直線の交点又は近似的な交点を求めることで、人物の頭部の３次元位置を算出する。また、各直線に付随する確信度を加算して、その加算結果を頭部の３次元位置の確信度として出力する。 The three-dimensional position estimation unit 9 of the video analysis unit 6 uses the installation positions and installation angles of the plurality of cameras 1 calculated by the installation position angle calculation unit 5 when the person detection unit 8 detects the head of the person. Then, the three-dimensional position of each person is estimated by stereo-stereoscopically viewing the head of each person detected by the person detection unit 8 (step ST14).
That is, the three-dimensional position estimation unit 9 is detected by the center of the plurality of cameras 1 and the person detection unit 8 using the installation positions and installation angles of the plurality of cameras 1 calculated by the installation position angle calculation unit 5. A three-dimensional position of the person's head is calculated by obtaining a straight line passing through the head and obtaining an intersection or approximate intersection of two or more straight lines. Further, the certainty factor associated with each straight line is added, and the addition result is output as the certainty factor of the three-dimensional position of the head.

ここで、図７は３次元位置推定部９による３次元位置の推定処理を示す説明図である。
図７の例では、３次元位置推定部９が設置位置角度算出部５により算出された２台のカメラ１の設置位置及び設置角度と、人物検出部８により算出された頭部の画像座標とを用いて、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２とを描いて、二つの直線Ｖ１，Ｖ２の交点を頭部の３次元位置として推定する。 Here, FIG. 7 is an explanatory diagram showing a three-dimensional position estimation process by the three-dimensional position estimation unit 9.
In the example of FIG. 7, the installation position and installation angle of the two cameras 1 calculated by the installation position angle calculation unit 5 by the three-dimensional position estimation unit 9, and the image coordinates of the head calculated by the person detection unit 8 Is used to draw a straight line V1 from the center of the left camera 1 to the head and a straight line V2 from the center of the right camera 1 to the head, and the intersection of the two straight lines V1 and V2 Estimated as the three-dimensional position of the head.

また、３次元位置推定部９は、例えば、図中左側のカメラ１により撮影された映像に係る正規化画像から検出された頭部の確信度がｃｏｎｆ１＝２００であり、図中右側のカメラ１により撮影された映像に係る正規化画像から検出された頭部の確信度がｃｏｎｆ２＝１００である場合、これらの頭部の確信度を加算することにより、頭部の３次元位置の確信度ｃｏｎｆを算出する。
ｃｏｎｆ
＝ｃｏｎｆ１＋ｃｏｎｆ２
＝２００＋１００
＝３００ Further, the three-dimensional position estimation unit 9 has, for example, a head certainty factor conf1 = 200 detected from the normalized image related to the video captured by the left camera 1 in the figure, and the right camera 1 in the figure. When the certainty factor of the head detected from the normalized image related to the video taken by conf is conf2 = 100, the certainty factor conf of the three-dimensional position of the head is added by adding the certainty factors of these heads. Is calculated.
conf
= Conf1 + conf2
= 200 + 100
= 300

図７では、人物検出部８により一人の頭部が検出されている例を示しているが、複数の人物の頭部が検出される場合、図８（Ａ）に示すように、３次元位置推定部９が複数の直線の交点を求め、これらの交点を頭部の３次元位置として出力するようにする。なお、この段階では、誤って算出された頭部の３次元位置が含まれていることがある。 FIG. 7 shows an example in which one person's head is detected by the person detection unit 8, but when the heads of a plurality of persons are detected, as shown in FIG. The estimation unit 9 obtains intersections of a plurality of straight lines and outputs these intersections as a three-dimensional position of the head. Note that at this stage, a three-dimensional position of the head that is erroneously calculated may be included.

図７の例では、直線Ｖ１と直線Ｖ２が交わるものを示しているが、実際には、頭部の検出誤差やキャリブレーション誤差が原因で、直線Ｖ１と直線Ｖ２が近づいているだけで、交わらないこともある。
このような場合には、二つの直線Ｖ１，Ｖ２の距離を求め、この距離が一定範囲以内（例えば１５ｃｍ以内）であれば、二つの直線Ｖ１，Ｖ２が交わっているとみなして、その近似的な交点を求めるようにしてもよい。
以下、二つの直線Ｖ１，Ｖ２の距離と、その近似的な交点の算出法について説明する。 In the example of FIG. 7, the straight line V1 and the straight line V2 intersect. However, in actuality, the straight line V1 and the straight line V2 are merely brought close to each other due to head detection errors and calibration errors. Sometimes not.
In such a case, the distance between the two straight lines V1 and V2 is obtained, and if this distance is within a certain range (for example, within 15 cm), the two straight lines V1 and V2 are regarded as intersecting and approximated. You may make it ask | require a perfect intersection.
Hereinafter, the distance between the two straight lines V1 and V2 and a method of calculating an approximate intersection thereof will be described.

図９は近似的な交点の概念を示す説明図である。
ここでは説明の便宜上、二つの直線Ｖ１，Ｖ２上の点Ｘ１，Ｘ２の座標ｘ１，ｘ２が下記に示すように、パラメータ表示されるものとする。
ｘ１＝ａ１＋ｔ１＊ｂ１
ｘ２＝ａ２＋ｔ２＊ｂ２
ただし、ａ１，ａ２は原点から直線Ｖ１，Ｖ２までの３次元ベクトル、ｂ１，ｂ２は３次元の法線ベクトル、ｔ１，ｔ２はスカラーパラメータである。また、記号“＊”は掛け算を意味するものとする。
このとき、ユークリッド距離ｄ＝｜｜ｘ１−ｘ２｜｜の最小値を二つの直線Ｖ１，Ｖ２の距離と定義して、ユークリッド距離ｄが最小になるようなパラメータｔ１，ｔ２を求め、このときの点Ｘ１，Ｘ２の中間点を二つの直線Ｖ１，Ｖ２の近似的な交点と定義する。 FIG. 9 is an explanatory diagram showing the concept of an approximate intersection.
Here, for convenience of explanation, it is assumed that the coordinates x1, x2 of the points X1, X2 on the two straight lines V1, V2 are displayed as parameters as shown below.
x1 = a1 + t1 * b1
x2 = a2 + t2 * b2
Here, a1 and a2 are three-dimensional vectors from the origin to the straight lines V1 and V2, b1 and b2 are three-dimensional normal vectors, and t1 and t2 are scalar parameters. The symbol “*” means multiplication.
At this time, the minimum value of the Euclidean distance d = || x1−x2 || is defined as the distance between the two straight lines V1 and V2, and parameters t1 and t2 that minimize the Euclidean distance d are obtained. An intermediate point between points X1 and X2 is defined as an approximate intersection of two straight lines V1 and V2.

次に、ユークリッド距離ｄが最小になるようなパラメータｔ１，ｔ２を求める方法について説明する。
ユークリッド距離ｄが最小になるための必要条件は、ｄ²のｔ１とｔ２に関する変微分が０になることである。即ち、下式を満たすことである。
∂ｄ²／∂ｔ１＝０
∂ｄ²／∂ｔ２＝０
このことから、下式が得られる。
ｂ１^T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ｂ２^T＊（ａ１＋ｔ１＊ｂ１−ａ２−ｔ２＊ｂ２）＝０
ただし、Ｔは転置記号である。 Next, a method for obtaining the parameters t1 and t2 that minimize the Euclidean distance d will be described.
A necessary condition for minimizing the Euclidean distance d is that the variable derivative of d ² with respect to t1 and t2 is zero. That is, the following formula is satisfied.
∂d ² / ∂t1 = 0
∂d ² / ∂t2 = 0
From this, the following equation is obtained.
b1 ^T * (a1 + t1 * b1-a2-t2 * b2) = 0
b2 ^T * (a1 + t1 * b1-a2-t2 * b2) = 0
However, T is a transposed symbol.

上の二つの式をパラメータｔ１，ｔ２について解くと次式が得られる。

パラメータｔ１，ｔ２からｄ²の最小値が求まるので、このときの点Ｘ１，Ｘ２の中間点を算出すれば、二つの直線Ｖ１，Ｖ２の近似的な交点が求まる。 When the above two equations are solved for the parameters t1 and t2, the following equation is obtained.

Since the parameters t1, t2 minimum value of d ² is obtained from, by calculating the midpoint of the point X1, X2 in this case, obtained is approximate the intersection of two straight lines V1, V2.

この実施の形態１では、３次元位置推定部９が、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求め、二つ以上の直線の交点又は近似的な交点を求めることで、人物の頭部の３次元位置を算出するものについて示したが、図１０に示すように、図中左側のカメラ１から見たとき、人物Ｂが人物Ａに隠れてしまって、図中左側のカメラ１の映像に人物Ｂが写らない場合がある。
このような場合には、図中左側のカメラ１の中心から人物Ｂの頭部に向かう直線を描くことができず、人物Ｂの頭部において、二つ以上の直線の交点又は近似的な交点を求めることができない。 In the first embodiment, the three-dimensional position estimation unit 9 obtains a straight line passing through the center of the plurality of cameras 1 and the head detected by the person detection unit 8, and an intersection of two or more straight lines or an approximate intersection FIG. 10 shows the calculation of the three-dimensional position of the person's head. As shown in FIG. 10, the person B is hidden by the person A when viewed from the left camera 1 in the figure. In some cases, the person B may not appear in the video of the camera 1 on the left side of the figure.
In such a case, it is not possible to draw a straight line from the center of the camera 1 on the left side of the figure to the head of the person B, and in the head of the person B, an intersection of two or more straight lines or an approximate intersection Cannot be asked.

そこで、このような場合には、確信度が高い頭部を通る直線（図１０の例では、図中右側のカメラ１の中心から人物Ｂの頭部に向かう直線Ｖ）上の点のうち、床からの高さが人間の平均身長である点を求め、この点の位置を人物Ｂの頭部の３次元位置として算出するようにする。
これにより、人物が一つのカメラにしか写らないような場合でも、その人物の頭部の３次元位置を暫定的に求めることが可能となる。 Therefore, in such a case, among the points on a straight line passing through the head with high certainty (in the example of FIG. 10, a straight line V from the center of the camera 1 on the right side to the head of the person B in the figure) A point where the height from the floor is the average height of the person is obtained, and the position of this point is calculated as the three-dimensional position of the head of the person B.
As a result, even when a person is captured by only one camera, the three-dimensional position of the person's head can be provisionally obtained.

３次元位置推定部９は、人物検出部８により検出された個々の人物の頭部の３次元位置を算出したのち、誤って算出した３次元位置を破棄するため、個々の人物の頭部の３次元位置をフィルタリングする（ステップＳＴ１５）。
即ち、３次元位置推定部９は、人物検出部８が人物の頭部を誤検出することが原因で、頭部の３次元位置を誤って算出することがあるので、例えば、頭部の３次元位置が以下の条件（ア）〜（エ）に合致しない場合、その３次元位置の算出結果を破棄する。
条件（ア）人物の身長が一定長（例えば、５０ｃｍ）以上である
条件（イ）人物が特定の領域内（例えば、かご内）に存在する
条件（ウ）特定の範囲（例えば、２５ｃｍ四方）には人物が一人しか存在できない
条件（エ）頭部の確信度が一定値以上である The three-dimensional position estimation unit 9 calculates the three-dimensional position of each person's head detected by the person detection unit 8 and then discards the erroneously calculated three-dimensional position. The three-dimensional position is filtered (step ST15).
That is, the three-dimensional position estimation unit 9 may erroneously calculate the three-dimensional position of the head because the person detection unit 8 erroneously detects the head of the person. If the dimension position does not meet the following conditions (a) to (d), the calculation result of the three-dimensional position is discarded.
Condition (a) The person's height is a certain length (for example, 50 cm) or more Condition (b) The person is present in a specific area (for example, in a cage) Condition (c) Specific range (for example, 25 cm square) There can only be one person in condition (d) The certainty of the head is above a certain value

条件（ア）により、低い位置にある誤検出の頭部の３次元位置を破棄することができる。
条件（イ）により、例えば、かご内に設置された鏡に映っている人物像について誤検出された頭部の３次元位置を破棄することができる。
条件（ウ）により、特定の領域内に存在する複数の頭部の３次元位置を一つにまとめて出力することが可能になる。
条件（エ）により、頭部である確率が低い物体の３次元位置を破棄することができる。
このような３次元位置のフィルタリングにより、図８（Ｂ）に示すような正しい３次元位置を算出することが可能になる。 According to the condition (a), the three-dimensional position of the erroneously detected head at a low position can be discarded.
According to the condition (A), for example, the three-dimensional position of the head erroneously detected with respect to the human image reflected in the mirror installed in the car can be discarded.
According to the condition (c), it is possible to collectively output the three-dimensional positions of a plurality of heads existing in a specific region.
According to the condition (d), the three-dimensional position of an object with a low probability of being a head can be discarded.
Such filtering of the three-dimensional position makes it possible to calculate a correct three-dimensional position as shown in FIG.

映像解析部６の移動軌跡解析部１０は、３次元位置推定部９が個々の頭部の３次元位置を推定する毎に、個々の頭部の３次元位置の時間的変化を監視して、個々の頭部の３次元位置の移動軌跡を解析する（ステップＳＴ１６）。
以下、移動軌跡解析部１０による移動軌跡の解析処理を具体的に説明する。
図１１は移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。 Each time the 3D position estimation unit 9 estimates the 3D position of each head, the movement trajectory analysis unit 10 of the video analysis unit 6 monitors temporal changes in the 3D position of each head, The movement trajectory of the three-dimensional position of each head is analyzed (step ST16).
Hereinafter, the movement locus analysis processing by the movement locus analysis unit 10 will be described in detail.
FIG. 11 is an explanatory diagram showing a movement locus analysis process performed by the movement locus analysis unit 10.

例えば、図１１（Ａ）に示すように、３次元位置推定部９が時刻ｔ−１において、頭部の３次元位置Ｘ１_t-1とＸ２_t-1を算出するものとする。
ただし、Ｘ１_t-1は、移動軌跡解析部１０が個々の人物を識別するために、移動軌跡解析部１０によって“１”とラベル付けされた頭部の３次元位置であり、Ｘ２_t-1は移動軌跡解析部１０によって“２”とラベル付けされた頭部の３次元位置である。
また、３次元位置推定部９は、時刻ｔにおいて、未だラベル付けされていない３次元位置も算出する。 For example, as shown in FIG. 11A, it is assumed that the three-dimensional position estimation unit 9 calculates the three-dimensional positions X1 _t-1 and X2 _t-1 of the head at time t-1.
However, X1 _t-1 is the three-dimensional position of the head labeled “1” by the movement trajectory analysis unit 10 in order for the movement trajectory analysis unit 10 to identify individual persons, and X2 _t-1 Is the three-dimensional position of the head labeled “2” by the movement trajectory analysis unit 10.
In addition, the three-dimensional position estimation unit 9 also calculates a three-dimensional position that has not yet been labeled at time t.

移動軌跡解析部１０は、３次元位置推定部９が、時刻ｔにおいて、２つの３次元位置を算出すると、時刻ｔにおける２つの３次元位置の中で、時刻ｔ−１における３次元位置Ｘ１_t-1に最近傍の３次元位置を探索して、その３次元位置に“１”のラベル付けを行うとともに、時刻ｔ−１における３次元位置Ｘ２_t-1に最近傍の３次元位置を探索して、その３次元位置に“２”のラベル付けを行う。
図１１（Ｂ）の例では、時刻ｔにおける２つの３次元位置の中で、図中左側の３次元位置が時刻ｔ−１における３次元位置Ｘ１_t-1と最近傍であるため、図中左側の３次元位置に“１”のラベルを付けて、その３次元位置をＸ１_tとする。
また、図中右側の３次元位置が時刻ｔ−１における３次元位置Ｘ２_t-1と最近傍であるため、図中右側の３次元位置に“２”のラベルを付けて、その３次元位置をＸ２_tとする。
このように、時々刻々と最近傍に存在する頭部の３次元位置を探索し、同一のラベルを付けていくことにより、同一人物の頭部の３次元位置を時々刻々と追跡することができるようになる。 When the three-dimensional position estimation unit 9 calculates two three-dimensional positions at time t, the movement trajectory analysis unit 10 calculates the three-dimensional position X1 _{t at} time t-1 among the two three-dimensional positions at time _{t. -1} is searched for the nearest three-dimensional position, and the three-dimensional position is labeled "1", and the nearest three-dimensional position is searched for at the three _- dimensional position X2 _t-1 at time t-1. Then, “2” is labeled on the three-dimensional position.
In the example of FIG. 11B, among the two three-dimensional positions at time t, the three-dimensional position on the left side in the figure is closest to the three-dimensional position X1 _{t-1 at} time t−1. A label “1” is attached to the left three-dimensional position, and the three-dimensional position is defined as X1 _t .
Further, since the three-dimensional position on the right side in the figure is closest to the three-dimensional position X2 _{t-1 at} time t-1, the label “2” is attached to the three-dimensional position on the right side in the figure, and the three-dimensional position. Is _X2t .
In this way, the three-dimensional position of the head of the same person can be tracked from moment to moment by searching for the three-dimensional position of the head that is closest to the moment and attaching the same label. It becomes like this.

ただし、移動軌跡解析部１０は、頭部の３次元位置を追跡する際、その頭部の３次元位置の確信度を時々刻々と累積して、その３次元位置の確信度を所定の閾値と比較し、確信度が閾値より低い３次元位置を破棄するようにする。
即ち、移動軌跡解析部１０は、時刻ｔ−１における３次元位置Ｘ１_t-1の確信度がｃｏｎｆ１_t-1であり、時刻ｔにおける３次元位置Ｘ１_tの確信度がｃｏｎｆ１_tであるとき、次式にしたがって時刻ｔにおける３次元位置Ｘ１_tの確信度ｃｏｎｆ１_tを更新する。
ｃｏｎｆ１_t ← α＊ｃｏｎｆ１_t＋β＊ｃｏｎｆ１_t-1＋γ
ここで、α，β，γは確信度の更新程度を調整する適当なパラメータである。 However, when tracking the three-dimensional position of the head, the movement trajectory analysis unit 10 accumulates the certainty of the three-dimensional position of the head every moment and sets the certainty of the three-dimensional position as a predetermined threshold value. In comparison, a three-dimensional position having a certainty factor lower than the threshold is discarded.
That is, when the certainty factor of the three-dimensional position X1 _t-1 at time t−1 is conf1 _t−1 and the certainty factor of the three-dimensional position X1 _t at time t is conf1 _t , The certainty factor conf1 _t of the three-dimensional position X1 _t at time _t is updated according to the following equation.
conf1 _t ← α * conf1 _t + β * conf1 _t−1 + γ
Here, α, β, and γ are appropriate parameters for adjusting the degree of confidence update.

移動軌跡解析部１０は、時刻ｔにおける３次元位置Ｘ１_tの確信度ｃｏｎｆ１_tを更新して、更新後の確信度ｃｏｎｆ１_tがある一定の閾値未満であれば、該当の３次元位置Ｘ１_tは頭部の３次元位置ではないとして、その３次元位置を破棄する。
例えば、人物検出部８が、時刻ｔにおいて、一度だけ頭部を誤検出したとき、例えば、α＝０．５、β＝０．５、γ＝0と設定されていれば、その頭部の３次元位置の確信度が時間の経過と共に減衰していくので、確信度の閾値処理によって、その３次元位置を取り除くことが可能になる。 The movement trajectory analysis unit 10 updates the certainty factor conf1 t of the three-dimensional position X1 _t at time _t , and if the updated certainty factor conf1 _t is less than a certain threshold, the corresponding three-dimensional position X1 _t is Assuming that it is not the three-dimensional position of the head, the three-dimensional position is discarded.
For example, when the person detection unit 8 erroneously detects a head only once at time t, for example, if α = 0.5, β = 0.5, and γ = 0 are set, Since the certainty factor of the three-dimensional position is attenuated with time, the three-dimensional position can be removed by the threshold value processing of the certainty factor.

この実施の形態１では、移動軌跡解析部１０が時々刻々と最近傍に存在する頭部の３次元位置を探索し、同一のラベルを付けていくことで、頭部の３次元位置の移動軌跡を解析するものについて示したが、頭部の３次元位置の確率分布を時々刻々と推定して、頭部の３次元位置の移動軌跡を解析するようにしてもよい。
即ち、移動軌跡解析部１０は、例えば、次式にしたがって時々刻々と確率分布Ｐ（Ｘ_t｜Ｙ_t）を求める。 In the first embodiment, the movement trajectory analysis unit 10 searches for the three-dimensional position of the head that is closest to the moment, and attaches the same label, thereby moving the movement trajectory of the three-dimensional position of the head. However, it is also possible to analyze the movement trajectory of the three-dimensional position of the head by estimating the probability distribution of the three-dimensional position of the head every moment.
That is, the movement trajectory analysis unit 10 obtains a probability distribution P (X _t | Y _t ) from moment to moment according to the following equation, for example.

また、上式における尤度関数Ｐ（Ｙ_t｜Ｘ_t）と状態遷移確率Ｐ（Ｘ_t｜Ｘ_t-1）は次式で与えられる。

The likelihood function P (Y _t | X _t ) and the state transition probability P (X _t | X _t−1 ) in the above equation are given by the following equations.

ここで、ａ，ｂ，ｃ，ｄ，δは適当な定数である。また、ｆ_kはかごの３次元座標系からｋ番目のカメラ１の正規化画像の座標系への射影関数である。
上記の確率分布Ｐ（Ｘ_t｜Ｙ_t）はカルマンフィルタや“ＰａｒｔｉｃｌｅＦｉｌｔｅｒ”によって計算することができ、最終的に確率分布Ｐ（Ｘ_t｜Ｙ_t）を最大化するＸ_tを求めて、このＸ_tを頭部の３次元位置の推定値とする。
また、ΠＰ（ｙ_t ⁿ，ｃｏｎｆ_t ^k,n｜ｘ_t ^m）は推定した３次元位置ｘ_t ^mが頭部である確からしさであり、この値が一定の閾値よりも低いものを削除することで、頭部の誤検出を削減することができる。 Here, a, b, c, d, and δ are appropriate constants. F _k is a projection function from the three-dimensional coordinate system of the car to the coordinate system of the normalized image of the k-th camera 1.
The above probability distribution P (X _{_t} | Y _t) can be calculated by the Kalman filter Ya "Particle Filter", finally the probability distribution P | seeking X _t to maximize the (X _{_t} Y _t), this Let _{Xt be} the estimated value of the three-dimensional position of the head.
Also, ΠP (y _t ⁿ , conf _t ^{k, n} | x _t ^m ) is the probability that the estimated three-dimensional position x _t ^m is the head, and those whose values are lower than a certain threshold are deleted. As a result, erroneous head detection can be reduced.

移動軌跡解析部１０は、上記のようにして、人物の頭部の３次元位置の移動軌跡を解析すると、エレベータの停止階を示す停止階情報と個々の人物の移動軌跡とを照らし合わせて、“どの人物がどの階で乗って、どの階で降りたか”を示す個々の人物の移動履歴を求める（ステップＳＴ１７）。
例えば、頭部の移動軌跡がエレベータの入口から開始していれば、該当の階から乗車していると判断し、また、移動軌跡がエレベータの出口で終了していれば、該当の階から降車していると判断する。
なお、停止階情報は、エレベータの制御機器から取得するようにしてもよいし、カメラ１により撮影された映像に写っているエレベータのコントローラの文字盤を認識して、画像処理によって停止階の情報を取得するようにしてもよい。 When the movement trajectory analysis unit 10 analyzes the movement trajectory of the three-dimensional position of the person's head as described above, the movement trajectory analysis unit 10 compares the stop floor information indicating the stop floor of the elevator with the movement trajectory of each person, The movement history of each person indicating “which person got on which floor and on which floor” is obtained (step ST17).
For example, if the head movement trajectory starts from the elevator entrance, it is determined that the passenger is getting on the corresponding floor, and if the movement trajectory ends at the elevator exit, it gets off from the corresponding floor. Judge that you are doing.
The stop floor information may be obtained from the elevator control device, or the stop floor information is recognized by image processing by recognizing the dial of the elevator controller in the video taken by the camera 1. May be obtained.

移動軌跡解析部１０は、上記のようにして、個々の人物の移動履歴を求めると、その移動履歴を複数台のエレベータの運行を管理する群管理システムに与えるようにする。
これにより、群管理システムでは、常に最適なエレベータの群管理を実施することが可能になる。 When the movement locus analysis unit 10 obtains the movement history of each person as described above, the movement locus analysis unit 10 gives the movement history to the group management system that manages the operation of a plurality of elevators.
As a result, the group management system can always carry out optimum group management of the elevator.

以上で明らかなように、この実施の形態１によれば、複数のカメラ１により撮影された映像に写っている人物を検出する人物検出部８と、人物検出部８により検出された個々の人物をステレオ立体視して、個々の人物の３次元位置を推定する３次元位置推定部９とを設け、移動軌跡解析部１０が３次元位置推定部９により推定された個々の人物の３次元位置の時間的変化を監視して、個々の人物の移動軌跡を解析するように構成したので、エレベータのかご内が非常に混雑している状況などでも、かご内の個々の人物を正確に検出することができるとともに、個々の人物を追跡することができる効果を奏する。 As is apparent from the above, according to the first embodiment, a person detection unit 8 that detects a person shown in images taken by a plurality of cameras 1, and individual persons detected by the person detection unit 8 And a three-dimensional position estimation unit 9 for estimating the three-dimensional position of each person, and the movement trajectory analysis unit 10 estimates the three-dimensional position of each person estimated by the three-dimensional position estimation unit 9. The system is designed to analyze the movement trajectory of each person by monitoring the time change of the car, so it can accurately detect each person in the car even when the elevator car is very crowded. In addition, it is possible to track individual persons.

また、この実施の形態１によれば、個々の人物の３次元位置の推定結果が所定の検出条件に合致しない場合、その３次元位置の推定結果を破棄するように構成したので、誤検出された人物の３次元位置が除かれて、人物の検出精度や追跡精度を高めることができる効果を奏する。 Further, according to the first embodiment, when the estimation result of the three-dimensional position of each person does not match a predetermined detection condition, the estimation result of the three-dimensional position is discarded, so that it is erroneously detected. This eliminates the three-dimensional position of the person and improves the person detection accuracy and tracking accuracy.

さらに、この実施の形態１によれば、３次元位置推定部９により算出された３次元位置の確信度を所定の閾値と比較して、確信度が所定の閾値より低い３次元位置を除いて、個々の人物の移動軌跡を解析するように構成したので、誤検出された人物の３次元位置が除かれて、人物の検出精度や追跡精度を高めることができる効果を奏する。 Further, according to the first embodiment, the certainty factor of the three-dimensional position calculated by the three-dimensional position estimating unit 9 is compared with a predetermined threshold value, and the three-dimensional position whose certainty factor is lower than the predetermined threshold value is excluded. Since the configuration is such that the movement trajectory of each individual person is analyzed, the three-dimensional position of the erroneously detected person is removed, and there is an effect that the person detection accuracy and tracking accuracy can be improved.

なお、この実施の形態１では、監視対象領域がエレベータのかご内であるものについて示したが、これに限るものではなく、例えば、電車の中を監視対象領域として、電車の混雑度などを計測するようにしてもよい。
また、セキュリティニーズの高い場所を監視対象領域として、人物の移動履歴を求めることにより、不審な行動を監視することも可能である。
あるいは、駅や店舗などで、人物の移動軌跡を解析することにより、マーケティングなどに利用することもできる。 In the first embodiment, the monitoring target area is in the elevator car. However, the present invention is not limited to this. For example, the congestion level of the train is measured using the train as the monitoring target area. You may make it do.
It is also possible to monitor suspicious behavior by obtaining a person's movement history using a place with high security needs as a monitoring target area.
Alternatively, it can be used for marketing or the like by analyzing the movement trajectory of a person at a station or a store.

また、エスカレータの踊り場を監視対象領域として、エスカレータの踊り場に存在する人物の数をカウントし、エスカレータの踊り場が混雑してくれば、例えば、エスカレータの運行を徐行や停止を行って、エスカレータで人物が将棋倒しになってしまうなどの事故を未然に回避することもできる。 In addition, with the escalator landing area as the monitoring area, count the number of people present on the escalator landing area. Accidents such as becoming a shogi defeat can also be avoided.

実施の形態２．
図１２はこの発明の実施の形態２による人物追跡装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
感圧センサ１１は監視対象領域であるエレベータのかご内の床に敷かれており、人物の体重によって圧力が掛かっている位置を示すセンサ信号を足跡解析部１２に出力する。
足跡解析部１２は感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する処理を実施する。
３次元位置推定部１３は足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定する処理を実施する。なお、３次元位置推定部１３は３次元位置推定手段を構成している。 Embodiment 2. FIG.
FIG. 12 is a block diagram showing a person tracking apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG.
The pressure-sensitive sensor 11 is laid on the floor in the elevator car, which is the monitoring target area, and outputs a sensor signal indicating the position where pressure is applied depending on the weight of the person to the footprint analysis unit 12.
The footprint analysis unit 12 performs a process of specifying a position where a person's foot is located from the sensor signal output from the pressure-sensitive sensor 11.
The three-dimensional position estimation unit 13 performs a process of estimating the three-dimensional position of each person in consideration of the position of the person's foot specified by the footprint analysis unit 12. The three-dimensional position estimation unit 13 constitutes a three-dimensional position estimation unit.

上記実施の形態１では、３次元位置推定部９が設置位置角度算出部５により算出された複数のカメラ１の設置位置及び設置角度を利用して、個々の人物の３次元位置を推定するものについて示したが、さらに、足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定するようにしてもよい。
具体的には、以下の通りである。
図１３は３次元位置推定部１３による３次元位置の推定処理を示す説明図である。 In the first embodiment, the three-dimensional position estimation unit 9 estimates the three-dimensional position of each person using the installation positions and installation angles of the plurality of cameras 1 calculated by the installation position angle calculation unit 5. However, the three-dimensional position of each person may be estimated in consideration of the position of the person's foot specified by the footprint analysis unit 12.
Specifically, it is as follows.
FIG. 13 is an explanatory diagram illustrating a three-dimensional position estimation process performed by the three-dimensional position estimation unit 13.

感圧センサ１１は、人物の体重によって圧力が掛かっている位置を示すセンサ信号を足跡解析部１２に出力する。
足跡解析部１２は、感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定する。 The pressure-sensitive sensor 11 outputs a sensor signal indicating a position where pressure is applied depending on the weight of the person to the footprint analysis unit 12.
The footprint analysis unit 12 identifies the position where the person's foot is located from the sensor signal output from the pressure sensor 11.

３次元位置推定部１３は、図１の３次元位置推定部９と同様に、複数のカメラ１の設置位置及び設置角度を利用して、複数のカメラ１の中心と人物検出部８により検出された頭部を通る直線を求めるとともに、足跡解析部１２により特定された人物の足がある位置から天井に向う直線を求めることで、人物の頭部の３次元位置を算出する。また、各直線に付随する確信度を加算して、その加算結果を頭部の３次元位置の確信度として出力する。
図１３の例では、図中左側のカメラ１の中心から頭部に向かう直線Ｖ１と、図中右側のカメラ１の中心から頭部に向かう直線Ｖ２と、足跡解析部１２により特定された人物の足がある位置から天井に向う直線Ｖ３とを描いて、三つの直線Ｖ１，Ｖ２，Ｖ３の交点又は近似的な交点を頭部の３次元位置として推定する。
その他の処理内容は、上記実施の形態１と同様であるため説明を省略する。 Similar to the three-dimensional position estimation unit 9 of FIG. 1, the three-dimensional position estimation unit 13 is detected by the center of the plurality of cameras 1 and the person detection unit 8 using the installation positions and installation angles of the plurality of cameras 1. The three-dimensional position of the person's head is calculated by obtaining a straight line passing through the head and obtaining a straight line from the position where the person's foot specified by the footprint analysis unit 12 is directed to the ceiling. Further, the certainty factor associated with each straight line is added, and the addition result is output as the certainty factor of the three-dimensional position of the head.
In the example of FIG. 13, a straight line V1 from the center of the left camera 1 to the head, a straight line V2 from the center of the right camera 1 to the head, and the person specified by the footprint analysis unit 12 A straight line V3 from the position where the foot is located toward the ceiling is drawn, and the intersection or approximate intersection of the three straight lines V1, V2, V3 is estimated as the three-dimensional position of the head.
Since other processing contents are the same as those in the first embodiment, description thereof is omitted.

以上で明らかなように、この実施の形態２によれば、足跡解析部１２が感圧センサ１１より出力されるセンサ信号から人物の足がある位置を特定し、３次元位置推定部１３が足跡解析部１２により特定された人物の足がある位置を考慮して、個々の人物の３次元位置を推定するように構成したので、上記実施の形態１よりも更に、３次元位置の推定精度を高めることができる効果を奏する。 As is apparent from the above, according to the second embodiment, the footprint analysis unit 12 specifies the position of the person's foot from the sensor signal output from the pressure sensor 11, and the three-dimensional position estimation unit 13 performs the footprint. Since the configuration is such that the three-dimensional position of each person is estimated in consideration of the position of the person's foot specified by the analysis unit 12, the estimation accuracy of the three-dimensional position is further improved than in the first embodiment. There is an effect that can be enhanced.

この発明の実施の形態１による人物追跡装置を示す構成図である。It is a block diagram which shows the person tracking device by Embodiment 1 of this invention. この発明の実施の形態１による人物追跡方法の一部（人物追跡装置の前処理部分）を示すフローチャートである。It is a flowchart which shows a part (pre-processing part of a person tracking device) of the person tracking method by Embodiment 1 of this invention. この発明の実施の形態１による人物追跡方法の一部（人物追跡装置の後処理部分）を示すフローチャートである。It is a flowchart which shows a part of person tracking method by Embodiment 1 of this invention (the post-processing part of a person tracking device). キャリブレーションパターンの設置例を示す説明図である。It is explanatory drawing which shows the example of installation of a calibration pattern. キャリブレーションパターンとして、かご内の床と天井の四隅が選択される例を示す説明図である。It is explanatory drawing which shows the example by which the four corners of the floor in a cage | basket | car and a ceiling are selected as a calibration pattern. 人物検出部８による頭部の検出処理を示す説明図である。It is explanatory drawing which shows the detection process of the head by the person detection part. ３次元位置推定部９による３次元位置の推定処理を示す説明図である。It is explanatory drawing which shows the estimation process of the three-dimensional position by the three-dimensional position estimation part 9. FIG. ３次元位置推定部９による３次元位置の推定処理を示す説明図である。It is explanatory drawing which shows the estimation process of the three-dimensional position by the three-dimensional position estimation part 9. FIG. 近似的な交点の概念を示す説明図である。It is explanatory drawing which shows the concept of an approximate intersection. 移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。It is explanatory drawing which shows the analysis process of the movement locus | trajectory by the movement locus | trajectory analysis part. 移動軌跡解析部１０による移動軌跡の解析処理を示す説明図である。It is explanatory drawing which shows the analysis process of the movement locus | trajectory by the movement locus | trajectory analysis part. この発明の実施の形態２による人物追跡装置を示す構成図である。It is a block diagram which shows the person tracking device by Embodiment 2 of this invention. ３次元位置推定部１３による３次元位置の推定処理を示す説明図である。It is explanatory drawing which shows the estimation process of the three-dimensional position by the three-dimensional position estimation part 13. FIG.

Explanation of symbols

１カメラ（映像撮影手段）、２映像取得部、３カメラキャリブレーション部、４カメラパラメータ算出部（パラメータ算出手段）、５設置位置角度算出部（設置位置角度算出手段）、６映像解析部、７映像補正部（映像補正手段）、８人物検出部（人物検出手段）、９，１３３次元位置推定部（３次元位置推定手段）、１０移動軌跡解析部（移動軌跡解析手段）、１１感圧センサ、１２足跡解析部。 DESCRIPTION OF SYMBOLS 1 Camera (image | video imaging | photography means), 2 Image | video acquisition part, 3 Camera calibration part, 4 Camera parameter calculation part (parameter calculation means), 5 Installation position angle calculation part (Installation position angle calculation means), 6 Image | video analysis part, 7 Image correction unit (image correction unit), 8 Person detection unit (person detection unit), 9, 13 3D position estimation unit (3D position estimation unit), 10 Movement track analysis unit (movement track analysis unit), 11 Pressure sensitivity Sensor, 12 footprint analysis unit.

Claims

A plurality of video photographing means for photographing the video of the monitoring target area, a person detecting means for detecting a person in the video photographed by the plurality of video photographing means, and the individual person detected by the person detecting means 3D position estimation means for estimating the three-dimensional position of each person by stereoscopic viewing, and monitoring temporal changes in the three-dimensional position of each person estimated by the three-dimensional position estimation means, A person tracking device comprising movement trajectory analysis means for analyzing the movement trajectory of an individual person.

Analyzing the degree of distortion of the images of the calibration patterns captured by the plurality of image capturing means, calculating the camera parameters of the plurality of image capturing means, and calculating the camera parameters calculated by the parameter calculating means 2. A person tracking device according to claim 1, further comprising image correcting means for correcting distortion of a plurality of images photographed by the image photographing means and outputting the corrected images to the person detecting means. apparatus.

A three-dimensional position provided with an installation position angle calculation means for calculating an installation position and an installation angle of the plurality of video imaging means with respect to a reference point in the monitoring target area from a calibration pattern video imaged by the plurality of video imaging means; The estimation means estimates the three-dimensional position of each person using the installation position and installation angle calculated by the installation position angle calculation means and the video coordinates of each person detected by the person detection means. The person tracking device according to claim 1 or 2.

The three-dimensional position estimation means discards the three-dimensional position estimation result when the estimation result of the three-dimensional position of each person does not meet a predetermined detection condition. The person tracking device according to any one of the above.

When the three-dimensional position estimation unit estimates the three-dimensional position of each person, the movement trajectory analysis unit calculates a certainty factor indicating the certainty of the three-dimensional position. The person tracking apparatus according to claim 1, wherein the movement trajectory of each person is analyzed excluding the position.

When the monitored area is in the elevator car, the movement trajectory analysis means compares the stop floor information indicating the stop floor of the elevator with the movement trajectory of each person, and which person rides on which floor The person tracking device according to claim 1, wherein a movement history indicating whether or not the passenger has got off the floor is obtained.

7. The person tracking device according to claim 6, wherein the movement trajectory analysis means outputs the movement history to a group management system that manages the operation of a plurality of elevators.

The three-dimensional position estimation means collects the sensing results of the pressure sensor placed on the floor of the monitoring target area, and estimates the three-dimensional position of each person in consideration of the sensing results of the pressure sensor. The person tracking device according to claim 1, wherein:

A plurality of video shooting steps in which the video shooting means takes a video of the monitored area; a person detection step in which the person detection means detects a person in the video shot by the plurality of video shooting means; and a three-dimensional position. A three-dimensional position estimation step in which the estimation means stereoscopically views each person detected by the person detection means to estimate the three-dimensional position of each person, and a movement trajectory analysis means is obtained by the three-dimensional position estimation means. A person tracking method comprising: a movement trajectory analysis step of monitoring a temporal change in the estimated three-dimensional position of each individual person and analyzing a movement trajectory of the individual person.

Detected by a plurality of video shooting processing procedures for shooting a video of the monitoring target area, a person detection processing procedure for detecting a person in the video shot by the plurality of video shooting processing procedures, and the person detection processing procedure. The three-dimensional position estimation processing procedure for estimating the three-dimensional position of the individual person by stereoscopically viewing each individual person, and the temporal relationship of the three-dimensional position of the individual person estimated by the three-dimensional position estimation processing procedure. A person tracking program for causing a computer to execute a movement trajectory analysis processing procedure for monitoring a change and analyzing a movement trajectory of an individual person.