JP2017117244A - Image analysis device for detecting a person displayed in photographic image of camera - Google Patents
Image analysis device for detecting a person displayed in photographic image of camera Download PDFInfo
- Publication number
- JP2017117244A JP2017117244A JP2015252655A JP2015252655A JP2017117244A JP 2017117244 A JP2017117244 A JP 2017117244A JP 2015252655 A JP2015252655 A JP 2015252655A JP 2015252655 A JP2015252655 A JP 2015252655A JP 2017117244 A JP2017117244 A JP 2017117244A
- Authority
- JP
- Japan
- Prior art keywords
- person
- area
- candidate
- person area
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、カメラの撮影画像に映る人物を検出する画像解析技術に関する。 The present invention relates to an image analysis technique for detecting a person shown in a captured image of a camera.
従来、カメラによる撮影画像を解析し、その撮影画像に映る人物を検出する技術がある。このような技術は、例えば所定の撮影対象範囲における人の混雑度調査や、動線解析、監視のための不審者検知等に利用される。撮影画像内に人物の全身がはっきりと写る場合、比較的容易に人物を検出することができる。しかしながら、実際の利用シーンでは、障害物による遮蔽（オクルージョン）によって、人物を検出することができないことも多い。 Conventionally, there is a technique for analyzing a photographed image by a camera and detecting a person shown in the photographed image. Such a technique is used for, for example, investigation of human congestion in a predetermined photographing target range, flow line analysis, and suspicious person detection for monitoring. When the whole body of the person is clearly shown in the captured image, the person can be detected relatively easily. However, in an actual usage scene, it is often impossible to detect a person due to occlusion by an obstacle.
これに対し、撮影対象範囲を複数のカメラを用いて撮影し、重複して撮影された視差画像から人物領域を検出する技術がある（例えば特許文献１参照）。
また、複数のカメラからの視差に応じて、人物頭部のテンプレート画像のサイズを変更し、人物の検出精度を高める技術もある（例えば特許文献２参照）。
更に、複数のカメラを用いることなく、人物同士が重なる遮蔽領域について輝度変化から各人物頭部の位置を特定し、身長（例えば標準的な人物の身長）を仮定して足元位置を推定する技術がある（例えば特許文献３参照）。
更に、画像中の人物頭部の位置と、足元位置と、カメラパラメータとを用いて、その人物の身長を推定し、一時的に障害物に遮蔽された場合に、遮蔽されていない足元又は頭部から遮蔽領域を推定する技術もある（例えば特許文献４参照）。
更に、カメラパラメータを用いて、撮影範囲内の各位置に人物の３次元モデルを投影することによって、各位置に対応した人物の輪郭モデルを作成し、各輪郭モデルと撮影画像とをマッチングすることによって人物位置を検出する技術もある（例えば特許文献５参照）。尚、投影時に、障害物の３次元モデルを併用することによって、遮蔽を考慮した輪郭モデルを作成することもできる。
On the other hand, there is a technique in which a photographing target range is photographed using a plurality of cameras, and a person area is detected from parallax images photographed in duplicate (see, for example, Patent Document 1).
In addition, there is a technique for improving the detection accuracy of a person by changing the size of a template image of a person's head according to parallax from a plurality of cameras (see, for example, Patent Document 2).
Further, a technique for identifying the position of each person's head from a luminance change in a shielding region where persons overlap with each other without using a plurality of cameras, and estimating a foot position assuming a height (for example, a standard person's height). (See, for example, Patent Document 3).
Further, the height of the person is estimated using the position of the person's head in the image, the position of the foot, and the camera parameters, and when the person is temporarily shielded by an obstacle, the foot or head that is not shielded There is also a technique for estimating a shielding area from a part (see, for example, Patent Document 4).
Further, by using a camera parameter to project a person's three-dimensional model at each position within the shooting range, a person's contour model corresponding to each position is created, and each contour model and the captured image are matched. There is also a technique for detecting the position of a person by using (see, for example, Patent Document 5). It is also possible to create a contour model taking into account shielding by using a three-dimensional model of an obstacle together during projection.
特許文献１及び２に記載の技術によれば、複数のカメラが重複して撮影できない領域については、遮蔽に対してロバストな人物検出を実現することはできない。また、撮影対象範囲が広くなるほど、複数のカメラで重複して撮影できるようにするためには、カメラの設置コストも問題となる。
特許文献３に記載の技術によれば、異なる動き方の人物同士が重なる遮蔽領域にしか対応することができず、同じ動き方や、障害物による遮蔽に対しては、人物の足元位置を検出することができない。
特許文献４に記載の技術によれば、遮蔽の発生前に人物の全身が検出されていることが前提となっている。即ち、最初から人物が遮蔽されている場合、その人物の全身が撮影されない限り検出することができない。
特許文献５に記載の技術によれば、障害物の３次元モデルが事前に取得されている必要があり、撮影対象範囲における障害物の位置が未知の場合には適用できない。
According to the techniques described in Patent Documents 1 and 2, it is not possible to realize human detection that is robust against shielding in areas where a plurality of cameras cannot be photographed in duplicate. In addition, as the shooting target range becomes wider, the installation cost of the camera becomes a problem in order to allow multiple cameras to perform shooting.
According to the technique described in Patent Document 3, it is only possible to deal with a shielded area where people of different movements overlap each other. For the same movement or obstruction by an obstacle, the position of the person's feet is detected. Can not do it.
According to the technique described in Patent Document 4, it is assumed that the whole body of a person has been detected before the occurrence of shielding. That is, when a person is shielded from the beginning, it cannot be detected unless the whole body of the person is photographed.
According to the technique described in Patent Document 5, a three-dimensional model of an obstacle needs to be acquired in advance, and cannot be applied when the position of the obstacle in the imaging target range is unknown.
そこで、本発明は、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる画像解析装置、プログラム及び方法を提供することを目的とする。 Therefore, the present invention can detect a foot position of a person who is shielded and displayed by an obstacle without requiring prior information on the shape and arrangement of the obstacle even if the image is taken by a single camera. An object is to provide an analysis apparatus, a program, and a method.
本発明によれば、カメラによる撮影画像の中から人物を検出する画像解析装置であって
カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
撮影画像から、前景領域を抽出する前景領域抽出手段と、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段と
を有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。
According to the present invention, there is provided an image analyzing apparatus for detecting a person from images captured by a camera, a foot position in a photographing target range that can be photographed by the camera, and a person that the person at the foot position will appear in the captured image. A candidate area storing means that associates a plurality of different person area candidates based on occlusion with respect to one person;
Foreground area extracting means for extracting a foreground area from a captured image;
A person area detecting means for detecting a person area similar to the foreground area by matching with a person area candidate in the person area candidate storage means, and detecting that the person is located at a foot position corresponding to the detected person area candidate; It is characterized by doing.
本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、１人の人物に対して、足元から又は頭部から遮蔽されることによって撮影画像に映るであろう異なる遮蔽状態を、異なる面積の複数の異なる人物領域候補を対応付けて記憶することも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The person area candidate storage means associates a different person with a plurality of different person area candidates having different areas with different shielding states that would appear in a captured image by being shielded from the foot or the head. It is also preferable to memorize.
本発明の画像解析装置における他の実施形態によれば、
前景領域抽出手段は、撮影画像から、背景差分によって前景領域を抽出することも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
It is also preferable that the foreground area extracting means extracts the foreground area from the photographed image based on the background difference.
本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた重み係数を付与し、
人物領域検出手段は、人物領域候補とマッチングさせる際に、重み係数に応じて、前景領域に類似する人物領域を検出する
ことも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The person area candidate storage means assigns a weighting factor corresponding to the possibility that the person area candidate in different occlusion states will be reflected at the foot position,
The person area detecting means preferably detects a person area similar to the foreground area according to the weighting factor when matching with the person area candidate.
本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、検出された人物領域が、複数の前景領域を包含する場合、複数の前景領域を統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補と改めてマッチングさせて検出することも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
When the detected person area includes a plurality of foreground areas, the person area detection unit generates an integrated foreground area by integrating the plurality of foreground areas, and selects a person area similar to the integrated foreground area as a person area candidate. It is also preferable to detect by matching again with the person region candidates in the storage means.
本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、人物領域候補との類似度が閾値以下となった第１の前景領域についても、第１の前景領域と最も類似度の高い人物領域候補の全身領域が、他の第２の前景領域を包含する場合に、第１の前景領域と第２の前景領域とを統合した統合前景領域を生成し、当該統合前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補と改めてマッチングさせて検出することも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The person area detecting means also uses the second area of the person area candidate having the highest similarity to the first foreground area for the second foreground area whose similarity to the person area candidate is equal to or less than the threshold. If the foreground area is included, an integrated foreground area in which the first foreground area and the second foreground area are integrated is generated, and a person area similar to the integrated foreground area is determined as a person area in the person area candidate storage unit. It is also preferable to detect a new match with a candidate.
本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段の中で、足元位置毎に、人物領域検出手段によって検出された人物領域よりも遮蔽部分が広い（人物領域の面積が小さい）人物領域候補を除外するべく、人物領域候補を絞り込む人物領域候補除外手段を更に有することも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
In order to exclude the person area candidates in the person area candidate storage means, for each foot position, in order to exclude the person area candidates that have a wider shielding part (the area of the person area is smaller) than the person area detected by the person area detection means. It is also preferable to further include person area candidate exclusion means for narrowing down.
本発明の画像解析装置における他の実施形態によれば、
人物領域候補除外手段は、
人物領域候補が除去された際に、その足元位置毎にタイマカウンタをリセットし、
当該タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を全て元に復活させることも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The person area candidate exclusion means
When the person area candidate is removed, the timer counter is reset for each foot position,
When the timer counter times out for a predetermined time, it is also preferable to restore all the human area candidates at the foot position based on the timer counter.
本発明の画像解析装置における他の実施形態によれば、
カメラは、広い画角を１フレームとして撮影するパノラマカメラであり、
撮影画像によれば、異なる足元位置に映る人物領域は、同１人物であっても、異なる輪郭画像として映ることも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The camera is a panoramic camera that captures a wide angle of view as one frame.
According to the photographed image, it is preferable that even if the person regions shown at different foot positions are the same person, they are shown as different contour images.
本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び／又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を足元位置として、人物領域候補に対応させて記憶することも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The human area candidate storage means corresponds to the human area candidate with the absolute coordinates in the shooting target range converted from the pixel coordinates of the foot of the human area shown in the captured image by the camera parameter and / or calibration parameter of the camera as the foot position. It is also preferable to store them.
本発明の画像解析装置における他の実施形態によれば、
人物領域検出手段は、前景領域Ａ１と、比較すべき人物領域候補Ａ２とを重畳し、その包含領域Ａ１∪Ａ２に対する重複領域Ａ１∩Ａ２の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出することも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The person area detecting means superimposes the foreground area A1 and the person area candidate A2 to be compared, and sets the ratio of the overlapping area A1∩A2 to the inclusion area A1∪A2 as the similarity, and the person region candidate having the high similarity Is preferably detected as the person area.
本発明の画像解析装置における他の実施形態によれば、
人物領域候補記憶手段は、人物領域候補毎に、撮影画像（ピクセル画像）における中心座標及び面積を対応付けて記憶しており、
人物領域検出手段は、前景領域の中心座標及び面積と、人物領域候補の中心座標及び面積とを比較して、類似する人物領域を検出する
ことも好ましい。
According to another embodiment of the image analysis apparatus of the present invention,
The person area candidate storage means stores, for each person area candidate, the center coordinates and area of the captured image (pixel image) in association with each other,
It is also preferable that the person area detection means detects a similar person area by comparing the center coordinates and area of the foreground area with the center coordinates and area of the person area candidate.
本発明によれば、カメラによる撮影画像の中から人物を検出する装置に搭載されたコンピュータを機能させるプログラムであって、
カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
撮影画像から、前景領域を抽出する前景領域抽出手段と、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する人物領域検出手段と
してコンピュータを機能させ、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。
According to the present invention, there is provided a program for causing a computer mounted on an apparatus for detecting a person from images taken by a camera to function.
A foot position in a photographing target range that can be photographed by a camera and a person region candidate in which a person at the foot position is likely to appear in a photographed image are stored in association with each other, based on shielding against one person. A person area candidate storage means for associating a plurality of different person area candidates;
Foreground area extracting means for extracting a foreground area from a captured image;
When the computer functions as a person area detecting means for detecting a person area similar to the foreground area by matching with a person area candidate in the person area candidate storage means, and the person is positioned at a foot position corresponding to the detected person area candidate It is characterized by detecting.
本発明によれば、カメラによる撮影画像の中から人物を検出する装置の画像解析方法であって、
装置は、カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶部を有し、
装置は、
撮影画像から、前景領域を抽出する第１のステップと、
前景領域に類似する人物領域を、人物領域候補記憶手段の人物領域候補とマッチングさせて検出する第２のステップと
を実行し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする。
According to the present invention, there is provided an image analysis method for an apparatus for detecting a person from images captured by a camera,
The apparatus stores a foot position in a photographing target range that can be photographed by a camera and a person region candidate in which a person at the foot position will appear in a photographed image in association with each other. A human region candidate storage unit that associates a plurality of different human region candidates based on occlusion,
The device
A first step of extracting a foreground region from the captured image;
A second step of detecting a person area similar to the foreground area by matching with a person area candidate in the person area candidate storage means, and detecting that the person is located at a foot position corresponding to the detected person area candidate It is characterized by doing.
本発明の画像解析装置、プログラム及び方法によれば、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる。 According to the image analysis device, the program, and the method of the present invention, even if the image is taken by one camera, the foot in the person who is shielded and displayed by the obstacle without requiring prior information on the shape and arrangement of the obstacle. The position can be detected.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明における画像解析装置の機能構成図である。 FIG. 1 is a functional configuration diagram of an image analysis apparatus according to the present invention.
画像解析装置１は、１台のカメラによる撮影画像の中から人物を検出する。撮影画像は、予め録画されたものであってもよいし、インタフェースを介して外部から時系列に入力されるもの（例えばライブ映像）であってもよい。インタフェースは、ネットワークに接続する通信インタフェースであってもよいし、カメラからの入力インタフェースであってもよい。 The image analysis apparatus 1 detects a person from images captured by a single camera. The captured image may be recorded in advance, or may be input in a time series from the outside via an interface (for example, live video). The interface may be a communication interface connected to a network or an input interface from a camera.
カメラは、何ら限定されることなく、既存のものであってもよい。人物の足元位置を検出することを目的とする場合、例えば広い画角を１フレームとして撮影するパノラマカメラであることも好ましい。具体的には、室内の天井から床面全域を撮影することができる全方位カメラであってもよい。 The camera may be an existing one without any limitation. For the purpose of detecting the position of a person's feet, for example, a panoramic camera that captures a wide angle of view as one frame is also preferable. Specifically, it may be an omnidirectional camera that can capture the entire floor surface from the indoor ceiling.
図２は、天井の全方位カメラからの撮影画像図である。
図３は、天井の全方位カメラからの撮影画像と、遮蔽された人物の位置との関係を表す説明図である。
図４は、天井の全方位カメラからの撮影画像と、人物の足元位置との関係を表す説明図である。
FIG. 2 is a photographed image view from the omnidirectional camera on the ceiling.
FIG. 3 is an explanatory diagram showing the relationship between the image taken from the omnidirectional camera on the ceiling and the position of the shielded person.
FIG. 4 is an explanatory diagram showing a relationship between a captured image from the omnidirectional camera on the ceiling and a person's foot position.
全方位カメラの撮影画像によれば、異なる足元位置に映る人物領域は、同１人物であっても、異なる輪郭画像として映る。また、カメラから見た視線上に障害物が介在することによって、人物領域について足元から又は頭部からその一部が遮蔽される場合がある。即ち、障害物によって、撮影画像に映るであろう人物領域の遮蔽状態も異なるものとなる。 According to the image taken by the omnidirectional camera, even if the person areas shown at different foot positions are the same person, they appear as different contour images. Further, when an obstacle is present on the line of sight as viewed from the camera, a part of the person region may be shielded from the foot or the head. That is, the shielding state of the person area that will appear in the photographed image differs depending on the obstacle.
図３及び図４によれば、人物Ａは、全身が撮影画像に映っている。人物Ｂは、床に設置された障害物によって、頭部以外の部分が遮蔽されて撮影画像に映っていない。また、人物Ｃは、天井から下がった障害物によって、頭部が遮蔽されて撮影画像に映っていない。 According to FIGS. 3 and 4, the whole body of the person A is reflected in the captured image. The person B is not shown in the photographed image because the part other than the head is shielded by the obstacle placed on the floor. Further, the head of the person C is not shown in the photographed image because the head is shielded by the obstacle descending from the ceiling.
本発明の画像解析装置は、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置をロバストに検出することができる。画像解析装置１は、人物領域候補記憶部１０と、前景領域抽出部１１と、人物領域検出部１２と、人物領域除外部１３と、足元位置抽出部１４とを有する。これら機能構成部は、画像解析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成からなる処理の流れは、装置における画像解析方法としても理解される。 The image analysis apparatus according to the present invention robustly detects the position of a foot in a person who is shielded and displayed by an obstacle without requiring prior information on the shape and arrangement of the obstacle even if the image is taken by a single camera. be able to. The image analysis apparatus 1 includes a person area candidate storage unit 10, a foreground area extraction unit 11, a person area detection unit 12, a person area exclusion unit 13, and a foot position extraction unit 14. These functional components are realized by executing a program that causes a computer installed in the image analysis apparatus to function. Further, the flow of processing comprising these functional configurations is understood as an image analysis method in the apparatus.
［人物領域候補記憶部１０］
人物領域候補記憶部１０は、カメラによって撮影可能な撮影対象範囲における「足元位置」と、当該足元位置の人物が撮影画像に映るであろう「人物領域候補」とを対応付けて記憶したものである。撮影対象範囲で人物が存在し得る全ての足元位置に、様々な遮蔽状態の人物モデルを投影した、異なる複数の人物領域候補を予め作成しておく。
[Person area candidate storage unit 10]
The person area candidate storage unit 10 stores the “foot position” in the photographing target range that can be photographed by the camera and the “person area candidate” in which the person at the foot position appears in the captured image in association with each other. is there. A plurality of different human area candidates are created in advance by projecting human models in various occluded states at all foot positions where a person can exist in the shooting target range.
「人物領域候補」とは、撮影対象範囲における各足元位置に人物が存在した場合に、撮影画像中で当該人物が占めると想定される、遮蔽状態に応じた輪郭画像である。人物領域候補は、事前に、遮蔽状態に応じた人物の３次元モデルを、足元位置とカメラパラメータとを用いて撮影画像中に投影して作成したものであってもよい。一方で、障害物の３次元モデルを不要とすることができる。 The “person area candidate” is a contour image corresponding to the shielding state, which is assumed to be occupied by the person in the photographed image when a person is present at each foot position in the photographing target range. The person area candidate may be created in advance by projecting a three-dimensional model of a person according to the shielding state into a captured image using the foot position and camera parameters. On the other hand, a three-dimensional model of an obstacle can be made unnecessary.
図５は、人物領域候補記憶部に記憶された人物領域候補及び足元位置を表す説明図である。 FIG. 5 is an explanatory diagram showing person area candidates and foot positions stored in the person area candidate storage unit.
人物領域候補記憶部１０は、１人の人物に対して、足元から又は頭部から遮蔽されることによって撮影画像に映るであろう異なる遮蔽状態を、異なる面積の異なる人物領域候補として対応付けて記憶する。例えば「足元（下半身）から３０％が遮蔽」や「頭部（上半身）から６０％が遮蔽」と表すこともできる。 The person area candidate storage unit 10 associates, as a person area candidate with a different area, a different shielding state that would appear in a captured image by being shielded from the foot or the head of one person. Remember. For example, “30% is shielded from the foot (lower body)” and “60% is shielded from the head (upper body)” can be expressed.
「足元位置」とは、撮影画像中の足元のピクセル座標から、カメラパラメータを用いて撮影シーンの３次元座標に変換したものである。例えば撮影対象範囲（パノラマカメラによる俯瞰地図）中の所定位置を原点とした絶対座標を表す。人物の足元位置を特定することによって、人物の混雑度だけでなく、回遊傾向を推定することもできる。 The “foot position” is obtained by converting the pixel coordinates of the foot in the photographed image into the three-dimensional coordinates of the photographed scene using the camera parameters. For example, it represents absolute coordinates with the origin at a predetermined position in a shooting target range (a panoramic view by a panoramic camera). By specifying the position of the person's feet, it is possible to estimate not only the degree of congestion of the person but also the migratory tendency.
人物領域候補記憶部１０は、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び／又はキャリブレーションパラメータによって変換した撮影対象範囲における絶対座標を足元位置として、人物領域候補に対応させて記憶するものであってもよい。カメラパラメータ及び／又はキャリブレーションパラメータは、事前にキャリブレーションによって取得された公知のものである。これらパラメータは、基本的に撮影中には変化しないと想定しているが、複数種類のパラメータを事前に用意するか、公知の動的キャリブレーション技術を用いて、内部パラメータの動的変化（パン・チルト・ズームなどの変化）や、移動カメラに適用することもできる。 The human area candidate storage unit 10 uses the absolute coordinates in the shooting target range converted from the pixel coordinates of the foot of the human area shown in the captured image by the camera parameters and / or calibration parameters of the camera as the foot position as the human area candidate. It may be stored in correspondence. The camera parameters and / or calibration parameters are known ones acquired in advance by calibration. These parameters are basically assumed not to change during shooting, but multiple types of parameters are prepared in advance, or the internal parameters are dynamically changed (panned) using a known dynamic calibration technique.・ Changes such as tilt and zoom) and mobile cameras can also be applied.
また、他の実施形態によれば、人物領域候補記憶部１０は、人物領域候補毎に、撮影画像（ピクセル画像）における中心座標及び面積を対応付けて記憶することも好ましい。 According to another embodiment, it is also preferable that the person area candidate storage unit 10 stores the center coordinates and the area of the photographed image (pixel image) in association with each person area candidate.
［前景領域抽出部１１］
前景領域抽出部１１は、撮影画像から、例えば背景差分技術やフレーム差分技術等を用いて、前景領域を抽出する。
[Foreground region extraction unit 11]
The foreground area extraction unit 11 extracts a foreground area from the photographed image using, for example, a background difference technique or a frame difference technique.
図６は、図２の撮影画像から背景差分によって抽出した前景領域を表す画像図である。 FIG. 6 is an image diagram showing the foreground area extracted from the photographed image of FIG. 2 by the background difference.
「背景差分(background subtraction)」とは、現時刻の撮影画像と過去時刻の撮影画像とを比較して、過去時刻の撮影画像に映らない物体を抽出する技術をいう。このとき、過去時刻の撮影画像を背景画像と称す。また、背景画像に存在しない物体が占める領域を「前景領域」、それ以外を「背景領域」と称す。具体的には、事前に過去の複数枚の撮影画像から背景画像を作成しておき、その差分となる前景領域を抽出することも好ましい。前景領域には、静止物体は映り込むことなく除外され、人物のような移動物体のみが映り込む。 “Background subtraction” refers to a technique that compares a captured image at the current time with a captured image at the past time and extracts an object that does not appear in the captured image at the past time. At this time, the captured image at the past time is referred to as a background image. An area occupied by an object that does not exist in the background image is referred to as a “foreground area”, and the other area is referred to as a “background area”. Specifically, it is also preferable to create a background image from a plurality of past photographed images in advance and extract a foreground area as a difference between them. In the foreground area, a stationary object is excluded without being reflected, and only a moving object such as a person is reflected.
［人物領域検出部１２］
人物領域検出部１２は、前景領域に類似する人物領域を、人物領域候補記憶部１０の人物領域候補とマッチングさせて検出する。例えば前景領域と人物領域候補とを比較して、類似度が最も高い人物領域候補を検出するものであってもよい。そして、検出された人物領域候補における足元位置を、その人物の位置として検出する。
[Person Area Detection Unit 12]
The person area detection unit 12 detects a person area similar to the foreground area by matching with a person area candidate in the person area candidate storage unit 10. For example, the foreground area and the person area candidate may be compared to detect the person area candidate having the highest similarity. Then, the foot position in the detected person area candidate is detected as the position of the person.
図７は、前景領域と人物領域候補とのマッチングを表す説明図である。
図７によれば、前景領域は、１人の人物の全身に対して一部遮蔽されている。このとき、その前景領域に対して、下半身３０％遮蔽の人物領域候補が最も類似度が高いものであるとしてマッチングされている。そして、その人物領域候補の足元位置が検出される。
FIG. 7 is an explanatory diagram showing matching between the foreground area and the person area candidate.
According to FIG. 7, the foreground area is partially shielded from the whole body of one person. At this time, the foreground area is matched with the person area candidate whose lower body is 30% shielded as having the highest similarity. Then, the foot position of the person area candidate is detected.
図８は、図２の撮影画像から検出された人物の足元位置を表す説明図である。
図８によれば、前景領域から抽出された人物領域候補毎に、撮影対象範囲に足元位置が対応付けられる。
FIG. 8 is an explanatory diagram showing the foot position of a person detected from the captured image of FIG.
According to FIG. 8, for each person area candidate extracted from the foreground area, a foot position is associated with the shooting target range.
＜重み係数の利用＞
他の実施形態として、人物領域検出部１２は、人物領域候補とマッチングさせる際に、重み係数に応じて、前景領域に類似する人物領域を検出することも好ましい。人物領域候補記憶部１０は、同一の足元位置に対応付けられた複数の異なる人物領域候補毎に、異なる重み係数を付与する。重み係数は、異なる遮蔽状態の複数の人物領域候補それぞれに、当該足元位置で映るであろう可能性に応じた割合を意味する。
<Use of weighting factor>
As another embodiment, it is also preferable that the person area detection unit 12 detects a person area similar to the foreground area according to a weighting factor when matching with a person area candidate. The person area candidate storage unit 10 assigns a different weighting factor to each of a plurality of different person area candidates associated with the same foot position. The weighting factor means a ratio according to the possibility that each of the plurality of human area candidates in different occlusion states will appear at the corresponding foot position.
例えばパノラマカメラ２が室内の天井に設置された場合、天井から下がる物体が無い室内であれば、人物の頭部が撮影画像に映る割合は高いと想定することができる。この場合、上半身が映り且つ下半身が遮蔽された人物領域候補ほど、重み係数Ｗを高くする。
例えば図５によれば、重み係数Ｗを以下のような大きさで設定する。
Ｗ1a ＞ Ｗ1b ＞ Ｗ1d ＞ Ｗ1c ＞ Ｗ1e
（全身） （上半身）（頭部） （下半身）（足元）
そして、人物領域検出部１２は、前景領域を、重み係数が高い人物領域候補から順に、マッチングさせて検出する。そのために、前景領域が、全身の人物領域候補とマッチングしなくても、頭部のみが映る人物領域候補を、足元のみが映る人物領域候補よりも優先的に検出する。
For example, when the panoramic camera 2 is installed on the ceiling in the room, it can be assumed that the ratio of the person's head appearing in the captured image is high if the room has no object descending from the ceiling. In this case, the weighting factor W is set higher for the person region candidate in which the upper body is shown and the lower body is shielded.
For example, according to FIG. 5, the weighting factor W is set as follows.
W1a>W1b>W1d>W1c> W1e
(Whole body) (upper body) (head) (lower body) (foot)
Then, the person area detection unit 12 detects the foreground area by matching in order from the person area candidates having a higher weighting coefficient. For this reason, even if the foreground area does not match the whole body person area candidate, the person area candidate in which only the head appears is detected with priority over the person area candidate in which only the foot appears.
勿論、逆に、頭部が映る人物領域候補よりも、足元が映る人物領域候補を優先的に検出するものであってもよい。また、遮蔽面積が小さい人物領域候補ほど重み係数を大きく設定し、遮蔽面積が大きい人物領域候補ほど重み係数を小さく設定することも有効である。これらは、カメラ位置と障害物との関係によって決定される。
同一の足元位置における複数の人物領域候補の重み係数は、室内環境に応じて、オペレータ自ら設定するものであってもよい。
Of course, on the contrary, the person area candidate in which the foot is reflected may be detected with priority over the person area candidate in which the head is reflected. It is also effective to set a larger weighting factor for a person area candidate with a smaller shielding area and set a smaller weighting coefficient for a person area candidate with a larger shielding area. These are determined by the relationship between the camera position and the obstacle.
The weighting factors of a plurality of human area candidates at the same foot position may be set by the operator himself / herself according to the indoor environment.
＜面積を利用した類似度＞
他の実施形態として、人物領域検出部１２は、前景領域と人物候補領域の重複度を用いて、人物領域を検出することも好ましい。人物領域検出部１２は、前景領域Ａ１と、比較すべき人物領域候補Ａ２とを重畳し、その論理和領域の面積Ａ１∪Ａ２に対する論理積（重複）領域の面積Ａ１∩Ａ２の比を類似度とし、当該類似度が高い人物領域候補を当該人物領域として検出する。
類似度＝（Ａ１∩Ａ２）／（Ａ１∪Ａ２）
類似度が最も高い人物領域候補を検出する。
<Similarity using area>
As another embodiment, it is also preferable that the person area detection unit 12 detects a person area using the degree of overlap between the foreground area and the person candidate area. The person area detection unit 12 superimposes the foreground area A1 and the person area candidate A2 to be compared, and calculates the ratio of the area A1∩A2 of the logical product (overlapping) area to the area A1∪A2 of the logical sum area. And a person area candidate having a high degree of similarity is detected as the person area.
Similarity = (A1∩A2) / (A1∪A2)
A person region candidate having the highest similarity is detected.
図９は、前景領域と人物領域候補との重複面積に基づく類似度を表す説明図である。 FIG. 9 is an explanatory diagram showing the similarity based on the overlap area between the foreground area and the person area candidate.
図９（ａ）によれば、人物領域候補の中で、遮蔽がない全身領域同士の重複面積を算出している。図９（ｂ）によれば、人物領域候補の中で、頭部（頭部以外が遮蔽状態）領域同士の重複面積を算出している。
このように、本発明によれば、前景領域に映る人物領域の一部が遮蔽状態であっても、その遮蔽状態に対応した人物領域候補を検出することができる。
According to Fig.9 (a), the overlap area of the whole body area | regions without a shield is calculated among person area candidates. According to FIG.9 (b), the overlap area of head parts (other than a head is a shielding state) area | region is calculated among person area candidates.
As described above, according to the present invention, even if a part of the person area shown in the foreground area is in the occluded state, the person area candidate corresponding to the occluded state can be detected.
＜中心座標及び面積を利用した類似度＞
他の実施形態として、人物領域検出部１２は、前景領域の中心座標及び面積と、人物領域候補の中心座標及び面積とを比較して、類似する人物領域を検出することも好ましい。
<Similarity using center coordinates and area>
As another embodiment, it is also preferable that the person area detection unit 12 detects a similar person area by comparing the center coordinates and area of the foreground area with the center coordinates and area of the person area candidate.
人物領域候補記憶部１０は、事前に、全ての人物領域候補について、その中心座標と面積を、木構造又はハッシュ等でインデクシング（構造化）しておくことも好ましい。これによって、中心座標と面積が類似する人物領域候補を高速に検索することができる。 It is preferable that the person area candidate storage unit 10 indexes (structures) the center coordinates and areas of all the person area candidates in advance using a tree structure or a hash. As a result, it is possible to search for a person region candidate having an area similar to the center coordinate at high speed.
＜複数の前景領域の統合＞
公知の背景差分法を用いた場合、人物の服装や背景の色によっては、人物領域が単一の前景領域ではなく、複数の前景領域に分割されて映り込むことが起こりうる。その場合、人物領域検出部１２は、複数の前景領域を統合した統合前景領域を生成し、その統合前景領域と人物領域候補とをマッチングして、人物領域を検出することが好ましい。
<Integration of multiple foreground areas>
When the known background subtraction method is used, the person area may be divided into a plurality of foreground areas instead of a single foreground area depending on the clothes of the person and the background color. In this case, it is preferable that the person area detection unit 12 generates an integrated foreground area obtained by integrating a plurality of foreground areas, and detects the person area by matching the integrated foreground area and the person area candidate.
図１０は、複数の前景領域を統合した統合前景領域を表す撮影画像図である。 FIG. 10 is a captured image diagram showing an integrated foreground area obtained by integrating a plurality of foreground areas.
図１０（ａ）は、全方位カメラによって撮影された撮影画像を表す。
図１０（ｂ）は、図１０（ａ）の撮影画像に対して抽出された２つの前景領域Ａ及びＢを表す。ここでは、前景領域Ａ及びＢを別々に、人物領域候補とマッチングするために、人物領域Ａ及びＢが検出されている。このような場合、過検出によって人物検出精度が劣化することとなる。
図１０（ｃ）は、図１０（ｂ）の前景領域Ａ及びＢを統合した統合前景領域Ｃと、人物領域候補とをマッチングすることによって、人物領域ａが検出されている。このように、１人の人物が複数の前景領域で映り込んだ際に、前景領域を統合することによって正当な１つの人物領域を検出することができる。
FIG. 10A shows a photographed image photographed by an omnidirectional camera.
FIG. 10B shows two foreground areas A and B extracted from the captured image of FIG. Here, the person areas A and B are detected in order to separately match the foreground areas A and B with the person area candidates. In such a case, human detection accuracy deteriorates due to overdetection.
In FIG. 10C, the person area a is detected by matching the integrated foreground area C obtained by integrating the foreground areas A and B of FIG. 10B with a person area candidate. In this way, when one person is reflected in a plurality of foreground areas, one legitimate person area can be detected by integrating the foreground areas.
統合前景領域を用いた実施形態として、以下の２つの実施形態がある。
（第１の実施形態）
人物領域検出部１２は、検出された人物領域（マッチングされた人物領域候補における、遮蔽部分も含めた全身領域）が、複数の前景領域を包含する場合、それら複数の前景領域を統合した統合前景領域を生成する。そして、その統合前景領域と、人物領域候補記憶部１０の人物領域候補と改めてマッチングして、人物領域を検出する。
As embodiments using the integrated foreground area, there are the following two embodiments.
(First embodiment)
When the detected person area (the whole body area including the shielding part in the matched person area candidate) includes a plurality of foreground areas, the person area detection unit 12 integrates the plurality of foreground areas. Create a region. Then, the integrated foreground area and the person area candidate in the person area candidate storage unit 10 are matched again to detect the person area.
具体的には例えば、前景領域Ａから検出された人物領域ａが、他の前景領域Ｂを包含する場合に、前景領域Ａと前景領域Ｂとを統合した統合前景領域Ｃを生成する。勿論、統合される前景領域Ｂは、複数であってもよい。そして、統合前景領域Ｃと人物領域候補とをマッチングして、改めて人物領域ａを検出することができる。これにより、人物領域ｂが検出されず、人物の誤検出を抑止することができる。 Specifically, for example, when the person area a detected from the foreground area A includes another foreground area B, an integrated foreground area C in which the foreground area A and the foreground area B are integrated is generated. Of course, there may be a plurality of foreground regions B to be integrated. Then, by matching the integrated foreground area C with the person area candidate, the person area a can be detected again. As a result, the person area b is not detected, and erroneous detection of the person can be suppressed.
人物領域ａによる前景領域Ｂの包含を判定する具体的な方法として、人物領域ａの面積と前景領域Ｂの面積との論理積領域ａ∩Ｂを用いて、以下の式によって「包含率」を算出する。その包含率が閾値以上の場合に、包含すると判定することができる。
包含率＝ａ∩Ｂ／Ｂ
又は、人物領域ａが前景領域Ｂの重心点を包含する場合に、人物領域ａによる前景領域Ｂの包含率を算出し、閾値以上の場合に包含すると判定してもよい。
As a specific method for determining the inclusion of the foreground region B by the person region a, the “inclusion ratio” is calculated by the following equation using the logical product region a∩B of the area of the person region a and the area of the foreground region B. calculate. When the inclusion rate is equal to or higher than the threshold value, it can be determined that it is included.
Inclusion rate = a∩B / B
Alternatively, when the person area a includes the barycentric point of the foreground area B, the inclusion ratio of the foreground area B by the person area a may be calculated and determined to be included when the person area a is equal to or greater than the threshold.
前景領域Ａと前景領域Ｂとを統合する具体的な方法として、前景領域Ａと前景領域Ｂとの「凸包(convex hull)」を算出し、凸包領域を前景領域Ｃとすることができる。凸包領域は、例えば「ギフト包装法」等で算出することができる。凸包とは、与えられた集合を含む最小の凸集合である。例えばユークリッド平面内の有界な点集合Ｘについて、その凸包は直観的にはＸを包んだゴム膜が作る図形として視認することができる。 As a specific method for integrating the foreground area A and the foreground area B, a “convex hull” between the foreground area A and the foreground area B can be calculated, and the convex hull area can be used as the foreground area C. . The convex hull region can be calculated by, for example, the “gift wrapping method”. A convex hull is a minimum convex set including a given set. For example, for a bounded point set X in the Euclidean plane, the convex hull can be visually recognized as a figure formed by a rubber film that wraps X.
（第２の実施形態）
１人の人物が複数の前景領域として分割して映り込んだ結果、人物領域候補との類似度が低下し、人物領域として検出されず、検出率が劣化することも起こりうる。ここで、第２の実施形態によれば、検出結果に含まれる人物領域は、必ずしも単一の前景領域が特定の人物領域候補とマッチングされた結果として検出される必要はない。
具体的には、人物領域検出部１２によれば、人物領域候補との類似度が閾値以下となった前景領域Ｄを検出していたとする。このとき、前景領域Ｄと最も類似度の高い人物領域候補の全身領域が、他の前景領域Ｅを包含する場合に、前景領域Ｄと前景領域Ｅとを統合した統合前景領域Ｆを試みる。統合前景領域Ｆと、人物領域候補記憶部１０の人物領域候補とを改めてマッチングさせることで、人物領域ａを検出してもよい。
統合前景領域Ｆと類似する人物領域候補が存在しない場合、具体的には、統合前景領域Ｆと最も類似する人物領域候補との間の類似度が所定閾値以下の場合については、統合前景領域Ｆ及び前景領域Ｄ、前景領域Ｅはいずれも、人物領域として検出しないようにする。
(Second Embodiment)
As a result of one person being reflected as a plurality of foreground areas, the similarity with the person area candidate is reduced, the person area is not detected, and the detection rate may deteriorate. Here, according to the second embodiment, the human region included in the detection result does not necessarily have to be detected as a result of matching a single foreground region with a specific human region candidate.
Specifically, it is assumed that the person area detection unit 12 has detected the foreground area D in which the similarity to the person area candidate is equal to or less than a threshold value. At this time, when the whole body region of the candidate human region candidate having the highest similarity with the foreground region D includes another foreground region E, an integrated foreground region F obtained by integrating the foreground region D and the foreground region E is tried. The person area a may be detected by matching the integrated foreground area F with the person area candidate in the person area candidate storage unit 10 again.
When there is no person region candidate similar to the integrated foreground region F, specifically, when the similarity between the integrated foreground region F and the most similar person region candidate is equal to or less than a predetermined threshold, the integrated foreground region F The foreground area D and the foreground area E are not detected as person areas.
［人物領域除外部１３］
人物領域除外部１３は、人物領域候補記憶部１０の中で、足元位置毎に、人物領域検出部１２によって検出された人物領域よりも遮蔽部分が広い（人物領域の面積が小さい）人物領域候補を除外するべく、人物領域候補を絞り込むものである。
[Person area exclusion unit 13]
The person area exclusion unit 13 is a person area candidate that has a wider shielding part (smaller area of the person area) than the person area detected by the person area detection unit 12 for each foot position in the person area candidate storage unit 10. The person area candidates are narrowed down in order to exclude.
人物領域候補記憶部１０は、撮影対象範囲における撮影画像の全ての足元位置について、複数の異なる人物領域候補を対応付けている。
しかし、人物の全身が映る足元位置には、遮蔽された複数の人物領域候補を用意しておく必要もない。また、障害物の位置によっては、実際には絶対に撮影画像に映らない人物領域候補を記憶しておく必要もない。更に、複数の遮蔽状態に基づく異なる人物領域候補の数が多くなるほど、異なる足元位置に存在するにも拘わらず、類似度が高い複数の人物領域候補が検出されることとなる。
即ち、検索対象となる人物領域候補の数が多いほど、計算リソースが必要となり、人物領域候補の検出精度を向上させることも難しい。
The person area candidate storage unit 10 associates a plurality of different person area candidates with respect to all the foot positions of the photographed image in the photographing target range.
However, it is not necessary to prepare a plurality of shielded person area candidates at the foot position where the whole body of the person is reflected. Further, depending on the position of the obstacle, it is not necessary to store human area candidates that are not actually shown in the captured image. Furthermore, as the number of different person area candidates based on a plurality of occlusion states increases, a plurality of person area candidates having a high degree of similarity are detected even though they exist at different foot positions.
That is, as the number of human area candidates to be searched increases, more calculation resources are required, and it is difficult to improve the detection accuracy of human area candidates.
図１１は、人物領域候補記憶部の中で、除外された人物領域候補を表す説明図である。 FIG. 11 is an explanatory diagram showing excluded person area candidates in the person area candidate storage unit.
図１１によれば、人物領域候補記憶部１０の中で、人物領域検出部１２によって検出された人物領域よりも遮蔽部分が広い（人物領域の面積が小さい）人物領域候補が除外されている。これによって、障害物によって映る実際の撮影画像に適合させる。
図１１について人影が黒い部分は、全身の人物領域候補のみが記憶されており、それよりも面積が小さい人物領域候補は除外されている。
一方で、人影が破線で遮蔽された部分は、遮蔽状態の人物領域候補よりも面積が小さい人物領域候補のみが除外されている。即ち、全身の人物領域候補は記憶されている。
According to FIG. 11, the person area candidates that have a larger shielding part (the area of the person area is smaller) than the person area detected by the person area detection unit 12 are excluded from the person area candidate storage unit 10. Thereby, it is adapted to the actual captured image reflected by the obstacle.
In FIG. 11, only the human area candidate for the whole body is stored in the black portion, and the human area candidate having a smaller area is excluded.
On the other hand, only the human region candidate whose area is smaller than the human region candidate in the shielded state is excluded from the portion where the human shadow is shielded by the broken line. That is, the person area candidates for the whole body are stored.
例えば前述した図３のように、人物Ａについて撮影画像に全身が映っている場合、遮蔽される障害物が無いとして、遮蔽無しの全身の人物領域候補（足元位置Ｘ１）以外は全て、人物領域候補から除外される。全身の人物領域候補は、他の人物領域候補よりも遮蔽部分は必ず小さい（人物領域の面積が大きい）ためである。足元位置Ｘ１では、誤って遮蔽された人物領域候補が検出されることがなくなる。 For example, as shown in FIG. 3 described above, when the whole body is shown in the captured image of the person A, it is assumed that there is no obstacle to be shielded, and all the person area candidates (foot positions X1) without the whole body are all human areas. Excluded from the candidate. This is because the whole body person area candidate has a smaller shielding part (the area of the person area is larger) than the other person area candidates. At the foot position X1, no human area candidate that is accidentally occluded is detected.
また、人物Ｂについて撮影画像に頭部しか映っていない場合、下半身６０％遮蔽の人物領域候補（足元位置Ｘ２）よりも面積が小さい人物領域候補は全て、人物領域候補から除外される。
同様に、人物Ｃについて撮影画像に足元しか映っていない場合、上半身６０％遮蔽の人物領域候補（足元位置Ｘ３）よりも面積が小さい人物領域候補は全て、人物領域候補から除外される。
Further, when only the head is reflected in the captured image of the person B, all the person area candidates whose area is smaller than the person area candidate (foot position X2) of the lower body 60% shielded are excluded from the person area candidates.
Similarly, when only the foot is shown in the photographed image of the person C, all the human region candidates whose area is smaller than the human region candidate whose upper body is 60% occluded (foot position X3) are excluded from the human region candidates.
図１２は、除外された人物領域候補を修正する過程を表す説明図である。 FIG. 12 is an explanatory diagram illustrating a process of correcting the excluded person area candidate.
図１２（ａ）によれば、前述した図３と同様に、人物領域候補記憶部１０は、足元位置Ｘ１（人物Ａ）については、全身の人物領域候補以外は全て、人物領域候補から除外する。また、足元位置Ｘ２（人物Ｂ）については頭部の領域よりも小さい人物領域候補を除外する。更に、足元位置Ｘ３（人物３）については足元の領域よりも小さい人物領域候補を除外する。 According to FIG. 12 (a), as in FIG. 3 described above, the person region candidate storage unit 10 excludes all the foot position X1 (person A) from the person region candidates except for the whole body region candidate. . Further, for the foot position X2 (person B), a person area candidate smaller than the head area is excluded. Further, with respect to the foot position X3 (person 3), human area candidates smaller than the foot area are excluded.
図１２（ｂ）によれば、床に設置されていた障害物が移動したとする。このとき、前景領域には、足元位置Ｘ２については全身の人物領域が映り込む。この場合、足元位置Ｘ２については全身の人物領域候補がマッチングされ、その人物領域候補よりも小さい人物領域候補は、雑音領域として除外される。 According to FIG. 12B, it is assumed that the obstacle installed on the floor has moved. At this time, the person area of the whole body is reflected in the foreground area at the foot position X2. In this case, the whole body person area candidate is matched for the foot position X2, and a person area candidate smaller than the person area candidate is excluded as a noise area.
図１２（ｃ）によれば、更に天井から下がっていた障害物が移動したとする。このとき、前景領域には、足元位置Ｘ３については全身の人物領域が映り込む。この場合、足元位置Ｘ３については全身の人物領域候補がマッチングされ、その人物領域候補よりも小さい人物領域候補は、無効（不要）な人物領域候補として除外される。 According to FIG. 12C, it is assumed that the obstacle further down from the ceiling has moved. At this time, the person area of the whole body is reflected in the foreground area at the foot position X3. In this case, the whole body person area candidate is matched for the foot position X3, and a person area candidate smaller than the person area candidate is excluded as an invalid (unnecessary) person area candidate.
＜人物領域候補の追加＞
図１２に基づく人物領域候補の修正は、障害物が除去された場合について説明した。一方で、障害物が新たに設置された場合、その障害物によって遮蔽される人物領域候補をマッチングすることができない。即ち、障害物が無いとして全身の人物領域候補のみを記憶しているものの、その後、新たに障害物が撮影対象領域に設置される場合がある。
<Addition of person area candidates>
The correction of the person area candidate based on FIG. 12 has been described for the case where the obstacle is removed. On the other hand, when an obstacle is newly installed, it is not possible to match a person area candidate shielded by the obstacle. In other words, although there are no obstacles, only the whole person area candidates are stored, there is a case where an obstacle is newly set in the imaging target area.
そこで、人物領域候補除外部１３は、障害物の存在によって人物領域候補が除去された際に、その足元位置毎にタイマカウンタをリセットする。タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を、全身も含めて元に復活させる。これによって、障害物が移動して、全身の人物領域が撮影画像に映り込む場合には、改めて全身の人物領域候補とマッチングすることができる。即ち、人物領域候補除外部１３は、所定時間だけ人物領域候補を除外するように制御することによって、障害物の変化に対応することができるようにする。 Therefore, the person area candidate exclusion unit 13 resets the timer counter for each foot position when the person area candidate is removed due to the presence of an obstacle. When the timer counter times out for a predetermined time, the person area candidate at the foot position is restored to the original position including the whole body. As a result, when the obstacle moves and the whole person area is reflected in the captured image, the whole person area candidate can be matched again. That is, the person area candidate exclusion unit 13 can cope with the change of the obstacle by controlling to exclude the person area candidates for a predetermined time.
［足元位置抽出部１４］
足元位置抽出部１４は、オプション的なものであって、撮影画像に映る人物領域の足元のピクセル座標から、当該カメラのカメラパラメータ及び／又はキャリブレーションパラメータによって変換した、撮影対象範囲における絶対座標を、足元位置として抽出する。この場合、人物領域候補記憶部１０は、足元位置をカメラパラメータによって特定することなく、単なるピクセル画像とすることができる。
[Foot position extraction unit 14]
The foot position extraction unit 14 is optional, and converts absolute coordinates in the photographing target range, which are converted from the pixel coordinates of the foot of the person area shown in the photographed image by the camera parameters and / or calibration parameters of the camera. , Extracted as a foot position. In this case, the person region candidate storage unit 10 can make a simple pixel image without specifying the foot position by the camera parameter.
以上、詳細に説明したように、本発明の画像解析装置、プログラム及び方法によれば、１台のカメラによる撮影画像であっても、障害物の形状や配置に関する事前情報を要することなく、障害物によって遮蔽して映る人物における足元位置を検出することができる。 As described above in detail, according to the image analysis apparatus, the program, and the method of the present invention, even if the image is taken by one camera, the obstacle is not required without prior information on the shape and arrangement of the obstacle. It is possible to detect the position of a foot in a person who is screened by an object.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
１ 画像解析装置
１０ 人物領域候補記憶部
１１ 前景領域抽出部
１２ 人物領域検出部
１３ 人物領域除外部
１４ 足元位置抽出部
２ 全方位カメラ
DESCRIPTION OF SYMBOLS 1 Image analysis apparatus 10 Person area candidate memory | storage part 11 Foreground area extraction part 12 Person area detection part 13 Person area exclusion part 14 Foot position extraction part 2 Omnidirectional camera
Claims (14)
前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
前記撮影画像から、前景領域を抽出する前景領域抽出手段と、
前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する人物領域検出手段と
を有し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする画像解析装置。 An image analysis device for detecting a person from a photographed image by a camera, comprising: a foot position in a photographing target range that can be photographed by the camera; and a person region candidate that the person at the foot position is likely to appear in the photographed image. A person area candidate storage means that associates a plurality of different person area candidates based on occlusion with one person;
Foreground area extracting means for extracting a foreground area from the captured image;
Human area detection means for detecting a person area similar to the foreground area by matching with the person area candidate of the person area candidate storage means, and a person is at a foot position corresponding to the detected person area candidate An image analyzing apparatus characterized by detecting when positioned.
ことを特徴とする請求項１に記載の画像解析装置。 The person area candidate storage means displays a plurality of different person area candidates having different areas with different shielding states that would appear in the captured image by being shielded from one's feet or from the head. The image analysis apparatus according to claim 1, wherein the image analysis apparatus stores the information in association with each other.
前記人物領域検出手段は、前記人物領域候補とマッチングさせる際に、前記重み係数に応じて、前記前景領域に類似する人物領域を検出する
ことを特徴とする請求項１から３のいずれか１項に記載の画像解析装置。 The person area candidate storage means assigns a weighting factor corresponding to the possibility that the person area candidate in different occlusion states will be reflected at the foot position,
4. The person area detection unit according to claim 1, wherein the person area detection unit detects a person area similar to the foreground area according to the weighting factor when matching with the person area candidate. The image analysis apparatus described in 1.
ことを特徴とする請求項１から４のいずれか１項に記載の画像解析装置。 When the detected person area includes a plurality of foreground areas, the person area detection unit generates an integrated foreground area obtained by integrating a plurality of foreground areas, and the person area similar to the integrated foreground area is determined as the person area. 5. The image analysis apparatus according to claim 1, wherein detection is performed by matching again with the person area candidate in the area candidate storage unit. 6.
ことを特徴とする請求項１から５のいずれか１項に記載の画像解析装置。 The person region detecting means also has the whole body region of the person region candidate having the highest similarity to the first foreground region for the first foreground region whose similarity to the person region candidate is equal to or less than the threshold. 2 foreground areas, an integrated foreground area is generated by integrating the first foreground area and the second foreground area, and a person area similar to the integrated foreground area is stored in the person area candidate storage means. The image analysis apparatus according to claim 1, wherein the image is detected by matching again with the person area candidate.
ことを特徴とする請求項１から６のいずれか１項に記載の画像解析装置。 In order to exclude a person area candidate having a larger shielding portion (smaller area of the person area) than the person area detected by the person area detecting means for each foot position in the person area candidate storage means The image analysis apparatus according to claim 1, further comprising person region candidate exclusion means for narrowing down region candidates.
前記人物領域候補が除去された際に、その足元位置毎にタイマカウンタをリセットし、
当該タイマカウンタが所定時間でタイムアウトした際に、その足元位置における人物領域候補を全て元に復活させる
ことを特徴とする請求項７に記載の画像解析装置。 The person area candidate exclusion means includes:
When the person area candidate is removed, the timer counter is reset for each foot position,
8. The image analysis apparatus according to claim 7, wherein when the timer counter times out for a predetermined time, all the human area candidates at the foot position are restored based on the timer counter.
前記撮影画像によれば、異なる足元位置に映る人物領域は、同１人物であっても、異なる輪郭画像として映る
ことを特徴とする請求項１から８のいずれか１項に記載の画像解析装置。 The camera is a panoramic camera that captures a wide angle of view as one frame;
9. The image analysis apparatus according to claim 1, wherein according to the photographed image, even if the person regions shown at different foot positions are the same person, they are shown as different contour images. 10. .
ことを特徴とする請求項１から９のいずれか１項に記載の画像解析装置。 The person area candidate storage means uses the absolute coordinates in the photographing target range converted from the pixel coordinates of the foot of the person area shown in the photographed image by the camera parameters and / or calibration parameters of the camera as the foot position. The image analysis apparatus according to claim 1, wherein the image analysis apparatus is stored in association with a region candidate.
ことを特徴とする請求項１から１０のいずれか１項に記載の画像解析装置。 The person area detecting means superimposes the foreground area A1 and the person area candidate A2 to be compared, and sets the ratio of the overlapping area A1∩A2 to the inclusion area A1∪A2 as a similarity, and the person area having the high similarity The image analysis apparatus according to claim 1, wherein a candidate is detected as the person region.
前記人物領域検出手段は、前記前景領域の中心座標及び面積と、前記人物領域候補の中心座標及び面積とを比較して、類似する前記人物領域を検出する
ことを特徴とする請求項１から１１のいずれか１項に記載の画像解析装置。 The person area candidate storage means stores, for each person area candidate, the center coordinates and area of the captured image (pixel image) in association with each other,
12. The person area detection unit detects a similar person area by comparing the center coordinates and area of the foreground area with the center coordinates and area of the person area candidate. The image analysis apparatus according to any one of the above.
前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶手段と、
前記撮影画像から、前景領域を抽出する前景領域抽出手段と、
前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する人物領域検出手段と
してコンピュータを機能させ、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする画像解析用のプログラム。 A program for causing a computer mounted on a device that detects a person from images taken by a camera to function,
The foot position in the photographing target range that can be photographed by the camera is stored in association with the person area candidate that the person at the foot position will appear in the photographed image, and is shielded against one person. A person area candidate storage means for associating a plurality of different person area candidates based on
Foreground area extracting means for extracting a foreground area from the captured image;
The computer functions as a person area detection unit that detects a person area similar to the foreground area by matching with the person area candidate of the person area candidate storage unit, and a person is located at a foot position corresponding to the detected person area candidate. A program for image analysis, characterized in that it detects when a position is located.
前記装置は、前記カメラによって撮影可能な撮影対象範囲における足元位置と、当該足元位置の人物が前記撮影画像に映るであろう人物領域候補とを対応付けて記憶したものであり、１人の人物に対して遮蔽に基づく複数の異なる人物領域候補を対応付けた人物領域候補記憶部を有し、
前記装置は、
前記撮影画像から、前景領域を抽出する第１のステップと、
前記前景領域に類似する人物領域を、前記人物領域候補記憶手段の前記人物領域候補とマッチングさせて検出する第２のステップと
を実行し、検出された人物領域候補に対応する足元位置に人物が位置すると検出する
ことを特徴とする装置の画像解析方法。 An image analysis method of an apparatus for detecting a person from images taken by a camera,
The apparatus stores a foot position in a photographing target range that can be photographed by the camera in association with a person region candidate in which a person at the foot position is likely to appear in the photographed image. A person area candidate storage unit that associates a plurality of different person area candidates based on occlusion,
The device is
A first step of extracting a foreground region from the captured image;
A second step of detecting a person area similar to the foreground area by matching with the person area candidate of the person area candidate storage means, and a person is located at a foot position corresponding to the detected person area candidate An image analysis method for an apparatus, characterized in that it detects when positioned.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015252655A JP6579950B2 (en) | 2015-12-24 | 2015-12-24 | Image analysis apparatus, program, and method for detecting person appearing in captured image of camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015252655A JP6579950B2 (en) | 2015-12-24 | 2015-12-24 | Image analysis apparatus, program, and method for detecting person appearing in captured image of camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017117244A true JP2017117244A (en) | 2017-06-29 |
| JP6579950B2 JP6579950B2 (en) | 2019-09-25 |
Family
ID=59234450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015252655A Active JP6579950B2 (en) | 2015-12-24 | 2015-12-24 | Image analysis apparatus, program, and method for detecting person appearing in captured image of camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6579950B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019046080A (en) * | 2017-08-31 | 2019-03-22 | Kddi株式会社 | Information processing apparatus, method, and program |
| CN109697745A (en) * | 2017-10-24 | 2019-04-30 | 富泰华工业（深圳）有限公司 | Barrier perspective method and barrier arrangement for perspective |
| JP2020086899A (en) * | 2018-11-26 | 2020-06-04 | Kddi株式会社 | Object position specifying device, object position specifying method, and object position specifying program |
| JP2020091519A (en) * | 2018-12-03 | 2020-06-11 | Kddi株式会社 | Object tracking apparatus, object tracking method and object tracking program |
| CN111626165A (en) * | 2020-05-15 | 2020-09-04 | 安徽江淮汽车集团股份有限公司 | Pedestrian recognition method and device, electronic equipment and storage medium |
| CN112597952A (en) * | 2020-12-28 | 2021-04-02 | 深圳市捷顺科技实业股份有限公司 | Method, device and system for identifying monitoring state of camera and storage medium |
| US20220164963A1 (en) * | 2019-03-19 | 2022-05-26 | Nec Corporation | Information processing device, estimation method, and nontransitory computer readable medium |
| WO2022239291A1 (en) * | 2021-05-13 | 2022-11-17 | パナソニックＩｐマネジメント株式会社 | Object detection device and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072628A (en) * | 2002-08-08 | 2004-03-04 | Univ Waseda | Moving body tracking system using a plurality of cameras and its method |
| JP2009211122A (en) * | 2008-02-29 | 2009-09-17 | Toshiba Teli Corp | Image processor and object estimation program |
| JP2013149146A (en) * | 2012-01-20 | 2013-08-01 | Nec Corp | Object detection device, object detection method and computer program |
-
2015
- 2015-12-24 JP JP2015252655A patent/JP6579950B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072628A (en) * | 2002-08-08 | 2004-03-04 | Univ Waseda | Moving body tracking system using a plurality of cameras and its method |
| JP2009211122A (en) * | 2008-02-29 | 2009-09-17 | Toshiba Teli Corp | Image processor and object estimation program |
| JP2013149146A (en) * | 2012-01-20 | 2013-08-01 | Nec Corp | Object detection device, object detection method and computer program |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019046080A (en) * | 2017-08-31 | 2019-03-22 | Kddi株式会社 | Information processing apparatus, method, and program |
| CN109697745A (en) * | 2017-10-24 | 2019-04-30 | 富泰华工业（深圳）有限公司 | Barrier perspective method and barrier arrangement for perspective |
| JP2020086899A (en) * | 2018-11-26 | 2020-06-04 | Kddi株式会社 | Object position specifying device, object position specifying method, and object position specifying program |
| JP6991955B2 (en) | 2018-11-26 | 2022-01-13 | Kddi株式会社 | Object position identification device, object position identification method, and object position identification program |
| JP2020091519A (en) * | 2018-12-03 | 2020-06-11 | Kddi株式会社 | Object tracking apparatus, object tracking method and object tracking program |
| JP6991958B2 (en) | 2018-12-03 | 2022-01-13 | Kddi株式会社 | Object tracking device, object tracking method, and object tracking program |
| US20220164963A1 (en) * | 2019-03-19 | 2022-05-26 | Nec Corporation | Information processing device, estimation method, and nontransitory computer readable medium |
| CN111626165A (en) * | 2020-05-15 | 2020-09-04 | 安徽江淮汽车集团股份有限公司 | Pedestrian recognition method and device, electronic equipment and storage medium |
| CN111626165B (en) * | 2020-05-15 | 2024-02-02 | 安徽江淮汽车集团股份有限公司 | Pedestrian recognition method and device, electronic equipment and storage medium |
| CN112597952A (en) * | 2020-12-28 | 2021-04-02 | 深圳市捷顺科技实业股份有限公司 | Method, device and system for identifying monitoring state of camera and storage medium |
| WO2022239291A1 (en) * | 2021-05-13 | 2022-11-17 | パナソニックＩｐマネジメント株式会社 | Object detection device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6579950B2 (en) | 2019-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6579950B2 (en) | Image analysis apparatus, program, and method for detecting person appearing in captured image of camera | |
| JP6273685B2 (en) | Tracking processing apparatus, tracking processing system including the tracking processing apparatus, and tracking processing method | |
| JP6554169B2 (en) | Object recognition device and object recognition system | |
| JP6428266B2 (en) | COLOR CORRECTION DEVICE, COLOR CORRECTION METHOD, AND COLOR CORRECTION PROGRAM | |
| US10713798B2 (en) | Low-complexity motion detection based on image edges | |
| JP2017045283A5 (en) | ||
| CN110264493A (en) | A kind of multiple target object tracking method and device under motion state | |
| KR20090062881A (en) | A moving robot and a moving object detecting method thereof | |
| WO2016031573A1 (en) | Image-processing device, image-processing method, program, and recording medium | |
| JP2007052609A (en) | Hand area detection device, hand area detection method and program | |
| JP6638723B2 (en) | Image analysis device, image analysis method, and image analysis program | |
| JP5101429B2 (en) | Image monitoring device | |
| CN104065949B (en) | A kind of Television Virtual touch control method and system | |
| JP2004301607A (en) | Moving object detection device, moving object detection method, and moving object detection program | |
| JP6585668B2 (en) | Object detection device | |
| KR101290517B1 (en) | Photographing apparatus for tracking object and method thereof | |
| JP2011071925A (en) | Mobile tracking apparatus and method | |
| EP2439700B1 (en) | Method and Arrangement for Identifying Virtual Visual Information in Images | |
| JP2017102718A (en) | Flame detection device and flame detection method | |
| KR102474697B1 (en) | Image Pickup Apparatus and Method for Processing Images | |
| JP6548306B2 (en) | Image analysis apparatus, program and method for tracking a person appearing in a captured image of a camera | |
| KR102107137B1 (en) | Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera | |
| JP3894038B2 (en) | Image processing apparatus, protrusion detection method and program for image processing apparatus | |
| KR20160026271A (en) | Method and system for dectecting run | |
| JP4530175B2 (en) | Image processing apparatus, protrusion detection method and program for image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190827 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6579950 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |