JP2011039792A - Counter for the number of persons - Google Patents
Counter for the number of persons Download PDFInfo
- Publication number
- JP2011039792A JP2011039792A JP2009186772A JP2009186772A JP2011039792A JP 2011039792 A JP2011039792 A JP 2011039792A JP 2009186772 A JP2009186772 A JP 2009186772A JP 2009186772 A JP2009186772 A JP 2009186772A JP 2011039792 A JP2011039792 A JP 2011039792A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- person
- area
- distance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、例えば出入り口を通過する人数をカメラの撮像画像情報をもとに検出する人数カウンタに関する。 The present invention relates to a number counter that detects, for example, the number of persons passing through an entrance based on captured image information of a camera.
従来の人数カウンタは、部屋の出入り口にカメラを取り付け、その撮像画像情報から画像処理を用いて人物認識を行って人数をカウントしている(例えば、特許文献1を参照。)。また、カメラにより人物認識を行って人物を追跡し、逆行している人物や滞留している人物を検出している(例えば、特許文献2を参照。)。 A conventional number counter counts the number of people by attaching a camera at the entrance of a room and performing person recognition using image processing from the captured image information (see, for example, Patent Document 1). In addition, a person is recognized by a camera to track a person, and a backward person or a staying person is detected (see, for example, Patent Document 2).
しかしながら、従来の人数カウンタはカメラとして一般に輝度カメラを使用している。輝度カメラは、照射されている自然光の被写体像をレンズで集光し、CCDやCMOSセンサーなどのエリアセンサーの受光面で結像させることで映像を生成するもので、各画素から得られる情報は各画素に入射された輝度情報となる。このため、従来の人数カウンタでは、人物を認識する場合に、人物の服装が床などの背景と比較してコントラストが低いと人物と背景を分離することが困難となり、その結果精度良く人数をカウントすることができない。 However, the conventional number counter generally uses a luminance camera as a camera. Luminance cameras generate images by focusing the illuminated natural light subject image with a lens and forming it on the light receiving surface of an area sensor such as a CCD or CMOS sensor. Information obtained from each pixel is It becomes the luminance information incident on each pixel. For this reason, in the conventional number counter, when recognizing a person, it is difficult to separate the person and the background if the clothes of the person have a low contrast compared to the background such as the floor. Can not do it.
本発明は、上述の課題を解決するためになされたものであり、輝度情報を利用する場合に比べ高精度な人物認識および人物追跡を行えるようにし、これにより精度よく人数をカウントすることができる人数カウンタを提供することを目的とする。 The present invention has been made to solve the above-described problems, and enables high-precision person recognition and person tracking as compared with the case of using luminance information, thereby counting the number of persons with high accuracy. The purpose is to provide a people counter.
上述の課題を解決するため、本発明に係る人数カウンタは、カメラの検出領域内の画素ごとに、カメラにより得られる検出領域内の画素ごとに、当該カメラから測定対象までの距離を計測する計測部と、前記測定対象が接地する平面に前記画素を写像した場合の画素位置と前記距離とを関連付けた第1距離情報と、前記画素位置において前記平面に対して垂直な高さ方向の距離を示す第2距離情報とを含む3次元データを画素ごとに格納する格納部と、前記格納部に格納された3次元データから、閾値以内となる前記第2距離情報を含む3次元データのみ抽出し、抽出したデータに対してクラスタリングして、前記測定対象を含む画素領域を表す人候補領域をサンプリングフレームごとに得るクラスタリング部と、前記クラスタリング部によりサンプリングフレームごとに得られた複数の人候補領域間の相関値に基づいて同一の人候補領域を判定し、当該同一の人候補領域の移動軌跡を追跡する追跡部と、前記追跡部の追跡結果に基づいて、前記人候補領域が予め当該人候補領域より大きく設定した画素領域を通過した場合に、その通過数を通過人数としてカウントするカウント部と、を具備することを特徴する。 In order to solve the above-described problem, the number counter according to the present invention measures the distance from the camera to the measurement target for each pixel in the detection area of the camera and for each pixel in the detection area obtained by the camera. A first distance information associating the pixel position and the distance when the pixel is mapped onto a plane on which the measurement object is grounded, and a distance in a height direction perpendicular to the plane at the pixel position. Only the three-dimensional data including the second distance information within the threshold is extracted from the storage unit storing the three-dimensional data including the second distance information shown for each pixel and the three-dimensional data stored in the storage unit. A clustering unit that clusters the extracted data and obtains a human candidate region representing a pixel region including the measurement target for each sampling frame; and the clustering unit A tracking unit that determines the same human candidate region based on a correlation value between a plurality of human candidate regions obtained for each sampling frame and tracks a movement trajectory of the same human candidate region, and a tracking result of the tracking unit And a counting unit that counts the number of passing persons as the number of passing persons when the person candidate area passes through a pixel area set in advance larger than the person candidate area.
本発明の人数カウンタによれば、人物と背景の輝度が同じである場合など輝度情報を利用する方法では識別できない状態においても、距離情報を用いることにより測定対象の輝度に依らず測定対象を識別することができ、より高精度な人物認識および人物追跡により精度よく人数をカウントすることが可能となる。 According to the number counter of the present invention, even when the brightness information cannot be identified by the method using the brightness information, such as when the brightness of the person and the background is the same, the measurement object is identified regardless of the brightness of the measurement object by using the distance information. It is possible to count the number of people with high accuracy by more accurate person recognition and person tracking.
以下、図面を参照しながら本発明に係わる人数カウンタのいくつかの実施形態を詳細に説明する。なお、各実施形態では、同一の番号を付した部分については同様の動作をおこなうものとして、重ねての説明を省略する。
(第1の実施形態)
この発明の第1の実施形態に係る人数カウンタの構成について図1を参照して詳細に説明する。
本実施形態に係る人数カウンタ100は、レーザ発光部101と、パルス制御部102と、レーザ受光部103と、位相検出部104と、A/D変換部105と、距離計測部106と、距離メモリ107と、振幅検出部108と、A/D変換部109と、輝度計測部110と、輝度メモリ111と、ミラー112と、X軸制御部113と、Y軸制御部114と、クラスタリング部115と、測定対象検出部116と、測定対象追跡部117と、人数カウント部118とを含む。
なお、レーザ発光部101と、パルス制御部102と、レーザ受光部103と、位相検出部104と、A/D変換部105と、距離計測部106と、距離メモリ107と、振幅検出部108と、A/D変換部109と、輝度計測部110と、輝度メモリ111と、ミラー112と、X軸制御部113と、Y軸制御部114とをまとめて距離カメラとも呼ぶ。
Hereinafter, some embodiments of a people counter according to the present invention will be described in detail with reference to the drawings. In each embodiment, the same reference numerals are assigned to the same parts, and repeated description is omitted.
(First embodiment)
The configuration of the people counter according to the first embodiment of the present invention will be described in detail with reference to FIG.
The
The
パルス制御部102は、レーザ発光部101から発光させるためにパルス状からなる制御信号を生成し、レーザ発光部101および位相検出部104へ送る。
レーザ発光部101は、LED(Light−Emitting Diode)又はレーザダイオードからなり、パルス制御部102から制御信号を受け取り、光をパルス状に発生する。なお、レーザ発光部101は、主に赤外光を発生するレーザが考えられるが、これらLEDやレーザダイオードに限らず他の発光素子でもよい。
The
The laser
レーザ受光部103は、レーザ発光部101が発した光の測定対象となる被写体による反射光を受光して光電変換によりパルス状のアナログ信号(以下、受信信号とも呼ぶ)を得る。また、レーザ受光部103に使われる受光素子として、例えばPD(Photo Diode)が考えられるが、これに限らず他の受光素子でもよい。
The laser
位相検出部104は、パルス制御部102から制御信号を、またレーザ受光部103からは受信信号をそれぞれ受け取る。そして、この受け取った制御信号と受信信号との位相差を検出し、この検出した位相差を表す位相信号を得る。位相信号はDCレベルで表されるアナログ信号からなる。
The
A/D変換部105は、位相検出部104から位相信号を受け取り、ディジタル化を行いディジタル信号に変換する。アナログ−ディジタル変換は一般的に行われている手法を用いればよく、ここでの詳細な説明は省略する。
距離計測部106は、A/D変換部105からディジタル信号を受け取り、距離カメラから測定対象までの距離を示す情報である距離情報を算出する。距離情報は次のように算出することができる。始めに、ディジタル信号を、レーザが測定対象に到達するまでにかかる時間の2倍に比例する数値に変換する。次に、この値に光速を乗じて2で割った値が距離情報となる。
The A /
The
距離メモリ107は、距離計測部106から距離情報を受け取る。またそれと共に、後述するX軸制御部113およびY軸制御部114から、ある画素を基準としてXY平面座標に写像した場合の画素位置を示す情報である、X軸制御情報およびY軸制御情報を受け取る。そして、この受け取った距離情報とX軸制御情報及びY軸制御情報とを対応付けて格納する。XY平面座標は、測定対象が接地している平面である床面と平行な面とする。ここで、距離メモリ107は、例えばRAM、フラッシュメモリ、ROM、EPROM、EEPROM、レジスタ、ハードディスク、取外し可能ディスク、CD−ROMである。なお、これらの例に限らず、その技術分野で知られている記憶媒体であればよい。
The
振幅検出部108は、レーザ受光部103から受信信号を受け取り、受信信号のパルスの最大振幅を検出してその検出値を表すアナログ信号を得る。
A/D変換部109は、振幅検出部108から最大振幅の検出値を表すアナログ信号を受け取り、ディジタル化を行いディジタル信号に変換する。
The
The A /
輝度計測部110は、A/D変換部109からディジタル信号を受け取り、測定対象の輝度に関する情報である輝度情報を算出する。
輝度メモリ111は、輝度計測部110から輝度情報を受け取ると共に、X軸制御部113およびY軸制御部114からX軸制御情報およびY軸制御情報を受け取り、この受け取った輝度情報とX軸制御情報及びY軸制御情報とを対応付けて格納する。また、輝度メモリ111は、距離メモリ107同様、その技術分野で知られている記憶媒体であれば何でもよい。
The
The
ミラー112は、レーザ発光部101から照射されるレーザを反射させて、カメラの撮像可能な全画素位置(以下、検出領域とも呼ぶ)に対応するようにレーザの照射角度を調整する。また、照射角度の調整は、後述するX軸制御部113およびY軸制御部114から軸制御情報を受け取ることにより行われる。
X軸制御部113およびY軸制御部114はそれぞれ、ミラー112に対して検出領域に対応する角度制御を行うためのX軸制御情報およびY軸制御情報を生成する。さらに、X軸制御部113およびY軸制御部114は、X軸制御情報およびY軸制御情報を距離メモリ107および輝度メモリ111へそれぞれ送る。X軸制御情報およびY軸制御情報は、例えば、検出領域にある画素をXY平面座標における各点とみなして、(X、Y)=(2000、1000)のように表される。
The
The
クラスタリング部115は、距離メモリ107および輝度メモリ111からそれぞれ、各画素位置における距離情報および輝度情報を受け取り、測定対象に対して人候補領域を設定するためのクラスタリングを行い、領域始点および領域終点を求める。人候補領域は、人であると推定される測定対象を含み、かつ測定対象を表す画素領域よりも大きい画素領域である。
なお、人候補領域の画素領域の大きさは、測定対象を表す画素領域が全て包含される領域であれば任意の画素領域でよい。領域始点および領域終点は、人候補領域を定める画素位置である。例えば、XY平面座標上で、領域始点が(X、Y)=(2000、1000)であり、領域終点が(X、Y)=(2300、1100)である場合、人候補領域は300×100の矩形領域を表す。なお、ここではXY平面座標で人候補領域を指定しているが、3次元空間座標で人候補領域を指定してもよい。この場合、領域始点および領域終点は3つのパラメータで表される。人候補領域のクラスタリング方法については図12および図13を用いて後述する。
The
Note that the size of the pixel area of the human candidate area may be an arbitrary pixel area as long as it includes the entire pixel area representing the measurement target. The region start point and the region end point are pixel positions that define a human candidate region. For example, on the XY plane coordinates, when the region start point is (X, Y) = (2000, 1000) and the region end point is (X, Y) = (2300, 1100), the human candidate region is 300 × 100. Represents a rectangular area. Here, the human candidate area is specified by XY plane coordinates, but the human candidate area may be specified by three-dimensional space coordinates. In this case, the region start point and region end point are represented by three parameters. The clustering method of the human candidate area will be described later with reference to FIGS.
測定対象検出部116は、クラスタリング部115から領域始点および領域終点を受け取り、人候補領域から測定対象判定として人検出を行い、人物を特定する人物データを得る。
測定対象追跡部117は、測定対象検出部116で得た人物データを時系列に検出することで人物追跡を行い、人物の移動軌跡を表すデータである追跡データを、検出した人数分作成する。
The measurement
The measurement
人数カウント部118は、測定対象追跡部117から追跡データを人数分受け取り、所定のカウント領域を通過した人数をカウントする。カウント領域は、検出領域内の任意の矩形領域であり、人候補領域の座標の追跡データをもとに、人候補領域がこの矩形領域を通過すれば通過人数を1人として計測する。
The
次に、人数カウンタ100の動作について図2のフローチャートを用いて詳細に説明する。本実施形態における検出領域の一例として、図3に示す領域を検出領域としてサンプリングした場合を想定して、人数カウンタ100の動作を説明する。
図3では、測定対象となる、人物A、人物Bおよび人物Cが3次元空間座標における検出領域内に存在する。このように、床面に人が直立している状態のときに、人が床面と接している画素位置から高さ方向(図3に示すように、Z軸方向とも呼ぶ)にどれほど距離があるかを、距離メモリ107に格納している距離情報を用いて算出する。高さ方向の距離の算出方法は、一般的な手法であるためここでの詳細な説明は省略する。以下では、距離情報と、さらに画素位置から算出した高さ方向の距離と画素位置とを対応付けた情報を3次元データと呼ぶ。
Next, the operation of the people counter 100 will be described in detail with reference to the flowchart of FIG. As an example of the detection area in the present embodiment, the operation of the
In FIG. 3, a person A, a person B, and a person C to be measured exist in a detection area in three-dimensional space coordinates. In this way, when a person stands upright on the floor surface, the distance from the pixel position where the person is in contact with the floor surface in the height direction (also referred to as the Z-axis direction as shown in FIG. 3) It is calculated using the distance information stored in the
始めに、ステップS201では、距離メモリ107からあるサンプリング時刻におけるサンプリングフレームに関する3次元データを取得する。
続いて、ステップS202では、測定対象検出部116において、3次元データをもとに検出領域内で人であると推定される領域を表す人候補領域を検出し、その結果を表す人物データ1を生成する。また、検出した人数をNh1とする。ステップS202で行う人検出方法については、図8および図9のフローチャートを参照して詳細に後述する。
ステップS203では、人物データ1を取得してリストを生成する。リストは測定対象検出部116において保持してもよいし、外部にあるメモリに保存してもよい。
First, in step S201, three-dimensional data related to a sampling frame at a certain sampling time is acquired from the
Subsequently, in step S202, the measurement
In step S203, the
ここで、人物データのリストの一例を図4を参照して説明する。
人物のインデックス、人物を検出した領域の最大高さ、最大高さ座標、時刻、人候補領域を表す領域の始点、および人候補領域を表す領域の終点を、1人の人物に関する人物データとしてリストを生成する。図4では、3人の人物の人物データが生成されており、例えばインデックスが1の人物データは、最大高さ(概算身長)が175cm、最大高さの位置する座標が(1050,2250)、検出した時刻が「14:10:32」、人候補領域を表す領域始点が(1000,2000)、領域終点が(1100,2500)となっている。この場合の人候補領域は100×500である。このような人物データを検出人数Nh1分生成する。
Here, an example of a list of person data will be described with reference to FIG.
Lists the person index, the maximum height of the area where the person is detected, the maximum height coordinate, the time, the start point of the area representing the human candidate area, and the end point of the area representing the human candidate area as person data relating to one person Is generated. In FIG. 4, person data of three persons is generated. For example, the person data having an index of 1 has a maximum height (approximate height) of 175 cm, and coordinates where the maximum height is located (1050, 2250). The detected time is “14:10:32”, the region start point representing the human candidate region is (1000, 2000), and the region end point is (1100, 2500). In this case, the human candidate area is 100 × 500. Such person data is generated for the detected number Nh1.
ステップS204では、検出人数Nh1のうち、人物を少なくとも1人検出したか否かを判定し、人物を検出した場合はステップS205へ進み、人物を検出していない場合はステップS201へ戻り、上述したステップS201からステップS204までの処理を繰り返す。
ステップS205では、人カウンタNを「0」に初期化する。
In step S204, it is determined whether or not at least one person has been detected among the detected number Nh1, and if a person is detected, the process proceeds to step S205. If no person has been detected, the process returns to step S201, and is described above. The processing from step S201 to step S204 is repeated.
In step S205, the person counter N is initialized to “0”.
次に、ステップS206からステップS208までの処理は、ステップS201からステップS203までの処理と同様である。すなわち、距離メモリ107から次のサンプリング時刻のサンプリングフレームに関する3次元データを取得して、人候補領域を検出し、その結果を表す人物データ2を検出人数Nh2分生成して、リストを生成する。
ステップS209では、検出人数Nh2のうち人を少なくとも1人検出したか否かを判定し、人を検出した場合はステップS211へ進み、人を検出していない場合はステップS210で追跡データを「0」にクリアしたのちステップS201へ戻り、以後ステップS201からステップS209までの処理を繰り返す。
Next, the processing from step S206 to step S208 is the same as the processing from step S201 to step S203. That is, three-dimensional data related to a sampling frame at the next sampling time is acquired from the
In step S209, it is determined whether or not at least one person has been detected among the detected number Nh2. If a person has been detected, the process proceeds to step S211. If no person has been detected, the tracking data is set to “0” in step S210. ”Is then returned to step S201, and the processing from step S201 to step S209 is repeated thereafter.
次に、ステップS211では、人物データ1と人物データ2との相関値から、人物の移動を追跡する。ステップS211の詳細な動作については、図14を用いて詳細に後述する。
ステップS212では、人がカウント領域を通過したか否かの判定を行う。通過判定は、カウント領域外にある人候補領域がカウント領域内に進入し、人候補領域が進入方向を維持したまま、再びカウント領域外に進んだ場合を、通過と判定する。人がカウント領域を通過したと判定した場合、ステップS213に進み、人数カウント部118において、人カウンタNを1つインクリメントする。人がカウント領域を通過していないと判定した場合、ステップS214に進む。
Next, in step S211, the movement of the person is traced from the correlation value between the
In step S212, it is determined whether or not a person has passed the count area. In the pass determination, if a candidate person area outside the count area enters the count area and the person candidate area moves out of the count area again while maintaining the approach direction, it is determined as passing. If it is determined that the person has passed the count area, the process proceeds to step S213, where the person counter N is incremented by one in the
通過判定の一例として図5を用いて詳細に説明する。
図5は、検出領域の画素をXY平面座標で表現しており、図3に示す3次元空間座標を上から見た(Z=0)図である。同図において、検出領域内には任意の矩形領域が設けられ、人候補領域はカウント領域外の上方の座標からカウント領域内を通過してカウント領域外の下方の座標に移動している。この状態を人物がその矩形領域を通過したと判定する。なお、図5の例では検出領域をXY平面座標で考えているが、3次元空間でカウント領域を設けてもよい。
An example of the passage determination will be described in detail with reference to FIG.
FIG. 5 is a diagram in which the pixels in the detection area are expressed in XY plane coordinates, and the three-dimensional space coordinates shown in FIG. 3 are viewed from above (Z = 0). In the drawing, an arbitrary rectangular area is provided in the detection area, and the human candidate area moves from the upper coordinates outside the count area to the lower coordinates outside the count area through the count area. This state is determined that the person has passed the rectangular area. In the example of FIG. 5, the detection area is considered in the XY plane coordinates, but the count area may be provided in a three-dimensional space.
ステップS214では、人候補領域の座標を含む追跡データを保存する。追跡データの一例を図6および図7を用いて詳細に説明する。図6に示すように、追跡データには、図4に示すパラメータが時系列に沿って記録される。また、測定対象追跡部117において、同一の人物、すなわち人物インデックスが同じ人物を追跡中の場合、追跡フラグを「1」と設定する。これに対し、同一の人物を追跡していない場合には、追跡フラグを「0」と設定する。
図6の例では、人物1および人物2は、追跡中の状態であるから追跡フラグを「1」と設定し、人物3は追跡していない状態にあるとして追跡フラグを「0」と設定している。この追跡データから図7のように人物の移動軌跡を表すことができる。また、移動軌跡の近似直線から人物の移動ベクトルを求めることができ、検出領域外のどの方向にどのような速度で向かったかという情報も算出することができる。
In step S214, tracking data including the coordinates of the human candidate area is stored. An example of the tracking data will be described in detail with reference to FIGS. As shown in FIG. 6, the parameters shown in FIG. 4 are recorded in the tracking data in time series. Further, when the measurement
In the example of FIG. 6, since the
ステップS215では、図6に示す追跡データをもとに、人数カウント数、追跡軌跡および移動方向などの結果を出力する。
最後にステップS216では、ステップS203で取得した人物データ1をステップS208で取得した人物データ2に置き換えて更新する。そして、その後新たなサンプリングフレームから人物データ1と比較する次の人物データ2を取得するためにステップS206へ戻り、ステップS206からステップS216までの同様の処理を繰り返す。上述した本実施形態における人数カウンタ100の動作は、強制的に動作が終了するまで、例えば人数カウンタ100の電源を切るまで継続する。
In step S215, based on the tracking data shown in FIG. 6, results such as the number of people count, the tracking trajectory, and the moving direction are output.
Finally, in step S216, the
次に、ステップS202における人検出の流れについて図8のフローチャートを用いて詳細に説明する。
始めにステップS801では、人候補領域のインデックスを示す変数である人候補領域Idxを「1」に、検出領域の人物を数えるカウンタNhを「0」にそれぞれ初期化する。Nhの値が最終的な検出人数を示す。
ステップS802では、測定対象を人候補領域として一纏めにするためにクラスタリングを行う。人候補領域のクラスタリングは人検出を行うために必要な処理であり、人とそれ以外の領域を区別するために行う。
Next, the flow of human detection in step S202 will be described in detail with reference to the flowchart of FIG.
First, in step S801, a person candidate area Idx that is a variable indicating an index of the person candidate area is initialized to “1”, and a counter Nh that counts persons in the detection area is initialized to “0”. The value of Nh indicates the final number of detected people.
In step S802, clustering is performed in order to group the measurement targets as human candidate regions. Clustering of human candidate areas is a process necessary for performing human detection, and is performed to distinguish a person from other areas.
ここで、ステップS802における人候補領域のクラスタリング方法について、図9に示すフローチャートを用いて詳細に説明する。
始めに、ステップS901では、3次元データの距離情報から高さ閾値LL以上の3次元データを抽出する。
次に、ステップS902では、ステップS901で抽出した閾値以上の高さの範囲にある3次元データを、床平面を基準とする平面座標に写像する。つまり、床からの高さが高さ閾値LLに満たないものは測定対象から除外される。
Here, the clustering method of candidate areas in step S802 will be described in detail using the flowchart shown in FIG.
First, in step S901, three-dimensional data having a height threshold LL or more is extracted from the distance information of the three-dimensional data.
Next, in step S902, the three-dimensional data in the height range equal to or higher than the threshold extracted in step S901 is mapped to plane coordinates with the floor plane as a reference. That is, those whose height from the floor is less than the height threshold LL are excluded from the measurement target.
さらに、ステップS903では、各画素に対応する座標において、高さ閾値LLより高い距離情報をもつ3次元データがあるか否かで全画素を2値に分類する。例えば、ある画素が持つ距離情報が高さ閾値LLと同じ距離情報であれば、その画素を「0」と設定し、距離情報が高さ閾値LLよりも高い距離情報であれば「1」に設定する。このように2値に分類した各画素を纏めて、粗い人候補領域を生成する。このステップS903における粗い人候補領域の生成を、ここでは第1クラスタリングと呼ぶ。また、この時生成された人候補領域の総数をNmaxとする。例えば、人候補領域が3つある場合、Nmaxは「3」となる。また人候補領域を検出すると、人候補領域Idxにインデックスを1から順番に割り振る。 Further, in step S903, all the pixels are classified into binary values depending on whether or not there is three-dimensional data having distance information higher than the height threshold LL at the coordinates corresponding to each pixel. For example, if the distance information of a certain pixel is the same distance information as the height threshold LL, the pixel is set to “0”, and if the distance information is higher than the height threshold LL, it is set to “1”. Set. In this way, the pixels classified into the binary values are collected to generate a rough human candidate region. The generation of the rough candidate area in step S903 is referred to as first clustering here. Further, the total number of human candidate regions generated at this time is Nmax. For example, when there are three person candidate regions, Nmax is “3”. When the candidate human area is detected, an index is assigned to the candidate human area Idx in order from 1.
ステップS904では、ステップS903で処理された人候補領域Idxを1つ取り出す。
ステップS905では、ステップS904で抽出した人候補領域の3次元データの中で最大の高さである最大高さLmaxを検出する。
ステップS906では、人候補領域に対して、最大高さLmaxから、所定の距離Dだけ低いLminを算出する。なお、距離Dは、例えば人の上半身部分が抽出できるように設定すればよい。すなわち、最大高さLmaxに比例して距離Dの長さを調節すればよい。
In step S904, one candidate candidate area Idx processed in step S903 is extracted.
In step S905, the maximum height Lmax that is the maximum height is detected in the three-dimensional data of the candidate area extracted in step S904.
In step S906, Lmin lower by a predetermined distance D is calculated from the maximum height Lmax with respect to the human candidate region. In addition, what is necessary is just to set the distance D so that the upper body part of a person can be extracted, for example. That is, the length of the distance D may be adjusted in proportion to the maximum height Lmax.
ステップS907では、人候補領域の3次元データをLmaxからLminまでの高さ範囲でデータを抽出する。
ステップS908では、ステップS907で抽出されたデータを床面へ写像する。
ステップS909では、Lminより高い距離情報をもつ3次元データがあるか否かで全画素を2値に分類し、分類した各画素を纏めて再び人候補領域を生成する第2クラスタリングをおこなう。
In step S907, the three-dimensional data of the human candidate region is extracted in the height range from Lmax to Lmin.
In step S908, the data extracted in step S907 is mapped onto the floor surface.
In step S909, the second clustering is performed in which all pixels are classified into binary values depending on whether or not there is three-dimensional data having distance information higher than Lmin, and the classified pixels are collected to generate a human candidate region again.
ステップS910では、これらの処理で得られた人候補領域Idxを保存する。
ステップS911では、人候補領域Idxのインデックスをインクリメントする。
ステップS912では、人候補領域Idxのインデックスが人候補領域の総数Nmaxよりも多いか否かを判定し、IdxがNmax以下である場合、ステップS904に戻り、ステップS904からステップS910までの処理を繰り返す。IdxがNmaxよりも多い場合、ステップS903でクラスタリングした人候補領域全てについてステップS904からステップS909までの処理を行ったことを意味するので、人候補領域のクラスタリングの処理を終了する。
In step S910, the human candidate region Idx obtained by these processes is stored.
In step S911, the index of the person candidate area Idx is incremented.
In step S912, it is determined whether or not the index of the human candidate area Idx is larger than the total number Nmax of human candidate areas. If Idx is equal to or smaller than Nmax, the process returns to step S904, and the processes from step S904 to step S910 are repeated. . If Idx is greater than Nmax, it means that the processing from step S904 to step S909 has been performed for all the human candidate regions clustered in step S903, and thus the processing of clustering the human candidate regions is terminated.
ここで、人候補領域のクラスタリング処理について図10から図13を用いて詳細に説明する。
3次元データの領域に対して、高さ方向について高さ閾値LL以上を抽出すると、図10のようになる。高さ閾値LLは一例として、人物の膝より上の高さを抽出できるように設定している。
Here, the clustering process of the human candidate area will be described in detail with reference to FIGS.
FIG. 10 shows the result of extracting the height threshold value LL or more in the height direction with respect to the three-dimensional data area. As an example, the height threshold LL is set so that the height above the knee of the person can be extracted.
抽出した人候補領域を、床平面を基準とする平面座標に写像した図を図11に示す。図3の3次元空間座標をXY平面座標上に写像した図であり、XY平面座標に表される各画素には、その画素位置における高さ方向の距離情報を有する。すなわち、斜線部分が3次元データから求められる高さ閾値LLから距離差がある画素の領域であり、測定対象の部分である。また、破線で示した矩形の領域が人候補領域であり、測定対象を含みかつ測定対象よりも大きい画素の領域を取る。これは、測定対象の動作により、サンプリングフレームによって測定対象の形状が異なることが考えられ、1つのサンプリングフレームの形状(例えば、図11の斜線部分)だけを基準とすると、他のサンプリングフレームにおいて同一の人物であると判定することが難しくなるからである。
次に、図12に示すように、1つの人候補領域を抽出し、人候補領域の高さ方向に最大高さLmaxを検索し、Lmaxから高さ方向に距離Dだけ低いLminを算出する。さらに、全ての人候補領域に対してそれぞれLminを算出する。
図10に示す各人物に対して、LmaxとLminとの範囲で3次元データを抽出した図を図13に示す。平面の基準(高さ方向Z=0の平面)としてLminを用いて、再び人候補領域を設定している。このように距離Dを設定することで、人物の身長が異なっても、人物の頭から相対距離Dだけ低い高さでデータを抽出することができ、身長差などの影響を除くことができる。
FIG. 11 shows a diagram in which the extracted person candidate regions are mapped to plane coordinates with the floor plane as a reference. FIG. 4 is a diagram in which the three-dimensional space coordinates of FIG. 3 are mapped onto XY plane coordinates, and each pixel represented by the XY plane coordinates has distance information in the height direction at the pixel position. That is, the hatched portion is a pixel region having a distance difference from the height threshold LL obtained from the three-dimensional data, and is a portion to be measured. Further, a rectangular area indicated by a broken line is a human candidate area, and an area of a pixel that includes the measurement target and is larger than the measurement target is taken. This is because the shape of the measurement object varies depending on the sampling frame depending on the operation of the measurement object. If only the shape of one sampling frame (for example, the shaded portion in FIG. 11) is used as a reference, it is the same in the other sampling frames. This is because it is difficult to determine that the person is a person.
Next, as shown in FIG. 12, one person candidate area is extracted, the maximum height Lmax is searched in the height direction of the person candidate area, and Lmin which is lower by a distance D in the height direction from Lmax is calculated. Furthermore, Lmin is calculated for each candidate region.
FIG. 13 shows a diagram in which three-dimensional data is extracted in the range of Lmax and Lmin for each person shown in FIG. The candidate area is set again using Lmin as the plane reference (the plane in the height direction Z = 0). By setting the distance D in this way, even if the height of the person is different, data can be extracted at a height that is lower than the head of the person by the relative distance D, and the influence of the difference in height can be eliminated.
この人候補領域をLminの高さを基準とした平面に写像した図を図14に示す。
図11に示す第1クラスタリング処理のみでは、足および腕などの距離情報が検出されることにより、測定対象ごとに斜線部分の形状が統一されないが、図14に示す第2クラスタリング処理を行うことで、人物のそれぞれに対して距離Dを頭から胸部までに設定することができ、足、腕などの距離情報が検出される影響を低減して統一された測定対象の形状を得ることができる。
FIG. 14 is a diagram in which this human candidate region is mapped onto a plane based on the height of Lmin.
Only the first clustering process shown in FIG. 11 does not unify the shape of the hatched portion for each measurement object by detecting distance information such as legs and arms, but by performing the second clustering process shown in FIG. The distance D can be set from the head to the chest for each person, and the influence of detecting distance information such as legs and arms can be reduced to obtain a unified shape of the measurement object.
ここで、図8のステップS803に戻ると、ステップS802において人候補領域のクラスタリング処理を行った後の、人候補領域Idxを取り出す。
ステップS804では、この人候補領域の面積が予め設定した最小の面積Sminよりも大きいか否かを判定する。面積Sminの値は、人候補領域を写像した領域に基づいて、例えば各人候補領域から平均値を算出することにより設定する。面積Sminよりも人候補領域の面積が小さい場合、ステップS809に進む。一方、面積Sminよりも人候補領域の面積が大きい場合、ステップS805へ進む。
Here, returning to step S803 in FIG. 8, the candidate human region Idx after the clustering process of the candidate human region is performed in step S802.
In step S804, it is determined whether the area of the candidate area is larger than a preset minimum area Smin. The value of the area Smin is set, for example, by calculating an average value from each person candidate area based on an area obtained by mapping the person candidate area. If the area of the candidate area is smaller than the area Smin, the process proceeds to step S809. On the other hand, when the area of the candidate area is larger than the area Smin, the process proceeds to step S805.
ステップS805では、抽出した人候補領域が人である可能性が高いものとして人候補領域に対して人特徴検出を行い、その人候補領域を人と判定する。判定方法としては、例えば、人候補領域の中心に平均して最大高さLmaxを持つ画素領域があり、最大高さLmaxを持つ画素領域を中心として、周辺の画素領域がLmaxよりも高さが低く、かつ左右対称な距離情報を持つと判定されたとする。この場合、Lmaxを持つ画素周辺が頭部に、周辺画素が肩に対応して人候補領域に含まれる測定対象は人であると判定することができる。 In step S805, human feature detection is performed on the human candidate area on the assumption that the extracted human candidate area is likely to be a person, and the human candidate area is determined to be a person. As a determination method, for example, there is a pixel area having an average maximum height Lmax at the center of the human candidate area, and a peripheral pixel area having a height higher than Lmax is centered on the pixel area having the maximum height Lmax. Assume that it is determined that the distance information is low and symmetrical. In this case, it can be determined that the measurement target included in the human candidate region corresponding to the pixel having Lmax corresponding to the head and the peripheral pixel corresponding to the shoulder is a person.
ステップS806は、ステップS805において人特徴検出ができたか否かを判定し、人特徴が検出できない場合、ステップS809に進む。一方、人特徴が検出できた場合、ステップS807に進み、人数カウンタNhをインクリメントする。
ステップS808では、人候補領域Idxが人特徴検出によって人であると判定されたため、この人候補領域Idxを人物Idxと決定する。
In step S806, it is determined whether or not the human feature is detected in step S805. If the human feature cannot be detected, the process proceeds to step S809. On the other hand, if the human feature is detected, the process proceeds to step S807, and the number of people counter Nh is incremented.
In step S808, since it is determined that the human candidate area Idx is a person by the human feature detection, the human candidate area Idx is determined as the person Idx.
ステップS809では、抽出した人候補領域は人ではないと判定して人候補領域Idxを削除する。
ステップS810では、人候補領域Idxをインクリメントする。
ステップS811では、人候補領域Idxが人候補領域数Nmaxよりも大きいか否かを判定する。人候補領域IdxがNmax以下の場合、ステップS803に戻り、ステップS803からステップS811までの処理を繰り返す。一方、人候補領域IdxがNmaxよりも大きい場合、ステップS812へ進み、人物データを保存する。以上のステップによって人検出処理を終了する。
In step S809, it is determined that the extracted person candidate area is not a person, and the person candidate area Idx is deleted.
In step S810, the person candidate area Idx is incremented.
In step S811, it is determined whether the human candidate area Idx is larger than the human candidate area number Nmax. If the human candidate area Idx is equal to or less than Nmax, the process returns to step S803, and the processes from step S803 to step S811 are repeated. On the other hand, if the candidate person area Idx is larger than Nmax, the process proceeds to step S812 and person data is stored. The person detection process is completed by the above steps.
次に、図2に示す人追跡(ステップS211)の処理動作について図15のフローチャートを用いて詳細に説明する。
始めに、ステップS1501では、図2のステップS202およびステップS207において検出した、人物Idx1および人物Idx2を初期化して、人物Idx1および人物Idx2の初期値を「1」に設定する。
次に、ステップS1502では、人物データ1の人物Idx1を取り出す。
Next, the processing operation of the person tracking (step S211) shown in FIG. 2 will be described in detail with reference to the flowchart of FIG.
First, in step S1501, the persons Idx1 and Idx2 detected in steps S202 and S207 of FIG. 2 are initialized, and initial values of the persons Idx1 and Idx2 are set to “1”.
Next, in step S1502, the person Idx1 of the
ステップS1503では、人物Idx1と人物Idx2との相関値を格納する変数V、最大の相関値を格納する変数Vmax、人物データ2の人物のインデックスを格納する変数ManIdxを用意し、「0」に初期化する。
ステップS1504では、人物データ2の人物Idx2から順番に人物のインデックスを1人ずつ取り出す。
In step S1503, a variable V that stores the correlation value between the person Idx1 and the person Idx2, a variable Vmax that stores the maximum correlation value, and a variable ManIdx that stores the index of the person in the
In step S1504, the person index is extracted one by one from the person Idx2 of the
ステップS1505では、人物Idx1と人物Idx2との相関値をVに格納する。相関値は、人候補のクラスタリングを行った際に分離した人候補領域の形状で相関値を取る方法や、領域内の最大高さLmaxとLminとで抽出した3次元データを使用した方法などがあげられる。例えば、人候補領域間の形状から相関値を求める方法としては正規化相関法がある。正規化相関によるマッチングでは、検出領域内で人物Idx1の人候補領域を1画素ずつずらしながら、次のサンプリングフレームにおいて取得した人物Idx2うちの1人の人物インデックスの人候補領域と、お互いの距離情報の相関値を計算し、最大の相関値が得られる画素位置に人候補領域が存在するとみなして最大の相関値を得る。
なお、距離情報の相関値のみではなく、図1の輝度メモリに格納されている輝度情報を用いることにより輝度の濃淡データも出力できるので、人候補領域に相当する濃淡データを使用して上述した正規化相関法により相関値を算出してもよい。
ステップS1506では、相関値VがVmaxよりも大きいか否かを判定し、VがVmaxよりも大きい場合はステップS1507へ進み、VがVmax以下の場合はステップS1508に進む。
ステップS1507では、VmaxをステップS1505で格納した相関値Vに置き換えて更新し、ManIdxを人物データ2の人物Idx2に置き換えて更新する。
ステップS1508では、人物Idx2を1だけインクリメントする。
In step S1505, the correlation value between the person Idx1 and the person Idx2 is stored in V. For the correlation value, there are a method of taking a correlation value with the shape of a candidate region separated when clustering of candidate candidates, a method using three-dimensional data extracted with the maximum heights Lmax and Lmin in the region, and the like. can give. For example, there is a normalized correlation method as a method for obtaining a correlation value from the shape between human candidate regions. In the matching by the normalized correlation, the person candidate area of the person Idx1 acquired in the next sampling frame is shifted by one pixel within the detection area, and the person candidate area of one person index of the person Idx2 acquired in the next sampling frame and the mutual distance information The correlation value is calculated, and the maximum correlation value is obtained assuming that the human candidate region exists at the pixel position where the maximum correlation value is obtained.
Since not only the correlation value of the distance information but also the brightness information stored in the brightness memory of FIG. 1 can be used, the brightness data can be output. Therefore, the above-described density data corresponding to the human candidate area is used. The correlation value may be calculated by a normalized correlation method.
In step S1506, it is determined whether or not the correlation value V is greater than Vmax. If V is greater than Vmax, the process proceeds to step S1507. If V is less than Vmax, the process proceeds to step S1508.
In step S1507, Vmax is updated by replacing with the correlation value V stored in step S1505, and ManIdx is updated by replacing with the person Idx2 of the
In step S1508, the person Idx2 is incremented by one.
ステップS1509では、人物Idx2が検出人数Nh2よりも大きいか否かを判定する。人物Idx2が検出人数Nh2よりも大きい場合、1人の人物Idx1に対し、図2のステップS207において検出された人数Nh2分の処理を終了したためステップS1510へ進む。一方、人物Idx2が検出人数Nh2以下である場合、残りの人物の処理を行うためステップS1504へ戻りステップS1504からステップS1509までの処理を繰り返す。 In step S1509, it is determined whether the person Idx2 is larger than the detected number Nh2. If the person Idx2 is larger than the detected number Nh2, the process for the number Nh2 detected in step S207 of FIG. 2 is completed for one person Idx1, and the process proceeds to step S1510. On the other hand, if the person Idx2 is less than or equal to the detected number Nh2, the process returns to step S1504 to repeat the processes from step S1504 to step S1509 in order to process the remaining persons.
ステップS1510では、Vmaxが最小相関値よりも大きいか否かを判定する。最小相関値は予め最適な値を設定しておく。Vmaxが最小相関値よりも大きい場合、人物Idx1と同一の人物と判定される人物Idx2が存在するため、ステップS1511において相関テーブルを更新する。一方、Vmaxが最小相関値以下の場合、ステップS1513へ進む。相関テーブルは、人物データ1の人物が人物データ2の人物とどのような相関値を示すかを記録したものである。
In step S1510, it is determined whether Vmax is larger than the minimum correlation value. The minimum correlation value is set to an optimum value in advance. If Vmax is larger than the minimum correlation value, there is a person Idx2 that is determined to be the same person as the person Idx1, and therefore the correlation table is updated in step S1511. On the other hand, if Vmax is less than or equal to the minimum correlation value, the process proceeds to step S1513. The correlation table records what correlation values the person of the
相関テーブルの一例を図16を用いて詳細に説明する。相関テーブルには、人物データ1の人物インデックスと、そのインデックスの人物と最大の相関値を持つ人物データ2中の人物インデックスと、その最大相関値とを関連付けて格納する。No.3にある人物データ1のインデックス3の人物は、人物データ2中に存在する複数の人物との相関値が低く、該当する人物がいないために、人物データ2の人物インデックスと、人物データ2の最大相関値とが「0」になっている。つまり、人物データ1の検出人数Nh1が3人、人物データ2の検出人数Nh2が2人になり、検出領域から人物が1人いなくなることを示している。
An example of the correlation table will be described in detail with reference to FIG. In the correlation table, the person index of the
ステップS1512では、人物データ1のインデックスである人物Idx1を1つインクリメントする。
ステップS1513では、人物Idx1が検出人数Nh1より大きいか否かを判定し、人物Idx1が検出人数Nh1より大きい場合、図2のステップS202の処理において検出されたNh1人分の処理を終えたため、ステップS1514へ進む。一方、人物Idx1が検出人数Nh1以下である場合、まだ処理の終えていない人物Idx1が存在するため、ステップS1502へ戻り、未処理の人物Idx1についてステップS1502からステップS1513の処理を繰り返す。
In step S1512, the person Idx1, which is the index of the
In step S1513, it is determined whether or not the person Idx1 is larger than the detected number Nh1, and if the person Idx1 is larger than the detected number Nh1, the process for Nh1 detected in the process of step S202 in FIG. The process proceeds to S1514. On the other hand, when the person Idx1 is equal to or less than the detected number Nh1, since there is a person Idx1 that has not been processed yet, the process returns to step S1502, and the processes from step S1502 to step S1513 are repeated for the unprocessed person Idx1.
ステップS1514では、上述した追跡データを更新する。
ステップS1515では、人物Idx1の人数が人物Idx2の人数よりも多いか否かを判定する。人物Idx1の人数が人物Idx2の人数よりも多い場合、ステップS1516へ進み、相関テーブルから相関値の低い人物Idx1の追跡停止を決定し、図6に示すような追跡データの追跡フラグをゼロに設定し、人追跡処理を終了する。一方、人物Idx1の人数が人物Idx2の人数以下である場合、ステップS1517へ進む。
In step S1514, the tracking data described above is updated.
In step S1515, it is determined whether or not the number of persons Idx1 is larger than the number of persons Idx2. If the number of persons Idx1 is larger than the number of persons Idx2, the process proceeds to step S1516, the tracking stop of the person Idx1 having a low correlation value is determined from the correlation table, and the tracking flag of tracking data as shown in FIG. 6 is set to zero. Then, the person tracking process ends. On the other hand, if the number of persons Idx1 is equal to or less than the number of persons Idx2, the process proceeds to step S1517.
ステップS1517では、人物Idx1の人数が人物Idx2の人数よりも少ないか否かを判定する。人物Idx1の人数が人物Idx2の人数よりも小さい場合、ステップS1518に進み、人物追跡を新たに開始し、図6に示す追跡データに新たなデータを加える。一方、人物Idx1の人数が人物Idx2の人数より多い、すなわち、ステップS1515との関係から人物Idx1の人数と人物Idx2の人数とが等しい場合、人物データ2に含まれる検出人数に対して処理を終えたことを示すため、人追跡処理を終了する。
In step S1517, it is determined whether the number of persons Idx1 is smaller than the number of persons Idx2. If the number of persons Idx1 is smaller than the number of persons Idx2, the process advances to step S1518 to start a new person tracking and add new data to the tracking data shown in FIG. On the other hand, when the number of people Idx1 is larger than the number of people Idx2, that is, when the number of people Idx1 and the number of people Idx2 are equal from the relationship with step S1515, the process is completed for the number of people detected in the
以上に示した第1の実施形態によれば、距離情報を用いて測定対象をクラスタリングすることにより、輝度情報を利用する方法よりも高精度な人物認識および人物追跡を行うことができ、精度よく人数カウントが可能となる。
(第2の実施形態)
この発明の第2の実施形態は、図8の人検出処理における人特徴検出(ステップS805)に以下の判断を用いることにより、人候補領域に含まれる測定対象が人であるか、あるいは、犬または猫などの小動物であるかを判定し、さらに人が荷物を運んでいる状態であっても人と荷物の分離判定を高精度に行い、さらに人の概算身長や、荷物の高さなどを測定することを特徴とする。
According to the first embodiment described above, by clustering measurement objects using distance information, it is possible to perform person recognition and person tracking with higher accuracy than a method using luminance information, and with high accuracy. The number of people can be counted.
(Second Embodiment)
The second embodiment of the present invention uses the following determination for the human feature detection (step S805) in the human detection process of FIG. 8 to determine whether the measurement target included in the human candidate region is a person or a dog Also, it is determined whether it is a small animal such as a cat, and even when a person is carrying a baggage, the person and baggage are separated with high accuracy, and the approximate height of the person, the height of the baggage, etc. It is characterized by measuring.
測定対象の判定処理について図17のフローチャート、および図18から図20を用いて詳細に説明する。図18から図20に示すように、本実施形態に係る人数カウンタ100は、人数カウンタ100に係るレーザ発光部101およびレーザ受光部103を天井1801に設置し、天井1801から床1802に向かって人候補領域を測定する。さらに、人数カウンタ100の出力をモニタ部1804およびカウンタ表示部1805に表示する。表示方法としては、例えばモニタ部1804には距離情報および輝度情報をそれぞれ出力して表示させ、カウンタ表示部1805には人数カウント部118からの検出人数を表示させる方法が用いられる。距離情報および輝度情報は、人数カウント部118からまとめて外部に出力されてもよいし、距離メモリ107および輝度メモリ111からそれぞれ抽出して外部に出力されてもよい。
The measurement target determination process will be described in detail with reference to the flowchart of FIG. 17 and FIGS. 18 to 20. As shown in FIGS. 18 to 20, the
始めに、ステップS1701では、検出領域内の画素ごとの距離情報から垂直距離Hnを算出する。
垂直距離Hnの算出は、レーザ発光部101およびレーザ受光部103から床1802までの距離Anと、レーザ発光部101およびレーザ受光部103から床1802に下ろした垂線からの角度θnとから(式1)により求められる。
Hn=An・cosθn (式1)
(n=1,2,3,…,n−1,n:測定対象の周辺の床に相当する画素)
次に、ステップS1702では、画素ごとの距離のばらつきを低減するため、周辺画素を数個まとめて垂直距離Hnの平均値Hを(式2)により算出する。
H=(ΣHn)/n (式2)
ステップS1703では、最短距離Jmnのインデックスであるmの初期値を「1」に設定する。最短距離Jmnとは、検出領域内において、レーザ発光部101およびレーザ受光部103から測定対象までの距離のうち1番短い距離を指す。また、mが「1」の場合は最短距離を持つ画素集合であり、mが「2」の場合は最短距離を持つ画素を除いて次に最も距離が短い画素集合であることを表す。
First, in step S1701, it calculates a vertical distance H n from the distance information for each pixel in the detection region.
Calculation of the vertical distance H n from the
H n = A n · cos θ n (Formula 1)
(N = 1, 2, 3,..., N−1, n: pixels corresponding to the floor around the measurement target)
Next, in step S1702, in order to reduce variations in the distance for each pixel, the mean value H of the vertical distance H n peripheral pixels few collectively calculated by (Equation 2).
H = (ΣH n ) / n (Formula 2)
In step S1703, the initial value of the m is the index of the shortest distance J mn to "1". The shortest distance J mn refers to the shortest distance among the distances from the laser
ステップS1704では、床1802までの距離を有する画素以外に、最短距離を未検出の画素があるか否かを判定する。この判定の結果、未検出の画素がある場合にはステップS1706へ進み、未検出の画素がない場合には測定対象の判定処理を終了する。
ステップS1705では、未検出の画素のうち、最短距離Jmnの距離情報をもつ画素を検出し、さらにその周辺画素についても検出する。周辺画素の算出方法は、垂直距離Hnの算出方法と同様に(式1)を用いて計算すればよい。
In step S1704, it is determined whether there is a pixel whose shortest distance has not been detected in addition to the pixel having the distance to the
In step S1705, a pixel having distance information of the shortest distance Jmn among undetected pixels is detected, and its surrounding pixels are also detected. The method of calculating the peripheral pixels, as well as the method of calculating the perpendicular distance H n may be calculated using (Equation 1).
ステップS1706では、(式2)を用いて垂直距離Hnと同様に平均した最短距離Jmを算出する。なお、最短距離Jmがわかれば測定対象が人である場合、人の概算身長Lも(式3)より求めることができる。
L=H−J (式3)
ステップS1707では、最短距離Jmを含む周辺画素で表される画素領域の面積(画素面積とも呼ぶ)が閾値以内であるか否かの判定を行う。画素面積が閾値以内である場合、人または小動物の頭部である可能性が高いとして、ステップS1709へ進む。一方、画素面積が閾値よりも大きい場合にはステップS1708へ進む。
In step S1706, calculates the shortest distance J m averaged as with the vertical distance H n using Equation (2). If the shortest distance J m is known and the measurement object is a person, the approximate height L of the person can also be obtained from (Equation 3).
L = H−J (Formula 3)
In step S1707, (also referred to as a pixel area) area of the pixel region represented by peripheral pixels including the shortest distance J m it is determined whether it is within a threshold value. If the pixel area is within the threshold value, it is likely that the head is a human or small animal head, and the process advances to step S1709. On the other hand, if the pixel area is larger than the threshold value, the process advances to step S1708.
ステップS1708では、画素面積で表される領域を人の頭部ではなく荷物であると判定する。その後、mをインクリメントしてステップS1704へ戻り、ステップS1704からステップS1707までの処理を繰り返し行う。
ステップS1709では、Jmの次に距離が短い距離情報を持つ画素とその周辺画素とを算出し、(式2)を用いて同様に平均化した距離Jm+1を算出する。
ステップS1710では、距離Jm+1である画素面積が閾値以内であり、かつ距離Jmと距離Jm+1との距離差が閾値以内であるか否かを判定する。2つの条件を満たす場合、ステップS1711へ進み、距離Jmである画素面積を頭部認識部分とし、距離Jm+1である画素面積を頭部周辺肩認識部分とする。一方、少なくとも1つの条件を満たさない場合は、ステップS1708へ進み、JmおよびJm+1である画素面積は荷物であると判定する。
In step S1708, it is determined that the region represented by the pixel area is not a human head but a luggage. Thereafter, m is incremented and the process returns to step S1704, and the processes from step S1704 to step S1707 are repeated.
In step S1709, a pixel having distance information with the next shortest distance after J m and its surrounding pixels are calculated, and the averaged distance J m + 1 is calculated using (Equation 2).
In step S1710, the distance J m pixel area is + 1 is within the threshold value, and the distance J determines the distance difference is whether within the threshold of m and the distance J m + 1. If the two conditions are satisfied, the process proceeds to step S1711, the distance J pixel area that is m and the head recognition moiety, the pixel area is the distance J m + 1 to the head near the shoulder recognition moiety. On the other hand, if at least one condition is not satisfied, the process advances to step S1708 to determine that the pixel areas J m and J m + 1 are luggage.
ステップS1712では、頭部認識した画素面積を中心として、頭部周辺肩認識部分の画素面積が左右対称に存在するか否かを判定する。画素面積が左右対称に存在する場合、ステップS1713へ進む。一方、画素面積が左右対称に存在しない場合、ステップS1714へ進む。
ステップS1713では、頭部周辺肩認識部分が人の肩に対応すると考えられるため、距離Jmおよび距離Jm+1である画素面積は人であると判定する。その後、mをインクリメントして、ステップS1704へ戻り、上述した処理を行う。
ステップS1714では、頭部周辺の肩認識部分が頭部認識部分の片側に存在し、さらにその画素面積が閾値より大きければ、距離Jmおよび距離Jm+1である画素面積は人ではなく小動物であると判定する。その後、mをインクリメントして、ステップS1704へ戻り、上述の処理を行う。
In step S <b> 1712, it is determined whether the pixel area of the head periphery shoulder recognition portion exists symmetrically around the pixel area recognized by the head. If the pixel area exists symmetrically, the process proceeds to step S1713. On the other hand, if the pixel area does not exist symmetrically, the process proceeds to step S1714.
In step S1713, since the head periphery shoulder recognition part is considered to correspond to the shoulder of a person, it is determined that the pixel area having the distance J m and the distance J m + 1 is a person. Thereafter, m is incremented, and the process returns to step S1704 to perform the above-described processing.
In step S1714, the shoulder recognition moiety near the head is present on one side of the head recognition moiety, further if the pixel area is greater than the threshold, the distance a pixel area that is J m and the distance J m + 1 is a small animal rather than a human Is determined. Thereafter, m is incremented, and the process returns to step S1704 to perform the above-described processing.
ここで、測定対象が人である場合の特徴検出の一例を図18を用いて説明する。
図18(a)は、天井1801に設置したレーザ発光部101およびレーザ受光部103の真下に人1803が存在する状態を表し、図18(b)は、図18(a)を真横から見た高さ方向の距離情報を表した図である。また、レーザ発光部101およびレーザ受光部103による検出領域はモニタ部1804のように表される。図18(b)に示すように、この検出領域に対して、最短距離Jmである画素面積(頭部認識部分)を中心に、次に距離が短い画素を含む画素面積(頭部周辺肩認識部分)が左右対称に存在しているため、最短距離Jである画素面積が頭部、次に距離の短い画素面積が人の肩に該当することがわかる。よって、図17に示した人特徴検出処理により測定対象が人1803であることが判定できる。
Here, an example of feature detection when the measurement target is a person will be described with reference to FIG.
18A shows a state in which a
次に、測定対象が犬または猫などの小動物である場合を図19を用いて説明する。
(a)は小動物1901が距離カメラの真下に存在する状態である。(b)に示すように、頭部認識部分に対して、頭部周辺肩認識部分が片側にのみ存在し、かつ頭部周辺肩認識部分が人である場合と比較して長いため、小動物1901と判定する。
さらに、最短距離Jが人よりも長い、つまり、概算身長Lが低く、かつ頭部周辺肩認識部分において、肩の中心と頭部の中心が偏ったものは犬または猫などとすることで、小動物の分類ができる。例えば、Lが1m以内は犬、Lが0.5m以内は猫とするような閾値を予めもたせることで犬と猫とを区別することができる。
Next, the case where the measurement target is a small animal such as a dog or a cat will be described with reference to FIG.
(A) is a state in which the
Furthermore, the shortest distance J is longer than the person, that is, the estimated height L is low, and the shoulder perimeter recognition part is such that the center of the shoulder and the center of the head are biased as a dog or a cat, Can classify small animals. For example, it is possible to distinguish between a dog and a cat by setting in advance a threshold value such that a dog is set to L within 1 m and a cat is set to L within 0.5 m.
次に、人と台車等荷物と分離判定について図20を用いて説明する。
(a)は、測定対象として人2001が台車を押して荷物2002を運んでいる状態を示している。分離判定手順として、始めに、最短距離J1の画素を検出し、次に距離の短いJ2の画素を検出する。図17に示すステップS1707からステップS1713までの処理により、距離J1および距離J2の部分は人2001であると判定する。
さらに、人2001であると認識した画素面積以外の画素の中で、最短距離J3を有する画素を検出する。距離J3である画素を含む画素集合は、図17のステップS1707によりJ3である画素面積が閾値範囲より大きいと判定されるか、ステップS1711により周辺に肩に相当する部分がないと判定されるため、荷物2002であると判定される。なお、小動物が頭を下げている場合も荷物として判定される可能性があるが、その場合は人特徴検出処理をある期間継続して判定を行い、随時更新すればよい。
Next, separation determination between a person and a truck such as a cart will be described with reference to FIG.
(A) has shown the state in which the
Furthermore, among the pixels other than the pixel area that is recognized as a
以上に示した第2の実施形態によれば、測定対象が人であるか、あるいは、犬または猫などの小動物であるかを判定することができ、さらに人が荷物を運んでいる状態であっても人と荷物の分離判定を高精度に行うことが可能であり、さらに人の概算身長や荷物の高さなどを測定できる。 According to the second embodiment described above, it is possible to determine whether the measurement target is a person or a small animal such as a dog or a cat, and the person is carrying a load. However, it is possible to determine the separation of a person and a baggage with high accuracy and to measure the approximate height of the person and the height of the baggage.
なお、本発明は上記各実施形態そのままに限定されるものではなく、各実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the invention in each stage of implementation. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
100・・・人数カウンタ、101・・・レーザ発光部、102・・・パルス制御部、103・・・レーザ受光部、104・・・位相検出部、105、109・・・A/D変換部、106・・・距離計測部、107・・・距離メモリ、108・・・振幅検出部、110・・・輝度計測部、111・・・輝度メモリ、112・・・ミラー、113・・・X軸制御部、114・・・Y軸制御部、115・・・クラスタリング部、116・・・測定対象検出部、117・・・測定対象追跡部、118・・・人数カウント部、1801・・・天井、1802・・・床、1803、2001・・・人、1804・・・モニタ部、1805・・・カウンタ表示部、1901・・・小動物、2002・・・荷物。
DESCRIPTION OF
Claims (5)
前記測定対象が接地する平面に前記画素を写像した場合の画素位置と前記距離とを関連付けた第1距離情報と、前記画素位置において前記平面に対して垂直な高さ方向の距離を示す第2距離情報とを含む3次元データを画素ごとに格納する格納部と、
前記格納部に格納された3次元データから、閾値以内となる前記第2距離情報を含む3次元データのみ抽出し、当該抽出したデータに対してクラスタリングして、前記測定対象を含む画素領域を表す人候補領域をサンプリングフレームごとに得るクラスタリング部と、
前記クラスタリング部によりサンプリングフレームごとに得られた複数の人候補領域間の相関値に基づいて同一の人候補領域を判定し、当該同一の人候補領域の移動軌跡を追跡する追跡部と、
前記追跡部の追跡結果に基づいて、前記人候補領域が予め当該人候補領域より大きく設定した画素領域を通過した場合に、その通過数を通過人数としてカウントするカウント部と、を具備することを特徴する人数カウンタ。 For each pixel in the detection area obtained by the camera, a measurement unit that measures the distance from the camera to the measurement target;
First distance information associating a pixel position with the distance when the pixel is mapped to a plane on which the measurement object is grounded, and a second distance in the height direction perpendicular to the plane at the pixel position A storage unit that stores, for each pixel, three-dimensional data including distance information;
From the three-dimensional data stored in the storage unit, only the three-dimensional data including the second distance information within the threshold is extracted, and the extracted data is clustered to represent the pixel region including the measurement target. A clustering unit that obtains human candidate regions for each sampling frame;
A tracking unit that determines the same person candidate area based on a correlation value between a plurality of person candidate areas obtained for each sampling frame by the clustering unit, and tracks a movement trajectory of the same person candidate area;
A counting unit that counts the number of passing people as the number of people passing when the candidate region passes through a pixel region set in advance larger than the candidate human region based on the tracking result of the tracking unit. Characteristic people counter.
前記検出部は、前記最大高さの前記第2距離情報を有する画素と当該画素の周辺画素とを含む画素領域の面積を示す第1画素面積が第3閾値範囲内であり、かつ前記最大高さの次に高い第2距離情報を有する画素と当該画素の周辺画素とを含む画素領域の面積を示す第2画素面積が第4閾値範囲内であり、前記第2画素面積および前記第1画素面積の第2距離情報の距離差が第5閾値範囲内であり、かつ前記第2画素面積が前記第1画素面積を中心として対称に存在する場合、前記第1画素面積および前記第2画素面積を人として検出することを特徴とする請求項2に記載の人数カウンタ。 Further comprising a detection unit for detecting the measurement object,
In the detection unit, a first pixel area indicating an area of a pixel region including a pixel having the second distance information of the maximum height and a peripheral pixel of the pixel is within a third threshold range, and the maximum height A second pixel area indicating an area of a pixel region including a pixel having the second highest distance information and a peripheral pixel of the pixel is within a fourth threshold range, and the second pixel area and the first pixel When the distance difference of the second distance information of the area is within a fifth threshold range, and the second pixel area exists symmetrically about the first pixel area, the first pixel area and the second pixel area The person counter according to claim 2, wherein the person counter is detected as a person.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009186772A JP5396192B2 (en) | 2009-08-11 | 2009-08-11 | People counter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009186772A JP5396192B2 (en) | 2009-08-11 | 2009-08-11 | People counter |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011039792A true JP2011039792A (en) | 2011-02-24 |
JP5396192B2 JP5396192B2 (en) | 2014-01-22 |
Family
ID=43767497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009186772A Active JP5396192B2 (en) | 2009-08-11 | 2009-08-11 | People counter |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5396192B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103700163A (en) * | 2013-12-03 | 2014-04-02 | 北京悦动双成科技有限公司 | Target determining method and three-dimensional sensor |
KR101448392B1 (en) | 2013-06-21 | 2014-10-13 | 호서대학교 산학협력단 | People counting method |
JP2015041166A (en) * | 2013-08-21 | 2015-03-02 | 国立大学法人富山大学 | Object tracking method and object tracking system |
EP2947602A1 (en) * | 2014-04-11 | 2015-11-25 | Panasonic Intellectual Property Management Co., Ltd. | Person counting device, person counting system, and person counting method |
JP2016075693A (en) * | 2011-03-30 | 2016-05-12 | 株式会社国際電気通信基礎技術研究所 | Measurement device, measurement method and measurement program |
JP2017123028A (en) * | 2016-01-06 | 2017-07-13 | サクサ株式会社 | Image processing apparatus |
WO2019176084A1 (en) * | 2018-03-16 | 2019-09-19 | 日本電気株式会社 | Object detection device, object detection system, object detection method, and non-transitory computer-readable medium having program stored thereon |
JP2020140660A (en) * | 2019-03-01 | 2020-09-03 | グローリー株式会社 | Person counting device, person counting method and person counting program |
CN113607064A (en) * | 2021-08-06 | 2021-11-05 | 广联达科技股份有限公司 | Target object distance measuring and calculating method, device and equipment and readable storage medium |
US11736067B2 (en) | 2017-11-13 | 2023-08-22 | Sumitomo Electric Industries, Ltd. | Semiconductor device and amplifier assembly |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04242877A (en) * | 1990-12-28 | 1992-08-31 | Giken Torafuitsuku Kk | Method for detecting passerby |
JP2006241682A (en) * | 2005-02-28 | 2006-09-14 | Art:Kk | In-and-out supervising device |
JP2006322891A (en) * | 2005-05-20 | 2006-11-30 | Ishikawajima Harima Heavy Ind Co Ltd | Passenger number detector and method |
JP2007303239A (en) * | 2006-05-15 | 2007-11-22 | Konica Minolta Holdings Inc | Authentication apparatus, method of controlling authentication apparatus, and control program of authentication apparatus |
JP2007315948A (en) * | 2006-05-26 | 2007-12-06 | Sogo Keibi Hosho Co Ltd | Object detector and its method |
-
2009
- 2009-08-11 JP JP2009186772A patent/JP5396192B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04242877A (en) * | 1990-12-28 | 1992-08-31 | Giken Torafuitsuku Kk | Method for detecting passerby |
JP2006241682A (en) * | 2005-02-28 | 2006-09-14 | Art:Kk | In-and-out supervising device |
JP2006322891A (en) * | 2005-05-20 | 2006-11-30 | Ishikawajima Harima Heavy Ind Co Ltd | Passenger number detector and method |
JP2007303239A (en) * | 2006-05-15 | 2007-11-22 | Konica Minolta Holdings Inc | Authentication apparatus, method of controlling authentication apparatus, and control program of authentication apparatus |
JP2007315948A (en) * | 2006-05-26 | 2007-12-06 | Sogo Keibi Hosho Co Ltd | Object detector and its method |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016075693A (en) * | 2011-03-30 | 2016-05-12 | 株式会社国際電気通信基礎技術研究所 | Measurement device, measurement method and measurement program |
KR101448392B1 (en) | 2013-06-21 | 2014-10-13 | 호서대학교 산학협력단 | People counting method |
JP2015041166A (en) * | 2013-08-21 | 2015-03-02 | 国立大学法人富山大学 | Object tracking method and object tracking system |
CN103700163A (en) * | 2013-12-03 | 2014-04-02 | 北京悦动双成科技有限公司 | Target determining method and three-dimensional sensor |
EP2947602A1 (en) * | 2014-04-11 | 2015-11-25 | Panasonic Intellectual Property Management Co., Ltd. | Person counting device, person counting system, and person counting method |
JP2017123028A (en) * | 2016-01-06 | 2017-07-13 | サクサ株式会社 | Image processing apparatus |
US11736067B2 (en) | 2017-11-13 | 2023-08-22 | Sumitomo Electric Industries, Ltd. | Semiconductor device and amplifier assembly |
WO2019176084A1 (en) * | 2018-03-16 | 2019-09-19 | 日本電気株式会社 | Object detection device, object detection system, object detection method, and non-transitory computer-readable medium having program stored thereon |
JPWO2019176084A1 (en) * | 2018-03-16 | 2021-02-04 | 日本電気株式会社 | Object detection device, object detection system, object detection method and program |
US11335011B2 (en) | 2018-03-16 | 2022-05-17 | Nec Corporation | Object detection device, object detection system, object detection method, and non-transitory computer-readable medium storing program |
JP7256032B2 (en) | 2019-03-01 | 2023-04-11 | グローリー株式会社 | Person counting device, person counting method and person counting program |
JP2020140660A (en) * | 2019-03-01 | 2020-09-03 | グローリー株式会社 | Person counting device, person counting method and person counting program |
CN113607064A (en) * | 2021-08-06 | 2021-11-05 | 广联达科技股份有限公司 | Target object distance measuring and calculating method, device and equipment and readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5396192B2 (en) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5396192B2 (en) | People counter | |
Brščić et al. | Person tracking in large public spaces using 3-D range sensors | |
US9117106B2 (en) | Use of three-dimensional top-down views for business analytics | |
US9489565B2 (en) | Image processing apparatus, image processing method, program, and image processing system | |
KR101553653B1 (en) | apparatus and method for detecting slip of robot | |
US9819881B2 (en) | Image output apparatus, image output method, and image output system | |
Papaioannou et al. | Fusion of radio and camera sensor data for accurate indoor positioning | |
CN109490903A (en) | Distance-measuring device | |
US8638988B2 (en) | Movement analysis and/or tracking system | |
CN111753609A (en) | Target identification method and device and camera | |
JP6789421B2 (en) | Information processing equipment, tracking method, and tracking program | |
Natale et al. | Using full motion 3D Flash LIDAR video for target detection, segmentation, and tracking | |
JP2005242488A (en) | Object detecting device, object detecting method and program | |
US9160986B2 (en) | Device for monitoring surroundings of a vehicle | |
Akamatsu et al. | Development of a person counting system using a 3D laser scanner | |
CN112740065B (en) | Imaging device, method for imaging and method for depth mapping | |
US20180336694A1 (en) | System and Method for Passive Tracking Based on Color Features | |
JP2019036213A (en) | Image processing device | |
Fahn et al. | A high-definition human face tracking system using the fusion of omni-directional and PTZ cameras mounted on a mobile robot | |
Kristou et al. | Target person identification and following based on omnidirectional camera and LRF data fusion | |
KR102150661B1 (en) | Method and Apparatus for Preprocessing Image for Detecting Objects | |
US20200205633A1 (en) | Arrangement and Method for Contactless Distance Determination of the Type of the Light Intersection Method | |
JP6580286B2 (en) | Image database construction device, position and inclination estimation device, and image database construction method | |
JP7176364B2 (en) | DISTANCE INFORMATION ACQUISITION DEVICE AND DISTANCE INFORMATION ACQUISITION METHOD | |
Wallner et al. | RGB-D railway platform monitoring and scene understanding for enhanced passenger safety |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5396192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |