JP2006236025A - Person detection method - Google Patents

Person detection method Download PDF

Info

Publication number
JP2006236025A
JP2006236025A JP2005050109A JP2005050109A JP2006236025A JP 2006236025 A JP2006236025 A JP 2006236025A JP 2005050109 A JP2005050109 A JP 2005050109A JP 2005050109 A JP2005050109 A JP 2005050109A JP 2006236025 A JP2006236025 A JP 2006236025A
Authority
JP
Japan
Prior art keywords
person
detection method
person detection
stereo
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005050109A
Other languages
Japanese (ja)
Other versions
JP4471866B2 (en
Inventor
Kentaro Hayashi
健太郎 林
Takahide Hirai
敬秀 平井
Koichi Sasagawa
耕一 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005050109A priority Critical patent/JP4471866B2/en
Publication of JP2006236025A publication Critical patent/JP2006236025A/en
Application granted granted Critical
Publication of JP4471866B2 publication Critical patent/JP4471866B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a person detection method capable of reducing an error when a distance between a person and a stereo camera is large. <P>SOLUTION: In step S1, parallax is measured to each point of the person. In step S2, a stereo distance that is the distance between the stereo camera and the person is calculated about each the point from an obtained parallax image. In step S3, coordinates of all the points on the surface of the person in a world coordinate system are calculated by use of the stereo distance. In step S4, projection in a Z-axis direction, i.e., the number of the points is added. In step S5, largeness of a window is found. In step S6, a characteristic quantity of the number of the points is found inside the window. In step S7, it is decided whether the person is present or not by use of the characteristic quantity. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、人物検出方法に関し、特に、床面上に起立した人物をステレオカメラを用いて検出する技術に関する。   The present invention relates to a person detection method, and more particularly to a technique for detecting a person standing on a floor surface using a stereo camera.

従来から、ステレオカメラ等を用いて得られた画像を処理することによる人物検出が行われている。   Conventionally, person detection has been performed by processing an image obtained using a stereo camera or the like.

例えば、特許文献1には、横断歩道上の人物をステレオカメラを用いて検出する手法が開示されている。また、特許文献2には、3次元データを特定平面に投影し、投影された面積より混雑度を計測する手法が開示されている。また、特許文献3には、ステレオ画像から3次元情報を抽出し、人物等の物体が存在する地面などの基準平面を推定し、この基準平面より上にある物体を追跡する手法が開示されている。また、非特許文献1には、複数のステレオカメラを用いて人物検出および人物追跡を行う手法が開示されている。   For example, Patent Literature 1 discloses a technique for detecting a person on a pedestrian crossing using a stereo camera. Patent Document 2 discloses a method of projecting three-dimensional data onto a specific plane and measuring the degree of congestion from the projected area. Patent Document 3 discloses a method for extracting three-dimensional information from a stereo image, estimating a reference plane such as the ground on which an object such as a person exists, and tracking an object above the reference plane. Yes. Non-Patent Document 1 discloses a technique for performing person detection and person tracking using a plurality of stereo cameras.

特開2002−24986号公報JP 2002-24986 A 特開2001−34883号公報JP 2001-34883 A 特開2000−115810号公報JP 2000-115810 A 依田 育士、他1名、”ユビキタスステレオビジョンによる実時間実環境ヒューマンセンシング”、[online]、平成15年6月13日、画像センシング技術研究会、[平成16年1月9日検索]、インターネット<URL: http://www.media.eng.hokudai.ac.jp/~liuxj/bak/pdf/F-19.pdf>Ikeda Ikushi and 1 other, "Real-time real-environment human sensing with ubiquitous stereo vision", [online], June 13, 2003, Image Sensing Technology Study Group, [Search January 9, 2004], Internet <URL: http://www.media.eng.hokudai.ac.jp/~liuxj/bak/pdf/F-19.pdf>

ステレオカメラを用いて得られた画像を処理する場合には、計測される人物とステレオカメラとの距離が大きくなると、誤差が大きくなってしまうという問題点があった。   When an image obtained using a stereo camera is processed, there is a problem in that an error increases as the distance between the person to be measured and the stereo camera increases.

本発明は以上の問題点を解決するためになされたものであり、人物とステレオカメラとの距離が大きい場合の誤差を低減できる人物検出方法を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a person detection method capable of reducing an error when a distance between a person and a stereo camera is large.

本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の点とステレオカメラとの距離であるステレオ距離を求める工程と、点を人物の起立方向に加算することにより和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備える。   A person detection method according to the present invention is a person detection method for detecting a person using a stereo camera, and by processing image information obtained from the stereo camera, a point on the surface of the person standing on the floor surface A step of obtaining a stereo distance that is a distance from the stereo camera, a step of obtaining a sum by adding points in the standing direction of the person, a region setting step of determining a predetermined region having a size based on the stereo distance, and a predetermined step A feature amount calculating step for obtaining a feature amount based on the sum in the region, and a person detecting step for detecting a person based on the feature amount.

本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の点とステレオカメラとの距離であるステレオ距離を求める工程と、点を人物の起立方向に加算することにより和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備えるので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラを設置するときに、人物との距離を考慮する必要がなくなるので、ステレオカメラの設置場所に関する制限を緩和することができる。   A person detection method according to the present invention is a person detection method for detecting a person using a stereo camera, and by processing image information obtained from the stereo camera, a point on the surface of the person standing on the floor surface A step of obtaining a stereo distance that is a distance from the stereo camera, a step of obtaining a sum by adding points in the standing direction of the person, a region setting step of determining a predetermined region having a size based on the stereo distance, and a predetermined step In this area, a feature amount calculation step for obtaining a feature amount based on the sum and a person detection step for detecting a person based on the feature amount are included, so that errors due to stereo distance can be reduced. Therefore, since a stable peak can be obtained on the histogram, the accuracy can be further increased. Further, since the error due to the stereo distance can be reduced, it is not necessary to consider the distance to the person when installing the stereo camera, so that the restriction on the installation location of the stereo camera can be relaxed.

<実施の形態1>
実施の形態1に係る人物検出方法においては、起立した人物は基準平面(以下では床面とも呼ぶ)に対して垂直方向に長い棒状の物体であると仮定できることに着目し、人物表面上の点を床面に投影しその点の個数のヒストグラムを作成する。また、ステレオカメラからの距離が大きい点ほど視差に対する誤差が大きくなることを考慮し、ステレオカメラからの距離に基づく大きさを与えられた所定の領域(ウィンドウ)において、ヒストグラム値の平均値またはばらつき等からなる特徴量を求め、この特徴量を用いて人物を検出することを特徴とする。
<Embodiment 1>
In the person detection method according to the first embodiment, attention is paid to the fact that the standing person can be assumed to be a bar-like object that is long in the vertical direction with respect to a reference plane (hereinafter also referred to as a floor surface). Is projected onto the floor and a histogram of the number of points is created. In addition, considering that the error with respect to parallax increases as the distance from the stereo camera increases, the average value or variation of histogram values in a given area (window) given a size based on the distance from the stereo camera. And the like, and a person is detected using this feature quantity.

図1において、ステレオカメラ10は、ベースラインDだけ離れたカメラ10Lおよびカメラ10Rを有し、床面30上に起立した人物40の身長よりも高い高さBを有する位置に固定されている。また、ステレオカメラ10には、ステレオカメラ10から得られる画像情報を処理するコンピュータ20が接続されている。   In FIG. 1, the stereo camera 10 includes a camera 10 </ b> L and a camera 10 </ b> R separated by a baseline D, and is fixed at a position having a height B higher than the height of the person 40 standing on the floor 30. The stereo camera 10 is connected to a computer 20 that processes image information obtained from the stereo camera 10.

次に、図2のフローチャートを用いて、本実施の形態に係る人物検出方法を説明する。   Next, the person detection method according to the present embodiment will be described using the flowchart of FIG.

まず、ステップS1において、コンピュータ20は、ステレオカメラ10から得られる画像情報に基づき、人物40表面上の点に対して、視差dの計測を行う。ここで、点とは、三次元空間を所定の解像度に基づき分割した場合の計測の最小単位のことである。また、この視差dは、人物40表面上の全ての点(人物40の表面のうち影で計測できない点や黒塗り部分等の画像情報の存在しない点を除く)において、計測される。これにより、コンピュータ20は、人物40について、解像度に等しい分解能を有する視差画像すなわち密な視差画像を得る。この視差画像は、カメラ10L,10Rに対応した二枚の画像から計算により得られる一枚の画像である。   First, in step S <b> 1, the computer 20 measures the parallax d for points on the surface of the person 40 based on image information obtained from the stereo camera 10. Here, the point is a minimum unit of measurement when the three-dimensional space is divided based on a predetermined resolution. The parallax d is measured at all points on the surface of the person 40 (excluding points that cannot be measured by shadows on the surface of the person 40 and points where no image information such as black portions exist). Thereby, the computer 20 obtains a parallax image having a resolution equal to the resolution, that is, a dense parallax image, for the person 40. This parallax image is a single image obtained by calculation from two images corresponding to the cameras 10L and 10R.

次に、ステップS2において、コンピュータ20は、得られた視差画像から、各点において、ステレオカメラ10と人物40との距離であるステレオ距離を算出する。   Next, in step S2, the computer 20 calculates a stereo distance that is a distance between the stereo camera 10 and the person 40 at each point from the obtained parallax image.

なお、算出されたこのステレオ距離と、人物40の実身長Hとからは、図1に示されるような立体視画像45が得られる。ここで、人物40の実身長Hは、既存の手法により観測してもよく、または一般的な平均値(日本人であれば約164cm)を用いてもよい。この立体視画像45から、人物40の画像上の身長である画像身長hが得られる。   Note that a stereoscopic image 45 as shown in FIG. 1 is obtained from the calculated stereo distance and the actual height H of the person 40. Here, the actual height H of the person 40 may be observed by an existing method, or a general average value (about 164 cm for Japanese) may be used. From this stereoscopic image 45, an image height h that is the height of the person 40 on the image is obtained.

次に、ステップS3において、コンピュータ20は、算出された各点のステレオ距離を用いて、世界座標系における上記の人物40表面上の全ての点の座標を算出する。図1においては、この世界座標系は、XYZ座標系として示されている。図1において、床面30はXY平面に対応し、ベースラインDはY軸に平行であり、ステレオカメラ10から見て奥行方向がX軸に一致し、人物40はZ軸方向に起立している。   Next, in step S3, the computer 20 calculates the coordinates of all the points on the surface of the person 40 in the world coordinate system using the calculated stereo distance of each point. In FIG. 1, this world coordinate system is shown as an XYZ coordinate system. In FIG. 1, the floor surface 30 corresponds to the XY plane, the base line D is parallel to the Y axis, the depth direction when viewed from the stereo camera 10 coincides with the X axis, and the person 40 stands up in the Z axis direction. Yes.

次に、ステップS4において、コンピュータ20は、上記の人物40表面上の全ての点(以下では、これらの点を任意の点Pで代表させ説明を行う)を、床面30上すなわちXY平面上に投影することによりヒストグラムを作成する。具体的には、図3に示すように、床面30を、ヒストグラムを作成する単位となる領域であるビン50(図3においては、点線で囲まれた矩形)に分割し、全てのビン50上の全てのZ座標において、それぞれ、点Pが存在するかどうか(すなわち、任意のビン50の任意のZ座標において、人物40表面が計測されるかどうか)を確認する。そして、確認された点Pの個数をビン50毎にZ軸方向に加算する。これにより、加算された点Pの個数が比較的に多いビン50においては、人物40(の表面)が存在していると判断することができる。即ち、投影される点Pの個数のヒストグラムのピークから人物40の位置を求めることができる。   Next, in step S4, the computer 20 displays all the points on the surface of the person 40 (hereinafter, these points are represented by arbitrary points P for explanation) on the floor surface 30, that is, on the XY plane. A histogram is created by projecting onto Specifically, as shown in FIG. 3, the floor surface 30 is divided into bins 50 (rectangles surrounded by dotted lines in FIG. 3) that are regions serving as units for creating a histogram, and all bins 50 are divided. It is checked whether or not the point P exists in all the above Z coordinates (that is, whether or not the surface of the person 40 is measured at any Z coordinate in any bin 50). Then, the number of confirmed points P is added in the Z-axis direction for each bin 50. Thereby, in the bin 50 where the number of added points P is relatively large, it can be determined that the person 40 (the surface thereof) exists. That is, the position of the person 40 can be obtained from the peak of the histogram of the number of projected points P.

このとき、上述したように、ステレオ距離が大きくなるほど、算出される点Pの座標の誤差は大きくなる。図4に、ステレオ距離と点Pの座標の誤差との関係を示す。視差dの誤差Δdに対する点Pの誤差は、矩形60の各辺の長さで表され、ステレオ距離が大きくなるほど大きくなる。   At this time, as described above, the error in the coordinates of the calculated point P increases as the stereo distance increases. FIG. 4 shows the relationship between the stereo distance and the error in the coordinates of the point P. The error of the point P with respect to the error Δd of the parallax d is represented by the length of each side of the rectangle 60, and increases as the stereo distance increases.

そこで、上記の誤差の影響を低減するために、本発明においては、以下に説明するように、点Pの座標に、誤差に対応させて、ステレオ距離に基づく広がりを与える。   Therefore, in order to reduce the influence of the above error, in the present invention, as described below, the coordinates of the point P are given a spread based on the stereo distance corresponding to the error.

図3に示すように、点Pの広がり70は、ステレオカメラ10からの距離に基づく長さσcx,σcyを有する辺からなる矩形で表される。このσcx,σcyは、図4における矩形60各辺の長さにそれぞれ対応している。すなわち、広がり70は、ステレオ距離が大きい場合には大きく、ステレオ距離が小さい場合には小さい。 As shown in FIG. 3, the spread 70 of the point P is represented by a rectangle including sides having lengths σ cx and σ cy based on the distance from the stereo camera 10. These σ cx and σ cy correspond to the length of each side of the rectangle 60 in FIG. That is, the spread 70 is large when the stereo distance is large and small when the stereo distance is small.

ステップS5においては、図4におけるステレオカメラ10と矩形60との幾何関係(即ち、ステレオカメラ10と広がり70との幾何関係)から導かれる以下の式(1),(2)を用いることによりσcx,σcyを算出する。 In step S5, σ is obtained by using the following equations (1) and (2) derived from the geometric relationship between the stereo camera 10 and the rectangle 60 in FIG. 4 (that is, the geometric relationship between the stereo camera 10 and the spread 70). cx and σ cy are calculated.

σcx=ξσd/d2・・・(1)
σcy=Dσd/d・・・(2)
σ cx = ξσ d / d 2 (1)
σ cy = Dσ d / d (2)

ここで、ξは、ξ=dz(zは点PのZ座標)を満たす定数であり、σdは、一般的なステレオ計測における誤差標準偏差を表す定数である。また、式(1)は、z=ξ/dで表される式に対してdの1次のテーラー展開を行うことにより求められる。式(1),(2)において、ステレオ距離が大きい場合には、視差dは小さくなるので、σcx,σcyは、いずれも大きくなる。すなわち、広がり70は、ステレオ距離に基づき点Pを床面30に平行な平面上に面として広げたものである。 Here, ξ is a constant that satisfies ξ = dz (z is the Z coordinate of the point P), and σ d is a constant that represents an error standard deviation in general stereo measurement. Moreover, Formula (1) is calculated | required by performing the 1st-order Taylor expansion of d with respect to the formula represented by z = ξ / d. In Expressions (1) and (2), when the stereo distance is large, the parallax d is small, and therefore σ cx and σ cy are both large. That is, the spread 70 is obtained by spreading the point P as a plane on a plane parallel to the floor surface 30 based on the stereo distance.

図5には、式(1),(2)から算出されたσcx,σcyと、加算された点の個数の特徴量(例えば平均値)を求めるための矩形状の所定の領域(ウィンドウ)90の大きさであるウィンドウサイズ(X方向の長さ=ww,Y方向の長さ=hw)との関係が示されている。ウィンドウ90は、例えば、その中心がヒストグラムのピークに重なるような位置に定められるとする。 FIG. 5 shows a predetermined rectangular region (window) for obtaining σ cx , σ cy calculated from equations (1) and (2) and the feature quantity (for example, average value) of the number of added points. ) The relationship with the window size (length in the X direction = w w , length in the Y direction = h w ) which is a size of 90 is shown. For example, it is assumed that the window 90 is defined at a position where the center thereof overlaps the peak of the histogram.

図5に示されるように、ウィンドウサイズ(ww,hw)は、人物40の肩幅Wと人物40の胸厚WDと定数Fqとを用いて、以下の式(3),(4)で表される。 As shown in FIG. 5, the window size (w w, h w), using a MuneAtsu W D and constant Fq shoulder width W and the person 40 of the person 40, the following equation (3), (4) It is represented by

w=FqσCX・・・(3)
qσcy+WD≦hw≦Fqσcy+W・・・(4)
w w = F q σ CX (3)
F q σ cy + W D ≦ h w ≦ F q σ cy + W (4)

ここで、定数Fqは、図5においてウィンドウ90がヒストグラムのピークおよびその周辺領域を十分にカバーできるような値(例えば、Fq=6)に定められるとする。 Here, it is assumed that the constant F q is set to a value (for example, F q = 6) that allows the window 90 to sufficiently cover the peak of the histogram and its peripheral region in FIG.

図5に示されるように人物40がステレオカメラ10に対して前向きで起立している場合には、hw=Fqσcy+Wとなるが、人物40がステレオカメラ10に対して横向きで起立している場合には、hw=Fqσcy+WDとなる。すなわち、hwは、式(4)に示されるように、所定の幅を有し不等式で表される。従って、hwとしては、これらの間の任意の値(例えば、hw=Fqσcy+(W+WD)/2)に定めてよい。一方、wwは、ステレオカメラ10とウィンドウ90との距離のみに依存し人物40の向きにはほとんど依存せず、式(3)に示されるように一定となる。 As shown in FIG. 5, when the person 40 stands upright with respect to the stereo camera 10, h w = F q σ cy + W, but the person 40 stands up sideways with respect to the stereo camera 10. In this case, h w = F q σ cy + W D. That is, h w has a predetermined width and is represented by an inequality as shown in Expression (4). Therefore, h w may be set to any value between them (for example, h w = F q σ cy + (W + W D ) / 2). On the other hand, w w depends only on the distance between the stereo camera 10 and the window 90, hardly depends on the orientation of the person 40, and is constant as shown in Expression (3).

上述したように、σCXおよびσcyはステレオ距離が大きくなると大きくなるので、式(3)〜(4)で示されるウィンドウサイズ(ww,hw)も、ステレオ距離が大きくなると大きくなる。これにより、ステップS7において後述するように、判定の際のステレオ距離による誤差を低減することが可能となる。 As described above, since σ CX and σ cy increase as the stereo distance increases, the window sizes (w w , h w ) expressed by the equations (3) to (4) also increase as the stereo distance increases. As a result, as will be described later in step S7, it is possible to reduce an error due to the stereo distance at the time of determination.

なお、図5において、例えば、人物40が、ステレオカメラ10に対して横向きになることがなく且つステレオカメラ10の光軸付近(すなわちステレオカメラ10の正面付近)でのみ観測されるとすると、式(4)におけるσcyは無視できるので、hw=W(日本人であれば約42.5cm)と近似してもよい。 In FIG. 5, for example, if the person 40 is observed side by side with respect to the stereo camera 10 and is observed only near the optical axis of the stereo camera 10 (that is, near the front of the stereo camera 10), Since σ cy in (4) can be ignored, it may be approximated as h w = W (about 42.5 cm for Japanese).

次に、ステップS6において、ステップS4〜5でそれぞれ位置および大きさ(ウィンドウサイズ)が定められたウィンドウ90内において、加算された点の個数(ヒストグラム値)について、実際に観測される平均値(実測平均値)および理論上で推定(期待)される平均値(推定平均値)のそれぞれを求める。そして、ステップS7において、実測平均値と推定平均値とを比較することにより、ウィンドウ90内に人物40が存在するかどうかを判定する。以下では、図6を用いて、この判定手法について説明する。   Next, in step S6, an average value (histogram value) actually observed for the number of added points (histogram value) in the window 90 in which the position and size (window size) are determined in steps S4 to S5, respectively. Measured average value) and theoretically estimated (expected) average value (estimated average value) are obtained. In step S7, it is determined whether or not the person 40 exists in the window 90 by comparing the measured average value and the estimated average value. Hereinafter, this determination method will be described with reference to FIG.

図6(a)においては、簡単のために、人物40を、ヒストグラムのピークを通りYZ平面に平行な平面92と仮定する。この平面92は、高さHおよび幅wwを有する。また、図6(b)に示されるように、この平面92は、ステレオカメラ10へ投影されることにより、高さn[pixel]および幅m[pixel]を有する画像94が生成される。図6においては、n=6,m=4,ww=3ξyである場合について示されている(なお、ビン50のX方向およびY方向の長さをそれぞれξxおよびξyとしている)。 In FIG. 6A, for the sake of simplicity, it is assumed that the person 40 is a plane 92 that passes through the peak of the histogram and is parallel to the YZ plane. This plane 92 has a height H and a width w w . Also, as shown in FIG. 6B, the plane 92 is projected onto the stereo camera 10 to generate an image 94 having a height n [pixel] and a width m [pixel]. FIG. 6 shows a case where n = 6, m = 4, and w w = 3ξ y (note that the lengths of the bin 50 in the X direction and Y direction are ξ x and ξ y , respectively). .

画像94に含まれる(n×m)個の点は、計測誤差(例えば人物40と背景との色が同一である場合等に発生する)およびステレオカメラ10の画面上におけるランダムノイズが無視できれば、全てXY平面上に投影されヒストグラムに反映されるはずである。すなわち、真のヒストグラム値kは、以下の式(5)で表される。   If (n × m) points included in the image 94 can be ignored if measurement errors (for example, when the color of the person 40 and the background are the same) and random noise on the screen of the stereo camera 10 can be ignored, All should be projected on the XY plane and reflected in the histogram. That is, the true histogram value k is expressed by the following equation (5).

k=m×n・・・(5)   k = m × n (5)

しかし、実際には、計測誤差およびノイズにより、投票値は変動する。従って、観測が成功する確率すなわち計測精度ρ(例えば、0.5とする)およびノイズに起因する投票値の変動ν(例えば、1とする)を用いると、投票値k’=k×ρ+ν=6×4×0.5+1=13となる。上述したように、平面92は、幅ww=3ξyを有するので、この投票値が幅ww=3ξyに分散してXY平面に投影されると考えると、ウィンドウ90内において1個のビン50あたり観測されることが推定される推定ヒストグラム値の平均値すなわち推定平均値μkは、以下の式(6)で表される。 In practice, however, the vote value varies due to measurement errors and noise. Therefore, using the probability of successful observation, that is, the measurement accuracy ρ (for example, 0.5) and the voting value variation ν (for example, 1) due to noise, the voting value k ′ = k × ρ + ν = 6 × 4 × 0.5 + 1 = 13. As described above, since the plane 92 has the width w w = 3ξ y , if it is considered that the vote value is distributed to the width w w = 3ξ y and projected onto the XY plane, one plane in the window 90 is used. The average value of estimated histogram values estimated to be observed per bin 50, that is, the estimated average value μ k is expressed by the following equation (6).

μk=k’/(ww/ξy)=13/3≒4.3・・・(6) μ k = k ′ / (w w / ξ y ) = 13 / 3≈4.3 (6)

このようにして求められた推定平均値μkを、実際の観測により求められた実測平均値Akと比較することにより、ステップS7において、ウィンドウ90内に人物40が存在するかどうかを判定することができる。具体的には、推定平均値μkと実測平均値Akとの差が、予め定められた閾値より小さい場合には(すなわち、実測平均値Akが推定平均値μkを中心とした所定の範囲内にある場合には)、ウィンドウ90内に人物40が存在すると判定する。 In step S7, it is determined whether or not the person 40 exists in the window 90 by comparing the estimated average value μ k obtained in this way with the actually measured average value A k obtained by actual observation. be able to. Specifically, when the difference between the estimated average value μ k and the measured average value A k is smaller than a predetermined threshold (that is, the measured average value A k is a predetermined value centered on the estimated average value μ k). If it is within the range, it is determined that the person 40 exists in the window 90.

次に、ステップS8において、全ての点PについてステップS5〜S7が実行されたかどうかを確認する。実行されていない場合にはステップS5に進み、実行された場合には一連の処理が終了する。   Next, in step S8, it is confirmed whether or not steps S5 to S7 have been executed for all points P. If it has not been executed, the process proceeds to step S5, and if it has been executed, a series of processing ends.

上述の説明においては、ウィンドウ90内のヒストグラム値の平均値を用いて、ウィンドウ90内に人物40が存在するかどうかを判定する場合について説明したが、判定は、ウィンドウ90内のヒストグラム値の平均値に限らず、例えばウィンドウ90内のヒストグラム値のばらつき(分散または標準偏差)を用いて行ってもよい。以下、図5,7を用いて、ステップS6〜S7において、平均値に代えてばらつきを用いた判定手法について説明する。   In the above description, the case where it is determined whether or not the person 40 exists in the window 90 using the average value of the histogram values in the window 90 has been described. Not only the value but also, for example, the variation (dispersion or standard deviation) of the histogram value in the window 90 may be used. Hereinafter, a determination method using variation in place of the average value in steps S6 to S7 will be described with reference to FIGS.

図5に太線で示される線分96は、その長さをFqLとすると、以下の式(7)で表される。 A line segment 96 indicated by a thick line in FIG. 5 is expressed by the following equation (7), where the length is F q L.

Figure 2006236025
Figure 2006236025

ここで、視差dには、真の視差を中心として分散σd 2を有する正規分布で表される計測誤差が加わっていると仮定できる。図7(a)に示されるように、この観測点をヒストグラムとしてXY平面上に投影すると、投影後のヒストグラム値は、線分96上で人物40の重心P’を中心として(−FqL/2)〜(FqL/2)の範囲に分布する。なお、図7(a)においては、この分布を、平均値0を有する正規分布N(0,σd 2)で表している。 Here, it can be assumed that the parallax d is added with a measurement error represented by a normal distribution having a variance σ d 2 around the true parallax. As shown in FIG. 7A, when this observation point is projected on the XY plane as a histogram, the histogram value after projection is (−F q L L) about the center of gravity P ′ of the person 40 on the line segment 96. / 2) to (F q L / 2). In FIG. 7A, this distribution is represented by a normal distribution N (0, σ d 2 ) having an average value of 0.

図7(b)には、図7に示される正規分布N(0,σd 2)を累積(積分)することにより得られた累積確率分布P(x,σd 2)が示されている。なお、図7(a)と図7(b)とは、定性的な特性を示すためのものであるので、これらの縦軸の比は変えている。図7(b)を用いることにより、ウィンドウ90内のヒストグラム値の分散(すなわち線分96に沿ったヒストグラム値の分散)を求めることが可能となる。線分96に沿ったビン50の個数J=ww/ξxであり、1個のビン50あたりの線分96の長さ(すなわち1個のビン50内に含まれる線分96の部分の長さ)ξL=FqL/Jである。このとき、線分96の端点から数えてi番目のビン50における推定ヒストグラム値kiは、真のヒストグラム値kおよび計測精度ρを用いて、以下の式(8)で表される。 FIG. 7B shows a cumulative probability distribution P (x, σ d 2 ) obtained by accumulating (integrating) the normal distribution N (0, σ d 2 ) shown in FIG. . Note that FIG. 7A and FIG. 7B are for showing qualitative characteristics, and therefore the ratio of these vertical axes is changed. By using FIG. 7B, it is possible to obtain the variance of the histogram values in the window 90 (that is, the variance of the histogram values along the line segment 96). The number of bins 50 along the line segment J = w w / ξ x , and the length of the line segment 96 per bin 50 (ie, the portion of the line segment 96 included in one bin 50) Length) ξ L = F q L / J. At this time, the estimated histogram value k i in the i-th bin 50 counted from the end point of the line segment 96 is expressed by the following equation (8) using the true histogram value k and the measurement accuracy ρ.

Figure 2006236025
Figure 2006236025

なお、図7においては、J=6およびi=2である場合について、推定ヒストグラム値kiが示されている。 In FIG. 7, the estimated histogram value k i is shown for J = 6 and i = 2.

式(8)で表される推定ヒストグラム値kiの期待値は、式(6)から求められる推定平均値μkに等しい。従って、計測誤差に起因したウィンドウ90内における推定ヒストグラム値kiのばらつきを表す推定計測分散値σkd 2は、以下の式(9)で表される。 The expected value of the estimated histogram value k i represented by Expression (8) is equal to the estimated average value μ k obtained from Expression (6). Therefore, the estimated measurement variance value σ kd 2 representing the variation of the estimated histogram value k i in the window 90 due to the measurement error is expressed by the following equation (9).

Figure 2006236025
Figure 2006236025

また、上記の推定計測分散値σkd 2とは別に、ステレオカメラ10の画面上におけるランダムノイズに起因して、ヒストグラム値がばらつく。このばらつきを二項分布と仮定することにより、既存の手法を用いて、推定ノイズ標準偏差ζが求めることができる。推定計測分散値σkd 2と推定ノイズ標準偏差ζkとは独立であるので、推定されるヒストグラム値のばらつきの合計を表す推定標準偏差σk=σkd+ζkで表される。 In addition to the estimated measurement variance value σ kd 2 described above, the histogram value varies due to random noise on the screen of the stereo camera 10. By assuming this variation as a binomial distribution, the estimated noise standard deviation ζ can be obtained using an existing method. Since the estimated measurement variance value σ kd 2 and the estimated noise standard deviation ζ k are independent, the estimated standard deviation σ k = σ kd + ζ k representing the total variation of the estimated histogram value is expressed.

このようにして求められた推定標準偏差σkを、実際の観測により求められた実測標準偏差Skと比較することにより、ステップS7において、ウィンドウ90内に人物40が存在するかどうかを判定することができる。具体的には、推定標準偏差σkと実測標準偏差Skとの差が、予め定められた閾値より小さい場合には(すなわち、実測標準偏差Skが推定標準偏差σkを中心とした所定の範囲内にある場合には)、ウィンドウ90内に人物40が存在すると判定する。 By comparing the estimated standard deviation σ k obtained in this way with the actually measured standard deviation S k obtained by actual observation, it is determined whether or not the person 40 exists in the window 90 in step S7. be able to. Specifically, when the difference between the estimated standard deviation σ k and the measured standard deviation S k is smaller than a predetermined threshold (that is, the measured standard deviation S k is a predetermined value centered on the estimated standard deviation σ k). If it is within the range, it is determined that the person 40 exists in the window 90.

このように、本実施の形態に係る人物検出方法においては、ステレオ距離に基づく広がりを与えられた所定の領域(ウィンドウ)において、ヒストグラム値の平均値またはばらつき等からなる特徴量を用いて人物が存在するかどうかを判定するので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラ10を設置するときに、人物40との距離を考慮する必要がなくなるので、ステレオカメラ10の設置場所に関する制限を緩和することができる。   As described above, in the person detection method according to the present embodiment, in a predetermined region (window) given a spread based on the stereo distance, a person can be detected using a feature value including an average value or variation of histogram values. Since it is determined whether or not it exists, errors due to stereo distance can be reduced. Therefore, since a stable peak can be obtained on the histogram, the accuracy can be further increased. Further, since the error due to the stereo distance can be reduced, it is not necessary to consider the distance to the person 40 when installing the stereo camera 10, so that the restriction on the installation location of the stereo camera 10 can be relaxed.

また、実際に観測される実測特徴量と理論上で推定される推定特徴量との差を所定の閾値と比較する手法を用いることにより、人物の検出を容易に行うことが可能となる。   In addition, it is possible to easily detect a person by using a method in which a difference between an actually measured feature amount actually observed and a theoretically estimated feature amount is compared with a predetermined threshold value.

なお、上述においては、特徴量としてヒストグラム値の平均値またはばらつきを用いた場合について説明したが、ヒストグラム値の平均値またはばらつきに限らず、点を加算することにより得られた和(ヒストグラム値)に基づきウィンドウ内において求められる特徴量であればよい。   In the above description, the average value or variation of the histogram value is used as the feature amount. However, the feature value is not limited to the average value or variation of the histogram value, and is the sum (histogram value) obtained by adding the points. As long as the feature amount is obtained in the window based on the above.

また、上述においては、実測特徴量と推定特徴量との差を所定の閾値と比較する手法を用いて人物を検出する場合について説明したが、このような手法に限らず、例えば、実測特徴量のみを用いて人物を検出してもよい。   In the above description, the case where a person is detected using a method of comparing the difference between the measured feature value and the estimated feature value with a predetermined threshold value is not limited to such a method. A person may be detected using only.

実施の形態1に係る人物検出方法を示す斜視図である。3 is a perspective view showing a person detection method according to Embodiment 1. FIG. 実施の形態1に係る人物検出方法を示すフローチャートである。3 is a flowchart illustrating a person detection method according to the first embodiment. 実施の形態1に係る人物検出方法を示す上面図である。FIG. 3 is a top view showing a person detection method according to the first embodiment. 実施の形態1に係る人物検出方法を示す上面図である。FIG. 3 is a top view showing a person detection method according to the first embodiment. 実施の形態1に係る人物検出方法を示す上面図である。FIG. 3 is a top view showing a person detection method according to the first embodiment. 実施の形態1に係る人物検出方法を示す斜視図である。3 is a perspective view showing a person detection method according to Embodiment 1. FIG. 実施の形態1に係る人物検出方法を示すグラフである。3 is a graph showing a person detection method according to Embodiment 1.

符号の説明Explanation of symbols

10 ステレオカメラ、10L,10R カメラ、20 コンピュータ、30 床面、40 人物、45 立体視画像、50 ビン、60 矩形、70 広がり、90 ウィンドウ、92 平面、94 画像、96 線分、B 高さ、d 視差、D ベースライン、h 画像身長、H 実身長(高さ)、P 点。
10 stereo cameras, 10L, 10R cameras, 20 computers, 30 floors, 40 people, 45 stereoscopic images, 50 bins, 60 rectangles, 70 spreads, 90 windows, 92 planes, 94 images, 96 lines, B heights, d Parallax, D Baseline, h Image height, H Actual height (height), P point.

Claims (5)

人物をステレオカメラを用いて検出する人物検出方法であって、
前記ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の点と前記ステレオカメラとの距離であるステレオ距離を求める工程と、
前記点を前記人物の前記起立方向に加算することにより和を得る工程と、
前記ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、
前記所定の領域内において前記和に基づく特徴量を求める特徴量算出工程と、
前記特徴量に基づき前記人物を検出する人物検出工程と
を備える人物検出方法。
A person detection method for detecting a person using a stereo camera,
Obtaining a stereo distance that is a distance between a point on the surface of a person standing on the floor and the stereo camera by processing image information obtained from the stereo camera;
Obtaining a sum by adding the points to the standing direction of the person;
An area setting step for defining a predetermined area having a size based on the stereo distance;
A feature amount calculating step for obtaining a feature amount based on the sum in the predetermined region;
A person detection method comprising: a person detection step of detecting the person based on the feature amount.
請求項1に記載の人物検出方法であって、
前記所定の領域は矩形状であり、前記領域設定工程において、位置および大きさを定められる
人物検出方法。
The person detection method according to claim 1,
The person detecting method, wherein the predetermined area is rectangular, and the position and size are determined in the area setting step.
請求項1又は請求項2に記載の人物検出方法であって、
前記特徴量算出工程においては、実際に観測される実測特徴量と理論上で推定される推定特徴量とが求められ、
前記人物検出工程においては、前記実測特徴量と前記推定特徴量との差を所定の閾値と比較することにより前記人物が検出される
人物検出方法。
The person detection method according to claim 1 or 2,
In the feature quantity calculating step, an actually measured feature quantity that is actually observed and an estimated feature quantity that is theoretically estimated are obtained,
In the person detection step, a person detection method in which the person is detected by comparing a difference between the measured feature quantity and the estimated feature quantity with a predetermined threshold.
請求項1乃至請求項3のいずれかに記載の人物検出方法であって、
前記特徴量は、前記和の平均値である
人物検出方法。
A person detection method according to any one of claims 1 to 3,
The person detection method, wherein the feature amount is an average value of the sum.
請求項1乃至請求項3のいずれかに記載の人物検出方法であって、
前記特徴量は、前記和のばらつきである
人物検出方法。
A person detection method according to any one of claims 1 to 3,
The person detection method, wherein the feature amount is a variation of the sum.
JP2005050109A 2005-02-25 2005-02-25 Person detection method Expired - Fee Related JP4471866B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005050109A JP4471866B2 (en) 2005-02-25 2005-02-25 Person detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005050109A JP4471866B2 (en) 2005-02-25 2005-02-25 Person detection method

Publications (2)

Publication Number Publication Date
JP2006236025A true JP2006236025A (en) 2006-09-07
JP4471866B2 JP4471866B2 (en) 2010-06-02

Family

ID=37043602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005050109A Expired - Fee Related JP4471866B2 (en) 2005-02-25 2005-02-25 Person detection method

Country Status (1)

Country Link
JP (1) JP4471866B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026481A1 (en) 2006-08-31 2008-03-06 Mitsumi Electric Co., Ltd. Analog-to-digital converter apparatus
JP2009129049A (en) * 2007-11-21 2009-06-11 Nippon Telegr & Teleph Corp <Ntt> Object position estimation device, object position estimation method, object position estimation program, and recording medium with program recorded thereon
JP2011108223A (en) * 2009-10-22 2011-06-02 Mitsubishi Electric Corp Axle detection system
JP2012221366A (en) * 2011-04-12 2012-11-12 Glory Ltd Object recognition method and object recognition device
JP2020057057A (en) * 2018-09-28 2020-04-09 株式会社豊田自動織機 Warning device
JP2020125171A (en) * 2019-02-01 2020-08-20 株式会社Fuji Safety system of working vehicle

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026481A1 (en) 2006-08-31 2008-03-06 Mitsumi Electric Co., Ltd. Analog-to-digital converter apparatus
JP2009129049A (en) * 2007-11-21 2009-06-11 Nippon Telegr & Teleph Corp <Ntt> Object position estimation device, object position estimation method, object position estimation program, and recording medium with program recorded thereon
JP4675368B2 (en) * 2007-11-21 2011-04-20 日本電信電話株式会社 Object position estimation apparatus, object position estimation method, object position estimation program, and recording medium recording the program
JP2011108223A (en) * 2009-10-22 2011-06-02 Mitsubishi Electric Corp Axle detection system
JP2012221366A (en) * 2011-04-12 2012-11-12 Glory Ltd Object recognition method and object recognition device
JP2020057057A (en) * 2018-09-28 2020-04-09 株式会社豊田自動織機 Warning device
JP7020359B2 (en) 2018-09-28 2022-02-16 株式会社豊田自動織機 Warning device
JP2020125171A (en) * 2019-02-01 2020-08-20 株式会社Fuji Safety system of working vehicle
JP7361441B2 (en) 2019-02-01 2023-10-16 株式会社Fuji Work vehicle safety system

Also Published As

Publication number Publication date
JP4471866B2 (en) 2010-06-02

Similar Documents

Publication Publication Date Title
CN107016705B (en) Ground plane estimation in computer vision systems
TWI498580B (en) Length measuring method and length measuring apparatus
US20160117824A1 (en) Posture estimation method and robot
RU2621480C1 (en) Device for evaluating moving body position and method for evaluating moving body position
CN107079093B (en) Calibration device
JP4471866B2 (en) Person detection method
CN103377471B (en) Object positioning method and device, optimum video camera are to determining method and apparatus
JP6021689B2 (en) Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program
JP5756709B2 (en) Height estimation device, height estimation method, and height estimation program
US20220067973A1 (en) Camera calibration apparatus and operating method
JP6620443B2 (en) Monitoring program, monitoring apparatus, and monitoring method
Yu et al. A shadow repair approach for kinect depth maps
KR20140056790A (en) Apparatus for image recognition and method thereof
WO2022237026A1 (en) Plane information detection method and system
JP2008286638A (en) Height estimation device and method
JP2020056644A (en) Information processing device, information processing method, and program
JP2011209794A (en) Object recognition system, monitoring system using the same, and watching system
US20180082129A1 (en) Information processing apparatus, detection system, and information processing method
JP2017091063A (en) Object detector, information processor, and method of the processor
JP4628910B2 (en) Length measuring device and height measuring device
JP6096601B2 (en) Station platform fall detection device
JP5981284B2 (en) Object detection device and object detection method
JP2007078355A (en) Height measuring instrument
JP5727969B2 (en) Position estimation apparatus, method, and program
JP2012181063A (en) Calculation device, calculation method and calculation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100302

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4471866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees