JP2007018340A

JP2007018340A - Obstacle detection apparatus

Info

Publication number: JP2007018340A
Application number: JP2005200211A
Authority: JP
Inventors: Taro Watanabe; 太郎渡邉
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-07-08
Filing date: 2005-07-08
Publication date: 2007-01-25

Abstract

<P>PROBLEM TO BE SOLVED: To provide an obstacle detection apparatus which will not erroneously determine a vehicle far off as a stopped obstacle, without the need for preparing a background image in advance, in which vehicle or the like is not included, and without the need for information on the object area for updating the background image. <P>SOLUTION: The obstacle detection apparatus is provided with a mask processing means 102 for masking image area, other than the desired object area; an extraction means 106 for extracting a signal of a predetermined frequency component from a masked image signal; a binarization means 107 for binarizing the pixels of an image, based on the output level of the extracted signal and a predetermined threshold; a set area generation means 108 for generating a set area of pixels from the binarized pixels; an information calculation means 109 for calculating predetermined information on the generated set area for each set area; an association means 110 for associating between the set areas, based on the predetermined information on the set area of pixels of an image at the present time and predetermined information on the set area of pixels of an image, before the present time; and a determination means 111 for determining the presence/absence of an obstacle, based on the associating information. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、道路上に存在する障害物を検出する障害物検出装置に関する。 The present invention relates to an obstacle detection device that detects an obstacle present on a road.

従来から道路上に存在する障害物を検出する技術がある。その技術は、カメラから得られた画像とあらかじめ撮影しておいた背景画像との差分画像を２値化して背景画像に対する変化領域を求め、さらに差分画像のエッジ成分を検出してエッジ成分の多い変化領域を物体領域とするものである。そして、障害物の検出は、入力された画像と同サイズのカウントバッファを用いて、物体領域であるときは＋１、そうでないときは０とし、カウント数が所定の閾値を超えた領域を障害物として検出している。また、背景画像の更新では、物体領域においては現在の背景画像を保持し、それ以外の領域においては順次更新を行っている。このような技術が下記の特許文献１に開示されている。
特開２００１−４３３８３号公報（段落００１７〜００３７、図１） Conventionally, there is a technique for detecting an obstacle present on a road. The technique binarizes a difference image between an image obtained from a camera and a background image taken in advance to obtain a change region with respect to the background image, and further detects an edge component of the difference image to increase the number of edge components. The change area is the object area. Obstacles are detected using a count buffer of the same size as the input image. If the object area is an object area, +1 is set. If not, 0 is set, and an area where the count exceeds a predetermined threshold is set as an obstacle. Detect as. In updating the background image, the current background image is held in the object area, and the update is sequentially performed in other areas. Such a technique is disclosed in Patent Document 1 below.
JP 2001-43383 A (paragraphs 0017 to 0037, FIG. 1)

しかしながら、特許文献１に開示された技術では、あらかじめ車両などが走行していないときを見計らって背景画像を撮影することが必要であった。また、背景画像の更新には物体領域以外かどうかの情報を必要とするが、いったん物体領域を誤検出した場合、背景画像が間違って更新され、その背景画像から物体領域がさらに間違って検出されるといった問題があった。さらに、遠方にある車両を止まっている障害物と誤判断する問題があった。 However, in the technique disclosed in Patent Document 1, it is necessary to capture a background image in advance when the vehicle or the like is not traveling. In addition, updating the background image requires information on whether it is outside the object area, but once the object area is detected incorrectly, the background image is updated incorrectly, and the object area is detected further incorrectly from the background image. There was a problem. In addition, there is a problem of misjudging a distant vehicle as an obstacle that has stopped.

本発明は、上記問題を解決するためのものであり、あらかじめ車両などが写っていない背景画像を用意する必要がなく、かつ物体領域の情報を背景画像の更新に必要とせず、遠方にある車両などを止まっている障害物と誤判断しない単純でロバストな障害物検出装置を提供することを目的とする。 The present invention is for solving the above-described problem, and it is not necessary to prepare a background image in which a vehicle or the like is not captured in advance, and information on the object region is not required for updating the background image, and the vehicle is far away. It is an object of the present invention to provide a simple and robust obstacle detection device that does not erroneously determine that an obstacle has stopped.

上記目的を達成するために、本発明によれば、撮像装置により所定の監視領域を含んで撮影された画像における、所望の対象領域以外の画像領域をマスクするマスク処理手段と、マスクされた前記画像を表す画像信号から所定の周波数成分の信号を抽出する抽出手段と、抽出された前記信号の出力レベルと所定の閾値とに基づいて、前記画像を構成する画素を２値化する２値化手段と、２値化された前記画素のうち、２値のいずれか一方である所定の値が付された複数の画素が隣接して存在する場合に、前記所定の値が付された画素と前記所定の値が付された画素に隣接する他の画素とを含めた画素の集合領域を生成する集合領域生成手段と、生成された前記画素の集合領域に関する所定の情報を前記画素の集合領域ごとに算出する情報算出手段と、現時点の画像における画素の集合領域に関する所定の情報と、前記現時点より前の画像における画素の集合領域に関する所定の情報とに基づいて、画素の集合領域間の対応付けを行う対応付け手段と、前記画素の集合領域の対応付けの情報に基づいて障害物が存在するか否かを判断する判断手段とを備える障害物検出装置が提供される。 In order to achieve the above object, according to the present invention, a mask processing means for masking an image region other than a desired target region in an image captured by an imaging device including a predetermined monitoring region, and the masked Extraction means for extracting a signal of a predetermined frequency component from an image signal representing an image, and binarization for binarizing pixels constituting the image based on the output level of the extracted signal and a predetermined threshold value And a pixel having the predetermined value when a plurality of pixels having a predetermined value which is one of the two values are adjacent to each other among the binarized pixels, Collective region generation means for generating a collective region of pixels including other pixels adjacent to the pixel to which the predetermined value is assigned, and predetermined information relating to the generated collective region of the pixels Information calculation for each An association means for associating the pixel collection areas based on the stage, the predetermined information on the pixel collection areas in the current image, and the predetermined information on the pixel collection areas in the image before the current time And an obstacle detection device that determines whether or not an obstacle exists based on information on association of the pixel collection areas.

本発明の障害物検出装置は、上記構成を有し、あらかじめ車両などが写っていない背景画像を用意する必要がなく、かつ物体領域の情報を背景画像の更新に必要とせず、遠方にある車両などを止まっている障害物と誤判断しないで障害物を検出することができる。 The obstacle detection device according to the present invention has the above-described configuration, and it is not necessary to prepare a background image in which the vehicle or the like is not captured in advance, and the object region information is not required for updating the background image, and the vehicle is far away. An obstacle can be detected without misjudging it as an obstacle that has stopped.

以下、本発明の実施の形態について図１から図９を用いて説明する。図１は本発明の実施の形態に係る障害物検出装置の構成を示す構成図である。図２は本発明の実施の形態に係る障害物検出装置におけるマスク処理部によるマスクの仕方について説明するための図である。図３は本発明の実施の形態に係る障害物検出装置における巡回型ＬＰＦからの出力の差分の周波数特性の一例を示す図である。図４は本発明の実施の形態に係る障害物検出装置における水平線上を動く点の速度と角速度との関係を説明するための図である。図５は本発明の実施の形態に係る障害物検出装置における時定数の算出過程を説明するための図である。図６は本発明の実施の形態に係る障害物検出装置における時定数をｙ座標値によって変化させたときの巡回型ＬＰＦの出力の差分の周波数特性の一例を示す図である。図７は本発明の実施の形態に係る障害物検出装置における２値化部の処理内容を説明するための図である。図８は本発明の実施の形態に係る障害物検出装置におけるラベリング部により求められる各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標について説明するための図である。図９は本発明の実施の形態に係る障害物検出装置における検出フローについて説明するためのフローチャートである。 Hereinafter, embodiments of the present invention will be described with reference to FIGS. FIG. 1 is a configuration diagram showing a configuration of an obstacle detection apparatus according to an embodiment of the present invention. FIG. 2 is a diagram for explaining how to mask by the mask processing unit in the obstacle detection apparatus according to the embodiment of the present invention. FIG. 3 is a diagram illustrating an example of frequency characteristics of a difference between outputs from the cyclic LPF in the obstacle detection apparatus according to the embodiment of the present invention. FIG. 4 is a diagram for explaining the relationship between the velocity of the point moving on the horizon and the angular velocity in the obstacle detection apparatus according to the embodiment of the present invention. FIG. 5 is a diagram for explaining a process of calculating a time constant in the obstacle detection apparatus according to the embodiment of the present invention. FIG. 6 is a diagram showing an example of the frequency characteristic of the difference between the outputs of the cyclic LPF when the time constant is changed by the y coordinate value in the obstacle detection apparatus according to the embodiment of the present invention. FIG. 7 is a diagram for explaining the processing contents of the binarization unit in the obstacle detection apparatus according to the embodiment of the present invention. FIG. 8 is a diagram for explaining the coordinates and area of the center of gravity of each region obtained by the labeling unit in the obstacle detection device according to the embodiment of the present invention, and the coordinates of the vertex of the rectangular region including the region. FIG. 9 is a flowchart for explaining a detection flow in the obstacle detection apparatus according to the embodiment of the present invention.

まず、本発明の実施の形態に係る障害物検出装置の構成について図１を用いて説明する。図１に示すように、障害物検出装置１００は、Ａ／Ｄ変換器１０１、マスク処理部１０２、巡回型ＬＰＦ（Low Path Filter：低域通過フィルタ）１０３ａ、１０３ｂ、道路情報記録部１０４、時定数計算部１０５、加算器１０６、２値化部１０７、孤立点除去部１０８、ラベリング部１０９、対応付け部１１０、障害物判断部１１１、領域情報記録部１１２から構成されている。Ａ／Ｄ変換器１０１は、所定の監視領域を撮影する撮像装置１１３によって撮影された画像をデジタル信号に変換するものである。ここで、撮像装置１１３は、道路上を走行する車両などが撮影できるように、例えば障害物検出装置１００を搭載した車両などに設置されている。なお、本発明の実施の形態では、撮像装置１１３は障害物検出装置１００と独立した構成となっているが、障害物検出装置１００に撮像装置１１３を組み込んだ構成としてもよい。 First, the configuration of the obstacle detection apparatus according to the embodiment of the present invention will be described with reference to FIG. As shown in FIG. 1, the obstacle detection apparatus 100 includes an A / D converter 101, a mask processing unit 102, cyclic LPFs (Low Path Filters) 103a and 103b, a road information recording unit 104, a time A constant calculation unit 105, an adder 106, a binarization unit 107, an isolated point removal unit 108, a labeling unit 109, an association unit 110, an obstacle determination unit 111, and an area information recording unit 112 are configured. The A / D converter 101 converts an image captured by the imaging device 113 that captures a predetermined monitoring area into a digital signal. Here, the imaging device 113 is installed in, for example, a vehicle on which the obstacle detection device 100 is mounted so that a vehicle traveling on a road can be photographed. In the embodiment of the present invention, the imaging device 113 has a configuration independent of the obstacle detection device 100. However, the imaging device 113 may be incorporated in the obstacle detection device 100.

マスク処理部１０２は、Ａ／Ｄ変換器１０１によってデジタル信号に変換された画像の画像領域のうち、所望の画像領域である道路上以外に存在する物体を誤検出しないように、そして計算処理量の削減のために、道路領域以外又は道路とその近傍を合わせた領域以外をマスク（隠蔽）するものである。具体的にはマスク処理部１０２は、道路情報記録部１０４に記録されている道路の境界線情報に基づいて道路領域以外又は道路とその近傍を合わせた領域以外をマスクする。ここで、更にマスク処理部１０２によるマスクの仕方について図２を用いて説明する。道路情報記録部１０４には、画像中における道路の位置情報が記録されている。位置情報としては、例えば図２に示すように道路の境界線を表す式の係数（ｈ₀、θ₀、ｈ₁、θ₁）や境界線が１点で交わる消失点の座標（ｘ_d、ｙ_d）などがある。 The mask processing unit 102 does not erroneously detect an object other than the desired image region on the road among the image regions of the image converted into digital signals by the A / D converter 101, and the amount of calculation processing In order to reduce this, the area other than the road area or the area other than the road and its vicinity is masked (hidden). Specifically, the mask processing unit 102 masks a region other than the road region or a region other than the region in which the road and the vicinity thereof are combined based on the road boundary information recorded in the road information recording unit 104. Here, a masking method by the mask processing unit 102 will be further described with reference to FIG. The road information recording unit 104 records road position information in the image. As the position information, for example, as shown in FIG. 2, the coefficients (h ₀ , θ ₀ , h ₁ , θ ₁ ) of the equation representing the road boundary line and the coordinates of the vanishing point (x _d , y _d ).

図２は原点を画像の左下とし、水平方向をＸ軸、垂直方向をＹ軸としている。また、境界線は、原点から境界線へ下ろした垂線とＹ軸とが成す角度によって表されているが、ｙ=ａｘ＋ｂの形で表すこともできる。そして、マスクをする場合に、境界線を挟んだどちら側をマスクするかについて以下に示す。今、道路の境界線を下記の式（１）のように表すものとする。そして、例えば係数ｈ₀に符号（例えば、マイナス）を付加して、ｈ_i＞０のとき原点を含む側をマスクし、ｈ_i＜０のとき原点を含まない側をマスクするようにあらかじめ決めておく。 In FIG. 2, the origin is the lower left of the image, the horizontal direction is the X axis, and the vertical direction is the Y axis. In addition, the boundary line is represented by an angle formed by a perpendicular line extending from the origin to the boundary line and the Y axis, but can also be represented by the form y = ax + b. In the case of masking, the following shows which side of the boundary line is masked. Now, it is assumed that the road boundary line is expressed by the following equation (1). For example, a sign (for example, minus) is added to the coefficient h ₀ , and the side including the origin is masked when h _i > 0, and the side not including the origin is masked when h _i <0. Keep it.

このように決めておくことにより、道路領域以外の領域をマスクすることができる。なお、上述した道路の位置情報は、初期設定時にユーザなどが上述した係数を直接入力するようにしてもよい。この場合、例えば撮像装置１１３を設置後、実際に道路が写っている画像を見ながら係数を入力し、境界線を設定する。また、ハフ変換などの画像処理技術を用いて道路の境界線を自動的に検出して道路情報記録部１０４に記録する方法も考えられる。この場合、常に検出する必要はなく、撮像装置１１３の設置時及び撮像装置１１３がパン・チルトなどして撮像エリアが変化したときに行えばよい。 By determining in this way, areas other than the road area can be masked. The above-described road position information may be directly input by the user or the like at the time of initial setting. In this case, for example, after the imaging device 113 is installed, a coefficient is input while viewing an image in which a road is actually reflected, and a boundary line is set. A method of automatically detecting a road boundary line using an image processing technique such as a Hough transform and recording it in the road information recording unit 104 is also conceivable. In this case, it is not always necessary to detect, and it may be performed when the imaging device 113 is installed or when the imaging area changes due to panning or tilting of the imaging device 113.

巡回型ＬＰＦ１０３ａ、１０３ｂは、カットオフ周波数の異なる時間軸方向のＬＰＦであり、加算器１０６による差分はある周波数成分のみが通過するバンドパスフィルタとなる。カットオフ周波数は、時定数計算部１０５で計算された時定数に基づいて決められている。このカットオフ周波数は、例えば巡回型ＬＰＦ１０３ａより巡回型ＬＰＦ１０３ｂの方が低く設定されている。時定数の算出については後述する。巡回型ＬＰＦ１０３ａ、１０３ｂは下記の式（２）で表される。ｙ_n、ｙ_n-1はそれぞれ現在のフレーム、１フレーム前のＬＰＦの出力信号であり、ｘ_nは現在のフレームの入力信号であり、ａは時定数で周波数特性を決定するものである。 The cyclic LPFs 103a and 103b are LPFs in the time axis direction having different cut-off frequencies, and are bandpass filters through which only a certain frequency component passes through the difference by the adder 106. The cut-off frequency is determined based on the time constant calculated by the time constant calculation unit 105. This cutoff frequency is set lower in the cyclic LPF 103b than in the cyclic LPF 103a, for example. The calculation of the time constant will be described later. The cyclic LPFs 103a and 103b are represented by the following formula (2). y _n and y _n−1 are output signals of the LPF of the current frame and the previous frame, x _n is an input signal of the current frame, and a is a frequency characteristic determined by a time constant.

ここで、巡回型ＬＰＦ１０３ａ、１０３ｂの時定数をそれぞれ０．００１、０．００２とし、画像が毎秒１０フレームのスピードで更新される場合の差分の周波数特性を図３に示す。図３に示すグラフは下記の式（３）に基づいて導出される。なお、式（３）において、ａ、ｂは時定数であり、例えばａ＝０．００１、ｂ＝０．００２である。また、ｆは入力画像のフレームレートをｆ₀[フレーム／秒]とするとｆ＝周波数／ｆ₀である。 Here, FIG. 3 shows the frequency characteristics of the difference when the time constants of the cyclic LPFs 103a and 103b are 0.001 and 0.002, respectively, and the image is updated at a speed of 10 frames per second. The graph shown in FIG. 3 is derived based on the following equation (3). In Equation (3), a and b are time constants, for example, a = 0.001 and b = 0.002. Further, f is f = frequency / f ₀ where the frame rate of the input image is f ₀ [frame / second].

ここで、上述した時定数の算出について説明する。時定数計算部１０５は、道路情報記録部１０４に記録された道路情報に基づいてＬＰＦの時定数を求める。時定数を求めるのは、同じ速度で移動している物体でも、遠方にあるときと近くにあるときでは画像中の移動の大きさが異なることに対応するためである。すなわち、道路の遠方が写っている画像中の領域では画像中の動きが小さくなるので時定数は小さく設定し、近くにあるときには大きく時定数を設定する。なお、上述した時定数ａ＝０．００１、ｂ＝０．００２のように、画像中どこでも一定であると設定することも可能である。すなわち、時定数の設定には可変型と固定型の２通りの設定の仕方がある。ここで、可変型の場合の時定数の計算方法を上述した図２を用いて説明する。道路情報記録部１０４より道路の消失点のｙ座標をもとに、時定数ａ₀をｙ座標の１次関数として下記の式（４）で表す。ｂ₀、ｃ₀は任意の定数である。 Here, the calculation of the time constant described above will be described. The time constant calculation unit 105 obtains the LPF time constant based on the road information recorded in the road information recording unit 104. The time constant is obtained because an object moving at the same speed corresponds to a difference in the amount of movement in the image when the object is far away and when it is close. That is, since the movement in the image is small in an area in which an image of a distant road is shown, the time constant is set small, and when it is close, the time constant is set large. It is also possible to set the constant constant everywhere in the image, such as the time constant a = 0.001 and b = 0.002. In other words, there are two ways of setting the time constant, variable type and fixed type. Here, a method for calculating the time constant in the case of the variable type will be described with reference to FIG. Based on the y-coordinate of the vanishing point of the road from the road information recording unit 104, the time constant a ₀ is expressed by the following equation (4) as a linear function of the y-coordinate. b ₀ and c ₀ are arbitrary constants.

また、図４に示すように、水平線上を速度ｄｘ／ｄｔで動く点の角速度ｄα／ｄｔはｃｏｓαに比例する（下記の式（５）参照）ので、時定数を下記の式（６）のように表すこともできる。ｂ₀、ｃ₀は任意の定数である。 Also, as shown in FIG. 4, since the angular velocity dα / dt at the point moving on the horizontal line at the velocity dx / dt is proportional to cosα (see the following equation (5)), the time constant is expressed by the following equation (6). It can also be expressed as: b ₀ and c ₀ are arbitrary constants.

ここで、式（６）の導出過程について図５を用いて説明する。図５は撮像装置１１３によって撮影する際の光軸を含む、地面に対する垂直面で切った断面図である。撮像面と焦点との距離をＲとすると、ｗ×ｐ_v＝Ｒ×ｔａｎβとなる（ｐ_vは垂直方向の画素ピッチである）。σを焦点と座標ｙの点を結ぶ直線と光軸との成す角とすると、ｔａｎσ＝（ｙ_c−ｙ）×ｐ_v／Ｒとなる。したがって、α＝π／２−γ−σとなる。ａ₀＝ｂ₀ｃｏｓα＋ｃ₀から式（６）が導出される。図５より、ｙ_cは撮像面と光軸が交わる点のｙ座標の値であり、βは画角の半分の値であり、γは光軸と水平面との間の角度であり、ｗは撮像面の画素数の半分の値である。なお、差分の周波数特性のｙ座標の変化におけるグラフを図６に示す。 Here, the derivation process of Expression (6) will be described with reference to FIG. FIG. 5 is a cross-sectional view taken along a plane perpendicular to the ground, including the optical axis at the time of photographing with the imaging device 113. When the distance between the imaging surface and the focal point is R, w × p _v = R × tan β (p _v is the pixel pitch in the vertical direction). If σ is the angle formed by the straight line connecting the focal point and the point of coordinate y and the optical axis, tan σ = (y _c −y) × p _v / R. Therefore, α = π / 2−γ−σ. Equation (6) is derived from a ₀ = b ₀ cos α + c ₀ . From FIG. 5, y _c is the value of the y coordinate at the point where the imaging surface and the optical axis intersect, β is a half value of the angle of view, γ is the angle between the optical axis and the horizontal plane, and w is This is half the number of pixels on the imaging surface. In addition, the graph in the change of the y coordinate of the frequency characteristic of a difference is shown in FIG.

２値化部１０７は、巡回型ＬＰＦ１０３ａ、１０３ｂからそれぞれ出力される出力信号の加算器１０６による差分出力の絶対値の出力レベルがあらかじめ設定された閾値以上となる領域に対応する画素を１とし、それ以外を０とするように２値化する。なお、画素を０か１にする際の基準となる閾値は、例えば障害物が発生した実際の画像をあらかじめ見て、障害物が適切に検出できるように決められる。図７から分かるように、あらかじめ設定された閾値以上となる領域を取り出せば、結果的に非常にゆっくりとした時間変化の生じた領域を取り出すことができる。すなわち、今まである程度の速さで移動していた自動車や人間が、停止してしまった(正確には速さが非常に小さくなった)という状態の変化が生じた領域を取り出すことができる。これにより、自動車や人間などのある程度の速度で移動する物体と、自動車などから落下した落下物や監視中に新たに停止した自動車などとを識別することが可能となる。 The binarization unit 107 sets 1 as a pixel corresponding to a region where the output level of the absolute value of the differential output by the adder 106 of the output signals output from the cyclic LPFs 103a and 103b is equal to or greater than a preset threshold, It binarizes so that it may become 0 other than that. Note that the threshold value serving as a reference when setting the pixel to 0 or 1 is determined so that, for example, an actual image in which an obstacle has occurred can be viewed in advance so that the obstacle can be detected appropriately. As can be seen from FIG. 7, if an area that is equal to or greater than a preset threshold value is extracted, it is possible to extract an area in which a very slow time change has occurred. That is, it is possible to take out a region where a state change has occurred in which a car or a person who has been moving at a certain speed until now has stopped (exactly, the speed has become very small). This makes it possible to distinguish between an object that moves at a certain speed, such as a car or a person, and a fallen object that has fallen from the car or a car that has been stopped during monitoring.

孤立点除去部１０８は、２値化部１０７によって２値化された画像内の孤立点となっている画素を除去するものである。具体的には、値１の画素があるとき、その画素の周囲の８近傍に値１の画素が１個も無い場合にその画素を孤立点とみなしてその値を０とする。ラベリング部１０９は、孤立点除去部１０８によって孤立している画素が除去された後に、値が１である領域（画素の集まり）ごとにＩＤ番号を割り当てるものである。また、ラベリング部１０９は、各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標を求めて、これらの情報を領域情報記録部１１２に送信する。また、場合によっては、領域の支配的な色の情報、テクスチャの情報、輪郭に関する情報などの属性に関する情報を検出して領域情報記録部１１２に送信することも考えられる。 The isolated point removing unit 108 removes pixels that are isolated points in the image binarized by the binarizing unit 107. Specifically, when there is a pixel with a value of 1 and there are no pixels with a value of 1 in the vicinity of 8 around the pixel, the pixel is regarded as an isolated point and its value is set to 0. The labeling unit 109 assigns an ID number to each region (collection of pixels) having a value of 1 after the isolated pixels are removed by the isolated point removing unit 108. Further, the labeling unit 109 obtains the coordinates of the center of gravity of each region, the area, and the coordinates of the vertex of the rectangular region including the region, and transmits these information to the region information recording unit 112. In some cases, it is also conceivable to detect information related to attributes such as dominant color information, texture information, and contour information, and transmit the information to the region information recording unit 112.

ここで、各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標について図８を用いて説明する。図８に示すように、検出された領域を領域Ｒとし、その領域Ｒを囲む矩形を矩形Ｋとする。このとき、領域Ｒの面積は領域Ｒに含まれる画素数Ｎとする。矩形Ｋの各頂点の座標は、ｘ₀＝ｍｉｎ（ｘ｜（ｘ、ｙ）∈Ｒ）、ｘ₁＝ｍａｘ（ｘ｜（ｘ、ｙ）∈Ｒ）、ｙ₀＝ｍｉｎ（ｙ｜（ｘ、ｙ）∈Ｒ）、ｙ₁＝ｍａｘ（ｙ｜（ｘ、ｙ）∈Ｒ）とすると、（ｘ₀、ｙ₀）、（ｘ₁、ｙ₀）、（ｘ₀、ｙ₁）、（ｘ₁、ｙ₁）の４点で表すことができる。また、重心の座標（ｘ_c、ｙ_c）は、下記の式（７）で表すことができる。なお、上述した領域の支配的な色の情報とは、例えば領域Ｒ内の色のヒストグラムをとって、最も出現頻度の高い色の情報を言う。また、輪郭に関する情報とは、例えば領域Ｒの周囲長の情報を言う。 Here, the coordinates and area of the center of gravity of each area, and the coordinates of the vertex of the rectangular area including the area will be described with reference to FIG. As shown in FIG. 8, the detected region is a region R, and a rectangle surrounding the region R is a rectangle K. At this time, the area of the region R is the number N of pixels included in the region R. The coordinates of each vertex of the rectangle K are x ₀ = min (x | (x, y) ∈R), x ₁ = max (x | (x, y) ∈R), y ₀ = min (y | (x , Y) ∈R), y ₁ = max (y | (x, y) ∈R), (x ₀ , y ₀ ), (x ₁ , y ₀ ), (x ₀ , y ₁ ), ( x ₁ , y ₁ ). Further, the coordinates (x _c , y _c ) of the center of gravity can be expressed by the following formula (7). Note that the above-described dominant color information of the region refers to information on the color with the highest appearance frequency, for example, by taking a color histogram in the region R. Moreover, the information regarding the outline refers to information on the perimeter of the region R, for example.

対応付け部１１０は、現在のフレームの領域に関する情報と１フレーム前の領域に関する情報とから領域間の対応付けを行い、現在のフレームでの領域が新たに発生した領域であるか、又は前から存在する領域で、何フレーム間存在しているかを求めるものである。対応付け部１１０による上述した処理は、領域の重心の座標に基づいて、フレーム間で重心が近傍にある領域を対応する領域とみなすことにより行うことができる。また、領域の色相や輪郭情報などから領域間の相関を求めて対応付けする方法も考えられる。 The associating unit 110 associates the areas from the information related to the area of the current frame and the information related to the area one frame before, and whether the area in the current frame is a newly generated area or from the front This is to determine how many frames exist in the existing area. The above-described processing by the associating unit 110 can be performed based on the coordinates of the center of gravity of the region, by regarding the region where the center of gravity is near between the frames as the corresponding region. In addition, a method for obtaining correlation between regions from the hue of the region, outline information, and the like and associating them can be considered.

ここで、フレーム間で重心が近傍にあるというための基準の一例について説明する。今、ｎ番目のフレームの重心の座標を（ｘ_n、ｙ_n）とすると、任意の定数ａ、ｂを用いて、｛（ｘ、ｙ）｜｜ｘ−ｘ_n｜＜ａａｎｄ｜ｙ−ｙ_n｜＜ｂ｝を満たす領域を（ｘ_n、ｙ_n）の近傍とする。また、領域を含む矩形領域の横、縦の１辺の長さをｗ_n、ｈ_nとすると、ａ、ｂは、任意のｄを用いてａ＝ｄ×ｗ_n、ｂ＝ｄ×ｈ_nと設定することも可能である。 Here, an example of a reference for the center of gravity being in the vicinity between frames will be described. Now, if the coordinates of the center of gravity of the nth frame are (x _n , y _n ), {(x, y) || x−x _n | <a and | y− using arbitrary constants a and b. _{Let the} region satisfying y _n | <b} be the neighborhood of (x _n , y _n ). Also, _assuming that the length of one side in the horizontal and vertical sides of the rectangular area including the area is w _n and h _n , a and b are arbitrary d and a = d × w _n and b = d × h _n It is also possible to set.

障害物判断部１１１は、対応付け部１１０の処理結果に基づいて、あらかじめ設定されたフレーム数の間以上存在する領域がある場合に障害物が発生したと判断するものである。領域情報記録部１１２は、上述したラベリング部１０９によって求められた各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標の情報を記録するものである。 The obstacle determination unit 111 determines that an obstacle has occurred based on the processing result of the association unit 110 when there is an area that exists for a preset number of frames. The region information recording unit 112 records information on the coordinates and area of the center of gravity of each region obtained by the labeling unit 109 described above, and the coordinates of the vertex of a rectangular region including the region.

次に、本発明の実施の形態に係る障害物検出装置における検出フローについて図９を用いて説明する。まず、Ａ／Ｄ変換器１０１が、所定の監視領域を撮影する撮像装置１１３によって撮影された画像の画像信号をデジタル信号に変換する（ステップＳ９０１）。次に、マスク処理部１０２が、撮像装置１１３によって撮影された画像の画像領域のうち、道路領域以外又は道路とその近傍を合わせた領域以外をマスクする（ステップＳ９０２）。次に、巡回型ＬＰＦ１０３ａ、１０３ｂが、それぞれ設定されたカットオフ周波数に基づいて、入力された、マスク処理された信号を処理して信号を出力する（ステップＳ９０３）。次に、加算器１０６が巡回型ＬＰＦ１０３ａ、１０３ｂから出力された信号の差分を取る（ステップＳ９０４）。 Next, a detection flow in the obstacle detection apparatus according to the embodiment of the present invention will be described with reference to FIG. First, the A / D converter 101 converts an image signal of an image captured by the imaging device 113 that captures a predetermined monitoring area into a digital signal (step S901). Next, the mask processing unit 102 masks areas other than the road area or an area obtained by combining the road and the vicinity thereof among the image areas of the image captured by the imaging device 113 (step S902). Next, the cyclic LPFs 103a and 103b process the input mask-processed signals based on the set cutoff frequencies and output the signals (step S903). Next, the adder 106 calculates the difference between the signals output from the cyclic LPFs 103a and 103b (step S904).

次に、２値化部１０７が、加算器１０６による差分出力の出力レベルがあらかじめ設定された閾値以上となる領域に対応する画素を１とし、それ以外を０として２値化する（ステップＳ９０５）。次に、孤立点除去部１０８が、２値化部１０７によって２値化された画像内の孤立点となっている画素を除去する（ステップＳ９０６）。次に、ラベリング部１０９が、値が１である領域（画素の集まり）ごとにＩＤ番号を割り当てて、各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標を求めて、これらの情報を領域情報記録部１１２に送信する（ステップＳ９０７）。次に、対応付け部１１０が、現在のフレームの領域に関する情報と１フレーム前の領域に関する情報とから領域間の対応付けを行う（ステップＳ９０８）。次に、障害物判断部１１１が、対応付け部１１０の処理結果に基づいて、あらかじめ設定されたフレーム数の間以上存在する領域がある場合に障害物が発生したと判断する（ステップＳ９０９）。 Next, the binarization unit 107 binarizes the pixel corresponding to the region where the output level of the difference output by the adder 106 is equal to or greater than a preset threshold value to 1 and sets the others to 0 (step S905). . Next, the isolated point removing unit 108 removes pixels that are isolated points in the image binarized by the binarizing unit 107 (step S906). Next, the labeling unit 109 assigns an ID number to each region (collection of pixels) having a value of 1, obtains the coordinates of the center of gravity of each region, the area, and the coordinates of the vertex of the rectangular region including the region, These pieces of information are transmitted to the area information recording unit 112 (step S907). Next, the associating unit 110 associates the areas from the information regarding the area of the current frame and the information regarding the area one frame before (step S908). Next, the obstacle determination unit 111 determines that an obstacle has occurred based on the processing result of the association unit 110 when there is an area that exists for a preset number of frames (step S909).

本発明に係る障害物検出装置は、あらかじめ車両などが写っていない背景画像を用意する必要がなく、かつ物体領域の情報を背景画像の更新に必要とせず、遠方にある車両などを止まっている障害物と誤判断しないため、道路上に存在する障害物を検出する障害物検出装置などに有用である。 The obstacle detection device according to the present invention does not need to prepare a background image in which a vehicle or the like is not captured in advance, and does not require information on the object area to update the background image, and stops a vehicle or the like in the distance. Since it is not erroneously determined as an obstacle, it is useful for an obstacle detection device that detects an obstacle present on a road.

本発明の実施の形態に係る障害物検出装置の構成を示す構成図である。It is a block diagram which shows the structure of the obstruction detection apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出装置におけるマスク処理部によるマスクの仕方について説明するための図である。It is a figure for demonstrating how to mask by the mask process part in the obstruction detection apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出装置における巡回型ＬＰＦからの出力の差分の周波数特性の一例を示す図である。It is a figure which shows an example of the frequency characteristic of the difference of the output from the cyclic | annular LPF in the obstruction detection apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出装置における水平線上を動く点の速度と角速度との関係を説明するための図である。It is a figure for demonstrating the relationship between the speed and the angular velocity of the point which moves on the horizontal line in the obstruction detection apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出装置における時定数の算出過程を説明するための図である。It is a figure for demonstrating the calculation process of the time constant in the obstruction detection apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出装置における時定数をｙ座標値によって変化させたときの巡回型ＬＰＦの出力の差分の周波数特性の一例を示す図である。It is a figure which shows an example of the frequency characteristic of the difference of the output of cyclic LPF when the time constant in the obstacle detection apparatus which concerns on embodiment of this invention is changed by y coordinate value. 本発明の実施の形態に係る障害物検出装置における２値化部の処理内容を説明するための図である。It is a figure for demonstrating the processing content of the binarization part in the obstruction detection apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係る障害物検出装置におけるラベリング部により求められる各領域の重心の座標、面積、その領域を含む矩形領域の頂点の座標について説明するための図である。It is a figure for demonstrating the coordinate of the gravity center of each area | region calculated | required by the labeling part in the obstruction detection apparatus which concerns on embodiment of this invention, an area, and the coordinate of the vertex of the rectangular area containing the area | region. 本発明の実施の形態に係る障害物検出装置における検出フローについて説明するためのフローチャートである。It is a flowchart for demonstrating the detection flow in the obstruction detection apparatus which concerns on embodiment of this invention.

Explanation of symbols

１００障害物検出装置
１０１Ａ／Ｄ変換器
１０２マスク処理部（マスク処理手段）
１０３ａ、１０３ｂ巡回型ＬＰＦ
１０４道路情報記録部
１０５時定数計算部
１０６加算器（抽出手段）
１０７２値化部（２値化手段）
１０８孤立点除去部（集合領域生成手段）
１０９ラベリング部（情報算出手段）
１１０対応付け部（対応付け手段）
１１１障害物判断部（判断手段）
１１２領域情報記録部
１１３撮像装置
DESCRIPTION OF SYMBOLS 100 Obstacle detection apparatus 101 A / D converter 102 Mask processing part (mask processing means)
103a, 103b Cyclic LPF
104 Road information recording unit 105 Time constant calculation unit 106 Adder (extraction means)
107 Binarization unit (binarization means)
108 Isolated point removal unit (collection area generation means)
109 Labeling part (information calculation means)
110 Association part (association means)
111 Obstacle determination unit (determination means)
112 Region information recording unit 113 Imaging device

Claims

Mask processing means for masking an image area other than a desired target area in an image captured by the imaging device including a predetermined monitoring area;
Extraction means for extracting a signal of a predetermined frequency component from the image signal representing the masked image;
Binarization means for binarizing pixels constituting the image based on the output level of the extracted signal and a predetermined threshold;
Among the binarized pixels, when a plurality of pixels with a predetermined value that is one of the two values exist adjacent to each other, the pixel with the predetermined value and the predetermined value A set area generation means for generating a set area of pixels including other pixels adjacent to the pixel to which the value is attached;
Information calculating means for calculating, for each pixel collection region, predetermined information relating to the generated pixel collection region;
Association means for associating the pixel collection areas based on the predetermined information on the pixel collection areas in the current image and the predetermined information on the pixel collection areas in the image before the current time;
Judging means for judging whether or not an obstacle exists based on the information of the association of the pixel collection area;
An obstacle detection device provided.