JP2009230530A - Vehicle recognition device, vehicle and vehicle recognition program - Google Patents
Vehicle recognition device, vehicle and vehicle recognition program Download PDFInfo
- Publication number
- JP2009230530A JP2009230530A JP2008076161A JP2008076161A JP2009230530A JP 2009230530 A JP2009230530 A JP 2009230530A JP 2008076161 A JP2008076161 A JP 2008076161A JP 2008076161 A JP2008076161 A JP 2008076161A JP 2009230530 A JP2009230530 A JP 2009230530A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- region
- vehicle
- determination
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像手段を介して取得した画像を用いて対象物を認識する装置、車両、及びその装置の処理をコンピュータに実行させるためのプログラムに関する。 The present invention relates to an apparatus for recognizing an object using an image acquired via an imaging unit, a vehicle, and a program for causing a computer to execute processing of the apparatus.
従来、撮像手段により周辺を撮像し、撮像された画像から周辺に存在する対象物を認識する技術が知られている（例えば、特許文献１を参照）。この技術により、例えば自車両が走行する道路上及びその周囲に存在する対象物を認識し、その認識結果に応じて、運転者への情報提示や車両の走行制御を行うことが可能となる。 2. Description of the Related Art Conventionally, a technique is known in which a periphery is imaged by an imaging unit and an object existing in the periphery is recognized from the captured image (see, for example, Patent Document 1). With this technology, for example, an object existing on and around a road on which the host vehicle is traveling can be recognized, and information presentation to the driver and vehicle traveling control can be performed according to the recognition result.
特許文献１のストップランプ点灯検出装置では、自車両の前方を撮像したカラー画像から、画素の色情報と輝度情報を用いて点灯ランプを検出する手法を応用して、先行車両のストップランプを検出する。具体的には、この装置では、画像から特定色（ストップランプ色）およびその近似色が一定画素数以上連続する領域を抽出して、この抽出した領域から各画素の特定色への近似度の平均値が閾値以上の領域を特定し、さらに特定された領域の輝度値平均が閾値以上の場合にストップランプと判定する。これにより、先行車両が認識される。そして、このストップランプ点灯検出装置を車間距離接近警報装置と組み合わせて、先行車両のストップランプ検出結果に基づいて先行車両との接近状態を評価して警報を発する。
このように車両のストップランプ（ブレーキランプ）を特徴として車両を検出する際には、周辺に複数の車両が存在した場合に、各車両のブレーキランプを区別することが必要である。しかしながら、特許文献１の装置では、複数の車両が存在する場合については全く考慮されていない。このため、特許文献１の装置では、複数の車両が重なって撮像され、画像中に複数のブレーキランプ群が存在する場合に、各車両のブレーキランプを区別してそれぞれ検出できないため、車両が適切に認識されないという不都合がある。 As described above, when a vehicle is detected by using a stop lamp (brake lamp) of the vehicle, it is necessary to distinguish the brake lamp of each vehicle when there are a plurality of vehicles in the vicinity. However, in the apparatus of Patent Document 1, no consideration is given to the case where there are a plurality of vehicles. For this reason, in the apparatus of Patent Document 1, when a plurality of vehicles are captured in an overlapping manner and there are a plurality of brake lamp groups in the image, the brake lamps of each vehicle cannot be distinguished and detected. There is an inconvenience that it is not recognized.
本発明は、かかる背景に鑑みてなされたものであり、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる車両認識装置、車両、及び車両認識用プログラムを提供することを目的とする。 The present invention has been made in view of such a background, and even when there are a plurality of vehicles in the vicinity, a vehicle recognition device that can distinguish between a plurality of vehicles captured in an image and appropriately recognize the vehicle. An object is to provide a vehicle and a vehicle recognition program.
かかる目的を達成するために、本発明の車両認識装置は、自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する車両認識装置において、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は該第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えることを特徴とする（第１発明）。 In order to achieve such an object, the vehicle recognition device of the present invention is a vehicle recognition device that recognizes other vehicles existing in the vicinity based on an image acquired through an imaging unit mounted on the host vehicle. Of the feature region extracted by the feature region extraction unit, a feature region extraction unit that extracts, as a feature region, an area composed of pixels having a pixel value within a predetermined range from the image acquired through the imaging unit. Pairing means for specifying a first feature area and a second feature area arranged in a horizontal direction on an image, and the first feature area specified by the pairing means A first determination region is set above and below the region or in a peripheral region in the direction of the second feature region, and the second feature region is set to the center line of the first and second feature regions. 1 judgment area and When the determination area setting means for setting the second determination area at a symmetrical position and the degree of correlation between the first determination area and the second determination area are high, the first and second feature areas are It is characterized by comprising a feature region determination means for determining that it is an image portion of one other vehicle (first invention).
第１発明の車両認識装置によれば、特徴領域抽出手段により、周辺を撮像した画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する。これにより、ブレーキランプやヘッドランプ等の、車両の輝度や色が特徴的な部分に相当する領域が特徴領域として抽出される。このとき、周辺に複数の車両が存在する場合、画像上で複数の車両についての特徴領域が混在する。 According to the vehicle recognition device of the first invention, the feature region extraction means extracts a region composed of pixels having a pixel value within a predetermined range as a feature region from an image obtained by capturing the periphery. As a result, a region corresponding to a characteristic portion of the vehicle brightness or color, such as a brake lamp or a headlamp, is extracted as a feature region. At this time, when there are a plurality of vehicles in the vicinity, feature regions for the plurality of vehicles are mixed on the image.
これに対して、例えばブレーキランプは、車両の車幅方向（水平方向）の中心に対して左右対称に２つ設けられているので、画像上で水平方向に並ぶこととなる。そこで、ペアリング手段により、画像上で水平方向に並んでいる２つの特徴領域の組（第１の特徴領域と第２の特徴領域）を特定する。これにより、１台の車両の１対のブレーキランプに相当する可能性が高い組が特定される。ただし、このように特定された組には、２台の車両が水平方向に並んでいて、一方の車両のブレーキランプと他方の車両のブレーキランプとが組とされた場合も含まれ得る。 On the other hand, for example, two brake lamps are provided symmetrically with respect to the center in the vehicle width direction (horizontal direction) of the vehicle, and therefore are arranged in the horizontal direction on the image. Therefore, the pairing means identifies a set of two feature regions (first feature region and second feature region) arranged in the horizontal direction on the image. As a result, a set that is highly likely to correspond to a pair of brake lamps of one vehicle is specified. However, the group specified in this way may include a case where two vehicles are arranged in the horizontal direction and a brake lamp of one vehicle and a brake lamp of the other vehicle are combined.
そこで、判定領域設定手段により、第１の特徴領域について、第１の特徴領域の上下又は第２の特徴領域方向の周辺域に第１の判定領域を設定すると共に、第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する。２つの特徴領域の組が１台の車両の１対のブレーキランプに相当する場合には、これらの判定領域は、同じ車両のブレーキランプ周辺の車体部分に相当する。そして、この場合は、同じ車両の車体部分は輝度や色が同じ部分が多いので、画像上での第１及び第２の判定領域の特徴が類似し、第１の判定領域と第２の判定領域との相関の度合が高くなる。 Therefore, for the first feature area, the determination area setting means sets the first determination area in the upper and lower sides of the first feature area or the peripheral area in the second feature area direction, and for the second feature area, A second determination region is set at a position symmetrical to the first determination region with respect to the center line of the first and second feature regions. When a set of two characteristic areas corresponds to a pair of brake lamps of one vehicle, these determination areas correspond to a body part around the brake lamp of the same vehicle. In this case, since the body parts of the same vehicle have many parts having the same brightness and color, the features of the first and second determination areas on the image are similar, and the first determination area and the second determination area are similar to each other. The degree of correlation with the area increases.
これに対して、２つの特徴領域の組が別の車両のブレーキランプからなる場合には、判定領域を２つの特徴領域の中心線方向の周辺域で設定すると、判定領域が車両以外の背景部分に相当する。この場合、背景部分では多様なものが撮像されるので、画像上での第１及び第２の判定領域の特徴が相違し、第１の判定領域と第２の判定領域との相関の度合が低くなる。また、判定領域を２つの特徴領域の上下の周辺域に設定すると、判定領域が異なる車両の車体部分に相当する。この場合、異なる車両の車体部分は輝度や色が異なることが多いので、画像上での第１及び第２の判定領域の特徴が相違し、第１の判定領域と第２の判定領域との相関の度合が低くなる。したがって、特徴領域判定手段により、第１の判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定することで、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる。 On the other hand, when the set of two feature areas is composed of brake lamps of different vehicles, if the determination area is set in the peripheral area in the center line direction of the two feature areas, the determination area is a background portion other than the vehicle. It corresponds to. In this case, since various things are imaged in the background portion, the characteristics of the first and second determination areas on the image are different, and the degree of correlation between the first determination area and the second determination area is different. Lower. In addition, when the determination area is set to the upper and lower peripheral areas of the two characteristic areas, the determination area corresponds to a vehicle body portion of a different vehicle. In this case, since the body parts of different vehicles often have different brightness and colors, the characteristics of the first and second determination areas on the image are different, and the first determination area and the second determination area are different. The degree of correlation decreases. Therefore, when the degree of correlation between the first determination area and the second determination area is high by the characteristic area determination means, the first and second characteristic areas are image portions of one other vehicle. By determining, even if there are a plurality of vehicles in the vicinity, it is possible to distinguish the plurality of vehicles captured in the image and appropriately recognize the vehicles.
また、第１発明の車両認識装置において、前記特徴領域抽出手段は、前記特徴領域として、輝度値が所定値以上となる画素からなる領域を抽出することが好ましい（第２発明）。 In the vehicle recognition device of the first invention, it is preferable that the feature region extraction means extracts a region composed of pixels having a luminance value equal to or greater than a predetermined value as the feature region (second invention).
第２発明の車両認識装置によれば、ブレーキランプ等は一般的に輝度が高いことから、特徴領域抽出手段により輝度値が所定値以上となる画素からなる領域を抽出することで、ブレーキランプ等に相当する特徴領域を抽出することができる。 According to the vehicle recognition device of the second invention, since the brake lamp or the like is generally high in luminance, the brake lamp or the like can be obtained by extracting a region composed of pixels having a luminance value equal to or higher than a predetermined value by the feature region extraction means. Can be extracted.
または、第１発明の車両認識装置において、前記撮像手段を介して取得された画像がカラー画像である場合に、前記特徴領域抽出手段は、前記特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域を抽出することが好ましい（第３発明）。 Alternatively, in the vehicle recognition device according to the first aspect of the present invention, when the image acquired through the imaging unit is a color image, the feature region extraction unit is a range in which a color component corresponds to a specific color as the feature region. It is preferable to extract a region composed of the pixels to be (third invention).
第３発明の車両認識装置によれば、ブレーキランプ等は一般的に赤や黄などの特定色であることから、特徴領域抽出手段によりカラー成分が特定色に対応する範囲となる画素からなる領域を抽出することで、ブレーキランプ等に相当する特徴領域を抽出することができる。 According to the vehicle recognition device of the third invention, since the brake lamp or the like is generally a specific color such as red or yellow, an area composed of pixels whose color components fall within a range corresponding to the specific color by the characteristic area extraction means. The feature region corresponding to the brake lamp or the like can be extracted.
また、第１〜第３発明のうちいずれかの車両認識装置において、前記ペアリング手段は、前記特徴領域のうち、前記画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することが好ましい（第４発明）。 Further, in the vehicle recognition device according to any one of the first to third inventions, the pairing means is arranged in the horizontal direction on the image, and the shape of one feature region and the other feature among the feature regions. It is preferable to specify the first feature region and the second feature region in which the degree of similarity with the shape obtained by mirror-reversing the region in the horizontal direction is a predetermined value or more (fourth invention).
第４発明の車両認識装置によれば、例えば１台の車両の１対のブレーキランプは、車両の車幅方向（水平方向）の中心に対して左右対称に設けられているので、１台の車両の１対のブレーキランプに相当する２つの特徴領域の組では、一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が高くなると考えられる。よって、ペアリング手段により、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することで、特徴領域のうち、１台の車両の１対のブレーキランプ等に相当する２つの特徴領域の組をより精度良く特定することができる。 According to the vehicle recognition device of the fourth aspect of the invention, for example, the pair of brake lamps of one vehicle is provided symmetrically with respect to the center in the vehicle width direction (horizontal direction) of the vehicle. In a set of two feature regions corresponding to a pair of brake lamps of a vehicle, it is considered that the degree of similarity between the shape of one feature region and the shape obtained by mirror-reversing the other feature region in the horizontal direction is high. Therefore, the first feature in which the degree of similarity between the shape of one feature region and the shape of the other feature region mirror-reversed in the horizontal direction is equal to or greater than a predetermined value by the pairing means in the horizontal direction on the image. By specifying the region and the second feature region, a set of two feature regions corresponding to a pair of brake lamps or the like of one vehicle can be specified with higher accuracy among the feature regions.
また、第１〜第４発明のうちいずれかの車両認識装置において、前記特徴領域判定手段は、前記第１の判定領域の画素値の平均と前記第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定することが好ましい（第５発明）。 Moreover, in the vehicle recognition device according to any one of the first to fourth inventions, the feature area determination unit is configured to calculate an average of pixel values of the first determination area and an average of pixel values of the second determination area. When the difference is less than or equal to a predetermined value, it is preferable to determine that the degree of correlation between the first and second determination areas is high (fifth invention).
第５発明の車両認識装置によれば、第１及び第２の判定領域の画素値の平均は、各判定領域の特徴の傾向を示すものであるので、これらの画素値の平均の差が小さい場合に、第１及び第２の判定領域の相関の度合が高いことが把握される。なお、画素値としては、例えば画素の輝度値や、画像がカラー画像の場合、画素のカラー成分を用いることができる。よって、特徴領域判定手段により、第１及び第２の判定領域の画素値の平均の差が所定値以下である場合に、相関の度合が高いと判定することで、２つの特徴領域の組が１つの他の車両に対応することを適切に判定することができる。 According to the vehicle recognition device of the fifth aspect of the invention, the average pixel value of the first and second determination areas indicates the tendency of the characteristics of each determination area, and therefore the difference between the averages of these pixel values is small. In this case, it is understood that the degree of correlation between the first and second determination regions is high. As the pixel value, for example, the luminance value of the pixel or the color component of the pixel can be used when the image is a color image. Therefore, when the average difference between the pixel values of the first and second determination areas is equal to or less than the predetermined value by the characteristic area determination unit, it is determined that the degree of correlation is high, whereby a set of two characteristic areas is obtained. It can be appropriately determined that the vehicle corresponds to one other vehicle.
次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得された画像に基づいて周辺に存在する他の車両を認識する機能を有する車両であって、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えたことを特徴とする（第６発明）。 Next, a vehicle according to the present invention includes an imaging unit, and has a function of recognizing other vehicles existing in the vicinity based on an image acquired through the imaging unit. A feature region extracting means for extracting a region composed of pixels having a pixel value within a predetermined range as a feature region from the acquired image, and a horizontal direction on the image among the feature regions extracted by the feature region extracting means. Pairing means for specifying a first feature area and a second feature area that are aligned with each other, and for the first feature area specified by the pairing means, above or below the first feature area or the A first determination region is set in a peripheral region in the second feature region direction, and the second determination region is defined with respect to the center line of the first and second feature regions. Second decision area at line symmetry When the degree of correlation between the determination area setting means that sets the first determination area and the second determination area is high, the first and second characteristic areas are image portions of one other vehicle. (6th invention).
第６発明の車両によれば、第１発明の車両認識装置に関して説明したように、ペアリング手段により、画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定することで、１台の車両の１対のブレーキランプ等に相当する可能性が高い２つの特徴領域の組が特定される。そして、判定領域設定手段により、２つの特徴領域の組について、第１及び第２の特徴領域の上下又は該２つの特徴領域の中心線方向の周辺域で、第１及び第２の判定領域を該中心線に対して線対称な位置に設定することで、第１の判定領域と第２の判定領域との相関の度合が高いことから、２つの特徴領域の組が１台の車両の１対のブレーキランプ等に相当することを判定できる。よって、特徴領域判定手段により、第１の判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定することで、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、周辺に存在する他の車両を適切に認識することができる。 According to the vehicle of the sixth invention, as described for the vehicle recognition device of the first invention, the pairing means identifies the first feature region and the second feature region arranged in the horizontal direction on the image. By doing so, a set of two feature regions that are highly likely to correspond to a pair of brake lamps or the like of one vehicle is specified. Then, by the determination area setting means, the first and second determination areas are set above and below the first and second feature areas or in the peripheral area in the direction of the center line of the two feature areas. Since the degree of correlation between the first determination area and the second determination area is high by setting the position symmetrical with respect to the center line, the set of two characteristic areas is one of one vehicle. It can be determined that it corresponds to a pair of brake lamps or the like. Therefore, when the degree of correlation between the first determination area and the second determination area is high by the characteristic area determination means, the first and second characteristic areas are image portions of one other vehicle. By determining, even if there are a plurality of vehicles in the vicinity, the plurality of vehicles captured in the image can be distinguished and other vehicles existing in the vicinity can be appropriately recognized.
次に、本発明の車両認識用プログラムは、自車両に搭載された撮像手段を介して取得された画像に基づいて、周辺に存在する他の車両を認識する処理をコンピュータに実行させる車両認識用プログラムであって、前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出処理と、前記特徴領域抽出処理により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング処理と、前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定処理と、前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定処理とを前記コンピュータに実行させる機能を有することを特徴とする（第７発明）。 Next, the vehicle recognition program of the present invention is a vehicle recognition program that causes a computer to execute a process of recognizing other vehicles existing in the vicinity based on an image acquired through an imaging unit mounted on the host vehicle. A feature area extraction process for extracting an area composed of pixels having a pixel value within a predetermined range from the image acquired through the imaging unit as a feature area, and a feature extracted by the feature area extraction process Among the regions, a pairing process for specifying a first feature region and a second feature region arranged in a horizontal direction on the image, and the first feature region specified by the pairing unit, A first determination region is set above and below the first feature region or in a peripheral region in the direction of the second feature region, and the center line of the first and second feature regions is set for the second feature region. On the other hand, when the determination area setting process for setting the second determination area in a line-symmetric position with the first determination area and the degree of correlation between the first determination area and the second determination area are high, The first and second feature regions have a function of causing the computer to execute a feature region determination process for determining that the first and second feature regions are image portions of one other vehicle (seventh invention).
第７発明の車両認識用プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。 According to the vehicle recognition program of the seventh aspect of the invention, it is possible to cause the computer to execute a process that can achieve the effects described with respect to the first aspect of the invention.
本発明の一実施形態を、図１〜図４を参照して説明する。図１を参照して、車両認識装置１０は自車両１（本発明の車両）に搭載して使用され、自車両１の前方を撮像するカメラ２により撮像される画像から、自車両１の周辺に存在する他車両を検出し、他車両と自車両１との相対位置を認識するものである。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。 An embodiment of the present invention will be described with reference to FIGS. Referring to FIG. 1, vehicle recognition device 10 is used by being mounted on host vehicle 1 (the vehicle of the present invention), and the surroundings of host vehicle 1 from an image captured by camera 2 that images the front of host vehicle 1. Is detected, and the relative position between the other vehicle and the host vehicle 1 is recognized. The camera 2 (imaging means of the present invention) is a CCD camera or the like, and is attached to the front portion of the host vehicle 1.
また、車線認識装置１０により認識された他車両と自車両１との相対位置のデータは、車両１のＥＣＵ（Electronic Control Unit）２０に出力される。ＥＣＵ２０は、他車両と車両１との相対位置に基いて、自車両１が他車両と接触する可能性を判定する接触判定処理と、自車両１が他車両との接触の可能性がある状況となったときに、注意喚起出力（図示しないスピーカからの音声出力等による）を行なう注意喚起出力処理と、自車両１と他車両との接触が回避されるように、自車両１のブレーキやステアリングをアシスト駆動する接触回避制御処理とを実行する。 Further, data on the relative position between the other vehicle recognized by the lane recognition device 10 and the host vehicle 1 is output to an ECU (Electronic Control Unit) 20 of the vehicle 1. The ECU 20 determines the possibility that the host vehicle 1 will come into contact with the other vehicle based on the relative position between the other vehicle and the vehicle 1, and the situation where the host vehicle 1 may be in contact with the other vehicle. The warning output process for performing a warning output (by voice output from a speaker (not shown), etc.) and the braking of the own vehicle 1 so that the contact between the own vehicle 1 and another vehicle is avoided. A contact avoidance control process for assisting driving of the steering is executed.
次に、図２を参照して、車両認識装置１０は、その機能として画像取得手段１１と、特徴領域抽出手段１２と、ペアリング手段１３と、判定領域設定手段１４と、特徴領域判定手段１５とを備えている。 Next, referring to FIG. 2, the vehicle recognition device 10 functions as an image acquisition unit 11, a feature region extraction unit 12, a pairing unit 13, a determination region setting unit 14, and a feature region determination unit 15. And.
画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データは、Ｒ値、Ｇ値、Ｂ値からなるカラー成分で構成されている。 The image acquisition unit 11 receives an image signal output from the camera 2 and acquires a color image composed of pixel data from the input image signal. At this time, the pixel data is composed of color components composed of an R value, a G value, and a B value.
特徴領域抽出手段１２は、画像取得手段１１により取得されたカラー画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する。このとき、特徴領域抽出手段１２は、画素値として画素のカラー成分を用い、カラー成分が特定色（本実施形態では赤色）に対応する範囲となる画素からなる領域を抽出する。具体的には、特徴領域抽出手段１２は、画素のカラー成分（Ｒ，Ｇ，Ｂ）から算出される色相・彩度を用いて、カラー成分が特定色に対応する範囲となることを判断する。 The feature area extraction unit 12 extracts, from the color image acquired by the image acquisition unit 11, an area including pixels whose pixel values fall within a predetermined range as a feature area. At this time, the feature region extraction unit 12 uses a color component of the pixel as a pixel value, and extracts a region composed of pixels in which the color component is in a range corresponding to a specific color (red in the present embodiment). Specifically, the feature region extraction unit 12 determines that the color component falls within a range corresponding to the specific color using the hue / saturation calculated from the color component (R, G, B) of the pixel. .
ペアリング手段１３は、特徴領域抽出手段１２により抽出された特徴領域のうち、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定する。 The pairing unit 13 includes a feature region extracted by the feature region extraction unit 12 and arranged in a horizontal direction on the image, and a shape of one feature region and a shape obtained by mirror-inverting the other feature region in the horizontal direction. A first feature region and a second feature region in which the degree of similarity is greater than or equal to a predetermined value are specified.
判定領域設定手段１４は、ペアリング手段１３により特定された第１の特徴領域について、第２の特徴領域方向の周辺域で第１の判定領域を設定する。これと共に、判定領域設定手段１４は、ペアリング手段１３により特定された第２の特徴領域について、第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称の位置に第２の判定領域を設定する。 The determination region setting unit 14 sets the first determination region in the peripheral region in the second feature region direction for the first feature region specified by the pairing unit 13. At the same time, the determination area setting unit 14 has the second feature area specified by the pairing unit 13 at a position symmetrical to the first determination area with respect to the center line of the first and second feature areas. A second determination area is set.
特徴領域判定手段１５は、判定領域設定手段１４により設定された第１判定領域と第２の判定領域との相関の度合が高い場合に、第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する。具体的には、特徴領域判定手段１５は、第１の判定領域の画素値の平均と第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定する。このとき、特徴領域判定手段１５は、画素値として、画素のカラー成分（Ｒ，Ｇ，Ｂ）から算出される輝度値を用いる。 When the degree of correlation between the first determination region and the second determination region set by the determination region setting unit 14 is high, the feature region determination unit 15 determines whether the first and second feature regions are different from each other. It determines with it being the image part of a vehicle. Specifically, the feature area determination unit 15 determines whether the first and first characteristics are different when the difference between the average pixel value of the first determination area and the average pixel value of the second determination area is equal to or less than a predetermined value. It is determined that the degree of correlation between the two determination areas is high. At this time, the feature area determination unit 15 uses the luminance value calculated from the color components (R, G, B) of the pixel as the pixel value.
車線認識装置１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。車両認識装置１０は、該コンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、特徴領域抽出手段１２と、ペアリング手段１３と、判定領域設定手段１４と、特徴領域判定手段１５として機能する。 The lane recognition device 10 accesses (reads and writes) an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, and data stored in the image memory. A computer (an arithmetic processing circuit composed of a CPU, a memory, an input / output circuit, etc., or a microcomputer integrating these functions). ) And the like. The vehicle recognition apparatus 10 causes the computer to execute the vehicle recognition program according to the present invention so that the computer can perform feature area extraction means 12, pairing means 13, determination area setting means 14, and feature area determination means. 15 functions.
次に、車両認識装置１０による作動（車両認識処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両認識装置１０の制御周期毎に繰り返し実行される。 Next, the operation (vehicle recognition processing) by the vehicle recognition device 10 will be described according to the flowchart shown in FIG. The process according to the flowchart shown in FIG. 3 is repeatedly executed every control cycle of the vehicle recognition apparatus 10.
図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２を介してカラー画像を取得する。取得されたカラー画像はＡ／Ｄ変換されて画像メモリに格納される。図４（ａ）に、ある制御周期の時刻においてカメラ２によって得られるカラー画像Ｉ1を例示する。なお、図４（ａ）に示した例は、自車両１の前方に前走車Ｔが存在している場合の例である。 In STEP 1 of FIG. 3, the image acquisition unit 11 acquires a color image via the camera 2. The acquired color image is A / D converted and stored in the image memory. FIG. 4A illustrates a color image I 1 obtained by the camera 2 at a certain control cycle time. The example shown in FIG. 4A is an example in the case where a preceding vehicle T exists in front of the host vehicle 1.
次に、ＳＴＥＰ２で、特徴領域抽出手段１２は、ＳＴＥＰ１で取得したカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、下記式（１）（２）を用いて、ＨＳＶ色空間における画素の色相Ｈと彩度Ｓを算出する。 Next, in STEP 2, the feature area extraction unit 12 uses the following formulas (1) and (2) from the color components (R, G, B) of the pixels of the color image acquired in STEP 1 to display the pixels in the HSV color space. The hue H and saturation S are calculated.
なお、MAXは（Ｒ，Ｇ，Ｂ）の最大値、MINは（Ｒ，Ｇ，Ｂ）の最小値である。 Note that MAX is the maximum value of (R, G, B), and MIN is the minimum value of (R, G, B).
次に、ＳＴＥＰ３で、特徴領域抽出手段１２は、算出した色相Ｈと彩度Ｓを用いて、カラー成分が赤色に対応する範囲となる画素からなる特徴領域を抽出する。具体的には、特徴領域抽出手段１２は、カメラ２を介して取得されたカラー画像に、色相Ｈが所定範囲Ｈth1〜Ｈth2内で、且つ彩度Ｓが所定範囲Ｓth1〜Ｓth2内となる画素を「１」（白）とし、これ以外の画素を「０」（黒）として２値化処理を施して、さらにラベリング処理等を施し、特徴領域を抽出する。所定範囲Ｈth1〜Ｈth2，Ｓth1〜Ｓth2は、赤色に対応する範囲として予め定められる。 Next, in STEP 3, the feature region extraction unit 12 uses the calculated hue H and saturation S to extract a feature region including pixels whose color component is in a range corresponding to red. Specifically, the feature region extraction unit 12 adds a hue H within a predetermined range H th1 to H th2 and a saturation S within a predetermined range S th1 to S th2 to a color image acquired via the camera 2. The pixel to be “1” (white) and the other pixels “0” (black) are subjected to a binarization process, and a labeling process or the like is further performed to extract a feature region. The predetermined ranges H th1 to H th2 and S th1 to S th2 are determined in advance as ranges corresponding to red.
図４（ｂ）に、図４（ａ）に示した画像Ｉ1から特徴領域を抽出した画像Ｉ2を例示する。図４（ｂ）においてハッチングを付した領域が抽出された特徴領域である。図（ｂ）に示した例では、前走車Ｔのブレーキランプに相当する特徴領域Ａ１，Ａ２と、前走車Ｔのストップランプに相当する特徴領域Ａ３とが抽出されている。 FIG. 4B illustrates an image I 2 obtained by extracting a feature region from the image I 1 illustrated in FIG. In FIG. 4B, hatched areas are extracted feature areas. In the example shown in FIG. 2B, characteristic areas A1 and A2 corresponding to the brake lamp of the preceding vehicle T and a characteristic area A3 corresponding to the stop lamp of the preceding vehicle T are extracted.
次に、ＳＴＥＰ４で、ペアリング手段１３は、抽出した特徴領域から、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合Ａが所定値Ａth以上となる２つの特徴領域の組（第１の特徴領域と第２の特徴領域）を特定する。所定値Ａthは、１台の車両の１対のブレーキランプに相当する２つの特徴領域の組が画像上で取り得る類似の度合の範囲として予め定められる。また、本実施形態のように、自車両１の前方を撮像するようにカメラ２を自車両１に取り付けて、自車両１の前方（正面及び斜め前方）に存在する他車両を認識する場合は、画像のＸ方向，Ｙ方向が、それぞれ実空間（世界座標系）における水平方向，垂直方向に相当している。 Next, in STEP 4, the pairing means 13 is similar to the shape obtained by aligning the extracted feature regions in the horizontal direction on the image, and the shape of one feature region and the other feature region mirror-inverted in the horizontal direction. A set of two feature regions (first feature region and second feature region) in which the degree A is equal to or greater than a predetermined value Ath is specified. The predetermined value Ath is determined in advance as a range of similar degrees that a set of two feature areas corresponding to a pair of brake lamps of one vehicle can take on an image. Moreover, when attaching the camera 2 to the own vehicle 1 so that the front of the own vehicle 1 may be imaged like this embodiment and recognizing the other vehicle which exists in front of the own vehicle 1 (front and diagonally forward), The X and Y directions of the image correspond to the horizontal and vertical directions in real space (world coordinate system), respectively.
図４（ｂ）に示す例では、ペアリング手段１３は、水平方向に並んでいる特徴領域として、画像上の任意の水平線ＬＨについて、水平線ＬＨを含む所定幅Ｗの範囲Ｒに含まれる２つの特徴領域Ａ１，Ａ２を特定する。さらに、ペアリング手段１３は、特徴領域Ａ１の形状と、特徴領域Ａ２を水平方向にミラー反転した形状（図４（ｂ）中のＡ２’）との類似の度合Ａを算出し、この類似の度合Ａが所定値Ａth以上であることから、２つの特徴領域の組として第１，第２特徴領域Ａ１，Ａ２を特定する。 In the example shown in FIG. 4 (b), the pairing means 13, as the feature region are arranged in the horizontal direction, for any horizontal line L H in the image are included in the range R of a predetermined width W including a horizontal line L H Two feature areas A1 and A2 are specified. Further, the pairing means 13 calculates a similarity degree A between the shape of the feature region A1 and the shape (A2 ′ in FIG. 4B) obtained by mirror-inverting the feature region A2 in the horizontal direction. Since the degree A is equal to or greater than the predetermined value Ath , the first and second feature regions A1 and A2 are specified as a set of two feature regions.
これにより、２つの特徴領域の組がｎ個特定される。例えば、図４（ｂ）に示す例では、２つの特徴領域の組（第１の特徴領域Ａ１と第２の特徴領域Ａ２）が１個特定されている。 Thereby, n sets of two feature regions are specified. For example, in the example shown in FIG. 4B, one set of two feature regions (first feature region A1 and second feature region A2) is specified.
次に、特定された各組について、ＳＴＥＰ５〜１０の処理が、それぞれ実行される。なお、以下では、各組の第１の特徴領域をＡ１i、第２の特徴領域をＡ２i（ｉ＝１，．．．，n）で表している。 Next, the processing of STEP 5 to 10 is executed for each identified group. In the following, the first feature region of each set is represented by A1 i , and the second feature region is represented by A2 i (i = 1,..., N).
まず、ＳＴＥＰ５で、判定領域設定手段１４は、第１の特徴領域Ａ１iの第２の特徴領域Ａ２i方向の周辺域（所定距離だけ離れた位置）に、第１の判定領域Ｂ１iを設定すると共に、第２の特徴領域Ａ２iの第１の特徴領域Ａ１i方向の周辺域（同じ所定距離だけ離れた位置）に、第２の判定領域Ｂ２iを設定する。第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとは、第１，第２の特徴領域Ａ１i，Ａ２iの中心線Ｌvに対して線対称の位置になっている。図４（ｃ）の画像Ｉ3に、図４（ｂ）に示した第１，第２の特徴領域Ａ１，Ａ２について設定された第１，第２の判定領域Ｂ１，Ｂ２を示す。図４（ｃ）に示すように、第１，第２の特徴領域Ａ１，Ａ２が前走車Ｔの１対のブレーキランプに相当する場合、第１，第２の判定領域Ｂ１，Ｂ２は、前走車Ｔのブレーキランプ周辺の車体部分に相当する。 First, in STEP 5, the determination area setting unit 14 sets the first determination area B1 i in the peripheral area (position separated by a predetermined distance) in the second feature area A2 i direction of the first feature area A1 i . At the same time, the second determination region B2 i is set in the peripheral region in the direction of the first feature region A1 i of the second feature region A2 i (position separated by the same predetermined distance). The first determination area B1 i and the second determination area B2 i are in a line-symmetric position with respect to the center line L v of the first and second feature areas A1 i and A2 i . The image I 3 in FIG. 4C shows the first and second determination regions B1 and B2 set for the first and second feature regions A1 and A2 shown in FIG. 4B. As shown in FIG. 4C, when the first and second characteristic areas A1 and A2 correspond to a pair of brake lamps of the preceding vehicle T, the first and second determination areas B1 and B2 are: This corresponds to the body part around the brake lamp of the preceding vehicle T.
次に、ＳＴＥＰ６で、特徴領域判定手段１５は、ＳＴＥＰ１で取得したカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から画素の輝度値Ｙを算出して、第１の判定領域Ｂ１iの輝度値の平均と第２の判定領域Ｂ２iの輝度値の平均との差ΔＹを算出する。詳細には、特徴領域判定手段１５は、取得されたカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、Ｙ＝α×Ｒ＋β×Ｇ＋γ×Ｂにより画素の輝度値Ｙを算出する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。なお、特徴領域判定手段１５は、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値MAX、最小値MINを用いて、Ｙ＝（MAX＋MIN）／２により算出してもよい。または、輝度値ＹとしてＧ値を用いるものとしてもよい。 Next, in STEP 6, the feature area determination unit 15 calculates the luminance value Y of the pixel from the color components (R, G, B) of the pixel of the color image acquired in STEP 1, and stores the luminance value Y of the first determination area B 1 i . A difference ΔY between the average of the luminance values and the average of the luminance values of the second determination region B2 i is calculated. Specifically, the feature area determination unit 15 calculates the luminance value Y of the pixel by Y = α × R + β × G + γ × B from the color components (R, G, B) of the pixel of the acquired color image. However, α, β, and γ are predetermined coefficients such that α + β + γ = 1. Note that the feature region determination unit 15 may calculate the luminance value Y by using Y = (MAX + MIN) / 2 by using the maximum value MAX and the minimum value MIN among the R value, G value, and B value. Alternatively, the G value may be used as the luminance value Y.
次に、ＳＴＥＰ７で、特徴領域判定手段１５は、算出した輝度値の平均の差ΔＹが所定値ΔＹth以下であるか否かを判断する。ＳＴＥＰ７の判断結果がＹＥＳ（輝度値の平均の差ΔＹが所定値ΔＹth以下である）の場合は、第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとの相関が高く、第１，第２の判定領域Ｂ１i，Ｂ２iが、同じ車両の車体部分に相当していると判断できる。よって、第１，第２の特徴領域Ａ１i，Ａ２iが同じ車両の１対のブレーキランプに相当すると考えられる。この場合、ＳＴＥＰ８に進み、特徴領域判定手段１５は、画像座標系における第１，第２の特徴領域Ａ１i，Ａ２iの中心座標Ｐiを算出する。この中心座標Ｐiは、他車両の重心座標に相当する。図４（ｃ）に示す例では、第１，第２の特徴領域Ａ１，Ａ２から、前走車Ｔの重心座標に相当する中心座標Ｐ1が算出される。 Next, in STEP 7, the feature area determination unit 15 determines whether or not the average difference ΔY of the calculated luminance values is equal to or less than a predetermined value ΔY th . When the determination result in STEP 7 is YES (the average difference ΔY in luminance values is equal to or less than the predetermined value ΔY th ), the correlation between the first determination area B1 i and the second determination area B2 i is high, and the first , Second determination areas B1 i , B2 i can be determined to correspond to the vehicle body portion of the same vehicle. Therefore, it can be considered that the first and second feature areas A1 i and A2 i correspond to a pair of brake lamps of the same vehicle. In this case, proceeding to STEP 8, the feature area determination means 15 calculates the center coordinates P i of the first and second feature areas A1 i and A2 i in the image coordinate system. The center coordinates P i corresponds to the barycentric coordinates of the other vehicle. In the example shown in FIG. 4C, center coordinates P 1 corresponding to the barycentric coordinates of the preceding vehicle T are calculated from the first and second feature areas A1 and A2.
次に、ＳＴＥＰ９で、特徴領域判定手段１５は、中心座標Ｐiを世界座標系に座標変換する。詳細には、カメラ２の焦点距離や画素間隔等のカメラパラメータや、画像上での第１，第２の特徴領域Ａ１i，Ａ２iの大きさと実空間上でのブレーキランプが取り得る大きさとから推定される他車両の自車両１に対する距離に基いて座標変換される。これにより、ＳＴＥＰ１０で、車両認識装置１０により、他車両の自車両１に対する相対位置が取得され、他車両が認識される。 Next, in STEP 9, the feature area determination means 15 performs coordinate conversion of the center coordinates P i into the world coordinate system. Specifically, the camera parameters such as the focal length and pixel interval of the camera 2, the size of the first and second feature areas A1 i and A2 i on the image, and the size that the brake lamp can take in the real space The coordinates are converted based on the distance of the other vehicle to the host vehicle 1 estimated from the above. Thereby, in STEP10, the relative position with respect to the own vehicle 1 of another vehicle is acquired by the vehicle recognition apparatus 10, and the other vehicle is recognized.
一方、ＳＴＥＰ７の判断結果がＮＯ（輝度値の平均の差ΔＹが所定値ΔＹth以下でない）の場合は、第１の判定領域Ｂ１iと第２の判定領域Ｂ２iとの相関が低く、第１，第２の特徴領域Ａ１i，Ａ２iが同じ車両の１対のブレーキランプに相当しないと考えられる。この場合はＳＴＥＰ５に戻り、次の組についてＳＴＥＰ５〜１０の処理が行われる。 On the other hand, when the determination result in STEP 7 is NO (the average difference ΔY in luminance values is not equal to or less than the predetermined value ΔY th ), the correlation between the first determination region B1 i and the second determination region B2 i is low, It is considered that the first and second feature areas A1 i and A2 i do not correspond to a pair of brake lamps of the same vehicle. In this case, the process returns to STEP 5 and the processing of STEPs 5 to 10 is performed for the next group.
上述のＳＴＥＰ５〜１０の処理を各組について実行することにより、複数の他車両が存在する場合に、それぞれの他車両の１対のブレーキランプに相当する２つの特徴領域の組を特定して、それぞれの他車両の自車両１に対する相対位置を取得することができる。 When a plurality of other vehicles are present by executing the above-described processing of STEP 5 to 10 for each group, a set of two feature regions corresponding to a pair of brake lamps of each other vehicle is specified, The relative position of each other vehicle with respect to the host vehicle 1 can be acquired.
以上が、本実施形態の車両認識装置１０における車両認識処理である。本実施形態によれば、周辺に複数の車両が存在する場合でも、画像に撮像された複数の車両を区別して、車両を適切に認識することができる。 The above is the vehicle recognition process in the vehicle recognition apparatus 10 of this embodiment. According to this embodiment, even when there are a plurality of vehicles in the vicinity, the plurality of vehicles captured in the image can be distinguished and the vehicle can be appropriately recognized.
なお、本実施形態では、特徴領域抽出手段１２は、特定色として赤色を用いたが、他の実施形態として、赤色以外の特定色（例えば黄色等）を用いてもよい。また、特徴領域抽出手段１２は、色相・彩度を用いて特徴領域を抽出するものとしたが、色相・彩度以外の値を用いてもよい。 In the present embodiment, the feature region extraction unit 12 uses red as the specific color. However, as another embodiment, a specific color other than red (for example, yellow) may be used. Further, the feature region extraction unit 12 extracts the feature region using the hue / saturation, but values other than the hue / saturation may be used.
また、本実施形態では、特徴領域抽出手段１２は、特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域（特定色領域）を抽出するものとしたが、他の実施形態として、輝度値が所定値以上となる画素からなる領域（高輝度領域）を抽出するものとしてもよい。 In the present embodiment, the feature region extraction unit 12 extracts a region (specific color region) composed of pixels in which the color component is in a range corresponding to a specific color as the feature region. As an example, a region (high luminance region) composed of pixels having a luminance value equal to or higher than a predetermined value may be extracted.
また、本実施形態では、ペアリング手段１３は、抽出した特徴領域から、画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる２つの特徴領域の組を特定するものとしたが、他の実施形態として、形状を用いずに、画像上で水平方向に並ぶ２つの特徴領域の組を特定するものとしてもよい。 Further, in the present embodiment, the pairing means 13 is similar to the shape obtained by aligning the extracted feature regions in the horizontal direction on the image, and the shape of one feature region and the other feature region mirror-inverted in the horizontal direction. The combination of two feature areas whose degree is greater than or equal to a predetermined value is specified. However, as another embodiment, a set of two feature areas arranged in the horizontal direction on the image is specified without using a shape. It may be a thing.
また、本実施形態では、判定領域設定手段１４は、第１及び第２の特徴領域の中心線方向の周辺域に第１及び第２の判定領域を設定するものとしたが、他の実施形態として、第１及び第２の特徴領域の上下の周辺域に第１及び第２の判定領域を設定するものとしてもよい。 In the present embodiment, the determination area setting unit 14 sets the first and second determination areas in the peripheral area in the center line direction of the first and second feature areas. The first and second determination areas may be set in the upper and lower peripheral areas of the first and second feature areas.
また、本実施形態では、特徴領域判定手段１５は、第１及び第２の判定領域の輝度値の平均の差が所定値以下である場合に、第１及び第２の判定領域の相関の度合が高いと判定するものとしたが、他の手法により相関の度合を判定するものとしてもよい。また、特徴領域判定手段１５は、例えば色相・彩度などの、輝度値以外の値を用いて、第１及び第２の判定領域の相関の度合を判定するものとしてもよい。 In the present embodiment, the feature region determination unit 15 determines the degree of correlation between the first and second determination regions when the average difference between the luminance values of the first and second determination regions is equal to or less than a predetermined value. However, it is also possible to determine the degree of correlation by another method. The feature area determination unit 15 may determine the degree of correlation between the first and second determination areas using a value other than the luminance value, such as hue and saturation.
また、本実施形態では、カメラ２を介してカラー画像を取得するものとしたが、画素データが輝度値で構成されるグレースケール画像を取得するものとしてもよい。この場合、特徴領域抽出手段１２は輝度値を用いて特徴領域を抽出し、特徴領域判定手段１５は輝度値を用いて第１及び第２の判定領域の相関の度合を判定する。 In the present embodiment, a color image is acquired via the camera 2, but a grayscale image in which pixel data is composed of luminance values may be acquired. In this case, the feature region extraction unit 12 extracts the feature region using the luminance value, and the feature region determination unit 15 determines the degree of correlation between the first and second determination regions using the luminance value.
また、本実施形態において、画像取得手段２は、画素データのカラー成分がＲ値、Ｇ値、Ｂ値で構成されるものとしたが、画素データのカラー成分として、例えばＣＭＹ出力等を用いるものとしてもよい。 In the present embodiment, the image acquisition unit 2 is configured such that the color component of the pixel data is composed of the R value, the G value, and the B value. However, as the color component of the pixel data, for example, a CMY output or the like is used. It is good.
また、本実施形態において、カメラ２により自車両１の前方を撮像し、車両認識装置１０は自車両１の前方の他車両を認識するものとしたが、他の実施形態として、カメラにより自車両１の後方を撮像し、車両認識装置１０は、車両の１対のヘッドランプを車両の特徴的な部分として、自車両１の後方の他車両を認識するものとしてもよい。 In the present embodiment, the front of the host vehicle 1 is imaged by the camera 2 and the vehicle recognition device 10 recognizes the other vehicle in front of the host vehicle 1. The vehicle recognition device 10 may recognize other vehicles behind the host vehicle 1 using a pair of headlamps of the vehicle as a characteristic part of the vehicle.
また、他の実施形態として、自車両１に物体を検知するレーダ（例えばミリ波レーダ、超音波レーダ、レーザレーダ等）を備え、このレーダの検知結果として得られる物体の位置情報を、画像から認識される他車両と対応付けることで、他車両と自車両との相対位置を取得するものとしてもよい。 As another embodiment, the host vehicle 1 includes a radar (for example, a millimeter wave radar, an ultrasonic radar, a laser radar, or the like) that detects an object, and the position information of the object obtained as a detection result of the radar is obtained from an image. It is good also as what acquires the relative position of an other vehicle and the own vehicle by matching with the recognized other vehicle.
１…車両（自車両）、２…カメラ（撮像手段）、１０…車両認識装置、１１…画像取得手段、１２…特徴領域抽出手段、１３…ペアリング手段、１４…判定領域設定手段、１５…特徴領域判定手段、２０…ＥＣＵ。 DESCRIPTION OF SYMBOLS 1 ... Vehicle (own vehicle), 2 ... Camera (imaging means), 10 ... Vehicle recognition apparatus, 11 ... Image acquisition means, 12 ... Feature area extraction means, 13 ... Pairing means, 14 ... Determination area setting means, 15 ... Feature area determination means, 20... ECU.
Claims (7)
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段と
を備えることを特徴とする車両認識装置。 In the vehicle recognition device for recognizing other vehicles existing in the vicinity based on the image acquired through the imaging means mounted on the host vehicle,
A feature area extracting means for extracting, as a feature area, an area composed of pixels having a pixel value within a predetermined range from the image acquired via the imaging means;
Pairing means for specifying a first feature area and a second feature area arranged in a horizontal direction on the image among the feature areas extracted by the feature area extraction means;
For the first feature region identified by the pairing means, a first determination region is set above and below the first feature region or in a peripheral region in the direction of the second feature region, and the second feature region A determination region setting means for setting a second determination region at a position symmetrical to the first determination region with respect to the center line of the first and second feature regions with respect to the feature region;
Feature region determination means for determining that the first and second feature regions are image portions of one other vehicle when the degree of correlation between the first determination region and the second determination region is high. A vehicle recognition device comprising:
前記特徴領域抽出手段は、前記特徴領域として、輝度値が所定値以上となる画素からなる領域を抽出することを特徴とする車両認識装置。 The vehicle recognition device according to claim 1,
The vehicle feature recognition apparatus, wherein the feature region extraction unit extracts a region composed of pixels having a luminance value equal to or greater than a predetermined value as the feature region.
前記撮像手段を介して取得された画像はカラー画像であり、
前記特徴領域抽出手段は、前記特徴領域として、カラー成分が特定色に対応する範囲となる画素からなる領域を抽出することを特徴とする車両認識装置。 The vehicle recognition device according to claim 1,
The image acquired through the imaging means is a color image,
The vehicle feature recognition apparatus, wherein the feature region extraction unit extracts a region composed of pixels whose color components correspond to a specific color as the feature region.
前記ペアリング手段は、前記特徴領域のうち、前記画像上で水平方向に並び、且つ一方の特徴領域の形状と他方の特徴領域を水平方向にミラー反転した形状との類似の度合が所定値以上となる第１の特徴領域と第２の特徴領域とを特定することを特徴とする車両認識装置。 In the vehicle recognition device according to any one of claims 1 to 3,
The pairing means has a predetermined degree of similarity between the shape of one of the feature regions arranged in the horizontal direction on the image and a shape obtained by mirror-inverting the other feature region in the horizontal direction. A vehicle recognition apparatus that identifies a first feature region and a second feature region.
前記特徴領域判定手段は、前記第１の判定領域の画素値の平均と前記第２の判定領域の画素値の平均との差が所定値以下である場合に、該第１及び第２の判定領域の相関の度合が高いと判定することを特徴とする車両認識装置。 In the vehicle recognition device according to any one of claims 1 to 4,
The feature region determination means determines the first and second determinations when a difference between an average pixel value of the first determination region and an average pixel value of the second determination region is equal to or less than a predetermined value. It is determined that the degree of correlation between regions is high.
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング手段と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定手段と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定手段とを備えたことを特徴とする車両。 A vehicle including an imaging unit and having a function of recognizing other vehicles existing in the vicinity based on an image acquired through the imaging unit;
A feature area extracting means for extracting, as a feature area, an area composed of pixels having a pixel value within a predetermined range from the image acquired via the imaging means;
Pairing means for specifying a first feature area and a second feature area arranged in a horizontal direction on the image among the feature areas extracted by the feature area extraction means;
For the first feature region identified by the pairing means, a first determination region is set above and below the first feature region or in a peripheral region in the direction of the second feature region, and the second feature region A determination region setting means for setting a second determination region at a position symmetrical to the first determination region with respect to the center line of the first and second feature regions with respect to the feature region;
Feature region determination means for determining that the first and second feature regions are image portions of one other vehicle when the degree of correlation between the first determination region and the second determination region is high. A vehicle characterized by comprising:
前記撮像手段を介して取得された画像から、画素値が所定範囲となる画素からなる領域を特徴領域として抽出する特徴領域抽出処理と、
前記特徴領域抽出処理により抽出された特徴領域のうち、前記画像上で水平方向に並んでいる第１の特徴領域と第２の特徴領域とを特定するペアリング処理と、
前記ペアリング手段により特定された前記第１の特徴領域について、該第１の特徴領域の上下又は前記第２の特徴領域方向の周辺域で第１の判定領域を設定すると共に、該第２の特徴領域について、該第１及び第２の特徴領域の中心線に対して該第１の判定領域と線対称の位置に第２の判定領域を設定する判定領域設定処理と、
前記第１の判定領域と第２の判定領域との相関の度合が高い場合に、該第１及び第２の特徴領域が１台の他の車両の画像部分であると判定する特徴領域判定処理と
を前記コンピュータに実行させる機能を有することを特徴とする車両認識用プログラム。 A vehicle recognition program for causing a computer to execute a process of recognizing other vehicles existing in the vicinity based on an image acquired via an imaging unit mounted on the host vehicle,
A feature region extraction process for extracting, as a feature region, a region composed of pixels having a pixel value within a predetermined range from an image acquired via the imaging means;
A pairing process for identifying a first feature area and a second feature area arranged in a horizontal direction on the image among the feature areas extracted by the feature area extraction process;
For the first feature region specified by the pairing means, a first determination region is set above and below the first feature region or a peripheral region in the direction of the second feature region, and the second feature region A determination region setting process for setting a second determination region at a position symmetrical to the first determination region with respect to the center line of the first and second feature regions with respect to the feature region;
A feature region determination process for determining that the first and second feature regions are image portions of one other vehicle when the degree of correlation between the first determination region and the second determination region is high. A program for recognizing the vehicle to execute the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008076161A JP5166933B2 (en) | 2008-03-24 | 2008-03-24 | Vehicle recognition device and vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008076161A JP5166933B2 (en) | 2008-03-24 | 2008-03-24 | Vehicle recognition device and vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009230530A true JP2009230530A (en) | 2009-10-08 |
| JP5166933B2 JP5166933B2 (en) | 2013-03-21 |
Family
ID=41245833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008076161A Active JP5166933B2 (en) | 2008-03-24 | 2008-03-24 | Vehicle recognition device and vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5166933B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011086807A1 (en) * | 2010-01-14 | 2011-07-21 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP2012222533A (en) * | 2011-04-07 | 2012-11-12 | Hitachi Automotive Systems Ltd | Image processing apparatus |
| JP2013186902A (en) * | 2012-03-07 | 2013-09-19 | Ricoh Co Ltd | Vehicle detection method and apparatus |
| JP2013244890A (en) * | 2012-05-28 | 2013-12-09 | Denso Corp | Vehicle light source detection device and vehicle light source detection program |
| US20150310286A1 (en) * | 2014-04-24 | 2015-10-29 | Honda Motor Co., Ltd. | Vehicle recognition device |
| JP2022140444A (en) * | 2020-07-14 | 2022-09-26 | 株式会社ニコン | Operation assistance device and vehicle equipped with operation assistance device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62121599A (en) * | 1985-11-22 | 1987-06-02 | 株式会社デンソー | Recognition equipment for alarm lamp of vehicle ahead |
| JPH08166221A (en) * | 1994-12-15 | 1996-06-25 | Nippondenso Co Ltd | Vehicle recognizing device for night |
| JPH08241500A (en) * | 1995-03-07 | 1996-09-17 | Hitachi Ltd | Front vehicle recognition device and alarm device on vehicle |
| JP2000039306A (en) * | 1998-07-22 | 2000-02-08 | Nec Corp | Device and method for vehicle system area detection |
| JP2002358595A (en) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | Instrument and method for measuring road traffic stream |
| JP2006164193A (en) * | 2004-12-10 | 2006-06-22 | Fujitsu Ltd | Specific portion extraction program |
-
2008
- 2008-03-24 JP JP2008076161A patent/JP5166933B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62121599A (en) * | 1985-11-22 | 1987-06-02 | 株式会社デンソー | Recognition equipment for alarm lamp of vehicle ahead |
| JPH08166221A (en) * | 1994-12-15 | 1996-06-25 | Nippondenso Co Ltd | Vehicle recognizing device for night |
| JPH08241500A (en) * | 1995-03-07 | 1996-09-17 | Hitachi Ltd | Front vehicle recognition device and alarm device on vehicle |
| JP2000039306A (en) * | 1998-07-22 | 2000-02-08 | Nec Corp | Device and method for vehicle system area detection |
| JP2002358595A (en) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | Instrument and method for measuring road traffic stream |
| JP2006164193A (en) * | 2004-12-10 | 2006-06-22 | Fujitsu Ltd | Specific portion extraction program |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5480917B2 (en) * | 2010-01-14 | 2014-04-23 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US8994824B2 (en) | 2010-01-14 | 2015-03-31 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
| JPWO2011086807A1 (en) * | 2010-01-14 | 2013-05-16 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| CN102713988B (en) * | 2010-01-14 | 2015-02-25 | 本田技研工业株式会社 | Vehicle periphery monitoring device |
| WO2011086807A1 (en) * | 2010-01-14 | 2011-07-21 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| CN102713988A (en) * | 2010-01-14 | 2012-10-03 | 本田技研工业株式会社 | Vehicle periphery monitoring device |
| JP2012222533A (en) * | 2011-04-07 | 2012-11-12 | Hitachi Automotive Systems Ltd | Image processing apparatus |
| JP2013186902A (en) * | 2012-03-07 | 2013-09-19 | Ricoh Co Ltd | Vehicle detection method and apparatus |
| JP2013244890A (en) * | 2012-05-28 | 2013-12-09 | Denso Corp | Vehicle light source detection device and vehicle light source detection program |
| US20150310286A1 (en) * | 2014-04-24 | 2015-10-29 | Honda Motor Co., Ltd. | Vehicle recognition device |
| CN105046964A (en) * | 2014-04-24 | 2015-11-11 | 本田技研工业株式会社 | Vehicle recognition device |
| DE102015207443A1 (en) | 2014-04-24 | 2015-11-12 | Honda Motor Co., Ltd. | Vehicle detection device |
| US9336449B2 (en) | 2014-04-24 | 2016-05-10 | Honda Motor Co., Ltd. | Vehicle recognition device |
| DE102015207443B4 (en) | 2014-04-24 | 2022-03-03 | Honda Motor Co., Ltd. | vehicle detection device |
| JP2022140444A (en) * | 2020-07-14 | 2022-09-26 | 株式会社ニコン | Operation assistance device and vehicle equipped with operation assistance device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5166933B2 (en) | 2013-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5529910B2 (en) | Vehicle periphery monitoring device | |
| US10142595B2 (en) | Driving assistance device and method of detecting vehicle adjacent thereto | |
| EP2234086A1 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP5774770B2 (en) | Vehicle periphery monitoring device | |
| US8867788B2 (en) | Vehicle periphery monitoring device | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| JP2007156626A (en) | Object type determination device and object type determination method | |
| JP5760090B2 (en) | Biological recognition device | |
| JP5166933B2 (en) | Vehicle recognition device and vehicle | |
| JP5401257B2 (en) | Far-infrared pedestrian detection device | |
| JP6068833B2 (en) | Car color detector | |
| JP2009298344A (en) | Apparatus and program for determining lights of vehicle | |
| JP6375911B2 (en) | Curve mirror detector | |
| JP5502149B2 (en) | Vehicle periphery monitoring device | |
| JP2018106239A (en) | Image processing apparatus, image processing method and image processing program | |
| JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP2008046947A (en) | Surrounding monitoring system | |
| US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
| JP2010092429A (en) | Vehicle surrounding monitoring device | |
| JP4627305B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle periphery monitoring program | |
| JP2008158673A (en) | Lane marking recognition device | |
| JP2013171390A (en) | Driving support device | |
| JP2012118929A (en) | Outside environment determination device and outside environment determination program | |
| US20180181821A1 (en) | Recognition device | |
| JP5907849B2 (en) | Vehicle periphery monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120926 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5166933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |