JP2010160770A - Pedestrian detection device - Google Patents
Pedestrian detection device Download PDFInfo
- Publication number
- JP2010160770A JP2010160770A JP2009004159A JP2009004159A JP2010160770A JP 2010160770 A JP2010160770 A JP 2010160770A JP 2009004159 A JP2009004159 A JP 2009004159A JP 2009004159 A JP2009004159 A JP 2009004159A JP 2010160770 A JP2010160770 A JP 2010160770A
- Authority
- JP
- Japan
- Prior art keywords
- candidate area
- pedestrian
- pedestrian candidate
- image
- extraction image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、車両の周辺に存在する歩行者を検出する歩行者検出装置に関する。 The present invention relates to a pedestrian detection device that detects a pedestrian existing around a vehicle.
従来、例えば特許文献1に記載の歩行者検出装置が知られている。この文献に記載の技術では、投光器から周辺(前方)に照射された近赤外光に対する対象物からの反射光を赤外線カメラにより捉え、その赤外線画像を周辺監視コントロールユニットで画像処理し、閾値を超える高輝度領域を抽出する。抽出された高輝度領域の縦横比が所定の範囲に入っているものを歩行者候補領域として抽出し、さらに歩行者候補領域の画像の輝度平均値及び輝度分散値を算出し、それに基づいて構造物と判定した歩行者候補領域を除外し、残りを歩行者領域とする。 Conventionally, for example, a pedestrian detection device described in Patent Document 1 is known. In the technique described in this document, reflected light from an object with respect to near-infrared light irradiated to the periphery (front) from a projector is captured by an infrared camera, the infrared image is image-processed by a periphery monitoring control unit, and a threshold value is set. Extract the high brightness area that exceeds. The extracted high luminance area whose aspect ratio is within a predetermined range is extracted as a pedestrian candidate area, and the luminance average value and luminance variance value of the image of the pedestrian candidate area are calculated, and the structure is based thereon The candidate pedestrian area determined as an object is excluded, and the rest is set as a pedestrian area.
ところで、上記従来技術では、輝度平均値が高く且つ輝度分散値が低い歩行者候補領域は、歩行者が撮像された歩行者候補領域ではないと仮定しているが、この仮定が成立しない場合がある。 By the way, in the above prior art, it is assumed that a pedestrian candidate area having a high luminance average value and a low luminance variance value is not a pedestrian candidate area in which a pedestrian is imaged, but this assumption may not be satisfied. is there.
詳しくは、道路には、反射板(電柱標識防護板)を備える電柱が設置されており、この電柱の反射板には赤外線を反射しやすい表面処理が施されることが多い。そのため、赤外線カメラにて撮像される赤外線画像では、反射板を備える電柱が撮像された歩行者候補領域の輝度平均値が高くなる。また、電柱の反射板にはストライプ状の模様が施されることが多く、特に電柱との距離が近い場合にあっては、赤外線カメラはこのストライプ状の模様まで捉えることが可能である。ストライプ状の模様を捉えることが可能であるため、赤外線カメラにて撮像される赤外線画像では、反射板を備える電柱が撮像された歩行者候補領域の輝度分散値は高くなる。したがって、反射板を備える電柱が撮像された歩行者候補領域を除外することができなくなってしまう。除外することができないと、反射板を備える電柱を歩行者として誤検出してしまうことも起こり得る。 Specifically, a power pole having a reflector (electric pole sign guard plate) is installed on the road, and the reflector of the utility pole is often subjected to a surface treatment that easily reflects infrared rays. For this reason, in the infrared image captured by the infrared camera, the average luminance value of the pedestrian candidate area where the utility pole including the reflector is captured is high. Further, the reflector of the utility pole is often provided with a striped pattern. Especially when the distance from the utility pole is short, the infrared camera can capture even the striped pattern. Since it is possible to capture a striped pattern, in the infrared image captured by the infrared camera, the luminance dispersion value of the pedestrian candidate region where the utility pole including the reflector is captured is high. Therefore, it becomes impossible to exclude a pedestrian candidate area in which a utility pole including a reflector is imaged. If it cannot be excluded, it may happen that a utility pole with a reflector is erroneously detected as a pedestrian.
一方、例えば歩行者が赤外線を強く反射する服装をしている場合や、歩行者と赤外線カメラとの距離が近距離である場合、歩行者が撮像された歩行者候補領域の輝度平均値は高く、且つ、その輝度分散値は低くなることがある。このような場合にあっては、歩行者が撮像された歩行者候補領域を除外してしまう。除外してしまうと、歩行者を未検出してしまうことも起こり得る。 On the other hand, for example, when the pedestrian is dressed to strongly reflect infrared rays, or when the distance between the pedestrian and the infrared camera is short, the average luminance value of the pedestrian candidate area where the pedestrian is imaged is high. In addition, the luminance dispersion value may be low. In such a case, the pedestrian candidate area where the pedestrian is imaged is excluded. If excluded, a pedestrian may not be detected.
本発明は、上記実情に鑑みてなされたものであって、その第1の目的は、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることのできる歩行者検出装置を提供することにある。 This invention is made | formed in view of the said situation, The 1st objective provides the pedestrian detection apparatus which can aim at generation | occurrence | production suppression of the false detection which detects the utility pole provided with a reflecting plate as a pedestrian. There is to do.
本発明は、上記実情に鑑みてなされたものであって、その第2の目的は、歩行者を検出しない未検出の発生抑制を図ることのできる歩行者検出装置を提供することにある。 This invention is made | formed in view of the said situation, The 2nd objective is to provide the pedestrian detection apparatus which can aim at the undetected generation | occurrence | production suppression which does not detect a pedestrian.
第1の目的を達成するため、請求項1に記載の発明では、車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする。 In order to achieve the first object, according to the first aspect of the present invention, an image obtained by extracting a high-brightness region having a luminance equal to or higher than a predetermined luminance from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle. An image obtained by extracting a pedestrian candidate region from the high-intensity region extraction image based on an aspect ratio of a circumscribed rectangle circumscribing the high-intensity region, and high-intensity region extraction image generation means for generating a certain high-intensity region extraction image Based on the pedestrian candidate area extraction image generation means for generating a certain pedestrian candidate area extraction image and the edge direction included in the pedestrian candidate area, the pedestrian candidate area is determined to be a pedestrian candidate area imaged. A pedestrian candidate area is excluded from the pedestrian candidate area extraction image, and a pedestrian candidate area in which the utility pole reflector is imaged by the utility pole reflector exclusion means is excluded. The on the basis of the pedestrian candidate region extraction image after, characterized in that it comprises a pedestrian detection means for detecting a pedestrian existing around the vehicle.
電柱の反射板にはストライプ状の模様が施されることが多いことは既述した通りであり、このストライプ状の模様は、近距離にて撮像された画像においてエッジとして検出することが可能である。そのため、歩行者候補領域に含まれるエッジ方向に基づいて、歩行者候補領域が電柱の反射板が撮像された歩行者候補領域であるか否かを判定することが可能である。歩行者検出装置としての上記構成では、歩行者候補領域に含まれるエッジ方向に基づいて、歩行者候補領域が電柱反射板が撮像された歩行者候補領域であるか否かが判定され、歩行者候補領域が電柱反射板が撮像された歩行者候補領域であると判定されると、その歩行者候補領域は歩行者候補領域抽出画像から除外される。そして、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者が検出される。このように、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づき車両の周辺に存在する歩行者が検出されるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。 As described above, the reflector of the utility pole is often provided with a striped pattern, and this striped pattern can be detected as an edge in an image captured at a short distance. is there. Therefore, based on the edge direction included in the pedestrian candidate area, it is possible to determine whether the pedestrian candidate area is a pedestrian candidate area in which the reflector of the utility pole is imaged. In the above configuration as the pedestrian detection device, it is determined whether or not the pedestrian candidate area is a pedestrian candidate area obtained by imaging the utility pole reflector based on the edge direction included in the pedestrian candidate area. If it is determined that the candidate area is a pedestrian candidate area in which the utility pole reflector is imaged, the pedestrian candidate area is excluded from the pedestrian candidate area extraction image. And the pedestrian who exists in the periphery of a vehicle is detected based on the pedestrian candidate area | region extraction image after the pedestrian candidate area | region where the utility pole reflector was imaged was excluded. In this way, since a pedestrian existing around the vehicle is detected based on the pedestrian candidate area extraction image after the pedestrian candidate area in which the utility pole reflector is imaged is excluded, the electric pole provided with the reflector is walked. Occurrence of erroneous detection detected as a person can be achieved.
また、上記第1の目的を達成するため、請求項2に記載の発明では、車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする。 In order to achieve the first object, in the invention described in claim 2, a high-luminance region having a luminance equal to or higher than a predetermined luminance is extracted from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle. A high-brightness region extraction image generation unit that generates a high-brightness region extraction image, and a pedestrian candidate region is extracted from the high-brightness region extraction image based on an aspect ratio of a circumscribed rectangle circumscribing the high-brightness region A pedestrian candidate area extraction image generating means for generating a pedestrian candidate area extraction image that is an image that has been processed, and a labeling density that is a ratio of the area of the pedestrian candidate area to the area of a circumscribed rectangle of the pedestrian candidate area A pedestrian candidate area determined to be a pedestrian candidate area in which the utility pole reflector is imaged, and a utility pole reflector exclusion means for excluding the pedestrian candidate area extraction image; Pedestrian detection means for detecting pedestrians present in the vicinity of the vehicle based on the pedestrian candidate area extraction image after the pedestrian candidate area in which the utility pole reflector is imaged by the board exclusion means is excluded. It is characterized by providing.
一般に、歩行者候補領域の外接矩形の面積は、歩行者候補領域の面積と同一あるいは大きくなるため、歩行者候補領域の外接矩形の面積に対する歩行者候補領域の面積の割合であるラベリング密度は「1」以下となる。しかしながら、歩行者が撮像された歩行者候補領域である場合、歩行者は凹凸を多く有するため、そのラベリング密度は「1」よりも小さな値となる。一方、電柱の反射板が撮像された歩行者候補領域である場合、電柱の反射板は凹凸をほとんど有さないため、そのラベリング密度は「1」に近い値となる。歩行者候補領域のラベリング密度にはこうした傾向があるため、歩行者候補領域のラベリング密度に基づいて、電柱の反射板が撮像された歩行者候補領域であるか否かを判定することが可能である。歩行者検出装置としての上記構成では、こうした歩行者候補領域のラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であるか否かが判定され、電柱反射板が撮像された歩行者候補領域であると判定されると、その歩行者候補領域が歩行者候補領域抽出画像から除外される。そして、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者が検出される。このように、電柱反射板が撮像された歩行者候補領域が除外された後の歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者が検出されるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。 In general, since the circumscribed rectangle area of the pedestrian candidate area is the same as or larger than the area of the pedestrian candidate area, the labeling density that is the ratio of the area of the pedestrian candidate area to the circumscribed rectangle area of the pedestrian candidate area is “ 1 "or less. However, when the pedestrian is a pedestrian candidate area where the pedestrian is imaged, the pedestrian has a lot of unevenness, and thus the labeling density is a value smaller than “1”. On the other hand, in the case of a pedestrian candidate area in which the reflector of the utility pole is imaged, the reflector of the utility pole has almost no unevenness, and thus its labeling density is a value close to “1”. Since the labeling density of the pedestrian candidate area has such a tendency, it is possible to determine whether or not the pedestrian candidate area is an imaged image of the reflector of the utility pole based on the labeling density of the pedestrian candidate area. is there. In the above configuration as the pedestrian detection device, based on the labeling density of such a pedestrian candidate area, it is determined whether or not it is a pedestrian candidate area in which the utility pole reflector is imaged, and the walking in which the utility pole reflector is imaged. If it is determined that the area is a pedestrian candidate area, the pedestrian candidate area is excluded from the pedestrian candidate area extracted image. And the pedestrian who exists in the periphery of a vehicle is detected based on the pedestrian candidate area | region extraction image after the pedestrian candidate area | region where the utility pole reflector was imaged was excluded. Thus, since a pedestrian existing in the vicinity of the vehicle is detected based on the pedestrian candidate area extraction image after the pedestrian candidate area in which the utility pole reflector is imaged is excluded, the utility pole provided with the reflector It is possible to suppress the occurrence of false detection of detecting a pedestrian as a pedestrian.
また、上記第1の目的を達成するため、請求項3に記載の発明では、車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から、所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする。 In order to achieve the first object, in the invention according to claim 3, a high-luminance region having a luminance equal to or higher than a predetermined luminance is extracted from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle. A high-brightness region extraction image generation unit that generates a high-brightness region extraction image, and a pedestrian candidate region is extracted from the high-brightness region extraction image based on an aspect ratio of a circumscribed rectangle circumscribing the high-brightness region A pedestrian candidate area extraction image generating means for generating a pedestrian candidate area extraction image that is a pedestrian candidate area, and a pedestrian candidate area in which a utility pole reflector is imaged based on an edge direction included in the pedestrian candidate area The utility pole reflector exclusion means for excluding the determined pedestrian candidate area from the pedestrian candidate area extraction image, and the area of the pedestrian candidate area relative to the circumscribed rectangle area of the pedestrian candidate area Based on the labeling density that is a ratio, a pedestrian candidate area that is determined to be a pedestrian candidate area in which a utility pole reflector has been imaged, is excluded from the pedestrian candidate area extraction image; Pedestrian detection means for detecting pedestrians present in the vicinity of the vehicle based on the pedestrian candidate area extraction image after the pedestrian candidate area from which the utility pole reflector is imaged is excluded by the utility pole reflector exclusion means. It is characterized by providing.
歩行者検出装置としてのこのような構成によれば、上記請求項1に記載の構成及び上記請求項2に記載の構成を併用することになるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制をよりいっそう図ることができるようになる。 According to such a configuration as the pedestrian detection device, the configuration according to claim 1 and the configuration according to claim 2 are used in combination, so that a utility pole having a reflector is detected as a pedestrian. It becomes possible to further suppress the occurrence of erroneous detection.
ところで、電柱の反射板が撮像された歩行者候補領域であるか否かについて、その歩行者候補領域に含まれるエッジ方向に基づいて判定する判定方法については、様々な方法が考えられる。 By the way, various methods can be considered as a determination method for determining whether or not the reflector of the utility pole is an imaged pedestrian candidate area based on the edge direction included in the pedestrian candidate area.
上記請求項1または3に記載の構成において、前記電柱反射板除外手段は、前記歩行者候補領域に含まれるエッジ方向のうち最多頻度のエッジ方向の割合が所定割合以上であるか否かを判断し、所定割合以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。あるいは、上記請求項1または3に記載の構成において、請求項4に記載の発明のように、前記電柱反射板除外手段は、前記歩行者候補領域に含まれるエッジ方向のうち特定のエッジ方向の割合が所定割合以上であるか否かを判断し、所定割合以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。なお、こうした構成においては、請求項5に記載の発明のように、前記特定のエッジ方向は、前記電柱反射板に形成されるストライプに沿った方向であることが望ましい。 In the configuration according to claim 1 or 3, the utility pole reflector exclusion means determines whether or not the ratio of the most frequent edge direction among the edge directions included in the pedestrian candidate area is equal to or greater than a predetermined ratio. And based on determining that it is more than a predetermined ratio, it is good also as determining that the pedestrian candidate area | region is a pedestrian candidate area | region which imaged the utility pole reflector. Alternatively, in the configuration according to claim 1 or 3, as in the invention according to claim 4, the utility pole reflector excluding means is arranged in a specific edge direction among edge directions included in the pedestrian candidate region. As to determine whether or not the ratio is equal to or greater than a predetermined ratio, and based on determining that the ratio is equal to or greater than the predetermined ratio, it is determined that the pedestrian candidate area is a pedestrian candidate area obtained by imaging the utility pole reflector. Also good. In such a configuration, as in the invention described in claim 5, it is desirable that the specific edge direction is a direction along a stripe formed on the utility pole reflector.
また、電柱の反射板が撮像された歩行者候補領域であるか否かについて、歩行者候補領域のラベリング密度に基づいて判定する判定方法についても、様々な方法が考えられる。 Various methods are also conceivable as a determination method for determining whether or not the reflector of the utility pole is a pedestrian candidate region imaged based on the labeling density of the pedestrian candidate region.
上記請求項2または3に記載の構成において、前記電柱反射板除外手段は、前記ラベリング密度が「1」であるか否かを判断し、「1」であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。あるいは、上記請求項2または3に記載の歩行者検出装置において、請求項6に記載の発明のように、前記電柱反射板除外手段は、前記ラベリング密度が所定密度以上であるか否かを判断し、所定密度以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することとしてもよい。なお、こうした構成においては、請求項7に記載の発明のように、前記所定密度は、車両の周辺に位置する歩行者のラベリング密度よりも高い密度に設定されていることが望ましい。いずれの方法であっても、歩行者候補領域のラベリング密度に基づいて、その歩行者候補領域が電柱の反射板を撮像した歩行者候補領域であるか否かを判定することはできる。 In the configuration according to claim 2 or 3, the utility pole reflector exclusion means determines whether or not the labeling density is "1", and based on determining that it is "1", It is good also as determining with a pedestrian candidate area | region being a pedestrian candidate area | region which imaged the utility pole reflector. Alternatively, in the pedestrian detection device according to claim 2 or 3, as in the invention according to claim 6, the utility pole reflector exclusion means determines whether the labeling density is equal to or higher than a predetermined density. And based on determining that it is more than a predetermined density, it is good also as determining that the pedestrian candidate area | region is a pedestrian candidate area | region which imaged the utility pole reflector. In such a configuration, it is desirable that the predetermined density is set to be higher than the labeling density of a pedestrian located in the vicinity of the vehicle. In any method, based on the labeling density of the pedestrian candidate area, it can be determined whether or not the pedestrian candidate area is a pedestrian candidate area obtained by imaging the reflector of the utility pole.
また、上記請求項1〜7のいずれかに記載の構成において、請求項8に記載の発明のように、前記歩行者候補領域の外形形状、この外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値に基づいて、道路に設置される道路標識を撮像した歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する道路標識除外手段をさらに備えることが望ましい。 Moreover, in the structure in any one of the said Claims 1-7, like the invention of Claim 8, the brightness | luminance average value in the inscribed rectangle inscribed in the outer shape of the said pedestrian candidate area | region, and this outer shape And a pedestrian candidate area determined to be a pedestrian candidate area obtained by imaging a road sign installed on a road based on a luminance dispersion value in an inscribed rectangle inscribed in the outer shape. It is desirable to further include road sign excluding means for excluding from the region extraction image.
歩行者検出装置としてのこのような構成では、歩行者候補領域の外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値だけでなく、歩行者候補領域の外形形状にも基づいて、道路に設置される道路標識を撮像した歩行者候補領域であるか否かを判定するため、歩行者候補領域抽出画像から歩行者を撮像した歩行者候補領域を除外してしまうことは少なくなる。その結果、歩行者の未検出の発生を低減することができるようになる。 In such a configuration as a pedestrian detection device, not only the luminance average value in the inscribed rectangle inscribed in the outer shape of the pedestrian candidate area and the luminance dispersion value in the inscribed rectangle inscribed in the outer shape, but also walking In order to determine whether or not it is a pedestrian candidate area obtained by imaging a road sign installed on a road based on the outer shape of the pedestrian candidate area, a pedestrian candidate obtained by imaging a pedestrian from a pedestrian candidate area extracted image Excluding a region is less likely. As a result, the occurrence of undetected pedestrians can be reduced.
なお、上記請求項8に記載の構成については、上記請求項1〜7のいずれかの記載の構成と併用する必要はない。すなわち、上記第2の目的を達成するため、請求項9に記載の発明のように、車両の周辺を撮像する車載撮像装置によって撮像される赤外線画像から所定輝度以上の輝度を有する高輝度領域を抽出した画像である高輝度領域抽出画像を生成する高輝度領域抽出画像生成手段と、前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域が抽出された画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、前記歩行者候補領域の外形形状、この外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値に基づいて、道路に設置される道路標識を撮像した歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する道路標識除外手段と、前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることとしてもよい。 The configuration described in claim 8 does not need to be used in combination with the configuration described in any of claims 1-7. That is, in order to achieve the second object, as in the invention according to claim 9, a high-luminance region having a luminance equal to or higher than a predetermined luminance from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle. Based on the aspect ratio of the circumscribed rectangle circumscribing the high-luminance region, a pedestrian candidate region is extracted from the high-luminance region-extracted image based on the high-luminance region-extracted image generating means that generates the high-luminance region extracted image that is the extracted image Pedestrian candidate area extraction image generating means for generating a pedestrian candidate area extraction image that is an extracted image, an outer shape of the pedestrian candidate area, an average luminance value in an inscribed rectangle inscribed in the outer shape, and The pedestrian candidate area extracted image is a pedestrian candidate area that is determined to be a pedestrian candidate area obtained by imaging a road sign installed on a road based on a luminance dispersion value in an inscribed rectangle inscribed in the outer shape. Excluding road signs excluding means from on the basis of the pedestrian candidate region extraction image, may be provided with a pedestrian detection means for detecting a pedestrian existing around the vehicle.
以下、本発明に係る歩行者検出装置の一実施の形態を図1〜図8を参照して説明する。なお、図1は、歩行者検出装置30を含む車両周辺監視システム1について、その全体構成の一例を示すブロック図である。はじめに、この図1を参照して、歩行者検出装置30を含む車両周辺監視システム1の構成及び機能について説明する。 Hereinafter, an embodiment of a pedestrian detection device according to the present invention will be described with reference to FIGS. FIG. 1 is a block diagram illustrating an example of the overall configuration of the vehicle periphery monitoring system 1 including the pedestrian detection device 30. First, the configuration and function of the vehicle periphery monitoring system 1 including the pedestrian detection device 30 will be described with reference to FIG.
図1に示されるように、車両周辺監視システム1は、赤外線カメラ10と、投光器20と、歩行者検出装置30とを備えて構成されている。 As shown in FIG. 1, the vehicle periphery monitoring system 1 includes an infrared camera 10, a projector 20, and a pedestrian detection device 30.
このうち、赤外線カメラ10は、その光軸が図示しない車両の前方を向くように、車両の前部の車幅方向中心に設置され、歩行者検出装置30(詳しくは画像処理部51)に接続されている。そして、赤外線カメラ10は、車両の前方に位置する対象物が発する赤外線あるいは対象物が反射する赤外線を捉えて撮像し、この撮像した赤外線画像を歩行者検出装置30(詳しくは画像処理部51)に出力する。なお、赤外線カメラ10が特許請求の範囲に記載の車載撮像装置に相当する。 Of these, the infrared camera 10 is installed at the center of the front of the vehicle in the vehicle width direction so that its optical axis faces the front of the vehicle (not shown), and is connected to the pedestrian detection device 30 (specifically, the image processing unit 51). Has been. The infrared camera 10 captures and captures infrared light emitted from an object located in front of the vehicle or reflected from the object, and the captured infrared image is detected by the pedestrian detection device 30 (specifically, the image processing unit 51). Output to. The infrared camera 10 corresponds to the in-vehicle image pickup device described in the claims.
投光器20は、車両の前部に配置される図示しないバンパーの左端部及び右端部に各々1つずつ設けられており、スイッチリレー21を介して歩行者検出装置30(詳しくはCPU41)に接続されている。なお、図示の便宜上、図1では、投光器20を1つのみ図示している。そして、歩行者検出装置30によってスイッチリレー21がオンされると、投光器20もオンとされ、車両の前方を近赤外線にて照射する。 One projector 20 is provided at each of a left end portion and a right end portion of a bumper (not shown) disposed in the front portion of the vehicle, and is connected to a pedestrian detection device 30 (specifically, a CPU 41) via a switch relay 21. ing. For convenience of illustration, only one projector 20 is shown in FIG. When the switch relay 21 is turned on by the pedestrian detection device 30, the projector 20 is also turned on, and the front of the vehicle is irradiated with near infrared rays.
ちなみに、車両の前方に位置する対象物の近赤外線の反射率が高いほど、投光器20から照射される近赤外線をより多く反射する。そのため、赤外線カメラ10にて撮像される赤外線画像では、こうした対象物の輝度が高くなる。逆に、車両の前方に位置する対象物の近赤外線の反射率が低いほど、投光器20から照射される近赤外線をそれほど反射しない。そのため、赤外線カメラ10にて撮像される赤外線画像では、こうした対象物の輝度は低くなる。 Incidentally, the higher the near-infrared reflectance of the object located in front of the vehicle, the more near-infrared rays irradiated from the projector 20 are reflected. Therefore, in the infrared image imaged with the infrared camera 10, the brightness | luminance of such a target object becomes high. Conversely, the lower the reflectance of the near-infrared ray of the object located in front of the vehicle, the less the near-infrared ray irradiated from the projector 20 is reflected. Therefore, in the infrared image imaged with the infrared camera 10, the brightness | luminance of such a target object becomes low.
歩行者検出装置30は、CPU41、ROM42、RAM43を備える。このうち、ROM42は、後述する歩行者検出処理に係る各種処理を実行するためのプログラムやその各種処理を実行する際に必要となる閾値等のデータを不揮発に記憶保持し、RAM43は、演算結果等を一時的に記憶保持する。CPU41は、これらROM42及びRAM43に接続されており、ROM42に記憶保持されているプログラムに従って、RAM43を用いつつ、各種処理を実行する。 The pedestrian detection device 30 includes a CPU 41, a ROM 42, and a RAM 43. Of these, the ROM 42 stores in a non-volatile manner a program for executing various processes related to the pedestrian detection process described later and data such as threshold values required for executing the various processes, and the RAM 43 stores the calculation results. Etc. are temporarily stored. The CPU 41 is connected to the ROM 42 and the RAM 43, and executes various processes using the RAM 43 in accordance with programs stored in the ROM 42.
また、歩行者検出装置30は、画像処理部51を備えており、この画像処理部51は、A/D変換回路、画像処理プロセッサ、VRAM52、D/A変換回路、及び、表示画面を有する(図1ではVRAM52のみを図示)。A/D変換回路は、赤外線カメラ10から出力されるアナログ信号を取り込むとともに、この取り込んだアナログ信号をデジタル信号に変換した上で画像処理プロセッサに出力する。画像処理プロセッサは、A/D変換回路から出力されるデジタル信号(デジタル画像データ)を取り込んでVRAM52に一時的に記憶保持し、記憶保持されたデジタル画像データを画像処理した上でD/A変換回路に出力する。D/A変換回路は、画像処理プロセッサから出力されるデジタル信号を取り込むとともに、この取り込んだデジタル信号をアナログ信号に変換した上で表示画面に出力する。 Further, the pedestrian detection device 30 includes an image processing unit 51, and the image processing unit 51 includes an A / D conversion circuit, an image processing processor, a VRAM 52, a D / A conversion circuit, and a display screen ( FIG. 1 shows only the VRAM 52). The A / D conversion circuit captures the analog signal output from the infrared camera 10, converts the captured analog signal into a digital signal, and outputs the digital signal to the image processor. The image processor captures a digital signal (digital image data) output from the A / D conversion circuit, temporarily stores it in the VRAM 52, performs image processing on the stored digital image data, and then performs D / A conversion. Output to the circuit. The D / A conversion circuit captures the digital signal output from the image processor, converts the captured digital signal into an analog signal, and outputs the analog signal to the display screen.
ちなみに、デジタル画像データは、赤外線カメラ10の各画素の輝度データが集積されることで構成されている。ここで、各画素の輝度データとは、例えば「8ビット(256階調)」にてその画素の輝度を表現したものであり、輝度が最も高い(明るい)場合の輝度データを「255」とし、輝度が最も低い(暗い)場合の画素の輝度データを「0」とする。 Incidentally, the digital image data is configured by integrating luminance data of each pixel of the infrared camera 10. Here, the luminance data of each pixel represents the luminance of the pixel by, for example, “8 bits (256 gradations)”, and the luminance data when the luminance is the highest (bright) is “255”. The luminance data of the pixel when the luminance is the lowest (dark) is set to “0”.
以上のように構成された車両周辺監視システム1の動作について、図2〜図9を参照しつつ説明する。なお、図2は、歩行者検出装置30(詳しくはCPU41及び画像処理部51)によって実行される歩行者検出処理の処理手順を示すフローチャートである。 The operation of the vehicle periphery monitoring system 1 configured as described above will be described with reference to FIGS. FIG. 2 is a flowchart showing a processing procedure of pedestrian detection processing executed by the pedestrian detection device 30 (specifically, the CPU 41 and the image processing unit 51).
図2に示されるように、歩行者検出処理S1が開始されると、まず、歩行者検出装置30は、ステップS10の処理として、赤外線カメラ10から赤外線画像を取り込む。具体的には、歩行者検出装置30は、スイッチリレー21をオンとし、投光器20をオンとする。オンとされると、投光器20は近赤外線にて車両の前方を照射する。歩行者検出装置30は、投光器20によって車両の前方が近赤外線にて照射されている間に、赤外線カメラ10によって車両の前方を撮像する。そして、歩行者検出装置30は、車両の前方を撮像した赤外線画像を赤外線カメラ10から取り込む。 As shown in FIG. 2, when the pedestrian detection process S1 is started, the pedestrian detection apparatus 30 first captures an infrared image from the infrared camera 10 as a process of step S10. Specifically, the pedestrian detection device 30 turns on the switch relay 21 and turns on the projector 20. When turned on, the projector 20 irradiates the front of the vehicle with near infrared rays. The pedestrian detection device 30 images the front of the vehicle with the infrared camera 10 while the front of the vehicle is irradiated with near infrared rays by the projector 20. And the pedestrian detection apparatus 30 takes in the infrared image which imaged the front of the vehicle from the infrared camera 10. FIG.
車両の前方を撮像した赤外線画像を取り込むと、歩行者検出装置30は、続くステップS20の処理として、この赤外線画像から所定輝度以上の高輝度領域を抽出する。具体的には、画像処理部51は、赤外線カメラ10から取り込んだ赤外線画像を構成する画素のうち輝度が所定輝度に達しない画素、すなわち輝度データが例えば「150」に達しない画素を抽出し、その輝度データを「0」に置換する。一方、画像処理部51は、上記赤外線画像を構成する画素のうち輝度が所定輝度以上である画素、すなわち輝度データが例えば「150」以上である画素を抽出し、その輝度データを保持する。このようにして、画像処理部51は、上記赤外線画像を、この赤外線画像から所定輝度以上の輝度を有する領域である高輝度領域のみを抽出した画像である高輝度領域抽出画像に変換する。 If the infrared image which imaged the front of a vehicle is taken in, the pedestrian detection apparatus 30 will extract the high-intensity area | region more than predetermined brightness from this infrared image as a process of subsequent step S20. Specifically, the image processing unit 51 extracts pixels whose luminance does not reach a predetermined luminance among pixels constituting the infrared image captured from the infrared camera 10, that is, pixels whose luminance data does not reach “150”, for example. The luminance data is replaced with “0”. On the other hand, the image processing unit 51 extracts a pixel whose luminance is equal to or higher than a predetermined luminance among pixels constituting the infrared image, that is, a pixel whose luminance data is “150” or higher, and holds the luminance data. In this way, the image processing unit 51 converts the infrared image into a high-brightness region extracted image that is an image obtained by extracting only a high-brightness region that is a region having a luminance of a predetermined luminance or higher from the infrared image.
なお、本実施の形態では、夜間に撮像する赤外線画像の特性からある程度の反射特性を有する対象物を抽出可能な輝度に対応する輝度データとして「150」を採用したがこの値に限らない。また、ステップS20の処理が特許請求の範囲に記載の高輝度領域抽出画像生成手段に相当する。 In the present embodiment, “150” is adopted as the luminance data corresponding to the luminance capable of extracting an object having a certain degree of reflection characteristics from the characteristics of the infrared image captured at night, but is not limited to this value. Moreover, the process of step S20 is equivalent to the high-intensity area | region extraction image generation means as described in a claim.
上記赤外線画像を上記高輝度領域抽出画像に変換すると、画像処理部51は、続くステップS30の処理として、上記高輝度領域抽出画像に含まれる所定輝度以上の高輝度領域を各物標毎に分割するためのラベルを付する処理であるラベリング処理を実行する。 When the infrared image is converted into the high-brightness region extraction image, the image processing unit 51 divides a high-brightness region of a predetermined luminance or higher included in the high-brightness region extraction image for each target as the processing of the subsequent step S30. A labeling process, which is a process of attaching a label for the purpose, is executed.
こうしたラベリング処理を終えると、画像処理部51は、続くステップS40の処理として、歩行者候補領域抽出処理を実行する。具体的には、画像処理部51は、まず、上記高輝度領域抽出画像に含まれる所定輝度以上の高輝度領域に外接する外接矩形を設定する。外接矩形を設定すると、次に、画像処理部51は、この設定した外接矩形の縦横比を算出し、この縦横比が所定範囲内に収まるか否かを判定する。なお、本実施の形態では、この縦横比の所定範囲として、「外接矩形の縦の長さ:外接矩形の横の長さ」=「4:1」〜「4:3」を採用する。そして、画像処理部51は、縦横比が所定範囲内に収まらないと判定された高輝度領域内に位置する画素の輝度データを「0」に置換する一方、縦横比が所定範囲内に収まると判定した高輝度領域内に位置する画素の輝度データをそのまま保持する。このようにして、画像処理部51は、上記高輝度領域抽出画像を、この高輝度領域抽出画像から外接矩形の縦横比が所定範囲内に収まる高輝度領域のみが歩行者候補領域として抽出された画像である第1歩行者候補領域抽出画像に変換する。なお、本実施の形態では、上記所定範囲として、「外接矩形の縦の長さ:外接矩形の横の長さ」=「4:1」〜「4:3」を採用していたが、これに限らない。また、第1歩行者候補領域抽出画像が特許請求の範囲の歩行者候補領域抽出画像に相当し、このステップS40が特許請求の範囲に記載の歩行者候補領域抽出画像生成手段に相当する。 When the labeling process is completed, the image processing unit 51 executes a pedestrian candidate area extraction process as the process of subsequent step S40. Specifically, the image processing unit 51 first sets a circumscribed rectangle that circumscribes a high luminance area having a predetermined luminance or higher included in the high luminance area extraction image. When the circumscribed rectangle is set, the image processing unit 51 next calculates the aspect ratio of the set circumscribed rectangle and determines whether or not the aspect ratio falls within a predetermined range. In the present embodiment, “vertical length of circumscribed rectangle: horizontal length of circumscribed rectangle” = “4: 1” to “4: 3” is adopted as the predetermined range of the aspect ratio. Then, the image processing unit 51 replaces the luminance data of the pixels located in the high luminance area determined to have an aspect ratio that does not fall within the predetermined range with “0”, while the aspect ratio falls within the predetermined range. The luminance data of the pixel located in the determined high luminance area is held as it is. In this way, the image processing unit 51 extracts only the high luminance area from which the aspect ratio of the circumscribed rectangle falls within the predetermined range from the high luminance area extracted image as the pedestrian candidate area. It converts into the 1st pedestrian candidate area extraction image which is an image. In the present embodiment, “vertical length of circumscribed rectangle: horizontal length of circumscribed rectangle” = “4: 1” to “4: 3” is adopted as the predetermined range. Not limited to. The first pedestrian candidate area extracted image corresponds to the pedestrian candidate area extracted image in the claims, and step S40 corresponds to the pedestrian candidate area extracted image generating means described in the claims.
こうした歩行者候補領域抽出処理を実行すると、画像処理部51は、続くステップS50の処理として、上記第1歩行者候補領域抽出画像に含まれる歩行者候補領域から、道路標識が撮像された可能性の高い歩行者候補領域を除外する道路標識除外処理を実行する。 When such a pedestrian candidate area extraction process is executed, the image processing unit 51 may have captured a road sign from a pedestrian candidate area included in the first pedestrian candidate area extraction image as the subsequent step S50. A road sign exclusion process for excluding a pedestrian candidate area having a high height is executed.
以下、図3(a)〜(d)を参照して、道路標識除外処理について概要を説明する。図3(a)は、上記赤外線カメラ10によって撮像される赤外線画像の一部であり、円形状の道路標識が2つ重なって撮像されている。道路標識には赤外線を反射しやすい表面処理が施されることが多いため、この図3(a)に示されるように、道路標識を赤外線カメラ10にて撮像して得られる赤外線画像では、道路標識が撮像された歩行者候補領域の輝度平均値は高く、且つ、その輝度分散値は低くなる。すなわち、道路標識が撮像された歩行者候補領域は明るく一様となる。そのため、上記従来技術では、輝度平均値が高く、且つ、輝度分散値が低い歩行者候補領域は、歩行者が撮像された歩行者候補領域ではないと仮定していた。 Hereinafter, the outline of the road sign exclusion process will be described with reference to FIGS. FIG. 3A is a part of an infrared image captured by the infrared camera 10 and is captured by overlapping two circular road signs. Since the road sign is often subjected to a surface treatment that easily reflects infrared rays, as shown in FIG. 3A, an infrared image obtained by imaging the road sign with the infrared camera 10 The average luminance value of the pedestrian candidate area where the sign is imaged is high, and the luminance dispersion value is low. That is, the pedestrian candidate area where the road sign is imaged becomes bright and uniform. Therefore, in the prior art, it has been assumed that a pedestrian candidate area with a high luminance average value and a low luminance dispersion value is not a pedestrian candidate area in which a pedestrian is imaged.
しかしながら、課題の欄で既述したように、上記仮定が成立しない場合がある。例えば歩行者が赤外線を強く反射する服装をしている場合や、歩行者と赤外線カメラ10との距離が近距離である場合、歩行者が撮像された歩行者候補領域の輝度平均値が高く、且つ、その輝度分散値が低くなることがある。このような場合にあっては、上記第1歩行者候補領域抽出画像に含まれる歩行者候補領域から、歩行者が撮像された歩行者候補領域を除外してしまうことがあった。 However, as already described in the column of the problem, the above assumption may not be satisfied. For example, when the pedestrian is dressed to strongly reflect infrared rays, or when the distance between the pedestrian and the infrared camera 10 is a short distance, the average luminance value of the pedestrian candidate area in which the pedestrian is imaged is high, In addition, the luminance dispersion value may be low. In such a case, the pedestrian candidate area in which the pedestrian is imaged may be excluded from the pedestrian candidate area included in the first pedestrian candidate area extraction image.
そこで、本実施の形態では、画像処理部51は、上記第1歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、輝度平均値が高く、且つ、輝度分散値が低いか否かを判断する前に、その歩行者候補領域の外形形状に道路標識と類似する図形が検出されるか否かを判断することとした。歩行者候補領域の外形形状に道路標識と類似する図形が検出される場合、その歩行者候補領域は道路標識を撮像した歩行者候補領域である可能性が高い。そのため、こうした可能性の高い歩行者候補領域に対し、輝度平均値が高く、且つ、輝度分散値が低いか否かを判断することとした。 Therefore, in the present embodiment, the image processing unit 51 determines whether or not the luminance average value is high and the luminance variance value is low with respect to the pedestrian candidate region included in the first pedestrian candidate region extraction image. Before judging, it was decided whether or not a figure similar to a road sign was detected in the outer shape of the pedestrian candidate area. When a figure similar to a road sign is detected in the outer shape of the pedestrian candidate area, the pedestrian candidate area is highly likely to be a pedestrian candidate area obtained by imaging the road sign. For this reason, it is determined whether or not the luminance average value is high and the luminance dispersion value is low for such a highly likely pedestrian candidate region.
詳しくは、画像処理部51は、図3(a)に示す赤外線画像に対し、上記ステップS10〜S40の処理を実行し、後述のステップS51の処理を実行する。すると、画像処理部51は、図3(b)に示すように、赤外線画像に含まれるエッジが抽出された2値画像を取得する。 Specifically, the image processing unit 51 performs the processes of steps S10 to S40 on the infrared image shown in FIG. 3A, and executes the process of step S51 described later. Then, the image processing unit 51 acquires a binary image from which edges included in the infrared image are extracted, as shown in FIG.
画像処理部51は、この2値画像に対し、後述のステップS52の判断処理を実行する。すなわち、画像処理部51は、道路標識に類似する図形をこの2値画像に検出することができるか否かを判断する。図3(b)に示す2値画像例では、道路標識に類似する図形である円形Cを検出することができる。そのため、画像処理部51は、判断処理対象の歩行者候補領域は、道路標識を撮像した歩行者候補領域である可能性が高いと判断することができる。 The image processing unit 51 performs a determination process in step S52 described later on the binary image. That is, the image processing unit 51 determines whether or not a graphic similar to a road sign can be detected in the binary image. In the binary image example shown in FIG. 3B, a circle C that is a figure similar to a road sign can be detected. Therefore, the image processing unit 51 can determine that there is a high possibility that the candidate pedestrian area to be processed is a candidate pedestrian area obtained by imaging a road sign.
なお、通常、エッジが抽出された2値画像では、エッジに対応する部分に位置する画素の輝度データは「255(明るい)」であり、エッジに対応する部分でない部分に位置する画素の輝度データは「0(暗い)」であるが、図3(b)及び(c)では、図示の便宜上、反転して示している。 Normally, in the binary image from which the edge is extracted, the luminance data of the pixel located in the portion corresponding to the edge is “255 (bright)”, and the luminance data of the pixel located in the portion not corresponding to the edge Is “0 (dark)”, but in FIGS. 3B and 3C, it is shown inverted for convenience of illustration.
判断処理対象の歩行者候補領域が道路標識を撮像した歩行者候補領域である可能性が高いと判断すると、画像処理部51は、先の図3(a)に対し、後述のステップS53〜55の処理を実行する。すなわち、画像処理部51は、図3(d)に示すように、円形Cに内接する内接矩形Rを設定するとともに、この内接矩形R内の輝度平均値及び輝度分散値に基づいて、判断処理対象の歩行者候補領域が道路標識を撮像した歩行者候補領域であるか否かを判断する。図3(d)に示す画像例では、内接矩形内の輝度平均値は高く、且つ、輝度分散値は低いため、判断処理対象の歩行者候補領域が道路標識を撮像した歩行者候補領域であると判断され、上記第1歩行者候補領域抽出画像に含まれる歩行者候補領域から除外されることになる。 If it is determined that there is a high possibility that the candidate pedestrian area to be processed is a pedestrian candidate area obtained by imaging a road sign, the image processing unit 51 performs steps S53 to S55 described later with respect to FIG. Execute the process. That is, as shown in FIG. 3D, the image processing unit 51 sets an inscribed rectangle R inscribed in the circle C, and based on the luminance average value and the luminance dispersion value in the inscribed rectangle R, It is determined whether the pedestrian candidate area to be processed is a pedestrian candidate area obtained by imaging a road sign. In the image example shown in FIG. 3D, since the average luminance value in the inscribed rectangle is high and the luminance variance value is low, the determination target pedestrian candidate region is a pedestrian candidate region obtained by imaging a road sign. It will be judged that there exists and will be excluded from the pedestrian candidate area | region contained in the said 1st pedestrian candidate area | region extraction image.
図4に、道路標識除外処理の詳細な処理手順を示す。この図4を参照して、道路標識除外処理の処理手順を具体的に説明する。 FIG. 4 shows a detailed processing procedure of the road sign exclusion process. With reference to this FIG. 4, the process procedure of a road sign exclusion process is demonstrated concretely.
上記第1歩行者候補領域抽出画像には複数の歩行者候補領域が含まれている。画像処理部51は、道路標識除外処理S50に移行すると、まず、ステップS51の処理として、これら複数の歩行者候補領域のうち最小番号のラベルが付された歩行者候補領域に含まれるエッジ(外形)を抽出する(図3(b)参照)。 The first pedestrian candidate area extraction image includes a plurality of pedestrian candidate areas. When the image processing unit 51 proceeds to the road sign exclusion process S50, first, as a process of step S51, an edge (outer shape) included in the pedestrian candidate area labeled with the smallest number among the plurality of pedestrian candidate areas. ) Is extracted (see FIG. 3B).
この歩行者候補領域に含まれるエッジ(外形)を抽出すると、画像処理部51は、続くステップS52の判断処理として、この歩行者候補領域から道路標識に類似する図形を検出できたか否かを判断する(図3(c)参照)。詳しくは、道路に設置される道路標識の外形形状は、例えば円形状や三角形状、矩形状など、数種類の外形形状(図形)に限定されている。画像処理部51は、こうした数種類に限定された図形の標準パターン(テンプレート)を図示しない適宜の記憶保持部に予め記憶保持しており、例えば公知のテンプレートマッチングやハフ変換等を用いて、上記歩行者候補領域からこの記憶保持している標準パターンを探索する。具体的には、画像処理部51は、上記標準パターンとの類似度を示す、いわゆる信頼度が所定信頼度Thc以上となる部分が上記歩行者候補領域に検出されるか否かを判断する。なお、所定信頼度Thcは、上記標準パターンと歩行者の外形形状との信頼度よりも高い値に設定されている。 When the edge (outer shape) included in this pedestrian candidate area is extracted, the image processing unit 51 determines whether or not a figure similar to a road sign can be detected from this pedestrian candidate area as the determination process in step S52. (See FIG. 3C). Specifically, the outer shape of the road sign installed on the road is limited to several types of outer shapes (figures) such as a circular shape, a triangular shape, and a rectangular shape. The image processing unit 51 stores in advance a standard pattern (template) of a figure limited to several types in an appropriate storage holding unit (not shown). For example, the above-described walking is performed using known template matching, Hough transform, or the like. The stored standard pattern is searched from the candidate area. Specifically, the image processing unit 51 determines whether or not a portion that shows a similarity to the standard pattern and that has a so-called reliability equal to or higher than a predetermined reliability Thc is detected in the pedestrian candidate area. The predetermined reliability Thc is set to a value higher than the reliability between the standard pattern and the outer shape of the pedestrian.
この探索により、標準パターンに類似する図形が上記歩行者候補領域から検出することができなかった場合(ステップS52の判断処理で「No」)、上記歩行者候補領域が道路標識を撮像した歩行者候補領域である可能性は低いことを意味する。そして、画像処理部51は、後述するステップS56の判断処理に移行する。 If a figure similar to the standard pattern cannot be detected from the pedestrian candidate area by this search (“No” in the determination process in step S52), the pedestrian in which the pedestrian candidate area has captured a road sign. This means that the possibility of being a candidate area is low. Then, the image processing unit 51 proceeds to a determination process in step S56 described later.
一方、上記探索により、標準パターンに類似する図形が上記歩行者候補領域から検出することができた場合(ステップS52の判断処理で「Yes」)、上記歩行者候補領域が道路標識を撮像した歩行者候補領域である可能性が高いことを意味する。そこで、画像処理部51は、標準パターンに類似する図形に内接する内接矩形Rを設定するとともに、続くステップS53の処理として、この内接矩形R内に位置する画素の輝度データの平均値である輝度平均値A及び内接矩形R内に位置する画素の輝度データの分散値である輝度分散値Vをそれぞれ算出する。そして、画像処理部51は、続くステップS54の判断処理として、「輝度平均値Aが所定閾値Thaよりも高く、且つ、輝度分散値Vが所定閾値Thvよりも低い」か否かを判断する。 On the other hand, when the figure similar to the standard pattern can be detected from the pedestrian candidate area by the search (“Yes” in the determination process in step S52), the pedestrian candidate area walks the road sign. This means that there is a high possibility of being a candidate area. Therefore, the image processing unit 51 sets an inscribed rectangle R that is inscribed in a graphic similar to the standard pattern, and in the subsequent step S53, an average value of luminance data of pixels located in the inscribed rectangle R is used. A certain luminance average value A and a luminance variance value V, which is a variance value of luminance data of pixels located in the inscribed rectangle R, are calculated. Then, the image processing unit 51 determines whether or not “the luminance average value A is higher than the predetermined threshold value Tha and the luminance variance value V is lower than the predetermined threshold value Thv” as the determination processing in step S54.
ここで、「輝度平均値Aが所定閾値Thaよりも高く、且つ、輝度分散値Vが所定閾値Thvよりも低い」と判断される場合(ステップS54の判断処理で「Yes」)、内接矩形内が明るく一様であることを意味する。そのため、画像処理部51は、この歩行者候補領域は道路標識を撮像した歩行者候補領域である可能性が高いと判断し、続くステップS55の処理として、この歩行者候補領域を上記第1歩行者候補領域抽出画像から除外した上で、続くステップS56の判断処理に移行する。 Here, when it is determined that “the luminance average value A is higher than the predetermined threshold value Tha and the luminance variance value V is lower than the predetermined threshold value Thv” (“Yes” in the determination processing in step S54), the inscribed rectangle It means that the inside is bright and uniform. Therefore, the image processing unit 51 determines that there is a high possibility that this pedestrian candidate area is a pedestrian candidate area obtained by imaging a road sign, and in the subsequent step S55, this pedestrian candidate area is used as the first pedestrian candidate area. Then, the process proceeds to the determination process in step S56.
また、先のステップS54の判断処理において、「輝度平均値Aが所定閾値Thaよりも高く、且つ、輝度分散値Vが所定閾値Thvよりも低い」と判断されない場合(ステップS54の判断処理で「No」)、「内接矩形内が暗い」あるいは「内接領域の輝度が一様でない」ことを意味する。そのため、画像処理部51は、この歩行者候補領域は道路標識を撮像した歩行者候補領域である可能性は低いと判断し、この歩行者候補領域を第1歩行者候補領域抽出画像から除外することなく、続くステップS56の判断処理に移行する。 Further, in the determination process of the previous step S54, when it is not determined that “the luminance average value A is higher than the predetermined threshold value Tha and the luminance dispersion value V is lower than the predetermined threshold value Thv” (in the determination process of step S54, “ No ")," the inside of the inscribed rectangle is dark "or" the brightness of the inscribed area is not uniform ". Therefore, the image processing unit 51 determines that this pedestrian candidate area is unlikely to be a pedestrian candidate area obtained by imaging a road sign, and excludes this pedestrian candidate area from the first pedestrian candidate area extracted image. Instead, the process proceeds to the subsequent determination process in step S56.
上記ステップS52の判断処理で「No」と判断される場合、上記ステップS54の判断処理で「No」と判断される場合、あるいは、上記ステップS55の処理を実行すると、画像処理部51は、続くステップS56の判断処理として、第1歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップS51〜55の処理を実行したか否かを判断する。 When it is determined “No” in the determination process of step S52, when it is determined “No” in the determination process of step S54, or when the process of step S55 is executed, the image processing unit 51 continues. As the determination processing in step S56, it is determined whether or not the processing in steps S51 to S55 has been executed for all pedestrian candidate regions included in the first pedestrian candidate region extraction image.
第1歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップS51〜55の処理を実行していないと判断される場合(ステップS56の判断処理で「No」)、画像処理部51は、次のラベルが付された歩行者候補領域に対し上記ステップS51〜55の処理を実行する一方、第1歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップS51〜55の処理を実行したと判断される場合(ステップS56の判断処理で「Yes」)、画像処理部51は、続くステップS60の処理に移行する(図2参照)。このようにして、画像処理部51は、上記第1歩行者候補領域抽出画像を、道路標識が撮像された可能性の高い歩行者候補領域が除外された画像である第2歩行者候補領域抽出画像に変換される。 When it is determined that the processes in steps S51 to S55 are not executed for all the pedestrian candidate areas included in the first pedestrian candidate area extraction image (“No” in the determination process in step S56), image processing is performed. The unit 51 performs the processing of steps S51 to S55 on the pedestrian candidate region to which the next label is attached, while performing the above steps on all pedestrian candidate regions included in the first pedestrian candidate region extraction image. When it is determined that the processes in S51 to S55 have been executed (“Yes” in the determination process in step S56), the image processing unit 51 proceeds to the subsequent process in step S60 (see FIG. 2). In this way, the image processing unit 51 extracts the first pedestrian candidate area extraction image, which is an image from which a pedestrian candidate area having a high possibility of having captured a road sign is excluded. Converted to an image.
以上説明した道路標識除外処理S50では、道路標識と類似する図形が歩行者候補領域の外形形状に検出される場合に、内接矩形内の輝度平均値が高く、且つ、内接矩形内の輝度分散値が低いか否かを判断することとした。これにより、上記第1歩行者候補領域抽出画像に含まれる歩行者候補領域から、歩行者が撮像された歩行者候補領域を除外してしまうことが低減されるため、歩行者を検出しない未検出の発生抑制を図ることができるようになる。なお、この道路標識除外処理S50が特許請求の範囲に記載の道路標識除外手段に相当する。 In the road sign exclusion process S50 described above, when a figure similar to the road sign is detected in the outer shape of the pedestrian candidate area, the average luminance value in the inscribed rectangle is high and the luminance in the inscribed rectangle is high. It was decided whether or not the variance value was low. Thereby, since it is reduced that the pedestrian candidate area | region where the pedestrian was imaged is excluded from the pedestrian candidate area | region contained in the said 1st pedestrian candidate area | region extraction image, the pedestrian is not detected but it does not detect Can be suppressed. The road sign exclusion process S50 corresponds to the road sign exclusion means described in the claims.
こうした道路標識除外処理を実行すると、画像処理部51は、続くステップS60の処理として、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域から、電柱反射板が撮像された可能性の高い歩行者候補領域を除外する電柱反射板除外処理を実行する。 When such a road sign excluding process is executed, the image processing unit 51, as the subsequent process of step S60, may have captured the utility pole reflector from the pedestrian candidate area included in the second pedestrian candidate area extracted image. The utility pole reflector exclusion process for excluding a high pedestrian candidate area is executed.
以下、図5及び図6を参照して、電柱反射板除外処理のうち特に近距離に位置する電柱を除外するに有効な電柱反射板除外処理について概要を説明する。図5(a)は、上記赤外線カメラ10によって撮像される赤外線画像の一部であり、赤外線カメラ10から近距離に位置する反射板を備える電柱が撮像されている。電柱に備えられる反射板には赤外線を反射しやすい表面処理が施されることが多いため、赤外線カメラ10にて撮像して得られる赤外線画像では、反射板を備える電柱が撮像された歩行者候補領域の輝度平均値は高く、且つ、その輝度分散値は低くなる。すなわち、反射板を備える電柱が撮像された歩行者候補領域は明るく一様となる。そのため、上記従来技術では、既述したように、輝度平均値が高く、且つ、輝度分散値が低い歩行者候補領域は、歩行者が撮像された歩行者候補領域ではないと仮定していた。 Hereinafter, with reference to FIG. 5 and FIG. 6, an outline of the utility pole reflector exclusion process that is particularly effective for excluding utility poles located at a short distance in the utility pole reflector exclusion process will be described. FIG. 5A is a part of an infrared image captured by the infrared camera 10, and a utility pole including a reflector located at a short distance from the infrared camera 10 is captured. Since the reflector provided on the utility pole is often subjected to surface treatment that easily reflects infrared rays, in the infrared image obtained by imaging with the infrared camera 10, the pedestrian candidate in which the utility pole provided with the reflector is imaged The luminance average value of the region is high, and the luminance dispersion value is low. That is, the pedestrian candidate area where the utility pole with the reflector is imaged becomes bright and uniform. For this reason, as described above, the prior art assumes that a pedestrian candidate region having a high luminance average value and a low luminance dispersion value is not a pedestrian candidate region in which a pedestrian is imaged.
しかしながら、課題の欄で既述したように、上記仮定が成立しない場合がある。例えば反射板に施されるストライプ状の模様まで捉えることができるほど赤外線カメラ10と電柱との距離が近い場合、電柱が撮像された歩行者候補領域の輝度平均値が高く、且つ、その輝度分散値が高くなることがある。このような場合にあっては、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域から、反射板を備える電柱が撮像された歩行者候補領域を除外することができなくなってしまうことがあった。 However, as already described in the column of the problem, the above assumption may not be satisfied. For example, when the distance between the infrared camera 10 and the utility pole is close enough to capture even a striped pattern applied to the reflector, the average luminance value of the pedestrian candidate area in which the utility pole is imaged is high, and the luminance dispersion thereof The value may be high. In such a case, it becomes impossible to exclude the pedestrian candidate area in which the utility pole including the reflector is imaged from the pedestrian candidate area included in the second pedestrian candidate area extraction image. was there.
そこで、本実施の形態では、画像処理部51は、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、その歩行者候補領域に含まれるエッジ方向のうち特定の方向の割合が所定割合を上回るか否かを判断することとした。 Therefore, in the present embodiment, the image processing unit 51 has a ratio of a specific direction to the pedestrian candidate area included in the second pedestrian candidate area extracted image in the edge direction included in the pedestrian candidate area. It was decided whether or not would exceed a predetermined ratio.
詳しくは、画像処理部51は、図5(a)に示す赤外線画像に含まれるエッジを抽出して、図5(b)に示す2値画像を取得する。なお、この2値画像は、赤外線画像(図5(a)参照)に含まれるエッジが抽出された2値画像である。次に、画像処理部51は、図5(b)に示す2値画像に基づいて、各歩行者候補領域について図6に示すヒストグラムを作成する。このヒストグラムは、各歩行者候補領域に含まれるエッジ方向とその度数との関係を示すヒストグラムである。ここで、画像処理部51は、このヒストグラムに基づいて、各歩行者候補領域に含まれるエッジ方向のうち、電柱反射板に形成されるストライプに沿ったエッジ方向(以下、特定エッジ方向とも記載。図5(b)中の矢印A参照)の割合が所定割合(例えば「15%」)を上回るか否かを判断する。所定割合を上回ると判断される場合、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断することができる。一方、所定割合以下であると判断される場合、歩行者候補領域は近距離に位置する電柱を撮像した歩行者候補領域である可能性は低いと判断することができる。そして、画像処理部51は、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断されると、その歩行者候補領域を第2歩行者候補領域抽出画像から除外する。なお、図5(b)に示す2値画像例では、特定方向のエッジの割合が所定割合以上であるため、この歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断され、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域から除外されることになる。 Specifically, the image processing unit 51 extracts the edge included in the infrared image shown in FIG. 5A, and acquires the binary image shown in FIG. This binary image is a binary image from which edges included in an infrared image (see FIG. 5A) are extracted. Next, the image processing unit 51 creates a histogram shown in FIG. 6 for each pedestrian candidate region based on the binary image shown in FIG. This histogram is a histogram showing the relationship between the edge direction included in each pedestrian candidate region and its frequency. Here, the image processing unit 51, based on the histogram, among the edge directions included in each pedestrian candidate area, the edge direction along the stripe formed on the utility pole reflector (hereinafter also referred to as a specific edge direction). It is determined whether or not the ratio of the arrow A in FIG. 5B exceeds a predetermined ratio (for example, “15%”). When it is determined that the ratio exceeds the predetermined ratio, it can be determined that the pedestrian candidate area is likely to be a pedestrian candidate area obtained by imaging a utility pole located at a short distance. On the other hand, when it is determined that the ratio is equal to or less than the predetermined ratio, it is possible to determine that the possibility that the pedestrian candidate area is a pedestrian candidate area obtained by imaging a utility pole located at a short distance is low. When the image processing unit 51 determines that the pedestrian candidate area is likely to be a pedestrian candidate area obtained by imaging a utility pole located at a short distance, the pedestrian candidate area is determined as the second pedestrian candidate area. Exclude from the extracted image. In the binary image example shown in FIG. 5B, since the ratio of edges in a specific direction is equal to or greater than a predetermined ratio, this pedestrian candidate area is a pedestrian candidate area obtained by imaging a utility pole located at a short distance. It is determined that the possibility is high, and the pedestrian candidate area included in the second pedestrian candidate area extraction image is excluded.
以下、図7(a)及び(b)を参照して、電柱反射板除外処理のうち特に遠距離に位置する電柱を除外するに有効な電柱反射板除外処理について概要を説明する。図7(a)は、上記赤外線カメラ10によって撮像される赤外線画像の一部であり、赤外線カメラ10から遠距離に位置する反射板を備える電柱が撮像されている。この図7(a)及び先の図5(a)との対比から分かるように、反射板を備える電柱が赤外線カメラ10から遠距離に位置する場合、反射板に施されるストライプ状の模様は潰れてしまうため、ストライプ状の模様をエッジとして抽出することは難しい。 Hereinafter, with reference to FIG. 7 (a) and (b), an outline | summary is demonstrated about the utility pole reflector exclusion process effective in excluding especially the utility pole located in a long distance among the utility pole reflector exclusion processes. FIG. 7A is a part of an infrared image captured by the infrared camera 10, and a utility pole including a reflector located at a long distance from the infrared camera 10 is captured. As can be seen from the comparison between FIG. 7A and FIG. 5A, when the utility pole including the reflector is located at a long distance from the infrared camera 10, the stripe pattern applied to the reflector is as follows. Since it will be crushed, it is difficult to extract a striped pattern as an edge.
そこで、本実施の形態では、画像処理部51は、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、その歩行者候補領域の外接矩形の面積に対する歩行者候補領域の面積の割合であるラベリング密度が所定密度以上であるか否かを判断することとした。 Therefore, in the present embodiment, the image processing unit 51, for the pedestrian candidate area included in the second pedestrian candidate area extracted image, the area of the pedestrian candidate area relative to the circumscribed rectangle area of the pedestrian candidate area. It was decided to determine whether or not the labeling density, which is the percentage of
詳しくは、画像処理部51は、図7(a)に示す赤外線画像に対し、歩行者候補領域のラベリング密度を算出する。ここで、ラベリング密度とは、歩行者候補領域の外接矩形の面積Saに対するその歩行者候補領域の面積Sbの割合である(図7(b)参照)。電柱が撮像された歩行者候補領域である場合、その外形形状が長方形に近いため、赤外線カメラ10からの距離にかかわらず、歩行者候補領域の外接矩形の面積Saはその歩行者候補領域の面積Sbに近くなり、ラベリング密度は「1」に近い。一方、歩行者が撮像された歩行者候補領域である場合、その外形形状は長方形ではないため、赤外線カメラ10からの距離にかかわらず、歩行者候補領域の外接矩形の面積Saはその歩行者候補領域の面積Sbよりも大きくなり、ラベリング密度は「1」よりも小さくなる。そのため、画像処理部51は、各歩行者候補のラベリング密度が所定密度(例えば「0.75」)を上回るか否かを判断する。所定密度を上回ると判断される場合、その歩行者候補領域は電柱が撮像された歩行者候補領域である可能性が高いと判断することが可能である一方、所定密度以下であると判断される場合、その歩行者候補領域は電柱が撮像された歩行者候補領域である可能性は低いと判断することが可能である。そして、電柱が撮像された歩行者候補領域である可能性が高いと判断されると、画像処理部51は、その歩行者候補領域を第2歩行者候補領域抽出画像から除外する。なお、図7(b)に示す2値画像例では、ラベリング密度が所定密度を上回ると判断されるため、この歩行者候補領域が遠距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断され、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域から除外されることとなる。 Specifically, the image processing unit 51 calculates the labeling density of the pedestrian candidate area with respect to the infrared image shown in FIG. Here, the labeling density is the ratio of the area Sb of the pedestrian candidate area to the area Sa of the circumscribed rectangle of the pedestrian candidate area (see FIG. 7B). When the utility pole is an imaged pedestrian candidate area, the outer shape of the pedestrian candidate area is close to a rectangle. Therefore, regardless of the distance from the infrared camera 10, the circumscribed rectangle area Sa of the pedestrian candidate area is the area of the pedestrian candidate area. It becomes close to Sb and the labeling density is close to “1”. On the other hand, when the pedestrian is a pedestrian candidate area in which the pedestrian is imaged, the outer shape thereof is not a rectangle. Therefore, regardless of the distance from the infrared camera 10, the circumscribed rectangle area Sa of the pedestrian candidate area is the pedestrian candidate. The area becomes larger than the area Sb of the region, and the labeling density becomes smaller than “1”. Therefore, the image processing unit 51 determines whether the labeling density of each pedestrian candidate exceeds a predetermined density (for example, “0.75”). When it is determined that the density exceeds the predetermined density, it is possible to determine that the pedestrian candidate area is likely to be a pedestrian candidate area in which the utility pole is imaged, while it is determined that the pedestrian candidate area is equal to or lower than the predetermined density. In this case, it is possible to determine that the possibility that the pedestrian candidate area is a pedestrian candidate area in which the utility pole is imaged is low. When it is determined that there is a high possibility that the utility pole is an imaged pedestrian candidate area, the image processing unit 51 excludes the pedestrian candidate area from the second pedestrian candidate area extracted image. In the binary image example shown in FIG. 7B, since the labeling density is determined to be higher than the predetermined density, this pedestrian candidate area may be a pedestrian candidate area obtained by imaging a utility pole located at a long distance. Therefore, it is excluded from the pedestrian candidate area included in the second pedestrian candidate area extracted image.
次に、図8を参照して、電柱反射板除外処理の処理手順を具体的に説明する。なお、図8は、電柱反射板除外処理の処理手順を示すフローチャートである。 Next, with reference to FIG. 8, the process sequence of a utility pole reflector exclusion process is demonstrated concretely. In addition, FIG. 8 is a flowchart which shows the process sequence of a utility pole reflector exclusion process.
上記第2歩行者候補領域抽出画像には複数の歩行者候補領域が含まれており、道路標識が撮像された可能性が高い歩行者候補領域は、これら複数の歩行者候補領域から既に除外されている。 The second pedestrian candidate area extraction image includes a plurality of pedestrian candidate areas, and a pedestrian candidate area that is highly likely to have been imaged with a road sign is already excluded from the plurality of pedestrian candidate areas. ing.
画像処理部51は、電柱反射板除外処理S60に移行すると、まず、ステップS61の処理として、これら複数の歩行者候補領域のうち最小番号のラベルが付された歩行者候補領域に含まれるエッジを抽出する(図5(b)参照)。この歩行者候補領域に含まれるエッジを抽出すると、画像処理部51は、続くステップS62の処理として、この歩行者候補領域に含まれるエッジ方向とその度数とのヒストグラムを作成し(図6参照)、続くステップS63の判断処理として、この歩行者候補領域に含まれるエッジ方向のうち電柱反射板に形成されるストライプに沿ったエッジ方向(特定エッジ方向)の割合が所定割合を上回るか否かを判断する。 When the image processing unit 51 proceeds to the utility pole reflector exclusion process S60, first, as the process of step S61, an edge included in the pedestrian candidate area labeled with the smallest number among these pedestrian candidate areas is selected. Extract (see FIG. 5B). When the edge included in this pedestrian candidate area is extracted, the image processing unit 51 creates a histogram of the edge direction included in this pedestrian candidate area and its frequency as the processing of the subsequent step S62 (see FIG. 6). Subsequently, as a determination process in step S63, it is determined whether or not the ratio of the edge direction (specific edge direction) along the stripe formed on the utility pole reflector out of the edge directions included in the pedestrian candidate area exceeds a predetermined ratio. to decide.
ここで、特定エッジ方向の割合が所定割合を上回ると判断される場合(ステップS63の判断処理で「Yes」)、近距離に位置する電柱が撮像された歩行者候補領域である可能性が高いと判断することが可能である。そのため、画像処理部51は、続くステップS64の処理として、第2歩行者候補領域抽出画像からこの歩行者領域を除外する。そして、画像処理部51は、続くステップS65の判断処理に移行する。 Here, when it is determined that the ratio of the specific edge direction exceeds the predetermined ratio (“Yes” in the determination process in step S63), there is a high possibility that the utility pole is located in a short distance and is a pedestrian candidate area. It is possible to judge. Therefore, the image processing unit 51 excludes the pedestrian area from the second pedestrian candidate area extracted image as the subsequent process of step S64. Then, the image processing unit 51 proceeds to the determination process in the subsequent step S65.
一方、先のステップS63の判断処理において、特定エッジ方向の割合が所定割合に満たないと判断される場合(ステップS63の判断処理で「No」)、近距離に位置する電柱が撮像された歩行者候補領域である可能性は低いと判断することが可能である。そして、画像処理部51は、続くステップS66の処理として、歩行者候補領域の外接矩形の面積Saに対するその歩行者候補領域の面積Sbの割合であるラベリング密度を算出し、続くステップS67の判断処理として、歩行者候補領域のラベリング密度が所定密度を上回るか否かを判断する。 On the other hand, when it is determined in the determination process of the previous step S63 that the ratio of the specific edge direction is less than the predetermined ratio (“No” in the determination process of step S63), the walking in which the electric pole located at a short distance is imaged. It is possible to determine that the possibility of the candidate area is low. Then, the image processing unit 51 calculates a labeling density that is a ratio of the area Sb of the pedestrian candidate area to the area Sa of the circumscribed rectangle of the pedestrian candidate area as the process of subsequent step S66, and then continues the determination process of step S67. As described above, it is determined whether or not the labeling density of the pedestrian candidate area exceeds a predetermined density.
ここで、上記ラベリング密度が所定密度を上回ると判断される場合(ステップS67の判断処理で「Yes」)、その歩行者候補領域は遠距離に位置する電柱が撮像された歩行者候補領域である可能性が高いと判断することが可能である。そのため、画像処理部51は、先のステップS64の処理として、第2歩行者候補領域抽出画像からこの歩行者領域を除外し、続くステップS65の判断処理に移行する。 Here, when it is determined that the labeling density exceeds the predetermined density (“Yes” in the determination process in step S67), the pedestrian candidate area is a pedestrian candidate area in which a utility pole located at a long distance is imaged. It is possible to determine that the possibility is high. Therefore, the image processing unit 51 excludes this pedestrian area from the second pedestrian candidate area extraction image as the process of the previous step S64, and proceeds to the subsequent determination process of step S65.
一方、上記ラベリング密度が所定密度以下と判断される場合(ステップS67の判断処理で「No」)、その歩行者候補領域は遠距離に位置する電柱が撮像された歩行者候補領域である可能性は低いと判断することが可能である。そのため、画像処理部51は、第2歩行者候補領域抽出画像からこの歩行者領域を除外することなく、続くステップS65の判断処理に移行する。 On the other hand, when it is determined that the labeling density is equal to or lower than the predetermined density (“No” in the determination process in step S67), the pedestrian candidate area may be a pedestrian candidate area obtained by imaging a utility pole located at a long distance. Can be determined to be low. Therefore, the image processing unit 51 proceeds to the subsequent determination process of step S65 without excluding this pedestrian area from the second pedestrian candidate area extraction image.
上記ステップS64の処理を実行すると、あるいは、上記ステップS67の判断処理で「No」と判断される場合、画像処理部51は、続くステップS65の判断処理として、第2歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップS61〜67の処理を実行したか否かを判断する。 When the process of step S64 is executed, or when “No” is determined in the determination process of step S67, the image processing unit 51 applies the second pedestrian candidate area extraction image as the determination process of step S65. It is determined whether or not the processing in steps S61 to 67 has been executed for all the included pedestrian candidate regions.
第2歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップS61〜67の処理を実行していないと判断される場合(ステップS65の判断処理で「No」)、画像処理部51は、次のラベルが付された歩行者候補領域に対し上記ステップS61〜67の処理を実行する一方、第2歩行者候補領域抽出画像に含まれる全ての歩行者候補領域に対し上記ステップS61〜67の処理を実行したと判断される場合(ステップS65の判断処理で「Yes」)、画像処理部51は、続くステップS70の処理に移行する(図2参照)。このようにして、上記第2歩行者候補抽出画像は、画像処理部51によって、電柱が撮像された可能性の高い歩行者候補領域が除外された画像である第3歩行者候補領域抽出画像に変換される。 When it is determined that the processes in steps S61 to 67 are not executed for all the pedestrian candidate areas included in the second pedestrian candidate area extraction image (“No” in the determination process in step S65), image processing is performed. The unit 51 performs the process of steps S61 to S67 on the pedestrian candidate area labeled with the next label, while performing the above steps on all pedestrian candidate areas included in the second pedestrian candidate area extraction image. When it is determined that the processing of S61 to 67 has been executed (“Yes” in the determination processing of step S65), the image processing unit 51 proceeds to the processing of the subsequent step S70 (see FIG. 2). In this manner, the second pedestrian candidate extracted image is converted into a third pedestrian candidate region extracted image that is an image from which a pedestrian candidate region having a high possibility that the utility pole has been imaged is excluded by the image processing unit 51. Converted.
そして、CPU41は、第3歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する。なお、このCPU41が特許請求の範囲に記載の歩行者検出手段に相当する。 And CPU41 detects the pedestrian who exists in the periphery of a vehicle based on a 3rd pedestrian candidate area | region extraction image. The CPU 41 corresponds to pedestrian detection means described in the claims.
以上説明した電柱反射板除外処理S60では、画像処理部51は、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、判断処理対象の歩行者候補領域に含まれるエッジ方向のうち特定の方向の割合が所定割合を上回るか否かを判断する。ここで、画像処理部51は、所定割合を上回ると判断する場合、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断する一方、所定割合以下であると判断する場合、歩行者候補領域は近距離に位置する電柱を撮像した歩行者候補領域である可能性は低いと判断する。そして、画像処理部51は、歩行者候補領域が近距離に位置する電柱を撮像した歩行者候補領域である可能性が高いと判断されると、その歩行者候補領域を第2歩行者候補領域抽出画像から除外することとした。これにより、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域から、反射板を備える電柱が撮像された歩行者候補領域を除外することができるようになるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。 In the utility pole reflector removal processing S60 described above, the image processing unit 51 performs an edge direction included in the determination target pedestrian area with respect to the pedestrian candidate area included in the second pedestrian candidate area extraction image. It is determined whether or not the ratio in a specific direction exceeds a predetermined ratio. Here, when determining that the image processing unit 51 exceeds the predetermined ratio, the image processing unit 51 determines that the pedestrian candidate area is likely to be a pedestrian candidate area obtained by imaging a utility pole located at a short distance, while the predetermined ratio or less. When it is determined that the pedestrian candidate area is, it is determined that the possibility that the pedestrian candidate area is a pedestrian candidate area obtained by imaging a utility pole located at a short distance is low. When the image processing unit 51 determines that the pedestrian candidate area is likely to be a pedestrian candidate area obtained by imaging a utility pole located at a short distance, the pedestrian candidate area is determined as the second pedestrian candidate area. Excluded from the extracted image. Thereby, since it becomes possible to exclude the pedestrian candidate area in which the utility pole including the reflector is imaged from the pedestrian candidate area included in the second pedestrian candidate area extraction image, the utility pole including the reflector is provided. It is possible to suppress the occurrence of false detection of detecting a pedestrian as a pedestrian.
また、以上説明した電柱反射板除外処理S60では、画像処理部51は、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域に対し、判断処理対象の歩行者候補領域のラベリング密度が所定密度以上であるか否かを判断する。ここで、画像処理部51は、所定密度を上回ると判断する場合、歩行者候補領域は電柱が撮像された歩行者候補領域である可能性が高いと判断する一方、所定密度以下であると判断する場合、歩行者候補領域は電柱が撮像された歩行者候補領域である可能性は低いと判断する。そして、画像処理部51は、電柱が撮像された歩行者候補領域である可能性が高いと判断すると、その歩行者候補領域を第2歩行者候補領域抽出画像から除外することとした。これにより、上記第2歩行者候補領域抽出画像に含まれる歩行者候補領域から、反射板を備える電柱が撮像された歩行者候補領域を除外することができるようになるため、反射板を備える電柱を歩行者として検出する誤検出の発生抑制を図ることができるようになる。なお、この道路標識除外処理S60が特許請求の範囲に記載の電柱反射板除外手段に相当する。 In the utility pole reflector exclusion process S60 described above, the image processing unit 51 determines the labeling density of the pedestrian candidate area to be determined for the pedestrian candidate area included in the second pedestrian candidate area extracted image. It is determined whether or not the density is equal to or higher than a predetermined density. Here, when determining that the image processing unit 51 exceeds the predetermined density, the image processing unit 51 determines that the pedestrian candidate region is likely to be a pedestrian candidate region in which the utility pole is imaged, and determines that the pedestrian candidate region is below the predetermined density. In this case, it is determined that the possibility that the pedestrian candidate area is a pedestrian candidate area in which the utility pole is imaged is low. Then, when the image processing unit 51 determines that there is a high possibility that the power pole is a pedestrian candidate region in which the power pole is imaged, the image processing unit 51 excludes the pedestrian candidate region from the second pedestrian candidate region extraction image. Thereby, since it becomes possible to exclude the pedestrian candidate area in which the utility pole including the reflector is imaged from the pedestrian candidate area included in the second pedestrian candidate area extraction image, the utility pole including the reflector is provided. It is possible to suppress the occurrence of false detection of detecting a pedestrian as a pedestrian. In addition, this road sign exclusion process S60 is equivalent to the utility pole reflector exclusion means described in the claims.
1…車両周辺監視システム、10…赤外線カメラ、20…投光器、21…スイッチリレー、30…歩行者検出装置、41…CPU、42…ROM、43…RAM、51…画像処理手段、52…VRAM DESCRIPTION OF SYMBOLS 1 ... Vehicle periphery monitoring system, 10 ... Infrared camera, 20 ... Floodlight, 21 ... Switch relay, 30 ... Pedestrian detection apparatus, 41 ... CPU, 42 ... ROM, 43 ... RAM, 51 ... Image processing means, 52 ... VRAM
Claims (9)
前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、
前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、
前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする歩行者検出装置。 A high-brightness region extraction image generation unit that generates a high-brightness region extraction image that is an image obtained by extracting a high-brightness region having a luminance equal to or higher than a predetermined luminance from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle;
Pedestrian candidate area extraction image generation means for generating a pedestrian candidate area extraction image, which is an image obtained by extracting a pedestrian candidate area from the high luminance area extraction image, based on an aspect ratio of a circumscribed rectangle circumscribing the high luminance area When,
The utility pole reflector exclusion which excludes the pedestrian candidate area determined to be a pedestrian candidate area in which the utility pole reflector is imaged based on the edge direction included in the pedestrian candidate area from the pedestrian candidate area extraction image Means,
Pedestrian detection for detecting pedestrians present in the vicinity of a vehicle based on the pedestrian candidate area extraction image after the pedestrian candidate area in which the utility pole reflector is imaged is excluded by the utility pole reflector exclusion means And a pedestrian detection device.
前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、
前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、
前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする歩行者検出装置。 A high-brightness region extraction image generation unit that generates a high-brightness region extraction image that is an image obtained by extracting a high-brightness region having a luminance equal to or higher than a predetermined luminance from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle;
Pedestrian candidate area extraction image generation means for generating a pedestrian candidate area extraction image, which is an image obtained by extracting a pedestrian candidate area from the high luminance area extraction image, based on an aspect ratio of a circumscribed rectangle circumscribing the high luminance area When,
Based on a labeling density that is a ratio of the area of the pedestrian candidate area to the area of the circumscribed rectangle of the pedestrian candidate area, a pedestrian candidate area determined to be a pedestrian candidate area in which a utility pole reflector is imaged , Utility pole reflector exclusion means for excluding from the pedestrian candidate area extraction image,
Pedestrian detection for detecting pedestrians present in the vicinity of a vehicle based on the pedestrian candidate area extraction image after the pedestrian candidate area from which the utility pole reflector is imaged is excluded by the utility pole reflector exclusion means And a pedestrian detection device.
前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域を抽出した画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、
前記歩行者候補領域に含まれるエッジ方向に基づいて電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外し、且つ、
前記歩行者候補領域の外接矩形の面積に対する前記歩行者候補領域の面積の割合であるラベリング密度に基づいて、電柱反射板が撮像された歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する電柱反射板除外手段と、
前記電柱反射板除外手段によって前記電柱反射板が撮像された歩行者候補領域が除外された後の前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする歩行者検出装置。 A high-brightness region extraction image generation unit that generates a high-brightness region extraction image that is an image obtained by extracting a high-brightness region having a luminance equal to or higher than a predetermined luminance from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle;
Pedestrian candidate area extraction image generation means for generating a pedestrian candidate area extraction image, which is an image obtained by extracting a pedestrian candidate area from the high luminance area extraction image, based on an aspect ratio of a circumscribed rectangle circumscribing the high luminance area When,
Exclude from the pedestrian candidate area extracted image the pedestrian candidate area determined to be a pedestrian candidate area in which the utility pole reflector is imaged based on the edge direction included in the pedestrian candidate area; and
Based on a labeling density that is a ratio of the area of the pedestrian candidate area to an area of a circumscribed rectangle of the pedestrian candidate area, a pedestrian candidate area determined to be a pedestrian candidate area in which a utility pole reflector is imaged. , Utility pole reflector exclusion means for excluding from the pedestrian candidate area extraction image,
Pedestrian detection for detecting pedestrians present in the vicinity of a vehicle based on the pedestrian candidate area extraction image after the pedestrian candidate area in which the utility pole reflector is imaged is excluded by the utility pole reflector exclusion means And a pedestrian detection device.
前記電柱反射板除外手段は、前記歩行者候補領域に含まれるエッジ方向のうち特定のエッジ方向の割合が所定割合以上であるか否かを判断し、所定割合以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することを特徴とする歩行者検出装置。 In the pedestrian detection device according to claim 1 or 3,
The utility pole reflector exclusion means determines whether or not a ratio of a specific edge direction among edge directions included in the pedestrian candidate area is a predetermined ratio or more, and determines that the ratio is a predetermined ratio or more. The pedestrian detection device is characterized by determining that the pedestrian candidate region is a pedestrian candidate region obtained by imaging the utility pole reflector.
前記特定のエッジ方向は、前記電柱反射板に形成されるストライプに沿った方向であることを特徴とする歩行者検出装置。 In the pedestrian detection device according to claim 4,
The pedestrian detection apparatus according to claim 1, wherein the specific edge direction is a direction along a stripe formed on the utility pole reflector.
前記電柱反射板除外手段は、前記ラベリング密度が所定密度以上であるか否かを判断し、所定密度以上であると判断することに基づいて、その歩行者候補領域が電柱反射板を撮像した歩行者候補領域であると判定することを特徴とする歩行者検出装置。 In the pedestrian detection device according to claim 2 or 3,
The electric pole reflector exclusion means determines whether the labeling density is equal to or higher than a predetermined density, and based on determining that the labeling density is equal to or higher than the predetermined density, the pedestrian candidate area walks the electric pole reflector. A pedestrian detection device, characterized in that it is determined to be a pedestrian candidate area.
前記所定密度は、車両の周辺に位置する歩行者のラベリング密度よりも高い密度に設定されていることを特徴とする歩行者検出装置。 In the pedestrian detection device according to claim 6,
The said predetermined density is set to the density higher than the labeling density of the pedestrian located in the periphery of a vehicle, The pedestrian detection apparatus characterized by the above-mentioned.
前記歩行者候補領域の外形形状、この外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値に基づいて、道路に設置される道路標識を撮像した歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する道路標識除外手段をさらに備えることを特徴とする歩行者検出装置。 In the pedestrian detection apparatus as described in any one of Claims 1-7,
Based on the outer shape of the pedestrian candidate area, the average luminance value in the inscribed rectangle inscribed in the outer shape, and the luminance variance value in the inscribed rectangle inscribed in the outer shape, road signs installed on the road A pedestrian detection apparatus, further comprising a road sign excluding unit for excluding a pedestrian candidate area determined to be an imaged pedestrian candidate area from the pedestrian candidate area extraction image.
前記高輝度領域に外接する外接矩形の縦横比に基づいて、前記高輝度領域抽出画像から歩行者候補領域が抽出された画像である歩行者候補領域抽出画像を生成する歩行者候補領域抽出画像生成手段と、
前記歩行者候補領域の外形形状、この外形に内接する内接矩形内の輝度平均値、及び、この外形に内接する内接矩形内の輝度分散値に基づいて、道路に設置される道路標識を撮像した歩行者候補領域であると判定された歩行者候補領域を、前記歩行者候補領域抽出画像から除外する道路標識除外手段と、
前記歩行者候補領域抽出画像に基づいて、車両の周辺に存在する歩行者を検出する歩行者検出手段とを備えることを特徴とする歩行者検出装置。 A high-brightness region extraction image generation unit that generates a high-brightness region extraction image that is an image obtained by extracting a high-brightness region having a luminance equal to or higher than a predetermined luminance from an infrared image captured by an in-vehicle imaging device that images the periphery of the vehicle;
Pedestrian candidate area extraction image generation for generating a pedestrian candidate area extraction image that is an image obtained by extracting a pedestrian candidate area from the high luminance area extraction image based on an aspect ratio of a circumscribed rectangle circumscribing the high luminance area Means,
Based on the outer shape of the candidate area for the pedestrian, the average luminance value in the inscribed rectangle inscribed in the outer shape, and the luminance variance value in the inscribed rectangle inscribed in the outer shape, a road sign installed on the road Road sign excluding means for excluding a pedestrian candidate area determined to be an imaged pedestrian candidate area from the pedestrian candidate area extraction image;
A pedestrian detection device comprising: pedestrian detection means for detecting a pedestrian existing around a vehicle based on the pedestrian candidate region extraction image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009004159A JP5228926B2 (en) | 2009-01-12 | 2009-01-12 | Pedestrian detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009004159A JP5228926B2 (en) | 2009-01-12 | 2009-01-12 | Pedestrian detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010160770A true JP2010160770A (en) | 2010-07-22 |
JP5228926B2 JP5228926B2 (en) | 2013-07-03 |
Family
ID=42577866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009004159A Expired - Fee Related JP5228926B2 (en) | 2009-01-12 | 2009-01-12 | Pedestrian detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5228926B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141922A (en) * | 2011-01-06 | 2012-07-26 | Denso Corp | Image recognition device |
JP2013186681A (en) * | 2012-03-08 | 2013-09-19 | Omron Corp | Image processor, image processing method, and image processing program |
JP2020035334A (en) * | 2018-08-31 | 2020-03-05 | 株式会社デンソー | Image processing apparatus |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10149449A (en) * | 1996-11-20 | 1998-06-02 | Canon Inc | Picture division method, picture identification method, picture division device and picture identification device |
JP2001028050A (en) * | 1999-05-10 | 2001-01-30 | Honda Motor Co Ltd | Walker detecting device |
JP2004362265A (en) * | 2003-06-04 | 2004-12-24 | Honda Motor Co Ltd | Infrared image recognition device |
JP2006338611A (en) * | 2005-06-06 | 2006-12-14 | Matsushita Electric Ind Co Ltd | Moving object detection device |
JP2007156626A (en) * | 2005-12-01 | 2007-06-21 | Nissan Motor Co Ltd | Object type determination device and object type determination method |
JP2007279808A (en) * | 2006-04-03 | 2007-10-25 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
JP2008065463A (en) * | 2006-09-05 | 2008-03-21 | Toyota Motor Corp | Image processor |
JP2008123113A (en) * | 2006-11-09 | 2008-05-29 | Toyota Motor Corp | Pedestrian detection device |
JP2008135015A (en) * | 2002-01-18 | 2008-06-12 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
-
2009
- 2009-01-12 JP JP2009004159A patent/JP5228926B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10149449A (en) * | 1996-11-20 | 1998-06-02 | Canon Inc | Picture division method, picture identification method, picture division device and picture identification device |
JP2001028050A (en) * | 1999-05-10 | 2001-01-30 | Honda Motor Co Ltd | Walker detecting device |
JP2008135015A (en) * | 2002-01-18 | 2008-06-12 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
JP2004362265A (en) * | 2003-06-04 | 2004-12-24 | Honda Motor Co Ltd | Infrared image recognition device |
JP2006338611A (en) * | 2005-06-06 | 2006-12-14 | Matsushita Electric Ind Co Ltd | Moving object detection device |
JP2007156626A (en) * | 2005-12-01 | 2007-06-21 | Nissan Motor Co Ltd | Object type determination device and object type determination method |
JP2007279808A (en) * | 2006-04-03 | 2007-10-25 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
JP2008065463A (en) * | 2006-09-05 | 2008-03-21 | Toyota Motor Corp | Image processor |
JP2008123113A (en) * | 2006-11-09 | 2008-05-29 | Toyota Motor Corp | Pedestrian detection device |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141922A (en) * | 2011-01-06 | 2012-07-26 | Denso Corp | Image recognition device |
JP2013186681A (en) * | 2012-03-08 | 2013-09-19 | Omron Corp | Image processor, image processing method, and image processing program |
JP2020035334A (en) * | 2018-08-31 | 2020-03-05 | 株式会社デンソー | Image processing apparatus |
JP7192312B2 (en) | 2018-08-31 | 2022-12-20 | 株式会社デンソー | Image processing device |
Also Published As
Publication number | Publication date |
---|---|
JP5228926B2 (en) | 2013-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4263737B2 (en) | Pedestrian detection device | |
JP6358552B2 (en) | Image recognition apparatus and image recognition method | |
JP2007334751A (en) | Vehicle periphery monitoring device | |
JP2009187135A (en) | Vehicle periphery monitoring device, vehicle, program for monitoring vehicle periphery, and vehicle periphery monitoring method | |
JP2008286725A (en) | Person detector and detection method | |
JP6333975B2 (en) | Vehicle periphery monitoring device | |
JP5228926B2 (en) | Pedestrian detection device | |
JP4892066B2 (en) | Image processing apparatus and image processing program | |
JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP4537794B2 (en) | Image processing apparatus and image processing program | |
JP5018652B2 (en) | Object presence determination device | |
JP6772059B2 (en) | Electronic control devices, electronic control systems and electronic control methods | |
JP2009230530A (en) | Vehicle recognition device, vehicle and vehicle recognition program | |
US9064158B2 (en) | Vehicle surroundings monitoring device | |
JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP5862217B2 (en) | Marker detection and tracking device | |
JP2010286995A (en) | Image processing system for vehicle | |
JP3625442B2 (en) | Object detection method, object detection apparatus, and object detection program | |
JP5642785B2 (en) | Vehicle periphery monitoring device | |
JP2008028478A (en) | Obstacle detection system, and obstacle detecting method | |
JP2010062768A (en) | Night view system | |
JP5974705B2 (en) | Pop-up detection device | |
KR101705876B1 (en) | Method for detecting pedestrian candidate and method for recognizing pedestrian using the same | |
JP2007259076A (en) | Device for recognizing pedestrian | |
JP4887539B2 (en) | Object type determination device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5228926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |