JP2009276910A - Image processor, method and program - Google Patents

Image processor, method and program Download PDF

Info

Publication number
JP2009276910A
JP2009276910A JP2008126134A JP2008126134A JP2009276910A JP 2009276910 A JP2009276910 A JP 2009276910A JP 2008126134 A JP2008126134 A JP 2008126134A JP 2008126134 A JP2008126134 A JP 2008126134A JP 2009276910 A JP2009276910 A JP 2009276910A
Authority
JP
Japan
Prior art keywords
line segment
area
image
person
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008126134A
Other languages
Japanese (ja)
Other versions
JP4864043B2 (en
Inventor
Nobumasa Shiraki
伸征 白木
Koichiro Yamaguchi
晃一郎 山口
Akihiro Watanabe
章弘 渡邉
Yoshiki Ninomiya
芳樹 二宮
Takamasa Shirai
孝昌 白井
Satoshi Osanai
聡 小山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Central R&D Labs Inc
Original Assignee
Denso Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Central R&D Labs Inc filed Critical Denso Corp
Priority to JP2008126134A priority Critical patent/JP4864043B2/en
Publication of JP2009276910A publication Critical patent/JP2009276910A/en
Application granted granted Critical
Publication of JP4864043B2 publication Critical patent/JP4864043B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To extract a person candidate area having high accuracy that it is an area corresponding to a person from an image without causing complication of a configuration or processing. <P>SOLUTION: This image processor searches for/extracts the person candidate area estimated that it corresponds to the person with the whole area of the processing target image as a target (52), extracts edge pixels inside the individual extracted person candidate area (58-68), searches for/extracts an artificial linear line segment or curved line segment inside the area (70-86), sequentially performs processing for excluding the artificial line segment from an output target (90) when the artificial linear line segment or curved line segment clearly exists inside the area (affirmation in 88), and outputs the person candidate area left without being excluded from the output target as the area having the high accuracy that it is the person area (94). <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は画像処理装置、方法及びプログラムに係り、特に、画像から人物に相当すると推定される人物候補領域を抽出する画像処理装置、該画像処理装置に適用可能な画像処理方法、及び、コンピュータを画像処理装置として機能させるための画像処理プログラムに関する。   The present invention relates to an image processing apparatus, method, and program, and more particularly to an image processing apparatus that extracts a human candidate region estimated to correspond to a person from an image, an image processing method applicable to the image processing apparatus, and a computer. The present invention relates to an image processing program for functioning as an image processing apparatus.

従来より、車両に搭載したカメラによって車両の周囲を撮像し、この撮像によって得られた画像を対象として、人物に相当すると推定される画像部(人物候補領域)を探索・抽出する画像処理を行うことで、車両の周囲に存在する歩行者等の人物を検出する技術が提案されている。当該技術において、人物候補領域の探索・抽出に適用可能なアルゴリズムとしては、例えば非特許文献1に記載されているニューラルネットワーク法や部分空間法等、様々なアルゴリズムが存在しているが、これらのアルゴリズムを適用して人物候補領域の探索・抽出を行った場合、画像上での特徴が人物候補領域に類似している画像部、例えば一般道路上であれば、樹木や電柱、標識、白線、横断歩道等に相当する画像部が人物候補領域として誤抽出されることがある。   Conventionally, image processing is performed in which an image of a vehicle is captured by a camera mounted on the vehicle, and an image portion (person candidate region) estimated to correspond to a person is searched for and extracted from the image obtained by the imaging. Thus, a technique for detecting a person such as a pedestrian existing around the vehicle has been proposed. In this technique, various algorithms such as a neural network method and a subspace method described in Non-Patent Document 1 exist as algorithms applicable to search / extraction of human candidate regions. When searching / extracting a human candidate area by applying an algorithm, if the image part has an image part similar to the human candidate area, for example, on a general road, trees, utility poles, signs, white lines, An image portion corresponding to a pedestrian crossing may be erroneously extracted as a person candidate region.

人物候補領域の誤抽出を防止することは、人物候補領域を探索・抽出するアルゴリズムで人物候補領域か否かの判定に用いる閾値を、誤抽出を低減できる値へ変更することで実現できるが、この場合、人物候補領域の誤抽出は減少するものの、人物に相当する画像部が人物候補領域として抽出されない抽出漏れが増加する。また、人物候補領域の抽出漏れを防止することを重視して前記閾値の値を設定すると、抽出漏れは減少する一方で人物候補領域の誤抽出は増加する。このように、人物候補領域の誤抽出を防止することと、人物に相当する画像部が人物候補領域として抽出されない抽出漏れを回避することはトレードオフの関係にあり、誤抽出防止と抽出漏れ防止を両立させることは困難な課題であった。   Preventing erroneous extraction of a person candidate area can be realized by changing the threshold used to determine whether the person candidate area is a person candidate area in an algorithm for searching and extracting a person candidate area to a value that can reduce erroneous extraction. In this case, although the erroneous extraction of the person candidate area is reduced, the omission of extraction in which the image portion corresponding to the person is not extracted as the person candidate area increases. Also, if the threshold value is set with an emphasis on preventing omission of extraction of human candidate regions, the omission of extraction decreases while the extraction of human candidate regions increases. Thus, there is a trade-off between preventing erroneous extraction of a person candidate area and avoiding an extraction omission where an image portion corresponding to a person is not extracted as a person candidate area. It was a difficult task to achieve both.

上記に関連して特許文献1には、検出対象範囲を撮影した赤外線画像中で輝度が人物より放射された赤外線放射量に相当する範囲の領域を人物候補領域として検出すると共に、赤外画像と画像上の位置の対応関係が明確な可視画像の中の高輝度部分を検出し、検出した高輝度部分とその周辺部に対応する赤外画像の画像領域を人物検出対象領域より除外することで、自動車のヘッドライト等のように人体の露出部と温度がほぼ同程度で画像に占める面積が同等の物を人物候補領域として誤検出する割合を低減する技術が開示されている。   In relation to the above, Patent Document 1 detects, as an infrared image, an area in a range corresponding to the amount of infrared radiation emitted from a person in an infrared image obtained by photographing a detection target range, By detecting a high-luminance part in a visible image with a clear relationship between positions on the image, and excluding the detected image area of the infrared image corresponding to the high-luminance part and its periphery from the human detection target area. In addition, a technique is disclosed that reduces the rate of erroneously detecting an object having a similar area to an image, such as a headlight of an automobile, and having the same area as the human candidate area.

また特許文献2には、赤外線カメラで歩行者を検出するにあたり、可視光カメラで道路のレーンマーキングを撮像し、レーンマーキング位置の近傍の領域を歩行者の探索領域とすると共に、レーンマーキング位置により挟まれる領域を歩行者の探索領域に設定し、探索領域のみを歩行者の探索・検出の対象とすることで、処理時間を短縮し早期警報を可能とする技術が開示されている。   Further, in Patent Document 2, when detecting a pedestrian with an infrared camera, a lane marking of a road is imaged with a visible light camera, and an area near the lane marking position is set as a pedestrian search area. A technology that shortens the processing time and enables early warning by setting a sandwiched area as a pedestrian search area and setting only the search area as a pedestrian search / detection target is disclosed.

また特許文献3には、静止画像中から人物の顔領域を抽出する技術が提案されており、顔領域を特定する前処理として、2値化後の画像上で分割した領域の輪郭に直線が存在する比率により人工物を判断することが記載されている。
石井健一郎,前田英作,上田修功,村瀬洋,「わかりやすいパターン認識」,オーム社,1998年8月 特開2001−108758号公報 特開2002−362302号公報 特開平8−122944号公報
Patent Document 3 proposes a technique for extracting a human face area from a still image. As a pre-process for specifying a face area, a straight line is drawn on the outline of the divided area on the binarized image. It is described that an artificial object is judged based on an existing ratio.
Kenichiro Ishii, Eisaku Maeda, Noriyoshi Ueda, Hiroshi Murase, “Intuitive Pattern Recognition”, Ohmsha, August 1998 JP 2001-108758 A JP 2002-362302 A JP-A-8-122944

しかしながら、特許文献1に記載の技術は、赤外画像及び可視画像の2つの画像を用いて人物候補領域を検出するものであり、赤外線カメラ及び可視光カメラを各々設ける必要があるので装置構成が複雑化するという問題がある。特に、特許文献1に記載の技術では、赤外線画像中で輝度が人物より放射された赤外線放射量に相当する範囲の領域を人物候補領域として検出しているので、赤外画像を得るための赤外線カメラが必須であるが、可視画像は車両の周囲に存在する歩行者等の検出以外に先行車両・道路標識・レーンマークなどの検出等にも利用可能であるのに対し、赤外画像は熱源を写す機器であるため歩行者等以外の検出には向いておらず、用途も限られており汎用性が低く、歩行者等の検出のみを目的として車両に赤外線カメラを搭載することはコスト的に望ましくない。また特許文献1の技術では、赤外画像上の位置と可視画像上の位置の対応関係が明確である必要があるが、個々のカメラを収差の小さい光学系にする必要があるのと、写り方が全く異なる2種類の画像の対応関係を画像処理によって導く必要があり、装置構成の一層の複雑化、或いは処理負荷の増大を招くという問題もある。   However, the technique described in Patent Document 1 detects a person candidate area using two images, an infrared image and a visible image, and it is necessary to provide an infrared camera and a visible light camera, respectively. There is a problem of increasing complexity. In particular, in the technique described in Patent Document 1, an area in a range corresponding to the amount of infrared radiation emitted from a person in an infrared image is detected as a person candidate area. Cameras are essential, but visible images can be used to detect pedestrians and other vehicles in the vicinity of vehicles, as well as detecting preceding vehicles, road signs, lane marks, etc. It is not suitable for detection of people other than pedestrians and the like, and its use is limited and low in versatility. It is costly to install an infrared camera on a vehicle only for the detection of pedestrians, etc. Not desirable. In the technique of Patent Document 1, the correspondence between the position on the infrared image and the position on the visible image needs to be clear, but it is necessary to make each camera an optical system with small aberration. However, there is a problem in that the correspondence between two different types of images must be derived by image processing, which further complicates the apparatus configuration or increases the processing load.

また、特許文献2に記載の技術についても、特許文献1に記載の技術と同様に赤外画像及び可視画像の2つの画像を用いて人物候補領域を検出するものであるので、装置構成が複雑化するという問題がある。また、特許文献2に記載の技術は、レーンマーキングが存在していない画像には適用できない(レーンマーキングが存在しない道路を走行中には適用できない)という欠点があり、画像中にレーンマーキングが存在していたとしても、画像からレーンマーキングを抽出する処理は複雑で処理装置に多大な処理負荷が加わると共に、走行中の道路にアップダウンが有る場合、このアップダウンを正確に検出しておかないと歩行者の探索領域を適正に設定できないという問題もある。   Further, the technique described in Patent Document 2 also detects a human candidate region using two images, an infrared image and a visible image, as in the technique described in Patent Document 1, so that the apparatus configuration is complicated. There is a problem of becoming. In addition, the technique described in Patent Document 2 has a drawback that it cannot be applied to an image in which no lane marking exists (it cannot be applied to a road on which no lane marking exists), and lane marking is present in the image. Even if it is, the process of extracting the lane marking from the image is complicated, and a processing load is added to the processing device. If there is an up / down on the road that is running, this up / down is not accurately detected. There is also a problem that the search area for pedestrians cannot be set appropriately.

また、特許文献3に記載の技術では、静止画像を2値化した後に領域分割を行っているが、車両の周囲を撮像することで得られる画像(動画像等)等のような複雑な画像にこの技術を適用したとしても、単一の閾値による2値化では画像の領域分割を適正に行うことは困難である。また、適正に分割されていない領域の輪郭の直線性を調べても、期待される結果は得られない。   Moreover, in the technique described in Patent Document 3, region segmentation is performed after binarizing a still image, but a complex image such as an image (moving image or the like) obtained by capturing an image of the periphery of the vehicle. Even if this technique is applied, it is difficult to properly divide the image area by binarization using a single threshold. Moreover, even if the linearity of the contour of the region that is not properly divided is examined, an expected result cannot be obtained.

本発明は上記事実を考慮して成されたもので、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できる画像処理装置、画像処理方法及び画像処理プログラムを得ることが目的である。   The present invention has been made in consideration of the above-described facts, and an image processing apparatus and image processing that can extract a human candidate area with a high degree of accuracy, which is an area corresponding to a person, from an image without complicating the configuration and processing. The object is to obtain a method and an image processing program.

画像には様々な被写体が写っている可能性があるが、画像に人工物が写っていた場合(例えば車両から周囲を撮像した画像であれば、上記の人工物として電柱や標識、白線、横断歩道、街路樹等が写っている可能性がある)、画像中の人工物に相当する画像部には、直線や直線に近い線分、一定曲率の曲線、一定曲率に近い曲線等の人工的な線分が存在している可能性が非常に高い。そして、人工物に相当する画像部が存在している画像中の領域には、人物に相当する画像部が存在していない可能性が非常に高い。   There may be various subjects in the image, but if there are artifacts in the image (for example, if the image is taken from the vehicle, the above-mentioned artifacts are the utility poles, signs, white lines, crossings, etc. There may be sidewalks, roadside trees, etc.), and the image part corresponding to the artifacts in the image has a straight line, a line segment close to a straight line, a curve with a certain curvature, a curve with a certain curvature, etc. It is very likely that a straight line segment exists. It is very likely that there is no image portion corresponding to a person in an area where an image portion corresponding to an artificial object exists.

上記に基づき請求項1記載の発明に係る画像処理装置は、処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段と、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段と、を含んで構成されている。   Based on the above, the image processing apparatus according to the first aspect of the present invention includes an artificial line segment detecting unit that detects an artificial line segment existing in a visible image to be processed, and the visible image to be processed. A human candidate region extraction unit that extracts a human candidate region that is estimated to correspond to a person that exists in a region excluding a region in which the artificial line segment detected by the artificial line segment detection unit exists. It is configured to include.

請求項1記載の発明では、処理対象の可視画像中に存在している人工的線分を検出しているので、人工的線分の検出結果に基づき、処理対象の可視画像のうち、人工物に相当する画像部が存在している確度が高い領域を判断することができる。そして、請求項1記載の発明では、処理対象の可視画像のうち人工的線分検出手段によって検出された人工的線分が存在している領域、すなわち人物に相当する画像部が存在していない可能性が非常に高い領域を除外した領域を対象として、人物に相当すると推定される人物候補領域を抽出するので、人工物に相当する画像部が存在している人工物領域を人物候補領域として誤抽出することを防止することができ、人物に相当する領域である確度の高い人物候補領域を抽出することができる。   In the first aspect of the present invention, since the artificial line segment existing in the visible image to be processed is detected, based on the detection result of the artificial line segment, the artifact in the visible image to be processed It is possible to determine a region having a high probability that an image portion corresponding to the above exists. In the first aspect of the present invention, the region where the artificial line segment detected by the artificial line segment detection means exists in the visible image to be processed, that is, the image portion corresponding to the person does not exist. Since the candidate candidate area that is estimated to be equivalent to a person is extracted from the area that excludes a highly likely area, the artifact area in which the image portion corresponding to the artifact exists is used as the candidate person area. It is possible to prevent erroneous extraction, and it is possible to extract a person candidate area with high accuracy that is an area corresponding to a person.

また、請求項1記載の発明では、可視画像を用いて人物候補領域の抽出を行うので、人物候補領域の抽出にあたって赤外画像は不要であり、赤外画像を取得するために構成が複雑化したり、赤外画像上の位置と可視画像上の位置を対応付けるための処理を行う必要もない。従って、請求項1記載の発明によれば、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出することができる。   In the first aspect of the present invention, since the human candidate region is extracted using the visible image, an infrared image is not necessary for extracting the human candidate region, and the configuration is complicated to obtain the infrared image. Or processing for associating the position on the infrared image with the position on the visible image. Therefore, according to the first aspect of the present invention, it is possible to extract a human candidate area with high accuracy, which is an area corresponding to a person, from an image without complicating the configuration and processing.

なお、請求項1記載の発明は、特許文献3に記載の技術のように2値化・領域分割を経て得られた領域の輪郭に基づいて人工物を判断するものではなく、複雑な画像においても安定して検出できる画像のエッジ(微分値)を利用して検出可能な人工的線分(直線や曲線等)を検出し、人工的線分の検出結果に基づいて人物候補領域を抽出している。画像のエッジは、上記のように2値化・領域分割を行った場合の領域の輪郭としても現れるが、それ以外の部分にも現れる。また特許文献3に記載の技術では、人工物の判断精度が二値化や領域分割の処理精度によって左右されるが、画像のエッジを利用して人工的線分を検出する場合は人工的線分の検出精度が二値化等の他の処理の精度の影響を受けることもない。従って、請求項1記載の発明は人工的線分を正確に検出することができ、人物に相当する領域である確度の高い人物候補領域を精度良く抽出することができる。   Note that the invention described in claim 1 does not judge an artificial object based on the outline of an area obtained through binarization and area division as in the technique described in Patent Document 3, but in a complicated image. Detects artificial line segments (straight lines, curves, etc.) that can be detected using image edges (differential values) that can be detected stably, and extracts human candidate regions based on the detection results of artificial line segments. ing. The edge of the image also appears as the outline of the area when binarization and area division are performed as described above, but also appears in other parts. In the technique described in Patent Document 3, the accuracy of artifact determination depends on the accuracy of binarization and area segmentation. However, when an artificial line segment is detected using an edge of an image, an artificial line is detected. The minute detection accuracy is not affected by the accuracy of other processes such as binarization. Therefore, the invention according to claim 1 can accurately detect an artificial line segment, and can extract a human candidate region with high accuracy, which is a region corresponding to a person, with high accuracy.

なお、請求項1記載の発明において、例えば請求項2に記載したように、人工的線分検出手段は、人物候補領域抽出手段により処理対象の可視画像の全領域を対象として人物候補領域の探索が行われた後に、当該探索で抽出された人物候補領域を対象として人工的線分を検出し、人物候補領域抽出手段は、処理対象の可視画像の全領域を対象として人物候補領域の探索を行い、人工的線分検出手段により前記人工的線分の検出が行われた後に、前記探索で抽出された人物候補領域のうち人工的線分検出手段によって領域内で人工的線分が検出された人物候補領域を人物候補から除外するように構成することができる。請求項2記載の発明は、まず処理対象の可視画像の全領域を対象として人物候補領域の探索を行うので、処理対象の可視画像中に人物候補領域が存在していなかった場合(探索の結果、人物候補領域が抽出されなかった場合)は以降の処理を中止することで、処理対象の可視画像中に人物候補領域が存在していなかった場合の処理負荷を軽減することが可能となる。   In the invention described in claim 1, for example, as described in claim 2, the artificial line segment detection means searches for the person candidate area for the entire area of the visible image to be processed by the person candidate area extraction means. Is detected, an artificial line segment is detected for the candidate human region extracted in the search, and the human candidate region extracting means searches for the human candidate region for the entire region of the visible image to be processed. After the artificial line segment is detected by the artificial line segment detection means, an artificial line segment is detected in the area by the artificial line segment detection means among the candidate human regions extracted in the search. The person candidate area can be excluded from the person candidates. According to the second aspect of the present invention, since the human candidate area is searched for the entire area of the visible image to be processed, when the human candidate area does not exist in the visible image to be processed (result of the search) In the case where no person candidate area is extracted), it is possible to reduce the processing load when the person candidate area does not exist in the visible image to be processed by stopping the subsequent processing.

また、請求項1記載の発明において、例えば請求項3に記載したように、人工的線分検出手段は、処理対象の可視画像の全領域を対象として人工的線分の検出を行い、人物候補領域抽出手段は、処理対象の可視画像のうち人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域を対象として人物候補領域の探索を行うように構成してもよい。請求項3記載の発明は、処理対象の可視画像のうち人工的線分が存在している領域を除外した領域を対象として人物候補領域の探索を行うので、一般にアルゴリズムが複雑で処理時間が長時間化し易い人物候補領域の探索における探索範囲が請求項2記載の発明よりも狭くなり、人物候補領域の探索に要する時間を短縮することができる。   Further, in the invention described in claim 1, for example, as described in claim 3, the artificial line segment detection means detects the artificial line segment in the entire region of the visible image to be processed, and the person candidate The region extraction means is configured to search for a human candidate region for a region excluding the region where the artificial line segment detected by the artificial line segment detection unit exists in the visible image to be processed. May be. In the invention described in claim 3, since the human candidate area is searched for the area excluding the area where the artificial line segment exists in the visible image to be processed, the algorithm is generally complicated and the processing time is long. The search range for searching for a candidate human area that is likely to be timed becomes narrower than that of the invention according to claim 2, and the time required for searching for the candidate person area can be shortened.

また、請求項1記載の発明において、人工的線分検出手段は、例えば請求項4に記載したように、人工的線分として、処理対象の可視画像中のエッジがほぼ直線状に連続して成る直線状線分、又は、処理対象の可視画像中のエッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している曲線状線分を検出するように構成することができる。人工的線分として上記の直線状線分や曲線状線分を検出することにより、画像中の人工物領域に存在している人工的線分を確実に検出することができる。   Further, in the invention described in claim 1, the artificial line segment detecting means, as described in claim 4, for example, as an artificial line segment, the edges in the visible image to be processed are substantially linearly continuous. To detect a straight line segment or a curved line segment in which edges in a visible image to be processed are formed continuously and the variation of curvature in the continuous edge transitions within a predetermined range with respect to a reference value. Can be configured. By detecting the straight line segment or the curved line segment as the artificial line segment, the artificial line segment existing in the artifact region in the image can be reliably detected.

また、請求項4記載の発明において、人工的線分検出手段は、例えば処理対象の可視画像中に存在する直線状線分及び曲線状線分を全て(線分の延びる方向等に拘わらず)抽出するように構成してもよいが、例えば請求項5に記載したように、人工的線分として、直線状線分のうち、実空間上での鉛直方向に対応する処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出するように構成してもよい。この場合、曲線状成分が全て検出対象外になると共に、可視画像中の縦方向とは異なる方向に沿って延びる直線状成分も検出対象外になり、処理対象の可視画像中に存在する人工的線分を全て検出することはできないが、人工的線分検出手段による人工的線分の検出を短時間で行うことが可能となる。また、車両から周囲を撮像した画像等では、画像に写る可能性のある人工物は、画像中の縦方向にほぼ沿って延びる直線状線分を生じさせる人工物が殆どであり、このような画像を処理対象とする場合は、上記のように処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出するように人工的線分検出手段を構成したとしても、人物に相当する領域の抽出精度が低下することを回避することができる。   In the invention according to claim 4, the artificial line segment detecting means, for example, includes all straight line segments and curved line segments existing in the visible image to be processed (regardless of the extending direction of the line segment, etc.). Although it may be configured to extract, for example, as described in claim 5, as an artificial line segment, among straight line segments, in a visible image to be processed corresponding to a vertical direction in real space Alternatively, only a straight line segment extending substantially along the vertical direction may be detected. In this case, all the curved components are excluded from the detection target, and the linear components extending along the direction different from the vertical direction in the visible image are also excluded from the detection target, and the artificial components existing in the visible image to be processed are present. Although all the line segments cannot be detected, the artificial line segment can be detected by the artificial line segment detection means in a short time. In addition, in an image captured from the vehicle and the like, most of the artifacts that may appear in the image are artifacts that generate a straight line segment extending substantially along the vertical direction in the image. When an image is a processing target, even if the artificial line segment detection means is configured to detect only a straight line segment extending substantially along the vertical direction in the visible image to be processed as described above, It can be avoided that the extraction accuracy of the region corresponding to is reduced.

また、請求項4記載の発明において、人工的線分検出手段による直線状線分又は曲線状線分の抽出は、具体的には、例えば請求項6に記載したように、処理対象の可視画像を微分することで処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素の中から単一のエッジ画素を処理対象として選択し、処理対象のエッジ画素の近傍かつ処理対象のエッジ画素に対して直線状成分又は曲線状成分に対応する角度範囲内に他のエッジ画素が存在しているか否か判定し、該当するエッジ画素が存在していれば該当するエッジ画素を新たな処理対象として選択する処理を繰り返すことで、人工的線分として、エッジ画素が連なって構成される直線状線分又は曲線状線分を検出することで実現することができる。   Further, in the invention according to claim 4, the extraction of the straight line segment or the curved line segment by the artificial line segment detection means is specifically, for example, as described in claim 6, the visible image to be processed. Is extracted, edge pixels corresponding to the edges in the image to be processed are extracted, and then a single edge pixel is selected as the processing target from the extracted edge pixels, and the processing is performed in the vicinity of the processing target edge pixel. It is determined whether there is another edge pixel within the angle range corresponding to the linear component or the curved component with respect to the target edge pixel, and if the corresponding edge pixel exists, the corresponding edge pixel is determined. By repeating the process of selecting as a new processing target, it can be realized by detecting a straight line segment or a curved line segment composed of a series of edge pixels as an artificial line segment.

また、請求項4記載の発明において、人工的線分検出手段による直線状線分又は曲線状線分の抽出は、上記に限られるものではなく、例えば請求項7に記載したように、処理対象の可視画像を微分することで処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素に対してハフ変換を適用することで、人工的線分として、エッジ画素が連なって構成される直線状線分又は曲線状線分を検出することによっても実現することができる。   In addition, in the invention according to claim 4, the extraction of the straight line segment or the curved line segment by the artificial line segment detection means is not limited to the above. For example, as described in claim 7, the processing target After the edge pixels corresponding to the edges in the image to be processed are extracted by differentiating the visible image, the Hough transform is applied to the extracted edge pixels, so that the edge pixels are connected as an artificial line segment. This can also be realized by detecting a straight line segment or a curved line segment configured as described above.

また、請求項1〜請求項7の何れかに記載の発明において、処理対象の可視画像としては、例えば請求項8に記載したように、車両に搭載された撮像手段により車両の周囲を撮像することで得られた動画像が好適である。   Moreover, in the invention according to any one of claims 1 to 7, as the visible image to be processed, for example, as described in claim 8, the periphery of the vehicle is imaged by an imaging means mounted on the vehicle. The moving image obtained by this is suitable.

請求項9記載の発明に係る画像処理方法は、処理対象の可視画像の全領域を対象として人物に相当すると推定される人物候補領域を探索し、当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、前記探索で抽出された人物候補領域のうち領域内で前記人工的線分が検出された人物候補領域を人物候補から除外することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出するので、請求項1,2に記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できると共に、処理対象の可視画像中に人物候補領域が存在していなかった場合の処理負荷を軽減することが可能となる。   The image processing method according to the invention described in claim 9 searches for a human candidate area estimated to correspond to a person for all areas of a visible image to be processed, and targets a human candidate area extracted by the search. By detecting the artificial line segment and excluding the human candidate area in which the artificial line segment is detected in the human candidate area extracted in the search from the human candidate, the visible image to be processed Since the person candidate area existing in the area excluding the area where the artificial line segment exists is extracted, the configuration and processing are not complicated as in the inventions according to claims 1 and 2. It is possible to extract a human candidate area with high accuracy, which is an area corresponding to a person, from the image, and to reduce the processing load when the human candidate area does not exist in the visible image to be processed.

請求項10記載の発明に係る画像処理方法は、処理対象の可視画像の全領域を対象して人工的線分を検出し、前記処理対象の可視画像のうち前記人工的線分が存在している領域を除外した領域を対象として人物に相当すると推定される人物候補領域を探索することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出するので、請求項1,3に記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できると共に、人物候補領域の探索に要する時間を短縮することができる。   The image processing method according to the invention of claim 10 detects an artificial line segment for the entire region of the visible image to be processed, and the artificial line segment exists in the visible image to be processed. By searching for a candidate human area that is estimated to be equivalent to a person with an area that excludes the existing area as a target, it exists in the area that excludes the area where the artificial line segment exists in the visible image to be processed Since the person candidate area is extracted, similarly to the first and third aspects of the invention, it is possible to extract a person candidate area having a high degree of accuracy, which is an area corresponding to a person, without complicating the configuration and processing. At the same time, the time required for searching for the person candidate area can be shortened.

請求項11記載の発明に係る画像処理プログラムは、コンピュータを、処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段、及び、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段として機能させる。   According to an eleventh aspect of the present invention, there is provided an image processing program comprising: an artificial line segment detecting unit that detects an artificial line segment existing in a visible image to be processed; Among them, function as a human candidate area extracting means for extracting a human candidate area estimated to be equivalent to a person existing in an area excluding the area where the artificial line segment detected by the artificial line segment detecting means exists Let

請求項11記載の発明に係る画像処理プログラムは、コンピュータを、上記の人工的線分検出手段、人物候補領域抽出手段として機能させるためのプログラムであるので、コンピュータが請求項11記載の発明に係る画像処理プログラムを実行することで、コンピュータが請求項1に記載の画像処理装置として機能することになり、請求項1記載の発明と同様に、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出することができる。   The image processing program according to the invention described in claim 11 is a program for causing a computer to function as the above-described artificial line segment detection means and person candidate area extraction means. By executing the image processing program, the computer functions as the image processing apparatus according to claim 1, and, similarly to the invention according to claim 1, the computer can function without complication of configuration and processing. It is possible to extract a human candidate area with high accuracy, which is a corresponding area, from an image.

以上説明したように本発明は、処理対象の可視画像中に存在している人工的線分を検出し、処理対象の可視画像のうち人工的線分を除外した領域に存在する人物候補領域を抽出するようにしたので、構成や処理の複雑化を招くことなく、人物に相当する領域である確度の高い人物候補領域を画像から抽出できる、という優れた効果を有する。   As described above, the present invention detects an artificial line segment that exists in a visible image to be processed, and extracts a human candidate area that exists in an area that excludes the artificial line segment from the visible image to be processed. Since extraction is performed, there is an excellent effect that it is possible to extract a human candidate region having a high degree of accuracy, which is a region corresponding to a person, from an image without complicating the configuration and processing.

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。   Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.

〔第1実施形態〕
図1には本実施形態に係る物体検出装置10が示されている。物体検出装置10は車両12(図2参照)に搭載され、車両12の周囲(例えば車両12の前方)に存在する物体を検出する装置であり、可視光カメラ14と画像処理部24がバス26を介して接続されて構成されている。なお、物体検出装置10は、車両12に搭載され各種の機能を備えた車両制御システムの一部であり、バス26には実際は各種のセンサや各種の制御部が接続されているが、図1ではこれらの図示は省略している。
[First Embodiment]
FIG. 1 shows an object detection apparatus 10 according to the present embodiment. The object detection device 10 is mounted on a vehicle 12 (see FIG. 2) and detects an object existing around the vehicle 12 (for example, in front of the vehicle 12). The visible light camera 14 and the image processing unit 24 are connected to a bus 26. It is connected and configured. The object detection device 10 is a part of a vehicle control system that is mounted on the vehicle 12 and has various functions, and various sensors and various control units are actually connected to the bus 26. However, these illustrations are omitted.

可視光カメラ14は、CCDイメージセンサやMOS型固体撮像素子等から成り可視光域に感度を有する撮像素子16、アナログ処理部18、A/D(アナログデジタル)変換器20、デジタル処理部22を備え、これらが順に接続されて構成されている。図2に示すように、可視光カメラ14は車両12の室内のうち、車両12のウインドシールドガラスの上端近傍でかつ車両12の左右方向およそ中央の位置(例えばルームミラーの近傍)に、車両12の前方が撮像範囲となる向きで配置されている。撮像素子16は、車両12前方の撮像範囲内からの光が受光面に入射され、受光面に入射された光を光電変換することで、車両12前方の撮像範囲内の状況を表すアナログの画像信号を一定のフレームレートで出力する。   The visible light camera 14 includes a CCD image sensor, a MOS type solid-state imaging device, and the like, and an imaging device 16 having an sensitivity in the visible light region, an analog processing unit 18, an A / D (analog / digital) converter 20, and a digital processing unit 22. And these are connected in order. As shown in FIG. 2, the visible light camera 14 is located in the vehicle 12 near the upper end of the windshield glass of the vehicle 12 and approximately in the center in the left-right direction of the vehicle 12 (for example, in the vicinity of the room mirror). Are arranged in an orientation in which the front of the image pickup range. The image sensor 16 receives light from the imaging range in front of the vehicle 12 on the light receiving surface, and photoelectrically converts the light incident on the light receiving surface to represent an analog image representing a situation in the imaging range in front of the vehicle 12. The signal is output at a constant frame rate.

アナログ処理部18は、撮像素子16から出力された画像信号を増幅すると共に、増幅した画像信号に対してホワイトバランス等の補正を行う。アナログ処理部18から出力された画像信号は、A/D変換器20によってデジタルの画像データに変換されてデジタル処理部22へ入力され、デジタル処理部22によって色補正等の処理が行われた後に、バス26を介して画像処理部24へ出力される。なお、可視光カメラ14から画像処理部24へ出力される画像データは、本発明に係る処理対象の可視画像(より詳しくは請求項8に記載の動画像)に対応している。   The analog processing unit 18 amplifies the image signal output from the image sensor 16 and corrects white balance or the like on the amplified image signal. The image signal output from the analog processing unit 18 is converted into digital image data by the A / D converter 20 and input to the digital processing unit 22, and after processing such as color correction is performed by the digital processing unit 22. And output to the image processing unit 24 via the bus 26. The image data output from the visible light camera 14 to the image processing unit 24 corresponds to a visible image to be processed according to the present invention (more specifically, a moving image according to claim 8).

画像処理部24はマイクロコンピュータ等から成り、CPU24A、ROMやRAM等から成るメモリ24B、HDD(Hard Disk Drive)やフラッシュメモリ等から成る不揮発性の記憶部24Cを備えており、可視光カメラ14からバス26を介して入力された画像データは記憶部24Cに順に記憶される。なお、記憶部24Cの記憶容量節減のため、可視光カメラ14から入力された画像データは一旦圧縮した後に記憶部24Cに記憶させるようにしてもよい。また記憶部24Cには、CPU24Aによって後述する人物候補領域抽出処理を行うための人物候補領域抽出プログラムが予めインストールされている。この人物候補領域抽出プログラムは請求項11に記載の画像処理プログラムに対応しており、画像処理部24は、CPU24Aによって人物候補領域抽出プログラムが実行されることで本発明に係る画像処理装置として機能する。   The image processing unit 24 includes a microcomputer and the like, and includes a CPU 24A, a memory 24B including a ROM and a RAM, a non-volatile storage unit 24C including an HDD (Hard Disk Drive), a flash memory, and the like. Image data input via the bus 26 is sequentially stored in the storage unit 24C. In order to save the storage capacity of the storage unit 24C, the image data input from the visible light camera 14 may be temporarily compressed and stored in the storage unit 24C. The storage unit 24C is preinstalled with a human candidate region extraction program for performing a human candidate region extraction process described later by the CPU 24A. This person candidate area extraction program corresponds to the image processing program according to claim 11, and the image processing unit 24 functions as an image processing apparatus according to the present invention by the person candidate area extraction program being executed by the CPU 24 </ b> A. To do.

次に本第1実施形態の作用として、本第1実施形態に係る人物候補領域抽出処理について図3を参照して説明する。なお、この人物候補領域抽出処理は、車両12のイグニッションスイッチがオンされている間、画像処理部24によって繰り返し実行される。また、人物候補領域抽出処理の実行周期は、撮像素子16からの画像信号の出力周期(フレームレートの逆数)と同一であってもよいし、画像信号の出力周期よりも長くてもよい。また、第1実施形態に係る人物候補領域抽出処理は請求項9に記載の画像処理方法が適用された処理である。   Next, as an operation of the first embodiment, a person candidate region extraction process according to the first embodiment will be described with reference to FIG. This person candidate region extraction process is repeatedly executed by the image processing unit 24 while the ignition switch of the vehicle 12 is turned on. The execution period of the person candidate area extraction process may be the same as the output period of the image signal from the image sensor 16 (the reciprocal of the frame rate), or may be longer than the output period of the image signal. In addition, the person candidate area extraction processing according to the first embodiment is processing to which the image processing method according to claim 9 is applied.

第1実施形態に係る人物候補領域抽出処理では、まずステップ50において、可視光カメラ14から入力されて記憶部24Cに一旦記憶された1フレーム分の画像データを記憶部24Cから読み出し、処理対象画像の画像データとしてメモリ24Bに記憶させる。また、次のステップ52では、画像データをメモリ24Bに記憶させた処理対象画像の全領域を対象として、パターン認識により処理対象画像中に存在している人物に相当すると推定される領域(人物候補領域)の探索・抽出を行う。ステップ52におけるパターン認識としては、例えば非特許文献1に記載されているニューラルネットワーク法や部分空間法等に代表される統計的機械学習によるパターン認識が好適であるが、他の手法を適用してもよい。   In the candidate human region extraction process according to the first embodiment, first, in step 50, image data for one frame input from the visible light camera 14 and temporarily stored in the storage unit 24C is read from the storage unit 24C, and the processing target image is read out. The image data is stored in the memory 24B. In the next step 52, the entire region of the processing target image in which the image data is stored in the memory 24B is targeted, and the region (person candidate) estimated to correspond to the person existing in the processing target image by pattern recognition. Search / extract (region). As pattern recognition in step 52, pattern recognition by statistical machine learning represented by, for example, the neural network method and subspace method described in Non-Patent Document 1 is preferable, but other methods are applied. Also good.

統計的機械学習によるパターン認識は、認識対象の画像を多数集め、集めた多数の画像から機械学習により共通する特徴を幾つか抽出しておき、抽出した特徴を用いてパターン認識を行うものである。機械学習によって多数の画像から抽出された複数の特徴の集合は学習モデルと称されている。ステップ52のようにパターン認識によって人物候補領域の探索・抽出を行う場合は、学習モデルとして、例として図4(B)に示すような人物候補領域の輪郭を表す学習モデルが用いられる。なお、学習モデルの外形形状は、図4(B)に示す例のように矩形状であることが多いが、それ以外の形状を用いることも可能である。また、人物候補領域の探索・抽出を行う際の学習モデルとしては、図4(B)に示すように直立している人物の輪郭形状を表す学習モデル以外に、例えば歩行している人物の輪郭形状を表す学習モデルや、自転車等の二輪車に乗車している人物の輪郭形状を表す学習モデル等も用いてもよい。   Pattern recognition by statistical machine learning involves collecting a large number of recognition target images, extracting some common features from the collected images by machine learning, and performing pattern recognition using the extracted features. . A set of a plurality of features extracted from a large number of images by machine learning is called a learning model. When searching / extracting a human candidate area by pattern recognition as in step 52, a learning model representing the outline of the human candidate area as shown in FIG. 4B is used as an example learning model. The outer shape of the learning model is often rectangular as in the example shown in FIG. 4B, but other shapes can also be used. In addition, as a learning model for searching / extracting a human candidate region, for example, a contour of a walking person other than the learning model representing the contour shape of an upright person as shown in FIG. A learning model that represents a shape, a learning model that represents the contour shape of a person riding a two-wheeled vehicle such as a bicycle, and the like may also be used.

統計的機械学習によるパターン認識は、処理対象画像上の任意の位置に上記の学習モデルを配置し、配置した学習モデルと処理対象画像上の学習モデルが重なっている領域との類似度の評価値を演算することを、処理対象画像上での学習モデルの配置位置、及び、処理対象画像に対する学習モデルの相対サイズを変化させながら繰り返すことによって為される。なお、学習モデルのサイズ変更は、通常、図4(A)に示すように、処理対象画像のうち車両12からの距離が大きい物体の画像部が存在している領域では学習モデルのサイズを小さくし、車両12からの距離が小さい物体の画像部が存在している領域では学習モデルのサイズを大きくする。   Pattern recognition by statistical machine learning is the evaluation value of the similarity between the learning model placed in an arbitrary position on the processing target image and the area where the placed learning model overlaps the learning model on the processing target image Is repeated by changing the arrangement position of the learning model on the processing target image and the relative size of the learning model with respect to the processing target image. As shown in FIG. 4A, the learning model is usually resized by reducing the size of the learning model in an area where an image portion of an object having a large distance from the vehicle 12 exists in the processing target image. Then, the size of the learning model is increased in an area where an image portion of an object having a small distance from the vehicle 12 exists.

そして、演算した評価値が閾値以上になった場合、そのとき学習モデルと重なっている領域を人物候補領域と判断し、人物候補領域と判断した領域の位置や大きさ等をメモリ24Bに記憶させる。例えば処理対象画像が図4(A)に示す画像であった場合は、処理対象画像のうち、例として図4(C)に矩形で囲んで示す領域が人物候補領域として抽出され、その位置や大きさ等がメモリ24Bに記憶されることになる。   If the calculated evaluation value is equal to or greater than the threshold, the area overlapping with the learning model at that time is determined as the person candidate area, and the position and size of the area determined as the person candidate area are stored in the memory 24B. . For example, if the processing target image is the image shown in FIG. 4A, an area surrounded by a rectangle in FIG. 4C is extracted as a person candidate area from the processing target image as an example, The size and the like are stored in the memory 24B.

次のステップ54では、ステップ52における処理によって処理対象画像から人物候補領域が抽出されたか否か判定する。この判定が否定された場合は人物候補領域抽出処理を終了する。これにより、車両12の周囲に人物が存在しておらず、処理対象画像が人物に相当する人物領域が存在していない画像であった場合に、画像処理部24に加わる負荷を軽減することができる。また、ステップ54の判定が肯定された場合はステップ56へ移行し、ステップ52の処理によって処理対象画像から抽出された人物候補領域の中から、処理対象として単一の人物候補領域を選択する。   In the next step 54, it is determined whether or not a person candidate region has been extracted from the processing target image by the processing in step 52. If this determination is negative, the person candidate area extraction process is terminated. Thereby, when no person is present around the vehicle 12 and the processing target image is an image in which no person area corresponding to the person exists, the load applied to the image processing unit 24 can be reduced. it can. If the determination in step 54 is affirmative, the process proceeds to step 56, and a single person candidate area is selected as a process target from the person candidate areas extracted from the process target image by the process in step 52.

次のステップ58では、ステップ56で処理対象として選択した人物候補領域内の各画素のエッジ強度及び方向を演算する。すなわち、まず処理対象の人物候補領域内の各画素に対し、縦方向のエッジ強度及び横方向のエッジ強度を各々演算する。この縦方向及び横方向のエッジ強度の演算には、例えば図5(A)に示す縦方向及び横方向のプレヴィットオペレータや、図5(B)に示す縦方向及び横方向のソーベルオペレータ等の微分オペレータを用いて行うことができる。次に、処理対象の人物候補領域内の各画素について、演算した縦方向のエッジ強度Diff及び横方向のエッジ強度Diffを次の(1),(2)式に代入することでエッジ強度E、エッジ方向θを各々演算し、演算結果をメモリ24Bに記憶させる。
エッジ強度E=√((Diff)+(Diff)) …(1)
エッジ方向θ=tan−1(Diff/Diff) …(2)
なお、(2)式で算出されるエッジ方向θは、演算対象の画素においてエッジ強度が最大となる方向、すなわち図6に示すように、演算対象の画素を通る低濃度領域と高濃度領域の境界線に対する法線方向を表し、(1)式で算出されるエッジ強度Eは演算対象の画素におけるエッジ方向θについてのエッジ強度を表している。上記の演算により、例えば図4(C)に示す人物候補領域からは、例として図7に示すようなエッジ画像が得られることになる。なお、図7に示すエッジ画像は、図4(C)に示す人物候補領域の各画素の濃度を、エッジ強度Eの値が大きくなるに従って低濃度となる値へ置き換えて可視化したものである。
In the next step 58, the edge strength and direction of each pixel in the person candidate area selected as the processing target in step 56 are calculated. That is, first, the edge strength in the vertical direction and the edge strength in the horizontal direction are calculated for each pixel in the person candidate area to be processed. For the calculation of the edge strength in the vertical direction and the horizontal direction, for example, the Previt operator in the vertical direction and the horizontal direction shown in FIG. 5A, the sobel operator in the vertical direction and the horizontal direction shown in FIG. The differential operator can be used. Next, for each pixel in the person candidate area to be processed, the calculated edge intensity Diff V and edge edge Diff H in the horizontal direction are substituted into the following expressions (1) and (2) to obtain the edge intensity. E and edge direction θ are respectively calculated, and the calculation result is stored in the memory 24B.
Edge strength E = √ ((Diff V ) 2 + (Diff H ) 2 ) (1)
Edge direction θ = tan −1 (Diff V / Diff H ) (2)
Note that the edge direction θ calculated by the expression (2) is the direction in which the edge intensity is maximum in the calculation target pixel, that is, the low density region and the high density region passing through the calculation target pixel as shown in FIG. The normal direction with respect to the boundary line is represented, and the edge strength E calculated by the expression (1) represents the edge strength in the edge direction θ in the pixel to be calculated. By the above calculation, for example, an edge image as shown in FIG. 7 is obtained from the person candidate region shown in FIG. 4C, for example. Note that the edge image shown in FIG. 7 is visualized by replacing the density of each pixel in the human candidate area shown in FIG. 4C with a value that decreases as the value of the edge strength E increases.

次のステップ60〜ステップ68では、ステップ58で演算した処理対象の人物候補領域内の各画素のエッジ強度E及びエッジ方向θに基づき、前記各画素の中から低濃度領域と高濃度領域の境界線上に位置していると推定される画素(エッジ画素:図7に示すエッジ画像において低濃度で示されている画素)を抽出する。すなわち、まずステップ60では処理対象の人物候補領域内の各画素の中から注目画素を選択する。次のステップ62では、ステップ60で選択した注目画素のエッジ方向θに基づき、注目画素に対し、注目画素のエッジ方向θとおよそ同方向に存在している隣接画素を選択し、注目画素のエッジ強度Eを選択した隣接画素のエッジ強度Eと比較する。   In the next step 60 to step 68, based on the edge intensity E and the edge direction θ of each pixel in the processing target human candidate area calculated in step 58, a boundary between the low density area and the high density area is selected from the pixels. Pixels that are estimated to be located on the line (edge pixels: pixels that are shown at a low density in the edge image shown in FIG. 7) are extracted. That is, first, in step 60, the target pixel is selected from the pixels in the person candidate area to be processed. In the next step 62, based on the edge direction θ of the target pixel selected in step 60, an adjacent pixel that is present in the same direction as the target pixel's edge direction θ is selected for the target pixel, and the edge of the target pixel is selected. The intensity E is compared with the edge intensity E of the selected adjacent pixel.

ステップ62における隣接画素の選択は、例えば、
(1)エッジ方向θ: 0°±22.5°又は180°±22.5°→隣接画素:右隣及び左隣の画素
(2)エッジ方向θ: 45°±22.5°又は225°±22.5°→隣接画素:右上及び左下の画素
(3)エッジ方向θ: 90°±22.5°又は270°±22.5°→隣接画素:上隣及び下隣の画素
(4)エッジ方向θ:135°±22.5°又は315°±22.5°→隣接画素:右下及び左上の画素
上記のように、エッジ方向θの角度範囲(0〜360°)を4種類の角度範囲に分割し、各角度範囲毎に選択する隣接画素を定めた隣接画素選択条件を定めておき、エッジ方向θが4種類の角度範囲のうちの何れに属しているかに応じて隣接画素を選択することで行うことができる。
The selection of adjacent pixels in step 62 is, for example,
(1) Edge direction θ: 0 ° ± 22.5 ° or 180 ° ± 22.5 ° → Adjacent pixel: right adjacent pixel and left adjacent pixel
(2) Edge direction θ: 45 ° ± 22.5 ° or 225 ° ± 22.5 ° → Adjacent pixels: upper right and lower left pixels
(3) Edge direction θ: 90 ° ± 22.5 ° or 270 ° ± 22.5 ° → Adjacent pixel: upper adjacent pixel and lower adjacent pixel
(4) Edge direction θ: 135 ° ± 22.5 ° or 315 ° ± 22.5 ° → Adjacent pixels: Lower right and upper left pixels As described above, the angle range (0 to 360 °) of the edge direction θ is divided into four angles. Adjacent pixel selection conditions that determine the adjacent pixels to be selected for each angle range are defined, and the adjacent pixels are selected according to which of the four types of angle ranges the edge direction θ belongs to. Can be done.

なお、上記の条件ではエッジ方向θの値に拘わらず隣接画素として2個の画素が選択されるが、これに限られるものではなく、例えば個々の角度範囲±22.5°を若干広げる(例えば±30°等)ことで個々の角度範囲を一部オーバラップさせ、エッジ方向θが2種類の角度範囲に跨るオーバラップ領域に相当する角度であった場合には、2種類の角度範囲の何れかに対応する合計4個の画素を隣接画素として選択し、注目画素とのエッジ強度Eの比較を各々行うようにしてもよい。   In the above condition, two pixels are selected as adjacent pixels regardless of the value of the edge direction θ. However, the present invention is not limited to this. For example, the individual angle range ± 22.5 ° is slightly expanded (for example, ± 30). If the edge direction θ is an angle corresponding to an overlap region that spans two types of angle ranges, the angle range is set to one of the two types of angle ranges. A total of four corresponding pixels may be selected as adjacent pixels, and the edge intensity E may be compared with the target pixel.

次のステップ64では、ステップ62でエッジ強度Eを比較した結果、注目画素のエッジ強度Eが最大であったか(注目画素のエッジ強度Eが複数の隣接画素のエッジ強度Eよりも大きかったか)否か判定する。なお、複数の隣接画素の中にエッジ強度Eが注目画素と等しい画素が存在していた場合には、エッジ強度Eが注目画素と等しい隣接画素に隣接する新たな隣接画素を前述の隣接画素選択条件を用いて選択し、選択した新たな隣接画素と注目画素のエッジ強度Eを比較する。ステップ64の判定が否定された場合はステップ68へ移行するが、ステップ64の判定が肯定された場合はステップ66へ移行し、注目画素がエッジ画素であることを表す情報をメモリ24Bに記憶させた後にステップ68へ移行する。   In the next step 64, as a result of comparing the edge strength E in step 62, whether the edge strength E of the target pixel is maximum (whether the edge strength E of the target pixel is larger than the edge strength E of a plurality of adjacent pixels) or not. judge. If a pixel having an edge strength E equal to the target pixel exists among the plurality of adjacent pixels, a new adjacent pixel adjacent to the adjacent pixel having the edge strength E equal to the target pixel is selected as the above-mentioned adjacent pixel selection. The selection is performed using conditions, and the edge strength E of the selected new adjacent pixel and the target pixel is compared. If the determination in step 64 is negative, the process proceeds to step 68. If the determination in step 64 is affirmative, the process proceeds to step 66, and information indicating that the target pixel is an edge pixel is stored in the memory 24B. After that, the process proceeds to step 68.

ステップ68では、処理対象の人物候補領域内の全ての画素を対象としてステップ60〜ステップ68の処理を行ったか否か判定する。判定が否定された場合はステップ60に戻り、ステップ68の判定が肯定される迄ステップ60〜ステップ68を繰り返す。これにより、処理対象の人物候補領域内に存在する全てのエッジ画素が抽出される。   In step 68, it is determined whether or not the processing in steps 60 to 68 has been performed for all the pixels in the candidate human subject area to be processed. If the determination is negative, the process returns to step 60, and steps 60 to 68 are repeated until the determination of step 68 is affirmed. Thereby, all the edge pixels existing in the candidate human subject area to be processed are extracted.

ステップ68の判定が肯定されるとステップ70へ移行する。ステップ70〜ステップ86では、ステップ60〜ステップ68で抽出された個々のエッジ画素を判定対象として順に選択しながら、処理対象の人物候補領域内で、人工物に相当する線分である可能性の高い人工的線分(人工的な直線状線分及び曲線状線分)を探索する。すなわち、まずステップ70では、ステップ60〜ステップ68で抽出された全てのエッジ画素を判定対象として選択したか否か判定する。当初はこの判定が否定されてステップ72へ移行し、ステップ60〜ステップ68で抽出された処理対象の人物候補領域のエッジ画素の中から、単一のエッジ画素を判定対象のエッジ画素として抽出する。次のステップ74では、ステップ72で選択した判定対象のエッジ画素のエッジ方向θに基づき、判定対象のエッジ画素に対し、判定対象のエッジ画素のエッジ方向θに対しておよそ90°又は-90°の方向に存在している隣接画素を選択する。   If the determination at step 68 is affirmative, the routine proceeds to step 70. In Step 70 to Step 86, the individual edge pixels extracted in Step 60 to Step 68 are sequentially selected as determination targets, and the line segment corresponding to the artificial object may be included in the person candidate region to be processed. Search for high artificial line segments (artificial linear and curved line segments). That is, first, in step 70, it is determined whether or not all edge pixels extracted in steps 60 to 68 have been selected as determination targets. Initially, this determination is denied and the routine proceeds to step 72, where a single edge pixel is extracted as an edge pixel to be determined from the edge pixels in the candidate human subject area extracted in steps 60 to 68. . In the next step 74, based on the edge direction θ of the determination target edge pixel selected in step 72, the determination target edge pixel is approximately 90 ° or −90 ° with respect to the determination target edge pixel edge direction θ. The adjacent pixels existing in the direction of are selected.

ステップ74における隣接画素の選択についても、例えば、
(1)エッジ方向θ: 0°±30°又は180°±30°→隣接画素:上隣及び下隣の画素
(2)エッジ方向θ: 45°±30°又は225°±30°→隣接画素:右下及び左上の画素
(3)エッジ方向θ: 90°±30°又は270°±30°→隣接画素:右隣及び左隣の画素
(4)エッジ方向θ:135°±30°又は315°±30°→隣接画素:右上及び左下の画素
上記のように、エッジ方向θの角度範囲(0〜360°)を4種類の角度範囲に分割し、各角度範囲毎に選択する隣接画素を定めた隣接画素選択条件を定めておき、エッジ方向θが4種類の角度範囲のうちの何れに属しているかに応じて隣接画素を選択することで行うことができる。上記の条件では個々の角度範囲にオーバラップ領域が設けられており、エッジ方向θが2種類の角度範囲に跨るオーバラップ領域に相当する角度であった場合には、2種類の角度範囲の何れかに対応する合計4個の画素が隣接画素として選択される。
Regarding the selection of adjacent pixels in step 74, for example,
(1) Edge direction θ: 0 ° ± 30 ° or 180 ° ± 30 ° → Adjacent pixel: Upper and lower adjacent pixels
(2) Edge direction θ: 45 ° ± 30 ° or 225 ° ± 30 ° → Adjacent pixels: lower right and upper left pixels
(3) Edge direction θ: 90 ° ± 30 ° or 270 ° ± 30 ° → Adjacent pixels: right and left adjacent pixels
(4) Edge direction θ: 135 ° ± 30 ° or 315 ° ± 30 ° → Adjacent pixels: Upper right and lower left pixels As described above, the angle range (0 to 360 °) of the edge direction θ is divided into four types of angle ranges. The adjacent pixel selection condition that determines the adjacent pixels to be selected for each angle range is determined, and the adjacent pixels are selected according to which of the four types of angle ranges the edge direction θ belongs to. Can be done. Under the above conditions, an overlap region is provided in each angle range, and when the edge direction θ is an angle corresponding to the overlap region over two types of angle ranges, any of the two types of angle ranges is selected. A total of four pixels corresponding to these are selected as adjacent pixels.

なお、上記の条件における個々の角度範囲は±30°に限られるものではない。オーバラップ領域が広すぎると処理時間が長時間化する一方で、オーバラップ領域が狭すぎるとステップ70〜ステップ86で探索対象となる人工的線分の延びる方向が0°や45°等に限られてしまうことになるので、個々の角度範囲±30°を若干広げ(例えば±40°等)、個々の角度範囲に跨るオーバラップ領域の角度範囲を若干拡大するようにしてもよい。   Note that the individual angle ranges under the above conditions are not limited to ± 30 °. If the overlap region is too wide, the processing time will be long. On the other hand, if the overlap region is too narrow, the extending direction of the artificial line segment to be searched in step 70 to step 86 is limited to 0 °, 45 °, etc. Therefore, the individual angle range ± 30 ° may be slightly widened (for example, ± 40 °), and the angle range of the overlap region extending over each angle range may be slightly enlarged.

ステップ76ではステップ74で選択した隣接画素がエッジ画素か否か判定する。判定が否定された場合、判定対象のエッジ画素は他のエッジ画素から孤立しており、人工的線分を構成するエッジ画素ではないと判断できるのでステップ70に戻る。この場合、ステップ72で判定対象のエッジ画素として他のエッジ画素が選択されて以降の処理が繰り返されることになる。   In step 76, it is determined whether or not the adjacent pixel selected in step 74 is an edge pixel. If the determination is negative, it is determined that the edge pixel to be determined is isolated from the other edge pixels and is not an edge pixel constituting an artificial line segment, and the process returns to step 70. In this case, another edge pixel is selected as the determination target edge pixel in step 72, and the subsequent processing is repeated.

一方、ステップ76の判定が肯定された場合はステップ78へ移行し、先のステップ74で選択した隣接画素のエッジ方向θを判定対象のエッジ画素のエッジ方向θと比較し、両者の角度差が、エッジがほぼ直線状に連続して成る人工的な直線状線分に相当する角度範囲内か否か判定する。なお、人工的な直線状線分に相当する角度範囲としては、例えば0°±2°やその前後の範囲を適用することができる。この判定が肯定された場合、判定対象のエッジ画素及びステップ78の判定を満たす隣接画素(エッジ画素)は人工物に相当する人工的な直線状線分の一部を構成する画素である可能性が高いので、ステップ82へ移行し、これらの画素の情報を人工的な直線状線分の一部を構成する画素の情報としてメモリ24Bに記憶させる。   On the other hand, if the determination in step 76 is affirmative, the process proceeds to step 78 where the edge direction θ of the adjacent pixel selected in the previous step 74 is compared with the edge direction θ of the edge pixel to be determined, and the angular difference between the two is determined. Then, it is determined whether or not the edge is within an angle range corresponding to an artificial straight line segment that is substantially linearly continuous. As an angle range corresponding to an artificial straight line segment, for example, 0 ° ± 2 ° or a range before and after that can be applied. When this determination is affirmed, the edge pixel to be determined and the adjacent pixel (edge pixel) satisfying the determination in step 78 may be a pixel constituting a part of an artificial linear line segment corresponding to an artifact. Therefore, the process proceeds to step 82, and information on these pixels is stored in the memory 24B as information on pixels constituting a part of the artificial straight line segment.

また、次のステップ86ではメモリ24Bに情報を記憶させた隣接画素(エッジ画素)を次の判定対象のエッジ画素として選択し、ステップ74に戻る。なお、先のステップ78の判定は、先のステップ74で選択された複数個の隣接画素の中に、ステップ78の判定条件を満足する隣接画素が1個以上存在していれば肯定されるが、ステップ78の判定条件を満足する隣接画素が複数個存在していた場合、ステップ86では、判定条件を満足する複数個の隣接画素の中から単一の隣接画素を判定対象として選択すると共に、判定条件を満足する複数個の隣接画素のうちの残りの隣接画素については、判定対象候補画素としてメモリ24Bに情報を記憶させる。この判定対象候補画素については、後でステップ72が再度実行された際に、判定対象のエッジ画素として優先的に選択される。   In the next step 86, the adjacent pixel (edge pixel) whose information is stored in the memory 24B is selected as the next edge pixel to be determined, and the process returns to step 74. Note that the determination in the previous step 78 is affirmed if at least one adjacent pixel that satisfies the determination condition in the step 78 exists among the plurality of adjacent pixels selected in the previous step 74. When there are a plurality of adjacent pixels that satisfy the determination condition of step 78, in step 86, a single adjacent pixel is selected as a determination target from among a plurality of adjacent pixels that satisfy the determination condition, and Information on the remaining adjacent pixels among the plurality of adjacent pixels satisfying the determination condition is stored in the memory 24B as determination target candidate pixels. This determination target candidate pixel is preferentially selected as the determination target edge pixel when step 72 is executed again later.

上記処理により、ステップ72で選択した判定対象のエッジ画素が人工的な直線状線分を構成するエッジ画素(図8に「判定対象のエッジ画素」と表記して示すように、人工的な直線状線分上に位置しているエッジ画素)である場合は、ステップ74〜78,82,86が繰り返されることで、当初の判定対象のエッジ画素に対応する直線状線分が一定方向へ追跡(トレース)され、図8に「連結1」〜「連結4」と表記して示すように、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して追跡方向側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の直線状線分を構成するエッジ画素の情報としてメモリ24Bに順次記憶されることで、抽出された個々のエッジ画素が同一の直線状線分を構成するエッジ画素として連結される。   With the above processing, the edge pixel to be determined selected in step 72 is an edge pixel that forms an artificial straight line segment (as shown as “edge pixel to be determined” in FIG. 8). In the case of the edge pixel located on the line segment), steps 74 to 78, 82, and 86 are repeated, so that the straight line segment corresponding to the initial determination target edge pixel is traced in a certain direction. (Traced), and as shown in FIG. 8 as “connection 1” to “connection 4”, it forms the same straight line segment as the edge pixel to be initially determined, and the edge to be initially determined Edge pixels existing on the tracking direction side with respect to the pixels are sequentially extracted, and information on the extracted edge pixels is sequentially stored in the memory 24B as information on the edge pixels constituting the same straight line segment. In the extracted individual edge image There is connected as an edge pixels constituting the same straight line.

また、判定対象のエッジ画素の位置が直線状線分の一端に到達すると、一旦はステップ76の判定が否定されてステップ70に戻った後に、当初の判定対象のエッジ画素を挟んで直線状線分の当初の追跡方向と反対側に存在している隣接エッジ画素(判定対象候補画素としてメモリ24Bに記憶されたエッジ画素)がステップ72で判定対象のエッジ画素として選択され、ステップ74〜78,82,86が再度繰り返されることで、当初の判定対象のエッジ画素に対応する直線状線分が当初の追跡方向と逆方向へ追跡(トレース)され、図8に「連結n」〜「連結n+3」と表記して示すように、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して当初の追跡方向と反対側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の直線状線分を構成するエッジ画素の情報としてメモリ24Bに順次記憶されることで、同一の直線状線分を構成する全てのエッジ画素が連結されることになる。   When the position of the edge pixel to be determined reaches one end of the straight line segment, the determination in step 76 is once denied and the process returns to step 70, and then the straight line with the original edge pixel to be determined interposed therebetween. Adjacent edge pixels (edge pixels stored in the memory 24B as determination target candidate pixels) existing on the side opposite to the original tracking direction of minutes are selected as the determination target edge pixels in step 72, and steps 74 to 78, By repeating 82 and 86 again, the straight line segment corresponding to the original edge pixel to be determined is traced (traced) in the direction opposite to the original tracking direction. As shown by +3 '', it forms the same straight line segment as the original edge pixel to be judged, and exists on the opposite side of the original tracking direction with respect to the edge pixel to be initially judged. Edge pixel All the edge pixels constituting the same straight line segment are extracted in order, and the information of the extracted edge pixels is sequentially stored in the memory 24B as the information of the edge pixels constituting the same straight line segment. Will be concatenated.

また、先のステップ78の判定が否定された場合(ステップ74で選択した隣接画素と判定対象のエッジ画素のエッジ方向θの角度差が直線状線分に相当する角度範囲から外れていた場合)はステップ80へ移行し、ステップ74で選択した隣接画素と判定対象のエッジ画素のエッジ方向θの角度差が、エッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している人工的な曲線状線分に相当する角度範囲内か否か判定する。なお、人工的な曲線状線分に相当する角度範囲としては、例えば5°±2°やその前後の範囲を適用することができる。   Further, when the determination in the previous step 78 is negative (when the angle difference between the edge direction θ of the adjacent pixel selected in step 74 and the edge pixel to be determined is out of the angle range corresponding to the straight line segment) Shifts to step 80, the angle difference between the edge direction θ between the adjacent pixel selected in step 74 and the edge pixel to be determined is a continuous edge, and the variation in curvature in the continuous edge is within a predetermined range with respect to the reference value. It is determined whether or not the angle is within an angle range corresponding to an artificial curved line segment that is changing within the range. As an angle range corresponding to an artificial curved line segment, for example, 5 ° ± 2 ° or a range before and after that can be applied.

ステップ80の判定が肯定された場合、判定対象のエッジ画素及びステップ80の判定を満たす隣接画素(エッジ画素)は人工物に相当する人工的な曲線状線分の一部を構成する画素である可能性が高いので、ステップ84へ移行し、これらの画素の情報を人工的な曲線状線分の一部を構成する画素の情報としてメモリ24Bに記憶させる。また、次のステップ86ではメモリ24Bに情報を記憶させた隣接画素(エッジ画素)を次の判定対象のエッジ画素として選択し、ステップ74に戻る。なお、ステップ80の判定についても、先のステップ74で選択された複数個の隣接画素の中に、ステップ80の判定条件を満足する隣接画素が1個以上存在していれば肯定されるが、ステップ86では、ステップ80の判定条件を満足する隣接画素が複数個存在していた場合にも、判定条件を満足する複数個の隣接画素の中から単一の隣接画素を判定対象として選択すると共に、判定条件を満足する複数個の隣接画素のうちの残りの隣接画素については、判定対象候補画素としてメモリ24Bに情報を記憶させる。   If the determination in step 80 is affirmed, the edge pixel to be determined and the adjacent pixel (edge pixel) satisfying the determination in step 80 are pixels constituting a part of an artificial curved line segment corresponding to an artifact. Since there is a high possibility, the process proceeds to step 84, and information on these pixels is stored in the memory 24B as information on pixels constituting a part of the artificial curved line segment. In the next step 86, the adjacent pixel (edge pixel) whose information is stored in the memory 24B is selected as the next edge pixel to be determined, and the process returns to step 74. The determination in step 80 is also affirmed if there is at least one adjacent pixel that satisfies the determination condition in step 80 among the plurality of adjacent pixels selected in previous step 74. In step 86, even when there are a plurality of adjacent pixels satisfying the determination condition of step 80, a single adjacent pixel is selected as a determination target from among the plurality of adjacent pixels satisfying the determination condition. For the remaining adjacent pixels among the plurality of adjacent pixels that satisfy the determination condition, information is stored in the memory 24B as determination target candidate pixels.

上記処理により、ステップ72で選択した判定対象のエッジ画素が人工的な曲線状線分を構成するエッジ画素(人工的な曲線状線分上に位置しているエッジ画素)である場合は、ステップ74〜80,84,86が繰り返されることで、当初の判定対象のエッジ画素に対応する曲線状線分が一定方向へ追跡(トレース)され、当初の判定対象のエッジ画素と同一の直線状線分を構成し、かつ当初の判定対象のエッジ画素に対して追跡方向側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報が、同一の曲線状線分を構成するエッジ画素の情報としてメモリ24Bに順次記憶されることで、抽出された個々のエッジ画素が同一の曲線状線分を構成するエッジ画素として連結される。   If the determination-target edge pixel selected in step 72 is an edge pixel that constitutes an artificial curved line segment (edge pixel located on the artificial curved line segment) by the above processing, step By repeating 74 to 80, 84, and 86, the curved line segment corresponding to the edge pixel of the initial determination target is traced (traced) in a certain direction, and the same straight line as the edge pixel of the initial determination target Edge pixels that are included in the tracking direction with respect to the edge pixel of the original determination target are extracted in order, and the extracted edge pixel information constitutes the same curved line segment. By sequentially storing in the memory 24B as pixel information, the extracted individual edge pixels are connected as edge pixels that constitute the same curved line segment.

また、判定対象のエッジ画素の位置が直線状線分の一端に到達すると、ステップ76の判定が一旦否定されてステップ70に戻った後に、当初の判定対象のエッジ画素を挟んで曲線状線分の当初の追跡方向と反対側に存在している隣接エッジ画素(判定対象候補画素としてメモリ24Bに記憶されたエッジ画素)がステップ72で判定対象のエッジ画素として選択され、ステップ74〜80,84,86が再度繰り返されることで、当初の判定対象のエッジ画素に対応する曲線状線分が当初の追跡方向と逆方向へ追跡(トレース)され、当初の判定対象のエッジ画素と同一の曲線状線分を構成し、かつ当初の判定対象のエッジ画素に対して当初の追跡方向と反対側に存在しているエッジ画素が順に抽出され、抽出されたエッジ画素の情報がメモリ24Bに順次記憶されることで、同一の曲線状線分を構成する全てのエッジ画素が連結されることになる。   When the position of the edge pixel to be determined reaches one end of the straight line segment, the determination in step 76 is once denied and the process returns to step 70, and then the curved line segment is sandwiched with the edge pixel to be determined initially. Adjacent pixel (edge pixel stored in the memory 24B as a determination target candidate pixel) existing on the opposite side to the initial tracking direction is selected as the determination target edge pixel in step 72, and steps 74 to 80, 84 are performed. , 86 are repeated again, the curved line segment corresponding to the initial determination target edge pixel is traced (traced) in the direction opposite to the initial tracking direction, and the same curved line shape as the initial determination target edge pixel is obtained. Edge pixels constituting the line segment and existing on the opposite side of the initial tracking direction with respect to the edge pixel to be initially determined are sequentially extracted, and information on the extracted edge pixel is stored in the memory 2. By sequentially storing in 4B, all edge pixels constituting the same curved line segment are connected.

上述した処理により、処理対象の人物候補領域内に存在している人工的な直線状線分及び曲線状線分が探索され、処理対象の人物候補領域内に人工的な直線状線分や曲線状線分が存在していれば、当該直線状線分や曲線状線分が処理対象の人物候補領域から抽出される。なお、ステップ54〜ステップ86は本発明に係る人工的線分検出手段(より詳しくは請求項2,4,6に記載の人工的線分検出手段)に対応している。 処理対象の人物候補領域内の全てのエッジ画素を判定対象として選択すると、ステップ70の判定が肯定されてステップ88へ移行し、ステップ70〜ステップ86で抽出された人工的な直線状線分や曲線状線分の数及び大きさに基づいて、処理対象の人物候補領域が人工物に相当する人工物領域か否か判定する。ステップ88の判定は、例えば「抽出された直線状線分の数が第1閾値以上かつ抽出された直線状線分の長さが第2閾値以上」という第1の条件と、「抽出された曲線状線分の数が第3閾値以上かつ抽出された曲線状線分の長さが第4閾値以上」という第2の条件を各々判定することで行うことができ、第1の条件及び第2の条件の少なくとも一方を満足した場合に肯定されるようにすることができる。   By the above-described processing, artificial straight line segments and curved line segments existing in the candidate human candidate region to be processed are searched, and artificial straight line segments and curves are searched for in the candidate human candidate region to be processed. If a line segment exists, the straight line segment or the curved line segment is extracted from the candidate person area to be processed. Steps 54 to 86 correspond to the artificial line segment detecting means according to the present invention (more specifically, the artificial line segment detecting means according to claims 2, 4 and 6). When all the edge pixels in the person candidate region to be processed are selected as determination targets, the determination in step 70 is affirmed and the process proceeds to step 88, where the artificial straight line segments extracted in steps 70 to 86 are Based on the number and size of the curved line segments, it is determined whether or not the candidate human subject area to be processed is an artifact area corresponding to an artifact. The determination in step 88 is, for example, a first condition that “the number of extracted straight line segments is equal to or greater than a first threshold value and the length of the extracted straight line segments is equal to or greater than a second threshold value” It can be performed by determining each of the second conditions that the number of curved line segments is equal to or greater than the third threshold and the length of the extracted curved line segments is equal to or greater than the fourth threshold. When at least one of the two conditions is satisfied, affirmation can be made.

ステップ88の判定が肯定された場合、処理対象の人物候補領域内には人工的な直線状線分又は曲線状線分が明瞭に存在しているので、処理対象の人物候補領域は人工物に相当する人工物領域である(人物に相当する人物領域ではない)と判断できる。このため、ステップ88の判定が肯定された場合はステップ90へ移行し、処理対象の人物候補領域を出力対象から除外した後にステップ92へ移行する。また、ステップ88の判定が否定された場合は、処理対象の人物候補領域内には人工的な直線状線分や曲線状線分が存在していないか、人工的な直線状線分や曲線状線分が存在していたとしても少数又は長さが短いので、処理対象の人物候補領域は人工物に相当する人工物領域ではない(人物に相当する人物領域である確度が高い)と判断できる。このため、ステップ88の判定が否定された場合はステップ90をスキップしてステップ92へ移行する。   If the determination in step 88 is affirmative, an artificial straight line segment or curved line segment is clearly present in the processing target person candidate region, so that the processing target human candidate region is an artifact. It can be determined that this is a corresponding artifact area (not a person area corresponding to a person). For this reason, if the determination in step 88 is affirmed, the process proceeds to step 90, and after the process target person candidate area is excluded from the output targets, the process proceeds to step 92. If the determination in step 88 is negative, an artificial straight line segment or curved line segment does not exist in the person candidate area to be processed, or an artificial straight line segment or curve Even if there is a line segment, it is a small number or a short length, so it is determined that the person candidate area to be processed is not an artifact area corresponding to an artifact (highly likely to be a person area corresponding to a person) it can. Therefore, if the determination in step 88 is negative, step 90 is skipped and the process proceeds to step 92.

ステップ92では、先のステップ52で処理対象画像から抽出された人物候補領域の中に、先のステップ56で処理対象として未選択の人物候補領域が存在しているか否か判定する。判定が肯定された場合はステップ56に戻り、ステップ92の判定が否定される迄ステップ56〜ステップ92を繰り返す。これにより、ステップ52で抽出された全ての人物候補領域に対してステップ58以降の処理が各々行われ、結果として、処理対象画像のうち人工的な直線状線分又は曲線状線分が明瞭に存在している領域を除外した領域に存在する人物候補領域のみが除外されずに残存することになる。ステップ92の判定が否定されるとステップ94へ移行し、ステップ52で抽出された人物候補領域のうちステップ90で出力対象から除外されずに残存している人物候補領域の情報を、人物領域である確度が高い領域の情報として出力し、人物候補領域抽出処理を終了する。上記のステップ88〜ステップ92は、先に説明したステップ52と共に本発明に係る人物候補領域抽出手段(より詳しくは請求項2に記載の人物候補領域抽出手段)に対応している。   In step 92, it is determined whether or not a person candidate region that has not been selected as a processing target in step 56 exists in the person candidate regions extracted from the processing target image in step 52. If the determination is affirmative, the process returns to step 56, and steps 56 to 92 are repeated until the determination of step 92 is negative. As a result, the processing from step 58 onward is performed for all the human candidate regions extracted in step 52, and as a result, an artificial straight line segment or curved line segment in the processing target image becomes clear. Only the person candidate area existing in the area excluding the existing area remains without being excluded. If the determination in step 92 is negative, the process proceeds to step 94. Among the person candidate areas extracted in step 52, information on the person candidate areas remaining without being excluded from the output targets in step 90 is displayed in the person area. The information is output as information of a certain area with high accuracy, and the person candidate area extraction process is terminated. Steps 88 to 92 described above correspond to the person candidate region extracting means (more specifically, the person candidate region extracting means described in claim 2) according to the present invention together with step 52 described above.

なお、人物候補領域抽出処理の処理結果の出力先としては、例えば物体検出装置10と共に車両12に搭載された車両制御システムの一部を構成し、車両12の周囲に存在する人物の位置や距離等に応じた所定の制御(一例として、自車両が歩行者に衝突することが予測される場合に歩行者への衝撃を緩和するためのエアバッグを展開させる制御等)を行う制御部が挙げられる。本実施形態では、パターン認識によって抽出した人物候補領域のうち、領域内に人工的線分が明瞭に存在している人物候補領域を出力対象から除外しているので、人物に相当する領域である確度の高い領域を抽出・出力することができ、人物候補領域抽出処理の処理結果を受け取って所定の制御を行う場合にも、所定の制御の精度を向上させることができる。   In addition, as an output destination of the processing result of the person candidate area extraction process, for example, a part of a vehicle control system mounted on the vehicle 12 together with the object detection device 10 is configured, and the positions and distances of persons existing around the vehicle 12 A control unit that performs predetermined control (for example, control for deploying an airbag for alleviating the impact to the pedestrian when the host vehicle is predicted to collide with the pedestrian) It is done. In the present embodiment, among the candidate human regions extracted by pattern recognition, the human candidate region in which an artificial line segment is clearly present is excluded from the output target, and thus is a region corresponding to a person. A region with high accuracy can be extracted and output, and the accuracy of the predetermined control can be improved even when the processing result of the person candidate region extraction process is received and the predetermined control is performed.

また、本実施形態では可視画像から人物に相当する領域である確度の高い領域を抽出することができ、赤外画像を用いる必要がないので、物体検出装置10の構成も簡略化することができる。   Further, in the present embodiment, a region with high accuracy that is a region corresponding to a person can be extracted from a visible image, and since it is not necessary to use an infrared image, the configuration of the object detection device 10 can be simplified. .

なお、上記では処理対象の人物候補領域内に存在する人工的な直線状線分及び曲線状線分を全て(線分の延びる方向等に拘わらず)探索・抽出する態様を説明したが、本発明はこれに限定されるものではなく、実空間上での鉛直方向に相当する処理対象画像の縦方向にほぼ沿って延びる人工的な直線状線分(縦方向の直線状線分)のみを対象として探索・抽出を行うようにしてもよい。   In the above description, an embodiment has been described in which all the artificial straight line segments and curved line segments existing in the candidate human subject region to be processed are searched for and extracted (regardless of the direction in which the line segment extends, etc.). The invention is not limited to this, and only artificial straight line segments (vertical straight line segments) extending substantially along the vertical direction of the processing target image corresponding to the vertical direction in real space. Search and extraction may be performed as a target.

縦方向の直線状線分のみを探索・抽出することは、具体的には、例えば図3のステップ60〜ステップ68において、エッジ方向θが縦方向に対しておよそ90°又は-90°の画素(縦方向の直線状線分を構成するエッジ画素である可能性の有るエッジ方向θの画素)のみを判定対象とし、隣接画素とエッジ強度Eを比較してエッジ画素を抽出する(当該処理の結果の一例を図9(A)に示す)と共に、図3のステップ70〜ステップ86で直線状線分の探索・抽出のみを行う(ステップ78の判定が否定された場合はステップ70に戻り、ステップ80,84は行わない)ように構成することで実現できる。なお、図9(A)に示すエッジ画素の抽出結果に対して直線状線分の探索を行うことで抽出される縦方向の直線状線分の一例を図9(B)に示す。   Specifically, searching and extracting only the straight line segment in the vertical direction is, for example, a pixel in which the edge direction θ is approximately 90 ° or −90 ° with respect to the vertical direction in step 60 to step 68 in FIG. Only pixels (edge direction θ pixels that may be edge pixels constituting a vertical straight line segment) are to be determined, and edge pixels are extracted by comparing the edge intensity E with the adjacent pixels. An example of the result is shown in FIG. 9A), and only the search and extraction of the straight line segment is performed in Step 70 to Step 86 in FIG. 3 (when the determination in Step 78 is negative, the process returns to Step 70, (Steps 80 and 84 are not performed). Note that FIG. 9B shows an example of a vertical straight line segment extracted by searching a straight line segment for the edge pixel extraction result shown in FIG. 9A.

車両から周囲を撮像した画像では、画像に写る可能性のある人工物は、画像中の縦方向にほぼ沿って延びる直線状線分を生じさせる人工物が殆どであるので、上記のように縦方向の直線状線分のみを対象として探索・抽出を行うことで、人物に相当する領域の抽出精度が低下することを回避しつつ、人物候補領域抽出処理を簡略化することができる。なお、上記態様は請求項5記載の発明に対応している。   In an image captured from the vehicle, most of the artifacts that may appear in the image are artifacts that generate a straight line segment extending substantially along the vertical direction in the image. By performing the search / extraction only on the straight line segment in the direction, it is possible to simplify the person candidate area extraction process while avoiding the decrease in the extraction accuracy of the area corresponding to the person. The above aspect corresponds to the invention described in claim 5.

〔第2実施形態〕
次に本発明の第2実施形態について説明する。なお、本第2実施形態は第1実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下図10を参照し、第2実施形態の作用として、本第2実施形態に係る人物候補領域抽出処理について、第1実施形態で説明した人物候補領域抽出処理(図3)と異なる部分についてのみ説明する。なお、第2実施形態に係る人物候補領域抽出処理は請求項10に記載の画像処理方法が適用された処理である。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. Since the second embodiment has the same configuration as that of the first embodiment, the same reference numerals are given to the respective parts, description of the configuration is omitted, and the operation of the second embodiment will be described below with reference to FIG. As for the person candidate area extraction process according to the second embodiment, only the parts different from the person candidate area extraction process (FIG. 3) described in the first embodiment will be described. In addition, the person candidate area | region extraction process which concerns on 2nd Embodiment is a process to which the image processing method of Claim 10 was applied.

本第2実施形態に係る人物候補領域抽出処理では、ステップ50で処理対象画像の画像データを記憶部24Cから読み出してメモリ24Bに記憶させた後に、次のステップ59において、処理対象画像の全画素についてエッジ強度及びエッジ方向を各々演算する。なお、エッジ強度及びエッジ方向の演算自体は、第1実施形態に係る人物候補領域抽出処理(図3)のステップ58と同様にして行うことができる。   In the human candidate region extraction processing according to the second embodiment, after the image data of the processing target image is read from the storage unit 24C and stored in the memory 24B in step 50, all pixels of the processing target image are stored in the next step 59. The edge strength and the edge direction are respectively calculated for. Note that the calculation of the edge strength and the edge direction itself can be performed in the same manner as Step 58 of the person candidate region extraction process (FIG. 3) according to the first embodiment.

次のステップ61〜ステップ68では、ステップ58で演算した各画素のエッジ強度E及びエッジ方向θに基づき、第1実施形態に係る人物候補領域抽出処理(図3)のステップ60〜ステップ68と同様にして、各画素の中からエッジ画素を抽出するが、本第2実施形態に係る人物候補領域抽出処理のステップ61〜ステップ68は、ステップ61で処理対象画像の全画素の中から注目画素を選択することで、処理対象画像の全領域を対象としてエッジ画素の抽出を行う点で第1実施形態に係る人物候補領域抽出処理(図3)のステップ60〜ステップ68と相違している。これにより、処理対象画像が例として図11(A)に示すような画像であった場合、上述したステップ61〜ステップ68により、例として図11(B)に示すように、処理対象画像の全領域を対象としてエッジ画素が抽出されることになる。   In the next steps 61 to 68, based on the edge strength E and the edge direction θ of each pixel calculated in step 58, the same as steps 60 to 68 of the human candidate region extraction process (FIG. 3) according to the first embodiment. Then, edge pixels are extracted from each pixel. Steps 61 to 68 of the human candidate region extraction process according to the second embodiment are performed by selecting a target pixel from all the pixels of the processing target image in step 61. The selection is different from Step 60 to Step 68 of the human candidate region extraction processing (FIG. 3) according to the first embodiment in that edge pixels are extracted from the entire region of the processing target image. As a result, when the processing target image is an image as shown in FIG. 11A as an example, the above-described Step 61 to Step 68 are used to display all of the processing target images as shown in FIG. 11B as an example. Edge pixels are extracted for the region.

次のステップ70〜ステップ86では、第1実施形態に係る人物候補領域抽出処理(図3)のステップ70〜ステップ86と同様にして、ステップ61〜ステップ68で抽出された個々のエッジ画素を判定対象として順に選択して人工的な直線状線分及び曲線状線分を探索するが、本第2実施形態に係る人物候補領域抽出処理では、ステップ61〜ステップ68で処理対象画像の全領域を対象としてエッジ画素が抽出されるので、本第2実施形態に係る人物候補領域抽出処理のステップ70〜ステップ86についても、ステップ73で処理対象画像中の全てのエッジ画素の中から判定対象のエッジ画素を選択することで、処理対象画像の全領域を対象として人工的な直線状線分及び曲線状線分の探索・抽出を行う点で第1実施形態に係る人物候補領域抽出処理(図3)のステップ70〜ステップ86と相違している。   In the next Step 70 to Step 86, the individual edge pixels extracted in Step 61 to Step 68 are determined in the same manner as Step 70 to Step 86 of the person candidate region extraction process (FIG. 3) according to the first embodiment. The artificial straight line segment and the curved line segment are searched in order as the target, and in the person candidate region extraction process according to the second embodiment, the entire region of the processing target image is extracted in step 61 to step 68. Since edge pixels are extracted as targets, Step 70 to Step 86 of the person candidate region extraction processing according to the second embodiment are also determined in Step 73 from among all edge pixels in the processing target image. By selecting a pixel, the human candidate according to the first embodiment is searched for and extracted as a straight line segment and a curved line segment for the entire region of the processing target image. It differs from the step 70 to step 86 in the region extraction processing (FIG. 3).

これにより、例として図11(A)に示すような処理対象画像から、例として図11(B)に示すようにエッジ画素が抽出された場合、上述したステップ70〜ステップ86により、例として図12に示すように、処理対象画像の全領域を対象として人工的な直線状線分及び曲線状線分が抽出されることになる。なお、本第2実施形態に係る人物候補領域抽出処理におけるステップ59〜ステップ86は本発明に係る人工的線分検出手段(より詳しくは請求項3,4,6に記載の人工的線分検出手段)に対応している。   Thus, when an edge pixel is extracted as shown in FIG. 11B as an example from a processing target image as shown in FIG. 11A as an example, the steps 70 to 86 described above are used as examples. As shown in FIG. 12, artificial straight line segments and curved line segments are extracted for the entire region of the processing target image. It should be noted that steps 59 to 86 in the person candidate region extraction process according to the second embodiment are the artificial line segment detection means according to the present invention (more specifically, the artificial line segment detection according to claims 3, 4 and 6). Means).

また、本第2実施形態に係る人物候補領域抽出処理では、処理対象画像の全領域を対象とする人工的な直線状線分及び曲線状線分の探索・抽出が終了することでステップ70の判定が肯定されると、ステップ96へ移行し、ステップ70〜ステップ86で人工的な直線状線分及び曲線状線分が抽出された結果に基づき、処理対象画像の全領域を対象として第1実施形態に係る人物候補領域抽出処理(図3)のステップ88と同様の判定を行うことで、処理対象画像の全領域のうち人工的な直線状線分又は曲線状線分が明瞭に存在している領域を判定し、処理対象画像の全領域から判定した領域(人工的な直線状線分又は曲線状線分が明瞭に存在している領域)を除外した領域を、人物候補領域の探索範囲として設定する。   Further, in the human candidate region extraction processing according to the second embodiment, the search / extraction of the artificial straight line segment and the curved line segment for the entire region of the processing target image is completed, so that If the determination is affirmative, the process proceeds to step 96, and based on the result of the extraction of the artificial straight line segment and the curved line segment in step 70 to step 86, the first region is processed for the entire region of the processing target image. By performing the same determination as in step 88 of the human candidate region extraction process (FIG. 3) according to the embodiment, an artificial straight line segment or a curved line segment clearly exists in the entire region of the processing target image. Search for human candidate areas, excluding areas determined from all areas of the image to be processed (areas where artificial straight line segments or curved line segments exist clearly) Set as a range.

これにより、処理対象画像の全領域から図12に示す直線状線分及び曲線状線分が抽出された場合には、処理対象画像のうち、例として図13に示す人工的な直線状線分や曲線状線分及びその周囲の領域(図13に高濃度で示す領域)が、人工的な直線状線分又は曲線状線分が明瞭に存在している領域と判定され、処理対象画像のうち当該領域を除外した範囲(図13に低濃度で示す範囲)が人物候補領域の探索範囲として設定されることになる。   Thereby, when the straight line segment and the curved line segment shown in FIG. 12 are extracted from the entire region of the processing target image, the artificial linear line segment shown in FIG. Or a curved line segment and its surrounding area (area shown with high density in FIG. 13) are determined as areas where an artificial straight line segment or a curved line segment is clearly present, and Of these, the range excluding the region (the range indicated by the low density in FIG. 13) is set as the search range of the person candidate region.

次のステップ98では、処理対象画像のうちステップ96で設定した探索範囲内で人物候補領域の探索を行う。この人物候補領域の探索は、第1実施形態に係る人物候補領域抽出処理(図3)のステップ52と同様にパターン認識を適用して行うことができる。このように、本第2実施形態に係る人物候補領域抽出処理では、人工的な直線状成分や曲線状線分が明瞭に存在している領域を除外した探索範囲内で人物候補領域の探索を行うので、人物候補領域として人物領域である確度が高い領域を抽出できると共に、人物候補領域の探索に要する処理時間も短縮することができる。そして、次のステップ100では、ステップ98で抽出された人物候補領域の情報を、人物領域である確度が高い領域の情報として出力し、人物候補領域抽出処理を終了する。なお、上述したステップ96,98は本発明に係る人物候補領域抽出手段(より詳しくは請求項3に記載の人物候補領域抽出手段)に対応している。   In the next step 98, the person candidate area is searched for within the search range set in step 96 in the processing target image. This person candidate area search can be performed by applying pattern recognition in the same manner as in step 52 of the person candidate area extraction process (FIG. 3) according to the first embodiment. As described above, in the human candidate region extraction processing according to the second embodiment, the human candidate region is searched within the search range excluding the region where the artificial linear component or the curved line segment is clearly present. As a result, it is possible to extract a region having a high probability of being a human region as the human candidate region, and to shorten the processing time required for searching for the human candidate region. In the next step 100, the information on the person candidate area extracted in step 98 is output as information on the person area having a high probability, and the person candidate area extracting process is terminated. Steps 96 and 98 described above correspond to the person candidate area extracting means (more specifically, the person candidate area extracting means according to claim 3) according to the present invention.

なお、第2実施形態においても、処理対象画像の縦方向にほぼ沿って延びる人工的な直線状線分(縦方向の直線状線分)のみを対象として探索・抽出を行い、縦方向の直線状線分が明瞭に存在している領域を人物候補領域の探索範囲から除外するようにしてもよい。この場合も、人物に相当する領域の抽出精度が低下することを回避しつつ、人物候補領域抽出処理を簡略化することができる。上記態様も請求項5記載の発明に対応している。   Also in the second embodiment, only the artificial straight line segment (vertical straight line segment) extending substantially along the vertical direction of the processing target image is searched and extracted, and the vertical straight line is searched. An area where the line segment is clearly present may be excluded from the search range of the person candidate area. Also in this case, it is possible to simplify the person candidate area extraction process while avoiding a decrease in the extraction accuracy of the area corresponding to the person. The above aspect also corresponds to the invention described in claim 5.

また、上記ではエッジ画素を抽出した後に、判定対象のエッジ画素と隣接するエッジ画素のエッジ方向θの角度差に基づいて、判定対象のエッジ画素及び隣接するエッジ画素が同一の直線状線分又は曲線状線分に対応するエッジ画素か否かを判定し、判定が肯定された場合は隣接するエッジ画素を新たな判定対象のエッジ画素として選択することを繰り返し、直線状線分又は曲線状線分を追跡していくことで直線状線分又は曲線状線分を抽出する態様を説明したが、これに限定されるものではなく、エッジ画素を抽出した後に、抽出したエッジ画素に対してハフ(Hough)変換を適用することで直線状線分又は曲線状線分を抽出するようにしてもよい。なお、この態様は請求項7記載の発明に対応している。   In the above description, after the edge pixel is extracted, the determination-target edge pixel and the adjacent edge pixel are identical to each other based on the angular difference in the edge direction θ between the determination-target edge pixel and the adjacent edge pixel. It is determined whether or not the edge pixel corresponds to the curved line segment, and if the determination is affirmative, the adjacent edge pixel is repeatedly selected as the new edge pixel to be determined. Although the mode of extracting a straight line segment or a curved line segment by tracking the minute has been described, the present invention is not limited to this, and the edge pixel is extracted and then the extracted edge pixel is huffed. A linear line segment or a curved line segment may be extracted by applying (Hough) transformation. This aspect corresponds to the seventh aspect of the invention.

また、上記では本発明に係る画像処理プログラムに相当する人物候補領域抽出プログラムが画像処理部24の記憶部24Cに予め記憶(インストール)されている態様を説明したが、本発明に係る画像処理プログラムは、CD−ROMやDVD−ROM等の記録媒体に記録されている形態で提供することも可能である。   In the above description, the person candidate region extraction program corresponding to the image processing program according to the present invention is stored (installed) in advance in the storage unit 24C of the image processing unit 24. However, the image processing program according to the present invention is described above. Can be provided in a form recorded on a recording medium such as a CD-ROM or a DVD-ROM.

本実施形態に係る物体検出装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the object detection apparatus which concerns on this embodiment. 可視光カメラによる撮像範囲を示す、(A)は側面図、(B)は平面図である。The imaging range by a visible light camera is shown, (A) is a side view, and (B) is a plan view. 第1実施形態に係る人物候補領域抽出処理を示すフローチャートである。It is a flowchart which shows the person candidate area | region extraction process which concerns on 1st Embodiment. (A)はパターン認識による人物候補領域の探索、(B)は当該探索に用いる学習モデル(パターン)の一例、(C)は抽出された人物候補領域の一例を各々示すイメージ図である。(A) is a search for a person candidate area by pattern recognition, (B) is an example of a learning model (pattern) used for the search, and (C) is an image diagram showing an example of an extracted person candidate area. エッジ強度の演算に用いる微分オペレータの一例を示すイメージ図である。It is an image figure which shows an example of the differential operator used for the calculation of edge strength. 演算対象画素のエッジ強度及びエッジ方向の演算を説明するためのイメージ図である。It is an image figure for demonstrating the calculation of the edge intensity | strength and edge direction of a calculation object pixel. 人物候補領域に対するエッジ抽出結果の一例を示すイメージ図である。It is an image figure which shows an example of the edge extraction result with respect to a person candidate area | region. エッジ画素の追跡(人工的線分を形成するエッジ画素の連結)を説明するためのイメージ図である。It is an image figure for demonstrating tracking of an edge pixel (connection of the edge pixel which forms an artificial line segment). 縦方向に延びるエッジのみ抽出する場合の処理結果の一例を示すイメージ図である。It is an image figure which shows an example of the process result in the case of extracting only the edge extended in the vertical direction. 第2実施形態に係る人物候補領域抽出処理を示すフローチャートである。It is a flowchart which shows the person candidate area | region extraction process which concerns on 2nd Embodiment. (A)は処理対象画像の一例、(B)は(A)の画像に対するエッジ抽出結果の一例を各々示すイメージ図である。(A) is an example of a processing target image, and (B) is an image diagram showing an example of an edge extraction result for the image of (A). 直線状線分・曲線の検出結果の一例を示すイメージ図である。It is an image figure which shows an example of the detection result of a linear line segment and a curve. 直線状線分・曲線の検出結果に基づいて設定される人物候補領域の探索領域の一例を示すイメージ図である。It is an image figure which shows an example of the search area | region of a person candidate area | region set based on the detection result of a straight line segment and a curve.

符号の説明Explanation of symbols

10 物体検出装置
12 車両
14 可視光カメラ
24 画像処理部
24A CPU
24B メモリ
24C 記憶部
DESCRIPTION OF SYMBOLS 10 Object detection apparatus 12 Vehicle 14 Visible light camera 24 Image processing part 24A CPU
24B memory 24C storage unit

Claims (11)

処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段と、
前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段と、
を含む画像処理装置。
Artificial line segment detection means for detecting an artificial line segment existing in the visible image to be processed;
Extract a candidate human area that is estimated to be equivalent to a person that exists in an area excluding an area where an artificial line segment detected by the artificial line segment detection unit exists in the visible image to be processed. A person candidate area extracting means;
An image processing apparatus.
前記人工的線分検出手段は、前記人物候補領域抽出手段により前記処理対象の可視画像の全領域を対象として前記人物候補領域の探索が行われた後に、当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、
前記人物候補領域抽出手段は、前記処理対象の可視画像の全領域を対象として前記人物候補領域の探索を行い、前記人工的線分検出手段により前記人工的線分の検出が行われた後に、前記探索で抽出された人物候補領域のうち前記人工的線分検出手段によって領域内で前記人工的線分が検出された人物候補領域を人物候補から除外する請求項1記載の画像処理装置。
The artificial line segment detection means searches for the person candidate area for the entire area of the visible image to be processed by the person candidate area extraction means, and then extracts the person candidate area extracted by the search. Detecting the artificial line segment as a target,
The person candidate area extraction means searches the person candidate area for the entire area of the visible image to be processed, and after the artificial line segment is detected by the artificial line segment detection means, The image processing apparatus according to claim 1, wherein a human candidate area in which the artificial line segment is detected in the area by the artificial line segment detecting unit is excluded from human candidate areas extracted from the search.
前記人工的線分検出手段は、前記処理対象の可視画像の全領域を対象として前記人工的線分の検出を行い、
前記人物候補領域抽出手段は、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域を対象として前記人物候補領域の探索を行う請求項1記載の画像処理装置。
The artificial line segment detection means detects the artificial line segment for the entire region of the processing target visible image,
The person candidate region extraction unit searches for the person candidate region for a region excluding the region in which the artificial line segment detected by the artificial line segment detection unit exists in the processing target visible image. The image processing apparatus according to claim 1.
前記人工的線分検出手段は、前記人工的線分として、前記処理対象の可視画像中のエッジがほぼ直線状に連続して成る直線状線分、又は、前記処理対象の可視画像中のエッジが連続して成りエッジの連続における曲率の変動が基準値に対して所定範囲内で推移している曲線状線分を検出する請求項1記載の画像処理装置。   The artificial line segment detecting means is configured to detect, as the artificial line segment, a straight line segment in which edges in the visible image to be processed are substantially linearly continuous, or an edge in the visible image to be processed. The image processing apparatus according to claim 1, further comprising: a curved line segment in which the variation of curvature in a continuous edge transitions within a predetermined range with respect to a reference value. 前記人工的線分検出手段は、前記人工的線分として、前記直線状線分のうち、実空間上での鉛直方向に対応する前記処理対象の可視画像中の縦方向にほぼ沿って延びる直線状線分のみを検出する請求項4記載の画像処理装置。   The artificial line segment detecting means, as the artificial line segment, is a straight line extending substantially along the vertical direction in the processing target visible image corresponding to the vertical direction in the real space among the straight line segments. The image processing apparatus according to claim 4, wherein only the line segment is detected. 前記人工的線分検出手段は、前記処理対象の可視画像を微分することで前記処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素の中から単一のエッジ画素を処理対象として選択し、処理対象のエッジ画素の近傍かつ処理対象のエッジ画素に対して前記直線状成分又は前記曲線状成分に対応する角度範囲内に他のエッジ画素が存在しているか否か判定し、該当するエッジ画素が存在していれば該当するエッジ画素を新たな処理対象として選択する処理を繰り返すことで、前記人工的線分として、エッジ画素が連なって構成される前記直線状線分又は前記曲線状線分を検出する請求項4記載の画像処理装置。   The artificial line segment detection unit extracts an edge pixel corresponding to an edge in the image to be processed by differentiating the visible image to be processed, and then extracts a single edge pixel from the extracted edge pixels. Whether or not another edge pixel exists in the vicinity of the edge pixel to be processed and within the angle range corresponding to the linear component or the curved component with respect to the edge pixel to be processed. If the corresponding edge pixel exists, the linear line configured by connecting the edge pixels as the artificial line segment is repeated by repeating the process of selecting the corresponding edge pixel as a new processing target. The image processing apparatus according to claim 4, wherein a minute or the curved line segment is detected. 前記人工的線分検出手段は、前記処理対象の可視画像を微分することで前記処理対象の画像中のエッジに相当するエッジ画素を抽出した後に、抽出したエッジ画素に対してハフ変換を適用することで、前記人工的線分として、エッジ画素が連なって構成される前記直線状線分又は前記曲線状線分を検出する請求項4記載の画像処理装置。   The artificial line segment detection means extracts an edge pixel corresponding to an edge in the image to be processed by differentiating the visible image to be processed, and then applies a Hough transform to the extracted edge pixel. The image processing apparatus according to claim 4, wherein the straight line segment or the curved line segment configured by connecting edge pixels is detected as the artificial line segment. 前記処理対象の可視画像は、車両に搭載された撮像手段により前記車両の周囲を撮像することで得られた動画像である請求項1〜請求項7の何れか1項記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the visible image to be processed is a moving image obtained by imaging the periphery of the vehicle by an imaging unit mounted on the vehicle. 処理対象の可視画像の全領域を対象として人物に相当すると推定される人物候補領域を探索し、
当該探索で抽出された人物候補領域を対象として前記人工的線分を検出し、
前記探索で抽出された人物候補領域のうち領域内で前記人工的線分が検出された人物候補領域を人物候補から除外することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出する画像処理方法。
Search for a human candidate area that is estimated to correspond to a person for the entire area of the visible image to be processed,
Detecting the artificial line segment for the human candidate area extracted in the search,
By excluding the human candidate area in which the artificial line segment is detected in the human candidate area extracted in the search from the human candidates, there is an artificial line segment in the visible image to be processed. An image processing method for extracting a candidate person area existing in an area excluding the existing area.
処理対象の可視画像の全領域を対象して人工的線分を検出し、
前記処理対象の可視画像のうち前記人工的線分が存在している領域を除外した領域を対象として人物に相当すると推定される人物候補領域を探索することで、前記処理対象の可視画像のうち人工的線分が存在している領域を除外した領域に存在する人物候補領域を抽出する画像処理方法。
Artificial line segments are detected for the entire region of the visible image to be processed,
By searching for a candidate human region that is estimated to correspond to a person in an area excluding an area where the artificial line segment exists in the visible image to be processed, among the visible images to be processed An image processing method for extracting a human candidate area existing in an area excluding an area where an artificial line segment exists.
コンピュータを、
処理対象の可視画像中に存在している人工的線分を検出する人工的線分検出手段、
及び、前記処理対象の可視画像のうち前記人工的線分検出手段によって検出された人工的線分が存在している領域を除外した領域に存在する、人物に相当すると推定される人物候補領域を抽出する人物候補領域抽出手段
として機能させるための画像処理プログラム。
Computer
Artificial line segment detection means for detecting an artificial line segment existing in a visible image to be processed;
And a human candidate area estimated to be equivalent to a person existing in an area excluding an area where the artificial line segment detected by the artificial line segment detection unit is present in the visible image to be processed. An image processing program for functioning as a person candidate area extracting means for extraction.
JP2008126134A 2008-05-13 2008-05-13 Image processing apparatus, method, and program Expired - Fee Related JP4864043B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008126134A JP4864043B2 (en) 2008-05-13 2008-05-13 Image processing apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008126134A JP4864043B2 (en) 2008-05-13 2008-05-13 Image processing apparatus, method, and program

Publications (2)

Publication Number Publication Date
JP2009276910A true JP2009276910A (en) 2009-11-26
JP4864043B2 JP4864043B2 (en) 2012-01-25

Family

ID=41442307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008126134A Expired - Fee Related JP4864043B2 (en) 2008-05-13 2008-05-13 Image processing apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP4864043B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011138313A (en) * 2009-12-28 2011-07-14 Casio Computer Co Ltd Image processor and image processing method, and program
WO2012004938A1 (en) * 2010-07-09 2012-01-12 本田技研工業株式会社 Device for monitoring vicinity of vehicle
JP2012146142A (en) * 2011-01-12 2012-08-02 Denso Corp Object detecting device
JP2014041427A (en) * 2012-08-21 2014-03-06 Toyota Central R&D Labs Inc Object detection device and program
JP2015049814A (en) * 2013-09-03 2015-03-16 コイト電工株式会社 Pedestrian detecting device and traffic control system
JP2017134814A (en) * 2016-01-27 2017-08-03 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Vehicle contour detection method based on point group data, and device
JP2017224110A (en) * 2016-06-14 2017-12-21 トヨタ自動車株式会社 Object determination device
JP2020035334A (en) * 2018-08-31 2020-03-05 株式会社デンソー Image processing apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0383474A (en) * 1989-08-28 1991-04-09 Matsushita Electric Works Ltd Car detector
JP2001134769A (en) * 1999-11-04 2001-05-18 Honda Motor Co Ltd Object recognizing device
JP2002362302A (en) * 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai Pedestrian detecting device
JP2004013400A (en) * 2002-06-05 2004-01-15 Fuji Heavy Ind Ltd Object recognition device and object recognition method
JP2007156626A (en) * 2005-12-01 2007-06-21 Nissan Motor Co Ltd Object type determination device and object type determination method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0383474A (en) * 1989-08-28 1991-04-09 Matsushita Electric Works Ltd Car detector
JP2001134769A (en) * 1999-11-04 2001-05-18 Honda Motor Co Ltd Object recognizing device
JP2002362302A (en) * 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai Pedestrian detecting device
JP2004013400A (en) * 2002-06-05 2004-01-15 Fuji Heavy Ind Ltd Object recognition device and object recognition method
JP2007156626A (en) * 2005-12-01 2007-06-21 Nissan Motor Co Ltd Object type determination device and object type determination method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011138313A (en) * 2009-12-28 2011-07-14 Casio Computer Co Ltd Image processor and image processing method, and program
WO2012004938A1 (en) * 2010-07-09 2012-01-12 本田技研工業株式会社 Device for monitoring vicinity of vehicle
CN102985957A (en) * 2010-07-09 2013-03-20 本田技研工业株式会社 Device for monitoring vicinity of vehicle
JP5576937B2 (en) * 2010-07-09 2014-08-20 本田技研工業株式会社 Vehicle periphery monitoring device
US9158738B2 (en) 2010-07-09 2015-10-13 Honda Motor Co., Ltd. Apparatus for monitoring vicinity of a vehicle
JP2012146142A (en) * 2011-01-12 2012-08-02 Denso Corp Object detecting device
JP2014041427A (en) * 2012-08-21 2014-03-06 Toyota Central R&D Labs Inc Object detection device and program
JP2015049814A (en) * 2013-09-03 2015-03-16 コイト電工株式会社 Pedestrian detecting device and traffic control system
JP2017134814A (en) * 2016-01-27 2017-08-03 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Vehicle contour detection method based on point group data, and device
JP2017224110A (en) * 2016-06-14 2017-12-21 トヨタ自動車株式会社 Object determination device
JP2020035334A (en) * 2018-08-31 2020-03-05 株式会社デンソー Image processing apparatus

Also Published As

Publication number Publication date
JP4864043B2 (en) 2012-01-25

Similar Documents

Publication Publication Date Title
JP4864043B2 (en) Image processing apparatus, method, and program
JP4263737B2 (en) Pedestrian detection device
JP4203512B2 (en) Vehicle periphery monitoring device
JP4930046B2 (en) Road surface discrimination method and road surface discrimination device
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
JP2007179386A (en) Method and apparatus for recognizing white line
JP6226368B2 (en) Vehicle monitoring apparatus and vehicle monitoring method
JP2018022220A (en) Behavior data analysis system, and behavior data analysis device, and behavior data analysis method
CN106778736A (en) The licence plate recognition method and its system of a kind of robust
KR101236223B1 (en) Method for detecting traffic lane
JP6358552B2 (en) Image recognition apparatus and image recognition method
JP2004086417A (en) Method and device for detecting pedestrian on zebra crossing
JP2000306097A (en) Road area decision device
CN107506739B (en) Night forward vehicle detection and distance measurement method
JP5083164B2 (en) Image processing apparatus and image processing method
JP4765113B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP4842301B2 (en) Pedestrian detection device and program
KR101620425B1 (en) System for lane recognition using environmental information and method thereof
JP2008028478A (en) Obstacle detection system, and obstacle detecting method
JP5189556B2 (en) Lane detection device
CN202854837U (en) Vehicle lane mark line detection device
JP5447164B2 (en) Mobile object identification apparatus, computer program, and mobile object identification method
JP5447162B2 (en) Mobile object identification apparatus, computer program, and mobile object identification method
JP4162868B2 (en) Object extraction device
JP5724473B2 (en) Vehicular image recognition apparatus, vehicular image recognition method, program, and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees