JP2007310591A - Image processor and parking space determination method - Google Patents

Image processor and parking space determination method Download PDF

Info

Publication number
JP2007310591A
JP2007310591A JP2006138108A JP2006138108A JP2007310591A JP 2007310591 A JP2007310591 A JP 2007310591A JP 2006138108 A JP2006138108 A JP 2006138108A JP 2006138108 A JP2006138108 A JP 2006138108A JP 2007310591 A JP2007310591 A JP 2007310591A
Authority
JP
Japan
Prior art keywords
image
imaging
vehicle
image processing
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006138108A
Other languages
Japanese (ja)
Inventor
Takaaki Ito
Shuhei Takimoto
崇晶 伊藤
周平 滝本
Original Assignee
Auto Network Gijutsu Kenkyusho:Kk
Sumitomo Electric Ind Ltd
Sumitomo Wiring Syst Ltd
住友電気工業株式会社
住友電装株式会社
株式会社オートネットワーク技術研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auto Network Gijutsu Kenkyusho:Kk, Sumitomo Electric Ind Ltd, Sumitomo Wiring Syst Ltd, 住友電気工業株式会社, 住友電装株式会社, 株式会社オートネットワーク技術研究所 filed Critical Auto Network Gijutsu Kenkyusho:Kk
Priority to JP2006138108A priority Critical patent/JP2007310591A/en
Publication of JP2007310591A publication Critical patent/JP2007310591A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor and a parking space determination method for determining whether a parking space having a solid object such as a car stop between two white straight lines exists near a vehicle. <P>SOLUTION: An image picked up by a camera is obtained, and converted to a top-view image by Topview conversion to extract a white line by binarization. The binarized image is Hough-transformed. Points crossing many Hough curves corresponding to each point of the image Hough transformed are extracted to extract straight lines. The straight lines are extracted and obtained by inverse Hough transform. A distance to an object in the image obtained by the camera is calculated to detect the solid object based on the calculation result. When the solid object exists between the extracted two straight lines, it is determined that a parking space exists near the vehicle. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、車両に搭載されたカメラにより撮像された画像から、車両の近傍に駐車場が存在するか否かを判定することができる画像処理装置及び駐車場判定方法に関する。   The present invention relates to an image processing apparatus and a parking lot determination method that can determine whether or not a parking lot exists in the vicinity of a vehicle from an image captured by a camera mounted on the vehicle.
従来から、車両の前側、後側又は左右側にカメラを搭載し、カメラが撮像した画像を基に運転者へ種々の情報を提供するシステムが実用化されている。例えば、車両の運転席から死角となる部分を撮像するカメラを搭載することによって、運転者が直接に目視できない部分を車内のディスプレイに表示することができる。また、カメラが撮像した画像から白色の直線を認識することによって、車両が走行車線から逸脱した場合に警告を発する機能、又は駐車場へ車両を導く駐車アシスト機能等を実現することが可能である。   2. Description of the Related Art Conventionally, a system in which a camera is mounted on the front side, rear side, or left / right side of a vehicle and various information is provided to a driver based on an image captured by the camera has been put into practical use. For example, by mounting a camera that captures a blind spot from the driver's seat of the vehicle, a portion that cannot be directly seen by the driver can be displayed on the display inside the vehicle. In addition, by recognizing a white straight line from an image captured by the camera, it is possible to realize a function of issuing a warning when the vehicle deviates from the traveling lane, a parking assist function for guiding the vehicle to the parking lot, or the like. .
カメラが撮像した画像から白色の直線を認識するための方法として、従来からハフ変換(Hough変換)が用いられている。ハフ変換は、画像の各点(x、y)をxy平面からρθ平面上でρ=xcosθ+ysinθというハフ曲線に変換し、これらの曲線が最も多く交わる点(ρ、θ)に対応するxy平面上での直線を検出する方法である。なお、ρは原点から直線へ下ろした垂線の長さに対応し、θは垂線及びx軸のなす角に対応する。ハフ変換では、直線が実線であっても破線であっても直線を検出することができ、直線の太さにばらつきがあっても直線を検出することができるため、誤検出が少ないという利点がある。   As a method for recognizing a white straight line from an image captured by a camera, Hough transform (Hough transform) has been conventionally used. The Hough transform converts each point (x, y) of the image from the xy plane to a Hough curve of ρ = x cos θ + ysin θ on the ρ θ plane, and on the xy plane corresponding to the point (ρ, θ) where these curves intersect most frequently. This is a method of detecting a straight line at. Note that ρ corresponds to the length of a perpendicular line drawn from the origin to a straight line, and θ corresponds to the angle formed by the perpendicular line and the x axis. The Hough transform can detect straight lines regardless of whether the straight line is a solid line or a broken line, and can detect a straight line even if the thickness of the straight line varies. is there.
特許文献1においては、カメラが撮像した画像から路面の種類を判別して、路面上に白線が設けられている場合には白線に基づいて車両の目標駐車区画を設定し、路面上に白線が設けられていない場合には障害物に基づいて車両の目標駐車区画を設定することにより、駐車場へ車両を導く場合の目印を高精度に検出することができる画像処理装置が提案されている。この画像処理装置では、路面上に白線が設けられているか否かを判定する場合にハフ変換が利用されている。   In Patent Document 1, the type of road surface is determined from an image captured by a camera, and when a white line is provided on the road surface, the target parking area of the vehicle is set based on the white line, and the white line is displayed on the road surface. There has been proposed an image processing apparatus that can detect a mark when a vehicle is guided to a parking lot with high accuracy by setting a target parking area of the vehicle based on an obstacle when it is not provided. In this image processing apparatus, the Hough transform is used when determining whether or not a white line is provided on the road surface.
特許文献2においては、車両の前方を撮像するカメラと、車両の前方・左右側方を撮像するカメラと、車両の左右側方及び後方の距離情報を各画素毎に取得する赤外線レーザカメラとを備えて、各カメラからの画像情報と赤外線レーザカメラからの距離情報とに基づいて駐車位置を自動的に検出して駐車支援情報を提供できる駐車支援システムが提案されている。
特開2004−34946号公報 特開2006−96312号公報
In Patent Document 2, a camera that images the front of the vehicle, a camera that images the front and left and right sides of the vehicle, and an infrared laser camera that acquires distance information of the left and right sides and the rear of the vehicle for each pixel are provided. In addition, a parking support system has been proposed that can automatically detect a parking position based on image information from each camera and distance information from an infrared laser camera and provide parking support information.
JP 2004-34946 A JP 2006-96312 A
しかしながら、特許文献1の画像処理装置は、路面上に白線が設けられている場合に、白線で囲まれた領域を目標駐車区画として設定するものであり、車線又は横断歩道等の白線と駐車場の白線とを区別することができない。よって、この画像処理装置は、運転者が車両を駐車場の直近まで移動させた後に使用することが前提であり、限られた用途にしか使用することができない。また、特許文献2に記載の駐車支援システムは、距離情報を取得するために赤外線レーザカメラを車両に搭載する必要があるため、高コストであるという問題がある。   However, when the white line is provided on the road surface, the image processing apparatus of Patent Document 1 sets an area surrounded by the white line as a target parking section, and a white line such as a lane or a pedestrian crossing and a parking lot Cannot be distinguished from the white line. Therefore, this image processing apparatus is premised on the use of the driver after moving the vehicle to the nearest parking lot, and can only be used for limited applications. Further, the parking support system described in Patent Document 2 has a problem of high cost because it is necessary to mount an infrared laser camera on the vehicle in order to acquire distance information.
近年、車両の前後を走行する他車両との車間を自動的に調整する機能、又は夜間の歩行者を検出して運転者へ警告を発する機能等の走行中の事故を抑制するための種々の機能を車両に搭載し、車両走行時の安全性を高める努力がなされている。駐車場の近傍には歩行者が存在する可能性が高く、駐車場の近傍を車両が高速走行することは危険であるため、駐車場の近傍にて車両の速度を自動的に調整できることが望ましい。このためには、車両を駐車場の直近まで移動させた後でなくとも、車両の近傍に駐車場が存在しているか否かを判定する必要がある。   In recent years, various functions for suppressing accidents during traveling such as a function of automatically adjusting the distance between other vehicles traveling in front of and behind the vehicle or a function of detecting a pedestrian at night and issuing a warning to the driver. Efforts have been made to increase the safety when the vehicle is running by mounting the function on the vehicle. Since there is a high possibility that there are pedestrians in the vicinity of the parking lot and it is dangerous for the vehicle to travel at high speed in the vicinity of the parking lot, it is desirable that the vehicle speed can be automatically adjusted in the vicinity of the parking lot. . For this purpose, it is necessary to determine whether or not a parking lot exists in the vicinity of the vehicle even after the vehicle has not been moved to the immediate vicinity of the parking lot.
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、撮像手段が撮像した画像から2つの直線を抽出すると共に立体物を検出し、2つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する構成とすることにより、2つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができる画像処理装置を提供することにある。   The present invention has been made in view of such circumstances, and an object of the present invention is to extract two straight lines from an image picked up by the image pickup means and detect a three-dimensional object between the two straight lines. By determining whether or not there is a parking lot based on whether or not a three-dimensional object is present, determining whether or not there is a parking lot in which a three-dimensional object such as a ring stop is provided between two white straight lines An object of the present invention is to provide an image processing apparatus capable of
また本発明の他の目的とするところは、視野の中央部よりも端部において撮像する画像の湾曲度合いを大きくした撮像手段により車両の周辺を撮像し、画像の湾曲部分を補正して俯瞰方向の画像に変換する構成とすることにより、車両の周辺を広範囲に亘って撮像でき、駐車場の有無を判定することができる画像処理装置を提供することにある。   Another object of the present invention is to take an image of the periphery of the vehicle by an imaging means having a degree of curvature of an image to be imaged at the end portion rather than the center portion of the field of view, and correct the curved portion of the image so as to look down. Therefore, the present invention provides an image processing apparatus that can image the periphery of a vehicle over a wide range and determine the presence or absence of a parking lot.
また本発明の他の目的とするところは、撮像した画像からハフ変換により2つの白色の直線を抽出する構成とすることにより、白色の直線の誤抽出が起こりにくく、確実に駐車場の有無を判定することができる画像処理装置を提供することにある。   Another object of the present invention is to extract two white straight lines from the captured image by Hough transform, so that the white line is less likely to be mistakenly extracted, and the presence or absence of a parking lot is surely detected. An object of the present invention is to provide an image processing apparatus capable of determining.
また本発明の他の目的とするところは、撮像された画像の各画素に写された対象物までの距離をそれぞれ算出し、隣り合う画素に写された対象物までの距離の差に応じて、画像から立体物を検出する構成とすることにより、2次元の画像から3次元の立体物を確実に検出することができ、確実に駐車場の有無を判定することができる画像処理装置を提供することにある。   Another object of the present invention is to calculate the distance to the object captured in each pixel of the captured image, and according to the difference in distance to the object captured in the adjacent pixel. By providing a configuration for detecting a three-dimensional object from an image, an image processing apparatus capable of reliably detecting a three-dimensional three-dimensional object from a two-dimensional image and reliably determining the presence or absence of a parking lot is provided. There is to do.
また本発明の他の目的とするところは、車両に撮像手段を複数搭載し、複数の撮像手段が異なる位置から同一の対象物を撮像することが可能である場合に、複数の撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に算出することができ、撮像した画像からの立体物の検出を確実に行うことができる画像処理装置を提供することにある。   Another object of the present invention is to mount a plurality of image pickup means on a vehicle, and when the plurality of image pickup means can pick up the same object from different positions, the plurality of image pickup means respectively By adopting a configuration that calculates the distance from the vehicle to the object based on the imaging position of the same object in the captured image, the distance from the vehicle to the object can be accurately calculated, and the image is captured. An object of the present invention is to provide an image processing apparatus capable of reliably detecting a three-dimensional object from an image.
また本発明の他の目的とするところは、撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に且つ安価に算出することができる画像処理装置を提供することにある。   Another object of the present invention is to calculate the distance from the vehicle to the object based on the imaging positions of the same object in a plurality of images taken at different times by the imaging means. Thus, an object of the present invention is to provide an image processing apparatus that can accurately and inexpensively calculate the distance from a vehicle to an object.
また本発明の他の目的とするところは、撮像手段を有する画像処理装置を用いて、撮像した画像から2つの直線を抽出すると共に立体物を検出し、2つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定することにより、2つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができる駐車場判定方法を提供することにある。   Another object of the present invention is to use an image processing apparatus having an imaging means to extract two straight lines from a captured image and detect a three-dimensional object, and a three-dimensional object exists between the two straight lines. A parking lot determination method capable of determining the presence or absence of a parking lot in which a three-dimensional object such as a ring stop is provided between two white straight lines by determining the presence or absence of a parking lot based on whether or not It is to provide.
第1発明に係る画像処理装置は、車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置において、画像から直線を抽出する抽出手段と、画像から立体物を検出する検出手段と、前記抽出手段が抽出した2つの直線の間に、前記検出手段が検出した立体物が存在するか否かに基づいて、駐車場の有無を判定する判定手段とを備えることを特徴とする。   An image processing apparatus according to a first aspect of the present invention is an image processing apparatus that processes an image obtained by an imaging unit that images the outside of a vehicle. An extraction unit that extracts a straight line from the image, and a detection unit that detects a three-dimensional object from the image. And determining means for determining the presence or absence of a parking lot based on whether or not the three-dimensional object detected by the detecting means exists between the two straight lines extracted by the extracting means.
本発明においては、撮像手段が撮像した画像から2つの直線を抽出すると共に立体物を検出し、2つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する。駐車場は2つの白色の直線の間に1つ又は2つの直方体状の輪止めが設けられた構成であることが多く、2つの直線と直線間の立体物とが画像の中に存在するか否かにより、駐車場の有無を判定することが可能である。また、車線又は横断歩道等の白色の直線の間には立体物が存在することは少ないため、これらの白色の直線を駐車場と誤判定することがなく、車両が駐車場の直近に移動しなくとも、駐車場の有無を判定できる。   In the present invention, two straight lines are extracted from the image picked up by the image pickup means and a three-dimensional object is detected, and whether or not there is a parking lot is determined based on whether a three-dimensional object exists between the two straight lines. Parking lots are often configured with one or two rectangular parallelepiped rings between two white straight lines. Do two straight lines and solid objects between the straight lines exist in the image? It is possible to determine the presence or absence of a parking lot depending on whether or not. In addition, since there are few solid objects between white lines such as lanes or pedestrian crossings, these white lines are not mistakenly identified as parking lots, and the vehicle moves close to the parking lot. Even if it is not, the presence or absence of a parking lot can be determined.
また、第2発明に係る画像処理装置は、前記撮像手段が、視野の中央部よりも端部にて撮像する画像の湾曲度合いを大きくしてあり、前記撮像手段が撮像した画像の湾曲部分を補正して、俯瞰方向の画像に変換する変換手段を備え、前記抽出手段は、前記変換手段が変換した画像から2つの直線を抽出するようにしてあることを特徴とする。   In the image processing apparatus according to the second aspect of the invention, the imaging unit increases the degree of curvature of the image captured at the end rather than the center of the field of view, and the curved portion of the image captured by the imaging unit is detected. The image processing apparatus includes a conversion unit that corrects and converts the image into a bird's-eye view image, and the extraction unit extracts two straight lines from the image converted by the conversion unit.
本発明においては、視野の中央部よりも端部において撮像する画像の湾曲度合いを大きくした撮像手段、例えば魚眼レンズ又は広角レンズ等を有するカメラなどにより車両の周辺を撮像し、車両の周辺をより広範囲に亘って撮像する。また、撮像した画像の湾曲部分を補正して俯瞰方向の画像に変換することによって、駐車場の有無を判定するための2つの直線の抽出を確実に行う。   In the present invention, the periphery of the vehicle is imaged in a wider range by capturing an image of the periphery of the vehicle with an imaging means having a greater degree of curvature of the image captured at the end than the center of the field of view, such as a camera having a fisheye lens or a wide-angle lens. The image is taken over. In addition, by correcting the curved portion of the captured image and converting it into an image in the bird's-eye view, two straight lines for determining the presence or absence of a parking lot are reliably extracted.
また、第3発明に係る画像処理装置は、前記抽出手段が、画像から白色の直線をハフ変換により抽出するようにしてあることを特徴とする。   The image processing apparatus according to the third invention is characterized in that the extraction means extracts a white straight line from the image by Hough transform.
本発明においては、撮像した画像からハフ変換により白色の直線を抽出する。ハフ変換では、実線であっても破線であっても直線を検出することができ、また、直線の太さにばらつきがあっても直線を検出することができるため、例えば白色の直線が劣化して一部破損している場合などであっても、確実に白色の直線を抽出することができ、誤抽出が起こりにくい。   In the present invention, a white straight line is extracted from the captured image by Hough transform. In the Hough transform, a straight line can be detected whether it is a solid line or a broken line, and a straight line can be detected even if there is a variation in the thickness of the straight line. Even if it is partially damaged, a white straight line can be reliably extracted, and erroneous extraction is unlikely to occur.
また、第4発明に係る画像処理装置は、前記撮像手段により得られた画像の各画素について、各画素に写された対象物までの距離をそれぞれ算出する算出手段を備え、前記検出手段は、隣り合う画素について前記算出手段がそれぞれ算出した前記距離の差に応じて、画像から立体物を検出するようにしてあることを特徴とする。   The image processing apparatus according to a fourth aspect of the present invention includes a calculation unit that calculates a distance to an object captured in each pixel for each pixel of the image obtained by the imaging unit, and the detection unit includes: The three-dimensional object is detected from the image according to the difference in the distance calculated by the calculation unit for adjacent pixels.
本発明においては、撮像された画像の各画素に写された対象物までの距離をそれぞれ算出し、隣り合う画素に写された対象物までの距離の差に応じて、画像から立体物を検出する。例えば、路面上に立体物が存在しない場合、撮像された路面と車両とは一定の距離で徐々に遠ざかるが、路面上に立体物が存在する場合、立体物が存在する位置では一定の距離で路面と車両とが遠ざからないため、立体物の存在を検出できる。   In the present invention, the distance to the object captured in each pixel of the captured image is calculated, and the three-dimensional object is detected from the image according to the difference in distance to the object captured in the adjacent pixel. To do. For example, when there is no three-dimensional object on the road surface, the imaged road surface and the vehicle gradually move away at a certain distance, but when there is a three-dimensional object on the road surface, at a certain distance at the position where the three-dimensional object exists. Since the road surface and the vehicle are not far away, the presence of a three-dimensional object can be detected.
また、第5発明に係る画像処理装置は、前記撮像手段は複数であり、複数の撮像手段は異なる位置から同一の対象物を撮像することが可能にしてあり、前記算出手段は、複数の前記撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてあることを特徴とする。   In the image processing apparatus according to the fifth aspect of the present invention, the imaging unit includes a plurality of imaging units, the plurality of imaging units can capture the same object from different positions, and the calculation unit includes a plurality of the imaging units. The distance to the object is calculated based on the imaging position of the same object in the images captured by the imaging means.
本発明においては、異なる位置から同一の対象物を撮像することができるように、車両に複数の撮像手段を搭載する。異なる位置から同一の対象物を撮像した場合、各撮像手段によりそれぞれ取得した画像上での同一の対象物の撮像位置が異なるため、撮像位置の差を基に対象物までの距離を算出できる。撮像手段のみで対象物までの距離を算出できるため、電磁波又は超音波等を対象物へ向けて発して反射波を測定することで距離を算出するレーダーのような装置を備える必要がない。   In the present invention, a plurality of imaging means are mounted on the vehicle so that the same object can be imaged from different positions. When the same object is imaged from different positions, the imaging position of the same object on the images acquired by the respective imaging means is different, so that the distance to the object can be calculated based on the difference in imaging position. Since the distance to the object can be calculated only by the imaging means, it is not necessary to provide a device such as a radar that calculates the distance by emitting an electromagnetic wave or an ultrasonic wave toward the object and measuring the reflected wave.
また、第6発明に係る画像処理装置は、前記算出手段が、前記撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてあることを特徴とする。   In the image processing apparatus according to the sixth aspect of the invention, the calculating means calculates a distance to the target object based on imaging positions of the same target object in a plurality of images taken at different times by the imaging means. It is made to do so.
本発明においては、撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する。車両が走行しているときに、異なる時点に撮像を行って得られる複数の画像を比較した場合、各画像には同一の対象物が撮像位置を徐々に移動して写されるため、移動距離を考慮することで、複数の撮像手段を搭載した場合と同様に、撮像位置の差を基に対象物までの距離を算出できる。撮像手段を複数搭載する必要がないため、画像処理装置のコストを低減できる。   In the present invention, the distance from the vehicle to the object is calculated based on the imaging positions of the same object in a plurality of images taken at different times by the imaging means. When a plurality of images obtained by imaging at different time points are compared when the vehicle is traveling, the same object is gradually moved at the imaging position in each image. By considering the above, it is possible to calculate the distance to the object based on the difference in the imaging position, as in the case of mounting a plurality of imaging means. Since it is not necessary to mount a plurality of imaging means, the cost of the image processing apparatus can be reduced.
また、第7発明に係る駐車場判定方法は、車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置を用いて、画像から直線を抽出し、画像から立体物を検出し、抽出した2つの直線の間に、検出した立体物が存在するか否かに基づいて、駐車場の有無を判定することを特徴とする。   Moreover, the parking lot determination method according to the seventh aspect of the present invention is to extract a straight line from an image using an image processing device that processes an image obtained by an imaging unit that captures the outside of the vehicle, detect a three-dimensional object from the image, The presence or absence of a parking lot is determined based on whether or not a detected three-dimensional object exists between two extracted straight lines.
本発明においては、撮像手段を有する画像処理装置を用いて、撮像した画像から直線を抽出すると共に立体物を検出し、2つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する。駐車場は2つの白色の直線の間に1つ又は2つの直方体状の輪止めが設けられた構成であることが多く、2つの直線と直線間の立体物とが画像の中に存在するか否かにより、駐車場の有無を判定することが可能であり、車両が駐車場の直近まで移動した後でなくとも、駐車場の有無を判定できる。   In the present invention, a parking lot is extracted based on whether a three-dimensional object exists between two straight lines by extracting a straight line from the captured image and detecting a three-dimensional object using an image processing device having an imaging means. The presence or absence of is determined. Parking lots are often configured with one or two rectangular parallelepiped rings between two white straight lines. Do two straight lines and solid objects between the straight lines exist in the image? Whether or not there is a parking lot can be determined by determining whether or not the parking lot is present even if the vehicle has not moved to the immediate vicinity of the parking lot.
第1発明による場合は、撮像手段が撮像した画像から2つの直線を抽出すると共に立体物を検出し、2つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定する構成とすることにより、2つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができるため、車両が駐車場の直近まで移動した後でなくとも、誤判定することなく駐車場の有無を判定できる。これにより、駐車場の近傍にて車両の速度を調整するなどの制御を行うことができるようになるため、車両の走行時の安全性を高めることが可能となる。   In the case of the first invention, two straight lines are extracted from the image picked up by the image pickup means and a three-dimensional object is detected, and whether or not there is a parking lot is determined based on whether or not a three-dimensional object exists between the two straight lines. Since it can be determined whether or not there is a parking lot provided with a three-dimensional object such as a ring stopper between two white straight lines, even after the vehicle has moved to the nearest parking lot The presence or absence of a parking lot can be determined without erroneous determination. This makes it possible to perform control such as adjusting the speed of the vehicle in the vicinity of the parking lot, so that it is possible to improve safety when the vehicle is traveling.
また、第2発明による場合は、視野の中央部よりも端部において撮像する画像の湾曲度合いを大きくした撮像手段により車両の周辺を撮像する構成とすることにより、車両の周辺を広範囲に亘って撮像することができる。また、撮像した画像の湾曲部分を補正して俯瞰方向の画像に変換する構成とすることにより、端部の湾曲度合いの大きい撮像手段を用いる場合であっても、2つの直線の抽出を確実に行うことができる。よって、駐車場の有無をより確実に判定することができ、判定結果を用いて駐車場の近傍にて車両の速度を調整するなどの制御を行った場合には、車両の走行時の安全性をより高めることが可能となる。   Further, in the case of the second invention, the periphery of the vehicle is covered over a wide range by adopting a configuration in which the periphery of the vehicle is imaged by the imaging means in which the degree of curvature of the image captured at the end portion is larger than the center portion of the visual field. An image can be taken. In addition, by adopting a configuration in which the curved portion of the captured image is corrected and converted into an image in the bird's-eye view direction, even when using an imaging means having a large degree of curvature at the end, it is possible to reliably extract two straight lines. It can be carried out. Therefore, the presence or absence of a parking lot can be more reliably determined, and when control such as adjusting the speed of the vehicle in the vicinity of the parking lot using the determination result is performed, the safety during driving of the vehicle Can be further increased.
また、第3発明による場合は、撮像した画像からハフ変換により2つの白色の直線を抽出する構成とすることにより、例えば白色の直線が劣化して一部破損している場合などであっても、確実に白色の直線を抽出することができ、誤抽出が起こりにくいため、駐車場の有無をより確実に判定することができる。よって、判定結果を用いて駐車場の近傍にて車両の速度を調整するなどの制御を行った場合には、車両の走行時の安全性をより高めることが可能となる。   In the case of the third invention, by adopting a configuration in which two white straight lines are extracted from the captured image by Hough transform, for example, even when the white straight line deteriorates and is partially damaged. Since a white straight line can be reliably extracted and erroneous extraction is unlikely to occur, the presence or absence of a parking lot can be more reliably determined. Therefore, when control such as adjusting the speed of the vehicle in the vicinity of the parking lot using the determination result is performed, it is possible to further increase the safety during traveling of the vehicle.
また、第4発明による場合は、撮像された画像の各画素に写された対象物までの距離をそれぞれ算出し、隣り合う画素に写された対象物までの距離の差に応じて、画像から立体物を検出する構成とすることにより、路面上に立体物が存在する場合には、2次元の画像から3次元の立体物を確実に検出することができる。よって、駐車場の有無を確実に判定することができ、判定結果を用いて駐車場の近傍にて車両の速度を調整するなどの制御を行った場合には、車両の走行時の安全性を高めることが可能となる。   Further, in the case of the fourth invention, the distance to the object captured in each pixel of the captured image is calculated, and the distance from the image is determined according to the difference in distance to the object captured in the adjacent pixel. By adopting a configuration for detecting a three-dimensional object, a three-dimensional solid object can be reliably detected from a two-dimensional image when the three-dimensional object exists on the road surface. Therefore, the presence or absence of a parking lot can be reliably determined, and when control such as adjusting the speed of the vehicle in the vicinity of the parking lot using the determination result is performed, the safety during driving of the vehicle is reduced. It becomes possible to raise.
また、第5発明による場合は、異なる位置から同一の対象物を撮像することができるように、車両に複数の撮像手段を搭載し、複数の撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に算出することができる。よって、撮像した画像から立体物の検出を確実に行うことができ、駐車場の有無を確実に判定することができる。また、撮像手段のみで対象物までの距離を算出でき、電磁波又は超音波等を対象物へ向けて発して反射波を測定することで距離を算出するレーダーなどの装置を備える必要がないため、駐車場の有無を判定する機能を備えることによる画像処理装置のコストの増加を抑えることができる。   In the case of the fifth invention, the vehicle is equipped with a plurality of image pickup means so that the same object can be picked up from different positions, and the same object in the images picked up by the plurality of image pickup means respectively. The distance from the vehicle to the target can be accurately calculated by calculating the distance from the vehicle to the target based on the imaging position. Therefore, it is possible to reliably detect a three-dimensional object from the captured image, and to reliably determine the presence or absence of a parking lot. In addition, since it is possible to calculate the distance to the object only with the imaging means, it is not necessary to have a device such as a radar that calculates the distance by emitting electromagnetic waves or ultrasonic waves toward the object and measuring the reflected wave. An increase in the cost of the image processing apparatus due to the function of determining the presence or absence of a parking lot can be suppressed.
また、第6発明による場合は、撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、車両から対象物までの距離を算出する構成とすることにより、車両から対象物までの距離を正確に算出することができるため、立体物の検出を確実に行うことができ、駐車場の有無を確実に判定することができる。また、撮像手段を複数搭載する必要がないため、駐車場の有無を判定する機能を備えることによる画像処理装置のコストの増加をより抑えることができる。   In the case of the sixth invention, the vehicle is configured to calculate the distance from the vehicle to the object based on the imaging positions of the same object in the plurality of images captured at different times by the imaging unit. Since the distance from the object to the object can be accurately calculated, the three-dimensional object can be reliably detected, and the presence or absence of the parking lot can be reliably determined. In addition, since there is no need to mount a plurality of imaging means, it is possible to further suppress an increase in the cost of the image processing apparatus due to the function of determining the presence or absence of a parking lot.
また、第7発明による場合は、撮像手段を有する画像処理装置を用いて、撮像した画像から直線を抽出すると共に立体物を検出し、2つの直線の間に立体物が存在するか否かに基づいて駐車場の有無を判定することにより、2つの白色の直線の間に輪止めなどの立体物が設けられた駐車場の有無を判定することができるため、車両が駐車場の直近まで移動した後でなくとも、誤判定することなく駐車場の有無を判定できる。これにより、この駐車場判定方法による判定結果を用いて、駐車場の近傍にて車両の速度を調整するなどの制御を行うことができるようになるため、車両の走行時の安全性を高めることが可能となる。   Further, in the case of the seventh invention, using an image processing apparatus having an imaging means, a straight line is extracted from the captured image and a three-dimensional object is detected, and whether or not a three-dimensional object exists between two straight lines. By determining the presence or absence of a parking lot based on this, it is possible to determine the presence or absence of a parking lot with a three-dimensional object such as a ring stop between two white straight lines, so the vehicle moves to the nearest parking lot. Even if it is not done, the presence or absence of a parking lot can be determined without erroneous determination. This makes it possible to perform control such as adjusting the speed of the vehicle in the vicinity of the parking lot using the determination result obtained by the parking lot determination method, thereby improving the safety when the vehicle is traveling. Is possible.
(実施の形態1)
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。図において1は車両に搭載されるECU(Electronic Control Unit)であり、カメラ20R、20Lが撮像した画像を取得し、表示用の画像に変換してディスプレイ25へ与える処理を主として行うものである。カメラ20R、20L及びECU1と、ECU1及びディスプレイ25とは、それぞれ接続ケーブル又はネットワークケーブル等により接続されている。
(Embodiment 1)
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof. FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention. In the figure, reference numeral 1 denotes an ECU (Electronic Control Unit) mounted on the vehicle, which mainly performs processing of acquiring images captured by the cameras 20R and 20L, converting them to display images, and giving them to the display 25. The cameras 20R and 20L and the ECU 1, and the ECU 1 and the display 25 are connected by a connection cable or a network cable, respectively.
カメラ20R及び20Lは、CCD又はCMOS等によるイメージセンサをそれぞれ備え、イメージセンサが出力するアナログ信号をデジタルデータの画像に変換してECU1へそれぞれ与えるようにしてある。また、カメラ20Rの光軸とカメラ20Lの光軸とが略平行となるように、且つ、路面からカメラ20Rまでの距離と路面からカメラ20Lまでの距離とが略等しくなるように、カメラ20Rが車両の右側前部に搭載され、カメラ20Lが左側前部に搭載されている。カメラ20R及び20Lが備えるレンズは、広角レンズ又は魚眼レンズ等の画角が90°以上のレンズであり、一定の距離を隔てて配されたカメラ20R及び20Lのそれぞれの撮像範囲の一部又は全部が重複するようにしてある。   Each of the cameras 20R and 20L includes an image sensor such as a CCD or a CMOS, and converts an analog signal output from the image sensor into an image of digital data and supplies it to the ECU 1 respectively. Further, the camera 20R is configured so that the optical axis of the camera 20R and the optical axis of the camera 20L are substantially parallel, and the distance from the road surface to the camera 20R is substantially equal to the distance from the road surface to the camera 20L. It is mounted on the right front part of the vehicle, and the camera 20L is mounted on the left front part. The lenses included in the cameras 20R and 20L are lenses having a field angle of 90 ° or more, such as wide-angle lenses or fish-eye lenses, and part or all of the imaging ranges of the cameras 20R and 20L arranged at a certain distance are provided. It is made to overlap.
ECU1は、カメラ20R及び20Lから与えられる画像を基にして種々の画像処理を行う画像処理部10を備えており、画像処理部10には、画像を一時的に蓄積するための画像メモリ11、及び正面から撮像された画像を俯瞰方向の画像に変換するTopview変換(後述する)などに用いられる変換テーブルを記憶する変換テーブル用メモリ12が接続されている。また、画像処理部10にはディスプレイ25が接続されており、カメラ20R及び20Lから与えられた画像に画像処理を施して、ディスプレイ25に表示することができるようにしてある。   The ECU 1 includes an image processing unit 10 that performs various types of image processing based on images provided from the cameras 20R and 20L. The image processing unit 10 includes an image memory 11 for temporarily storing images. Also connected is a conversion table memory 12 for storing a conversion table used for Topview conversion (described later) for converting an image captured from the front into an image in the bird's-eye view. In addition, a display 25 is connected to the image processing unit 10, and image processing is performed on images given from the cameras 20 </ b> R and 20 </ b> L so that the image can be displayed on the display 25.
カメラ20R及び20Lは、広角レンズ又は魚眼レンズ等のレンズにより撮像を行うため、撮像される画像は中央から端部へ向けて徐々に湾曲度合いが大きくなる。よって、画像処理部10は、カメラ20R又は20Lが撮像した画像をディスプレイ25に表示する場合には、画像の湾曲部分を補正して表示するようにしてある。更に、画像処理部10は、例えば駐車の際に、カメラ20R及び20Lが撮像した画像を俯瞰方向、即ち上から見た画像に変換してディスプレイ25に表示することができるようにしてある。   Since the cameras 20R and 20L capture an image using a lens such as a wide-angle lens or a fisheye lens, the degree of curvature of the captured image gradually increases from the center toward the end. Therefore, when displaying the image captured by the camera 20R or 20L on the display 25, the image processing unit 10 corrects and displays the curved portion of the image. Further, the image processing unit 10 can convert the images captured by the cameras 20R and 20L into an image viewed from above, that is, an image viewed from above and display the image on the display 25, for example, when parking.
また、ECU1は、車両に搭載された図示しない車速センサ又は加速度センサ等のセンサから得られる検出結果及び画像処理部10の処理結果等を基にして、車両に搭載された電子機器及び画像処理部10等の制御を行うCPU14を備えており、CPU14にはROM13及びRAM15が接続されている。ROM13には、CPU14にて実行される種々の制御プログラムが記憶されており、マスクROM、EEPROM又はフラッシュメモリ等の不揮発性のメモリ素子により構成されている。RAM15は、CPU14が制御処理又は演算処理等を行う際に生じる一時的なデータを記憶するものであり、SRAM、DRAM又はフラッシュメモリ等の書き換え可能なメモリ素子により構成されている。CPU14は、ROM13から制御プログラムを読み出して実行することにより、例えばABS(Antirock Brake System)又はTCS(Traction Control System)等の車両の電気的な制御を行うようにしてあり、また、前方を走行する車両との車間を測定するレーダーが搭載されている場合には、車間に応じて車速の調整を行うなどの処理を行うことも可能である。   The ECU 1 also includes an electronic device and an image processing unit mounted on the vehicle based on a detection result obtained from a sensor such as a vehicle speed sensor or an acceleration sensor (not shown) mounted on the vehicle and a processing result of the image processing unit 10. A CPU 14 that performs control such as 10 is provided, and a ROM 13 and a RAM 15 are connected to the CPU 14. The ROM 13 stores various control programs to be executed by the CPU 14 and is configured by a nonvolatile memory element such as a mask ROM, an EEPROM, or a flash memory. The RAM 15 stores temporary data generated when the CPU 14 performs control processing, arithmetic processing, or the like, and includes a rewritable memory element such as SRAM, DRAM, or flash memory. The CPU 14 reads the control program from the ROM 13 and executes it to perform electrical control of the vehicle, such as ABS (Antirock Bracket System) or TCS (Traction Control System), and travels ahead. When a radar that measures the distance between the vehicle and the vehicle is mounted, it is possible to perform processing such as adjusting the vehicle speed according to the distance between the vehicles.
更に、本実施の形態に係る画像処理装置は、カメラ20R及び20Lが撮像して得られた画像を基に、車両の周辺に駐車場が存在するか否かを判定する機能を備えている。この機能により、例えばディスプレイ25に駐車場の位置を表示して運転者に報知することができ、また、車両の周辺に駐車場が存在する場合にはCPU14が車速の調整を行うことができるなど、運転者の運転を手助けする処理を実現することが可能となる。   Furthermore, the image processing apparatus according to the present embodiment has a function of determining whether or not there is a parking lot around the vehicle based on images obtained by the cameras 20R and 20L. With this function, for example, the position of the parking lot can be displayed on the display 25 to notify the driver, and when there is a parking lot around the vehicle, the CPU 14 can adjust the vehicle speed. Thus, it is possible to realize processing that assists the driver in driving.
駐車場の有無を判定するために、画像処理部10は、カメラ20R及び20Lから与えられた画像から駐車場の枠をなす可能性のある白色の直線を抽出する処理と、与えられた画像から立体物の有無を検出する処理とを行うようにしてあり、この2つの処理結果を基に、駐車場の有無を判定するようにしてある。また、立体物を検出するために、与えられた画像に撮像された対象物と車両(又は、カメラ20R及び20L)との距離を、レーダーを用いることなく画像処理によって、測定する処理を行うようにしてある。   In order to determine whether or not there is a parking lot, the image processing unit 10 extracts a white straight line that may form a parking lot frame from the images given from the cameras 20R and 20L, and from the given image. A process for detecting the presence or absence of a three-dimensional object is performed, and the presence or absence of a parking lot is determined based on the results of these two processes. Further, in order to detect a three-dimensional object, a process of measuring the distance between the object captured in the given image and the vehicle (or the cameras 20R and 20L) by image processing without using a radar is performed. It is.
なお、本実施の形態に係る画像処理装置が有無を判定する駐車場は、路面に略平行に描かれた2つの白色の直線の間、又は2つの白色の直線の延長線の間に、輪止めなどの立体物が配され、2つの白色の直線と立体物とにより三方を囲まれた略矩形の構成の駐車場を想定しているが、2つの白色の直線の延長線上に壁などが存在している駐車場などについても判定することが可能である。以下、それぞれの処理について詳細を説明する。   The parking lot where the image processing apparatus according to this embodiment determines whether or not there is a wheel between two white straight lines drawn substantially parallel to the road surface or between two white straight line extensions. It is assumed that the parking lot has a substantially rectangular configuration with three-dimensional objects such as stops and two white lines and a three-dimensional object surrounded on three sides, but there are walls on the extension lines of the two white lines. It is possible to determine an existing parking lot or the like. Details of each process will be described below.
図2乃至図4は、本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図であり、(a)から(e)にアルファベット順で処理を時系列に図示してある。なお、カメラ20Rが撮像した画像から白色の直線を抽出する場合を例に説明を行うが、カメラ20Lが撮像した画像から白色の直線を抽出する場合も同様である。   2 to 4 are schematic diagrams for explaining a method of extracting a white straight line performed by the image processing apparatus according to the present invention, and (a) to (e) illustrate processes in alphabetical order in time series. It is. The case where a white straight line is extracted from an image captured by the camera 20R will be described as an example, but the same applies to the case where a white straight line is extracted from an image captured by the camera 20L.
カメラ20Rは、広角レンズ又は魚眼レンズ等のレンズを用いて撮像を行うため90°以上の画角を有しており、車両の周辺を広範囲に亘って撮像することが可能であるが、得られる画像は端部が大きく湾曲した画像となる(図2(a)参照)。例えば、図2(a)に示す画像では、画像の端部に撮像された路面の白線及び建物の屋根等が湾曲している。このような画像では、本来は直線であっても画像の端部では湾曲して撮像され、直線として抽出することができないため、画像処理部10は、まず、カメラ20Rから与えられた画像の湾曲部分を補正し、俯瞰方向の画像に変換するTopview変換を行うようにしてある。   The camera 20R has an angle of view of 90 ° or more because it uses a lens such as a wide-angle lens or a fish-eye lens, and can capture the periphery of the vehicle over a wide range. Becomes an image whose end is greatly curved (see FIG. 2A). For example, in the image shown in FIG. 2A, the white line on the road surface captured at the end of the image, the roof of the building, and the like are curved. In such an image, even though it is originally a straight line, the image is curved at the end of the image and cannot be extracted as a straight line. Therefore, the image processing unit 10 firstly curves the image given from the camera 20R. Topview conversion is performed to correct the portion and convert it to an image in the overhead view direction.
Topview変換は、変換テーブル用メモリ12に予め記憶された変換テーブルを用いて行われる。画像処理部10は、カメラ20Rから与えられた画像の各画素を予め定められた位置に移動させることによって、正面から撮像され、端部が湾曲した画像を、俯瞰方向の画像に変換するようにしてあり、変換テーブルには各画素の移動先の位置が記憶されている。画像処理部10が変換テーブル用メモリ12から変換テーブルを読み出してTopview変換を行うことによって、図2(a)に示した画像を、図2(b)に示すような路面を上から見下ろした画像、即ち俯瞰方向の画像に変換することができる。例えば、図2(b)は、略平行に並べられた6つの白色の直線51、51…と、2つの直方体状の立体物(輪止め)55、55とが路面上に配された画像を、Topview変換により取得した例である。   The Topview conversion is performed using a conversion table stored in advance in the conversion table memory 12. The image processing unit 10 moves each pixel of the image given from the camera 20R to a predetermined position, thereby converting an image picked up from the front and having a curved end portion into an image in an overhead view direction. In the conversion table, the position of the movement destination of each pixel is stored. The image processing unit 10 reads out the conversion table from the conversion table memory 12 and performs Topview conversion, whereby the image shown in FIG. 2A is viewed from above the road surface shown in FIG. 2B. That is, it can be converted into an image in the bird's-eye view direction. For example, FIG. 2B shows an image in which six white straight lines 51, 51,... And two rectangular solid objects (ring stoppers) 55, 55 arranged on the road surface are arranged on the road surface. This is an example acquired by Topview conversion.
次いで、画像処理部10は、Topview変換後の画像の2値化を行う。2値化は、画像の各画素の輝度が予め定められた閾値より大きいか否かを判定し、各画素の輝度を最高輝度又は最低輝度に変換する処理である。即ち、画素の輝度が256階調で定められている場合に、処理対象の画素の輝度が閾値より大きい場合にはこの画素の輝度を255とし、閾値より小さい場合にはこの画素の輝度を0とすることにより2値化を行うことができる。図2(b)を2値化したものが図3(c)である。閾値を適正に定めることによって、2値化により画像から白線のみを抽出することができる。   Next, the image processing unit 10 binarizes the image after Topview conversion. Binarization is a process of determining whether or not the luminance of each pixel of the image is greater than a predetermined threshold and converting the luminance of each pixel to the highest luminance or the lowest luminance. That is, when the luminance of the pixel is determined by 256 gradations, the luminance of this pixel is set to 255 when the luminance of the pixel to be processed is higher than the threshold, and the luminance of this pixel is set to 0 when the luminance is lower than the threshold. Thus, binarization can be performed. FIG. 3C is a binarized version of FIG. By setting the threshold appropriately, only white lines can be extracted from the image by binarization.
画像の2値化を行った後、画像処理部10は、ハフ変換により得られた画像から直線の抽出処理を行う。ハフ変換は、画像の各点(x、y)をxy平面からρθ平面上でρ=xcosθ+ysinθというハフ曲線に変換する処理である。画像の全ての点についてこの処理を行った後、ρθ平面でハフ曲線が多く交わる点(ρ、θ)を抽出することによって、直線の抽出を行うことができる。図3(d)は、図3(c)の画像をハフ変換し、ハフ曲線が多く交わる6つの点52、52…を抽出したものであり、ρθ平面を図示したものである。なお、ρθ平面で抽出した各点の間の距離は、xy平面での直線間の距離に相当するため、駐車場の枠として想定される白色の直線間の距離と比較して適当でないものについては、以後の処理の対象外とすることも可能である。   After binarizing the image, the image processing unit 10 performs straight line extraction processing from the image obtained by the Hough transform. The Hough transform is a process of transforming each point (x, y) of the image from the xy plane to a Hough curve of ρ = x cos θ + ysin θ on the ρ θ plane. After performing this process for all points in the image, a straight line can be extracted by extracting points (ρ, θ) where many Hough curves intersect on the ρθ plane. FIG. 3D shows the ρθ plane in which the image of FIG. 3C is subjected to the Hough transform and six points 52, 52... Where many Hough curves intersect are extracted. Since the distance between each point extracted on the ρθ plane corresponds to the distance between straight lines on the xy plane, it is not appropriate compared to the distance between white straight lines assumed as a parking frame. Can be excluded from the target of subsequent processing.
次いで、ρθ平面で抽出した各点を、逆ハフ変換によりxy平面の直線に変換する。逆ハフ変換は、各点のρの値をxy平面の原点から下ろした垂線の長さとし、θの値をこの垂線とx軸とのなす角とした直線にρθ平面の各点を変換する処理である。図4(e)は、図3(d)に示したρθ平面の6つの点52、52…を逆ハフ変換によりxy平面の6つの直線53、53…に変換したものであり、図3(c)の6つの白色の直線51、51…が抽出されている。なお、図3(c)の6つの白色の直線51、51…には終端部分が存在するが、ハフ変換を利用して抽出した直線53、53…は終端部分の存在しない直線となる。   Next, each point extracted on the ρθ plane is converted into a straight line on the xy plane by inverse Hough transform. Inverse Hough transform is a process of converting each point on the ρθ plane into a straight line with the value of ρ at each point as the length of a perpendicular drawn from the origin of the xy plane, and the value of θ as the angle between this perpendicular and the x axis. It is. FIG. 4E shows six points 52, 52... On the .rho..theta. Plane shown in FIG. 3D converted into six straight lines 53, 53 ... on the xy plane by inverse Hough transform. Six white straight lines 51, 51... c) are extracted. In addition, although the termination | terminus part exists in six white straight lines 51, 51 ... of FIG.3 (c), the straight lines 53, 53 ... extracted using the Hough transform become a straight line without a termination | terminus part.
以上の図2乃至図4に示した処理により、カメラ20Rが撮像した画像から白色の直線を抽出することができる。画像処理部10は、直線の抽出処理と前後して又は平行して、カメラ20R及び20Lが撮像した画像から立体物の検出処理を行うようにしてある。立体物の検出処理は、カメラ20R及び20Lがそれぞれ撮像した2つの画像を基に、撮像された対象物までの距離を算出し、距離の算出結果を基に立体物の有無を検出するようにしてある。   Through the processes shown in FIGS. 2 to 4, a white straight line can be extracted from the image captured by the camera 20R. The image processing unit 10 performs a three-dimensional object detection process from images captured by the cameras 20R and 20L before or after or in parallel with the straight line extraction process. The three-dimensional object detection process calculates the distance to the captured object based on the two images captured by the cameras 20R and 20L, and detects the presence or absence of the three-dimensional object based on the distance calculation result. It is.
図5は、本発明の実施の形態1に係る画像処理装置が行う距離算出の方法を説明するための模式図である。画像処理部10は、2つのカメラ20R及び20Lで同時に撮像された同一の対象物が、それぞれのカメラ20R及び20Lで得られた画像上に写る位置の違い、即ち視差に応じて対象物までの距離を算出するようにしてあり、所謂ステレオ測距方式の距離算出を行うようにしてある。   FIG. 5 is a schematic diagram for explaining a distance calculation method performed by the image processing apparatus according to Embodiment 1 of the present invention. The image processing unit 10 determines the difference in position where the same object captured simultaneously by the two cameras 20R and 20L appears on the images obtained by the respective cameras 20R and 20L, that is, up to the object according to the parallax. The distance is calculated, and so-called stereo distance measuring distance is calculated.
2つのカメラ20R及び20Lは、所定の距離bを隔てて、それぞれの撮像方向、即ち光軸が略平行となるように、且つ、路面からの距離が略等しくなるように車両に搭載してある。図5においては、カメラ20Rの搭載位置を原点Oとし、カメラ20Rの撮像方向をZ方向とし、カメラ20Lからカメラ20Rへ向かう方向をX方向とし、Z方向及びX方向に垂直な方向をY方向とした場合に、原点Oに対する撮像の対象物Pの位置を(xP 、yP 、zP )で表してある。なお、Z方向とX方向とが直交するようにカメラ20R及び20Lは車両に搭載してある。また、カメラ20Rの撮像面を21Rとして図示してあり、撮像面21Rにはカメラ20Rの光軸との交点を原点とした2次元座標系(x1 −y1 座標系)が図示してある。なお、撮像面21Rはカメラ20Rから焦点距離fを隔てた距離に位置している。同様に、カメラ20Lの撮像面を21Lとして図示してあり、撮像面21Lにはカメラ20Lの光軸との交点を原点とした2次元座標系(x2 −y2 座標系)が図示してある。なお、撮像面21Lはカメラ20Lから焦点距離fを隔てた距離に位置しており、カメラ20R及び20Lの焦点距離fは略等しくしてある。また、撮像面21R及び21Lは、カメラ20R及び20Lによる撮像で得られる画像と等価である。 The two cameras 20R and 20L are mounted on the vehicle at a predetermined distance b so that the respective imaging directions, that is, the optical axes are substantially parallel and the distances from the road surface are substantially equal. . In FIG. 5, the mounting position of the camera 20R is the origin O, the imaging direction of the camera 20R is the Z direction, the direction from the camera 20L to the camera 20R is the X direction, and the direction perpendicular to the Z direction and the X direction is the Y direction. In this case, the position of the object P to be imaged with respect to the origin O is represented by (x P , y P , z P ). The cameras 20R and 20L are mounted on the vehicle so that the Z direction and the X direction are orthogonal to each other. The imaging surface of the camera 20R is illustrated as 21R, and the imaging surface 21R illustrates a two-dimensional coordinate system (x 1 -y 1 coordinate system) with the intersection point with the optical axis of the camera 20R as the origin. . The imaging surface 21R is located at a distance away from the camera 20R by the focal length f. Similarly, the imaging surface of the camera 20L is illustrated as 21L, and a two-dimensional coordinate system (x 2 -y 2 coordinate system) with the intersection point with the optical axis of the camera 20L as the origin is illustrated on the imaging surface 21L. is there. Note that the imaging surface 21L is located at a distance away from the camera 20L by the focal length f, and the focal lengths f of the cameras 20R and 20L are substantially equal. The imaging surfaces 21R and 21L are equivalent to images obtained by imaging with the cameras 20R and 20L.
カメラ20R及び20Lによる撮像を行い、対象物Pが撮像面21R上のmR (xR 、yR )に撮像され、撮像面21L上のmL (xL 、yL )に撮像された場合(ただし、xR 及びyR はx1 −y1 座標系の値であり、xL 及びyL はx2 −y2 座標系の値である)、対象物Pの位置(xP 、yP 、zP )は以下の(1)〜(3)式から算出することができる。 When imaging is performed by the cameras 20R and 20L, and the object P is imaged on m R (x R , y R ) on the imaging surface 21R and imaged on m L (x L , y L ) on the imaging surface 21L (Where x R and y R are values in the x 1 -y 1 coordinate system, and x L and y L are values in the x 2 -y 2 coordinate system), the position of the object P (x P , y P, z P) can be calculated from the following (1) to (3).
ただし、画像処理部10が行う立体物の検出処理では、対象物PのZ方向の距離のみを必要とするため、上記の(1)式による算出を行い、(2)式及び(3)式による算出は行わない。なお、カメラ20R及び20Lは、広角レンズ又は魚眼レンズ等のレンズを用いて撮像を行うものであり、撮像により得られる画像は図2(a)に示したような端部が大きく湾曲した画像となるため、上述の距離算出を行う前に画像の湾曲部分の補正を行う必要がある。湾曲部分の補正の処理については詳細な説明を省略するが、Topview変換と同様に、変換テーブル用メモリ12に予め記憶された変換テーブルを用いて画像の各画素を移動させることにより行うことができる。   However, since the solid object detection process performed by the image processing unit 10 requires only the distance of the object P in the Z direction, the calculation according to the above expression (1) is performed, and the expressions (2) and (3) Calculation by is not performed. Note that the cameras 20R and 20L perform imaging using a lens such as a wide-angle lens or a fish-eye lens, and an image obtained by imaging is an image having a large curved end as shown in FIG. Therefore, it is necessary to correct the curved portion of the image before performing the above distance calculation. Although detailed description of the process of correcting the curved portion is omitted, it can be performed by moving each pixel of the image using the conversion table stored in advance in the conversion table memory 12 as in the Topview conversion. .
図6乃至図8は、本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図であり、図6(a)には路面上に立体物が存在しない場合の画像例を示し、図6(b)には路面上に立体物として輪止め55が存在する場合の画像例を示してある。また、図7は、図6(a)の場合の距離算出結果を図示したものであり、図8は、図6(b)の場合の距離算出結果を図示したものである。なお、図7及び図8においては、算出した距離を色の濃淡により模式的に図示してあり、色の濃い部分は距離が近く、淡い部分は距離が遠いことを示している。   6 to 8 are schematic diagrams for explaining a method of detecting a three-dimensional object performed by the image processing apparatus according to the present invention. FIG. 6A shows an example of an image when there is no three-dimensional object on the road surface. FIG. 6B shows an example of an image in the case where the stop 55 is present as a three-dimensional object on the road surface. FIG. 7 illustrates the distance calculation result in the case of FIG. 6A, and FIG. 8 illustrates the distance calculation result in the case of FIG. 6B. In FIGS. 7 and 8, the calculated distance is schematically shown by color shading, and the dark portion indicates that the distance is close and the light portion indicates that the distance is long.
画像処理部10は、カメラ20R及び20Lにて撮像して得られた画像に写る全ての対象物について、即ち得られた画像の全画素に対して、上記の(1)式による距離の算出を繰り返し行うようにしてある。例えば図6(a)に示すように路面に立体物が存在しない場合には、図7に示すように得られた画像に写る対象物までの距離は、画像の下から上へ徐々に遠くなり、距離算出の結果は連続的に変化する。これに対して図6(b)に示すように路面に輪止め55が存在する場合には、図8に示すように距離算出の結果が変化しない領域55a(図8にて黒線で囲む領域)が存在する。このため、画像処理部10は、得られた画像の各画素について、隣り合う画素同士の距離を比較し、距離が変化しない又は他の部分より変化量が少ない領域を探索することによって、路面上の立体物を検出することができる。また、画像処理部10は、立体物を検出した場合には、距離の算出結果を基に、立体物の位置を特定するようにしてある。   The image processing unit 10 calculates the distance by the above equation (1) for all the objects appearing in the images acquired by the cameras 20R and 20L, that is, for all the pixels of the obtained image. Repeatedly. For example, when there is no solid object on the road surface as shown in FIG. 6A, the distance to the object shown in the image obtained as shown in FIG. 7 gradually increases from the bottom to the top of the image. The distance calculation result changes continuously. On the other hand, as shown in FIG. 6B, in the case where there is a stop 55 on the road surface, as shown in FIG. 8, the area 55a (the area surrounded by the black line in FIG. ) Exists. For this reason, the image processing unit 10 compares the distances between adjacent pixels for each pixel of the obtained image, and searches for an area on which the distance does not change or the amount of change is smaller than other parts. 3D objects can be detected. In addition, when detecting a three-dimensional object, the image processing unit 10 specifies the position of the three-dimensional object based on the distance calculation result.
図9は、本発明に係る画像処理装置が行う駐車場判定処理の手順を示すフローチャートである。まず、画像処理部10は、カメラ20R及び20Lが撮像した画像を取得し(ステップS1)、変換テーブル用メモリ12から変換テーブルを読み出して、取得した画像をTopview変換する(ステップS2)。次いで、Topview変換した画像を2値化し(ステップS3)、2値化した画像をハフ変換して(ステップS4)、画像の各点をxy平面からρθ平面のハフ曲線に変換する。画像の各点を変換したハフ曲線が多く交わる点を抽出する(ステップS5)ことによって、直線を抽出し、抽出した各点を逆ハフ変換して(ステップS6)、抽出した各点を直線に変換する。ステップS2〜S6の処理は、上述の図2〜4に示した処理であり、この処理を行うことによって路面上に描かれた白色の直線を抽出することができ、白色の直線の位置を取得することができる。   FIG. 9 is a flowchart showing a procedure of parking lot determination processing performed by the image processing apparatus according to the present invention. First, the image processing unit 10 acquires images captured by the cameras 20R and 20L (Step S1), reads the conversion table from the conversion table memory 12, and performs Topview conversion on the acquired image (Step S2). Next, the image subjected to Topview conversion is binarized (step S3), the binarized image is subjected to Hough transform (step S4), and each point of the image is converted from an xy plane to a Hough curve on the ρθ plane. By extracting points where many Hough curves obtained by transforming each point of the image are extracted (step S5), a straight line is extracted, each extracted point is subjected to inverse Hough transform (step S6), and each extracted point is converted into a straight line. Convert. The processing in steps S2 to S6 is the processing shown in FIGS. 2 to 4 described above, and by performing this processing, a white straight line drawn on the road surface can be extracted, and the position of the white straight line is acquired. can do.
白色の直線の抽出を行った後、画像処理部10は、ステップS1にてカメラ20R及び20Lから取得した画像を基に、画像に写された対象物の距離を算出する(ステップS7)。距離の算出は(1)式による算出処理であり、これにより図7又は図8に示すような距離の算出結果を取得することができる。次いで、距離の算出結果を基に、路面上の立体物の検出を行う(ステップS8)。上述の通り、立体物の検出は、カメラ20R及び20Lから取得した画像に写された対象物への距離の変化量を調べることにより行うようにしてある。   After extracting the white straight line, the image processing unit 10 calculates the distance of the object captured in the image based on the images acquired from the cameras 20R and 20L in step S1 (step S7). The calculation of the distance is a calculation process according to the equation (1), whereby the calculation result of the distance as shown in FIG. 7 or FIG. 8 can be acquired. Next, a solid object on the road surface is detected based on the distance calculation result (step S8). As described above, the detection of the three-dimensional object is performed by examining the amount of change in the distance to the object captured in the images acquired from the cameras 20R and 20L.
ステップS2〜S6にて行った白色の直線の抽出結果と、ステップS7〜S8にて行った立体物の検出結果とを基に、画像処理部10は、2つの直線の間に立体物が存在するか否かを調べる(ステップS9)。画像処理部10は、2つの直線の間に立体物が存在する場合(S9:YES)、車両の近傍に駐車場が存在すると判定し(ステップS10)、駐車場判定処理を終了する。また、2つの直線の間に立体物が存在しない場合(S9:NO)、車両の近傍に駐車場が存在しないと判定し(ステップS11)、駐車場判定処理を終了する。   Based on the extraction result of the white line performed in steps S2 to S6 and the detection result of the three-dimensional object performed in steps S7 to S8, the image processing unit 10 has a three-dimensional object between the two straight lines. It is checked whether or not to perform (step S9). When there is a solid object between two straight lines (S9: YES), the image processing unit 10 determines that a parking lot exists in the vicinity of the vehicle (step S10), and ends the parking lot determination process. If there is no solid object between the two straight lines (S9: NO), it is determined that there is no parking lot in the vicinity of the vehicle (step S11), and the parking lot determination process is terminated.
画像処理部10は、車両の走行中には常にステップS1〜S11の処理を繰り返し行っており、駐車場の有無の判定結果はCPU14へ与えられて車両の制御に利用されると共に、画像処理部10が判定結果に応じてディスプレイ25に表示する映像の切り替えを行うようにしてある。   The image processing unit 10 always repeats the processing of steps S1 to S11 while the vehicle is traveling, and the determination result of the presence or absence of the parking lot is given to the CPU 14 and used for controlling the vehicle. 10 switches the video displayed on the display 25 according to the determination result.
以上の構成の画像処理装置においては、カメラ20R及び20Lが撮像した画像から白色の直線を抽出すると共に立体物を検出し、2つの直線の間に立体物が存在するか否かに応じて駐車場が存在するか否かを判定する構成とすることによって、車両が駐車場の直近まで移動した後でなくとも、駐車場の判定を行うことができる。また、カメラ20R及び20Lが撮像した画像のみで簡単に駐車場の有無を判定できるため、既にカメラ20R及び20Lを搭載した車両であれば、他のハードウェアを追加することなく駐車場の判定を行うことができ、この機能を備えることによるコストの増加を抑えることができる。また、駐車場の有無の判定結果を利用して、駐車場の周辺では車両の速度を自動的に調整するなどの制御を行うことができ、このような制御を行うことによって車両の走行時の安全性を高めることができる。   In the image processing apparatus configured as described above, a white straight line is extracted from the images captured by the cameras 20R and 20L, a solid object is detected, and parking is performed depending on whether a solid object exists between the two straight lines. By adopting a configuration for determining whether or not a parking lot exists, the parking lot can be determined even after the vehicle has not moved to the immediate vicinity of the parking lot. In addition, since it is possible to easily determine the presence or absence of a parking lot using only the images captured by the cameras 20R and 20L, if the vehicle is already equipped with the cameras 20R and 20L, the parking lot can be determined without adding other hardware. This can be performed, and an increase in cost due to the provision of this function can be suppressed. In addition, it is possible to perform control such as automatically adjusting the speed of the vehicle around the parking lot using the determination result of the presence or absence of the parking lot, and by performing such control, Safety can be increased.
なお、本実施の形態においては、カメラ20R及び20Lを車両の前方を撮像するカメラとしたが、これに限るものではなく、車両の後方又は側方等を撮像するカメラであってもよい。また、カメラ20R及び20Lが広角レンズ又は魚眼レンズ等を備える構成としたが、これに限るものではなく、他のレンズを備える構成であってもよい。また、路面上に存在する立体物として輪止めを例に説明を行ったが、これに限るものではなく、他の立体物も同様に検出することができる。また、輪止めの形状も図示のものに限らない。また、輪止めの検出精度を向上するために、輪止めの形状パターンを予め記憶しておき、検出した立体物の形状と比較を行う処理を更に行ってもよい。   In the present embodiment, the cameras 20R and 20L are cameras that capture the front of the vehicle. However, the present invention is not limited to this, and may be cameras that capture the rear or side of the vehicle. Moreover, although the cameras 20R and 20L are configured to include a wide-angle lens or a fisheye lens, the present invention is not limited to this, and a configuration including other lenses may be used. Moreover, although the description has been given by taking the ring stop as an example of the three-dimensional object existing on the road surface, the present invention is not limited to this, and other three-dimensional objects can be similarly detected. Further, the shape of the ring stopper is not limited to the illustrated one. In order to improve the detection accuracy of the wheel stopper, a shape pattern of the wheel stopper may be stored in advance, and a process of comparing with the detected shape of the three-dimensional object may be further performed.
また、図9に示すフローチャートにおいては、ステップS2〜S6の直線の抽出処理を行った後に、ステップS7〜S8の立体物の検出処理を行う構成としたが、これに限るものではなく、立体物の検出処理を行った後で直線の抽出処理を行う構成であってもよく、また、2つの処理を同時的に行う構成であってもよい。また、駐車場の有無の判定結果を画像処理部10がCPU14へ与えて車両の制御に利用すると共に、画像処理部10が判定結果に応じてディスプレイ25に表示する映像の切り替えを行う構成としたが、判定結果をどのような処理に利用するかは限定しない。   Moreover, in the flowchart shown in FIG. 9, after performing the straight line extraction process of step S2-S6, it was set as the structure which performs the detection process of the solid object of step S7-S8, but it is not restricted to this, Three-dimensional object A configuration in which a straight line extraction process is performed after the above detection processing is performed may be employed, or two processes may be performed simultaneously. In addition, the image processing unit 10 provides the CPU 14 with the determination result of the presence / absence of the parking lot and uses it for vehicle control, and the image processing unit 10 switches the video displayed on the display 25 according to the determination result. However, it is not limited to what kind of processing the determination result is used.
(実施の形態2)
図10は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。実施の形態1に係る画像処理装置は、2つのカメラ20R及び20Lを備える構成としたが、実施の形態2に係る画像処理装置はカメラ120を1つ備えるのみである。よって、実施の形態2に係る画像処理装置の画像処理部10は、カメラ120から取得した画像に写された対象物への距離の算出方法が、図5に示した実施の形態1の場合と異なるが、その他の処理は実施の形態1の場合と同じである。
(Embodiment 2)
FIG. 10 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention. Although the image processing apparatus according to the first embodiment includes two cameras 20R and 20L, the image processing apparatus according to the second embodiment includes only one camera 120. Therefore, the image processing unit 10 of the image processing apparatus according to the second embodiment uses a method for calculating the distance to the object captured in the image acquired from the camera 120 as in the case of the first embodiment shown in FIG. Although different, other processes are the same as those in the first embodiment.
図11は、本発明の実施の形態2に係る画像処理装置が行う距離算出の方法を説明するための模式図である。実施の形態2に係る画像処理装置は、時刻t1 にてカメラ120が撮像した画像と、時刻t1 から所定の時間を経過した時刻t2 にてカメラ120が撮像した画像との2つの画像を基に距離の算出を行うようにしてある。時刻t1 から時刻t2 の間に車両が速度vで移動した場合、カメラ120による撮像位置Lは以下の(4)式で算出できる。
L=v*(t2 −t1 ) …(4)
FIG. 11 is a schematic diagram for explaining a distance calculation method performed by the image processing apparatus according to the second embodiment of the present invention. The image processing apparatus according to the second embodiment has two images: an image captured by the camera 120 at time t 1 and an image captured by the camera 120 at time t 2 after a predetermined time has elapsed from time t 1. The distance is calculated based on the above. If the vehicle during the period from the time t 1 the time t 2 is moved at a velocity v, the imaging position L by the camera 120 can be calculated by the following equation (4).
L = v * (t 2 −t 1 ) (4)
時刻t1 に撮像した画像と時刻t2 に撮像した画像とを、擬似的に2つのカメラで撮像した画像として扱うことができるため、(1)式中の2つのカメラの距離bを(4)式の移動距離Lでb=Lと近似し、(1)式及び(4)式により対象物Pまでの距離を算出することができる。 Since the image picked up at time t 1 and the image picked up at time t 2 can be handled as images picked up by two cameras in a pseudo manner, the distance b between the two cameras in equation (1) is expressed as (4 The distance to the object P can be calculated by the equations (1) and (4) by approximating b = L with the movement distance L of the equation (1).
以上の構成の実施の形態2に係る画像処理装置は、実施の形態1に係る画像処理装置と比較して、車両に搭載するカメラが少なくてよいため、コストを削減できるという利点がある。   Compared with the image processing apparatus according to the first embodiment, the image processing apparatus according to the second embodiment having the above-described configuration has an advantage that the number of cameras mounted on the vehicle may be small, so that the cost can be reduced.
なお、実施の形態2に係る画像処理装置のその他の構成は、実施の形態1に係る画像処理装置の構成と同様であるため、対応する箇所には同じ符号を付して詳細な説明を省略する。   Since the other configuration of the image processing apparatus according to the second embodiment is the same as that of the image processing apparatus according to the first embodiment, the corresponding portions are denoted by the same reference numerals and detailed description thereof is omitted. To do.
本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention. 本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of white line extraction which the image processing apparatus which concerns on this invention performs. 本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of white line extraction which the image processing apparatus which concerns on this invention performs. 本発明に係る画像処理装置が行う白色の直線抽出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of white line extraction which the image processing apparatus which concerns on this invention performs. 本発明の実施の形態1に係る画像処理装置が行う距離算出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of distance calculation which the image processing apparatus which concerns on Embodiment 1 of this invention performs. 本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of the solid-object detection which the image processing apparatus which concerns on this invention performs. 本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of the solid-object detection which the image processing apparatus which concerns on this invention performs. 本発明に係る画像処理装置が行う立体物検出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of the solid-object detection which the image processing apparatus which concerns on this invention performs. 本発明に係る画像処理装置が行う駐車場判定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the parking lot determination process which the image processing apparatus which concerns on this invention performs. 本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る画像処理装置が行う距離算出の方法を説明するための模式図である。It is a schematic diagram for demonstrating the method of distance calculation which the image processing apparatus which concerns on Embodiment 2 of this invention performs.
符号の説明Explanation of symbols
1 ECU
10 画像処理部(抽出手段、検出手段、判定手段、変換手段、算出手段)
11 画像メモリ
12 変換テーブル用メモリ
13 ROM
14 CPU
15 RAM
20R、20L カメラ(撮像手段)
25 ディスプレイ
120 カメラ(撮像手段)
1 ECU
10 Image processing unit (extraction means, detection means, determination means, conversion means, calculation means)
11 Image memory 12 Conversion table memory 13 ROM
14 CPU
15 RAM
20R, 20L camera (imaging means)
25 Display 120 Camera (Imaging means)

Claims (7)

  1. 車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置において、
    画像から直線を抽出する抽出手段と、
    画像から立体物を検出する検出手段と、
    前記抽出手段が抽出した2つの直線の間に、前記検出手段が検出した立体物が存在するか否かに基づいて、駐車場の有無を判定する判定手段と
    を備えることを特徴とする画像処理装置。
    In an image processing apparatus that processes an image obtained by an imaging unit that images the outside of a vehicle,
    Extraction means for extracting a straight line from the image;
    Detecting means for detecting a three-dimensional object from an image;
    And a determination unit that determines whether or not there is a parking lot based on whether or not the three-dimensional object detected by the detection unit exists between the two straight lines extracted by the extraction unit. apparatus.
  2. 前記撮像手段は、視野の中央部よりも端部にて撮像する画像の湾曲度合いを大きくしてあり、
    前記撮像手段が撮像した画像の湾曲部分を補正して、俯瞰方向の画像に変換する変換手段を備え、
    前記抽出手段は、前記変換手段が変換した画像から2つの直線を抽出するようにしてある請求項1に記載の画像処理装置。
    The imaging means has a greater degree of curvature of the image captured at the end than at the center of the field of view,
    A conversion unit that corrects a curved portion of the image captured by the imaging unit and converts the image to an image in the overhead direction,
    The image processing apparatus according to claim 1, wherein the extraction unit extracts two straight lines from the image converted by the conversion unit.
  3. 前記抽出手段は、画像から白色の直線をハフ変換により抽出するようにしてある請求項1又は請求項2に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the extraction unit extracts a white straight line from the image by Hough transform.
  4. 前記撮像手段により得られた画像の各画素について、各画素に写された対象物までの距離をそれぞれ算出する算出手段を備え、
    前記検出手段は、隣り合う画素について前記算出手段がそれぞれ算出した前記距離の差に応じて、画像から立体物を検出するようにしてある請求項1乃至請求項3のいずれか1つに記載の画像処理装置。
    For each pixel of the image obtained by the imaging means, a calculation means for calculating the distance to the object copied to each pixel,
    The detection unit according to any one of claims 1 to 3, wherein the detection unit detects a three-dimensional object from an image in accordance with the difference in the distance calculated by the calculation unit for adjacent pixels. Image processing device.
  5. 前記撮像手段は複数であり、複数の撮像手段は異なる位置から同一の対象物を撮像することが可能にしてあり、
    前記算出手段は、複数の前記撮像手段がそれぞれ撮像した画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてある請求項4に記載の画像処理装置。
    The imaging means is a plurality, and the plurality of imaging means are capable of imaging the same object from different positions,
    The image processing apparatus according to claim 4, wherein the calculating unit calculates a distance to the object based on an imaging position of the same object in an image captured by each of the plurality of imaging units. .
  6. 前記算出手段は、前記撮像手段が異なる時点に撮像した複数の画像での同一の対象物の撮像位置を基に、前記対象物までの距離を算出するようにしてある請求項4に記載の画像処理装置。   5. The image according to claim 4, wherein the calculation unit calculates a distance to the object based on imaging positions of the same object in a plurality of images captured at different times by the imaging unit. Processing equipment.
  7. 車両の外界を撮像する撮像手段により得られる画像を処理する画像処理装置を用いて、
    画像から直線を抽出し、
    画像から立体物を検出し、
    抽出した2つの直線の間に、検出した立体物が存在するか否かに基づいて、駐車場の有無を判定すること
    を特徴とする駐車場判定方法。
    Using an image processing device that processes an image obtained by an imaging means that images the outside of the vehicle,
    Extract a straight line from the image,
    Detect solid objects from images,
    A parking lot determination method, wherein the presence or absence of a parking lot is determined based on whether or not a detected three-dimensional object exists between two extracted straight lines.
JP2006138108A 2006-05-17 2006-05-17 Image processor and parking space determination method Pending JP2007310591A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006138108A JP2007310591A (en) 2006-05-17 2006-05-17 Image processor and parking space determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006138108A JP2007310591A (en) 2006-05-17 2006-05-17 Image processor and parking space determination method

Publications (1)

Publication Number Publication Date
JP2007310591A true JP2007310591A (en) 2007-11-29

Family

ID=38843397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006138108A Pending JP2007310591A (en) 2006-05-17 2006-05-17 Image processor and parking space determination method

Country Status (1)

Country Link
JP (1) JP2007310591A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169619A (en) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd Image-processing device for vehicle and image-processing method
JP2010210477A (en) * 2009-03-11 2010-09-24 Clarion Co Ltd Navigation device
CN106541944A (en) * 2016-11-07 2017-03-29 纵目科技(上海)股份有限公司 A kind of warehouse compartment detection method, system and mobile device
CN110390306A (en) * 2019-07-25 2019-10-29 湖州宏威新能源汽车有限公司 Detection method, vehicle and the computer readable storage medium of right angle parking stall
CN110544386A (en) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 parking space identification method and device and storage medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169619A (en) * 2008-01-15 2009-07-30 Nissan Motor Co Ltd Image-processing device for vehicle and image-processing method
JP2010210477A (en) * 2009-03-11 2010-09-24 Clarion Co Ltd Navigation device
CN106541944A (en) * 2016-11-07 2017-03-29 纵目科技(上海)股份有限公司 A kind of warehouse compartment detection method, system and mobile device
CN110390306A (en) * 2019-07-25 2019-10-29 湖州宏威新能源汽车有限公司 Detection method, vehicle and the computer readable storage medium of right angle parking stall
CN110544386A (en) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 parking space identification method and device and storage medium

Similar Documents

Publication Publication Date Title
JP5325765B2 (en) Road shoulder detection device and vehicle using road shoulder detection device
JP5074365B2 (en) Camera device
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
JP4714104B2 (en) Object tilt detection device
JP2011175468A (en) Boundary line detection device
JP5561064B2 (en) Vehicle object recognition device
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
DE112015002593T5 (en) Vehicle-mounted image processing device
JP2006072757A (en) Object detection system
JP3961584B2 (en) Lane marking detector
JP2007310591A (en) Image processor and parking space determination method
JP3666332B2 (en) Pedestrian detection device
JP4432730B2 (en) Road marking detection device for vehicles
JP2013161190A (en) Object recognition device
KR101406316B1 (en) Apparatus and method for detecting lane
JP5097681B2 (en) Feature position recognition device
JP2017129543A (en) Stereo camera device and vehicle
JP3586938B2 (en) In-vehicle distance measuring device
JP4900377B2 (en) Image processing device
JP2006317193A (en) Image processing apparatus, imaging processing method and program for processing image
JP5434277B2 (en) Driving support device and driving support method
US11029150B2 (en) Object distance detection device
JP6429101B2 (en) Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object
JPH1141521A (en) Image pickup device, instrument and method for measuring distance between vehicles
JP2014067320A (en) Stereo camera device