JP2014146182A - In-vehicle image processing apparatus - Google Patents

In-vehicle image processing apparatus Download PDF

Info

Publication number
JP2014146182A
JP2014146182A JP2013014527A JP2013014527A JP2014146182A JP 2014146182 A JP2014146182 A JP 2014146182A JP 2013014527 A JP2013014527 A JP 2013014527A JP 2013014527 A JP2013014527 A JP 2013014527A JP 2014146182 A JP2014146182 A JP 2014146182A
Authority
JP
Japan
Prior art keywords
parking
parking frame
bird
coordinates
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013014527A
Other languages
Japanese (ja)
Other versions
JP5958366B2 (en
Inventor
Osamu Shimomura
修 下村
Naoteru Kawasaki
直輝 川嵜
Mitsuyasu Matsuura
充保 松浦
Keiko Akiyama
啓子 秋山
Hidenori Tanaka
秀典 田中
Original Assignee
Nippon Soken Inc
株式会社日本自動車部品総合研究所
Denso Corp
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Soken Inc, 株式会社日本自動車部品総合研究所, Denso Corp, 株式会社デンソー filed Critical Nippon Soken Inc
Priority to JP2013014527A priority Critical patent/JP5958366B2/en
Publication of JP2014146182A publication Critical patent/JP2014146182A/en
Application granted granted Critical
Publication of JP5958366B2 publication Critical patent/JP5958366B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To acquire a target parking position with high positioning accuracy.SOLUTION: A microcomputer determines coordinates of an inclination start position and an inclination angle of a road surface, as inclination information of a parking road surface, on the basis of a straight line constituting a parking frame determined to exist in a vote history to a Hough space, calculates coordinates of edge points on a bird's-eye coordinate free from conversion error, on the basis of the inclination information of the parking road surface, votes the calculated edge points on the bird's-eye coordinate to the Hough space to extract a straight line constituting a parking frame from the result of the vote (step S200), and decides a target parking position of an own vehicle on the basis of the extracted straight line constituting the parking frame and the calculated coordinates of the edge points on the bird's-eye coordinate (step S210).

Description

本発明は、車載画像処理装置に関するものである。   The present invention relates to an in-vehicle image processing apparatus.
従来、駐車支援装置において、右側方カメラ、左側方カメラ、前方カメラ、および後方カメラによって目標駐車場を含む車両の周囲を撮像するとともに、この撮影した車両の周囲を鳥瞰変換して鳥瞰画像を表示するものがある(特許文献1参照)。   Conventionally, in a parking assistance device, a right side camera, a left side camera, a front camera, and a rear camera capture an image of the surroundings of the vehicle including the target parking lot, and display the bird's-eye view image by converting the captured vehicle's surroundings into a bird's-eye view. (See Patent Document 1).
このものにおいては、カメラの死角による映像欠落部分の少ない車両周囲の映像を表示することにより、駐車範囲を区分する駐車枠の白線などが明確に映し出すことができる。   In this case, by displaying an image of the surroundings of the vehicle with few image missing portions due to the blind spot of the camera, the white line of the parking frame that divides the parking range can be clearly projected.
特開2012−118656号公報JP 2012-118656 A
本発明者等は、上述の鳥瞰変換した画像内の駐車枠によって駐車目標位置を決定することを検討したところ、次のような問題点が生じることが分かった。   The inventors of the present invention have studied to determine the parking target position based on the parking frame in the above-described bird's-eye-view converted image, and found that the following problems occur.
すなわち、駐車場において駐車枠を形成する路面が傾斜している場合には、鳥瞰画像では、平行な2本の白線52a、52bから構成される駐車枠52として、ハの字状に配置される白線52a、52bが表示される(図13(a)参照)。   That is, when the road surface forming the parking frame is inclined in the parking lot, the bird's-eye view image is arranged in a C shape as the parking frame 52 composed of two parallel white lines 52a and 52b. White lines 52a and 52b are displayed (see FIG. 13A).
また、駐車場の路面に段差が形成されて路面上の駐車枠が段差を跨いでいる場合には、鳥瞰画像では、2本の白線52a、52bがずれて表示される(図13(b)参照)。   In addition, when a step is formed on the road surface of the parking lot and the parking frame on the road surface straddles the step, the two white lines 52a and 52b are displayed in a shifted manner in the bird's-eye view image (FIG. 13B). reference).
このように駐車場の路面が傾斜していたり、或いは駐車枠が段差を跨いでいる場合には、鳥瞰変換の変換誤差が起因して、鳥瞰画像では駐車枠が正確に表示されない。このため、鳥瞰画像内の駐車枠を用いて駐車目標位置を決定すると、駐車目標位置の位置誤差が大きくなる。   As described above, when the road surface of the parking lot is inclined or the parking frame straddles a step, the parking frame is not accurately displayed in the bird's-eye view image due to the conversion error of the bird's-eye conversion. For this reason, if a parking target position is determined using the parking frame in a bird's-eye view image, the position error of a parking target position will become large.
本発明は上記点に鑑みて、高い精度の駐車目標位置を取得することができる車載画像処理装置を提供することを目的とする。   In view of the above points, an object of the present invention is to provide an in-vehicle image processing apparatus capable of acquiring a highly accurate parking target position.
上記目的を達成するため、請求項1に記載の発明では、路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ(10)が撮影する毎に前記自車の位置情報を取得する取得手段(S110)と、
前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に鳥瞰変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段(S160)と、
前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを判定する駐車枠判定手段(S180)と、
前記駐車枠を形成する駐車路面が傾斜しているか否かを判定する傾斜判定手段(S201)と、
前記駐車枠を形成する駐車路面が傾斜していると前記傾斜判定手段が判定した場合に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線に基づいて、前記駐車路面の傾斜情報を求める傾斜情報算出手段(S203)と、
前記傾斜情報算出手段によって求められる駐車路面の傾斜情報に基づいて、前記駐車路面の傾斜に起因する前記鳥瞰変換の変換誤差を無くした前記鳥瞰座標上の各エッジ点の座標を再計算する再計算手段(S204)と、
前記再計算手段によって再計算される前記鳥瞰座標上の各エッジ点をハフ空間に投票して、この投票した結果から前記駐車枠を構成する直線を抽出する直線抽出手段(S205)と、
前記直線抽出手段によって抽出される前記駐車枠を構成する直線と前記再計算される前記鳥瞰座標上の各エッジ点の座標とに基づいて前記自車の駐車目標位置を決める決定手段(S210)と、を備えることを特徴とする。
In order to achieve the above object, according to the first aspect of the present invention, when the vehicle travels in the vicinity of the parking frame on the road surface, the camera (10) for repeatedly capturing the scenery on the parking frame side captures the image. Acquisition means (S110) for acquiring the position information of the vehicle every time;
Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into a bird's eye view for each photographing to the edge point on the common bird's eye coordinates viewed from the upper side of the own vehicle. Voting means (S160) for voting edge points on the common bird's-eye coordinates to the Hough space for each photographing,
Parking frame determination means (S180) for determining whether or not a straight line constituting the parking frame exists in the voting history voted for the Hough space;
Inclination determining means (S201) for determining whether or not the parking road surface forming the parking frame is inclined;
When the inclination determination means determines that the parking road surface forming the parking frame is inclined, based on a straight line constituting the parking frame determined by the parking frame determination means as being present in the voting history, Inclination information calculating means for obtaining inclination information of the parking road surface (S203);
Recalculation that recalculates the coordinates of each edge point on the bird's-eye coordinates without the conversion error of the bird's-eye view conversion caused by the inclination of the parking road surface, based on the inclination information of the parking road surface obtained by the inclination information calculating means Means (S204);
Voting each edge point on the bird's eye coordinate recalculated by the recalculating means to a Hough space, and a straight line extracting means (S205) for extracting a straight line constituting the parking frame from the voted result;
Determining means (S210) for determining a parking target position of the own vehicle based on a straight line constituting the parking frame extracted by the straight line extracting means and coordinates of each edge point on the bird's eye coordinates recalculated; It is characterized by providing.
請求項1に記載の発明によれば、駐車路面の傾斜情報に基づいて再計算される各エッジ点の座標をハフ空間に投票して、この投票した結果から駐車枠を構成する直線を抽出する。このため、駐車枠を構成する直線を精度良く求めることができる。これに加えて、このように求められる駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて駐車目標位置を決めるので、高い位置精度の駐車目標位置を取得することができる。   According to the first aspect of the present invention, the coordinates of each edge point recalculated based on the inclination information of the parking road surface are voted on the Hough space, and a straight line constituting the parking frame is extracted from the voted result. . For this reason, the straight line which comprises a parking frame can be calculated | required accurately. In addition to this, since the parking target position is determined based on the straight line constituting the parking frame thus obtained and the coordinates of each edge point on the bird's eye coordinates recalculated, the parking target position with high position accuracy is obtained. can do.
また、請求項3に記載の発明では、路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ(10)が撮影する毎に前記自車の位置情報を取得する取得手段(S110)と、
前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段(S160)と、
前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを前記撮影毎に判定する駐車枠判定手段(S180)と、
前記投票履歴に前記駐車枠を構成する直線が存在すると前記駐車枠判定手段が判定する毎に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線と、前記共通の鳥瞰座標上のエッジ点とに基づいて前記自車の駐車目標位置の瞬時値を算出する算出手段(S250)と、
前記算出手段によって前記駐車目標位置の瞬時値を算出する毎に、前記算出手段によって今回算出された前記瞬時値に第1の重みに掛けた値と、前記算出手段によって前回算出された前記瞬時値に第2の重みに掛けた値とを加算した加算値を前記駐車目標位置として求める加重平均手段(S280)と、
前記駐車枠を形成する路面の段差を前記駐車枠が跨いでいるか否かを段差判定手段(S220)と、を備え、
前記段差を前記駐車枠が跨いでいると前記段差判定手段が判定した場合には、前記段差を前記駐車枠が跨いでいないと前記段差判定手段が判定した場合に比べて、前記第1の重みが大きく、かつ前記第2の重みが小さくなっていることを特徴とする。
Further, in the invention described in claim 3, each time the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame on the road surface, the own vehicle is captured. Acquisition means (S110) for acquiring the position information of
Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into the edge point on the common bird's-eye coordinates viewed from the upper side of the own vehicle for each photographing, and this conversion is performed. Voting means (S160) for voting edge points on common bird's-eye coordinates to the Hough space for each shooting;
Parking frame determination means (S180) for determining whether or not there is a straight line constituting the parking frame in the voting history voted in the Hough space for each shooting.
Each time the parking frame determining means determines that a straight line constituting the parking frame exists in the voting history, a straight line constituting the parking frame determined by the parking frame determining means as existing in the voting history; and Calculating means (S250) for calculating an instantaneous value of the parking target position of the own vehicle based on the edge point on the common bird's eye coordinate;
Every time the instantaneous value of the parking target position is calculated by the calculating means, a value obtained by multiplying the instantaneous value calculated this time by the calculating means by a first weight and the instantaneous value previously calculated by the calculating means. Weighted average means (S280) for obtaining an added value obtained by adding the value multiplied by the second weight to the parking target position;
Step determining means (S220), whether or not the parking frame straddles the step of the road surface forming the parking frame,
When the step determining means determines that the parking frame is straddling the step, the first weight is greater than when the step determining means determines that the parking frame is not straddling the step. Is large and the second weight is small.
請求項3に記載の発明によれば、加算値を駐車目標位置として求める際に、駐車枠が段差を跨いでいると判定する前に算出される瞬時駐車目標位置の使用比率を、駐車枠が段差を跨いでいる判定する後に算出される瞬時駐車目標位置に比べて小さくすることができる。このため、加算値を駐車目標位置として求める際に、変換誤差を含む駐車目標位置の使用を少なくすることができる。したがって、加算値としての駐車目標位置を精度良く求めることができる。   According to the third aspect of the present invention, when the addition value is determined as the parking target position, the parking frame indicates the use ratio of the instantaneous parking target position calculated before determining that the parking frame straddles the step. It can be made smaller than the instantaneous parking target position calculated after the determination of straddling the step. For this reason, when calculating | requiring an addition value as a parking target position, use of the parking target position containing a conversion error can be decreased. Therefore, the parking target position as the added value can be obtained with high accuracy.
なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis of each means described in this column and the claim shows the correspondence with the specific means as described in embodiment mentioned later.
本発明の第1実施形態における駐車支援装置の構成を示す図である。It is a figure which shows the structure of the parking assistance apparatus in 1st Embodiment of this invention. 図1の駐車支援装置の作動を説明するための図である。It is a figure for demonstrating the action | operation of the parking assistance apparatus of FIG. 駐車場の路面の傾斜を示す図である。It is a figure which shows the inclination of the road surface of a parking lot. 図1のマイクロコンピュータが実行する駐車目標位置決定処理を示すフローチャートである。It is a flowchart which shows the parking target position determination process which the microcomputer of FIG. 1 performs. 図1のマイクロコンピュータが実行する駐車目標位置決定処理の一部の詳細を示すフローチャートである。It is a flowchart which shows the one part detail of the parking target position determination process which the microcomputer of FIG. 1 performs. 図1のマイクロコンピュータが実行する駐車目標位置決定処理の一部の詳細を示すフローチャートである。It is a flowchart which shows the one part detail of the parking target position determination process which the microcomputer of FIG. 1 performs. 駐車枠を示す4本の直線を示す図である。It is a figure which shows four straight lines which show a parking frame. 駐車枠を示す4本の直線を示す図である。It is a figure which shows four straight lines which show a parking frame. 上記駐車目標位置決定処理を説明するための図である。It is a figure for demonstrating the said parking target position determination process. 図9中X−X断面図であるIt is XX sectional drawing in FIG. 本発明の第2実施形態における駐車目標位置決定処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking target position determination process in 2nd Embodiment of this invention. 第2実施形態における駐車目標位置決定処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking target position determination process in 2nd Embodiment. 鳥瞰変換による白線の変換誤差を示す図である。It is a figure which shows the conversion error of the white line by bird's-eye view conversion.
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、説明の簡略化を図るべく、図中、同一符号を付してある。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following embodiments, parts that are the same or equivalent to each other are given the same reference numerals in the drawings in order to simplify the description.
(第1実施形態)
図1に本発明の車載画像処理装置が適用される駐車支援装置1の概略構成を示す。
(First embodiment)
FIG. 1 shows a schematic configuration of a parking assistance apparatus 1 to which the in-vehicle image processing apparatus of the present invention is applied.
駐車支援装置1は、図1に示すように、CCDカメラ10、メモリ20、およびマイクロコンピュータ30から構成されている。   As shown in FIG. 1, the parking assist device 1 includes a CCD camera 10, a memory 20, and a microcomputer 30.
CCDカメラ10は、自車の後方に配置されて、自車の後方の景色を撮影するリアカメラである。自車とは、駐車支援装置1が搭載されている自動車のことである。メモリ20は、マイクロコンピュータ30のコンピュータプログラムを記憶するとともに、マイクロコンピュータ30がコンピュータプログラムを実行する際に生じるデータを保存するバッファとして機能する。   The CCD camera 10 is a rear camera that is arranged behind the host vehicle and captures the scenery behind the host vehicle. The own vehicle is a vehicle on which the parking assistance device 1 is mounted. The memory 20 stores a computer program of the microcomputer 30 and functions as a buffer for storing data generated when the microcomputer 30 executes the computer program.
マイクロコンピュータ30は、操舵角センサ40、車速センサ41、および駐車開始スイッチ42のそれぞれの出力信号を用いて、CCDカメラ10の撮影画像からハフ変換を用いて駐車枠を示す4本の直線を抽出するとともに、この抽出される4本の直線に基づいて自車の駐車目標位置を決定する駐車目標位置決定処理を実行する。   The microcomputer 30 uses the output signals of the steering angle sensor 40, the vehicle speed sensor 41, and the parking start switch 42 to extract four straight lines indicating the parking frame from the captured image of the CCD camera 10 using the Hough transform. At the same time, a parking target position determining process for determining the parking target position of the own vehicle based on the four extracted straight lines is executed.
操舵角センサ40は、自車の前輪の操舵角を検出するセンサである。車速センサ41は、自車の速度を検出するセンサである。駐車開始スイッチ42は、駐車目標位置決定処理の実行開始を指示する際に乗員によって操作されるスイッチである。Gセンサ43は、天地方向(すなわち、重力方向)の加速度を検出する。   The steering angle sensor 40 is a sensor that detects the steering angle of the front wheel of the host vehicle. The vehicle speed sensor 41 is a sensor that detects the speed of the host vehicle. The parking start switch 42 is a switch operated by the occupant when instructing the start of execution of the parking target position determination process. The G sensor 43 detects acceleration in the top-and-bottom direction (that is, the gravity direction).
次に、本実施形態の作動の具体例として、図2において自車50が駐車場60の路面61上の駐車枠52の付近をF1点→F2点→F3→F4点の順で走行する際にCCDカメラ10の撮影画像内の駐車枠52を用いて駐車枠52内の駐車目標位置を決める例について説明する。   Next, as a specific example of the operation of the present embodiment, when the own vehicle 50 travels in the order of F1 point → F2 point → F3 → F4 point in the vicinity of the parking frame 52 on the road surface 61 of the parking lot 60 in FIG. Next, an example of determining the parking target position in the parking frame 52 using the parking frame 52 in the captured image of the CCD camera 10 will be described.
本実施形態の駐車場60の路面61は、自車50側の部位Gから駐車枠52の奥側に向けて徐々に高くなる傾斜が形成されている駐車路面である。駐車枠52の奥側とは、駐車枠52に対して自車50の反対側のことである。本実施形態では、路面61と水平方向との成す角度は、角度φ(図3参照)に設定されている。角度φは、路面61の傾斜角度を表すものである。駐車枠52は、路面61上において平行に配置される2本の白線52a、52bからなるものであって、車両の駐車領域を示すものである。駐車枠52は、駐車場60内の駐車車両53、54の間に位置する。   The road surface 61 of the parking lot 60 of the present embodiment is a parking road surface on which a slope that gradually increases from the portion G on the own vehicle 50 side toward the back side of the parking frame 52 is formed. The back side of the parking frame 52 is the opposite side of the vehicle 50 with respect to the parking frame 52. In the present embodiment, the angle between the road surface 61 and the horizontal direction is set to an angle φ (see FIG. 3). The angle φ represents the inclination angle of the road surface 61. The parking frame 52 is composed of two white lines 52a and 52b arranged in parallel on the road surface 61, and indicates a parking area of the vehicle. The parking frame 52 is located between the parked vehicles 53 and 54 in the parking lot 60.
まず、本実施形態の駐車目標位置決定処理の詳細の説明に先立って、本実施形態の駐車目標位置決定処理で用いるハフ空間について説明する。   First, prior to the detailed description of the parking target position determination process of the present embodiment, the Hough space used in the parking target position determination process of the present embodiment will be described.
まず、ハフ空間とは、直線を表すための3次元座標のことである。具体的には、X軸をρとし、Y軸をθとし、Z軸をエッジ点の投票数とする空間である。   First, the Hough space is a three-dimensional coordinate for representing a straight line. Specifically, it is a space where the X axis is ρ, the Y axis is θ, and the Z axis is the number of votes of edge points.
ここで、エッジ点とは、CCDカメラ10の撮影画像から抽出されるエッジ点のことである。ρおよびθは、二次元のXY座標上の点(xi、yi)を通る直線F1を極座標表現にてρ=xi・cosθ+yi・sinθと表すために用いられるパラメータである。   Here, the edge point is an edge point extracted from a captured image of the CCD camera 10. ρ and θ are parameters used to express the straight line F1 passing through the point (xi, yi) on the two-dimensional XY coordinates as ρ = xi · cos θ + yi · sin θ in the polar coordinate representation.
ρは、直線F1へ原点から下ろした垂線の長さを示す第1パラメータである。θは、X軸と垂線とがなす角度を示す第2パラメータである。本実施形態のハフ空間は、駐車枠52を含む撮影領域が対象となっている。撮影領域とはCCDカメラ10によって撮影される領域のことである。   ρ is a first parameter indicating the length of a perpendicular line drawn from the origin to the straight line F1. θ is a second parameter indicating the angle formed by the X axis and the perpendicular. The Hough space of the present embodiment is a shooting area including the parking frame 52. The shooting area is an area shot by the CCD camera 10.
次に、本実施形態の駐車目標位置決定処理の詳細について説明する。   Next, the detail of the parking target position determination process of this embodiment is demonstrated.
マイクロコンピュータ30は、図4、図5、図6のフローチャートにしたがって、駐車目標位置決定処理を実行する。駐車目標位置決定処理の実行は、駐車開始スイッチ42をオンしたときに開始される。図5は、図4中のステップS200の詳細を示すフローチャートであり、図6は図4中のステップS210の詳細を示すフローチャートである。   The microcomputer 30 executes the parking target position determination process according to the flowcharts of FIGS. 4, 5, and 6. The execution of the parking target position determination process is started when the parking start switch 42 is turned on. FIG. 5 is a flowchart showing details of step S200 in FIG. 4, and FIG. 6 is a flowchart showing details of step S210 in FIG.
まず、図4のステップS100において、CCDカメラ10を制御して後方の景色を撮影させる。このとき、CCDカメラ10が、自車50の真後ろの景色、右後方の景色、および左後方の景色を含む後方画像を撮影することになる。   First, in step S100 in FIG. 4, the CCD camera 10 is controlled to photograph a rear scene. At this time, the CCD camera 10 captures a rear image including the scenery directly behind the host vehicle 50, the right rear scenery, and the left rear scenery.
次に、ステップS110において、操舵角センサ40の出力信号および車速センサ41の出力信号に基づいて、自車50の位置情報(すなわち、CCDカメラ10の撮影位置)を算出する。   Next, in step S110, based on the output signal of the steering angle sensor 40 and the output signal of the vehicle speed sensor 41, the position information of the own vehicle 50 (that is, the shooting position of the CCD camera 10) is calculated.
次に、ステップS120において、CCDカメラ10の撮影画像からエッジ点を抽出する。本実施形態のエッジ点とは、CCDカメラ10の撮影画像のうち輝度の変化を示す点である。このように撮影画像から抽出された複数のエッジ点に対してトップビュー変換を施す(ステップS130)。つまり、複数のエッジ点を自車50の上側から視た鳥瞰座標上の複数のエッジ点に座標変換する。すなわち、撮影画像毎に複数のエッジ点を鳥瞰座標上の複数のエッジ点に座標変換することになる。   Next, in step S120, edge points are extracted from the captured image of the CCD camera 10. The edge point in the present embodiment is a point indicating a change in luminance in the captured image of the CCD camera 10. Thus, top view conversion is performed on the plurality of edge points extracted from the photographed image (step S130). That is, coordinate conversion is performed on the plurality of edge points to the plurality of edge points on the bird's-eye view coordinates viewed from the upper side of the host vehicle 50. That is, coordinate conversion of a plurality of edge points into a plurality of edge points on the bird's eye coordinate for each captured image is performed.
ここで、後述するように、駐車枠52の検出には複数の撮影画像が用いられる。複数の撮影画像は、撮影画像毎にその撮影位置が異なる。これに加えて、撮影毎の鳥瞰座標はそれぞれ独立して設定されている。このため、撮影画像毎の鳥瞰座標の位置関係が定まっていない。   Here, as will be described later, a plurality of captured images are used to detect the parking frame 52. The shooting positions of the plurality of shot images are different for each shot image. In addition to this, the bird's-eye coordinates for each photographing are set independently. For this reason, the positional relationship of bird's-eye coordinates for each captured image is not fixed.
そこで、次のステップS140において、自車51の位置情報を用いて上記鳥瞰座標をCCDカメラ10の撮影位置に対応付けるように鳥瞰座標を撮影毎に座標変換する。つまり、上記鳥瞰座標上の複数のエッジ点を撮影画像毎に共通の鳥瞰座標上に写像することになる。このことにより、撮影画像毎の鳥瞰座標の位置関係を撮影画像毎の位置情報を用いて設定することができる。   Therefore, in the next step S140, the bird's-eye coordinates are coordinate-converted for each photographing so that the bird's-eye coordinates are associated with the photographing position of the CCD camera 10 using the position information of the own vehicle 51. That is, the plurality of edge points on the bird's-eye coordinates are mapped onto the common bird's-eye coordinates for each captured image. Thereby, the positional relationship of the bird's-eye coordinates for each captured image can be set using the positional information for each captured image.
次に、このようにステップS140において座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ20に保存する(ステップS150)。   Next, the coordinates of the plurality of edge points on the bird's-eye coordinates that have been coordinate-converted in step S140 are stored in the memory 20 (step S150).
次に、ステップS160において、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点を共通のハフ空間に写像することになる。つまり、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点を共通のハフ空間に投票する。つまり、このように共通のハフ空間に投票された投票履歴をメモリ20に記憶させる。   Next, in step S160, the plurality of edge points on the bird's eye coordinate coordinate-converted in step S140 are mapped to a common Hough space. That is, a plurality of edge points on the bird's-eye coordinate coordinate-transformed in step S140 are voted for a common Hough space. That is, the voting history voted for the common Hough space in this way is stored in the memory 20.
その後、ステップS170〜ステップS190において、上記共通のハフ空間に写像された投票履歴(以下、単に、共通ハフ空間の投票履歴という)から駐車枠の直線を抽出する直線抽出処理を実行する。   Thereafter, in steps S170 to S190, a straight line extraction process for extracting a straight line of the parking frame from the voting history mapped to the common hough space (hereinafter, simply referred to as the voting history of the common hough space) is executed.
具体的には、ステップS170において、共通ハフ空間の投票履歴から複数の直線を抽出する。なお、共通ハフ空間の投票履歴から直線を抽出する処理は周知であるため、その説明を省略する。   Specifically, in step S170, a plurality of straight lines are extracted from the voting history of the common Hough space. In addition, since the process which extracts a straight line from the voting history of a common Hough space is known, the description is abbreviate | omitted.
ここで、駐車枠52は、駐車場の路上に平行に配置されている2本の白線52a、52b(図2参照)から構成されている。白線52a、52b間の間隔W1は、F1寸法からF2寸法までの所定寸法範囲内に入るように設定されている。そして、白線52a(或いは、52b)のうち幅方向(すなわち、白線が延びる方向に対する直交する方向)の寸法W2は、C寸法からD寸法までの所定寸法範囲内に入るように設定されている。以下、本実施形態では、便宜上、白線52a、52b間の間隔W1を定める所定寸法範囲を第1の寸法範囲とし、白線52a(或いは、52b)のうち幅方向寸法W2を定める所定寸法範囲を第2の寸法範囲とする。   Here, the parking frame 52 includes two white lines 52a and 52b (see FIG. 2) arranged in parallel on the road of the parking lot. The interval W1 between the white lines 52a and 52b is set to fall within a predetermined size range from the F1 size to the F2 size. The dimension W2 in the width direction (that is, the direction perpendicular to the direction in which the white line extends) of the white line 52a (or 52b) is set to fall within a predetermined dimension range from the C dimension to the D dimension. Hereinafter, in this embodiment, for the sake of convenience, the predetermined dimension range that defines the interval W1 between the white lines 52a and 52b is defined as the first dimension range, and the predetermined dimension range that defines the width direction dimension W2 of the white line 52a (or 52b) is defined as the first dimension range. Dimension range of 2.
そして、共通ハフ空間の投票履歴では、白線52a(或いは、52b)は、ほぼ平行に配置されている二本の直線によって表される。二本の直線は、アップエッジによる直線とダウンエッジによる直線とから構成されるものである。アップエッジによる直線とは、輝度の増大を示すエッジ点からなる直線のことである。 ダウンエッジによる直線とは、輝度の低下を示すエッジ点からなる直線のことである。つまり、アップエッジによる直線とダウンエッジによる直線との間の寸法W2が第2の寸法範囲に入いる場合には、アップエッジによる直線とダウンエッジによる直線とが白線を示していることになる。なお、以下、このように間隔が第2の寸法範囲内に入っているアップエッジによる直線とダウンエッジによる直線とからなる直線の対を単に平行直線という。   In the voting history of the common Hough space, the white line 52a (or 52b) is represented by two straight lines arranged substantially in parallel. The two straight lines are composed of a straight line due to an up edge and a straight line due to a down edge. The straight line due to the up-edge is a straight line composed of edge points indicating an increase in luminance. The straight line due to the down edge is a straight line composed of edge points indicating a decrease in luminance. That is, when the dimension W2 between the straight line due to the up edge and the straight line due to the down edge falls within the second dimension range, the straight line due to the up edge and the straight line due to the down edge indicate white lines. In the following, a pair of straight lines composed of a straight line due to an up edge and a straight line due to a down edge whose distance is within the second dimension range is simply referred to as a parallel straight line.
そこで、ステップS180において、上記ステップS170で抽出される複数の直線に、駐車枠52を構成する4本の直線が含まれているか否かを判定する。このことにより、上記ステップS170で抽出される複数の直線に、駐車枠52を構成する2対の平行線が含まれているか否かを判定することになる。   Therefore, in step S180, it is determined whether or not four straight lines constituting the parking frame 52 are included in the plurality of straight lines extracted in step S170. Thus, it is determined whether or not the plurality of straight lines extracted in step S170 include two pairs of parallel lines that constitute the parking frame 52.
ここで、駐車枠52を構成する2対の平行線は、4本の直線のうち内側の2本の直線の間の寸法(すなわち、図7中の直線61、62の間の寸法)が第1の寸法範囲内に入っているものである。図7は、駐車枠52を示す直線60、61、62、63を示している。   Here, the two pairs of parallel lines constituting the parking frame 52 have the dimension between the two inner straight lines out of the four straight lines (that is, the dimension between the straight lines 61 and 62 in FIG. 7). 1 is within the dimension range. FIG. 7 shows straight lines 60, 61, 62, 63 indicating the parking frame 52.
このように2対の平行直線の間の寸法が第1の寸法範囲内に入っている2対の平行直線が上記ステップS170で抽出される複数の直線に含まれていない場合には、駐車枠を示す4本の直線が共通ハフ空間の投票履歴に存在しないとして、上記ステップS180でNOと判定する。これに伴って、ステップS100に戻る。   When two pairs of parallel straight lines in which the dimension between the two pairs of parallel straight lines is within the first dimension range are not included in the plurality of straight lines extracted in step S170, the parking frame In step S180, it is determined as NO, assuming that the four straight lines that indicate are not present in the voting history of the common Hough space. Accordingly, the process returns to step S100.
その後、上記ステップS180でNOと判定される限り、ステップS100、S110、S120、S130、S140、S150、S160、S170、およびステップS180のNO判定を繰り返す。このため、ハフ空間への写像(ステップS160)、直線抽出(ステップS170)、駐車枠の直線の有無判定(ステップS180)を繰り返すことになる。   Thereafter, as long as NO is determined in step S180, the NO determinations in steps S100, S110, S120, S130, S140, S150, S160, S170, and step S180 are repeated. For this reason, mapping to the Hough space (step S160), straight line extraction (step S170), and determination of the presence or absence of a straight line of the parking frame (step S180) are repeated.
その後、上記ステップS170で抽出される複数の直線に、駐車枠52を構成する4本の直線が含まれている場合には、ステップS180においてYESと判定する。これに伴い、上記ステップS170で抽出される複数の直線から、駐車枠52を構成する4本の直線を抽出する(ステップS190)。   Thereafter, when the four straight lines constituting the parking frame 52 are included in the plurality of straight lines extracted in step S170, YES is determined in step S180. Accordingly, four straight lines constituting the parking frame 52 are extracted from the plurality of straight lines extracted in step S170 (step S190).
駐車場60の路面61に、自車50側の部位G(つまり、傾斜開始部位)から駐車枠52の奥側に向けて徐々に高くなる傾斜が形成されている場合において、白線52a、52bが伸びる方向に鳥瞰座標の視点が位置する場合には、鳥瞰図では、駐車枠52を構成する白線52a、52bは、平行にならず、ハの字状に表示される。   When the road surface 61 of the parking lot 60 is formed with a slope that gradually increases from the part G on the own vehicle 50 side (that is, the slope start part) toward the back side of the parking frame 52, the white lines 52a and 52b are When the viewpoint of the bird's eye view coordinates is positioned in the extending direction, in the bird's eye view, the white lines 52a and 52b constituting the parking frame 52 are not parallel but are displayed in a C shape.
この場合、白線52aを示す直線60と白線52b示す直線62が所定角度θ以上の角度で交差し、かつ白線52aを示す直線61と白線52b示す直線63が所定角度θ以上で交差することになる(図8参照)。   In this case, the straight line 60 indicating the white line 52a and the straight line 62 indicating the white line 52b intersect at a predetermined angle θ or more, and the straight line 61 indicating the white line 52a and the straight line 63 indicating the white line 52b intersect at a predetermined angle θ or more. (See FIG. 8).
なお、実際には、鳥瞰変換によって白線52aを示す直線60、61も平行にならず、ハの字状に表示される。白線52bを示す直線62、63も平行にならず、ハの字状に表示されるが、図8では、このようなハの字状の表示を省略して、直線60、61を平行に表示し、かつ直線62、63を平行に表示している。   Actually, the straight lines 60 and 61 indicating the white line 52a by the bird's-eye conversion are not parallel but are displayed in a C shape. The straight lines 62 and 63 indicating the white line 52b are also not displayed in parallel but are displayed in a C shape. In FIG. 8, such a C-shaped display is omitted and the straight lines 60 and 61 are displayed in parallel. In addition, the straight lines 62 and 63 are displayed in parallel.
このように、駐車場60の路面61の傾斜が起因する鳥瞰変換による変換誤差によって、駐車枠52を示す直線60、61、62、63が正確に表示されなくなる。このため、このような変換誤差を含んだ直線60、61、62、63を用いると、自車の駐車目標位置を精度良く決定することができない。   As described above, the straight lines 60, 61, 62, and 63 indicating the parking frame 52 are not accurately displayed due to the conversion error due to the bird's eye view conversion caused by the inclination of the road surface 61 of the parking lot 60. For this reason, if the straight lines 60, 61, 62, and 63 including such conversion errors are used, the parking target position of the own vehicle cannot be determined with high accuracy.
そこで、駐車場60の路面61が傾斜している場合には、図5のステップS201〜S207において、鳥瞰座標上において駐車枠52を示す4本の直線を補正する。   Therefore, when the road surface 61 of the parking lot 60 is inclined, the four straight lines indicating the parking frame 52 are corrected on the bird's-eye coordinates in steps S201 to S207 in FIG.
まず、ステップS201において、駐車枠52を構成する4本の直線を用いて
駐車場60の路面61に傾斜が形成されているか否かを判定する。本実施形態では、駐車枠52を構成する4本の直線のうち内側の2本の直線(図8中の直線62、61)がなす角度θが所定値以上であるか否かを判定する。すなわち、白線52a、52bがなす角度θが所定値以上であるか否かを判定することになる。
First, in step S <b> 201, it is determined whether or not an inclination is formed on the road surface 61 of the parking lot 60 using the four straight lines constituting the parking frame 52. In the present embodiment, it is determined whether or not the angle θ formed by the two inner straight lines (the straight lines 62 and 61 in FIG. 8) among the four straight lines constituting the parking frame 52 is greater than or equal to a predetermined value. That is, it is determined whether or not the angle θ formed by the white lines 52a and 52b is greater than or equal to a predetermined value.
このとき、駐車枠52を構成する4本の直線のうち内側の2本の直線がなす角度θが所定値未満であるときには、駐車場60の路面61が傾斜していないとして、ステップS201においてNOと判定する。   At this time, if the angle θ formed by the two inner straight lines out of the four straight lines constituting the parking frame 52 is less than the predetermined value, it is determined that the road surface 61 of the parking lot 60 is not inclined and NO in step S201. Is determined.
また、駐車枠52を構成する4本の直線のうち内側の2本の直線がなす角度θが所定値以上であるときには、駐車場60の路面61が傾斜しているとして、ステップS201においてYESと判定する。   In addition, when the angle θ formed by the two inner straight lines out of the four straight lines constituting the parking frame 52 is equal to or greater than a predetermined value, the road surface 61 of the parking lot 60 is assumed to be inclined, and YES in step S201. judge.
例えば、駐車場60の路面61が傾斜しているとして、ステップS201においてYESと判定した場合には、次のステップS202では、自車50の走行軌跡から路面61が傾斜する方向を推定する。具体的には、駐車開始スイッチ42がオンされてからステップS180でYESと判定されるまでに繰り返しステップS110で取得される位置情報に基づいて、自車50の走行軌跡を推定する。本実施形態では、この推定される走行軌跡としては、図2中のF1点からF2点までの軌跡を想定する。そして、このように推定される走行軌跡(F1点〜F2点)に対して直交する方向に路面61が傾斜していると推定する。つまり、F1点とF2点とを結ぶ線分に対して直交する方向に、路面61が傾斜していると推定することになる。   For example, if it is determined that the road surface 61 of the parking lot 60 is inclined and YES is determined in step S201, the direction in which the road surface 61 is inclined is estimated from the travel locus of the host vehicle 50 in the next step S202. Specifically, the travel locus of the host vehicle 50 is estimated based on the position information acquired in step S110 repeatedly after the parking start switch 42 is turned on until YES is determined in step S180. In the present embodiment, the estimated travel locus is assumed to be a locus from point F1 to point F2 in FIG. And it is estimated that the road surface 61 inclines in the direction orthogonal to the traveling locus (F1 point-F2 point) estimated in this way. That is, it is estimated that the road surface 61 is inclined in a direction orthogonal to the line segment connecting the points F1 and F2.
次のステップS203では、駐車枠52を構成する4本の直線に基づいて路面61の傾斜情報を算出する。以下、図9、図10を用いて路面61の傾斜情報の算出について説明する。   In the next step S203, the inclination information of the road surface 61 is calculated based on the four straight lines constituting the parking frame 52. Hereinafter, calculation of the inclination information of the road surface 61 will be described with reference to FIGS. 9 and 10.
図9の鳥瞰座標上において、符号52a’、52b’は、傾斜が形成されている路面61上の駐車枠の2本の白線を示す。符号52a’、52b’は、路面61の傾斜が起因する変換誤差によってハの字状に配置されている2本の白線を示す。図9中の符号52a、52bは、鳥瞰座標上にて本来表示されるべき白線52a、52bの座標を示している。図10は図9中X−X断面図である。図10において、路面61が傾斜角φで傾斜している。   On the bird's-eye coordinates in FIG. 9, reference numerals 52 a ′ and 52 b ′ indicate two white lines of the parking frame on the road surface 61 where the slope is formed. Reference numerals 52 a ′ and 52 b ′ indicate two white lines arranged in a C shape due to a conversion error caused by the inclination of the road surface 61. Reference numerals 52a and 52b in FIG. 9 indicate the coordinates of the white lines 52a and 52b that should be originally displayed on the bird's-eye view coordinates. 10 is a cross-sectional view taken along the line XX in FIG. In FIG. 10, the road surface 61 is inclined at an inclination angle φ.
まず、カメラ10の位置を原点Oとし、鳥瞰座標上で白線52a’を構成する任意のエッジ点a’、b’の座標を求める。カメラ10の位置を原点Oとし、鳥瞰座標上で白線52a’を構成する任意のエッジ点c’、d’の座標をそれぞれ求める。エッジ点a’、b’は直線62上に位置するエッジ点である。エッジ点c’、d’は直線61上に位置するエッジ点である。   First, the position of the camera 10 is set as the origin O, and the coordinates of arbitrary edge points a 'and b' constituting the white line 52a 'are obtained on the bird's-eye view coordinates. With the position of the camera 10 as the origin O, the coordinates of arbitrary edge points c 'and d' constituting the white line 52a 'on the bird's-eye view coordinates are obtained. Edge points a ′ and b ′ are edge points located on the straight line 62. Edge points c ′ and d ′ are edge points located on the straight line 61.
図9、図10中のエッジ点a、b、c、dは、本来表示されるべき白線52a、52bを構成するエッジ点である。エッジ点aはエッジ点a’に対応し、エッジ点bはエッジ点b’に対応し、エッジ点cはエッジ点c’に対応し、エッジ点dはエッジ点d’に対応する。   Edge points a, b, c, and d in FIGS. 9 and 10 are edge points that constitute the white lines 52a and 52b to be originally displayed. The edge point a corresponds to the edge point a ', the edge point b corresponds to the edge point b', the edge point c corresponds to the edge point c ', and the edge point d corresponds to the edge point d'.
次に、図10において、エッジ点a’を含んで路面61に平行な平行面63に対して原点oを通る垂線64を形成した場合に、垂線64が平行面63に交わる点v’の座標を求める。さらに、垂線64が路面61に交わる点vの座標を求める。   Next, in FIG. 10, when the perpendicular 64 passing through the origin o is formed with respect to the parallel plane 63 including the edge point a ′ and parallel to the road surface 61, the coordinates of the point v ′ where the perpendicular 64 intersects the parallel plane 63. Ask for. Further, the coordinates of the point v where the perpendicular 64 intersects the road surface 61 are obtained.
次に、点vと原点oとの間の距離をvoとし、エッジ点aと原点oとの間の距離をaoとし、点v’と原点oとの間の距離をvoとし、エッジ点a’と原点oとの間の距離をa’oとする。距離vo、v’o、a’oを、点vの座標、点v’の座標、およびエッジ点a’の座標から求めることができる。   Next, the distance between the point v and the origin o is vo, the distance between the edge point a and the origin o is ao, the distance between the point v ′ and the origin o is vo, and the edge point a Let a'o be the distance between 'and the origin o. The distances vo, v'o, a'o can be obtained from the coordinates of the point v, the coordinates of the point v ', and the coordinates of the edge point a'.
ここで、距離vo、ao、v’o、a’oの間には、vo:ao=v’o:a’oの比例関係が成立し、この比例関係からエッジ点aの座標を求めることができる。これに加えて、エッジ点aの場合と同様に、エッジ点b,c,dの座標を求める。   Here, a proportional relationship of vo: ao = v′o: a′o is established between the distances vo, ao, v′o, and a′o, and the coordinates of the edge point a are obtained from this proportional relationship. Can do. In addition to this, as in the case of the edge point a, the coordinates of the edge points b, c, and d are obtained.
そして、エッジ点a、b、c、dの座標は、傾斜角度φ、および部位G(すなわち、路面61の傾斜が始まる部位)の座標をそれぞれ変数とする以下の関数Fa(φ、G)、Fb(φ、G)、Fc(φ、G)、Fd(φ、G)で表されるものとする。   The coordinates of the edge points a, b, c, and d are the following functions Fa (φ, G) having the variables of the inclination angle φ and the coordinates of the part G (that is, the part where the slope of the road surface 61 starts), respectively. It is assumed that Fb (φ, G), Fc (φ, G), and Fd (φ, G).
a=Fa(φ、G)・・・・・数式1
b=Fb(φ、G)・・・・・数式2
c=Fc(φ、G)・・・・・数式3
d=Fd(φ、G)・・・・・数式4
まず、車両進行方向(図2中点F1とF2とを結ぶ方向)をY方向とし、以降すべて、z=0として、xy平面で考える。
a = Fa (φ, G) Equation 1
b = Fb (φ, G) Equation 2
c = Fc (φ, G) Equation 3
d = Fd (φ, G) Equation 4
First, the vehicle traveling direction (direction connecting the points F1 and F2 in FIG. 2) is defined as the Y direction, and all of the following are considered on the xy plane with z = 0.
エッジ点aからエッジ点cに向かうベクトルをACとし、エッジ点bからエッジ点dに向かうベクトルをBDとし、Y方向の単位ベクトル(0、1)をYeとすると、ACがYeと直交することから、数式5、数式6が成立する。   If the vector from the edge point a to the edge point c is AC, the vector from the edge point b to the edge point d is BD, and the unit vector (0, 1) in the Y direction is Ye, AC is orthogonal to Ye. Therefore, Expression 5 and Expression 6 are established.
AC・Ye=0・・・・・数式5
AC=c−a=Fc(φ、G)−Fa(φ、G)・・・・・数式6
同様に、BDがYeと直交することから、数式7、数式8が成立する。
AC · Ye = 0 Equation 5
AC = c−a = Fc (φ, G) −Fa (φ, G)...
Similarly, since BD is orthogonal to Ye, Expressions 7 and 8 are established.
BD・Ye=0・・・・・数式7
BD=d−b=Fd(φ、G)−Fb(φ、G)・・・・・数式8
以上により、数式5、数式7は、角度φ、Gの座標で表されるので、数式5、数式7を連立方程式として傾斜角φ、およびGの座標を路面61の傾斜情報として求めることができる。なお、上記数式5および数式7の「・」は内積を表している。
BD · Ye = 0 Equation 7
BD = db = Fd ([phi], G) -Fb ([phi], G) (8)
As described above, since Equations 5 and 7 are expressed by coordinates of the angles φ and G, the inclination angles φ and G can be obtained as inclination information of the road surface 61 using Equations 5 and 7 as simultaneous equations. . In the above formulas 5 and 7, “·” represents an inner product.
次に、ステップS204において、傾斜角φおよびGの座標と上記ステップS130で求められる鳥瞰座標上の複数のエッジ点の座標とに基づいて、本来、ステップS130のトップビュー変換(鳥瞰変換)で取得されるべき鳥瞰座標上の各エッジ点の座標を再計算する。これにより、路面61の傾斜を起因とする鳥瞰変換の変換誤差(表示誤差)を無くした鳥瞰座標上の各エッジ点の座標を取得することができる。   Next, in step S204, based on the coordinates of the inclination angles φ and G and the coordinates of a plurality of edge points on the bird's-eye coordinates obtained in step S130, the top-view conversion (bird's-eye conversion) originally obtained in step S130 is obtained. Recalculate the coordinates of each edge point on the bird's eye coordinates to be done. Thereby, it is possible to acquire the coordinates of each edge point on the bird's-eye coordinates without the conversion error (display error) of the bird's-eye conversion caused by the inclination of the road surface 61.
その後、ステップS204で求められた変換誤差を含まない鳥瞰座標上の各エッジ点をハフ空間に投票する(ステップS205)。このハフ空間に投票された投票履歴から複数の直線を抽出する(ステップS206)。この抽出される複数の直線から駐車枠を示す直線60、61、62、63(図7参照)を抽出する(ステップS207)。これに伴い、図4のステップS210において、ステップS206で抽出される駐車枠52を示す直線60、61、62、63を用いて自車50の駐車目標位置を決める。   Thereafter, each edge point on the bird's-eye view coordinates not including the conversion error obtained in step S204 is voted in the Hough space (step S205). A plurality of straight lines are extracted from the voting history voted for the Hough space (step S206). Straight lines 60, 61, 62, 63 (see FIG. 7) indicating parking frames are extracted from the plurality of extracted straight lines (step S207). Accordingly, in step S210 of FIG. 4, the parking target position of the host vehicle 50 is determined using the straight lines 60, 61, 62, 63 indicating the parking frame 52 extracted in step S206.
一方、上記ステップS201において、駐車場60の路面61が傾斜していないとしてNOと判定した場合、図4のステップS210において、上記ステップS190で抽出される駐車枠52を示す直線60、61、62、63を用いて自車50の駐車目標位置を決める。   On the other hand, in step S201, when it is determined NO because the road surface 61 of the parking lot 60 is not inclined, straight lines 60, 61, 62 indicating the parking frame 52 extracted in step S190 in step S210 of FIG. , 63 is used to determine the parking target position of the host vehicle 50.
このように路面61の傾斜の有無に応じて、ステップS190、S206のうち一方のステップで抽出される直線60、61、62、63を用いて自車50の駐車目標位置を決める。   As described above, the parking target position of the host vehicle 50 is determined using the straight lines 60, 61, 62, 63 extracted in one of the steps S190, S206 depending on whether the road surface 61 is inclined.
例えば、上記ステップS201でYESと判定したときには、上記ステップS204において再計算される鳥瞰座標上の各エッジ点のうち、駐車枠52を示す直線60、61、62、63の上に位置する複数のエッジ点を直線毎に抽出してこの抽出した複数のエッジ点を直線毎にメモリ20に保存する。   For example, when it is determined YES in step S201, among the edge points on the bird's-eye coordinates recalculated in step S204, a plurality of points positioned on the straight lines 60, 61, 62, and 63 indicating the parking frame 52 are displayed. Edge points are extracted for each straight line, and the extracted plurality of edge points are stored in the memory 20 for each straight line.
また、上記ステップS201でNOと判定したときには、図4のステップS150において取得される鳥瞰座標上の各エッジ点のうち、駐車枠52を示す直線60、61、62、63の上に位置する複数のエッジ点を直線毎に抽出してこの抽出した複数のエッジ点を直線毎にメモリ20に保存する。   When it is determined NO in step S201, a plurality of edge points located on the straight lines 60, 61, 62, and 63 indicating the parking frame 52 among the respective edge points on the bird's eye coordinate acquired in step S150 of FIG. The edge points are extracted for each straight line, and the extracted plurality of edge points are stored in the memory 20 for each straight line.
次のステップ212において、このようにメモリ20に保存される直線毎の複数のエッジ点を自車50の位置を含む鳥瞰座標上にソートする。これに伴い、鳥瞰座標上の複数のエッジ点を直線毎に自車50に近い側から走査し、鳥瞰座標上の複数のエッジ点において、駐車枠52のうち自車50側の端点(すなわち、手前側端点)となるエッジ点が有るか否かを直線毎に判定する(ステップS212、S213、S214)。   In the next step 212, the plurality of edge points for each straight line thus stored in the memory 20 are sorted on the bird's eye coordinates including the position of the vehicle 50. Accordingly, a plurality of edge points on the bird's eye coordinate are scanned from the side closer to the own vehicle 50 for each straight line, and at the plurality of edge points on the bird's eye coordinate, the end points on the own vehicle 50 side (that is, the parking frame 52 side) It is determined for each straight line whether or not there is an edge point that is the front end point (steps S212, S213, and S214).
具体的には、鳥瞰座標上の複数のエッジ点において、自車50側(すなわち、手前側)の第1所定距離内に位置するエッジ点の個数が第1の閾値未満で、かつ自車と反対側(すなわち、奥側)の第2所定距離内に位置するエッジ点の個数が第2の閾値以上であるエッジ点が有るか否かを直線毎に判定する。   Specifically, among the plurality of edge points on the bird's eye coordinate, the number of edge points located within the first predetermined distance on the own vehicle 50 side (that is, the front side) is less than the first threshold, and It is determined for each straight line whether or not there is an edge point whose number of edge points located within the second predetermined distance on the opposite side (that is, the back side) is equal to or greater than the second threshold value.
本実施形態では、第1所定距離としては1メートルとし、第2所定距離を1メートルとし、第1の閾値を1個とし、第2の閾値を5個とする。   In the present embodiment, the first predetermined distance is 1 meter, the second predetermined distance is 1 meter, the first threshold is one, and the second threshold is five.
このため、4本の直線のうち一本の直線上に位置する複数のエッジ点を走査して、直線上の複数のエッジ点のうち、自車50側の1メートル内に位置するエッジ点が零個で、かつ自車50と反対側の1メートル内に位置するエッジ点の個数が5個以上であるエッジ点が存在するときには、この存在するエッジ点が駐車枠52のうち自車50側の端点であるとする。   For this reason, a plurality of edge points located on one straight line among the four straight lines are scanned, and among the plurality of edge points on the straight line, the edge points located within 1 meter on the own vehicle 50 side are detected. When there are zero edge points and the number of edge points located within 1 meter opposite to the host vehicle 50 is five or more, this existing edge point is the side of the host vehicle 50 in the parking frame 52. Is the end point of.
これに加えて、4本の直線のうち一本の直線以外の3本の直線についても、同様に、直線上の複数のエッジ点に対して走査判定処理(ステップS212、S213、S214)を実施して、直線上の複数のエッジ点のうち、駐車枠52のうち自車50側の端点となるエッジ点が存在するか否かを判定する。   In addition, scanning determination processing (steps S212, S213, and S214) is similarly performed on a plurality of edge points on the three straight lines other than one of the four straight lines. And it is determined whether the edge point used as the end point by the side of the own vehicle 50 among the parking frame 52 exists among several edge points on a straight line.
その結果、4本の直線について、直線上の複数のエッジ点のうち、自車50側の1メートル内に位置するエッジ点が零個で、かつ自車50と反対側の1メートル内に位置するエッジ点の個数が5個以上であるエッジ点が存在すると判定したときには、この存在すると判定される直線毎のエッジ点を駐車枠52のうち自車50側の端点60a、61a、62a、63aとして決める(ステップS215)。   As a result, for four straight lines, among the plurality of edge points on the straight line, zero edge points are located within 1 meter on the own vehicle 50 side, and are located within 1 meter opposite to the own vehicle 50. When it is determined that there are five or more edge points, the edge points for each straight line determined to exist are used as the end points 60a, 61a, 62a, 63a on the own vehicle 50 side of the parking frame 52. (Step S215).
次に、ステップS216において、駐車枠52のうち自車50側の端点60a、61a、62a、63aと駐車枠52を示す4本の直線とに基づいて、目標駐車位置を決定する。   Next, in step S216, the target parking position is determined based on the end points 60a, 61a, 62a, 63a on the own vehicle 50 side of the parking frame 52 and the four straight lines indicating the parking frame 52.
具体的には、駐車枠52を示す4本の直線のうち、自車50側の端点に対して自車50と反対側で、かつ自車50側の端点との間の距離が所定距離Lとなる位置を直線毎に決める。この直線毎に決められる4つの位置から定める位置を目標駐車位置として決定する。目標駐車位置は、操舵角等を制御して自車50の駐車を支援する際に、自車50を駐車させるための目標位置として用いられる。   Specifically, of the four straight lines indicating the parking frame 52, the distance between the end point on the own vehicle 50 side and the end point on the own vehicle 50 side is the predetermined distance L. Determine the position for each straight line. A position determined from the four positions determined for each straight line is determined as a target parking position. The target parking position is used as a target position for parking the host vehicle 50 when assisting the parking of the host vehicle 50 by controlling the steering angle or the like.
以上説明した本実施形態によれば、マイクロコンピュータ30は、駐車枠の付近を自車50が走行する際に駐車枠側の景色を繰り返し撮影するためのCCDカメラ10が撮影する毎に自車50の位置情報を取得する。撮影毎の位置情報に基づいてCCDカメラ10の撮影画像中のエッジ点の座標を共通の鳥瞰座標上のエッジ点に撮影毎に変換して、この変換された共通の鳥瞰座標上のエッジ点を撮影毎にハフ空間に投票する。ハフ空間に投票された投票履歴に駐車枠を構成する直線が存在するか否かを判定し、投票履歴に存在すると判定される駐車枠を構成する直線に基づいて、駐車枠を形成する駐車路面が傾斜しているか否かを判定する。投票履歴に存在すると判定される駐車枠を構成する直線に基づいて、駐車路面の傾斜情報を求め、この駐車路面の傾斜情報に基づいて、駐車場60の路面61の傾斜に起因する鳥瞰変換の変換誤差を無くした鳥瞰座標上の各エッジ点の座標を計算する。この再計算される鳥瞰座標上の各エッジ点をハフ空間に投票してこの投票した結果から駐車枠を構成する直線を抽出する。この抽出される駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて自車50の駐車目標位置を算出することを特徴としている。   According to the present embodiment described above, the microcomputer 30 causes the own vehicle 50 to be captured every time the CCD camera 10 for repeatedly photographing the scenery on the parking frame side when the own vehicle 50 travels in the vicinity of the parking frame. Get location information. The coordinates of the edge point in the captured image of the CCD camera 10 are converted into the edge point on the common bird's-eye coordinate based on the positional information for each shooting, and the converted edge point on the common bird's-eye coordinate is converted. Vote for Hough space every time you shoot. A parking road surface that determines whether there is a straight line that constitutes a parking frame in the voting history voted in the Hough space, and forms a parking frame based on a straight line that constitutes the parking frame that is determined to exist in the voting history It is determined whether or not is inclined. Based on the straight line that constitutes the parking frame determined to be present in the voting history, the inclination information of the parking road surface is obtained, and based on the inclination information of the parking road surface, the bird's eye view conversion caused by the inclination of the road surface 61 of the parking lot 60 is obtained. Calculate the coordinates of each edge point on the bird's-eye view coordinates with no conversion error. Each edge point on the bird's eye coordinates to be recalculated is voted on the Hough space, and a straight line constituting the parking frame is extracted from the result of the vote. The parking target position of the host vehicle 50 is calculated based on the extracted straight line constituting the parking frame and the coordinates of each edge point on the bird's eye coordinates recalculated.
このように求められる駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて駐車目標位置を決めるので、高い位置精度の駐車目標位置を取得することができる。   Since the parking target position is determined based on the straight line constituting the parking frame thus obtained and the coordinates of each edge point on the bird's-eye coordinates recalculated, a parking target position with high position accuracy can be acquired.
(第2実施形態)
上記第1実施形態では、路面61の傾斜が生じている場合に、高い精度の目標駐車位置を求める例について説明したが、これに代えて、本第2実施形態では、路面61上の駐車枠52が段差を跨いでいる場合でも、高い精度の目標駐車位置を求める例について説明する。
(Second Embodiment)
In the said 1st Embodiment, when the inclination of the road surface 61 has arisen, although the example which calculates | requires a highly accurate target parking position was demonstrated, it replaces with this and the parking frame on the road surface 61 is replaced with this. An example in which a highly accurate target parking position is obtained even when 52 crosses a step will be described.
本実施形態のマイクロコンピュータ30は、図4〜図6に代わる図11、図12のフローチャートに従って駐車目標位置決定処理を実行する。図11中のステップS100、S110、・・・・S200は、図4中のステップS100、S110、・・・・S200と同一である。このため、ステップS100、S110、・・・・S200の説明を簡素化する。   The microcomputer 30 of this embodiment performs a parking target position determination process according to the flowcharts of FIGS. 11 and 12 instead of FIGS. Steps S100, S110,... S200 in FIG. 11 are the same as steps S100, S110,. For this reason, description of step S100, S110, ..., S200 is simplified.
次に、本実施形態の駐車目標位置決定処理の詳細について説明する。   Next, the detail of the parking target position determination process of this embodiment is demonstrated.
マイクロコンピュータ30は、図11、図12のフローチャートにしたがって、駐車目標位置決定処理を実行する。駐車目標位置決定処理の実行は、駐車開始スイッチ42をオンしたときに開始される。駐車目標位置決定処理は、繰り返し実行される。   The microcomputer 30 executes a parking target position determination process according to the flowcharts of FIGS. The execution of the parking target position determination process is started when the parking start switch 42 is turned on. The parking target position determination process is repeatedly executed.
まず、図11のステップS100〜S180の処理を上記第1実施形態と同様に実行する。例えば、図2中F1点からF2点側に自車50が近づくと、ステップS180において、駐車枠52を示す4本の直線が共通ハフ空間の投票履歴に存在するとして、YESと判定する。   First, the processing of steps S100 to S180 in FIG. 11 is executed in the same manner as in the first embodiment. For example, when the host vehicle 50 approaches the F2 point side from the F1 point in FIG. 2, it is determined as YES in step S180 because four straight lines indicating the parking frame 52 exist in the voting history of the common Hough space.
これに伴い、次のステップS190において、上記ステップS170で抽出される複数の直線から、駐車枠52を構成する4本の直線を抽出する。その後、この4本の直線を補正する枠線補正処理(ステップS200)を実施する。このため、ハフ空間に投票された投票履歴から駐車枠52を示す直線60、61、62、63(図7参照)を抽出することができる。   Accordingly, in the next step S190, four straight lines constituting the parking frame 52 are extracted from the plurality of straight lines extracted in step S170. Thereafter, a frame line correction process (step S200) for correcting the four straight lines is performed. For this reason, straight lines 60, 61, 62, and 63 (see FIG. 7) indicating the parking frame 52 can be extracted from the voting history voted in the Hough space.
次に、図12のステップS220において、Gセンサ43の出力信号に基づいて、路面61上の駐車枠52が段差を跨いでいるか否かを判定する。このとき、Gセンサ43によって所定値以上の天地方向の加速度を検出した場合には、駐車枠52が段差を跨いでいるとして、YESと判定する。つまり、駐車枠52に段差が生じていると判定することになる。この場合、駐車目標位置の決定に用いる重みαを「ゼロ」とする。一方、Gセンサ43によって所定値以上の天地方向の加速度が検出しなかった場合には、駐車枠52が段差を跨いでいないとして、NOと判定する。つまり、駐車枠52に段差が生じていないと判定する。これに伴い、駐車目標位置の決定に用いる重みαを「0.8」とする。   Next, in step S220 of FIG. 12, it is determined based on the output signal of the G sensor 43 whether or not the parking frame 52 on the road surface 61 straddles a step. At this time, when the acceleration in the vertical direction equal to or greater than a predetermined value is detected by the G sensor 43, it is determined as YES because the parking frame 52 straddles the step. That is, it is determined that a step is generated in the parking frame 52. In this case, the weight α used for determining the parking target position is set to “zero”. On the other hand, when the acceleration in the vertical direction equal to or greater than the predetermined value is not detected by the G sensor 43, it is determined as NO because the parking frame 52 does not straddle the step. That is, it is determined that there is no step in the parking frame 52. Accordingly, the weight α used for determining the parking target position is set to “0.8”.
次に、ステップS250において、駐車目標位置の瞬時値(以下、瞬時駐車目標位置という)を求める。瞬時駐車目標位置の算出は、図4中のステップS210と同様であるので、その説明を省略する。   Next, in step S250, an instantaneous value of the parking target position (hereinafter referred to as an instantaneous parking target position) is obtained. The calculation of the instantaneous parking target position is the same as step S210 in FIG.
その後、上記ステップS250において、瞬時駐車目標位置を算出する毎に、瞬時駐車目標位置の加重平均値を算出することになる(ステップS260〜S290)。   Thereafter, in step S250, every time the instantaneous parking target position is calculated, the weighted average value of the instantaneous parking target position is calculated (steps S260 to S290).
具体的には、ステップS260において、今回に算出される瞬時駐車目標位置の座標(X(m)、Y(m)、Z(m))に対して(1−α)を掛けた座標(X(m)×(1−α)、Y(m)×(1−α)、Z(m)×(1−α))を求める。mは、ステップS250の実行回数を示す値である。   Specifically, in step S260, a coordinate (X) obtained by multiplying the coordinate (X (m), Y (m), Z (m)) of the instantaneous parking target position calculated this time by (1-α). (M) × (1-α), Y (m) × (1-α), Z (m) × (1-α)). m is a value indicating the number of executions of step S250.
次に、ステップS270において、前回に算出される瞬時駐車目標位置の座標(X(m−1)、Y(m−1、Z(m−1)に対してαを掛けた座標(X(m−1×α、Y(m−1×α、Z(m−1)×α)を求める。   Next, in step S270, the coordinates (X (m-1), Y (m-1, Z (m-1)) multiplied by α (X (m-1), the coordinates of the instantaneous parking target position calculated last time. −1 × α and Y (m−1 × α, Z (m−1) × α) are obtained.
次に、ステップS280において、上記ステップS260において算出される座標(X(m)×(1−α)、Y(m)×(1−α)、Z(m)×(1−α))と、上記ステップS270において算出される座標(X(m−1)×α、Y(m−1)×α、Z(m−1)×α)とを加算する。これにより、瞬時駐車目標位置の加重平均値を求めることができる。加重平均値のx成分は、{X(m)×(1−α)+X(m−1)×α}であり、y成分は、{Y(m)×(1−α)+Y(m−1)×α}、z成分は、{Z(m)×(1−α)+Z(m−1)×α}である。このよう瞬時駐車目標位置の加重平均値は、ステップS290で出力される。その後、図11のステップS100に戻る。このため、ステップS180において、上記ステップS170で抽出される複数の直線に駐車枠52を構成する4本の直線が含まれているとしてYESと判定される毎に、ステップS190、S200の処理後、図12のステップS220〜S290の処理を実行する。このため、瞬時駐車目標位置を算出する毎に、瞬時駐車目標位置の加重平均値が出力される。   Next, in step S280, the coordinates (X (m) × (1-α), Y (m) × (1-α), Z (m) × (1-α)) calculated in step S260 are Then, the coordinates (X (m−1) × α, Y (m−1) × α, Z (m−1) × α) calculated in step S270 are added. Thereby, the weighted average value of the instantaneous parking target position can be obtained. The x component of the weighted average value is {X (m) × (1−α) + X (m−1) × α}, and the y component is {Y (m) × (1−α) + Y (m− 1) × α} and the z component are {Z (m) × (1−α) + Z (m−1) × α}. The weighted average value of the instantaneous parking target position is output in step S290. Then, it returns to step S100 of FIG. For this reason, every time it is determined YES in step S180 that the four straight lines constituting the parking frame 52 are included in the plurality of straight lines extracted in step S170, after the processing in steps S190 and S200, The processes of steps S220 to S290 in FIG. 12 are executed. For this reason, every time the instantaneous parking target position is calculated, the weighted average value of the instantaneous parking target position is output.
以上説明した説明した本実施形態によれば、駐車枠52を示す4本の直線が共通ハフ空間の投票履歴に存在するとして、ステップS180でYESと判定した後に、Gセンサ43によって所定値以上の天地方向の加速度を検出した場合には、駐車枠52が段差を跨いでいるとしてステップ220でYESと判定する。   According to the embodiment described above, it is assumed that four straight lines indicating the parking frame 52 exist in the voting history of the common hough space, and after determining YES in step S180, the G sensor 43 increases the predetermined value or more. If the acceleration in the top-and-bottom direction is detected, it is determined as YES in step 220 because the parking frame 52 straddles the step.
そして、ステップS180でYESと判定される毎に、図12のステップS220〜S290において瞬時駐車目標位置が算出される。このため、瞬時駐車目標位置の算出毎に、今回の瞬時駐車目標位置の座標に対して(1−α)を掛けた座標と、前回の瞬時駐車目標位置の座標に対してαを掛けた座標とを加算して瞬時駐車目標位置の加重平均値を算出する。   And whenever it determines with YES by step S180, the instantaneous parking target position is calculated in step S220-S290 of FIG. For this reason, every time the instantaneous parking target position is calculated, the coordinates obtained by multiplying the coordinates of the current instantaneous parking target position by (1-α) and the coordinates obtained by multiplying the coordinates of the previous instantaneous parking target position by α. And the weighted average value of the instantaneous parking target position is calculated.
駐車枠52が段差を跨いでいると判定したときには、重みαを「ゼロ」とする一方、駐車枠52に段差が生じていないと判定した場合には重みαを「0.8」とする。このため、駐車枠52が段差を跨いでいると判定したときには、駐車枠52が段差を跨いでいないと判定する場合に比べて、前回の瞬時駐車目標位置の座標に掛ける重みα(第2の重み)を小さくし、かつ今回の瞬時駐車目標位置の座標に掛ける重み(1−α)(第1の重み)を大きくすることができる。   When it is determined that the parking frame 52 straddles a step, the weight α is set to “zero”, while when it is determined that no step is generated in the parking frame 52, the weight α is set to “0.8”. For this reason, when it is determined that the parking frame 52 straddles the step, the weight α (second value) applied to the coordinates of the previous instantaneous parking target position is compared with the case where it is determined that the parking frame 52 does not straddle the step. The weight (1-α) (first weight) applied to the coordinates of the current instantaneous parking target position can be increased.
したがって、駐車目標位置の加重平均値を求める際に、駐車枠52が段差を跨いでいると判定する前に算出される瞬時駐車目標位置の使用比率を、駐車枠52が段差を跨いでいると判定する後に算出される瞬時駐車目標位置の使用比率に比べて小さくすることができる。これにより、駐車枠52に生じている段差を起因とする鳥瞰変換の変換誤差を含む駐車目標位置の使用比率を減らすことができる。このため、加重平均値としての駐車目標位置を精度良く求めることができる。   Therefore, when calculating the weighted average value of the parking target position, the use ratio of the instantaneous parking target position calculated before determining that the parking frame 52 straddles the step, and the parking frame 52 straddling the step. The use ratio of the instantaneous parking target position calculated after the determination can be made smaller. Thereby, the usage ratio of the parking target position including the conversion error of the bird's eye view conversion caused by the step generated in the parking frame 52 can be reduced. For this reason, the parking target position as a weighted average value can be obtained with high accuracy.
(他の実施形態)
上記第1実施形態では、駐車場60の路面61に傾斜が形成されているか否かを判定する際に、駐車枠52を構成する4本の直線を用いた例について説明したが、これに代えて、CCDカメラ10のモーションステレオにより立体写真を取得し、この取得される立体写真から路面61の斜面を検出してもよい。
(Other embodiments)
In the said 1st Embodiment, when determining whether the slope 61 is formed in the road surface 61 of the parking lot 60, although the example using four straight lines which comprise the parking frame 52 was demonstrated, it replaced with this Then, a stereoscopic photograph may be acquired by the motion stereo of the CCD camera 10, and the slope of the road surface 61 may be detected from the acquired stereoscopic photograph.
上記第2実施形態では、Gセンサの出力信号に基づいて、路面61の段差を駐車枠52が跨いでいるか否かを判定した例について説明したが、これに代えて、次の(1)、(2)、(3)のようにしてもよい。
(1)CCDカメラ10のモーションステレオにより立体写真を取得し、この取得される立体写真から路面61の段差、および駐車枠52を検出する。或いは、三次元カメラを用いて立体写真を取得し、この取得される立体写真から路面61の段差および駐車枠52を検出する。このように検出される段差および駐車枠52によって路面61の段差を駐車枠52が跨いでいるか否かを判定してもよい。
(2)CCDカメラ10により撮影される画像を鳥瞰変換した鳥瞰画像から路面の段差を跨ぐ白線のずれ(図13(b)参照)を検出したとき、路面61の段差を駐車枠52が跨いでいると判定する。
(3)超音波や電磁波を用いて障害物を検出するソナーによって障害物を探知する処理と、上記第1実施形態においてCCDカメラ10の撮影画像を用いて駐車目標位置を算出する処理とを並列的に実施する場合、ソナーにより探知される障害物と自車50との間の距離が一定であるにも関わらず、上記第1実施形態におけるCCDカメラ10の撮影画像を用いて算出される駐車目標位置が大きくずれる場合には、路面61の段差を駐車枠52が跨いでいると判定する。
In the said 2nd Embodiment, although the example which determined whether the parking frame 52 straddled the level | step difference of the road surface 61 based on the output signal of G sensor was demonstrated, instead of this, following (1), (2) and (3) may be used.
(1) A stereoscopic photograph is acquired by the motion stereo of the CCD camera 10, and a step on the road surface 61 and the parking frame 52 are detected from the acquired stereoscopic photograph. Alternatively, a three-dimensional photograph is obtained using a three-dimensional camera, and the step on the road surface 61 and the parking frame 52 are detected from the obtained three-dimensional photograph. It may be determined whether or not the parking frame 52 straddles the step on the road surface 61 based on the detected step and the parking frame 52.
(2) When a white line shift (see FIG. 13B) straddling a step on the road surface is detected from a bird's-eye image obtained by bird's-eye conversion of an image captured by the CCD camera 10, the parking frame 52 straddles the step on the road surface 61. It is determined that
(3) Parallel processing of detecting an obstacle with a sonar that detects the obstacle using ultrasonic waves or electromagnetic waves and processing of calculating a parking target position using an image captured by the CCD camera 10 in the first embodiment. In the case of the actual implementation, the parking calculated using the photographed image of the CCD camera 10 in the first embodiment, although the distance between the obstacle detected by the sonar and the own vehicle 50 is constant. When the target position deviates greatly, it is determined that the parking frame 52 straddles the step on the road surface 61.
上記第1、第2実施形態では、操舵角センサ40の出力信号および車速センサ41の出力信号に基づいて、自車50の位置情報を算出した例について説明したが、これに限らず、GPSによって自車50の位置情報を算出してもよい。   In the first and second embodiments, the example in which the position information of the host vehicle 50 is calculated based on the output signal of the steering angle sensor 40 and the output signal of the vehicle speed sensor 41 has been described. The position information of the host vehicle 50 may be calculated.
上記第2実施形態では、重みαを「ゼロ」「0.8」とした例について説明したが、これに代えて、重みαを「ゼロ」、「0.8」以外の値にしてもよい。   In the second embodiment, the example in which the weight α is “zero” and “0.8” has been described. Alternatively, the weight α may be a value other than “zero” and “0.8”. .
上記第1、第2実施形態では、ステップS130において、複数のエッジ点を自車50の上側から視た鳥瞰座標上の複数のエッジ点に座標変換した後に次のステップS140において、自車51の位置情報を用いて上記鳥瞰座標をCCDカメラ10の撮影位置に対応付けるように鳥瞰座標を撮影毎に座標変換した例について説明したが、これに代えて、次のようにしてもよい。   In the first and second embodiments, after the coordinate conversion of the plurality of edge points to the plurality of edge points on the bird's-eye coordinates viewed from the upper side of the host vehicle 50 in step S130, in the next step S140, the vehicle 51 Although the example in which the bird's-eye coordinates are coordinate-converted for each photographing so as to associate the bird's-eye coordinates with the photographing position of the CCD camera 10 using the position information has been described, the following may be used instead.
すなわち、CCDカメラ10の撮影画像中のエッジ点を自車51の位置情報を用いてCCDカメラ10の撮影位置に対応付けるように撮影毎に座標変換し、この座標変換されたエッジ点を自車50の上側から視た鳥瞰座標上の複数のエッジ点に座標変換してもよい。   That is, the coordinates of the edge point in the captured image of the CCD camera 10 are converted for each photographing so as to correspond to the photographing position of the CCD camera 10 using the position information of the own vehicle 51, and the edge point after the coordinate conversion is converted to the own vehicle 50. The coordinates may be converted into a plurality of edge points on the bird's-eye coordinates viewed from above.
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。   In addition, this invention is not limited to above-described embodiment, In the range described in the claim, it can change suitably. Further, the above embodiments are not irrelevant to each other, and can be combined as appropriate unless the combination is clearly impossible. In each of the above-described embodiments, it is needless to say that elements constituting the embodiment are not necessarily indispensable except for the case where it is clearly indicated that the element is essential and the case where the element is clearly considered essential in principle. Yes. Further, in each of the above embodiments, when numerical values such as the number, numerical value, quantity, range, etc. of the constituent elements of the embodiment are mentioned, it is clearly limited to a specific number when clearly indicated as essential and in principle. The number is not limited to the specific number except for the case. Further, in each of the above embodiments, when referring to the shape, positional relationship, etc. of the component, etc., the shape, unless otherwise specified and in principle limited to a specific shape, positional relationship, etc. It is not limited to the positional relationship or the like.
1 駐車支援装置
10 CCDカメラ
30 マイクロコンピュータ
40 操舵角センサ
41 車速センサ
42 駐車開始スイッチ
50 自車(自動車)
52 駐車枠
51a、51b 白線
60、61、62、63 直線
DESCRIPTION OF SYMBOLS 1 Parking assistance apparatus 10 CCD camera 30 Microcomputer 40 Steering angle sensor 41 Vehicle speed sensor 42 Parking start switch 50 Own vehicle (automobile)
52 Parking frame 51a, 51b White line 60, 61, 62, 63 Straight line

Claims (4)

  1. 路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ(10)が撮影する毎に前記自車の位置情報を取得する取得手段(S110)と、
    前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に鳥瞰変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段(S160)と、
    前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを判定する駐車枠判定手段(S180)と、
    前記駐車枠を形成する駐車路面が傾斜しているか否かを判定する傾斜判定手段(S201)と、
    前記駐車枠を形成する駐車路面が傾斜していると前記傾斜判定手段が判定した場合に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線に基づいて、前記駐車路面の傾斜情報を求める傾斜情報算出手段(S203)と、
    前記傾斜情報算出手段によって求められる駐車路面の傾斜情報に基づいて、前記駐車路面の傾斜に起因する前記鳥瞰変換の変換誤差を無くした前記鳥瞰座標上の各エッジ点の座標を再計算する再計算手段(S204)と、
    前記再計算手段によって再計算される前記鳥瞰座標上の各エッジ点をハフ空間に投票して、この投票した結果から前記駐車枠を構成する直線を抽出する直線抽出手段(S205)と、
    前記直線抽出手段によって抽出される前記駐車枠を構成する直線と前記再計算される前記鳥瞰座標上の各エッジ点の座標とに基づいて前記自車の駐車目標位置を決める決定手段(S210)と、を備えることを特徴とする車載画像処理装置。
    Acquisition means (S110) for acquiring the position information of the vehicle every time the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame on the road surface When,
    Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into a bird's eye view for each photographing to the edge point on the common bird's eye coordinates viewed from the upper side of the own vehicle. Voting means (S160) for voting edge points on the common bird's-eye coordinates to the Hough space for each photographing,
    Parking frame determination means (S180) for determining whether or not a straight line constituting the parking frame exists in the voting history voted for the Hough space;
    Inclination determining means (S201) for determining whether or not the parking road surface forming the parking frame is inclined;
    When the inclination determination means determines that the parking road surface forming the parking frame is inclined, based on a straight line constituting the parking frame determined by the parking frame determination means as being present in the voting history, Inclination information calculating means for obtaining inclination information of the parking road surface (S203);
    Recalculation that recalculates the coordinates of each edge point on the bird's-eye coordinates without the conversion error of the bird's-eye view conversion caused by the inclination of the parking road surface, based on the inclination information of the parking road surface obtained by the inclination information calculating means Means (S204);
    Voting each edge point on the bird's eye coordinate recalculated by the recalculating means to a Hough space, and a straight line extracting means (S205) for extracting a straight line constituting the parking frame from the voted result;
    Determining means (S210) for determining a parking target position of the own vehicle based on a straight line constituting the parking frame extracted by the straight line extracting means and coordinates of each edge point on the bird's eye coordinates recalculated; An in-vehicle image processing apparatus comprising:
  2. 前記自車側から前記駐車枠に対して前記自車と反対側に向けて路面の高さが徐々に大きくなるように前記駐車路面が形成されている場合に、前記駐車路面の傾斜情報は、前記駐車路面の傾斜が開始される位置(G)の座標と前記路面の傾斜角度(φ)とを備えていることを特徴とする請求項1に記載の車載画像処理装置。   When the parking road surface is formed so that the height of the road surface gradually increases from the own vehicle side toward the opposite side to the own vehicle with respect to the parking frame, the inclination information of the parking road surface is: The vehicle-mounted image processing apparatus according to claim 1, comprising coordinates of a position (G) at which the parking road surface starts to be inclined and an inclination angle (φ) of the road surface.
  3. 路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ(10)が撮影する毎に前記自車の位置情報を取得する取得手段(S110)と、
    前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段(S160)と、
    前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを前記撮影毎に判定する駐車枠判定手段(S180)と、
    前記投票履歴に前記駐車枠を構成する直線が存在すると前記駐車枠判定手段が判定する毎に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線と、前記共通の鳥瞰座標上のエッジ点とに基づいて前記自車の駐車目標位置の瞬時値を算出する算出手段(S250)と、
    前記算出手段によって前記駐車目標位置の瞬時値を算出する毎に、前記算出手段によって今回算出された前記瞬時値に第1の重みに掛けた値と、前記算出手段によって前回算出された前記瞬時値に第2の重みに掛けた値とを加算した加算値を前記駐車目標位置として求める加重平均手段(S280)と、
    前記駐車枠を形成する路面の段差を前記駐車枠が跨いでいるか否かを段差判定手段(S220)と、を備え、
    前記段差を前記駐車枠が跨いでいると前記段差判定手段が判定した場合には、前記段差を前記駐車枠が跨いでいないと前記段差判定手段が判定した場合に比べて、前記第1の重みが大きく、かつ前記第2の重みが小さくなっていることを特徴とする車載画像処理装置。
    Acquisition means (S110) for acquiring the position information of the vehicle every time the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame on the road surface When,
    Based on the position information for each photographing, the coordinates of the edge point in the photographed image of the camera are converted into the edge point on the common bird's-eye coordinates viewed from the upper side of the own vehicle for each photographing, and this conversion is performed. Voting means (S160) for voting edge points on common bird's-eye coordinates to the Hough space for each shooting;
    Parking frame determination means (S180) for determining whether or not there is a straight line constituting the parking frame in the voting history voted in the Hough space for each shooting.
    Each time the parking frame determining means determines that a straight line constituting the parking frame exists in the voting history, a straight line constituting the parking frame determined by the parking frame determining means as existing in the voting history; and Calculating means (S250) for calculating an instantaneous value of the parking target position of the own vehicle based on the edge point on the common bird's eye coordinate;
    Every time the instantaneous value of the parking target position is calculated by the calculating means, a value obtained by multiplying the instantaneous value calculated this time by the calculating means by a first weight and the instantaneous value previously calculated by the calculating means. Weighted average means (S280) for obtaining an added value obtained by adding the value multiplied by the second weight to the parking target position;
    Step determining means (S220), whether or not the parking frame straddles the step of the road surface forming the parking frame,
    When the step determining means determines that the parking frame is straddling the step, the first weight is greater than when the step determining means determines that the parking frame is not straddling the step. A vehicle-mounted image processing apparatus characterized in that the second weight is small.
  4. 前記投票手段は、
    前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から前記撮影毎に視た鳥瞰座標上のエッジ点に変換する鳥瞰座標変換手段(S130)と、
    前記鳥瞰座標変換手段によって変換される前記撮影毎の鳥瞰座標上のエッジ点を前記撮影毎の位置情報に対応付けるように前記撮影毎の鳥瞰座標上のエッジ点を変換して、前記共通の鳥瞰座標上のエッジ点を取得する座標変換手段(S140)と、を備えることを特徴とする請求項1ないし3のいずれか1つに記載の車載画像処理装置。
    The voting means is
    Bird's-eye coordinate conversion means (S130) for converting the coordinates of the edge point in the photographed image of the camera into the edge point on the bird's-eye coordinate viewed from the upper side of the own vehicle every time of photographing;
    The common bird's-eye coordinates are converted by converting the edge points on the bird's-eye coordinates for each photographing so that the edge points on the bird's-eye coordinates for each photographing converted by the bird's-eye coordinate conversion means correspond to the position information for each photographing. The vehicle-mounted image processing apparatus according to any one of claims 1 to 3, further comprising coordinate conversion means (S140) for acquiring an upper edge point.
JP2013014527A 2013-01-29 2013-01-29 In-vehicle image processing device Active JP5958366B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013014527A JP5958366B2 (en) 2013-01-29 2013-01-29 In-vehicle image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013014527A JP5958366B2 (en) 2013-01-29 2013-01-29 In-vehicle image processing device

Publications (2)

Publication Number Publication Date
JP2014146182A true JP2014146182A (en) 2014-08-14
JP5958366B2 JP5958366B2 (en) 2016-07-27

Family

ID=51426396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013014527A Active JP5958366B2 (en) 2013-01-29 2013-01-29 In-vehicle image processing device

Country Status (1)

Country Link
JP (1) JP5958366B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794720A (en) * 2015-05-04 2015-07-22 成都唐源电气有限责任公司 Method and system for positioning steady ears in catenary images
US20170177956A1 (en) * 2015-12-18 2017-06-22 Fujitsu Limited Detection apparatus and method for parking space, and image processing device
US9731764B2 (en) 2014-12-03 2017-08-15 Hyundai Mobis Co., Ltd. Automatic parking controlling apparatus and method of vehicle
CN110544386A (en) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 parking space identification method and device and storage medium
US10949686B2 (en) 2018-12-14 2021-03-16 Denso Ten Limited Image processing device and image processing method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102798A (en) * 2006-10-11 2007-04-19 Denso Corp Vehicle circumference monitoring system
JP2008269139A (en) * 2007-04-18 2008-11-06 Sanyo Electric Co Ltd Drive support system and vehicle
JP2009290788A (en) * 2008-05-30 2009-12-10 Toyota Motor Corp Parking support device
JP2009298385A (en) * 2008-06-17 2009-12-24 Honda Motor Co Ltd Device for assisting parking
JP2010025632A (en) * 2008-07-16 2010-02-04 Denso Corp Road surface monitoring device and suspension control device
JP2011066657A (en) * 2009-09-17 2011-03-31 Suzuki Motor Corp Device and method for switching back image display
JP2011126433A (en) * 2009-12-18 2011-06-30 Suzuki Motor Corp Parking support device
JP2013001366A (en) * 2011-06-22 2013-01-07 Nissan Motor Co Ltd Parking support device and parking support method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102798A (en) * 2006-10-11 2007-04-19 Denso Corp Vehicle circumference monitoring system
JP2008269139A (en) * 2007-04-18 2008-11-06 Sanyo Electric Co Ltd Drive support system and vehicle
JP2009290788A (en) * 2008-05-30 2009-12-10 Toyota Motor Corp Parking support device
JP2009298385A (en) * 2008-06-17 2009-12-24 Honda Motor Co Ltd Device for assisting parking
JP2010025632A (en) * 2008-07-16 2010-02-04 Denso Corp Road surface monitoring device and suspension control device
JP2011066657A (en) * 2009-09-17 2011-03-31 Suzuki Motor Corp Device and method for switching back image display
JP2011126433A (en) * 2009-12-18 2011-06-30 Suzuki Motor Corp Parking support device
JP2013001366A (en) * 2011-06-22 2013-01-07 Nissan Motor Co Ltd Parking support device and parking support method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016018947; 水越 俊喜、外3名: '"魚眼カメラシステムによる鳥瞰図作成と車線検出"' 電子情報通信学会2012年総合大会講演論文集 情報・システム2 , 20120306, p.71, 社団法人電子情報通信学会 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9731764B2 (en) 2014-12-03 2017-08-15 Hyundai Mobis Co., Ltd. Automatic parking controlling apparatus and method of vehicle
CN104794720A (en) * 2015-05-04 2015-07-22 成都唐源电气有限责任公司 Method and system for positioning steady ears in catenary images
CN104794720B (en) * 2015-05-04 2017-11-21 成都唐源电气股份有限公司 A kind of method and system that registration clamp is oriented in net image is contacted
US20170177956A1 (en) * 2015-12-18 2017-06-22 Fujitsu Limited Detection apparatus and method for parking space, and image processing device
CN106897655A (en) * 2015-12-18 2017-06-27 富士通株式会社 The detection means on parking stall, method and image processing equipment
US10949686B2 (en) 2018-12-14 2021-03-16 Denso Ten Limited Image processing device and image processing method
CN110544386A (en) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 parking space identification method and device and storage medium

Also Published As

Publication number Publication date
JP5958366B2 (en) 2016-07-27

Similar Documents

Publication Publication Date Title
JP5958366B2 (en) In-vehicle image processing device
JP5804185B2 (en) Moving object position / orientation estimation apparatus and moving object position / orientation estimation method
JP4052291B2 (en) Image processing apparatus for vehicle
JP6377970B2 (en) Parallax image generation apparatus and parallax image generation method
JP2015179063A (en) Parallax value derivation device, apparatus control system, moving body, robot, parallax value derivation method and program
JP2020064046A (en) Vehicle position determining method and vehicle position determining device
JP2016013793A (en) Image display device and image display method
JP6396729B2 (en) Three-dimensional object detection device
JP6543935B2 (en) Parallel value deriving device, device control system, mobile object, robot, parallel value deriving method, and program
JP5849942B2 (en) In-vehicle image processing device
JP5539250B2 (en) Approaching object detection device and approaching object detection method
KR102056147B1 (en) Registration method of distance data and 3D scan data for autonomous vehicle and method thereof
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
EP3051494A1 (en) Method for determining an image depth value depending on an image region, camera system and motor vehicle
JP2012158227A (en) Image processor, parking control system, and image processing method
JP5874411B2 (en) Vehicle periphery monitoring device
US20170259830A1 (en) Moving amount derivation apparatus
JP5330341B2 (en) Ranging device using in-vehicle camera
JP2013148355A (en) Vehicle position calculation device
JP6458577B2 (en) Image ranging device
JP5924053B2 (en) Parking assistance device
JP5832850B2 (en) Lane monitoring system and lane monitoring method
JP2001116545A (en) Distance image calculator
JP2016021712A (en) Image processing system and operation support system
EP3633619B1 (en) Position detection apparatus and position detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150514

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160606

R150 Certificate of patent or registration of utility model

Ref document number: 5958366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250