JP2014126921A - In-vehicle image processing apparatus - Google Patents

In-vehicle image processing apparatus Download PDF

Info

Publication number
JP2014126921A
JP2014126921A JP2012281291A JP2012281291A JP2014126921A JP 2014126921 A JP2014126921 A JP 2014126921A JP 2012281291 A JP2012281291 A JP 2012281291A JP 2012281291 A JP2012281291 A JP 2012281291A JP 2014126921 A JP2014126921 A JP 2014126921A
Authority
JP
Japan
Prior art keywords
vehicle
parking frame
straight line
coordinates
hough space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012281291A
Other languages
Japanese (ja)
Other versions
JP5849942B2 (en
Inventor
Osamu Shimomura
修 下村
Naoteru Kawasaki
直輝 川嵜
Kazuhisa Ishimaru
和寿 石丸
Hidenori Tanaka
秀典 田中
Original Assignee
Nippon Soken Inc
株式会社日本自動車部品総合研究所
Denso Corp
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Soken Inc, 株式会社日本自動車部品総合研究所, Denso Corp, 株式会社デンソー filed Critical Nippon Soken Inc
Priority to JP2012281291A priority Critical patent/JP5849942B2/en
Publication of JP2014126921A publication Critical patent/JP2014126921A/en
Application granted granted Critical
Publication of JP5849942B2 publication Critical patent/JP5849942B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an in-vehicle image processing apparatus 1 which decides a target parking position.SOLUTION: A microcomputer 30 acquires position information of a vehicle 50 every time a CCD camera 10 images the vehicle traveling near a parking frame, converts coordinates of an edge point at every imaging so as to associate the coordinates of the edge point in the captured image with the position information on the basis of the position information obtained at every imaging, votes the edge point on the coordinates to a common Hough space at every conversion, and detects an end point of a parking space on the side of the vehicle 50 for each straight line, on the basis of the four straight lines indicating the parking space and the coordinate of the edge point obtained at each imaging when the four straight line indicating the parking space can be detected from a vote history for each vote. On the basis of the end pont of each straight line, a target parking position of the vehicle 50 is decided.

Description

本発明は、車載画像処理装置に関するものである。   The present invention relates to an in-vehicle image processing apparatus.
従来、駐車支援装置用の画像処理装置では、バックカメラにより撮影された後方画像からエッジを抽出し、このエッジを抽出した画像を俯瞰画像に変換してこの変換時に俯瞰画像上の各エッジ点に対応するエッジ抽出画像上のエッジ点の個数を記録し、さらに上記俯瞰画像からρ−θ空間への投票値を用いてハフ変換により駐車枠を示す直線を検出するものがある(特許文献1参照)。   Conventionally, in an image processing device for a parking assistance device, an edge is extracted from a rear image taken by a back camera, and the image obtained by extracting the edge is converted into an overhead image, and at the time of this conversion, each edge point on the overhead image is converted to each edge point. There is one that records the number of edge points on the corresponding edge extracted image and further detects a straight line indicating a parking frame by Hough transform using a vote value from the overhead image to the ρ-θ space (see Patent Document 1). ).
特開2012−118656号公報JP 2012-118656 A
上記駐車支援装置用の制御装置では、俯瞰画像からρ−θ空間への投票値を用いてハフ変換によって駐車枠を構成する直線を検出することができるものの、この検出では、駐車枠を構成する直線が延びる方向が分かるだけで、駐車枠内の車両の駐車目標位置を決めることができない。   In the control device for the parking assist device, a straight line constituting the parking frame can be detected by the Hough transform using the vote value from the overhead image to the ρ-θ space. In this detection, the parking frame is constituted. The parking target position of the vehicle in the parking frame cannot be determined only by knowing the direction in which the straight line extends.
本発明は上記点に鑑みて、駐車枠を示す直線を用いて、駐車枠内の車両の駐車目標位置を決めるようにした車載画像処理装置を提供することを目的とする。   In view of the above points, an object of the present invention is to provide an in-vehicle image processing apparatus that uses a straight line indicating a parking frame to determine a parking target position of the vehicle in the parking frame.
上記目的を達成するため、請求項1に記載の発明では、自車が駐車枠の付近を走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ(10)が撮影する毎に前記自車の位置情報を取得する取得手段(S110)と、
前記カメラの撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記撮影毎の前記位置情報に対応付けるように前記撮影画像中のエッジ点の座標を前記撮影毎に変換し、この変換毎に前記変換された座標上のエッジ点を共通のハフ空間に投票して、この投票毎に前記投票の履歴を第1メモリ(20)に記憶させる投票手段(S150、S160、S170)と、
前記第1メモリに記憶される前記投票毎の履歴に前記駐車枠を示す4本の直線が存在するか否かを判定する直線判定手段(S260)と、
前記位置情報に対応付けられた前記撮影毎の前記エッジ点の座標を第2メモリ(20)に記憶させる座標記憶手段(S141)と、
前記投票毎の履歴に前記駐車枠を示す4本の直線が存在すると前記直線判定手段が判定したとき、前記投票毎の履歴に存在すると前記直線判定手段が判定した前記駐車枠を示す4本の直線と前記第2メモリに記憶される前記撮影毎の前記エッジ点の座標とに基づいて、前記駐車枠のうち前記自車側の端点を前記直線毎に検出する端点検出手段(S270)と、
前記端点検出手段によって検出される前記直線毎の端点に基づいて、前記自車の駐車目標位置を決定する決定手段(S280)と、を備えることを特徴としている。
In order to achieve the above object, according to the first aspect of the present invention, the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame, Acquisition means (S110) for acquiring position information of the own vehicle;
The coordinates of the edge points in the photographed image are converted for each photographing so that the coordinates of the edge points in the photographed image of the camera are associated with the positional information for each photographing based on the positional information for each photographing of the camera. The voting means (S150, S160, S160, S160, voting edge points on the converted coordinates for each conversion to a common Hough space and storing the voting history in the first memory (20) for each vote. S170)
Straight line determination means (S260) for determining whether or not four straight lines indicating the parking frame exist in the history for each vote stored in the first memory;
Coordinate storage means (S141) for storing the coordinates of the edge point for each photographing associated with the position information in a second memory (20);
When the straight line determining means determines that there are four straight lines indicating the parking frame in the history for each vote, the four straight lines indicating the parking frame determined by the straight line determining means to be present in the history for each vote. End point detection means (S270) for detecting, for each straight line, an end point on the vehicle side of the parking frame based on a straight line and the coordinates of the edge point for each photographing stored in the second memory;
And determining means (S280) for determining a parking target position of the host vehicle based on the end points for each straight line detected by the end point detecting means.
したがって、駐車枠を示す直線を用いて、駐車枠内の車両の駐車目標位置を決めることができる。   Therefore, the parking target position of the vehicle in the parking frame can be determined using a straight line indicating the parking frame.
なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis of each means described in this column and the claim shows the correspondence with the specific means as described in embodiment mentioned later.
本発明の第1実施形態における駐車支援装置の構成を示す図である。It is a figure which shows the structure of the parking assistance apparatus in 1st Embodiment of this invention. 図1の駐車支援装置の作動を説明するための図である。It is a figure for demonstrating the action | operation of the parking assistance apparatus of FIG. 図1のハフ空間の撮影領域を説明するための図である。It is a figure for demonstrating the imaging | photography area | region of the Hough space of FIG. 図1のマイクロコンピュータが実行する駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process which the microcomputer of FIG. 1 performs. 図1のマイクロコンピュータが実行する駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process which the microcomputer of FIG. 1 performs. 図4、図5の駐車枠抽出処理で検出される駐車枠を示す4本の直線を示す図である。It is a figure which shows four straight lines which show the parking frame detected by the parking frame extraction process of FIG. 4, FIG. 図5の駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process of FIG. 本発明の第2実施形態における駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process in 2nd Embodiment of this invention. 第2実施形態における駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process in 2nd Embodiment. 本発明の第3実施形態における駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process in 3rd Embodiment of this invention. 第3実施形態における駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process in 3rd Embodiment. 本発明の第4実施形態における駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process in 4th Embodiment of this invention. 第4実施形態における駐車枠抽出処理の一部を示すフローチャートである。It is a flowchart which shows a part of parking frame extraction process in 4th Embodiment.
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、説明の簡略化を図るべく、図中、同一符号を付してある。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following embodiments, parts that are the same or equivalent to each other are given the same reference numerals in the drawings in order to simplify the description.
(第1実施形態)
図1に本発明の車載画像処理装置が適用される駐車支援装置1の構成を示す。駐車支援装置1は、CCDカメラ10、メモリ20、およびマイクロコンピュータ30から構成されている。
(First embodiment)
FIG. 1 shows a configuration of a parking assist apparatus 1 to which the in-vehicle image processing apparatus of the present invention is applied. The parking assist device 1 includes a CCD camera 10, a memory 20, and a microcomputer 30.
CCDカメラ10は、自車の後方に配置されて、自車の後方の景色を撮影するリアカメラである。自車とは、駐車支援装置1が搭載されている自動車のことである。メモリ20は、マイクロコンピュータ30のコンピュータプログラムを記憶するとともに、マイクロコンピュータ30がコンピュータプログラムを実行する際に生じるデータを保存するバッファとして機能する。なお、本実施形態のメモリ20は、特許請求の範囲に記載の第1のメモリおよび第2のメモリを構成している。   The CCD camera 10 is a rear camera that is arranged behind the host vehicle and captures the scenery behind the host vehicle. The own vehicle is a vehicle on which the parking assistance device 1 is mounted. The memory 20 stores a computer program of the microcomputer 30 and functions as a buffer for storing data generated when the microcomputer 30 executes the computer program. Note that the memory 20 of the present embodiment constitutes a first memory and a second memory described in the claims.
マイクロコンピュータ30は、操舵角センサ40、車速センサ41、および駐車開始スイッチ42、および自動変速機43のそれぞれの出力信号を用いて、CCDカメラ10の撮影画像からハフ変換を用いて駐車枠を示す4本の直線を抽出するとともに、この抽出される4本の直線に基づいて自車の駐車目標位置を決定する駐車目標位置決定処理を実行する。   The microcomputer 30 uses the output signals of the steering angle sensor 40, the vehicle speed sensor 41, the parking start switch 42, and the automatic transmission 43 to indicate the parking frame from the captured image of the CCD camera 10 using the Hough transform. The four straight lines are extracted, and a parking target position determining process for determining the parking target position of the own vehicle based on the four extracted straight lines is executed.
操舵角センサ40は、自車の前輪の操舵角を検出するセンサである。車速センサ41は、自車の速度を検出するセンサである。駐車開始スイッチ42は、駐車目標位置決定処理の実行開始を指示する際に乗員によって操作されるスイッチである。   The steering angle sensor 40 is a sensor that detects the steering angle of the front wheel of the host vehicle. The vehicle speed sensor 41 is a sensor that detects the speed of the host vehicle. The parking start switch 42 is a switch operated by the occupant when instructing the start of execution of the parking target position determination process.
自動変速機43は、車速、エンジンの回転速度、運転者の操作などに応じて変速レンジを切り替えるものである。自動変速機43は、車速やエンジンの回転速度に応じて変速レンジを自動的に設定し、この設定されている変速レンジを示す出力信号を出力する。スピーカ44は、駐車枠を抽出した旨を報知音として出力する。   The automatic transmission 43 switches the shift range according to the vehicle speed, engine rotation speed, driver's operation, and the like. The automatic transmission 43 automatically sets a shift range according to the vehicle speed and the engine rotation speed, and outputs an output signal indicating the set shift range. The speaker 44 outputs a notification sound indicating that the parking frame has been extracted.
次に、本実施形態の作動の具体例として、図2の自車50が駐車場の路上の駐車枠51の付近をA点からB点に向けて前進する際にCCDカメラ10の撮影画像から駐車場の路上の駐車枠51を抽出する例について説明する。   Next, as a specific example of the operation of the present embodiment, when the own vehicle 50 of FIG. 2 advances in the vicinity of the parking frame 51 on the road of the parking lot from the point A to the point B, from the photographed image of the CCD camera 10. The example which extracts the parking frame 51 on the street of a parking lot is demonstrated.
駐車枠51は、路上においてほぼ平行に配置される2本の白線51a、51bからなるものであって、車両の駐車領域を示すものである。図2は、自車50がA点→B点→C点の順に移動して駐車枠51に駐車する例を示している。   The parking frame 51 is composed of two white lines 51a and 51b arranged substantially in parallel on the road, and indicates a parking area of the vehicle. FIG. 2 shows an example in which the own vehicle 50 moves in the order of point A → B point → C point and parks in the parking frame 51.
まず、本実施形態の駐車枠抽出処理の詳細の説明に先立って、本実施形態の駐車枠抽出処理で用いるハフ空間について説明する。   First, prior to the detailed description of the parking frame extraction process of the present embodiment, the Hough space used in the parking frame extraction process of the present embodiment will be described.
まず、ハフ空間とは、直線を表すための3次元座標のことである。具体的には、X軸をρとし、Y軸をθとし、Z軸をエッジ点の投票数とする空間である。   First, the Hough space is a three-dimensional coordinate for representing a straight line. Specifically, it is a space where the X axis is ρ, the Y axis is θ, and the Z axis is the number of votes of edge points.
ここで、エッジ点とは、CCDカメラ10の撮影画像から抽出されるエッジ点のことである。ρおよびθは、二次元のXY座標上の点(xi、yi)を通る直線Aを極座標表現にてρ=xi・cosθ+yi・sinθと表すために用いられるパラメータである。   Here, the edge point is an edge point extracted from a captured image of the CCD camera 10. ρ and θ are parameters used to express the straight line A passing through the point (xi, yi) on the two-dimensional XY coordinates as ρ = xi · cos θ + yi · sin θ in the polar coordinate representation.
ρは、直線Aへ原点から下ろした垂線の長さを示す第1パラメータである。θは、X軸と垂線とがなす角度を示す第2パラメータである。本実施形態のハフ空間は、駐車枠51を含む撮影領域が対象となっている。撮影領域とはCCDカメラ10によって撮影される領域のことである。   ρ is a first parameter indicating the length of a perpendicular line drawn from the origin to the straight line A. θ is a second parameter indicating the angle formed by the X axis and the perpendicular. The Hough space of the present embodiment is targeted for the shooting area including the parking frame 51. The shooting area is an area shot by the CCD camera 10.
本実施形態の駐車枠抽出処理では、複数のハフ空間が設定される。   In the parking frame extraction process of the present embodiment, a plurality of Hough spaces are set.
具体的には、自車50が所定距離、進行する毎に自車50の位置情報に対応する撮影領域を対象とするハフ空間を設定する。撮影領域とは、CCDカメラ10により撮影される領域のことである。このことにより、複数のハフ空間の撮影領域が、自車50の進行方向に所定距離毎に並べられることになる。複数のハフ空間の撮影領域は、それぞれ、自車50の位置から自車50の進行方向に対する直交方向に伸びる長方形状(短冊状)に設定されている。   Specifically, every time the host vehicle 50 travels a predetermined distance, a Hough space is set for the imaging region corresponding to the position information of the host vehicle 50. The shooting area is an area shot by the CCD camera 10. As a result, the imaging areas of the plurality of Hough spaces are arranged at predetermined distances in the traveling direction of the host vehicle 50. The imaging regions of the plurality of Hough spaces are each set in a rectangular shape (strip shape) extending from the position of the host vehicle 50 in a direction orthogonal to the traveling direction of the host vehicle 50.
ここで、所定距離は、ハフ空間を設定する走行距離の基準値であって、例えば、1メートルである。所定距離は短くなるほど、順次設定されるハフ空間の個数が増えるため、ハフ空間に対する投票履歴を保存するメモリ20の容量を大きくすることが必要になる。このため、使用されるメモリ20の容量に応じて、所定距離が設定される。   Here, the predetermined distance is a reference value of the travel distance for setting the Hough space, and is, for example, 1 meter. As the predetermined distance becomes shorter, the number of Hough spaces that are sequentially set increases, so it is necessary to increase the capacity of the memory 20 that stores the voting history for the Hough space. For this reason, the predetermined distance is set according to the capacity of the memory 20 to be used.
本実施形態では、複数のハフ空間のうち互いに隣接する2つのハフ空間の撮影領域は、互いにオーバーラップするように設定されている。   In the present embodiment, the imaging areas of two adjacent Hough spaces among the plurality of Hough spaces are set to overlap each other.
図3では、自車50がA点からB点に向けて前進する際にハフ空間N、ハフ空間N+1、ハフ空間N+2、ハフ空間N+3を順次設定する例を示している。ハフ空間Nおよびハフ空間N+1は、互いの撮影領域がオーバーラップする。ハフ空間N+1およびハフ空間N+2は、互いの撮影領域がオーバーラップする。ハフ空間N+2およびハフ空間N+3は、互いの撮影領域がオーバーラップする。   FIG. 3 shows an example in which the Hough space N, the Hough space N + 1, the Hough space N + 2, and the Hough space N + 3 are sequentially set when the host vehicle 50 moves forward from the A point toward the B point. In the Hough space N and the Hough space N + 1, the shooting areas overlap each other. In the Hough space N + 1 and the Hough space N + 2, the shooting areas overlap each other. In the Hough space N + 2 and the Hough space N + 3, the shooting areas overlap each other.
ここで、Nは1以上の整数である。ハフ空間Nは、N番目に設定されるハフ空間を示し、ハフ空間N+1は、N+1番目に設定されるハフ空間を示し、ハフ空間N+2は、N+2番目に設定されるハフ空間を示し、ハフ空間N+3は、N+3番目に設定されるハフ空間を示している。   Here, N is an integer of 1 or more. The Hough space N indicates the Nth set Hough space, the Hough space N + 1 indicates the N + 1th set Hough space, the Hough space N + 2 indicates the N + 2 set Hough space, and the Hough space. N + 3 indicates a Hough space set as the (N + 3) th.
次に、本実施形態の駐車枠抽出処理の詳細について説明する。   Next, the detail of the parking frame extraction process of this embodiment is demonstrated.
マイクロコンピュータ30は、図4、図5のフローチャートにしたがって、駐車枠抽出処理を実行する。駐車枠抽出処理の実行は、駐車開始スイッチ42をオンしたときに開始される。   The microcomputer 30 executes a parking frame extraction process according to the flowcharts of FIGS. The execution of the parking frame extraction process is started when the parking start switch 42 is turned on.
まず、ステップS100において、CCDカメラ10を制御して後方の景色を撮影させる。このとき、CCDカメラ10が、自車50の真後ろの景色、右後方の景色、および左後方の景色を含む後方画像を撮影することになる。   First, in step S100, the CCD camera 10 is controlled to photograph a rear scene. At this time, the CCD camera 10 captures a rear image including the scenery directly behind the host vehicle 50, the right rear scenery, and the left rear scenery.
次に、ステップS110において、操舵角センサ40の出力信号および車速センサ41の出力信号に基づいて、自車50の位置情報(すなわち、CCDカメラ10の撮影位置)を算出する。   Next, in step S110, based on the output signal of the steering angle sensor 40 and the output signal of the vehicle speed sensor 41, the position information of the own vehicle 50 (that is, the shooting position of the CCD camera 10) is calculated.
次に、ステップS120において、CCDカメラ10の撮影画像からエッジ点を抽出する。本実施形態のエッジ点とは、CCDカメラ10の撮影画像のうち輝度の変化を示す点である。このように撮影画像から抽出された複数のエッジ点に対してトップビュー変換を施す(ステップS130)。つまり、複数のエッジ点を自車50の上側から視た鳥瞰座標上の複数のエッジ点に座標変換する。すなわち、撮影画像毎に複数のエッジ点を鳥瞰座標上の複数のエッジ点に座標変換することになる。   Next, in step S120, edge points are extracted from the captured image of the CCD camera 10. The edge point in the present embodiment is a point indicating a change in luminance in the captured image of the CCD camera 10. Thus, top view conversion is performed on the plurality of edge points extracted from the photographed image (step S130). That is, coordinate conversion is performed on the plurality of edge points to the plurality of edge points on the bird's-eye view coordinates viewed from the upper side of the host vehicle 50. That is, coordinate conversion of a plurality of edge points into a plurality of edge points on the bird's eye coordinate for each captured image is performed.
ここで、後述するように、駐車枠51の検出には複数の撮影画像が用いられる。複数の撮影画像は、撮影画像毎にその撮影位置が異なる。これに加えて、撮影毎の鳥瞰座標はそれぞれ独立して設定されている。このため、撮影画像毎の鳥瞰座標の位置関係が定まっていない。   Here, as will be described later, a plurality of captured images are used to detect the parking frame 51. The shooting positions of the plurality of shot images are different for each shot image. In addition to this, the bird's-eye coordinates for each photographing are set independently. For this reason, the positional relationship of bird's-eye coordinates for each captured image is not fixed.
そこで、次のステップS140において、自車51の位置情報(つまり、CCDカメラ10の撮影位置)を用いて上記鳥瞰座標をCCDカメラ10の撮影位置に対応付けるように鳥瞰座標を撮影毎に座標変換する。つまり、上記鳥瞰座標上の複数のエッジ点を撮影画像毎に共通の鳥瞰座標上に写像することになる。このことにより、撮影画像毎の鳥瞰座標の位置関係を撮影画像毎の位置情報を用いて設定することができる。   Accordingly, in the next step S140, the bird's-eye coordinates are coordinate-converted for each photographing so that the bird's-eye coordinates are associated with the photographing positions of the CCD camera 10 using the position information of the own vehicle 51 (ie, the photographing position of the CCD camera 10). . That is, the plurality of edge points on the bird's-eye coordinates are mapped onto the common bird's-eye coordinates for each captured image. Thereby, the positional relationship of the bird's-eye coordinates for each captured image can be set using the positional information for each captured image.
次に、このようにステップS140において座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ(第2メモリ)20に保存する処理(ステップS141〜142)を実施する。   Next, the process (steps S141 to 142) of storing the coordinates of the plurality of edge points on the bird's eye coordinate coordinate-transformed in step S140 in the memory (second memory) 20 is performed.
具体的には、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ20に保存する(ステップS141)。その後、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量が規定容量以上であるか否かを判定する(ステップS142)。このとき、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量が規定容量未満であるときには、ステップS142でNOと判定する。一方、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量が規定容量以上であるときには、ステップS142でYESと判定する。次のステップS143において、メモリ20に保存される撮影毎の複数のエッジ点の座標のうち最も古いタイミングの撮影に対応する複数のエッジ点の座標を初期化する。   Specifically, the coordinates of a plurality of edge points on the bird's-eye view coordinates transformed in step S140 are stored in the memory 20 (step S141). Thereafter, it is determined whether or not the storage capacity for storing the coordinates of the plurality of edge points on the bird's-eye coordinates in the memory 20 is equal to or greater than a prescribed capacity (step S142). At this time, if the storage capacity of the memory 20 in which the coordinates of the plurality of edge points on the bird's eye coordinates are stored is less than the prescribed capacity, NO is determined in step S142. On the other hand, when the storage capacity for storing the coordinates of the plurality of edge points on the bird's-eye view coordinates in the memory 20 is greater than or equal to the specified capacity, YES is determined in step S142. In the next step S143, the coordinates of a plurality of edge points corresponding to the shooting at the oldest timing among the coordinates of the plurality of edge points for each shooting stored in the memory 20 are initialized.
また、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点をハフ空間1とハフ空間2とに投票する(ステップS150、S160)。つまり、前記座標変換された鳥瞰座標上の複数のエッジ点をハフ空間1とハフ空間2とに写像することになる。ハフ空間1は、1番目に設定されるハフ空間である。ハフ空間2は、2番目に設定されるハフ空間である。次に、このようにハフ空間1およびハフ空間2に投票された投票履歴をメモリ20に記憶させる(ステップS170)。   In addition, a plurality of edge points on the bird's eye coordinate converted in step S140 are voted for Hough space 1 and Hough space 2 (Steps S150 and S160). That is, a plurality of edge points on the bird's-eye coordinates after the coordinate conversion are mapped to the Hough space 1 and the Hough space 2. The Hough space 1 is the first set Hough space. The Hough space 2 is a Hough space set second. Next, the voting history voted for the Hough space 1 and the Hough space 2 is stored in the memory 20 (step S170).
次に、ステップS180において、駐車開始スイッチ42がオンされてから、自車50が所定距離(例えば、1メートル)以上走行したか否かを判定する。   Next, in step S180, after the parking start switch 42 is turned on, it is determined whether or not the vehicle 50 has traveled more than a predetermined distance (for example, 1 meter).
具体的には、操舵角センサ40の出力信号および車速センサ41の出力信号に基づいて自車50の位置情報を繰り返し求め、この繰り返し求められる位置情報から自車50の走行距離を求める。そして、走行距離が所定距離未満であるときには、NOと判定して、ステップS100に戻る。   Specifically, the position information of the own vehicle 50 is repeatedly obtained based on the output signal of the steering angle sensor 40 and the output signal of the vehicle speed sensor 41, and the travel distance of the own vehicle 50 is obtained from the position information obtained repeatedly. When the travel distance is less than the predetermined distance, it is determined as NO and the process returns to step S100.
その後、走行距離が所定距離以上になるまで、ステップS100、S110、S120、S130、S140〜S143、S150、S160、S170、およびステップS180のNO判定を繰り返す。   Thereafter, the NO determinations of steps S100, S110, S120, S130, S140 to S143, S150, S160, S170, and step S180 are repeated until the travel distance becomes equal to or greater than the predetermined distance.
このため、CCDカメラ10の撮影毎に撮影画像から複数のエッジ点を抽出し(ステップS120)、この撮影毎にこの抽出した複数のエッジ点に対してトップビュー変換を施し(ステップS130)、このトップビュー変換した複数のエッジ点の鳥瞰座標をCCDカメラ10の撮影位置に対応付けるように当該鳥瞰座標を撮影毎に座標変換し(ステップS140)、この座標変換された鳥瞰座標上の複数のエッジ点を撮影毎に保存する(ステップS141)。メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量が規定容量以上であるか否かを撮影毎に判定する(ステップS142)
ここで、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量が規定容量以上であるときには、ステップS142でYESと判定する。これに伴い、メモリ20に保存される撮影毎の複数のエッジ点の座標のうち最も古いタイミングの撮影に対応する複数のエッジ点の座標を初期化する(ステップS143)。
For this reason, a plurality of edge points are extracted from the photographed image every time the CCD camera 10 shoots (step S120), and top view conversion is performed on the extracted plurality of edge points for each shoot (step S130). The bird's-eye coordinates are converted for each image so that the bird's-eye coordinates of the plurality of edge points subjected to the top-view conversion correspond to the imaging positions of the CCD camera 10 (step S140), and the plurality of edge points on the bird's-eye coordinates after the coordinate conversion are converted. Is stored for each photographing (step S141). Whether or not the storage capacity for storing the coordinates of the plurality of edge points on the bird's-eye view coordinates in the memory 20 is equal to or greater than the prescribed capacity is determined for each image capture (step S142).
Here, when the storage capacity in which the coordinates of the plurality of edge points on the bird's eye coordinates in the memory 20 are stored is equal to or larger than the specified capacity, YES is determined in step S142. Accordingly, the coordinates of a plurality of edge points corresponding to the shooting at the oldest timing among the coordinates of the plurality of edge points for each shooting stored in the memory 20 are initialized (step S143).
さらに、鳥瞰座標上の複数のエッジ点を撮影毎にハフ空間1およびハフ空間2に対して投票し(ステップS150、S160)、この投票毎に投票履歴をメモリ20に保存する(S170)。   Further, a plurality of edge points on the bird's-eye view coordinates are voted for the Hough space 1 and the Hough space 2 for each photographing (steps S150 and S160), and the voting history is stored in the memory 20 for each vote (S170).
その後、走行距離が所定距離以上になると、ステップS180でYESと判定する。これに伴い、ステップS190に進んで、ステップS150、160で投票対象となるハフ空間の番号をそれぞれインクリメントする。すなわち、自車50の位置に対応するハフ空間3を新たに設定することになる。このため、ステップS150で投票対象となるハフ空間をハフ空間2として、ステップS160で投票対象となるハフ空間をハフ空間3とする。このとき、ハフ空間3に対応する自車50の位置情報をメモリ20に記憶させる。   Thereafter, when the travel distance is equal to or greater than the predetermined distance, YES is determined in step S180. Accordingly, the process proceeds to step S190, and the numbers of the Hough spaces to be voted are incremented in steps S150 and 160, respectively. That is, the Hough space 3 corresponding to the position of the host vehicle 50 is newly set. Therefore, the Hough space to be voted in Step S150 is referred to as Hough space 2, and the Hough space to be voted in Step S160 is referred to as Hough space 3. At this time, position information of the vehicle 50 corresponding to the Hough space 3 is stored in the memory 20.
その後、ステップS200において、メモリ20のうち投票履歴が記憶される記憶容量が規定容量以上か否かを判定する。このとき、メモリ20のうち投票履歴が記憶される記憶容量が規定容量未満であるときには、ステップS200でNOと判定して、次の図5のステップS220に進む。このとき、変速機44がリバースレンジに設定されているか否かについて変速機44の出力信号に基づいて判定する。このとき、変速機44がリバースレンジ以外のレンジに設定されているときには、自車50を後退し始めていないとして、ステップS220においてNOと判定して、ステップS100に戻る。   Thereafter, in step S200, it is determined whether or not the storage capacity of the memory 20 in which the voting history is stored is greater than or equal to the specified capacity. At this time, when the storage capacity of the memory 20 in which the voting history is stored is less than the prescribed capacity, it is determined as NO in Step S200, and the process proceeds to Step S220 in FIG. At this time, whether or not the transmission 44 is set to the reverse range is determined based on the output signal of the transmission 44. At this time, when the transmission 44 is set to a range other than the reverse range, it is determined that the host vehicle 50 has not started to move backward, and thus NO is determined in step S220, and the process returns to step S100.
その後、ステップS100、S110、S120、S130、S140〜S143、S150、S160、S170のそれぞれの処理を実行してからステップS180に進む。このステップS180では、前回にステップS1800でYESと判定してから所定距離(例えば、1メートル)以上走行したか否かを判定する。   Then, after each process of step S100, S110, S120, S130, S140-S143, S150, S160, S170 is performed, it progresses to step S180. In step S180, it is determined whether or not the vehicle has traveled more than a predetermined distance (for example, 1 meter) since the previous determination in step S1800 was YES.
前回にステップS180でYESと判定してから自車50が走行した走行距離が所定距離未満であるときには、今回のステップS180でNOと判定して、ステップS100に戻る。   If the travel distance traveled by the vehicle 50 is less than the predetermined distance since it was previously determined as YES in step S180, it is determined as NO in step S180 and the process returns to step S100.
その後、前回にステップS180でYESと判定してから自車50が走行した走行距離が所定距離未満である限り、ステップS100、S110、S120、S130、S140〜S143、S150、S160、S170のそれぞれの処理、およびステップS180のNO判定処理を繰り返すことになる。   Thereafter, as long as the travel distance that the vehicle 50 has traveled is less than the predetermined distance since the previous determination in step S180 was YES, each of steps S100, S110, S120, S130, S140 to S143, S150, S160, and S170 is performed. The process and the NO determination process in step S180 are repeated.
このため、上記ステップS160で座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ20にCCDカメラ10の撮影毎に保存するとともに、上記鳥瞰座標上の複数のエッジ点をハフ空間2およびハフ空間3に対してCCDカメラ10の撮影毎に投票する(ステップS150、160)。このようにハフ空間2およびハフ空間3に投票された投票履歴をCCDカメラ10の撮影毎にメモリ20に記憶させることになる(ステップS170)。   For this reason, the coordinates of the plurality of edge points on the bird's-eye coordinates converted in step S160 are stored in the memory 20 for each photographing by the CCD camera 10, and the plurality of edge points on the bird's-eye coordinates are stored in the Hough space 2 and A vote is given to the Hough space 3 every time the CCD camera 10 shoots (steps S150 and S160). Thus, the voting history voted for the Hough space 2 and the Hough space 3 is stored in the memory 20 every time the CCD camera 10 is photographed (step S170).
その後、前回にステップS220でYESと判定してから自車50が走行した走行距離が所定距離以上になると、次にステップS180においてYESと判定する。   Thereafter, if the travel distance traveled by the vehicle 50 after the previous determination in step S220 is YES, the determination in step S180 is YES.
次にステップS190において、ステップS150、160で投票対象となるハフ空間の番号をそれぞれインクリメントする。すなわち、自車50の位置に対応するハフ空間4を新たに設定することになる。このため、ステップS150で投票対象となるハフ空間をハフ空間3として、ステップS160で投票対象となるハフ空間をハフ空間4とする。このとき、ハフ空間4に対応する自車50の位置情報をメモリ20に記憶させる。   Next, in step S190, the numbers of the Hough spaces to be voted are incremented in steps S150 and 160, respectively. That is, the Hough space 4 corresponding to the position of the host vehicle 50 is newly set. For this reason, the Hough space to be voted in Step S150 is referred to as Hough space 3, and the Hough space to be voted in Step S160 is referred to as Hough space 4. At this time, the position information of the host vehicle 50 corresponding to the Hough space 4 is stored in the memory 20.
このことにより、ステップS180でYESと判定される回数(以下、単に判定回数という)が2回目であるときには、CCDカメラ10の撮影毎にハフ空間3およびハフ空間4に対して投票し、この投票毎にその投票履歴をメモリ20に記憶させることになる。   Thus, when the number of times YES is determined in step S180 (hereinafter simply referred to as the number of times of determination) is voted for the Hough space 3 and the Hough space 4 every time the CCD camera 10 shoots, this vote The voting history is stored in the memory 20 every time.
その後、ステップS200において、メモリ20のうち投票履歴が記憶される記憶容量が規定容量以上か否かを判定する。このとき、メモリ20のうち投票履歴が記憶される記憶容量が規定容量未満あるときには、ステップS200でNOと判定して、次のステップS220に進む。このとき、変速機44がリバースレンジ以外のレンジに設定されているときには、NOと判定して、ステップS100に戻る。   Thereafter, in step S200, it is determined whether or not the storage capacity of the memory 20 in which the voting history is stored is greater than or equal to the specified capacity. At this time, when the storage capacity of the memory 20 in which the voting history is stored is less than the prescribed capacity, NO is determined in step S200, and the process proceeds to the next step S220. At this time, when the transmission 44 is set to a range other than the reverse range, it is determined as NO, and the process returns to step S100.
このため、次にステップS180でYESと判定するまで、ステップS100、S110、S120、S130、S140〜S143、S150、S160、S170のそれぞれの処理、およびステップS180のNO判定処理を繰り返す。このため、上記ステップS160で座標変換された鳥瞰座標上の複数のエッジ点をCCDカメラ10の撮影毎にメモリ20に保存し(ステップS141〜S143)、かつ上記ステップS160で座標変換された鳥瞰座標上の複数のエッジ点をハフ空間3およびハフ空間4に対してCCDカメラ10の撮影毎に投票する(ステップS150、160)。このようにハフ空間3およびハフ空間4に投票された投票履歴をCCDカメラ10の撮影毎にメモリ20に記憶させることになる(ステップS170)。   Therefore, the processes of steps S100, S110, S120, S130, S140 to S143, S150, S160, and S170 and the NO determination process of step S180 are repeated until it is determined to be YES in step S180. For this reason, a plurality of edge points on the bird's-eye coordinates transformed in step S160 are stored in the memory 20 every time the CCD camera 10 captures (steps S141 to S143), and the bird's-eye coordinates transformed in step S160 are converted. The plurality of upper edge points are voted for the Hough space 3 and the Hough space 4 every time the CCD camera 10 is photographed (Steps S150 and S160). In this way, the voting history voted for the Hough space 3 and the Hough space 4 is stored in the memory 20 every time the CCD camera 10 shoots (step S170).
その後、ステップS180においてYESと判定されて判定回数が3回目になると、次のステップS190において、上述の上記ハフ空間の番号をそれぞれインクリメントする。このため、ステップS150で投票対象となるハフ空間をハフ空間4として、ステップS160で投票対象となるハフ空間をハフ空間5とする。このとき、ハフ空間5に対応する自車50の位置情報をメモリ20に記憶させる。   Thereafter, when YES is determined in step S180 and the number of times of determination is the third time, in the next step S190, the above-mentioned Hough space number is incremented. For this reason, the Hough space to be voted in Step S150 is referred to as Hough space 4, and the Hough space to be voted in Step S160 is referred to as Hough space 5. At this time, the position information of the vehicle 50 corresponding to the Hough space 5 is stored in the memory 20.
その後、ステップS200において、メモリ20のうち投票履歴が記憶される記憶容量が規定容量以上か否かを判定する。このとき、メモリ20のうち投票履歴が記憶される記憶容量が規定容量以上であるときには、ステップS200でYESと判定して、ステップS210に進む。これに伴い、メモリ20において記憶される複数のハフ空間の履歴のうち最も古いタイミングで投票されるハフ空間の履歴を初期化する。例えば、メモリ20において、ハフ空間1、ハフ空間2、ハフ空間3、ハフ空間4のそれぞれの履歴が記憶されている場合には、最も古いタイミングで投票されるハフ空間1の履歴が消去される。   Thereafter, in step S200, it is determined whether or not the storage capacity of the memory 20 in which the voting history is stored is greater than or equal to the specified capacity. At this time, when the storage capacity of the memory 20 in which the voting history is stored is equal to or greater than the specified capacity, YES is determined in step S200, and the process proceeds to step S210. Accordingly, the history of the Hough space voted at the oldest timing among the history of the plurality of Hough spaces stored in the memory 20 is initialized. For example, when the histories of the Hough space 1, the Hough space 2, the Hough space 3, and the Hough space 4 are stored in the memory 20, the history of the Hough space 1 voted at the oldest timing is deleted. .
次のステップS220において、変速機44がリバースレンジ以外のレンジに設定されているとき、NOと判定してステップS100に戻る。その後、ステップS100、S110、S120、S130、S140〜S143の処理を経て、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ20に保存するとともに、上記鳥瞰座標上の複数のエッジ点をハフ空間4およびハフ空間5に対して投票する(ステップS150、S160)。   In the next step S220, when the transmission 44 is set to a range other than the reverse range, NO is determined and the process returns to step S100. Thereafter, through the processing of steps S100, S110, S120, S130, and S140 to S143, the coordinates of a plurality of edge points on the bird's-eye coordinates converted in step S140 are stored in the memory 20, and A plurality of edge points are voted for the Hough space 4 and the Hough space 5 (Steps S150 and S160).
このようにハフ空間4およびハフ空間5に投票された投票履歴をCCDカメラ10の撮影毎にメモリ20に記憶させる(ステップS170)。このとき、メモリ20においてハフ空間1の投票履歴に代えてハフ空間5の投票履歴が記憶されることになる。   Thus, the voting history voted for the Hough space 4 and the Hough space 5 is stored in the memory 20 every time the CCD camera 10 captures the image (Step S170). At this time, the voting history of the Hough space 5 is stored in the memory 20 instead of the voting history of the Hough space 1.
そして、ステップS180のYES判定処理、ステップS190、およびステップS200のNO判定処理を実施すると、ステップS210に移行する。このため、変速機44がリバースレンジ以外のレンジに設定されている限り、ステップS100、S110、S120、S130、S140〜S143、S150、S160、S170、ステップS180のNO判定処理(或いはYES判定処理)、ステップS190、ステップS200のNO判定処理(或いはステップS200のYES判定処理およびステップS210)、およびステップS220のNO判定処理を繰り返す。   And if the YES determination process of step S180, the NO determination process of step S190, and step S200 are implemented, it will transfer to step S210. Therefore, as long as the transmission 44 is set to a range other than the reverse range, the NO determination process (or YES determination process) of steps S100, S110, S120, S130, S140 to S143, S150, S160, S170, and step S180. , Step S190, NO determination processing in Step S200 (or YES determination processing in Step S200 and Step S210), and NO determination processing in Step S220 are repeated.
例えば、判定回数がN−1回であるときには、CCDカメラ10の撮影毎に、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ20に保存し、かつ上記鳥瞰座標上の複数のエッジ点をハフ空間Nとおよびハフ空間N+1に投票する(ステップS150、160)。   For example, when the number of determinations is N−1, the coordinates of a plurality of edge points on the bird's-eye coordinate coordinate-converted in step S140 are stored in the memory 20 every time the CCD camera 10 captures the image, and the bird's-eye coordinate The plurality of upper edge points are voted for Hough space N and Hough space N + 1 (steps S150 and S160).
一方、判定回数がN回であるときには、CCDカメラ10の撮影毎に、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ20に保存し、かつ上記鳥瞰座標上の複数のエッジ点をハフ空間N+1とおよびハフ空間N+2に投票する(ステップS150、S160)。   On the other hand, when the number of determinations is N, the coordinates of a plurality of edge points on the bird's eye coordinate coordinate-converted in step S140 are stored in the memory 20 and captured on the bird's eye coordinate every time the CCD camera 10 captures the image. A plurality of edge points are voted for Hough space N + 1 and Hough space N + 2 (steps S150 and S160).
このように鳥瞰座標上の複数のエッジ点の座標とハフ空間の投票履歴とがメモリ20に記憶される(ステップS170)。   As described above, the coordinates of the plurality of edge points on the bird's eye coordinate and the voting history of the Hough space are stored in the memory 20 (step S170).
例えば、メモリ20において、ハフ空間N−1、ハフ空間N、ハフ空間N+1、ハフ空間N+2のそれぞれの投票履歴が記憶されている場合において、次のステップS180でYESと判定後に、ステップS190に進むと、ステップS150で投票対象となるハフ空間をハフ空間N+2として、ステップS160で投票対象となるハフ空間をハフ空間N+3とする。このとき、ハフ空間N+3に対応する自車50の位置情報をメモリ20に記憶させる。つまり、ハフ空間が設定される毎にこの設定されるハフ空間に対応する自車50の位置情報をメモリ20に記憶させる。   For example, when the voting history of each of the Hough space N−1, Hough space N, Hough space N + 1, and Hough space N + 2 is stored in the memory 20, the process proceeds to Step S 190 after determining YES in Step S 180. In step S150, the Hough space to be voted is set as Hough space N + 2, and in Step S160, the Hough space to be voted is set as Hough space N + 3. At this time, the position information of the host vehicle 50 corresponding to the Hough space N + 3 is stored in the memory 20. That is, every time the Hough space is set, the position information of the vehicle 50 corresponding to the set Hough space is stored in the memory 20.
その後、ステップS210に移行すると、次のようにメモリ20のうち投票履歴を初期化する。すなわち、メモリ20のうち投票履歴が記憶される記憶容量が規定容量以上であるとしてステップS200でYESと判定したときには、メモリ20において、ハフ空間N−1、ハフ空間N、ハフ空間N+1、ハフ空間N+2のうち最も古いタイミングで投票されるハフ空間N−1の履歴を消去する(ステップS210)。   Thereafter, when the process proceeds to step S210, the voting history in the memory 20 is initialized as follows. That is, when it is determined YES in step S200 because the storage capacity of the memory 20 in which the voting history is stored is equal to or greater than the predetermined capacity, the memory 20 stores the Hough space N−1, the Hough space N, the Hough space N + 1, and the Hough space. The history of the Hough space N-1 voted at the oldest timing among N + 2 is deleted (step S210).
その後、ステップS220においてNOと判定した場合に、ステップS100、S110、S120、S130、S140〜S143の処理を経て、上記ステップS140で座標変換された鳥瞰座標上の複数のエッジ点をハフ空間N+2およびハフ空間N+3に対して投票する(ステップS150、160)。このようにハフ空間N+2およびハフ空間N+3に投票された投票履歴をCCDカメラ10の撮影毎にメモリ20に記憶させる。このとき、メモリ20においてハフ空間N−1の投票履歴に代えてハフ空間N+3の投票履歴が記憶されることになる。   After that, when it is determined as NO in step S220, a plurality of edge points on the bird's eye coordinate coordinate-converted in step S140 are processed through steps S100, S110, S120, S130, S140 to S143, and the Hough space N + 2 and Vote for the Hough space N + 3 (steps S150 and S160). Thus, the voting history voted for the Hough space N + 2 and the Hough space N + 3 is stored in the memory 20 every time the CCD camera 10 takes a picture. At this time, the voting history of the Hough space N + 3 is stored in the memory 20 instead of the voting history of the Hough space N-1.
そして、ステップS180のNO判定処理(或いはYES判定処理)、ステップS190、ステップS200のNO判定処理(或いはステップS200のYES判定処理およびステップS210)を実施する。   Then, the NO determination process (or YES determination process) in step S180, the NO determination process in step S190 and step S200 (or the YES determination process in step S200 and step S210) are performed.
その後、変速機44がリバースレンジに設定されると、自車50が後退し始めたとして、ステップS220でYESと判定して、次のステップS230に移行する。例えば、ハフ空間N、ハフ空間N+1、ハフ空間N+2、およびハフ空間N+3のそれぞれ投票履歴がメモリ20に記憶されている場合において、メモリ20に記憶されるハフ空間N、ハフ空間N+1、ハフ空間N+2、およびハフ空間N+3に対応する自車50の位置情報を用いて、ハフ空間N、ハフ空間N+1、ハフ空間N+2、およびハフ空間N+3のそれぞれ投票履歴を共通のハフ空間に写像する。   Thereafter, when the transmission 44 is set to the reverse range, it is determined that the host vehicle 50 has started to move backward, YES is determined in step S220, and the process proceeds to the next step S230. For example, when the voting history of the Hough space N, Hough space N + 1, Hough space N + 2, and Hough space N + 3 is stored in the memory 20, the Hough space N, Hough space N + 1, and Hough space N + 2 stored in the memory 20, respectively. , And the position information of the vehicle 50 corresponding to the Hough space N + 3, the voting history of the Hough space N, the Hough space N + 1, the Hough space N + 2, and the Hough space N + 3 is mapped to a common Hough space.
ここで、共通のハフ空間の撮影領域は、ハフ空間N、ハフ空間N+1、ハフ空間N+2、およびハフ空間N+3をそれぞれの撮影領域を全てカバーする領域である。   Here, the shooting area of the common Hough space is an area that covers all of the shooting areas of Hough space N, Hough space N + 1, Hough space N + 2, and Hough space N + 3.
このよう共通のハフ空間への写像により、ハフ空間N、ハフ空間N+1、ハフ空間N+2、およびハフ空間N+3が統合されることになる。   By mapping to the common Hough space, the Hough space N, Hough space N + 1, Hough space N + 2, and Hough space N + 3 are integrated.
その後、ステップS240〜S260において、上記共通のハフ空間に写像された投票履歴(以下、単に、共通ハフ空間の投票履歴という)から駐車枠51を抽出する。   Thereafter, in steps S240 to S260, the parking frame 51 is extracted from the voting history mapped to the common hough space (hereinafter simply referred to as the voting history of the common hough space).
ここで、駐車枠51は、駐車場の路上に平行に配置されている2本の白線から構成されている。2本の白線間の間隔W1は、A寸法からB寸法までの所定寸法範囲内に入るように設定されている。そして、白線のうち幅方向(すなわち、白線が延びる方向に対する直交する方向)の寸法W2は、C寸法からD寸法までの所定寸法範囲内に入るように設定されている。   Here, the parking frame 51 is comprised from the two white lines arrange | positioned in parallel on the road of a parking lot. The interval W1 between the two white lines is set so as to fall within a predetermined dimension range from the A dimension to the B dimension. The dimension W2 of the white line in the width direction (that is, the direction orthogonal to the direction in which the white line extends) is set to fall within a predetermined dimension range from the C dimension to the D dimension.
以下、本実施形態では、便宜上、2本の白線間の間隔W1を定める所定寸法範囲を第1の寸法範囲とし、白線のうち幅方向寸法W2を定める所定寸法範囲を第2の寸法範囲とする。   Hereinafter, in this embodiment, for the sake of convenience, the predetermined dimension range that defines the interval W1 between two white lines is defined as the first dimension range, and the predetermined dimension range that defines the width direction dimension W2 of the white lines is defined as the second dimension range. .
ここで、共通ハフ空間の投票履歴において駐車枠51を構成するエッジ点の投票結果が含まれている場合には、駐車枠51を構成する2本の白線を構成するエッジ点の投票結果が共通ハフ空間の投票履歴に含まれることになる。   Here, when the voting results of the edge points constituting the parking frame 51 are included in the voting history of the common Hough space, the voting results of the edge points constituting the two white lines constituting the parking frame 51 are common. It will be included in the voting history of the Hough space.
このため、駐車枠51を構成するエッジ点の投票結果が共通ハフ空間の投票履歴に含まれる場合には、共通ハフ空間の投票履歴から、白線の幅方向端部を示す2本の直線を白線毎に検出することが可能になる。白線の幅方向端部とは、白線において白線自体が延びる方向に直交する方向の端部のことである。   For this reason, when the voting results of the edge points constituting the parking frame 51 are included in the voting history of the common hough space, the two straight lines indicating the widthwise ends of the white line are represented by white lines from the voting history of the common hough space. It becomes possible to detect every time. The width direction end portion of the white line is an end portion of the white line in a direction orthogonal to the direction in which the white line itself extends.
すなわち、駐車枠51を構成するエッジ点の投票結果が共通ハフ空間の投票履歴に存在する場合には、共通ハフ空間の投票履歴から、駐車枠51を示す4本の直線を検出することが可能になる。   That is, when the voting results of the edge points constituting the parking frame 51 exist in the voting history of the common hough space, it is possible to detect four straight lines indicating the parking frame 51 from the voting history of the common hough space. become.
ここで、駐車枠51を示す4本の直線は、それぞれ、平行に配置されているものである。4本の直線のうち対向する2本の直線(61、62)の間の間隔W1(図6参照)は第1の寸法範囲内に入っているものである。4本の直線のうち対となる2本の直線(60、61)(62、63)の間の間隔W2は、第2の寸法範囲内に入っているものである。   Here, the four straight lines indicating the parking frame 51 are arranged in parallel. The interval W1 (see FIG. 6) between two opposing straight lines (61, 62) among the four straight lines is within the first dimension range. The interval W2 between the two straight lines (60, 61) (62, 63) in pairs among the four straight lines is within the second dimension range.
以下、共通ハフ空間の投票履歴から駐車枠51を検出する処理(ステップS240〜S260)について説明する。   Hereinafter, the process (steps S240 to S260) for detecting the parking frame 51 from the voting history of the common hough space will be described.
まず、ステップS240において、共通ハフ空間の投票履歴から直線を抽出する。以下、共通ハフ空間の投票履歴から複数本の直線を抽出した例について説明する。このように共通ハフ空間の投票履歴から抽出される複数の直線を、単に、複数の検出直線という。なお、共通ハフ空間の投票履歴から直線を抽出する処理は周知であるため、その説明を省略する。   First, in step S240, a straight line is extracted from the voting history of the common Hough space. Hereinafter, an example in which a plurality of straight lines are extracted from the voting history of the common Hough space will be described. A plurality of straight lines extracted from the voting history in the common Hough space is simply referred to as a plurality of detection straight lines. In addition, since the process which extracts a straight line from the voting history of a common Hough space is known, the description is abbreviate | omitted.
ここで、共通ハフ空間の投票履歴では、白線は、ほぼ平行に配置されている二本の直線によって表される。二本の直線は、アップエッジによる直線とダウンエッジによる直線とから構成されるものである。アップエッジによる直線とは、輝度の増大を示すエッジ点からなる直線のことである。ダウンエッジによる直線とは、輝度の低下を示すエッジ点からなる直線のことである。つまり、アップエッジによる直線とダウンエッジによる直線との間の寸法W2が第2の寸法範囲に入いる場合には、アップエッジによる直線とダウンエッジによる直線とが白線を示していることになる。以下、このように間隔が第2の寸法範囲内に入っているアップエッジによる直線とダウンエッジによる直線とからなる直線の対を単に平行直線という。   Here, in the voting history of the common Hough space, the white line is represented by two straight lines arranged substantially in parallel. The two straight lines are composed of a straight line due to an up edge and a straight line due to a down edge. The straight line due to the up-edge is a straight line composed of edge points indicating an increase in luminance. The straight line due to the down edge is a straight line composed of edge points indicating a decrease in luminance. That is, when the dimension W2 between the straight line due to the up edge and the straight line due to the down edge falls within the second dimension range, the straight line due to the up edge and the straight line due to the down edge indicate white lines. Hereinafter, a pair of straight lines composed of a straight line formed by the up edge and a straight line formed by the down edge whose distance is within the second dimension range is simply referred to as a parallel straight line.
まず、次のステップS250において、複数本の検出直線に複数対の平行直線が含まれているか否かを判定することにより、共通ハフ空間の投票履歴に複数の白線の候補が存在するか否かを判定する。   First, in the next step S250, it is determined whether or not a plurality of white line candidates exist in the voting history of the common Hough space by determining whether or not a plurality of pairs of parallel straight lines are included in the plurality of detection straight lines. Determine.
例えば、複数の検出直線に複数対の平行直線が含まれているときには、共通ハフ空間の投票履歴に複数の白線の候補が存在としてYESと判定する。この場合、複数の検出直線から複数対の平行直線を抽出する(ステップS251)。   For example, when a plurality of pairs of parallel straight lines are included in the plurality of detection straight lines, YES is determined as a plurality of white line candidates existing in the voting history of the common Hough space. In this case, a plurality of pairs of parallel straight lines are extracted from the plurality of detection straight lines (step S251).
次に、ステップS260において、この抽出される複数対の平行直線に駐車枠51を示す2対の平行直線(すなわち、4本の直線)が含まれているか否かについて判定する。2対の平行直線とは、2対の平行直線のうち一方の平行直線(60、61)と、他方の平行直線(62、63)との間の間隔W1(図6参照)が第1の寸法範囲内に入っているものとする。   Next, in step S260, it is determined whether or not two pairs of parallel straight lines (that is, four straight lines) indicating the parking frame 51 are included in the plurality of extracted parallel straight lines. The two pairs of parallel straight lines have a first interval W1 (see FIG. 6) between one parallel straight line (60, 61) and the other parallel straight line (62, 63) of the two pairs of parallel straight lines. It shall be within the dimension range.
ここで、複数対の平行直線に駐車枠51を示す2対の平行直線が含まれているときには、共通ハフ空間の投票履歴に駐車枠51を示す4本の直線が含まれているとして、ステップS260でYESと判定する。これに伴い、駐車枠51を示す4本の直線を複数対の平行直線から抽出する(ステップS261)。   Here, when two pairs of parallel straight lines indicating the parking frame 51 are included in the plurality of pairs of parallel straight lines, it is assumed that four straight lines indicating the parking frame 51 are included in the voting history of the common Hough space. It is determined YES in S260. Accordingly, four straight lines indicating the parking frame 51 are extracted from a plurality of pairs of parallel straight lines (step S261).
このように駐車枠51を示す2対の平行直線、すなわち直線60、61、62、63(図6参照)を抽出することができるものの、駐車枠51を示す直線60〜63だけでは、駐車枠51を示す4本の直線が延びる方向しか分からず、駐車目標位置が決定できない。   Thus, although two pairs of parallel straight lines indicating the parking frame 51, that is, straight lines 60, 61, 62, and 63 (see FIG. 6) can be extracted, the parking frame can be obtained only by the straight lines 60 to 63 indicating the parking frame 51. Only the direction in which the four straight lines indicating 51 extend is known, and the parking target position cannot be determined.
そこで、ステップS270では、駐車枠51を示す4本の直線と、ステップS141〜S143での処理で保存される撮影毎の複数のエッジ点の座標とに基づいて、駐車枠51のうち自車50側の端点60a、61a、62a、63a(図6参照)を検出する。   Therefore, in step S270, the host vehicle 50 of the parking frame 51 is based on the four straight lines indicating the parking frame 51 and the coordinates of a plurality of edge points for each photographing stored in the processing in steps S141 to S143. The side end points 60a, 61a, 62a, 63a (see FIG. 6) are detected.
次に、端点60a、61a、62a、63aを検出する処理について図7を参照して説明する。図7は、図5中のステップS260の処理の詳細を示すフローチャートである。   Next, processing for detecting the end points 60a, 61a, 62a, and 63a will be described with reference to FIG. FIG. 7 is a flowchart showing details of the process in step S260 in FIG.
まず、ステップS300において、上記ステップS141〜S143での処理で保存される撮影毎の複数のエッジ点のうち、駐車枠51を示す4本の直線(60〜63)の上に位置する複数のエッジ点を直線毎に抽出してこの抽出した複数のエッジ点を直線毎にメモリ20に保存する。   First, in step S300, among a plurality of edge points for each photographing stored in the processes in steps S141 to S143, a plurality of edges positioned on four straight lines (60 to 63) indicating the parking frame 51. A point is extracted for each straight line, and the extracted plurality of edge points are stored in the memory 20 for each straight line.
次のステップ310において、このようにメモリ20に保存される直線毎の複数のエッジ点を自車50の位置を含む鳥瞰座標上にソートする。これに伴い、鳥瞰座標上の複数のエッジ点を直線毎に自車50に近い側から走査し、鳥瞰座標上の複数のエッジ点において、駐車枠51のうち自車50側の端点(すなわち、手前側端点)となるエッジ点が有るか否かを直線毎に判定する(ステップS320、S330)。   In the next step 310, the plurality of edge points for each straight line thus stored in the memory 20 are sorted on the bird's eye coordinates including the position of the vehicle 50. Accordingly, a plurality of edge points on the bird's eye coordinate are scanned from the side close to the own vehicle 50 for each straight line, and at the plurality of edge points on the bird's eye coordinate, the end points on the own vehicle 50 side of the parking frame 51 (that is, It is determined for each straight line whether or not there is an edge point that is the front end point (steps S320 and S330).
具体的には、ステップS320、S330において、鳥瞰座標上の複数のエッジ点において、自車50側(すなわち、手前側)の第1所定距離内に位置するエッジ点の個数が第1の閾値未満で、かつ自車と反対側(すなわち、奥側)の第2所定距離内に位置するエッジ点の個数が第2の閾値以上であるエッジ点が有るか否かを直線毎に判定する。   Specifically, in steps S320 and S330, the number of edge points located within the first predetermined distance on the own vehicle 50 side (that is, the near side) among the plurality of edge points on the bird's eye coordinate is less than the first threshold value. In addition, it is determined for each straight line whether or not there is an edge point whose number of edge points located within the second predetermined distance on the side opposite to the own vehicle (that is, the back side) is equal to or greater than the second threshold value.
本実施形態では、第1所定距離としては1メートルとし、第2所定距離を1メートルとし、第1の閾値を1個とし、第2の閾値を5個とする。   In the present embodiment, the first predetermined distance is 1 meter, the second predetermined distance is 1 meter, the first threshold is one, and the second threshold is five.
このため、4本の直線のうち一本の直線上に位置する複数のエッジ点を走査して、直線上の複数のエッジ点のうち、自車50側の1メートル内に位置するエッジ点が零個で、かつ自車50と反対側の1メートル内に位置するエッジ点の個数が5個以上であるエッジ点が存在するときには、この存在するエッジ点が駐車枠51のうち自車50側の端点であるとする。   For this reason, a plurality of edge points located on one straight line among the four straight lines are scanned, and among the plurality of edge points on the straight line, the edge points located within 1 meter on the own vehicle 50 side are detected. When there are zero edge points and the number of edge points located within 1 meter opposite to the host vehicle 50 is five or more, this existing edge point is the side of the host vehicle 50 in the parking frame 51. Is the end point of.
これに加えて、4本の直線のうち一本の直線以外の3本の直線についても、同様に、直線上の複数のエッジ点に対して走査判定処理(ステップS320、S330、S340)を実施して、直線上の複数のエッジ点のうち、駐車枠51のうち自車50側の端点となるエッジ点が存在するか否かを判定する。   In addition to this, scanning determination processing (steps S320, S330, and S340) is similarly performed on a plurality of edge points on the straight line for three straight lines other than one of the four straight lines. And it is determined whether the edge point used as the end point by the side of the own vehicle 50 exists among the parking frame 51 among several edge points on a straight line.
その結果、4本の直線について、直線上の複数のエッジ点のうち、自車50側の1メートル内に位置するエッジ点が零個で、かつ自車50と反対側の1メートル内に位置するエッジ点の個数が5個以上であるエッジ点が存在すると判定したときには、この存在すると判定される直線毎のエッジ点を駐車枠51のうち自車50側の端点60a、61a、62a、63aとして決める。   As a result, for four straight lines, among the plurality of edge points on the straight line, zero edge points are located within 1 meter on the own vehicle 50 side, and are located within 1 meter opposite to the own vehicle 50. When it is determined that there are 5 or more edge points, the edge points for each straight line determined to exist are used as the end points 60a, 61a, 62a, 63a on the vehicle 50 side of the parking frame 51. Decide as.
次に、図5のステップS270において、駐車枠51のうち自車50側の端点60a、61a、62a、63aと駐車枠51を示す4本の直線とに基づいて、目標駐車位置を決定する。   Next, in step S270 of FIG. 5, the target parking position is determined based on the end points 60a, 61a, 62a, 63a on the own vehicle 50 side of the parking frame 51 and the four straight lines indicating the parking frame 51.
具体的には、駐車枠51を示す4本の直線のうち、自車50側の端点に対して自車50と反対側で、かつ自車50側の端点との間の距離が所定距離Lとなる位置を直線毎に決める。この直線毎に決められる4つの位置から定める位置を目標駐車位置として決定する。目標駐車位置は、操舵角等を制御して自車50の駐車を支援する際に、自車50を駐車させるための目標位置として用いられる。   Specifically, among the four straight lines indicating the parking frame 51, the distance between the end point on the own vehicle 50 side and the end point on the own vehicle 50 side is the predetermined distance L. Determine the position for each straight line. A position determined from the four positions determined for each straight line is determined as a target parking position. The target parking position is used as a target position for parking the host vehicle 50 when assisting the parking of the host vehicle 50 by controlling the steering angle or the like.
以上説明した本実施形態によれば、車載画像処理装置1のマイクロコンピュータ30は、自車50が駐車枠51の付近を走行する際に駐車枠51側の景色を繰り返し撮影するためのCCDカメラ10が撮影する毎に自車50の位置情報を取得する第1ステップと、CCDカメラ10の撮影毎の位置情報に基づいて撮影画像中のエッジ点の座標を撮影毎の位置情報に対応付けるように撮影画像中のエッジ点の座標を撮影毎に変換し、この変換毎に前記変換された座標上のエッジ点を共通のハフ空間に投票して、この投票毎に投票履歴をメモリ20に記憶させる第2ステップと、メモリ20に記憶される投票毎の履歴から駐車枠51を示す4本の直線を検出可能であるか否かを判定する第3ステップと、位置情報に対応付けられた撮影毎のエッジ点の座標をメモリ20に記憶させる第4ステップと、投票毎の履歴から駐車枠51を示す4本の直線を検出可能であると第3ステップで判定したとき、投票毎の履歴から検出可能であると判定された駐車枠51を示す4本の直線とメモリ20に記憶される撮影毎のエッジ点の座標とに基づいて、駐車枠51のうち自車50側の端点を直線毎に検出する第5ステップと、第5ステップによって検出される直線毎の端点に基づいて、自車50の駐車目標位置を決定する第6ステップとを備えることを特徴とする。   According to the present embodiment described above, the microcomputer 30 of the in-vehicle image processing apparatus 1 uses the CCD camera 10 for repeatedly photographing the scenery on the parking frame 51 side when the host vehicle 50 travels in the vicinity of the parking frame 51. The first step of acquiring the position information of the own vehicle 50 every time the camera captures the image, and the coordinates of the edge point in the captured image are associated with the position information for each image capturing based on the position information for each image capturing by the CCD camera 10. The coordinates of the edge points in the image are converted for each photographing, the edge points on the converted coordinates are voted on a common Hough space for each conversion, and the voting history is stored in the memory 20 for each vote. 2 steps, a third step for determining whether or not four straight lines indicating the parking frame 51 can be detected from the history for each vote stored in the memory 20, and for each shooting associated with the position information Edge When it is determined in the third step that it is possible to detect the four straight lines indicating the parking frame 51 from the history for each vote and the fourth step for storing the coordinates in the memory 20, the coordinates can be detected from the history for each vote. Based on the four straight lines indicating the parking frame 51 determined to be and the coordinates of the edge points for each photographing stored in the memory 20, the end point on the own vehicle 50 side of the parking frame 51 is detected for each straight line. And a sixth step of determining a parking target position of the host vehicle 50 based on the end points for each straight line detected in the fifth step.
以上により、駐車枠51を示す4本の直線を用いて、自車50の駐車目標位置を決定することができる。   As described above, the parking target position of the host vehicle 50 can be determined using the four straight lines indicating the parking frame 51.
本実施形態では、上記ステップS130で座標変換された鳥瞰座標上のエッジ点の座標をメモリ20に撮影毎に保存する。メモリ20に記憶される撮影毎の鳥瞰座標上のエッジ点の座標の記憶容量が規定容量以上であるであると判定したとき、メモリ20において、最も古いタイミングの撮影に対応するエッジ点の座標を初期化する。このため、メモリ20において、最も古いタイミングの撮影に対応するエッジ点の座標に代えて最も新しいタイミングの撮影に対応するエッジ点の座標が記憶されることになる。これにより、メモリ20に記憶される撮影毎の鳥瞰座標上のエッジ点の座標の記憶容量を制限することができる。   In the present embodiment, the coordinates of the edge point on the bird's-eye coordinate coordinate-transformed in step S130 are stored in the memory 20 for each shooting. When it is determined that the storage capacity of the edge point coordinates on the bird's eye coordinates stored for each shooting stored in the memory 20 is greater than or equal to the specified capacity, the coordinates of the edge points corresponding to the shooting at the oldest timing are stored in the memory 20. initialize. For this reason, in the memory 20, the coordinates of the edge point corresponding to the shooting at the latest timing are stored instead of the coordinates of the edge point corresponding to the shooting at the oldest timing. Thereby, the storage capacity of the coordinates of the edge point on the bird's eye coordinate for each photographing stored in the memory 20 can be limited.
なお、上記第1実施形態では、駐車枠51を示す2対の平行直線を複数対の平行直線から検出した後に、駐車枠51のうち自車50側の端点を検出した例について説明したが、これに代えて、駐車枠51を示す2対の平行直線を複数対の平行直線から検出した後に、駐車枠51を示す2対の平行直線を検出した旨を使用者に報知してから、駐車枠51のうち自車50側の端点を検出するようにしてもよい。   In the first embodiment, an example in which the end point on the own vehicle 50 side of the parking frame 51 is detected after detecting two pairs of parallel straight lines indicating the parking frame 51 from a plurality of pairs of parallel straight lines has been described. Instead, after detecting two pairs of parallel straight lines indicating the parking frame 51 from a plurality of pairs of parallel straight lines, the user is notified that two pairs of parallel straight lines indicating the parking frame 51 have been detected, and then parked. You may make it detect the end point by the side of the own vehicle 50 among the frames 51. FIG.
(第2実施形態)
上記第1実施形態では、変速機44がリバースレンジに設定されると、共通のハフ空間の投票履歴から直線を抽出する処理(ステップS230)を実施する例について説明したが、これに代えて、本第2実施形態では、自車50が所定距離(例えば、1メートル)走行する毎に、共通のハフ空間の投票履歴から直線を抽出する処理(ステップS230)を実行する例について説明する。
(Second Embodiment)
In the first embodiment, the example in which the process of extracting a straight line from the voting history of the common Hough space (step S230) is performed when the transmission 44 is set to the reverse range has been described. In the second embodiment, an example will be described in which a process of extracting a straight line from a voting history in a common Hough space (step S230) is performed every time the host vehicle 50 travels a predetermined distance (for example, 1 meter).
本実施形態のマイクロコンピュータ30は、図8、図9のフローチャートにしたがって、駐車枠抽出処理を実行する。図8、図9のフローチャートは、図4、図5のフローチャートに代えて用いられるものである。   The microcomputer 30 according to the present embodiment executes a parking frame extraction process according to the flowcharts of FIGS. The flowcharts of FIGS. 8 and 9 are used in place of the flowcharts of FIGS. 4 and 5.
図8、図9のフローチャートは、図4、図5のフローチャートからステップS220を削除し、かつステップS262を追加したものである。   The flowcharts of FIGS. 8 and 9 are obtained by deleting step S220 and adding step S262 from the flowcharts of FIGS.
ステップS220は、変速機44がリバースレンジに設定されているか否かについて判定するステップである。ステップS262は、ステップS260で共通のハフ空間の投票履歴から駐車枠51を示す4本の直線が検出されたときに、共通のハフ空間の投票履歴から駐車枠51を示す4本の直線を検出した旨を使用者に報知音としてスピーカ44から出力するステップである。   Step S220 is a step of determining whether or not the transmission 44 is set to the reverse range. In step S262, when four straight lines indicating the parking frame 51 are detected from the voting history of the common Hough space in Step S260, four straight lines indicating the parking frame 51 are detected from the voting history of the common Hough space. This is a step of outputting the notification from the speaker 44 as a notification sound to the user.
以上により、駐車開始スイッチ42がオンされると、自車50の走行距離が所定距離以上になるまで、ステップS100、S110、S120、S130、S140〜S143、S150、S160、S170、およびステップS180のNO判定を繰り返す。   As described above, when the parking start switch 42 is turned on, the steps S100, S110, S120, S130, S140 to S143, S150, S160, S170, and S180 are continued until the traveling distance of the host vehicle 50 becomes a predetermined distance or more. Repeat NO determination.
一方、自車50の走行距離が所定距離以上になる毎に、ステップS100〜S130、S140〜S143、S150〜S170、ステップS180のYES判定、S190、ステップS200のYES判定(或いは、ステップS200のNO判定およびステップS210)、ステップS230、S240、S250、S251、S260、S261、S262、S270、S280を繰り返す。   On the other hand, every time the traveling distance of the host vehicle 50 becomes a predetermined distance or more, steps S100 to S130, S140 to S143, S150 to S170, YES determination of step S180, S190, YES determination of step S200 (or NO of step S200) Determination and step S210), steps S230, S240, S250, S251, S260, S261, S262, S270, and S280 are repeated.
したがって、ステップS180でYESと判定されてから自車50が走行した走行距離が所定距離以上になってステップS180でYESと判定される毎に、ハフ空間N、ハフ空間N+1、ハフ空間N+2、およびハフ空間N+3のそれぞれ投票履歴を共通のハフ空間に写像する(ステップS230)。   Therefore, each time the travel distance traveled by the vehicle 50 after the determination of YES in step S180 becomes equal to or greater than a predetermined distance and YES is determined in step S180, the Hough space N, the Hough space N + 1, the Hough space N + 2, and Each voting history of the Hough space N + 3 is mapped to a common Hough space (step S230).
その後、共通ハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出すると、共通のハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出した旨を使用者に報知音としてスピーカ44から出力する(ステップS240〜S262)。次のステップ270において、駐車枠51のうち自車50側の端点を直線毎に検出すると、この検出される直線毎の端点と駐車枠51を示す4本の直線とに基づいて目標駐車位置を決定する。   Thereafter, when four straight lines indicating the parking frame 51 are extracted from the voting history of the common Hough space, the user is notified that the four straight lines indicating the parking frame 51 are extracted from the voting history of the common Hough space. Output from the speaker 44 (steps S240 to S262). In the next step 270, when the end point on the own vehicle 50 side of the parking frame 51 is detected for each straight line, the target parking position is determined based on the detected end points for each straight line and the four straight lines indicating the parking frame 51. decide.
以上説明した本実施形態によれば、自車50が所定距離走行する毎に、共通ハフ空間の投票履歴から直線を抽出する。そして、共通ハフ空間の投票履歴に駐車枠51を示す4本の直線が存在すると判定したときには、共通ハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出し、また駐車枠51の自車側端点を検出する。したがって、自車50を前進させているときに、駐車枠51を示す4本の直線が抽出されれば、自車50の駐車目標値を決定することができる。   According to this embodiment described above, a straight line is extracted from the voting history of the common Hough space every time the own vehicle 50 travels a predetermined distance. When it is determined that there are four straight lines indicating the parking frame 51 in the voting history of the common hough space, four straight lines indicating the parking frame 51 are extracted from the voting history of the common hough space. Detect the vehicle side end point. Therefore, if the four straight lines indicating the parking frame 51 are extracted while the host vehicle 50 is moving forward, the parking target value of the host vehicle 50 can be determined.
本実施形態では、共通のハフ空間の投票履歴から駐車枠51を示す4本の直線が抽出されたときに、共通のハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出した旨を使用者に報知音としてスピーカ44から出力する。これにより、自車50の前進中に、駐車枠51の存在を使用者が知ることができる。このため、使用者に対する駐車支援の利便性を向上させることができる。   In this embodiment, when four straight lines indicating the parking frame 51 are extracted from the voting history of the common Hough space, four straight lines indicating the parking frame 51 are extracted from the voting history of the common Hough space. Is output from the speaker 44 as a notification sound to the user. Thereby, the user can know the presence of the parking frame 51 while the host vehicle 50 is moving forward. For this reason, the convenience of the parking assistance with respect to a user can be improved.
なお、上記第2実施形態では、スピーカ44の報知音によって、共通のハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出した旨を使用者に報知した例について説明したが、これに代えて、画像装置の表示等によって、共通のハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出した旨を使用者に報知してもよい。   In the second embodiment, the example in which the user is notified that the four straight lines indicating the parking frame 51 are extracted from the voting history of the common Hough space by the notification sound of the speaker 44 has been described. Instead, the user may be notified that four straight lines indicating the parking frame 51 have been extracted from the voting history of the common Hough space by displaying the image device or the like.
(第3実施形態)
上記第1、2の実施形態では、ステップS180でYESと判定される毎に、ハフ空間Nとハフ空間N+1とに投票し、かつ共通のハフ空間の投票履歴から直線を抽出する例について説明したが、これに代えて、ステップS180でYESと判定される毎に、ハフ空間Nとハフ空間N+1とへの投票を行わずに、共通のハフ空間の投票履歴から直線を抽出する例について説明する。
(Third embodiment)
In the first and second embodiments, an example has been described in which a vote is given to the Hough space N and the Hough space N + 1 each time YES is determined in Step S180, and a straight line is extracted from the voting history of the common Hough space. However, instead of this, every time it is determined YES in step S180, an example in which a straight line is extracted from the voting history of the common Hough space without voting to the Hough space N and the Hough space N + 1 will be described. .
本実施形態のマイクロコンピュータ30は、図10、図11のフローチャートにしたがって、駐車枠抽出処理を実行する。図10、図11において、図4、図5と同一符号は、同一ステップを示している。   The microcomputer 30 according to the present embodiment executes a parking frame extraction process according to the flowcharts of FIGS. 10 and 11, the same reference numerals as those in FIGS. 4 and 5 indicate the same steps.
次に、本実施形態の駐車枠抽出処理の詳細について説明する。   Next, the detail of the parking frame extraction process of this embodiment is demonstrated.
まず、ステップS100、S110の各処理の実行後において、次のステップS180において、前回のステップS180でYESと判定されてから、自車50が所定距離(例えば、1メートル)以上走行したか否かを判定する。   First, after each process of steps S100 and S110, whether or not the vehicle 50 has traveled more than a predetermined distance (for example, 1 meter) since the next step S180 is determined as YES in the previous step S180. Determine.
ここで、前回のステップS180でYESと判定されてから、自車50が走行した走行距離が所定距離未満であるときには、今回のステップS180でNOと判定して、ステップS120、S130、S140、S141、S150、S160、S170の各処理を実行する。   Here, when the travel distance that the vehicle 50 has traveled is less than the predetermined distance since it was determined as YES in the previous step S180, it is determined as NO in the current step S180, and steps S120, S130, S140, and S141 are performed. , S150, S160, and S170 are executed.
このため、ステップS180でYESと判定される迄、ステップS100、S110、ステップS180のNO判定、S120、S130、S140、S141、S150、S160、S170を繰り返すことになる。すなわち、ステップS180でYESと判定される迄、ハフ空間Nとハフ空間N+1とへの投票を繰り返すことになる。   Therefore, steps S100, S110, NO determination in step S180, S120, S130, S140, S141, S150, S160, S170 are repeated until YES is determined in step S180. That is, voting for the Hough space N and the Hough space N + 1 is repeated until YES is determined in Step S180.
その後、前回のステップS180でYESと判定されてから、自車50が走行した走行距離が所定距離以上になり、今回のステップS180でYESと判定すると、ステップS190、S200、S210、S230、S240、S250、S251、S260、S261、S262、S270、S280を実施する。   After that, when it is determined YES in the previous step S180, the travel distance traveled by the host vehicle 50 is equal to or greater than a predetermined distance, and when it is determined YES in step S180, steps S190, S200, S210, S230, S240, S250, S251, S260, S261, S262, S270, and S280 are performed.
したがって、ステップS180でYESと判定される毎に、ハフ空間N、ハフ空間N+1、ハフ空間N+2、およびハフ空間N+3のそれぞれ投票履歴を共通のハフ空間に写像する(ステップS230)。そして、共通ハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出すると(ステップS240〜S261)、共通のハフ空間の投票履歴から駐車枠51を示す4本の直線を抽出した旨を使用者に報知音としてスピーカ44から出力する(ステップS262)。   Therefore, every time YES is determined in step S180, the voting history of Hough space N, Hough space N + 1, Hough space N + 2, and Hough space N + 3 is mapped to a common Hough space (Step S230). Then, when four straight lines indicating the parking frame 51 are extracted from the voting history of the common Hough space (steps S240 to S261), it is indicated that the four straight lines indicating the parking frame 51 are extracted from the voting history of the common Hough space. A notification sound is output from the speaker 44 to the user (step S262).
これに加えて、駐車枠51のうち自車50側の端点を直線毎に検出し、この検出される直線毎の端点と駐車枠51を示す4本の直線とに基づいて目標駐車位置を決定する(ステップS280)。   In addition, the end point on the own vehicle 50 side of the parking frame 51 is detected for each straight line, and the target parking position is determined based on the detected end points for each straight line and the four straight lines indicating the parking frame 51. (Step S280).
以上説明した本実施形態によれば、前回のステップS180でYESと判定されてから、自車50が走行した走行距離が所定距離未満であるときには、ハフ空間Nとハフ空間N+1とへの投票を繰り返す。前回のステップS180でYESと判定されてから、自車50が走行した走行距離が所定距離以上になった場合に、ハフ空間Nとハフ空間N+1とへの投票を行わずに、共通ハフ空間の投票履歴から直線を抽出する。そして、共通ハフ空間の投票履歴に駐車枠51を示す4本の直線が存在すると判定した場合に、駐車枠51のうち自車50側の端点を直線毎に検出し、この検出される直線毎の端点と駐車枠51を示す4本の直線とに基づいて自車50の目標駐車位置を決定する。したがって、上記第1実施形態に比べて、簡素な処理で、自車50の目標駐車位置を決定することができる。   According to the present embodiment described above, when the travel distance traveled by the vehicle 50 is less than the predetermined distance after the determination of YES in the previous step S180, voting for the Hough space N and the Hough space N + 1 is performed. repeat. If the travel distance traveled by the host vehicle 50 is equal to or greater than a predetermined distance since the determination in the previous step S180 is YES, the voting to the Hough space N and the Hough space N + 1 is not performed, and the common Hough space A straight line is extracted from the voting history. When it is determined that there are four straight lines indicating the parking frame 51 in the voting history of the common hough space, the end points on the own vehicle 50 side of the parking frame 51 are detected for each straight line, and each detected straight line is detected. The target parking position of the host vehicle 50 is determined on the basis of the end points and the four straight lines indicating the parking frame 51. Therefore, the target parking position of the host vehicle 50 can be determined by a simple process compared to the first embodiment.
(第4実施形態)
上記第1、第2実施形態では、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量が規定容量未満になるように記憶容量を制限する処理を実施した例について、これに代えて、本第4実施形態では、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量が規定容量未満になるように記憶容量を制限する処理を実施しない例について説明する。
(Fourth embodiment)
In the first and second embodiments described above, an example in which the processing for limiting the storage capacity is performed so that the storage capacity in which the coordinates of the plurality of edge points on the bird's-eye coordinates in the memory 20 are stored is less than the specified capacity. Instead of this, in the fourth embodiment, a process of limiting the storage capacity is performed so that the storage capacity in which the coordinates of the plurality of edge points on the bird's-eye coordinates in the memory 20 are stored is less than the specified capacity. An example of not performing will be described.
本実施形態のマイクロコンピュータ30は、図12、図13のフローチャートにしたがって、駐車枠抽出処理を実行する。図12、図13において、図7、図8からステップS142、S143を削除したものである。ステップS142、S143は、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量を制限するステップである。このため、本実施形態では、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量を制限する処理以外の他の処理は、上記第2実施形態と同様である。   The microcomputer 30 according to the present embodiment executes a parking frame extraction process according to the flowcharts of FIGS. 12 and 13, steps S142 and S143 are deleted from FIGS. Steps S142 and S143 are steps for limiting the storage capacity in which the coordinates of a plurality of edge points on the bird's-eye coordinates in the memory 20 are stored. For this reason, in this embodiment, processes other than the process of limiting the storage capacity in which the coordinates of a plurality of edge points on the bird's-eye coordinates in the memory 20 are stored are the same as those in the second embodiment.
以上説明した本実施形態によれば、メモリ20のうち上記鳥瞰座標上の複数のエッジ点の座標が保存される記憶容量を制限することなく、CCDカメラ10の撮影毎に、上記鳥瞰座標上の複数のエッジ点の座標をメモリ20に保存する。この保存された複数のエッジ点の座標を用いて上記第1実施形態と同様に、駐車枠51のうち自車50側の端点を直線毎に検出することができる。   According to the present embodiment described above, without limiting the storage capacity in which the coordinates of a plurality of edge points on the bird's-eye coordinate in the memory 20 are stored, the image on the bird's-eye coordinate is captured every time the CCD camera 10 captures images. The coordinates of a plurality of edge points are stored in the memory 20. Using the stored coordinates of the plurality of edge points, the end point on the own vehicle 50 side of the parking frame 51 can be detected for each straight line as in the first embodiment.
(他の実施形態)
上述の第1〜第4実施形態では、直線を表すための第1パラメータをρとし、直線を表すための第2パラメータをθとして、X軸をρ、Y軸をθ、Z軸をエッジ点の投票数とする空間をハフ空間とする例について説明したが、これに代えて、直線を表すための第1パラメータを傾きaとし、直線を表すための第2パラメータを切片bとして、X軸を傾きa、Y軸を切片b、およびZ軸をエッジ点の投票数とする空間をハフ空間としてもよい。ここで、傾きaおよび切片bは、二次元のXY座標上の点(xi、yi)を通る直線Aをyi=a×xi+bと表すために用いられるパラメータである。
(Other embodiments)
In the first to fourth embodiments described above, the first parameter for representing a straight line is ρ, the second parameter for representing a straight line is θ, the X axis is ρ, the Y axis is θ, and the Z axis is an edge point. However, instead of this, the first parameter for representing a straight line is defined as a slope a, the second parameter for representing a straight line is defined as an intercept b, and the X axis May be a Hough space in which the slope is a, the Y axis is the intercept b, and the Z axis is the number of votes of edge points. Here, the inclination a and the intercept b are parameters used to express the straight line A passing through the point (xi, yi) on the two-dimensional XY coordinates as yi = a × xi + b.
上述の第1実施形態では、駐車枠51のうち自車50側の端点を決めるために、第1所定距離および第2所定距離をそれぞれ1メートルとし、第1の閾値を1個とし、第2の閾値を5個とした例について説明したが、これに限らず、第1所定距離および第2所定距離を1メートル以外の長さとしてもよく、第1の閾値を1個以外の個数としてもよく、第2の閾値を5個以外の個数にしてもよい。   In the first embodiment described above, in order to determine the end point of the parking frame 51 on the own vehicle 50 side, the first predetermined distance and the second predetermined distance are each 1 meter, the first threshold is one, the second However, the present invention is not limited to this, and the first predetermined distance and the second predetermined distance may be a length other than 1 meter, and the first threshold may be a number other than one. Alternatively, the second threshold value may be a number other than five.
上述の第1〜第4実施形態では、操舵角センサ41の出力信号および車速センサ42の出力信号に基づいて、自車40の位置情報を算出した例について説明したが、これに代えて、GPSを用いて自車40の位置情報を算出してもよい。   In the first to fourth embodiments described above, the example in which the position information of the host vehicle 40 is calculated based on the output signal of the steering angle sensor 41 and the output signal of the vehicle speed sensor 42 has been described. The position information of the host vehicle 40 may be calculated using
上述の第1〜第4実施形態では、自車の後方に配置されるCCDカメラ10を用いて、周囲の景色として駐車枠51側の景色を撮影する例について説明したが、これに限らず、駐車枠51側の景色を撮影することが可能ならば、自車の後方以外の箇所に配置されるCCDカメラ10を用いてもよい。   In the above-described first to fourth embodiments, an example has been described in which the CCD camera 10 disposed behind the host vehicle is used to photograph the scenery on the parking frame 51 side as the surrounding scenery. If it is possible to photograph the scenery on the parking frame 51 side, the CCD camera 10 arranged at a place other than the back of the own vehicle may be used.
上述の第1〜第4の実施形態では、CCDカメラ10の撮影画像からエッジ点を抽出して、この抽出された複数のエッジ点に対してトップビュー変換を実施する例について説明したが、これに代えて、CCDカメラ10の撮影画像に対してトップビュー変換し、このトップビュー変換された撮影画像からエッジ点を抽出するようにしてもよい。   In the first to fourth embodiments described above, examples have been described in which edge points are extracted from the captured image of the CCD camera 10 and top view conversion is performed on the plurality of extracted edge points. Instead of this, top view conversion may be performed on the captured image of the CCD camera 10, and edge points may be extracted from the top view converted captured image.
上述の第1〜第4の実施形態では、エッジ点の座標を用いて駐車枠51のうち自車側端点を検出するようにした例について説明したが、これに代えて、エッジ点の座標に加えて、座標以外の他の情報(例えば、エッジ点の強度、向き)などを用いて駐車枠51のうち自車側端点を検出するようにしてもよい。この場合、図4のステップS141において、エッジ点の座標とともに、エッジ点の他の情報をメモリ20に記憶させる。   In the above-described first to fourth embodiments, the example in which the vehicle side end point is detected in the parking frame 51 using the coordinates of the edge point has been described, but instead, the coordinates of the edge point are used. In addition, the vehicle-side end point of the parking frame 51 may be detected using information other than the coordinates (for example, the strength and orientation of the edge point). In this case, in step S141 in FIG. 4, other information on the edge point is stored in the memory 20 together with the coordinates of the edge point.
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。   In addition, this invention is not limited to above-described embodiment, In the range described in the claim, it can change suitably. Further, the above embodiments are not irrelevant to each other, and can be combined as appropriate unless the combination is clearly impossible. In each of the above-described embodiments, it is needless to say that elements constituting the embodiment are not necessarily essential unless explicitly stated as essential and clearly considered essential in principle. Yes. Further, in each of the above embodiments, when numerical values such as the number, numerical value, quantity, range, etc. of the constituent elements of the embodiment are mentioned, it is clearly limited to a specific number when clearly indicated as essential and in principle. The number is not limited to the specific number except for the case. Further, in each of the above embodiments, when referring to the shape, positional relationship, etc. of the component, etc., the shape, unless otherwise specified and in principle limited to a specific shape, positional relationship, etc. It is not limited to the positional relationship or the like.
1 駐車支援装置
10 CCDカメラ
20 メモリ
30 マイクロコンピュータ
40 操舵角センサ
41 車速センサ
42 駐車開始スイッチ
43 自動変速機
44 スピーカ
50 自車(自動車)
51 駐車枠51
51a、51b 白線
60、61、62、63 直線
60a、61a、62a、63a 端点
DESCRIPTION OF SYMBOLS 1 Parking assistance apparatus 10 CCD camera 20 Memory 30 Microcomputer 40 Steering angle sensor 41 Vehicle speed sensor 42 Parking start switch 43 Automatic transmission 44 Speaker 50 Own vehicle (automobile)
51 Parking space 51
51a, 51b White line 60, 61, 62, 63 Straight line 60a, 61a, 62a, 63a End point

Claims (7)

  1. 自車が駐車枠の付近を走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ(10)が撮影する毎に前記自車の位置情報を取得する取得手段(S110)と、
    前記カメラの撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記撮影毎の前記位置情報に対応付けるように前記撮影画像中のエッジ点の座標を前記撮影毎に変換し、この変換毎に前記変換された座標上のエッジ点を共通のハフ空間に投票して、この投票毎に前記投票の履歴を第1メモリ(20)に記憶させる投票手段(S150、S160、S170)と、
    前記第1メモリに記憶される前記投票毎の履歴に前記駐車枠を示す4本の直線が存在するか否かを判定する直線判定手段(S260)と、
    前記位置情報に対応付けられた前記撮影毎の前記エッジ点の座標を第2メモリ(20)に記憶させる座標記憶手段(S141)と、
    前記投票毎の履歴に前記駐車枠を示す4本の直線が存在すると前記直線判定手段が判定したとき、前記投票毎の履歴に存在すると前記直線判定手段が判定した前記駐車枠を示す4本の直線と前記第2メモリに記憶される前記撮影毎の前記エッジ点の座標とに基づいて、前記駐車枠のうち前記自車側の端点を前記直線毎に検出する端点検出手段(S270)と、
    前記端点検出手段によって検出される前記直線毎の端点に基づいて、前記自車の駐車目標位置を決定する決定手段(S280)と、を備えることを特徴とする車載画像処理装置。
    An acquisition means (S110) for acquiring position information of the vehicle every time the camera (10) for repeatedly photographing the scenery on the parking frame side when the vehicle travels in the vicinity of the parking frame,
    The coordinates of the edge points in the photographed image are converted for each photographing so that the coordinates of the edge points in the photographed image of the camera are associated with the positional information for each photographing based on the positional information for each photographing of the camera. The voting means (S150, S160, S160, S160, voting edge points on the converted coordinates for each conversion to a common Hough space and storing the voting history in the first memory (20) for each vote. S170)
    Straight line determination means (S260) for determining whether or not four straight lines indicating the parking frame exist in the history for each vote stored in the first memory;
    Coordinate storage means (S141) for storing the coordinates of the edge point for each photographing associated with the position information in a second memory (20);
    When the straight line determining means determines that there are four straight lines indicating the parking frame in the history for each vote, the four straight lines indicating the parking frame determined by the straight line determining means to be present in the history for each vote. End point detection means (S270) for detecting, for each straight line, an end point on the vehicle side of the parking frame based on a straight line and the coordinates of the edge point for each photographing stored in the second memory;
    An in-vehicle image processing apparatus comprising: a determination unit (S280) that determines a parking target position of the own vehicle based on an end point for each straight line detected by the end point detection unit.
  2. 前記端点検出手段は、
    前記駐車枠を示す4本の直線上に位置する複数のエッジ点を前記直線毎に抽出する抽出手段(S300)と、
    前記抽出手段によって抽出される前記直線毎の複数のエッジ点を前記自車の位置を含む座標上にソートする配置手段(S310)と、
    前記座標上の複数のエッジ点のうち、前記自車側の第1所定距離内に位置するエッジ点の個数が第1の閾値未満で、かつ前記自車と反対側の第2所定距離内に位置するエッジ点の個数が第2の閾値以上であるエッジ点を前記直線毎に検出し、この検出される前記直線毎のエッジ点を前記駐車枠のうち前記自車側の端点とする決定手段(S320、S330、S340)と、を備えることを特徴とする請求項1に記載の車載画像処理装置。
    The end point detecting means is
    Extraction means (S300) for extracting, for each straight line, a plurality of edge points located on the four straight lines indicating the parking frame;
    Arranging means (S310) for sorting a plurality of edge points for each straight line extracted by the extracting means on coordinates including the position of the host vehicle;
    Among a plurality of edge points on the coordinates, the number of edge points located within a first predetermined distance on the own vehicle side is less than a first threshold value and within a second predetermined distance on the opposite side to the own vehicle. Detecting means for detecting, for each straight line, an edge point whose number of edge points is equal to or greater than a second threshold, and determining the detected edge point for each straight line as an end point on the own vehicle side of the parking frame. (S320, S330, S340), The vehicle-mounted image processing apparatus of Claim 1 characterized by the above-mentioned.
  3. 前記投票毎の履歴に前記駐車枠を示す4本の直線が存在すると前記直線判定手段が判定したとき、前記投票毎の履歴から前記駐車枠を示す4本の直線を抽出する駐車枠抽出手段(S261)と、
    前記投票毎の履歴から前記駐車枠を示す4本の直線を前記駐車枠抽出手段が抽出した旨を使用者に報知する報知手段(S262)と、を備えることを特徴とする請求項1または2に記載の車載画像処理装置。
    A parking frame extracting means for extracting four straight lines indicating the parking frame from the history for each vote when the straight line determining means determines that there are four straight lines indicating the parking frame in the history for each vote. S261),
    The notification means (S262) which alert | reports to a user that the said parking frame extraction means extracted four straight lines which show the said parking frame from the log | history for every said voting, The said claim | item 1 or 2 is provided. The vehicle-mounted image processing apparatus described in 1.
  4. 前記投票毎の履歴に前記駐車枠を示す4本の直線が存在すると前記直線判定手段が判定する毎に、前記駐車枠のうち前記自車側の端点を前記直線毎に前記端点検出手段が検出することを特徴とする請求項1ないし3のいずれか1つに記載の車載画像処理装置。   Each time the straight line determining means determines that there are four straight lines indicating the parking frame in the history for each vote, the end point detecting means detects the end point on the own vehicle side of the parking frame for each straight line. The in-vehicle image processing apparatus according to claim 1, wherein
  5. 前記自車が後退し始めたか否かを判定する後退開始判定手段(S220)を備え、
    前記自車が後退し始めたと前記後退開始判定手段が判定したときに、前記投票毎の履歴に前記駐車枠を示す4本の直線が存在するか否かを前記直線判定手段が判定することを特徴とする請求項1ないし4のいずれか1つに記載の車載画像処理装置。
    Comprising reverse start determination means (S220) for determining whether or not the vehicle has started to reverse;
    When the reverse start determination means determines that the host vehicle has started to reverse, the straight line determination means determines whether or not there are four straight lines indicating the parking frame in the history for each vote. The in-vehicle image processing device according to any one of claims 1 to 4, wherein
  6. 前記直線判定手段は、前記自車が所定距離進行する毎に、前記投票毎の履歴に前記駐車枠を示す4本の直線が存在するか否かを判定することを特徴とする請求項1ないし4のいずれか1つに記載の車載画像処理装置。   The straight line determination means determines whether there are four straight lines indicating the parking frame in the history for each vote every time the host vehicle travels a predetermined distance. 4. The in-vehicle image processing device according to any one of 4.
  7. 前記第2のメモリに記憶される前記撮影毎の前記エッジ点の座標の記憶容量が規定容量以上であるか否かを容量判定手段(S142)と、
    前記撮影毎の前記エッジ点の座標の記憶容量が規定容量以上であると前記容量判定手段が判定したとき、前記第2のメモリにおいて、最も古いタイミングの撮影に対応する前記エッジ点の座標を初期化する初期化手段(S143)と、
    を備えることを特徴とする請求項1ないし6のいずれか1つに記載の車載画像処理装置。
    Whether or not the storage capacity of the coordinates of the edge points for each photographing stored in the second memory is greater than or equal to a specified capacity; capacity determination means (S142);
    When the capacity determination unit determines that the storage capacity of the coordinates of the edge point for each shooting is equal to or greater than a specified capacity, the coordinates of the edge point corresponding to the shooting at the oldest timing are initially set in the second memory. Initialization means for converting (S143);
    The vehicle-mounted image processing apparatus according to claim 1, further comprising:
JP2012281291A 2012-12-25 2012-12-25 In-vehicle image processing device Active JP5849942B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012281291A JP5849942B2 (en) 2012-12-25 2012-12-25 In-vehicle image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012281291A JP5849942B2 (en) 2012-12-25 2012-12-25 In-vehicle image processing device

Publications (2)

Publication Number Publication Date
JP2014126921A true JP2014126921A (en) 2014-07-07
JP5849942B2 JP5849942B2 (en) 2016-02-03

Family

ID=51406390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012281291A Active JP5849942B2 (en) 2012-12-25 2012-12-25 In-vehicle image processing device

Country Status (1)

Country Link
JP (1) JP5849942B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016124401A (en) * 2014-12-26 2016-07-11 アイシン精機株式会社 Parking support device
CN106379235A (en) * 2016-11-10 2017-02-08 维森软件技术(上海)有限公司 Method and device for implementing assistant parking
CN110544386A (en) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 parking space identification method and device and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006175918A (en) * 2004-12-21 2006-07-06 Aisin Seiki Co Ltd Parking auxiliary device
JP2007290557A (en) * 2006-04-25 2007-11-08 Toyota Motor Corp Parking support device and parking support method
JP2008083990A (en) * 2006-09-27 2008-04-10 Aisin Aw Co Ltd Parking support system and parking support method
JP2008143452A (en) * 2006-12-13 2008-06-26 Fujitsu Ten Ltd Image processor
JP2008195357A (en) * 2007-02-15 2008-08-28 Toyota Motor Corp Parking supporting device and parking supporting method
JP2011126433A (en) * 2009-12-18 2011-06-30 Suzuki Motor Corp Parking support device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006175918A (en) * 2004-12-21 2006-07-06 Aisin Seiki Co Ltd Parking auxiliary device
JP2007290557A (en) * 2006-04-25 2007-11-08 Toyota Motor Corp Parking support device and parking support method
JP2008083990A (en) * 2006-09-27 2008-04-10 Aisin Aw Co Ltd Parking support system and parking support method
JP2008143452A (en) * 2006-12-13 2008-06-26 Fujitsu Ten Ltd Image processor
JP2008195357A (en) * 2007-02-15 2008-08-28 Toyota Motor Corp Parking supporting device and parking supporting method
JP2011126433A (en) * 2009-12-18 2011-06-30 Suzuki Motor Corp Parking support device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
里中 久志、外5名: ""自動操舵後退駐車支援システム"", 計測と制御, vol. 45, no. 3, JPN6015044292, 10 March 2006 (2006-03-10), JP, pages 227 - 230, ISSN: 0003189431 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016124401A (en) * 2014-12-26 2016-07-11 アイシン精機株式会社 Parking support device
CN106379235A (en) * 2016-11-10 2017-02-08 维森软件技术(上海)有限公司 Method and device for implementing assistant parking
CN110544386A (en) * 2019-09-18 2019-12-06 奇瑞汽车股份有限公司 parking space identification method and device and storage medium

Also Published As

Publication number Publication date
JP5849942B2 (en) 2016-02-03

Similar Documents

Publication Publication Date Title
JP4360403B2 (en) In-vehicle obstacle detection device
JP4123138B2 (en) Vehicle detection method and vehicle detection device
JP5958366B2 (en) In-vehicle image processing device
JP6601506B2 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method, image processing program, and vehicle
JP5561064B2 (en) Vehicle object recognition device
WO2009011458A1 (en) On-vehicle image processing device
JP5849942B2 (en) In-vehicle image processing device
JP2006072757A (en) Object detection system
DE102015211871A1 (en) Object detection device
JP2011243161A (en) Lane boundary detection apparatus and lane boundary detection program
JP2013244852A (en) Device, method and program of parking support
JP5626147B2 (en) Vehicle approaching object detection device
JP2007310591A (en) Image processor and parking space determination method
JP6375633B2 (en) Vehicle periphery image display device and vehicle periphery image display method
JP5924053B2 (en) Parking assistance device
JP2004126947A (en) Image processor and image processing method
JP5874411B2 (en) Vehicle periphery monitoring device
JP2014106739A (en) In-vehicle image processing device
KR101340014B1 (en) Apparatus and method for providing location information
JP2018073275A (en) Image recognition device
JP2020030466A (en) Object detection device
JP5929330B2 (en) Step detection device
JP6327115B2 (en) Vehicle periphery image display device and vehicle periphery image display method
JP5867167B2 (en) Shadow detection device
JP2019207161A (en) Object detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151117

R150 Certificate of patent or registration of utility model

Ref document number: 5849942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250