JP2012080497A - Parking frame detection device and parking frame detection method - Google Patents
Parking frame detection device and parking frame detection method Download PDFInfo
- Publication number
- JP2012080497A JP2012080497A JP2010226638A JP2010226638A JP2012080497A JP 2012080497 A JP2012080497 A JP 2012080497A JP 2010226638 A JP2010226638 A JP 2010226638A JP 2010226638 A JP2010226638 A JP 2010226638A JP 2012080497 A JP2012080497 A JP 2012080497A
- Authority
- JP
- Japan
- Prior art keywords
- line
- image
- straight line
- parking frame
- straight lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は駐車枠検出装置及び駐車枠検出方法に係り、特に、撮像手段により撮像した車両後方の画像から画像処理技術により駐車場の駐車枠を検出する駐車枠検出装置及び駐車枠検出方法に関するものである。 The present invention relates to a parking frame detection device and a parking frame detection method, and more particularly to a parking frame detection device and a parking frame detection method for detecting a parking frame in a parking lot by an image processing technique from an image behind a vehicle imaged by an imaging means. It is.
車両を後退させて駐車枠に入れるときに、撮像手段により撮像した車両後方の画像を画像処理技術により、歪みを補正した画像及び真上から見下ろしたような俯瞰画像に変換して、運転者に提示する駐車支援装置が実用化されている。駐車支援装置による歪み補正画像は、周囲の視野を確保しつつ駐車枠の線が直線として見えるため、車両が駐車枠に接近するときに運転者にとって有効な画像である。一方、駐車支援装置による俯瞰画像は、車両に近接するエリアの距離感が掴みやすいこと、駐車枠の線と車両との関係が直感的にわかりやすいことから、駐車位置に近づいたときに有効な画像である
撮像した車両後方の画像から駐車枠を検出する方法としては、画像の2値化やエッジ抽出による直線の特徴点抽出、真上から見下ろした俯瞰画像への変換、ハフ変換(Hough変換)による直線抽出、駐車枠の線の線間の幅の判定、といった処理が用いられている。(特許文献1・特許文献2)
When the vehicle is retracted and put into the parking frame, the image behind the vehicle imaged by the imaging means is converted into an image corrected for distortion and an overhead view image looking down from directly above by the image processing technology, to the driver. The parking assistance device to be presented has been put into practical use. The distortion-corrected image by the parking assist device is an image that is effective for the driver when the vehicle approaches the parking frame, because the line of the parking frame appears as a straight line while securing the surrounding visual field. On the other hand, the bird's-eye view image by the parking assistance device is effective when approaching the parking position because it is easy to grasp the sense of distance in the area close to the vehicle and the relationship between the line of the parking frame and the vehicle is intuitively easy to understand. As a method of detecting a parking frame from a captured image behind the vehicle, it is possible to extract a feature point of a straight line by binarization or edge extraction, conversion to a bird's-eye view image looking down from above, Hough transform (Hough transform) Processing such as straight line extraction by, determination of the width between lines of parking frames is used. (Patent Document 1 and Patent Document 2)
ところで、前記撮像手段により撮像した車両後方の画像から駐車枠の線を検出する画像処理技術において、画像中に駐車枠の白色の線だけが写っている場合はよいが、実際の駐車場では様々な状況が存在する。
例えば、
・駐車枠の線の色が白以外(黄色、橙色等)
・駐車枠の線以外の線分(影、地面の汚れ、他車両のボディー等)の写り込み
・駐車枠の線がはっきり写っていない(薄い、途切れ途切れ、消えかかっている)
といった状況が存在する。
このような状況下では、前述従来手法では対応できないため、駐車枠を精度良く検出することができなかった。
By the way, in the image processing technology for detecting the line of the parking frame from the image behind the vehicle imaged by the imaging means, it is good if only the white line of the parking frame is shown in the image, but there are various in an actual parking lot. There is a unique situation.
For example,
・ Line color of parking frame is other than white (yellow, orange, etc.)
-Lines other than parking frame lines (shadows, dirt on the ground, bodies of other vehicles, etc.)-Parking frame lines are not clearly visible (thin, discontinuous, or disappearing)
There are situations like this.
Under such circumstances, the above-described conventional method cannot be used, so that the parking frame cannot be detected with high accuracy.
この発明は、駐車枠の線の左右両端の候補となる直線を精度良く検出でき、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができ、駐車枠を精度良く検出することができる駐車枠検出装置及び駐車枠検出方法を提供することを目的としている。 The present invention can accurately detect candidate straight lines at the left and right ends of the line of the parking frame, can prevent erroneous detection of an irrelevant straight line as both ends of the line of the parking frame, and can accurately detect the parking frame. An object of the present invention is to provide a parking frame detection device and a parking frame detection method that can be used.
この発明は、車両後方を撮像する撮像手段と、前記撮像手段により撮像した後方画像からエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段によりエッジを抽出された画像を俯瞰画像に変換する画像変換手段と、前記画像変換手段により変換された俯瞰画像を左右の領域に分割する領域分割手段と、前記領域分割手段により分割された左右領域からハフ変換により領域毎にそれぞれ直線を検出する直線検出手段と、前記直線検出手段により検出された直線が幅を有する線の端であるか否かを判定する第1の判定手段と、前記第1の判定手段により幅を有する線の端であると判定された複数の直線から左右の領域毎に2本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する第2の判定手段とを備えることを特徴とする。 The present invention relates to an image pickup means for picking up the rear of a vehicle, an edge extraction means for extracting an edge from a rear image picked up by the image pickup means, and an image conversion for converting an image from which the edge is extracted by the edge extraction means into an overhead image. Means, an area dividing means for dividing the overhead image converted by the image converting means into left and right areas, and a straight line detecting means for detecting a straight line for each area from the left and right areas divided by the area dividing means by Hough transform And a first determination unit that determines whether or not the straight line detected by the straight line detection unit is an end of a line having a width, and the first determination unit determines that the line is an end of a line having a width. A second determination unit that forms a combination of two straight lines for each of the left and right regions from the plurality of straight lines and determines whether or not the combination is at both ends of a line having a width. And features.
この発明の駐車枠検出装置は、俯瞰画像を左右の領域に分割するため、駐車枠の線の左右両端の候補となる直線を精度良く検出することができる。
また、この発明の駐車枠検出装置は、直線が幅を有する線の端であるか否かを判定するため、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができる。
さらに、この発明の駐車枠検出装置は、複数の直線から2本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定するため、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができる。
これにより、この発明の駐車枠検出装置は、駐車枠を精度良く検出することができる。
Since the parking frame detection device of the present invention divides the bird's-eye view image into left and right regions, it can accurately detect straight lines that are candidates for the left and right ends of the line of the parking frame.
In addition, since the parking frame detection device of the present invention determines whether or not the straight line is an end of a line having a width, it can prevent erroneous detection of an irrelevant straight line as both ends of the line of the parking frame.
Furthermore, the parking frame detection device of the present invention creates a combination of two straight lines from a plurality of straight lines, and determines whether this combination is at both ends of a line having a width. It is possible to prevent erroneous detection of both ends of the line.
Thereby, the parking frame detection apparatus of this invention can detect a parking frame accurately.
以下図面に基づいて、この発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1〜図19は、この発明の実施例を示すものである。
車両を後退させて駐車枠に入れるときに画像を表示して運転者に提示する駐車支援装置は、歪み補正画像と俯瞰画像とを切換えて表示している。歪み補正画像と俯瞰画像との切換は、運転者が自らスイッチ操作をして切換えることができるが、駐車後退時は周囲確認やハンドル操作などの運転タスクが集中するため、画像切換のスイッチ操作に煩わしさがある。
この発明の出願人は、画像切換のスイッチ操作の煩わしさを解消するために、前記歪み補正画像と俯瞰画像とを自動的に切り換える方法を採用した駐車支援装置を既に出願している。この駐車支援装置は、図17に示すように、撮像手段により撮像した車両後方の画像G1から駐車場1の駐車枠2の左右の線3L・3Rを検出し、車両と線3L・3Rとが平行になった場合に、線3L・3Rの後端3La・3Raを検出して、車両と線後端3La・3Raとの距離がしきい値以下になったときに、画像切換を自動で行うものである。なお、符号4L・4Rは、駐車場1の左右の輪留めである。なお、駐車枠2の線3L・3Rの色は、通常、白であるが、白以外に黄色、橙色等のものがある。
1 to 19 show an embodiment of the present invention.
The parking assistance device that displays an image and presents it to the driver when the vehicle is moved backward and put into the parking frame switches between the distortion correction image and the overhead image and displays them. The driver can switch between the distortion-corrected image and the bird's-eye view image by himself / herself, but when driving backwards, driving tasks such as checking the surroundings and operating the steering wheel are concentrated. There is annoyance.
The applicant of the present invention has already filed an application for a parking assistance apparatus that employs a method of automatically switching between the distortion-corrected image and the overhead view image in order to eliminate the troublesome operation of switching the image. As shown in FIG. 17, the parking assist device detects the left and right lines 3 L and 3 R of the
図16に示すように、画像を自動的に切換える駐車支援装置5は、車両後方を撮像する撮像手段のカメラ6と、画像を表示する表示手段のモニタ7と、カメラ6により撮像された車両の後方画像をモニタ7に表示させる支援制御手段8とを備えている。カメラ6は、車両の後部に取り付けた超広角のバックカメラ等の撮像機器からなる。モニタ7は、車両の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなる。
前記支援制御手段8は、前記カメラ6により撮像された車両後方の駐車枠2を含む画像(図17参照。)を取り込んで記録する画像記録手段9と、画像記録手段9に記録された画像G1の情報から表示画像の切換えを判定して後段の歪み補正画像変換手段11又は俯瞰画像変換手段12に出力する画像切換え判定手段10と、入力された画像G1の歪みを補正して歪み補正画像G2に変換する歪み補正画像変換手段11と、入力された画像G1を俯瞰画像G3に変換する俯瞰画像変換手段12と、歪み補正画像G2又は俯瞰画像G3を切換えて表示(図18参照。)させるように前記モニタ7に出力する画像出力手段13とを備えている。
As shown in FIG. 16, the
The support control means 8 captures and records an image (see FIG. 17) including the
前記駐車支援装置5は、図19に示すように、動作プログラムが開始(101)されると、カメラ6により撮像された車両後方の画像G1を画像記録手段9に取り込んで記録し(102)、記録した画像G1から駐車枠2の線3L・3Rの位置と角度を算出し(103)、車両と線3L・3Rとが平行であるかを判断(104)する。
この判断(104)がNOの場合は、歪み補正画像変換手段11により画像を歪み補正画像G2に変換し(105)、モニタ7に歪み補正画像G2を出力し(106)、プログラムを終了する(107)。前記判断(104)がYESの場合は、画像切換え判定手段10により線後端3La・3Raの検出、輪留め4L・4Rの検出、車速パルスのカウントを行い(108)、画像出力手段13によりモニタ7に出力する画像を切り換えるかを判断する(109)。
この判断(109)がNOの場合は、歪み補正画像変換手段11により画像G1を歪み補正画像G2に変換し(105)、画像出力手段13によりモニタ7に歪み補正画像G2を出力し(106)、プログラムを終了する(107)。一方、この判断(109)がYESの場合は、俯瞰画像変換手段12により画像G1を俯瞰画像G3に変換し(110)、画像出力手段13によりモニタ7に出力する画像を歪み補正画像G2から俯瞰画像G3に切換えて出力し(106)、プログラムを終了する(107)。
As shown in FIG. 19, when the operation program is started (101), the parking assist
If this determination (104) is NO, the distortion corrected image conversion means 11 converts the image into a distortion corrected image G2 (105), outputs the distortion corrected image G2 to the monitor 7 (106), and ends the program ( 107). If the determination (104) is YES, the image switching determination means 10 detects the rear end 3 L a · 3 R a of the line, detects the loop stop 4 L · 4 R , and counts the vehicle speed pulse (108), It is determined whether to switch the image output to the
If this determination (109) is NO, the distortion corrected image converting means 11 converts the image G1 into a distortion corrected image G2 (105), and the image output means 13 outputs the distortion corrected image G2 to the monitor 7 (106). The program is terminated (107). On the other hand, when this determination (109) is YES, the overhead
前記駐車支援装置5においては、駐車を支援するための情報として利用するために、図1〜図15に示すように、撮像した車両後方の画像Gから駐車枠2を駐車枠検出装置及び駐車枠検出方法により検出している。駐車支援装置5は、駐車枠検出装置及び駐車枠検出方法により検出した駐車枠2の情報を、例えば、画像切換え判定手段10における画像切換えの判断や、歪み補正画像変換手段11及び俯瞰画像変換手段12による画像変換などに利用する。
図1に示すように、車両後方の画像から駐車枠を検出する駐車枠検出装置14は、車両後方を撮像する撮像手段としてのカメラ15を備え、このカメラ15により撮像した後方画像から駐車枠2の検出を行う検出制御手段16を備えている。
検出制御手段16は、前記カメラ15により撮像された車両後方の画像G4を取り込んで記録(図3参照)する画像記録手段17と、前記画像記録手段17に記録された後方画像G4からエッジeを抽出するエッジ抽出手段18と、前記エッジ抽出手段18によりエッジeを抽出された画像を俯瞰画像G5に変換(図4参照)する画像変換手段19と、前記画像変換手段19により変換された俯瞰画像G5を左右の領域20L・20Rに分割(図5参照)する領域分割手段21と、前記領域分割手段21により分割された左右領域20L・20Rからハフ変換により領域20L・20R毎にそれぞれ直線22L・22Rを検出(図5参照)する直線検出手段23と、前記直線検出手段23により検出された直線22L・22Rが幅を有する線の端であるか否かを判定する第1の判定手段24と、前記第1の判定手段24により幅を有する線の端であると判定された複数の直線22L・22Rから左右の領域20L・20R毎に2本の直線22L・22Rの組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する第2の判定手段25と、を備えている。
なお、この実施例の駐車枠検出装置14は、駐車支援装置5に内蔵されているので、駐車枠検出装置14のカメラ15、画像記録手段17を、駐車支援装置5のカメラ6、画像記録手段9で代替することができる。
駐車枠検出装置14は、画像G4からエッジeを抽出して、このエッジeを抽出した画像を俯瞰画像G5に変換し、この俯瞰画像G5を左右の領域20L・20Rに分割し、左右領域20L・20Rからハフ変換により領域20L・20R毎にそれぞれ直線22L・22Rを検出し、検出された直線22L・22Rが幅を有する線(この実施例においては駐車枠2の線3L・3R)の端であるか否かを判定し、幅を有する線の端であると判定された複数の直線22L・22Rから左右の領域20L・20R毎に2本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する。
In the
As shown in FIG. 1, a parking
The detection control means 16 captures and records the image G4 behind the vehicle imaged by the camera 15 (see FIG. 3), and the edge e from the rear image G4 recorded in the image recording means 17. Edge extracting means 18 for extracting, image converting means 19 for converting an image from which the edge e is extracted by the edge extracting means 18 into an overhead image G5 (see FIG. 4), and an overhead image converted by the image converting means 19 a region dividing means 21 for G5 divided into left and right areas 20 L · 20 R (see FIG. 5), region 20 by Hough transformation from divided left and right regions 20 L · 20 R by the region dividing means 21 L · 20 R Yes a straight
Since the parking
Parking
次に、駐車枠検出装置14による駐車枠の検出を説明する。図2に示すように、駐車枠検出装置14は、駐車枠検出のプログラムが開始されると(201)、カメラ15により撮像された車両後方の画像G4を画像記録手段17に取り込んで記録(図3参照)し(202)、記録した画像G4から縦エッジeを抽出して俯瞰画像G5に変換(図4参照)する(203)。駐車枠検出装置14では、駐車動作の最終段で、車両が駐車枠2の左右の線3L・3Rとほぼ平行になっている状態で画像を切り換えるため、画像G4から線3L・3Rの方向に延びる縦エッジeのみ抽出すれば良い。
前記変換(203)による俯瞰画像G5上のエッジe点を投票点としてハフ変換処理(図5参照)により、左右の直線22L・22Rの候補を検出する(204)。このとき、俯瞰画像G5を右半分と左半分との領域20L・20Rに分割し、左右領域20L・20Rのそれぞれでハフ変換による直線22L・22Rの候補の検出を行う。
直線22L・22Rの検出(204)は、図5に示すように、俯瞰画像G5の各候補点p(x,y)の座標値x,yから、
ρ=x*sin(θ)+y*cos(θ)
の式により、θminからθmaxまでρの値を計算して、ρ−θ空間に投票する。
俯瞰画像G5の左右の領域20L・20Rのそれぞれで投票点数が最も高かった箇所PL1(ρL1,θL1)とPR1(ρR1,θR1)を第1の候補の直線(以下「第1直線」と記す。)22L1・22R1とし、2番目に高い箇所をPL2(ρL2,θL2)とPR2(ρR2,θR2)を第2の候補の直線(以下「第2直線」と記す。)22L2・22R2とし、3番目に高い箇所をPL3(ρL3,θL3)とPR3(ρR3,θR3)を第3の候補の直線(以下「第3直線」と記す。)22L3・22R3として抽出(図6参照)する。
左右の領域20L・20Rにおける直線22L・22Rの候補の検出(204)に続き、輝度画像を俯瞰画像G5に変換(図7参照)する(205)。カメラ15により撮像された画像G4上の各画素が俯瞰画像G5上のどの画素と対応しているかを計算して画像を変換する。このとき、予め計算結果をテーブルに格納しておき、変換時にテーブルを参照するようにしてもよい。
Next, detection of a parking frame by the parking
The candidates of the left and right straight lines 22 L and 22 R are detected by the Hough transform process (see FIG. 5) using the edge e point on the overhead image G5 by the transformation (203) as a vote point (204). At this time, the bird's-eye view image G5 is divided into right and left half regions 20 L and 20 R , and candidates for straight lines 22 L and 22 R are detected in the left and right regions 20 L and 20 R by Hough transform.
As shown in FIG. 5, the detection (204) of the straight lines 22 L and 22 R is performed from the coordinate values x and y of each candidate point p (x, y) of the overhead image G5.
ρ = x * sin (θ) + y * cos (θ)
The value of ρ is calculated from θmin to θmax and is voted on the ρ-θ space.
The locations P L1 (ρ L1 , θ L1 ) and P R1 (ρ R1 , θ R1 ) having the highest number of votes in each of the left and right regions 20 L and 20 R of the bird's-eye view image G5 are defined as the first candidate straight line (hereinafter referred to as “ R” This is referred to as a “first straight line.” 22 L1 · 22 R1 and the second highest point is P L2 (ρ L2 , θ L2 ) and P R2 (ρ R2 , θ R2 ) as a second candidate straight line (hereinafter referred to as “first straight line”). This is referred to as a “second straight line.” 22 L2 · 22 R2 , and the third highest point is P L3 (ρ L3 , θ L3 ) and P R3 (ρ R3 , θ R3 ) as a third candidate straight line (hereinafter referred to as “second straight line”). This is described as “third straight line.”) 22 L3 · 22 R3 (see FIG. 6).
Following detection of the candidates for the straight lines 22 L and 22 R in the left and right regions 20 L and 20 R (204), the luminance image is converted into an overhead image G5 (see FIG. 7) (205). The image is converted by calculating which pixel on the overhead image G5 each pixel on the image G4 captured by the
変換した輝度の俯瞰画像G5から各直線候補(直線候補とは、直線である可能性が高いという意味ではなく、直線であり、線3L・3Rの幅方向両端のエッジeの候補という意味である。)の輝度変化を検証(図8参照)する(206)。第1の判定である検証(206)では、図8に示すように、直線候補である第1〜第3直線22L1〜22L3・22R1〜22R3の、それぞれ左右両側の近傍エリアAL・ARの輝度平均L・Rを求める。
求めた輝度平均L・Rの差の絶対値が閾値(th)未満(|輝度平均L−輝度平均R|<th)ならばNGとして直線候補とせず、輝度平均L・Rの差の絶対値が閾値(th)以上(|輝度平均L一輝度平均R|≧th)ならばOKとして直線候補とする。さらに、輝度平均L・Rの大小関係から、輝度平均Lが輝度平均R未満(輝度平均L<輝度平均R)ならば左エッジとし、輝度平均Lが輝度平均R以上(輝度平均L≧輝度平均R)ならば右エッジとし、駐車枠2の幅を有する線3L・3Rの左エッジか右エッジかを判定する。
前記第1の判定である輝度変化の検証(206)について、図9〜図11によりさらに詳述する。図9に示すように、俯瞰画像G5を右半分と左半分とに分割した左右領域20L・20Rにおいて、それぞれ直線候補として第1〜第3直線22L1〜22L3・第1〜第3直線22R1〜22R3が抽出された場合について説明する。
図10(C)に示すように、左領域20Lの第3直線22L3は、輝度平均L・Rの差の絶対値が閾値(th)未満なので、直線候補から除外する。図10(A)、(B)に示すように、左領域20Lの第1直線22L1、第2直線22L2は、輝度平均L・Rの差の絶対値が閾値(th)以上なので、直線候補とする。このとき、輝度平均L・Rの差の絶対値の大小関係から、第1直線22L1は左エッジ(黒−白)、第2直線22L2は右エッジ(白−黒)とする。
図11(A)〜(C)に示すように、右領域20Rの第1直線22R1〜第3直線22R3は、いずれも輝度平均L・Rの差の絶対値が閾値(th)以上なので、直線候補とする。このとき、輝度平均L・Rの差の絶対値の大小関係から、第1直線候補22R1は右エッジ(白−黒)、第2直線22R2は左エッジ(黒−白)、第3直線22R3は左エッジ(黒−白)とする。
Each straight line candidate (the straight line candidate is not a high probability of being a straight line, but is a straight line, meaning a candidate for edges e at both ends in the width direction of the lines 3 L and 3 R from the overhead image G5 of the converted luminance. ) Is verified (see FIG. 8) (206). In the verification (206) as the first determination, as shown in FIG. 8, the neighboring areas A L on the left and right sides of the first to third straight lines 22 L1 to 22 L3 and 22 R1 to 22 R3 , which are straight line candidates, respectively. Calculate the luminance average L / R of AR.
If the obtained absolute value of the difference between the luminance average L · R is less than the threshold (th) (| luminance average L−luminance average R | <th), it is not determined as a straight line candidate as NG, but the absolute value of the difference between the luminance average L · R Is equal to or greater than the threshold value (th) (| brightness average L 1 luminance average R | ≧ th), a straight line candidate is determined as OK. Further, from the magnitude relationship of the luminance average L · R, if the luminance average L is less than the luminance average R (luminance average L <luminance average R), the left edge is set, and the luminance average L is equal to or greater than the luminance average R (luminance average L ≧ luminance average). R) is determined as the right edge, and it is determined whether the line 3 L · 3 R having the width of the
The luminance change verification (206), which is the first determination, will be described in more detail with reference to FIGS. As shown in FIG. 9, in the left and right regions 20 L and 20 R obtained by dividing the overhead view image G5 into the right half and the left half, the first to third straight lines 22 L1 to 22 L3 and the first to third are respectively used as straight line candidates. A case where the straight lines 22 R1 to 22 R3 are extracted will be described.
As shown in FIG. 10C, the third line 22 L3 of the left region 20 L is excluded from the line candidates because the absolute value of the difference between the luminance average L · R is less than the threshold value (th). As shown in FIGS. 10A and 10B, the first straight line 22 L1 and the second straight line 22 L2 of the left region 20 L have an absolute value of the difference between the luminance average L · R equal to or greater than a threshold value (th). Straight line candidates. At this time, it is assumed that the first straight line 22 L1 is the left edge (black-white) and the second straight line 22 L2 is the right edge (white-black) because of the magnitude relationship between the absolute values of the differences between the luminance averages L and R.
As shown in FIGS. 11A to 11C, the first straight line 22 R1 to the third straight line 22 R3 of the right region 20 R all have an absolute value of the difference between the luminance average L · R equal to or greater than a threshold value (th). Therefore, it will be a straight line candidate. At this time, the first straight line candidate 22 R1 is the right edge (white-black), the second straight line 22 R2 is the left edge (black-white), and the third straight line from the magnitude relationship of the absolute value of the difference between the luminance average L · R. 22 R3 is the left edge (black-white).
図2に示すように、各直線候補の輝度変化の検証(206)に続き、左領域20Lの第1〜第3直線22L1〜22L3の組合せ(22L1−22L2、22L1−22L3、22L2−22L3)の妥当性、右領域20Rの第1〜第3直線22R1〜22R3の組合せ(22R1−22R2、22R1−22R3、22R2−22R3)の妥当性を検証し、各組合せがOKかNGか判定する(207)。さらに、各組合せの検証結果から、直線候補の組合せを決定する(208)。
前記第2の判定である組合せの検証(207)においては、図12に示すように、検証のプログラムが開始されると(301)、2本の直線候補の原点からの距離ρが小さい方を左エッジ、2本の直線候補の原点からの距離ρが大きい方を右エッジとし(302)、ρの左右関係と輝度平均L・Rの左右関係が一致するかを判断する(303)。この判断(303)がYESの場合は、距離ρの差の絶対値が一定範囲内かを判断する(304)。この判断がYESの場合は、2本の直線候補の角度θの差の絶対値が一定値以下かを判断する(305)。この判断(305)がYESの場合は、組合せOKとし(306)、プログラムを終了する(307)。
一方、前記判断(303)、(304)、(305)がNOの場合は、組合せNGとし(308)、プログラムを終了する(307)。
この組合せの検証(207)において、例えば、左領域20Lの場合は、第1直線22L1−第2直線22L2の組合せの判定がOKならば、第1直線22L1−第2直線22L2を直線候補とする。第1直線22L1−第2直線22L2の判定がNGならば、第1直線22L1−第3直線22L3の組合せを判定する。第1直線22L1−第3直線22L3の判定がOKならば、第1直線22L1−第3直線22L3を直線候補とする。第1直線22L1−第3直線22L3の判定がNGならば、第2直線22L2−第3直線22L3の組合せを判定する。第2直線22L2−第3直線22L3の判定がOKならば、第2直線22L2−第3直線22L3を直線候補とする。第2直線22L2−第3直線22L3の判定がNGならば、直線候補なしとする。また、右領域20Rの場合も、同様に第1〜第3直線22R1〜22R3の組合せを判定し、直線候補の有無を決定する。
As shown in FIG. 2, following the verification (206) of the luminance change in each line candidate, first to third combination of straight lines 22 L1 through 22 L3 of the left region 20 L (22 L1 -22 L2, 22 L1 -22 L3, 22 L2 -22 L3 validity of), the right area 20 first to third straight lines R 22 R1 through 22 R3 combinations (22 R1 -22 R2, 22 R1 -22 R3, 22 R2 -22 R3) The validity is verified and it is determined whether each combination is OK or NG (207). Further, a straight line candidate combination is determined from the verification result of each combination (208).
In the combination verification (207) as the second determination, as shown in FIG. 12, when the verification program is started (301), the distance ρ from the origin of the two straight line candidates is smaller. The left edge has the larger distance ρ from the origin of the two straight line candidates as the right edge (302), and it is determined whether the left-right relation of ρ and the left-right relation of the luminance average L · R match (303). If this determination (303) is YES, it is determined whether the absolute value of the difference in the distance ρ is within a certain range (304). If this determination is YES, it is determined whether the absolute value of the difference between the angles θ of the two straight line candidates is equal to or smaller than a certain value (305). If this determination (305) is YES, the combination is OK (306) and the program is terminated (307).
On the other hand, if the determinations (303), (304), and (305) are NO, the combination is determined as NG (308), and the program is terminated (307).
In the verification of this combination (207), for example, in the case of the left region 20 L, the first straight line 22 L1 - if the determination of the combination of the second linear 22 L2 OK, first straight line 22 L1 - second linear 22 L2 Is a straight line candidate. If the determination of the first straight line 22 L1 -the second straight line 22 L2 is NG, the combination of the first straight line 22 L1 -the third straight line 22 L3 is determined. If the determination of the first straight line 22 L1 to the third straight line 22 L3 is OK, the first straight line 22 L1 to the third straight line 22 L3 are set as straight line candidates. If the determination of the first straight line 22 L1 -the third straight line 22 L3 is NG, the combination of the second straight line 22 L2 -the third straight line 22 L3 is determined. If the determination of the second straight line 22 L2 to the third straight line 22 L3 is OK, the second straight line 22 L2 to the third straight line 22 L3 are set as straight line candidates. If the determination of the second straight line 22 L2 -the third straight line 22 L3 is NG, it is determined that there is no straight line candidate. Also in the case of the right region 20 R, similarly determines first through combination of the third straight line 22 R1 through 22 R3, determining the presence or absence of line candidates.
図9の左領域20Lにおいては、第1直線22L1、第2直線22L2が残ったため、第1直線22L1−第2直線22L2の組合わせを検証し、図11の右領域20Rにおいては、第1直線22R1〜第3直線22R3が残ったため、第1直線22R1−第2直線22R2、第1直線22R1−第3直線22R3、第2直線22R2−第3直線22R3の各組合せの妥当性を検証する。 In the left region 20 L of FIG. 9, the first straight line 22 L1, since the second linear 22 L2 remained, first straight line 22 L1 - verifies the combination of the second straight line 22 L2, right area 20 R of FIG. 11 Since the first straight line 22 R1 to the third straight line 22 R3 remain, the first straight line 22 R1 -the second straight line 22 R2 , the first straight line 22 R1 -the third straight line 22 R3 , the second straight line 22 R2 -the third The validity of each combination of the straight line 22 R3 is verified.
・ρの左右関係と輝度平均L・Rの左右関係が一致するか?
ρは、原点から直線までの距離(図5参照)を表す。原点は左端にあるため、ρの値が小さい(距離が短い)ほうが左、ρの値が大きい(距離が長い)ほうが右になる。図13に示すように、左領域20Lにおいては、原点に近い左側の第1直線22L1のρ1の値よりも、原点から遠い右側の第2直線22L2のρ2の値の方が大きい。
図10に示す左領域20Lにおいて、第1直線22L1、第2直線22L2の関係は、輝度差の方向(第1直線22L1が左、第2直線22L2が右)とρの左右関係(第1直線22L1が左、第2直線22L2が右)が一致する。
図11に示す右領域20Rにおいて、第1直線22R1、第2直線22R2の関係は、輝度差の方向(第1直線22R1が右、第2直線22R2が左)とρの左右関係(第1直線22R1が左、第2直線22R2が右)が一致しない。第1直線22R1、第3直線22R3の関係は、輝度差の方向(第1直線22R1が右、第3直線22R3が左)とρの左右関係(第1直線22R1が右、第3直線22R3が左)が一致する。第2直線22R2、第3直線22R3の関係は、輝度差の方向(第2直線22R2が左、第3直線22R3が左)が同じであるためNGとする。
• Does the right / left relation of ρ match the right / left relation of the luminance average L / R?
ρ represents the distance from the origin to the straight line (see FIG. 5). Since the origin is at the left end, the smaller value of ρ (shorter distance) is on the left, and the larger value of ρ (longer distance) is on the right. As shown in FIG. 13, in the left region 20 L , the value of ρ2 of the second straight line 22 L2 on the right side far from the origin is larger than the value of ρ1 of the first straight line 22 L1 on the left side near the origin.
In the left region 20 L shown in FIG. 10, the relationship between the first straight line 22 L1 and the second straight line 22 L2 is that the luminance difference direction (the first straight line 22 L1 is left, the second straight line 22 L2 is right) and the left and right of ρ The relationship (the first straight line 22 L1 is on the left and the second straight line 22 L2 is on the right) matches.
In the right region 20 R shown in FIG. 11, the relationship between the first straight line 22 R1 and the second straight line 22 R2 is that the luminance difference direction (the first straight line 22 R1 is right and the second straight line 22 R2 is left) and the left and right of ρ The relationship (first straight line 22 R1 is left, second straight line 22 R2 is right) does not match. The first straight line 22 R1, the relationship of the third straight line 22 R3 is the direction of the luminance difference (first straight line 22 R1 is right, the third straight line 22 R3 is left) lateral relationship (first straight line 22 R1 and ρ is the right, The third straight line 22 R3 matches the left). Second linear 22 R2, the relationship of the third straight line 22 R3 is the direction of the luminance difference (second straight line 22 R2 is left, the third straight line 22 R3 is left) and NG is the same.
・ρの差の絶対値が一定範囲内か?
ρの差の絶対値は、直線間の距離(図5参照)であるため、駐車枠2の線3L・3Rの線幅(線の太さ)を表す。距離が一定範囲内になっているか確認する。あらかじめ検出すべき駐車枠2の線3L・3Rの線幅について最小値と最大値を決めておき、
最小値<ρの差の絶対値<最大値 → OK
とする。
・ Is the absolute value of ρ difference within a certain range?
Since the absolute value of the difference of ρ is the distance between straight lines (see FIG. 5), it represents the line width (line thickness) of the lines 3 L and 3 R of the
Minimum value <absolute value of difference of ρ <maximum value → OK
And
・θの差の絶対値が一定値以下か?
θの差の絶対値は、直線間の角度差(図5参照)を表す。角度差が一定値以下(平行)になっているか確認する。駐車伜2の線3L・3Rの線幅(線の太さ)は一定であるため、平行でない場合は線3L・3Rではないものとする。
・ Is the absolute value of the θ difference smaller than a certain value?
The absolute value of the difference in θ represents the angle difference between straight lines (see FIG. 5). Check if the angle difference is below a certain value (parallel). Since the line width (line thickness) of the line 3 L · 3 R of the
図2に示すように、直線候補の組合せの決定(208)の後、駐車枠2の有無の判定を行う(209)。駐車枠2の判定においては、図14に示すように、判定のプログラムが開始されると(401)、左右の領域20L・20Rとも駐車伜2の線3L・3Rを示す直線候補(図15において、左領域20Lの第1直線22L1−第2直線22L2・右領域20Rの第1直線22R1−第3直線22R3)が存在するかを判断する(402)。
この判断(401)がYESの場合は、線3Lと線3Rとの原点からの距離ρの差(図15においては、第2直線22L2、第3直線22R3間の距離)が一定範囲内かを判断する(403)。この判断(403)がYESの場合は、線3Lと線3Rとの原点に対する角度θの差(図5参照)が一定範値以下かを判断する(404)。この判断(404)がYESの場合は、駐車枠2が存在するとし(405)、プログラムを終了する(406)。
一方、前記判断(402)、(403)、(404)がNOの場合は、駐車枠2が存在しないとし(407)、プログラムを終了する(406)。
As shown in FIG. 2, after the straight line candidate combination is determined (208), the presence / absence of the
If the determination (401) is YES, the line 3 L and the line 3 the difference between the distance ρ from the origin of the R (in FIG. 15, the second straight line 22 L2, the distance between the third straight line 22 R3) is constant It is determined whether it is within the range (403). When the determination (403) is YES, the difference in the angle θ to the origin of the line 3 L and the line 3 R (see FIG. 5) is equal to or less than a predetermined range value (404). If this determination (404) is YES, it is assumed that there is a parking frame 2 (405), and the program is terminated (406).
On the other hand, if the determinations (402), (403), and (404) are NO, it is determined that the
この駐車枠2の有無の判定(209)においては、左右の領域20L・20Rのそれぞれにおいて、直線22Lの組合せ(22L1−22L2、22L1−22L3、22L2−22L3)及び直線22Rの組合せ(22R1−22R2、22R1−22R3、22R2−22R3)のうち、OKの組み合わせが存在した場合、駐車枠2かどうかの判定を行うものである。
左領域20Lの第1〜第3直線22L1〜22L3の組合わせのうち右側の線(図15においては第2直線22L2)を、右領域20Rの第1〜第3直線22R1〜22R3の組合わせのうち左側の線(図15においては第3直線22R3)を選択する。
左領域20Lの第2直線22L2と右領域20Rの第3直線22R3との原点からの距離ρの差が一定範囲内かを確認する。あらかじめ検出すべき駐車枠2の線3L・3Rの幅について最小値と最大値を決めておき、
最小値<ρの差<最大値 → OK
とする。
さらに、左領域20Lの第2直線22L2と右領域20Rの第3直線22R3との原点に対する角度θの差が一定値以下(平行)であるか確認する。角度θの差が一定値以下ならば、駐車枠2の左右の線3L・3Rは平行であるものとする。
Determination of the presence or absence of the parking frame 2 (209) in, in each of the left and right regions 20 L · 20 R, a combination of the straight line 22 L (22 L1 -22 L2, 22 L1 -22 L3, 22 L2 -22 L3) and linear 22 R combination (22 R1 -22 R2, 22 R1 -22 R3, 22 R2 -22 R3) of, when a combination of OK is present, in which it is determined whether the
Of the combinations of the first to third straight lines 22 L1 to 22 L3 of the left region 20 L , the right line (second straight line 22 L2 in FIG. 15) is the first to third straight lines 22 R1 of the right region 20 R. left line of the combination through 22 R3 (in Fig. 15 the third linear 22 R3) selected.
It is confirmed whether the difference in the distance ρ from the origin between the second straight line 22 L2 of the left region 20 L and the third straight line 22 R3 of the right region 20 R is within a certain range. Decide the minimum and maximum values for the width of lines 3 L and 3 R of the
Minimum value <difference of ρ <maximum value → OK
And
Furthermore, to confirm that it is the difference between the angle θ to the origin of the third straight line 22 R3 of the second straight line 22 L2 and the right region 20 R of the left region 20 L is smaller than a predetermined value (parallel). If the difference of the angle θ is equal to or less than a certain value, the left and right lines 3 L and 3 R of the
図2に示すように、駐車枠2の有無の判定(209)の後は、プログラムを終了する(210)。この駐車枠検出装置14による駐車枠2の判定結果の情報は、前記駐車支援装置5において、画像切換えの判断などに利用される。
As shown in FIG. 2, after determining whether there is a parking frame 2 (209), the program ends (210). Information on the determination result of the
このように、駐車枠検出装置14は、カメラ15と、画像記録手段17と、エッジ抽出手段18と、画像変換手段19と、領域分割手段21と、直線検出手段23と、第1の判定手段24と、第2の判定手段25とを備え、画像G4からエッジeを抽出して、このエッジeを抽出した画像を俯瞰画像G5に変換し、この俯瞰画像G5を左右の領域20L・20Rに分割し、左右領域20L・20Rからハフ変換により領域20L・20R毎にそれぞれ直線22L・22Rを検出し、検出された直線22L・22Rが幅を有する線の端であるか否かを判定し、幅を有する線の端であると判定された複数の直線22L・22Rから左右の領域20L・20R毎に2本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する。
この駐車枠検出装置14は、俯瞰画像G5を左右の領域20L・20Rに分割するため、駐車枠2の線3L・3Rの左右両端の候補となる直線を精度良く検出することができる。また、この駐車枠検出装置14は、右領域20Lの直線22L及び左領域20Rの直線22Rが幅を有する線の端であるか否かを判定するため、無関係な直線22L・22Rを駐車枠2の線3L・3Rの両端と誤検出することを防ぐことができる。さらに、この駐車枠検出装置14は、複数の直線22L1〜22L3から2本の直線の組合せをつくり、また複数の直線22R1〜22R3から2本の直線の組合せをつくり、この組合せが駐車枠2の幅を有する線3L・3Rの両端であるか否かを判定するため、無関係な直線を駐車枠2の線3L・3Rの両端と誤検出することを防ぐことができる。
これにより、この駐車枠検出装置14は、駐車枠2を精度良く検出することができる。
Thus, the parking
Since this parking
Thereby, this parking
また、駐車枠検出装置14は、以下のような効果を奏することができる。
前記第1の判定手段24は、ハフ変換により検出された各直線22L及び各直線22Rの両側近傍に一定幅のエリアAL・ARを設定し、各エリアAL・AR内の画素の輝度平均を算出し、各直線22L及び各直線22Rにおいて両側のエリアAL・ARの輝度平均の差を算出し、この差の絶対値が予め定められた値未満の時には、この直線22L及び直線22Rを以降の判定の対象としない。
これにより、駐車枠検出装置14は、駐車枠2の幅を有する線3L・3Rの両端のどちらにも当てはまらない直線を除くことにより、無関係な直線を駐車枠2の1本の線3Lあるいは線3Rの左右両端と誤検出することを防ぐことができる。
Moreover, the parking
The first determination means 24 sets areas A L and A R having a constant width in the vicinity of both sides of each straight line 22 L and each straight line 22 R detected by the Hough transform, and each of the areas A L and A R The luminance average of the pixels is calculated, and the difference in luminance average between the areas A L and A R on both sides of each straight line 22 L and each straight line 22 R is calculated. When the absolute value of this difference is less than a predetermined value, The straight line 22L and the straight line 22R are not subject to subsequent determination.
Thereby, the parking
前記第2の判定手段25は、各直線22L及び各直線22Rにおいて両側のエリアAL・ARの輝度平均の大小関係から、直線22L及び直線22Rが幅を有する線のどちら側の端に該当するかを検出し、任意に選択された2本の直線22L及び2本の直線22Rが幅を有する線の同じ側の端である場合には、この2本の直線22L及び2本の直線22Rの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置14は、幅を有する線3L・3Rの両端に該当しない2本の直線の組合せを除くことにより、無関係な直線を駐車枠2の1本の線3Lあるいは線3Rの左右両端と誤検出することを防ぐことができる。
The
As a result, the parking
また、前記第2の判定手段25は、輝度平均の大小関係から検出された2本の直線22Lの位置関係及び2本の直線22Rの位置関係が、直線が幅を有する線の両側の端に該当した場合でも、直線が幅を有する線の両側の端としてありえない位置関係にある場合には、この2本の直線22Lの組合せ及び2本の直線22Rの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置14は、ありえない位置関係にある2本の直線22Lの組合せ及び2本の直線22Rの組合せを除くことにより、無関係な直線を駐車枠2の1本の線3Lあるいは線3Rの左右両端と誤検出することを防ぐことができる。
Also, the
Thus, the parking
さらに、前記第2の判定手段25は、2本の直線22L間の距離及び2本の直線22R間の距離が予め設定された範囲内にない場合には、この2本の直線22Lの組合せ及び2本の直線22Rの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置14は、駐車枠2の線3L・3Rの幅としてありえない2本の直線の組合せを除くことにより、無関係な直線を駐車枠2の1本の線3Lあるいは線3Rの左右両端と誤検出することを防ぐことができる。
Further, the
As a result, the parking
さらにまた、前記第2の判定手段25は、2本の直線22L間の角度差及び2本の直線22R間の角度差が予め設定された範囲内にない場合には、この2本の直線22Lの組合せ及び2本の直線22Rの組合せを以降の判定の対象としない。
これにより、駐車枠検出装置14は、線幅が変化している2本の直線22Lの組合せあるいは直線22Rの組合せを除くことにより、無関係な直線を駐車枠2の1本の線3Lあるいは線3Rの左右両端と誤検出することを防ぐことができる。
Furthermore, the
As a result, the parking frame detection device 14 removes a combination of the two straight lines 22 L or the combination of the straight lines 22 R whose line widths are changed, thereby removing an unrelated straight line from the single line 3 L of the
また、前記エッジ抽出手段18は、カメラ15の画像G4から縦エッジeを抽出する。
これにより、駐車枠検出装置14は、駐車枠2の左右の線3L・3Rに対して車両が平行である時に駐車枠2を検出する場合、エッジ抽出の計算量を減らすことができる。
Further, the edge extracting means 18 extracts the vertical edge e from the image G4 of the
Thereby, when detecting the
この発明は、駐車枠の線の左右両端の候補となる直線を精度良く検出でき、無関係な直線を駐車枠の線の両端と誤検出することを防ぐことができ、駐車枠を精度良く検出することができるものであり、駐車枠にかぎらず、線状の図形の検出に利用することができる。 The present invention can accurately detect candidate straight lines at the left and right ends of the line of the parking frame, can prevent erroneous detection of an irrelevant straight line as both ends of the line of the parking frame, and can accurately detect the parking frame. Therefore, the present invention can be used for detecting a linear figure without being limited to a parking frame.
1 駐車場
2 駐車枠
3L 左の線
3R 右の線
5 駐車支援装置
14 駐車枠検出装置
15 カメラ
16 検出制御手段
17 画像記録手段
18 エッジ抽出手段
19 画像変換手段
20L 左の領域
20R 右の領域
21 領域分割手段
22L 左の直線
22R 右の直線
23 直線検出手段
24 第1の判定手段
25 第2の判定手段
DESCRIPTION OF SYMBOLS 1
Claims (8)
前記撮像手段により撮像した後方画像からエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によりエッジを抽出された画像を俯瞰画像に変換する画像変換手段と、
前記画像変換手段により変換された俯瞰画像を左右の領域に分割する領域分割手段と、
前記領域分割手段により分割された左右領域からハフ変換により領域毎にそれぞれ直線を検出する直線検出手段と、
前記直線検出手段により検出された直線が幅を有する線の端であるか否かを判定する第1の判定手段と、
前記第1の判定手段により幅を有する線の端であると判定された複数の直線から左右の領域毎に2本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定する第2の判定手段とを備えることを特徴とする駐車枠検出装置。 Imaging means for imaging the rear of the vehicle;
Edge extraction means for extracting an edge from a rear image captured by the imaging means;
Image conversion means for converting the image from which the edge has been extracted by the edge extraction means into an overhead image;
Area dividing means for dividing the overhead image converted by the image converting means into left and right areas;
Straight line detecting means for detecting straight lines for each area by Hough transform from the left and right areas divided by the area dividing means,
First determination means for determining whether or not the straight line detected by the straight line detection means is an end of a line having a width;
A combination of two straight lines is created for each of the left and right regions from a plurality of straight lines determined to be the ends of a line having a width by the first determining means, and whether or not this combination is both ends of a line having a width. A parking frame detection device comprising: a second determination unit that determines whether or not.
この俯瞰画像を左右の領域に分割し、
左右領域からハフ変換により領域毎にそれぞれ直線を検出し、
検出された直線が幅を有する線の端であるか否かを判定し、
幅を有する線の端であると判定された複数の直線から左右の領域毎に2本の直線の組合せをつくり、この組合せが幅を有する線の両端であるか否かを判定することを特徴とする駐車枠検出方法。 Extract an edge from the image, convert the extracted image into an overhead image,
This overhead image is divided into left and right areas,
Detect straight lines for each area by Hough transform from the left and right areas,
Determine whether the detected straight line is the end of a line having a width;
A combination of two straight lines is created for each of the left and right regions from a plurality of straight lines determined to be the ends of a line having a width, and it is determined whether or not this combination is at both ends of a line having a width. Parking frame detection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010226638A JP5574235B2 (en) | 2010-10-06 | 2010-10-06 | Parking frame detection device and parking frame detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010226638A JP5574235B2 (en) | 2010-10-06 | 2010-10-06 | Parking frame detection device and parking frame detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012080497A true JP2012080497A (en) | 2012-04-19 |
JP5574235B2 JP5574235B2 (en) | 2014-08-20 |
Family
ID=46240179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010226638A Active JP5574235B2 (en) | 2010-10-06 | 2010-10-06 | Parking frame detection device and parking frame detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5574235B2 (en) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014084113A1 (en) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | On-board image processing device |
WO2014083827A1 (en) * | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | Vehicle acceleration-suppression device |
JP2014117989A (en) * | 2012-12-14 | 2014-06-30 | Nippon Soken Inc | Parking assistance device |
JP2015030363A (en) * | 2013-08-01 | 2015-02-16 | 日産自動車株式会社 | Vehicular acceleration suppression apparatus and vehicular acceleration suppression method |
JP2015098306A (en) * | 2013-11-20 | 2015-05-28 | 日産自動車株式会社 | Acceleration controller for vehicle |
JP2015104981A (en) * | 2013-11-29 | 2015-06-08 | 日産自動車株式会社 | Vehicular acceleration suppression apparatus and vehicular acceleration suppression method |
WO2015186294A1 (en) * | 2014-06-02 | 2015-12-10 | 株式会社デンソー | Vehicle-mounted image-processing device |
CN107426535A (en) * | 2017-05-26 | 2017-12-01 | 中国石油大学(华东) | The anti-lost processing system for video of supermarket check out counters goods and method |
JP2018079929A (en) * | 2018-01-10 | 2018-05-24 | 日産自動車株式会社 | Drive support apparatus |
WO2018105179A1 (en) | 2016-12-07 | 2018-06-14 | クラリオン株式会社 | Vehicle-mounted image processing device |
JP2018116431A (en) * | 2017-01-17 | 2018-07-26 | 株式会社デンソーテン | Division line detection device, division line detection system, and division line detection method |
JP2019163023A (en) * | 2018-03-19 | 2019-09-26 | 株式会社デンソーテン | Parking frame construction device and parking frame construction method |
JP2019177764A (en) * | 2018-03-30 | 2019-10-17 | Necソリューションイノベータ株式会社 | Parking space detection device, parking space detection method and control program |
JP2020095626A (en) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
CN111824129A (en) * | 2019-04-22 | 2020-10-27 | 歌乐株式会社 | Image processing apparatus and image processing method |
WO2024004305A1 (en) * | 2022-06-29 | 2024-01-04 | 株式会社日立製作所 | Structure image analysis device, structure image analysis method, and program |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09218937A (en) * | 1996-02-08 | 1997-08-19 | Nippon Soken Inc | Compartment line detector |
JP2001180402A (en) * | 1999-12-24 | 2001-07-03 | Toyota Autom Loom Works Ltd | Steering support device in parking |
JP2004145501A (en) * | 2002-10-23 | 2004-05-20 | Nissan Motor Co Ltd | Road white line recognizing device |
JP2005157723A (en) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | Traffic lane recognition device and traffic lane recognition method |
JP2006031365A (en) * | 2004-07-15 | 2006-02-02 | Mitsubishi Electric Corp | Traffic lane recognition image processing apparatus |
JP2006236055A (en) * | 2005-02-25 | 2006-09-07 | Victor Co Of Japan Ltd | Road recognition device and road recognition method |
JP2008213744A (en) * | 2007-03-06 | 2008-09-18 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle periphery monitoring device |
JP2009200925A (en) * | 2008-02-22 | 2009-09-03 | Suzuki Motor Corp | Device for supporting vehicle parking |
JP2009284386A (en) * | 2008-05-26 | 2009-12-03 | Suzuki Motor Corp | Parking support device for vehicle |
JP2010123012A (en) * | 2008-11-21 | 2010-06-03 | Suzuki Motor Corp | Wheel stop detection device and rearward image display apparatus |
JP2010126059A (en) * | 2008-11-28 | 2010-06-10 | Suzuki Motor Corp | Vehicular parking assist device |
-
2010
- 2010-10-06 JP JP2010226638A patent/JP5574235B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09218937A (en) * | 1996-02-08 | 1997-08-19 | Nippon Soken Inc | Compartment line detector |
JP2001180402A (en) * | 1999-12-24 | 2001-07-03 | Toyota Autom Loom Works Ltd | Steering support device in parking |
JP2004145501A (en) * | 2002-10-23 | 2004-05-20 | Nissan Motor Co Ltd | Road white line recognizing device |
JP2005157723A (en) * | 2003-11-26 | 2005-06-16 | Nissan Motor Co Ltd | Traffic lane recognition device and traffic lane recognition method |
JP2006031365A (en) * | 2004-07-15 | 2006-02-02 | Mitsubishi Electric Corp | Traffic lane recognition image processing apparatus |
JP2006236055A (en) * | 2005-02-25 | 2006-09-07 | Victor Co Of Japan Ltd | Road recognition device and road recognition method |
JP2008213744A (en) * | 2007-03-06 | 2008-09-18 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle periphery monitoring device |
JP2009200925A (en) * | 2008-02-22 | 2009-09-03 | Suzuki Motor Corp | Device for supporting vehicle parking |
JP2009284386A (en) * | 2008-05-26 | 2009-12-03 | Suzuki Motor Corp | Parking support device for vehicle |
JP2010123012A (en) * | 2008-11-21 | 2010-06-03 | Suzuki Motor Corp | Wheel stop detection device and rearward image display apparatus |
JP2010126059A (en) * | 2008-11-28 | 2010-06-10 | Suzuki Motor Corp | Vehicular parking assist device |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2014083827A1 (en) * | 2012-11-27 | 2017-01-05 | 日産自動車株式会社 | Vehicle acceleration suppression device |
WO2014083827A1 (en) * | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | Vehicle acceleration-suppression device |
JP2014106703A (en) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | In-vehicle image processing device |
WO2014084113A1 (en) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | On-board image processing device |
CN104823214A (en) * | 2012-11-27 | 2015-08-05 | 歌乐牌株式会社 | On-board image processing device |
US9690996B2 (en) | 2012-11-27 | 2017-06-27 | Clarion Co., Ltd. | On-vehicle image processor |
US9616885B2 (en) | 2012-11-27 | 2017-04-11 | Nissan Motor Co., Ltd. | Vehicular acceleration suppression device |
JP5846317B2 (en) * | 2012-11-27 | 2016-01-20 | 日産自動車株式会社 | Vehicle acceleration suppression device |
JP2014117989A (en) * | 2012-12-14 | 2014-06-30 | Nippon Soken Inc | Parking assistance device |
JP2015030363A (en) * | 2013-08-01 | 2015-02-16 | 日産自動車株式会社 | Vehicular acceleration suppression apparatus and vehicular acceleration suppression method |
JP2015098306A (en) * | 2013-11-20 | 2015-05-28 | 日産自動車株式会社 | Acceleration controller for vehicle |
JP2015104981A (en) * | 2013-11-29 | 2015-06-08 | 日産自動車株式会社 | Vehicular acceleration suppression apparatus and vehicular acceleration suppression method |
WO2015186294A1 (en) * | 2014-06-02 | 2015-12-10 | 株式会社デンソー | Vehicle-mounted image-processing device |
JP2015227139A (en) * | 2014-06-02 | 2015-12-17 | 株式会社日本自動車部品総合研究所 | On-vehicle image processing apparatus |
US10977504B2 (en) | 2016-12-07 | 2021-04-13 | Clarion Co., Ltd. | Vehicle-mounted image target objection recognition device |
WO2018105179A1 (en) | 2016-12-07 | 2018-06-14 | クラリオン株式会社 | Vehicle-mounted image processing device |
JP2018116431A (en) * | 2017-01-17 | 2018-07-26 | 株式会社デンソーテン | Division line detection device, division line detection system, and division line detection method |
CN107426535A (en) * | 2017-05-26 | 2017-12-01 | 中国石油大学(华东) | The anti-lost processing system for video of supermarket check out counters goods and method |
JP2018079929A (en) * | 2018-01-10 | 2018-05-24 | 日産自動車株式会社 | Drive support apparatus |
JP2019163023A (en) * | 2018-03-19 | 2019-09-26 | 株式会社デンソーテン | Parking frame construction device and parking frame construction method |
JP7164172B2 (en) | 2018-03-19 | 2022-11-01 | 株式会社デンソーテン | PARKING FRAME CONSTRUCTION DEVICE AND PARKING FRAME CONSTRUCTION METHOD |
JP2019177764A (en) * | 2018-03-30 | 2019-10-17 | Necソリューションイノベータ株式会社 | Parking space detection device, parking space detection method and control program |
JP2020095626A (en) * | 2018-12-14 | 2020-06-18 | 株式会社デンソーテン | Image processing device and image processing method |
JP7359541B2 (en) | 2018-12-14 | 2023-10-11 | 株式会社デンソーテン | Image processing device and image processing method |
CN111824129A (en) * | 2019-04-22 | 2020-10-27 | 歌乐株式会社 | Image processing apparatus and image processing method |
CN111824129B (en) * | 2019-04-22 | 2024-04-05 | 歌乐株式会社 | Image processing apparatus and image processing method |
WO2024004305A1 (en) * | 2022-06-29 | 2024-01-04 | 株式会社日立製作所 | Structure image analysis device, structure image analysis method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5574235B2 (en) | 2014-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5574235B2 (en) | Parking frame detection device and parking frame detection method | |
US9704404B2 (en) | Lane detection apparatus and operating method for the same | |
US20170158134A1 (en) | Image display device and image display method | |
JP4731392B2 (en) | In-vehicle peripheral status presentation device | |
US8526681B2 (en) | On-vehicle image processing device for vehicular control | |
US20150142267A1 (en) | Parking assistance system and method for vehicle | |
JP6657034B2 (en) | Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system | |
JP2017147629A (en) | Parking position detection system, and automatic parking system using the same | |
JP2019191806A (en) | Abnormality detection device and abnormality detection method | |
JP2006238131A (en) | Vehicle periphery monitoring apparatus | |
JP2010061375A (en) | Apparatus and program for recognizing object | |
JP2008068675A (en) | Apparatus for visually confirming vehicle periphery | |
JP5155204B2 (en) | White line detector | |
JP5510900B2 (en) | Parking assistance device | |
JP2011126433A (en) | Parking support device | |
JP2008064716A (en) | Vehicle azimuth correcting system | |
JP5549812B2 (en) | White line end detection method and parking assist device using the same | |
JP2009290788A (en) | Parking support device | |
JP2010286995A (en) | Image processing system for vehicle | |
JP2012096585A (en) | Parking support device | |
US20200331388A1 (en) | Image display system | |
JP2008042759A (en) | Image processing apparatus | |
JP2012118656A (en) | Parking frame detection device and parking frame detection method | |
JP5774414B2 (en) | Vehicle detection device | |
JP4584277B2 (en) | Display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140404 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140619 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5574235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |