JP2017147629A - Parking position detection system, and automatic parking system using the same - Google Patents
Parking position detection system, and automatic parking system using the same Download PDFInfo
- Publication number
- JP2017147629A JP2017147629A JP2016028655A JP2016028655A JP2017147629A JP 2017147629 A JP2017147629 A JP 2017147629A JP 2016028655 A JP2016028655 A JP 2016028655A JP 2016028655 A JP2016028655 A JP 2016028655A JP 2017147629 A JP2017147629 A JP 2017147629A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- parking
- parking position
- unit
- detection system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 135
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 22
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、車両の駐車位置を検出する駐車位置検出システム及びそれを用いた自動駐車システムに関する。 The present invention relates to a parking position detection system for detecting a parking position of a vehicle and an automatic parking system using the same.
従来の自動駐車システムでは、車両後方を撮影する車載カメラを使って、駐車区画枠（白線など）を検出して、検出した駐車区画枠に車両を誘導している（特許文献１）。 In a conventional automatic parking system, a parking partition frame (white line or the like) is detected using an in-vehicle camera that captures the rear of the vehicle, and the vehicle is guided to the detected parking partition frame (Patent Document 1).
上述した従来の自動駐車システムでは、図１５の白抜き矢印で示す目標駐車区画枠に対し、その両隣に駐車車両がある場合、自車両の停車位置によっては、目標駐車区画枠が両隣の駐車車両の陰となり、目標駐車区画枠の白線が見えず（認識できず）、目標駐車区画枠の検出ができないという問題がある。 In the conventional automatic parking system described above, when there is a parked vehicle adjacent to the target parking block frame indicated by the white arrow in FIG. 15, depending on the stop position of the own vehicle, the target parking block frame is adjacent to the parked vehicle. As a result, the white line of the target parking partition frame cannot be seen (cannot be recognized), and the target parking partition frame cannot be detected.
本発明は上記課題に鑑みなされたもので、目標駐車位置、目標駐車区画枠を確実に検出することができる駐車位置検出システム及びそれを用いた自動駐車システムを提供することを目的とする。 This invention is made | formed in view of the said subject, and it aims at providing the parking position detection system which can detect a target parking position and a target parking partition frame reliably, and an automatic parking system using the same.
上記課題を解決する第１の発明に係る駐車位置検出システムは、
車両の側方の駐車区画の前を走行しながら、前記駐車区画を含む路面の画像を撮影する撮影手段と、
前記車両の走行中の移動量及び移動方向に基づいて、自車位置を計算する自車位置計算部と、
前記撮影手段で撮影された前記画像を俯瞰画像に変換する俯瞰画像変換部と、
前記俯瞰画像変換部で変換された前記俯瞰画像から直線を検出する直線検出部と、
前記直線検出部で検出された前記直線から前記車両の車長方向に垂直な垂線を検出する垂線検出部と、
前記垂線検出部で検出された前記垂線から、前記垂線同士の線間距離が駐車区画線幅に相当する垂線ペアを抽出する垂線ペア抽出部と、
前記垂線ペア抽出部で抽出した前記垂線ペアの中線を計算する中線計算部と、
駐車位置の初期位置を有する初期情報部と、
前記中線計算部で計算した前記中線について、前記初期位置に最も近い前記中線上の位置を前記車両の目標駐車位置として計算する目標駐車位置計算部と、を有する
ことを特徴とする。
The parking position detection system according to the first invention for solving the above-mentioned problems is
A photographing means for photographing an image of a road surface including the parking section while traveling in front of the parking section on the side of the vehicle;
Based on the amount of movement and the direction of movement of the vehicle while traveling, a vehicle position calculation unit that calculates the vehicle position;
An overhead image conversion unit that converts the image captured by the imaging means into an overhead image;
A straight line detection unit for detecting a straight line from the overhead image converted by the overhead image conversion unit;
A perpendicular detection unit for detecting a perpendicular perpendicular to the vehicle length direction of the vehicle from the straight line detected by the straight line detection unit;
From the perpendicular detected by the perpendicular detection unit, a perpendicular pair extraction unit that extracts a perpendicular pair in which a distance between the perpendiculars corresponds to a parking lot line width;
A middle line calculation unit for calculating a middle line of the perpendicular pair extracted by the perpendicular pair extraction unit;
An initial information part having an initial position of the parking position;
A target parking position calculation unit that calculates a position on the middle line closest to the initial position as a target parking position of the vehicle for the middle line calculated by the middle line calculation unit;
上記課題を解決する第２の発明に係る駐車位置検出システムは、
上記第１の発明に記載の駐車位置検出システムにおいて、
前記自車位置計算部で計算された前記自車位置と前記俯瞰画像変換部で変換された前記俯瞰画像に基づいて、前記移動量に応じて複数の前記俯瞰画像をずらしながら重ね合わせて側方パノラマ画像を作成する側方パノラマ画像作成部を更に有し、
前記直線検出部は、前記側方パノラマ画像作成部で作成された前記側方パノラマ画像から直線を検出する
ことを特徴とする。
A parking position detection system according to a second invention for solving the above-described problem is as follows.
In the parking position detection system according to the first invention,
Based on the vehicle position calculated by the vehicle position calculation unit and the bird's-eye view image converted by the bird's-eye view image conversion unit, a plurality of the bird's-eye images are shifted in accordance with the amount of movement and overlapped to the side. It further has a side panorama image creation unit for creating a panorama image,
The straight line detection unit detects a straight line from the side panorama image created by the side panorama image creation unit.
上記課題を解決する第３の発明に係る駐車位置検出システムは、
上記第１又は第２の発明に記載の駐車位置検出システムにおいて、
前記俯瞰画像又は前記側方パノラマ画像から所定範囲の領域を切り出す切出部を更に有し、
前記直線検出部は、前記切出部で切り出した前記領域から直線を検出する
ことを特徴とする。
A parking position detection system according to a third invention for solving the above-mentioned problem is as follows.
In the parking position detection system according to the first or second invention,
A cutout unit that cuts out a region of a predetermined range from the overhead image or the side panoramic image;
The straight line detecting unit detects a straight line from the region cut out by the cutout unit.
上記課題を解決する第４の発明に係る駐車位置検出システムは、
上記第１〜第３のいずれか１つの発明に記載の駐車位置検出システムにおいて、
前記目標駐車位置計算部で計算した前記目標駐車位置を有する前記中線を与える前記垂線ペアを、前記車両が駐車する目標駐車区画枠として検出する目標駐車区画検出部を更に有する
ことを特徴とする。
A parking position detection system according to a fourth invention for solving the above-mentioned problems is as follows.
In the parking position detection system according to any one of the first to third inventions,
The apparatus further comprises a target parking area detection unit that detects the perpendicular pair that gives the middle line having the target parking position calculated by the target parking position calculation unit as a target parking area frame in which the vehicle is parked. .
上記課題を解決する第５の発明に係る駐車位置検出システムは、
上記第１〜第４のいずれか１つの発明に記載の駐車位置検出システムにおいて、
前記車両の走行中に、他の車両が駐車していない空スペースを前記車両の側方で検出する空スペース検出手段を更に有し、
前記初期情報部は、前記空スペース検出手段で検出した前記空スペースの位置を前記初期位置とする
ことを特徴とする。
A parking position detection system according to a fifth invention for solving the above-mentioned problem is as follows.
In the parking position detection system according to any one of the first to fourth inventions,
The vehicle further comprises an empty space detecting means for detecting an empty space on the side of the vehicle where no other vehicle is parked while the vehicle is running.
The initial information section is characterized in that the position of the empty space detected by the empty space detecting means is set as the initial position.
上記課題を解決する第６の発明に係る自動駐車システムは、
上記第１〜第５のいずれか１つの発明に記載の駐車位置検出システムと、
前記車両のステアリングを操舵するアクチュエータとを少なくとも有し、
前記アクチュエータにより前記ステアリングを操舵して、前記駐車位置検出システムで計算した前記目標駐車位置に前記車両を誘導する
ことを特徴とする。
An automatic parking system according to a sixth invention for solving the above-described problems is as follows.
The parking position detection system according to any one of the first to fifth inventions;
And at least an actuator for steering the vehicle,
The steering is steered by the actuator, and the vehicle is guided to the target parking position calculated by the parking position detection system.
第１、第２の発明によれば、目標駐車位置を確実に検出することができる。また、初期情報に対して、より正確な目標駐車位置を求めることができる。 According to the first and second inventions, the target parking position can be reliably detected. In addition, a more accurate target parking position can be obtained with respect to the initial information.
第３の発明によれば、直線の誤検出を防止することができる。一般的に、画像が歪んでいたり、解像度が悪かったりする場合、直線検出を行っても、途中で線が切れたり、傾きや位置が微妙に異なる短い線が発生したりする。この第３の発明によれば、画像端部のレンズ歪みの大きい領域を除外するため、ノイズを少なくして、直線を検出することができる。 According to the third aspect of the invention, it is possible to prevent erroneous detection of straight lines. In general, when the image is distorted or the resolution is poor, even if straight line detection is performed, the line is cut off in the middle, or a short line with slightly different inclination and position is generated. According to the third aspect of the invention, since a region having a large lens distortion at the edge of the image is excluded, it is possible to detect a straight line while reducing noise.
第４の発明によれば、駐車区画線幅相当の垂線ペアを抽出すると共に、初期位置に最も近い中線を与える垂線ペアを検出しているので、目標駐車区画枠の誤検出を低減することができる。 According to the fourth invention, since a perpendicular pair corresponding to the parking lot line width is extracted and a perpendicular pair that gives the center line closest to the initial position is detected, it is possible to reduce false detection of the target parking compartment frame. Can do.
第５の発明によれば、他の車両が駐車していない空スペースを検出する空スペース検出手段を有しているので、空いている駐車可能な区画を確実に検出することができ、その結果、目標駐車区画枠、目標駐車位置をより正確に検出することができる。 According to the fifth aspect of the invention, since it has the empty space detecting means for detecting an empty space in which no other vehicle is parked, it is possible to reliably detect an empty parking available section. The target parking section frame and the target parking position can be detected more accurately.
第６の発明によれば、正確な目標駐車位置に車両を誘導することができる。 According to the sixth aspect, the vehicle can be guided to an accurate target parking position.
本発明に係る駐車位置検出システム及びそれを用いた自動駐車システムの実施形態について、図１〜図１４を参照して説明を行う。 DESCRIPTION OF EMBODIMENTS Embodiments of a parking position detection system and an automatic parking system using the same according to the present invention will be described with reference to FIGS.
（実施例１）
図１は、本実施例の駐車位置検出システムを示すブロック図であり、図２は、図１に示した駐車位置検出システムにおける手順を説明するフローチャートである。
Example 1
FIG. 1 is a block diagram showing a parking position detection system of the present embodiment, and FIG. 2 is a flowchart for explaining a procedure in the parking position detection system shown in FIG.
本実施例の駐車位置検出システムは、図１に示すように、開始／終了スイッチ１１と、カメラ１２と、自車位置センサ１３と、空スペース検出センサ１４と、表示装置１５と、制御装置２０Ａとを有している。 As shown in FIG. 1, the parking position detection system of the present embodiment includes a start / end switch 11, a camera 12, a host vehicle position sensor 13, an empty space detection sensor 14, a display device 15, and a control device 20A. And have.
開始／終了スイッチ１１は、本実施例の駐車位置検出システムや後述する自動駐車システムの開始又は終了を操作するためのスイッチである。ドライバが開始／終了スイッチ１１をオンにすると、後述する駐車位置検出及び自動駐車が開始し、ドライバが開始／終了スイッチ１１をオフにすると、駐車位置検出及び自動駐車が終了する。なお、表示装置１５として、ナビゲーションシステムを用いる場合には、そのタッチパネル上に開始／終了スイッチ１１に代わる操作ボタンを表示し、表示した操作ボタンにドライバがタッチすることで、当該システムの開始又は終了を操作するようにしても良い。 The start / end switch 11 is a switch for operating the start or end of the parking position detection system of the present embodiment or an automatic parking system described later. When the driver turns on the start / end switch 11, parking position detection and automatic parking, which will be described later, start, and when the driver turns off the start / end switch 11, parking position detection and automatic parking are finished. When a navigation system is used as the display device 15, an operation button instead of the start / end switch 11 is displayed on the touch panel, and the driver touches the displayed operation button so that the system starts or ends. May be operated.
カメラ１２（撮影手段）は、車両側方を撮影するものであり、例えば、左右両方のサイドミラーに取り付けられている。そして、後述するように、カメラ画像を俯瞰画像（路面投影画像）に変換するため、水平方向ではなく、車両側方から所定距離離れた所定範囲の路面を見下ろす角度に傾けられている。 The camera 12 (photographing means) is for photographing the side of the vehicle, and is attached to both the left and right side mirrors, for example. As will be described later, in order to convert the camera image into a bird's-eye view image (road surface projection image), it is tilted at an angle overlooking a predetermined range of road surface that is a predetermined distance away from the side of the vehicle, not in the horizontal direction.
自車位置センサ１３は、自車位置を検出するものである。例えば、車輪速センサや操舵角センサなどが用いられる。車輪速センサは、例えば、後輪に取り付けられ、後輪の角速度を検出し、また、操舵角センサは、例えば、ステアリングコラムに取り付けられ、ステアリングの操舵角を検出しており、検出した角速度と操舵角とに基づいて、自車位置を計算可能である。なお、自車位置を検出することができれば、車輪速センサ、操舵角センサに代えて、他のセンサを用いても良い。 The own vehicle position sensor 13 detects the own vehicle position. For example, a wheel speed sensor or a steering angle sensor is used. The wheel speed sensor is attached to the rear wheel, for example, and detects the angular speed of the rear wheel. The steering angle sensor is attached to, for example, a steering column, and detects the steering angle of the steering wheel. The vehicle position can be calculated based on the steering angle. It should be noted that other sensors may be used instead of the wheel speed sensor and the steering angle sensor as long as the vehicle position can be detected.
空スペース検出センサ１４（空スペース検出手段）は、他の車両が駐車していない空スペースを車両側方で検出するセンサである。例えば、車両側方にある物との距離を計測し、車両側方における距離の変化を検出することにより、空スペースの有無を検出することができる。この空スペース検出センサ１４で検出されたデータは、後述する初期情報部３０に入力される。距離計測による空スペース検出センサ１４としては、例えば、超音波センサやレーダなどが用いられ、上述したカメラ１２と共に、左右両方のサイドミラーに取り付けても良いが、車両側方を計測できれば、どこに取り付けても良い。なお、空スペースを検出することができれば、距離計測を行う超音波センサやレーダに代えて、他のセンサを用いても良い。 The empty space detection sensor 14 (empty space detection means) is a sensor that detects an empty space on the side of the vehicle where no other vehicle is parked. For example, the presence or absence of an empty space can be detected by measuring the distance to an object on the side of the vehicle and detecting a change in the distance on the side of the vehicle. Data detected by the empty space detection sensor 14 is input to an initial information unit 30 described later. As the empty space detection sensor 14 by distance measurement, for example, an ultrasonic sensor or a radar is used and may be attached to both the left and right side mirrors together with the camera 12 described above. However, if the vehicle side can be measured, it is attached anywhere. May be. If an empty space can be detected, another sensor may be used instead of the ultrasonic sensor or radar that performs distance measurement.
表示装置１５は、目標駐車位置を表示するものである。更には、後述する側方パノラマ画像を表示するようにしても良い。表示装置１５としては、ナビゲーションシステムのタッチパネルなどが使用可能である。 The display device 15 displays the target parking position. Furthermore, you may make it display the side panoramic image mentioned later. As the display device 15, a touch panel of a navigation system can be used.
制御装置２０Ａは、開始／終了スイッチ１１、カメラ１２、自車位置センサ１３及び空スペース検出センサ１４からの入力に基づいて、図２に示すフローチャートの手順により、最終的に、側方パノラマ画像や目標駐車位置を求めて、表示装置１５に出力するものである。制御装置２０Ａとしては、例えば、車両で使用されるＥＣＵ（Electronics Control Unit）などが適用可能であり、このＥＣＵは、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有している。 Based on the inputs from the start / end switch 11, the camera 12, the vehicle position sensor 13, and the empty space detection sensor 14, the control device 20A finally performs a lateral panorama image or The target parking position is obtained and output to the display device 15. As the control device 20A, for example, an ECU (Electronics Control Unit) used in a vehicle is applicable, and this ECU includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory). Etc.
制御装置２０Ａは、具体的には、自車位置計算部２１、俯瞰画像変換部２２、直線検出部２３（切出部２３ａ）、垂線検出部２４、垂線ペア抽出部２５、中線計算部２６、登録部２７、駐車区画線データベース２８、側方パノラマ画像作成部２９、初期情報部３０、目標駐車区画検出部３１及び目標駐車位置計算部３２を有している。これらの構成については、以降において、図２に示すフローチャートと共に説明する。 Specifically, the control device 20A includes a host vehicle position calculation unit 21, an overhead image conversion unit 22, a straight line detection unit 23 (cutout unit 23a), a vertical line detection unit 24, a vertical line extraction unit 25, and a middle line calculation unit 26. A registration unit 27, a parking lot line database 28, a side panorama image creation unit 29, an initial information unit 30, a target parking zone detection unit 31, and a target parking position calculation unit 32. These configurations will be described later together with the flowchart shown in FIG.
図２に示すフローチャートと共に、図１及び図３〜図１２を参照して、本実施例の駐車位置検出システムにおける手順を説明する。なお、ここでは、自車位置センサ１３として、車輪速センサ及び操舵角センサを使用するものとし、空スペース検出センサ１４として、超音波センサを使用するものとし、また、表示装置１５として、ナビゲーションシステムのタッチパネルを使用するものとして、以降の説明を行う。 A procedure in the parking position detection system of the present embodiment will be described with reference to FIGS. 1 and 3 to 12 together with the flowchart shown in FIG. Here, a wheel speed sensor and a steering angle sensor are used as the vehicle position sensor 13, an ultrasonic sensor is used as the empty space detection sensor 14, and a navigation system is used as the display device 15. The following description will be made assuming that the touch panel is used.
本実施例の駐車位置検出システムは、ドライバが開始／終了スイッチ１１をオンにすることにより開始する。例えば、駐車区画が連続して並列に並んでいる駐車場（並列駐車型駐車場）において、駐車区画エリアの入口に車両が来たとき、開始／終了スイッチ１１をオンにすれば良い。 The parking position detection system of the present embodiment starts when the driver turns on the start / end switch 11. For example, in a parking lot in which parking sections are continuously arranged in parallel (parallel parking type parking lot), when the vehicle comes to the entrance of the parking section area, the start / end switch 11 may be turned on.
なお、このとき、目標とする駐車場所の位置や姿勢（方向）を設定できるのであれば、タッチパネルを用いて、位置や姿勢を予め設定しておいても良い。例えば、マンションの駐車場では、駐車場所が決まっているので、駐車場所の位置や姿勢を予め設定し、これを初期情報（初期位置、初期姿勢）として初期情報部３０に記録しておく。 At this time, as long as the position and orientation (direction) of the target parking place can be set, the position and orientation may be set in advance using the touch panel. For example, in a parking lot of a condominium, since the parking location is determined, the position and orientation of the parking location are set in advance and recorded in the initial information unit 30 as initial information (initial location, initial orientation).
（ステップＳ１）
開始／終了スイッチ１１のオン後、図３に示すように、駐車区画エリアＰａの前を横切るようにドライバが自車１０を走行させて、走行中のデータ取得を行う。具体的には、自車１０を走行させながら、カメラ１２が車両側方の画像ｇ1、ｇ2、ｇ3、・・・、ｇnを取得し、自車位置センサ１３において、車輪速センサが角速度を取得し、操舵角センサが操舵角を取得する。このとき、初期情報部３０に初期情報が設定されていない場合には、カメラ１２及び自車位置センサ１３と共に、空スペース検出センサ１４（超音波センサ）において、車両側方にある物との距離を取得する。
(Step S1)
After the start / end switch 11 is turned on, as shown in FIG. 3, the driver travels the vehicle 10 so as to cross the front of the parking section area Pa and acquires data during traveling. Specifically, the camera 12 acquires images g 1 , g 2 , g 3 ,..., G n on the side of the vehicle while the host vehicle 10 is running, and the vehicle speed sensor 13 detects the wheel speed sensor. Acquires the angular velocity, and the steering angle sensor acquires the steering angle. At this time, when the initial information is not set in the initial information unit 30, the distance between the camera 12 and the vehicle position sensor 13 and the object located on the side of the vehicle in the empty space detection sensor 14 (ultrasonic sensor). To get.
（ステップＳ２）
自車位置計算部２１は、自車１０の走行中の移動量及び移動方向に基づいて、自車位置を計算する。具体的には、自車位置センサ１３の検出値、つまり、車輪速センサにより検出された角速度に基づいて、移動量を計算し、操舵角センサにより検出されたステアリングの操舵角に基づいて、移動方向を計算し、移動量及び移動方向に基づいて、自車位置を計算する。
(Step S2)
The own vehicle position calculation unit 21 calculates the own vehicle position based on the moving amount and moving direction of the own vehicle 10 while traveling. Specifically, the amount of movement is calculated based on the detection value of the vehicle position sensor 13, that is, the angular velocity detected by the wheel speed sensor, and the movement is performed based on the steering angle of the steering detected by the steering angle sensor. The direction is calculated, and the vehicle position is calculated based on the movement amount and the movement direction.
（ステップＳ３）
俯瞰画像変換部２２は、カメラ１２で撮影したカメラ画像を俯瞰画像に変換する。ここで、俯瞰画像とは、図４に示すように、自車１０に設けたカメラ１２のカメラ位置姿勢により、路面を仮想し、この仮想路面にカメラ画像を投影した路面投影画像のことである。俯瞰画像への変換処理については、公知の技術であるので、その詳細な説明は省略するが、例えば、カメラ画素座標系を俯瞰画像座標系に変換するホモグラフィー行列を作成しておき、作成したホモグラフィー行列を用いて、カメラ画像を俯瞰画像に変換すれば良い。
(Step S3)
The overhead image conversion unit 22 converts the camera image captured by the camera 12 into an overhead image. Here, as shown in FIG. 4, the bird's-eye view image is a road surface projection image obtained by virtualizing the road surface and projecting the camera image on the virtual road surface based on the camera position and orientation of the camera 12 provided in the host vehicle 10. . Since the conversion process to the overhead image is a known technique, a detailed description thereof is omitted. For example, a homography matrix that converts the camera pixel coordinate system to the overhead image coordinate system is created and created. What is necessary is just to convert a camera image into a bird's-eye view image using a homography matrix.
俯瞰画像への変換処理により、図５に示すカメラ画像が、図６に示す俯瞰画像に変換される。図５に示すカメラ画像では、台形状に歪んでいた駐車区画線が、図６に示す俯瞰画像では、長方形状に補正されている。従って、このような俯瞰画像において、空きのある駐車区画の駐車区画線は、隣の駐車車両の陰になることはない。これにより、上述した従来の課題を解決することができる。 The camera image shown in FIG. 5 is converted into the overhead image shown in FIG. 6 by the conversion process into the overhead image. In the camera image shown in FIG. 5, the parking lot line that has been distorted in a trapezoidal shape is corrected to a rectangular shape in the overhead view image shown in FIG. 6. Therefore, in such a bird's-eye view image, a parking lot line of an empty parking lot does not become a shadow of an adjacent parked vehicle. Thereby, the conventional problem mentioned above can be solved.
（ステップＳ４）
直線検出部２３は、俯瞰画像変換部２２で変換した俯瞰画像から直線を検出する。この直線検出について、図６〜図９を参照して以下に説明する。なお、ここでは、エッジ強調処理として、Ｃａｎｎｙフィルタを例示し、直線検出処理として、ハフ変換を例示しているが、エッジ強調処理及び直線検出処理ができれば、他の処理方法を用いても良い。
(Step S4)
The straight line detection unit 23 detects a straight line from the overhead image converted by the overhead image conversion unit 22. This straight line detection will be described below with reference to FIGS. Here, the Canny filter is illustrated as the edge enhancement processing, and the Hough transform is illustrated as the straight line detection processing. However, other processing methods may be used as long as the edge enhancement processing and the straight line detection processing can be performed.
（Ｓ４−１）エッジ強調
直線Ｃａｎｎｙフィルタを用いて、俯瞰画像のエッジ強調処理を行う。例えば、図６に示す俯瞰画像は、図７に示す画像のように、エッジ強調がなされることになる。
(S4-1) Edge Enhancement Edge enhancement processing of the overhead image is performed using the straight line Canny filter. For example, the overhead image shown in FIG. 6 is edge-enhanced like the image shown in FIG.
（Ｓ４−２）画像切り出し
図７に示すエッジ強調後の画像においては、画像のボケや解像度不足などにより、直線エッジがきれいに出ていない領域（例えば、図中下側や左右側の領域）があることが確認できる。このような領域での誤検出を防ぐため、ノイズが少なく、直線検出に適した画像領域を使用するようにしている。ここでは、図７に示すエッジ強調後の画像に対して、駐車区画線が写り、かつ、解像度の高い所定範囲の領域を切出領域として設定し、切り出している。これは、図１に示す切出部２３ａが行っている。
(S4-2) Image Cutout In the image after edge enhancement shown in FIG. 7, there are areas in which straight edges do not appear cleanly due to image blurring or insufficient resolution (for example, lower and right and left areas in the figure). It can be confirmed that there is. In order to prevent erroneous detection in such an area, an image area with less noise and suitable for straight line detection is used. Here, a region with a predetermined range with a parking lot line and a high resolution is set as a cutout region and cut out from the edge-enhanced image shown in FIG. This is performed by the cutout 23a shown in FIG.
一般的に、駐車しようとしている車両は、駐車区画から１ｍ程度離れた位置を走行することが多いため、画像上での切出領域は、実際には、カメラ１２を基準として、左右±１ｍ、前方１〜３ｍ範囲に該当する。なお、ここでの「左右」とは、車長方向であり、「前方」とは、車幅方向のことである。図７に示すエッジ強調後の画像を、当該切出領域で切り出した場合、図８に示す画像となる。 In general, since the vehicle to be parked often travels about 1 m away from the parking area, the cutout area on the image is actually ± 1 m on the left and right with respect to the camera 12. It corresponds to the range of 1 to 3 meters ahead. Here, “left and right” refers to the vehicle length direction, and “front” refers to the vehicle width direction. When the edge-enhanced image shown in FIG. 7 is cut out in the cut-out area, the image shown in FIG. 8 is obtained.
（Ｓ４−３）直線検出
切出部２３ａが切り出した画像に対してハフ変換処理を行い、直線を検出する。このような処理を行うと、図６に示す俯瞰画像に対しては、図９に示すように、直線Ｌ１〜Ｌ４を検出することができ、この中には、駐車区画の左右端の直線Ｌ１〜Ｌ３も含まれることになる。
(S4-3) Straight Line Detection A Hough transform process is performed on the image cut out by the cutout unit 23a to detect a straight line. When such processing is performed, straight lines L1 to L4 can be detected with respect to the overhead image shown in FIG. 6, as shown in FIG. -L3 will also be included.
（ステップＳ５）
垂線検出部２４は、直線検出部２３で検出した直線から、自車（自車の車長方向）に垂直な垂線を検出する。直線検出部２３で検出した直線としては、駐車区画を構成する線以外の直線も検出されている可能性があるため、この垂線検出部２４では、駐車区画線の構造的な特徴から、検出する直線に制約を与え、駐車区画線のみを検出するようにしている。一般的には、駐車場で空き駐車区画を探索する際には、駐車区画に沿って車両を走行させるため、駐車区画線は、俯瞰画像上で垂直方向に表示されるので、ここでは、検出する直線の制約として、自車に垂直な垂線としている。
(Step S5)
The perpendicular detection unit 24 detects a perpendicular perpendicular to the own vehicle (the vehicle length direction of the own vehicle) from the straight line detected by the straight line detection unit 23. As a straight line detected by the straight line detection unit 23, there is a possibility that a straight line other than the lines constituting the parking lot is also detected. Therefore, the perpendicular detection unit 24 detects from the structural features of the parking lot line. The straight line is constrained and only the parking lot line is detected. In general, when searching for an empty parking area in a parking lot, the vehicle is driven along the parking area, so the parking line is displayed in the vertical direction on the bird's-eye view image. As a restriction of the straight line, it is perpendicular to the vehicle.
なお、駐車区画線を構成する直線は、所定閾値の範囲内の傾きを持つと考えられるので、検出する垂線は、自車に正確に垂直な直線だけでなく、略垂直な直線も含める。例えば、自車に対して、９０°±１０°の範囲にある直線を含める。図９を参照すると、自車に垂直な線として、直線Ｌ１〜Ｌ３を検出することになる。 In addition, since it is thought that the straight line which comprises a parking lot line has the inclination in the range of a predetermined threshold value, the perpendicular to detect includes not only a straight line correctly perpendicular | vertical to the own vehicle but a substantially perpendicular straight line. For example, a straight line in a range of 90 ° ± 10 ° with respect to the own vehicle is included. Referring to FIG. 9, straight lines L1 to L3 are detected as lines perpendicular to the host vehicle.
（ステップＳ６）
垂線ペア抽出部２５は、垂線検出部２４で検出した垂線から、駐車区画線幅相当の線間距離の垂線ペアを抽出する。つまり、隣接する駐車区画線同士は、駐車区画線幅相当の線間距離を有するので、検出した垂線から２本の垂線の組合せペアを作成し、それらの垂線同士の線間距離を求め、求めた線間距離が駐車区画線幅の所定閾値の範囲内にある垂線ペアを抽出する。そのような垂線ペアを抽出することにより、正しく駐車区画線を抽出することになる。例えば、図９を参照すると、駐車区画線幅相当の線間距離の垂線ペアとして、直線Ｌ１及び直線Ｌ２のペア、直線Ｌ２及び直線Ｌ３のペアが抽出されることになる。
(Step S6)
The perpendicular pair extraction unit 25 extracts a perpendicular pair having a line-to-line distance corresponding to the parking section line width from the perpendicular detected by the perpendicular detection unit 24. That is, since adjacent parking lot lines have a line-to-line distance corresponding to the parking lot line width, a combination pair of two perpendicular lines is created from the detected perpendicular lines, and the distance between the perpendicular lines is obtained and obtained. A pair of perpendicular lines in which the distance between the lines is within a predetermined threshold range of the parking section line width is extracted. By extracting such a pair of perpendicular lines, a parking lot line is correctly extracted. For example, referring to FIG. 9, a pair of straight line L1 and straight line L2, and a pair of straight line L2 and straight line L3 are extracted as perpendicular pairs having a distance between lines corresponding to the parking section line width.
なお、ここでは、並列駐車型駐車場の駐車区画を検出しているので、駐車区画線幅として、車幅方向の駐車区画線の線幅を用い、垂線同士の線間距離が当該線幅相当の垂線ペアを抽出している。一方、縦列駐車型駐車場の駐車区画を検出する場合には、駐車区画線幅として、車長方向の駐車区画線の線幅を用い、垂線同士の線間距離が当該線幅相当の垂線ペアを抽出すれば良い。 In addition, since the parking section of the parallel parking type parking lot is detected here, the line width of the parking section line in the vehicle width direction is used as the parking section line width, and the distance between the perpendiculars corresponds to the line width. Extracting perpendicular pairs. On the other hand, when detecting a parking section of a parallel parking type parking lot, the line width of the parking section line in the vehicle length direction is used as the parking section line width, and the distance between the vertical lines is a perpendicular pair corresponding to the line width. Should be extracted.
（ステップＳ７）
中線計算部２６は、抽出した垂線ペアの中線を計算する。このとき、中線は、俯瞰画像座標系から世界座標系Ｔg（図１２参照）に変換する。世界座標系Ｔgは、システム起動時の車両座標系である。求めた中線において、その傾きは、後述する目標駐車位置の姿勢を表すことになる。
(Step S7)
The middle line calculation unit 26 calculates the middle line of the extracted perpendicular pair. At this time, the middle line is converted from the overhead image coordinate system to the world coordinate system T g (see FIG. 12). The world coordinate system Tg is a vehicle coordinate system when the system is activated. In the calculated middle line, the inclination represents the posture of a target parking position to be described later.
（ステップＳ８）
登録部２７は、自車位置計算部２１で計算した自車位置と中線計算部２６で計算した中線とを駐車区画線データベース２８に記録する。このとき、垂線ペア抽出部２５で抽出した垂線ペアも記録する。なお、俯瞰画像変換部２２で変換した俯瞰画像を駐車区画線データベース２８に記録しても良い。
(Step S8)
The registration unit 27 records the own vehicle position calculated by the own vehicle position calculation unit 21 and the middle line calculated by the middle line calculation unit 26 in the parking lot line database 28. At this time, the perpendicular pair extracted by the perpendicular pair extraction unit 25 is also recorded. The overhead image converted by the overhead image conversion unit 22 may be recorded in the parking lot line database 28.
（ステップＳ９）
制御装置２０Ａは、データ取得が終了したかどうかを判断し、終了していない場合には、ステップＳ１へ戻り、終了した場合には、ステップＳ１０へ進む。終了したかどうかは、例えば、データ取得の開始後、車両が停車した場合に、データ取得が終了したと判断しても良いし、タッチパネル上にデータ取得終了の操作ボタンを表示し、ドライバがその操作ボタンにタッチした場合に、データ取得が終了したと判断しても良い。
(Step S9)
The control device 20A determines whether or not the data acquisition has ended. If not, the control device 20A returns to step S1, and if it has ended, the control device 20A proceeds to step S10. For example, if the vehicle stops after the start of data acquisition, it may be determined that the data acquisition has ended, or an operation button for data acquisition end is displayed on the touch panel, and the driver When the operation button is touched, it may be determined that the data acquisition is completed.
一方、データ取得が終了していない場合には、データ取得が終了するまで、上述したステップＳ１〜Ｓ８を繰り返し、駐車区画エリアの前を走行しながら、逐次、データを取得し、上述したデータ処理、登録を行うことになる。 On the other hand, if the data acquisition is not completed, steps S1 to S8 described above are repeated until the data acquisition is completed, and data is sequentially acquired while traveling in front of the parking area, and the data processing described above. Registration will be performed.
そして、データ取得の終了後、駐車区画線データベース２８には、データベースとして、複数の自車位置、中線及び垂線ペアが蓄積されることになる。なお、上記ステップＳ８において、俯瞰画像を駐車区画線データベース２８に記録している場合には、データベースとして、更に、俯瞰画像のデータも蓄積されることになる。 After the data acquisition is completed, the parking lot line database 28 accumulates a plurality of vehicle positions, middle lines, and perpendicular pairs as a database. In addition, in the said step S8, when the bird's-eye view image is recorded on the parking lot line database 28, the data of a bird's-eye view image are further accumulate | stored as a database.
ここで、側方パノラマ画像作成部２９は、俯瞰画像を駐車区画線データベース２８に記録している場合に機能する。つまり、本実施例は、必ずしも、側方パノラマ画像を作成しなくても良い。側方パノラマ画像を作成する場合には、複数の俯瞰画像を車両の移動量に応じてずらしながら重ね合わせて側方パノラマ画像を作成し、記録する。例えば、図１０に示すように、各俯瞰画像から領域ｒ1、ｒ2、ｒ3、・・・、ｒnが重ね合わされて、図１１に示す側方パノラマ画像が作成されることになる。 Here, the side panoramic image creation unit 29 functions when an overhead image is recorded in the parking lot line database 28. That is, in this embodiment, it is not always necessary to create a side panorama image. When creating a side panoramic image, a plurality of bird's-eye view images are overlapped while being shifted according to the amount of movement of the vehicle to create and record a side panoramic image. For example, as shown in FIG. 10, the region r 1 from the overhead view image, r 2, r 3, · · ·, are superimposed r n, so that the side panoramic image shown in FIG. 11 is generated.
（ステップＳ１０〜Ｓ１１）
目標駐車区画検出部３１は、駐車区画線データベース２８に記録された中線の中から、初期情報部３０の初期情報に基づき、駐車区画の構造上の特徴（例えば、駐車区画のサイズなど）を手掛かりに、目標の中線を検出して、目標駐車区画枠（垂線ペア）を検出する。そして、目標駐車位置計算部３２は、目標駐車区画検出部３１で検出した目標駐車区画枠（垂線ペア）の中線に基づいて、目標駐車位置を計算する。具体的には、ステップＳ６及びＳ７で説明したように、垂線ペア抽出部２５は、駐車区画線幅相当の線間距離の垂線ペアを抽出しており、中線計算部２６は、抽出した垂線ペアの中線を計算しているので、ここでは、目標駐車区画枠の中線上で、初期位置の世界座標系Ｔgのｙg軸上の座標となる位置を求める。
(Steps S10 to S11)
Based on the initial information of the initial information unit 30 from the middle lines recorded in the parking lot line database 28, the target parking lot detection unit 31 determines the structural characteristics of the parking lot (for example, the size of the parking lot). As a clue, the middle line of the target is detected, and the target parking partition frame (perpendicular pair) is detected. And the target parking position calculation part 32 calculates a target parking position based on the middle line of the target parking area frame (perpendicular pair) detected by the target parking area detection part 31. Specifically, as described in steps S6 and S7, the perpendicular pair extraction unit 25 has extracted a perpendicular pair having a line-to-line distance equivalent to the parking lot line width, and the middle line calculation unit 26 has extracted the perpendicular line. since calculates the midline of the pair, here, on the line in the target parking space frame, determine coordinates a position on y g-axis of the world coordinate system T g of the initial position.
例えば、図１２を参照すると、目標駐車区画検出部３１は、２つの目標駐車区画枠、即ち、垂線Ｌ11及びＬ12のペアと垂線Ｌ21及びＬ22のペアを検出している。そして、垂線Ｌ11及びＬ12のペアの中線Ｃ1と垂線Ｌ21及びＬ22のペアの中線Ｃ2において、初期位置Ｐ0の世界座標系Ｔgのｙg軸上の座標となる位置Ｐ1、Ｐ2を各々求めることになる。なお、ここでの初期位置Ｐ0は、タッチパネルを用いて、予め設定しておいたものとする。 For example, referring to FIG. 12, the target parking area detection unit 31 detects two target parking area frames, that is, a pair of vertical lines L 11 and L 12 and a pair of vertical lines L 21 and L 22 . Then, the middle line C 1 of the pair of perpendicular lines L 11 and L 12 and the middle line C 2 of the pair of perpendicular lines L 21 and L 22 are the coordinates on the y g axis of the world coordinate system T g of the initial position P 0. The positions P 1 and P 2 are obtained respectively. Here, the initial position P 0 is set in advance using a touch panel.
そして、中線Ｃ1又は中線Ｃ2が最終的に選択される目標駐車区画枠の垂線ペアの中線であれば、位置Ｐ1又は位置Ｐ2が目標駐車位置となり、その位置は、初期位置Ｐ0と同等の座標になる。従って、初期位置Ｐ0に対する全ての位置Ｐ1、Ｐ2の距離Ｄ1、Ｄ2を比較し、位置Ｐ1、Ｐ2のうち、初期位置Ｐ0に最も近い位置Ｐ1を選択する。つまり、位置Ｐ1を目標駐車位置とし、その位置Ｐ1を与える垂線ペアＬ11及びＬ12を最終的な目標駐車区画枠とする。なお、目標駐車位置の姿勢は、中線Ｃ1の傾きから計算すれば良い。 If the middle line C 1 or the middle line C 2 is the middle line of the perpendicular pair of the target parking partition frame that is finally selected, the position P 1 or the position P 2 becomes the target parking position, and the position is the initial value. The coordinates are equivalent to the position P 0 . Therefore, comparing all position P 1, the distance P 2 D 1, D 2 with respect to the initial position P 0, of the positions P 1, P 2, selecting the position P 1 closest to the initial position P 0. That is, the position P 1 is set as the target parking position, and the perpendicular pairs L 11 and L 12 that give the position P 1 are set as the final target parking partition frame. Incidentally, the posture of the target parking position may be calculated from the midline C 1 slope.
なお、初期情報部３０に予め設定した初期情報がない場合には、例えば、走行中に空スペース検出センサ１４により検出した空スペースの位置や姿勢（例えば、空スペースの中心位置や縦長の方向）を、初期情報として初期情報部３０に与えても良いし、また、側方パノラマ画像を作成した場合には、作成した側方パノラマ画像をタッチパネルに表示し、ドライバがタッチした空スペースの位置や姿勢を、初期情報として初期情報部３０に与えても良い。また、初期情報の設定に代えて、走行後の停車した位置から最も近くで検出した目標駐車区画枠を最終的な目標駐車区画枠として選択しても良い。 In addition, when there is no preset initial information in the initial information unit 30, for example, the position and posture of the empty space detected by the empty space detection sensor 14 during traveling (for example, the center position of the empty space and the vertically long direction). May be given to the initial information unit 30 as initial information, and when a side panorama image is created, the created side panorama image is displayed on the touch panel, and the position of the empty space touched by the driver, The posture may be given to the initial information unit 30 as initial information. Further, instead of setting the initial information, the target parking partition frame detected closest to the stop position after traveling may be selected as the final target parking partition frame.
（ステップＳ１２）
制御装置２０Ａは、計算した目標駐車位置をタッチパネルに表示する。側方パノラマ画像を作成した場合には、作成した側方パノラマ画像をタッチパネルに表示しても良い。このとき、空きがある目標駐車区画枠が複数の場合には、側方パノラマ画像と共に空きがある目標駐車区画枠を表示して、ドライバに他の目標駐車区画枠の１つを選択させるようにしても良い。
(Step S12)
Control device 20A displays the calculated target parking position on the touch panel. When the side panorama image is created, the created side panorama image may be displayed on the touch panel. At this time, when there are a plurality of target parking partition frames with vacancy, the target parking partition frame with vacancy is displayed together with the side panorama image so that the driver can select one of the other target parking partition frames. May be.
本実施例の駐車位置検出システムについて、１つの駐車区画の幅が２．５ｍ、奥行きが４ｍの並列駐車型駐車場を用い、駐車区画の前を約１ｍ離れて走行し、実際の試験を行って、その目標駐車位置の精度を評価したところ、自動駐車システムに必要なセンチメートル単位の精度が得られることが確認できた。 About the parking position detection system according to the present embodiment, a parallel parking type parking lot having a width of 2.5 m and a depth of 4 m is used for one parking section, and the vehicle is driven about 1 m away from the parking section to perform an actual test. As a result of evaluating the accuracy of the target parking position, it was confirmed that the accuracy of the centimeter required for the automatic parking system was obtained.
（実施例２）
図１３は、本実施例の駐車位置検出システムを示すブロック図であり、図１４は、図１３に示した駐車位置検出システムにおける手順を説明するフローチャートである。
(Example 2)
FIG. 13 is a block diagram illustrating the parking position detection system according to the present embodiment, and FIG. 14 is a flowchart illustrating a procedure in the parking position detection system illustrated in FIG. 13.
本実施例の駐車位置検出システムを構成する要素は、基本的には、実施例１の駐車位置検出システムと同じである。そのため、図１３においては、図１で示した構成と同等のものには同じ符号を付している。一方で、本実施例の駐車位置検出システムは、実施例１の駐車位置検出システムとは、一部の処理の順序が異なっており、そのため、図１３に示す制御装置２０Ｂにおける一部の処理ブロックの位置が、図１に示す制御装置２０Ａとは相違しており（点線部分参照）、また、図１４に示すフローチャートにおける一部の処理手順の内容や順序が、図２に示すフローチャートとは相違している。 Elements constituting the parking position detection system of the present embodiment are basically the same as those of the parking position detection system of the first embodiment. Therefore, in FIG. 13, the same reference numerals are given to the same components as those shown in FIG. On the other hand, the parking position detection system according to the present embodiment differs from the parking position detection system according to the first embodiment in the order of some processes. Therefore, some processing blocks in the control device 20B shown in FIG. 1 is different from the control device 20A shown in FIG. 1 (see the dotted line), and the contents and order of some processing procedures in the flowchart shown in FIG. 14 are different from those in the flowchart shown in FIG. doing.
そこで、ここでは、実施例１と重複する構成については、その説明を省略又は簡略化し、主に、図１４に示すフローチャートに沿って、本実施例の駐車位置検出システムにおける手順を説明する。なお、ここでも、自車位置センサ１３として、車輪速センサ及び操舵角センサを使用するものとし、空スペース検出センサ１４として、超音波センサを使用するものとし、また、表示装置１５として、ナビゲーションシステムのタッチパネルを使用するものとする。 Therefore, here, the description of the same configuration as in the first embodiment is omitted or simplified, and the procedure in the parking position detection system of the present embodiment will be described mainly along the flowchart shown in FIG. In this case, a wheel speed sensor and a steering angle sensor are used as the vehicle position sensor 13, an ultrasonic sensor is used as the empty space detection sensor 14, and a navigation system is used as the display device 15. The touch panel is used.
本実施例の駐車位置検出システムも、実施例１と同様に、ドライバが開始／終了スイッチ１１をオンにすることにより開始する。このとき、タッチパネルを用いて、駐車場所の初期位置や初期姿勢を予め設定し、これを初期情報として初期情報部３０に記録しておいても良い。 Similarly to the first embodiment, the parking position detection system according to the present embodiment also starts when the driver turns on the start / end switch 11. At this time, an initial position and an initial posture of the parking place may be set in advance using a touch panel, and may be recorded in the initial information unit 30 as initial information.
（ステップＳ２１）
開始／終了スイッチ１１のオン後、実施例１のステップＳ１と同様に、カメラ１２及び自車位置センサ１３を用いて、走行中のデータ（画像、車輪速及び操舵角）の取得を行う。また、空スペース検出センサ１４（超音波センサ）を用いて、車両側方にある物との距離を取得しても良い。
(Step S21)
After the start / end switch 11 is turned on, data (image, wheel speed and steering angle) during traveling is acquired using the camera 12 and the vehicle position sensor 13 as in step S1 of the first embodiment. Moreover, you may acquire the distance with the thing in a vehicle side using the empty space detection sensor 14 (ultrasonic sensor).
（ステップＳ２２）
自車位置計算部２１は、実施例１のステップＳ２と同様に、自車１０の走行中の移動量及び移動方向に基づいて、自車位置を計算する。
(Step S22)
The own vehicle position calculation unit 21 calculates the own vehicle position based on the moving amount and moving direction of the own vehicle 10 during the traveling, as in step S2 of the first embodiment.
（ステップＳ２３）
俯瞰画像変換部２２は、実施例１のステップＳ３と同様に、カメラ１２で撮影したカメラ画像を俯瞰画像に変換する。
(Step S23)
The overhead image conversion unit 22 converts the camera image captured by the camera 12 into an overhead image, as in step S3 of the first embodiment.
ここまでは、本実施例の駐車位置検出システムの手順は、実施例１の駐車位置検出システムと全く同じであるが、以降のステップから、処理の順序及び内容が実施例１とは相違する。 Up to this point, the procedure of the parking position detection system according to the present embodiment is exactly the same as that of the parking position detection system according to the first embodiment. However, the processing order and contents are different from those of the first embodiment from the following steps.
（ステップＳ２４）
登録部２７は、自車位置計算部２１で計算した自車位置と俯瞰画像変換部２２で変換した俯瞰画像とを駐車区画線データベース２８に記録する。このように、登録部２７は、実施例１とは、登録するデータが一部異なる。
(Step S24)
The registration unit 27 records the own vehicle position calculated by the own vehicle position calculation unit 21 and the overhead image converted by the overhead image conversion unit 22 in the parking lot line database 28. As described above, the registration unit 27 is partially different from the data to be registered in the first embodiment.
（ステップＳ２５）
制御装置２０Ｂは、実施例１のステップＳ９と同様に、データ取得が終了したかどうかを判断し、終了していない場合には、ステップＳ２１へ戻り、終了した場合には、ステップＳ２６へ進む。データ取得が終了していない場合には、データ取得が終了するまで、上述したステップＳ２１〜Ｓ２４を繰り返し、駐車区画エリアの前を走行しながら、逐次、データを取得し、上述したデータ処理、登録を行うことになる。
(Step S25)
The control device 20B determines whether or not the data acquisition has been completed, as in step S9 of the first embodiment. If the data acquisition has not ended, the control device 20B returns to step S21. If it has ended, the control device 20B proceeds to step S26. If data acquisition is not completed, steps S21 to S24 described above are repeated until data acquisition is completed, and data is acquired sequentially while traveling in front of the parking area, and data processing and registration described above are performed. Will do.
そして、データ取得の終了後、駐車区画線データベース２８には、データベースとして、複数の自車位置及び俯瞰画像が蓄積されることになる。 After the data acquisition is completed, the parking lot line database 28 stores a plurality of vehicle positions and overhead images as a database.
（ステップＳ２６）
側方パノラマ画像作成部２９は、実施例１でも説明したように、駐車区画線データベース２８に記録した複数の俯瞰画像を車両の移動量に応じてずらしながら重ね合わせて側方パノラマ画像を作成する。側方パノラマ画像は、複数の俯瞰画像から作成されており、このような側方パノラマ画像において、空きのある駐車区画の駐車区画線は、両隣の駐車車両の陰になることはない。これにより、上述した従来の課題を解決することができる。
(Step S26)
As described in the first embodiment, the side panoramic image creation unit 29 creates a side panoramic image by superimposing a plurality of overhead images recorded in the parking lot line database 28 while shifting according to the amount of movement of the vehicle. . The side panoramic image is created from a plurality of overhead images, and in such a side panoramic image, a parking lot line of an empty parking zone does not become a shadow of both adjacent parked vehicles. Thereby, the conventional problem mentioned above can be solved.
（ステップＳ２７）
直線検出部２３は、側方パノラマ画像作成部２９で作成した側方パノラマ画像から直線を検出する。この直線検出部２３は、実施例１では、各々の俯瞰画像に対して直線検出を行っていたが、本実施例では、複数の俯瞰画像から作成した側方パノラマ画像に対して直線検出を行っており、実施例１とは、この点が相違する。なお、直線検出については、実施例１でも説明したように、エッジ強調処理として、Ｃａｎｎｙフィルタを用い、直線検出処理として、ハフ変換を用いれば良いが、エッジ強調処理及び直線検出処理ができれば、他の処理を用いても良い。
(Step S27)
The straight line detection unit 23 detects a straight line from the side panorama image created by the side panorama image creation unit 29. In the first embodiment, the straight line detection unit 23 performs straight line detection on each overhead view image. However, in this embodiment, the straight line detection unit 23 performs straight line detection on a side panoramic image created from a plurality of overhead images. This point is different from the first embodiment. As for the straight line detection, as described in the first embodiment, the Canny filter may be used as the edge enhancement process, and the Hough transform may be used as the straight line detection process. You may use the process of.
また、ここでも、実施例１と同様に、直線検出処理前に、切出部２３ａが、エッジ強調後の画像に対して、駐車区画線が写り、かつ、解像度の高い所定範囲の領域を切出領域として設定し、切り出している。本実施例の場合、パノラマ画像を対象とするので、画像上での切出領域は、左右（車長方向）についての範囲は限定しないが、前後（車幅方向）については、実施例１と同様に、カメラ１２を基準として、前方１〜３ｍ範囲となるようにしている。 In this case as well, as in the first embodiment, before the straight line detection process, the cutout unit 23a cuts out an area in a predetermined range where a parking lot line is captured and the resolution is high with respect to the image after edge enhancement. It is set as an outgoing area and cut out. In the case of the present embodiment, since a panoramic image is targeted, the cut-out area on the image is not limited in the range of the left and right (vehicle length direction), but the front and rear (vehicle width direction) are the same as those of the first embodiment. Similarly, with the camera 12 as a reference, the range is 1 to 3 m ahead.
（ステップＳ２８）
垂線検出部２４は、実施例１のステップＳ５と同様に、直線検出部２３で検出した直線から、自車（自車の車長方向）に垂直な垂線を検出する。検出する垂線としては、実施例１と同様に、自車に正確に垂直な直線だけでなく、略垂直な直線も、例えば、自車に対して、９０°±１０°の範囲にある直線も含める。
(Step S28)
The perpendicular detection unit 24 detects a perpendicular perpendicular to the own vehicle (the vehicle length direction of the own vehicle) from the straight line detected by the straight line detection unit 23 as in step S5 of the first embodiment. As a normal to be detected, as in the first embodiment, not only a straight line that is exactly perpendicular to the host vehicle, but also a straight line that is substantially perpendicular, for example, a straight line within a range of 90 ° ± 10 ° with respect to the host vehicle include.
（ステップＳ２９）
垂線ペア抽出部２５は、実施例１のステップＳ６と同様に、垂線検出部２４で検出した垂線から、駐車区画線幅相当の線間距離の垂線ペアを抽出する。駐車区画線幅としては、並列駐車型駐車場の場合には、車幅方向の駐車区画線の線幅を用いれば良く、縦列駐車型駐車場の場合には、車長方向の駐車区画線の線幅を用いれば良い。
(Step S29)
The perpendicular pair extraction unit 25 extracts, from the perpendicular detected by the perpendicular detection unit 24, a perpendicular pair having an interline distance corresponding to the parking section line width, as in step S6 of the first embodiment. As the parking lot line width, in the case of a parallel parking type parking lot, the line width of the parking lot line in the vehicle width direction may be used, and in the case of a parallel parking type parking lot, The line width may be used.
（ステップＳ３０）
中線計算部２６は、実施例１のステップＳ７と同様に、抽出した垂線ペアの中線を計算する。このとき、中線は、世界座標系Ｔg（図１２参照）に変換する。
(Step S30)
The middle line calculation unit 26 calculates the middle line of the extracted perpendicular pair, as in step S7 of the first embodiment. At this time, the middle line is converted into the world coordinate system T g (see FIG. 12).
（ステップＳ３１〜Ｓ３２）
目標駐車区画検出部３１は、実施例１のステップＳ１０〜Ｓ１１と同様に、中線計算部２６で求められた中線の中から、初期情報部３０の初期情報に基づき、目標の中線を検出して、目標駐車区画枠（垂線ペア）を検出する。そして、目標駐車位置計算部３２は、目標駐車区画検出部３１で検出した目標駐車区画枠（垂線ペア）の中線に基づいて、目標駐車位置を計算する。
(Steps S31 to S32)
Similar to steps S10 to S11 of the first embodiment, the target parking section detection unit 31 selects a target middle line from the middle lines obtained by the middle line calculation unit 26 based on the initial information of the initial information unit 30. It detects and detects a target parking partition frame (perpendicular pair). And the target parking position calculation part 32 calculates a target parking position based on the middle line of the target parking area frame (perpendicular pair) detected by the target parking area detection part 31.
なお、初期情報部３０に予め設定した初期情報がない場合には、実施例１と同様に、空スペース検出センサ１４による検出結果やタッチパネルによる指示に基づいて、初期情報部３０に初期情報を設定しても良いし、また、初期情報の設定に代えて、走行後の停車した位置から最も近くで検出した目標駐車区画枠を最終的な目標駐車区画枠として選択しても良い。 When there is no preset initial information in the initial information unit 30, the initial information is set in the initial information unit 30 based on the detection result by the empty space detection sensor 14 and the instruction by the touch panel, as in the first embodiment. Alternatively, instead of setting the initial information, the target parking partition frame detected closest to the stop position after traveling may be selected as the final target parking partition frame.
（ステップＳ３３）
制御装置２０Ｂは、実施例１のステップＳ１２と同様に、計算した目標駐車位置をタッチパネルに表示する。このとき、作成した側方パノラマ画像をタッチパネルに表示しても良く、空きがある目標駐車区画枠が複数の場合には、ドライバに他の目標駐車区画枠の１つを選択させるようにしても良い。
(Step S33)
Control device 20B displays the calculated target parking position on the touch panel, similarly to step S12 of the first embodiment. At this time, the created side panorama image may be displayed on the touch panel, and when there are a plurality of target parking partition frames with vacancy, the driver may select one of the other target parking partition frames. good.
実施例１では、各俯瞰画像に対して、直線検出、垂線検出、垂線ペア抽出及び中線計算を行っており（ステップＳ４〜Ｓ７）、計算した中線を駐車区画線データベース２８に記録し（ステップＳ８）、駐車区画線データベース２８に記録した中線に基づいて、目標駐車区画枠及び目標駐車位置を求めている（ステップＳ１０〜Ｓ１１）。 In the first embodiment, straight line detection, vertical line detection, vertical line pair extraction and middle line calculation are performed for each overhead view image (steps S4 to S7), and the calculated middle line is recorded in the parking lot line database 28 ( Step S8), based on the middle line recorded in the parking lot line database 28, the target parking lot frame and the target parking position are obtained (steps S10 to S11).
これに対し、本実施例では、以上説明したように、俯瞰画像を駐車区画線データベース２８に記録し（ステップＳ２４）、駐車区画線データベース２８に記録した俯瞰画像に基づいて、側方パノラマ画像を作成し（ステップＳ２６）、作成した側方パノラマ画像に対して、直線検出、垂線検出、垂線ペア抽出及び中線計算を行っており（ステップＳ２７〜Ｓ３０）、計算した中線に基づいて、目標駐車区画枠及び目標駐車位置を求めている（ステップＳ３１〜Ｓ３２）。このように、本実施例は、実施例１とは、処理の順番が異なるが、同様の処理を行っており、実施例１と同様の効果を得ることができる。 In contrast, in this embodiment, as described above, the overhead view image is recorded in the parking lot line database 28 (step S24), and the side panoramic image is converted based on the overhead view image recorded in the parking lot line database 28. A straight line detection, a perpendicular line detection, a perpendicular line extraction and a middle line calculation are performed on the created side panoramic image (steps S27 to S30), and a target is calculated based on the calculated middle line. The parking partition frame and the target parking position are obtained (steps S31 to S32). As described above, the present embodiment performs the same processing as the first embodiment, although the processing order is different from that of the first embodiment, and the same effects as the first embodiment can be obtained.
（実施例３）
次に、本実施例の自動駐車システムについて説明する。本実施例の自動駐車システムは、上述した実施例１、２の駐車位置検出システムを用いて、目標駐車位置を正確に決定するものであり、目標駐車位置が決定すれば、公知の駐車誘導システムを用いて、自車を目標駐車位置に誘導する。自車を目標駐車位置に誘導した後、ドライバが上述した開始／終了スイッチ１１をオフにすると、駐車位置検出及び自動駐車は終了することになる。
(Example 3)
Next, the automatic parking system of a present Example is demonstrated. The automatic parking system of the present embodiment accurately determines the target parking position using the parking position detection system of the first and second embodiments described above. If the target parking position is determined, a known parking guidance system Is used to guide the vehicle to the target parking position. If the driver turns off the start / end switch 11 described above after guiding the host vehicle to the target parking position, the parking position detection and the automatic parking are ended.
ここで、公知の駐車誘導システムとは、例えば、周囲状況や自車位置などを認識するカメラや各種センサ類と、周囲状況や自車位置などに基づいて車速や操舵量などの制御値を決定するコントローラと、制御値に基づいてアクセル、ブレーキ及びステアリングなどを駆動するアクチュエータなどから構成されており、自車の加減速操作及び操舵を自動制御して、自車を目標駐車位置に誘導するものである。 Here, the known parking guidance system refers to, for example, a camera and various sensors for recognizing the surrounding situation and the vehicle position, and control values such as the vehicle speed and the steering amount based on the surrounding situation and the vehicle position. And an actuator that drives the accelerator, brake, steering, etc. based on the control value, and automatically controls the acceleration / deceleration operation and steering of the vehicle to guide the vehicle to the target parking position It is.
本発明は、車両全般、例えば、乗用車、建設車両、農業車両、産業車両などに適用可能である。 The present invention is applicable to all vehicles, for example, passenger cars, construction vehicles, agricultural vehicles, industrial vehicles, and the like.
１２ カメラ
１３ 自車位置センサ
１４ 空スペース検出センサ
２１ 自車位置計算部
２２ 俯瞰画像変換部
２３ 直線検出部
２３ａ 切出部
２４ 垂線検出部
２５ 垂線ペア抽出部
２６ 中線計算部
２９ 側方パノラマ画像作成部
３０ 初期情報部
３１ 目標駐車区画検出部
３２ 目標駐車位置計算部
DESCRIPTION OF SYMBOLS 12 Camera 13 Own vehicle position sensor 14 Empty space detection sensor 21 Own vehicle position calculation part 22 Overhead image conversion part 23 Straight line detection part 23a Cutout part 24 Perpendicular detection part 25 Perpendicular pair extraction part 26 Middle line calculation part 29 Side panorama image Creation unit 30 Initial information unit 31 Target parking section detection unit 32 Target parking position calculation unit
Claims (6)
前記車両の走行中の移動量及び移動方向に基づいて、自車位置を計算する自車位置計算部と、
前記撮影手段で撮影された前記画像を俯瞰画像に変換する俯瞰画像変換部と、
前記俯瞰画像変換部で変換された前記俯瞰画像から直線を検出する直線検出部と、
前記直線検出部で検出された前記直線から前記車両の車長方向に垂直な垂線を検出する垂線検出部と、
前記垂線検出部で検出された前記垂線から、前記垂線同士の線間距離が駐車区画線幅に相当する垂線ペアを抽出する垂線ペア抽出部と、
前記垂線ペア抽出部で抽出した前記垂線ペアの中線を計算する中線計算部と、
駐車位置の初期位置を有する初期情報部と、
前記中線計算部で計算した前記中線について、前記初期位置に最も近い前記中線上の位置を前記車両の目標駐車位置として計算する目標駐車位置計算部と、を有する
ことを特徴とする駐車位置検出システム。 A photographing means for photographing an image of a road surface including the parking section while traveling in front of the parking section on the side of the vehicle;
Based on the amount of movement and the direction of movement of the vehicle while traveling, a vehicle position calculation unit that calculates the vehicle position;
An overhead image conversion unit that converts the image captured by the imaging means into an overhead image;
A straight line detection unit for detecting a straight line from the overhead image converted by the overhead image conversion unit;
A perpendicular detection unit for detecting a perpendicular perpendicular to the vehicle length direction of the vehicle from the straight line detected by the straight line detection unit;
From the perpendicular detected by the perpendicular detection unit, a perpendicular pair extraction unit that extracts a perpendicular pair in which a distance between the perpendiculars corresponds to a parking lot line width;
A middle line calculation unit for calculating a middle line of the perpendicular pair extracted by the perpendicular pair extraction unit;
An initial information part having an initial position of the parking position;
A parking position, comprising: a target parking position calculation unit that calculates a position on the middle line closest to the initial position as a target parking position of the vehicle for the middle line calculated by the middle line calculation unit. Detection system.
前記自車位置計算部で計算された前記自車位置と前記俯瞰画像変換部で変換された前記俯瞰画像に基づいて、前記移動量に応じて複数の前記俯瞰画像をずらしながら重ね合わせて側方パノラマ画像を作成する側方パノラマ画像作成部を更に有し、
前記直線検出部は、前記側方パノラマ画像作成部で作成された前記側方パノラマ画像から直線を検出する
ことを特徴とする駐車位置検出システム。 In the parking position detection system according to claim 1,
Based on the vehicle position calculated by the vehicle position calculation unit and the bird's-eye view image converted by the bird's-eye view image conversion unit, a plurality of the bird's-eye images are shifted in accordance with the amount of movement and overlapped to the side. It further has a side panorama image creation unit for creating a panorama image,
The parking position detection system, wherein the straight line detection unit detects a straight line from the side panorama image created by the side panorama image creation unit.
前記俯瞰画像又は前記側方パノラマ画像から所定範囲の領域を切り出す切出部を更に有し、
前記直線検出部は、前記切出部で切り出した前記領域から直線を検出する
ことを特徴とする駐車位置検出システム。 In the parking position detection system according to claim 1 or 2,
A cutout unit that cuts out a region of a predetermined range from the overhead image or the side panoramic image;
The parking position detection system, wherein the straight line detection unit detects a straight line from the region cut out by the cutout unit.
前記目標駐車位置計算部で計算した前記目標駐車位置を有する前記中線を与える前記垂線ペアを、前記車両が駐車する目標駐車区画として検出する目標駐車区画検出部を更に有する
ことを特徴とする駐車位置検出システム。 In the parking position detection system according to any one of claims 1 to 3,
The parking system further comprising: a target parking section detection unit that detects the perpendicular pair that gives the middle line having the target parking position calculated by the target parking position calculation unit as a target parking section in which the vehicle parks. Position detection system.
前記車両の走行中に、他の車両が駐車していない空スペースを前記車両の側方で検出する空スペース検出手段を更に有し、
前記初期情報部は、前記空スペース検出手段で検出した前記空スペースの位置を前記初期位置とする
ことを特徴とする駐車位置検出システム。 In the parking position detection system according to any one of claims 1 to 4,
The vehicle further comprises an empty space detecting means for detecting an empty space on the side of the vehicle where no other vehicle is parked while the vehicle is running.
The said initial information part makes the position of the said empty space detected by the said empty space detection means the said initial position, The parking position detection system characterized by the above-mentioned.
前記車両のステアリングを操舵するアクチュエータとを少なくとも有し、
前記アクチュエータにより前記ステアリングを操舵して、前記駐車位置検出システムで計算した前記目標駐車位置に前記車両を誘導する
ことを特徴とする自動駐車システム。 The parking position detection system according to any one of claims 1 to 5,
And at least an actuator for steering the vehicle,
An automatic parking system, wherein the steering is steered by the actuator to guide the vehicle to the target parking position calculated by the parking position detection system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016028655A JP6642906B2 (en) | 2016-02-18 | 2016-02-18 | Parking position detection system and automatic parking system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016028655A JP6642906B2 (en) | 2016-02-18 | 2016-02-18 | Parking position detection system and automatic parking system using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017147629A true JP2017147629A (en) | 2017-08-24 |
| JP6642906B2 JP6642906B2 (en) | 2020-02-12 |
Family
ID=59683316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016028655A Active JP6642906B2 (en) | 2016-02-18 | 2016-02-18 | Parking position detection system and automatic parking system using the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6642906B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019026406A1 (en) | 2017-07-31 | 2019-02-07 | 株式会社日立ハイテクノロジーズ | Device, specimen state determination method, and analysis system |
| CN110379178A (en) * | 2019-07-25 | 2019-10-25 | 电子科技大学 | Pilotless automobile intelligent parking method based on millimetre-wave radar imaging |
| JP2020097347A (en) * | 2018-12-19 | 2020-06-25 | トヨタ自動車株式会社 | Driving support device |
| KR20200134497A (en) * | 2019-05-22 | 2020-12-02 | 한양대학교 산학협력단 | A parking space pose estimation method and apparatus |
| CN112084900A (en) * | 2020-08-26 | 2020-12-15 | 浙江工业大学 | Underground garage random parking detection method based on video analysis |
| CN112455430A (en) * | 2020-12-02 | 2021-03-09 | 苏州优达斯汽车科技有限公司 | Method for detecting inclined parking spaces without parking space lines, parking method and parking system |
| CN113762272A (en) * | 2021-09-10 | 2021-12-07 | 北京精英路通科技有限公司 | Road information determination method and device and electronic equipment |
| CN113781300A (en) * | 2021-08-17 | 2021-12-10 | 东风汽车集团股份有限公司 | Vehicle vision positioning method for remote autonomous parking |
| CN113899377A (en) * | 2021-08-23 | 2022-01-07 | 武汉光庭信息技术股份有限公司 | Camera-based automatic parking terminal relative coordinate measuring method and system |
| US12033400B2 (en) | 2020-07-13 | 2024-07-09 | Faurecia Clarion Electronics Co., Ltd. | Overhead-view image generation device, overhead-view image generation system, and automatic parking device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006007875A (en) * | 2004-06-23 | 2006-01-12 | Denso Corp | Support device for parking |
| JP2008055958A (en) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | Parking assist method and parking assist device |
| JP2008213646A (en) * | 2007-03-02 | 2008-09-18 | Aisin Aw Co Ltd | Parking assistant method and parking assistant device |
| JP2014013994A (en) * | 2012-07-04 | 2014-01-23 | Denso Corp | Vehicle peripheral image display control device and vehicle peripheral image display control program |
| JP2015227139A (en) * | 2014-06-02 | 2015-12-17 | 株式会社日本自動車部品総合研究所 | On-vehicle image processing apparatus |
-
2016
- 2016-02-18 JP JP2016028655A patent/JP6642906B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006007875A (en) * | 2004-06-23 | 2006-01-12 | Denso Corp | Support device for parking |
| JP2008055958A (en) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | Parking assist method and parking assist device |
| JP2008213646A (en) * | 2007-03-02 | 2008-09-18 | Aisin Aw Co Ltd | Parking assistant method and parking assistant device |
| JP2014013994A (en) * | 2012-07-04 | 2014-01-23 | Denso Corp | Vehicle peripheral image display control device and vehicle peripheral image display control program |
| JP2015227139A (en) * | 2014-06-02 | 2015-12-17 | 株式会社日本自動車部品総合研究所 | On-vehicle image processing apparatus |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019026406A1 (en) | 2017-07-31 | 2019-02-07 | 株式会社日立ハイテクノロジーズ | Device, specimen state determination method, and analysis system |
| JP7206886B2 (en) | 2018-12-19 | 2023-01-18 | トヨタ自動車株式会社 | Driving support device |
| JP2020097347A (en) * | 2018-12-19 | 2020-06-25 | トヨタ自動車株式会社 | Driving support device |
| KR20200134497A (en) * | 2019-05-22 | 2020-12-02 | 한양대학교 산학협력단 | A parking space pose estimation method and apparatus |
| KR102200649B1 (en) | 2019-05-22 | 2021-01-08 | 한양대학교 산학협력단 | A parking space pose estimation method and apparatus |
| CN110379178A (en) * | 2019-07-25 | 2019-10-25 | 电子科技大学 | Pilotless automobile intelligent parking method based on millimetre-wave radar imaging |
| US12033400B2 (en) | 2020-07-13 | 2024-07-09 | Faurecia Clarion Electronics Co., Ltd. | Overhead-view image generation device, overhead-view image generation system, and automatic parking device |
| CN112084900A (en) * | 2020-08-26 | 2020-12-15 | 浙江工业大学 | Underground garage random parking detection method based on video analysis |
| CN112455430A (en) * | 2020-12-02 | 2021-03-09 | 苏州优达斯汽车科技有限公司 | Method for detecting inclined parking spaces without parking space lines, parking method and parking system |
| CN113781300A (en) * | 2021-08-17 | 2021-12-10 | 东风汽车集团股份有限公司 | Vehicle vision positioning method for remote autonomous parking |
| CN113781300B (en) * | 2021-08-17 | 2023-10-13 | 东风汽车集团股份有限公司 | Vehicle vision positioning method for long-distance autonomous parking |
| CN113899377A (en) * | 2021-08-23 | 2022-01-07 | 武汉光庭信息技术股份有限公司 | Camera-based automatic parking terminal relative coordinate measuring method and system |
| CN113899377B (en) * | 2021-08-23 | 2023-10-27 | 武汉光庭信息技术股份有限公司 | Method and system for measuring relative coordinates of automatic parking end point based on camera |
| CN113762272A (en) * | 2021-09-10 | 2021-12-07 | 北京精英路通科技有限公司 | Road information determination method and device and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6642906B2 (en) | 2020-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6642906B2 (en) | Parking position detection system and automatic parking system using the same | |
| JP4815993B2 (en) | Parking support method and parking support device | |
| JP5421072B2 (en) | Approaching object detection system | |
| JP4604703B2 (en) | Parking assistance device | |
| US9540000B2 (en) | Acceleration suppression device for vehicle, and acceleration suppression method for vehicle | |
| JP4940168B2 (en) | Parking space recognition device | |
| US8089512B2 (en) | Driving support device, driving support method and computer program | |
| JP5136950B2 (en) | In-vehicle device operation device | |
| JP2016016681A (en) | Parking frame recognition device | |
| JP2005112004A (en) | Vehicle reversing motion assisting device and vehicle reversing motion assisting method | |
| JP2009211624A (en) | Driving support device, driving support method, and computer program | |
| US20170028917A1 (en) | Driving assistance device and driving assistance method | |
| JP2017159687A (en) | Parking region display system and automatic parking system using the same | |
| JP2012176656A (en) | Parking support device | |
| JP2020068515A (en) | Image processing apparatus | |
| JP5013204B2 (en) | Parking assistance device | |
| KR20130072709A (en) | A parking assist system which based on technical composition of image recognition and supersonic sensor | |
| JP2013116696A (en) | Parking assist device | |
| JP2005202787A (en) | Display device for vehicle | |
| JP2010281781A (en) | Driving lane detector | |
| JP6559083B2 (en) | Parking assistance device and parking assistance method | |
| JP2014107696A (en) | On-vehicle image processing device | |
| JP6148848B2 (en) | In-vehicle image processing device | |
| JP2010176592A (en) | Driving support device for vehicle | |
| JP2010019752A (en) | Apparatus for estimating width of vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181107 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190523 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190529 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6642906 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |