JP2017052471A - Vehicle parking block recognizing device - Google Patents

Vehicle parking block recognizing device Download PDF

Info

Publication number
JP2017052471A
JP2017052471A JP2015179453A JP2015179453A JP2017052471A JP 2017052471 A JP2017052471 A JP 2017052471A JP 2015179453 A JP2015179453 A JP 2015179453A JP 2015179453 A JP2015179453 A JP 2015179453A JP 2017052471 A JP2017052471 A JP 2017052471A
Authority
JP
Japan
Prior art keywords
parking
parking area
vehicle
target parking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015179453A
Other languages
Japanese (ja)
Other versions
JP6768275B2 (en
Inventor
健人 緒方
Taketo Ogata
健人 緒方
今井 正人
Masato Imai
正人 今井
範安 長谷島
Noriyasu HASEJIMA
範安 長谷島
晋也 田川
Shinya Tagawa
晋也 田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2015179453A priority Critical patent/JP6768275B2/en
Publication of JP2017052471A publication Critical patent/JP2017052471A/en
Application granted granted Critical
Publication of JP6768275B2 publication Critical patent/JP6768275B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To set a target parking block at a correct position even in a case where a part of a parking block line is not detected because of stain or blurring.SOLUTION: A parking block detection part 46 detects a parking block from an image that has been taken by an imaging part 20. A target parking block setting part 48 sets a target parking block from among detected parking blocks. A parking block correction part 50 corrects a position of the target parking block that has been set so that a proper target parking block is set.SELECTED DRAWING: Figure 3

Description

本発明は、車載カメラで撮影した画像の中から、駐車領域を示す駐車区画を検出する車両用駐車区画認識装置に関するものである。   The present invention relates to a vehicular parking area recognizing device that detects a parking area indicating a parking area from an image taken by an in-vehicle camera.

昨今、車両を所定の駐車位置に駐車する際に、目標駐車区画を自動的に検出して、車両を自動駐車させる車両用駐車支援装置が実用化されている。   Recently, when a vehicle is parked at a predetermined parking position, a vehicle parking assistance device that automatically detects a target parking section and automatically parks the vehicle has been put into practical use.

このような車両用駐車支援装置にあっては、車両周辺を撮影した画像の中から駐車可能な駐車区画を検出して、検出された駐車区画に向けて車両を移動させる際の移動経路を算出し、算出された移動経路に沿って車両を自動走行させて、駐車動作を行っている(例えば特許文献1)。   In such a parking assist device for a vehicle, a parking area that can be parked is detected from an image obtained by photographing the periphery of the vehicle, and a movement route for moving the vehicle toward the detected parking area is calculated. Then, the vehicle is automatically driven along the calculated movement route to perform a parking operation (for example, Patent Document 1).

特開2015−74254号公報Japanese Patent Laying-Open No. 2015-74254

しかしながら、特許文献1に記載された駐車支援装置にあっては、検出された駐車区画線の中で、より自車両から近い位置に検出された駐車区画線を基準として目標駐車区画を設定していた。したがって、例えば、駐車区画の左右両側の駐車区画線が、ともに汚れて見えにくいときには、汚れて見えにくくなった駐車区画線の検出結果に基づいて目標駐車区画が設定されてしまうため、目標駐車区画が実際よりも奥まった位置に設定されてしまうという問題があった。   However, in the parking assistance device described in Patent Document 1, the target parking area is set with reference to the detected parking line closer to the vehicle among the detected parking lines. It was. Therefore, for example, when the parking lot lines on both the left and right sides of the parking lot are both dirty and difficult to see, the target parking lot is set based on the detection result of the parking lot line that has become dirty and difficult to see. There is a problem that is set in a position deeper than actual.

例えば、図23(a)に示すように、車両100の近傍に複数の駐車区画線K1,K2,K3,K4が検出されたとき、駐車区画線K2,K3の車両100側の先端部のペイントがかすれて薄くなっているときには、駐車区画が奥まった位置にあるように検出されてしまう虞がある。そのため、検出された駐車区画をそのまま目標駐車区画PFに設定すると、図23(b)に示すように、目標駐車区画が、実際の駐車区画よりも奥まった位置に設定されてしまう。このような場合には、目標駐車区画の奥行方向の長さが不足するため、車両100を駐車させることができないと判断されてしまう虞がある。   For example, as shown in FIG. 23 (a), when a plurality of parking lot lines K1, K2, K3, K4 are detected in the vicinity of the vehicle 100, the paint on the front end portion of the parking lot lines K2, K3 on the vehicle 100 side is painted. When it is faded and thinned, there is a possibility that the parking section is detected as being in the back position. Therefore, when the detected parking area is set as the target parking area PF as it is, the target parking area is set at a position deeper than the actual parking area as shown in FIG. In such a case, since the length of the target parking section in the depth direction is insufficient, it may be determined that the vehicle 100 cannot be parked.

本発明は、上記課題に鑑みてなされたもので、汚れやかすれによって駐車区画線の一部が検出されないときであっても、目標駐車区画を正しい位置に設定することを目的とするものである。   The present invention has been made in view of the above problems, and an object of the present invention is to set a target parking lot at a correct position even when a part of the parking lot line is not detected due to dirt or blur. .

前記課題を解決するために、本発明に係る車両用駐車区画認識装置は、車両に備えられて、前記車両の周囲の画像を撮像する少なくとも1つの撮像部と、前記撮像部で撮像された画像の中から、駐車区画を検出する駐車区画検出部と、前記駐車区画の検出結果に基づいて、前記車両を駐車させる目標駐車区画を設定する目標駐車区画設定部と、前記画像の中における前記目標駐車区画の位置を補正する駐車区画補正部と、を有することを特徴とする。   In order to solve the above-described problem, a vehicle parking area recognition device according to the present invention is provided in a vehicle, and includes at least one imaging unit that captures an image around the vehicle, and an image captured by the imaging unit. A parking area detection unit for detecting a parking area, a target parking area setting unit for setting a target parking area for parking the vehicle based on a detection result of the parking area, and the target in the image A parking area correction unit that corrects the position of the parking area.

このように構成された本発明に係る車両用駐車区画認識装置によれば、前記した構成としたため、駐車区画検出部が検出した駐車区画の中から、目標駐車区画設定部が目標駐車区画を設定して、駐車区画補正部が、設定された目標駐車区画の位置を補正するため、駐車区画の境界線が汚れて見えにくくなっている場合であっても、適切な目標駐車区画を設定することができる。   According to the vehicle parking area recognizing device according to the present invention configured as described above, the target parking area setting unit sets the target parking area from among the parking areas detected by the parking area detecting unit because of the configuration described above. Then, since the parking area correction unit corrects the position of the set target parking area, even when the boundary line of the parking area is dirty and difficult to see, it is necessary to set an appropriate target parking area. Can do.

本発明の実施例1に係る車両用駐車区画認識装置を備えた車両の上面図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a top view of a vehicle provided with a vehicle parking area recognition device according to a first embodiment of the present invention. 実施例1に係る車両用駐車区画認識装置のハードウェア構成を示すハードウェアブロック図である。1 is a hardware block diagram illustrating a hardware configuration of a vehicle parking area recognition device according to a first embodiment. 実施例1に係る車両用駐車区画認識装置の機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the parking area recognition apparatus for vehicles which concerns on Example 1. FIG. 実施例1で行われる処理全体の流れを示すフローチャートである。3 is a flowchart illustrating a flow of the entire process performed in the first embodiment. 車両に設置された各カメラで撮像される画像の例を示す図である。It is a figure which shows the example of the image imaged with each camera installed in the vehicle. 図5Aに示した各画像をそれぞれ俯瞰画像に変換して、さらに各俯瞰画像を合成して、1枚の俯瞰合成画像を生成した例を示す図である。FIG. 5B is a diagram showing an example in which each image shown in FIG. 5A is converted into a bird's-eye view image, and each bird's-eye view image is further synthesized to generate one bird's-eye view synthesized image. 実施例1における白線検出処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of white line detection processing in the first embodiment. 実施例1における駐車区画検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the parking area detection process in Example 1. FIG. 駐車区画検出結果の一例を示す図である。It is a figure which shows an example of a parking area detection result. 実施例1における目標駐車区画設定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the target parking area setting process in Example 1. FIG. 実施例1における駐車区画補正処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the parking area correction process in Example 1. FIG. 実施例1において、駐車区画補正処理を行う前の状態の一例を示す図である。In Example 1, it is a figure which shows an example of the state before performing a parking area correction process. 図11Aの状態にあるときに駐車区画補正処理を行った例を示す図である。It is a figure which shows the example which performed the parking area correction process when it exists in the state of FIG. 11A. 実施例2に係る車両用駐車区画認識装置の機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the parking area recognition apparatus for vehicles which concerns on Example 2. FIG. 実施例2で行われる処理全体の流れを示すフローチャートである。10 is a flowchart showing the overall flow of processing performed in the second embodiment. 実施例2における空間マップ生成処理の流れを示すフローチャートである。12 is a flowchart illustrating a flow of a space map generation process in the second embodiment. 実施例2における目標駐車区画設定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the target parking area setting process in Example 2. FIG. 実施例2における駐車区画補正処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the parking area correction process in Example 2. FIG. 実施例2において空間マップを生成する様子を示す図であり、(a)はt=t0−2Δtにおける空間マップの状態を示す図である。(b)はt=t0−Δtにおける空間マップの状態を示す図である。(c)はt=t0における空間マップの状態を示す図である。It is a figure which shows a mode that a spatial map is produced | generated in Example 2, (a) is a figure which shows the state of the spatial map in t = t0-2 (DELTA) t. (B) is a figure which shows the state of the space map in t = t0- (DELTA) t. (C) is a figure which shows the state of the space map in t = t0. 実施例2における駐車区画補正処理の動作を説明する図であり、(a)は生成された空間マップの一例を示す図である。(b)は図17B(a)に示した空間マップにおいて駐車区画補正処理を行った結果を示す図である。It is a figure explaining the operation | movement of the parking area correction process in Example 2, (a) is a figure which shows an example of the produced | generated space map. (B) is a figure which shows the result of having performed the parking area correction process in the space map shown to Fig.17B (a). 実施例3に係る車両用駐車区画認識装置の機能構成を示す機能ブロック図である。It is a functional block diagram which shows the function structure of the parking area recognition apparatus for vehicles which concerns on Example 3. FIG. 実施例3において行われる処理全体の流れを示すフローチャートである。12 is a flowchart illustrating the overall flow of processing performed in the third embodiment. 実施例3における初期経路生成処理の流れを示すフローチャートである。12 is a flowchart illustrating a flow of an initial route generation process in the third embodiment. 実施例3における目標駐車区画再設定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the target parking area reset process in Example 3. 実施例3の動作例を説明する図であり、あるタイミングにおける車両周囲の駐車区画の検出結果を示す空間マップの一例である。It is a figure explaining the operation example of Example 3, and is an example of the space map which shows the detection result of the parking area around a vehicle in a certain timing. 空間マップ上で、目標駐車区画の設定および目標駐車区画の補正を行った例を示す図である。It is a figure which shows the example which performed the setting of the target parking area, and the correction | amendment of the target parking area on the space map. 目標駐車区画の近傍に至る初期経路を設定した例を示す図である。It is a figure which shows the example which set the initial route which reaches the vicinity of a target parking area. 初期経路に沿って車両を移動させた後、目標駐車区画の再検出を行った例を示す図である。It is a figure which shows the example which redetected the target parking area after moving a vehicle along an initial route. 再検出された目標駐車区画に至る駐車経路を生成した例を示す図である。It is a figure which shows the example which produced | generated the parking route which leads to the re-detected target parking area. (a)比較例の駐車支援装置における課題について説明する第1の図である。(b)比較例の駐車支援装置における課題について説明する第2の図である。(A) It is a 1st figure explaining the subject in the parking assistance apparatus of a comparative example. (B) It is a 2nd figure explaining the subject in the parking assistance apparatus of a comparative example.

以下、本発明に係る車両用駐車区画認識装置の具体的な実施形態について、図面を参照して説明する。   Hereinafter, specific embodiments of a vehicular parking area recognition device according to the present invention will be described with reference to the drawings.

本実施例は、設定された目標駐車区画に車両を自動的に駐車させるものである。   In this embodiment, the vehicle is automatically parked in the set target parking area.

(ハードウェア構成の説明)
まず、本装置のハードウェア構成について図1と図2を用いて説明する。本実施例の車両用駐車区画認識装置10aは、図1に示す車両100に実装されている。車両100の前後左右には、図1に示すように複数の小型カメラが備えられている。
(Description of hardware configuration)
First, the hardware configuration of this apparatus will be described with reference to FIGS. 1 and 2. The vehicle parking area recognizing device 10a of this embodiment is mounted on the vehicle 100 shown in FIG. A plurality of small cameras are provided on the front, rear, left and right of the vehicle 100 as shown in FIG.

具体的には、車両100のフロントバンパまたはフロントグリルには、車両100の前方に向けて前方カメラ20aが装着されている。また、車両100のリアバンパまたはリアガーニッシュには、車両100の後方に向けて後方カメラ20bが装着されている。そして、車両100の左ドアミラーには、車両100の左側方に向けて左側方カメラ20cが装着されており、車両100の右ドアミラーには、車両100の右側方に向けて右側方カメラ20dが装着されている。   Specifically, a front camera 20 a is attached to the front bumper or front grill of the vehicle 100 toward the front of the vehicle 100. Further, a rear camera 20 b is mounted on the rear bumper or rear garnish of the vehicle 100 toward the rear of the vehicle 100. A left side camera 20c is attached to the left door mirror of the vehicle 100 toward the left side of the vehicle 100, and a right side camera 20d is attached to the right door mirror of the vehicle 100 toward the right side of the vehicle 100. Has been.

前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、4台のカメラで車両100の周囲の路面を含む領域を漏れなく観測することができるようになっている。   The front camera 20a, the rear camera 20b, the left side camera 20c, and the right side camera 20d are each equipped with a wide-angle lens and a fish-eye lens capable of observing a wide range, and include the road surface around the vehicle 100 with four cameras. The area can be observed without omission.

さらに、図1に示すように、車両100の前後左右には、ソナー30a,30b,30c,30d,30e,30fからなる測距装置が装着されている。   Further, as shown in FIG. 1, distance measuring devices including sonars 30a, 30b, 30c, 30d, 30e, and 30f are mounted on the front, rear, left, and right sides of the vehicle 100.

具体的には、車両100のフロントバンパやフロントグリルには、車両100の前方に向けてソナー30aが装着されている。また、車両100の左側方部には、車両100の左側方に向けてソナー30b,30cが装着されている。そして、車両100のリアバンパやリアガーニッシュには、車両100の後方に向けてソナー30dが装着されており、車両100の右側方部には、車両100の右側方に向けてソナー30e,30fが装着されている。   Specifically, a sonar 30 a is attached to the front bumper and front grill of the vehicle 100 toward the front of the vehicle 100. Sonars 30 b and 30 c are attached to the left side portion of the vehicle 100 toward the left side of the vehicle 100. The rear bumper and rear garnish of the vehicle 100 are equipped with a sonar 30d toward the rear of the vehicle 100, and sonars 30e and 30f are attached to the right side of the vehicle 100 toward the right side of the vehicle 100. Has been.

これらのソナー30a〜30fは、それぞれ水平方向に広がった測距範囲を有しており、全てのソナー30a〜30fを合わせて、車両100の周囲を漏れなく測距できるようになっている。   These sonars 30a to 30f each have a distance measuring range that spreads in the horizontal direction, and all the sonars 30a to 30f can be combined to measure the surroundings of the vehicle 100 without omission.

なお、ソナー30a〜30fの代わりに、ミリ波レーダ等のレーダ装置を設置しても構わない。一般に、レーダはソナーに対して遠方の測距性能に優れるため、自動駐車を行う際に必要となる車両100の周囲の距離範囲の大きさに基づいて、使用するセンサを適宜選択すればよい。   A radar device such as a millimeter wave radar may be installed in place of the sonars 30a to 30f. In general, the radar is excellent in distance measurement performance far from the sonar, and therefore, a sensor to be used may be appropriately selected based on the size of the distance range around the vehicle 100 required for automatic parking.

車両用駐車区画認識装置10aは、図2に示す各ユニットから構成される。すなわち、車両用駐車区画認識装置10aは、車両100に搭載された、前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dと、これらのカメラを制御するとともに、駐車区画の検出,目標駐車区画の設定,駐車区画の位置補正等の処理を行うカメラECU22と、前述したソナー30a〜30fと、これらのソナー30a〜30fを制御するとともに車両100の周囲の障害物の検出を行うソナーECU32を有する。また、車両用駐車区画認識装置10aを動作させた際に必要な情報を表示する、タッチパネル機能を有するモニター41を備えている。   The vehicle parking area recognizing device 10a is composed of the units shown in FIG. That is, the vehicle parking area recognition device 10a controls the front camera 20a, the rear camera 20b, the left camera 20c, the right camera 20d, and these cameras mounted on the vehicle 100, and detects the parking area. A camera ECU 22 that performs processing such as setting of a target parking area and position correction of the parking area, sonars 30a to 30f described above, and a sonar that controls these sonars 30a to 30f and detects obstacles around the vehicle 100 An ECU 32 is included. Moreover, the monitor 41 which has a touchscreen function which displays information required when operating the parking area recognition apparatus 10a for vehicles is provided.

さらに、車両用駐車区画認識装置10aは、自動駐車の開始を指示する自動駐車開始スイッチ29を備えるとともに、カメラECU22およびソナーECU32で検出された情報に基づいて、自動駐車を行う際の目標駐車区画候補を決定して、さらに、車両100が採るべき進入方向を決定する車両制御ECU64を有する。そして、車両制御ECU64で決定した車両制御情報に基づいて、車両100の操舵角を制御するステアリング制御ユニット70と、車両100のスロットルを制御するスロットル制御ユニット80と、車両100のブレーキを制御するブレーキ制御ユニット90と、を備えている。   Furthermore, the vehicular parking area recognition device 10a includes an automatic parking start switch 29 for instructing the start of automatic parking, and based on information detected by the camera ECU 22 and the sonar ECU 32, a target parking area when performing automatic parking A vehicle control ECU 64 that determines candidates and further determines an approach direction that the vehicle 100 should take. Then, based on the vehicle control information determined by the vehicle control ECU 64, a steering control unit 70 that controls the steering angle of the vehicle 100, a throttle control unit 80 that controls the throttle of the vehicle 100, and a brake that controls the brake of the vehicle 100. And a control unit 90.

また、車両用駐車区画認識装置10aは、車両100の現在位置を特定するために必要な情報および自動駐車を行う際に車両100の車速と操舵角を制御するために必要な情報を取得する車輪速センサ93,舵角センサ94,ヨーレートセンサ95,シフト位置センサ96をそれぞれ備えている。   Further, the vehicle parking section recognition device 10a acquires information necessary for specifying the current position of the vehicle 100 and information necessary for controlling the vehicle speed and the steering angle of the vehicle 100 when performing automatic parking. A speed sensor 93, a rudder angle sensor 94, a yaw rate sensor 95, and a shift position sensor 96 are provided.

ステアリング制御ユニット70は、パワステアクチュエータ72を駆動して、車両100の操舵角を制御する。   The steering control unit 70 drives the power steering actuator 72 to control the steering angle of the vehicle 100.

スロットル制御ユニット80は、スロットルアクチュエータ82を駆動して、車両100のスロットルを制御する。   The throttle control unit 80 drives the throttle actuator 82 to control the throttle of the vehicle 100.

ブレーキ制御ユニット90は、ブレーキアクチュエータ92を駆動して、車両100のブレーキを制御する。   The brake control unit 90 controls the brake of the vehicle 100 by driving the brake actuator 92.

なお、カメラECU22およびソナーECU32と、車両制御ECU64との間は、車両100の車内に敷設されたネットワークである、例えばCAN(登録商標)(Controller Area Network)で構成されたセンサ情報系ネットワーク55に接続されている。また、ステアリング制御ユニット70,スロットル制御ユニット80,ブレーキ制御ユニット90と、車両制御ECU64との間は、車両100の車内に敷設されたネットワークである、例えばCAN(登録商標)で構成された車両情報系ネットワーク56に接続されている。   A sensor information network 55 constituted by, for example, CAN (registered trademark) (Controller Area Network), which is a network laid in the vehicle 100, is provided between the camera ECU 22 and the sonar ECU 32 and the vehicle control ECU 64. It is connected. In addition, vehicle information constituted by, for example, CAN (registered trademark), which is a network laid in the vehicle 100, between the steering control unit 70, the throttle control unit 80, the brake control unit 90, and the vehicle control ECU 64. It is connected to the system network 56.

ここで、図2において、ソナー30a〜30fの代わりに、図2に非図示のレーダを設置しても構わない。なお、レーダを設置したときは、レーダを制御するとともに、車両100の周囲の障害物の検出を行う、図2に非図示のレーダECUが設置される。   Here, in FIG. 2, a radar not shown in FIG. 2 may be installed instead of the sonars 30a to 30f. When a radar is installed, a radar ECU (not shown in FIG. 2) that controls the radar and detects obstacles around the vehicle 100 is installed.

ソナー30a〜30fとレーダは、それぞれ測距範囲が異なるため、もちろん、両者を混在させても構わない。また、測距機能を実現するために、前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dで、異なる時間に撮像された画像同士をそれぞれ比較することによって障害物を検出する、いわゆるモーションステレオ機能を実装しても構わない。以後、説明を簡単にするため、車両用駐車区画認識装置10aには、測距手段としてソナー30a〜30fとソナーECU32のみが実装されているものとする。   Since the sonars 30a to 30f and the radar have different ranging ranges, of course, both may be mixed. In order to realize the distance measuring function, the front camera 20a, the rear camera 20b, the left camera 20c, and the right camera 20d detect obstacles by comparing images captured at different times, respectively. A so-called motion stereo function may be implemented. Hereinafter, in order to simplify the explanation, it is assumed that only the sonars 30a to 30f and the sonar ECU 32 are mounted on the vehicle parking area recognition device 10a as distance measuring means.

(実施例1の機能構成の説明)
次に、図3を用いて、車両用駐車区画認識装置10aの機能構成について説明する。車両用駐車区画認識装置10aは、車両100に搭載された、撮像部20と、距離計測部30と、俯瞰変換部40と、画像合成部42と、白線検出部44と、駐車区画検出部46と、目標駐車区画設定部48と、駐車区画補正部50と、駐車経路生成部60と、自動駐車実行部62と、からなる。
(Description of Functional Configuration of Example 1)
Next, the functional configuration of the vehicular parking area recognition device 10a will be described with reference to FIG. The vehicle parking section recognition device 10a includes an imaging unit 20, a distance measurement unit 30, an overhead conversion unit 40, an image composition unit 42, a white line detection unit 44, and a parking section detection unit 46, which are mounted on the vehicle 100. And a target parking zone setting unit 48, a parking zone correction unit 50, a parking route generation unit 60, and an automatic parking execution unit 62.

撮像部20は、図1,図2に示した前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20dからなり、車両100の周囲の画像を撮像する。   The imaging unit 20 includes a front camera 20a, a rear camera 20b, a left side camera 20c, and a right side camera 20d shown in FIGS. 1 and 2, and captures an image around the vehicle 100.

距離計測部30(物体検出部)は、図1,図2に示したソナー30a,30b,30c,30d,30e,30fからなり、車両100の周囲の測距を行い、路面と異なる高さにある物体を検出する。   The distance measurement unit 30 (object detection unit) includes the sonars 30a, 30b, 30c, 30d, 30e, and 30f shown in FIGS. 1 and 2, measures the distance around the vehicle 100, and has a height different from the road surface. An object is detected.

俯瞰変換部40は、撮像部20を構成する各カメラ(前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20d)で撮像された画像を、それぞれ、路面を真上から俯瞰した俯瞰画像に変換する。   The bird's-eye conversion unit 40 is a bird's-eye view obtained by bird's-eye view of the images taken by the respective cameras (the front camera 20a, the rear camera 20b, the left-side camera 20c, and the right-side camera 20d) constituting the imaging unit 20, respectively. Convert to image.

画像合成部42は、俯瞰変換部40において変換された各俯瞰画像を1枚の画像に合成する。   The image synthesis unit 42 synthesizes each overhead view image converted by the overhead view conversion unit 40 into one image.

白線検出部44は、画像合成部42で生成された画像の中から、駐車区画の境界線を構成する白線や黄色線を検出する。詳しい処理の内容は後述する。   The white line detection unit 44 detects a white line or a yellow line constituting the boundary line of the parking section from the image generated by the image composition unit 42. Details of the processing will be described later.

駐車区画検出部46は、白線検出部44における白線や黄色線の検出結果に基づいて、これらの白線や黄色線によって形成される駐車区画を検出する。詳しい処理の内容は後述する。   Based on the detection result of the white line and the yellow line in the white line detection unit 44, the parking section detection unit 46 detects a parking section formed by these white lines and yellow lines. Details of the processing will be described later.

目標駐車区画設定部48は、車両100を駐車させる目標駐車区画を設定する。詳しい処理の内容は後述する。   The target parking zone setting unit 48 sets a target parking zone where the vehicle 100 is parked. Details of the processing will be described later.

駐車区画補正部50は、設定された駐車区画の端点位置と方位のうち少なくとも一方を補正する。詳しい処理の内容は後述する。   The parking section correction unit 50 corrects at least one of the end point position and direction of the set parking section. Details of the processing will be described later.

駐車経路生成部60は、車両100の現在位置から目標駐車区画までの駐車経路を生成する。詳しい処理の内容は後述する。   The parking route generation unit 60 generates a parking route from the current position of the vehicle 100 to the target parking section. Details of the processing will be described later.

自動駐車実行部62は、駐車経路生成部60で生成された駐車経路に沿うように、車両制御ECU64(図2)の指示によって車両100の車速,操舵角,ブレーキをそれぞれ制御して車両100の自動駐車を実行する。詳しい処理の内容は後述する。   The automatic parking execution unit 62 controls the vehicle speed, the steering angle, and the brake of the vehicle 100 according to instructions from the vehicle control ECU 64 (FIG. 2) along the parking route generated by the parking route generation unit 60. Perform automatic parking. Details of the processing will be described later.

(実施例1における処理の流れの説明)
以下、車両用駐車区画認識装置10aで行われる処理の全体の流れについて、図4を用いて説明する。
(Description of process flow in embodiment 1)
Hereinafter, the overall flow of processing performed by the vehicle parking section recognition device 10a will be described with reference to FIG.

(ステップS10)俯瞰変換部40(図3)において俯瞰画像の生成処理を行う。   (Step S10) The overhead image conversion unit 40 (FIG. 3) performs overhead image generation processing.

(ステップS20)白線検出部44(図3)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。   (Step S20) In the white line detection unit 44 (FIG. 3), a white line detection process for detecting a white line constituting the boundary line of the parking section is performed.

(ステップS50)駐車区画検出部46(図3)において、駐車区画を検出する駐車区画検出処理を行う。   (Step S50) In the parking area detection part 46 (FIG. 3), the parking area detection process which detects a parking area is performed.

(ステップS100)目標駐車区画設定部48(図3)において、目標駐車区画を設定する目標駐車区画設定処理を行う。   (Step S100) In the target parking area setting unit 48 (FIG. 3), a target parking area setting process for setting the target parking area is performed.

(ステップS150)駐車区画補正部50(図3)において、必要に応じて、駐車区画の位置と方位の補正を行う駐車区画補正処理を行う。   (Step S150) The parking section correction unit 50 (FIG. 3) performs a parking section correction process for correcting the position and direction of the parking section as necessary.

(ステップS200)駐車経路生成部60(図3)において、車両100の現在位置から目標駐車区画に至る駐車経路を生成する。   (Step S200) The parking route generation unit 60 (FIG. 3) generates a parking route from the current position of the vehicle 100 to the target parking section.

(ステップS250)自動駐車実行部62(図3)において、車両100を目標駐車区画PFに自動駐車させる。   (Step S250) In the automatic parking execution unit 62 (FIG. 3), the vehicle 100 is automatically parked in the target parking section PF.

なお、図4のフローチャートには記載していないが、距離計測部30(物体検出部)によって路面と異なる高さにある物体(例えば、路面上にある障害物、あるいは路面に生じた穴等)が検出されて、なおかつ、その物体が目標駐車区画の駐車区画線を隠蔽する位置にあるときは、目標駐車区画の位置補正を行わないようにして、別の目標駐車区画を設定する旨を、車両100の乗員に提示する。あるいは、車両100の周囲で障害物が検出されたときには、その障害物の近傍では白線検出部44による白線検出を行わないようにしてもよい。   Although not described in the flowchart of FIG. 4, an object at a height different from the road surface by the distance measurement unit 30 (object detection unit) (for example, an obstacle on the road surface or a hole generated on the road surface). Is detected, and when the object is in a position that hides the parking line of the target parking area, the position correction of the target parking area is not performed and another target parking area is set. It is presented to the passenger of vehicle 100. Alternatively, when an obstacle is detected around the vehicle 100, white line detection by the white line detection unit 44 may not be performed in the vicinity of the obstacle.

以下、図4に記載した各ステップで行われる処理の詳細な内容について、順を追って説明する。   Hereinafter, the detailed contents of the processing performed in each step described in FIG. 4 will be described in order.

(俯瞰画像の生成処理の説明)
図5Aは、車両100に設置された前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20d(図3の撮像部20)でそれぞれ撮像される画像の例を示す図である。図5Aに示すように、各カメラには、車両100の周囲の路面を含む画像が、透視変換された状態で観測される。なお各カメラには、できるだけ広範囲を撮像することができるように、魚眼レンズや超広角レンズ等の画角の広いレンズが装着されている。
(Description of overhead image generation processing)
FIG. 5A is a diagram illustrating examples of images captured by the front camera 20a, the rear camera 20b, the left side camera 20c, and the right side camera 20d (the imaging unit 20 in FIG. 3) installed in the vehicle 100. As shown in FIG. 5A, an image including a road surface around the vehicle 100 is observed on each camera in a state in which the perspective transformation is performed. Each camera is equipped with a wide-angle lens such as a fish-eye lens or an ultra-wide-angle lens so that a wide range of images can be captured.

図5Bは、図5Aに示した各画像(If(x,y),Il(x,y),Ir(x,y),Ib(x,y))を、それぞれ車両100を真上から見下ろした俯瞰画像(Ife(x,y),Ile(x,y),Ire(x,y),Ibe(x,y))に変換して、さらに各俯瞰画像を合成して、1枚の俯瞰合成画像Ie(x,y)を生成した例を示す図である。   FIG. 5B is a view of each image (If (x, y), Il (x, y), Ir (x, y), Ib (x, y)) shown in FIG. Is converted into an overhead image (Ife (x, y), Ile (x, y), Ire (x, y), Ibe (x, y)), and each overhead image is further synthesized to form a single overhead view. It is a figure which shows the example which produced | generated the synthetic | combination image Ie (x, y).

撮像部20で撮像された画像は、上空の予め決められた位置に設けた視点位置から、所定距離だけ下にある平面状の路面を観測しているものと仮定して座標変換を行うことによって、俯瞰画像に変換される。そして、各カメラ(前方カメラ20a,後方カメラ20b,左側方カメラ20c,右側方カメラ20d)の設置位置の相対関係は予めわかっているため、各俯瞰画像は所定の位置関係になるように合成されて、1枚の俯瞰合成画像Ie(x,y)とすることができる。そして、俯瞰合成画像Ie(x,y)の中心部分は死角になるため、車両100を真上から見下ろした状態を示すアイコン110が表示される。   The image picked up by the image pickup unit 20 is subjected to coordinate conversion on the assumption that a planar road surface is observed a predetermined distance below a viewpoint position provided at a predetermined position in the sky. , Converted into an overhead image. And since the relative relationship of the installation position of each camera (front camera 20a, rear camera 20b, left side camera 20c, right side camera 20d) is known in advance, each overhead view image is synthesized so as to have a predetermined positional relationship. Thus, a single overhead view composite image Ie (x, y) can be obtained. Since the central portion of the overhead view composite image Ie (x, y) is a blind spot, an icon 110 indicating a state where the vehicle 100 is looked down from directly above is displayed.

(白線検出処理の説明)
図6は、実施例1における白線検出処理(図4のステップS20)の流れを示すフローチャートである。ここでいう白線とは、駐車区画の境界線を構成する白線のことである。なお、駐車区画の境界線は白線以外の、例えば黄色線によって形成される場合もあるため、ここで検出される白線は「白い線」に限定されるものではない。すなわち、一般に、路面との間にコントラストを有する境界線を検出する処理が行われる。以下、図6に示す各ステップの処理内容について、順を追って説明する。
(Description of white line detection processing)
FIG. 6 is a flowchart illustrating the flow of the white line detection process (step S20 in FIG. 4) according to the first embodiment. A white line here is a white line which comprises the boundary line of a parking area. In addition, since the boundary line of a parking area may be formed by a yellow line other than the white line, for example, the white line detected here is not limited to the “white line”. That is, generally, processing for detecting a boundary line having contrast with the road surface is performed. Hereinafter, the processing content of each step shown in FIG. 6 will be described in order.

(ステップS22)先に生成した俯瞰合成画像Ie(x,y)を読み出す。   (Step S22) The overhead view composite image Ie (x, y) generated previously is read out.

(ステップS24)俯瞰合成画像Ie(x,y)の中からエッジを検出する。   (Step S24) An edge is detected from the overhead view composite image Ie (x, y).

(ステップS26)エッジが検出された画像を一定方向(例えば、図5Bの俯瞰合成画像Ie(x,y)を図5Bのx軸方向)にスキャンして、画像の濃淡値が所定値以上の差をもってより明るく変化する立上りエッジ位置と、逆により暗く変化する立下がりエッジ位置をそれぞれ抽出する。なお、スキャンの方向は、路面に引かれた駐車区画線に直交する方向に設定するのが望ましい。すなわち、駐車区画線が車両を表すアイコン110と直交する方向に延びているときには、図5Bにおいてy軸方向にスキャンするのが望ましい。一般には、駐車区画線が延びている方向は未知であるため、図5Bにおけるx軸方向とy軸方向にそれぞれ沿って、2回に分けてスキャンしてもよい。   (Step S26) The image in which the edge is detected is scanned in a certain direction (for example, the overhead view composite image Ie (x, y) in FIG. 5B is the x-axis direction in FIG. 5B), and the gray value of the image is greater than or equal to a predetermined value A rising edge position that changes brighter with the difference and a falling edge position that changes darker due to the difference are extracted. The scanning direction is preferably set to a direction orthogonal to the parking lot line drawn on the road surface. That is, when the parking lot line extends in a direction orthogonal to the icon 110 representing the vehicle, it is desirable to scan in the y-axis direction in FIG. 5B. In general, since the direction in which the parking partition line extends is unknown, scanning may be performed twice in each of the x-axis direction and the y-axis direction in FIG. 5B.

(ステップS28)同じスキャンライン上にある立上りエッジ位置と立下がりエッジ位置のペアを探す。   (Step S28) A pair of rising edge position and falling edge position on the same scan line is searched.

(ステップS30)ステップS28で抽出された立上りエッジ位置と立下がりエッジ位置のペアをグルーピングする。   (Step S30) The rising edge position and falling edge position pairs extracted in step S28 are grouped.

(ステップS32)連続する立上りエッジ位置同士で構成される線分および連続する立下がりエッジ位置同士で構成される線分の長さによるフィルタリングを行い、所定の長さに満たない、連続する立上りエッジ位置および連続する立下がりエッジ位置を除去する。この処理によって、図8に示す駐車区画線K1,K2が検出される。   (Step S32) Continuous rising edges that do not satisfy a predetermined length by performing filtering based on the lengths of line segments constituted by continuous rising edge positions and line segments constituted by continuous falling edge positions Remove positions and successive falling edge positions. By this process, the parking lot lines K1 and K2 shown in FIG. 8 are detected.

(ステップS34)長さによるフィルタリングの結果残った、連続する立上りエッジ位置同士で構成される線分および連続する立下がりエッジ位置同士で構成される線分の各端点位置を算出する。その後、図6の処理を終了してメインルーチン(図4)に戻る。   (Step S <b> 34) The positions of the end points remaining as a result of the filtering by the length and the line segments composed of continuous rising edge positions and the line segments composed of continuous falling edge positions are calculated. Thereafter, the process of FIG. 6 is terminated and the process returns to the main routine (FIG. 4).

(駐車区画検出処理の説明)
図7は、実施例1における駐車区画検出処理(図4のステップS50)の流れを示すフローチャートである。また、図8は、駐車区画検出結果の一例を示す図である。以下、図7に示す各ステップの処理内容について、図8を参照しながら順を追って説明する。
(Description of parking area detection processing)
FIG. 7 is a flowchart illustrating the flow of the parking zone detection process (step S50 in FIG. 4) in the first embodiment. Moreover, FIG. 8 is a figure which shows an example of a parking area detection result. Hereinafter, the processing content of each step shown in FIG. 7 will be described in order with reference to FIG.

(ステップS52)白線検出処理(図6)によって検出された線分のうち、駐車区画を形成する可能性のある隣接する2本の線分を選択する。ここで選択される2本の線分は、駐車区画を仕切る駐車区画線の延伸方向の左右両端を構成する線分である。すなわち、立上りエッジ位置同士で構成される線分と、連続する立下がりエッジ位置同士で構成される線分である。   (Step S52) Among the line segments detected by the white line detection process (FIG. 6), two adjacent line segments that may form a parking section are selected. The two line segments selected here are the line segments constituting the left and right ends in the extending direction of the parking section line that partitions the parking section. That is, a line segment composed of rising edge positions and a line segment composed of continuous falling edge positions.

(ステップS54)選択された2本の線分の角度θL(1),θR(1)(図8)の差が、しきい値Th_θmax以下であるか否かを判定する。条件を満足するときはステップS56に進み、それ以外のときはステップS64に進む。   (Step S54) It is determined whether or not the difference between the angles θL (1) and θR (1) (FIG. 8) of the two selected line segments is equal to or smaller than a threshold value Th_θmax. If the condition is satisfied, the process proceeds to step S56; otherwise, the process proceeds to step S64.

(ステップS56)選択された2本の線分の間隔W(図8)が、しきい値Th_Wmin以上、かつしきい値Th_Wmax以下であるか否かを判定する。条件を満足するときはステップS58に進み、それ以外のときはステップS64に進む。   (Step S56) It is determined whether or not the interval W (FIG. 8) between the two selected line segments is not less than the threshold value Th_Wmin and not more than the threshold value Th_Wmax. If the condition is satisfied, the process proceeds to step S58, and otherwise, the process proceeds to step S64.

(ステップS58)選択された2本の線分の下端のずれB(図8)が、しきい値Th_Bmin以上、かつしきい値Th_Bmax以下であるか否かを判定する。条件を満足するときはステップS60に進み、それ以外のときはステップS64に進む。   (Step S58) It is determined whether or not the deviation B (FIG. 8) between the lower ends of the two selected line segments is not less than the threshold value Th_Bmin and not more than the threshold value Th_Bmax. When the condition is satisfied, the process proceeds to step S60, and otherwise, the process proceeds to step S64.

(ステップS60)2本の線分を左右端として構成される領域を駐車区画PF(i)として駐車区画検出部46(図3)に登録する。図8にあっては、駐車区画PF(1)が登録される。   (Step S60) An area configured with two line segments as the left and right ends is registered in the parking section detection unit 46 (FIG. 3) as a parking section PF (i). In FIG. 8, the parking section PF (1) is registered.

(ステップS62)左右両端の端点位置である駐車区画線位置(PL(i),PR(i))および駐車区画線の方位θm(i)を、それぞれ駐車区画検出部46(図3)に登録する。図8にあっては、駐車区画線位置(PL(1),PR(1))および駐車区画線の方位θm(1)がそれぞれ登録される。   (Step S62) The parking lot line positions (PL (i), PR (i)) and the parking lot line direction θm (i), which are the end point positions on both the left and right ends, are registered in the parking lot detection unit 46 (FIG. 3). To do. In FIG. 8, the parking lot line positions (PL (1), PR (1)) and the parking lot line direction θm (1) are registered.

(ステップS64)全ての線分の組み合わせに対して確認を行ったか否かを判定する。条件を満足するときは図7の処理を終了してメインルーチン(図4)に戻る。それ以外のときはステップS52に戻る。   (Step S64) It is determined whether or not confirmation has been performed for all line segment combinations. When the condition is satisfied, the process of FIG. 7 is terminated and the process returns to the main routine (FIG. 4). Otherwise, the process returns to step S52.

(目標駐車区画設定処理の説明)
図9は、実施例1における駐車区画検出処理(図4のステップS50)の流れを示すフローチャートである。以下、図9に示す各ステップの処理内容について、順を追って説明する。
(Explanation of target parking area setting process)
FIG. 9 is a flowchart illustrating the flow of the parking zone detection process (step S50 in FIG. 4) in the first embodiment. Hereinafter, the processing contents of each step shown in FIG. 9 will be described in order.

(ステップS102)駐車区画検出処理(図4のステップS50)によって検出された車両周囲の駐車区画をモニター41(図2)に表示する。   (Step S102) The parking area around the vehicle detected by the parking area detection process (step S50 in FIG. 4) is displayed on the monitor 41 (FIG. 2).

(ステップS104)ユーザが駐車区画PF(i)を1つ選択したか否かを判定する。条件を満足するときはステップS106に進み、それ以外のときはステップS108に進む。なお、駐車区画PF(i)の選択は、例えば、モニター41(図2)が有するタッチパネル機能を利用して、所望の駐車区画PF(i)の位置を押下することによって行う。   (Step S104) It is determined whether the user has selected one parking section PF (i). If the condition is satisfied, the process proceeds to step S106. Otherwise, the process proceeds to step S108. The selection of the parking section PF (i) is performed, for example, by pressing the position of the desired parking section PF (i) using the touch panel function of the monitor 41 (FIG. 2).

(ステップS106)選択された駐車区画PF(i)を目標駐車区画PFに設定する。その後、図9の処理を終了してメインルーチン(図4)に戻る。   (Step S106) The selected parking section PF (i) is set as the target parking section PF. Thereafter, the process of FIG. 9 is terminated and the process returns to the main routine (FIG. 4).

(ステップS108)車両100の前輪車軸中心に最も近い駐車区画PF(i)を目標駐車区画PFに設定する。その後、図9の処理を終了してメインルーチン(図4)に戻る。   (Step S108) The parking section PF (i) closest to the front wheel axle center of the vehicle 100 is set as the target parking section PF. Thereafter, the process of FIG. 9 is terminated and the process returns to the main routine (FIG. 4).

(駐車区画補正処理の説明)
図10は、実施例1における駐車区画補正処理(図4のステップS150)の流れを示すフローチャートである。また、図11A,図11Bは、駐車区画補正処理の一例を示す図である。以下、図10に示す各ステップの処理内容について、図11A,図11Bを参照しながら順を追って説明する。
(Description of parking area correction processing)
FIG. 10 is a flowchart illustrating the flow of the parking zone correction process (step S150 in FIG. 4) according to the first embodiment. Moreover, FIG. 11A and FIG. 11B are figures which show an example of a parking area correction process. Hereinafter, the processing content of each step shown in FIG. 10 will be described in order with reference to FIGS. 11A and 11B.

(ステップS152)目標駐車区画設定処理(図9)で設定された目標駐車区画PFおよび駐車区画検出処理(図7)で検出された駐車区画PF(i)を読み出す。ここでは、図11Aに記載した駐車区画PF(3)が目標駐車区画PFとして設定されたものとして説明を行う。   (Step S152) The target parking area PF set in the target parking area setting process (FIG. 9) and the parking area PF (i) detected in the parking area detection process (FIG. 7) are read. Here, the description will be made assuming that the parking section PF (3) illustrated in FIG. 11A is set as the target parking section PF.

(ステップS154)目標駐車区画PFの自車両側に複数の駐車区画PF(i)が検出されているか否かを判定する。条件を満足するときはステップS156に進み、それ以外のときはステップS170に進む。例えば図11Bにあっては、目標駐車区画PFとして設定された駐車区画PF(3)の自車両側に複数の駐車区画PF(1),PF(2)が検出されているため、ステップS156に進む。   (Step S154) It is determined whether a plurality of parking sections PF (i) are detected on the own vehicle side of the target parking section PF. If the condition is satisfied, the process proceeds to step S156; otherwise, the process proceeds to step S170. For example, in FIG. 11B, a plurality of parking sections PF (1) and PF (2) are detected on the own vehicle side of the parking section PF (3) set as the target parking section PF. move on.

(ステップS156)複数の駐車区画PF(i)の平均方位θmを算出する。例えば図11Aにあっては、駐車区画PF(1),PF(2)の各方位θm(1),θm(2)(図8参照)の平均値として平均方位θmが算出される。   (Step S156) The average direction θm of the plurality of parking sections PF (i) is calculated. For example, in FIG. 11A, the average direction θm is calculated as the average value of the directions θm (1) and θm (2) (see FIG. 8) of the parking sections PF (1) and PF (2).

(ステップS158){θm−θL(i)}の絶対値がしきい値TH_θよりも大きいか否かを判定する。条件を満足するときはステップS160に進み、それ以外のときはステップS162に進む。例えば図11Aにあっては、{θm−θL(i)}の絶対値がしきい値TH_θよりも小さいものとする。すなわち、ステップS162に進む。   (Step S158) It is determined whether or not the absolute value of {θm−θL (i)} is larger than the threshold value TH_θ. If the condition is satisfied, the process proceeds to step S160. Otherwise, the process proceeds to step S162. For example, in FIG. 11A, it is assumed that the absolute value of {θm−θL (i)} is smaller than the threshold value TH_θ. That is, the process proceeds to step S162.

(ステップS160)θL(i)をθmに補正する。   (Step S160) θL (i) is corrected to θm.

(ステップS162){θm−θR(i)}の絶対値がしきい値TH_θよりも大きいか否かを判定する。条件を満足するときはステップS164に進み、それ以外のときはステップS166に進む。例えば図11Aにあっては、{θm−θR(i)}の絶対値がしきい値TH_θよりも小さいものとする。すなわち、ステップS166に進む。   (Step S162) It is determined whether or not the absolute value of {θm−θR (i)} is larger than the threshold value TH_θ. If the condition is satisfied, the process proceeds to step S164. Otherwise, the process proceeds to step S166. For example, in FIG. 11A, it is assumed that the absolute value of {θm−θR (i)} is smaller than the threshold value TH_θ. That is, the process proceeds to step S166.

(ステップS164)θR(i)をθmに補正する。   (Step S164) θR (i) is corrected to θm.

(ステップS166)検出された複数の端点位置である駐車区画線位置(PL(i),PR(i),i=0,1,2,…)によって定まる基準直線Lを最小二乗法によって決定する。例えば図11Bにあっては、基準直線Lが決定される。   (Step S166) A reference straight line L determined by parking lot line positions (PL (i), PR (i), i = 0, 1, 2,...) Which are detected end point positions is determined by the least square method. . For example, in FIG. 11B, the reference straight line L is determined.

(ステップS168)基準直線Lに基づいて、目標駐車区画PFの端点の位置を補正して、駐車区画補正部50(図3)に記憶する。例えば図11Bにあっては、駐車区画線位置PR(3)が、駐車区画線位置PR(3)を含む駐車区画線の内側をなす線分の延長線Mが基準直線Lと交わる位置、すなわち、図11Bに示す駐車区画線位置PR’(3)に補正される。その後、図10の処理を終了してメインルーチン(図4)に戻る。   (Step S168) Based on the reference straight line L, the position of the end point of the target parking section PF is corrected and stored in the parking section correction unit 50 (FIG. 3). For example, in FIG. 11B, the parking lot line position PR (3) is a position where the extended line M that forms the inner side of the parking lot line including the parking lot line position PR (3) intersects the reference straight line L, that is, The parking lot line position PR ′ (3) shown in FIG. 11B is corrected. Thereafter, the processing of FIG. 10 is terminated and the process returns to the main routine (FIG. 4).

(ステップS170)目標駐車区画PFの端点の位置は補正しない。その後、図10の処理を終了してメインルーチン(図4)に戻る。   (Step S170) The position of the end point of the target parking section PF is not corrected. Thereafter, the processing of FIG. 10 is terminated and the process returns to the main routine (FIG. 4).

(駐車経路生成処理の説明)
駐車経路生成部60(図3)は、駐車区画補正処理を行った目標駐車区画PFに対して、車両100を現在位置から目標駐車区画PFまで移動させる駐車経路を生成する。生成される駐車経路には、駐車を完了するまでの距離が最短になる駐車経路、車両100の前端から駐車する駐車経路、切り返し回数ができるだけ少ない駐車経路等、様々なバリエーションが考えられるため、車両100の乗員から、生成する経路に関する条件提示を行って、適切な駐車経路を選択するようにしてもよい。
(Description of parking route generation processing)
The parking route generation unit 60 (FIG. 3) generates a parking route for moving the vehicle 100 from the current position to the target parking portion PF with respect to the target parking portion PF that has undergone the parking portion correction process. There are various variations in the generated parking route, such as a parking route that minimizes the distance until parking is completed, a parking route that parks from the front end of the vehicle 100, and a parking route that has the least number of turnovers. An appropriate parking route may be selected by presenting conditions regarding the route to be generated from 100 passengers.

(自動駐車実行処理の説明)
自動駐車実行部62(図3)は、駐車経路生成部60で生成された駐車経路に沿うように車両100の車速,操舵角,ブレーキをそれぞれ制御して、車両100の自動駐車を実行する。具体的には、図2において、車両100のシフト位置をシフト位置センサ96で検出し、車速を車輪速センサ93で検出し、操舵角を舵角センサ94で検出して,スロットルアクチュエータ82とブレーキアクチュエータ92をそれぞれ制御して車速をコントロールする。さらに、パワステアクチュエータ72を制御して操舵角をコントロールする。このようにして、生成された駐車経路に沿って車両100を移動させることによって、自動駐車が実行される。
(Description of automatic parking execution process)
The automatic parking execution unit 62 (FIG. 3) controls the vehicle speed, the steering angle, and the brake of the vehicle 100 along the parking route generated by the parking route generation unit 60, and executes automatic parking of the vehicle 100. Specifically, in FIG. 2, the shift position of the vehicle 100 is detected by the shift position sensor 96, the vehicle speed is detected by the wheel speed sensor 93, the steering angle is detected by the steering angle sensor 94, and the throttle actuator 82 and brake The vehicle speed is controlled by controlling the actuators 92 respectively. Further, the power steering actuator 72 is controlled to control the steering angle. Thus, automatic parking is performed by moving the vehicle 100 along the generated parking route.

その際、図3に示した撮像部20と距離計測部30によって車両100の周囲を逐次観測し、必要に応じて障害物の回避を行う等して駐車経路を修正しながら、車両100を目標駐車区画PFに向けて移動させる。そして、目標駐車区画PFの位置に到達したことを確認して、自動駐車が完了したものと判断する。   At that time, the surroundings of the vehicle 100 are sequentially observed by the imaging unit 20 and the distance measuring unit 30 shown in FIG. 3, and the vehicle 100 is targeted while correcting the parking route by avoiding obstacles as necessary. Move toward the parking area PF. Then, after confirming that the position of the target parking section PF has been reached, it is determined that automatic parking has been completed.

以下、本発明に係る車両用駐車区画認識装置の第2の具体的な実施形態について、図面を参照して説明する。   Hereinafter, a second specific embodiment of the vehicle parking area recognizing device according to the present invention will be described with reference to the drawings.

本実施例は、設定された目標駐車区画に車両を自動的に駐車させるものである。特に、車両の移動に応じて車両周囲の空間マップを自動的に生成する機能を有して、生成された車両周囲の空間マップの中から目標駐車区画を選択し、必要に応じてその位置と方位を補正した上で、目標駐車区画に対して自動駐車を実行するものである。   In this embodiment, the vehicle is automatically parked in the set target parking area. In particular, it has a function of automatically generating a space map around the vehicle according to the movement of the vehicle, and selects a target parking area from the generated space map around the vehicle, and if necessary, its position and After correcting the direction, automatic parking is executed for the target parking area.

(実施例2の機能構成の説明)
図12を用いて、車両用駐車区画認識装置10bの機能構成について説明する。車両用駐車区画認識装置10bは、車両100に搭載された、撮像部20と、距離計測部30と、俯瞰変換部40と、画像合成部42と、白線検出部44と、駐車区画検出部46と、空間マップ生成部47と、目標駐車区画設定部48と、駐車区画補正部50と、駐車経路生成部60と、自動駐車実行部62と、車両情報取得部66と、デッドレコニング演算部68と、からなる。なお、実施例2のハードウェア構成は、実施例1のハードウェア構成(図2)と同じである。
(Description of Functional Configuration of Example 2)
The functional configuration of the vehicular parking area recognition device 10b will be described with reference to FIG. The vehicle parking section recognition device 10b includes an imaging unit 20, a distance measurement unit 30, an overhead conversion unit 40, an image composition unit 42, a white line detection unit 44, and a parking section detection unit 46, which are mounted on the vehicle 100. A space map generation unit 47, a target parking zone setting unit 48, a parking zone correction unit 50, a parking route generation unit 60, an automatic parking execution unit 62, a vehicle information acquisition unit 66, and a dead reckoning calculation unit 68. And consist of The hardware configuration of the second embodiment is the same as the hardware configuration of the first embodiment (FIG. 2).

なお、図12に示す各構成部位のうち、実施例1の機能構成(図3)と共通する部位は、互いに同じ機能を有している。   Of the constituent parts shown in FIG. 12, parts common to the functional configuration of the first embodiment (FIG. 3) have the same functions.

実施例2のみが有する構成部位のうち、車両情報取得部66は、車両の挙動を検出するために必要な情報である、車輪速,舵角,ヨーレート,シフト位置を検出する。   Of the constituent parts that only Example 2 has, the vehicle information acquisition unit 66 detects wheel speed, steering angle, yaw rate, and shift position, which are information necessary for detecting the behavior of the vehicle.

デッドレコニング演算部68は、車両情報取得部66が取得した情報を用いて、車両100の現在位置と方位を算出する。   The dead reckoning calculation unit 68 calculates the current position and direction of the vehicle 100 using the information acquired by the vehicle information acquisition unit 66.

空間マップ生成部47は、デッドレコニング演算部68で算出された車両100の挙動に基づいて、過去に検出された駐車区画の位置と、現在検出された駐車区画の位置を1枚のマップに統合して、車両100の周囲の空間マップを生成する。   Based on the behavior of the vehicle 100 calculated by the dead reckoning calculation unit 68, the space map generation unit 47 integrates the position of the parking block detected in the past and the position of the currently detected parking block into one map. Thus, a space map around the vehicle 100 is generated.

(実施例2における処理の流れの説明)
以下、車両用駐車区画認識装置10bで行われる処理の全体の流れについて、図13を用いて説明する。
(Description of process flow in Embodiment 2)
Hereinafter, the overall flow of the process performed by the vehicle parking section recognizing device 10b will be described with reference to FIG.

(ステップS300)俯瞰変換部40(図12)において俯瞰画像の生成処理を行う。   (Step S300) An overhead image generation process is performed in the overhead conversion unit 40 (FIG. 12).

(ステップS350)白線検出部44(図12)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。   (Step S350) In the white line detection unit 44 (FIG. 12), a white line detection process for detecting a white line constituting the boundary line of the parking section is performed.

(ステップS400)駐車区画検出部46(図12)において、駐車区画を検出する駐車区画検出処理を行う。   (Step S400) In the parking area detection part 46 (FIG. 12), the parking area detection process which detects a parking area is performed.

(ステップS450)空間マップ生成部47(図12)において、車両100の周囲の空間マップを生成する空間マップ生成処理を行う。   (Step S450) The spatial map generation unit 47 (FIG. 12) performs a spatial map generation process for generating a spatial map around the vehicle 100.

(ステップS500)目標駐車区画設定部48(図12)において、目標駐車区画を設定する目標駐車区画設定処理を行う。   (Step S500) In the target parking area setting unit 48 (FIG. 12), a target parking area setting process for setting the target parking area is performed.

(ステップS550)駐車区画補正部50(図12)において、必要に応じて、駐車区画の位置と方位の補正を行う駐車区画補正処理を行う。   (Step S550) The parking area correction unit 50 (FIG. 12) performs a parking area correction process for correcting the position and direction of the parking area as necessary.

(ステップS600)駐車経路生成部60(図12)において、車両100の現在位置から目標駐車区画に至る駐車経路を生成する。   (Step S600) The parking route generation unit 60 (FIG. 12) generates a parking route from the current position of the vehicle 100 to the target parking section.

(ステップS650)自動駐車実行部62(図12)において車両100を目標駐車区画に自動駐車させる。   (Step S650) The automatic parking execution unit 62 (FIG. 12) automatically parks the vehicle 100 in the target parking area.

なお、図13のフローチャートには記載していないが、実施例1と同様に、距離計測部30(物体検出部)によって路面と異なる高さにある物体が検出されて、なおかつ、その物体が目標駐車区画の駐車区画線を隠蔽する位置にあるときは、目標駐車区画の位置補正を行わないようにして、別の目標駐車区画を設定する旨を、車両100の乗員に提示する。   Although not described in the flowchart of FIG. 13, as in the first embodiment, the distance measurement unit 30 (object detection unit) detects an object at a height different from the road surface, and the object is the target. When the parking lot line is in a position where the parking lot line is concealed, the position of the target parking zone is not corrected, and the passenger of the vehicle 100 is presented to set another target parking lot.

以下、図13に記載した各ステップで行われる処理の詳細な内容について、実施例1で行われる処理とは異なる処理についてのみ説明する。   In the following, the detailed contents of the process performed in each step described in FIG. 13 will be described only for the process different from the process performed in the first embodiment.

(空間マップ生成処理の説明)
図14は、実施例2における空間マップ生成処理(図13のステップS450)の流れを示すフローチャートである。また、図17A(a)〜(c)は、時刻tにおける空間マップS(t)が生成される様子を示す図である。以下、図14に示す各ステップの処理内容について、図17A(a)〜(c)を参照しながら順を追って説明する。
(Explanation of spatial map generation process)
FIG. 14 is a flowchart illustrating the flow of the space map generation process (step S450 in FIG. 13) according to the second embodiment. FIGS. 17A (a) to 17 (c) are diagrams showing how the space map S (t) at time t is generated. Hereinafter, the processing content of each step shown in FIG. 14 will be described in order with reference to FIGS. 17A (a) to 17 (c).

(ステップS452)デッドレコニング演算部68(図12)において、車両100の挙動情報として、車輪速,舵角,ヨーレート,シフト位置をそれぞれ取得する。例えば、図17A(a),(b)において、時刻t3=t1−2Δtから時刻t2=t1−Δtの間の車両100の挙動情報を取得する。ここで、時間間隔Δtは、駐車区画の検出を行う時間間隔である。デッドレコニング演算部68は、車両100の挙動情報に基づいて、車両100の現在位置と方位を演算する。そのため、車両100の挙動情報として得た車輪速,舵角,ヨーレートをそれぞれ積分する必要がある。したがって、これらの挙動情報は、駐車区画を検出する時間間隔Δtに対して、より短い時間間隔で取得される。   (Step S452) The dead reckoning calculation unit 68 (FIG. 12) acquires wheel speed, steering angle, yaw rate, and shift position as behavior information of the vehicle 100, respectively. For example, in FIGS. 17A (a) and 17 (b), behavior information of the vehicle 100 between time t3 = t1-2Δt and time t2 = t1-Δt is acquired. Here, the time interval Δt is a time interval for detecting the parking area. The dead reckoning calculation unit 68 calculates the current position and direction of the vehicle 100 based on the behavior information of the vehicle 100. Therefore, it is necessary to integrate the wheel speed, the steering angle, and the yaw rate obtained as the behavior information of the vehicle 100, respectively. Therefore, such behavior information is acquired at a shorter time interval with respect to the time interval Δt for detecting the parking section.

(ステップS454)デッドレコニング演算部68(図12)の演算結果に基づいて、車両100の現在位置と方位を算出する。ここで算出された現在位置と方位が、空間マップにおける車両100の現在位置と方位になる。例えば、図17A(b)において、時刻t2=t1−Δtにおける車両100の現在位置と方位が算出される。   (Step S454) Based on the calculation result of the dead reckoning calculation unit 68 (FIG. 12), the current position and direction of the vehicle 100 are calculated. The current position and direction calculated here become the current position and direction of the vehicle 100 in the space map. For example, in FIG. 17A (b), the current position and direction of the vehicle 100 at time t2 = t1−Δt are calculated.

(ステップS456)駐車区画検出部46から、時刻t2=t1−Δtにおいて検出された駐車区画PF(i)_t2を読み出す。以降、時刻tにおける駐車区画の検出結果をPF(i)_tで表すことにする。   (Step S456) The parking section PF (i) _t2 detected at time t2 = t1−Δt is read from the parking section detection unit 46. Hereinafter, the detection result of the parking area at time t is represented by PF (i) _t.

(ステップS458)駐車区画検出処理(図13のステップS400)で検出された、時刻t2=t1−Δtにおける駐車区画と同一の駐車区画が、既に作成されている空間マップS(t3)内にあるか否かを判定する。なお、同一の駐車区画であるか否かは、例えば、現在の時刻であるt2=t1−Δtにおける駐車区画の検出結果と、その1周期前の検出タイミング、すなわちt3=t1−2Δtにおける駐車区画の検出結果を比較して、駐車区画の位置と方位および隣接する駐車区画同士の並び順等を勘案して判定すればよい。同一の駐車区画が見つかったときはステップS460に進み、それ以外のときはステップS464に進む。例えば、図17A(c)に示すように、時刻t3=t1−2Δtにおいて検出された駐車区画と、時刻t2=t1−Δtにおいて検出された駐車区画が比較されて、駐車区画PF(2)_t3と駐車区画PF(1)_t2が同一の駐車区画であると判定される。   (Step S458) The same parking area as the parking area at time t2 = t1−Δt detected in the parking area detection process (step S400 in FIG. 13) is in the already created space map S (t3). It is determined whether or not. In addition, whether it is the same parking area is, for example, the detection result of the parking area at the current time t2 = t1-Δt and the detection timing one cycle before that, that is, the parking area at t3 = t1-2Δt. The detection results may be compared, and the determination may be made in consideration of the position and direction of the parking section, the arrangement order of the adjacent parking sections, and the like. When the same parking area is found, the process proceeds to step S460, and otherwise, the process proceeds to step S464. For example, as shown in FIG. 17A (c), the parking area detected at time t3 = t1-2Δt and the parking area detected at time t2 = t1-Δt are compared, and parking area PF (2) _t3 And the parking section PF (1) _t2 are determined to be the same parking section.

(ステップS460)ステップS458で検出された2つの駐車区画が、空間マップS(t2)上で互いに接近しているか否かを判定する。互いに接近しているときはステップS462に進み、それ以外のときは、図14の処理を終了してメインルーチン(図13)に戻る。例えば図17A(a),(b)にあっては、時刻t3=t1−2Δtにおいて検出された駐車区画PF(2)_t3と、時刻t2=t1−Δtにおいて検出された駐車区画PF(1)_t2が互いに接近した位置にあると判定される。また、図17A(b),(c)にあっては、時刻t2=t1−Δtにおいて検出された駐車区画PF(2)_t2と、時刻t1において検出された駐車区画PF(1)_t1が互いに接近した位置にあると判定される。   (Step S460) It is determined whether or not the two parking sections detected in step S458 are close to each other on the space map S (t2). If they are close to each other, the process proceeds to step S462, and otherwise, the process of FIG. 14 is terminated and the process returns to the main routine (FIG. 13). For example, in FIGS. 17A (a) and 17 (b), the parking section PF (2) _t3 detected at time t3 = t1-2Δt and the parking section PF (1) detected at time t2 = t1-Δt. It is determined that _t2 is in a position close to each other. In FIGS. 17A (b) and 17 (c), the parking section PF (2) _t2 detected at time t2 = t1−Δt and the parking section PF (1) _t1 detected at time t1 are mutually connected. It is determined to be in an approached position.

(ステップS462)空間マップ生成部47(図12)において、最新の(現在の)駐車区画PF(i)の検出結果を、過去の駐車区画PF(i)の検出結果に上書き登録する。例えば図17A(b)にあっては、時刻t3=t1−2Δtにおいて検出された駐車区画PF(2)_t3が、時刻t2=t1−Δtにおいて検出された駐車区画PF(1)_t2によって上書きされる。また、図17A(c)にあっては、時刻t2=t1−Δtにおいて検出された駐車区画PF(2)_t2が、時刻t1において検出された駐車区画PF(1)_t1によって上書きされる。その後、図14の処理を終了してメインルーチン(図13)に戻る。   (Step S462) In the space map generation unit 47 (FIG. 12), the detection result of the latest (current) parking section PF (i) is overwritten and registered with the detection result of the past parking section PF (i). For example, in FIG. 17A (b), the parking section PF (2) _t3 detected at time t3 = t1-2Δt is overwritten by the parking section PF (1) _t2 detected at time t2 = t1-Δt. The In FIG. 17A (c), the parking section PF (2) _t2 detected at time t2 = t1−Δt is overwritten by the parking section PF (1) _t1 detected at time t1. Thereafter, the process of FIG. 14 is terminated and the process returns to the main routine (FIG. 13).

(ステップS464)空間マップ生成部47(図12)において、最新の(現在の)駐車区画PF(i)を新規駐車区画として登録する。例えば図17A(b)にあっては、時刻t2において新たに検出された駐車区画PF(2)_t2が、空間マップS(t2)に新規登録される。また、図17A(c)にあっては、時刻t1において新たに検出された駐車区画PF(2)_t1が、空間マップS(t1)に新規登録される。その後、図14の処理を終了してメインルーチン(図13)に戻る。   (Step S464) In the space map generation unit 47 (FIG. 12), the latest (current) parking section PF (i) is registered as a new parking section. For example, in FIG. 17A (b), the parking section PF (2) _t2 newly detected at time t2 is newly registered in the space map S (t2). Further, in FIG. 17A (c), the parking section PF (2) _t1 newly detected at time t1 is newly registered in the space map S (t1). Thereafter, the process of FIG. 14 is terminated and the process returns to the main routine (FIG. 13).

(目標駐車区画設定処理の説明)
図15は、実施例2における目標駐車区画設定処理(図13のステップS500)の流れを示すフローチャートである。以下、図15に示す各ステップの処理内容について、順を追って説明する。
(Explanation of target parking area setting process)
FIG. 15 is a flowchart illustrating the flow of the target parking zone setting process (step S500 in FIG. 13) according to the second embodiment. Hereinafter, the processing contents of each step shown in FIG. 15 will be described in order.

(ステップS502)駐車区画検出処理(図13のステップS400)によって検出された空間マップにおける車両周囲の駐車区画をモニター41(図2)に表示する。   (Step S502) The parking area around the vehicle in the space map detected by the parking area detection process (step S400 in FIG. 13) is displayed on the monitor 41 (FIG. 2).

(ステップS504)ユーザが駐車区画PF(i)(以後、断りのない限り、空間マップに登録された駐車区画は、その駐車区画が検出された時間を表す情報を省略して、単にPF(i)と表記する)を1つ選択したか否かを判定する。条件を満足するときはステップS506に進み、それ以外のときはステップS508に進む。なお、駐車区画PF(i)の選択は、例えば、モニター41(図2)が有するタッチパネル機能を利用して、所望の駐車区画PF(i)の位置を押下することによって行う。   (Step S504) The user sets the parking area PF (i) (hereinafter, unless otherwise specified, the parking area registered in the space map omits information indicating the time when the parking area was detected, and simply passes PF (i It is determined whether or not one) is selected. If the condition is satisfied, the process proceeds to step S506; otherwise, the process proceeds to step S508. The selection of the parking section PF (i) is performed, for example, by pressing the position of the desired parking section PF (i) using the touch panel function of the monitor 41 (FIG. 2).

(ステップS506)選択された駐車区画PF(i)を目標駐車区画に設定する。その後、図15の処理を終了してメインルーチン(図13)に戻る。   (Step S506) The selected parking area PF (i) is set as the target parking area. Thereafter, the process of FIG. 15 is terminated and the process returns to the main routine (FIG. 13).

(ステップS508)車両100の前輪車軸中心に最も近い駐車区画PF(i)を目標駐車区画に設定する。その後、図15の処理を終了してメインルーチン(図13)に戻る。   (Step S508) The parking section PF (i) closest to the front wheel axle center of the vehicle 100 is set as the target parking section. Thereafter, the process of FIG. 15 is terminated and the process returns to the main routine (FIG. 13).

(駐車区画補正処理の説明)
図16は、実施例2における駐車区画補正処理(図13のステップS550)の流れを示すフローチャートである。また、図17Bは、時刻t1における駐車区画補正処理の動作を説明する図である。以下、図16に示す各ステップの処理内容について、図17Bを参照しながら順を追って説明する。
(Description of parking area correction processing)
FIG. 16 is a flowchart illustrating the flow of the parking zone correction process (step S550 in FIG. 13) according to the second embodiment. FIG. 17B is a diagram for explaining the operation of the parking zone correction process at time t1. Hereinafter, the processing content of each step shown in FIG. 16 will be described in order with reference to FIG. 17B.

(ステップS552)目標駐車区画設定処理(図13のステップS500)で設定された目標駐車区画PFおよび駐車区画検出処理(図13のステップS400)で検出された駐車区画PF(i)を読み出す。なお、ここでは、図17Bに記載した駐車区画PF(3)が目標駐車区画PFとして設定されたものとして説明を行う。   (Step S552) The target parking area PF set in the target parking area setting process (step S500 in FIG. 13) and the parking area PF (i) detected in the parking area detection process (step S400 in FIG. 13) are read. Here, the description will be made assuming that the parking section PF (3) shown in FIG. 17B is set as the target parking section PF.

(ステップS554)空間マップS(t1)内において、目標駐車区画PFの自車両側に複数の駐車区画PF(i)が検出されているか否かを判定する。条件を満足するときはステップS556に進み、それ以外のときはステップS564に進む。例えば図17B(a)にあっては、目標駐車区画PFとして設定された駐車区画PF(3)の自車両側に複数の駐車区画PF(2),PF(1),PF(0)が検出されているため、ステップS556に進む。   (Step S554) It is determined whether or not a plurality of parking sections PF (i) are detected on the vehicle side of the target parking section PF in the space map S (t1). If the condition is satisfied, the process proceeds to step S556. Otherwise, the process proceeds to step S564. For example, in FIG. 17B (a), a plurality of parking sections PF (2), PF (1), and PF (0) are detected on the vehicle side of the parking section PF (3) set as the target parking section PF. Therefore, the process proceeds to step S556.

(ステップS556)複数の駐車区画PF(i)の平均方位θmを算出する。例えば図17B(a)にあっては、駐車区画PF(2),PF(1),PF(0)の平均方位が算出される。   (Step S556) The average direction θm of the plurality of parking sections PF (i) is calculated. For example, in FIG. 17B (a), the average azimuth | direction of parking area PF (2), PF (1), PF (0) is calculated.

(ステップS558)必要に応じて、目標駐車区画PFの方位を修正する。例えば図7B(a)にあっては、目標駐車区画PF(PF(3))の方位と、先に算出した平均方位との間に所定値以上の差がないものと判定されて、目標駐車区画PFの方位の修正は行われない。   (Step S558) The direction of the target parking section PF is corrected as necessary. For example, in FIG. 7B (a), it is determined that there is no difference of a predetermined value or more between the heading of the target parking section PF (PF (3)) and the previously calculated average heading. The direction of the section PF is not corrected.

(ステップS560)検出された複数の端点位置である駐車区画線位置(PL(i),PR(i),i=0,1,2,…)によって定まる基準直線Lを最小二乗法によって決定する。例えば図17B(b)にあっては、基準直線Lが決定される。   (Step S560) The reference straight line L determined by the parking lot line positions (PL (i), PR (i), i = 0, 1, 2,...) That are the detected end point positions is determined by the least square method. . For example, in FIG. 17B (b), the reference straight line L is determined.

(ステップS562)基準直線Lに基づいて、目標駐車区画PFの端点の位置を補正して、駐車区画補正部50(図3)に記憶する。例えば図17B(b)にあっては、駐車区画線位置PR(3)が、駐車区画線位置PR(3)を含む駐車区画線の内側をなす線分の延長線Mが基準直線Lと交わる位置、すなわち、駐車区画線位置PR’(3)に補正される。その後、図16の処理を終了してメインルーチン(図13)に戻る。   (Step S562) Based on the reference straight line L, the position of the end point of the target parking section PF is corrected and stored in the parking section correction section 50 (FIG. 3). For example, in FIG. 17B (b), the extension line M of the line segment that forms the inside of the parking lot line including the parking lot line position PR (3) intersects with the reference straight line L. The position is corrected to the parking lot line position PR ′ (3). Thereafter, the process of FIG. 16 is terminated and the process returns to the main routine (FIG. 13).

(ステップS564)目標駐車区画PFの端点の位置は補正しない。その後、図16の処理を終了してメインルーチン(図13)に戻る。   (Step S564) The position of the end point of the target parking section PF is not corrected. Thereafter, the process of FIG. 16 is terminated and the process returns to the main routine (FIG. 13).

なお、図13のフローチャートに示した処理のうち、ここに説明しない処理については、実施例1と同様に作用するものとする。   Of the processes shown in the flowchart of FIG. 13, processes not described here operate in the same manner as in the first embodiment.

以下、本発明に係る車両用駐車区画認識装置の第3の具体的な実施形態について、図面を参照して説明する。   Hereinafter, a third specific embodiment of the vehicle parking area recognizing device according to the present invention will be described with reference to the drawings.

本実施例は、設定された目標駐車区画に車両を自動的に駐車させるものである。特に、目標駐車区画を設定した後、その目標駐車区画の近傍に至る初期経路を設定して、車両を目標駐車区画の近傍まで移動させた後で、目標駐車位置の近傍で再度目標駐車区画の検出を行って、再検出された目標駐車区画に対して自動駐車を実行するものである。   In this embodiment, the vehicle is automatically parked in the set target parking area. In particular, after setting the target parking area, set an initial route to the vicinity of the target parking area, move the vehicle to the vicinity of the target parking area, and then again in the vicinity of the target parking area. Detection is performed, and automatic parking is executed for the re-detected target parking area.

(実施例3の機能構成の説明)
図18を用いて、車両用駐車区画認識装置10cの機能構成について説明する。車両用駐車区画認識装置10cは、車両100に搭載された、撮像部20と、距離計測部30と、俯瞰変換部40と、画像合成部42と、白線検出部44と、駐車区画検出部46と、空間マップ生成部47と、目標駐車区画設定部48と、駐車区画補正部50と、初期経路生成部52と、目標駐車区画再設定部54と、駐車経路生成部60と、自動駐車実行部62と、車両情報取得部66と、デッドレコニング演算部68と、からなる。なお、実施例3のハードウェア構成は、実施例1のハードウェア構成(図2)と同じである。
(Description of Functional Configuration of Example 3)
The functional configuration of the vehicular parking area recognition device 10c will be described with reference to FIG. The vehicle parking area recognition device 10c includes an imaging unit 20, a distance measurement unit 30, an overhead conversion unit 40, an image composition unit 42, a white line detection unit 44, and a parking area detection unit 46, which are mounted on the vehicle 100. A space map generation unit 47, a target parking zone setting unit 48, a parking zone correction unit 50, an initial route generation unit 52, a target parking zone resetting unit 54, a parking route generation unit 60, and automatic parking execution. A unit 62, a vehicle information acquisition unit 66, and a dead reckoning calculation unit 68 are included. The hardware configuration of the third embodiment is the same as the hardware configuration of the first embodiment (FIG. 2).

なお、図18に示す各構成部位のうち、実施例1の機能構成(図3)、実施例2の機能構成(図12)と共通する部位は、互いに同じ機能を有している。   Of the components shown in FIG. 18, the components common to the functional configuration of the first embodiment (FIG. 3) and the functional configuration of the second embodiment (FIG. 12) have the same functions.

実施例3のみが有する構成部位のうち、初期経路生成部52は、車両100を現在位置から目標駐車区画PFの近傍まで移動させる初期経路Rを生成する。   Of the components included only in the third embodiment, the initial route generation unit 52 generates an initial route R that moves the vehicle 100 from the current position to the vicinity of the target parking section PF.

目標駐車区画再設定部54は、目標駐車区画PFが補正された駐車区画であるときに、目標駐車区画PFの近傍において再検出された目標駐車区画PF’を目標駐車区画として再設定する。   When the target parking area PF is a corrected parking area, the target parking area resetting unit 54 resets the target parking area PF ′ detected again in the vicinity of the target parking area PF as the target parking area.

(実施例3における処理の流れの説明)
以下、車両用駐車区画認識装置10cで行われる処理の全体の流れについて、図19を用いて説明する。なお、図22A〜図22Eは、本実施例3の動作例を説明する図である。以下、図19に示す各ステップの処理内容について、必要に応じて図22A〜図22Eを参照しながら順を追って説明する。
(Description of process flow in Embodiment 3)
Hereinafter, an overall flow of processing performed by the vehicle parking section recognition device 10c will be described with reference to FIG. 22A to 22E are diagrams for explaining an operation example of the third embodiment. Hereinafter, the processing content of each step shown in FIG. 19 will be described step by step with reference to FIGS. 22A to 22E as necessary.

(ステップS700)俯瞰変換部40(図18)において、俯瞰画像の生成処理を行う。   (Step S700) The overhead view conversion unit 40 (FIG. 18) performs an overhead image generation process.

(ステップS720)白線検出部44(図18)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。   (Step S720) The white line detection unit 44 (FIG. 18) performs a white line detection process for detecting a white line constituting the boundary line of the parking section.

(ステップS740)駐車区画検出部46(図18)において、駐車区画を検出する駐車区画検出処理を行う。   (Step S740) In the parking area detection part 46 (FIG. 18), the parking area detection process which detects a parking area is performed.

(ステップS760)空間マップ生成部47(図18)において、車両100の周囲の空間マップを生成する空間マップ生成処理を行う。この処理によって、例えば図22Aに示す空間マップS(t1)が得られる。   (Step S760) The spatial map generation unit 47 (FIG. 18) performs a spatial map generation process for generating a spatial map around the vehicle 100. By this processing, for example, a space map S (t1) shown in FIG. 22A is obtained.

(ステップS780)目標駐車区画設定部48(図18)において、目標駐車区画を設定する目標駐車区画設定処理を行う。例えば、図22Aにおいて、駐車区画PF(3)が目標駐車区画に設定されたものとする。なお、このとき、駐車区画PF(3)のうち、車両100から遠方側の駐車区画線位置PR(3)は、駐車区画線の汚れやかすれによって途切れて検出されたものとする。   (Step S780) In the target parking area setting unit 48 (FIG. 18), a target parking area setting process for setting the target parking area is performed. For example, in FIG. 22A, it is assumed that the parking section PF (3) is set as the target parking section. At this time, it is assumed that the parking lot line position PR (3) far from the vehicle 100 in the parking lot PF (3) is detected by being interrupted by dirt or blurring of the parking lot line.

(ステップS800)駐車区画補正部50(図18)において、必要に応じて、駐車区画の位置と方位の補正を行う駐車区画補正処理を行う。この処理によって、例えば図22Bに示すように、目標駐車区画PFの位置が補正される。すなわち、駐車区画線位置PR(3)が駐車区画線位置PR’(3)に補正されて目標駐車区画PFとされる。   (Step S800) The parking area correction unit 50 (FIG. 18) performs parking area correction processing for correcting the position and direction of the parking area as necessary. By this processing, for example, as shown in FIG. 22B, the position of the target parking section PF is corrected. That is, the parking lot line position PR (3) is corrected to the parking lot line position PR '(3) to be the target parking lot PF.

(ステップS820)初期経路生成部52(図18)において、車両100の現在位置から目標駐車区画PFの近傍に至る初期経路を生成する初期経路生成処理を行う。この処理によって、例えば図22Cに示す初期経路Rが生成される。   (Step S820) The initial route generation unit 52 (FIG. 18) performs an initial route generation process for generating an initial route from the current position of the vehicle 100 to the vicinity of the target parking section PF. By this process, for example, an initial route R shown in FIG. 22C is generated.

(ステップS900)目標駐車区画再設定部54(図18)において、目標駐車区画PFの近傍において再検出された目標駐車区画PF’を目標駐車区画に再設定する目標駐車区画再設定処理を行う。この処理によって、例えば図22Eに示すように、目標駐車区画PFが目標駐車区画PF’に更新される。このような再設定処理を行うのは、遠方から検出されて、なおかつ位置が補正されている目標駐車区画PFを、その目標駐車区画PFに接近した状態、すなわち近接した位置から再検出することにより、駐車区画線の汚れやかすれによって生じる途切れの影響が軽減されることによって、目標駐車区画の位置をより確実に検出することができるためである。   (Step S900) In the target parking area resetting unit 54 (FIG. 18), a target parking area resetting process for resetting the target parking area PF ′ re-detected in the vicinity of the target parking area PF to the target parking area is performed. By this process, for example, as shown in FIG. 22E, the target parking area PF is updated to the target parking area PF ′. Such a resetting process is performed by re-detecting the target parking area PF that has been detected from a distance and whose position has been corrected, in a state of approaching the target parking area PF, that is, from an adjacent position. This is because the position of the target parking section can be detected more reliably by reducing the influence of interruptions caused by dirt or fading of the parking section line.

(ステップS920)駐車経路生成部60(図18)において、車両100の現在位置から目標駐車区画に至る駐車経路を生成する。この処理によって、例えば図22Eに示す駐車経路S1,S2が生成される。   (Step S920) The parking route generation unit 60 (FIG. 18) generates a parking route from the current position of the vehicle 100 to the target parking section. By this process, for example, parking paths S1 and S2 shown in FIG. 22E are generated.

(ステップS940)自動駐車実行部62(図18)において、車両100を目標駐車区画PFに自動駐車させる。例えば図22Eにあっては、生成された駐車経路S1,S2に沿って車両100を移動させることにより、車両100を目標駐車区画PF’に確実に駐車させることができる。   (Step S940) In the automatic parking execution part 62 (FIG. 18), the vehicle 100 is automatically parked in the target parking section PF. For example, in FIG. 22E, the vehicle 100 can be reliably parked in the target parking section PF ′ by moving the vehicle 100 along the generated parking paths S1 and S2.

以下、図19に記載した各ステップで行われる処理の詳細な内容について、実施例1,実施例2で行われる処理とは異なる処理についてのみ説明する。   In the following, the detailed contents of the process performed in each step described in FIG. 19 will be described only for the process different from the process performed in the first and second embodiments.

(初期経路生成処理の説明)
図20は、実施例3における初期経路生成処理(図19のステップS820)の流れを示すフローチャートである。また、図22A〜図22Eは、本実施例3の動作例を説明する図である。以下、図20に示す各ステップの処理内容について、図22A〜図22Dを参照しながら順を追って説明する。
(Description of initial route generation processing)
FIG. 20 is a flowchart illustrating the flow of the initial path generation process (step S820 in FIG. 19) according to the third embodiment. 22A to 22E are diagrams for explaining an operation example of the third embodiment. Hereinafter, the processing content of each step shown in FIG. 20 will be described in order with reference to FIGS. 22A to 22D.

(ステップS822)目標駐車区画設定処理(図19のステップS780)で設定された目標駐車区画PFを読み出す。例えば図22Aにおいて、駐車区画PF(3)が目標駐車区画PFとして設定されたものとして、以後の説明を行う。   (Step S822) The target parking area PF set in the target parking area setting process (step S780 in FIG. 19) is read. For example, in FIG. 22A, the following description will be made assuming that the parking section PF (3) is set as the target parking section PF.

(ステップS824)設定された目標駐車区画PFが、補正された目標駐車区画であるか否かを判定する。補正された目標駐車区画であるときはステップS826に進み、それ以外のときは、図20の処理を終了してメインルーチン(図19)に戻る。例えば図22A〜図22Dにあっては、図22Bに示すように目標駐車区画PFは補正されているため、ステップS826に進む。   (Step S824) It is determined whether the set target parking area PF is the corrected target parking area. If it is the corrected target parking area, the process proceeds to step S826. Otherwise, the process of FIG. 20 is terminated and the process returns to the main routine (FIG. 19). For example, in FIGS. 22A to 22D, since the target parking area PF is corrected as shown in FIG. 22B, the process proceeds to step S826.

(ステップS826)車両100の現在位置から設定された目標駐車区画PFの近傍に至る初期経路Rを生成する。例えば図22A〜図22Dにあっては、図22Cに示す初期経路Rが生成される。   (Step S826) An initial route R from the current position of the vehicle 100 to the vicinity of the set target parking section PF is generated. For example, in FIGS. 22A to 22D, an initial route R shown in FIG. 22C is generated.

(ステップS828)初期経路Rに沿って車両100を移動させる。そして、車両が初期経路Rの終端、すなわち目標駐車区画PFの近傍に達すると、図20の処理を終了してメインルーチン(図19)に戻る。例えば図22A〜図22Dにあっては、図22Dに示すように、車両100を、前輪車軸中心Qが目標駐車区画PFの近傍に達するところまで移動させる。   (Step S828) The vehicle 100 is moved along the initial route R. Then, when the vehicle reaches the end of the initial route R, that is, near the target parking section PF, the processing of FIG. 20 is terminated and the processing returns to the main routine (FIG. 19). For example, in FIGS. 22A to 22D, as shown in FIG. 22D, the vehicle 100 is moved to a position where the front wheel axle center Q reaches the vicinity of the target parking section PF.

(目標駐車区画再設定処理の説明)
図21は、実施例3における目標駐車区画再設定処理(図19のステップS900)の流れを示すフローチャートである。以下、図21に示す各ステップの処理内容について、図22Eを参照しながら順を追って説明する。
(Explanation of target parking area resetting process)
FIG. 21 is a flowchart illustrating the flow of the target parking zone resetting process (step S900 in FIG. 19) according to the third embodiment. Hereinafter, the processing content of each step shown in FIG. 21 will be described in order with reference to FIG. 22E.

(ステップS902)車両100が初期経路Rの終点に到達したか否かを判定する。条件を満足するときはステップS904に進み、それ以外のときはステップS902を繰り返す。   (Step S902) It is determined whether or not the vehicle 100 has reached the end point of the initial route R. If the condition is satisfied, the process proceeds to step S904, and otherwise, step S902 is repeated.

(ステップS904)俯瞰変換部40(図3)において俯瞰画像の生成処理を行う。   (Step S904) The overhead view conversion unit 40 (FIG. 3) performs overhead image generation processing.

(ステップS906)白線検出部44(図3)において、駐車区画の境界線を構成する白線を検出する白線検出処理を行う。   (Step S906) The white line detection unit 44 (FIG. 3) performs a white line detection process for detecting a white line constituting the boundary line of the parking section.

(ステップS908)駐車区画検出部46(図3)において、駐車区画を検出する駐車区画検出処理を行う。例えば図22Eにあっては、目標駐車区画設定処理(図19のステップS780)によって設定された目標駐車区画PF(図22D)が再検出される。こうして再検出された目標駐車区画PF’(図22E)とする。   (Step S908) The parking area detection unit 46 (FIG. 3) performs a parking area detection process for detecting a parking area. For example, in FIG. 22E, the target parking area PF (FIG. 22D) set by the target parking area setting process (step S780 in FIG. 19) is detected again. The target parking section PF ′ (FIG. 22E) re-detected in this way is used.

(ステップS910)目標駐車区画再設定部54において、目標駐車区画PFの認識結果が更新されているか否か、すなわち、目標駐車区画PFは補正された駐車区画であるか否かを判定する。条件を満足するときはステップS912に進み、それ以外のときは図21の処理を終了してメインルーチン(図19)に戻る。例えば図22Bにあっては、目標駐車区画PFは、前記した駐車区画補正処理(図19のステップS800)によってその位置が補正されているため、ステップS912に進む。   (Step S910) The target parking area resetting unit 54 determines whether or not the recognition result of the target parking area PF has been updated, that is, whether or not the target parking area PF is a corrected parking area. If the condition is satisfied, the process proceeds to step S912. Otherwise, the process of FIG. 21 is terminated and the process returns to the main routine (FIG. 19). For example, in FIG. 22B, since the position of the target parking section PF has been corrected by the above-described parking section correction process (step S800 in FIG. 19), the process proceeds to step S912.

(ステップS912)目標駐車区画PFを目標駐車区画PF’に更新する。例えば図22Eにあっては、再検出された目標駐車区画PF’が、新たな目標駐車区画に設定される。その後、図21の処理を終了してメインルーチン(図19)に戻る。   (Step S912) The target parking area PF is updated to the target parking area PF '. For example, in FIG. 22E, the re-detected target parking area PF 'is set as a new target parking area. Thereafter, the process of FIG. 21 is terminated and the process returns to the main routine (FIG. 19).

以上説明したように、実施例1に記載の車両用駐車区画認識装置10aによれば、撮像部20が撮像した画像の中から駐車区画検出部46が駐車区画PF(i)を検出して、検出された駐車区画の中から目標駐車区画設定部48が目標駐車区画PFを設定し、駐車区画補正部50が、設定された目標駐車区画PFの位置を補正するため、駐車区画PF(i)の境界線が汚れて見えにくくなっている場合であっても、適切な目標駐車区画PFを設定することができる。   As described above, according to the vehicle parking area recognition device 10a described in the first embodiment, the parking area detection unit 46 detects the parking area PF (i) from the image captured by the imaging unit 20, Since the target parking area setting unit 48 sets the target parking area PF from the detected parking areas, and the parking area correction unit 50 corrects the position of the set target parking area PF, the parking area PF (i) Even when the boundary line is dirty and difficult to see, an appropriate target parking section PF can be set.

また、実施例1に記載の車両用駐車区画認識装置10aによれば、駐車区画補正部50は、撮像部20が撮像した画像の中において、目標駐車区画PFの駐車区画線位置PL(i),PR(i)(端点位置)と目標駐車区画PFの方位θm(i)のうち少なくとも一方を補正するため、補正のための演算を低い計算コストで実行することができる。すなわち、より短時間で補正を行うことができる。   Moreover, according to the vehicle parking area recognition device 10a described in the first embodiment, the parking area correction unit 50 includes the parking area line position PL (i) of the target parking area PF in the image captured by the imaging unit 20. , PR (i) (end point position) and azimuth θm (i) of the target parking section PF are corrected, so that the calculation for the correction can be executed at a low calculation cost. That is, correction can be performed in a shorter time.

そして、実施例1に記載の車両用駐車区画認識装置10aによれば、駐車区画補正部50は、目標駐車区画PFに隣接する駐車区画PF(i)のうち、車両100に近接した側の駐車区画PF(i)の検出結果に基づいて、目標駐車区画PFの位置を補正するため、車両100により近接した側で検出された駐車区画PF(i)の駐車区画線位置PL(i),PR(i)と方位θm(i)に基づく補正、すなわちより正確な情報に基づく補正がなされるため、目標駐車区画PFの補正の精度を向上させることができる。   And according to the parking area recognition device 10a for a vehicle described in the first embodiment, the parking area correction unit 50 performs parking on the side close to the vehicle 100 in the parking area PF (i) adjacent to the target parking area PF. In order to correct the position of the target parking section PF based on the detection result of the section PF (i), the parking section line positions PL (i), PR of the parking section PF (i) detected on the side closer to the vehicle 100 Since the correction based on (i) and the direction θm (i), that is, the correction based on more accurate information, is performed, the accuracy of the correction of the target parking section PF can be improved.

さらに、実施例1に記載の車両用駐車区画認識装置10aによれば、駐車区画補正部50は、設定された目標駐車区画PFに隣接する駐車区画PF(i)を含む複数の駐車区画PF(i)をそれぞれ構成する各駐車区画線位置PL(i),PR(i)の検出結果に基づいて目標駐車区画PFの位置を補正するため、複数の駐車区画線位置PL(i),PR(i)と方位θm(i)に基づく補正がなされることによって、目標駐車区画PFの補正の精度を向上させることができる。   Furthermore, according to the vehicle parking area recognition device 10a described in the first embodiment, the parking area correction unit 50 includes a plurality of parking areas PF (including a parking area PF (i) adjacent to the set target parking area PF ( In order to correct the position of the target parking lot PF based on the detection result of each parking lot line position PL (i), PR (i) constituting i), a plurality of parking lot line positions PL (i), PR ( By performing the correction based on i) and the direction θm (i), the accuracy of the correction of the target parking section PF can be improved.

また、実施例1に記載の車両用駐車区画認識装置10aによれば、車両100に備えられて、車両100の周囲において路面から高さのある物体を検出する距離計測部30(物体検出部)が、物体によって目標駐車区画PFの一部が隠蔽されていると判定されたときには、駐車区画補正部50において目標駐車区画PFの位置の補正を行わないため、障害物によって隠蔽された駐車区画線を途切れと判断して誤って補正することを防止できる。したがって、駐車区画の検出精度を向上させることができる。   In addition, according to the vehicle parking section recognition device 10a described in the first embodiment, the distance measuring unit 30 (object detecting unit) that is provided in the vehicle 100 and detects an object having a height from the road surface around the vehicle 100. However, when it is determined that a part of the target parking area PF is concealed by the object, the parking area correction unit 50 does not correct the position of the target parking area PF. Therefore, it is possible to prevent the error from being erroneously corrected. Therefore, the detection accuracy of the parking section can be improved.

そして、実施例2に記載の車両用駐車区画認識装置10bによれば、デッドレコニング演算部68(車両挙動検出部)が検出した車両100の挙動に基づいて、空間マップ生成部47が、撮像部20で異なる時刻に撮像された各画像からそれぞれ検出された駐車区画PF(i)の中から同一駐車区画を特定して、異なる複数の時刻に検出された各駐車区画PF(i)の空間配置を1枚の空間マップS(t)に統合して、統合された空間マップS(t)の中に設定された目標駐車区画PFの位置を必要に応じて補正するようにしたため、車両100から離れた位置にある駐車区画PF(i)を目標駐車区画PFに設定することができる。   Then, according to the vehicular parking area recognition device 10b described in the second embodiment, the spatial map generation unit 47 includes the imaging unit based on the behavior of the vehicle 100 detected by the dead reckoning calculation unit 68 (vehicle behavior detection unit). The same parking area is identified from parking areas PF (i) detected from images captured at different times in 20, and the spatial arrangement of the parking areas PF (i) detected at a plurality of different times Are integrated into one space map S (t), and the position of the target parking section PF set in the integrated space map S (t) is corrected as necessary. The parking area PF (i) at a distant position can be set as the target parking area PF.

さらに、実施例3に記載の車両用駐車区画認識装置10cによれば、初期経路生成部52が、車両100の現在位置から目標駐車区画PFの近傍に至る初期経路Rを生成して、目標駐車区画PFが位置の補正がなされた目標駐車区画であるときには、車両100が初期経路Rに沿って移動した後で、移動後の位置において再度撮像された車両100周囲の画像の中から駐車区画検出部46が目標駐車区画PF’を再検出して、再検出された目標駐車区画PF’の位置と方位に基づいて目標駐車区画PF’に駐車させる際の駐車経路S1,S2を算出するため、駐車区画線の汚れやかすれによって生じる途切れの影響が軽減されて、目標駐車区画PF’の位置をより確実に検出することができる。   Furthermore, according to the vehicular parking area recognition device 10c described in the third embodiment, the initial path generation unit 52 generates the initial path R from the current position of the vehicle 100 to the vicinity of the target parking area PF, and performs target parking. When the section PF is a target parking section where the position has been corrected, after the vehicle 100 moves along the initial route R, the parking section is detected from the images around the vehicle 100 that are captured again at the position after the movement. The unit 46 redetects the target parking section PF ′, and calculates parking paths S1 and S2 for parking in the target parking section PF ′ based on the re-detected position and direction of the target parking section PF ′. The influence of discontinuity caused by dirt or fading of the parking lot line is reduced, and the position of the target parking lot PF ′ can be detected more reliably.

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。   As mentioned above, although the Example of this invention was explained in full detail with drawing, since an Example is only an illustration of this invention, this invention is not limited only to the structure of an Example. Of course, changes in design and the like within a range not departing from the gist are included in the present invention.

例えば、実施例1から実施例3にあっては、距離計測部30(物体検出部)の出力に基づいて、路面から高さのある物体を検出するものとしたが、これは、距離計測部30を用いずに撮像部20で撮像した画像のみを用いて、時間の経過とともに移動する立体物の3次元位置を特定する、いわゆる移動ステレオ法(モーションステレオ法)を用いる構成としてもよい。あるいは、距離計測部30と移動ステレオ法を併用する構成としてもよい。   For example, in the first to third embodiments, an object having a height from the road surface is detected based on the output of the distance measurement unit 30 (object detection unit). It is also possible to use a so-called moving stereo method (motion stereo method) that uses only the image picked up by the image pickup unit 20 without using 30, and identifies the three-dimensional position of a three-dimensional object that moves over time. Alternatively, the distance measuring unit 30 and the moving stereo method may be used in combination.

また、実施例1から実施例3を通して記載した各フローチャートは、処理の流れの一例を示すものであって、処理の順序は適宜変更してもよい。例えば、各実施例において、目標駐車区画PFを決定した後で、決定した目標駐車区画PFの位置または方位の補正を行うものとしたが、これは、例えば、駐車区画PF(i)の検出が行われた後で、各駐車区画PF(i)の位置の補正を行い、補正された結果に基づいて目標駐車区画PFを設定する構成としてもよい。   Each flowchart described through the first to third embodiments shows an example of the flow of processing, and the processing order may be changed as appropriate. For example, in each embodiment, after the target parking section PF is determined, the position or direction of the determined target parking section PF is corrected. For example, the detection of the parking section PF (i) is performed. It is good also as a structure which correct | amends the position of each parking area PF (i) after being performed, and sets the target parking area PF based on the corrected result.

20・・・・・・・撮像部
30・・・・・・・距離計測部(物体検出部)
46・・・・・・・駐車区画検出部
47・・・・・・・空間マップ生成部
48・・・・・・・目標駐車区画設定部
50・・・・・・・駐車区画補正部
52・・・・・・・初期経路生成部
68・・・・・・・デッドレコニング演算部(車両挙動検出部)
100・・・・・・車両
R・・・・・・・・初期経路
S1,S2・・・・駐車経路
PF(i)・・・・駐車区画
PF,PF’・・・目標駐車区画
θm(i)・・・・方位
PL(i),PR(i)・・・駐車区画線位置(端点位置)
10a,10b,10c・・・車両用駐車区画認識装置
20 ······· Imaging unit 30 ······· Distance measuring unit (object detection unit)
46... Parking zone detection unit 47... Space map generation unit 48... Target parking zone setting unit 50. ..... Initial route generation unit 68 ..... Dead reckoning calculation unit (vehicle behavior detection unit)
100 ··· Vehicle R ········· Initial route S1, S2 ··· Parking path PF (i) ··· Parking lot PF, PF '... Target parking lot θm ( i) ... Direction PL (i), PR (i) ... Parking lot line position (end point position)
10a, 10b, 10c ... Parking space recognition device for vehicles

Claims (7)

車両に備えられて、前記車両の周囲の画像を撮像する少なくとも1つの撮像部と、
前記撮像部で撮像された画像の中から、駐車区画を検出する駐車区画検出部と、
前記駐車区画の検出結果に基づいて、前記車両を駐車させる目標駐車区画を設定する目標駐車区画設定部と、
前記画像の中における前記目標駐車区画の位置を補正する駐車区画補正部と、を有することを特徴とする車両用駐車区画認識装置。
At least one imaging unit provided in the vehicle for capturing an image around the vehicle;
From the image captured by the imaging unit, a parking zone detection unit that detects a parking zone,
Based on the detection result of the parking area, a target parking area setting unit that sets a target parking area for parking the vehicle;
A vehicular parking area recognizing device, comprising: a parking area correction unit that corrects a position of the target parking area in the image.
前記駐車区画補正部は、前記画像の中において、前記目標駐車区画の端点位置と前記目標駐車区画の方位のうち少なくとも一方を補正することを特徴とする請求項1に記載の車両用駐車区画認識装置。   The vehicle parking area recognition according to claim 1, wherein the parking area correction unit corrects at least one of an end point position of the target parking area and an orientation of the target parking area in the image. apparatus. 前記駐車区画補正部は、前記目標駐車区画に隣接する駐車区画のうち、前記車両に近接した側の駐車区画の検出結果に基づいて、前記目標駐車区画の位置を補正することを特徴とする請求項1または請求項2に記載の車両用駐車区画認識装置。   The said parking area correction | amendment part correct | amends the position of the said target parking area based on the detection result of the parking area adjacent to the said vehicle among the parking areas adjacent to the said target parking area. The vehicle parking area recognition device according to claim 1 or 2. 前記駐車区画補正部は、設定された前記目標駐車区画に隣接する駐車区画を含む複数の駐車区画をそれぞれ構成する各駐車区画線の検出結果に基づいて、前記目標駐車区画の位置を補正することを特徴とする請求項1または請求項2に記載の車両用駐車区画認識装置。   The parking area correction unit corrects the position of the target parking area based on the detection results of the respective parking area lines that respectively configure a plurality of parking areas including a parking area adjacent to the set target parking area. The parking area recognition apparatus for vehicles according to claim 1 or 2 characterized by these. 前記車両に備えられて、前記車両の周囲において路面から高さのある物体を検出する物体検出部を有し、前記物体によって前記目標駐車区画が隠蔽されているときには、前記駐車区画補正部において前記目標駐車区画の位置の補正を行わないことを特徴とする請求項1から請求項4のいずれか1項に記載の車両用駐車区画認識装置。   The vehicle includes an object detection unit that detects an object having a height from a road surface around the vehicle, and when the target parking area is concealed by the object, the parking area correction unit The vehicle parking area recognition device according to any one of claims 1 to 4, wherein the position of the target parking area is not corrected. 車両の挙動を検出する車両挙動検出部と、
前記撮像部で異なる時刻に撮像された各画像からそれぞれ検出された駐車区画の中から、前記車両挙動検出部が検出した前記車両の挙動に基づいて同一駐車区画を特定して、異なる複数の時刻に検出された各駐車区画の空間配置を1枚の空間マップに統合する空間マップ生成部と、を有して、前記空間マップ生成部によって生成された空間マップの中に目標駐車区画を設定して、設定された目標駐車区画の位置を必要に応じて補正することを特徴とする請求項1から請求項5のいずれか1項に記載の車両用駐車区画認識装置。
A vehicle behavior detector for detecting the behavior of the vehicle;
A plurality of different times are specified by identifying the same parking section based on the behavior of the vehicle detected by the vehicle behavior detection section from among the parking sections detected from images captured at different times by the imaging section. A spatial map generating unit that integrates the spatial arrangement of each detected parking partition into a single spatial map, and sets a target parking partition in the spatial map generated by the spatial map generating unit The vehicle parking area recognizing device according to claim 1, wherein the position of the set target parking area is corrected as necessary.
検出された目標駐車区画に対して、前記車両の現在位置から前記目標駐車区画の近傍に至る初期経路を生成する初期経路生成部を有し、前記目標駐車区画が位置の補正がなされた目標駐車区画であるときには、前記車両が前記初期経路に沿って移動した後で、移動後の位置において再度撮像された前記車両周囲の画像の中から前記駐車区画検出部が前記目標駐車区画を再検出して、再検出された前記目標駐車区画の位置と方位に基づいて前記目標駐車区画に駐車させる際の駐車経路を算出することを特徴とする請求項1から請求項6のいずれか1項に記載の車両用駐車区画認識装置。   A target parking section having an initial path generating section that generates an initial path from the current position of the vehicle to the vicinity of the target parking section for the detected target parking section, the position of the target parking section being corrected; When the vehicle is a zone, the parking zone detection unit redetects the target parking zone from the image around the vehicle that has been re-captured after the vehicle has moved along the initial route. The parking route when parking in the target parking area is calculated based on the re-detected position and direction of the target parking area, according to any one of claims 1 to 6. Vehicle parking area recognition device.
JP2015179453A 2015-09-11 2015-09-11 Vehicle parking lot recognition device Active JP6768275B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015179453A JP6768275B2 (en) 2015-09-11 2015-09-11 Vehicle parking lot recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015179453A JP6768275B2 (en) 2015-09-11 2015-09-11 Vehicle parking lot recognition device

Publications (2)

Publication Number Publication Date
JP2017052471A true JP2017052471A (en) 2017-03-16
JP6768275B2 JP6768275B2 (en) 2020-10-14

Family

ID=58320215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015179453A Active JP6768275B2 (en) 2015-09-11 2015-09-11 Vehicle parking lot recognition device

Country Status (1)

Country Link
JP (1) JP6768275B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019002929A (en) * 2017-06-16 2019-01-10 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Sensor calibration execution method and system
WO2019181264A1 (en) * 2018-03-23 2019-09-26 日立オートモティブシステムズ株式会社 Parking assistance device
CN111824129A (en) * 2019-04-22 2020-10-27 歌乐株式会社 Image processing apparatus and image processing method
WO2020217315A1 (en) * 2019-04-23 2020-10-29 三菱電機株式会社 Parking assistance device and parking assistance method
JP2020194470A (en) * 2019-05-30 2020-12-03 クラリオン株式会社 Image processing device and image processing method
JP2020536361A (en) * 2017-10-06 2020-12-10 キーケルト アクツィーエンゲゼルシャフト Electrical connection device for electric or hybrid vehicles
JP2020536359A (en) * 2017-10-06 2020-12-10 キーケルト アクツィーエンゲゼルシャフト Electric drive for automotive applications
JP2021183484A (en) * 2017-07-07 2021-12-02 日産自動車株式会社 Parking assistance method and parking control device
WO2023047666A1 (en) * 2021-09-21 2023-03-30 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and program
JP7446851B2 (en) 2020-02-21 2024-03-11 フォルシアクラリオン・エレクトロニクス株式会社 Image processing device and image processing method
JP7482054B2 (en) 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 Image processing device and image processing method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311299A (en) * 2005-04-28 2006-11-09 Aisin Aw Co Ltd Parking section monitoring device
JP2008285083A (en) * 2007-05-18 2008-11-27 Toyota Motor Corp Parking support device
US20090207045A1 (en) * 2008-02-14 2009-08-20 Mando Corporation Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same
JP2010183234A (en) * 2009-02-04 2010-08-19 Panasonic Corp Drawing apparatus
JP2015064797A (en) * 2013-09-25 2015-04-09 日産自動車株式会社 Determination device and determination method for parking place
JP2015074254A (en) * 2013-10-04 2015-04-20 アイシン精機株式会社 Parking assisting device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311299A (en) * 2005-04-28 2006-11-09 Aisin Aw Co Ltd Parking section monitoring device
JP2008285083A (en) * 2007-05-18 2008-11-27 Toyota Motor Corp Parking support device
US20090207045A1 (en) * 2008-02-14 2009-08-20 Mando Corporation Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same
JP2010183234A (en) * 2009-02-04 2010-08-19 Panasonic Corp Drawing apparatus
JP2015064797A (en) * 2013-09-25 2015-04-09 日産自動車株式会社 Determination device and determination method for parking place
JP2015074254A (en) * 2013-10-04 2015-04-20 アイシン精機株式会社 Parking assisting device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岩佐 和真 KAZUMASA IWASA: "駐車車両検出のためのテンプレート画像の自動作成 Automatic Generation of Template Images for Detectin", 電気学会論文誌C VOL.127 NO.3 IEEJ, vol. 第127巻, JPN6019009507, 1 March 2007 (2007-03-01), JP, pages 338 - 344, ISSN: 0004204293 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048426B2 (en) 2017-06-16 2022-04-05 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング How to perform sensor calibration and system
JP2019002929A (en) * 2017-06-16 2019-01-10 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh Sensor calibration execution method and system
JP2021183484A (en) * 2017-07-07 2021-12-02 日産自動車株式会社 Parking assistance method and parking control device
JP7147930B2 (en) 2017-07-07 2022-10-05 日産自動車株式会社 PARKING ASSIST METHOD AND PARKING CONTROL DEVICE
JP2020536361A (en) * 2017-10-06 2020-12-10 キーケルト アクツィーエンゲゼルシャフト Electrical connection device for electric or hybrid vehicles
JP2020536359A (en) * 2017-10-06 2020-12-10 キーケルト アクツィーエンゲゼルシャフト Electric drive for automotive applications
WO2019181264A1 (en) * 2018-03-23 2019-09-26 日立オートモティブシステムズ株式会社 Parking assistance device
CN111824129A (en) * 2019-04-22 2020-10-27 歌乐株式会社 Image processing apparatus and image processing method
JP2020177568A (en) * 2019-04-22 2020-10-29 クラリオン株式会社 Image processing apparatus and image processing method
CN111824129B (en) * 2019-04-22 2024-04-05 歌乐株式会社 Image processing apparatus and image processing method
JP7296768B2 (en) 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 Image processing device and image processing method
US11745728B2 (en) 2019-04-23 2023-09-05 Mitsubishi Electric Corporation Parking assistance device and parking assistance method
JPWO2020217315A1 (en) * 2019-04-23 2021-12-02 三菱電機株式会社 Parking support device and parking support method
CN113710556A (en) * 2019-04-23 2021-11-26 三菱电机株式会社 Parking assistance device and parking assistance method
WO2020217315A1 (en) * 2019-04-23 2020-10-29 三菱電機株式会社 Parking assistance device and parking assistance method
JP2020194470A (en) * 2019-05-30 2020-12-03 クラリオン株式会社 Image processing device and image processing method
JP7341730B2 (en) 2019-05-30 2023-09-11 フォルシアクラリオン・エレクトロニクス株式会社 Image processing device and image processing method
JP7446851B2 (en) 2020-02-21 2024-03-11 フォルシアクラリオン・エレクトロニクス株式会社 Image processing device and image processing method
JP7482054B2 (en) 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 Image processing device and image processing method
WO2023047666A1 (en) * 2021-09-21 2023-03-30 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP6768275B2 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
JP6768275B2 (en) Vehicle parking lot recognition device
JP6551525B2 (en) Parking support device and parking support method
RU2734643C1 (en) Parking assistance method for parking assistance device and parking assistance device
US10810446B2 (en) Parking space line detection method and device
WO2017135321A1 (en) Automatic driving control device, vehicle, and automatic driving control method
JP4530060B2 (en) Parking support apparatus and method
JP6257989B2 (en) Driving assistance device
JP6565188B2 (en) Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program
JP6564346B2 (en) Parking assistance device and parking assistance method
US20180322349A1 (en) Parking Space Detection Method and Device
WO2009081920A1 (en) Moving state estimation device
JP5471141B2 (en) Parking assistance device and parking assistance method
JP6801786B2 (en) Parking support method and parking support device
JP2004240480A (en) Operation support device
WO2017169365A1 (en) Road surface displacement detection device and suspension control method
CA3064523A1 (en) Parking control method and parking control apparatus
WO2016129552A1 (en) Camera parameter adjustment device
JP6084048B2 (en) Object detection apparatus, object detection system, and object detection method
US10656270B2 (en) Object detection device, object detection method, and program
JP2012076551A (en) Parking support device, parking support method, and parking support system
JP5971197B2 (en) Parking assistance device
WO2011013813A1 (en) In-vehicle device and image processing program
JP2007264717A (en) Lane deviation decision device, lane deviation prevention device and lane follow-up supporting device
JP2010198440A (en) Parking support device and obstacle detection method
JP6496619B2 (en) Parking assistance device for vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191217

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191217

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191225

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200107

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200131

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200204

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200609

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200728

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20200908

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200923

R150 Certificate of patent or registration of utility model

Ref document number: 6768275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150