DE102020127533A1 - Parking assistance device - Google Patents

Parking assistance device Download PDF

Info

Publication number
DE102020127533A1
DE102020127533A1 DE102020127533.1A DE102020127533A DE102020127533A1 DE 102020127533 A1 DE102020127533 A1 DE 102020127533A1 DE 102020127533 A DE102020127533 A DE 102020127533A DE 102020127533 A1 DE102020127533 A1 DE 102020127533A1
Authority
DE
Germany
Prior art keywords
area
dividing line
unit
parking
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020127533.1A
Other languages
German (de)
Inventor
Yoji Inui
Shota Sobue
Masaki Furukawa
Naoki Yamamura
Yuya Shimohira
Masataka Yamamoto
Yukio Kawahata
Jinto Kosegawa
Ryutaro Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of DE102020127533A1 publication Critical patent/DE102020127533A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

Parkassistenzvorrichtung (140) mit: einer ersten Erkennungseinheit (142), die konfiguriert ist, eine Trennlinie zu erkennen, die im Wesentlichen parallel zu einer Längsrichtung eines Parkbereichs ist; einer Festlegungseinheit (143), die konfiguriert ist, ein Interessensgebiet (R1), das ein Gebiet zum Erkennen eines eine Begrenzung der Trennlinie anzeigenden Randpunktes (P1) ist, an einer Position festlegt, die durch die von der ersten Erkennungseinheit (142) erkannten Trennlinie bestimmt ist; einer zweiten Erkennungseinheit (146), die konfiguriert ist, auf der Grundlage des Randpunktes (P1) in dem Interessensgebiet eine vordere Endposition zu erkennen, die ein Ende (P2) der Trennlinie anzeigt, welche im Wesentlichen parallel zur Längsrichtung ist und eine Einfahrseite ist, von der aus ein Fahrzeug in das Parkgebiet einfährt; und einer Bestimmungseinheit (148), die konfiguriert ist, auf der Grundlage der vorderen Endposition eine Parkposition zu bestimmen.

Figure DE102020127533A1_0000
A parking assist device (140) comprising: a first recognition unit (142) configured to recognize a dividing line that is substantially parallel to a longitudinal direction of a parking area; a setting unit (143) configured to set an area of interest (R1), which is an area for recognizing an edge point (P1) indicating a boundary of the dividing line, at a position defined by the dividing line recognized by the first recognizing unit (142) is determined; a second recognition unit (146) which is configured to recognize, on the basis of the edge point (P1) in the area of interest, a front end position which indicates an end (P2) of the dividing line which is substantially parallel to the longitudinal direction and is an entry side, from which a vehicle enters the parking area; and a determination unit (148) configured to determine a parking position based on the front end position.
Figure DE102020127533A1_0000

Description

Technisches GebietTechnical area

Eine Ausführungsform dieser Offenbarung betrifft eine Parkassistenzvorrichtung.One embodiment of this disclosure relates to a parking assist device.

Hintergrundbackground

Aus dem Stand der Technik ist eine Parkassistenzvorrichtung bekannt, die eine Parkposition auf der Grundlage eines Erkennungsergebnisses eines Sensors oder eines aufgenommenen Bildes bestimmt. Eine solche Parkassistenzvorrichtung bestimmt die Parkposition, indem sie eine Trennlinie in einer zu einer Längsrichtung eines Parkgebiets im Wesentlichen parallelen, vertikalen Richtung erkennt.A parking assistance device is known from the prior art, which determines a parking position on the basis of a recognition result of a sensor or a recorded image. Such a parking assistance device determines the parking position by recognizing a dividing line in a vertical direction essentially parallel to a longitudinal direction of a parking area.

Ein Beispiel gemäß Stand der Technik ist die JP 2018-185589 A .A prior art example is that JP 2018-185589 A .

Im Allgemeinen unterscheidet sich die Parkposition in vertikaler Richtung in Abhängigkeit von der Form eines vorderen Endabschnitts der Trennlinie. Da jedoch die Parkassistenzvorrichtung die Parkposition mit der Trennlinie in vertikaler Richtung bestimmt, kann die Parkposition in vertikaler Richtung von einer passenden Position abweichen. Es besteht daher Bedarf nach einer Parkassistenz, um ein Fahrzeug an einer passenden Position entsprechend der Form der Trennlinie in dem Parkgebiet zu parken.In general, the parking position differs in the vertical direction depending on the shape of a front end portion of the partition line. However, since the parking assistance device determines the parking position with the dividing line in the vertical direction, the parking position in the vertical direction can deviate from a suitable position. There is therefore a need for a parking assistant to park a vehicle in a suitable position according to the shape of the dividing line in the parking area.

ZusammenfassungSummary

Eine Parkassistenzvorrichtung gemäß einer Ausführungsform dieser Offenbarung umfasst zum Beispiel eine erste Erkennungseinheit, die konfiguriert ist, eine Trennlinie zu erkennen, die im Wesentlichen parallel zu einer Längsrichtung eines Parkgebietes ist, eine Festlegungseinheit, die konfiguriert ist, ein Interessensgebiet, das ein Gebiet zum Erkennen eines eine Begrenzung der Trennlinie anzeigenden Randpunktes ist, an einer Position festzulegen, die durch die von der ersten Erkennungseinheit erkannten Trennlinie bestimmt ist, eine zweite Erkennungseinheit, die konfiguriert ist, auf der Grundlage des Randpunktes in dem Interessensgebiet eine vordere Endposition zu erkennen, die ein Ende der Trennlinie anzeigt, welche im Wesentlichen parallel zur Längsrichtung ist und welche eine Einfahrseite ist, von der aus ein Fahrzeug in das Parkgebiet einfährt, und eine Bestimmungseinheit, die konfiguriert ist, auf der Grundlage der vorderen Endposition eine Parkposition zu bestimmen. Daher kann die Parkassistenzvorrichtung zum Beispiel eine Parkassistenz zum Parken eines Fahrzeugs an einer adäquaten Position entsprechend der Form der Trennlinie ausführen.A parking assist device according to an embodiment of this disclosure includes, for example, a first recognition unit configured to recognize a dividing line that is substantially parallel to a longitudinal direction of a parking area, a setting unit configured to indicate an area of interest, an area for recognizing a a boundary of the edge point indicating the dividing line is to set at a position determined by the dividing line recognized by the first recognizing unit, a second recognizing unit configured to recognize a leading end position that is one end based on the edge point in the area of interest of the dividing line which is substantially parallel to the longitudinal direction and which is an entry side from which a vehicle enters the parking area, and a determination unit configured to determine a parking position based on the front end position. Therefore, for example, the parking assist device can perform parking assist for parking a vehicle at an adequate position according to the shape of the dividing line.

Die Parkassistenzvorrichtung gemäß der Ausführungsform dieser Offenbarung kann zum Beispiel ausgestattet sein mit einer Teilungseinheit, die konfiguriert ist, das Interessensgebiet mit einer Trennlinie in einer zur Längsrichtung orthogonalen Richtung in mehrere Teilgebiete aufzuteilen, und die zweite Erkennungseinheit kann auf der Grundlage des Randpunktes in den Teilgebieten die vordere Endposition erkennen, die das Ende der Trennlinie anzeigt, welche im Wesentlichen parallel zur Längsrichtung ist und welche eine Einfahrseite ist, von der aus das Fahrzeug in das Parkgebiet einfährt. Daher kann die Parkassistenzvorrichtung zum Beispiel die vordere Endposition erkennen, die das Ende der Trennlinie aus dem Interessensgebiet anzeigt.The parking assist device according to the embodiment of this disclosure may, for example, be equipped with a dividing unit configured to divide the area of interest into a plurality of partial areas with a dividing line in a direction orthogonal to the longitudinal direction, and the second recognition unit may be based on the edge point in the partial areas recognize front end position which indicates the end of the dividing line, which is essentially parallel to the longitudinal direction and which is an entry side from which the vehicle enters the parking area. Therefore, for example, the parking assist device can recognize the front end position indicating the end of the dividing line from the area of interest.

Bei der voranstehend beschriebenen Parkassistenzvorrichtung kann zum Beispiel die zweite Erkennungseinheit die vordere Endposition auf der Grundlage der Teilgebiete, die auf der Grundlage des Randpunktes bestimmt sind, und auf der Grundlage eines Erkennungsergebnisses der Trennlinie identifizieren. Daher kann die Parkassistenzvorrichtung zum Beispiel die verzerrungsbedingte Abweichung der Parkposition reduzieren.In the above-described parking assist device, for example, the second recognition unit can identify the front end position based on the partial areas determined based on the edge point and based on a recognition result of the dividing line. Therefore, the parking assist device can, for example, reduce the deviation of the parking position due to distortion.

Die voranstehend beschriebene Parkassistenzvorrichtung kann ferner zum Beispiel ausgestattet sein mit einer Bestimmungseinheit, die konfiguriert ist, zu bestimmen, ob die zur Längsrichtung im Wesentlichen parallele Trennlinie eine Doppellinie ist. Wenn die Bestimmungseinheit bestimmt, dass die zur Längsrichtung im Wesentlichen parallele Trennlinie eine Doppellinie ist, legt die Festlegungseinheit auf der Grundlage der Trennlinie, die durch die Doppellinie gebildet ist und die zur Längsrichtung im Wesentlichen parallel ist, das Interessensgebiet in einem ersten Gebiet innerhalb eines Bereichs eines vorbestimmten Abstands von einem Endabschnitt der Trennlinie fest. Die Bestimmungseinheit kann die Parkposition auf der Grundlage der aus dem ersten Gebiet erkannten vorderen Endposition bestimmen. Daher kann die Parkassistenzvorrichtung zum Beispiel eine Parkassistenz zum Parken des Fahrzeugs an der adäquaten Position entsprechend der Form der durch eine Doppellinie gebildeten Trennlinie ausführen.The parking assistance device described above can further be equipped, for example, with a determination unit which is configured to determine whether the dividing line, which is substantially parallel to the longitudinal direction, is a double line. When the determining unit determines that the dividing line which is substantially parallel to the longitudinal direction is a double line, the determining unit sets the area of interest in a first area within a range on the basis of the dividing line which is formed by the double line and which is substantially parallel to the longitudinal direction a predetermined distance from an end portion of the parting line. The determining unit can determine the parking position based on the information from the first area determine the recognized front end position. Therefore, for example, the parking assist device can perform parking assist for parking the vehicle at the appropriate position according to the shape of the dividing line formed by a double line.

Wenn bei der voranstehend beschriebenen Parkassistenzvorrichtung zum Beispiel die Bestimmungseinheit bestimmt, dass die zur Längsrichtung im Wesentlichen parallele Trennlinie keine Doppellinie ist, legt die Festlegungseinheit das Interessensgebiet in einem zweiten Gebiet fest, das einen Endabschnitt der durch eine einzelne Linie gebildeten Trennlinie enthält, und in einem dritten Gebiet fest, das sich auf einer Seite des zweiten Gebiets befindet und in einer Querrichtung des Parkgebiets liegt. Wenn keine Trennlinie in der zur Längsrichtung orthogonalen Richtung aus dem dritten Gebiet erkannt wird, kann die Bestimmungseinheit die Parkposition auf der Grundlage der aus dem zweiten Gebiet erkannten vorderen Endposition bestimmen. Daher kann die Parkassistenzvorrichtung zum Beispiel eine Parkassistenz für das Parken eines Fahrzeugs an einer adäquaten Position entsprechend der Form einer I-förmigen Trennlinie ausführen.In the above-described parking assist device, for example, when the determining unit determines that the dividing line substantially parallel to the longitudinal direction is not a double line, the determining unit sets the area of interest in a second area including an end portion of the dividing line formed by a single line and in a third area, which is located on a side of the second area and lies in a transverse direction of the park area. If no dividing line is recognized in the direction orthogonal to the longitudinal direction from the third area, the determining unit may determine the parking position based on the front end position recognized from the second area. Therefore, for example, the parking assist device can perform parking assist for parking a vehicle at an adequate position corresponding to the shape of an I-shaped dividing line.

Wenn bei der voranstehend beschriebenen Parkassistenzvorrichtung zum Beispiel eine Trennlinie in der orthogonalen Richtung aus dem dritten Gebiet erkannt wird, kann die Bestimmungseinheit die Parkposition auf der Grundlage der vorderen Endposition und einer Breite der Trennlinie bestimmen. Daher kann die Parkassistenzvorrichtung zum Beispiel eine Parkassistenz für das Parken eines Fahrzeugs an einer adäquaten Position entsprechend der Form einer T-förmigen Trennlinie ausführen.In the above-described parking assist device, for example, when a dividing line is recognized in the orthogonal direction from the third area, the determination unit can determine the parking position based on the front end position and a width of the dividing line. Therefore, for example, the parking assist device can perform parking assist for parking a vehicle at an adequate position corresponding to the shape of a T-shaped dividing line.

Wenn bei der voranstehend beschriebenen Parkassistenzvorrichtung zum Beispiel ein Abstand in der zur Längsrichtung orthogonalen Richtung zwischen der zur Längsrichtung im Wesentlichen parallelen Trennlinie und einer an die Trennlinie angrenzenden und zur Längsrichtung im Wesentlichen parallelen Trennlinie kleiner oder gleich einem Schwellenwert ist, kann die Bestimmungseinheit die Trennlinie als eine Doppellinie bestimmen. Daher kann die Parkassistenzvorrichtung zum Beispiel die Bestimmung, dass die Trennlinie nicht durch eine Doppellinie gebildet ist, reduzieren.If in the above-described parking assistance device, for example, a distance in the direction orthogonal to the longitudinal direction between the dividing line, which is essentially parallel to the longitudinal direction and a dividing line adjoining the dividing line and essentially parallel to the longitudinal direction, is less than or equal to a threshold value, the determination unit can define the dividing line as determine a double line. Therefore, for example, the parking assist device can reduce the determination that the dividing line is not formed by a double line.

FigurenlisteFigure list

Die voranstehenden und zusätzlichen Merkmale und Eigenschaften dieser Offenbarung werden aus der folgenden detaillierten Beschreibung unter Berücksichtigung der Bezugnahme auf die begleitenden Zeichnungen deutlich, wobei

  • 1 eine beispielhafte schematische perspektivische Ansicht ist, bei der ein Teil einer Insassenzelle eines mit einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform ausgestatteten Fahrzeugs durchsichtig ist;
  • 2 eine beispielhafte schematische Draufsicht auf das mit einer Parkassistenzvorrichtung gemäß der vorliegenden Ausführungsform ausgestattete Fahrzeug ist;
  • 3 eine beispielhafte schematische Ansicht ist, wie ein Armaturenbrett des mit der Parkassistenzvorrichtung gemäß der Ausführungsform ausgestatteten Fahrzeugs von einem hinteren Teil des Fahrzeugs aus gesehen wird;
  • 4 ein beispielhaftes schematisches Blockschaltbild ist, das eine funktionelle Konfiguration eines Steuerungssystems des mit der Parkassistenzvorrichtung gemäß der vorliegenden Ausführungsform ausgestatteten Fahrzeugs zeigt;
  • 5 ein beispielhaftes schematisches Blockschaltbild einer Konfiguration ist, bei der die Parkassistenzvorrichtung (Parkassistenzeinheit) gemäß der Ausführungsform durch eine CPU umgesetzt ist;
  • 6 eine beispielhafte schematische Ansicht ist, die eine Parkposition im Falle einer U-förmigen Trennlinie zeigt;
  • 7 eine beispielhafte schematische Ansicht ist, die eine Parkposition im Falle einer I-förmigen Trennlinie zeigt;
  • 8 eine beispielhafte schematische Ansicht ist, die eine Parkposition im Falle einer T-förmigen Trennlinie zeigt;
  • 9 eine beispielhafte schematische Ansicht ist, die ein Verfahren zum Identifizieren einer Form eines vorderen Endabschnitts zeigt, wenn eine Trennlinie eine Doppellinie ist;
  • 10 eine beispielhafte schematische Ansicht ist, die ein Verfahren zum Identifizieren einer Form eines vorderen Endabschnitts einer Trennlinie zeigt, wenn der vordere Endabschnitt I-förmig ist;
  • 11 eine beispielhafte schematische Ansicht ist, die ein Verfahren zum Identifizieren einer Form eines vorderen Endabschnitts einer Trennlinie zeigt, wenn der vordere Endabschnitt L-förmig ist;
  • 12 eine beispielhafte schematische Ansicht ist, die ein Verfahren zum Erkennen eines Vorderendpunktes zeigt, wenn eine Trennlinie eine Doppellinie ist;
  • 13 eine beispielhafte schematische Ansicht ist, die ein Bildaufnahmegebiet zum Zeitpunkt des Parkens zeigt;
  • 14 eine beispielhafte schematische Ansicht ist, die ein Verfahren zum Bestimmen, ob eine zu einer Längsrichtung im Wesentlichen parallele Trennlinie eine Doppellinie ist, zeigt;
  • 15 ein Flussdiagramm ist, das ein Beispiel für einen Ablauf einer von der Parkassistenzeinheit ausgeführten Parkassistenzverarbeitung zeigt;
  • 16 ein Flussdiagramm ist, das ein Beispiel für einen Ablauf einer Erkennungsverarbeitung der Parkassistenzeinheit zeigt; und
  • 17 ein Flussdiagramm ist, das ein Beispiel für einen Ablauf einer Bestimmungsverarbeitung der Parkassistenzeinheit zeigt.
The foregoing and additional features and properties of this disclosure will become apparent from the following detailed description, when taken into account with reference to the accompanying drawings, wherein
  • 1 Fig. 13 is an exemplary schematic perspective view in which a part of an occupant cell of a vehicle equipped with an image processing device according to an embodiment is see-through;
  • 2 Fig. 13 is an exemplary schematic plan view of the vehicle equipped with a parking assist device according to the present embodiment;
  • 3 is an exemplary schematic view of how an instrument panel of the vehicle equipped with the parking assist device according to the embodiment is viewed from a rear part of the vehicle;
  • 4th Fig. 13 is an exemplary schematic block diagram showing a functional configuration of a control system of the vehicle equipped with the parking assist device according to the present embodiment;
  • 5 Fig. 13 is an exemplary schematic block diagram of a configuration in which the parking assist device (parking assist unit) according to the embodiment is implemented by a CPU;
  • 6th Fig. 13 is an explanatory schematic view showing a parking position in the case of a U-shaped dividing line;
  • 7th Fig. 13 is an explanatory schematic view showing a parking position in the case of an I-shaped dividing line;
  • 8th Fig. 13 is an explanatory schematic view showing a parking position in the case of a T-shaped dividing line;
  • 9 Fig. 13 is an explanatory schematic view showing a method of identifying a shape of a leading end portion when a parting line is a double line;
  • 10 Fig. 13 is an explanatory schematic view showing a method of identifying a shape of a front end portion of a partition line when the front end portion is I-shaped;
  • 11 Fig. 13 is an explanatory schematic view showing a method of identifying a shape of a front end portion of a partition line when the front end portion is L-shaped;
  • 12th Fig. 13 is an exemplary schematic view showing a method of recognizing a leading end point when a parting line is a double line;
  • 13th Fig. 13 is an explanatory schematic view showing an image pickup area at the time of parking;
  • 14th Fig. 13 is an exemplary schematic view showing a method of determining whether a parting line substantially parallel to a longitudinal direction is a double line;
  • 15th Fig. 13 is a flowchart showing an example of a flow of parking assist processing executed by the parking assist unit;
  • 16 Fig. 13 is a flowchart showing an example of a flow of recognition processing of the parking assist unit; and
  • 17th Fig. 13 is a flowchart showing an example of a flow of determination processing of the parking assist unit.

Detaillierte BeschreibungDetailed description

Nachstehend wird eine hier offenbarte beispielhafte Ausführungsform offenbart. Eine Konfiguration der im Folgenden beschriebenen Ausführungsform sowie Vorgänge, Ergebnisse und Effekte aufgrund dieser Konfiguration sind Beispiele. Die Offenbarung kann durch andere als die in der folgenden Ausführungsform offenbarten Konfigurationen umgesetzt werden und zu mindestens einer von verschiedenen Effekten auf der Grundlage der Grundkonfiguration und abgeleitete Effekte können erzielt werden.An exemplary embodiment disclosed herein is disclosed below. A The configuration of the embodiment described below, and operations, results, and effects based on this configuration are examples. The disclosure can be implemented by configurations other than those disclosed in the following embodiment, and at least one of various effects based on the basic configuration and derivative effects can be obtained.

1 ist eine beispielhafte schematische perspektivische Ansicht, bei der ein Teil einer Insassenzelle 2a eines Fahrzeugs 1, das mit einer Bildverarbeitungseinrichtung gemäß der Ausführungsform ausgestattet ist, durchsichtig ist. Das mit einer Parkassistenzvorrichtung nach der vorliegenden Ausführungsform ausgestattete Fahrzeug 1 kann ein Fahrzeug (Fahrzeug mit Verbrennungsmotor) mit einem Verbrennungsmotor (Brennkraftmaschine) als Antriebsquelle, ein Fahrzeug (Elektrofahrzeug, Brennstoffzellenfahrzeug und dergleichen) mit einem Elektromotor (Motor) als Antriebsquelle oder ein Fahrzeug (Hybridfahrzeug) mit beiden als Antriebsquelle sein. Das Fahrzeug 1 kann mit verschiedenen Getrieben und verschiedenen Vorrichtungen (Systemen, Komponenten und dergleichen) ausgestattet sein, die für den Antrieb des Verbrennungsmotors oder des Elektromotors erforderlich sind. Ferner können Verfahren, Anzahl, Anordnung und dergleichen von Vorrichtungen, die an den Antriebsrädern 3 des Fahrzeugs 1 beteiligt sind, auf verschiedene Weisen festgelegt sein. 1 Fig. 13 is an exemplary schematic perspective view showing part of an occupant cell 2a of a vehicle 1 equipped with an image processing device according to the embodiment is transparent. The vehicle equipped with a parking assist device according to the present embodiment 1 may be a vehicle (internal combustion engine vehicle) with an internal combustion engine (internal combustion engine) as a drive source, a vehicle (electric vehicle, fuel cell vehicle and the like) with an electric motor (motor) as a drive source, or a vehicle (hybrid vehicle) with both as a drive source. The vehicle 1 can be equipped with various gears and various devices (systems, components, and the like) required to drive the internal combustion engine or the electric motor. Furthermore, the method, number, arrangement and the like of devices on the drive wheels 3 of the vehicle 1 involved in different ways.

Wie in 1 gezeigt, weist eine Fahrzeugkarosserie 2 des Fahrzeugs 1 die Insassenzelle 2a auf, in der ein Insasse (nicht gezeigt) Platz findet. Eine Lenkeinheit 4, eine Beschleunigungsbetätigungseinheit 5, eine Bremsbetätigungseinheit 6, eine Schaltbetätigungseinheit 7 und dergleichen sind in der Insassenzelle 2a in einem Zustand vorgesehen, in welchem sie einem Sitz 2b eines Fahrers, welcher der Insasse ist, zugewandt sind. Die Lenkeinheit 4 ist zum Beispiel ein Lenkrad, das aus dem Armaturenbrett 24 herausragt. Die Beschleunigungseinheit 5 ist zum Beispiel ein Gaspedal, das sich unter einem Fuß des Fahrers befindet. Die Bremsbetätigungseinheit 6 ist zum Beispiel ein Bremspedal, das sich unter dem Fuß des Fahrers befindet. Die Schaltbetätigungseinheit 7 ist zum Beispiel ein Schalthebel, der aus einer Mittelkonsole herausragt.As in 1 shown comprises a vehicle body 2 of the vehicle 1 the inmate cell 2a in which an occupant (not shown) can be seated. A steering unit 4th , an acceleration actuator 5 , a brake operating unit 6th , a shift operating unit 7th and the like are in the occupant cell 2a provided in a state in which they are a seat 2 B of a driver who is the occupant. The steering unit 4th for example is a steering wheel that comes out of the dashboard 24 protrudes. The acceleration unit 5 is, for example, an accelerator pedal that is located under one foot of the driver. The brake actuation unit 6th is for example a brake pedal that is located under the driver's foot. The shift actuator 7th is, for example, a gearshift lever that protrudes from a center console.

Eine Anzeigevorrichtung 8 (Anzeigeeinheit) und eine Audioausgabevorrichtung 9, die als Audioausgabeeinheit dient, sind in der Insassenzelle 2a vorgesehen. Bei der Anzeigevorrichtung 8 handelt es sich zum Beispiel um eine Flüssigkristallanzeige (LCD) oder eine organische Elektrolumineszenzanzeige (OELD). Die Audioausgabevorrichtung 9 ist zum Beispiel ein Lautsprecher. Die Anzeigevorrichtung 8 ist zum Beispiel mit einer transparenten Bedienungseingabeeinheit 10 wie einem Touchpanel abgedeckt. Der Insasse (Benutzer) kann über die Bedienungseingabeeinheit 10 ein auf einem Bildschirm der Anzeigevorrichtung 8 angezeigtes Bild visuell wahrnehmen. Der Insasse (Fahrer und dergleichen) kann eine Bedienung durch Berühren, Drücken und Bewegen der Bedienungseingabeeinheit 10 mit einem Finger an einer Stelle eingeben, die einem auf dem Bildschirm der Anzeigevorrichtung 8 angezeigten Bild entspricht. Die Anzeigevorrichtung 8, die Audioausgabevorrichtung 9, die Bedienungseingabeeinheit 10 und dergleichen sind zum Beispiel auf einer Monitorvorrichtung 11 vorgesehen, die sich in Richtung der Fahrzeugbreite, das heißt in Links-Rechts-Richtung, in einem mittleren Bereich des Armaturenbretts 24 befindet. Die Monitorvorrichtung 11 kann Bedienungseingabeeinheiten (nicht gezeigt) wie einen Schalter, eine Wählscheibe, einen Joystick und einen Druckknopf enthalten. Des Weiteren kann eine Audioausgabevorrichtung (nicht gezeigt) auch an einer anderen Position als an der Monitorvorrichtung 11 in der Insassenzelle 2a vorgesehen sein und der Ton kann über die Audioausgabevorrichtung 9 des Monitorvorrichtung 11 und die andere Audioausgabevorrichtung ausgegeben werden. Die Monitorvorrichtung 11 kann zum Beispiel auch als Navigationssystem oder als Audiosystem verwendet werden.A display device 8th (Display unit) and an audio output device 9 , which serves as the audio output unit, are in the occupant cell 2a intended. At the display device 8th it is, for example, a liquid crystal display (LCD) or an organic electroluminescent display (OELD). The audio output device 9 is for example a loudspeaker. The display device 8th is for example with a transparent operator input unit 10 covered like a touch panel. The occupant (user) can use the operation input unit 10 one on a screen of the display device 8th visually perceive the displayed image. The occupant (driver and the like) can perform an operation by touching, pressing and moving the operation input unit 10 Enter with one finger at a location that suits you on the screen of the display device 8th the displayed image. The display device 8th , the audio output device 9 , the operating input unit 10 and the like are, for example, on a monitor device 11 provided, which extends in the direction of the vehicle width, that is, in the left-right direction, in a central area of the dashboard 24 is located. The monitor device 11 may include operating input units (not shown) such as a switch, a dial, a joystick, and a push button. Furthermore, an audio output device (not shown) can also be in a different position than on the monitor device 11 in the inmate cell 2a be provided and the sound can be via the audio output device 9 of the monitor device 11 and the other audio output device are output. The monitor device 11 can also be used as a navigation system or as an audio system, for example.

3 ist eine beispielhafte schematische Ansicht, wie ein Armaturenbrett des mit der Parkassistenzvorrichtung gemäß der Ausführungsform ausgestatteten Fahrzeugs von einem hinteren Teil des Fahrzeugs aus gesehen wird. Eine weitere, von der Anzeigevorrichtung 8 verschiedene Anzeigevorrichtung 12 ist in der Insassenzelle 2a vorgesehen. Wie in 3 gezeigt, ist die Anzeigevorrichtung 12 zum Beispiel auf einer Instrumententafeleinheit 25 des Armaturenbretts 24 vorgesehen und befindet sich zwischen einer Geschwindigkeitsanzeigeeinheit 25a und einer Drehzahlanzeigeeinheit 25b im Wesentlichen in der Mitte der Instrumententafeleinheit 25. Die Größe eines Bildschirms 12a der Anzeigevorrichtung 12 ist kleiner als die Größe eines Bildschirms 8a (siehe 3) der Anzeigevorrichtung 8. Ein Bild, das Informationen (Textinformationen, Anzeigeinformationen durch einen Blinker) über die Parkassistenzvorrichtung des Fahrzeugs 1 anzeigt, kann hauptsächlich auf der Anzeigevorrichtung 12 angezeigt werden. Ein auf der Anzeigevorrichtung 12 angezeigter Umfang an Informationen kann kleiner sein als ein auf der Anzeigevorrichtung 8 angezeigter Umfang an Informationen. Die Anzeigevorrichtung 12 ist zum Beispiel eine LCD oder eine OELD. Auf der Anzeigevorrichtung 12 angezeigte Informationen können auf der Anzeigevorrichtung 8 angezeigt werden. 3 FIG. 13 is an exemplary schematic view of how an instrument panel of the vehicle equipped with the parking assist device according to the embodiment is viewed from a rear part of the vehicle. Another, from the display device 8th various display device 12th is in the inmate cell 2a intended. As in 3 shown is the display device 12th for example on an instrument panel unit 25th of the dashboard 24 provided and is located between a speed display unit 25a and a speed display unit 25b essentially in the middle of the instrument panel assembly 25th . The size of a screen 12a the display device 12th is smaller than the size of a screen 8a (please refer 3 ) the display device 8th . An image that contains information (text information, display information by a blinker) about the vehicle's parking assist device 1 displays can mainly be on the display device 12th are displayed. One on the display 12th The amount of information displayed may be smaller than that on the display device 8th Displayed amount of information. The display device 12th is for example an LCD or an OELD. On the display device 12th Information displayed can be on the display device 8th are displayed.

2 ist eine beispielhafte schematische Draufsicht auf das mit der Parkassistenzvorrichtung gemäß der vorliegenden Ausführungsform ausgestattete Fahrzeug 1. Wie in 1 und 2 gezeigt, ist das Fahrzeug 1 ein vierrädriges Fahrzeug und verfügt über ein linkes und ein rechtes Vorderrad 3F sowie über ein linkes und ein rechtes Hinterrad 3R. Alle oder ein Teil der vier Räder 3 sind lenkbar. 2 FIG. 13 is an exemplary schematic plan view of the vehicle equipped with the parking assist device according to the present embodiment 1 . As in 1 and 2 shown, is the vehicle 1 a four-wheeled vehicle and has a left and a right front wheel 3F as well as a left and a right rear wheel 3R . All or part of the four wheels 3 are steerable.

Die Fahrzeugkarosserie 2 weist zum Beispiel vier Bildaufnahmeeinheiten 15a bis 15d als eine Vielzahl an Bildaufnahmeeinheiten 15 auf. Die Bildaufnahmeeinheit 15 ist zum Beispiel eine Digitalkamera mit Bildaufnahmeelementen wie einem ladungsgekoppelten Bauelement (CCD) und einem CMOS-Bildsensor (CIS). Die Bildaufnahmeeinheit 15 kann Videodaten mit einer vorbestimmten Bildfrequenz ausgeben. Jede Bildaufnahmeeinheit 15 weist ein Weitwinkelobjektiv oder ein Fischaugenobjektiv auf und kann zum Beispiel in einem Bereich von 140° bis 220° in horizontaler Richtung fotografieren. Außerdem ist eine optische Achse der Bildaufnahmeeinheit 15 schräg nach unten festgelegt. Daher fotografiert die Bildaufnahmeeinheit 15 fortlaufend das äußere Umfeld einer Umgebung der Fahrzeugkarosserie 2 einschließlich einer Straßenoberfläche, auf der sich das Fahrzeug 1 bewegen kann, und eines Gebiets, in welchem das Fahrzeug 1 parken kann, und gibt das äußere Umfeld als Bildaufnahmedaten aus.The vehicle body 2 has, for example, four image pickup units 15a to 15d as a plurality of image pickup units 15th on. The imaging unit 15th is, for example, a digital camera with image pickup elements such as a charge coupled device (CCD) and a CMOS image sensor (CIS). The imaging unit 15th can output video data with a predetermined frame rate. Any imaging unit 15th has a wide-angle lens or a fisheye lens and can, for example, take photographs in a range of 140 ° to 220 ° in the horizontal direction. In addition, an optical axis is the image pickup unit 15th set obliquely downwards. Therefore, the image pickup unit takes photos 15th continuously the external environment of an environment of the vehicle body 2 including a road surface on which the vehicle rests 1 can move, and an area in which the vehicle 1 can park, and outputs the outside environment as image recording data.

Die Bildaufnahmeeinheit 15a befindet sich zum Beispiel an einem hinteren Endabschnitt 2e der Fahrzeugkarosserie 2 und ist an einem Wandabschnitt an einer unteren Seite einer Kofferraumklappe 2h vorgesehen, um einen Zustand in einem hinteren Gebiet des Fahrzeugs 1 zu fotografieren. Die Bildaufnahmeeinheit 15b befindet sich zum Beispiel an einem rechten Endabschnitt 2f der Fahrzeugkarosserie 2 und ist an einem rechten Außenspiegel 2g vorgesehen, um Zustände in Gebieten einschließlich eines rechten vorderen Gebiets, eines rechten Gebiets und eines rechten hinteren Gebiets des Fahrzeugs 1 zu fotografieren. Die Bildaufnahmeeinheit 15c befindet sich zum Beispiel an einer Vorderseite der Fahrzeugkarosserie 2, das heißt an einem in Längsrichtung vorderen Endabschnitt 2c, und ist an einem vorderen Stoßfänger vorgesehen, um einen Status in einem vorderen Gebiet des Fahrzeugs 1 zu fotografieren. Die Bildaufnahmeeinheit 15d befindet sich zum Beispiel auf einer linken Seite der Fahrzeugkarosserie 2, das heißt einem in Richtung der Fahrzeugbreite linken Endabschnitt 2d, und ist an einem Außenspiegel 2g vorgesehen, der ein vorstehender Abschnitt auf der linken Seite ist, um Zustände in Gebieten einschließlich eines linken vorderen Gebiets, eines linken Gebiets und eines linken hinteren Gebiets des Fahrzeugs 1 zu fotografieren. Eine elektronische Steuereinheit (ECU) 14 (siehe 4), welche die Bildverarbeitungsvorrichtung bildet, kann auf der Grundlage der Bildaufnahmedaten, die von der Vielzahl an Bildaufnahmeeinheiten 15 erhalten werden, eine Berechnungsverarbeitung und eine Bildverarbeitung durchführen, um ein Bild mit einem breiteren Betrachtungswinkel oder eine virtuelle Draufsicht des Fahrzeugs 1 in einer Ansicht von oben (von direkt darüber oder von diagonal darüber) zu erzeugen.The imaging unit 15a is located at a rear end portion, for example 2e the vehicle body 2 and is on a wall portion on a lower side of a trunk lid 2h provided to a condition in a rear area of the vehicle 1 to photograph. The imaging unit 15b is located at a right end portion, for example 2f the vehicle body 2 and is on a right wing mirror 2g provided to indicate states in areas including a right front area, a right area and a right rear area of the vehicle 1 to photograph. The imaging unit 15c is located, for example, on a front side of the vehicle body 2 , that is, at a longitudinally front end portion 2c , and is provided on a front bumper to show a status in a front area of the vehicle 1 to photograph. The imaging unit 15d is located on a left side of the vehicle body, for example 2 , that is, an end portion on the left in the direction of the vehicle width 2d , and is on a wing mirror 2g which is a protruding portion on the left side to describe states in areas including a left front area, a left area, and a left rear area of the vehicle 1 to photograph. An electronic control unit (ECU) 14th (please refer 4th ) which constitutes the image processing apparatus can be based on the image pickup data received from the plurality of image pickup units 15th are obtained, perform calculation processing and image processing to form an image with a wider viewing angle or a virtual plan view of the vehicle 1 in a view from above (from directly above or from diagonally above).

Das Fahrzeug 1 enthält eine Vielzahl an Abstandsmesseinheiten 16 und 17, die in der Lage sind, einen Abstand zu einem außerhalb des Fahrzeugs 1 befindlichen Objekt zu messen. Die Abstandsmesseinheit 16 ist zum Beispiel ein Millimeterwellen-Radar und ist in der Lage, einen Abstand zu einem Objekt zu messen, das sich in einer Fahrtrichtung (einer Richtung, in der das Fahrzeug 1 orientiert ist) des Fahrzeugs 1 befindet. In der vorliegenden Ausführungsform enthält das Fahrzeug 1 eine Vielzahl an Abstandsmesseinheiten 16a bis 16d. Die Abstandsmesseinheit 16a ist zum Beispiel an einem linken Endabschnitt eines hinteren Stoßfängers des Fahrzeugs 1 vorgesehen und ist in der Lage, einen Abstand zu einem Objekt zu messen, das sich in dem linken hinteren Gebiet des Fahrzeugs 1 befindet. Die Abstandsmesseinheit 16b ist an einem rechten Endabschnitt des hinteren Stoßfängers des Fahrzeugs 1 vorgesehen und kann einen Abstand zu einem in dem rechten hinteren Gebiet des Fahrzeugs 1 befindlichen Objekt messen. Die Abstandsmesseinheit 16c ist an einem rechten Endabschnitt des vorderen Stoßfängers des Fahrzeugs 1 vorgesehen und kann einen Abstand zu einem in dem rechten vorderen Gebiet des Fahrzeugs 1 befindlichen Objekt messen. Ferner ist die Abstandsmesseinheit 16d an einem linken Endabschnitt des vorderen Stoßfängers des Fahrzeugs vorgesehen 1 und ist in der Lage, einen Abstand zu einem Objekt zu messen, das sich in dem linken vorderen Gebiet des Fahrzeugs 1 befindet. Die Abstandsmesseinheit 16 kann zur Erkennung eines Objekts in einem relativ großen Abstand verwendet werden.The vehicle 1 contains a variety of distance measuring units 16 and 17th who are able to keep a distance to an outside of the vehicle 1 to measure the object. The distance measuring unit 16 is, for example, a millimeter wave radar and is able to measure a distance to an object that is in a direction of travel (a direction in which the vehicle 1 is oriented) of the vehicle 1 is located. In the present embodiment, the vehicle includes 1 a variety of distance measuring units 16a to 16d . The distance measuring unit 16a is, for example, on a left end portion of a rear bumper of the vehicle 1 is provided and is able to measure a distance to an object located in the left rear area of the vehicle 1 is located. The distance measuring unit 16b is at a right end portion of the rear bumper of the vehicle 1 provided and may be a distance to one in the right rear area of the vehicle 1 Measure the object. The distance measuring unit 16c is at a right end portion of the front bumper of the vehicle 1 provided and may be a distance to one in the right front area of the vehicle 1 Measure the object. Furthermore, the distance measuring unit 16d is provided 1 at a left end portion of the front bumper of the vehicle and is capable of measuring a distance to an object located in the left front area of the vehicle 1 is located. The distance measuring unit 16 can be used to detect an object at a relatively large distance.

Das Fahrzeug 1 weist die Abstandsmesseinheiten 17 auf, die in der Lage sind, einen Abstand zu einem äußeren Objekt zu messen, das sich in einem relativ geringen Abstand zum Fahrzeug 1 befindet. Die Abstandsmesseinheiten 17 sind zum Beispiel Sonare, die Ultraschallwellen aussenden und davon reflektierte Wellen einfangen. In der vorliegenden Ausführungsform weist das Fahrzeug 1 eine Vielzahl an Abstandsmesseinheiten 17a bis 17h auf. Die Abstandsmesseinheiten 17a bis 17d sind an der hinteren Stoßstange des Fahrzeugs 1 vorgesehen und können den Abstand zu einem Objekt messen, das sich in dem hinteren Gebiet des Fahrzeugs 1 befindet. Die Abstandsmesseinheiten 17e bis 17h sind an der vorderen Stoßstange des Fahrzeugs 1 angebracht und können den Abstand zu einem in dem vorderen Gebiet des Fahrzeugs 1 befindlichen Objekt messen.The vehicle 1 has the distance measuring units 17th who are able to measure a distance to an outside object that is at a relatively short distance from the vehicle 1 is located. The distance measurement units 17th are for example sonars that emit ultrasonic waves and capture waves reflected from them. In the present embodiment, the vehicle has 1 a variety of distance measuring units 17a to 17h on. The distance measurement units 17a to 17d are on the rear bumper of the vehicle 1 are provided and can measure the distance to an object that is in the rear area of the vehicle 1 is located. The distance measurement units 17e to 17h are on the front bumper of the vehicle 1 attached and can set the distance to one in the front area of the vehicle 1 Measure the object.

In der vorliegenden Ausführungsform kann zum Beispiel, wenn das Fahrzeug 1 geparkt werden soll, die Abstandsmesseinheit 16 ein Hindernis (zum Beispiel ein angrenzendes Auto und eine Wand) neben dem Fahrzeug 1 und ein Hindernis (zum Beispiel ein Bordstein, eine Stufe, eine Wand und einen Zaun), das sich auf einer tiefen Seite eines Parkplatzes befindet, erkennen und Abstände zu den Hindernissen messen. Wenn sich des Weiteren zum Beispiel ein Hindernis (Objekt) dem Fahrzeug 1 über einen vorbestimmten Abstand (zum Beispiel 0,3 m) hinaus nähert, kann die Abstandsmesseinheit 17 das sich nähernde Hindernis (Objekt) erkennen und einen Abstand zu diesem Hindernis messen. Insbesondere fungieren die Abstandsmesseinheiten 17a und 17d, die auf den beiden hinteren Seiten des Fahrzeugs 1 angeordnet sind, als Sensoren (Abstandssonare), die einen Abstand zwischen einer hinteren Ecke des Fahrzeugs 1 und dem Hindernis (zum Beispiel dem angrenzenden Fahrzeug) messen, wenn das Fahrzeug 1 beim Rückwärtsfahren auf den Parkplatz einfährt, sowie einen Abstand zwischen der hinteren Ecke und dem Hindernis, wie zum Beispiel der Wand, nachdem das Fahrzeug 1 auf den Parkplatz eingefahren ist. Die ECU 14 kann messen, ob sich ein Objekt wie zum Beispiel ein Hindernis der Umgebung des Fahrzeugs 1 befindet, und kann den Abstand zum Objekt auf der Grundlage der Erkennungsergebnisse der Abstandsmesseinheiten 16 und 17 messen. Das heißt, die Abstandsmesseinheiten 16 und 17 erkennen die in der Umgebung des Fahrzeugs 1 vorhandenen Objekte (feststehende und bewegliche Objekte). Zu den stationären Objekten gehören geparkte Fahrzeuge, Mauern, Bordsteine, Straßenbäume und dergleichen. Zu den beweglichen Objekten gehören fahrende Fahrzeuge, Fahrräder, Fußgänger, Tiere und dergleichen.In the present embodiment, for example, when the vehicle 1 is to be parked, the distance measuring unit 16 an obstacle (for example, an adjacent car and a wall) next to the vehicle 1 and an obstacle (to For example, recognize a curb, a step, a wall and a fence) that is on a deep side of a parking lot and measure the distances to the obstacles. Furthermore, if there is an obstacle (object) in the vehicle, for example 1 approaches beyond a predetermined distance (for example 0.3 m), the distance measuring unit 17th Detect the approaching obstacle (object) and measure a distance to this obstacle. The distance measuring units function in particular 17a and 17d that are on the two rear sides of the vehicle 1 are arranged as sensors (distance sonars), the distance between a rear corner of the vehicle 1 and measure the obstacle (for example the adjacent vehicle) when the vehicle 1 enters the parking lot when reversing, and a distance between the rear corner and the obstacle, such as the wall, after the vehicle 1 has driven into the parking lot. The ECU 14th can measure whether an object such as an obstacle is in the vicinity of the vehicle 1 is located, and can determine the distance to the object based on the detection results of the distance measuring units 16 and 17th measure up. That is, the distance measuring units 16 and 17th recognize those in the vicinity of the vehicle 1 existing objects (fixed and moving objects). Stationary objects include parked vehicles, walls, curbs, street trees, and the like. Moving objects include moving vehicles, bicycles, pedestrians, animals, and the like.

4 ist ein beispielhaftes schematisches Blockschaltbild, das eine funktionelle Konfiguration eines Steuerungssystems des mit der Parkassistenzvorrichtung gemäß der vorliegenden Ausführungsform ausgestatteten Fahrzeugs 1 zeigt. Wie in 4 gezeigt, sind in dem Steuerungssystem neben der ECU 14, der Monitorvorrichtung 11 und den Abstandsmesseinheiten 16 und 17 ein Lenksystem 13, ein Bremssystem 18, ein Lenkwinkelsensor 19, ein Gaspedalsensor 20, ein Schaltsensor 21, ein Raddrehzahlsensor 22, ein Antriebssystem 23 und dergleichen über ein fahrzeugeigenes Netzwerk 26, das eine elektrische Kommunikationsleitung darstellt, elektrisch miteinander verbunden. Das fahrzeugeigene Netzwerk 26 ist zum Beispiel ein Controller Area Network (CAN). Die ECU 14 kann das Lenksystem 13, das Bremssystem 18 und das Antriebssystem 23 steuern, indem es ein Steuersignal über das fahrzeugeigene Netzwerk 26 überträgt. 4th FIG. 13 is an exemplary schematic block diagram showing a functional configuration of a control system of the vehicle equipped with the parking assist device according to the present embodiment 1 shows. As in 4th are shown in the control system next to the ECU 14th , the monitor device 11 and the distance measuring units 16 and 17th a steering system 13th , a braking system 18th , a steering angle sensor 19th , an accelerator pedal sensor 20th , a switch sensor 21 , a wheel speed sensor 22nd , a drive system 23 and the like over an in-vehicle network 26th , which is an electric communication line, are electrically connected to each other. The vehicle's own network 26th is for example a Controller Area Network (CAN). The ECU 14th can the steering system 13th , the braking system 18th and the drive system 23 control by sending a control signal over the vehicle's network 26th transmits.

Des Weiteren kann die ECU 14 Erkennungsergebnisse eines Drehmomentsensors 13b, eines Bremssensors 18b, des Lenkwinkelsensors 19, der Abstandsmesseinheiten 16 und 17, des Gaspedalsensors 20, des Schaltsensors 21 und des Raddrehzahlsensors 22 sowie ein Bedienungssignal der Bedienungseingabeeinheit 10 über das fahrzeugeigene Netzwerk 26 empfangen.Furthermore, the ECU 14th Detection results of a torque sensor 13b , a brake sensor 18b , the steering angle sensor 19th , the distance measurement units 16 and 17th , the accelerator pedal sensor 20th , the switch sensor 21 and the wheel speed sensor 22nd and an operating signal from the operating input unit 10 via the vehicle's own network 26th receive.

Das Lenksystem 13 ist eine elektrische Servolenkung, ein Steer-by-Wire (SBW)-System und dergleichen. Das Lenksystem 13 weist einen Aktuator 13a und den Drehmomentsensor 13b auf. Des Weiteren wird das Lenksystem 13 von der ECU 14 elektrisch so gesteuert, dass der Aktuator 13a so arbeitet, dass er die Räder 3 lenkt, indem er ein Drehmoment auf eine Lenkeinheit (Lenkrad) ausübt, um eine Lenkkraft aufzustocken. Der Drehmomentsensor 13b erkennt das vom Fahrer auf die Lenkeinheit 4 aufgebrachte Drehmoment und überträgt das Erkennungsergebnis an die ECU 14.The steering system 13th is an electric power steering, a steer-by-wire (SBW) system and the like. The steering system 13th has an actuator 13a and the torque sensor 13b on. Furthermore, the steering system 13th from the ECU 14th electrically controlled so that the actuator 13a so that he works the wheels 3 steers by exerting a torque on a steering unit (steering wheel) to increase a steering force. The torque sensor 13b recognizes this from the driver on the steering unit 4th applied torque and transmits the recognition result to the ECU 14th .

Das Bremssystem 18 ist ausgestattet mit einem Antiblockiersystem (ABS), das ein Blockieren der Bremsen des Fahrzeugs 1 unter Kontrolle hält, einer Schlupfvorbeugungsvorrichtung (ESC: Electronic Stability Control / elektronische Stabilitätskontrolle), die einen Schlupf des Fahrzeugs 1 bei Kurvenfahrt verhindert, einem elektrischen Bremssystem, das eine Bremskraft zur Unterstützung der Bremsung verstärkt, und einem Brake-by-Wire (BBW). Das Bremssystem 18 weist einen Aktuator 18a und den Bremssensor 18b auf. Das Bremssystem 18 wird von der ECU 14 elektrisch gesteuert und übt über den Aktuator 18a eine Bremskraft auf die Räder 3 aus. Das Bremssystem 18 führt eine Steuerung durch, bei der Anzeichen eines Blockierens der Bremsen, eines Leerlaufs der Räder 3 und eines Schlupfs auf der Grundlage einer Rotationsdifferenz zwischen dem linken und dem rechten Rad 3 erkannt werden, um das Blockieren der Bremsen, den Leerlauf der Räder 3 und den Schlupf zu verhindern. Der Bremssensor 18b ist ein Verschiebungssensor, der die Position eines Bremspedals, das als bewegliches Teil der Bremsbetätigungseinheit 6 dient, erkennt und ein Erkennungsergebnis der Bremspedalstellung an die ECU 14 überträgt.The braking system 18th is equipped with an anti-lock braking system (ABS) that locks the brakes of the vehicle 1 Keeps under control a slip prevention device (ESC: Electronic Stability Control / Electronic Stability Control) that prevents the vehicle from slipping 1 prevented when cornering, an electric braking system, which amplifies a braking force to support braking, and a brake-by-wire (BBW). The braking system 18th has an actuator 18a and the brake sensor 18b on. The braking system 18th is used by the ECU 14th electrically controlled and exercises via the actuator 18a a braking force on the wheels 3 out. The braking system 18th performs a control in the event of signs of locking of the brakes, idling of the wheels 3 and a slip based on a difference in rotation between the left and right wheels 3 can be detected to the locking of the brakes, the idling of the wheels 3 and prevent slippage. The brake sensor 18b is a displacement sensor that detects the position of a brake pedal that acts as a movable part of the brake operating unit 6th serves, recognizes and a recognition result of the brake pedal position to the ECU 14th transmits.

Der Lenkwinkelsensor 19 ist ein Sensor, der einen Lenkbetrag der Lenkeinheit 4, wie zum Beispiel des Lenkrads, erkennt. Der Lenkwinkelsensor 19 enthält ein Hall-Element und dergleichen, erkennt einen Drehwinkel eines rotierenden Teils der Lenkeinheit 4 als Lenkbetrag und überträgt das Erkennungsergebnis an die ECU 14. Der Gaspedalsensor 20 ist ein Verschiebungssensor, der die Stellung eines Gaspedals, das als bewegliches Teil der Beschleunigungseinheit 5 dient, erkennt und das entsprechende Erkennungsergebnis an die ECU 14 überträgt.The steering angle sensor 19th is a sensor that detects a steering amount of the steering unit 4th such as the steering wheel. The steering angle sensor 19th contains a Hall element and the like, detects a rotation angle of a rotating part of the steering unit 4th as the steering amount and transmits the recognition result to the ECU 14th . The accelerator pedal sensor 20th is a displacement sensor that detects the position of an accelerator pedal, which acts as a moving part of the accelerator unit 5 serves, recognizes and the corresponding recognition result to the ECU 14th transmits.

Der Schaltsensor 21 ist ein Sensor, der eine Position eines beweglichen Teils (eine Stange, ein Arm, ein Knopf und dergleichen) der Schaltbetätigungseinheit 7 erkennt und das entsprechende Erkennungsergebnis an die ECU 14 überträgt. Der Raddrehzahlsensor 22 ist ein Sensor, der ein Hall-Element enthält und einen Rotationsbetrag der Räder 3 und die Drehzahl pro Zeiteinheit der Räder 3 erkennt und das entsprechende Erkennungsergebnis an die ECU 14 überträgt.The switch sensor 21 is a sensor that detects a position of a movable part (a rod, an arm, a button, and the like) of the switch operating unit 7th recognizes and the corresponding recognition result to the ECU 14th transmits. The wheel speed sensor 22nd is a sensor that has a Hall Element contains and an amount of rotation of the wheels 3 and the speed per unit time of the wheels 3 recognizes and the corresponding recognition result to the ECU 14th transmits.

Das Antriebssystem 23 ist ein System mit Verbrennungsmotor (Brennkraftmaschine) oder ein Motorsystem, das als Antriebsquelle dient. Das Antriebssystem 23 steuert eine Kraftstoffeinspritzmenge und eine Einlassmenge der Brennkraftmaschine und steuert einen Ausgangswert des Motors in Übereinstimmung mit einem vom Fahrer (Benutzer) angeforderten Betätigungsumfang (zum Beispiel ein Niederdrücken des Gaspedals), der vom Gaspedalsensor 20 erkannt wird. Die Brennkraftmaschine und der Ausgangswert des Motors können in Zusammenarbeit mit der Steuerung des Lenksystems 13 und des Bremssystems 18 entsprechend dem Fahrzustand des Fahrzeugs 1 unabhängig von der Betätigung durch den Benutzer gesteuert werden. Zum Beispiel kann eine normale Fahrassistenz einschließlich der Parkassistenz ausgeführt werden.The drive system 23 is an internal combustion engine (internal combustion engine) system or an engine system serving as a drive source. The drive system 23 controls a fuel injection amount and an intake amount of the internal combustion engine, and controls an output value of the engine in accordance with an amount of operation requested by the driver (user) (for example, depression of the accelerator pedal) obtained from the accelerator pedal sensor 20th is recognized. The internal combustion engine and the output value of the motor can work in conjunction with the control of the steering system 13th and the braking system 18th according to the driving condition of the vehicle 1 can be controlled independently of the actuation by the user. For example, normal driving assistance including parking assistance can be performed.

Konfigurationen, Anordnungen, elektrische Verbindungsarten und dergleichen der verschiedenen voranstehend beschriebenen Sensoren und Aktuatoren sind Beispiele und können unterschiedlich festgelegt (geändert) werden.Configurations, arrangements, types of electrical connections, and the like of the various sensors and actuators described above are examples and can be variously set (changed).

Die ECU 14 ist durch einen Computer gebildet und führt die Gesamtsteuerung des Fahrzeugs 1 durch das Zusammenwirken von Hard- und Software aus. Insbesondere weist die ECU 14 eine zentrale Verarbeitungseinheit (CPU: Central Processing Unit) 14a, einen Festwertspeicher (ROM: Read only Memory) 14b, einen Direktzugriffsspeicher (RAM: Random Access Memory) 14c, eine Anzeigesteuereinheit 14d, eine Audiosteuereinheit 14e und einen Festkörperspeicher (SSD: Solid State Drive) 14f auf. Die CPU 14a, der ROM 14b und der RAM 14c können auf derselben Leiterplatte vorgesehen sein.The ECU 14th is formed by a computer and performs the overall control of the vehicle 1 through the interaction of hardware and software. In particular, the ECU 14th a central processing unit (CPU) 14a, a read only memory (ROM) 14b, a random access memory (RAM) 14c, a display control unit 14d , an audio control unit 14e and a solid state drive (SSD) 14f. The CPU 14a , the ROM 14b and the RAM 14c can be provided on the same circuit board.

Die CPU 14a kann ein Programm auslesen, das in einer nichtflüchtigen Speichervorrichtung wie dem ROM 14b installiert und gespeichert ist, und die Rechenverarbeitung in Übereinstimmung mit dem Programm ausführen. Zum Beispiel kann die CPU 14a die Verarbeitung zur Erkennung eines Zustands in der Umgebung des Fahrzeugs 1 und eines Parkplatzes (Parkposition) auf der Grundlage von Umgebungsinformationen ausführen, die von den Bildaufnahmeeinheiten 15 und den Abstandsmesseinheiten 16 und 17 erfasst werden. Die CPU 14a kann eine Verarbeitung eines Extrahierens einer Änderung in einem Umgebungszustandes auf der Grundlage der Umgebungsinformationen in der Umgebung des Fahrzeugs 1, die zu verschiedenen Zeitpunkten erfasst werden, eine Verarbeitung eines Schätzens einer aktuellen Position des Fahrzeugs 1 auf der Grundlage der Umgebungsinformationen, eine Verarbeitung eines Speicherns von Informationen, die eine Änderung in den Umgebungsinformationen widerspiegeln, eine Verarbeitung eines Verwendens der gespeicherten Informationen, eine Verarbeitung eines Führens des Fahrzeugs 1 zur Parkposition und dergleichen ausführen. Wenn die CPU 14a die Anzeigevorrichtung 8 veranlasst, ein von der Bildaufnahmeeinheit 15 aufgenommenes Bild anzuzeigen, kann die CPU 14a eine Verzerrungskorrekturverarbeitung zur Korrektur der Verzerrung ausführen, indem sie die Berechnungsverarbeitung und Bildverarbeitung an einer Bildaufnahme (gekrümmtes Bild) eines von der Bildaufnahmeeinheit 15 erhaltenen Weitwinkelbildes durchführt, und sie kann ein Bild der Draufsicht (Umgebungsbild) erzeugen, das ein Fahrzeugbild (Host-Fahrzeug-Symbol) darstellt, welches das Fahrzeug 1 zum Beispiel an einer zentralen Position auf der Grundlage des von der Bildaufnahmeeinheit 15 aufgenommenen Bildes anzeigt. Des Weiteren kann die CPU 14a bei der Erzeugung des Bildes der Draufsicht die Position eines virtuellen Ansichtspunktes ändern und ein Bild der Draufsicht erzeugen, in welchem ein Fahrzeugbild direkt von oben betrachtet wird, oder ein Bild der Draufsicht erzeugen, in welchem das Fahrzeugbild aus einer schrägen Richtung betrachtet wird.The CPU 14a can read out a program stored in a non-volatile memory device such as the ROM 14b installed and stored, and perform arithmetic processing in accordance with the program. For example, the CPU 14a the processing for recognizing a condition in the vicinity of the vehicle 1 and a parking lot (parking position) based on environmental information received from the image capturing units 15th and the distance measuring units 16 and 17th are recorded. The CPU 14a may be processing of extracting a change in a surrounding state based on the surrounding information around the vehicle 1 that are acquired at different points in time, processing of estimating a current position of the vehicle 1 based on the environmental information, processing of storing information reflecting a change in the environmental information, processing of using the stored information, processing of driving the vehicle 1 for parking position and the like. When the CPU 14a the display device 8th causes a from the image pickup unit 15th The CPU can display the captured image 14a perform distortion correction processing for correcting the distortion by performing the calculation processing and image processing on an image pickup (curved image) of one of the image pickup unit 15th obtained wide-angle image, and it can generate an image of the plan view (environment image) representing a vehicle image (host vehicle icon) representing the vehicle 1 for example, at a central position based on that from the image pickup unit 15th the captured image. Furthermore, the CPU 14a in generating the top view image, change the position of a virtual viewpoint and generate a top view image in which a vehicle image is viewed directly from above or generate a top view image in which the vehicle image is viewed from an oblique direction.

Der ROM 14b speichert verschiedene Programme und Parameter, die für die Ausführung der Programme erforderlich sind. Der RAM 14c speichert vorübergehend verschiedene Daten, die bei der Berechnung in der CPU 14a verwendet werden. Von der Berechnungsverarbeitung in der ECU 14 führt die Anzeigesteuereinheit 14d hauptsächlich die Bildverarbeitung an den Bildaufnahmedaten, die von der Bildaufnahmeeinheit 15 erfasst und an die CPU 14a ausgegeben werden, sowie die Umwandlung der von der CPU 14a erfassten Bilddaten in Anzeigebilddaten, die auf den Anzeigevorrichtungen 8 und 12 angezeigt werden sollen, durch. Von der Berechnungsverarbeitung in der ECU 14 führt die Audiosteuereinheit 14e hauptsächlich die Verarbeitung von Audiodaten durch, die von der CPU 14a erfasst und an die Audioausgabevorrichtung 9 ausgegeben werden. Der SSD 14f ist eine wiederbeschreibbare, nichtflüchtige Speichereinheit, die von der CPU 14a erfasste Daten auch dann speichert, wenn die ECU 14 ausgeschaltet ist. Die CPU 14a, der ROM 14b, der RAM 14c und dergleichen können in ein und demselben Gehäuse integriert sein. Des Weiteren kann die ECU 14 auch eine Konfiguration aufweisen, in der anstelle der CPU 14a ein anderer Prozessor für logische Operationen wie ein digitaler Signalprozessor (DSP) oder eine Logikschaltung verwendet wird. Des Weiteren kann anstelle des SSD 14f ein Festplattenspeicher (HDD: Hard Disk Drive) vorgesehen werden, oder der SSD 14f und der HDD können getrennt von der ECU 14 vorgesehen werden.The ROM 14b stores various programs and parameters necessary for the programs to run. The RAM 14c temporarily stores various data used in the calculation in the CPU 14a be used. From the calculation processing in the ECU 14th leads the display control unit 14d mainly the image processing on the image acquisition data received from the image acquisition unit 15th recorded and sent to the CPU 14a output as well as converting the from the CPU 14a captured image data in display image data displayed on the display devices 8th and 12th should be displayed by. From the calculation processing in the ECU 14th leads the audio control unit 14e mainly processing audio data sent by the CPU 14a detected and sent to the audio output device 9 are issued. The SSD 14f is a rewritable, non-volatile storage device that is used by the CPU 14a saves captured data even when the ECU 14th is turned off. The CPU 14a , the ROM 14b , the RAM 14c and the like can be integrated in one and the same housing. Furthermore, the ECU 14th also have a configuration in which instead of the CPU 14a another processor is used for logical operations such as a digital signal processor (DSP) or logic circuit. Furthermore, instead of the SSD 14f a hard disk storage (HDD: Hard Disk Drive) can be provided, or the SSD 14f and the HDD can be separated from the ECU 14th are provided.

5 ist ein beispielhaftes schematisches Blockschaltbild, das eine Konfiguration zeigt, bei der die Parkassistenzvorrichtung (Parkassistenzeinheit 140) gemäß der Ausführungsform durch die CPU 14a umgesetzt ist. Wie in 5 gezeigt, implementiert die CPU 14a durch Ausführen eines aus dem ROM 14b gelesenen Parkassistenzprogramms eine Datenerfassungseinheit 141, eine Vertikallinienerkennungseinheit 142, eine Interessensgebietsfestlegungseinheit 143, eine Randerkennungseinheit 144, eine Interessensgebietsaufteilungseinheit 145, eine Vorderendpunkterkennungseinheit 146, eine Doppellinienbestimmungseinheit 147 und eine Parkpositionsbestimmungseinheit 148. Die Datenerfassungseinheit 141, die Vertikallinienerkennungseinheit 142, die Interessensgebietsfestlegungseinheit 143, die Randerkennungseinheit 144, die Interessensgebietsteilungseinheit 145, die Vorderendpunkterkennungseinheit 146, die Doppellinienbestimmungseinheit 147 und/oder die Parkpositionsbestimmungseinheit 148 können/kann zumindest teilweise durch Hardware, zum Beispiel durch eine Schaltung, ausgebildet sein. Obwohl nicht in 5 gezeigt, kann die CPU 14a auch verschiedene Module implementieren, die für das Fahren des Fahrzeugs 1 erforderlich sind. Des Weiteren ist in 5 die CPU 14a gezeigt, die hauptsächlich die Verarbeitung der Parkassistenz ausführt. Die ECU 14 kann jedoch eine CPU zur Implementierung verschiedener Module enthalten, die für die Fahrt des Fahrzeugs 1 erforderlich sind, oder das Steuersystem kann eine andere ECU als die ECU 14 aufweisen. 5 Fig. 13 is an exemplary schematic block diagram showing a configuration in which the parking assist device (parking assist unit 140 ) according to the embodiment by the CPU 14a is implemented. As in 5 shown implements the CPU 14a by executing one from ROM 14b read parking assistance program a data acquisition unit 141 , a vertical line detection unit 142 , a field of interest setting unit 143 , an edge detection unit 144 , an area of interest division unit 145 , a front endpoint detection unit 146 , a double line determination unit 147 and a parking position determining unit 148 . The data acquisition unit 141 , the vertical line detection unit 142 , the area of interest definition unit 143 , the edge detection engine 144 , the interest division unit 145 , the front endpoint detection engine 146 , the double line determination unit 147 and / or the parking position determination unit 148 can be implemented at least partially by hardware, for example by a circuit. Although not in 5 shown, the CPU 14a also implement different modules necessary for driving the vehicle 1 required are. Furthermore, in 5 the CPU 14a shown, which mainly carries out the processing of the parking assistance. The ECU 14th however, it may contain a CPU to implement various modules necessary for driving the vehicle 1 are required, or the control system may use a different ECU than the ECU 14th exhibit.

Die Datenerfassungseinheit 141 erfasst die von der Bildaufnahmeeinheit 15 aufgenommenen Bildaufnahmedaten.The data acquisition unit 141 captures the from the image acquisition unit 15th recorded image recording data.

Auf der Grundlage der von der Datenerfassungseinheit 141 erfassten Bildaufnahmedaten erkennt die Vertikallinienerkennungseinheit 142 unter Trennlinien, welche die Parkposition anzeigen, eine Trennlinie, die im Wesentlichen parallel zu einer Längsrichtung eines Parkgebiets verläuft. Das heißt, die Vertikallinienerkennungseinheit 142 erkennt eine Trennlinie in einer vertikalen Richtung, die im Wesentlichen parallel zur Längsrichtung des Parkgebietes verläuft. Genauer gesagt wendet die Vertikallinienerkennungseinheit 142 einen Filter an, der einen Leuchtdichteunterschied zwischen Pixeln erkennt, indem die Bildaufnahmedaten in einer horizontalen Richtung senkrecht zur vertikalen Richtung abgetastet bzw. gescannt werden. Dementsprechend erkennt die Vertikallinienerkennungseinheit 142 einen Schwarz-zu-Weiß-Randpunkt P11, an dem Schwarz in Weiß übergeht. In ähnlicher Weise erkennt die Vertikallinienerkennungseinheit 142 auf der Grundlage der Bildaufnahmedaten einen Weiß-zu-Schwarz-Randpunkt P12, an dem Weiß in Schwarz übergeht. Wenn der Schwarz-zu-Weiß-Randpunkt P11 und der Weiß-zu-Schwarz-Randpunkt P12 nicht unterschieden werden, werden sie als Randpunkt P1 bezeichnet.Based on the data acquisition unit 141 The vertical line recognition unit recognizes the captured image recording data 142 under dividing lines which indicate the parking position, a dividing line which runs essentially parallel to a longitudinal direction of a parking area. That is, the vertical line recognition unit 142 detects a dividing line in a vertical direction which is essentially parallel to the longitudinal direction of the park area. More specifically, the vertical line recognition unit turns 142 a filter that detects a luminance difference between pixels by scanning the image pickup data in a horizontal direction perpendicular to the vertical direction. Accordingly, the vertical line recognition unit recognizes 142 a black-to-white edge point P11 where black fades into white. Similarly, the vertical line recognition unit recognizes 142 a white-to-black edge point based on the image capture data P12 where white turns black. When the black-to-white edge point P11 and the white-to-black edge point P12 are not distinguished, they are called the edge point P1 designated.

Wenn der Randpunkt P1 erkannt wird, entfernt die Vertikallinienerkennungseinheit 142 Verzerrungen auf der Grundlage von Verarbeitungen wie Random Sample Consensus (RANSAC) und Connected Sample Consensus (CONSAC). Dabei werden im RANSAC und im CONSAC zwei Randpunkte P1 zufällig ausgewählt. Dann wird ein Randpunkt P1 in einem streifenförmigen Gebiet innerhalb eines bestimmten Bereichs von einer durch Verbinden der beiden Randpunkte P1 erhaltenen Linie gezählt. Durch wiederholtes Ausführen dieser Verarbeitung wird ein streifenförmiges Gebiet identifiziert, in welchem die Anzahl der Randpunkte P1 maximal ist. Wenn hier der Randpunkt P1 auf der Grundlage der Bildaufnahmedaten erkannt wird, wird auch ein Randpunkt P1 erkannt, der in keinem Zusammenhang mit der Trennlinie steht. Daher werden durch Ausführen von Verarbeitungen wie RANSAC und CONSAC Verzerrungen entfernt und wird eine grobe Position identifiziert, an der sich die Trennlinie in vertikaler Richtung befindet. Des Weiteren zeichnet die Vertikallinienerkennungseinheit 142 in dem streifenförmigen Bereich, in dem die Anzahl der Randpunkte P1 am größten ist, nach der Methode der kleinsten Quadrate eine Gerade mit dem kürzesten Abstand zu jedem Randpunkt P1. Die Vertikallinienerkennungseinheit 142 erkennt die Trennlinie in vertikaler Richtung, indem sie diese Verarbeitung sowohl für den Schwarz-zu-Weiß-Randpunkt P11 als auch für den Weiß-zu-Schwarz-Randpunkt P12 ausführt.When the edge point P1 is detected, the vertical line detection unit removes 142 Biases based on processing like Random Sample Consensus (RANSAC) and Connected Sample Consensus (CONSAC). There are two marginal points in RANSAC and CONSAC P1 randomly chosen. Then becomes an edge point P1 in a strip-shaped area within a certain range of one by connecting the two edge points P1 obtained line counted. By repeatedly executing this processing, a stripe-shaped area is identified in which the number of edge points P1 is maximum. If this is the edge point P1 is recognized based on the image pickup data, it also becomes an edge point P1 recognized that is not related to the dividing line. Therefore, by performing processing such as RANSAC and CONSAC, distortion is removed and a rough position where the parting line is located in the vertical direction is identified. Furthermore, the vertical line recognition unit draws 142 in the strip-shaped area in which the number of edge points P1 the largest is, according to the least squares method, a straight line with the shortest distance to each edge point P1 . The vertical line detection unit 142 detects the dividing line in the vertical direction by doing this processing for both the black-to-white edge point P11 as well as for the white-to-black edge point P12 executes.

Des Weiteren erkennt die Vertikallinienerkennungseinheit 142 einen virtuellen Vorderendpunkt, indem sie die zur Längsrichtung des Parkgebietes im Wesentlichen parallele Trennlinie erkennt. Hier liegt der virtuelle Vorderendpunkt in der von der Vertikallinienerkennungseinheit 142 erkannten, zur Längsrichtung des Parkgebiets im Wesentlichen parallelen Trennlinie auf einem Ende der Trennlinie, die im Wesentlichen parallel zur Längsrichtung einer Einfahrseite ist, von der aus das Fahrzeug 1 in das Parkgebiet einfährt. Der virtuelle Vorderendpunkt wird vorübergehend festgelegt, bevor die nachstehend beschreibende Verarbeitung ausgeführt wird.Furthermore, the vertical line recognition unit recognizes 142 a virtual front end point by recognizing the dividing line that is essentially parallel to the longitudinal direction of the parking area. Here the virtual front end point lies in that of the vertical line recognition unit 142 recognized dividing line, which is essentially parallel to the longitudinal direction of the parking area, on one end of the dividing line, which is essentially parallel to the longitudinal direction of an entry side from which the vehicle 1 enters the park area. The virtual front end point is temporarily set before the processing described below is carried out.

Im Allgemeinen unterscheidet sich die Parkposition des Fahrzeugs 1 in Abhängigkeit von der Form eines vorderen Endabschnitts der Trennlinie. Der vordere Endabschnitt ist in der zur Längsrichtung des Parkgebiets im Wesentlichen parallelen Trennlinie ein Abschnitt des Endes der Trennlinie, die zur Längsrichtung der Einfahrseite, von der aus das Fahrzeug 1 in das Parkgebiet einfährt, im Wesentlichen parallel ist. Die Vertikallinienerkennungseinheit 142 erkennt unter den Trennlinien, die die Parkposition anzeigen, die Trennlinie in vertikaler Richtung. Das heißt, die Vertikallinienerkennungseinheit 142 kann keine anderen Trennlinien als die Trennlinie in vertikaler Richtung erkennen. Aus diesem Grund kann eine adäquate Parkposition in Abhängigkeit von der Form des vorderen Endabschnitts der Trennlinie möglicherweise nicht erkannt werden.In general, the parking position of the vehicle is different 1 depending on the shape of a front end portion of the parting line. The front end section is a section of the end of the dividing line in the dividing line which is essentially parallel to the longitudinal direction of the parking area and which is in the longitudinal direction of the entry side from which the vehicle 1 enters the park area, is essentially parallel. The vertical line detection unit 142 recognizes the dividing line in the vertical direction among the dividing lines that indicate the parking position. That is, the vertical line recognition unit 142 cannot recognize dividing lines other than the dividing line in the vertical direction. For this reason, depending on the shape of the front end portion of the partition line, an adequate parking position may not be recognized.

6 ist hierbei eine beispielhafte schematische Ansicht, die eine Parkposition im Falle einer U-förmigen Trennlinie zeigt. 7 ist eine beispielhafte schematische Ansicht, die eine Parkposition im Falle einer I-förmigen Trennlinie zeigt. 8 ist eine beispielhafte schematische Ansicht, die eine Parkposition im Falle einer T-förmigen Trennlinie zeigt; 6th 14 is an exemplary schematic view showing a parking position in the case of a U-shaped dividing line. 7th Fig. 13 is an explanatory schematic view showing a parking position in the case of an I-shaped dividing line. 8th Fig. 13 is an explanatory schematic view showing a parking position in the case of a T-shaped dividing line;

Wie in 6 gezeigt, weist eine U-förmige Trennlinie L1, die eine Trennlinie ist, deren vorderer Endabschnitt U-förmig ist, einen geradlinigen Abschnitt L11, der eine doppelte Gerade ist, und einen U-förmigen Abschnitt L12 mit der U-Form auf. Im Falle der U-förmigen Trennlinie L1 ist es erforderlich, so zu parken, dass eine Spitze des Fahrzeugs 1 in eine Position einer Spitze des U-förmigen Abschnitts L12 statt in eine Position einer Spitze des geradlinigen Abschnitts L11 kommt. Da jedoch die Vertikallinienerkennungseinheit 142 unter den Trennlinien die Trennlinie in vertikaler Richtung erkennt, kann der U-förmige Abschnitt L12 nicht erkannt werden. Daher wird gemäß dem Stand der Technik das Fahrzeug so geparkt, dass sich die Spitze des Fahrzeugs 1 in einer Position der Spitze des geradlinigen Abschnitts L11 befindet.As in 6th shown has a U-shaped dividing line L1 , which is a parting line whose front end portion is U-shaped, a straight line portion L11 which is a double straight line and a U-shaped section L12 with the U-shape. In the case of the U-shaped dividing line L1 it is necessary to park so that a top of the vehicle 1 to a position of a tip of the U-shaped portion L12 instead of a position of a tip of the rectilinear section L11 comes. However, since the vertical line detection unit 142 If the dividing line recognizes the dividing line in the vertical direction under the dividing lines, the U-shaped section can be used L12 cannot be recognized. Therefore, according to the prior art, the vehicle is parked with the top of the vehicle 1 in a position of the apex of the rectilinear section L11 is located.

Wie in 7 gezeigt, muss bei einer I-förmigen Trennlinie L2, bei der es sich um eine Trennlinie handelt, deren vorderer Endabschnitt I-förmig ist, das Fahrzeug so geparkt werden, dass die Spitze des Fahrzeugs 1 in eine Position einer Spitze der I-förmigen Trennlinie L2 kommt. Wie in 8 gezeigt, weist eine T-förmige Trennlinie L3, die eine Trennlinie ist, deren vorderer Endabschnitt T-förmig ist, einen Vertikallinienabschnitt L31, der im Wesentlichen parallel zur Längsrichtung des Parkgebiets verläuft, und einen Horizontallinienabschnitt L32, der parallel zu einer zur Längsrichtung des Parkbereichs orthogonalen Richtung verläuft, auf. Im Fall der T-förmigen Trennlinie L3 ist es dann erforderlich, so zu parken, dass die Spitze des Fahrzeugs 1 in eine Position innerhalb des Horizontallinienabschnitts L32 kommt. Das heißt, es muss so geparkt werden, dass die Spitze des Fahrzeugs 1 zu einer weiter hinten liegenden Seite kommt als bei der I-förmigen Trennlinie L2.As in 7th shown, must be at an I-shaped dividing line L2 , which is a dividing line whose front end portion is I-shaped, the vehicle can be parked so that the top of the vehicle 1 to a position of a tip of the I-shaped dividing line L2 comes. As in 8th shown has a T-shaped dividing line L3 , which is a parting line whose front end portion is T-shaped, a vertical line portion L31 , which runs essentially parallel to the longitudinal direction of the park area, and a horizontal line section L32 , which runs parallel to a direction orthogonal to the longitudinal direction of the parking area. In the case of the T-shaped dividing line L3 it is then necessary to park so that the top of the vehicle 1 to a position within the horizontal line section L32 comes. That means it must be parked so that the top of the vehicle 1 comes to a further back than the I-shaped dividing line L2 .

Daher legt die Parkassistenzeinheit 140 ein Interessensgebiet R1 (siehe 9, 10 und 11) an einer Position fest, die durch ein Erkennungsergebnis der Vertikallinienerkennungseinheit 142 bestimmt wird, um die Form des vorderen Endabschnitts der Trennlinie zu erkennen. Die Parkassistenzeinheit 140 identifiziert die Form des vorderen Endabschnitts durch Abtasten bzw. Scannen des Interessensgebiets R1. Dann bestimmt die Parkassistenzvorrichtung 140 die Parkposition in Übereinstimmung mit der spezifizierten Form des vorderen Endabschnitts der Trennlinie.Therefore, the parking assistance unit 140 an area of interest R1 (please refer 9 , 10 and 11 ) at a position determined by a recognition result of the vertical line recognition unit 142 is determined to recognize the shape of the front end portion of the dividing line. The parking assistance unit 140 identifies the shape of the leading end portion by scanning the area of interest R1 . Then the parking assist device determines 140 the parking position in accordance with the specified shape of the front end portion of the dividing line.

Eine Verarbeitung eines Identifizierens der Form des vorderen Endabschnitts durch die Interessensgebietsfestlegungseinheit 143, die Randerkennungseinheit 144 und die Interessensgebietsaufteilungseinheit 145 wird unter Bezugnahme auf 9 und 10 beschrieben. 9 ist eine beispielhafte schematische Ansicht, die ein Verfahren zum Identifizieren der Form des vorderen Endabschnitts zeigt, wenn die Trennlinie eine Doppellinie ist. 10 ist eine beispielhafte schematische Ansicht, die ein Verfahren zum Identifizieren der Form des vorderen Endabschnitts zeigt, wenn der vordere Endabschnitt der Trennlinie eine I-Form hat. 11 ist eine beispielhafte schematische Ansicht, die ein Verfahren zum Identifizieren der Form des vorderen Endabschnitts zeigt, wenn der vordere Endabschnitt der Trennlinie eine L-Form hat;Processing of identifying the shape of the leading end portion by the area of interest setting unit 143 , the edge detection engine 144 and the area of interest division unit 145 is made with reference to 9 and 10 described. 9 Fig. 13 is an explanatory schematic view showing a method of identifying the shape of the leading end portion when the parting line is a double line. 10 Fig. 13 is an explanatory schematic view showing a method of identifying the shape of the leading end portion when the leading end portion of the parting line has an I-shape. 11 Fig. 13 is an explanatory schematic view showing a method of identifying the shape of the leading end portion when the leading end portion of the parting line has an L-shape;

Die Interessensgebietsfestlegungseinheit 143 legt das Interessensgebiet R1, bei dem es sich um ein Gebiet zur Erkennung des eine Begrenzung der Trennlinie anzeigenden Randpunktes P1 handelt, an einer Position fest, welche durch die zur Längsrichtung des Parkgebiets im Wesentlichen parallelen und durch die Vertikallinienerkennungseinheit 142 erkannten Trennlinie bestimmt wird. Zunächst wird ein Fall beschrieben, bei dem von der nachstehend beschriebenen Doppellinienbestimmungseinheit 147 bestimmt wird, dass die Trennlinie, die im Wesentlichen parallel zur Längsrichtung verläuft, eine Doppellinie ist. Wenn die Doppellinienbestimmungseinheit 147 bestimmt, dass die im Wesentlichen parallel zur Längsrichtung verlaufende Trennlinie eine Doppellinie ist, legt die Interessensgebietsfestlegungseinheit 143, wie in 9 gezeigt, auf der Grundlage der durch die Doppellinie gebildeten und zur Längsrichtung im Wesentlichen parallelen Trennlinie das Interessensgebiet R1 auf ein erstes Gebiet innerhalb eines Bereichs eines vorbestimmten Abstands von einem Endabschnitt der Trennlinie fest. Das heißt, die Interessensgebietsfestlegungseinheit 143 legt das Interessensgebiet R1 für die Doppellinie fest. Des Weiteren kann das erste Gebiet ein an den Endabschnitt der zur Längsrichtung im Wesentlichen parallelen und von der Vertikallinienerkennungseinheit 142 erkannten Trennlinie angrenzendes Gebiet, ein vom Endabschnitt in beliebigem Abstand getrenntes Gebiet oder ein den Endabschnitt einschließendes Gebiet sein.The area of interest definition unit 143 sets the area of interest R1 , which is an area for recognizing the edge point indicating a boundary of the dividing line P1 acts, fixed at a position which is determined by the longitudinal direction of the parking area substantially parallel and by the vertical line detection unit 142 recognized dividing line is determined. First, a description will be given of a case of that of the double line determination unit described below 147 it is determined that the dividing line, which runs essentially parallel to the longitudinal direction, is a double line. When the double line determination unit 147 determines that the dividing line running essentially parallel to the longitudinal direction is a double line, the area of interest setting unit sets 143 , as in 9 shown, on the basis of the dividing line formed by the double line and essentially parallel to the longitudinal direction, the area of interest R1 to a first area within a range of a predetermined distance from an end portion of the parting line. That is, the area of interest setting unit 143 sets the area of interest R1 for the double line fixed. Furthermore, the first region can be at the end section of the recognition unit that is essentially parallel to the longitudinal direction and of the vertical line recognition unit 142 recognized dividing line, an area separated from the end section at any distance or an area enclosing the end section.

Wenn die Doppellinienbestimmungseinheit 147 des Weiteren bestimmt, dass die zur Längsrichtung im Wesentlichen parallele Trennlinie keine Doppellinie ist, legt die Interessensgebietsfestlegungseinheit 143 das Interessensgebiet R1 auf ein zweites Gebiet, das einen Endabschnitt einer durch eine einzelne Linie gebildeten Trennlinie umfasst, und ein drittes Gebiet auf einer Seite des zweiten Gebiets fest. Genauer gesagt, legt die Interessensgebietsfestlegungseinheit 143 das Interessensgebiet R1, wie in 10 gezeigt, auf das zweite Gebiet einschließlich des Endabschnitts der durch die einzelne Linie gebildeten Trennlinie fest, wenn die Doppellinienbestimmungseinheit 147 bestimmt, dass die zur Längsrichtung im Wesentlichen parallele Trennlinie keine Doppellinie ist. Das heißt, die Interessensgebietsfestlegungseinheit 143 legt das Interessensgebiet R1 für die I-Form fest. Ähnlich wie das erste Gebiet kann das zweite Gebiet ein an den Endabschnitt der zur Längsrichtung im Wesentlichen parallelen und von der Vertikallinienerkennungseinheit 142 erkannten Trennlinie angrenzendes Gebiet, ein vom Endabschnitt in beliebigem Abstand getrenntes Gebiet oder ein den Endabschnitt einschließendes Gebiet seinWhen the double line determination unit 147 further determines that the dividing line, which is essentially parallel to the longitudinal direction, is not a double line, the area of interest setting unit sets 143 the area of interest R1 to a second area including an end portion of a dividing line formed by a single line, and a third area on a side of the second area. More specifically, the area of interest setting unit sets 143 the area of interest R1 , as in 10 is fixed to the second area including the end portion of the dividing line formed by the single line when the double line determining unit 147 determines that the dividing line, which is essentially parallel to the longitudinal direction, is not a double line. That is, the area of interest setting unit 143 sets the area of interest R1 for the I-shape. Similar to the first area, the second area may be at the end portion of the longitudinal direction substantially parallel to and from the vertical line detection unit 142 recognized dividing line, an area separated from the end section at any distance or an area enclosing the end section

Nachdem, wie in 11 gezeigt, ein Vorderendpunkt P2 (siehe 12) aus dem zweiten Gebiet erkannt wurde, legt die Interessensgebietsfestlegungseinheit 143 des Weiteren das Interessensgebiet R1 auf das dritte Gebiet fest, das sich auf der Seite des zweiten Gebiets und in seitlicher Richtung des Parkgebiets befindet. Das heißt, die Interessensgebietsfestlegungseinheit 143 legt das Interessensgebiet R1 für die T-Form fest. Dementsprechend erkennt die Parkassistenzeinheit 140 eine Trennlinie in seitlicher Richtung des Parkgebiets. Das dritte Gebiet kann ein Gebiet sein, welches an das zweite Gebiet angrenzt, ein Gebiet sein, welches in beliebigem Abstand von dem zweiten Gebiet getrennt ist, oder ein Gebiet sein, welches das zweite Gebiet einschließt. Des Weiteren kann das dritte Gebiet ein Gebiet auf beiden Seiten des zweiten Gebiets oder ein beliebiges der Gebiete sein.After, as in 11 shown a front endpoint P2 (please refer 12th ) was recognized from the second area, the area of interest definition unit sets 143 furthermore the area of interest R1 on the third area, which is on the side of the second area and in the lateral direction of the park area. That is, the area of interest setting unit 143 sets the area of interest R1 for the T-shape. The parking assistance unit recognizes accordingly 140 a dividing line in the lateral direction of the park area. The third area can be an area which adjoins the second area, an area which is separated from the second area at any desired distance, or an area which includes the second area. Furthermore, the third area can be an area on both sides of the second area or any of the areas.

Die Randerkennungseinheit 144 erkennt den Randpunkt P1, der die Begrenzung der Trennlinie von dem Interessensgebiet R1 anzeigt. Genauer gesagt erkennt die Randerkennungseinheit 144 den Randpunkt P1 mit einem Vertikalfilter, der in Längsrichtung des Parkgebietes scannt, und einem Horizontalfilter, der in orthogonaler Richtung orthogonal zur Längsrichtung scannt. Dementsprechend erkennt die Randerkennungseinheit 144 den Randpunkt P1, an dem sich die Farbe in zwei Richtungen ändert, nämlich in der Längsrichtung und in der orthogonalen Richtung senkrecht zur Längsrichtung. In den 9 bis 11 zeigen weiße Punkte die Weiß-zu-Schwarz-Randpunkte P12 an, an denen Weiß in Schwarz übergeht. Außerdem zeigen schwarze Punkte die Schwarz-zu-Weiß-Randpunkt P11 an, an denen Schwarz in Weiß übergeht.The edge detection engine 144 recognizes the edge point P1 that delimits the dividing line from the area of interest R1 indicates. More specifically, the edge recognition unit recognizes 144 the edge point P1 with a vertical filter that scans in the longitudinal direction of the parking area, and a horizontal filter that scans in the orthogonal direction orthogonal to the longitudinal direction. Accordingly, the edge recognition unit recognizes 144 the edge point P1 at which the color changes in two directions, namely in the longitudinal direction and in the orthogonal direction perpendicular to the longitudinal direction. In the 9 to 11 white points show the white-to-black edge points P12 where white turns black. In addition, black points show the black-to-white edge point P11 where black merges into white.

Die Interessensgebietsaufteilungseinheit 145 teilt das Interessensgebiet R1 mit Trennlinien in orthogonaler Richtung senkrecht zur Längsrichtung des Parkgebiets in eine Vielzahl an Teilgebiete. Das heißt, wie in den 9 bis 11 gezeigt, wird das Interessensgebiet R1 in die Teilgebiete unterteilt.The area of interest division unit 145 shares the area of interest R1 with dividing lines in an orthogonal direction perpendicular to the longitudinal direction of the park area into a large number of sub-areas. That is, as in the 9 to 11 the area of interest is shown R1 divided into the sub-areas.

Die Vorderendpunkterkennungseinheit 146 erkennt auf der Grundlage des Randpunktes P1 im Interessensgebiet R1 eine vordere Endposition, die das Ende der Trennlinie anzeigt, welche im Wesentlichen parallel zur Längsrichtung verläuft und welche die Einfahrseite ist, von der aus das Fahrzeug 1 in das Parkgebiet einfährt. Das heißt, die Vorderendpunkterkennungseinheit 146 erkennt auf der Grundlage der Randpunkte P1 in den durch die Interessensgebietsaufteilungseinheit 145 geteilten Teilgebieten, die vordere Endposition, die das Ende der Trennlinie anzeigt, welche im Wesentlichen parallel zur Längsrichtung verläuft und welche die Einfahrseite ist, von der aus das Fahrzeug 1 in das Parkgebiet einfährt. Zum Beispiel erkennt die Vorderendpunkterkennungseinheit 146 den Vorderendpunkt P2 als Punkt, der die vordere Endposition anzeigt. Der Vorderendpunkt P2 ist ein Punkt, der ein Ende in Längsrichtung der Trennlinie in dem Interessensgebiet R1 anzeigt. Eine Koordinate in dem Interessensgebiet R1, die durch den Vorderendpunkt P2 angezeigt wird, wird auf eine Koordinate in dem Parkgebiet angewendet. Dann bestimmt die nachstehend beschriebene Parkpositionsbestimmungseinheit 148 die Parkposition auf der Grundlage des Vorderendpunktes P2. Die vordere Endposition ist nicht auf den Vorderendpunkt P2 beschränkt und kann eine Linie sein, die die vordere Endposition angibt, oder kann eine Oberfläche, die die vordere Endposition angibt, oder die vordere Endposition kann durch eine andere Form angegeben werden.The front endpoint detection engine 146 recognizes based on the edge point P1 in the area of interest R1 a front end position which indicates the end of the parting line which runs essentially parallel to the longitudinal direction and which is the entry side from which the vehicle 1 enters the park area. That is, the front end point detection unit 146 recognizes based on the edge points P1 in the by the area of interest division unit 145 divided subregions, the front end position which indicates the end of the dividing line which runs essentially parallel to the longitudinal direction and which is the entry side from which the vehicle 1 enters the park area. For example, the front end point detection unit detects 146 the front endpoint P2 as a point indicating the front end position. The front endpoint P2 is a point that has one end in the longitudinal direction of the dividing line in the area of interest R1 indicates. A coordinate in the area of interest R1 passing through the front endpoint P2 is displayed is applied to a coordinate in the parking area. Then, the below-described parking position determination unit determines 148 the parking position based on the front end point P2 . The front end position is not on the front end point P2 and may be a line indicating the leading end position, or a surface indicating the leading end position, or the leading end position may be indicated by another shape.

Genauer gesagt erkennt die Vorderendpunkterkennungseinheit 146 auf der Grundlage der Anzahl der Randpunkte P1 in den Teilgebieten einen Randscheitel, bei dem es sich um eine Linie handelt, die das Ende in Längsrichtung der zur Längsrichtung im Wesentlichen parallelen Trennlinie anzeigt. Wie in 9 gezeigt, erkennt die Vorderendpunkterkennungseinheit 146 insbesondere ein Teilgebiet mit der größten Anzahl an Schwarz-zu-Weiß-Randpunkten P11. Dementsprechend erkennt die Vorderendpunkterkennungseinheit 146 ein U-förmiges inneres Ende. Des Weiteren erkennt die Vorderendpunkterkennungseinheit 146 ein Teilgebiet mit der größten Anzahl an Weiß-zu-Schwarz-Randpunkten P12. Dementsprechend erkennt die Vorderendpunkterkennungseinheit 146 ein U-förmiges äußeres Ende. Dann bestimmt die Vorderendpunkterkennungseinheit 146, dass die U-förmige Trennlinie erkannt wird, wenn ein Abstand vom inneren Ende zum äußeren Ende der U-Form im Wesentlichen gleich der Breite der Trennlinie ist. Das heißt, die Vorderendpunkterkennungseinheit 146 erkennt den Randscheitel aus dem Teilgebiet mit der größten Anzahl an Weiß-zu-Schwarz-Randpunkten P12. Auf diese Weise kann die Vorderendpunkterkennungseinheit 146 die Wahrscheinlichkeit verringern, dass der Randscheitel aufgrund von Verzerrungen fälschlicherweise erkannt wird, indem sie feststellt, ob die Trennlinie die U-förmige Trennlinie ist. Nicht auf die Anzahl der Randpunkte P1 beschränkt, kann die Vorderendpunkterkennungseinheit 146 den Randscheitel mittels eines Größenverhältnisses erkennen, den Randscheitel mittels einer Dichte erkennen oder den Randscheitel mittels anderer Elemente erkennen.More specifically, the front end point recognition unit recognizes 146 based on the number of edge points P1 in the subregions an edge apex, which is a line which indicates the end in the longitudinal direction of the dividing line which is essentially parallel to the longitudinal direction. As in 9 as shown, the front end point detection unit detects 146 in particular a sub-area with the largest number of black-to-white edge points P11 . Accordingly, the front end point recognition unit recognizes 146 a U-shaped inner end. Furthermore, the front end point recognition unit recognizes 146 a sub-area with the largest number White-to-black edge dots P12 . Accordingly, the front end point recognition unit recognizes 146 a U-shaped outer end. Then the front end point detection unit determines 146 that the U-shaped dividing line is recognized when a distance from the inner end to the outer end of the U-shape is substantially equal to the width of the dividing line. That is, the front end point detection unit 146 recognizes the edge vertex from the sub-area with the largest number of white-to-black edge points P12 . In this way, the front end point detection unit 146 Reduce the likelihood that the edge vertex will be mistakenly recognized due to distortion by determining whether the parting line is the U-shaped parting line. Not on the number of edge points P1 limited, the front endpoint detection unit 146 recognize the edge vertex by means of a size ratio, recognize the edge vertex by means of a density or recognize the edge vertex by means of other elements.

Die Vorderendpunkterkennungseinheit 146 identifiziert die vordere Endposition auf der Grundlage der auf der Grundlage des Randpunktes P1 und eines Erkennungsergebnisses der Trennlinie bestimmten Teilbereiche. Insbesondere wird eine Position als Vorderendpunkt P2 identifiziert, an der sich der auf der Grundlage des Randpunktes P1 bestimmte Teilbereich mit einer Mittellinie schneidet, die sich in der Mitte eines äußeren Randes der zur Längsrichtung im Wesentlichen parallelen Trennlinie befindet. Das heißt, die Vorderendpunkterkennungseinheit 146 erkennt einen Punkt, an dem der Randscheitel und die Mittellinie orthogonal zueinander liegen, als den Vorderendpunkt P2. 12 ist hierbei eine beispielhafte schematische Ansicht, die ein Verfahren zum Erkennen des Vorderendpunktes P2 zeigt, wenn eine Trennlinie eine Doppellinie ist. Wie in 12 gezeigt, erkennt die Vorderendpunkterkennungseinheit 146 einen Punkt, an dem die Mittellinie eines äußeren Randes eines Paars gegenüberliegender Trennlinien und der Randscheitel orthogonal zueinander verlaufen, als Vorderendpunkt P2, wenn es sich bei der Trennlinie um eine Doppellinie handelt.The front endpoint detection engine 146 identifies the leading end position based on the based on the edge point P1 and a recognition result of the dividing line determined partial areas. In particular, a position is used as the front end point P2 identified on the basis of the boundary point P1 certain partial area intersects with a center line which is located in the middle of an outer edge of the dividing line which is essentially parallel to the longitudinal direction. That is, the front end point detection unit 146 recognizes a point at which the edge vertex and the center line are orthogonal to each other as the front end point P2 . 12th Here, FIG. 16 is an exemplary schematic view showing a method of recognizing the leading end point P2 shows when a dividing line is a double line. As in 12th as shown, the front end point detection unit detects 146 a point at which the center line of an outer edge of a pair of opposing parting lines and the edge vertices are orthogonal to each other, as a leading end point P2 if the dividing line is a double line.

Wenn es sich bei der Trennlinie um eine einzelne Linie handelt, erkennt die Vorderendpunkterkennungseinheit 146 auf der Grundlage der Anzahl der Randpunkte P1 in den Teilgebieten einen Randscheitel, bei der es sich um eine Linie handelt, die das Ende der zur Längsrichtung im Wesentlichen parallelen Trennlinie anzeigt. Wie in 10 gezeigt, erkennt die Vorderendpunkterkennungseinheit 146 insbesondere ein Teilgebiet mit der größten Anzahl an Weiß-zu-Schwarz-Randpunkten P12. Dementsprechend erkennt die Vorderendpunkterkennungseinheit 146 den I-förmigen Randscheitel. Dann erkennt die Vorderendpunkterkennungseinheit 146 einen Punkt, an dem eine Mittellinie eines äußeren Randes gegenüberliegender Trennlinien und der Randscheitel orthogonal zueinander liegen, als Vorderendpunkt P2.If the dividing line is a single line, the front end point detection unit detects it 146 based on the number of edge points P1 in the sub-regions an edge apex, which is a line which indicates the end of the dividing line which is essentially parallel to the longitudinal direction. As in 10 as shown, the front end point detection unit detects 146 in particular a sub-area with the largest number of white-to-black edge points P12 . Accordingly, the front end point recognition unit recognizes 146 the I-shaped edge vertex. Then the front end point recognition unit recognizes 146 a point at which a center line of an outer edge of opposing dividing lines and the edge vertices are orthogonal to each other, as a leading end point P2 .

Des Weiteren erkennt die Vorderendpunkterkennungseinheit 146 die T-förmige Trennlinie. Das heißt, die Vorderendpunkterkennungseinheit 146 erkennt die in horizontaler Richtung zur Querrichtung des Parkgebiets im Wesentlichen parallele Trennlinie. Wie in 11 gezeigt, erkennt die Vorderendpunkterkennungseinheit 146 insbesondere ein Teilgebiet mit der größten Anzahl an Schwarz-zu-Weiß-Randpunkten P11. Dementsprechend erkennt die Vorderendpunkterkennungseinheit 146 ein inneres Ende der Trennlinie in seitlicher Richtung. Des Weiteren erkennt die Vorderendpunkterkennungseinheit 146 ein Teilgebiet mit der größten Anzahl an Weiß-zu-Schwarz-Randpunkten P12. Dementsprechend erkennt die Vorderendpunkterkennungseinheit 146 ein äußeres Ende der Trennlinie in seitlicher Richtung. Dann bestimmt die Vorderendpunkterkennungseinheit 146, dass die Trennlinie in seitlicher Richtung erkannt wird, wenn ein Abstand von dem inneren Ende zu dem äußeren Ende der Trennlinie in seitlicher Richtung im Wesentlichen gleich der Breite der Trennlinie ist. Auf diese Weise kann die Vorderendpunkterkennungseinheit 146 die Wahrscheinlichkeit verringern, dass der Randscheitel aufgrund von Verzerrungen fälschlicherweise erkannt wird, indem sie die Bestimmung ausführt, dass die Trennlinie die Trennlinie in seitlicher Richtung ist. Nicht auf die Anzahl der Randpunkte P1 beschränkt, kann die Vorderendpunkterkennungseinheit 146 den Randscheitel mittels eines Größenverhältnisses erkennen, den Randscheitel mittels einer Dichte erkennen oder den Randscheitel mittels anderer Elemente erkennen. Dann ändert die Vorderendpunkterkennungseinheit 146 die Position des Vorderendpunkts P2, um einen Betrag in Höhe der Breite der Trennlinie in seitlicher Richtung in das Innere des Parkgebiets.Furthermore, the front end point recognition unit recognizes 146 the T-shaped dividing line. That is, the front end point detection unit 146 recognizes the dividing line that is essentially parallel in the horizontal direction to the transverse direction of the park area. As in 11 as shown, the front end point detection unit detects 146 in particular a sub-area with the largest number of black-to-white edge points P11 . Accordingly, the front end point recognition unit recognizes 146 an inner end of the parting line in a lateral direction. Furthermore, the front end point recognition unit recognizes 146 a sub-area with the largest number of white-to-black edge points P12 . Accordingly, the front end point recognition unit recognizes 146 an outer end of the parting line in a lateral direction. Then the front end point detection unit determines 146 that the dividing line in the lateral direction is recognized when a distance from the inner end to the outer end of the dividing line in the lateral direction is substantially equal to the width of the dividing line. In this way, the front end point detection unit 146 reduce the likelihood that the edge vertex is mistakenly recognized due to distortion by making the determination that the parting line is the parting line in the lateral direction. Not on the number of edge points P1 limited, the front endpoint detection unit 146 recognize the edge vertex by means of a size ratio, recognize the edge vertex by means of a density or recognize the edge vertex by means of other elements. Then the front end point detection unit changes 146 the position of the front endpoint P2 , by an amount equal to the width of the dividing line in a lateral direction into the interior of the park area.

Die Doppellinienbestimmungseinheit 147 bestimmt, ob die zur Längsrichtung des Parkgebiets im Wesentlichen parallele Trennlinie eine Doppellinie ist. 13 ist hierbei eine beispielhafte schematische Ansicht, die ein Bildaufnahmegebiet zum Zeitpunkt des Parkens zeigt. Wie in 13 gezeigt, bestimmt die Doppellinienbestimmungseinheit 147 selbst dann, wenn das Fahrzeug 1 in das Parkgebiet einfährt, ob die Trennlinie eine Doppellinie ist. Dann, wenn das Fahrzeug 1 in das Parkgebiet einfährt und auf die Trennlinie fährt, befindet sich der Endabschnitt der Trennlinie außerhalb des Sichtwinkels einer Bildaufnahmeeinheit 15. Das heißt, der Endabschnitt der Trennlinie befindet sich außerhalb eines Bereichs eines Bildaufnahmegebiets A1, welches das von der Bildaufnahmeeinheit 15 abzubildende Gebiet ist. Daher erkennt die Vertikallinienerkennungseinheit 142 einen virtuellen vorderen Endabschnitt der Trennlinie innerhalb des Bereichs des Bildaufnahmegebiets A1 anstelle eines originären Endabschnitts der Trennlinie. Daher wird, wie in 13 gezeigt, eine Linie, die durch Verbinden zweier virtueller Vorderendpunkte erhalten wird, nicht in Querrichtung des Parkgebiets, sondern in einer schrägen Richtung ausgerichtet. Daher kann die Doppellinienbestimmungseinheit 147 auf der Grundlage eines Abstands von einem virtuellen Vorderendpunkt zu einem anderen virtuellen Vorderendpunkt eine fehlerhafte Bestimmung vornehmen, wenn bestimmt wird, ob die zur Längsrichtung im Wesentlichen parallele Trennlinie eine Doppellinie ist.The double line determination unit 147 determines whether the dividing line, which is essentially parallel to the longitudinal direction of the parking area, is a double line. 13th 14 is an explanatory schematic view showing an image pickup area at the time of parking. As in 13th as shown, the double line determining unit determines 147 even if the vehicle 1 enters the park area whether the dividing line is a double line. Then when the vehicle 1 enters the parking area and drives onto the dividing line, the end portion of the dividing line is outside the viewing angle of an image recording unit 15th . That is, the end portion of the dividing line is located outside an area of an image pickup area A1 which is the one from the image pickup unit 15th is the area to be mapped. Therefore, the vertical line recognition unit recognizes 142 a virtual front end portion of the dividing line within the range of the image pickup area A1 instead of an original end section of the dividing line. Hence, as in 13th shown, a line obtained by connecting two virtual front end points, oriented not in the transverse direction of the parking area, but in an oblique direction. Therefore, the double line determining unit 147 based on a distance from one virtual front end to another virtual front end make an erroneous determination when it is determined whether the dividing line substantially parallel to the longitudinal direction is a double line.

14 ist hierbei eine beispielhafte schematische Ansicht, die ein Verfahren zum Bestimmen, ob eine zu einer Längsrichtung im Wesentlichen parallele Trennlinie eine Doppellinie ist, zeigt. Wie in 14 gezeigt, zerlegt die Doppellinienbestimmungseinheit 147 die Trennlinie in einen vertikalen Abstand und einen horizontalen Abstand. Dann bestimmt die Doppellinienbestimmungseinheit 147, ob die Trennlinie eine Doppellinie ist, basierend darauf, ob der horizontale Abstand kleiner oder gleich einem Schwellenwert ist. Das heißt, wenn ein Abstand in orthogonaler Richtung zwischen der Trennlinie, die im Wesentlichen parallel zur Längsrichtung verläuft, und einer Trennlinie, die an die Trennlinie angrenzt und im Wesentlichen parallel zur Längsrichtung verläuft, kleiner oder gleich einem Schwellenwert ist, bestimmt die Doppellinienbestimmungseinheit 147 die Trennlinie als Doppellinie. 14th 14 is an exemplary schematic view showing a method of determining whether a dividing line substantially parallel to a longitudinal direction is a double line. As in 14th shown, the double line determination unit decomposes 147 the dividing line into a vertical distance and a horizontal distance. Then the double line determining unit determines 147 whether the parting line is a double line based on whether the horizontal distance is less than or equal to a threshold. That is, if a distance in the orthogonal direction between the dividing line, which runs essentially parallel to the longitudinal direction, and a dividing line, which adjoins the dividing line and runs essentially parallel to the longitudinal direction, is smaller than or equal to a threshold value, the double line determination unit determines 147 the dividing line as a double line.

Die Parkpositionsbestimmungseinheit 148 bestimmt die Parkposition auf der Grundlage des Vorderendpunktes P2. Genauer gesagt, bestimmt die Parkpositionsbestimmungseinheit 148 eine Position, bei der die Position, die durch den von der Vorderendpunkterkennungseinheit 146 erkannten Vorderendpunkt P2 angezeigt wird, und die Spitze des Fahrzeugs 1 zusammentreffen, als Parkposition. Wenn die Trennlinie U-förmig ist, bestimmt die Parkpositionsbestimmungseinheit 148 die Parkposition auf der Grundlage des Vorderendpunktes P2, der aus dem ersten Gebiet erkannt wird, in welchem das Interessensgebiet R1 festgelegt ist. Wenn des Weiteren die Trennlinie I-förmig ist und der Randscheitel nicht aus dem dritten Gebiet erkannt wird, in dem das Interessensgebiet R1 liegt, bestimmt die Parkpositionsbestimmungseinheit 148 die Parkposition auf der Grundlage des aus dem zweiten Gebiet erkannten Vorderendpunktes P2. Das heißt, wenn die Trennlinie in der orthogonalen Richtung orthogonal zur Längsrichtung nicht aus dem dritten Gebiet erkannt wird, bestimmt die Parkpositionsbestimmungseinheit 148 die Parkposition auf der Grundlage des aus dem zweiten Gebiet erkannten Vorderendpunktes P2. Wenn die Trennlinie des Weiteren T-förmig ist und wenn die Trennlinie in der orthogonalen Richtung orthogonal zur Längsrichtung aus dem dritten Gebiet erkannt wird, bestimmt die Parkpositionsbestimmungseinheit 148 die Parkposition auf der Grundlage des Vorderendpunkts P2 und der Breite der Trennlinie. Das heißt, die Parkpositionsbestimmungseinheit 148 bestimmt die Position, an der die Position des aus dem zweiten Gebiet erkannten Vorderendpunktes P2 um einen Betrag in Höhe der Breite der Trennlinie in seitlicher Richtung in das Innere des Parkgebiets verändert wird, als Parkposition.The parking position determining unit 148 determines the parking position based on the front end point P2 . More specifically, the parking position determining unit determines 148 a position at which the position identified by the from the front end point detection unit 146 recognized front endpoint P2 is displayed and the top of the vehicle 1 meet, as a parking position. When the dividing line is U-shaped, the parking position determining unit determines 148 the parking position based on the front end point P2 , which is recognized from the first area in which the area of interest R1 is fixed. Furthermore, when the dividing line is I-shaped and the edge vertex is not recognized from the third area in which the area of interest R1 is determined by the parking position determining unit 148 the parking position based on the front end point recognized from the second area P2 . That is, when the dividing line in the orthogonal direction orthogonal to the longitudinal direction is not recognized from the third area, the parking position determination unit determines 148 the parking position based on the front end point recognized from the second area P2 . Further, when the parting line is T-shaped and when the parting line is recognized in the orthogonal direction orthogonal to the longitudinal direction from the third area, the parking position determination unit determines 148 the parking position based on the front end point P2 and the width of the dividing line. That is, the parking position determining unit 148 determines the position at which the position of the front end point recognized from the second area P2 is changed by an amount equal to the width of the dividing line in the lateral direction into the interior of the parking area, as the parking position.

Nachfolgend wird ein Beispiel für die von der Parkassistenzeinheit 140 ausgeführte Parkassistenzverarbeitung beschrieben. 15 ist ein Flussdiagramm, das ein Beispiel für einen Ablauf einer von der Parkassistenzeinheit 140 ausgeführten Parkassistenzverarbeitung zeigt.The following is an example of the parking assistance unit 140 executed parking assistance processing described. 15th Fig. 13 is a flowchart showing an example of an operation of one of the parking assist unit 140 shows executed parking assistance processing.

Die Datenerfassungseinheit 141 erfasst Eingabedaten wie zum Beispiel Informationen über das Fahrzeug 1 und die Bildaufnahmedaten (Schritt S1).The data acquisition unit 141 records input data such as information about the vehicle 1 and the image acquisition data (step S1 ).

Die Parkassistenzeinheit 140 erkennt die Trennlinie (Schritt S2). Das heißt, die Parkassistenzeinheit 140 erkennt die Trennlinie durch die in 16 und 17 gezeigte Verarbeitung.The parking assistance unit 140 recognizes the dividing line (step S2 ). That is, the parking assistance unit 140 recognizes the dividing line through the in 16 and 17th Processing shown.

Die Parkassistenzvorrichtung 140 verwaltet die erkannte Trennlinie (Schritt S3). Zum Beispiel aktualisiert die Parkassistenzvorrichtung 140 die Position der erkannten Trennlinie.The parking assistance device 140 manages the recognized dividing line (step S3 ). For example, the parking assist device updates 140 the position of the recognized dividing line.

Die Parkassistenzvorrichtung 140 berechnet die Parkposition anhand des durch die Trennlinienerkennung erkannten Vorderendpunktes P2 (Schritt S4).The parking assistance device 140 calculates the parking position based on the front end point recognized by the separating line detection P2 (Step S4 ).

Die Parkassistenzeinheit 140 gibt Informationen über die Parkposition an die ECU 14 eines Anzeige-, Steuer- oder ähnlichen Systems aus (Schritt S5).The parking assistance unit 140 gives information about the parking position to the ECU 14th a display, control or similar system (step S5 ).

Wie voranstehend beschrieben, beendet die Parkassistenzeinheit 140 die Parkassistenzverarbeitung.As described above, the parking assistance unit ends 140 the parking assistance processing.

Nachfolgend wird ein Beispiel für die Parkassistenzverarbeitung beschrieben, bei dem die Parkassistenzeinheit 140 den Vorderendpunkt P2 erkennt. 16 ist ein Flussdiagramm, das ein Beispiel für einen Ablauf einer Erkennungsverarbeitung der Parkassistenzeinheit 140 zeigtAn example of the parking assist processing in which the parking assist unit 140 the front endpoint P2 recognizes. 16 Fig. 13 is a flowchart showing an example of a flow of recognition processing of the parking assist unit 140 shows

Die Vertikallinienerkennungseinheit 142 erkennt eine gerade Linie auf der Grundlage der von der Datenerfassungseinheit 141 erfassten Bildaufnahmedaten (Schritt S11). Das heißt, die Vertikallinienerkennungseinheit 142 erkennt die zur Längsrichtung des Parkgebietes im Wesentlichen parallele Trennlinie in vertikaler Richtung.The vertical line detection unit 142 detects a straight line based on that from the data acquisition unit 141 captured image recording data (step S11 ). That is, the vertical line recognition unit 142 recognizes the dividing line in the vertical direction that is essentially parallel to the longitudinal direction of the park area.

Die Vertikallinienerkennungseinheit 142 erkennt eine zur erkannten geraden Linie gehörige gerade Linie (Schritt S12). Das heißt, die Vertikallinienerkennungseinheit 142 erkennt die Trennlinie, die der erkannten Trennlinie gegenüberliegt.The vertical line detection unit 142 recognizes a straight line belonging to the recognized straight line (step S12 ). That is, the vertical line recognition unit 142 recognizes the dividing line that is opposite the recognized dividing line.

Die Doppellinienbestimmungseinheit 147 bestimmt, ob durch die beiden erkannten Trennlinien eine Doppellinie gebildet wird (Schritt S13).The double line determination unit 147 determines whether a double line is formed by the two recognized dividing lines (step S13 ).

Wenn die Trennlinie eine Doppellinie ist (Ja in Schritt S14), legt die Interessensgebietsfestlegungseinheit 143 das Interessensgebiet R1 für die Doppellinie am Endabschnitt der durch die Doppellinie gebildeten Trennlinie fest (Schritt S15). Die Vorderendpunkterkennungseinheit 146 erkennt den Vorderendpunkt P2 der U-förmigen Trennlinie aus dem Gebiet, in dem das Interessensgebiet R1 festgelegt ist (Schritt S16). Dann beendet die Parkassistenzeinheit 140 die Erkennungsverarbeitung.If the dividing line is a double line (yes in step S14 ), defines the area of interest definition unit 143 the area of interest R1 for the double line at the end section of the dividing line formed by the double line (step S15 ). The front endpoint detection engine 146 recognizes the front endpoint P2 the U-shaped dividing line from the area in which the area of interest R1 is set (step S16 ). Then the parking assistance unit ends 140 the recognition processing.

Wenn die Trennlinie eine einzelne Linie ist (Nein in Schritt S14), legt die Interessensgebietsfestlegungseinheit 143 das Interessensgebiet R1 für die I-Form am Endabschnitt der durch die einzelne Linie gebildeten Trennlinie fest (Schritt S17). Die Vorderendpunkterkennungseinheit 146 erkennt den Vorderendpunkt P2 der I-förmigen Trennlinie aus dem Gebiet, in dem das Interessensgebiet R1 festgelegt ist (Schritt S18).If the dividing line is a single line (no in step S14 ), defines the area of interest definition unit 143 the area of interest R1 for the I-shape at the end of the dividing line formed by the single line (step S17 ). The front endpoint detection engine 146 recognizes the front endpoint P2 the I-shaped dividing line from the area in which the area of interest R1 is set (step S18 ).

Die Interessensgebietsfestlegungseinheit 143 legt das Interessensgebiet R1 für die T-Form in einem Gebiet auf der Seite desjenigen Gebiets fest, wo das Interessensgebiet R1 in Schritt S17 festgelegt wird (Schritt S19).The area of interest definition unit 143 sets the area of interest R1 for the T-shape in an area on the side of the area where the area of interest is fixed R1 in step S17 is determined (step S19 ).

Die Vorderendpunkterkennungseinheit 146 erkennt, ob der im Wesentlichen parallel zur Querrichtung des Parkgebiets verlaufende Randscheitel aus demjenigen Gebiet erkannt wird, in dem das Interessensgebiet R1 für die T-Form festgelegt ist (Schritt S20). Das heißt, die Vorderendpunkterkennungseinheit 146 bestimmt, ob der Randscheitel aufgrund einer Reihe von Schwarz-zu-Weiß-Randpunkten P11 und der Randscheitel aufgrund einer Reihe von Weiß-zu-Schwarz-Randpunkten P12 erkannt werden. Wenn die Randscheitel nicht erkannt werden (Nein in Schritt S20), wird die Erkennungsverarbeitung durch die Erkennungseinheit 140 beendet.The front endpoint detection engine 146 recognizes whether the edge vertex running essentially parallel to the transverse direction of the park area is recognized from the area in which the area of interest is located R1 is specified for the T-shape (step S20 ). That is, the front end point detection unit 146 determines whether the edge vertex is due to a series of black-to-white edge points P11 and the edge vertex due to a series of white-to-black edge points P12 be recognized. If the edge vertices are not recognized (No in step S20 ), the recognition processing is carried out by the recognition unit 140 completed.

Wenn die Randscheitel erkannt werden (Ja in Schritt S20), bestimmt die Vorderendpunkterkennungseinheit 146, ob eine Breite zwischen den Randscheiteln im Wesentlichen der Breite der Trennlinie entspricht (Schritt S21).When the edge vertices are recognized (Yes in step S20 ), determines the front endpoint detection unit 146 whether a width between the edge vertices essentially corresponds to the width of the dividing line (step S21 ).

Wenn die Breite zwischen den Randscheiteln im Wesentlichen gleich der Breite der Trennlinie ist, ändert die Vorderendpunkterkennungseinheit 146 die Position des Vorderendpunkts P2 um den Betrag in Höhe der Breite der Trennlinie in seitlicher Richtung zur Innenseite des Parkgebiets.When the width between the edge vertices is substantially equal to the width of the parting line, the front end point detection unit changes 146 the position of the front endpoint P2 by the amount equal to the width of the dividing line in a lateral direction to the inside of the park area.

Wie voranstehend beschrieben, beendet die Parkassistenzeinheit 140 die Erkennungsverarbeitung. Mit der Parkassistenzeinheit 140 kann das Fahrzeug 1 an einer adäquaten Position entsprechend der Form der Trennlinie geparkt werden, indem die Position, die durch den durch den Erkennungsvorgang erkannten Vorderendpunkt P2 angezeigt wird, als Parkposition festgelegt wird.As described above, the parking assistance unit ends 140 the recognition processing. With the parking assistance unit 140 can the vehicle 1 can be parked at an adequate position corresponding to the shape of the dividing line by the position determined by the front end point recognized by the recognition process P2 is set as the parking position.

Nachfolgend wird ein Beispiel für die von der Einparkhilfe 140 durchgeführte Bestimmungsverarbeitung zur Bestimmung, ob die Trennlinie eine Doppellinie ist, beschrieben. 17 ist ein Flussdiagramm, das ein Beispiel für einen Ablauf einer Bestimmungsverarbeitung der Parkassistenzeinheit 140 zeigt.The following is an example of the parking aid 140 determination processing performed to determine whether the dividing line is a double line will be described. 17th Fig. 13 is a flowchart showing an example of a flow of determination processing of the parking assist unit 140 shows.

Die Doppellinienbestimmungseinheit 147 berechnet den horizontalen Abstand vom virtuellen Vorderendpunkt zum virtuellen Vorderendpunkt, die auf der Grundlage der Bildaufnahmedaten erkannt werden (Schritt S31). Das heißt, wie in 14 gezeigt, wird der Abstand in seitlicher Richtung vom virtuellen Vorderendpunkt der zur Längsrichtung im Wesentlichen parallelen Trennlinie zu derjenigen zur Längsrichtung im Wesentlichen parallelen Trennlinie berechnet, in der der andere virtuelle Vorderendpunkt erkannt wird.The double line determination unit 147 calculates the horizontal distance from the virtual front end point to the virtual front end point, which is recognized on the basis of the image acquisition data (step S31 ). That is, as in 14th As shown, the distance in the lateral direction from the virtual front end point of the dividing line essentially parallel to the longitudinal direction to that dividing line essentially parallel to the longitudinal direction in which the other virtual front end point is recognized is calculated.

Die Doppellinienbestimmungseinheit 147 berechnet den vertikalen Abstand vom virtuellen Vorderendpunkt zum virtuellen Vorderendpunkt, die auf der Grundlage der Bildaufnahmedaten (Schritt S32) erkannt werden. Das heißt, wie in 14 gezeigt, wird ein Abstand in Längsrichtung vom virtuellen Vorderendpunkt zum anderen virtuellen Vorderendpunkt berechnet.The double line determination unit 147 calculates the vertical distance from the virtual front end point to the virtual front end point based on the image acquisition data (step S32 ) be recognized. That is, as in 14th shown, a distance in the longitudinal direction from the virtual front end point to the other virtual front end point is calculated.

Die Doppellinienbestimmungseinheit 147 bestimmt, ob registriert wurde, dass die zu bestimmende Trennlinie eine Doppellinie ist (Schritt S33). Dabei bestimmt die Doppellinienbestimmungseinheit 147, ob die Trennlinie eine Doppellinie ist, auch dann, wenn das Fahrzeug 1 vor der Trennlinie vorbeifährt. Des Weiteren bestimmt die Doppellinienbestimmungseinheit 147, ob die Trennlinie eine Doppellinie ist, auch beim Parken. Die Genauigkeit für das Erfassen einer Positionsbeziehung hängt von den Abständen zwischen dem Fahrzeug 1 und der Trennlinie ab. Daher verbessert die Doppellinienbestimmungseinheit 147 die Genauigkeit, indem sie die Bestimmung intermittierend durchführt.The double line determination unit 147 determines whether it has been registered that the dividing line to be determined is a double line (step S33 ). The double line determination unit determines 147 whether the dividing line is a double line, even if the vehicle 1 passes in front of the dividing line. The double line determination unit also determines 147 whether the dividing line is a double line, even when parking. The accuracy for detecting a positional relationship depends on the distances between the vehicles 1 and the dividing line. Therefore, the double line determining unit improves 147 the accuracy by making the determination intermittently.

Wenn registriert wurde, dass die zu bestimmende Trennlinie eine Doppellinie ist (Ja in Schritt S33), bestimmt die Doppellinienbestimmungseinheit 147, ob der horizontale Abstand vom virtuellen Vorderendpunkt zum anderen virtuellen Vorderendpunkt kleiner als der Schwellenwert ist (Schritt S34).If it has been registered that the dividing line to be determined is a double line (Yes in step S33 ), determines the double line determination unit 147 whether the horizontal distance from the virtual front end point to the other virtual front end point is less than the threshold value (step S34 ).

Wenn der horizontale Abstand vom virtuellen Vorderendpunkt zum anderen virtuellen Vorderendpunkt kleiner als der Schwellenwert ist (Ja in Schritt S34), bestimmt die Doppellinienbestimmungseinheit 147, dass die Trennlinie eine Doppellinie ist (Schritt S35). Dann beendet die Parkassistenzeinheit 140 die Bestimmungsverarbeitung.If the horizontal distance from the virtual front end point to the other virtual front end point is less than the threshold value (yes in step S34 ), determines the double line determination unit 147 that the dividing line is a double line (step S35 ). Then the parking assistance unit ends 140 the determination processing.

Wenn der horizontale Abstand vom virtuellen Vorderendpunkt zum anderen virtuellen Vorderendpunkt nicht kleiner als der Schwellenwert ist (Nein in Schritt S34), bestimmt die Doppellinienbestimmungseinheit 147, dass die Trennlinie eine einzelne Linie ist (Schritt S36). Dann beendet die Parkassistenzeinheit 140 die Bestimmungsverarbeitung.If the horizontal distance from the virtual front end point to the other virtual front end point is not less than the threshold value (No in step S34 ), determines the double line determination unit 147 that the dividing line is a single line (step S36 ). Then the parking assistance unit ends 140 the determination processing.

Wenn nicht registriert wurde, dass die zu bestimmende Trennlinie eine Doppellinie ist (Nein in Schritt S33), bestimmt die Doppellinienbestimmungseinheit 147, ob der horizontale Abstand vom virtuellen Vorderendpunkt zum anderen virtuellen Vorderendpunkt kleiner als der Schwellenwert ist, und bestimmt, ob der vertikale Abstand vom virtuellen Vorderendpunkt zum anderen virtuellen Vorderendpunkt kleiner als ein Schwellenwert ist (Schritt S37). Der Schwellenwert des vertikalen Abstands ist ein kleinerer Wert im Vergleich zum Schwellenwert des horizontalen Abstands. Hierbei bestimmt die Doppellinienbestimmungseinheit 147, ob die Trennlinie eine Doppellinie ist, auch dann, wenn das Fahrzeug 1 vor der Trennlinie vorbeifährt. Das heißt, ein Fall, in dem die Doppellinie nicht registriert ist, wird als ein Fall angenommen, bei dem die Trennlinie erkannt wird, wenn das Fahrzeug 1 vor der Trennlinie vorbeifährt. Daher fährt das Fahrzeug 1, wie in 13 gezeigt, nicht auf die Trennlinie. Daher ist es erforderlich, dass es fast keinen Unterschied im vertikalen Abstand gibt.If it has not been registered that the dividing line to be determined is a double line (No in step S33 ), determines the double line determination unit 147 whether the horizontal distance from the virtual front end point to the other virtual front end point is less than the threshold value, and determines whether the vertical distance from the virtual front end point to the other virtual front end point is less than a threshold value (step S37 ). The vertical distance threshold is a smaller value compared to the horizontal distance threshold. Here, the double line determination unit determines 147 whether the dividing line is a double line, even if the vehicle 1 passes in front of the dividing line. That is, a case where the double line is not registered is assumed to be a case where the dividing line is recognized when the vehicle 1 passes in front of the dividing line. Therefore, the vehicle travels 1 , as in 13th shown not on the dividing line. Therefore, it is required that there is almost no difference in vertical distance.

Wenn die Bedingung, dass der horizontale Abstand kleiner als der Schwellenwert und der vertikale Abstand kleiner als der Schwellenwert ist, erfüllt ist (Ja in Schritt S37), bestimmt die Doppellinienbestimmungseinheit 147, dass die Trennlinie eine Doppellinie ist (Schritt S38). Dann beendet die Parkassistenzeinheit 140 die Bestimmungsverarbeitung.If the condition that the horizontal distance is less than the threshold value and the vertical distance is less than the threshold value is met (Yes in step S37 ), determines the double line determination unit 147 that the dividing line is a double line (step S38 ). Then the parking assistance unit ends 140 the determination processing.

Wenn die Bedingung, dass der horizontale Abstand kleiner als der Schwellenwert und der vertikale Abstand kleiner als der Schwellenwert ist, nicht erfüllt ist (Nein in Schritt S37), bestimmt die Doppellinienbestimmungseinheit 147, dass die Trennlinie eine einzelne Linie ist (Schritt S39). Dann beendet die Parkassistenzeinheit 140 die Bestimmungsverarbeitung.If the condition that the horizontal distance is less than the threshold value and the vertical distance is less than the threshold value is not met (No in step S37 ), determines the double line determination unit 147 that the dividing line is a single line (step S39 ). Then the parking assistance unit ends 140 the determination processing.

Wie voranstehend dargelegt, legt die Parkassistenzeinheit 140 der vorliegenden Ausführungsform das Interessensgebiet R1 zur Erkennung des die Begrenzung der Trennlinie am vorderen Endabschnitt der Trennlinie anzeigenden Randpunktes P1 fest, wenn die Trennlinie in vertikaler Richtung, das heißt in Längsrichtung des Parkgebiets, erkannt wird. Dann bestimmt die Parkassistenzeinheit 140 die Parkposition auf der Grundlage des Vorderendpunktes P2, der aus dem Gebiet erkannt wird, in dem das Interessensgebiet R1 festgelegt ist. Daher kann die Parkassistenzeinheit 140 die Parkassistenz an einer adäquaten Position entsprechend der Trennlinie umsetzen. Die Parkassistenzeinheit 140 kann einen Suchbereich für die Suche nach der Form der Trennlinie begrenzen, indem sie das Interessensgebiet R1 festlegt. Das heißt, da die Parkassistenzeinheit 140 den Suchbereich eingrenzen kann, kann ein Anstieg der Verarbeitungslast verhindert werden. Wenn kein Randscheitel vorhanden ist, kann die Parkassistenzeinheit 140 außerdem bestimmen, dass es sich nicht um eine Trennlinie handelt, da sie anzeigt, dass es kein vorderes Ende gibt. Dementsprechend kann die Parkassistenzeinheit 140 die Fehlerkennung von etwas, das keine Trennlinie ist, als Trennlinie reduzieren.As stated above, the parking assistance unit 140 of the present embodiment the area of interest R1 for recognizing the boundary point indicating the boundary of the dividing line at the front end section of the dividing line P1 fixed when the dividing line is recognized in the vertical direction, i.e. in the longitudinal direction of the parking area. Then the parking assistance unit determines 140 the parking position based on the front end point P2 that is recognized from the area in which the area of interest R1 is fixed. Therefore, the parking assistance unit 140 implement the parking assistance at an adequate position according to the dividing line. The parking assistance unit 140 can limit a search area for finding the shape of the dividing line by specifying the area of interest R1 specifies. That is, because the parking assistance unit 140 can narrow the search area, the processing load can be prevented from increasing. If there is no edge vertex, the parking assistance unit 140 also determine that it is not a dividing line, as it indicates that there is no leading end. The parking assistance unit can accordingly 140 reduce the misrecognition of something that is not a dividing line as a dividing line.

Obwohl die hier offenbarte Ausführungsform voranstehend beschrieben wurde, sind die voranstehend beschriebene Ausführungsform und die Modifikationen lediglich Beispiele, und der Umfang dieser Offenbarung soll nicht darauf beschränkt werden. Die Ausführungsform und die oben beschriebenen Modifikationen können in verschiedenen anderen Formen ausgebildet werden, und es können verschiedene Auslassungen, Ersetzungen, Kombinationen und Änderungen vorgenommen werden, ohne dass der Umfang dieser Offenbarung verlassen wird. Des Weiteren kann ein Teil der Konfigurationen und Formen der Ausführungsform und Modifikationen ersetzt werden.Although the embodiment disclosed herein has been described above, the above-described embodiment and the modifications are only examples, and the scope of this disclosure should not be limited thereto. The embodiment and the modifications described above can be embodied in various other forms, and various omissions, substitutions, combinations, and changes can be made without departing from the scope of this disclosure. Furthermore, a part of the configurations and shapes of the embodiment and modifications can be replaced.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • JP 2018185589 A [0003]JP 2018185589 A [0003]

Claims (7)

Parkassistenzvorrichtung (140) mit: einer ersten Erkennungseinheit (142), die konfiguriert ist, eine Trennlinie zu erkennen, die im Wesentlichen parallel zu einer Längsrichtung eines Parkgebietes ist; einer Festlegungseinheit (143), die konfiguriert ist, ein Interessensgebiet (R1), das ein Gebiet zum Erkennen eines eine Begrenzung der Trennlinie anzeigenden Randpunktes (P1) ist, an einer Position festzulegen, die durch die von der ersten Erkennungseinheit (142) erkannten Trennlinie bestimmt ist; einer zweiten Erkennungseinheit (146), die konfiguriert ist, auf der Grundlage des Randpunktes (P1) in dem Interessensgebiet (R1) eine vordere Endposition zu erkennen, die ein Ende (P2) der Trennlinie anzeigt, welche im Wesentlichen parallel zur Längsrichtung ist und welche eine Einfahrseite ist, von der aus ein Fahrzeug in das Parkgebiet einfährt; und einer Bestimmungseinheit (148), die konfiguriert ist, auf der Grundlage der vorderen Endposition eine Parkposition zu bestimmen.Parking assistance device (140) with: a first recognition unit (142) configured to recognize a dividing line that is substantially parallel to a longitudinal direction of a parking area; a setting unit (143) configured to set an area of interest (R1), which is an area for recognizing an edge point (P1) indicating a boundary of the dividing line, at a position defined by the dividing line recognized by the first recognizing unit (142) is determined; a second recognition unit (146) configured to recognize, on the basis of the edge point (P1) in the area of interest (R1), a front end position which indicates an end (P2) of the dividing line which is substantially parallel to the longitudinal direction and which is an entrance side from which a vehicle enters the parking area; and a determination unit configured to determine a parking position based on the front end position. Parkassistenzvorrichtung (140) nach Anspruch 1, mit: einer Teilungseinheit (145), die konfiguriert ist, das Interessensgebiet (R1) mit einer Trennlinie in einer zur Längsrichtung orthogonalen Richtung in mehrere Teilgebiete aufzuteilen, wobei die zweite Erkennungseinheit (146) auf der Grundlage des Randpunktes (P1) in den Teilgebieten die vordere Endposition erkennt, die das Ende (P2) der Trennlinie anzeigt, welche im Wesentlichen parallel zur Längsrichtung ist und welche eine Einfahrseite ist, von der aus das Fahrzeug in das Parkgebiet einfährt.Parking assistance device (140) according to Claim 1 , with: a dividing unit (145) which is configured to divide the area of interest (R1) with a dividing line in a direction orthogonal to the longitudinal direction into a plurality of partial areas, the second recognition unit (146) based on the edge point (P1) in the partial areas recognizes the front end position which indicates the end (P2) of the dividing line which is substantially parallel to the longitudinal direction and which is an entry side from which the vehicle enters the parking area. Parkassistenzvorrichtung (140) nach Anspruch 2, wobei die zweite Erkennungseinheit (146) die vordere Endposition auf der Grundlage der Teilgebiete, die auf der Grundlage des Randpunktes bestimmt sind, und auf der Grundlage eines Erkennungsergebnisses der Trennlinie identifiziert.Parking assistance device (140) according to Claim 2 wherein the second recognition unit (146) identifies the leading end position based on the partial areas determined based on the edge point and based on a recognition result of the dividing line. Parkassistenzvorrichtung (140) nach einem der Ansprüche 1 bis 3, mit: einer Bestimmungseinheit (147), die konfiguriert ist, zu bestimmen, ob die zur Längsrichtung im Wesentlichen parallele Trennlinie eine Doppellinie ist, wobei wenn die Bestimmungseinheit (147) bestimmt, dass die zur Längsrichtung im Wesentlichen parallele Trennlinie eine Doppellinie ist, die Festlegungseinheit (143) auf der Grundlage der Trennlinie, die durch die Doppellinie gebildet ist und die zur Längsrichtung im Wesentlichen parallel ist, das Interessensgebiet (R1) in einem ersten Gebiet innerhalb eines Bereichs eines vorbestimmten Abstands von einem Endabschnitt der Trennlinie festlegt, und die Bestimmungseinheit (147) die Parkposition auf der Grundlage der aus dem ersten Gebiet erkannten vorderen Endposition bestimmt.Parking assistance device (140) according to one of the Claims 1 to 3 , comprising: a determining unit (147) configured to determine whether the dividing line substantially parallel to the longitudinal direction is a double line, wherein if the determining unit (147) determines that the dividing line substantially parallel to the longitudinal direction is a double line, the Setting unit (143) based on the dividing line formed by the double line and which is substantially parallel to the longitudinal direction, setting the area of interest (R1) in a first area within a range of a predetermined distance from an end portion of the dividing line, and the determining unit (147) determines the parking position based on the front end position recognized from the first area. Parkassistenzvorrichtung (140) nach Anspruch 4, wobei, wenn die Bestimmungseinheit (147) bestimmt, dass die zur Längsrichtung im Wesentlichen parallele Trennlinie keine Doppellinie ist, die Festlegungseinheit (143) das Interessensgebiet in einem zweiten Gebiet festlegt, das einen Endabschnitt der durch eine einzelne Linie gebildeten Trennlinie enthält, und in einem dritten Gebiet festlegt, das sich auf einer Seite des zweiten Gebiets befindet und in einer Querrichtung des Parkgebiets liegt, und wenn keine Trennlinie in der zur Längsrichtung orthogonalen Richtung aus dem dritten Gebiet erkannt wird, die Bestimmungseinheit die Parkposition auf der Grundlage der aus dem zweiten Gebiet erkannten vorderen Endposition bestimmt.Parking assistance device (140) according to Claim 4 wherein, when the determining unit (147) determines that the dividing line substantially parallel to the longitudinal direction is not a double line, the setting unit (143) sets the area of interest in a second area including an end portion of the dividing line formed by a single line, and in sets a third area located on a side of the second area and in a lateral direction of the parking area, and when no dividing line in the direction orthogonal to the longitudinal direction is recognized from the third area, the determining unit determines the parking position based on that from the second Area recognized front end position determined. Parkassistenzvorrichtung (140) nach Anspruch 5, wobei, wenn eine Trennlinie in der orthogonalen Richtung aus dem dritten Gebiet erkannt wird, die Bestimmungseinheit (147) die Parkposition auf der Grundlage der vorderen Endposition und einer Breite der Trennlinie bestimmt.Parking assistance device (140) according to Claim 5 wherein, when a dividing line is recognized in the orthogonal direction from the third area, the determining unit (147) determines the parking position based on the front end position and a width of the dividing line. Parkassistenzvorrichtung (140) nach einem der Ansprüche 4 bis 6, wobei wenn ein Abstand in der zur Längsrichtung orthogonalen Richtung zwischen der zur Längsrichtung im Wesentlichen parallelen Trennlinie und einer an die Trennlinie angrenzenden und zur Längsrichtung im Wesentlichen parallelen Trennlinie kleiner oder gleich einem Schwellenwert ist, die Bestimmungseinheit (147) die Trennlinie als eine Doppellinie bestimmt.Parking assistance device (140) according to one of the Claims 4 to 6th wherein if a distance in the direction orthogonal to the longitudinal direction between the dividing line essentially parallel to the longitudinal direction and a dividing line adjoining the dividing line and essentially parallel to the longitudinal direction is less than or equal to a threshold value, the determination unit (147) determines the dividing line as a double line .
DE102020127533.1A 2019-10-21 2020-10-20 Parking assistance device Pending DE102020127533A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-192271 2019-10-21
JP2019192271A JP7380073B2 (en) 2019-10-21 2019-10-21 parking assist device

Publications (1)

Publication Number Publication Date
DE102020127533A1 true DE102020127533A1 (en) 2021-04-22

Family

ID=75268777

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020127533.1A Pending DE102020127533A1 (en) 2019-10-21 2020-10-20 Parking assistance device

Country Status (3)

Country Link
JP (1) JP7380073B2 (en)
CN (1) CN112758083A (en)
DE (1) DE102020127533A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5182545B2 (en) * 2007-05-16 2013-04-17 アイシン精機株式会社 Parking assistance device
JP2013018406A (en) * 2011-07-12 2013-01-31 Fujitsu Ten Ltd Recognizing device of parking frame, recognizing method of parking frame and program
JP2014107696A (en) * 2012-11-27 2014-06-09 Clarion Co Ltd On-vehicle image processing device
JP6086424B2 (en) * 2012-11-27 2017-03-01 クラリオン株式会社 In-vehicle image processing device
JP5849942B2 (en) * 2012-12-25 2016-02-03 株式会社日本自動車部品総合研究所 In-vehicle image processing device

Also Published As

Publication number Publication date
JP7380073B2 (en) 2023-11-15
CN112758083A (en) 2021-05-07
JP2021068124A (en) 2021-04-30

Similar Documents

Publication Publication Date Title
DE102010035232B4 (en) Method and system for displaying vehicle return camera images in various modes
DE102015118211A1 (en) PARKASSISTENZSYSTEM AND PARKASSISTENZ PROCESS
DE112015004171T5 (en) VEHICLE POSITION DETECTION DEVICE
DE102015115254A1 (en) Parking assist system
DE102015115257A1 (en) Ausparkunterstützungssystem
DE102015115209A1 (en) PARKASSISTENZ SYSTEM AND PATH DETERMINATION METHOD
DE102015115259A1 (en) PARK ASSISTANCE SYSTEM, PARK ASSISTANCE PROCEDURE AND PARK ASSISTANCE TAX PROGRAM
DE102015115266A1 (en) Parking assist system
DE102015115263A1 (en) PARK ASSISTANCE SYSTEM
DE112015004149T5 (en) FAHRASSISTENZVORRICHTUNG AND FAHRASSISTENZSYSTEM
DE102019125627A1 (en) Interior monitoring device
DE112019006045T5 (en) Road surface detection device and road surface detection program
DE102019128840A1 (en) Driver assistance device
DE102020124919A1 (en) Parking assist device
DE102019128587A1 (en) Camera parameter estimator, camera parameter estimation method, and camera parameter estimation program
DE102020126830A1 (en) PARKING ASSISTANCE DEVICE, PARKING ASSISTANCE PROCEDURE AND PROGRAM
DE102017112592A1 (en) VEHICLE ENVIRONMENT MONITORING DEVICE
DE102017112357B4 (en) DISPLAY CONTROL DEVICE
DE102020126512A1 (en) Parking assist device, parking assist method and non-volatile storage medium
DE102020126509A1 (en) Parking assistance device, parking assistance method and parking assistance program
DE112019001307T5 (en) Driver assistance control apparatus and method and driver assistance system for a vehicle
DE102019128839A1 (en) Device for determining the visual confirmation target
DE102020126501A1 (en) Parking assistance device, parking assistance method and parking assistance program
DE102020127533A1 (en) Parking assistance device
DE102020126990A1 (en) Parking assistance device

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: AISIN CORPORATION, KARIYA-SHI, JP

Free format text: FORMER OWNER: AISIN SEIKI KABUSHIKI KAISHA, KARIYA-SHI, AICHI-KEN, JP