DE102015108944A1

DE102015108944A1 - Rundsichtsystem und Betriebsverfahren davon

Info

Publication number: DE102015108944A1
Application number: DE102015108944.0A
Authority: DE
Inventors: Seong Soo Lee
Original assignee: Hyundai Mobis Co Ltd
Current assignee: Hyundai Mobis Co Ltd
Priority date: 2014-07-10
Filing date: 2015-06-08
Publication date: 2016-01-14
Anticipated expiration: 2035-06-09
Also published as: KR20160007022A; DE102015108944B4; US20160012725A1; KR102268641B1; CN105262980A; US9734611B2; CN105262980B

Abstract

Offenbart werden ein Rundsichtsystem und ein Betriebsverfahren davon. Das Rundsichtsystem schließt ein: ein Anzeigemodul; ein Kameramodul, das eingerichtet ist, Umgebungsbilder eines Fahrzeugs zu fotografieren; und ein Steuermodul, das eingerichtet ist, ein kombiniertes Rundsichtüberwachungs(around view monitoring (AVM))-Bild, das erhalten wird, indem die Umgebungsbilder kombiniert werden, an das Anzeigemodul auszugeben, wobei das Steuermodul einschließt: eine Erzeugungseinheit, die eingerichtet ist, das AVM-Bild durch Umwandeln einer Ansicht des Umgebungsbildes zu erzeugen; eine Erkennungseinheit, die eingerichtet ist, eine erste Parkplatzlinie und eine zweite Parkplatzlinie zu erkennen, die auf der Grundlage einer Mittellinie des Fahrzeugs im AVM-Bild auf beiden Seiten positioniert sind; und eine Steuereinheit, die eingerichtet ist, virtuell eine dritte Parkplatzlinie parallel zur ersten Parkplatzlinie zu erzeugen und das kombinierte AVM-Bild zu erzeugen, das erhalten wird, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden, wenn nur die erste Parkplatzlinie erkannt wird, bei der es sich um eine Parkplatzlinie handelt, die auf der Grundlage der Mittellinie des Fahrzeugs zwischen der ersten Parkplatzlinie und der zweiten Parkplatzlinie auf irgendeiner Seite positioniert ist.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht die Priorität der am 10. Juli 2014 eingereichten Koreanischen Patentanmeldung Nr. 10-2014-0086911 , deren gesamter Inhalt durch diese Bezugnahme für alle Zwecke hierin aufgenommen wird.
TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft ein Rundsichtsystem und ein Betriebsverfahren davon und genauer ein Rundsichtsystem, das es einem Benutzer ermöglicht, eine Parkplatzlinie leicht zu erkennen, wenn der Benutzer ein Fahrzeug in einem Ziel-Parkplatzabschnitt parkt, sowie ein Betriebsverfahren davon.
HINTERGRUND
Ein Fahrzeug ist seit langer Zeit ein Erfordernis für eine moderne Gesellschaft. Da ein Fahrzeug als ein hauptsächliches und kennzeichnendes Transportmittel in einem modernen Stadtleben betrachtet wird, nimmt die Bereitstellung von Fahrzeugen schneller zu, und ist somit auch die Anzahl von Fahrerinnen im Verhältnis zum Anstieg der Fahrzeugbereitstellung stark gestiegen.
Indessen wurde ein automatisches Parksystem entwickelt, um Fahrerinnen dabei zu helfen, einzuparken, was für die meisten Fahrerinnen die größte Schwierigkeit darstellt, und wurde in vielfältigen Formen auf ein Produkt angewandt und verkauft.
Ein Vorgang des automatischen Parksystems besteht darin, zuerst zu ermitteln, ob ein Parkplatz verfügbar ist, indem ein Raum zum Parken unter Verwendung eines in einem Fahrzeug montierten Ultraschallsensors abgetastet wird und ein in einer entsprechenden Region befindliches Hindernis geprüft wird, besitzt jedoch einen Nachteil darin, dass eine Richtung einer Zielparkplatzposition nicht entsprechend einer Position eines zuvor geparkten Fahrzeugs ausgerichtet ist und eine Grenze von auf der linken und rechten Seite geparkten Fahrzeugen gemäß einer Charakteristik des Ultraschallsensors mit einer vorgegebenen Strahlbreite nicht präzise erkannt werden kann, sodass eine Erfolgsrate eines Festlegens einer Zielparkposition gering ist.
Ein den Ultraschallsensor verwendendes Parkassistenzsystem führt eine Parksteuerung auf der Grundlage einer Position und Richtung eines Objekts durch, das bereits in einem Raum eines Suchziels vorhanden ist, sodass es im Falle, dass kein geparktes Fahrzeug vorhanden ist, unmöglich ist, eine Parkreferenz festzulegen, und es somit unmöglich ist, eine automatische Parkassistenzfunktion bereitzustellen.
In letzter Zeit wurde Forschung zum Anwenden eines Rundsichtsystems unternommen, um Umgebungsbilder eines Fahrzeugs durch ein im Fahrzeug montiertes Kameramodul zu erkennen und einen Parkplatzabschnitt in den Umgebungsbildern zu erkennen, in dem keine Einfassung oder Parkplatzlinie vorhanden ist.
ZUSAMMENFASSUNG
Die vorliegende Erfindung erfolgte in einer Anstrengung, ein Rundsichtsystem, das es einem Benutzer ermöglicht, eine Parkplatzlinie leicht zu erkennen, wenn der Benutzer ein Fahrzeug in einem Ziel-Parkplatzabschnitt parkt, sowie ein Betriebsverfahren davon bereitzustellen.
Eine beispielhafte Ausführungsform der vorliegenden Erfindung stellt ein Rundsichtsystem bereit, einschließend: ein Anzeigemodul; ein Kameramodul, das eingerichtet ist, Umgebungsbilder eines Fahrzeugs zu fotografieren; und ein Steuermodul, das eingerichtet ist, ein kombiniertes Rundsichtüberwachungs(around view monitoring (AVM))-Bild, das erhalten wird, indem die Umgebungsbilder kombiniert werden, an das Anzeigemodul auszugeben, wobei das Steuermodul einschließt: eine Erzeugungseinheit, die eingerichtet ist, das AVM-Bild durch Umwandeln einer Ansicht des Umgebungsbildes zu erzeugen; eine Erkennungseinheit, die eingerichtet ist, eine erste Parkplatzlinie und eine zweite Parkplatzlinie zu erkennen, die auf der Grundlage einer Mittellinie des Fahrzeugs im AVM-Bild auf beiden Seiten positioniert sind; und eine Steuereinheit, die eingerichtet ist, virtuell eine dritte Parkplatzlinie parallel zur ersten Parkplatzlinie zu erzeugen und das kombinierte AVM-Bild zu erzeugen, das erhalten wird, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden, wenn nur die erste Parkplatzlinie erkannt wird, bei der es sich um eine Parkplatzlinie handelt, die auf der Grundlage der Mittellinie des Fahrzeugs zwischen der ersten Parkplatzlinie und der zweiten Parkplatzlinie auf irgendeiner Seite positioniert ist.
Das Kameramodul kann eine Mehrzahl von Kameras einschließen, welche die Umgebungsbilder einschließlich Front- und Heckbild und linkem und rechtem Bild des Fahrzeugs fotografieren.
Die Erkennungseinheit kann einschließen: eine Bildwandlereinheit, die eingerichtet ist, das AVM-Bild in ein Graubild umzuwandeln; ein Rechteckfilter, das eingerichtet ist, eine Mehrzahl charakteristischer Punkte zu extrahieren, indem eine Leuchtdichtenabweichung oder eine Helligkeitsabweichung des Graubildes verwendet wird; und eine Parkplatzlinien-Erkennungseinheit, die eingerichtet ist, Linienkomponenten für die Mehrzahl charakteristischer Punkte zu extrahieren und die erste Parkplatzlinie und die zweite Parkplatzlinie zu erkennen, die in einem im Graubild angezeigten Ziel-Parkplatzabschnitt angezeigt werden.
Die Steuereinheit kann einschließen: eine Berechnungseinheit, die eingerichtet ist, ein Parkplatzlinien-Intervall des Ziel-Parkplatzabschnitts zu berechnen, wenn nur die erste Parkplatzlinie erkannt wird; eine Parkplatzlinien-Erzeugungseinheit, die eingerichtet ist, virtuell die dritte Parkplatzlinie an einer Position zu erzeugen, die von der ersten Parkplatzlinie um das Parkplatzlinien-Intervall parallel beabstandet ist; und eine Bilderzeugungseinheit, die eingerichtet ist, das kombinierte AVM-Bild zu erzeugen, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden, wobei die Steuereinheit das Anzeigemodul so steuert, dass die dritte Parkplatzlinie in einer sich von derjenigen der ersten Parkplatzlinie unterscheidenden Farbe angezeigt wird.
Die Berechnungseinheit kann das Parkplatzlinien-Intervall auf der Grundlage eines Lenkwinkels des Fahrzeugs, einer Fahrzeugbreite und eines Abstands zwischen dem Fahrzeug und der ersten Parkplatzlinie berechnen.
Eine weitere beispielhafte Ausführungsform der vorliegenden Erfindung stellt ein Verfahren zum Betreiben eines Rundsichtsystems bereit, einschließend: Erzeugen eines Rundsichtüberwachungs(AVM)-Bildes durch Umwandeln einer Ansicht eines Umgebungsbildes eines Fahrzeugs; Erkennen von Parkplatzlinien im AVM-Bild; Ermitteln, ob unter den Parkplatzlinien alle einer ersten Parkplatzlinie und einer zweiten Parkplatzlinie erkannt werden, die auf der Grundlage einer Mittellinie des Fahrzeugs auf beiden Seiten positioniert sind; und virtuelles Erzeugen einer dritten Parkplatzlinie parallel zur ersten Parkplatzlinie und Erzeugen des kombinierten AVM-Bildes, das erhalten wird, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden, wenn nur die erste Parkplatzlinie erkannt wird, bei der es sich um eine Parkplatzlinie handelt, die auf der Grundlage der Mittellinie des Fahrzeugs zwischen der ersten Parkplatzlinie und der zweiten Parkplatzlinie auf irgendeiner Seite positioniert ist.
Das Erkennen kann einschließen: Umwandeln des AVM-Bildes in ein Graubild; Extrahieren einer Mehrzahl charakteristischer Punkte, indem eine Leuchtdichtenabweichung oder eine Helligkeitsabweichung des Graubildes verwendet wird; und Extrahieren von Linienkomponenten für die Mehrzahl charakteristischer Punkte und Erkennen der ersten Parkplatzlinie und der zweiten Parkplatzlinie, die in einem im Graubild angezeigten Ziel-Parkplatzabschnitt angezeigt werden.
Das Erzeugen kann einschließen: Berechnen eines Parkplatzlinien-Intervalls des Ziel-Parkplatzabschnitts, wenn nur die erste Parkplatzlinie erkannt wird; virtuelles Erzeugen der dritten Parkplatzlinie an einer Position, die von der von der ersten Parkplatzlinie um das Parkplatzlinien-Intervall parallel beabstandet ist; und Erzeugen des kombinierten AVM-Bildes, das erhalten wird, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden.
Das Verfahren kann ferner ein Anzeigen des kombinierten AVM-Bildes einschließen, in dem die dritte Parkplatzlinie in dem kombinierten AVM-Bild in einer sich von derjenigen der ersten Parkplatzlinie unterscheidenden Farbe angezeigt wird.
Gemäß dem erfindungsgemäßen Rundsichtsystem und dem erfindungsgemäßen Betriebsverfahren davon wird ein kombiniertes AVM-Bild, in dem eine virtuelle Parkplatzlinie festgelegt ist, auf der Grundlage von Umgebungsbildern eines Fahrzeugs in einem Ziel-Parkplatzabschnitt angezeigt, in dem keine Parkplatzlinie vorhanden ist, sodass ein Benutzer in der Lage ist, einen Ziel-Parkplatzabschnitt eines Fahrzeugs zu erkennen und das Fahrzeug leicht zu parken, wodurch der Komfort für den Benutzer verbessert wird.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Steuerblockdiagramm, das eine Steuerkonfiguration eines Rundsichtsystems gemäß der vorliegenden Erfindung veranschaulicht.
2 zeigt ein Steuerblockdiagramm, das eine Steuerkonfiguration eines in 1 veranschaulichten Steuermoduls veranschaulicht.
3 zeigt ein Diagramm eines Beispiels eines Extrahierens eines charakteristischen Punkts einer Parkplatzlinie durch das Rundsichtsystem gemäß der vorliegenden Erfindung.
4A und 4B zeigen Diagramme eines Beispiels eines Erkennens einer Parkplatzlinie durch das Rundsichtsystem gemäß der vorliegenden Erfindung.
5A und 5B zeigen Diagramme eines Beispiels einer dritten Parkplatzlinie, die durch das Rundsichtsystem gemäß der vorliegenden Erfindung virtuell erzeugt wird, indem unter den Parkplatzlinien eine erste Parkplatzlinie erkannt wird.
6 zeigt einen Ablaufplan, der ein Betriebsverfahren des Rundsichtsystems gemäß der vorliegenden Erfindung veranschaulicht.
AUSFÜHRLICHE BESCHREIBUNG
Verschiedene Vorteile und Merkmale der vorliegenden Erfindung und diese erreichende Verfahren werden anhand der folgenden ausführlichen Beschreibung beispielhafter Ausführungsformen unter Bezugnahme auf die begleitenden Zeichnungen ersichtlich. Die vorliegende Erfindung ist jedoch nicht auf die nachstehend dargelegten beispielhaften Ausführungsformen beschränkt und kann in vielfältigen anderen Formen ausgebildet werden. Die hierin vorgestellten beispielhaften Ausführungsformen werden bereitgestellt, um offenbarte Inhalte sorgfältig und vollständig zu machen und dem Fachmann den Geist der vorliegenden Erfindung ausreichend zu vermitteln, und die vorliegende Erfindung wird nur durch den Umfang der Ansprüche definiert. Gleiche Bezugsziffern geben innerhalb der Beschreibung gleiche Elemente an.
Sofern nicht anderweitig definiert, können alle in der vorliegenden Beschreibung verwendeten Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) in der Bedeutung verwendet werden, die allgemein durch den Fachmann auf dem Gebiet, dem die vorliegende Erfindung angehört, verstanden wird. Es versteht sich ferner, dass in allgemein verwendeten Wörterbüchern definierte Begriffe nicht in einem idealisierten oder übermäßigen Sinn interpretiert werden sollten, sofern sie nicht ausdrücklich und spezifisch definiert sind.
1 zeigt ein Steuerblockdiagramm, das eine Steuerkonfiguration eines Rundsichtsystems gemäß der vorliegenden Erfindung veranschaulicht, 2 zeigt ein Steuerblockdiagramm, das eine Steuerkonfiguration eines in 1 veranschaulichten Steuermoduls veranschaulicht, 3 zeigt ein Diagramm eines Beispiels eines Extrahierens eines charakteristischen Punkts einer Parkplatzlinie durch das Rundsichtsystem gemäß der vorliegenden Erfindung, 4A und 4B zeigen Diagramme eines Beispiels eines Erkennens einer Parkplatzlinie durch das Rundsichtsystem gemäß der vorliegenden Erfindung und 5A und 5B zeigen Diagramme eines Beispiels einer zweiten Parkplatzlinie, die durch das Rundsichtsystem gemäß der vorliegenden Erfindung virtuell erzeugt wird, indem unter den Parkplatzlinien eine erste Parkplatzlinie erkannt wird.
Unter Bezugnahme auf 1 und 2 kann das Rundsichtsystem ein Kameramodul 110, ein Anzeigemodul 120 und ein Steuermodul 130 einschließen.
Das Kameramodul 110 kann eine erste Kamera 112, die ein Frontbild des Fahrzeugs fotografiert, eine zweite Kamera 114, die ein Heckbild des Fahrzeugs fotografiert, eine dritte Kamera 116, die ein linkes Bild des Fahrzeugs fotografiert und eine vierte Kamera 118, die ein rechtes Bild des Fahrzeugs fotografiert, einschließen.
In der beispielhaften Ausführungsform wird beschrieben, dass das Kameramodul 110 vier Kameras einschließt, das bedeutet, die erste bis vierte Kamera 112, 114, 116 und 118, jedoch kann das Kameramodul 110 nur die zweite Kamera 114 einschließen, die ein Heckbild des Fahrzeugs fotografiert, und die Anzahl von Kameras ist nicht beschränkt.
In der beispielhaften Ausführungsform wird beschrieben und in den Zeichnungen veranschaulicht, dass jede der ersten bis vierten Kamera 112, 114, 116 und 118 ein fotografiertes Bild an das Steuermodul 130 übermittelt, die vorliegende Erfindung kann jedoch eine Kamerasteuereinheit (nicht veranschaulicht) zum Kombinieren von durch die erste bis vierte Kamera 112, 114, 116, und 118 fotografierten Bildern, Erzeugen eines Umgebungsbildes und Übermitteln des erzeugten Umgebungsbildes an das Steuermodul 130 einschließen, die vorliegende Erfindung ist jedoch nicht darauf beschränkt.
Das Anzeigemodul 120 kann ein kombiniertes Rundsichtüberwachungs(AVM)-Bild anzeigen, das vom Steuermodul 130 kommend empfangen wird.
Das Anzeigemodul 120 kann ein berührungsempfindliches Anzeigefeld einschließen, durch das ein Benutzer eine Berührung eingeben kann, ist jedoch nicht darauf beschränkt.
Das Steuermodul 130 kann von einer Mehrzahl von im Fahrzeug installierten Sensoren (nicht veranschaulicht) Fahrinformationen über das Fahrzeug einschließlich einer Geschwindigkeit und/oder einer Gangschaltungsposition des Fahrzeugs erfassen.
In diesem Fall kann das Steuermodul 130 eine Steuerung derart vornehmen, dass gemäß den durch die Mehrzahl von Sensoren erfassten Fahrinformationen gemäß einer zuvor festgelegten Referenz ein kombiniertes AVM-Bild, das erhalten wird, indem die durch die erste bis vierte Kamera 112, 114, 116, und 118 fotografierten Umgebungsbilder kombiniert werden, erzeugt wird und auf dem Anzeigemodul 120 angezeigt wird.
Wie in 2 veranschaulicht, kann das Steuermodul 130 eine Erzeugungseinheit 140, eine Erkennungseinheit 150 und eine Steuereinheit 160 einschließen.
Die Erzeugungseinheit 140 kann ein AVM-Bild erzeugen, in dem eine Ansicht des Umgebungsbildes umgewandelt wird.
Insbesondere wandelt die Erzeugungseinheit 140 gemäß einem zuvor festgelegten Umwandlungsverhältnis Ansichten der durch die erste bis vierte Kamera 112, 114, 116 und 118 fotografierten Bilder um und erzeugt das AVM-Bild. Zum Beispiel kann die Erzeugungseinheit 140 eine Ansicht des Frontbildes umwandeln, um ein Bild zu erhalten, als ob eine Frontregion vom Fahrzeug bis zu einer zuvor festgelegten Entfernung von einer Oberseite gesehen wird, indem ein zuvor festgelegtes erstes Umwandlungsverhältnis auf das von der ersten Kamera 112 empfangene Frontbild angewandt wird. Ferner kann die Erzeugungseinheit 140 eine Ansicht des Heckbildes, des linken Bildes und des rechten Bildes umwandeln, indem ein zweites bis viertes Umwandlungsverhältnis jeweils auf die zweite bis vierte Kamera 114, 116 und 118 angewandt werden. Dementsprechend kann die Erzeugungseinheit 140 das AVM-Bild erzeugen, das erhalten wird, indem das Frontbild, das Heckbild, das linke Bild und das rechte Bild kombiniert werden, deren Ansichten umgewandelt werden.
Die Erkennungseinheit 150 kann eine Bildwandlereinheit 152, die das AVM-Bild in ein Graubild umwandelt, ein Rechteckfilter 154, das eine Mehrzahl charakteristischer Punkte durch Verwenden einer Leuchtdichtenabweichung oder einer Helligkeitsabweichung des Graubildes extrahiert, und eine Parkplatzlinien-Erkennungseinheit 156 einschließen, die eine Linienkomponente für die Mehrzahl charakteristischer Punkte extrahiert und die im AVM-Bild angezeigte Parkplatzlinie erkennt. Die Parkplatzlinien-Erkennungseinheit 156 kann eine Parkplatzlinie erkennen, die in einem im AVM-Bild angezeigten Ziel-Parkplatzabschnitt angezeigt wird.
Die Bildwandlereinheit 152 wandelt das AVM-Bild gemäß einem zuvor festgelegten Bildwandlungsverfahren in das Graubild um.
Das Rechteckfilter 154 kann die Mehrzahl charakteristischer Punkte, die Punkten entsprechen, an denen die Leuchtdichtenabweichung oder die Helligkeitsabweichung erzeugt wird, in dem Graubild extrahieren.
Zum Beispiel kann das Rechteckfilter 154 allgemein eine Leuchtdichtenabweichung oder eine Helligkeitsabweichung zwischen einer weißen Parkplatzlinie und einer allgemeinen Fahrbahn messen und einen Mittelpunkt eines Teils, in dem die Leuchtdichtenabweichung oder die Helligkeitsabweichung erzeugt wird, als den charakteristischen Punkt extrahieren.
Das bedeutet, wie in 3 veranschaulicht, dass das Rechteckfilter 154 die Leuchtdichtenabweichung oder die Helligkeitsabweichung in einer horizontalen Richtung oder einer zuvor festgelegten horizontalen Linie in dem im Graubild angezeigten Ziel-Parkplatzabschnitt messen kann.
Wenn zum Beispiel davon ausgegangen wird, dass die Parkplatzlinie von weißer Farbe ist und eine Helligkeitsabweichung gemäß einer horizontalen Richtung in dem in 3 veranschaulichten Graubild gemessen wird, besitzen Regionen, die mit einer ersten Parkplatzlinie L1 und einer zweiten Parkplatzlinie L2 angezeigt werden, eine größere Helligkeit als die übrigen Regionen.
In diesem Fall kann das Rechteckfilter 154 einen charakteristischen Punkt für jede von der ersten Parkplatzlinie L1 und der zweiten Parkplatzlinie L2 unter den Parkplatzlinien extrahieren. In diesem Fall kann die erste Parkplatzlinie L1 eine Parkplatzlinie bedeuten, die auf der Grundlage einer Mittellinie des Fahrzeugs auf irgendeiner Seite (zum Beispiel einer linken Seite von einer Mittellinie des Fahrzeugs) positioniert ist, und kann die zweite Parkplatzlinie L2 eine Parkplatzlinie bedeuten, die auf der Grundlage der Mittellinie des Fahrzeugs auf einer gegenüberliegenden Seite (zum Beispiel einer rechten Seite von der Mittellinie des Fahrzeugs) der ersten Parkplatzlinie positioniert ist.
Hier kann der charakteristische Punkt in dem Graubild einen Mittelpunkt bedeuten, an dem eine Helligkeitsabweichung gleich oder größer als ein Referenzwert gemessen wird, oder einen Mittelpunkt zwischen zwei Punkten, an denen eine Helligkeitsabweichung gleich oder größer als ein Referenzwert gemessen wird. Zum Beispiel können eine Mitte der ersten Parkplatzlinie L1 und eine Mitte der zweiten Parkplatzlinie L2, die in 3 veranschaulicht sind, als die charakteristischen Punkte extrahiert werden.
Indessen kann das Rechteckfilter 154 einen Wert in einer dreieckigen Form entlang Breiten einer linken Parkplatzlinie und einer rechten Parkplatzlinie des im Graubild angezeigten Ziel-Parkplatzabschnitts messen und einen Wert einer Mitte der dreieckigen Form als einen charakteristischen Punkt extrahieren.
Die Parkplatzlinien-Erkennungseinheit 156 kann eine Linienkomponente für die Mehrzahl charakteristischer Punkte extrahieren, die durch das Rechteckfilter 154 extrahiert wurden, und die Parkplatzlinie erkennen. Zum Beispiel kann die Parkplatzlinien-Erkennungseinheit 156 die Linienkomponente extrahieren, indem die Mehrzahl charakteristischer Punkte sequenziell verbunden werden.
Das bedeutet, wie in 4 veranschaulicht, dass die Parkplatzlinien-Erkennungseinheit 156 die Linienkomponente für die charakteristischen Punkte jeder von der ersten Parkplatzlinie L1 und der zweiten Parkplatzlinie L2, die in 3 veranschaulicht sind, extrahieren kann, einen Winkelfehler für die erste Parkplatzlinie L1 und die zweite Parkplatzlinie L2 korrigieren kann und die erste Parkplatzlinie und die zweite Parkplatzlinie erkennen kann, die auf der Grundlage einer Mittellinie des Fahrzeugs auf gegenüberliegenden Seiten positioniert sind.
4A veranschaulicht eine Mehrzahl von Parkplatzlinien-Kandidatengruppen, die jeder der Mehrzahl von Linienkomponenten für die Mehrzahl charakteristischer Punkte entsprechen, und eine Mittellinie des Fahrzeugs, die aus dem in 3 veranschaulichten Graubild extrahiert wurden, und 4B veranschaulicht einen Fall, in dem alle von der ersten Parkplatzlinie L1 und der zweiten Parkplatzlinie L2, die dem Ziel-Parkplatzabschnitt entsprechen, in der Mehrzahl von in 4A veranschaulichten Parkplatzlinien-Kandidatengruppen erkannt werden.
Indessen kann die Steuereinheit 160 eine Berechnungseinheit 162, eine Parkplatzlinien-Erzeugungseinheit 164 und eine Bilderzeugungseinheit 166 einschließen. Wenn durch die Erkennungseinheit 150 unter der ersten Parkplatzlinie L1 und der zweiten Parkplatzlinie L2 nur die erste Parkplatzlinie L1 erkannt wird, kann die Berechnungseinheit 162 ein Parkplatzlinien-Intervall des Ziel-Parkplatzabschnitts erzeugen. Die Parkplatzlinien-Erzeugungseinheit 164 kann virtuell eine dritte Parkplatzlinie L3 erzeugen, die von der ersten Parkplatzlinie L1 um das Parkplatzlinien-Intervall parallel beabstandet ist. Die Bilderzeugungseinheit 166 schließt eine Bilderzeugungseinheit 166 ein, die das kombinierte AVM-Bild erzeugt, das erhalten wird, indem das AVM-Bild mit der virtuell erzeugten dritten Parkplatzlinie L3 kombiniert wird. In diesem Fall kann die Bilderzeugungseinheit 166 die dritte Parkplatzlinie L3, die eine sich von derjenigen der ersten Parkplatzlinie L1 unterscheidende Farbe besitzt, und das AVM-Bild kombinieren.
In der beispielhaften Ausführungsform wird der Fall veranschaulicht, in dem die Steuereinheit 160 nur die erste Parkplatzlinie L1 unter den Parkplatzlinien des Ziel-Parkplatzabschnitts erkennt; die Steuereinheit 160 kann jedoch nur die zweite Parkplatzlinie L2 sein, und die vorliegende Erfindung ist nicht darauf beschränkt.
Die Berechnungseinheit 162 kann das Parkplatzlinien-Intervall auf der Grundlage eines Lenkwinkels des Fahrzeugs, einer Fahrzeugbreite und eines Abstands zwischen dem Fahrzeug und der ersten Parkplatzlinie L1 berechnen.
Zum Beispiel kann, unter Bezugnahme auf 5A, die Berechnungseinheit 162 das Parkplatzlinien-Intervall auf der Grundlage mindestens eines der Werte: Fahrzeugbreite W, Abstand α zwischen dem Fahrzeug und der ersten Parkplatzlinie L1 und Lenkwinkel berechnen. Hier kann das Parkplatzlinien-Intervall einen Abstand zwischen der zuvor erkannten ersten Parkplatzlinie L1 und der virtuell zu erzeugenden dritten Parkplatzlinie L3 bedeuten.
Wenn zum Beispiel davon ausgegangen wird, dass eine aktuelle Position des Fahrzeugs die Mitte des Ziel-Parkplatzabschnitts darstellt, kann die Berechnungseinheit 162 das Parkplatzlinien-Intervall berechnen, um das die virtuell zu erzeugende dritte Parkplatzlinie L3 von der ersten Parkplatzlinie beabstandet werden muss, indem die Fahrzeugbreite W und ein Abstand α zwischen dem Fahrzeug und der ersten Parkplatzlinie L1 verwendet werden, die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Zum Beispiel kann, unter Bezugnahme auf 5A, das Intervall zwischen der ersten Parkplatzlinie L1 und der dritten Parkplatzlinie L3 einen Wert von 2α + W besitzen, der erhalten wird, indem ein Wert des Zweifachen des Abstandes α zwischen dem Fahrzeug und der ersten Parkplatzlinie L1 zur Fahrzeugbreite W addiert wird.
Dann kann die Steuereinheit 160 virtuell die dritte Parkplatzlinie L3 an einer Position erzeugen, die von der ersten Parkplatzlinie L1 um 2α + W parallel beabstandet ist, was dem Parkplatzlinien-Intervall entspricht, und das kombinierte AVM-Bild erzeugen, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden.
Die Steuereinheit 160 steuert derart, dass die virtuell erzeugte dritte Parkplatzlinie L3 auf dem Anzeigemodul 120 in einer sich von derjenigen der ersten Parkplatzlinie L1 unterscheidenden Farbe angezeigt wird, wodurch es einem Fahrer ermöglicht wird, die dritte Parkplatzlinie L3 als eine virtuelle Parkplatzlinie zu erkennen.
6 zeigt einen Ablaufplan, der ein Betriebsverfahren des Rundsichtsystems gemäß der vorliegenden Erfindung veranschaulicht.
Unter Bezugnahme auf 6 erzeugt das Rundsichtsystem ein AVM-Bild, in dem eine Ansicht eines Umgebungsbildes des Fahrzeugs umgewandelt wird (S110). Zum Beispiel kann das Rundsichtsystem das AVM-Bild erzeugen, wenn sich das Fahrzeug einem Ziel-Parkplatzabschnitt nähert. In diesem Fall, kann das Rundsichtsystem ermitteln, ob sich das Fahrzeug dem Ziel-Parkplatzabschnitt nähert, indem Informationen des Globalen Positionsbestimmungssystems (global positioning system (GPS)) und Ähnliches verwendet werden.
Als Nächstes wandelt das Rundsichtsystem das AVM-Bild in ein Graubild um (120) und extrahiert eine Mehrzahl charakteristischer Punkte, indem eine Leuchtdichtenabweichung oder eine Helligkeitsabweichung des Graubildes verwendet werden (S130).
Als Nächstes extrahiert das Rundsichtsystem eine Linienkomponente für die Mehrzahl charakteristischer Punkte und erkennt eine im Graubild angezeigte Parkplatzlinie (S140).
Als Nächstes kann das Rundsichtsystem ermitteln, ob in Operation S140 alle einer ersten Parkplatzlinie und einer zweiten Parkplatzlinie erkannt werden (S150). Hier handelt es sich bei der ersten Parkplatzlinie um eine linke Parkplatzlinie und bei der zweiten Parkplatzlinie um eine rechte Parkplatzlinie.
Wenn in Operation S150 ermittelt wird, dass alle der ersten Parkplatzlinie und der zweiten Parkplatzlinie erkannt werden, kann das Rundsichtsystem ein kombiniertes AVM-Bild erzeugen, indem die erste Parkplatzlinie und die zweite Parkplatzlinie mit dem AVM-Bild kombiniert werden (S160). In diesem Fall können die erste Parkplatzlinie und die zweite Parkplatzlinie mit dem AVM-Bild so kombiniert werden, dass sie in derselben Farbe angezeigt werden.
Wenn indessen in Operation S150 ermittelt wird, dass nur ieine der ersten Parkplatzlinie und der zweiten Parkplatzlinie (zum Beispiel die erste Parkplatzlinie) erkannt wird, berechnet das Rundsichtsystem ein Parkplatzlinien-Intervall, um das die übrige virtuell zu erzeugende Parkplatzlinie (d. h. eine dritte Parkplatzlinie) von der zuvor erkannten Parkplatzlinie (das heißt der ersten Parkplatzlinie) beabstandet sein muss (S170) und erzeugt virtuell die von der ersten Parkplatzlinie um das Parkplatzlinien-Intervall parallel beabstandete dritte Parkplatzlinie (S180).
Dann erzeugt das Rundsichtsystem das kombinierte AVM-Bild, das erhalten wird, indem das AVM-Bild und die virtuell erzeugte dritte Parkplatzlinie kombiniert werden (S190). In diesem Fall kann das Rundsichtsystem die dritte Parkplatzlinie, die eine sich von derjenigen der ersten Parkplatzlinie unterscheidende Farbe besitzt, und das AVM-Bild kombinieren.
Das Rundsichtsystem kann das in irgendeiner Operation von Operation S160 und Operation S190 erzeugte kombinierte AVM-Bild anzeigen (S200).
Da vorstehend beschriebene Begriffe wie „einschließend”, „umfassend”, „besitzend” oder „aufweisend” bedeuten, dass ein entsprechendes aufbauendes Element vorhanden sein kann, sofern es nicht spezifisch gegenteilig beschrieben ist, ist zu ersehen, dass ein anderes aufbauendes Element nicht ausgeschlossen ist, sondern ferner ein oder mehrere andere aufbauende Elemente eingeschlossen sein können.
Obwohl vorstehend die beispielhafte Ausführungsform der vorliegenden Erfindung beschrieben und veranschaulicht wurde, ist die vorliegende Erfindung nicht auf die vorgenannte spezifische beispielhafte Ausführungsform beschränkt, und vielfältige Modifikationen können durch den Fachmann des Gebietes, dem die vorliegende Erfindung angehört, vorgenommen werden, ohne von den Gegenständen der vorliegenden Erfindung abzuweichen, die in den Ansprüchen beansprucht werden, und diese Modifikationen sollten nicht individuell aus dem technischen Geist oder der Vorstellung der vorliegenden Erfindung ersehen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2014-0086911 [0001]

Claims

Rundsichtsystem, umfassend: ein Anzeigemodul; ein Kameramodul, das eingerichtet ist, Umgebungsbilder eines Fahrzeugs zu fotografieren; und ein Steuermodul, das eingerichtet ist, ein kombiniertes Rundsichtüberwachungs(AVM)-Bild, das erhalten wird, indem die Umgebungsbilder kombiniert werden, an das Anzeigemodul auszugeben, wobei das Steuermodul einschließt: eine Erzeugungseinheit, die eingerichtet ist, das AVM-Bild durch Umwandeln einer Ansicht des Umgebungsbildes zu erzeugen; eine Erkennungseinheit, die eingerichtet ist, eine erste Parkplatzlinie und eine zweite Parkplatzlinie zu erkennen, die auf der Grundlage einer Mittellinie des Fahrzeugs im AVM-Bild auf beiden Seiten positioniert sind; und eine Steuereinheit, die eingerichtet ist, virtuell eine dritte Parkplatzlinie parallel zur ersten Parkplatzlinie zu erzeugen und das kombinierte AVM-Bild zu erzeugen, das erhalten wird, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden, wenn nur die erste Parkplatzlinie erkannt wird, bei der es sich um eine Parkplatzlinie handelt, die auf der Grundlage der Mittellinie des Fahrzeugs zwischen der ersten Parkplatzlinie und der zweiten Parkplatzlinie auf irgendeiner Seite positioniert ist.
Rundsichtsystem nach Anspruch 1, wobei das Kameramodul eine Mehrzahl von Kameras einschließt, welche die Umgebungsbilder einschließlich Front- und Heckbild und linkem und rechtem Bild des Fahrzeugs fotografieren.
Rundsichtsystem nach Anspruch 1, wobei die Erkennungseinheit einschließt: eine Bildwandlereinheit, die eingerichtet ist, das AVM-Bild in ein Graubild umzuwandeln; ein Rechteckfilter, das eingerichtet ist, eine Mehrzahl charakteristischer Punkte zu extrahieren, indem eine Leuchtdichtenabweichung oder eine Helligkeitsabweichung des Graubildes verwendet wird; und eine Parkplatzlinien-Erkennungseinheit, die eingerichtet ist, Linienkomponenten für die Mehrzahl charakteristischer Punkte zu extrahieren und die erste Parkplatzlinie und die zweite Parkplatzlinie zu erkennen, die in einem im Graubild angezeigten Ziel-Parkplatzabschnitt angezeigt werden.
Rundsichtsystem nach Anspruch 3, wobei die Steuereinheit einschließt: eine Berechnungseinheit, die eingerichtet ist, ein Parkplatzlinien-Intervall des Ziel-Parkplatzabschnitts zu berechnen, wenn nur die erste Parkplatzlinie erkannt wird; eine Parkplatzlinien-Erzeugungseinheit, die eingerichtet ist, virtuell die dritte Parkplatzlinie an einer Position zu erzeugen, die von der ersten Parkplatzlinie um das Parkplatzlinien-Intervall parallel beabstandet ist; und eine Bilderzeugungseinheit, die eingerichtet ist, das kombinierte AVM-Bild zu erzeugen, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden, wobei die Steuereinheit das Anzeigemodul so steuert, dass die dritte Parkplatzlinie in einer sich von derjenigen der ersten Parkplatzlinie unterscheidenden Farbe angezeigt wird.
Rundsichtsystem nach Anspruch 4, wobei die Berechnungseinheit das Parkplatzlinien-Intervall auf der Grundlage eines Lenkwinkels des Fahrzeugs, einer Fahrzeugbreite und eines Abstands zwischen dem Fahrzeug und der ersten Parkplatzlinie berechnet.
Verfahren zum Betreiben eines Rundsichtsystems, umfassend: Erzeugen eines Rundsichtüberwachungs(AVM)-Bildes durch Umwandeln einer Ansicht eines Umgebungsbildes eines Fahrzeugs; Erkennen von Parkplatzlinien im AVM-Bild; Ermitteln, ob unter den Parkplatzlinien alle einer ersten Parkplatzlinie und einer zweiten Parkplatzlinie erkannt werden, die auf der Grundlage einer Mittellinie des Fahrzeugs auf beiden Seiten positioniert sind; und virtuelles Erzeugen einer dritten Parkplatzlinie parallel zur ersten Parkplatzlinie und Erzeugen des kombinierten AVM-Bildes, das erhalten wird, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden, wenn nur die erste Parkplatzlinie erkannt wird, bei der es sich um eine Parkplatzlinie handelt, die auf der Grundlage der Mittellinie des Fahrzeugs zwischen der ersten Parkplatzlinie und der zweiten Parkplatzlinie auf irgendeiner Seite positioniert ist.
Verfahren nach Anspruch 6, wobei das Erkennen einschließt: Umwandeln des AVM-Bildes in ein Graubild; Extrahieren einer Mehrzahl charakteristischer Punkte, indem eine Leuchtdichtenabweichung oder eine Helligkeitsabweichung des Graubildes verwendet wird; und Extrahieren von Linienkomponenten für die Mehrzahl charakteristischer Punkte und Erkennen der ersten Parkplatzlinie und der zweiten Parkplatzlinie, die in einem im Graubild angezeigten Ziel-Parkplatzabschnitt angezeigt werden.
Verfahren nach Anspruch 7, wobei das Erzeugen einschließt: Berechnen eines Parkplatzlinien-Intervalls des Ziel-Parkplatzabschnitts, wenn nur die erste Parkplatzlinie erkannt wird; virtuelles Erzeugen der dritten Parkplatzlinie an einer Position, die von der ersten Parkplatzlinie um das Parkplatzlinien-Intervall parallel beabstandet ist; und Erzeugen des kombinierten AVM-Bildes, das erhalten wird, indem die dritte Parkplatzlinie und das AVM-Bild kombiniert werden.
Verfahren nach Anspruch 6, ferner umfassend: Anzeigen des kombinierten AVM-Bildes, wobei die dritte Parkplatzlinie im kombinierten AVM-Bild in einer sich von derjenigen der ersten Parkplatzlinie unterscheidenden Farbe angezeigt wird.