DE102017104950A1 - Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kamera, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug - Google Patents

Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kamera, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug Download PDF

Info

Publication number
DE102017104950A1
DE102017104950A1 DE102017104950.9A DE102017104950A DE102017104950A1 DE 102017104950 A1 DE102017104950 A1 DE 102017104950A1 DE 102017104950 A DE102017104950 A DE 102017104950A DE 102017104950 A1 DE102017104950 A1 DE 102017104950A1
Authority
DE
Germany
Prior art keywords
fragments
determined
motor vehicle
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017104950.9A
Other languages
English (en)
Inventor
Robert Voros
George Siogkas
Michael Starr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102017104950.9A priority Critical patent/DE102017104950A1/de
Publication of DE102017104950A1 publication Critical patent/DE102017104950A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen einer Bodenmarkierung (9) in einem Umgebungsbereich (8) eines Kraftfahrzeugs (1), bei welchem ein von einer Kamera (4) aufgenommenes Bild (11) empfangen wird, welches den Umgebungsbereich (8) beschreibt, in dem Bild (11) eine Mehrzahl von Markierungspunkten (14) bestimmt wird, welche die Bodenmarkierung (9) beschreiben, ein Abschnitt (15) von zusammenhängenden Markierungspunkten (14) bestimmt wird, und die Bodenmarkierung (9) anhand des Abschnitts (15) erkannt wird, wobei für jeden der Markierungspunkte (14) eine Abweichung (18) zu zumindest einer vorbestimmten Sollmarkierung (17, 17') bestimmt wird, der Abschnitt (15) in Abhängigkeit von der jeweiligen Abweichungen (18) in Fragmente (16a, 16b, 16c) eingeteilt wird und die Bodenmarkierung (9) anhand der Fragmente (16a, 16b, 16c) erkannt wird.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs, bei welchem ein von einer Kamera aufgenommenes Bild empfangen wird, welches den Umgebungsbereich beschreibt, in dem Bild eine Mehrzahl von Markierungspunkten bestimmt wird, welche die Bodenmarkierung beschreiben, ein Abschnitt von zusammenhängenden Markierungspunkten bestimmt wird und die Bodenmarkierung anhand des Abschnitts erkannt wird. Darüber hinaus betrifft die vorliegende Erfindung eine Recheneinrichtung für ein Kamerasystem. Des Weiteren betrifft die vorliegende Erfindung ein Kamerasystem. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug mit einem solchen Kamerasystem.
  • Das Interesse richtet sich vorliegend insbesondere auf Kameras für Kraftfahrzeuge. Solche Kameras können beispielsweise Teil eines Kamerasystems sein. Derartige Kamerasysteme dienen dazu, den Fahrer beim Führen des Kraftfahrzeugs zu unterstützen. Ein solches Kamerasystem umfasst üblicherweise mehrere Kameras, die verteilt an dem Kraftfahrzeug angeordnet sind und mit denen der Umgebungsbereich des Kraftfahrzeugs in Form einer Bildsequenz beziehungsweise in Form von Videodaten erfasst werden kann. Diese Videodaten können dem Fahrer des Kraftfahrzeugs dann auf einer entsprechenden Anzeigeeinrichtung dargestellt werden.
  • Darüber hinaus ist es aus dem Stand der Technik bekannt, dass in den Bildern, die mit einer Kamera bereitgestellt werden, Objekte in dem Umgebungsbereich des Kraftfahrzeugs erkannt werden. Beispielsweise können in den Bildern Bodenmarkierungen erkannt werden, welche auf einer Verkehrsfläche angeordnet sind. Dies ist beispielsweise in der US 9 378 424 B2 beschrieben. Solche Bodenmarkierungen können Fahrbahnmarkierungen oder Parkflächenmarkierungen sein. Um diese Bodenmarkierungen zu erkennen, werden beispielsweise Methoden zur Kantenerkennung oder die Hough-Transformation verwendet. Bei einer geringen Umgebungshelligkeit können diese Bodenmarkierungen aber nicht zuverlässig erkannt werden. Dies gilt auch für schwache oder unterbrochene Bodenmarkierungen.
  • Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie Bodenmarkierungen mittels einer Kamera zuverlässiger erfasst werden können.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Recheneinrichtung, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
  • Gemäß einer Ausführungsform eines Verfahrens zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs wird bevorzugt ein von einer Kamera aufgenommenes Bild empfangen, welches insbesondere den Umgebungsbereich beschreibt. Des Weiteren wird in dem Bild bevorzugt eine Mehrzahl von Markierungspunkten bestimmt, welche insbesondere die Bodenmarkierung beschreiben. Darüber hinaus wird bevorzugt ein Abschnitt von zusammenhängenden Markierungspunkten bestimmt und die Bodenmarkierung wird insbesondere anhand des Abschnitts erkannt. Zudem ist es insbesondere vorgesehen, dass für jeden der Markierungspunkte eine Abweichung zu zumindest einer vorbestimmten Sollmarkierung bestimmt wird. Darüber hinaus wird der Abschnitt insbesondere in Abhängigkeit von den jeweiligen Abweichungen in Fragmente eingeteilt. Ferner wird die Bodenmarkierung bevorzugt anhand der Fragmente erkannt.
  • Ein erfindungsgemäßes Verfahren dient zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs. Hierbei wird ein von einer Kamera aufgenommenes Bild empfangen, welches den Umgebungsbereich beschreibt. In dem Bild wird eine Mehrzahl von Markierungspunkten bestimmt, welche die Bodenmarkierung beschreiben. Des Weiteren wird ein Abschnitt von zusammenhängenden Markierungspunkten bestimmt und die Bodenmarkierung wird anhand des Abschnitts erkannt. Zudem wird für jeden der Markierungspunkte eine Abweichung zu zumindest einer vorbestimmten Sollmarkierung bestimmt und der Abschnitt wird in Abhängigkeit von den jeweiligen Abweichungen in Fragmente eingeteilt. Des Weiteren wird die Bodenmarkierung anhand der Fragmente erkannt.
  • Mithilfe des Verfahrens sollen Bodenmarkierungen in dem Umgebungsbereich des Kraftfahrzeugs anhand von Bildern der Kamera erkannt werden. Diese Bodenmarkierungen sind insbesondere auf Verkehrsflächen in dem Umgebungsbereich aufgebracht. Bei den Bodenmarkierungen kann es sich um Fahrbahnmarkierungen, Parkflächenmarkierungen oder dergleichen handeln. Bei der Verkehrsfläche kann es sich um eine Fahrbahn, eine Parkfläche oder dergleichen handeln. Insbesondere unterscheiden sich die Bodenmarkierungen in ihrer Farbe von der Verkehrsfläche, welche sie aufgebracht sind. Das Verfahren kann beispielsweise mittels einer Recheneinrichtung durchgeführt werden. Diese Recheneinrichtung kann zumindest ein Bild empfangen, welches mit einer Kamera des Kraftfahrzeugs aufgenommen wird. In dem Bild werden dann Markierungspunkte erkannt, welche die Bodenmarkierung beschreiben. Die Markierungspunkte können zumindest einen Bildpunkt des Bildes umfassen. Die Markierungspunkte können beispielsweise anhand ihrer Farbe in dem Bild erkannt werden. Markierungspunkte, welche zusammenhängen beziehungsweise nebeneinander angeordnet sind, werden dem Abschnitt zugeordnet. Auf Grundlage dieser zusammenhängenden Markierungspunkte kann dann ein Abschnitt bestimmt werden. Dieser Abschnitt beschreibt insbesondere eine Liste von den zusammenhängenden Markierungspunkten. Bevorzugt kann der Abschnitt nur gerade oder glatte Abschnitte aufweisen.
  • Gemäß einem wesentlichen Aspekt der vorliegenden Erfindung ist es nun vorgesehen, dass für jeden der Markierungspunkte eine Abweichung zu zumindest einer vorbestimmten Sollmarkierung bestimmt wird. Dies bedeutet, dass beispielsweise eine Regression durchgeführt wird, um eine mögliche Korrelation der Markierungspunkte zu der vorbestimmten Sollmarkierung zu bestimmen. Bei der Sollmarkierung kann es sich beispielsweise um eine Gerade oder eine Kurve handeln. Die Sollmarkierung kann nach Art einer Ausgleichsgeraden oder einer Ausgleichskurve bestimmt werden. Es können auch mehrere Sollmarkierungen verwendet werden. Beispielsweise können für unterschiedliche Bereiche des Abschnitts jeweilige Sollmarkierungen vorgesehen sein. Für jeden der Markierungspunkte wird nun eine Abweichung zu der vorbestimmten Sollmarkierung bestimmt. Die Abweichung beschreibt einen Fehler, welche auch als Regressionsfehler bezeichnet werden kann. In Abhängigkeit von den jeweiligen Abweichungen kann dann der Abschnitt in Fragmente eingeteilt werden. Beispielsweise kann der Abschnitt in zumindest zwei Fragmente eingeteilt werden. Durch die Aufteilung des Abschnitts in die Fragmente kann beispielsweise verhindert werden, dass Bodenmarkierungen mit zueinander senkrechten Bereichen, L-förmigen Bereichen oder V-förmigen Bereichen als eine einzige gekrümmte Bodenmarkierung erkannt werden. Bodenmarkierungen mit L-förmigen Bereichen sind üblicherweise als Parkflächenmarkierungen ausgebildet, während gekrümmte Bodenmarkierungen Teil einer Fahrbahnmarkierung sein können. Mithilfe des Verfahrens können die Bodenmarkierungen voneinander unterschieden werden und somit kann insgesamt eine zuverlässige Erkennung der Bodenmarkierungen erreicht werden.
  • Bevorzugt erstreckt sich der Abschnitt von einem ersten Bereich zu einem zweiten Bereich und die jeweilige Abweichung wird ausgehend von dem ersten Bereich und ausgehend von dem zweiten Bereich bestimmt. Der Abschnitt beschreibt die zusammenhängenden Markierungspunkte. Dabei kann die Bestimmung der Abweichung beziehungsweise die Regression ausgehend von dem ersten der Markierungspunkte, also in Richtung von dem ersten der Markierungspunkte zu dem zweiten der Markierungspunkte, erfolgen. Darüber hinaus kann die Bestimmung der Abweichung ausgehend von dem zweiten der Markierungspunkte, also in Richtung von dem zweiten der Markierungspunkte zu dem ersten der Markierungspunkte erfolgen. Auf diese Weise kann eine bilaterale Regression durchgeführt werden. Somit kann auf zuverlässige Weise derjenige der Markierungspunkte bestimmt werden, bei welchem der Abschnitt in zwei Fragmente eingeteilt wird.
  • In einer Ausführungsform wird die Einteilung des Abschnitts in die Fragmente an den Markierungspunkten durchgeführt, bei welchen die Abweichung maximal ist. Es kann also zumindest ein Markierungspunkt ausgewählt werden, bei welchem die Abweichung maximal ist. Dabei wird das Maximum bevorzugt eindimensional bestimmt. Dabei wird nur derjenige Markierungspunkte bestimmt, dem das Maximum zugeordnet ist. Dies kann mit einer sogenannten non-maximum suppression erfolgen. Auf diese Weise kann der Abschnitt effektiv und eindeutig in glatte Fragmente eingeteilt werden.
  • In einer weiteren Ausführungsform werden benachbarte Fragmente in Abhängigkeit von einer Farbe der Markierungspunkte, einem Winkel zwischen den Fragmenten, einem Abstand zwischen den Fragmenten und/oder einer Verschiebung zwischen den Fragmenten zu einem Pfad verbunden. Wenn die Markierungspunkte in einem binären Bild bestimmt werden, kann das Schwarz-Weiß-Verhältnis der jeweiligen Fragmente zueinander bestimmt werden. Des Weiteren können der Winkel, die Verschiebung und/oder der Abstand zwischen den benachbarten Fragmenten herangezogen werden, um zu entscheiden, ob diese Fragmente zu einem Pfad verbunden werden sollen. Auf diese Weise kann verhindert werden, dass Fragmente, welche den gleichen Bereich einer Bodenmarkierung beschreiben, voneinander getrennt werden. Darüber hinaus können die Bodenmarkierungen auch in Bildern, die mit einer geringen Umgebungsbeleuchtung aufgenommen wurden, erkannt werden. Außerdem können Bodenmarkierungen erkannt werden, welche schwach sind und/oder teilweise unterbrochen sind. Des Weiteren wird es ermöglicht, dass gekrümmte Abschnitte von Bodenmarkierungen erkannt werden. Dies ermöglicht im Vergleich zu bekannten Verfahren, beispielsweise der Hough-Transformation, eine zuverlässige Erkennung der Bodenmarkierungen.
  • Dabei ist es insbesondere vorgesehen, dass das Verbinden von benachbarten Fragmenten zu dem Pfad unter Berücksichtigung einer vorbestimmten Fuzzylogik durchgeführt wird. Beispielsweise kann eine Fuzzylogik mit teilweise linearen Zugehörigkeitsfunktionen (membership functions) verwendet werden, um zu entscheiden, ob benachbarte Fragmente zu einem Pfad verbunden werden sollen oder nicht. Die Verwendung einer Fuzzylogik bietet die Möglichkeit, die Entscheidung, ob die Fragmente zu dem Pfad verbunden werden sollen, hinauszuzögern. Auf diese Weise kann eine zuverlässige Bestimmung der Pfade ermöglicht werden.
  • In einer weiteren Ausführungsform wird das Bild zum Bestimmen der Markierungspunkte horizontal und vertikal abgetastet und ein Pfad, der anhand der horizontalen Abtastung des Bilds bestimmt wird, wird mit einem Pfad, der anhand der vertikalen Abtastung bestimmt wird, verbunden. Mit anderen Worten wird das Bild sowohl horizontal als auch vertikal gescannt. Bei dem horizontalen Scannen können die einzelnen Zeilen von Bildpunkten nacheinander auf das Vorhandensein der Markierungspunkte hin überprüft werden und bei dem vertikalen Scannen können die einzelnen Spalten von Bildpunkten auf das Vorhandensein der Markierungspunkte überprüft werden. Sowohl bei der vertikalen als auch bei der horizontalen Abtastung können dann jeweils die zusammenhängenden Markierungspunkte bestimmt werden. Aus dem jeweiligen zusammenhängenden Markierungspunkte können dann die Abschnitte und hieraus die Pfade bestimmt werden. Somit ergeben sich ein Pfad, der auf Grundlage der horizontalen Abtastung bestimmt wurde, und ein Pfad, der auf Grundlage der vertikalen Abtastung bestimmt wurde. Diese beiden Pfade werden miteinander verbunden, um die Bodenmarkierung zu erkennen.
  • Weiterhin ist es vorteilhaft, dass falls die Pfade gekrümmt sind, ein Schnittpunkt zwischen den Pfaden bestimmt wird und die Teile der Pfade zum Verbinden der Pfade verwendet werden, welche ausgehend von dem Schnittpunkt die größte Erstreckung aufweisen. Falls ein Pfad auf Grundlage des horizontalen Scans bestimmt wurde und ein Pfad auf Grundlage des vertikalen Scans bestimmt wurde, kann überprüft werden, ob diese beiden Pfade einen Schnittpunkt oder einen Überlagerungsbereich aufweisen. Dieser Schnittpunkt kann iterativ bestimmt werden. Dabei wird der jeweilige Teil der Pfade verwendet, welche ausgehend von dem Schnittpunkt die größere Erstreckung aufweist.
  • Somit können die beiden gekrümmten Pfade verbunden werden und hieraus die Bodenmarkierung bestimmt werden.
  • Weiterhin ist es vorteilhaft, wenn aus dem Bild ein Binärbild bestimmt wird und die Mehrzahl von Markierungspunkten in dem Binärbild bestimmt wird. Bei dem Binärbild können die einzelnen Bildpunkte nur die Farbe Schwarz oder die Farbe Weiß annehmen. Da die Bodenmarkierungen üblicherweise heller sind als die Verkehrsfläche, auf welcher sich diese befinden, ist den Bodenmarkierungen in dem Bild üblicherweise die Farbe Weiß zugeordnet, während der Verkehrsfläche die Farbe Schwarz zugeordnet ist. Somit können die Markierungspunkte in dem Binärbild auf einfache Weise erkannt werden. Dieses Binärbild kann auf Grundlage des Bilds, welches mit der Kamera aufgenommen wird, bestimmt werden. Alternativ dazu kann es vorgesehen sein, dass mit der Kamera bereits ein Binärbild bereitgestellt wird.
  • Eine erfindungsgemäße Recheneinrichtung für ein Kamerasystem eines Kraftfahrzeugs ist zum Durchführen eines erfindungsgemäßen Verfahrens und der vorteilhaften Ausgestaltungen davon ausgelegt. Die Recheneinrichtung kann beispielsweise durch einen Prozessor oder ein elektronisches Steuergerät gebildet sein.
  • Ein erfindungsgemäßes Kamerasystem umfasst eine erfindungsgemäße Recheneinrichtung und zumindest eine Kamera. Es kann auch vorgesehen sein, dass das Kamerasystem eine Mehrzahl von Kameras umfasst. Diese Kameras können dann beispielsweise verteilt an dem Kraftfahrzeug angeordnet werden, um die Umgebung des Kraftfahrzeugs zu erfassen. Die Recheneinrichtung kann zur Datenübertragung mit der zumindest eine Kamera verbunden sein. Somit wird es ermöglicht, die Bilder oder Videodaten, die mit der Kamera aufgenommen werden, an die Recheneinrichtung übertragen werden.
  • Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Das Kraftfahrzeug kann auch als Nutzfahrzeug ausgebildet sein.
  • Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
  • Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
  • Dabei zeigen:
    • 1 ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung, welches ein Kamerasystem mit mehreren Kameras aufweist;
    • 2 ein Binärbild, welches eine L-förmige Bodenmarkierung beschreibt;
    • 3 ein Abschnitt aus zusammenhängenden Markierungspunkten, welcher auf Grundlage des Binärbilds gemäß 2 bestimmt ist;
    • 4 den Abschnitt, welcher in mehrere Fragmente mittels einer Regression eingeteilt ist;
    • 5 den Abschnitt gemäß 3, welcher in mehrere Fragmente eingeteilt ist;
    • 6 die Fragmente gemäß 5, welche zu Pfaden zusammengefügt sind;
    • 7 ein Binärbild, welches eine gekrümmte Bodenmarkierung beschreibt;
    • 8 ein Pfad welcher anhand eines horizontalen Scans des Binärbilds gemäß 7 bestimmt ist;
    • 9 ein Pfad, welcher anhand eines vertikalen Scans des Binärbilds sind gemäß 7 bestimmt ist;
    • 10 die beiden Pfade gemäß 8 und 9, welche verbunden sind; und
    • 11 einen verbundenen Pfad aus den beiden Pfaden gemäß 8 und 9.
  • In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
  • 1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist in dem vorliegenden Fall als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2. Das Kamerasystem 2 umfasst wiederum eine Recheneinrichtung 3, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs 1 gebildet sein kann. Darüber hinaus umfasst das Kamerasystem 2 zumindest eine Kamera 4. In dem vorliegenden Ausführungsbeispiel umfasst das Kamerasystem 2 vier Kameras 4, die verteilt an dem Kraftfahrzeug 1 angeordnet sind. Vorliegend ist eine der Kameras 4 in einem Heckbereich 5 angeordnet, eine der Kameras 4 ist in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet und die übrigen zwei Kameras 4 sind in einem jeweiligen Seitenbereich 6, insbesondere in einem Bereich der Seitenspiegel, angeordnet. Die Anzahl und Anordnung der Kameras 4 des Kamerasystems 2 ist vorliegend rein beispielhaft zu verstehen.
  • Mit den Kameras 4 kann ein Umgebungsbereich 8 des Kraftfahrzeugs 1 erfasst werden. Die vier Kameras 4 sind bevorzugt baugleich ausgebildet. Insbesondere kann eine Bildsequenz oder es können Videodaten mit den Kameras 4 bereitgestellt werden, welche den Umgebungsbereich 8 beschreiben. Diese Videodaten können von den Kameras 4 an die Recheneinrichtung 3 übertragen werden. Mittels der Recheneinrichtung 3 kann eine hier nicht dargestellte Anzeigeeinrichtung des Kraftfahrzeugs 1 angesteuert werden, so dass dem Fahrer die Videodaten der Kameras 4 angezeigt werden können. Das Kamerasystem 2 dient somit zum Unterstützen des Fahrers des Kraftfahrzeugs 1 beim Führen des Kraftfahrzeugs 1.
  • In Fahrtrichtung vor dem Kraftfahrzeug 1 befindet sich eine Bodenmarkierung 9. Die Bodenmarkierung 9 ist vorliegend L-förmig ausgebildet. Beispielsweise kann die Bodenmarkierung 9 Teil einer Parkflächenmarkierung sein. Die Bodenmarkierung 9 befindet sich auf einer Verkehrsfläche 10, welche vorliegend durch eine Fahrbahn gebildet wird, auf welcher sich das Kraftfahrzeug 1 befindet.
  • 2 zeigt ein Binärbild 11, welches die Bodenmarkierung 9 sowie Teile der Verkehrsfläche 10 beschreibt. Das Binärbild 11 kann direkt mit der Kamera 4, welche sich im Frontbereich 7 des Kraftfahrzeugs 1 befindet, bereitgestellt werden. Es kann auch vorgesehen sein, dass das Binärbild 11 mittels der Recheneinrichtung 3 aus einem Bild, welches mit der Kamera 4 bereitgestellt wird, erzeugt wird. Bei dem Binärbild 11 weisen die Bildpunkte entweder die Farbe Weiß oder die Farbe Schwarz auf. Vorliegend beschreiben die weißen Bildpunkte 12 die Bodenmarkierung 9 und die schwarzen Bildpunkte 13 beschreiben die Verkehrsfläche 10.
  • 3 zeigt eine Mehrzahl von Markierungspunkten 14, welche auf Grundlage der weißen Bildpunkte 12 bestimmt wurden. Vorliegend beschreiben die Markierungspunkte 14 die Mittelpunkte der weißen Bildpunkte 12. Die zusammenhängenden Markierungspunkte 14 bilden zusammen einen Abschnitt 15. Zum Bestimmen der zusammenhängenden Markierungspunkte 14 kann das Binärbild 11 horizontal und/oder vertikal abgetastet werden.
  • 4 zeigt die Einteilung des Abschnitts 15 in einzelne Fragmente 16a und 16b. Hierzu werden die einzelnen Markierungspunkte 14 des Abschnitts 15 jeweils mit einer Sollmarkierung 17, 17' verglichen. Hierzu wird eine Regression verwendet, um eine jeweilige Abweichung 18 der Position der Markierungspunkte 14 von der Sollmarkierung 17, 17' bestimmen zu können. Zu diesem Zweck kann die Methode der kleinsten Quadrate verwendet werden. Der Abschnitt 15 erstreckt sich von einem ersten Bereich 19 zu einem zweiten Bereich 20. Dabei wird die Regression einerseits ausgehend von dem ersten Bereich 19 gestartet und andererseits wird die Regression ausgehend von dem zweiten Bereich 20 gestartet. Ausgehend von dem ersten Bereich 19 wird beispielsweise für eine vorbestimmte Anzahl der Markierungspunkte 14 jeweils die Sollmarkierung 17 bestimmt. In gleicher Weise wird ausgehend von dem zweiten Bereich 20 für eine vorbestimmte Anzahl von Markierungspunkten 14 die Sollmarkierung 17' bestimmt. Auf diese Weise kann eine bilaterale Regression durchgeführt werden. An demjenigen der Markierungspunkte 14, an welchem die Abweichung 18 ein Maximum 21 aufweist, wird der Abschnitt 15 in die beiden Fragmente 16a und 16b aufgeteilt.
  • 5 zeigt den Abschnitt 15 gemäß 3, welcher nach dem Verfahren gemäß 2 in mehrere Fragmente 16a, 16b, 16c eingeteilt ist. Vorliegend wurde der Abschnitt 15 in drei Fragmente 16a, 16b und 16c eingeteilt. Durch die Einteilung wird der Abschnitt 15 in glatte Fragmente 16 eingeteilt. Somit kann beispielsweise verhindert werden, dass der Abschnitt 15 fälschlicherweise als gekrümmte Bodenmarkierung 9 erkannt wird. Des Weiteren wird überprüft, ob die Fragmente 16a, 16b und 16c zu Pfaden 22a, 22b kombiniert werden können. Zu diesem Zweck können die Schwarz-Weiß-Verhältnisse der einzelnen Fragmente 16a, 16b, 16c, die Winkel zwischen den Fragmenten 16a, 16b, 16c, die Verschiebungen zwischen den Fragmenten 16a, 16b, 16c und/oder der Abstand zwischen den Fragmenten 16a, 16b, 16c verglichen werden. Falls das Schwarz-Weiß-Verhältnis, der Winkel, die Verschiebung und/oder der Abstand eine vorbestimmte Ähnlichkeit aufweist, können benachbarte Fragmente 16a, 16b, 16c zu einem Pfad 22a, 22b kombiniert werden. Hierzu kann eine entsprechende Fuzzylogik genutzt werden.
  • Vorliegend werden die Fragmente 16b und 16c zu dem Pfad 22b kombiniert, da die Fragmente 16b und 16c einen ähnlichen Winkel und einen geringen Abstand zueinander aufweisen. Die Fragmente 16a und 16b werden nicht miteinander kombiniert, da sich die Winkel der beiden Fragmente 16a und 16b deutlich voneinander unterscheiden. Dem Fragment 16a wird der Pfad 22a zugeordnet. Die Pfade 22a und 22b sind in 6 gezeigt. Diese Pfade 22a und 22b beschreiben die einzelnen Bereiche der Bodenmarkierung 9. Somit kann diese Bodenmarkierung 9 zuverlässig als L-förmige Bodenmarkierung 9 erkannt werden.
  • Bei dem Einteilen des Abschnitts 15 in die einzelnen Fragmente 16a, 16b 16c kann sich eine Vielzahl von Fragmenten 16a, 16b 16c ergeben. Um diese einzelnen Fragmente 16a, 16b 16c effektiv bearbeiten zu können, kann ein balancierter Baum verwendet werden. Dabei kann als Schlüsselwert der Winkel zwischen den Fragmenten 16a, 16b 16c verwendet werden, um diese effektiv bearbeiten zu können. Auf diese Weise kann die Komplexität des Algorithmus zum Zusammenfügen der Fragmente 16a, 16b 16c von der Ordnung O(n2) zu der Ordnung O(n*log(n)) reduziert werden. Dabei beschreibt n die Anzahl der Fragmente 16a, 16b 16c. Somit kann dieser Algorithmus auf einem eingebetteten System umgesetzt werden.
  • 7 zeigt ein Binärbild 11 gemäß einer weiteren Ausführungsform. Dieses Binärbild 11 bildet eine gekrümmte Bodenmarkierung 9 ab. Eine solche Bodenmarkierung 9 kann beispielsweise einer Fahrbahnmarkierung zugeordnet sein. 8 zeigt einen Pfad 22d, welcher auf Grundlage eines horizontalen Scans dieses Binärbild 11 bestimmt wurde. Zudem zeigt 9 einen Pfad 22e, welche auf Grundlage eines vertikalen Scans des Binärbilds 11 bestimmt wurde.
  • 10 veranschaulicht die Verbindung der beiden gekrümmten Pfade 22d und 22e. Dabei wird ein Schnittpunkt 23 der Pfade 22d und 22e bestimmt. Dabei wird von jedem der Pfade 22d, 22e derjenige Teil 24d, 24e ausgewählt, welcher ausgehend von dem Schnittpunkt 23 die größte Erstreckung aufweist. Vorliegend wird von dem Pfad 22d der Teil 24d ausgewählt und von den Pfad 22e wird der Teil 24e ausgewählt. Diese beiden Teile 24d und 24e werden miteinander verbunden. 11 zeigt den verbundenen Pfad 22f, der sich aus den Teilen 24d und 24e zusammensetzt. Auf Grundlage dieses verbundenen Pfads 22f kann dann die gekrümmte Bodenmarkierung 9 zuverlässig erkannt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 9378424 B2 [0003]

Claims (11)

  1. Verfahren zum Erkennen einer Bodenmarkierung (9) in einem Umgebungsbereich (8) eines Kraftfahrzeugs (1), bei welchem ein von einer Kamera (4) aufgenommenes Bild (11) empfangen wird, welches den Umgebungsbereich (8) beschreibt, in dem Bild (11) eine Mehrzahl von Markierungspunkten (14) bestimmt wird, welche die Bodenmarkierung (9) beschreiben, ein Abschnitt (15) von zusammenhängenden Markierungspunkten (14) bestimmt wird, und die Bodenmarkierung (9) anhand des Abschnitts (15) erkannt wird, dadurch gekennzeichnet, dass für jeden der Markierungspunkte (14) eine Abweichung (18) zu zumindest einer vorbestimmten Sollmarkierung (17, 17') bestimmt wird, der Abschnitt (15) in Abhängigkeit von der jeweiligen Abweichungen (18) in Fragmente (16a, 16b, 16c) eingeteilt wird und die Bodenmarkierung (9) anhand der Fragmente (16a, 16b, 16c) erkannt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass sich der Abschnitt (15) von einem ersten Bereich (19) zu einem zweiten Bereich (20) erstreckt und die jeweilige Abweichung (18) ausgehend von dem ersten Bereich (19) und ausgehend von dem zweiten Bereich (20) bestimmt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Einteilung des Abschnitts (15) in die Fragmente (16a, 16b, 16c) an zumindest einem der Markierungspunkte (14) durchgeführt, bei welchen die Abweichung (18) maximal ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass benachbarte Fragmente (16a, 16b, 16c) in Abhängigkeit von einer Farbe der Markierungspunkte, einem Winkel zwischen den Fragmenten (16a, 16b, 16c), einem Abstand zwischen den Fragmenten (16a, 16b, 16c) und/oder einer Verschiebung zwischen den Fragmenten (16a, 16b, 16c) zu einem Pfad (22a, 22b) verbunden werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Verbinden der benachbarten Fragmente (16a, 16b, 16c) zu dem Pfad (22a, 22b) unter Berücksichtigung einer vorbestimmten Fuzzylogik durchgeführt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild (11) zum Bestimmen der Markierungspunkte (11) horizontal und vertikal abgetastet wird und ein Pfad (22d), der anhand der horizontalen Abtastung des Bilds (11) bestimmt wird, mit einem Pfad (22e), der anhand der vertikalen Abtastung des Bilds (11) bestimmt wird, verbunden wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass falls die Pfade (22d, 22e) gekrümmt sind, ein Schnittpunkt (23) zwischen den Pfaden bestimmt wird und die Teile (24d, 24e) der Pfade (22d, 22e) zum Verbinden der Pfade (22d, 22e) verwendet werden, welche ausgehend von dem Schnittpunkt (23) die größere Erstreckung aufweisen.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus dem Bild (11) ein Binärbild bestimmt wird und die Mehrzahl von Markierungspunkten (14) in dem Binärbild bestimmt wird.
  9. Recheneinrichtung (3) für ein Kamerasystem (2) eines Kraftfahrzeugs (1), welche zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgelegt ist.
  10. Kamerasystem (2) mit einer Recheneinrichtung (3) nach Anspruch 9 und mit zumindest einer Kamera (4).
  11. Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 10.
DE102017104950.9A 2017-03-09 2017-03-09 Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kamera, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug Withdrawn DE102017104950A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017104950.9A DE102017104950A1 (de) 2017-03-09 2017-03-09 Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kamera, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017104950.9A DE102017104950A1 (de) 2017-03-09 2017-03-09 Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kamera, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102017104950A1 true DE102017104950A1 (de) 2018-09-13

Family

ID=63258605

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017104950.9A Withdrawn DE102017104950A1 (de) 2017-03-09 2017-03-09 Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kamera, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102017104950A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021114935A1 (de) 2021-06-10 2022-12-15 Connaught Electronics Ltd. Verfahren zum Bestimmen von zumindest einer Fahrstreifenbegrenzung einer Fahrbahn in einem Bild mittels eines Assistenzsystems, omputerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021114935A1 (de) 2021-06-10 2022-12-15 Connaught Electronics Ltd. Verfahren zum Bestimmen von zumindest einer Fahrstreifenbegrenzung einer Fahrbahn in einem Bild mittels eines Assistenzsystems, omputerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem

Similar Documents

Publication Publication Date Title
DE102005015837B4 (de) Fahrspurerfassungsvorrichtung
DE10292327B4 (de) Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
EP1928687A1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
WO2011015283A1 (de) Verfahren zur überwachung einer umgebung eines fahrzeugs
WO2009132617A1 (de) Vorrichtung und verfahren zum erfassen und anzeigen des rückwärtigen und/oder seitlichen umfeldes eines kraftfahrzeugs
EP3250442A1 (de) Verfahren und vorrichtung zur wiedererkennung eines anhängers
DE102015115012A1 (de) Verfahren zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs anhand eines Bilds einer Kamera, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016124747A1 (de) Erkennen eines erhabenen Objekts anhand perspektivischer Bilder
DE102018113559A1 (de) Verfahren zum Erkennen einer Fahrbahnmarkierung durch Validieren anhand der Linienbreite; Steuereinrichtung; Stellplatzerkennungssystem; sowie Fahrerassistenzsystem
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102014201409B4 (de) Parkplatz - trackinggerät und verfahren desselben
DE102017104950A1 (de) Verfahren zum Erkennen einer Bodenmarkierung in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Kamera, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102017219123B4 (de) Verfahren zum Ermitteln von Objektgrenzen eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug
DE102016115327A1 (de) Verfahren zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von Objektmerkmalen aus Bildern, Kamerasystem sowie Kraftfahrzeug
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102016119592A1 (de) Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014214713A1 (de) Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
DE102018121867A1 (de) Verfahren und Vorrichtung zum Identifizieren einer Vorlage einer Deichsel eines Anhängers
DE102018114956A1 (de) Verfahren zum Bestimmen eines aktuellen Nässezustands einer Fahrbahn mittels einesNässezustandsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
DE102019100303A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Krümmung einer Fahrbahn
DE102014017904A1 (de) Verfahren und Vorrichtung zur Detektion erhabener Objekte und Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102017123582A1 (de) Verfahren zum Bestimmen einer Region von Interesse in einem von einer Kamera eines Kraftfahrzeugs aufgenommenen Bild, Steuereinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102023203322B3 (de) Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Fahrerassistenzeinrichtung, Fahrzeug und Computerprogramm

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R163 Identified publications notified
R005 Application deemed withdrawn due to failure to request examination