DE102021128115A1 - Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug - Google Patents

Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug Download PDF

Info

Publication number
DE102021128115A1
DE102021128115A1 DE102021128115.6A DE102021128115A DE102021128115A1 DE 102021128115 A1 DE102021128115 A1 DE 102021128115A1 DE 102021128115 A DE102021128115 A DE 102021128115A DE 102021128115 A1 DE102021128115 A1 DE 102021128115A1
Authority
DE
Germany
Prior art keywords
images
control system
motor vehicle
reflection
vehicle control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021128115.6A
Other languages
English (en)
Inventor
Marvin Raaijmakers
Stefan Krämer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cariad SE
Original Assignee
Cariad SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cariad SE filed Critical Cariad SE
Priority to DE102021128115.6A priority Critical patent/DE102021128115A1/de
Priority to CN202280072496.6A priority patent/CN118176524A/zh
Priority to PCT/EP2022/079045 priority patent/WO2023072696A1/de
Publication of DE102021128115A1 publication Critical patent/DE102021128115A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Fahrzeugsteuersystem (12) und ein Verfahren zum Bestimmen einer Gravitationsrichtung (14), umfassend als Schritte ein Ermitteln (S10) einer Wasserfläche (16), ein Aufnehmen (S12) von zumindest einem ersten und einem zweiten Bild einer Szenerie der Wasserfläche (16), wobei die Bilder aus zumindest einer ersten und einer zweiten Aufnahmeposition (P1, P2) aufgenommen werden, ein Ermitteln (S14) zumindest eines Objekts (20) in der Szenerie und dessen Reflektion (22, 22`) auf der Wasserfläche (16) aus den jeweiligen Bildern, ein Berechnen (S16) eines dreidimensionalen Vektors (14), der senkrecht auf die Wasserfläche (16) zeigt, aus den zumindest zwei Bildern, wobei der dreidimensionale Vektor (14) aus den jeweiligen Bildern in Abhängigkeit eines jeweiligen Merkmalspunkts (24) des Objekts (20) und dem Merkmalspunkt (26, 26`) der Reflektion (22, 22`) des Objekts (20) berechnet wird, und ein Bereitstellen (S18) des dreidimensionalen Vektors (14) als Gravitationsrichtung für das Fahrzeugsteuersystem (12).

Description

  • Die Erfindung betrifft ein Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, ein Fahrzeugsteuersystem, das dazu ausgebildet ist, das Verfahren durchzuführen sowie ein Kraftfahrzeug mit einem solchen Fahrzeugsteuersystem.
  • Die Kenntnis über eine Gravitationsrichtung kann dazu verwendet werden, ein Fahrzeugsteuersystem eines Kraftfahrzeugs zu kalibrieren, wobei ein Fahrzeugsteuersystem insbesondere ein Fahrerassistenzsystem, ein System zur Stabilisationssteuerung und/oder ein System zum autonomen Steuern des Kraftfahrzeugs sein kann. Beispielsweise kann die Kenntnis der Gravitationsrichtung dazu verwendet werden, eine Lage des Kraftfahrzeugs in einem Koordinatensystem, insbesondere in einer digitalen Karte, zu bestimmen.
  • Aus der DE 10 2015 109 238 A1 ist ein Verfahren bereitgestellt, um einen Zustand eines nassen Straßenbelags für ein Fahrzeug, das auf der Straße fährt, zu ermitteln. Es wird ein Bild außerhalb des Fahrzeugs durch eine Bilderfassungseinrichtung zu einem ersten und einem zweiten Zeitpunkt erfasst. Zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt werden potentielle Objekte und Merkmalsobjekte an einer Bodenoberfläche der Fahrstraße detektiert. Basierend auf einer Triangulationstechnik, die die Merkmalspunkte in den erfassten Bildern zu dem ersten Zeitpunkt und dem zweiten Zeitpunkt verwendet, wird eine Ermittlung bezüglich dessen durchgeführt, ob die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekten umfasst. In Ansprechen auf die Ermittlung, dass die Bodenoberfläche eine reflektierende Fläche mit Spiegeleffekten umfasst, wird eine nasse Fahrbahn angebendes Signal erzeugt.
  • Aus der US 2012/007 0071 A1 sind Systeme und Verfahren bekannt, die automatisiertes maschinelles Sehen umfassen, wobei Bilder von Szenen, die von einem 3D-Bildgebungssystem aufgenommen wurden, benutzt werden, um Wasser zu erkennen.
  • Der Erfindung liegt die Aufgabe zugrunde, eine Kalibration eines Fahrzeugsteuersystems durchzuführen.
  • Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen, der folgenden Beschreibung sowie den Figuren offenbart.
  • Die Erfindung basiert auf der Idee, dass eine Gravitationsrichtung anhand eines Vektors bestimmt werden kann, der orthogonal auf einer Wasserfläche steht. Dabei ist eine Linie in einem Bild der Wasseroberfläche, die von einem Merkmalspunkt eines Objekts und dessen Reflexion verläuft, parallel zu der Gravitationsrichtung. Dieser Effekt wird dazu verwendet, die Gravitationsrichtung aus aufgenommenen Bildern zu ermitteln und als Kalibration für ein Fahrzeugsteuersystem bereitzustellen.
  • Durch die Erfindung ist ein Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs bereitgestellt. Als Schritte umfasst das Verfahren ein Ermitteln einer Wasserfläche mittels einer Kameraeinrichtung des Kraftfahrzeugs, ein Aufnehmen von zumindest einem ersten und einem zweiten Bild einer Szenerie der Wasserfläche durch die Kameraeinrichtung, wobei die Bilder aus zumindest einer ersten und einer zweiten Aufnahmeposition aufgenommen werden, wobei sich die erste und die zweite Aufnahmeposition voneinander unterscheiden, und ein Ermitteln zumindest eines Objekts in der Szenerie und dessen Reflexion auf der Wasserfläche aus den jeweiligen Bildern, wobei in den zumindest zwei Bildern jeweils das gleiche Objekt und dessen Reflexion ermittelt werden. Des Weiteren umfasst das Verfahren ein Berechnen eines dreidimensionalen Vektors, der senkrecht auf die Wasserfläche zeigt, aus den zumindest zwei Bildern, wobei der dreidimensionale Vektor aus den jeweiligen Bildern in Abhängigkeit eines jeweiligen Merkmalspunkts des Objekts und dem Merkmalspunkt der Reflexion des Objekts berechnet wird, und ein Bereitstellen des dreidimensionalen Vektors als Gravitationsrichtung für das Fahrzeugsteuersystem.
  • Mit anderen Worten wird für die Bestimmung der Gravitationsrichtung zunächst eine Wasserfläche in der Umgebung des Kraftfahrzeugs ermittelt. Dies kann durch eine Kameraeinrichtung durchgeführt werden, die mittels Bildanalysealgorithmen eine Wasserfläche aus einem Bild erkennen kann. Als Wasserfläche kann hierbei beispielsweise ein Meer, See, Fluss und/oder eine Pfütze erkannt werden. Von dieser Wasserfläche und deren Umgebung, also der Szenerie der Wasserfläche, können zumindest zwei Bilder aus unterschiedlichen Aufnahmepositionen, die sich voneinander unterscheiden, aufgenommen werden. Die einzelnen Bilder können zweidimensional vorliegen, wobei durch die zumindest zwei Bilder aus unterschiedlichen Aufnahmepositionen eine Information über eine dritte Dimension erhalten werden kann.
  • Aus der Szenerie der zumindest zwei Bilder kann zumindest ein Objekt bestimmt werden, insbesondere mittels eines Bilderkennungsalgorithmus, wobei zusätzlich zu dem Objekt, das sich beispielsweise neben der Wasserfläche befinden kann, dessen Reflexion auf der Wasserfläche in den jeweiligen Bildern bestimmt wird. Das Objekt kann vorzugsweise ein statisches Objekt sein, wie beispielsweise ein Berg, Baum, Haus und/oder ein Infrastrukturobjekt. Auch die Reflexion des Objekts kann mittels des Bilderkennungsalgorithmus ermittelt werden, indem gleiche Objekte, die insbesondere gespiegelt sind, in dem jeweiligen Bild ermittelt werden. Daraus kann anschließend ein dreidimensionaler Vektor berechnet werden, der senkrecht auf die Wasserfläche zeigt. Dies kann mittels eines Merkmalspunkts des Objekts und dem entsprechenden Merkmalspunkt der Reflexion des Objekts berechnet werden. Hierbei wird ausgenutzt, dass eine Linie zwischen dem Merkmalspunkt des Objekts und dem entsprechenden Merkmalspunkt der Reflexion des Objekts im zweidimensionalen Bild parallel zu der Gravitationsrichtung ist. Da mit einem Bild jedoch noch keine Aussage über eine dritte Dimension des Vektors getroffen werden kann, wird dies zumindest für zwei Bilder berechnet, wobei aus den Linien zwischen den Merkmalspunkten der zwei Bilder der Vektor in drei Dimensionen berechnet werden kann.
  • Schließlich kann der so bestimmte dreidimensionale Vektor als Gravitationsrichtung für das Fahrzeugsteuersystem bereitgestellt werden. Das bedeutet, dass der dreidimensionale Vektor zur Kalibrierung des Fahrzeugsteuersystems verwendet werden kann, um beispielsweise eine Relativorientierung zu einer digitalen Karte bereitzustellen. Das Verfahren kann beispielsweise von dem Fahrzeugsteuersystem durchgeführt werden, das zumindest eine Kameraeinrichtung und vorzugsweise eine Rechenvorrichtung aufweist, um die zuvor genannten Schritte durchzuführen.
  • Durch die Erfindung ergibt sich der Vorteil, dass auf einfache Art und Weise mittels einer Kameraeinrichtung eine Gravitationsrichtung bestimmt werden kann, insbesondere auch während einer Fahrt des Kraftfahrzeugs. Mittels der Gravitationsrichtung kann dann ein Fahrzeugsteuersystem kalibriert werden.
  • Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
  • Eine Ausführungsform sieht vor, dass das Berechnen des dreidimensionalen Vektors als Schritte ein Berechnen einer ersten Fläche aus dem ersten Bild, die durch den Merkmalspunkt des Objekts, dem Merkmalspunkt der Reflexion des Objekts und einem Kamerazentrum der Kameraeinrichtung in der ersten Aufnahmeposition aufgespannt wird, und einer zweiten Fläche aus dem zweiten Bild, die durch den Merkmalspunkt des Objekts, den Merkmalspunkt der Reflexion und dem Kamerazentrum der Kameraeinrichtung in der zweiten Aufnahmeposition aufgespannt wird, umfasst, und ein Berechnen einer Schnittgeraden, an dem sich die erste Fläche und die zweite Fläche schneiden, wobei die Schnittgerade als dreidimensionaler Vektor bereitgestellt wird. Mit anderen Worten werden von dem Kamerazentrum in jeder der Aufnahmepositionen jeweilige Flächen aufgespannt, die durch den Merkmalspunkt des Objekts und dem Merkmalspunkt der Reflexion des Objekts verlaufen. Eine Schnittgerade dieser Flächen stellt den dreidimensionalen Vektor bereit, der dann als Gravitationsrichtung verwendet werden kann. Hierbei kann insbesondere ein Lochkameramodell angenommen werden, was bedeutet, dass alle Strahlen des Objekts und der Reflexion des Objekts ihren Ursprung im Kamerazentrum, also einer Beobachterposition, aufweisen. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine einfache und schnelle Berechnung des dreidimensionalen Vektors ermöglicht wird.
  • Eine weitere Ausführungsform sieht vor, dass die zumindest zwei Bilder von einer Stereokamera der Kameraeinrichtung und/oder zwei Kameras der Kameraeinrichtung aufgenommen werden, die an unterschiedlichen Positionen des Kraftfahrzeugs angeordnet sind. Das bedeutet, dass die zumindest zwei Bilder gleichzeitig durch die Kameraeinrichtung aufgenommen werden, wobei die zwei Bilder unterschiedliche Aufnahmepositionen aufweisen. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine bevorzugte Möglichkeit der Aufnahme der zumindest zwei Bilder, aus dem der dreidimensionale Vektor bestimmt werden kann, ermöglicht wird.
  • Eine weitere Ausführungsform sieht vor, dass die zumindest zwei Bilder von einer Kamera der Kameraeinrichtung zu unterschiedlichen Zeiten nach einer Bewegung des Kraftfahrzeugs aufgenommen werden. Mit anderen Worten kann die Kameraeinrichtung eine einzelne Kamera aufweisen, die am Kraftfahrzeug angeordnet ist, wobei die unterschiedlichen Aufnahmepositionen mittels einer Bewegung des Kraftfahrzeugs erzeugt werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine weitere bevorzugte Möglichkeit für die Aufnahme der zumindest zwei Bilder erreicht werden kann.
  • Eine weitere Ausführungsform sieht vor, dass die Wasseroberfläche anhand einer Aufnahme mit und einer Aufnahme ohne Polarisationsfilter ermittelt wird. So kann insbesondere die Wasserfläche mit und ohne Reflexionen erkannt werden, da Reflexionen auf der Wasseroberfläche von dem Polarisationsfilter herausgefiltert werden können. Wird ein solcher Unterschied festgestellt, kann darauf geschlossen werden, dass eine Reflexion stattgefunden hat, und somit eine Wasserfläche vorliegt. Der Polarisationsfilter ist vorzugsweise ein linearer Polarisationsfilter, der zum Erkennen der Wasserfläche reflektiertes Licht herausfiltern kann und somit durch einen Vergleich der jeweiligen Bilder die Wasserfläche erkannt werden kann. Alternativ oder zusätzlich kann auch eine Position der Wasserfläche mit vorgegebenen digitalen Karten abgeglichen werden, insbesondere ob ein See an dieser Position erwartet wird, wobei somit die Bestimmung der Wasserfläche verbessert werden kann.
  • Eine weitere Ausführungsform sieht vor, dass das zumindest eine Objekt und dessen Reflexion in den jeweiligen Bildern mittels eines Bilderkennungsalgorithmus ermittelt wird. Vorzugsweise kann der Bilderkennungsalgorithmus mittels eines Machine-Learning-Algorithmus angelernt sein und somit automatisch Objekte aus den Bildern erkennen. Insbesondere kann der Bilderkennungsalgorithmus auch dazu ausgebildet sein, das gespiegelte Objekt, das die Reflexion an der Wasserfläche darstellt, zu suchen und in den Bildern zu erkennen. Somit können entsprechende Objekte und deren Reflexionen in den jeweiligen Bildern zugeordnet werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine automatisierte Ermittlung der Objekte in den jeweiligen Bildern durchgeführt werden kann.
  • Eine weitere Ausführungsform sieht vor, dass mehrere Objekte und deren Reflexionen in den zumindest zwei Bildern ermittelt werden, wobei für alle Objekte dreidimensionale Vektoren berechnet werden, wobei die Gravitationsrichtung aus einem Mittelwert der Richtungen aller dreidimensionaler Vektoren bestimmt wird. Mit anderen Worten kann zusätzlich zu den zumindest einen Objekt und den jeweiligen Merkmalspunkten des Objekts ein oder mehrere weitere Objekte und deren Merkmalspunkte verwendet werden, um jeweilige dreidimensionale Vektoren zu ermitteln. Aus der Gesamtheit aller dieser ermittelten dreidimensionalen Vektoren kann anschließend ein Mittelwert gebildet werden, der die Gravitationsrichtung anzeigt. Der Mittelwert kann beispielsweise ein geometrischer Mittelwert oder ein arithmetischer Mittelwert sein. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine Genauigkeit bei der Bestimmung der Gravitationsrichtung verbessert werden kann, indem der Effekt von Ausreißern minimiert wird.
  • Eine weitere Ausführungsform sieht vor, dass zusätzlich zu der Gravitationsrichtung ein Betrag des Gravitationsvektors mittels einer Ortsposition und/oder Höhenposition des Kraftfahrzeugs bestimmt wird. Insbesondere kann der Betrag des Gravitationsvektors beziehungsweise des Schwerefelds der Erde ca. 9,81 Meter pro Sekunde2 betragen, wobei dieser je nach Ortsposition und/oder Höhenposition auf der Erde abweichen kann. So kann die Ortsposition des Kraftfahrzeugs beispielsweise mittels eines Positionssensors gemessen werden und/oder die Höhenposition mittels eines Höhenmessers, wobei anhand dieser Werte und mittels einer Nachschlagetabelle der Betrag des Gravitationsvektors an dem Ort und/oder der Höhe bestimmt werden kann. Durch diese Ausführungsform ergibt sich der Vorteil, dass zusätzlich zu der Gravitationsrichtung auch der Betrag des Gravitationsvektors bestimmt werden kann.
  • Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeugsteuersystem, das dazu ausgebildet ist, ein Verfahren nach einer der vorhergehenden Ausführungsformen durchzuführen. Das Fahrzeugsteuersystem kann beispielsweise eine Kameraeinrichtung aufweisen, die dazu ausgebildet ist, eine Wasserfläche und zumindest ein erstes und ein zweites Bild einer Szenerie der Wasserfläche zu ermitteln und/oder aufzunehmen, wobei das Fahrzeugsteuersystem vorzugsweise eine Steuervorrichtung beziehungsweise eine Rechenvorrichtung aufweist, die dazu ausgebildet ist, zumindest ein Objekt in der Szenerie und dessen Reflexion auf der Wasserfläche aus den jeweiligen Bildern zu ermitteln und einen dreidimensionalen Vektor, der senkrecht auf die Wasserfläche zeigt, aus den zumindest zwei Bildern zu berechnen. Anschließend kann der berechnete dreidimensionale Vektor als Gravitationsrichtung für das Fahrzeugsteuersystem verwendet werden. Das Fahrzeugsteuerungssystem ist vorzugsweise als Fahrerassistenzsystem und/oder als System zum autonomen Steuern eines Kraftfahrzeugs ausgebildet. Die Gravitationsrichtung kann vorzugsweise dazu verwendet werden, eine Relativorientierung zu einer digitalen Karte, insbesondere zu einer hochauflösenden digitalen Karte, bereitzustellen, mittels der eine Steuerung eines Kraftfahrzeugs ermöglicht wird. Durch diesen Aspekt der Erfindung ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.
  • Erfindungsgemäß ist auch ein Kraftfahrzeug mit einem Fahrzeugsteuersystem gemäß dem vorhergehenden Aspekt der Erfindung vorgesehen. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
  • Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
  • Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Fahrzeugsteuersystems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Fahrzeugsteuersystems hier nicht noch einmal beschrieben.
  • Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
  • Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
    • 1 eine schematische Ansicht eines Kraftfahrzeugs und einer Szenerie einer Wasserfläche gemäß einer beispielhaften Ausführungsform;
    • 2 ein schematisches Verfahrensdiagramm gemäß einer beispielhaften Ausführungsform.
  • Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
  • In 1 ist eine beispielhafte Situation eines Kraftfahrzeugs 10 mit einem Fahrzeugsteuersystem 12 zur Bestimmung einer Gravitationsrichtung 14 gemäß einer beispielhaften Ausführungsform dargestellt. Hierbei kann das Kraftfahrzeug 10 beispielsweise an einer Wasserfläche 16, insbesondere einem See 16, entlang fahren. Dieser See 16 kann von einer Kameraeinrichtung 18 des Fahrzeugsteuersystems 12 als Wasserfläche erkannt werden. Beispielsweise kann die Kameraeinrichtung 18 eine Aufnahme des Sees 16 und dessen Szenerie beziehungsweise Umgebung mit und ohne Polarisationsfilter aufnehmen, wobei anhand der Aufnahmen anschließend überprüft werden kann, ob Reflexionen im See 16 bei der Aufnahme mit Polarisationsfilter herausgefiltert werden, was auf das Vorhandensein einer Wasserfläche 16 hindeutet. Alternativ oder zusätzlich können Bilderkennungsalgorithmen Wasserflächen aufgrund vorgegebener Merkmale erkennen.
  • Wird erkannt, dass eine Wasserfläche 16 vorliegt, kann durch die Kameraeinrichtung 18 in einer ersten Aufnahmeposition P1 des Kraftfahrzeugs 10 ein erstes Bild des Sees 16 und des in der Umgebung befindlichen Objekts 20, das insbesondere ein Baum 20 sein kann, aufgenommen werden. Zusätzlich dazu kann durch die Kameraeinrichtung 18 in einer zweiten Aufnahmeposition P2 der See 16 mit dem Baum 20 aufgenommen werden. Hierbei können sich die Aufnahmepositionen P1 und P2 unterscheiden, beispielsweise indem diese zu unterschiedlichen Zeiten nach einer Bewegung des Kraftfahrzeugs 10 aufgenommen werden. Alternativ oder zusätzlich können die unterschiedlichen Aufnahmepositionen P1, P2 auch mittels einer Stereokamera und/oder zwei Kameras aufgenommen werden, die sich an unterschiedlichen Positionen im Kraftfahrzeug 10 befinden.
  • Nach der Aufnahme der zumindest zwei Bilder können Objekte und deren Reflektionen im See 16 aus den Bildern ermittelt werden, vorzugsweise mittels eines Bilderkennungsalgorithmus. Das heißt, dass in dieser Situation der Baum 20 und zusätzlich dazu die Reflexionen 22 und 22' des Baums 20 in dem See 16 aus den zumindest zwei Bildern ermittelt werden.
  • Des Weiteren kann das Fahrzeugsteuersystem 12 dazu ausgebildet sein, in den jeweilig aufgenommenen Bildern Flächen zu ermitteln, die durch einen Merkmalspunkt 24 des Baums, beispielsweise einer Baumspitze 24, und dem entsprechenden Merkmalspunkt 26, 26' der jeweiligen Reflexion 22, 22` des Baums 20 in dem See 16 aufgespannt werden. Die so aus den jeweiligen Bildern erhaltenen Flächen 28, 28' weisen eine Schnittgerade auf, wobei die Schnittgerade einen dreidimensionalen Vektor darstellt, der senkrecht auf der Wasserfläche 16 steht und somit die Gravitationsrichtung 14 anzeigt. Diese Gravitationsrichtung 14 kann schließlich für die Kalibration des Fahrzeugsteuersystems 12, insbesondere um eine Lage im Raum zu ermitteln, bereitgestellt werden.
  • In 2 ist ein schematisches Verfahrensdiagramm zum Bestimmen einer Gravitationsrichtung 14 für ein Fahrzeugsteuersystem 12 eines Kraftfahrzeugs 10 dargestellt. In einem Schritt S10 kann eine Wasserfläche 16 mittels einer Kameraeinrichtung 18 des Kraftfahrzeugs 10 ermittelt werden. In einem Schritt S12 kann zumindest ein erstes und ein zweites Bild einer Szenerie der Wasserfläche 16 durch die Kameraeinrichtung 18 aufgenommen werden, wobei die zumindest zwei Bilder aus unterschiedlichen Aufnahmepositionen P1, P2 aufgenommen werden. Hierzu kann die Kameraeinrichtung 18 beispielsweise eine Stereokamera aufweisen.
  • In einem Schritt S14 kann zumindest ein Objekt 20 in der Szenerie ermittelt werden und zusätzlich eine Reflexion 22, 22' des Objekts 20 in den aufgenommenen Bildern. In einem Schritt S16 kann anschließend ein dreidimensionaler Vektor 14 berechnet werden, der senkrecht auf die Wasserfläche 16 zeigt, wobei dieser in Abhängigkeit von einem jeweiligen Merkmalspunkt 24 des Objekts 20 und dem entsprechenden Merkmalspunkt 26, 26` der Reflexion 22, 22' des Objekts 20 berechnet wird. Vorzugsweise können auch dreidimensionale Vektoren mehrerer Objekte in den jeweiligen Bildern bestimmt werden, wobei anschließend ein Mittelwert der dreidimensionalen Vektoren bestimmt werden kann, der in einem Schritt S18 als Gravitationsrichtung für das Fahrzeugsteuersystem 12 bereitgestellt werden kann. Zusätzlich zu der Gravitationsrichtung kann auch ein Betrag des Gravitationsvektors bestimmt werden, indem eine Ortsposition und/oder Höhenposition des Kraftfahrzeugs 10 ermittelt wird und anhand dieser, zum Beispiel aus einer Nachschlagetabelle, der Betrag der Gravitationskraft an dieser Position verwendet wird.
  • Insgesamt zeigen die Beispiele, wie durch die Erfindung eine Wahrnehmung der Schwerkraftrichtung über Wasserreflexionen bereitgestellt werden kann.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102015109238 A1 [0003]
    • US 2012/0070071 A1 [0004]

Claims (10)

  1. Verfahren zum Bestimmen einer Gravitationsrichtung (14) für ein Fahrzeugsteuersystem (12) eines Kraftfahrzeugs (10), mit den Schritten: - Ermitteln (S10) einer Wasserfläche (16) mittels einer Kameraeinrichtung (18) des Kraftfahrzeugs (10); - Aufnehmen (S12) von zumindest einem ersten und einem zweiten Bild einer Szenerie der Wasserfläche (16) durch die Kameraeinrichtung (18), wobei die Bilder aus zumindest einer ersten und einer zweiten Aufnahmeposition (P1, P2) aufgenommen werden, wobei sich die erste und die zweite Aufnahmeposition (P1, P2) voneinander unterscheiden; - Ermitteln (S14) zumindest eines Objekts (20) in der Szenerie und dessen Reflektion (22, 22`) auf der Wasserfläche (16) aus den jeweiligen Bildern, wobei in den zumindest zwei Bildern jeweils das gleiche Objekt (20) und dessen Reflektion (22, 22`) ermittelt werden; - Berechnen (S16) eines dreidimensionalen Vektors (14), der senkrecht auf die Wasserfläche (16) zeigt, aus den zumindest zwei Bildern, wobei der dreidimensionale Vektor (14) aus den jeweiligen Bildern in Abhängigkeit eines jeweiligen Merkmalspunkts (24) des Objekts (20) und dem Merkmalspunkt (26, 26`) der Reflektion (22, 22`) des Objekts (20) berechnet wird; - Bereitstellen (S18) des dreidimensionalen Vektors (14) als Gravitationsrichtung für das Fahrzeugsteuersystem (12).
  2. Verfahren nach Anspruch 1, wobei das Berechnen des dreidimensionalen Vektors (14) mit folgenden Schritten durchgeführt wird: - Berechnen einer ersten Fläche (28) aus dem ersten Bild, die durch den Merkmalspunkt (24) des Objekts (20), dem Merkmalspunkt (26) der Reflektion (22) des Objekts (20) und einem Kamerazentrum der Kameraeinrichtung (18) in der ersten Aufnahmeposition (P1) aufgespannt wird, und einer zweiten Fläche (28`) aus dem zweiten Bild, die durch den Merkmalspunkt (24) des Objekts (20), dem Merkmalspunkt (26`) der Reflektion (22`) und dem Kamerazentrum der Kameraeinrichtung (18) in der zweiten Aufnahmeposition (P2) aufgespannt wird; - Berechnen einer Schnittgeraden an dem sich die erste Fläche (28) und die zweite Fläche (28`) schneiden, wobei die Schnittgerade als dreidimensionaler Vektor (14) bereitgestellt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest zwei Bilder von einer Stereokamera der Kameraeinrichtung (18) und/oder zwei Kameras der Kameraeinrichtung (18) aufgenommen werden, die an unterschiedlichen Positionen des Kraftfahrzeugs (10) angeordnet sind.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest zwei Bilder von einer Kamera der Kameraeinrichtung (18) zu unterschiedlichen Zeiten nach einer Bewegung des Kraftfahrzeugs (10) aufgenommen werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Wasserfläche (16) anhand einer Aufnahme mit und einer Aufnahme ohne Polarisationsfilter ermittelt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das zumindest eine Objekt (20) und dessen Reflektion (22, 22`) in den jeweiligen Bildern mittels eines Bilderkennungsalgorithmus ermittelt wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere Objekte und deren Reflektionen in den zumindest zwei Bildern ermittelt werden, wobei für alle Objekte dreidimensionale Vektoren berechnet werden, wobei die Gravitationsrichtung aus einem Mittelwert der Richtungen aller dreidimensionaler Vektoren bestimmt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich zu der Gravitationsrichtung ein Betrag des Gravitationsvektors mittels einer Ortsposition und/oder Höhenposition des Kraftfahrzeugs (10) bestimmt wird.
  9. Fahrzeugsteuersystem (12), das dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
  10. Kraftfahrzeug (10) mit einem Fahrzeugsteuersystem (12) nach Anspruch 9.
DE102021128115.6A 2021-10-28 2021-10-28 Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug Pending DE102021128115A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102021128115.6A DE102021128115A1 (de) 2021-10-28 2021-10-28 Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug
CN202280072496.6A CN118176524A (zh) 2021-10-28 2022-10-19 为机动车的车辆控制系统确定重力方向的方法、车辆控制系统以及机动车
PCT/EP2022/079045 WO2023072696A1 (de) 2021-10-28 2022-10-19 Verfahren zum bestimmen einer gravitationsrichtung für ein fahrzeugsteuersystem eines kraftfahrzeugs, fahrzeugsteuersystem und kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021128115.6A DE102021128115A1 (de) 2021-10-28 2021-10-28 Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102021128115A1 true DE102021128115A1 (de) 2023-05-04

Family

ID=84358142

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021128115.6A Pending DE102021128115A1 (de) 2021-10-28 2021-10-28 Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug

Country Status (3)

Country Link
CN (1) CN118176524A (de)
DE (1) DE102021128115A1 (de)
WO (1) WO2023072696A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070071A1 (en) 2010-09-16 2012-03-22 California Institute Of Technology Systems and methods for automated water detection using visible sensors
DE102015109238A1 (de) 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Sichtbasierte Detektion eines nassen Straßenbelags

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070071A1 (en) 2010-09-16 2012-03-22 California Institute Of Technology Systems and methods for automated water detection using visible sensors
DE102015109238A1 (de) 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Sichtbasierte Detektion eines nassen Straßenbelags

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEIER, K. [et al.]: River segmentation for autonomous surface vehicle localization and river boundary mapping. In: Journal of Field Robotics, 2021, 38. Jg., Nr. 2, S. 192-211.URL: https://onlinelibrary.wiley.com/doi/pdf/10.1002/rob.21989[online abgerufen am 04.08.2022]
SHABAYEK, A. - E. [et al.]: Visual Behaviour Based Bio-inspired Polarization Techniques In Computer Vision and Robotics. 2012.URL: https://www.academia.edu/download/5565578/12.pdf[online abgerufen am 04.08.2022]

Also Published As

Publication number Publication date
CN118176524A (zh) 2024-06-11
WO2023072696A1 (de) 2023-05-04

Similar Documents

Publication Publication Date Title
DE102014116140B4 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102009009815A1 (de) Verfahren und Vorrichtung zur Erkennung von Parklücken
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102008058279A1 (de) Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
DE102015220252A1 (de) Spurhalte-Unterstützungssystem und Verfahren für dieses
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
DE102009019399B4 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
DE102012209316A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
DE102017011177A1 (de) Verfahren zum Ermitteln eines Knickwinkels eines Fahrzeug-Gespanns, Ermittlungseinrichtung sowie Fahrzeug-Gespann
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE102014114221A1 (de) Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102017217008A1 (de) Verfahren zum Ermitteln der Steigung einer Fahrbahn
DE102017217140B4 (de) Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera
DE102018132676A1 (de) Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE102021128115A1 (de) Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
DE102014206677A1 (de) Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
DE102010042821A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
DE102014017904A1 (de) Verfahren und Vorrichtung zur Detektion erhabener Objekte und Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102019102561A1 (de) Verfahren zum Erkennen einer Pflastermarkierung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R081 Change of applicant/patentee

Owner name: CARIAD SE, DE

Free format text: FORMER OWNER: AUDI AKTIENGESELLSCHAFT, 85057 INGOLSTADT, DE

R016 Response to examination communication