DE102021208825A1 - Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist - Google Patents

Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist Download PDF

Info

Publication number
DE102021208825A1
DE102021208825A1 DE102021208825.2A DE102021208825A DE102021208825A1 DE 102021208825 A1 DE102021208825 A1 DE 102021208825A1 DE 102021208825 A DE102021208825 A DE 102021208825A DE 102021208825 A1 DE102021208825 A1 DE 102021208825A1
Authority
DE
Germany
Prior art keywords
image
mobile platform
trailer
environment
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021208825.2A
Other languages
English (en)
Inventor
Jose Domingo Esparza Garcia
Raphael Cano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021208825.2A priority Critical patent/DE102021208825A1/de
Priority to CN202280055875.4A priority patent/CN117836747A/zh
Priority to EP22758439.8A priority patent/EP4384892A1/de
Priority to PCT/EP2022/070991 priority patent/WO2023016798A1/de
Publication of DE102021208825A1 publication Critical patent/DE102021208825A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

Es wird ein Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist, vorgeschlagen, wobei die mobile Plattform eine erste rückwärts gerichtete Kamera aufweist, mit den Schritten: Bereitstellen eines ersten Rück-Bildes der ersten rückwärts gerichteten Kamera; Bereitstellen eines zweiten Rück-Bildes, das mittels einer zweiten rückwärts gerichteten Kamera generiert wurde;Bestimmen eines Anhänger-Bildbereiches in dem ersten Rück-Bild, in dem ein Teil der Umgebung von dem gekoppelten Anhänger verdeckt wird; undErsetzen zumindest eines Teils des Anhänger-Bildbereichs in dem ersten Bild mit einem Teil-Bildbereich des zweiten Rück-Bildes, um die rückwärtige Umgebung der mobilen Plattform darzustellen.

Description

  • Stand der Technik
  • Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung. Bei der Interpretation der Sensordaten werden für Klassifikations- und Detektionsaufgaben Methoden des maschinellen Lernens (engl. Machine Learning) eingesetzt. Im Video-Bereich wird dabei beispielsweise mit Faltungsnetzwerken (engl. Convolutional Neural Networks) gearbeitet. Die meisten Surround-View-Systeme zur Erfassung des Umfeldes eines Fahrzeugs verwenden heutzutage vier Kameras. Wenn jedoch ein Anhänger angehängt ist, kann die Rückansicht unbrauchbar werden und es entsteht ein großer toter Winkel im hinteren Teil des Fahrzeugs.
  • Offenbarung der Erfindung
  • Das oben beschriebene Problem kann mit einem weiteren, insbesondere fünften, Kamerasystem gelöst werden, das an eine Rückseite des Anhängers mechanisch gekoppelt wird, und entgegen der Fahrtrichtung ausgerichtet ist, um den von dem Anhänger verdeckten Bereich abzubilden. Mit dieser fünften Kamera kann die Sicherheit des Gespanns aus Zugfahrzeug und Anhänger deutlich verbessert werden, insbesondere, wenn Bilder dieser fünften Kamera den verdeckten Teil der Heckkamera des Zugfahrzeuges ergänzt. Die fünfte Kamera kann allerdings die Heckkamera des Zugfahrzeugs, insbesondere beim rückwärts Rangieren, nicht ersetzen. In einem beispielhaften Szenario wird 50% des Bildes der Heckkamera verdeckt, die der Anhänger einnimmt. Diese 50% des Bildes kann durch Bilder der fünften Kamera ergänzt werden, wenn der entsprechende Ausschnitt der Bilder der fünften Kamera auf den verdeckten Bereich der Heckkamera projiziert wird und gewissermaßen den Anhänger transparent erscheinen lässt. Diese Lösung funktioniert allerdings nur, wenn der Anhänger fast gerade zum Zugfahrzeug ausgerichtet ist. Bei einer Kurvenfahrt mit einem Winkel des Anhängers zum Zugfahrzeug oberhalb von beispielsweise 6° wird das System typischerweise deaktiviert, so dass nur Bilder der Heckkamera, bzw. Rückfahrkamera, visualisiert werden. Dies stellt eine große Einschränkung dar, da viele kritische Situationen mit einem Anhänger in Parksituationen auftreten, wenn der Knickwinkel zwischen dem Zugfahrzeug und dem Anhänger größer als 6° ist. Mit anderen Worten basiert die beschriebene Lösung auf einem pseudostatischen Overlay. Deshalb kann eine solche Lösung den Anhänger nicht korrekt ausblenden, wenn infolge einer Kurvenfahrt ein größerer Knickwinkel zwischen dem Zugfahrzeug und dem Anhänger auftritt. Die Form des Anhängers wird bei den bisherigen Verfahren im Voraus festgelegt und kann nicht in Echtzeit angepasst werden, wenn die Kamera den mechanisch gekoppelten Anhänger unter einem anderen Knickwinkel sieht.
  • Gemäß Aspekten der Erfindung wird ein Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist, ein System zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist, ein trainiertes neuronales Netzwerk, ein Steuergerät, eine mobile Plattform und ein Computerprogramm, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
  • In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
  • Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform vorgeschlagen, wobei die mobile Plattform mit einem Anhänger gekoppelt ist, und eine erste rückwärts gerichtete Kamera aufweist. Das Verfahren zur Darstellung einer rückwärtigen Umgebung enthält die folgenden Schritte. In einem Schritt wird ein erstes Rück-Bild der ersten rückwärts gerichteten Kamera bereitgestellt. In einem weiteren Schritt wird ein zweites Rück-Bild bereitgestellt, das mittels einer zweiten rückwärts gerichteten Kamera generiert wurde, wobei insbesondere die zweite rückwärts gerichtete Kamera eine andere Perspektive auf die rückwärtige Umgebung aufweist als die erste rückwärts gerichtete Kamera, um die rückwärtige Umgebung vollständiger darzustellen. In einem weiteren Schritt wird ein Anhänger-Bildbereich in dem ersten Rück-Bild bestimmt, in dem ein Teil der Umgebung von dem gekoppelten Anhänger verdeckt wird. In einem weiteren Schritt wird zumindest ein Teil des Anhänger-Bildbereichs in dem ersten Bild mit einem Teil-Bildbereich des zweiten Bildes ersetzt, um die rückwärtige Umgebung der mobilen Plattform darzustellen.
  • Dabei kann die erste rückwärts gerichtete Kamera eine Heckkamera des Zugfahrzeugs sein.
  • Vorteilhafterweise kann mit diesem Verfahren in einem weiten Bereich von Knickwinkeln der Anhänger „transparent“ gemacht werden, da der Anhänger, zum Beispiel mithilfe der semantischen Segmentierung, in dem ersten Rück-Bild identifiziert werden kann und mit Teilbereichen des zweiten Rück-Bildes ersetzt werden kann und somit eine vollständige Abbildung der rückwärtigen Umgebung der mobilen Plattform gewährleistet. Die semantische Segmentierung kann mit dedizierte Hardware ausreichend effizient und schnell werden, um die semantische Segmentierung in Echtzeit durchzuführen. Wenn der Anhänger-Bildbereich mittels eines trainierten neuronalen Netzwerks bestimmt wird, muss das neuronale Netzwerk trainiert werden, eine semantische Segmentierung des ersten Rück-Bildes durchzuführen. Dazu kann das neuronale Netzwerk mit Referenzbildern von Standard-Anhängertypen unter verschiedenen Blickwinkeln, die den entsprechenden Kurven-Situationen entspricht, trainiert werden.
  • Mit anderen Worten, es ist nicht mehr notwendig, nachdem das neuronale Netzwerk trainiert wurde, den Anhänger-Bildbereich, dem zumindest ein Teil-Bildbereich des zweiten Rück-Bildes überlagert werden soll, an die verschiedenen Formen des Anhängers und Situationen bei unterschiedlichem Knickwinkel anzupassen. Der Algorithmus der semantischen Segmentierung erkennt in dem ersten Rück-Bild auf Pixelebene den Anhänger. Basierend auf dem bestimmten Anhänger-Bildbereich kann jedes Anhängerpixel durch die Videoinformation ersetzt werden, die von der zweiten rückwärts gerichteten Kamera bereitgestellt wird, die hinten am Anhänger mechanisch gekoppelt sein kann. Mittels der semantischen Segmentierung kann die Kontur des Anhängers nicht nur im gerade gerichteten Anwendungsfall des Gespanns erkannt werden, sondern auch, wenn das Zugfahrzeug abbiegt und ein Knickwinkel zwischen dem Zugfahrzeug und dem Anhänger auftritt. Der Anhänger-Bildbereich kann, wie ein Bild im Bild, durch das aktuelle Video der Heckkamera des Anhängers ersetzt werden.
  • Alternativ oder zusätzlich kann bei dem Verfahren ein Nutzer in den Teil-Bildbereich, beispielsweise per Touchscreen, „hineinzoomen“, wenn dieser Bildbereich klein ist, um einen besseren Überblick über die aktuelle Situation zu haben. Dadurch wird eine optimale Auflösung der Kamera-Bilder erreicht.
  • Vorteilhafterweise ist es bei diesem Verfahren nicht notwendig, die Form des Anhängers für jedes Fahrzeug und jeden Anhänger anzupassen. Das Bild im Bild, entsprechend einem „transparenten“ Anhänger kann unter allen Knickwinkeln durchgeführt werden, sodass die „transparente Funktionalität“ bei allen Park- oder Fahrsituationen mit dem Anhänger bereitgestellt werden kann.
  • Gemäß einem Aspekt wird vorgeschlagen, dass der Anhänger die zweite rückwärts gerichtete Kamera aufweist.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die mobile Plattform die zweite rückwärts gerichtete Kamera mit einem von der ersten rückwärts gerichteten Kamera verschiedenen rückwärts gerichteten Blickwinkel aufweist.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die zweite rückwärts gerichtete Kamera eine Seitenkamera der mobilen Plattform ist. Mit anderen Worten kann das Verfahren auch verwendet werden, wenn das erste Rück-Bild von Seitenkameras generiert wird. Auch dann kann der Anhänger-Bildbereich durch Teil-Bildbereiche des zweiten Rück-Bildes ersetzt werden, um den Anhänger in einer Darstellung der rückwärtigen Umgebung „transparent“ zu machen. Dazu kann es notwendig sein, das neuronale Netzwerk mit Referenzbildern, die für diese Situation generiert und gelabelt wurden, zu trainieren.
  • Gemäß einem Aspekt wird vorgeschlagen, dass die zweite rückwärts gerichtete Kamera an einem Außenspiegel der mobilen Plattform angeordnet ist, um Seiten des Anhängers, insbesondere inclusive einer rückwärts gerichteten Seitenansicht bei einem Abbiege-Vorgang zu visualisieren.
  • Gemäß einem Aspekt wird vorgeschlagen, dass der Anhänger-Bildbereich mittels eines trainierten maschinellen Lern-Systems bestimmt wird.
  • Dabei sind Beispiele für maschinelle Lern-Systeme ein neuronales Faltungs-Netzwerk, ggf. in Kombination mit vollständig verbundenen neuronalen Netzen, ggf. unter Nutzung von klassischen Regularisierungs- und Stabilisierungsschichten wie Batch-Normalisierung und Trainings-Drop-Outs, unter Nutzung verschiedener Aktivierungsfunktionen wie Sigmoid und ReLu, etc., klassische Ansätze wie Support-Vector-Machines, Boosting, Entscheidungsbäume, sowie Random-Forrests können auch als maschinelle Lern-Systeme für das beschriebene Verfahren verwendet werden.
  • Bei neuronalen Netzen kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten.
  • Die Architektur eines solchen künstlichen neuronalen Netzes kann ein neuronales Netz sein, das entsprechend einem Multi-Layer-Perceptron (MLP) ggf. mit weiteren, anders aufgebauten Schichten erweitert ist. Ein Multi-Layer-Perceptron (MLP) Netz gehört zur Familie der künstlichen feed-forward neuronalen Netzwerke. Grundsätzlich bestehen MLPs aus mindestens drei Schichten von Neuronen: einer Eingabe-Schicht, einer Zwischen-Schicht (hidden layer) und einer Ausgabe-Schicht. Das bedeutet, alle Neuronen des Netzwerks sind in Schichten eingeteilt.
  • Dabei sind in feed-forward Netzen keine Verbindungen zur vorherigen Schichten realisiert. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sein können. Ein tiefes neuronales Netz kann viele solcher Zwischen-Schichten aufweisen.
  • Gemäß einem Aspekt wird vorgeschlagen, dass das trainierte maschinelle Lern-System ein trainiertes neuronales Netzwerk zur semantischen Segmentierung des ersten Rück-Bildes ist.
  • Es wird ein Verfahren zum Generieren eines trainierten neuronalen Netzwerks zum semantischen Segmentieren von Objekten eines digitalen ersten Rück-Bildes einer rückwärtigen Umgebung einer mobilen Plattform mit einer Vielzahl von Trainings-Zyklen vorgeschlagen, wobei jeder Trainings-Zyklus die folgenden Schritte aufweist. In einem Schritt wird ein digitales erstes Rück-Bild einer rückwärtigen Umgebung einer mobilen Plattform mit zumindest einem Anhänger, der an die mobile Plattform gekoppelt ist, bereitgestellt. In einem weiteren Schritt wird ein zu dem digitalen ersten Rück-Bild zugeordnetes Referenz-Bild bereitgestellt, wobei der zumindest eine Anhänger in dem Referenzbild gelabelt ist. In einem weiteren Schritt wird das digitale erste Rück-Bild als Eingangssignal dem neuronalen Netzwerks bereitgestellt. In einem weiteren Schritt wird das neuronale Netzwerk adaptiert, um bei dem semantischen Segmentieren des zumindest einen Anhängers des digitalen ersten Rück-Bildes eine Abweichung der Klassifizierung von dem jeweiligen zugeordneten Referenz-Bild zu minimieren.
  • Das neuronale Netz wird also auf Standard-Anhängertypen und unter verschiedenen Rückblickwinkeln während der Kurvensituation trainiert. Dabei kann das neuronale Netzwerk ein neuronales Faltungs-Netzwerk sein.
  • Referenz-Bilder sind Bilder, die insbesondere speziell für das Anlernen eines maschinellen Lern-Systems aufgenommen und beispielsweise manuell selektiert und annotiert wurden oder synthetisch generiert wurden und bei denen die Mehrzahl der Bereiche in Bezug auf die Klassifikation der Bereiche gelabelt sind. Beispielsweise kann ein solches Labeln der Bereiche manuell entsprechend den Vorgaben der Klassifikation, wie den zumindest zwei Blindheit-Attributen, erfolgen.
  • Solche neuronalen Netze müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron kann die Eingangs-Signale mit seinem Gewicht gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis ein Fehlerkriterium erfüllt ist. Ein solches Fehlerkriterium kann z.B. der Klassifikationsfehler auf einem Test-Daten-Set sein, oder auch ein aktueller Wert einer Loss-Funktion, beispielsweise auf einem Trainings-Daten-Set. Alternativ oder zusätzlich kann das Fehlerkriterium ein Abbruchkriterium betreffen als einen Schritt bei dem im Training ein Overfitting einsetzen würde oder die verfügbare Zeit zum Training abgelaufen ist.
  • Das optische Bild wird in digitaler Form dem trainierten neuronalen Netzwerk als Eingangssignal bereitgestellt. Mit dem so trainierten neuronalen Netzwerk kann das erste Rück-Bild semantisch Segmentiert werden, um in dem ersten Rück-Bild eine einen Pixel-Teilbereich zu identifizieren, indem der Anhänger abgebildet wird. Dieser Teilbereich kann dann mit einem entsprechenden Teilbereich des zweiten Rück-Bildes ersetzt werden, um die rückwärtigen Umgebung der mobilen Plattform darzustellen.
  • Alternativ oder zusätzlich kann das Verfahren mit einer Mehrzahl von Kamerasystemen entsprechend durchgeführt werden, indem die Bilder der Kamerasysteme fusioniert werden.
  • Es wird ein Verfahren vorgeschlagen bei dem, basierend auf einer oben beschriebenen Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf dem ersten und/oder dem zweiten Fehlersignal ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
  • Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einer entsprechend einem der oben beschriebenen Verfahren generierten Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass abhängig von der Darstellung der rückwärtigen Umgebung der mobilen Plattform, jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals. Beispielsweise kann ein Steuersignal bereitgestellt werden, wenn der bestimmte Anhänger-Bildbereich festgelegte Grenzen im ersten Rück-Bild verlässt.
  • Es wird ein System zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist, vorgeschlagen, mit einer ersten rückwärts gewandten Kamera und einer zweiten rückwärts gewandten Kamera. Weiterhin hat das System eine Vorrichtung zur Datenverarbeitung, um eine Darstellung der rückwärtigen Umgebung der mobilen Plattform zu generieren, mit einem ersten Eingang für Signale der ersten rückwärtsgewandten Kamera und einem zweiten Eingang für Signale der zweiten rückwärtsgewandten Kamera und eine Recheneinheit und/oder einem System-On-Chip, wobei die Vorrichtung zur Datenverarbeitung einen Ausgang zur Bereitstellung der Darstellung der rückwärtigen Umgebung hat, und die Recheneinheit und/oder das System-On-Chip eingerichtet ist, eines der oben beschriebenen Verfahren zur Darstellung einer rückwärtigen Umgebung durchzuführen.
  • Es wird ein neuronales Netzwerk vorgeschlagen, das entsprechend einem der oben beschriebenen Verfahren trainiert wurde.
  • Es wird ein Steuergerät zur Verwendung in einem Fahrzeug vorgeschlagen, das eine Vorrichtung zur Datenverarbeitung aufweist, um eine Darstellung der rückwärtigen Umgebung der mobilen Plattform zu generieren. Dabei hat das Steuergerät einen ersten Eingang für Signale der ersten rückwärtsgewandten Kamera und einen zweiten Eingang für Signale der zweiten rückwärtsgewandten Kamera. Weiterhin hat das Steuergerät eine Recheneinheit und/oder ein System-On-Chip und einen Ausgang zur Bereitstellung der Darstellung der rückwärtigen Umgebung, wobei die Recheneinheit und/oder das System-On-Chip eingerichtet ist, eines der oben beschriebenen Verfahren zur Darstellung einer rückwärtigen Umgebung durchzuführen. Mit einem solchen Steuergerät kann das Verfahren zur Darstellung einer rückwärtigen Umgebung leicht in unterschiedliche Systeme integriert werden.
  • Es wird eine mobile Plattform, insbesondere ein zumindest teilautomatisiertes Fahrzeug, vorgeschlagen, die ein oben beschriebenes Steuergerät aufweist.
  • Es wird ein Computerprogramm vorgeschlagen, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren zur Darstellung einer rückwärtigen Umgebung auszuführen.
    Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
  • Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
  • Ausführungsbeispiele
  • Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 3 dargestellt und im Folgenden näher erläutert. Es zeigen:
    • 1 a) ein erstes Rück-Bild der ersten rückwärts gerichteten Kamera, wobei das Zugfahrzeug mechanisch mit dem Anhänger gekoppelt ist; b) entspricht 1a) wobei ein Anhänger-Bildbereich des ersten Rück-Bildes, der den Anhänger abbildet, bestimmt wurde;
    • 2 a) ein erstes Rück-Bild der ersten rückwärts gerichteten Kamera, wobei das Zugfahrzeug mechanisch mit dem Anhänger mit einem großen Knickwinkel gekoppelt ist; b) entspricht 2a) wobei ein Anhänger-Bildbereich des ersten Rück-Bildes, der den Anhänger abbildet, bestimmt wurde; und
    • 3 a) ein erstes Rück-Bild von rückwärts gerichteten Seitenkameras, wobei das Zugfahrzeug mechanisch mit dem Anhänger gekoppelt ist; b) entspricht 3a) wobei ein Anhänger-Bildbereich des ersten Rück-Bildes, der den Anhänger abbildet, bestimmt wurde.
  • Die 1a skizziert schematisch in einer ersten Szene ein erstes Rück-Bild, das von einer ersten rückwärts gerichteten Kamera bereitgestellt wird. Das Zugfahrzeug 120 ist mechanisch mit dem Anhänger 100 gekoppelt, wobei in der Darstellung der Anhänger 100 mit einem Knickwinkel 110 von 0° gerade ausgerichtet ist.
  • Die 1b skizziert schematisch wie der Anhänger-Bildbereich 105 des ersten Rück-Bildes entsprechend der 1a, der den Anhänger 100 abbildet, bestimmt und mit einem Muster markiert wurde, um Ihnen mit einem Teil-Bildbereich des zweiten Rück-Bildes ersetzen zu können.
  • Die 2a skizziert schematisch in einer zweiten Szene ein erstes Rück-Bild, das von einer ersten rückwärts gerichteten Kamera bereitgestellt wird. Das Zugfahrzeug 120 ist mechanisch mit dem Anhänger 100 gekoppelt, wobei in der Darstellung der Anhänger 100 mit einem großen Knickwinkel 110 von dem Zugfahrzeug gezogen wird. Da in diesem Fall der Anhänger einen größeren Anhänger-Bildbereich in dem ersten Rück-Bild einnimmt, ist die rückwärtigen Umgebung der mobilen Plattform nur sehr eingeschränkt einzusehen.
  • Die 2b skizziert schematisch wie der Anhänger-Bildbereich 105 des ersten Rück-Bildes entsprechend der 2a, der den Anhänger 100 abbildet, bestimmt und mit einem Muster markiert wurde, um Ihnen mit einem Teil-Bildbereich des zweiten Rück-Bildes ersetzen zu können.
  • Die 3a skizziert schematisch in einer dritten Szene eine Darstellung einer rückwärtigen Umgebung einer mobilen Plattform die mit zwei rückwärts gerichteten Seitenkameras bereitgestellt und generiert wurde. Da das Zugfahrzeug eine Linkskurve fährt, ist das Bild so aufgeteilt, dass ein erstes Rück-Bild der linken Seitenkamera einen größeren Bildanteil 320 einnimmt als ein erstes Rück-Bild der rechten Seitenkamera 310. In dieser Darstellung ist von dem Zugfahrzeug eine linke Außenfläche 120a und eine rechte Außenfläche 120b zu erkennen. In dieser dritten Szene ist das Zugfahrzeug mechanisch mit dem Anhänger 100a mechanisch mit einem großen Knickwinkel gekoppelt. Auch hier versperrt der Anhänger 100a eine Sicht auf eine vollständige rückwärtige Umgebung der mobilen Plattform.
  • Die 3b skizziert schematisch wie der Anhänger-Bildbereich 105 des ersten Rück-Bildes der linken Seitenkamera entsprechend der 3a, der den Anhänger 100a abbildet, bestimmt wurde und mit einem Muster markiert wurde, um Ihnen mit einem Teil-Bildbereich des zweiten Rück-Bildes ersetzen zu können.

Claims (14)

  1. Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform (120), die mit einem Anhänger (100) gekoppelt ist, wobei die mobile Plattform (120) eine erste rückwärts gerichtete Kamera aufweist, mit: Bereitstellen eines ersten Rück-Bildes der ersten rückwärts gerichteten Kamera; Bereitstellen eines zweiten Rück-Bildes, das mittels einer zweiten rückwärts gerichteten Kamera generiert wurde; Bestimmen eines Anhänger-Bildbereiches (105) in dem ersten Rück-Bild, in dem ein Teil der Umgebung von dem gekoppelten Anhänger (100) verdeckt wird; und Ersetzen zumindest eines Teils des Anhänger-Bildbereichs (105) in dem ersten Bild mit einem Teil-Bildbereich des zweiten Rück-Bildes, um die rückwärtige Umgebung der mobilen Plattform (120) darzustellen.
  2. Verfahren gemäß Anspruch 1, wobei der Anhänger (100) die zweite rückwärts gerichtete Kamera aufweist.
  3. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die mobile Plattform (120) die zweite rückwärts gerichtete Kamera mit einem von der ersten rückwärts gerichteten Kamera verschiedenen rückwärts gerichteten Blickwinkel aufweist.
  4. Verfahren gemäß Anspruch 3, wobei die zweite rückwärts gerichtete Kamera eine Seitenkamera der mobilen Plattform (120) ist.
  5. Verfahren gemäß Anspruch 4, wobei die zweite rückwärts gerichtete Kamera an einem Außenspiegel der mobilen Plattform (120) angeordnet ist, um Seiten des Anhängers (100) bei einem Abbiege-Vorgang zu visualisieren.
  6. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei der Anhänger-Bildbereich (105) mittels eines trainierten maschinellen Lern-Systems bestimmt wird.
  7. Verfahren gemäß Anspruch 6, wobei das trainierte maschinelle Lern-System ein trainiertes neuronales Netzwerk zur semantischen Segmentierung des ersten Rück-Bildes ist.
  8. Verfahren zum Generieren eines trainierten neuronalen Netzwerks zum semantischen Segmentieren von Objekten eines digitalen ersten Rück-Bildes einer rückwärtigen Umgebung einer mobilen Plattform (120) mit einer Vielzahl von Trainings-Zyklen, wobei jeder Trainings-Zyklus die Schritte aufweist: Bereitstellen eines digitalen ersten Rück-Bildes einer rückwärtigen Umgebung einer mobilen Plattform (120) mit zumindest einem Anhänger (100), der an die mobile Plattform (120) gekoppelt ist; Bereitstellen eines zu dem digitalen ersten Rück-Bild zugeordneten Referenz-Bildes, wobei der zumindest eine Anhänger (100) in dem Referenzbild gelabelt ist; Bereitstellen des digitalen ersten Rück-Bildes als Eingangssignal des neuronalen Netzwerks; und Adaptieren des neuronalen Netzwerks, um bei dem semantischen Segmentieren des zumindest einen Anhängers (100) des digitalen ersten Rück-Bildes eine Abweichung der semantischen Segmentierung von dem jeweiligen zugeordneten Referenz-Bild zu minimieren.
  9. Verfahren, wobei, basierend auf einer Darstellung einer rückwärtigen Umgebung einer mobilen Plattform (120) nach einem der Ansprüche 1 bis 7, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf dem ersten und/oder dem zweiten Fehlersignal ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
  10. System zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform (120), die mit einem Anhänger (100) gekoppelt ist, mit einer ersten rückwärts gewandten Kamera; einer zweiten rückwärts gewandten Kamera; einer Vorrichtung zur Datenverarbeitung, um eine Darstellung der rückwärtigen Umgebung der mobilen Plattform (120) zu generieren, mit: einen ersten Eingang für Signale der ersten rückwärtsgewandten Kamera; einem zweiten Eingang für Signale der zweiten rückwärtsgewandten Kamera; eine Recheneinheit und/oder einem System-On-Chip; und einem Ausgang zur Bereitstellung der Darstellung der rückwärtigen Umgebung, wobei die Recheneinheit und/oder das System-On-Chip eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 durchzuführen.
  11. Neuronales Netzwerk, das entsprechend einem Verfahren gemäß Anspruch 8 trainiert wurde ein digitales erstes Rück-Bild semantisch zu Segmentieren.
  12. Steuergerät zur Verwendung in einem Fahrzeug (120), das eine Vorrichtung zur Datenverarbeitung aufweist, um eine Darstellung der rückwärtigen Umgebung einer mobilen Plattform (120) zu generieren, mit: einen ersten Eingang für Signale der ersten rückwärtsgewandten Kamera; einem zweiten Eingang für Signale der zweiten rückwärtsgewandten Kamera; eine Recheneinheit und/oder einem System-On-Chip; und einem Ausgang zur Bereitstellung der Darstellung der rückwärtigen Umgebung, wobei die Recheneinheit und/oder das System-On-Chip eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 durchzuführen.
  13. Mobile Plattform, insbesondere ein zumindest teilautomatisiertes Fahrzeug, die ein Steuergerät gemäß Anspruch 12 aufweist.
  14. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
DE102021208825.2A 2021-08-12 2021-08-12 Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist Pending DE102021208825A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102021208825.2A DE102021208825A1 (de) 2021-08-12 2021-08-12 Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist
CN202280055875.4A CN117836747A (zh) 2021-08-12 2022-07-26 用于表示与拖车耦合的移动平台的后方周围环境的方法
EP22758439.8A EP4384892A1 (de) 2021-08-12 2022-07-26 Verfahren zur darstellung einer rückwärtigen umgebung einer mobilen plattform, die mit einem anhänger gekoppelt ist
PCT/EP2022/070991 WO2023016798A1 (de) 2021-08-12 2022-07-26 Verfahren zur darstellung einer rückwärtigen umgebung einer mobilen plattform, die mit einem anhänger gekoppelt ist

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021208825.2A DE102021208825A1 (de) 2021-08-12 2021-08-12 Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist

Publications (1)

Publication Number Publication Date
DE102021208825A1 true DE102021208825A1 (de) 2023-02-16

Family

ID=83059275

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021208825.2A Pending DE102021208825A1 (de) 2021-08-12 2021-08-12 Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist

Country Status (4)

Country Link
EP (1) EP4384892A1 (de)
CN (1) CN117836747A (de)
DE (1) DE102021208825A1 (de)
WO (1) WO2023016798A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015214611A1 (de) 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
DE102017113469A1 (de) 2017-06-20 2018-12-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Parkassistenzvorrichtung eines Kraftfahrzeugs mit kombinierter Ansicht aus transparentem Anhänger und Umgebung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209560A1 (de) * 2019-06-28 2020-12-31 Robert Bosch Gmbh Vorrichtung und Verfahren zum Trainieren eines neuronalen Netzwerks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015214611A1 (de) 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
DE102017113469A1 (de) 2017-06-20 2018-12-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Parkassistenzvorrichtung eines Kraftfahrzeugs mit kombinierter Ansicht aus transparentem Anhänger und Umgebung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAHAL, A. [et al.]: Deeptrailerassist: Deep learning based trailer detection, tracking and articulation angle estimation on automotive rear-view camera. In: Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. 2019. S. 2339-2346

Also Published As

Publication number Publication date
CN117836747A (zh) 2024-04-05
WO2023016798A1 (de) 2023-02-16
EP4384892A1 (de) 2024-06-19

Similar Documents

Publication Publication Date Title
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
EP3292510A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102020130507A1 (de) Verfahren und vorrichtung zur bestimmung eines gelenkwinkels in einem kraftfahrzeug
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
EP3677019B1 (de) Verfahren und vorrichtung zur vorhersehbaren belichtungssteuerung zumindest einer ersten fahrzeugkamera
EP3293971B1 (de) Verfahren zur nachführung eines bildausschnitts
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102019218349A1 (de) Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen
DE102021208825A1 (de) Verfahren zur Darstellung einer rückwärtigen Umgebung einer mobilen Plattform, die mit einem Anhänger gekoppelt ist
DE102019102672A1 (de) Intersensorisches lernen
DE102019122086A1 (de) Fahrerassistenz für eine Kombination
DE102018207220A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Detektieren eines Berechnungsfehlers oder einer Fehlfunktion
DE102017221381A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
EP4053593A1 (de) Verarbeitung von sensordaten in einem fortbewegungsmittel
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102020203836A1 (de) Verfahren zur Bestimmung eines Wertes einer Reglergröße
WO2018188700A1 (de) Surround-view-system für ein fahrzeug
DE102011113099A1 (de) Verahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs
DE102021208819A1 (de) Verfahren zum Bestimmen eines Knickwinkels
DE102016222548A1 (de) Verfahren und Steuergerät zur Bestimmung einer Verzeichnungseigenschaft eines optischen Mediums während des Fahrtbetriebs
DE102022207042A1 (de) Verfahren zur Erkennung einer Verdeckung eines Kamerasensors und Kamerasensor
DE102022202827A1 (de) Verfahren zum Bestimmen einer Orientierung einer Kamera

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020560000