DE102022201279B3

DE102022201279B3 - Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, Kameravorrichtung und Fahrzeug

Info

Publication number: DE102022201279B3
Application number: DE102022201279.8A
Authority: DE
Inventors: Nils Kaiser
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-02-08
Filing date: 2022-02-08
Publication date: 2022-12-15
Anticipated expiration: 2042-02-09

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, wobei das Verfahren einen Schritt des Einlesens eines ersten Umgebungssignals (405) und eines zweiten Umgebungssignals (425) aufweist. Dabei repräsentiert das erste Umgebungssignal (405) ein von einem mindestens zwei reale Kameraeinheiten (105, 110, 415, 420) umfassenden ersten Kamerasystem (100) aus einer ersten virtuellen Kameraperspektive (407) sichtbares erstes virtuelles Bild der Umgebung des Fahrzeugs und das zweite Umgebungssignal (425) repräsentiert ein von einem mindestens zwei reale Kameraeinheiten (105, 110, 415, 420) umfassenden zweiten Kamerasystem (410) aus einer zweiten virtuellen Kameraperspektive (427) sichtbares zweites virtuelles Bild der Umgebung. Zudem umfasst das Verfahren einen Schritt des Bereitstellens eines Bildsignals (440) unter Verwendung des ersten Umgebungssignals (405) und des zweiten Umgebungssignals (425), wobei das Bildsignals (440) ein virtuelles Umgebungsbild der Umgebung repräsentiert.

Description

Stand der Technik
Die Erfindung geht von einem Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, einer Kameravorrichtung und einem Fahrzeug nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Es ist möglich, aus einer Disparität bei einer Stereoaufnahme von Kameras die Tiefeninformation zu berechnen. Dabei wird der unterschiedliche Sichtwinkel auf ein Objekt kombiniert mit dem bekannten Abstand der Kameras verwendet, um den Abstand zu bestimmen. Außerdem sind Multikamerasysteme bekannt, die aus vier Weitwinkelkameras eine virtuelle Rundumsicht generieren können.
Eine Umrechnung von Bildinformationen von Einzelbildern auf virtuelle Kameras wird beispielsweise in HÄNE, Chr. [et al]: 3D visual perception for self-driving cars using a multi-camera system: Calibration, mapping, localization, and obstacle detection. In: Image and Vision Computing 68, 2017, S. 14-27 beschrieben. Hier wird außerdem eine Möglichkeit der Kalibrierung beschrieben.
Die Druckschrift DE 10 2019 120 796 A1 offenbart eine Fahrzeugfahrumgebungs-Detektionsvorrichtung mit ersten bis dritten Stereokameras, ersten bis dritten Bildprozessoren und einem Steuergerät.
Die Druckschrift US 2017/0 016 210 A1 offenbart eine Vorrichtung zur Anzeige einer Umgebung eines hydraulischen Baggers.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs, eine Kameravorrichtung und ein Fahrzeug, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Für Verladevorgänge, bei denen von einem Fahrzeug, wie zum Beispiel einem LKW, aus Gegenstände eingesammelt werden sollen, wird eine genaue Erfassung der Umgebung des Fahrzeugs benötigt. Mit dem hier vorgestellten Verfahren kann vorteilhafterweise rundum das Fahrzeug auf kostengünstige Weise eine 3D-Information erzeugt werden.
Es wird ein Verfahren zum Erfassen einer Umgebung eines Fahrzeugs vorgestellt, wobei das Verfahren einen Schritt des Einlesens eines ersten Umgebungssignals und eines zweiten Umgebungssignals aufweist. Dabei repräsentiert das erste Umgebungssignal ein von einem mindestens zwei reale Kameraeinheiten umfassenden ersten Kamerasystem aus einer ersten virtuellen Kameraperspektive sichtbares erstes virtuelles Bild der Umgebung des Fahrzeugs und das zweite Umgebungssignal repräsentiert ein von einem mindestens zwei reale Kameraeinheiten umfassenden zweiten virtuellen Kamerasystem aus einer zweiten virtuellen Kameraperspektive sichtbares zweites virtuelles Bild der Umgebung. Zudem umfasst das Verfahren einen Schritt des Bereitstellens eines Bildsignals unter Verwendung des ersten Umgebungssignals und des zweiten Umgebungssignals, wobei das Bildsignal ein virtuelles, insbesondere mehrperspektivisches, Umgebungsbild der Umgebung repräsentiert.
Bei dem Fahrzeug kann es sich zum Beispiel um einen Lkw handeln, der beispielsweise für Verladevorgänge genutzt werden kann, bei denen von dem Fahrzeug aus Gegenstände eingesammelt werden sollen. Dabei kann mit dem hier vorgestellten Verfahren vorteilhafterweise die Umgebung des Fahrzeugs mit all den darin befindlichen Objekten aus mehreren Perspektiven erfasst und verarbeitet werden. Hierfür kann die Umgebung des Fahrzeugs von zwei Kamerasystemen erfasst werden, wobei jedes Kamerasystem jeweils mehrere reale Kameraeinheiten aufweisen kann. Bei den Kamerasystemen kann es sich zum Beispiel um sogenannte Near Range Camera Systeme handeln, die ausgebildet sein können, die von den Kameraeinheiten erfasste Umgebung durch Ausnutzung stereoskopischer Erfassung als dreidimensionale Umgebungsinformation bereitzustellen. Hierfür kann aus den von den Kamerasystemen erfassten Bildern jeweils ein virtuelles Bild, beispielsweise in 2D, ermittelt werden, wie es aus einer virtuellen Kameraperspektive, beziehungsweise von einer virtuellen Kamera sichtbar wäre. Das virtuelle Bild ist also ein ermitteltes bzw. berechnetes Bild aus einer Perspektive einer virtuellen Kamera. Hierbei ist die Perspektive der virtuellen Kamera bevorzugt verschieden von einer jeweiligen Perspektive der mindestens zwei realen Kameraeinheiten.
Die virtuellen Bilder können dabei jeweils keine Tiefeninformation umfassen. Somit kann die virtuelle Kamera eine nicht reale, gedachte Kamera darstellen. Beispielsweise kann die virtuelle Kameraperspektive so gewählt sein, dass sie keiner am Fahrzeug angeordneten realen Kamera zugeordnet werden kann. Beispielsweise können die Positionen und Blickwinkel der virtuellen Kameras frei gewählt werden. Sie können so gewählt werden, dass die Sichtfelder die interessanten Objekte optimal abdecken. Dazu kann das interessante Objekt möglichst ins Zentrum des Blickfeldes gesetzt werden. Im Schritt des Einlesens kann dann statt auf mehrere Einzelbilder auf bereits mehrdimensionale Bildinformationen der beiden virtuellen Kameras zurückgegriffen werden, die das erste virtuelle Bild aus der ersten virtuellen Kameraperspektive und das zweite virtuelle Bild aus der zweiten virtuellen Kameraperspektive bereitstellen. Diese beiden Bilder, beziehungsweise die beiden Bildströme, können zu einem virtuellen, insbesondere mehrperspektivischen, Gesamtbild verarbeitet und im Schritt des Bereitstellens beispielsweise für anschließende Fahrzeugfunktionen bereitgestellt werden. Das virtuelle, insbesondere mehrperspektivische, Gesamtbild kann unter Verwendung eines bekannten Stereoskopie-Verfahrens ermittelt werden. Das mehrperspektivische Gesamtbild kann ein Gesamtbild sein, dass aus zumindest zwei Bildern aus unterschiedlichen Kameraperspektiven zusammengesetzt ist. Bspw. kann das mehrperspektivische Gesamtbild ein Panoramabild der Umgebung des Fahrzeugs sein.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Erstellens des ersten virtuellen Bildes und des zweiten virtuellen Bildes vor dem Schritt des Einlesens aufweisen. Dabei kann das erste virtuelle Bild aus mindestens zwei zusammengefügten Einzelbildern der Kameraeinheiten erstellt und auf die erste virtuelle Kameraperspektive umgerechnet werden und das zweite virtuelle Bild aus mindestens zwei zusammengefügten Einzelbildern der Kameraeinheiten erstellt und auf die zweite virtuelle Kameraperspektive umgerechnet werden. Beispielsweise können die von den Kameraeinheiten erfassten Einzelbilder durch sogenanntes Stitching zu jeweils einer virtuellen Umgebung zusammengefügt werden. Diese Bildinformationen können anschließend umgerechnet werden, um vorteilhafterweise verschiedene Perspektiven einer ersten virtuellen Kamera und einer zweiten virtuellen Kamera zu erhalten. Durch ein erneutes Zusammenfügen der beiden virtuellen Umgebungsbilder kann schließlich das virtuelle, insbesondere mehrperspektivische, Bild der Umgebung erstellt werden. Beispielsweise kann hierbei eine Vogelperspektive berechnet werden, um vorteilhafterweise das Fahrzeug und zusätzlich oder alternativ die Umgebung von oben erfassen zu können. Je nach den Ausrichtungen der virtuellen Kameras können dabei verschiedene Perspektiven gewählt und entsprechende mehrperspektivische Bilder erstellt werden. Dabei kann auf bekannte Verfahren zum Erzeugen einer rein virtuellen Kameraperspektive zurückgegriffen werden.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Erfassens der Einzelbilder unter Verwendung der Kameraeinheiten umfassen. Über die Kameraeinheiten kann beispielsweise eine Bilderfassung durch die jeweiligen Einzelkameras durchgeführt werden. Dabei können die Kameraeinheiten zum Beispiel mit vorbestimmten Abständen zueinander entlang des Fahrzeugs positioniert sein, sodass jedes Einzelbild einen Teilausschnitt der Umgebung erfassen kann. Vorteilhafterweise können die innerhalb eines Kamerasystems von den einzelnen Kameraeinheiten des Systems erfassten Einzelbilder anschließend zu einem Gesamtbild zusammengefügt werden.
Gemäß einer weiteren Ausführungsform können im Schritt des Einlesens die Kameraeinheiten des ersten Kamerasystems separat von den Kameraeinheiten des zweiten Kamerasystems ausgebildet sein. Beispielsweise können beide Kamerasysteme jeweils eine Mehrzahl von Kameraeinheiten umfassen, wobei das erste Kamerasystem unabhängig zu dem zweiten Kamerasystem ausgebildet sein kann. Das hat den Vorteil, dass beide Kamerasysteme unabhängig voneinander montiert und eingerichtet werden können.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens eine Kameraeinheit des ersten Kamerasystems einer Kameraeinheit des zweiten Kamerasystems entspricht. Beispielsweise können beide Kamerasysteme eine Mehrzahl von Kameraeinheiten umfassen, wobei allerdings zum Beispiel sowohl das erste Kamerasystem als auch das zweite Kamerasystem auf die Bilddaten einer vorbestimmten Kameraeinheit zugreifen kann, um diese zum Erstellen des ersten Bildes und zusätzlich oder alternativ des zweiten Bildes zu nutzen. Beispielsweise kann eine solche geteilte Kameraeinheit an einem Winkel des Fahrzeugs angeordnet sein, an dem keine Möglichkeit oder kein Bedarf für eine zweite Kameraeinheit mit einer variierenden Winkeleinstellung besteht. Vorteilhafterweise können dadurch die Gesamtzahl der verwendeten Kameraeinheiten minimiert und Kosten eingespart werden.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Ermittelns einer Auswahl von Kameraeinheiten unter Verwendung eines Ausschnittsignals umfassen, wobei die Kameraeinheiten einen Erfassungsbereich aufweisen können, der einen Ausschnitt der Umgebung repräsentieren kann. Wenn zum Beispiel für einen Arbeitsvorgang nur Objekte auf einer Seite des Fahrzeugs relevant sind, dann kann in diesem Schritt ermittelt werden, welche Kameraeinheiten die Umgebung auf der entsprechenden Fahrzeugseite erfassen. Durch ausschließliches Ansteuern dieser Kameraeinheiten kann das erste virtuelle Bild des ersten Kamerasystems im Vergleich zu einem virtuellen Bild der Gesamtumgebung nur den gewünschten Ausschnitt der Umgebung, beziehungsweise die sogenannte Region of interest, aus der ersten virtuellen Kameraperspektive erstellen. Der gleiche Umgebungssauschnitt kann durch das zweite Kamerasystem als zweites virtuelles Bild aus der zweiten virtuellen Kameraperspektive erfasst werden. Im Schritt des Bereitstellens kann dann vorteilhafterweise ausschließlich der für die Arbeitsabläufe relevante Ausschnitt der Umgebung bereitgestellt werden, wodurch vorteilhafterweise Kosten und Energie eingespart werden können.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Erkennens eines Objekts in der Umgebung unter Verwendung des ersten und zusätzlich oder alternativ des zweiten Umgebungssignals und zusätzlich oder alternativ eines Einzelbilds einer der Kameraeinheiten aufweisen. Beispielsweise kann im Schritt des Erkennens eine computergesteuerte Objekterkennung durchgeführt werden, wobei zum Beispiel solche Objekte, die von dem Fahrzeug zum Beispiel eingesammelt werden sollen, von für die Arbeit Fahrzeugs nicht relevanten Objekten in der Umgebung unterschieden werden können. Wenn das hier vorgestellte Verfahren zum Beispiel in einem Fahrzeug verwendet wird, das nach dem Auflösen einer Baustellenbegrenzung Verkehrskegel einsammeln soll, dann können die einzelnen Verkehrskegel als relevante Objekte erkannt werden und vorteilhafterweise von anderen Fahrzeugen oder Bäumen am Straßenrand unterschieden werden.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Bestimmens eines Objektsignals unter Verwendung des Bildsignals aufweisen. Dabei kann das Objektsignal mittels stereoskopischer Informationen aus dem ersten und zweiten Umgebungssignal bestimmte Koordinaten des Objekts repräsentieren. Beispielsweise kann nach einer Objekterkennung, in der ein relevantes Objekt identifiziert wurde, in jedem Kamerasystem eine virtuelle Kameraperspektive gewählt werden, die das Objekt möglichst umfassend erfasst. Durch Nutzung der beiden Bildströme der ersten virtuellen Kameraperspektive und der zweiten virtuellen Kameraperspektive können dann mittels stereoskopischer Informationen die genauen Koordinaten des Objekts beispielsweise innerhalb eines Fahrzeugkoordinatensystems erfasst werden. Das hat den Vorteil, dass eine Position des Objekts möglichst exakt erfasst und anschließende, von der Interaktion mit Objekten in der Umgebung abhängige Prozesse, wie beispielsweise ein Greifen des Objekts, entsprechend optimiert werden können.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Ausgebens eines Steuersignals zum Steuern eines Greifens des Objekts umfassen. Beispielsweise kann das Fahrzeug eine elektronisch steuerbare Greifeinrichtung aufweisen, die ausgebildet sein kann, vorbestimmte Objekte vom Fahrzeug aus zu ergreifen und beispielsweise auf eine Fahrzeugfläche zu laden. Vorteilhafterweise kann eine solcher Greifeinrichtung unter Verwendung des insbesondere mehrperspektivischen Bilds der Umgebung oder des Objektsignals und des daraus resultierenden Steuersignals das betreffende Objekt zielsicher ergreifen.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Zuordnens der Auswahl von Kameraeinheiten zu dem ersten Kamerasystem und dem zweiten Kamerasystem umfassen. Wenn beispielsweise Bilddaten von einer oder mehreren Kameraeinheiten gleichermaßen durch das erste Kamerasystem als auch das zweite Kamerasystem verarbeitet werden können, dann kann dem Schritt des Einlesens ein Schritt des Zuordnens vorangestellt werden, in dem festgelegt werden kann, welche Kameraeinheiten in welchem Kamerasystem verwendet werden. Das hat den Vorteil, dass das Gesamtverfahren flexibel an verschiedene Anforderungen angepasst werden kann.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Kalibrierens des ersten Kamerasystems und des zweiten Kamerasystems aufweisen. Beispielsweise können das erste Kamerasystem und das zweite Kamerasystem als voneinander unabhängige Systeme ausgebildet sein, wobei sie in diesem Schritt gleich kalibriert werden können. Dabei können Kameras beispielsweise in regelmäßigen Wartungsintervallen, zum Beispiel alle 3 Monate, neu kalibriert werden. Dazu können auf dem Boden um das Fahrzeug herum Matten mit einem einfachen, schachbrettartigen Kalibriermuster ausgelegt werden. Diese können vom einzelnen Kamerasystem erfasst und für den Abgleich der optischen Verzerrung genutzt werden. Das hat den Vorteil, dass die virtuelle Kameraperspektive so gewählt werden können, dass die Disparität ausreicht, um über die Stereoskopie die Tiefeninformation berechnen zu können.
Zudem wird eine Kameravorrichtung zum Erfassen einer Umgebung eines Fahrzeugs vorgestellt, wobei die Kameravorrichtung ein erstes Kamerasystem mit einer Mehrzahl von realen Kameraeinheiten aufweist. Dabei ist das erste Kamerasystem ausgebildet, um ein erstes Umgebungssignal bereitzustellen, das ein aus einer ersten virtuellen Kameraperspektive sichtbares erstes virtuelles Bild der Umgebung des Fahrzeugs repräsentiert. Zudem umfasst die Kameravorrichtung ein zweites Kamerasystem mit einer Mehrzahl von realen Kameraeinheiten, wobei das zweite Kamerasystem ausgebildet ist, um ein zweites Umgebungssignal bereitzustellen, das ein aus einer zweiten virtuellen Kameraperspektive sichtbares zweites virtuelles Bild der Umgebung des Fahrzeugs repräsentiert. Weiterhin weist die Kameravorrichtung eine Auswerteeinrichtung auf, die ausgebildet ist, um unter Verwendung des ersten Umgebungssignals und des zweiten Umgebungssignals ein virtuelles, insbesondere mehrperspektivisches, Umgebungsbild zu berechnen und ein das Umgebungsbild repräsentierendes Bildsignal bereitzustellen. Mit der hier vorgestellten Kameravorrichtung kann vorteilhafterweise eine Variante des zuvor vorgestellten Verfahrens durchgeführt werden.
Zudem wird ein Fahrzeug mit einer Variante der zuvor vorgestellten Kameravorrichtung vorgestellt. Beispielsweise kann das Fahrzeug als Lkw für verschiedene Verladevorgänge ausgebildet sein. Die Kombination mit der Kameravorrichtung hat den Vorteil, dass alle zuvor genannten Vorteile des mit der Kameravorrichtung durchführbaren Verfahrens optimal umgesetzt werden können. Dabei kann zum Beispiel jeweils mindestens eine reale Kameraeinheit des ersten Kamerasystems und mindestens eine reale Kameraeinheit des zweiten Kamerasystems an je einer Fahrzeugseite des Fahrzeugs angeordnet sein. Beispielsweise kann jeweils eine Kameraeinheit des ersten Kamerasystem abwechselnd mit einer Kameraeinheit des zweiten Kamerasystems rund um das Fahrzeug angeordnet sein. Das hat den Vorteil, dass ein umfassendes Bild der Umgebung rund um das Fahrzeug erfasst werden kann.
Gemäß einer weiteren Ausführungsform kann das Fahrzeug eine Greifeinrichtung aufweisen, die ausgebildet sein kann, um ein von der Kameravorrichtung erfasstes Objekt in der Umgebung zu greifen. Vorteilhafterweise können mittels der Greifeinrichtung Gegenstände wie zum Beispiel Verkehrskegel eingesammelt und auf dem Fahrzeug verladen werden. Ein weiterer Anwendungsfall kann zum Beispiel das Einsammeln von Früchten, zum Beispiel auf einer Palmölplantage, sein. Unter Anwendung des zuvor beschriebenen Verfahrens mittels der Kameravorrichtung kann eine solche Greifeinrichtung vorteilhafterweise rund um das Fahrzeug eingesetzt werden.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung, insbesondere einer vorstehend beschriebenen Auswerteeinrichtung oder einer oben beschriebenen Kameravorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines ersten Kamerasystems gemäß einem Ausführungsbeispiel;
2 ein Ablaufdiagramm eines Verfahrens zum Erfassen einer Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel;
3 ein Ablaufdiagramm eines Verfahrens zum Erfassen einer Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel;
4 ein Blockschaltbild einer Kameravorrichtung gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung einer Ausführungsbeispiels eines Fahrzeugs mit einer Kameravorrichtung;
6 eine schematische Draufsichtsdarstellung eines Fahrzeugs mit einer Kameravorrichtung; und
7 eine schematische Darstellung eines Fahrzeugs mit einer Greifeinrichtung.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines ersten Kamerasystems 100 gemäß einem Ausführungsbeispiel. Das erste Kamerasystem 100 umfasst in diesem Ausführungsbeispiel zwei reale Kameraeinheiten 105, 110 die ausgebildet sind, um ein Objekt 115 zu erfassen. Dabei weist eine Kameraeinheit 105 einen Sichtwinkel a auf und eine weitere Kameraeinheit 110 einen Sichtwinkel β. Die unterschiedlichen Sichtwinkel α, β auf das Objekt 115 sind mit einem bekannten Abstand b der Kameras kombinierbar, um den Abstand zwischen den Kameraeinheiten 105, 110 und dem Objekt 115 zu bestimmen. Mit anderen Worten ist aus der Disparität bei der Stereoaufnahme die Tiefeninformation berechenbar. Dabei ist das Kamerasystem 100 in diesem Ausführungsbeispiel ausgebildet, um die von den Kameraeinheiten 105, 110 erfassten Einzelbilder mittels Stitching zusammenzufügen und die Bildinformationen auf eine erste virtuelle Kamera 120 umzurechnen. Mittels der ersten virtuellen Kamera 120 ist eine beispielhafte erste virtuelle Kameraperspektive auf das Objekt 115 ermöglicht. Dabei kann auf bekannte Verfahren zurückgegriffen werden, mit denen von den Einzelbildern umfasste Bilddaten beispielsweise durch eine geeignete Transformation in Bilddaten eines virtuellen Bilds transformiert werden können, wie es aus der virtuellen Kameraperspektive der ersten virtuellen Kamera 120 sichtbar ist.
2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Erfassen einer Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel. Das Verfahren 200 weist einen Schritt 205 des Einlesens eines ersten Umgebungssignals und eines zweiten Umgebungssignals auf. Dabei repräsentiert das erste Umgebungssignal ein von einem mindestens zwei reale Kameraeinheiten umfassenden ersten Kamerasystem aus einer ersten virtuellen Kameraperspektive sichtbares erstes virtuelles Bild der Umgebung des Fahrzeugs und das zweite Umgebungssignal repräsentiert ein von einem mindestens zwei reale Kameraeinheiten umfassenden zweiten Kamerasystem aus einer zweiten virtuellen Kameraperspektive sichtbares zweites virtuelles Bild der Umgebung. In diesem Ausführungsbeispiel entsprechen oder ähneln das erste Kamerasystem und das zweite Kamerasystem dem in der vorangegangenen Figur beschriebenen Kamerasystem. Dabei sind lediglich beispielhaft die realen Kameraeinheiten des ersten Kamerasystems separat von den realen Kameraeinheiten des zweiten Kamerasystems ausgebildet.
Weiterhin umfasst das Verfahren 200 einen Schritt 210 des Bereitstellens eines Bildsignals unter Verwendung des ersten Umgebungssignals und des zweiten Umgebungssignals, wobei das Bildsignals ein virtuelles, insbesondere mehrperspektivisches, Umgebungsbild der Umgebung repräsentiert.
3 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Erfassen einer Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel. Das Verfahren 200 entspricht oder ähnelt dem in der vorangegangenen 2 beschriebenen Verfahren, mit dem Unterschied, dass das Verfahren 200 in diesem Ausführungsbeispiel zusätzliche Schritte aufweist.
In diesem Ausführungsbeispiel umfasst das Verfahren 200 ein Schritt 305 des Erfassens von Einzelbildern unter Verwendung der realen Kameraeinheiten des ersten Kamerasystems und lediglich beispielhaft einen Schritt 306 des weiteren Erfassens von Einzelbildern unter Verwendung der realen Kameraeinheiten des zweiten Kamerasystems. Die Beiden Schritte 305, 306 werden beispielsweise zeitgleich durchgeführt. Dabei wird von jeder realen Kameraeinheit der beiden Kamerasysteme, die lediglich beispielhaft jeweils mit einem unterschiedlichen Sichtwinkel auf die Umgebung angeordnet sind, mindestens ein Einzelbild erfasst. Im folgenden Schritt 310 des Erstellens wird in diesem Ausführungsbeispiel das erste virtuellen Bild erstellt und lediglich beispielhaft wird zeitgleich in einem Schritt 311 des weiteren Erstellens das zweite virtuelle Bild erstellt. Hierfür sind der Schritt 310 des Erstellens und der Schritt 311 des weiteren Erstellens lediglich beispielhaft in jeweils zwei Teilschritte unterteilt. So werden im Teilschritt 310A in diesem Ausführungsbeispiel die Einzelbilder der realen Kameraeinheiten des ersten Kamerasystems lediglich beispielhaft mittels Stitching zusammengefügt und im darauf folgenden Teilschritt 310B werden diese Bildinformationen auf eine erste virtuelle Kameraperspektive umgerechnet, um das erste virtuelle Bild zu erstellen. Kongruent werden im Teilschritt 311A in diesem Ausführungsbeispiel die Einzelbilder der realen Kameraeinheiten des zweiten Kamerasystems lediglich beispielhaft mittels Stitching zusammengefügt und im darauf folgenden Teilschritt 311B werden diese Bildinformationen auf eine zweite virtuelle Kameraperspektive umgerechnet, um das zweite virtuelle Bild zu erstellen. Unter Stitching kann dabei das Erstellen eines Bilds aus mehreren Einzelbildern verstanden werden.
Im folgenden Schritt 205 des Einlesens sind die Kameraeinheiten des ersten Kamerasystems also separat von den Kameraeinheiten des zweiten Kamerasystems ausgebildet. In einem anderen Ausführungsbeispiel kann auch zumindest eine Kameraeinheit des ersten Kamerasystems einer Kameraeinheit des zweiten Kamerasystems entsprechen. Das heißt, ein Einzelbild einer Kameraeinheit kann beispielsweise sowohl für das erste Bild als auch für das zweite Bild verwendet werden.
In diesem Ausführungsbeispiel folgt auf den Schritt 205 des Einlesens ein Schritt 315 des Ermittelns einer Auswahl von Kameraeinheiten unter Verwendung eines Ausschnittsignals, wobei die Kameraeinheiten einen Erfassungsbereich aufweisen, der einen Ausschnitt der Umgebung repräsentiert. Lediglich beispielhaft wird diese Auswahl im folgenden Schritt 320 des Zuordnens zu dem ersten Kamerasystem und dem zweiten Kamerasystem zugeordnet. Anders formuliert wird in den Schritten 315 des Ermittelns und 320 des Zuordnens eine Vorverarbeitung der Bildinformationen durchgeführt, wobei lediglich beispielhaft mit Computervision Algorithmen wie Segmentation durchgeführt werden, um eine sogenannte Region of interest zu identifizieren. In einem anderen Ausführungsbeispiel können die Schritte des Ermittelns und des Zuordnens auch beispielsweise vor dem Schritt des Erfassens durchgeführt werden, um den gewünschten Ausschnitt der Umgebung ausschließlich mit den dafür benötigten Kameraeinheiten zu erfassen. In diesem Ausführungsbeispiel wird im anschließenden Schritt 210 des Bereitstellens dann das Bildsignal bereitgestellt, das in diesem Ausführungsbeispiel ein virtuelles, insbesondere mehrperspektivisches, Bild des Ausschnitts der Umgebung repräsentiert.
Das Verfahren 200 umfasst in diesem Ausführungsbeispiel weiterhin einen Schritt 325 des Erkennens eines Objekts in der Umgebung. In diesem Ausführungsbeispiel wird die Objekterkennung unter Verwendung des ersten und des zweiten Umgebungssignals durchgeführt, sowie lediglich beispielhaft unter Nutzung weiterer Computervision Algorithmen, um einzelne Objekte zu identifizieren. In einem anderen Ausführungsbeispiel kann das Objekt auch zum Beispiel unter Verwendung des ersten oder des zweiten Umgebungssignals und zusätzlich oder alternativ unter Verwendung eines Einzelbilds einer der Kameraeinheiten erkannt werden. In diesem Ausführungsbeispiel werden in einem Schritt 330 des Bestimmens die beiden unabhängigen Bildströme des ersten und zweiten Kamerasystems genutzt, um mittels stereoskopischer Information die genauen Koordinaten, das heißt die Position, des Objekts zu bestimmen und lediglich beispielhaft unter Verwendung des Bildsignals ein die Koordinaten repräsentierendes Objektsignal bereitzustellen.
Unter Verwendung des Objektsignals wird in diesem Ausführungsbeispiel in einem Schritt 335 des Ausgebens lediglich beispielhaft ein Steuersignals zum Steuern eines Greifens des Objekts ausgegeben.
Optional umfasst das Verfahren 200 einen Schritt des Kalibrierens des ersten Kamerasystems und des zweiten Kamerasystems. Dabei werden beispielhaft die beiden Kamerasysteme gleich kalibriert, sodass die virtuelle Kameraperspektive später so gewählt werden kann, dass die Disparität ausreicht, um über Stereoskopie die Tiefeninformation berechnen zu können.
4 zeigt ein Blockschaltbild einer Kameravorrichtung 400 gemäß einem Ausführungsbeispiel. Die Kameravorrichtung 400 ist ausgebildet, um eine Umgebung eines Fahrzeugs zu erfassen und ein Verfahren, wie es in den vorangegangenen 2 und 3 beschrieben wurde, durchzuführen. Hierfür umfasst die Kameravorrichtung 400 ein erstes Kamerasystem 100 mit einer Mehrzahl von realen Kameraeinheiten 105, 110. Das hier dargestellte erste Kamerasystem 100 entspricht oder ähnelt dem in den vorangegangenen Figuren beschriebenen Kamerasystem und ist ausgebildet, um ein erstes Umgebungssignal 405 bereitzustellen, das ein aus einer ersten virtuellen Kameraperspektive 407 sichtbares erstes virtuelles Bild der Umgebung des Fahrzeugs repräsentiert. Dabei ist das erste Kamerasystem 100 ausgebildet, um das erste virtuelle Bild aus mindestens zwei zusammengefügten Einzelbildern der Kameraeinheiten 105, 110 zu erstellen. Durch diesen Prozess des Stitchings ist eine erste virtuelle Kamera 120 mit der ersten virtuellen Kameraperspektive 407 errechenbar. Des Weiteren umfasst die Kameravorrichtung 400 ein zweites Kamerasystem 410 mit einer Mehrzahl von realen Kameraeinheiten 415, 420. Das zweite Kamerasystem 410 ist kongruent zu dem ersten Kamerasystem 100 ausgebildet, um ein zweites Umgebungssignal 425 bereitzustellen, das ein aus einer zweiten virtuellen Kameraperspektive 427 sichtbares zweites virtuelles Bild der Umgebung des Fahrzeugs repräsentiert. Auch das zweite Kamerasystem 410 ist ausgebildet, um das zweite virtuelle Bild aus mindestens zwei zusammengefügten Einzelbildern der Kameraeinheiten 415, 420 zu erstellen. Durch diesen Prozess des Stitchings ist eine zweite virtuelle Kamera 428 mit der zweiten virtuellen Kameraperspektive errechenbar. Dabei sind Positionen und Blickwinkel der virtuellen Kameras 120, 428 beispielhaft so gewählt, dass die Sichtfelder das interessante Objekt 115 optimal abdecken.
Zudem weist die Kameravorrichtung 400 eine Auswerteeinrichtung 430 auf, die ausgebildet ist, um unter Verwendung des ersten Umgebungssignals 405 und des zweiten Umgebungssignals 425 ein virtuelles, insbesondere mehrperspektivisches, Umgebungsbild zu berechnen. Lediglich beispielhaft umfasst die Auswerteeinrichtung 430 hierzu eine Umgebungsbildeinheit 435, die ausgebildet ist, ein das Umgebungsbild repräsentierendes Bildsignal 440 bereitzustellen.
In diesem Ausführungsbeispiel weist die Auswerteeinrichtung 430 lediglich beispielhaft zusätzlich eine Objekteinheit 445 auf, die ausgebildet ist, um unter Verwendung des ersten und des zweiten Umgebungssignals 405, 425 ein von den Kameraeinheiten 105, 110, 415, 420 erfasstes Objekt 115 in der Umgebung zu erkennen und lediglich beispielhaft unter Verwendung des Bildsignals 440 ein Objektsignal 450 zu bestimmen. Dabei repräsentiert das Objektsignal 450 in diesem Ausführungsbeispiel die Koordinaten des Objekts 115 und damit eine Position des Objekts 115 in der Umgebung, wobei die Koordinaten lediglich beispielhaft mittels stereoskopischer Informationen aus dem ersten und zweiten Umgebungssignal 405, 425 bestimmt worden sind. Die Koordinaten ermöglichen beispielsweise die Bestimmung einer genauen Positionierung des Objekts in Bezug zu einem Bezugspunkt des Fahrzeugs. Unter Verwendung des Objektsignals 450 ist die Auswerteeinrichtung 430 in diesem Ausführungsbeispiel ausgebildet, um lediglich beispielhaft mittels einer Steuereinheit 455 ein Steuersignal 460 zum Steuern eines Greifens des Objekts 115 an eine Greifeinrichtung 465 auszugeben. Vorteilhafterweise kann das Objekt 115 unter durch Kenntnis der Koordinaten des Objekts sehr genau gegriffen werden.
Zum Erfassen des Objekts 115 ist die Kameravorrichtung 400 in diesem Ausführungsbeispiel zudem ausgebildet, um unter Verwendung eines Ausschnittsignals 470 eine Auswahl von Kameraeinheiten 105, 110, 415, 420 zu ermitteln. Die Kameraeinheiten 105, 110, 415, 420 weisen dabei lediglich beispielhaft einen Erfassungsbereich 475 auf, der einen Ausschnitt der Umgebung repräsentiert, in dem das Objekt 115 angeordnet ist.
5 zeigt eine schematische Darstellung einer Ausführungsbeispiels eines Fahrzeugs 500 mit einer Kameravorrichtung 400. Die hier dargestellte Kameravorrichtung 400 entspricht oder ähnelt der in der vorangegangenen 4 beschriebenen Kameravorrichtung. Lediglich beispielhaft handelt es sich bei dem hier dargestellten Fahrzeug 500 um einen Gabelstapler mit einer Greifeinrichtung 465, wobei die Kameraeinheiten der Kameravorrichtung 400 lediglich beispielhaft rund um das Dach 505 des Gabelstaplers angeordnet sind. Durch Stitching und Projektion der Einzelbilder der Kameraeinheiten ist lediglich beispielhaft eine Vogelperspektive berechenbar oder eine rein virtuelle Kameraperspektive erzeugbar. Durch die unterschiedlichen Positionsorte der Kameras sowie deren Ausrichtung sind mehrere Erfassungsbereiche 475, 510, 515 gegeben, in denen verschiedene Objekte erkennbar sind. Lediglich beispielhaft ist im Erfassungsbereich 475 eine Person 518 angeordnet und in dem weiteren Erfassungsbereich 510 ein weiteres Fahrzeug 520.
Mit anderen Worten weist das Fahrzeug 500 die Kameravorrichtung 400 auf, die durch die Kombination von zwei Kamerasystemen zu einer Einheit dreidimensionale Umgebungsinformationen durch Ausnutzung stereoskopischer Erfassung liefert. Das Fahrzeug 500 ist ausgebildet, um unter Verwendung der Umgebungsinformationen durch ein Greifsystem rund um das Fahrzeug Objekte zu greifen. Das heißt, rund um das Fahrzeug 500 ist eine 3D Information verfügbar. Außerdem sind einzelne Kamerabilder auch durch gängige Algorithmen aus der Computer Vision vorverarbeitbar, so dass leicht eine Region of Interest zur Reduktion der notwendigen Rechenpower eingegrenzt werden kann.
6 zeigt eine schematische Draufsichtsdarstellung eines Fahrzeugs 500 mit einer Kameravorrichtung, wie sie in den vorangegangenen 4 und 5 beschrieben wurde. Das hier dargestellte Fahrzeug 500 entspricht oder ähnelt dem in der vorangegangenen 5 beschriebenen Fahrzeug. In diesem Ausführungsbeispiel umfasst die Kameravorrichtung ein erstes Kamerasystem 100 mit lediglich beispielhaft vier Kameraeinheiten 105, 110, 600, 605 und ein zweites Kamerasystem 410 mit lediglich beispielhaft ebenfalls vier Kameraeinheiten 415, 420, 610, 615. Dabei sind die Kameraeinheiten 105, 110, 600, 605 lediglich beispielhaft unabhängig von den Kameraeinheiten 415, 420, 610, 615 auf einem Fahrzeug 500 angeordnet, wobei jeweils mindestens eine Kameraeinheit 105, 110, 600, 605 des ersten Kamerasystems 100 und mindestens eine Kameraeinheit 415, 420, 610, 615 des zweiten Kamerasystems 410 an je einer Fahrzeugseite des Fahrzeugs 500 angeordnet sind. Nun ist für jedes System eine separate virtuelle Kamera 120, 428 mit je einer virtuellen Kameraperspektive 407, 427 berechenbar. Bei gleicher Kalibrierung der beiden Kamerasysteme 100, 410 ist die virtuelle Kameraperspektive 407, 427 nun so wählbar, dass die Disparität ausreicht, um über die Stereoskopie die Tiefeninformation berechnen zu können. Diese Tiefeninformation ist beispielhaft nutzbar, um einen Greifer zu steuern, der Objekte erfasst. So kann der Greifer rundum das Fahrzeug 500 eingesetzt werden.
7 zeigt eine schematische Darstellung eines Fahrzeugs 500 mit einer Greifeinrichtung 465. Das hier dargestellte Fahrzeug entspricht oder ähnelt dem in den vorangegangenen 5 und 6 beschriebenen Fahrzeug. Die Greifeinrichtung 465 ist in diesem Ausführungsbeispiel ausgebildet, um mittels einer Kameravorrichtung, wie sie in den vorangegangenen 4, 5 und 6 beschrieben wurde, unter Anwendung eines Verfahrens, wie es in den vorangegangenen 2 und 3 beschrieben wurde, Verkehrskegel 700 einzusammeln. Für Verladevorgänge, bei denen von einem Fahrzeug 500 aus Gegenstände eingesammelt werden sollen, wird die genaue Position des einzusammelnden Gegenstandes benötigt. Die Kameravorrichtung generiert diese Position für die nachgelagerte Greifeinrichtung 465. Dies funktioniert sowohl, wenn die Verkehrskegel links als auch wenn sie rechts vom Fahrzeug stehen. Ein weiterer Anwendungsfall kann zum Beispiel das Einsammeln von Früchten sein, zum Beispiel auf einer Palmölplantage.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (200) zum Erfassen einer Umgebung eines Fahrzeugs (500), wobei das Verfahren (200) folgende Schritte (205, 210) aufweist: Einlesen (205) eines ersten Umgebungssignals (405) und eines zweiten Umgebungssignals (425), wobei das erste Umgebungssignal (405) ein von einem mindestens zwei reale Kameraeinheiten (105, 110) umfassenden ersten Kamerasystem (100) aus einer ersten virtuellen Kameraperspektive (407) sichtbares erstes virtuelles Bild der Umgebung des Fahrzeugs (500) repräsentiert und wobei das zweite Umgebungssignal (425) ein von einem mindestens zwei reale Kameraeinheiten (415, 420) umfassenden zweiten Kamerasystem (410) aus einer zweiten virtuellen Kameraperspektive (427) sichtbares zweites virtuelles Bild der Umgebung repräsentiert; und Bereitstellen (210) eines Bildsignals (440) unter Verwendung des ersten Umgebungssignals (405) und des zweiten Umgebungssignals (425), wobei das Bildsignal (440) ein virtuelles Umgebungsbild der Umgebung repräsentiert.
Verfahren (200) gemäß Anspruch 1, mit einem Schritt (310) des Erstellens des ersten virtuellen Bildes und des zweiten virtuellen Bildes vor dem Schritt (205) des Einlesens, wobei das erste virtuelle Bild aus mindestens zwei zusammengefügten Einzelbildern der Kameraeinheiten (105, 110) erstellt und auf die erste virtuelle Kameraperspektive (407) umgerechnet wird und das zweite virtuelle Bild aus mindestens zwei zusammengefügten Einzelbildern der Kameraeinheiten (415, 420) erstellt und auf die zweite virtuelle Kameraperspektive (427) umgerechnet wird.
Verfahren (200) gemäß Anspruch 2, mit einem Schritt (305) des Erfassens der Einzelbilder unter Verwendung der Kameraeinheiten (105, 110, 415, 420).
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (205) des Einlesens die Kameraeinheiten (105, 110) des ersten Kamerasystems (100) separat von den Kameraeinheiten (415, 420) des zweiten Kamerasystems (410) ausgebildet sind.
Verfahren (200) gemäß einem der Ansprüche 1 bis 3, wobei im Schritt (205) des Einlesens eine Kameraeinheit (105, 110) des ersten Kamerasystems (100) einer Kameraeinheit (415, 420) des zweiten Kamerasystems (410) entspricht.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (315) des Ermittelns einer Auswahl von Kameraeinheiten (105, 110, 415, 420) unter Verwendung eines Ausschnittsignals (470), wobei die Kameraeinheiten (105, 110, 415, 420) einen Erfassungsbereich (475) aufweisen, der einen Ausschnitt der Umgebung repräsentiert.
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (325) des Erkennens eines Objekts (115) in der Umgebung unter Verwendung des ersten und/oder des zweiten Umgebungssignals (405, 425) und/oder eines Einzelbilds einer der Kameraeinheiten (105, 110, 415, 420).
Verfahren gemäß Anspruch 7, mit einem Schritt des Bestimmens eines Objektsignals (450) unter Verwendung des Bildsignals (440), wobei das Objektsignal (450) mittels stereoskopischer Informationen aus dem ersten und zweiten Umgebungssignal (405, 425) bestimmte Koordinaten des Objekts (115) repräsentiert.
Verfahren (200) gemäß Anspruch 8, mit einem Schritt (335) des Ausgebens eines Steuersignals (460) zum Steuern eines Greifens des Objekts (115) mit einer Greifeinrichtung (465) des Fahrzeugs (500), wobei das Steuersignal (460) ein unter Verwendung des Objektsignals (450) bestimmtes Signal repräsentiert.
Verfahren (200) gemäß Anspruch 8, mit einem Schritt (320) des Zuordnens der Auswahl von Kameraeinheiten (105, 110, 415, 420) zu dem ersten Kamerasystem (100) und dem zweiten Kamerasystem (410).
Verfahren (200) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Kalibrierens des ersten Kamerasystems (100) und des zweiten Kamerasystems (410).
Kameravorrichtung (400) zum Erfassen einer Umgebung eines Fahrzeugs (500), wobei die Kameravorrichtung (400) folgende Merkmale aufweist: ein erstes Kamerasystem (100) mit einer Mehrzahl von realen Kameraeinheiten (105, 110), wobei das erste Kamerasystem (100) ausgebildet ist, um ein erstes Umgebungssignal (405) bereitzustellen, das ein aus einer ersten virtuellen Kameraperspektive (407) sichtbares erstes virtuelles Bild der Umgebung des Fahrzeugs (500) repräsentiert; ein zweites Kamerasystem (410) mit einer Mehrzahl von realen Kameraeinheiten (415, 420), wobei das zweite Kamerasystem (410) ausgebildet ist, um ein zweites Umgebungssignal (425) bereitzustellen, das ein aus einer zweiten virtuellen Kameraperspektive (427) sichtbares zweites virtuelles Bild der Umgebung des Fahrzeugs (500) repräsentiert; und eine Auswerteeinrichtung (430), die ausgebildet ist, um unter Verwendung des ersten Umgebungssignals (405) und des zweiten Umgebungssignals (425) ein virtuelles Umgebungsbild zu berechnen und ein das Umgebungsbild repräsentierendes Bildsignal (440) bereitzustellen.
Fahrzeug (500) mit einer Kameravorrichtung (400) gemäß Anspruch 12.
Fahrzeug (500) gemäß Anspruch 13, mit einer Greifeinrichtung (465), die ausgebildet ist, um ein von der Kameravorrichtung (400) erfasstes Objekt (115) in der Umgebung zu greifen.
Computerprogramm, umfassend Befehle, die bei Ausführung des Programms durch einen Computer oder eine Auswerteeinrichtung (430) oder eine Kameravorrichtung (400) gemäß Anspruch 12 diesen bzw. diese veranlassen, die Schritte des Verfahrens (200) gemäß einem der Ansprüche 1 bis 11 auszuführen und/oder anzusteuern.