DE102021132334A1 - Abtasten eines Umfelds eines Fahrzeugs - Google Patents

Abtasten eines Umfelds eines Fahrzeugs Download PDF

Info

Publication number
DE102021132334A1
DE102021132334A1 DE102021132334.7A DE102021132334A DE102021132334A1 DE 102021132334 A1 DE102021132334 A1 DE 102021132334A1 DE 102021132334 A DE102021132334 A DE 102021132334A DE 102021132334 A1 DE102021132334 A1 DE 102021132334A1
Authority
DE
Germany
Prior art keywords
vehicle
image
camera
scanning
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021132334.7A
Other languages
English (en)
Inventor
Philipp Hoffmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021132334.7A priority Critical patent/DE102021132334A1/de
Priority to CN202210975647.0A priority patent/CN116238422A/zh
Priority to US18/075,872 priority patent/US20230179743A1/en
Publication of DE102021132334A1 publication Critical patent/DE102021132334A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Ein Fahrzeug bewegt sich gegenüber einem Umfeld entlang einer Bewegungsrichtung. Das Fahrzeug umfasst eine erste und eine zweite Kamera; wobei die erste Kamera entlang der Bewegungsrichtung vor der zweiten Kamera angeordnet ist. Ein Verfahren zum Abtasten des Umfelds vom Fahrzeug aus umfasst Schritte des Abtastens eines ersten Bilds mittels der ersten Kamera; des Abtastens eines zweiten Bilds mittels der zweiten Kamera; und des Kombinierens des ersten und des zweiten Bilds zu einem Gesamtbild. Dabei wird das zweite Bild zeitverzögert zum ersten Bild abgetastet, sodass ein Versatz von Orten, an denen die Bilder abgetastet werden, kleiner als ein Versatz der Kameras an Bord des Fahrzeugs ist.

Description

  • Die vorliegende Erfindung betrifft das Abtasten eines Umfelds eines Fahrzeugs. Insbesondere betrifft die Erfindung das Bereitstellen einer Abtastung auf der Basis von Bildern mehrerer am Fahrzeug versetzt angebrachter Kameras.
  • Ein Fahrzeug umfasst mehrere Kameras, beispielsweise eine am Heck angebrachte Rückfahrkamera und eine im Bereich einer Fahrzeugsäule angebrachte Seitenkamera. Die Kameras sind dazu eingerichtet, ein Umfeld des Fahrzeugs abzutasten. Abtastbereiche der Kameras können einander überlappen und insbesondere vom Fahrzeug aus nach hinten gerichtet sein. An Bord des Fahrzeugs können die Bilder einem Fahrer nach Art eines Rückspiegels präsentiert werden, sodass er einen verbesserten Eindruck über das Umfeld des Fahrzeugs gewinnen kann.
  • Gleichzeitig abgetastete Bilder weisen aufgrund der unterschiedlichen Anbringungsorte der Kameras am Fahrzeug unterschiedliche Perspektiven auf. Werden die Bilder gemeinsam betrachtet, so ergibt sich daher ein Parallaxenfehler, der eine einheitliche Wahrnehmung erschweren kann. Gerade für einen Fahrer des Fahrzeugs kann es jedoch essenziell sein, einen einheitlichen und akkuraten Überblick über das Umfeld des Fahrzeugs zu erhalten, sodass er das Fahrzeug in Abhängigkeit des Umfelds sicher steuern kann.
  • Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Angabe einer verbesserten Technik zur Bereitstellung einer Ansicht eines Umfelds eines Fahrzeugs mit mehreren versetzt zueinander angeordneten Kameras. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
  • Ein Fahrzeug bewegt sich gegenüber einem Umfeld entlang einer Bewegungsrichtung. Das Fahrzeug umfasst eine erste und eine zweite Kamera; wobei die erste Kamera entlang der Bewegungsrichtung vor der zweiten Kamera angeordnet ist.
  • Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Abtasten des Umfelds vom Fahrzeug aus Schritte des Abtastens eines ersten Bilds mittels der ersten Kamera; des Abtastens eines zweiten Bilds mittels der zweiten Kamera; und des Kombinierens des ersten und des zweiten Bilds zu einem Gesamtbild. Dabei wird das zweite Bild zeitverzögert zum ersten Bild abgetastet, sodass ein Versatz von Orten, an denen die Bilder abgetastet werden, kleiner als der Versatz der Kameras an Bord des Fahrzeugs ist.
  • Ein Versatz kann als Strecke aufgefasst werden, die direkt zwischen den Anbringungsorten der Kameras liegt. Alternativ kann der Versatz auch auf eine Bewegungsrichtung des Fahrzeugs bezogen sein. Weiter alternativ kann der Versatz eine Strecke betreffen, die das Fahrzeug zwischen den vorbestimmten Zeitpunkten zurückliegt. Diese Strecke kann entlang einer Trajektorie gerade oder auch in Kurvenform verlaufen, sodass die Strecke entlang der Trajektorie länger als die direkte Strecke sein kann.
  • Durch das Verzögern des zweiten Bilds gegenüber dem ersten Bild können Orte, an denen die Bilder aufgenommen werden, einander angenähert werden. Perspektiven der Bilder können daher besser miteinander übereinstimmen bzw. eine geringere Abweichung voneinander aufweisen. Die Abweichung kann im Wesentlichen nur noch von einem lateralen Versatz der Kameras an Bord des Fahrzeugs abhängen. Ein Parallaxenfehler beim Kombinieren der beiden Bilder zum Gesamtbild kann verringert sein. Eine durch das Verfahren bedingte zeitverzögerte Darstellung eines Inhalts des ersten Bilds kann unschädlich sein, da Inhalte des zweiten Bilds verzögerungsfrei bereitgestellt sein können. Die Zeitverzögerung kann von einer Bewegungsgeschwindigkeit des Fahrzeugs und einem Versatz der Kameras am Fahrzeug abhängen. Bei einer üblichen Fahrgeschwindigkeit des Fahrzeugs kann die Zeitverzögerung nur wenige Millisekunden betragen, sodass für einen Betrachter des Gesamtbilds keine nennenswerte Informationsverzögerung wahrnehmbar ist.
  • In einer ersten Variante werden die Bilder auf unterschiedlichen Anzeigeflächen an Bord des Fahrzeugs gleichzeitig bereitgestellt. Die erste Kamera kann beispielsweise im Bereich einer Frontscheibe des Fahrzeugs angebracht sein, insbesondere nahe einer ersten Fahrzeugsäule (A-Säule). Das erste Bild kann in einem Innenraum des Fahrzeugs nahe der Kamera dargestellt werden. Ist die erste Kamera am Fahrzeug links angebracht, so erfolgt die Darstellung des ersten Bilds bevorzugt auf einer im Innenraum links angebrachten Anzeige. In entsprechender Weise kann ein erstes Bild einer rechts angebrachten ersten Kamera auf einer Anzeige ausgegeben werden, die im Innenraum rechts angebracht ist. Eine Kombination einer ersten Kamera und einer zugeordneten Anzeige kann auch Kamera-Monitor-System (Camera Monitor System, CMS) genannt werden). Die zweite Kamera kann im Bereich des Hecks des Fahrzeugs insbesondere mittig angebracht sein. Das zweite Bild kann auf einer Mittelkonsole des Fahrzeugs angebracht sein. Die Anzeige für das zweite Bild kann insbesondere zwischen Anzeigen für die ersten Bilder angebracht sein. Dabei können die Anzeigen aneinander angrenzen oder zueinander beabstandet sein.
  • In einer anderen Variante werden die Bilder mittels eines Stitching zum Gesamtbild kombiniert. Dabei bezeichnet Stitching einen Algorithmus, um in der Fotografie ein großes Bild aus verschiedenen, üblicherweise überlappenden Einzelbildern zusammenzusetzen. Dabei werden voneinander abweichende Bildwinkel und andere geometrische Verzerrungen einander angepasst. Außerdem kann ein Belichtungs- oder Farbausgleich zwischen den Bildern durchgeführt werden. Das Gesamtbild kann auf einer gemeinsamen Anzeigefläche ausgegeben werden. Diese Anzeigefläche kann beispielsweise auf der beschriebenen Mittelkonsole liegen oder durch eine Head-up-Anzeige abgedeckt sein.
  • Bevorzugt wird die Zeitverzögerung zwischen dem Abtasten des ersten Bilds und dem Abtasten des zweiten Bilds in Abhängigkeit einer Bewegungsgeschwindigkeit des Fahrzeugs bestimmt. Je schneller sich das Fahrzeug bewegt, desto kürzer kann die Zeitverzögerung sein. Die Bewegungsgeschwindigkeit des Fahrzeugs kann auf unterschiedliche Weisen bestimmt werden, beispielsweise odometrisch, mittels eines Beschleunigungssensors, auf der Basis von Abtastungen von Drehsensoren an Rädern des Fahrzeugs, einer fotogrammetrischen Methode oder Positionsinformationen eines Empfängers für ein Radionavigationssystem wie GPS oder Galileo.
  • Kann ein Zeitpunkt der Aufnahme eines ersten oder eines zweiten Bilds gesteuert werden, so kann der Zeitpunkt in Abhängigkeit der Bewegungsgeschwindigkeit des Fahrzeugs so gewählt werden, dass der Versatz minimiert ist. Häufig wird jedoch eine Kamera verwendet, die eine Abfolge von Bildern mit einer vorbestimmten Frequenz bereitstellt. In diesem Fall kann eine Optimierung durch Auswahl eines Bilds aus der Abfolge erfolgen.
  • In einer Ausführungsform stellt die zweite Kamera zweite Bilder mit einer vorbestimmten Frequenz bereit, wobei ein zweites Bild ausgewählt wird, das an einem Ort abgetastet wurde, dessen Versatz zum Ort, an dem das erste Bild abgetastet wurde, minimiert ist. Der Versatz kann bezüglich der Bewegung des Fahrzeugs positiv oder negativ sein. In dieser Ausführungsform kann die erste Kamera ebenfalls mit einer vorbestimmten Frequenz arbeiten. Die Frequenzen können voneinander verschieden oder gleich sein. Bei gleichen Frequenzen kann eine vorbestimmte Phasendifferenz zwischen Abtastungen der Bilder bestehen. Die Frequenzen und gegebenenfalls die Phasendifferenz können bei der Zuordnung eines zweiten Bilds zu einem ersten Bild berücksichtigt werden, um die erwünschte Minimierung des Versatzes von Aufnahmeorten zu erreichen.
  • In einer weiteren Ausführungsform wird das Gesamtbild unter Berücksichtigung eines Abstands der Orte quer zur Fahrtrichtung bestimmt. Durchfährt das Fahrzeug während der Zeitverzögerung eine Kurve, so verändert sich ein Abstand zwischen den Positionen, an denen die Bilder abgetastet werden, in einer Richtung quer zum Fahrzeug. Ein ähnlicher Effekt kann entstehen, wenn das Fahrzeug driftet. Um diesen Versatz zu kompensieren, kann eines der Bilder auf einer ihm zugeordneten Anzeigefläche entsprechend quer zur Fahrtrichtung verschoben werden. Im Fall der Kombination beider Bilder zu einem Gesamtbild mittels Stitching kann der laterale Versatz der Bilder zueinander entsprechend berücksichtigt werden.
  • Es ist besonders bevorzugt, dass der Abstand quer zur Fahrtrichtung auf der Basis einer Gierbewegung des Fahrzeugs während der Zeitverzögerung bestimmt wird. Die Gierbewegung kann mittels eines oder mehrerer Sensoren oder bezüglich einer bestimmten Trajektorie des Fahrzeugs bestimmt werden.
  • Nach einem zweiten Aspekt der vorliegenden Erfindung umfasst ein Abtastsystem an Bord eines Fahrzeugs, das sich gegenüber einem Umfeld entlang einer Bewegungsrichtung bewegt, eine erste Kamera zur Abtastung eines ersten Bilds des Umfelds; eine zweite Kamera zur Abtastung eines zweiten Bilds des Umfelds; wobei die Kameras entlang der Bewegungsrichtung versetzt angeordnet sind; und eine Steuervorrichtung. Dabei ist die Steuervorrichtung dazu eingerichtet, das zweite Bild zeitverzögert zum ersten Bild bereitzustellen, sodass ein Versatz von Orten, an denen die Bilder abgetastet werden, kleiner als ein Versatz der Kameras an Bord des Fahrzeugs ist.
  • Die Steuervorrichtung ist bevorzugt dazu eingerichtet, den Versatz der Abtastorte der Bilder zu minimieren und idealerweise auf null zu setzen. In einer bevorzugten Ausführungsform ist die Steuervorrichtung dazu eingerichtet, ein hierin beschriebenes Verfahren teilweise oder vollständig auszuführen. Dazu kann die Steuervorrichtung insbesondere einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen. Das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen und ist optional auf einem computerlesbaren Datenträger abgespeichert. Merkmale oder Vorteile des Verfahrens können auf das Abtastsystem übertragen werden und umgekehrt.
  • In einer ersten Variante ist die Steuervorrichtung dazu eingerichtet, die erste oder die zweite Kamera zur Abtastung des zweiten Bilds anzusteuern. Ein Zeitversatz zwischen dem Aufnehmen des ersten und des zweiten Bilds kann aufgrund einer Bewegung des Fahrzeugs vorbestimmt sein.
  • In einer zweiten Variante ist die Steuervorrichtung dazu eingerichtet, aus einer Serie von zeitlich versetzt abgetasteten Bildern einer der Kameras eines auszuwählen. Diese Vorgehensweise bietet sich insbesondere dann an, wenn eine oder beide Kameras Serien von Bildern bereitstellen, deren zeitlicher Zusammenhang durch die Steuervorrichtung nicht kontrolliert werden kann.
  • Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug ein hierin beschriebenes Abtastsystem.
  • Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:
    • 1 ein Fahrzeug mit einem Abtastsystem;
    • 2 ein Ablaufdiagramm eines Verfahrens; und
    • 3 eine Illustration von zeitverzögerten Abtastungen illustriert.
  • 1 zeigt nicht maßstabsgetreu ein Abtastsystem 100 an Bord eines Fahrzeugs 105. Das Fahrzeug 105 umfasst bevorzugt ein Kraftfahrzeug, insbesondere einen Personenkraftwagen, einen Lastkraftwagen, ein Kraftrad oder einen Omnibus. Das Abtastsystem 100 ist dazu eingerichtet, ein Umfeld 110 des Fahrzeugs 105 optisch abzutasten und eine repräsentative Darstellung an Bord des Fahrzeugs 105 bereitzustellen.
  • Das Abtastsystem 100 umfasst eine erste Kamera 115 und eine zweite Kamera 120, die bezüglich einer Bewegungsrichtung des Fahrzeugs 105 zueinander versetzt am Fahrzeug 105 angebracht sind. Die Bewegungsrichtung des Fahrzeugs 105 verläuft üblicherweise nach vorne, in der Darstellung von 1 nach oben. Beispielhaft sind zwei erste Kameras 115 vorgesehen, die an einer linken und einer rechten Außenseite des Fahrzeugs 105 angebracht sind, um jeweils einen seitlich hinter dem Fahrzeug 105 liegenden Abschnitt des Umfelds 110 abzutasten. Die zweite Kamera 120 ist am Fahrzeug 105 weiter hinten als die ersten Kameras 115 angebracht, beispielsweise an einem Heck des Fahrzeugs 105, einer hinteren Kante eines Dachs, eines Heckfensters oder einer Heckklappe. Üblicherweise ist die zweite Kamera 120 bezüglich einer Längsachse des Fahrzeugs 105 mittig angebracht und dazu eingerichtet, einen hinter dem Fahrzeug 105 liegenden Abschnitt des Umfelds 110 abzutasten. Abtastbereiche der Kameras 115 und 120 können einander teilweise überlappen.
  • Ferner umfasst das Abtastsystem 100 eine Steuervorrichtung 125 zur Verarbeitung von Bildern, die durch die Kameras 115, 120 abgetastet sind. In einigen Ausführungsformen kann die Steuervorrichtung 125 eine der Kameras 115, 120 dazu ansteuern, ein Bild abzutasten.
  • Ein bereitgestelltes Bild kann an Bord des Fahrzeugs 105 ausgegeben werden. Dazu kann eine Anzeige 130 vorgesehen sein, die im Innenraum durch eine Person, insbesondere einen Fahrer des Fahrzeugs 105, abgelesen werden kann. Beispielhaft sind drei Anzeigen 130 dargestellt, von denen eine linke der linken ersten Kamera 115, eine mittlere der zweiten Kamera 120 und eine rechte der rechten ersten Kamera 115 zugeordnet sein können. In einer anderen Ausführungsform kann auch eine einzige Anzeige 130 vorgesehen sein, auf der unterschiedliche Anzeigeflächen den einzelnen Kameras 115, 120 zugeordnet sein können. In noch einer weiteren Ausführungsform ist die Steuervorrichtung 125 dazu eingerichtet, ein einziges Gesamtbild bereitzustellen, das auf einer einzigen Anzeigefläche einer Anzeige 130 dargestellt wird.
  • Um einen Parallaxenfehler zwischen Bildern einer ersten Kamera 115 und der zweiten Kamera 120 zu verringern, wird vorgeschlagen, mittels der ersten Kamera 115 ein erstes Bild abzutasten und zunächst zwischenzuspeichern. Mittels der zweiten Kamera 120 wird ein zweites Bild zeitverzögert abgetastet, wenn eine Position der zweiten Kamera 120 bezüglich der Bewegungsrichtung des Fahrzeugs 105 näher an einer Position der ersten Kamera 115 zum Zeitpunkt der Anfertigung des ersten Bilds liegt als die erste Kamera 115 von der zweiten Kamera 120 an Bord des Fahrzeugs 105 versetzt angebracht ist.
  • Mit unterbrochenen Linien ist in 1 das Fahrzeug 105 zu einem früheren Zeitpunkt dargestellt, zu dem mittels einer der ersten Kameras 115 das Umfeld 110 abgetastet wurde. Erste Kameras 115` sind für diesen Zeitpunkt mit unterbrochenen Linien eingezeichnet. Es wird vorgeschlagen, die Zeitverzögerung zwischen dem Abtasten mittels der ersten Kamera 115 und dem Abtasten mittels der zweiten Kamera 120 möglichst so zu wählen, dass die Längsbewegung des Fahrzeugs 105 während der Verzögerung einem Abstand der ersten Kamera 115 bezüglich der zweiten Kamera 120 am Fahrzeug 105 in Längsrichtung entspricht.
  • 2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200 zur Bereitstellung einer Abtastung eines Umfelds 110 an Bord eines Fahrzeugs 105.
  • In einem Schritt 205 liegt eine Anforderung zur Abtastung des Umfelds 110 vor. Anschließend kann in einem Schritt 210 eine Fahrgeschwindigkeit des Fahrzeugs 105 bestimmt werden. Die Fahrgeschwindigkeit kann in Längsrichtung oder entlang einer vom Fahrzeug 105 durchfahrenen Trajektorie bestimmt werden.
  • Optional kann in einem Schritt 215 bestimmt werden, ob die Fahrgeschwindigkeit des Fahrzeugs 105 einen vorbestimmten Schwellenwert übersteigt. Der Schwellenwert kann bestimmt werden, indem der Versatz der Kameras 115, 120 in Längsrichtung durch eine maximale technisch bedingte Zeitverzögerung zwischen der Abtastung des Umfelds 110 mittels der unterschiedlichen Kameras 115 und 120 geteilt wird. Diese maximale Zeitverzögerung kann insbesondere dann bedeutsam sein, wenn die Kameras 115 und 120 jeweils periodisch Bilder des Umfelds 110 abtasten. Fertigen die Kameras 115, 120 gleichzeitig periodisch Bilder an, so kann die maximale Zeitverzögerung dem Kehrwert der Periode entsprechen. Die Periode beträgt an üblichen Kameras ein ganzzahliges Vielfaches von 1/15 s. An einem üblichen Fahrzeug 105 beträgt die minimale Fahrgeschwindigkeit umgerechnet mehr als 100 km/h. Ist das Fahrzeug 105 nicht ausreichend schnell, so können auf übliche Weise Bilder mittels der Kameras 115 und 120 abgetastet und bereitgestellt werden.
  • In einer weiteren Ausführungsform kann berücksichtigt werden, wann die Anzeige 130 ein Bild darstellt. Üblicherweise erfolgt dies mit einer vorbestimmten Frequenz, beispielsweise 60 Hz. Mittels der ersten Kamera 115 und der zweiten Kamera 120 werden Bilder bevorzugt derart aufgenommenen, dass zwischen dem Bereitstellen des Gesamtbilds und der Anzeige des Gesamtbilds auf der Anzeige 130 möglichst wenig Zeit verstreicht. So kann die Abtastung des Umfelds 110 auch auf die Anzeige 130 synchronisiert sein.
  • In einem Schritt 220 kann mittels der vorderen, ersten Kamera 115 ein erstes Bild des Umfelds 110 abgetastet werden. In einem Schritt 225 kann abgewartet werden, bis die hintere, zweite Kamera 120 sich möglichst genau auf der Höhe der ersten Kamera 115 zum Zeitpunkt des Abtastens des ersten Bilds befindet. Um diesen Zeitpunkt zu bestimmen, kann ein Abstand der Kameras 115, 120 am Fahrzeug 105 entlang der Bewegungsrichtung durch die bestimmte Fahrgeschwindigkeit des Fahrzeugs 105 geteilt werden. Optional kann auch eine genauere Betrachtung erfolgen, indem berücksichtigt wird, dass sich das Fahrzeug 105 möglicherweise nicht entlang einer geraden Linie, sondern entlang einer Kurve bewegt. Dazu kann in einem Schritt 230 eine Trajektorie des Fahrzeugs 105 bestimmt werden. Die Trajektorie kann beispielsweise auf der Basis einer Sequenz von Positionen oder einer Geschwindigkeit bzw. Beschleunigung des Fahrzeugs 105 bestimmt werden.
  • Nach Ablauf der Zeitverzögerung kann in einem Schritt 235 mittels der hinteren, zweiten Kamera 120 ein zweites Bild des Umfelds 110 abgetastet werden. Die abgetasteten ersten und zweiten Bilder können in einem Schritt 240 miteinander kombiniert werden. Dazu können beispielsweise Perspektiven, Brennweiten oder Belichtungen der Bilder aneinander angeglichen werden. Optional können die Bilder mittels Stitching zu einem Gesamtbild zusammengefügt werden. Das Gesamtbild, das die einzelnen Bilder oder nur noch ein kombiniertes Bild umfasst, kann an Bord des Fahrzeugs 105 ausgegeben werden, beispielsweise auf der Anzeige 130.
  • Es ist zu beachten, dass das Verfahren 200 in einer ersten Variante ein Steuern eines Zeitpunkts, zu dem eine der Kameras 115, 120 das Umfeld 110 abtastet, umfasst, während in einer zweiten Variante aus einer Sequenz von ersten oder zweiten Bildern, die durch eine erste Kamera 115 oder eine zweite Kamera 120 abgetastet werden, eines ausgesucht wird, um ein erstes Bild und ein zweites Bild einander zuzuordnen, die an möglichst nahe zusammenliegenden Orten bezüglich des Umfelds 110 aufgenommen wurden.
  • 3 zeigt eine Illustration 300 von zeitverzögerten Abtastungen an Bord eines Fahrzeugs 105 in einem beispielhaften Szenario. Das im unteren Bereich dargestellte Fahrzeug 105 fährt entlang einer Trajektorie, die sich in der Darstellung von 3 nach oben links krümmt. Die linke erste Kamera 115 folgt dabei einer ersten Trajektorie 305, die rechte erste Kamera 115 einer zweiten Trajektorie 310 und die zweite Kamera 120 einer dritten Trajektorie 315. Alle Kameras 115, 120 fertigen periodisch und miteinander synchronisiert Abtastungen des Umfelds 110 an. Positionen, an denen die Kameras 115 jeweils das Umfeld 110 abtasten, sind mit hellen Kreisen, und Positionen, an denen die zweite Kamera 120 das Umfeld 110 abtastet, mit dunklen Kreisen dargestellt.
  • Im oberen Bereich von 3 ist das Fahrzeug 105 zu einem späteren Zeitpunkt dargestellt. Erste Positionen der ersten Kameras 115 und eine zweite Position der zweiten Kamera 120 sind einander derart zugeordnet, dass ein resultierender Versatz 320 entlang der Bewegungsrichtung des Fahrzeugs 105 minimiert ist. Der resultierende Versatz 320 drückt aus, um welche Länge die Position der zweiten Kamera 120 zum Zeitpunkt des Abtastens des zweiten Bilds entlang der Bewegungsrichtung des Fahrzeugs 105 gegenüber einer ersten Position einer ersten Kamera 115 versetzt ist. Durch passende Wahl der Verzögerung zwischen der ersten und der zweiten Abtastung kann der resultierende Versatz 320 in Längsrichtung minimiert und idealerweise auf null gebracht werden.
  • In der unteren Darstellung des Fahrzeugs 105 ist zu erkennen, dass die Position der zweiten Kamera 120 quer zur Bewegungsrichtung des Fahrzeugs 105 genau zwischen den Kameras 115 liegt. Bezüglich der Positionen, an denen sich die Kameras 115, 120 zu Zeitpunkten der Abtastung befinden, die zur Bildung des Gesamtbilds einander zugeordnet werden, gilt dies jedoch nicht. Im oberen Bereich von 3 ist zu erkennen, dass ein lateraler Abstand 325 zwischen der Position der zweiten Kamera 120 und der zugeordneten Position der linken ersten Kamera 115 größer als ein lateraler Abstand 330 zur zugeordneten Position der rechten ersten Kamera 115 ist. Um diese Ungleichmäßigkeit zu kompensieren, können die ersten Bilder der ersten Kameras 125 um den Differenzbetrag der Abstände 325, 330 nach rechts oder das zweite Bild um den Differenzbetrag nach links verschoben werden.
  • Bezugszeichenliste
  • 100
    Abtastsystem
    105
    Fahrzeug
    110
    Umfeld
    115
    erste Kamera
    115'
    erste Kamera (früherer Zeitpunkt)
    120
    zweite Kamera
    125
    Steuervorrichtung
    130
    Anzeige
    200
    Verfahren
    205
    Anforderung Bildabtastung
    210
    Fahrgeschwindigkeit bestimmen
    215
    Fahrzeug ausreichend schnell?
    220
    Bild mit vorderer Kamera abtasten
    225
    Warten, bis hintere Kamera auf Höhe der vorderen Kamera ist
    230
    Trajektorie bestimmen
    235
    Bild mit hinterer Kamera abtasten
    240
    Bilder kombinieren
    300
    Illustration
    305
    erste Trajektorie (linke erste Kamera)
    310
    zweite Trajektorie (rechte erste Kamera)
    315
    dritte Trajektorie (zweite Kamera)
    320
    resultierender Versatz in Längsrichtung
    325
    lateraler Abstand links
    330
    lateraler Abstand rechts

Claims (12)

  1. Verfahren (200) zum Abtasten eines Umfelds (110) von einem Fahrzeug (105) aus; wobei sich das Fahrzeug (105) gegenüber dem Umfeld (110) entlang einer Bewegungsrichtung bewegt; wobei das Fahrzeug (105) eine erste (115) und eine zweite Kamera (120) umfasst; wobei die erste Kamera (115) entlang der Bewegungsrichtung vor der zweiten Kamera (120) angeordnet ist; wobei das Verfahren (200) folgende Schritte umfasst: - Abtasten (220) eines ersten Bilds mittels der ersten Kamera (115); - Abtasten (235) eines zweiten Bilds mittels der zweiten Kamera (120); und - Kombinieren (240) des ersten und des zweiten Bilds zu einem Gesamtbild; dadurch gekennzeichnet, dass - das zweite Bild zeitverzögert (225) zum ersten Bild abgetastet wird, sodass ein Versatz von Orten, an denen die Bilder abgetastet werden, kleiner als ein Versatz der Kameras (115, 120) an Bord des Fahrzeugs (105) ist.
  2. Verfahren (200) nach Anspruch 1, wobei die Bilder auf unterschiedlichen Anzeigeflächen (130) an Bord des Fahrzeugs (105) gleichzeitig bereitgestellt werden.
  3. Verfahren (200) nach Anspruch 2, wobei die Bilder mittels Stitching zum Gesamtbild kombiniert (240) werden.
  4. Verfahren (200) nach einem der vorangehenden Ansprüche, wobei die Zeitverzögerung (225) zwischen dem Abtasten des ersten Bilds und dem Abtasten des zweiten Bilds in Abhängigkeit einer Bewegungsgeschwindigkeit des Fahrzeugs (105) bestimmt wird.
  5. Verfahren (200) nach einem der vorangehenden Ansprüche, wobei die zweite Kamera (120) zweite Bilder mit einer vorbestimmten Frequenz bereitstellt und ein zweites Bild ausgewählt wird, das an einem Ort abgetastet wurde, dessen Versatz zum Ort, an dem das erste Bild abgetastet wurde, minimiert ist.
  6. Verfahren (200) nach Anspruch 5, wobei die erste (115) und die zweite Kamera (120) jeweils Bilder mit einer vorbestimmten Frequenz bereitstellen.
  7. Verfahren (200) nach einem der vorangehenden Ansprüche, wobei das Gesamtbild unter Berücksichtigung eines Abstands der Orte quer zur Fahrtrichtung bestimmt (240) wird.
  8. Verfahren (200) nach Anspruch 7, wobei der Abstand auf der Basis einer Gierbewegung des Fahrzeugs (105) während der Zeitverzögerung bestimmt (240) wird.
  9. Abtastsystem (100) an Bord eines Fahrzeugs (105), das sich gegenüber einem Umfeld (110) entlang einer Bewegungsrichtung bewegt; wobei das Abtastsystem (100) folgendes umfasst: - eine erste Kamera (115) zur Abtastung eines ersten Bilds des Umfelds (110); - eine zweite Kamera (120) zur Abtastung eines zweiten des Umfelds (110); - wobei die Kameras (115, 120) entlang der Bewegungsrichtung versetzt angeordnet sind; und - eine Steuervorrichtung (125), die dazu eingerichtet ist, das zweite Bild zeitverzögert zum ersten Bild bereitzustellen, sodass ein Versatz von Orten, an denen die Bilder abgetastet werden, kleiner als ein Versatz der Kameras (115, 120) an Bord des Fahrzeugs (105) ist.
  10. Abtastsystem (100) nach Anspruch 9, wobei die Steuervorrichtung (125) dazu eingerichtet ist, die erste (115) oder die zweite Kamera (120) zur Abtastung des zweiten Bilds anzusteuern.
  11. Abtastsystem (100) nach Anspruch 9 oder 10, wobei die Steuervorrichtung (125) dazu eingerichtet ist, aus einer Serie von zeitlich versetzt abgetasteten Bildern einer der Kameras (115, 120) eines auszuwählen.
  12. Fahrzeug (105), umfassend ein Abtastsystem (100) nach einem der Ansprüche 9 bis 11.
DE102021132334.7A 2021-12-08 2021-12-08 Abtasten eines Umfelds eines Fahrzeugs Pending DE102021132334A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102021132334.7A DE102021132334A1 (de) 2021-12-08 2021-12-08 Abtasten eines Umfelds eines Fahrzeugs
CN202210975647.0A CN116238422A (zh) 2021-12-08 2022-08-15 用于探测车辆的周围环境的方法、探测系统和车辆
US18/075,872 US20230179743A1 (en) 2021-12-08 2022-12-06 Scanning the Surroundings of a Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021132334.7A DE102021132334A1 (de) 2021-12-08 2021-12-08 Abtasten eines Umfelds eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102021132334A1 true DE102021132334A1 (de) 2023-06-15

Family

ID=86498364

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021132334.7A Pending DE102021132334A1 (de) 2021-12-08 2021-12-08 Abtasten eines Umfelds eines Fahrzeugs

Country Status (3)

Country Link
US (1) US20230179743A1 (de)
CN (1) CN116238422A (de)
DE (1) DE102021132334A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060735A1 (en) 2007-02-23 2010-03-11 Koji Sato Device and method of monitoring surroundings of a vehicle
DE102015214900A1 (de) 2015-08-05 2017-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem
DE102017109445A1 (de) 2017-05-03 2018-11-08 Connaught Electronics Ltd. Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100060735A1 (en) 2007-02-23 2010-03-11 Koji Sato Device and method of monitoring surroundings of a vehicle
DE102015214900A1 (de) 2015-08-05 2017-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem
DE102017109445A1 (de) 2017-05-03 2018-11-08 Connaught Electronics Ltd. Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung

Also Published As

Publication number Publication date
CN116238422A (zh) 2023-06-09
US20230179743A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
EP2623374B1 (de) Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102010038825B4 (de) Bildanzeigesteuervorrichtung
DE102011010624B4 (de) Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs
DE112018000171T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
DE102012100002A1 (de) Rückfahrassistenzvorrichtung
DE102014018040A1 (de) Sichtsystem
DE112017001198T5 (de) Fahrwechsel-steuerungsvorrichtung und fahrwechsel-steuerungsverfahren
DE112017006596B4 (de) Anzeigevorrichtung, Verfahren zum Steuern einer Anzeigevorrichtung und sich bewegender Körper mit einer Anzeigevorrichtung
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE112018000862T5 (de) Vorrichtung und Verfahren zur Anzeige von Informationen
EP2500216A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102019116713B4 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende Darstellung einer virtuellen Flüssigkeit in einer Datenbrille im Fortbewegungsmittel
DE112015001088T5 (de) Fahrzeugumgebungsbildanzeigevorrichtung und Fahrzeugumgebungsbildanzeigeverfahren
WO2012163631A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE102021132334A1 (de) Abtasten eines Umfelds eines Fahrzeugs
DE102013010233B4 (de) Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
EP1801632A2 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit Fusion eines Infrarot- und eines Visuell-Abbilds
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
EP3959647B1 (de) Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs
DE112020006903T5 (de) Informationsverarbeitungsvorrichtung, Fahrzeug und Informationsverarbeitungsverfahren
DE102015212288B3 (de) Verfahren zur Darstellung von Kamerabildinhalten in einem Fahrzeug
WO2020233755A1 (de) Verfahren zur erzeugung eines bildes einer fahrzeugumgebung und vorrichtung zur erzeugung eines bildes einer fahrzeugumgebung
DE102019116711A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel zur Kinetosevermeidung während einer Verwendung einer Datenbrille im Fortbewegungsmittel
DE102018207976A1 (de) Verfahren und Vorrichtung zum Anzeigen einer Fahrzeugumgebung

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001000000

Ipc: B60R0001220000

R163 Identified publications notified