DE102022200542A1 - Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera - Google Patents

Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera Download PDF

Info

Publication number
DE102022200542A1
DE102022200542A1 DE102022200542.2A DE102022200542A DE102022200542A1 DE 102022200542 A1 DE102022200542 A1 DE 102022200542A1 DE 102022200542 A DE102022200542 A DE 102022200542A DE 102022200542 A1 DE102022200542 A1 DE 102022200542A1
Authority
DE
Germany
Prior art keywords
images
measure
camera
monocular
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022200542.2A
Other languages
English (en)
Inventor
Moritz Michael Knorr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022200542.2A priority Critical patent/DE102022200542A1/de
Priority to US18/152,891 priority patent/US20230231981A1/en
Priority to CN202310078107.7A priority patent/CN116471394A/zh
Publication of DE102022200542A1 publication Critical patent/DE102022200542A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Ableiten zumindest einer Information aus Bildern (4, 5) einer Stereokamera (3).Ein ressourcenschonendes und zugleich genaues Ableiten von Informationen aus den Bildern (4, 5) wird dadurch erreicht, dass die Bilder (4, 5) abwechselnd herangezogen und mit Methoden der monokularen Bildbearbeitung bearbeitet und aus deren Ergebnisse zumindest eine Information abgeleitet wird.Die Erfindung betrifft des Weiteren ein Kraftfahrzeug (100) mit einer Stereokamera (3) und mit einer Steuereinrichtung (101), welche das Verfahren durchführt.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera. Die Erfindung betrifft des Weiteren ein Kraftfahrzeug mit einer Stereokamera und einer Steuereinrichtung zum Durchführen des Verfahrens.
  • In einer Vielzahl von Anwendungen ist es wünschenswert, Informationen über die aktuelle Umgebung der Anwendung zu gewinnen. Eine solche Anwendung ist beispielsweise ein Kraftfahrzeug. Zu diesem Zweck kann zumindest eine Kamera zum Einsatz kommen, welche im Betrieb Bilder der Umgebung der Anwendung aufnimmt. Aus den Bildern werden dann Informationen abgeleitet. Insbesondere die Tiefenschätzung ist dabei von besonderem Interesse, da sie beispielsweise zur Fahrassistenz und/oder zum zumindest teilautonomen Fahren von Kraftfahrzeugen von Bedeutung ist.
  • Bekannt ist es, zu diesem Zweck eine einzige Kamera einzusetzen. Bei derartigen sogenannten monokularen Systemen werden aus den Bildern der Kamera Information abgeleitet, indem die aufeinanderfolgenden Bilder der Kamera mittels Methoden zu monokularen Bildbearbeitung bearbeitet werden.
  • Ferner ist es bekannt, zu diesem Zweck eine Stereokamera mit zwei Kameras einzusetzen, wobei die jeweilige Kamera zugehörige Bilder aufnimmt. Bei den entsprechenden Stereo-Verfahren werden zu jedem Zeitpunkt die neuen Bilder beider Kameras herangezogen und verarbeitet. Insbesondere wird die Stereo-Disparität zwischen gleichzeitig aufgenommenen Bildern und/oder ein optischer Fluss zwischen nacheinander aufgenommenen Bildern ermittelt. Dies erlaubt eine verbesserte Tiefenschätzung sowie eine verbesserte Erkennung von eigenbewegten Objekten.
  • Entsprechende Systeme und Verfahren sind beispielsweise aus der DE 10 2012 014 994 A1 , der DE 10 2012 014 994 A1 sowie der EP 1 580 092 A2 bekannt.
  • Die monokularen Systeme und Verfahren haben insbesondere den Nachteil, dass eine Tiefenschätzung für eigenbewegte Objekte nicht möglich oder mit hohen Fehlerquoten belastet ist. Die Stereo-Systeme und Verfahren haben insbesondere den Nachteil, dass die Bearbeitung der Bilder einen ohne Ressourcenverbrauch mit sich bringt.
  • Die vorliegende Erfindung beschäftigt sich daher mit der Aufgabe, für ein Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera sowie für ein Kraftfahrzeug mit einer solchen Stereokamera verbesserte oder zumindest andere Ausführungsformen anzugeben, welche insbesondere Nachteile aus dem Stand der Technik beseitigen.
  • Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
  • Die vorliegende Erfindung beruht demnach auf dem allgemeinen Gedanken, die von Kameras einer Stereokamera aufgenommenen Bilder zu aufeinanderfolgenden Zeitpunkten abwechselnd und somit alternierend heranzuziehen und zu verarbeiten, um aus den Bildern Informationen abzuleiten. Somit ist zu den aufeinanderfolgenden Zeitpunkten jeweils ein neues Bild zu berücksichtigen. Das heißt, dass für monokulare Bearbeitung ausgelegte Methoden auf eine alternierende Bildreihenfolge einer Stereokamera angewendet werden. Gegenüber aus dem Stand der Technik bekannten Stereo-Verfahren ergibt sich somit eine erhebliche Reduzierung benötigter Ressourcen.
  • Insbesondere werden auf diese Weise Bandbreiten und/oder Speicher und/oder der Verbrauch von elektrischer Energie eingespart. Insbesondere werden auf diese Weise in Stereo-Verfahren üblicherweise notwendige Berechnungen von Disparitäten zwischen Gleichzeitig aufgenommenen Stereo-Bildern und/oder Berechnungen der zeitlichen Veränderung zwischen paarweise aufeinanderfolgenden Bildern vermieden. Gegenüber Stereo-Verfahren bietet die erfindungsgemäße Lösung ferner den Vorteil, dass nicht zwei verschiedene Methoden, insbesondere Algorithmen, erforderlich sind. Gegenüber aus dem Stand der Technik bekannten monokularen-Systemen können keine lineare Bewegung der Kameras zu aufeinanderfolgenden Zeitpunkten vorliegen. In der Folge lassen sich aus der Umgebung verbessert Information, insbesondere von parallel bewegten Objekten, ableiten. Zudem ergibt sich gegenüber monokularen Systemen der Vorteil, dass auch im Stillstand eine Pseudo-Bewegung ermittelt werden kann, welche vorteilhaft für eine Tiefenschätzung sein kann. Ein weiterer Vorteil gegenüber monokularen Systemen ist, dass aufgrund des üblicherweise bekannten Abstandes der beiden Kameras der Stereokamera eine feste Bezugsgröße vorhanden ist, die es beispielsweise erlaubt, das Problem der Skalen-Mehrdeutigkeit monokularer Systeme zu beseitigen oder zumindest zu reduzieren.
  • Dem Erfindungsgedanken entsprechend werden zum Ableiten zumindest einer Information aus Bildern einer eine erste Kamera und eine zweite Kamera aufweisenden Stereokamera, in einer Maßnahme, welche nachfolgend auch als Monokularmaßnahme bezeichnet wird, die Bilder der ersten Kamera und der zweiten Kamera zeitlich abwechselnd herangezogen und mit Methoden der monokularen Bildbearbeitung verarbeitet und als Ergebnisse ausgegeben. In einer Maßnahme, welche nachfolgend auch als Ableitmaßnahme bezeichnet wird, wird aus den Ergebnissen der Monokularmaßnahme zumindest eine Information abgeleitet.
  • Die erste Kamera nimmt im Betrieb erste Bilder und die zweite Kamera zweite Bilder auf. In der Monokularmaßnahme werden also die ersten Bilder und die zweiten Bilder abwechselnd bzw. alternierend herangezogen und mit Methoden der monokularen Bildbearbeitung verarbeitet.
  • Die Stereokamera weist vorteilhaft Stereokamera-typische Eigenschaften auf. Insbesondere sind die Kameras ähnlich ausgerichtet und haben sich überschneidende Sichtbereiche, insbesondere ähnliche Sichtbereiche. Insbesondere weisen die Kameras eine intrinsische Ausrichtung auf. Gegenüber einem Stereo-Verfahren kann somit eine hochpräzise extrinsische Ausrichtung und Kalibrierung der Kameras entfallen oder zumindest in geringerem Maß erfolgen, insbesondere da die Kameras eine intrinsische Kalibrierung und/oder Rektifizierung aufweisen. Diese Voraussetzung lässt sich im Wesentlichen auch durch eine Bildvorverarbeitung erreichen.
  • Bevorzugt ist es, wenn der Abstand der Kameras bekannt ist und beim Verfahren berücksichtigt wird. Dies führt zu einer verbesserten Genauigkeit sowohl in der Monokularmaßnahme als auch in der Ableitmaßnahme.
  • Eine Vereinfachung des Verfahrens kann dadurch erreicht werden, wenn beide Kameras gleich, insbesondere identisch sind.
  • Unter „Methoden der monokularen Bildbearbeitung“ ist vorliegend insbesondere eine Bearbeitung der Bilder derart zu verstehen, dass im Vergleich zu einem Stereo-Verfahren nicht die aufeinanderfolgenden Bilder beider Kameras gleichzeitig, sondern abwechselnd die Bilder der ersten Kamera und der zweiten Kamera herangezogen werden. In der Folge ist zu jedem Zeitpunkt ein einziges neues Bild zu verarbeiten.
  • Die Monokularmaßnahme kann beliebige Methoden der monokularen Bildbearbeitung umfassen.
  • Vorteilhaft wird in der Monokularmaßnahme ein optischer Fluss der abwechselnd herangezogenen ersten Bilder und zweiten Bilder ermittelt und als Ergebnis ausgegeben.
  • Bevorzugt ist es, wenn in der Monokularmaßnahme zumindest ein Bildmerkmal der abwechselnd herangezogenen ersten Bilder und zweiten Bilder zeitlich verfolgt und als Ergebnis ausgegebenen wird.
  • Alternativ oder zusätzlich können in der Monokularmaßnahme monokulare Deep-Learning-Methoden eingesetzt werden.
  • Mit der Ableitmaßnahme können prinzipiell beliebige Informationen aus den Ergebnissen der Monokularmaßnahme abgeleitet werden.
  • Bevorzugt werden in der Ableitmaßnahme Informationen zur Tiefenschätzung abgeleitet.
  • Bei vorteilhaften Ausführungsformen wird dabei in der Ableitmaßnahme zumindest eine monokulare Methode zum Ableiten zumindest einer der wenigstens einen Informationen eingesetzt. Somit werden auch in der Ableitmaßnahme die benötigten Ressourcen reduziert.
  • Bevorzugt wird in der Ableitmaßnahme eine Eigenbewegung der Stereokamera als Information abgeleitet.
  • Bevorzugt erfolgt beim Ableiten der Eigenbewegung eine Anpassung. Dabei kann der, vorzugsweise bekannte, Versatz zwischen den Kameras berücksichtigt werden. Wird zur Eigenbewegung das Ergebnis einer zuvor bestimmten Eigenbewegung angenommen, so ist der Versatz doppelt zu berücksichtigen, das heißt zu addieren bzw. abzuziehen, insbesondere da die Richtung umgekehrt werden muss.
  • Alternativ oder zusätzlich kann die Ableitmaßnahme Warping umfassen. Dabei werden vorteilhaft Bilder und/oder Tiefenmesswerte und/oder Prädikationen und/oder Features und/oder Sicherheiten bevorzugt entsprechend einer Tiefenkarte und/oder einer anderen Art der Prädikation, die sowohl zeitlich vorwärts als auch rückwärts sein kann, gewarped.
  • Bei vorteilhaft Ausführungsformen werden in der Ableitmaßnahme die Schätzung von Tiefen und/oder die Detektion von Objekten, insbesondere eigenbewegten Objekten, in der Umgebung der Stereokamera als Information ableitet. Ebenso können Änderungen im Bild geschätzt werden.
  • Zum Ausführen des erfindungsgemäßen Verfahrens kommt vorteilhaft ein Computerprogrammprodukt, beispielsweise einen Algorithmus und/oder eine Software, zum Einsatz, welche entsprechend eingerichtet ist.
  • Das erfindungsgemäße Verfahren kann dabei mittels eines Computersystems durchgeführt werden. Dabei ist das Computersystem insbesondere derart ausgestaltet, dass es im Betrieb das Computerprogrammprodukt ausführt, um das Verfahren durchzuführen.
  • Das Verfahren kann prinzipiell in beliebigen Anwendungen zum Einsatz kommen.
  • Vorteilhaft kommt das Verfahren in einem Kraftfahrzeug zum Einsatz. Das Kraftfahrzeug weist also die Stereokamera auf. Das Kraftfahrzeug weist ferner eine Steuereinrichtung zum Durchführen des Verfahrens auf, die entsprechend ausgestaltet ist. Das heißt, dass die Steuereinrichtung derart ausgestaltet ist, dass sie aus den Bildern der Stereokamera gemäß dem Verfahren zumindest eine Information ableitet.
  • Die Steuereinrichtung kann das Computersystem aufweisen und oder Bestandteil des Computersystems sein. Insbesondere kann die Steuereinrichtung das Computerprogrammprodukt zumindest teilweise beinhalten.
  • Vorteilhaft wird die zumindest eine abgeleitete Information einem Fahrassistenzsystem des Kraftfahrzeugs zur Verfügung gestellt. Das Fahrassistenzsystem ist zum Assistieren eines Fahrzeugführers und/oder zum zumindest teilautonomen Fahren des Kraftfahrzeugs ausgestaltet, wobei das Fahrassistenzsystem zu diesem Zweck die zumindest eine Information berücksichtigt.
  • Vorteilhaft ist die Stereokamera im Kraftfahrzeug derart angeordnet, das sie bei einer Vorwärtsfahrt des Kraftfahrzeugs Bilder im Frontbereich des Kraftfahrzeugs aufnimmt. Somit kann die Zuverlässigkeit des Fahrassistenzsystems erhöht werden. Insbesondere kann die Stereokamera an einer Windschutzscheibe des Kraftfahrzeugs angebracht sein.
  • Gegenüber einem monokularen System bietet das erfindungsgemäße Verfahren ferner den Vorteil, dass mit den beiden Kameras der Stereokamera auch eine Initialisierung und/oder Re-Initialisierung mit bekannter Eigenbewegung möglich ist. Insbesondere kann beim Start des Verfahrens und/oder der Stereokamera und/oder des Kraftfahrzeugs, oder nach Erkennung eines Fehlers oder bei einem unplausiblen Ergebnis eine Re-Initialisierung durchgeführt werden. Zu diesem Zweck können, abweichend zum vorstehend beschriebenen Verfahren zum Ableiten der Informationen, gleichzeitig aufgenommene Bilder berücksichtigt werden. Dabei ist es möglich, zur Initialisierung oder Re-Initialisierung Stereoverfahren einzusetzen. Insbesondere ist es vorstellbar, das Ableiten der Eigenbewegung zu umgehen bzw. auszusetzen und einen entsprechenden Ground-Truth anzunehmen, wenn die relative Position zwischen den Kameras hinreichend genau bekannt ist. Die Re-Initialisierung kann dabei, insbesondere periodisch, zur Validierung eingesetzt werden.
  • Quellen für besagte Fehler, welche eine Initialisierung bzw. Re- Initialisierung erforderlich machen können, sind beispielsweise hohe Geschwindigkeiten, bei denen sich in den aufeinanderfolgenden Bildern sehr viel ändert, und/oder der kurzzeitige Ausfall zumindest einer der Kameras und/oder eine kurzzeitige Verdeckung zumindest einer der Kameras, beispielsweise durch Regen oder Trümmerteile, oder eine De-Kalibrierung zumindest einer der Kameras sein.
  • Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.
  • Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.
  • Es zeigen, jeweils schematisch
    • 1 eine stark vereinfachte, schaltplanartige Darstellung einer Stereokamera in einem Kraftfahrzeug,
    • 2 eine symbolische Darstellung von mit der Stereokamera aufgenommener Bildern,
    • 3 ein Flussdiagramm zur Erläuterung eines Verfahren zum Ableiten von zumindest einer Information aus Bildern der Stereokamera,
    • 4 Bilder der Kamera,
    • 5 eine Differenz zwischen Bildern der 4 gemäß Stand der Technik,
    • 6 eine Differenz zwischen Bildern der 4 gemäß der Erfindung.
  • Eine eine erste Kamera 1 und eine zweite Kamera 2 umfassende Stereokamera 3, wie sie in 1 stark vereinfacht gezeigt ist, kommt insbesondere in einem Kraftfahrzeug 100 zum Einsatz, wie es in 1 beispielhaft und stark vereinfacht sowie schaltplanartig dargestellt ist. Im Betrieb nimmt die erste Kamera 2 erste Bilder 4 und die zweite Kamera 2 zweite Bilder 5 auf. Die Bilder 4, 5 sind in 2 dargestellt, wobei die ersten Bilder 4 als Rechtecke und die zweiten Bilder 5 als Dreiecke symbolisch dargestellt sind. In 4 sind beispielhafte Bilder 4, 5 stark vereinfacht dargestellt.
  • Die beiden Kameras 1, 2 weisen, Stereokamera-typisch eine intrinsische Ausrichtung zueinander auf, wobei der Abstand der Kameras 1, 2 vorzugsweise bekannt ist und im nachfolgend beschriebenen Verfahren berücksichtigt wird. Zudem haben die Kameras 1, 2 eine zumindest ähnliche Ausrichtung und haben ähnliche, sich überschneidende Sichtbereiche. Bevorzugt sind die Kameras 1, 2 ferner gleich, insbesondere identisch, ausgebildet.
  • Wie in 2 angedeutet und anhand des in 3 gezeigten Flussdiagramms beispielhaft gezeigt, wird aus den Bildern 4, 5 zumindest eine Information, insbesondere zur Umgebung der Stereokamera 3 und somit des Kraftfahrzeugs 100, abgeleitet. Zu diesem Zweck werden die ersten Bilder 4 und zweiten Bilder 5 abwechselnd und folglich alternierend herangezogen und mit Methoden der monokularen Bildbearbeitung verarbeitet. In 2 ist eine Zeitachse als Pfeil dargestellt. Demnach nehmen in dem gezeigten Beispiel beide Kameras 1, 2 jeweils sukzessive Bilder 4, 5 auf. Das heißt, zu aufeinander folgenden Zeitpunkten tN, wobei N eine natürliche Zahl größer gleich 0 ist, die erste Kamera 1 ein erstes Bild 4 und die zweite Kamera 2 ein zweites Bild 5 aufnimmt. Wie in 2 mit gestrichelten Linien angedeutet, werden dabei zu den Zeitpunkten tN nicht beide aufgenommene Bilder 4, 5, sondern abwechselnd ein erstes Bild 4 der ersten Kamera 1 und ein zweites Bild 5 der zweiten Kamera 2 herangezogen und mit Methoden der monokularen Bildbearbeitung verarbeitet.
  • Entsprechend des in 3 gezeigten Flussdiagramms erfolgt dies in einer Maßnahme 20, welche nachfolgend auch als Monokularmaßnahme 20 bezeichnet wird. In dem Monokularmaßnahme 20 werden also die ersten Bilder 4 und die zweiten Bilder 5 abwechselnd herangezogen und mit Methoden der monokularen Bildbearbeitung verarbeitet. Zu den Zeitpunkten tN wird also jeweils ein neues Bild 4, 5 bearbeitet. Gegenüber aus dem Stand der Technik bekannten Stereoverfahren (nicht gezeigt), bei denen zu jedem Zeitpunkt tN beide neuen Bilder 4, 5 zu bearbeiten sind, ergibt sich eine erhebliche Reduzierung der benötigten Ressourcen.
  • Das Ergebnis dieser Bildbearbeitung wird einer nachfolgenden Maßnahme 21 übermittelt. In der Maßnahme 21 wird aus der Ergebnissen der Monokularmaßnahme 20 zumindest eine Information abgeleitet. Die Maßnahme 21 wird nachfolgend auch als Ableitmaßnahme 21 bezeichnet.
  • Wie 3 ferner entnommen werden kann, beinhaltet die Monokularmaßnahme 20 im gezeigten Ausführungsbeispiel eine Maßnahme 22, in welcher die Bilder 4, 5 wie beschrieben abwechselnd herangezogen werden, sowie eine Maßnahme 23, in welcher das jeweils aktuell herangezogenen Bild 4, 5 mit Methoden der monokularen Bildbearbeitung bearbeitet wird. Die Maßnahme 22 wird nachfolgend auch als Alterniermaßnahme 22 und die Maßnahme 23 als Bearbeitungsmaßnahme 23 bezeichnet. Wie 3 ferner entnommen werden kann, kann das Verfahren nach der Ableitmaßnahme 21 zur Monokularmaßnahme 20, insbesondere zur Alterniermaßnahme 22, zurückkehren.
  • Die Vorteile des erfindungsgemäßen Verfahrens gegenüber einem aus lediglich einer Kamera bestehenden Monokularsystem werden nachfolgend anhand der 4 bis 6 beispielhaft erläutert.
  • 4 zeigt mit einem Pfeil die Zeitachse, wobei Bilder 4, 5 zu zwei aufeinanderfolgenden Zeitpunkten t0 und t1 gezeigt sind. Zu beiden Zeitpunkten t0, t1 sind Bilder 4 der ersten Kamera 1, bei der es sich beispielsweise um eine linke Kamera 1 handeln kann, und zum Zeitpunkt t1 ein Bild 5 der zweiten Kamera 2, bei der sich beispielsweise um eine rechte Kamera 2 handeln kann, gezeigt. Wäre lediglich eine einzige Kamera 1, 2 vorhanden, würde das Monokularsystem vorliegen. Nachfolgend wird rein beispielhaft davon ausgegangen, dass das Monokularsystem aus der ersten Kamera 1 besteht. Somit ergibt sich die in 5 angedeutete Differenz zwischen den zum Zeitpunkt t0 und t1 aufgenommenen ersten Bilder 4 des aus der ersten Kamera 1 bestehenden Monokularsystems. Mit dem erfindungsgemäßen Verfahren wird demgegenüber, wie in 6 beispielhaft angedeutet, die Differenz zwischen dem zum Zeitpunkt t0 von der ersten Kamera 1 aufgenommenen ersten Bild 4 und dem zum Zeitpunkt t1 von der zweiten Kamera 2 aufgenommenen zweiten Bilder 5 gebildet. Wie ein Vergleich zwischen den 5 und 6 zeigt, ist die Differenz in 6 und somit im erfindungsgemäßen Verfahren erheblich ausgeprägter als die Differenz in 5 und somit gemäß dem Stand der Technik. Somit lassen sich mit dem erfindungsgemäßen Verfahren aus den Bildern 4, 5 deutlich vereinfacht und zuverlässiger sowie genauere Informationen ableiten. Zudem ist es prinzipiell möglich, zu jedem Zeitpunkt tN lediglich ein Bild 4, 5 mit der für den Zeitpunkt tN relevanten Kamera 1, 2 aufzunehmen.
  • Die Monokularmaßnahme 20, insbesondere die Bearbeitungsmaßnahme 23, umfasst bevorzugt das Ermitteln eines optischen Flusses aus den abwechselnd herangezogenen ersten Bildern 4 und zweiten Bildern 5, also ähnlich zu der in 6 gezeigten Differenz. Alternativ oder zusätzlich werden in der Monokularmaßnahme 20, insbesondere in der Bearbeitungsmaßnahme 21, monokulare Deep-Learning-Methoden eingesetzt.
  • Vorteilhaft wird in der Ableitmaßnahme 21 zumindest eine monokulare Methode zum Ableiten zumindest einer der wenigstens einen Information eingesetzt wird.
  • In der Ableitmaßnahme 21 wird beispielsweise eine Eigenbewegung der Stereokamera 3 und somit des Kraftfahrzeugs 100 als Information abgeleitet. Alternativ oder zusätzlich kann die Ableitmaßnahme 21 Warping umfassen. Dabei werden beispielsweise die Bilder 4, 5, Tiefenmesswerte, Prädikationen, Features oder Sicherheiten, vorzugsweise entsprechend einer Tiefenkarte oder einer anderen Art der Prädikation, die sowohl zeitlich vorwärts als auch rückwärts sein können, gewarped. Die Ableitmaßnahme 21 umfasst alternativ oder zusätzlich als abgeleitete Information die Schätzung von Tiefen und/oder die Detektion von Objekten 10 (siehe 4), insbesondere eigenbewegten Objekten 11, in der Umgebung der Stereokamera 3 und somit des Kraftfahrzeugs 100. Ebenso kann die Ableitmaßnahme 21 als Information die Schätzung einer Veränderung im Bilder 4, 5 umfassen.
  • Wie in den 1 und 3 angedeutet, kann die zumindest eine abgeleitete Information einem Fahrassistenzsystem 102 des Kraftfahrzeugs 100 bereitgestellt werden. Das Fahrassistenzsystem 102 ist zum Assistieren beim Fahren des Kraftfahrzeugs 100 und/oder zum zumindest teilautonomen Fahren des Kraftfahrzeugs 100 ausgestaltet, wobei Fahrassistenzsystem 102 zu diesem Zweck die zumindest eine abgeleitete Information berücksichtigt.
  • Zum Durchführen des Verfahrens weist das Kraftfahrzeug 100, wie 1 entnommen werden kann, eine mit der Stereokamera 3 verbundene Steuereinrichtung 101 auf, welche entsprechend ausgestaltet ist. Die Steuereinrichtung 101 kann beispielsweise ein nicht gezeigtes Computersystem umfassen oder Bestandteil des Computersystems sein. Dabei kann die Steuereinrichtung 101 oder das Computersystem zum Ausführen des Verfahrens ein entsprechend eingerichtetes Computerprogrammprodukt enthalten.
  • In dem in 1 gezeigten Ausführungsbeispiel ist die Stereokamera 3 in einer Z-Richtung 103 des Kraftfahrzeugs 1 vorne, beispielsweise an einer nicht gezeigten Windschutzscheibe, angebracht. Somit nehmen die Kameras 1, 2 im Betrieb Bilder 4,5 aus dem Vorderbereich, insbesondere aus der in Vorwärtsfahrtrichtung vorderen Bereich, des Kraftfahrzeugs 100 auf. In einer in 4 gezeigten Fahrtsituation können dabei auf den Bildern 4, 5, wie vorstehend erläutert, Objekte 10, wie beispielsweise eigenbewegte Objekten 11, aufgenommen und deren Tiefen, insbesondere deren relative Position zur Stereokamera 3 und folglich zum Kraftfahrzeug 1, abgeleitet werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102012014994 A1 [0005]
    • EP 1580092 A2 [0005]

Claims (10)

  1. Verfahren zum Ableiten zumindest einer Information aus Bildern (4, 5) einer eine erste Kamera (1) und eine zweite Kamera (2) aufweisenden Stereokamera (3), - wobei die erste Kamera (1) erste Bilder (4) und die zweite Kamera (2) zweite Bilder (5) aufnimmt, - wobei in einer Monokularmaßnahme (20) die ersten Bilder (4) und die zweiten Bilder (5) abwechselnd herangezogen und mit Methoden der monokularen Bildbearbeitung verarbeitet und als Ergebnisse ausgegeben werden, - wobei in einer Ableitmaßnahme (21) aus Ergebnissen der Monokularmaßnahme (20) zumindest eine Information abgeleitet wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Monokularmaßnahme (20) ein optischer Fluss der abwechselnd herangezogenen ersten Bilder (4) und zweiten Bilder (5) ermittelt und als Ergebnis ausgegeben wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in der Monokularmaßnahme (20) zumindest ein Bildmerkmal der abwechselnd herangezogenen ersten Bilder (4) und zweiten Bilder (5) zeitlich verfolgt und als Ergebnis ausgegebenen wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass in der Monokularmaßnahme (20) monokulare Deep-Learning-Methoden eingesetzt werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in der Ableitmaßnahme (21) zumindest eine monokulare Methode zum Ableiten zumindest einer der wenigstens einen Information eingesetzt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in der Ableitmaßnahme (21) eine Eigenbewegung der Stereokamera (3) als Information abgeleitet wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Ableitmaßnahme (21) Warping umfasst.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Ableitmaßnahme (21) die Schätzung von Tiefen und/oder die Detektion von Objekten (10), insbesondere eigenbewegten Objekten (11), in der Umgebung der Stereokamera (3) als Information ableitet.
  9. Computerprogrammprodukt, welches eingerichtet ist, um das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
  10. Kraftfahrzeug (100), - mit einer Stereokamera (3), - wobei die Stereokamera (3) eine erste Kamera (1) aufweist, welche im Betrieb erste Bilder (4) aufnimmt, - wobei die Stereokamera (3) eine zweite Kamera (2) aufweist, welche im Betrieb zweite Bilder (5) aufnimmt, - mit einer Steuereinrichtung (101), welche derart ausgestaltet ist, dass sie aus den Bildern (4, 5) der Stereokamera (3) gemäß dem Verfahren nach einem der Ansprüche 1 bis 8 zumindest eine Information ableitet.
DE102022200542.2A 2022-01-18 2022-01-18 Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera Pending DE102022200542A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102022200542.2A DE102022200542A1 (de) 2022-01-18 2022-01-18 Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera
US18/152,891 US20230231981A1 (en) 2022-01-18 2023-01-11 Method for deriving at least one item of information from images of a stereo camera
CN202310078107.7A CN116471394A (zh) 2022-01-18 2023-01-17 用于从立体摄像机的图像中推导至少一个信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022200542.2A DE102022200542A1 (de) 2022-01-18 2022-01-18 Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera

Publications (1)

Publication Number Publication Date
DE102022200542A1 true DE102022200542A1 (de) 2023-07-20

Family

ID=86990699

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022200542.2A Pending DE102022200542A1 (de) 2022-01-18 2022-01-18 Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera

Country Status (3)

Country Link
US (1) US20230231981A1 (de)
CN (1) CN116471394A (de)
DE (1) DE102022200542A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (de) 2004-03-26 2005-09-28 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
DE102012014994A1 (de) 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (de) 2004-03-26 2005-09-28 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
DE102012014994A1 (de) 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Bildverarbeitungsverfahren für eine digitale Stereokameraanordnung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAUL, Mrinal K.; ROUMELIOTIS, Stergios I. Alternating-Stereo VINS: Observability Analysis and Performance Evaluation. In: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE, 2018. S. 4729-4737

Also Published As

Publication number Publication date
US20230231981A1 (en) 2023-07-20
CN116471394A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102015107392A1 (de) Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019008093A1 (de) Verfahren zum Fusionieren von Sensordaten einer Vielzahl von Erfassungseinrichtungen mittels eines spärlichen Belegungsgitters, sowie Fahrerassistenzsystem
DE102021100395A1 (de) Computerimplementiertes Verfahren zur Bestimmung von Ähnlichkeitswerten von Verkehrsszenarien
DE102019122086A1 (de) Fahrerassistenz für eine Kombination
DE102016124888A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken unter Verwendung einer Fahrerassistenzvorrichtung, entsprechendes Computerprogrammprodukt und Fahrerassistenzvorrichtung
WO2019115099A1 (de) Verfahren zur erfassung von umgebungsinformationen mittels eines radarsystems
EP3278318A1 (de) Verfahren zum bereitstellen von höheninformationen eines objekts in einem umgebungsbereich eines kraftfahrzeugs an einer kommunikationsschnittstelle, sensoreinrichtung, verarbeitungseinrichtung und kraftfahrzeug
DE102022200542A1 (de) Verfahren zum Ableiten zumindest einer Information aus Bildern einer Stereokamera
EP3576013A1 (de) Abschätzen eines verlaufs eines schienenpfads
DE102010021221A1 (de) Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera
DE112017008095T5 (de) Objekterkennungsvorrichtung und Objekterkennungsverfahren
DE102012020778B4 (de) Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung
DE102017205782A1 (de) Steuervorrichtung und Verfahren
EP3805998A1 (de) Verarbeitung von sensordaten in einem kraftfahrzeug
DE102019007344A1 (de) Verfahren zur Ermittlung einer Schlupfbewegung eines Fahrzeugrades
DE102019129101A1 (de) Verfahren und System zum Schätzen eines Begrenzungsrahmens, der ein Zielfahrzeug einschließt
DE102019216184A1 (de) Verfahren zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen
DE102019115352A1 (de) Objekterkennungsvorrichtung
DE102014202639A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs
DE102019212279B3 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE102020004836A1 (de) Verfahren zur Objektverfolgung und Fusionierung von mindestens zwei Sensorsignalen, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Fusionsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Fusionsvorrichtung
DE102020004213A1 (de) Übernahme einer manuellen Fernsteuerung einer Längs- und/oder Querführung eines Fahrzeugs
DE102016010931A1 (de) Verfahren zum Erkennen eines Anhängerbetriebs bei einem Zugfahrzeug mit Anhängerkupplung
DE102022207042A1 (de) Verfahren zur Erkennung einer Verdeckung eines Kamerasensors und Kamerasensor

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication