DE102010042821B4 - Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems - Google Patents

Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems Download PDF

Info

Publication number
DE102010042821B4
DE102010042821B4 DE102010042821.3A DE102010042821A DE102010042821B4 DE 102010042821 B4 DE102010042821 B4 DE 102010042821B4 DE 102010042821 A DE102010042821 A DE 102010042821A DE 102010042821 B4 DE102010042821 B4 DE 102010042821B4
Authority
DE
Germany
Prior art keywords
detection system
stereo
distance
base width
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102010042821.3A
Other languages
English (en)
Other versions
DE102010042821A1 (de
Inventor
Markus Hueser
Paul-Sebastian Lauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102010042821.3A priority Critical patent/DE102010042821B4/de
Priority to EP11770406.4A priority patent/EP2630632A1/de
Priority to CN2011800505960A priority patent/CN103180877A/zh
Priority to PCT/EP2011/067565 priority patent/WO2012052308A1/de
Publication of DE102010042821A1 publication Critical patent/DE102010042821A1/de
Application granted granted Critical
Publication of DE102010042821B4 publication Critical patent/DE102010042821B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

Verfahren zur Bestimmung einer Basisbreite (B) eines als Stereokamerasystem ausgebildeten Stereo-Erfassungssystems (102) das an einem Fahrzeug (100) angeordnet ist, das die folgenden Schritte umfasst: • Erfassen einer Abmessung (h1) eines von dem Stereo-Erfassungssystem (102) erfassten Objekts (104), wobei die erfasste Abmessung (h1) einen durch das Stereo-Erfassungssystem (102) ermittelten Wert repräsentiert, ins Verhältnis setzen dieser Abmessung (h1) mit einer für das Objekt vorbestimmten Referenzabmessung (h0) des Objekts bei einer Referenzentfernung (ρ0) des Objekts von dem Stereo-Erfassungssystem (102) und der Referenzentfernung (ρ0) zur Bestimmung einer Entfernung (ρ1) des erfassten Objekts (104) zu dem Stereo-Erfassungssystem (102) und • Bestimmung der Basisbreite (B) aufgrund der bestimmten Entfernung (ρ1) und einem auf das Objekt bezogenen Disparitätswert (δ) des Stereo-Erfassungssystems, • wobei fortlaufend Aufnahmen einer Umgebung von dem Stereo-Erfassungssystem (102) erzeugt werden, die als Grundlage für die Bestimmung der Basisbreite (B) herangezogen werden, und die Bestimmung der Basisbreite (B) während der Fahrt des Fahrzeugs durchgeführt wird.

Description

  • Stand der Technik
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems sowie auf eine entsprechende Vorrichtung.
  • Die video-basierte Umfeldwahrnehmung für Fahrerassistenzsysteme gewinnt zunehmend an Bedeutung. Zum Einsatz kommen u. a. Sensoren bestehend aus einer oder mehreren Kameras. Durch äußere Einflüsse, wie Temperaturänderungen oder mechanische Kräfte, ist es möglich, dass ein zuvor kalibriertes Kamerasystem dekalibriert wird. Dabei können sowohl die Orientierung der Kameras zueinander als auch die Basisbreite eines Stereo-Kamera-Systems, im folgenden ”Stereo-Basisbreite” genannt, verstellt werden. Die nun falschen Parameter des Kameramodells führen zu einer fehlerbehafteten Tiefenmessung auf Basis der Stereo-Triangulation und sämtlichen daraus abgeleiteten Größen.
  • Die DE 10 2005 039 561 A1 beschreibt dazu ein Verfahren zur Temperaturkompensation optischer Systeme.
  • Die Druckschrift „Luhmann, T.: Nahbereichsphotogrammetrie – Grundlagen, Methoden und Anwendungen. Wichmann Verlag, Heidelberg, 2. Auflage, 2003, S. 320–322” lehrt die Zusammenhänge zwischen dem Basisabstand eines Stereobildpaares, dem Disparitätswert und der Entfernung eines Objekts.
  • Die US 2009/0290787 A1 lehrt, eine Stereokamera anhand eines Kalibrierungsbildes zu kalibrieren und auch die Basisbreite zu bestimmen.
  • Die DE 10 2006 044 615 A1 , sowie WO 2009/119229 A1 zeigen vergleichbare Vorgehensweisen zu Kalibrierung eines Kamerasystems.
  • Offenbarung der Erfindung
  • Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, sowie eine Vorrichtung, die dieses Verfahren gemäß den unabhängigen Patentansprüchen verwendet, vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
  • Das erfindungsgemäße Verfahren kann auf bekannte Verfahren zur Bestimmung der intrinsischen und extrinsischen Kameraparameter mit Hilfe eines Referenzobjektes aufbauen. Dabei wird ein Referenzobjekt, dessen geometrische Merkmale bekannt sind, in einem oder mehreren Videobildern detektiert. Aus den Detektionen der geometrischen Merkmale können mit bekannten Verfahren, wie sie beispielsweise bei SCHREER, O.: Stereoanalyse und Bildsynthese. Springer Berlin Heidelberg, 2005. ISBN 978-3-540-23439-5 (Print) beschrieben sind, die Kameraparameter berechnet werden. Bei bekannten Kameraparametern kann mit Hilfe der Stereo-Triangulation die Entfernung von Weltpunkten, also Punkte aus der aufgenommenen Szene, zum Kamerasystem ermittelt werden.
  • Der erfindungsgemäße Ansatz basiert nun darauf, dass die Stereo-Basisbreite basierend auf einem erfassten Objekt bestimmt wird. Für das Anwendungsgebiet eines Stereo-Kamerasystems wird durch die Messung bekannter geometrischer Größen in einem Bild die Stereo-Basisbreite bestimmt. Bekannte geometrische Größen können dabei z. B. die Höhe von Nummernschildern, der Durchmesser von Verkehrszeichen oder auch die Breite von Verkehrspfosten sein. Diese Werte sind im Allgemeinen genormt und deshalb bekannt. Das erfindungsgemäßes System ermittelt durch das Stereo-Messprinzip diese Größen und kann bei Abweichungen die Kameraparameter korrigieren. Die relative Orientierung der beiden Kameras zueinander kann dabei durch bekannte Verfahren bestimmt werden. Die Stereo-Basisbreite kann dagegen sowohl zeitgleich oder auch in einem zweiten Schritt separat durch den erfindungsgemäßen Ansatz neu ermittelt werden.
  • Bekannte Verfahren zur automatischen Bestimmung der Orientierung der Kameras umfassen nicht die Korrektur der Stereo-Basisbreite. Vorteilhafterweise kann mittels des erfindungsgemäßen Ansatzes eine bisher erforderliche Durchführung einer kompletten Neukalibrierung des Kamera-Systems mit dem Referenzobjekt vermieden werden. Dieser zeitaufwendige Schritt musste bislang ”offline” durchgeführt werden. Erfindungsgemäß ermöglicht der erfindungsgemäße Ansatz eine automatische Korrektur der Tiefenmessung während des Betriebs des Kamerasystems (”online”-Modus). So wird während des Betriebes des Kamerasystems die Stereo-Basisbreite eines eventuell veränderten Systemaufbaus erfindungsgemäß durch eine automatische Bestimmung der Basisbreite des Stereo-Kamera-Systems gemessen. Sowohl im Offline-Modus als auch im Online-Modus arbeiten die Kameras. Das Fahrzeug kann sich dabei jeweils in Bewegung befinden. Somit kann die Bestimmung der Basisbreite während der Fahrt des Fahrzeugs durchgeführt werden. Im Offline-Modus arbeitet jedoch, im Unterschied zum Online-Modus, der nachgeschaltete Bildverarbeitungsalgorithmus z. B. zur Detektion von Fahrzeugen oder Fußgängern nicht.
  • Die vorliegende Erfindung schafft ein Verfahren zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, eines Stereokamerasystems, das den folgenden Schritt umfasst:
    Bestimmen der Basisbreite basierend auf einer erfassten Abmessung eines von dem Stereo-Erfassungssystem erfassten Objekts, wobei die erfasste Abmessung einen durch das Stereo-Erfassungssystem ermittelten Wert repräsentiert, einer für das Objekt vorbestimmten Referenzabmessung des Objekts bei einer Referenzentfernung des Objekts von dem Stereo-Erfassungssystem, der Referenzentfernung und einem auf das Objekt bezogenen Disparitätswert des Stereo-Erfassungssystems.
  • Somit kann ein Bestimmen der Basisbreite basierend auf einer Ausdehnung im Bild, beispielsweise einer Breite, Höhe oder Tiefe, eines von dem Stereo-Erfassungssystem erfassten Objekts in einem bestimmten Abstand zu dem Stereo-Erfassungssystem und einem auf das Objekt bezogenen Disparitätswerts des Stereo-Erfassungssystems erfolgen. Der Abstand kann dabei vorteilhafterweise aus der Ausdehnung im Bild ermittelt werden.
  • Das Stereo-Erfassungssystem weist zwei benachbart zueinander angeordnete Erfassungseinrichtungen, beispielsweise zwei Kameras mit Objektiven auf. Mit den beiden Erfassungseinrichtungen kann jeweils ein Bild desselben Bereichs einer Umgebung des Stereo-Erfassungssystems generiert werden. Ein Abstand zwischen optischen Achsen der beiden Erfassungseinrichtungen entspricht hier der Basisbreite. Bei dem Objekt kann es sich um einen Gegenstand oder eine Markierung handeln, die in der Umgebung des Stereo-Erfassungssystems angeordnet sind und sich in einem Erfassungsbereich des Stereo-Erfassungssystems befinden. In einem Schritt des Erfassens wird die erfasste Abmessung basierend auf einer von dem Stereo-Erfassungssystem erzeugten Aufnahme erfasst. Die erfasste Abmessung des Objekts kann beispielsweise einem Abstand oder einer Anzahl von Bildpunkten zwischen zwei die Ränder des Objekts kennzeichnenden Bildpunkten auf einem Sensorelement des Stereo-Erfassungssystems entsprechen. Wird mit Sub-Pixeln gearbeitet, so kann der Abstand auch nicht ganzzahlig sein. In entsprechender Weise kann die Referenzabmessung in Sub-Pixeln angegeben werden. Unter einem Sub-Pixel wird ein Bruchteil eines Bildpunktes verstanden. Wird das Objekt in einer Referenzentfernung erfasst, so entspricht die erfasste Abmessung der vorbestimmten Referenzabmessung. Das Objekt kann im Vorfeld vermessen worden sein, so dass die Referenzabmessung bei der entsprechenden Referenzentfernung bekannt ist. Die Referenzabmessung und die Referenzentfernung können in einem Speicher abgespeichert sein und aus diesem ausgelesen werden. Eine Information über eine Entfernung zu dem Objekt zum Zeitpunkt einer Bildaufnahme, aus der die erfasste Abmessung des Objekts bestimmt wird, kann über eine geeignete Schnittstelle empfangen werden. Die Entfernung wird durch Auswerten von Informationen bestimmt, die von dem Stereo-Erfassungssystem bereitgestellt werden, z. B. durch die Ausdehnung des Objekts im Bild. Der Disparitätswert wird aus Bildern oder Bildinformationen bestimmt, die von den beiden Erfassungseinrichtungen bereitgestellt werden. Dabei wird unter Disparität ein Versatz zwischen zwei korrespondierenden Bildpunkten der beiden Erfassungseinrichtungen verstanden, die jeweils den gleichen realen Punkt in der Umgebung des Stereo-Erfassungssystems abbilden. Es können auch mehrere auf das Objekt bezogene Disparitätswerte oder eine bezüglich des gesamten Objekts ermittelte Disparitätsinformation eingesetzt werden. Das Stereo-Erfassungssystem ist beispielsweise an einem Fahrzeug angeordnet und ausgebildet, um die Umgebung des Fahrzeugs zu erfassen. Im Online-Betrieb werden fortlaufend Aufnahmen der Umgebung von dem Stereo-Erfassungssystem erzeugt. Eine oder mehrere während des Online-Betriebs erzeugte Aufnahmen als Grundlage zur Bestimmung der Basisbreite des Stereo-Erfassungssystem herangezogen.
  • Um zu bestimmen, ob eine Korrektur der Basisbreite erforderlich ist, kann ein aktueller Abstand zu dem erfassten Objekt auf zwei unterschiedliche Arten bestimmt werden. Stimmen beide Abstandswerte überein, so ist keine Korrektur erforderlich. Stimmen die beiden Abstandswerte dagegen nicht überein, so ist eine Korrektur erforderlich. Zum einen kann der Abstand basierend auf der zu einem bestimmten Zeitpunkt erfassten Abmessung des Objekts, der Referenzabmessung des Objekts und der Referenzentfernung des Objekts, die der Referenzabmessung zugrunde liegt bestimmt werden. Zum anderen kann der Abstand basierend auf der aktuell eingestellten Basisbreite und einem zu dem bestimmten Zeitpunkt ermittelten Disparitätswert ermittelt werden.
  • Die Basisbreite kann ferner basierend auf einer Brennweite und einer Größe eines Sensorelements des Stereo-Erfassungssystems bestimmt werden. Der Sensor kann dabei einen Bildaufnehmer darstellen. Insbesondere kann die Basisbreite aus einem Quotienten aus dem Produkt aus der Entfernung, des Disparitätswerts und der Größe des Sensorelements sowie der Brennweite bestimmt werden.
  • Erfindungsgemäß wird die Basisbreite basierend auf einer Entfernung des erfassten Objekts zu dem Stereo-Erfassungssystem und dem Disparitätswert ermittelt, wobei die Entfernung basierend auf der erfassten Abmessung, der Referenzabmessung und der Referenzentfernung bestimmt wird. Vorteilhafterweise ist somit keine weitere Einrichtung zum Bestimmen eines aktuellen Abstands zu dem Objekt erforderlich.
  • Ferner kann das Verfahren einen Schritt des Erkennens des Objekts in einer von dem Stereo-Erfassungssystem erfassten Aufnahme des Umfelds des Stereo-Erfassungssystems und einen Schritt des Zuordnens der Referenzabmessung und der Referenzentfernung zu dem Objekt umfassen. Vorteilhafterweise kann das Objekt mittels eines Objekterkennungsverfahrens in einer während des Online-Betriebs des Stereo-Erfassungssystem erfassten Aufnahme erkannt werden. In einer Nachschlagetabelle können zu mehreren Referenzobjekten entsprechende Referenzabmessungen und Referenzentfernungen hinterlegt sein. Pro Referenzobjekt können jeweils eine Mehrzahl unterschiedlicher Referenzabmessungen und zugehörige Referenzentfernungen hinterlegt sein. Ferner können geeignete Merkmale des oder der Referenzobjekte hinterlegt sein, die eine Erkennung des Referenzobjekts ermöglichen.
  • Dabei kann in dem Schritt des Erkennens das Objekt als eines einer Mehrzahl bekannter Referenzobjekte erkannt werden, zu denen jeweils mindestens eine Referenzabmessung und mindestens eine Referenzentfernung bekannt ist. Pro Referenzobjekt können somit ein oder mehrere Referenzpaare hinterlegt sein, wobei jedes Referenzpaar jeweils einen Wert für eine Referenzabmessung und einen Wert für einen Referenzabstand umfasst. Ist das Stereo-Erfassungssystem an einem Fahrzeug angeordnet, so können die Referenzobjekte typischerweise in dem Umfeld des Fahrzeugs auftretende Objekte, beispielsweise einer Verkehrsinfrastruktur oder Bereiche anderer Fahrzeuge, sein. Somit kann es sich bei den Referenzobjekten um Objekte handeln, die von dem Stereo-Erfassungssystem ohnehin während des Normal-Betriebs erfasst werden.
  • Gemäß einer Ausführungsform kann der Schritt des Bestimmens der Basisbreite ansprechend auf das Erkennen des Objekts in der Aufnahme ausgeführt werden. Somit kann das Verfahren durch das Erkennen eines geeigneten Objekts automatisch ausgelöst werden.
  • Das Verfahren kann einen Schritt des Bestimmens des Disparitätswerts basierend auf einem dem Stereo-Erfassungssystem zugeordneten Stereoalgorithmus umfassen. Mittels des Stereoalgorithmus kann eine Tiefeninformation der Aufnahme des Stereo-Erfassungssystems bestimmt werden. Der Disparitätswert des Objekts kann auf einen Punkt oder eine Kante bezogen sein, die dem Objekt zugeordnet ist.
  • Die vorliegende Erfindung schafft ferner eine Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, eines Stereokamerasystems, das das folgende Merkmal umfasst:
    eine Einrichtung zum Bestimmen der Basisbreite basierend auf einer erfassten Abmessung eines von dem Stereo-Erfassungssystem erfassten Objekts, wobei die erfasste Abmessung einen durch das Stereo-Erfassungssystem ermittelten Wert repräsentiert, einer für das Objekt vorbestimmten Referenzabmessung des Objekts bei einer Referenzentfernung des Objekts von dem Stereo-Erfassungssystem, der Referenzentfernung und einem auf das Objekt bezogenen Disparitätswert des Stereo-Erfassungssystems.
  • Die Einrichtung kann Teil des Stereo-Erfassungssystems sein. Die Vorrichtung ist ausgebildet, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
  • Unter einer Vorrichtung und Einrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung und die Einrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs oder eines sogenannten FPGAs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
  • Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
  • Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
  • 1 eine Übersichtsdarstellung eines Ausführungsbeispiels der vorliegenden Erfindung;
  • 2 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung; und
  • 3 eine schematische Darstellung eines Stereo-Erfassungssystems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
  • In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
  • 1 zeigt ein Fahrzeug 100 mit einem Stereokamerasystem 102, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Stereokamerasystem 102 kann als ein Stereo-Mess-System eingesetzt werden. Das Stereokamerasystem 102 ist ausgebildet, um Bilder der Umgebung des Fahrzeugs 100 aufzunehmen, während sich das Fahrzeug 100 in Bewegung befindet, als auch bei einem Stillstand des Fahrzeugs 100. Beispielsweise kann sich das Fahrzeug auf einer Fahrbahn befinden und ein Verkehrszeichen 104 kann sich in einem Erfassungsbereich des Stereokamerasystems 102 befinden. Somit kann das Stereokamerasystem 102 das Verkehrszeichen 104 erfassen. Die von dem Stereokamerasystem erfassten Bilder können beispielsweise an eine Fahrerassistenzfunktion bereitgestellt und von dieser ausgewertet werden. Beispielsweise kann das Verkehrszeichen 104 mittels einer Objekterkennung erkannt werden. Ferner können die Bilder oder vereinzelte Bilder des Stereokamerasystems 102 an eine Einrichtung 106 zur Bestimmung einer Basisbreite des Stereokamerasystems 102 bereitgestellt werden. Die Einrichtung 106 kann Teil des Stereokamerasystems 102 sein oder als eine separate Einheit ausgeführt sein, die über eine Schnittstelle mit dem Stereokamerasystem 102 verbunden ist. Die Einrichtung 106 ist ausgebildet, um beispielsweise anhand des Verkehrszeichens 104 die Basisbreite zu bestimmen. Dazu kann die Einrichtung 106 von dem Stereokamerasystem 102 ermittelte Disparitätsinformationen bezüglich des Verkehrszeichens 104 verarbeiten. Die durch die Einrichtung 106 bestimmte Basisbreite kann eingesetzt werden, um einen bestehenden Wert für die Basisbreite des Stereokamerasystems 102 zu aktualisieren.
  • 2 zeigt ein Ablaufdiagramm eines Verfahrens zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, eines Stereokamerasystems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann zur Bestimmung der Basisbreite des in 1 gezeigten Kamerasystems eingesetzt werden.
  • In einem Schritt 210 wird eine von dem Stereo-Erfassungssystem aufgenommene Aufnahme im Hinblick auf eine Anzahl oder eine Mehrzahl vorbestimmter Objekte analysiert. Dazu kann eine geeignete Objekterkennung ausgeführt werden. Wird ein entsprechendes Objekt erkannt, beispielsweise das in 1 gezeigte Verkehrszeichen, so kann in einem Schritt 212 eine Entfernung zu dem Objekt bestimmt werden. Dies kann beispielsweise erfolgen, indem eine Abmessung eines bestimmten Merkmals des Objekts gemessen wird und mit einer hinterlegten Referenzabmessung ins Verhältnis gesetzt wird. Die Abmessung kann einer Ausdehnung des Merkmals in der Aufnahme oder dem Bild des Stereo-Erfassungssystems entsprechen. Das Merkmal kann beispielsweise eine Höhe, Breite oder eine andere Größe des Verkehrsschildes repräsentieren. Die Referenzabmessung ist auf das entsprechende Merkmal bezogen. Die Referenzabmessung kann beispielsweise in einem Speicher hinterlegt sein und im Fall der Erkennung des Objekts ausgelesen werden. In einem Schritt 214 kann ein dem Objekt zugeordneter Disparitätswert bestimmt werden. Anschließend kann in einem Schritt 216 eine aktuell bestehende Basisbreite basierend auf dem Disparitätswert und der Entfernung bestimmt werden. In einem Schritt 218 kann eine bisher angenommene Basisbreite des Stereo-Erfassungssystems durch die aktuell bestimmte Basisbreite ersetzt werden.
  • 3 zeigt eine Aufsicht auf eine achsparallele Stereogeometrie eines Stereo-Erfassungssystems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Stereo-Erfassungssystem weist ein erstes Erfassungssystem mit einer ersten Linse 321 oder einem ersten Objektiv bestehend aus einer oder mehreren Linsen und einem ersten Sensorelement 323 sowie ein zweites Erfassungssystem mit einer zweiten Linse 325 oder einem zweiten Objektiv bestehend aus einer oder mehreren Linsen und einem zweiten Sensorelement 327 auf. Die optischen Achsen des ersten und zweiten Erfassungssystems sind parallel zueinander, verlaufen durch die Punkte 331, 333 und sind durch die Basisweite B voneinander beabstandet. Das erste und zweite Erfassungssystem weisen jeweils denselben Fokus f auf. Gezeigt ist ein Punkt 341 eines von dem Stereo-Erfassungssystem erfassten Objekts, der auf einen ersten Bildpunkt 343 des ersten Sensorelements 323 und auf einen zweiten Bildpunkt 345 des zweiten Sensorelements 327 abgebildet wird. Die Vektoren u1, u2 kennzeichnen einen Abstand zwischen den Bildpunkten 343, 345 und den entsprechenden optischen Achsen. Auch ist eine Entfernung ρ des Punkts 341 von dem Stereo-Erfassungssystems und insbesondere von einer Ebene in der die Sensorelemente 323, 327 angeordnet sind, gezeigt.
  • Gemäß einem Ausführungsbeispiel ist es für ein Verfahren zur automatischen Bestimmung der Basisbreite eines Stereo-Kamera-Systems Voraussetzung, dass die Ausdehnung von bekannten Objekten, wie z. B. einem Nummernschild oder einem Verkehrszeichen, im Bild bei einer oder mehreren gegebenen Referenzentfernungen bekannt ist. Zur Beschreibung des Verfahrens bezeichnet h0 im folgenden Verlauf exemplarisch die Höhe von Nummernschildern im Kamerabild, angegeben in Pixel, bei einer Referenzentfernung von ρ0 = 10 m. Wie oben schon beschrieben sind auch andere Objekte mit bekannten geometrischen Merkmalen möglich. Andere Referenzentfernungen sind ebenfalls möglich.
  • Damit lässt sich die aktuelle Entfernung eines Objektes ρ1 über das Verhältnis von aktueller Höhe h1 und Referenzhöhe h0 sowie der Referenzentfernung ρ0 beschreiben. ρ1 = h₀ / h₁·ρ0 (1)
  • Dabei stellt ρ1 die aktuelle Entfernung, h1 die aktuell gemessene Höhe, ρ0 die Referenzentfernung und h0 die Referenzhöhe dar.
  • Gleichzeitig wird der Abstand ρ [m] eines Objektes zum Stereokamerasystem (im Fall der achsparallelen Stereogeometrie) durch die folgende Formel beschrieben.
  • Figure DE102010042821B4_0002
  • Dabei ist B die Stereo-Basisbreite in Metern, f die Brennweite einer Kamera in Metern, δ die Disparität in Pixeln und du die Breite eines Sensor-Elements (Skalierungsfaktor) in Metern pro Pixel. 3 skizziert diesen Zusammenhang für den Fall der achsparallelen Stereogeometrie.
  • Die Formel (2) gilt für den Fall der achsparallelen Stereogeometrie. Für den Fall der allgemeinen Stereogeometrie wird δ ersetzt durch δ1 und δ2, die jeweils eine Funktion von der Orientierung des Referenzobjekts in der Kamera 1 und der Kamera 2 sind.
  • Bis auf die Stereo-Basisbreite, die sich z. B. auf Grund von mechanischen oder temperaturbedingten Einflüssen ändern kann, werden die weiteren Parameter aus Gleichung (2), also die Brennweite f und Sensorelementgröße du, als konstant angenommen bzw. im Falle der Disparität δ durch einen Stereo-Algorithmus korrekt bestimmt. Dadurch lässt sich eine fehlerhafte Messung der Entfernung ρ1 eines Objektes mit Gleichung (2) auf einen fehlerbehafteten Wert der Stereo-Basisbreite B zurückführen.
  • Um den wahren Wert der Stereo-Basisbreite B zu bestimmen, wird nun Gleichung (2) nach B aufgelöst
    Figure DE102010042821B4_0003
    und mittels Gleichung (1) die aktuelle Entfernung ρ1 eines Referenzobjektes, z. B. eines Nummernschilds, bestimmt. Gleichzeitig liefert ein Stereoalgorithmus die aktuelle Disparität δ für das Objekt, dessen Entfernung ρ1 gerade bestimmt wurde. Dann wird die aktuelle Disparität δ und die aktuelle Entfernung ρ1 zum Referenzobjekt in Gleichung (3) eingesetzt, woraus sich dann die aktuelle Stereo-Basisbreite B berechnen lässt.
  • Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt werden.

Claims (10)

  1. Verfahren zur Bestimmung einer Basisbreite (B) eines als Stereokamerasystem ausgebildeten Stereo-Erfassungssystems (102) das an einem Fahrzeug (100) angeordnet ist, das die folgenden Schritte umfasst: • Erfassen einer Abmessung (h1) eines von dem Stereo-Erfassungssystem (102) erfassten Objekts (104), wobei die erfasste Abmessung (h1) einen durch das Stereo-Erfassungssystem (102) ermittelten Wert repräsentiert, ins Verhältnis setzen dieser Abmessung (h1) mit einer für das Objekt vorbestimmten Referenzabmessung (h0) des Objekts bei einer Referenzentfernung (ρ0) des Objekts von dem Stereo-Erfassungssystem (102) und der Referenzentfernung (ρ0) zur Bestimmung einer Entfernung (ρ1) des erfassten Objekts (104) zu dem Stereo-Erfassungssystem (102) und • Bestimmung der Basisbreite (B) aufgrund der bestimmten Entfernung (ρ1) und einem auf das Objekt bezogenen Disparitätswert (δ) des Stereo-Erfassungssystems, • wobei fortlaufend Aufnahmen einer Umgebung von dem Stereo-Erfassungssystem (102) erzeugt werden, die als Grundlage für die Bestimmung der Basisbreite (B) herangezogen werden, und die Bestimmung der Basisbreite (B) während der Fahrt des Fahrzeugs durchgeführt wird.
  2. Verfahren gemäß Anspruch 1, bei dem die Basisbreite (B) ferner basierend auf einer Brennweite (f) und einer Größe (dU) eines Sensorelements des Stereo-Erfassungssystems (102) bestimmt wird.
  3. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Basisbreite dann korrigiert wird, wenn aktuelle Abstände (ρ0, ρ1) zu dem erfassten Objekt auf zwei unterschiedliche Arten bestimmt werden und diese nicht übereinstimmen, wobei der eine Abstand (ρ1) basierend auf einer zu einem bestimmten Zeitpunkt erfassten Abmessung (h1) des Objekts, der Referenzabmessung (h0) des Objekts und der Referenzentfernung (ρ0) des Objekts, die der Referenzabmessung (h0) zugrunde liegt, bestimmt wird und der andere Abstand (ρ) basierend auf der aktuell eingestellten Basisbreite (B) und einem zu dem bestimmten Zeitpunkt ermittelten Disparitätswert (δ) ermittelt wird.
  4. Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Erkennens des Objekts (104) in einer Aufnahme und einem Schritt des Zuordnens der Referenzabmessung (h0) und der Referenzentfernung (ρ0) zu dem Objekt.
  5. Verfahren gemäß Anspruch 4, bei dem in dem Schritt des Erkennens das Objekt (104) als eines einer Mehrzahl bekannter Referenzobjekte erkannt wird, zu denen jeweils mindestens eine Referenzabmessung (h0) und mindestens eine Referenzentfernung (ρ0) bekannt ist.
  6. Verfahren gemäß einem der Ansprüche 4 oder 5, bei dem der Schritt des Bestimmens der Basisbreite (B) ansprechend auf das Erkennen des Objekts (104) in der Aufnahme ausgeführt wird.
  7. Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Bestimmens des Disparitätswerts (δ) basierend auf einem dem Stereo-Erfassungssystems (102) zugeordneten Stereoalgorithmus.
  8. Verfahren gemäß Anspruch 5, wobei die Referenzobjekte typischerweise in dem Umfeld des Fahrzeugs auftretende Objekte, beispielsweise eine Verkehrsinfrastruktur oder Bereiche anderer Fahrzeuge, sind, z. B. ein Nummernschild oder ein Verkehrszeichen.
  9. Verfahren gemäß einem der Ansprüche 4, 5 oder 6, wobei die Referenzabmessung (h0) in einem Speicher hinterlegt und im Fall der Erkennung des Objekts ausgelesen wird.
  10. Vorrichtung zur Bestimmung einer Basisbreite (B) eines als Stereokamerasystem ausgebildeten Stereo-Erfassungssystems (102) das an einem Fahrzeug angeordnet ist, die folgende Merkmale umfasst: • ein Stereokamerasystem und • eine Einrichtung (106) zum Erfassen einer Abmessung (h1) eines von dem Stereo-Erfassungssystem (102) erfassten Objekts (104), wobei die erfasste Abmessung (h1) einen durch das Stereo-Erfassungssystems (102) ermittelten Wert repräsentiert, • wobei die Einrichtung (106) eingerichtet ist, diese Abmessung (h1) mit einer für das Objekt vorbestimmten Referenzabmessung (h0) des Objekts bei einer Referenzentfernung (ρ0) des Objekts von dem Stereo-Erfassungssystem (102) und der Referenzentfernung (ρ0) ins Verhältnis zu setzen, um eine Entfernung (ρ1) des erfassten Objekts (104) zu dem Stereo-Erfassungssystem (102), zu bestimmen, • wobei die Einrichtung (106) weiter dazu eingerichtet ist, die Basisbreite (B) aufgrund der bestimmten Entfernung (ρ1) und einem auf das Objekt bezogenen Disparitätswert (δ) des Stereo-Erfassungssystems (102) zu bestimmen, • wobei das Stereo-Erfassungssystem (102) eingerichtet ist fortlaufend Aufnahmen einer Umgebung zu erzeugen, die als Grundlage für die Bestimmung der Basisbreite (B) herangezogen werden, und die Einrichtung (106) dazu eingerichtet ist, die Bestimmung der Basisbreite (B) während der Fahrt des Fahrzeugs durchzuführen.
DE102010042821.3A 2010-10-22 2010-10-22 Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems Active DE102010042821B4 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102010042821.3A DE102010042821B4 (de) 2010-10-22 2010-10-22 Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
EP11770406.4A EP2630632A1 (de) 2010-10-22 2011-10-07 Bestimmung der basisbreite eines stereobild-erfassungssystems
CN2011800505960A CN103180877A (zh) 2010-10-22 2011-10-07 立体图像检测系统的基础宽度的确定
PCT/EP2011/067565 WO2012052308A1 (de) 2010-10-22 2011-10-07 Bestimmung der basisbreite eines stereobild-erfassungssystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010042821.3A DE102010042821B4 (de) 2010-10-22 2010-10-22 Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems

Publications (2)

Publication Number Publication Date
DE102010042821A1 DE102010042821A1 (de) 2012-04-26
DE102010042821B4 true DE102010042821B4 (de) 2014-11-20

Family

ID=44802044

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010042821.3A Active DE102010042821B4 (de) 2010-10-22 2010-10-22 Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems

Country Status (4)

Country Link
EP (1) EP2630632A1 (de)
CN (1) CN103180877A (de)
DE (1) DE102010042821B4 (de)
WO (1) WO2012052308A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9066085B2 (en) * 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
WO2014112910A1 (en) 2013-01-21 2014-07-24 Saab Ab A method and an apparatus for estimating values for a set of parameters of an imaging system
DE102017210112A1 (de) 2017-06-16 2018-12-20 Robert Bosch Gmbh Verfahren und System zur Durchführung einer Kalibrierung eines Sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006044615A1 (de) * 2006-09-19 2008-03-27 Daimler Ag Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 3次元撮像装置及び3次元撮像装置の校正方法
US20090290787A1 (en) * 2008-05-22 2009-11-26 Matrix Electronic Measuring, L.P. Stereoscopic measurement system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
DE102005039561A1 (de) 2005-08-22 2007-03-01 Robert Bosch Gmbh Temperaturkompensation optischer Systeme
CN101840146A (zh) * 2010-04-20 2010-09-22 夏佳梁 自动矫正视差的立体图像拍摄方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006044615A1 (de) * 2006-09-19 2008-03-27 Daimler Ag Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
WO2009119229A1 (ja) * 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 3次元撮像装置及び3次元撮像装置の校正方法
US20090290787A1 (en) * 2008-05-22 2009-11-26 Matrix Electronic Measuring, L.P. Stereoscopic measurement system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LUHMANN, T.: Nahbereichsphotogrammetrie - Grundlagen, Methoden und Anwendungen. Wichmann Verlag, Heidelberg, 2. Auflage, 2003, S.320-322. *

Also Published As

Publication number Publication date
DE102010042821A1 (de) 2012-04-26
CN103180877A (zh) 2013-06-26
WO2012052308A1 (de) 2012-04-26
EP2630632A1 (de) 2013-08-28

Similar Documents

Publication Publication Date Title
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102018108027B4 (de) Objekterfassungsvorrichtung
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102013211930A1 (de) Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten
DE102008058279A1 (de) Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
DE102009019399B4 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
EP2060873B1 (de) Verfahren zur Stützung der Trägheitsnavigation eines Flugkörpers
DE102016203710B4 (de) Abstands- und Richtungsschätzung eines Zielpunkts von einem Fahrzeug unter Verwendung einer monokularen Videokamera
DE102013224502A1 (de) Verfahren zur Kalibrierung einer Stereokamera eines Fahrzeugs
DE112013004103T5 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102017207614A1 (de) Vorrichtung und Verfahren zur Kalibrierung eines Kamerasystems eines Fahrzeugs
DE102013104425B3 (de) Verfahren zur Erfassung von Geschwindigkeitsverstößen mit restriktiver Datenspeicherung
DE102018123393A1 (de) Erkennung von Parkflächen
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE112014006493T5 (de) Bestimmen eines Massstabs dreidimensonaler Informationen
DE102010042821B4 (de) Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
DE102014219423B4 (de) Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe
DE102016203959A1 (de) Infrastrukturerkennungsvorrichtung für ein Fahrzeug, Verfahren zum Erzeugen eines Signals und Verfahren zum Bereitstellen einer Reparaturinformation
DE102020215420A1 (de) Verfahren zum Kalibrieren mindestens einer Kamera
DE102014204360A1 (de) Verfahren sowie Vorrichtung zur Abschätzung des Abstandes eines in Bewegung befindlichen Fahrzeuges von einem Objekt
DE102011056948A1 (de) Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor
DE102012105435B4 (de) Fahrzeugkamera zur Entfernungsmessung
DE102018216395A1 (de) Verfahren und Vorrichtung zum Überwachen einer Anordnung zumindest eines ortsfest oder variierbar angeordneten Kalibriermarkers unter Verwendung zumindest eines ortsfest oder variierbar angeordneten fahrzeugexternen Referenzsensors zur Kalibrierung von Umfeldsensoren eines Fahrzeugs
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt

Legal Events

Date Code Title Description
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final