DE102016212730A1 - Fahrzeugkameravorrichtung mit Bildauswertungselektronik - Google Patents

Fahrzeugkameravorrichtung mit Bildauswertungselektronik Download PDF

Info

Publication number
DE102016212730A1
DE102016212730A1 DE102016212730.6A DE102016212730A DE102016212730A1 DE 102016212730 A1 DE102016212730 A1 DE 102016212730A1 DE 102016212730 A DE102016212730 A DE 102016212730A DE 102016212730 A1 DE102016212730 A1 DE 102016212730A1
Authority
DE
Germany
Prior art keywords
optronics
camera device
vehicle camera
image evaluation
evaluation electronics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016212730.6A
Other languages
English (en)
Inventor
Dieter Krökel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102016212730.6A priority Critical patent/DE102016212730A1/de
Publication of DE102016212730A1 publication Critical patent/DE102016212730A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

Die Erfindung betrifft eine Fahrzeugkameravorrichtung (3) mit einer Bildauswertungselektronik (4) und ein Verfahren zur Auswertung von damit aufgenommenen Bildern, welche insbesondere bei Fahrerassistenzsystemen zum Einsatz kommen können. Eine erfindungsgemäße Fahrzeugkameravorrichtung (3) zur Aufnahme einer Umgebung eines Kraftfahrzeugs (2) weist eine erste und eine zweite Optronik (5, 6) und eine Bildauswertungselektronik (4) auf. Die erste und die zweite Optronik (5, 6) umfassen jeweils eine Optik, also ein optisches Modul, z. B. ein Objektiv mit einer oder mehrerer Linsen, und einem Bildsensor, vorzugsweise einem Halbleiter-basierten Bildaufnahmesensor, zum Beispiel einen CMOS-Sensor. Die erste Optronik (5) ist dazu ausgebildet, einen ersten weitwinkligen Erfassungsbereich (7) von der Umgebung des Kraftfahrzeugs (2) aufzunehmen. Die zweite Optronik (6) ist dazu ausgebildet, einen zweiten Tele-Erfassungsbereich (8) von der Umgebung aufzunehmen. Die erste und die zweite Optronik (5, 6) weisen unterschiedlich große Bildwinkel (α1, α2) mit einem Überlappungsbereich (9) der Erfassungsbereiche (7, 8) auf. Vorzugsweise weist die zweite Optronik (6) einen schmalen Bildwinkel (α2) auf und kann bevorzugt einen großen Entfernungsbereich in Fahrtrichtung des Kraftfahrzeugs (2) mit hinreichender Auflösung erfassen. Die Bildauswertungselektronik (4) ist dazu ausgebildet, durch eine Stereoauswertung des Überlappungsbereichs (9) eine Metrik zu erzeugen. Ein wesentlicher Vorteil der Erfindung besteht darin, dass mittels nur zweier Optroniken (5, 6) eine 3D-Rekonstruktion der gesamten von der Fahrzeugkameravorrichtung (3) erfassten Umgebung des Kraftfahrzeugs (2) möglich ist.

Description

  • Die Erfindung betrifft eine Fahrzeugkameravorrichtung mit einer Bildauswertungselektronik und ein Verfahren zur Auswertung von damit aufgenommenen Bildern, welche insbesondere bei Fahrerassistenzsystemen zum Einsatz kommen können.
  • Fahrerassistenzsysteme mit einer oder mehreren Kameras werden zur Auswertung des Umfelds bzw. der Umgebung eines Kraftfahrzeugs, beispielsweise zur Auswertung von Fahrspuren, Verkehrszeichen, Ampeln und anderer Verkehrsteilnehmer eingesetzt. Die Kameras dienen in der Regel zur Bilderfassung aus dem in Fahrtrichtung vorausliegenden Bereich des Kraftfahrzeugs. Derartige Kameras haben typischerweise einen Öffnungswinkel von etwa 40 bis 45 Grad.
  • Zur räumlichen Erfassung des Umfelds eines Kraftfahrzeugs sind Stereokameras und Stereobildauswertungsverfahren bekannt, die eine 3D-Rekonstruktion der Umgebung bereits anhand eines Stereobildpaars ermöglichen.
  • Zukünftige Anwendungen wie die Erkennung von Verkehrsteilnehmern an Kreuzungen oder die Ampelerkennung beim Halten in vorderster Reihe benötigen einen möglichst großen Öffnungswinkel, auch bekannt als horizontaler Bildwinkel, um die beim nahen Auffahren im Randbereich des Bildes befindlichen Objekte erfassen zu können. Demgegenüber erfordert beispielsweise hochautomatisiertes Fahren das Erkennen von Objekten und Fahrbahnstrukturen auch in großer Entfernung, wofür eine ausreichende Winkelauflösung erforderlich ist. Eine 3D-Rekonstruktion der erfassten Umgebung ist von großem Vorteil bei der Erkennung und Bewertung von Objekten und Fahrsituationen.
  • Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Fahrzeugkamerasystem anzugeben.
  • Ein Ausgangspunkt der Erfindung liegt in den folgenden Überlegungen:
    Zukünftige Kamerasysteme für assistiertes oder hochautomatisiertes Fahren werden eine Optronik (Optronik: Einheit aus Bildsensor und Optik) benötigen, die die Erkennung von kleinen Objekten in großen Entfernungen ermöglicht. Gleichzeitig soll der Freiraum vor dem Fahrzeug möglichst weiträumig erfasst werden, wofür ein Stereokamerasystem mit großem Öffnungswinkel besonders gut geeignet ist, da ein solches Stereokamerasystem eine 3D-Vermessung der Umgebung erlaubt. Insbesondere ermöglicht die Stereokamera dies auch, wenn das Fahrzeug steht oder sich in Richtung des Bewegungsfluchtpunktes bewegt. Dies ist prinzipiell mit Monokameras nicht möglich. Mit Monokameras kann über „Struktur aus Bewegung“ (Structure from Motion, „Bewegungsstereo“) Ansätze ebenfalls eine Tiefenkarte erzeugt werden, wenn sich das Fahrzeug bewegt, aber nicht in Richtung des Bewegungsfluchtpunktes.
  • Ein möglicher Aufbau könnte aus einer Stereokamera mit +/–50° Öffnungswinkel und einer zusätzlichen Telekamera mit +/–12,5° Öffnungswinkel bestehen.
  • Dieser Aufbau erfordert insgesamt drei Optroniken, nämlich zwei für die Stereokamera und eine Optronik für die Telekamera.
  • Vorteilhaft wäre eine Kamera, die die skizzierten Anforderungen erfüllt, und nur zwei Optroniken benötigt, nämlich eine „Stereokamera“ bestehend aus nur einer Weitwinkeloptronik und einer Teleoptronik.
  • Die Stereobildauswertung kann bei diesem Ansatz nur in dem Überlappungsbereich beider Öffnungswinkel genutzt werden. Im Nahbereich vor dem Fahrzeug ist dieser Überlappbereich relativ klein und gerade für Anwendungen wie statische Objekterkennung und Freiraumerkennung vor dem Fahrzeug nicht ausreichend.
  • Andererseits sind Verfahren bekannt, die mit einer bewegten Monokamera eine 3D-Rekonstruktion der Umgebung und eine Lokalisierung im Raum ermöglichen.
  • J. Engel et al. zeigen in "LSD-SLAM: Large-Scale Direct Monocular SLAM", European Conference on Computer Vision (ECCV), September 2014 ein solches Verfahren.
  • Ebenso ist in WO 2015/043872 A1 ein solches Verfahren gezeigt.
  • Ohne die zusätzliche Eingabe einer Metrik (oder Skala) ist allerdings nur eine relative 3D-Rekonstrution möglich. Diese Skala könnte z.B. über die Erkennung eines Objektes mit bekannten Abmessungen erzeugt werden. Ein solches Objekt ist jedoch bei Fahrerassistenzsystemen typischerweise nicht in jedem Bild vorhanden, weshalb andere Verfahren benutzt werden, die auf „Bewegungsstereo“ beruhen, was bei Bewegung zu hohen Basisbreiten führen kann und in dem Fall eine gute Tiefenschätzung erlaubt, aber mit einem großen Fehler behaftet ist, da die Bestimmung der effektiven Basisbreite relativ ungenau ist. Ein mögliches Verfahren zur Bestimmung einer Skala und dem Ausgleich eines Skalendrifts wird in der LSD-SLAM Veröffentlichung von Engel et al. beschrieben.
  • Bei Verwendung einer Stereokamera für das LSD-SLAM Verfahren ist diese Skala inhärent über die Basisbreite der Stereokamera vorhanden.
  • Dies wurde eindrucksvoll in V. Usenko et al., "Reconstructing Street-Scenes in Real-Time From a Driving Car", Proc. of the Int. Conference on 3D Vision (3DV), Oct. 2015, durch die Rekonstruktion mehrerer Straßenzüge gezeigt.
  • Eine erfindungsgemäße Fahrzeugkameravorrichtung zur Aufnahme einer Umgebung eines Kraftfahrzeugs weist eine erste und eine zweite Optronik und eine Bildauswertungselektronik auf. Die erste und die zweite Optronik umfassen jeweils eine Optik, also ein optisches Modul, z. B. ein Objektiv mit einer oder mehrerer Linsen, und einem Bildsensor, vorzugsweise einem Halbleiter-basierten Bildaufnahmesensor, zum Beispiel einen CMOS-Sensor. Die erste Optronik ist dazu ausgebildet, einen ersten weitwinkligen Erfassungsbereich von der Umgebung des Kraftfahrzeugs aufzunehmen. Die zweite Optronik ist dazu ausgebildet, einen zweiten Tele-Erfassungsbereich von der Umgebung aufzunehmen. Die erste und die zweite Optronik weisen unterschiedlich große Bildwinkel mit einem Überlappungsbereich der Erfassungsbereiche auf. Vorzugsweise weist die zweite Optronik einen schmalen Bildwinkel auf und kann bevorzugt einen großen Entfernungsbereich in Fahrtrichtung des Kraftfahrzeugs mit hinreichender Auflösung erfassen. Die Bildauswertungselektronik ist dazu ausgebildet, durch eine Stereoauswertung des Überlappungsbereichs eine Metrik zu erzeugen.
  • Die Bildauswertungselektronik kann insbesondere einen Digital Signal Processor (DSP), einen Mikrocontroller oder -prozessor, einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr umfassen. Bei einer Stereoauswertung des Überlappungsbereichs der Erfassungsbereiche der ersten und zweiten Optronik, können mittels einer Triangulation von Bildmerkmalen bzw. einer Disparitätsbestimmung, 3D-Objektpositionen bestimmt werden. Hierzu wird vorteilhaft eine Basisbreite verwendet, welche dem Abstand der beiden parallelen optischen Achsen von erster und zweiter Optronik entspricht. Durch die Kenntnis der 3D-Objektpositionen eines Objekts kann nun eine Metrik, also eine Skala oder ein Maßstab erzeugt werden. Diese Skala ermöglicht nun eine Größenzuordnung von Objekten, die nur von der ersten Optronik (in der zu vermessenden Richtung vollständig) erfasst werden.
  • Mit anderen Worten wird die Verwendung eines Kamerasystems für assistiertes oder hochautomatisiertes Fahren vorgeschlagen, dessen Aufbau nur zwei Optroniken benötigt, nämlich eine „Stereokamera“ bestehend aus nur einer Weitwinkeloptronik und einer Teleoptronik.
  • Hiermit kann nämlich sowohl in einem breitem Winkel vor dem Fahrzeug als auch in einem schmalem Winkel in großer Entfernung (typischerweise bis in über 100m Entfernung reichend) die Umgebung erfasst werden.
  • Um gleichzeitig die oben beschriebene Einschränkung dieses Aufbaus bezüglich der Stereo 3D-Vermessung in dem schmalen Tele-Öffnungswinkel zu überwinden, wird gemäß einer vorteilhaften Ausgestaltung vorgeschlagen, das beschriebene LSD-SLAM Verfahren für eine klassische Stereokamera auf den Aufbau mit einer Weitwinkelkamera und einer Telekamera zu erweitern.
  • Über die bekannte Basisbreite und mittels einem an sich bekannten Stereobildauswertungsverfahren kann in dem gemeinsamen Öffnungswinkel die Metrik erzeugt werden, die für eine absolute 3D-Rekonstruktion mittels einem „Bewegungsstereo“- Bildauswertungsverfahren auch in dem breiten Öffnungswinkel genutzt werden kann.
  • Weitere vorteilhafte Ausgestaltungen der Fahrzeugkameravorrichtung sind Gegenstand der Unteransprüche.
  • Gemäß einer bevorzugten Ausführungsform ist die Bildauswertungselektronik dazu ausgebildet, eine 3D-Rekonstruktion des weitwinkligen Erfassungsbereichs der ersten Optronik aus einer Folge von Bildern unter Verwendung der erzeugten Metrik zu ermitteln. Vorteilhaft kann diese Art der 3D-Rekonstruktion auf im gesamten weitwinkligen Erfassungsbereich erfolgen. Alternativ könnte sie sich auf den Teil des weitwinkligen Erfassungsbereichs beschränken, der nur von der ersten Optronik erfasst wird und nicht von der zweiten Optronik, da die 3D-Rekonstruktion im Überlappungsbereich durch die Stereobildauswertung erfolgen kann. Besonders bevorzugt erfolgt die 3D-Rekonstruktion des weitwinkligen Erfassungsbereichs der ersten Optronik mittels eines Structure-from-Motion Verfahrens, wenn sich das Fahrzeug während der Aufnahme der Bilderfolge bewegt. Bei anschließendem Stillstand des Fahrzeugs, z.B. dem Halten an einer Ampel, ist jedoch die stationäre Umgebung des Kraftfahrzeugs in 3D vermessen und vollständig rekonstruiert. Sich bewegende Objekte können aus einer Bilderfolge bei stillstehendem Kraftfahrzeug weiterhin dreidimensional rekonstruiert werden.
  • Bevorzugt ist die Bildauswertungselektronik dazu ausgebildet, eine Lokalisierung der Fahrzeugkameravorrichtung oder des Kraftfahrzeugs in der Umgebung vorzunehmen. Beispielsweise mittels eines SLAM-Verfahrens (Simultaneous Localization and Mapping), kann simultan die Umgebung der Fahrzeugkameravorrichtung modelliert werden und die Lokalisierung der Fahrzeugkameravorrichtung in dieser Umgebung zumindest näherungsweise bestimmt (und aktualisiert) werden.
  • Vorteilhaft kann für die erste Optronik bzw. „Weitwinkelkamera“ eine nichtlineare Optik vorgesehen sein, wie sie z.B. in WO 2016/019956 A1 gezeigt ist. Ein derartige Optik bewirkt vorteilhaft, dass sie in einem Mittenbereich um die optisches Achse der ersten Optronik eine konstante erste Winkelauflösung (Pixel/Grad) erzielt, und vorzugsweise innerhalb eines angrenzenden Übergangsbereichs übergeht in eine zweite (im Wesentlichen) konstante Winkelauflösung in einem Randbereich am Rande des (horizontalen) Bildwinkels. Besonders bevorzugt ist die Optik der ersten Optronik derart ausgebildet, dass der Bereich mit der ersten konstanten Winkelauflösung den Überlappungsbereich mit der zweiten Optronik abdeckt bzw. umfasst.
  • Bevorzugt kann eine zweite Optronik mit einer 2n-fachen Winkelauflösung gegenüber der Winkelauflösung der ersten Optronik in dem Winkelbereich, der mit der zweiten Optronik überlappt zum Einsatz kommen. Um den Stereoeffekt und die Bestimmung einer Tiefenkarte möglichst genau durchführen zu können, ist es von Vorteil, die Winkelauflösung der Telekamera um ein 2n-faches (z.B. doppelt oder vierfach) gegenüber der Winkelauflösung der Weitwinkelkamera in dem Winkelbereich, der mit der Telekamera überlappt, anzuheben. Hierbei ist n = 1, 2, ... eine natürliche Zahl.
  • Dies ermöglicht eine schnelle Disparitätsberechnung im Überlappungsbereich, was die Bestimmung der Metrik in geringer Rechenzeit ermöglicht. Auch können sub-Pixel-Disparitäten hierdurch direkt berechnet werden.
  • Gemäß einer bevorzugten Ausgestaltung können beide Optroniken und die Bildauswertungselektronik in einem gemeinsamen Gehäuse angeordnet sein. Dies ermöglicht einen kompakten und gut geschützten Aufbau der Fahrzeugkameravorrichtung.
  • Weitere vorteilhafte Ausführungsvarianten betreffen die Verwendung von Satellitenkameras:
  • Um einen möglichst flexiblen Aufbau zu erreichen, wird ein Aufbau bestehend aus einer Hauptkamera mit Weitwinkelobjektiv und integrierter Bildverarbeitungselektronik und einer zusätzlichen Satellitenkamera mit dem Teleobjektiv vorgeschlagen. Das Bild der Telekamera wird zur Verarbeitung in die Weitwinkelkamera z.B. verlustfrei über z.B. eine LVDS(Low Voltage Differential Signaling)-Leitung übertragen.
  • Alternativ können auch beide Optroniken als Satellitenkameras ausgebildet sein. Ihre Bilder werden dann in ein zentrales Steuergerät übertragen, die die Bildverarbeitungselektronik enthält. Dieser Aufbau ist besonders vorteilhaft bezüglich Integration, da sich die relativ kleine Satellitenkameras leichter und flexibler an der Frontscheibe platzieren lassen.
  • Die Erfindung betrifft zudem ein Verfahren zur Auswertung von Bildern einer erfindungsgemäßen Fahrzeugkameravorrichtung, wobei durch eine Stereobildauswertung im Überlappungsbereich der ersten und zweiten Optronik eine Metrik erzeugt wird.
  • Bevorzugt wird eine 3D-Rekonstruktion der von der Fahrzeugkameravorrichtung erfassten Umgebung ermittelt aus einer Folge von Bildern, insbesondere während einer Bewegung des Kraftfahrzeugs, unter Verwendung der erzeugten Metrik. Diese 3D-Rekonstruktion kann vorzugsweise im gesamten weitwinkigen Erfassungsbereich der ersten Optronik erfolgen. Alternativ kann sie sich auf den Erfassungsbereich beschränken, der nur von der ersten Optronik erfasst wird und nicht von der zweiten Optronik. Zur 3D-Rekonstruktion kann ein Structure-from-Motion bzw. Bewegungsstereo-Verfahren angewandt werden, vorzugsweise ein LSD-SLAM Verfahren.
  • Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:
  • 1 in einer Draufsicht ein Kraftfahrzeug mit einer Fahrerassistenzvorrichtung umfassend eine Fahrzeugkameravorrichtung;
  • 2 die Fahrzeugkameravorrichtung aus 1 zur Aufnahme eines ersten und einen zweiten Erfassungsbereichs;
  • 3 ein Kraftfahrzeug mit einer Fahrzeugkameravorrichtung, die ein Kameragehäuse mit erster Optronik und Bildverarbeitungselektronik und eine Satelittenkamera mit der zweiten Optronik aufweist; und
  • 4 ein Kraftfahrzeug mit einer Fahrzeugkameravorrichtung, die zwei Satelittenoptroniken und eine zentrale Steuer- bzw. Bildverarbeitungselektronik aufweist.
  • Einander entsprechende Teile sind in allen Figuren mit denselben Bezugszeichen versehen.
  • Eine nachfolgend exemplarisch beschriebene und in 1 gezeigte Fahrerassistenzvorrichtung 1 ist in einem Kraftfahrzeug 2 angeordnet und umfasst eine Fahrzeugkameravorrichtung 3. Die Fahrzeugkameravorrichtung 3 ist zur Aufnahme einer Umgebung des Kraftfahrzeugs 2 ausgebildet. Bei der Umgebung handelt es sich um das Fahrzeugvorfeld des Kraftfahrzeugs 2. Die Fahrzeugkameravorrichtung 3 ist zur Übermittlung der aufgenommenen Bilddaten mit einer Bildauswertungselektronik 4 der Fahrerassistenzvorrichtung 1 verbunden. Anders als in 1 schematisch dargestellt, kann die Bildauswertungselektronik 4 im Gehäuse der Fahrzeugkameravorrichtung 3 integriert sein. Die Bildauswertungselektronik 4 ist dazu ausgebildet, aus den von der Fahrzeugkameravorrichtung 3 übermittelten Bilddaten Objekte wie beispielsweise Ampeln, Fahrspuren und/oder Verkehrszeichen zu erkennen und entsprechende Ausgabesignale auszugeben.
  • Wie in 2 schematisch dargestellt, umfasst die Fahrzeugkameravorrichtung 3 eine erste und eine zweite Optronik 5, 6, die zur Aufnahme des Umfelds des Kraftfahrzeugs 2 ausgebildet sind. Die erste und zweite Optronik 5, 6 umfassen jeweils eine Optik sowie einen Bildsensor. Beispielsweise sind die erste und die zweite Optronik 5, 6 jeweils als eine Monokamera ausgebildet. Für eine unauffällige Ausgestaltung der Fahrzeugkameravorrichtung 3 in dem Kraftfahrzeug 2 sind die Optroniken 5, 6 z. B. gemeinsam in einem Gehäuse angeordnet. Wie hier rein schematisch dargestellt, sind die zwei Optroniken 5, 6 nebeneinander angeordnet, jedoch kann ebenso vorgesehen sein, die zwei Optroniken 5, 6 übereinander anzuordnen.
  • Die erste Optronik 5 ist ausgebildet einen ersten Erfassungsbereich 7 und die zweite Optronik 6 einen zweiten Erfassungsbereich 8 von der Umgebung aufzunehmen. Die Optiken der Optroniken 5, 6 sind unterschiedlich ausgebildet, so dass sich die Erfassungsbereiche 7, 8 beispielsweise im Bildverhältnis oder auch durch Verzeichnungen unterscheiden können. Die erste und die zweite Optronik 5, 6 sind ausgebildet, die Erfassungsbereiche 7, 8 mit unterschiedlich großen horizontalen Bildwinkeln α1, α2 aufzunehmen. Hier nicht dargestellt, jedoch alternativ oder optional ergänzend möglich, sind die Erfassungsbereiche 7, 8 durch die Optroniken 5, 6 mit unterschiedlich großen vertikalen Bildwinkeln aufgenommen.
  • Der horizontale Bildwinkel α1 des ersten Erfassungsbereichs 7 ist größer als der des zweiten Erfassungsbereichs 8 ausgebildet. Beispielsweise ist der erste Erfassungsbereich 7 mit einem horizontalen Bildwinkel α1 von mindestens 100 Grad aufgenommen. Der zweite Erfassungsbereich 8 ist z. B. mit einem horizontalen Bildwinkel α2 von höchstens 50 Grad aufgenommen. Vorzugsweise beträgt der Bildwinkel α2 maximal 30 Grad, z.B. 25 Grad. Somit ist in dem ersten Erfassungsbereich 7 ein größerer Umgebungsbereich als in dem zweiten Erfassungsbereich 8 abgebildet. Angesichts der unterschiedlich großen Bildwinkel ist eine konstruktive Ausgestaltung der Optroniken 5, 6 möglich, die in den Erfassungsbereichen 7, 8 eine Objekterkennung in verschiedenen Entfernungs- und Umgebungsbereichen erzielt.
  • Der erste und der zweite Erfassungsbereich 7, 8 weisen einen Überlappungsbereich 9 auf. Bei dem Überlappungsbereich 9 handelt es sich somit um einen Überschneidungsbereich der beiden Erfassungsbereiche 7, 8. In dem Überlappungsbereich 9 der Erfassungsbereiche 7, 8 ist insbesondere der gleiche Umgebungsbereich abgebildet. Während es sich bei dem Überlappungsbereich 9 des ersten Erfassungsbereichs 7 lediglich um einen Teilausschnitt des ersten Erfassungsbereichs 7 handelt, bildet der zweite Erfassungsbereich 8 den Überlappungsbereich 9. Somit entspricht der vertikale und der horizontale Bildwinkel α2 des zweiten Erfassungsbereichs 8 dem vertikalen und horizontalen Bildwinkel α2 des Überlappungsbereichs 9.
  • Bei diesem Ausführungsbeispiel ist der durch die erste Optronik 6 aufgenommene Überlappungsbereich 9 ein ungefähr zentraler Bildbereich und der übrige Bereich ein den zentralen Bildbereich umgebender Randbildbereich des ersten Erfassungsbereichs 7. Die erste Optronik 6 ist beispielsweise derart ausgebildet und/oder angeordnet, in dem Zentrumsbildbereich den frontalen Straßenverkehr wie z. B. vorausfahrende Kraftfahrzeuge und im Randbildbereich den Straßenverkehr im Peripheriebereich wie z. B. kreuzende Kraftfahrzeuge des eigenen Kraftfahrzeugs 2 zu erfassen.
  • Im Überlappungsbereich 9 ist somit eine Stereobildauswertung möglich, wobei das erste Stereobild von der ersten Optronik erfasst wird und das zweite Stereobild von der zweiten Optronik.
  • Bei der Stereobildauswertung werden Korrespondenzen im ersten und zweiten Stereobild ermittelt. Aus der Verschiebung zweier korrespondierenden Merkmale zwischen erstem und zweitem Stereobild (Disparität), kann unter Berücksichtigung der Basisbreite und ggfs. der unterschiedlichen Bild-/Winkelauflösung die Tiefe (3D-Entfernung) diese Merkmals bestimmt werden.
  • Auf diese Weise kann ein im Überlappungsbereich befindliches Objekt räumlich vermessen werden, wodurch eine Metrik erzeugbar ist. Diese Metrik (bzw. Skala) ist nun übertragbar auf den Bereich, der (nur) von der ersten Optronik erfasst wird. Für diesen kann bei Bewegung des Kraftfahrzeugs eine 3D-Rekonstruktion über „Bewegungsstereo“ erzielt werden. Unter Verwendung der bereits bestimmten Metrik ist hier eine Rekonstruktion der absoluten Abmessungen auch in nicht überlappenden Erfassungsbereich der ersten Optronik möglich. Für den Fall einer nichtlinearen Optik der ersten Optronik, ist die Metrik entsprechend des Verlaufs der Winkelauflösung anzupassen. Besonders vorteilhaft erweist sich die Verwendung eines LSD-SLAM Verfahrens.
  • 3 zeigt ein weiteres Ausführungsbeispiel. Um einen möglichst flexiblen Aufbau zu erreichen, wird ein Aufbau bestehend aus einer Hauptkamera 10 mit Weitwinkelobjektiv, also erster Optronik 5 und integrierter Bildverarbeitungselektronik 4 und einer zusätzlichen Satellitenkamera mit dem Teleobjektiv, also zweiter Optronik 6 realisiert. Das Bild der Telekamera wird zur Verarbeitung in die Weitwinkelkamera z.B. verlustfrei über z.B. eine LVDS(Low Voltage Differential Signaling)-Leitung übertragen (strichpunktierte Linie).
  • 4 zeigt ein weiteres Ausführungsbeispiel, bei dem beide Kameras, also die erste Optronik 5 und die zweite Optronik 6 als Satellitenkameras ausgebildet sind. Ihre Bilder werden dann in eins zentrales Steuergerät (ECU) übertragen, die die Bildverarbeitungselektronik 4 enthält. Dieser Aufbau ist besonders vorteilhaft bezüglich Integration, da sich die relativ kleine Satellitenkameras leichter und flexibler an der Frontscheibe platzieren lassen.
  • Bezugszeichenliste
  • 1
    Fahrerassistenzvorrichtung
    2
    Kraftfahrzeug
    3
    Fahrzeugkameravorrichtung
    4
    Bildauswertungselektronik
    5
    Erste Optronik
    6
    Zweite Optronik
    7
    Erster Erfassungsbereich
    8
    Zweiter Erfassungsbereich
    9
    Überlappungsbereich
    10
    Hauptkamera
    α1
    Horizontaler Bildwinkel der ersten Optronik
    α2
    Horizontaler Bildwinkel der zweiten Optronik
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2015/043872 A1 [0013]
    • WO 2016/019956 A1 [0026]
  • Zitierte Nicht-Patentliteratur
    • J. Engel et al. zeigen in "LSD-SLAM: Large-Scale Direct Monocular SLAM", European Conference on Computer Vision (ECCV), September 2014 [0012]
    • V. Usenko et al., "Reconstructing Street-Scenes in Real-Time From a Driving Car", Proc. of the Int. Conference on 3D Vision (3DV), Oct. 2015 [0016]

Claims (12)

  1. Fahrzeugkameravorrichtung (3) zur Aufnahme einer Umgebung eines Kraftfahrzeugs (2), mit einer ersten und einer zweiten Optronik (5, 6) und einer Bildauswertungselektronik (4), wobei die erste und die zweite Optronik (5, 6) jeweils eine Optik und einen Bildsensor umfassen, wobei die erste Optronik (5) dazu ausgebildet ist, einen ersten weitwinkligen Erfassungsbereich (7) und die zweite Optronik (6) dazu ausgebildet ist, einen zweiten Tele-Erfassungsbereich (8) von der Umgebung aufzunehmen, wobei die erste und die zweite Optronik (5, 6) unterschiedlich große Bildwinkel (α1, α2) mit einem Überlappungsbereich (9) der Erfassungsbereiche (7, 8) aufweisen, wobei die Bildauswertungselektronik (4) dazu ausgebildet ist, durch eine Stereoauswertung des Überlappungsbereichs (9) eine Metrik zu erzeugen.
  2. Fahrzeugkameravorrichtung (3) nach Anspruch 1, wobei die Bildauswertungselektronik (4) dazu ausgebildet ist, eine 3D-Rekonstruktion des weitwinkligen Erfassungsbereichs (7) der ersten Optronik (5) aus einer Folge von Bildern unter Verwendung der erzeugten Metrik zu ermitteln.
  3. Fahrzeugkameravorrichtung (3) nach Anspruch 1 oder 2, wobei die Bildauswertungselektronik (4) dazu ausgebildet ist, eine Lokalisierung der Fahrzeugkameravorrichtung (3) oder des Kraftfahrzeugs (2) in der Umgebung vorzunehmen.
  4. Fahrzeugkameravorrichtung (3) nach Anspruch 2 oder 3, wobei die Bildauswertungselektronik (4) dazu ausgebildet ist, zu der 3D-Rekonstruktion des weitwinkligen Erfassungsbereichs (7) ein LSD-SLAM Verfahren einzusetzen.
  5. Fahrzeugkameravorrichtung (3) nach einem der vorhergehenden Ansprüche, wobei die erste Optronik (5) eine nichtlineare Optik aufweist.
  6. Fahrzeugkameravorrichtung (3) nach einem der vorhergehenden Ansprüche, wobei die erste Optronik (5) eine erste Winkelauflösung und die zweite Optronik (6) eine zweite Winkelauflösung aufweist, wobei sich die erste Winkelauflösung von der zweiten Winkelauflösung zumindest im Überlappungsbereich (9) unterscheidet.
  7. Fahrzeugkameravorrichtung (3) nach Anspruch 6, wobei die zweite Winkelauflösung ein 2n-faches der Winkelauflösung der ersten Optronik (5) im Überlappungsbereich beträgt.
  8. Fahrzeugkameravorrichtung (3) nach einem der vorhergehenden Ansprüche, wobei die Bildauswertungselektronik (4) in einem zentralen Steuergerät der Fahrzeugkameravorrichtung (3) angeordnet ist und die erste und zweite Optronik (5, 6) als Satellitenkameramodule ausgeführt sind.
  9. Fahrzeugkameravorrichtung (3) nach einem Ansprüche 1 bis 7, wobei die Bildauswertungselektronik (4) und die erste Optronik (5) in einem gemeinsamen Gehäuse angeordnet sind und die zweite Optronik (6) als Satellitenkameramodul ausgeführt ist.
  10. Fahrzeugkameravorrichtung (3) nach einem Ansprüche 1 bis 7, wobei die Bildauswertungselektronik (4) sowie die erste und die zweite Optronik (5, 6) in einem gemeinsamen Gehäuse angeordnet sind.
  11. Verfahren zur Auswertung von Bildern einer Fahrzeugkameravorrichtung (3) nach einem der vorhergehenden Ansprüche, wobei durch eine Stereobildauswertung im Überlappungsbereich (9) der ersten und zweiten Optronik (5, 6) eine Metrik erzeugt wird.
  12. Verfahren nach Anspruch 11, wobei eine 3D-Rekonstruktion der von der Fahrzeugkameravorrichtung (3) erfassten Umgebung ermittelt wird aus einer Folge von Bildern unter Verwendung der erzeugten Metrik.
DE102016212730.6A 2016-07-13 2016-07-13 Fahrzeugkameravorrichtung mit Bildauswertungselektronik Pending DE102016212730A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016212730.6A DE102016212730A1 (de) 2016-07-13 2016-07-13 Fahrzeugkameravorrichtung mit Bildauswertungselektronik

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016212730.6A DE102016212730A1 (de) 2016-07-13 2016-07-13 Fahrzeugkameravorrichtung mit Bildauswertungselektronik

Publications (1)

Publication Number Publication Date
DE102016212730A1 true DE102016212730A1 (de) 2018-01-18

Family

ID=60782901

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016212730.6A Pending DE102016212730A1 (de) 2016-07-13 2016-07-13 Fahrzeugkameravorrichtung mit Bildauswertungselektronik

Country Status (1)

Country Link
DE (1) DE102016212730A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018006578A1 (de) 2018-08-20 2019-01-24 Daimler Ag Fahrzeug mit einer Monokamera

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012215026A1 (de) * 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
WO2015043872A1 (en) 2013-09-25 2015-04-02 Technische Universität München Semi-dense simultaneous localization and mapping
WO2015085338A1 (de) * 2013-12-13 2015-06-18 Fts Computertechnik Gmbh Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs
DE102015007180A1 (de) * 2015-06-03 2015-12-10 Daimler Ag Umgebungserfassungseinrichtung für einen Kraftwagen und Verfahren zum Betreiben einer solchen
WO2016019956A1 (de) 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102014224903A1 (de) * 2014-12-04 2016-06-09 Conti Temic Microelectronic Gmbh Optischer Umfeldsensor für Fahrzeuge

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012215026A1 (de) * 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
WO2015043872A1 (en) 2013-09-25 2015-04-02 Technische Universität München Semi-dense simultaneous localization and mapping
WO2015085338A1 (de) * 2013-12-13 2015-06-18 Fts Computertechnik Gmbh Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs
WO2016019956A1 (de) 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102014224903A1 (de) * 2014-12-04 2016-06-09 Conti Temic Microelectronic Gmbh Optischer Umfeldsensor für Fahrzeuge
DE102015007180A1 (de) * 2015-06-03 2015-12-10 Daimler Ag Umgebungserfassungseinrichtung für einen Kraftwagen und Verfahren zum Betreiben einer solchen

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. Engel et al. zeigen in "LSD-SLAM: Large-Scale Direct Monocular SLAM", European Conference on Computer Vision (ECCV), September 2014
V. Usenko et al., "Reconstructing Street-Scenes in Real-Time From a Driving Car", Proc. of the Int. Conference on 3D Vision (3DV), Oct. 2015

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018006578A1 (de) 2018-08-20 2019-01-24 Daimler Ag Fahrzeug mit einer Monokamera

Similar Documents

Publication Publication Date Title
EP2753533B1 (de) Bestimmung der stellung von bauelementen eines fahrzeugs
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
EP3335419B1 (de) Fahrzeugkameravorrichtung zur aufnahme einer umgebung eines kraftfahrzeugs sowie fahrerassistenzvorrichtung zur objekterkennung mit einer solchen fahrzeugkameravorrichtung
DE102016208025A1 (de) Verfahren zur Erfassung von Verkehrszeichen
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
WO2012107067A1 (de) Fahrzeug mit einer vorrichtung zur erfassung einer fahrzeugumgebung
DE102013206435A1 (de) Visualisierungssystem und Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102009022278A1 (de) Verfahren zur Ermittlung eines hindernisfreien Raums
EP2856755B1 (de) Vorrichtung und verfahren zur aufnahme von bildern eines fahrzeugunterbodens
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE10312249A1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102011014368A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102007024641A1 (de) Verfahren und Vorrichtung zur Darstellung einer Fahrzeugumgebung
DE102011121473A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102016212730A1 (de) Fahrzeugkameravorrichtung mit Bildauswertungselektronik
DE102014224903A1 (de) Optischer Umfeldsensor für Fahrzeuge
DE102014206677A1 (de) Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
DE102011083745B4 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE

R012 Request for examination validly filed