-
Die Erfindung betrifft ein Kamerasystem, welches insbesondere im Fahrzeug als Sensorsystem für Fahrerassistenzsysteme und Automatisiertes Fahren verwendet werden kann.
-
Bekannt sind Kamerasysteme mit Kameraköpfen ohne eigene Bildverarbeitung, die einen Rohbild-Datenstrom an ein Steuergerät (ECU) liefern. Das externe bzw. zentrale Steuergerät nimmt die Verarbeitung der Rohbild-Daten vor. Bereits verfügbare Rundumsichtkamerasysteme arbeiten nach diesem Prinzip. Alternativ bekannt sind Intelligente Kameras mit eigener Bildverarbeitung, bei denen der Rohbild-Datenstrom nur intern anfällt, aber nicht an einer externen Schnittstelle zur Verfügung gestellt wird. Ausgegeben werden hier Daten, die aus der Bildverarbeitung gewonnen werden, z.B. zu Objekten.
-
Im Rahmen von Lösungen für Systeme zum automatischen Fahren werden aktuell Redundanzkonzepte betrachtet, bei denen eine Bildverarbeitung an mehreren Stellen parallel stattfindet. Dies führt zu hohem Hardware-Aufwand und damit verbundenen Kosten. Gleichzeitig sollen die Systeme zum automatisierten Fahren (AD) auch einen möglichst hohen Wiederverwendungsanteil von Geräten aus System zum assistierten Fahren (ADAS) aufweisen, da der Marktanteil dieser Lösungen auch in den kommenden Jahren wesentlich höher sein wird als für AD-Systeme. Schätzungen gehen davon aus, dass 2025 nur ca. 10-20% solcher Kamerasysteme AD-Systeme sein werden. Für die ersten AD-Systeme im Markt in 2020 sind diese Synergien nicht vorhanden oder nur sehr gering. Für nachfolgende Lösungen (ab 2021) müssen entsprechend Kosten optimiert werden - u.a. durch eine gemeinsame Validierung der Bildverarbeitungsfunktionen für ADAS und AD.
-
Es ist eine Aufgabe der Erfindung eine intelligente Kamera bereitzustellen, die sowohl für ADAS als auch für AD einsetzbar ist.
-
Ein Ausgangspunkt der Lösung besteht darin, dass die intelligente Kamera derart ausgebildet ist, dass sie Bestandteil eines Redundanzkonzeptes ist, indem sie die Rohbilddaten intern verarbeiten kann aber auch Rohbilddaten ausgeben kann, damit diese an anderer Stelle verarbeitet werden können.
-
Eine erfindungsgemäße Kameravorrichtung umfasst einen Bildsensor (Bildaufnahmesensor, Imager), eine integrierte Verarbeitungseinheit, z.B. einen SoC (System on Chip), und eine Ausgabeschnittstelle, z.B. ein LVDS (Low voltage differential signal)-Interface. Die Kameravorrichtung umfasst einen Splitter (Signalaufteiler), der Rohbildsignale (bzw. Rohbilddaten, Rohdaten oder auch Bildrohdaten) vom Bildsensor einliest, und diese dann sowohl der integrierten Verarbeitungseinheit als auch der Ausgabeschnittstelle zur Übermittlung an eine externe Verarbeitungseinheit bereitstellt. Bevorzug handelt es sich bei der Kameravorrichtung um eine im Fahrzeug angeordnete Frontkamera, also eine nach vorne blickende Fahrzeugkamera.
-
Vorteile der Erfindung liegen im Ermöglichen vereinfachter Redundanzkonzepte im Bereich des automatisierten Fahrens, die gleichzeitig Synergien mit Fahrerassistenzsystemen haben und so eine Kostenverringerung ermöglichen.
Gleichzeitig ermöglicht es die vorgeschlagene Lösung, dass der bildverarbeitende SoC einer solchen intelligenten Kamera nicht mit dem Ausschleifen der Rohbilddaten belastet wird. Üblicherweise würde ansonsten insbesondere die benötige Bandbreite zum externen Speicher des SoC über Gebühr belastet werden, was zu einer Verringerung der Performance bei der Bildverarbeitung führen würde, oder im Extremfall gar nicht möglich wäre, da die maximale Speicher-Bandbreite nicht ausreichend für Bildverarbeitung und Ausschleifen der Bildrohdaten wäre.
-
Gemäß einer bevorzugten Ausgestaltung gibt der Bildsensor seine Rohbildsignale über eine Punkt-zu-Punkt Verbindung (insbesondere CSI-2) aus. Die integrierte Verarbeitungseinheit liest die Rohbildsignale über eine Punkt-zu-Punkt Verbindung ein. Der Splitter ist ein Punkt-zu-Punkt-Verbindungs-Splitter im Datenpfad zwischen dem Bildsensor und der integrierten Verarbeitungseinheit. CSI-2 ist ein Standard für eine serielle Verbindung, der nur eine Punkt-zu-Punkt-Verbindung zulässt, also nur zwischen zwei Partnern (im Gegensatz zu einem Bussystem) . Die offizielle Bezeichnung lautet „MIPI Camera Serial Interface 2“ der MIPI Alliance (MIPI = Mobile Industry Processor Interface) . Bei Verwendung von CSI-2 ist der Splitter ein CSI-2-Splitter.
-
Vorzugsweise übermittelt der Splitter die Rohbildsignale an einen Serializer, der die Rohbildsignale in serielle Signale umwandelt und der externen Ausgabeschnittstelle bereitstellt. Der Serializer wandelt insbesondere Daten im Format und auch elektrisch um von CSI-2 auf eine zwei-Leiter-LVDS-Verbindung.
-
In einer vorteilhaften Ausgestaltung ist der Serializer in den Splitter integriert.
-
Bevorzugt ist die externe Ausgabeschnittstelle derart ausgebildet, dass die Rohbildsignale als LVDS ausgegeben werden. Ein gegebenenfalls vorhandener Serializer ist spezifisch für die externe Ausgabeschnittstelle. Als externe Ausgabeschnittstelle kann beispielsweise GMSL (Gigabit multimedia serial link; Maxim Integrated) oder FPD-Link II (TI) verwendet werden. LVDS betrifft die physikalische Übertragungsschicht und ist für beide Schnittstellen-„Formate“ zutreffend.
-
Vorzugsweise überträgt die integrierte Verarbeitungseinheit Steuerkommandos zur Steuerung des Bildsensors über einen I2 C-Datenbus direkt an den Bildsensor. I2C (Inter-Integrated Circuit) ist ein serielles Bussystem mit relativ niedrigen Übertragungsgeschwindigkeiten, um z.B. Bausteine wie A/D-Wandler, EEPROM etc. an einen Mikrocontroller (µC) oder ein System-on-Chip (SoC) anzuschließen. Ein Host-Adapter kann alle anderen Teilnehmer ansprechen oder von ihnen Daten erhalten.
-
Vorteilhafterweise ist der Splitter dazu ausgebildet, die Rohbildsignale aufzubereiten, und an die integrierte Verarbeitungseinheit aufbereitete Rohdaten zu übermitteln. Eine Form der Aufbereitung kann z.B. darin bestehen ein Binning von Pixeln des Bildsensors durchzuführen. Als Binning wird das Zusammenfassen von benachbarten Pixeln zu größeren Einheiten bezeichnet, z.B. können jeweils zwei horizontal benachbarte Pixel zu einem breiten Pixel oder jeweils zwei vertikal benachbarte Pixel zu einem hohen Pixel zusammengefasst werden. Binning reduziert die Auflösung gegenüber dem maximal aufgelösten Bild (ungebinntes Bild), wodurch es schneller weiterverarbeitet werden kann. Vorteilhaft ist ein 2x2 Binning, bei dem vier ein Pixelquadrat bildende benachbarte Pixel zusammengefasst werden, entsprechend ist des Weiteren ein 3x3 Binning, bei dem neun Pixel zusammengefasst werden, u.s.w., möglich.
-
Hierbei kann der Splitter bevorzugt dazu ausgebildet sein, an die Ausgabeschnittstelle und/oder den Serializer native, d.h. nicht aufbereitete Rohbildsignale zu übermitteln.
-
Gemäß einer vorteilhaften Weiterbildung kann die integrierte Verarbeitungseinheit Steuerkommandos zur Steuerung des Bildsensors an den Splitter übermitteln und der Splitter dazu ausgebildet sein, die Steuerkommandos anzupassen und die angepassten Steuerkommandos an den Bildsensor zu übermitteln. Beispielsweise kann der SoC vom Imager fordern, dass er in einem gebinnten Modus arbeitet. Der Splitter passt dieses Steuerkommando jedoch derart an, dass er dem Imager mitteilt, dass er ungebinnt arbeiten soll, da der Splitter die hohe Auflösung des Imagers an den Serializer übermitteln soll. Der Splitter übernimmt dann für die Ausgabe an den SoC das Binning und übermittelt aufbereitete (gebinnte) Rohdaten an den SoC.
-
Gegenstand der Erfindung ist darüber hinaus eine Mehrzahl von Bestückungsvarianten eines Basisdesigns zur kosteneffizienten Herstellung der Kameravorrichtungen, die mindestens eine Gruppe von erfindungsgemäßen Kameravorrichtungen, und eine andere Gruppe von Kameravorrichtungen ohne Splitter und ohne Ausgabeschnittstelle umfasst. Bevorzugt sind kostenoptimierte Bestückungsoptionen von Leiterplatten der Kameravorrichtungen vorgesehen, so dass ein Großteil der (teuren) Bauteile der Kamera unverändert in allen Varianten genutzt werden kann. Je nach Bestückungsoption werden Splitter und Ausgabeschnittstelle als zusätzliche Bauteile auf die unveränderte Leiterplatte gelötet.
-
Im Folgenden werden Ausführungsformen und weitere Aspekte sowie Figuren näher erläutert. Es zeigen
- 1 ein Redundanzkonzept für automatisiertes Fahren ohne Verwendung einer intelligenten Kamera nach dem Stand der Technik,
- 2 ein neuartiges Redundanzkonzept für automatisiertes Fahren,
- 3 eine Lösung in einer ersten Variante einer intelligenten Kamera,
- 4 eine Lösung in einer zweiten Variante einer intelligenten Kamera,
- 5 eine Lösung in einer dritten Variante einer intelligenten Kamera,
- 6 eine Lösung in einer vierten Variante einer intelligenten Kamera, und
- 7 eine intelligente Kamera in einer Bestückungsoption ohne Rohdatenausgang.
-
1 zeigt schematisch ein „klassisches“ Redundanzkonzept für AD ohne Verwendung einer intelligenten Kamera.
Ein erster nach vorne gerichteter Kamerakopf 11 übermittelt die erfassten Bilddaten als Rohdaten via LVDS an ein erstes Steuergerät 10, welches eine erste Bildverarbeitungseinheit 12 umfasst. Das erste Steuergerät 10 ist mit einer ersten Stromversorgung 16 elektrisch verbunden und gibt Daten über eine erste Fahrzeugschnittstelle 18 zur weiteren Fahrzeugsteuerung aus. Erste weitere Sensoren 32 können Daten an das erste Steuergerät 10 liefern.
Ein zweiter nach vorne gerichteter Kamerakopf 21 ist mittels LVDS mit einem zweiten Steuergerät 20 verbunden, welches eine zweite Bildverarbeitungseinheit umfasst. Das zweite Steuergerät 20 ist mit einer zweiten Stromversorgung 26 elektrisch verbunden und gibt Daten über eine zweite Fahrzeugschnittstelle 28 zur weiteren Fahrzeugsteuerung aus. Zweite weitere Sensoren 34 können Daten an das zweite Steuergerät 20 liefern. Erstes und zweites Steuergerät (10, 20) sind somit redundant, es sind aber alle Komponenten in doppelter Ausführung erforderlich.
-
In 2 ist ein alternatives Redundanzkonzept für AD schematisch dargestellt. Wie bei 1 gibt es ein zweites Steuergerät 20 mit integrierter Bildverarbeitungseinheit 22, LVDS-Eingang, zweiter Stromversorgung 26, zweiter Fahrzeugschnittstelle 28 und einer Verbindung zu zweiten weiteren Sensoren 34. Der Unterschied zum „klassischen“ Redundanzkonzept liegt nun darin, dass eine nach vorne gerichtete intelligente Kamera 100 Rohbilddaten via LVDS an das zweite Steuergerät 20 übermittelt, und zudem in einer integrierten Bildverarbeitungseinheit (101), z.B. auf dem SoC, Objektdaten aus der Verarbeitung der Rohbilddaten ermittelt. Die ermittelten Objektdaten werden an ein abgewandeltes erstes Steuergerät 14 übermittelt, welches keine Bildverarbeitungseinheit aufweist. Die Verbindungen des abgewandelten ersten Steuergeräts 14 zu erster Stromversorgung 16, erster Fahrzeugschnittstelle 18 und ersten weiteren Sensoren 32 sind unverändert.
-
Um mit anderen Worten eine parallele Bildverarbeitung in der intelligenten Kamera und in einer zweiten ECU (Electronic Control Unit, elektronisches Steuergerät) zu ermöglichen, liefert die intelligente Kamera die Rohdaten ihres Imagers bevorzugt unverändert über eine externe Schnittstelle an diese ECU. Bevorzugt ist die externe Schnittstelle eine LVDS-Schnittstelle.
Da es sich bei der Schnittstelle des Imagers zur Verarbeitungseinheit in der intelligenten Kamera um eine Punkt-zu-Punkt Verbindung (CSI-2) handelt, kann das Rohsignal des Imagers aber nicht einfach abgegriffen werden. Stattdessen wird ein intelligentes Hardware-Element (Splitter bzw. „CSI2-Splitter“) in diese Verbindung eingefügt, das das Rohsignal vom Imager einliest, ggfs. aufbereitet und dann sowohl der Verarbeitungseinheit (SoC, System on Chip) der intelligenten Kamera als auch einem Serializer für eine externe LVDS-Schnittstelle zur Verfügung stellt.
-
Aus Sicht des SoC ist dieses zusätzliche Hardware-Element transparent, d.h. für die Verarbeitungseinheit scheint es so, als wäre der Imager direkt angeschlossen.
-
Wie eine solche intelligente Kamera aufgebaut sein kann, wird anhand der 3 bis 6 näher erläutert.
-
3 zeigt schematisch ein erstes Ausführungsbeispiel einer intelligenten Kamera 100. Ein Bildaufnahmesensor (im folgenden Imager) 110 erfasst Bilddaten und übermittelt diese als Rohsignal über eine Punkt-zu-Punkt Verbindung (CSI-2) an einen Splitter 130 („CSI2-Splitter“), welcher das Rohsignal vom Imager 110 einliest, und dann sowohl der integrierten Verarbeitungseinheit 120 (SoC, System on Chip) als auch einem Serializer 140 als native Imager Rohdaten zur Verfügung stellt. Der Serializer gibt die Imager Rohdaten über eine externe LVDS-Schnittstelle aus. Die integrierte Verarbeitungseinheit wertet zum einen die nativen Imager Rohdaten aus und ermittelt dabei Objektdaten, die via CAN, CAN-FD, Flexray oder Ethernet an das Fahrzeugnetzwerk ausgegeben werden. Zum anderen sendet die integrierte Verarbeitungseinheit 120 bzw. der SoC, Steuerkommandos über einen I2 C-Datenbus an den Imager 110.
-
4 zeigt schematisch ein zweites Ausführungsbeispiel einer intelligenten Kamera 102. Der Unterschied zum ersten Ausführungsbeispiel besteht darin, dass hier der Serializer 142 in den Splitter 132 integriert ist, so dass der Splitter 132 die Imager-Rohdaten direkt über LVDS ausgibt.
-
5 zeigt schematisch ein drittes Ausführungsbeispiel einer intelligenten Kamera 104. Der Unterschied zum ersten Ausführungsbeispiel besteht darin, dass der Splitter 134 die Rohdaten aufbereitet und aufbereitete Imager-Rohdaten an eine variierte integrierte Verarbeitungseinheit 124 via CSI-2 weitergibt. Diese variierte integrierte Verarbeitungseinheit 124 wertet die aufbereiteten Imager-Rohdaten aus und ermittelt dabei Objektdaten, die via CAN, CAN-FD, Flexray oder Ethernet an das Fahrzeugnetzwerk ausgegeben werden. Zum anderen sendet die variierte integrierte Verarbeitungseinheit 124 Steuerkommandos über einen I2C-Datenbus an den Splitter 134. Der Splitter 134 passt die Steuerkommandos an und übermittelt entsprechend angepasste Steuerkommandos über einen I2C-Datenbus an den Imager 110.
-
In manchen Fällen ist die Verarbeitungsleistung des SoC in der intelligenten Kamera geringer als die in der parallel angeschlossenen externen ECU (in Bezug auf das Konzept gemäß 2) . Insbesondere bei hochauflösenden Imagern kann es daher notwendig sein, dass der Rohbilddatenstrom des Imagers für den SoC der intelligenten Kamera vom „CSI2-Splitter“ auch noch aufbereitet werden muss (d.h. z.B. in der Auflösung oder im Bildausschnitt oder der Framerate reduziert), während er unverändert an die externe Schnittstelle weitergeleitet wird.
-
6 zeigt schematisch ein Ausführungsbeispiel einer vierten intelligenten Kamera 106. Der Unterschied zum dritten Ausführungsbeispiel besteht darin, dass hier der Serializer 146 in den Splitter 136 integriert ist, so dass der Splitter 136 die Imager-Rohdaten über LVDS ausgibt.
-
7 zeigt eine Bestückungsvariante einer intelligenten Kamera 108 ohne einen Rohdatenausgang. Hierbei entfallen intelligentes Hardwareelement 138 und Serializer 148 (gestrichelte Kästchen). Diese Bestückungsvariante erlaubt eine kostengünstige gemeinsame Fertigung der Varianten mit und ohne Rohdatenausgang.
