-
Die Erfindung betrifft ein Verfahren und ein System zur Erzeugung von Bildausschnitten im Kontext einer Bildauswertung und kann beispielsweise in einem ADAS/AD-System für ein Fahrzeug mit mindestens einer hochauflösenden Kamera als Umgebungserfassungssensor eingesetzt werden.
-
Bei bildgebenden Umfeldsensoren für ADAS/AD-Systeme (insbesondere Kamerasensoren) wird die Auflösung permanent gesteigert. Das erlaubt die Erkennung kleinerer Objekte, sowie die Erkennung von Unterobjekten und z.B. das Lesen von kleinem Text in großer Entfernung. Ein Nachteil der höheren Auflösung liegt in der erforderlichen deutlich höheren Rechenleistung für die Verarbeitung der entsprechend großen Bilddaten. Daher werden häufig verschiedene Auflösungsstufen von Bilddaten für die Verarbeitung benutzt. Große Reichweiten bzw. hohe Auflösungen werden je nach Situation in verschiedenen Bildbereichen benötigt. z.B. häufig im Bildzentrum benötigt, am Randbereich dagegen nicht (ähnlich wie beim menschlichen Auge).
-
US 10742907 B2 zeigt eine Kameravorrichtung zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs, mit einer Optronik umfassend einen hochauflösenden Bildaufnahmesensor sowie eine Weitwinkeloptik, wobei die Optronik ausgebildet ist, eine Bildfolge des Umgebungsbereichs mit einem periodischen Wechsel an hochaufgelösten und auflösungsreduzierten Bildern auszugeben.
-
EP 3645343 B1 zeigt eine Kameravorrichtung sowie ein Verfahren zur optimierten Erfassung eines Umgebungsbereichs eines Fahrzeugs. Die Kameravorrichtung umfasst: eine Optronik und eine Bilderfassungssteuerungseinheit, die dazu ausgebildet sind, eine Bildfolge des Umgebungsbereichs aufzunehmen, wobei die Optronik eine Weitwinkeloptik und einen hochauflösenden Bildaufnahmesensor umfasst, und die Optronik und die Bilderfassungssteuerungseinheit dazu ausgebildet sind, dass während der Aufnahme der Bildfolge eine Nutzung von mindestens zwei unterschiedlichen Belichtungsmodi des Bildaufnahmesensors in Kombination mit mindestens zwei unterschiedlichen Binningmodi erfolgt.
-
EP 3607740 B1 zeigt eine Kameravorrichtung zur Erfassung eines Umgebungsbereichs eines Fahrzeugs. Die Kameravorrichtung umfasst eine Optronik, welche ausgebildet ist, eine Bildfolge des Umgebungsbereich aufzunehmen, wobei die Optronik eine Weitwinkeloptik und einen hochauflösenden Bildaufnahmesensor umfasst. Die Optronik ist ausgebildet, insbesondere durch Pixelbinning, eine Auflösung in Bildern der Bildfolge abwechselnd unterschiedlich und asymmetrisch zu reduzieren.
-
Mittels der Weitwinkeloptik ist beispielsweise ein Peripherieumfeld wie z. B. ein Kreuzungsbereich zur frühzeitigen Objektauswertung von kreuzenden Verkehrsteilnehmern erfassbar.
-
Weiterhin sind die Optronik und die sie steuernde Kontrolleinheit dazu eingerichtet, in einem nachfolgend aufgenommenen zweiten Bild der Bildfolge einen ersten Teilbereich auszuwählen, der den zentralen Bildbereich und einen ersten seitlichen Außenbereich umfasst, und lediglich bzw. ausschließlich diesen ersten Teilbereich auszugeben, wobei die Auflösung des ausgegebenen ersten Teilbereichs nicht reduziert wird.
-
Außerdem sind die Optronik und die sie steuernde Kontrolleinheit dazu eingerichtet, in einem nachfolgend aufgenommenen vierten Bild der Bildfolge einen zweiten Teilbereich auszuwählen, der den zentralen Bereich und einen zweiten seitlichen Außenbereich umfasst, und lediglich bzw. ausschließlich diesen zweiten Teilbereich auszugeben, wobei die Auflösung des ausgegebenen zweiten Teilbereichs nicht reduziert wird.
-
US 10798319 B2 zeigt eine situationsangepasste / adaptive ROI-Wahl. Im Stadtgebiet ist es wichtig, regelmäßig aktuelle Bilder des gesamten Erfassungsbereichs einer hochauflösenden Optronik bereitzustellen und auszuwerten, da auch in den Randbereichen des Field-of-View der Optronik relevante Objekte auftauchen können wie z.B. eine Ampel am oberen Bildrand oder ein Fahrzeug an einem seitlichen Bildrand.
-
Diese Ansätze setzen im Wesentlichen auf einer speziellen Steuerung des Kameratreibers an. Häufig auf der Grundlage eines vorher erfassten Bildes. Eine weitere Flexibilisierung bei der ROI-Wahl ist wünschenswert.
-
US 11132563 B2 zeigt ein Verfahren zur Erkennung von Objekten in einem Bild einer Aufnahmeeinheit. Das Verfahren umfasst das Aufnehmen eines Bilds, insbesondere eines Bilds einer äußeren Umgebung eines Fahrzeugs mit einer an dem Fahrzeug angeordneten Aufnahmeeinheit. Es wird eine Objektregion innerhalb des Bilds mittels einer Region-Proposal-Methode lokalisiert und es erfolgt ein Klassifizieren eines Objekts innerhalb der Objektregion. Weiterhin ist die Region-Proposal-Methode und/oder das Klassifizieren in ein Convolutional Neuronal Network integriert, und externe Prior-Informationen, welche eine mögliche Objektregion hervorheben, werden dem Convolutional Neuronal Network zugeführt.
-
Dieser Ansatz bietet keine Lösung für den Umgang mit hochaufgelösten Bilddaten, die in Echtzeit nicht vollständig verarbeitet werden können.
-
Es bleibt eine herausfordernde Aufgabe einen flexiblen und adaptiven Umgang mit hochaufgelösten Bilddaten zu realisieren.
-
Folgende Überlegungen wurden der Suche nach Lösungen zugrunde gelegt:
- - Ein sequenzieller/periodischer Ansatz (Stichwort: Bildfolge) ist nicht erstrebenswert.
- ◯ Es soll ein einzelnes Bild und keine Bildfolge betrachtet werden.
- - Basis ist immer ein hochauflösendes Bild. Unter einem hochaufgelösten Bild kann ein Bild mit über 5 Megapixeln, insbesondere über 8 Megapixeln verstanden werden. Die Rohdaten sind extrem groß/hochauflösend.
- ◯ Es soll keine Abhängigkeit zwischen den Bildern einer Bildfolge geben. Jedes Einzelbild wird individuell betrachtet.
- ◯ Eine aktive Veränderung des Aufnahmesystems (Belichtung, Auflösung, Änderung des im Bild erfassten Bereichs) ist nicht erstrebenswert. Die Lösung soll entkoppelt von der Datenaufnahme sein und im Rahmen der algorithmischen Datenverarbeitung erfolgen.
- - Die Recheneinheit, auf der der Algorithmus beim Serieneinsatz laufen soll, hat eine begrenzte Speicher-/Rechenkapazität.
- - Die Relevanz der Daten ist lokal (im Bild) unterschiedlich.
- - Die Relevanz ist allgemein oder anwendungsspezifisch definierbar.
- - Eine Selektion der ROIs auf Basis generischer Hinweis-/Reiz-geber soll möglich sein
- - Reizgeber sollten folgende Anforderungen erfüllen:
- • Reiz muss in Daten lokalisiert werden können.
- • Kalibrierung zwischen Reizgeber und Datengenerator (z.B. Kamera).
- • Reiz kann zusätzlich zur Position weitere Informationen bereitstellen. (z.B. Distanz, Größe, (Relativ-)Geschwindigkeit, Orientierung, Farbe)
- • Typ des Reizes bedingt die zusätzlichen verfügbaren Informationen. (z.B. Reiz ist Radarpunkt -> Bietet zusätzlich zu Bildposition auch Distanz und Relativgeschwindigkeit)
- ◯ Die Selektion ist im Allgemeinen stark abhängig von der Applikation.
- ▪ z.B. bei der Ampelerkennung:
- □ hier könnte eine Karte die Position der relevanten Ampeln liefern, woraus eine oder mehrere hochauflösende ROIs aus dem Gesamtbild „ausgeschnitten“ werden könnten.
- □ hier könnte ein dedizierter Segmentierer auf einer stark herunterskalierten Variante des Originalbildes alle Bereiche mit hoher Signifikanz erkennen und anschließend könnten daraus die ROIs generiert werden.
- ▪ z.B. bei der Spurerkennung:
- □ hier könnten der Lenkwinkel und die Eigenrotation des Fahrzeuges (z.B. aus einer Inertialsensorik, IMU) Hinweise auf die Position der Straße im Bild geben, wodurch wiederum eine ROI generiert werden kann, die z.B. den Himmel nicht beinhaltet und/oder weniger Landschaft (beispielsweise bei einer starken Kurve bei einer Autobahnauffahrt)
- ▪ z.B. bei der HeadPoseEstimation:
- □ hier wird beispielsweise im ersten Schritt durch ein Netzwerk in einer herunterskalierten Version des Originalbildes der Fußgänger als Ganzes erkannt und anschließend mehrere Crops in Vollauflösung generiert, so dass diese gerade die Köpfe der Personen enthalten. Hier ist also der Fußgängerdetektor der Hinweisgeber.
- - Unabhängig von Ausführung der Optik und des Sensors
- ◯ Denkbar für eine Vielzahl hochauflösender Sensoren, bei denen häufig nur auf einer gebinnten/herunterskalierten Variante der Daten gerechnet wird.
-
Durch die häufig fixe und limitierte Eingabegröße von CNNs müssen Eingabebilder üblicherweise herunterskaliert werden. Zur Ausnutzung der vollen Bildauflösung bleibt nun nur die Reduktion des Bildbereiches durch Verwendung von Bildausschnitten. Diese werden üblicherweise statisch dimensioniert und positioniert, so dass z.B. immer der zentrale Bildausschnitt in Vollauflösung verwendet wird.
-
Probleme, die dabei auftreten können:
- - Durch die Reduktion der Auflösung können weit entfernte Objekte nicht mehr aufgelöst bzw. erkannt werden. Durch die Reduktion verliert man auch Schärfe in Details. Eine Gesichtserkennung (Mimik) in weiteren Entfernungen benötigt viele Details vom Gesicht, dasselbe gilt für eine Erkennung von Kennzeichen in großen Entfernungen.
- - Bei Nutzung der Vollauflösung in einem Bildausschnitt werden Objekte außerhalb des Bildausschnittes nicht prozessiert bzw. erkannt.
- - Bei Verwendung mehrerer Auflösungsstufen und statischer Positionierung der hochaufgelösten Bildausschnitte liegen möglicherweise weit entfernte Objekte - für die die hohe Auflösung benötigt wird - außerhalb des Bildausschnittes.
- - Das Limit stellt hier stets die verfügbare Rechenkapazität dar.
-
Ein erster Aspekt der Erfindung betrifft ein (computerimplementiertes) Verfahren zur Auswertung von Bilddaten einer (hochauflösenden) Kamera.
-
Das Verfahren umfasst die Schritte:
- a) Empfangen der Bilddaten (optional: Empfangen oder Aufbereiten der Bilddaten in Form einer Bildpyramide mit unterschiedlichen Auflösungsstufen),
- b) Erzeugen mindestens einer ROI durch einen ROI-Generator unter Berücksichtigung mindestens eines Reizgebers und einer Parametrisierung. Position und Ausdehnung der ROI im Bild hängen von Informationen des Reizgebers und der Parametrisierung ab.
- c) Extraktion des Bildinhalts der ROI mit angepasster (z.B. maximaler oder niedrigstufigeren) Auflösung, und
- d) Bildauswertung auf dem extrahiertem Bildinhalt mit angepasster Auflösung.
-
Mögliche Reizgeber sind beispielsweise:
- - Eine 3D Karte der gesuchten Objekte (z.B. Ampeln) mit den relativen Distanzen zum Fahrzeug anhand derer die Auflösungsstufe und Position der Ausschnitte optimal ausgewählt werden kann. (Stichwort Cluster)
- - Ein dediziertes CNN zur Salienzabschätzung nach einem antrainierten Aufmerksamkeitsmodell.
- - Die Fahrzeugdynamik: Denkbar wäre z.B. den Lenkwinkel und die Geschwindigkeit zu verwenden.
- - Andere Algorithmen, z.B. Spurprediktion, Segmentierung o.ä.
-
Eine Parametrisierung kann insbesondere Anzahl an ROI, Größe im Bild und Auflösungsstufe für die Extraktion umfassen.
-
Eine angepasste Auflösung kann beispielsweise die maximal verfügbare Auflösung der Bilddaten sein, aber auch niedrigere Auflösungen bzw. höhere Pyramidenstufen.
-
Gemäß einer Ausführungsform erfolgt eine lokale Relevanzeinschätzung der Bilddaten auf der Grundlage einer Kalibrierung zwischen dem Reizgeber und der Kamera, die zu einer reizbedingten Positionierung der ROI führt.
-
In einer Ausführungsform stellt der Reizgeber zusätzlich zur Position mindestens eine der folgenden Meta-Informationen bereit: Distanz, Größe, (Relativ-)Geschwindigkeit, Orientierung, Farbe. Eine Kombination aus Position und zusätzlicher Meta-Information des Reizes oder der Reize bedingt die Positionierung und zusätzlich die Ausdehnung der ROI bzw. die Auflösung (bzw. Auflösungsstufe der Bildpyramide aus der extrahiert wird) der aus der ROI zu extrahierenden Bildinhalte.
-
Hierbei kann beispielsweise der Typ des Reizes die zusätzlichen verfügbaren Meta-Informationen bedingen. Wenn z.B. der Reiz ein Radarpunkt (Daten eines Radarsensors zu einem Objekt) ist, bieten sich zusätzlich zu Bildposition auch 3D-Distanz und Relativgeschwindigkeit des Objekts als Metainformationen an.
-
In einer Ausführungsform ist die Anzahl der ROI anwendungsspezifisch definiert, dabei kann eines feste Anzahl für eine Anwendung vorgegeben werden oder dynamisch variiert werden.
-
Beispielsweise kann die Erzeugung von drei ROIs festgelegt werden, die abhängig vom Reizgeber (und weiterer Parametrisierung) dimensioniert und positioniert werden können.
-
Gemäß einer Ausführungsform sind Anzahl und Ausdehnung der ROI bzw. Auflösung der aus der ROI zu extrahierenden Bildinhalte limitiert durch Vorgaben der Rechen-/Speicherkapazität der Datenverarbeitungseinheit und/oder der weiteren Bildauswertungseinheit.
-
In einer Ausführungsform ist der Reizgeber abhängig von einer Bilderkennungsfunktion eines ADAS/AD-Systems.
-
Gemäß einer Ausführungsform umfasst der Reizgeber ein dediziertes CNN (Convolutional Neural Network) zur Salienzabschätzung nach einem antrainierten Aufmerksamkeitsmodell. Das CNN bestimmt aus dem aktuellem Bild in einer niedrigeren Auflösungsstufe (höheren Pyramidenstufe) mindestens eine ROI für eine höhere Auflösungsstufe oder für die maximale Auflösungsstufe bestimmt.
-
In einer Ausführungsform umfasst der Reizgeber eine Eigenlokalisierung. Die Eigenlokalisierung bestimmt aus Daten einer digitalen 3D-Karte Positionsinformation zu stationären verkehrsrelevanten Objekten (Wechsel-Verkehrszeichen, Ampeln, etc.) mit den relativen Distanzen zum Fahrzeug bestimmt, so dass die Auflösungsstufe und Position der ROI mit den im Bild enthaltenen stationären verkehrsrelevanten Objekten generiert wird.
-
Gemäß einer Ausführungsform umfasst der Reizgeber Daten zur Fahrzeugdynamik. Verwendet werden kann hier z.B. der Lenkwinkel und die Geschwindigkeit, für eine zielgerichtete Spurerkennung.
-
Das Verfahren kann beispielsweise verwendet werden im Rahmen einer Ampelerkennung, Spurerkennung oder einer Head-Pose-Estimation (Schätzung der Kopfpose bzw. Blickrichtung) einer Person (z.B. Fußgänger, Radfahrer, Autofahrer).
-
Ein weiterer Aspekt der Erfindung betrifft ein System zur Auswertung von Bilddaten einer (hochauflösenden) Kamera. Das System umfasst eine Eingangsschnittstelle, eine Datenverarbeitungseinheit mit einem ROI-Generator und eine Ausgabeschnittstelle. Die Eingangsschnittstelle ist konfiguriert ist zum Empfangen der Bilddaten und optional zum Empfangen von Daten eines externen Reizgebers bzw. einer Parametrisierung.
-
Die Datenverarbeitungseinheit ist konfiguriert, eine Parametrisierung und/oder einen Reizgeber bereitzustellen, sofern diese nicht von der Eingangsschnittstelle empfangen wurden.
-
Der ROI-Generator ist dazu konfiguriert unter Berücksichtigung mindestens eines Reizgebers und einer Parametrisierung mindestens eine ROI zu erzeugen, deren Position und Ausdehnung von Informationen des Reizgebers und der Parametrisierung abhängt.
-
Die Datenverarbeitungseinheit ist konfiguriert zur Extraktion des Bildinhalts der ROI mit angepasster Auflösung.
-
Die Ausgabeschnittstelle ist konfiguriert zur Ausgabe des extrahierten Bildinhalts an eine weitere Bildauswertungseinheit, so dass die weitere Bildauswertung relevante Bildinhalte mit angepasster bzw. maximal verfügbarer Auflösung weiterverarbeiten kann, um z.B. Objekte, Fahrspurmarkierungen, Verkehrszeichen, Ampeln, Verkehrsteilnehmer etc. zu detektieren und zu erkennen.
-
Das System bzw. die Datenverarbeitungseinheit kann insbesondere einen Mikrocontroller oder -prozessor, eine Zentrale Verarbeitungseinheit (CPU, central processing unit), eine Grafische Verarbeitungseinheit (GPU, graphics processing unit), eine Tensor-Verarbeitungseinheit (TPU, tensor processing unit), eine neuronale/KI- Verarbeitungseinheit (NPU, neural processing unit) einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array), Server, Cloud Computing bzw. eine verteilte Hardwarearchitektur und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einer Kamera, einer weiteren Bildauswertungseinheit und dem System zur Auswertung bzw. ROI-Generierung.
-
Vorstellbar ist auch ein Einsatz bei stationären hochauflösenden Kameras einer Infrastruktur (z.B. Intelligente Kreuzungen im Rahmen einer „smarten“ Infrastruktur). Die Bildauswertung wird hier typischerweise zumindest teilweise über Cloud Computing in Servern betrieben.
-
Vorteile der Erfindung sind:
-
Insbesondere bei weit entfernten Objekten lohnt sich die Verwendung von Bildcrops mit Vollauflösung (ohne Herunterskalieren).
-
Durch die dynamische Dimensionierung und Positionierung des Suchraums mit Vollauflösung wird die Wahrscheinlichkeit reduziert, dass relevante Objekte außerhalb des Suchbereiches liegen.
-
Eine Reduktion des Suchbereiches geht steht einher mit einer Reduktion des Rechenaufwandes (unter der Annahme, dass die besten Ergebnisse bei der Berechnung mit Vollauflösung und des Gesamtbildes erzielt werden).
-
Hinweise für die Relevanz bzw. Signifikanz von gewissen Bildbereichen können von beliebigen Quellen kommen.
-
Imitiert wird hier prinzipiell sogar Foveatisches Sehen mit reizbedingter Positionierung des hochaufgelösten Bereiches.
-
Weitere Vorteile:
-
- - Es ist bei jedem Bildaufnahmezyklus das ganze Bild verfügbar:
- o Bei aktiver Veränderung der Binning/Integration/ROI/etc. Einstellungen ist dies im aktuellen Zeitschritt fix und kann erst für t+1 wieder verändert werden. (Vorteil von unserem Ansatz: kein träges System)
- o Es ist also weiterhin möglich auf dem herunterskalierten Gesamtbild Berechnungen durchzuführen
-
Im Falle einer Kamera mit 8MP-Auflösung und 15 fps stehen in einer Sekunde 15x8MP Frames zur Verfügung.
- - Hinweis-/Reiz-geber sind wesentlich vielseitiger
- - Auch als „offline“-System verwendbar
- ◯ Auch auf Recordings anwendbar, da komplett im PostProcessing; nicht direkt auf Kamera.
- - Trotz limitierter Speicher-/Rechenkapazität kann die volle Auflösung der Rohdaten genutzt werden.
- - Irrelevante Bereiche werden schlicht nicht in Betracht gezogen.
- - Gesamtbild kann trotzdem (möglicherweise stark herunterskaliert) wie gehabt verwendet werden.
- - Anwendbar im Voraus zu beliebiger Datenverarbeitungskette (CNN, klassische Computer Vision, etc.).
-
Im Gegensatz zu einigen früheren Verfahren, wo nur ein zentraler Bildbereich mit hoher Auflösung betrachtet werden konnte, muss man in den oberen Teilen und manchmal auch am Randbereich nach relevanten Objekten suchen. Fußgänger sind beispielsweise auch am seitlichen Rand des Bildes, bevor sie eine Straße überqueren. Die Erfindung erlaubt es, nicht nur ein Bildzentrum des Bildes zu analysieren.
-
Im Folgenden werden Ausführungsbeispiele und Figuren im Zusammenhang mit der Erfindung beschrieben.
-
Dabei zeigen:
- 1 ein System zur Auswertung von Bilddaten einer Kamera;
- 2 schematisch Ausdehnung und Lage eines ersten, zweiten und dritten Erfassungsbereichs einer Kamera;
- 3 schematisch ein Graustufenbild einer Umgebung eines Fahrzeugs, welches von einer hochauflösenden Fahrzeugkamera erfasst wird;
- 4 zeigt schematisch ein hochauflösendes Bild, aus dem ein ROI-Generator 44 drei ROIs unterschiedlicher Position und Ausdehnung generiert;
- 5 ein erstes Ausführungsbeispiel mit einem ROI-Generator zur Ampelerkennung;
- 6 ein zweites Ausführungsbeispiel mit einem ROI-Generator zur Ampelerkennung; und
- 7 einen sehr schematischen Ablauf eines Verfahrens.
-
1 zeigt schematisch ein System 10 zur Auswertung von Bilddaten einer (hochauflösenden) Kamera 1. Das System umfasst eine Eingangsschnittstelle 12, eine Datenverarbeitungseinheit 14 mit einem ROI-Generator 16 und einer Ausgabeschnittstelle 18 zum Ausgeben der generierten Region(s)-of-interest an eine weitere Bildauswertungseinheit 20.
-
Ein Beispiel einer Kamera (bzw. eines Bilderfassungssensors) 1 ist ein monokularer Kamerasensor mit einer Weitwinkeloptik und einem hochauflösenden Bilderfassungssensor, z.B. einem CCD oder CMOS-Sensor.
-
Basierend auf den Bilddaten des Kamerasensors können mehrere ADAS- oder AD-Funktionen durch ein ADAS/AD-Steuergerät basierend auf den Ergebnissen der Bildauswertungseinheit 20 bereitgestellt werden, z.B. eine Fahrspurerkennung, Spurhalteunterstützung, Verkehrszeichenerkennung, Tempolimit-Assistenz, Verkehrsteilnehmererkennung, Kollisionswarnung, Notbremsassistenz, Abstandsfolgeregelung, Baustellenassistenz, ein Autobahnpilot, eine Cruising-Chauffeurfunktion und/oder ein Autopilot.
-
Das Gesamtsystem 10, 20 kann ein künstliches neuronales Netzwerk umfassen, beispielsweise ein CNN. Damit das künstliche neuronale Netzwerk die Bilddaten beispielsweise in einem Fahrzeug in Echtzeit prozessieren kann, kann das Gesamtsystem 10, 20 einen Hardwarebeschleuniger für das künstliche neuronale Netzwerk umfassen. Derartige Hardwarebausteine können das im Wesentlichen softwareimplementierte neuronale Netzwerk dediziert beschleunigen, so dass ein Echtzeitbetrieb des neuronalen Netzwerks möglich ist. Das CNN sollte gezielt nur relevante Bildausschnitte (ROIs) in höherer Auflösung verarbeiten, damit die Bildauswertung in Echtzeit im Fahrzeug gelingt.
-
2 zeigt schematisch Ausdehnung und Lage eines ersten 101, zweiten 102 und dritten 103 Erfassungsbereichs eines Bilderfassungssensors 1, aus denen ein erstes, zweites und drittes Bild einer Szene ermittelt werden kann. Aus dem ersten Bilderfassungsbereichs 101, kann ein Übersichts- oder Gesamtbild als erstes Bild erfasst werden kann, aus einem zweiten Bilderfassungsbereich 102, z.B. einem zentralen Bildbereich, ein zweites Bild mittlerer Größe, das einen Ausschnitt des ersten Bilderfassungsbereichs 101 enthält, und aus einem dritten Bilderfassungsbereich 103 kann ein drittes Bild geringer Größe ermittelt werden, welches Detailinformationen zu einem weiter entfernt liegenden Erfassungsbereich bietet.
-
3 zeigt schematisch ein Graustufenbild einer Umgebung eines Fahrzeugs, welches von einer hochauflösenden Fahrzeugkamera erfasst wird. Die Bildbereiche 31,32 und 33 entsprechen den Bild Erfassungsbereich 101,102 und 103 aus 2. In dem Bild sind mehrere potenziell relevante Bildbereiche enthalten. Der innerhalb des Rechtecks 301 liegende Bildausschnitt zeigt beispielsweise ein entgegenkommendes Fahrzeug, welches vollständig nur dem Bildbereich 31 also der Gesamtübersicht entnommen werden kann. Die Ausdehnung des Rechtecks 301 ist relativ groß, sodass eine reduzierte Auflösung des Gesamtbildes 31 ausreichen dürfte, um das Fahrzeug zuverlässig detektieren zu können. Die Rechtecke 304 enthalten Verkehrszeichen, welche vollständig dem Bildbereich 32 entnommen werden können. Das Rechteck 303 enthält eine Ampel, die ebenfalls vollständig dem Bildbereich 32 entnommen werden kann. Die Rechtecke 303 und 304 weisen eine mittlere Ausdehnung auf, sodass eine etwas reduzierte Auflösung des Bildbereichs 32 für deren zuverlässige Detektion genügen sollte. Die Rechtecke 302 enthalten weiter entfernte Fahrzeuge, die vollständig nur dem Bildbereich 33 entnommen werden können. Für deren zuverlässige Detektion sollte mit der maximalen Auflösung des Bildbereichs 33 gearbeitet werden.
-
4 zeigt schematisch ein hochauflösendes Bild 401 aus dem ein ROI-Generator 40 unter Berücksichtigung weiterer Informationen 42, 44 drei extrahierte Bildausschnitte 411, 412, 413 unterschiedlicher Position und Ausdehnung generiert. Die weiteren Informationen können von einem oder mehreren Reizgeber(n) 44 empfangen werden und eine Parametrisierung 42 umfassen. Die Reizgeber 44 können zum Beispiel aus Informationen zur Fahrzeugdynamik, Informationen aus weiteren Sensoren oder Informationen aus übergeordneten Algorithmen abgeleitet werden. Beispiele für weitere ADAS-Sensoren als potentielle Reizgeber 44 können Radar-, Lidar- oder Ultraschallsensoren, Lokalisierungssensoren oder V2X-Systeme sein.
-
Der erste extrahierte Bildausschnitt 411 zeigt beispielsweise zwei über der Fahrbahn angeordnete Ampeln. Der zweite extrahierte Bildausschnitt 412 zeigt zwei Fahrzeuge, die sich rechts neben der vom eigenen fahrzeugbefahrenen Fahrbahn befinden. Der dritte extrahierte Bildausschnitt 413 zeigt die Oberfläche der befahrenen Fahrbahn mit den Fahrspurmarkierungen und Pfeilen.
-
Der ROI-Generator ist vielseitig für mehrere Applikationen verwendbar. Das Originalbild kann im gleichen Bearbeitungsschritt für eine Vielzahl von Folgeapplikationen verarbeitet werden. Beispielsweise könnte ein einzelnes Bild spezifisch für die Bedürfnisse einer Ampelerkennung „zusammengeschnitten“ werden (erster extrahierter Bildausschnitt 411) und ein komplett anderer Ausschnitt im gleichen Originalbild für die Spurdetektion (dritter extrahierter Bildausschnitt 413) verwendet werden.
-
5 zeigt ein erstes Ausführungsbeispiel mit einem ROI-Generator 50 zur Ampelerkennung. Ausgangspunkt ist das hochauflösende Bild 401 aus 4. Die Parametrisierung 52 kann eine maximale Größe für die ROI vorgegeben z.B. unter Berücksichtigung der Rechenkapazität des nachfolgenden Bildverarbeitungssystems. Als Reizgeber 54a könnte eine hochauflösende Karte die Position der relevanten Ampeln liefern und eine hochgenaue Eigenlokalisierung 54b die Position des Fahrzeugs in der Karte bestimmen. Aus diesen Informationen kann eine hochauflösende ROI 505 aus dem Gesamtbild „ausgeschnitten“ werden, die alle vier Ampeln 501 enthält. Der Bildausschnitt 510 wurde entsprechend der generierten ROI 505 in hoher bzw. maximaler Auflösung extrahiert und kann nun einer anschließenden Ampelsignalerkennung als Bilderkennung zugeführt werden. Alternativ oder kumulativ könnte als Reizgeber ein dedizierter Segmentierer auf einer stark herunterskalierten Variante des Originalbildes alle Bereiche mit hoher Signifikanz, d.h. Bildbereiche mit einer Ampel 501 erkennen und anschließend könnten daraus die ROI 505 generiert werden.
-
6 zeigt ein zweites Ausführungsbeispiel eines ROI-Generators 50, das im Wesentlichen dem aus 5 entspricht. Hier wurde über die Parametrisierung 52 eine kleinere maximale Größe für die ROI 506, 507 vorgegeben, wobei die Anzahl an möglichen ROIs 506, 507 erhöht wurde. Um sämtliche Ampeln zuverlässig und mit maximaler Auflösung abzudecken, generiert der ROI-Generator 50 zwei ROIs 506, 507, anhand derer zwei Bildausschnitte 511, 512 extrahiert werden.
-
7 zeigt einen schematischen Ablauf eines Verfahrens und setzt sich zusammen aus einer horizontalen Aneinanderreihung der 7A, 7B und 7C. In 7A ist die Kamera dargestellt, die ein hochauflösendes Bild oder eine Bildpyramide generiert bzw. erfasst. Das Bild kann in drei Bild(erfassungs-)bereiche unterteilt werden: einen Gesamtbereich 701, einen mittleren Bereich 702 und einen zentralen Detailbereich 703 (vgl. 2 und 3). Ein Reizgeber 710 ist in der Lage durch eine räumliche Kalibrierung 740 eine Position und Ausdehnung von Reizen 720 in den Bilderfassungsbereichen 701, 702, 703 zu verorten. Der Reizgeber 710 dient der Generierung 750 von Reizen 720. Auf Grundlage der Bildbereiche 701, 702, 703 und mindestens eines generierten Reizes 720 werden in 7B Schritte der ROI-Generierung veranschaulicht. In einem ersten Schritt S1 werden alle generierten Reize 720 assoziiert, d.h. in der Bildebene positioniert. In einem zweiten Schritt S2 werden die Reize 720 angereichert mit Meta-Informationen. Dies ist schematisch dadurch dargestellt, dass die Ausdehnung von Reizen 720 angepasst wird. In einem dritten Schritt S3 wird eine Positionierung und Dimensionierung bzw. Selektion der Pyramidenstufe der interessanten Bildausschnitte (Rechtecke im Bild, dargestellt mit durchgezogener Linie, mit Strichlinie bzw. mit einer strichpunktierten Linie), also der ROIs vorgenommen. Das Ziel ist hierbei anhand der Reize und der Meta-Informationen die optimale Anzahl an ROIs in optimaler Auflösung bei optimaler Reizabdeckung zu gewährleisten.
-
Anhand der in Schritt S3 generierten ROIs werden wie in 7C dargestellt die Ausgabebilder 911, 912 und 913 extrahiert. Hierbei haben alle Ausgabebilder 911, 912, 913 jeweils die gleiche Anzahl an Pixeln, beschreiben jedoch unterschiedliche Bildausschnitte und unterschiedliche Auflösungen (bzw. Auflösungsstufen). Das Gesamtbild in der höchsten bzw. maximalen Auflösung 901 wird nicht an die weitere Bildauswertungseinheit 20 (bzw. deren Computer-Vision Algorithmus) mit begrenzter Rechen-/Speicherkapazität übergeben, sondern nur die drei Ausgabebilder 911, 912, 913, die aber alle Reize 720 vollständig abdecken.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 10742907 B2 [0003]
- EP 3645343 B1 [0004]
- EP 3607740 B1 [0005]
- US 10798319 B2 [0009]
- US 11132563 B2 [0011]
