-
Stand der Technik
-
Die Erfindung betrifft eine Kameraanordnung, mit einem flächigen optischen Sensor zur Aufnahme eines ersten Bildes zu einem Zeitpunkt t1 und mindestens eines zweiten Bildes zu einem Zeitpunkt t2 in einem Zeitabstand dt1, wobei das erste Bild einen ersten Aufnahmebereich abbildet und das mindestens zweite Bild einen zweiten Aufnahmebereich abbildet, wobei der erste Aufnahmebereich und der zweite Aufnahmebereich einen gemeinsamen Überlappbereich aufweisen, mit einem flächigen Dynamic-Vision-Sensor zur Aufnahme eines Erfassungsbereichs, wobei der Erfassungsbereich mit dem Überlappbereich einen gemeinsamen Schnittmengenbereich aufweist, wobei der Dynamic-Vision-Sensor eine Zellenmatrix mit Zellen umfasst und ausgebildet ist, Intensitätsänderungen in Zellen der Zellenmatrix von einem Zeitpunkt tn1 zu einem Zeitpunkt tn2 als Intensitätsdaten zu bestimmen, wobei t1 ≤ tn1 < tn2 ≤ t2 und wobei tn2 – tn1 = dt2 und dt2 < dt1, mit einem Veränderungsbestimmungsmodul, wobei das Veränderungsbestimmungsmodul ausgebildet ist, auf Basis der Intensitätsdaten eine Veränderung und/oder Bewegung eines Erfassungsbereichsabschnittes als Schätzdaten zu bestimmen, mit einem Bilderweiterungsmodul, wobei das Bilderweiterungsmodul ausgebildet ist, die Schätzdaten mit dem ersten Bild und/oder zweiten Bild zu erweiterten Bilddaten zu kombinieren.
-
Die Aufteilung von Bildern in mehrere Bereiche und die Zuordnung dieser zu Objektklassen hat in den letzten Jahren stark an Bedeutung gewonnen. Das automatische Erlernen und Erkennen von Objekten gehören zu den wichtigsten Aufgaben der digitalen Bildverarbeitung. Insbesondere ist das pixelgenaue Klassifizieren, auch semantisches Segmentieren genannt, eine zentrale Anwendung der Bildklassifikation. Hierbei wird für jeden Pixel die Zugehörigkeit zu einer bekannten Objektklasse bestimmt. Anwendung findet dieses Arbeitsgebiet beispielsweise in der Analyse und Auswertung von Satellitenaufnahmen und/oder der platzsparenden Speicherung von 3D-Modellen.
-
Die Druckschrift
DE 198 27 835 A1 , die wohl den nächstkommenden Stand der Technik bildet, offenbart ein Bildübertragungsverfahren, insbesondere für Datenkanäle geringer Bandbreite und Endgeräte geringer Kapazität, zur Übertragung von Bilddaten einer stationären Bildaufnahmeeinstellung, welche zur Erfassung gerichtet bewegter Objekte geringen Bildanteils von einer Hintergrundszene eingerichtet ist, mit den Schritten: Vorsehen einer ersten Bildaufnahmevorrichtung mit der Bildaufnahmeeinstellung, wobei die erste Bildaufnahmevorrichtung derart ausgestaltet ist, dass sie die Hintergrundszene und gerichtet bewegte Objekte bilddatenmäßig unterscheidbar erfassen kann. Erfassen, ob mindestens eingerichtet bewegtes Objekt vorhanden ist, und, falls ja, Extrahieren der entsprechenden Bilddaten durch die erste Bildaufnahmevorrichtung. Übertragen der entsprechenden extrahierten Bilddaten oder entsprechender aus den extrahierten Bilddaten gewonnener modifizierter Bilddaten von der ersten Bildaufnahmevorrichtung in eine Bilddatenempfangsvorrichtung.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wird eine Kameraanordnung mit den Merkmalen des Anspruchs 1 vorgeschlagen, ein Fahrassistenzsystem mit den Merkmalen des Anspruchs 12 und eine Überwachungskamera mit den Merkmalen des Anspruchs 13. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
-
Die vorgeschlagene Kameraanordnung ist vorzugsweise zur Segmentierung und/oder Klassifizierung von Bildern einer Kamera ausgebildet. Insbesondere ist die Kameraanordnung zur semantischen Segmentierung von Bildern einer Kamera ausgebildet, wobei semantisches Segmentieren beispielsweise das pixelgenaue Klassifizieren von Bildern und/oder das Zuordnen von Pixeln eines Bildes zu Objekten und/oder Objektklassen ist. Ein Objekt eines Bildes wird beispielsweise von einem Haus, Auto und/oder Mensch gebildet. Die Kameraanordnung Segmentierung und/oder Klassifizierung ist ferner insbesondere einsetzbar zur Detektion von bewegten Objekten und/oder zur Detektion von sich unabhängig bewegten Objekten sowie in der Robotik oder in der Videobearbeitung.
-
Die Kameraanordnung umfasst einen flächigen optischen Sensor zur Aufnahme eines ersten Bildes zu einem ersten Zeitpunkt t1 und mindestens eines zweiten Bildes zu einem weiteren Zeitpunkt t2 in einem Zeitabstand dt1. Der optische Sensor ist vorzugsweise zur Aufnahme von weiteren Bildern zu Zeitpunkten tx ausgebildet, insbesondere sind die durch den optischen Sensor aufgenommen Bilder in äquidistanten Zeitabständen dt1 aufgenommen. Der flächige optische Sensor ist vorzugsweise als ein pixelierter Sensor ausgebildet. Beispielsweise ist der Sensor als ein CCD-Sensor oder ein CMOS-Sensor ausgebildet. Insbesondere sind mit dem optischen Sensor Aufnahmen von zweidimensionalen Abbildern aus Licht auf elektrischem Wege möglich. Der optische Sensor ist vorzugsweise halbleiterbasiert und/oder ermöglicht die Aufnahme von Bildern im sichtbaren Spektralbereich des Lichtes, im Infrarotbereich des Lichtes und/oder im UV-Bereich des Lichtes.
-
Insbesondere basiert der Zeitabstand dt1 auf der Bildwiederholungsfrequenz des optischen Sensors, wobei die Bildwiederholungsfrequenz beispielsweise der Framerate des optischen Sensors entspricht. Vorzugsweise ist der optische Sensor ausgebildet, Bilder mit einer Framerate von 30 fps aufzunehmen, wobei sich beispielsweise bei einer Framerate von 30 fps ein dt1 von etwa 33 Millisekunden ergibt. Alternativ kann die Framerate des optischen Sensors 5 fps, 7.5 fps, 10 fps, 12.5 fps, 14 fps, 15 fps, 24 fps, 30 fps, 50 oder 60 fps betragen.
-
Das erste Bild bildet einen ersten Aufnahmebereich ab und das zweite Bild bildet einen zweiten Aufnahmebereich ab. Der erste und/oder zweite Aufnahmebereich ist beispielsweise der Überwachungsbereich einer Überwachungskamera. Vorzugsweise ist der erste und/oder zweite Aufnahmebereich ein Bereich, auf welchen der optische Sensor zur Aufnahme von Bildern gerichtet ist. Der erste Aufnahmebereich des ersten Bildes und der zweite Aufnahmebereich des mindestens zweiten Bildes schneiden sich in einem gemeinsamen Überlappbereich. Insbesondere können der erste Aufnahmebereich und der zweite Aufnahmebereich identische Bereiche des Überwachungsbereiches sein, sodass der Überlappbereich den beiden Aufnahmebereichen entspricht.
-
Die Kameraanordnung umfasst einen flächigen Dynamic-Vision-Sensor zur Aufnahme eines Erfassungsbereiches, wobei der Dynamic-Vision-Sensor auch Sensoreinheit genannt wird. Der Erfassungsbereich des flächigen Dynamic-Vision-Sensors bildet mit dem Überlappbereich eine Schnittmenge, wobei die Schnittmenge den Schnittmengenbereich bildet. Insbesondere ist die Arbeitsweise des Dynamic-Vision-Sensors ähnlich der der menschlichen Retina. Beispielsweise ist der Dynamic-Vision-Sensor ausgebildet, nur lokale Änderung in Zellen und/oder Pixeln des Dynamic-Vision-Sensors zu senden, wobei die Änderungen beispielsweise von einer Bewegung in der vom Dynamic-Vision-Sensor zu erfassenden Szene herrühren. Der Dynamic-Vision-Sensor ist vorzugsweise ausgebildet, nicht unnötig vollständige Bilder in konstanter Framerate zu übersenden. Insbesondere ist der Dynamic-Vision-Sensor ausgebildet, Veränderungen in den Pixeln und/oder Zellen an dem Zeitpunkt zu senden, an dem sie auftreten. Dies führt beispielsweise zu einer zeitlichen Auflösung im Mikrosekundenbereich. In Hinsicht auf den Dynamic-Vision-Sensor wird Bezug genommen auf die Anmeldung
WO 2013/092666 A9 , deren Inhalt hiermit in diese Anmeldung aufgenommen wird.
-
Der Dynamic-Vision-Sensor umfasst eine Zellenmatrix mit Zellen. Insbesondere können die Zellen der Zellenmatrix als Pixel aufgefasst werden. Der Dynamic-Vision-Sensor ist ausgebildet, Intensitätsänderungen in einer Zelle der Zellenmatrix von einem Zeitpunkt tn1 zu einem Zeitpunkt tn2 als Intensitätsdaten zu bestimmen. Insbesondere gilt, dass t1 ≤ tn1 < tn2 ≤ t2 ist sowie, dass tn2 – tn1 = dt2 ist und dt2 < dt1. Vorzugsweise ergibt sich das Zeitinterwall dt2 aus den vom Dynamic-Vision-Sensor detektierten Zeitpunkten einer Intensitätsänderung, insbesondere sind die Zeitpunkte tn1 und tn2 sowie das Zeitinterwall dt2 veränderlich und nicht zwangsläufig konstant für verschiedene Intensitätsänderungen. Beispielsweise ist das Zeitintervall dt2 variabel und ergibt sich aus den detektierten Intensitätsänderungen in einer Zelle und/oder aus der Übertragungsrate beziehungsweise Detektionsrate des Dynamic-Vision-Sensors. Die Kameraanordnung umfasst ein Veränderungsbestimmungsmodul, wobei das Veränderungsbestimmungsmodul beispielsweise softwaretechnisch realisiert ist. Alternativ und/oder ergänzend kann das Veränderungsbestimmungsmodul hardwaretechnisch umgesetzt sein. Das Veränderungsbestimmungsmodul ist ausgebildet, auf Basis der Intensitätsdaten eine Veränderung und/oder eine Bewegung eines Erfassungsbereichsabschnittes als Schätzdaten zu bestimmen. Beispielsweise ist das Veränderungsbestimmungsmodul ausgebildet, auf Basis der Intensitätsdaten abzuschätzen und/oder zu bestimmen, wohin sich ein Erfassungsbereichsabschnitt hinbewegt und diese Information als Schätzdaten bereitzustellen. Insbesondere sind die Schätzdaten nutzbar, um eine Einschränkung mindestens eines Bereiches im ersten Bild und/oder zweiten Bild durchzuführen, in welchem Pixel zu einem ersten Segment oder zweiten Segment zugeordnet werden.
-
Die Kameraanordnung umfasst ein Bilderweiterungsmodul zum Kombinieren der Schätzdaten mit dem ersten Bild und/oder dem zweiten Bild zu erweiterten Bilddaten. Die erweiterten Bilddaten umfassen beispielsweise zu jedem Punkt, Pixel und/oder Abschnitt des Schnittmengenbereiches die Bildinformation des ersten Bildes und/oder des zweiten Bildes sowie die Schätzdaten. Insbesondere sind in den erweiterten Bilddaten die Schätzdaten den jeweiligen Positionen im Schnittmengenbereich und/oder den jeweiligen Positionen im ersten Bild und/oder zweiten Bild zugeordnet.
-
Es ist eine Überlegung der Erfindung, durch die Integration eines Dynamic-Vision-Sensors und das Kombinieren von Schätzdaten mit dem ersten Bild und/oder dem zweiten Bild zu erweiterten Bilddaten, eine erweiterte Datenbasis für weitere verbesserte Auswertungen bereitzustellen. Beispielsweise kann auf Basis der erweiterten Bilddaten das maschinelle Sehen vereinfacht und beschleunigt werden, so dass in Bildern eines Aufnahmebereiches Szenen schneller interpretiert werden können und Pixel gleicher Objekte einfacher als solche erkennt werden. Insbesondere ermöglicht das das Zusammenspiel von Dynamic-Vision-Sensors und optischem Sensor eine Echtzeitauswertung der aufgenommenen Bereiche. Als synergetischer Effekt der vorliegenden Erfindung wirkt sich aus, dass der Dynamic-Vision-Sensor unempfindlich gegenüber stark variierender Helligkeiten und Blendungen im Aufnahmebereich ist.
-
In einer besonders bevorzugten Ausgestaltung der Erfindung umfassen die Intensitätsdaten zu der Intensitätsänderung in einer Zelle zusätzlich die Position der Zelle in der Zellenmatrix als Positionsinformation, in welcher die Intensitätsänderung detektiert wurde und/oder einen Zeitstempel, wobei der Zeitstempel angibt, wann die Intensitätsänderung stattfand. Insbesondere ist aus dem Zeitstempel das Zeitintervall dt2 bestimmbar. Vorzugsweise ist der Dynamic-Vision-Sensor mit Zellenadressbussen verbunden. Der Dynamic-Vision-Sensor ist vorzugsweise ausgebildet, Intensitätsänderungen in einer Zelle asynchron und/oder nahezu instantan an den Zellenadressbus zu senden und/oder diese als Intensitätsdaten bereitzustellt. Beispielsweise sind die Intensitätsdaten als Datentupel ausgebildet, wobei das Datentupel die Position der Zelle und den Zeitstempel umfasst.
-
Besonders bevorzugt ist, dass der Dynamic-Vision-Sensor eine Mehrzahl von Zellen umfasst, wobei jede Zelle Mittel zur Ausgabe eines Fotostromes umfasst. Beispielsweise sind die Mittel zur Ausgabe des Fotostromes Fotodioden und/oder Fototransistoren. Insbesondere ist das Mittel zur Ausgabe eines Fotostromes ausgebildet, die Helligkeit auf eine Zelle der Zellenmatrix zu bestimmen, wie beispielsweise anhand der Höhe des Fotostromes. Vorzugsweise sind die Mittel zur Bestimmung des Fotostromes ausgebildet, einen zur Intensität des einfallenden Lichtes proportionalen Fotostrom zu liefern. Der Dynamic-Vision-Sensor umfasst insbesondere ein Veränderungsdetektionsmodul, wobei das Veränderungsdetektionsmodul mit dem Mittel zur Ausgabe des Fotostroms elektronisch verbunden ist. Das Veränderungsdetektionsmodul ist ausgebildet, ein Veränderungssignal dann und nur dann auszugeben, wenn sich die Intensität des einfallenden Lichtes stärker ändert als eine vorgegebene Schwellenänderung. Insbesondere umfassen die Intensitätsdaten das Veränderungssignal.
-
In einer möglichen Ausgestaltung der Erfindung umfasst die Kameraanordnung ein Segmentierungsmodul. Das Segmentierungsmodul kann softwaretechnisch oder hardwaretechnisch umgesetzt sein. Beispielsweise umfasst das Bilderweiterungsmodul das Segmentierungsmodul und/oder das Veränderungsbestimmungsmodul. Das Segmentierungsmodul ist ausgebildet, mindestens einen Schnittmengenbereichsabschnitt und/oder mindestens ein mögliches Objekt im Schnittmengenbereich als ein segmentiertes Objekt auf Basis der erweiterten Bilddaten zu segmentieren. Vorzugsweise ist das Segmentierungsmodul zum semantischen Segmentieren des Schnittmengenbereiches ausgebildet.
-
Besonders bevorzugt ist die Ausgestaltung der Erfindung, mit einem Klassifizierungsmodul. Das Klassifizierungsmodul ist hardwaretechnisch oder softwaretechnisch umgesetzt. Das Klassifizierungsmodul ist vorzugsweise Teil der Segmentierungsmoduls. Das Klassifizierungsmodul ist vorzugsweise ausgebildet, mindestens ein segmentiertes Objekt zu klassifizieren. Das Klassifizieren erfolgt insbesondere auf Basis der erweiterten Bilddaten. Das Klassifizieren entspricht beispielsweise der Zuordnung von segmentierten Objekten in Objektklassen, wie beispielsweise die Objektklassen eine Unterscheidung in bewegte oder unbewegte Objekte ist. Alternativ und/oder ergänzend ist die Klassifizierung in feinere Objektklassen, wie Mensch, Tier, Haus, Baum etc. möglich.
-
Vorzugsweise ist das Klassifizieren des Schnittmengenbereiches eine Klassifizierung in Vordergrund und Hintergrund. Insbesondere erfolgt die Klassifizierung in Vordergrund und Hintergrund auf Basis der erweiterten Bilddaten. Beispielsweise erfolgt die Klassifizierung in Vordergrund und Hintergrund auf der Basis, dass davon ausgegangen wird, dass sich Objekte im Vordergrund schneller bewegen und/oder sich verändern, wohingegen sich der Hintergrund nur langsamer verändert oder gar nicht.
-
In einer besonders bevorzugten Ausgestaltung der Erfindung ist das Zeitintervall dt2 kleiner als 500 Mikrosekunden, insbesondere kleiner als 50 Mikrosekunden und im Speziellen kleiner als 5 Mikrosekunden. Ferner ist der Zeitabstand dt1 vorzugsweise größer als 1 Millisekunde, insbesondere größer als 10 Millisekunden und im Speziellen größer als 100 Millisekunden. Alternativ und/oder ergänzend ist der Zeitabstand dt1 vorzugsweise größer als zwei Mal dt2 und im Speziellen größer als fünf Mal dt2. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass durch ein Zeitintervall dt2 im Mikrosekundenbereich die erweiterten Bilddaten zwischen der Aufnahme des ersten Bildes und der Aufnahme des zweiten Bildes bereitgestellt werden können, sodass nachfolgende Auswertungen durch Auswertemodule auf verbesserte und exakteren erweiterten Bilddaten basieren können.
-
In einer besonders bevorzugten Ausgestaltung der Erfindung ist der flächige optische Sensor in einer Kamera angeordnet. Beispielsweise ist die Kamera als eine Videokamera, wie zum Beispiel eine Überwachungskamera ausgebildet. Vorzugsweise umfasst die Kamera ein Kameragehäuse, wobei der optische Sensor in dem Kameragehäuse angeordnet ist. Die Kamera verfügt vorzugsweise über eine Kameraschnittstelle, wobei die Kamera ausgebildet ist, über die Kameraschnittstelle die Bilder zur externen Nutzung bereitzustellen. Insbesondere umfasst die Kamera ein Kameraobjektiv zum scharfen und kontrastreichen Abbilden eines Aufnahmebereiches.
-
Besonders bevorzugt ist es, dass die Kamera der Kameraanordnung den Dynamic-Vision-Sensor umfasst. Insbesondere sind der Dynamic-Vision-Sensor und der flächige optische Sensor so in der Kamera angeordnet, dass beide einen gemeinsamen Aufnahmebereich aufnehmen. Vorzugsweise umfasst die Kamera neben dem flächigen optischen Sensor und dem flächigen Dynamic-Vision-Sensor ebenfalls das Veränderungsbestimmungsmodul sowie das Bilderweiterungsmodul. In dieser Ausgestaltung ist es möglich, dass alle Komponenten der Kameraanordnung in dem Kameragehäuse angeordnet sind.
-
In einer besonders bevorzugten Ausgestaltung der Erfindung ist das Veränderungsbestimmungsmodul ausgebildet, das Bestimmen einer Veränderung und/oder einer Bewegung eines Erfassungsbereichsabschnittes auf Basis eines Konturbereiches eines Erfassungsbereichsabschnitts durchzuführen. Der Konturbereich ist insbesondere der äußere Bereich eines Erfassungsbereichsabschnittes und/oder eines Objektes im Erfassungsbereich, wie zum Beispiel dessen Umriss. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass ein Dynamic-Vision-Sensor nur Veränderungen in einer Aufnahmeszene detektiert und der Dynamic-Vision-Sensor nur Helligkeitsänderungen detektiert. Insbesondere ist nur ein Wegfallen von aktiven Pixeln und/oder ein Hinzukommen von aktiven Pixeln vom Dynamic-Vision-Sensor detektierbar. Für ein einfarbiges Objekt oder ein Objekt mit wenig strukturellen Markmalen, erfasst und/oder sieht der Dynamic-Vision-Sensor beispielsweise nur die Bewegung des Konturbereiches. Das Veränderungsbestimmungsmodul ist in dieser Ausgestaltung der Erfindung ausgebildet, die die Veränderung und/oder Bewegung für ein mögliches Objekt im Erfassungsbereich nur auf Basis des Konturbereiches zu bestimmen.
-
In einer besonders bevorzugten Ausgestaltung der Erfindung ist das Veränderungsbestimmungsmodul ausgebildet, das Bestimmen einer Veränderung und/oder einer Bewegung eines Erfassungsbereichsabschnittes mindestens zwei Mal innerhalb des Zeitabstandes dt1 zwischen dem ersten Bild und dem zweiten Bild durchzuführen. Beispielsweise ist der Zeitabstand dt1 mindestens doppelt so groß wie der Zeitinterwall dt2. Das Bilderweiterungsmodul ist in dieser Ausgestaltung beispielsweise ausgebildet, die erweiterten Bilddaten auf Basis von gemittelten Schätzdaten zu bestimmen. Alternativ und/oder ergänzend ist das Bilderweiterungsmodul ausgebildet, die erweiterten Bilddaten auf Basis von integrierten Schätzdaten zu bestimmen, wobei beispielsweise ein Integrationsmodul dazu durch das Veränderungsbestimmungsmodul bestimmten Schätzdaten aufintegriert und beispielsweise abschätzt, wohin sich ein Pixel und/oder Zellenabschnitt vom ersten Bild zum zweiten Bild hinbewegt hat. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass durch mehrfaches Bestimmen der Schätzdaten auch komplexe Bewegungen und/oder komplexe optische Flüsse im Erfassungsbereich durch den Dynamic-Vision-Sensor erfasst und/oder abgeschätzt werden können. Diese komplexen Bewegungen können dann von dem ersten auf das zweite Bild übertragen werden, wobei so der Bereich für weitere Berechnungen und/oder zur Segmentierung in Objekte eingegrenzt wird.
-
Einen weiteren Gegenstand der Erfindung bildet ein Fahrassistenzsystem mit einer Kameraanordnung. Die Kameraanordnung ist insbesondere ausgebildet, wie in den vorherigen Ansprüchen und/oder wie in der vorherigen Beschreibung beschrieben. Das Fahrassistenzsystem mit der Kameraanordnung ermöglicht zum Beispiel eine Segmentierung von Bildern welche beispielsweise in Fahrtrichtung und/oder gegen die Fahrtrichtung eines Autos aufgenommen wurden. Das Fahrassistenzsystem ist insbesondere ausgebildet, auf Basis des der erweiterten Bilddaten das Auto und/oder das Fahrzeug entsprechend zu navigieren, wie zum Beispiel abzubremsen, zu beschleunigen oder zu stoppen.
-
Einen weiteren Gegenstand der Erfindung bildet eine Überwachungskamera mit der Kameraanordnung nach einem der vorhergehenden Ansprüche beziehungsweise gemäß einer Ausgestaltung der vorhergehenden Beschreibung. Die Überwachungskamera ist beispielsweise ausgebildet, einen Überwachungsbereich wie beispielsweise eine Parkanlage, ein Parkhaus, einen Gebäudebereich oder einen öffentlichen Bereich zu überwachen. Die Überwachungskamera mit der Kameraanordnung ist insbesondere ausgebildet, Bereiche in den von der Überwachungskamera aufgenommenen Bilder zu Maskieren und/oder auszublenden.
-
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:
-
1 ein erstes Ausführungsbeispiel der Kameraanordnung;
-
2 ein zweites Ausführungsbeispiel der Kameraanordnung;
-
3 eine schematische Darstellung der Aufnahmebereiche des Überlappungsbereiches und des Erfassungsbereiches;
-
4 ein Zeitablaufschema mit eingezeichneten Zeitpunkten und Zeitdifferenzen.
-
1 zeigt in einer stark schematischen Darstellung ein erstes Ausführungsbeispiel der Kameraanordnung 1. Die Kameraanordnung 1 umfasst einen flächigen optischen Sensor 2, einen flächigen Dynamic-Vision-Sensor 3, ein Veränderungsbestimmungsmodul 4 und ein Bilderweiterungsmodul 5.
-
Der flächige optische Sensor 2 ist mit einer Aufnahmerichtung 6a auf einen Überwachungsbereich 7 gerichtet. Der optische Sensor 2 ist ausgebildet, den Überwachungsbereich 7 in einem ersten Bild 8a (siehe ) abzubilden, wobei das erste Bild 8a einen ersten Aufnahmebereich 9a abbildet und der erste Aufnahmebereich 9a (siehe 3) Teil des Überwachungsbereiches 7 ist.
-
Insbesondere ist der flächige optische Sensor 2 als ein pixilierter Halbleiterdetektor ausgebildet, den ersten Aufnahmebereich 9a als ein farbiges Vollbild abzubilden. Das erste Bild 8a des Überwachungsbereiches 7 ist zu einem Zeitpunkt t1 aufgenommen. Ferner ist der flächige optische Sensor 2 ausgebildet, zu einem Zeitpunkt t2 mindestens ein weiteres Bild, insbesondere ein zweites Bild 8b, des Überwachungsbereiches 7 aufzunehmen, wobei das zweite Bild 8b einen zweiten Aufnahmebereich 9b abbildet, wobei der zweite Aufnahmebereich 9b ebenfalls Teil des Überwachungsbereiches 7 ist. Insbesondere weist erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b einen gemeinsamen Überlappbereich 10 (3) auf. Der flächige optische Sensor 2 ist insbesondere in einer Überwachungskamera angeordnet.
-
Die Kameraanordnung 1 umfasst einen flächigen Dynamic-Vision-Sensor 3 zur Aufnahme eines Erfassungsbereiches 11 (3). Der Dynamic-Vision-Sensor 3 ist mit seiner Aufnahmerichtung 6b zum Überwachungsbereich 7 gerichtet. Insbesondere ist der Erfassungsbereich 11 Teil des Überwachungsbereiches 7. Der Erfassungsbereich 11 bildet mit dem Überlappbereich 11 als Schnittmenge den Schnittmengenbereich 12 (3).
-
Der Dynamic-Vision-Sensor 3 umfasst mehrere Zellen, wobei die Zellen eine Zellenmatrix bilden. Insbesondere sind die Zellen als Pixel des Dynamic-Vision-Sensors 3 zu verstehen. Der Dynamic-Vision-Sensor 3 ist ausgebildet, eine Intensitätsänderung in den Zellen der Zellenmatrix zu detektieren. Insbesondere entspricht die Intensitätsänderung in den Zellen einer Änderung der auf die jeweilige Zelle einfallenden Lichtintensität. Vorzugsweise wird die Intensitätsänderung als eine Änderung von einem Zeitpunkten tn1 zu einem zweiten Zeitpunkt tn2 als Intensitätsdaten bestimmt. Die Zeitpunkte tn1 und tn2 werden beispielsweise dem Dynamic-Vision-Sensor 3 durch die Änderung der Lichtintensität selbst vorgegeben und/oder bestimmt, beispielsweis ist tn2 gerade als der Zeitpunkt, an welchem die Intensitätsänderung in der Zelle stattfindet. Der Dynamic-Vision-Sensor 3 umfasst eine Dynamic-Vision-Sensor-Schnittstelle 13, über welche der Dynamic-Vision-Sensor 3 Intensitätsdaten bereitstellen kann. Die Intensitätsdaten umfassen die Intensitätsänderung in einer Zelle der Zellenmatrix. Insbesondere umfassen die Intensitätsdaten die Position der Zelle innerhalb der Zellenmatrix, in welcher eine Intensitätsänderung stattfand, sowie den Zeitpunkt, an dem sie stattfanden.
-
Das Veränderungsbestimmungsmodul 4 ist datentechnisch mit der Dynamic-Vision-Sensor-Schnittstelle 8 verbunden. Das Veränderungsbestimmungsmodul 4 ist ausgebildet, die Intensitätsdaten des Dynamic-Vision-Sensors 3 auszuwerten. Die Auswertung der Intensitätsdaten durch das Veränderungsbestimmungsmodul 4 entspricht insbesondere der Bestimmung einer Änderung und/oder Bewegung eines Abschnittes im Erfassungsbereich 11 auf Basis der Intensitätsdaten.
-
Das Bilderweiterungsmodul 5 ist datentechnisch mit dem Veränderungsbestimmungsmodul 4 und dem flächigen optischen Sensor 2 verbunden. Über die datentechnische Verbindung wird dem Bilderweiterungsmodul 5 insbesondere das erste Bild 8a und das zweite Bild 8b mit dem ersten Aufnahmebereich 9a und dem zweiten Aufnahmebereich 9b bereitgestellt. Das Bilderweiterungsmodul 5 ist ausgebildet, die Schätzdaten mit dem ersten Bild 8a und/oder dem zweiten Bild 8b zu erweiterten Bilddaten zu kombinieren. Insbesondere ist das Bilderweiterungsmodul 5 ausgebildet jeder Position im Schnittmengenbereich 12 die Information des ersten Bildes 8a und/oder des zweiten Bildes 8b mit den Schätzdaten und/oder Intensitätsdaten zu kombinieren
-
Das Bilderweiterungsmodul 5 umfasst eine Bilddatenschnittstelle 14, über welche einer externen Rechnereinheit und/oder einem externen Nutzer das erste Bild 8a und/oder das zweite Bild 8b, die Schätzdaten und/oder die Intensitätsdaten bereitstellbar sind. Insbesondere umfasst das Bilderweiterungsmodul 5 ein Segmentierungsmodul und ein Klassifizierungsmodul. Das Segmentierungsmodul ist ausgebildet, den Schnittmengenbereich 12 in zusammengehörige Abschnitte zu segmentieren. Das Segmentieren zu Abschnitten entspricht vorzugsweise einer Einteilung in segmentierte Objekte. Das Klassifizierungsmodul ist ausgebildet die segmentierten Objekte in Klassen zu klassifizieren, wobei die Klassen beispielsweise die Klassen bewegtes oder unbewegtes Objekt umfassen.
-
2 zeigt ein zweites Ausführungsbeispiel der Kameraanordnung 1. In diesem Ausführungsbeispiel umfasst die Kameraanordnung 1 eine Kamera 15, wobei die Kamera 15 beispielsweise als eine Überwachungskamera oder eine Kamera 15 in einem Fahrassistenzsystem ausgebildet ist. Die Kamera 15 umfasst den Dynamic-Vision-Sensor 3 und den flächigen optischen Sensor 2. Der flächige optische Sensor 2 und der flächige Dynamic-Vision-Sensor 3 sind in der Kamera 15 mit Aufnahmerichtung 6 zu dem Überwachungsbereich 7 angeordnet. Insbesondere sind der flächige optische Sensor 2 und der flächige Dynamic-Vision-Sensor 3 so angeordnet, dass erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b des flächigen optischen Sensors 2 mit der Erfassungsbereich 11 des Dynamic-Vision-Sensors 3 zusammenfallen. Insbesondere sind der flächige Dynamic-Vision-Sensor 3 und der flächige optische Sensor 2 in einem gemeinsamen Kameragehäuse angeordnet. Die Kamera 15 ist datentechnisch mit einer Auswerteeinheit 16 verbunden, wobei die Auswerteeinheit 16 das Veränderungsbestimmungsmodul 4 und das Bilderweiterungsmodul 5 umfasst. Die Auswerteeinheit 16 sowie das Veränderungsbestimmungsmodul 4 und/oder das Bilderweiterungsmodul 5 können softwaretechnisch auf einer Rechnereinheit oder hardwaretechnisch ausgebildet sein. Insbesondere ist die Auswerteeinheit 16 separat von der Kamera 11 anordenbar und beispielsweise als eine zentrale Rechnereinheit ausgebildet. In diesem Beispiel ist die Auswerteeinheit 16 datentechnisch mit einer Anzeigeeinheit 17 verbunden, wobei die Anzeigeeinheit 13 ausgebildet ist, das erste Bild 8a und/oder das zweite Bild 8b, alternativ und/oder ergänzend eine Sequenz der von der Kamera 15 aufgenommenen Bilder des Überwachungsbereiches 7 anzuzeigen. Zusätzlich ist die Anzeigeeinheit 17 ausgebildet, in die Bilder des Überwachungsbereiches 7 zusätzlich die Schätzdaten und/oder die Intensitätsdaten einzuzeichnen. Ferner kann die Anzeigeeinheit 17 zur Anzeige der erweiterten Bilddaten ausgebildet sein.
-
3 zeigt in einer stark schematisierten Darstellung einen Überwachungsbereich 7 sowie darin kenntlich gemacht einen ersten Aufnahmebereich 9a und einen zweiten Aufnahmebereich 9b sowie einen Erfassungsbereich 11 und deren Überlappungen. Der Überwachungsbereich 7 umfasst als mögliche Objekte in diesem Beispiel einen Menschen als ein sich bewegendes Objekt und einen Baum als ein sich nicht bewegendes statisches Objekt.
-
Der optische Sensor 2 ist ausgebildet, den Überwachungsbereich 7 abzubilden, wobei die Abbildung des Überwachungsbereiches 7 durch den optischen Sensor zum Zeitpunkt t1 einen ersten Aufnahmebereich 9a in einem ersten Bild 8a zeigt. Der erste Aufnahmebereich 9a bildet in diesem Ausführungsbeispiel den Menschen und den Baum ab. Die Aufnahme des ersten Aufnahmebereiches 9a erfolgt zu einem Zeitpunkt t1. Zusätzlich ist ein zweiter Aufnahmebereich 9b eingezeichnet, wobei der zweite Aufnahmebereich 9b vom optischen Sensor 2 zu einem Zeitpunkt t2 in einem zweiten Bild 8b abgebildet wird. Der zweite Aufnahmebereich 9b bildet ebenfalls einen Teil des Überwachungsbereiches 7. Wie in diesem Beispiel zu sehen, müssen erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b nicht zwangsläufig vollständig zusammenfallen. Erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b überlappen und/oder schneiden sich in einem gemeinsamen Überlappbereich 10. Insbesondere umfasst der Überlappbereich 10 mögliche Objekte im, welche segmentiert und/oder unterschieden werden sollen.
-
Zusätzlich ist in 3 der Erfassungsbereich 11 eingezeichnet. In diesem Ausführungsbeispiel ist der Erfassungsbereich 11 kleiner als der erste Aufnahmebereich 9a und/oder der zweite Aufnahmebereich 9b. Alternativ kann der Erfassungsbereich 11 die gleiche Größe wie der erste Aufnahmebereich 9a und/oder zweite Aufnahmebereich 9b aufweisen oder größer als diese sein. Insbesondere umfasst der Erfassungsbereich 11 ebenfalls die möglichen Objekte, welche unterschieden und/oder segmentiert werden sollen. Ebenfalls eingezeichnet ist der Schnittmengenbereich 12, welcher die Schnittmenge von Erfassungsbereich 11 und Überlappbereich 10. Die Schnittmenge von Überlappbereich 10 und Erfassungsbereich 11 ist. Der Schnittmengenbereich ist insbesondere der Bereich, welcher vom Veränderungsbestimmungsmodul 4 und/oder vom Bilderweiterungsmodul 5 herangezogen wird.
-
4 zeigt schematisch einen Zeitstrahl mit den Zeiten t1, t2 und t3. Ebenfalls angezeichnet sind beispielhaft einige Zeitpunkte tn, an welchen der Dynamic-Vision-Sensor 3 eine Intensitätsänderung bestimmt. Als die Zeitpunkte tn sind als Pfeile an den Zeitstrahl angezeichnet, wobei exemplarisch die Zeiten tn1, tn2, tn3, tnX, tnY und tnZ in der Figur beschriftet sind.
-
Das erste Bild 8a, das zum Zeitpunkt t1 vom optischen Sensor aufgenommene wurde zeigt einen ersten Aufnahmebereich 9a einen Baum und einen Menschen, wobei der Mensch links vom Baum angeordnet ist. Nach dem Zeitabstand dt1 ist der Zeitpunkt T2 eingetreten, wobei sich zum Zeitpunkt t2 der Mensch direkt vor dem Baum befindet. Das vom optischen Sensor aufgenommene zweite Bild 8b mit dem abgebildeten zweiten Aufnahmebereichs 9b zum Zeitpunkt T2 zeigt somit auch den Menschen direkt vor dem Baum, erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b weisen eine Überlappung auf oder sind wie in diesem Beispiel gleich gewählt. Beispielhaft ist in dieser Figur nach einem weiteren gleichgroßen Zeitabstand dt1 nach t2 drittes Bild 8c vom Aufnahmebereich 9c zum Zeitpunkt t3 aufgenommen. Das dritte Bild zeigt den Menschen und den Baum wie im ersten Bild 8a und im zweiten Bild 8b, wobei in diesem dritten Bild 8c der Mensch sich weiterbewegt hat und rechts vom Baum angeordnet ist.
-
Auf der Unterseite des Zeitstrahles sind Zeitpunkt tn als Pfeile am Zeitstrahl eingezeichnet. Die Zeitintervalle zwischen zwei tn´s sind in diesem Ausführungsbeispiel nicht äquidistant und sind beispielhaft als dt2 und dt2´ eingezeichnet. Die Zeitintervalle zwischen wie tn´s betragen dt2 und sind wegen der nicht zwangsläufigen Äquidistanz der tn´s unterschiedlich groß. Die Zeitpunkte tn1, tn2, tn3, tnX, tnY, tnZ usw. entsprechen den Zeitpunkten, zu welchen der Dynamic-Vision-Sensor 3 eine Intensitätsänderung detektierte. Der Dynamic-Vision-Sensor 3 ist insbesondere ausgebildet, Intensitätsänderungen nicht nur zwischen einem Zeitpunkt tn1 und tn2 zu bestimmen, sondern auch Intensitätsänderungen zwischen beliebigen aufeinanderfolgenden tn´s.
-
Schematisch ist an den Zeitpunkten tn2, tn3 und tnZ noch ein Bild der Intensitätsdaten des Dynamic-Vision-Sensors 3 gezeigt. Wie in dieser Figur zu sehen, ist im Bild von tn2 vom Dynamic-Vision-Sensor 3 eine Intensitätsänderung auf der linken Seite des Bildes zu sehen, zum Zeitpunkt tn3 eine Intensitätsänderung in der Mitte des Bildes und zum Zeitpunkt tnZ eine Intensitätsänderung auf der rechten Seite des Bildes zu sehen. Diese detektieren Intensitätsänderungen zu den Zeitpunkten tn1, tn3 und tnZ entsprechen gerade den Positionen, an welchen sich der Mensch als bewegtes Objekt im Überwachungsbereich 7 gerade bewegt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 19827835 A1 [0003]
- WO 2013/092666 A9 [0009]
