DE102018204768B4

DE102018204768B4 - Vorrichtung zur Bilderkennung

Info

Publication number: DE102018204768B4
Application number: DE102018204768.5A
Authority: DE
Inventors: Daniel Schmidt
Original assignee: Magna Telemotive GmbH
Current assignee: MAGNA ENGINEERING & INFOTAINMENT GMBH, DE
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2022-09-01
Anticipated expiration: 2038-03-29
Also published as: DE102018204768A1

Abstract

Eine Vorrichtung zur Bilderkennung, umfassend eine Kamera (1) zur Aufnahme eines Kameraerfassungsbereichs (2), ein Bilderkennungsmodul das zur Analyse der Bilder der Kamera ausgebildet ist, sowie zumindest zwei analoge Sensoren (S1, S2, S3, S4) die zur Überwachung jeweils eines dem analogen Sensor (S1, S2, S3, S4) zugeordneten Teilbereichs (T1, T2, T3, T4) des Kameraerfassungsbereichs (2) ausgebildet sind,wobei das Bilderkennungsmodul dazu eingerichtet ist, bei Erfassung eines Objektes (3) in einem Teilbereich (T1, T2, T3, T4) durch einen analogen Sensor (S1, S2, S3, S4), eine Analyse der Bilder der Kamera ausschließlich oder primär in dem, dem analogen Sensor (S1, S2, S3, S4) zugeordneten Teilbereich (T1, T2, T3, T4) durchzuführen und ein Fahrzeug umfassend eine solche Vorrichtung.

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Vorrichtung zur Bilderkennung und ein Fahrzeug umfassend eine solche Vorrichtung zur Bilderkennung.
Stand der Technik
In modernen Kraftfahrzeugen beruhen viele Funktionen auf Technologien zur Bilderkennung, insbesondere im Bereich Fahrerassistenzsysteme, bis hin zum autonomen Fahren. Hierbei wird ein Kamerabild der Fahrzeugumgebung auf bestimmte Objekte hin abgesucht, zum Beispiel nach Verkehrszeichen, Fahrspuren, Personen, Fahrzeugen, Ampeln etc., um diese Informationen dann für die Unterstützung des Fahrers bzw. die Regelung des Fahrzeuges einzusetzen.
Es ist auch die Nutzung analoger Sensoren in Fahrzeugen bekannt, um sehr schnell Erkenntnisse über die direkte Fahrzeugumgebung zu erhalten. Diese Sensoren können unter anderem pyroelektische Sensoren (PIR-Sensoren) sein. Durch den analogen Aufbau können diese Sensoren, im Vergleich zu Sensoren mit nachgeschalteter Elektronik, sehr schnell Ergebnisse für die weitere Verarbeitung liefern.
Es ist auch bekannt die rascheren Daten von analogen Sensoren zu kombinieren mit einem digitalen Kamerabild, so dass Informationen aus den beiden unterschiedlichen Quellen übereinander gelagert werden.
So offenbart die EP 3 016 382 ein Videoüberwachungssystem das eine Kameraeinheit beinhaltet und umfasst: eine Kamera zum Überwachen einer Szene, eine Sensoreinheit zum Erkennen einer Bewegung in mehreren vorbestimmten Szenenregionen, und eine Videocodiereinheit welche umfasst: einen ersten Dateneingang zum Empfangen eines Videostreams mit mehreren Bildframes von der Kamera, einen zweiten Dateneingang zum Empfangen von Sensordaten von der Sensoreinheit, eine Verarbeitungseinheit zum Erzeugen einer Überlagerung, welche die Sensordaten darstellt, und Hinzufügen der Überlagerung zu den Bildframes in dem Videostream zum Erzeugen eines codierten Videostreams, welcher die Szene auf zwei unterschiedliche Arten in jedem Bildframe darstellt.
Aus dem Artikel GERONIMO, David, et al. „Survey of pedestrian detection for advanced driver assistance Systems“. IEEE transactions on pattern analysis and machine intelligence, 2010, 32. Jg., Nr. 7, S. 1239-1258, ist ein Einsatz bildgebender Thermographie in Verbindung mit Kamerabildern zur Fußgängerdetektion bekannt. Eine solche Bildgebung erfordert eine A/D-Wandlung, es handelt sich um digitale Sensoren. Es werden Berechnungsmethoden zur Erkennung von Objekten auf Basis der Daten von Kameras/optischen Systemen, sowie auf Basis von kombinierten optischen und nicht-optischen Daten beschrieben.
Das Dokument EP 2 757 387 A1 offenbart eine Erfassungsvorrichtung für ein Fahrzeug, umfassend eine in dem Fahrzeug installierte Sendeantenne, wobei die Sendeantenne eine Funkwelle sendet; eine Empfangsantenne, die innerhalb des Fahrzeugs installiert ist, wobei die Empfangsantenne die Radiowelle empfängt; und einen Abschnitt zur Berechnung der Abnormalitätserfassung, der auf der Grundlage der von der Empfangsantenne empfangenen Funkwelle einen Betrag an räumlichen Merkmalen berechnet und auf der Grundlage des berechneten Betrags an räumlichen Merkmalen eine Bewegung einer Person außerhalb des Fahrzeugs und eine Bewegung einer Person, die in das Fahrzeug eindringt, erfasst. Dabei werden zur Detektion von Personen im Umfeld eines Kraftfahrzeuges mehrere analoge Sensoren eingesetzt.
Zusammenfassung der Erfindung
Es ist eine Aufgabe der Erfindung, eine Vorrichtung zur Bilderkennung, umfassend eine Kamera zur Aufnahme eines Kameraerfassungsbereichs und ein Bilderkennungsmodul das zur Analyse der Bilder der Kamera ausgebildet ist anzugeben, die eine besonders rasche und dennoch genaue Bilderkennung ermöglicht.
Die Lösung der Aufgabe erfolgt durch eine Vorrichtung zur Bilderkennung, umfassend eine Kamera zur Aufnahme eines Kameraerfassungsbereichs, ein Bilderkennungsmodul das zur Analyse der Bilder der Kamera ausgebildet ist, sowie zumindest zwei analoge Sensoren die zur Überwachung jeweils eines dem analogen Sensor zugeordneten Teilbereichs des Kameraerfassungsbereichs ausgebildet sind, wobei das Bilderkennungsmodul dazu eingerichtet ist, bei Erfassung eines Objektes in einem Teilbereich durch einen analogen Sensor, eine Analyse der Bilder der Kamera ausschließlich oder primär in dem, dem analogen Sensor zugeordneten Teilbereich durchzuführen.
Üblicherweise muss für eine Bildanalyse stets das komplette Kamerabild, also ein gesamter Kameraerfassungsbereich nach Objekten abgesucht werden, was rechen- und zeitintensiv ist.
Erfindungsgemäß wird eine schnellere Analogsensorik genutzt, um den Suchbereich für die digitale Bilderkennung auf relevante Bereiche zu begrenzen.
Durch die Nutzung analoger Sensoren, können sehr schnell Erkenntnisse über die direkte Umgebung der Vorrichtung zur Bilderkennung, insbesondere bei Verbau in einem Fahrzeug über eine Fahrzeugumgebung, erhalten. Diese analogen Sensoren können insbesondere pyroelektische Sensoren (PIR) sein, oder auch Helligkeitssensoren oder Farbsensoren. Durch den analogen Ausbau können diese Sensoren im Vergleich zu Sensoren mit nachgeschalteter Elektronik sehr schnell Ergebnisse für die weitere Verarbeitung, insbesondere in einem Hardwaregatter (z.B. FPGA), liefern.
Erfindungsgemäß wird daher von zumindest zwei analogen Sensoren jeweils ein dem jeweiligen Sensor zugeordnetes Teilgebiet des Kameraerfassungsbereichs überwacht und bei Erfassung eines Objektes, bevorzugt mit vordefinierten Eigenschaften, wie der Überschreitung eines vorbestimmten Wärme- oder Helligkeitsgrenzwertes etc, die weitere Bilderkennung bzw. Bildanalyse auf den betreffenden Bereich des analogen Sensors eingeschränkt. Die Analyse kann besonders bevorzugt ausschließlich in diesem Teilbereich durchgeführt werden oder auch primär, also qualitativ besser oder zeitlich früher in diesem Teilbereich durchgeführt werden als in anderen Teilbereichen.
Es kann natürlich auch ein Objekt von mehreren analogen Sensoren und daher in mehreren Teilbereichen so weitgehend registriert werden, dass die weitere Bilderkennung bzw. Bildanalyse auf diese mehreren betreffenden Bereiche der analogen Sensoren eingeschränkt wird.
Da die beschriebene Analog-Sensorik deutlich schneller arbeitet als digitale Sensorik, mit nachgeschalteter Elektronik, kann dieser Zeitvorteil sinnvoll genutzt werden, um eine Bilderkennung, zum Beispiel im Bereich Fahrerassistenzsysteme oder autonomes Fahren, nur in jenen Bildbereichen arbeiten zu lassen, in denen durch die Sensorik relevante Ereignisse festgestellt wurden. Dadurch kann das Bilderkennungssystem schneller zu Ergebnissen kommen und so den Fahrer bzw. das Fahrzeug schneller über erkannte Objekte in Kenntnis setzen. Alternativ kann auch ein einfacheres bzw. günstigeres Bilderkennungssystem mit geringerer Rechenleistung eingesetzt werden, da durch die Reduzierung auf wenige Bildbereiche auch geringere Systemressourcen benötigt werden.
Die Lösung der Aufgabe erfolgt auch durch ein Fahrzeug, insbesondere ein autonomes Fahrzeug, also ein autonom gesteuertes Fahrzeug, das eine solche Vorrichtung zur Bilderkennung umfasst.
Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen, der Beschreibung sowie den beigefügten Zeichnungen angegeben.
Vorzugsweise decken die Teilbereiche der analogen Sensoren zusammen den gesamten Kameraerfassungsbereich ab. Der gesamte Kameraerfassungsbereich wird dann von analogen Sensoren überwacht um auf Ereignisse im gesamten Kameraerfassungsbereich rasch reagieren zu können.
Vorzugsweise überscheiden sich die Teilbereiche der analogen Sensoren nur wenig, so dass die Anzahl benötigter Sensoren gering ist.
Die analogen Sensoren können insbesondere pyroelektrische Sensoren, sogenannte PIR-Sensoren sein, zur Detektion von Temperaturänderungen, oder auch Helligkeitssensoren und/oder Farbsensoren.
Das Objekt, bei dessen Erfassung durch einen analogen Sensor eine Analyse der Bilder der Kamera ausschließlich oder primär in dem, dem analogen Sensor zugeordneten Teilbereich durchgeführt wird, kann bevorzugt eine Person, ein Fahrzeug, eine Ampel, ein Verkehrszeichen und/oder eine Fahrspur sein. Bei Erfassung oder wahrscheinlicher Erfassung eines der genannten Objekte bzw. der entsprechenden festgelegten Überschreitungen von Grenzwerten der Temperatur, Helligkeit etc., kann daher eine genauere digitale Bilderkennung im betreffenden Teilbereich des Kamerabildes gestartet werden.
Bevorzugt ist das Bilderkennungsmodul dazu eingerichtet, bei Erfassung eines Objektes in einem Teilbereich durch einen analogen Sensor, eine Erkennung oder Identifizierung des Objektes, also eine genauere Analyse des Objektes, und/oder der Umgebung des Objektes ausschließlich oder primär in dem, dem analogen Sensor zugeordneten Teilbereich durchzuführen.
Figurenliste
Die Erfindung wird im Folgenden beispielhaft unter Bezugnahme auf die Zeichnungen beschrieben.

1 ist eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zur Bilderkennung, verbaut in einem Fahrzeug, in einer Situation, aus der Vogelperspektive.
2 ist eine Darstellung die die Situation gemäß 1 aus Fahrzeugperspektive zeigt, daher insbesondere einen Kameraerfassungsbereich zeigt.
3 ist eine Darstellung des Kameraerfassungsbereichs gemäß 2, jedoch mit schematischer Darstellung der Teilbereiche der analogen Sensoren.

Detaillierte Beschreibung der Erfindung
In 1 ist eine erfindungsgemäße Vorrichtung zur Bilderkennung, verbaut in einem Fahrzeug, aus der Vogelperspektive dargestellt.
Ein Fahrzeug fährt eine Straße entlang, welche gerade von einer Person am rechten Fahrbahnrand betreten wird. Das Fahrzeug verfügt neben einer On-Board-Kamera 1, welche das Bildmaterial für die Objekterkennung liefert, so dass die Kamera 1 einen Kameraerfassungsbereich 2 überwacht, auch vier in Fahrtrichtung messende PIR-Sensoren als analoge Sensoren S1, S2, S3 und S4, welche auf Wärmequellen innerhalb ihres „Sichtfeldes“ reagieren, nämlich innerhalb der zugeordneten Teilbereiche T1, T2, T3 und T4 der analogen Sensoren S1, S2, S3 und S4.
Ein Bilderkennungsmodul der Vorrichtung zur Bilderkennung ist dazu eingerichtet, eine Analyse der Bilder der Kamera 1 durchzuführen.
Erfindungsgemäß wird durch das Bilderkennungsmodul bei Erfassung eines Objektes 3 in einem Teilbereich T1, T2, T3 und/oder T4 durch einen analogen Sensor S1, S2, S3 und/oder S4, eine Analyse der Bilder der Kamera 1 ausschließlich oder primär in dem, dem analogen Sensor S1, S2, S3 und/oder S4 zugeordneten Teilbereich T1, T2, T3 und/oder T4 durchgeführt. Die Analyse wird daher auf den oder die betreffenden Teilbereiche T1, T2, T3 und/oder T4 eingeschränkt, in welchen das Objekt 3 durch die analogen Sensoren S1, S2, S3 und/oder S4 wahrgenommen wird.
2 stellt dar, wie die On-Board-Kamera 1 die Szene aufzeichnet, und stellt somit den Kameraerfassungsbereich 2, bzw. das in diesem Kameraerfassungsbereich 2 erfasste Bild dar. Die nachfolgende Bildanalyse müsste nach einem üblichen Bilderkennungs-Verfahren hier versuchen, im gesamten dargestellten Bild Objekte, zum Beispiel den dargestellten Fußgänger zu erkennen.
Im oberen Teil von 3 sind die Messwerte der 4 PIR-Sensoren S1, S2, S3 und S4 bildlich dargestellt. Die Sensoren S1 und S2 auf der linken Seite haben keine Wärmequelle erfasst. Sensor S3 hat, da bereits ein Körperteil des Passanten in seinen Messbereich ragt, einen kleinen Anteil an Wärmestrahlung wahrnehmen können, nämlich beispielsweise 10% einer vorgesehenen Wärmestrahlung eines vollständigen Objektes bzw. vollständigen Person. Sensor S4, in dessen Messbereich sich der Großteil des Passanten befindet, registriert daher auch eine größere Menge Wärmestrahlung, nämlich beispielsweise 80% einer vollständigen Wärmestrahlung.
Diese Sensor-Informationen werden an die Bildanalyse-Software bzw. das Bilderkennungsmodul übergeben. Da die analoge Sensorik S1, S2, S3, S4 schneller als die Elektronik und Software der Kamera 1 arbeitet, stehen die Sensor-Informationen schon zur Verfügung, bevor das Kamerabild verarbeitet werden kann. Daher können diese Informationen auch in die Bildanalyse einfließen.
Da die Sensoren S1 und S2 keine relevanten Wärmequellen erkannt haben, kann die linke Bildhälfte von der Objekterkennung ausgeschlossen oder zumindest mit nur reduziertem Rechenaufwand analysiert werden. Relevante Objekte sind nur auf der rechten Bildhälfte, in den Teilbereichen T3 und T4 des Kameraerfassungsbereichs 2 zu erwarten. Die eigentliche bzw. genaue Bilderkennung kann daher rascher und effizienter durchgeführt werden.
Bezugszeichenliste

1: Kamera
2: Kameraerfassungsbereich
3: Objekt
S1, S2, S3, S4: analoge Sensoren
T1, T2, T3, T4: Teilbereiche des Kameraerfassungsbereichs

Claims

Vorrichtung zur Bilderkennung, umfassend eine Kamera (1) zur Aufnahme eines Kameraerfassungsbereichs (2), ein Bilderkennungsmodul das zur Analyse der Bilder der Kamera ausgebildet ist, sowie zumindest zwei analoge Sensoren (S1, S2, S3, S4) die zur Überwachung jeweils eines dem analogen Sensor (S1, S2, S3, S4) zugeordneten Teilbereichs (T1, T2, T3, T4) des Kameraerfassungsbereichs (2) ausgebildet sind, dadurch gekennzeichnet, dass das Bilderkennungsmodul dazu eingerichtet ist, bei Erfassung eines Objektes (3) in einem Teilbereich (T1, T2, T3, T4) durch einen analogen Sensor (S1, S2, S3, S4), eine Analyse der Bilder der Kamera ausschließlich oder primär in dem, dem analogen Sensor (S1, S2, S3, S4) zugeordneten Teilbereich (T1, T2, T3, T4) durchzuführen.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Teilbereiche (T1, T2, T3, T4) der analogen Sensoren (S1, S2, S3, S4) zusammen den gesamten Kameraerfassungsbereich (2) abdecken.
Vorrichtung nach zumindest einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die analogen Sensoren (S1, S2, S3, S4) pyroelektrische Sensoren, Helligkeitssensoren und/oder Farbsensoren umfassen.
Vorrichtung nach zumindest einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (3), bei dessen Erfassung durch einen analogen Sensor (S1, S2, S3, S4) eine Analyse der Bilder der Kamera ausschließlich oder primär in dem, dem analogen Sensor zugeordneten Teilbereich (T1, T2, T3, T4) durchgeführt werden, eine Person, ein Fahrzeug, eine Ampel, ein Verkehrszeichen und/oder eine Fahrspur ist.
Vorrichtung nach zumindest einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bilderkennungsmodul dazu eingerichtet ist, bei Erfassung eines Objektes (3) in einem Teilbereich (T1, T2, T3, T4) durch einen analogen Sensor (S1, S2, S3, S4), eine Erkennung oder Identifizierung des Objektes (3) und/oder der Umgebung des Objektes (3) ausschließlich oder primär in dem, dem analogen Sensor (S1, S2, S3, S4) zugeordneten Teilbereich (T1, T2, T3, T4) durchzuführen.
Fahrzeug, insbesondere autonom gesteuertes Fahrzeug, umfassend eine Vorrichtung nach zumindest einem der vorhergehenden Ansprüche.