AT502551A1

AT502551A1 - Verfahren und bildauswertungseinheit zur szenenanalyse

Info

Publication number: AT502551A1
Application number: AT0101105A
Authority: AT
Original assignee: Arc Seibersdorf Res Gmbh
Priority date: 2005-06-15
Filing date: 2005-06-15
Publication date: 2007-04-15
Also published as: JP2008547071A; KR20080036016A; US20080144961A1; WO2006133474A1; CN101258512A; CA2610965A1; AT502551B1; EP1897032A1

Description

-
Die Erfindung betrifft ein Verfahren gemäss dem Kennzeichen des Anspruches 1 sowie eine Bildauswertungseinheit gemäss dem Oberbegriff des Patentanspruches 7.
Die Erfindung beschäftigt sich mit der Verarbeitung von Informationen, welche mittels optischer Sensoren aufgenommen werden. Der Gegenstand der Erfindung ist ein Verfahren basierend auf einem speziellen optischen Halbleiter-Sensor mit asynchroner, digitaler Datenübertragung zu einer Verarbeitungseinheit, in welcher besondere Algorithmen zur Szenenanalyse implementiert sind.

Das Verfahren liefert ausgewählte Informationen zum Szeneninhalt, welche ausgewertet und z.B. zur Steuerung von Maschinen oder Installationen o.a., benutzt werden können.
Die eingesetzten Sensoren geben die vorverarbeitete Szeneninformation in Form von Signalen asynchron weiter bzw. ab, und zwar nur dann, wenn die Szene Veränderungen erfährt bzw. einzelne Bildelemente der Sensoren bestimmte Merkmaie in der Szene detektieren. Dieses Prinzip reduziert die anfallenden Datenmengen im Vergleich zu einer Bilddarstellung erheblich und erhöht gleichzeitig den Informationsgehalt der Daten indem es bereits Eigenschaften der Szene extrahiert.
Die Szenenerfassung mit herkömmlicher, digitaler Bildverarbeitung beruht auf der Auswertung von Bildinformationen, die von einem Bildsensor geliefert werden.

Dabei wird üblicherweise das Bild, Bildpunkt für Bildp[upsilon]nkt sequentiell, in einem vorgegebenen Takt (synchron), viele Male pro Sekunde aus dem Bildsensor ausgelesen und die in den Daten enthaltene Information über die Szene ausgewertet. Dieses Prinzip stösst aufgrund der grossen Datenmengen und aufwändigen Auswertungsverfahren auch bei Verwendung von entsprechend leistungsfähigen Prozessorsystemen an Grenzen mit folgenden Schwierigkeiten:
1.) Die Datenrate digitaler Übertragungskanäle ist begrenzt und für manche Aufgaben der Hochleistungs-Bildverarbeitung nicht ausreichend gross.
2.) Leistungsfähige Prozessoren haben für viele, insbesondere mobile, Anwendungen einen zu hohen Energieverbrauch.
3.) Leistungsfähige Prozessoren benötigen aktive Kühlung.

Systeme, die mit solchen Prozessoren arbeiten, können daher für viele Anwendungen nicht kompakt genug gebaut werden. 4.) Leistungsfähige Prozessoren sind für viele Anwendungsgebiete zu teuer.
Erfindungsgemäss werden diese Nachteile durch die im Kennzeichen des Anspruches 1 angeführten Merkmale behoben. Eine erfindungsgemässe Bildauswertungseinheit ist durch die Merkmale des Kennzeichens des Anspruches 7 charakterisiert. Mit der erfindungsgemässen Vorgangsweise erfolgt eine rasche Verarbeitung der Signale und ein entsprechend rasches Erkennen signifikanter Informationen in der betrachteten Szene. Die eingesetzten statistischen Verfahren leisten eine exakte Auswertung in Hinblick auf interessierende Szenenparameter bzw. Erkennung von Objekten.
Im Folgenden wird die Erfindung anhand der Zeichnungen beispielsweise näher erläutert.

Fig. 1 zeigt schematisch Unterschiede zwischen der bisher üblichen Vorgangsweise und der erfindungsgemässen Vorgangsweise. Fig. 2 zeigt ein Schema einer erfindungsgemässen Bildauswertungseinheit. Fig. 3a und 3b wie Fig. 4 und 5 zeigen schematisch anhand von aufgenommenen Bildern die erfindungsgemässe Vorgangsweise.
In Fig. 1 wird der Unterschied zwischen dem Stand der Technik und der erfindungsgemässen Vorgangsweise näher eriäutert. Bislang wurden die von einem Bildsensor gelieferten Informationen bzw.

Daten synchron weitergeleitet und nach einer digitalen Bildvorverarbeitung und Szenenanalyse das Ergebnis über die Schnittstelle des Gerätes weitergegeben (Fig. 1 a).
Erfindungsgemäss erfolgt die Verarbeitung der Bildsignale des optischen Sensors in einer bestimmten Weise, nämlich derart, dass in den Bildelementen des optischen Sensors die von einem Photosensor aufgenommene Helligkeitsinformation mittels einer analogen, elektronischen Schaltung vorverarbeitet wird. Ganz allgemein wird bemerkt, dass in einem Bildelement die Verarbeitung der Signale mehrerer, benachbarter Photosensoren zusammengefasst werden kann.

Die Ausgangssignale der Bildelemente werden über eine Schnittstelle des Sensors asynchron zu einer digitalen Datenauswerteeinheit übertragen, in der eine Szenenanalyse durchgeführt wird und das Ergebnis der Auswertung an einer Schnittstelle des Geräts zur Verfügung gestellt wird (Fig. 1 b).
Anhand von Fig. 2 wird die erfindungsgemässe Vorgangsweise schematisch erläutert. Dabei wird eine Szene über eine nicht dargestellte optische Aufnahmeanordnung auf die Bildebene des optischen Sensors 1 abgebildet. Die visuelle Information wird von den Bildelementen des Sensors erfasst und in elektronischen Schaltungen in den Bildelementen kontinuierlich verarbeitet. Durch diese Verarbeitung werden in Echtzeit bestimmte Merkmale im Szeneninhalt erkannt.

Zu detektierende Merkmale im Bildinhalt können unter anderem statische Kanten, lokale Intensitätsänderungen, optischer Fluss, etc. sein.
Das Detektieren eines Merkmals wird im Folgenden als ein "Event" bezeichnet. Beim jedem Auftreten eines Events wird vom Bildelement in Echtzeit ein digitales Ausgangssignal am asynchronen Datenbus erzeugt. Dieses Signal enthält die Adresse des Bildelements und somit die Koordinaten im Bildfeld an welchen das Merkmal erkannt wurde. Dieses Datum wird im Folgenden als "Address-Event" (AE) bezeichnet. Es können zusätzlich weitere Eigenschaften des Merkmals, insbesondere der Zeitpunkt des Auftretens, in den Daten kodiert werden. Diese Informationen sendet der Sensor 1 als >relevante Daten über den asynchronen Datenkanal an die Verarbeitungseinheit CPU. Ein Buskontroller 2 verhindert Datenkollisionen am Übertragungskanal.

In manchen Fällen kann es vorteilhaft sein, zwischen Sensor und Verarbeitungseinheit einen Pufferspeicher 3, z.B. ein FIFO, zu verwenden um unregelmässige Datenraten zufolge des asynchronen Übertragungsprotokolls auszugleichen (Fig. 2).
Die erfindungsgemässe Vorgangsweise besteht auf der Kombination des speziell ausgebildeten Sensors, der Datenübertragung und der vorgesehenen statistischmathematischen Verfahren zur Datenverarbeitung. Der vorgesehene Sensor detektiert Änderungen der Lichtintensität und reagiert daher z.B. auf bewegte Kanten bzw. helldunkel Begrenzungslinien in einer Szene. Der Sensor verfolgt in jedem Bildelement die Änderungen des Fotostroms eines Photosensors. Diese Änderungen werden für jedes Bildelement in einem Integrator summiert.

Wenn die Summe der Änderungen einen Schwellwert überschreitet, sendet das Bildelement diesen Event sofort, asynchron über den Datenbus an die Verarbeitungseinheit. Nach jedem Event wird der Wert des Integrators gelöscht. Positive und negative Änderungen des Fotostroms werden getrennt verarbeitet und erzeugen Events unterschiedlicher Polarität (so genannte "on" und "off"Events).
Der eingesetzte Sensor erzeugt keine Bilder im herkömmlichen Sinn. Im Folgenden werden jedoch, zum besseren Verständnis, zweidimensionale Darstellungen von Events verwendet. Dafür werden die Events für jedes Bildelement innerhalb eines Zeitintervalls gezählt. Bildelementen ohne Events wird ein weisser Bildpunkt zugeordnet.

Bildelemente mit "on" bzw. ."off Events werden mit grauen bzw. schwarzen Bildpunkten dargestellt.
Für die folgenden Ausführungen werden Begriffe eingeführt, um eine Verwechselung mit Begriffen aus der digitalen Bildverarbeitung zu vermeiden:
AE-Frame wird definiert als die in einem Pufferspeicher gespeicherten AE's welche innerhalb einer definierten Zeitspanne generiert wurden.
AE-Bild ist die Darstellung eines AE-Frames in einem Bild, in dem Polarität und Häufigkeit der Events Farben oder Grauwerten zugeordnet werden.
Fig. 3 zeigt (a) ein Videobild einer Szene und (b) ein AE-Bild derselben Szene, produziert von einem Sensor der auf Änderungen der Lichtintensität reagiert. In der Datenverarbeitungseinheit CPU werden die Merkmale aus der Szene mittels statischmathematischer Methoden untersucht und höherwertige, abstrakte Informationen zum Szeneninhalt gewonnen.

Solche Informationen können z.B. die Anzahl der Personen in einer Szene oder die Geschwindigkeit und der Abstand von Fahrzeugen auf einer Strasse sein.
Es ist leicht zu erkennen, dass die Datenmenge erheblich geringer ist als im ursprünglichen Bild. Die Bearbeitung von Events benötigt weniger Rechenleistung und Speicher als bei digitaler Bildverarbeitung und kann daher sehr viel effizienter erfolgen.
Ein Raum-Personenzähler kann verwirklicht werden, indem der Bildsensor z.B. an der Decke in der Mitte eines Raumes montiert wird. Die einzelnen Events werden von der Verarbeitungseinheit entsprechenden quadratischen Bereichen im Bildfeld, welche ungefähr die Grösse einer Person haben, zugeordnet. Über einfache statistische Methoden und einen Korrekturmechanismus ist eine leichte Abschätzung der mit bewegten Objekten bedeckten Fläche möglich.

Diese ist proportional der Anzahl der Personen im Blickfeld des Sensors. Der Berechnungsaufwand für die Personenanzahl ist dabei gering, sodass sich dieses System mit einfachen und kostengünstigen Mikroprozessoren realisieren lässt. Bewegen sich keine Personen oder Objekte im Bildfeld des Sensors werden keine Events generiert und der Mikroprozessor kann in einen Stromsparmodus schalten, was den Energieverbrauch des Systems bedeutend minimiert. Dies ist in Bildverarbeitungssystemen nach Stand der Technik nicht möglich, weil zu jeder Zeit das Sensorbild verarbeitet und nach Personen durchsucht werden muss.
Für einen Tür-Personenzähler wird der Bildsensor über der Tür oder einem anderen Ein- oder Ausgang eines Raumes montiert.

Die Personen werden perspektivisch nicht verzerrt und die AE's werden, wenn die Personen den Beobachtungsbereich durchqueren, auf Achsen (z.B.: vertikale Achsen) projiziert und so in einem Histogramm (Fig. 4) aufsummiert. Bewegt sich eine Person unter dem Sensor durch die Türe, können ein oder mehrere in Bewegungsrichtung laufende Maxima 1 im Histogramm detektiert werden. Mittels statistischer Gewichtung kann die Berechnung des Maximums und der Bewegungsrichtung robust gegen Störungen gemacht werden. Für jeden AE-Frame wird der Index des Histogramms ermittelt der die grösste Anzahl von Events beinhaltet und dieser wird mit dem Index des letzten AE-Frame verglichen. Wenn sich der Index verschiebt ist das ein Indikator dafür, dass die Person sich bewegt, und die Wahrscheinlichkeit für die entsprechende Bewegungsrichtung wird erhöht.

Die Wahrscheinlichkeit steigt bis ein Schwellwert erreicht wird. In diesem Fall wird die Person gezählt und beide Wahrscheinlichkeiten werden auf definierte Werte zurückgesetzt. Auf diese Weise ist es dem System möglich, ein- und ausgehende Personen zu unterscheiden und einen Zähler zu inkrementieren, bzw. zu dekrementieren wenn Personen den Raum betreten bzw. verlassen. Das Zurücksetzen beider Wahrscheinlichkeiten hat sich als vorteilhaft erwiesen, um den Algorithmus robuster zu machen, wenn eine hohe Aktivität im Blickfeld herrscht. Mit der Wahl von negativen Werten wird eine künstliche Zeitkonstante eingeführt um das doppelte Zählen von Personen zu verhindern.

Mehrere parallel gehende Personen können durch eine a
Aufteilung der Projektionsbereiche in verschiedene "Spuren" längs der Bewegungsrichtung erkannt werden.
Viele Schutzwege sind durch Blinklichter gekennzeichnet, die Autofahrer vor Fussgängern warnen. Diese Warnlichter blinken rund um die Uhr und werden oftmals von Autofahrern ignoriert, da sie meist keine tatsächliche Gefahr anzeigen. Intelligente Sensoren die nur dann ein Warnsignal auslösen wenn ein Fussgänger die Strasse überquert oder sich dem Schutzweg nähert, können dazu beitragen, dass die Verkehrsicherheit verbessert wird, indem Warnlichtern mehr Beachtung geschenkt wird.

Für eine automatische Aktivierung von Warnlampen an Schutzwegen werden ein Bildsensor und ein digitaler Prozessor eingesetzt, die in der Lage sind, Schutzwege und deren unmittelbare Umgebung zu überwachen und Objekte (Personen, Radfahrer,...), die die Strasse queren, zu erkennen.
Das vorgeschlagene System aus Bild-Sensor und einfacher digitaler Verarbeitungseinheit ist fähig, die AE's von Personen und Fahrzeuge in der Nähe des und auf dem Schutzweg im Datenstrom zu segmentieren und zu verfolgen (Fig. 5). Die vom System erkannte Grösse und Geschwindigkeit der Objekte erlaubt eine Einteilung in die Kategorien Fussgänger und Fahrzeuge. Fig. 5 zeigt eine vom Sensor aufgenommene Szene zu zwei Zeitpunkten, die korrespondierenden AE-Bilder und das Resultat der mathematisch-statistischen Auswertung welche die einzelnen Objekte erkennt und deren Bewegungsrichtung ermittelt.

Nach einem gewissen Beobachtungszeitraum ist es dem System möglich, durch den Einsatz von Lernmethoden die auf statischen Konzepten beruhen, die Lage und Orientierung von Strasse, Fusswegen und Schutzwegen zu erkennen. In der Folge kann dann vor jedem Fussgänger der sich auf den Schutzweg zubewegt bzw. auf dem Schutzweg bewegt, gewarnt werden. Fussgänger die sich z.B. auf Fusswegen parallel zur Fahrbahn bewegen lösen auf Grund ihrer erkannten Bewegungsrichtung keine Warnung aus.
Systeme mit einfachen Sensoren (z.B. Infrarot-Bewegungssensoren) sind nur in der Lage, die Anwesenheit von Personen in der Nähe des Schutzwegs zu erkennen, nicht jedoch deren Bewegungsrichtung zu erfassen und damit spezifisch vor Fussgängern zu warnen die sich direkt auf den Schutzweg zu bewegen.

Claims

.. . Patentansprüche:

1. Verfahren zur Szenenanalyse, bei dem Szeneninformationen mit einem optischen Sensor aufgenommen werden, wobei die Szene oder die Objekte in der Szene und der optische Sensor eine Relativbewegung vollführen und die erhaltenen Szeneinformationen ausgewertet werden, dadurch gekennzeichnet,

- dass von den einzelnen Bildelementen des optischen Sensors die visuelle Information der Szene erfasst wird, wobei die einzelnen Bildelemente bei Feststellung einer einen vorgegebenen Schwellwert überschreitenden absoluten Intensitätsänderung oder relativen Intensitätsänderung (Kontrast) des aufgenommenen Lichtes ein Ausgangssignal abgeben, das als relevant für eine erfolgte Relativbewegung zwischen dem aufgenommenen Szenenpunkt und dem optischen Sensor und/oder für eine Szeneninhaltsänderung angesehen wird,

- dass die Orte bzw. Bildelementskoordinaten der festgestellten Intensitätsänderungen ermittelt bzw. festgehalten werden,

- dass die Zeitabhängigkeit der festgestellten Intensitätsänderungen, insbesondere Zeitpunkt und Aufeinanderfolge, ermittelt bzw. festgehalten werden,

- dass mit statistischen Methoden, insbesondere Mittelwertbildung, Histogrammen, Schwerpunktbildung, Dokument- bzw. Ordnungbildungsmethoden, Filterung über Zeit od. dgl., lokale Häufungen der Intensitätsänderungen der Bildelemente ermittelt werden,

- dass die lokalen Häufungen mit statistischen Methoden, z.B. Wichtung, Schwellwertvorgabe bezüglich Anzahl und/oder Lage, Datenbereichsbereinigungmethoden od. dgl., bewertet werden, insbesondere in Hinblick auf die zeitliche Änderung der Häufungsdichte und/oder Änderung der örtlichen Verteilung, dass die ermittelten Werte als Parameter, z.B. Grösse, Geschwindigkeit, Bewegungsrichtung, Form od. dgl., eines erfassten Szenenbereichs angesehen werden,

- dass zumindest einer der, vorzugsweise eine Anzahl von, Parametern) mit zumindest einem, vorzugsweise einer Anzahl von, vorgegebenen Parameter(n) verglichen wird (werden), der (die) als charakteristisch für ein Objekt angesehen wird (werden) und

- dass bei Erfüllung der vorgegebenen Vergleichskriterien die dem jeweiligen Szenenbereich zugeordnete(n) und bewertete(n) lokale(n) Häufung(en) als Abbildung dieses Objektes angesehen wird (werden). ,.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die lokalen Häufungen in Hinblick auf linienförmig zusammenhängende sich über die aufgenommene Szene fortbewegende Intensitätsänderungen untersucht werden und derartige als zusammenhängend bewertete oder eine vorgegebene Menge überschreitende Intensitätsänderungen als Trajektorie eines sich relativ zum optischen Sensor bewegenden Objekts angesehen werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Änderung der Grösse einer lokalen Häufung als Annäherung zum Sensor bzw. Entfernen eines Objekt vom Sensor interpretiert wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine zeitliche und/oder räumliche Änderung in der Struktur der Häufungen als charakteristisch für ein bestimmtes Merkmal eines Szenenbereichs angesehen wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in jedem Bildelement die, insbesondere aufgrund von Heiligkeitsänderungen eintretende Änderung des Fotostromes überwacht und generiert bzw. integriert werden, dass bei Überschreiten eines Schwellwertes das Bildelement sofort ein Signal asynchron an die Verarbeitungseinheit abgibt und dass insbesondere nach jeder Signalgabe ein Neubeginn der Summierung bzw. Integration erfolgt.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass positive und negative Änderungen des Fotostromes getrennt festgestellt bzw. detektiert und verarbeitet bzw. ausgewertet werden.

7. Bildauswertungseinheit zur Aufnahme von Szeneninformationen, wobei die Szene oder die Objekte in der Szene und der optische Sensor eine Relativbewegung zueinander vollführen und mit einer Auswerteeinheit für die erhaltenen Szeneinformationen, wobei der optische Sensor Bildelemente aufweist, die die visuelle Information der Szene erfassen, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die einzelnen Bildelemente bzw. Pixel bei Feststellung einer einen vorgegebenen Schwellwert überschreitenden absoluten Intensitätsänderung oder relativen Intensitätsänderung (Kontrast) des aufgenommenen Lichtes ein Ausgangssignal abgeben, das relevant für eine erfolgte Relativbewegung zwischen dem aufgenommenen Szenenpunkt und dem optischen Sensor und/oder für eine Szeneninhaltsänderung ist,

- dass eine Einheit zur Ermittlung der Orte bzw. Bildelementskoordinaten der festgestellten Intensitätsänderungen sowie zur Ermittlung der Zeitabhängigkeit der festgestellten Intensitätsänderungen, insbesondere Zeitpunkt und Aufeinanderfolge, vorgesehen ist,

- dass eine Recheneinheit vorgesehen bzw. dieser Einheit zugeordnet ist, in der mit statistischen Methoden, insbesondere Mittelwertbildung, Histogrammen, Schwerpunktbildung, Dokument- bzw. Ordnungbildungsmethoden, Filterung über Zeit od. dgl., lokale Häufungen der Intensitätsänderungen der Bildelemente ermittelt werden,

- dass eine Bewertungseinheit vorgesehen ist, mit der die lokalen Häufungen mit statistischen Methoden, z.B. Wichtung, Schwellwertvorgabe bezüglich Anzahl und/oder Lage, Datenbereichsbereinigungmethoden od. dgl., bewertet werden, insbesondere in Hinblick auf die zeitliche Änderung der Häufungsdichte und/oder Änderung der örtlichen Verteilung, wobei die ermittelten Werte die Parameter, z.B. Grösse, Geschwindigkeit, Bewegungsrichtung, Form od. dgl., eines erfassten Szenenbereichs darstellen,

- dass eine Vergleichseinheit vorgesehen bzw. der Bewertungseinheit zugeordnet ist, die zumindest einen der, vorzugsweise eine Anzahl der, Parameter mit zumindest einem, vorzugsweise einer Anzahl von, vorgegebenen Parametern) vergleicht, der (die) als charakteristisch für ein Objekt angesehen wird (werden) und

- dass bei Erfüllung der vorgegebenen Vergleichskriterien die dem jeweiligen Szenenbereich zugeordnete(n) und bewertete(n) lokale(n) Häufung(en) als Abbildung dieses Objektes angesehen wird (werden).

8. Compute[phi]rogrammprodukt mit Programmcode-Mitteln, die auf einem computeriesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche 1 bis 6 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird.

Wien, am 15. Juni 2005 <EMI ID=8.1> durch: