EP1897032A1 - Verfahren und bildauswertungseinheit zur szenenanalyse - Google Patents

Verfahren und bildauswertungseinheit zur szenenanalyse

Info

Publication number
EP1897032A1
EP1897032A1 EP06741041A EP06741041A EP1897032A1 EP 1897032 A1 EP1897032 A1 EP 1897032A1 EP 06741041 A EP06741041 A EP 06741041A EP 06741041 A EP06741041 A EP 06741041A EP 1897032 A1 EP1897032 A1 EP 1897032A1
Authority
EP
European Patent Office
Prior art keywords
scene
change
local
optical sensor
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06741041A
Other languages
English (en)
French (fr)
Inventor
Martin Litzenberger
Bernhard Kohn
Peter Schön
Michael HOFSTÄTTER
Nikolaus Donath
Christoph Posch
Nenad Milosevic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AIT Austrian Institute of Technology GmbH
Original Assignee
Austrian Research Centers GmbH ARC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Austrian Research Centers GmbH ARC filed Critical Austrian Research Centers GmbH ARC
Publication of EP1897032A1 publication Critical patent/EP1897032A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the invention relates to a method according to the characterizing part of claim 1 and to an image evaluation unit according to the preamble of patent claim 7.
  • the invention relates to the processing of information which is recorded by means of optical sensors.
  • the subject of the invention is a method based on a special optical semiconductor sensor with asynchronous, digital data transmission to a processing unit, in which special algorithms for scene analysis are implemented.
  • the method provides selected scene content information which is evaluated and, for example, to control machines or installations, etc., can be used.
  • the sensors used asynchronously continue or release the preprocessed scene information in the form of signals, and this only if the scene undergoes changes or individual image elements of the sensors detect certain features in the scene.
  • This principle considerably reduces the amount of data required compared with an image display, and at the same time increases the information content of the data by already extracting properties of the scene.
  • the scene capture with conventional digital image processing relies on the evaluation of image information provided by an image sensor.
  • image usually the image, pixel by pixel sequentially, in a predetermined clock (synchronously), read many times per second from the image sensor and evaluated the information contained in the data about the scene. Due to the large amounts of data and complex evaluation methods, this principle encounters the following difficulties, even when using correspondingly powerful processor systems:
  • Powerful processors have too high an energy consumption for many, especially mobile, applications. 3.) Powerful processors require active cooling. Systems that use such processors can therefore not be built compact enough for many applications. 4.) Powerful processors are too expensive for many applications.
  • FIG. 1 shows schematically differences between the usual procedure and the procedure of the invention.
  • 2 shows a diagram of an image evaluation unit according to the invention.
  • FIGS. 3 a and 3 b, as in FIGS. 4 and 5, show the procedure according to the invention schematically on the basis of recorded images.
  • Fig. 1 shows schematically differences between the usual procedure and the procedure of the invention.
  • FIGS. 3 a and 3 b, as in FIGS. 4 and 5 show the procedure according to the invention schematically on the basis of recorded images.
  • the processing of the image signals of the optical sensor takes place in a specific manner, namely such that in the pixels of the optical sensor the brightness information recorded by a photosensor is preprocessed by means of an analog, electronic circuit.
  • the processing of the signals of several neighboring photosensors can be summarized.
  • the output signals of the picture elements are transmitted via an interface of the sensor asynchronously to a digital data evaluation unit, in which a scene analysis is performed and the result of the evaluation is provided at an interface of the device (FIG. 1 b).
  • a scene is imaged on the image plane of the optical sensor 1 via an optical recording arrangement, not shown.
  • the visual information is captured by the picture elements of the sensor and continuously processed in electronic circuits in the picture elements. This processing recognizes certain features in the scene content in real time.
  • Features to be detected in the image content may include static edges, local intensity changes, optical flow, etc.
  • the detection of a feature is hereafter referred to as an "event.”
  • Event Each time an event occurs, the pixel generates in real time a digital output on the asynchronous data bus containing the address of the pixel and thus the coordinates in the frame where the feature is detected This date will be referred to as the "Address Event” (AE).
  • AE Address Event
  • further properties of the feature, in particular the time of occurrence, are encoded in the data.
  • the sensor 1 sends this information to the processing unit CPU as relevant data via the asynchronous data channel.
  • a bus controller 2 prevents data collisions on the transmission channel.
  • the procedure according to the invention is based on the combination of the specially designed sensor, the data transmission and the statistical mathematical methods for data processing provided.
  • the intended sensor detects changes in light intensity and therefore responds, e.g. on moving edges or light-dark boundary lines in a scene.
  • the sensor tracks the changes in the photocurrent of a photosensor in each pixel. These changes are summed for each pixel in an integrator. If the sum of the changes exceeds a threshold, the pixel immediately sends this event asynchronously over the data bus to the processing unit. After each event, the value of the integrator is cleared. Positive and negative changes of the photocurrent are processed separately and generate events of different polarity (so-called "on” and "off” events). The sensor used does not generate images in the conventional sense. in the
  • AE frame is defined as the AE's stored in a buffer which have been generated within a defined period of time.
  • AE-Bid is the representation of an AE frame in an image in which polarity and
  • Frequency of events can be assigned to colors or gray scale values.
  • Fig. 3 shows (a) a video image of a scene and (b) an AE image of the same scene produced by a sensor responsive to changes in light intensity.
  • the features from the scene are examined by means of static mathematical methods, and higher-quality, abstract information on the scene content is obtained.
  • Such information can be eg the number of persons in a scene or the speed and distance of vehicles on a road.
  • a room counter can be realized by having the image sensor e.g. is mounted on the ceiling in the middle of a room.
  • the individual events are assigned by the processing unit corresponding square areas in the image field, which are approximately the size of a person.
  • Simple statistical methods and a correction mechanism allow easy estimation of the area covered by moving objects. This is proportional to the number of people in the field of view of the sensor. The calculation effort for the number of people is low, so that this system can be implemented with simple and inexpensive microprocessors. If no people or objects move in the sensor's field of view, no events are generated and the microprocessor can switch to a power-saving mode, which significantly reduces system power consumption. This is not possible in state-of-the-art image processing systems because the sensor image has to be processed and searched for people at all times.
  • the image sensor is mounted above the door or other entrance or exit of a room.
  • the persons are not distorted in perspective and the AE's are projected onto axes (eg: vertical axes) when the persons pass through the observation area and are summed up in a histogram (FIG. 4). If a person moves under the sensor through the door, one or more maxima 1 running in the direction of movement can be detected in the histogram. By means of statistical weighting, the calculation of the maximum and the direction of movement can be made robust against disturbances.
  • the index of the histogram containing the largest number of events is determined and compared to the index of the last AE frame.
  • Processing unit is capable of segmenting and tracking the AE's of people and vehicles near and on the protection path in the data stream (Figure 5).
  • the system recognizes the size and speed of the objects and allows them to be categorized into pedestrian and vehicle categories. 5 shows a scene taken by the sensor at two points in time, the corresponding AE images and the result of the mathematical-statistical evaluation which recognizes the individual objects and determines their direction of movement.
  • the system After a certain period of observation, it is possible for the system to recognize the location and orientation of roads, footpaths and paths through the use of learning methods based on static concepts. As a result, it is then possible to be warned of any pedestrian who is moving towards the protective path or moving along the protective path.
  • Pedestrians e.g. Moving on footpaths parallel to the roadway does not trigger a warning due to their detected direction of movement.
  • Systems with simple sensors are only able to detect the presence of persons in the vicinity of the protection path, but not to detect their direction of movement and thus specifically warn pedestrians to move directly to the protection path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Szenenanalyse, wobei die Szene oder die Objekte in der Szene und der optische Sensor eine Relativbewegung vollführen und die erhaltenen Szeneinformationen ausgewertet werden. Erfindungsgemäß ist vorgesehen, - dass von den einzelnen Bildelementen des optischen Sensors die visuelle Information der Szene erfasst wird, - dass die Bildelementskoordinaten der festgestellten Intensitätsänderungen ermittelt werden, - dass die Zeitabhängigkeit der festgestellten Intensitätsänderungen ermittelt wird, - dass mit statistischen Methoden lokale Häufungen der Intensitätsänderungen der Bildelemente ermittelt werden, - dass die lokalen Häufungen mit statistischen Methoden bezüglich Anzahl und/oder Lage, Datenbereichsbereinigungsmethoden bewertet werden, - dass die ermittelten Werte als Parameter eines erfassten Szenenbereichs angesehen werden, - dass zumindest einer der Parameter mit einem vorgegebenen Parameter verglichen wird, der als charakteristisch für ein Objekt angesehen wird und - dass bei Erfüllung der vorgegebenen Vergleichskriterien die dem jeweiligen Szenenbereich zugeordnete und bewertete lokale Häufung als Abbildung dieses Objektes angesehen wird.

Description

Verfahren und Bildauswertungseinheit zur Szenenanalyse
Die Erfindung betrifft ein Verfahren gemäß dem Kennzeichen des Anspruches 1 sowie eine Bildauswertungseinheit gemäß dem Oberbegriff des Patentanspruches 7. Die Erfindung beschäftigt sich mit der Verarbeitung von Informationen, welche mittels optischer Sensoren aufgenommen werden. Der Gegenstand der Erfindung ist ein Verfahren basierend auf einem speziellen optischen Halbleiter-Sensor mit asynchroner, digitaler Datenübertragung zu einer Verarbeitungseinheit, in welcher besondere Algorithmen zur Szenenanalyse implementiert sind. Das Verfahren liefert ausgewählte Informationen zum Szeneninhalt, welche ausgewertet und z.B. zur Steuerung von Maschinen oder Installationen o.a., benutzt werden können.
Die eingesetzten Sensoren geben die vorverarbeitete Szeneninformation in Form von Signalen asynchron weiter bzw. ab, und zwar nur dann, wenn die Szene Veränderungen erfährt bzw. einzelne Bildelemente der Sensoren bestimmte Merkmale in der Szene detektieren. Dieses Prinzip reduziert die anfallenden Datenmengen im Vergleich zu einer Bilddarstellung erheblich und erhöht gleichzeitig den Informationsgehalt der Daten indem es bereits Eigenschaften der Szene extrahiert.
Die Szenenerfassung mit herkömmlicher, digitaler Bildverarbeitung beruht auf der Auswertung von Bildinformationen, die von einem Bildsensor geliefert werden. Dabei wird üblicherweise das Bild, Bildpunkt für Bildpunkt sequentiell, in einem vorgegebenen Takt (synchron), viele Male pro Sekunde aus dem Bildsensor ausgelesen und die in den Daten enthaltene Information über die Szene ausgewertet. Dieses Prinzip stößt aufgrund der großen Datenmengen und aufwändigen Auswertungsverfahren auch bei Verwendung von entsprechend leistungsfähigen Prozessorsystemen an Grenzen mit folgenden Schwierigkeiten:
1.) Die Datenrate digitaler Übertragungskanäle ist begrenzt und für manche Aufgaben der Hochleistungs-Bildverarbeitung nicht ausreichend groß.
2.) Leistungsfähige Prozessoren haben für viele, insbesondere mobile, Anwendungen einen zu hohen Energieverbrauch. 3.) Leistungsfähige Prozessoren benötigen aktive Kühlung. Systeme, die mit solchen Prozessoren arbeiten, können daher für viele Anwendungen nicht kompakt genug gebaut werden. 4.) Leistungsfähige Prozessoren sind für viele Anwendungsgebiete zu teuer.
Erfindungsgemäß werden diese Nachteile durch die im Kennzeichen des Anspruches 1 angeführten Merkmale behoben. Eine erfindungsgemäße Bildauswertungseinheit ist durch die Merkmale des Kennzeichens des Anspruches 7 charakterisiert. Mit der erfindungsgemäßen Vorgangsweise erfolgt eine rasche Verarbeitung der Signale und ein entsprechend rasches Erkennen signifikanter Informationen in der betrachteten Szene. Die eingesetzten statistischen Verfahren leisten eine exakte Auswertung in Hinblick auf interessierende Szenenparameter bzw. Erkennung von Objekten. Im Folgenden wird die Erfindung anhand der Zeichnungen beispielsweise näher erläutert. Fig. 1 zeigt schematisch Unterschiede zwischen der bisher üblichen Vorgangsweise und der erfindungsgemäßen Vorgangsweise. Fig. 2 zeigt ein Schema einer erfindungsgemäßen Bildauswertungseinheit. Fig. 3a und 3b wie Fig. 4 und 5 zeigen schematisch anhand von aufgenommenen Bildern die erfindungsgemäße Vorgangsweise. In Fig. 1 wird der Unterschied zwischen dem Stand der Technik und der erfindungsgemäßen Vorgangsweise näher erläutert. Bislang wurden die von einem Bildsensor gelieferten Informationen bzw. Daten synchron weitergeleitet und nach einer digitalen Bildvorverarbeitung und Szenenanalyse das Ergebnis über die Schnittstelle des Gerätes weitergegeben (Fig. 1 a). Erfindungsgemäß erfolgt die Verarbeitung der Bildsignale des optischen Sensors in einer bestimmten Weise, nämlich derart, dass in den Bildelementen des optischen Sensors die von einem Photosensor aufgenommene Helligkeitsinformation mittels einer analogen, elektronischen Schaltung vorverarbeitet wird. Ganz allgemein wird bemerkt, dass in einem Bildelement die Verarbeitung der Signale mehrerer, benachbarter Photosensoren zusammengefasst werden kann. Die Ausgangssignale der Bildelemente werden über eine Schnittstelle des Sensors asynchron zu einer digitalen Datenauswerteeinheit übertragen, in der eine Szenenanalyse durchgeführt wird und das Ergebnis der Auswertung an einer Schnittstelle des Geräts zur Verfügung gestellt wird (Fig. 1 b). Anhand von Fig. 2 wird die erfindungsgemäße Vorgangsweise schematisch erläutert. Dabei wird eine Szene über eine nicht dargestellte optische Aufnahmeanordnung auf die Bildebene des optischen Sensors 1 abgebildet. Die visuelle Information wird von den Bildelementen des Sensors erfasst und in elektronischen Schaltungen in den Bildelementen kontinuierlich verarbeitet. Durch diese Verarbeitung werden in Echtzeit bestimmte Merkmale im Szeneninhalt erkannt. Zu detektierende Merkmale im Bildinhalt können unter anderem statische Kanten, lokale Intensitätsänderungen, optischer Fluss, etc. sein.
Das Detektieren eines Merkmals wird im Folgenden als ein „Event" bezeichnet. Beim jedem Auftreten eines Events wird vom Bildelement in Echtzeit ein digitales Ausgangssignal am asynchronen Datenbus erzeugt. Dieses Signal enthält die Adresse des Bildelements und somit die Koordinaten im Bildfeld an welchen das Merkmal erkannt wurde. Dieses Datum wird im Folgenden als „Address- Event" (AE) bezeichnet. Es können zusätzlich weitere Eigenschaften des Merkmals, insbesondere der Zeitpunkt des Auftretens, in den Daten kodiert werden. Diese Informationen sendet der Sensor 1 als relevante Daten über den asynchronen Datenkanal an die Verarbeitungseinheit CPU. Ein Buskontroller 2 verhindert Datenkollisionen am Übertragungskanal. In manchen Fällen kann es vorteilhaft sein, zwischen Sensor und Verarbeitungseinheit einen Pufferspeicher 3, z.B. ein FIFO, zu verwenden um unregelmäßige Datenraten zufolge des asynchronen Übertragungsprotokolls auszugleichen (Fig. 2).
Die erfindungsgemäße Vorgangsweise besteht auf der Kombination des speziell ausgebildeten Sensors, der Datenübertragung und der vorgesehenen statistisch- mathematischen Verfahren zur Datenverarbeitung. Der vorgesehene Sensor detektiert Änderungen der Lichtintensität und reagiert daher z.B. auf bewegte Kanten bzw. hell- dunkel Begrenzungslinien in einer Szene. Der Sensor verfolgt in jedem Bildelement die Änderungen des Fotostroms eines Photosensors. Diese Änderungen werden für jedes Bildelement in einem Integrator summiert. Wenn die Summe der Änderungen einen Schwellwert überschreitet, sendet das Bildelement diesen Event sofort, asynchron über den Datenbus an die Verarbeitungseinheit. Nach jedem Event wird der Wert des Integrators gelöscht. Positive und negative Änderungen des Fotostroms werden getrennt verarbeitet und erzeugen Events unterschiedlicher Polarität (so genannte „on" und „off"- Events). Der eingesetzte Sensor erzeugt keine Bilder im herkömmlichen Sinn. Im
Folgenden werden jedoch, zum besseren Verständnis, zweidimensionale Darstellungen von Events verwendet. Dafür werden die Events für jedes Bildelement innerhalb eines Zeitintervalls gezählt. Bildelementen ohne Events wird ein weißer Bildpunkt zugeordnet. Bildelemente mit „on" bzw. „,off" Events werden mit grauen bzw. schwarzen Bildpunkten dargestellt.
Für die folgenden Ausführungen werden Begriffe eingeführt, um eine Verwechselung mit Begriffen aus der digitalen Bildverarbeitung zu vermeiden:
AE-Frame wird definiert als die in einem Pufferspeicher gespeicherten AE's welche innerhalb einer definierten Zeitspanne generiert wurden. AE-BiId ist die Darstellung eines AE-Frames in einem Bild, in dem Polarität und
Häufigkeit der Events Farben oder Grauwerten zugeordnet werden.
Fig. 3 zeigt (a) ein Videobild einer Szene und (b) ein AE-BiId derselben Szene, produziert von einem Sensor der auf Änderungen der Lichtintensität reagiert. In der Datenverarbeitungseinheit CPU werden die Merkmale aus der Szene mittels statisch- mathematischer Methoden untersucht und höherwertige, abstrakte Informationen zum Szeneninhalt gewonnen. Solche Informationen können z.B. die Anzahl der Personen in einer Szene oder die Geschwindigkeit und der Abstand von Fahrzeugen auf einer Straße sein.
Es ist leicht zu erkennen, dass die Datenmenge erheblich geringer ist als im ursprünglichen Bild. Die Bearbeitung von Events benötigt weniger Rechenleistung und Speicher als bei digitaler Bildverarbeitung und kann daher sehr viel effizienter erfolgen.
Ein Raum-Personenzähler kann verwirklicht werden, indem der Bildsensor z.B. an der Decke in der Mitte eines Raumes montiert wird. Die einzelnen Events werden von der Verarbeitungseinheit entsprechenden quadratischen Bereichen im Bildfeld, welche ungefähr die Größe einer Person haben, zugeordnet. Über einfache statistische Methoden und einen Korrekturmechanismus ist eine leichte Abschätzung der mit bewegten Objekten bedeckten Fläche möglich. Diese ist proportional der Anzahl der Personen im Blickfeld des Sensors. Der Berechnungsaufwand für die Personenanzahl ist dabei gering, sodass sich dieses System mit einfachen und kostengünstigen Mikroprozessoren realisieren lässt. Bewegen sich keine Personen oder Objekte im Bildfeld des Sensors werden keine Events generiert und der Mikroprozessor kann in einen Stromsparmodus schalten, was den Energieverbrauch des Systems bedeutend minimiert. Dies ist in Bildverarbeitungssystemen nach Stand der Technik nicht möglich, weil zu jeder Zeit das Sensorbild verarbeitet und nach Personen durchsucht werden muss.
Für einen Tür-Personenzähler wird der Bildsensor über der Tür oder einem anderen Ein- oder Ausgang eines Raumes montiert. Die Personen werden perspektivisch nicht verzerrt und die AE's werden, wenn die Personen den Beobachtungsbereich durchqueren, auf Achsen (z.B.: vertikale Achsen) projiziert und so in einem Histogramm (Fig. 4) aufsummiert. Bewegt sich eine Person unter dem Sensor durch die Türe, können ein oder mehrere in Bewegungsrichtung laufende Maxima 1 im Histogramm detektiert werden. Mittels statistischer Gewichtung kann die Berechnung des Maximums und der Bewegungsrichtung robust gegen Störungen gemacht werden. Für jeden AE-Frame wird der Index des Histogramms ermittelt der die größte Anzahl von Events beinhaltet und dieser wird mit dem Index des letzten AE-Frame verglichen. Wenn sich der Index verschiebt ist das ein Indikator dafür, dass die Person sich bewegt, und die Wahrscheinlichkeit für die entsprechende Bewegungsrichtung wird erhöht. Die Wahrscheinlichkeit steigt bis ein Schwellwert erreicht wird. In diesem Fall wird die Person gezählt und beide Wahrscheinlichkeiten werden auf definierte Werte zurückgesetzt. Auf diese Weise ist es dem System möglich, ein- und ausgehende Personen zu unterscheiden und einen Zähler zu inkrementieren, bzw. zu dekrementieren wenn Personen den Raum betreten bzw. verlassen. Das Zurücksetzen beider Wahrscheinlichkeiten hat sich als vorteilhaft erwiesen, um den Algorithmus robuster zu machen, wenn eine hohe Aktivität im Blickfeld herrscht. Mit der Wahl von negativen Werten wird eine künstliche Zeitkonstante eingeführt um das doppelte Zählen von Personen zu verhindern. Mehrere parallel gehende Personen können durch eine Aufteilung der Projektionsbereiche in verschiedene „Spuren" längs der Bewegungsrichtung erkannt werden. Viele Schutzwege sind durch Blinklichter gekennzeichnet, die Autofahrer vor
Fußgängern warnen. Diese Warnlichter blinken rund um die Uhr und werden oftmals von Autofahrern ignoriert, da sie meist keine tatsächliche Gefahr anzeigen. Intelligente Sensoren die nur dann ein Warnsignal auslösen wenn ein Fußgänger die Strasse überquert oder sich dem Schutzweg nähert, können dazu beitragen, dass die Verkehrsicherheit verbessert wird, indem Warnlichtern mehr Beachtung geschenkt wird. Für eine automatische Aktivierung von Warnlampen an Schutzwegen werden ein Bildsensor und ein digitaler Prozessor eingesetzt, die in der Lage sind, Schutzwege und deren unmittelbare Umgebung zu überwachen und Objekte (Personen, Radfahrer,...), die die Straße queren, zu erkennen. Das vorgeschlagene System aus Bild-Sensor und einfacher digitaler
Verarbeitungseinheit ist fähig, die AE's von Personen und Fahrzeuge in der Nähe des und auf dem Schutzweg im Datenstrom zu segmentieren und zu verfolgen (Fig. 5). Die vom System erkannte Größe und Geschwindigkeit der Objekte erlaubt eine Einteilung in die Kategorien Fußgänger und Fahrzeuge. Fig. 5 zeigt eine vom Sensor aufgenommene Szene zu zwei Zeitpunkten, die korrespondierenden AE-Bilder und das Resultat der mathematisch-statistischen Auswertung welche die einzelnen Objekte erkennt und deren Bewegungsrichtung ermittelt. Nach einem gewissen Beobachtungszeitraum ist es dem System möglich, durch den Einsatz von Lernmethoden die auf statischen Konzepten beruhen, die Lage und Orientierung von Straße, Fußwegen und Schutzwegen zu erkennen. In der Folge kann dann vor jedem Fußgänger der sich auf den Schutzweg zubewegt bzw. auf dem Schutzweg bewegt, gewarnt werden. Fußgänger die sich z.B. auf Fußwegen parallel zur Fahrbahn bewegen lösen auf Grund ihrer erkannten Bewegungsrichtung keine Warnung aus.
Systeme mit einfachen Sensoren (z.B. Infrarot-Bewegungssensoren) sind nur in der Lage, die Anwesenheit von Personen in der Nähe des Schutzwegs zu erkennen, nicht jedoch deren Bewegungsrichtung zu erfassen und damit spezifisch vor Fußgängern zu warnen die sich direkt auf den Schutzweg zu bewegen.

Claims

Pate nta n s p rü c h e :
1. Verfahren zur Szenenanalyse, bei dem Szeneninformationen mit einem optischen Sensor aufgenommen werden, wobei die Szene oder die Objekte in der Szene und der optische Sensor eine Relativbewegung vollführen und die erhaltenen Szeneinformationen ausgewertet werden, dadurch gekennzeichnet,
- dass von den einzelnen Bildelementen des optischen Sensors die visuelle Information der Szene erfasst wird, wobei die einzelnen Bildelemente bei Feststellung einer einen vorgegebenen Schwellwert überschreitenden absoluten Intensitätsänderung oder relativen Intensitätsänderung (Kontrast) des aufgenommenen Lichtes ein Ausgangssignal abgeben, das als relevant für eine erfolgte Relativbewegung zwischen dem aufgenommenen Szenenpunkt und dem optischen Sensor und/oder für eine Szeneninhaltsänderung angesehen wird,
- dass die Orte bzw. Bildelementskoordinaten der festgestellten Intensitätsänderungen ermittelt bzw. festgehalten werden,
- dass die Zeitabhängigkeit der festgestellten Intensitätsänderungen, insbesondere Zeitpunkt und Aufeinanderfolge, ermittelt bzw. festgehalten werden,
- dass mit statistischen Methoden, insbesondere Mittelwertbildung, Histogrammen, Schwerpunktbildung, Dokument- bzw. Ordnungbildungsmethoden, Filterung über Zeit od. dgl., lokale Häufungen der Intensitätsänderungen der Bildelemente ermittelt werden,
- dass die lokalen Häufungen mit statistischen Methoden, z.B. Wichtung, Schwellwertvorgabe bezüglich Anzahl und/oder Lage, Datenbereichsbereinigungmethoden od. dgl., bewertet werden, insbesondere in Hinblick auf die zeitliche Änderung der Häufungsdichte und/oder Änderung der örtlichen Verteilung, dass die ermittelten Werte als Parameter, z.B. Größe, Geschwindigkeit,
Bewegungsrichtung, Form od. dgl., eines erfassten Szenenbereichs angesehen werden, - dass zumindest einer der, vorzugsweise eine Anzahl von, Parameter(n) mit zumindest einem, vorzugsweise einer Anzahl von, vorgegebenen Parameter(n) verglichen wird
(werden), der (die) als charakteristisch für ein Objekt angesehen wird (werden) und
- dass bei Erfüllung der vorgegebenen Vergleichskriterien die dem jeweiligen Szenenbereich zugeordnete(n) und bewertete(n) lokale(n) Häufung(en) als Abbildung dieses Objektes angesehen wird (werden).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die lokalen Häufungen in Hinblick auf linienförmig zusammenhängende sich über die aufgenommene Szene fortbewegende Intensitätsänderungen untersucht werden und derartige als zusammenhängend bewertete oder eine vorgegebene Menge überschreitende Intensitätsänderungen als Trajektorie eines sich relativ zum optischen Sensor bewegenden Objekts angesehen werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Änderung der Größe einer lokalen Häufung als Annäherung zum Sensor bzw. Entfernen eines Objekt vom Sensor interpretiert wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine zeitliche und/oder räumliche Änderung in der Struktur der Häufungen als charakteristisch für ein bestimmtes Merkmal eines Szenenbereichs angesehen wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in jedem Bildelement die, insbesondere aufgrund von Helligkeitsänderungen eintretende Änderung des Fotostromes überwacht und generiert bzw. integriert werden, dass bei Überschreiten eines Schwellwertes das Bildelement sofort ein Signal asynchron an die Verarbeitungseinheit abgibt und dass insbesondere nach jeder Signalgabe ein Neubeginn der Summierung bzw. Integration erfolgt.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass positive und negative Änderungen des Fotostromes getrennt festgestellt bzw. detektiert und verarbeitet bzw. ausgewertet werden.
7. Bildauswertungseinheit zur Aufnahme von Szeneninformationen, wobei die Szene oder die Objekte in der Szene und der optische Sensor eine Relativbewegung zueinander vollführen und mit einer Auswerteeinheit für die erhaltenen Szeneinformationen, wobei der optische Sensor Bildelemente aufweist, die die visuelle Information der Szene erfassen, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die einzelnen Bildelemente bzw. Pixel bei Feststellung einer einen vorgegebenen Schwellwert überschreitenden absoluten Intensitätsänderung oder relativen Intensitätsänderung (Kontrast) des aufgenommenen Lichtes ein Ausgangssignal abgeben, das relevant für eine erfolgte Relativbewegung zwischen dem aufgenommenen Szenenpunkt und dem optischen Sensor und/oder für eine Szeneninhaltsänderung ist, - dass eine Einheit zur Ermittlung der Orte bzw. Bildelementskoordinaten der festgestellten Intensitätsänderungen sowie zur Ermittlung der Zeitabhängigkeit der festgestellten Intensitätsänderungen, insbesondere Zeitpunkt und Aufeinanderfolge, vorgesehen ist, - dass eine Recheneinheit vorgesehen bzw. dieser Einheit zugeordnet ist, in der mit statistischen Methoden, insbesondere Mittelwertbildung, Histogrammen, Schwerpunktbildung, Dokument- bzw. Ordnungbildungsmethoden, Filterung über Zeit od. dgl., lokale Häufungen der Intensitätsänderungen der Bildelemente ermittelt werden, - dass eine Bewertungseinheit vorgesehen ist, mit der die lokalen Häufungen mit statistischen Methoden, z.B. Wichtung, Schwellwertvorgabe bezüglich Anzahl und/oder Lage, Datenbereichsbereinigungmethoden od. dgl., bewertet werden, insbesondere in Hinblick auf die zeitliche Änderung der Häufungsdichte und/oder Änderung der örtlichen Verteilung, wobei die ermittelten Werte die Parameter, z.B. Größe, Geschwindigkeit, Bewegungsrichtung, Form od. dgl., eines erfassten Szenenbereichs darstellen,
- dass eine Vergleichseinheit vorgesehen bzw. der Bewertungseinheit zugeordnet ist, die zumindest einen der, vorzugsweise eine Anzahl der, Parameter mit zumindest einem, vorzugsweise einer Anzahl von, vorgegebenen Parameter(n) vergleicht, der (die) als charakteristisch für ein Objekt angesehen wird (werden) und
- dass bei Erfüllung der vorgegebenen Vergleichskriterien die dem jeweiligen Szenenbereich zugeordnete(n) und bewertete(n) lokale(n) Häufung(en) als Abbildung dieses Objektes angesehen wird (werden).
8. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche 1 bis 6 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird.
EP06741041A 2005-06-15 2006-06-14 Verfahren und bildauswertungseinheit zur szenenanalyse Withdrawn EP1897032A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AT0101105A AT502551B1 (de) 2005-06-15 2005-06-15 Verfahren und bildauswertungseinheit zur szenenanalyse
PCT/AT2006/000245 WO2006133474A1 (de) 2005-06-15 2006-06-14 Verfahren und bildauswertungseinheit zur szenenanalyse

Publications (1)

Publication Number Publication Date
EP1897032A1 true EP1897032A1 (de) 2008-03-12

Family

ID=36933426

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06741041A Withdrawn EP1897032A1 (de) 2005-06-15 2006-06-14 Verfahren und bildauswertungseinheit zur szenenanalyse

Country Status (8)

Country Link
US (1) US20080144961A1 (de)
EP (1) EP1897032A1 (de)
JP (1) JP2008547071A (de)
KR (1) KR20080036016A (de)
CN (1) CN101258512A (de)
AT (1) AT502551B1 (de)
CA (1) CA2610965A1 (de)
WO (1) WO2006133474A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065197B2 (en) * 2007-03-06 2011-11-22 Portrait Innovations, Inc. System, method, and computer program product for evaluating photographic performance
US8103056B2 (en) * 2008-10-15 2012-01-24 Honeywell International Inc. Method for target geo-referencing using video analytics
DE102009005920A1 (de) * 2009-01-23 2010-07-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern mindestens einer Lichtzeichenanlage eines Fußgängerüberwegs
US8452599B2 (en) * 2009-06-10 2013-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for extracting messages
CN101931789A (zh) * 2009-06-26 2010-12-29 上海宝康电子控制工程有限公司 关键区域中的高清晰人像自动记录及比对系统及其方法
US8269616B2 (en) * 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
JP5548212B2 (ja) * 2009-09-29 2014-07-16 パナソニック株式会社 横断歩道標示検出方法および横断歩道標示検出装置
US8337160B2 (en) * 2009-10-19 2012-12-25 Toyota Motor Engineering & Manufacturing North America, Inc. High efficiency turbine system
US8237792B2 (en) * 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
US8424621B2 (en) 2010-07-23 2013-04-23 Toyota Motor Engineering & Manufacturing North America, Inc. Omni traction wheel system and methods of operating the same
CN102739919A (zh) * 2011-04-14 2012-10-17 江苏中微凌云科技股份有限公司 动态监测的方法及设备
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
EP2720171B1 (de) * 2012-10-12 2015-04-08 MVTec Software GmbH Erkennung und Haltungsbestimmung von 3D-Objekten in multimodalen Szenen
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
CN106991418B (zh) * 2017-03-09 2020-08-04 上海小蚁科技有限公司 飞虫检测方法、装置及终端
KR102103521B1 (ko) 2018-01-12 2020-04-28 상명대학교산학협력단 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법
KR102027878B1 (ko) 2018-01-25 2019-10-02 상명대학교산학협력단 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법
JP2020053827A (ja) * 2018-09-27 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
KR20220005431A (ko) * 2019-04-25 2022-01-13 프로페시 에스에이 진동을 이미징하고 감지하기 위한 시스템 및 방법
JP7393851B2 (ja) * 2019-05-31 2023-12-07 慎太朗 芝 撮像装置、撮像方法及びプログラム
KR20230085509A (ko) 2021-12-07 2023-06-14 울산과학기술원 테스트 영상 특징 반영에 의한 영상 분석 개선 시스템 및 방법
US11558542B1 (en) * 2022-01-03 2023-01-17 Omnivision Technologies, Inc. Event-assisted autofocus methods and apparatus implementing the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0330269B1 (de) * 1988-02-23 1993-09-22 Koninklijke Philips Electronics N.V. Verfahren und Anordnung zum Abschätzen des Bewegungsausmasses bei einem Bildelement eines Fernsehbildes
US5341439A (en) * 1989-09-21 1994-08-23 Hsu Shin Yi System for texture-based automatic detection of man-made objects in representations of sensed natural environmental scenes
JPH096957A (ja) * 1995-06-23 1997-01-10 Toshiba Corp 濃度画像の２値化方法および画像２値化装置
US5956424A (en) * 1996-12-23 1999-09-21 Esco Electronics Corporation Low false alarm rate detection for a video image processing based security alarm system
JP3521109B2 (ja) * 1997-02-17 2004-04-19 シャープ株式会社 動き検出用固体撮像装置
GB2368021A (en) * 2000-10-21 2002-04-24 Roy Sennett Mouth cavity irrigation device
US20020131643A1 (en) * 2001-03-13 2002-09-19 Fels Sol Sidney Local positioning system
US7327393B2 (en) * 2002-10-29 2008-02-05 Micron Technology, Inc. CMOS image sensor with variable conversion gain
US7796173B2 (en) * 2003-08-13 2010-09-14 Lettvin Jonathan D Imaging system
JP4193812B2 (ja) * 2005-05-13 2008-12-10 カシオ計算機株式会社 撮像装置、撮像方法及びそのプログラム
US7755672B2 (en) * 2006-05-15 2010-07-13 Zoran Corporation Techniques for modifying image field data obtained using illumination sources

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006133474A1 *

Also Published As

Publication number Publication date
AT502551A1 (de) 2007-04-15
US20080144961A1 (en) 2008-06-19
CN101258512A (zh) 2008-09-03
KR20080036016A (ko) 2008-04-24
AT502551B1 (de) 2010-11-15
JP2008547071A (ja) 2008-12-25
WO2006133474A1 (de) 2006-12-21
CA2610965A1 (en) 2006-12-21

Similar Documents

Publication Publication Date Title
AT502551B1 (de) Verfahren und bildauswertungseinheit zur szenenanalyse
DE102017217056B4 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
US6985172B1 (en) Model-based incident detection system with motion classification
DE60020420T2 (de) Situationsdarstellungs-Anzeigesystem
Alpatov et al. Vehicle detection and counting system for real-time traffic surveillance
EP1854083B1 (de) Kamera zum verfolgen von objekten
DE102005026876B4 (de) Fahrzeugumgebungs-Überwachungsvorrichtung
Low et al. Simple robust road lane detection algorithm
DE602004011650T2 (de) Fahrassistenzsystem für ein Kraftfahrzeug
DE602005001627T2 (de) Vorrichtung zur Extraktion von Fussgängern
CN107122765B (zh) 一种高速公路服务区全景监控方法及系统
EP2973211A1 (de) Videostromauswertung
DE112013001424T5 (de) Objekterkennungsvorrichtung
DE10325762A1 (de) Bildverarbeitungssystem für ein Fahrzeug
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
CN115841651B (zh) 基于计算机视觉与深度学习的施工人员智能监测系统
Choeychuen Available car parking space detection from webcam by using adaptive mixing features
DE19937928B4 (de) Einrichtung zum Erkennen eines beweglichen Körpers und Einrichtung zum Überwachen eines Kraftfahrzeugs
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE102009024066A1 (de) Verfahren und Vorrichtung zum Klassifizieren von Situationen
DE102019122015A1 (de) Verfahren zum betreiben eines automatischen bremssystems
EP2254104A2 (de) Verfahren zum automatischen Erkennen einer Situationsänderung
Lagorio et al. Automatic detection of adverse weather conditions in traffic scenes
JP3905774B2 (ja) パターン推定方法、パターン推定装置、パターン推定方法のプログラムおよびこのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20071231

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: HR

RAX Requested extension states of the european patent have changed

Extension state: HR

Payment date: 20071231

17Q First examination report despatched

Effective date: 20080401

RAX Requested extension states of the european patent have changed

Extension state: HR

Payment date: 20071231

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110103