AT502551B1 - Verfahren und bildauswertungseinheit zur szenenanalyse - Google Patents

Verfahren und bildauswertungseinheit zur szenenanalyse Download PDF

Info

Publication number
AT502551B1
AT502551B1 AT0101105A AT10112005A AT502551B1 AT 502551 B1 AT502551 B1 AT 502551B1 AT 0101105 A AT0101105 A AT 0101105A AT 10112005 A AT10112005 A AT 10112005A AT 502551 B1 AT502551 B1 AT 502551B1
Authority
AT
Austria
Prior art keywords
scene
change
optical sensor
recorded
intensity changes
Prior art date
Application number
AT0101105A
Other languages
English (en)
Other versions
AT502551A1 (de
Original Assignee
Arc Seibersdorf Res Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arc Seibersdorf Res Gmbh filed Critical Arc Seibersdorf Res Gmbh
Priority to AT0101105A priority Critical patent/AT502551B1/de
Priority to CA002610965A priority patent/CA2610965A1/en
Priority to JP2008516063A priority patent/JP2008547071A/ja
Priority to CNA2006800212545A priority patent/CN101258512A/zh
Priority to PCT/AT2006/000245 priority patent/WO2006133474A1/de
Priority to EP06741041A priority patent/EP1897032A1/de
Priority to KR1020077030584A priority patent/KR20080036016A/ko
Publication of AT502551A1 publication Critical patent/AT502551A1/de
Priority to US11/957,709 priority patent/US20080144961A1/en
Application granted granted Critical
Publication of AT502551B1 publication Critical patent/AT502551B1/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Szenenanalyse, bei dem Szeneninformationen mit einem optischen Sensor aufgenommen werden, wobei die Szene und der optische Sensor eine Relativbewegung vollführen, wobei von den einzelnen Bildelementen bei Feststellung einer einen vorgegebenen Schwellwert überschreitenden absoluten Intensitätsänderung des aufgenommenen Lichtes ein Ausgangssignal abgegeben wird und dieses Ausgangssignal als relevant für eine erfolgte Relativbewegung zwischen dem aufgenommenen Szenenpunkt und dem optischen Sensor angesehen wird, und wobei die Orte der festgestellten Intensitätsänderungen festgehalten werden. Erfindungsgemäß ist vorgesehen, dass die Orte der festgestellten Intensitätsänderungen in Form von Adressevents festgehalten werden, dass Adress-Events, bei denen der Zeitpunkt der festgestellten Intensitätsänderung innerhalb eines vorgegebenen Zeitfensters liegt, zu Frames zusammengefasst werden, dass innerhalb der einzelnen Frames mit statistischen Methoden lokale Häufungen ermittelt werden, dass die lokalen Häufungen mit statistischen Methoden bezüglich Anzahl oder Lage bewertet werden, dass zumindest einer der Parameter mit einem Parameter verglichen wird, der als charakteristisch für ein Objekt angesehen wird.

Description

österreichisches Patentamt AT502 551 B1 2010-11-15
Beschreibung [0001] Die Erfindung betrifft ein Verfahren gemäß dem Kennzeichen des Anspruches 1 sowie eine Bildauswertungseinheit gemäß dem Oberbegriff des Patentanspruches 7.
[0002] Die Erfindung beschäftigt sich mit der Verarbeitung von Informationen, welche mittels optischer Sensoren aufgenommen werden. Der Gegenstand der Erfindung ist ein Verfahren basierend auf einem speziellen optischen Halbleiter-Sensor mit asynchroner, digitaler Datenübertragung zu einer Verarbeitungseinheit, in welcher besondere Algorithmen zur Szenenanalyse implementiert sind. Das Verfahren liefert ausgewählte Informationen zum Szeneninhalt, welche ausgewertet und z.B. zur Steuerung von Maschinen oder Installationen o.ä., benutzt werden können.
[0003] Die eingesetzten Sensoren geben die vorverarbeitete Szeneninformation in Form von Signalen asynchron weiter bzw. ab, und zwar nur dann, wenn die Szene Veränderungen erfährt bzw. einzelne Bildelemente der Sensoren bestimmte Merkmale in der Szene detektieren. Dieses Prinzip reduziert die anfallenden Datenmengen im Vergleich zu einer Bilddarstellung erheblich und erhöht gleichzeitig den Informationsgehalt der Daten indem es bereits Eigenschaften der Szene extrahiert.
[0004] Die internationale Patentanmeldung WO 2002/082545 A1 beschreibt einen speziellen Bildsensorchip zur Echtzeitverfolgung von Massenmittelpunkten von Objekten. Das im Chip implementierte Verfahren zur Objektverfolgung bedient sich eines Schaltkreises zur Erkennung von Bildhelligkeitsänderungen, um die Bewegung der Objekte zu detektieren. Das Verfahren bedient sich ferner einer asynchronen Signalisierung von Bildhelligkeitsänderungen.
[0005] In der WO 1995/24702 A1 wird ein Verfahren zur Objektverfolgung aus Videobildern beschrieben, das auf der Berechnung von Differenzbildern beruht Die Orte der Bilddifferenzen werden synchron, das heißt in einem festen Bildtakt berechnet Die Bilddaten werden nur auf Vorliegen einer Änderung untersucht, ohne die Polarität der Änderung zu beurteilen.
[0006] In der US-Patentanmeldung US 2002/0131643 wird ein System zur Verfolgung und Ausfindung von Personen oder Objekten innerhalb eines Gebäudes oder Areals mittels einer oder mehrerer Kamerabilder und der Verbindung einer Markierung zur Identifikation der Objekte beschrieben. Dieses System arbeitet synchron, wobei unter Adress-Events selbstsignalisierende Bildelemente verstanden werden. Das dargestellte Verfahren beruht auf der frame-weisen Bearbeitung von Kamerabildern. Weiters ist ein Verfahren zur Kantendetektion aus Videobildern beschrieben.
[0007] In der US-Patentanmeldung US 5990471 A1 wird ein Bildsensorchip mit Bildelementen zur Feststellung von Helligkeitsänderungen beschrieben, der auf zwei unterschiedlichen Integrationszeiten für den Fotostrom beruht Helligkeitsänderungen der Bildelemente werden synchron, das heißt mit einer fixen Taktfrequenz berechnet.
[0008] In der US-Patentanmeldung US 5341439 wird ein Verfahren zur Erkennung von Objekten in statistischen Fernerkundungsbildern mittels einer Musterkennung beschrieben. Ein Teil dieses Verfahrens betrifft die Bestimmung des Kontraste zwischen benachbarten Bildelementen. Dieses Verfahren bedient sich statistischer Methoden und Vergleiche mit Schwellenwerten.
[0009] Gemäß US 5956424 wird ein Differenzbild zu einem ausgewählten Referenzbild, beide aus synchronen Videodaten stammend, generiert. Aus der Menge der Bildelemente des Differenzbildes werden mit einer Abfolge von herkömmlichen Bildverarbeitungsmethoden bewegte Gegenstände einer Szene erkannt [0010] Schließlich betreffen JP 10-313426 A und JP 11-008805 A digitale Bildsensorchips mit einer synchronen Schaltung zur Auswertung von Helligkeitsänderungen zur Bewegungsdetektion.
[0011] Die Szenenerfassung mit herkömmlicher, digitaler Bildverarbeitung beruht auf der Auswertung von Bildinformationen, die von einem Bildsensor geliefert werden. Dabei wird üblicher- 1/9 österreichisches Patentamt AT502 551 B1 2010-11-15 weise das Bild, Bildpunkt für Bildpunkt sequentiell, in einem vorgegebenen Takt (synchron), viele Male pro Sekunde aus dem Bildsensor ausgelesen und die in den Daten enthaltene Information über die Szene ausgewertet. Dieses Prinzip stößt aufgrund der großen Datenmengen und aufwändigen Auswertungsverfahren auch bei Verwendung von entsprechend leistungsfähigen Prozessorsystemen an Grenzen mit folgenden Schwierigkeiten: [0012] 1.) Die Datenrate digitaler Übertragungskanäle ist begrenzt und für manche Aufgaben der Hochleistungs-Bildverarbeitung nicht ausreichend groß.
[0013] 2.) Leistungsfähige Prozessoren haben für viele, insbesondere mobile, Anwendungen einen zu hohen Energieverbrauch.
[0014] 3.) Leistungsfähige Prozessoren benötigen aktive Kühlung. Systeme, die mit solchen Prozessoren arbeiten, können daher für viele Anwendungen nicht kompakt genug gebaut werden.
[0015] 4.) Leistungsfähige Prozessoren sind für viele Anwendungsgebiete zu teuer.
[0016] Erfindungsgemäß werden diese Nachteile durch die im Kennzeichen des Anspruches 1 angeführten Merkmale behoben. Eine erfindungsgemäße Bildauswertungseinheit ist durch die Merkmale des Kennzeichens des Anspruches 7 charakterisiert. Mit der erfindungsgemäßen Vorgangsweise erfolgt eine rasche Verarbeitung der Signale und ein entsprechend rasches Erkennen signifikanter Informationen in der betrachteten Szene. Die eingesetzten statistischen Verfahren leisten eine exakte Auswertung in Hinblick auf interessierende Szenenparameter bzw. Erkennung von Objekten.
[0017] Im Folgenden wird die Erfindung anhand der Zeichnungen beispielsweise näher erläutert. Fig. 1 zeigt schematisch Unterschiede zwischen der bisher üblichen Vorgangsweise und der erfindungsgemäßen Vorgangsweise. Fig. 2 zeigt ein Schema einer erfindungsgemäßen Bildauswertungseinheit. Fig. 3a und 3b wie Fig. 4 und 5 zeigen schematisch anhand von aufgenommenen Bildern die erfindungsgemäße Vorgangsweise.
[0018] In Fig. 1 wird der Unterschied zwischen dem Stand der Technik und der erfindungsgemäßen Vorgangsweise näher erläutert. Bislang wurden die von einem Bildsensor gelieferten Informationen bzw. Daten synchron weitergeleitet und nach einer digitalen Bildvorverarbeitung und Szenenanalyse das Ergebnis über die Schnittstelle des Gerätes weitergegeben (Fig. 1a).
[0019] Erfindungsgemäß erfolgt die Verarbeitung der Bildsignale des optischen Sensors in einer bestimmten Weise, nämlich derart, dass in den Bildelementen des optischen Sensors die von einem Photosensor aufgenommene Helligkeitsinformation mittels einer analogen, elektronischen Schaltung vorverarbeitet wird. Ganz allgemein wird bemerkt, dass in einem Bildelement die Verarbeitung der Signale mehrerer, benachbarter Photosensoren zusammengefasst werden kann. Die Ausgangssignale der Bildelemente werden über eine Schnittstelle des Sensors asynchron zu einer digitalen Datenauswerteeinheit übertragen, in der eine Szenenanalyse durchgeführt wird und das Ergebnis der Auswertung an einer Schnittstelle des Geräts zur Verfügung gestellt wird (Fig. 1b).
[0020] Anhand von Fig. 2 wird die erfindungsgemäße Vorgangsweise schematisch erläutert. Dabei wird eine Szene über eine nicht dargestellte optische Aufnahmeanordnung auf die Bildebene des optischen Sensors 1 abgebildet. Die visuelle Information wird von den Bildelementen des Sensors erfasst und in elektronischen Schaltungen in den Bildelementen kontinuierlich verarbeitet. Durch diese Verarbeitung werden in Echtzeit bestimmte Merkmale im Szeneninhalt erkannt. Zu detektierende Merkmale im Bildinhalt können unter anderem statische Kanten, lokale Intensitätsänderungen, optischer Fluss, etc. sein.
[0021] Das Detektieren eines Merkmals wird im Folgenden als ein „Event“ bezeichnet. Beim jedem Auftreten eines Events wird vom Bildelement in Echtzeit ein digitales Ausgangssignal am asynchronen Datenbus erzeugt. Dieses Signal enthält die Adresse des Bildelements und somit die Koordinaten im Bildfeld an welchen das Merkmal erkannt wurde. Dieses Datum wird im Folgenden als „Address-Event“ (AE) bezeichnet. Es können zusätzlich weitere Eigenschaften 2/9 österreichisches Patentamt AT502 551 B1 2010-11-15 des Merkmals, insbesondere der Zeitpunkt des Auftretens, in den Daten kodiert werden. Diese Informationen sendet der Sensor 1 als relevante Daten über den asynchronen Datenkanal an die Verarbeitungseinheit CPU. Ein Buskontroller 2 verhindert Datenkollisionen am Übertragungskanal. In manchen Fällen kann es vorteilhaft sein, zwischen Sensor und Verarbeitungseinheit einen Pufferspeicher 3, z.B. ein FIFO, zu verwenden um unregelmäßige Datenraten zufolge des asynchronen Übertragungsprotokolls auszugleichen (Fig. 2).
[0022] Die erfindungsgemäße Vorgangsweise besteht auf der Kombination des speziell ausgebildeten Sensors, der Datenübertragung und der vorgesehenen statistisch-mathematischen Verfahren zur Datenverarbeitung. Der vorgesehene Sensor detektiert Änderungen der Lichtintensität und reagiert daher z.B. auf bewegte Kanten bzw. hell-dunkel Begrenzungslinien in einer Szene. Der Sensor verfolgt in jedem Bildelement die Änderungen des Fotostroms eines Photosensors. Diese Änderungen werden für jedes Bildelement in einem Integrator summiert. Wenn die Summe der Änderungen einen Schwellwert überschreitet, sendet das Bildelement diesen Event sofort, asynchron über den Datenbus an die Verarbeitungseinheit. Nach jedem Event wird der Wert des Integrators gelöscht. Positive und negative Änderungen des Fotostroms werden getrennt verarbeitet und erzeugen Events unterschiedlicher Polarität (so genannte „on“ und ,,off“-Events).
[0023] Der eingesetzte Sensor erzeugt keine Bilder im herkömmlichen Sinn. Im Folgenden werden jedoch, zum besseren Verständnis, zweidimensionale Darstellungen von Events verwendet. Dafür werden die Events für jedes Bildelement innerhalb eines Zeitintervalls gezählt. Bildelementen ohne Events wird ein weißer Bildpunkt zugeordnet. Bildelemente mit „on“ bzw. „off“ Events werden mit grauen bzw. schwarzen Bildpunkten dargestellt.
[0024] Für die folgenden Ausführungen werden Begriffe eingeführt, um eine Verwechselung mit Begriffen aus der digitalen Bildverarbeitung zu vermeiden: [0025] AE-Frame wird definiert als die in einem Pufferspeicher gespeicherten AE's welche innerhalb einer definierten Zeitspanne generiert wurden.
[0026] AE-Bild ist die Darstellung eines AE-Frames in einem Bild, in dem Polarität und Häufigkeit der Events Farben oder Grauwerten zugeordnet werden.
[0027] Fig. 3 zeigt (a) ein Videobild einer Szene und (b) ein AE-Bild derselben Szene, produziert von einem Sensor der auf Änderungen der Lichtintensität reagiert. In der Datenverarbeitungseinheit CPU werden die Merkmale aus der Szene mittels statischmathematischer Methoden untersucht und höherwertige, abstrakte Informationen zum Szeneninhalt gewonnen. Solche Informationen können z.B. die Anzahl der Personen in einer Szene oder die Geschwindigkeit und der Abstand von Fahrzeugen auf einer Straße sein.
[0028] Es ist leicht zu erkennen, dass die Datenmenge erheblich geringer ist als im ursprünglichen Bild. Die Bearbeitung von Events benötigt weniger Rechenleistung und Speicher als bei digitaler Bildverarbeitung und kann daher sehr viel effizienter erfolgen.
[0029] Ein Raum-Personenzähler kann verwirklicht werden, indem der Bildsensor z.B. an der Decke in der Mitte eines Raumes montiert wird. Die einzelnen Events werden von der Verarbeitungseinheit entsprechenden quadratischen Bereichen im Bildfeld, welche ungefähr die Größe einer Person haben, zugeordnet. Über einfache statistische Methoden und einen Korrekturmechanismus ist eine leichte Abschätzung der mit bewegten Objekten bedeckten Fläche möglich. Diese ist proportional der Anzahl der Personen im Blickfeld des Sensors. Der Berechnungsaufwand für die Personenanzahl ist dabei gering, sodass sich dieses System mit einfachen und kostengünstigen Mikroprozessoren realisieren lässt. Bewegen sich keine Personen oder Objekte im Bildfeld des Sensors werden keine Events generiert und der Mikroprozessor kann in einen Stromsparmodus schalten, was den Energieverbrauch des Systems bedeutend minimiert. Dies ist in Bildverarbeitungssystemen nach Stand der Technik nicht möglich, weil zu jeder Zeit das Sensorbild verarbeitet und nach Personen durchsucht werden muss.
[0030] Für einen Tür-Personenzähler wird der Bildsensor über der Tür oder einem anderen Einoder Ausgang eines Raumes montiert. Die Personen werden perspektivisch nicht verzerrt und 3/9 österreichisches Patentamt AT502 551 B1 2010-11-15 die AE's werden, wenn die Personen den Beobachtungsbereich durchqueren, auf Achsen (z.B.: vertikale Achsen) projiziert und so in einem Histogramm (Fig. 4) aufsummiert. Bewegt sich eine Person unter dem Sensor durch die Türe, können ein oder mehrere in Bewegungsrichtung laufende Maxima 1 im Histogramm detektiert werden. Mittels statistischer Gewichtung kann die Berechnung des Maximums und der Bewegungsrichtung robust gegen Störungen gemacht werden. Für jeden AE-Frame wird der Index des Histogramms ermittelt der die größte Anzahl von Events beinhaltet und dieser wird mit dem Index des letzten AE-Frame verglichen. Wenn sich der Index verschiebt ist das ein Indikator dafür, dass die Person sich bewegt, und die Wahrscheinlichkeit für die entsprechende Bewegungsrichtung wird erhöht. Die Wahrscheinlichkeit steigt bis ein Schwellwert erreicht wird. In diesem Fall wird die Person gezählt und beide Wahrscheinlichkeiten werden auf definierte Werte zurückgesetzt. Auf diese Weise ist es dem System möglich, ein- und ausgehende Personen zu unterscheiden und einen Zähler zu inkre-mentieren, bzw. zu dekrementieren wenn Personen den Raum betreten bzw. verlassen. Das Zurücksetzen beider Wahrscheinlichkeiten hat sich als vorteilhaft erwiesen, um den Algorithmus robuster zu machen, wenn eine hohe Aktivität im Blickfeld herrscht. Mit der Wahl von negativen Werten wird eine künstliche Zeitkonstante eingeführt um das doppelte Zählen von Personen zu verhindern. Mehrere parallel gehende Personen können durch eine Aufteilung der Projektionsbereiche in verschiedene „Spuren“ längs der Bewegungsrichtung erkannt werden.
[0031] Viele Schutzwege sind durch Blinklichter gekennzeichnet, die Autofahrer vor Fußgängern warnen. Diese Warnlichter blinken rund um die Uhr und werden oftmals von Autofahrern ignoriert, da sie meist keine tatsächliche Gefahr anzeigen. Intelligente Sensoren die nur dann ein Warnsignal auslösen wenn ein Fußgänger die Strasse überquert oder sich dem Schutzweg nähert, können dazu beitragen, dass die Verkehrsicherheit verbessert wird, indem Warnlichtern mehr Beachtung geschenkt wird. Für eine automatische Aktivierung von Warnlampen an Schutzwegen werden ein Bildsensor und ein digitaler Prozessor eingesetzt, die in der Lage sind, Schutzwege und deren unmittelbare Umgebung zu überwachen und Objekte (Personen, Radfahrer,...), die die Straße queren, zu erkennen.
[0032] Das vorgeschlagene System aus Bild-Sensor und einfacher digitaler Verarbeitungseinheit ist fähig, die AE's von Personen und Fahrzeuge in der Nähe des und auf dem Schutzweg im Datenstrom zu segmentieren und zu verfolgen (Fig. 5). Die vom System erkannte Größe und Geschwindigkeit der Objekte erlaubt eine Einteilung in die Kategorien Fußgänger und Fahrzeuge. Fig. 5 zeigt eine vom Sensor aufgenommene Szene zu zwei Zeitpunkten, die korrespondierenden AE-Bilder und das Resultat der mathematisch-statistischen Auswertung welche die einzelnen Objekte erkennt und deren Bewegungsrichtung ermittelt. Nach einem gewissen Beobachtungszeitraum ist es dem System möglich, durch den Einsatz von Lernmethoden die auf statischen Konzepten beruhen, die Lage und Orientierung von Straße, Fußwegen und Schutzwegen zu erkennen. In der Folge kann dann vor jedem Fußgänger der sich auf den Schutzweg zubewegt bzw. auf dem Schutzweg bewegt, gewarnt werden. Fußgänger die sich z.B. auf Fußwegen parallel zur Fahrbahn bewegen lösen auf Grund ihrer erkannten Bewegungsrichtung keine Warnung aus.
[0033] Systeme mit einfachen Sensoren (z.B. Infrarot-Bewegungssensoren) sind nur in der Lage, die Anwesenheit von Personen in der Nähe des Schutzwegs zu erkennen, nicht jedoch deren Bewegungsrichtung zu erfassen und damit spezifisch vor Fußgängern zu warnen die sich direkt auf den Schutzweg zu bewegen. 4/9

Claims (7)

  1. österreichisches Patentamt AT502 551 B1 2010-11-15 Patentansprüche 1. Verfahren zur Szenenanalyse, bei dem Szeneninformationen mit einem optischen Sensor aufgenommen werden, wobei die Szene oder die Objekte in der Szene und der optische Sensor eine Relativbewegung vollführen und die erhaltenen Szeneinformationen ausgewertet werden, wobei von den einzelnen Bildelementen des optischen Sensors die visuelle Information der Szene erfasst wird und von den einzelnen Bildelementen bei Feststellung einer einen vorgegebenen Schwellwert überschreitenden absoluten Intensitätsänderung oder einer relativen Intensitätsänderung (Kontrast) des aufgenommenen Lichtes ein Ausgangssignal abgegeben wird und dieses Ausgangssignal als relevant für eine erfolgte Relativbewegung zwischen dem aufgenommenen Szenenpunkt und dem optischen Sensor und/oder für eine Szeneninhaltsänderung angesehen wird, und wobei die Orte und/oder Bildelementskoordinaten der festgestellten Intensitätsänderungen festgehalten werden, dadurch gekennzeichnet, dass die Orte und/oder Bildelementskoordinaten der festgestellten Intensitätsänderungen in Form von Adressevents festgehalten werden, - dass Adress-Events, bei denen der Zeitpunkt der festgestellten Intensitätsänderung innerhalb eines vorgegebenen Zeitfensters liegt, zu Frames zusammengefasst werden, - dass die Zeitabhängigkeit der festgestellten Intensitätsänderungen, insbesondere Zeitpunkt und Aufeinanderfolge, ermittelt und festgehalten werden, - dass innerhalb der einzelnen Frames mit statistischen Methoden, insbesondere Mittelwertbildung, Programmen, Schwerpunktbildung, Dokument- bzw. Ordnungsbildungsmethoden, Filterung über die Zeit od. dgl., lokale Häufungen der Intensitätsänderungen der Bildelemente ermittelt werden, - dass die lokalen Häufungen mit statistischen Methoden, z.B. Wichtungschwellenwertvorgabe bezüglich Anzahl und/oder Lage, Datenbereichsbereinigungsmethoden od. dgl. bewertet werden, insbesondere im Hinblick auf die zeitliche Änderung einer Häufungsdichte und/oder Änderung der örtlichen Verteilung. - dass zumindest einer der, vorzugsweise eine Anzahl von bei der Bewertung ermittelten, Parameter(n) mit zumindest einem, vorzugsweise einer Anzahl von, vorgegebenen Parametern) verglichen wird (werden), der (die) als charakteristisch für ein Objekt angesehen wird (werden) und - dass bei Erfüllung der vorgegebenen Vergleichskriterien die dem jeweiligen Szenenbereich zugeordnete(n) und bewertete(n) lokale(n) Häufung(en) als Abbildung dieses Objektes angesehen wird (werden).
  2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die lokalen Häufungen in Hinblick auf linienförmig zusammenhängende sich über die aufgenommene Szene fortbewegende Intensitätsänderungen untersucht werden und derartige als zusammenhängend bewertete oder eine vorgegebene Menge überschreitende Intensitätsänderungen als Tra-jektorie eines sich relativ zum optischen Sensor bewegenden Objekts angesehen werden.
  3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Änderung der Größe einer lokalen Häufung als Annäherung zum Sensor bzw. Entfernen eines Objekt vom Sensor interpretiert wird.
  4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine zeitliche und/oder räumliche Änderung in der Struktur der Häufungen als charakteristisch für ein bestimmtes Merkmal eines Szenenbereichs angesehen wird.
  5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in jedem Bildelement die, insbesondere aufgrund von Helligkeitsänderungen eintretende, Änderung des Fotostromes überwacht und summiert bzw. integriert wird, dass bei Überschreiten eines Schwellwertes das Bildelement sofort ein Signal asynchron an die Verarbeitungseinheit abgibt und dass insbesondere nach jeder Signalgabe ein Neubeginn der Summierung bzw. Integration erfolgt. 5/9 österreichisches Patentamt AT502 551 B1 2010-11-15
  6. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass positive und negative Änderungen des Fotostromes getrennt festgestellt bzw. detektiert und verarbeitet bzw. ausgewertet werden.
  7. 7. Bildauswertungseinheit zur Aufnahme von Szeneninformationen, wobei die Szene oder die Objekte in der Szene und der optische Sensor eine Relativbewegung zueinander vollführen und mit einer Auswerteeinheit für die erhaltenen Szeneinformationen, wobei der optische Sensor Bildelemente aufweist, die die visuelle Information der Szene erfassen, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, wobei die einzelnen Bildelemente bzw. Pixel bei Feststellung einer einen vorgegebenen Schwellwert überschreitenden absoluten Intensitätsänderung oder relativen Intensitätsänderung (Kontrast) des aufgenommenen Lichtes ein Ausgangssignal abgeben, das relevant für eine erfolgte Relativbewegung zwischen dem aufgenommenen Szenenpunkt und dem optischen Sensor und/oderfür eine Szeneninhaltsänderung ist, und wobei eine Einheit zur Ermittlung der Orte bzw. Bildelementskoordinaten der festgestellten Intensitätsänderungen sowie zur Ermittlung der Zeitabhängigkeit der festgestellten Intensitätsänderungen, insbesondere Zeitpunkt und Aufeinanderfolge, vorgesehen ist, dadurch gekennzeichnet, - dass der Einheit ein Pufferspeicher nachgeschaltet ist, in dem die festgestellten Intensitätsänderungen sowie die Zeitpunkte der Intensitätsänderungen der Einheit zugeführt sind, wobei der Pufferspeicher als FIFO-Speicher ausgebildet ist und die Intensitätsänderungen sowie die zugehörigen Zeitpunkte an seinem Ausgang in der Reihenfolge ihres Einlangens zur Verfügung hält, - dass dem Pufferspeicher eine Recheneinheit nachgeschaltet ist, in der mit statistischen Methoden, insbesondere Mittelwertbildung, Histogrammen, Schwerpunktbildung, Dokument- bzw. Ordnungbildungsmethoden, Filterung überZeitod. dgl., lokale Häufungen der Intensitätsänderungen der Bildelemente ermittelt werden, - dass eine Bewertungseinheit der Recheneinheit nachgeschaltet ist, mit der die lokalen Häufungen mit statistischen Methoden, z.B. Wichtung, Schwellwertvorgabe bezüglich Anzahl und/oder Lage, Datenbereichsbereinigungmethoden od. dgl., bewertet werden, insbesondere in Hinblick auf die zeitliche Änderung der Häufungsdichte und/oder Änderung der örtlichen Verteilung, wobei die ermittelten Werte die Parameter, z.B. Größe, Geschwindigkeit, Bewegungsrichtung, Form od. dgl., eines erfassten Szenenbereichs darstellen, - dass eine Vergleichseinheit der Bewertungseinheit nachgeschaltet ist, die zumindest einen der Parameter mit zumindest einem vorgegebenen Parameter vergleicht, der (die) als charakteristisch für ein Objekt angesehen wird (werden) und - dass bei Erfüllung der vorgegebenen Vergleichskriterien die dem jeweiligen Szenenbereich zugeordnete(n) und bewertete(n) lokale(n) Häufung(en) als Abbildung dieses Objektes angesehen wird (werden). Hierzu 3 Blatt Zeichnungen 6/9
AT0101105A 2005-06-15 2005-06-15 Verfahren und bildauswertungseinheit zur szenenanalyse AT502551B1 (de)

Priority Applications (8)

Application Number Priority Date Filing Date Title
AT0101105A AT502551B1 (de) 2005-06-15 2005-06-15 Verfahren und bildauswertungseinheit zur szenenanalyse
CA002610965A CA2610965A1 (en) 2005-06-15 2006-06-14 Method and image evaluation unit for scene analysis
JP2008516063A JP2008547071A (ja) 2005-06-15 2006-06-14 シーン解析するための方法および画像評価ユニット
CNA2006800212545A CN101258512A (zh) 2005-06-15 2006-06-14 用于场景分析的方法和图像分析单元
PCT/AT2006/000245 WO2006133474A1 (de) 2005-06-15 2006-06-14 Verfahren und bildauswertungseinheit zur szenenanalyse
EP06741041A EP1897032A1 (de) 2005-06-15 2006-06-14 Verfahren und bildauswertungseinheit zur szenenanalyse
KR1020077030584A KR20080036016A (ko) 2005-06-15 2006-06-14 영상 분석을 위한 방법 및 이미지 평가 유닛
US11/957,709 US20080144961A1 (en) 2005-06-15 2007-12-17 Method and Image Evaluation Unit for Scene Analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
AT0101105A AT502551B1 (de) 2005-06-15 2005-06-15 Verfahren und bildauswertungseinheit zur szenenanalyse

Publications (2)

Publication Number Publication Date
AT502551A1 AT502551A1 (de) 2007-04-15
AT502551B1 true AT502551B1 (de) 2010-11-15

Family

ID=36933426

Family Applications (1)

Application Number Title Priority Date Filing Date
AT0101105A AT502551B1 (de) 2005-06-15 2005-06-15 Verfahren und bildauswertungseinheit zur szenenanalyse

Country Status (8)

Country Link
US (1) US20080144961A1 (de)
EP (1) EP1897032A1 (de)
JP (1) JP2008547071A (de)
KR (1) KR20080036016A (de)
CN (1) CN101258512A (de)
AT (1) AT502551B1 (de)
CA (1) CA2610965A1 (de)
WO (1) WO2006133474A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065197B2 (en) * 2007-03-06 2011-11-22 Portrait Innovations, Inc. System, method, and computer program product for evaluating photographic performance
US8103056B2 (en) * 2008-10-15 2012-01-24 Honeywell International Inc. Method for target geo-referencing using video analytics
DE102009005920A1 (de) * 2009-01-23 2010-07-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern mindestens einer Lichtzeichenanlage eines Fußgängerüberwegs
US8452599B2 (en) * 2009-06-10 2013-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for extracting messages
CN101931789A (zh) * 2009-06-26 2010-12-29 上海宝康电子控制工程有限公司 关键区域中的高清晰人像自动记录及比对系统及其方法
US8269616B2 (en) * 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
US8744131B2 (en) * 2009-09-29 2014-06-03 Panasonic Corporation Pedestrian-crossing marking detecting method and pedestrian-crossing marking detecting device
US8337160B2 (en) * 2009-10-19 2012-12-25 Toyota Motor Engineering & Manufacturing North America, Inc. High efficiency turbine system
US8237792B2 (en) * 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
US8424621B2 (en) 2010-07-23 2013-04-23 Toyota Motor Engineering & Manufacturing North America, Inc. Omni traction wheel system and methods of operating the same
CN102739919A (zh) * 2011-04-14 2012-10-17 江苏中微凌云科技股份有限公司 动态监测的方法及设备
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
EP2720171B1 (de) * 2012-10-12 2015-04-08 MVTec Software GmbH Erkennung und Haltungsbestimmung von 3D-Objekten in multimodalen Szenen
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
CN106991418B (zh) * 2017-03-09 2020-08-04 上海小蚁科技有限公司 飞虫检测方法、装置及终端
KR102103521B1 (ko) 2018-01-12 2020-04-28 상명대학교산학협력단 인공지능 심층학습 기반의 영상물 인식 시스템 및 방법
KR102027878B1 (ko) 2018-01-25 2019-10-02 상명대학교산학협력단 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법
JP2020053827A (ja) * 2018-09-27 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
US11885669B2 (en) * 2019-04-25 2024-01-30 Prophesee Systems and methods for imaging and sensing vibrations
JP7393851B2 (ja) 2019-05-31 2023-12-07 慎太朗 芝 撮像装置、撮像方法及びプログラム
KR20230085509A (ko) 2021-12-07 2023-06-14 울산과학기술원 테스트 영상 특징 반영에 의한 영상 분석 개선 시스템 및 방법
US11558542B1 (en) * 2022-01-03 2023-01-17 Omnivision Technologies, Inc. Event-assisted autofocus methods and apparatus implementing the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0330269B1 (de) * 1988-02-23 1993-09-22 Koninklijke Philips Electronics N.V. Verfahren und Anordnung zum Abschätzen des Bewegungsausmasses bei einem Bildelement eines Fernsehbildes
US5341439A (en) * 1989-09-21 1994-08-23 Hsu Shin Yi System for texture-based automatic detection of man-made objects in representations of sensed natural environmental scenes
JPH096957A (ja) * 1995-06-23 1997-01-10 Toshiba Corp 濃度画像の2値化方法および画像2値化装置
US5956424A (en) * 1996-12-23 1999-09-21 Esco Electronics Corporation Low false alarm rate detection for a video image processing based security alarm system
JP3521109B2 (ja) * 1997-02-17 2004-04-19 シャープ株式会社 動き検出用固体撮像装置
GB2368021A (en) * 2000-10-21 2002-04-24 Roy Sennett Mouth cavity irrigation device
US20020131643A1 (en) * 2001-03-13 2002-09-19 Fels Sol Sidney Local positioning system
US7327393B2 (en) * 2002-10-29 2008-02-05 Micron Technology, Inc. CMOS image sensor with variable conversion gain
US7796173B2 (en) * 2003-08-13 2010-09-14 Lettvin Jonathan D Imaging system
JP4193812B2 (ja) * 2005-05-13 2008-12-10 カシオ計算機株式会社 撮像装置、撮像方法及びそのプログラム
US7755672B2 (en) * 2006-05-15 2010-07-13 Zoran Corporation Techniques for modifying image field data obtained using illumination sources

Also Published As

Publication number Publication date
KR20080036016A (ko) 2008-04-24
EP1897032A1 (de) 2008-03-12
CA2610965A1 (en) 2006-12-21
WO2006133474A1 (de) 2006-12-21
AT502551A1 (de) 2007-04-15
CN101258512A (zh) 2008-09-03
US20080144961A1 (en) 2008-06-19
JP2008547071A (ja) 2008-12-25

Similar Documents

Publication Publication Date Title
AT502551B1 (de) Verfahren und bildauswertungseinheit zur szenenanalyse
DE102017217056B4 (de) Verfahren und Einrichtung zum Betreiben eines Fahrerassistenzsystems sowie Fahrerassistenzsystem und Kraftfahrzeug
US6985172B1 (en) Model-based incident detection system with motion classification
DE602005001627T2 (de) Vorrichtung zur Extraktion von Fussgängern
DE60020420T2 (de) Situationsdarstellungs-Anzeigesystem
Alpatov et al. Vehicle detection and counting system for real-time traffic surveillance
DE60123936T2 (de) Einrichtung zum erkennen der anwesenheit von objekten
DE102005026876B4 (de) Fahrzeugumgebungs-Überwachungsvorrichtung
DE10030421B4 (de) Fahrzeugumgebungsüberwachungssystem
WO2013072231A1 (de) Verfahren zur nebeldetektion
CN105354563A (zh) 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
EP2973211A1 (de) Videostromauswertung
EP2174260A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE112013003276T5 (de) Objekterkennungseinrichtung
Nodado et al. Intelligent traffic light system using computer vision with android monitoring and control
DE19937928B4 (de) Einrichtung zum Erkennen eines beweglichen Körpers und Einrichtung zum Überwachen eines Kraftfahrzeugs
Chen et al. Traffic extreme situations detection in video sequences based on integral optical flow
DE102009024066A1 (de) Verfahren und Vorrichtung zum Klassifizieren von Situationen
EP1504285A1 (de) Verfahren und vorrichtung zur sichtweitenmessung mit bildsensorsystemen
DE102005050609B4 (de) Vorrichtung und Verfahren zum Überwachen der Umgebung eines Fahrzeugs
Mossi et al. Real-time traffic analysis at night-time
EP2254104B1 (de) Verfahren zum automatischen Erkennen einer Situationsänderung
DE10049366A1 (de) Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
DE102018120228A1 (de) Verfahren zum Betreiben eines automatischen Bremssystems

Legal Events

Date Code Title Description
MM01 Lapse because of not paying annual fees

Effective date: 20190615