DE10136649B4 - Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen - Google Patents

Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen Download PDF

Info

Publication number
DE10136649B4
DE10136649B4 DE10136649A DE10136649A DE10136649B4 DE 10136649 B4 DE10136649 B4 DE 10136649B4 DE 10136649 A DE10136649 A DE 10136649A DE 10136649 A DE10136649 A DE 10136649A DE 10136649 B4 DE10136649 B4 DE 10136649B4
Authority
DE
Germany
Prior art keywords
determined
camera
recognition
cameras
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE10136649A
Other languages
English (en)
Other versions
DE10136649A1 (de
Inventor
Richard Dr. Woesler
Axel Berres
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority to DE10136649A priority Critical patent/DE10136649B4/de
Publication of DE10136649A1 publication Critical patent/DE10136649A1/de
Application granted granted Critical
Publication of DE10136649B4 publication Critical patent/DE10136649B4/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems

Abstract

Verfahren zur Objekterkennung von sich bewegenden Kraftfahrzeugen, mittels mehrerer sich im Sichtbereich nicht überlappender Kameras, umfassend folgende Verfahrensschritte:
a) Aufnehmen von mindestens zwei aufeinanderfolgender farbiger Bilder durch eine erste Kamera,
b) Messen oder Erfassen der Beleuchtungsverhältnisse während der Aufnahme,
c) Bilden eines Differenzbildes, um bewegte Objekte zu ermitteln;
d) Ermitteln von Objektkonturen und/oder 3D-Modellen aus dem Differenzbild und/oder einem Farbbild mittels eines Skalenraumansatzes und einer der Synchronisation von Neuronen in künstlichen oder biologischen neuronalen Netzen verwandten Ansatzes, wobei die nächsthöhere Ebene des Skalenraumes durch eine Anwendung einer jeweils breiteren Gaußfunktion auf die Pixelebene oder die darunterliegende Ebene ermittelt wird, wobei aus der dadurch entstehenden Pyramidenstruktur des Objektes die Abgrenzungen des Objektes ableitbar sind, wobei weiter ein zweites neuronales Netz gebildet wird, bei dem die einzelnen Ebenen durch Multiplikation mit einem jeweiligen Wichtungsfaktor gebildet werden, wobei die lokalen Maxima des zweiten neuronalen Netzes bestimmt werden, wobei lokale...

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen.
  • Derartige Verfahren sind insbesondere zur Erfassung bzw. Abschätzung des Verkehrsflusses wichtig, wobei dann die daraus gewonnenen Daten für verschiedene Zwecke wie beispielsweise intelligente Ampelsteuerungen oder schnelle Verkehrsmeldungen verwendbar sind.
  • Zur Objekterkennung und -verfolgung sind bereits verschiedene Verfahren bekannt, die auf verschiedenen Lösungsansätzen beruhen. Die bekanntesten Verfahren beruhen dabei auf 3D-basierten Modellen, region-basierter Objektverfolgung oder auf einer Konturermittlung des Objektes.
  • Ein Verfahren zur Objekterkennung und -verfolgung ist beispielsweise aus dem Fachartikel "D. Koller, K.Daniilidis, and H.H. Nagel, Model based object tracking in monocular image sequences of road traffic scences" bekannt. Hierbei verfügt das System über eine Datenbank in der 3D-Drahtgittermodelle der gängigsten Fahrzeugtypen in einem Speicher abgelegt sind. Anschaulich wird das 3D-Drahtgittermodell durch einen Satz Vektoren beschrieben, die die einzelnen Abmessungen beinhalten. Bei der Objekterkennung und -verfolgung werden die erkennbaren Linien eines Objekts in Vektoren umgesetzt und mit den Inhalten der Datenbank verglichen. Dabei wird angenommen, daß das Objekt vom Fahrzeugtyp ist, mit dessen 3D-Drahtgittermodell die größte Übereinstimmung existiert. Anschließend wird dann das Objekt unter zur Hilfenahme des 3D-Drahtgittermodells in den fortlaufenden Bildern einer Kamera verfolgt. Dieses Verfahren ist sehr gut, solange das Objekt im Sichtbereich einer Kamera bleibt. Soll das von einer Kamera detektierte Objekt jedoch von einer zweiten Kamera wiedergefunden werden, die keinen Überlappungsbereich zur ersten Kamera aufweist, sind die vorhandenen Informationen des 3D-Drahtgittermodells unzureichend, insbesondere da die Abmessung der einzelnen Kraftfahrzeugtypen nur geringfügig unterschiedlich sind.
  • Ähnliche Probleme stellen sich bei region- oder konturbasierenden Verfahren ein, wo ein Bildausschnitt oder eine Kontur erfasst wird und diese in den darauffolgenden Bildern gesucht werden. All diese Verfahren funktionieren mehr oder weniger gut, solange diese im Bereich einer Kamera bleiben. Jedoch bietet keines dieser Verfahren eine Lösung, wie ein von einer ersten Kamera gefundenes Objekt durch eine zweite Kamera wiederentdeckt werden kann. Dies ist jedoch notwendig, um detailliertere Aussagen über den Verkehr treffen zu können.
  • Eine theoretische Möglichkeit besteht darin, an jeder Kreuzung einen Satz von Kameras anzuordnen, der von einem Kraftfahrzeug ein eindeutiges Merkmal wie beispielsweise das Nummernschild erfasst. Der dabei notwendige Investitionsaufwand wäre enorm, so dass bereits aus Kostengründen ein solches System nicht zu realisieren ist. Ein weiteres Problem stellt der Datenschutz dar.
  • Aus der WO 97/50067 ist ein Verfahren zur Objekterkennung von sich bewegenden Kraftfahrzeugen bekannt, mittels mehrerer sich im Sichtbereich nicht überlappender Kameras, umfassend die Verfahrensschritte:
    • – Ermitteln von bewegten Objekten,
    • – Ermitteln von Objektkonturen aus einem Farbbild,
    • – Klassifizieren der ermittelten Objekte anhand vorhandener Referenzdaten,
    • – Zuordnen der ermittelten Objektkonturen zu einer zugeordneten Position in mindestens einer Aufnahme
    • – Zuordnen von Objektparametern zu dem klassifizierten Objekt, wobei mindestens ein Objektparameter die Farbe ist und
    • – Übermitteln der Objektparameter an eine Zentrale.
  • Aus der WO 97/16807 ist ein Verfahren zur Objekterkennung und -wiedererkennung bekannt. Dabei wird zunächst durch Differenzbildung eines Bildes mit einem Referenzbild (Hintergrund) pixelweise eine Zuordnung getroffen, ob ein Pixel dem Hintergrund oder nicht zugeordnet wird, wobei die verbleibenden Pixel mit Helligkeits- und Energieschwellwerten verglichen werden und als hell oder dunkel klassifiziert werden, wobei die verbleibenden Pixel als potentielle Objektpixel weiterverarbeitet werden und beispielsweise mit weiteren Schwellwerten verglichen werden. Die Objektkonturen werden dabei nach einer Maxima-Suche der Helligkeit durchgeführt. Anschließend werden gegebenenfalls nur fragmentweise ermittelte Gebiete zu einem Gesamtobjekt zusammengefügt. Des Weiteren offenbart die Druckschrift die Verwendung eines 3D-Skalenansatzes unter Verwendung von Gaußfunktionen, um pyramidenartige Strukturen zu erzeugen. Mittels dieser pyramidenartigen Struktur kann die Pixeldichte bzw. Auflösung angepasst werden sowie eine Bildstabilisierung aufgrund von Kamerabewegungen durchgeführt werden.
  • Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zur Objekterkennung und -wiedererkennung von sich bewegenden Kraftfahrzeugen zu verbessern, bei der mehrere sich im Sichtbereich im Allgemeinen nicht überlappende Kameras zur Anwendung kommen.
  • Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Patentansprüche 1 und 11. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Hierzu werden Kameras örtlich auf ein interessierendes Verkehrsgebiet verteilt, wobei sich die Kameras im Sichtbereich nicht überlappen, sondern auch mehrere Kilometer voneinander entfernt sein können. Jede Kamera nimmt dabei fortlaufend aufeinanderfolgende farbige Bilder auf. Dabei wird aus zwei aufeinanderfolgenden Bildern ein Differenzbild ermittelt, so dass statische Teile herausgefiltert werden. Des Weiteren werden die Beleuchtungsverhältnisse bei den Aufnahmen ermittelt. Aus dem Differenzbild und/oder dem Farbbild werden dann Objektkonturen und/oder 3D-Modelle des Objekts ermittelt. Mittels dieser Daten läßt sich bereits eine erste Klassifizierung anhand von a priori – Vergleichsdaten durchführen. Mit der ermittelten Kontur des Objektes wird dann in eine der farbigen Originalaufnahmen gegangen und die Farbe des Objektes bestimmt. Da die Farbe des Objektes in der Aufnahme stark von den Beleuchtungsverhältnissen abhängig ist, erfolgt die Farbzuordnung des Objekts in Abhängigkeit von den zuvor erfassten Beleuchtungsverhältnissen. Das klassifizierte Objekt kann dann mit der Farbzuordnung an benachbarte Kameras übertragen werden, so dass dort dann das Objekt nicht nur anhand der Klassifizierung nach Fahrzeugtyp (3D-Drahtgittermodell) sondern auch an der Farbe leichter wiedererkannt werden kann, was ohne die Farbangabe ansonsten kaum möglich wäre.
  • Dabei wird die Ermittlung der Objektkonturen und/oder des 3D-Modells aus dem Differenzbild mittels eines Skalenraumansatzes mit einer Synchronisation der Neuronen mittels einer Gaußfunktion durchgeführt. Das Verfahren bietet gegenüber herkömmlichen Clusterverfahren eine Vielzahl von Vorteilen, da dieser Ansatz eine sehr hohe Fehlertoleranz aufweist, was insbesondere bei teilweise verdeckten Objekten, bei Niederschlag, Nebel, geringer Pixelauflösung oder Bilddatenfehlern, die beispielsweise bei jpeg- oder mpeg-Kodierung auftreten, von Vorteil ist.
  • Zur genaueren Objektbestimmung wird ein zweites neuronales Netz gebildet, bei dem die einzelnen Ebenen durch Multiplikation mit einem Wichtungsfaktor gebildet werden, wobei die lokalen Maxima des zweiten neuronalen Netzes bestimmt werden, wobei jedes lokale Maximum im zweiten Netzwerk einer Pyramidenspitze im ersten Netzwerk entspricht, die lokalen Maxima ihrer Größe nach sortiert und in der Reihenfolge ihrer Größe durch bestimmte Kriterien darauf überprüft werden, ob diese ein Kraftfahrzeug sein können.
  • In einer weiteren bevorzugten Ausführungsform wird als Differenzbild ein binäres Bild verwendet, wozu ein Schwellenwert festgelegt wird, so dass Abweichungen zwischen den beiden Bildern nur oberhalb der Schwelle berücksichtigt werden. Der Vorteil des binären Bildes ist die einfache Zuordnung und der geringe Speicherplatzbedarf.
  • In einer weiteren bevorzugten Ausführungsform werden dem erkannten Objekt weitere Objektparameter wie Zeitpunkt der Aufnahme, der Ortsvektor des Objektes, ein Geschwindigkeitsvektor, der Fahrzeugtyp und/oder die Längsabmessung zugeordnet, so daß die Wiedererkennung des Objektes durch eine andere Kamera erleichtert wird. Insbesondere aus dem Geschwindigkeitsvektor lässt sich ableiten, an welcher Kamera das Objekt wann vermutlich eintreffen wird, so dass einerseits die zu übertragene Datenmenge reduziert wird, da nur noch an eine Kamera die Daten übertragen werden und zum anderen erhöht dies die Wiedererkennungsrate. Die dabei ermittelte Zeit zwischen zwei Kameras kann dann als mittlere Reisegeschwindigkeit für nachfolgende Objekte angesetzt werden, was wiederum die Wiedererkennungsrate erhöht.
  • In einer weiteren bevorzugten Ausführungsform werden die Randbereiche einer ermittelten Kontur bei der Farbzuordnung nicht berücksichtigt, da somit einerseits Matchingfehler und andererseits Reflexionen bei Sonnenschein unterdrückt werden, die ansonsten die Farbzuordnung verfälschen könnte.
  • Die vorzugsweise als Matrix-Kameras ausgebildeten Kameras werden vorzugsweise an einem möglichst hohen Punkt befestigt, um Verdeckungen weitgehend zu vermeiden. Die Kameras werden vorzugsweise an ausgewählten Kreuzungen an hohen Masten und/oder Häusern angeordnet.
  • Das Ziel des Verfahrens ist dabei nicht, jedes Fahrzeug wiederzuerkennen, sondern einen gewissen Prozentsatz der Wiedererkennung zu erreichen. Denn dies allein stellt bereits für die Simulation des Verkehrs einen großen Gewinn dar, weil zusätzlich Routeninformationen, die zu einer Verbesserung der Simulation dringend benötigt werden, zur Verfügung stehen. Die gewonnenen Daten können optional mit Floating-Car-Daten und anderen Datenquellen verbunden werden und ihre Genauigkeit dadurch weiter erhöht werden. Die Ergebnisse fließen in eine Computersimulation des Verkehrs der Region ein, um Prognosen für den Verkehr zu erstellen, Nutzern z.B. über Handy in Echtzeit individuelle Reisezeitinformationen bereitstellen zu können sowie um eine dynamische Ampelsteuerung durchzuführen. Im Gegenzug können die Anfrageinformationen des Nutzers – bei Zustimmung des Nutzers – vom System verwendet werden, um die Verkehrssimulation weiter zu verbessern.
  • Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die einzige Figur zeigt schematisch die Anwendung eines Skalenraumes zur Ermittlung der Kontur eines Objektes.
  • In der 1 ist ein schematisches Modell eines Kraftfahrzeuges 1 dargestellt. Dabei sei weiter angenommen, daß zuvor zwei farbige Aufnahmen von einem zu überwachenden Bereich aufgenommen wurden und anschließend ein binäres Differenzbild erzeugt wurde. Das Differenzbild weist dabei die geometrische Auflösung der Kamera auf. Ein beispielhaftes Differenzbild für das Kraftfahrzeug 1 ist in der Zeile a dargestellt. Aus diesen Informationen lässt sich noch nicht die Länge des Kraftfahrzeuges bzw. Objekts bestimmen. Hierzu werden benachbarte Pixel mittels einer Gaußfunktion zusammengefasst, wobei dies einem Kamerabild mit gröberer Auflösung entspricht, was in Zeile b dargestellt ist. Diese Verfahrensschritte werden wiederholt, so dass sich Zeile c ergibt. Das Ergebnis stellt eine Pyramide 2 dar, dessen Basis die Länge des Objektes bzw. des Kraftfahrzeuges ist. Dieses Verfahren wird zweidimensional angewandt, so dass dadurch insgesamt die Kontur des Kraftfahrzeuges ermittelt, wo in 1 aus Übersichtsgründen nur der Ansatz in einer Dimension dargestellt ist. Benachbarte Punkte in 1 werden in der Pyramide 2 zusammengefasst, wenn diese einen ähnlichen Aktivitätswert aufweisen. Die benachbarten Punkte in 1 lassen sich als Neuronen und das Zusammenfassen der Neuronen in der Pyramide 2 als Synchronisation bezeichnen, vergleichbar einer Synchronisation von Neuronen im visuellen Kortex des Menschen. Der Ansatz mit dem Skalenraum kann allerdings auch direkt auf ein Farbbild angewandt werden, wobei potentiell interessante Objekte vorab durch das Differenzbild ermittelt wurden.
  • Häufig existieren eine Vielzahl von benachbarten Pyramiden, so dass man durch den einfachen Skalenraumansatz noch kein eindeutiges Ergebnis für ein zu erkennendes Objekt hat. Daher wird vorzugsweise ein zweites neuronales Netz gebildet, bei dem die einzelnen Ebenen durch Multiplikation mit einem jeweiligen Wichtungsfaktor gebildet werden, wodurch ebenfalls wieder Pyramiden entstehen. Die Wichtungsfaktoren werden dabei vorzugsweise für die einzelne Ebene nach der Beziehung w = (D/r)λ gebildet, wobei D der Durchmesser des Kamerasensors, λ ein konstanter empirisch zu ermittelnder Exponent und r ein Maß des Durchmessers der zusammenzufassenden Pixelfläche ist, die kontinuierlich zu den höheren Ebenen vergrößert wird. Anschließend werden die lokalen Maxima des zweiten neuronalen Netzes bestimmt, wobei jedes lokale Maximum im zweiten Netzwerk einer Pyramidenspitze im ersten Netzwerk entspricht. Die lokalen Maxima werden der Größe nach sortiert, wobei lokale Maxima unterhalb eines bestimmten Grenzwertes vernachlässigbar sind. Die lokalen Maxima können dann in der Reihenfolge ihrer Größe durch bestimmte Kriterien darauf überprüft werden, ob diese ein Kraftfahrzeug sein können. Ein Kriterium ist dabei beispielsweise die Größe der Objektkontur.
  • Die so ermittelte Objekte werden mit 3D-Drahtgittermodellen verglichen, die im System vorab abgespeichert sind. Bei Übereinstimmung kann dann den detektierten Objekt das entsprechende 3D-Modell zugeordnet werden. Anschließend wird dem Objekt anhand des Farbbildes unter Berücksichtigung der Beleuchtungsverhältnisse eine Farbe zugeordnet.
  • Im einfachsten Fall können die Beleuchtungsverhältnisse mit einem Sensor ermittelt werden. Dies kann jedoch in einigen Anwendungsfällen nicht ausreichend sein, beispielsweise wenn Häuserschatten über dem interessierenden Bereich liegen. Daher wird vorzugsweise anhand des Farbbildes selbst eine Beleuchtungsanalyse durchgeführt. Hierzu existieren bereits verschiedene Verfahren im Stand der Technik. Vorzugsweise erfolgt die Beleuchtungsanalyse durch einen Übergang von RGB- zu rg-Daten, wobei die renormierten Farbwerte r und g durch r = R/(R + G + B) und g = G/(R + G + B) gegeben sind. Wenn man das rg-Bild verwendet, um das Bewegungsbild zu berechnen, fallen etwaige Schatten heraus, und diese renormierten Farbwerte sind daher zur Farbzuordnung und Farbwiedererkennung der Fahrzeuge einsetzbar.
  • Die Wiedererkennung findet zwischen räumlich getrennten Kameras statt. Objekte, die den visuellen Bereich einer Kamera verlassen und im Bereich einer benachbarten Kamera auftauchen, werden detektiert. Die Wiedererkennung erfolgt unter Berücksichtigung der Beleuchtungssituation farbbasiert. Dazu werden die Farbmittelwerte der 2D-Flächen der Drahtgittermodelle, jeweils unter Ausschluß von einem jeweils ca. 15 cm breiten Randbereich – um die Farbwerte nicht unnötig durch erstens etwaige Sonnenlichtreflexionen, die manchmal bei Sonnenschein an den Rändern der 2D-Flächen auftreten, und zweitens aufgrund des mittleren Fehlers des Matchens der Drahtgittermodelle an die wirklichen Fahrzeuge zu verfälschen – bestimmt. Zur Wiedererkennung werden die symbolischen Daten (Zeitpunkt, Ortsvektor, Geschwindigkeitsvektor, Fahrzeugprototyp, Längenabmessungen des Fahrzeugs und Farbmittelwerte der 2D-Flächen – die Anzahl der Daten kann natürlich erweitert werden) zweier detektierter Objekte nach Beleuchtungs-, Translations-, Rotations- und Skalierungsnormierung als Vektoren gespeichert. Teilvektoren (Geschwindigkeitsvektor, Fahrzeugprototyp, Längenabmessungen und Farbmittelwerte der 2D-Flächen) werden unter Verwendung eines mit Beispielen einmalig trainierten neuronalen Netz (z.B. Quickprop) verglichen und als selbes Objekt bzw. nicht-selbes klassifiziert. Die symbolischen Daten benötigen pro Fahrzeug nicht mehr als ca. 100 Byte Speicherbedarf. Dies ermöglicht es, eine extrem große Zahl von Fahrzeugen in Echtzeit zu vergleichen und wiederzuerkennen. Das Verfahren der Wiedererkennung ist rechen- und speicherplatzsparend konzipiert, so daß es sehr geeignet ist für eine Anwendung in großen Regionen wie z.B. in ganz Berlin. Die Rechenzeit wird weiter verringert, indem man annimmt, daß Fahrzeuge, die den Überwachungsbereich einer Kamera verlassen, sich danach im Allgemeinen nur auf der folgenden benachbarten Kreuzung bzw. für den Fall, daß nur sehr wenige Kreuzungen mit Kameras ausgerüstet werden, im Bereich weniger benachbarter Kameras wiederlinden werden, und daher findet nur ein Vergleich der Fahrzeugdaten mit denen der entsprechenden benachbarten Kameras statt. Nach einmaliger Wiedererkennung eines Fahrzeuges auf zwei benachbarten Kreuzungen ist es möglich, die Rechenzeit weiter zu verringern, indem die dabei automatisch ermittelte Reisezeit zwischen den Kreuzungen als Mittelwert eines größeren Bereichs von möglichen Reisezeiten der nachfolgenden Autos angenommen werden kann und somit nur in einem relativ kleinen Zeitintervall die entsprechenden Fahrzeuge verglichen werden müssen. Das für das jeweils nächste Fahrzeug erwartete Reiseintervall wird anhand weiterer wiedererkannter Fahrzeuge kontinuierlich adaptiv verbessert.

Claims (19)

  1. Verfahren zur Objekterkennung von sich bewegenden Kraftfahrzeugen, mittels mehrerer sich im Sichtbereich nicht überlappender Kameras, umfassend folgende Verfahrensschritte: a) Aufnehmen von mindestens zwei aufeinanderfolgender farbiger Bilder durch eine erste Kamera, b) Messen oder Erfassen der Beleuchtungsverhältnisse während der Aufnahme, c) Bilden eines Differenzbildes, um bewegte Objekte zu ermitteln; d) Ermitteln von Objektkonturen und/oder 3D-Modellen aus dem Differenzbild und/oder einem Farbbild mittels eines Skalenraumansatzes und einer der Synchronisation von Neuronen in künstlichen oder biologischen neuronalen Netzen verwandten Ansatzes, wobei die nächsthöhere Ebene des Skalenraumes durch eine Anwendung einer jeweils breiteren Gaußfunktion auf die Pixelebene oder die darunterliegende Ebene ermittelt wird, wobei aus der dadurch entstehenden Pyramidenstruktur des Objektes die Abgrenzungen des Objektes ableitbar sind, wobei weiter ein zweites neuronales Netz gebildet wird, bei dem die einzelnen Ebenen durch Multiplikation mit einem jeweiligen Wichtungsfaktor gebildet werden, wobei die lokalen Maxima des zweiten neuronalen Netzes bestimmt werden, wobei lokale Maxima im zweiten Netzwerk einer Pyramidenspitze im ersten Netzwerk entsprechen, die lokalen Maxima ihrer Größe nach sortiert und in der Reihenfolge ihrer Größe durch bestimmte Kriterien darauf überprüft werden, ob diese ein Kraftfahrzeug sein können, e) Klassifizieren der ermittelten Objekte anhand vorhandener Referenzdaten; f) Zuordnen der ermittelten Objektkonturen zu einer zugeordneten Position in mindestens einer Aufnahme gemäß Verfahrensabschnitt a), g) Zuordnen von Objektparametern zu dem klassifizierten Objekt, wobei mindestens ein Objektparameter die auf die Beleuchtungsverhältnisse normierte Farbe des Objekts ist und h) Übermitteln der Objektparameter an die benachbarten Kameras und/oder eine Zentrale.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Wichtungsfaktoren für das zweite neuronale Netz für die einzelne Ebene nach der Beziehung w = (D/r)λ gebildet werden, wobei D der Durchmesser des Kamerasensors, r ein Maß des Durchmessers einer zusammenzufassenden Pixelfläche und λ ein konstanter empirisch zu ermittelnder Exponent ist.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Kriterium der Überprüfung die Größe der Objektkontur ist.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als Differenzbild ein binäres Bild durch einen Schwellwertvergleich gebildet wird.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als weitere Objektparameter der Zeitpunkt der Aufnahme, der Ortsvektor, ein Geschwindigkeitsvektor, der Fahrzeugprototyp und/oder die Längsabmessung des Objektes beigefügt werden.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass Randbereiche der 2D-Flächen des 3D-Drahtgittermodells des Objektes bei der Farbzuordnung unberücksichtigt bleiben.
  7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mittels der Wiedererkennung Routeninformationen gebildet werden.
  8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass nach einmaliger Wiedererkennung eines Fahrzeuges automatisch die Reisezeit zwischen den Kreuzungen ermittelt wird und als Mittelwert eines größeren Bereiches von möglichen Reisezeiten der nachfolgenden Fahrzeuge angenommen wird.
  9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Daten in einer Verkehrssimulation berücksichtigt werden.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass gewonnene Reisezeit- und Routeninformationen aus der Fahrzeugwiedererkennung und die Verkehrsinformationen der Verkehrssimulation um Floating-Car-Daten und andere Datenquellen ergänzt werden, wodurch sich die Simulation weiter verbessert, wodurch sich eine verbesserte Verkehrsprognose ergibt, sowie in Echtzeit individuelle Reisezeitprognosen einem Nutzer mitgeteilt werden können.
  11. Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen, umfassend mindestens zwei sich im Sichtbereich nicht überlappende Kameras, wobei mittels der Kamera aufeinanderfolgende farbige Aufnahmen in dem jeweiligen Sichtbereich der Kamera aufnehmbar sind und der jeweiligen Kamera eine Bildverarbeitungseinrichtung zugeordnet ist, dadurch gekennzeichnet, dass den Kameras jeweils eine Einrichtung zur Ermittlung der Beleuchtungsverhältnisse des Objektes zugeordnet ist, in der Bildverarbeitungseinrichtung ein Differenzbild und aus dem Differenzbild und/oder einem Farbbild eine Objektkontur und/oder ein 3D-Modell mittels eines Skalenraumansatzes und einer der Synchronisation von Neuronen in künstlichen oder biologischen neuronalen Netzen verwandten Ansatzes durchgeführt wird, wobei die nächsthöhere Ebene des Skalenraumes durch eine Anwendung einer jeweils breiteren Gaußfunktion auf die Pixelebene oder die darunterliegende Ebene ermittelt wird, wobei aus der dadurch entstehenden Pyramidenstruktur des Objektes die Abgrenzungen des Objektes ableitbar sind, wobei weiter ein zweites neuronales Netz gebildet wird, bei dem die einzelnen Ebenen durch Multiplikation mit einem jeweiligen Wichtungsfaktor gebildet werden, wobei die lokalen Maxima des zweiten neuronalen Netzes bestimmt werden, wobei lokale Maxima im zweiten Netzwerk einer Pyramidenspitze im ersten Netzwerk entsprechen, die lokalen Maxima ihrer Größe nach sortiert und in der Reihenfolge ihrer Größe durch bestimmte Kriterien darauf überprüft werden, ob diese ein Kraftfahrzeug sein können, wobei anhand der Objektkontur und/oder des 3D-Modells das Objekt klassifizierbar ist und den Objekten anhand der farbigen Aufnahmen der Kamera eine zur Beleuchtung normierte Farbangabe zuordenbar ist und die klassifizierten Objektdaten einschließlich Farbangabe an eine Zentrale und/oder benachbarte Kameras übertragbar sind.
  12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Wichtungsfaktoren für das zweite neuronale Netz für die einzelne Ebene nach der Beziehung w = (D/r)λ gebildet werden, wobei D der Durchmesser des Kamerasensors, r ein Maß des Durchmessers einer zusammenzufassenden Pixelfläche und λ ein konstanter empirisch zu ermittelnder Exponent ist.
  13. Vorrichtung nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass das Kriterium der Überprüfung die Größe der Objektkontur ist.
  14. Vorrichung nach einem der Ansprüche 11 bis 13, dadurch gekennzeichnet, dass als Differenzbild ein binäres Bild durch einen Schwellwertvergleich gebildet wird.
  15. Vorrichtung nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass als weitere Objektparameter der Zeitpunkt der Aufnahme, der Ortsvektor, ein Geschwindigkeitsvektor, der Fahrzeugprototyp und/oder die Längsabmessung des Objektes beigefügt werden.
  16. Vorrichtung nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass Randbereiche der 2D-Flächen des 3D-Drahtgittermodells des Objektes bei der Farbzuordnung unberücksichtigt bleiben.
  17. Vorrichtung nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, dass mittels der Wiedererkennung Routeninformationen gebildet werden.
  18. Vorrichtung nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass nach einmaliger Wiedererkennung eines Fahrzeuges automatisch die Reisezeit zwischen den Kreuzungen ermittelt wird und als Mittelwert eines größeren Bereiches von möglichen Reisezeiten der nachfolgenden Fahrzeuge angenommen wird.
  19. Vorrichtung nach einem der Ansprüche 11 bis 18, dadurch gekennzeichnet, dass die Kameras als Matrix-Kameras ausgebildet sind.
DE10136649A 2001-07-20 2001-07-20 Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen Expired - Lifetime DE10136649B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10136649A DE10136649B4 (de) 2001-07-20 2001-07-20 Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10136649A DE10136649B4 (de) 2001-07-20 2001-07-20 Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen

Publications (2)

Publication Number Publication Date
DE10136649A1 DE10136649A1 (de) 2003-02-06
DE10136649B4 true DE10136649B4 (de) 2007-02-08

Family

ID=7693317

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10136649A Expired - Lifetime DE10136649B4 (de) 2001-07-20 2001-07-20 Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen

Country Status (1)

Country Link
DE (1) DE10136649B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012204541A1 (de) * 2012-03-21 2013-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10160719B4 (de) * 2001-12-11 2011-06-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten
CN111652965B (zh) * 2020-04-28 2023-06-09 武汉大势智慧科技有限公司 一种针对影像中移动车辆的判定方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997016807A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
WO1997050067A1 (en) * 1996-06-24 1997-12-31 Philips Electronics N.V. A multilane traffic registration system, comprising multiple and gantry-mounted detector means

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997016807A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
WO1997050067A1 (en) * 1996-06-24 1997-12-31 Philips Electronics N.V. A multilane traffic registration system, comprising multiple and gantry-mounted detector means

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOLLER,D., et.al.: Model-Based Object Tracking in Monocular Image Sequences of Road Traffic Scenes. In: International Journal of Computer Vision, 1993, 10:3, S.257-281 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012204541A1 (de) * 2012-03-21 2013-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten
US9521400B2 (en) 2012-03-21 2016-12-13 Bayerische Motoren Werke Aktiengesellschaft Method and device for processing images from image data
DE102012204541B4 (de) 2012-03-21 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten

Also Published As

Publication number Publication date
DE10136649A1 (de) 2003-02-06

Similar Documents

Publication Publication Date Title
DE19636028C1 (de) Verfahren zur Stereobild-Objektdetektion
DE69935437T2 (de) Visuelle vorrichtung
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE19831413C2 (de) Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr
DE102011086512A1 (de) Verfahren zur Nebeldetektion
DE112013001858T5 (de) Mehrfachhinweis-Objekterkennung und -Analyse
EP2005361A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102007034010A1 (de) Verfahren und Vorrichtung zur Bearbeitung von Videodaten
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102013212495A1 (de) Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
DE102007013664A1 (de) Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
DE102018133441A1 (de) Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs
DE10160719B4 (de) Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten
EP3931798B1 (de) Schätzung der bewegung einer bildposition
EP2528042A1 (de) Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE10136649B4 (de) Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen
DE102020204840A1 (de) Prozessierung von Mehrkanal-Bilddaten einer Bildaufnahmevorrichtung durch einen Bilddatenprozessor
DE102019127283A1 (de) System und Verfahren zum Erfassen eines Objekts in einer dreidimensionalen Umgebung eines Trägerfahrzeugs
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102019209473A1 (de) Verfahren und Vorrichtung zur schnellen Erfassung von sich wiederholenden Strukturen in dem Bild einer Straßenszene
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V.

8127 New person/name/address of the applicant

Owner name: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V.

8364 No opposition during term of opposition
R071 Expiry of right