DE102006059033A1 - Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung - Google Patents

Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung Download PDF

Info

Publication number
DE102006059033A1
DE102006059033A1 DE102006059033A DE102006059033A DE102006059033A1 DE 102006059033 A1 DE102006059033 A1 DE 102006059033A1 DE 102006059033 A DE102006059033 A DE 102006059033A DE 102006059033 A DE102006059033 A DE 102006059033A DE 102006059033 A1 DE102006059033 A1 DE 102006059033A1
Authority
DE
Germany
Prior art keywords
image
spectral range
road user
warning
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102006059033A
Other languages
English (en)
Inventor
Marc-Michael Dr. Meinecke
Thorsten Dr. Graf
Alexander Dr. Kirchner
Alberto Prof. Dr. Broggi
Alessandra Fascioli
Pietro Cerri
Stefano Ghidoni
Paolo Grisleri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102006059033A priority Critical patent/DE102006059033A1/de
Priority to EP07022843A priority patent/EP1933255B1/de
Publication of DE102006059033A1 publication Critical patent/DE102006059033A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06PDYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
    • D06P1/00General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
    • D06P1/0004General aspects of dyeing
    • D06P1/0012Effecting dyeing to obtain luminescent or phosphorescent dyeings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06PDYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
    • D06P1/00General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
    • D06P1/0004General aspects of dyeing
    • D06P1/002Processing by repeated dyeing, e.g. in different baths
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06PDYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
    • D06P1/00General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
    • D06P1/44General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06PDYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
    • D06P1/00General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
    • D06P1/44General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders
    • D06P1/52General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders using compositions containing synthetic macromolecular substances
    • D06P1/5207Macromolecular compounds obtained by reactions involving only carbon-to-carbon unsaturated bonds
    • D06P1/5214Polymers of unsaturated compounds containing no COOH groups or functional derivatives thereof
    • D06P1/5228Polyalkenyl alcohols, e.g. PVA
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06PDYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
    • D06P1/00General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
    • D06P1/44General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders
    • D06P1/52General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders using compositions containing synthetic macromolecular substances
    • D06P1/5207Macromolecular compounds obtained by reactions involving only carbon-to-carbon unsaturated bonds
    • D06P1/525Polymers of unsaturated carboxylic acids or functional derivatives thereof
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06PDYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
    • D06P3/00Special processes of dyeing or printing textiles, or dyeing leather, furs, or solid macromolecular substances in any form, classified according to the material treated
    • D06P3/02Material containing basic nitrogen
    • D06P3/04Material containing basic nitrogen containing amide groups
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06PDYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
    • D06P3/00Special processes of dyeing or printing textiles, or dyeing leather, furs, or solid macromolecular substances in any form, classified according to the material treated
    • D06P3/70Material containing nitrile groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung, bei dem ein Bild im sichtbaren Spektralbereich und ein Bild im nicht sichtbaren Spektralbereich aufgenommen werden, die aufgenommenen Bilder auf Verkehrsteilnehmer untersucht werden und eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkennt wird. Ferner betrifft die Erfindung ein Erkennungs- und Warnsystem mit einer ersten Kamera (1) zur Aufnahme eines Bildes im sichtbaren Spektralbereich und einer zweiten Kamera (2) zur Aufnahme eines Bildes im nicht sichtbaren Spektralbereich. Das erfindungsgemäße System ist dadurch gekennzeichnet, dass das System eine Auswerteeinheit (3) umfasst, der die von den Kameras (1, 2) aufgenommenen Bilder zuführbar sind, wobei mit der Auswerteeinheit (3) die Bilder der Kameras (1, 2) auf Verkehrsteilnehmer untersuchbar sind und wobei die Auswerteeinheit (3) so ausgebildet ist, dass nur dann eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung. Ferner betrifft die Erfindung ein Erkennungs- und Warnsystem mit einer ersten Kamera zur Aufnahme eines Bildes im sichtbaren Spektralbereich und einer zweiten Kamera zur Aufnahme eines Bildes im nicht sichtbaren Spektralbereich. Das Verfahren sowie das Erkennungs- und Warnsystem können insbesondere in einem Fortbewegungsmittel, wie z. B. einem Kraftfahrzeug, eingesetzt werden und hier Fahrerassistenzsysteme ergänzen.
  • Um Unfälle zwischen Kraftfahrzeugen und anderen Verkehrsteilnehmern, insbesondere solchen, die keine eigene Beleuchtung aufweisen, zu vermeiden, sind Systeme bekannt, die ein Wärmebild des Bereichs vor dem Fahrzeug aufnehmen und es dem Fahrer darstellen. Auf diese Weise kann der Fahrer, insbesondere bei Dunkelheit, besser unbeleuchtete Verkehrsteilnehmer, wie z. B. Fußgänger und ggf. auch Radfahrer, frühzeitig erkennen. Ferner sind Kamerasysteme bekannt, welche unterschiedliche Bildelemente klassifizieren und dem Fahrer eine Warnung ausgeben, wenn bestimmte Objekte bei bestimmten Positionen erkannt werden.
  • Aus der DE 10 2004 028 324 A1 ist beispielsweise ein Wärmebilderkennungssystem bekannt, welches eine Wärmebildkamera und Bildverarbeitungsmittel aufweist, wobei die Bildverarbeitungseinheit so ausgestaltet ist, dass sie unter Anwendung mindestens eines Lebewesen-Modells durch Auswertung des Wärmebilds automatisch ein Lebewesen in dem Wärmebild erkennen kann. Wird Lebewesen erkannt, kann der Fahrer beispielsweise durch ein Blinklicht darauf aufmerksam gemacht werden.
  • Des Weiteren ist aus der DE 10 2004 012 811 A1 eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs bekannt, bei der durch Analyse des Bildes einer Infrarotkamera auf einen Fußgänger geschlossen wird.
  • Nachteilhaft an bekannten Verfahren zum Erkennen eines Verkehrsteilnehmers und Erkennungs- und Warnsystemen ist, dass häufig fehlerhafte Warnmeldungen ausgegeben werden, d. h. es wird eine Warnung ausgegeben, obwohl die tatsächliche Situation keine Warnung erforderlich macht.
  • Es ist daher die Aufgabe der vorliegenden Erfindung, eine Verfahren und ein System der eingangs genannten Art bereitzustellen, mit denen die Zahl fehlerhafter Warnmeldungen beim Erkennen eines Verkehrsteilnehmers verringert werden kann.
  • Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und einem Erkennungs- und Warnsystem mit den Merkmalen des Anspruchs 8 gelöst. Vorteilhafte Aus- und Weiterbildungen ergeben sich aus den Unteransprüchen.
  • Bei dem erfindungsgemäßen Verfahren werden ein Bild im sichtbaren Spektralbereich und ein Bild im nicht sichtbaren Spektralbereich aufgenommen, die aufgenommenen Bilder werden auf Verkehrsteilnehmer untersucht und es wird eine Warnung ausgegeben, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird.
  • Unter einem Verkehrsteilnehmer wird im Sinne der Erfindung jedes Lebewesen verstanden, das sich in einem Verkehrsbereich aufhält. Bei einem Einsatz des Verfahrens in einem Kraftfahrzeug handelt es sich in diesem Fall insbesondere um unbeleuchtete Verkehrsteilnehmer, wie z. B. Fußgänger und ggf. Fahrradfahrer sowie Tiere.
  • Unter einem Bild im sichtbaren Spektralbereich wird eine Abbildung und Aufnahme der elektromagnetischen Strahlung verstanden, die für das menschliche Auge sichtbar ist. Unter einem Bild im nicht sichtbaren Spektralbereich wird eine Abbildung und Aufnahme von elektromagnetischer Strahlung verstanden, die für das menschliche Auge im Wesentlichen nicht sichtbar ist.
  • Bei der Untersuchung, ob in den Bildern ein Verkehrsteilnehmer erkannt werden kann, wird bevorzugt zunächst das Bild im nicht sichtbaren Spektralbereich untersucht. Wenn in diesem Bild kein Verkehrsteilnehmer erkannt wird, wird die Untersuchung beendet. Wenn in dem Bild des nicht sichtbaren Spektrums in einem bestimmten Bereich ein Verkehrsteilnehmer erkannt wird, wird das Bild im sichtbaren Spektrum in diesem Bereich untersucht. Hierbei wird vorzugsweise jedoch zunächst keine vollständige Bildanalyse durchgeführt, sondern zunächst nur geprüft, ob in dem Bild eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann. Ist dies nicht der Fall, kann bereits zu diesem Zeitpunkt als Ergebnis ausgegeben werden, dass kein Verkehrsteilnehmer im Bild des sichtbaren Spektrums erkannt worden ist und die entsprechende Warnung ausgegeben werden. Wenn andererseits im Bild des sichtbaren Spektrums in dem Bereich, in dem im Bild des nicht sichtbaren Spektrums ein Verkehrsteilnehmer erkannt worden ist, eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden könnte, wird eine weitere Bildanalyse dieses Bereichs durchgeführt, bei der zwischen einem Verkehrsteilnehmer und einem anderen Objekt, wie z. B. einem Baum oder einem Strauch, unterschieden werden kann. Diese Bildanalyse ist bei einem Bild im sichtbaren Spektrum jedoch relativ aufwändig. Diese aufwändige Bildanalyse muss bei dem erfindungsgemäßen Verfahren somit nur dann durchgeführt werden, wenn im Bild des sichtbaren Spektrums eine Struktur vorhanden ist, die in einem Bereich auftritt, in dem im Bild des nicht sichtbaren Spektrums ein Verkehrsteilnehmer erkannt wurde und die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann.
  • Durch das erfindungsgemäße Verfahren kann die Häufigkeit fehlerhafter Warnungen signifikant reduziert werden. Eine Vielzahl von fehlerhaften Warnmeldungen bei bekannten Verfahren ergibt sich aus einer Fehlinterpretation eines Bildes im nicht sichtbaren Spektralbereich, insbesondere eines Wärmebildes. Eine Warnung ist für den Fahrer jedoch nur dann erforderlich, wenn er selbst den Verkehrsteilnehmer, z. B. wegen Dunkelheit, nicht erkennen kann. Nur in diesem Fall ist er auf eine Warnung angewiesen. Bei dem erfindungsgemäßen Verfahren werden keine Warnungen erzeugt, wenn der Verkehrsteilnehmer auch für den Fahrer sichtbar ist, da in diesem Fall sowohl das Bild im sichtbaren Spektralbereich als auch das Bild im nicht sichtbaren Spektralbereich eine Abbildung des Verkehrsteilnehmers enthält. Eine Warnung erfolgt nur dann, wenn der Verkehrsteilnehmer im Bild des sichtbaren Spektralbereichs nicht erkannt wird.
  • Gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird die Entfernung eines Verkehrsteilnehmers berechnet, wenn der Verkehrsteilnehmer in dem Bild des sichtbaren und in dem Bild des nicht sichtbaren Spektralbereichs erkannt wird. Die beiden Bilder können hierfür z. B. als Stereobild aufgefasst werden, aus dem sich die Entfernung des Verkehrsteilnehmers berechnen lässt. In Abhängigkeit von der Entfernung des Verkehrsteilnehmers und Fahrzeugparametern, wie z. B. der Geschwindigkeit, können Warnungen ausgegeben werden.
  • Bei dem Bild im nicht sichtbaren Spektralbereich kann es sich insbesondere um ein Wärmebild handeln, das z. B. mittels einer Infrarotkamera, insbesondere einer Fern-Infrarot-Kamera, aufgenommen wird.
  • Gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird ein Fußgänger erkannt, indem die Beinbewegung des Fußgängers untersucht wird und nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt. Die Querbewegung des Fußgängers kann beispielsweise an der offenen Beinstellung des Fußgängers erkannt werden. Die Querrichtung bezieht sich auf die Bewegungsrichtung eines Verkehrsmittels, in dem das erfindungsgemäße Verfahren eingesetzt wird. Durch diese Weiterbildung kann die Fehlerhäufigkeit der Warnungen beim Erkennen von Fußgängern weiter reduziert werden, da Fußgänger, die sich z. B. auf einem Bürgersteig in Richtung des Verkehrsmittels oder in entgegengesetzter Richtung bewegen, nicht zu einer Warnung führen. Die aufwändige Analyse der Beinbewegung des Fußgängers wird bei dem erfindungsgemäßen Verfahren bevorzugt nur im Bild des nicht sichtbaren Spektrums durchgeführt.
  • Das erfindungsgemäße Erkennungs- und Warnsystem umfasst eine Auswerteeinheit, der die von den Kameras aufgenommenen Bilder zuführbar sind, wobei mit der Auswerteeinheit die Bilder der Kameras auf Verkehrsteilnehmer untersuchbar sind und wobei die Auswerteeinheit so ausgebildet ist, dass nur dann eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird. Wie vorstehend beschrieben, untersucht die Auswerteeinheit bevorzugt zunächst das Bild des nicht sichtbaren Spektralbereichs. Wird in diesem Bild ein Verkehrsteilnehmer erkannt, untersucht die Auswerteeinheit im Bild des sichtbaren Spektralbereichs, ob in diesem Bereich eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann. Nur falls dies der Fall ist, wird eine weitergehende Analyse durchgeführt, ob diese Struktur tatsächlich einem Verkehrsteilnehmer zugeordnet werden kann.
  • Bei der ersten Kamera handelt es sich insbesondere um eine Wärmebildkamera, bevorzugt um eine Fern-Infrarot-Kamera. Sie nimmt elektromagnetische Strahlung im Fern-Infrarot-Spektralbereich (FIR) auf. Vorteilhaft an der Verwendung der Fern-Infrarot-Technologie ist, dass Verkehrsteilnehmer in großer Entfernung nachgewiesen werden können.
  • Mit der Auswerteeinheit ist ferner vorzugsweise die Beinbewegung eines Fußgängers untersuchbar, wobei nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt, die z. B. an einer offenen Beinstellung des Fußgängers erkennbar ist.
  • Die Erfindung betrifft ferner ein Fahrerassistenzsystem für ein Kraftfahrzeug mit dem vorstehend beschriebenen Erkennungs- und Warnsystem.
  • Die Erfindung wird nun anhand eines Ausführungsbeispiels mit Bezug zu den Zeichnungen erläutert.
  • 1 zeigt schematisch den Aufbau eines Ausführungsbeispiels des erfindungsgemäßen Erkennungs- und Warnsystems,
  • die 2A und B zeigen Bilder einer Kamera für den Fern-Infrarot-Spektralbereich und einer Kamera für den sichtbaren Spektralbereich,
  • die 3A und B zeigen die Bilder der beiden Kameras in einer Situation, bei welcher keine Warnung ausgegeben wird,
  • die 4A und B zeigen die Bilder der Kameras für eine Situation, bei der eine Warnung ausgegeben wird,
  • die 5 zeigt das Bild eines Fußgängers, der eine Querbewegung ausführt, das mit der Fern-Infrarot-Kamera aufgenommen wurde,
  • 6 zeigt das Bild eines Fußgängers, der eine Bewegung in Fahrtrichtung ausführt, das mit der Fern-Infrarot-Kamera aufgenommen wurde, und
  • die 7A bis 7F zeigen verschiedene, mit der Fern-Infrarot-Kamera aufgenommene Situationen.
  • Das Erkennungs- und Warnsystem ist Teil eines Fahrerassistenzsystems eines Kraftfahrzeugs. Auf gleiche Weise könnte es jedoch auch bei anderen Verkehrsmitteln eingesetzt werden. Mit dem System sollen insbesondere Fußgänger erkannt werden und dem Fahrer des Kraftfahrzeugs eine Warnung gegeben werden, wenn er selbst den Fußgänger, z. B. aufgrund von Dunkelheit, nicht erkennen kann.
  • Das System umfasst zwei Kameras 1 und 2. Die Kameras 1 und 2 sind so im Fahrzeug befestigt, dass Bilder des Bereichs vor dem Kraftfahrzeug erfasst werden können. Der Öffnungswinkel des erfassten Bereichs entspricht z. B. demjenigen, der bei bekannten Kamerasystemen in Fahrerassistenzsystemen für Kraftfahrzeuge eingesetzt wird. Mit der ersten Kamera wird ein Bild im sichtbaren Spektralbereich aufgenommen. Es kann sich beispielsweise um eine herkömmliche CCD-Kamera handeln. Das Bild dieser Kamera gibt die Situation vor dem Kraftfahrzeug wieder, wie sie vom Fahrer wahrgenommen wird.
  • Mit der zweiten Kamera wird ein Bild im nicht sichtbaren Spektralbereich aufgenommen. Diese Kamera ist insbesondere eine Wärmebildkamera, welche elektromagnetische Strahlung im fernen Infrarot-Bereich detektiert. Durch das Bild dieser Kamera können auch Objekte, insbesondere Lebewesen, die Infrarot-Strahlung abgeben, nachgewiesen werden. Es können so z. B. auch Fußgänger erkannt werden, die von dem Fahrer aufgrund von Dunkelheit nicht wahrgenommen werden können.
  • Die Kameras 1 und 2 nehmen fortlaufend Bilder desselben Bereichs auf und übertragen sie an eine Auswerteeinheit 3. Die Auswerteeinheit 3 umfasst Bildverarbeitungsmittel, mit denen die Bilder der beiden Kameras 1 und 2 auf Verkehrsteilnehmer untersucht werden können. Durch die Bildverarbeitungsmittel können insbesondere Fußgänger auf den Bildern der Kameras 1 und 2 erkannt werden. Falls die Auswerteeinheit 3 im Bild der zweiten Kamera 2 für den nicht sichtbaren Spektralbereich einen Verkehrsteilnehmer, insbesondere einen Fußgänger, erkennt, prüft die Auswerteeinheit 3, ob dieser Verkehrsteilnehmer auch im Bild der ersten Kamera 1 für den sichtbaren Spektralbereich erkannt werden kann. Hierbei prüft die Auswerteeinheit 3 zunächst in dem Bereich des Bildes der ersten Kamera 1, in dem im Bild der zweiten Kamera 2 der Verkehrsteilnehmer erkannt worden ist, ob eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann. Falls eine solche Struktur nicht vorhanden ist, d. h. z. B. wenn die Kontraste nicht ausreichen, um überhaupt einen Verkehrsteilnehmer erkennen zu können, wird die Untersuchung des Bildes der ersten Kamera 1 abgebrochen, woraufhin die Auswerteeinheit 3 ein Steuersignal an einer Einrichtung 4 zum Ausgeben einer Warnung überträgt. Falls die ermittelte Struktur in dem Bild der ersten Kamera 1 prinzipiell auf einen Verkehrsteilnehmer hinweisen könnte, wird diese Struktur von der Auswerteeinheit 3 weiter untersucht. Bei dieser weitergehenden Prüfung kann unterschieden werden, ob die Struktur zu einem Verkehrsteilnehmer gehört oder zu einem anderen Objekt, wie z. B. einer Pflanze. Nur wenn nach dieser weitergehenden Untersuchung feststeht, dass im Bild der ersten Kamera 1 in dem entsprechenden Bereich, kein Verkehrsteilnehmer erkannt wird, überträgt die Auswerteeinheit 3 das Steuersignal an die Einrichtung 4 zum Ausgeben einer Warnung. Dieses Steuersignal wird somit nur dann erzeugt, wenn der Fahrer, der nur den sichtbaren Spektralbereich wahrnimmt, den Verkehrsteilnehmer nicht erkennen kann, das Bild der Kamera für den nicht sichtbaren Spektralbereich jedoch anzeigt, dass sich ein Verkehrsteilnehmer vor dem Kraftfahrzeug befindet. Die Einrichtung 4 gibt dann eine akustische und/oder optische Warnung an den Fahrer aus. Ferner können z. B. das Fernlicht oder Zusatzscheinwerfer des Fahrzeugs eingeschaltet werden.
  • In der 2A ist ein Beispiel eines Bildes des Verkehrsbereichs vor einem Kraftfahrzeug gezeigt, welches von einer Fern-Infrarot-Kamera 2 aufgenommen wurde, in 2B ist ein Bild desselben Verkehrsbereichs gezeigt, das mit einer Kamera 1 für den sichtbaren Spektralbereich aufgenommen wurde.
  • Ein weiteres Beispiel ist in den 3A und 3B gezeigt. Die umrandeten Bereiche zeigen Teile des Bildes an, in dem die Auswerteeinheit 3 Fußgänger erkannt hat. Da die beiden Fußgänger sowohl in dem in 3A gezeigten Bild der Fern-Infrarot-Kamera 2 erkennbar sind, als auch in dem in 3B gezeigten Bild der Kamera 1 für den sichtbaren Spektralbereich, wird keine Warnung ausgegeben.
  • Bei dem in den 4A und 4B gezeigten Beispiel, sind die beiden Fußgänger nur noch in dem Bild der Fern-Infrarot-Kamera 2 erkennbar und nicht mehr in dem entsprechenden Bild der Kamera 1 für den sichtbaren Spektralbereich. In diesem Fall wird somit eine Warnung ausgegeben.
  • Falls von der Auswerteeinheit 3 ein Fußgänger, z. B. anhand des Umrisses erkannt wird, kann eine weitere Auswertung der Bewegung des Fußgängers erfolgen. Hierfür wird die Beinbewegung des Fußgängers anhand aufeinanderfolgender Bilder der Kamera 2 für den nicht sichtbaren Spektralbereich untersucht. In 5 ist das Bild der Fern-Infrarot-Kamera 2 gezeigt, welches einen Fußgänger aufgenommen hat, der sich quer zur Fahrtrichtung des Fahrzeugs bewegt. In 6 ist ein entsprechendes Bild der Fern-Infrarot-Kamera 2 gezeigt, welches einen Fußgänger aufgenommen hat, der sich in Fahrtrichtung bewegt. Als Entscheidungskriterium, ob sich der Fußgänger quer zum Fahrzeug oder längs zum Fahrzeug bewegt, wird die gut erkennbare Beinstellung genutzt. Wird die in 5 gezeigte offene Beinstellung nachgewiesen, wird eine Warnung ausgegeben, wird wie in 6 gezeigt, diese offene Beinstellung nicht nachgewiesen wird, keine Warnung ausgegeben. Die Verwendung der Beinstellung des Fußgängers als Entscheidungskriterium für die Bewegung des Fußgängers hat den Vorteil, dass es nicht erforderlich ist, die Trajektorien der Fußgängerbewegung zu ermitteln. Solche Trajektorien lassen sich mit einer Einzelkamera sehr schwer zuverlässig bestimmen, so dass die bestimmte Trajektorie als Auswertekriterium ungeeignet ist.
  • Die beiden Kameras 1 und 2 sind beabstandet zueinander angeordnet. Auf diese Weise kann die Entfernung eines Verkehrsteilnehmers berechnet werden, wenn der Verkehrsteilnehmer sowohl im Bild der Kamera 1 als auch im Bild der Kamera 2 erkannt wird. Die Kameraanordnung wird in diesen Fall wie ein Stereosystem ausgewertet.
  • 1
    Kamera für den sichtbaren Spektralbereich
    2
    Kamera für den nicht sichtbaren Spektralbereich
    3
    Auswerteeinheit
    4
    Einrichtung zum Ausgeben einer Warnung

Claims (15)

  1. Verfahren zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung, bei dem – ein Bild im sichtbaren Spektralbereich und ein Bild im nicht sichtbaren Spektralbereich aufgenommen werden, – die aufgenommenen Bilder auf Verkehrsteilnehmer untersucht werden und – eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Entfernung eines Verkehrsteilnehmers berechnet wird, wenn der Verkehrsteilnehmer in dem Bild des sichtbaren und in dem Bild des nicht sichtbaren Spektralbereichs erkannt wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bild im nicht sichtbaren Spektralbereich ein Wärmebild ist.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Wärmebild mittels einer Fern-Infrarot-Kamera (2) aufgenommen wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Verkehrsteilnehmer ein Fußgänger ist.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Beinbewegung des Fußgängers untersucht wird und nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Querbewegung des Fußgängers an einer offenen Beinstellung erkannt wird.
  8. Erkennungs- und Warnsystem mit einer ersten Kamera (1) zur Aufnahme eines Bildes im sichtbaren Spektralbereich und einer zweiten Kamera (2) zur Aufnahme eines Bildes im nicht sichtbaren Spektralbereich, dadurch gekennzeichnet, dass das System eine Auswerteeinheit (3) umfasst, der die von den Kameras (1, 2) aufgenommenen Bilder zuführbar sind, wobei mit der Auswerteeinheit (3) die Bilder der Kameras (1, 2) auf Verkehrsteilnehmer untersuchbar sind und wobei die Auswerteeinheit (3) so ausgebildet ist, dass nur dann eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird.
  9. System nach Anspruch 8, dadurch gekennzeichnet, dass die zweite Kamera (2) eine Wärmebildkamera ist.
  10. System nach Anspruch 9, dadurch gekennzeichnet, dass die Wärmebildkamera eine Fern-Infrarot-Kamera (2) ist.
  11. System nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass mit der Auswerteeinheit (3) die Entfernung eines Verkehrsteilnehmers berechenbar ist, wenn der Verkehrsteilnehmer in dem Bild des sichtbaren und in dem Bild des nicht sichtbaren Spektralbereichs erkannt wird.
  12. System nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass der Verkehrsteilnehmer ein Fußgänger ist.
  13. System nach Anspruch 12, dadurch gekennzeichnet, dass mit der Auswerteeinheit (3) die Beinbewegung des Fußgängers untersuchbar ist und nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt.
  14. System nach Anspruch 13, dadurch gekennzeichnet, dass mit der Auswerteeinheit (3) eine offene Beinstellung des Fußgängers erkennbar ist.
  15. Fahrerassistenzsystem für ein Kraftfahrzeug, umfassend ein Erkennungs- und Warnsystem nach einem der Ansprüche 8 bis 14.
DE102006059033A 2006-12-14 2006-12-14 Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung Withdrawn DE102006059033A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102006059033A DE102006059033A1 (de) 2006-12-14 2006-12-14 Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung
EP07022843A EP1933255B1 (de) 2006-12-14 2007-11-26 Verfahren und System zum erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006059033A DE102006059033A1 (de) 2006-12-14 2006-12-14 Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung

Publications (1)

Publication Number Publication Date
DE102006059033A1 true DE102006059033A1 (de) 2008-06-19

Family

ID=38894090

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006059033A Withdrawn DE102006059033A1 (de) 2006-12-14 2006-12-14 Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung

Country Status (2)

Country Link
EP (1) EP1933255B1 (de)
DE (1) DE102006059033A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9346401B2 (en) 2012-11-10 2016-05-24 Audi Ag Motor vehicle and method for operating a motor vehicle
DE112010004133B4 (de) * 2009-10-21 2017-11-02 Toyota Jidosha Kabushiki Kaisha Nachtsichtunterstützungssystem für ein Fahrzeug und Steuerverfahren hierfür
DE102016119592A1 (de) * 2016-10-14 2018-05-03 Connaught Electronics Ltd. Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5639283B2 (ja) 2011-11-25 2014-12-10 本田技研工業株式会社 車両周辺監視装置
DE102020006237A1 (de) 2020-10-09 2021-01-14 FEV Group GmbH Verfahren zur Kommunikation zwischen einem Fahrerassistenzsystems eines Fahrzeugs und einem menschlichen Verkehrsteilnehmer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10253509A1 (de) * 2002-11-16 2004-06-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
DE102004012811A1 (de) * 2003-03-20 2004-11-11 Honda Motor Co., Ltd. Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs
DE10329054A1 (de) * 2003-06-27 2005-01-13 Volkswagen Ag Kollisionsobjekt-Erkennungssystem
DE102004028324A1 (de) * 2003-06-16 2005-02-17 Volkswagen Ag Wärmebild-Erkennungssystem
US7139411B2 (en) * 2002-06-14 2006-11-21 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060261931A1 (en) * 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139411B2 (en) * 2002-06-14 2006-11-21 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
DE10253509A1 (de) * 2002-11-16 2004-06-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
DE102004012811A1 (de) * 2003-03-20 2004-11-11 Honda Motor Co., Ltd. Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs
DE102004028324A1 (de) * 2003-06-16 2005-02-17 Volkswagen Ag Wärmebild-Erkennungssystem
DE10329054A1 (de) * 2003-06-27 2005-01-13 Volkswagen Ag Kollisionsobjekt-Erkennungssystem

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112010004133B4 (de) * 2009-10-21 2017-11-02 Toyota Jidosha Kabushiki Kaisha Nachtsichtunterstützungssystem für ein Fahrzeug und Steuerverfahren hierfür
US9346401B2 (en) 2012-11-10 2016-05-24 Audi Ag Motor vehicle and method for operating a motor vehicle
DE102016119592A1 (de) * 2016-10-14 2018-05-03 Connaught Electronics Ltd. Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Also Published As

Publication number Publication date
EP1933255A2 (de) 2008-06-18
EP1933255B1 (de) 2012-06-06
EP1933255A3 (de) 2009-04-01

Similar Documents

Publication Publication Date Title
DE4410406C2 (de) Optoelektronische Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs
DE102016216883B4 (de) Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
EP1673751B1 (de) Verfahren und vorrichtung zur sichtbarmachung einer fahrzeugumgebung
DE102007039377B4 (de) Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop&Go-Funktion
EP1214224B1 (de) Kraftfahrzeug- sensoranordnung zur umgebungserfassung
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102011014081A1 (de) Verfahren zum Erkennen eines Abbiegemanövers
DE69401792T2 (de) Automatische Scheinwerfereinstellung zur Korrektur des Einflusses der Neigungsveränderung des Lichtbündels relativ zur Strasse
EP1516301A1 (de) Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur
EP1933255B1 (de) Verfahren und System zum erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung
DE19842827A1 (de) Precrashsensierungssystem
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102009011866A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Sichtweite für ein Fahrzeug
WO2018202762A1 (de) Verfahren zur ermittlung des knickwinkels eines gespanns
DE102019117455B3 (de) Vorrichtung und Verfahren zur Überwachung einer Hubladebühne für ein Fahrzeug
DE102016010373B4 (de) Verfahren und Vorrichtung zur Erkennung des Öffnungszustands eines Garagentores
EP2080684A1 (de) Verfahren und Vorrichtung zum Erfassen eines vorbeifahrenden Fahrzeuges bei Dunkelheit
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
DE10359125A1 (de) Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs
DE102017204836A1 (de) Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges
DE102019008840A1 (de) Verfahren zur Detektion von Objekten auf Schnellstraßen
DE10238215A1 (de) Verfahren und Vorrichtung zur Fahrerinformation bzw. zur Reaktion bei Verlassen der Fahrspur
DE102015209550A1 (de) Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs
EP1567982B1 (de) Verfahren und vorrichtung zur schattenkompensation in digitalen bildern
DE102004028324B4 (de) Wärmebild-Erkennungssystem

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R005 Application deemed withdrawn due to failure to request examination

Effective date: 20131217