DE102006059033A1 - Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung - Google Patents
Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung Download PDFInfo
- Publication number
- DE102006059033A1 DE102006059033A1 DE102006059033A DE102006059033A DE102006059033A1 DE 102006059033 A1 DE102006059033 A1 DE 102006059033A1 DE 102006059033 A DE102006059033 A DE 102006059033A DE 102006059033 A DE102006059033 A DE 102006059033A DE 102006059033 A1 DE102006059033 A1 DE 102006059033A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- spectral range
- road user
- warning
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06P—DYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
- D06P1/00—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
- D06P1/0004—General aspects of dyeing
- D06P1/0012—Effecting dyeing to obtain luminescent or phosphorescent dyeings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06P—DYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
- D06P1/00—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
- D06P1/0004—General aspects of dyeing
- D06P1/002—Processing by repeated dyeing, e.g. in different baths
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06P—DYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
- D06P1/00—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
- D06P1/44—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06P—DYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
- D06P1/00—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
- D06P1/44—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders
- D06P1/52—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders using compositions containing synthetic macromolecular substances
- D06P1/5207—Macromolecular compounds obtained by reactions involving only carbon-to-carbon unsaturated bonds
- D06P1/5214—Polymers of unsaturated compounds containing no COOH groups or functional derivatives thereof
- D06P1/5228—Polyalkenyl alcohols, e.g. PVA
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06P—DYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
- D06P1/00—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed
- D06P1/44—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders
- D06P1/52—General processes of dyeing or printing textiles, or general processes of dyeing leather, furs, or solid macromolecular substances in any form, classified according to the dyes, pigments, or auxiliary substances employed using insoluble pigments or auxiliary substances, e.g. binders using compositions containing synthetic macromolecular substances
- D06P1/5207—Macromolecular compounds obtained by reactions involving only carbon-to-carbon unsaturated bonds
- D06P1/525—Polymers of unsaturated carboxylic acids or functional derivatives thereof
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06P—DYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
- D06P3/00—Special processes of dyeing or printing textiles, or dyeing leather, furs, or solid macromolecular substances in any form, classified according to the material treated
- D06P3/02—Material containing basic nitrogen
- D06P3/04—Material containing basic nitrogen containing amide groups
-
- D—TEXTILES; PAPER
- D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
- D06P—DYEING OR PRINTING TEXTILES; DYEING LEATHER, FURS OR SOLID MACROMOLECULAR SUBSTANCES IN ANY FORM
- D06P3/00—Special processes of dyeing or printing textiles, or dyeing leather, furs, or solid macromolecular substances in any form, classified according to the material treated
- D06P3/70—Material containing nitrile groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Textile Engineering (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung, bei dem ein Bild im sichtbaren Spektralbereich und ein Bild im nicht sichtbaren Spektralbereich aufgenommen werden, die aufgenommenen Bilder auf Verkehrsteilnehmer untersucht werden und eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkennt wird. Ferner betrifft die Erfindung ein Erkennungs- und Warnsystem mit einer ersten Kamera (1) zur Aufnahme eines Bildes im sichtbaren Spektralbereich und einer zweiten Kamera (2) zur Aufnahme eines Bildes im nicht sichtbaren Spektralbereich. Das erfindungsgemäße System ist dadurch gekennzeichnet, dass das System eine Auswerteeinheit (3) umfasst, der die von den Kameras (1, 2) aufgenommenen Bilder zuführbar sind, wobei mit der Auswerteeinheit (3) die Bilder der Kameras (1, 2) auf Verkehrsteilnehmer untersuchbar sind und wobei die Auswerteeinheit (3) so ausgebildet ist, dass nur dann eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird.
Description
- Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung. Ferner betrifft die Erfindung ein Erkennungs- und Warnsystem mit einer ersten Kamera zur Aufnahme eines Bildes im sichtbaren Spektralbereich und einer zweiten Kamera zur Aufnahme eines Bildes im nicht sichtbaren Spektralbereich. Das Verfahren sowie das Erkennungs- und Warnsystem können insbesondere in einem Fortbewegungsmittel, wie z. B. einem Kraftfahrzeug, eingesetzt werden und hier Fahrerassistenzsysteme ergänzen.
- Um Unfälle zwischen Kraftfahrzeugen und anderen Verkehrsteilnehmern, insbesondere solchen, die keine eigene Beleuchtung aufweisen, zu vermeiden, sind Systeme bekannt, die ein Wärmebild des Bereichs vor dem Fahrzeug aufnehmen und es dem Fahrer darstellen. Auf diese Weise kann der Fahrer, insbesondere bei Dunkelheit, besser unbeleuchtete Verkehrsteilnehmer, wie z. B. Fußgänger und ggf. auch Radfahrer, frühzeitig erkennen. Ferner sind Kamerasysteme bekannt, welche unterschiedliche Bildelemente klassifizieren und dem Fahrer eine Warnung ausgeben, wenn bestimmte Objekte bei bestimmten Positionen erkannt werden.
- Aus der
DE 10 2004 028 324 A1 ist beispielsweise ein Wärmebilderkennungssystem bekannt, welches eine Wärmebildkamera und Bildverarbeitungsmittel aufweist, wobei die Bildverarbeitungseinheit so ausgestaltet ist, dass sie unter Anwendung mindestens eines Lebewesen-Modells durch Auswertung des Wärmebilds automatisch ein Lebewesen in dem Wärmebild erkennen kann. Wird Lebewesen erkannt, kann der Fahrer beispielsweise durch ein Blinklicht darauf aufmerksam gemacht werden. - Des Weiteren ist aus der
DE 10 2004 012 811 A1 eine Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs bekannt, bei der durch Analyse des Bildes einer Infrarotkamera auf einen Fußgänger geschlossen wird. - Nachteilhaft an bekannten Verfahren zum Erkennen eines Verkehrsteilnehmers und Erkennungs- und Warnsystemen ist, dass häufig fehlerhafte Warnmeldungen ausgegeben werden, d. h. es wird eine Warnung ausgegeben, obwohl die tatsächliche Situation keine Warnung erforderlich macht.
- Es ist daher die Aufgabe der vorliegenden Erfindung, eine Verfahren und ein System der eingangs genannten Art bereitzustellen, mit denen die Zahl fehlerhafter Warnmeldungen beim Erkennen eines Verkehrsteilnehmers verringert werden kann.
- Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und einem Erkennungs- und Warnsystem mit den Merkmalen des Anspruchs 8 gelöst. Vorteilhafte Aus- und Weiterbildungen ergeben sich aus den Unteransprüchen.
- Bei dem erfindungsgemäßen Verfahren werden ein Bild im sichtbaren Spektralbereich und ein Bild im nicht sichtbaren Spektralbereich aufgenommen, die aufgenommenen Bilder werden auf Verkehrsteilnehmer untersucht und es wird eine Warnung ausgegeben, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird.
- Unter einem Verkehrsteilnehmer wird im Sinne der Erfindung jedes Lebewesen verstanden, das sich in einem Verkehrsbereich aufhält. Bei einem Einsatz des Verfahrens in einem Kraftfahrzeug handelt es sich in diesem Fall insbesondere um unbeleuchtete Verkehrsteilnehmer, wie z. B. Fußgänger und ggf. Fahrradfahrer sowie Tiere.
- Unter einem Bild im sichtbaren Spektralbereich wird eine Abbildung und Aufnahme der elektromagnetischen Strahlung verstanden, die für das menschliche Auge sichtbar ist. Unter einem Bild im nicht sichtbaren Spektralbereich wird eine Abbildung und Aufnahme von elektromagnetischer Strahlung verstanden, die für das menschliche Auge im Wesentlichen nicht sichtbar ist.
- Bei der Untersuchung, ob in den Bildern ein Verkehrsteilnehmer erkannt werden kann, wird bevorzugt zunächst das Bild im nicht sichtbaren Spektralbereich untersucht. Wenn in diesem Bild kein Verkehrsteilnehmer erkannt wird, wird die Untersuchung beendet. Wenn in dem Bild des nicht sichtbaren Spektrums in einem bestimmten Bereich ein Verkehrsteilnehmer erkannt wird, wird das Bild im sichtbaren Spektrum in diesem Bereich untersucht. Hierbei wird vorzugsweise jedoch zunächst keine vollständige Bildanalyse durchgeführt, sondern zunächst nur geprüft, ob in dem Bild eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann. Ist dies nicht der Fall, kann bereits zu diesem Zeitpunkt als Ergebnis ausgegeben werden, dass kein Verkehrsteilnehmer im Bild des sichtbaren Spektrums erkannt worden ist und die entsprechende Warnung ausgegeben werden. Wenn andererseits im Bild des sichtbaren Spektrums in dem Bereich, in dem im Bild des nicht sichtbaren Spektrums ein Verkehrsteilnehmer erkannt worden ist, eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden könnte, wird eine weitere Bildanalyse dieses Bereichs durchgeführt, bei der zwischen einem Verkehrsteilnehmer und einem anderen Objekt, wie z. B. einem Baum oder einem Strauch, unterschieden werden kann. Diese Bildanalyse ist bei einem Bild im sichtbaren Spektrum jedoch relativ aufwändig. Diese aufwändige Bildanalyse muss bei dem erfindungsgemäßen Verfahren somit nur dann durchgeführt werden, wenn im Bild des sichtbaren Spektrums eine Struktur vorhanden ist, die in einem Bereich auftritt, in dem im Bild des nicht sichtbaren Spektrums ein Verkehrsteilnehmer erkannt wurde und die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann.
- Durch das erfindungsgemäße Verfahren kann die Häufigkeit fehlerhafter Warnungen signifikant reduziert werden. Eine Vielzahl von fehlerhaften Warnmeldungen bei bekannten Verfahren ergibt sich aus einer Fehlinterpretation eines Bildes im nicht sichtbaren Spektralbereich, insbesondere eines Wärmebildes. Eine Warnung ist für den Fahrer jedoch nur dann erforderlich, wenn er selbst den Verkehrsteilnehmer, z. B. wegen Dunkelheit, nicht erkennen kann. Nur in diesem Fall ist er auf eine Warnung angewiesen. Bei dem erfindungsgemäßen Verfahren werden keine Warnungen erzeugt, wenn der Verkehrsteilnehmer auch für den Fahrer sichtbar ist, da in diesem Fall sowohl das Bild im sichtbaren Spektralbereich als auch das Bild im nicht sichtbaren Spektralbereich eine Abbildung des Verkehrsteilnehmers enthält. Eine Warnung erfolgt nur dann, wenn der Verkehrsteilnehmer im Bild des sichtbaren Spektralbereichs nicht erkannt wird.
- Gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird die Entfernung eines Verkehrsteilnehmers berechnet, wenn der Verkehrsteilnehmer in dem Bild des sichtbaren und in dem Bild des nicht sichtbaren Spektralbereichs erkannt wird. Die beiden Bilder können hierfür z. B. als Stereobild aufgefasst werden, aus dem sich die Entfernung des Verkehrsteilnehmers berechnen lässt. In Abhängigkeit von der Entfernung des Verkehrsteilnehmers und Fahrzeugparametern, wie z. B. der Geschwindigkeit, können Warnungen ausgegeben werden.
- Bei dem Bild im nicht sichtbaren Spektralbereich kann es sich insbesondere um ein Wärmebild handeln, das z. B. mittels einer Infrarotkamera, insbesondere einer Fern-Infrarot-Kamera, aufgenommen wird.
- Gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird ein Fußgänger erkannt, indem die Beinbewegung des Fußgängers untersucht wird und nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt. Die Querbewegung des Fußgängers kann beispielsweise an der offenen Beinstellung des Fußgängers erkannt werden. Die Querrichtung bezieht sich auf die Bewegungsrichtung eines Verkehrsmittels, in dem das erfindungsgemäße Verfahren eingesetzt wird. Durch diese Weiterbildung kann die Fehlerhäufigkeit der Warnungen beim Erkennen von Fußgängern weiter reduziert werden, da Fußgänger, die sich z. B. auf einem Bürgersteig in Richtung des Verkehrsmittels oder in entgegengesetzter Richtung bewegen, nicht zu einer Warnung führen. Die aufwändige Analyse der Beinbewegung des Fußgängers wird bei dem erfindungsgemäßen Verfahren bevorzugt nur im Bild des nicht sichtbaren Spektrums durchgeführt.
- Das erfindungsgemäße Erkennungs- und Warnsystem umfasst eine Auswerteeinheit, der die von den Kameras aufgenommenen Bilder zuführbar sind, wobei mit der Auswerteeinheit die Bilder der Kameras auf Verkehrsteilnehmer untersuchbar sind und wobei die Auswerteeinheit so ausgebildet ist, dass nur dann eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird. Wie vorstehend beschrieben, untersucht die Auswerteeinheit bevorzugt zunächst das Bild des nicht sichtbaren Spektralbereichs. Wird in diesem Bild ein Verkehrsteilnehmer erkannt, untersucht die Auswerteeinheit im Bild des sichtbaren Spektralbereichs, ob in diesem Bereich eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann. Nur falls dies der Fall ist, wird eine weitergehende Analyse durchgeführt, ob diese Struktur tatsächlich einem Verkehrsteilnehmer zugeordnet werden kann.
- Bei der ersten Kamera handelt es sich insbesondere um eine Wärmebildkamera, bevorzugt um eine Fern-Infrarot-Kamera. Sie nimmt elektromagnetische Strahlung im Fern-Infrarot-Spektralbereich (FIR) auf. Vorteilhaft an der Verwendung der Fern-Infrarot-Technologie ist, dass Verkehrsteilnehmer in großer Entfernung nachgewiesen werden können.
- Mit der Auswerteeinheit ist ferner vorzugsweise die Beinbewegung eines Fußgängers untersuchbar, wobei nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt, die z. B. an einer offenen Beinstellung des Fußgängers erkennbar ist.
- Die Erfindung betrifft ferner ein Fahrerassistenzsystem für ein Kraftfahrzeug mit dem vorstehend beschriebenen Erkennungs- und Warnsystem.
- Die Erfindung wird nun anhand eines Ausführungsbeispiels mit Bezug zu den Zeichnungen erläutert.
-
1 zeigt schematisch den Aufbau eines Ausführungsbeispiels des erfindungsgemäßen Erkennungs- und Warnsystems, - die
2A und B zeigen Bilder einer Kamera für den Fern-Infrarot-Spektralbereich und einer Kamera für den sichtbaren Spektralbereich, - die
3A und B zeigen die Bilder der beiden Kameras in einer Situation, bei welcher keine Warnung ausgegeben wird, - die
4A und B zeigen die Bilder der Kameras für eine Situation, bei der eine Warnung ausgegeben wird, - die
5 zeigt das Bild eines Fußgängers, der eine Querbewegung ausführt, das mit der Fern-Infrarot-Kamera aufgenommen wurde, -
6 zeigt das Bild eines Fußgängers, der eine Bewegung in Fahrtrichtung ausführt, das mit der Fern-Infrarot-Kamera aufgenommen wurde, und - die
7A bis7F zeigen verschiedene, mit der Fern-Infrarot-Kamera aufgenommene Situationen. - Das Erkennungs- und Warnsystem ist Teil eines Fahrerassistenzsystems eines Kraftfahrzeugs. Auf gleiche Weise könnte es jedoch auch bei anderen Verkehrsmitteln eingesetzt werden. Mit dem System sollen insbesondere Fußgänger erkannt werden und dem Fahrer des Kraftfahrzeugs eine Warnung gegeben werden, wenn er selbst den Fußgänger, z. B. aufgrund von Dunkelheit, nicht erkennen kann.
- Das System umfasst zwei Kameras
1 und2 . Die Kameras1 und2 sind so im Fahrzeug befestigt, dass Bilder des Bereichs vor dem Kraftfahrzeug erfasst werden können. Der Öffnungswinkel des erfassten Bereichs entspricht z. B. demjenigen, der bei bekannten Kamerasystemen in Fahrerassistenzsystemen für Kraftfahrzeuge eingesetzt wird. Mit der ersten Kamera wird ein Bild im sichtbaren Spektralbereich aufgenommen. Es kann sich beispielsweise um eine herkömmliche CCD-Kamera handeln. Das Bild dieser Kamera gibt die Situation vor dem Kraftfahrzeug wieder, wie sie vom Fahrer wahrgenommen wird. - Mit der zweiten Kamera wird ein Bild im nicht sichtbaren Spektralbereich aufgenommen. Diese Kamera ist insbesondere eine Wärmebildkamera, welche elektromagnetische Strahlung im fernen Infrarot-Bereich detektiert. Durch das Bild dieser Kamera können auch Objekte, insbesondere Lebewesen, die Infrarot-Strahlung abgeben, nachgewiesen werden. Es können so z. B. auch Fußgänger erkannt werden, die von dem Fahrer aufgrund von Dunkelheit nicht wahrgenommen werden können.
- Die Kameras
1 und2 nehmen fortlaufend Bilder desselben Bereichs auf und übertragen sie an eine Auswerteeinheit3 . Die Auswerteeinheit3 umfasst Bildverarbeitungsmittel, mit denen die Bilder der beiden Kameras1 und2 auf Verkehrsteilnehmer untersucht werden können. Durch die Bildverarbeitungsmittel können insbesondere Fußgänger auf den Bildern der Kameras1 und2 erkannt werden. Falls die Auswerteeinheit3 im Bild der zweiten Kamera2 für den nicht sichtbaren Spektralbereich einen Verkehrsteilnehmer, insbesondere einen Fußgänger, erkennt, prüft die Auswerteeinheit3 , ob dieser Verkehrsteilnehmer auch im Bild der ersten Kamera1 für den sichtbaren Spektralbereich erkannt werden kann. Hierbei prüft die Auswerteeinheit3 zunächst in dem Bereich des Bildes der ersten Kamera1 , in dem im Bild der zweiten Kamera2 der Verkehrsteilnehmer erkannt worden ist, ob eine Struktur vorhanden ist, die prinzipiell einem Verkehrsteilnehmer zugeordnet werden kann. Falls eine solche Struktur nicht vorhanden ist, d. h. z. B. wenn die Kontraste nicht ausreichen, um überhaupt einen Verkehrsteilnehmer erkennen zu können, wird die Untersuchung des Bildes der ersten Kamera1 abgebrochen, woraufhin die Auswerteeinheit3 ein Steuersignal an einer Einrichtung4 zum Ausgeben einer Warnung überträgt. Falls die ermittelte Struktur in dem Bild der ersten Kamera1 prinzipiell auf einen Verkehrsteilnehmer hinweisen könnte, wird diese Struktur von der Auswerteeinheit3 weiter untersucht. Bei dieser weitergehenden Prüfung kann unterschieden werden, ob die Struktur zu einem Verkehrsteilnehmer gehört oder zu einem anderen Objekt, wie z. B. einer Pflanze. Nur wenn nach dieser weitergehenden Untersuchung feststeht, dass im Bild der ersten Kamera1 in dem entsprechenden Bereich, kein Verkehrsteilnehmer erkannt wird, überträgt die Auswerteeinheit3 das Steuersignal an die Einrichtung4 zum Ausgeben einer Warnung. Dieses Steuersignal wird somit nur dann erzeugt, wenn der Fahrer, der nur den sichtbaren Spektralbereich wahrnimmt, den Verkehrsteilnehmer nicht erkennen kann, das Bild der Kamera für den nicht sichtbaren Spektralbereich jedoch anzeigt, dass sich ein Verkehrsteilnehmer vor dem Kraftfahrzeug befindet. Die Einrichtung4 gibt dann eine akustische und/oder optische Warnung an den Fahrer aus. Ferner können z. B. das Fernlicht oder Zusatzscheinwerfer des Fahrzeugs eingeschaltet werden. - In der
2A ist ein Beispiel eines Bildes des Verkehrsbereichs vor einem Kraftfahrzeug gezeigt, welches von einer Fern-Infrarot-Kamera2 aufgenommen wurde, in2B ist ein Bild desselben Verkehrsbereichs gezeigt, das mit einer Kamera1 für den sichtbaren Spektralbereich aufgenommen wurde. - Ein weiteres Beispiel ist in den
3A und3B gezeigt. Die umrandeten Bereiche zeigen Teile des Bildes an, in dem die Auswerteeinheit3 Fußgänger erkannt hat. Da die beiden Fußgänger sowohl in dem in3A gezeigten Bild der Fern-Infrarot-Kamera2 erkennbar sind, als auch in dem in3B gezeigten Bild der Kamera1 für den sichtbaren Spektralbereich, wird keine Warnung ausgegeben. - Bei dem in den
4A und4B gezeigten Beispiel, sind die beiden Fußgänger nur noch in dem Bild der Fern-Infrarot-Kamera2 erkennbar und nicht mehr in dem entsprechenden Bild der Kamera1 für den sichtbaren Spektralbereich. In diesem Fall wird somit eine Warnung ausgegeben. - Falls von der Auswerteeinheit
3 ein Fußgänger, z. B. anhand des Umrisses erkannt wird, kann eine weitere Auswertung der Bewegung des Fußgängers erfolgen. Hierfür wird die Beinbewegung des Fußgängers anhand aufeinanderfolgender Bilder der Kamera2 für den nicht sichtbaren Spektralbereich untersucht. In5 ist das Bild der Fern-Infrarot-Kamera2 gezeigt, welches einen Fußgänger aufgenommen hat, der sich quer zur Fahrtrichtung des Fahrzeugs bewegt. In6 ist ein entsprechendes Bild der Fern-Infrarot-Kamera2 gezeigt, welches einen Fußgänger aufgenommen hat, der sich in Fahrtrichtung bewegt. Als Entscheidungskriterium, ob sich der Fußgänger quer zum Fahrzeug oder längs zum Fahrzeug bewegt, wird die gut erkennbare Beinstellung genutzt. Wird die in5 gezeigte offene Beinstellung nachgewiesen, wird eine Warnung ausgegeben, wird wie in6 gezeigt, diese offene Beinstellung nicht nachgewiesen wird, keine Warnung ausgegeben. Die Verwendung der Beinstellung des Fußgängers als Entscheidungskriterium für die Bewegung des Fußgängers hat den Vorteil, dass es nicht erforderlich ist, die Trajektorien der Fußgängerbewegung zu ermitteln. Solche Trajektorien lassen sich mit einer Einzelkamera sehr schwer zuverlässig bestimmen, so dass die bestimmte Trajektorie als Auswertekriterium ungeeignet ist. - Die beiden Kameras
1 und2 sind beabstandet zueinander angeordnet. Auf diese Weise kann die Entfernung eines Verkehrsteilnehmers berechnet werden, wenn der Verkehrsteilnehmer sowohl im Bild der Kamera1 als auch im Bild der Kamera2 erkannt wird. Die Kameraanordnung wird in diesen Fall wie ein Stereosystem ausgewertet. -
- 1
- Kamera für den sichtbaren Spektralbereich
- 2
- Kamera für den nicht sichtbaren Spektralbereich
- 3
- Auswerteeinheit
- 4
- Einrichtung zum Ausgeben einer Warnung
Claims (15)
- Verfahren zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung, bei dem – ein Bild im sichtbaren Spektralbereich und ein Bild im nicht sichtbaren Spektralbereich aufgenommen werden, – die aufgenommenen Bilder auf Verkehrsteilnehmer untersucht werden und – eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Entfernung eines Verkehrsteilnehmers berechnet wird, wenn der Verkehrsteilnehmer in dem Bild des sichtbaren und in dem Bild des nicht sichtbaren Spektralbereichs erkannt wird.
- Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bild im nicht sichtbaren Spektralbereich ein Wärmebild ist.
- Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Wärmebild mittels einer Fern-Infrarot-Kamera (
2 ) aufgenommen wird. - Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Verkehrsteilnehmer ein Fußgänger ist.
- Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Beinbewegung des Fußgängers untersucht wird und nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt.
- Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Querbewegung des Fußgängers an einer offenen Beinstellung erkannt wird.
- Erkennungs- und Warnsystem mit einer ersten Kamera (
1 ) zur Aufnahme eines Bildes im sichtbaren Spektralbereich und einer zweiten Kamera (2 ) zur Aufnahme eines Bildes im nicht sichtbaren Spektralbereich, dadurch gekennzeichnet, dass das System eine Auswerteeinheit (3 ) umfasst, der die von den Kameras (1 ,2 ) aufgenommenen Bilder zuführbar sind, wobei mit der Auswerteeinheit (3 ) die Bilder der Kameras (1 ,2 ) auf Verkehrsteilnehmer untersuchbar sind und wobei die Auswerteeinheit (3 ) so ausgebildet ist, dass nur dann eine Warnung ausgegeben wird, wenn im Bild des nicht sichtbaren Spektralbereichs ein Verkehrsteilnehmer erkannt wird und im Bild des sichtbaren Spektralbereichs dieser Verkehrsteilnehmer nicht erkannt wird. - System nach Anspruch 8, dadurch gekennzeichnet, dass die zweite Kamera (
2 ) eine Wärmebildkamera ist. - System nach Anspruch 9, dadurch gekennzeichnet, dass die Wärmebildkamera eine Fern-Infrarot-Kamera (
2 ) ist. - System nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass mit der Auswerteeinheit (
3 ) die Entfernung eines Verkehrsteilnehmers berechenbar ist, wenn der Verkehrsteilnehmer in dem Bild des sichtbaren und in dem Bild des nicht sichtbaren Spektralbereichs erkannt wird. - System nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass der Verkehrsteilnehmer ein Fußgänger ist.
- System nach Anspruch 12, dadurch gekennzeichnet, dass mit der Auswerteeinheit (
3 ) die Beinbewegung des Fußgängers untersuchbar ist und nur dann eine Warnung ausgegeben wird, wenn die Beinbewegung eine Querbewegung zeigt. - System nach Anspruch 13, dadurch gekennzeichnet, dass mit der Auswerteeinheit (
3 ) eine offene Beinstellung des Fußgängers erkennbar ist. - Fahrerassistenzsystem für ein Kraftfahrzeug, umfassend ein Erkennungs- und Warnsystem nach einem der Ansprüche 8 bis 14.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006059033A DE102006059033A1 (de) | 2006-12-14 | 2006-12-14 | Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung |
EP07022843A EP1933255B1 (de) | 2006-12-14 | 2007-11-26 | Verfahren und System zum erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006059033A DE102006059033A1 (de) | 2006-12-14 | 2006-12-14 | Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102006059033A1 true DE102006059033A1 (de) | 2008-06-19 |
Family
ID=38894090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102006059033A Withdrawn DE102006059033A1 (de) | 2006-12-14 | 2006-12-14 | Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP1933255B1 (de) |
DE (1) | DE102006059033A1 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9346401B2 (en) | 2012-11-10 | 2016-05-24 | Audi Ag | Motor vehicle and method for operating a motor vehicle |
DE112010004133B4 (de) * | 2009-10-21 | 2017-11-02 | Toyota Jidosha Kabushiki Kaisha | Nachtsichtunterstützungssystem für ein Fahrzeug und Steuerverfahren hierfür |
DE102016119592A1 (de) * | 2016-10-14 | 2018-05-03 | Connaught Electronics Ltd. | Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5639283B2 (ja) | 2011-11-25 | 2014-12-10 | 本田技研工業株式会社 | 車両周辺監視装置 |
DE102020006237A1 (de) | 2020-10-09 | 2021-01-14 | FEV Group GmbH | Verfahren zur Kommunikation zwischen einem Fahrerassistenzsystems eines Fahrzeugs und einem menschlichen Verkehrsteilnehmer |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10253509A1 (de) * | 2002-11-16 | 2004-06-17 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges |
DE102004012811A1 (de) * | 2003-03-20 | 2004-11-11 | Honda Motor Co., Ltd. | Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs |
DE10329054A1 (de) * | 2003-06-27 | 2005-01-13 | Volkswagen Ag | Kollisionsobjekt-Erkennungssystem |
DE102004028324A1 (de) * | 2003-06-16 | 2005-02-17 | Volkswagen Ag | Wärmebild-Erkennungssystem |
US7139411B2 (en) * | 2002-06-14 | 2006-11-21 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060261931A1 (en) * | 2003-08-15 | 2006-11-23 | Ziyi Cheng | Automobile security defence alarm system with face identification and wireless communication function |
-
2006
- 2006-12-14 DE DE102006059033A patent/DE102006059033A1/de not_active Withdrawn
-
2007
- 2007-11-26 EP EP07022843A patent/EP1933255B1/de not_active Not-in-force
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7139411B2 (en) * | 2002-06-14 | 2006-11-21 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
DE10253509A1 (de) * | 2002-11-16 | 2004-06-17 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges |
DE102004012811A1 (de) * | 2003-03-20 | 2004-11-11 | Honda Motor Co., Ltd. | Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs |
DE102004028324A1 (de) * | 2003-06-16 | 2005-02-17 | Volkswagen Ag | Wärmebild-Erkennungssystem |
DE10329054A1 (de) * | 2003-06-27 | 2005-01-13 | Volkswagen Ag | Kollisionsobjekt-Erkennungssystem |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112010004133B4 (de) * | 2009-10-21 | 2017-11-02 | Toyota Jidosha Kabushiki Kaisha | Nachtsichtunterstützungssystem für ein Fahrzeug und Steuerverfahren hierfür |
US9346401B2 (en) | 2012-11-10 | 2016-05-24 | Audi Ag | Motor vehicle and method for operating a motor vehicle |
DE102016119592A1 (de) * | 2016-10-14 | 2018-05-03 | Connaught Electronics Ltd. | Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
Also Published As
Publication number | Publication date |
---|---|
EP1933255A2 (de) | 2008-06-18 |
EP1933255B1 (de) | 2012-06-06 |
EP1933255A3 (de) | 2009-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4410406C2 (de) | Optoelektronische Vorrichtung zum Überwachen der Umgebung eines Fahrzeugs | |
DE102016216883B4 (de) | Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren | |
EP1673751B1 (de) | Verfahren und vorrichtung zur sichtbarmachung einer fahrzeugumgebung | |
DE102007039377B4 (de) | Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop&Go-Funktion | |
EP1214224B1 (de) | Kraftfahrzeug- sensoranordnung zur umgebungserfassung | |
WO2018206213A1 (de) | Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors | |
DE102011014081A1 (de) | Verfahren zum Erkennen eines Abbiegemanövers | |
DE69401792T2 (de) | Automatische Scheinwerfereinstellung zur Korrektur des Einflusses der Neigungsveränderung des Lichtbündels relativ zur Strasse | |
EP1516301A1 (de) | Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur | |
EP1933255B1 (de) | Verfahren und System zum erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung | |
DE19842827A1 (de) | Precrashsensierungssystem | |
DE102007025147B4 (de) | System zur Spurverlassenswarnung und/oder Spurhaltefunktion | |
DE102009011866A1 (de) | Verfahren und Vorrichtung zum Bestimmen einer Sichtweite für ein Fahrzeug | |
WO2018202762A1 (de) | Verfahren zur ermittlung des knickwinkels eines gespanns | |
DE102019117455B3 (de) | Vorrichtung und Verfahren zur Überwachung einer Hubladebühne für ein Fahrzeug | |
DE102016010373B4 (de) | Verfahren und Vorrichtung zur Erkennung des Öffnungszustands eines Garagentores | |
EP2080684A1 (de) | Verfahren und Vorrichtung zum Erfassen eines vorbeifahrenden Fahrzeuges bei Dunkelheit | |
DE102006004770B4 (de) | Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs | |
DE10359125A1 (de) | Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs | |
DE102017204836A1 (de) | Verfahren und Vorrichtung zum Erfassen von Objekten in der Umgebung eines Fahrzeuges | |
DE102019008840A1 (de) | Verfahren zur Detektion von Objekten auf Schnellstraßen | |
DE10238215A1 (de) | Verfahren und Vorrichtung zur Fahrerinformation bzw. zur Reaktion bei Verlassen der Fahrspur | |
DE102015209550A1 (de) | Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs | |
EP1567982B1 (de) | Verfahren und vorrichtung zur schattenkompensation in digitalen bildern | |
DE102004028324B4 (de) | Wärmebild-Erkennungssystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
R005 | Application deemed withdrawn due to failure to request examination |
Effective date: 20131217 |