DE60123936T2 - Einrichtung zum erkennen der anwesenheit von objekten - Google Patents

Einrichtung zum erkennen der anwesenheit von objekten Download PDF

Info

Publication number
DE60123936T2
DE60123936T2 DE60123936T DE60123936T DE60123936T2 DE 60123936 T2 DE60123936 T2 DE 60123936T2 DE 60123936 T DE60123936 T DE 60123936T DE 60123936 T DE60123936 T DE 60123936T DE 60123936 T2 DE60123936 T2 DE 60123936T2
Authority
DE
Germany
Prior art keywords
vehicle
detection device
image
detection
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60123936T
Other languages
English (en)
Other versions
DE60123936D1 (de
Inventor
Alvise Sartori
Giampietro Tecchiolli
Bruno Crespi
Jose Maria Tarrago Pujol
Francesc Daura Luna
Daniel Bande Martinez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ficomirrors SA
Original Assignee
Ficomirrors SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ficomirrors SA filed Critical Ficomirrors SA
Application granted granted Critical
Publication of DE60123936D1 publication Critical patent/DE60123936D1/de
Publication of DE60123936T2 publication Critical patent/DE60123936T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Description

  • GEBIET DER ERFINDUNG
  • Die Erfindung bezieht sich auf eine Methode zur Erfassung vorhandener Objekte sowie eine Vorrichtung zur Umsetzung dieser Methode, die an einem Fahrzeug montiert ist, wobei dieses Fahrzeug über zumindest einen toten Winkel verfügt, wo diese Erfassungsvorrichtung dazu dient, ein Objekt in diesem toten Winkel zu erfassen.
  • HINTERGRUND DER ERFINDUNG
  • Konventionelle Motorfahrzeuge sind normalerweise mit einem inneren Rückspiegel und zwei Außenspiegeln ausgestattet, was dem Fahrer die Sicht nach hinten erlaubt, ohne den Kopf nach hinten drehen zu müssen. Obwohl jedoch nicht nur ein Spiegel vorhanden ist, gibt es im Normalfall als tote Winkel bekannte Bereiche, die nicht durch diese Rückspiegel abgedeckt werden können.
  • Es ist der Einsatz von Systemen bekannt, die das Bild innerhalb eines toten Winkels mit einer CCD-Kamera erfassen und auf einem Bildschirm im Innenraum des Fahrzeugs anzeigen können. Anhand dieser Systeme ist es dem Benutzer zwar möglich, ohne sich selbst zu bewegen ein Bild aus dem toten Winkel zu erhalten, es gibt jedoch auch eine Reihe von Nachteilen: sie erfordern Bildübertragungssysteme mit einer ausreichenden Qualität, damit der Benutzer ein klares Bild erhält, weshalb mit einer hohen Pixelzahl gearbeitet werden muss, der Innenraum des Fahrzeugs muss ausreichend Raum zur Aufnahme des entsprechenden Bildschirms bieten, das System verarbeitet das Bild nicht, es überträgt das Bild nur, usw. Es handelt sich daher um aufwendige Systeme, die keinen aktiven Beitrag zur Erfassung von Gefahrensituationen leisten.
  • Das Patent U.S. 5.424.952 bezieht sich auf ein Umgebungsüberwachungssystem für Fahrzeuge, das alle Merkmale des Einführungsabschnitts der Patentansprüche 1 und 17 umfasst.
  • Das Patent EP 591 743 bezieht sich auf eine Vorrichtung zur Erfassung der relativen Positionen zwischen den Fahrzeugen, die hauptsächlich zur Vermeidung von Kollisionen eingesetzt wird, wobei diese Vorrichtung mit einem Außenspiegel eines Motorfahrzeugs verbunden ist und einen optischen Sensors Typ CCD und einen elektronischen Prozessor aufweist, der mit dem Onboard-Informationssystem verbunden ist, um die Anwesenheit anderer sich annähernder Fahrzeuge und die Gefahr einer Kollision mit dem Fahrzeug, in dem sich diese Vorrichtung befindet, auf Grundlage einer Vorhersage der Absichten des Fahrzeugführers zu erfassen und anzuzeigen.
  • Das Patent U.S. 5.521.633 beschreibt ein Hindernisüberwachungssystem für Motorfahrzeuge unter Nutzung der Verarbeitung von optischen Flüssen, wobei das Vorhandensein von Gefahren anhand der Größe eines optischen Flussvektors bestimmt werden kann.
  • Das Patent U.S. 5.699.057 bezieht sich auf ein Warnsystem für Fahrzeuge bestehend aus einem Paar stereoskopischer Kameras, Bilderkennungsmitteln und zwei Warnvorrichtungen auf der linken und rechten Seite des Fahrers.
  • Alle Vorrichtungen und Methoden unterscheiden sich eindeutig von der in dieser Patentanmeldung vorgeschlagenen Methode und Vorrichtung.
  • ÜBERSICHT UND AUFGABE DER ERFINDUNG
  • Eine Aufgabe dieser Erfindung ist es, bestimmte Nachteile und Einschränkungen der o. a. anderen Lösungen zu überwinden. Diese Aufgabe wird durch eine Methode und Vorrichtung zur Erfassung von Objekten gemäss der Merkmale der Ansprüche 1 und 17 erreicht.
  • Eine Erfassungsmethode und -Vorrichtung dieser Art erfasst eigentlich das Bild im toten Winkel, analysiert das Bild und meldet dem Fahrer das Ergebnis dieser Analyse. Dies bietet eine Reihe von Vorteilen: dem Fahrer wird nicht das Bild aus dem toten Winkel angezeigt, wodurch im Innenraum des Fahrzeugs kein Raum für einen Bildschirm erforderlich ist, der Fahrer erhält weiterhin „hochwertigere Informationen", da die Erfassungsvorrichtung bereits eine Analyse vorgenommen hat und der Fahrer das Ergebnis dieser Analyse erhält. Außerdem benötigt die Erfassungsvorrichtung Empfänger mit einer niedrigeren Anzahl Pixel, als wenn dem Fahrer ein Bild des toten Winkels mit einer minimalen Qualität angezeigt werden soll, wodurch die Erfassungsvorrichtung ohne Leistungseinbußen mit kostengünstigeren Empfängern ausgestattet werden kann.
  • Die Erfassungsvorrichtung analysiert nicht nur das Vorhandensein eines Objekts im toten Winkel, sie liefert auch eine qualitative Vorstellung über die Geschwindigkeit des Objekts im Verhältnis zum Fahrzeug und bestimmt somit mit einer ungefähren Vorstellung über die Geschwindigkeit, ob sich das Objekt annähert oder entfernt. Dadurch können dem Fahrer umfassendere Informationen bereitgestellt werden, da er je nach der relativen Geschwindigkeit des Objekts verschiedene Risikopegel unterscheiden kann.
  • Die Erfassungsvorrichtung liefert auch eine qualitative Vorstellung über den Abstand des Objekts im Verhältnis zum Fahrzeug und bestimmt dazu die Position des Objekts im Verhältnis zum Fahrzeug. Dadurch können dem Fahrer umfassendere Informationen bereitgestellt werden, da er je nach der Position des Objekts verschiedene Risikopegel unterscheiden kann.
  • Der Lichtdetektor wird vorzugsweise aus einer Reihe von Sensorelementen gebildet, besonders in Form von Photodioden, die ebenen, zweidimensionalen Matrix angeordnet sind und zueinander parallele Reihen bilden. Damit definiert das Sensorelement die Bildfläche, die durch eine Vielzahl von Pixeln gebildet wird, wobei jedes Sensorelement einem Pixel entspricht.
  • Die Fotodioden verwandeln die elektromagnetischen Wellen in einen elektrischen Strom. Dieser elektrische Strom wird vorzugsweise in eine elektrische Spannung umgewandelt und verstärkt.
  • Der Lichtdetektor wird vorzugsweise durch aktive Sensorelemente gebildet, die einen dynamischen Bereich von nicht unter Dekaden (106 = 120 dB) auf ein und derselben Bildfläche aufweisen, besonders zwischen dem minimalen Erfassungsschwellwert und dem Sättigungsschwellwert besteht ein Bereich von sechs Dekaden, wobei die Lichtstärke in Lux ausgedrückt wird. Ebenso kann ein Pixel, das zu einem Zeitpunkt den minimalen Erfassungswert erhält, bei der folgenden Bilderfassung einen sechsmal größeren Wert erfassen und umgekehrt. Damit ist der Empfänger in der Lage, unter einer Vielzahl von Lichtbedingungen auch unter nachteiligen Lichtbedingungen mit leistungsstarken Lichtkontrasten zu arbeiten, wie z.B. in der Nacht. Aus demselben Grund sollte ein Sensorelement zwischen zwei aufeinander folgenden Bildern einen dynamischen Bereich größer-gleich sechs Dekaden aufweisen.
  • Die elektronische Schaltung ist vorzugsweise in der Lage, die einzelnen Sensorelemente durch Ansteuerung der entsprechenden Reihe und Position in der Reihe auszuwählen, wodurch sie jedes einem Sensorelement untergeordnetes Sensorelement auswählen kann. Dadurch wird das elektrische Signal von den einzelnen Sensorelementen erfasst und alle die Bildfläche bildenden Pixel können nachfolgend verstärkt und digitalisiert werden. Als Alternative kann die elektronische Schaltung gleichzeitig alle elektrischen Signale einer Reihe von Sensorelementen in digitalisierte Signale umwandeln. Hierfür müssen für jede spezifische Konstruktion die höheren Kosten dieser Lösung im Verhältnis zur höheren Digitalisierungsgeschwindigkeit ausgewertet werden.
  • Wie o. a. besteht eine der Zielsetzungen dieser Erfindung darin, Empfänger mit kostengünstigen Lichtsensoren zu verwenden. Hierbei sollte die Sensorelementmatrix vorzugsweise maximal 512 × 512 Sensorelemente aufweisen, und die maximale Anzahl sollte im besten Fall 320 × 256 Sensorelemente betragen. Diese Werte beziehen sich generell auf die Anzahl aktiver Sensoren für die Bildbearbeitung. In anderen Worten kann die Sensorelementmatrix zwar mehr Sensorelemente aufweisen, diese werden bei der Bildbearbeitung nicht eingesetzt.
  • Sobald das Bild digitalisiert worden ist, analysiert die logische Schaltung die Bildfläche. Zu diesem Zweck wird vorzugsweise eine mathematische Faltung vorgenommen, besonders eine mathematische Kernel-Faltung zur Bewegungserfassung über die gesamte Bildfläche des digitalisierten Signals oder nur über einen Abschnitt davon.
  • Die logische Schaltung umfasst eine spezifische elektronische Schaltung mit: [a] einer sequentiellen Zentraleinheit (CPU) Typ Von Neumann, [b] einem parallel geschalteten Coprozessor, für die Berechnung der Faltung über die gesamte Bildfläche, mit mindestens 32 parallelen Multiplizierern-Addierern mit einer hohen Rechengeschwindigkeit zur Berechnung der Faltung direkt auf der Bildfläche mit einer solchen Rechengeschwindigkeit, dass die Faltung beendet ist, bevor eine neue Bilderfassung eingeleitet wird, und [c] einem RAM-Speicher.
  • Die Rechengeschwindigkeit sollte vorzugsweise erlauben, dass eine Faltung innerhalb einer Zeit unter 100 ms berechnet wird.
  • Die Erfassungsvorrichtung ist vorzugsweise darauf ausgelegt, ein Fahrzeug von anderen Objekten zu unterscheiden. Dies wird zum Beispiel dadurch erreicht, indem Kanten oder Erhebungen, die rechteckige Winkel zu den Kanten bilden, erkannt werden, und diese Rechtecke mit einer Reihe von Vorlagen verglichen werden. Wenn ein Fahrzeug erkannt wurde, analysiert sie die relative Geschwindigkeit zwischen dem erfassten Fahrzeug und dem Fahrzeug mit der Erfassungsvorrichtung aus dem nächsten Bild.
  • Eine bevorzugte Ausführung der Erfindung sieht eine Aufteilung der Bildfläche in mindestens zwei Abschnitte und den Einsatz unterschiedlicher Analysetechniken bei beiden Abschnitten vor. Die auf einen der Abschnitte angewendete Technologie wurde bereits im vorherigen Abschnitt beschrieben, d. h., die Erkennung von Kanten, die Bildung von Rechtecken, der Vergleich der Rechtecke mit einem Vorlagensatz und der Vergleich zweier aufeinander folgender Bilder zur Berechnung der relativen Geschwindigkeit, während in dem anderen Abschnitt eine Technik verwendet wird, die auf einem Phasenunterschied beruht, um eine Schätzung des optischen Flusses in eine bestimmte Richtung zu erhalten, d. h., in Richtung der Straße, auf der sich das Fahrzeug bewegt.
  • Eine Analysetechnik besteht in der Erfassung vertikaler bzw. horizontaler Erhebungen, die sich eindeutig auf dem Bild der Straße abzeichnen. Diese Technik umfasst in einer vorteilhaften Ausführung auch die Verfolgung einer Bewegung dieser Erhebungen anhand aufeinander folgender Bilder und die Berechnung der relativen Geschwindigkeit des erfassten Objekts (Fahrzeugs) im Verhältnis zum Fahrzeug, das mit der Erfassungsvorrichtung ausgestattet ist. Diese Technik wird an späterer Stelle im Einzelnen beschrieben.
  • Ebenso ist es möglich, dass mehr als eine Analysetechnik gleichzeitig in einem oder mehreren Abschnitten angewendet wird, in die das Bild unterteilt wurde.
  • Die Erfassungsvorrichtung sollte ein Warnsignal ausgeben, sobald eine Situation erkannt wird, in der eine Kollisionsgefahr besteht. Dieses Signal soll dazu dienen, dem Fahrer Zeit zu verschaffen, ein gefährliches Fahrmanöver zu vermeiden bzw. zu korrigieren. In diesem Sinne ist es offensichtlich, dass das Warnsignal ausreichend rechtzeitig aktiviert wird, damit der Fahrer entsprechend reagieren kann. Wenn man z. B. eine Situation betrachtet, in der ein Fahrzeug auf eine Autobahn kommt, wobei eine extreme Situation hinsichtlich der relativen Geschwindigkeit zwischen dem einfahrenden Fahrzeug und den bereits auf der Autobahn befindlichen Fahrzeugen vorliegt, sollte die Erfassungsvorrichtung über einen breiten Aktionsradius verfügen, um den Fahrer ausreichend rechtzeitig zu warnen. Dafür sollte der Aktionsradius größer als 15 m oder noch besser größer als 20 m sein. In diesem Sinne deckt die Erfassungsvorrichtung ein breiteres Sichtfeld als nur den toten Winkel. Somit kann die Erfassungsvorrichtung Gefahrensituationen erkennen und den Fahrer warnen, auch wenn die Gefahrensituation nur über die Rückspiegel erkannt werden konnte. Damit wird der Beitrag der Erfassungsvorrichtung für eine sichere Fahrt mit dem Fahrzeug noch ausgeweitet.
  • Die Richtvorrichtung kann aus einem üblichen optischen Element bestehen, das natürlich dem Stand der Technik entspricht. Besonders kann in die integrierte Schaltung der Richtvorrichtung eine Linse bzw. Mikrolinse integriert sein. Ebenso ist es möglich, eine Übertragungsvorrichtung für elektromagnetische Wellen vorzusehen. Damit wäre es z. B. möglich, die ganze Erfassungsvorrichtung an irgendeiner Stelle im Fahrzeug anzubringen, die dann über diese Übertragungsvorrichtung mit der Fahrzeugaußenseite verbunden wird. Die geringfügigen Abmessungen der Erfassungsvorrichtung erlauben jedoch die Installation in einem Rückspiegel, wobei es sich um die bevorzugte Einbaustelle handelt, es ist sogar möglich, in beiden Außenspiegeln eines Fahrzeugs eine Erfassungsvorrichtung zu installieren.
  • Um kleinere Abmessungen und gleichzeitig eine niedrige Stromaufnahme und Vereinfachung im Datenaustausch zwischen den verschiedenen Bauteilen der Erfassungsvorrichtung zu erhalten, sollte die elektronische Schaltung und der Lichtdetektor den Technologien CMOS, DMOS, MOS, Si-Ge, BiCMOS, bzw. SOI (Silikon auf Isolator) bestehen, und der Lichtdetektor und die elektronische Schaltung sind physisch ein einem Multichip-Modul (MCM) auf einem Untergrund aus Kunststoff, Fiberglas (FR4), Keramik oder Silikon angeschlossen.
  • Optional kann die Kapazität der Erfassungsvorrichtung zur Analyse der Gefahrensituationen verbessert werden, wenn zusätzlich zu den Merkmalen der Erfassung eines sich annähernden Objekts die Kapazität zur Erfassung dessen addiert wird, ob das Fahrzeug, in dem sich die Erfassungsvorrichtung befindet, Fahrmanöver eingeleitet hat, die auf eine Annäherung an das Objekt hinweisen. Besonders vorteilhaft ist es, dass die Erfassungsvorrichtung in der Lage ist, die Auslösung eines Blinkers und/oder die Drehung des Lenkrads des Fahrzeugs zu erkennen.
  • Ebenso wäre es von Interesse, dass die Erfassungsvorrichtung in der Lage ist, dem Benutzer bzw. Fahrer des Fahrzeugs mehrere Signale zu melden, wodurch das Warnsignal je nach Höhe des Kollisionsrisikos abgestuft werden kann. Dafür sollten die Anzeigeelemente mindestens zweifarbige Leuchtanzeigen aufweisen, wobei jede Farbe für eine verschiedene Warnstufe steht. Ebenso ist es von Vorteil, ein Ausgabeelement aufzunehmen, mit dem Symbole angezeigt werden können, wobei es sich bei dem Ausgabeelement um ein LED-Feld oder ein graphisches Display handelt.
  • Eine Gefahrensituation kann ebenso eintreten, wenn ein Insasse des Fahrzeugs, in dem sich die Erfassungsvorrichtung befindet, eine Tür öffnet ohne zu prüfen, ob sich von hinten ein anderes Fahrzeug annähert. Daher ist vorteilhaft, dass die Erfassungsvorrichtung solche Gefahrensituationen auch den Insassen des Fahrzeugs anzeigt.
  • Vorteilhaft ist es, dass die Erfassungsvorrichtung auf die Türverriegelungen einwirken kann. Damit kann z. B. eine Tür bei Erkennung einer Gefahrensituation verriegelt werden.
  • Schließlich ist es vorteilhaft, der Erfassungsvorrichtung für Objekte eine Vorrichtung zur Erkennung der Fahrermüdigkeit hinzuzufügen. Vorzugsweise teilt sich die Vorrichtung zur Erkennung der Fahrermüdigkeit die Mehrzahl der Geräte mit der Erfassungsvorrichtung für Objekte und löst je nach der relativen Position des Fahrzeugs, in der sich die Erfassungsvorrichtung befindet, zu den Straßenmarkierungslinien auf der Fahrbahn einen Alarm aus.
  • Weitere Vorteile und Merkmale der Erfindung gehen ohne aus der nachfolgenden Beschreibung hervor, in der unter Bezugnahme auf die begleitenden Zeichnungen ohne einschränkende Wirkung eine bevorzugte Ausführung der Erfindung beschrieben wird.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1A1D zeigt eine Übersicht über die toten Winkel eines Fahrzeugs, die Bereiche mit direkter Sicht und durch den linken Außenspiegel, und den Bereich, der durch eine Erfassungsvorrichtung auf Grundlage dieser Erfindung abgedeckt wird;
  • 2 ist eine Vereinfachte Darstellung einer Erfassungsvorrichtung gemäß der Erfindung;
  • 3 ist eine Frontalansicht eines Außenspiegels mit fünf verschiedenen Stellen für die Installation des Empfängers;
  • 4 ist eine Darstellung einer Bildfläche;
  • 5 zeigt die Bildfläche der 4, unterteilt in drei Abschnitte, und
  • 6 ist ein Blockdiagramm eines Algorithmus gemäß der Erfindung.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGEN
  • Die 1A bis 1D zeigen beispielhaft eine schematische Darstellung der sichtbaren Bereiche durch den Außenspiegel auf der linken Seite (Fahrerseite) 1, die sichtbaren Bereiche als Resultat des seitlichen Blickfelds des Fahrers 3, und die toten Winkel 5. Die sichtbaren Bereiche durch die Rückspiegel 1 müssen eine Reihe von gesetzlichen Anforderungen erfüllen, wie sie z. B. in der Europäischen Richtlinie 71/127 und folgenden Richtlinien definiert werden. Wie in der 1A gezeigt wird, sollte der Sichtwinkel derart sein, dass in einem Abstand von 10 m vom Rückspiegel die Breite des sichtbaren Felds mindestens 2,5 m beträgt. In der 1A einen umrissenen Rechteckbereich, der den gesetzlichen Anforderungen entspricht, sowie einen Dreieckbereich, der jenem Bereich entspricht, der tatsächlich durch einen konventionellen Rückspiegel zu sehen ist, der die gesetzlichen Anforderungen erfüllt.
  • Es handelt sich gerade um diese toten Winkel 5, die mit dieser Erfassungsvorrichtung abgedeckt werden sollen. Die Erfassungsvorrichtung sollte weiterhin den im Rückspiegel sichtbaren Bereich überlappen, um Unterbrechungen bei der Erfassung des Sensors und der Anzeige an den Fahrer zu vermeiden. Aus demselben Grund sollte der Sensor auch einen Teil des direkt vom Fahrer einzusehenden Bereichs abdecken. Hierbei besteht eine mögliche Lösung in der Verwendung einer Erfassungsvorrichtung, die einen Bereich abdeckt, der dem schattierten Bereich in der 1C entspricht: ein Bereich in Form eines rechtwinkligen Dreiecks mit einer Seitenlänge von jeweils 4,5 m gefolgt von einem Rechteckbereich mit einer Breite von 4,5 m. Die Gesamtlänge hängt von den Kapazitäten der Erfassungsvorrichtung ab. Die 1C zeigt beispielsweise einen Bereich von 20 m, obwohl die hierin nachfolgend beschriebene Erfassungsvorrichtung über einen Bereich von mehr als 20 m verfügt.
  • Die 1D ist die kombinierte Darstellung aller o. a. Bereiche zusammen. Es ist zu sehen, dass der tote Winkel praktisch vollständig abgedeckt ist, was den Bereich der danebenliegenden Fahrbahnspur betrifft. Es besteht ebenso eine Überlappung mit den direkt oder durch den Rückspiegel sichtbaren Bereichen.
  • Die in den 2 bis 5 gezeigte Erfassungsvorrichtung umfasst einen Empfänger 7, der aus einer Matrix aus 256 Fotodiodenreihen mit 320 Fotodioden in jeder Reihe gebildet wird. Der Empfänger 7 empfängt die elektromagnetischen Wellen von außen, in diesem Fall innerhalb des Bereichs des sichtbaren Lichts, die durch eine Linse entsprechend konzentriert werden. Wenn das Licht auf die Fotodioden einfällt, erzeugen diese einen elektrischen Strom, dessen Stromstärke von der Intensität des erhaltenen Lichts abhängt. Dieser elektrische Strom wird in Spannung umgewandelt. Durch Auswahl einer Reihe und Position innerhalb der Reihe kann eine Fotodiode ausgewählt werden, die dadurch das elektrische Signal auf eine elektronische Schaltung 9 überträgt. Die elektrische Schaltung 9 verfügt über eine Verstärkerstufe 11 und eine Umwandlungseinheit analog-digital ADC, die ein digitalisiertes Signal ausgibt.
  • Das digitalisierte Signal wird in eine logische Schaltung 15 gespeist. Die logische Schaltung 15 umfasst eine sequentiellen Zentraleinheit CPU Typ Von Neumann, einen parallel geschalteten Coprozessor TOT für die Berechnung der Faltung beruhend auf einem Hilfsspeicher MEM, einen FLASH-Speicher und einen SRAM-Speicher. Die sequentielle Zentraleinheit CPU steuert auch den Empfänger 7, indem sie die Signale zur Auswahl der Reihe 17 und Signale für die Position innerhalb der Reihe 19 an die entsprechenden Register und zu elektronischen Schaltung 9 sendet.
  • Der Empfänger 7 nimmt ein Bild einschließlich des toten Winkels auf, das auf die aus den Fotodioden gebildete Bildfläche projiziert wird. Diese Bildfläche wird in Form einer Anzahl digitalisierter Pixel auf die logische Schaltung 15 übertragen. Der Empfänger 7 ist derart ausgerichtet, dass der Seitenrand der Bildfläche teilweise mit der Seitenfläche des Fahrzeugs 21 abschließt, und der obere Rand der Bildfläche schließt bündig mit dem Horizont 23 ab. Die logische Schaltung 15 bestimmt die Bewegungsrichtung entlang der Straße bzw. Fahrbahn, wodurch bestimmt werden kann, ob eine erfasste Bewegung in Richtung der Fahrbahn oder eine andere Richtung z. B. senkrecht verläuft. Damit können „Geräusche" wie z. B. Regen, Schnee, Fahrzeuge, die sich in die entgegengesetzte Richtung bewegen, usw. herausgefiltert werden.
  • Die 3 zeigt einige Beispiele für die Positionierung des Empfängers 7 oder ggf. am Ende der Übertragungsvorrichtung für elektromagnetische Wellen in einem Außenspiegel.
  • Wie bereits o. a., können mehrere Bildanalysealgorithmen eingesetzt werden. In einem Fall wird die Bildfläche in zwei Abschnitte 25, 27 mit einem Überlappungsbereich 29 wie gezeigt in der 5 aufgeteilt. Die logische Schaltung 15 verfügt über zwei unabhängige Algorithmen: ein Algorithmus zur Fahrzeugerfassung, der auf den Abschnitt 25 angewendet wird, und einen Algorithmus zur Bewegungserfassung, der auf den Abschnitt 27 angewendet wird. Beide Algorithmen werden auf den Überlappungsbereich 29 angewendet. Der Algorithmus zur Fahrzeugerfassung erkennt die Ränder von auf der Bildfläche vorhandenen Figuren, wählt die waagrecht und senkrecht angeordneten Ränder aus und vergleicht sie mit bestimmten Vorlagen, um zu bestimmen, ob ein Objekt vorliegt, dessen Form der Form eines Fahrzeugs ähnlich ist. Wenn Ja, wird das folgende, vom Empfänger 7 erhaltene Bild analysiert, wodurch sowohl die Richtung der Bewegung als auch die Geschwindigkeit des Objekts bestimmt werden kann. Der Algorithmus zur Bewegungserfassung beruht auf einer Phasenunterscheidungstechnik, um eine Schätzung des optischen Flusses in Richtung des Straßenverlaufs zu erhalten. Das Ergebnis wird mit dem aus vorherigen Bildern erhaltenen Ergebnis verglichen, um Fehler und Geräusche mittels einer Konsistenzprüfung auszuschalten.
  • Ein weiterer möglicher Algorithmus zur Bildanalyse beruht auf den folgenden Merkmalen. Wie bereits weiter oben erwähnt, dient die Vorrichtung dazu, mittels einer Reihe von Bildern, die mit einer Digitalkamera, z. B. einer CMOS-Kamera im Außenspiegel des Fahrzeugs, aufgenommen wurden, Fahrzeuge zu erfassen, die das Fahrzeug überholen, in dem sich die Erfassungsvorrichtung befindet.
  • Die Anwesenheit eines sich annähernden Fahrzeugs beruht auf der Erfassung und Verfolgung von Objekten, die sich entlang der Achse der Straße (generell alle öffentliche Verkehrswege) bewegen und sich dem Fahrzeug nähern, in dem sich die Erfassungsvorrichtung befindet. Ausgehend von einem Bild kann das Vorhandensein eines Fahrzeugs durch das Vorhandensein von sich klar abzeichnenden Erhebungen (bzw. Rändern) in senkrechter und waagrechter Richtung zur Fahrbahn erkannt werden. Bei den nachfolgenden Bildern bewegen sich diese sichtbaren Elemente (die senkrechten und waagrechten Erhebungen) vorwärts, wenn sie zu einem sich nähernden Fahrzeug gehören. Ist dies nicht der Fall, entfernen sie sich, wenn sie zu statischen Objekten gehören (wie z. B. Gegenstände an der Autobahn, Schutzschranken, Bäume, Verkehrssignale, Meilensteine, usw.), oder wenn sie zu Fahrzeugen gehören, die sich in die entgegengesetzte Richtung zu jenem Fahrzeug bewegen, in dem sich die Erfassungsvorrichtung befindet. Daher wird eine kohärente Vorwärtsbewegung als ein überholendes Fahrzeug interpretiert.
  • Eine solche Interpretation ist auf Autobahnen oder ähnlichen Straßen, wo die Fahrbahnen eindeutig definiert und die Kurven normalerweise einen großen Radius aufweisen, im Allgemeinen richtig. In diesen Fällen ist das Bild eine einfache perspektivische Ansicht, und die Überholspur kann anhand einer geeigneten Maske einfach von der restlichen Szene getrennt werden. Daher bildet eine Vorwärtsbewegung auf der Überholspur einen eindeutigen Hinweis auf ein sich näherndes Fahrzeug. Geräusche und Interferenzen aufgrund von Schlaglöchern oder einer abrupten Bewegung des Fahrzeugs, in dem sich die Erfassungsvorrichtung befindet, können durch die Anforderung ausgeschaltet werden, dass die Vorwärtsbewegung über mehrere, aufeinander folgende Bilder hinweg kohärent sein muss.
  • Das sichtbare Bild einer Straße, bei der es sich nicht um eine Autobahn oder eine ähnliche Straße handelt, ist sehr viel komplexer. Besonders wenn das Fahrzeug, in dem sich die Erfassungsvorrichtung befindet, nach links abbiegt, kann eine anscheinend konsistente Bewegung verursacht werden, die falsche Alarme auslösen könnte. Dies ist besonders häufig im Stadtgebiet der Fall, wo die sichtbare Umgebung eine Vielzahl an Objekten (abgestellte Fahrzeuge, Gebäude, unterschiedliche Verkehrszeichen, usw.) mit ausgeprägten Erhebungen aufweist. Weiterhin kann der tatsächliche Abstand zwischen dem sich nähernden Fahrzeug und dem Fahrzeug, in dem sich die Erfassungsvorrichtung befindet, von seiner Position aus nicht korrekt ermittelt werden, da die Fahrbahnen nicht eindeutig definiert sind. Aus diesem Grund ist es wünschenswert, dass die Erfassungsvorrichtung über ein spezifisches Betriebsmodul für jenen Fall verfügt, wo das Fahrzeug nach links abbiegt. Dabei wird der Erfassungsbereich bei einem Abbiegevorgang nach links näher zu dem Fahrzeug verlegt, in dem sich die Erfassungsvorrichtung befindet, und vor der Auslösung eines Warnsignals müssen striktere Anforderungen erfüllt sein. Damit wird das Warnsignal ausgelöst, wenn sich das Fahrzeug näher an jenem Fahrzeug befindet, in dem sich die Erfassungsvorrichtung befindet. Allerdings stellt dies kein Problem dar, da die Fahrzeuggeschwindigkeit in engen Kurven niedriger ist als auf Autobahnen und ähnlichen Straßen. Weiterhin ist hinsichtlich der Konfiguration der Straße und den häufigen Kreuzungen ein weiter Erfassungsbereich im Stadtgebiet nicht erforderlich.
  • Als besonderes Beispiel kann eine Kamera mit einem Sensor mit einer 320 × 256 CMOS-Matrix und einem hohen dynamischen Bereich (120 dB) installiert sein. Die Größe des verarbeiteten Bilds beträgt mindestens 128 × 128 Pixel. Das Sichtfeld der Kamera beträgt ca. 55°. Die Kamera ist so angeordnet, dass:
    • – der linke senkrechte Rand des Bilds nahe am Seitenrand des Fahrzeugs liegt, in dem sich die Erfassungsvorrichtung befindet;
    • – der obere Rand des Bilds in ungefähr einem Achtel des Bilds leicht oberhalb der Horizontlinie liegt;
    • – die Kamera leicht im Uhrzeigersinn geneigt, damit das Bild entlang der Achse der Autobahn ausgerichtet ist.
  • Es wird eine softwaregesteuerte Maske verwendet, die den interessanten Bereich der Bilder definiert. Die Maske ist darauf eingestellt, dass ein Fahrzeug auf der Überholspur einer geraden Straße und in großer Entfernung oben links in der Maske angezeigt wird. Die Position der Maske innerhalb des Bilds kann eingestellt werden, um eine Feineinstellung des Sichtfelds zu erreichen.
  • Damit die Funktion der Erfassungsvorrichtung in Ordnung ist, sollte die Bilderfassungsgeschwindigkeit vorzugsweise größer als 40 Bilder pro Sekunde sein, da die Erfassungsvorrichtung dadurch in der Lage ist, die Strecke der sich annähernden Fahrzeuge genauer zu bestimmen. Der Algorithmus der Erfassungsvorrichtung besteht grundlegend aus vier Hauptmodulen:
    • – ein Erfassungsmodul für den optischen Fluss. Der Algorithmus verwendet eine Technik auf Grundlage von Phasenunterschieden, um eine dichte Schätzung des optischen Flusses in Richtung der Straßenachse vorzunehmen. Zu diesem Zweck werden ein paar aufeinander folgende Bilder verarbeitet. Sichtbare Elemente ohne Vorwärtsbewegung werden herausgefiltert und eliminiert. Die resultierenden Bilder werden an die nachfolgenden Module gespeist. Dieses Modul ist optional und muss nicht unbedingt verwendet werden.
    • – Modul zur Erfassung und Verfolgung von Fahrzeugen. Im von der Maske definierten Bereich berechnet der Algorithmus die Erhebungen des Bilds und deren Richtungen. Die senkrechten Erhebungen und die waagerechten Erhebungen werden normalisiert und entlang der senkrechten bzw. waagrechten Achsen angeordnet. Der Normalisierungsfaktor wird dynamisch auf Grundlage der durchschnittlichen Dichte des Überstands eingestellt. Die Ausrichtung dieser Erhebungen in eine Richtung auf der entsprechenden Koordinatenachse wird dazu verwendet, den Verlauf der Bewegung anhand dieser Achse zu verfolgen. Sich annähernde Fahrzeuge erzeugen Verläufe mit positiven Geschwindigkeiten, d. h. nach rechts und nach unten im Bild. Diese Punkte werden von anderen Punkten, die stationär sind oder relative Bewegungen aufweisen, anhand von Richtungsfiltern getrennt. Die sich ergebenden Verläufe werden identifiziert und ausgewählt.
    • – Modul zur Erfassung von Fahrzeugen ohne relative Geschwindigkeit. Nachdem der Verlauf eines sich nähernden Fahrzeugs identifiziert worden ist (mittels der Verlagerung der entsprechenden Verläufe in eine Richtung), wird die Geschwindigkeit des Fahrzeugs geschätzt und überwacht. Damit können Situationen erfasst werden, in denen dieses sich nähernde Fahrzeug die Geschwindigkeit verringert und mit derselben Geschwindigkeit fährt wie das Fahrzeug mit der Erfassungsvorrichtung, und sich in kurzem Abstand zum Fahrzeug mit der Erfassungsvorrichtung hält. In solchen Fällen kann ein spezifisches Alarmsignal ausgelöst werden, bis grundlegende Änderungen (das Fahrzeug lässt sich zurückfallen oder überholt das Fahrzeug mit der Erfassungsvorrichtung) in der Umgebung des Bilds mit dem sich nähernden Fahrzeug erkannt werden. In anderen Worten gesagt erlaubt dieses Modul die Kontrolle von Verkehrssituationen (z. B. dichter Verkehr), in denen parallel verlaufender Verkehr vorliegt, besonders wenn Fahrzeuge auf verschiedenen Spuren mit praktisch derselben Geschwindigkeit fahren. In diesen Fällen kommt es relativ häufig vor, dass sich ein Fahrzeug im toten Winkel eines anderen Fahrzeugs befindet, was gefährliche Situationen verursachen kann.
    • – Linksabbiegemodul. Beim Abbiegen nach links entsteht eine konstante allgemeine Verlagerung der in den verschiedenen Bildern sichtbaren Elemente. Die konstanten Verlagerungen werden im oberen Abschnitt aufeinander folgender Bilder durch eine Korrelationstechnik erfasst. Die Kohärenz dieses Signals über eine Anzahl folgender Bilder wird als Hinweis dafür verwendet, dass das Fahrzeug mit der Erfassungsvorrichtung abbiegt und dass das Linksabbiegemodul aktiviert werden soll.
  • Die 6 zeigt ein Blockdiagramm, in dem die Zustände des Algorithmus dargestellt werden. Die angegebenen Nummern stehen für die folgenden Blöcke:
  • 6.1
    Initialisierung des Algorithmus
    6.2
    Bilderfassung
    6.3
    Schätzung des optischen Flusses
    6.4
    Erfassung Linksabbiegen
    6.5
    Erfassung und Verfolgung von Fahrzeugen
    6.6
    Konsistente Vorwärtsbewegung?
    6.7
    Aktivierung Alarmsignal
  • Zuerst führt das Erfassungsmodul für den optischen Fluss 6.3 eine grobe Filterung des Bildablaufs auf Grundlage der Richtung der Bewegung durch. Dann meldet das Linksabbiegemodul 6.4 dem System, ob das Fahrzeug mit der Erfassungsvorrichtung abbiegt. Danach verfolgt das Erfassungs- und Verfolgungssystem 6.5 den Verlauf der sich bewegenden Objekte und aktiviert ggf. das entsprechende Alarmsignal. Wenn der Alarm aktiviert wird, wird das Nullgeschwindigkeitsmodul aktiviert.
  • Es können zwei Funktionsweisen festgelegt werden. Wenn das Fahrzeug, in dem sich die Erfassungsvorrichtung befindet nicht abbiegt, werden nur die Verläufe der Bewegungen entlang der waagrechten Achse berücksichtigt. Wenn das Verfolgungsmodul einen Verlauf über mehr als 15 Bilder erkennt, wird ein Alarmsignal ausgelöst und eine Schätzung des relativen Abstands und de relativen Geschwindigkeit des sich nähernden Fahrzeugs wird ausgegeben. Diese Anzeige ist auf flachen, geraden Straßen wie z. B. Autobahnen und ähnlichen Straßen zuverlässig.
  • Wenn das Linksabbiegemodul aktiviert ist, sind die Anforderungen zur Aktivierung des Alarmsignals strikter: zuerst werden die Bilder mit dem Erfassungsmodul für den optischen Fluss gefiltert, um Geräusche zu verringern, und beide Verläufe (entlang der senkrechten und der waagrechten Achse) werden berücksichtigt. Nur wenn sich ein sichtbares Element sowohl auf der X-Achse und auf der Y-Achse vorwärts bewegt, wird das Alarmsignal ausgelöst. Diese Methode wird deshalb verwendet, da die sichtbaren Elemente beim Linksabbiegen eine positive Geschwindigkeit auf der X-Achse aber eine Geschwindigkeit von praktisch null auf der Y-Achse aufweisen, da deren Höhe unverändert bleibt. Zusätzlich wird die Position der Maske abgesenkt und bewegt sich nach rechts, um den jeweils interessanten Bereich (die Überholspur) der Bilder abzudecken.
  • Danach aktiviert die logische Schaltung entsprechend der erhaltenen Informationen (Fahrzeug vorhanden, Abstand des Fahrzeugs und relative Geschwindigkeit) z. B. eine Reihe von LED mit drei unterschiedlichen Farben (rot, gelb, grün) (in der Abb. nicht gezeigt), um je nach Gefahr unterschiedliche Warnstufen mitzuteilen. Zur Anzeige der Warnstufen sind viele Möglichkeiten denkbar: von einem einzigen roten Leuchtsignal zur Anzeige eines vorhandenen Objekts im Erfassungsbereich, bis hin zu komplexen Geräten mit unterschiedlichen optischen, akustischen und fühlbaren Signalen.
  • Die Erfassungsvorrichtung hat einen Bereich von über 20 m. Dadurch erhält der Fahrer in der weiter oben als Beispiel angeführten Situation, wo ein Fahrzeug auf eine Autobahn fahren möchte, und wo relative Geschwindigkeiten von ca. 120 km/h vorliegen, das Warnsignal mit einer Vorankündigungszeit von nahezu 1 Sekunde.
  • Wenn die Erfassungsvorrichtung gleichzeitig in beiden Außenspiegeln montiert ist (eine auf jeder Fahrzeugseite) kann sie zusätzlich über eine Vorrichtung zur Erkennung der Fahrermüdigkeit verfügen. Vorzugsweise nutzt die Vorrichtung zur Erkennung der Fahrermüdigkeit alle physischen Elemente der Erfassungsvorrichtung für Objekte, die an der Erfassung und Verarbeitung von Bildern beteiligt sind, wie z. B. Empfänger, die elektronische Schaltung und die logische Schaltung. Zusätzlich verfügt die Vorrichtung zur Erkennung der Fahrermüdigkeit über einen Algorithmus, mit dem die Fahrermüdigkeit wie nachfolgend beschrieben erkannt werden kann.
  • Anhand der Bilder, die durch die einzelnen Erfassungsvorrichtungen für Objekte in den Außenspiegel erhalten werden, werden die Abgrenzungslinien der Fahrbahn erfasst, auf der das Fahrzeug mit der Erfassungsvorrichtung fährt. Damit kann erkannt werden, wenn das Fahrzeug, das mit der Erfassungsvorrichtung ausgestattet ist, eine dieser Begrenzungslinien überquert. In der Folge der Ermüdung ist der Fahrer nicht länger in der Lage, der durch die Begrenzungslinien markierten Fahrbahn zu folgen, verlässt die Fahrbahn und verursacht eine Gefahrensituation. Der Müdigkeitsdetektor ist in der Lage, diesen Umstand zu erkennen und ein Alarmsignal auszulösen.
  • Zur Erkennung der angeführten Begrenzungslinien analysiert die Vorrichtung zur Erkennung der Fahrermüdigkeit das Bild im Bereich direkt hinter dem Fahrzeug, arbeitet die Ränder der Begrenzungslinien heraus (deren Erhebungen) und verfolgt sie in der Zeit. Der Abstand zwischen dem Rad und dem Rand der Begrenzungslinie kann erfasst werden, wodurch ein Alarmsignal ausgelöst werden kann, wenn das Fahrzeug kurz davor ist, die Begrenzungslinie zu überqueren. Vorzugsweise ist die Vorrichtung zur Erkennung der Fahrermüdigkeit mit dem Linksabbiegemodul verbunden, wodurch der Fall unterschieden werden kann, wo sich das Fahrzeug der Begrenzungslinie annähert, weil das Fahrzeug eine Kurve fährt. Weiterhin erhält die Vorrichtung zur Erkennung der Fahrermüdigkeit die Information über das Setzen eines Blinkers, wodurch ein gewolltes Überqueren der Begrenzungslinien von einem ungewollten oder zumindest nicht angekündigten Überqueren unterschieden werden kann.
  • Wenn die Vorrichtung zur Erkennung der Fahrermüdigkeit ein unangekündigtes Überqueren einer Begrenzungslinie erkennt, aktiviert sie ein Warnsignal. Dieses Warnsignal kann fühlbar sein (z. B. Vibrationen am Lenkrad), oder in Form eines akustischen bzw. optischen Signals gegeben werden.
  • Ebenso ist es möglich, die Vorrichtung zur Erkennung der Fahrermüdigkeit mittels nur einer Erfassungsvorrichtung in nur einem Außenspiegel ausgeführt werden, obwohl die Vorteile in einem solchen Fall hinsichtlich der Qualität bzw. Relevanz der ausgegebenen Warnsignale nicht dieselbe sein wird.
  • Die Vorrichtung zur Erkennung der Fahrermüdigkeit ist immer nach hinten gerichtet und deckt denselben Erfassungsbereich wie die Erfassungsvorrichtung für Objekte, da sie dadurch alle physischen Erfassungs- und Berechnungselemente nutzen kann.

Claims (19)

  1. Eine Methode zur Erfassung von vorhandenen Objekten unter Verwendung einer Erfassungsvorrichtung, die an einem Fahrzeug montiert ist, wobei dieses Fahrzeug über zumindest einen toten Winkel verfügt, wo diese Erfassungsvorrichtung dazu dient, ein Objekt wie z. B. ein sich in diesem toten Winkel annäherndes Fahrzeug zu erfassen und dieses von anderen Objekten zu unterscheiden, bestehend aus: der Erfassung elektromagnetischer Wellen durch einen Empfänger (7) mit einer Richtvorrichtung, und einem Lichtdetektor mit einer Reihe aktiver fotosensorischer Elemente, die diese elektromagnetischen Wellen in elektrische Signale umwandeln und wobei der Lichtdetektor eine Bildfläche definiert; der Umwandlung der elektrischen Signale in digitalisierte Signale mittels einer elektronischen Schaltung (9); der Analyse dieser digitalisierten Signale mittels einer logischen Schaltung (15) zur Analyse der Anwesenheit von Objekten in dem erwähnten mindestens einem toten Winkel, die sich relativ zum Fahrzeug bewegen, und der Erzeugung variabler Alarmausgangssignale in Abhängigkeit des Resultats dieser Analyse; und der Aktivierung von Anzeigeelementen durch diese variablen Alarmausgangssignale, dadurch gekennzeichnet, dass die Unterscheidung eins Fahrzeugs von anderen Objekten durch die Erkennung von Erhebungen, die in vertikaler bzw. horizontaler Richtung auf zumindest einem ersten Abschnitt der Bildfläche eindeutig gekennzeichnet sind, und durch die Verfolgung der Bewegung dieser Erhebungen auf mehreren aufeinander folgenden Bildern erfolgt, um eine relative Geschwindigkeit zwischen dem erfassten Objekt, das die erwähnten Erhebungen liefert, und dem Fahrzeug, das mit der Erfassungsvorrichtung ausgestattet ist, zu berechnen.
  2. Eine Methode gemäß dem Patentanspruch 1, dadurch gekennzeichnet, dass auf einem zweiten Abschnitt der erwähnten Bildfläche eine andere Technik angewendet wird, die auf einem Phasenunterschied beruht, um eine Schätzung eines optischen Flusses in eine Richtung zu erhalten.
  3. Eine Methode gemäß dem Patentanspruch 1, dadurch gekennzeichnet, dass diese Erfassung von Erhebungen dadurch ausgeführt wird, dass die erwähnte logische Schaltung (15) eine mathematische Umwandlung des zumindest ersten Abschnitts der Bildfläche des digitalisierten Signals vornimmt, wonach ein Fahrzeug von anderen Objekten unterschieden wird.
  4. Eine Methode gemäß dem Patentanspruch 3, dadurch gekennzeichnet, dass diese mathematische Umwandlung über den zumindest ersten Abschnitt der Bildfläche durch eine Kernel-Umwandlung erfolgt, die für die Erfassung von Bewegungen geeignet ist.
  5. Eine Methode gemäß dem Patentanspruch 3, dadurch gekennzeichnet, dass diese Umwandlung innerhalb einer Zeit von unter 100 ms berechnet wird.
  6. Eine Methode gemäß dem Patentanspruch 1, dadurch gekennzeichnet, dass: dieser zumindest erste Bildabschnitt durch eine softwaregesteuerte Maske definiert wird und dass ein Algorithmus die Erhebungen des Bilds und deren Richtungen berechnet, wobei die vertikalen und horizontalen Erhebungen entlang der vertikalen bzw. horizontalen Achse normalisiert und integriert werden; ein Normalisierungsfaktor auf Grundlage einer durchschnittlichen Dichte dieser Erhebungen dynamisch angepasst wird, wobei die Bewegung in eine Richtung dieser Erhebungen auf entsprechenden Koordinatenachsen verwendet wird, um einen Streckenverlauf entsprechend dieser Achse zu zeichnen, wobei die sich annähernden Objekte Verlaufspunkte mit positiven Geschwindigkeiten auf diesen Achsen erzeugen, und diese Verlaufspunkte anhand von Richtungsfiltern von anderen Punkten getrennt werden, die stationär sind oder eine relative Bewegung aufweisen, und die resultierenden Streckenverläufe schließlich identifiziert und ausgewählt werden.
  7. Eine Methode gemäß dem Patentanspruch 6, dadurch gekennzeichnet, dass sobald der Streckenverlauf eines sich annähernden Fahrzeugs durch die Verlagerung der entsprechenden gerichteten Verläufe identifiziert ist, eine Geschwindigkeit dieses Fahrzeugs geschätzt und überwacht wird, so dass Situationen erkannt werden können, in denen dieses sich annähernde Fahrzeug die Geschwindigkeit verringert und mit derselben Geschwindigkeit fährt wie das Fahrzeug, das mit der Erfassungsvorrichtung ausgestattet ist, und einen kurzen Abstand einhält, oder aber Fahrzeuge, die auf anderen Spuren mit nahezu gleicher Geschwindigkeit fahren, und ein spezifisches Alarmsignal ausgegeben wird, bis in einer Umgebung dieses Bilds des annähernden Fahrzeugs grundlegende Veränderungen erfasst werden.
  8. Eine Methode gemäß dem Patentanspruch 6, dadurch gekennzeichnet, dass die softwaregesteuerte Maske zur Definition der Bildfläche derart angeordnet ist, dass ein Fahrzeug auf der Überholspur einer geraden Straße und in großem Abstand oben links in der Maske angezeigt wird; und die Position der Maske hinsichtlich des Bilds eingestellt werden kann, um eine Feineinstellung des Sichtfelds zu erreichen.
  9. Eine Methode gemäß dem Patentanspruch 2, dadurch gekennzeichnet, dass zur Schätzung eines optischen Flusses in eine Achsenrichtung einer Straße ein Paar aufeinander folgender Bilder verarbeitet werden, und dass sichtbare Elemente, die sich nicht vorwärts bewegen, herausgefiltert und eliminiert werden, und dass dieses Verfahren optional ist und ausgeblendet werden kann.
  10. Eine Methode gemäß dem Patentanspruch 7, dadurch gekennzeichnet, dass wenn das Fahrzeug nach links fährt, im oberen Abschnitt aufeinander folgender Bilder mittels einer Korrelationstechnik die konstante Verlagerung der in verschiedenen Bildern enthaltenen sichtbaren Elemente erfasst wird, und die Kohärenz dieses Signals über eine Anzahl aufeinander folgender Bilder als Anzeige dazu verwendet wird, dass das mit der Erfassungsvorrichtung ausgestattete Fahrzeug nach links fährt, wobei zur Auslösung der Alarmsignale engere Voraussetzungen gelten, da sich das Erfassungsfeld zu einer Position bewegt, die näher am Fahrzeug mit der Erfassungsvorrichtung liegt.
  11. Eine Methode gemäß dem Patentanspruch 7 und weiterhin mit der Erfassung, ob das mit der Erfassungsvorrichtung ausgestattete Fahrzeug Fahrmanöver ausführt, die eine Annäherung zu diesem Objekt verursachen.
  12. Eine Methode gemäß dem Patentanspruch 11, dadurch gekennzeichnet, dass die hinweisenden Maßnahmen die Aktivierung einer Anzeige umfassen.
  13. Eine Methode gemäß dem Patentanspruch 11, dadurch gekennzeichnet, dass die hinweisenden Maßnahmen die Drehung eines Lenkrads umfassen.
  14. Eine Methode gemäß dem Patentanspruch 1, dadurch gekennzeichnet, dass diese Alarmsignale Leuchtsignale in mindestens zwei Farben umfassen, wobei jede Farbe für einen bestimmten Alarmpegel steht.
  15. Eine Methode gemäß dem Patentanspruch 1, dadurch gekennzeichnet, dass weiterhin Einrichtungen zur Erfassung von Müdigkeit des Fahrers unter Verwendung der beschriebenen Erfassungsvorrichtung vorhanden sind, wobei je nach der relativen Position des mit der Erfassungsvorrichtung ausgestatteten Fahrzeugs zu den Markierungslinien auf der Straßenfläche ein Alarmsignal ausgegeben wird.
  16. Eine Methode gemäß dem Patentanspruch 1, dadurch gekennzeichnet, dass die erwähnten fotosensorischen Elemente in eine Digitalkamera integriert sind, die in einem Rückspiegel des Fahrzeugs montiert ist, und dass diese Kamera derart positioniert ist, dass sich ein linker vertikaler Rand der Bildfläche in der Nähe zu einem seitlichen Rand des mit der Erfassungsvorrichtung ausgestatteten Fahrzeugs befindet; ein oberer Rand der Bildfläche auf ungefähr einem Achtel des Bilds leicht oberhalb der Horizontlinie liegt; diese Kamera leicht im Uhrzeigersinn geneigt ist, so dass sie die Bildfläche entlang der Straßenachse ausrichtet.
  17. Eine Erfassungsvorrichtung für vorhandene Objekte zur Umsetzung der Methode gemäß dem Patentanspruch 1, wobei diese Erfassungsvorrichtung an einem Fahrzeug montiert sein kann, wobei dieses Fahrzeug zumindest einen toten Winkel aufweist, wobei diese Erfassungsvorrichtung dazu dient, ein Objekt wie z. B. ein sich annäherndes Fahrzeug im toten Winkel zu erfassen und ein Fahrzeug von anderen Objekten unterscheiden kann, bestehend aus: [a] einem Empfänger (7) zur Erfassung von elektromagnetischen Wellen, wobei dieser Empfänger (7) eine Richtvorrichtung und einen Lichtdetektor mit einer Reihe aktiver fotosensorischer Elemente aufweist, die diese elektromagnetischen Wellen in elektrische Signale umwandeln und wobei der Lichtdetektor eine Bildfläche definiert; [b] einer elektronischen Schaltung (9) zur Umwandlung der elektrischen Signale in digitalisierte Signale; [c] einer logischen Schaltung (15) zur Analyse der digitalisierten Signale und der Anwesenheit von Objekten in dem erwähnten mindestens einem toten Winkel, die sich relativ zum Fahrzeug bewegen, und der Erzeugung variabler Alarmausgangssignale in Abhängigkeit des Resultats dieser Analyse; [d] Anzeigeelementen, die von den beschriebenen Ausgangssignalen aktiviert werden; dadurch gekennzeichnet, dass die aktiven fotosensorischen Elemente in eine Digitalkamera integriert sind; die Digitalkamera derart positioniert ist, dass: – sich ein linker vertikaler Rand der Bildfläche in der Nähe zu einem seitlichen Rand des mit der Erfassungsvorrichtung ausgestatteten Fahrzeugs befindet; – ein oberer Rand der Bildfläche auf ungefähr einem Achtel des Bilds leicht oberhalb der Horizontlinie liegt; – diese Kamera leicht im Uhrzeigersinn geneigt ist, so dass sie die Bildfläche entlang der Straßenachse ausrichtet; sie eine softwaregesteuerte Maske umfasst, die die Auswahl von gewünschten Bereichen einer Bildfläche ermöglicht; der Lichtdetektor aus aktiven Sensorelementen gebildet wird, die einen dynamischen Bereich gleich/größer als sechs Zehntel auf einer gleichen Bildfläche aufweisen, z. B. zwischen einem minimalen Erfassungsschwellwert und einem Sättigungsschwellwert liegt ein Bereich von sechs Zehnteln, wobei die Lichtintensität in Lux ausgedrückt wird; ein gleiches einzelnes Sensorelement zwischen zwei aufeinander folgenden Bildern einen dynamischen Bereich gleich/größer als sechs Zehntel aufweist, wie bereits beschrieben.
  18. Eine Erfassungsvorrichtung gemäß dem Patentanspruch 17, dadurch gekennzeichnet, dass die erwähnte Digitalkamera in einer Außenspiegeleinheit des Fahrzeugs untergebracht ist.
  19. Eine Erfassungsvorrichtung gemäß dem Patentanspruch 18 einschließlich jeweils einer Digitalkamera in beiden Außenspiegeln des Fahrzeugs.
DE60123936T 2000-02-18 2001-02-16 Einrichtung zum erkennen der anwesenheit von objekten Expired - Lifetime DE60123936T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ES200000378A ES2158827B1 (es) 2000-02-18 2000-02-18 Dispositivo de deteccion de presencia de objetos.
ES200000378 2000-02-18
PCT/ES2001/000057 WO2001061371A2 (es) 2000-02-18 2001-02-16 Dispositivo de detección de presencia de objetos

Publications (2)

Publication Number Publication Date
DE60123936D1 DE60123936D1 (de) 2006-11-30
DE60123936T2 true DE60123936T2 (de) 2007-06-21

Family

ID=8492359

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60123936T Expired - Lifetime DE60123936T2 (de) 2000-02-18 2001-02-16 Einrichtung zum erkennen der anwesenheit von objekten

Country Status (8)

Country Link
US (1) US6911642B2 (de)
EP (1) EP1271179B1 (de)
JP (1) JP4235386B2 (de)
AT (1) ATE343144T1 (de)
AU (1) AU2001230267A1 (de)
DE (1) DE60123936T2 (de)
ES (2) ES2158827B1 (de)
WO (1) WO2001061371A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016201070A1 (de) * 2016-01-26 2017-07-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
ITTO20011057A1 (it) * 2001-11-07 2003-05-07 Fiat Ricerche ,,metodo e sistema per assistere il conducente di un autoveicolo in unamanovra di cambio di corsia,,.
ATE431605T1 (de) 2002-07-17 2009-05-15 Fico Mirrors Sa Einrichtung zur aktiven überwachung der äusseren sicherheitsbegrenzung eines kraftfahrzeugs
DE10247290B4 (de) 2002-10-10 2013-04-18 Volkswagen Ag Verfahren und Vorrichtung zur Überwachung toter Winkel eines Kraftfahrzeugs
DE20216068U1 (de) * 2002-10-18 2003-03-06 Trw Automotive Safety Sys Gmbh Fahrzeuglenkvorrichtung und Sicherheitssystem
US6674394B1 (en) * 2003-03-28 2004-01-06 Visteon Global Technologies, Inc. Method for determining object location from side-looking sensor data
JP4223320B2 (ja) * 2003-04-17 2009-02-12 富士重工業株式会社 車両用運転支援装置
US7929048B2 (en) 2003-05-22 2011-04-19 Fico Mirrors, Sa Image acquisition module for monitoring applications of the external surroundings of a vehicle
JP4252959B2 (ja) * 2003-05-22 2009-04-08 フィコ ミロールス,エセ ア 車両の外部をモニタするための、加熱装置を有する画像取得ユニット
US20070024711A1 (en) * 2003-05-22 2007-02-01 Francesc Daura Luna External environment-monitoring camera system which is suitable for a a vehicle rear-view mirror
WO2005017554A1 (es) 2003-08-18 2005-02-24 Fico Mirrors, Sa Sistema y método para la supervisión de un ambiente exterior de un vehículo automóvil
US7354166B2 (en) 2003-11-25 2008-04-08 Temic Automotive Of North America, Inc. Automatic viewing of vehicle blind spot
JP3897305B2 (ja) * 2004-02-06 2007-03-22 シャープ株式会社 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体
ES2329683T3 (es) * 2004-02-20 2009-11-30 Fico Mirrors, Sa Sistema de control de funcionamiento de dispositivos detectores de presencia y metodo para su realizacion.
US7432800B2 (en) * 2004-07-07 2008-10-07 Delphi Technologies, Inc. Adaptive lighting display for vehicle collision warning
DE102004060402A1 (de) * 2004-12-14 2006-07-13 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zur Ermittlung einer Fahrzeuggeschwindigkeit
FR2896070B1 (fr) * 2006-01-11 2008-02-15 Commissariat Energie Atomique Systeme magnetique de controle de trafic
US20080122607A1 (en) * 2006-04-17 2008-05-29 James Roy Bradley System and Method for Vehicular Communications
US20070242338A1 (en) * 2006-04-17 2007-10-18 James Roy Bradley System and Method for Vehicular Communications
DE102006020888A1 (de) * 2006-05-05 2007-11-08 Robert Bosch Gmbh Einrichtung und Verfahren zur Überwachung des toten Winkels bei Fahrzeugen
DE102006060062A1 (de) * 2006-12-19 2008-07-03 Sick Ag Objektfeststellungssensor
EP3594853A3 (de) 2007-05-03 2020-04-08 Sony Deutschland GmbH Verfahren zur detektion beweglicher objekte im toten winkel eines fahrzeugs und vorrichtung zur detektion des toten winkels
US7908060B2 (en) * 2007-07-31 2011-03-15 International Business Machines Corporation Method and system for blind spot identification and warning utilizing portable and wearable devices
US8310353B2 (en) 2008-03-31 2012-11-13 Honda Motor Co., Ltd. Vehicle blind spot detection and indicator system
US20100117153A1 (en) * 2008-11-07 2010-05-13 Honeywell International Inc. High voltage soi cmos device and method of manufacture
US8854458B2 (en) * 2009-04-15 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object detection device
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
DE102009040003A1 (de) * 2009-09-03 2011-03-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Objektes im Totwinkelbereich eines Kraftfahrzeugs und Fahrerassistenzeinrichtung
EP2484566A1 (de) 2011-02-08 2012-08-08 Volvo Car Corporation Bremshilfesystem
JP5939401B2 (ja) * 2013-02-26 2016-06-22 株式会社デンソー 制御システム
US9633485B2 (en) * 2013-03-04 2017-04-25 Pedro David GONZÁLEZ VERA System and method for the access to information contained in motor vehicles
AU2013205744B1 (en) * 2013-05-07 2014-10-16 Safemine Ag Improving safety sites with movable objects
AU2013206671B2 (en) 2013-07-03 2015-05-14 Safemine Ag Operator drowsiness detection in surface mines
SE540270C2 (sv) * 2014-04-01 2018-05-22 Scania Cv Ab Förfarande och system för att riskbedöma körfältsbyte vid framförande av ett ledande fordon på en vägbana med åtminstonetvå angränsande körfält
SE540272C2 (sv) * 2014-04-01 2018-05-22 Scania Cv Ab Förfarande och system för att riskbedöma körfältsbyte vid framförande av ett ledande fordon på en vägbana med åtminstonetvå angränsande körfält
US9836966B2 (en) 2014-07-24 2017-12-05 Gentex Corporation Accelerometer integrated with display device
KR102004308B1 (ko) * 2015-08-26 2019-07-29 탈레스 캐나다 아이엔씨 가이드웨이 장착 차량 위치 확인 시스템
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US20210389467A1 (en) * 2018-10-19 2021-12-16 Innoviz Technologies Ltd. Virtual protective housing for bistatic lidra
US11836933B2 (en) * 2019-07-18 2023-12-05 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US11574543B2 (en) 2020-03-23 2023-02-07 Toyota Motor North America, Inc. Transport dangerous location warning
US11718288B2 (en) 2020-03-23 2023-08-08 Toyota Motor North America, Inc. Consensus-based transport event severity
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4694295A (en) * 1986-05-15 1987-09-15 Miller Brett A Vehicle blind spot detector
DE4004053A1 (de) * 1990-02-10 1991-08-14 Standard Elektrik Lorenz Ag Integrierter optischer empfaenger und/oder sender
JPH04261290A (ja) * 1991-02-15 1992-09-17 Toshiba Corp 移動物体追跡装置
JP2711038B2 (ja) * 1991-11-20 1998-02-10 富士通株式会社 光検知装置
DE4332612C2 (de) * 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
JP3452268B2 (ja) * 1993-08-06 2003-09-29 矢崎総業株式会社 車両用後側方監視方法
IT1256956B (it) * 1992-10-05 1995-12-27 Gilardini Spa Dispositivo per rilevare posizioni relative tra veicoli, principalmente in funzione anticollisione.
JP2887039B2 (ja) * 1993-03-26 1999-04-26 三菱電機株式会社 車両周辺監視装置
US5586063A (en) * 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5625210A (en) * 1995-04-13 1997-04-29 Eastman Kodak Company Active pixel sensor integrated with a pinned photodiode
JP3390289B2 (ja) 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
CA2157237A1 (en) * 1995-08-30 1997-03-01 John W. Patchell Thermal emitted radiation detecting device
JP3453952B2 (ja) * 1995-09-29 2003-10-06 株式会社日立製作所 交通流計測装置
JP3588666B2 (ja) * 1996-07-30 2004-11-17 日産自動車株式会社 運転制御装置
JP3473406B2 (ja) * 1998-06-05 2003-12-02 三菱自動車工業株式会社 車両用後方モニタシステム
JP2000020686A (ja) * 1998-06-30 2000-01-21 Yazaki Corp 車両用後側方監視装置
JP3853542B2 (ja) * 1999-07-26 2006-12-06 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
JP3808242B2 (ja) * 1999-07-26 2006-08-09 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
WO2001085491A1 (en) * 2000-05-08 2001-11-15 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016201070A1 (de) * 2016-01-26 2017-07-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz

Also Published As

Publication number Publication date
EP1271179A2 (de) 2003-01-02
ES2273802T3 (es) 2007-05-16
DE60123936D1 (de) 2006-11-30
WO2001061371A2 (es) 2001-08-23
US20030141762A1 (en) 2003-07-31
WO2001061371A3 (es) 2002-03-21
US6911642B2 (en) 2005-06-28
JP4235386B2 (ja) 2009-03-11
ATE343144T1 (de) 2006-11-15
AU2001230267A1 (en) 2001-08-27
EP1271179B1 (de) 2006-10-18
JP2003523521A (ja) 2003-08-05
ES2158827B1 (es) 2002-03-16
ES2158827A1 (es) 2001-09-01

Similar Documents

Publication Publication Date Title
DE60123936T2 (de) Einrichtung zum erkennen der anwesenheit von objekten
DE60215718T2 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102007002419B4 (de) Fahrzeugumgebungsüberwachungsgerät, -verfahren und -programm
DE60126382T2 (de) Verfahren und Gerät zur Erkennung von Gegenständen
DE102016211939B4 (de) Kameravorrichtung und Fahrzeugbordsystem
DE602005000532T2 (de) Überwachungssystem für den Aussenbereich eines Fahrzeugs
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE602004011650T2 (de) Fahrassistenzsystem für ein Kraftfahrzeug
EP2289044B1 (de) Bilddatenvisualisierung
WO2010091818A2 (de) Verfahren zur objektdetektion
DE102017218141B4 (de) Fahrunterstützungsvorrichtung unter verwendung einer frontüberwachungsvorrichtung und fahrunterstützungsverfahren unter verwendung einer frontüberwachungsvorrichtung
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102005045017A1 (de) Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs
DE102004057188A1 (de) Fahrzeug-Fahrunterstützungsvorrichtung
DE102019133642A1 (de) Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten
DE102019216348A1 (de) Fahrzeugunterstützungssystem
DE102005056647A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE10255797A1 (de) Verfahren zur Erfassung der vorausliegenden Umgebung eines Strassenfahrzeugs mittels eines Umgebungserfassungssystems
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
EP1028387B1 (de) Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung
WO2018059630A1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
DE112019006033T5 (de) System zur verkehrsüberwachung mit mindestens zwei verschiedenen sensoren, die an festen infrastrukturen wie brücken oder gebäuden installiert sind
DE102005050609B4 (de) Vorrichtung und Verfahren zum Überwachen der Umgebung eines Fahrzeugs
DE102011017707A1 (de) Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera
DE102021131051B4 (de) Bildaufnahmesystem und Bildaufnahmevorrichtung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition