DE4332612C2

DE4332612C2 - Außenansichts-Überwachungsverfahren für Kraftfahrzeuge

Info

Publication number: DE4332612C2
Application number: DE4332612A
Authority: DE
Inventors: Masato Nakajima; Takahiro Fujishiro; Norio Kitamura; Kazuyuki Sasaki; Takahiro Oikawa; Kouji Ishii
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1992-09-25
Filing date: 1993-09-24
Publication date: 1996-02-22
Anticipated expiration: 2013-09-25
Also published as: DE4332612A1; US5521633A

Description

Die Erfindung betrifft ein Verfahren zum Anzeigen einer Gefahrensituation in Vorder-, Seiten- oder Rückrichtung bei einem Kraftfahrzeug, wobei das Verfahren einen Fahrer alarmieren kann, unter Verwendung von Bildern, die von einer Videokamera auf genommen werden, die auf dem Vorderteil, Seitenteil oder Rückteil eines Kraftfahrzeugs, wie beispielsweise eines Autos, angebracht ist, und ein Kraftfahrzeug oder ein Hindernis vor dem eigenen Fahrzeug des Fahrers während einer Fahrt ermittelt.

Ein konventionelles Verfahren dieser Art ist in der Veröffentlichung der japanischen ungeprüften Patentanmeldung Nr. 241855/1990 beschrieben. Das in dieser Veröffentlichung beschriebene Verfahren umfaßt folgende Schritte: Aufnahme einer Beobachtung in Vorderrichtung von dem sich bewegenden, eigenen Kraftfahrzeug des Fahrers; Erkennen einer Bewegung eines einzigen Punktes in der aufgenommenen Vorderansicht als optischer Fluß zu jedem vorbestimmten Zeitpunkt; Sammeln von Information, also der Position eines vorausfahrenden Kraftfahrzeugs in Bezug auf das eigene Kraftfahrzeug des Fahrers und die Relativgeschwindigkeit, auf der Grundlage des optischen Flusses, und auf der Grundlage eines Abstandsensors zum Messen der Entfernung zum voraus fahrenden Kraftfahrzeug; und Warnen des Fahrers bezüglich einer Gefahr, wenn das Vorhandensein einer Gefahr festgestellt wird.

Unter dem Begriff "optischer Fluß" ist ein Geschwindigkeitsvektor zu verstehen, wie er beispielsweise in Fig. 2(d) dargestellt ist.

Zur Berechnung des optischen Flusses wurde bislang ein Verfahren eingesetzt, welches als Anpassungsverfahren bezeichnet wird. Das Anpassungsverfahren stellt einen korrespondierenden Punkt in zwei Bildern fest. Das Anpassungsverfahren umfaßt folgende Schritte: Einstellen eines Fensters W1 für einen Zielbildpunkt (Target-Pixel) P in einem Bild zu einem Zeitpunkt t, wie in Fig. 10(a) gezeigt; Berechnen eines Korrelationswertes, während das Fenster über den gesamten Teil des Bildes oder einen Nachbarbereich bewegt wird; und Auffinden eines korrespondierenden Punktes in einem Fenster W2, definiert zum Zeitpunkt, an welchem der Korrelationswert ein Maximum annimmt, also eines Pixels Q gemäß Fig. 10(b). Ein Pfeil PQ bezeichnet einen optischen Fluß. Zur Berechnung des voranstehend erwähnten Korrelationswertes wird die nachstehende Gleichung verwendet.

Σ(W1_(x,y) × W2_(x,y) / (WΣ1²_(x,y) × ΣW2²_(x,y) ^1/2 (1)

hierbei sind W1(x,y), W2(x,y) die Ausgangswerte der Koordinaten (x, y) innerhalb der Fenster W1, W2.

Zur Beurteilung einer Gefahr erfordert das konventionelle Verfahren allerdings einen Abstandssensor zum Messen der Entfernung zu einem vorausfahrenden Kraftfahrzeug, um die Position des voraus fahrenden Kraftfahrzeugs in Bezug auf das eigene Kraftfahrzeug des Fahrers festzustellen, zusätzlich zur Videokamera zur Aufnahme des Bildes in Vorwärtsrichtung.

Zur Berechnung des optischen Flusses muß der Vorgang der Ermittlung des korrespondierenden Punktes in einem Bild durchgeführt werden. Wie voranstehend erläutert, umfaßt ein derartiger Vorgang die Ermittlung sämtlicher Bildpunkte (Pixel) in dem gesamten Teil oder einem Nachbarbereich des Bildes in Bezug auf einen einzigen Bildpunkt innerhalb des Bildes, um einen einzigen, korrespondierenden Punkt aufzufinden. Zur Erfassung des korrespondierenden Punktes über den gesamten Teil des Bildes muß dieser Vorgang für sämtliche Bildpunkte durchgeführt werden. Zusätzlich ist die Durchführung einer großen Anzahl von Berechnungen erforderlich, um Korrelationswerte zu finden, die als Suchindizes verwendet werden sollen.

Daher führt der große Umfang der Berechnungen dazu, daß eine Bearbeitung in Echtzeit unmöglich ist. Zur Durchführung einer Bearbeitung in Echtzeit ist ein Hochgeschwindigkeitsprozessor erforderlich, was die Hardwarekosten erhöht. Es ist nicht einfach, die Quelle eines optischen Flusses zu unterscheiden; also ob der optische Fluß von dem voraus fahrenden Kraftfahrzeug herrührt oder von Szenen außerhalb der Straße, oder von Zeichen, Symbolen oder weißen Linien auf der Straßenoberfläche, oder dergleichen.

Durch den Artikel "Computer am Ruder" in "mot-Technik" 7/1990 ist ein Verfahren zum Anzeigen einer Gefahrensitua tion bei einem Kraftfahrzeug bekannt, bei welchem zeitlich versetzte Aufnahmen von mindestens zwei Bildern von Außenan sichten gemacht werden, Geschwindigkeitsvektoren berechnet werden und ein Warnsignal an den Kraftfahrer abgegeben wird, wenn ein vorgegebener Schwellenwert durch einen der Ge schwindigkeitsvektoren überschritten wird.

Die Erfindung wurde unter Berücksichtigung der voranstehenden Umstände entwickelt. Daher besteht die Aufgabe der Erfindung in der Bereitstellung eines Verfahrens zum Anzeigen einer Gefahrensituation in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung bei einem Kraftfahrzeug, welches automatisch die Gefahrenrate bezüglich eines voraus fahrenden Kraftfahrzeugs oder anderer Hindernisse in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung beurteilen kann, während Bilder in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung verwendet werden, die von einer Videokamera überwacht werden, die am Vorderteil, Seitenteil oder Rückteil des Kraftfahrzeugs angebracht ist, ohne die Entfernung zwischen dem voraus fahrenden Kraftfahrzeug und dem eigentlichen Kraftfahrzeug des Fahrers zu messen.

Weiterhin soll mit dem Verfahren schnell eine Bewegung desselben Punktes in Vorderrichtung, Seitenrichtung oder Rückrichtung bei einer Bildaufnahme durch die Videokamera für jeden vorbestimmten Zeitpunkt als optischen Fluß identifiziert werden.

Die Aufgabe der Erfindung wird durch ein Verfahren zum Anzeigen einer Gefahrensituation bei einem Kraftfahrzeug mit den Merkmalen des Anspruchs 1 gelöst.

Bei einem derartigen Verfahren wird eine Gefahrenrate abhängig von der Größe und dem Ort eines Vektors eines optischen Flusses beurteilt, der von einem Punkt auf dem vorausfahrenden Kraftfahrzeug oder dem Hindernis auf der Straße abgeleitet wird.

Mit dem erfindungsgemäßen Verfahren kann der Umfang der Berechnung verringert werden und eine Hochgeschwindigkeitsverarbeitung erreicht werden.

Gemäß einem Ausführungsbeispiel der Erfindung werden bei dem voranstehend erwähnten Verfahren weiterhin folgende Schritte vorgenommen: Berechnung von Differenzen der Helligkeitswerte für jeweilige Punkte der beiden Bilder; und Berechnung der Geschwindigkeitsvektoren nur für solche Punkte, für welche die Differenzen der Helligkeitswerte eine vorbestimmte Schwelle überschreiten.

Gemäß einer weiteren Ausführungsform der Erfindung werden bei dem Verfahren weiterhin folgende Schritte vorgenommen: Entfernen von Geschwindigkeitsvektoren, die von Szenen abgeleitet werden, die außerhalb der Straße liegen, von Straßenunterteilungslinien, von Zeichen, Symbolen oder dergleichen, die auf eine Straßenoberfläche aufgemalt sind.

Gemäß einer weiteren Ausführungsform der Erfindung werden folgende Schritte durchgeführt: Voreinstellung von Bereichen, entsprechend Szenen einer Straße; und Unterdrücken der Bearbeitung der vorbestimmten Bereiche, wenn ein Geschwindigkeitsvektor berechnet wird.

Eine weitere Ausführungsform der Erfindung zeichnet sich durch folgende Schritte aus: Berechnung einer Höhe von einer Straßenunterteilungslinie, einem Zeichen, einem Symbol oder dergleichen auf einer Straßenoberfläche, von welcher ein Geschwindigkeitsvektor zu einer Videokamera abgeleitet wird, auf der Grundlage von Daten der Geschwindigkeitsvektoren unter Verwendung der Videokamera zur Aufnahme einer Beobachtung in Vorderrichtung, Seitenrichtung oder Rückrichtung von dem eigenen Fahrzeug des Fahrers, welches sich bewegt; und Entfernen eines Geschwindigkeitsvektors, für welchen die Höhe von der Straßenoberfläche mit der Höhe der Videokamera zusammenfällt.

Eine weitere Ausführungsform der Erfindung zeichnet sich durch folgende Schritte aus: Unterteilung einer vorbestimmten Fläche in mehrere Zonen; Gewichtung einer Summe von Längen der Geschwindigkeitsvektoren, die in jeder Zone vorhanden sind, auf einer Zonenbasis; und Beurteilung einer Gefahrenrate auf der Grundlage einer Größe des gewichteten Wertes.

Daher läßt sich der spezifische Ort ermitteln, in welchem eine Gefahr vorliegt.

Bei einer weiteren Ausführungsform der Erfindung werden folgende Schritte vorgenommen: Einstellen einer vorbestimmten Schwelle für jede der entsprechenden Zonen; und Beurteilung, daß eine Zone gefährlich ist, in welcher die Summe der Längen der Geschwindigkeitsvektoren die vorbestimmte Schwelle überschreitet.

Eine weitere Ausführungsform der Erfindung zeichnet sich durch folgende Schritte aus: Beurteilung eines Pegels der Gefahrenrate auf der Grundlage von Pegeln jeder Schwelle, welche die Summe der Längen der Geschwindigkeitsvektoren überschritten hat, durch Einstellung mehrerer Pegel für die Schwelle.

Eine weitere Ausführungsform der Erfindung zeichnet sich durch folgende Schritte aus: Abgabe eines Alarms entsprechend der berechneten Größe der Gefahrenrate.

Berücksichtigt man die Tatsache, daß der Geschwindigkeitsvektor desto größer wird, je kleiner die Entfernung zwischen dem eigenen Fahrzeug des Fahrers und dem voraus fahrenden Kraftfahrzeug oder Hindernis ist, oder je größer die Relativgeschwindigkeit ist, so ist das erfindungsgemäße Verfahren so ausgelegt, daß die Gefahr von der Größe eines Geschwindigkeitsvektors her beurteilt wird, der von einem Punkt auf einem voraus fahrenden Kraftfahrzeug oder einem Hindernis auf der Straße abgeleitet wird. Daher ist es nicht besonders erforderlich, ein Abstandsmeßgerät anzubringen, um die Entfernung zum vorausfahrenden Kraftfahrzeug zu messen.

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt

Fig. 1 ein Blockschaltbild einer beispielhaften Vorrichtung zur Ausführung eines Verfahrens gemäß der Erfindung;

Fig. 2(a) bis 2(b) Diagramme mit einer Darstellung einer Beobachtung in Vorwärtsrichtung und von Bildern, die durch eine Videokamera aufgenommen werden sollen, und erhaltenen optischen Flüssen;

Fig. 3 ein Diagramm, welches erläutert, wie ein Hindernis oder dergleichen durch das erfindungsgemäße Verfahren erfaßt wird;

Fig. 4(a) und 4(b) Diagramme zur Erläuterung, wie ein optischer Fluß durch das erfindungsgemäße Verfahren berechnet wird;

Fig. 5 ein Diagramm mit einer Darstellung eines beispielhaften Bereiches, der so eingestellt ist, daß der optische Fluß durch das erfindungsgemäße Verfahren berechnet werden kann;

Fig. 6 ein Diagramm zur Erläuterung, wie der optische Fluß, der von einer Spurunterteilungslinie auf einer Straßenoberfläche abgeleitet ist, durch das erfindungsgemäße Verfahren eliminiert wird;

Fig. 7 ein Diagramm mit einer Darstellung beispielhafter Zonen, die so definiert sind, daß die Gefahrenrate durch das erfindungsgemäße Verfahren beurteilt werden kann;

Fig. 8 ein Diagramm mit einer Darstellung einer Reihe von Verarbeitungsschritten, die bei dem erfindungsgemäßen Verfahren vorgesehen sind;

Fig. 9(a) bis 9(d) Diagramme mit einer Darstellung einer Beobachtung in Rückwärtsrichtung und von Bildern, die von einer Videokamera aufgenommen werden sollen, sowie von erhaltenen optischen Flüssen; und

Fig. 10(a) und 10(b) Diagramme zur Erläuterung von Problemen, die bei einem konventionellen Verfahren auftreten.

Fig. 1 zeigt den Aufbau einer Vorrichtung, in welcher das erfindungsgemäße Verfahren verwirklicht ist. In Fig. 1 bezeichnet die Bezugsziffer 1 eine Videokamera zur Aufnahme einer Beobachtung in Vorderrichtung, 2 bezeichnet eine Arithmetik- und Logikeinheit zur Durchführung einer Bildbearbeitung (die nachstehend beschrieben wird) durch Empfang eines Bildes, welches von der Videokamera 1 erhalten wird; 3 bezeichnet einen Tachometer zur Messung der Geschwindigkeit des eigenen Fahrzeugs des Fahrers; 4 bezeichnet eine Arithmetik- und Logikeinheit zur Ausführung einer Gefahrenbeurteilungsverarbeitung durch Empfang des Bildbearbeitungsergebnisses, welches von der Arithmetik- und Logikeinheit 2 erhalten wird, und der Geschwindigkeit des eigenen Kraftfahrzeugs des Fahrers, welche von dem Tachometer 3 erhalten wird; und 5 bezeichnet eine Alarmvorrichtung.

Die Fig. 2(a) bis (d) stellen Diagramme zur Erläuterung einer Änderung eines Bildes in Vorwärts-Beobachtungsrichtung dar, welches von der Videokamera 1 erhalten wird. Ein Teil (b) ist ein Bild, welches von der Videokamera 1 zu einem Zeitpunkt t in einer Situation aufgenommen wird, die im Teil (a) gezeigt ist, einschließlich des eigenen Kraftfahrzeugs des Fahrers; und Teil (c) ist ein Bild, welches zu einem Zeitpunkt t + Δt aufgenommen wird.

Es wird nunmehr angenommen, daß sich das eigene Kraftfahrzeug des Fahrers geradeaus auf einer flachen Straße bewegt. Wenn die Videokamera auf ein Straßenverkehrszeichen und ein Gebeuge fokussiert ist, wie in Fig. 2(a) gezeigt, dann werden im Verlauf der Zeit die in Fig. 2(b) und 2(c) gezeigten Bilder zu einem Zeitpunkt t und zu einem Zeitpunkt t + Δt aufgenommen. Wenn entsprechende Punkte in diesen beiden Bildern aufgesucht und verbunden werden, lassen sich Geschwindigkeitsvektoren erhalten, die in Fig. 2(d) gezeigt sind. Diese Vektoren stellen das dar, was als "optische Flüsse" bezeichnet wird.

Diese optischen Flüsse erscheinen radial von einem einzigen Punkt aus, der als ein Expansionsbrennpunkt (FOE) innerhalb eines Bildes bezeichnet wird. Der Begriff FOE bezeichnet auch einen Punkt im Unendlichen oder einen verschwindenden Punkt, und entspricht einem einzigen Punkt auf dem Bild, wobei der einzige Punkt die Vorwärtsbewegungsrichtung des eigenen Kraftfahrzeugs des Fahrers angibt, wenn sich das Kraftfahrzeug geradeaus bewegt. Daher befinden sich die optischen Flüsse, die erhalten werden, wenn das eigene Kraftfahrzeug des Fahrers fährt, von dem FOE aus in Radialrichtungen. Optische Flüsse, die von einem vorausfahrenden Kraftfahrzeug abgeleitet werden, umfassen Information wie beispielsweise die Entfernung des vorausfahrenden Kraftfahrzeuges zum eigenen Kraftfahrzeug des Fahrers, und die Relativgeschwindigkeit. Es wird angenommen, daß das Ausmaß der Gefahr desto größer wird, je länger die optischen Flüsse sind.

Einzelheiten des Verfahrens werden unter Bezug auf Fig. 3 beschrieben. Nimmt man an, daß bei der optischen Anordnung von Fig. 3 die Bezugsziffer 11 eine Linse der Videokamera bezeichnet; 12 eine Bildebene der Videokamera bezeichnet; f eine Entfernung von der Linse 11 zu der Bildebene 12 bezeichnet; P (X, Y, Z) eine willkürlichen Punkt auf einem vorausfahrenden Kraftfahrzeug oder auf einem Hindernis bezeichnet; und p einen Punkt auf der Bildebene 12 entsprechend dem Punkt P bezeichnet, dann gilt

x = f·X/Z (2)

und zwar aus dem Ähnlichkeitsverhältnis zwischen Dreiecken.

Wird Gleichung (2) umgeschrieben und nach der Zeit differenziert, so erhält man

X′ = (ΔX/Δt·Z+ x·Z′)/f (3).

Da eine Komponente u in der Richtung von x des optischen Flusses gegegeben ist durch

u = Δx/Δt (4)

ergibt sich unter Verwendung von Gleichung (4),

Z = (f·X′-X·Z′)/u (5)

da Z′ gleich einer Relativgeschwindigkeit zwischen dem vorausfahrenden Kraftfahrzeug oder dem Hindernis und dem eigenen Kraftfahrzeug des Fahrers ist, und zwar gleich -α (6) kann die voranstehende Gleichung (5) folgendermaßen umgeschrieben werden

Z = (f·X′ + xα)/u (7).

Daher ergibt sich die Komponente u in der X-Richtung des optischen Flusses als

u = (f·X′+xα)/Z (8)

Das gleiche gilt für Y.

Aus der voranstehenden Gleichung (8) sieht man, daß die x-Komponente des optischen Flusses desto größer wird, je kleiner Z ist (also je geringer die Entfernung zum vorausfahrenden Kraftfahrzeug oder zum Hindernis ist), oder je größer α ist (also je größer die Relativgeschwindigkeit in Bezug auf das vorausfahrende Kraftfahrzeug ist). Das gleiche gilt für die Y-Richtung.

Daher wird der optische Fluß länger bei kleineren Entfernungen zum vorausfahrenden Kraftfahrzeug oder dergleichen, oder bei größeren Relativgeschwindigkeiten. Dies führt dazu, daß angenommen wird, daß die Gefahrenrate in Bezug auf das voraus fahrende Fahrzeug oder auf das Hindernis relativ desto größer wird, je länger der optische Fluß ist.

Die Erfindung ist so ausgelegt, daß optische Flüsse mit hoher Geschwindigkeit berechnet werden, während von der Tatsache Gebrauch gemacht wird, daß optische Flüsse in Radialrichtungen von dem FOE aus aufgefunden werden können. Nachstehend wird unter Bezug auf Fig. 4 ein Verfahren zur Berechnung eines optischen Flusses beschrieben.

Fig. 4(a) und (b) sind Diagramme zur Erläuterung eines beispielhaften Verfahrens zur Berechnung eines optischen Flusses mit hoher Geschwindigkeit. Zuerst wird ein langes und enges Fensters in einer Radialrichtung von dem FOE aus eingestellt, in Bezug auf einen einzigen Punkt, der als Ziel in einem Bild zu einem Zeitpunkt t genommen wird (Fig. 4(a)). Dann wird in einem Bild zum Zeitpunkt t +Δt die Summe von Absolutwerten der Differenz der Helligkeit zwischen dem Fenster zum Zeitpunkt t und dem Fenster zum Zeitpunkt t + Δt berechnet, während das Fenster zum Zeitpunkt t in der Radialrichtung bewegt wird, und zwar punktweise von dem FOE aus. Eine Fensterbewegungsentfernung zu dem Zeitpunkt, an welchem die Summe den Minimalwert annimmt, wird als ein Geschwindigkeitsvektor des Zielpunktes berechnet (Fig. 4(b)). Die Helligkeitsdifferenzen treten zwischen den jeweiligen Bildpunkten auf, welche das Fenster bilden, also beispielsweise zwischen den Bildpunkten, die in den Fig. 4(a) und (b) von Kreisen umschlossen sind. Die optischen Flüsse des gesamten Teils des Bildes können dadurch erhalten werden, daß die voranstehend geschilderte Bearbeitung für sämtliche Punkte auf dem Bild zum Zeitpunkt t wiederholt wird.

Ein konventionelles Verfahren verwendet gegenseitige Korrelationswerte beim Vergleich der entsprechenden Fenster. Im Gegensatz hierzu kann das erfindungsgemäße Verfahren, welches sich dadurch auszeichnet, daß die Summe der Absolutwerte der Differenzen der Helligkeit verwendet wird, den Umfang der Berechnung verringert, wodurch die Bearbeitungsgeschwindigkeit verbessert wird.

In Bezug auf den Geschwindigkeitsvektor zeichnet sich die erfindungsgemäße Bearbeitung dadurch aus, daß zuerst Differenzen der Helligkeit zwischen einem Bild zum Zeitpunkt t und einem Bild zum Zeitpunkt t + Δt berechnet werden, und dann nur Punkte bearbeitet werden, für welche derartige Differenzen eine vorbestimmte Schwelle überschreiten, anstatt die Geschwindigkeitsvektoren für sämtliche Punkte innerhalb des Bildes aufzufinden.

Im allgemeinen weisen Beobachtungen in Vorderrichtung, die von einer Videokamera aufgenommen werden, während ein Kraftfahrzeug fährt, in den meisten Fällen Orte auf, bei denen wenige Änderungen der Helligkeit in einem bestimmten Zeitraum auftreten, beispielsweise den Himmel und eine Straße. Es ist grundsätzlich unmöglich, an solchen Orten optische Flüsse festzustellen. Daher trägt das erfindungsgemäße Verfahren dazu bei, überflüssige Bearbeitungsvorgänge entbehrlich zu machen, und daher Zeit zu sparen, da sich das Verfahren nämlich dadurch auszeichnet, daß bei der Bearbeitung Helligkeitsdifferenzen zwischen einem Bild zum Zeitpunkt t und einem Bild zum Zeitpunkt t + Δt berücksichtigt werden.

Durch das voranstehend geschilderte Verfahren lassen sich schnell optische Flüsse erhalten. Die hier erhaltenen optischen Flüsse umfassen solche, die von anderen Objekten als Hindernisse abgeleitet werden, beispielsweise von Szenen außerhalb der Straße und von Spurunterteilungslinien auf der Straßenoberfläche. Daher ist es schwierig, das Vorhandensein eines Hindernisses in Vorwärtsrichtung zu bewerten, oder die Gefahrenrate, die durch ein derartiges Hindernis hervorgerufen wird, wenn derartige optische Flüsse verwendet werden. Daher ist es erforderlich, die optischen Flüsse zu entfernen, die von den Szenen außerhalb der Straße und der Spurunterteilungslinien auf der Straßenoberfläche abgeleitet werden. Nachstehend wird ein Verfahren zur Durchführung einer derartigen Bearbeitung beschrieben.

Fig. 5 zeigt ein beispielhaftes Verfahren zum Entfernen optischer Flüsse, die von Szenen außerhalb der Straße abgeleitet werden. In Fig. 5 bezeichnet der schraffierte Bereich einen Ort auf der Straße, und es wird angenommen, daß an anderen Orten als an diesem Ort keine Bearbeitung durchgeführt wird. Dies ist ein Verfahren zum Isolieren optischer Flüsse, die von Szenen außerhalb der Straße abgeleitet sind, seit dem Beginn der Bearbeitung. Ein derartiges Verfahren mit einer Begrenzung des Bereichs, welcher bearbeitet wird, dient dem Zweck der Verkürzung der Bearbeitungszeit.

Nachstehend wird unter Bezug auf Fig. 6 ein Verfahren zum Ausschalten von Markierungen auf der Straßenoberfläche beschrieben. Fig. 6 zeigt ein beispielhaftes Verfahren. Zuerst wird die optische Anordnung beschrieben. Fig. 6 ist so dargestellt, daß angenommen wird, daß die gesamte Straßenoberfläche einem Kraftfahrzeug entgegenkommt, welches mit einer Videokamera ausgerüstet ist, statt das ein derartiges Kraftfahrzeug geradeaus fährt. Die Bezugsziffer 11 bezeichnet eine Linse der Videokamera zur Abbildung einer Beobachtung in Vorwärtsrichtung; 12 bezeichnet eine Bildebene der Videokamera; und 13 und 14 bezeichnen Spurenunterteilungs-Linienabschnitte vor und nach einer Bewegung des Kraftfahrzeuges. Sowohl dreidimensionale Koordinaten mit dem Zentrum der Linse als Ursprung, als auch zweidimensionale Koordinaten mit dem voranstehend erwähnten FOE als Ursprung werden betrachtet.

Falls angenommen wird, daß ein Ort des Spurenunterteilungs-Linienabschnitts vor der Bewegung P (X, Y, Z + ΔZ) ist, und daß dessen Ort nach einer Bewegung um ΔZ in der Z-Richtung gleich groß Q (X, Y, Z) ist, dann ergibt sich aus dem Ähnlichkeitsverhältnis zwischen zwei Dreiecken die Höhe zwischen der Spurunterteilungslinie, von welcher ein optischer Fluß abgeleitet wird, und der Videokamera aus der nachstehende Gleichung (9).

Y = y²ΔZ/fΔy (9).

Unter Verwendung der auf diese Weise erhaltenen Höhendaten können optische Flüsse gelöscht werden, die von Makierungen oder dergleichen auf der Straßenoberfläche abgeleitet sind, deren Höhen gleich der Höhe der Videokamera sind.

Hierbei ist ΔZ die Entfernung, um welche sich das Kraftfahrzeug während eines Zeitintervalls Δt zwischen den beiden Bildern vorwärts bewegt hat. Diese Daten können berechnet werden, wenn die Geschwindigkeit des Kraftfahrzeugs bekannt ist. Durch die voranstehend beschriebene Verarbeitung können die optischen Flüsse entfernt werden, die von Objekten abgesehen von Hindernissen in Vorwärtsrichtung abgeleitet sind. Daher kann die Gefahrenrate, welche das Ausmaß der Gefahr eines Hindernisses in Vorwärtsrichtung angibt, aus den Positionen und Längen optischer Flüsse berechnet werden, die nach dem Entfernen verblieben sind.

Nachstehend wird ein Verfahren zur Berechnung der Gefahrenrate beschrieben. Fig. 7 zeigt ein beispielhaftes Verfahren. Zuerst wird der Aufbau geschildert. Die Bezugszeichen I bis IV stellen Zonen dar, die jeweils den nächsten Teil der Spur des Fahrers anzeigen, deren entfernten Teil, und den nahen Teil einer benachbarten Spur. Die Gefahrenrate wird beurteilt unter Verwendung des Wertes, der durch Gewichtigung auf Zonenbasis der Summe der Längen optischer Flüsse erhalten wird, die in jeder Zone vorhanden sind. Weiterhin wird für jede Zone eine vorbestimmte Schwelle festgelegt, so daß dann, wenn die Summe der Längen der in einer Zone vorhandenen optischen Flüsse die Schwelle überschreitet, eine derartige Zone als gefährlich beurteilt wird. Die Gefahr kann durch den Pegel bewertet werden, wenn mehrere Pegel von Schwellen eingestellt werden.

Im letzten Schritt kann der Fahrer auf das Vorhandensein einer Gefahr durch eine Alarmvorrichtung aufmerksam gemacht werden, entsprechend der Größe der ermittelten Gefahrenrate. Die Gefahrenrate kann auf einer Anzeigevorrichtung durch die Zone angezeigt werden. Abhängig von dem Gefahrenpegel kann der Alarmton geändert werden.

Fig. 8 faßt das Verfahren der voranstehend erwähnten Bildbearbeitung mit dem erfindungsgemäßen Verfahren zusammen. Im Schritt S1 wird ein Bild zum Zeitpunkt t gelesen, und im Schritt S2 wird ein Bild zum Zeitpunkt t + Δt gelesen. Dann wird im Schritt S3 ein FOE eingestellt, und im Schritt S4 ein Bearbeitungsbereich eingestellt. Daraufhin werden im Schritt S5 Zonen herausgezogen, in welchen die Helligkeits- oder Leuchtdichtedifferenzen zwischen den Bildern zum Zeitpunkt t und zum Zeitpunkt t + Δt eine vorbestimmte Schwelle überschritten haben. Im Schritt S6 werden in jeder herausgezogenen Zone optische Flüsse berechnet, und im Schritt S7 werden optische Flüsse eliminiert, die von Objekten abgesehen von Hindernissen auf der Straße abgeleitet sind. Im Schritt S8 wird die Gefahrenrate unter Verwendung des auf der Grundlage der Zone gewichteten Wertes berechnet.

Bei der voranstehend geschilderten Ausführungsform der vorliegenden Erfindung wird ein Beispiel für das Überwachungsverfahren für Beobachtungen in Vorwärtsrichtung für ein Kraftfahrzeug beschrieben. Allerdings kann die vorliegende Erfindung auch für ein entsprechendes Überwachungsverfahren für Beobachtungen in Seitenrichtung oder Rückwärtsrichtung für Kraftfahrzeuge eingesetzt werden, wenn eine Videokamera zur Bildaufnahme einer Beobachtung in Seitenrichtung oder Rückwärtsrichtung vorgesehen wird. Fig. 9(a) bis (d) sind Diagramme zur Erläuterung einer Änderung eines Bildes in Rückwärtsbeobachtungsrichtung, welches von der Videokamera 1 erhalten wird. Ein Teil (b) ist ein Bild, welches von der Videokamera 1 zu einem Zeitpunkt t in einer Situation aufgenommen wird, die im Teil (a) gezeigt ist, und das eigene Kraftfahrzeug des Fahrers einschließt, und Teil (c) ist ein Bild, welches zu einem Zeitpunkt t + Δt aufgenommen wird.

Nunmehr wird angenommen, daß das eigene Kraftfahrzeug des Fahrers sich in Geradeausrichtung auf einer flachen Straße vorwärtsbewegt. Ist die Videokamera auf ein Verkehrsschild und ein Gebäude fokussiert, wie beispielsweise in Fig. 9(a) gezeigt ist, dann werden Bilder wie in Fig. 9(b) und (c) gezeigt zu einem Zeitpunkt t und einem Zeitpunkt t + Δt in Verlauf der Zeit aufgenommen. Wenn korrespondierende Punkte in diesen beiden Bildern aufgesucht und verbunden werden, können solche Geschwindigkeitsvektoren erhalten werden, wie sie in Fig. 2(d) gezeigt sind. Diese Vektoren stellen die sogenannten "optischen Flüsse" dar. Wie aus Fig. 9(d) hervorgeht, ergibt sich eine Richtung des Geschwindigkeitsvektors in Gegenrichtung, verglichen mit der in Fig. 2 gezeigten Ausführungsform, wenn ein hinterherfahrendes Fahrzeug sich nahe am eigenen Kraftfahrzeug des Fahrers befindet. Das übrige Verfahren zur Berechnung der Gefahrenrate verläuft ebenso wie bei der vorherigen Ausführungsform, so daß eine entsprechende Beschreibung unterbleiben kann.

Wie auf den voranstehenden Seiten beschrieben kann die Erfindung das Vorliegen eines Hindernisses in Vorwärtsrichtung, Seitenrichtung oder Rückwärtsrichtung oder die Gefahrenrate automatisch beurteilen, wodurch ein sicheres Fahren eines Kraftfahrzeuges sichergestellt wird.

Insbesondere zeichnet sich die Erfindung dadurch aus, daß die Gefahrenrate durch die Größe eines optischen Flusses beurteilt wird, der von einem Punkt auf einem vorausfahrenden Kraftfahrzeug oder auf einem Hindernis abgeleitet wird. Daher ist eine Videokamera zur Abbildung einer Beobachtung in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung von einem sich bewegenden, eigenen Kraftfahrzeug des Fahrers vorgesehen, welches keine Abstandsmeßvorrichtung zum Messen der Entfernung zu einem vorausfahrenden Kraftfahrzeug benötigt. Dies führt dazu, daß eine kostengünstige Vorrichtung erhalten werden kann.

Weiterhin tragen die Merkmale, wie beispielsweise die Verringerung des Berechnungsaufwands, die Ausschaltung unnötiger Bearbeitung, und die Begrenzung der Bearbeitungszonen zur Erhöhung der Bearbeitungsgeschwindigkeit bei, wodurch eine Verarbeitung in Echtzeit ermöglicht wird.

Darüber hinaus lassen sich Vorteile in der Hinsicht erzielen, daß bei Kenntnis einer gefährlichen Zone ein geeigneter Alarm abgegeben werden kann, und die Gefahrenrate angegeben werden kann.

Die voranstehende Beschreibung bevorzugter Ausführungsformen der Erfindung erfolgte zum Zwecke der Erläuterung und Beschreibung. Hierdurch soll die Erfindung nicht auf die exakte, beschriebene Form erschöpft oder begrenzt werden, und es wird darauf hingewiesen, daß Änderungen und Variationen angesichts der voranstehend geschilderten Lehre möglich sind, oder sich bei der Praktizierung der Erfindung ergeben können. Die Ausführungsformen wurden zu dem Zweck ausgewählt oder beschrieben, um die Grundlagen der Erfindung zu erläutern, sowie deren praktische Umsetzbarkeit, damit ein Fachmann auf diesem Gebiet die Erfindung in unterschiedlichen Ausführungsformen und mit verschiedenen Modifikationen einsetzen kann, wie sich dies für einen bestimmten Einsatzzweck als erforderlich erweisen kann.

Claims

1. Verfahren zum Anzeigen einer Gefahrensituation bei einem Kraftfahrzeug, welches sich bewegt, mit folgenden Schritten:

- Zeitlich versetzte Aufnahme von mindestens zweier Bilder von Außenansichten.
- Berechnung von Geschwindigkeitsvektoren, wobei zur Berech nung der Geschwindigkeitsvektoren in dem früher aufgenommenen ersten Bild ein langes und enges Fenster eingestellt wird, wobei sich dieses Fenster radial von einem Expansionsbrenn punkt aus erstreckt, und in dem später aufgenommenen zweiten Bild das im ersten Bild eingestellte Fenster solange in Radi alrichtung verschoben wird, bis die Summe von Absolutwerten der Differenzen der Helligkeitswerte zwischen dem Fenster im ersten Bild und dem Fenster im zweiten Bild minimal wird, und die gerichtete Strecke zwischen dem Mittelpunkt des Fensters im ersten Bild und dem Mittelpunkt des Fensters im zweiten Bild einen Geschwindigkeitsvektoren darstellt.
- Abgabe eines Warnsignals an den Kraftfahrer, wenn ein vorge gebener Schwellwert durch einen der Geschwindigkeitsvektoren überschritten wird.

2. Verfahren nach Anspruch 1, gekennzeichnet durch folgende Schritte:
Berechnen der Differenzen der Helligkeitswerte für jeweilige Punkte der beiden Bilder; und
Berechnen der Geschwindigkeitsvektoren nur von Punkten, für welche die Differenzen der Helligkeitswerte eine vorbestimm te Schwelle überschreiten.

3. Verfahren nach Anspruch 1, gekennzeichnet durch folgende Schritte:
Entfernen von Geschwindigkeitsvektoren, die von Szenen au ßerhalb der Straße abgeleitet sind, von Spurunterteilungsli nien, von Zeichen, Symbolen oder dergleichen, die auf eine Straßenoberfläche aufgemalt sind.

4. Verfahren nach Anspruch 1, gekennzeichnet durch folgende Schritte:
Voreinstellung von Bereichen, welche Szenen außerhalb einer Spur, in welcher gefahren werden soll, entsprechen, und
Behandlung nur eines Bereiches, welcher nicht den voreinge stellten Bereichen entspricht, bei der Berechnung eines Ge schwindigkeitsvektors.

5. Verfahren nach Anspruch 3, gekennzeichnet durch folgende Schritte:
Berechnung einer Höhe von einer Spurunterteilungslinie, ei nem Zeichen, einem Symbol oder dergleichen auf einer Stra ßenoberfläche, von welcher ein Geschwindigkeitsvektor zu ei ner Videokamera abgeleitet wird, auf der Grundlage von Daten der Geschwindigkeitsvektoren unter Verwendung der Videokame ra zur Bildaufnahme einer Außenbeobachtung von dem sich be wegenden, eigenen Kraftfahrzeug des Fahrers; und
Entfernen eines Geschwindigkeitsvektors, für welchen die Hö he von der Straßenoberfläche mit der Höhe der Videokamera zusammenfällt.

6. Verfahren nach Anspruch 1, gekennzeichnet durch folgende Schritte:
Unterteilen eines vorbestimmten Bereiches in mehrere Zonen;
Gewichtung einer Summe von Längen der Geschwindigkeitsvekto ren, die in jeder Zone vorhanden sind, auf einer Zonen- Grundlage; und
Beurteilung einer Gefahrenrate aus einer Größe des gewichte ten Wertes.

7. Verfahren nach Anspruch 6, gekennzeichnet durch folgende Schritte:
Einstellung einer vorbestimmten Schwelle für jede der ent sprechenden Zonen; und
Beurteilung, daß eine Zone gefährlich ist, in welcher die Summe der Längen der Geschwindigkeitsvektoren die vorbe stimmte Schwelle überschreitet.

8. Verfahren nach Anspruch 6, gekennzeichnet durch folgende Schritte:
Beurteilung eines Pegels der Gefahrenrate aus Pegeln jeder Schwelle, welche die Summe der Längen der Geschwindigkeits vektoren überschritten haben, durch Einstellung mehrerer Pe gel für die Schwelle.

9. Verfahren nach Anspruch 8, gekennzeichnet durch folgende Schritte:
Abgabe eines Alarms entsprechend der berechneten Größe der Gefahrenrate.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Außenansicht eine Seitenrichtung oder eine Rückwärts richtung betrifft.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß der Geschwindigkeitsvektor eines von hinten sich nähernden Fahrzeuges von dem Expansionsbrennpunkt weg gerichtet ist.