DE69809334T2

DE69809334T2 - Vorrichtung zur Feststellung der Anwesenheit von einem Fahrgast in einem Kraftfahrzeug

Info

Publication number: DE69809334T2
Application number: DE69809334T
Authority: DE
Inventors: William Joseph Janutka; Sabrina Elizabeth Kemeny; Larry Matthies; Marc Raymond Simon
Original assignee: Eaton Corp
Current assignee: Eaton Corp
Priority date: 1997-06-11
Filing date: 1998-06-10
Publication date: 2003-09-18
Anticipated expiration: 2018-06-11
Also published as: JPH1115980A; EP0885782B1; US6757009B1; DE69809334D1; ES2186051T3; EP0885782A1

Description

Die Erfindung betrifft eine Vorrichtung zum Erfassen der Anwesenheit oder Abwesenheit von Objekten und insbesondere die Erfassung, ob auf einem Sitzplatz eines Kraftfahrzeugs ein Insasse anwesend ist.
Als Sicherheitseinrichtung verfügen moderne Kraftfahrzeuge über integrierte Airbags, die jeweils vor dem Fahrer in dem Lenkrad und vor einem auf dem Vordersitz sitzenden Beifahrer in dem Armaturenbrett eingebaut sind. Zusätzliche Airbags werden gegenwärtig für die Türen seitlich der Fahrzeuginsassen vorgeschlagen. Eine während eines Unfalls auftretende starke Verzögerung des Kraftfahrzeugs wird erfasst, und ein Aufblasen der Airbags wird aktiviert, die daraufhin die Fahrzeuginsassen in einem Luftkissen auffangen.
Zwar konnten Airbags die Schwere von Verletzungen bei Kraftfahrzeugzusammenstößen in hohem Maße reduzieren, jedoch kommt es gelegentlich aufgrund der großen Geschwindigkeit, mit der das Aufblasen eines Airbags erfolgen muss, zu Verletzungen des Beifahrers und/oder des Fahrers. Insbesondere kann der Airbag ein auf dem Vordersitz des Fahrzeug sitzendes kleines Kind oder Baby ernsthaft verletzen.
Um im Falle eines Unfalls Kleinkinder und Säuglinge nicht der beim Aufblasen entstehenden Kraft eines sich entfaltenden Airbags auszusetzen, wird gegenwärtig daher empfohlen, diese auf den Rücksitzen des Fahrzeugs zu beför dern. Allerdings wird dies nicht der Situation gerecht, bei der diese Empfehlung missachtet wird und ein Kind auf dem Vordersitz des Fahrzeugs mitfährt. Außerdem bleibt bei Fahrzeugen für nur zwei Personen, beispielsweise in Sportfahrzeugen und Lastfahrzeugen, keine andere Wahl, als ein Kind oder Baby auf einen Sitz zu setzen, gegenüber dem ein Airbag angebracht ist. Für die zuletzt erwähnte Situation wurde vorgeschlagen, einen manuellen Deaktivierungsschalter vorzusehen, der den vor dem Kind befindlichen Airbag außer Kraft setzt. Allerdings muss dieser Schalter nicht nur bei jeder Beförderung eines Kindes manuell betätigt werden, vielmehr muss sich der Fahrzeugführer auch daran erinnern, den Airbag im Falle von erwachsenen Beifahrern wieder zu aktivieren.
Diese Vorkehrungen berücksichtigen ferner nicht die Anwesenheit von relativ kleinen erwachsenen Insassen in einem Fahrzeug, das mit einem dem Schutz von größeren Personen dienenden Airbag ausgerüstet ist. Folglich besteht ein Bedarf zu ermöglichen, dass der Betrieb des Airbags in Abhängigkeit von der Größe einer auf dem Sitz zu schützenden individuellen Person angepasst abläuft.
Allerdings muss für eine dynamische Konfiguration des Airbags sein Steuer-/Regelsystem in der Lage sein, die Größe des Fahrzeuginsassen zuverlässig zu erfassen. Als eine Lösung hierfür ist vorgeschlagen worden, das Gewicht der den Sitz einnehmenden Person zu erfassen. Allerdings gibt das Gewicht einer Person für sich genommen nicht genügend Auskunft über deren Bewegungszustände während eines Zusammenstoßes. Beispielsweise wird eine Person mit einem tiefliegenden Schwerpunkt und schmächtigen Oberkörper ein im Vergleich zu einer Person mit einer schmalen Taille und einem muskulösen Oberkörper völlig unterschiedliches kinematisches Verhalten zeigen. Diese in Bezug auf die Kinematik während eines Zusammenstoßes vorzunehmende Unterscheidung ist für die dynamische Konfiguration eines Airbagbetriebs von großer Bedeutung.
Die US 5 530 420 A offenbart ein Fahrzeug mit einer stereoskopischen Bildverarbeitungseinheit, die dazu dient, ein Paar von stereoskopischen Abbildungen eines außerhalb eines Fahrzeugs befindlichen Objekts zu verarbeiten.
GB 2 301 922 zeigt ein Aufzeichnungssystem für den Fahrzeuginnenraum, das dazu eingerichtet ist, die Airbags zu regeln/steuern. Das bekannte System verwendet eine Kombination aus CCD-Kameras, die in dem Innenraum des Fahrzeugabteils verteilt sind, und Ultraschallmesswandlern. Die Kameras erzeugen zweidimensionale Bilder des jeweiligen Sitzplatzes. Der Abstand des am nächsten liegenden Punktes eines auf dem Sitz befindlichen Objekts und eines Referenzpunktes wird mittels der Ultraschallmesswandler erfasst.
Die US 5 531 472 zeigt ein System zur Überwachung eines auf einem Sitz angeordneten Objekts. Das System arbeitet mit einer unterhalb der Fahrzeugdecke angebrachten Kamera. Die Kamera ist nach unten auf den Sitz gerichtet und ermöglicht ein Erfassen der Umrisse eines auf dem Sitz befindlichen Objekts in einer horizontalen Ebene.

Kurzbeschreibung der Erfindung

Eine allgemeine Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zum Erfassen der Anwesenheit oder Ab wesenheit eines innerhalb eines Kraftfahrzeugs auf einem Sitz befindlichen Insassen zu schaffen.
Eine weitere Aufgabe ist es, diese Vorrichtung mittels eines stereoskopischen Bildverarbeitungssystems zu verwirklichen.
Noch eine Aufgabe ist es, einem derartigen System die Fähigkeit zu verleihen, die Größe der den Sitz einnehmenden Person zu ermitteln.
Noch eine weitere Aufgabe der vorliegenden Erfindung ist es, einem derartigen System die Fähigkeit zu verleihen, die Sitzposition eines Insassen zu ermitteln.
Eine weitere Aufgabe der vorliegenden Erfindung ist es, das stereoskopische Bildverarbeitungssystem mit der Fähigkeit auszustatten, Bewegungen zu erfassen, um auf dem Sitz abgelegte leblose Objekte von lebendigen zu unterscheiden.
Noch eine Aufgabe der vorliegenden Erfindung ist es, Daten zu erzeugen, die dazu dienen, den Betrieb eines Airbags in einem Kraftfahrzeug mit Rücksicht auf die körperlichen Eigenschaften der den Sitz einnehmenden Person zu konfigurieren.
Eine zusätzliche Aufgabe ist es, Information über die Bewegungszustände des Fahrzeuginsassen während eines Zusammenstoßes in Echtzeit zur Verfügung zu stellen, die eine dynamische Optimierung der Funktion des Airbags ermöglichen.
Diese und andere Aufgaben werden durch ein stereoskopisches Objekterfassungssystem gemäß den Merkmalen nach Anspruch 1 gelöst, das ein Paar von Kameras enthält, die erste und zweite Bilder des Sitzplatzes erzeugen. Bei diesen Bildern ist die Position von Bildelementen zwischen dem ersten und zweiten Bild um ein dem Abstand der Elemente zu den Kameras entsprechendes Maß verschoben. Ein Abstandsprozessor berechnet die Abstände, die mehrere auf dem ersten und zweiten Bild abgebildete Merkmale gegenüber dem Kamerapaar aufweisen, und zwar auf der Grundlage der Positionsverschiebungen dieser Merkmale zwischen dem ersten und zweiten Bild. Aus den Abstandswerten ermittelt ein Bildanalysator die Anwesenheit eines Objekts auf dem Sitz. Der Bildanalysator bestimmt ferner anhand der Abstandswerte die Größe des Objekts.
In dem bevorzugten Ausführungsbeispiel des stereoskopischen Objekterfassungssystems werden die Abstandswerte verwendet, um eine Bewegung des auf dem Sitz befindlichen Objekts sowie die Geschwindigkeit dieser Bewegung zu erfassen. Ferner kann eine Mustererkennung an den Abstandsdaten oder an den ersten und/oder den zweiten Bildern vorgenommen werden, um das Objekt zu klassifizieren.
In einer Anwendung der vorliegenden Erfindung werden die Ergebnisse der Bildanalyse von einer Vorrichtung verwendet, um den Betrieb einer Einrichtung an Bord des Kraftfahrzeugs zu steuern/regeln. Beispielsweise können jene Ergebnisse verwendet werden, um ein Entfalten eines Airbags in dem Kraftfahrzeug entsprechend den physischen Eigenschaften einer auf dem Sitz vorhandenen Person zu konfigurieren.

Kurzbeschreibung der Zeichnungen

Fig. 1 zeigt eine Seitenansicht eines Kraftfahrzeugs, das ein erfindungsgemäßes System zum Erfassen von Fahrzeuginsassen verwendet;
Fig. 2 zeigt eine Ansicht der Vordersitze des Kraftfahrzeugs mit Blick von oben;
Fig. 3 veranschaulicht in einem schematischen Blockschaltbild das erfindungsgemäße stereoskopische Bildverarbeitungssystem zum Erfassen von Fahrzeuginsassen auf dem Kraftfahrzeugsitz;
Fig. 4A und 4B stellen ein Flussdiagramm des Verfahrens dar, mittels dessen die vollständigen stereoskopischen Bilder verarbeitet werden;
Fig. 5 veranschaulicht die geometrischen Grundlagen des Triangulationsverfahrens, das für die Berechnung des Abstandes zwischen den Kameras und einem in dem Fahrzeug befindlichen Objekt verwendet wird;
Fig. 6 veranschaulicht grafisch die aus den Bilddaten mittels des stereoskopischen Bildverarbeitungssystems erzeugten Abstandsdaten; und
Fig. 7 zeigt ein Flussdiagramm des Verfahrens, mittels dessen vordefinierte Segmente der stereoskopischen Bilder in Echtzeit verarbeitet werden.

Detaillierte Beschreibung der Erfindung

Gemäß Fig. 1 und 2 weist der vordere Bereich der Fahrgastzelle eines Kraftfahrzeugs 10 ein Armaturenbrett 12 auf, aus dem ein Lenkrad 14 ragt. In einem Abstand zu dem Armaturenbrett 12 ist eine vordere Sitzgruppe 16 angeordnet, die sowohl für den Beifahrer als auch für den Fahrer eine serienmäßige Kopfstütze 18 aufweist. Da der Fahrer im weiteren Sinne auch ein Fahrzeugpassagier ist, bezieht sich der Ausdruck "Passagier" in dem hier verwendeten Sinne auf den Fahrer ebenso wie auf sonstige Fahrzeuginsassen. Das Lenkrad weist in dessen Mitte ein Fach auf, in dem ein erster Airbag 20 untergebracht ist, und das Armaturenbrett verfügt über ein weiteres Fach, das einen zweiten Airbag 22 enthält, der gegenüber dem rechten Bereich der Sitzgruppe 16 angeordnet ist.
In der Decke der Fahrgastzelle ist oberhalb der Windschutzscheibe eine Anordnung 24 mit zwei gesonderten Videokameras 26 und 28 angebracht, die in Querrichtung des Fahrzeugs in einer Ebene nebeneinanderliegend befestigt sind. Jede Kamera 26 und 28 ist vorzugsweise ein Bildsensor, bei dem auf jede Pixelposition willkürlich zugegriffen werden kann, wodurch ermöglicht ist, bestimmte Segmente der Bilder zu einem Ausgang zu speisen, ohne dass ein Auslesen der übrigen Bildbereiche erforderlich ist. Bildaufnehmer dieser Bauart sind unter der Bezeichnung "aktiver Pixelsensor" (APS) bekannt und in dem US-Patent 5 471 515 beschrieben. Alternativ könnten andere Arten von Bildsensoreinrichtungen, z. B. ladungsgekoppelte Bauelemente (CCD), verwendet werden, bei denen auf die Möglichkeit eines willkürlichen Zugriffs auf Bildsegmente verzichtet wird. Vorzugsweise sind die Kameras 26 und 28 im nahen Infrarotlichtbereich empfindlich und ein oder mehrere Infrarotlichtquellen 29 oberhalb der Windschutzscheibe angebracht, um die Vordersitze 16 des Fahrzeugs beleuchten. Eine derartige Beleuchtung ermöglicht den Betrieb des erfindungsgemäßen Systems bei Nacht, ohne dass dadurch das Vermögen eines Insassen, die Strecke zu sehen, beeinträchtigt wird. Im Tagbetrieb werden darüber hinaus Bildbereiche, die im Schatten liegen, durch die Quelle 29 ergänzend ausgeleuchtet.
Die linke Kamera 28 weist einen durch die strichlierten Linien in Fig. 2 angezeigten horizontalen Betrachtungsbereich auf, während ein horizontaler Betrachtungsbereich der rechten Kamera 26 durch die strichpunktierten Linien angedeutet ist. Die vertikalen Betrachtungswinkel der beiden Kameras 26 und 28 stimmen überein, wie durch die strichlierten Linien in Fig. 1 angezeigt. Die linke und die rechte Kamera 26 und 28 erzeugen ein Paar von stereoskopischen ersten und zweiten Abbildungen der vorderen Sitzgruppe 16 des Kraftfahrzeugs und der Körper von auf diesen Sitzen positionierten Fahrzeuginsassen. Da die beiden Kameras 26 und 28 quer zu dem Fahrzeug nach rechts und links versetzt sind, enthalten das erste und zweite Bild, die im Wesentlichen gleichzeitig erfasst werden, weitgehend dieselben Objekte, jedoch sind diese in den beiden Bildern zueinander horizontal verschoben. Hierdurch entsteht ein stereoskopisches Bildpaar, das sich analysieren lässt, um Abstände zwischen den Kameras und Objekten in dem Fahrzeug zu ermitteln. Wie im folgenden erläutert, werden für die Analyse hinlänglich bekannte photogrammetrische Messverfahren eingesetzt, beispielsweise solche, die zum Bestimmen der Höhenlinien von geographischen Strukturen in Luftaufnahmen verwendet werden. Alternativ kann eine einzige Abbildungsvorrichtung mit zwei Sätzen von Linsen und Spiegeln verwendet werden, um in ein und derselben Abbildungsvorrichtung ein stereoskopisches Paar von seitlich zueinander verschobenen Bildern abzubilden. Diese alternative Ausführungsform ist als äquivalent zu der Verwendung von separaten Kameras für jedes stereoskopische Einzelbild anzusehen.
Obwohl die linke und die rechte Hälfte der stereoskopischen Bilder für das Erfassen der Anwesenheit, der Positionen und der Größe von zwei Passagieren auf der Sitzbank 16 verarbeitet werden, wird hier zur Vereinfachung der Beschreibung nur die Verarbeitung einer der beiden Hälften des Bildes beschrieben, wobei es sich versteht, dass die Verarbeitung für beide Hälften auf die gleiche Weise erfolgt.
Unter Bezugnahme auf Fig. 3 werden die aus der rechten und linken Kamera 26 und 28 stammenden Bilder den Eingängen eines Bildprozessors 30 eingespeist. Der Bildprozessor 30 enthält einen Abstandsunterprozessor 32, der die Abstände der auf den Bildern abgebildeten Objekte zu der Kameraanordnung 24 berechnet, und ein Abstandsbildverarbeitungssystem 34, das die Abstandsmessergebnisse analysiert, um die Anwesenheit, die Größe und sonstige Eigenschaften eines Insassen auf dem Kraftfahrzeugsitz 16 zu ermitteln.
Der Abstandsunterprozessor 32 umfasst einen Abstandsdetektor 36, der solche Merkmale, die in beiden stereoskopischen Bildern übereinstimmen, lokalisiert und den Abstand zu einem derartigen Merkmal berechnet. Das Ergebnis der Abstandsmessung wird in einem Speicher 38 als ein Element eines Abstandsbildes gespeichert. Der Abstandsunterprozessor 32 ähnelt demjenigen, der in dem US-Patent 5 530 420 beschrieben ist.
Auf den Abstandsbildspeicher 38 kann sowohl der Abstandsdetektor 36 als auch über eine Speicherschnittstelle 40 das Abstandsbildverarbeitungssystem 34 zugreifen. Die Speicherschnittstelle 40 ist mit einem Satz von Daten-, Adress- und Steuerbussen 42 verbunden, an die auch ein Mikroprozessor 44 angeschlossen ist. Der Mikroprozessor führt ein in einem Festwertspeicher (ROM) 46 gespeichertes Programm aus, das die Daten des Abstandsbildes, wie weiter unten beschrieben, analysiert. Ein Speicher mit wahlfreiem Zugriff (RAM) 48 ist mit den Bussen 42 verbunden, um Zwischenergebnisse und sonstige Daten zu speichern, die von dem Mikroprozessor 44 während jener Analyse verwendet werden. Der Mikroprozessor 44 kann ferner über eine mit dem Bussystem 42 verbundene Kameraschnittstelle 49 ein visuelles Bild unmittelbar von der rechten Videokamera 26 entgegennehmen. Ein Ausgabespeicher 50 ist vorgesehen, um die Ergebnisse der Analyse des Abstandsbildes festzuhalten und eine Interfaceschaltung 52 gibt diese Ergebnisse an Vorrichtungen außerhalb des Abstandsbildverarbeitungssystems 34 weiter. Für den Fall, dass das vorliegende System den Betrieb eines Airbags in dem Kraftfahrzeug regeln soll, ist die Interfaceschaltung 52 mit dem Eingang eines Airbag-Controllers 54 verbunden. Dieser Controller 54 empfängt ferner bei Auftreten eines Unfalls von einem Aufprallsensor 56 ein kennzeichnendes Signal. Der Aufprallsensor 56 kann ein Signal ausgeben, das für die Schwere des Aufpralls, beispielsweise für die Verzögerungsrate, kennzeichnend ist. Der Airbag-Controller 54 spricht auf diese Eingangssignale an, indem er Airbags 58 für den Fahrer und den Beifahrer aktiviert.
Die stereoskopischen Bilder werden auf der Grundlage eines zeitlich ausgelösten Interrupts verarbeitet, indem beispielsweise alle zehn Sekunden das gesamte stereoskopische Bild analysiert wird, während einige ausgewählte Abschnitte der zwei Bilder jede Millisekunde verarbeitet werden. Die Gesamtbildverarbeitung beginnt in dem Flussdiagramm nach Fig. 4A in Schritt 70 mit der periodischen Erfassung von zwei stereoskopischen Einzelbildern, die jeweils aus der rechten und der linken Videokamera 26 bzw. 28 stammen. Zu diesem Zeitpunkt empfängt der Mikroprozessor 44 ein Interruptsignal und reagiert darauf, indem er ein Ausgangsbefehlssignal zum Vollbilderwerb an den Abstandsdetektor 36 ausgibt. Daraufhin analysiert der Abstandsdetektor 36 in Schritt 72 die erfassten stereoskopischen Bilder, um auf dem einen Bild eine kleine Gruppe von Bildelementen zu finden, die zu einer Gruppe von Bildelementen auf dem anderen Bild passt, um auf diese Weise übereinstimmende Punkte auf Objekten in jedem Bild zu lokalisieren. Solche übereinstimmenden Punkte können beispielsweise Objektmerkmale wie Ränder, Linien und spezifische Formen sein.
Wenn der Abstandsdetektor 36 den entsprechenden Punkt in beiden Bildern lokalisiert hat, verwendet er photogrammetrische Triangulation zur Bestimmung des Abstands eines derartiger Punktes auf einem abgebildeten Objekt von der Ebene der Kameralinse. Dieses Verfahren ist allgemein bekannt, siehe Paul R. Wolf in Elements of Photogrammetry, 1974, McGraw-Hill, Inc. Wie in Fig. 5 gezeigt, sind die linke und die rechte Kamera in der Ebene der Kameralinse mit einem Abstand r voneinander beabstandet angeordnet, und jede Kamera weist ihre Brennpunkt in einem Abstand f hinter der Linsenebene der Kamera. Aufgrund des zwischen den beiden Kameras von links nach rechts gegebenen Versatzes r kommt es zu einer Abweichung mit einem Wert x für den sich in den beiden Bildern der Kamera entsprechenden Punkt. Dem zufolge ergibt sich der Abstand D zwischen der Linsenebene der Kamera und dem abgebildeten Punkt rechnerisch aus dem Ausdruck: D = r(f/x). Die Werte r und f sind anhand der Konstruktion der Kameraanordnung 24 bekannt.
In Schritt 74 wird auf der Grundlage der Differenz der Pixelpositionen des in den zwei Bildern übereinstimmenden Punktes und der Breite jedes Pixels der Betrag der zwischen dem rechten und linken Bild bestehenden Abweichung x ermittelt. Durch Einsetzen dieses Wertes von x in den obigen Ausdruck berechnet der Abstandsdetektor 36 in Schritt 76 den Abstand D, der in Schritt 78 als eines von vielen Elementen eines Abstandsbildes in dem Speicher 38 gespeichert wird. Wie nachstehend erläutert, ist der Abstandsbildspeicher 38 in der Lage, zwei Abstandsbilder zu speichern, wobei die Daten für einen neuen Satz von stereoskopischen Bildern das ältere Abstandsbild ersetzen. Dementsprechend werden ständig die beiden zuletzt gewonnenen Abstandsbilder in dem Speicher 38 gehalten.
Anschließend wird in Schritt 80 eine Entscheidung getroffen, ob noch weitere übereinstimmende Punkte in den stereoskopischen Bildern lokalisiert und verarbeitet werden müssen. Wenn sämtliche der übereinstimmenden Bildpunkte verarbeitet sind, stellt das Abstandsbild ein zweidimensionales Feld von Daten dar, wobei jede Position in dem Feld den Abstand des in den stereoskopischen Bildern entsprechend lokalisierten Punktes enthält. Die in dem Abstandsbild gespeicherten Daten könnten somit grafisch als eine Reliefkarte des in Form von Abständen zu der Linsenebene der Kamera gegebenen Bildes dargestellt werden. Ein Beispiel einer derartigen dreidimensionalen Darstellung ist in Fig. 6 gezeigt, wobei die x- und y-Achsen den Pixelpositio nen des in der Kamera abgebildeten Bildes entsprechen und die Amplituden der Abstandsdaten für jede Pixelposition in Richtung der z-Achse aufgetragen sind. An den äußeren Rändern des Abstandsbildes sind die Werte verhältnismäßig tief und entsprechen der Oberfläche des Sitzes 16, während der Bereich in der Bildmitte einem Objekt entspricht, das sich auf dem Sitz befindet. Tatsächlich sind die dem Sitz entsprechenden Abstandswerte größer als jene, die dem Objekt entsprechen, da der Fahrzeugsitz 16 weiter von der Kamera entfernt ist. Nichtsdestoweniger ist zu beachten, dass sich die Ränder des Objekts durch abrupte, große Sprünge der Abstandsdaten hervorheben. Dies ermöglicht das Auffinden der äußeren Begrenzungen des Objekts. Wie nachstehend erläutert, lässt sich das Volumen eines in dem Bild befindlichen Objekts berechnen, indem die mittleren x- und y-Dimensionen der Objektgrenzen und der Mittelwert der Abstandswerte bestimmt wird.
Gemäß dem Flussdiagramm in Fig. 4A erfolgt die Analyse des Abstandsbildes, indem der Mikroprozessor 44 in Schritt 82 das Abstandsbild sorgfältig untersucht, um die Differenz zwischen den dem Sitz 16 entsprechenden Datenwerten und denjenigen des Bildbereichs zu ermitteln, der den geringsten Abstand zu der Kamera aufweist. Wenn die Differenz zwischen dem Abstand zu dem Sitz 16 und dem Abstand zu anderen Bildelementen einen Schwellenwert überschreitet, schließt der Mikroprozessor 44 daraus, dass auf dem Sitz 16 ein Objekt vorhanden ist. Um Fehlschlüsse zu vermeiden, wie sie durch einen oder zwei falsche Datenwerte entstehen können, die einen sehr geringen Abstand zu der Kamera kennzeichnen, kann der Mikroprozessor für die Entscheidung, dass auf dem Sitz 16 ein Objekt vorhanden ist, als Bedingung voraussetzen, dass eine entsprechend hohe Anzahl von Punkten, deren Abstandswerte jene Schwelle überschreiten, vorliegen muss. Diese Entscheidung wird in der Bildanalyse in Schritt 84 getroffen, und falls das Ergebnis WAHR ist, wird in dem Ausgabespeicher 50 ein Flag gesetzt. Falls gefolgert wird, dass kein signifikantes Objekt anwesend ist, wird der Ausgabespeicher 50 in Schritt 83 gelöscht und die Fortsetzung der Analyse des Abstandsbildes abgebrochen.
Wenn der Mikroprozessor 44 den logischen Schluss zieht, dass die Daten für die mögliche Anwesenheit einer Person kennzeichnend sind, wird das Abstandsbild in Schritt 85 weiter analysiert, um den mittleren Abstand zwischen der Kamera und der Person zu ermitteln. Das Ergebnis dieser Berechnung wird in dem Ausgangspeicher 50 gespeichert. Anschließend wird das in dem Speicher 38 gespeicherte Abstandsbild in Schritt 86 analysiert, um einen Näherungswert für das Volumen der auf dem Sitz 16 befindlichen Person zu ermitteln. Bei dieser Ermittlung sucht der Mikroprozessor 44 die horizontalen und vertikalen Begrenzungen der Person, die, wie in Fig. 6 zu sehen, durch verhältnismäßig große Sprünge in den Abstandswerten gekennzeichnet sind. Hierdurch wird ein Umriss der äußeren Begrenzung der Person erhalten, und es können herkömmliche Verfahren verwendet werden, um die von der Begrenzung umschlossene Fläche zu berechnen. Anschließend wird der zuvor berechnete mittlere Abstand zwischen dem Sitz 16 und dem Objekt als die dritte Dimension für die Berechnung des Volumens der Person herangezogen. Das Ergebnis wird in dem Ausgabespeicher 50 gespeichert.
In Schritt 87 wird die Position der Person in horizontaler Richtung (von links nach rechts) bestimmt, indem die Position des Volumens in Bezug auf den Rand des Bildes er mittelt wird. Die Kenntnis der Nähe eines Fahrzeuginsassen zu der Türe kann für das Regeln/Steuern des Aufblasvorgangs eines Seitenairbags von Nutzen sein. Eine weitere Untersuchung kann erfolgen, um die Position des Volumens in Bezug auf den unteren Rand des Bildes zu ermitteln, wodurch ersichtlich wird, ob eine große Person nach unten in den Sitz eingesunken ist. Die Daten über die Position werden ebenfalls in dem Ausgabespeicher 50 gespeichert.
Anschließend wird in Schritt 88 eine Analyse an dem Abstandsbild vorgenommen, die dazu dient, physische Schlüsselmerkmale, z. B. den oberen Rand des Kopfes der Person, zu finden. Dies lässt sich ermitteln, indem von oben her nach unten fortschreitend nach einem verhältnismäßig großen Sprung in den Daten des Abstandsbildes gesucht wird. Die Position des oberen Randes des Kopfes ist ein Maß für die relative Größe des Passagiers. Sämtliche Ergebnisse der Analysen gemäß den Schritten 85-88 werden in dem Ausgabespeicher 50 des Abstandsbildverarbeitungssystem 34 gespeichert.
In vielen Anwendungen erzeugt die soweit beschriebene Bildverarbeitung genügend Information, um eine Vorrichtung, beispielsweise einen Airbag in einem Kraftfahrzeug, zu steuern. Allerdings können die Bilddaten noch weiter analysiert werden, um zusätzliche Informationen über die Fahrzeuginsassen zur Verfügung zu stellen. Durch eine nachfolgende Verarbeitung lässt sich ermitteln, ob ein in dem Sitz 16 befindliches Objekt sich bewegt, um so ein großes, lebloses Objekt von einer Person zu unterscheiden. Hierfür wird die durch das Abstandsbildverarbeitungssystem 34 durchgeführte Analyse in Schritt 90 gemäß Fig. 4B fortgesetzt.
Zu diesem Zeitpunkt wird das in dem Speicher 38 gespeicherte neue Abstandsbild mit dem ebenfalls in dem Speicher gespeicherten früheren Abstandsbild verglichen. Falls während der zehn Sekunden dauernden Bilderfassungsperiode an keiner der Sitzpositionen des Fahrzeugsitzes 16 eine Bewegung stattgefunden hat, kann eine Entscheidung darüber getroffen werden, wonach die Objekte in dem Bild unbelebt sind. Dies wird in Schritt 92 durchgeführt, indem die beiden Abstandsbilder Datenelement für Datenelement verglichen werden und die Anzahl der Datenelementpaare, die eine Differenz aufweisen, die einen vordefinierten Betrag übersteigt, gezählt wird. Alternativ können die zwei zu verschiedenen Zeitpunkten gespeicherten Videobilder entweder der rechten oder der linken Kamera 26 bzw. 28 verglichen werden, um die Bewegung eines Objekts zu erfassen. Aufgrund von Erschütterungen des Fahrzeugs ist eine geringfügige Veränderung zwischen zwei zu unterschiedlichen Zeitpunkten gewonnenen Abstandsbildern auch dann zu erwarten, wenn nur leblose Objekte vorliegen. Eine vernachlässigbar geringe Veränderung eines gegebenen Datenwerts des Abstandsbilds bleibt daher für die Entscheidung, ob eine Bewegung vorliegt, unberücksichtigt, und eine wesentliche Änderung von nur wenigen Datenwerten wird ebenfalls nicht beachtet. Jedoch ist eine wesentliche Änderung einer großen Anzahl von Abstandsdatenpunkten für eine Bewegung des Objekts auf dem Fahrzeugsitz 16 kennzeichnend. Der genaue Betrag der Änderung eines gegebenen Datenwerts und die Anzahl von Datenwerten, die eine derartige Änderung aufweisen müssen, um als Anzeichen für eine Bewegung gewertet zu werden, hängen von der Empfindlichkeit der Videokameras und von der Bildauflösung ab.
Nach dem Vergleich der zwei Abstandsbilder wird in Schritt 94 entschieden, ob sich eine signifikante Anzahl M der Datenwerte um den geforderten Betrag verändert hat. In diesem Fall wird in Schritt 96 ein Bewegungsflag in dem Ausgabespeicher 50 gesetzt, um anzuzeigen, dass das auf der Sitzposition befindliche Objekt sich bewegt hat. Andernfalls wird das eine Bewegung kennzeichnende Flag in Schritt 98 zurückgesetzt.
Falls gewünscht, kann die Verarbeitung der Bilddaten durch die Ausführung einer Mustererkennung mittels eines beliebigen der hinlänglich bekannten Mustererkennungsverfahren fortgesetzt werden. Für diesen Zweck speichert der Bildprozessor 30 ein Referenz- oder Grundmuster in dem RAM- Speicher 48 ab. Beispielsweise kann das Referenzmuster einem unbesetzten Sitzplatz oder einem auf dem Fahrzeugsitz 16 deponierten Kindersitz entsprechen. Das Referenzmuster wird in Schritt 100 erzeugt, indem ein Abstandsbild der zur Referenz dienenden stereoskopischen Bilder erzeugt wird und dieses Abstandsbild verarbeitet wird, um die Musterdaten abzuleiten. Beispielsweise wird das Abstandsbild verarbeitet, um Objektranddaten zu erhalten, die anschließend durch Verzweigung der Programmausführung von Schritt 102 nach Schritt 103 gemäß diesem Schritt in dem RAM-Speicher 48 gespeichert werden.
Anschließend werden während der Bildverarbeitung in Schritt 100 aus einem neuen Satz von stereoskopischen Bildern ähnliche Musterdaten abgeleitet. Diese Musterdaten werden in Schritt 104 mit dem Referenzmuster verglichen. In Schritt 106 ermittelt der Mikroprozessor 44, ob das neue Bildmuster dem Referenzmuster im Wesentlichen entspricht, wobei in diesem Falle in Schritt 106 ein Anzeigeflag in dem Ausgabespeicher 50 gesetzt wird. Andernfalls wird das die Musterübereinstimmung anzeigende Flag in Schritt 110 zurückgesetzt. Alternativ können die unmittelbar von der rechten Kamera 26 erfassten visuellen Bilder über das Kamerainterface 49 entgegen genommen und zur Mustererkennung verarbeitet werden.
Die Verarbeitung des gesamten Abstandsbildes endet in diesem Falle, und zwar zu einem Zeitpunkt, da der Ausgabespeicher 50 des Bildprozessors 30 die Ergebnisse der vielfältigen ausgeführten Analysen enthält. Über die Interfaceschaltung 52 ist der Airbag-Controller 54 in der Lage, diese gespeicherten Ergebnisse entgegenzunehmen, und er kann diese Ergebnisse auswerten, um die Art und Weise zu bestimmen, in der die Airbags 58 im Falle eines Unfalls aufzublasen sind. Die periodisch, beispielsweise alle zehn Sekunden durchgeführte Analyse des gesamten stereoskopischen Bildes ermöglicht auf diese Weise eine ständige Aktualisierung der Betriebsparameter der Airbags. Eine derartige periodische Beobachtung des Belegungszustands des Sitzes berücksichtigt Änderungen in der Sitzposition und sonstige Bewegungen der betreffenden Person in der Fahrgastzelle.
Wenn die Ergebnisse des Bildprozessors 30 anzeigen, dass keine Person auf dem Sitz 16 vorhanden ist, ist ein Aufblasen des Airbags überflüssig, da dies ohne Nutzen wäre. Ferner ist es, falls die durch den Mikroprozessor 44 durchgeführte Analyse anzeigt, dass eine den Fahrzeugsitz 16 einnehmende Person ein verhältnismäßig geringes Volumen aufweist und/oder, wie anhand der Position der Oberseite des Kopfes jener Person ermittelt, verhältnismäßig klein ist, wahrscheinlich, dass es sich bei dem auf dem Sitz befindlichen Insassen um ein Kind handelt. In diesen Fällen würde der Airbag-Controller 54 ein Entfalten des Airbags deaktivieren.
In einer Situation, in der der Mikroprozessor 44 folgert, dass eine ausreichend große Person anwesend ist, wird die Anfangsrate, mit der der Airbag während eines Unfalls aufgeblasen wird, an das Volumen und die Größe des Fahrzeuginsassen sowie dessen mittleren Abstand zu dem. Airbag angepasst. Insbesondere wird die Aufblasrate umso größer bemessen, je näher sich die Person an dem Airbag befindet und je größer diese Person ist.
Die kinematischen Daten über die Bewegung der Person während des Zusammenstoßes lassen sich verwenden, um die Aufblasrate des Airbags je nach Schwere des Unfalls entsprechend zu steuern. Je rascher der Zusammenstoß abläuft und je größer die Kräfte sind, die auf den Insassen wirken, desto zügiger sollte ein Airbag entfaltet werden. Das erfindungsgemäße Bildverarbeitungssystem ist ferner in der Lage, kinematische Daten über den Insassen ohne den Einsatz zusätzlicher Hardware zu erzeugen.
Deshalb verarbeitet das erfindungsgemäße System ausgewählte Segmente der stereoskopischen Bilder im Vergleich zur Verarbeitung der Gesamtbilder häufiger, um Echtzeitdaten zu erzeugen, die kennzeichnend für die Bewegung des Insassen während eines Zusammenstoßes sind. Zu diesem Zweck führt der Mikroprozessor 44 ferner, beispielsweise periodisch im Abstand einer Millisekunde, eine Interruptroutine aus, wie in Fig. 7 veranschaulicht. Diese Interruptroutine beginnt in Schritt 120, indem der Mikroprozessor 44 über die Speicherschnittstelle 40 ein Befehlssignal an den Abstandsunterprozessor 32 ausgibt, der den Abstandsdetektor 36 veranlasst, einen vordefinierten Bereich der stereosko pischen Bilder von den Videokameras 26 und 28 zu erhalten und zu verarbeiten. Der vordefinierte Bereich eines jeden Bildes kann innerhalb eines jeden Bildes zwei Segmente mit zehn Spalten von Bildelementen umfassen, die jeweils den Zentren der normalen Sitzpositionen für die sitzenden Personen entsprechen. Diese Segmente werden anschließend verarbeitet, um Parameter für die Steuerung der Airbags zu bestimmen, die diesen zwei Sitzpositionen zugeordnet sind. Aus Gründen der Übersichtlichkeit wird die Verarbeitung der Bildsegmente für nur eine der Sitzpositionen beschrieben.
In Schritt 122 lokalisiert der Abstandsdetektor 36 in der gleichen Weise, wie dies im Falles des zuvor beschriebenen Gesamtbildes geschieht, übereinstimmende Punkte oder Merkmale in den Bildsegmenten aus jeder Kamera. Anschließend wird in Schritt 124 der Abweichungsbetrag x der übereinstimmenden Punkte in den Segmenten des stereoskopischen Bildes ermittelt und in Schritt 126 verwendet, um Abstandsdaten für das Bildsegment zu berechnen. In Schritt 128 werden diese Abstandsdaten in einem Bereich des Abstandsbildspeichers 38 gespeichert. Der Abstandsbildspeicher 38 weist zwei Bereiche zusätzlicher Speicheradressen auf, die der Speicherung von Abstandsdaten der Bildsegmente dienen. Ein Bereich speichert Daten des zuletzt gewonnenen Satzes von Bildsegmenten und der andere Bereich enthält vorhergehende Abstandsdaten der Bildsegmente, wobei jede neue Gruppe von Daten den Speicherabschnitt überschreibt, der die ältesten Abstandsdaten enthält.
In dem Abstandsbildverarbeitungssystem 34 übernimmt der Mikroprozessor 44 dann die Verarbeitung, indem er in Schritt 130 die Veränderung des Abstands zwischen den zwei gespeicherten Sätzen von Abstandsdaten berechnet. In Schritt 132 werden die Änderungsdaten in dem Ausgabespeicher 50 gespeichert. Da die Abstandsdaten in gleichmäßigen Intervallen, von beispielsweise einer Millisekunde, erfasst werden, entsprechen die Änderungen unmittelbar einer Änderungsrate des Abstands oder mit anderen Worten der Geschwindigkeit, mit der sich das auf dem Sitz befindliche Objekt bewegt. Die Geschwindigkeit kann berechnet und in dem Ausgabespeicher 50 gespeichert werden, oder der Airbag- Controller 54 kann einfach unmittelbar auf die Daten der Abstandsänderung zugreifen. In beiden Fällen entsprechen diese, in dem Ausgabespeicher gespeicherten Daten der Geschwindigkeit des Objekts.
Über die Interfaceschaltung 52 werden die für die Geschwindigkeit maßgebenden Daten dem Airbag-Controller 54 zur Verfügung gestellt. Der Airbag-Controller 54 steuert in Abhängigkeit von der Geschwindigkeit, mit der sich ein Fahrzeuginsasse momentan dem entsprechenden Airbag während eines Unfalls nähert, die Geschwindigkeit, mit der die Airbags 58 aufgeblasen werden.

Claims

1. Stereoskopisches Objekterfassungssystem zur Erfassung und Bestimmung von Kenngrößen von auf einem Sitz (16) eines Kraftfahrzeugs (10) befindlichen Objekten, wobei zu dem stereoskopischen Objekterfassungssystem gehören:

eine Kameraanordnung (24), die dazu dient, ein erstes und zweites Bild von dem Sitz (16) zu erzeugen, in denen Bildmerkmale zwischen dem ersten und zweiten Bild um ein Maß verschoben sind, das von dem Abstand abhängig ist, in dem sich die Bildmerkmale von der Kameraanordnung (24) entfernt befinden;

ein Bildanalysator (34), der mit der Kameraanordnung (24) in Verbindung steht und der das erste und zweite Bild verarbeitet, um die Anwesenheit eines Objekts auf dem Sitz (16) festzustellen und um die Größe des Objekts in Abhängigkeit von einem gegebenen Betrag zu ermitteln, um den das Objekt zwischen dem ersten und zweiten Bild verschoben ist; und

eine mit dem Bildanalysator (34) in Verbindung stehende Ausgabevorrichtung (52), die ein Signal erzeugt, falls die Anwesenheit eines Objekts auf dem Sitz (16) festgestellt wird, wobei das Signal für die Größe des auf dem Sitz (16) befindlichen Objekts kennzeichnend ist.

2. Stereoskopisches Objekterfassungssystem nach Anspruch 1, bei dem die Kameraanordnung (24) das erste und zweite Bild im Wesentlichen gleichzeitig erzeugt.

3. Stereoskopisches Objekterfassungssystem nach Anspruch 1, bei dem die Kameraanordnung (24) einen Bildsensor (26, 28) umfasst, bei dem ein willkürlicher Zugriff auf Seg mente des ersten und zweiten Bildes möglich ist.

4. Stereoskopisches Objekterfassungssystem nach Anspruch 1, bei dem die Kameraanordnung (24) ein Paar von Kameras (26, 28) umfasst.

5. Stereoskopisches Objekterfassungssystem nach Anspruch 1, bei dem die Kameraanordnung (24) eine einzelne Abbildungsvorrichtung (26 oder 28) aufweist, die das erste und zweite Bild als räumlich nebeneinanderliegende Abbildungen erzeugt.

6. Stereoskopisches Objekterfassungssystem nach Anspruch 1, das ferner einen mit der Kameraanordnung (24) verbundenen Prozessor (32) enthält, der für mehrere Merkmale in dem ersten und zweiten Bild deren Abstände zu der Kameraanordnung (24) berechnet, wobei die Abstandswerte in Abhängigkeit von einer gegebenen Größe der Verschiebung ermittelt werden, um die die Vielzahl von Bildelementen zwischen dem ersten und zweiten Bild verschoben sind.

7. Stereoskopisches Objekterfassungssystem nach Anspruch 6, bei dem der Bildanalysator (34) die Abstandswerte für das Feststellen der Anwesenheit eines Objekts auf dem Sitz (16) verwendet.

8. Stereoskopisches Objekterfassungssystem nach Anspruch 6, bei dem der Bildanalysator (34) die Abstandswerte für das Ermitteln der Größe des auf dem Sitz (16) befindlichen Objekts verwendet.

9. Stereoskopisches Objekterfassungssystem nach Anspruch 1, bei dem der Bildanalysator (34) die Abstandswerte verwendet, um für wenigstens einen Teil des auf dem Sitz (16) befindlichen Objekts einen Näherungswert des Volumens zu ermitteln.

10. Stereoskopisches Objekterfassungssystem nach Anspruch 1, das ferner einen Bildanalysator (34) enthält, der von der Kameraanordnung (24) ausgegebene Daten verwendet, um eine Bewegung eines auf dem Sitz (16) befindlichen Objekts zu erfassen.

11. Stereoskopisches Objekterfassungssystem nach Anspruch 1, das ferner eine Mustererkennungsvorrichtung (100-106) enthält, die Daten aus der Kameraanordnung (24) entgegennimmt und die Daten verarbeitet, um das Vorkommen eines vordefinierten Musters entweder in dem ersten und/oder in dem zweiten Bild zu erkennen.

12. Stereoskopisches Objekterfassungssystem nach Anspruch 11, bei dem die Mustererkennungsvorrichtung (100-106) einen Speicher (48) zur Speicherung eines Referenzmusters und einen Prozessor (34, 104) enthält, der ein Vorkommen des Referenzmusters anhand der von der Kameraanordnung (24) ausgegebenen Daten erkennt.

13. Stereoskopisches Objekterfassungssystem nach Anspruch 11, bei dem das Referenzmuster für einen Kindersitz steht.

14. Stereoskopisches Objekterfassungssystem nach Anspruch 12, bei dem das Referenzmuster ein äußeres Merkmal eines Fahrzeugführers repräsentiert.

15. Stereoskopisches Objekterfassungssystem nach An- Spruch 1, zu dem ferner eine mit dem Ausgabegerät (52) verbundene Vorrichtung (54) gehört, die in Abhängigkeit von dem Signal die Entfaltung eines Airbags (58) regelt/steuert.

16. Stereoskopisches Objekterfassungssystem nach Anspruch 15, bei dem die Vorrichtung (54) eine Geschwindigkeit regelt/steuert, mit der der Airbag (58) aufgeblasen wird.

17. Stereoskopisches Objekterfassungssystem nach Anspruch 1, das ferner einen mit dem Ausgabegerät (52) verbundenen Mechanismus (54) enthält, der in Abhängigkeit von dem Signal den Betrieb einer Vorrichtung (58) des Kraftfahrzeugs (10) regelt/steuert.

18. Stereoskopisches Objekterfassungssystem nach Anspruch 1, bei dem der Bildanalysator (34) eine Bewegungsgeschwindigkeit des Objekts erfasst.

19. Stereoskopisches Objekterfassungssystem nach Anspruch 1, bei dem der Bildanalysator (34) das erste und zweite Bild verarbeitet, um Daten über den Bewegungszustand des Objekts zu erzeugen, und ferner eine mit dem Ausgabegerät (52) verbundene Vorrichtung (54) aufweist, um in Abhängigkeit von den Bewegungsdaten den Aufblasvorgang eines Airbags (58) zu regeln/steuern.