-
Technisches
Gebiet
-
Die
vorliegende Erfindung bezieht sich allgemein auf Fahrzeuginsassenschutzsysteme
und bezieht sich insbesondere auf ein Verfahren und eine Vorrichtung
zum Bestimmen der Position eines Fahrzeugsitzes auf einem Bild des
Fahrzeuginnenraums.
-
Hintergrund
der Erfindung
-
Betätigbare
Insassenrückhaltesysteme
mit einem aufblasbaren Airbag in Fahrzeugen sind in der Technik
bekannt. Solche Systeme, die gesteuert werden ansprechend darauf,
ob der Sitz besetzt ist, ein Objekt auf dem Sitz belebt oder unbelebt
ist, ein rückwärts weisender
Kindersitz auf dem Sitz vorhanden ist und/oder die ansprechend auf
die Position, das Gewicht, die Größe etc. des Insassen, werden
als intelligente Rückhaltesysteme
(smart restraining systems) bezeichnet. Ein Beispiel eines intelligenten, betätigbaren
Rückhaltesystems
ist in U.S. Patent Nr. 5,330,226 offenbart.
-
Mustererkennungssysteme
können
ganz allgemein als Systeme definiert werden, die in der Lage sind,
zwischen Klassen von Realweltreizen zu unterscheiden, und zwar gemäß einer
Vielzahl unterscheidender Kenngrößen oder
Merkmalen, die den Klassen zugeordnet sind. Viele intelligente betätigbare Rückhaltesysteme
sind auf Mustererkennungssysteme angewiesen, um die Art des Insassen
eines Fahrzeugsitzes zu identifizieren. Wenn zum Beispiel bestimmt
wird, dass ein Sitz leer ist, ist es vorteilhaft, die Betätigung einer
Schutzeinrichtung zu unterlassen. Zusätzlich kann die Klassifizierung
die Kenntnis gewisser Insassenkenngrößen liefern, die helfen, die Bewegungen
des Insassen in dem Fahrzeug zu verfolgen. Solches Verfolgen kann
die Wirksamkeit des betätigbaren
Rückhaltesystems
weiter erhöhen.
-
Eine
Schwierigkeit bei der Klassifizierung eines Fahrzeuginsassen tritt
auf beim Separieren des Teils eines Bildes, der einen Fahrzeugsitz
darstellt, von dem Teil des Bildes, der dessen Insassen darstellt.
Eine Lösung
in der Vergangenheit war es, das kombinierte Bild von dem Sitz und
seinem Insassen zu klassifizieren, wobei ein leerer Sitz als eine
zusätzliche
Insassenklasse galt. Obwohl dieses Verfahren effektiv ist, erfordert
es doch eine sehr genaue Unterscheidung von dem Klassifizierer oder
den Klassifizierern, die verwendet werden, um die Bestimmung zu
treffen, da das Vorhandensein der Sitzrücklehne bestimmte, zum Unterscheiden
zwischen den Klassen erwünschte
Kenngrößen dämpfen bzw. abschwächen kann.
Zum Beispiel kann die Sitzrücklehne
irrtümlich
für einen
Oberkörper
eines Erwachsenen gehalten werden, wenn ein rückwärts gerichteter Kindersitz
vorhanden ist, was bewirkt, dass ein Insasse fälschlich als ein Erwachsener
klassifiziert wird.
-
Ebenso
wie das Vorhandensein der Sitzrücklehne
für die
Klassifizierung eines Fahrzeuginsassen ungünstig ist; kann das Vorhandensein
der Kopfstütze
in einem Bild die Versuche der Identifizierung und Verfolgung bzw.
Ortung eines Kopfes eines Insassen komplizieren. Die Kopfstütze besitzt
eine ähnliche Form
wie ein menschlicher Kopf bei niedriger Auflösung. Sie befindet sich auf
der gleichen Höhe
wie der Kopf und nahe der gleichen Position, was sie zu einem favorisierten
Kandidaten für
eine Kopfidentifizierung macht. Das Entfernen der Kopfstütze aus
einem Bestand an Kopfkandidaten vor dem Bestimmen der Kopfposition
könnte
die Robustheit eines Kopfverfolgungsalgorithmus stark erhöhen.
-
Zusammenfassung
der Erfindung
-
Gemäß einem
Aspekt der vorliegenden Erfindung ist ein System zum Bearbeiten
eines Bildes eines Fahrzeuginnenraums vorgesehen, um den Insassen
eines Fahrzeugsitzes zu isolieren oder herauszuarbeiten. Ein Bilderzeuger
bzw. -generator erzeugt ein Bild eines Fahrzeuginnenraums. Ein Umriss-
bzw. Konturgenerator erzeugt ein Konturbild von dem erzeugten Bild.
Eine Mo dellauswahlvorrichtung bzw. ein Modellselektor wählt ein
Konturmodell aus einer Vielzahl von Konturmodellen aus, und zwar
gemäß der Ähnlichkeit
des Konturmodells mit einem Teil des Konturbildes. Eine Bildbearbeitungsvorrichtung
entfernt einen Teil des erzeugten Bildes, der zumindest einen Teil
des Fahrzeugsitzes gemäß dem ausgewählten Konturmodell
darstellt, um ein Bild von einem Insassen des Fahrzeugsitzes zu
erzeugen.
-
Gemäß einem
weiteren Aspekt der vorliegenden Erfindung ist ein Verfahren vorgesehen
zur Vorverarbeitung eines Bildes eines Fahrzeuginnenraums, um einen
Teil des Bildes zu entfernen, der einer Sitzrücklehne entspricht. Ein Konturbild
wird von dem Bild erzeugt. Eines aus einer Vielzahl von Konturmodellen,
das dem erzeugten Konturbild am nächsten kommt, wird ausgewählt. Ein
vorgegebenes Konturmodell wird einer aus einer Vielzahl von möglichen
Sitzpositionen zugeordnet. Eine Trennungsebene wird zwischen einer
Sitzrücklehne
und einem Sitzinsassen in dem Bild bestimmt, die auf dem ausgewählten Konturmodell
basiert. Ein Teil des Bildes, der der Sitzrücklehne entspricht, wird basierend
auf der bestimmten Trennungsebene entfernt, um ein Bild des Sitzinsassen
zu isolieren.
-
Gemäß noch einem
weiteren Aspekt der vorliegenden Erfindung ist ein Computerprogrammprodukt,
das in einem computerlesbaren Medium implementiert und in einem
Datenverarbeitungssystem wirksam ist, vorgesehen zum Bearbeiten
eines Bildes eines Fahrzeuginnenraums, um den Insassen von einem
Fahrzeugsitz zu isolieren. Ein Konturgenerator erzeugt ein Konturbild
aus einem oder mehr erzeugten Bildern. Ein Modellselektor wählt ein
Konturmodell aus einer Vielzahl von Konturmodellen gemäß dem Konturbild
und einem zugeordneten Auswahlalgorithmus aus. Eine Bildbearbeitungsvorrichtung
bearbeitet das erzeugte Bild, um einen Teil des Bildes, der gemäß dem ausgewählten Konturmodell dem
Fahrzeugsitz entspricht, zu entfernen.
-
Kurze Beschreibung der
Zeichnungen
-
Die
vorangegangenen und andere Merkmale und Vorteile der vorliegenden
Erfindung werden Fachleuten des Gebietes, auf das sich die vorliegende
Erfindung bezieht, beim Lesen der folgenden Beschreibung mit Bezug
auf die begleitenden Zeichnungen offensichtlich werden, in denen
zeigt:
-
1 eine
schematische Darstellung eines betätigbaren Rückhaltesystems gemäß einem
exemplarischen Ausführungsbeispiel
der vorliegenden Erfindung;
-
2 eine
schematische Darstellung einer Stereokameraanordnung zum Gebrauch
mit der vorliegenden Erfindung;
-
3 eine
Darstellung eines Abbildungssystems, das eine automatisierte Beifahrersitzdetektion und
-entfernung gemäß einem
Aspekt der vorliegenden Erfindung verwendet;
-
4 eine
Darstellung eines Klassifizierungssystems, das eine automatisierte
Sitzentfernung gemäß einem
Aspekt der vorliegenden Erfindung verwendet;
-
5 eine
Darstellung einer Methodik zur Klassifizierung eines Fahrzeuginsassen,
die eine automatisierte Sitzentfernung gemäß einem Aspekt der vorliegenden
Erfindung verwendet;
-
6 eine
Darstellung einer Methodik zum Auswählen eines Konturmodells gemäß einem
Aspekt der vorliegenden Erfindung;
-
7 eine
Darstellung einer Methodik zur Bearbeitung eines Bildes, um anhand
eines ausgewähltes
Konturmodells eine Sitzrücklehne
aus einem Bild von Interesse zu entfernen;
-
8 eine
Darstellung einer Methodik zum Entfernen einer Kandidatenkopfposition
für einen menschlichen
Fahrzeuginsassen aus einem Bestand an Kandidatenkopfpositionen in
einem Kopfverfolgungssystem, gemäß einem
Aspekt der vorliegenden Erdfindung;
-
9 eine
Darstellung einer Methodik zum Erzeugen eines Satzes von Konturmodellen
gemäß einem
Aspekt der vorliegenden Erfindung; und
-
10 eine
Darstellung eines Computersystems, das eingesetzt werden kann, um
hierin beschriebene Systeme und Verfahren zu implementieren, beispielsweise
basierend auf computerausführbaren
Anweisungen, die auf dem Computersystem laufen.
-
Beschreibung eines bevorzugten
Ausführungsbeispiels
-
Mit
Bezug auf 1 umfasst ein exemplarisches
Ausführungsbeispiel
eines betätigbaren
Insassenrückhaltesystems 20 gemäß der vorliegenden
Erfindung eine Airbaganordnung 22, die in einer Öffnung eines
Armaturenbretts oder Instrumentenbretts 24 eines Fahrzeugs 26 angebracht
ist. Die Airbaganordnung 22 umfasst einen Airbag 28,
der in dem Inneren eines Airbaggehäuses 30 gefaltet und
gelagert ist. Eine Abdeckung 32 deckt den gelagerten Airbag ab
und ist angepasst, um sich beim Aufblasen des Airbags 28 leicht
zu öffnen.
-
Die
Airbaganordnung 22 umfasst ferner einen Gassteuerteil 34,
der betriebsmäßig mit
dem Airbag 28 gekoppelt ist. Der Gassteuerteil 34 kann
eine Vielzahl von Gasquellen (nicht gezeigt) und Ablassventilen
(nicht gezeigt) umfassen, um bei individueller Steuerung, das Aufblasen
des Airbags zu steuern (z.B. Zeitsteuerung, Gasströmung, Sack-
bzw. Airbagprofil als einer Funktion von Zeit, Gasdruck etc.). Sobald
er aufgeblasen ist, kann der Airbag 28 helfen einen Insassen 40,
wie zum Beispiel einen Fahrzeugbeifahrer, zu schützen, der auf einem Fahrzeugsitz 42 sitzt.
Obwohl das Ausführungsbeispiel
der 1 mit Bezug auf einen Fahrzeugbeifahrersitz beschrieben
ist, ist es auf einen Fahrzeugfahrersitz und Rücksitze und ihre zugeordneten,
betätigbaren
Rückhaltesysteme
anwendbar. Die vorliegende Erfindung ist ebenfalls auf die Steuerung
von betätigbaren
Seitenrückhalteeinrichtungen
anwendbar und auf betätigbare
Einrichtungen, die ansprechend auf Überschlagsereignisse einsetzbar
sind.
-
Eine
Airbagsteuervorrichtung 50 ist betriebsmäßig mit
der Airbaganordnung 22 verbunden, um den Gassteuerteil 34 und
seinerseits das Aufblasen des Airbags 28 zu steuern. Die
Airbagsteuervorrichtung 50 kann irgendeine von mehreren
Formen annehmen, wie zum Beispiel von einem Mikrocomputer, diskreten
Schaltungen, einer anwendungsspezifischen, integrierten Schaltung
(„ASIC") etc. Die Steuervorrichtung 50 ist
ferner mit einem Fahrzeugzusammenstoßsensor 52 verbunden,
beispielsweise einem oder mehr Fahrzeugzusammenstoßbeschleunigungsmessern.
Die Steuervorrichtung überwacht das
Ausgangssignal (die Ausgangssignale) von dem Zusammenstoßsensor 52 und
bestimmt gemäß einem
Airbagsteueralgorithmus, der einen Einsatzsteueralgorithmus verwendet,
ob ein Einsatzereignis auftritt (d.h. ein Ereignis, für das es
wünschenswert sein
kann, den Airbag 28 einzusetzen). Es gibt mehrere bekannte
Einsatzsteueralgorithmen, die auf ein oder mehrere Einsatzereignissignale
ansprechen und die als ein Teil der vorliegenden Erfindung verwendet
werden können.
Sobald die Steuervorrichtung 50 bestimmt, dass ein Einsatzereignis
auftritt, wobei zum Beispiel ein ausgewählter Zusammenstoßanalysealgorithmus
verwendet wird, und wenn bestimmte andere Insassenkenngrößenzustände erfüllt sind,
steuert die Steuervorrichtung 50 das Aufblasen des Airbags 28 durch
den Gebrauch des Gassteuerteils 34 (z.B. Zeitsteuerung,
Gasströmungsrate,
Gasdruck, Airbagprofil als eine Funktion der Zeit etc. ).
-
Das
Airbagrückhaltesystem 20 umfasst
gemäß der vorliegenden
Erfindung ferner eine Stereo-Sichtanordnung oder Stereo-Vision-Anordnung 60.
Die Stereo-Vision-Anordnung 60 umfasst Stereo-Kameras 62,
die vorzugsweise an der Auskleidung im Kopfbereich 64 des
Fahrzeugs 26 angebracht sind. Die Stereo-Vision-Anordnung 60 umfasst eine
erste Kamera 70 und eine zweite Kamera 72, die beide
mit einer Kamera-Steuervorrichtung 80 verbunden sind. Gemäß einem
exemplarischen Ausführungsbeispiel
der vorliegenden Erfindung sind die Kameras 70, 72 ungefähr 35 Millimeter
(„mm") voneinander beabstandet,
obwohl andere Abstände
verwendet werden können.
Die Kameras 70, 72 sind parallel zu der Längsachse
des Fahrzeugs angeordnet, obwohl andere Ausrichtungen möglich sind.
-
Die
Kamerasteuervorrichtung 80 kann irgendeine von mehreren
Formen annehmen, beispielsweise von einem Mikrocomputer, von diskreten Schaltun gen,
von einer ASIC etc. Die Kamerasteuervorrichtung 80 ist
mit der Airbagsteuervorrichtung 50 verbunden und sieht
ein Signal an die Airbagsteuervorrichtung 50 vor, um Daten
zu liefern, die sich auf verschiedene Bildkenngrößen der Insassensitzfläche beziehen,
die von einem leeren Sitz, einem Objekt auf dem Sitz, einem menschlichen
Insassen etc. reichen können.
Hierin werden die Bilddaten des Sitzgebietes im Allgemeinen als
Insassendaten bezeichnet, die alle belebten und unbelebten Objekte
umfassen, die die Insassensitzfläche
besetzen könnten. Der
Airbagsteueralgorithmus, der der Steuervorrichtung 50 zugeordnet
ist, kann für
die gelieferten Bilddaten empfindlich gemacht werden. Wenn beispielsweise
die gelieferten Bilddaten zeigen, dass der Insasse 40 ein
Objekt ist, zum Beispiel eine Einkaufstasche, und nicht ein menschliches
Wesen, ist die Betätigung
des Airbags während
eines Zusammenstoßereignisses
sinnlos. Demgemäß kann die
Airbagsteuervorrichtung 50 eine Mustererkennungs-Klassifizieranordnung 54 umfassen,
die wirksam ist, um zwischen einer Vielzahl von Insassenklassen
zu unterscheiden, und zwar basierend auf den Bilddaten, die von
der Kamerasteuervorrichtung 80 geliefert werden, die dann
wiederum verwendet werden können,
um den Airbag zu steuern.
-
2 ist
eine schematische Darstellung der Kameras 70 und 72 der
Abbildungseinrichtung. Die Kameras 70 und 72 können irgendwelche
von mehreren bekannten Typen sein. Zum Beispiel können die
Kameras ladungsgekoppelte Einrichtungen („CCD" = charge-coupled devices) oder komplementäre Metalloxid-Halbleiter-
bzw. CMOS-Einrichtungen („CMOS" = complementary
metal oxide semiconductor) sein. Vorzugsweise machen die Kameras 70 und 72 zweidimensionale
Graustufenbilder des Fahrgastabteils des Fahrzeugs 26.
In einem exemplarischen Ausführungsbeispiel
der vorliegenden Erfindung sind die Kameras 70 und 72 Kameras
mit einem breiten Ansprechspektrum, die die sichtbaren und Nahe-Infrarot-Spektren
abdecken.
-
Die
Kameras 70 und 72 sind voneinander beabstandet,
um es zu ermöglichen,
dass die Kameras zum Bestimmen eines Abstandes bzw. einer Entfernung,
auch als „Bereich" bezeichnet, von
den Kameras zu einem Objekt ver wendet werden. Das Objekt ist schematisch
in 2 gezeigt und ist durch das Bezugszeichen 94 gekennzeichnet.
Die Entfernung zwischen den Kameras 70 und 72 und
dem Objekt 94 kann durch Verwendung der Triangulation bzw.
Dreiecksmethode bestimmt werden. Die Kameras 70 und 72 haben
unterschiedliche Ansichten des Fahrgastabteils, da die Position
des Objekts 94 relativ zu jeder Kamera 70 und 72 unterschiedlich
ist. Daraus resultierend befindet sich das Objekt 94 an
einer anderen Position auf dem Bild, das von Kamera 70 erhalten wird,
als auf dem Bild, das von Kamera 72 erhalten wird. Die
Differenz in den Positionen des Objektes 94 auf den Bildern
wird als „Disparität" bezeichnet. Um eine
für das
Durchführen
der Triangulation zweckmäßige Disparität zwischen
den Bildern zu erhalten, ist es wünschenswert, die Kameras 70 und 72 so
zu positionieren, dass sich das zu überwachende Objekt 94 innerhalb
der Sehgrenze bzw. des Horopters der Kameras befindet.
-
Kamera 70 umfasst
eine Linse 100 und eine Pixelmatrix 110. Ebenso
umfasst Kamera 72 eine Linse 102 und eine Pixelmatrix 112.
Da die Kameras 70 und 72 an unterschiedlichen
Positionen relativ zu dem Objekt 94 gelegen sind, unterscheidet
sich ein Bild des Objekts 94, das auf der Pixelmatrix 110 der Kamera 70 gebildet
ist, von einem Bild des Objekts 94, das auf der Pixelmatrix 112 der
Kamera 72 gebildet ist. Die Entfernung zwischen den Standpunkten der
Kameras 70 und 72 (d.h. die Entfernung zwischen
den Linsen 100 und 102) ist in 2 als „b" bezeichnet. Die
Brennweite der Linsen 100 und 102 der Kameras 70 und 72 ist
in 2 als „f" bezeichnet. Die
Linsen 100 und 102 der Kameras 70 und 72 der 2 besitzen
die gleichen Brennweiten. Die horizontale Entfernung von der Bildmitte
auf der Pixelmatrix 110 und dem Bild des Objekts 94 auf
der Pixelmatrix 110 der Kamera 70 ist in 2 als „dl" bezeichnet. Die
horizontale Entfernung von der Bildmitte auf der Pixelmatrix 112 und
dem Bild des Objekts 94 auf der Pixelmatrix 112 der
Kamera 72 ist in 2 als „dr" bezeichnet. Vorzugsweise
sind die Kameras 70 und 72 so angebracht, dass
sie sich in der gleichen Bildebene befinden. Die Differenz zwischen
dl und dr wird als die „Bilddisparität" bezeichnet und steht
in direkter Beziehung zu der Entfernung, in 2 als „r" bezeichnet, zu dem
Objekt 94, wobei die Entfernung r senkrecht zu der Bildebene
der Kameras 70 und 72 von einer Stelle v auf der
Bildebene gemessen wird. Es wird erkannt werden, dass r = bf/d, wobei d = dl – dr. (Gleichung 1)
-
Aus
Gleichung 1 kann die Entfernung r zu dem Objekt 94 als
eine Funktion der Disparität
der Bilder von den Kameras 70 und 72 bestimmt
werden. Es sollte erkannt werden, dass die Entfernung r eine Umkehrfunktion
der Disparität
ist.
-
Mit
Bezug auf 3 ist ein Abbildungssystem 100 gezeigt,
das eine automatisierte Beifahrersitzdetektion und -entfernung verwendet.
Es wird erkannt werden, dass einer oder mehr Teile des Systems 100 als
Computersoftware in einem Allzweck-Prozessor implementiert sein
können.
Das System 100 umfasst einen Bildgenerator 102,
der ein Bild eines Objekts (subject) von Interesse aufnimmt. Zum
Beispiel kann der Bildgenerator 102 einen oder mehr Sensoren
umfassen, die konfiguriert sind, um ein Bild des Objekts aufzunehmen.
Während
der Bilderzeugung können
das Bild oder die Bilder von dem einen oder mehr Sensoren vorverarbeitet
werden, um den zugeordneten dynamischen Bereich der Bilder zu erhöhen und
um statische Hintergrundelemente zu entfernen. In einem exemplarischen
Ausführungsbeispiel
kann der Bildgenerator 102 eine Stereo-Disparitäts-Karte
oder -Map aus den Ausgangsgrößen der
zwei oder mehr Sensoren erzeugen.
-
Die
Ausgangsgröße des Bildgenerators 102 wird
an einen Konturgenerator 104 geliefert. Der Konturgenerator 104 erzeugt
aus der Bildgeneratorausgangsgröße ein Konturbild,
das einen Umriss bzw. eine Kontur der gelieferten Bilder enthält. Zum Beispiel
kann der Konturgenerator 104 einen Canny-Kantendetektor aufweisen,
der ein Konturbild aus der Ausgangsgröße der Sensoren erzeugt. Das
Konturbild wird dann an einen Modellselektor 106 geliefert.
Der Modellselektor 106 sucht das gelieferte Konturbild
nach einer Kontur ab, die einer aus einer Vielzahl von Sitzrücklehnenkonturmodellen
entspricht. Gemäß einem
Aspekt der Erfindung repräsentiert
jedes der Sitzmodelle eine Kontur der Sitzrücklehne in einer möglichen delle
eine Kontur der Sitzrücklehne in
einer möglichen
unterschiedlichen Position des Sitzes entlang eines oder mehrerer
Bewegungsbereiche, die dem Sitz zugeordnet sind. Wenn eine Übereinstimmung
zu einem vorgegebenen Konturmodell gefunden ist, kann angenommen
werden, dass sich der Sitz in der Position befindet, die dem Konturmodell
zugeordnet ist.
-
Sobald
ein Konturmodell ausgesucht worden ist, werden die Bilddaten an
eine Bildbearbeitungsvorrichtung 108 weitergeleitet. In
einer Implementierung können
die zu der Bildbearbeitungsvorrichtung 108 geleiteten Daten
ein Stereobild und seine Einzelsensorbilder umfassen. Die Bildbearbeitungsvorrichtung 108 entfernt
einen Teil des Bildes, der der Sitzrücklehne entspricht, und zwar
anhand des ausgewählten
Sitzmodells. Demgemäß kann die
Rücklehne
des Sitzes mit einem erhöhten
Grad an Genauigkeit entfernt werden, wodurch ein klareres Bild des Sitzinsassen
erzeugt wird.
-
4 stellt
ein Klassifizierungssystem 150 dar, das die automatisierte
Sitzentfernung gemäß einem
Aspekt der vorliegenden Erfindung verwendet. Das System 150 umfasst
eine Vielzahl von Bildsensoren 152 und 154, von
denen jeder wirksam ist, um ein zweidimensionales Bild eines erwünschten
Objekts zu erzeugen. Es wird erkannt werden, dass die Sensoren irgendeine
geeignete Konstruktion für
eine vorgegebene Anwendung besitzen können und ein Objekt mit reflektierter
infraroter, ultravioletter und anderer elektromagnetischer Strahlung
ebenso wie mit Licht innerhalb des für Menschen sichtbaren Spektrums
abbilden können.
Die Sensoren 152 und 154 sind in einer erwünschten
Entfernung voneinander beabstandet, um es zu ermöglichen, dass die Kameras für das Stereo-Abbilden
verwendet werden.
-
Die
Bilder, die von den zwei Sensoren 152 und 154 ausgegeben
werden, werden an die jeweiligen Bild-Vorverarbeitungseinrichtungen
bzw. Bild-Vorprozessoren 156 und 158 geliefert.
Jeder der Vorprozessoren (z.B. 156) verarbeitet ein empfangenes
Bild, um die Qualität
des Bildes zu verbessern und um unerwünschte Teile des Bildes zu
entfernen. Zum Beispiel kann ein statischer Hintergrund, der der Position
einer vorgegebenen Kamera zuge ordnet ist, von dem Bild subtrahiert
werden, um ein Bild des Sitzes und seines Insassen übrig zu
lassen. Anderes Verarbeiten kann durchgeführt werden, um offensichtliches
Rauschen aus dem Bild zu entfernen und seinen dynamischen Bereich
zu erhöhen.
-
Die
vorverarbeiteten Bilder werden an eine Disparitäts-Verarbeitungs-Komponente 160 geliefert. Die
Disparitäts-Verarbeitungs-Komponente 160 kombiniert
entsprechende Bilder von den Sensoren, um eine Stereo-Disparitäts-Karte
oder -Map zu erzeugen, die den zwei oder mehr Sensoren, wie oben
in 2 beschrieben, zugeordnet ist. Die Stereo-Disparitäts-Karte
wird dann als eine erste Eingabegröße an einen Konturverstärker 162 geliefert.
Eine Bildausgangsgröße von einem
der Vorprozessoren (z.B. 156) wird an einen Kantendetektor 164 geliefert.
In einer exemplarischen Implementierung wird ein Bild, das einem
vorgegebenen Sensor (z.B. 152) zugeordnet ist, ausgewählt, um
mit der Perspektive der Stereo-Disparitäts-Karte übereinzustimmen. Der Kantendetektor 164 erzeugt
gemäß einem
Kantendetektionsalgorithmus ein Konturbild aus dem gelieferten Bild.
In einer exemplarischen Implementierung umfasst der Kantendetektor 164 einen
Canny-Kantendetektor,
der ein Bild analysiert, um ein Bild zu erzeugen, das die Positionen
der Diskontinuitäten
der Intensität
bzw. Helligkeit des Eingabebildes zeigt.
-
Das
von dem Kantendetektor 164 erzeugte Bild wird als eine
zweite Eingabegröße an den
Konturverstärker 162 vorgesehen.
Der Konturverstärker 162 kombiniert
die Helligkeitsdaten von der Ausgangsgröße des Kantendetektors 164 und
die Tiefeninformation von der Stereo-Disparitäts-Karte, um ein Konturbild
zu erzeugen. In einer Implementierung der Erfindung wird die Ausgangsgröße des Kantendetektors 164 über die
Stereo-Disparitäts-Karte
gelegt und alle Tiefenwerte, die nicht mit einer Kante übereinstimmen,
werden auf Null gesetzt. Demgemäß umfasst
das Konturbild eine dreidimensionale Kontur, die ihre zweidimensionale
Position in der Ebene des Originalbildes und der zugefügten Tiefeninformation aufweist.
-
Sobald
ein Konturbild erzeugt wurde, wird es an einen Modellselektor 166 vorgesehen,
der versucht, eins aus einer Vielzahl von dreidimensionalen Sitzkonturmodellen 168 mit
mindestens einem Teil des erzeugten Konturbildes in Übereinstimmung
zu bringen. Jedes der Sitzkonturmodelle 168 stellt eine dreidimensionale
Darstellung einer hinteren Kontur des Sitzes in einer möglichen
Positionierung entlang einem oder mehr Bewegungsbereichen dar. Es
wird erkannt werden, dass nicht jeder mögliche dem Sitz zugeordnete
Bewegungsbereich in den Konturmodellen berücksichtigt werden muss, da
einige bei einer vorgegebenen Kameraperspektive unwesentliche Veränderungen
in der Kontur der Sitzrücklehne erzeugen
können.
-
Zum
Beispiel könnten
Modelle erzeugt werden, um irgendeine von einundzwanzig Horizontalpositionen
zu erzeugen (z.B. mit Bezug auf die Vorderseite des Fahrzeugs) und
elf zurück
geneigte Positionen der Sitzrücklehne.
Demgemäß würde ein
Satz von zweihunderteinunddreißig
Konturmodellen verwendet werden, um die Position des Sitzes zu bestimmen.
Es wird jedoch erkannt werden, dass zusätzliche Sätze von Konturmodellen notwendig
sein würden
für unterschiedliche
Sitztypen, wie zum Beispiel Sitze aus unterschiedlichem Material
(z.B. Leder, Stoff etc.) und von unterschiedlicher Bauart. In einer
Implementierung umfassen die Konturmodelle eine zugeordnete Kopfstütze, aber
für die
Zwecke des vorliegenden Beispiels wird ein getrennter Übereinstimmungsprozess
für die
Kopfstütze
verwendet.
-
Jedes
Konturmodell wird dann mit dem Konturbild verglichen, um zu bestimmen,
ob das Konturmodell mit einem Teil des Konturbildes an einer Vielzahl
von repräsentativen
Punkten übereinstimmt,
die dem Konturmodell zugeordnet sind. In dem Übereinstimmungsprozess kann
jeder Punkt, der dem Konturmodell zugeordnet ist, auf eine Stelle
auf dem Bild projiziert werden, die der Sitzrücklehne entspricht, und eine
Pixel-für-Pixel-Korrespondenz
zwischen Punkten auf dem Konturmodell und den Pixeln auf dem Konturbild
kann bestimmt werden. Die Korrespondenz kann quantifiziert werden
und ein geeignetes Konturmodell wird gemäß einem geeigneten Algorithmus
ausgewählt,
beispielsweise eine generalisierte Hough-Transformation, wie durch
D.H.Ballard beschreiben. [ D.H. Ballard, Generalizing the Hough D.H.Ballard
beschreiben. [D.H. Ballard, Generalizing the Hough Transformion
to Detect Arbitrary Shapes, Pattern Recognition 13(2):111-122,1981].
-
In
einer generalisierten Hough-Transformation kann ein Merkmal oder
eine Kontur, die eine bekannte Form und Ausrichtung besitzt, in
einem Bild lokalisiert werden. Die generalisierte Hough-Transformation
kann verwendet werden, um Merkmale aufzufinden, die nicht durch
eine einfache, analytische Gleichung beschrieben werden können. Zuerst kann
ein willkürlicher
Bezugspunkt in dem Bild ausgewählt
werden, von dem die Form des Merkmals gemäß einer Serie senkrechter Linien
zwischen den Punkten auf der Linie und dem Bezugspunkt definiert werden
kann. Die Parameter für
jede Line (z.B. die Neigung und die senkrechte Entfernung von dem
Bezugspunkt) können
in eine Nachschlagetabelle eingegeben werden, die das Konturmodell
repräsentiert.
-
Ein
Hough-Transformationsraum kann hinsichtlich möglicher Bezugspunkte für das Bild
definiert werden. Eine Akkumulator-Daten-Struktur wird dann definiert,
die die möglichen
Bezugspunkte darstellt. Für
jedes Pixel in dem Kantenbild wird eine Kantenrichtung für das Bild
lokalisiert und jedem potentiellen Bezugspunkt, der dem Pixel zugeordnet
ist, werden Punkte in dem Akkumulator zugewiesen. Ein Bezugspunkt
kann bestimmt werden durch das Finden des Bezugspunktes, der die
größte Anzahl
von akkumulierten Punkten besitzt. Die Modelle können dann anhand des bestimmten
Bezugspunktes auf ihre Eignung bewertet werden.
-
Zum
Beispiel kann die Korrespondenz quantifiziert werden als eine Summe
der quadrierten Differenzen zwischen der Lokalisation von jedem
Punkt in dem Konturmodell und einem entsprechenden Pixel auf dem
Konturbild. Für
jeden Punkt kann ein korrespondierendes Pixel gemäß einem „Nächster Nachbar"-Ansatz bestimmt
werden. Da ein vorgegebenes Pixel oder ein repräsentativer Punkt einen Tiefenwert besitzen
kann, ebenso wie zugeordnete x- und y-Koordinaten in dem zugeordneten
Bild oder Modell, kann der nächste
Nachbar für
einen Punkt auf dem Konturmodell bestimmt werden als das Pi xel,
das die kleinste Gesamtentfernung über alle drei Dimensionen besitzt.
Die Auswahl eines korrespondierenden Pixels kann auf ein dreidimensionales
Fenster um den berechneten Punkt herum begrenzt werden, so dass
das ausgewählte,
benachbarte Pixel keine Schwellenwert-Entfernung in irgendeine Richtung überschreiten
kann. Wenn kein korrespondierendes Pixel innerhalb des Fensters
gefunden wird, kann dem bewerteten Pixel ein Standard-Entfernungswert zugeordnet
werden. Die Entfernungswerte, die für jedes Konturmodell berechnet
werden, werden quadriert, summiert und gemäß der Größe des Konturmodells (z.B.
der Anzahl der repräsentativen
Punkte) normalisiert. Das Modell mit der kleinsten normalisierten
Gesamtentfernung wird dann ausgewählt.
-
Sobald
ein Modell ausgewählt
ist, kann die Position des Sitzes als die zugeordnete Sitzposition des
ausgewählten
Konturmodells bestimmt werden. Durch Gebrauch dieser Information
kann die Position der Kopfstütze,
die dem Sitz zugeordnet ist, bestimmt werden. Eine Vielzahl von
Kopfstützenkonturmodellen
kann gemäß den zugeordneten
Bewegungsbereichen, die der Kopfstütze zugeordnet sind, bestimmt werden.
Die Kopfstützenmodelle
können
Bewegungsbereiche umfassen, die dem Sitz zugeordnet sind oder können eine
Sitzbewegung ignorieren, die sich nicht wesentlich auf das Erscheinungsbild
der Kopfstützenkontur
auswirkt. Die bestimmte Sitzposition kann verwendet werden, um ein
Suchfenster für die
Kopfstütze
zu definieren. Die Konturmodelle können mit dem Konturbild an
einer Anzahl von Positionen innerhalb des Suchfensters verglichen
werden, um eine optimale Position zu bestimmen, zum Beispiel die
Position, die ein Minimalabstand-Ergebnis erzeugt. Das optimale
Ergebnis für
jedes Modell wird bestimmt und das Modell mit dem niedrigsten Gesamtergebnis
wird ausgewählt,
zusammen mit der bestimmten, optimalen Position.
-
Die
ausgewählten
Modelle werden an eine Bildbearbeitungsvorrichtung 170 vorgesehen,
die die Sitzrückenlehne
und die Kopfstütze
von der Stereodisparitätskarte
entfernt. In dem dargestellten Beispiel kann eine am besten passende
Linie bestimmt werden für
die hintere Kante der Sitzrücklehne
gemäß einer
Analyse der wenigsten Quadrate der Pixel, innerhalb der übereinstimmenden
Pixel des Konturbildes in dem Konturmodell. Die Linie, die von dieser Analyse
erzeugt werden kann, kann verwendet werden, um eine Trennebene für das Bild
abzuleiten, die die Vorwärtsebene
der Sitzrücklehne
darstellt. In einem Beispiel kann eine Vorwärtsverschiebung, entsprechend
einer Funktion der Sitzbreite und des Sitzwinkels angewendet werden,
um eine geeignete Trennebene zu bestimmen. Der Teil des Bildes zwischen
der Trennebene und der bestimmten Linie kann entfernt werden, wobei
der Rest des Bildes den Sitzinsassen darstellt.
-
Das
bearbeitete Bild wird an einen Merkmalsextraktor 172 vorgesehen,
wo das Bild analysiert wird, um einen Merkmalsvektor für die Klassifizierung
zu erzeugen. Ein Merkmalsvektor stellt ein Bild als eine Vielzahl
von Elementen dar, wobei jedes Element ein Bildmerkmal darstellt.
Zum Beispiel können
die Elemente des Merkmalvektors Durchschnitts- oder Abweichungsmessung
der Tiefenwerte in einem oder mehr Bereichen des Bildes darstellen. Zusätzlich kann
die Sitzposition, die für
das ausgewählte
Konturmodell bestimmt wird; verwendet werden, um einen oder mehr
Merkmalswerte zu erzeugen.
-
Der
extrahierte Merkmalsvektor wird dann an den Klassifizierer bzw.
die Klassifizierungsvorrichtung 174 vorgesehen. Die Klassifizierungsvorrichtung 174 kann
implementiert sein als irgendeine Anzahl von intelligenten Systemen,
die geeignet sind für die
Klassifizierung eines Eingabebildes in eine von einer Vielzahl von
Ausgangsklassen. In dem dargestellten Beispiel umfassen die Klassen
neben anderen Klassen einen erwachsenen Mensch, ein Kind, einen
nach hinten gerichteten Kindersitz. In einem exemplarischen Ausführungsbeispiel
kann die Klassifizierungsvorrichtung 174 einen Support
Vector Machine Algorithmus oder einen künstlichen Neuronalnetzwerklernalgorithmus
verwenden. Es wird erkannt werden, dass die Klassifizierungsvorrichtung 174 eine
Vielzahl von individuellen Klassifizierungssystemen aufweisen kann,
die durch ein Entscheidungssystem vereinigt werden, das zwischen
ihren Ausgangsgrößen auswählt oder
sie kombiniert.
-
5 stellt
eine beispielhafte Methodik 200 für die Klassifizierung eines
Fahrzeuginsassen dar, die automatisierte Sitzentfernung gemäß einem
Aspekt der vorliegenden Erfindung verwendet. Die Methodik 200 beginnt
bei Schritt 210, wo ein Bild eines Fahrzeugsitzes erzeugt
wird. Es wird erkannt werden, dass mehrere Kameras verwendet werden
können,
um Bilder einer gemeinsamen Objekts aus mehreren Perspektiven zu
erzeugen, um das Erzeugen einer Stereodisparitätskarte aus den erzeugten Bildern
zu ermöglichen.
Die Methodik kann dann zu Schritt 220 fortschreiten, wo
ein Konturbild aus dem einen oder mehr Bildern erzeugt wird. Dies
kann durch irgendwelche geeigneten Mittel zum Detektieren von plötzlichen
Helligkeitsveränderungen über das
ganze Bild hinweg geschehen, wie zum Beispiel durch einen Canny-Kantendetektor.
Es wird erkannt werden, dass das Konturbild Tiefeninformation enthalten
kann, so dass das Konturbild eine dreidimensionale Darstellung von
einem oder mehr Konturen, dargestellt durch die Bilder, vorsehen
kann.
-
Bei
Schritt 230 wird ein Konturmodell mit der Kontur des Sitzes
in dem Konturbild verglichen. Eine Vielzahl der gespeicherten Konturmodelle
kann mit einer geeigneten Stelle oder Stellen in dem Konturbild
verglichen werden, um zu bestimmen, welches Konturmodell der Kontur
der Sitzrücklehne
am meisten ähnelt.
Sobald ein übereinstimmendes
Konturmodell ausgewählt
ist, wird das Bild bei Schritt 260 bearbeitet. Zum Beispiel
kann eine Linie, die die hintere Kante des Sitzes darstellt, aus
den Bilddaten und dem ausgewählten
Konturmodell bestimmt werden. Aus dieser Linie und vorheriger Kenntnis
der Breite der Sitzrücklehne
kann eine Trennebene zwischen dem Sitzinsassen und der Sitzrücklehne
errichtet werden. Der Teil des Bildes zwischen den zwei Linien kann
herausgeschnitten werden, um das Bild des Insassen zu isolieren.
-
Bei
Schritt 280 werden Merkmalsdaten in der Form eines Merkmalsvektors
aus dem Eingabebild extrahiert. Ein Merkmalsvektor repräsentiert
ein Bild als eine Vielzahl von Elementen, die den Merkmalen von
Interesse in dem Bild entsprechen. Jedes Element kann einen Wert
entsprechend einem quantifizierbaren Bildmerkmal annehmen. Es wird
erkannt werden, dass die Bildmerkmale irgendwelche quantifizierbaren
Merkmale umfassen können,
die dem Bild zugeordnet sind, die nützlich beim Unterscheiden innerhalb
der Vielzahl von Ausgangsklassen sind. Beispielhafte Merkmale können die
Durchschnittshelligkeit in einem oder mehr ausgewählten Bereichen
des Bildes, die Varianz der Graustufenwerte der Pixel, die ein oder
mehr ausgewählte
Bereiche in dem Bild aufweisen, und eine Grobkörnigkeitsmessung von einer oder
mehr ausgewählten
Bereichen des Bildes umfassen. In einem exemplarischen Ausführungsbeispiel
kann die bestimmte Sitzposition selbst verwendet werden, um ein
oder mehr Merkmale für
die Klassifizierung vorzusehen.
-
Bei
Schritt 290 kann der Merkmalsvektor klassifiziert werden,
um eine Klasse für
den Fahrzeuginsassen zu bestimmten. Gemäß der vorliegenden Erfindung
kann jedes Bild in eine Klasse aus einer Vielzahl von begrenzt möglichen
Klassen klassifiziert werden, wie zum Beispiel folgende Klassen: leerer
Sitz, Erwachsener, Kind, rückwärts gerichteter Kindersitz
und vorwärts
gerichteter Kindersitz. Diese Klassen sind nur als Beispiel dienend
genannt, und weniger oder mehr Klassen können ebenso wie andere als
die aufgelisteten Klassen verwendet werden. Der Klassifizierungsprozess
kann irgendeine Anzahl von intelligenten Systemen verwenden, die für die Klassifizierung
eines Eingabebildes geeignet sind. In einem beispielhaften Ausführungsbeispiel kann
entweder ein Support Vector Machine („SVM") Algorithmus oder ein Lernalgorithmus
von einem künstlichen
neuronalen Netzwerk („ANN" = Artificial Neural
Network) verwendet werden, um das Bild in eine von einer Vielzahl
von Ausgangsklassen zu klassifizieren.
-
Eine
SVM-Klassifizierungsvorrichtung kann eine Vielzahl von Funktionen
verwenden, die als Hyperebenen bezeichnet werden, um begrifflich
Grenzen in dem N-dimensonalen Merkmalsraum einzuteilen, wobei jede
der N Dimensionen ein zugeordnetes Merkmal des Merkmalsvektors repräsentiert.
Die Grenzen definieren einen Bereich von Merkmalswerten, die jeder
Klasse zugeordnet sind. Demgemäß kann eine
Ausgangsgrößenklasse
für einen
vorgegebenen Eingabemerkmalvektor bestimmt werden, gemäß seiner
Position in dem Merkmalsraum relativ zu den Grenzen.
-
Eine
ANN-Klassifizierungsvorrichtung weist eine Vielzahl von Knoten mit
einer Vielzahl von Verbindungen auf. Die Werte des Merkmalsvektors
werden an eine Vielzahl der Eingabeknoten geliefert. Jeder Eingabeknoten
liefert diese Eingabewerte an Schichten von einem oder mehr Zwischenknoten.
Ein vorgegebener Zwischenknoten empfängt einen oder mehr Ausgangswerte
von den vorherigen Knoten. Die empfangenen Werte werden gemäß einer
Reihe von Gewichtungen, die während
des Trainings der Klassifizierungsvorrichtung erzeugt werden, gewichtet.
Ein Zwischenknoten übersetzt
seine empfangenen Werte in eine Einzelausgangsgröße gemäß einer Transferfunktion an
dem Knoten. Zum Beispiel kann der Zwischenknoten die empfangenen
Werte summieren und unterzieht die Summe einer Binärschrittfunktion.
-
6 stellt
eine Methodik 230 zum Auswählen eines Konturmodells gemäß einem
Aspekt der vorliegenden Erfindung dar. Der Prozess beginnt bei Schritt 232,
wo ein dreidimensionales Sitzkonturmodell aus einer Vielzahl von
für die
Analyse verfügbaren
Sitzkonturmodellen ausgewählt
wird. Jedes der Konturmodelle repräsentiert die hintere Kontur
des Sitzes aus einer Seitenansicht, wenn sich der Sitz in einer
vorgegebenen Position befindet, und zwar gemäß einem oder mehr Bewegungsbereichen,
die dem Sitz zugeordnet sind. Es wird erkannt werden, dass die Konturmodelle
sowohl zweidimensionale Positionsdaten in der Bildebene ebenso wie
Tiefeninformation, die der vorgegebenen Sitzposition zugeordnet
sind, aufweisen. Die Konturmodelle können in einer vorbestimmten
Reihenfolge ausgewählt
werden oder können
gemäß dem Feedback
von einem Insassenschutzsystem ausgewählt werden. Bei Schritt 234 wird
das ausgewählte
Konturmodell mit einem Konturbild verglichen, das einen Fahrzeugsitz darstellt.
-
Zum
Beispiel kann die Position der Pixel in dem Konturmodell korrespondierenden
Stellen in einem Koordinatensystem zugewiesen werden, das durch
das Konturbild definiert wird, um einen Vergleich der Pixelpositionen über dem
Konturmodell und dem Konturbild zuzulassen. Es wird erkannt werden,
dass das Konturmodell erzeugt werden kann durch den Gebrauch der
gleichen Perspektive wie die Konturbilder, die für die Analyse für ein vorgegebe nes
Fahrzeug vorgesehen werden, so dass die Korrespondenz zwischen Pixelstellen
auf dem Konturmodell und dem Konturbild einfach ist.
-
Das
Konturmodell kann eine Anzahl von Punkten aufweisen, die ausgewählten, repräsentativen
Pixeln in dem Konturmodell entsprechen. Bei Schritt 236 wird
ein Punkt in dem ausgewählten
Modell ausgewählt.
Die Pixel können
in einer vorbestimmten Reihenfolge ausgewählt werden, die dem Konturmodell
zugeordnet ist. Bei Schritt 238 wird ein „Nächster Nachbar" zu dem ausgewählten Punkt
aus den Punkten bestimmt, die das Konturbild aufweisen. Dies kann
durch irgendeinen einer Anzahl von Nächster-Nachbar-Suchalgorithmen,
die in der Technik bekannt sind, erreicht werden. Bei Schritt 240 wird
bestimmt, ob sich der bestimmte Nächste Nachbar innerhalb eines
definierten Suchfensters befindet. Das Suchfenster kann definiert
werden, um zu verhindern, dass ein benachbartes Pixel eine Schwellenwert-Entfernung
von dem ausgewählten Punkt
in irgendeiner der Koordinatendimensionen überschreitet. Es wird erkannt
werden, dass die Koordinatendimensionen die Breiten- und die Höhendimensionen
in einem zweidimensionalen Bild, ebenso wie die Tiefe in einem Stereodisparitätsbild umfassen können.
-
Wenn
sich das benachbarte Pixel in dem definierten Suchfenster (Y) befindet,
wird die Entfernung zwischen dem ausgewählten Punkt und dem benachbarten
Pixel bei Schritt 242 berechnet. Es wird erkannt werden,
dass irgendeines aus einer Anzahl von Abstandsmaßen verwendet werden kann, die
die euclidischen und Manhattan-Abstände umfassen. Die Methodik
schreitet dann zu Schritt 246 voran. Wenn sich das benachbarte
Pixel nicht in dem definierten Suchfenster (N) befindet, wird eine
Standard-Entfernung, die größer ist
als der Maximalbereich des Suchfensters bei Schritt 244 zugewiesen und
die Methodik schreitet zu Schritt 246 fort.
-
Bei
Schritt 246 wird bestimmt, ob alle Punkte in dem Konturmodell
evaluiert wurden. Wenn nicht (N), kehrt die Methodik zu Schritt 236 zurück, wo ein anderer
Punkt ausgewählt
wird. Sobald alle Punkte ausgewählt
wurden (Y), schreitet die Methodik zu Schritt 248 voran,
wo die Quadrate der bestimmten Entfernungswerte für die Vielzahl
der Punkte innerhalb der Kontur summiert werden, um einen Gesamtentfernungswert
zu bilden. Der Gesamtwert wird dann gemäß der Größe (z.B. Fläche, Volumen oder Anzahl der
repräsentativen
Punkte) des Konturmodells bei Schritt 250 normalisiert.
Geeignete Normalisierungswerte für
jedes Konturmodell können
bestimmt werden, wenn die Konturmodelle erzeugt werden. In einer
Implementierung umfasst die Normalisierung das Dividieren der Summe
der Quadratabstände
durch die Anzahl der Punkte in dem Konturmodell.
-
Bei
Schritt 252 wird bestimmt, ob die gesamte Vielzahl von
Konturmodellen evaluiert wurde. Wenn nicht (N), kehrt die Methodik
zu Schritt 232 zurück,
wo ein weiteres Modell ausgewählt
wird. Sobald alle Modelle evaluiert wurden (Y), schreitet die Methodik
zu Schritt 254 voran, wo das Modell mit dem kleinsten normalisierten
Gesamtentfernungswert ausgewählt
wird. Die Methodik 200 endet dann.
-
7 stellt
eine Methodik 260 zum Bearbeiten eines Bildes dar, um eine
Sitzrücklehne
aus einem Bild von Interesse anhand eines ausgewählten Konturmodells zu entfernen.
Die Methodik 260 beginnt bei Schritt 262, wo eine
Anzahl von Pixeln in dem Konturbild als der hinteren Kontur der
Sitzrücklehne
zugeordnet identifiziert wird. Genau gesagt werden Pixel, die (z.B.
als nächste
Nachbarn identifiziert wurden) mit Punkten in dem Konturmodell übereinstimmen,
auf dem Bild von Interesse identifiziert. Es wird erkannt werden,
dass das Konturbild aus dem Bild von Interesse so erzeugt wird,
dass eine direkte Korrelation zwischen den Pixeln in dem Konturbild
und den Pixeln in dem Bild von Interesse besteht.
-
Sobald
die Punkte identifiziert wurden, werden die Punkte an eine am besten
geeignete Linie angepasst, um bei Schritt 264 einen hinteren
Kontur zu bilden. Da sich die Sitzrücklehne im Allgemeinen in einer
Seitenansicht einer geraden Linie annähert, kann die am besten passende
Linie gemäß einer
linearen Analyse der wenigsten Quadrate bestimmt werden. Für andere
Ansichten oder Sitze, denen eine geradlinige Rückseitenkontur fehlt, können an dere
Linien oder Kurven anpassende Algorithmen verwendet werden, um die
Position der hinteren Kontur des Sitzes zu bestimmen. Bei Schritt 266 wird
ein Verschiebungswert für
jedes identifizierten Pixel bestimmt. Gemäß einem Aspekt der vorliegenden
Erfindung wird der Verschiebungswert an jedem Punkt als eine Funktion
der erwarteten Sitzbreite und des Winkels der Sitzrücklehne
berechnet, wie aus dem ausgewählten
Konturmodell bestimmt. Zum Beispiel kann die Verschiebung für jedes
Pixel, wie folgt, berechnet werden: X0 = w/cos(Θ) (Gleichung 2)wobei
X0 eine horizontaler Verschiebungswert ist,
w die erwartete Sitzbreite bei einem vorgegebenen Pixel und Θ ein Winkel,
der aus der Neigung der angepassten Linie hergeleitet wird.
-
Bei
Schritt 268 wird eine Trennungslinie aus den identifizierten
Pixeln und den berechneten Verschiebungen erzeugt. Zum Beispiel
kann die Trennlinie für
jedes Pixel definiert werden durch Definieren neuer Pixel nach vorne
(z.B. zu der Vorderseite des Fahrzeugs) von jedem identifizierten
Pixel und Anpassen einer Linie an die neuen Pixel. Die Trennlinie soll
in dem Bild von Interesse die Trennebene zwischen dem Sitz und dem
Fahrzeuginsassen definieren. Die Methodik schreitet dann zu Schritt 270 voran,
wo der Teil des Bildes zwischen der Trennlinie und dem hinteren
Kontur entfernt wird. Der zurückbleibende
Teil des Bildes sollte den Fahrzeuginsassen enthalten, wodurch eine
genauere Klassifizierung des Fahrzeuginsassen zugelassen wird.
-
8 stellt
eine Methodik 300 dar zum Beseitigen einer Kopfkandidatenlokalisation
für ein Fahrzeuginsassenschutzsystem
gemäß einem
Aspekt der vorliegenden Erfindung. Die Methodik beginnt bei Schritt 302,
bei dem das System eine Vielzahl von Kopfkandidaten gemäß einem
Kopfkandidatenlokalisationsalgorithmus bestimmt. Zum Beispiel kann
ein Bild von dem Fahrzeuginsassenschutzsystem analysiert werden,
um zugeordnete Lokalisationen für
einen oder mehr Kopfkandidaten zu bestimmen ebenso wie Information
in Bezug auf Form, Bewegung und Erscheinungsbild des neuen Kandidaten.
Kan didaten mit einem Schwellenwertsniveau an Ähnlichkeit mit einem menschlichen
Kopf, und zwar basierend auf Form, Bewegung und Erscheinungsbild,
werden als mögliche
Kopfkandidaten zurückbehalten.
-
Bei
Schritt 304 wird eine zugeordnete Position einer Sitzrücklehne
bestimmt. Die Sitzrücklehnenposition
kann, wie oben in 5-7 diskutiert,
bestimmt werden, wobei ein Konturmodell mit einer Kontur übereinstimmt,
die einem hinteren Teil des Sitzes zugeordnet ist. Bei Schritt 306 wird
ein Suchfenster für
die Kopfstütze
errichtet. Das Suchfenster kann auf bekannten Bewegungsbereichen
für die
Kopfstütze
relativ zu der Sitzrücklehne
basieren. Zum Beispiel kann sich das Fenster entlang der Linie der
hinteren Sitzkontur über
einen Abstand erstrecken, der gleich dem Bereich der für die Kopfstütze nutzbaren Ausdehnung
von der Sitzrücklehne
ist. Ähnlich
kann ein schmaler Bereich senkrecht zu der Sitzrücklehnenkontur errichtet werden,
basierend auf der Position des Sitzes und irgendeines anderen Bewegungsbereichs,
der für
die Kopfstütze
nutzbar sind.
-
Bei
Schritt 308 wird ein Kopfstützenkonturmodell aus einer
Vielzahl der verfügbaren
Konturmodelle für
eine Analyse ausgewählt.
Jedes der Konturmodelle repräsentiert
die Kontur der Kopfstütze
von einer Seitenansicht, wenn sich die Kopfstütze gemäß einem oder mehr Bewegungsbereichen,
die der Kopfstütze
zugeordnet sind, in einer vorgegebenen Position befindet. Die Konturmodelle
können
in einer vorbestimmten Reihenfolge ausgewählt werden oder können gemäß dem Feedback
von einem Insassenschutzsystem ausgewählt werden. Bei Schritt 310 wird
eine Lokalisation innerhalb des Suchfensters ausgewählt. Zum
Beispiel kann eine Start-Pixel-Lokalisation zur Evaluierung des
Kopfstützenkonturmodells
aus einer Vielzahl von vorbestimmten Lokalisationen ausgewählt werden,
die mit dem Suchfenster assoziiert sind.
-
Bei
Schritt 312 wird das ausgewählte Konturmodell mit einem
Konturbild, das einen Fahrzeugsitz darstellt, verglichen. Ein Entfernungsergebnis
kann berechnet werden als ein Ergebnis dieses Vergleichs, zum Beispiel
durch Bestimmen der Summe der quadrierten Entfernung zwischen entsprechenden Pixeln
in dem Konturmodell und dem Konturbild. Bei Schritt 314 wird
bestimmt, ob alle erwünschten Positionen
innerhalb des Suchfensters evaluiert wurden. Wenn nicht (N), kehrt
die Methodik zu Schritt 310 zurück, wo eine weitere Position
ausgewählt wird.
Sobald alle Punkte ausgewählte
wurden (Y), schreitet das Verfahren zu Schritt 316 voran,
wo die Lokalisation mit dem besten Gesamtdistanzwert ausgewählt wird.
-
Bei
Schritt 318 wird bestimmt, ob die gesamte Vielzahl der
Konturmodelle evaluiert wurde. Wenn nicht (N), kehrt die Methodik
zu Schritt 308 zurück, wo
ein weiteres Modell ausgewählt
wird. Sobald alle Modelle evaluiert wurden (Y), schreitet die Methodik zu
Schritt 320 voran, wo das Modell und die Lokalisation mit
dem besten Entfernungswert ausgewählt werden. Die Methodik schreitet
dann zu Schritt 322 voran, wo ein Kopfkandidat eliminiert
wird, der der identifizierten Stelle zugeordnet ist. Im Allgemeinen wird
der übrig
bleibende, hinterste Kopfkandidat den Kopf des Insassen repräsentierten,
aber andere Kopflokalisations- und Verfolgungsalgorithmen können angewendet
werden, um definitiv den richtigen Kandidaten zu identifizieren.
-
9 stellt
eine Methodik 350 zum Erzeugen eines Satzes von Konturmodellen
gemäß einem Aspekt
der vorliegenden Erfindung dar. Bei Schritt 352 sind der
Sitz und die Kopfstütze
in einer gewünschten
Position relativ zu einem oder mehr Bewegungsbereichen angeordnet.
In dem dargestellten Beispiel kann ein vorgegebener Sitz vier Bewegungsbereiche
besitzen, einen horizontalen Bewegungsbereich zur Vorder- oder Rückseite
des Fahrzeugs hin, ein radiales Neigen der Sitzrücklehne relativ zu dem Sitzboden,
eine vertikale Bewegung des vorderen Teils des Sitzbodens und eine
vertikale Bewegung des hinteren Teils des Sitzbodens. Eine Kopfstütze kann
betriebsbereit sein, um vertikal ebenso wie über einen kleinen Bewegungsradius
geneigt bewegt zu werden.
-
Eine
Vielzahl der diskreten Positionen kann entlang jedes der Bewegungsbereiche
ausgewählt werden.
Die Anzahl der Positionen, die entlang jedem Bereich ausgewählt werden,
hängt von
einem erwünschten
Niveau der Ausfüh rungszeit
der Verarbeitungsressourcen ab, die dem Kontur-Übereinstimmungs-Prozess zugeordnet
sind. Es wird erkannt werden, dass nicht jeder Bewegungsbereich,
der dem Sitz und der Kopfstütze
zugeordnet ist, in den erzeugten Sitzkonturmodellen repräsentiert
sein muss. Zum Beispiel kann bestimmt werden, dass die Vertikalbewegung
der vorderen und hinteren Teile des Sitzes einen minimalen Effekt
auf das Erscheinungsbild der Sitzkontur haben, so dass sie bei der Erzeugung
der Konturmodelle vernachlässigt
werden kann. Elf gleich beabstandete Positionen für die Sitzrücklehne
und einundzwanzig gleich beabstandete horizontale Positionen können für eine Gesamtzahl von
zweihunderteinunddreißig
Positionen verwendet werden. Ähnlich
kann die Kopfstütze
zehn vertikale Positionen besitzen, die zur Lokalisierung der Kopfstütze modelliert
werden.
-
Sobald
eine Position ausgewählt
ist, werden ein oder mehr Bilder des Sitzes bei Schritt 354 erzeugt.
Es wird erkannt werden, dass die erzeugten Bilder zweidimensionale
Bilder ebenso wie dreidimensionale Bilder, beispielsweise Stereodisparitätskarten,
umfassen können.
Bei Schritt 356 wird ein Konturbild aus mindestens einem
der ein oder mehr Bilder erzeugt. Zum Beispiel kann ein Bild einem Kantendetektionsalgorithmus,
wie beispielsweise dem Canny-Kantendetektionsalgorithmus,
unterworfen werden, um das Konturbild zu erzeugen. Äußere Teile
des Konturbilds werden aus dem Bild entfernt, um den hintere Kontur
der Sitzrücklehne
und der Kopfstütze
bei Schritt 358 zu isolieren. Zum Beispiel kann ein Teil
des Bildes, der bekannter Weise nicht mit der hinteren Kante der
Sitzrücklehne
und der Kopfstütze
assoziiert ist mittels eines automatisierten Prozesses entfernt
werden. Die Kopfstütze
und die Sitzrücklehne
können
dann, wenn gewünscht,
in zwei getrennte Modelle aufgeteilt werden. Alternativ kann das
Bild an einem menschlichen Analytiker geliefert werden zur Bearbeitung über ein
Benutzer-Interface.
-
Bei
Schritt 360 werden repräsentative
Punkte in jedem erzeugten Konturmodell ausgewählt. Zum Beispiel können die
Punkte in einer automatisierten Art und Weise zu vorbestimmten Intervallen entlang
der Konturen ausgewählt
werden oder können
direkt durch einen menschlichen Analytiker ausgewählt werden.
Die Konturmodelle können
dann bei Schritt 362 in einem Speicher gespeichert. Die
Methodik 350 schreitet dann zu Schritt 364 voran,
wo bestimmt wird, ob für
alle erwünschten
Sitzpositionen Konturmodelle erzeugt wurden. Wenn nicht (N), kehrt die
Methodik zu Schritt 352 zurück, um eine neue Sitzposition
auszuwählen.
Sobald für
alle Sitzpositionen ein Modell erzeugt wurde (Y) endet die Methodik.
-
10 stellt
ein Computersystem 400 dar, das eingesetzt werden kann,
um hierin beschriebene Systeme und Verfahren zu implementieren,
beispielsweise basierend auf computerausführbaren Befehlen, die auf dem
Computersystem laufen. Das Computersystem 400 kann auf
einem oder mehr Allzweckvernetzten Computersystemen, internen Computersystemen,
Routern, Schaltern, Server-Einrichtungen, Kunden-Einrichtungen,
verschiedenen Zwischeneinrichtungen/Knoten und/oder selbständigen bzw.
Stand-alone-Computersystemen implementiert sein. Zusätzlich kann
das Computersystem 400 als Teil des computerunterstützten Entwicklungs-(CAE
= computer-aided engineering) Werkzeugs implementiert sein, das
computerausführbare
Befehle durchführt,
um ein wie hier beschriebenes Verfahren auszuführen.
-
Das
Computersystem 400 umfasst einen Prozessor 402 und
einen Systemspeicher 404. Ein Systembus 406 koppelt
verschiedene Systemkomponenten, die einen Systemspeicher 404 und
den Prozessor 402 umfassen. Duale Mikroprozessoren und
andere Multiprozessor-Architekturen können ebenfalls als Prozessor 402 verwendet
werden. Der Systembus 406 kann als irgendeiner von mehreren Busstrukturtypen
implementiert sein, die einen Speicherbus oder eine Speichersteuervorrichtung, einen
peripheren Bus und einem Local-Bus
umfassen, die irgendeine aus einer Vielzahl von Busarchitekturen
verwenden. Der Systemspeicher 404 umfasst einen Nur-Lese-Speicher
bzw. Festwertspeicher (ROM = read only memory) 408 und
einen Direktzugriffsspeicher (RAM = random access memory) 410.
Ein Basiseingabe/Ausgabesystem (BIOS = basic input output system) 412 kann
in dem ROM 408 gespeichert sein und enthält im Allgemeinen
die Basisroutinen, die helfen, die Information zwischen Elementen
innerhalb des Computersystems 400 zu ü bertragen, wie beispielsweise
einen Reset bzw. Zurücksetzen
oder Hochfahren.
-
Das
Computersystem 400 kann ein Festplattenlaufwerk 414,
ein magnetisches Laufwerk 416 (z.B. um von einer auswechselbaren
Scheibe 418 zu lesen oder darauf zu schreiben) und ein
optisches Laufwerk 420 (z.B. um eine CD-ROM oder DVD-Scheibe 422 zu
lesen oder um von anderen optischen Medien zu lesen oder darauf
zu schreiben) umfassen. Das Festplattenlaufwerk 414, das
magnetische Laufwerk 416 und das optische Laufwerk 420 sind
mit dem Systembus 406 durch eine Festplattenlaufwerk-Schnittstelle
bzw. -Interface 424, eine magnetische Laufwerksschnittstelle 426 bzw.
ein optische Laufwerksschnittstelle 434 verbunden. Die Laufwerke
und ihre zugeordneten, computerlesbaren Medien sehen ein nichtflüchtiges
Speichern der Daten, Datenstrukturen und computerausführbaren
Anweisungen für
das Computersystem 400 vor. Obwohl die Beschreibung der
computerlesbaren Medien sich oben auf eine Festplatte bezieht, können eine
auswechselbare Magnetscheibe und eine CD und andere Medientypen,
die von einem Computer lesbar sind, ebenfalls verwendet werden.
Zum Beispiel können computerausführbare Anweisungen
zum Implementieren von hier beschriebenen Systemen und Verfahren
ebenfalls auf magnetischen Kassetten, Flash-Speicherkarten, digitalen
Video-Disks und dergleichen gespeichert werden.
-
Eine
Anzahl von Programm-Modulen kann in einem oder mehr der Laufwerke
ebenso wie in dem RAM 3140 gespeichert sein, das ein Betriebssystem 430,
ein oder mehr Anwendungsprogramme 432, andere Programm-Module 434 und
Programmdaten 436 umfasst.
-
Ein
Benutzer kann Befehle und Informationen in das Computersystem 400 durch
eine Benutzer-Eingabe-Einrichtung 440, wie zum Beispiel
eine Tastatur und ein Zeigegerät
(z.B. eine Maus) eingeben. Andere Eingabeeinrichtungen können ein
Mikrofon, einen Joystick, ein Game-Pad, einen Scanner, einen Kontaktbildschirm
bzw. ein Touchscreen oder dergleichen umfassen. Diese und andere
Eingabeeinrichtungen sind oft mit dem Prozessor 402 durch
eine entsprechende Schnittstelle bzw. Interface oder einen Bus 442 verbunden,
der mit dem Systembus 406 gekoppelt ist. Solche Eingabeeinrichtungen
können
alternativ mit dem System 406 durch andere Schnittstellen,
wie zum Beispiel einer parallelen Schnittstelle, einer seriellen
Schnittstelle oder einem universellen seriellen Bus (USB = universal
serial bus) verbunden werden. Eine oder mehr Ausgangseinrichtung(en) 444,
wie zum Beispiel eine visuelle Anzeige-Einrichtung oder Drucker
kann ebenfalls mit dem Systembus 406 über ein Interface oder einen
Adapter 446 verbunden sein.
-
Das
Computersystem 400 kann in einer vernetzten Umgebung arbeiten,
die logische Verbindungen 448 zu einem oder mehr entfernt
aufgestellten Computern 450 verwendet. Der entfernt aufgestellte Computer 448 kann
eine Workstation, ein Computersystem, ein Router, eine Peer-Einrichtung
oder andere übliche
Netzwerkknoten sein und umfasst typischerweise viele oder alle Elemente,
die mit Bezug auf das Computersystem 400 beschrieben wurden. Die
logischen Verbindungen 448 können ein Nahbereichsnetzwerk
(LAN = local area network) und ein Kommunikationsnetzwerk für Langstreckenverbindung
(WAN = wide area network) umfassen.
-
Wenn
es in einer LAN-Netzwerkbetrieb-Umgebung verwendet wird, kann das
Computersystem 400 mit einem lokalen Netzwerk durch ein
Netzwerk-Interface 452 verbunden
sein. Wenn es in einer WAN-Netzwerkbetrieb-Umgebung verwendet wird, kann das Computersystem 400 ein
Modem (nicht gezeigt) umfassen oder kann mit einem Kommunikations-Server über ein
LAN verbunden sein. In einer vernetzten Umgebung können Anwendungsprogramme 432 und
Programmdaten 436, die mit Bezug zum Computersystem 400 dargestellt
sind, oder Teile davon im Speicher 545 des entfernt aufgestellten Computers 450 gespeichert
sein.
-
Aus
obiger Beschreibung der Erfindung werden Fachleute Verbesserungen,
Veränderungen
und Modifikationen entnehmen. Solche Verbesserungen, Veränderungen
und Modifikationen innerhalb des Fachkönnens sollen durch die angehängten Ansprüche abgedeckt
werden.