DE60311423T2

DE60311423T2 - Kopfpositionssensor

Info

Publication number: DE60311423T2
Application number: DE60311423T
Authority: DE
Inventors: Tej Paul Malvern KAUSHAL
Original assignee: Qinetiq Ltd
Current assignee: Qinetiq Ltd
Priority date: 2002-02-02
Filing date: 2003-01-31
Publication date: 2007-10-31
Anticipated expiration: 2023-02-01
Also published as: JP2005517162A; DE60311423D1; ES2279938T3; WO2003066386A3; ATE352459T1; KR20040083497A; EP1772321A2; US20050077469A1; EP1772321A3; JP4409954B2; AU2003205842A1; CA2474893A1; WO2003066386A2; EP1470026A2; EP1470026B1

Description

Diese Erfindung betrifft insbesondere einen Kopfpositionssensor zur Verwendung in einem Fahrzeug, wie einem Automobil, in Verbindung mit Steuerungen zum Einsatz von Sicherheitsrückhalte-Airbags, und im Allgemeinen ein Sensor-Array, das in anderen Abbildungs- und Erfassungssystemen nützlich ist, und ein Verfahren zum Vorsehen von Information, um Sicherheits-Airbags in einem Fahrzeug zu steuern.
Sicherheitsrückhalte-Airbagsysteme in Automobilen werden momentan eingesetzt ohne Wissen, ob es einen Insassen in dem Sitz gibt, oder über die Position seines Kopfes. Der Gesetzgeber führt wahrscheinlich eine Bestimmung für eine Insassenpositionserfassung ein. Erforschte Technologien umfassen Kameras für das sichtbare Band mit einer Beleuchtung zum Betrieb in der Nacht, kapazitive Sensoren, akustische Sensoren und so weiter. Das ideale System wäre ein System wie eine Kamera für das sichtbare Band, aber ohne Beleuchtung, das unter US$ 20 kostet.
Das Problem der Bestimmung der Position eines Fahrers (oder eines anderen Autoinsassen) wird gelöst gemäß dieser Erfindung durch die Verwendung eines thermischen Abbildungssystems (Thermographie – thermal imaging) zusammen mit einer Verarbeitung, um die Position des Kopfes des Fahrers zu bestimmen in Relation zu einem oder mehreren in dem Fahrzeug vorhandenen Airbag(s). Eine Thermographie, die in dem Wellenlängenband von 3–14 μm arbeitet, verwendet die natürliche Körperstrahlung zur Erfassung, ohne die Notwendigkeit einer Beleuchtung, im Gegensatz zu einer herkömmlichen „nahes Infrarot"-Abbildung. Thermische Sensoren sind passiv und werden nicht durch Beleuchtungsverhältnisse gestört und können in absoluter Dunkelheit arbeiten.
Andere Erfassungstechniken sind aktiv und geben eine Strahlung in der einen oder anderen Form ab, z.B. Ultraschallstrahlen, elektromagnetische Wellen, nahes Infrarotlicht. Siehe zum Beispiel EP-1167126A2, das Infrarot-Emitter einsetzt, um eine Person zu illuminieren und eine Kopfposition zu verfolgen unter Verwendung einer Gesichtsmerkmalsbildabtastung; US-6270116-B1 verwendet einen Ultraschall- oder elektromagnetischen oder Infrarot-Emitter und geeignete Sensoren, um die Position einer Person zu erfassen; US-6254127-B1 setzt ein Ultraschall- oder kapazitives System in einem Lenkrad ein, um eine Position zu lokalisieren; US-5691693 verwendet zumindest 3 kapazitive Sensoren, um eine Kopfposition und eine Bewegung zu erfassen; US-5785347 strahlt eine Vielzahl von Infrarotstrahlen aus, um Ort und Position eines Sitzinsassen zu bestimmen; US-6324453-B1 sendet elektromagnetische Wellen in den Fahrgastraum.
Anderer Stand der Technik spezifiziert auch die Verwendung von mehreren Sensoren pro Fahrzeuginsasse, z.B. US-5330226, das ein Ultraschall- und ein Infrarot-System zusammen verwendet.
Techniken, die passive thermische Infrarot-Ansätze einsetzen, werden in DE-19822850 und JP-20011296184 dargelegt.
Das Patent DE-19822850 spezifiziert die Erhebung eines thermischen Abbildes von der frontalen Richtung, um ein Kopf- und Schultern Porträt-ähnliches Bild des Insassen zu erzeugen und verwendet zwei Temperaturschwellen, um Teile des Bilds als Kopf oder Körper zu klassifizieren. Dieses System liefert keine Information hinsichtlich der Nähe zu einem frontalen Airbag und kann einen kalibrierten Sen sor erfordern, der absolute Temperaturen messen kann. Leider arbeitet ein derartiges System nur, wenn das Innere des Autos kühl ist. An warmen oder heißen Tagen können die Innentemperaturen in dem Auto die Hauttemperaturen leicht übersteigen.
Das Patent JP-20011296184 beschreibt eine Temperaturkompensationstechnik unter Verwendung eines Erfassungselements, das keine thermische Strahlung von der Szene empfängt. Dieses maskierte Element fühlt auf der Substrattemperatur des Sensorchips und bildet somit eine Referenz, zu der Änderungen in der Szenerietemperatur gemessen werden können. Dies ist erforderlich, um ein System zu bilden, das eine absolute Temperatur in der Szene genauer messen kann, und ist hilfreich zur Steuerung einer Heizung und der Klimaanlage. Das Patent beschreibt keine Erfindung, die dem kompensierten Sensor ermöglicht, die Aufgabe der Erfassung einer Insassenposition zu lösen.
Die vorliegende Patentanmeldung beschreibt das Sensorsystem und Algorithmen, die erforderlich sind, um eine Fähigkeit zur Erfassung einer Insassenposition von einer passiven thermischen Infrarotkamera vorzusehen. Der beschriebene Sensor quantifiziert die Temperatur nicht, wie JP-20011296184, und verwendet keine Temperaturschwellen, wie DE-19822850. Es verwendet auch einen einzelnen Sensor pro Insasse, im Gegensatz zu US-5330226.
Die Erfindung wird durch die Merkmale des Anspruchs 1 definiert. Insbesondere weist ein Kopfpositionssensor zur Verwendung in einem Fahrzeug in Verbindung mit Steuerungen zum Einsatz von Sicherheitsrückhalte-Airbags auf:
ein Array aus passiven thermischen Infrarot-Detektoren,
ein Linsensystem zur Abbildung eines Sitzinsassen und einer Position von zumindest einem Airbag,
einen Prozessor zum Bestimmen der Existenz eines Insassen in einem Sitz und der Position des Kopfes des Insassen relativ zu zumindest einem Airbag aus einem thermischen Bild des Arrays durch Konvertieren der Entfernung in Bildpixeln in eine Schätzung einer realen Entfernung in dem Fahrzeug durch einen einfachen Multiplizierer.
Vorzugsweise sind das Detektor-Array und der Prozessor integral.
In einem weiteren Ausführungsbeispiel umfasst der Sensor Mittel zum Bestimmen der Handposition des Fahrers und somit eine Position des Lenkrads.
Vorzugsweise umfasst der Sensor Mittel zum Bestimmen der Position des Lenkrads und somit der Position eines vorderen Airbags aus Merkmalen in einem thermischen Abbild des Fahrzeuginneren.
Das Detektor-Array kann ein x, y-Array von Detektorelementen sein, wobei x und y in dem Bereich von 24 bis einschließlich 96 liegen, vorzugsweise ungefähr 32 oder 64.
Der Sensor kann auch verwendet werden, um zugehörige Airbags zu steuern, d.h. das Timing und/oder die Menge des Aufblasens nachfolgend auf einen Unfall. Der Sensor kann verwendet werden, um Airbags nur AN zu schalten, wenn ein Sitz besetzt ist; normalerweise bleibt ein Airbag in einem AN-Zustand unabhängig davon, ob ein Sitz, Fahrer oder Beifahrer, besetzt ist oder nicht, was zum Beispiel dazu führen kann, dass ein Airbag eines Passagiers aufgeht auch bei Abwesenheit eines Passagiers. Der Sensor kann auch verwendet werden, um einen Passagier-Airbag in einem AUS-Zustand zu halten, wenn ein Sitz zum Beispiel von einem Kinder- oder Baby-Sitz besetzt ist oder von Gepäck.
Der Sensor kann in der „A"-Säule neben dem Kopf des Fahrers angebracht werden oder in der Nähe des zentralen Lichtblocks angebracht werden. Eine Weitwinkellinse wird verwendet, z.B. ungefähr 90° bis 120°, so dass sich der Kopf eines Insassen und der Platz des Airbags in dem Sichtfeld befinden.
Der Prozessor kann Mittel zur Erfassung des Kopfes eines Fahrers unter Verwendung einer Forminformation umfassen. Zum Beispiel durch Falten kreisförmiger symmetrischer Filter mit ausgewählten Teilen des thermischen Bildes.
Der Prozessor kann auch die Körpermasse eines Sitzinsassen bestimmen durch Berücksichtigen (Zählen) des Bildbereichs, alleine oder in Verbindung mit einem Gewichtsensor in einem Sitz. Eine derartige Information kann dann verwendet werden zusammen mit der Kopfposition, um die Menge des Aufblasens eines Airbags zu steuern.
Zusätzliche Sensoren können für andere Insassen des Fahrzeugs vorgesehen werden. Zum Beispiel kann sich ein zweiter Sensor an der äußersten linken Seite (nearside (righthand driving)) bzw. der äußersten rechten Seite (nearside (lefthand driving)) des Armaturenbretts des Fahrzeugs befinden, um einen Passagier in dem Vordersitz zu erfassen, sowohl Besetzung als auch Position. Auch können Sensoren in der „B-Säule" oder am Dach angebracht sein, um Passagiere auf den hinteren Sitzen zu erfassen und zugehörige Airbags zu steuern.
Die Entfernung zwischen dem Kopf und entweder den vorderen oder den seitlichen Airbags kann berechnet werden aus einem einzelnen Sensorbild durch Lokalisieren von Kopf- und Airbag-Positionen in einem einzelnen Bild und direktes Schätzen ihres Abstands. Wenn mehrere Sensoren verwendet werden, dann können auch zusätzlich eine Triangulation und ein Stereoabgleich verwendet werden.
Gemäß einem weiteren Aspekt dieser Erfindung wird nun ein Verfahren zum Vorsehen einer Information vorgeschlagen, um Sicherheits-Airbags in einem Fahrzeug zu steuern, mit Steuerungen zum Einsatz von Sicherheits-Rückhalte-Airbags, wobei das Verfahren die Schritte von Anspruch 8 umfasst.
Vorzugsweise umfasst das Verfahren den Schritt des Bestimmens einer Position des Lenkrads aus der Position der Hände des Fahrers in dem thermischen Bild. Vorteilhafterweise weist das Verfahren den Schritt einer Schätzung der Körpermasse des Insassen aus der Größe des Insassen in dem thermischen Bild auf. Alternativ oder zusätzlich wird die Körpermasse aus der Größe des Insassen in dem thermischen Bild zusammen mit einer Gewichtsmessung von dem Sitz des Fahrzeugs geschätzt.
In einem bevorzugten Ausführungsbeispiel wird die Kopfposition in drei Dimensionen geschätzt durch und unter Verwendung einer erfassten Kopfgröße, um eine Entfernung von dem Sensor zu schätzen, und durch Verwendung einer relativen Position des Kopfes in dem thermischen Bild, um die anderen zwei der drei Dimensionen zu bestimmen.
In einem weiteren Ausführungsbeispiel wird die Kopfposition durch Verwendung von zwei Arrays von thermischen Abbildungsdetektoren und Triangulationsberechnungen erlangt.
Eine Form der Erfindung wird nun auf beispielhafte Weise unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei:
1 eine schematische Aufsicht eines Fahrzeugs zeigt;
2 relative Positionen des Kopfes eines Fahrers, seitliche und vordere Airbags in der Abbildung zeigt;
3 Bilder A bis F von thermischen Szenen des Inneren eines warmen Fahrzeugs zeigt, das erste Bild A ohne einen Fahrer, dann das Bild B mit einem Fahrer, und die Bilder C bis F die verschiedenen Schritte, die bei der Verarbeitung des Bilds B unternommen werden, um eine Kopfposition relativ zu einem Airbag in einem Lenkrad zu lokalisieren und zu messen;
4 einen ersten Algorithmus zur Verarbeitung der Ausgaben von jedem Detektor in einem Array von Detektoren zeigt;
5–7 eine Sequenz von thermischen Abbildern eines Raums zeigen, wobei eine Person den Raum betritt;
8 das Bild von 7 nach einer Schwellenverarbeitung zeigt;
9 das Bild von 7 nach einer Bilddifferenzierungsverarbeitung zeigt;
10 ein teilweise verarbeitetes Bild zeigt, das die Differenz zwischen einem Referenzbild und einem aktuellen Bild ist;
11 ein verarbeitetes Bild zeigt, wo ein Rauschen über eine Schwelle entfernt wurde (thresholded out) und die resultierende Maske verwendet wird, um ein aktuelles Bild zu erkennen (key);
12 einen zweiten Algorithmus zur Verarbeitung der Ausgaben von jedem Detektor in. einem Array von Detektoren zeigt;
13 eine schematische Ansicht eines Arrays von Detektoren mit zugehörigen Schaltungen zeigt;
14 einen Querschnitt eines Teils von 13 zeigt;
15 ein schematisches Diagramm mit Verbindungen zu jedem Detektor zeigt;
16 eine Ansicht einer Szene ist, die mit einem 2 × 2-Detektor-Array aufgenommen ist;
17 eine Ansicht einer Szene ist, die mit einem 4 × 4-Detektor-Array aufgenommen ist;
18 eine Ansicht einer Szene ist, die mit einem 8 × 8-Detektor-Array aufgenommen ist;
19 eine Ansicht einer Szene ist, die mit einem 16 × 16-Detektor-Array aufgenommen ist;
20 eine Ansicht einer Szene ist, die mit einem 32 × 32-Detektor-Array aufgenommen ist;
21 eine Ansicht einer Szene ist, die mit einem 64 × 64-Detektor-Array aufgenommen ist;
22 eine Ansicht einer Szene ist, die mit einem 128 × 128-Detektor-Array aufgenommen ist; und
23 eine Ansicht einer Szene ist, die mit einem 256 × 256-Detektor-Array aufgenommen ist.
Wie in 1 zu sehen ist, hat ein Fahrzeug einen Fahrersitz 2, einen Beifahrersitz 3 und ein Lenkrad 4. Ein vorderer Airbag ist in dem Lenkrad 4 angebracht und ein Seiten-Airbag 6 befindet sich an der Seite des Fahrzeugs neben dem Fahrersitz. Der Kopf eines Fahrers ist mit 7 bezeichnet.
Ein thermischer Abbildungssensor 8 befindet sich in der A-Säule des Fahrzeugs vor dem und seitlich zu dem Fahrersitz. Eine alternative Position für den Abbildungssensor befindet sich in der Mitte des Fahrzeugs 1 bei dessen Rückspiegel. Dieser Abbildungssensor 8 hat eine Weitwinkellinse, um ungefähr 90° Sichtfeld abzudecken, um den Fahrer 7, das Lenkrad 4 und die Seite des Fahrzeugs zu umfassen.
Zusätzliche Sensoren 9 können an der A-Säule auf der linken Seite platziert werden, um einen Beifahrer abzudecken. Die Sensoren 8, 9 können sich an dem Rückspiegel 10 befinden, wenn eine Messung der Entfernung der Insassen zu einem Seiten-Airbag nicht erforderlich ist.
In einem Auto bei normaler Temperatur, z.B. 22 Grad Celsius, erscheint ein Fahrer oder Beifahrer viel wärmer – Hauttemperaturen messen typischerweise 32 Grad Celsius. Unter Gleichgewichtsbedingungen befindet sich eine Bekleidung bei einer Temperatur in diesem Bereich, z.B. 27 Grad Celsius.
Es ist folglich möglich, einfache Graupegel-Schwellen-Algorithmen zu verwenden, um den Teil der Abbildung zu definieren, der dem Auto, der Bekleidung und der Haut entspricht, siehe Stand der Technik ZEXEL ( DE 19822850 ).
In der Praxis geschieht dies nicht so einfach, da das Auto oft wärmer als die Insassen sein kann, wenn es in der Sonne geparkt wurde, oder eine Temperatur sehr nahe zu der Hauttemperatur hat, einfach aus dem Treibhauseffekt der Autoscheiben, der die interne Temperatur auch an einem wolkigen Tag ansteigen lässt.
Wenn ein wärmeres Auto abkühlt, gibt es einen Punkt, an dem die Durchschnittstemperatur des Insassen gleich der Durchschnittstemperatur des Autos ist.
Unter dieser Bedingung muss eine thermische Kamera ausreichend räumliche Auflösung haben, um kühlere und wärmere Stellen in der Szene zu unterscheiden, und ausreichend thermische Auflösung, um die geringen Temperaturunterschiede zu erfassen. Ein einfacher Schwellen-basierter Algorithmus arbeitet wahrscheinlich nicht zufriedenstellend.
3, A, zeigt ein thermisches Abbild eines Fahrersitzes in einem Fahrzeug. In diesem Fall befindet sich der Sensor in der Mitte des Armaturenbretts. Dies ist keine ideale Position, aber dient dazu, die detaillierte Information anzuzeigen, die von einem thermischen Sensor verfügbar ist. Eine Verarbeitung des thermischen Abbilds, wie unten angeführt, nimmt an, dass der Sensor wie in den 1, 2 gezeigt an einer A-Säule platziert ist.
Da der Insasse 7 und die Airbag-Positionen 5, 6 in dem Abbild enthalten sind, kompensiert jede Bild-basierte Berechnung eine Anpassung des Lenkwinkels bzw. der Lenkstrecke und der Sitzposition, die von unterschiedlichen Fahrern gemacht wird.
In eineigen Ausführungsbeispielen ist es wünschenswert, die Ausgaben einiger Detektoren in dem Array zu ignorieren. Zum Beispiel kann die Verarbeitung von anderen Autoinsassen oder Teilen des Autos ausgeschlossen werden müssen. In diesem Fall kann der Sensor programmiert werden, einige der Detektoren in den Arrayausgaben während der Verarbeitung der thermischen Abbildungen zu ignorieren. Auf diese Weise kann ein standardmäßiger Weitwinkelfeldsensor 8 angepasst werden, einen eingeschränkteren Bereich abzudecken, ohne die Notwendigkeit für eine physikalische Maskierung der Linse, eine Sensorpositionsanpassung oder eine Änderung von Komponenten.
3, A, zeigt ein Fahrzeuginneres mit einer mittleren radiometrischen Temperatur von ungefähr 32 Grad Celsius und die B zeigt das Auto mit einem Insassen in dem Fahrersitz. Die in dem Stand der Technik beschriebenen Algorithmen werden nicht in der Lage sein, den Insassen herauszusegmentieren, da seine Bekleidung kühler ist als das Auto. Es kann möglich sein, den Kopf zu segmentieren, aber andere wärmere Bereiche des Autos stören und das Ergebnis wird sehr schlecht sein.
Der unter Bezugnahme auf 4 beschriebene Algorithmus berechnet zuerst den Modulus des Unterschieds zwischen dem Hintergrundbild A und dem Bild B mit Insassen. Das Abbild A kann aufgenommen werden, wenn zum Beispiel das Auto aufgesperrt wird.
Das Ergebnis, C, ist ein strukturiertes Bild, das ein geisterhaftes Bild des Insassen in einem verrauschten Hintergrund zeigt.
Struktur-basierte Segmentierungstechniken (wie morphologische und Filterungs-Operationen) können dann eingesetzt werden, um ein bauschen zu entfernen und den Insassen in eine einzelne Einheit zusammenzufassen. Eine Maske wird von diesem Prozess erzeugt, die einfach den Bereich in dem Bild definiert, wo geglaubt wird, dass sich der Insasse befindet, und dies wird in dem Bild D gezeigt.
Berechnungen, wie Körpergröße, können auf diesem Maskenbild allein basieren, aber mehr Information kann verfügbar gemacht werden durch Multiplizieren dieser binären Maske mit dem Quellenbild B, um ein ausgeschnittenes Bild E des Insassen zu erzeugen.
Schwellentechniken können nun verwendet werden, um den Kopf ohne störende heiße Hintergrundobjekte zu identifizieren, aber dies funktioniert nur gut, wenn der Insasse bekleidet ist. Ein besserer Ansatz ist, zuerst die Körpermasse aus der Größe der Maske in Bild D zu schätzen und dann einen Bruchteil der Größe, z.B. 1/8, dem Kopf zuzurechnen, und somit nach einem kreisförmigen Objekt dieser Größe in dem oberen Teil des maskierten Abbilds E zu suchen.
Der Ort des vorderen Airbags (Lenkrad oder Armaturenbrett für einen Beifahrer) ist auch einfach zu finden unter Verwendung eines Phasenansatzes, der nach erweiterten Bildmerkmalen in einem gegebenen Orientierungsbereich und einer Position sucht. Alternativ kann diese Position, wenn sie fest ist, in den Sensor vorprogrammiert werden.
Die Ergebnisse werden in Abbild F gezeigt, wo ein Oktagon verwendet wurde, um die Position des Kopfes 7 zu markieren, wobei eine dicke Linie die Position des Lenkrads 4 anzeigt und eine dünne Linie 11 die Entfernung zwischen dem Kopf und dem Airbag in dem Lenkrad darstellt.
Ein einfacher Multiplizierer kann dann verwendet werden, um die Entfernung in Bildpixeln in eine Schätzung einer realen Entfernung in dem Auto zu konvertieren.
Diese Schätzung kann verbessert werden durch eine weitere Schätzung der Variation der Entfernung von dem Sensor zu dem Kopf durch Überwachen einer offensichtlichen Vergrößerung/ eines Schwunds der Kopfgröße in dem Abbild, wenn sich der Kopf zu dem Sensor mit weitem Sichtfeld hin und davon weg bewegt.
Diese direkte Form der Messung von innerhalb des Bildes durch Identifizieren des Insassen, seiner Größe und Kopfposition und dem Ort des Airbags aus demselben Bild (erlangt durch eine neue Auswahl einer Kombination von Sensortechnologie, Ort des Sensors und Bildverarbeitung) bedeutet, dass sekundäre Sensoren, zum Beispiel Sitzposition und Lenkwinkel, nicht erforderlich sind. Dies bringt eine Kosteneinsparung und vereinfacht stark eine in dem Fahrzeug erforderliche Verdrahtung.
Ein erster Algorithmus zur Verarbeitung der in 3 gezeigten Abbilder, Abbilder A–F, wird in der 4 gezeigt und weist die folgenden Schritte auf:

Schritt 1: Das Referenzbild Iref (Bild A) wird entweder durch Mitteln einer Anzahl von Rahmen über eine Zeitdauer berechnet oder wird aus einem Speicher genommen. Zum Beispiel kann in einer Airbag-Steuerungsanwendung eine Serie von Bildern über eine kurze Zeitdauer aufgenommen werden, z.B. ein Bruchteil einer Sekunde, wenn der Fahrer bei Annäherung an das Fahrzeug das Türschloss betätigt. Im Fall einer Szene, in der sich Objekte bewegen, z.B. Personen in einem Einkaufszentrum, wird der Effekt jedes einzelnen Individuums reduziert, wenn die Durchschnittsbildung zum Beispiel über eine Dauer von mehreren Minuten getätigt wird.
Schritt 2: Nimm das aktuelle Abbild Inow (Bild B). Dies ist der Eintrittspunkt in eine unendliche Schleife, die unterbrochen werden kann von einem Zurücksetzen-Signal, wenn es eine Ansammlung von Fehlern gibt, wobei der Algorithmus neu gestartet werden würde. Das aktuelle Bild wird nicht nach außerhalb der Vorrichtung geliefert, sondern nur von dem internen Vorverarbeitungs-Algorithmus verwendet.
Schritt 3: Berechne Modulus des Differenzbildes (Bild C). Das letzte Bild von der Kamera wird Pixel für Pixel von dem Referenzbild subtrahiert und alle negativen Ergebnisse werden durch Multiplizieren mit – 1 in positive Zahlen konvertiert. Das Ergebnis ist ein positives Bild, das Rauschen ist, außer dort, wo sich Objekte in der Szene bewegt haben.
Schritt 4: Das Rauschen im Hintergrund wird identifiziert als unstrukturierte Formen niedriger Amplitude. Strukturformen mit einem höheren Signal stellen Bereiche dar, in denen ein Objekt vorhanden ist. Struktur- und Rauschen-Erfassungsalgorithmen können verwendet werden, um ein binäres Maskenbild (Bild D) zu erzeugen, das jedes Pixel in dem Bild von Schritt 3 als entweder Objekt oder Hintergrund einteilt. Der vorliegende Algorithmus ist auch anwendbar, wenn er zum Beispiel in einem Einkaufszentrum verwendet wird, wo es eine Anzahl unterschiedlicher Bereiche gibt statt einen einzelnen zusammenhängenden Bereich, der z.B. von einem Sitzinsassen gebildet wird. Maskenbilder können von dem Sensor nach Schritt 4 ausgegeben werden, um eine Silhouetten-Information zu liefern. Dies kann nützlich sein, wenn eine Privatsphäre bewahrt werden muss, z.B. ein Einbrecher-Erfassungssystem mit einer Überwachung durch Sicherheitspersonal. Die Maskenbilder können verwendet werden, um eine Körpermasse eines Insassen aus dem besetzten Bereich des Bilds zu schätzen, z.B. durch Zählen von Pixeln in dem Maskenbild. Der Sensor kann in Verbindung mit einem Gewichtsensor in dem Sitz des Fahrzeugs verwendet werden, um eine Genauigkeit bei der Schätzung der Körpermasse zu verbessern.
Schritt 5: Teilbilder (Bild E) werden erzeugt durch Maskieren des eingegebenen Bilds Inow mit dem Maskenbild und die Koordinatenposition jedes Teilbilds wird berechnet. Diese Teilbilder und ihre Koordinaten können nun von der Vorrichtung an nachfolgende Verarbeitungssysteme kommuniziert werden.
Schritt 6: Das Hintergrundreferenzbild Iref (Bild A) muss regelmäßig aktualisiert werden. Ein Mittel, dies zu erreichen, ist durch Berechnen eines langfristigen Mittels der Inow-Bilder.

Andere komplexere Verfahren können ebenfalls eingesetzt werden, um eine Leistung in sich dynamischer verändernden Umgebungen zu verbessern.
Der obige Algorithmus von 4 kann von Fachleuten einfach in einem Computercode geschrieben werden und auf geeigneten Media gespeichert werden, zum Beispiel in einem Speicherchip auf oder integral zu dem Array der 13 und 14.
Der Algorithmus von 4 kann in anderen Detektor-Arrays verwendet werden; die Arrays können in jedem Typ einer herkömmlichen Kamera sein, die ein 2D-Bild erzeugt, und kann in den sichtbaren, Infrarot- oder thermischen Wellenbändern arbeiten. Dies liefert auf folgenden Gründen ein verbessertes Produkt:
Normale Kamerasysteme liefern ein Bildmaterial mit vollen Rahmen des betrachteten Bereichs, unabhängig von der beobachteten Szene. Eine Vorrichtung gemäß einem Aspekt dieser Erfindung weist eine Kamera und einen vorverarbeitenden Algorithmus auf, der, statt ein Bildmaterial auf die normale Weise zu erzeugen, nur eine Sequenz von Teilbildern ausgibt, die neue Objekte in der Szene und ihre Position in der Szene zeigen.
Zum Beispiel kann eine derartige Vorrichtung verwendet werden, um ein Büro zu überwachen. In einem leeren Büro erzeugt die Kamera keine wie auch immer geartete Ausgabe. Wenn ein Büroangestellter das Büro betritt, erzeugt die Vorrichtung eine Sequenz von Teilbildern des Angestellten, der sich in dem Büro bewegt, zusammen mit einer Positionsinformation.
Diese Vorrichtung liefert die folgenden Vorteile: wenn sich kein neues Objekt in dem beobachteten Bereich befindet, werden von der Kamera keine Daten erzeugt, so dass es keinen Datenverarbeitungs-Overhead oder Leistungsverbrauch durch nachfolgende Bildverarbeitungs- oder Codierungssysteme gibt. Auch wenn sich ein neues Objekt in dem beobachteten Bereich befindet, ist die einzige Datenausgabe die (x, y)-Position des Objekts in dem Bildkoordinatensystem und ein Teilbild oder „Ausschnitt (cut-out)" des Objekts. Dieser Ausschnitt verändert die Graupegel oder Farbpegel des ursprünglichen Bilds nicht und somit kann jede nachfolgende Bilderkennungs- oder Musterverarbeitung verwendet werden, um das Objekt zu erkennen oder zu klassifizieren und zu verfolgen. Ebenso enthält der Ausschnitt keinen Hintergrund.
Die erzeugte binäre Maske kann auch derart invertiert bzw. umgekehrt werden, dass der entstehende Ausschnitt nur den Hintergrund zeigt und nicht die Personen in einem Raum. Dies kann nützlich sein für Aufgaben wie eine Überwachung von Gefängniszellen, wo der Operator sehen möchte, dass der Raum intakt ist und die Insassen sich an ihren normalen Positionen befinden, wobei aber deren Privatsphäre geschützt wird.
Eine weitere Anwendung ist eine Systemüberwachung für Hauseindringlinge, wo ein Alarmempfangszentrum die Aktivitäten in einem Raum sehen können muss, um zu bestätigen, dass ein Einbruch stattfindet, der Kunde aber seine Privatsphäre geschützt haben möchte.
Ein weiterer Algorithmus zum Erlangen der Position des Kopfes einer Person aus der kollektiven Ausgabe jedes Detektors in dem Array wird in 12 detailliert dargelegt. Die Schritte 1 bis 15 werden aufgeführt. Die Ausgabe nach Schritt 3 kann verwendet werden, um den Sensor einzustellen, Bereiche in einem Auto auszuschließen, die nicht verarbeitet werden müssen. Die Ausgabe des Schritts 3 kann beobachtet werden zum Beispiel auf einem LCD-Bildschirm eines Computers, die dann verwendet werden kann, um selektiv einige der Detektoren in dem Array auszuschalten. Für den Fall der Erfassung einer Kopfposition ist die mögliche Ausgabe nach dem Schritt 13 überflüssig; nur die Ausgabe von Schritt 15 wird verwendet, um zum Beispiel an eine Airbag-Steuereinrichtung zu kommunizieren, welche die Kopfposition kennen muss, um die Entfernung zu einer Airbag-Öffnung zu berechnen.
Die Verarbeitungsschritte des Algorithmus von 12 sind wie folgt:
Der Zweck des folgenden Algorithmus ist, in Frage kommende Objekte aus dem thermischen Bildmaterial zu identifizieren. Primäre Anwendungsgebiete sind möglicherweise eine Erfassung der Kopfposition für eine Airbag-Steuerung, die eine Erfassung der Position des Kopfes erfordert, und eine Erfassung von Eindringlingen für Einbruchwarnanlagen, die eine Unterscheidung zwischen Menschen, Tieren und Spinnen und Insekten erfordert sowie unbelebte Objekte zurückweist.
Schritt 1: Stelle Kamera-Verstärkungs- und Pegel-Einstellungen ein; dies ermöglicht dem Bilderfasser, automatisch die Verstärkung der Kamera anzupassen, um ein ausreichendes Kontrastdetail in dem Bild vorzusehen, und setzt den Pegel, um sicherzustellen, dass der mittlere Graupegel in dem Bild nahe einem mittleren Wert liegt. Es gibt mehrere Möglichkeiten, um die Belichtung bzw. Exposition automatisch einzustellen, aber der wichtige Punkt ist hier, dass, sobald die Verstärkungs- und die Pegel-Einstellungen berechnet wurden, diese fest sind. Dies bedeutet, dass die Graupegel der Szene sich nur ändern, wenn sich ihre Temperatur ändert, statt als ein Ergebnis der Variation einer Verstärkungs- und Pegel-Steuerung. Ein Festlegen der Verstärkung und des Pegels ermöglicht, dass später eine Bildarithmetik unternommen werden kann, ohne unkontrollierte Fehler einzuführen.
Schritt 2: Berechne das Referenzbild Iref durch Mitteln einer Anzahl von Rahmen über eine kurze Zeitdauer. Dieser Schritt ermöglicht der Einheit, ein Referenzbild zu berechnen, das geringes Rauschen hat. Ein Mitteln einer Anzahl von Rahmen über eine bestimmte Zeit reduziert das Zeit-variierende Pixel-unabhängige Rauschen. Die späteren arithmetischen Operationen profitieren von einem reduzierten Rauschpegel in dem Referenzbild. Zum Beispiel kann in einer Airbag-Steuerungsanwendung eine Reihe von Bildern über eine kurze Zeitdauer, z.B. eine Sekunde, aufgenommen werden, wenn der Fahrer das Türschloss bei Annäherung an das Fahrzeug betätigt. In dem Fall einer Szene, in der sich Objekte bewegen, z.B. Leute in einem Einkaufszentrum, wird der Effekt jeder einzelnen Person reduziert, wenn die Mittelwertbildung über eine Zeitdauer von zum Beispiel 1 Minute geschieht. Es ist nicht wichtig, ob es eine stationäre Person gibt, da das Verbleibende des Algorithmus derartige Fälle korrigiert.
Schritt 3: Nimm das aktuelle Bild Inow. Dies ist der Eintrittspunkt in eine unendliche Schleife, die unterbrochen werden kann von einem Zurücksetzen-Signal, wenn es eine Ansammlung von Fehlern gibt. Ein Zurücksetzen wird aktiviert entweder durch einen Schlüssel (z.B. Türschloss des Fahrzeugs, Setzen der Einbruchwarnanlage) oder durch eine Überwachungsschaltung, die das Verhalten des Systems überwacht, oder einfach ein Anschalten (power-up). Die Schleife kann bei ungefähr normalen TV-Rahmenraten arbeiten, z.B. 25–30 Hz, oder an einer anderen gewünschten Frequenz, abhängig von der Anforderung der Anwendung. Die maximale Frequenz des Systems wird bestimmt von thermischen Zeitkonstanten des Detektor-Arrays und kann mehrere hundert Hertz betragen. Es gibt keine untere Frequenzgrenze. Ein Live-Bildmaterial kann an dieser Stufe über einen Ausgabeanschluss an eine Anzeigevorrichtung geliefert werden. Derartiges Bildmaterial kann zum Beispiel erforderlich sein für manuelle Verifizierungszwecke in der Einbrecherwarnindustrie. Das Bild ist klein, 64 × 64 Pixel, 8 Bit = 32768 Bit. Dies kann stark komprimiert werden, zum Beispiel mit einer Ratio von 20:1, was 1.6 kbits/Sekunde ergibt. Bei 30 Rahmen pro Sekunde ist die Gesamtdatenrate 49 kbits pro Sekunde. Live-Bildmaterial mit voller räumlicher Auflösung kann somit über eine herkömmliche Telefonleitung (Kapazität 56 kbit/sek) an ein Alarmempfangszentrum übertragen werden.
Schritt 4: Berechne Differenzbild Idiff = Inow – Iref. Das letzte Bild von dem Array wird von dem Referenzbild subtrahiert. Wenn eine Person das Sichtfeld betritt und wärmer als der Hintergrund ist (wie es typischerweise der Fall ist), zeigt das Differenzbild ein warmes Objekt vor einem Rauschen-Hintergrund. Wenn ein unbelebtes Objekt bewegt wurde, z.B. eine Tür, dann zeigt das Bild eine statische Ände rung, die über eine Zeitdauer anhält. Dieser Schritt hat die Position von sich bewegenden oder verschobenen Objekten identifiziert.
Schritt 5: Berechne Rauschpegel in Hintergrund von Idiff. Der geringe Pegel an Rauschen in dem Hintergrund sollte entfernt werden, da aber die Verstärkungseinstellungen und Charakteristiken der Umgebung unbekannt sein können, bevor eine Schwellen-Funktion durchgeführt wird, ist es vorteilhaft, das Rauschen zu charakterisieren. Dies kann durchgeführt werden unter Verwendung von standardmäßigen statistischen Ansätzen und eine optimale Schwelle kann gesetzt werden, um das gesamte Hintergrundrauschen zu entfernen.
Schritt 6: Setze Rauschschwelle Tn gerade über Rauschpegel. Dies ist selbsterklärend.
Schritt 7: Berechne Maskenbild Imask = 1, wenn {|Idiff| > Tn}, ansonsten 0. Durch Prüfen jedes Pixels in dem Differenzbild der Reihe nach und Betrachten, ob die Größe (oder Modulus) des Graupegels größer als die gesetzte Schwelle ist, kann das entsprechende Pixel in Imask gleich 1 oder 0 gesetzt werden. Die Bereiche in Imask, die gleich 1 sind, stellen somit Positionen dar, wo es eine Bewegung oder eine Änderung einer anderen Art gegeben hat, z.B. eine eingeschaltete Heizung.
Schritt 8: Wenn gewünscht, unterteile Bereiche bzw. Flecken (blobs) in Maskenbild unter Verwendung einer höheren Schwelle Th, um Gesicht/Kopf zu lokalisieren. Für ein Erfassungssystem für eine Kopfposition ist es nicht ausreichend, den gesamten Körper zu lokalisieren. Die Verwendung einer höheren Schwelle ermöglicht, dass wärmere Objekte in dem Bild herausgestellt werden. Dies ist normalerweise nackte Haut statt bekleidete Bereiche.
Schritt 9: Bezeichne Bereiche (blobs) in Imask mit Zahlen, berechne und speichere ihr Etikett (label), die Zeit, die Größe, die Position, den Aspekt bzw. die Lage, usw. Jeder getrennt gekennzeichnete Bereich in dem Maskenbild muss zwischen Rahmen identifiziert und verfolgt werden. Ein numerisches Etikett dient dazu, den Bereich zu identifizieren, und an dem Bereich durchgeführte Messungen werden für einen späteren Abruf und Vergleich gespeichert.
Schritt 10: Erzeuge Teilbild jedes Bereichs durch Multiplizieren Inow mit Imask. Die in 9 charakterisierten Bereiche waren tatsächlich Silhouetten. Dieser Schritt nimmt die Graupegel aus dem Eingangsbild Inow und kopiert sie auf den maskierten Bereich. Visuell liefert dies Bilder, die Ausschnitte (cut-outs) des ursprünglichen Bilds Inow sind, aber das Bild enthält nur ein Graupegel-Detail, so dass das Objekt erkannt werden kann.
Schritt 11: Verfolge jeden Bereich durch Suchen einer Ähnlichkeit in gemessenen Parametern, Merkmalen in dem Teilbild und Bewegungsmustern. Um zu bestimmen, ob sich ein Objekt über das Bild bewegt hat, muss es zwischen aufeinander folgenden Rahmen verfolgt werden.
Schritt 12: Wenn sich ein warmer Bereich mit der Zeit signifikant über das Bild bewegt, bezeichne ihn als „lebend", ignoriere kalte Bereiche. Sich bewegende warme Objekte (Personen und Tiere) sind besonders interessant; somit wird ein zusätzliches Etikett verwendet, um diese zu identifizieren. Kalte Bereiche können von Insekten und Spinnen oder durch das Verrücken von Möbeln, usw., erzeugt werden, die nicht von Interesse sind und somit ignoriert werden.
Schritt 13: Wenn ein „lebender" Bereich ein starkes Längenverhältnis für einen gegebenen Zeitabschnitt hat, aktiviere Warnungs- Weitermeldung. Die bereits gesammelte und analysierte Information kann verwendet werden, um eine Anzeige zu liefern, dass ein Eindringling in einen Raum eingedrungen ist, wenn die Erfindung als eine Eindringlings-Erfassungsvorrichtung verwendet wird. Ein zugewiesener Ausgabe-Pin wird vorgesehen, um einen Transistor oder eine Weitermeldungsschaltung anzusteuern, was eine unmittelbare Verwendung der Erfindung als eine Eindringlings-Erfassungsvorrichtung in existierenden Alarmeinrichtungen ermöglicht.
Schritt 14: Wenn ein nicht als „lebend" bezeichneter Bereich über eine lange Zeitdauer statisch bleibt, füge sein Teilbild zu Iref hinzu und korrigiere auch eine dc-Verschiebung in Iref. Objekte, wie geöffnete Türen, erzeugen einen Unterschied zu dem Referenzbild, sind aber nicht von Interesse. Wenn derartige Bereiche über eine lange Zeitdauer statisch bleiben, z.B. viele Minuten, dann können sie aus der weiteren Verarbeitung entfernt werden durch Aufnahme ihres Teilbilds in das Referenzbild durch Hinzufügen. Der dc-Pegel des Hintergrundbildbereichs wird überwacht, um zum Beispiel Änderungen der Raumtemperatur zu verfolgen, und ein dc kann angewendet werden, um dies zu korrigieren.
Schritt 15: Gib Bildmaterial und Daten an Kopfpositions-Berechnungsalgorithmus, Eindringlings-Entscheidung, Komprimierung, Erkennung, Bezeichnungs-Algorithmen, usw. aus. Ein Datenanschluss ist vorgesehen, um Ergebnisse der eingebauten Algorithmen an externe Prozessoren oder Elektronik zu kommunizieren. Diese können zum Beispiel für eine Airbag-Steuervorrichtung von Wert sein, welche die Kopfposition kennen muss, um eine Entfernung zu einer Airbag-Öffnung zu berechnen.
Der obige Algorithmus kann von Fachleuten einfach in einen Computercode geschrieben werden und auf geeigneten Media gespeichert werden, zum Beispiel in einem Speicherchip auf oder integral zu dem Array der 13 und 14.
Die Leistung des Prozesses der 12, den Kopf einer Person zu erfassen, wird durch Betrachtung der 5 bis 11 dargestellt, die thermische Bilder des Inneren eines Raums sind.
Die 5–7 zeigen drei unterschiedliche Zeitsequenzrahmen von thermischen Bildern in einem typischen Büro. Allen drei gemeinsam sind verschiedene heiße Objekte, z.B. Radiatoren bzw. Heizkörper, Computer, usw. Die 6, 7 zeigen eine den Raum betretende Person. Herkömmliche Algorithmen zur Erfassung einer einen Raum betretenden Person verwenden eine Graupegel-Schwellenfunktion, um warme Objekte zu finden, und erfassen eine Bewegung durch Differenzieren aufeinander folgender Rahmen. 8 zeigt den Effekt einer einfachen Graupegel-Schwellenfunktion; der verwendete Schwellenpegel, um die Person von dem lokalen Hintergrund zu unterscheiden, ist zu niedrig, um die störenden Objekte zu eliminieren. Wenn die Schwelle angehoben wird, wird die Person allmählich durch die Schwelle entfernt (thresholded out), da das wärmste Objekt in dem Raum der Radiator ist.
9 zeigt den Effekt einer Bilddifferenzierung. Der Ansatz der Bilddifferenzierung ist sehr effektiv beim Entfernen von statischen Objekten, wie Radiatoren, betrifft aber unglücklicherweise das Bild des Eindringlings. Statt den Eindringling als Ganzes zu sehen, erzeugt die Differenzierungsoperation einen seltsamen Effekt.
Der Algorithmus von 12 leidet nicht unter diesen Problemen, sondern liefert einen deutlichen Ausschnitt (cut-out) des vorgesehenen Objekts, wodurch es aus der thermischen Signatur erkannt werden kann, wie in 11 gezeigt. Er weist auch Objekt zurück, die in dem überwachten Bereich bewegt wurden, aber offensichtlich unbelebt sind.
Das in 10 gezeigte dazwischenliegende Bild ist das Ergebnis der Hintergrund-Subtraktion.
Das Bild in 10 ist die Differenz zwischen dem Referenzbild und dem aktuellen Bild, und das Bild in 11 ist eines, in dem das Rauschen durch die Schwelle entfernt wurde (thresholded out) und die entstehende Maske verwendet wird, um das aktuelle Bild zu erkennen (key).
Das Bild in 11 ist deutlich ein Mensch und eine Messung der Höhe und Breite, um ein Längenverhältnis zu berechnen, ist trivial einfach. Eine andere Forminformation ist deutlich sichtbar und eine Information in der Form ist ebenso verfügbar für Erkennungsalgorithmen, um damit zu arbeiten.
Details eines geeigneten thermischen Kamera-Arrays werden in den 13, 14 gezeigt. Ein thermisches Abbildungs-Array 21 weist eine Basisplatte 22 aus Silikon auf, auf der Schaltungen 23, wie Verstärker, Gatter, usw. vorgesehen sind. Das Array 21 hat 4096 Detektoren, die in einem 64 × 64-Array angeordnet sind. Jeder Detektor 24 hat zwei Zeilen-Elektroden 25, 26 und eine Spalten-Elektrode 27 zugeordnet, um Spannungen an jeden Detektor 24 anzulegen und eine Ausgabe aus jedem Detektor 24 zu lesen. Alle Zeilen-Elektroden 25, 26 werden durch einen Zeilen-Treiber 29 betrieben und alle Spalten-Elektroden 27 werden durch einen Spalten-Treiber 28 betrieben. Beide Treiber werden gesteuert von einer Steuerungsschaltung 30, die mit externen Schaltungen kommuniziert, die nicht gezeigt sind.
Jeder Detektor 24 kann hergestellt werden, wie in WO/GB00/03243 beschrieben wird. In einer derartigen Vorrichtung wird ein Mikro-Bolometer 34 als eine Mikro-Brücke 35 ausgebildet, in der eine Schicht aus zum Beispiel Titan durch dünne Schenkel (legs) 37, 38 im Abstand von 1 bis 2 μm von einer Substratoberfläche 36 angeordnet ist. Typischerweise ist das Titan ungefähr 0.1 bis 0.25 μm in einem Bereich von 0.05 bis 0.3 μm mit einem Schichtwiderstand von ungefähr 3.3 Ω/sq. in einem Bereich von 1.5 bis 6Ω/sq. Die Detektor-Mikro-Brücke 35 wird unterstützt unter einer Schicht 39 aus Siliziumoxid mit einer Dicke von ungefähr λ/4, wobei λ die Wellenlänge der zu erfassenden Strahlung ist. Der Titan-Detektor absorbiert einfallende Infrarot-Strahlung (8 bis 14 μm Wellenlänge) und verändert seinen Widerstand mit der Temperatur. Somit liefert das Messen des Detektor-Widerstands einen Wert der einfallenden Strahlungsamplitude.
Die Detektoren 34 befinden sich alle in einem luftdichten Container mit Wänden 40 und einem Deckel 41, der ein Fenster oder eine Linse bildet. Die Wände 40 können aus Siliziumoxid sein und das Fenster 41 kann aus Germanium, Silizium oder einem Chalcogen-Glas sein. Typischerweise ist der Druck in dem Container weniger als 10 Pa.
Die 15 zeigt, wie jeder Detektor ausgelesen werden kann. Es werden zwei Reihen gezeigt. Eine erste Reihe von Detektoren wird von den Widerständen R_1-1 bis R_1-64 angezeigt, die jeweils an einem Ende mit einer a+V-Bias-Elektrode 51 verbunden sind. Die anderen Enden der Widerstände können über Schalter S₁–S₆₄ mit einer Auslese-Elektrode verbunden werden, die über einen Schalter S1 mit einem Ende eines Referenz-Widerstands R1 und mit einem Integrierkondensatorverstärker 54 verbunden ist. Der Referenz-Widerstand R1 ist mit einer negativen Bias-Spannung gleicher Amplitude mit der +V-Bias verbunden.
Ähnlich hat die zweite Reihe von Detektoren die Widerstände R_2-1 bis R_2-64, die verbunden sind über die Schalter S_2-1 bis S_2-64 und S2 mit einem Integrierkondensatorverstärker 55; und einen Referenz-Widerstand R2. Weitere Schalter S3 und S4 ermöglichen unterschiedliche Kombinationen von Verbindungen.
Eine thermische Szene wird gelesen, indem jedem Detektor 34 ermöglicht wird, durch die Szene durch das Fenster oder die Linse 41 beleuchtet zu werden. Diese thermische Strahlung erhöht die Temperatur jedes Detektors und variiert somit seinen Widerstandswert. Jeder Detektor in der ersten Reihe wird dann der Reihe nach über die Schalter S₁–S₆₄ mit dem Verstärker 54 für eine Integrationszeit verbunden. Die Verstärkerausgabespannung ist somit proportional zu der Temperatur jedes Detektors. Ähnlich werden alle anderen Reihen ausgelesen. Die gesamte Ausgabe aller Detektoren liefert ein elektrisches Bild der thermischen Szene.
Das x, y-Array ist vorzugsweise ein 64 × 64-Array, obwohl andere Werte von x und y in dem Bereich von 24 bis 96 gewählt werden können. Am vorzugsweisesten haben x und y die Werte von 32 oder 64, so dass einfache binäre Schaltungen verwendet werden können. Typischerweise sind x und y ungefähr 64, obwohl beispielsweise auch 62 verwendet werden kann mit zwei redundanten Reihen, die für andere Zwecke übrig sind, wie Timing-Marken oder Referenz-Widerstände.
Die Verwendung von 64 × 64-Arrays passt gut zur menschlichen Fovea. Die hochauflösende Stelle im Auge (die Fovea) deckt ungefähr zwei Grad der Mitte des Sichtfelds ab. In dieser hochauflösenden Stelle beträgt die Auflösung ungefähr 1 Bogenminute; eine Auflösung von 1 Bogenminute repräsentiert ein 20:20-Sehvermögen (vision). Somit kann für ein 20:20-Sehvermögen die Fovea durch ein Bild aus 120 × 120 Pixeln ausgefüllt werden, beispielsweise 128 × 128 (der Einfachheit halber), wenn sich die Anzeige in einer komfortablen Entfernung zu einem Betrachter befindet. Wenn dies reduziert wird auf 64 × 64 Pixel, um ein weniger als perfektes Sehvermögen zu repräsentieren, dann kann die vorliegende Erfindung als eine arbeitsfähige Anzeige betrachtet werden. Sich bewegende Bilder enthalten jedoch eine zusätzliche Information und können bei 32 × 32 zu erkennen sein, aber nur gerade noch.
Der Wert der Auswahl von ungefähr 64 × 64-Arrays wird unter Bezugnahme auf die 16 bis 23 erläutert, die Bilder einer thermischen Szene zeigen. Ein Minimieren der Array-Größe hält Kosten von Rohmaterial- und Bildverarbeitungsschaltungen niedrig, wodurch ein sehr konkurrenzfähiges Produkt geliefert wird.
16 zeigt ein Bild der thermischen Szene, das von einem 2 × 2-Detektor-Array aufgenommen wurde; es kann nichts Verwertbares beobachtet werden.
17 zeigt ein Bild der thermischen Szene, das von einem 4 × 4-Detektor-Array aufgenommen wurde; außer zwei helleren Bereichen oben und unten kann nichts Verwertbares beobachtet werden.
18 zeigt ein Bild der thermischen Szene, das von einem 8 × 8-Detektor-Array aufgenommen wurde; getrennte Bereiche von hell und dunkel können unterschieden werden, aber ohne Vorwissen kann wenig Verwertbares beobachtet werden.
19 zeigt ein Bild der thermischen Szene, das von einem 16 × 16-Detektor-Array aufgenommen wurde; dies ist eine Verbesserung gegenüber dem 8 × 8-Array, aber es können keine Details unterschieden werden.
20 zeigt ein Bild der thermischen Szene, das von einem 32 × 32-Detektor-Array aufgenommen wurde. Dabei sind ausreichende Details verfügbar, um einen Operator zu zeigen, der in einem Auto sitzt und einen Sicherheitsgurt angelegt hat, aber das Gesicht ist unscharf.
21 zeigt ein Bild der thermischen Szene, das von einem 64 × 64-Detektor-Array aufgenommen wurde. Dieses Bild ist ausreichend scharf, um Gesichtsmerkmale des Operators und Details seiner Bekleidung zu identifizieren.
Vergleichsweise zeigen die 22 und 23 ein Bild der thermischen Szene, das jeweils von einem 128 × 128-Detektor-Array und einem 256 × 256-Detektor-Array aufgenommen wurde. Beide zeigen mehr Detail als das 64 × 64-Array, aber die Verbesserung ist marginal und die zusätzliche Komplexität und Kosten nicht wert.
Unter Verwendung der Information aus dem 64 × 64-Array der 21 kann die Kopfposition des Operators relativ zu einem Lenkrad bestimmt werden. Wie zu sehen ist, lehnt sich der Operator zurück, während er fährt, statt sich zum Beispiel nach vorne zu beugen, um ein Radio einzustellen. In dem ersten Fall ist ein normaler Betrieb des Lenkrad-Airbags sicher, während in dem zweiten Fall ein voller Betrieb des Lenkrad-Airbags nicht sicher ist.

Claims

Kopfpositionssensor zur Verwendung in einem Fahrzeug in Verbindung mit Steuerungen zum Einsatz von Sicherheitsrückhalte-Airbags, der aufweist: ein 2D-Array aus passiven thermischen Infrarot-Detektoren, ein Linsensystem zur Abbildung eines Sitzinsassen und einer Position von zumindest einem Airbag, und einen Prozessor zum Bestimmen der Existenz eines Insassen in einem Sitz und der Position des Kopfes des Insassen relativ zu zumindest einem Airbag aus einem thermischen Bild des Arrays durch Konvertieren der Entfernung in Bildpixeln in eine Schätzung einer realen Entfernung in dem Fahrzeug durch einen einfachen Multiplizierer.
Sensor gemäß Anspruch 1, wobei der Prozessor die ungefähre Körpermasse des Insassen eines Sitzes aus einem besetzten Bereich des Bilds berechnet.
Sensor gemäß Anspruch 1, wobei der Prozessor die Position des Kopfes des Insassen relativ zu einem vorderen Airbag bestimmt.
Sensor gemäß Anspruch 1, wobei der Prozessor integral mit dem Array ist.
Sensor gemäß Anspruch 1 und einschließlich Mittel zum Bestimmen der Handposition des Fahrers und somit eine Position des Lenkrads.
Sensor gemäß Anspruch 1 und einschließlich Mittel zum Bestimmen der Position des Lenkrads und somit der Position eines vorderen Airbags aus Merkmalen in einem thermischen Abbild des Fahrzeuginneren.
Sensor gemäß Anspruch 1, wobei der Sensor ein x, y-Array von Detektoren hat, wobei zumindest x oder y in dem Bereich von 24 bis einschließlich 96 liegt.
Verfahren zum Vorsehen einer Information zur Steuerung von Sicherheits-Airbags in einem Fahrzeug mit Steuerungen zum Einsatz von Sicherheitsrückhalte-Airbags, wobei das Verfahren die Schritte aufweist: Vorsehen eines 2D-Arrays aus passiven thermischen Bild-Detektoren und eines Linsensystems; Vorsehen eines thermischen Abbilds des Insassen eines Fahrzeugs und einer Position von zumindest einem Airbag; Bestimmen der Position des Kopfes des Insassen relativ zu Teilen des Fahrzeugs, die einen Airbag enthalten, aus einem thermischen Bild des Arrays durch Konvertieren der Entfernung in Bildpixeln in eine Schätzung einer realen Entfernung in dem Fahrzeug durch eine einfache Multiplikation, Vorsehen eines Ausgabesignals, das die Kopfposition des Insassen darstellt, wodurch in Verwendung die Steuerungen des Fahrzeugs den Einsatz von zumindest einem der Airbags anpassen.
Verfahren gemäß Anspruch 8 und einschließlich des Schrittes der Bestimmung einer Position des Lenkrads aus der Position der Hände des Fahrers in dem thermischen Abbild.
Verfahren gemäß Anspruch 8, das den Schritt des Schätzens der Körpermasse des Insassen aus der Größe des Insassen in dem thermischen Abbild aufweist.
Verfahren gemäß Anspruch 10, wobei die Körpermasse geschätzt wird aus der Größe des Insassen in dem thermischen Abbild zusammen mit einer Gewichtsmessung aus dem Sitz des Fahrzeugs.
Verfahren gemäß Anspruch 8, wobei die Kopfposition in drei Dimensionen durch und unter Verwendung der erfassten Kopfgröße geschätzt wird, um eine Entfernung von dem Sensor zu schätzen, und durch Verwendung der relativen Position des Kopfes in dem thermischen Abbild, um die anderen zwei der drei Dimensionen zu bestimmen.
Verfahren gemäß Anspruch 8, wobei die Kopfposition unter Verwendung von zwei Arrays von Detektoren für thermische Abbilder und durch Triangulationsberechnungen erlangt wird.