DE102011088393B4

DE102011088393B4 - Bestimmen einer Gesamtzahl an Personen in einem IR-Bild, das mittels eines IR-Bilderzeugungssystems gewonnen wird

Info

Publication number: DE102011088393B4
Application number: DE102011088393.2A
Authority: DE
Inventors: Yao Rong Wang; Zhigang Fan; Lalit K. Mestha
Original assignee: Conduent Business Services LLC
Current assignee: Conduent Business Services LLC
Priority date: 2010-12-14
Filing date: 2011-12-13
Publication date: 2022-02-24
Anticipated expiration: 2031-12-14
Also published as: GB201121249D0; CN102592335A; JP5752583B2; KR20120066604A; MX2011013205A; JP5938125B2; BRPI1107116A2; DE102011088393A1; GB2486947A; CN102592335B; JP2015181033A; US8520074B2; JP2012128862A; US20120147194A1

Abstract

Verfahren zum Bestimmen der Anzahl an lebenden Objekten in einem IR-Bild, das von einem IR-Bilderzeugungssystem erhalten wird, wobei das Verfahren umfasst:
Sammeln einer Gesamtheit von N Intensitätswerten für jedes Pixel in einem IR-Bild, wobei die Intensitätswerte unter Anwendung eines IR-Bilderzeugungssystems erhalten werden, das eine IR-Erfassungseinrichtung und eine IR-Beleuchtungseinrichtung aufweist;
wobei für jedes Pixel in dem IR-Bild gilt:
Erzeugen eines Verhältnisses der gesammelten Intensitätswerte für das Pixel, das umfasst:

[I_{c} (i) - I_{c} (k)] / [I_{c} (j) - I_{c} (k)],

wobei i, j, k beliebige N-Band-Indizes sind, die sich voneinander unterscheiden;
Bilden eines Schwellwertes aus dem erzeugten Verhältnis; und
Verwenden des Schwellwertes zum Klassifizieren des Pixels als ein Pixel von einem lebenden oder nicht lebenden Objekt; und
Bestimmen einer Gesamtzahl an lebenden Objekten in dem IR-Bild auf der Grundlage der Pixelklassifizierungen.

Description

Die vorliegende Erfindung richtet sich an Systeme und Verfahren, die ein Infrarotkamera-System verwenden, um ein Mehrband-IR-Bild zu erhalten und anschließend die Gesamtzahl von Personen in diesem IR-Bild zu bestimmen.
Es gibt viele kommerzielle Gesichtskennungssysteme (FRS), die auf dem Markt erhältlich sind. Jedoch erfordern viele dieser Systeme, dass das Gesicht vor der Kamera angeordnet wird und eine gute Ausleuchtung vorhanden ist. Derartige Bedingungen sind häufig gerade in den Fällen nicht verfügbar, in denen eine Gesichtserkennung erforderlich oder gewünscht ist. In vielen praktischen Situationen bewegt sich das zu erfassende und zu erkennende Objekt, etwa wenn die Person in einem fahrenden Fahrzeug ist. Ferner kann die Ausleuchtung des Objekts ungeeignet sein. Es ist daher eine Aufgabe der vorliegenden Erfindung, Systeme und Verfahren anzugeben, um die Anzahl an Personen in einem IR-Bild zu bestimmen, das in einem IR-Bilderzeugungssystem erzeugt wird.
U.S. Patent US 7 469 060 B2 offenbart ein System, das zwei Infrarotbänder zur Gesichtsdetektion und -erkennung nutzt. So kann das System beispielsweise das gesamte untere reflektierende Infrarotband nutzen. Das andere Band von Interesse kann das obere reflektierende Infrarotband sein. Wenn die Erfassungsumgebung dunkler wird, kann das System unsichtbares Licht zur Erfassung und Erkennung verwenden.
Die Publikation von NUNEZ, Abel S. et al. über „Melanosome level estimation in human skin from hyperspectral imagery“ in „2009 First Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing, IEEE 2009, S. 1-4, offenbart ein Verfahren zur Erkennung des Pigmentierungsgrades der Haut. Das Verfahren identifiziert die Menge an Melanosomen, die in den als Haut identifizierten Pixeln enthalten sind, um eine Schätzung der Hautfarbe zu erhalten. Die Publikation stellt zwei Algorithmen vor, darunter einen ersten Algorithmus zur Identifizierung von Pixeln in einem Bild, bei denen es sich um Haut handelt, und einen zweiten Algorithmus der den Melanosomengehalt dieser als Haut identifizierten Pixel bestimmt.
Es werden ein neues System und ein Verfahren zum Bestimmen der Anzahl an Personen in einem IR-Bild bereitgestellt, das unter Anwendung eines IR-Bilderzeugungssystems gewonnen wird. Das erfindungsgemäße Verfahren separiert eine Person von einem umgebenden Hintergrund mittels einer Gruppe aus speziell gebildeten Intensitätsverhältnissen. Es werden aus diesen Verhältnissen abgeleitete Größen und Schwellwerte verwendet, um einzustufen, ob ein Pixel in dem IR-Bild von einer Person oder nicht von einer Person stammt. Auf der Grundlage dieser Einstufung der diversen Pixel in dem IR-Bild wird dann die Anzahl der Personen bestimmt.
In einer anschaulichen Ausführungsform umfassen das erfindungsgemäße System und das Verfahren folgendes: zunächst wird eine Gesamtheit aus N Intensitätswerten für jedes Pixel in einem IR-Bild, das zur Personenerkennung verarbeitet werden soll, gesammelt. Die Pixelintensitätswerte werden unter Anwendung eines IR-Bilderzeugungssystems erhalten. Sobald die Intensitätswerte gesammelt sind, wird jedes Pixel in dem IR-Bild verarbeitet, um eine Klassifizierung oder eine Einstufung für dieses Pixel zu bestimmen. Das Verarbeiten der Pixelintensitätswerte beinhaltet das Erzeugen eines Verhältnisses aus den Intensitätswerten des Pixels und das Erzeugen eines Schwellwerts daraus. Der Schwellwert wird verwendet, wie dies detaillierter nachfolgend beschrieben ist, um das Pixel als ein von einer Person stammendes Pixel oder als ein nicht personenbezogenes Pixel zu klassifizieren. Sobald alle Pixel klassifiziert sind, wird die Gesamtzahl an Personen in dem IR-Bild auf der Grundlage der Pixelklassifikationen bzw. Einstufungen bestimmt. Ein derartiges System hat einen bestimmungsgemäßen Gebrauch in einem breiten Feld aus praktischen Anwendungen, etwa beispielsweise für das Bestimmen der Gesamtzahl an Insassen in einem Motorfahrzeug, das auf einer HOV/HOT-Spur fährt, oder das Bestimmen der Anzahl an Personen in einem Bild, das von einer Sicherheitskamera in einem Raum in einem Gebäude beispielsweise aufgenommen wird.

1 zeigt ein anschauliches IR-Bild.
2 zeigt eine Ausführungsform eines anschaulichen IR-Beleuchtungssystems zum Ausleuchten eines Zielfahrzeugs gemäß der vorliegenden Erfindung.
3 zeigt eine Ausführungsform eines anschaulichen IR-Erfassungssystems 300 zur Verwendung gemäß der vorliegenden Erfindung.
4 zeigt ein anschauliches Fahrzeuginsassenerfassungssystem, in welchem das Beleuchtungssystem aus 2 und das Erfassungssystem aus 3 enthalten sind.
5 zeigt eine anschauliche Ausführungsform des erfindungsgemäßen Verfahrens zum Bestimmen der Anzahl an Insassen in einem Fahrzeug in einem Transportverwaltungssystem.
6 bis 12 zeigen eine relative Strahlungsintensität von IR-LED's, die zur Verwendung in den diversen Ausführungsformen geeignet sind.
13 zeigt diverse Ergebnisse für den Fall, dass η=0 ist.
14 zeigt diverse Ergebnisse für den Fall, dass η=0,05 ist;
15 zeigt eine Blockansicht eines anschaulichen Systems, das geeignet ist, um diverse Aspekte des erfindungsgemäßen Verfahrens zu implementieren, wie es mit Bezug zu dem Flussdiagramm aus 5 gezeigt und beschrieben ist.

Ein „Pixel“ ist das kleinste adressierbare Element in einem Bild. Jedes Pixel besitzt seine eigene Adresse. Pixel sind normalerweise in einem Gitter angeordnet. Die Intensität jedes Pixels ist variabel und hängt von den Eigenschaften und der Empfindlichkeit der erfassenden Einrichtung ab, die zum Messen dieses Pixels verwendet wird. Die Auflösung für eine Kamera ist effektiv die Größe des Pixels. Kleinere Pixel bedeuten, dass eine größere Anzahl an Pixeln in einem Bild vorhanden ist, wodurch es eine höhere Auflösung erhält.
Ein „IR-Bild“ ist ein Bild, das von einer IR-Erfassungseinrichtung erzeugt bzw. gewonnen wird, indem von einer beleuchteten Probe reflektiertes IR-Licht erfasst wird. Ein vollständig erzeugtes IR-Bild besteht aus Pixeln, wovon jedes einen Intensitätswert für jeden gewünschten interessierenden Spektralbereich aufweist. 1 zeigt ein Beispiel eines IR-Bildes, das unter Anwendung einer IR-Kamera aufgenommen wurde. Infrarotes (IR) Licht ist elektromagnetische Strahlung mit einer Wellenlänge zwischen 0,7 und 300 µm. Zu beachten ist, dass die Wellenlänge am oberen Ende für den IR-Bereich nicht genau festgelegt ist. Dies ergibt einen Frequenzbereich zwischen 1 und 430 THz. IR-Wellenlängen sind länger als die Wellenlänge des sichtbaren Lichts, sind jedoch kürzer als Mikrowellen. Bei strahlendem Sonnenlicht ergibt sich eine Beleuchtungsstärke von ungefähr 1 Kilowatt pro m² auf Meereshöhe. Von dieser Energie entfallen 527 Watt auf Infrarotstrahlung, 445 Watt auf das sichtbare Licht und 32 Watt auf den ultravioletten Bereich. Bei aktiven Infrarotsystemen leuchtet die Kamera die Szene mit Infrarotwellenlängen aus, die für das menschliche Auge nicht sichtbar sind. Infrarotenergie ist lediglich ein Teil des elektromagnetischen Spektrums, das Strahlung im Bereich von Gammastrahlung, Röntgenstrahlung, Ultraviolettstrahlung, ein dünnes Gebiet an sichtbarem Licht, Infrarotstrahlung, Terahertz-Wellen, Mikrowellen und Funkwellen umfasst. Diese Strahlungsanteile werden jeweils auf ihre Wellenlänge bezogen und durch diese unterschieden. Diverse Ausführungsformen verwenden das gesamte untere reflektierende Infrarotband (LRIR) (d. h. ungefähr 800 bis 1400 nm). LRIR kann mittels einer Mehrbandbilderzeugungs- (MBI) Einrichtung erfasst werden, die für dieses Frequenzband empfindlich ist und die Bilder liefert, die einem Schwarz-Weiß-Bild ähnlich sind. Das obere reflektierende Infrarot- (URIR) Band ist ebenfalls festgelegt (d. h. ungefähr 1400 bis 2200 nm). Ein durch URIR erfasstes Bild ist nicht wie ein LRIR erfasstes Bild, da das menschliche Gewebe IR nicht in der gleichen Weise reflektiert wie nicht-biologische Objekte. Da das untere und das obere IR-Band reflektierend sind, ist ggf. eine Belichtungsquelle für das Ausleuchten der entsprechenden Szene erforderlich. Eine derartige Ausleuchtung muss nicht notwendiger Weise sichtbar sein und ist damit keine Ablenkung für Menschen. Bei Tageslicht ist die LRIR- und URIR-Ausleuchtung ggf. unnötig, da ausreichend IR-Beleuchtung durch normales Sonnenlicht vorhanden ist.
Eine „IR-Ausleuchtungsquelle“ ist eine Lichtquelle. Lichtpegel können gesteuert werden, indem die Ansteuerströme variiert werden. Beispielsweise ändert sich das optische Ausgangssignal einer LED linear mit dem Strom. LED-Arrays sind gut bekannt, die eine IR-Ausleuchtung in einer zeitlich sequenziellen Weise oder auch gleichzeitig bereitstellen können. Ein anschauliches IR-Beleuchtungssystem ist in 2 gezeigt.
Ein „IR-Bilderzeugungssystem“ ist eine Vorrichtung, die dazu ausgebildet ist, IR-Licht, das von einem Zielobjekt reflektiert wird, zu erfassen und dieses in seine Wellenlängenkomponenten aufzuteilen und ein IR-Bild des Zielobjekts auszugeben. Derartige Systeme besitzen einen IR-Detektor (etwa eine IR-Kamera) und eine IR-Beleuchtungsquelle. Ein anschauliches IR-Erfassungssystem bzw. Detektionssystem ist in 3 gezeigt. Ein IR-Bilderzeugungssystem kann ein einzelnes IR-Erfassungsgerät und eine sequenziell beleuchtete N-Band-Beleuchtungsquelle (N ≥ 3) mit einem einzelnen fixierten Filter sein, oder das System kann insgesamt N Erfassungseinrichtungen (N ≥ 3) aufweisen, wovon jede einen entsprechenden Bandpassfilter umfasst, und kann ferner eine einzelne Beleuchtungsquelle umfassen.
Es sei nun auf die 2 verwiesen, in der eine Ausführungsform eines anschaulichen IR-Beleuchtungssystems zur Verwendung gemäß der vorliegenden Erfindung gezeigt ist.
Das IR-Beleuchtungssystem 200 aus 2 ist so gezeigt, dass es ein IR-Lichtquellenarray 202 mit mehreren IR-Lichtquellen aufweist, wovon jede ein schmales Band an IR-Strahlung mit einem Maximum bei einer entsprechenden Wellenlänge (gezeigt als λ₁ ... λ_η) aussendet. Das Quellenarray 202 umfasst ein Array aus lichtemittierenden Dioden (LED's). Jede Diode ist so ausgewählt, dass diese IR-Strahlung in einem speziellen Wellenlängenband aussendet und damit eine Quelle in dem Array für dieses Wellenlängenband bildet. Eine Steuerung 208 ist mit dem IR-Quellenarray 202 verbunden und steuert den Eingangsstrom für jede Beleuchtungsquelle und somit auch die ausgegebene Intensität jeder Beleuchtungsquelle. Eine Erfassungsoptik 204 besitzt eine oder mehrere Optiken 203, die die Wellenlängen kombinieren, um somit einen IR-Beleuchtungsstrahl 206 zu erzeugen. Ein Sensor 210 erfasst die von dem IR-Lichtquellenarray ausgesandte Strahlung und liefert ein Rückkopplungssignal für die Steuerung 208. Eine Fokussieroptik 212 empfängt den Strahl 206 und fokussiert einen Ausgangsstrahl 214 auf ein Zielfahrzeug 216. Die Optik 212 enthält mehrere Linsen mit unterschiedlicher Brennweite, die in dem Strahlgang angeordnet sind, um damit den Strahl zu fokussieren. Die Steuerung 208 ist auch mit der Optik 212 verbunden, um Änderungen im Ausgangsstrahl 214 auf Grund der Größe des Ziels, des Abstands des Ziels, der Geschwindigkeit des Ziels hervorzurufen, um nur einige Abhängigkeiten aufzuzählen. Die Steuerung 208 ist ferner mit einer Speichereinrichtung 209 in Verbindung, um eine Kalibrierinformation, Intensitätspegel und dergleichen zu speichern/abzurufen, wozu daten- und maschinenlesbare Programmbefehle gehören. Die Steuerung 208 umfasst etwa ein Computersystem, etwa einen Tischrechner, einen Serverrechner, einen Großrechner und dergleichen. Die Steuerung 208 kann in verdrahteter oder kabelloser Kommunikation mit einer derartigen Rechnereinrichtung über ein Netzwerk (nicht gezeigt) stehen. Ein derartiges Netzwerk kann ein lokales Netzwerk (LAN) oder das Internet sein. Es sollte beachtet werden, dass jede der Komponenten des Beleuchtungssystems 200 mit einem derartigen Rechnersystem in Verbindung stehen kann, um die beabsichtigten Aufgaben besser erfüllen zu können.
Jede der zuvor mit Bezug zu 2 beschriebenen Optiken kann durch ein optisches System ersetzt werden, das eine geeignete Brechkraft aufweist und ferner Spiegel enthalten kann. Ein derartiges optisches System kann mehrere Komponenten mit jeweils einer geeigneten Brechkraft aufweisen, beispielsweise kann eine Doppellinse oder eine Dreifachlinse vorgesehen sein. Für den Grenzfall, dass ein derartiges optisches System eine einzigartige Brennweite F definiert, können das Quellenarray und ein Gitter in der vorderen und hinteren Ebene der Optik angeordnet werden. Als Folge davon bildet das optische System das Gitter bei unendlich im Hinblick auf jedes Element des Lichtquellenarrays ab, und somit sieht jedes Quellenelement das gleiche Gebiet des Gitters. Das Licht aus jedem Element ist daher auf diesem Gebiet gleich. Das Gitter kann dann Ausgangsstrahlung erzeugen, deren Spektralanteil im Wesentlichen gleichmäßig über das transversale Profil hinweg ist, indem die Dispersion kompensiert wird, die mit der lateralen Position der Quelle mit den unterschiedlichen Wellenlängen verknüpft ist. Dies führt dazu, dass der spektrale Anteil des Ausgangsstrahls 214 über sein transversales Profil hinweg im Wesentlichen gleichmäßig ist. In der Praxis ist es unter Umständen schwierig, in genauer Weise eine gewünschte Fokuslänge bzw. Brennweite für das optische System auf Grund von Aberrationen (beispielsweise Feldkrümmung, axial-chromatische, lateral-chromatische Abberation, Coma und dergleichen) zu definieren, die die Optik dazu veranlassen, Strahlen auf geringfügig unterschiedliche Positionen gemäß ihrer Wellenlänge oder ihrer lateralen Position zu fokussieren.
Ferner werden die relativen Positionen des optischen Systems, des Quellenarrays und des Gitters in Übereinstimmung mit der allgemeineren Bedingung ausgewählt, dass das optische System das Gitter bei unendlich im Hinblick auf jedes Quellenelement des Lichtquellenarrays zumindest für achsenparallele Strahlen, die aus jeder Quelle austreten, abbildet. Für einen Strahl, der unter einem Winkel θ zur optischen Achse verläuft, gilt für einen achsenparallelen Strahl sin(θ) ≈ θ. Diese Unendlichkeitsbedingung kann erreicht werden, indem jedes Quellenelement an einer nominalen hinteren Brennebene des optischen Systems innerhalb der Abbildungstiefe des optischen Systems angeordnet wird, und indem das Gitter an einer nominalen vorderen Brennebene des optischen Systems innerhalb der Abbildungstiefe des optischen Systems angeordnet wird. Die Abbildungstiefe (DOV) ist mit der numerischen Apertur (NA) des optischen Systems gemäß der Gleichung verknüpft: DOV=Lambda/NA², wobei Lambda die Wellenlänge des Lichtes aus dem Quellenelement ist. Ferner kann die Optik mit Komponenten so aufgebaut sein, dass mehrere Freiheitsgrade bereitgestellt werden, um damit im Hinblick auf diverse optische Aberrationen eine Kompensation zu erreichen. Obwohl derartige Komponenten in dem optischen System zusätzliche Freiheitsgrade zum Verringern der Aberrationen bzw. Fehler liefern, werden durch jede zusätzliche Komponente auch die Kosten und die Komplexität des optischen Systems erhöht.
Es wird nun auf die 3 verwiesen, die eine Ausführungsform eines anschaulichen IR-Erfassungssystems 300 zeigt, das gemäß der hierin offenbarten Lehre verwendet werden kann.
Das Zielfahrzeug 216 reflektiert IR-Licht des Strahls 214, das von der Optik 212 aus 2 ausgesandt wird. Ein Teil des reflektierten IR-Lichts wird von der Optik 302 empfangen, die eine oder mehrere Linsen 303 aufweist, die das empfangene Licht auf einen Sensor 304 bündeln, der das empfangene Licht räumlich auflöst, so dass ein IR-Bild 308 gewonnen wird. Die Optik 302 kann auch einen oder mehrere Bandpassfilter aufweisen, die den Durchgang nur eines schmalen Bandes an Wellenlänge erlauben. Die Filter können auch sequenziell geändert werden, so dass N Intensitätswerte bei 308 erreicht werden. Der Sensor 304 sendet die IR-Bildinformation zu dem Computer 306 zur Verarbeitung und Speicherung. Ein Bilddetektor 308 ist eine multispektrale Bilderfassungseinrichtung, deren Spektralanteil durch eine Steuerung (nicht gezeigt) auswählbar ist. Zu geeigneten Optiken für die Quellenoptik 302 und den Detektor 304 gehören solche Optiken, wie sie üblicherweise im Stand der Technik anzutreffen sind. Der Detektor 304 zeichnet unabhängig die Lichtintensität an mehreren Pixelpositionen entlang eines zweidimensionalen Gitters auf. Zu geeigneten Sensoren gehören Detektoren mit ladungsgekoppelten Bauelementen (CCD), komplementäre Metall-Oxid-Halbleiter- (CMOS) Detektoren, Detektoren mit ladungsinduzierten Bauelementen (CID), Vidicon-Detektoren, Retikon-Detektoren, Bildverstärkungsröhrendetektoren, in Pixel unterteilte Photoverfielfacherröhrendetektoren (PMT), Indium-Gallium-Arsenid (InGaAs), Quecksilber-Cadnium-Tellurid (MCT) und Mikrobolometer. Zu beachten ist, dass die siliziumbasierten Detektoren auf unter 1100 nm begrenzt sind. Systeme mit Bilddetektoren (d. h. Kombinationen aus siliziumbasierten und nicht-siliziumbasierten Detektoren) sind ebenfalls vorstellbar. Der Computer 306 steht mit der Optik 302 in Verbindung, um deren Linsen anzusteuern, und steht auch mit dem Detektor 304 in Verbindung, um dessen Empfindlichkeit einzustellen. Der Computer 306 empfängt die Empfindlichkeitswerte, die jedem Pixel des IR-Bild 308 zugeordnet sind. Der Computer 306 enthält ferner eine Tastatur, einen Monitor, einen Drucker, etc. (nicht gezeigt), wie dies erforderlich ist, um die Steuerung des Systems 300 zu bewerkstelligen.
Es wird nun auf die 4 verwiesen, die ein anschauliches Fahrzeuginsassenerfassungssystem zeigt, in welchem das Beleuchtungssystem aus 2 und das Erfassungssystem aus 3 eingebaut sind.
In 4 enthält ein Zielfahrzeug 400 einen menschlichen Insassen 402, der sich mit einer Geschwindigkeit v in einer Bewegungsrichtung bewegt, die durch den Richtungsvektor 403 entlang der HOV-Spur 404 gezeigt ist. Innerhalb eines gewünschten Abstands d über der Spur 404 befindet sich ein Stützarm 405, der eine Röhrenkonstruktion aufweist, wie sei ähnlich ist zu jener, die in Verkehrsampeln verwendet wird. Auf dem Arm 405 sind ein IR-Erfassungssystem 407 mit einem Sendeelement 408 zur Kommunikation mit einer entfernten Einrichtung, und ein IR-Beleuchtungssystem 409 angebracht. Das System 409 und das System 407 sollen Ausführungsformen der Systeme aus den 2 bzw. 3 darstellen. Die Erfassungseinrichtung 407 umfasst ggf. eine Kamera, die mit einer Telephotolinse, einem Bandpassfilter und einer Polarisierlinse ausgestattet ist, um eine Blendwirkung zu verringern. Beim Betrieb bei Tageslicht kann die Beleuchtung durch die Sonne ausreichend sein. Die IR-Beleuchtungseinrichtung 409 sendet IR-Strahlung mit einer oder mehreren Wellenlängen aus, die von dem Zielfahrzeug und dessen Inhalt auf dem Detektor 207 zurückreflektiert wird. Das IR-Erfassungssystem 407 überträgt das IR-Bild und/oder Intensitätswerte, die mit jedem Pixel in dem IR-Bild verknüpft sind, an eine Rechnereinrichtung für die weitere Verarbeitung in einer Weise, wie dies nachfolgend beschrieben ist.
Es wird nun Bezug genommen auf das Flussdiagramm aus 5, die eine anschauliche Ausführungsform des vorliegenden Verfahrens beschreibt, um die Anzahl an Insassen in einem Fahrzeug in einem Transportverwaltungssystem zu bestimmen. Der Ablauf beginnt bei 500 und geht unmittelbar zum Schritt 502 weiter. Es sollte beachtet werden, dass, obwohl eine einzelne anschauliche Ausführungsform hierin im Zusammenhang mit einem Transportverwaltungssystem erläutert ist, die hierin offenbarte Lehre beabsichtigt, dass eine Anwendung in einem breiten Gebiet an Systemen möglich ist, wobei die Anzahl der Personen in einem IR-Bild zu ermitteln ist, das unter Anwendung eines IR-Bilderzeugungssystems erzeugt wird. Derartige Ausführungsformen sollen alle innerhalb des Schutzbereichs der angefügten Patentansprüche liegen.
Im Schritt 502 wird die Gesamtheit aus N Intensitätswerten für jedes Pixel in einem IR-Bild eines Motorfahrzeugs ermittelt, wobei das Bild für eine Bestimmung der menschlichen Insassen verarbeitet werden soll. Das zu verarbeitende Fahrzeug fährt mit einer gegebenen Geschwindigkeit entlang einer HOV-Spur, die von der IR-Beleuchtungseinrichtung ausgeleuchtet ist. Die Intensitätswerte für jedes Pixel werden aus dem reflektierten IR-Licht unter Anwendung des Bilderzeugungssystems aus den 2 bis 4 gewonnen. Das IR-Bild und/oder die Intensitätswerte für jedes Pixel werden einer Computerplattform oder einem Computersystem für spezielle Zwecke zugeleitet, so dass eine weitere Verarbeitung gemäß den diversen Ausführungsformen durchgeführt wird. Im Folgenden sei angenommen, dass die IR-Abschwächung in der Luft und die Integrationszeit für alle Bänder gleich sind. Wenn dies nicht der Fall ist, sollten diese Faktoren entsprechend berücksichtigt werden.
Wenn die IR-Erfassungseinrichtung eine einzelne IR-Erfassungseinrichtung ist und wenn die IR-Beleuchtungseinrichtung eine sequenziell ausleuchtende N-Band-Beleuchtungseinrichtung (N ≥ 3) mit einem einzelnen fixierten Filter ist, dann ergibt sich der Intensitätswert: $I_{c} (i) - α \int_{λ_{1}}^{λ_{2}} I_{s}^{i} (λ) [T_{G}^{2} (λ) R_{0} (λ) + η R_{G} (λ)] T_{L} (λ) D (λ) d λ + I_{b},$
wobei i = 1 ... N ist, so dass i das i-te Band aus der Beleuchtungseinrichtung ist, das sequenziell ausgeleuchtet ist, α eine Konstante ist, die von einem Winkel mit dem Abstand von der Beleuchtungsquelle, einer Abschwächung einer IR-Welle in Luft und einer Integrationszeit der Detektoreinrichtung abhängig ist, I_b eine Intensität einer Hintergrundlichtquelle ist, etwa von der IR-Komponente des Sonnenlichts, R₀(λ) die Reflektivität eines Objekts innerhalb des Fahrzeugs ist, R_G(λ) und T_G(λ) die Reflektivität bzw. Durchlässigkeit von Glas sind, die Konstante η ein Maß des Anteils an Licht von der Beleuchtungseinrichtung, das von dem Fahrzeugglas reflektiert und von dem Detektor erfasst wird, ist, T_L(λ) eine Durchlässigkeit des fixierten Filters ist und D(λ) eine Antworteigenschaft der Erfassungseinrichtung bzw. des Detektors ist.
Wenn die IR-Erfassungseinrichtung N Erfassungeinrichtungen darstellt mit N Bandpassfiltern (N ≥ 3) und die IR-Beleuchtungseinrichtung eine einzelne Beleuchtungseinrichtung aufweist, die einen Wellenlängenbereich des Filters abdeckt, ergibt sich der Intensitätswert: $I_{c} (i) = α \int_{λ_{1}}^{λ_{2}} I_{s} (λ) [T_{G}^{2} (λ) R_{0} (λ) + η R_{G} (λ)] T_{L}^{i} (λ) D (λ) d λ + I_{b},$
wobei i =1 ... N derart ist, dass i der i-te IR-Bandpassfilter ist, α eine Konstante ist, die von einem Winkel und dem Abstand von der Beleuchtungsquelle, einer Abschwächung einer IR-Welle in Luft und einer Integrationszeit der Erfassungseinrichtung abhängt, I_b eine Hintergrundintensität ist, R₀(λ) eine Reflektivität eines Objekts innerhalb des Fahrzeugs ist, R_G(λ) und T_G(λ) Reflektivität und Durchlässigkeit von Glas sind, die Konstante η ein Maß des Anteils von Licht aus der Beleuchtungseinrichtung, die von dem Fahrzeugglas reflektiert und von dem Detektor erfasst wird, ist, Tⁱ _L(λ) eine Durchlässigkeit des i-ten Filters ist und D(λ) eine Antworteigenschaft der Erfassungseinrichtung ist.
Ferner kann jeder der Pixelintensitätswerte kombiniert werden, um einen oder mehrere neue Intensitätswerte für dieses Pixel zu erzeugen, und es kann eine diesbezügliche Verarbeitung durchgeführt werden.
Im Schritt 504 wird ein erstes Pixel des IR-Bildes für die Bearbeitung abgerufen. Das erste Pixel kann automatisch von einem Prozessor ausgewählt werden oder kann von einem Anwender gekennzeichnet werden, wobei eine graphische Anwenderschnittstelle verwendet wird, etwa beispielsweise eine Tastatur, eine Maus, ein Monitor, die mit einem Arbeitsplatzrechner verbunden sind, auf dem diverse Aspekte des vorliegenden Verfahrens ausgeführt werden sollen. Der Anwender kann ein erstes Gebiet des empfangenen IR-Bildes auswählen und kann einige oder alle Pixel innerhalb des ausgewählten Bereichs des Bildes auswählen, die vor anderen Bereichen des IR-Bildes zu verarbeiten sind. Ein oder mehrere IR-Bilder des bewegten Fahrzeuges können zur Verarbeitung dazu genommen werden.
Im Schritt 506 wird ein Verhältnis der Pixelintensitätswerte bestimmt und es wird davon ein Schwellwert gebildet. Im Schritt 508 wird das Pixel auf der Grundlage des Schwellwertes klassifiziert bzw. eingestuft. In einer Ausführungsform ist das Verhältnis an Intensitätswerten gegeben durch: $[I_{c} (i) - I_{c} (k)] / [I_{c} (j) - I_{c} (k)],$
wobei i und j beliebige Indizes der N-Band-Indizes des IR-Bilderzeugungssystems sind, mit Ausnahme des Indexes, der mit dem Band k verknüpft ist. Wenn die Beleuchtungseinrichtung das Objekt beleuchtet und die Erfassungseinrichtung das Bild erfasst hat, besitzt jedes Pixel N Intensitätswerte für eine N-Band-Beleuchtungseinrichtung. Wenn beispielsweise N Intensitäten verwendet werden, kann man ein Band als Referenz nehmen (beispielsweise das erste Band) und man kann das folgende Verhältnis bilden: $\frac{I_{c} (i) - I_{c} (1)}{I_{c} (j) - I_{c} (1)} = \frac{A_{i} - A_{1} + η (B_{i} - B_{1})}{A_{j} - A_{1} + η (B_{j} - B_{1})}$
wobei i, j = 2, ... N und wobei: $A_{i} = \int_{λ_{1}}^{λ_{2}} I_{s}^{i} (λ) T_{G}^{2} (λ) R_{0} (λ) T_{L} (λ) D (λ) d λ$
$B_{i} = \int_{λ_{1}}^{λ_{2}} I_{s}^{i} (λ) R_{G} (λ) T_{L} (λ) D (λ) d λ$
Hierbei hängt das Verhältnis in Gleichung (4) von der Konstante η ab. Für die meisten Situationen ist η klein (oder Null). Durch Fenster mit Schmutz, Nebel oder Regen kann η jedoch signifikant sein. Es sollte beachtet werden, dass die Verwendung der Gleichung (4) in einem realen Produkt kein Modell erfordert, da die Größe auf der linken Seite lediglich die gemessene Intensität aus der erfassenden Kamera benötigt. In einer Entwicklungs- und Testphase kann man jedoch ein Modell verwenden, um die Größen auf der rechten Seite der Gleichung (4) zu berechnen, um damit auszuwählen, welche Gruppe aus Verhältnissen verwendet werden soll, und wie der Schwellwert für die Klassifizierung festgelegt werden soll.
Im Schritt 510 wird bestimmt, ob weitere Pixel vorhanden sind, die es zu verarbeiten gilt. Wenn dies der Fall ist, dann wird die Verarbeitung mit Bezug zum Schritt 504 wiederholt, wobei ein nächstes Pixel abgerufen, ausgewählt oder anderweitig für die Verarbeitung gekennzeichnet wird. Die Verarbeitung wiederholt sich, bis alle gewünschten Pixel in dem IR-Bild verarbeitet sind.
Im Schritt 512 wird eine Gesamtanzahl an menschlichen Insassen in dem Zielmotorfahrzeug auf der Grundlage der diversen Pixelklassifizierungen sodann bestimmt. Sobald Pixel in dem Bild eine Person von umgebenden nicht-menschlichen Objekten unterschieden werden können, können neuronale Netzwerke oder eine Fuzzy-Logik eingesetzt werden, um die Bestimmung der Anzahl an Insassen in dem Fahrzeug zu ermöglichen. In einer Ausführungsform wird dies erreicht, indem erkannte Personen in jedem des einen oder der mehreren IR-Bilder, die von dem Bilderzeugungssystems des Zielfahrzeugs genommen werden, räumlich isoliert werden und indem die Anzahl an Personen in dem Fahrzeug gezählt wird. Wenn drei IR-Kameras eingesetzt werden, beispielsweise eine, die der Vorderseite des bewegten Fahrzeugs zugewandt ist, um ein Bild der Insassen im vorderen Fahrgastraum aufzunehmen, und jeweils eine, die der jeweiligen Seite des Fahrzeugs zugewandt ist, um ein Bild der Fahrgastseite und der Fahrerseite aufzunehmen, kann jedes der Bilder analysiert werden, um zu bestimmen, ob ein menschlicher Insasse vorhanden ist oder nicht. Wenn während des Betriebs die Anzahl an menschlichen Insassen des Motorzielfahrzeugs eine vorbestimmte Anzahl während einer Tageszeit übersteigt, in der ein Fahren auf der HOV-Spur beschränkt ist, kann das Nummernschild des Fahrzeuges automatisch unter Anwendung einer Fahrzeugkennzeichenidentifizierungstechnologie, die im Stand der Technik bekannt ist, bestimmt werden, und es kann ein Signal an eine Verkehrsüberwachungsautorität gesendet werden, wobei angedeutet wird, dass ein Fahrzeug mit diesem erkannten Kennzeichen die HOV-Spur verwendet, ohne dass dieses Fahrzeug die erforderliche Anzahl an Insassen aufweist.
Es sollte beachtet werden, dass die Flussdiagramme hierin nur anschaulicher Natur sind. Es können ein oder mehrere Funktionsschritte, die in einem der Flussdiagramme gezeigt sind, in einer anderen Reihenfolge ausgeführt werden. Beispielsweise können auch andere Aktivitäten hinzugefügt, modifiziert, verbessert, verkürzt, integriert oder konsolidiert werden im Hinblick auf die zuvor genannten Schritte. Derartige Variationen sollen innerhalb des Schutzbereichs der angefügten Patentansprüche liegen. Die gesamten Diagramme oder Teile der Flussdiagramme können teilweise oder vollständig in Hardware in Verbindung mit maschinenausführbaren Befehlen eingerichtet werden.
Ergebnisse für das Leistungsvermögen
Für unsere Studie verwendeten wir ein 4-Band-Beleuchtungssystem. Die LED's, die verwendet werden, besaßen beim jeweiligen Intensitätsmaximum eine Wellenlänge von 940 nm, 1070 nm, 1200 nm und 1550 nm. Die Leistungspektren für die LED's sind in den 6 bis 12 gezeigt. LED's im nahen Infrarotbereich (NIR) sind bereits auf dem Markt verfügbar. Diese LED's sind aus diversen Halbleitermaterialien hergestellt, etwa GaAs oder InGaAsP und besitzen eine Wellenlänge im Maximum, die nahe beim sichtbaren (> 730 nm) beginnt bis hinauf zu einer kurzen Infrarotwellenlänge (> 2000 nm). 6 bis 12 zeigen das Spektrum mehrerer Infrarot-LED's, die aus InGaAsP hergestellt sind mit Wellenlängen im Maximum der Intensität im Bereich von 810 nm bis 1600 nm. Diese LED's besitzen eine hohe Strahlungsleistung zwischen einigen mW bis ungefähr 35 mW, wenn LEDs mit hoher Leistung betrachtet werden. Man kann mehrere LED mit der gleichen Wellenlänge beim Intensitätsmaximum in eine Gruppe oder eine Ansammlung zusammenfügen. In dieser Studie wird angenommen, dass jede LED-Beleuchtungseinrichtung in gleicher Weise mit Leistung versorgt wird (wenn nicht, dann müssen die Verhältnisse in den folgenden Tabellen entsprechend eingestellt werden). Die Reflektivität diverser Materialien, wozu die menschliche Haut gehört, und die Durchlässigkeit des Fensters sind aus vielen öffentlichen Literaturstellen verfügbar. Die IR-Erfassungskamera ist kommerziell erhältlich und nimmt Bilder von 900 nm bis 1700 nm auf.
Wir betrachteten zuerst den Fall für η = 0. Die Ergebnisse für diverse Verhältnisse in Gleichung (4) sind in den Tabellen der 13 gezeigt. In 13 gilt:

l(1-2) = l_c (1) - l_c (2), etc. Für ein sauberes Fenster ist das Verhältnis l(3-2)/l(4-2) für menschliche Haut negativ und für Baumwolle, Wolle und Polyamid positiv. Wenn somit der Schwellwert für dieses Verhältnis auf Null gesetzt wird, können Pixel von Bildern von Personen in geeigneter Weise klassifiziert werden. Da das Verhältnis lediglich die Bänder mit 1070 nm, 1200 nm und 1550 nm beinhaltet, werden lediglich drei Beleuchtungs-LED's für die Hautseparation benötigt. Für ein schmutziges Fenster ist das Verhältnis für helle Haut positiv, obwohl das Verhältnis dennoch nahe bei Null liegt. Um dies zu korrigieren, kann man eine weitere Größe R12 betrachten, die durch das Verhältnis definiert ist: $| \frac{I_{c} (1) - I_{c} (2)}{I_{c} (3) - I_{c} (2)} - \frac{I_{c} (1) - I_{c} (2)}{I_{c} (4) - I_{c} (2)} |$

Diese Größe ist relative groß für Haut, ist aber für die anderen drei Materialien klein.
Um die Wirkung von η zu bewerten, sei zunächst die Bedingung untersucht, die jedes Kamerasystem erfordert, d. h. $T_{G}^{2} (λ) R_{0} (λ) >>η R_{G} (λ)$
Für sauberes Glas liegt T_G(λ) im Bereich zwischen 0,5 bis 0,8, während für verschmutztes Glas dieser Wert bis zu 0,2 absinken kann. Es wird erwartet, dass das System nicht effizient arbeitet, wenn η ≈ 0,05 für verschmutztes Glas ist.
14 zeigt Ergebnisse für diverse Verhältnisse in der Gleichung (4) für η = 0,05. Man erkennt, dass das einfache Verwenden des Verhältnisses l(3-2)/l(4-2) und das Festlegen des Schwellwertes auf Null für verschmutztes Glas und für getöntes Glas nicht geeignet ist, wenn eine Person dunkle Haut besitzt. Die Größe R12 erscheint dennoch weiterhin sehr robust, wenn der Schwellwert auf 0,3 festgelegt wird, obwohl dies dazu führt, dass dunkle Haut innerhalb des verschmutzten Fensters fälschlich als Gewebematerial interpretiert wird.
Es sei nun auf die 15 verwiesen, die eine Blockansicht eines anschaulichen Verarbeitungssystems zeigt, das in der Lage ist, diverse Aspekte des vorliegenden Verfahrens zu implementieren, das mit Bezug zu dem Flussdiagramm aus 5 gezeigt und beschrieben ist.
Ein Arbeitsplatzrechner 1504 ist mit einem IR-Bildempfänger 1502 in Verbindung, um Pixelintensitätswerte von einer Antenne 408 der IR-Erfassungseinrichtung 407 aus 4 zu empfangen und um eine bidirektionale Kommunikation zwischen dem Computer 1504 und der Erfassungseinrichtung 408 einzurichten. Der Computer 1504 besitzt einen Monitor 1503 und eine Anwenderschnittstelle 1505, um eine Anzeige einer Information für einen Anwender zu ermöglichen und um die Eingabe oder Auswahl eines Anwenders zu bewerkstelligen. Der Computer 1504 ist auch mit einem Netzwerk 1501 über eine Netzwerkkommunikationsschnittstelle (nicht gezeigt) in Verbindung. Diverse Bereiche des aufgenommenen IR-Bildes und/oder der Pixelintensitätswerte können in einem Speicher oder einer Speichereinrichtung, die innerhalb des Arbeitsplatzrechners 1504 vorgesehen ist, gespeichert werden und können auf eine entfernte Einrichtung über das Netzwerk 1501 zur Speicherung oder zur Bearbeitung übertragen werden. Ein Anwender kann die graphische Anwenderschnittstelle, beispielsweise Tastatur und Monitor, verwenden, um Pixel und/oder Bereiche des IR-Bildes für die Verarbeitung anzugeben oder anderweitig auszuwählen, oder um andere Anwendereingaben bereitzustellen, die für die Implementierung erforderlich sind. Pixel und/oder interessierende Gebiete, die in den empfangenen IR-Bilddaten angegeben oder anderweitig erfasst werden, können von einem entfernten Gerät abgerufen werden, etwa einem Bildverarbeitungssystem, wobei das über das Netzwerk 1501 bewerkstelligt werden kann. Der Arbeitsplatzrechner 1504 und der Empfänger 1502 sind mit einem Bildprozessor 1506 in Verbindung.
Der Bildprozessor 1506 ist so dargestellt, dass dieser einen Puffer 1507 aufweist, um Information zu speichern, die mit dem empfangenen IR-Bild in Beziehung steht, beispielsweise interessierende Gebiete innerhalb des Bildes, und dergleichen, die für die Pixelverarbeitung ausgewählt oder anderweitig angegeben sind. Der Puffer 1507 kann ferner abgerufene Daten und mathematische Formeln und Darstellungen speichern, um die Seiten und Gruppen aus Seiten in der zuvor beschriebenen Weise zu verarbeiten. Ein Intensitätsberechner 1508 empfängt von dem Rechner 1504 Daten und Information über die Variablen, die zum Ausführen der Berechnungen erforderlich sind, die im Hinblick auf die Gleichungen (1) und (2) notwendig sind. Ein Pixelerkennungsmodul 1504 erkennt bzw. ermittelt das aktuelle Pixel, das zu verarbeiten ist, wie dies zuvor mit Bezug zum Schritt 504 erläutert ist. Das Modul 1509 ist mit dem Monitor 1503 in Verbindung, um darauf eine Anzeige für den Anwender bereitzustellen, um auszuwählen, welches Pixel in dem dargestellten IR-Bild als nächstes verarbeitet werden soll. Der Anwender kann einen Teil oder das gesamte dargestellte IR-Bild für das Verarbeiten auswählen. In anderen Ausführungsformen wird das Bild automatisch verarbeitet und es sollte beachtet werden, dass derartige Ausführungsformen ebenfalls im Schutzbereich der angefügten Patentansprüche liegen. Ein Verhältnismodul 1510 ist ein Prozessor mit Speicher, der mit dem Intensitätsmodul 1508 in Verbindung steht, um die Pixelintensitätswerte für das aktuelle Pixel zu ermitteln. Das Verhältnismodul 1510 erzeugt die Verhältnisse, wie dies zuvor mit Bezug zur Gleichung (3) beschrieben ist und speichert die Ergebnisse in der Speichereinrichtung 1511. Das Modul 1508 speichert/ruft ferner Werte ab in/von der Speichereinrichtung 1511, die für das Modul 1510 bestimmt sind. Ein Schwellwertmodul 1512 bestimmt einen Schwellwert und stellt diesen Wert einem Pixelklassifizierungsprozessor 1513 zur Verfügung, der die Klassifizierung des ermittelten Pixels gemäß den zuvor beschriebenen Verfahrensschritten ausführt. Die Klassifizierung dieses Pixels wird in der Speichereinrichtung 1511 gespeichert.
Es sollte beachtet werden, dass jedes der Module der Verarbeitungseinheiten der 15 mit der Speichereinrichtung 1511 über Verarbeitungswege oder Signalwege in Verbindung steht, die gezeigt sind oder auch nicht gezeigt sind, und es können Daten, Parameterwerte, Funktionen, Seiten, Aufzeichnungen, Daten und maschinenlesebare/ausführbare Programmbefehle, die zum Ausführen der beabsichtigten Funktionen erforderlich sind, gespeichert/abgerufen werden. Jedes dieser Module ist auch mit dem Rechner 1504 über Kanäle (nicht gezeigt) in Verbindung und kann auch ferner mit einer oder mehreren entfernten Einrichtungen über das Netzwerk 1501 in Verbindung stehen. Es sollte beachtet werden, dass ein Teil oder alle Funktionen jedes oder beliebiger Module insgesamt oder teilweise durch Komponenten ausgeführt werden können, die innerhalb des Rechners 1504 liegen, oder diese können durch ein Computersystem für spezielle Zwecke ausgeführt werden. Es sollte auch beachtet werden, dass diverse Module einer oder mehreren Komponenten zugeordnet sein können, die wiederum Software und/oder Hardware aufweisen können, die zum Ausführen der beabsichtigten Funktion ausgebildet sind. Mehrere Module können kollektiv eine einzelne Funktion ausführen. Jedes Modul kann einen spezialisierten Prozessor aufweisen, der in der Lage ist, maschinenenlesbare Befehle auszuführen. Ein Modul kann eine einzelne Hardwarekomponente, eine ASIC, eine elektronische Schaltung oder einen Prozessor für spezielle Zwecke aufweisen. Mehrere Module können durch ein einzelnes Computersystem für spezielle Zwecke oder durch mehrere Computersysteme für spezielle Zwecke, die parallel arbeiten, ausgeführt werden. Verbindungen zwischen Modulen enthalten sowohl physikalische als auch logische Verbindungen. Module können ferner ein oder mehrere Software/Hardwaremodule aufweisen, die ferner ein Betriebssystem, Treiberprogramme, Wertesteuerungen und andere Vorrichtungen aufweisen können, wovon einige oder alle über ein Netzwerk miteinander verbunden sind. Ferner ist zu beachten, dass ein oder mehrere Aspekte des vorliegenden Verfahrens auf einem speziellen Computersystem eingerichtet werden können und auch in verteilten Rechenumgebungen praktiziert werden können, in denen Aufgaben durch entfernte Geräte ausgeführt werden, die über ein Netzwerk verbunden sind.

Claims

Verfahren zum Bestimmen der Anzahl an lebenden Objekten in einem IR-Bild, das von einem IR-Bilderzeugungssystem erhalten wird, wobei das Verfahren umfasst: Sammeln einer Gesamtheit von N Intensitätswerten für jedes Pixel in einem IR-Bild, wobei die Intensitätswerte unter Anwendung eines IR-Bilderzeugungssystems erhalten werden, das eine IR-Erfassungseinrichtung und eine IR-Beleuchtungseinrichtung aufweist; wobei für jedes Pixel in dem IR-Bild gilt: Erzeugen eines Verhältnisses der gesammelten Intensitätswerte für das Pixel, das umfasst: $[I_{c} (i) - I_{c} (k)] / [I_{c} (j) - I_{c} (k)],$
wobei i, j, k beliebige N-Band-Indizes sind, die sich voneinander unterscheiden; Bilden eines Schwellwertes aus dem erzeugten Verhältnis; und Verwenden des Schwellwertes zum Klassifizieren des Pixels als ein Pixel von einem lebenden oder nicht lebenden Objekt; und Bestimmen einer Gesamtzahl an lebenden Objekten in dem IR-Bild auf der Grundlage der Pixelklassifizierungen.
Verfahren nach Anspruch 1, wobei die IR-Erfassungseinrichtung eine einzelne IR-Erfassungseinrichtung ist, und wobei die IR-Beleuchtungseinrichtung eine sequenziell ausleuchtende N-Band-Beleuchtungseinrichtung (N ≥ 3) mit einem einzelnen festgelegten Filter ist, wobei der Intensitätswert umfasst: $l_{c} (i) - α \int_{λ_{1}}^{λ_{2}} I_{s}^{i} (λ) [T_{G}^{2} (λ) R_{0} (λ) + η R_{G} (λ)] T_{L} (λ) D (λ) d λ + I_{b}$
wobei i=1...N, derart, dass i das i-te IR-Band aus der Beleuchtungseinrichtung ist, die sequenziell ausleuchtet, α eine Konstante ist, die von einem Winkel und einem Abstand von der Beleuchtungsquelle, einer Abschwächung einer IR-Welle in Luft und einer Integrationszeit der Erfassungseinrichtung abhängt, I_b eine Intensität einer Hintergrundlichtquelle ist, etwa der IR-Komponente im Sonnenlicht, Iⁱ _s(λ) eine Intensität des i-ten Bandes der Beleuchtungseinrichtung ist, R0(λ) eine Reflektivität eines Objekts ist, das von der IR-Erfassungseinrichtung detektiert wird, R_G(λ) und T_G(λ) eine Reflektivität und eine Durchlässigkeit von Glas sind, ansonsten R_G(λ)=0 und T_G(λ)=1, die Konstante η ein Maß des Anteils an Licht von der Beleuchtungseinrichtung ist, das von Fahrzeugglas reflektiert und von dem Detektor erfasst wird, ansonsten η=0 ist, T_L(λ) eine Durchlässigkeit des fixierten Filters ist, und D(λ) eine Antworteigenschaft der Erfassungseinrichtung ist.
Verfahren nach Anspruch 1, wobei die IR-Erfassungseinrichtung N Erfassungseinrichtungen mit N Bandpassfiltern (N ≥ 3) darstellt, und wobei die IR-Beleuchtungseinrichtung eine einzelne Beleuchtungseinrichtung aufweist, die einen Wellenlängenbereich der Filter abdeckt, wobei der Intensitätswert umfasst: $I_{c} (i) = α \int_{λ_{1}}^{λ_{2}} I_{s} (λ) [T_{G}^{2} (λ) R_{0} (λ) + η R_{G} (λ)] T_{L}^{i} (λ) D (λ) d λ + I_{b}$
wobei i=1 ... N, so dass i der i-te IR-Bandpassfilter ist, α eine Konstante ist, die von einem Winkel und einem Abstand von der Beleuchtungsquelle, einer Abschwächung einer IR-Welle in Luft und einer Integrationszeit der Erfassungseinrichtung abhängt, I_b eine Hintergrundintensität ist, I_S(λ) eine Intensität der Beleuchtungseinrichtung ist, R₀(λ) eine Reflektivität eines von der IR-Erfassungseinrichtung detektierten Objekts ist, R_G(λ) und T_G(λ) eine Reflektivität und eine Durchlässigkeit von Glas sind, ansonsten R_G(λ)=0 und T_G=1(λ), die Konstante η ein Maß des Anteils von Licht aus der Beleuchtungseinrichtung ist, das von dem Fahrzeugglas reflektiert und von dem Detektor empfangen wird, ansonsten η gleich Null ist, Tⁱ _L(λ) eine Durchlässigkeit des i-ten Filters ist, und D(λ) ein Antwortverhalten der Erfassungseinrichtung ist.
Verfahren nach Anspruch 1, wobei Bestimmen der Gesamtzahl an lebenden Objekten in dem IR-Bild auf der Grundlage der klassifizierten Pixel umfasst: in Beziehung setzen eines Intensitätswertes, der jedem der Pixel zugeordnet ist, mit mindestens einem berechneten Intensitätswert unter Anwendung einer bekannten Reflektivität, die von einer Speichereinrichtung empfangen wird.
Verfahren nach Anspruch 1, das ferner umfasst: Kombinieren jedes beliebigen der Pixelintensitätswerte, um mindestens einen neuen Intensitätswert für das Pixel zu erzeugen; Erzeugen eines neuen Verhältnisses unter Anwendung der erzeugten neuen Pixelintensitätswerte; Bilden eines neuen Schwellwertes aus dem Verhältnis; und Verwenden des neuen Schwellwertes zur Klassifizierung des Pixels.
Systeme zum Bestimmen der Anzahl an lebenden Objekten in einem IR-Bild, das von einem IR-Bilderzeugungssystem erhalten wird, wobei das System umfasst: ein IR-Bilderzeugungssystem mit einer IR-Erfassungseinrichtung und einer IR-Beleuchtungseinrichtung; einen Speicher und ein Speichermedium; und einen Prozessor, der mit dem Speichermedium und dem Speicher in Verbindung steht und maschinenlesbare Befehle ausführt, um das Verfahren auszuführen: Sammeln einer Gesamtheit aus N Intensitätswerten für jedes Pixel in einem IR-Bild, wobei die Intensitätswerte unter Anwendung des IR-Bilderzeugungssystems ermittelt sind; wobei für jedes Pixel in dem IR-Bild gilt: Erzeugen eines Verhältnisses der gesammelten Intensitätswerte des Pixels, wobei das Verhältnis umfasst: $[I_{c} (i) - I_{c} (k)] / [I_{c} (j) - I_{c} (k)],$
wobei i, j, k beliebige N-Band- Indizes sind, die zueinander unterschiedlich sind; Bilden eines Schwellwertes aus dem erzeugten Verhältnis; und Verwenden des Schwellwertes zur Klassifizierung des Pixels als ein Pixel, das von einem lebenden oder einem nicht-lebenden Objekt stammt; und Bestimmen einer Gesamtzahl an lebenden Objekten in dem IR-Bild auf der Grundlage der Pixelklassifizierungen.
System nach Anspruch 6, wobei die IR-Erfassungseinrichtung eine einzelne IR-Erfassungseinrichtung ist und wobei die IR-Beleuchtungseinrichtung eine sequenziell beleuchtende N-Band-Beleuchtungseinrichtung (N > 3) mit einem einzelnen fixierten Filter ist, wobei der Intensitätswert umfasst: $I_{c} (i) - α \int_{λ_{1}}^{λ_{2}} I_{s}^{i} (λ) [T_{G}^{2} (λ) R_{0} (λ) + η R_{G} (λ)] T_{L} (λ) D (λ) d λ + I_{b},$
wobei i=1...N derart, dass i das i-te IR-Band aus der Beleuchtungseinrichtung ist, das sequenziell ausleuchtet, α eine Konstante ist, die von einem Winkel und Abstand von der Beleuchtungsquelle, einer Abschwächung einer IR-Welle in Luft und einer Integrationszeit der Erfassungseinrichtung abhängt, I_b eine Intensität von Hintergrundlicht ist, etwa die IR-Komponente von Sonnenlicht, Iⁱ _s(λ) eine Intensität des i-ten Bandes der Beleuchtungseinrichtung ist, R₀(λ) eine Reflektivität eines Objekts ist, das von der IR-Erfassungseinrichtung detektiert wird, R_G(λ) und T_G(λ) eine Reflektivität und eine Durchlässigkeit von Glas sind, ansonsten R_G(λ)=0 und T_G(λ)=1, die Konstante η ein Maß des Anteils an Licht aus der Beleuchtungseinrichtung ist, das von dem Fahrzeug reflektiert und von dem Detektor empfangen wird, ansonsten η=0, T_L(λ) eine Durchlässigkeit des fixierten Filters ist und D(λ) ein Antwortverhalten der Erfassungseinrichtung ist.
System nach Anspruch 7, wobei die IR-Erfassungseinrichtung N Erfassungseinrichtungen mit N Bandpassfiltern (N≥3) darstellt und wobei die IR-Beleuchtungseinrichtung eine einzelne Beleuchtungseinrichtung aufweist, die einen Wellenlängenbereich der Filter abdeckt, wobei der Intensitätswert umfasst: $I_{c} (i) = α \int_{λ_{1}}^{λ_{2}} I_{s} (λ) [T_{G}^{2} (λ) R_{0} (λ) + η R_{G} (λ)] T_{L}^{i} (λ) D (λ) d λ + I_{b},$
wobei i=1...N, so dass i der i-te IR-Bandpassfilter ist, α eine Konstante ist, die von einem Winkel und einem Abstand von der Beleuchtungsquelle, einer Abschwächung einer IR-Welle in Luft und einer Integrationszeit der Erfassungseinrichtung abhängt, I_b eine Hintergrundintensität ist, I_S(λ) eine Intensität der Beleuchtungseinrichtung ist, R₀(λ) eine Reflektivität eines von der IR-Erfassungseinrichtung detektierten Objekts ist, R_G(λ) und T_G(λ) eine Reflektivität und eine Durchlässigkeit von Glas sind, ansonsten R_G(λ)=0 und T_G(λ)=1, die Konstante η ein Maß des Anteils von Licht aus der Beleuchtungseinrichtung ist, der von Fahrzeugglas reflektiert und von dem Detektor erfasst wird, ansonsten η=0, Tⁱ _L(λ) eine Durchlässigkeit des i-ten Filters ist und D(λ) ein Antwortverhalten der Erfassungseinrichtung ist.
System nach Anspruch 6, wobei Bestimmen der Gesamtzahl an lebenden Objekten in dem IR-Bild auf der Grundlage der klassifizierten Pixel umfasst: in Beziehung setzen eines Intensitätswertes, der jedem der Pixel zugeordnet ist, mit mindestens einem berechneten Intensitätswert unter Anwendung einer bekannten Reflektivität, die aus einer Speichereinrichtung erhalten wird.
System nach Anspruch 6, das ferner umfasst: Kombinieren jedes der Pixelintensitätswerte zur Erzeugung mindestens eines neuen Intensitätswertes für das Pixel; Erzeugen eines neuen Verhältnisses unter Anwendung der erzeugten neuen Pixelintensitätswerte; Bilden eines neuen Schwellwertes aus dem Verhältnis; und Verwenden des neuen Schwellwertes zur Klassifizierung des Pixels.