DE102022104350A1

DE102022104350A1 - Beleuchtungssteuerung für fahrzeugsensoren

Info

Publication number: DE102022104350A1
Application number: DE102022104350.9A
Authority: DE
Inventors: Ryan Edwin Hanson; Ali Hassani
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-03-04
Filing date: 2022-02-23
Publication date: 2022-09-08
Also published as: US20220286594A1; CN115023010A; US11509833B2

Abstract

Ein System beinhaltet eine Beleuchtungsquelle, eine Kamera, die dazu angeordnet ist, Beleuchtung von der Beleuchtungsquelle zu erfassen, und einen Computer, der kommunikativ mit der Beleuchtungsquelle und der Kamera gekoppelt ist. Der Computer ist dazu programmiert, ein Objekt in Bilddaten von der Kamera zu erfassen, Orientierungspunkte des Objekts in den Bilddaten zu identifizieren, eine Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten zu bestimmen und eine Helligkeit der Beleuchtungsquelle auf Grundlage der Entfernung einzustellen.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Fahrzeugkameras.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge sind häufig mit Kameras ausgestattet. Die Kameras erfassen elektromagnetische Strahlung in einem gewissen Bereich von Wellenlängen. Die Wellenlängen können sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder ein gewisser Bereich von Wellenlängen sein, der sichtbares, infrarotes und/oder ultraviolettes Licht beinhaltet. Die Kameras beinhalten Bildsensoren, wie etwa ladungsgekoppelte Vorrichtungen (Charge-Coupled Devices - CCD), Aktivpixelsensoren, wie etwa komplementäre Metall-Oxid-Halbleiter-Sensoren (Complementary Metal-Oxide Semiconductor sensors) usw.
Für Situationen, in denen die Außenumgebung für die Kameras nicht ausreichend beleuchtet wird, sind Fahrzeuge mit Beleuchtungsquellen ausgestattet. Die Beleuchtungsquellen sind dazu angeordnet, Bereiche in den Sichtfeldern der Kameras zu beleuchten. Die Kameras erhalten dadurch Beleuchtung von den Beleuchtungsquellen, die von Merkmalen der Umgebung reflektiert wird.
KURZDARSTELLUNG
Das in dieser Schrift beschriebene System stellt eine gute Beleuchtung einer Umgebung für eine Kamera bereit, während die Beleuchtung innerhalb angemessener Niveaus für eine Person in der Umgebung gehalten wird. Die Beleuchtung kann von einer Beleuchtungsquelle mit einer einstellbaren Helligkeit stammen. Eine stärkere Beleuchtung einer Umgebung durch die Beleuchtungsquelle ermöglicht, dass mehr Informationen aus Bilddaten der Umgebung ermittelt werden können, die durch die Kamera erzeugt werden. Gleichzeitig sollte die Beleuchtungsquelle auf einem für Personen in der Umgebung angemessenen Niveau gehalten werden. Dies kann besonders für die Beleuchtung außerhalb des sichtbaren Spektrums wichtig sein, da in diesem Bereich unter Umständen die physiologischen Schutzreaktionen einer Person, wie etwa eine Verengung der Pupillen, nicht erfolgen. Das in dieser Schrift beschriebene System bestimmt eine Entfernung zu der Person und stellt die Helligkeit der Beleuchtungsquelle auf Grundlage der Entfernung ein. Die Helligkeit kann somit für die Entfernung der Person maximiert werden, anstatt die Helligkeit auf einem konstanten, niedrigen Niveau zu halten, das selbst bei kurzen Entfernungen angemessen ist (z. B. aufgrund der vorstehend erwähnten Bedenken hinsichtlich der Fähigkeit einer Person, auf Licht außerhalb des sichtbaren Spektrums zu reagieren oder sich darauf einzustellen). Darüber hinaus kann die Helligkeit in Echtzeit eingestellt werden, z. B. durch Verringern der Helligkeit, wenn sich die Person der Kamera nähert. Außerdem wird die Entfernung auf Grundlage von Bilddaten von der Kamera der Person bestimmt, was bedeutet, dass außer der Kamera und der Beleuchtungsquelle keine Komponenten benötigt werden. Die Kosten und die Komplexität des Systems werden somit niedrig gehalten. Das System wird nachstehend in Bezug auf einen Kraftfahrzeugkontext beschrieben. Das System ist auch in anderen Kontexten sinnvoll, wie etwa bei Sicherheits- und Beobachtungssystemen, Türklingelkamerasystemen, Überwachungssystemen usw.
Ein System beinhaltet eine Beleuchtungsquelle, eine Kamera, die dazu angeordnet ist, Beleuchtung von der Beleuchtungsquelle zu erfassen, und einen Computer, der kommunikativ mit der Beleuchtungsquelle und der Kamera gekoppelt ist. Der Computer ist dazu programmiert, ein Objekt in Bilddaten von der Kamera zu erfassen, Orientierungspunkte des Objekts in den Bilddaten zu identifizieren, eine Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten zu bestimmen und eine Helligkeit der Beleuchtungsquelle auf Grundlage der Entfernung einzustellen.
Die Beleuchtungsquelle kann dazu konfiguriert sein, Beleuchtung außerhalb eines sichtbaren Bereichs zu erzeugen. Die Beleuchtungsquelle kann dazu konfiguriert sein, Infrarotbeleuchtung zu erzeugen.
Der Computer beinhaltet einen Prozessor und einen Speicher, auf dem durch den Prozessor ausführbare Anweisungen gespeichert sind, um ein Objekt in Bilddaten von einer Kamera zu erfassen, Orientierungspunkte des Objekts in den Bilddaten zu identifizieren, eine Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten zu bestimmen und eine Helligkeit einer Beleuchtungsquelle auf Grundlage der Entfernung einzustellen. Die Beleuchtungsquelle ist dazu angeordnet, Beleuchtung zu erzeugen, die durch die Kamera erfasst werden kann.
Das Objekt kann ein menschliches Gesicht sein. Die Anweisungen können ferner Anweisungen beinhalten, um nach dem Einstellen der Helligkeit der Beleuchtungsquelle und dem Empfangen neuer Bilddaten eine Gesichtserkennung an den neuen Bilddaten des Gesichts durchzuführen. Die Anweisungen können ferner Anweisungen beinhalten, um eine Fahrzeugkomponente zu betätigen, wenn die Gesichtserkennung das Gesicht als erkanntes Gesicht erkennt.
Die Anweisungen können ferner Anweisungen beinhalten, um zu bestimmen, ob ein Merkmal des Gesichts dreidimensional ist. Die Beleuchtungsquelle kann eine erste Beleuchtungsquelle sein und die Anweisungen können ferner Anweisungen beinhalten, um eine zweite Beleuchtungsquelle zu beleuchten, während die neuen Bilddaten empfangen werden.
Das Einstellen der Helligkeit der Beleuchtungsquelle kann das Einstellen der Helligkeit auf ein Helligkeitsniveau beinhalten, und das Helligkeitsniveau kann eine ansteigende Beziehung zu der Entfernung aufweisen.
Das Bestimmen der Entfernung von der Kamera zu dem Objekt kann das Multiplizieren der Pixelentfernung mit einem vorgespeicherten Verhältnis von Entfernung zu Pixelentfernung beinhalten. Das vorgespeicherte Verhältnis von Entfernung zu Pixel entfernung kann auf mindestens einer Größe des 90. Perzentils einer statistischen Verteilung von Objekten des gleichen Typs wie das Objekt basieren.
Die Anweisungen können ferner Anweisungen beinhalten, um zu bestimmen, ob das Objekt ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren. Die Anweisungen können ferner Anweisungen beinhalten, um die Helligkeit der Beleuchtungsquelle zu erhöhen, wenn bestimmt wird, dass das Objekt nicht ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren. Die Anweisungen können ferner Anweisungen beinhalten, um die Helligkeit der Beleuchtungsquelle innerhalb einer vorgespeicherten Dauer nach dem Erhöhen der Helligkeit zu verringern. Die vorgespeicherte Dauer kann höchstens eine Dauer sein, in der die Kamera fünf Einzelbilder aufnehmen kann.
Das Erhöhen der Helligkeit kann das Erhöhen der Helligkeit auf ein vorgespeichertes Helligkeitsniveau beinhalten, und die Anweisungen können ferner Anweisungen beinhalten, um zu verhindern, dass die Helligkeit der Beleuchtungsquelle länger als die vorgespeicherte Dauer auf das vorgespeicherte Helligkeitsniveau eingestellt wird.
Das Erhöhen der Helligkeit kann das Erhöhen der Helligkeit mit einer vorgespeicherten Rate beinhalten, während zusätzliche Bilddaten empfangen werden. Die Anweisungen können ferner Anweisungen beinhalten, um die Helligkeit auf einem aktuellen Beleuchtungsniveau zu halten, wenn bestimmt wird, dass das Objekt ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren.
Ein Verfahren beinhaltet das Erfassen eines Objekts in Bilddaten von einer Kamera, das Identifizieren von Orientierungspunkten des Objekts in den Bilddaten, das Bestimmen einer Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten und das Einstellen einer Helligkeit einer Beleuchtungsquelle auf Grundlage der Entfernung. Die Beleuchtungsquelle ist dazu angeordnet, Beleuchtung zu erzeugen, die durch die Kamera erfasst werden kann.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs.
2 ist eine Draufsicht auf das beispielhafte Fahrzeug, bei der ein Fahrgastraum zur Veranschaulichung freigelegt ist.
3 ist ein beispielhaftes Einzelbild aus Bilddaten von einer Kamera des Fahrzeugs.
4 ist ein Prozessflussdiagramm eines beispielhaften Prozesses zum Steuern der Beleuchtungsquellen des Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die Figuren beinhaltet ein System 102 eines Fahrzeugs 100 mindestens eine Beleuchtungsquelle 104, mindestens eine Kamera 106, die dazu angeordnet ist, Beleuchtung von einer oder mehreren der mindestens einen Beleuchtungsquelle 104 zu erfassen, und einen Computer 108, der kommunikativ mit der mindestens einen Beleuchtungsquelle 104 und der mindestens einen Kamera 106 gekoppelt ist. Der Computer 108 ist dazu programmiert, ein Objekt 110 in Bilddaten 112 von der mindestens einen Kamera 106 zu erfassen, Orientierungspunkte 114 des Objekts 110 in den Bilddaten 112 zu identifizieren, eine Entfernung D von der mindestens einen Kamera 106 zu dem Objekt 110 auf Grundlage einer Pixelentfernung d zwischen den Orientierungspunkten 114 in den Bilddaten 112 zu bestimmen und eine Helligkeit der mindestens einen Beleuchtungsquelle 104 auf Grundlage der Entfernung D einzustellen.
Unter Bezugnahme auf 1 kann das Fahrzeug 100 ein beliebiger/s Personenkraftwagen oder Nutzfahrzeug sein, wie etwa ein Auto, ein Truck, ein Geländewagen, ein Crossover, ein Van, ein Minivan, ein Taxi, ein Bus usw.
Das Fahrzeug 100 kann ein autonomes Fahrzeug sein. Ein Fahrzeugcomputer kann dazu programmiert sein, das Fahrzeug 100 vollständig oder in geringerem Maße unabhängig von dem Eingreifen eines menschlichen Fahrzeugführers zu betreiben. Der Fahrzeugcomputer kann dazu programmiert sein, den Antrieb, das Bremssystem, das Lenksystem und/oder andere Fahrzeugsysteme basierend auf Daten von der mindestens einen Kamera 106 und anderen Sensoren zu betreiben. Für die Zwecke dieser Offenbarung ist unter einem autonomen Betrieb zu verstehen, dass der Fahrzeugcomputer den Antrieb, das Bremssystem und das Lenksystem ohne Eingabe von einem menschlichen Fahrzeugführer steuert; ist unter einem halbautonomen Betrieb zu verstehen, dass der Fahrzeugcomputer ein oder zwei von dem Antrieb, dem Bremssystem und dem Lenksystem steuert und ein menschlicher Fahrzeugführer den Rest steuert; und ist unter einem nicht autonomen Betrieb zu verstehen, dass ein menschlicher Fahrzeugführer den Antrieb, das Bremssystem und das Lenksystem steuert.
Bei dem Computer 108 handelt es sich um eine mikroprozessorbasierte Rechenvorrichtung, z. B. eine generische Rechenvorrichtung, die einen Prozessor und einen Speicher, eine elektronische Steuerung oder dergleichen, ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (Application-Specific Integrated Circuit - ASIC) usw. beinhaltet. Der Computer 108 kann somit einen Prozessor, einen Speicher usw. beinhalten. Der Speicher des Computers 108 kann Medien zum Speichern von Anweisungen, die durch den Prozessor ausgeführt werden können, sowie zum elektronischen Speichern von Daten und/oder Datenbanken beinhalten, und/oder der Computer 108 kann Strukturen wie etwa die Vorstehenden beinhalten, durch die Programmierung bereitgestellt wird. Der Computer 108 kann aus mehreren miteinander gekoppelten Computern bestehen. Der Computer 108 kann derselbe sein wie der Fahrzeugcomputer oder kann getrennt von dem Fahrzeugcomputer sein.
Der Computer 108 kann Daten über ein Kommunikationsnetzwerk 116 übertragen und empfangen, wie etwa einen Controller-Area-Network-Bus (CAN-Bus), Ethernet, WiFi, ein Local Interconnect Network (LIN), einen On-Board-Diagnoseanschluss (OBD-II) und/oder über ein beliebiges anderes drahtgebundenes oder drahtloses Kommunikationsnetzwerk. Der Computer 108 kann über das Kommunikationsnetzwerk 116 kommunikativ mit den Kameras 106, den Beleuchtungsquellen 104 und anderen Fahrzeugkomponenten 118 gekoppelt sein.
Die Kameras 106 erfassen elektromagnetische Strahlung in einem gewissen Bereich von Wellenlängen. Beispielsweise können die Kameras 106 sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder einen gewissen Bereich von Wellenlängen erfassen, die sichtbares, infrarotes, und/oder ultraviolettes Licht beinhalten. Zum Beispiel können die Kameras 106 Bildsensoren, wie etwa ladungsgekoppelte Vorrichtungen (CCD), Aktivpixelsensoren, wie etwa komplementäre Metall-Oxid-Halbleiter-Sensoren (CMOS-Sensoren) usw. beinhalten. Die Kameras 106 sind dazu konfiguriert, Beleuchtung von jeweiligen Beleuchtungsquellen 104 zu erfassen; d. h., dass der Bereich von Wellenlängen von elektromagnetischer Strahlung, der durch die Kamera 106 erfasst werden kann, den Bereich von Wellenlängen, der durch die jeweilige Beleuchtungsquelle 104 erzeugt wird, vollständig oder erheblich überlappt.
Die Beleuchtungsquellen 104 können Beleuchtung in einem gewissen Bereich von Wellenlängen erzeugen, insbesondere Beleuchtung, die durch die Kameras 106 erfasst werden kann. Zum Beispiel können die Beleuchtungsquellen 104 sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder einen gewissen Bereich von Wellenlängen erzeugen, der sichtbares, infrarotes und/oder ultraviolettes Licht umfasst. Die Beleuchtungsquellen 104 sind dazu konfiguriert, Beleuchtung in einem Bereich von Wellenlängen zu erzeugen, der vollständig oder erheblich von dem Bereich von Wellenlängen umfasst ist, der durch die Kameras 106 erfasst werden kann. Zum Beispiel können die Beleuchtungsquellen 104 Beleuchtung außerhalb eines sichtbaren Bereichs z. B. Infrarotbeleuchtung, z. B. Nahinfrarotbeleuchtung (700-1300 Nanometer (nm)) erzeugen und die Kameras 106 können diese erfassen. Bei den Beleuchtungsquellen 104 kann es sich um beliebige geeignete Arten zum Erzeugen der gewünschten Wellenlängen handeln, z. B. für sichtbares Licht Wolfram, Halogen, Hochdruckentladung (High-Intensity Discharge - HID), wie etwa Xenon, Leuchtdioden (LED) usw.; für Infrarotlicht LEDs, Laser, gefilterte Glühlampen usw.
Das Fahrzeug 100 beinhaltet die Fahrzeugkomponenten 118, die durch den Computer 108 als Reaktion auf Bilddaten 112 von den Kameras 106 betätigt werden können, wie nachstehend beschrieben. Beispiele für Fahrzeugkomponenten 118 beinhalten Türverriegelungen 120, Sitze 122, ein Klimatisierungssystem 124 usw., wie sie nachstehend ausführlich beschrieben sind. Andere Fahrzeugkomponenten 118 neben diesen Beispielen können durch den Computer 108 als Reaktion auf Bilddaten 112 von den Kameras 106 betätigt werden.
Unter Bezugnahme auf 2 beinhaltet das Fahrzeug 100 eine Karosserie 128. Das Fahrzeug 100 kann in einer selbsttragenden Bauweise hergestellt sein, bei der ein Rahmen und die Karosserie 128 des Fahrzeugs 100 eine einzelne Komponente sind. Das Fahrzeug 100 kann alternativ dazu eine Rahmenbauweise aufweisen, bei welcher der Rahmen die Karosserie 128 trägt, bei der es sich um eine vom Rahmen getrennte Komponente handelt. Der Rahmen und die Karosserie 128 können aus einem beliebigen geeigneten Material gebildet sein, zum Beispiel Stahl, Aluminium usw.
Die Türverriegelungen 120 können in Eingriff gebracht werden, um zu ermöglichen oder zu verhindern, dass Türen 126 des Fahrzeugs 100 geöffnet werden. Die Türverriegelungen 120 sind zwischen einer außer Eingriff gebrachten Position, in der die Türen 126 entriegelt sind, d. h. ermöglicht wird, dass sie geöffnet werden, wenn der Türgriff betätigt wird, und einer in Eingriff gebrachten Position, in der die Türen 126 verriegelt sind, d. h. verhindert wird, dass sie geöffnet werden, selbst wenn der Türgriff betätigt wird, bewegbar.
Das Fahrzeug 100 beinhaltet einen Fahrgastraum 130, um gegebenenfalls Insassen des Fahrzeugs 100 aufzunehmen. Der Fahrgastraum 130 beinhaltet einen oder mehrere der Sitze 122, die in einer vorderen Reihe des Fahrgastraums 130 angeordnet sind, und einen oder mehrere der Sitze 122, die in einer zweiten Reihe hinter der vorderen Reihe angeordnet sind. Der Fahrgastraum 130 kann zudem eine dritte Sitzreihe 122 (nicht gezeigt) in einem hinteren Teil des Fahrgastraums 130 beinhalten. In 2 sind die Sitze 122 der vorderen Reihe als Schalensitze gezeigt; die Sitze 122 können jedoch von anderer Art sein. Die Position und Ausrichtung der Sitze 122 und Komponenten davon können durch einen Insassen einstellbar sein.
Jeder Sitz 122 kann Aktoren zum Einstellen des Sitzes 122 in mehreren Freiheitsgraden beinhalten, z. B. einer Neigung des Sitzes 122, einer Höhe des Sitzes 122, eines Neigungswinkels des Sitzes 122 oder einer Lendenstützposition des Sitzes 122. Die Neigung des Sitzes 122 ist ein Winkel einer Sitzfläche 132 des Sitzes 122 relativ zu dem Fahrgastraum 130 um eine Querachse, d. h. ein Anstellwinkel der Sitzfläche 132. Die Höhe des Sitzes 122 ist eine vertikale Entfernung eines Referenzpunkts auf der Sitzfläche 132 relativ zu dem Fahrgastraum 130. Der Neigungswinkel des Sitzes 122 ist ein Winkel einer Rückenlehne 134 des Sitzes 122 relativ zu der Sitzfläche 132. Die Lendenstützposition ist eine Fahrzeugvorwärtsposition einer sich in der Rückenlehne 134 befindlichen Lendenstützstange (nicht gezeigt) relativ zu der Rückenlehne 134. Zusätzlich oder alternativ kann der Sitz 122 in anderen Freiheitsgraden einstellbar sein.
Das Klimatisierungssystem 124 stellt eine Heizung und/oder Kühlung des Fahrgastraums 130 des Fahrzeugs 100 bereit. Das Klimatisierungssystem 124 kann einen Kompressor, einen Kondensator, eine Trockenvorrichtung, ein thermisches Expansionsventil, einen Verdampfer, Gebläse, Lüfter, Lüftungskanäle, Lüftungsöffnungen, Lamellen, Temperatursensoren und andere Komponenten beinhalten, die dafür bekannt sind, Fahrzeuginnenräume zu heizen oder zu kühlen. Das Klimatisierungssystem 124 kann wie bekannt betrieben werden, um den Fahrgastraum 130 zu kühlen, indem ein Kältemittel durch einen Wärmekreislauf transportiert wird, um Wärme aus dem Fahrgastraum 130 aufzunehmen und die Wärme aus dem Fahrzeug 100 herauszutransportieren. Das Klimatisierungssystem 124 kann wie bekannt ein Heizelement beinhalten, der als Kühler für einen Motor des Fahrzeugs 100 fungiert, indem es eine gewisse Abwärme vom Motor in den Fahrgastraum 130 überträgt. Das Klimatisierungssystem 124 kann eine elektrisch angetriebene Heizung, wie etwa eine Widerstandsheizung, eine Heizung mit positivem Temperaturkoeffizienten, eine elektrisch angetriebene Wärmepumpe usw., beinhalten.
Die Kameras 106 sind in der Regel in Positionen angeordnet, um Personen in der Nähe des Fahrzeugs 100 zu erfassen, z. B. Insassen und/oder Fußgänger. Zum Beispiel können die Kameras 106 eine erste Kamera 106a mit einem Sichtfeld beinhalten, das einen Bereich vor dem Fahrzeug 100 umschließt. Die erste Kamera 106a kann an oder über einem Rückspiegel montiert und in eine Fahrzeugvorwärtsrichtung gerichtet sein. Als weiteres Beispiel können die Kameras 106 eine zweite Kamera 106b mit einem Sichtfeld beinhalten, das einen Fahrzeugführer des Fahrzeugs 100 umschließt. Die zweite Kamera 106b kann an einem Armaturenbrett montiert und in eine Fahrzeugrückwärtsrichtung gerichtet sein, wie in 3 gezeigt. Die zweite Kamera 106b kann dazu angeordnet sein, einen oder mehrere Insassen, z. B. nur den Fahrzeugführer oder alle Insassen usw., des Fahrgastraums 130 zu beinhalten. Als weiteres Beispiel können die Kameras 106 eine dritte Kamera 106c mit einem Sichtfeld beinhalten, das einen Bereich neben den Türen 126 des Fahrzeugs 100 umschließt. Die dritte Kamera 106c kann an einer B-Säule des Fahrzeugs 100 montiert und in eine Fahrzeugquerrichtung gerichtet sein. Eine Person, die sich der Tür 126 nähert, wird sich im Sichtfeld der dritten Kamera 106c befinden.
Die Beleuchtungsquellen 104 sind dazu angeordnet, Beleuchtung zu erzeugen, die durch die Kameras 106 erfasst werden kann, und gleichermaßen sind die Kameras 106 dazu angeordnet, Beleuchtung von den Beleuchtungsquellen 104 zu erfassen. Insbesondere sind die Beleuchtungsquellen 104 dazu angeordnet, Bereiche in den Sichtfeldern der Kameras 106 zu beleuchten, und die Kameras 106 sind derart angeordnet, dass die Sichtfelder der Kameras 106 durch die Beleuchtungsquellen 104 beleuchtete Bereiche umschließen. Die Kameras 106 erhalten dadurch Beleuchtung von den Beleuchtungsquellen 104, die von Merkmalen der Umgebung reflektiert wurden. Zum Beispiel können die Beleuchtungsquellen 104 jeweils an einer jeweiligen der Kameras 106 montiert und in die gleiche Richtung wie diese Kamera 106 gerichtet sein. Die jeweiligen Paarungen von Beleuchtungsquellen 104 und Kameras 106 können als eine einzelne Einheit verbaut sein. Die Beleuchtungsquellen 104 können eine erste Beleuchtungsquelle 104a, die an der ersten Kamera 106a montiert ist, eine zweite Beleuchtungsquelle 104b, die an der zweiten Kamera 106b montiert ist, eine dritte Beleuchtungsquelle 104c, die an der dritten Kamera 106c montiert ist, und so weiter beinhalten.
Unter Bezugnahme auf 3 erzeugen die Kameras 106 Bilddaten 112 der jeweiligen Sichtfelder der Kameras 106. Bei den Bilddaten 112 handelt es sich um eine Abfolge von Einzelbildern der Sichtfelder der entsprechenden Kameras 106. 3 zeigt ein beispielhaftes Einzelbild von dem Gesicht einer Person. Jedes Einzelbild ist eine zweidimensionale Pixelmatrix. Jedes Pixel weist eine Helligkeit oder Farbe auf, die als ein oder mehrere numerische Werte dargestellt wird, z. B. ein skalarer einheitsloser Wert der photometrischen Lichtintensität zwischen 0 (schwarz) und 1 (weiß) oder Werte für Rot, Grün und Blau, z. B. jeweils auf einer 8-bit-Skala (0 bis 255) oder einer 12- oder 16-bit-Skala. Die Pixel können eine Mischung von Darstellungen sein, z. B. ein sich wiederholendes Muster von skalaren Intensitätswerten für drei Pixel und ein viertes Pixel mit drei numerischen Farbwerten oder ein anderes Muster. Zum Beispiel ist 3 ein Einzelbild, in dem jedes Pixel ein skalarer Wert der Intensität der Beleuchtung in Nahinfrarotwellenlängen ist. Die Position in einem Einzelbild, d. h. die Position in dem Sichtfeld der Kamera 106 zu dem Zeitpunkt, zu dem das Einzelbild aufgezeichnet wurde, kann in Pixelabmessungen oder Koordinaten angegeben sein, z. B. ein geordnetes Paar von Pixelentfernungen, wie etwa eine Anzahl an Pixeln von einem oberen Rand und eine Anzahl an Pixeln von einem linken Rand des Sichtfelds.
Die Bilddaten 112 können von Objekten 110 stammen, die sich im Sichtfeld einer der Kameras 106 befinden. Ein derartiges Objekt 110 ist ein menschliches Gesicht, wie in 3 gezeigt. Die Objekte 110 können Orientierungspunkte 114 beinhalten. Für die Zwecke dieser Offenbarung ist ein „Orientierungspunkt“ als ein vordefiniertes Merkmal an jedem Objekt 110 eines bestimmten Typs definiert, das Objekten 110 dieses Typs gemeinsam ist. Wenn es sich zum Beispiel bei dem Typ des Objekts 110 um ein menschliches Gesicht handelt, sind mögliche Orientierungspunkte 114 eine Mitte der Nase, eine Unterseite des Ohrs, ein Mundwinkel usw.
4 ist ein Prozessflussdiagramm, das einen beispielhaften Prozess 400 zum Steuern der Beleuchtungsquellen 104 veranschaulicht. Auf dem Speicher des Computers 108 sind ausführbare Anweisungen zum Durchführen der Schritte des Prozesses 400 gespeichert und/oder eine Programmierung kann in Strukturen, wie etwa vorangehend erwähnt, umgesetzt sein. Der Prozess 400 kann für jede der Kameras 106 einzeln durchgeführt werden. Als allgemeine Übersicht über den Prozess 400 empfängt der Computer 108 Bilddaten 112 von der Kamera 106 und bestimmt, ob ein Objekt 110, wie etwa ein menschliches Gesicht, in den Bilddaten 112 vorhanden ist. Wenn dies der Fall ist, bestimmt der Computer 108, ob ausreichend Beleuchtung für eine Entfernungsbestimmung vorhanden ist, und erhöht die Beleuchtung von der Beleuchtungsquelle 104, die mit der Kamera 106 gekoppelt ist, falls dies nicht der Fall ist. Für die Entfernungsbestimmung identifiziert der Computer 108 Pixelpositionen von Orientierungspunkten 114 des Objekts 110, bestimmt eine Pixelentfernung d zwischen den Pixelpositionen und bestimmt die Entfernung D zu dem Objekt 110 unter Verwendung der Pixelentfernung d. Der Computer 108 stellt die Helligkeit der mit der Kamera 106 gepaarten Beleuchtungsquelle 104 auf Grundlage der Entfernung D ein. Der Computer 108 schaltet mehrere Beleuchtungsquellen 104 an, während er Bilddaten 112 von der Kamera 106 empfängt. Unter Verwendung der neuen Bilddaten 112 bestimmt der Computer 108, ob das Objekt 110 erkannt wird, z. B. als autorisierter Benutzer, und ob das Objekt 110 dreidimensional ist. Wenn dies der Fall ist, betätigt der Computer 108 eine der Fahrzeugkomponenten 118. Der Prozess 400 wird kontinuierlich ausgeführt, während das Fahrzeug 100 eingeschaltet ist.
Der Prozess 400 beginnt in einem Block 405, in dem der Computer 108 Bilddaten 112 von der Kamera 106 empfängt, z. B. ein Einzelbild von der Kamera 106 empfängt.
Als Nächstes erfasst der Computer 108 in einem Entscheidungsblock 410, ob sich ein Objekt 110, z.B. ein menschliches Gesicht, in den Bilddaten 112 befindet, z.B. unter Verwendung einer Gesichtserkennung. Der Computer 108 kann das menschliche Gesicht in den Bilddaten 112 unter Verwendung einer beliebigen geeigneten Gesichtserkennungstechnik erfassen, z. B. wissensbasierter Techniken, wie etwa eines regelbasierten Mehrfachauflösungsverfahrens; merkmalsinvarianter Techniken, wie etwa Gruppieren von Kanten, einer Grauwertübergangsmatrix oder einer Gaußschen Mischung; Template-Matching-Techniken, wie etwa einer Form-Template oder eines aktiven Formmodells; oder erscheinungsbildbasierter Techniken, wie etwa Eigengesichtszerlegung und -clustering, einer Gaußschen Verteilung und eines mehrschichtigen Perzeptrons, eines neuronalen Netzes, einer Unterstützungsvektormaschine mit Polynomkern, eines naiven Bayes-Klassifikators mit gemeinsamen Statistiken des lokalen Erscheinungsbilds und der Position, Statistiken höherer Ordnung mit verstecktem Markov-Modell oder relativer Kullback-Informationen. Wenn kein Objekt 110 erfasst wird, kehrt der Prozess 400 zu dem Block 405 zurück, um die Überwachung der Bilddaten 112 fortzusetzen. Wenn ein Objekt 110 erfasst wird, geht der Prozess 400 zu einem Entscheidungsblock 415 über.
In dem Entscheidungsblock 415 bestimmt der Computer 108, ob das Objekt 110 ausreichend beleuchtet ist, um die Orientierungspunkte 114 des Objekts 110 zu identifizieren. Das Objekt 110 kann sowohl durch die Beleuchtungsquellen 104 als auch durch Umgebungsbeleuchtungsquellen beleuchtet werden. Zum Beispiel kann der Computer 108 die Lichtintensität jedes Pixels des Einzelbilds oder jedes Pixels, das Teil des Objekts 110 ist, das in dem Entscheidungsblock 410 erfasst wird, mitteln. Die durchschnittliche Helligkeit kann mit einem Helligkeitsschwellenwert verglichen werden und das Objekt 110 wird ausreichend beleuchtet, wenn die Helligkeit über dem Helligkeitsschwellenwert liegt, und nicht ausreichend beleuchtet, wenn die Helligkeit unter dem Helligkeitsschwellenwert liegt. Der Helligkeitsschwellenwert kann als Mindesthelligkeit für den Computer 108 gewählt werden, um die Orientierungspunkte 114 in einem nachstehenden Block 430 erfolgreich zu identifizieren. Als ein anderes Beispiel kann der Computer 108 die nachstehend in Bezug auf den Block 430 beschriebene Identifizierung der Orientierungspunkte 114 durchführen. Wenn der Computer 108 die Orientierungspunkte 114 erfolgreich identifiziert, wird das Objekt 110 ausreichend beleuchtet, und wenn dies nicht der Fall ist, dann wird das Objekt 110 nicht ausreichend beleuchtet. Wenn das Objekt 110 nicht ausreichend beleuchtet wird, geht der Prozess 400 zu einem Entscheidungsblock 420 über. Wenn das Objekt 110 ausreichend beleuchtet wird, geht der Prozess 400 zu dem Block 430 über.
In dem Entscheidungsblock 420 bestimmt der Computer 108, ob eine der Beleuchtungsquellen 104 ein maximales Beleuchtungsniveau erreicht hat. Insbesondere kann die Beleuchtungsquelle 104 die Beleuchtungsquelle 104 sein, die mit der Kamera 106 gepaart ist, z. B. die erste Beleuchtungsquelle 104a für die erste Kamera 106a, die zweite Beleuchtungsquelle 104b für die zweite Kamera 106b, die dritte Beleuchtungsquelle 104c für die dritte Kamera 106c usw. Die maximale Beleuchtung ist ein Helligkeitsniveau der Beleuchtungsquelle 104, das als angemessenes Helligkeitsniveau, um z. B. eine Schädigung der Augen einer Person zu vermeiden, für eine Person in der Nähe der Beleuchtungsquelle 104 für das Zeitintervall, über das die Beleuchtungsquelle 104 bei diesem Helligkeitsniveau beleuchtet bleibt, gewählt wurde. Zum Beispiel kann das maximale Beleuchtungsniveau für sehr kurze Intervalle heller sein. Wenn die Beleuchtungsquelle 104 bereits das maximale Beleuchtungsniveau erreicht hat, endet der Prozess 400. Wenn die Beleuchtungsquelle 104 das maximale Beleuchtungsniveau noch nicht erreicht hat, geht der Prozess 400 zu einem Block 425 über.
In dem Block 425 erhöht der Computer 108 die Helligkeit der Beleuchtungsquelle 104. Zum Beispiel kann der Computer 108 die Helligkeit mit einer vorgespeicherten Rate erhöhen, während zusätzliche Bilddaten 112 von der Kamera 106 empfangen werden. Die vorgespeicherte Rate ist eine Änderung der Helligkeit pro Zeiteinheit und kann auf Grundlage einer Geschwindigkeit, mit der die Kamera 106 Einzelbilder von Bilddaten 112 erzeugt, und einer Rate, mit welcher der Computer 108 in dem Entscheidungsblock 415 bestimmt, ob das Objekt 110 ausreichend beleuchtet ist, gewählt werden. Der Prozess 400 iteriert somit durch den Entscheidungsblock 415, den Entscheidungsblock 420 und den Block 425 mit einer leichten Zunahme der Helligkeit mit jeder Iteration, bis entweder das Objekt 110 ausreichend beleuchtet ist oder die Beleuchtungsquelle 104 das maximale Beleuchtungsniveau erreicht hat. Nach dem Bestimmen in dem Entscheidungsblock 415, dass das Objekt 110 ausreichend beleuchtet ist, um die Orientierungspunkte 114 des Objekts 110 zu identifizieren, hält der Computer 108 die Helligkeit auf einem aktuellen Helligkeitsniveau. Der Computer 108 kann somit das niedrigste Helligkeitsniveau finden, bei dem die Beleuchtungsquelle 104 das Objekt 110 ausreichend beleuchtet.
Unter fortgeführter Bezugnahme auf Block 425 kann der Computer 108 als ein anderes Beispiel die Helligkeit der Beleuchtungsquelle 104 auf ein vorgespeichertes Helligkeitsniveau erhöhen und dann die Helligkeit der Beleuchtungsquelle 104 innerhalb einer vorgespeicherten Dauer verringern, nachdem die Helligkeit erhöht wurde. Das vorgespeicherte Helligkeitsniveau kann das maximale Beleuchtungsniveau aus dem Entscheidungsblock 420 sein. Die vorgespeicherte Dauer kann eine Dauer sein, während der die Kamera 106 höchstens fünf Einzelbilder aufnehmen kann, z. B. eine Dauer, in der die Kamera 106 ein oder zwei Einzelbilder aufnehmen kann. Der Computer 108 verhindert, dass die Helligkeit der Beleuchtungsquelle 104 länger als die vorgespeicherte Dauer auf das vorgespeicherte Helligkeitsniveau eingestellt wird. Der Computer 108 kann somit ein sehr helles Beleuchtungsniveau verwenden, um eine ausreichende Beleuchtung für das Objekt 110 bereitzustellen, während die Dauer dieses Beleuchtungsniveaus kurz genug gehalten wird, um angemessen für eine Person zu sein. Nach dem Block 425 kehrt der Prozess 400 zu dem Entscheidungsblock 415 zurück.
In dem Block 430 identifiziert der Computer 108 die Orientierungspunkte 114 des Objekts 110 in den Bilddaten 112. Wenn zum Beispiel das Objekt 110 ein menschliches Gesicht ist, können die Positionen der Orientierungspunkte 114 als Ergebnis der Gesichtserfassungstechnik, die in dem vorstehenden Entscheidungsblock 410 verwendet wird, ausgegeben werden. Der Computer 108 kann die Ausgabe von dem Entscheidungsblock 410 verwenden oder der Computer 108 kann die Gesichtserfassungstechnik erneut ausführen, z. B. wenn die Helligkeit der Beleuchtungsquelle 104 in dem Block 425 erhöht wurde. Wie in 3 gezeigt, sind die Orientierungspunkte 114 zum Beispiel die Nase und das Ohr eines menschlichen Gesichts. Die Positionen der Orientierungspunkte 114 innerhalb des Einzelbilds sind in Pixelkoordinaten angegeben, z. B. (p_x, p_y), wobei p_x eine horizontale Pixelentfernung in dem Einzelbild ist und p_y eine vertikale Pixelentfernung in dem Einzelbild ist.
Als Nächstes bestimmt der Computer 108 in einem Block 435 die Pixelentfernung d zwischen den Orientierungspunkten 114 in den Bilddaten 112. Die Pixelentfernung d kann eine euklidische Distanz in Pixelkoordinaten sein, z. B. $d = \sqrt{{(p_{x 1} - p_{x 2})}^{2} - {(p_{y 1} - p_{y 2})}^{2}}$
wobei (p_x1, p_y1) die Pixelkoordinaten eines der Orientierungspunkte 114 sind und (p_x2, p_y2) die Pixelkoordinaten des anderen der Orientierungspunkte 114 sind.
Als Nächstes bestimmt der Computer 108 in einem Block 440 eine Entfernung D von der Kamera 106 zu dem Objekt 110 auf Grundlage der Pixel entfernung d zwischen den Orientierungspunkten 114 in den Bilddaten 112. Der Computer 108 speichert eine vordefinierte Beziehung zwischen der Entfernung D und der Pixelentfernung d. Zum Beispiel kann die vordefinierte Beziehung linear sein, d. h., die Entfernung D ist gleich der Pixelentfernung d multipliziert mit einem vorgespeicherten Verhältnis von Entfernung zu Pixel entfernung R, d. h. D=Rd. Das Verhältnis R kann ein im Speicher gespeicherter Wert sein, d. h. eine Konstante. Der Wert des Verhältnisses R kann auf einer bekannten geometrischen Beziehung zwischen der Pixelentfernung d, der physischen Entfernung zwischen den Merkmalen des Objekts 110, die den Orientierungspunkten 114 in den Bilddaten 112 entsprechen, und der Entfernung D zu dem Objekt 110 basieren. Die physische Entfernung zwischen den Merkmalen variiert innerhalb einer Population von Objekten 110 des gleichen Typs wie das Objekt 110 gemäß einer statistischen Verteilung, z. B. einer Normalverteilung. Der Wert des Verhältnisses R kann darauf basieren, dass die physische Entfernung zwischen den Merkmalen mindestens eine Größe des 90. Perzentils, z. B. eine Größe des 95. Perzentils, der statistischen Verteilung der Objekte 110 des gleichen Typs wie das Objekt 110 ist; mit anderen Worten wird z. B. die Größe des 95. Perzentils der physischen Entfernung in der bekannten geometrischen Beziehung zwischen der Pixelentfernung d, der physischen Entfernung und der Entfernung D verwendet, um den Wert des Verhältnisses R zu bestimmen. Die Verwendung eines hohen Perzentils ist eine konservative Annahme, was bedeutet, dass das Objekt 110 wahrscheinlich weiter als die Entfernung D entfernt ist, z.B. bedeutet die Verwendung eines 95. Perzentils, dass eine Wahrscheinlichkeit von 95 % besteht, dass das Objekt 110 weiter als die Entfernung D entfernt ist. Dies hilft dabei, die Helligkeit der Beleuchtungsquelle 104 innerhalb eines angemessenen Bereichs zu halten, wenn die Helligkeit in einem nachstehenden Block 445 eingestellt wird.
Unter fortgeführter Bezugnahme auf Block 440 kann die vordefinierte Beziehung als weiteres Beispiel von einer Ausrichtung des Objekts 110 abhängen. Wenn das Objekt 110 ein menschliches Gesicht ist, kann die Ausrichtung des Objekts 110 als Ergebnis der Gesichtserfassungstechnik, die in dem vorstehenden Entscheidungsblock 410 verwendet wird, ausgegeben werden. Die Ausrichtung kann als ein Winkel θ einer Linie zwischen den Merkmalen des Objekts 110, die den Orientierungspunkten 114 in den Bilddaten 112 entsprechen, in Bezug auf die Kamera 106 dargestellt werden. Der Winkel θ kann verwendet werden, um die Pixelentfernung d einzustellen, wenn die Entfernung D bestimmt wird, z. B. D=R(sin(θ))d, wobei das Verhältnis R das gleiche wie vorstehend beschrieben ist. Alternativ oder zusätzlich kann der Computer 108 die Orientierungspunkte 114 Merkmalen in einem vorgespeicherten dreidimensionalen Modell des Objekts 110 zuordnen und dann bekannte geometrische Beziehungen verwenden, um die Entfernung D zu bestimmen.
Als Nächstes stellt der Computer 108 in einem Block 445 die Helligkeit der Beleuchtungsquelle 104 auf Grundlage der Entfernung D ein. Der Computer 108 stellt die Helligkeit auf ein Helligkeitsniveau B ein. Der Computer 108 speichert eine vordefinierte Beziehung zwischen der Entfernung D und dem Helligkeitsniveau B, auf das der Computer 108 die Beleuchtungsquelle 104 einstellt. Zum Beispiel kann der Computer 108 eine Lookup-Tabelle speichern, die Werte der Entfernung D mit entsprechenden Werten des Helligkeitsniveaus B koppelt. Als weiteres Beispiel kann der Computer 108 das Helligkeitsniveau B gemäß einer gespeicherten Formel berechnen, z. B. B=kD², wobei k eine Konstante ist. Unabhängig davon, wie die Beziehung durch den Computer 108 gespeichert wird, kann das Helligkeitsniveau B eine ansteigende Beziehung zu der Entfernung D aufweisen, d. h., das Helligkeitsniveau B wird heller, wenn die Entfernung D länger wird. Wenn die Person weiter entfernt ist, kann die Beleuchtungsquelle 104 ein höheres Helligkeitsniveau B verwenden, während sie immer noch in einem angemessenen Bereich bleibt. Zum Beispiel kann das Helligkeitsniveau B mit dem Quadrat der Entfernung D ansteigen.
Zusätzlich oder alternativ kann das Helligkeitsniveau B auf einer Umgebungshelligkeit B_amb zusätzlich zu der Entfernung D basieren. Zum Beispiel kann der Computer 108 das Helligkeitsniveau B wählen, um eine Gesamthelligkeit B + B_amb auf ein Sollniveau zu bringen, wobei das Sollniveau mit dem Quadrat der Entfernung D ansteigt, z. B. B = kD² - B_amb. Die Umgebungshelligkeit kann wie vorstehend in Bezug auf den Entscheidungsblock 415 beschrieben bestimmt werden.
Zusätzlich oder alternativ kann das Helligkeitsniveau B auf einer Geschwindigkeit V des Fahrzeugs 100 zusätzlich zu der Entfernung D basieren. Zum Beispiel kann das Helligkeitsniveau B eine ansteigende Beziehung zu der Geschwindigkeit V aufweisen, z. B. B = kD² + ƒ(V), wobei ƒ() eine Funktion ist, die einen positiven Wert zurückgibt. Wenn die Geschwindigkeit V zunimmt, nimmt die Gesamtexposition des Objekts gegenüber der Beleuchtungsquelle 104 ab, was ein größeres Helligkeitsniveau B ermöglicht.
Zusätzlich oder alternativ kann das Helligkeitsniveau B auf einem Reflexionsgrad R des Objekts zusätzlich zu der Entfernung D basieren. Stark reflektierende Objekte können eine Übersättigung verursachen, wenn das Helligkeitsniveau B zu hoch ist. Zum Beispiel kann das Helligkeitsniveau B ein niedrigeres von einem angemessenen Helligkeitsniveau B_unc und einem Helligkeitsniveau B_sat sein, unter dem keine Übersättigung auftritt, z. B. B = min (B_unc, B_sat). Das angemessene Helligkeitsniveau B_unc kann wie in den vorhergehenden Beispielen für das Helligkeitsniveau B beschrieben berechnet werden. Das Sättigungshelligkeitsniveau B_sat kann eine Funktion des Reflexionsgrads R des Objekts und der Entfernung D zu dem Objekt sein, d. h. B_sat = ƒ(R, D). Der Reflexionsgrad R kann ein im Speicher gespeicherter Wert für den Typ des Objekts sein, z. B. für ein Gesicht, für ein anderes Fahrzeug usw. Das Sättigungshelligkeitsniveau kann eine positive Beziehung zu der Entfernung D und eine umgekehrte Beziehung zu dem Reflexionsgrad Raufweisen.
Als Nächstes beleuchtet der Computer 108 in einem Block 450 mindestens eine zusätzliche Beleuchtungsquelle 104 neben der in dem Block 445 eingestellten Beleuchtungsquelle 104, während er neue Bilddaten 112 von der Kamera 106 empfängt. Die zusätzlichen Beleuchtungsquellen 104 leuchten in Richtungen, die das Objekt 110 umschließen, wodurch das Objekt 110 von Beleuchtungsquellen 104 in mehreren Winkeln beleuchtet wird. Alternativ oder zusätzlich kann der Computer 108 eine der Beleuchtungsquellen 104 ausschalten, die aktuell eingeschaltet ist, während neue Bilddaten 112 von der Kamera 106 empfangen werden.
Als Nächstes führt der Computer 108 in einem Entscheidungsblock 455 eine Objekterkennung an den Bilddaten 112 des Objekts 110 durch, z. B. den Bilddaten 112, die in dem Block 450 empfangen werden, während mehrere Beleuchtungsquellen 104 an dem Objekt 110 beleuchtet werden. Wenn das Objekt 110 zum Beispiel ein menschliches Gesicht ist, kann der Computer 108 eine Gesichtserkennung durchführen, um zu bestimmen, ob das Gesicht ein erkanntes Gesicht ist, d. h. ein im Speicher gespeichertes Gesicht einer bekannten Person, wie etwa eines Besitzers oder Fahrzeugführers des Fahrzeugs 100, gespeichert ist. Der Computer 108 kann eine beliebige geeignete Gesichtserkennungstechnik verwenden, z. B. Template-Matching; statistische Techniken, wie etwa Hauptkomponentenanalyse (Principal Component Analysis - PCA), diskrete Kosinustransformation, lineare Diskriminanzanalyse, lokalitätsbewahrende Projektionen, Gabor-Wavelet, Unabhängigkeitsanalyse oder Kernel-PCA; neuronale Netze, wie etwa neuronale Netze mit Gabor-Filtern, neuronale Netze mit Markov-Modellen oder neuronale Fuzzy-Netze; usw. Wenn das Objekt 110, z. B. ein Gesicht, kein erkanntes Objekt 110, z.B. ein erkanntes Gesicht, ist, endet der Prozess 400, ohne Fahrzeugkomponenten 118 zu betätigen, wie nachstehend in Bezug auf einen Block 465 beschrieben. Wenn das Objekt 110, z.B. ein Gesicht, ein erkanntes Objekt 110, z.B. ein erkanntes Gesicht, ist, geht der Prozess 400 zu einem Entscheidungsblock 460 über.
In dem Entscheidungsblock 460 bestimmt der Computer 108, ob mindestens ein Merkmal des Objekts 110 dreidimensional ist. Zum Beispiel kann der Computer 108 Schatten aus den Bilddaten 112 vergleichen, die vor und nach dem Beleuchten (oder Ausschalten) einer zusätzlichen Beleuchtungsquelle 104 in dem Block 450 empfangen wurden. Wenn zum Beispiel das Objekt 110 ein Gesicht ist, dann kann das Merkmal die Nase sein, und der Computer 108 kann die von der Nase geworfenen Schatten vergleichen. Wenn sich die Schatten geändert haben, wird das Objekt 110 als dreidimensional betrachtet. Wenn die Schatten für beide Beleuchtungssituationen gleich sind, kann das erkannte Objekt 110 ein Spoofing-Versuch sein, z. B. ein Bild eines erkannten Gesichts, das vor die Kamera 106 gehalten wird, und nicht ein tatsächliches Gesicht. Wenn das Merkmal des Objekts 110 nicht dreidimensional ist, endet der Prozess 400, ohne Fahrzeugkomponenten 118 zu betätigen, wie nachstehend in Bezug auf den Block 465 beschrieben. Wenn das Merkmal des Objekts 110 dreidimensional ist, geht der Prozess 400 zu dem Block 465 über.
Im Block 465 betätigt der Computer 108 mindestens eine der Fahrzeugkomponenten 118. Zum Beispiel kann der Computer 108 die Türverriegelungen 120 anweisen, sich zu entriegeln. Als weiteres Beispiel kann der Computer 108 einen der Sitze 122 auf eine vorbestimmte Anordnung einstellen. Die vorbestimmte Anordnung kann in einem mit dem erkannten Gesicht gekoppelten Speicher gespeichert sein. Als weiteres Beispiel kann der Computer 108 das Klimatisierungssystem 124 anschalten.
Als Nächstes bestimmt der Computer 108 in einem Entscheidungsblock 470, ob das Fahrzeug 100 noch eingeschaltet ist. Wenn das Fahrzeug 100 noch eingeschaltet ist, kehrt der Prozess 400 zu dem Block 405 zurück, um das Empfangen von Bilddaten 112 von der Kamera 106 fortzusetzen. Wenn das Fahrzeug 100 ausgeschaltet wurde, endet der Prozess 400.
Im Allgemeinen können die beschriebenen Rechensysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Computerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Anwendung Ford Sync®, der Middleware AppLink/Smart Device Link, des Betriebssystems Microsoft Automotive®, des Betriebssystems Microsoft Windows®, des Betriebssystems Unix (z. B. des Betriebssystems Solaris®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), des Betriebssystems AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, des Betriebssystems Linux, der Betriebssysteme Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, des BlackBerry OS, vertrieben durch die Blackberry, Ltd. in Waterloo, Kanada, und des Betriebssystems Android, entwickelt durch die Google, Inc. und die Open Handset Alliance, oder QNX® CAR Platform for Infotainment, angeboten durch QNX Software Systems. Beispiele für Rechenvorrichtungen beinhalten unter anderem Folgendes: einen im Fahrzeug integrierten Computer, einen Arbeitsplatzcomputer, einen Server, einen Desktop-, einen Notebook-, einen Laptop- oder einen Handcomputer oder ein anderes Rechensystem und/oder eine andere Rechenvorrichtung.
Rechenvorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Python, Perl, HTML usw. Einige dieser Anwendungen können auf einer virtuellen Maschine zusammengestellt und ausgeführt werden, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung vielfältiger computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nicht transitorisches (z. B. physisches) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, die unter anderem nichtflüchtige Medien und flüchtige Medien beinhalten. Nicht flüchtige Medien können zum Beispiel Bild- und Magnetplatten und sonstige dauerhafte Speicher beinhalten. Flüchtige Medien können zum Beispiel einen dynamischen Direktzugriffsspeicher (Dynamic Random Access Memory - DRAM) beinhalten, der üblicherweise einen Hauptspeicher darstellt. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Koaxialkabel, Kupferdraht und Glasfaser, einschließlich der Drähte, die einen an einen Prozessor einer ECU gekoppelten Systembus umfassen. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel Folgendes: eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Datenbanken, Datendepots oder andere Datenspeicher, die in dieser Schrift beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedenen Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, eines Datensatzes in einem Dateisystem, einer Anwendungsdatenbank in einem proprietären Format, eines relationalen Datenbankverwaltungssystems (Relational Database Management System - RDBMS), einer nicht relationalen Datenbank (NoSQL), einer Graphdatenbank (Graph Database - GDB) usw. Jeder derartige Datenspeicher ist im Allgemeinen in einer Rechenvorrichtung beinhaltet, die ein Computerbetriebssystem, wie etwa eines der vorangehend aufgeführten, verwendet, und es wird auf eine oder mehrere von einer Vielfalt von Weisen über ein Netzwerk darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem zugegriffen werden und es kann Dateien beinhalten, die in verschiedenen Formaten gespeichert sind. Ein RDBMS setzt im Allgemeinen die Structured Query Language (SQL) zusätzlich zu einer Sprache zum Erzeugen, Speichern, Editieren und Ausführen gespeicherter Prozeduren ein, wie etwa die vorangehend erwähnte PL/SQL-Sprache.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt sein, die auf damit assoziierten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sind. Ein Computerprogrammprodukt kann derartige auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
In den Zeichnungen geben gleiche Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente verändert werden. Hinsichtlich der in dieser Schrift beschriebenen Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch umgesetzt werden könnten, wobei die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift keine ausdrückliche gegenteilige Angabe erfolgt. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „eine“, „der“, „die“, „das“ usw. dahingehend auszulegen, dass ein oder mehrere der aufgeführten Element genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält. Die Adjektive „erster“, „zweiter“ und „dritter“ werden in dieser Schrift als Identifikatoren verwendet und sind nicht dazu gedacht, eine Bedeutung, Reihenfolge oder Menge anzuzeigen. Die Verwendung von „als Reaktion auf‟ und „wenn bestimmt wird“ gibt eine kausale Beziehung an, nicht nur eine rein temporale Beziehung.
Die Offenbarung wurde auf veranschaulichende Weise beschrieben und es versteht sich, dass die Terminologie, die verwendet wurde, beschreibenden und nicht einschränkenden Charakters sein soll. In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Variationen der vorliegenden Offenbarung möglich und kann die Offenbarung anders als konkret beschrieben umgesetzt werden.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das Folgendes aufweist: eine Beleuchtungsquelle; eine Kamera, die dazu angeordnet ist, Beleuchtung von der Beleuchtungsquelle zu erfassen; und einen Computer, der mit der Beleuchtungsquelle und der Kamera kommunikativ gekoppelt ist; wobei der Computer dazu programmiert ist: ein Objekt in Bilddaten von der Kamera zu erfassen; Orientierungspunkte des Objekts in den Bilddaten zu identifizieren, eine Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten zu bestimmen; und eine Helligkeit der Beleuchtungsquelle auf Grundlage der Entfernung einzustellen.
Gemäß einer Ausführungsform ist die Beleuchtungsquelle dazu konfiguriert, Beleuchtung außerhalb eines sichtbaren Bereichs zu erzeugen.
Gemäß einer Ausführungsform ist die Beleuchtungsquelle dazu konfiguriert, Infrarotbeleuchtung zu erzeugen.
Gemäß der vorliegenden Erfindung ist ein Computer bereitgestellt, der einen Prozessor und einen Speicher aufweist, auf dem durch den Prozessor ausführbare Anweisungen gespeichert sind, um: ein Objekt in Bilddaten von einer Kamera zu erfassen; Orientierungspunkte des Objekts in den Bilddaten zu identifizieren, eine Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten zu bestimmen; und eine Helligkeit einer Beleuchtungsquelle auf Grundlage der Entfernung einzustellen, wobei die Beleuchtungsquelle dazu angeordnet ist, Beleuchtung zu erzeugen, die von der Kamera erfasst werden kann.
Gemäß einer Ausführungsform ist das Objekt ein menschliches Gesicht.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um nach dem Einstellen der Helligkeit der Beleuchtungsquelle und dem Empfangen neuer Bilddaten eine Gesichtserkennung an den neuen Bilddaten des Gesichts durchzuführen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine Fahrzeugkomponente zu betätigen, wenn die Gesichtserkennung das Gesicht als erkanntes Gesicht erkennt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um zu bestimmen, ob ein Merkmal des Gesichts dreidimensional ist.
Gemäß einer Ausführungsform ist die Beleuchtungsquelle eine erste Beleuchtungsquelle und beinhalten die Anweisungen ferner Anweisungen, um eine zweite Beleuchtungsquelle zu beleuchten, während die neuen Bilddaten empfangen werden.
Gemäß einer Ausführungsform beinhaltet das Einstellen der Helligkeit der Beleuchtungsquelle das Einstellen der Helligkeit auf ein Helligkeitsniveau, und das Helligkeitsniveau weist eine ansteigende Beziehung zu der Entfernung auf.
Gemäß einer Ausführungsform beinhaltet das Bestimmen der Entfernung von der Kamera zu dem Objekt das Multiplizieren der Pixelentfernung mit einem vorgespeicherten Verhältnis von Entfernung zu Pixel entfernung.
Gemäß einer Ausführungsform basiert das vorgespeicherte Verhältnis von Entfernung zu Pixelentfernung auf mindestens einer Größe des 90. Perzentils einer statistischen Verteilung von Objekten des gleichen Typs wie das Objekt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um zu bestimmen, ob das Objekt ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um die Helligkeit der Beleuchtungsquelle zu erhöhen, wenn bestimmt wird, dass das Objekt nicht ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um die Helligkeit der Beleuchtungsquelle innerhalb einer vorgespeicherten Dauer nach dem Erhöhen der Helligkeit zu verringern.
Gemäß einer Ausführungsform ist die vorgespeicherte Dauer höchstens eine Dauer, in der die Kamera fünf Einzelbilder aufnehmen kann.
Gemäß einer Ausführungsform beinhaltet das Erhöhen der Helligkeit das Erhöhen der Helligkeit auf ein vorgespeichertes Helligkeitsniveau, und beinhalten die Anweisungen ferner Anweisungen, um zu verhindern, dass die Helligkeit der Beleuchtungsquelle länger als die vorgespeicherte Dauer auf das vorgespeicherte Helligkeitsniveau eingestellt wird.
Gemäß einer Ausführungsform beinhaltet das Erhöhen der Helligkeit das Erhöhen der Helligkeit mit einer vorgespeicherten Rate, während zusätzliche Bilddaten empfangen werden.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um die Helligkeit auf einem aktuellen Beleuchtungsniveau zu halten, wenn bestimmt wird, dass das Objekt ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren: Erfassen eines Objekts in Bilddaten von einer Kamera; Identifizieren von Orientierungspunkten des Objekts in den Bilddaten; Bestimmen einer Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten und Einstellen einer Helligkeit einer Beleuchtungsquelle auf Grundlage der Entfernung, wobei die Beleuchtungsquelle dazu angeordnet ist, Beleuchtung zu erzeugen, die von der Kamera erfasst werden kann.

Claims

Verfahren, umfassend: Erfassen eines Objekts in Bilddaten von einer Kamera; Identifizieren von Orientierungspunkten des Objekts in den Bilddaten; Bestimmen einer Entfernung von der Kamera zu dem Objekt auf Grundlage einer Pixelentfernung zwischen den Orientierungspunkten in den Bilddaten; und Einstellen einer Helligkeit einer Beleuchtungsquelle auf Grundlage der Entfernung, wobei die Beleuchtungsquelle dazu angeordnet ist, Beleuchtung zu erzeugen, die von der Kamera erfasst werden kann.
Verfahren nach Anspruch 1, wobei das Objekt ein menschliches Gesicht ist.
Verfahren nach Anspruch 2, ferner umfassend nach dem Einstellen der Helligkeit der Beleuchtungsquelle und dem Empfangen neuer Bilddaten das Durchführen einer Gesichtserkennung an den neuen Bilddaten des Gesichts.
Verfahren nach Anspruch 3, ferner umfassend das Betätigen einer Fahrzeugkomponente, wenn die Gesichtserkennung das Gesicht als erkanntes Gesicht erkennt.
Verfahren nach Anspruch 3, ferner umfassend das Bestimmen, ob ein Merkmal des Gesichts dreidimensional ist.
Verfahren nach Anspruch 5, wobei die Beleuchtungsquelle eine erste Beleuchtungsquelle ist, wobei das Verfahren ferner das Beleuchten einer zweiten Beleuchtungsquelle umfasst, während die neuen Bilddaten empfangen werden.
Verfahren nach Anspruch 1, wobei das Einstellen der Helligkeit der Beleuchtungsquelle das Einstellen der Helligkeit auf ein Helligkeitsniveau beinhaltet und das Helligkeitsniveau eine ansteigende Beziehung zu der Entfernung aufweist.
Verfahren nach Anspruch 1, wobei das Bestimmen der Entfernung von der Kamera zu dem Objekt das Multiplizieren der Pixelentfernung mit einem vorgespeicherten Verhältnis von Entfernung zu Pixelentfernung beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen, ob das Objekt ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren.
Verfahren nach Anspruch 9, ferner umfassend das Erhöhen der Helligkeit der Beleuchtungsquelle, wenn bestimmt wird, dass das Objekt nicht ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren.
Verfahren nach Anspruch 10, ferner umfassend das Verringern der Helligkeit der Beleuchtungsquelle innerhalb einer vorgespeicherten Dauer nach Erhöhen der Helligkeit, wobei die vorgespeicherte Dauer höchstens eine Dauer ist, in der die Kamera fünf Einzelbilder aufnehmen kann.
Verfahren nach Anspruch 11, wobei das Erhöhen der Helligkeit das Erhöhen der Helligkeit auf ein vorgespeichertes Helligkeitsniveau beinhaltet, und wobei das Verfahren ferner das Verhindern, dass die Helligkeit der Beleuchtungsquelle länger als die vorgespeicherte Dauer auf das vorgespeicherte Helligkeitsniveau eingestellt wird, umfasst.
Verfahren nach Anspruch 9, wobei das Erhöhen der Helligkeit das Erhöhen der Helligkeit mit einer vorgespeicherten Rate beinhaltet, während zusätzliche Bilddaten empfangen werden.
Verfahren nach Anspruch 13, ferner umfassend das Halten der Helligkeit auf einem aktuellen Beleuchtungsniveau, wenn bestimmt wird, dass das Objekt ausreichend beleuchtet ist, um die Orientierungspunkte des Objekts zu identifizieren.
Computer, umfassend einen Prozessor und einen Speicher, auf dem durch den Prozessor ausführbare Anweisungen gespeichert sind, um das Verfahren nach einem der Ansprüche 1-14 durchzuführen.