-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Eine Innenraumkamera erfasst Bilder im nahen Infrarotbereich. Um ausreichend ausgeleuchtete Bilder zu erhalten, weist die Innenraumkamera eine Infrarot-Beleuchtungseinrichtung auf. Je näher ein Objekt an der Beleuchtungseinrichtung ist, um so größer ist eine Beleuchtungsintensität auf dem Objekt.
-
Beispielsweise kann ein Kopf eines Fahrers des Fahrzeugs bei einer Vorverlagerung eine sehr geringe Entfernung zu der Beleuchtungseinrichtung aufweisen, sodass die Innenraumkamera den Kopf nicht mehr erfassen kann.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Betreiben einer Innenraumkamera für ein Fahrzeug, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Wenn ein Objekt nicht mehr von einer Kamera erfasst werden kann, versucht eine Regelung der Kamera Kameraparameter zu verändern, um wieder in einen erfassungsbereiten Zustand zu gelangen.
-
Bei dem hier vorgestellten Ansatz wird zumindest ein Kameraparameter der Kamera unmittelbar nach einem Verlust des Objekts auf einen Referenzwert gesetzt, bei dem die Kamera unter Normalbedingungen eine hohe Erfassungswahrscheinlichkeit aufweist. Dabei wird erwartet, dass der hier als Objekt bezeichnete Kopf eines Fahrers eines Fahrzeugs mit einer sehr hohen Wahrscheinlichkeit nach kurzer Zeit wieder in einer erwarteten Position angeordnet ist. Der Referenzwert ist auf die erwartete Position abgestimmt. Wenn der Kopf wieder erfasst wird, wird der Kameraparameter entsprechend der erfassten Position des Kopfs nachgeführt.
-
Es wird ein Verfahren zum Betreiben einer Innenraumkamera für ein Fahrzeug vorgestellt, wobei in einem Schritt des Regelns zumindest ein Kameraparameter der Innenraumkamera unter Verwendung zumindest eines Qualitätsparameters eines vorausgehend erfassten Bilds der Innenraumkamera geregelt wird, wenn ein Kopf einer Zielperson in dem Bild detektiert wird, wobei der Kameraparameter auf einen vordefinierten Wert gesetzt wird, wenn kein Kopf detektiert wird.
-
Unter einer Innenraumkamera kann eine in einen Innenraum eines Fahrzeugs gerichtete Kamera verstanden werden. Die Innenraumkamera kann insbesondere auf einen Fahrer des Fahrzeugs ausgerichtet sein. Die Innenraumkamera kann eine Bildfolge von Einzelbildern des Innenraums bereitstellen. Die Innenraumkamera kann auch ein Videosignal bereitstellen. Ein Kameraparameter kann eine einstellbare Größe sein. Der Fahrer kann die Zielperson sein. Ein vordefinierter Wert kann ein Vorgabewert für den Kameraparameter sein.
-
Als Qualitätsparameter kann ein Kontrast, eine Helligkeit und/oder eine Helligkeitsverteilung des Bilds verwendet werden. Als Kameraparameter kann eine Belichtungszeit und/oder Empfindlichkeit der Innenraumkamera geregelt werden. Alternativ oder ergänzend kann als Kameraparameter eine Lichtintensität einer Beleuchtungseinrichtung der Innenraumkamera geregelt werden. Durch Einstellung dieser Kameraparameter kann das Bild eine hohe Qualität aufweisen.
-
Das Verfahren kann einen Schritt des Detektierens des Kopfs in einem nachfolgend erfassten Bild der Innenraumkamera aufweisen. Der Qualitätsparameter kann auf einen Kopfbereich des Bilds bezogen werden. Der Kopfbereich ist die interessierende Region des Bilds. Durch den Bezug der Qualitätsparameter auf den Kopfbereich kann der Kopfbereich besonders gut abgebildet werden.
-
Das Verfahren kann einen Schritt des Einstellens aufweisen, in dem eine Farbtiefe eines Rohbildsignals der Innenraumkamera eingestellt wird, um ein Arbeitsbildsignal zu erhalten. Der Kopf kann in einem Bild des Arbeitsbildsignals detektiert werden. Durch eine verringerte Farbtiefe wird weniger Rechenaufwand benötigt, um das Bild zu bearbeiten.
-
Ein Farbtiefenspektrum kann aus dem Rohbildsignal extrahiert werden, um das Arbeitsbildsignal zu erhalten. Alternativ oder ergänzend können Rohfarbstufen des Rohbildsignals unter Verwendung einer Verarbeitungsvorschrift zu Arbeitsfarbstufen des Arbeitsbildsignals zugeordnet werden, um das Arbeitsbildsignal zu erhalten. Das Farbtiefenspektrum kann durch ein Abschneiden von irrelevanten Farbstufen des Bilds erreicht werden. Die Verarbeitungsvorschrift kann ein Algorithmus zum Umrechnen der Farbstufen sein. Durch das Umrechnen kann ein großer Informationsgehalt des Bilds erhalten werden. Durch das Extrahieren kann die Farbtiefe schnell und einfach reduziert werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen.
-
Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 ein Blockschaltbild eines Fahrzeugs mit einer Vorrichtung zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel;
-
2 eine Darstellung eines Ablaufs eines Betreibens Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel;
-
3 ein Flussdiagramm eines Verfahrens zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel;
-
4 ein Zustandsdiagramm eines Reglers für ein Verfahren zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel;
-
5 Darstellungen einer Detektion eines Objekts in einem Bild einer Innenraumkamera gemäß einem Ausführungsbeispiel;
-
6 ein Ablaufdiagramm eines Algorithmus zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel;
-
7 ein Blockschaltbild einer Regelstrecke zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel;
-
die 8 bis 11 Darstellungen von Anwendungsfällen für eine Innenraumkamera gemäß einem Ausführungsbeispiel; und
-
12 ein Ablaufdiagramm eines Verfahrens zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Blockschaltbild eines Fahrzeugs 100 mit einer Vorrichtung 102 zum Betreiben einer Innenraumkamera 104 gemäß einem Ausführungsbeispiel. Die Innenraumkamera 104 ist auf einen erwarteten Kopfbereich 106 eines Fahrers 108 des Fahrzeugs 100 ausgerichtet. Hier ist der Kopf 110 im Wesentlichen mittig beziehungsweise in mittlerer Reichweite in dem Kopfbereich 106 an einer Normalposition angeordnet. Die Innenraumkamera 104 weist eine Beleuchtungseinrichtung 112 auf. Die Beleuchtungseinrichtung 112 umfasst zumindest eine Infrarotlichtquelle 114, 116, die in den Kopfbereich 106 ausgerichtet ist. Die erste Infrarotlichtquelle 114 ist nahe an der Innenraumkamera 104 angeordnet. Licht von der ersten Lichtquelle 114 wird an der Netzhaut der Augen des Fahrers zu der Innenraumkamera 104 reflektiert und erzeugt analog zum rote Augen Effekt für helle Pupillen in Bildern der Innenraumkamera 104. Die zweite Infrarotlichtquelle 116 ist entfernt von der Innenraumkamera 104 angeordnet. Licht von der zweiten Lichtquelle 116 wird nicht über die Netzhaut zu der Innenraumkamera 104 reflektiert und erzeugt dunkle Pupillen in den Bildern.
-
Wenn der Kopf 110 innerhalb des Kopfbereichs 106 ist, kann er in Bildern der Innenraumkamera 104 detektiert werden. Abhängig von einer Position des Kopfs 110 in dem Kopfbereich 106 weist das Bild Qualitätsparameter 118 auf. Wenn der Kopf 110 detektiert wird, wird in einer Regeleinrichtung 120 der Vorrichtung 102 zum Betreiben zumindest ein Kameraparameter 122 der Innenraumkamera 104 unter Verwendung der Qualitätsparameter 118 nachgeregelt.
-
Mit anderen Worten zeigt 1 eine Vorrichtung 102 zur Regelung einer Kfz-Innenraumkamera 104 mit aktiver IR Beleuchtung 112. Fahrerbeobachtungskamerasysteme bestehen aus zumindest einem Kameramodul 104, einer aktiver Nah-Infrarotbeleuchtung beziehungsweise IR-Modulen 112 und einer Rechnereinheit 102. Ein Fahrerbeobachtungskamerasystem kann typischerweise ein Ein-, Zwei- beziehungsweise Multikamerasystem sein. Die IR-Module 112 können im Wesentlichen in Bright Pupil (BP) 114 und Dark Pupil (DP) 116 unterschieden werden. Bright Pupil (BP) 114 bewirkt ähnlich zu dem „roten Augeneffekt“ helle Pupillen, wenn die Beleuchtung 114 sehr nah bei der Kamera 104 sich befindet, wodurch das durch die Pupille auf die Retina aufgetroffene Licht wieder in das Kamerabild zurückreflektiert wird. Dark Pupil (DP) 116 tritt auf, wenn die Beleuchtung 116 weg von der Kamera 104 sich befindet und somit kein ausgesandtes Licht direkt auf die Retina beziehungsweise Pupille eintritt und daher die Pupille im Kamerabild dunkel bleibt.
-
Unter Verwendung der Innenraumkamera 104 können Software Funktionen beziehungsweise Algorithmen, wie head and eye tracking, Face Identification, Driver Modelling (drowsiness, distraction detection) und gaze control umgesetzt werden. Die aktive IR-Beleuchtung 112 sorgt für eine gute Ausleuchtung der Szene beziehungsweise des Fahrergesichts. Dadurch kann bei allen Bedingungen, beispielsweise bei Tag und Nacht, im Gesichtsbereich ein kontrastreiches und helles Bild für die videobasierte Detektionsperformance gewährleistet werden.
-
Die Integrationszeiten des Imagers und der IR-Beleuchtung können verändert werden. Die IR Beleuchtung 112 kann bezüglich der Ausleuchtung und Bestrahlungsstärke für wechselnde Abstände angepasst werden. Es werden somit viele Usecases abgedeckt, wo sich der Fahrer beziehungsweise der Nutzer in verschiedenen Abständen zum Head oder Eye tracking System befindet.
-
Ohne die Variabilität würde das aufgenommene Kamerabild sehr stark überbelichtet und dadurch ungeeignet für ein Tracking, beispielsweise wenn sich der Fahrer nach vorne beugt oder während einer Einstiegsphase den Kopf sehr nah an der Innenraumkamera 104 hat. Eine Kameraregelung beispielsweise mittels des im Imager eingebaute auto exposure control (AEC) oder ein dediziertes Kamera SW Modul führt zu einer Helligkeitssteuerung auf das volle Bild beziehungsweise eines eingestellten Bildbereichs. Im Bildbereich kann nicht zwischen dem Gesicht und Objekten, wie der Sonne hinter dem Gesicht, einer Verdeckung, beispielsweise bei einer Hand vor dem Gesicht unterschieden werden. Dies führt dazu, dass das Gesicht im geregelten Bild mittels Bildverarbeitungsmethoden nicht mehr gefunden werden kann, da der Kontrast und Helligkeit nicht ausreichend gegeben ist.
-
Bei dem hier vorgestellten Ansatz wird ein für typische Situationen ausgelegter Arbeitspunkt mit einer bestimmten Integrationszeit beziehungsweise Beleuchtungszeitdauer bestimmt. Im Arbeitspunkt liefern die Kamera 104 und die IR Beleuchtung 112 ein optimales Bild für das Head tracking. Das Bild hat je nach Imager eine Quantisierung von 10 oder 12 Bit und wird im ersten Schritt beispielsweise über eine 10/12 -> 8 Bit Abbildung mittels einer Funktion, wie einer Logarithmus Kennlinie oder durch einfache Bit-Selektion oder Schneiden von 8 Bit aus 10/12 Bit durchgeführt. Das Rohbild wird somit auf 8 Bit Auflösung reduziert und wird dem Head tracking Algorithmus zugeführt. Sobald ein Kopf 110 detektiert wird, werden Tracking Daten, wie eine 2D head bounding box, eine tracking Konfidenz, eine Gesichtsorientierung, detektierte Gesichtslandmarken sowie der aktuelle Zustand der Tracking-Zustandsmaschine dem Kamera-Regelungs-Software Modul zugeführt um eine angepasste Bildregelung anhand der Bildqualitätsparameter, wie Kontrast, Helligkeit, und Helligkeitsverteilung durchzuführen. Wird hingegen kein Gesicht detektiert, so wird auf den festgelegten Arbeitspunkt zurückgesprungen. Der Übergang kann eventuell durch zeitliche Konfigurierung mit einer definierten Zeitdauer gleitend anstelle einer harten Umstellung auf den zuvor erwähnten Arbeitspunkt erfolgen. Dabei wird bei den genannten use-cases, wie Sonne hinterm Kopf und Verdeckungen eine ungünstige Regelung auf Objekte vermieden. Auch im Falle einer Annäherung des Kopfes mit zuvor detektiertem Gesicht an die Kamera 104 kann eine an die Situation angepasste Beleuchtung und Integration des Bildes ein für das Head tracking optimales Bild sicherstellen.
-
2 zeigt eine Darstellung einer Wirkungskette einer Kamerasteuerung Innenraumkamera 104 gemäß einem Ausführungsbeispiel. Ausgehend von der Innenraumkamera 104 weist die Wirkungskette einen Bildpuffer 200, eine Vorverarbeitungseinrichtung 202, eine Kopfverfolgungseinrichtung 204, eine Augenverfolgungseinrichtung 206 und Funktionen 208 auf höherer Ebene auf.
-
Die Innenraumkamera 104 stellt Rohbilddaten 210 mit 12 oder 10 Bit pro Pixel für den Bildpuffer 200 zu Verfügung. Die Rohbilddaten 210 werden in der Vorverarbeitungseinrichtung 202 durch Mapping beziehungsweise durch eine nichtlineare Funktion, beispielsweise log oder einfaches Fallenlassen von Bits, zum Beispiel des zwölften und ersten Bits oder der zwei niedrigsten ersten und zweiten Bits von 12 auf 8-Bit-Bilddaten 212 reduziert. Die 8-Bit-Bilddaten 212 werden in der Kopfverfolgungseinrichtung 204 dazu verwendet, um Kopfverfolgungsdaten 214 zu erhalten. Die Kopfverfolgungsdaten 214 werden in der Regeleinrichtung 120 gemäß dem hier vorgestellten Ansatz verwendet, um eine Kamera- und IR-Belichtungssteuerung an Kopfverfolgungsdaten 214 anzupassen. Eine Bildqualität kann zur Kopfverfolgung verbessert werden. Die Kopfverfolgungsdaten 214 werden ausgewertet, um Parameter 122 zum Steuern der Kamera/IR zu bestimmen. Dabei wird insbesondere eine 2D-Kopfbegrenzungsbox als interessierende Region (ROI = region of interest) zum Berechnen von Bildqualitätsparametern 118 verwendet. Ein Grad der Qualität/Konfidenz der Kopfverfolgung kann dabei berücksichtigt werden. Beispielsweise können die Kopfverfolgungsdaten 214 beziehungsweise die 2D-Kopfbegrenzungsbox verwendet werden, wenn ein Akzeptanzpegel/Akzeptanzschwelle überschritten wird.
-
Eine Konfidenz kann verwendet werden, um eine interessierende Region zum Berechnen von Bildqualitätsparametern 118 einzustellen. Die Größe der interessierenden Region ist in minimaler und maximaler Größe beschränkt, um eine zu kleine oder zu große interessierende Region zu vermeiden.
-
Bei einer Drehung/Ausrichtung des Kopfes können die Kamera/IR-Parameter 122 eingefroren werden, falls das Gesicht nicht frontal ist.
-
Die Sichtbarkeit von Merkmalen von Kopf/Gesicht, also ob das vollständige Gesicht sichtbar ist oder zumindest beide Augen und Nase oder Mundwinkel sichtbar sind. Umgang mit möglichen Verdeckungen durch Nähe zu / Weite von der Kamera.
-
Ein Kopfverfolgungsstatus kann init/initialisiert, tracked/verfolgt oder refind/wieder finden sein, wenn sich die Kopfverfolgung in dem tracked-Modus befindet. In anderen Fällen, init oder refind, wird die Kamera/IR-Steuerung nicht verändert.
-
Eine Bildgerätebelichtung und IR-Beleuchtungszeit von etwa 500 Mikrosekunden bei 5 A und 60 fps. Eine minimale Belichtungszeit von 40 Mikrosekunden und eine maximale Belichtungszeit von drei Millisekunden für Steuerbereich. Mögliche Vorgabeeinstellungen sind eine Bitverschiebung beziehungsweise Bitshift wesentlich größer sieben, eine vorgegebene Verstärkung von eins, eine vorgegebene analoge Verstärkung von eins. Steuerparameter zum Beispiel (PID-Regler). Zeitgebungsschwellen besonders für Übergang zwischen Gesicht erfasst und nicht erfasst.
-
Als nichtlineare Abbildungsfunktion kann beispielsweise eine log-Funktion zum Abbilden des 12- oder 10-Bit-Bildes auf ein 8-Bit-Bild angewandt werden.
-
Bei der hier vorgestellten Steuerstrategie zum Ansprechen unterschiedlicher Anwendungsfälle wird, ausgehend von einem gut definierten Arbeitspunkt 216, die Bildaufnahme und Belichtung eingestellt, in dem sich von dem Arbeitspunkt 216 zu einer guten erreichten Bildqualität bewegt wird, die zur Verfolgung von Kopf und Augen geeignet ist.
-
3 zeigt ein Flussdiagramm eines Verfahrens zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel. Das Verfahren kann auf einer Vorrichtung zum Betreiben, wie sie beispielsweise in 1 dargestellt ist ausgeführt werden. Das Flussdiagramm weist einen Speicherblock 300, einen ersten Funktionsblock 302, einen ersten Entscheidungsblock 304, einen zweiten Funktionsblock 306, einen zweiten Entscheidungsblock 308 und einen dritten Funktionsblock 310 auf. Im dritten Funktionsblock 310 ist ein dritter Entscheidungsblock 312, ein vierter Funktionsblock 314, ein fünfter Funktionsblock 316, ein vierter Entscheidungsblock 318, ein sechster Funktionsblock 320 und ein siebter Funktionsblock 322 enthalten. Dabei erfolgt ein Start mit einer Vorgabeeinstellung beziehungsweise in einem Arbeitspunkt aus dem Speicherblock 300, wie in 2 dargestellt. Eine Einstellungssteuerung beginnt bei erfasstem Gesicht beziehungsweise mit einem Eingangssignal der Kopfverfolgung. Die Verfolgungsgüte/der Konfidenzpegel, die Aktualisierungsrate der Verfolgung, ein geschätzter Abstand anhand der Gesichtsbegrenzungsbox in einer 2D-Bildebene kann verwendet werden, um die interessierende Region des Bildes einzustellen. Diese interessierende Region wird verwendet, um die Bild Qualitätsparameter zu berechnen und eine Überprüfung gegenüber konfigurierten Bildqualitätsparameterschwellen durchzuführen. Diese interessierende Region kann im einfachen Fall ein Gesichtsbereich innerhalb des Bilds sein, der durch die erfasste Gesichtsbegrenzungsbox angezeigt ist.
-
Um eine Steuerung bei verdeckter Szene zu vermeiden, wenn die Erfassung des Gesichts nicht mehr machbar ist, werden Gesichtsmerkmale, wie Sichtbarkeit, Symmetrie oder Verdeckungen aus der Kopfverfolgung ausgewertet. Beispielsweise wenn das Lenkrad oder eine Hand im Bild ist, und die Adaption der Bildqualität, wie der Helligkeit, am Nicht-Gesicht erfolgen würde.
-
Dabei erfolgt die Steuerung nur bei (naher) frontaler Sicht auf das Gesicht. Helligkeitssymmetrie und/oder Gesichtsdrehung oder Ausrichtung werden überprüft. Steuerparameter an Kopfprofilen werden gehalten. Steuerung erfolgt nur dann, wenn Kopfverfolgung sich in Verfolgungsmodus befindet. In diesem Modus werden nur Gesichtsmerkmale oder Landmarken, wie Augenwinkel und Nasenlöcher durch Anwenden zum Beispiel eines Kalman-Filters verfolgt. In dem Initialisierungsmodus wird die Suche über einen vollen Frame für Kopf/Gesichts-Kandidaten durchgeführt. In dem Wiederfindungsmodus versucht die Kopfverfolgung einen Kopf innerhalb einer größeren Bildregion, als in dem Verfolgungsmodus zu finden oder zu erfassen.
-
Falls kein Gesicht erfasst wird oder die Bedingungen nicht erfüllt sind, wird der vorgegebene Arbeitspunkt zur Kamera/IR-Steuerung verwendet.
-
Die Steuerung wird in zwei Stufen durchgeführt. Für die Belichtung wird eine neue Belichtungszeit unter Verwendung der Belichtungszeit +/– der Belichtungszeit_Schrittgröße bestimmt. Die Schrittgröße wird verwendet, um eine weiche dynamische Helligkeitsveränderung zu bekommen, um eine Veränderung eines Helligkeitspegels zwischen Frames zu vermeiden. Die Steuergeschwindigkeit ist an eine Kopfbewegung zu der Kamera hin angepasst.
-
Eine Bitverschiebung mit einer Verschiebung um sechs, sieben oder acht Bits kann als eine optionale Stufe verwendet werden. Falls die Schwelle zu einem gutem Bildparameter mit einem angepassten Bild nicht eingehalten wird, kann eine weitere Bitverschiebungsoperation um ein bis zwei Bits nach links oder rechts durchgeführt werden. Der hauptsächliche Steuerparameter ist die Belichtungszeit. Die Stufe und Reichweite, Spanne beziehungsweise der Bereich können iterativ getestet werden.
-
Minimale und maximale Spanne von Parametern. Eine minimale und maximale Belichtungszeit ist begrenzt, beispielsweise zwischen 40 Mikrosekunden und drei Millisekunden. Die Werte basieren Heuristik, um eine Einstellung nahe an dem vorgegebenen Arbeitspunkt zu ermöglichen. Die Bitverschiebung erfolgt mit maximal 2 Bit nach links und rechts.
-
Die Berechnung von img_qpar beziehungsweise den Bildqualitätsparametern, wie Helligkeit und Kontrast und der Vergleich von Ist-Bildparametern mit Soll-Bildqualitätsparametern qpar_thr, idealerweise gleich einem Durchschnittswert, wie Bildhelligkeit etwa 128 LSB bei 8-Bit-Bild.
-
Eine Belichtungszeit für den nächsten Frame kann beispielsweise über 12C eingestellt werden, um basierend auf einer Analyse des aktuellen Frames ein Ergebnis näher an einem guten Bildparameter zu erhalten. Falls es zum Beispiel zu dunkel ist, kann die Belichtungszeit erhöht werden, falls es zu hell ist, kann die Belichtungszeit verringert werden. Der Bereich beziehungsweise die Reichweite und Schritt beziehungsweise die Stufen können heuristisch ausgewertet werden.
-
Eine standardmäßige Steuerung, beispielsweise über einen PID-Regler, kann angewendet werden. Die Führungsgröße w ist der Bild Qualitätsparameter, die Rückführung x ist der Steuerparameter, die Regelabweichung e ist die Differenz für den Regler.
-
Die Kopfverfolgungsqualität und der geschätzte Abstand entsprechend der erfassten Gesichtsbegrenzungsbox in der 2D-Bildebene können zum Einstellen einer Steuer- interessierende Region verwendet werden. Die Interessierende Region (ROI) ist relevant zum Berechnen des Bildqualitätsparameters und zum Prüfen gegen die konfigurierte Schwelle.
-
Mit anderen Worten wird mit einer vorgegebenen Belichtungszeit exp_time und einer Bitverschiebung bitshift ein Frame n aufgenommen. Dazu werden weiterhin vorgegebene Kameraaufnahmeparameter cam_capture_par verwendet. Es erfolgt eine Abfrage, ob in Frame n – 1 der Kopf erfasst ist.
-
Wenn der Kopf erfasst ist, werden Qualitätsparameter qpar für Frame n berechnet. qpar sind Bildqualitätsparameter, wie Bildhelligkeit oder Kontrast im vollständigen Bild oder der Gesichtsbegrenzungsbox. Darauf erfolgt eine weitere Abfrage, ob qpar größer oder kleiner als ein Schwellenwert qpar_thr ist. Dabei ist qpar größer qpar_thr, wenn qpark größer als qpar_thrk und qpark+1 größer als qpar_thrk+1 und innerhalb operationeller kopfbezogener Parameter und Schwellenwerte ist.
-
Wenn die Abfrage positiv ist, wird die Belichtungszeit exp_time eingestellt und die Bitverschiebung für Frame n + 1 unter Verwendung eines Reglers eingestellt. In einer ersten Stufe wird die Belichtung eingestellt. Wenn g_mean kleiner als g_mean_thr ist, wird die exp_time(n + 1) auf clip(exp_time(n) + exp_time_step) gesetzt. Wenn g_mean größer als g_mean_thr ist, wird die exp_time(n + 1) auf clip(exp_time(n) – exp_time_step) gesetzt. Dabei beträgt der exp_time_range 0,5 bis 3 ms. Der exp_time_step beträgt 0,5 ms.
-
In einer zweiten Stufe wird die Bitverschiebung eingestellt. Wenn qpar(n) – qpar(n – 1) größer als qpar_delta_thr ist und last_adj_act größer als last_adi_act_thr ist, dann wird bitshift(n + 1) als bitshift(n) << bitshift_step eingestellt. Wenn qpar(n) – qpar(n – 1) kleiner als qpar_delta_thr ist und last_adj_act kleiner als last_adi_act_thr ist, dann wird bitshift(n + 1) als bitshift(n) >> bitshift_step eingestellt. Dabei beträgt der bitshift_range 6 bis 8 und der Bitshift_step beträgt 1.
-
In einem Ausführungsbeispiel wird die Belichtung in der ersten Stufe Histogramm basiert eingestellt. Wenn Hist_pix_cnt größer als pix_cnt__thr und der mean grey value ist, also Hist_pix_dark_cnt größer als pix_dark_cnt_thr und g_mean kleiner als g_mean_thr ist, wird die exp_time(n + 1) auf clip(exp_time(n) + exp_time_step) gesetzt. Wenn Hist_pix_cnt kleiner als pix_cnt__thr und der mean grey value ist, also Hist_pix_bright_cnt größer als pix_bright_cnt_thr und g_mean größer als g_mean_thr ist, wird die exp_time(n + 1) auf clip(exp_time(n) – exp_time_step) gesetzt.
-
4 zeigt ein Zustandsdiagramm eines Reglers 400 für ein Verfahren zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel. Der Regler ist als endlicher Automat beziehungsweise Zustandsmaschine beziehungsweise Finite-State-Machine (FSM) ausgeführt. Der Regler entspricht dabei im Wesentlichen dem Regler in 3. Der Regler 400 weist einen ersten Funktionsblock 402, einen zweiten Funktionsblock 404 und einen dritten Funktionsblock 406 auf. Dabei wird als Vorgabewert eine globale ROI in einem globalen Zustand so lange verendet, wie kein Kopf erkannt wird. Wenn der Kopf erkannt wird, wechselt der Regler 400 in einen Kopfverfolgungszustand innerhalb einer Kopfverfolgung ROI. Wenn der Kopf nicht mehr erkannt wird, wechselt der Regler 400 für eine Übergangszeit in einen Übergangszustand mit einer Übergangs ROI. Wird der Kopf innerhalb der Übergangszeit wieder erkannt, wechselt der Regler 400 wieder in den Kopfverfolgungszustand in der Kopfverfolgung ROI. Wird der Kopf innerhalb der Übergangszeit nicht wieder erkannt, wechselt der Regler 400 wieder in den globalen Zustand mit der globalen ROI.
-
5 zeigt Darstellungen einer Detektion eines Objekts 500 in einem Bild einer Innenraumkamera gemäß einem Ausführungsbeispiel. Dabei wird, wie in 4 dargestellt mit einer voreingestellten Einstellung der interessierenden Region 502 (ROI) begonnen. Im Vorgabezustand wird die Innenraumkamera mit einer Fix exposure time beziehungsweise Fix Belichtungszeit oder mit adaptiver Belichtungszeit beziehungsweise mit adaptiver exposure time betrieben. Die ROI 502, wo die Wahrscheinlichkeit für den Kopf 500 am höchsten ist, wird verwendet. Die interessierende Region 502 kann als Kopfbereich 502 bezeichnet werden.
-
Die ROI-Größe bei der Kopfverfolgung ist abhängig von der zweidimensionalen Größe des erfassten Kopfes 500, der Güte der Kopfverfolgung und der Rahmenrate der Kopfverfolgung. Die Mitte der interessierenden Region 502 ist die Mitte des erfassten zweidimensionalen Kopfes 500, mit Begrenzung, um die interessierende Region 502 innerhalb des Bildes zu halten.
-
Der Sollwert wird linear über der Zeit umgewandelt. Falls die Belichtungszeit fest ist, wird ein Tiefpassfilter mit längerer Anstiegszeit verwendet. Falls die Belichtungszeit adaptiv ist, werden Ecken der interessierenden Region 502 aus der Kopfverfolgung linearer in globale ROI-Ecken umgewandelt.
-
6 zeigt ein Ablaufdiagramm eines Algorithmus zum Betreiben einer Innenraumkamera 104 gemäß einem Ausführungsbeispiel. Der Regler implementiert einen modellbasierten Algorithmus. Der optimale Betätigungswert beziehungsweise die Belichtungszeit û wird unter Verwendung eines inversen Modells 600 berechnet. Dabei ist ein Eingangssignal u die Belichtungszeit. Ein Ausgangssignal y ist ein Mittelwert von Bildpixelwerten. Beide Werte werden im inversen Modell verarbeitet und ergeben ein geschätztes optimales Eingangssignal û, das über einen LPF Tiefpassfilter 602 mit einer Anstiegszeit von 0,14 Sekunden gefiltert wird, um wieder als Eingangssignal u verwendet zu werden.
-
7 zeigt ein Blockschaltbild einer Regelstrecke zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel. Die Regelstrecke setzt den in 6 dargestellten Algorithmus um. Unter Verwendung eines mittleren Sollwerts und eines Bildmittelwerts (y) wird in einer Berechnungseinrichtung 700 die Belichtungszeit als geschätztes optimales Eingangssignal (û) des Systems berechnet. Der mittlere Sollwert ist dabei ein vordefinierter Bildmittelwert, der zu guter Bildqualität führt. Der Bildmittelwert ist der berechnete Mittelwert der Bildpixelwerte eines abwärts abgetasteten beziehungsweise downsampled Bildes. Das Eingangssignal (û) wird in dem Tiefpassfilter 602 mit der Anstiegszeit von 0,14 Sekunden gefiltert. In einer Abbildungseinrichtung 702 wird das Eingangssignal des Systems auf Kamerasteuervariablen abgebildet. Die Kamerabetätigungsvariablen sind dabei die Belichtungszeit, die Verstärkung und die Bitverschiebung.
-
8 zeigt eine Darstellung eines Anwendungsfalls für eine Innenraumkamera 104 gemäß einem Ausführungsbeispiel. Der Anwendungsfall entspricht dabei im Wesentlichen dem Anwendungsfall in 1. Hier ist im Gegensatz dazu der Kopf 110 nahe an der Kamera 104 beziehungsweise IR 112 an einer Nahgrenze des Kopfbereichs 106 beziehungsweise einem Beginn der head motion box HMB 106 angeordnet.
-
9 zeigt eine Darstellung eines Anwendungsfalls für eine Innenraumkamera 104 gemäß einem Ausführungsbeispiel. Der Anwendungsfall entspricht dabei im Wesentlichen dem Anwendungsfall in 1. Hier ist im Gegensatz dazu der Kopf 110 weit von der Kamera 104 beziehungsweise IR 112 an einer Ferngrenze des Kopfbereichs 106 beziehungsweise einem Ende der head motion box HMB 106 angeordnet.
-
10 zeigt eine Darstellung eines Anwendungsfalls für eine Innenraumkamera 104 gemäß einem Ausführungsbeispiel. Der Anwendungsfall entspricht dabei im Wesentlichen dem Anwendungsfall in 1. Hier ist ein Objekt 1000 zwischen der Kamera und dem Kopf 110 angeordnet. Das Objekt 1000 verdeckt dabei den Kopf 110 teilweise. Das Verdeckungsobjekt 1000, beispielsweise eine Hand oder das Lenkrad schattet Teile des Gesichts ab.
-
11 zeigt eine Darstellung eines Anwendungsfalls für eine Innenraumkamera 104 gemäß einem Ausführungsbeispiel. Der Anwendungsfall entspricht dabei im Wesentlichen dem Anwendungsfall in 1. Hier wird der Kopf 110 durch Fremdlichtquellen 1100 angeleuchtet. Umgebungslicht, zum Beispiel von der Infrastruktur oder von Frontscheinwerfern entgegenkommender Fahrzeuge und/oder Sonnenlicht aus unterschiedlichen Winkeln, wie frontal, seitlich und von hinten bewirkt dabei einen großen Dynamikbereich. Das Umgebungslicht, unterschiedliche Kopfpositionen zu der Position der Kamera 104 beziehungsweise des IR 112 aufgrund des Kopfbewegungsbereichs 106 (head motion box, HMB) und störenden Objekten erfordert eine Kamerasteuerung mit guter Bildqualität zur Computervision.
-
12 zeigt ein Ablaufdiagramm eines Verfahrens zum Betreiben einer Innenraumkamera gemäß einem Ausführungsbeispiel. Das Verfahren weist einen Schritt 1200 des Regelns auf. Dabei wird zumindest ein Kameraparameter der Innenraumkamera unter Verwendung zumindest eines Qualitätsparameters eines vorausgehend erfassten Bilds der Innenraumkamera geregelt, wenn ein Kopf einer Zielperson in dem Bild detektiert wird. Der Kameraparameter wird auf einen vordefinierten Wert gesetzt, wenn kein Kopf detektiert wird.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
