DE102020215652A1

DE102020215652A1 - Fahrzeug-bildverarbeitungssystem

Info

Publication number: DE102020215652A1
Application number: DE102020215652.2A
Authority: DE
Inventors: SriHarsha Yeluri; James Oldiges; Venkat Adusumalli; Robert Berg; Santanu Panja; Radha Sivaraman
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-12-19
Filing date: 2020-12-10
Publication date: 2021-06-24
Also published as: US11281209B2; CN113011241A; US20210191386A1

Abstract

[0077] Ein Verfahren zum Verarbeiten von Livebildern von einer Fahrzeugkamera schließt das Erfassen von Livebildern und das Erkennen eines Objekts innerhalb eines ersten Livebildes der Livebilder ein. Die Livebilder nach dem ersten Livebild werden zur Objekterkennung ausgewertet. Ein Konfidenzniveau wird als Reaktion auf die Objekterkennungsbewertung in jedem der Livebilder nach dem ersten Livebild eingestellt. Ein endgültiger Wert des Konfidenzniveaus bei der Objekterkennung innerhalb der Livebilder wird festgelegt, nachdem die Livebilder ausgewertet wurden.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft im Allgemeinen Fahrzeugassistenzsysteme und speziell ein Bildverarbeitungssystem für einen Fahrzeuginnenraum.
ALLGEMEINER STAND DER TECHNIK
Aktuelle Fahrerassistenzsysteme (ADAS - Advanced Driver Assistance System) bieten eine Reihe von Überwachungsfunktionen in Fahrzeugen. Insbesondere kann das ADAS die Umgebung innerhalb des Fahrzeugs überwachen und den Fahrer des Fahrzeugs über die darin herrschenden Bedingungen benachrichtigen. Zu diesem Zweck kann das ADAS Bilder vom Fahrzeuginnenraum aufnehmen und die Bilder digital verarbeiten, um Informationen zu extrahieren. Das Fahrzeug kann eine oder mehrere Funktionen als Reaktion auf die extrahierten Informationen ausführen.
KURZDARSTELLUNG
In einem Beispiel schließt ein Verfahren zum Verarbeiten von Livebildern von einer Fahrzeugkamera das Erfassen von Livebildern und das Erkennen eines Objekts innerhalb eines ersten Livebildes der Livebilder ein. Die Livebilder nach dem ersten Livebild werden zur Objekterkennung ausgewertet. Ein Konfidenzniveau wird als Reaktion auf die Objekterkennungsbewertung in jedem der Livebilder nach dem ersten Livebild eingestellt. Ein endgültiger Wert des Konfidenzniveaus bei der Objekterkennung innerhalb der Livebilder wird festgelegt, nachdem die Livebilder ausgewertet wurden.
In einem anderen Beispiel schließt ein Verfahren zum Verarbeiten von Livebildern von einer Fahrzeugkamera das Erfassen von Livebildern eines Innenraums des Fahrzeugs ein. Die Livebilder werden mit einem ideal ausgerichteten Bild des Fahrzeuginnenraums, der eine Region von Interesse aufweist, verglichen, um eine Homografiematrix zu generieren. Die Homografiematrix wird auf die Region von Interesse angewendet, um eine kalibrierte Region von Interesse zu generieren, die auf jedes der Livebilder projiziert wird. In einem ersten Livebild der Livebilder wird mindestens ein Objekt innerhalb der kalibrierten Region von Interesse erkannt. Die kalibrierte Region von Interesse in den Livebildern nach dem ersten Livebild wird zur Objekterkennung ausgewertet. Jedem der mindestens einen erkannten Objekte ist ein Konfidenzwert zugeordnet. Jeder Konfidenzwert wird jedes Mal erhöht, wenn das zugeordnete Objekt in einem der Livebilder nach dem ersten Livebild erkannt wird, und jedes Mal verringert, wenn das zugeordnete Objekt in keinem der Livebilder nach dem ersten Livebild erkannt wird. Ein endgültiger Wert des Konfidenzniveaus bei der Objekterkennung innerhalb der Livebilder wird für jedes erkannte Objekt festgelegt, nachdem die Livebilder ausgewertet wurden.
Weitere Aufgaben und Vorteile sowie ein umfassenderes Verständnis der Erfindung ergeben sich aus der folgenden detaillierten Beschreibung und den beigefügten Zeichnungen.
Figurenliste

1A ist eine Draufsicht auf ein Fahrzeug mit einem beispielhaften Bildverarbeitungssystem gemäß der vorliegenden Erfindung.
1B ist eine Schnittansicht entlang der Linie 1B-1B des Fahrzeugs von 1A.
2A ist eine schematische Darstellung eines ideal ausgerichteten Bildes des Fahrzeuginnenraums.
2B ist eine schematische Darstellung eines anderen beispielhaften ideal ausgerichteten Bildes.
3 ist eine schematische Darstellung eines Livebildes des Fahrzeuginnenraums.
4 ist ein Vergleich zwischen dem ideal ausgerichteten Bild und dem Livebild unter Verwendung generierter Schlüsselpunkte.
5 ist eine schematische Darstellung eines kalibrierten Livebildes mit einer ideal ausgerichteten Region von Interesse.
6 ist eine schematische Darstellung des Livebildes mit einer kalibrierten Region von Interesse.
7 ist eine schematische Darstellung aufeinanderfolgender Livebilder, die vom Bildverarbeitungssystem aufgenommen wurden.
8 ist eine schematische Darstellung eines Konfidenzniveaus, das zur Auswertung der Livebilder verwendet wird.
9 ist eine vergrößerte Ansicht eines Abschnitts des Konfidenzniveaus von 8.
10 ist eine schematische Darstellung eines Kindes im Fahrzeuginnenraum.
11 ist eine schematische Darstellung eines Haustieres im Fahrzeuginnenraum.
12 ist eine schematische Darstellung einer Steuerung, die mit Fahrzeugkomponenten verbunden ist.

DETAILLIERTE BESCHREIBUNG
Die vorliegende Erfindung betrifft im Allgemeinen Fahrzeugassistenzsysteme und speziell ein Bildverarbeitungssystem für einen Fahrzeuginnenraum. Die 1A-1B veranschaulichen ein Fahrzeug 20 mit einem beispielhaften Fahrzeugassistenzsystem in Form eines Bildverarbeitungssystems 10 zum Erfassen und Verarbeiten von Bildern innerhalb des Fahrzeugs. Das Fahrzeug 20 erstreckt sich entlang einer Mittellinie 22 von einem ersten oder vorderen Ende 24 zu einem zweiten oder hinteren Ende 26. Das Fahrzeug 20 erstreckt sich nach einer linken Seite 28 und einer rechten Seite 30 auf gegenüberliegenden Seiten der Mittellinie 22. Die vorderen und hinteren Türen 36, 38 sind auf beiden Seiten 28, 30 vorgesehen. Das Fahrzeug 20 schließt ein Dach 32 ein, das mit den vorderen und hinteren Türen 36, 38 auf jeder Seite 28, 30 zusammenwirkt, um eine Fahrgastkabine oder einen Innenraum 40 zu definieren. Ein Äußeres des Fahrzeugs 20 ist bei 41 angegeben.
Das vordere Ende 24 des Fahrzeugs 20 schließt eine Instrumententafel 42 ein, die dem Innenraum 40 zugewandt ist. Ein Lenkrad 44 erstreckt sich von der Instrumententafel 42 aus. Alternativ kann das Lenkrad 44 weggelassen werden (nicht dargestellt), wenn das Fahrzeug 20 ein autonomes Fahrzeug ist. Unabhängig davon befindet sich eine Windschutzscheibe oder Frontscheibe 50 zwischen der Instrumententafel 42 und dem Dach 32. Ein Rückspiegel 52 ist innen an der Windschutzscheibe 50 befestigt. Eine Heckscheibe 56 am hinteren Ende 26 des Fahrzeugs 20 hilft, den Innenraum 40 zu schließen.
Die Sitze 60 sind im Innenraum 40 positioniert, um einen oder mehrere Insassen 70 aufzunehmen. In einem Beispiel können die Sitze 60 in vorderen und hinteren Reihen 62 bzw. 64 angeordnet sein, die nach vorne gerichtet sind. In einer autonomen Fahrzeugkonfiguration (nicht dargestellt) kann die vordere Reihe 62 nach hinten gerichtet sein. Eine Mittelkonsole 66 ist zwischen den Sitzen 60 in der vorderen Reihe 62 positioniert.
Das Bildverarbeitungssystem 10 schließt mindestens eine Kamera 90 ein, die in dem Fahrzeug 20 positioniert ist, um Bilder des Innenraums 40 aufzunehmen. Wie gezeigt, ist eine Kamera 90 mit dem Rückspiegel 52 verbunden, obwohl andere Positionen, z. B. das Dach 32, die Heckscheibe 56 usw., in Betracht gezogen werden. In jedem Fall hat die Kamera 90 ein Sichtfeld 92, das sich über einen großen Prozentsatz davon nach hinten durch den Innenraum 40 erstreckt, z. B. den Raum zwischen den Türen 36, 38 und von der Windschutzscheibe 50 zur Heckscheibe 56. Die Kamera 90 erzeugt Signale, die die aufgenommenen Bilder angeben, und sendet die Signale an eine Steuerung 100. Es versteht sich, dass die Kamera 90 alternativ so an dem Fahrzeug 20 angebracht sein kann, dass sich das Sichtfeld 92 über die Fahrzeugaußenseite 41 erstreckt oder diese einschließt. Die Steuerung 100 verarbeitet wiederum die Signale für eine zukünftige Verwendung.
Wie in 2A gezeigt, wird bei der Herstellung des Fahrzeugs 20 eine Vorlage oder ein ideal ausgerichtetes Bild 108 des Innenraums 40 erstellt, um die Kalibrierung der Kamera 90 nach dem Einbau der Kamera und in regelmäßigen Abständen danach zu unterstützen. Das ideal ausgerichtete Bild 108 spiegelt eine ideale Position der Kamera 90 wider, die auf eine vorgeschriebene Weise an dem Innenraum 40 ausgerichtet ist, um ein gewünschtes Sichtfeld 92 zu erzeugen. Zu diesem Zweck ist für jede Marke und jedes Modell des Fahrzeugs 20 die Kamera 90 so positioniert, dass ihre Livebilder, d. h. Bilder, die während des Fahrzeuggebrauchs aufgenommen wurden, am ehesten mit der ideal ausgerichteten gewünschten Orientierung im Innenraum 40 einschließlich einer gewünschten Position, Tiefe und Grenze übereinstimmen. Das ideal ausgerichtete Bild 108 nimmt Abschnitte des Innenraums 40 auf, in denen es wünschenswert ist, Objekte, z. B. Sitze 60, Insassen 70, Haustiere oder persönliche Gegenstände, während des Betriebs des Fahrzeugs 20 zu überwachen / zu erkennen.
Das ideal ausgerichtete Bild 108 wird durch eine Grenze 110 definiert. Die Grenze 110 weist eine obere Grenze 110T, eine untere Grenze 110B und ein Paar seitliche Grenzen 110L, 110R auf. Das heißt, die gezeigte Grenze 110 ist rechteckig, obwohl andere Formen für die Grenze, z. B. dreieckig, kreisförmig usw., in Betracht gezogen werden. Da die Kamera 90 in dem Fahrzeug 20 nach hinten zeigt, befindet sich die seitliche Grenze 11 OL auf der linken Seite des Bildes 108, aber auf der rechten Seite 30 des Fahrzeugs 20. In ähnlicher Weise befindet sich die seitliche Grenze 110R auf der rechten Seite des Bildes 108 auf der linken Seite 28 des Fahrzeugs 20. Das ideal ausgerichtete Bild 108 wird mit einem globalen Koordinatensystem 112 mit x-, y- und z-Achsen überlagert.
Die Steuerung 100 kann das ideal ausgerichtete Bild 108 in eine oder mehrere Regionen von Interesse 114 (in den Figuren abgekürzt „ROI“) und/oder eine oder mehrere Regionen nicht von Interesse 116 (in den Figuren unter „außerhalb der ROI“ angegeben) unterteilen. In dem gezeigten Beispiel grenzen die Grenzlinien 115 die Region von Interesse 114 in der Mitte von den Regionen nicht von Interesse 116 auf beiden Seiten davon ab. Die Grenzlinien 115 erstrecken sich zwischen den Grenzpunkten 111, die in diesem Beispiel die Grenze 110 schneiden. Die Region von Interesse 114 liegt zwischen den Grenzen 110T, 110B, 115. Die linke (wie in 2 gesehen) Region nicht von Interesse 116 liegt zwischen den Grenzen 110T, 110B, 110L, 115. Die rechte Region nicht von Interesse 116 liegt zwischen den Grenzen 110T, 110B, 110R, 115.
In dem in 2A gezeigten Beispiel kann die Region von Interesse 114 die Stelle sein, die die Reihen 62, 64 der Sitze 60 einschließt. Die Region von Interesse 114 kann mit Stellen des Innenraums 40 zusammenfallen, bei denen es logisch ist, dass sich ein bestimmtes Objekt oder bestimmte Objekte darin befinden würden. Beispielsweise ist es logisch, dass die Insassen 70 in den Sitzen 60 in jeder der Reihen 62, 64 positioniert sind, und daher erstreckt sich die gezeigte Region von Interesse 114 im Allgemeinen bis zur seitlichen Ausdehnung der Reihen. Mit anderen Worten ist die gezeigte Region von Interesse 114 speziell für Insassen 70 dimensioniert und geformt - sozusagen eine insassenspezifische Region von Interesse.
Es versteht sich, dass verschiedene Objekte von Interesse, z. B. Haustiere, Laptops usw., eine spezifisch dimensionierte und geformte Region von Interesse aufweisen können, die vordefiniert, wo sich dieses bestimmte Objekt logischerweise im Fahrzeug 20 befindet. Diese verschiedenen Regionen von Interesse haben vorgegebene, bekannte Positionen innerhalb des ideal ausgerichteten Bildes 108. Die verschiedenen Regionen von Interesse können sich in Abhängigkeit von den Objekten von Interesse, die jeder Region von Interesse zugeordnet sind, überlappen.
Vor diesem Hintergrund zeigt 2B verschiedene Regionen von Interesse in dem ideal ausgerichteten Bild 108 für verschiedene Objekte von Interesse, nämlich ist die Region von Interesse 114a für ein Haustier in der hinteren Reihe 64, die Region von Interesse 114b für einen Insassen auf dem Fahrersitz 60, und die Region von Interesse 114c für einen Laptop vorgesehen. Jede Region von Interesse 114a-114c ist zwischen zugeordneten Grenzpunkten 111 begrenzt. In jedem Fall ist die Region von Interesse 114-114c die Umkehrung der Region nicht von Interesse (Regionen) 116, so dass die Regionen zusammen das gesamte ideal ausgerichtete Bild 108 bilden. Mit anderen Worten wird angenommen, dass sich überall in dem ideal ausgerichteten Bild 108, wo sich keine Begrenzung durch die Region von Interesse 114-114c befindet, die Region(en) nicht von Interesse 116 befinden.
Zurück zu dem in 2A gezeigten Beispiel sind die Regionen nicht von Interesse 116 die Stellen seitlich außerhalb der Reihen 62, 64 und angrenzend an die Türen 36, 38. Die Region nicht von Interesse 116 fallen mit Stellen des Innenraums 40 zusammen, bei denen es unlogisch ist, dass sich die Objekte (hier Insassen 70) darin befinden. Zum Beispiel ist es unlogisch, dass sich ein Insasse 70 an der Innenseite des Daches 32 befinden würde.
Während des Betriebs des Fahrzeugs 20 erfasst die Kamera 90 Bilder des Innenraums 40 und sendet Signale an die Steuerung 100, die die Bilder angeben. Die Steuerung 100 führt als Reaktion auf die empfangenen Signale eine oder mehrere Operationen an dem Bild aus und erkennt dann Objekte von Interesse im Innenraum 40. Die während des Betriebs des Fahrzeugs 20 aufgenommenen Bilder werden hier als „Livebilder“ bezeichnet. Ein beispielhaftes aufgenommenes Livebild 118 ist in 3 gezeigt.
Das gezeigte Livebild 118 ist durch eine Grenze 120 definiert. Die Grenze 120 schließt eine obere Grenze 120T, eine untere Grenze 120B und ein Paar seitliche Grenzen 120L, 120R ein. Da die Kamera 90 in dem Fahrzeug 20 nach hinten zeigt, befindet sich die seitliche Grenze 120L auf der linken Seite des Livebildes 118, aber auf der rechten Seite 30 des Fahrzeugs 20. In ähnlicher Weise befindet sich die seitliche Grenze 120R auf der rechten Seite des Livebildes 118 auf der linken Seite 28 des Fahrzeugs 20.
Das Livebild 118 ist mit einem lokalen Koordinatensystem 122 mit x-, y- und z-Achsen aus der Perspektive der Kamera 90 überlagert oder diesem zugeordnet. Das Livebild 118 kann jedoch aus mehreren Gründen eine Abweichung der Position/Orientierung in der Kamera 90 im Vergleich zur Position/Orientierung der Kamera angeben, die das ideal ausgerichtete Bild 108 generiert hat. Erstens kann die Kamera 90 falsch oder auf andere Weise in einer Orientierung installiert sein, die ein Sichtfeld 92 aufnimmt, das von dem Sichtfeld abweicht, das von der Kamera generiert wird, die das ideal ausgerichtete Bild 108 aufnimmt. Zweitens kann die Position der Kamera 90 nach der Installation durch Vibrationen beispielsweise durch Straßenzustände und/oder Stöße auf den Rückspiegel 52 beeinflusst werden. In jedem Fall sind die Koordinatensysteme 112, 122 möglicherweise nicht identisch, und daher ist es wünschenswert, die Kamera 90 zu kalibrieren, um eventuelle Orientierungsunterschiede zwischen der Position der Kamera, die die Livebilder 118 aufnimmt, und der idealen Position der Kamera, die das ideal ausgerichtete Bild 108 aufnimmt, zu berücksichtigen.
In einem Beispiel verwendet die Steuerung 100 eine oder mehrere Bildanpassungstechniken, wie beispielsweise ORB-Merkmalserkennung (Oriented FAST androtated BRIEF- ORB), um in jedem Bild 108, 118 Schlüsselpunkte zu generieren. Die Steuerung 100 generiert dann eine Homografiematrix aus übereinstimmenden Schlüsselpunktpaaren und verwendet diese Homografiematrix zusammen mit bekannten systembedingten Eigenschaften der Kamera 90, um Abweichungen der Kameraposition/-Orientierung über acht Freiheitsgrade zu identifizieren, um die Steuerung 100 bei der Kalibrierung der Kamera zu unterstützen. Damit kann das Bilderfassungssystem letztendlich Objekte in den Livebildern 118 besser erfassen und als Reaktion darauf Entscheidungen treffen.
Eine beispielhafte Implementierung dieses Prozesses ist in 4 dargestellt. Das ideal ausgerichtete Bild 108 und das Livebild 118 sind zur Veranschaulichung nebeneinander angeordnet. Die Steuerung 100 identifiziert Schlüsselpunkte - dargestellte Schlüsselpunkte sind als ①, ②, ③, ④ angegeben - in jedem Bild 108, 118. Die Schlüsselpunkte sind unterschiedliche Positionen in den Bildern 108, 118, von denen versucht wird, sie miteinander in Übereinstimmung zu bringen und genau demselben Punkt/Position/Fleck in jedem Bild entsprechen zu lassen. Die Merkmale können zum Beispiel Ecken, Stichlinien usw. sein. Obwohl nur vier Schlüsselpunkte spezifisch identifiziert sind, versteht es sich, dass das Bilderfassungssystem 10 auf Hunderten oder Tausenden von Schlüsselpunkten beruhen kann.
In jedem Fall werden die Schlüsselpunkte identifiziert und ihre Positionen zwischen den Bildern 108, 118 abgebildet. Die Steuerung 100 berechnet die Homografiematrix basierend auf den Schlüsselpunktübereinstimmungen in dem Livebild 118 gegen das ideal ausgerichtete Bild 108. Mit zusätzlichen Informationen über die intrinsischen Kameraeigenschaften wird die Homografiematrix dann zerlegt, um alle Verschiebungen (x-, y- und z-Achse), Rotationen (Gieren, Neigen und Rollen) sowie die Größe und Skalierung der Kamera 90 zu identifizieren, die das Livebild 118 aufnimmt, relativ zur idealen Kamera, die das ideal ausgerichtete Bild 108 aufnimmt. Die Zerlegung der Homografiematrix quantifiziert daher die Fehlausrichtung zwischen der Kamera 90, die das Livebild 118 aufnimmt, und der idealen Kamera, die das ideal ausgerichtete Bild 108 über acht Freiheitsgrade aufnimmt.
Jedem Freiheitsgrad kann ein Fehlausrichtungsschwellenbereich zugeordnet werden. In einem Fall kann der Schwellenbereich verwendet werden, um zu identifizieren, welche Abweichungen des Freiheitsgrades des Livebildes 118 vernachlässigbar sind und welche als groß genug angesehen werden, um eine physische Korrektur der Position und/oder Orientierung der Kamera 90 zu rechtfertigen. Mit anderen Worten sind Abweichungen in einem oder mehreren bestimmten Freiheitsgraden zwischen den Bildern 108, 118 unter Umständen so klein, dass es gerechtfertigt ist, sie zu ignorieren - es findet keine Korrektur dieses Freiheitsgrades statt. Der Schwellenbereich kann für jeden Freiheitsgrad symmetrisch oder asymmetrisch sein.
Wenn zum Beispiel der Schwellenbereich für die Drehung um die x-Achse +/- 0,05° wäre, würde eine berechnete Abweichung der x-Achse im Livebild 118 von dem ideal ausgerichteten Bild 108 innerhalb des Schwellenbereichs beim physischen Einstellen der Kamera 90 nicht berücksichtigt. Andererseits würden Rotationsabweichungen um die x-Achse außerhalb des entsprechenden Schwellenbereichs eine schwerwiegende Fehlausrichtung darstellen und eine Neukalibrierung oder physische Neupositionierung der Kamera 90 erfordern. Die Schwellenbereiche dienen daher als Pass-/Fail-Filter für Abweichungen in jedem Freiheitsgrad.
Die Homografiematrixinformationen können in der Steuerung 100 gespeichert und verwendet werden, um jedes von der Kamera 90 aufgenommene Livebild 118 zu kalibrieren, wodurch das Bildverarbeitungssystem 10 besser auf diese Livebilder reagieren kann, z. B. Änderungen im Innenraum 40 besser feststellen kann. Zu diesem Zweck kann das Bilderfassungssystem 10 die Homografiematrix dazu verwenden, das gesamte Livebild 118 zu transformieren und ein kalibriertes oder eingestelltes Livebild 119 zu erzeugen, das in 5 gezeigt ist. Wenn dies geschieht, kann das kalibrierte Livebild 119 relativ zur Grenze 120 des Livebildes 118 gedreht oder verzerrt werden. Die Region von Interesse 114 wird dann - über die Begrenzungspunkte 111 - auf das kalibrierte Livebild 119 projiziert. Mit anderen Worten wird die nicht kalibrierte Region von Interesse 114 auf das kalibrierte Livebild 119 projiziert. Diese Transformation des Livebildes 118 kann jedoch umfangreiche Berechnungen durch die Steuerung 100 beinhalten.
Das heißt, die Steuerung 100 kann alternativ nur die Region von Interesse 114 transformieren oder kalibrieren und die kalibrierte Region von Interesse 134 auf das nicht kalibrierte Livebild 118 projizieren, um ein in 6 gezeigtes kalibriertes Bild 128 zu erzeugen. Mit anderen Worten kann die Region von Interesse 114 über die in der Homografiematrix gespeicherten Translations-, Rotations- und/oder Scher-/Skalendaten transformiert und auf das nicht transformierte Livebild 118 projiziert oder abgebildet werden, um das kalibrierte Bild 128 zu bilden.
Insbesondere werden die Begrenzungspunkte 111 der Region von Interesse 114 mit Transformationen unter Verwendung der generierten Homografiematrix kalibriert, um entsprechende Begrenzungspunkte 131 in dem kalibrierten Bild 128 zu erzeugen. Es versteht sich jedoch, dass einer oder mehrere der Begrenzungspunkte 131 außerhalb der Grenze 120 liegen könnten, wenn sie auf das Livebild 118 projiziert werden, wobei in diesem Fall der Schnittpunkt der Linien, die die Begrenzungspunkte mit der Grenze 120 verbinden, beim Definieren der kalibrierten Region von Interesse 134 (nicht dargestellt) hilft. Unabhängig davon richtet sich die neu kalibrierte Region von Interesse 134 auf dem Livebild 118 (in dem kalibrierten Bild 128) aus, wenn sich die ursprüngliche Region von Interesse 114 auf dem ideal ausgerichteten Bild 108 ausrichtet. Diese Kalibrierung fixiert tatsächlich die Region von Interesse 114, so dass Bildtransformationen nicht auf die gesamten Livebilder 118 angewendet werden müssen, wodurch die Verarbeitungszeit und die erforderliche Leistung verringert werden.
Zu diesem Zweck ist das Kalibrieren der Handvoll Grenzpunkte 111, die die Region von Interesse 114 definieren, unter Verwendung der Homografiematrix signifikant einfacher, schneller und effizienter als das Transformieren oder Kalibrieren des gesamten Livebildes 118, wie es in 5 durchgeführt wurde. Die Kalibrierung der Region von Interesse 114 stellt sicher, dass jede Fehlausrichtung in der Kamera 90 von der idealen Position, wenn überhaupt, nur minimale nachteilige Auswirkungen auf die Genauigkeit hat, mit der das Bilderfassungssystem 10 Objekte im Innenraum 40 erkennt. Das Bildverarbeitungssystem 10 kann die Kalibrierung der Region von Interesse 114 - jedes Mal, wenn eine neue Homografiematrix basierend auf einem neuen Livebild generiert wird - in vorgegebenen Zeitintervallen oder bei vorgegebenen Ereignissen durchführen, z. B. beim Starten des Fahrzeugs 20 oder in Intervallen von fünf Sekunden.
Die kalibrierte Region von Interesse 134 kann verwendet werden, um Objekte innerhalb des Innenraums 40 zu erkennen. Die Steuerung 100 analysiert das kalibrierte Bild 128 oder die kalibrierte Region von Interesse 134 und bestimmt, welche Objekte, wenn überhaupt, sich darin befinden. In dem gezeigten Beispiel erkennt die Steuerung 100 Insassen 70 innerhalb der kalibrierten Region von Interesse 134. Es versteht sich jedoch, dass die Steuerung 100 beliebige alternative oder zusätzliche Regionen von Interesse 114a-114c kalibrieren kann, um die zugeordnete kalibrierte Region von Interesse zu bilden und das bestimmte Objekt von Interesse (nicht dargestellt) darin zu erkennen.
Die Steuerung 100 kann beim Analysieren des kalibrierten Bildes 128 Objekte erkennen, die sich außerhalb der kalibrierten Region von Interesse 134 schneiden oder kreuzen und daher sowohl innerhalb als auch außerhalb der kalibrierten Region von Interesse vorhanden sind. Wenn dies geschieht, kann sich die Steuerung 100 auf einen Schwellenprozentsatz stützen, der bestimmt, ob das erkannte Objekt ignoriert wird. Insbesondere kann die Steuerung 100 ein erkanntes Objekt mit mindestens 75 % Überlappung mit der kalibrierten Region von Interesse 134 bestätigen oder „bestehen“ lassen. Folglich wird ein erkanntes Objekt mit einer Überlappung von weniger als dem prozentualen Schwellenwert mit der kalibrierten Region von Interesse 134 ignoriert oder „fällt durch“. Nur erkannte Objekte, die dieses Kriterium erfüllen, werden für die weitere Verarbeitung oder Aktion berücksichtigt.
Das Bildverarbeitungssystem 10 kann eine oder mehrere Operationen als Reaktion auf das Erkennen und/oder Identifizieren von Objekten innerhalb des kalibrierten Livebildes 128 ausführen. Dies kann - ohne darauf beschränkt zu sein - das Auslösen eines oder mehrerer Airbags einschließen, basierend darauf, wo sich (der) Insasse(n) im Innenraum 40 befindet(befinden), oder den Fahrer warnen, wenn sich ein Haustier oder Kind nicht in einer normalen Position in der hinteren Reihe 64 von Sitzen 60 befindet, usw.
Bezug nehmend auf 7-9 enthält das Bildverarbeitungssystem 10 zusätzliche Schutzmaßnahmen, einschließlich eines Konfidenzniveaus in Form eines Zählers, um sicherzustellen, dass Objekte in den Livebildern 118 genau erfasst werden. Das Konfidenzniveau kann in Kombination mit der vorstehend genannten Kalibrierung oder separat davon verwendet werden. Während des Betriebs des Fahrzeugs 20 nimmt die Kamera 90 mehrere Livebilder 118 (siehe 7) in schneller Folge auf, z. B. mehrere Bilder pro Sekunde. Jedes Livebild 118 erhält nacheinander einen Index, z. B. erstes, zweites, drittes, ... bis zum n-^ten Bild, und ein entsprechendes Suffix „a“, „b“, „c“... „n“ zur Verdeutlichung. Folglich ist das erste Livebild in 7 bei 118a angegeben. Das zweite Livebild ist bei 118b angegeben. Das dritte Livebild ist bei 118c angegeben. Das vierte Livebild ist bei 118d angegeben. Obwohl nur vier Livebilder 118a-118d gezeigt werden, versteht es sich, dass die Kamera 90 mehr oder weniger Livebilder aufnehmen kann. Unabhängig davon führt die Steuerung 100 eine Objekterkennung in jedem Livebild 118 durch.
In diesem Sinne wertet die Steuerung 100 das erste Livebild 118a aus und verwendet eine Bildinferenz, um zu bestimmen, welche(s) Objekt(e) - in diesem Beispiel ein Insasse 70 in der hinteren Reihe 64 - sich innerhalb des ersten Livebildes befindet(befinden). Die Bildinferenzsoftware ist so konfiguriert, dass ein Objekt nicht als erkannt angegeben wird, ohne dass mindestens ein vorgegebenes Konfidenzniveau, z. B. mindestens 70 % Konfidenz, eines Objekts in dem Bild vorliegt.
Es versteht sich, dass diese Erkennung nach dem Kalibrieren des ersten Livebildes 118a (und nachfolgender Livebilder) wie vorstehend beschrieben oder ohne Kalibrierung auftreten kann. Mit anderen Worten kann die Objekterkennung in jedem Livebild 118 oder speziell in der auf das Livebild 118 projizierten kalibrierten Region von Interesse 134 erfolgen. Die folgende Erörterung konzentriert sich auf das Erkennen des Objekts/Insassen 70 in den Livebildern 118, ohne zuerst die Livebilder zu kalibrieren und ohne eine Region von Interesse zu verwenden.
Wenn die Steuerung 100 ein oder mehrere Objekte in einem Livebild 118 erkennt, werden jedem erkannten Objekt eine eindeutige Identifikationsnummer und ein Konfidenzniveau 150 (siehe 8) zugeordnet oder zugewiesen. Obwohl mehrere Objekte erkannt werden können, wird in dem in den 7-9 gezeigten Beispiel nur ein einziges Objekt - in diesem Fall der Insasse 70 - erkannt und daher wird der Kürze halber nur das damit verbundene einzige Konfidenzniveau 150 gezeigt und beschrieben. Das Konfidenzniveau 150 hilft bei der Beurteilung der Zuverlässigkeit der Objekterkennung.
Das Konfidenzniveau 150 hat einen Bereich zwischen einem ersten und zweiten Wert 152, 154, z. B. einen Bereich von -20 bis 20. Der erste Wert 152 kann als Minimalwert des Zählers 150 fungieren. Der zweite Wert 154 kann als Maximalwert des Zählers 150 fungieren. Ein Konfidenzniveauwert 150 von 0 gibt an, dass keine Livebilder 118 ausgewertet wurden oder keine Bestimmung über die tatsächliche Existenz oder das Fehlen des erkannten Objekts in den Livebildern 118 vorgenommen werden kann. Ein positiver Wert für das Konfidenzniveau 150 gibt an, dass es eher wahrscheinlich ist, dass das erkannte Objekt tatsächlich in den Livebildern 118 vorhanden ist. Ein negativer Wert für das Konfidenzniveau 150 gibt an, dass es eher wahrscheinlich ist, dass das erkannte Objekt in den Livebildern 118 tatsächlich nicht vorhanden ist.
Wenn außerdem das Konfidenzniveau 150 von einem Wert von 0 auf den ersten Wert 152 abnimmt, steigt die Konfidenz, dass das erkannte Objekt in den Livebildern 118 tatsächlich nicht vorhanden ist (eine „Falsch“-Angabe). Wenn andererseits das Konfidenzniveau 150 von 0 auf den zweiten Wert 154 zunimmt, nimmt die Konfidenz, dass das erkannte Objekt in den Livebildern 118 tatsächlich vorhanden ist (eine „Wahr“-Angabe), zu.
Bevor das erste Livebild 118a ausgewertet wird, hat das Konfidenzniveau 150 einen Wert von 0 (siehe auch 9). Wenn die Steuerung 100 den Insassen 70 innerhalb des ersten Livebildes 118a erkennt, steigt der Wert des Konfidenzniveaus 150 auf 1. Diese Zunahme ist schematisch durch den Pfeil A in 9 dargestellt. Alternativ kann das Erkennen eines Objekts in dem ersten Livebild 118a das Konfidenzniveau 150 auf einem Wert von 0 halten, aber den Mehrbildauswertungsprozess auslösen oder initiieren.
Für jedes nachfolgende Livebild 118b-118d erkennt die Steuerung 100, ob der Insasse 70 anwesend ist oder nicht. Der Wert des Konfidenzniveaus 150 nimmt zu (nähert sich dem zweiten Wert 154), wenn die Steuerung 100 den Insassen 70 in jedem der Livebilder 118b-118d erkennt. Der Wert des Konfidenzniveaus 150 nimmt jedes Mal ab (nähert sich dem ersten Wert 152), wenn die Steuerung 100 den Insassen 70 in einem der Livebilder 118b-118d nicht erkennt.
Der Betrag, um den das Konfidenzniveau 150 für jedes aufeinanderfolgende Livebild zunimmt oder abnimmt, kann gleich sein. Wenn beispielsweise der Insasse 70 in fünf aufeinanderfolgenden Livebildern 118 erkannt wird, kann Konfidenzniveau 150 wie folgt zunehmen: 0, 1, 2, 3, 4, 5. Alternativ kann das Konfidenzniveau 150 nichtlinear zunehmen, wenn die aufeinanderfolgende Anzahl von Livebildern, in denen der Insasse 70 erkannt wird, zunimmt. In diesem Fall kann das Konfidenzniveau 150 nach jeder Livebild-118-Erkennung des Insassen 70 wie folgt zunehmen: 0, 1, 3, 6, 10, 15. Mit anderen Worten kann die Zuverlässigkeit oder Konfidenz der Objekterkennungsbewertung schnell zunehmen, wenn das Objekt in mehr aufeinanderfolgenden Bildern erkannt wird.
In ähnlicher Weise kann das Konfidenzniveau 150, wenn der Insasse 70 in fünf aufeinanderfolgenden Livebildern 118 nicht erkannt wird, wie folgt abnehmen: 0, -1, -2, -3, -4, -5. Wenn der Insasse 70 alternativ in fünf aufeinanderfolgenden Livebildern 118 nicht erkannt wird, kann das Konfidenzniveau 150 nichtlinear wie folgt abnehmen: 0, -1, -3, -6, -10, -15. Mit anderen Worten kann die Zuverlässigkeit oder Konfidenz der Objekterkennungsbewertung schnell abnehmen, wenn das Objekt nicht in mehr aufeinanderfolgenden Bildern erkannt wird. In allen Fällen stellt sich das Konfidenzniveau 150 ein, d. h. es nimmt zu oder ab, wenn jedes aufeinanderfolgende Livebild 118 zur Objekterkennung ausgewertet wird. Es versteht sich, dass dieser Prozess für jedes Konfidenzniveau 150 wiederholt wird, das jedem erkannten Objekt zugeordnet ist, und daher wird jedes erkannte Objekt der gleichen Objekterkennungsbewertung unterzogen.
Es versteht sich auch, dass, sobald der Zähler 150 den Minimalwert 152 erreicht, eine nachfolgende Nichterkennung den Wert des Zählers nicht gegenüber dem Minimalwert verändert. In ähnlicher Weise ändert eine nachfolgende Erkennung den Wert des Zählers gegenüber dem Maximalwert, sobald der Zähler 150 den Maximalwert 154 erreicht.
Mit dem gezeigten Beispiel erkennt die Steuerung nach dem Erkennen des Insassen 70 in dem ersten Livebild 118a dann den Insassen in dem zweiten Livebild 118b, erkennt den Insassen in dem dritten Livebild 118c nicht, und erkennt den Insassen in dem vierten Livebild Bild 118d. Das Fehlen einer Erkennung in dem dritten Livebild 118c kann auf Beleuchtungsänderungen, eine schnelle Bewegung des Insassen 70 usw. zurückgeführt werden. Wie gezeigt, wird das dritte Livebild 118c durch Lichtverhältnisse in dem/um das Fahrzeug 20 verdunkelt, wodurch die Steuerung 100 den Insassen 70 nicht erkennen kann. Gleichwohl erhöht das Konfidenzniveau 150 seinen Wert um 2 in der durch den Pfeil B angegebenen Weise als Reaktion auf die Erkennung des Insassen 70 in dem zweiten Livebild 118b.
Das Konfidenzniveau 150 sinkt dann in der durch den Pfeil C angegebenen Weise um 1 als Reaktion darauf, dass der Insasse 70 im dritten Livebild 118c nicht erkannt wird. Das Konfidenzniveau 150 erhöht sich dann in der durch den Pfeil D angegebenen Weise um 1 als Reaktion auf die Erkennung des Insassen 70 im vierten Livebild 118d. Das endgültige Konfidenzniveau 150 hat nach Auswertung aller Livebilder 118a-118d zur Objekterkennung einen Wert von 3.
Der Endwert des Konfidenzniveaus 150 zwischen dem ersten und dem zweiten Wert 152, 154 kann angeben, wann die Steuerung 100 feststellt, dass der erkannte Insasse 70 tatsächlich anwesend ist, und den Grad des Vertrauens in diese Bestimmung. Der Endwert des Konfidenzniveaus 150 kann auch angeben, wann die Steuerung 100 feststellt, dass der erkannte Insasse 70 tatsächlich nicht anwesend ist, und den Grad des Vertrauens in diese Bestimmung. Die Steuerung 100 kann dazu konfiguriert sein, die endgültige Bestimmung zu treffen, ob ein erkannter Insasse 70 tatsächlich anwesend ist oder nicht, nachdem eine vorgegebene Anzahl aufeinanderfolgender Livebilder 118 (in diesem Fall vier) ausgewertet wurde, oder innerhalb eines vorgegebenen Zeitrahmens, z. B. Sekunden oder Minuten, nach dem Erfassen der Livebilder.
Der positive Wert des Konfidenzniveaus 150 nach dem Untersuchen der vier Livebilder 118a-118d gibt an, dass es eher wahrscheinlich ist, dass sich der Insasse 70 tatsächlich in dem Fahrzeug 20 befindet. Der Wert des endgültigen Konfidenzniveaus 150 gibt an, dass die Bewertung weniger sicher ist als ein Endwert, der näher am zweiten Wert 154 liegt, aber sicherer als ein Endwert, der näher an 0 liegt. Die Steuerung 100 kann dazu konfiguriert sein, jedem Wert oder Wertebereich zwischen den und einschließlich der Werte(n) 152, 154 des endgültigen Konfidenzniveaus 150 spezifische Prozentsätze oder Werte zuzuordnen.
Die Steuerung 100 kann dazu konfiguriert sein, eine oder mehrere Fahrzeugfunktionen als Reaktion auf den Wert des endgültigen Konfidenzniveaus 150 freizugeben, zu sperren, zu betätigen und/oder zu deaktivieren. Dies kann zum Beispiel das Steuern von Fahrzeugairbags, Gurtstraffern, Türschlössern, Notbremsen, HLK usw. einschließen. Es versteht sich, dass unterschiedliche Fahrzeugfunktionen unterschiedlichen Werten des endgültigen Konfidenzniveaus 150 zugeordnet sein können. Beispielsweise können Fahrzeugfunktionen, die der Insassensicherheit zugeordnet sind, einen relativ höheren Wert für das endgültige Konfidenzniveau 150 erfordern, um die Betätigung auszulösen, als eine Fahrzeugfunktion, die nicht mit Insassensicherheit zusammenhängt. Zu diesem Zweck können Objekterkennungsbewertungen mit einem endgültigen Konfidenzniveau 150 von 0 oder darunter in einigen Situationen vollständig verworfen oder ignoriert werden.
Die Auswertung der Livebilder 118 kann während des Betriebs des Fahrzeugs 20 mehrmals oder periodisch durchgeführt werden. Die Bewertung kann innerhalb des Fahrzeuginnenraums 40 durchgeführt werden, wenn das Sichtfeld 92 der Kamera 90 nach innen gerichtet ist, oder um das Fahrzeugäußere 41 herum, wenn das Sichtfeld nach außen gerichtet ist. In jedem Fall untersucht die Steuerung 100 mehrere Livebilder 118 einzeln auf Objekterkennung und trifft eine endgültige Bestimmung mit einem zugeordneten Konfidenzwert, dass das erkannte Objekt tatsächlich in den Livebildern vorhanden ist oder nicht.
Das hier gezeigte und beschriebene Bilderfassungssystem ist insofern vorteilhaft, als es eine erhöhte Zuverlässigkeit bei der Objekterkennung in und um das Fahrzeug bereitstellt. Wenn innerhalb eines kurzen Zeitraums mehrere Bilder desselben Sichtfelds aufgenommen werden, kann die Qualität eines oder mehrerer Bilder beispielsweise durch Lichtverhältnisse, Schatten, Objekte, die vor der Kamera vorbeiziehen und diese verstellen, und/oder Bewegungsunschärfe beeinträchtigt werden. Folglich können aktuelle Kameras falsch positive und/oder falsch negative Erkennungen von Objekten im Sichtfeld erzeugen. Diese falschen Informationen können in nachgeschaltete Anwendungen, die auf der Objekterkennung beruhen, nachteilige Auswirkungen haben.
Indem eine Reihe aufeinanderfolgender Livebilder einzeln analysiert wird, um ein kumulatives Konfidenzergebnis zu bestimmen, hilft das Bilderfassungssystem der vorliegenden Erfindung, die vorstehend genannten Mängel abzuschwächen, die in einem einzelnen Frame bestehen können. Das hier gezeigte und beschriebene Bilderfassungssystem hilft daher, falsch positive und falsch negative Ergebnisse bei der Objekterkennung zu reduzieren.
Das heißt, die Steuerung 100 kann nicht nur ein Objekt innerhalb des Fahrzeugs 20 erkennen, sondern das erkannte Objekt auch klassifizieren. In einer ersten Stufe der Klassifizierung bestimmt die Steuerung 100, ob das erkannte Objekt ein Mensch oder ein Tier/Haustier ist. Im erstgenannten Fall wird eine zweite Klassifizierung vorgenommen, bei der der erkannte Mensch als Erwachsener, Kind oder Säugling identifiziert wird. Wenn ein Kind, Säugling oder Haustier erkannt wird, kann die Steuerung 100 eine oder mehrere wünschenswerte Fahrzeugfunktionen ausführen.
In einem in 10 gezeigten Beispiel erkennt und identifiziert die Steuerung 100 ein Kind 190 im Fahrzeuginnenraum 40, z. B. auf einem Sitz 60 in der hinteren Reihe 64. In einem in 11 gezeigten Beispiel erkennt und identifiziert die Steuerung 100 ein Haustier 200 auf dem Sitz 60 in der hinteren Reihe 64. In jedem Fall kann die Erkennung mit oder ohne Kalibrieren des Livebildes 118 oder der Region von Interesse 114 erfolgen, die dem ideal ausgerichteten Bild 108 zugeordnet ist. Die Erkennung kann auch mit oder ohne Verwendung des Konfidenzniveaus/Zählers 150 durchgeführt werden. In jedem Fall tritt der beschriebene Prozess ein, nachdem entweder das Kind 190 oder das Haustier 200 erkannt wurde.
Sobald das Kind 190 oder Haustier 200 erkannt wurde, bestimmt die Steuerung 100, ob das Kind oder Haustier allein/unbegleitet von einem Erwachsenen im Fahrzeug 20 ist, d. h. unbeaufsichtigt im Innenraum 40 zurückgelassen wurde. Zu diesem Zweck kann die Steuerung 100 bestimmen, ob irgendwelche anderen Insassen 70 innerhalb des Innenraums 40 erkannt wurden. Die Steuerung 100 kann als Reaktion auf das Bestimmen, dass das Kind 190 oder das Haustier 200 allein ist, eine oder mehrere Fahrzeugfunktionen initiieren. Dies kann zum Beispiel das Kontaktieren von Personen einschließen, die sich außerhalb des Fahrzeugs 20 befinden, das Überprüfen und Einstellen der Sicherheit des Fahrzeugs 20 und/oder das Steuern des Klimas innerhalb des Fahrzeugs.
Zu diesem Zweck und unter Bezugnahme auf 12 kann die Steuerung 100 mit einem Transceiver 202 verbunden sein, um Warnsignale an einen oder mehrere vom Fahrzeug entfernte(n) Empfänger zu senden. Die Empfänger können den Besitzer 210 des Fahrzeugs 20, eine vorgegebene Liste von Personen, die der Besitzer der Steuerung 100 zur Verfügung stellt, und/oder Notfallpersonal 212 einschließen. Die Warnsignale können beispielsweise von einem mobilen Gerät oder Computer empfangen werden, das(der) für den Besitzer 210 oder Notfallpersonal 212 zugänglich ist und/oder von diesem getragen wird. Die Steuerung 100 kann daher den Transceiver 202 dazu verwenden, den Besitzer 210 darauf aufmerksam zu machen, dass sich ein unbeaufsichtigtes Kind 190 oder Haustier 200 im Fahrzeug 20 befindet. Wenn der Besitzer 210 nicht innerhalb eines vorgegebenen Zeitraums antwortet, kann die Steuerung 100 die Warnung auch an das Notfallpersonal 212 senden.
Im Falle der Benachrichtigung des Besitzers 210 kann die Warnung beispielsweise Bilder und/oder Videos vom Fahrzeuginnenraum 40 enthalten, die von der Kamera 90 aufgenommen wurden. Im Fall des Notfallpersonals 212 kann die Warnung Teil eines Informationspakets sein, das beispielsweise auch eine visuelle Beschreibung des Fahrzeugs 20 enthalten kann, z. B. Marke und Modell, Kennzeicheninformationen, GPS-Standortinformationen usw., um das Notfallpersonal dabei zu unterstützen, das Fahrzeug zu lokalisieren und zu identifizieren, in dem das Kind 190 oder das Haustier 200 allein ist.
Die Steuerung 100 kann auch mit einem oder mehreren Mikrofonen 220 (siehe auch 1A-1B) verbunden sein, um innerhalb des Innenraums 40 Audio aufzunehmen. Das Mikrofon 220 kann dazu verwendet werden, lebende Objekte in einer misslichen Situation innerhalb des Fahrzeugs 20 zu erkennen, wie beispielsweise das Kind 190 oder das Haustier 200. Insbesondere kann das Mikrofon 220 Schreien, Weinen usw. aufnehmen, was auf ein Kind 190 in einer misslichen Situation hinweist, und/oder Bellen, Miauen, Wimmern usw., was auf ein Haustier 200 in einer misslichen Situation hinweist. Die Steuerung 100 kann die vom Mikrofon 220 erfassten Töne empfangen und analysieren und bestimmen, ob sich ein Kind 190 oder Haustier 200 in einer misslichen Situation im Innenraum 40 befindet oder nicht. Die Warnung kann daher einen Text enthalten, der angibt, dass sich das unbegleitete Kind 190 oder Haustier 200 in einer misslichen Situation befindet.
Es versteht sich, dass die mit einer misslichen Situation verbundenen Warnungen in Kombination mit oder in Abwesenheit von visuellen Warnungen gesendet werden können. Mit anderen Worten kann der Besitzer 210 oder das Notfallpersonal 212 über einen Säugling, ein Kind oder Haustier in einer misslichen Situation im Fahrzeug 20 informiert werden, ohne zusätzliche Informationen zu erhalten. Das mobile Gerät des Besitzers 210 kann so konfiguriert sein, dass es nur dann Warnungen in Verbindung mit einer misslichen Situation empfängt, wenn es sich in einem vorgegebenen Abstand zum Fahrzeug 20 befindet, um zu vermeiden, dass Warnungen während des Aufenthalts im Fahrzeug mit dem Säugling, Kind oder Haustier in einer misslichen Situation empfangen werden.
Die Steuerung 100 kann auch mit mehreren sicherheitsrelevanten Merkmalen des Fahrzeugs 20 verbunden sein. Die Steuerung 100 kann diese Merkmale als Reaktion auf das Bestimmen, dass das Kind 190 oder Haustier 200 allein ist, überprüfen. Zum Beispiel kann die Steuerung 100 mit dem Motor 222 und den den vorderen und hinteren Türen 36, 38 zugeordneten Schlössern 224 verbunden sein. Die Steuerung 100 kann auch mit Fenstern 226 entlang der Seiten 28, 30 des Fahrzeugs 20 und dem Kofferraum 228 am hinteren Ende 26 verbunden sein. Die Steuerung 100 kann auch mit einem Klimasteuerungssystem verbunden sein, z. B. einem HLK-System 232.
Die Steuerung 100 kann mehrere sicherheitsrelevante Überprüfungen durchführen, nachdem bestimmt wurde, dass sich ein unbeaufsichtigtes Kind 190 oder Haustier 200 im Fahrzeug 20 befindet und der Besitzer 210 benachrichtigt wurde. Insbesondere kann die Steuerung 100 bestimmen, ob der Motor 222 läuft, ob eine der Türen 36, 38 entriegelt ist, ob eines der Fenster 226 heruntergefahren ist, ob der Kofferraum 228 offen ist und ob die Schlüssel im Zündschloss 230 stecken. Als Reaktion darauf kann die Steuerung 100 bei Bedarf die Türschlösser 224 verriegeln, die Fenster 226 hochfahren und/oder den Kofferraum 228 verriegeln, um die Sicherheit des Fahrzeugs 20 zu erhöhen, während das Kind 190 oder Haustier 200 allein ist.
Wenn ferner der Motor 222 ausgeschaltet ist, kann die Steuerung 100 sowohl den Motor 222 als auch das HLK-System 232 einschalten, um das Klima im Innenraum 40 regeln zu helfen, bis der Besitzer 210 oder das Notfallpersonal 212 das unbeaufsichtigte Kind 190 oder Haustier 200 erreichen kann. Die Steuerung 100 kann mit einem Temperatursensor 240 verbunden sein, der im Innenraum exponiert ist, um die Überwachung der Innentemperatur 40 zu unterstützen. Der Temperatursensor 240 sendet Signale an die Steuerung 100, die die Temperatur innerhalb des Innenraums 40 angeben. Wenn die erkannte Temperatur innerhalb des Innenraums 40 einen vorgegebenen Wert erreicht oder überschreitet, kann die Steuerung 100 Maßnahmen ergreifen, um die Innentemperatur zu verringern, z. B. eines oder mehrere der Fenster 226 herunterlassen, um den Luftstrom zu erhöhen oder das HLK-System 232 betätigen. In ähnlicher Weise kann die Steuerung 100 das HLK-System 232 betätigen, um die Innentemperatur 40 zu erhöhen, wenn die erkannte Temperatur innerhalb des Innenraums 40 bei oder unter einem zweiten vorgegebenen Wert liegt. Das HLK-System 232 kann daher betätigt werden, wenn die Temperatur innerhalb des Innenraums 40 außerhalb eines vorgegebenen Bereichs liegt - zu heiß oder zu kalt.
Der gezeigte und beschriebene Prozess zum Identifizieren von Säuglingen, Kindern und/oder Haustieren, die in einem Fahrzeug allein gelassen wurden, ist insofern vorteilhaft, als er eine Benachrichtigung für den Besitzer und das Notfallpersonal bereitstellt und gleichzeitig sicherstellt, dass das Fahrzeug versperrt ist, bis der Besitzer oder das Notfallpersonal eintrifft. Das Verfahren ist auch insofern vorteilhaft, als es die Temperatur des Fahrzeuginnenraums überwacht und reguliert, während der Säugling, das Kind oder das Haustier allein ist.
Was zuvor beschrieben worden ist, sind Beispiele der vorliegenden Erfindung. Es ist selbstverständlich nicht möglich, jede denkbare Kombination von Komponenten oder Methoden zum Zweck der Beschreibung der vorliegenden Erfindung zu beschreiben, aber ein Durchschnittsfachmann wird erkennen, dass viele weitere Kombinationen und Umsetzungen der vorliegenden Erfindung möglich sind. Dementsprechend soll die vorliegende Erfindung alle derartigen Abänderungen, Modifikationen und Variationen umfassen, die innerhalb des Geistes und des Umfangs der beigefügten Ansprüche liegen.

Claims

Verfahren zum Verarbeiten von Livebildern von einer Fahrzeugkamera, umfassend: Erfassen von Livebildern; Erkennen eines Objekts innerhalb eines ersten Livebildes der Livebilder; Auswerten der Livebilder nach dem ersten Livebild zur Objekterkennung; Einstellen eines Konfidenzniveaus als Reaktion auf die Objekterkennungsbewertung in jedem der Livebilder nach dem ersten Livebild; und Festlegen eines endgültigen Werts des Konfidenzniveaus bei der Objekterkennung innerhalb der Livebilder, nachdem die Livebilder ausgewertet wurden.
Verfahren nach Anspruch 1, ferner umfassend das Erhöhen des Konfidenzniveaus als Reaktion auf das Erkennen des Objekts in dem ersten Livebild.
Verfahren zum Verarbeiten von Livebildern von einer Fahrzeugkamera, umfassend: Erfassen von Livebildern eines Fahrzeuginnenraums; Vergleichen der Livebilder mit einem ideal ausgerichteten Bild des Fahrzeuginnenraums mit einer Region von Interesse zum Generieren einer Homografiematrix; Anwenden der Homografiematrix auf die Region von Interesse, um eine kalibrierte Region von Interesse zu generieren, die auf jedes der Livebilder projiziert wird; Erkennen mindestens eines Objekts innerhalb der kalibrierten Region von Interesse in einem ersten Livebild der Livebilder; Auswerten der kalibrierten Region von Interesse in den Livebildern nach dem ersten Livebild zur Objekterkennung, wobei jedes der mindestens einen erkannten Objekte ein ihm zugeordnetes Konfidenzniveau aufweist, wobei jedes Konfidenzniveau jedes Mal erhöht wird, wenn das zugeordnete Objekt in einem der Livebilder die auf das erste Livebild folgen, erkannt wird, und jedes Mal verringert werden, wenn das zugehörige Objekt in keinem der Livebilder nach dem ersten Livebild erkannt wird; und Festlegen eines endgültigen Werts des Konfidenzniveaus bei der Objekterkennung innerhalb der Livebilder für jedes erkannte Objekt, nachdem die Livebilder ausgewertet wurden.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der Schritt des Einstellens des Zählers mindestens eines umfasst von: Erhöhen des Konfidenzniveaus jedes Mal, wenn das Objekt in einem der Livebilder nach dem ersten Livebild erkannt wird; und Verringern des Konfidenzniveaus jedes Mal, wenn das Objekt in keinem der Livebilder nach dem ersten Livebild erkannt wird.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das Konfidenzniveau für jedes aufeinanderfolgende Bild der Livebilder, in denen das Objekt erkannt wird, um den gleichen oder einen nichtlinearen Betrag zunimmt oder abnimmt.
Verfahren nach einem der Ansprüche 1 bis 5, soweit abhängig von Anspruch 1, wobei das Konfidenzniveau für jedes aufeinanderfolgende Bild der Livebilder, in denen das Objekt nicht erkannt wird, um einen nicht linearen Betrag zunimmt, und/oderwobei die Livebilder einen Innenraum des Fahrzeugs zeigen.
Verfahren nach einem der Ansprüche 1 bis 6, wobei der Schritt des Erfassens der Livebilder das Erfassen einer vorgegebenen Anzahl von Livebildern umfasst und/oder das Erfassen von Livebildern für eine vorgegebene Zeitdauer umfasst.
Verfahren nach einem der Ansprüche 1 bis 7, ferner umfassend: Bestimmen, basierend auf dem Konfidenzniveau, ob das erkannte Objekt im Fahrzeuginnenraum vorhanden ist; und Bestimmen, ob sich das erkannte Objekt allein im Fahrzeug befindet, wobei insbesondere das erkannte Objekt eines von einem Kleinkind, einem Kind und einem Haustier ist.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend das Benachrichtigen eines Besitzers des Fahrzeugs, dass sich das erkannte Objekt allein in dem Fahrzeug befindet und / oder ferner umfassend das Benachrichtigen von Notfallpersonal, dass sich das erkannte Objekt allein im Fahrzeug befindet, wenn der benachrichtigte Besitzer nicht antwortet und/oder ferner umfassend das Benachrichtigen von Notfallpersonal, dass sich das erkannte Objekt allein in dem Fahrzeug befindet.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend: Überwachen einer Temperatur im Fahrzeug; und Betätigen eines Klimasteuerungssystems des Fahrzeugs, wenn die Temperatur des Fahrzeuginnenraums außerhalb eines vorgegebenen Bereichs liegt, wobei es insbesondere das Einschalten eines Motors des Fahrzeugs vor dem Betätigen des Klimasteuerungssystems umfasst, und/oder umfassend das Herunterlassen mindestens eines Fensters des Fahrzeugs, wenn die Temperatur im Fahrzeuginnenraum einen vorgegebenen Wert erreicht oder überschreitet.
Verfahren nach einem der vorstehenden Ansprüche, ferner umfassend: Bestimmen, basierend auf dem Geräusch im Fahrzeug, dass sich das erkannte Objekt in einer misslichen Situation befindet; und Benachrichtigen eines Besitzers des Fahrzeugs, dass sich das erkannte Objekt in einer misslichen Situation befindet.
Verfahren nach einem der vorstehenden Ansprüche, soweit abhängig von Anspruch 1, ferner umfassend das Kalibrieren der Livebilder vor dem Auswerten der Livebilder zur Objekterkennung, einschließlich der folgenden Schritte: Vergleichen der Livebilder mit einem ideal ausgerichteten Bild des Fahrzeuginnenraums mit einer Region von Interesse zum Generieren einer Homografiematrix; und Anwenden der Homografiematrix auf die Region von Interesse, um eine kalibrierte Region von Interesse zu generieren, die auf jedes der Livebilder projiziert wird, um ein Objekt darin zu erkennen.