DE102023003311A1

DE102023003311A1 - System für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug und Verfahren davon

Info

Publication number: DE102023003311A1
Application number: DE102023003311.1A
Authority: DE
Inventors: Saurav Gupta; Sourav Lakhotia; Shuaib AHMED
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-08-18
Filing date: 2023-08-10
Publication date: 2024-02-29

Abstract

Die vorliegende Offenbarung betrifft ein System und ein Verfahren für die Verfolgung der Bewegung eines Haustieres in einem Fahrzeug. In den Blöcken 302 beziehungsweise 304 werden Tiefe und Amplitude extrahiert, indem die entsprechenden Einzelbilder durch den Tiefenzweig 306 und den Amplitudenzweig 308 geleitet werden. In dem Tiefenzweig 306 und in dem Amplitudenzweig 308 werden die Einzelbilder verarbeitet, indem sie eine Faltungsschicht, eine Stapelnormalisierungsschicht, eine Gleichrichterschicht und eine Maxpool-Schicht durchlaufen und dadurch durch iterative Verarbeitung bei 402-1, 402-2, 402-3 ... 402-N beziehungsweise 404-1, 404-2, 404-3 ... 404-N verfeinert werden. Ferner werden die Tiefe und Amplitude an den CNN-Detektor 310 übertragen, der durch Verschmelzen der übertragenen Tiefe und Amplitude einen latenten Merkmalsraum ausbildet. Ferner wendet das System in Block 406 eine Faltungstechnik, eine lineare Technik und eine Sigmoidtechnik auf den ausgebildeten latenten Merkmalsraum an und bestimmt dementsprechend in Block 408, ob ein Sitzplatz ein von einem Haustier besetzter oder ein nicht besetzter Sitz ist.

Description

Die vorliegende Offenbarung bezieht sich auf Systeme und Verfahren für die Verfolgung von Bewegungen innerhalb eines Fahrzeugs. Insbesondere stellt die vorliegende Offenbarung ein System und ein Verfahren für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug bereit.
Viele Menschen fahren mit ihren Haustieren Auto. Bei der Beförderung von Tieren oder Haustieren wie Katzen und Hunden in einem Fahrzeug müssen diese während der Fahrt zurückgehalten werden, um Unfälle oder Verletzungen zu vermeiden. Es ist jedoch ebenso wünschenswert, ihnen ein gewisses Maß an Freiheit zu gewähren, damit sie sich nicht unwohl fühlen. Viele Menschen möchten ihr Haustier nicht in dem Fahrzeug anschnallen und einsperren, da dies für die Tiere unangenehm ist. Es gibt viele Geschirre, mit denen man Haustiere anschnallen kann, aber sie stellen nur ein sehr begrenztes Maß an Freiheit bereit.
Ferner wurden viele Techniken entwickelt, bei denen Bewegungsmelder in einem Fahrzeug installiert werden, die die Anwesenheit oder Bewegung eines Haustiers erkennen können. Die Erkennung der Anwesenheit oder Bewegung von Insassen in einem Fahrzeug ist für viele Zwecke gedacht. Die meisten dieser Erkennungsverfahren sind in einem Fahrzeug konfiguriert, um z. B. die Anwesenheit eines Menschen oder eines Haustieres zu bestätigen, um sicherzustellen, dass alle Insassen durch einen eingerasteten Sicherheitsgurt gesichert sind, oder um die Bewegung in einem Fahrzeug zu überprüfen. Diese Sensoren identifizieren jedoch in der Regel nicht das Objekt, das Tier oder die Menschen; sie erkennen Bewegungen auf Grundlage von Temperatur- oder Schalldaten, was die vorstehend genannten Probleme möglicherweise nicht löst.
Das Patentdokument EP3923809A2 offenbart ein System, eine Vorrichtung und Verfahren zum Erkennen und Erhalten von Informationen über Objekte in einem Fahrzeug mit einem inneren Fahrgastraum, die das Analysieren von Daten des inneren Fahrgastraums, um die Wahrscheinlichkeit eines aktuellen Besetzungszustands des Fahrzeugs zu erhalten, und das weitere Analysieren zusätzlicher Daten des inneren Fahrgastraums beinhalten, um vorhergesagte Wahrscheinlichkeiten des Besetzungszustands des Fahrzeugs zu erhalten. Jede Wahrscheinlichkeit der vorhergesagten Wahrscheinlichkeiten bezieht sich auf die Wahrscheinlichkeit, den aktuellen Besetzungszustand in einen anderen Besetzungszustand zu ändern, indem die aktuelle Wahrscheinlichkeit des aktuellen Besetzungszustands mit den vorhergesagten Wahrscheinlichkeiten des Besetzungszustands kombiniert wird, um eine aktualisierte Wahrscheinlichkeit eines aktualisierten Besetzungszustands des Fahrzeugs zu erhalten. Ferner beinhaltet es das Bestimmen des aktuellen Besetzungszustands auf Grundlage der aktualisierten Wahrscheinlichkeit eines aktualisierten Besetzungszustands des Fahrzeugs und schließlich das Erzeugen einer Ausgabe für die Steuerung einer oder mehrerer Vorrichtungen oder Anwendungen auf Grundlage des bestimmten Besetzungszustands.
Das Patentdokument WO2021238316A1 offenbart ein Verfahren und eine Einrichtung zum Erkennen von Haustieren, eine Vorrichtung und ein Speichermedium. Es schließt das Erhalten eines Bildes in einer Fahrzeugkabine und das Analysieren des Bildes ein, um zu bestimmen, ob sich ein Haustier in der Fahrzeugkabine befindet. Ferner, wenn die Dauer eines Zustands, in dem sich das Haustier und kein Erwachsener in der Fahrzeugkabine befinden, eine erste voreingestellte Dauer überschreitet, schließt es das Senden einer ersten Aufforderungsinformation ein.
Während die zitierten Referenzen verschiedene Systeme und Verfahren zum Erkennen eines Haustieres oder zum Überwachen verschiedener Bewegungen innerhalb eines Fahrzeugs offenbaren, konzentriert sich keine von ihnen auf die Verfolgung der Bewegung des Haustieres innerhalb des Fahrzeugs.
Eine allgemeine Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren für die Verfolgung der Bewegung eines Haustieres in einem Fahrzeug bereitzustellen.
Eine Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren bereitzustellen, das die Verwendung von Tiefenbildern einschließt, die den entsprechenden Merkmalsraum anreichern, was ihn robuster macht.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und ein Verfahren bereitzustellen, das IR-Bilder nutzt, um den Auswirkungen verschiedener Lichtverhältnisse entgegenzuwirken.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein System und Verfahren bereitzustellen, das in Echtzeit läuft und ebenso auf preisgünstigen und technisch relativ einfachen Vorrichtungen eingesetzt werden kann.
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein intelligentes, praktikables und effizientes System und Verfahren für die Verfolgung der Bewegung von Haustieren in dem Fahrzeug und für die entsprechenden Auslösung eines Alarms bereitzustellen.
Aspekte der vorliegenden Offenbarung beziehen sich auf Systeme und Verfahren für die Verfolgung von Bewegungen innerhalb eines Fahrzeugs. Insbesondere stellt die vorliegende Offenbarung ein System und ein Verfahren für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug bereit.
Ein Aspekt der vorliegenden Offenbarung betrifft ein System für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug, wobei das System eine Bilderfassungsvorrichtung und eine Überwachungsvorrichtung umfasst. Die Bilderfassungsvorrichtung ist dazu konfiguriert, Einzelbilder von einem oder mehreren Sitzen des Fahrzeugs zu erfassen, und die Überwachungsvorrichtung ist mit einer Lernmaschine betriebsfähig gekoppelt und steht in Kommunikation mit der Bilderfassungsvorrichtung. Die Überwachungsvorrichtung umfasst einen oder mehrere Prozessoren, wobei der eine oder die mehreren Prozessoren betriebsfähig mit einem Speicher gekoppelt sind, wobei der Speicher Anweisungen speichert, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, zum: Empfangen von der Bilderfassungsvorrichtung der erfassten Einzelbilder; Verarbeiten der empfangenen Einzelbilder, um Tiefe und Amplitude zu extrahieren; unter Berücksichtigung der verarbeiteten Einzelbilder Identifizieren eines Sitzes unter den einen oder den mehreren Sitzen, der von der nicht-menschlichen Entität besetzt ist; und Überwachen des identifizierten Sitzes und Auslösen eines Alarms, falls sich der Status des Sitzes für eine vordefinierte Anzahl von kontinuierlichen Einzelbildern von besetzt zu unbesetzt ändert.
In einem Aspekt kann die Lernmaschine eine auf einem neuronalen Faltungsnetzwerk (Convolutional Neural Network, CNN) basierende Architektur, einschließlich eines Amplitudenzweigs und eines Tiefenzweigs umfassen.
In einem anderen Aspekt kann das System dazu konfiguriert sein, die Einzelbilder an die Lernmaschine zu übertragen, wobei die Lernmaschine die übertragenen Einzelbilder verarbeiten kann, indem sie den Amplitudenzweig und den Tiefenzweig durchläuft, und die Amplitude beziehungsweise die Tiefe der Einzelbilder extrahiert werden kann; wobei jeder des Amplitudenzweigs und des Tiefenzweigs eine sequentielle Anordnung von Faltungsschicht, Stapelnormalisierungsschicht, Gleichrichterschicht und Maxpool-Schicht beinhalten kann.
In einem Aspekt kann das System dazu konfiguriert sein, einen latenten Merkmalsraum auszubilden, indem es die Amplitude und die Tiefe der Einzelbilder, die durch den Amplitudenzweig beziehungsweise den Tiefenzweig extrahiert werden, verschmilzt, und wobei der latente Merkmalsraum den Status des Sitzes und die Änderung des Status für die vordefinierte Anzahl von kontinuierlichen Einzelbilder darstellen kann.
In einem anderen Aspekt kann das System dem Amplitudenzweig und dem Tiefenzweig jeweils ein vordefiniertes Gewicht zuweisen, wobei das Verschmelzen der Amplitude und der Tiefe unter Berücksichtigung der entsprechenden Gewichte durchgeführt werden kann und dementsprechend ein angereicherter latenter Raum ausgebildet werden kann.
In einem weiteren Aspekt kann das System nur aktiviert werden, wenn das Fahrzeug mit einer Geschwindigkeit über einer vordefinierten Geschwindigkeit fährt.
In noch einem weiteren Aspekt kann Bilderfassungsvorrichtung dazu konfiguriert sein, Infrarot- (IR-) Bilder zu erfassen, um den Auswirkungen unterschiedlicher Belichtungsbedingungen entgegenzuwirken.
Ein weiterer Aspekt der vorliegenden Offenbarung betrifft ein Verfahren für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug. Das Verfahren umfasst die Schritte: Erfassen von Einzelbilder eines oder mehrerer Sitze des Fahrzeugs durch eine Bilderfassungsvorrichtung; Empfangen der erfassten Einzelbilder von der Bilderfassungsvorrichtung an einer Überwachungsvorrichtung, die betriebsfähig mit einer Lernmaschine gekoppelt ist; Verarbeiten der empfangenen Einzelbilder an der Überwachungsvorrichtung zum Extrahieren von Tiefe und Amplitude aus den Einzelbilder; Identifizieren an der Überwachungsvorrichtung eines Sitzes unter den einen oder den mehreren Sitzen, der von der nicht-menschlichen Entität besetzt ist, indem die verarbeiteten Einzelbilder in Betracht gezogen werden; und Überwachen an der Überwachungsvorrichtung des identifizierten Sitzes zum Erfassen einer Änderung des Status des Sitzes von besetzt zu unbesetzt für eine vordefinierte Anzahl von kontinuierlichen Einzelbilder, und entsprechendes Auslösen eines Alarms.
In einem Aspekt kann das Verfahren die Schritte des Übertragens der Einzelbilder an eine auf einem neuronalen Faltungsnetzwerk (CNN) basierende Lernmaschine, die einen Amplitudenzweig und einen Tiefenzweig beinhaltet, und des Verarbeitens der übertragenen Einzelbilder durch Durchlaufen des Amplitudenzweigs und des Tiefenzweigs und des entsprechenden Extrahierens der Amplitude beziehungsweise der Tiefe der Einzelbilder umfassen, wobei sowohl der Amplitudenzweig als auch der Tiefenzweig eine sequentielle Anordnung von Faltungsschicht, Stapelnormalisierungsschicht, Gleichrichterschicht und Maxpool-Schicht beinhaltet.
In einem anderen Aspekt kann das Verfahren die Schritte des Zuweisens eines vordefinierten Gewichts zu jedem der Amplitudenzweige und des Tiefenzweigs; des Verschmelzens der Amplitude und der Tiefe unter Berücksichtigung der entsprechenden Gewichte; und des Ausbildens eines angereicherten latenten Raums auf Grundlage der verschmolzenen Amplitude und Tiefe beinhalten, wobei der latente Merkmalsraum den Status des Sitzes und die Änderung des Status für die vordefinierte Anzahl von kontinuierlichen Einzelbilder darstellt.
Verschiedene Aufgaben, Merkmale, Aspekte und Vorteile des Erfindungsgegenstandes werden aus der folgenden ausführlichen Beschreibung bevorzugter Ausführungsformen zusammen mit den beigefügten Zeichnungen, in denen gleiche Ziffern gleiche Komponenten darstellen, deutlicher.
Die beigefügten Zeichnungen sind beinhaltet, um ein weiteres Verständnis der vorliegenden Offenbarung bereitzustellen, und sind in diese Patentschrift einbezogen und bilden einen Teil dieser. Die Zeichnungen veranschaulichen beispielhafte Ausführungsformen der vorliegenden Offenbarung und dienen zusammen mit der Beschreibung für die Erläuterung der Grundsätze der vorliegenden Offenbarung.

1 veranschaulicht eine beispielhafte Netzarchitektur des vorgeschlagenen Systems für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug, um dessen allgemeine Funktionsweise in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zu erläutern.
2 veranschaulicht ein beispielhaftes Blockdiagramm, das die Funktionseinheiten einer Überwachungsvorrichtung darstellt, die dem vorgeschlagenen System in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung zugeordnet ist.
3A und 3B veranschaulichen beispielhafte Blockdiagramme, die die Funktionsweise des vorgeschlagenen Systems in Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Offenbarung darstellen.
4 veranschaulicht ein beispielhaftes Blockdiagramm, das die detaillierte Funktionsweise von 3A in Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Offenbarung erläutert.
5 veranschaulicht ein Flussdiagramm, das die Schritte darstellt, die bei der Verfolgung der Bewegung einer nicht-menschlichen Entität durch das vorgeschlagene System in Übereinstimmung einer Ausführungsform der vorliegenden Offenbarung erforderlich sind.
6 veranschaulicht ein Flussdiagramm, das die Schritte des vorgeschlagenen Verfahrens für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
7 veranschaulicht ein beispielhaftes Computersystem, in dem oder mit dem Ausführungsformen der vorliegenden Erfindung in Übereinstimmung mit Ausführungsformen der vorliegenden Offenbarung genutzt werden können.

Es folgt eine ausführliche Beschreibung der in den beigefügten Zeichnungen dargestellten Ausführungsformen der Offenbarung. Die Ausführungsformen sind so ausführlich, um die Offenbarung klar zu vermitteln. Es ist jedoch nicht beabsichtigt, durch die Menge der angebotenen Details die vorhersehbaren Variationen von Ausführungsformen einzuschränken; im Gegenteil, die Absicht ist, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Geist und den Umfang der vorliegenden Offenbarungen fallen, wie durch die beigefügten Ansprüche definiert.
Die hierin erläuterten Ausführungsformen beziehen sich auf Systeme und Verfahren für die Verfolgung von Bewegungen innerhalb eines Fahrzeugs. Insbesondere stellt die vorliegende Offenbarung ein System und ein Verfahren für die Verfolgung der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug bereit.
Unter Bezugnahme auf 1 kann das vorgeschlagene System 100 für die Verfolgung der Bewegung einer nicht-menschlichen Entität (hierin ebenso als System 100 bezeichnet) dazu konfiguriert werden, die Bewegung einer nicht-menschlichen Entität in einem Fahrzeug, wie einem Auto, Lieferwagen, Bus und dergleichen, zu verfolgen. In einer beispielhaften Ausführungsform kann sich die nicht-menschliche Entität auf jedes Haustier beziehen, das von einer menschlichen Entität in dem Fahrzeug mitgeführt wird, wie, ohne jedoch darauf beschränkt zu sein, Hund, Katze, Kaninchen usw. In einer Ausführungsform kann das System 100 dazu konfiguriert werden, nur dann aktiviert zu werden, wenn das Fahrzeug mit einer Geschwindigkeit fährt, die über einer vordefinierten Geschwindigkeit liegt, wobei die Geschwindigkeit des Fahrzeugs von einem in dem Fahrzeug konfigurierten Tachometer erfasst werden kann.
In einer Ausführungsform kann das System 100 eine Bilderfassungsvorrichtung 102 beinhalten, die dazu konfiguriert werden kann, eine Anzahl von Bildern von einem oder mehreren Sitzen des Fahrzeugs zu erfassen. Sobald das System 100 aktiviert ist, kann es ein erstes Betätigungssignal an die Bilderfassungsvorrichtung 102 übertragen, wobei die Bilderfassungsvorrichtung 102 bei Empfang des ersten Betätigungssignals betätigt werden und mit der Erfassung der Bilder des Innenraums des Fahrzeugs beginnen kann. In einer beispielhaften Ausführungsform kann die Bilderfassungsvorrichtung 102 eine Kamera sein, die an einer ersten vordefinierten Position in dem Fahrzeug positioniert werden kann, sodass sie den gesamten Innenraum des Fahrzeugs effizient aufnehmen kann. In einer anderen beispielhaften Ausführungsform kann die Bilderfassungsvorrichtung 102 dazu konfiguriert werden, Infrarot- (IR-) Bilder des Fahrzeuginnenraums zu erfassen, um den Auswirkungen unterschiedlicher Belichtungsbedingungen entgegenzuwirken.
In einer anderen Ausführungsform kann das System 100 eine Überwachungsvorrichtung 106 beinhalten, die an einer zweiten vordefinierten Position an dem Fahrzeug positioniert ist und mit der Bilderfassungsvorrichtung 102 betriebsfähig gekoppelt werden kann. Ferner kann die Überwachungsvorrichtung 106 betriebsfähig mit einem auf einem neuronalen Faltungsnetzwerk (CNN) basierenden Lernsystem 108 gekoppelt sein. In einer Ausführungsform kann das System 100 nach seiner Aktivierung ein zweites Betätigungssignal an die Überwachungsvorrichtung 106 übertragen, wobei die Überwachungsvorrichtung 106 bei Empfang des zweiten Betätigungssignals betätigt werden kann. In einer Ausführungsform kann die Überwachungsvorrichtung 106 dazu konfiguriert sein, die erfassten Einzelbilder von der Bilderfassungsvorrichtung 102 zu empfangen. Die Überwachungsvorrichtung 106 kann dann die empfangenen Einzelbilder verarbeiten, um Tiefe und Amplitude aus diesen Einzelbildern zu extrahieren.
In einer Ausführungsform kann die Überwachungsvorrichtung 106 zusammen mit der Lernmaschine 108 unter Berücksichtigung der verarbeiteten Einzelbilder einen Sitz unter den einen oder den mehreren Sitzen identifizieren, der von der nicht-menschlichen Entität besetzt ist. In einer Implementierung kann die Lernmaschine 108 in eine auf einem neuronalen Faltungsnetzwerk (CNN) basierende Architektur eingebettet sein, die zwei Zweige beinhaltet, nämlich einen Amplitudenzweig und einen Tiefenzweig.
In einer Implementierung können die von der Überwachungsvorrichtung 106 empfangenen Einzelbilder von der Lernmaschine 108 verarbeitet werden, indem die Einzelbilder durch den Amplitudenzweig und den Tiefenzweig geleitet werden, und dementsprechend kann die Amplitude beziehungsweise die Tiefe der Einzelbilder extrahiert werden. In einer beispielhaften Ausführungsform kann jeder des Amplitudenzweigs und des Tiefenzweigs eine sequentielle Anordnung von Faltungsschicht, Stapelnormalisierungsschicht, Gleichrichterschicht und Maxpool-Schicht beinhalten, durch die die Einzelbilder geleitet und verarbeitet werden können, um die Amplitude und die Tiefe aus den Einzelbilder zu extrahieren.
In einer anderen beispielhaften Ausführungsform kann das System 100 dazu konfiguriert werden, einen latenten Merkmalsraum auszubilden, indem die Amplitude und die Tiefe der Einzelbilder, die über den Amplitudenzweig beziehungsweise den Tiefenzweig extrahiert werden, verschmolzen werden. In noch einer weiteren beispielhaften Ausführungsform kann das System 100 dem Amplitudenzweig und dem Tiefenzweig jeweils ein vordefiniertes Gewicht zuweisen, wobei das Verschmelzen der Amplitude und der Tiefe unter Berücksichtigung der entsprechenden Gewichte durchgeführt wird und dementsprechend ein angereicherter latenter Raum ausgebildet werden kann.
In einer Ausführungsform kann die Überwachungsvorrichtung 106 den identifizierten Sitz überwachen, wobei der latente Merkmalsraum den Status des identifizierten Sitzes darstellen kann und ebenso eine Änderung des Status für eine vordefinierte Anzahl von kontinuierlichen Einzelbildern darstellen kann. In einer beispielhaften Ausführungsform kann die Überwachungsvorrichtung 106 den Status des überwachten Sitzes nach vordefinierten Zeitintervallen bestimmen. Ferner kann die Überwachungsvorrichtung 106 einen Alarm auslösen, wenn sich der Status des Sitzes für die vordefinierte Anzahl von Einzelbildern von besetzt zu unbesetzt ändert.
In einer Ausführungsform kann das System 100 ebenso eine Anzeigevorrichtung 110 beinhalten, die betriebsfähig mit der Überwachungsvorrichtung 106 gekoppelt ist, wobei die Anzeigevorrichtung 110 dazu konfiguriert sein kann, den Echtzeitstatus des Sitzes sowie eine Änderung des Status des Sitzes anzuzeigen. In einer beispielhaften Ausführungsform kann die Anzeigevorrichtung 110 in Form einer LED-Anzeigetafel, eines LCD-Anzeigemoduls und eines GUI-Moduls konfiguriert sein. In einer anderen beispielhaften Ausführungsform kann das System 100 betriebsfähig mit einer externen Vorrichtung wie einem Laptop, Smartphone, Tablet oder einem anderen mobilen Computer gekoppelt werden, der/das selbst als die Anzeigevorrichtung 110 fungieren kann.
In einer Ausführungsform kann die Überwachungsvorrichtung 106 über ein Netzwerk 104 mit der Bilderfassungsvorrichtung 102, der Anzeigevorrichtung 110, dem Tachometer und anderen derartigen Komponenten in Verbindung stehen. Ferner kann das Netzwerk 104 ein drahtloses Netz, ein kabelgebundenes Netz oder eine Kombination davon sein, das/die als eine der verschiedenen Arten von Netze implementiert werden kann, wie Intranet, lokales Netz (LAN), Weitverbundnetz (WAN), Internet und dergleichen. Ferner kann das Netz 104 entweder ein dediziertes Netz oder ein gemeinsam genutztes Netz sein. Das gemeinsame Netzwerk kann eine Zuordnung verschiedener Arten von Netzwerken darstellen, die eine Vielzahl von Protokollen verwenden können, beispielsweise Hypertext-Übertragungsprotokoll (HTTP), Übertragungssteuerungsprotokoll/Internetprotokoll (TCP/IP), drahtloses Anwendungsprotokoll (WAP) und dergleichen.
In einer Ausführungsform kann die Überwachungsvorrichtung 106 unter Verwendung beliebiger oder einer Kombination von Hardwarekomponenten und Softwarekomponenten implementiert werden, wie einer Cloud, eines Servers 112, eines Rechensystems, einer Rechenvorrichtung, einer Netzwerkvorrichtung und dergleichen. Ferner kann die Überwachungsvorrichtung 106 mit der Bilderfassungsvorrichtung 102 und der Anzeigevorrichtung 110 über eine Website oder eine Anwendung interagieren, die sich in dem vorgeschlagenen System 100 befinden kann. In einer Implementierung kann über eine Website oder eine Anwendung auf das System 100 zugegriffen werden, die mit einem beliebigen Betriebssystem konfiguriert werden kann, einschließlich, jedoch ohne darauf beschränkt zu sein, Android™, iOS™ und dergleichen.
Unter Bezugnahme auf 2, zeigt Blockdiagramm 200 beispielhafte Funktionseinheiten der Überwachungsvorrichtung 106, das einen oder mehrere Prozessoren 202, Speicher 204, Schnittstellen 206, Verarbeitungsmaschinen 208 und Datenbank 210 beinhalten kann. Der eine oder die mehreren Prozessoren 202 kann/können als ein oder mehrere Mikroprozessoren, Mikrocomputer, Mikrocontroller, digitale Signalprozessoren, zentrale Verarbeitungseinheiten, Logikschaltungen und/oder beliebige Vorrichtungen, die Daten auf Grundlage von Betriebsanweisungen verarbeiten, implementiert werden. Neben anderen Fähigkeiten sind der eine oder die mehreren Prozessoren 202 dazu konfiguriert, computerlesbare Anweisungen abzurufen und auszuführen, die in einem Speicher 204 der Überwachungsvorrichtung 106 gespeichert sind. Der Speicher 204 kann eine oder mehrere computerlesbare Anweisungen oder Routinen speichern, die abgerufen und ausgeführt werden können, um die Dateneinheiten über einen Netzdienst zu erstellen oder gemeinsam zu nutzen. Der Speicher 204 kann eine beliebige nichtflüchtige Sekundärspeichervorrichtung beinhalten, beispielsweise einschließlich eines flüchtigen Primärspeichers wie RAM oder eines nichtflüchtigen Primärspeichers wie EPROM, Flash-Primärspeicher und dergleichen.
In einer Ausführungsform kann die Überwachungsvorrichtung 106 ebenso eine Schnittstelle(n) 206 beinhalten. Die Schnittstelle(n) 206 kann/können eine Mehrzahl von Schnittstellen beinhalten, beispielsweise Schnittstellen für Dateneingabe- und - ausgabevorrichtungen, die als E/A-Vorrichtungen bezeichnet werden, Sekundärspeichervorrichtungen und dergleichen. Die Schnittstelle(n) 206 kann/können die Kommunikation der Überwachungsvorrichtung 106 mit verschiedenen Vorrichtungen, die mit der Überwachungsvorrichtung 106 gekoppelt sind, erleichtern. Die Schnittstelle(n) 206 kann/können ebenso einen Kommunikationsweg für eine oder mehrere Komponenten der Überwachungsvorrichtung 106 bereitstellen. Beispiele für solche Komponenten beinhalten, ohne jedoch darauf beschränkt zu sein, Verarbeitungsmaschine(n) 208 und die Datenbank 210.
In einer Ausführungsform kann/können die Verarbeitungsmaschine(n) 208 als eine Kombination aus Hardware und Programmierung (beispielsweise programmierbare Anweisungen) implementiert werden, um eine oder mehrere Funktionalitäten der Verarbeitungsmaschine(n) 208 zu implementieren. In den hierin beschriebenen Beispielen können solche Kombinationen von Hardware und Programmierung auf verschiedene Weise realisiert werden. Beispielsweise kann die Programmierung für das/die Verarbeitungsmodul(e) 208 aus prozessorausführbaren Anweisungen bestehen, die auf einem nichtflüchtigen, maschinenlesbaren Sekundärspeichermedium gespeichert sind, und kann die Hardware für das/die Verarbeitungsmodul(e) 208 eine Verarbeitungsressource (beispielsweise einen oder mehrere Prozessoren) beinhalten, um solche Anweisungen auszuführen.
In den vorliegenden Beispielen kann das maschinenlesbare Sekundärspeichermedium Anweisungen speichern, die, wenn sie von der Verarbeitungsressource ausgeführt werden, das/die Verarbeitungsmodul(e) 208 implementieren. In solchen Beispielen kann die Überwachungsvorrichtung 106 das maschinenlesbare Sekundärspeichermedium, auf dem die Anweisungen gespeichert sind, und die Verarbeitungsressource für die Ausführung der Anweisungen beinhalten, oder kann das maschinenlesbare Sekundärspeichermedium separat sein, jedoch für die Überwachungsvorrichtung 106 und die Verarbeitungsressource zugänglich sein. In anderen Beispielen kann/können das/die Verarbeitungsmodul(e) 208 durch elektronische Schaltungen implementiert werden. Die Datenbank 210 kann Daten beinhalten, die entweder gespeichert oder als ein Ergebnis von Funktionalitäten erzeugt werden, die von einer der Komponenten der Verarbeitungsmaschine(n) 208 implementiert werden.
In einer Ausführungsform kann/können die Verarbeitungseinheit(en) 208 eine Extraktionseinheit 212, eine Identifizierungseinheit 214, eine Einheit für die Ausbildung eines latenten Merkmalsraums 216, eine Alarmauslöseeinheit 218 und andere Einheit(en) 220 beinhalten. Die andere(n) Einheit(en) 220 kann/können Funktionalitäten implementieren, die Anwendungen oder Funktionen ergänzen, die von der Überwachungsvorrichtung 106 oder der/den Verarbeitungsmaschine(n) 208 durchgeführt werden.
Gemäß einer Ausführungsform kann die Extraktionseinheit 212 Amplitude und Tiefe aus den von der Überwachungsvorrichtung 106 empfangenen Einzelbilder extrahieren. In einer Implementierung kann die Extraktionseinheit 212 zusammen mit der CNN-basierten Lernmaschine 108 die empfangenen Einzelbilder verarbeiten, indem die Einzelbilder durch den Amplitudenzweig 306 und den Tiefenzweig 308, wie in 3A veranschaulicht, der CNN-basierten Lernmaschine 108 geleitet werden, und ferner können die Amplitude beziehungsweise die Tiefe der Einzelbilder extrahiert werden. In einer beispielhaften Ausführungsform, wie sie in 3B veranschaulicht ist, kann jeder des Amplitudenzweigs und des Tiefenzweigs eine sequentielle Anordnung der Faltungsschicht 322 (hierin ebenso als conv bezeichnet), der Stapelnormalisierungsschicht 324 (hierin ebenso als batch norm bezeichnet), der Gleichrichterschicht 326 (hierin ebenso als ReLU bezeichnet) und der Maxpool-Schicht 328 (hierin ebenso als Maxpool bezeichnet) beinhalten, durch die die Einzelbilder geleitet und verarbeitet werden können, um die Amplitude und die Tiefe aus den Einzelbilder zu extrahieren.
In einer Ausführungsform kann die Extraktionseinheit 212 die Echtzeitgeschwindigkeit des Fahrzeugs von einem in dem Fahrzeug konfigurierten Tachometer extrahieren, und basierend auf der extrahierten Geschwindigkeit kann das System 100 nur aktiviert werden, wenn die extrahierte Geschwindigkeit über einer vordefinierten Geschwindigkeit liegt. Sobald das System 100 aktiviert ist, kann es ein erstes Betätigungssignal an die Bilderfassungsvorrichtung 102 übertragen, wobei die Bilderfassungsvorrichtung 102 bei Empfang des ersten Betätigungssignals betätigt werden und mit der Erfassung der Bilder des Innenraums des Fahrzeugs beginnen kann. In einer beispielhaften Ausführungsform kann die Bilderfassungsvorrichtung 102 dazu konfiguriert werden, Infrarot- (IR-) Bilder des Fahrzeuginnenraums zu erfassen, um den Auswirkungen unterschiedlicher Belichtungsbedingungen entgegenzuwirken.
Ferner kann das System 100 nach seiner Aktivierung ein zweites Betätigungssignal an die Überwachungsvorrichtung 106 übertragen, wobei die Überwachungsvorrichtung 106 bei Empfang des zweiten Betätigungssignals betätigt werden kann, und das Überwachen des Zustands des Sitzes in dem Fahrzeug und einer Änderung des Zustands eines beliebigen Sitzes beginnt.
Gemäß einer anderen Ausführungsform kann die Identifizierungseinheit 214 mit der Hilfe der CNN-basierten Lernmaschine 108 einen Sitz unter den ein oder mehreren Sitzen identifizieren, der von der nicht-menschlichen Entität besetzt ist. In einer anderen Ausführungsform kann die Identifizierungseinheit 214 ebenso den Echtzeitstatus des einen oder der mehreren Sitze sowie jede Änderung des Status des einen oder der mehreren Sitze identifizieren.
In einer beispielhaften Ausführungsform kann die Identifizierungseinheit 214 prüfen, ob der Motor des Fahrzeugs eingeschaltet ist und die von dem Tachometer gemessene Geschwindigkeit des Fahrzeugs über einer vordefinierten Geschwindigkeit, beispielsweise 10 km/h, liegt.
Gemäß einer anderen Ausführungsform kann die Einheit 216 zum Ausbilden eines latenten Merkmalraums dazu konfiguriert werden, einen latenten Merkmalsraum auszubilden, indem die Amplitude und die Tiefe der Einzelbilder, die über den Amplitudenzweig beziehungsweise den Tiefenzweig extrahiert werden, verschmolzen werden. In beispielhaften Ausführungsform kann die Einheit 216 zum Ausbilden eines latenten Merkmalraums dem Amplitudenzweig und dem Tiefenzweig jeweils ein vordefiniertes Gewicht zuweisen, wobei das Verschmelzen der Amplitude und der Tiefe unter Berücksichtigung der entsprechenden Gewichte durchgeführt wird und dementsprechend ein angereicherter latenter Merkmalsraum durch die Einheit 216 zum Ausbilden eines latenten Merkmalraums ausgebildet werden kann.
In einer Implementierung kann die Identifizierungseinheit 214 den CNN-basierten Haustierdetektor 310 (hierin ebenso als CNN-Detektor 310 bezeichnet) für jeden Sitz auf Grundlage der empfangenen Einzelbilder ausführen. In einer Ausführungsform kann die Identifizierungseinheit 214 in den Blöcken 302 beziehungsweise 304 Tiefe und Amplitude extrahieren, indem die Einzelbilder durch den Tiefenzweig 306 und den Amplitudenzweig 308 geleitet werden. Ferner können die extrahierte Tiefe und Amplitude an den CNN-Detektor 310 übermittelt werden, und ferner kann bestimmt werden, ob ein Sitz ein von einem Haustier besetzter Sitz 314 oder ein nicht besetzter Sitz 312 ist.
Wenn die Identifizierungseinheit 214 auf Grundlage des latenten Merkmalsraums erkennt, dass der von einem Haustiert besetzte Sitz für eine Sequenz von N Einzelbildern oder mehr in einen nicht besetzten Sitz wechselt, kann ein Alarm/eine Warnung durch die Alarmauslöseeinheit 218 ausgelöst werden, wobei die Warnung einen Alarm innerhalb des Fahrzeugs betätigen oder auch an den Benutzer auf sein/ihr Smartphone übertragen werden kann, beispielsweise in der Form einer Benachrichtigung. In einer beispielhaften Ausführungsform kann die Entität 216, die den latenten Merkmalsraum ausbildet, den optimalen Wert von N als 50 wählen.
Unter Bezugnahme auf 4 kann das System 100 die Tiefe und die Amplitude in den Blöcken 302 beziehungsweise 304 extrahieren, indem es die Einzelbilder durch den Tiefenzweig 306 und den Amplitudenzweig 308 leitet. In einer Ausführungsform können die Einzelbilder für die Extraktion der Tiefe in dem Tiefenzweig 306 verarbeitet werden, indem sie die Faltungsschicht 322, die Stapelnormalisierungsschicht 324, die Gleichrichterschicht 326 und die Maxpool-Schicht 328 in einer sequentiellen Weise durchlaufen und dadurch durch iterative Verarbeitung bei 402-1, 402-2, 402-3 ... 402-N verfeinert werden. In einer anderen Ausführungsform können die Einzelbilder für die Extraktion der Amplitude in dem Amplitudenzweig 308 verarbeitet werden, indem sie die Faltungsschicht 322, die Stapelnormalisierungsschicht 324, die Gleichrichterschicht 326 und die Maxpool-Schicht 328 in einer sequentiellen Weise durchlaufen und dadurch durch iterative Verarbeitung bei 404-1, 404-2, 404-3... 404-N verfeinert werden. Ferner können die extrahierte Tiefe und Amplitude an den CNN-Detektor 310 übertragen werden, der durch Verschmelzen der übertragenen Tiefe und Amplitude einen latenten Merkmalsraum ausbilden kann. Ferner kann das System 100 in Block 406 eine beliebige oder eine Kombination von Faltungsverfahren, linearen Verfahren und Sigmoidverfahren auf den ausgebildeten latenten Merkmalsraum anwenden und dementsprechend in Block 408 bestimmen, ob ein Sitz ein besetzter Sitz 314 oder ein nicht besetzter Sitz 312 ist.
Unter Bezugnahme auf 5 kann in Block 502 die von dem Tachometer erhaltene Echtzeitgeschwindigkeit des Fahrzeugs mit einer vordefinierten Geschwindigkeit (S km/h), beispielsweise 10 km/h, verglichen werden. In dem Fall, in dem festgestellt wird, dass die Echtzeitgeschwindigkeit des Fahrzeugs 10 km/h übersteigt, kann bestätigt werden, dass der Motor des Fahrzeugs eingeschaltet ist, und wird das System 100 aktiviert. Nach der Aktivierung kann das System 100 ein erstes Betätigungssignal an die Kamera übertragen, wobei die Kamera bei Empfang des ersten Betätigungssignals betätigt werden kann und mit der Erfassung von Bildern aus dem Fahrzeuginneren beginnt. In einer Ausführungsform kann in Block 504 die Tiefe aus den Einzelbilder extrahiert werden. In einer anderen Ausführungsform kann die Kamera in Block 506 Infrarot- (IR-) Bilder des Fahrzeuginnenraums erfassen, um den Auswirkungen unterschiedlicher Beleuchtungsbedingungen entgegenzuwirken.
Ferner können diese Daten in Block 508 dem CNN-Detektor 310 (hierin ebenso als Haustierdetektor 310 bezeichnet) zugeführt werden, der in Block 510 den aktuellen Sitzstatus/Zustand jedes Sitzes bestimmen kann. Ferner wird in Block 512 geprüft, ob der aktuelle Zustand des Sitzes mit dem vorherigen Zustand übereinstimmt. Wenn dies in einer Ausführungsform der Fall ist, wird in Block 514 der Zähler auf Null gesetzt, d. h. die Anzahl der Einzelbilder wird nicht mitgezählt. Ferner kann das System 100 in diesem Szenario dazu konfiguriert werden, den Status dieses Sitzes nach einem vordefinierten Zeitintervall zu überprüfen.
In einer anderen Ausführungsform kann das System, wenn der aktuelle Zustand des Sitzes nicht mit dem vorherigen Zustand übereinstimmt oder sich von diesem unterscheidet, in Block 516 mit dem Zählen der Anzahl der Einzelbilder beginnen, die der Änderung des Sitzzustands entsprechen. In Block 518 kann die Anzahl der Einzelbilder, die einer Änderung des Sitzzustands entsprechen, mit einer vordefinierten Zahl (N) verglichen werden, wobei der optimale Wert für N auf 50 festgelegt ist. Wenn in einem Fall die Anzahl 50 übersteigt, dann kann in Block 520 eine Bewegung des Tieres erkannt werden, und dementsprechend kann in Block 522 ein Sitzbewegungsalarm ausgelöst werden und in Block 524 ein Gurtalarm ausgelöst werden. In Block 526 kann die Zählung wieder auf Null zurückgesetzt werden, und der vorherige Zustand kann zugewiesen und durch den aktuellen Zustand des Sitzes ersetzt werden.
Wenn jedoch festgestellt wird, dass die Anzahl der Einzelbilder, die einer Änderung des Sitzzustands entsprechen, weniger als 50 beträgt, so wird der gesamte Vorgang erneut wiederholt, beginnend mit dem Vergleichen der Echtzeitgeschwindigkeit des Fahrzeugs mit der vordefinierten Geschwindigkeit in dem Block 502 nach einem vordefinierten Zeitintervall.
Unter Bezugnahme auf 6 kann das vorgeschlagene Verfahren 600 (hierin ebenso als Verfahren 600 bezeichnet) in einem Fahrzeug implementiert werden, um die Bewegung einer nicht-menschlichen Entität in diesem Fahrzeug zu verfolgen. In einer Ausführungsform kann das Verfahren 600 das Erfassen von Einzelbildern in Schritt 602 durch eine Bilderfassungsvorrichtung von einem oder mehreren Sitzen des Fahrzeugs beinhalten.
In einer anderen Ausführungsform kann das Verfahren 600 das Empfangen in Schritt 604 in einer Überwachungsvorrichtung, die betriebsfähig mit einer Lernmaschine gekoppelt ist, der erfassten Einzelbilder von der Bilderfassungsvorrichtung, und dann in Schritt 606 das Verarbeiten in der Überwachungsvorrichtung der empfangenen Einzelbilder beinhalten, um Tiefe und Amplitude aus den Einzelbilder zu extrahieren.
Ferner kann das Verfahren 600 in Schritt 608 das Identifizieren an der Überwachungsvorrichtung eines Sitzes unter dem einen oder den mehreren Sitzen, der von der nicht-menschlichen Entität besetzt ist, indem die verarbeiteten Einzelbilder berücksichtigt werden; und dann in Schritt 610 das Überwachen an der Überwachungsvorrichtung des identifizierte Sitzes beinhalten, um eine Änderung des Status des Sitzes von besetzt zu unbesetzt für eine vordefinierte Anzahl von kontinuierlichen Einzelbilder zu erkennen und dementsprechend einen Alarm auszulösen.
In einer Ausführungsform kann das Verfahren 600 die Schritte des Übertragens der Einzelbilder an eine auf einem neuronalen Faltungsnetzwerk (CNN) basierende Lernmaschine, die einen Amplitudenzweig und einen Tiefenzweig beinhaltet, und dann des Verarbeitens der übertragenen Einzelbilder durch Durchlaufen des Amplitudenzweigs und des Tiefenzweigs und des entsprechenden Extrahierens der Amplitude beziehungsweise der Tiefe der Einzelbilder beinhalten, wobei sowohl der Amplitudenzweig als auch der Tiefenzweig eine sequentielle Anordnung von Faltungsschicht, Stapelnormalisierungsschicht, Gleichrichterschicht und Maxpool-Schicht beinhaltet.
In einer Ausführungsform kann das Verfahren 600 die Schritte des Zuweisens eines vordefinierten Gewichts zu jedem des Amplitudenzweigs und des Tiefenzweigs und ferner des Verschmelzens der Amplitude und der Tiefe unter Berücksichtigung der entsprechenden Gewichte beinhalten. Dabei schließt das Verfahren 600 das Ausbilden eines angereicherten latenten Raums auf Grundlage der verschmolzenen Amplitude und Tiefe ein, wobei der latente Merkmalsraum den Status des Sitzes und die Änderung des Status für die vordefinierte Anzahl von kontinuierlichen Einzelbildern darstellen kann.
In einer Ausführungsform kann das vorgeschlagene System und Verfahren IR-Bilder nutzen, um den Auswirkungen verschiedener Beleuchtungsbedingungen entgegenzuwirken, was das Problem des Versagens in der Nacht, das bei CNN-Modellen mit RGB-Bildern auftritt, überwindet. Ferner können das vorgeschlagene System und das Verfahren ebenso auf preisgünstigen und technisch relativ einfachen Vorrichtungen eingesetzt werden und stellen somit eine praktikable Lösung bereit.
Ferner können Bewegungssensoren in herkömmlichen Systemen und Verfahren ebenso langsame Bewegungen in dem Fahrzeug erkennen, die möglicherweise nicht erforderlich sind, und daher keine korrekte Lösung für die Probleme im Zusammenhang mit der Bewegung von Haustieren bereitstellen kann. Darüber hinaus können das vorgeschlagene System und das Verfahren einen Alarm auslösen, wenn das Haustier auf einen anderen Sitz springt und die Konzentration des Fahrers während der Fahrt beeinträchtigen könnte. Daher kann es solche Unfälle verhindern.
Unter Bezugnahme auf 7, stellt das Blockdiagramm 700 ein Computersystem dar, das eine externe Speichervorrichtung 710, einen Bus 720, einen Hauptspeicher 730, einen Festwertspeicher 740, eine Massenspeichervorrichtung 750, einen Kommunikationsanschluss 760 und einen Prozessor 770 beinhaltet. Ein Fachmann wird verstehen, dass ein Computersystem mehr als einen Prozessor und Kommunikationsanschlüsse beinhalten kann. Beispiele für Prozessoren 770 beinhalten, ohne jedoch darauf beschränkt zu sein, Intel® Itanium®- oder Itanium-2-Prozessoren, AMD® Opteron®- oder Athlon MP®-Prozessoren, Motorola®-Prozessoren, FortiSOC™ System-on-Chip-Prozessoren oder andere zukünftige Prozessoren. Der Prozessor 770 kann verschiedene Module beinhalten, die Ausführungsformen der vorliegenden Erfindung zugeordnet sind. Der Kommunikationsanschluss 760 kann ein beliebiger eines RS-232-Anschlusses für eine modembasierte Wählverbindung, eines 10/100-Ethernet-Anschlusses, eines Gigabit- oder 10-Gigabit-Anschlusses unter Verwendung von Kupfer- oder Glasfaserkabel, eines seriellen Anschlusses, eines parallelen Anschlusses oder anderer vorhandener oder zukünftiger Anschlüsse sein. Der Kommunikationsanschluss 760 kann abhängig von einem Netzwerk gewählt werden, wie einem lokalen Netzwerk (LAN), einem Weitverbundnetz (WAN) oder einem anderen Netzwerk, mit dem das Computersystem verbunden ist.
In einer Ausführungsform kann der Speicher 730 einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speichervorrichtung sein, die in dem Stand der Technik allgemein bekannt ist. Der Festwertspeicher 740 kann eine beliebige statische Speichervorrichtung/beliebige statische Speichervorrichtungen sein, z. B., ohne jedoch darauf beschränkt zu sein, ein programmierbarer Festwertspeicher (PROM) Chips für die Speicherung statischer Informationen, z. B. Start- oder BIOS-Anweisungen für den Prozessor 770. Der Massenspeicher 750 kann jede derzeitige oder künftige Massenspeicherlösung sein, die zum Speichern von Informationen und/oder Anweisungen verwendet werden kann. Beispielhafte Massenspeicherlösungen beinhalten, ohne jedoch darauf beschränkt zu sein, Parallel Advanced Technology Attachment (PATA-) oder Serial Advanced Technology Attachment (SATA-) Festplattenlaufwerke oder Festkörperlaufwerke (intern oder extern, z. B. mit Universal Serial Bus (USB-) und/oder Firewire-Schnittstellen), z. B. jene, die von Seagate (z. B. die Seagate Barracuda 7102-Familie) oder Hitachi (z. B. die Hitachi Deskstar 7K1000), eine oder mehrere optische Platten, redundante Anordnung unabhängiger Festplatten (RAID-) Speicher, z. B. eine Anordnung von Festplatten (z. B. SATA-Arrays), erhältlich von verschiedenen Anbietern einschließlich Dot Hill Systems Corp., LaCie, Nexsan Technologies, Inc. und Enhance Technology, Inc.
In einer Ausführungsform koppelt der Bus 720 den/die Prozessor(en) 770 kommunikativ mit den anderen Speicher-, Sekundärspeicher- und Kommunikationsblöcken. Der Bus 720 kann z. B. ein Peripheral Component Interconnect (PCI-) / PCI-Extended (PCI-X-) Bus, ein Small Computer System Interface (SCSI), einen USB-Bus oder dergleichen, um Erweiterungskarten, Laufwerke und andere Teilsysteme zu verbinden, sowie andere Busse sein, wie einen Front Side Bus (FSB), der den Prozessor 770 mit dem Softwaresystem verbindet.
In einer anderen Ausführungsform können auch Bediener- und Verwaltungsschnittstellen, z. B. eine Anzeige, eine Tastatur und eine Cursorsteuervorrichtung, mit dem Bus 720 gekoppelt werden, um die direkte Interaktion des Bedieners mit dem Computersystem zu unterstützen. Andere Bediener- und Verwaltungsschnittstellen können über Netzwerkverbindungen bereitgestellt werden, die über den Kommunikationsanschluss 760 verbunden sind. Die externe Speichervorrichtung 710 kann jede Art von externen Festplatten, Diskettenlaufwerken, IOMEGA®-Zip-Laufwerken, Compact Disc - Read Only Memory (CD-ROM), Compact Disc - Re-Writable (CD-RW), Digital Video Disc - Read Only Memory (DVD-ROM) sein. Die vorstehend beschriebenen Komponenten sind nur als Beispiele für verschiedene Möglichkeiten gedacht. Das vorstehend erwähnte beispielhafte Computersystem soll den Umfang der vorliegenden Offenbarung auf keine Weise einschränken.
Es wird daher von Durchschnittsfachleuten erkannt, dass die Diagramme, Schemata, Veranschaulichungen und dergleichen konzeptionelle Ansichten oder Prozesse darstellen, die Systeme und Verfahren für das Einsetzen dieser Erfindung veranschaulichen. Die Funktionen der verschiedenen in den Figuren gezeigten Elemente können sowohl durch die Verwendung spezieller Hardware als auch durch Hardware, die die zugeordnete Software ausführen kann, bereitgestellt werden. Ebenso sind alle in den Figuren gezeigten Schalter nur konzeptionell. Ihre Funktion kann durch den Betrieb von Programmlogik, durch spezielle Logik, durch das Zusammenwirken von Programmsteuerung und spezieller Logik oder sogar manuell ausgeführt werden, wobei die bestimmte Technik von der diese Erfindung implementierenden Entität ausgewählt werden kann. Fachleute verstehen ferner, dass die hierin beschriebene beispielhafte Hardware, Software, Prozesse, Verfahren und/oder Betriebssysteme nur für veranschaulichende Zwecke dienen und daher nicht auf eine bestimmte genannte beschränkt sein sollen.
Während das Vorstehende verschiedene Ausführungsformen der Erfindung beschreibt, können andere und weitere Ausführungsformen der Erfindung formuliert werden, ohne von dem grundsätzlichen Umfang davon abzuweichen. Der Umfang der Erfindung wird durch die Ansprüche bestimmt, die folgen. Die Erfindung ist nicht auf die beschriebenen Ausführungsformen, Varianten oder Beispiele beschränkt, die beinhaltet sind, um es einem Durchschnittsfachmann zu ermöglichen, die Erfindung herzustellen und zu verwenden, wenn sie mit den Informationen und Kenntnissen kombiniert werden, die dem Durchschnittsfachmann zur Verfügung stehen.
Die vorliegende Offenbarung stellt ein System und ein Verfahren für die Verfolgung der Bewegung eines Haustieres in einem Fahrzeug bereit.
Die vorliegende Offenbarung stellt ein System und Verfahren bereit, das die Verwendung von Tiefenbildern einschließt, die den entsprechenden Merkmalsraum anreichern, was ihn robuster macht.
Die vorliegende Offenbarung stellt ein System und ein Verfahren bereit, das IR-Bilder nutzt, um den Auswirkungen verschiedener Lichtverhältnisse entgegenzuwirken.
Die vorliegende Offenbarung stellt ein System und Verfahren bereit, das in Echtzeit läuft und ebenso auf preisgünstigen und technisch relativ einfachen Vorrichtungen eingesetzt werden kann.
Die vorliegende Offenbarung stellt ein intelligentes, praktikables und effizientes System und Verfahren für die Verfolgung der Bewegung von Haustieren in dem Fahrzeug und für die entsprechenden Auslösung eines Alarms bereit.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 3923809 A2 [0004]
WO 2021238316 A1 [0005]

Claims

System (100) zum Verfolgen der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug, wobei das System (100) umfasst: eine Bilderfassungsvorrichtung (102), die dazu konfiguriert ist, Einzelbilder von einem oder mehreren Sitzen des Fahrzeugs zu erfassen; eine Überwachungsvorrichtung (106), die betriebsfähig mit einer Lernmaschine (108) gekoppelt ist und in Kommunikation mit der Bilderfassungsvorrichtung (102) steht, wobei die Überwachungsvorrichtung (106) einen oder mehrere Prozessoren umfasst, wobei der eine oder die mehreren Prozessoren betriebsfähig mit einem Speicher gekoppelt sind, wobei der Speicher Anweisungen speichert, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, zum: Empfangen von der Bilderfassungsvorrichtung (102) der erfassten Einzelbilder; Verarbeiten der empfangenen Einzelbilder, um Tiefe und Amplitude zu extrahieren; unter Berücksichtigung der verarbeiteten Einzelbilder Identifizieren eines Sitzes unter den ein oder den mehreren Sitzen, der von der nicht-menschlichen Entität besetzt ist; und Überwachen des identifizierten Sitzes und Auslösen eines Alarms, wenn sich der Status des Sitzes für eine vordefinierte Anzahl kontinuierlicher Einzelbilder von besetzt zu unbesetzt ändert.
System (100) nach Anspruch 1, wobei die Lernmaschine (108) eine auf einem neuronalen Faltungsnetzwerk (CNN) basierende Architektur einschließlich eines Amplitudenzweigs und eines Tiefenzweigs umfasst.
System (100) nach Anspruch 2, wobei das System (100) dazu konfiguriert ist, die Einzelbilder an die Lernmaschine (108) zu übertragen, wobei die Lernmaschine (108) die übertragenen Einzelbilder verarbeitet, indem sie den Amplitudenzweig und den Tiefenzweig durchläuft, und die Amplitude beziehungsweise die Tiefe der Einzelbilder extrahiert wird; wobei sowohl der Amplitudenzweig als auch der Tiefenzweig eine sequentielle Anordnung von Faltungsschicht, Stapelnormalisierungsschicht, Gleichrichterschicht und Maxpool-Schicht beinhaltet.
System (100) nach Anspruch 3, wobei das System (100) dazu konfiguriert ist, einen latenten Merkmalsraum auszubilden, indem die Amplitude und die Tiefe der Einzelbilder, die über den Amplitudenzweig beziehungsweise den Tiefenzweig extrahiert werden, verschmolzen werden, und wobei der latente Merkmalsraum den Status des Sitzes und die Änderung des Status für die vordefinierte Anzahl von kontinuierlichen Einzelbilder darstellt.
System (100) nach Anspruch 4, wobei das System (100) dem Amplitudenzweig und dem Tiefenzweig jeweils ein vordefiniertes Gewicht zuweist, wobei das Verschmelzen der Amplitude und der Tiefe unter Berücksichtigung der entsprechenden Gewichte durchgeführt wird und dementsprechend ein angereicherter latenter Raum ausgebildet wird.
System (100) nach Anspruch 1, wobei das System (100) nur aktiviert wird, wenn das Fahrzeug mit einer Geschwindigkeit oberhalb einer vordefinierten Geschwindigkeit fährt.
System (100) nach Anspruch 1, wobei die Bilderfassungsvorrichtung (102) dazu konfiguriert ist, Infrarot- (IR-) Bilder zu erfassen, um den Effekten unterschiedlicher Belichtungsbedingungen entgegenzuwirken.
Verfahren (600) zum Verfolgen der Bewegung einer nicht-menschlichen Entität in einem Fahrzeug, wobei das Verfahren (600) die Schritte umfasst: Erfassen (602) von Einzelbildern eines oder mehrerer Sitze des Fahrzeugs durch eine Bilderfassungsvorrichtung; Empfangen (604) der erfassten Einzelbilder von der Bilderfassungsvorrichtung an einer Überwachungsvorrichtung, die betriebsfähig mit einer Lernmaschine gekoppelt ist; Verarbeiten (606) der empfangenen Einzelbilder in der Überwachungsvorrichtung, um Tiefe und Amplitude aus den Bildern zu extrahieren; Identifizieren (608) an der Überwachungsvorrichtung eines Sitzes unter dem einen oder den mehreren Sitzen, der von der nicht-menschlichen Entität besetzt ist, unter Berücksichtigung der verarbeiteten Einzelbilder; und Überwachen (610) des identifizierten Sitzes an der Überwachungsvorrichtung, um eine Änderung des Status des Sitzes von besetzt zu unbesetzt für eine vordefinierte Anzahl von kontinuierlichen Einzelbilder zu erkennen und dementsprechend einen Alarm auszulösen.
Verfahren (600) nach Anspruch 8, wobei das Verfahren (600) die Schritte umfasst: Übertragen der Einzelbilder an eine auf einem neuronalen Faltungsnetzwerk (CNN) basierende Lernmaschine, einschließlich eines Amplitudenzweigs und eines Tiefenzweigs; und Verarbeiten der übertragenen Einzelbilder durch Durchlaufen des Amplitudenzweigs und des Tiefenzweigs und entsprechendes Extrahieren der Amplitude beziehungsweise der Tiefe der Einzelbilder, wobei sowohl der Amplitudenzweig als auch der Tiefenzweig eine sequentielle Anordnung von Faltungsschicht, Stapelnormalisierungsschicht, Gleichrichterschicht und Maxpool-Schicht beinhaltet.
Verfahren (600) nach Anspruch 9, wobei das Verfahren (600) die Schritte umfasst: Zuweisen eines vordefinierten Gewichts jeweils dem Amplitudenzweig und dem Tiefenzweig; Verschmelzen der Amplitude und der Tiefe unter Berücksichtigung der entsprechenden Gewichte; und Ausbilden eines angereicherten latenten Raums auf Grundlage der verschmolzenen Amplitude und Tiefe, wobei der latente Merkmalsraum den Status des Sitzes und die Änderung des Status für die vordefinierte Anzahl von kontinuierlichen Einzelbildern darstellt.