DE102019202277A1

DE102019202277A1 - System und Verfahren zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels

Info

Publication number: DE102019202277A1
Application number: DE102019202277.4A
Authority: DE
Inventors: Bastian Aigner; Thomas Bauer
Original assignee: Ej Services Ug Haftungsbeschraenkt
Current assignee: EJ SERVICES UG (HAFTUNGSBESCHRAENKT), DE
Priority date: 2019-02-20
Filing date: 2019-02-20
Publication date: 2020-08-20

Abstract

Es wird ein System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels beschrieben. Das System weist ein mobiles Kommunikationsgerät und eine Zentraleinheit auf. Das mobile Kommunikationsgerät weist wiederum einer Kamera und einem Funkmodul auf, wobei die Kamera eingerichtet ist zum Aufnehmen eines Bildes von einem Ausschnitt des Innenraums, und wobei das Funkmodul eingerichtet ist zum Übermitteln von entsprechenden Bilddaten an die Zentraleinheit. Die Zentraleinheit ist eingerichtet zum Empfangen der Bilddaten und zum Bestimmen des Verschmutzungsgrades basierend auf den Bilddaten. Dabei verwendet die Zentraleinheit zum Bestimmen des Verschmutzungsgrades z.B. Algorithmen der künstlichen Intelligenz.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft die Schmutzerkennung in Transportmitteln wie z.B. Mietwägen, öffentlichen Verkehrsmitteln oder Flugzeugen. Die vorliegende Erfindung betrifft insbesondere eine automatisierte Bestimmung eines Verschmutzungsgrades im Innenraum von Fahrzeugen.
Hintergrund
Autovermieter bzw. Carsharing-Betreiber stehen vor der Aufgabe, zurückgegebene Mietwägen auf ihre Sauberkeit zu prüfen und den Mietwagen gegebenenfalls zu reinigen. Dies gilt insbesondere für den Innenraum eines Mietwagens. So kann z.B. durch eine Inaugenscheinnahme entschieden werden, ob der Mietwagen gereinigt werden muss oder direkt an den nächsten Kunden übergeben werden kann. Findet eine solche Inaugenscheinnahme nicht statt, kann es zu folgenden unerwünschten Situationen bei der Reinigungsplanung kommen: Erfolgt keine Reinigung, obwohl der Mietwagen deutliche Verschmutzungspuren aufweist, kann es zu Reklamationen durch den Kunden und allgemein zu einer sinkenden Kundenzufriedenheit kommen. Wird andererseits ein Reinigungstermin geplant, obwohl der Mietwagen keinerlei sichtbare Verschmutzungen aufweist, entstehen unnötigen Kosten für den Vermieter und unnötige Verzögerungen bei der Bereitstellung der Mietwägen.
Eine Aufgabe der vorliegenden Erfindung ist es, ein System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels (wie z.B. eines Mietwagens) bereitzustellen.
Zusammenfassung
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den abhängigen Ansprüchen sowie der folgenden Beschreibung.
Es wird ein System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels beschrieben. Das System weist ein mobiles Kommunikationsgerät und eine Zentraleinheit auf. Das mobile Kommunikationsgerät weist wiederum einer Kamera und einem Funkmodul auf, wobei die Kamera eingerichtet ist zum Aufnehmen eines Bildes von einem Ausschnitt des Innenraums, und wobei das Funkmodul eingerichtet ist zum Übermitteln von entsprechenden Bilddaten an eine Zentraleinheit. Die Zentraleinheit ist eingerichtet zum Empfangen der Bilddaten und zum Bestimmen des Verschmutzungsgrades basierend auf den Bilddaten. Dabei verwendet die Zentraleinheit zum Bestimmen des Verschmutzungsgrades z.B. Algorithmen der künstlichen Intelligenz (KI). Alternativ oder zusätzlich können auch Algorithmen der Bildverarbeitung bei der Verarbeitung der Bilddaten eingesetzt werden. Zum Beispiel können die Bilddaten durch geeignete Vorverarbeitungsschritte zur Verarbeitung durch die KI-Algorithmen vorbereitet werden, indem beispielsweise die Bilddaten dekomprimiert und/oder in eine geeignetere Darstellungsform überführt werden.
Der auf diese Weise bestimmte Verschmutzungsgrad kann z.B. durch einen Wert zwischen 0 und 1 dargestellt werden. Alternativ kann der Verschmutzungsgrad auch durch eine kleine Zahl diskreter Werte (wie z.B. 0 = sauber, 1 = leicht verschmutzt, 2 = verschmutzt, 3 = stark verschmutz) dargestellt werden. Im einfachsten Fall kann der Verschmutzungsgrad ein binärer Wert sein, der signalisiert, ob der Innenraum des Transportmittels gereinigt werden muss oder nicht. Durch das beschriebene automatisierte System kann z.B. im Bereich der Autovermietung die Kundenzufriedenheit erhöht werden. Gleichzeitig werden Kosten und Verzögerungen durch unnötig geplante Reinigungstermine vermieden.
Ein weiterer Vorteil des automatisierten Systems besteht in der Möglichkeit der automatisierten Inrechnungstellung von Reinigungskosten an den letzten Mieter des Mietwagens. Zwar sind die Reinigungskosten für den Mietwagen oft im Mietpreis inbegriffen. Dennoch können dem Kunden bei starken Verschmutzungen Reinigungskosten entstehen, die durch das beschriebene System automatisch erfasst werden können.
Bei dem Transportmittel kann es sich um jedes denkbare Land-, Luft- oder Wasserfahrzeug zur Personen- oder Güterbeförderung handeln, bei dem ein regelmäßiger Reinigungsbedarf besteht. Zum Beispiel kann in ein Automobil die Kamera derart im Fußraum angebracht werden, dass Dreck, Krümel oder Haare auf der Fußmatte, den Pedalen bzw. der Einstiegsleiste aufgenommen werden können. Alternativ dazu kann die Kamera unter dem Dachhimmel des Automobils oder im Kofferraum angebracht sein. Optional ist die Kamera mechanisch oder elektronisch schwenkbar im Transportmittel angebracht, wobei über das Funkmodul Signale von der Zentraleinheit zur Ausrichtung der Kamera auf bestimmte Bereiche des Innenraums empfangen werden können. Es können auch mehrere Kameras für verschiedene Ausschnitte des Innenraums (z.B. auf Sitze gerichtet) eines Transportmittels wie z.B. eines PKWs, eines Busses oder eines Flugzeugs verwendet werden. Die Kamera bzw. die Kameras können über einen elektronischen Datenbus mit dem Funkmodul verbunden sein. Vorzugsweise wird das mobile Kommunikationsgerät durch eine zentrale Recheneinheit gesteuert, welche ebenfalls über den elektronischen Datenbus mit dem Funkmodul und der Kamera (bzw. den Kameras) verbunden sein kann.
In jedem Fall ist das mobile Kommunikationsgerät im Innenraum des Transportmittels an einem geeigneten Ort befestigbar, so dass der gewünschte Ausschnitt von der Kamera erfasst werden kann. Zudem kann das mobile Kommunikationsgerät mit einer Energiequelle des Transportmittels verbunden sein. Beispielsweise kann das mobile Kommunikationsgerät über das Bordnetz mit der Autobatterie eines Autos verbunden sein. Auf diese Weise kann eine permanente Energieversorgung sichergestellt werden. Optional weist das mobile Kommunikationsgerät eine eigene Energiequelle (wie z.B. eine wieder aufladbare Batterie) auf, welche mit der Energiequelle des Transportmittels verbindbar und durch letztere aufladbar ist.
Bei dem Funkmodul kann es sich um ein Funkmodul für ein drahtloses Kommunikationssystem, wie z.B. um ein GSM (Global System for Mobile Communications) Funkmodul oder um ein WLAN (Wireless Local Area Network) Funkmodul handeln. Das Funkmodul kann z.B. eine bidirektionale Datenverbindung mit der Zentraleinheit ermöglichen, um unter anderem eine Aufforderungsnachricht und Bilddaten sowie gegebenenfalls zusätzliche Information wie Metadaten über das Bild zu übertragen.
Das mobile Kommunikationsgerät kann eingerichtet sein zum Erzeugen der Bilddaten durch Verarbeiten des aufgenommenen Bildes. Durch eine Bildkomprimierung kann die Menge der über das Funkmodul zu übertagende Information wesentlich reduziert werden. Alternativ oder zusätzlich kann beispielsweise die Auflösung des aufgenommen Bildes reduziert werden und/oder Farbinformation in Schwarz-Weiß-Daten überführt werden.
Die Zentraleinheit kann zum Bestimmen des Verschmutzungsgrades Algorithmen der Bildverarbeitung und/oder der künstlichen Intelligenz verwenden. Insbesondere kann die Zentraleinheit zum Bestimmen des Verschmutzungsgrades Algorithmen des maschinellen Lernens verwenden beziehungsweise Modelle einsetzen, die automatisch durch solche Algorithmen erstellt (angelernt) wurden. So kann die Zentraleinheit zum Bestimmen des Verschmutzungsgrades z.B. ein Modell eines künstlichen neuronalen Netzwerks verwenden. Bei dem künstlichen neuronalen Netzwerk kann es sich bevorzugt um ein Convolutional Neural Network CNN handeln. Das künstliche neuronale Netzwerk kann mindestens zwei Schichten mit einer unterschiedlichen Anzahl von Neuronen pro Schicht aufweisen. Zum Beispiel kann eine erste Schicht 32, 128 oder 256 Neuronen aufweisen. Eine zweite und letzte Schicht kann beispielsweise nur ein einziges Ausgabe-Neuron aufweisen. Der Ausgabewert des Ausgabe-Neurons kann dann z.B. zwischen 0 und 1 liegen und als Indikator für den Verschmutzungsgrad verwendet werden. Das neuronale Netz kann vor dem Einsatz als Bestimmungsmittel für den Verschmutzungsgrad auf diesen Einsatzzweck durch entsprechende Trainingsverfahren angelernt worden sein, indem ihm beispielsweise Musterbilddaten mit unterschiedlichen bekannten Verschmutzungsgrad dargeboten wurden und die internen Parameter des neuronalen Netzes durch ein Trainingsverfahren angepasst wurden. Hierfür sind verschiedene Trainingsverfahren bekannt, welche die internen Netzparameter so abändern, dass der Ausgabewert des Ausgabe-Neurons den gewünschten Wert annimmt.
Die Zentraleinheit kann mehrere (mindestens zwei) Auswertemodule aufweisen und eingerichtet sein zum Auswählen von einem der beiden Auswertemodule je nach Art des Innenraums oder je nach Art des Transportmittels. Jedes Auswertemodul kann konfiguriert sein, den Verschmutzungsgrad des Innenraums auf unterschiedliche Arten zu bestimmen. So kann z.B. je nach Fahrzeugtyp oder nach Art des Innenraums (z.B. vorgesehene Fußmatte) ein geeignetes Auswertemodul ausgewählt werden. Dabei kann jedes Auswertemodul auf einem anderen KI-Modell (z.B. ein künstliches neuronales Netzwerk) basieren. Alternativ dazu kann auch für beide Auswertemodule das gleiche Modell eines künstlichen neuronalen Netzwerkes verwendet werden, wobei dieses Modell für die beiden Auswertemodule auf unterschiedliche Weise trainiert wurde.
Die Zentraleinheit kann eingerichtet sein zum Übermitteln einer Aufforderungsnachricht an das mobile Kommunikationsgerät, und das mobile Kommunikationsgerät kann eingerichtet sein zum automatischen Aufnehmen des Bildes und zum automatischen Übermitteln der Bilddaten in Reaktion auf den Empfang der Aufforderungsnachricht. Das Transportmittel kann ein Auto sein und die Kamera kann auf den Fußraum des Fahrers oder den Fußraum des Beifahrers gerichtet sein.
Das mobile Kommunikationsgerät kann eine Lichtquelle zum Beleuchten des Innenraumes aufweisen. Bei der Lichtquelle handelt es sich z.B. um eine LED(light-emitting diode)-Lichtquelle oder um eine Infrarot-Lichtquelle. Auf diese Weise kann bei ungünstigen Umgebungslichtbedingungen die Bildqualität verbessert werden. Es ist auch möglich, dass - gegebenenfalls auf Aufforderung durch die Zentraleinheit - mehrere Bilder mit unterschiedlichen Belichtungsbedingungen aufgenommen werden. Das mobile Kommunikationsgerät kann die Bilder auswerten, zum Beispiel die Bildhelligkeit oder den Kontrast bestimmen, und entscheiden welche(s) Bild(er) an die Zentraleinheit übertragen wird/werden. Alternativ können Bilddaten für mehrere oder alle Bilder übertragen werden und die Zentraleinheit ermittelt, welches Bild für die Auswertung am geeignetsten ist und der Auswertung, zum Beispiel durch ein KI-Modul, zugeführt werden soll. Es kann auch vorgesehen sein, die Bilddaten aller aufgenommenen Bilder der Auswertung durch das KI-Modul zu übergeben und anschließend die für die jeweiligen Bilder ermittelten Verschmutzungsgrade zu bewerten, um einen endgültigen Verschmutzungsgrad für das Transportmittel zu bestimmen. Dies kann beispielsweise dadurch geschehen, dass der Mittelwert der Einzelergebnisse gebildet wird, oder indem derjenige Wert für den Verschmutzungsgrad ausgewählt wird, der das deutlichste Ergebnis liefert (zum Beispiel der größte oder kleinste Wert).
Gemäß einem Aspekt wird ein Verfahren zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels beschrieben. Das Verfahren kann aufweisen das Aufnehmen eines Bildes von einem Ausschnitt des Innenraumes durch ein mobiles Kommunikationsgerät, das Übermitteln von Bilddaten von dem mobilen Kommunikationsgerät an eine Zentraleinheit, und das Bestimmen des Verschmutzungsgrades durch die Zentraleinheit basierend auf den Bilddaten. Die Bilddaten können von dem mobilen Kommunikationsgerät über ein Mobilfunknetz an die Zentraleinheit übermittelt werden.
Das Verfahren kann aufweisen ein Bestimmen des Verschmutzungsgrades durch die Zentraleinheit basierend auf Algorithmen der KI wie einem Modell eines künstlichen neuronalen Netzwerks. Das Transportmittel kann ein Auto sein und der Ausschnitt des Innenraums kann den Fußraum des Fahrers oder Beifahrers zeigen. Das Verfahren kann aufweisen ein Auswählen eines von mindestens zwei Auswertemodulen unter Berücksichtigung eines Fahrzeugtyps und/oder einer Beschaffenheit einer Fußmatte, und ein Bestimmen des Verschmutzungsgrades durch die Zentraleinheit unter Verwendung des ausgewählten Auswertemoduls. Unter der Auswahl eines Auswertemoduls ist auch die Auswahl eines spezifischen KI-Modells zu verstehen, das abhängig von beispielsweise dem Fahrzeugtyp für die Auswertung der Bilddaten herangezogen wird.
Das Verfahren kann aufweisen ein Übermitteln einer Aufforderungsnachricht von der Zentraleinheit an das mobile Kommunikationsgerät, und ein automatisches Aufnehmen des Bildes und ein automatisches Übermitteln der Bilddaten an die Zentraleinheit durch das mobile Kommunikationsgerät in Reaktion auf den Empfang der Aufforderungsnachricht. Das Aufnehmen des Bildes kann ein Beleuchten des Innenraumes während der Aufnahme umfassen. Die Bilddaten können durch Komprimieren und/oder andersartige Verarbeitung des aufgenommenen Bildes erzeugt werden. Das Verfahren kann weiter Schritte aufweisen, die den Funktionen des oben beschriebenen Systems entsprechen.
Weiterhin wird ein mobiles Kommunikationsgerät zur Verwendung in einem System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels beschrieben. Das mobile Kommunikationsgerät kann neben einem oder mehreren Prozessoren und Speicher ein Funkmodul und eine Kamera aufweisen. Das Funkmodul kann eingerichtet sein zum Empfangen einer Aufforderungsnachricht von einer Zentraleinheit. Die Kamera kann eingerichtet sein zum Aufnehmen eines Bildes von einem Ausschnitt des Innenraumes in Reaktion auf den Empfang der Aufforderung. Das Funkmodul kann eingerichtet sein zum Übermitteln von Bilddaten an die Zentraleinheit in Reaktion auf die Aufnahme des Bildes, wobei die Bilddaten mit dem aufgenommenen Bild assoziiert sind. Das mobile Kommunikationsgerät kann weiter gemäß dem oben beschriebene System oder Verfahren ausgebildet sein.
Des Weiteren wird eine Zentraleinheit zur Verwendung in einem System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels beschrieben. Die Zentraleinheit kann ein Funkmodul und mindestens ein Auswertemodul aufweisen. Das Funkmodul kann eingerichtet sein zum Senden einer Aufforderungsnachricht und zum Empfangen von Bilddaten von einem mobilen Kommunikationsgerät. Das mindestens eine Auswertemodul kann eingerichtet sein zum Bestimmen des Verschmutzungsgrades basierend auf den Bilddaten. Die Zentraleinheit kann einen oder mehrere Prozessoren und Speicher aufweisen, um zum Beispiel Instruktionen zur Ausgestaltung des Auswertemoduls aufzuweisen. Die Zentraleinheit kann weiter gemäß dem oben beschriebenen System oder Verfahren ausgebildet sein.
Ein weiterer Aspekt der Offenbarung besteht in einem Computerprogramm zur Durchführung des oben beschriebenen Verfahrens auf einer Rechenvorrichtung, die mittels gespeicherten Instruktionen derart konfiguriert wird, um wie ein oben beschriebenes Kommunikationsgerät oder eine Zentraleinheit zu wirken.
Weitere Ziele, Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispiels anhand der Zeichnungen. Dabei bilden alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination den Gegenstand der Erfindung, unabhängig von der Zusammenfassung in einzelnen Ansprüchen oder deren Rückbeziehung.
Figurenliste
Die vorliegende Erfindung wird anhand der folgenden Figuren erläutert, wobei die Figuren nur dem Verständnis dienen und den Erfindungsgegenstand nicht auf die dargestellten Beispiele reduzieren sollen:

1 zeigt ein Ablaufdiagram für ein Ausführungsbeispiel der Erfindung;
2 zeigt eine beispielhafte Anordnung zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Autos;
3 zeigt ein Ausführungsbeispiel für ein System zur automatischen Bestimmung eines Verschmutzungsgrades;
4 zeigt einen beispielhaften Aufbau eines KI-Modells; und
5 zeigt ein Ausführungsbeispiel für Tabellen einer Datenbank in einem beispielhaften Server.

Detaillierte Beschreibung
Im Folgenden wird der Aufbau eines beispielhaften Systems beschrieben, welches die optische Auswertung der Sauberkeit der Innenräume von Fahrzeugen ermöglichen soll. Während das System auf der Ebene der einzelnen Komponenten auf Open-Source-Lösungen aufbaut werden kann, besteht eine Innovation darin, diese Komponenten auf eine Weise zu kombinieren, die die besagte Auswertung der Innenräume gestattet.
Grundsätzlich besteht ein erfindungsgemäßes System aus zwei Hauptkomponenten: einem mobilen Kommunikationsgerät (in der folgenden Beschreibung auch Einplatinencomputer genannt) und einer Zentraleinheit (in der folgenden Beschreibung auch Server genannt). Der Server sammelt die (z.B. in den Transportmitteln wie z.B. Fahrzeugen) erhobenen Daten und analysiert diese über ein KI (Künstliche Intelligenz)-Modell. Ebenso werden die Ergebnisse der Analyse abgespeichert und für andere Systeme bereitgestellt. Der Einplatinencomputer macht nach Erhalt einer Aufforderungsnachricht durch den Server über eine angeschlossene Kamera Aufnahmen des Innenraumes und sendet diese mittels eines drahtlosen Kommunikationsnetzes an den Server.
Das beispielhafte System wird anhand des praktischen Beispiels der Auswertung der Sauberkeit einer konkreten Stelle (des Fußraumes) in einem konkreten Fahrzeug (Auto) beschrieben, weshalb auch diese Begriffe im Folgenden verwendet werden. Dies bedeutet jedoch nicht, dass man abgeänderte Komponenten (z.B. eine Kamera mit Fischaugenobjektiv) nicht prinzipiell auch in anderen Anwendungs-Szenarien (z.B. mittig an der Decke einer Flugzeugkabine) anbringen und ein entsprechendes KI-Modell zur Auswertung antrainieren kann, um auf diese Weise den Sauberkeitszustand des Innenraumes zu ermitteln. Derartige Abwandlungen sollen deshalb von der vorliegenden Offenbarung und dem Grundprinzip der Erfindung erfasst sein. Diese wird nur von den angefügten Patentansprüchen beschränkt und soll auch offensichtliche Abwandlungen und Äquivalente umfassen.
Ein beispielhafter Ablauf eines Auswertungsvorgangs des beschriebenen Systems gemäß einem Ausführungsbeispiel wird in 1 gezeigt:

Schritt 100. Versand der Aufforderung zur Bildaufnahme durch den Server 1: Falls eine Innenraumanalyse eines Autos erwünscht ist, sendet der Server 1 ein Signal mittels eines drahtlosen Kommunikationsnetzes 3 (z.B. in Form einer Aufforderungsnachricht mittels SMS) an den in dem Auto platzierten Einplatinencomputer 2.
Schritt 200. Aufnahme und Komprimierung eines Bildes durch den Einplatinencomputer 2: Der Einplatinencomputer 2 nimmt nach Eingang des Signals ein Bild auf und komprimiert dieses. Gegebenenfalls wird hierbei eine Beleuchtungsquelle zur Verbesserung der Bildqualität aktiviert.
Schritt 300. Hochladen des Bildes durch den Einplatinencomputer 2: Das komprimierte Bild wird vom Einplatinencomputer 2 mittels des drahtlosen Kommunikationsnetzes 3 auf den Server 1 hochgeladen.
Schritt 400. Auswertung des Bildes durch den Server 1: Nach Eintreffen des Bildes wird dieses mittels eines passenden, auf dem Server 1 hinterlegten KI-Modells analysiert, um den Verschmutzungsgrad des Innenraums des Autos zu ermitteln.
Schritt 500. Speicherung und Bereitstellung des Ergebnisses durch den Server 1: Das Ergebnis der Analyse wird vom Server gespeichert und zur Weiterverwendung für (autorisierte) Abfragen (z.B. vom Autobesitzer oder - verleiher) bereitgestellt.

In Ausführungsbeispielen kann in einem Fahrzeuginnenraum ein Einplatinencomputer 2 mit eingebautem GSM-Modul eingesetzt werden (siehe 2). Das GSM-Modul gewährleistet eine Mobilfunkverbindung, weswegen in dieses auch eine handelsübliche SIM-Karte mit zugehöriger Telefonnummer eingeführt ist. An den Einplatinencomputer sind eine Kamera und eine Infrarotlampe, welche Kameraaufnahmen unabhängig von Lichtverhältnissen ermöglichen soll, angeschlossen. Die Stromversorgung kann über den OBD-Anschluss des Autos stattfinden. Hierfür wird von einem OBD-Stecker lediglich der Pin Nr. 16 (Dauerplus) verwendet und dem Stromanschluss des Einplatinencomputers zugeführt. Dadurch wird der Einplatinencomputer auch in abgestellten Autos dauerhaft mit Strom versorgt und bleibt stets eingeschalten. Der Einplatinencomputer wird in der Nähe des OBD-Anschlusses des Fahrzeugs befestigt. Dieser befindet sich im Normalfall in einem Hohlraum neben dem Lenkrad 10 bzw. der Lenksäule 11, in welchem der Einplatinencomputer auch vor ungewollten Zugriffen geschützt ist. Wie in 2 gezeigt, wird die Kamera aus diesem Raum hinausgeführt und gemeinsam mit der Infrarotlampe so im Fußraum 15 des Fahrers - also z.B. unter der Lenkstange 10 des Fahrzeugs - montiert, dass diese auf die Fußmatte/Fußablage 14 gerichtet ist. Referenznummer 12 bezeichnet das Bremspedal und Referenznummer 13 das Gaspedal, die beide im Fußraum 15 angeordnet sind.
3 zeigt schematisch ein Ausführungsbeispiel des offenbarten Systems mit dem mobilen Kommunikationsgerät (Einplatinencomputer) 2 und der Zentraleinheit (Server) 1. Das mobile Kommunikationsgerät weist eine Kamera 4, gegebenenfalls mit Lichtquelle (LED), einer CPU 6 mit Speicher, einem Funkmodul 5 für das drahtlose Kommunikationsnetz 3 und eine Antenne 7 auf. Die Zentraleinheit 1 weist ebenfalls eine CPU 6 mit Speicher, ein Funkmodul 5 für das drahtlose Kommunikationsnetz 3 und eine Antenne 7 auf. Weiterhin ist eine Datenbank 8 vorgesehen, die sich innerhalb der Zentraleinheit 1 befinden kann, oder mit dieser zum Datenaustausch gekoppelt ist. In der Datenbank 8 sind ein oder mehrere KI-Modelle 9 gespeichert.
In der folgenden Beschreibung werden beispielhafte Komponenten einer Softwareimplementierung eines Ausführungsbeispiels beschrieben. Dabei wird zunächst auf Komponenten eingegangen, die zur Erstellung eines KI-Auswertungsmoduls benötigt werden. Es ist offensichtlich, dass diese Komponenten bei einem Betrieb des Systems zur Bestimmung eines Verschmutzungsgrades des Innenraums eines Transportmittels nicht benötigt werden, da nach der Trainingsphase für das KI-Modul nur noch das auf diese Weise erstellte KI-Modul benötigt wird. Anschließend werden Softwarekomponenten des Servers beschrieben, die dem Betrieb des erfindungsgemäßen Systems dienen.
Labeler
Auf dem hier beispielhaft beschriebenen Server kommt ein software-basierter Labeler zum Einsatz. Die Labeler-Komponente stellt eine Webapplikation (realisiert z.B. über das Python-Framework Django) zur Verfügung, welche zur Erstellung des Datensatzes für das Anlernen von KI-Modellen verwendet werden kann. Die Grundidee dieser Komponente ist, die menschliche Bewertung des wahrgenommenen Verschmutzungsgrades zu erleichtern, da zum Anlernen künstlicher Intelligenzen i.d.R. ein von Menschen erstellter Satz von „Musterbeispielen“ als zugrundeliegender Datensatz notwendig ist.
Hierbei ist es zunächst möglich, passende Bilder von Fahrzeuginnenräumen in die Webapplikation zu importieren. Anschließend werden diese Bilder autorisierten Personen (der Zugang zum Labeler erfordert typischerweise einen Login, um den Zugang zu diesem Modul nur autorisierten Personen zu ermöglichen) randomisiert vorgelegt. Unter dem angezeigten Bild erscheinen mehrere Buttons, welche verschiedene Verschmutzungsgrade (beispielsweise fünf linear ansteigende Stufen, sowie deren Zwischenstufen) beschreiben. Wird einer dieser Buttons vom Benutzer angeklickt, wird der ausgewählte Verschmutzungsgrad dem Bild zugeordnet und in der Datenbank abgespeichert. Der gewählte Verschmutzungsgrad wird in der hier beschriebenen beispielhaften Implementierung in eine Gleitkommazahl y im Intervall [0;1] übersetzt, wobei 0 den saubersten und 1 den dreckigsten Zustand beschreibt. Im Falle einer Anzahl von n linear, regelmäßig ansteigenden Verschmutzungsgraden, bedeutet dies, dass der ausgewählte Verschmutzungsgrad x (xEN\0, beginnend bei 1 für den niedrigsten Verschmutzungsgrad und für jeden höheren Verschmutzungsgrad um 1 zunehmend) mit einem Wert y versehen wird, der (x-1)/(n-1) entspricht. Der Wert x bezeichnet hier einen Verschmutzungsgrad, wie ihn ein Mensch wahrnimmt. Wenn man die Sauberkeit etwa mit Schulnoten bewertet (1 = sehr sauber, 6 = sehr schmutzig), wäre die Anzahl n der unterschiedlichen Verschmutzungsgrade hier 6. Bei einem scheinbar recht sauberen Fußraum (Schulnote 2) würde dann das KI-Modul idealerweise den Wert y = (x-1)/(n-1) = (2-1)/(6-1) = (1/5) = 0.2 ausgeben.
Der Labeler entnimmt anschließend ein zufälliges nächstes Bild aus der Datenbank und legt dieses dem Benutzer zur Bewertung vor. Hat ein Benutzer bereits alle verfügbaren Bilder bewertet, wird ihm dies mitgeteilt und kein weiteres Bild mehr geladen. Die Bilder können auch jeweils von mehreren Benutzern bewertet werden. Der Satz von Bildern mit ihren jeweiligen Bewertungen bildet den Trainingsdatensatz für das nachfolgende Anlernen des KI-Moduls.
KI-Trainingsservice
4 zeigt einen beispielhaften Aufbau eines KI-Modells basierend auf einem sogenannten Convolutional Neural Network (CNN) des Typs VGG16. Bei diesem Netzwerk handelt es sich um ein neuronales Netz zur Bilderkennung, wie in dem Konferenzbeitrag „VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION“, Karen Simonyan & Andrew Zisserman, ICLR 2015, beschrieben. Dieses Dokument ist in Gänze durch Bezugnahme aufgenommen und erläutert in Detail das VGG16 Netzwerk, sein Training und seine Verwendung als Bildklassifikator. Bei dem VGG16 Netzwerk ist eine Vielzahl von Faltungskernen in Form von speziellen Neuronen in einer Mehrzahl von Schichten angeordnet, um Merkmale aus den Bilddaten zu extrahieren und zu verknüpfen.
4 gibt für ein KI-Modell basierend auf dem VGG16 Netzwerk und weiteren Netzwerkschichten jeweils die Anzahl der Eingangs- und Ausgangsparameter (Anzahl der Knoten) in den verschiedenen Dimensionen an. Am Eingang des VGG16 Netzwerks liegen zum Beispiel Bilder mit einer Auflösung von 224 x 224 Pixel und 3 RGB Farbkanälen an. Am Ausgang des VGG16 Netzwerkes (beziehungsweise eines Teils davon; siehe unten) liegen Ausgangswerte der Faltungskerne in Feldern der Größe 7 x7 an, wobei 512 solcher Felder/Faltungskerne (Kanäle) vorgesehen sind. Diese bilden den Eingang zu den folgenden Schichten des Typs „Flatten“ und „Dense (siehe unten). Am Ende des Netzwerks liefert ein Ausgangsknoten einen geschätzten Wert für den Verschmutzungsgrad des zugeführten Eingangsbildes. Die mit „None“ gekennzeichnete Dimension bezieht sich auf eine variable Batch-Größe, mit der das Netzwerk eine Anzahl von Bildern simultan auswerten kann. Dieses Merkmal wird in dem gezeigten Ausführungsbeispiel jedoch nicht genutzt.
Ein KI-Trainingsservice enthält das Programm, welches für den Anlernprozess des zu verwendenden KI-Modells notwendig ist. Im vorliegenden Fall handelt es sich z.B. um ein in Python verfasstes Skript. In diesem werden sowohl die zu verwendenden Trainingsdaten aufbereitet, als auch anschließend über das Python-Framework Keras (Open Source Deep-Learning-Bibliothek) der Aufbau des Modells, sowie dessen Anlernprozess beschrieben. Zur Durchführung des Anlernprozesses kann beispielsweise Googles TensorFlow Framework verwendet werden.
Der KI-Trainingsservice beginnt bei Start des Skripts mit der Vorbereitung des zu verwendenden Trainingsdatensatzes. Hierfür werden grundsätzlich die bereits bewerteten Bilder, sowie deren Einzelbewertungen aus der Datenbank abgerufen. Da die Labelerkomponente von mehreren Benutzern verwendet werden kann und demzufolge für jedes Bild auch potentiell mehrere Einzelbewertungen vorliegen, werden diese Einzelbewertungen vom KI-Trainingsservice über ein statistisches Verfahren (beispielsweise ungewichteter Durchschnitt, Durchschnitt ohne die beiden Extremstellen, ...) für jedes Bild zu einem einzigen Wert zusammengefasst. Sobald für jedes Bild nur noch ein Bewertungswert vorhanden ist, gilt der Trainingsdatensatz als fertig vorbereitet. Anschließend kann der eigentliche Anlernprozess des KI-Modells beginnen. Hierfür kann z.B. auf eine Standardlösung von Keras zurückgegriffen werden, welche die folgenden Schritte durchführt:

• Skalieren aller Bilder auf 224 x 224 Pixel. Es werden jeweils 3 Farbkanäle für die Bilddaten verwendet. Durch diese Schritte werden die Eingangsdaten für das KI-Modell gebildet.
• Während des Trainiervorganges: Zufälliges Drehen aller Bilder um bis zu 10 Grad, sowie zufälliges horizontales und vertikales spiegeln. Auf diese Weise werden zusätzliche Variationen in den Trainingsdaten erzeugt, um das gelernte KI-Modell robuster gegen Variationen in den Eingangsdaten zu gestalten.
• Adjustieren der Parameter (Gewichte und Biase) des neuronalen Netzwerkes (z.B. eines Convolutional Neural Networks) über den Backpropagation-Algorithmus. Dies ist ein iterativer Vorgang und wird deshalb wiederholt für den ganzen Trainingsdatensatz durchgeführt, um eine Fehlerfunktion zu minimieren, welche die gewünschte Funktion des KI-Modells bewertet.

Das Resultat des Anlernprozesses ist ein Tensorflow-Modell. Dieses wird nun in der Datenbank hinterlegt, wo nun für den Auswertungsservice das aktuellste Modell zugänglich ist. In einem Ausführungsbeispiel wird ein KI-Modell antrainiert, welches in allen Autos genutzt wird. Prinzipiell ist es jedoch auch möglich, verschiedene KI-Modelle für verschiedene Autos, Innenräume (mit/ohne Fußmatte) und verschiedene Jahreszeiten (mit entsprechenden Verschmutzungsmustern) anzutrainieren, um die Möglichkeit zu haben, dynamisch ein optimal passendes KI-Modell zur Auswertung heranzuziehen. Auf diese Weise können bessere Ergebnisse für die Bestimmung des Verschmutzungsgrades erzielt werden. Beispielsweise haben verschiedene Fußmatten unterschiedliche Muster bzw. Texturen, die von dem KI-Modell berücksichtigt werden können.
Triggerservice
Die Aufgabe des Triggerservices ist es, Anfragen zur Auswertung der Sauberkeit eines Autos entgegenzunehmen, auszuwerten und infolgedessen den im Auto verbauten Einplatinencomputer zum Start der Aufnahmeroutine anzuregen. Der Anregungsvorgang der Aufnahmeroutine wird auch als „Triggern“, das Anregungssignal als „Trigger“ bezeichnet. Im Ruhezustand überprüft der Server, ob derzeit eine neue Anfrage zur Messung der Fußraumverschmutzung in einem bestimmten Auto vorliegt. Dies geschieht, indem die dazugehörige Datenbanktabelle nach neuen, unbeantworteten Einträgen abgefragt wird. Die Anfrage zur Ermittlung des Verschmutzungsgrades erfolgt z.B. über das HTTPS-Protokoll und kann beispielsweise bei Abschluss einer Buchung oder der Rückgabe eines Mietwagens versendet werden. Sobald eine Anfrage eintrifft, wird im Triggerservice ein neuer Thread gestartet, welcher die folgenden Aktivitäten übernimmt:

• Der Inhalt der Anfrage (ID des Fahrzeugs, Authentifizierungsinformationen) wird vom Server geprüft. Sind die Authentifizierungsinformationen korrekt, wird aus der Datenbank ermittelt, welcher Einplatinencomputer im angefragten Auto verbaut ist und was die zugehörige Telefonnummer dessen SIM-Karte ist.
• Es wird anhand der zuvor ermittelten Telefonnummer per Mobilfunk ein Signal (= Trigger oder Aufforderungsnachricht) an den zum Auto zugehörigen (d.h. im Auto montierten) Einplatinencomputer geschickt, welches dessen Aufnahmeroutine auslöst. Dieses Signal kann beispielsweise eine SMS-Nachricht oder das Anrufen der Telefonnummer des Einplatinencomputers sein.
• Der Thread wird beendet.

Auswertungsservice
Als Antwort auf den Trigger führt der entsprechende Einplatinencomputer seine Aufnahmeroutine durch, welche damit endet, dass er das aufgenommene und komprimierte JPEG-Bild mittels des drahtlosen Kommunikationsnetzes auf den Server hochlädt. Dies kann beispielsweise über das Versenden eines MMS-Nachricht erfolgen, oder indem eine Datenverbindung zu dem Server aufgebaut wird.
Der Auswertungsservice verarbeitet nun diese eingehenden Bilder indem er sie anhand des KI-Modells auswertet und den bei der Auswertung resultierenden Wert für den Verschmutzungsgrad in der Datenbank hinterlegt. Ob ein neues, nicht ausgewertetes Bild vorliegt, wird erkannt, indem die Datenbanktabelle der Bilder nach Einträgen abgesucht wird, bei welchen für das Auswertungsresultat des Bildes noch ein NULL-Wert anstatt einer Referenz auf eine Auswertung vorliegt. Der NULL-Wert wird automatisch beim Upload von Bildern hinterlegt und dient als Platzhalter, solange noch keine Auswertung des Bildes durch das KI-Modul durchgeführt wurde.
Wird ein solcher Eintrag erkannt, wird für dessen Auswertung ein neuer Thread gestartet. Dieser Thread führt nun folgende Schritte durch:

• Das auszuwertende Bild wird in das Auswertungsskript geladen.
• Das zur Auswertung benötigte, aktuelle KI-Modell wird ebenfalls in das Skript geladen, gegebenenfalls unter Berücksichtigung des Fahrzeugtyps, des Innenraums, oder der Jahreszeit.
• Nun wird über die in Keras inkludierte Bibliotheksfunktion „evaluate“, welche das antrainierte KI-Modell verwendet, das Bild ausgewertet. Als Rückgabewert entsteht dabei eine Gleitkommazahl im Intervall [0;1], welche der Sauberkeit des auf dem Bild dargestellten Fußraumes entspricht. Auch hier steht 0 für den saubersten Zustand und 1 für den dreckigsten Zustand, der bei der KI-Auswertung erkannt werden kann.
• Der Rückgabewert der Auswertung wird nun mittels eines neuen Eintrags in der Datenbanktabelle der Auswertungsresultate hinterlegt. Im Eintrag des Bildes wird der NULL-Wert nun durch eine Referenz auf den Eintrag des Auswertungsresultats ersetzt.

Datenbank mit dazugehöriger API:
Um die diversen, zur Realisierung des Systems notwendigen Informationen (Informationen über die überwachten Autos, die eingebauten Sensoren, die Auswertungsergebnisse, ...) persistent speichern zu können, kann eine relationale Datenbank verwendet werden. 5 zeigt ein Beispiel, wie die für den Auswertungsvorgang (ohne Antrainieren des KI-Modells) notwendigen Tabellen als Klassen modelliert werden können.

Die folgende Tabelle enthält eine kurze Beschreibung der einzelnen Tabellen aus 5.

Client	Enthält Informationen über den Verleiher des Fahrzeugs; dient der Zuordnung von Autos an gewisse Verleiher.
Car	Enthält Informationen zur Identifizierung der Fahrzeuge
Sensor	Enthält Informationen über die Einplatinencomputer. Kann einem Fahrzeug zugewiesen werden. Enthält auch Authentifizierungsinformationen, die der Einplatinencomputer beim Upload der Aufnahme mitsenden muss.
Image	Enthält Informationen über die von den Einplatinencomputern übermittelten Bilder. Wird ein Bild hochgeladen, wird ein neuer Eintrag in dieser Tabelle erstellt.
F ootwellEvaluation	Enthält die Auswertungsresultate für die Fußräume. Obwohl diese möglicherweise nur aus den Auswertungen der Bilder besteht, werden diese in einer separaten Tabelle abgelegt. Dies hat den Zweck, gegebenenfalls ohne Komplikationen das Hinzufügen zusätzlicher Faktoren (z.B. letzter Ort, gefahrene Kilometer, ...) zur Fußraumauswertung zu erlauben. Wird ein Bild analysiert, wird ein neuer Eintrag in dieser Tabelle erstellt, der das Bild referenziert.
TriggerSender	Enthält die Authentifizierungsinformationen aller Systeme, welchen es gestattet ist, die Fußraumanalyse eines Fahrzeugs zu beantragen.
TriggerRequest	Enthält alle gesendeten Anträge für die Durchführung der Fußraumanalyse.

Um Zugriffe auf die Datenbank zu vereinfachen und besser kontrollieren zu können, kann in dieser Komponente ein Webserver als API verwendet werden. Über diese sind unter anderem Schnittstellen für die folgenden Funktionen gegeben:

• Erstellen eines neuen Eintrags in der TriggerRequest-Tabelle
• Upload eines Bildes inkl. automatischer Erstellung der dazugehörigen Datenbankeinträge
• Ausgabe von Analyseresultaten für bestimmte Autos bzw. bestimmte Gruppen von Autos (z.B. alle Autos eines bestimmten Vermieter)

Aufnahmeroutine in mobilem Kommunikationsgerät
Ein möglicher Programmablauf auf dem Einplatinencomputer in Ausführungsbeispielen sieht z.B. wie folgt aus: Im Ruhezustand wartet der stets eingeschaltete Einplatinencomputer auf ein eintreffendes Mobilfunk-Signal (= Trigger, Aufforderungsnachricht) des Servers. Trifft ein solches ein, startet dies die Aufnahmeroutine des Einplatinencomputers. Zunächst wird die Infrarotlampe für ein paar Sekunden aktiviert (um die Lampe aufzuheizen, falls erforderlich) und daraufhin die Kamera ausgelöst, um ein Bild aufzunehmen. Das nun als Bitmap aufgenommene Bild wird auf dem Einplatinencomputer komprimiert. Dabei wird es zu einer JPEG-Datei mit einer Auflösung von 256x256 Pixel und einer Qualität von 15% reduziert. Anschließend wird das nun als komprimierte JPEG-Datei vorliegende Bild mit reduzierter Auflösung vom Einplatinencomputer über eine mobile Netzwerkverbindung, beispielsweise über 2G, 3G, 4G oder WLAN, und über eine Datenbank-API auf den Server hochgeladen. Zuletzt wechselt der Einplatinencomputer zurück in den Ruhezustand und wartet auf den Empfang eines neuen Trigger-Signals.
Weiteres zum Anlernen des KI-Modells
Im Weiteren werden weitere Einzelheiten zum Anlernen des KI-Models präsentiert. Zum Anlernen des KI-Modells muss üblicherweise zunächst ein großer Satz an Trainingsbildern, deren Verschmutzungsgrad bereits durch Menschen bewertet wurde, existieren (siehe oben zur Labeler-Komponente) . Um das aus dem Anlernprozess resultierende KI-Modell für möglichst viele Situationen zu wappnen, gelten für die Trainingsbilder folgende Anforderungen:

• Sie müssen von einer korrekt in einem Fußraum angebrachten Kamera eines Einplatinencomputers aufgenommen worden sein.
• Sie sollen aus möglichst vielen verschiedenen Fußräumen aus möglichst vielen verschiedenen Automodellen stammen (falls nicht spezifische KI-Modelle für die verschiedenen Automodelle verwendet werden).
• Sie sollen möglichst viele verschiedene (realistische) Belichtungssituationen abdecken.
• Sie sollen möglichst viele verschiedene Verschmutzungsgrade und -arten abdecken.

Obwohl die KI-Auswertung der Bilddaten in Ausführungsbeispielen aus Performancegründen mit Bildern niedriger Auflösung (JPEG mit Auflösung von 256x256 Pixeln) arbeitet und auch mit solchen Bildern angelernt wird, sollten die Trainingsbilder dennoch zuvor in voller Qualität und im ursprünglichen Seitenverhältnis vorliegen (z.B. JPEG-Aufnahmen in hoher Qualität). Dies ist von Vorteil, da die verwendeten Bilder zuvor von Menschen bewertet werden müssen und demnach Verschmutzung leicht für sie erkennbar sein sollen.
Um Bilder, die diese Anforderungen erfüllen, in hoher Qualität zu sammeln, kann auf einen Mix aus zwei Quellen zurückgegriffen werden:
Künstlich hergestellte Bilder
Hierbei wird in ein Auto zunächst eine spezielle Version des Einplatinencomputers eingebaut. Dieser verfügt zusätzlich über eine eingelegte Speicherkarte und ist so konfiguriert, dass er sich nicht in das Mobilfunknetz einwählt, sondern sich stattdessen automatisch mit einem lokalen Drahtlosnetzwerk mit festgelegter SSID und Passwort verbindet. Verbindet man nun ebenfalls einen Rechner mit diesem Drahtlosnetzwerk, ist es möglich, sich von diesem aus per SSH beim Einplatinencomputer einzuloggen. Nun kann ein Skript gestartet werden, welches es beliebig oft ermöglicht, den Bildaufnahmevorgang (Einschalten der Infrarotlampe und anschließendes Schießen des Bildes) durchzuführen und das aufgenommene Bild in voller Qualität auf der Speicherkarte im Einplatinencomputer zu hinterlegen. Auf diese Weise können verschiedene Verschmutzungs- und Belichtungssituationen im Fußraum herbeigeführt und aufgenommen werden. Nach der Durchführung wird die Speicherkarte mit den Bildern entnommen, ausgelesen und die Bilder der Trainingsdatenbank hinzugefügt.
In Betrieb gesammelte Bilder
Im normalen Betrieb der eingebauten Einplatinencomputer alle Bilder in voller Qualität und unkomprimiert zu übermitteln, ist üblicherweise nicht erwünscht, um hohe Mobilfunkkosten zu vermeiden und auch bei schlechtem Empfang eine rasche Übertragung der Bilder zu garantieren. Es ist jedoch möglich, Bilder mit hoher Qualität zufällig auszuwählen und zu übertragen. Hierzu kann vor jedem Durchlauf der Aufnahmeroutine auf einem Einplatinencomputer eine Zufallszahl x in einem Intervall [0;n] generiert werden. x kann nun mit einer fest einprogrammierten Konstante c ε [0;n] verglichen werden. Falls x und c hinreichend gleich sind (zum Beispiel wenn die Differenz zwischen X und c klein genug ist), wird zusätzlich zum Upload des komprimierten Bildes noch eine Aufnahme des Bildes in hoher Auflösung und Qualität (z.B. JPEG mit hoher Qualitätsstufe) übermittelt. Die Wahrscheinlichkeit, dass dies Eintritt beträgt somit 1/(n+1) * 100%. Dies führt dazu, dass langfristig 1/(n+1) * 100% der Bilder noch zusätzlich als Stichprobe erhoben und zum weiteren Training des KI-Moduls verwendet werden können. Die auf diesen Wegen gesammelten Bilder können anschließend in den Labeler importiert und manuell mit Verschmutzungsgraden versehen werden.
Um den Trainingsaufwand für das KI-Model zu reduzieren, kann die in Ausführungsbeispielen verwendete Netzwerkarchitektur auf einer bereits bestehenden und vorbereiteten Standard-Netzwerk-Architektur (konkret: VGG16) basieren, welche üblicherweise zur Klassifizierung von Bildmaterial eingesetzt wird. Diese bestehende Architektur wurde bereits mit einem sehr großen Datensatz von Bildern zur Klassifizierung angelernt (z.B. ImageNet), um ein gegebenes Bild in eines von mehreren Klassen (zum Beispiel 1000 Klassen) einzuteilen (zu klassifizieren).Dabei entsprechen die Klassen den in den Bildern dargestellten Objekten wie Haus, Auto, Baum etc. Ein solches Netzwerk besteht aus mehreren Schichten (Layer) mit unterschiedlichem Aufbau und Funktion. In den Schichten werden künstliche Neuronen (Knoten) mit unterschiedlichen Verknüpfungsmustern und Aktivierungsfunktionen angeordnet. Zum Beispiel ist ein „Dense-Layer“ eine Schicht, bei welchem alle n Input-Neuronen mit allen m-Output-Neuronen der Vorgängerschicht verknüpft sind. Eine solche Schicht wird auch als „fully connected FC“ bezeichnet. Jede der (n * m) Verknüpfungen hat eine Gewichtung. Diese Gewichtungen werden beim Lern-Vorgang optimiert. Ein „Flatten-Layer“ ist eine Schicht, um die vorherigen mehrdimensionalen Anordnungen in einen einzigen langen, eindimensionalen Vektor umzurechnen. In einem nächsten Schritt wird dann das so vor-trainierte Modell mit Standard-Netzwerkarchitektur des Typs VGG16 folgendermaßen an den vorliegenden Einsatzfall zur Ermittlung von Verschmutzungsgraden angepasst:

• Entfernen der letzten Schichten (z.B. entfernen der zwei Dense-Layer und des Flatten-Layer der Standard-Architektur), die für die Klassifikation des Eingangsbildes in vorgegebene Kategorien (Klassen) auf Basis der vorher aus dem Bild extrahierten Merkmale zuständig sind.
• Ersetzen der entfernten Schichten durch spezielle Schichten für den vorliegenden Einsatzfall; zum Beispiel ergibt sich so die folgende Netzwerkarchitektur:
- ◯ (... letzter verbliebener VGG16-Layer)
- ◯ Flatten-Layer (Bringt die Ausgaben der Faltungskerne der vorherigen Schicht wieder in ein zweidimensionales Format)
- ◯ Dense-Layer (vollvermaschte Schicht mit 265 Neuronen und nichtlinearer Aktivierungsfunktion (z.B. ReLu-Activation)).
- ◯ Letzte Schicht des modifizierten Netzwerkes ist ein letzter Dense-Layer mit nur einem Neuron (da nur ein Sauberkeitswert als Ergebnis am Ausgang des Netzes benötigt wird) und einer linearen Aktivierungsfunktion. Die lineare Aktivierungsfunktion wird deshalb vorgesehen, da die Sauberkeit (Verschmutzungsgrad) als lineare Skala betrachtet wird und der Ausgabewert nicht durch die Aktivierungsfunktion beeinflusst werden soll.

Anschließend folgt der Anlernvorgang der modifizierten Architektur. Dabei ist der interessante Punkt, dass vor dem Anlernen mit für diese Anwendung spezifischen Trainingsdaten (diese zeigen Bilder von Fußräumen mit zugehörigen Labels , die jeweils ein einzelner Wert zwischen 0 und 1 sind) die meisten Parameter (Gewichte und Biase) des VGG fixiert werden, d.h. diese behalten ihre Werte, die sie während des ersten „Klassifizierungs-Anlernens“ des Standard-Modells bekommen haben. Wie bereits erwähnt waren die Anlerndaten für das Klassifikations-Standard-Modells Bilder von allen möglichen Objekten mit der zugehörigen Klasse von Objekt, die auf dem Bild zu sehen ist - z.B. Haus, Auto, Baum, ...
Im weiteren Training werden nur die hinzugefügten/ersetzten Layer mit zufälligen Parametern (Weights und Biase) initialisiert und deren Werte während des Anlernvorganges optimiert. Unter Umständen werden nicht alle Layer des VGG16 fixiert, sondern nur die ersten Layer außer den letzten n. In Ausführungsbeispielen wird z.B. der letzte VGG16 Layer, der vor den hinzugefügten (Flatten) Layer kommt, nicht fixiert. Beim Trainiervorgang werden dort die Parameter allerdings nicht zufällig vergeben, sondern vom ersten Trainingsdurchgang übernommen. Durch das nicht-fixieren können diese sich aber während des zweiten Trainingsdurchlaufes mit den Verschmutzungs-Daten noch ändern. Der Vorteil des Fixierens ist: Ein gesamtes VGG16-Netzwerk hat sehr viele trainierbare Parameter. Deshalb braucht es sehr viel Trainingsmaterial, um diese sinnvoll anlernen zu können. So viele Beispielbilder von Fußräumen sind in der Praxis nicht immer vorhanden. Es wird deshalb vorgeschlagen, auf die sehr großen Standard-Datensätze zur Klassifizierung (üblicherweise Millionen von Bildern) zurückzugreifen und die trainierten Parameter eines großen Teils der Layer zu übernehmen. Die dann im zweiten Schritt noch zu trainierenden Layer haben viel weniger Parameter und können deshalb tendenziell auch mit nur weniger Bildern sinnvoll trainiert werden.
Das erfindungsgemäße System und Verfahren beschränkt sich in ihrer Ausführung nicht auf die vorstehend angegebenen bevorzugten Ausführungsformen. Vielmehr sind eine Vielzahl von Ausgestaltungsvariationen denkbar, welche von der dargestellten Lösung auch bei grundsätzlich anders gearteter Ausführung Gebrauch machen.

Claims

System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels, wobei das System aufweist: - ein mobiles Kommunikationsgerät (2) mit einer Kamera (4) und einem Funkmodul (5), wobei die Kamera (4) eingerichtet ist zum Aufnehmen eines Bildes von einem Ausschnitt des Innenraums, und wobei das Funkmodul (5) eingerichtet ist zum Übermitteln von Bilddaten an eine Zentraleinheit (1); und - die Zentraleinheit (1), die eingerichtet ist zum Empfangen der Bilddaten und zum Bestimmen des Verschmutzungsgrades basierend auf den Bilddaten.
System nach Anspruch 1, wobei die Zentraleinheit (1) eingerichtet ist zum Bestimmen des Verschmutzungsgrades unter Verwendung von Algorithmen der künstlichen Intelligenz.
System nach Anspruch 1, wobei die Zentraleinheit (1) eingerichtet ist zum Bestimmen des Verschmutzungsgrades unter Verwendung eines Modells eines künstlichen neuronalen Netzwerks (9).
System nach Anspruch 3, wobei das künstliche neuronale Netzwerk mindestens zwei Schichten mit einer unterschiedlichen Anzahl von Neuronen pro Schicht aufweist.
System nach einem der vorhergehenden Ansprüche, wobei die Zentraleinheit (1) mindestens zwei Auswertemodule aufweist und eingerichtet ist zum Auswählen von einem der beiden Auswertemodule abhängig von der Art des Innenraums und/oder abhängig von der Art des Transportmittels.
System nach einem der vorhergehenden Ansprüche, wobei die Zentraleinheit (1) eingerichtet ist zum Übermitteln einer Aufforderungsnachricht an das mobile Kommunikationsgerät (2), und das mobile Kommunikationsgerät (1) eingerichtet ist zum automatischen Aufnehmen des Bildes und zum automatischen Übermitteln der Bilddaten in Reaktion auf den Empfang der Aufforderungsnachricht.
System nach einem der vorhergehenden Ansprüche, wobei das Transportmittel ein Kraftfahrzeug ist und die Kamera (4) auf den Fußraum des Fahrers oder Beifahrers gerichtet ist.
System nach einem der vorhergehenden Ansprüche, wobei das mobile Kommunikationsgerät (2) eine Lichtquelle zum Beleuchten des Innenraumes aufweist.
System nach einem der vorhergehenden Ansprüche, wobei das mobile Kommunikationsgerät (2) eingerichtet ist zum Erzeugen der Bilddaten durch Komprimieren des aufgenommenen Bildes.
Verfahren zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels, wobei das Verfahren aufweist: - Aufnehmen eines Bildes von einem Ausschnitt des Innenraumes durch ein mobiles Kommunikationsgerät (2); - Übermitteln von Bilddaten von dem mobilen Kommunikationsgerät (2) an eine Zentraleinheit (1); und - Bestimmen des Verschmutzungsgrades durch die Zentraleinheit (1) basierend auf den Bilddaten.
Verfahren nach Anspruch 10, wobei die Bilddaten von dem mobilen Kommunikationsgerät (2) über ein drahtloses Kommunikationsnetz (3) an die Zentraleinheit (1) übermittelt werden.
Verfahren nach Anspruch 10 oder 11, wobei das Verfahren aufweist: - Bestimmen des Verschmutzungsgrades durch die Zentraleinheit basierend auf einem Modell eines künstlichen neuronalen Netzwerks (9).
Verfahren nach einem der Ansprüche 10 bis 12, wobei das Verfahren aufweist: - Verarbeiten der Bilddaten mittels Algorithmen der Bildverarbeitung.
Verfahren nach einem der Ansprüche 10 bis 13, wobei das Transportmittel ein Kraftfahrzeug ist und der Ausschnitt des Innenraums den Fußraum des Fahrers und/oder Beifahrers zeigt, wobei das Verfahren aufweist: - Auswählen eines von mindestens zwei Auswertemodulen unter Berücksichtigung eines Fahrzeugtyps und/oder einer Beschaffenheit des Fußraums; und - Bestimmen des Verschmutzungsgrades durch die Zentraleinheit unter Verwendung des ausgewählten Auswertemoduls.
Verfahren nach Anspruch 14, wobei eine Fußmatte im Fußraum des Fahrers und/oder Beifahrers angeordnet ist und ein Auswertemodul vorgesehen ist, das zur Bestimmung des Verschmutzungsgrades unter Berücksichtigung der Fußmatte eingerichtet ist.
Verfahren nach einem der Ansprüche 10 bis 15, wobei das Verfahren aufweist: - Übermitteln einer Aufforderungsnachricht von der Zentraleinheit (1) an das mobile Kommunikationsgerät (2), insbesondere mittels eines drahtlosen Kommunikationsnetzes (3); und - automatisches Aufnehmen des Bildes und automatisches Übermitteln der Bilddaten durch das mobile Kommunikationsgerät (2) in Reaktion auf den Empfang der Aufforderungsnachricht.
Verfahren nach einem der Ansprüche 10 bis 16, wobei das Aufnehmen des Bildes ein zeitweiliges Beleuchten des Innenraumes während der Aufnahme umfasst.
Verfahren nach einem der Ansprüche 10 bis 17, wobei die Bilddaten durch Verarbeiten des aufgenommenen Bildes erzeugt werden.
Mobiles Kommunikationsgerät (2) zur Verwendung in einem System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels, wobei das mobile Kommunikationsgerät (2) aufweist: - ein Funkmodul (5), das eingerichtet ist zum Empfangen einer Aufforderungsnachricht von einer Zentraleinheit (1); und - eine Kamera (4), die eingerichtet ist zum Aufnehmen eines Bildes von einem Ausschnitt des Innenraumes in Reaktion auf den Empfang der Aufforderungsnachricht; wobei das Funkmodul (5) ferner eingerichtet ist zum Übermitteln von Bilddaten an die Zentraleinheit (1) in Reaktion auf die Aufnahme des Bildes, wobei die Bilddaten mit dem aufgenommenen Bild assoziiert sind.
Zentraleinheit (1) zur Verwendung in einem System zur automatischen Bestimmung eines Verschmutzungsgrades eines Innenraumes eines Transportmittels, wobei die Zentraleinheit (1) aufweist: - ein Funkmodul (5), das eingerichtet ist zum Senden einer Aufforderungsnachricht an ein mobiles Kommunikationsgerät (2) und zum Empfangen von Bilddaten von dem mobilen Kommunikationsgerät (2); und - mindestens ein Auswertemodul, welches eingerichtet ist zum Bestimmen des Verschmutzungsgrades basierend auf den Bilddaten.