-
Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren zum maschinellen Lernen von Husten- und/oder Niesgeräuschen von ein Beförderungsmittel nutzenden Fahrgästen, um bei erkannten Husten- und/oder Niesgeräuschen Maßnahmen zur Reinigung des Beförderungsmittels einzuleiten. Ferner bezieht sich die Erfindung auf ein Steuergerät, Verfahren, eine Vorrichtung, Beförderungsmittel und Computerprogramm zum Einleiten der Maßnahmen.
-
Erkennung von Geräuschen mittels künstlicher Intelligenz ist Stand der Technik. Beispielweise sind künstliche neuronale Netzwerke zur Spracherkennung bekannt.
-
Die
US 2015 / 0 073 306 A1 offenbart eine Verfahren zum Auswerten von Geräuschen von Patienten, wobei die Geräusche in Husten und nicht Husten Geräusche klassifiziert werden und im Falle von Husten eine entsprechende Diagnose bereitgestellt wird.
-
Die
US 2018 / 0 254 041 A1 offenbart ein System zum Aktivieren von persönlichen Assistenzdiensten. Das System umfasst einen Audiodatensammler, der Sprachproben sammelt, die von einem Verarbeitungsmodul ausgewertet werden, wobei in Abhängigkeit der Auswertung einer der persönlichen Assistenzdiensten aktivviert wird.
-
Die
DE 10 2018 131 827 A1 offenbart ein keimfreies Fahrsystem für autonome, gemeinsam genutzte Fuhrparks.
-
Eine Aufgabe der vorliegenden Erfindung war es, kranke Fahrgäste anhand Geräuscherkennung von Husten- und/oder Niesgeräuschen zu erkennen und Reinigungsmaßnahmen für ein Beförderungsmittel, das die Fahrgäste nutzen, einzuleiten.
-
Das erfindungsgemäße computerimplementierte Verfahren, das Steuergerät, das Verfahren, die Vorrichtung, das Beförderungsmittel und das Computerprogramm lösen diese Aufgabe mittels maschinellem Lernen.
-
Gemäß einem Aspekt stellt die Erfindung ein computerimplementiertes Verfahren bereit zum maschinellen Lernen von Husten- und/oder Niesgeräuschen von ein Beförderungsmittel nutzenden Fahrgästen, um bei erkannten Husten- und/oder Niesgeräuschen Maßnahmen zur Reinigung des Beförderungsmittels einzuleiten. Das Verfahren umfasst die Schritte:
- • Aufnehmen von Geräuschen, die im Betrieb des Beförderungsmittels entstehen, mit wenigstens einem an dem Beförderungsmittel anordenbaren Schallsensor,
- • Vorverarbeiten von Audiosignalen des Schallsensors zur Erhöhung eines durch eine Beförderung mit dem Beförderungsmittel bedingten Signal-Rausch-Verhältnisses und/oder zur Konvertierung der Audiosignale in Spektralkomponenten,
- • in Abhängigkeit der Geräusche Kennzeichnen der Husten- und/oder Niesgeräusche in den vorverarbeiteten Audiosignalen und Bereitstellen der vorverarbeiteten Audiosignale mit den zugehörigen Kennzeichen jeweils als Datenpaar,
- • Prozessieren der Datenpaare mit einem Algorithmus aus dem Bereich des maschinellen Lernens, der ausgeführt ist, die vorverarbeiteten Audiosignale und die zugehörigen Kennzeichen zu verknüpfen, um nach mehreren Prozessgängen mit unterschiedlichen Datenpaaren die Husten- und/oder Niesgeräusche zu lernen.
-
Durch das Prozessieren der Datenpaare lernt der Algorithmus, in den Audiosignalen Muster zu erkennen und Assoziationen herzustellen, um Husten- und/oder Niesgeräusche nach dem Lernvorgang selbstständig, ohne Vergleiche mit in Datenbanken hinterlegten Husten- und/oder Niesgeräuschen, zu erkennen. Damit wird der technische Zweck des Einleitens von Maßnahmen zur Reinigung des Beförderungsmittels unterstützt.
-
Gemäß einem weiteren Aspekt stellt die Erfindung ein Steuergerät bereit für ein Beförderungsmittel zur Einleitung von Maßnahmen zur Reinigung des Beförderungsmittels bei erkannten Husten- und/oder Niesgeräuschen von Fahrgästen. Das Steuergerät umfasst
- • eine erste Schnittstelle zu wenigstens einem an dem Beförderungsmittel angeordneten Schallsensor, um vorverarbeitete Audiosignale von Geräuschen, die im Betrieb des Beförderungsmittels entstehen, zu erhalten,
- • eine Recheneinheit, die ausgeführt ist, einen nach einem erfindungsgemäßen Verfahren trainierten Algorithmus auszuführen, der als Eingabe die Audiosignale erhält und als Ausgabe in Abhängigkeit der Geräusche Husten- und/oder Niesgeräusche bestimmt, und die ferner ausgeführt ist, in Abhängigkeit der Husten- und/oder Niesgeräusche ein Signal für eine Reinigungseinheit zu bestimmen, und
- • eine zweite Schnittstelle, um das Signal der Reinigungseinheit bereitzustellen für eine Reinigung des Beförderungsmittels.
-
Das Steuergerät ist ein Steuergerät in dem Beförderungsmittel, beispielsweise ist das Steuergerät in ein Bus-System des Beförderungsmittels integriert.
-
Die Reinigungseinheit umfasst einen Fahrer des Beförderungsmittels, ein Reinigungspersonal, das beispielsweise von einem Flottenbetreiber der Beförderungsmittel beauftragt wird, oder einen Reinigungsroboter. Nach einem weiteren Aspekt der Erfindung umfasst die Reinigungseinheit in dem Beförderungsmittel installierte Desinfektionsspender, die über die zweite Schnittstelle von dem Steuergerät angesteuert werden, um beispielsweise Desinfektionsmittel in den Innenraum des Beförderungsmittels, beispielsweise auf Sitze und/oder Haltestangen, zu sprühen. Nach einem weiteren Aspekt der Erfindung umfasst die Reinigungseinheit in dem Beförderungsmittel installierte UV-Licht-Lampen, die über die zweite Schnittstelle von dem Steuergerät angesteuert werden, um den Innenraum des Beförderungsmittels mit Ultraviolettstrahlung zu desinfizieren.
-
Die zweite Schnittstelle ist nach einem Aspekt eine Funkschnittstelle, beispielsweise eine WLAN-Schnittstelle. Nach einem weiteren Aspekt der Erfindung bestimmt die Recheneinheit ein für die Fahrgäste visuell, akustisch und/oder taktil wahrnehmbares Signal, das Beförderungsmittel zu verlassen. Über die zweite Schnittstelle wird dann das Signal den Fahrgästen bereitgestellt.
-
Nach einem weiteren Aspekt stellt die Erfindung ein Verfahren bereit zur Einleitung von Maßnahmen zur Reinigung eines Beförderungsmittels bei erkannten Husten- und/oder Niesgeräuschen von Fahrgästen. Das Verfahren umfasst die Schritte
- • Aufnehmen von Geräuschen, die im Betrieb des Beförderungsmittels entstehen, mit wenigstens einem an dem Beförderungsmittel anordenbaren Schallsensor,
- • Vorverarbeiten von Audiosignalen des Schallsensors zur Reduktion eines durch eine Beförderung mit dem Beförderungsmittel bedingten Signal-Rausch-Verhältnisses und/oder zur Konvertierung der Audiosignale in Spektralkomponenten,
- • Eingeben der Audiosignale in einen nach einem erfindungsgemäßen computerimplementierten Verfahren trainierten Algorithmus und in Abhängigkeit der Geräusche Erhalten der Husten- und/oder Niesgeräusche,
- • Informieren einer Reinigungseinheit zur Reinigung des Beförderungsmittels.
-
Zur Durchführung des Verfahrens wird ein erfindungsgemäßes Steuergerät verwendet.
-
Nach einem weiteren Aspekt stellt die Erfindung eine Vorrichtung bereit für ein Beförderungsmittel zur Einleitung von Maßnahmen zur Reinigung des Beförderungsmittels bei erkannten Husten- und/oder Niesgeräuschen von Fahrgästen. Die Vorrichtung umfasst
- • wenigstens einen an dem Beförderungsmittel anordenbarer Schallsensor und
- • ein erfindungsgemäßes Steuergerät.
-
Das Steuergerät erhält Audiosignale des Schallsensors, führt das erfindungsgemäße Verfahren durch und informiert nach Erhalten von Husten- und/oder Niesgeräuschen eine Reinigungseinheit zur Reinigung des Beförderungsmittels.
-
Nach einem weiteren Aspekt stellt die Erfindung ein Beförderungsmittel bereit, das ein erfindungsgemäßes Steuergerät oder eine erfindungsgemäße Vorrichtung umfasst. Das Beförderungsmittel ist nach einem Aspekt ein hochautomatisiertes Beförderungsmittel. Nach einem Aspekt der Erfindung ist das Beförderungsmittel ein selbstfahrendes, das heißt autonom, fahrendes Beförderungsmittel. Mittels der Erfindung werden damit Husten- und/oder Niesgeräusche auch bei Beförderungsmitteln ohne menschlichen Fahrer automatisiert erkannt und Gegenmaßnahmen eingeleitet.
-
Gemäß einem weiteren Aspekt stellt die Erfindung ein Computerprogramm zur Einleitung von Maßnahmen zur Reinigung eines Beförderungsmittels bei erkannten Husten- und/oder Niesgeräuschen von Fahrgästen bereit. Das Computerprogramm umfasst Befehle, die bewirken, dass ein erfindungsgemäßes Steuergerät ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft. Die Befehle sind Codeabschnitte geschrieben beispielsweise in C++ oder Java. Das Computerprogramm erfüllt einen technischen Zweck, wenn es auf dem Steuergerät läuft, nämlich das Einleiten von Maßnahmen zur Reinigung eines Beförderungsmittels.
-
Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, den Zeichnungen und der folgenden Beschreibung bevorzugter Ausführungsbeispiele.
-
Husten- und/oder Niesgeräusche sind Symptome für Erkrankungen, beispielsweise Erkrankungen der Atmungsorgane. Beim Husten und/oder Niesen können durch Tröpfcheninfektion Krankheitserreger übertragen werden, insbesondere an Orten mit einer hohen Dichte von Personen, beispielsweise Innenräume oder Haltestellen von öffentlichen Beförderungsmitteln. Bei Nutzung von Beförderungsmitteln, beispielsweise während eines Transports mit einem Beförderungsmittel oder beim Warten auf ein Beförderungsmittel, können kranke Fahrgäste gesunde Fahrgäste anstecken. In öffentlichen Beförderungsmitteln können sich damit Krankheiten schnell verbreiten. Mittels der Erfindung werden Husten- und/oder Niesgeräusche automatisiert erkannt und damit Symptome für Erkrankungen bereitgestellt. Bei Erkennung von Husten- und/oder Niesgeräuschen werden erfindungsgemäß Gegenmaßnahmen eingeleitet, beispielsweise das Informieren von Reinigungseinheiten zur Reinigung, beispielsweise zum Desinfizieren, des Beförderungsmittels. Damit wird einer Verbreitung von Krankheiten in Beförderungsmitteln zumindest entgegengewirkt. Vorteile der Erfindung zeigen sich beispielsweise bei mobility-as-a-service oder transport-as-a-service Dienstleistungen, bei denen das Beförderungsmittel als Dienstleistung konsumiert wird, abhängig von Beförderungsbedürfnissen der Fahrgäste.
-
Ein Beförderungsmittel ist ein Fahrzeug zu Land, Wasser oder Luft, beispielsweise ein Beförderungsmittel für Individualverkehr, den öffentlichen Personennahverkehr oder den Fernverkehr. Beispiele für Beförderungsmittel sind Schienenfahrzeuge, beispielsweise Straßenbahnen oder Züge, Busse, beispielsweise Linienbusse oder Fernbusse, oder Kleinbusse, beispielsweise automatisiert betreibbare Personentransportfahrzeuge.
-
Personentransportfahrzeugen umfassen Varianten von Verkehrsmitteln zum Transport von Fahrgästen, beispielsweise öffentliche Verkehrsmittel. Zu Personentransportfahrzeugen zählen automatisiert, hochautomatisiert und vollautomatisierte, das heißt autonom bzw. selbstfahrend, betreibbare Personentransportfahrzeuge nach SAE J3016. Beispielsweise sind Robotertaxis, Passagierdrohnen, automatische people mover, autonome Shuttle, oder automatische Transitnetzwerke, das sind automatische Fahrzeuge, die in einem Netzwerk von Führungsbahnen operieren, Personentransportfahrzeuge. Automatische Transitnetzwerke sind beispielsweise personal rapid transit Systeme, die 4 bis 6 Fahrgäste aufnehmen, oder group rapid transit Systeme, die zwischen 16 und 24 Fahrgäste aufnehmen. Die Führungsbahnen erhöhen die Fahrsicherheit, gleichzeitig sind die jeweiligen, insbesondere teilautomatisierten, Fahrzeuge flexibel, um in dem Netzwerk zu operieren. Personentransportfahrzeuge stellen im Sinne von mobility as a service den Personentransport als buchbare Dienstleistung bereit und zeichnen sich unter anderem dadurch aus, dass sie mit hoher Frequenz operieren können. Die Personentransportfahrzeuge sind verbrennungstechnisch, hybridelektrisch oder vollelektrisch angetrieben. Anwendungsgebiete sind insbesondere öffentlicher Verkehr in urbanen Gebieten oder Flughäfen.
-
Ein Schallsensor ist ein Sensor, der mechanische Schwingungen, beispielsweise verursacht durch Luftschallwellen, erfasst und in ein prozessierbares Signal, beispielsweise ein elektrisches Signal wie etwa eine elektrische Spannung, umformt. Das elektrische Signal heißt Audiosignal. Die Audiosignale werden in verfügbaren Audiodateien komprimiert oder unkomprimiert bereitgestellt. WAV ist beispielsweise ein unkomprimiertes Dateiformat. Ogg-Vorbis oder MP3 sind jeweils komprimierte Dateiformate. Der Schallsensor umfasst einen analogen und/oder digitalen Signalausgang.
-
Der Schallsensor ist beispielsweise auf einer Leiterplatte angeordnet, die neben dem Schallsensor Filter und/oder Verstärker umfasst zur Erhöhung eines Signal-Rausch-Verhältnisses. Bei Beförderungsmitteln ist das Signal der Husten- und/oder Niesgeräusche von Fahrgästen durch weitere Störgeräusche, die bei Nutzen des Beförderungsfahrzeuges entstehen, beispielsweise Fahrgeräusche des Beförderungsmittels, Geräusche von weiteren Verkehrsteilnehmer oder Sprachgeräusche von Fahrgästen, verrauscht. Mittels der Filter und/oder Verstärker werden die Störgeräusche relativ zu den Husten- und/oder Niesgeräuschen unterdrückt. Die Leiterplatte umfasst beispielsweise auch Logikbausteine, beispielsweise ASICs, mit entsprechender Software, um Spektralkomponenten des Audiosignals zu erhalten. Beispielsweise umfasst die Leiterplatte einen ASIC, der die Audiosignale mittels FFT-Transformation in ein Frequenzspektrum transformiert. Verschiedene Husten -und/oder Niesgeräusche unterscheiden sich in einem jeweils spezifischen Frequenzspektrum. Die Husten- und/oder Niesgeräusche werden in den derart vorverarbeiteten Audiosignalen in Abhängigkeit der Geräusche beispielsweise mittels Metadaten gekennzeichnet. Die Kennzeichen umfassen Frequenzspektren der jeweiligen Husten- und/oder Niesgeräusche.
-
Nach einem Aspekt der Erfindung umfasst der Schallsensor ein Mikrofon. Nach einem weiteren Aspekt der Erfindung ist der Schallsensor als ein MEMS-Mikrofon realisiert. MEMS-Mikrofone sind miniaturisierte Mikrofone, die beispielsweise in SMD-Technik, das heißt surface mounted device, ausgeführt sind zum direkten Einsatz auf der Leiterplatte. MEMS-Mikrofone besitzen kleine Abmessungen und sind einfach industriell zu verarbeiten, beispielsweise können MEMS-Mikrofone in einem Reflow-Lötprozess bestückt werden. Im Vergleich zu anderen Mikrofonen sind MEMS-Mikrofone unempfindlicher gegenüber hohen Temperaturen und damit für automobile Anwendungen besonders gut geeignet. Alternativ ist der Schallsensor ein Elektret-Kondensatormikrofon.
-
Der Schallsensor ist in einem Innenraum oder einer Außenhaut des Beförderungsmittels angeordnet. Damit werden Husten- und/oder Niesgeräusche von Fahrgästen erkannt, die sich in dem Beförderungsmittel befinden, und von Fahrgästen, die sich außerhalb des Beförderungsmittels befinden und auf dieses warten und in dieses einsteigen möchten. Letzteren Fahrgästen wird nach einem Aspekt der Erfindung als eine Gegenmaßnahme der Einstieg in das Beförderungsmittel untersagt.
-
Maschinelles Lernen bezeichnet den Lernprozess eines künstlichen Systems, Muster oder Gesetzmäßigkeiten anhand von Trainingsdaten zu erkennen inspiriert am Lernvorgang des menschlichen Gehirns, um auf neue Informationen zweckgerichtet reagieren zu können. Die Datenpaare jeweils umfassend die vorverarbeiteten Audiosignale und die zugehörigen Kennzeichen sind Trainingsdaten. Maschinelles Lernen wird durch Algorithmen, die in Softwarecodeabschnitte implementiert sind, realisiert. Eine quelloffene Plattform zum Programmieren von maschinellem Lernen ist beispielsweise TensorFlow geschrieben in den Programmiersprachen Python, C++ oder CUDA, das heißt compute unified device architecture. Die Plattform ist beispielsweise eine Linux, macOS, Microsoft Windows, Android oder JavaScript Plattform. Nach mehreren Prozessgängen von Datenpaaren können unbekannte Daten vorteilhafterweise beurteilt werden, ohne zunächst auswendig gelernt werden zu müssen.
-
Nach einem Aspekt der Erfindung wird der Durchlauf der Verfahrensschritte mehrmals wiederholt. Damit wird der Lernprozess verbessert, beispielsweise bei Lernraten von 0,01 oder kleiner. Durch mehrere Durchläufe, auch Epochen genannt, wird das maschinelle Lernen beschleunigt und Begrenzungen der Rechenkapazität des ausführenden Computers eingehalten.
-
Nach einem weiteren Aspekt der Erfindung umfassen die Kennzeichen der Husten- und/oder Niesgeräusche Kennzeichen für bellende, räuspernde, röhrende Hustengeräusche und/oder Kennzeichen für Zischlaute, die beim Niesen entstehen. Damit können verschiedene Erkrankungen erkannt werden, beispielsweise Bronchitis, Lungenentzündung, Keuchhusten oder andere Arten von Erkältungen einhergehend mit akuten oder chronischem Husten und/oder Niesen.
-
Nach einem weiteren Aspekt der Erfindung ist der Algorithmus ein Random Forest Klassifikator, eine Support Vector Machine oder ein künstlich neuronales Netzwerk umfassend mehrere Schichten, die Schichten umfassend vollständig verbundene und/oder konvolutionale Schichten.
-
Random Forest ist ein Klassifikator umfassend unkorrelierte Entscheidungsbäume, die nach einer bestimmten Randomisierung während eines Lernprozesses wachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation. Bei einer Gesamtanzahl von beispielsweise drei Merkmalen, beispielsweise bellend, räuspernd und röhrend, werden beispielsweise drei Entscheidungsbäume verwendet, für die jeweils eines dieser Merkmale gewählt wird. Zusätzlich werden Entscheidungsbäume verwendet, für die jeweils zwei dieser Merkmale gewählt werden, beispielsweise bellend und räuspernd, bellend und röhrend, räuspernd und röhrend. Die Anzahl k von Merkmalen und die Anzahl der Entscheidungsbäume sind Parameter für den Random Forest Klassifikator. Vorteile des Random Forest sind unter anderem, dass er relativ schnell trainiert aufgrund kurzen Trainings- und/oder Aufbauzeiten eines einzelnen Entscheidungsbaums, dass Evaluierungen aufgrund mehrerer Bäume parallelisierbar sind und dass wichtige Klassen, wie zum Beispiel Mittelstreifen oder Seitenstreifen erkannt werden können.
-
Eine Support Vector Machine ist ein Klassifikator, die eine Menge von Objekten derart in Klassen unterteilt, dass um Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Eine Support Vector Machine ist unter anderem bei wiederholtem Prozessieren ein und derselben Husten- und/oder Niesgeräusche von Vorteil.
-
Ein künstlich neuronales Netzwerk ist eine Ansammlung von einzelnen Informationsverarbeitungseinheiten, Neuronen genannt, die schichtweise in einer Netzarchitektur angeordnet sind. Zu Beginn des Trainings hat jedes Neuron ein zufälliges Anfangsgewicht. Trainingsdaten werden in das künstliche neuronale Netzwerk in einem sogenannten forward pass eingespeist. Jedes Neuron gewichtet seine Eingangs-Signale mit seinem Gewicht und gibt das Ergebnis weiter an Neuronen anderer Schichten. In der Ausgangsschicht wird das Gesamtergebnis berechnet. Die Abweichung zwischen Ist-Werten und Soll- Werten wird berechnet in einer Rückwärtsspeisung, dem sogenannten backward pass. In der Rückwärtsspeisung wird der die innere Struktur des künstlichen neuronalen Netzwerks angepasst. Dabei wird auch der Anteil berechnet, den jedes Neuron an dieser Abweichung hat, und dann das Gewicht jedes Neurons in die Richtung verändert, die die Abweichung, oder auch Fehler genannt, minimiert. Der Fehler ist eine Funktion der Gewichte. Die Abweichung zwischen Ist- Werten und Soll- Werten wird durch eine Kostenfunktion bewertet. Bei der Rückwärtsspeisung wird der Gradient des Fehlers nach den einzelnen Gewichten rückwärtsgespeist. So weiß man, ob und wie stark sich der Unterschied zwischen Ist- Werten und Soll- Werten minimiert, wenn man das jeweilige Gewicht vergrößert oder verkleinert. Durch Minimierung der Abweichung in der Lernphase, zum Beispiel mittels der Methode der kleinsten Quadrate, der aus der Informationstheorie bekannten Kreuz-Entropie oder dem Gradientenabstiegsverfahren, werden damit die Gewichte geändert. Dann erfolgen der nächste Durchlauf, eine erneute Messung des Fehlers und Anpassung der Gewichte und so weiter. Damit lernt das künstliche neuronale Netzwerk zunehmend besser, Assoziationen zwischen den Audiosignalen und den Husten- und/oder Niesgeräuschen herzustellen.
-
Das künstliche neuronale Netzwerk umfasst Schichten mit vollständig verbundenen Netzwerken, im Englischen als Fully Connected Network bezeichnet. In einem vollständig verbundenen Netzwerk ist jedes Neuron einer Schicht mit allen Neuronen der vorausgehenden Schicht verbunden. Jede Verbindung hat ihr eigenes Gewicht. Das künstliche neuronale Netzwerk umfasst alternativ oder zusätzlich konvolutionale Schichten. In einem konvolutionalen neuronalen Netzwerk, auch Faltungsnetzwerk genannt, wird ein Filter auf eine Schicht von Neuronen unabhängig von der Position mit den gleichen Gewichten angewendet. Das konvolutionale neuronale Netzwerk umfasst mehrere Poolingschichten zwischen den konvolutionalen Schichten. Poolingschichten verändern die Dimension einer zweidimensionalen Schicht in Breite und Höhe. Poolingschichten werden auch für höherdimensionale Schichten verwendet.
-
Nach einem weiteren Aspekt der Erfindung werden nach der Lernphase alle Gewichte als sogenannter Checkpoint gespeichert. Das künstliche neuronale Netzwerk kann dann jederzeit mit diesen optimierten Gewichten erneut gestartet werden. Während das Training oft sehr rechenintensiv ist und eine speziell für das Training ausgelegte Hardware, beispielsweise umfassend GPU oder GPU Cluster, erfordert, ist der eigentliche Betrieb eines trainierten neuronalen Netzes deutlich schlanker und schneller und kann z.B. auch auf Mobilgeräten oder normalen Laptops/PCs nahezu in Echtzeit erfolgen.
-
Nach einem weiteren Aspekt der Erfindung ist das Steuergerät ausgeführt, für die Bestimmung der Husten- und/oder Niesgeräusche die Audiosignale mit Bildsignalen erhalten mittels einer Innenraumkamera zu fusionieren, plausibilisieren oder abzugleichen, wobei die Bildsignale Tiefen- und/oder Temperaturinformationen umfassen. Die Innenraumkamera ist beispielsweise ein Stereokamerasystem, eine Lichtlaufzeitkamera oder eine Wärmebildkamera oder ein System aus zumindest zwei der voran genannten Kameratypen. In Abhängigkeit der Bildsignale sind beispielsweise eine Bewegung von Gesichtsmuskeln, eine Bewegung des Oberkörpers nach vorne, oder das Halten einer Hand vor ein Gesicht, welches mit Husten- und/oder Niesgeräuschen verbundene Mimiken und Gesten sind. In Abhängigkeit der Temperaturinformationen wird ferner Fieber erkannt. Durch eine derartige Fusion wird die Erkennung von Husten- und/oder Niesgeräuschen sicherer und redundanter.
-
Die Recheneinheit des Steuergeräts ist beispielsweise als ein System-on-a-Chip realisiert mit modularem Hardwarekonzept, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert und können modular erweitert werden. Der Chip ist in das Steuergerät integrierbar. Die Recheneinheit umfasst beispielsweise einen Mehrkernprozessor und Speichermodule. Der Mehrkernprozessor ist für einen Signal-/Datenaustausch mit Speichermodulen konfiguriert. Beispielsweise umfasst der Mehrkernprozessor ein Bussystem. Die Speichermodule bilden den Arbeitsspeicher. Die Speichermodule sind beispielsweise RAM, DRAM SDRAM oder SRAM. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Die Recheneinheit umfasst nach einem Aspekt der Erfindung wenigstens einen zentralen Verarbeitungsprozessor, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet. Die Recheneinheit umfasst auch wenigstens einen Grafikprozessor, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Nach einem Aspekt der Erfindung umfasst der Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor-und/oder Matrixmultiplikationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning. Die Recheneinheit umfasst nach einem Aspekt der Erfindung auch Hardware Beschleuniger für künstliche Intelligenz, zum Beispiel sogenannte Deep Learning Accelerators. Nach einem weiteren Aspekt der Erfindung wird der Algorithmus in der Programmiertechnik CUDA bereitgestellt. Damit werden Softwarecodeabschnitte des Klassifikators direkt durch die GPU abgearbeitet. Ferner sind die Recheneinheit oder das Steuergerät konfiguriert, modular mit mehreren, beispielsweise mindestens vier, derartiger Chips erweitert zu werden.
-
Nach einem weiteren Aspekt der Erfindung ist die Recheneinheit ein Server, beispielsweise ein Cloud-Server, und das Steuergerät umfasst eine Schnittstelle zu dem Server.
-
Nach einem weiteren Aspekt der Erfindung umfasst die Vorrichtung eine Innenraumkamera, deren Bildsignale Tiefen- und/oder Temperaturinformationen umfassen, wobei das Steuergerät die Bildsignale erhält und mit den Audiosignalen fusioniert.
-
Die Erfindung wird anhand der in den Figuren dargestellten Ausführungsbeispiele erläutert. Es zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Beförderungsmittels,
- 2 ein Ausführungsbeispiel eines erfindungsgemäßen Steuergeräts,
- 3 ein Ausführungsbeispiel eines erfindungsgemäßen computerimplementierten Verfahrens und
- 4 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. In den Figuren werden nur die für das jeweilige Verständnis relevanten Bezugsteile angegeben.
-
Das Beförderungsmittel 1 in 1 ist ein automatisierter, selbstfahrender people mover. Das Beförderungsmittel 1 ist ausgeführt, mehrere Fahrgäste 2 zu transportieren. Das Beförderungsmittel 1 umfasst einen elektrischen Antrieb, zum Beispiel einen elektrischen Achsantrieb, beispielsweise mit einer Leistung von 150kW. Das Beförderungsmittel 1 umfasst eine Batteriekapazität von mehreren Stunden, beispielsweise 10h. Zum Beispiel ist das Beförderungsmittel 1 ausgeführt, bis zu 15 Fahrgäste 2 zu befördern, wobei eine Grundfläche des Beförderungsmittels 1 nicht größer als die einer großen Limousine ist. Damit ist das Beförderungsmittel 1 für den urbanen Transport geeignet. Bei einer derartigen Grundfläche sind die Fahrgäste 2 in dem Innenraum des Beförderungsmittels 1 dicht angeordnet, was das Ansteckungspotential gesunder Fahrgäste 2 durch kranke Fahrgäste 2 erhöht.
-
Das Beförderungsmittel 1 umfasst eine Vorrichtung 8. Die Vorrichtung 8 dient zur Einleitung von Maßnahmen zur Reinigung des Beförderungsmittels 1 bei erkannten Husten- und/oder Niesgeräuschen von Fahrgästen 2. Die Vorrichtung 8 umfasst ein Steuergerät 4, siehe 2. Das Steuergerät 4 umfasst eine Recheneinheit 10. Die Husten- und/oder Niesgeräusche werden mittels künstlicher Intelligenz erkannt. Beispielsweise prozessiert die Recheneinheit 10 ein nach dem computerimplementierten Verfahren der 3 trainiertes künstliches neuronales Netzwerk. Durch das computerimplementierte Verfahren hat das künstliche neuronale Netzwerk gelernt, Husten- und/oder Niesgeräusche in Audiosignalen zu erkennen und zu klassifizieren.
-
Die Vorrichtung 8 umfasst ferner einen Schallsensor 3 zur Detektion von Geräuschen der Fahrgäste 2. Der Schallsensor 3 ist beispielsweise in dem Innenraum des Beförderungsmittels 1 angeordnet. Über eine erste Schnittstelle 5, siehe 2, ist der Schallsensor 3 mit der Recheneinheit 10 des Steuergeräts signalleitend verbunden. In Abhängigkeit der detektierten Geräusche erkennt die Recheneinheit 10 gemäß dem in 4 gezeigten Verfahren die Husten- und/oder Niesgeräusche. Bei erkannten Husten- und/oder Niesgeräuschen wird über eine zweite Schnittstelle 7 des Steuergeräts eine Reinigungseinheit 6, beispielsweise ein Reinigungsroboter, informiert zur Reinigung des Beförderungsmittels 1.
-
Die Vorrichtung 8 umfasst ferner eine Innenraumkamera 9. Mittels der ersten Schnittstelle 5 werden die Bildsignale der Innenraumkamera 9 an die Recheneinheit 10 des Steuergeräts 4 übertragen. Für die Innenraumkamera 9 kann eine von der ersten Schnittstelle 5 für den Schallsensor 3 verschiedene erste Schnittstelle 5 vorgesehen sein. Die Innenraumkamera 9 bildet die Fahrgäste 2 ab und erfasst dabei mit Husten- und/oder Niesgeräuschen verbundenen Gesten und/oder Mimiken, beispielsweise ein Verziehen des Gesichtes. Damit werden die mittels künstlicher Intelligenz erkannte und klassifizierten Husten- und/oder Niesgeräusche zusätzlich mit typischen Gesten und/oder Mimiken abgeglichen. Damit wird die Performanz erhöht.
-
Das computerimplementierte Verfahren in 3 ist ein Trainingsverfahren für eine künstliche Intelligenz, Husten- und/oder Niesgeräusche maschinell zu lernen. In einem Verfahrensschritt C1 werden Geräuschen, die im Betrieb des Beförderungsmittels 1 entstehen, mit Schallsensor 3 aufgenommen. In einem Verfahrensschritt C2 werden Audiosignale des Schallsensors 3 vorverarbeitet zur Erhöhung eines durch eine Beförderung mit dem Beförderungsmittel 1 bedingten Signal-Rausch-Verhältnisses und/oder zur Konvertierung der Audiosignale in Spektralkomponenten. In einem Verfahrensschritt C3 werden in Abhängigkeit der Geräusche die Husten- und/oder Niesgeräusche in den vorverarbeiteten Audiosignalen gekennzeichnet. Ferner werden die vorverarbeiteten Audiosignale mit den zugehörigen Kennzeichen jeweils als Datenpaar bereitgestellt. In einem Verfahrensschritt C4 werden die Datenpaare mit einem Algorithmus aus dem Bereich des maschinellen Lernens prozessiert. Der Algorithmus ist ausgeführt, die vorverarbeiteten Audiosignale und die zugehörigen Kennzeichen zu verknüpfen, um nach mehreren Prozessgängen mit unterschiedlichen Datenpaaren die Husten- und/oder Niesgeräusche zu lernen.
-
Das in 4 gezeigte Verfahren setzt die gemäß dem computerimplementierten Verfahren in 3 trainierte künstliche Intelligenz ein zur Einleitung von Maßnahmen zur Reinigung des Beförderungsmittels 1 bei erkannten Husten- und/oder Niesgeräuschen der Fahrgäste 2. In einem Verfahrensschritt V1 werden Geräuschen, die im Betrieb des Beförderungsmittels 1 entstehen, mit dem Schallsensor 3 aufgenommen. In einem Verfahrensschritt V2 werden Audiosignale des Schallsensors 3 vorverarbeitet zur Reduktion eines durch eine Beförderung mit dem Beförderungsmittel 1 bedingten Signal-Rausch-Verhältnisses und/oder zur Konvertierung der Audiosignale in Spektralkomponenten. In einem Verfahrensschritt V3 werden die Audiosignale in den erfindungsgemäß trainierten Algorithmus eingegeben. In Abhängigkeit der Geräusche werden die Husten- und/oder Niesgeräusche erhalten. Nach Erhalten der Husten- und/oder Niesgeräusche wird in einem Verfahrensschritt V4 die Reinigungseinheit 6 informiert zur Reinigung des Beförderungsmittels. Zur Durchführung des Verfahrens wird das Steuergerät 4 verwendet.
-
Bezugszeichenliste
-
- 1
- Beförderungsmittel
- 2
- Fahrgast
- 3
- Schallsensor
- 4
- Steuergerät
- 5
- Schnittstelle
- 6
- Reinigungseinheit
- 7
- Schnittstelle
- 8
- Vorrichtung
- 9
- Innenraumkamera
- 10
- Recheneinheit
- C1-C4
- Verfahrensschritt
- V1-V4
- Verfahrensschritt
