-
Technisches Gebiet
-
Die vorliegende Offenbarung betrifft allgemein eine fahrbare Maschine und insbesondere Systeme und Verfahren zum Betreiben einer fahrbaren Maschine unter Verwendung von erfassten Geräuschen.
-
Hintergrund
-
Auf Baustellen werden häufig fahrbare Maschinen eingesetzt. Diese Maschinen können ein breites Spektrum von Aufgaben erfüllen. Der Betrieb einer solchen Maschine erfordert, dass sie ihre Umgebung, einschließlich anderer Objekte und Personen auf der Baustelle, wahrnimmt. Auf einer Baustelle können zahlreiche unbewegliche und bewegliche Elemente, darunter Personen, Maschinen, Gebäude u. a. vorhanden sein. Wenn eine Maschine von einer Person bedient wird, die sich in einer Kabine der Maschine befindet, kann der Maschinenführer bzw. Bediener bei der Bewertung der Arbeitsumgebung von mehreren Sinnen Gebrauch machen. So kann ein Bediener seine Umgebung beispielsweise nicht nur mithilfe seines Sehvermögens bewerten, sondern zur Bewertung seiner Umgebung auch Geräusche und andere Sinneseindrücke nutzen.
-
Baustellen werden in zunehmendem Maße automatisiert. Maschinen können automatisch betrieben oder von einem Fernbediener und eben nicht von einem Maschinenführer bzw. Bediener in der Kabine der Maschine bedient werden. Bei automatisierten Arbeits- bzw. Baustellen ist es wichtig, dass Maschinen die Person und Objekte, die um sie herum arbeiten, gewahr werden. Beispielsweise kann es wünschenswert sein, dass eine Maschine in ein Objekt, wie etwa einen Materialstapel, eingreift. Dieselbe Maschine sollte jedoch nicht physisch auf Personen oder andere Maschinen stoßen. Maschinen können Kollisionsvermeidungssysteme besitzen, die zur Bewertung der Umgebung einer Maschine Laser oder andere Mechanismen nutzen. Solche Systeme können jedoch begrenzte Reichweiten haben und können für ein Erkennen von Hindernissen, die sich nicht innerhalb der Sichtlinie der Maschine befinden, weniger gut geeignet sein. Beispielsweise sind solche Systeme gegebenenfalls unfähig, Hindernisse zu bewerten, die sich um eine Ecke, hinter einem anderen Objekt oder hinter einem Hügel befinden.
-
Die japanische Veröffentlichung Nr.
JP 2002 030 699 A , eingereicht von der Komatsu Ltd. und veröffentlicht am 31. Januar 2002, beschreibt ein System für eine mobile Maschine, das ein Mikrophon und eine Steuerung aufweist. Die Steuerung kann bekannte Geräuschmuster speichern und ein vom Mikrophon empfangenes Geräusch mit den gespeicherten Geräuschmustern vergleichen. Wenn das Mikrophon ein Geräusch erfasst, das mit einem Referenzmuster übereinstimmt, kann die Bewegung der Maschine gestoppt werden. Dem System von
JP 2002 030 699 A fehlt jedoch die Möglichkeit, Geräusche zu bewerten, die nicht Bestandteil einer programmierten Bibliothek sind. Aufgrund der Unfähigkeit des Systems, Geräusche zu erkennen, die nicht Bestandteil der programmierten Bibliothek sind, und darauf zu reagieren, kann ein Angewiesensein auf eine programmierte Bibliothek einschränkend sein. Das System der vorliegenden Offenbarung kann eine oder mehrere der vorstehend dargelegten Aufgaben und/oder weitere Aufgaben des Standes der Technik lösen. Der Schutzbereich der vorliegenden Offenbarung ist jedoch durch die beigefügten Ansprüche definiert und nicht durch die Fähigkeit zur Lösung eines spezifischen Problems.
-
Kurzdarstellung
-
Unter einem Aspekt kann ein Verfahren zum Betreiben einer fahrbaren Maschine umfassen: Empfangen einer Audioeingabe von mindestens einem Audiosensor, der an die Maschine gekoppelt ist; Bestimmen, ob die Audioeingabe einem Nicht-Umgebungsgeräusch entspricht; Bestimmen der Richtung zwischen der Quelle des Nicht-Umgebungsgeräusches und der Maschine und Reagieren auf das Nicht-Umgebungsgeräusch auf der Grundlage der bestimmten Richtung.
-
Unter einem anderen Aspekt kann ein System zum Betreiben einer mobilen Maschine umfassen: mindestens einen Audiosensor, der an die Maschine gekoppelt ist; und eine Steuerung, die dafür konfiguriert ist, eine Audioeingabe von mindestens einem Audiosensor, der an die Maschine gekoppelt ist, zu empfangen; zu bestimmen, ob die Audioeingabe ein Nicht-Umgebungsgeräusch widerspiegelt; die Richtung zwischen der Quelle des Nicht-Umgebungsgeräusches und der Maschine zu bestimmen und auf das Nicht-Umgebungsgeräusch auf der Grundlage der bestimmten Richtung zu reagieren.
-
Unter noch einem weiteren Aspekt kann ein Verfahren zum Betreiben einer fahrbaren Maschine umfassen: Empfangen einer Audioeingabe von mindestens einem Audiosensor, der an die Maschine gekoppelt ist; Charakterisieren der Audioeingabe; basierend auf der ersten charakterisierten Audioeingabe Fokussieren eines oder mehrerer Kollisionsvermeidungssensoren und Reagieren auf die charakterisierte Audioeingabe.
-
Figurenliste
-
- 1A bis 1C sind schematische Darstellungen beispielhafter Maschinen von oben.
- 2 ist ein Blockschema eines beispielhaften Steuerungssystems für die Maschinen von 1A bis 1C und
- 3 ist ein Ablaufplan, der einen beispielhaften Steuerungsablauf zum Bewerten von Umgebungsgeräuschen unter Verwendung des beispielhaften Steuerungssystems von 2 zeigt.
-
Ausführliche Beschreibung
-
Sowohl die vorangehende allgemeine Beschreibung als auch die folgende ausführliche Beschreibung sind lediglich beispielhaft und erläuternd und sind nicht die Merkmale, wie beansprucht, einschränkend auszulegen. Wenn hier verwendet, sollen die Ausdrücke „umfasst“, „umfassend“, „aufweisend“, „einschließlich“ oder andere Varianten davon eine nicht ausschließende Einbeziehung abdecken, derart, dass ein Prozess, ein Verfahren, ein Gegenstand oder eine Vorrichtung, umfassend eine Liste von Elementen, nicht nur diese Elemente enthält, sondern auch andere Elemente enthalten darf, die nicht ausdrücklich aufgelistet sind oder die solch einem Prozess, Verfahren, Gegenstand oder solch einer Vorrichtung inhärent sind.
-
In dieser Offenbarung werden relative Begriffe, wie beispielsweise „etwa“, „im Wesentlichen“ und „ungefähr“ verwendet, um eine mögliche Abweichung von ±10 % bei dem ausgewiesenen Zahlenwert anzugeben. Bestimmte Aspekte der vorliegenden Offenbarung werden zwar unter Bezugnahme auf eine Lastbeförderungsmaschine beschrieben, doch dies ist nur beispielhaft. Generell kann die vorliegende Offenbarung auf jede Maschine angewendet werden, wie z. B. auf jeden Lastkraftwagen-, Lader-, Schrapper-, Zugmaschinen-, Beschicker-, Grabenbagger, Bagger-, Grader-, Tieflöffelbagger-, Bulldozer-, Fahrlader-, Gabelstapler-, Kran-, Walzentyp usw. Obwohl die vorliegende Offenbarung auf beispielhafte Platzierungen von Sensoren Bezug nimmt, können trotzdem im Einklang mit der vorliegenden Offenbarung solche Sensoren an anderen geeigneten Stellen platziert werden.
-
1A bis 1C zeigen Draufsichten auf eine beispielhafte Maschine 10. Die Maschine 10 kann einen Frontteil 12 und einen Heckteil 14 aufweisen. Der Frontteil 12 kann eine Bedienerkabine 16 aufweisen, die über einer Motorkapsel montiert sein kann. Die Bedienerkabine 16 kann ein Steuerungssystem mit mehreren Eingabevorrichtungen und Anzeigen aufweisen. Der Heckteil 14 kann eine Kippmulde 18 aufweisen, die am Rahmen der Maschine 10 schwenkbar gelagert sein kann. Die Maschine 10 kann sich mithilfe von Rädern 20 am Boden abstützen. Die Elemente und die Gestaltung der Maschine 10 sind lediglich beispielhaft. Die Grundsätze der vorliegenden Offenbarung können auf jeden Maschinentyp angewendet werden, Maschinen, denen die vorstehend genannten Komponenten fehlen oder die andere Komponenten besitzen, eingeschlossen.
-
Die Maschine 10 kann einen oder mehrere Audiosensoren 30 aufweisen. Audiosensoren 30 können beispielsweise Mikrophone, Geophone, Unterwasserschallempfänger, Seismometer, Schallortungsgeräte, Lace-Sensoren und/oder andere allgemein bekannte Audiosensortypen sein. Obwohl hier der Ausdruck Mikrophon gebraucht wird, kann trotzdem jeder andere geeignete Sensortyp verwendet werden. Die Audiosensoren 30 können dafür ausgelegt sein, Geräusche aus einer Umgebung aufzunehmen und in Reaktion auf solche Geräusche ein analoges oder digitales Signal zu erzeugen. Ein Signal vom Audiosensor 30 kann auf verschiedene Eigenschaften eines vom Audiosensor 30 erfassten Geräusches schließen lassen. So kann beispielsweise ein Signal des Audiosensors 30 Informationen wie Amplitude, Frequenz, Wellenlänge und/oder Periode einer erfassten Wellenform enthalten.
-
Die Audiosensoren 30 können auf der Maschine 10 an geeigneten Stellen bzw. Orten anmontiert oder anderweitig positioniert sein. Wenn mehrere Audiosensoren 30 auf der Maschine 10 positioniert sind, können die von den Audiosensoren 30 erhaltenen Signale verglichen und/oder kombiniert werden, um weitere Informationen über ein von den Audiosensoren 30 erfasstes Geräusch zu erlangen. Ein Audiosensor 30, der an einem ersten Ort positioniert ist, kann Daten sammeln, die auf bestimmte Eigenschaften eines erfassten Geräusches schließen lassen (z. B. Amplitude, Frequenz, Wellenlänge und/oder Periode). Ein Audiosensor 30, der an einem zweiten Ort positioniert ist, kann ebenfalls Daten sammeln, die auf bestimmte Eigenschaften (wie etwa die vorstehend beschriebenen) desselben erfassten Geräusches schließen lassen. Die von den Audiosensoren 30 am ersten Ort und am zweiten Ort erhobenen Daten können sich in einer oder mehreren Eigenschaften unterscheiden. So kann beispielsweise ein Signal von einem Audiosensor 30 an einem ersten Ort eine Schallwelle mit einer Amplitude widerspiegeln, die größer ist als bei einem Signal von dem Audiosensor 30 an einem zweiten Ort. Diese Informationen können darauf hindeuten, dass die Quelle des erfassten Geräusches dem ersten Ort näher als dem zweiten Ort ist. Ferner können Änderungen, die bei den Signalen von den Audiosensoren 30 im Laufe der Zeit auftreten, auf einen Ort oder eine Änderung des Orts einer Schallquelle schließen lassen. So kann beispielsweise ein Signal vom Audiosensor 30 mit einem Signal vom Audiosensor 30 zu einem anderen Zeitpunkt verglichen werden, um festzustellen, ob ein Geräusch beispielsweise näher oder weiter entfernt ist. Daten von mehreren Audiosensoren 30 können kombiniert werden, um die Veränderungen, die bei einem Geräusch im Laufe der Zeit auftreten, genauer zu charakterisieren. Signale von Audiosensoren 30 an verschiedenen Orten können auf verschiedenste Weise variieren und beispielsweise verschiedene Frequenzen, verschiedene Amplituden, verschiedene Wellenkomponenten usw. anzeigen. Unterschiede und Übereinstimmungen bei den Signalen von Audiosensoren 30 an verschiedenen Orten können auf einen Typ der Schallquelle, einen Abstand von einer Schallquelle, eine Bewegung einer Schallquelle usw. schließen lassen.
-
Die Audiosensoren 30 können so positioniert sein, dass sie Informationen, wie etwa die vorstehend beschriebenen, über eine Schallquelle liefern. Die Audiosensoren 30 können auf einer Maschine 10 positioniert und im Abstand voneinander sein. 1A ist eine bildliche Darstellung einer beispielhaften Konfiguration. Wie in 1A gezeigt, kann an jeder Seite der Maschine 10 ein Audiosensor 30 platziert sein. Alternativ sind die Audiosensoren 30 gegebenenfalls nicht an allen Seiten der Maschine 10 platziert. So können beispielsweise die Audiosensoren 30 an drei Seiten der Maschine 10 platziert sein. Als Alternative dazu können die Audiosensoren 30 an zwei benachbarten oder zwei gegenüberliegenden Seiten der Maschine 10 platziert sein oder ein Audiosensor 30 kann an einer Seite der Maschine 10 platziert sein. 1B ist eine bildliche Darstellung einer alternativen Konfiguration der Audiosensoren 30. Wie in 1B gezeigt, können die Audiosensoren 30 an jeder Ecke der Maschine 10 oder an nicht allen Ecken der Maschine 10 platziert sein. Alternativ können die Audiosensoren 30 an Ecken der Maschine 10 und an Seiten der Maschine 10 platziert sein. Bei der Maschine 10 kann jede Kombination von Seiten- und/oder Ecken-Audiosensoren 30 verwendet werden.
-
1C ist eine bildliche Darstellung einer alternativen Konfiguration bei Verwendung eines Audiosensors 30 auf der Maschine 10. Ein einzelner Audiosensor 30 kann dafür ausgelegt sein, eine gerichtete Schallquelle zu bestimmen, ohne auf Informationen von anderen Audiosensoren 30 zurückzugreifen. So kann beispielsweise der Audiosensor 30 ein Richtmikrophon sein. Gegebenenfalls wird nur ein Audiosensor 30 verwendet, der dafür ausgelegt ist, die Richtung eines Geräusches zu bestimmen, oder es können mehrere solcher Audiosensoren 30 verwendet werden. Alternativ können ein oder mehrere Audiosensoren 30, die dafür ausgelegt sind, die Richtung zu bestimmen, aus der ein Geräusch kommt, zusammen mit Audiosensoren 30 verwendet werden, die nicht so ausgelegt sind. Wird ein Audiosensor 30 mit Richtcharakteristik verwendet, kann dieser in einem geeigneten Abschnitt einer Maschine 10 angebracht sein. So kann beispielsweise ein Audiosensor 30 in einem mittigen Abschnitt der Maschine 10 platziert sein, wie etwa in einem oberen mittigen Abschnitt der Maschine 10.
-
Wie in 1A bis 1C gezeigt, kann die Maschine 10 auch einen oder mehrere Kollisionsvermeidungssensoren 40 aufweisen. Die Kollisionsvermeidungssensoren 40 können ein Kollisionsvermeidungssystem umfassen. Zwar stellen 1A bis 1C die Kollisionsvermeidungssensoren 40 als an Seiten der Maschine 10 positioniert dar, doch eine solche Konfiguration ist nur beispielhaft. Die Kollisionsvermeidungssensoren 40 können in beliebiger Zahl und Konfiguration verwendet werden. Die Kollisionsvermeidungssensoren 40 können von jedem geeigneten Sensortyp sein. Kollisionsvermeidungssensoren können beispielsweise Sensoren zur optischen Abstands- und Geschwindigkeitsmessung (LIDAR: Light Detection and Ranging (engl.)), Radarsensoren, Ultraschallsensoren, kamerabasierte Systeme (z. B. Monokular- oder Stereokameras), herkömmliche (Einstrahl-) Laser und/oder thermische Sensoren sein. Alternativ kann jeder andere geeignete Sensortyp verwendet werden. Die Sensoren 40 können sich in eine bestimmte Richtung fokussieren lassen. Die Kollisionsvermeidungssensoren 40 können verwendet werden, um einen Abstand zwischen einem Sensor 40 und einem Objekt in der Nähe der Maschine 10 zu bestimmen. Somit können die Kollisionsvermeidungssensoren 40 dafür ausgelegt sein, die Maschine 10 beim Vermeiden einer Kollision mit einem anderen Objekt zu unterstützen.
-
2 stellt ein beispielhaftes Steuerungssystem 100 für die Maschine 10 dar. Das Steuerungssystem 100 kann eine Steuerung 110 aufweisen. Die Steuerung 110 kann einen einzelnen Mikroprozessor oder mehrere Mikroprozessoren verkörpern, der/die Mittel zum Überwachen des Betriebs der Maschine 10, zum Ausgeben von Anweisungen an Komponenten der Maschine 10 und/oder zum Kommunizieren mit externen Vorrichtungen aufweisen kann/können. So kann die Steuerung 110 beispielsweise einen Speicher, eine externe Speichervorrichtung, einen Taktgeber und einen Prozessor, wie etwa eine zentrale Verarbeitungseinheit, oder andere Mittel zum Erfüllen einer Aufgabe im Einklang mit der vorliegenden Offenbarung, aufweisen. Der Speicher oder die externe Speichervorrichtung, welcher/welche der Steuerung 110 zugeordnet ist, kann Daten und/oder Software-Routinen speichern, die die Steuerung 110 bei der Ausübung ihrer Funktionen unterstützen können. Überdies kann der Speicher oder die Speichervorrichtung, welcher/welche der Steuerung 110 zugeordnet ist, auch Daten speichern, die er/sie von diversen der Arbeitsmaschine 10 zugeordneten Eingabevorrichtungen empfängt. Zahlreiche im Handel erhältliche Mikroprozessoren können derart konfiguriert werden, dass sie die Funktionen der Steuerung 110 erfüllen. Es versteht sich, dass die Steuerung 110 ohne Weiteres eine allgemeine Maschinensteuerung verkörpern könnte, die fähig ist, zahlreiche weitere Maschinenfunktionen zu steuern. Der Steuerung 110 können diverse andere, bekannte Schaltungen beigeordnet sein, darunter Signalvorverarbeitungsschaltungen, Kommunikationsschaltungen, hydraulische oder andere Betätigungsschaltungen und andere geeignete Schaltungen.
-
Die Steuerung 110 kann Informationen von Eingabevorrichtungen empfangen, wie unter anderem von Audiosensoren 30 und Kollisionsvermeidungssensoren 40. Der Audiosensor 30 kann jegliche der vorstehend beschriebenen Eigenschaften aufweisen. Er kann der Steuerung 110 Informationen über Geräusche in der Nähe der Maschine 10 liefern. Bei den Signalen vom Audiosensor 30 kann es sich um digitale Signale oder analoge Signale handeln. Signale von Audiosensoren 30 können ein oder mehrere Signale von einem oder mehreren Audiosensoren 30 umfassen. Die Kollisionsvermeidungssensoren 40 können jegliche der vorstehend beschriebenen Eigenschaften aufweisen. Sie können der Steuerung 30 und/oder der Maschine 10 Informationen darüber liefern, ob sich irgendwelche Objekte in ihrer Nähe befinden.
-
Die Steuerung 110 oder eine andere Komponente kann dafür konfiguriert sein, Signale von Audiosensoren 30 zu verwenden, um einen Ort eines von den Audiosensoren 30 erfassten Geräusches zu bestimmen. So kann die Steuerung 110 beispielsweise eine Richtung bestimmen, aus der ein Geräusch abgegeben wird. Eine von der Steuerung bestimmte Richtung kann beispielsweise ein Quadrant oder ein anderer Sektor der Maschine 10 sein (z. B. ein vorderer Sektor, ein hinterer Sektor, ein linker Sektor, ein rechter Sektor, ein rechter vorderer Quadrant, ein linker vorderer Quadrant, usw.). Durch Vergleichen und/oder Kombinieren von Signalen von mehreren Audiosensoren 30 kann die Steuerung 110 Standortinformationen bestimmen. Wird ein Richtmikrophon oder ein anderer Audiosensor 30 mit Richtcharakteristik verwendet, kann ein Signal von einem Audiosensor 30 auf den Ort einer Schall- bzw. Geräuschquelle schließen lassen. Außerdem kann die Steuerung 110 Eingaben von Audiosensoren 30 verwenden, um einen Abstand zwischen der Maschine 10 und einer Geräuschquelle zu approximieren oder zu bestimmen. Sie kann auch Eingaben von Audiosensoren 30 verwenden, um eine relative Winkellage eines Objekts zu bestimmen. In Bezug auf einen nach vom schauenden Bediener in einer Kabine der Maschine 10 können die folgenden Richtungen definiert werden: 0 Grad kann als Richtung nach vorn definiert werden, 90 Grad kann als Richtung nach rechts definiert werden, 180 Grad kann als Richtung nach hinten definiert werden und 270 Grad kann als Richtung nach links identifiziert werden. Die vier vorstehend angegebenen Richtungen können jeweils im rechten Winkel zueinander sein. Die Steuerung 110 kann Eingaben von den Audiosensoren 30 anhand des vorstehend beschriebenen Koordinatensystems einen Richtungswert von 0 Grad bis 360 Grad zuordnen. Die Genauigkeit einer solchen Messung kann innerhalb von ungefähr ±30 Grad liegen.
-
Außerdem kann die Steuerung 110 fähig sein, bestimmte Geräusche anhand von Wellenformen zu unterscheiden, die von einem oder mehreren Audiosensoren 30 vermessen werden. Die Steuerung 110 kann dafür konfiguriert sein, ein erfasstes Audiosignal mit einer Bibliothek 112 zu vergleichen und ein erfasstes Geräusch anhand des Typs zu katalogisieren. Die Bibliothek 112 kann in der Steuerung 110 gespeichert sein und/oder die Steuerung 110 kann aus der Ferne darauf zugreifen. So kann beispielsweise die Steuerung 110 dafür konfiguriert sein, einen Audiobefehl, wie etwa ein Wort (z. B. „STOP“), zu erkennen oder zu bestimmen, ob ein erfasstes Audiosignal durch eine Maschine, einen Menschen oder ein Umgebungsgeräusch bedingt ist. Ein Umgebungsgeräusch kann ein Geräusch sein, das ein normales, ein typisches oder ein andersartiges Hintergrundgeräusch ist, das nicht auf ein Objekt in der Nähe, wie beispielsweise eine Maschine oder einen Menschen, schließen lässt. Umgebungsgeräusche können beispielsweise durch Wind oder Verkehr hervorgerufen sein, die Betriebsgeräusche der Maschine 10 selbst oder andere Hintergrund-Geräuscharten sein. Umgebungsgeräusche können von der Umgebung abhängen. So kann beispielsweise auf einer Baustelle in der Nähe einer Autobahn Verkehrslärm Bestandteil des Umgebungsgeräusches sein. Auf einer Baustelle in der Nähe eines stark frequentierten Fußgängerweges können bestimmte Stimmlagen Bestandteil des Umgebungsgeräusches sein. Ein Nicht-Umgebungsgeräusch kann ein Geräusch sein, das nicht zu dem normalen Hintergrund gehört, vor dem die Maschine 10 betrieben wird. Umgebungsgeräusche können Geräusche betreffen, die nicht auf der Baustelle an sich auftreten und/oder nicht auf ein Hindernis in der Nähe hindeuten. Ein Nicht-Umgebungsgeräusch hingegen kann ein Geräusch sein, das nicht zu dem normalen Hintergrund gehört, vor dem die Maschine 10 arbeitet. So kann ein Nicht-Umgebungsgeräusch beispielsweise ein Geräusch sein, das auf Personen und/oder Maschinen auf einer Baustelle an sich schließen lässt. Umgebungsgeräusche lassen sich anhand einer Phonzahl oder eines anderen Indikators für eine Schallamplitude charakterisieren. Zusätzlich oder alternativ können Umgebungsgeräusche durch bestimmte Wellensignaturen der Baustellenumgebung charakterisiert werden. Nicht-Umgebungsgeräusche können durch Vergleich mit gespeicherten Daten zu Umgebungsgeräuschen auf einer Baustelle identifiziert werden. So können beispielsweise Nicht-Umgebungsgeräusche einen höheren Lautstärkepegel oder eine größere Amplitude und/oder eine andere Wellensignatur als Umgebungsgeräusche aufweisen. Die Steuerung 110 kann imstande sein zu bestimmen, welche Art von Quelle gerade ein Geräusch erzeugt. Auch kann die Steuerung 110 zum maschinellen Lernen fähig sein, sodass sie im Laufe der Zeit die Befähigung erwerben kann, zwischen Geräuschquellen zu unterscheiden. Die Steuerung 110 kann die mit einer bestimmten Arbeitsumgebung verbundenen Geräusche lernen. Von zahlreichen Steuerungen 110 können Informationen zusammengetragen werden, sodass ein Geräuscharchiv (wie etwa die Bibliothek 112) aufgebaut werden kann.
-
Die Steuerung 110 kann dafür konfiguriert sein, Reaktionen 120 auszugeben, die auf Eingaben von Audiosensoren 30 und/oder Kollisionsvermeidungssensoren 40 basieren. So kann beispielsweise die Steuerung 110 dafür konfiguriert sein, eine Warnmeldung an einen Maschinenführer bzw. Bediener zu senden, um eine Maschine 10 zu stoppen, eine Maschine 10 rückwärts zu fahren, eine Maschine 10 zu verlangsamen, eine Richtung der Maschine 10 zu ändern und/oder anderweitig das Verhalten der Maschine 10 abzuändern. Solche möglichen Reaktionen 120 werden mit Bezug auf 3 ausführlicher erörtert.
-
3 stellt ein beispielhaftes Verfahren 200 zum Bewerten von Umgebungsgeräuschen und zum angemessenen Reagieren darauf dar. Das Verfahren 200 kann Daten einbeziehen, die von Audiosensoren 30 und/oder Kollisionsvermeidungssensoren 40 gewonnen wurden. Bei der Ausführung der Schritte des Verfahrens 200 kann die Maschine 10 mit oder ohne Zutun eines Maschinenführers bzw. Bedieners betrieben werden. Die Maschine 10 kann so automatisiert sein, dass eine Bedienerkabine 16 und/oder ein in der Bedienerkabine 16 sitzender Bediener nicht erforderlich sind/ist. Die Maschine 10 kann auf verschiedensten Baustellen bei einer Vielfalt von Umgebungsgeräuschen betrieben werden. Im Einsatz kann die Maschine 10 in der Nähe von Personen, anderen Maschinen und anderen Objekten arbeiten. Es kann wünschenswert sein, dass die Maschine 10 auf einige dieser Objekte trifft. So kann die Maschine 10 beispielsweise auf einen Stapel von Material treffen, der abgetragen und/oder umgesetzt werden soll. Andererseits sollte eine Kollision mit anderen Objekten oder mit Menschen vermieden werden.
-
Im Schritt 210 kann ein System, wie etwa das Steuerungssystem 100, kalibriert werden. Beispielsweise kann das System 100 auf der Grundlage einer Umgebung kalibriert werden, und die Audiosensoren 30 können einen Umgebungs-, „Null-“ oder Basiswert messen. Wenn die Maschine 10 in Betrieb ist, können die von den Audiosensoren 30 erfassten Geräusche mit dem Basiswert, dem Umgebungswert, verglichen werden. Jedes Mal, wenn eine Maschine 10 auf einer neuen Baustelle eingesetzt wird, jeden Morgen, jede Woche oder in einem anderen geeigneten Zeitintervall kann ein Umgebungsgeräuschpegel gemessen werden. Diese Kalibrierung kann automatisch oder manuell erfolgen. Ein Fernbediener kann eine Baustelle periodisch bewerten und eine Kalibrierung oder einen Nullabgleich durchführen. Eine Nachkalibrierung kann beispielsweise dann durchgeführt werden, wenn sich auf einer Baustelle etwas ändert. So kann beispielsweise die Kalibrierung zu verschiedenen Zeiten an einem bestimmten Tag durchgeführt werden, wenn sich die Verkehrsmuster rings um eine Baustelle ändern oder wenn sich eine Geräuschumgebung anderweitig ändert. Zusätzlich oder alternativ kann eine Kalibrierung während der Herstellung des Systems 100, der Steuerung 110 oder der Maschine 10 erfolgen. Beispielsweise kann das System 100 mit einem oder mehreren voreingestellten Umgebungsgeräuschpegeln hergestellt werden. Wird das System 100 mit mehr als einem voreingestellten Umgebungsgeräuschpegel hergestellt, kann ein Benutzer im Schritt 210 einen geeigneten Umgebungsgeräuschpegel auswählen.
-
Im Schritt 230 kann eine Komponente des Systems 100, wie etwa die Steuerung 110, Audioeingaben aus der Umgebung rings um die Maschine 10 empfangen. So kann die Steuerung 110 beispielsweise Audioeingaben über die Audiosensoren 30 empfangen. Empfangene Audioeingaben können von einer der vorstehend beschriebenen Konfigurationen der Audiosensoren 30 oder von einer alternativen Konfiguration des/der Audiosensor(en) 30 erlangt sein.
-
Im Schritt 240 kann eine Komponente des Systems 100, wie etwa die Steuerung 110, das im Schritt 230 empfangene Audiosignal filtern. Es kann jedes geeignete Filterungsverfahren oder jeder geeignete Filterungsmechanismus benutzt werden. Beispielsweise kann die Steuerung 110 den im Schritt 210 kalibrierten Umgebungsgeräuschpegel benutzen, um Audiosignale zu filtern. Die Steuerung 110 kann die Audioeingaben aus Schritt 230 filtern, um Anteile der Audioeingaben zu identifizieren, die nicht aus Umgebungsgeräuschen resultieren, indem sie beispielsweise die Audioeingaben aus Schritt 230 mit dem im Schritt 210 kalibrierten Umgebungsgeräuschpegel vergleicht. Infolge einer solchen Filterung kann die Steuerung 110 Geräusche identifizieren, die nicht den normalen Hintergrundgeräuschen einer Arbeitsumgebung zuzurechnen sind. Im Schritt 250 kann eine Komponente des Systems 100, wie etwa die Steuerung 110, bestimmen, ob ein Nicht-Umgebungsgeräusch identifiziert worden ist. Zusätzlich oder alternativ kann die Steuerung 110 das gefilterte Audiosignal mit einem Geräuscharchiv (wie etwa der vorstehend mit Bezug auf 2 beschriebenen Bibliothek 112) vergleichen, um zu bestimmen, ob ein im Archiv enthaltenes Geräusch identifiziert worden ist. So kann die Steuerung 110 beispielsweise bestimmen, ob der Maschine 10 ein Befehl (z. B. „STOP“) gegeben wurde. Wenn im Schritt 250 kein solches Nicht-Umgebungsgeräusch oder übereinstimmendes Geräusch identifiziert wird, dann kann die Maschine im Schritt 260 ihren Betrieb ohne Eingriff der Steuerung 110 fortsetzen.
-
Wenn im Schritt 250 ein Nicht-Umgebungsgeräusch oder ein übereinstimmendes Geräusch identifiziert wird, dann kann die Steuerung 110 im Schritt 270 das Audiosignal diagnostizieren und/oder Folgemaßnahmen ergreifen. So kann die Steuerung 110 beispielsweise versuchen, unter Verwendung der Audiosensoren 30 und/oder anderer Sensoren die Art und/oder die Quelle eines Geräusches zu identifizieren. Die Steuerung 110 kann sich auf Daten von den Audiosensoren 30 und/oder anderen Sensoren sowie auf ein vorprogrammiertes Geräuscharchiv oder ein durch maschinelles Lernen aufgebautes Geräuscharchiv (wie etwa die Bibliothek 112) stützen, um die Quelle eines Geräusches (z.B. Maschine, Mensch usw.), die Richtung eines Geräusches und/oder einen Abstand von einem Geräusch zu bestimmen. Durch Kombinieren der Daten von mehreren Audiosensoren 30 kann eine Triangulation zur Bestimmung der Quelle eines Geräusches erfolgen, wie vorstehend mit Bezug auf 2 erörtert. Wenn sich eine Maschine bewegt, können Änderungen der Lautstärke bei einem oder mehreren Audiosensoren 30 auf eine Richtung und/oder einen Abstand von einem Geräusch schließen lassen. So kann beispielsweise die Lautstärke eines Geräusches, die zunimmt, während sich die Maschine 10 vorwärts bewegt, darauf schließen lassen, dass sich eine Quelle eines Geräusches ungefähr vor der Maschine 10 befindet. Die Steuerung 110 kann, wie vorstehend beschrieben, Eingaben von den Audiosensoren 30 verwenden, um anhand des vorstehend beschriebenen Koordinatensystems einen Richtungswert von 0 Grad bis 360 Grad zuzuordnen. Die Genauigkeit einer solchen Messung kann innerhalb von ungefähr ±30 Grad liegen. Eine solche Messung kann auch genauer sein.
-
Die Steuerung 110 kann außerdem auf andere Systeme der Maschine 10 zurückgreifen, um weitere Informationen über eine Quelle eines Geräusches zu erlangen. So kann beispielsweise die Steuerung 110 Kollisionsvermeidungssensoren 40 in Anspruch nehmen, um eine Quelle eines Geräusches eingehender zu beurteilen. Unter Verwendung der Audiosensoren 30 kann die Steuerung 110 die Richtung bestimmen, aus der ein Geräusch kommt. Basierend auf diesen Informationen kann die Steuerung 110 die Kollisionsvermeidungssensoren 40 in diese Richtung fokussieren. Beispielsweise kann die Steuerung 110 die Kollisionsvermeidungssensoren 40 anweisen, in diese Richtung zu zielen oder zu fokussieren. Zusätzlich oder alternativ kann die Steuerung 110 ein Kollisionsvermeidungssystem (einschließlich der Kollisionsvermeidungssensoren 40) fokussieren, indem sie die Verarbeitungsleistung der Steuerung 110 auf den Betrieb der Kollisionsvermeidungssensoren 40 in der Richtung eines erfassten Geräusches lenkt. Eine solche Steigerung der Verarbeitungsleistung kann auf eine verbesserte Erfassungsfähigkeit der Kollisionsvermeidungssensoren 40 hinauslaufen. So kann die Steuerung 110 beispielsweise eine erhöhte Abtastrate bei den Kollisionsvermeidungssensoren 40 anweisen oder die Steuerung 110 kann die von den Kollisionsvermeidungssensoren 40 gesammelten Daten tiefgründiger analysieren. Die Kollisionsvermeidungssensoren 40 können zusätzliche Informationen über den Ort von Objekten rund um die Maschine 10 liefern, die im Schritt 250 identifizierte Quelle eines Geräusches mit eingeschlossen. Beispielsweise können die Kollisionsvermeidungssensoren 40 Informationen über die genauere Position eines Objekts und/oder über einen Abstand zwischen dem Objekt und der Maschine 10 liefern. Die Kollisionsvermeidungssensoren 40 können in Verbindung mit den Audiosensoren 30 verwendet werden, um mögliche Hindernisse zu bewerten. Einem Maschinenführer bzw. Bediener kann ein Video oder eine andere Art von Sichtanzeige (wie etwa eine schematische Darstellung) zur Verfügung gestellt werden, das/die das Szenario in Richtung des beobachteten Geräusches widerspiegelt. So kann das Video oder die andere Sichtanzeige Objekte in der Richtung des beobachteten Geräusches zeigen und kann weitere Informationen über Hindernisse in der Nähe liefern. Zusätzlich oder alternativ kann von der Steuerung 110 eine automatisierte Videodiagnose und/oder eine andere visuelle Diagnose durchgeführt werden, basierend auf einer automatisierten Erkennung eines Objekts in einem Video oder in einer anderen Sichtanzeige. Wenn beispielsweise die Kollisionsvermeidungssensoren 40 ein Objekt erfassen, dieses Objekt aber kein Geräusch erzeugt, das mittels der Audiosensoren 30 erfassbar ist, dann kann die Steuerung 110 eine eingehendere Bewertung des Objekts durchführen. Beispielsweise kann durch die Diagnostik (wie etwa die vorstehend beschriebene Videodiagnostik oder Informationen von Kollisionsvermeidungssensoren 40) bestimmt werden, dass es sich bei einem erfassten Objekt um eine Person, eine nicht in Betrieb befindliche Maschine, ein Gebäude oder ein anderes Bauwerk handelt, der/dem ausgewichen werden sollte. Alternativ kann die Auswertung der Daten von den Audiosensoren 30, den Kollisionsvermeidungssensoren 40 und/oder anderen Quellen (wie etwa dem Video) ergeben, dass es sich bei dem Objekt um einen Stapel oder ein anderes Objekt handelt, in den/das die Maschine 10 eingreifen sollte. Die Kombination von verschiedenartigen Sensorsystemen, wie etwa von Audiosensorsystemen und Kollisionsvermeidungssensorsystemen, kann die Voraussetzungen für einen ausgeklügelten mehrstufigen Ansatz zur Erfassung von Hindernissen in einer automatisierten Umgebung schaffen.
-
Nach der Diagnose des Audiosignals und/oder der Durchführung von Folgemaßnahmen im Schritt 270 kann eine Komponente des Systems 100 (wie etwa die Steuerung 110) im Schritt 280 auf die Diagnose reagieren. So kann die Steuerung 110 beispielsweise eine Warnmeldung an einen aus der Kabine heraus agierenden Bediener oder an einen Fernbediener der Maschine 10 ausgeben. Zusätzlich oder alternativ kann die Steuerung 110 eine Bewegung der Maschine 10 stoppen, umkehren, in ihrer Richtung ändern, verlangsamen oder anderweitig ändern. Wenn in den Schritten 250 und/oder 270 für ein Geräusch eine Übereinstimmung in einer Bibliothek von Maschinenbefehlen gefunden wird (z. B. mit einem „STOP“-Befehl), kann die Steuerung 110 die Maschine 10 anweisen, diesen gegebenen Befehl auszuführen.
-
Gewerbliche Anwendbarkeit
-
Die offenbarten Aspekte des Systems 100, die hier beschrieben wurden, können verwendet werden, um zu beurteilen, ob sich Hindernisse in der Nähe der Maschine 10 befinden. So kann das System 100 beispielsweise bestimmen, ob der Maschine 10 Objekte im Weg sind. Insbesondere kann das System 100 bei der Automatisierung und dem autonomen Betrieb von Maschinen nützlich sein. Während aus der Kabine heraus agierende Bediener die Möglichkeit haben, die Baustelle um sich herum zu hören und Hindernisse nach Gehör zu bewerten, fehlt den derzeitigen automatisierten oder autonomen Maschinen 10 unter Umständen eine akustische Dimension beim Analysieren von Hindernissen. Audioinformationen können Details liefern, die via bestehende Kollisionsvermeidungssysteme nicht zur Verfügung stehen. So sind beispielsweise Kollisionsvermeidungssysteme gegebenenfalls unfähig, Hindernisse zu bewerten, die sich um eine Ecke, hinter einem Hügel oder hinter einem anderen Objekt befinden. Im Gegensatz dazu können die Audiosensoren 30 fähig sein, solche Objekte zu erfassen. Das System 100 kann einen besonderen Nutzwert im Zusammenhang mit stark frequentierten oder überfüllten Baustellen haben, wo zahlreiche Maschinen bei der Arbeit sind, wo sich Personen auf der Baustelle befinden oder wo anderen Hindernissen auszuweichen ist.
-
Für den Fachmann wird offensichtlich sein, dass an dem offenbarten System verschiedene Modifikationen und Variationen vorgenommen werden können, ohne vom Schutzbereich der Offenbarung abzukommen. Weitere Ausführungsformen des Systems werden dem Fachmann aus der Beschreibung und der Umsetzung der hier offenbarten Maschine offensichtlich werden. Die Beschreibung und die Beispiele sollen lediglich als beispielhaft angesehen werden, wobei der wahre Schutzbereich der Offenbarung von den folgenden Ansprüchen und ihren Äquivalenten angegeben wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
