DE102021112052A1 - System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung - Google Patents

System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung Download PDF

Info

Publication number
DE102021112052A1
DE102021112052A1 DE102021112052.7A DE102021112052A DE102021112052A1 DE 102021112052 A1 DE102021112052 A1 DE 102021112052A1 DE 102021112052 A DE102021112052 A DE 102021112052A DE 102021112052 A1 DE102021112052 A1 DE 102021112052A1
Authority
DE
Germany
Prior art keywords
machine
camera
sensor
information
designed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021112052.7A
Other languages
English (en)
Inventor
Markus Häupl
Matthias Wimmer
Sebastian Kaluza
Max-David Falkner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Abaut GmbH
Original Assignee
Abaut GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Abaut GmbH filed Critical Abaut GmbH
Priority to DE102021112052.7A priority Critical patent/DE102021112052A1/de
Priority to EP22728392.6A priority patent/EP4334919A1/de
Priority to US18/289,858 priority patent/US20240242544A1/en
Priority to PCT/EP2022/062333 priority patent/WO2022234114A1/de
Publication of DE102021112052A1 publication Critical patent/DE102021112052A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/005Registering or indicating the condition or the working of machines or other apparatus, other than vehicles during manufacturing process
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/006Indicating maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

Die vorliegende Erfindung betrifft ein System (100) zur Überwachung der von wenigstens einer Maschine (14, 16, 18, 20) ausgeführten Prozesse und der Prozessumgebung, wobei die wenigstens eine Maschine (14, 16, 18, 20) auf einer Baustelle und/oder im Bergbau einsetzbar ist, wobei das System (100) umfasst:wenigstens eine Sensoreinheit (10), wobei die wenigstens eine Sensoreinheit (10) dazu ausgebildet ist, Informationen bezüglich der wenigstens einen Maschine (14, 16, 18, 20) zu ermitteln, wobei die von der wenigstens einen Sensoreinheit (10) ermittelten Informationen zumindest eine Information aus der folgenden Gruppe umfassen: Positionsinformationen der Maschine (14, 16, 18, 20), wenigstens einen Geschwindigkeitswert in wenigstens einer Richtung, wenigstens einen Beschleunigungswert in wenigstens einer Richtung,wenigstens eine Kamera (22, 24, 26, 28), die Bilddaten erzeugt, die zumindest einen Abschnitt der wenigstens eine Maschine (14, 16, 18, 20) und/oder zumindest einen Teil der Prozessumgebung der wenigstens einen Maschine (14, 16, 18, 20) enthalten, undwenigstens einer Auswerteinheit (12), wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, die von der wenigstens einen Sensoreinheit (10) ermittelten Informationen und die von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zumindest zur Überwachung der von der wenigstens einen Maschine (14, 16, 18, 20) ausgeführten Prozesse und der Prozessumgebung zusammenzuführen.

Description

  • Die vorliegende Erfindung betrifft ein System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung. Das System kann zur Überwachung der von mehreren Maschinen ausgeführten Prozesse und der Prozessumgebung der Maschinen genutzt werden. Die wenigstens eine Maschine kann auf Baustellen und/oder im Bergbau eingesetzt werden. Die vorliegende Erfindung betrifft ferner eine Sensoranordnung für ein derartiges System.
  • Auf Baustellen und/oder im Bergbau einsetzbare Maschinen können beispielsweise Maschinen wie Bagger, Radlader, LKWs und Kipper bzw. Dumper sein. Diese Maschinen können an verschiedenen Stellen der Baustelle oder dem Bergbaubetrieb verschiedene Prozesse ausführen. Baustellen und insbesondere Bergbaubetriebe können relativ groß sein und/oder sich an entlegenen Orten befinden. Dadurch kann die Überwachung der von den Maschinen ausgeführten Prozesse und der Prozessumgebung erschwert und, wenn überhaupt, nur mit relativ großem Aufwand durchgeführt werden.
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung bereitzustellen, das unabhängig vom Einsatzort der wenigstens einen Maschine eine Überwachung der von der wenigstens einen Maschine ausgeführten Prozesse und der Prozessumgebung ermöglicht.
  • Diese Aufgabe wird durch ein System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung mit den Merkmalen des Anspruchs 1 gelöst.
  • Weitere Ausführungsformen sind in den abhängigen Ansprüchen angegeben.
  • Das erfindungsgemäße System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung umfasst wenigstens eine Sensoreinheit, wobei die wenigstens eine Sensoreinheit dazu ausgebildet ist, Informationen bezüglich der wenigstens einen Maschine zu ermitteln, wobei die von der wenigstens einen Sensoreinheit ermittelten Informationen zumindest eine Information aus der folgenden Gruppe umfassen: Positionsinformationen der Maschine, wenigstens einen Geschwindigkeitswert in wenigstens einer Richtung, wenigstens einen Beschleunigungswert in wenigstens einer Richtung.
  • Das System umfasst weiter wenigstens eine Kamera, die Bilddaten erzeugt. Die Bilddaten enthalten zumindest einen Abschnitt der wenigstens eine Maschine und/oder zumindest einen Teil der Prozessumgebung der wenigstens einen Maschine.
  • Das System weist ferner wenigstens eine Auswerteinheit auf. Die wenigstens eine Auswerteeinheit ist dazu ausgebildet ist, die von der wenigstens einen Sensoreinheit ermittelten Informationen und die von der wenigstens einen Kamera erzeugten Bilddaten zur Überwachung der von der wenigstens einen Maschine ausgeführten Prozesse und der Prozessumgebung zusammenzuführen.
  • Mit dem erfindungsgemäßen System können die von der wenigstens einen Maschine ausgeführten Prozesse und die Prozessumgebung selbst an entlegensten Einsatzorten im Wesentlichen lückenlos in Echtzeit oder zumindest echtzeitnah überwacht und analysiert werden. Hierzu werden die von der wenigstens einen Sensoreinheit ermittelten Informationen und die von der wenigstens einen Kamera erzeugten Bilddaten von der wenigstens einen Auswerteeinheit unabhängig vom Einsatzort der wenigstens einen Maschine zusammengeführt werden, um die von der wenigstens einen Maschine ausgeführten Prozesse und die Prozessumgebung analysieren zu können. Die Überwachung der von der wenigstens einen Maschine ausgeführten Prozesse kann zeitlich synchronisiert mit der Überwachung der Prozesse weiterer Maschinen erfolgen.
  • Unter Prozessumgebung kann in diesem Zusammenhang die Umgebung oder zumindest ein Ausschnitt der Umgebung verstanden werden, in der die wenigstens eine Maschine die ihr zugeordneten Prozesse ausführt.
  • Die wenigstens eine Maschine kann eine auf einer Baustelle oder im Bergbau einsetzbare Maschine sein. Die wenigstens eine Maschine kann ihre Position verändern und/oder mit wenigstens einem Abschnitt Bewegungen ausführen. Es kann sich dementsprechend bei den Maschinen auch um Fahrzeuge handeln.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die von der wenigstens einen Sensoreinheit ermittelten Informationen und die von der wenigstens einen Kamera erzeugten Bilddaten zusammenzuführen, um ein Prozessprofil der wenigstens einen Maschine zu ermitteln. Durch die Zusammenführung der von der Sensoreinheit ermittelten Informationen und der Bilddaten kann ein ganzheitliches Prozessprofil der Maschine erzeugt werden. Es kann beispielsweise für das Prozessprofil ermittelt werden, an welcher Position die Maschine welchen Prozess ausgeführt hat und ob die Ausführung der Prozesse durch den Zustand der Prozessumgebung oder durch Begegnungen oder Interaktionen mit weiteren Maschinen beeinflusst wurde. Durch die Zusammenführung der Bilddaten der wenigstens einen Kamera und den Informationen der wenigstens einen Sensoreinheit kann beispielsweise ein von der Maschine ausgeführter Prozess, das von der Maschine bearbeitete/transportierte Material und/oder der Zustand der Prozessumgebung analysiert werden.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, in den von der wenigstens einen Kamera aufgenommenen Bilddaten Objekte zu erkennen und voneinander zu unterscheiden. Die Auswerteeinheit kann ferner dazu ausgebildet sein, Personen in den von der wenigstens einen Kamera erzeugten Bilddaten zu erkennen. Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die erkannten Personen zu verschleiern und/oder auf andere Art und Weise unkenntlich zu machen. Dementsprechend können mit dem System die Vorgaben der Datenschutz-Grundverordnung (DSGVO) erfüllt werden.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, in den von der wenigstens einen Kamera ermittelten Bilddaten Maschinen zu erkennen. Die wenigstens eine Auswerteeinheit kann die in den Bilddaten ermittelten Maschinen verschiedenen Maschinentypen zuordnen. Die wenigstens eine Auswerteeinheit kann somit beispielsweise Bagger, Radlader, LKWs und Kipper bzw. Dumper voneinander unterscheiden.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die von der wenigstens einen Sensoreinheit ermittelten Informationen und die von der wenigstens einen Kamera erzeugten Bilddaten zusammenzuführen, um Informationen über die Prozessumgebung der wenigstens einen Maschine zu ermitteln. Anhand der von der wenigstens einen Sensoreinheit ermittelten Informationen und den von der Kamera erzeugten Bilddaten kann ein Zustandsmodell der Prozessumgebung der Maschine ermittelt werden. Basierend auf dem ermittelten Zustandsmodell der Prozessumgebung können die Auswirkungen des Zustands der Prozessumgebung, wie z.B. der Zustand des Untergrunds oder des Fahrwegs, auf die von der wenigstens einen Maschine ausgeführten Prozesse und die Prozessleistung ermittelt werden. So kann die wenigstens eine Auswerteeinheit beispielsweise basierend auf den von der wenigstens einen Sensoreinheit ermittelten Informationen für bestimmte Bereiche der Fahrstrecke erhöhte Beschleunigungswerte ermitteln. In den von der wenigstens einen Kamera erzeugten Bilddaten kann der Auslöser oder Verursacher der erhöhten Beschleunigungswerte von der wenigstens einen Auswerteeinheit ermittelt werden. Auf diese Weise können beispielsweise Schlaglöcher in der Fahrstrecke der wenigstens einen Maschine ermittelt werden, die die erhöhten Beschleunigungswerte verursacht haben. Die wenigstens eine Auswerteeinheit kann zudem die aus den Schlaglöchern resultierenden Auswirkungen auf die Prozessleistung der Maschine, wie zum Beispiel auf die Prozessgeschwindigkeit der Maschine, ermitteln. Ausgehend von den ermittelten Informationen über die Prozessumgebung der wenigstens einen Maschine können der Maschine alternative Fahrstrecken vorgegeben, die Ausrüstung der Maschine dem Zustand der Prozessumgebung angepasst oder die Instandsetzung einer Fahrstrecke veranlasst werden.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, basierend auf den von der wenigstens einen Sensoreinheit ermittelten Informationen und den von der wenigstens einen Kamera erzeugten Bilddaten zumindest die Art und/oder wenigstens eine Eigenschaft des von der wenigstens einen Maschine bearbeiteten oder verarbeiteten Materials zu ermitteln. Bei dem von der wenigstens einen Maschine bearbeiteten oder verarbeiteten Material kann es sich beispielsweise um Gestein, Baurohstoffe oder Erdaushub handeln. Dementsprechend kann die wenigstens eine Auswerteeinheit dazu ausgebildet sein, eine Analyse des Materials auf Basis der von der wenigstens einen Sensoreinheit ermittelten Informationen und der von der wenigstens einen Kamera erzeugten Bilddaten vorzunehmen. Eigenschaften des Materials können beispielsweise die Partikelgröße, die Bodenklasse, oder die Homogenitätsbereiche der Böden sein. Mit anderen Worten kann die Analyse des Materials auf den mit den Bilddaten der Kamera zusammengeführten Informationen der Sensoreinheit basieren. Beispielsweise können die von der wenigstens einen Sensoreinheit ermittelten Beschleunigungswerte dem in den Bilddaten der Kamera enthaltenen Gestein und/oder der Größe der Gesteinspartikel zugeordnet werden. Auf Basis der auf diese Weise erhaltenen Informationen kann beispielsweise im Bergbau bestimmt werden, dass die Sprengparameter verändert werden müssen, um kleinere bzw. feinere Gesteinspartikel zu erhalten.
  • Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera zu steuern. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera basierend auf wenigstens einer von der wenigstens einen Sensoreinheit ermittelten Information zu steuern. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera auf Basis eines von der Sensoreinheit erfassten Ereignisses zu steuern. Dadurch kann die Größe und Menge der Informationspakte oder Bilddatenpakete, die an die Auswerteeinheit übermittelt werden können, reduziert werden. Es können beispielsweise die Bildwiederholungsrate, die Bildqualität oder die Bildauflösung reduziert werden. Ein derartiges Ereignis kann durch die von der Sensoreinheit erfassten Informationen angezeigt werden. Ein derartiges Ereignis kann beispielsweise ein einen Grenzwert übersteigender Beschleunigungswert oder eine ermittelte Begegnung mit einer weiteren Maschine sein. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera in Abhängigkeit der von der wenigstens einen Sensoreinheit erfassten Informationen bzw. in Abhängigkeit eines Ereignisses anzuweisen, Bilddaten für ein Bild oder eine Bildsequenz zu erzeugen. Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, ein Bild oder eine Bildsequenz der von der wenigstens einen Kamera erzeugten Bilddaten wenigstens einer von der wenigstens einen Sensoreinheit ermittelten Information zuzuordnen. Die wenigstens eine Kamera kann eine Stereokamera sein.
  • Die Steuerung der wenigstens einen Kamera kann maschinenspezifisch oder maschinentypspezifisch erfolgen. Es können für die Steuerung der Kamera unterschiedliche, für den jeweiligen Maschinentyp spezifische Informationen verwendet werden, die von der wenigstens einen Sensoreinheit ermittelt werden können. Die von der wenigstens einen Sensoreinheit zur Steuerung der wenigstens einen Kamera herangezogenen Informationen können sich beispielsweise für einen Bagger oder einen Kipplader unterscheiden.
  • Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die wenigstens eine Kamera in Abhängigkeit von wenigstens einer von der Sensoreinheit ermittelten Information zu aktivieren oder zu deaktivieren. Zeigt beispielsweise eine von der Sensoreinheit ermittelte Information einen bestimmten Prozess an, kann die Sensoreinheit die wenigstens eine Kamera aktivieren oder deaktivieren. Wird beispielsweise aufgrund wenigstens einer von der Sensoreinheit ermittelten Information festgestellt, dass ein Kipplader den Standort eines Baggers erreicht hat und ein Ladevorgang stattfinden soll, kann die Kamera des Baggers aktiviert werden.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, in den von der wenigstens einen Sensoreinheit ermittelten Informationen Informationsmuster zu ermitteln. Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, die von der wenigstens einen Kamera erzeugten Bilddaten einem oder mehreren ermittelten Informationsmustern zuzuordnen. Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, anhand der ermittelten Informationsmuster einen von der Maschine ausgeführten Prozess zu ermitteln. Eine Maschine kann bei einem bestimmten Prozess ein bestimmtes Verhalten aufweisen. Dieses Verhalten kann sich in den von der wenigstens einen Sensoreinheit ermittelten Informationen widerspiegeln. Die wenigstens eine Auswerteeinheit kann die von der wenigstens einen Sensoreinheit ermittelten Informationen auf bestimmte Informationsmuster hin analysieren.
  • Die wenigstens eine Kamera kann die von ihr erzeugten Bilddaten an die wenigstens eine Sensoreinheit übermitteln. Die wenigstens eine Sensoreinheit kann die von ihr ermittelten Informationen und die Bilddaten der Kamera an die wenigstens eine Auswerteeinheit übermitteln oder der wenigstens einen Auswerteeinheit zum Abruf bereitstellen. Die wenigstens eine Kamera kann dazu ausgebildet sein, die von ihr ermittelten Bilddaten an die wenigstens eine Auswerteeinheit zu übermitteln.
  • Die wenigstens eine Sensoreinheit kann kabellos mit der wenigstens einen Auswerteinheit mittelbar oder unmittelbar kommunizieren. Die wenigstens eine Sensoreinheit kann beispielsweise über Funknetze und/oder Mobilfunknetze mit der wenigstens einen Auswerteinheit kommunizieren. Die wenigstens eine Sensoreinheit kann jedoch auch über andere kabellose Kommunikationsprotokolle bzw. Kommunikationsverfahren mit der wenigstens einen Auswerteinheit kommunizieren. Gleiches gilt auch für die wenigstens eine Kamera, die kabellos mit der wenigstens einen Auswerteeinheit mittelbar oder unmittelbar kommunizieren kann. Auch die Kommunikation zwischen der wenigstens einen Kamera und der wenigstens einen Auswerteeinheit kann über Funknetze und/oder Mobilfunknetze erfolgen.
  • Die Positionsinformationen der wenigstens einen Maschine können die Geo-Position der Maschine sein. Die Positionsinformationen können mit einem GNSS-Empfänger ermittelt werden. Die wenigstens eine Sensoreinheit kann ferner zur Ermittlung der Positionsinformationen mit Funkzellen kommunizieren. Die Positionsinformationen können auch über Wifi-Beacons, Wifi-Triangulation, Wifi-Trilateration, Bluetooth®-Beacons, Bluetooth®-Triangulation, Bluetooth®-Trilateration und über Ultra-Wide-Band (UWB) ermittelt werden. Ferner können die Positionsinformationen auch über weitere Funkstandards ermittelt werden.
  • Die wenigstens eine Sensoreinheit kann an einer Maschine angeordnet sein. Die wenigstens eine Kamera kann an einer Maschine angeordnet sein. Die wenigstens eine Sensoreinheit und die wenigstens eine Kamera können an der selben Maschine angebracht sein. Die wenigstens eine Kamera kann über Kabel oder kabellos mit der wenigstens einen Sensoreinheit kommunizieren.
  • Die wenigstens eine Kamera kann stationär an einem vorgegebenen Standort angeordnet sein. Gleiches gilt für die wenigstens eine Sensoreinheit, die ebenfalls stationär an einem vorgegebenen Standort angeordnet sein kann. Die wenigstens eine Kamera und die wenigstens eine Sensoreinheit können stationär an dem selben Standort angeordnet sein. Die wenigstens eine Kamera und die wenigstens eine Sensoreinheit können beispielsweise an einem Masten angeordnet sein. Von diesem Standort aus kann die wenigstens eine Kamera Bilddaten bezüglich wenigstens einer Maschine und/oder der Prozessumgebung erzeugen.
  • Die wenigstens eine Auswerteinheit kann eine Einheit mit künstlicher Intelligenz sein. Die Einheit mit künstlicher Intelligenz (KI) kann KI-Methoden in Form von maschinellem Lernen (Machine-Learning) oder neuronalen Netzen ausführen. Diese KI-Methoden werden basierend auf einer Datenbasis, d.h. basierend auf Trainingsdaten, trainiert, die Eingangsinformationen und das vorgegebene Ergebnis umfassen. Neuronale Netze und weitere KI-Methoden können abstrahierende oder verallgemeinernde Eigenschaften haben, d.h. sie können auch bis zu einem gewissen Grad für unbekannte Situationen ein plausibles Ergebnis ausgeben. Die von der wenigstens einen Sensoreinheit ermittelten Information und die von der wenigstens einen Kamera erzeugten Bilddaten können mit Hilfe von Sensorfusions-Algorithmen oder künstlicher Intelligenz zusammengeführt und ausgewertet werden.
  • Der wenigstens eine Beschleunigungswert in wenigstens einer Richtung kann bei einer Bewegung der Maschine oder bei einer Bewegung wenigstens eines Abschnitts der Maschine ermittelt werden. Beispielsweise bei einem Hydraulikbagger wird der bewegbare Abschnitt vom Oberwagen des Hydraulikbaggers gebildet. Bei einem Bagger kann der wenigstens eine Beschleunigungswert beispielsweise bei einer Betätigung der Schaufel des Baggers ermittelt werden. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, Beschleunigungswerte in zumindest drei Richtungen, d.h. in x-, y-, z-Richtung zu ermitteln. Die von der wenigstens einen Sensoreinheit ermittelbaren Informationen können zumindest wenigstens einen Geschwindigkeitswert umfassen. Die von der wenigstens einen Sensoreinheit ermittelbaren Informationen können die Orientierung und/oder Lage der Maschine oder die Orientierung und/oder Lage zumindest eines Abschnitts der Maschine umfassen. Bei einem Hydraulikbagger stellt beispielsweise der um 360° drehbare Oberwagen einen Abschnitt der Maschine dar, der seine Orientierung und/oder Lage unabhängig von den Rädern oder Ketten ändern kann. Ferner können die von der wenigstens einen Sensoreinheit ermittelbaren Informationen über die Prozessumgebung der Maschine umfassen. Diese Informationen über die Prozessumgebung können beispielsweise der Luftdruck und die Temperatur sein. Informationen über die Prozessumgebung können auch mit einem Magnetometer ermittelt werden. Dadurch kann die Kompassrichtung ermittelt werden. Insbesondere kann es sich um ein 3-Achs-Magnetometer handeln.
  • Das System kann mehrere Sensoreinheiten und/oder mehrere Kameras umfassen, die an mehreren Maschinen angeordnet sein können. Zumindest einige der Sensoreinheiten und/oder einige der Kameras können an einer Maschine angeordnet sein.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, zwei oder mehrere interagierende Maschinen anhand der von den mehreren Sensoreinheiten ermittelten Informationen und/oder anhand der von der wenigstens einen Kamera erzeugten Bilddaten zu ermitteln. Die wenigstens eine Auswerteeinheit kann somit auch Informationsmuster und/oder über die Bilddaten erfassen, wenn zwei Maschinen zusammenarbeiten bzw. interagieren. Interagierende oder kooperierende Maschinen können bestimmte Informationsmuster erzeugen, die von der wenigstens eine Auswerteeinheit ermittelt werden können. Diese ermittelten Informationsmuster können beispielsweise als Ereignis klassifiziert werden, das eine Aktivierung der wenigstens einen Kamera nach sich zieht.
  • Das System kann die wenigstens eine Maschine unabhängig von internen Maschinenparametern der wenigstens einen Maschine zu überwachen. Mit anderen Worten kann das System die wenigstens eine Maschine ohne interne Maschinenparameter, wie zum Beispiel Motorkennwerte oder Hydraulikdruckwerte überwachen. Dementsprechend kann das System die wenigstens eine Maschine ohne Zugriff auf die internen Maschinenparameter oder internen Maschinendaten überwachen, die von einem CAN-Bus oder einer ähnlichen Einrichtung der Maschine übertragen werden. Das System kann dadurch mit verschiedensten Maschinen und auch mit Maschinen verschiedener Hersteller verwendet werden, da das System unabhängig von den internen Maschinenparametern und dem jeweiligen Hersteller der Maschine die von der Maschine ausgeführten Prozesse und die Prozessumgebung überwachen kann. Eine Verbindung der wenigstens einen an der Maschine anbringbaren Sensoreinheit mit der Steuerung der Maschine ist in diesem Fall für die Funktion des Systems nicht notwendig.
  • Alternativ kann die Sensoreinheit auch eine Schnittstelle aufweisen, die zur Kommunikation mit der Steuerung einer Maschine ausgebildet sein kann. Dadurch kann das System auf interne Maschinenparameter oder interne Maschinendaten als zusätzliche Informationsquelle zurückgreifen. Beispielsweise kann die wenigstens eine Sensoreinheit dazu ausgebildet sein, Informationen von dem CAN-Bus oder einer ähnlichen Einrichtung einer Maschine zu erhalten.
  • Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die Informationen bezüglich der wenigstens einen Maschine kontinuierlich oder intermittierend zu ermitteln. Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, die ermittelten Informationen in Form von bestimmten zeitlichen Abständen an die Auswerteinheit zu senden. Die ermittelten Informationen können beispielsweise in Echtzeit oder nahezu in Echtzeit gesendet oder zum Abruf bereitgestellt werden. Die wenigstens eine Sensoreinheit kann auch zum Speichern der ermittelten Informationen ausgebildet sein. Falls die wenigstens eine Sensoreinheit keine Verbindung zu der wenigstens einen Auswerteinheit herstellen kann oder umgekehrt, kann die wenigstens eine Sensoreinheit die Informationen zu einem späteren Zeitpunkt senden, an dem eine Verbindung mit der wenigstens einen Auswerteinheit hergestellt werden kann. Alternativ kann die wenigstens eine Auswerteeinheit eine Verbindung zu der wenigstens einen Sensoreinheit herstellen und die Informationen von der wenigstens einen Sensoreinheit abrufen.
  • Die wenigstens eine Auswerteeinheit kann eine räumlich von der wenigstens einen Sensoreinheit getrennte Einheit sein. Die wenigstens eine Sensoreinheit und die wenigstens eine Auswerteeinheit können dazu ausgebildet sind, kabellos miteinander zu kommunizieren. Die wenigstens eine Auswerteeinheit kann beispielsweise ein Server sein, der sich an einem anderen Ort als die wenigstens eine Sensoreinheit befindet. Die Sensoreinheit kann die von ihr ermittelten Informationen an die wenigstens eine Auswerteeinheit übermitteln oder für die wenigstens eine Auswerteeinheit zum Abruf bereitstellen.
  • Die wenigstens eine Auswerteeinheit kann dazu ausgebildet sein, anhand zumindest der von der wenigstens einen Kamera erzeugten Bilddaten den Zustand zumindest eines Abschnitts der Maschine zu ermitteln. Beispielsweise können Schäden an der Schaufel eines Baggers auf diese Weise festgestellt werden. Mit den von der Kamera ermittelten Bilddaten können Schäden an der Maschine festgestellt werden, sodass eine Wartung bzw. Instandsetzung der Maschine veranlasst und terminiert werden kann. Auf Basis des ermittelten Zustands der Maschine kann der Wartungsbedarf der Maschine vorrausschauend bestimmt werden, d. h. es kann bestimmt werden, ob und wann eine Wartung der Maschine notwendig ist. Auf Basis des ermittelten Zustands der Maschine können dementsprechend die Wartungsintervalle der Maschine angepasst werden.
  • Die vorliegende Erfindung betrifft ferner eine Sensoranordnung für ein System zur Überwachung wenigstens einer Maschine und deren Prozessumgebung. Die Sensoranordnung umfasst wenigstens eine Kamera und wenigstens eine Sensoreinheit. Die wenigstens eine Sensoreinheit weist wenigstens eine Einrichtung zur Erfassung von Positionsinformationen, wenigstens einen weiteren Sensor zur Erfassung von Informationen bezüglich der Maschine und wenigstens ein Steuerungsmodul aufweist, das zumindest zur Steuerung der wenigstens einen Kamera ausgebildet ist.
  • Die Sensoranordnung kann an einer Maschine angeordnet sein. Die wenigstens eine Sensoranordnung kann in dem voranstehend beschriebenen System eingesetzt werden. Die wenigstens eine Kamera und die wenigstens eine Sensoreinheit können miteinander kommunizieren. Die wenigstens eine Sensoreinheit kann kabellos oder über Kabel mit der wenigstens einen Kamera kommunizieren. Die Sensoreinheit kann dazu ausgebildet sein, die von der wenigstens einen Kamera erzeugten Bilddaten zu empfangen. Die Sensoreinheit kann die von ihr ermittelten Informationen und/oder die von der Kamera empfangenen Bilddaten an die Auswerteeinheit senden oder dieser zum Abruf bereitstellen. Die Sensoreinheit kann die von ihr ermittelten Informationen und/oder die von der Kamera empfangenen Bilddaten als Rohdaten an die wenigstens eine Auswerteinheit senden oder dieser zum Abruf bereitstellen.
  • Neben der Steuerung der wenigstens einen Kamera kann das wenigstens eine Steuerungsmodul der Sensoreinheit auch zur Steuerung der wenigstens einen Einrichtung zur Erfassung der Positionsinformationen und des wenigstens einen weiteren Sensors ausgebildet sein. Das Steuerungsmodul kann wenigstens einen Prozessor (CPU) aufweisen.
  • Das wenigstens eine Steuerungsmodul kann dazu ausgebildet sein, die wenigstens eine Kamera zumindest anhand der Positionsinformationen und/oder der weiteren Informationen zu steuern. Die wenigstens eine Kamera kann dazu ausgebildet sein, dass die wenigstens eine Kamera von der wenigstens einen Auswerteeinheit steuerbar ist.
  • Das wenigstens eine Steuerungsmodul kann dazu ausgebildet sein, die Positionsinformation und/oder die weiteren Informationen zumindest teilweise zu analysieren. Ferner kann das wenigstens eine Steuerungsmodul dazu ausgebildet sein, die von der wenigstens einen Kamera erzeugten Bilddaten zumindest teilweise zu analysieren. Die von dem Steuerungsmodul analysierten Informationen und/oder Bilddaten können zum Abruf bereitgestellt und/oder an die wenigstens eine Auswerteeinheit gesendet werden. Neben den von der Steuerungseinheit analysierten Informationen können weitere von der Sensoreinheit ermittelte Informationen und/oder die Bilddaten als Rohdaten zum Abruf bereitgestellt und/oder an die wenigstens eine Auswerteeinheit werden. Das wenigstens eine Steuerungsmodul kann die ermittelten Informationen voranalysieren und nur das Analyseergebnis übermitteln, wodurch große Informationspakte nicht oder nur zum Teil übermittelt werden müssen. Das wenigstens eine Steuerungsmodul kann eine Einheit mit künstlicher Intelligenz aufweisen.
  • Die Sensoranordnung kann an verschiedenen Maschinen angeordnet werden. Die Sensoranordnung kann mit Maschinen verschiedener Hersteller verwendet werden. Die Sensoranordnung muss somit nicht ab Werk in die Maschine eingebaut werden, sondern kann problemlos nachgerüstet werden. Die Sensoranordnung ist sehr schnell zu installieren, da sie lediglich in oder an der Maschine angeordnet werden muss.
  • Die Einrichtung zur Positionserfassung der Sensoreinheit kann dazu ausgebildet sein, Positionsinformationen über GNSS, Wifi, Bluetooth®, Ultra-Wide-Band (UWB), (Mobil- )Funkzellen oder über weitere Funkstandards zu ermitteln.
  • Die wenigstens eine Sensoreinheit kann wenigstens ein Kommunikationsmodul aufweisen-. Das Kommunikationsmodul kann zur Kommunikation mit der wenigstens einen Kamera ausgebildet sein. Das wenigstens eine Kommunikationsmodul kann zur kabellosen Kommunikation mit der wenigstens einen Auswerteeinheit ausgebildet sein.
  • Die wenigstens eine Sensoreinheit kann wenigstens einen der nachfolgend aufgeführten Sensoren umfassen: Gyroskop, Beschleunigungssensor, Magnetometer, Barometer, Feuchtigkeitssensor, Temperatursensor, Mikrofon, Umgebungslichtsensoren, Annäherungssensor, Ultraschallsensoren, Time-of-Flight-Sensoren. Mit diesen Sensoren können Informationen bezüglich der wenigstens einen Maschine von der wenigstens einen Sensoreinheit ermittelt werden.
  • Die wenigstens eine Sensoreinheit kann dazu ausgebildet sein, bei gewissen Ereignissen, die Maschine betreffend oder unabhängig von der Maschine, beispielsweise beim Starten der Maschine, an der sie angeordnet ist, „aufzuwachen“ und bei weiteren Ereignissen, beispielsweise beim Ausschalten der Maschine, in den Ruhezustand überzugehen. Das „Aufwachen“ und das Überführen in den Ruhezustand der Sensoreinheit kann beispielsweise durch den Beschleunigungssensor und/oder das Gyroskop und/oder die Stromversorgung durch die Maschine initiiert werden. Auf diese Weise ist die Sensoreinheit nur aktiv, wenn sich die Maschine in Betrieb befindet. Dadurch kann Energie eingespart werden. Genauso kann die Sensoreinheit durch eine interne Uhr in regelmäßigen oder spezifizierbaren Intervallen aufwachen oder in den Ruhezustand überführt werden. Ferner kann die wenigstens eine Sensoreinheit durch Befehle oder Kommandos aufwachen und in den Ruhezustand versetzt werden. Derartige Befehle oder Kommandos können beispielsweise per SMS an die wenigstens eine Sensoreinheit übermittelt werden.
  • Die Sensoreinheit kann eine Energiespeichereinheit wie z.B. einen Akku oder eine Batterie aufweisen oder mit einem Stromkreis der Maschine, an der sie angeordnet ist, verbindbar sein. Die wenigstens eine Sensoreinheit kann beispielsweise mit dem Zigarettenanzünder der Maschine verbindbar sein. Dadurch ist die wenigstens eine Sensoreinheit sehr schnell in oder an der Maschine zu installieren. Alternativ kann die wenigstens eine Sensoreinheit eine Energiegewinnungseinheit aufweisen oder mit einer Energiegewinnungseinheit koppelbar sein. Eine Energiegewinnungseinheit kann von Solarzellen oder einer ähnlichen Einrichtung gebildet werden.
  • Die wenigstens eine Sensoreinheit kann eine Kapselung aufweisen. Die wenigstens eine Kamera kann eine Kapselung aufweisen. Die wenigstens eine Kapselung kann in Form wenigstens eines Gehäuses ausgebildet sein, in dem die Kamera aufgenommen werden kann. Die Kamera kann durch die Kapselung beispielsweise vor Steinschlägen, Schutz und Flüssigkeiten geschützt werden. Dies gilt insbesondere dann, wenn die Kamera außen an der Maschine angebracht ist. Die Sensoreinheit und die Kamera kann mit der Kapselung wasserdicht und/oder staubdicht ausgebildet sein.
  • Die wenigstens eine Sensoreinheit und/oder die wenigstens eine Kamera können an der Maschine angebracht werden. Die wenigstens eine Sensoreinheit und/oder die wenigstens eine Kamera können über wenigstens eine Halterung oder eine ähnliche Einrichtung an der Maschine angebracht werden.
  • Die vorliegende Erfindung betrifft ferner ein Verfahren zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung, wobei das Verfahren die folgenden Schritte umfasst:
    • Ermitteln von Informationen bezüglich der wenigstens einen Maschine, wobei die ermittelten Informationen zumindest eine Information aus der folgenden Gruppe umfassen: Positionsinformationen der Maschine, wenigstens einen Geschwindigkeitswert in wenigstens einer Richtung, wenigstens einen Beschleunigungswert in wenigstens einer Richtung,
    • Erzeugen von Bilddaten, die zumindest einen Abschnitt der wenigstens einen Maschine und/oder zumindest einen Teil der Prozessumgebung der wenigstens einen Maschine enthalten, und
    • Zusammenführen der bezüglich der wenigstens einen Maschine ermittelten Informationen und der Bilddaten zur Überwachung zumindest der von der wenigstens einen Maschine ausgeführten Prozesse und der Prozessumgebung.
  • Im Folgenden wird ein Ausführungsbeispiel der Erfindung mit Bezug auf die beigefügten Figuren beschrieben. Es stellen dar:
    • 1 eine schematische Ansicht eines Systems zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung; und
    • 2 eine schematische Ansicht einer Sensoranordnung.
  • 1 zeigt eine schematische Ansicht eines Systems 100 zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung. Das System 100 gemäß diesem Ausführungsbeispiel weist vier Sensoreinheiten 101, 102, 103, 104 und eine Auswerteeinheit 12 auf. Die Sensoreinheiten 101, 102, 103, 104 können kabellos mit der Auswerteeinheit 12 kommunizieren. Die kabellose Kommunikation zwischen den Sensoreinheiten 101, 102, 103, 104 und der Auswerteeinheit 12 ist in 1 durch die Pfeile P1, P2, P3 und P4 dargestellt. Beispielsweise kann die Kommunikation zwischen den Sensoreinheiten 101, 102, 103, 104 und der Auswerteeinheit 12 über Funknetze und insbesondere Mobilfunknetze erfolgen. Es sind jedoch auch andere Kommunikationsprotokolle bzw. Kommunikationsverfahren, wie z.B. Wifi oder Bluetooth®, denkbar, die eine kabellose Kommunikation ermöglichen. Ferner können die Sensoreinheiten 101, 102, 103, 104 auch untereinander kabellos kommunizieren. Die Sensoreinheiten 101, 102, 103, 104 können identisch aufgebaut sein.
  • Die Auswerteeinheit 12 kann beispielsweise ein Server sein. Die Auswerteeinheit 12 kann im näheren Umfeld der Sensoreinheiten 101, 102, 103, 104 angeordnet sein. Die Auswerteeinheit 12 kann sich jedoch auch an einem anderen Ort als die Sensoreinheiten 101, 102, 103, 104 befinden. Beispielsweise kann die Auswerteeinheit 12 in einem zentralen Rechenzentrum bzw. Serverzentrum positioniert sein. Die Sensoreinheiten 101, 102, 103, 104 können die von ihnen ermittelten Informationen an die Auswerteeinheit 12 senden. Alternativ können die Sensoreinheiten 101, 102, 103, 104 die von ihnen ermittelten Informationen auch zum Abruf durch die Auswerteeinheit 12 bereitstellen. Dazu können die Sensoreinheiten 101, 102, 103, 104 die ermittelten Informationen in vorbestimmten zeitlichen Intervallen an die Auswerteeinheit 12 senden oder in vorbestimmten zeitlichen Intervallen zum Abruf durch die Auswerteeinheit 12 bereitstellen. Sollten die Sensoreinheiten 101, 102, 103, 104 keine Verbindung mit der Auswerteeinheit 12 herstellen können, können die von den Sensoreinheiten 101, 102, 103, 104 ermittelten Informationen dann wieder an die Auswerteeinheit 12 gesendet oder zum Abruf bereitgestellt werden, wenn eine Verbindung mit der Auswerteeinheit 12 hergestellt werden kann.
  • Die Sensoreinheiten 101, 102, 103, 104 sind an Maschinen 14, 16, 18, 20 angeordnet. Die Maschinen 14, 16, 18 und 20 befinden sich an verschiedenen Stellen der Baustelle oder des Bergbaus. Die Maschine 14 kann beispielsweise ein Kippfahrzeug sein. Die Maschine 16 kann ein Hydraulikbagger und die Maschine 18 ein weiteres Kippfahrzeug sein. Die Maschine 20 kann ein Radlader sein. Dementsprechend können die Sensoreinheiten 101, 102, 103, 104 an verschiedenen Maschinentypen angebracht werden und unabhängig vom Typ und Hersteller der Maschine Informationen über die Maschine 14, 16, 18, 20 ermitteln, an der sie angebracht sind.
  • Neben den Sensoreinheiten 101, 102, 103, 104 sind Kameras 22, 24, 26, 28 an den Maschinen 14, 16, 18 und 20 angeordnet. An jeder Maschine 14, 16, 18, 20 sind somit jeweils eine Sensoreinheit 101, 102, 103, 104 und eine Kamera 22, 24, 26 und 28 angeordnet. Jede der Kameras 22, 24, 26 und 28 ist einer der Sensoreinheiten 101, 102, 103, 104 zugeordnet. Die Sensoreinheiten 101, 102, 103, 104 und die Kameras 22, 24, 26 und 28 können miteinander kommunizieren, wie schematisch durch die Verbindungslinien angezeigt ist. Die Kommunikation zwischen den Sensoreinheiten 101, 102, 103, 104 und den Kameras 22, 24, 26, 28 kann kabellos erfolgen. Dementsprechend ist jede Maschine 14, 16, 18, 20 mit einer Sensoranordnung S ausgerüstet, die von einer der Sensoreinheiten 101, 102, 103, 104 und einer der Kameras 22, 24, 26, 28 gebildet wird.
  • Jede der Kameras 22, 24, 26, 28 erzeugt Bilddaten, die zumindest einen Abschnitt der Maschine 14, 16, 18, 20 und/oder einen Teil die Prozessumgebung der wenigstens einen Maschine 14, 16, 18, 20 enthalten. Die von den Kameras 22, 24, 26, 28 erzeugten Bilddaten können an die der jeweiligen Kamera 22, 24, 26, 28 zugeordnete Sensoreinheit 101, 102, 103, 104 übertragen werden. Jede der Sensoreinheiten 101, 102, 103, 104 kann die ihr zugeordnete Kamera 22, 24, 26, 28 steuern.
  • Die Sensoreinheiten 101, 102, 103, 104 sind unabhängig von den Steuerungen der Maschinen 14, 16, 18, 20, d. h. die Sensoreinheiten 101, 102, 103, 104 sind nicht mit den Steuerungen der Maschinen 14, 16, 18, 20 verbunden. Die Sensoreinheiten 101, 102, 103, 104 können nur an den Stromkreis der Maschinen 14, 16, 18, 20 angeschlossen sein, um mit Energie versorgt zu werden. Die Sensoreinheiten 101, 102, 103, 104 können jedoch auch eine Energiespeichereinheit aufweisen, sodass die Sensoreinheiten 101, 102, 103, 104 von den Maschinen 14, 16, 18, 20 unabhängige und damit autarke Einheiten darstellen.
  • Jede der Sensoreinheiten 101, 102, 103, 104 ermittelt Informationen über die Maschine 14, 16, 18, 20, an der die jeweilige Sensoreinheit 101, 102, 103, 104 angebracht ist. Die Sensoreinheiten 101, 102, 103, 104 können beispielsweise Informationen über die Position, Beschleunigung, Geschwindigkeit und die Orientierung oder Lage der Maschine oder Teile der Maschinen 14, 16, 18, 20 ermitteln. Jede der Kameras 22, 24, 26, 28 erzeugt Bilddaten über die Maschine 14, 16, 18, 20, an der die jeweilige Kamera 22, 24, 26, 28 angebracht ist, und deren Prozessumgebung. Die Bilddaten der Kameras 22, 24, 26, 28 werden an die jeweilige Sensoreinheit 101, 102, 103, 104 übertragen. Die Sensoreinheiten 101, 102, 103, 104 können die von Ihnen erfassten Informationen und die von einer der Kameras 22, 24, 26, 28 erzeugten Bilddaten an die Auswerteeinheit 12 senden oder der Auswerteeinheit 12 zum Abruf bereitstellen.
  • Die Auswerteeinheit 12 kann die von einer der Sensoreinheiten 101, 102, 103, 104 ermittelten Informationen und die von einer der Kameras 22, 24, 26, 28 erzeugten Bilddaten, die eine der Maschinen 14, 16, 18, 20 betreffen, zusammenführen, um die von der wenigstens einen Maschine 14, 16, 18, 20 ausgeführten Prozesse und die Prozessumgebung analysieren zu können.
  • 2 zeigt eine schematische Ansicht einer Sensoranordnung S, die eine Sensoreinheit 10 und eine Kamera 22 umfasst. Die Sensoreinheit 10 kann mit der Kamera 22 kommunizieren. Die Sensoreinheit 10 weist eine Einrichtung 30 zur Erfassung der Positionsinformationen, ein Kommunikationsmodul 32, einen Beschleunigungssensor 34, ein Gyroskop 36, ein Magnetometer 38, ein Barometer 40 und ein Thermometer 42 auf. Die Einrichtung 30 zur Erfassung der Positionsinformationen kann dazu ausgebildet sein, die Positionsinformationen beispielsweise über GNSS und/oder mit Hilfe von Wifi-Routern zu ermitteln. Die Sensoreinheit 10 kann ein Speichermodul 44 aufweisen. Das Kommunikationsmodul 32 kann zur Kommunikation mit der Auswerteeinheit 12 und/oder der Kamera 22 ausgebildet sein.
  • Die Sensoreinheit 10 hat ein Steuerungsmodul 46, das die Kamera 22 steuert. Das Steuerungsmodul 46 kann die Kamera beispielsweise auf Basis der von ihr ermittelten Informationen steuern und beispielsweise die Erzeugung von Bilddaten an einem bestimmten Zeitpunkt oder in Abhängigkeit eines ermittelten Ereignisses anweisen. Die Kamera 22 kann die von ihr erzeugten Bilddaten an die Sensoreinheit 10 und/oder an das Steuerungsmodul 46 übermitteln. Das Steuerungsmodul 46 kann ferner die Einrichtung 30, das Kommunikationsmodul 32, die Sensoren 34 bis 42 und das Speichermodul 44 steuern.
  • In dem Speichermodul 44 können die von der Sensoreinheit ermittelten Informationen bezüglich der Maschine gespeichert werden, an der die Sensoreinheit 10 angeordnet ist. Die Sensoreinheit 10 kann ferner ein Energiespeichermodul haben, sodass die Sensoreinheit 10 eine von der jeweiligen Maschine unabhängige und damit autarke Einheit darstellt. Alternativ kann die Sensoreinheit 10 jedoch auch zur Verbindung mit einem Stromkreis einer Maschine ausgebildet sein, sodass die Energieversorgung der Sensoreinheit 10 über die Maschine erfolgt. Die Sensoreinheit 10 kann auch eine Schnittstelle aufweisen, die zur Kommunikation mit der Steuerung einer Maschine ausgebildet sein kann.
  • Mit dem erfindungsgemäßen System 100 und der erfindungsmäßen Sensoranordnung S können die von einer Maschine 14, 16, 18, 20 ausgeführten Prozesse und die Prozessumgebung selbst an entlegensten Einsatzorten im Wesentlichen lückenlos in Echtzeit oder zumindest echtzeitnah überwacht werden. Die von der Sensoreinheit 10 ermittelten Informationen und die von der Kamera erzeugten 22, 24, 26, 28 erzeugten Bilddaten können von der Auswerteeinheit 12 unabhängig vom Einsatzort der Maschine 14, 16, 18, 20 zusammengeführt werden, um die von der Maschine 14, 16, 18, 20 ausgeführten Prozesse und die Prozessumgebung der Maschine 14, 16, 18, 20 überwachen zu können.

Claims (26)

  1. System (100) zur Überwachung der von wenigstens einer Maschine (14, 16, 18, 20) ausgeführten Prozesse und der Prozessumgebung, wobei das System (100) umfasst: wenigstens eine Sensoreinheit (10), wobei die wenigstens eine Sensoreinheit (10) dazu ausgebildet ist, Informationen bezüglich der wenigstens einen Maschine (14, 16, 18, 20) zu ermitteln, wobei die von der wenigstens einen Sensoreinheit (10) ermittelten Informationen zumindest eine Information aus der folgenden Gruppe umfassen: Positionsinformationen der Maschine (14, 16, 18, 20), wenigstens einen Geschwindigkeitswert in wenigstens einer Richtung, wenigstens einen Beschleunigungswert in wenigstens einer Richtung, wenigstens eine Kamera (22, 24, 26, 28), die Bilddaten erzeugt, die zumindest einen Abschnitt der wenigstens einen Maschine (14, 16, 18, 20) und/oder zumindest einen Teil der Prozessumgebung der wenigstens einen Maschine (14, 16, 18, 20) enthalten, und wenigstens eine Auswerteinheit (12), wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, die von der wenigstens einen Sensoreinheit (10) ermittelten Informationen und die von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zumindest zur Überwachung der von der wenigstens einen Maschine (14, 16, 18, 20) ausgeführten Prozesse und der Prozessumgebung zusammenzuführen.
  2. System (100) nach Anspruch 1, wobei die wenigstens eine Auswerteinheit (12) dazu ausgebildet ist, die von der wenigstens einen Sensoreinheit (10) ermittelten Informationen und die von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zusammenzuführen, um ein Prozessprofil der von der wenigstens einen Maschine (14, 16, 18, 20) ausgeführten Prozesse zu ermitteln.
  3. System (100) nach Anspruch 1 oder 2, wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, die von der wenigstens einen Sensoreinheit (10) ermittelten Informationen und die von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zusammenzuführen, um Informationen über die Prozessumgebung der wenigstens einen Maschine (14, 16, 18, 20) zu ermitteln.
  4. System (100) nach einem der Ansprüche 1 bis 3, wobei die wenigstens eine Sensoreinheit (10) dazu ausgebildet ist, die wenigstens eine Kamera zu steuern.
  5. System (100) nach Anspruch 4, wobei die wenigstens eine Sensoreinheit (10) dazu ausgebildet ist, die wenigstens eine Kamera (22, 24, 26, 28) in Abhängigkeit von wenigstens einem von der Sensoreinheit (10) ermittelten Ereignis zu steuern.
  6. System (100) nach einem der Ansprüche 1 bis 5, wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, ein Bild oder eine Bildsequenz der von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten wenigstens einer von der wenigstens einen Sensoreinheit (10) ermittelten Information zuzuordnen.
  7. System (100) nach einem der Ansprüche 1 bis 6, wobei die wenigstens eine Auswerteinheit (12) dazu ausgebildet ist, zumindest anhand der von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten den Zustand zumindest eines Abschnitts der Maschine (14, 16, 18, 20) zu ermitteln.
  8. System (100) nach einem der Ansprüche 1 bis 7, wobei die wenigstens eine Auswerteinheit (12) dazu ausgebildet ist, basierend auf den von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten und den von der wenigstens einen Sensoreinheit (10) ermittelten Informationen zumindest die Art und/oder wenigstens eine Eigenschaft des von der wenigstens einen Maschine (14, 16, 18, 20) bearbeiteten oder verarbeiteten Materials zu ermitteln.
  9. System (100) nach einem der Ansprüche 1 bis 8, wobei die wenigstens eine Auswerteinheit (12) dazu ausgebildet ist, in den von der wenigstens einen Sensoreinheit (10) ermittelten Informationen Informationsmuster zu ermitteln, wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, die von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten einem oder mehreren ermittelten Informationsmuster zuzuordnen.
  10. System (100) nach einem der Ansprüche 1 bis 9, wobei die wenigstens eine Kamera (22, 24, 26, 28) die von ihr erzeugten Bilddaten an die wenigstens eine Sensoreinheit (10) und/oder an die wenigstens eine Auswerteeinheit (12) übermittelt.
  11. System (100) nach einem der Ansprüche 1 bis 10, wobei die wenigstens eine Kamera (22, 24, 26, 28) und/oder die wenigstens eine Sensoreinheit (10) an der wenigstens einen Maschine (14, 16, 18, 20) anordenbar oder angeordnet sind.
  12. System (100) nach einem der Ansprüche 1 bis 11, wobei die wenigstens eine Kamera und/oder die wenigstens eine Sensoreinheit stationär an einem vorgegebenen Standort angeordnet sind.
  13. System (100) nach einem der Ansprüche 1 bis 12, wobei die wenigstens eine Auswerteinheit (12) wenigstens eine Einheit mit künstlicher Intelligenz aufweist.
  14. System (100) nach einem der Ansprüche 1 bis 13, wobei das System (100) mehrere Sensoreinheiten (10) und/oder mehrere Kameras (22, 24, 26, 28) aufweist, wobei zumindest einige der Sensoreinheiten (10) und/oder einige der Kameras (22, 24, 26, 28) an einer Maschine (14, 16, 18, 20) anordenbar oder angeordnet sind.
  15. System (100) nach einem der Ansprüche 1 bis 14, wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, zwei oder mehrere interagierende Maschinen (14, 16, 18, 20) anhand der von den mehreren Sensoreinheiten (10) ermittelten Informationen und den von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zu ermitteln.
  16. System (100) nach einem der Ansprüche 1 bis 15, wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, Objekte in den von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zu erkennen.
  17. System (100) nach Anspruch 16, wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, Personen in den von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zu erkennen und unkenntlich zu machen.
  18. System (100) nach Anspruch 16 oder 17, wobei die wenigstens eine Auswerteeinheit (12) dazu ausgebildet ist, Maschinen (14, 16, 18, 20) in den von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zu erkennen und die Maschinen (14, 16, 18, 20) nach ihrem jeweiligen Maschinentyp zu unterscheiden.
  19. Sensoranordnung (S) für ein System (100) zur Überwachung der von wenigstens einer Maschine (14, 16, 18, 20) ausgeführten Prozesse und der Prozessumgebung, wobei die Sensoranordnung (10) umfasst: wenigstens eine Kamera (22, 24, 26, 28), wobei die Kamera (22, 24, 26, 28) Bilddaten erzeugt, und wenigstens eine Sensoreinheit (10), wobei die wenigstens eine Sensoreinheit (10) wenigstens eine Einrichtung (30) zur Erfassung von Positionsinformationen, wenigstens einen weiteren Sensor (34, 36, 38, 40) zur Erfassung von Informationen bezüglich der Maschine (14, 16, 18, 20) und wenigstens ein Steuerungsmodul (46) aufweist, das zumindest zur Steuerung der wenigstens einen Kamera (22, 24, 26, 28) ausgebildet ist.
  20. Sensoranordnung (S) nach Anspruch 19, wobei das wenigstens eine Steuerungsmodul (46) dazu ausgebildet ist, die wenigstens eine Kamera (22, 24, 26, 28) zumindest anhand der Positionsinformationen und/oder der weiteren Informationen zu steuern.
  21. Sensoranordnung (S) nach Anspruch 19 oder 20, wobei die wenigstens eine Sensoreinheit (10) dazu ausgebildet ist, die von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zu empfangen.
  22. Sensoranordnung (S) nach einem der Ansprüche 19 bis 21, wobei das wenigstens eine Steuerungsmodul (46) dazu ausgebildet ist, die Positionsinformation und/oder die weiteren Informationen zu analysieren, und/oder wobei das wenigstens eine Steuerungsmodul (46) dazu ausgebildet ist, die von der wenigstens einen Kamera (22, 24, 26, 28) erzeugten Bilddaten zu analysieren.
  23. Sensoranordnung (S) nach einem der Ansprüche 19 bis 22, wobei das wenigstens eine Steuerungsmodul (46) wenigstens ein Modul mit künstlicher Intelligenz aufweist.
  24. Sensoranordnung (S) nach einem der Ansprüche 19 bis 23, wobei der wenigstens eine weitere Sensor (34, 36, 38, 40, 42) einer der nachfolgend aufgeführten Sensoren ist: Gyroskop, Beschleunigungssensor, Magnetometer, Barometer, Feuchtigkeitssensor, Temperatursensor, Mikrofon, Umgebungslichtsensoren, Annäherungssensor, Ultraschallsensoren, Time-of-Flight-Sensoren.
  25. Sensoranordnung (S) nach einem der Ansprüche 19 bis 24, wobei die wenigstens eine Sensoreinheit (10) und/oder die wenigstens eine Kamera (22, 24, 26, 28) wenigstens eine Kapselung aufweisen.
  26. Verfahren zur Überwachung der von wenigstens einer Maschine (14, 16, 18, 20) ausgeführten Prozesse und der Prozessumgebung, wobei das Verfahren umfasst: Ermitteln von Informationen bezüglich der wenigstens einen Maschine (14, 16, 18, 20), wobei die ermittelten Informationen zumindest eine Information aus der folgenden Gruppe umfassen: Positionsinformationen der Maschine (14, 16, 18, 20), wenigstens einen Geschwindigkeitswert in wenigstens einer Richtung, wenigstens einen Beschleunigungswert in wenigstens einer Richtung, Erzeugen von Bilddaten, die zumindest einen Abschnitt der wenigstens einen Maschine (14, 16, 18, 20) und/oder zumindest einen Teil der Prozessumgebung der wenigstens einen Maschine (14, 16, 18, 20) enthalten, und Zusammenführen der ermittelten Informationen und der Bilddaten, um zumindest die von der wenigstens einen Maschine (14, 16, 18, 20) ausgeführten Prozesse und die Prozessumgebung zu überwachen.
DE102021112052.7A 2021-05-07 2021-05-07 System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung Pending DE102021112052A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102021112052.7A DE102021112052A1 (de) 2021-05-07 2021-05-07 System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung
EP22728392.6A EP4334919A1 (de) 2021-05-07 2022-05-06 System zur überwachung der von wenigstens einer maschine ausgeführten prozesse und der prozessumgebung
US18/289,858 US20240242544A1 (en) 2021-05-07 2022-05-06 System for monitoring the processes performed by at least one machine and the process environment
PCT/EP2022/062333 WO2022234114A1 (de) 2021-05-07 2022-05-06 System zur überwachung der von wenigstens einer maschine ausgeführten prozesse und der prozessumgebung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021112052.7A DE102021112052A1 (de) 2021-05-07 2021-05-07 System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung

Publications (1)

Publication Number Publication Date
DE102021112052A1 true DE102021112052A1 (de) 2022-11-10

Family

ID=81975151

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021112052.7A Pending DE102021112052A1 (de) 2021-05-07 2021-05-07 System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung

Country Status (4)

Country Link
US (1) US20240242544A1 (de)
EP (1) EP4334919A1 (de)
DE (1) DE102021112052A1 (de)
WO (1) WO2022234114A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69534308T2 (de) 1994-06-17 2006-04-27 Bobst S.A. Vorrichtung zum Sichern der Produktqualität einer Presse zur Herstellung von Verpackungen
DE102017121098A1 (de) 2017-09-12 2019-03-14 Trumpf Werkzeugmaschinen Gmbh & Co. Kg Objektverfolgung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
DE102019119989A1 (de) 2019-07-24 2021-01-28 Aktien-Gesellschaft der Dillinger Hüttenwerke Vorrichtung und Verfahren zur Überwachung und/oder Steuerung eines industriellen Verfahrens zur Herstellung eines Stahlerzeugnisses

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5956693B2 (ja) * 2015-07-31 2016-07-27 株式会社小松製作所 作業機械の表示システム、作業機械の表示装置、および作業機械の表示方法
DE102016203077A1 (de) * 2016-02-26 2017-08-31 Robert Bosch Gmbh System und Verfahren zum Lokalisieren
US10684137B2 (en) * 2017-11-29 2020-06-16 Deere & Company Work site monitoring system and method
DE102019003695A1 (de) * 2019-05-24 2020-11-26 abaut GmbH System zur Ermittlung der Aktivitäten wenigstens einer Maschine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69534308T2 (de) 1994-06-17 2006-04-27 Bobst S.A. Vorrichtung zum Sichern der Produktqualität einer Presse zur Herstellung von Verpackungen
DE102017121098A1 (de) 2017-09-12 2019-03-14 Trumpf Werkzeugmaschinen Gmbh & Co. Kg Objektverfolgung-basierte steuerung von fertigungsprozessen in der metallverarbeitenden industrie
DE102019119989A1 (de) 2019-07-24 2021-01-28 Aktien-Gesellschaft der Dillinger Hüttenwerke Vorrichtung und Verfahren zur Überwachung und/oder Steuerung eines industriellen Verfahrens zur Herstellung eines Stahlerzeugnisses

Also Published As

Publication number Publication date
EP4334919A1 (de) 2024-03-13
US20240242544A1 (en) 2024-07-18
WO2022234114A1 (de) 2022-11-10

Similar Documents

Publication Publication Date Title
EP3741917B1 (de) System zur ermittlung der aktivitäten wenigstens einer auf baustellen und/oder im bergbau einsetzbaren maschine baumaschine
DE112013000117B4 (de) Arbeitsmaschine
DE112009003587B4 (de) System und Verfahren zum Detektieren eines niedrigen Reifendrucks bei einer Maschine
DE112020004644T5 (de) Systeme und verfahren zur autonomenbewegung von material
DE112013000119B4 (de) Arbeitsmaschine
DE112012000894T5 (de) System zur Organisation einer Betriebsstätte, welches eine Maschinenfernrekonfiguration verwendet
DE102020214893A1 (de) Leistungserfassungs- und steuersystem für mobile arbeitsmaschinen
DE102020205850A1 (de) Arbeitsfahrzeug mit einem nutzlastverfolgungssystem
DE102013017240A1 (de) System zur Ermittlung des Arbeitszyklus
DE112020000310T5 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Verfahren zur Erzeugung eines gelernten Modells und Datensatz zum Lernen
DE102019213240A1 (de) Steuerung einer arbeitsmaschine basierend auf einem sensor in reifen/ketten
DE112020001808T5 (de) Geofence-körperhöhenbegrenzung mit hebeverhinderung
DE112016003720T5 (de) Verfahren und system zum sammeln von maschinenbetriebsdaten unter verwendung einer mobilen vorrichtung
DE102020206190A1 (de) System und verfahren für die konfiguration einer arbeitsstätten warnzone.
DE112019003262T5 (de) Elektronische Steuereinheit
DE112022004897T5 (de) Maschinenverwaltung basierend auf dem batteriestatus
WO2022268779A2 (de) Steuervorrichtung für ein selbstfahrendes transportfahrzeug, transportfahrzeug mit einer solchen steuervorrichtung, fahrzeugflotte mit und verfahren zum betreiben von einer mehrzahl von transportfahrzeugen
DE102021112052A1 (de) System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung
DE102021200935A1 (de) Erfassung von kippmuldeneigenschaften und steuerung
DE102016213435A1 (de) Vorrichtung und Verfahren zur Erkennung von Bagatellschäden
DE112014000196T5 (de) Managementsystem für eine Arbeitsmaschine, Managementverfahren für eine Arbeitsmaschine und Arbeitsmaschine
DE112022004887T5 (de) Überwachung des komponentenverschleisses auf grundlage von belastungsdaten
DE102022121208A1 (de) System und Verfahren zum Verwalten von Bedienereinstellungen für eine Arbeitsmaschine
DE112020000332T5 (de) Erfassung einer unbeabsichtigten Richtungsbewegung eines gelenkigen Arbeitsgerätes einer Maschine
DE102021133546A1 (de) Systeme, verfahren und vorrichtungen zur maschinensteuerung am einsatzort basierend auf dem geräuschpegel

Legal Events

Date Code Title Description
R163 Identified publications notified
R082 Change of representative

Representative=s name: THUM, MOETSCH, WEICKERT PATENTANWAELTE PARTG M, DE

Representative=s name: THUM & PARTNER THUM MOETSCH WEICKERT PATENTANW, DE