DE102017126159B4 - Befülleinrichtung - Google Patents

Befülleinrichtung Download PDF

Info

Publication number
DE102017126159B4
DE102017126159B4 DE102017126159.1A DE102017126159A DE102017126159B4 DE 102017126159 B4 DE102017126159 B4 DE 102017126159B4 DE 102017126159 A DE102017126159 A DE 102017126159A DE 102017126159 B4 DE102017126159 B4 DE 102017126159B4
Authority
DE
Germany
Prior art keywords
neural network
camera
controller
filling
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102017126159.1A
Other languages
English (en)
Other versions
DE102017126159A1 (de
Inventor
Patentinhaber gleich
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE102017126159.1A priority Critical patent/DE102017126159B4/de
Priority to US16/181,375 priority patent/US10853701B2/en
Publication of DE102017126159A1 publication Critical patent/DE102017126159A1/de
Application granted granted Critical
Publication of DE102017126159B4 publication Critical patent/DE102017126159B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B67OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67DDISPENSING, DELIVERING OR TRANSFERRING LIQUIDS, NOT OTHERWISE PROVIDED FOR
    • B67D1/00Apparatus or devices for dispensing beverages on draught
    • B67D1/08Details
    • B67D1/0878Safety, warning or controlling devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Abstract

Verfahren zur Vermeidung einer Fehlfunktion einer Befülleinrichtung, insbesondere eines Kaffeeautomaten (11),
wobei die Befülleinrichtung mindestens eine optische Kamera (12) besitzt,
wobei das Signal der Kamera (12) zu den Eingangsneuronen (32) eines mehrschichtigen künstlichen neuronalen Netzes (32-33-34) geführt wird,
wobei das neuronale Netz (32-33-34) durch das Backpropagation-Verfahren dafür trainiert ist, für unterschiedliche Behälter (13) unterschiedliche Ausgangswerte zu liefern,
wobei die von den Ausgangsneuronen (34) des neuronalen Netzes (32-33-34) gelieferten Werte zur Steuerung der Befülleinrichtung zugeführt werden, damit die Steuerung in die Lage versetzt wird, eine Fehlfunktion zu verhindern.

Description

  • Gebiet der Erfindung
  • Die Erfindung betrifft ein Verfahren, damit Befülleinrichtungen wie Getränkeautomaten, insbesondere Kaffeeautomaten, intelligent auf Betriebsbedingungen reagieren können sowie eine Befülleinrichtung, die dieses Verfahren nutzt.
  • Stand der Technik
  • Herkömmliche Getränkeautomaten, insbesondere Kaffeeautomaten bzw. Kaffeemaschinen, die zum Beispiel in Frühstücksräumen von Hotels und in Tagungsräumen aufgestellt sind, überwachen üblicherweise nicht, ob die richtige Kaffeetasse bzw. das richtige Glas eingesetzt wurde. Als Ergebnis kann das Getränk (z.B. Kaffee) überlaufen.
  • DE 20 2008 015 525 U1 beschreibt ein elektrisches Haushaltsgerät, bespielsweise eine elektrische Kaffeemaschine. Ein separat handhabbares Teil, wie z.B. eine Tasse ist mit einer Codierung versehen, wobei die Codierung von einer Erkennungseinheit erfasst wird und diese Information an die Steuereinheit übermittelt wird.
  • DE 10 2014 017 490 A1 beschreibt eine Vorrichtung und das entsprechende Verfahren für die Erfassung der Größe des befüllbaren Behälters oder des Füllstandes der Flüssigkeit im Behälter. Dabei wird für diese Aufgabe eine Reflexionslichtschranke mit einer Strahlquelle und einem Sensor, wie eine Fotodiode eingesetzt.
  • DE 10 2011 075 194 A1 beschreibt einen Getränkeautomaten und ein Getränkeabfüllverfahren, mit dem der Getränkeautomat das Füllvolumen des zu befüllenden Behälters sensoriell abschätzt. Dazu vermisst eine Bildverarbeitungseinrichtung die Geometrie der Kaffeetasse und die Flüssigkeitspegel. Daraus wird das Füllvolumen der Kaffeetasse berechnet.
  • DE 102 39 595 A1 beschreibt eine Abgabevorrichtung für Getränke. Um die optimale Befüllung der Geschirre bestimmen zu können, wird die vertikale Höhe des Geschirrs durch einen Höhensensor erfasst, wobei der Höhensensor zum Beispiel als Lichtschranke ausgebildet sein kann. Alternativ oder zusätzlich umfasst die Erkennungseinrichtung Leseeinrichtungen zum Lesen einer auf dem Geschirr angebrachten Information, beispielsweise einen Magnetstreifen oder einen Strichcode.
  • Beschreibung der Erfindung
  • Aufgabe der Erfindung ist, einer Befülleinrichtung zu ermöglichen, den aktuell eingesetzten Behälter zu erkennen und dementsprechend die Arbeitsweise der Einrichtung zu beeinflussen. Zum Beispiel im Falle eines Kaffeeautomaten kann so die vom Benutzer eingesetzte Tassen- oder Glassorte erkannt werden und dementsprechend die Wahlmöglichkeit für das gewünschte Getränk begrenzt werden.
  • Lernende Maschinen sind bekanntlich in der Lage, verschiedene Objekte zu kategorisieren. Deshalb wird vorgeschlagen, dass mindestens ein Sensor, im Folgenden als Erkennungssensor bezeichnet, eingesetzt wird und die Signale des Erkennungssensors von mindestens einem Klassifikator ausgewertet werden.
  • Der Erkennungssensor kann ein optischer Sensor (zum Beispiel eine Kamera) sein, es können aber auch Sensoren nach anderen physikalischen Prinzipien eingesetzt werden, die für die verschiedenen Behälter unterschiedliche Signale liefern. So ist es zum Beispiel möglich, einen kapazitiven oder induktiven Sensor einzusetzen. Eine andere Möglichkeit ist, akustische Sensoren zu verwenden, zum Beispiel einen Ultraschallsensor, der mit dem Echoeffekt arbeitet. Es kann auch eine Kombination von mehreren Sensoren eingesetzt werden, die entweder auf denselben oder auf abweichenden physikalischen Effekten basieren.
  • Der Klassifikator hat die Aufgabe, die verschiedenen Behälter in verschiedene Kategorien einzusortieren. Eine Möglichkeit für die Realisierung dieses Klassifikators ist, dass der Entwickler die Signale des Erkennungssensors bei der Verwendung von unterschiedlichen Behältern analysiert, Unterscheidungsmerkmale definiert und den Klassifikator so gestaltet, dass dieser anhand der Merkmale die Behälter erfolgreich klassifizieren kann.
  • Eine vielversprechende und einfachere Methode ist die Verwendung von lernfähigen Algorithmen. In diesem Fall muss der Entwickler nicht selber die Unterscheidungsmerkmale definieren. Der Entwickler kann stattdessen den lernfähigen Klassifikator mit unterschiedlichen Behältern trainieren und der Klassifikator lernt selber, die verschiedenen Behälter in Klassen einzuteilen.
  • Bei einem so genannten unüberwachten Klassifikator („unsupervised classifier“), zum Beispiel nach dem „k-means clustering“ Verfahren, lernt der Klassifikator die Signale in Klassen einzuteilen, wobei diese Klassen nicht vom Entwickler selber definiert werden müssen.
  • Da der Entwickler des Getränkeautomaten bzw. dessen Klassifikators die gewünschten Klassen meistens bereits in einer früher Phase der Entwicklung kennt, scheint es mehr Vorteil zu bringen, wenn überwachtes Lernen („supervised learning“) bei der Entwicklung verwendet wird. Hier muss der Lernalgorithmus aus den Signalen des Erkennungssensors lernen, die Behälter in vorher definierte Klassen einzuteilen. Dazu wird der Lernalgorithmus mit Hilfe von für das Training bereitgestellten, typischen Beispielbehältern trainiert.
  • Einige bekannte Methoden für das überwachte Lernen sind: „Decision Tree Learning“, „Logistic Regression“, „Artificial Neural Networks“, „Deep Learning“, „Naive Bayes“, „Bayesian Network“, „Support Vector Machine“, „Markov Chain“, „Hidden Markov Model“, „Boosting“.
  • Bei Bilderkennung bzw. Bildkategorisierung werden heutzutage insbesondere neuronale Netze („neural networks“) mit mehreren verborgenen Schichten („hidden layers“), also das so genannte „deep learning“ Verfahren, mit viel Erfolg eingesetzt. Eine der oft benutzten Verfahren ist ein „convolutional neural network“ (CNN, zu Deutsch etwa „faltendes neuronales Netzwerk“). Die Verwendung von neuronalen Netzen ist deshalb vorteilhaft, weil hier keine Merkmale („features“) vom Entwickler selber definiert werden müssen. Stattdessen werden die Sensorsignale, zum Beispiel die Helligkeit und Farbe der einzelnen digitalen Bildmatrixelemente („pixel“) bei einer Kamera als ein Vektor zur Eingangsschicht des neuronalen Netzes zugeführt.
  • Falls nur eine begrenzte Zahl von Behältern zum Betrieb zugelassen ist, reicht es aus zu testen, ob der Klassifikator nach dem Training diese Behälter sicher erkennt. Sind die verwendbaren Behälter jedoch in der Entwicklungsphase noch nicht in allen Details spezifiziert, ist es wichtig zu prüfen, ob der Klassifikator auch bei Behältern gut funktioniert, die er bei seinem Training noch nicht gesehen hat. Dazu muss man für Testzwecke weitere, beim Trainieren des Klassifikators noch nicht verwendete Behälter klassifizieren lassen und es muss kontrolliert werden, ob die Einstufung dieser zusätzlichen Behälter richtig ist. Sonst müssen die gegen die Überanpassung („overfitting“) üblicherweise eingesetzten Maßnahmen probiert werden.
  • Eine weitere mögliche Lösung zur Vermeidung von Überlauf bei einem falsch eingesetzten Behälter durch maschinelles Lernen ist die Verwendung von Regressionsmethoden. Im Gegensatz zu Klassifikatoren, liefert die lernende Maschine hier eine reelle Zahl als Ausgangswert. Dieser Wert kann in diesem Fall eine Einschätzung des maximalen Füllvolumens sein. Statt die Geometrie des Behälters abzumessen und das Füllvolumen zu berechnen, lernt hier der Algorithmus auf direkte Weise die Zuordnung von Sensorsignalen zu den Füllvolumenwerten. Dazu muss beim Training zu jedem Behälter sein Füllvolumen angegeben werden. Neben klassischen Regressionsmethoden, wie zum Beispiel „Linear Regression“, „Winnow“, „LASSO“, „ARIMA“ oder „Ridge Regression“, können auch hier neuronale Netze eingesetzt werden.
  • Unabhängig vom eingesetzten Lernverfahren bleibt noch die Frage offen, ob der Lernprozess mit der Entwicklungsphase abgeschlossen sein soll oder nicht. Wenn ja, kann die im Produkt eingesetzte Hardware einfacher gestaltet werden, da die notwendigen Rechen- und Speicherkapazitäten für eine Prognose (unabhängig davon, ob es sich um eine Klassifizierungs- oder um eine Regressionsaufgabe handelt) für die meisten Methoden wesentlich kleiner sind, als die für den Lernprozess notwendige Ressourcen. Dies gilt insbesondere für größere neuronale Netze. Weiterer Vorteil des in der Entwicklungsphase abgeschlossenen Lernverfahrens ist, dass sich das Verhalten des Geräts später nicht mehr ändert. Das Gerät kann deshalb in der Freigabeprozedur gründlich getestet werden. Lernt jedoch das Gerät im Betrieb weiter, können Betriebsprobleme in der späteren Betriebsphase trotz gründlicher Freigabeprozedur auftreten.
  • Andererseits kann es vorteilhaft sein, wenn sich der Getränkeautomat auf zukünftige, in der Entwicklungsphase noch nicht gekannte Behälter anpassen kann. Der Betreiber der Automaten erhält dadurch die Möglichkeit, neuartige Behälter einzusetzen und die Getränkeautomaten dafür selber zu trainieren. Damit der Automat lernfähig bleibt, muss er über die entsprechenden Ressourcen verfügen. Entweder müssen die notwendige Recheneinheit und die erforderliche Speicherkapazität direkt im Getränkeautomaten integriert sein oder der Getränkeautomat muss über eine Verbindung zu externen Ressourcen verfügen. So kann er über einen Kommunikationskanal Cloud-Dienste in Anspruch nehmen und so die Einstufung der neuartigen Behälter erlernen.
  • Figurenliste
    • 1 stellt eine Kaffeemaschine 11, als Beispiel für die erfindungsgemäße Befülleinrichtung, dar. In die Kaffeemaschine 11 ist ein Sensor, hier eine Kamera (12), integriert. Damit kann der eingesetzte Behälter, in diesem Fall eine Kaffeetasse 13, sensorisch, zum Beispiel optisch, erkannt werden.
    • 2 zeigt einige Beispiele für Behälter für die Kaffeemaschine 11, wie eine Espressotasse 2a, eine Kaffeetasse 2b und ein Glas 2c.
    • 3 zeigt skizzenhaft ein neuronales Netz, als Beispiel für eine in der Befülleinrichtung, wie die Kaffeemaschine 11, integrierte lernende Maschine. Die Sensorsignale, wie das von der Kamera 12 erfasste Bild vom aktuell eingesetzten Behälter, werden Pixel für Pixel zu den Eingangsneuronen 32 zugeführt. Die Pfeile zeigen einige Verbindungen in diesem neuronalen Netz. 33 symbolisiert eine verborgene Schicht von Neuronen („hidden layer“), wobei auch mehrere Schichten vorkommen können, die hier auf dem Bild nicht weiter dargestellt sind. Die letzte Reihe sind die Ausgangsneuronen 34. Die Ausgänge liefern die Wahrscheinlichkeit, dass das von der Kamera (12) gelieferte Bild in bestimmte, vordefinierte Klassen, wie zum Beispiel Espressotasse 2a, Kaffeetasse 2b oder Glas 2c, eingeordnet werden kann.
    • 4 zeigt einige mögliche Gesten für die Bedienung der Kaffeemaschine 11, die von der integrierten lernenden Maschine zusätzlich erkannt werden können. Die beispielhaften Gesten sind: „ein wenig“ 41, „viel“ 42 und „stopp“ 43.
  • Beispielhafte Ausführung der Erfindung
  • Nach dem erfindungsgemäßen Prinzip kann jede mit geeigneten Sensoren versehene Befülleinrichtung intelligent gestaltet werden. Dazu soll die Befülleinrichtung den aktuell eingesetzten Behälter, der mit dem gewünschten Material (Gas, Pulver, Granulat oder Flüssigkeit) befüllt werden soll, kategorisieren. Anhand der erkannten Behälterkategorie passt die Befülleinrichtung ihr Verhalten rational an. So kann die Befülleinrichtung zum Beispiel eine Warnung ausgeben, die zur Verfügung stehenden Auswahlmöglichkeiten begrenzen, die zur Befüllung verwendete Menge anpassen oder mit einer Fehlermeldung den Befüllvorgang stoppen. In einer beispielhaften Ausführung wird das Prinzip anhand eines Kaffeeautomaten mit integrierter Kamera erklärt.
  • Die Kamera muss im Kaffeeautomaten so integriert werden, dass sie möglichst gute Aufnahmen von dem Behälter machen kann. Abhängig von der Konstruktion der Kaffeemaschine kann es sinnvoll sein, mehrere Kameras einzusetzen. Eine oder mehrere Lichtquellen können die Lichtverhältnisse verbessern, sind jedoch für die Erkennung von Behältern nicht unbedingt notwendig.
  • Die verwendete Kamera kann zum Beispiel aus Komponenten bestehen, die in großen Stückzahlen in Smartphones platzsparend und kostengünstig eingesetzt werden. Die Kamera muss dabei keine besonders hohe Auflösung besitzen. Ihr Ausgang liefert vorteilhafterweise die Helligkeit in den Pixeln in drei Farben nach dem RGB-Farbmodell. Diese Daten werden zum Klassifikator geführt, dessen Aufgabe ist es, den Behälter in vorher definierte Klassen einzuteilen, zum Beispiel: Espressotasse, kleine oder große Kaffeetasse, Kaffeekanne, Glas für Latte Macchiato. Es scheint sinnvoll zu sein, mindestens zwei weitere Ausgänge zu definieren, für den Fall, dass kein Behälter erkannt wurde, also dass der überwachte Raum leer ist, und für den Fall, dass der in diesem Raum befindliche Körper nicht erkannt wurde.
  • In einer vorteilhaften Ausführung ist der Klassifikator ein neuronales Netz, zum Beispiel ein CNN („convolutional neural network“). Als Eingang bekommt dieses Netzwerk einen Vektor mit den Daten aus der Kamera. Der Ausgang ist ein Vektor, wobei die einzelnen Werte den Wahrscheinlichkeiten entsprechen, wie wahrscheinlich es ist, dass der Behälter zu den entsprechenden Klassen zugeordnet werden kann. Dementsprechend muss die Summe aller Werte den Wert 1 ergeben. Um dies zu erreichen, kann die letzte Schicht des neuronalen Netzwerks zum Beispiel mit der „Softmax“-Aktivierungsfunktion ausgestattet sein.
  • Die Ausgänge des Klassifikators werden zur Steuerung des Kaffeeautomaten geleitet. Dieser kann dann die Auswahl der Kaffeesorten dementsprechend begrenzen beziehungsweise eine falsche Auswahl verhindern. So wird zum Beispiel verhindert, dass Latte Macchiato in eine zu kleine Kaffeetasse gegossen wird. Die Steuerung kann mit dem zur Verfügung stehenden Mittel, wie LED, Klartextanzeige oder Sprachausgabe, den Bediener informieren bzw. warnen.
  • Zum Training des neuronalen Netzes müssen die bekannten Behälter den üblichen Betriebsbedingungen entsprechend im Kaffeeautomaten platziert werden und die Kamera-Ausgangswerte und die dazugehörige kodierte Kennzeichnung (z.B. 1 = Espressotasse) gespeichert werden. Das Trainieren des Netzwerkes kann mit der „Backpropagation“-Methode realisiert werden. Als Optimierungsmethode kann zum Beispiel „Gradient Descent“, „RMSprop“ oder „Adam“ eingesetzt werden. Für die softwaremäßige Realisierung des Algorithmus stehen Bibliotheken und Tools zur Verfügung, wie zum Beispiel „Tensorflow“ von Google.
  • Komplexe neuronale Netze mit vielen Schichten und Neuronen brauchen sehr viele Trainingsdaten, um „Overfitting“-Effekte zu vermeiden. Eine vorteilhafte Lösung ist deshalb die Nutzung vortrainierter Netze, die für die Bilderkennung mit sehr großen Datensätzen trainiert wurden. Für die erfindungsgemäße Klassifizierung reicht aus, wenn die obersten ein-zwei Schichten applikationsspezifisch neu trainiert werden, nach dem Prinzip „transfer learning“. Auf diesem Weg kann das Netzwerk aus relativ wenigen Trainingsdaten relativ schnell lernen, die Behälter zu klassifizieren.
  • Beim Lernvorgang werden die Parameter des Netzwerks für die Klassifizierungsaufgabe optimal eingestellt („trainiert“). Das so trainierte Netzwerk kann danach die Einstufung der Behälter mit der Methode „forward propagation“ durchführen. Der Kaffeeautomat braucht deshalb nur relativ wenige Ressourcen für diese Aufgabe und kann deshalb verhältnismäßig kostengünstig gestaltet werden. Die hardwaremäßige Realisierung kann mit Bausteinen, wie Prozessoren (CPU), Mikrocontrollern (µC), Digitalen Signalprozessoren (DSP), Grafikprozessoren (GPU) oder Tensor Processing Units (TPU) durchgeführt werden. Es kommen aber auch andere programmierbare Bausteine, wie FPGAs, oder bei hohen Stückzahlen applikationsspezifische Bausteine (ASICs) in Frage. Am einfachsten ist die Aufgabe jedoch mit einem fertigen Einplatinen-Computer, wie zum Beispiel „Raspberry Pi“, zu lösen.
  • Mit Adaption der hier beschriebenen beispielhaften Ausführung können auch beliebige Befüll- und Abfülleinrichtungen, Getränkeautomaten, Haushaltsgeräte und Verkaufsautomaten gestaltet werden, die mit unterschiedlichen Behältern arbeiten müssen.
  • Zusätzlich zur Behältererkennung kann das System auch zur Erkennung von Fehlerzuständen trainiert werden. So kann zum Beispiel der Zustand „Kaffee ist übergelaufen“ erkannt werden. In diesem Fall stoppt die Kaffeemaschine den Vorgang um einen weiteren Überlauf zu verhindern.
  • Neben der Erkennung von Behältern können die Kameras auch für andere Zwecke benutzt werden. So kann die Kamera erfindungsgemäß zusätzlich als Teil des Mensch-Maschine-Interfaces dienen.
  • Durch Auswertung der Kamerasignale können zum Beispiel Gesten der Bediener interpretiert werden. Dazu kann entweder das gleiche neuronale Netzwerk erweitert („multi-task learning“) oder ein weiteres neuronales Netzwerk eingesetzt werden. Es könnten zum Beispiel folgende Handgesten definiert werden: „Einfüllen“, „Stopp“, „Wenig“, „Viel“ usw. Das neuronale Netz kann in ähnlicher Weise für die Erkennung dieser Gesten trainiert werden, wie es beim Trainieren für die Erkennung von Behältersorten durchgeführt wurde. Der Ausgang des Gestenerkennungsnetzwerks (oder im Allgemeinen des für die Gestenerkennung trainierten Klassifikators) wird zur Steuerung der Befülleinrichtung geführt. Diese Steuerung wird dadurch in die Lage versetzt, auf die Informationen über den eingesetzten Behälter und über die Geste des Bedieners zweckmäßig reagieren zu können.

Claims (9)

  1. Verfahren zur Vermeidung einer Fehlfunktion einer Befülleinrichtung, insbesondere eines Kaffeeautomaten (11), wobei die Befülleinrichtung mindestens eine optische Kamera (12) besitzt, wobei das Signal der Kamera (12) zu den Eingangsneuronen (32) eines mehrschichtigen künstlichen neuronalen Netzes (32-33-34) geführt wird, wobei das neuronale Netz (32-33-34) durch das Backpropagation-Verfahren dafür trainiert ist, für unterschiedliche Behälter (13) unterschiedliche Ausgangswerte zu liefern, wobei die von den Ausgangsneuronen (34) des neuronalen Netzes (32-33-34) gelieferten Werte zur Steuerung der Befülleinrichtung zugeführt werden, damit die Steuerung in die Lage versetzt wird, eine Fehlfunktion zu verhindern.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Ausgang des neuronalen Netzes (32-33-34) ein Wahrscheinlichkeitsvektor ist, dessen einzelne Werte die Wahrscheinlichkeit darstellen, dass der aktuell eingesetzte Behälter (13) in eine vorher definierte Kategorie zugeordnet werden kann.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Ausgang des neuronalen Netzes (32-33-34) eine Zahl ist, die das maximal mögliche Füllvolumen des aktuell eingesetzten Behälters (13) kennzeichnet.
  4. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass das Trainieren des neuronalen Netzes (32-33-34) auch in einer späteren Betriebsphase ermöglicht wird, damit der Betreiber der Befülleinrichtung die Einrichtung auf zukünftige Behälter (13) anpassen kann.
  5. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass mindestens eine der Kameras (12) für die Erkennung von Handgesten (41, 42, 43) verwendet wird, wobei ein dafür trainiertes künstliches neuronales Netz (32-33-34) aus den Signalen der Kamera (12) verschiedene, vorher definierte Handgesten (41, 42, 43) erkennt und an die Steuerung der Befülleinrichtung weiterleitet.
  6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das neuronale Netz (32-33-34) zusätzlich trainiert wird, einen Überlauf aus den Signalen zu erkennen, und im Falle eines Überlaufs ein entsprechendes Signal an die Steuerung der Befülleinrichtung gesendet wird, damit die Steuerung geeignete Maßnahmen ergreifen kann, um auf den Überlauf zu reagieren.
  7. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass das neuronale Netz (32-33-34) ein Convolutional Neural Network ist.
  8. Befülleinrichtung für die Befüllung von wechselbaren Behältern (13), die folgende Komponente beinhaltet: - mindestens eine Kamera (12) zur Bewertung des aktuell eingesetzten Behälters (13) - eine elektronische Einheit, die die Signale der Kamera (12) erhält und in der ein für die Erkennung der in Frage kommenden Behälter (13) durch das Backpropagation-Verfahren trainiertes mehrschichtiges künstliches neuronales Netz (32-33-34) realisiert wurde, - eine Steuerung, die den Ausgang des neuronalen Netzes (32-33-34) auswertet, um eine Fehlfunktion wie einen Überlauf zu verhindern.
  9. Befülleinrichtung nach Anspruch 8, wobei die Einrichtung ein Kaffeeautomat (11) ist, das in der elektronische Einheit realisierte neuronale Netz (32-33-34) auf die optische Erkennung von den in Frage kommenden Behältern (13), wie Tassen (2a, 2b), Gläser (2c) und Kannen trainiert wird und die elektronische Einheit dazu eingerichtet ist, den aktuell eingesetzten Behälter (13) in eine vorher definierte Klasse einzuteilen und diese Information an die Steuerung des Kaffeeautomaten (11) weiterzuleiten.
DE102017126159.1A 2017-11-08 2017-11-08 Befülleinrichtung Active DE102017126159B4 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017126159.1A DE102017126159B4 (de) 2017-11-08 2017-11-08 Befülleinrichtung
US16/181,375 US10853701B2 (en) 2017-11-08 2018-11-06 Filling device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017126159.1A DE102017126159B4 (de) 2017-11-08 2017-11-08 Befülleinrichtung

Publications (2)

Publication Number Publication Date
DE102017126159A1 DE102017126159A1 (de) 2019-05-09
DE102017126159B4 true DE102017126159B4 (de) 2019-08-14

Family

ID=66179269

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017126159.1A Active DE102017126159B4 (de) 2017-11-08 2017-11-08 Befülleinrichtung

Country Status (2)

Country Link
US (1) US10853701B2 (de)
DE (1) DE102017126159B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020207693A1 (de) 2020-06-22 2021-12-23 BSH Hausgeräte GmbH Verfahren zum Ansteuern einer Kaffeemaschine

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171762A1 (ja) * 2020-02-26 2021-09-02 富士電機株式会社 飲料供給装置及び再学習済みモデル生成システム
CN112754293A (zh) * 2020-12-24 2021-05-07 佛山市顺德区美的饮水机制造有限公司 用于饮水机的装置、方法、饮水机及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10239595A1 (de) 2002-08-28 2004-03-18 Niro-Plan Ag Abgabevorrichtung für Getränke
DE202008015525U1 (de) 2008-11-22 2009-02-19 SEVERIN ELEKTROGERÄTE GmbH Elektrisches Haushaltsgerät
DE102011075194A1 (de) 2011-05-04 2012-11-08 Robert Bosch Gmbh Getränkeautomat und Getränkeabfüllverfahren
DE102014017490A1 (de) 2014-11-27 2016-06-02 Jenoptik Optical Systems Gmbh Vorrichtung und Verfahren zum Erfassen eines Inhaltes eines mit einer Flüssigkeit und/oder einem Granulat befüllbaren Behälters und/oder zur Erfassung der Größe eines befüllbaren Behälters, Befülleinrichtung zum Befüllen eines Behälters mit einer Flüssigkeit und/oder einem Granulat und Verwenden von Strahlung einer Reflexionslichtschranke zum Erfassen eines Füllstands einer Flüssigkeit und/oder eines Granulate in einem Behälter ....

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007027206A2 (en) * 2005-04-11 2007-03-08 Coffee Equipment Company Machine for brewing a beverage such as coffee and related method
US20070107801A1 (en) * 2005-11-14 2007-05-17 Sidel And Pressco Technology Inc. Bottle filling machine with sensor and method thereof
DE102007014802A1 (de) * 2007-03-28 2008-10-09 Khs Ag Verfahren zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere für Getränkeflaschen
US8322384B2 (en) * 2010-03-05 2012-12-04 Whirlpool Corporation Select-fill dispensing system
DE102013207139A1 (de) * 2013-04-19 2014-10-23 Krones Ag Verfahren zur Überwachung und Steuerung einer Abfüllanlage und Vorrichtung zur Durchführung des Verfahrens
US10301159B2 (en) * 2013-08-27 2019-05-28 Anthony V. Feola Beverage dispensing machine
US10674857B2 (en) * 2014-12-05 2020-06-09 LifeFuels, Inc. Portable system for dispensing controlled quantities of additives into a beverage
DE102016108053A1 (de) * 2016-04-29 2017-11-02 Khs Gmbh Verfahren zum Optimieren des Abfüllens eines Behälters
US11237036B2 (en) * 2017-05-11 2022-02-01 Nectar, Inc. Base station and advertising packets of sensors detecting content level
KR102284461B1 (ko) * 2019-07-18 2021-07-30 엘지전자 주식회사 정수기 및 이의 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10239595A1 (de) 2002-08-28 2004-03-18 Niro-Plan Ag Abgabevorrichtung für Getränke
DE202008015525U1 (de) 2008-11-22 2009-02-19 SEVERIN ELEKTROGERÄTE GmbH Elektrisches Haushaltsgerät
DE102011075194A1 (de) 2011-05-04 2012-11-08 Robert Bosch Gmbh Getränkeautomat und Getränkeabfüllverfahren
DE102014017490A1 (de) 2014-11-27 2016-06-02 Jenoptik Optical Systems Gmbh Vorrichtung und Verfahren zum Erfassen eines Inhaltes eines mit einer Flüssigkeit und/oder einem Granulat befüllbaren Behälters und/oder zur Erfassung der Größe eines befüllbaren Behälters, Befülleinrichtung zum Befüllen eines Behälters mit einer Flüssigkeit und/oder einem Granulat und Verwenden von Strahlung einer Reflexionslichtschranke zum Erfassen eines Füllstands einer Flüssigkeit und/oder eines Granulate in einem Behälter ....

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020207693A1 (de) 2020-06-22 2021-12-23 BSH Hausgeräte GmbH Verfahren zum Ansteuern einer Kaffeemaschine

Also Published As

Publication number Publication date
US10853701B2 (en) 2020-12-01
US20190138858A1 (en) 2019-05-09
DE102017126159A1 (de) 2019-05-09

Similar Documents

Publication Publication Date Title
Jang et al. Optimal policy for attention-modulated decisions explains human fixation behavior
DE102017126159B4 (de) Befülleinrichtung
Stocker et al. A Bayesian model of conditioned perception
Pratt et al. Convolutional neural networks for diabetic retinopathy
CN107368892A (zh) 基于机器学习的模型训练方法和装置
Johnson et al. Predicting human visuomotor behaviour in a driving task
Ngo et al. Multi‐level deep neural network for efficient segmentation of blood vessels in fundus images
DE102019008142A1 (de) Lernen von Darstellungen unter Nutzung gemeinsamer semantischer Vektoren
CN107798277A (zh) 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN104881683A (zh) 基于组合分类器的白内障眼底图像分类方法及分类装置
CN108050674A (zh) 空调设备的控制方法及装置、终端
DE112020000584T5 (de) Verfahren für unüberwachte bild-zu-bild-übersetzung mit wenigen aufnahmen
WO2018219551A1 (de) Verfahren und vorrichtung zur automatischen gestenerkennung
DE202017007173U1 (de) Befülleinrichtung
DE102017006155A1 (de) Verfahren zum Betreiben eines Sensorsystems eines Fahrzeugs
WO2021148517A1 (de) Physikalisch motiviertes machine-learning-system für optimierte intraokularlinsen-kalkulation
DE102018127802A1 (de) Hybrider klassifikator eines gepulsten neuronalen netzwerks und einer support-vektor-maschine
US20200401912A1 (en) Granular binarization for extended reality
EP2890056A1 (de) Unterstützung von Nutzern in einer intelligenten häuslichen Umgebung
DE102020101764A1 (de) MACHINE-LEARNING BASIERTE BRECHKRAFTBESTIMMUNG FÜR MAßNAHMEN ZUR KORREKTUR DER SEHFÄHIGKEIT VON OCT BILDERN
DE102020106607A1 (de) Maschinelles Lernsystem für eine Zustandserkennung einer Operation und Assistenzfunktion
DE102019202523A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
DE102018218834A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Ansteuersignals
DE112017008202T5 (de) Parsen von regulären Ausdrücken mit gepulsten neuralen Netzwerken
DE112017001044T5 (de) Präsenzmelder

Legal Events

Date Code Title Description
R086 Non-binding declaration of licensing interest
R138 Derivation of utility model

Ref document number: 202017007173

Country of ref document: DE

R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: BSH HAUSGERAETE GMBH, DE

Free format text: FORMER OWNER: LELKES, ANDRAS, DR., 90491 NUERNBERG, DE