-
Die Erfindung betrifft ein Verfahren zum Betreiben einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, wobei die Geschirrspülmaschine der Reinigung von Spülgut in einem Spülraum dient und eine Bilderfassungseinrichtung zur Aufnahme von Bildern des Spülraums aufweist. Die Erfindung betrifft weiterhin eine derartige Geschirrspülmaschine.
-
Geschirrspülmaschinen mit Bilderfassungseinrichtungen, beispielsweise einer Kamera, die Bilder aus dem Spülraum liefert, sind beispielsweise aus den Druckschriften
DE 100 48 081 A1 oder
EP 1 793 723 B1 bekannt.
-
Gemäß der Druckschrift
DE 100 48 081 A1 wird ein vor oder während eines laufenden Reinigungsprogramms erstelltes Kamerabild ausgewertet, um einen Verschmutzungsgrad des Spülguts festzustellen. Abhängig von dem Verschmutzungsgrad kann rechnergesteuert ein auf den Verschmutzungsgrad optimiertes Spülprogramm eingestellt werden, bzw. ein eingestelltes Spülprogramm im Hinblick auf den Verschmutzungsgrad optimiert werden. Neben der Bestimmung des Verschmutzungsgrads ist auch eine Erkennung des Beladungszustands anhand der aufgenommenen Bilder möglich und wird bei der Einstellung bzw. Optimierung des Spülprogramms berücksichtigt. Eine Auswertung der Bilder erfolgt durch einen Vergleich mit hinterlegten Bildern.
-
Aus der Druckschrift
EP 1 793 723 B1 ist ebenfalls bekannt, einen Beladungszustand der Geschirrspülmaschine anhand einer Bilderfassungseinrichtung zu ermitteln. Der Auswertung liegt ein dreidimensionales Bild zugrunde, das mit Hilfe eines Bilderfassungssystems erstellt ist, das Laufzeiten des Lichts berücksichtigt.
-
Sowohl die Bildauswertung über einen Vergleich mit hinterlegten Bildern, als auch die Auswertung der dreidimensionalen Bilder erfordert eine große Speicherkapazität und Rechenleistung bei der Bildauswertung. Um diese Rechenleistung und/oder Speicherkapazität zur Verfügung zu stellen, kann entweder die Geschirrspülmaschine mit einer entsprechenden Rechenleistung und/oder Speicherkapazität versehen werden, oder die Auswertung wird ausgelagert und durch eine entfernte, nur über ein Netzwerk erreichbare Auswertevorrichtung durchgeführt. Ersteres erhöht den Materialaufwand bei der Geschirrspülmaschine, die dadurch kostspieliger wird. In zweitem Fall ist eine Übertragung von Daten über ein Netzwerk erforderlich, was entweder aus Sicherheits- oder Persönlichkeitsaspekten oder aufgrund des hohen damit verbundenen zu übertragenden Datenvolumens ungewünscht ist.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Geschirrspülmaschine der eingangs genannten Art und ein Verfahren zum Betreiben der selben bereitzustellen, bei denen eine Auswertung von aufgenommenen Bildern aus dem Spülraum mit relativ geringer Rechenleistung und Speicherkapazität möglich ist.
-
Diese Aufgabe wird gelöst durch ein Verfahren zum Betreiben einer Geschirrspülmaschine und eine zur Durchführung des Verfahrens eingerichtete Geschirrspülmaschine mit den Merkmalen des jeweiligen unabhängigen Anspruchs. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
-
Ein erfindungsgemäßes Verfahren weist die folgenden Schritte auf: Es wird ein erstes Bild des Spülraums in einer ersten Auflösung aufgenommen. Aus dem ersten Bild wird ein zweites Bild des Spülraums generiert in einer zweiten Auflösung, die kleiner ist als die erste Auflösung. Danach wird mindestens ein Objekt in dem zweiten Bild identifiziert und ein das identifizierte Objekt umgebender Bildausschnitt. Als Objekte werden bevorzugt einzelne Teile des Spülguts erkannt. Anschließend wird ein dem Bildausschnitt entsprechender hochauflösender Bildausschnitt des ersten Bildes in der ersten Auflösung ermittelt, mit anderen Worten wird der aufgefundene und das mindestens eine Objekt beinhaltende Bildausschnitt zurück auf das erste Bild der hohen Auflösung übertragen um den Bildausschnitt in der hohen ersten Auflösung bereit zu stellen. In diesem hochauflösenden Bildausschnitt werden dann Verschmutzungen auf dem erkannten Objekt identifiziert.
-
Aufgrund der gegenüber dem ursprünglichen Bild verringerten Auflösung und damit kleineren Pixelzahl kann die Objekterkennung mit geringerer Rechenleistung und geringerem Speicherbedarf durchgeführt werden. Die Verringerung des Detailgrads durch die verringerte Auflösung ist dabei zur Erkennung der verglichen mit der Auflösung großen Spülgut-Objekte in keiner Weise hinderlich. Durch die Übertragung des Bildausschnitts, in dem sich das Spülgut-Objekt befindet, auf das ursprüngliche Bild, steht für die nachfolgende Identifizierung der Verschmutzung wiederum die hohe Auflösung zur Verfügung, die für die Erkennung der kleineren Anschmutzungen vorteilhaft ist. Da die Objekterkennung in dem Fall auf kleine Bildausschnitte beschränkt ist, ist auch dieses mit geringerer Rechenleistung und geringerem Speicherbedarf möglich. Bildausschnitte, die mehreren verschiedenen aufgefundenen Spülgut-Objekte zugeordnet sind, können sukzessive bearbeitet werden, so dass sich auch bei einer Mehrzahl von aufgefundenen Spülgut-Objekten keine erhöhten Anforderungen an die Rechenleistung bzw. die Speicherkapazität ergeben.
-
In einer vorteilhaften Ausgestaltung des Verfahrens wird das erste Bild in der nativen Auflösung der Bilderfassungseinrichtung aufgenommen. Die zweite Auflösung ist bevorzugt um einen Faktor zwischen etwa 3 und 10 kleiner als die erste Auflösung. Der benötigte Speicherplatz skaliert linear mit der Auflösung, die benötigte Rechenleistung (je nach Objekterkennungsverfahren) mindestens linear mit der Auflösung. Durch die gewählte Reduzierung der Auflösung wird eine deutliche Reduzierung der Anforderungen an die benutze Hardware einer Auswerteeinrichtung erzielt, so dass auch kleinere Ablaufsteuerungen bzw. Prozessoren derselben, die in Geschirrspülmaschinen eingesetzt werden, die Bildauswertung vornehmen können.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden zur Objekterkennung und/oder zur Identifizierung der Verschmutzungen klassische Bilderkennungsverfahren, z.B. eine Kantendetektion, eingesetzt. Alternativ oder zusätzlich kann zur Objekterkennung und/oder zur Identifizierung der Verschmutzungen ein neuronales Netz eingesetzt werden, bevorzugt ein selbstlernendes neuronales Netz.
-
In weiteren vorteilhaften Ausgestaltungen des Verfahrens kann die Anzahl der Pixel auszuwertender Bilder weiter verringert werden, indem Randbereiche ersten Bildes und/oder des Bildausschnitts unberücksichtigt bleiben.
-
Anhand der erkannten Objekte kann vorteilhaft ein Beladungszustand der Geschirrspülmaschine ermittelt werden. Bevorzugt werden zudem die identifizierten Verschmutzungen anhand ihrer Größe und/oder ihrer Erscheinung klassifiziert. Weiter kann eine Verteilung der identifizierten Verschmutzungen bestimmt werden.
-
Vorteilhaft kann dann ein Spülprogramm der Geschirrspülmaschine anhand der erkannten Objekte und/oder der identifizierten Verschmutzungen ausgewählt oder optimiert werden.
-
Eine erfindungsgemäße Geschirrspülmaschine ist zur Durchführung eines derartigen Verfahrens eingerichtet. Es ergeben sich die im Zusammenhang mit dem Verfahren genannten Vorteile.
-
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels mithilfe von Figuren näher erläutert. Die Figuren zeigen:
- 1 eine schematische Schnittdarstellung einer Geschirrspülmaschine; und
- 2 eine Darstellung eines Spülraums einer Geschirrspülmaschine mit angedeuteten Bildausschnitten während der Durchführung eines erfindungsgemäßen Verfahrens.
-
1 zeigt schematisch eine Geschirrspülmaschine in einem vertikal ausgeführten Schnittbild.
-
Die Geschirrspülmaschine, bei der es sich um ein Haushaltsgerät ebenso wie eine Maschine für den professionellen Gebrauch handeln kann, weist einen Korpus 1 mit einer Tür 2 auf, die einen Spülraum 3 umgeben. Innerhalb des Spülraums 3 sind in der Regel mehrere, hier beispielhaft zwei Spülgutkörbe 4 übereinander angeordnet. Darüber hinaus ist ein in der 1 nicht näher bezeichneter Besteckträger vorhanden. In den Spülgutkörben 4 ist beispielhaft verschiedenes Spülgut 10 einsortiert. In alternativen Ausgestaltungen der Geschirrspülmaschine kann anstelle oder zusätzlich zum Besteckträger ein Besteckkorb in einem der Spülgutkörbe 4 vorhanden sein.
-
Den Spülgutkörben 4 ist jeweils ein Sprüharm 5 zugeordnet, der im Spülbetrieb rotiert und Spülflüssigkeit auf das Spülgut 10 sprüht. In einem unteren Bereich (Sockelbereich) der Geschirrspülmaschine sammelt sich die Spülflüssigkeit in einem Spülsumpf, auch Spülflottentopf genannt, in dem sie aufgeheizt werden kann und zu den Sprüharmen 5 gepumpt werden kann. Der Spülsumpf und Komponenten zum Umwälzen der Spülflüssigkeit sind in der schematischen Zeichnung der 1 nicht wiedergegeben.
-
Eine Steuereinrichtung 6 zur Steuerung der Geschirrspülmaschine ist in der Tür 2 der Geschirrspülmaschine angeordnet. Die Steuereinrichtung 6 ist als eine Ablaufsteuerung basierend auf einem Mikrokontroller bzw. -prozessor ausgebildet. In der Tür 2 ist weiter eine Dosiereinheit 7 angeordnet, mit der benötigte Reinigungsmittel während eines Spülvorgangs automatisch in den Spülraum 3 eindosiert werden können.
-
Beim dargestellten Ausführungsbeispiel ist in die Dosiereinheit 7 eine Kamera 8 als Bilderfassungseinrichtung integriert, die in den Spülraum 3 gerichtet ist, um ein Bild von dem Spülraum 3 aufzunehmen. Weiter ist im Spülraum 3 eine Lichtquelle 9 angeordnet, die bedarfsweise zugeschaltet werden kann, wenn von der Kamera 8 ein Bild des Spülraums 3 aufgenommen wird. Alternativ oder zusätzlich kann auch im Bereich der Kamera 8 selbst eine Lichtquelle angeordnet sein, die beispielsweise ringförmig um ein Objektiv der Kamera 8 ausgebildet ist. Die Kamera 8 ist eine zweidimensional aufzeichnende Kamera. Alternativ kann auch eine dreidimensional aufzeichnende Kamera eingesetzt werden, beispielsweise eine TOF (time of flight) Kamera, die Lichtlaufzeiten berücksichtigt. Auch eine stereoskopisch aufzeichnende Anordnung von zwei Kameras gilt im Rahmen der Anmeldung als eine Bilderfassungseinrichtung.
-
Im gezeigten Ausführungsbeispiel ist lediglich eine Kamera 8 vorhanden, die im Wesentlichen das in dem unteren Spülgutkorb 4 einsortierte Spülgut 10 erfasst. Es kann eine weitere Kamera vorhanden sein, die z.B. oberhalb der dargestellten Kamera 8 angeordnet ist und auf das in den oberen Spülgutkorb 4 einsortierte Spülgut 10 gerichtet ist. Im dargestellten Ausführungsbeispiel ist die Aufnahmerichtung (optische Achse) der Kamera 8 horizontal ausgerichtet. Es sind andere Ausrichtungen der Kamera 8 denkbar. Für eine dem oberen Spülgutkorb 4 zugeordnete Kamera kann es beispielsweise sinnvoll sein, die Kamera so auszurichten, dass sie schräg von unten auf den oberen Spülgutkorb 4 blickt, da häufig Tassen oder Gefäße in den oberen Spülgutkorb 4 einsortiert werden, deren verschmutzte Fläche nach unten weist.
-
In 2 ist ein Blick in den Spülraum 3 einer Geschirrspülmaschine, beispielsweise der Geschirrspülmaschine der 1, dargestellt, wie er sich aus der Blickrichtung der Kamera 8 ergibt. Ein von der Kamera 8 erfasstes erstes Bild 20, auch Gesamtbild 20 genannt, ist durch einen entsprechenden Rahmen in der 2 ausgewiesen. Um einen Verschmutzungsgrad des Spülguts 10 zu erkennen, wird das aufgenommene Bild nacheinander verschiedenen Bildverarbeitungsschritten unterworfen, die nachfolgend näher erläutert werden.
-
Das Gesamtbild 20 ist ein mit der nativen Kameraauflösung der Kamera 8 aufgenommenes Bild und weist entsprechend der Auflösung der Kamera 8 eine Anzahl von Pixeln (Bildpunkten) in horizontaler und vertikaler Richtung auf. Die Anzahl der Bildpunkte kann beispielsweise 1280x960 Pixel betragen.
-
Verfahren bzw. Algorithmen zur Erkennung von Verschmutzung sind grundsätzlich bekannt. Diese können auf klassischen Rechenverfahren wie zum Beispiel einer Kantendetektion und einer Erkennung von Formen der von den Kanten umschriebenen Bereiche erfolgen. Auch ist eine Objektdetektion über ein bevorzugt selbstlernendes neuronales Netz denkbar.
-
Anmeldungsgemäß werden die Verfahren zur Verschmutzungsdetektion jedoch nicht im gesamten Bereich des Gesamtbildes 20 durchgeführt. Stattdessen wird der Bereich, in dem eine Verschmutzungserkennung durchgeführt wird, in ggf. mehreren Schritten verkleinert und während des Verfahrens in unterschiedlichen Auflösungen bearbeitet.
-
In einem ersten Schritt werden aus dem erfassten Gesamtbild 20 solche Bereiche weggeschnitten, in denen sich kein auswertbares Abbild von Spülgut 10 befinden kann. Das sind die aufgrund der Geometrie des Spülraums 3 und der Anordnung der Kamera 8 vorherbestimmbaren Bereiche, in denen Spülgut 10 sich entweder nicht befinden kann oder die nicht sinnvoll auswertbar ist. Beim Beispiel der 2 werden Abschnitte des Gesamtbildes 20 ignoriert, in denen der obere Spülgutkorb 4 und der ihm zugeordnete Sprüharm 5 positioniert sind. Auch ein rechter und linker Randbereich, der außerhalb des unteren Spülgutkorbs 4 liegt, bleiben unberücksichtigt. Es wird so ein Bildausschnitt 21 aus dem Gesamtbild 20 für die weitere Verarbeitung herausgegriffen, der bereits eine deutlich kleiner Fläche und damit Pixelzahl aufweist, beispielsweise nur noch etwa 70% der ursprünglichen Fläche des Gesamtbildes 20.
-
In einem zweiten Schritt wird zu dem Bildausschnitt 21 ein Bildausschnitt mit verminderter Auflösung erzeugt. Der Bildausschnitt stellt bezüglich des Bildinhalts eine Kopie des Bildausschnitts 21 dar, jedoch mit einer geringeren Pixelzahl. Beispielsweise wird die Auflösung in beide Raumrichtungen um einen Faktor von etwa 2 bis 3, also auf die Fläche bezogen um einen Faktor von 4 bis 9 verringert.
-
Mit diesem Bildausschnitt mit verringerter Auflösung wird dann eine erste Objekterkennung durchgeführt, um Objekte zu identifizieren, die einzelne Spülgutteile 10 darstellen. Aufgrund der gegenüber dem Bildausschnitt 21 verringerten Auflösung des dafür eingesetzten Bildausschnitts kann diese Objekterkennung mit geringerer Rechenleistung und geringerem Speicherbedarf durchgeführt werden. Die Verringerung des Detailgrads durch die verringerte Auflösung ist dabei zur Erkennung der verglichen mit der Auflösung großen Spülgut-Objekte in keiner Weise hinderlich.
-
Als Ergebnis der Objekterkennung werden in der Regel mehrere Spülgut-Objekte aufgefunden, um die ein rechteckiger Rahmen als weiterer Bildausschnitt 22 gelegt wird. Dabei kann in einem optionalen weiteren Schritt von diesem weiteren Rahmen 22 ein festgelegter Randbereich entfernt werden, dessen Breite abhängig vom detektierten Spülgut 10 fest vorgegeben sein kann.
-
Der so für ein Spülgut 10 identifizierte Bereich wird dann auf das höher auflösende Originalbild 20 bzw. den Ausschnitt 21 übertragen, sodass für jedes erkannte Spülgut-Objekt ein das Spülgut 10 wiedergebender, hochauflösender Bildausschnitt 23 vorliegt. Der einfacheren Unterscheidbarkeit halber wird dieser Bildausschnitt nachfolgend auch als Objektausschnitt 23 bezeichnet. Auf jeden dieser Objektausschnitte 23 wird ein zweites Objekterkennungsverfahren angewendet, um Verschmutzungen 11 auf dem jeweiligen Spülgut 10 zu identifizieren. Insbesondere bei diesem Schritt ist die Objekterkennung mit Hilfe eines bevorzugt selbstlernenden neuronalen Netzes vorteilhaft. Die Verschmutzungen 11 können anhand ihrer Erscheinung (Größe, Form, Farbe, usw.) und/oder sonstiger Bildeigenschaften identifiziert und klassifiziert werden.
-
In einem weiteren optionalen Schritt kann innerhalb des hochauflösenden Objektausschnitts 23 eine Kontrastnormierung vorgenommen werden, woraufhin mittels einer Kantendetektion und/oder einer Histogrammbildung abgeschätzt wird, wie stark verteilt die Anschmutzung auf dem Spülgut ist.
-
Im Betrieb der Geschirrspülmaschine kann bei der Bildauswertung gewonnene Information zur Optimierung des Spülprozesses eingesetzt werden. Beispielsweise kann vor dem Start eines Spülprogramms ein erstes Bild des Spülraums 3 aufgenommen und nach dem zuvor geschilderten Verfahren ausgewertet werden. Die gesammelten Informationen, insbesondere die Klassifizierung der Verschmutzungen, die Größe der verschmutzten Regionen und die Verteilung der Verschmutzung innerhalb der Region können dann genutzt werden, um dem Nutzer der Geschirrspülmaschine einen Spülprogrammvorschlag zu machen. Dieses kann unmittelbar auf einen Display oder einer sonstigen Anzeige der Steuereinrichtung 6 dargestellt werden oder auch mittels eines Mobilgeräts, das über eine Datenverbindung mit der Geschirrspülmaschine in einer Kommunikationsverbindung steht. Beim Spülprogrammvorschlag kann eine hinterlegte Präferenz des Nutzers berücksichtigt werden, beispielsweise ob er grundsätzlich eher ein schnelles Spülprogramm oder ein ökologisch sinnvolles Spülprogramm nutzen möchte.
-
Nach dem Start des Spülprozesses kann in regelmäßigen Abständen die Umwälzpumpe, die ein Umwälze der Spülflotte bewirkt, angehalten werden, um erneut ein Bild vom Spülraum 3 aufzunehmen und wiederum entsprechend der zuvor genannten Verfahren auszuwerten. Ein Vergleich der Ergebnisse der Auswertung lässt auf einen Reinigungsfortschritt schließen. Dabei kann ggf. vorgesehen sein, Reinigungsphasen adaptiv in Abhängigkeit des Reinigungsfortschritts zu verlängern oder zu verkürzen.
-
Zusätzlich zur Bildauswertung können weitere aufgezeichnete Parameter berücksichtigt werden, beispielsweise ein Trübungsgrad der Spülflotte, der mittels einem separatem optischen Trübungssensor erfasst werden kann.
-
Bezugszeichenliste
-
- 1
- Korpus
- 2
- Tür
- 3
- Spülraum
- 4
- Spülgutkorb
- 5
- Sprüharm
- 6
- Steuereinrichtung
- 7
- Dosiereinheit
- 8
- Kamera
- 9
- Lichtquelle
- 10
- Spülgut
- 11
- Verschmutzung
- 20
- erstes Bild (Gesamtbild)
- 21, 22
- Bildausschnitt
- 23
- hochauflösender Bildausschnitt (Objektausschnitt)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 10048081 A1 [0002, 0003]
- EP 1793723 B1 [0002, 0004]
