BE1030689B1 - Method for controlling a flushing device, method for training a model, device and flushing device - Google Patents
Method for controlling a flushing device, method for training a model, device and flushing device Download PDFInfo
- Publication number
- BE1030689B1 BE1030689B1 BE20225548A BE202205548A BE1030689B1 BE 1030689 B1 BE1030689 B1 BE 1030689B1 BE 20225548 A BE20225548 A BE 20225548A BE 202205548 A BE202205548 A BE 202205548A BE 1030689 B1 BE1030689 B1 BE 1030689B1
- Authority
- BE
- Belgium
- Prior art keywords
- image
- interior
- signal
- model
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 title claims description 37
- 238000011010 flushing procedure Methods 0.000 title claims description 36
- 238000011068 loading method Methods 0.000 claims abstract description 43
- 238000005406 washing Methods 0.000 claims abstract description 43
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 238000004851 dishwashing Methods 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 20
- 230000006399 behavior Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000007921 spray Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000013140 knowledge distillation Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010411 cooking Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 235000021403 cultural food Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L15/00—Washing or rinsing machines for crockery or tableware
- A47L15/42—Details
- A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L15/00—Washing or rinsing machines for crockery or tableware
- A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
- A47L15/0021—Regulation of operational steps within the washing processes, e.g. optimisation or improvement of operational steps depending from the detergent nature or from the condition of the crockery
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L15/00—Washing or rinsing machines for crockery or tableware
- A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
- A47L15/0063—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control using remote monitoring or controlling of the dishwasher operation, e.g. networking systems
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
- A47L2401/04—Crockery or tableware details, e.g. material, quantity, condition
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
- A47L2401/30—Variation of electrical, magnetical or optical quantities
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
- A47L2501/30—Regulation of machine operational steps within the washing process, e.g. performing an additional rinsing phase, shortening or stopping of the drying phase, washing at decreased noise operation conditions
Landscapes
- Washing And Drying Of Tableware (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Ansteuern eines Spülgeräts (100), wobei das Spülgerät (100) mindestens eine Kameraeinheit (140) zum Erfassen eines Innenraums (107) des Spülgeräts (100) umfasst. Das Verfahren umfasst einen Schritt des Einlesens eines Kamerasignals (145) von der Kameraeinheit (140), wobei das Kamerasignal (145) ein von der Kameraeinheit (140) erfasstes Bild des Innenraums (107) repräsentiert, und einen Schritt des Auswertens des Bilds unter Verwendung des Kamerasignals (145) und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums (107) unterscheidbar sind. Weiterhin umfasst das Verfahren einen Schritt des Ausgebens eines Steuersignals (150) zum Steuern eines Spülprogramms zum Spülen von Objekten (120) im Innenraum (107), wenn das Bild einen Beladungszustand des Innenraums (107) repräsentiert, der zumindest einer Startbeladungsmenge entspricht.The invention relates to a method for controlling a washing device (100), wherein the washing device (100) comprises at least one camera unit (140) for recording an interior (107) of the washing device (100). The method comprises a step of reading in a camera signal (145) from the camera unit (140), wherein the camera signal (145) represents an image of the interior (107) captured by the camera unit (140), and a step of evaluating the image using the camera signal (145) and using a model through which at least two different loading states of the interior (107) can be distinguished. The method further comprises a step of outputting a control signal (150) for controlling a washing program for washing objects (120) in the interior (107) if the image represents a loading state of the interior (107) which corresponds to at least a starting load quantity.
Description
BeschreibungDescription
Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells,Method for controlling a flushing device, method for training a model,
Vorrichtung und SpülgerätDevice and flushing device
Die Erfindung betrifft ein Verfahren zum Ansteuern eines Spülgeräts, ein Verfahren zum s Trainieren eines Modells, eine Vorrichtung und ein Spülgerät.The invention relates to a method for controlling a flushing device, a method for training a model, a device and a flushing device.
In haushaltsüblichen Spülgeräten, wie beispielsweise Geschirrspülern, könnenIn common household washing appliances, such as dishwashers
Innenraumkameras zum Erfassen eines Beladungszustands integriert sein. Zudem könnenInterior cameras can be integrated to record a load status. In addition, you can
Optionen zum automatischen Starten eines Spülprogramms gegeben sein, bei denen einem bestimmten Beladungsgrad eine jeweilige Füllgradzahl zugeordnet wird, beziehungsweiseThere will be options for automatically starting a washing program, in which a specific load level is assigned a respective fill level number, or
Schwellenwerte in Form von Zahlen gesetzt werden.Threshold values can be set in the form of numbers.
Der Erfindung stellt sich die Aufgabe ein verbessertes Verfahren zum Ansteuern einesThe invention aims to provide an improved method for controlling a
Spülgeräts, ein verbessertes Verfahren zum Trainieren eines Modells, eine verbesserteFlushing device, an improved method for training a model, an improved
Vorrichtung und ein verbessertes Spülgerät zu schaffen. Erfindungsgemäß wird dieseTo create a device and an improved dishwashing device. According to the invention this is
Aufgabe durch ein Verfahren zum Ansteuern eines Spülgeräts, ein Verfahren zum Trainieren eines Modells, eine Vorrichtung und ein Spülgerät mit den Merkmalen der Hauptansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den nachfolgenden Unteransprüchen.Task solved by a method for controlling a flushing device, a method for training a model, a device and a flushing device with the features of the main claims. Advantageous refinements and further developments of the invention result from the following subclaims.
Die mit der Erfindung erreichbaren Vorteile bestehen neben einem optimierten Startvorgang eines Spülgangs in einem Spülgerät in der einfachen Anwendung und Individualisierbarkeit des Verfahrens.The advantages that can be achieved with the invention include, in addition to an optimized starting process of a washing cycle in a washing machine, the simple application and customizability of the method.
Es wird ein Verfahren zum Ansteuern eines Spülgeräts vorgestellt, wobei das Spülgerät mindestens eine Kameraeinheit zum Erfassen eines Innenraums des Spülgeräts umfasst.A method for controlling a washing device is presented, wherein the washing device comprises at least one camera unit for detecting an interior of the washing device.
Das Verfahren umfasst einen Schritt des Einlesens eines Kamerasignals von derThe method includes a step of reading in a camera signal from the
Kameraeinheit, wobei das Kamerasignal ein von der Kameraeinheit erfasstes Bild desCamera unit, wherein the camera signal is an image of the image captured by the camera unit
Innenraums repräsentiert, und einen Schritt des Auswertens des Bilds unter Verwendung desInterior represents, and a step of evaluating the image using the
Kamerasignals und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums aus dem Bild desCamera signal and using a model through which at least two different loading states of the interior from the image of the
Innenraums unterscheidbar sind. Weiterhin umfasst das Verfahren einen Schritt desInterior can be distinguished. The method further includes a step of:
Ausgebens eines Steuersignals zum Steuern eines Spülprogramms zum Spülen von 3o Objekten im Innenraum, wenn das Bild einen Beladungszustand des Innenraums repräsentiert, der zumindest einer in dem Innenraum angeordneten Startbeladungsmenge von Reinigungsgut entspricht.Outputting a control signal for controlling a washing program for washing 30 objects in the interior if the image represents a loading state of the interior that corresponds to at least a starting load quantity of items to be cleaned arranged in the interior.
Bei dem Spülgerät kann es sich zum Beispiel um einen Geschirrspüler handeln, der ausgebildet sein kann, Geschirr, Besteck und andere Haushaltsutensilien im Innenraum aufzunehmen, beispielsweise in entsprechenden Körben und zusätzlich oder alternativ einerThe dishwashing device can be, for example, a dishwasher, which can be designed to accommodate dishes, cutlery and other household utensils in the interior, for example in appropriate baskets and additionally or alternatively
Besteckschublade. Dabei kann das Spülgerät elektronisch mit anderen Geräten und zusätzlich oder alternativ einem Server außerhalb des Haushalts vernetzbar sein, um verschiedene Daten in Form von Signalen zu empfangen, auszugeben und automatisierteCutlery drawer. The dishwashing device can be electronically networked with other devices and additionally or alternatively with a server outside the household in order to receive, output and automate various data in the form of signals
Vorgänge, wie beispielsweise eine Auswahl eines passenden Spülprogramms, weitgehend ohne manuelles Eingreifen von Nutzern durchzuführen. Das Spülgerät kann zum Beispiel in das Netzwerk einer sogenannten Smart Kitchen beziehungsweise eines Smart Homes integriert oder integrierbar sein. Dabei kann das Spülgerät ausgebildet sein, um einen automatischen Spülstart zum Reinigen der im Innenraum angeordneten Objekte, beispielsweise Geschirr und Kochutensilien, wie Töpfe und Pfannen, durchzuführen. DerProcesses, such as selecting a suitable washing program, can be carried out largely without manual intervention by users. The dishwashing device can, for example, be integrated or able to be integrated into the network of a so-called smart kitchen or a smart home. The washing device can be designed to carry out an automatic washing start for cleaning the objects arranged in the interior, for example dishes and cooking utensils such as pots and pans. The
Beginn eines solchen Spülvorgangs kann dabei in Abhängigkeit von dem Beladungszustand des Innenraums sein, beziehungsweise von darin angeordneten Körben. Ein solcher ı5 Beladungszustand kann beispielsweise von einer oder mehrerer im oder am Innenraum angeordneten Kameras erfasst werden. Beispielsweise kann die Kameraeinheit an einerThe start of such a rinsing process can depend on the load status of the interior or the baskets arranged therein. Such a loading condition can be detected, for example, by one or more cameras arranged in or on the interior. For example, the camera unit can be attached to a
Innenseite einer den Innenraum verschließenden Tür angeordnet sein und ausgebildet sein, um jedes Mal ein Foto von dem Innenraum aufzunehmen, wenn die Tür geschlossen wird.Be arranged inside a door closing the interior and be designed to take a photo of the interior each time the door is closed.
Unter Verwendung des Kamerasignals kann ein solches Bild beispielsweise an eineUsing the camera signal, such an image can be sent to, for example
Vorrichtung zum Auswerten von Bilddaten bereitgestellt werden, die beispielsweise als elektronische Einrichtung im Spülgerät angeordnet sein kann oder auf die zum Beispiel über eine Cloud zugegriffen werden kann. Das von der Kameraeinheit bereitgestellte Bild kann nun unter Verwendung eines Modells ausgewertet werden, um den aktuellenDevice for evaluating image data are provided, which can be arranged, for example, as an electronic device in the dishwashing device or which can be accessed, for example, via a cloud. The image provided by the camera unit can now be evaluated using a model to determine the current
Beladungszustand zu prüfen. Bei dem Modell kann es sich beispielsweise um einenCheck loading status. The model can be, for example, one
Algorithmus beziehungsweise ein neuronales Netz handeln, das zum Beispiel darauf trainiert worden sein kann, unter Verwendung des Kamerasignals eine Menge von erfasstem Spülgut im Innenraum mit ähnlichen, hinterlegten Bilddaten abzugleichen und zu entscheiden, ob die erfasste Menge einen Spülstart erfordert oder nicht. Beispielsweise kann ein solches neuronales Netz mit Trainingsbildern aus Versuchshaushalten trainiert worden sein, die imAlgorithm or a neural network act, which can, for example, have been trained to use the camera signal to compare a quantity of recorded items to be washed in the interior with similar, stored image data and to decide whether the recorded quantity requires a flushing start or not. For example, such a neural network can have been trained with training images from experimental households
Betrieb des Spülgeräts mit aktuell erfassten Bildern abgeglichen werden können. Es kann dementsprechend ausgebildet sein, um eine binäre Entscheidung zu treffen, ob einOperation of the flushing device can be compared with currently captured images. It can accordingly be designed to make a binary decision as to whether a
Kamerabild, das beim Türschließen entstand, einen Spülinnenraum zeigt, der für einen autonomen Spülstart hinreichend gefüllt ist. Ist ein Beladungszustand erreicht, der einer erlernten Startbeladungsmenge entspricht, dann wird ein Steuersignal ausgegeben, um denCamera image taken when the door was closed shows a flushing interior that is sufficiently filled for an autonomous flushing start. If a loading condition is reached that corresponds to a learned starting loading quantity, then a control signal is output to determine this
Start eines Spülgangs zu steuern. Ein solches Signal kann zum Beispiel an eine Einrichtung des Spülgeräts ausgegeben werden, die ausgebildet sein kann, um einen Spülgang automatisiert zu initiieren. Dadurch kann vorteilhafterweise ein optimaler Zeitpunkt bestimmt werden, bei dem der Geschirrspüler hinreichend gefüllt ist, um ihn automatisch zu starten,to control the start of a rinse cycle. Such a signal can, for example, be output to a device of the washing device, which can be designed to automatically initiate a washing cycle. This advantageously allows an optimal time to be determined at which the dishwasher is sufficiently full to start it automatically,
damit die Nutzer immer genügend sauberes Geschirr zur Verfügung haben, ohne dass unnötig Ressourcen in Anspruch genommen werden. Zudem wird durch die einfacheso that users always have enough clean dishes available without unnecessary use of resources. In addition, the simple
Unterscheidung zwischen „voll“ und „nicht voll“ die Anwendung des Verfahrens vereinfacht, da es beispielsweise keine Notwendigkeit gibt, den Kamerabildern zum Beispiel händisch s Möglichst genaue Zahlen zuzuordnen, die den Beladungsgrad repräsentieren könnten. Es bleibt lediglich die Kontrolle, ob das erfasste Bild einen hinreichend gefüllten Spülinnenraum zeigt. Allein mit diesen Informationen („Start ist sinnvoll" oder „Start lohnt noch nicht") und den zugehörigen Trainingsbildern, kann es einem Algorithmus bereits ermöglicht werden, einen Spülvorgang optimiert anzusteuern.The distinction between “full” and “not full” simplifies the application of the method, since there is no need to manually assign numbers to the camera images, for example, as accurately as possible, which could represent the degree of loading. All that remains is to check whether the captured image shows a sufficiently filled sink interior. Just with this information ("Starting makes sense" or "Starting is not worth it yet") and the associated training images, an algorithm can be enabled to optimally control a flushing process.
Gemäß einer Ausführungsform kann im Schritt des Auswertens das Bild einer erstenAccording to one embodiment, in the step of evaluating, the image of a first
Bildkategorie oder einer zweiten Bildkategorie zugeordnet werden. Dabei kann die ersteImage category or a second image category can be assigned. The first one can
Bildkategorie einem nicht vollen Beladungszustand des Innenraums entsprechen und die zweite Bildkategorie kann dem vollen Beladungszustand entsprechen. Beispielsweise können von der Kameraeinheit erfasste Bilder, zum Beispiel angereichert durch Maschinendaten, ı5 automatisch mit den Klassenlabels „Start" oder „kein Start“ versehen werden. Dabei könnenImage category corresponds to a not full loading state of the interior and the second image category can correspond to the full loading state. For example, images captured by the camera unit, for example enriched with machine data, can be automatically assigned the class labels “start” or “no start”.
Bilder, die einer dem Modell eintrainierten Startbeladungsmenge entsprechen, beispielsweise wenn alle Körbe des Spülgeräts mindestens zu achtzig Prozent gefüllt sind, das Label „Start“ erhalten und entsprechend kann das Steuersignal ausgegeben werden. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstehen können, beispielsweise mit einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichenImages that correspond to a starting load quantity trained into the model, for example when all baskets of the dishwasher are at least eighty percent full, receive the label “Start” and the control signal can be output accordingly. Other images that can arise when the dishwasher door is closed, for example with a time interval (for example a predetermined or predeterminable time interval
Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach demMinimum distance, approximately 30 minutes, before a start) or after
Ausräumen, können ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „keinClearing out can also be taken into account and automatically assigned the class label “none.”
Start" versehen werden. Das bietet den Vorteil, dass eine einfache, binäre Entscheidung getroffen werden kann, ohne zusätzliche Zwischenwerte.Start". This offers the advantage that a simple, binary decision can be made without additional intermediate values.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens einAccording to a further embodiment, in the reading step a
Bildinformationssignal eingelesen werden, wobei das Bildinformationssignal mindestens eine zusätzliche Information zu dem Bild repräsentieren kann. Dabei kann im Schritt desImage information signal can be read in, wherein the image information signal can represent at least one additional piece of information about the image. In the step of
Auswertens das Bild unter Verwendung des Bildinformationssignals ausgewertet werden.Evaluating the image can be evaluated using the image information signal.
Beispielsweise können im Schritt des Einlesens neben den einzelnen Bildern des 3o Spülinnenraumes auch Metadaten eingelesen werden, wie zum Beispiel Zeitstempel oder dieFor example, in the reading step, in addition to the individual images of the 3o sink interior, metadata can also be read in, such as time stamps or the
Information, ob das Bild nach einem manuellen Schließen der Tür oder durch einen Spülstart oder ein Spülende entstanden ist. Vorteilhafterweise kann unter Verwendung desInformation as to whether the image was created after the door was closed manually or by a flush start or end. Advantageously, using the
Bildinformationssignals ein aktueller Zustand des Spülgeräts optimal eingeschätzt werden.Image information signal a current state of the dishwashing device can be optimally estimated.
Gemäß einer weiteren Ausführungsform kann im Schritt des Auswertens das Bild verworfen werden, wenn ein vorbestimmter Bildparameter nicht erfüllt ist. Beispielsweise können Bilder verworfen werden, die einen bildtechnischen Mangel aufweisen und nicht sinnvoll ausgewertet werden können, beispielsweise, wenn sie über- oder unterbelichtet aufgenommen wurden. Das hat den Vorteil, dass nur solche Bilddaten gespeichert werden können, die auch für das Verfahren verwertbar sind, wodurch Energie und Speicherplatz eingespart werden kann. Optional können zudem Methoden des sogenannten Under- oder s Oversamplings genutzt werden.According to a further embodiment, the image can be discarded in the evaluation step if a predetermined image parameter is not met. For example, images can be discarded that have a technical defect and cannot be meaningfully evaluated, for example if they were taken over- or underexposed. This has the advantage that only image data that can be used for the process can be saved, which saves energy and storage space. Optionally, methods of so-called undersampling or oversampling can also be used.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein Nutzersignal eingelesen werden, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle repräsentiert. Dabei kann im Schritt des Ausgebens das Steuersignal unter Verwendung desAccording to a further embodiment, in the reading step, a user signal can be read in, which represents an input from a user on a user interface. In the output step, the control signal can be generated using the
Nutzersignals ausgegeben werden. Zum Beispiel können Daten wie Wochentage oderUser signal is output. For example, dates such as days of the week or
Uhrzeiten für einen gewünschten Spülgang von Nutzern festgelegt werden, um das Verfahren vorteilhafterweise auf verschiedene Einsatzorte mit verschiedenen Nutzern zu individualisieren. Verschiedenen Haushalten kann dadurch die Möglichkeit gegeben werden,Times for a desired rinse cycle can be set by users in order to advantageously individualize the method to different locations with different users. This can give different households the opportunity to
Vorzugszeiten für den automatischen Start, beziehungsweise für die gewünschtePreferred times for the automatic start, or for the desired one
Programmende-Zeit (Wunsch-Wochentag und -Zeit) zu definieren. Optional können auchDefine program end time (desired weekday and time). Optionally can also
Daten zum Nutzungsverhalten (Be-, Entladung oder Start der Maschine), etc. einfließen, um vorteilhafterweise anhand dieser Rahmenbedingungen die Wahrscheinlichkeit eines sinnvollen Starts berechnen zu können.Data on usage behavior (loading, unloading or starting the machine), etc. are included in order to be able to advantageously calculate the probability of a sensible start based on these general conditions.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein Sensorsignal von einer Sensorschnittstelle zu einem Sensor eingelesen werden, wobei das SensorsignalAccording to a further embodiment, in the reading step, a sensor signal can be read from a sensor interface to a sensor, wherein the sensor signal
Mindestens einen von dem Sensor erfassten Umgebungsparameter einer Umgebung desAt least one environmental parameter of an environment detected by the sensor
Spülgeräts repräsentieren kann. Dabei kann im Schritt des Ausgebens das Steuersignal unterWashing device can represent. In the output step, the control signal can be included
Verwendung des Sensorsignals ausgegeben werden. Beispielsweise kann das Spülgerät mit einer vorhandenen Photovoltaikanlage kombiniert sein, wobei der Sensor ausgebildet sein kann, um einen von der Anlage produzierten Stromfluss zu erfassen. In einem solchen Fall kann unter Verwendung des Sensorsignals ein automatischer Start eines Spülgangs an eine hohe Stromproduktion gekoppelt werden, um vorteilhafterweise den vorhandenen Strom optimal zu nutzen. Zudem ist auch eine Option denkbar, bei der die Anwesenheit mindestens eines Haushaltsmitgliedes eine Voraussetzung für einen Spülstart bilden kann, um dasUsing the sensor signal. For example, the flushing device can be combined with an existing photovoltaic system, wherein the sensor can be designed to detect a current flow produced by the system. In such a case, using the sensor signal, an automatic start of a washing cycle can be coupled to high power production in order to advantageously make optimal use of the available power. In addition, an option is also conceivable in which the presence of at least one household member can be a prerequisite for a flush to start
Spülgerät nicht automatisch starten zu lassen, während niemand zu Hause ist. Sowohl für dieDo not let the dishwasher start automatically when no one is at home. Both for the
Option der sonnenscheinbedingten Stromproduktion als auch für die Anwesenheitsbedingung können optional weitere Informationsquellen genutzt werden, wie beispielsweise dieFor the option of sunshine-related electricity production as well as for the presence condition, additional sources of information can optionally be used, such as
Anbindung an eine PV-Anlage, lokale Wetterdaten, Daten eines SmartHomes für dieConnection to a PV system, local weather data, data from a SmartHome for the
Anwesenheitserkennung mittels Bewegungsmeldern oder der Ort von Mobilgeräten, zumPresence detection using motion detectors or the location of mobile devices, for example
Beispiel mittels sogenannten Geo-Fencings.Example using so-called geo-fencings.
Gemäß einer weiteren Ausführungsform kann im Schritt des Ausgebens das Steuersignal an eine Nutzerschnittstelle zu einem Nutzer ausgegeben werden. Dabei kann dasAccording to a further embodiment, in the step of outputting, the control signal can be output to a user interface to a user. This can be the case
Spülprogramm ansprechend auf ein Antwortsignal angesteuert werden, wobei dasRinsing program can be controlled in response to a response signal, whereby the
Antwortsignal eine Eingabe des Nutzers an der Nutzerschnittstelle repräsentieren kann.Response signal can represent an input from the user on the user interface.
Beispielsweise kann die Nutzerschnittstelle als ein Display an dem Spülgerät oder als eine entsprechende App für ein Mobilgerät, beispielsweise ein Smartphone, ausgebildet sein. 5 Unter Verwendung des Steuersignals kann einem Nutzer zum Beispiel eine Push-For example, the user interface can be designed as a display on the dishwashing device or as a corresponding app for a mobile device, for example a smartphone. 5 Using the control signal, a user can, for example, be given a push button
Benachrichtigung auf das Mobilgerät geschickt und zusammen mit dem aktuellen Kamerabild die Optionen „Starten“ und „Verschieben“ angeboten werden. Wählt ein Haushaltsmitglied dieNotification is sent to the mobile device and the options “Start” and “Move” are offered together with the current camera image. If a household member chooses the
Option „Verschieben“, kann der Spülstart zum Beispiel um ein konfigurierbares Zeitintervall aufgeschoben und später erneut per Push-Benachrichtigung nachgefragt werden.If you use the “Postpone” option, the start of the flushing can be postponed for a configurable time interval and requested again later via a push notification.
Vorteilhafterweise kann dadurch ein Spülstart auf eine jeweils aktuelle Situation von Nutzern optimiert werden.Advantageously, a flushing start can thereby be optimized for a user's current situation.
Zudem wird ein Verfahren zum Trainieren eines Modells zum Ansteuern eines Spülgeräts vorgestellt. Das Verfahren umfasst einen Schritt des Einlesens eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer zweiten Bildkategorie zugeordnet sind. Weiterhin umfasst das Verfahren einen Schritt desIn addition, a method for training a model to control a flushing device is presented. The method includes a step of reading in a first image data set, which represents a plurality of first images of an interior of a washing device, which are assigned to a first image category, and reading in a second image data set, which represents a plurality of second images of an interior of a washing device, which are assigned to a second Image category are assigned. The method further includes a step of:
Anpassens des Modells derart, dass die dem Modell eingegebenen ersten Bilder der erstenAdjusting the model so that the first images entered into the model are the first
Bildkategorie zugeordnet werden und die dem Modell eingegebenen zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell zu trainieren.Image category are assigned and the second images entered into the model are assigned to the second image category in order to train the model.
Bei dem zu trainierenden Modell, das auch als Grundmodell bezeichnet werden kann, kann es sich um einen Algorithmus beziehungsweise um ein neuronales Netz handeln. Nach demThe model to be trained, which can also be referred to as a basic model, can be an algorithm or a neural network. After
Vortrainieren kann das Netz vorteilhafterweise in einer Variante des zuvor beschriebenenThe network can advantageously be pre-trained in a variant of the one described above
Verfahrens zum Ansteuern eines Spülgeräts eingesetzt werden. Hierfür kann das Modell zumMethod for controlling a dishwashing device can be used. The model can be used for this
Beispiel mit Trainingsbildern aus Versuchshaushalten trainiert werden. Hierfür können zunächst die nötigen Trainingsdaten gesammelt werden. Diese können beispielsweise imExample can be trained with training images from test households. For this purpose, the necessary training data can first be collected. These can, for example,
Labor oder in Versuchshaushalten oder gegebenenfalls auch im Feld gesammelt werden.Collected in the laboratory or in experimental households or, if necessary, in the field.
Dabei können der zeitliche Verlauf der Bilder und beispielsweise zusätzlich anfallendeThe time course of the images and, for example, additional ones can be changed
Metadaten ein zyklisches Profil abbilden, das sich grob in drei, sich wiederholende Phasen einteilen lassen kann: Die erste Phase, die Beladungsphase, kann idealerweise mit einemMetadata represent a cyclical profile that can be roughly divided into three repeating phases: The first phase, the loading phase, can ideally be done with one
Bild beginnen, das einen leeren Spülinnenraum zeigt, und anschließend Bilder, die mit fortschreitender Zeit einen zunehmend volleren Spülinnenraum zeigen. Auf dieStart with an image that shows an empty sink interior, and then images that show an increasingly full sink interior as time progresses. On the
Beladungsphase kann eine Spülphase folgen, die durch den Spülstart des Geschirrspülers getriggert werden kann. Das erste Bild dieser Phase kann daher idealerweise einen mit angeschmutzter Beladung voll befüllten Spülinnenraum zeigen. Während des Spülens optional gesammelte Bilder sind für diesen Anwendungsfall nicht weiter von Belang. DieseThe loading phase can be followed by a rinsing phase, which can be triggered by the dishwasher starting the rinsing process. The first image of this phase can therefore ideally show a sink interior fully filled with soiled loads. Images optionally collected during rinsing are no longer relevant for this application. This
Phase kann mit einem Bild eines mit sauberer Beladung voll befüllten Spülinnenraum abschließen, automatisch getriggert durch das Ende des Spülgangs. Optional schließt nun noch eine Entladephase an, die Bilder enthalten kann, die durch das Öffnen und Schließen der Spülertür getriggert werden können, ohne dass der Spüler ausgeräumt wurde.Phase can conclude with an image of a wash interior fully filled with clean loads, automatically triggered by the end of the wash cycle. Optionally, there is now an unloading phase that can contain images that can be triggered by opening and closing the dishwasher door without the dishwasher having been emptied.
Idealerweise ist diese Phase aber nicht existent und es schließt erneut eine Beladungsphase an, die idealerweise mit einem Bild des vollkommen leeren Spülinnenraumes beginnt. DieIdeally, this phase does not exist and a new loading phase follows, which ideally begins with a picture of the completely empty sink interior. The
Bilder der Be- und Entladungsphase können beispielsweise dem ersten Bilddatensatz und damit der ersten Bildkategorie („kein Start“) zugeordnet sein und die Bilder der Spülphase können dem zweiten Bilddatensatz und damit der zweiten Bildkategorie („Start“) zugeordnet sein. 11 Da diese Phasen durch das nicht immer vorhersehbare Nutzerverhalten oder durch eventuelle technische Probleme (zum Beispiel Offlinezeiten durch Internetausfall) denImages from the loading and unloading phase can, for example, be assigned to the first image data set and thus to the first image category (“no start”) and the images from the rinsing phase can be assigned to the second image data set and thus to the second image category (“start”). 11 Since these phases are due to user behavior that is not always predictable or due to possible technical problems (e.g. offline times due to internet failure).
Idealbedingungen entsprechen können, kann eine manuelle Kontrolle der Bilder und Daten durch einen Menschen erforderlich sein. Sobald ein erstes funktionierendes Modell / Netz existiert, kann dieses jedoch zur Vorkontrolle genutzt werden, um den manuellenTo meet ideal conditions, manual control of the images and data by a human may be required. However, as soon as a first functioning model/network exists, it can be used for pre-checking in order to carry out the manual
Überprüfungsaufwand zu reduzieren.Reduce verification effort.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Nachtrainierens desAccording to one embodiment, the method may include a step of retraining the
Modells nach dem Schritt des Anpassens aufweisen. Dabei kann im Schritt desModel after the fitting step. In the step of
Nachtrainierens mindestens ein weiterer erster Bilddatensatz eingelesen werden, der eineAfter training, at least one further first image data set must be read in, which is one
Mehrzahl von weiteren ersten Bildern des Innenraums repräsentieren kann, die der erstenA plurality of further first images of the interior can represent those of the first
Bildkategorie zugeordnet sein können. Zudem kann mindestens ein weiterer zweiterImage category can be assigned. In addition, at least another second one can
Bilddatensatz eingelesen werden, der eine Mehrzahl von weiteren zweiten Bildern desImage data set is read in, which contains a plurality of further second images of the
Innenraums repräsentieren kann, die der zweiten Bildkategorie zugeordnet sein können.Can represent interior space, which can be assigned to the second image category.
Dabei kann das Modell derart angepasst werden, dass die weiteren ersten Bilder der erstenThe model can be adjusted in such a way that the other first images correspond to the first
Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.Image category are assigned and the other second images are assigned to the second image category in order to retrain the basic model.
Durch den Schritt des Nachtrainierens kann das Grundmodell vorteilhafterweise spezifischenThe basic model can advantageously be specific through the step of retraining
Bedürfnissen eines Nutzers oder Haushalts angepasst werden. Dabei können zum Beispiel nach dem gleichen Prinzip wie beim Trainieren des Grundmodells durch den Geschirrspüler im Haushalt des Verwenders Start- und Nichtstart-Bilder gesammelt werden und durch bestehende neuronale Netze automatisch mit dem, beispielsweise lokalen, Grundmodell auf die korrekte Zuordnung der Klassenlabel geprüft werden. Hierbei können beispielsweise leichte Ungenauigkeiten vertretbar sein, um sich dem individuellen Nutzungsverhalten annähern zu können. Sobald genügend Bilder über einen gewissen Zeitraum für beideThe needs of a user or household can be adapted. For example, according to the same principle as when training the basic model by the dishwasher in the user's household, start and non-start images can be collected and automatically checked by existing neural networks with the, for example local, basic model for the correct assignment of the class labels. For example, slight inaccuracies may be acceptable in order to approximate individual usage behavior. Once enough images over a certain period of time for both
Klassenlabel vorliegen, kann (gegebenenfalls nach einer Freigabe durch den Nutzer) dasClass labels are present, this can be done (if necessary after approval by the user).
Grundmodell mit den gesammelten Daten mittels Transferlernen nachtrainiert werden.Basic model can be retrained with the collected data using transfer learning.
Solange die Rechen- und Speicherkapazitäten eines Geschirrspülers für das Training von neuronalen Netzen nicht ausreichend sind, kann dieser Schritt zum Beispiel auf Servern (in der Cloud) des Anbieters erfolgen. Das hätte den zusätzlichen Vorteil, dass sich durch inAs long as the computing and storage capacities of a dishwasher are not sufficient for training neural networks, this step can be carried out on the provider's servers (in the cloud), for example. This would have the additional advantage that in
Zielhaushalten gesammelte Daten das Grundmodell weiter verfeinern und verbessern lassen könnte. Am einfachsten und naheliegendsten gestaltet sich das Neutrainieren des s Grundmodells mit mindestens einem durch weitere Trainingsbeispiele aus Kundenhaushalten angereichertem Datensatz. Alternativ können sich mehrere nachtrainierte Modelle (eventuell zusammen mit dem Grundmodell) zu sogenannten Ensembles zusammenschließen lassen, deren Gesamtergebnis dem Mittel der Einzelergebnisse entsprechen kann. Gemäß demData collected from target households could further refine and improve the basic model. The easiest and most obvious way is to retrain the basic model with at least one data set enriched with further training examples from customer households. Alternatively, several retrained models (possibly together with the basic model) can be combined to form so-called ensembles, the overall result of which can correspond to the mean of the individual results. According to the
Prinzip „Wissen der Masse" können Ensembles in vielen Fällen besser klassifizieren als einzelne neuronale Netze. Insgesamt bietet der Schritt des Nachtrainierens den Vorteil, dass sich dadurch ein individuell nachtrainiertes Netz viel gezielter an die jeweiligenThe “knowledge of the crowd” principle can in many cases classify ensembles better than individual neural networks. Overall, the step of retraining offers the advantage that an individually retrained network adapts to the respective ones in a much more targeted manner
Gegebenheiten und Bedürfnisse einzelner Haushalte anpassen lassen kann. Darüber hinaus kann ein für jeden Nutzer individuelle nachtrainiertes neuronales Netz die individuellencan be adapted to the circumstances and needs of individual households. In addition, a neural network that is individually retrained for each user can
Gegebenheiten eines Haushaltes optimal abbilden, da von Haushalt zu Haushalt ı5 Unterschiede in Beladungsweisen (unten werden zum Beispiel große Teile eher grob eingeräumt) und Spülgutarten (mal mehr Porzellan, mal mehr Kunststoff, mal mehr Töpfe undOptimally reflect the circumstances of a household, as there are differences from household to household in terms of loading methods (for example, large items are put away rather roughly at the bottom) and types of items to be washed (sometimes more porcelain, sometimes more plastic, sometimes more pots, etc.).
Pfannen) bestehen. Zudem lassen sich vorteilhafterweise mit der Zeit spezialisiertepans). In addition, specialized ones can advantageously be developed over time
Grundmodelle für verschiedene Länder und Esskulturen entwickeln.Develop basic models for different countries and food cultures.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um dieThe approach presented here also creates a device that is designed to
Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern beziehungsweise umzusetzen. Auch durch dieseTo carry out, control or implement steps of a variant of a method presented here in appropriate facilities. Also through this one
Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.Embodiment variant of the invention in the form of a device, the object on which the invention is based can be solved quickly and efficiently.
Die Vorrichtung kann ausgebildet sein, um Eingangssignale einzulesen und unterThe device can be designed to read in input signals and
Verwendung der Eingangssignale Ausgangssignale zu bestimmen und bereitzustellen. EinUsing the input signals to determine and provide output signals. A
Eingangssignal kann beispielsweise ein über eine Eingangsschnittstelle der Vorrichtung einlesbares Sensorsignal darstellen. Ein Ausgangssignal kann ein Steuersignal oder einInput signal can, for example, represent a sensor signal that can be read in via an input interface of the device. An output signal can be a control signal or a
Datensignal darstellen, das an einer Ausgangsschnittstelle der Vorrichtung bereitgestellt werden kann. Die Vorrichtung kann ausgebildet sein, um die Ausgangssignale unterRepresent data signal that can be provided at an output interface of the device. The device can be designed to receive the output signals
Verwendung einer in Hardware oder Software umgesetzten Verarbeitungsvorschrift zu bestimmen. Beispielsweise kann die Vorrichtung dazu eine Logikschaltung, einen integriertenTo determine the use of a processing rule implemented in hardware or software. For example, the device can have a logic circuit, an integrated one
Schaltkreis oder ein Softwaremodul umfassen und beispielsweise als ein diskretesInclude a circuit or a software module and, for example, as a discrete one
Bauelement realisiert sein oder von einem diskreten Bauelement umfasst sein.Component can be realized or encompassed by a discrete component.
Zudem wird ein Spülgerät mit einer Variante der zuvor vorgestellten Vorrichtung und mitIn addition, a dishwashing device with a variant of the previously presented device and with
Mindestens einer Kameraeinheit zum Erfassen eines Innenraums des Spülgeräts vorgestellt.Presented at least one camera unit for recording an interior of the dishwashing device.
Beispielsweise kann es sich bei dem Spülgerät um einen Geschirrspüler zum Reinigen vonFor example, the dishwashing device can be a dishwasher for cleaning
Geschirr handeln, das ausgebildet sein kann, um sich innerhalb eines Heimnetzwerks mit anderen Haushaltgeräten zu vernetzen. Mit anderen Worten kann es sich bei dem Spülgerät um einen Geschirrspüler mit Kamera und bildabhängigem, konfigurierbarem Autostart handeln. Durch diese Kombination eines Spülgeräts mit einer Kameraeinheit und einer s Vorrichtung können die zuvor genannten Vorteile optimal umgesetzt werden.Act dishes that can be designed to network with other household appliances within a home network. In other words, the dishwashing device can be a dishwasher with a camera and image-dependent, configurable autostart. Through this combination of a dishwashing device with a camera unit and a device, the advantages mentioned above can be optimally implemented.
Von Vorteil ist auch ein Computer-Programmprodukt oder Computerprogramm mitA computer program product or computer program is also advantageous
Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einemProgram code stored on a machine-readable carrier or storage medium such as a
Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann. Wird das Programmprodukt oder Programm auf einem Computer oder einerSemiconductor memory, a hard drive memory or an optical memory can be stored. Is the program product or program on a computer or a
Vorrichtung ausgeführt, so kann das Programmprodukt oder Programm zur Durchführung,Device executed, the program product or program for implementation,
Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet werden.Implementation and/or control of the steps of the method according to one of the embodiments described above can be used.
Auch wenn der beschriebene Ansatz anhand eines Haushaltgeräts beschrieben wird, kann die hier beschriebene Vorrichtung/Verfahren entsprechend im Zusammenhang mit einem gewerblichen oder professionellen Gerät, beispielsweise einem medizinischen Gerät, wie einem Reinigungs- oder Desinfektionsgerät, einem Kleinsterilisator, einemEven if the described approach is described using a household appliance, the device/method described here can accordingly be used in connection with a commercial or professional device, for example a medical device, such as a cleaning or disinfection device, a small sterilizer, a
Großraumdesinfektor oder einer Container-Waschanlage eingesetzt werden.Large-scale disinfector or a container washing system can be used.
Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen rein schematisch dargestellt und wird nachfolgend näher beschrieben. Es zeigtAn exemplary embodiment of the invention is shown purely schematically in the drawings and is described in more detail below. It shows
Figur 1 eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts mit einer Vorrichtung zum Steuern eines Verfahrens zum Ansteuern desFigure 1 shows a schematic representation of an exemplary embodiment of a dishwashing device with a device for controlling a method for controlling the
Spülgeräts;dishwashing device;
Figur 2 ein Ablaufdiagramm eines Verfahrens zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel;Figure 2 shows a flowchart of a method for controlling a flushing device according to an exemplary embodiment;
Figur3 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel;Figure 3 is a block diagram of a device according to an exemplary embodiment;
Figur 4 ein Ablaufdiagramm eines Verfahrens zum Trainieren eines Modells zumFigure 4 is a flowchart of a method for training a model
Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel;Controlling a flushing device according to an exemplary embodiment;
Figur 5 ein Ablaufdiagramm eines anderen Verfahrens zum Trainieren eines Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel; undFigure 5 shows a flowchart of another method for training a model for controlling a flushing device according to an exemplary embodiment; and
Figur 6 ein Ablaufdiagramm eines Verfahrens zum Nachtrainieren eines Modells zumFigure 6 is a flowchart of a method for retraining a model
Ansteuern eines Spülgeräts gemäß einem AusführungsbeispielControlling a dishwashing device according to an exemplary embodiment
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts 100 mit einer Vorrichtung 105 zum Steuern eines Verfahrens zum Ansteuern des Spülgeräts 100. Bei dem hier dargestellten Spülgerät 100 handelt es sich beispielhaft um einenFigure 1 shows a schematic representation of an exemplary embodiment of a washing device 100 with a device 105 for controlling a method for controlling the washing device 100. The washing device 100 shown here is an example
Geschirrspüler. Das Spülgerät 100 weist einen Innenraum 107 auf, der in diesemDishwasher. The dishwashing device 100 has an interior 107 in this
Ausführungsbeispiel mit der Tür 110 verschließbar ist. Innerhalb des Innenraums 107 sind lediglich beispielhaft drei Körben 115, 116, 117 zur Aufnahme von verschiedenen Objekten als zu spülendes Spülgut 120a, 120b, bei denen es sich beispielhaft um Geschirr und s Kochutensilien handelt. Um diese Objekte zu reinigen, umfasst das Spülgerät 100 in diesemEmbodiment can be closed with the door 110. Within the interior 107 there are three baskets 115, 116, 117 for holding various objects as items 120a, 120b to be washed, which are, for example, dishes and cooking utensils. In order to clean these objects, the washing device includes 100 in this
Ausführungsbeispiel eine Sprüheinrichtung mit beispielhaft drei rotierbaren Sprüharmen 125, 126, 127. Mittels aus den Sprüharmen 125, 126, 127 austretenden Sprühstrahlen sind dieEmbodiment of a spray device with, for example, three rotatable spray arms 125, 126, 127. By means of spray jets emerging from the spray arms 125, 126, 127, the
Objekte 120 während eines Spülprogramms reinigbar. Der Druck für die aus den Sprüharmen 125, 126, 127 austretenden Sprühstrahlen ist beispielhaft von einer Umwälzpumpe 130 11 erzeugbar. Mit einer Wasserweiche 131 ist zudem beispielhaft zwischen den einzelnenObjects 120 can be cleaned during a washing program. The pressure for the spray jets emerging from the spray arms 125, 126, 127 can be generated, for example, by a circulation pump 130 11. A water switch 131 is also an example between the individual ones
Sprüharmen 125, 126, 127 umschaltbar. Solche und andere Aktionen des Spülgeräts 100 sind in einem Ausführungsbeispiel mittels einer Gerätesteuereinrichtung 135 steuerbar.Spray arms 125, 126, 127 switchable. Such and other actions of the flushing device 100 can be controlled in one exemplary embodiment by means of a device control device 135.
Um ein Reinigungsprogramm optimiert auf einen aktuellen Beladungszustand des Spülgeräts 100 automatisiert zu steuern, weist das Spülgerät zudem die Vorrichtung 105 auf sowie eine ı5 Kameraeinheit 140 zum Erfassen des Innenraums 107. In einem Ausführungsbeispiel ist dieIn order to automatically control a cleaning program optimized for a current load status of the washing device 100, the washing device also has the device 105 and a camera unit 140 for recording the interior 107. In one exemplary embodiment, the
Kameraeinheit 140 an der Tür 110 angeordnet und ausgebildet, um ansprechend auf einCamera unit 140 arranged on the door 110 and designed to be responsive to a
Öffnen oder Schließen der Tür 110 ein Bild des Innenraums 107 und dadurch auch von darin angeordneten Objekten 120 aufzunehmen. Das von der Kameraeinheit 140 erfasste Bild desOpening or closing the door 110 takes an image of the interior 107 and thereby also of objects 120 arranged therein. The image captured by the camera unit 140
Innenraums 107 ist unter Verwendung eines Kamerasignals 145 an die Vorrichtung 105 bereitstellbar.Interior 107 can be provided to device 105 using a camera signal 145.
Die Vorrichtung 105 ist ausgebildet, um das Kamerasignal 145 einzulesen und das von derThe device 105 is designed to read the camera signal 145 and that from the
Kameraeinheit 140 erfasste Bild unter Verwendung des Kamerasignals und unterCamera unit 140 captured image using the camera signal and under
Verwendung eines Modells auszuwerten. In einem Ausführungsbeispiel ist das Modell derEvaluate the use of a model. In one embodiment, the model is the
Vorrichtung 105 hierfür als beispielhaft vortrainiertes neuronales Netz ausgebildet, um zwei sich voneinander unterscheidende Beladungszustände des Innenraums 107 zu unterscheiden. In einem Ausführungsbeispiel ist dabei ein nicht voll beladener Innenraum 107, in dem beispielhaft nur wenige oder gar keine Objekte 120 angeordnet sind, von einem voll beladenen Innenraum 107 unterscheidbar, der beispielhaft zu mindestens achtzigDevice 105 for this purpose is designed as an example of a pre-trained neural network in order to distinguish between two different loading states of the interior 107. In one exemplary embodiment, a not fully loaded interior 107, in which, for example, only a few or no objects 120 are arranged, can be distinguished from a fully loaded interior 107, which, for example, has at least eighty
Prozent mit zu spülenden Objekten 120 gefüllt ist.Percent filled with objects to be washed 120.
Wenn das Bild von der Kameraeinheit 140 erfasst und unter Verwendung des Kamerasignals 145 eingelesene Bild einen Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht, dann ist durch die Vorrichtung 105 ein Steuersignal 150 ausgebbar, um ein Spülprogramm zum Spülen der Objekte 120 zu steuern. In einemIf the image captured by the camera unit 140 and read in using the camera signal 145 represents a loading state of the interior that corresponds to at least a starting loading quantity, then a control signal 150 can be output by the device 105 in order to control a washing program for washing the objects 120. In one
Ausführungsbeispiel ist das Steuersignal 150 an die Gerätesteuereinrichtung 135 bereitstellbar, um eine entsprechende Aktorik des Spülgeräts 100 anzusteuern.In the exemplary embodiment, the control signal 150 can be provided to the device control device 135 in order to control a corresponding actuator system of the washing device 100.
Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte Verfahren 200 kann zum Ansteuern eines Spülgeräts, wie es in der vorangegangenen Figur beschrieben wurde, eingesetzt werden.Figure 2 shows a flowchart of a method 200 for controlling a flushing device according to an exemplary embodiment. The method 200 shown here can be used to control a flushing device, as described in the previous figure.
Das Verfahren 200 umfasst einen Schritt 205 des Einlesens eines Kamerasignals von derThe method 200 includes a step 205 of reading a camera signal from the
Kameraeinheit, wobei das Kamerasignal ein von der Kameraeinheit erfasstes Bild desCamera unit, wherein the camera signal is an image of the image captured by the camera unit
Innenraums des Spülgeräts repräsentiert.The interior of the dishwasher is represented.
Daraufhin folgt ein Schritt 210 des Auswertens des Bilds unter Verwendung desThis is followed by a step 210 of evaluating the image using the
Kamerasignals und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums unterscheidbar sind.Camera signal and using a model through which at least two different loading states of the interior can be distinguished.
Weiterhin umfasst das Verfahren einen Schritt 215 des Ausgebens eines Steuersignals zumFurthermore, the method includes a step 215 of outputting a control signal
Steuern eines Spülprogramms zum Spülen von Objekten im Innenraum, wenn das Bild einenControlling a washing program to wash objects in the interior when the image has a
Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht. ı5 In einem Ausführungsbeispiel wird im Schritt 205 des Einlesens zudem einRepresents the loading state of the interior, which corresponds to at least a starting load quantity. ı5 In one exemplary embodiment, in step 205 of reading in, a
Bildinformationssignal eingelesen, das mindestens eine zusätzliche Information zu dem Bild repräsentiert, beispielhaft einen Aufnahmezeitpunkt des erfassten Bilds. Dabei wird lediglich beispielhaft im Schritt 210 des Auswertens das Bild unter Verwendung desImage information signal is read in, which represents at least one additional piece of information about the image, for example a recording time of the captured image. Only as an example in step 210 of evaluating the image using the
Bildinformationssignals ausgewertet.Image information signal evaluated.
Zusätzlich oder alternativ wird in einem Ausführungsbeispiel im Schritt des Einlesens einAdditionally or alternatively, in one exemplary embodiment, in the reading step
Nutzersignal eingelesen, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle repräsentiert. Beispielhaft wird an der Nutzerschnittstelle, bei der es sich um ein Display amUser signal read in, which represents an input from a user on a user interface. An example is the user interface, which is a display on the
Spülgerät oder beispielsweise eine App eines Mobilgeräts handeln kann, eine Information bezüglich des gewünschten Spülprogramms eingegeben, beispielhaft eine gewünschteWashing device or, for example, an app on a mobile device can act, information regarding the desired washing program is entered, for example a desired one
Uhrzeit und/oder ein Wochentag. Im Schritt des Ausgebens 215 wird dann lediglich beispielhaft das Steuersignal unter Verwendung des Nutzersignals ausgegeben.Time and/or a day of the week. In the output step 215, the control signal is then output using the user signal, merely as an example.
Optional wird im Schritt 205 des Einlesens auch ein Sensorsignal von einerOptionally, in step 205 of reading, a sensor signal from a
Sensorschnittstelle zu einem Sensor eingelesen, wobei das Sensorsignal mindestens einen von dem Sensor erfassten Umgebungsparameter einer Umgebung des Spülgeräts repräsentiert. Beispielhaft handelt es sich bei dem Sensor um eine Einrichtung zum Erfassen einer Person. Im Schritt 215 des Ausgebens wird lediglich beispielhaft das Steuersignal unterSensor interface read to a sensor, wherein the sensor signal represents at least one environmental parameter of an environment of the dishwashing device detected by the sensor. By way of example, the sensor is a device for detecting a person. In step 215 of outputting, the control signal is only used as an example
Verwendung des Sensorsignals ausgegeben, beispielhaft unter der Prämisse, dass einUsing the sensor signal output, for example under the premise that a
Spülprogramm nur dann gestartet wird, wenn eine Person erfasst wurde. In einem anderenThe flushing program is only started when a person has been detected. In another
Ausführungsbeispiel kann der Sensor auch andere Umgebungsparameter erfassen,In the exemplary embodiment, the sensor can also detect other environmental parameters,
beispielsweise einen zur Verfügung stehenden Stromfluss oder ein innerhalb eines vorbestimmten Bereichs verortetes Mobilgerät.for example, an available power flow or a mobile device located within a predetermined area.
In einem Ausführungsbeispiel wird zudem im Schritt 210 des Auswertens das Bild einer ersten Bildkategorie oder einer zweiten Bildkategorie zugeordnet, wobei die erste s Bildkategorie einem nicht vollen Beladungszustand des Innenraums entspricht und die zweiteIn one exemplary embodiment, the image is also assigned to a first image category or a second image category in step 210 of evaluation, the first image category corresponding to an incomplete loading state of the interior and the second
Bildkategorie dem vollen Beladungszustand entspricht.Image category corresponds to the full loading status.
Dabei wird lediglich beispielhaft das Bild verworfen, wenn ein vorbestimmter Bildparameter nicht erfüllt ist, zum Beispiel bei einer Über- oder Unterbelichtung der Aufnahme.The image is simply discarded as an example if a predetermined image parameter is not met, for example if the image is overexposed or underexposed.
In einem Ausführungsbeispiel wird zudem im Schritt 215 des Ausgebens das Steuersignal an eine Nutzerschnittstelle zu einem Nutzer ausgegeben. Bei der Nutzerschnittstelle handelt es sich beispielhaft um eine App auf einem Mobilgerät des Nutzers, wobei unter Verwendung des Steuersignals beispielhaft eine Push-Nachricht erzeugt wird, die den Nutzer über einen möglichen Spülstart informiert. Das Spülprogramm wird dann lediglich beispielhaft ansprechend auf ein Antwortsignal angesteuert, wobei das Antwortsignal eine Eingabe des ı5 Nutzers an der Nutzerschnittstelle repräsentiert. In einem Ausführungsbeispiel wird unterIn one embodiment, the control signal is also output to a user interface to a user in step 215 of output. The user interface is, for example, an app on the user's mobile device, whereby using the control signal, for example, a push message is generated which informs the user about a possible flushing start. The flushing program is then controlled in response to a response signal merely by way of example, the response signal representing an input from the user at the user interface. In one embodiment, under
Verwendung des Antwortsignals eine Wunscheinstellung des Nutzers umgesetzt, beispielhaft eine Bestätigung des Starts des Spülprogramms oder eine Ablehnung desselben.Using the response signal, a desired setting of the user is implemented, for example a confirmation of the start of the washing program or a rejection of the same.
Mit anderen Worten lässt sich das hier dargestellte Verfahren wie folgt beschreiben:In other words, the process presented here can be described as follows:
Im Unterschied zu anderen Verfahren zum Ansteuern eines Spülgerät wird in dem hier dargestellten Verfahren 200 keine Bestimmung des Beladungsgrades als eine Zahl und derIn contrast to other methods for controlling a flushing device, in the method 200 shown here, the degree of loading is not determined as a number and the
Vergleich mit einem (vom Nutzer individualisierbaren) Schwellwert zur Ermittlung des optimalen Zeitpunktes für einen autonomen Spülstart des Geschirrspülers benötigt. DasComparison with a threshold value (which can be customized by the user) is required to determine the optimal time for the dishwasher to start rinsing autonomously. The
Verfahren 200 kommt ohne einen Beladungsgrad in Form einer Zahl aus, ermöglicht denMethod 200 does not require a loading level in the form of a number, enables the
Nutzern aber trotzdem eine Anpassung des Verfahrens an die persönlichenUsers can still adapt the process to their personal needs
Nutzungsvorlieben.Usage preferences.
Dies wird mit einem Algorithmus (neuronales Netz) realisiert, das zum Beispiel mitThis is realized with an algorithm (neural network), for example with
Trainingsbildern aus Versuchshaushalten trainiert wurde. Angereichert durchtraining images from test households. Enriched by
Maschinendaten können Bilder, bei denen der Geschirrspüler tatsächlich vomMachine data can contain images where the dishwasher is actually from
Versuchshaushalt gestartet wurde, automatisch mit dem Klassenlabel „Start" versehen worden sein. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstanden sind, mit einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichenWhen the experimental household was started, the class label “Start” must have been automatically assigned to it. Remaining images, which were created when the dishwasher door was closed, with a time interval (for example a predetermined or predefinable time interval
Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach demMinimum distance, approximately 30 minutes, before a start) or after
Ausräumen wurden ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „KeinCleanouts were also taken into account and automatically assigned the class label “None.”
Start" versehen. Ein mit solchen Beispielen trainiertes Grundmodell kann bei ausreichenderStart". A basic model trained with such examples can be used with sufficient
Datenlage und hinreichender Tests bereits im Auslieferungszustand von Geschirrspülern mitData availability and sufficient tests are already included in the delivery condition of the dishwashers
Kamera im Gerät oder über die Cloud allen Nutzern gleichermaßen zur Nutzung verfügbar gemacht werden. Es ist in der Lage, die binäre Entscheidung zu treffen, ob ein Kamerabild, das beim Türschließen entstand, einen Spülinnenraum zeigt, der für einen autonomen s Spülstart hinreichend gefüllt ist, ohne dass eine Beladungsgradzahl bestimmt werden musste.Camera in the device or via the cloud can be made equally available to all users for use. It is able to make the binary decision as to whether a camera image that was created when the door was closed shows a flushing interior that is sufficiently filled for an autonomous flushing start, without having to determine a load level.
Um den Betrieb mehrerer Netze (in einem Ensemble) effizienter zu gestalten, kann dasIn order to make the operation of multiple networks (in an ensemble) more efficient, this can be done
Gesamtverhalten eines Ensembles optional mittels „Knowledge Distillation" auf ein einzelnesOverall behavior of an ensemble can optionally be reduced to a single one using “Knowledge Distillation”.
Netz übertragen werden. Ursprünglich wurde Knowledge Distillation (KD) entwickelt, um dasnetwork. Knowledge Distillation (KD) was originally developed to...
Verhalten von großen, ressourcenhungrigen Netzen in kleinere, effizientere Netze zu übertragen, ohne dass die Klassifikationsgenauigkeit dabei nennenswert leidet. Es lässt sich mittels KD aber auch das Verhalten von Ensembles in Einzelnetze übertragen.To transfer the behavior of large, resource-hungry networks to smaller, more efficient networks without significantly affecting classification accuracy. The behavior of ensembles can also be transferred to individual networks using KD.
Die Nutzer können somit ihren Geschirrspüler mittels Spülplaner programmieren - jedoch mit einer oder mehreren Vorzugszeiten. Sobald das obere Grundmodell oder ein individualisiertes Modell ein Kamerabild mit „Start" klassifiziert, wird innerhalb der nächstenUsers can therefore program their dishwasher using the dishwashing scheduler - but with one or more preferred times. As soon as the upper basic model or an individualized model classifies a camera image with "Start", within the next
Vorzugszeit automatisch der Spüler gemäß der im Spülplaner eingestellten Parameter gestartet.Preferential time the dishwasher starts automatically according to the parameters set in the flush scheduler.
Figur 3 zeigt ein Blockschaltbild einer Vorrichtung 105 gemäß einem Ausführungsbeispiel.Figure 3 shows a block diagram of a device 105 according to an exemplary embodiment.
Die hier dargestellte Vorrichtung 105 entspricht oder ähnelt der in der vorangegangenenThe device 105 shown here corresponds to or is similar to that in the previous one
Figur 1 beschriebenen Vorrichtung, mit dem Unterschied, dass die Vorrichtung 105 in diesemFigure 1 described device, with the difference that the device 105 in this
Ausführungsbeispiel auf einem zu dem in der vorangegangenen Figur 1 beschriebenenEmbodiment based on one described in the previous Figure 1
Spülgerät 100 externen Server beziehungsweise in einer sogenannten Cloud betreibbar ist.Flushing device 100 can be operated on an external server or in a so-called cloud.
Die Vorrichtung 105 umfasst ein beispielhaft als neuronales Netz ausgebildetes Modell 300 und ist ausgebildet, um ein Verfahren, wie es in der vorangegangenen Figur 2 beschrieben wurde, zu steuern.The device 105 includes a model 300 designed, for example, as a neural network and is designed to control a method as described in the previous Figure 2.
Hierfür ist die Vorrichtung 105 ausgebildet, um ein Kamerasignal 145 von der Kameraeinheit 140 einzulesen, wobei das Kamerasignal 145 ein von der Kameraeinheit 140 erfasstes Bild eines Innenraums des Spülgeräts 100 repräsentiert. Unter Verwendung des Kamerasignals 145 sowie des Modells 300 ist das von der Kameraeinheit 140 bereitgestellte Bild durch dieFor this purpose, the device 105 is designed to read in a camera signal 145 from the camera unit 140, the camera signal 145 representing an image of an interior of the dishwasher 100 captured by the camera unit 140. Using the camera signal 145 and the model 300, the image provided by the camera unit 140 is through the
Vorrichtung 105 auswertbar. Durch das Modell 300 sind dabei mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums unterscheidbar. So ist in einem Ausführungsbeispiel das Bild einer ersten Bildkategorie oder einer zweitenDevice 105 can be evaluated. The 300 model makes it possible to distinguish between at least two different load states in the interior. In one embodiment, the image is of a first image category or a second
Bildkategorie zuordenbar, wobei die erste Bildkategorie einem nicht vollen Beladungszustand des Innenraums entspricht und die zweite Bildkategorie einem vollen Beladungszustand entspricht.Image category can be assigned, whereby the first image category corresponds to a not fully loaded state of the interior and the second image category corresponds to a fully loaded state.
Die Vorrichtung 105 ist weiterhin ausgebildet, um ein Steuersignal 150 auszugeben, um einThe device 105 is further designed to output a control signal 150 in order to
Spülprogramm zum Spülen von Objekten im Innenraum anzusteuern, wenn das Bild einenTo activate the washing program for washing objects in the interior when the picture shows one
Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht. In einem Ausführungsbeispiel ist das Steuersignal 150 an eine s Gerätesteuereinrichtung 135 des Spülgeräts 100 ausgebbar, wobei dieRepresents the loading state of the interior, which corresponds to at least a starting load quantity. In one exemplary embodiment, the control signal 150 can be output to a device control device 135 of the washing device 100, whereby the
Gerätesteuereinrichtung 135 beispielhaft ausgebildet ist, um eine Aktorik des Spülgeräts 100 zum Durchführen eines Spülprogramms anzusteuern.Device control device 135 is designed, for example, to control an actuator of the washing device 100 to carry out a washing program.
In einem Ausführungsbeispiel ist die Kameraeinheit 140 ausgebildet, um zusätzlich zu demIn one embodiment, the camera unit 140 is designed to additionally
Kamerasignal 145 ein Bildinformationssignal 305 bereitzustellen, wobei das 101 Bildinformationssignal 305 beispielhaft eine zusätzliche Information zu dem bereitgestelltenCamera signal 145 to provide an image information signal 305, the 101 image information signal 305 exemplifying additional information to that provided
Bild repräsentiert, beispielhaft einen Zeitstempel. Die Vorrichtung 105 ist ausgebildet, um dasImage represents, for example, a timestamp. The device 105 is designed to do this
Bildinformationssignal 305 einzulesen und die Bildinformation beispielhaft unter Verwendung des Modells 300 auszuwerten.Read in image information signal 305 and evaluate the image information, for example, using model 300.
Zudem ist die Vorrichtung 105 in einem Ausführungsbeispiel ausgebildet, um ein Nutzersignal 310 einzulesen, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle 315a repräsentiert. In einem Ausführungsbeispiel ist die Nutzerschnittstelle 315 beispielhaft alsIn addition, the device 105 is designed in one exemplary embodiment to read in a user signal 310, which represents an input from a user at a user interface 315a. In one embodiment, the user interface 315 is exemplary as
Touch-Display an dem Spülgerät 100 ausgebildet. Dabei sind lediglich beispielhaft verschiedene anwenderspezifische Eingaben an der Nutzerschnittstelle 315 eingebbar, beispielhaft gewünschte Uhrzeiten oder Wochentage zum Durchführen eines SpülprogrammTouch display is formed on the dishwashing device 100. Various user-specific inputs can only be entered into the user interface 315 by way of example, for example desired times or days of the week for carrying out a washing program
Oder die Bevorzugung eines bestimmten Programms, beispielsweise einer Wasser- sparenden Variante. Unter Verwendung des Nutzersignals 310 sind solche und ähnlicheOr the preference for a certain program, for example a water-saving option. Using the user signal 310 are such and similar
Eingaben beim Ansteuern des Spülgeräts 100 durch die Vorrichtung 105 anwendbar.Inputs applicable when controlling the flushing device 100 by the device 105.
In einem Ausführungsbeispiel ist die Vorrichtung 105 weiterhin ausgebildet, um einIn one embodiment, the device 105 is further designed to be a
Sensorsignal 320 von einer Sensorschnittstelle 324 zu einem Sensor 328 einzulesen, wobei das Sensorsignal 320 mindestens einen von dem Sensor 328 erfasstenSensor signal 320 is read in from a sensor interface 324 to a sensor 328, wherein the sensor signal 320 detects at least one of the sensor 328
Umgebungsparameter einer Umgebung des Spülgeräts 100 repräsentiert. Der Sensor 328 ist in einem Ausführungsbeispiel ausgebildet, um eine Stromproduktion einer vorhandenenEnvironmental parameters of an environment of the flushing device 100 are represented. The sensor 328 is designed in one embodiment to detect current production of an existing one
Photovoltaikanlage zu erfassen und eine diesbezügliche Information unter Verwendung desTo record photovoltaic systems and provide relevant information using the
Sensorsignals 320 an die Vorrichtung 105 bereitzustellen. Ein automatischer Start einesSensor signal 320 to be provided to the device 105. An automatic start of one
Spülprogramms ist dadurch beispielhaft an eine hohe Stromproduktion koppelbar und dasThe washing program can therefore be linked to high electricity production and that
Steuersignal 150 in diesem Fall unter Verwendung des Sensorsignals 320 ausgebbar.Control signal 150 can be output in this case using sensor signal 320.
Zusätzlich oder alternativ ist das Steuersignal 150 auch an eine Nutzerschnittstelle 315b zu einem Nutzer ausgebbar. Lediglich beispielhaft ist ansprechend auf das Steuersignal 150 eine Nachricht an der Nutzerschnittstelle erzeugbar, die den Nutzer über einen möglichenAdditionally or alternatively, the control signal 150 can also be output to a user interface 315b. By way of example only, a message can be generated on the user interface in response to the control signal 150, informing the user about a possible
Spülstart informiert. Der Nutzer hat beispielhaft die Wahl, dem vorgeschlagenen Spülstart zuzustimmen oder ihn abzulehnen beziehungsweise zu verschieben. Die gewählte Antwort ist in einem Ausführungsbeispiel unter Verwendung eines Antwortsignals 330 von derRinse start informed. For example, the user has the choice of agreeing to the proposed flush start or rejecting or postponing it. The selected response is in one embodiment using a response signal 330 from the
Vorrichtung 105 einlesbar.Device 105 can be read.
In dem hier gezeigten Ausführungsbeispiel handelt es sich bei der Nutzerschnittstelle 315b, an der beispielhaft ein Spülstart wählbar oder ablehnbar ist, um eine andere s Nutzerschnittstelle 315b als die zuvor beschriebene Nutzerschnittstelle 315a zum Ausgeben des Nutzersignals 310. Lediglich beispielhaft handelt es sich bei ersterer um eine App auf einem Mobilgerät, während letztere in das Spülgerät 100 integriert ist. Die in dieser Figur gewählte Darstellung ist der Übersichtlichkeit wegen gewählt. In anderenIn the exemplary embodiment shown here, the user interface 315b, on which a flushing start can be selected or rejected, for example, is a different user interface 315b than the previously described user interface 315a for outputting the user signal 310. The former is only an example App on a mobile device, while the latter is integrated into the dishwashing device 100. The representation chosen in this figure is chosen for the sake of clarity. In other
Ausführungsbeispielen kann auch nur eine der beiden Nutzerschnittstellen 315a, 315b verfügbar sein oder alternativ können beide Nutzerschnittstellen 315a, 315b ausgebildet sein, um sowohl das Steuersignal einzulesen als auch das Nutzersignal 310 sowie dasIn exemplary embodiments, only one of the two user interfaces 315a, 315b can be available or, alternatively, both user interfaces 315a, 315b can be designed to read in both the control signal and the user signal 310 as well
Antwortsignal 330 auszugeben.Output response signal 330.
Figur 4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Trainieren eines Modells zumFigure 4 shows a flowchart of a method 400 for training a model
Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das Verfahren 400 ist ı5 beispielhaft zum Trainieren eines Modells anwendbar, wie es in der vorangegangenen Figur 3 beschrieben wurde, um ein Spülgerät anzusteuern, wie es in der vorangegangenen Figur 1 beschrieben wurde.Controlling a dishwashing device according to an exemplary embodiment. The method 400 can be used, for example, for training a model, as described in the previous Figure 3, in order to control a flushing device, as described in the previous Figure 1.
Das Verfahren 400 umfasst einen Schritt 405 des Einlesens eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer zweiten Bildkategorie zugeordnet sind.The method 400 includes a step 405 of reading in a first image data set, which represents a plurality of first images of an interior of a washing device, which are assigned to a first image category, and reading in a second image data set, which represents a plurality of second images of an interior of a washing device, which assigned to a second image category.
Weiterhin umfasst das Verfahren 400 einen Schritt 410 des Anpassens des Modells derart, dass die ersten Bilder der ersten Bildkategorie zugeordnet werden und die zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell zu trainieren.Furthermore, the method 400 includes a step 410 of adapting the model such that the first images are assigned to the first image category and the second images are assigned to the second image category in order to train the model.
In einem Ausführungsbeispiel umfasst das Verfahren 400 zudem einen Schritt 415 desIn one embodiment, the method 400 also includes a step 415 of
Nachtrainierens des Modells nach dem Schritt 410 des Anpassens. Im beispielhaften Schritt 415 des Nachtrainierens wird mindestens ein weiterer erster Bilddatensatz eingelesen, der eine Mehrzahl von weiteren ersten Bildern des Innenraums repräsentiert, die der erstenRetraining the model after step 410 of fitting. In the exemplary step 415 of retraining, at least one further first image data set is read in, which represents a plurality of further first images of the interior, those of the first
Bildkategorie zugeordnet sind. Zudem wird mindestens ein weiterer zweiter Bilddatensatz eingelesen, der eine Mehrzahl von weiteren zweiten Bildern des Innenraums repräsentiert, die der zweiten Bildkategorie zugeordnet sind. Dabei wird das Modell derart angepasst, dass die weiteren ersten Bilder der ersten Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.Image category are assigned. In addition, at least one further second image data set is read in, which represents a plurality of further second images of the interior that are assigned to the second image category. The model is adapted in such a way that the further first images are assigned to the first image category and the further second images are assigned to the second image category in order to retrain the basic model.
Anders formuliert werden bei dem hier vorgestellten Verfahren 400 zum Training eines neuronalen Netzes Bilder, bei denen der Geschirrspüler tatsächlich vom Versuchshaushalt gestartet wurde, angereichert durch Maschinendaten automatisch mit dem Klassenlabel „Start" versehen. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstehen, mit s einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichenIn other words, in the method 400 presented here for training a neural network, images in which the dishwasher was actually started by the test household, enriched by machine data, are automatically given the class label “Start”. Other images, which are created when the dishwasher door is closed, are included s a time interval (for example a predetermined or predeterminable time interval
Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach demMinimum distance, approximately 30 minutes, before a start) or after
Ausräumen werden ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „KeinClearouts are also taken into account and automatically given the class label “None.”
Start" versehen. Diese Bilder sollten vorm Trainieren des Grundmodells (neuronales Netz) zunächst von Menschen, später - zumindest teilweise - von bereits existierenden neuronalenStart". Before training the basic model (neural network), these images should first be taken from people, and later - at least partially - from already existing neural ones
Netzen überprüft werden. Im letzten Fall sollte nur in Grenzfällen, an denen ein bereits trainiertes Netz scheitert, durch Menschen überprüft werden.networks are checked. In the latter case, human testing should only be carried out in borderline cases where an already trained network fails.
Um dieses Grundmodell an nutzungsspezifische Bedürfnisse anzupassen, ist optional derIn order to adapt this basic model to usage-specific needs, the
Schritt 415 des Nachtrainierens durchführbar. Dabei werden nach dem gleichen Prinzip wie beim Trainieren des Grundmodells durch den Geschirrspüler des Nutzers Start- undStep 415 of retraining can be carried out. This uses the same principle as when training the basic model with the user's dishwasher
Nichtstart-Bilder gesammelt und durch bestehende neuronale Netze automatisch mit dem (lokalen) Grundmodell auf die korrekte Zuordnung der Klassenlabel geprüft. Hierbei sind leichte Ungenauigkeiten vertretbar, um sich dem individuellen Nutzungsverhalten annähern zu können. Sobald genügend Bilder über einen gewissen Zeitraum für beide Klassenlabel vorliegen, kann (gegebenenfalls nach Freigabe durch den Nutzer) das Grundmodell mit den gesammelten Daten mittels Transferlernen nachtrainiert werden. Solange die Rechen- undNon-start images are collected and automatically checked by existing neural networks with the (local) basic model for the correct assignment of the class labels. Slight inaccuracies are acceptable in order to be able to approximate individual usage behavior. As soon as there are enough images for both class labels over a certain period of time, the basic model can be retrained with the collected data using transfer learning (if necessary after approval by the user). As long as the calculation and
Speicherkapazitäten eines Geschirrspülers für das Training von neuronalen Netzen nicht ausreichend sind, sollte dieser Schritt zum Beispiel auf Servern (in der Cloud) des Herstellers erfolgen. Rein theoretisch steht einem lokalen Nachtrainieren im Geschirrspüler nichts entgegen. Zu Entwicklungszwecken besteht aber berechtigtes Interesse an nachtrainiertenIf the memory capacity of a dishwasher is not sufficient for training neural networks, this step should be carried out on the manufacturer's servers (in the cloud), for example. Purely theoretically, there is nothing stopping you from re-training locally in the dishwasher. However, there is a legitimate interest in post-training for development purposes
Modellen, sowie an den hierfür genutzten Trainingsdaten. Hierdurch lässt sich dasmodels, as well as the training data used for this. This makes it possible
Grundmodell weiter verfeinern und verbessern. Am einfachsten und naheliegendsten gestaltet sich das Neutrainieren des Grundmodells mit durch weitere Trainingsbeispiele aus verschiedenen Haushalten angereichertem Datensatz. Alternativ lassen sich mehrere nachtrainierte Modelle (eventuell zusammen mit dem Grundmodell) zu sogenanntenFurther refine and improve the basic model. The easiest and most obvious way is to retrain the basic model with a data set enriched with additional training examples from different households. Alternatively, several retrained models (possibly together with the basic model) can be created into so-called
Ensembles zusammenschließen, deren Gesamtergebnis dem Mittel der Einzelergebnisse entspricht. Gemäß dem Prinzip „Wissen der Masse" klassifizieren Ensembles in vielen Fällen besser als einzelne neuronale Netze.Combine ensembles whose overall result corresponds to the average of the individual results. In accordance with the “knowledge of the crowd” principle, ensembles classify better in many cases than individual neural networks.
Das beschriebene Verfahren 400 verringert den für die Durchführung benötigtenThe described method 400 reduces the amount required for implementation
Energieaufwand durch den Wegfall der Notwendigkeit, Bildern händisch möglichst genaueEnergy expenditure by eliminating the need to create images that are as accurate as possible by hand
Zahlen, die den Beladungsgrad repräsentieren, zuzuordnen. Es bleibt lediglich die Kontrolle, ob die gesammelten Startbilder tatsächlich einen hinreichend gefüllten Spülinnenraum zeigen, oder ob der Geschirrspüler vorzeitig, ohne hinreichend gefüllt zu sein, gestartet wurde. Allein mit diesen Informationen („Start ist sinnvoll" oder „Start lohnt noch nicht") und den zugehörigen Trainingsbildern, ist es einem Algorithmus bereits möglich, die Bestimmung eines optimalen Zeitpunktes durchzuführen, bei dem der Geschirrspüler hinreichend gefüllt ist, um ihn automatisch zu starten, damit die Nutzer immer genügend sauberes Geschirr zur s Verfügung haben, ohne dass unnötig Ressourcen in Anspruch genommen werden. Auch dieAssign numbers that represent the degree of loading. All that remains is to check whether the collected start images actually show a sufficiently filled dishwasher interior or whether the dishwasher was started prematurely without being sufficiently filled. With just this information ("Starting makes sense" or "Starting is not worth it yet") and the associated training images, it is already possible for an algorithm to determine an optimal point in time at which the dishwasher is sufficiently full to start it automatically so that users always have enough clean dishes available without unnecessary use of resources. Also the
Individualisierbarkeit des Algorithmus und die Anpassung an spezifische Vorlieben ist gegeben, sogar ohne dass die Nutzer eine unter Umständen abstrakte Zahl alsThe algorithm can be customized and adapted to specific preferences, even without the user having to specify an abstract number
Beladungsgrad einstellen müssten - die Algorithmen lernen automatisch aus nutzereigenenLoading level would have to be set - the algorithms learn automatically from the user's own
Beispielen, inklusive automatischer Kontrolle der individualisierten Algorithmen. Ein solches individuell nachtrainierbares Netz lässt sich gezielt an die jeweiligen Gegebenheiten undExamples, including automatic control of the individualized algorithms. Such an individually retrainable network can be tailored specifically to the respective circumstances
Bedürfnisse einzelner Haushalte anpassen.Adapt to the needs of individual households.
Figur 5 zeigt ein Ablaufdiagramm eines anderen Verfahrens 500 zum Trainieren einesFigure 5 shows a flowchart of another method 500 for training a
Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte andere Verfahren 500 ähnelt dem in der vorangegangenen Figur 4 beschriebenen Verfahren zum Trainieren eines Modells, mit dem Unterschied, dass das hier dargestellte Verfahren 500 zusätzliche und alternative Schritte umfasst.Model for controlling a dishwashing device according to an exemplary embodiment. The other method 500 shown here is similar to the method for training a model described in the previous FIG. 4, with the difference that the method 500 shown here includes additional and alternative steps.
Das Verfahren 500 umfasst einen Schritt 505 des Aufnehmens. In diesem Schritt wird beispielhaft eine Bildaufnahme bei einem Türschließen beziehungsweise bei einem (manuellem) Programmstart des Spülgeräts getätigt und lediglich beispielhaft in eine CloudThe method 500 includes a step 505 of recording. In this step, an image is taken as an example when the door is closed or when the dishwashing device starts a (manual) program and, for example, into a cloud
Übertragen.Transmitted.
Im folgenden Schritt 510 des Sortierens wird eine Mehrzahl von Bildern gemäßIn the following step 510 of sorting, a plurality of images are according to
Maschinendaten herstellerseitig innerhalb der Cloud als „Start“- und „Kein Start“-Bilder sortiert.Machine data sorted by the manufacturer within the cloud as “Start” and “No Start” images.
Das Verfahren 500 umfasst weiterhin einen Schritt 515 des Überprüfens, in dem die in derThe method 500 further includes a step 515 of checking, in which the in the
Cloud sortierten Bilder überprüft werden. Dieser Schritt wird optional durch Menschen und/oder einem bestehenden Algorithmus durchgeführt.Cloud sorted images can be checked. This step is optionally carried out by humans and/or an existing algorithm.
Daraufhin folgt im Schritt 520 das Trainieren des Modells, das auch als Grundmodell bezeichnet werden kann, mit den gesammelten und aufbereiteten Daten. Auch dieser Schritt wird lediglich beispielhaft in der Cloud durchgeführt.This is followed in step 520 by training the model, which can also be referred to as the basic model, with the collected and processed data. This step is also only carried out in the cloud as an example.
Im folgenden Schritt 525 des Bereitstellens wird schließlich das geprüfte Grundmodell zurIn the following step 525 of providing, the checked basic model finally becomes available
Nutzung über die Cloud oder im Gerät bereitgestellt.Use via the cloud or delivered on the device.
In einem Ausführungsbeispiel werden nach dem Schritt 525 des Bereitstellens erneut die vorangegangenen Schritte 505, 510, 515, 520 durchgeführt, so dass das Verfahren 500 als geschlossene Schleife zur kontinuierlichen Verbesserung des Grundmodells genutzt wird.In one exemplary embodiment, after step 525 of providing, the previous steps 505, 510, 515, 520 are carried out again, so that method 500 is used as a closed loop for continuous improvement of the basic model.
Figur 6 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Nachtrainieren eines Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte andere Verfahren 600 kann als Schritt des Nachtrainierens, wie er in der vorangegangenenFigure 6 shows a flowchart of a method 500 for retraining a model for controlling a flushing device according to an exemplary embodiment. The other method 600 shown here can be used as a retraining step, as in the previous one
Figur 4 beschrieben wurde, angewendet werden.Figure 4 was described can be applied.
Das Verfahren 600 umfasst einen Schritt 605 des Aufnehmens. In diesem Schritt wird beispielhaft eine Bildaufnahme bei einem Türschließen beziehungsweise bei einem (manuellem) Programmstart des Spülgeräts getätigt. Dieses und andere aufgenommeneThe method 600 includes a step 605 of recording. In this step, for example, an image is recorded when the door is closed or when the dishwasher program starts (manually). This and others recorded
Bilder werden lediglich beispielhaft sowohl im Gerät gespeichert als auch in einem Schritt 607 zu Qualitätssicherungs- und Entwicklungszwecken in eine Cloud übertragen.For example, images are both stored in the device and transferred to a cloud in a step 607 for quality assurance and development purposes.
Im folgenden Schritt 610 des Sortierens werden die Bilder gemäß Maschinendaten als „Start“- und „Kein Start“-Bilder sortiert.In the following sorting step 610, the images are sorted as “Start” and “No Start” images according to machine data.
Daraufhin folgt ein Schritt 615 des Überprüfens, in dem die Bilder und deren Einsortierung durch ein bestehendes Grundmodell überprüft werden, wobei leichte Ungenauigkeiten toleriert werden. Liegt ein Start-Zeitpunkt beispielsweise zu weit vor dem, der durch dasThis is followed by a step 615 of checking, in which the images and their sorting are checked by an existing basic model, with slight inaccuracies being tolerated. For example, if a start time is too far ahead of the one specified by the
Grundmodell bestimmt wurde, wird das Start-Bild nicht berücksichtigt.Basic model has been determined, the start image is not taken into account.
Das Verfahren 600 umfasst weiterhin einen Schritt 820 des Nachtrainings, in dem dasThe method 600 further includes a step 820 of retraining, in which the
Grundmodell mit den gesammelten und aufbereiteten Daten mittels Transfer-Lernens nachtrainiert wird.The basic model is retrained with the collected and processed data using transfer learning.
Im anschließenden Schritt 625 des Nutzens wird das nachtrainierte Modell zur Nutzung über die Cloud oder direkt im Gerät bereitgestellt. Zusätzlich wird das Modell in einem Schritt 630 des Übertragens in die Cloud zu Qualitätssicherungs- und Entwicklungszwecken übertragen.In the subsequent step 625 of the use, the retrained model is made available for use via the cloud or directly in the device. Additionally, in a transfer step 630, the model is transferred to the cloud for quality assurance and development purposes.
In einem Ausführungsbeispiel werden nach dem Schritt 625 des Bereitstellens erneut die vorangegangenen Schritte 605, 610, 615, 620 durchgeführt, so dass das Verfahren 600 als geschlossene Schleife zur kontinuierlichen Verbesserung des Modells genutzt wird. Dabei können alle Schritte 605, 610, 615, 620, 625 optional im Gerät oder in der Cloud durchgeführt werden.In one embodiment, after step 625 of providing, the previous steps 605, 610, 615, 620 are carried out again, so that method 600 is used as a closed loop for continuous improvement of the model. All steps 605, 610, 615, 620, 625 can optionally be carried out in the device or in the cloud.
Insgesamt lassen sich die vorangehend beschriebenen Verfahren wie folgt beschreiben:Overall, the procedures described above can be described as follows:
Zunächst werden Trainingsdaten zum Trainieren eines Grundmodells (neuronales Netz) gesammelt. Diese werden zunächst im Labor oder in Versuchshaushalten oder gegebenenfalls auch im Feld gesammelt. Hierbei fallen nicht nur die einzelnen Bilder desFirst, training data is collected to train a basic model (neural network). These are first collected in the laboratory or in experimental households or, if necessary, in the field. This doesn't just include the individual images
Spülinnenraumes an, sondern auch Metadaten, wie Zeitstempel, ob das Bild nach demThe interior of the sink, but also metadata, such as timestamps and whether the image is after
Schließen der Tür durch den Nutzer oder durch einen Spülstart / ein Spülende entstanden sind. Der zeitliche Verlauf der Bilder und Daten bildet somit ein zyklisches Profil ab, das sich grob in drei, sich wiederholende Phasen einteilen lässt:caused by the user closing the door or by starting/ending a flush. The temporal progression of the images and data thus forms a cyclical profile that can be roughly divided into three repeating phases:
Die erste Phase, die Beladungsphase, beginnt idealerweise mit einem Bild, das einen leerenThe first phase, the loading phase, ideally begins with an empty image
Spülinnenraum zeigt und umfasst Bild, die mit fortschreitender Zeit einen zunehmend volleren s Spülinnenraum zeigen. Die Bilder der Beladungsphase werden ausschließlich durchSink interior shows and includes images that show an increasingly full s sink interior as time progresses. The images of the loading phase are exclusively provided by
Beladungsinteraktionen der Nutzer erzeugt. Auf die Beladungsphase folgt die Spülphase, die durch den Spülstart des Geschirrspülers durch den Nutzer getriggert wird. Das erste Bild dieser Phase zeigt daher idealerweise einen mit angeschmutzter Beladung voll befülltenUser loading interactions generated. The loading phase is followed by the rinsing phase, which is triggered by the user starting the dishwasher. The first picture of this phase therefore ideally shows a fully filled container with a dirty load
Spülinnenraum. Während des Spülens optional gesammelte Bilder sind für diesenSink interior. Images collected during rinsing are optional for this one
Anwendungsfall nicht weiter von Belang. Diese Phase schließt mit einem Bild eines mit sauberer Beladung voll befüllten Spülinnenraum, automatisch getriggert durch das Ende desUse case no longer relevant. This phase ends with an image of a wash interior fully filled with clean loads, automatically triggered by the end of the
Spülgangs. Optional schließt nun noch eine Entladephase an, die Bilder enthält, die durch das Öffnen und Schließen der Geschirrspülertür durch den Nutzer getriggert wurde, ohne, dass der Spüler ausgeräumt wurde. Idealerweise ist diese Phase aber nicht existent und es schließt erneut eine Beladungsphase an, die idealerweise mit einem Bild des vollkommen leeren Spülinnenraumes beginnt.rinse cycle. Optionally, there is now a discharging phase that contains images that were triggered by the user opening and closing the dishwasher door without the dishwasher being emptied. Ideally, this phase does not exist and a new loading phase follows, which ideally begins with a picture of the completely empty sink interior.
Da diese Phasen durch das nicht immer vorhersehbare Nutzerverhalten oder durch eventuelle technische Probleme (zum Beispiel Offlinezeiten durch Internetausfall) denSince these phases are caused by user behavior that is not always predictable or by possible technical problems (e.g. offline times due to internet failure).
Idealbedingungen entsprechen, ist in jedem Fall eine manuelle Kontrolle der Bilder und Daten durch einen Menschen erforderlich. Sobald ein erstes funktionierendes Modell / Netz existiert, kann dieses jedoch zur Vorkontrolle genutzt werden, um die manuellenIf the conditions correspond to ideal conditions, manual control of the images and data by a human is always required. However, as soon as a first functioning model/net exists, it can be used for pre-checking in order to carry out the manual
Überprüfungsaufwand zu reduzieren.Reduce verification effort.
Im Idealfall fallen nun pro Spülzyklus ein Startbild von einem vollbeladenen Spülinnenraum und mehrere Bilder aus der Beladungsphase an. Das Startbild erhält (nach der Kontrolle, zumIdeally, a start image of a fully loaded wash interior and several images from the loading phase are generated per wash cycle. The start image receives (after checking, for
Beispiel ob wider Erwarten nicht mit voller Beladung gespült wurde) das Klassenlabel „Start“ und die Bilder der Beladungsphase das Klassenlabel „Kein Start“.example, whether contrary to expectations the flushing was not carried out with a full load) the class label “Start” and the images of the loading phase the class label “No Start”.
Sukzessive entsteht nun ein Datensatz aus Bildern, die in die zwei Klassen aufgeteilt sind. Da während der Beladungsphase deutlich mehr Bilder anfallen, ist diese Klasse erwartungsgemäß überrepräsentiert. Um dieses Ungleichgewicht auszugleichen, könnenA data set of images is gradually created that is divided into two classes. Since significantly more images are generated during the loading phase, this class is, as expected, overrepresented. In order to correct this imbalance,
Methoden des sogenannten Under- oder Oversamplings genutzt werden, damit das neuronale Netz im Training eine ausgewogene Verteilung lernen kann. Optional können noch eine Rückweisungsklasse für Bilder, bei denen ein über- oder unterbelichtetes Bild aufgenommen wurde, die nicht sinnvoll ausgewertet werden können (hier kann später imMethods of so-called under- or oversampling are used so that the neural network can learn a balanced distribution during training. Optionally, a rejection class can be added for images in which an overexposed or underexposed image was taken that cannot be meaningfully evaluated (this can be done later in the
Betrieb unter Umständen durch den Geschirrspüler eine erneute Bildaufnahme versucht werden, um ein auswertbares Bild aufzunehmen).During operation, the dishwasher may attempt to take another image in order to capture an evaluable image).
Dieser Datensatz kann nun zum Training eines neuronalen Netzes genutzt werden. Liegen neuere und / oder bessere Trainingsbeispiele vor, kann dieser Vorgang iterativ wiederholt werden, um das neuronale Netz weiter zu verbessern und gegebenenfalls sich änderndenThis data set can now be used to train a neural network. If newer and/or better training examples are available, this process can be repeated iteratively to further improve and, if necessary, change the neural network
Bedingungen (zum Beispiel als Anpassung an internationale Märkte mit abweichenden s Beladungsteilen) anzupassen und zu erweitern. Betrieben wird dieses Netz schließlich entweder in der Cloud oder auf dem Gerät des jeweiligen Haushalts.To adapt and expand conditions (for example as an adaptation to international markets with different loading parts). Ultimately, this network is operated either in the cloud or on the device in the respective household.
Abgesehen davon, dass für jeden Zielmarkt ein solches Grundmodell zur Verfügung stehen kann, kann es für jeden Nutzer individualisiert werden. Hierfür existieren mehrere, unterschiedliche Ansätze.Aside from the fact that such a basic model can be available for each target market, it can be individualized for each user. There are several different approaches for this.
Bei der ersten Möglichkeit wird anhand einer kleinen Menge Beispieldaten des jeweiligenThe first option uses a small amount of sample data from each
Haushaltes ein eigenes Netz mittels Transferlernen nachtrainiert. Dies kann prinzipiell sowohl in der Cloud als auch auf dem Gerät des Nutzers (entsprechende Rechenleistung „Training on-Ege“ vorausgesetzt) erfolgen. Dieses nachtrainierte Netz kann dann entweder in derhousehold has its own network retrained using transfer learning. In principle, this can be done both in the cloud and on the user's device (assuming appropriate computing power "training on-line"). This retrained network can then either be used in the
Cloud oder im Gerät des jeweiligen Haushalts betrieben werden. Um nicht für jeden Haushalt ein eigenes Netz in der Cloud vorzuhalten, das nur gelegentlich angefragt wird, ist bei dieserCloud or in the device of the respective household. In order not to have a separate network in the cloud for every household, which is only requested occasionally, this is the case
Möglichkeit ist ein Betrieb im Gerät vermutlich zu bevorzugen.If possible, operation in the device is probably preferable.
Zur Verbesserung und Sicherstellung der Robustheit des nachtrainierten individuellenTo improve and ensure the robustness of the retrained individual
Netzes, kann die bereits beschriebene Methode des Ensembles (sowohl das allgemeineNetwork, the already described method of the ensemble (both the general
Grundmodell bewertet jedes neue Bild als auch das Individualnetz). Solange beide Netze innerhalb eines gewissen Rahmens (bzgl. Zeit und Klassifikationsergebnis) ähnlicheBasic model evaluates each new image as well as the individual network). As long as both networks are similar within a certain framework (in terms of time and classification results).
Ergebnisse liefern, ist ein robuster Betrieb anzunehmen. Divergiert das Individualnetz vomdeliver results, robust operation can be assumed. Does the individual network diverge from the
Grundmodell, so ist ein erneutes Training ratsam. Divergieren gleichzeitig mehrereBasic model, so re-training is advisable. Several diverge at the same time
Individualnetze mehrerer (vieler) Haushalte vom jeweiligen Grundmodell, so ist ein Update des Grundmodells ratsam. Die Fachliteratur spricht in solchen Fällen von „Model-Drift“.If individual networks of several (many) households differ from the respective basic model, an update of the basic model is advisable. The specialist literature speaks of “model drift” in such cases.
Eine weitere Möglichkeit der Individualisierung wäre, das Grundmodell nicht direkt zu individualisieren, sondern ein deutlich kleineres Netz zu erzeugen, was problemlos auch mit geringeren Rechenressourcen im Gerät des jeweiligen Haushaltes trainiert werden kann. AlsAnother possibility for individualization would be not to individualize the basic model directly, but rather to create a significantly smaller network, which can easily be trained with fewer computing resources in the device in the respective household. As
Eingabedaten dienen hier nicht direkt die aufgenommenen Bilder, sondern dieThe input data here is not directly the captured images, but rather the
Auswertungsergebnisse des Grundmodells. Zusätzlich können Daten wie Wochentag,Evaluation results of the basic model. Additionally, data such as day of the week,
Uhrzeit, Nutzungsverhalten (Be-, Entladung oder Start der Maschine), etc. einfließen, um anhand dieser Rahmenbedingungen die Wahrscheinlichkeit eines sinnvollen Starts berechnen zu können. Dieses Netzwerk kann basierend auf einer Historie der beschriebenenTime, usage behavior (loading, unloading or starting the machine), etc. are taken into account in order to be able to calculate the probability of a sensible start based on these general conditions. This network can be based on a history of the described
Daten kontinuierlich nach-, beziehungsweise neutrainiert werden, um laufend das aktuelleData is continuously re-trained or re-trained in order to keep the current data up to date
Nutzungsverhalten modellieren und imitieren zu können.To be able to model and imitate usage behavior.
Bei beiden Möglichkeiten ist jedoch eine Vernetzung des Gerätes vorausgesetzt, um dasHowever, both options require the device to be networked in order to do this
Verhalten der neuronalen Netze überwachen und deren Güte einschätzen zu können. Ein mögliches Fehlverhalten der Netze (zum Beispiel Model-Drift, s.0.) sollte frühzeitig erkennbar sein, um entsprechende Gegenmaßnahmen (zum Beispiel ein Reset eines individualisiertenTo be able to monitor the behavior of the neural networks and assess their quality. A possible malfunction of the networks (e.g. model drift, see 0.) should be identified at an early stage in order to take appropriate countermeasures (e.g. a reset of an individualized system).
Netzes auf das Grundmodell oder Update des Grundmodells) ergreifen zu können.network to the basic model or update of the basic model).
Als dritte Möglichkeit, kann jeder Haushalt die Möglichkeit erhalten, selbst eine gewisseAs a third option, every household can be given the opportunity to have a certain amount of their own
Individualisierung vornehmen zu können — nicht zuletzt, um gar nicht erst die Notwendigkeit aufkommen zu lassen, Gegenmaßnahmen bei fehlerhaften Individualnetzen ergreifen zu müssen. Eine händische Individualisierung durch den jeweiligen Haushalt ist daher auch bei den zuvor beschriebenen Umsetzungsmöglichkeiten zusätzlich möglich.To be able to carry out individualization - not least in order to avoid the need to take countermeasures in the event of faulty individual networks. Manual individualization by the respective household is therefore also possible with the implementation options described above.
Den Haushalten könnte die Möglichkeit gegeben werden, Vorzugszeiten für den automatischen Start, beziehungsweise für die gewünschte Programmende-Zeit (Wunsch-Households could be given the opportunity to set preferred times for the automatic start or for the desired program end time (desired
Wochentag und -Zeit) zu definieren. Auch wäre in Kombination mit einer vorhandenday and time of the week). Also would be available in combination with one
Photovoltaikanlage denkbar, einen automatischen Start an eine hohe Stromproduktion zu ı5 koppeln. Da Nutzer Bedenken haben könnten, den Spüler automatisch starten zu lassen, während niemand zu Hause ist, ist auch eine Option denkbar, bei der die Anwesenheit mindestens eines Haushaltsmitgliedes gegeben sein muss. Sowohl für die Option der sonnenscheinbedingten Stromproduktion, als auch für die Anwesenheitsbedingung sind weitere Informationsquellen (Anbindung an PV-Anlage, lokale Wetterdaten, Daten einesIt is conceivable for a photovoltaic system to link an automatic start to high electricity production. Since users may have concerns about having the dishwasher start automatically when no one is at home, an option is also conceivable that requires the presence of at least one household member. There are further sources of information (connection to PV system, local weather data, data from a...
SmartHomes für die Anwesenheitserkennung mittels Bewegungsmeldern oder der Ort vonSmartHomes for presence detection using motion detectors or the location of
Mobilgeräten, zum Beispiel mittels „Geo-Fencing“) notwendig.Mobile devices, for example using “geo-fencing”).
Die letzte, aber wohl auch einfachste Möglichkeit wäre, dem Haushalt eine Push-The last, but probably easiest option would be to give the household a push
Benachrichtigung auf die Mobilgeräte zu schicken und zusammen mit dem aktuellenSend notification to mobile devices along with the current
Kamerabild die Optionen „Starten“ und „Verschieben“ anzubieten. Wählt einCamera image to offer the options “Start” and “Move”. Choose one
Haushaltsmitglied die Option „Verschieben“, wird der Spülstart um ein konfigurierbaresIf a household member selects the “Postpone” option, the flush start will be set by a configurable time
Zeitintervall aufgeschoben und später erneut per Push-Benachrichtigung nachgefragt.Time interval postponed and asked again later via push notification.
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BE20225548A BE1030689B1 (en) | 2022-07-04 | 2022-07-04 | Method for controlling a flushing device, method for training a model, device and flushing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BE20225548A BE1030689B1 (en) | 2022-07-04 | 2022-07-04 | Method for controlling a flushing device, method for training a model, device and flushing device |
Publications (2)
Publication Number | Publication Date |
---|---|
BE1030689A1 BE1030689A1 (en) | 2024-01-26 |
BE1030689B1 true BE1030689B1 (en) | 2024-01-30 |
Family
ID=84329627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BE20225548A BE1030689B1 (en) | 2022-07-04 | 2022-07-04 | Method for controlling a flushing device, method for training a model, device and flushing device |
Country Status (1)
Country | Link |
---|---|
BE (1) | BE1030689B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100175719A1 (en) * | 2008-09-15 | 2010-07-15 | General Electric Company | Energy management of dishwasher appliance |
DE102017212333A1 (en) * | 2017-07-19 | 2019-01-24 | BSH Hausgeräte GmbH | Household dishwasher and method for operating a household dishwasher |
US20200085275A1 (en) * | 2019-09-02 | 2020-03-19 | Lg Electronics Inc. | Intelligent dishwasher and method for controlling the same |
DE102018009311B4 (en) * | 2018-11-27 | 2020-07-02 | Diehl Ako Stiftung & Co. Kg | Dishwasher and method for determining items to be washed in a dishwasher |
DE102019110795A1 (en) * | 2019-04-26 | 2020-10-29 | Miele & Cie. Kg | Dishwasher with an image acquisition device and method for operating such a dishwasher |
EP3788933A1 (en) * | 2019-09-05 | 2021-03-10 | BSH Hausgeräte GmbH | Method for controlling a home appliance |
-
2022
- 2022-07-04 BE BE20225548A patent/BE1030689B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100175719A1 (en) * | 2008-09-15 | 2010-07-15 | General Electric Company | Energy management of dishwasher appliance |
DE102017212333A1 (en) * | 2017-07-19 | 2019-01-24 | BSH Hausgeräte GmbH | Household dishwasher and method for operating a household dishwasher |
DE102018009311B4 (en) * | 2018-11-27 | 2020-07-02 | Diehl Ako Stiftung & Co. Kg | Dishwasher and method for determining items to be washed in a dishwasher |
DE102019110795A1 (en) * | 2019-04-26 | 2020-10-29 | Miele & Cie. Kg | Dishwasher with an image acquisition device and method for operating such a dishwasher |
US20200085275A1 (en) * | 2019-09-02 | 2020-03-19 | Lg Electronics Inc. | Intelligent dishwasher and method for controlling the same |
EP3788933A1 (en) * | 2019-09-05 | 2021-03-10 | BSH Hausgeräte GmbH | Method for controlling a home appliance |
Also Published As
Publication number | Publication date |
---|---|
BE1030689A1 (en) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3654818B1 (en) | Household dishwasher machine and method for operating a household dishwasher machine | |
DE102013219700A1 (en) | Dishwashing machine and method for cleaning items to be washed | |
DE102004030013A1 (en) | Dishwasher and operating method for a dishwasher | |
EP3160321A1 (en) | Water-bearing domestic appliance | |
WO2020114640A1 (en) | System having a water-bearing domestic appliance and method for operating a water-bearing domestic appliance | |
WO2019081234A1 (en) | Control of a domestic appliance | |
BE1030689B1 (en) | Method for controlling a flushing device, method for training a model, device and flushing device | |
DE102015107521A1 (en) | Method for controlling a household appliance and control unit | |
DE102019110795A1 (en) | Dishwasher with an image acquisition device and method for operating such a dishwasher | |
DE102023116543A1 (en) | Method for controlling a flushing device, method for training a model, device and flushing device | |
BE1029768B1 (en) | Method for monitoring a load status of a flushing device, device and flushing device | |
DE102019213656A1 (en) | Household appliance, system with a household appliance and method for operating a household appliance | |
BE1029621B1 (en) | Method and control unit for detecting a clogged nozzle for a cleaning device and cleaning device | |
BE1030930B1 (en) | Method for controlling a cleaning device, device and cleaning device | |
DE102020208346A1 (en) | System with a dishwasher and method for operating a dishwasher | |
EP4202581B1 (en) | Method for operating a food treatment device | |
DE102018109332A1 (en) | Method and device for operating a household appliance and household appliance with a device | |
BE1029784B1 (en) | Control device and method for controlling a cleaning process for cleaning dishes in a cleaning device and cleaning device | |
BE1029671B1 (en) | Method and control unit for operating a cleaning device and cleaning device | |
BE1030060B1 (en) | Operating device and method for operating a cleaning device and cleaning device | |
DE102020200254B4 (en) | Household dishwasher and method for operating a household dishwasher | |
DE102022133066A1 (en) | Method for operating a cleaning device, control unit and cleaning device | |
DE102023125591A1 (en) | Method for controlling a cleaning device, device and cleaning device | |
DE102019213655A1 (en) | Household appliance, system with a household appliance and method for operating a household appliance | |
DE112022000130T5 (en) | CLEANING METHOD AND DEVICE FOR A DISHWASHER, AND DISHWASHER |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FG | Patent granted |
Effective date: 20240130 |