EP4151137A1 - Verfahren zum überwachen eines beladungszustands eines spülgeräts und spülgerät - Google Patents

Verfahren zum überwachen eines beladungszustands eines spülgeräts und spülgerät Download PDF

Info

Publication number
EP4151137A1
EP4151137A1 EP22193587.7A EP22193587A EP4151137A1 EP 4151137 A1 EP4151137 A1 EP 4151137A1 EP 22193587 A EP22193587 A EP 22193587A EP 4151137 A1 EP4151137 A1 EP 4151137A1
Authority
EP
European Patent Office
Prior art keywords
signal
pump
microphone
load status
flushing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP22193587.7A
Other languages
English (en)
French (fr)
Other versions
EP4151137C0 (de
EP4151137B1 (de
Inventor
Seyfettin Kara
Holger Ernst
Eckard Riedenklau
Stefan Tiekötter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miele und Cie KG
Original Assignee
Miele und Cie KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miele und Cie KG filed Critical Miele und Cie KG
Publication of EP4151137A1 publication Critical patent/EP4151137A1/de
Application granted granted Critical
Publication of EP4151137C0 publication Critical patent/EP4151137C0/de
Publication of EP4151137B1 publication Critical patent/EP4151137B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0021—Regulation of operational steps within the washing processes, e.g. optimisation or improvement of operational steps depending from the detergent nature or from the condition of the crockery
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0049—Detection or prevention of malfunction, including accident prevention
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/04—Crockery or tableware details, e.g. material, quantity, condition
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/08—Drain or recirculation pump parameters, e.g. pump rotational speed or current absorbed by the motor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/30—Variation of electrical, magnetical or optical quantities
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/32—Vibration or sound detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/30—Regulation of machine operational steps within the washing process, e.g. performing an additional rinsing phase, shortening or stopping of the drying phase, washing at decreased noise operation conditions

Definitions

  • the invention relates to a method for monitoring a load status of a flushing device and a flushing device.
  • AI devices can be integrated into household appliances to increase the usefulness of the appliances and the ease of use. Furthermore, various sensors, for example in camera systems, can be installed in the dishwasher in order to obtain information about the current load of items to be washed and how dirty they are.
  • the object of the invention is to provide an improved method for monitoring the load status of a flushing device and an improved flushing device.
  • this object is achieved by a method for monitoring a loading condition of a flushing device and a flushing device having the features of the main claims.
  • the advantages that can be achieved with the invention consist not only in an optimization of the loading of the washing baskets but also in an increase in the operational reliability of the washing device.
  • the approach described is suitable for detecting items to be washed that have fallen over or for detecting an accumulation of items to be washed that have been placed incorrectly and carrying washing liquor.
  • a method for monitoring a load status of an interior of a flushing device having the following steps: Reading in at least one microphone signal and at least one pump signal, the microphone signal representing a noise pattern in the interior captured by a microphone unit and the pump signal representing a pumping state of a pump of the flushing device captured by a pump sensor,
  • the method described above for monitoring a load status of a washing device is in particular part of a method for cleaning items to be washed, in which items to be washed are washed in the washing device.
  • the load status can be represented in particular by one or more of the following characteristics of the items to be washed: amount of items to be washed, weight of items to be washed or individual items of items to be washed, type of items to be washed or individual items to be washed (e.g. plates, cups, pots, pans), material type of items to be washed or individual wash items, positioning of the wash items or individual wash items in a wash basket or the wash baskets, alignment, i.e. orientation of individual wash items.
  • the washing device can be a dishwasher, for example, in the interior of which, for example, two or more washing baskets for arranging items to be washed, such as crockery, can be arranged.
  • dishwashing baskets which can also be referred to as crockery baskets
  • the range of bowls, cups, pots and pans is very wide, which can result in a very household-specific range.
  • the crockery baskets can usually be loaded more intuitively, especially when it comes to larger pieces of crockery such as pots and bowls.
  • an operator of the washing device can advantageously be provided with a monitored load management system, in particular supported by today's possibilities of digitization, in order to optimize the loading of the baskets and to increase the operational reliability of the device.
  • the flushing device can, for example, comprise a plurality of different sensors, or a sensor array, which can supply an artificial intelligence or a neural network with information.
  • the neural network in turn, can be connected to a device controller that can, for example, control a machine actuator system and an output system, ie an interface to a user.
  • the output system can be, for example, an acoustic signal generator in the dishwasher, the display of the device or a smartphone with a corresponding app.
  • the AI or the neural network can be trained on how dishes should not be placed in the basket or how they should not be put away.
  • the neural network offers the operator the option of correcting the cup position by means of a message via the dispensing system or the program with the announcement of a later automatic washing parameter adjustment, for example an additional water change or an increase in the amount of water start. If the position of an object changes during a wash cycle, such as a bowl that has fallen over, information can likewise be provided to the user and, additionally or alternatively, wash parameters can be adapted to the changed load status.
  • At least one camera signal can be read that represents an image of the interior captured by a camera unit.
  • the camera signal can be processed in order to provide the loading signal.
  • a camera can be both inside the dishwasher and outside the appliance, for example it can be the camera in a SmartPhone or a camera installed in the kitchen, for example under the ceiling.
  • the loading situation of the dishwasher baskets can advantageously be recorded with the camera unit or optionally with several cameras.
  • at least one camera can see the opening side and Additionally or alternatively, the contact side of critical crockery items, such as cups and bowls, can be detected.
  • the shape and orientation of the handle can be used as a criterion for cups.
  • the cup handles can, for example, be opened wider on the cup opening side than on the bottom side, which, in addition to the other criteria, can provide reliable information about the orientation of this piece of crockery in the basket.
  • some cups can have a manufacturer's stamp on the bottom, which can also be recorded by the cameras and used as a position criterion. If the stamp can be seen, then the cup was put in the right way around.
  • the camera signal can be read in if the current load state is classified as faulty using the microphone signal and/or the pump signal.
  • items to be washed which have been incorrectly loaded can be initially detected using a pump pressure sensor and a microphone, for example.
  • Only in the second place can an optional further evaluation be carried out by image evaluation.
  • the image evaluation can be triggered by the fact that using the pump pressure sensor and the microphone, items to be washed that have fallen over, for example, or an accumulation of washing liquor in items to be washed that have been placed incorrectly, have been detected beforehand.
  • At least one weight signal can be read in the reading step, which represents a weight of a washing rack arranged in the interior, detected by a load sensor.
  • the weight signal can be processed in order to provide the loading signal.
  • the loading sensor or several loading sensors can be designed as strain gauges or acceleration sensors.
  • the neural network can advantageously receive additional information about the weight of the baskets and thus also about the weight of the basket load.
  • the weight of the empty baskets and that of a standard and also an intensive load can be known in advance or can be easily determined. If the measured weight deviates from empirical values, this may be due, for example, to an incomplete load, a load with mostly plastic crockery or pots or pans.
  • the neural network can check the loading situation for plausibility and, if necessary, provide the user with correction recommendations. If, for example, the load sensors in the upper basket detect that the weight is too high and the neural network detects pots or pans in the upper basket via the learned camera images, the load status can be classified as faulty and the display unit can indicate that the heavy items of crockery should be placed in the lower basket.
  • the signal is read in by one or more of the sensors and processed by means of an artificial neural network in order to classify a current load status as correct or faulty.
  • the strength and/or the profile in particular with regard to uniformity, fluctuations and periodicity, is processed at least of the signal from the microphone and the pump sensor, which can be designed as a pump pressure sensor, speed sensor or armature current sensor.
  • An incorrect classification can be defined, for example, by the fact that the current load status does not correspond to a specified standard or expectation.
  • a load status can be classified as faulty if one or more characteristics of the items to be washed are not within predefined or definable limits or a predefined or definable selection. Otherwise the loading condition can be classified as correct.
  • a load status that is classified as faulty can, for example, be one of the following, non-exhaustive list: at least one item of washware of a certain type is arranged in an unsuitable place, at least one item of washware is arranged in the wrong orientation (has tipped over, for example), at least one item of items to be washed does not correspond to a type that is suitable for washing in the washing machine or is not known to the system.
  • both the signals from the microphone and those from the pump sensor are read in and combined processed. Only by taking both signals into account and evaluating their correlation can specific loading states be recognized with sufficient accuracy and classified as faulty.
  • the signals from other sensors can also be processed, such as a camera signal and/or a weight signal.
  • the method can have a step of modifying the neural network using a confirmation signal read in via the user interface, the confirmation signal requesting a reclassification of the current load status.
  • a confirmation signal read in via the user interface
  • the confirmation signal requesting a reclassification of the current load status.
  • it can happen that, for example, rather unusual crockery items, in particular atypical crockery items newly purchased by the user or items to be washed are placed in the dishwasher outside of the crockery context, which the neural network does not yet recognize. Such dishes can date neural network as incorrectly inserted or determined as unknown and the loading status can be classified accordingly as faulty.
  • Related information can be provided using the information signal. The user can react to this by actively confirming that the load status is actually classified as correct. This can be done, for example, with a smartphone program at the end of the wash cycle.
  • the confirmation signal the learning of the neural network can be triggered proactively and the identified object can be added to a database, for example, to avoid future false alarms
  • a comparison can be made with the camera signal if the pump signal represents an irregular pump pressure in order to detect incorrectly arranged objects in the interior.
  • the pump sensor can be designed, for example, as a speed sensor, pump pressure sensor or armature current sensor and can monitor the stable pump operation during the flushing operation. In addition or as an alternative to this, the switching behavior of the heating pressure monitor can also be evaluated. If, after loading the baskets, the user starts the program with the need for a later program adjustment, i.e. if, for example, information about incorrectly loaded dishes is ignored, washing liquid can collect in the volumes of the cups or bowls, which leads to instability in the pump pressure can lead.
  • the pump pressure, the pump speed or the armature current of the pump motor can fluctuate. If all dishes are loaded correctly, a relatively stable pump pressure, speed and armature current can result. If the rinsing water collects in the cavities of the vessels, the pump can deliver irregularly, which can lead to fluctuations in the signal.
  • the neural network can, for example, compare the pump signal with the camera signal in order to compare the pump behavior with the loading situation derived from the camera images. For example, it can be detected whether the unstable pump pressure was triggered by an object placed the wrong way round, in which water is now collecting, which is consequently missing from the water circuit of the pump.
  • the amount of water to be refilled can advantageously be determined by the neural network as a function of the detected number of incorrectly placed dishes and, for example, using the Control signal are transferred to the device control.
  • the amount of water can then be adjusted.
  • the pump can be stopped in the output step using the control signal. For example, a halt the pump or reduce its speed if the input pump signal shows inconsistencies or fluctuations. For example, the pump can then be stopped or at least its speed reduced until the cause of the problem has been found, for example by comparing it with other sensor signals, and corrected using the control signal, or the user has been informed using the information signal, for example to to change setting. In this way, a malfunction of the pump can advantageously be detected at an early stage and damage to the flushing device can be avoided.
  • the pump can be stopped in the output step if the microphone signal represents an acoustic deviation from the noise pattern.
  • the neural network can continuously access the microphone unit.
  • the microphone can, for example, be watertight or at least water-protected in the interior of the flushing device and additionally or alternatively designed.
  • a characteristic noise pattern can arise when the machine is being washed.
  • the uniform movement of the spray arms can, for example, cause periodically recurring signals. If, for example, items of crockery are tipped over or knocked over during washing operation due to the pressure of the spray jets, this can be seen in an acoustic deviation from the characteristic uniform noise profile, for example in a deviation in the form of a so-called signal peak.
  • the pump in order to obtain a reference, can be stopped in order to enable the neural network to record camera information, triggered by the microphone signal.
  • the neural network can compare the camera recording, for example, with stored reference profiles and images of the loaded basket before the start of the washing program, and can signal the error using the information signal. Since it can be expected that washing water can collect in an overturned bowl or a tipped cup, a water change can also be initiated in order to supply the nominal water volume to the washing process again. Furthermore, the liquid in the vessel can be diluted as a result.
  • the neural network can also compare the microphone signal with the pump signal, for example.
  • the neural network can reference the camera signal with the signals from the other sensors. Since the volume of a bowl only fills up slowly with washing-up liquid, the peak in the microphone and pump signal would not occur at the same time, but at different times. The hydraulic signal image can therefore take place later in time, since the volume of the vessel only fills up. Over the duration of the delay, the neural network can advantageously determine the amount of water to be refilled in conjunction with the images of the loading situation. In addition or as an alternative, the user can also be informed here about the faulty load status. If the user does not respond to the prompt within a specified time, the program adjustment can be carried out as described.
  • the method can comprise a step of temporarily switching on the pump in order to detect a persistent acoustic deviation from the noise pattern.
  • an acoustic deviation from the noise pattern can occur if one or more spray arms are or become blocked or one or more spray arms, which can still rotate, touch items of crockery that have slipped through the washing basket or slide along them.
  • the circulation pump can be switched off, for example, so that the neural network can carry out an image comparison or make a decision using the camera unit in response to the microphone signal and is unaffected by the spray jets. This means that the rinsing operation can be interrupted.
  • the circulation pump can then be released again for at least 5 seconds, for example, and then switched off again.
  • the processing step can be carried out again in response to the outputting step in order to classify the current load status of the flushing device again as correct or faulty.
  • the load status can have been changed by user intervention or by changing a device setting.
  • the processing step can be performed again to examine and reclassify the changed circumstances.
  • a loading state classified as faulty by the neural network can also have been confirmed as correct by the user and the neural network can have modified itself accordingly in order to consequently classify the loading state as correct.
  • the current load status can be continuously and optimally monitored as a result.
  • the method can include a step of providing the camera signal using the camera unit and the microphone signal using the microphone unit and the pump signal using the pump sensor.
  • the neural network can be connected to the camera unit, the microphone unit and the pump sensor in a manner capable of transmitting signals, as well as additionally or alternatively to other sensors and can be designed, for example, to control them.
  • this can facilitate signal transmission and optimize the monitoring of the loading status of the flushing device.
  • the approach presented here also creates a device that is designed to carry out, control or implement the steps of a variant of a method presented here in corresponding devices.
  • the object on which the invention is based can also be achieved quickly and efficiently by this embodiment variant of the invention in the form of a device.
  • the device can be designed to read in input signals and to determine and provide output signals using the input signals.
  • An input signal can represent, for example, a sensor signal that can be read in via an input interface of the device.
  • An output signal may represent a control signal or a data signal that may be provided at an output interface of the device.
  • the device can be designed to determine the output signals using a processing specification implemented in hardware or software.
  • the device can include a logic circuit, an integrated circuit or a software module and can be implemented as a discrete component, for example, or can be comprised of a discrete component.
  • a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory, is also advantageous. If the program product or program is executed on a computer or a device, then the program product or program can be used to carry out, implement and/or control the steps of the method according to one of the embodiments described above.
  • figure 1 10 shows a flowchart of a method 100 for monitoring a loading state of an interior of a flushing device according to an embodiment.
  • the method 100 includes a step 105 of reading in a microphone signal and additionally or alternatively at least one pump signal.
  • the microphone signal represents a noise pattern in the interior that is detected by a microphone unit
  • the pump signal represents a pumping state of a pump of the flushing device that is detected by a pump sensor.
  • a camera signal can also be read in, which can represent an image of the interior captured by a camera unit.
  • the microphone signal and the pump signal, and optionally the camera signal are processed using an artificial neural network in order to classify a current load status of the flushing device as correct or faulty.
  • a loading signal representing the incorrect loading state is provided.
  • such a loading signal indicates that a items to be washed that have fallen over or been placed incorrectly have been detected, which can lead to an accumulation of washing liquid, for example.
  • the camera signal is read in, triggered by an evaluation of the microphone signal and/or the pump signal, and is used in step 110 to provide the load signal and/or to classify the load state again.
  • the method 100 further includes a step 115 of outputting a control signal to a device interface in response to the loading signal.
  • a control signal is also output to a user interface to a user.
  • the control signal represents a change in a device setting for adapting the flushing process to the current loading status
  • the information signal represents information about the current loading status.
  • FIG 2 shows a schematic representation of an exemplary embodiment of a washing device 200 with a device 205 for monitoring a load status of an interior 210 of the washing device 200.
  • the washing device 200 is designed as a dishwasher and, by way of example, comprises three washing baskets 211, 212, 213 for accommodating dishes, the washing baskets 211, 212, 213 in this exemplary embodiment being formed as a lower basket 211 in the lower area of the interior space 210, an upper basket 212 in the middle area of the interior space 210 and as a cutlery drawer 213 in the upper area of the interior space 210.
  • Each washing basket 211, 212, 213 can be supplied with washing liquid by means of a respective spray arm 215, 216, 217 in order to wash dishes that can be arranged in the washing baskets 211, 212, 213.
  • the spray arms 215, 216, 217 are connected to a pump 220 for pumping water.
  • the pump 220 is designed as a circulating pump and is connected to a water diverter 222 and to a pump sensor 225 .
  • the pump sensor 225 is designed as a pump pressure sensor and monitors the stable pump operation during flushing operation.
  • the pump sensor can also be designed, for example, as a speed sensor or armature current sensor, and the switching behavior of a heating pressure monitor can also be evaluated in addition or as an alternative to monitoring the pump operation.
  • the pump sensor 225 is also designed to detect a pump state of the pump 220 and to provide the pump state to the device 205 using a pump signal 230 .
  • the device 205 comprises an artificial neural network 232 and is designed to implement a method for monitoring the load state, as is described in described in the previous figure.
  • the neural network 232 in this exemplary embodiment is trained on how items of crockery are not allowed to stand in the basket or are not allowed to be put away.
  • the neural network 232 is only trained, for example, to recognize reflective or shiny metallic crockery, such as pots made of stainless steel.
  • a distinguishing feature is only an example on the one hand the shiny surface and on the other hand the pot handles or the characteristic handle of a casserole.
  • the size of these dishes is a distinguishing feature or the shape in general.
  • the neural network 232 learns to recognize pieces of crockery made of wood, such as spatulas and bread boards.
  • crockery made of wood can be cleaned in the dishwasher, but rinsing with detergent leads to leaching of the surface.
  • Both the spatula and the bread board have a characteristic shape, which serves as a recognition feature for the neural network 232 in this exemplary embodiment.
  • the learning process can be carried out as supervised learning.
  • the neural network 232 is given patterns or image patterns, for example created in the laboratory, of possible basket loads or individual items of crockery, in particular including additional annotation information on the patterns, from which the load status of a washing basket 211, 212, 213, i.e.
  • the neural network 232 is designed to develop a prognosis about the present piece of crockery from the combination of all features. Furthermore, the position of the item of crockery can only be recognized by way of example by learning the opening, the orientation and the shape of cup handles or also by means of printing on the bottom. For this purpose, the neural network 232 is designed to read in the pump signal 230 and a camera signal 240 provided by a camera unit 235 and a microphone signal 250 provided by a microphone unit 245 .
  • the camera unit 235 which can also be referred to as a camera, is arranged on an appliance door 260 and is designed to visually image the interior 210 and to make it available to the device 205 using the camera signal 240.
  • the camera unit can also be arranged outside of the device, for example on a smartphone or under a kitchen ceiling.
  • the camera unit 235 shows a loading situation or a loading state of the washing baskets 211, 212, 213, which are also referred to as dishwasher baskets can be, recordable.
  • at least one camera can detect the opening side or the support side of critical crockery items, such as cups and bowls.
  • the handle shape and orientation can be used as a criterion for cups.
  • cup handles are more open on the cup-opening side than on the bottom side, which, in addition to the other criteria, can provide reliable information about the orientation of this piece of crockery in the basket.
  • many cups have a manufacturer's stamp on the bottom, which can also be recognized by the camera and used as a location criterion. If the stamp can be seen, then the cup has been put in the right way round.
  • the microphone unit 245 is arranged in the interior space 210 and is designed to be watertight, merely by way of example.
  • the microphone unit which can also be referred to as a microphone, can be designed to be at least water-proof and, additionally or alternatively, can be water-proof or water-proof.
  • a characteristic noise pattern is produced when the machine is being washed.
  • the uniform movement of the spray arms 215, 216, 217 only causes periodically recurring signals as an example. If a piece of crockery tips over or falls over during the washing operation, the resulting noise can be detected by the microphone unit 245 as an acoustic deviation from the noise pattern and can be made available to the device 205 or to the neural network 232 using the microphone signal 250 .
  • the device 205 is designed to read in the pump signal 225, the camera signal 240 and the microphone signal 250 and to process them by means of the artificial neural network 232 in order to classify a current load status of the flushing device 200 as correct or faulty.
  • the device 205 in this exemplary embodiment is designed to output a control signal 270 to a device interface 275 in order to change a device setting and thus adapt a rinsing process to the current loading state.
  • the device 205 is designed in this exemplary embodiment to output an information signal 280 to a user interface 285 to a user, with the information signal 280 representing information about the current load status.
  • the user interface 285 is designed as a display on the appliance door 260 of the flushing appliance 200 purely by way of example.
  • the user interface can also be arranged in a smartphone or tablet with a corresponding app, for example.
  • the neural network 232 offers the user the option of correcting the position of the cups by means of a message via the dispensing system or to start the program with the announcement of a later automatic adjustment of the flushing parameters.
  • figure 3 10 shows a flowchart of a method 100 for monitoring a loading state of an interior of a flushing device according to an embodiment.
  • the method 100 presented here corresponds or is similar to that in the previous one figure 1 described procedure.
  • step 105 of reading in in this exemplary embodiment, at least one weight signal is read in in addition to the camera signal, the microphone signal and the pump signal.
  • the weight signal represents, merely by way of example, a weight of a washing basket arranged in the interior of the washing device, which weight is detected by a load sensor. In doing so, in step 110 of the processing in this embodiment, the weight signal is processed to provide the load signal.
  • the weight of the basket load is also determined via the weight signal. If the measured weight deviates from empirical values, this means, for example, that the load is incomplete, that the load consists mainly of plastic crockery or that pots or pans have been fitted.
  • the neural network in this exemplary embodiment checks the loading situation for plausibility and, in step 115 of outputting, uses the information signal to issue correction recommendations to the user.
  • the method 100 in this exemplary embodiment includes an additional step 300 of modification.
  • the neural network is modified using a confirmation signal read in via the user interface, the confirmation signal requesting a reclassification of the current load status.
  • the neural network learns from the user's request. In practice, for example, it can happen that unusual items of crockery, in particular atypical items of crockery newly purchased by the user or items to be washed outside of the crockery context, which the neural network does not yet recognize, are placed in the dishwasher.
  • the user provides the confirmation signal via the user interface, which is only designed as part of a smartphone program by way of example, and thus confirms that the items of crockery detected as faulty are to be detected as correct loads.
  • the confirmation signal the neural network is modified accordingly.
  • FIG 4 shows a schematic representation of a device 205 according to an embodiment.
  • the device 205 shown here corresponds or is similar to that in FIG previous figure 2 described devices, with the difference that the device 205 in this embodiment includes both the neural network 232 and a controller 400 for controlling device settings as separate units.
  • the neural network 232 is designed to read in sensor signals, which are a camera signal 240, a microphone signal 250, a pump signal 230 and a weight signal 405, just by way of example.
  • the camera signal 240 represents an image of an interior of a flushing device captured by a camera unit, as in the previous figure 2 was described.
  • the microphone signal 250 represents a noise pattern in the interior detected by a microphone unit
  • the pump signal represents a pumping state of a pump of the washing device detected by a pump sensor
  • the weight signal in this exemplary embodiment represents a weight, detected by a load sensor, of a washing basket.
  • Neural network 232 is designed to process signals 230, 240, 250, 405 that are read in, in order to classify a current load status of the flushing device as correct or faulty, and to provide a load signal 410 representing the faulty load status if the load status is incorrectly classified.
  • the loading signal 410 is provided to the control device 400 of the device 205 .
  • the control device 400 is designed, merely by way of example, to output a control signal 270 to the device interface 275 in response to the loading signal 410, which can also be referred to as machine actuators.
  • the information signal 280 can likewise be output to the user interface 285 by the control device 400 .
  • FIG 5 shows a schematic representation of an embodiment of a rinsing device 200 with a device 205 for monitoring a loading condition of an interior 210 of the rinsing device 200.
  • the rinsing device 200 shown here corresponds to or is similar to that in the previous one figure 2 described flushing device and the device 205 shown here corresponds or is similar to that in the previous ones figures 2 and 4 device described.
  • the rinsing device 200 in this exemplary embodiment comprises an additional camera unit 500 which is arranged on a side of the interior space 210 opposite the camera unit 235 .
  • the additional camera unit 500 is designed only by way of example in order to capture the interior space 210 like the camera unit 235 and to provide an image of the interior space to the device 205 .
  • the washing device 200 also has a load sensor 505, 506, 507 on each washing rack 211, 212, 213.
  • the load sensors 505, 506, 507 are only designed by way of example to measure the weight of the respective washing basket 211, 212, 213 to be detected and made available to the device 205 using a weight signal 405 .
  • the load sensors 505, 506, 507 are designed as strain gauges for this purpose, purely by way of example.
  • a loading sensor can also be designed as an acceleration sensor, for example.
  • the device 205 is designed in this exemplary embodiment to read in and process the weight signal 405 in order to figures 2 and 4 provide loading signal described.
  • both the weight of the empty washing baskets 211, 212, 213 and the weight of a standard and an intensive load are known.
  • the device is designed to determine the weight of a current basket load 510 . If the measured weight deviates from empirical values, this means that the load is incomplete, that the load consists mainly of plastic crockery or that pots or pans have been fitted.
  • the loading situation can be checked in conjunction with the image information from the cameras. If incorrect loading is detected, a corresponding correction instruction can be output via the user interface 285 .
  • the neural network 232 of the device 205 is additionally designed in this exemplary embodiment to be modified.
  • a confirmation signal 515 can be read in via the user interface 285, with the confirmation signal 515 requesting a reclassification of the current load status.
  • the confirmation signal 515 the current load status can be learned as correct and the neural network 232 can be modified accordingly.
  • figure 6 10 shows a flowchart of a method 100 for monitoring a loading state of an interior of a flushing device according to an embodiment.
  • the method 100 presented here corresponds or is similar to those in the previous one figures 1
  • a step 600 of providing the camera signal using the camera unit and the microphone signal using the microphone unit and the pump signal using the pump sensor takes place before step 105 of reading. Only as a result of step 600 of providing are the signals read in and processed in this exemplary embodiment. In this case, only by way of example, in step 115 of outputting, the pump is caused to stop if the microphone signal represents an acoustic deviation from the noise pattern.
  • the neural network accesses the microphone of the rinsing device during the rinsing process.
  • a characteristic occurs when the machine is being washed noise pattern. The even movement of the spray arms causes periodically recurring signals. If items of crockery are tipped over or knocked over during washing operation due to the pressure of the spray jets, this is reflected in an acoustic deviation in the form of a so-called signal peak from the characteristic, uniform noise profile.
  • the pump is stopped to record the camera information triggered by the microphone signal. This has the particular advantage that the spray jets do not interfere with the image recording.
  • the neural network compares them with stored reference profiles and images of the loaded basket before the start of the washing program and signals the error via the user interface. Since it is to be expected that washing liquor will collect in an overturned bowl or a spilled cup, a water change is initiated in this exemplary embodiment in order to supply the nominal amount of water to the washing process again. Furthermore, the liquid in the vessel is thereby diluted.
  • step 110 of processing is carried out again in response to step 115 of outputting in order to compare the camera signal with the microphone signal and to reclassify the current load status of the flushing device as correct or faulty.
  • the neural network in this exemplary embodiment compares the signal from the microphone with that from the pump sensor in addition to the image information. If the signal fluctuation shows up in both the microphone signal and the pump signal, the likely item that was thrown over is a bowl.
  • the neural network references the camera images with the signals from the other sensors. Since the volume of a bowl only slowly fills with washing liquid, the peak in the microphone and pump signal will not occur at the same time, but at different times.
  • the hydraulic signal image follows later in time, since the volume of the vessel first has to fill up.
  • the neural network determines the amount of water to be refilled over the duration of the delay in conjunction with the images of the loading situation.
  • the user is informed using the information signal. If the user does not respond to the prompt within a specified time, the program adaptation is carried out as described.
  • a similar acoustic picture occurs when one or more spray arms are or become blocked or one or more spray arms, which can still rotate, touch crockery that has slipped through the basket or slide along them. So that the camera or the neural network can carry out an image comparison and make a decision based on the microphone signal without being influenced by the spray jets, the circulation pump is switched off, i.e. the flushing operation is interrupted. In the following step 605 of temporarily switching on, the pump is only switched on as an example for at least 5 Seconds released again to be switched off again afterwards. If the position of one or more spray arms has not changed, there is a spray arm blockage and the information about the disrupted operating status is communicated to the user.
  • FIG. 2 shows a schematic representation of a pump signal 230 according to an embodiment.
  • the pump signal 230 shown here corresponds or is similar to that in the previous ones figures 2 , 4 and 5 described pump signal.
  • the pump signal 230 is shown as a diagram in the figure shown here, the course over time being shown on the x-axis and the course of the pump signal 230 on the y-axis.
  • the pump signal 230 is from a pump sensor as in the previous one figure 5 has been described can be provided.
  • the pump sensor monitors the stable pump operation during the flushing operation. Alternatively, the switching behavior of the heating pressure switch can also be evaluated.
  • washing liquid will collect in the volumes of the cups or bowls, which leads to instability in the pump pressure.
  • the pump pressure, the pump speed or the armature current of the pump motor fluctuates. If all items of crockery are loaded correctly, the result is a relatively stable pump pressure, a relatively constant speed and a relatively constant armature current. This can be mapped in a constant partial signal 700 . If, on the other hand, rinsing water collects in vessel cavities, the pump delivers irregularly, which leads to fluctuations 705 in the signal.
  • the amount of water to be refilled which would again lead to a stable pump behavior, is only an example of a neural network, as in the previous ones figures 2 , 4 and 5 was described, can be defined as a function of the detected number of incorrectly placed crockery items. The amount of water can then be adjusted.
  • the neural network compares the pump behavior with the loading situation derived from the images from the cameras.
  • FIG 8 shows a schematic representation of a microphone signal 250 according to an embodiment.
  • the microphone signal 250 shown here corresponds or is similar to that in the previous ones figures 2 , 4 and 5 described microphone signal.
  • the microphone signal 250 is shown as a diagram in the figure shown here, the course over time being shown on the x-axis and the course of the microphone signal 250 being shown on the y-axis.
  • a neural network of a rinsing device comes into play figures 2 , 4 and 5 described back to the microphone of the flushing device.
  • a characteristic noise pattern is produced when the machine is being washed.
  • the uniform movement of the spray arms causes periodically recurring sub-signals 800. If crockery is tipped over during washing operation by the pressure of the spray jets or overturned, this is reflected in an acoustic deviation 805 in the form of a so-called signal peak from the characteristic, uniform noise profile.

Landscapes

  • Washing And Drying Of Tableware (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Überwachen eines Beladungszustands eines Innenraums (210) eines Spülgeräts (200), wobei ein Mikrofonsignal (250) ein Geräuschbild und ein Pumpensignal (230) einen Pumpzustand einer Pumpe (220) des Spülgeräts (200) repräsentiert. Zumindest eines der Signale wird mittels eines künstlichen neuronalen Netzes (232) verarbeitet, um einen aktuellen Beladungszustand des Spülgeräts (200) als korrekt oder fehlerhaft zu klassifizieren, und bei fehlerhaft klassifiziertem Beladungszustand ein den fehlerhaften Beladungszustand repräsentierendes Beladungssignal (410) bereitzustellen. Ein Steuersignal (270) wird an eine Geräteschnittstelle (275) und/oder ein Informationssignal (280) an eine Nutzerschnittstelle (285) zu einem Nutzer ansprechend auf das Beladungssignal (410) bereitgesellt, wobei das Steuersignal (270) eine Änderung einer Geräteeinstellung zum Anpassen des Spülvorgangs an den aktuellen Beladungszustand repräsentiert, und wobei das Informationssignal (280) eine Information über den aktuellen Beladungszustand repräsentiert.

Description

  • Die Erfindung betrifft ein Verfahren zum Überwachen eines Beladungszustands eines Spülgeräts und ein Spülgerät.
  • Vorrichtungen mit Künstlicher Intelligenz (KI) können in Haushaltgeräte integriert werden, um den Nutzen der Geräte und den Bedienkomfort zu erhöhen. Ferner können verschiedene Sensoren, beispielsweise in Kamerasystemen, in den Geschirrspüler eingebaut sein, um beispielsweise Informationen über die vorliegende Beladung mit Spülgut und dessen Verschmutzung zu erhalten.
  • Der Erfindung stellt sich die Aufgabe ein verbessertes Verfahren zum Überwachen eines Beladungszustands eines Spülgeräts und ein verbessertes Spülgerät zu schaffen.
  • Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Überwachen eines Beladungszustands eines Spülgeräts und ein Spülgerät mit den Merkmalen der Hauptansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den nachfolgenden Unteransprüchen.
  • Die mit der Erfindung erreichbaren Vorteile bestehen neben einer Optimierung der Beladung von Spülkörben in einer Erhöhung der Betriebssicherheit des Spülgeräts. Beispielsweise eignet sich der beschriebene Ansatz zum Erkennen von umgefallenem Spülgut bzw. zur Erkennung einer Ansammlung von Spülflotte führendem falsch eingeräumten Spülgut.
  • Es wird ein Verfahren zum Überwachen eines Beladungszustands eines Innenraums eines Spülgeräts vorgestellt, wobei das Verfahren folgende Schritte aufweist:
    Einlesen mindestens eines Mikrofonsignals und mindestens eines Pumpensignals, wobei das Mikrofonsignal ein von einer Mikrofoneinheit erfasstes Geräuschbild im Innenraum repräsentiert und das Pumpensignal einen von einem Pumpensensor erfassten Pumpzustand einer Pumpe des Spülgeräts repräsentiert,
  • Verarbeiten des Mikrofonsignals und zusätzlich oder alternativ des Pumpensignals mittels eines künstlichen neuronalen Netzes, um einen aktuellen Beladungszustand des Spülgeräts als korrekt oder fehlerhaft zu klassifizieren, und bei fehlerhaft klassifiziertem Beladungszustand ein den fehlerhaften Beladungszustand repräsentierendes Beladungssignal bereitzustellen, und Ausgeben eines Steuersignals an eine Geräteschnittstelle und zusätzlich oder alternativ eines Informationssignals an eine Nutzerschnittstelle zu einem Nutzer ansprechend auf das Beladungssignal, wobei das Steuersignal eine Änderung einer Geräteeinstellung zum Anpassen des Spülvorgangs an den aktuellen Beladungszustand repräsentiert, und wobei das Informationssignal eine Information über den aktuellen Beladungszustand repräsentiert.
  • Das vorbeschriebene Verfahren zum Überwachen eines Beladungszustands eines Spülgeräts ist insbesondere Teil eines Verfahren zum Reinigen von Spülgut, bei dem Spülgut in dem Spülgerät gespült wird.
  • Der Beladungszustand kann dabei insbesondere durch ein oder mehrere der folgenden Charakteristika des Spülgutes repräsentiert sein: Menge des Spülgutes, Gewicht des Spülgutes oder einzelner Spülgutteile, Art des Spülgutes oder einzelner Spülgutteile (also etwa Teller, Tasse, Topf, Pfanne), Materialart des Spülgutes oder einzelner Spülgutteile, Positionierung des Spülgutes oder einzelner Spülgutteile in einem Spülkorb oder den Spülkörben, Ausrichtung, d.h. Orientierung einzelner Spülgutteile.
  • Bei dem Spülgerät kann es sich zum Beispiel um einen Geschirrspüler handeln, in dessen Innenraum beispielsweise zwei oder mehr Spülkörbe zum Einordnen von Spülgut wie etwa Geschirr angeordnet sein können. Neben Normempfehlungen zur Beladung von Spülkörben, die auch als Geschirrkörbe bezeichnet werden können, kann sich in der Praxis oft eher ein heterogenes Beladungsbild zeigen. Zum einen ist das Spektrum an Schalen, Tassen, Töpfen und Pfannen sehr breit, woraus ein sehr haushaltsspezifisches Sortiment resultieren kann. Zum anderen kann die Beladung der Geschirrkörbe in der Regel eher intuitiv erfolgen, insbesondere, wenn es sich um größere Geschirrteile wie beispielsweise Töpfe und Schalen handelt. Daraus kann sich die Problematik ergeben, dass größere Geschirrteile einerseits in den falschen Korb (größere Schalen sollten sich idealerweise im Unterkorb befinden), an eine nicht optimale Position im Korb und sogar falsch herum in den Geschirrkorb gelegt werden können. Darüber hinaus besteht bei leichten Schüsseln, Schalen und auch Tassen aus Kunststoff die Gefahr, dass sie beim Spülen durch den Wasserdruck der Sprühstrahlen umgeworfen werden können und sich dann in einem Hohlraum Spülflotte sammeln kann, die dem Wasserkreislauf nicht mehr zur Verfügung stehen kann. Dies kann zu einem instabilen Pumpenlauf und auch zu einer reduzierten Reinigungs- und Trocknungsperformance führen. Möglicherweise kann auch die Pumpe beschädigt werden, wenn sie zu wenig Wasser fördert. Ferner kann es geschehen, dass Geschirrteile in die Körbe gelegt werden, die nicht in den Geschirrspüler gehören, wie beispielsweise Pfannenwender aus Holz oder Geschirr aus Aluminium. Des Weiteren kann es passieren, dass Geschirrteile, zum Beispiel Kaffeetassen, beim Einschieben des Korbs umkippen, wenn sie zuvor statisch labil in den Korb gelegt wurden. Mit dem hier vorgestellten Verfahren kann einem Bediener des Spülgeräts vorteilhafterweise ein überwachtes Beladungsmanagement, insbesondere unterstützt durch die heutigen Möglichkeiten der Digitalisierung, an die Hand gegeben werden, um die Beladung der Körbe zu optimieren und die Betriebssicherheit des Geräts zu erhöhen.
  • Hierfür kann das Spülgerät zum Beispiel eine Mehrzahl verschiedener Sensoren, beziehungsweise ein Sensor-Array, umfassen, die eine künstliche Intelligenz beziehungsweise ein neuronales Netz mit Informationen versorgen können. Das neuronale Netz wiederum kann in Verbindung mit einer Gerätesteuerung stehen, die beispielsweise eine Maschinen-Aktorik und ein Ausgabesystem, das heißt eine Schnittstelle zu einem Nutzer, steuern kann. Bei dem Ausgabesystem kann es sich beispielsweise um einen akustischen Signalgeber im Geschirrspüler, das Display des Geräts oder ein Smart Phone mit einer entsprechenden App handeln. Mit dem hier vorgestellten Verfahren wird durch die Kombination mehrerer Sensorsignale, die das neuronale Netz unterstützen, die Beladungssituation des Geschirrspülers erfasst und darauf basierend können dem Nutzer Korrektur- und Warnhinweise gegeben werden.
  • Hierfür kann die KI beziehungsweise das neuronale Netz darauf trainiert sein, wie Geschirrteile im Korb nicht stehen oder wie sie nicht eingeräumt werden dürfen. Mittels der Information über die Anzahl der falsch eingeräumten Objekte bietet das neuronale Netz dem Bediener per Hinweis über das Ausgabesystem die Möglichkeit, die Tassenlage zu korrigieren oder das Programm mit der Ankündigung einer späteren automatischen Spülparameteranpassung, beispielsweise einem zusätzlichen Wasserwechsel oder einer Erhöhung der Wassermenge, zu starten. Bei einer Positionsänderung eines Objekts während eines Spülgangs, wie beispielsweise einer umgefallenen Schüssel, kann gleichermaßen eine Information für den Nutzer bereitgestellt werden und zusätzlich oder alternativ können Spülparameter an den geänderten Beladungszustand angepasst werden.
  • Gemäß einer Ausführungsform kann im Schritt des Einlesens oder in einem erneut ausgeführten Schritt des Einlesens mindestens ein Kamerasignal eingelesen werden, das ein von einer Kameraeinheit erfasstes Abbild des Innenraums repräsentiert. Dabei kann im Schritt des Verarbeitens das Kamerasignal verarbeitet werden, um das Beladungssignal bereitzustellen. Beispielsweise kann sich eine Kamera sowohl im Geschirrspüler als auch außerhalb des Geräts befinden, zum Beispiel kann es sich um die Kamera in einem SmartPhone oder eine in der Küche installierte Kamera, beispielsweise unter der Decke, handeln. Mit der Kameraeinheit oder optional mit mehreren Kameras kann vorteilhafterweise die Beladungssituation der Geschirrspüler-Körbe aufgenommen werden. Bei klassischer Bildverarbeitung kann zum Beispiel von wenigstens einer Kamera die Öffnungsseite und zusätzlich oder alternativ die Auflageseite kritischer Geschirrteile, wie beispielsweise Tassen und Schüsseln, erfasst werden. Zusätzlich kann bei Tassen die Henkelform und -ausrichtung als Kriterium herangezogen werden. Die Tassenhenkel können beispielsweise tassenöffnungsseitig weiter geöffnet sein als bodenseitig, was neben den anderen Kriterien eine zuverlässige Information über die Orientierung dieses Geschirrteils im Korb geben kann. Ferner können einige Tassen bodenseitig einen Herstellerstempel aufweisen, der ebenfalls von den Kameras erfasst und als Lagekriterium herangezogen werden kann. Ist der Stempel zu erkennen, dann wurde die Tasse richtig herum eingeräumt.
  • In dem erneuten Schritt des Einlesens kann das Kamerasignal eingelesen werden, wenn der aktuelle Beladungszustand unter Verwendung des Mikrofonsignals und/oder des Pumpensignals als fehlerhaft klassifiziert wird. Somit kann falsch eingeräumtes Spülgut beispielsweise zunächst unter Verwendung eines Pumpendrucksensors und eines Mikrofons erkannt werden. Erst in zweiter Linie kann optional eine nachgelagerte weitere Auswertung durch Bildauswertung erfolgen. Dabei kann die Bildauswertung dadurch getriggert werden, dass unter Verwendung des Pumpendrucksensors und des Mikrofons zuvor beispielsweise umgefallenes Spülgut oder eine Ansammlung von Spülflotte in falsch eingeräumten Spülgut erkannt wurde.
  • Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens mindestens ein Gewichtssignal eingelesen werden, das ein von einem Beladungssensor erfasstes Gewicht eines im Innenraum angeordneten Spülkorbs repräsentiert. Dabei kann im Schritt des Verarbeitens das Gewichtssignal verarbeitet werden, um das Beladungssignal bereitzustellen. Beispielsweise kann der Beladungssensor oder mehrere Beladungssensoren als Dehnungsmessstreifen oder Beschleunigungssensoren ausgeführt sein. Mittels des Beladungssensors kann das neuronale Netz vorteilhafterweise zusätzlich Informationen über das Gewicht der Körbe und damit auch über das Gewicht der Korbbeladung erhalten. Das Gewicht der leeren Körbe und das einer Norm- und auch einer Intensivbeladung können im Voraus bekannt sein oder sich leicht ermitteln lassen. Weicht das gemessene Gewicht von Erfahrungswerten ab, so kann zum Beispiel eine unvollständige Beladung, eine Beladung mit überwiegend Geschirrteilen aus Kunststoff oder auch eine Bestückung mit Töpfen oder Pfannen vorliegen. In Verbindung mit den Bildinformationen der Kameraeinheit kann das neuronale Netz die Beladungssituation plausibilisieren und gegebenenfalls Korrekturempfehlungen an den Nutzer bereitstellen. Erkennen beispielsweise die Beladungssensoren des Oberkorbs ein zu hohes Gewicht und erfasst das neuronale Netz über die gelernten Kamerabilder Töpfe oder Pfannen im Oberkorb, kann der Beladungszustand als fehlerhaft klassifiziert werden und die Anzeigeeinheit kann den Hinweis geben, die schweren Geschirrteile in den Unterkorb zu legen.
  • So kann unter Verwendung des Gewichtssignals vorteilhafterweise ein möglichst reales und umfassendes Bild dem Beladungszustand erstellt werden.
  • Gemäß der Erfindung wird das Signal von einem oder mehreren der Sensoren eingelesen und mittels eines künstlichen neuronalen Netzes verarbeitet, um einen aktuellen Beladungszustand als korrekt oder fehlerhaft zu klassifizieren. Dabei wird etwa die Stärke und/oder das Profil, insbesondere hinsichtlich Gleichmäßigkeit, Schwankungen und Periodizität, zumindest des Signals des Mikrofons und des Pumpensensors, welcher etwa als Pumpendrucksensor, Drehzahlsensor oder Ankerstromsensor ausgebildet sein kann, verarbeitet. Eine fehlerhafte Klassifizierung kann etwa dadurch definiert sein, dass der aktuelle Beladungszustand nicht einer vorgegebenen Norm oder Erwartung entspricht. Insbesondere kann ein Beladungszustand etwa dann als fehlerhaft klassifiziert werden, wenn ein oder mehrere Charakteristika des Spülgutes nicht innerhalb vorgegebener oder vorgebbarer Grenzen oder einer vorgegebenen oder vorgebbaren Auswahl liegt. Andernfalls kann der Beladungszustand als korrekt klassifiziert werden.
  • Ein Beladungszustand, der als fehlerhaft klassifiziert wird, kann beispielsweise einer aus der folgenden, nicht abgeschlossenen Liste sein: zumindest ein Spülgutteil einer bestimmten Art ist an einer dafür ungeeigneten Stelle angeordnet, zumindest ein Spülgutteil ist in einer falschen Ausrichtung angeordnet (ist beispielsweise umgekippt), zumindest ein Spülgutteil entspricht nicht einer zum Spülen im Spülgerät geeigneten oder einer dem System bekannten Art.
  • Um die Richtigkeit der Klassifizierung, insbesondere der Einteilung der Beladungszustände in "korrekt" oder "fehlerhaft" zu verbessern, also die Gefahr einer Falscheinteilung und damit eines falschen Beladungssignals zu verringern, werden zumindest sowohl die Signale des Mikrofons als auch die des Pumpensensors eingelesen und zusammen verarbeitet. Erst durch die Berücksichtigung beider Signale und Auswertung ihrer Korrelation können bestimmte Beladungszustände mit ausreichender Genauigkeit erkannt und als fehlerhaft klassifiziert werden. Zur weiteren Erhöhung der Richtigkeit der Klassifizierung können die Signale von weiteren Sensoren mitverarbeitet werden, etwa ein Kamerasignal und/oder ein Gewichtssignal.
  • Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Modifizierens des neuronalen Netzes unter Verwendung eines über die Nutzerschnittstelle eingelesenen Bestätigungssignals aufweisen, wobei das Bestätigungssignal eine Neuklassifizierung des aktuellen Beladungszustands anfordert. Es kann beispielsweise in der Praxis vorkommen, dass zum Beispiel eher nicht alltägliche Geschirrteile, insbesondere vom Nutzer neu angeschaffte atypische Geschirrteile oder Spülgut außerhalb des Geschirrkontextes in den Geschirrspüler gelegt werden, die das neuronale Netz noch nicht kennt. Solche Geschirrteile können vom neuronalen Netz als falsch eingelegt oder als unbekannt ermittelt und der Beladungszustand entsprechend als fehlerhaft klassifiziert werden. Unter Verwendung des Informationssignals kann eine diesbezügliche Information bereitgestellt werden. Hierauf kann der Nutzer reagieren, indem er aktiv bestätigen kann, dass der Beladungszustand tatsächlich als korrekt einzustufen ist. Dies kann beispielsweise mit einem Smartphone-Programm am Ende des Spülgangs durchgeführt werden. Unter Verwendung des Bestätigungssignals kann vorteilhafterweise das Lernen des neuronalen Netzes proaktiv ausgelöst werden und das bezeichnete Objekt kann zum Beispiel einer Datenbank hinzugefügt werden, um künftige Fehlalarme zu vermeiden.
  • Gemäß einer weiteren Ausführungsform kann im Schritt des Verarbeitens des Pumpensignals mit dem Kamerasignal abgeglichen werden, wenn das Pumpensignal einen unregelmäßigen Pumpendruck repräsentiert, um fehlerhaft angeordnete Objekte im Innenraum zu erfassen. Der Pumpensensor kann beispielsweise als Drehzahlsensor, Pumpendrucksensor oder Ankerstromsensor ausgebildet sein und kann während des Spülbetriebs den stabilen Pumpenlauf überwachen. Zusätzlich oder alternativ dazu kann auch das Schaltverhalten des Heizungsdruckwächters ausgewertet werden. Falls der Nutzer nach dem Beladen der Körbe das Programm mit der Notwendigkeit einer späteren Programmanpassung startet, das heißt, wenn zum Beispiel Hinweis auf falsch eingeräumte Geschirrteile ignoriert wird, kann sich in den Volumina der Tassen oder Schüsseln Spülflotte sammeln, was zu einer Instabilität im Pumpendruck führen kann. Der Pumpendruck, die Pumpendrehzahl oder auch der Ankerstrom des Pumpenmotors kann in einem solchen Fall schwanken. Falls alle Geschirrteile korrekt eingeräumt sind, kann sich ein relativ stabiler Pumpendruck, eine relativ konstante Drehzahl und ein relativ konstanter Ankerstrom ergeben. Sammelt sich Spülflotte in Gefäßhohlräumen, kann die Pumpe unregelmäßig fördern, was zu Schwankungen im Signal führen kann. Bei einem Einlesen eines solch schwankenden Pumpensignals kann das neuronale Netz zum Beispiel das Pumpensignal mit dem Kamerasignal abgleichen, um das Pumpenverhalten mit den aus den Bildern der Kamera abgeleiteten Beladungssituation zu vergleichen. Dabei kann beispielsweise erfasst werden, ob der instabile Pumpendruck von einem falsch herum eingeräumten Objekt ausgelöst wurde, in dem sich nun Wasser sammelt, das dem Wasserkreislauf der Pumpe folglich fehlt. Wird ein solcher oder ähnlicher Zustand durch den Abgleich des Pumpensignals mit dem Kamerasignal erfasst, dann kann vorteilhafterweise die nachzufüllende Wassermenge, die wieder zu einem stabilen Pumpenverhalten führen würde, vom neuronalen Netz in Abhängigkeit der erfassten Anzahl falsch eingeräumter Geschirrteile festgelegt und zum Beispiel unter Verwendung des Steuersignals an die Gerätesteuerung übergeben werden. Vorteilhafterweise kann daraufhin die Wassermenge angepasst werden.
  • Gemäß einer weiteren Ausführungsform kann im Schritt des Ausgebens unter Verwendung des Steuersignals ein Anhalten der Pumpe veranlasst werden. Beispielsweise kann ein Anhalten der Pumpe oder Senkung ihrer Drehzahl veranlasst werden, wenn das eingelesene Pumpensignal Inkonsistenzen oder Schwankungen aufweist. Daraufhin kann zum Beispiel die Pumpe so lange angehalten oder zumindest ihre Drehzahl gesenkt werden, bis die Ursache des Problems zum Beispiel durch einen Abgleich mit anderen Sensorsignalen gefunden und unter Verwendung des Steuersignals behoben oder unter Verwendung des Informationssignals der Nutzer informiert wurde, um zum Beispiel eine Einstellung zu ändern. Vorteilhafterweise kann dadurch eine Fehlfunktion der Pumpe frühzeitig erfasst und eine Beschädigung des Spülgeräts vermieden werden.
  • Gemäß einer weiteren Ausführungsform kann im Schritt des Ausgebens das Anhalten der Pumpe veranlasst werden, wenn das Mikrofonsignal eine akustische Abweichung von dem Geräuschbild repräsentiert. Während des Spülprozesses kann das neuronale Netz zum Beispiel kontinuierlich auf die Mikrofoneinheit zurückgreifen. Das Mikrofon kann beispielsweise wasserdicht oder zumindest wassergeschützt im Innenraum des Spülgeräts angeordnet und zusätzlich oder alternativ ausgebildet sein. Im Spülbetrieb der Maschine kann sich ein charakteristisches Geräuschbild ergeben. Die gleichmäßige Bewegung der Sprüharme kann zum Beispiel periodisch wiederkehrende Signale bewirken. Werden im Spülbetrieb beispielsweise durch den Druck der Sprühstrahlen Geschirrteile umgekippt oder umgeworfen, so kann sich dies in einer akustischen Abweichung vom charakteristischen gleichmäßigen Geräuschprofil zeigen, beispielsweise in einer Abweichung in der Form eines sogenannten Signal-Peaks. Um eine Referenz zu erhalten kann in einem solchen Fall die Pumpe angehalten werden, um eine Aufnahme einer Kamerainformation durch das neuronale Netz zu ermöglichen, ausgelöst durch das Mikrofonsignal. Dies hat den Vorteil, dass die Sprühstrahlen die Bildaufnahme nicht stören. Das neuronale Netz kann die Kameraaufnahme beispielsweise mit hinterlegten Referenzprofilen und Bildern von dem beladenen Korb vor dem Start des Spülprogramms vergleichen und kann den Fehler unter Verwendung des Informationssignals signalisieren. Da zu erwarten sein kann, dass sich in einer umgeworfenen Schüssel oder einer umgekippten Tasse Spülflotte sammeln kann, kann zudem ein Wasserwechsel veranlasst werden, um dem Spülprozess wieder die Nennwassermenge zuzuführen. Ferner kann dadurch die sich in dem Gefäß befindliche Flüssigkeit verdünnt werden. Weiterhin kann das neuronale Netz zusätzlich zu der Bildinformation zum Beispiel das Mikrofonsignal mit dem Pumpensignal vergleichen. Falls sich die Signalschwankung sowohl im Mikrofonsignal als auch im Pumpensignals zeigt, wird es sich bei dem umgeworfenen Geschirrteil vermutlich um eine Schüssel handeln. Um hier Plausibilität zu erlangen, kann das neuronale Netz das Kamerasignal mit den Signalen der anderen Sensoren referenzieren. Da sich das Volumen einer Schüssel erst langsam mit Spülflotte füllt, würde der Peak im Mikrofon- und Pumpensignal nicht zeitgleich auftreten, sondern zeitlich versetzt. Das hydraulische Signalbild kann also zeitlich nachgelagert erfolgen, da sich das Volumen des Gefäßes erst füllt. Über die Dauer der Verzögerung kann das neuronale Netz in Verbindung mit den Bildern der Beladungssituation vorteilhafterweise die nachzufüllende Wassermenge festlegen. Zusätzlich oder alternativ kann auch hier der Nutzer über den fehlerhaften Beladungszustand informiert werden. Falls der Nutzer nicht in einer vorgegebenen Zeit auf die Aufforderung reagiert, kann die Programmanpassung wie beschrieben durchgeführt werden.
  • Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des zeitweiligen Einschaltens der Pumpe umfassen, um eine anhaltende akustische Abweichung von dem Geräuschbild zu erfassen. Beispielsweise kann sich eine akustische Abweichung von dem Geräuschbild einstellen, wenn einer oder mehrere Sprüharme blockiert sind oder werden oder einer oder mehrere Sprüharme, die sich jedoch noch drehen können, durch den Spülkorb gerutschte Geschirrteile berühren oder an ihnen entlanggleiten. Damit das neuronale Netz unter Verwendung der Kameraeinheit ansprechend auf das Mikrofonsignal unbeeinflusst von den Sprühstrahlen einen Bildvergleich durchführen beziehungsweise eine Entscheidung treffen kann, kann beispielsweise die Umwälzpumpe ausgeschaltet werden. Das heißt der Spülbetrieb kann unterbrochen werden. Anschließend kann die Umwälzpumpe zum Beispiel für wenigstens 5 Sekunden wieder freigegeben werden, um anschließend wieder ausgeschaltet zu werden. Wenn sich die Lage eines oder mehrerer Sprüharme nicht verändert hat, liegt eine Sprüharmblockade vor und die Information über den gestörten Betriebszustand kann dem Nutzer unter Verwendung des Informationssignals mitgeteilt werden. Vorteilhafterweise kann dadurch eine Schädigung des Spülgeräts oder im Innenraum angeordneter Objekte vermieden werden.
  • Gemäß einer weiteren Ausführungsform kann der Schritt des Verarbeitens ansprechend auf den Schritt des Ausgebens erneut durchgeführt werden, um den aktuellen Beladungszustand des Spülgeräts erneut als korrekt oder fehlerhaft zu klassifizieren. Beispielsweise kann infolge des Schritts des Ausgebens der Beladungszustand durch ein Eingreifen des Nutzers oder durch eine Änderung einer Geräteeinstellung verändert worden sein. Entsprechend kann der Schritt des Verarbeitens erneut durchgeführt werden, um die geänderten Umstände zu prüfen und neu zu klassifizieren. Zusätzlich oder alternativ kann ein vom neuronalen Netz als fehlerhaft klassifizierter Beladungszustand auch von dem Nutzer als korrekt bestätigt worden sein und das neuronale Netz kann sich entsprechend modifiziert haben, um den Beladungszustand folglich als korrekt zu klassifizieren. Vorteilhafterweise kann der aktuelle Beladungszustand dadurch fortlaufend und optimal überwacht werden.
  • Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Bereitstellens des Kamerasignals unter Verwendung der Kameraeinheit und des Mikrofonsignals unter Verwendung der Mikrofoneinheit und des Pumpensignals unter Verwendung des Pumpensensors umfassen. Dabei kann beispielsweise das neuronale Netz signalübertragungsfähig mit der Kameraeinheit, der Mikrofoneinheit und dem Pumpensensor sowie zusätzlich oder alternativ mit weiteren Sensoren verbunden sein und beispielsweise ausgebildet sein, um diese zu steuern. Vorteilhafterweise kann dadurch eine Signalübertragung erleichtert und das Überwachen des Beladungszustands des Spülgeräts optimiert werden.
  • Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern beziehungsweise umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
  • Die Vorrichtung kann ausgebildet sein, um Eingangssignale einzulesen und unter Verwendung der Eingangssignale Ausgangssignale zu bestimmen und bereitzustellen. Ein Eingangssignal kann beispielsweise ein über eine Eingangsschnittstelle der Vorrichtung einlesbares Sensorsignal darstellen. Ein Ausgangssignal kann ein Steuersignal oder ein Datensignal darstellen, das an einer Ausgangsschnittstelle der Vorrichtung bereitgestellt werden kann. Die Vorrichtung kann ausgebildet sein, um die Ausgangssignale unter Verwendung einer in Hardware oder Software umgesetzten Verarbeitungsvorschrift zu bestimmen. Beispielsweise kann die Vorrichtung dazu eine Logikschaltung, einen integrierten Schaltkreis oder ein Softwaremodul umfassen und beispielsweise als ein diskretes Bauelement realisiert sein oder von einem diskreten Bauelement umfasst sein.
  • Zudem wird ein Spülgerät mit einer Variante der zuvor vorgestellten Vorrichtung vorgestellt. Diese Kombination hat den Vorteil, dass alle zuvor genannten Vorteile optimal umgesetzt werden können.
  • Von Vorteil ist auch ein Computer-Programmprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann. Wird das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt, so kann das Programmprodukt oder Programm zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet werden.
  • Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen rein schematisch dargestellt und wird nachfolgend näher beschrieben. Es zeigt
    • Figur 1
    ein Ablaufdiagramm eines Verfahrens zum Überwachen eines Beladungszustands eines Innenraums eines Spülgeräts gemäß einem Ausführungsbeispiel;
    Figur 2
    eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts mit einer Vorrichtung;
    Figur 3
    ein Ablaufdiagramm eines Verfahrens zum Überwachen eines Beladungszustands eines Innenraums eines Spülgeräts gemäß einem Ausführungsbeispiel;
    Figur 4
    eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel;
    Figur 5
    eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts mit einer Vorrichtung;
    Figur 6
    ein Ablaufdiagramm eines Verfahrens zum Überwachen eines Beladungszustands eines Innenraums eines Spülgeräts gemäß einem Ausführungsbeispiel;
    Figur 7
    eine schematische Darstellung eines Pumpensignals gemäß einem Ausführungsbeispiel; und
    Figur 8
    eine schematische Darstellung eines Mikrofonsignals gemäß einem Ausführungsbeispiel.
  • Figur 1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Überwachen eines Beladungszustands eines Innenraums eines Spülgeräts gemäß einem Ausführungsbeispiel. Das Verfahren 100 umfasst einen Schritt 105 des Einlesens eines Mikrofonsignals und zusätzlich oder alternativ mindestens eines Pumpensignals. Dabei repräsentiert das Mikrofonsignal ein von einer Mikrofoneinheit erfasstes Geräuschbild im Innenraum und das Pumpensignal repräsentiert einen von einem Pumpensensor erfassten Pumpzustand einer Pumpe des Spülgeräts. Optional kann in diesem Schritt oder einem nachfolgend ausgeführten Schritt 105 des Einlesens zusätzlich ein Kamerasignal eingelesen werden, das ein von einer Kameraeinheit erfasstes Abbild des Innenraums repräsentieren kann.
  • In einem folgenden Schritt 110 des Verarbeitens werden in diesem Ausführungsbeispiel das Mikrofonsignal und das Pumpensignal, sowie optional das Kamerasignal mittels eines künstlichen neuronalen Netzes verarbeitet, um einen aktuellen Beladungszustand des Spülgeräts als korrekt oder fehlerhaft zu klassifizieren. Bei einem fehlerhaft klassifizierten Beladungszustand wird ein den fehlerhaften Beladungszustand repräsentierendes Beladungssignal bereitgestellt. Beispielsweise zeigt ein solches Beladungssignal an, dass ein umgefallenes oder falsch eingeräumtes Spülgut erkannt wurde, das beispielsweise zu einer Ansammlung von Spülflotte führen kann.
  • Gemäß einem Ausführungsbeispiel wird das Kamerasignal getriggert durch eine Auswertung des Mikrofonsignals und/oder des Pumpensignals eingelesen und Im Schritt 110 zum Bereitstellen des Beladungssignals und/oder zum erneuten Klassifizieren des Beladungszustands verwendet.
  • Das Verfahren 100 umfasst weiterhin einen Schritt 115 des Ausgebens eines Steuersignals an eine Geräteschnittstelle ansprechend auf das Beladungssignal. In diesem Ausführungsbeispiel wird in diesem Schritt 115 zusätzlich ein Informationssignal an eine Nutzerschnittstelle zu einem Nutzer ausgegeben. Dabei repräsentiert das Steuersignal eine Änderung einer Geräteeinstellung zum Anpassen des Spülvorgangs an den aktuellen Beladungszustand und das Informationssignal repräsentiert eine Information über den aktuellen Beladungszustand.
  • Figur 2 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts 200 mit einer Vorrichtung 205 zum Überwachen eines Beladungszustands eines Innenraums 210 des Spülgeräts 200. In diesem Ausführungsbeispiel ist das Spülgerät 200 als Geschirrspüler ausgebildet und umfasst lediglich beispielhaft drei Spülkörbe 211, 212, 213 zum Aufnehmen von Geschirr, wobei die Spülkörbe 211, 212, 213 in diesem Ausführungsbeispiel als ein Unterkorb 211 im unteren Bereich des Innenraums 210, ein Oberkorb 212 im mittleren Bereich des Innenraums 210 und als eine Besteckschublade 213 oberen Bereich des Innenraums 210 ausgeformt sind. Jeder Spülkorb 211, 212, 213 ist mittels je eines Sprüharms 215, 216, 217 mit Spülflotte versorgbar, um in den Spülkörben 211, 212, 213 anordenbares Geschirr zu spülen. Hierfür sind die Sprüharme 215, 216, 217 mit einer Pumpe 220 zum Pumpen von Wasser verbunden. Die Pumpe 220 ist in diesem Ausführungsbeispiel als Umwälzpumpe ausgeführt und mit einer Wasserweiche 222 sowie mit einem Pumpensensor 225 verbunden. Der Pumpensensor 225 ist in diesem Ausführungsbeispiel als Pumpendrucksensor ausgebildet und überwacht während eines Spülbetriebs den stabilen Pumpenlauf. In einem anderen Ausführungsbeispiel kann der Pumpensensor auch zum Beispiel als Drehzahlsensor oder Ankerstromsensor ausgebildet sein und zusätzlich oder alternativ zum Überwachen des Pumpenlaufs kann auch das Schaltverhalten eines Heizungsdruckwächters ausgewertet werden. In diesem Ausführungsbeispiel ist der Pumpensensor 225 zudem ausgebildet, um einen Pumpenzustand der Pumpe 220 zu erfassen und den Pumpenzustand unter Verwendung eines Pumpensignals 230 an die Vorrichtung 205 bereitzustellen.
  • Die Vorrichtung 205 umfasst in diesem Ausführungsbeispiel ein künstliches neuronales Netz 232 und ist ausgebildet, um ein Verfahren zum Überwachen des Beladungszustands, wie es in der vorangegangenen Figur beschrieben wurde, auszuführen. Hierfür ist das neuronale Netz 232 in diesem Ausführungsbeispiel darauf trainiert, wie Geschirrteile im Korb nicht stehen beziehungsweise nicht eingeräumt werden dürfen. Des Weiteren ist das neuronale Netz 232 lediglich beispielhaft darauf trainiert, spiegelnde oder metallisch glänzende Geschirrteile, wie beispielsweise Töpfe aus Edelstahl, zu erkennen. Ein Erkennungsmerkmal ist lediglich beispielhaft zum einen die glänzende Oberfläche und zum anderen die Topfgriffe oder der charakteristische Griff einer Kasserolle. Ferner stellt die Größe dieser Geschirrteile ein Erkennungsmerkmal oder auch die Form im Allgemeinen. Ferner lernt das neuronale Netz 232 in diesem Ausführungsbeispiel Geschirrteile aus Holz zu erkennen, wie zum Beispiel Pfannenwender und Brotzeitbretter. Geschirrteile aus Holz dürfen zwar prinzipiell im Geschirrspüler gereinigt werden, allerdings führt das Spülen mit Reiniger zu einem Auslaugen der Oberfläche. Sowohl Pfannenwender als auch Brotzeitbretter haben eine charakteristische Form, die dem neuronalen Netz 232 in diesem Ausführungsbeispiel als Erkennungsmerkmal dient. Der Prozess des Lernens ist dabei als überwachtes Lernen ausführbar. Beim überwachten Lernen werden dem neuronalen Netz 232 beispielsweise im Labor erstellte Muster beziehungsweise Bildmuster möglicher Korbbeladungen oder auch einzelner Geschirrteile, insbesondere inklusive zusätzlicher Annotationsinformationen zu den Mustern, übergeben, woraus der Beladungszustand eines Spülkorbs 211, 212, 213, das heißt die Form beziehungsweise Gestalt der Geschirrteile und auch Orientierung im Korb, im Rahmen der Genauigkeit bestimmbar beziehungsweise prognostizierbar ist. In diesem Ausführungsbeispiel geschieht dies lediglich beispielhaft über die Größe, die Farbe, die charakteristische Form und die Oberflächenbeschaffenheit beziehungsweise den Oberflächenglanz. Das neuronale Netz 232 ist ausgebildet, um aus der Kombination aller Merkmale eine Prognose über das vorliegende Geschirrteil zu entwickeln. Des Weiteren ist die Lage des Geschirrteils lediglich beispielhaft über das Lernen der Öffnung, die Orientierung und die Form von Tassenhenkeln oder auch anhand von Bodenbedruckungen erkennbar. Hierfür ist das neuronale Netz 232 ausgebildet, um das Pumpensignal 230, sowie ein von einer Kameraeinheit 235 bereitgestelltes Kamerasignal 240 und ein von einer Mikrofoneinheit 245 bereitgestelltes Mikrofonsignal 250 einzulesen.
  • Die Kameraeinheit 235, die auch als Kamera bezeichnet werden kann, ist in diesem Ausführungsbeispiel an einer Gerätetür 260 angeordnet und ausgebildet, um den Innenraum 210 visuell abzubilden und unter Verwendung des Kamerasignals 240 an die Vorrichtung 205 bereitzustellen. In einem anderen Ausführungsbeispiel kann die Kameraeinheit auch außerhalb des Geräts angeordnet sein, zum Beispiel an einem Smartphone oder unter einer Küchendecke. Mit der Kameraeinheit 235 ist eine Beladungssituation beziehungsweise ein Beladungszustand der Spülkörbe 211, 212, 213, die auch als Geschirrspüler-Körbe bezeichnet werden können, aufnehmbar. Bei klassischer Bildverarbeitung sind von wenigstens einer Kamera die Öffnungsseite beziehungsweise die Auflageseite kritischer Geschirrteile, wie beispielhaft Tassen und Schüsseln, erkennbar. Optional kann bei Tassen die Henkelform und - ausrichtung als Kriterium herangezogen werden. Dieses ist möglich, wenn die Tassenhenkel zum Beispiel tassenöffnungsseitig weiter geöffnet sind als bodenseitig, was neben den anderen Kriterien eine zuverlässige Information über die Orientierung dieses Geschirrteils im Korb geben kann. Ferner weisen viele Tassen bodenseitig einen Herstellerstempel auf, der ebenfalls von der Kamera erkannt und als Lagekriterium herangezogen werden kann. Ist der Stempel zu erkennen, dann ist die Tasse richtig herum eingeräumt.
  • Die Mikrofoneinheit 245 ist in diesem Ausführungsbeispiel im Innenraum 210 angeordnet und lediglich beispielhaft wasserdicht ausgebildet. In einem anderen Ausführungsbeispiel kann die Mikrofoneinheit, die auch als Mikrofon bezeichnet werden kann, zumindest wassergeschützt ausgebildet sein und zusätzlich oder alternativ wasserdicht oder wassergeschützt angeordnet sein. Im Spülbetrieb der Maschine ergibt sich ein charakteristisches Geräuschbild. Die gleichmäßige Bewegung der Sprüharme 215, 216, 217 bewirkt lediglich beispielhaft periodisch wiederkehrende Signale. Bei einem Umkippen oder Umwerfen eines Geschirrteils während des Spülbetriebs ist das dabei entstehende Geräusch als akustische Abweichung von dem Geräuschbild durch die Mikrofoneinheit 245 erfassbar und unter Verwendung des Mikrofonsignals 250 an die Vorrichtung 205 beziehungsweise an das neuronale Netz 232 bereitstellbar.
  • Die Vorrichtung 205 ist ausgebildet, um das Pumpensignal 225, das Kamerasignal 240 und das Mikrofonsignal 250 einzulesen und mittels des künstlichen neuronalen Netzes 232 zu verarbeiten, um einen aktuellen Beladungszustand des Spülgeräts 200 als korrekt oder fehlerhaft zu klassifizieren. Bei einem fehlerhaft klassifizierten Beladungszustand ist die Vorrichtung 205 in diesem Ausführungsbeispiel ausgebildet, einerseits ein Steuersignal 270 an eine Geräteschnittstelle 275 auszugeben, um eine Änderung einer Geräteeinstellung zu bewirken und damit einen Spülvorgang an den aktuellen Beladungszustand anzupassen. Darüber hinaus ist die Vorrichtung 205 in diesem Ausführungsbeispiel ausgebildet, um zusätzlich zu dem Steuersignal 270 ein Informationssignal 280 an eine Nutzerschnittstelle 285 zu einem Nutzer ausgegeben, wobei das Informationssignal 280 eine Information über den aktuellen Beladungszustand repräsentiert. Lediglich beispielhaft ist die Nutzerschnittstelle 285 als ein Display an der Gerätetür 260 des Spülgeräts 200 ausgeformt. In einem anderen Ausführungsbeispiel kann die Nutzerschnittstelle zum Beispiel auch in einem Smartphone oder Tablet mit einer entsprechenden App angeordnet sein. Mittels einer Information über lediglich beispielhaft die Anzahl von falsch eingeräumten Tassen bietet das neuronale Netz 232 dem Nutzer per Hinweis über das Ausgabesystem die Möglichkeit, die Tassenlage zu korrigieren oder das Programm mit der Ankündigung einer späteren automatischen SpülparameterAnpassung zu starten.
  • Figur 3 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Überwachen eines Beladungszustands eines Innenraums eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte Verfahren 100 entspricht oder ähnelt dem in der vorangegangenen Figur 1 beschriebenen Verfahren. Dabei wird im Schritt 105 des Einlesens in diesem Ausführungsbeispiel zusätzlich zu dem Kamerasignal, dem Mikrofonsignal und dem Pumpensignal mindestens ein Gewichtssignal eingelesen. Das Gewichtssignal repräsentiert lediglich beispielhaft ein von einem Beladungssensor erfasstes Gewicht eines im Innenraum des Spülgeräts angeordneten Spülkorbs. Dabei wird im Schritt 110 des Verarbeitens in diesem Ausführungsbeispiel das Gewichtssignal verarbeitet, um das Beladungssignal bereitzustellen. Da das Gewicht der leeren Körbe und das einer Norm- und auch das einer Intensivbeladung in diesem Ausführungsbeispiel bekannt beziehungsweise im neuronalen Netz hinterlegt sind, wird über das Gewichtssignal auch das Gewicht der Korbbeladung ermittelt. Weicht das gemessene Gewicht von Erfahrungswerten ab, so liegt beispielhaft eine unvollständige Beladung, eine Beladung mit überwiegend Geschirrteilen aus Kunststoff oder auch eine Bestückung mit Töpfen oder Pfannen vor. In Verbindung mit den Bildinformationen der Kameraeinheit plausibilisiert das neuronale Netz in diesen Ausführungsbeispiel die Beladungssituation und gibt im Schritt 115 des Ausgebens unter Verwendung des Informationssignals Korrekturempfehlungen an den Nutzer aus.
  • Zudem umfasst das Verfahren 100 in diesem Ausführungsbeispiel einen zusätzlichen Schritt 300 des Modifizierens. In diesem Schritt 300 wird das neuronale Netz unter Verwendung eines über die Nutzerschnittstelle eingelesenen Bestätigungssignals modifiziert, wobei das Bestätigungssignal eine Neuklassifizierung des aktuellen Beladungszustands anfordert. Mit anderen Worten lernt das neuronale Netz durch die Aufforderung des Nutzers. So kann es beispielsweise in der Praxis vorkommen, dass zum Beispiel eher nicht alltägliche Geschirrteile, insbesondere vom Nutzer neu angeschaffte atypische Geschirrteile oder Spülgut außerhalb des Geschirrkontextes in den Geschirrspüler gelegt werden, die das neuronale Netz noch nicht kennt. In einer solchen Situation wird vom Nutzer über die Nutzerschnittstelle, die lediglich beispielhaft als Teil eines Smartphone-Programms ausgebildet ist, das Bestätigungssignal bereitgestellt und damit bestätigt, dass die als fehlerhaft erfassten Geschirrteile als korrekte Beladung erfasst werden sollen. Unter Verwendung des Bestätigungssignals wird das neuronale Netz entsprechend modifiziert.
  • Figur 4 zeigt eine schematische Darstellung einer Vorrichtung 205 gemäß einem Ausführungsbeispiel. Die hier dargestellte Vorrichtung 205 entspricht oder ähnelt der in der vorangegangenen Figur 2 beschriebenen Vorrichtungen, mit dem Unterschied, dass die Vorrichtung 205 in diesem Ausführungsbeispiel sowohl das neuronale Netz 232 als auch eine Steuereinrichtung 400 zum Steuern von Geräteeinstellungen als separate Einheiten umfasst. Dabei ist das neuronale Netz 232 ausgebildet, um Sensorsignale einzulesen, bei denen es sich lediglich beispielhaft um ein Kamerasignal 240, ein Mikrofonsignal 250, ein Pumpensignal 230 und ein Gewichtssignal 405 handelt. Dabei repräsentiert das Kamerasignal 240 ein von einer Kameraeinheit erfasstes Abbild eines Innenraums eines Spülgeräts, wie es in der vorangegangenen Figur 2 beschrieben wurde. Gleichermaßen repräsentiert das Mikrofonsignal 250 ein von einer Mikrofoneinheit erfasstes Geräuschbild im Innenraum, das Pumpensignal repräsentiert einen von einem Pumpensensor erfassten Pumpzustand einer Pumpe des Spülgeräts und das Gewichtssignal repräsentiert in diesem Ausführungsbeispiel ein von einem Beladungssensor erfasstes Gewicht eines im Innenraum angeordneten, insbesondere mit Spülgut beladenen, Spülkorbs. Das neuronale Netz 232 ist ausgebildet, um die eingelesenen Signale 230, 240, 250, 405 zu verarbeiten, um einen aktuellen Beladungszustand des Spülgeräts als korrekt oder fehlerhaft zu klassifizieren, und bei einem fehlerhaft klassifizierten Beladungszustand ein den fehlerhaften Beladungszustand repräsentierendes Beladungssignal 410 bereitzustellen. In diesem Ausführungsbeispiel wird das Beladungssignal 410 an die Steuereinrichtung 400 der Vorrichtung 205 bereitgestellt. Die Steuereinrichtung 400 ist lediglich beispielhaft ausgebildet, um ansprechend auf das Beladungssignal 410 ein Steuersignal 270 an die Geräteschnittstelle 275 auszugeben, die auch als Maschinenaktorik bezeichnet werden kann. Zudem ist in diesem Ausführungsbeispiel das Informationssignal 280 an die Nutzerschnittstelle 285 ebenfalls durch die Steuereinrichtung 400 ausgebbar.
  • Figur 5 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts 200 mit einer Vorrichtung 205 zum Überwachen eines Beladungszustands eines Innenraums 210 des Spülgeräts 200. Das hier dargestellte Spülgerät 200 entspricht oder ähnelt dem in der vorangegangenen Figur 2 beschriebenen Spülgerät und die hier dargestellte Vorrichtung 205 entspricht oder ähnelt der in den vorangegangenen Figuren 2 und 4 beschriebenen Vorrichtung. Im Unterschied zu dem in der vorangegangenen Figur 2 beschriebenen Spülgerät, umfasst das Spülgerät 200 in diesem Ausführungsbeispiel eine zusätzliche Kameraeinheit 500, die an einer der Kameraeinheit 235 gegenüberliegenden Seite des Innenraums 210 angeordnet ist. Die zusätzliche Kameraeinheit 500 ist lediglich beispielhaft ausgebildet, um gleich der Kameraeinheit 235 den Innenraum 210 zu erfassen und ein Abbild des Innenraums an die Vorrichtung 205 bereitzustellen.
  • In diesem Ausführungsbeispiel weist das Spülgerät 200 zudem an jedem Spülkorb 211, 212, 213 jeweils einen Beladungssensor 505, 506, 507 auf. Die Beladungssensoren 505, 506, 507 sind lediglich beispielhaft ausgebildet, um ein Gewicht des jeweiligen Spülkorbs 211, 212, 213 zu erfassen und unter Verwendung eines Gewichtssignals 405 an die Vorrichtung 205 bereitzustellen. Lediglich beispielhaft sind die Beladungssensoren 505, 506, 507 hierfür als Dehnungsmessstreifen ausgebildet. In einem anderen Ausführungsbeispiel kann ein Beladungssensor zum Beispiel auch als Beschleunigungssensor ausgeführt sein. Die Vorrichtung 205 ist in diesem Ausführungsbeispiel ausgebildet, um das Gewichtssignal 405 einzulesen und zu verarbeiten, um das in den vorangegangenen Figuren 2 und 4 beschriebene Beladungssignal bereitzustellen. Dabei ist sowohl das Gewicht der leeren Spülkörbe 211, 212, 213 als auch das Gewicht einer Norm- und auch einer Intensivbeladung bekannt. Dadurch ist die Vorrichtung ausgebildet, um das Gewicht einer aktuellen Korbbeladung 510 zu ermitteln. Weicht das gemessene Gewicht von Erfahrungswerten ab, so liegt eine unvollständige Beladung, eine Beladung mit überwiegend Geschirrteilen aus Kunststoff oder auch eine Bestückung mit Töpfen oder Pfannen vor. In Verbindung mit den Bildinformationen der Kameras ist die Beladungssituation überprüfbar. Bei Erfassen einer fehlerhaften Beladung ist ein entsprechender Korrekturhinweis über die Nutzerschnittstelle 285 ausgebbar.
  • Ist der aktuelle Beladungszustand als fehlerhaft klassifiziert, obwohl ein Nutzer ihn als korrekt einstuft, dann ist das neuronale Netz 232 der Vorrichtung 205 in diesem Ausführungsbeispiel zusätzlich ausgebildet, um modifiziert zu werden. Hierfür ist ein Bestätigungssignal 515 über die Nutzerschnittstelle 285 einlesbar, wobei das Bestätigungssignal 515 eine Neuklassifizierung des aktuellen Beladungszustands anfordert. Unter Verwendung des Bestätigungssignals 515 ist der aktuelle Beladungszustand als korrekt erlernbar und das neuronale Netz 232 entsprechend modifizierbar.
  • Figur 6 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Überwachen eines Beladungszustands eines Innenraums eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte Verfahren 100 entspricht oder ähnelt den in der vorangegangenen Figuren 1 und beschriebenen Verfahren, mit dem Unterschied, dass das hier dargestellte Verfahren 100 zusätzliche Schritte aufweist. So erfolgt in diesem Ausführungsbeispiel vor dem Schritt 105 des Einlesens ein Schritt 600 des Bereitstellens des Kamerasignals unter Verwendung der Kameraeinheit und des Mikrofonsignals unter Verwendung der Mikrofoneinheit und des Pumpensignals unter Verwendung des Pumpensensors. Erst infolge des Schritts 600 des Bereitstellens werden die Signale in diesem Ausführungsbeispiel eingelesen und verarbeitet. Dabei wird lediglich beispielhaft im Schritt 115 des Ausgebens das Anhalten der Pumpe veranlasst, wenn das Mikrofonsignal eine akustische Abweichung von dem Geräuschbild repräsentiert.
  • Während des Spülprozesses greift in diesem Ausführungsbeispiel das neuronale Netz auf das Mikrofon des Spülgeräts zurück. Im Spülbetrieb der Maschine ergibt sich ein charakteristisches Geräuschbild. Die gleichmäßige Bewegung der Sprüharme bewirkt periodisch wiederkehrende Signale. Werden im Spülbetrieb durch den Druck der Sprühstrahlen Geschirrteile umgekippt oder umgeworfen, so zeigt sich dies in einer akustischen Abweichung in der Form eines sogenannten Signal-Peaks vom charakteristischen gleichmäßigen Geräuschprofil. Um eine Referenz zu erhalten wird zur Aufnahme der Kamerainformation, ausgelöst durch das Mikrofonsignal, die Pumpe angehalten. Dies hat insbesondere den Vorteil, dass die Sprühstrahlen die Bildaufnahme nicht stören. Das neuronale Netz vergleicht sie mit hinterlegten Referenzprofilen und Bildern von dem beladenen Korb vor dem Start des Spülprogramms und signalisiert den Fehler über die Nutzerschnittstelle. Da zu erwarten ist, dass sich in einer umgeworfenen Schüssel oder einer umgekippten Tasse Spülflotte sammelt, wird in diesem Ausführungsbeispiel ein Wasserwechsel veranlasst, um dem Spülprozess wieder die Nennwassermenge zuzuführen. Ferner wird dadurch die sich in dem Gefäß befindliche Flüssigkeit verdünnt.
  • Entsprechend wird in diesem Ausführungsbeispiel der Schritt 110 des Verarbeitens ansprechend auf den Schritt 115 des Ausgebens erneut durchgeführt, um das Kamerasignal mit dem Mikrofonsignal zu vergleichen und den aktuellen Beladungszustand des Spülgeräts erneut als korrekt oder fehlerhaft zu klassifizieren. Anders ausgedrückt vergleicht das neuronale Netz in diesem Ausführungsbeispiel zusätzlich zu der Bildinformation das Signal des Mikrofons mit dem des Pumpensensors. Falls sich die Signalschwankung sowohl im Mikrofonsignal als auch im Pumpensignal zeigt, wird es sich bei dem umgeworfenen Geschirrteil vermutlich um eine Schüssel handeln. Um hier Plausibilität zu erlangen, referenziert das neuronale Netz die Kamerabilder mit den Signalen der anderen Sensoren. Da sich das Volumen einer Schüssel erst langsam mit Spülflotte füllt, wird der Peak im Mikrofon- und Pumpensignal nicht zeitgleich auftreten, sondern zeitlich versetzt. Das hydraulische Signalbild folgt zeitlich nachgelagert, da sich das Volumen des Gefäßes erst füllen muss. Über die Dauer der Verzögerung legt das neuronale Netz in diesem Ausführungsbeispiel in Verbindung mit den Bildern der Beladungssituation die nachzufüllende Wassermenge fest. Auch hier wird der Nutzer unter Verwendung des Informationssignals informiert. Falls der Nutzer nicht in einer vorgegebenen Zeit auf die Aufforderung reagiert, wird die Programmanpassung wie beschrieben durchgeführt.
  • Ein ähnliches akustisches Bild stellt sich ein, wenn einer oder mehrere Sprüharme blockiert sind oder werden oder einer oder mehrere Sprüharme, die sich jedoch noch drehen können, durch den Korb gerutschte Geschirrteile berühren oder an ihnen entlanggleiten. Damit die Kamera beziehungsweise das neuronale Netz aufgrund des Mikrofonsignals unbeeinflusst von den Sprühstrahlen einen Bildvergleich durchführen und eine Entscheidung treffen kann, wird die Umwälzpumpe ausgeschaltet, das heißt der Spülbetrieb wird unterbrochen. Im folgenden Schritt 605 des zeitweiligen Einschaltens wird die Pumpe lediglich beispielhaft für wenigstens 5 Sekunden wieder freigegeben um anschließend wieder ausgeschaltet zu werden. Wenn sich die Lage eines oder mehrerer Sprüharme nicht verändert hat, liegt eine Sprüharmblockade vor und die Information über den gestörten Betriebszustand wird dem Nutzer mitgeteilt.
  • Figur 7 zeigt eine schematische Darstellung eines Pumpensignals 230 gemäß einem Ausführungsbeispiel. Das hier dargestellte Pumpensignal 230 entspricht oder ähnelt dem in den vorangegangenen Figuren 2, 4 und 5 beschriebenen Pumpensignal. Dabei ist das Pumpensignal 230 in der hier gezeigten Figur als Diagramm dargestellt, wobei der zeitliche Verlauf auf der x-Achse und der Verlauf des Pumpensignals 230 auf der y-Achse abgebildet ist. Das Pumpensignal 230 ist von einem Pumpensensor wie er in der vorangegangenen Figur 5 beschrieben wurde, bereitstellbar. Der Pumpensensor überwacht während des Spülbetriebs den stabilen Pumpenlauf. Alternativ dazu kann auch das Schaltverhalten des Heizungsdruckwächters ausgewertet werden. Falls der Nutzer nach dem Beladen der Spülkörbe das Programm mit der Notwendigkeit einer späteren Programmanpassung (Hinweis auf falsch eingeräumte Geschirrteile wird ignoriert) startet, wird sich in den Volumina der Tassen beziehungsweise Schüsseln Spülflotte sammeln, was zu einer Instabilität im Pumpendruck führt. Der Pumpendruck, die Pumpendrehzahl oder auch der Ankerstrom des Pumpenmotors schwankt. Falls alle Geschirrteile korrekt eingeräumt sind, ergibt sich ein relativ stabiler Pumpendruck, eine relativ konstante Drehzahl und ein relativ konstanter Ankerstrom. Dies ist in einem konstanten Teilsignal 700 abbildbar. Sammelt sich hingegen Spülflotte in Gefäßhohlräumen, fördert die Pumpe unregelmäßig, was zu Schwankungen 705 im Signal führt. Die nachzufüllende Wassermenge, die wieder zu einem stabilen Pumpenverhalten führen würde, ist lediglich beispielhaft von einem neuronalen Netz, wie es in den vorangegangenen Figuren 2, 4 und 5 beschrieben wurde, in Abhängigkeit der erfassten Anzahl falsch eingeräumter Geschirrteile festlegbar. Daraufhin ist die Wassermenge anpassbar. Insbesondere vergleicht das neuronale Netz das Pumpenverhalten mit den aus den Bildern der Kameras abgeleiteten Beladungssituation.
  • Figur 8 zeigt eine schematische Darstellung eines Mikrofonsignals 250 gemäß einem Ausführungsbeispiel. Das hier dargestellte Mikrofonsignal 250 entspricht oder ähnelt dem in den vorangegangenen Figuren 2, 4 und 5 beschriebenen Mikrofonsignal. Dabei ist das Mikrofonsignal 250 in der hier gezeigten Figur als Diagramm dargestellt, wobei der zeitliche Verlauf auf der x-Achse und der Verlauf des Mikrofonsignals 250 auf der y-Achse abgebildet ist. Während des Spülprozesses greift ein neuronales Netz eines Spülgeräts, wie es in den vorangegangenen Figuren 2, 4 und 5 beschrieben wurde, auf das Mikrofon des Spülgeräts zurück. Im Spülbetrieb der Maschine ergibt sich ein charakteristisches Geräuschbild. Die gleichmäßige Bewegung der Sprüharme bewirkt periodisch wiederkehrende Teilsignale 800. Werden im Spülbetrieb durch den Druck der Sprühstrahlen Geschirrteile umgekippt oder umgeworfen, so zeigt sich dies in einer akustischen Abweichung 805 in der Form eines sogenannten Signal-Peaks vom charakteristischen gleichmäßigen Geräuschprofil.

Claims (13)

  1. Verfahren (100) zum Überwachen eines Beladungszustands eines Innenraums (210) eines Spülgeräts (200), wobei das Verfahren (100) folgende Schritte aufweist:
    Einlesen (105) mindestens eines Mikrofonsignals (250) und mindestens eines Pumpensignals (230), wobei das Mikrofonsignal (250) ein von einer Mikrofoneinheit (245) erfasstes Geräuschbild im Innenraum (210) repräsentiert und das Pumpensignal (230) einen von einem Pumpensensor (225) erfassten Pumpzustand einer Pumpe (220) des Spülgeräts (200) repräsentiert;
    Verarbeiten (110) des Mikrofonsignals (250) und/oder des Pumpensignals (230) mittels eines künstlichen neuronalen Netzes (232), um einen aktuellen Beladungszustand des Spülgeräts (200) als korrekt oder fehlerhaft zu klassifizieren, und bei fehlerhaft klassifiziertem Beladungszustand ein den fehlerhaften Beladungszustand repräsentierendes Beladungssignal (410) bereitzustellen; und
    Ausgeben (115) eines Steuersignals (270) an eine Geräteschnittstelle (275) und/oder eines Informationssignals (280) an eine Nutzerschnittstelle (285) zu einem Nutzer ansprechend auf das Beladungssignal (410), wobei das Steuersignal (270) eine Änderung einer Geräteeinstellung zum Anpassen des Spülvorgangs an den aktuellen Beladungszustand repräsentiert, und wobei das Informationssignal (280) eine Information über den aktuellen Beladungszustand repräsentiert.
  2. Verfahren (100) gemäß Anspruch 1, wobei im Schritt (105) des Einlesens oder in einem erneuten Schritt (105) des Einlesens mindestens ein Kamerasignal (240) eingelesen wird, das ein von einer Kameraeinheit (235) erfasstes Abbild des Innenraums (210) repräsentiert, wobei im Schritt (110) des Verarbeitens das Kamerasignal (240) verarbeitet wird, um das Beladungssignal (410) bereitzustellen.
  3. Verfahren (100) gemäß Anspruch 2, wobei im erneuten Schritt (105) des Einlesens das Kamerasignal (240) eingelesen wird, wenn der aktuelle Beladungszustand unter Verwendung des Mikrofonsignals (250) und/oder des Pumpensignals (230) als fehlerhaft klassifiziert wird.
  4. Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (105) des Einlesens mindestens ein Gewichtssignal (405) eingelesen wird, das ein von einem Beladungssensor (506) erfasstes Gewicht eines im Innenraum (210) angeordneten Spülkorbs repräsentiert, wobei im Schritt (110) des Verarbeitens das Gewichtssignal (405) verarbeitet wird, um das Beladungssignal (410) bereitzustellen.
  5. Verfahren (100) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (300) des Modifizierens des neuronalen Netzes (232) unter Verwendung eines über die Nutzerschnittstelle (285) eingelesenen Bestätigungssignals (515), wobei das Bestätigungssignal (515) eine Neuklassifizierung des aktuellen Beladungszustands anfordert.
  6. Verfahren (100) gemäß einem der Ansprüche 3 bis 5, wobei im Schritt (110) des Verarbeitens das Pumpensignal (230) mit dem Kamerasignal (240) abgeglichen wird, wenn das Pumpensignal (230) einen unregelmäßigen Pumpendruck repräsentiert, um fehlerhaft angeordnete Objekte im Innenraum (210) zu erfassen.
  7. Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (115) des Ausgebens unter Verwendung des Steuersignals (270) ein Anhalten der Pumpe (220) veranlasst wird.
  8. Verfahren (100) gemäß Anspruch 7, wobei im Schritt (115) des Ausgebens das Anhalten der Pumpe (220) veranlasst wird, wenn das Mikrofonsignal (250) eine akustische Abweichung (805) von dem Geräuschbild repräsentiert.
  9. Verfahren (100) gemäß Anspruch 7 oder 8, mit einem Schritt (605) des zeitweiligen Einschaltens der Pumpe (220), um eine anhaltende akustische Abweichung von dem Geräuschbild zu erfassen.
  10. Verfahren (100) gemäß einem der vorangegangenen Ansprüche, wobei der Schritt (110) des Verarbeitens ansprechend auf den Schritt (115) des Ausgebens erneut durchgeführt wird, um den aktuellen Beladungszustand des Spülgeräts (200) erneut als korrekt oder fehlerhaft zu klassifizieren.
  11. Verfahren (100) gemäß einem der Ansprüche 2 bis 10, mit einem Schritt (600) des Bereitstellens des Kamerasignals (240) unter Verwendung der Kameraeinheit (235) und des Mikrofonsignals (250) unter Verwendung der Mikrofoneinheit (245) und des Pumpensignals (230) unter Verwendung des Pumpensensors (225).
  12. Spülgerät (200) umfassend einen Pumpensensor und ein Mikrofon, wobei das Spülgerät ausgebildet ist, um die Schritte (105, 110, 115) des Verfahrens (100) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen.
  13. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens (100) nach einem der vorangegangenen Ansprüche 1 bis 11, wenn das Computer-Programmprodukt auf einem Spülgerät nach Anspruch 12 ausgeführt wird.
EP22193587.7A 2021-09-20 2022-09-02 Verfahren zum überwachen eines beladungszustands eines spülgeräts und spülgerät Active EP4151137B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
BE20215739A BE1029768B1 (de) 2021-09-20 2021-09-20 Verfahren zum Überwachen eines Beladungszustands eines Spülgeräts, Vorrichtung und Spülgerät

Publications (3)

Publication Number Publication Date
EP4151137A1 true EP4151137A1 (de) 2023-03-22
EP4151137C0 EP4151137C0 (de) 2024-12-04
EP4151137B1 EP4151137B1 (de) 2024-12-04

Family

ID=79686743

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22193587.7A Active EP4151137B1 (de) 2021-09-20 2022-09-02 Verfahren zum überwachen eines beladungszustands eines spülgeräts und spülgerät

Country Status (2)

Country Link
EP (1) EP4151137B1 (de)
BE (1) BE1029768B1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10204455A1 (de) * 2002-02-05 2003-08-21 Miele & Cie Verfahren zur Beeinflussung und/oder Steuerung des Programmlaufs eines wasserführenden Haushaltgerätes, insbesondere Geschirrspülmaschine, sowie Geschirrspülmaschine zur Durchführung des Verfahrens
DE102005061806A1 (de) * 2005-12-23 2007-06-28 BSH Bosch und Siemens Hausgeräte GmbH Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine für Niedertemperatur-Klarspülmittel
US20210093150A1 (en) * 2019-10-01 2021-04-01 Lg Electronics Inc. Artificial intelligence dishwasher and dishwashing method using the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19961459A1 (de) * 1999-12-20 2001-07-12 Bsh Bosch Siemens Hausgeraete Gerät zur Behandlung von Textilien mit einer Auswerteschaltung zur Erkennung der Textilart und/oder der Feuchte eines Wäschestücks
WO2015055239A1 (en) * 2013-10-16 2015-04-23 Saronikos Trading And Services, Unipessoal Lda Laundry washing machine with speech recognition and response capabilities and method for operating same
DE102016211328A1 (de) * 2016-06-24 2017-12-28 BSH Hausgeräte GmbH Verfahren zur verbesserten Steuerung eines wasserführenden Haushaltsgerätes und hierzu geeignetes Haushaltsgerät
US10975509B2 (en) * 2016-11-23 2021-04-13 Motorola Mobility Llc RFID-tagged textile article cleaning
DE102018103062A1 (de) * 2018-02-12 2019-08-14 Miele & Cie. Kg Die vorliegende Erfindung betrifft ein Verfahren zum Betrieb einer Waschmaschine gemäß dem Oberbegriff von Anspruch 1. Weiterhin betrifft die vorliegende Anmeldung eine Waschmaschine zu Durchführung dieses Verfahrens
WO2020138523A1 (ko) * 2018-12-26 2020-07-02 엘지전자 주식회사 세탁물 처리 장치 및 그의 세탁 코스 결정 방법
KR20220049910A (ko) * 2020-10-15 2022-04-22 엘지전자 주식회사 의류처리장치의 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10204455A1 (de) * 2002-02-05 2003-08-21 Miele & Cie Verfahren zur Beeinflussung und/oder Steuerung des Programmlaufs eines wasserführenden Haushaltgerätes, insbesondere Geschirrspülmaschine, sowie Geschirrspülmaschine zur Durchführung des Verfahrens
DE102005061806A1 (de) * 2005-12-23 2007-06-28 BSH Bosch und Siemens Hausgeräte GmbH Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine für Niedertemperatur-Klarspülmittel
US20210093150A1 (en) * 2019-10-01 2021-04-01 Lg Electronics Inc. Artificial intelligence dishwasher and dishwashing method using the same

Also Published As

Publication number Publication date
BE1029768B1 (de) 2023-04-17
EP4151137C0 (de) 2024-12-04
EP4151137B1 (de) 2024-12-04
BE1029768A1 (de) 2023-04-12

Similar Documents

Publication Publication Date Title
EP2434936B1 (de) Geschirrspülmaschine
EP3654818B1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
DE102004030013A1 (de) Geschirrspülmaschine und Betriebsverfahren für eine Geschirrspülmaschine
DE102017126856A1 (de) Spülmaschine sowie Verfahren zum Reinigen von Spülgut in einer Spülmaschine
WO2015197325A1 (de) Wasserführendes haushaltsgerät
DE102019110795A1 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
EP2183423A1 (de) Verfahren zum steuern eines waschprozesses
DE102015107521A1 (de) Verfahren zum Steuern eines Haushaltsgeräts und Steuergerät
WO2022002689A1 (de) System mit einer geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
WO2019015990A1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
DE10246017A1 (de) Geschirrspülmaschine und Verfahren zur Erfassung eines Filterzustandes
EP4151137B1 (de) Verfahren zum überwachen eines beladungszustands eines spülgeräts und spülgerät
EP4157054B1 (de) System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt
EP3687362B1 (de) Geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
BE1029621B1 (de) Verfahren und Steuereinheit zum Erkennen einer verstopften Düse für ein Reinigungsgerät und Reinigungsgerät
BE1030689B1 (de) Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät
BE1031766B1 (de) Verfahren und Steuervorrichtung zum Anpassen eines Reinigungsvorgangs in einem Reinigungsgerät, Reinigungsgerät
BE1031788B1 (de) Verfahren und Steuereinheit zum Betreiben eines Reinigungsgerätes und Reinigungsgerät
DE102020200254B4 (de) Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine
DE102023116543A1 (de) Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät
DE102021134309A1 (de) Verfahren zum Erkennen einer Blockade in einem Spülgerät, Vorrichtung und Spülgerät
DE102024118822A1 (de) Verfahren zum Betätigen einer Spülmaschine mit mehreren aufeinanderfolgenden Arbeitszonen und/oder Arbeitsvorgängen zum Reinigen von Spülgut
DE102024200904A1 (de) Wasserführendes Haushaltsgerät, System mit wasserführendem Haushaltsgerät und Verfahren zum Betreiben eines wasserführenden Haushaltsgerätes
DE202024002558U1 (de) Steuereinrichung für eine Spülmaschine mit mehreren aufeinanderfolgenden Arbeitszonen und/oder Arbeitsvorgängen zum Reinigen von Spülgut
DE102020208139A1 (de) Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230922

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20240918

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502022002291

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

U01 Request for unitary effect filed

Effective date: 20241204

U07 Unitary effect registered

Designated state(s): AT BE BG DE DK EE FI FR IT LT LU LV MT NL PT RO SE SI

Effective date: 20241211

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20250404

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241204

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20241204

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

U20 Renewal fee for the european patent with unitary effect paid

Year of fee payment: 4

Effective date: 20250930

26N No opposition filed

Effective date: 20250905