EP4285338A1 - System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt - Google Patents

System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt

Info

Publication number
EP4285338A1
EP4285338A1 EP22700619.4A EP22700619A EP4285338A1 EP 4285338 A1 EP4285338 A1 EP 4285338A1 EP 22700619 A EP22700619 A EP 22700619A EP 4285338 A1 EP4285338 A1 EP 4285338A1
Authority
EP
European Patent Office
Prior art keywords
image
2dimg
dishwasher
captured
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22700619.4A
Other languages
English (en)
French (fr)
Inventor
Kai Paintner
Michael Rupp
Kuldeep Narayan Singh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP4285338A1 publication Critical patent/EP4285338A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/04—Crockery or tableware details, e.g. material, quantity, condition

Definitions

  • the present invention relates to a system with a dishwasher, a method for operating a dishwasher and a computer program product.
  • Dishwashers which have a camera or the like for capturing an image of a washware receptacle. For example, a load in the dishwasher, soiling of the items to be washed and the like can be determined on the basis of captured images. Such information can be used to optimize a washing program so that a cleaning result can be improved.
  • one object of the present invention is to improve the cleaning of items to be washed with a dishwasher.
  • a system with a dishwasher in particular one with a domestic dishwasher, is proposed.
  • the dishwasher includes an image capture device for capturing a 2D image of a washware receptacle of the dishwasher and washware arranged therein.
  • the system includes an image processing device for determining a 3D image of the item to be cleaned on the basis of the captured 2D image and additionally captured metadata of the captured 2D image.
  • the dishwasher also includes a control device for carrying out a washing program as a function of the determined 3D image.
  • This system has the advantage that there is a three-dimensional image of the items to be washed, with only one image recording device being required for this.
  • the three-dimensional image makes it possible to determine various information that is helpful for carrying out the washing program. For example, based on the 3D image, it can be determined whether items to be washed protrude from the items to be washed and can block a spray device, such as a rotatably mounted spray arm, and appropriate measures can be taken. Furthermore, an intensive rinsing zone can be activated or deactivated automatically. Furthermore, when loading the dishwasher, a user can be supported with items to be washed in order to achieve an optimal load. Furthermore, a drying step can be optimized.
  • the image acquisition device preferably includes an image sensor with an extended spectral range, which has a sensitivity in the range between 2500 nm-250 nm, for example.
  • the image capturing device preferably also includes a lens which is set up for imaging the items to be washed (or the images to be washed if the dishwasher has a plurality of items to be washed) onto the image sensor.
  • the image capture device preferably captures the image of the washware receptacle when it is arranged in a predetermined position.
  • the image capturing device can also include an illumination unit in order to illuminate the washware receptacle while the image is being captured.
  • the dishwasher has only exactly one image acquisition device with an optical beam path and a sensor. In particular, it is therefore not a stereo camera. The complexity of the dishwasher can thus be kept low.
  • the image capturing device can be embodied as a stereo camera that captures two 2D images from different viewing angles and on the basis of which the 3D image can be determined.
  • the dishwasher comprises a washing compartment with a washing compartment flange running around a loading opening of the washing compartment, the image capturing device being arranged in or on an upper flange section of the washing compartment flange assigned to a ceiling of the washing compartment, and the image capturing device pointing away from the washing compartment and at an angle in the direction of one of Bottom of the rinsing tank has spanned level.
  • the rinsing container flange is preferably located outside of a rinsing chamber which is sealed off by means of a sealing device.
  • a cavity is provided in or on the washing container flange, in which the image acquisition device is accommodated at least in sections, the cavity being delimited by a transparent element, preferably in the direction of the plane.
  • This embodiment ensures that the image capturing device is arranged on the dishwasher in such a way that it does not protrude or is perceived as being annoying.
  • a dishwasher that has the washing tub flange with the cavity but is not equipped with an image acquisition device can also be retrofitted comparatively easily.
  • the transparent element is designed, for example, as a plastic pane, a mineral glass pane, a glass pane or the like.
  • the transparent element preferably ensures sealing of the cavity downwards, in the direction of the plane, so that when the door is opened after a washing program, steam from the washing chamber cannot enter the cavity.
  • a corresponding sealing device is provided for this purpose, for example.
  • the transparent element is preferably transparent for the entire spectral range that is captured by the image capturing device. However, in embodiments it can also be provided that the transparent element is transparent only selectively for certain areas of the spectral range. Then the transparent element additionally acts as a filter.
  • the imaging device is arranged entirely within the cavity, with the cavity being sealed as a whole. This means that in particular no moisture can penetrate into the cavity, which is advantageous for the service life of the image acquisition device.
  • the image capturing device preferably has a vertical angle of view of at least 90° and a horizontal angle of view of at least 120°. This ensures that the item to be washed can be recorded as a whole without individual areas, for example edge areas, of the item to be washed not being visible on the recorded image.
  • the respective angle of view is preferably provided by corresponding optical elements. One can also speak of an ultra-wide-angle lens.
  • the image processing device can be implemented in terms of hardware and/or software.
  • the image processing device can be embodied, for example, as a computer or as a microprocessor.
  • the image processing device can be embodied as a computer program product, as a function, as a routine, as part of a program code or as an executable object.
  • the image processing device preferably includes a neural network which is set up to generate the 3D image.
  • the image processing device can have a number of neural networks, which can each carry out a partial step in the determination of the 3D image.
  • the image processing device preferably includes a processor and a memory device and is set up to carry out image transformations of the captured 2D image using algorithms, functions and the like.
  • the structure of a neural network is as follows.
  • the neural network can be divided into three layers or sections, an input layer, one or more hidden layers, and an output layer.
  • Each of the layers includes a plurality of individual neurons, it also being possible for different layers to have a different number of neurons.
  • the amount of neurons in the input layer depends, for example, on the amount and the format of the data to be processed by the neural network, which can also be referred to as the dimensionality of the data.
  • the amount of neurons in the output layer depends on the dimensionality of the output vector.
  • the input layer forms the input of the neural network, which receives the data to be processed in the form of an input vector.
  • the neurons of the input layer receive the information contained in the input vector and se weights on to the neurons of the first hidden layer.
  • the neurons of the first hidden layer receive the weighted signals from the input layer and pass them on to the following hidden layer in a weighted manner.
  • the signals are passed through the neural network from layer to layer in this way until the output layer is reached.
  • the output vector is tapped off at the neurons of the output layer.
  • the amount of hidden layers is basically unlimited, however the computational power needed to operate the neural network scales with the amount of hidden layers.
  • the metadata that is captured for a respective captured 2D image includes, for example, various information about a current operating state of the dishwasher, such as an extension state of a washware holder, an opening angle of a door of the dishwasher and the like, as well as operating parameters or settings of the image capture device for Time of image acquisition, such as an exposure time, a sensitivity, an angle of view and the like.
  • the metadata thus includes information that is helpful when determining the 3D image, in particular to avoid misinterpretations.
  • a neural network must be trained before it can be deployed. There are different training methods for this.
  • supervised learning an input vector is supplied to the neural network, with the corresponding optimum output vector also being predetermined. Based on the difference between the output vector generated by the neural network and the optimal output vector, the neural network is optimized. For this purpose, the weights with which the individual neurons are linked are adjusted.
  • unsupervised learning the optimal starting vector is not specified, but instead an optimization function is evaluated, for example, and the neural network is optimized accordingly.
  • GAN generative adversarial network
  • the determined 3D image can also be referred to as a 3D model of the item to be washed.
  • the 3D image includes depth information that is not included in the 2D image.
  • the execution of the washing program can be optimized on the basis of the depth information. Optimizing the execution of the washing program includes, in particular, outputting a message to a user of the dishwasher in order to signal a suboptimal arrangement of items to be washed, so that the user can optimize the arrangement, for example. This can preferably be done under the guidance of the dishwasher.
  • parameters that relate to the loading of the items to be washed with washing liquor by means of one or more hydraulic systems can be optimized. For example, a higher pressure can be used for deep pots or glasses in order to also clean these dishes in depth.
  • the image processing device comprises a first neural network that is set up to generate a latent vector depending on the captured 2D image and the metadata of the captured 2D image, and a second neural network that is set up to do so , to determine a 3D image of the washware receptacle as a function of the generated latent vector.
  • the first neural network determines a latent vector based on the captured 2D image and the captured metadata.
  • the latent vector thus forms the output vector of the first neural network.
  • the latent vector can be understood as an encoding of the information contained in the captured 2D image and metadata.
  • the latent vector comprises a significantly reduced amount of data compared to the captured 2D image and the metadata.
  • the first neural network is designed in particular as a CNN (convolutional neural network).
  • the second neural network uses the latent vector to determine a 3D image of the item to be washed.
  • the second neural network is designed in particular as a GAN that has been trained in a corresponding training method.
  • Corresponding training data must be available for the training of a respective neural network. For example, a large number of 2D images with corresponding metadata and the latent vectors to be generated from them must be specified. Furthermore, the 3D images belonging to the latent vectors must be known.
  • the size of the training data set preferably comprises at least one hundred, preferably several hundred, preferably at least one thousand, preferably several thousand sets, each set comprising a 2D image with metadata, the corresponding latent vector and the corresponding 3D image.
  • the latent vector comprises a representation of the image data contained in the captured 2D image and the metadata, with a data quantity of the latent vector at most 1/100, preferably at most 1/500, preferably at most 1/1000, further preferred at most 1/10,000 of a data set of the captured 2D image.
  • This embodiment enables the 3D image to be generated quickly on the basis of the latent vector, since comparatively little data has to be processed by the second neural network in order to generate the 3D image.
  • the metadata of the captured 2D image includes information regarding the washware receptacle visible on the captured image and/or a section of the washware receptacle visible on the captured 2D image.
  • the dishwasher comprises a plurality of items to be washed, such as a lower and an upper item to be washed.
  • the information can be determined, for example, on the basis of an optical identification of the item to be washed, which can be seen on the 2D image, using a corresponding algorithm.
  • the dishwasher can have a separate sensor that is set up to capture this information and to output it as metadata for the captured image.
  • the metadata of the captured 2D image includes information regarding a height adjustment of the washware receptacle at the time the 2D image was captured.
  • the dishwashing machine can include a washware receptacle whose height is adjustable.
  • the items to be washed can be adapted in particular to accommodate items to be washed of different sizes. Since the distance from the image acquisition device to the washware holder is helpful information for determining the 3D image, the current height setting of the washware holder is preferably recorded as metadata for the 2D image.
  • the dishwasher has a corresponding sensor that is set up to detect the height setting of the items to be washed.
  • the sensor can be designed as an image processing unit.
  • the metadata of the captured 2D image includes information relating to an angle between the image capturing device and the washware holder.
  • the dishwasher includes an illumination device for illuminating the washware receptacle and the metadata of the 2D image includes information regarding an operating mode of the illumination device at the time the 2D image was captured.
  • the lighting device supports the acquisition of the 2D image, so that in particular a signal-to-noise ratio of the image is better than a predetermined minimum value.
  • the lighting device can emit a narrow-band spectrum or emit a broad-band spectrum.
  • the lighting device can have an intensity in a spectral range outside the visible spectral range.
  • the lighting device can be arranged with a parallax relative to the image capturing device in relation to the wash item holder, so that the image capturing device records illuminated areas of the wash item holder and areas that are shaded by items to be washed.
  • Information on the three-dimensional shape of the items to be washed and the receptacle for the items to be washed can be derived on the basis of the shadow cast.
  • the metadata include, in particular, information relating to an illumination intensity, an illumination spectrum, and a parallax between the illumination device and the image acquisition device.
  • the dishwasher comprises a plurality of spatially separated lighting devices for illuminating the washware receptacle and the metadata of the 2D image includes information regarding a respective operating mode of the plurality of lighting devices at the time the 2D image was captured.
  • different lighting states can advantageously be implemented, with a respective lighting state providing additional information for determining the 3D image.
  • the determination of the 3D image can thus advantageously take place with increased accuracy and reliability.
  • the image capture device is set up to capture multiple 2D images of the washware receptacle in different operating modes of the multiple lighting devices, with the respective metadata of the multiple 2D images providing information regarding the respective operating mode of the multiple lighting devices at the time the respective 2D - Include image, and wherein the image processing device is set up to determine a 3D image depending on the plurality of 2D images and the respective metadata.
  • the first neural network is set up to generate exactly one latent vector depending on the plurality of captured 2D images and the respective metadata, or the first neural network is set up to generate a latent vector for each of the plurality of captured 2D images generate, the second neural network being set up to determine a 3D image of the washware receptacle as a function of the plurality of latent vectors generated.
  • control device is set up to block a movably mounted spray device of the dishwasher by in the depending on the determined 3D image of the washware receptacle To determine dishwashing arranged dishes and to carry out the washing program depending on the identified blockage.
  • a message is preferably output to a user of the dishwasher, so that the user can remove the blockage by removing the items to be washed that are blocking the spray device.
  • control device is set up to determine a mass of the washware arranged in the washware holder as a function of the determined 3D image of the washware holder and to carry out the washing program depending on the determined mass.
  • the mass of items to be washed has an influence in particular on the drying of the items to be washed and can therefore be taken into account when determining the optimum parameters for the drying step.
  • a material of the items to be washed can be taken into account here, which can also be derived from the 2D image, for example.
  • control device is set up to determine a liquid collection point of the washware arranged in the washware holder depending on the determined 3D image of the washware holder and to carry out the washing program depending on the determined liquid collection point.
  • the liquid collection point is in particular a depression in items to be washed, in which liquid collects and cannot drain away. For example, an indication is issued to the user so that he arranges the items to be washed differently so that the sink is not present. Furthermore, drying parameters can be adjusted so that the liquid in the sink can also dry out.
  • the dishwasher has a hydraulic system that includes at least one intensive wash zone, the control device being set up to selectively activate the at least one intensive wash zone depending on the determined 3D image of the washware receptacle.
  • the intensive rinsing zone is fluidically coupled to the hydraulic system by means of a switchable valve, for example, with the control device opening the switchable valve to activate the intensive rinsing zone.
  • the intensive-rinse zone can also be formed by means of a spray device that can be positioned and/or aligned by a motor, with the control device forming the intensive-rinse zone on the basis of the 3D image in such a way that items to be washed that require intensive treatment, such as pots or pans, are in the intensive-rinse zone.
  • the system comprises a device which is external to the dishwasher and which integrates the image processing device, in particular the first neural network and/or the second neural network, the dishwasher having a communication unit which is used to transmit the captured 2D image and the metadata to the external device and is set up to receive the 3D image of the item to be cleaned from the external device.
  • the external device is preferably in the form of a server or the like, which has high computing power. Therefore, the 3D image can be determined with complex algorithms and/or using complex neural networks.
  • the communication unit can be coupled to the external device by means of a network, for example.
  • the network includes in particular a cellular network, a WLAN, the Internet and/or another wireless or wired data network.
  • the external device includes, for example, only the first neural network and/or only the second neural network, with the respective other neural network being integrated in particular in the dishwasher.
  • the image processing device is thus arranged in a distributed manner.
  • the communication unit is accordingly set up to receive the latent vector and/or to transmit the latent vector.
  • the method has the same advantages as explained for the system according to the first aspect.
  • the method is preferably carried out with the dishwasher of the system according to the first aspect.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause the latter to execute the method described above.
  • a computer program product such as a computer program means
  • a server in a network, for example, as a storage medium such as a memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file. This can be done, for example, in a wireless communication network by transferring a corresponding file with the computer program product or the computer program means.
  • FIG. 1 shows a schematic perspective view of an embodiment of a domestic dishwasher
  • FIG. 2 schematically shows an embodiment for determining a 3D image based on a 2D image and metadata
  • FIG. 3 shows a schematic view of a further embodiment of a domestic dishwasher
  • Fig. 4 shows a schematic flowchart as an example for determining a latent vector
  • FIG. 5 shows a schematic block diagram of an arrangement for training a neural network
  • FIG. 6 shows a schematic block diagram of a system with a dishwasher and an external unit
  • FIG. 7 shows a schematic block diagram of an exemplary embodiment of a method for operating a dishwasher.
  • the domestic dishwasher 1 comprises a washing compartment 2, which can be closed by a door 3, which is in particular watertight.
  • a sealing device can be provided between the door 3 and the washing container 2 .
  • the washing container 2 is preferably cuboid.
  • the rinsing container 2 can be housing the household dishwasher 1 can be arranged.
  • the washing compartment 2 and the door 3 can form a washing chamber 4 for washing items to be washed.
  • the door 3 is shown in FIG. 1 in its open position.
  • the door 3 can be closed or opened by pivoting about a pivot axis 5 provided at a lower end of the door 3 .
  • a loading opening 6 of the washing compartment 2 can be closed or opened.
  • the washing compartment 2 has a base 7, a cover 8 arranged opposite the base 7, a rear wall 9 arranged opposite the closed door 3 and two side walls 10, 11 arranged opposite one another.
  • the bottom 7, the top 8, the rear wall 9 and the side walls 10, 11 can be made of a stainless steel sheet, for example.
  • the bottom 7 can be made of a plastic material.
  • the household dishwasher 1 also has at least one washware holder 12 to 14 .
  • washware holders 12 to 14 can be provided, with washware holder 12 being a lower washware holder or a lower rack, washware holder 13 being an upper washware holder or an upper rack and washware holder 14 being a cutlery drawer.
  • the wash items receptacles 12 to 14 are arranged one above the other in the wash tub 2 .
  • Each washware holder 12 to 14 can be moved either into or out of the washing compartment 2 .
  • each washware receptacle 12 to 14 can be pushed or moved into the washing compartment 2 in an insertion direction E and pulled out or moved out of the washing compartment 2 in an extension direction A counter to the insertion direction E.
  • An image capturing device 110 is arranged in an upper area of a washing container flange running around the loading opening 6 of the washing container 2 .
  • the image acquisition device 110 is in the form of a digital camera.
  • the digital camera 110 is placed, in particular, centrally in relation to the loading opening 6 and has, for example, a wide-angle lens (not shown) that enables each of the washware receptacles 12 - 14 to be viewed in a respective 2 D -Image 2DIMG (see Fig. 2, 4 or 6) to capture completely.
  • An image processing device 120 and a control device 140 are also arranged on the door 3 . These are shown separately from one another here, but they can also be integrated together in one element. In addition, the arrangement on the door 3 is only an example.
  • the image processing device 120 is used to determine a 3D image 3DIMG of a respective item of washware 12 - 14 (see Fig. 2, 5 or 6) on the basis of the recorded 2D image 2DIMG and additionally recorded metadata META (see Fig. 2 or 6) of the captured 2D image 2DIMG set up. This is explained in detail below with reference to FIGS. 2-6.
  • the control device 140 is set up to carry out a flushing program as a function of the determined 3D image 3DIMG. .
  • FIG. 2 schematically shows an exemplary embodiment for determining a 3D image 3DIMG based on a 2D image 2DIMG and metadata META, this example having two separate steps.
  • the 2D image 2DIMG shows a washware receptacle 12 with washware 21 - 25 arranged therein.
  • the 2D image 2DIMG was captured, for example, by the image acquisition device 110 (see FIG. 1) when the washware receptacle 12 was fully shifted out of the washing compartment 4 .
  • the meta data META include, for example, the information that the washware receptacle 12 was completely relocated out of the washing compartment 4 at the time the image was captured.
  • the metadata META preferably also includes the information which can be seen from a plurality of washware images 12 - 14 on the 2D image 2DIMG, a height setting of the visible washware image 12 and/or an angle of the image acquisition device 110 and the washware image 12.
  • the metadata META a timestamp and settings of the image capture device
  • a sensitivity e.g. an ISO value or gain value
  • a focal length e.g. an angle of view
  • an additional lighting device e.g. an additional lighting device
  • the metadata META includes in particular information relating to an operating state of the lighting devices 111, 112, such as an illumination intensity, an illumination spectrum and the like.
  • the 2D image 2DIMG and the metadata META are combined into a latent vector LVEC.
  • the latent vector LVEC includes the information necessary or relevant for determining the 3D image 3DIMG.
  • the latent vector LVEC has an amount of data that is at most 1/100, preferably preferably at most 1/500, preferably at most 1/1000, more preferably at most 1/10,000, of the data volume of the captured 2D image 2DIMG.
  • the generation of the latent vector LVEC by a neural network 125 is explained in detail with reference to FIG.
  • the 3D image 3DIMG is determined on the basis of the latent vector LVEC. This is preferably done by means of a second neural network 130 (see FIG. 5 or 6), which is designed in particular as a GAN.
  • Fig. 3 shows a schematic view of a further embodiment of a household dishwasher 1.
  • Fig. 3 shows in particular a front view of the household dishwasher 1 with the door 3 open.
  • the household dishwasher 1 of Fig. 3 can, like the one based on Fig. 1 explained domestic dishwasher 1 and have all the features explained there, even if they are not shown in Fig. 3.
  • the household dishwasher 1 has two lighting devices 111, 112 in addition to the centrally arranged image capturing device 110, which are arranged next to the image capturing device 110.
  • the lighting devices 111, 112 include, for example, a flash unit and/or an LED lighting unit.
  • the lighting devices 111, 112 can be designed identically or differently from one another. In embodiments, only a single lighting device and/or more than two lighting devices can be provided.
  • the lighting devices 111, 112 are set up in particular to illuminate the washware receptacles 12, 13 when the image capturing device 110 captures a 2D image 2DIMG (see FIG. 2, 4 or 6).
  • the offset arrangement of image capturing device 110 and lighting devices 111, 112 results in particular in a parallax between the image capturing device 110 and the lighting devices 111, 112.
  • the captured 2D image 2DIMG can therefore also include shaded areas, which makes it possible to determine the 3D image 3DIMG ( see Fig. 2, 5 or 6).
  • the two lighting devices 111, 112 are preferably set up to illuminate the respective washware receptacle 12, 13 with different spectra, for example with different colors.
  • the image capturing device captures 110 in particular a 2D image 2DIMG, which includes an increased information density with regard to the three-dimensional shape of the items to be washed 21 - 25 arranged in the items to be washed 12, 13 (see FIG. 2), since shaded areas can result from two directions of illumination.
  • the metadata META (see FIG. 2) of the captured 2D image 2DIMG includes, in particular, information on a relative arrangement of the image capture device 110 and the lighting devices 111, 112 and on the operating state of each of the lighting devices 111, 112 at the time of image capture.
  • the image capturing device 110 captures a plurality of 2D images 2DIMG for different operating modes of the lighting devices 111, 112, in particular for different illumination spectra, in order to capture additional image information relating to the items to be washed 21 - 25 arranged in the items to be washed 12, 13.
  • FIG. 4 shows a schematic flowchart as an example for determining a latent vector LVEC based on a 2D image 2DIMG and associated metadata META.
  • the latent vector LVEC is generated by a trained neural network 125 which comprises a number of functional layers.
  • these are a first filter layer CL1 (convolutional layer), a first aggregation layer PL1 (pooling layer), a second filter layer CL2, a second aggregation layer PL2 and a multi-layer perceptron MLP (multi-layered perceptron).
  • the two filter layers CL1, CL2 are set up to determine a number of so-called feature maps FM on the basis of the respective input data.
  • a respective filter layer CL1, CL2 includes, in particular, a plurality of filters, with each filter generating a feature map FM.
  • the generated feature maps FM correspond in particular to a more compact and abstract representation of the input information. The amount of data is therefore reduced by using the filter layers CL1, CL2.
  • the aggregation layers PL1, PL2 further reduce the amount of data by a respective aggregation layer PL1, PL2, for example, only the most relevant information of the input data (for the first aggregation layer PL1, for example, the Feature maps FM of the first filter layer CL1) passes on (for example in the form of a so-called "max-pooling layer").
  • the number and/or the order of the filter layers CL1 , CL2 and the aggregation layers PL1 , PL2 can deviate from that shown in FIG. 4 in further embodiments.
  • the multi-layer perceptron MLP is designed in particular as a fully connected neural network (fully connected layer).
  • the multi-layer perceptron MLP generates the latent vector LVEC based on the output data of the second aggregation layer PL2.
  • Fig. 5 shows a schematic block diagram of an arrangement for training a neural network 130.
  • the neural network 130 is trained, for example, on the basis of a latent vector LVEC, which, for example, as described with reference to FIG 2DIMG (see Fig. 2, 4 or 6) and associated metadata META (see Fig. 2, 4 or 6) was generated, a 3D image 3DIMG is generated.
  • the neural network 130 can in particular be part of the image processing device 120 .
  • FIG. 5 corresponds in particular to a GAN (generative adversarial network).
  • a GAN is an unsupervised learning method in which two neural networks 130, 132 compete against each other to a certain extent.
  • Latent vectors LVEC on the one hand and 3D images 3DIMG* on the other hand are specified as training data.
  • the specified 3D image 3DIMG* here shows the reality and the corresponding latent vector LVEC is the latent vector LVEC derived on the basis of the corresponding 2D image 2DIMG.
  • the neural network 130 is also referred to as a generator since it generates an artificial 3D image 3DIMG.
  • the generated 3D image 3DIMG and the real 3D image 3DIMG* are supplied to the neural network 132 .
  • the neural network 130 is also referred to as a discriminator.
  • the discriminator 130 decides which of the two supplied images 3DIMG*, 3DIMG is the real image and outputs a result R accordingly.
  • the generator 130 and the discriminator 132 are in contention: the generator 130 attempts to generate a 3D image 3DIMG which the discriminator 132 mistakes for the real 3D image 3DIMG*.
  • the generator 130 is enabled to generate a 3D image 3DIMG that corresponds to an actual three-dimensional view of the washware receptacle 12, 13, 14 (see FIG. 1 or 3).
  • the trained generator 130 is part of the image processing device 120, for example.
  • the dishwasher 1 is designed in particular as a domestic dishwasher and can have the features of the domestic dishwashers 1 explained in FIGS.
  • the domestic dishwasher 1 has a communication unit 160 in this example.
  • the communication unit 160 is set up to establish a communication connection with an external device 200 .
  • the communication connection can be established wirelessly, for example by means of WLAN, Bluetooth and/or a mobile radio standard according to 2G, 3G, 4G and/or 5G.
  • the communication connection can also be established by wire.
  • the external device 200 is designed in particular as a computer or server that can be reached via the Internet.
  • the external device 200 also has a communication unit 202 .
  • the external device 200 integrates the image processing device 120.
  • the dishwasher 1 transmits the captured 2D image 2DIMG of the washware receptacle 12, 13, 14 (see Fig. 1 or 3) and the associated metadata META by means of the communication unit 160 to the external device 200.
  • the external device 200 includes the image processing device 120, which a first neural network 125, in particular a CNN (convolutional neural network), and a second neural network 130, in particular a GAN.
  • the image processing device determines the 3D image 3DIMG of the washware receptacle 12, 13, 14 and transmits the determined 3D image 3DIMG to the domestic dishwasher 1.
  • the dishwasher 1 in FIG. 6 also has the image processing device 120 . Then, for example, the processing could take place locally, ie using the image processing device 120 of the dishwasher 1 , or externally, ie using the image processing device 120 of the external device 200 . This can be advantageous if, for example, there is a connection problem with the communication link.
  • the dishwasher 1 includes, for example, the first neural network 125 and the external device 200 includes the second neural network 130.
  • the latent vector LVEC is transmitted from the dishwasher 1 to the external device 200.
  • the dishwasher 1 comprises, for example, the second neural network 130 and the external device 200 comprises the first neural network 125.
  • the latent vector LVEC from the external device 200 is received by the dishwasher 1 here.
  • FIG. 7 shows a schematic block diagram of an exemplary embodiment of a method for operating a dishwasher 1, for example the domestic dishwasher of FIG. 1 or FIG. 3.
  • a 2D image 2DIMG (see Fig. 2, 4 or 6) of a washware receptacle 12, 13, 14 (see Fig. 1, 2 or 3) of the dishwasher 1 and washware 21-25 arranged therein (see Fig. 2) and metadata META (see Fig. 2 or 3) to the 2D image 2DIMG.
  • a 3D image 3DIMG (see FIG. 2, 5 or 6) of the washware receptacle 12, 13, 14 is determined on the basis of the recorded 2D image 2DIMG and the recorded material data META. This takes place, for example, as described above with reference to FIGS.
  • a flushing program is carried out as a function of the determined 3D image 3DIMG. For example, based on the 3D image 3DIMG, it can be determined whether items to be washed 21-25 protrude from the items to be washed 12, 13, 14 and can block a spray device, such as a rotatably mounted spray arm, and appropriate measures can be taken. Furthermore, an intensive rinsing zone can be activated or deactivated automatically. Furthermore, a user can be supported when loading the dishwasher 1 with items to be washed 21 - 25 in order to achieve optimal loading. Furthermore, a drying step can be optimized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein System (100) mit einer Geschirrspülmaschine (1), insbesondere einer Haushalts-Geschirrspülmaschine, mit einer Bilderfassungseinrichtung (110) zum Erfassen eines 2D-Bildes (2DIMG) einer Spülgutaufnahme (12 – 14) der Geschirrspülmaschine (1) und darin angeordnetem Spülgut (21 – 24), einer Bildverarbeitungseinrichtung (120) zum Ermitteln eines 3D-Bildes (3DIMG) auf Basis des erfassten 2D-Bildes (2DIMG) und von zusätzlich erfassten Metadaten (META) des erfassten 2D-Bildes (2DIMG) zu ermitteln, und mit einer Steuerungsvorrichtung (140) zum Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes (3DIMG).

Description

System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt
Die vorliegende Erfindung betrifft ein System mit einer Geschirrspülmaschine, ein Verfahren zum Betreiben einer Geschirrspülmaschine und ein Computerprogrammprodukt.
Es sind Geschirrspülmaschinen bekannt, die eine Kamera oder dergleichen zum Erfassen eines Bildes einer Spülgutaufnahme aufweisen. Auf Basis erfasster Bilder kann beispielsweise eine Beladung der Geschirrspülmaschine, eine Anschmutzung des Spülguts und dergleichen ermittelbar sein. Derartige Informationen können dazu genutzt werden, ein Spülprogramm zu optimieren, so dass ein Reinigungsergebnis verbessert werden kann.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, das Reinigen von Spülgut mit einer Geschirrspülmaschine zu verbessern.
Gemäß einem ersten Aspekt wird ein System mit einer Geschirrspülmaschine, insbesondere einer mit Haushalts-Geschirrspülmaschine, vorgeschlagen. Die Geschirrspülmaschine umfasst eine Bilderfassungseinrichtung zum Erfassen eines 2D-Bildes einer Spülgutaufnahme der Geschirrspülmaschine und darin angeordnetem Spülgut. Das System umfasst eine Bildverarbeitungseinrichtung zum Ermitteln eines 3D-Bildes der Spülgutaufnahme auf Basis des erfassten 2D-Bildes und von zusätzlich erfassten Metadaten des erfassten 2D-Bildes. Die Geschirrspülmaschine umfasst ferner eine Steuerungsvorrichtung zum Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes.
Dieses System weist den Vorteil auf, dass ein dreidimensionales Bild der Spülgutaufnahme vorliegt, wobei hierfür nur eine Bildaufnahmeeinrichtung benötigt wird. Das dreidimensionale Bild ermöglicht es, verschiedene, für die Durchführung des Spülprogramms hilfreiche Informationen zu ermitteln. Beispielsweise kann auf Basis des 3D-Bildes ermittelt werden, ob ein Spülgut aus der Spülgutaufnahme herausragt und eine Sprühvorrichtung, wie einen drehbar gelagerten Sprüharm, blockieren kann, und es können entsprechende Maßnahmen ergriffen werden. Weiterhin kann eine Intensivspülzone automatisch aktiviert oder deaktiviert werden. Weiterhin kann ein Nutzer beim Beladen der Geschirrspülma- schine mit Spülgut unterstützt werden, um eine optimale Beladung zu erreichen. Weiterhin kann ein Trocknungsschritt optimiert werden.
Die Bilderfassungseinrichtung ist beispielsweise eine digitale Kamera, die zum Erfassen und Ausgeben eines digitalen Bildes, das beispielsweise eine Auflösung von wenigstens 1 MP (MP = Megapixel), bevorzugt wenigstens 5 MP, weiter bevorzugt über 8 MP, eingerichtet ist. Die Bilderfassungseinrichtung umfasst vorzugsweise einen Bildsensor mit einem erweiterten Spektralbereich, der beispielsweise eine Empfindlichkeit im Bereich zwischen 2500 nm - 250 nm aufweist. Die Bilderfassungseinrichtung umfasst vorzugsweise ferner ein Objektiv, das zum Abbilden der Spülgutaufnahme (oder der Spülgutaufnahmen, sofern die Geschirrspülmaschine mehrere Spülgutaufnahmen aufweist) auf den Bildsensor eingerichtet ist. Bevorzugt erfasst die Bilderfassungseinrichtung das Bild der Spülgutaufnahme, wenn diese in einer vorbestimmten Position angeordnet ist. Die Bilderfassungseinrichtung kann ferner eine Beleuchtungseinheit umfassen, um die Spülgutaufnahme während des Erfassens des Bildes zu beleuchten.
Insbesondere weist die Geschirrspülmaschine nur genau eine Bilderfassungseinrichtung mit einem optischen Strahlengang und einem Sensor auf. Es handelt sich somit insbesondere nicht um eine Stereo-Kamera. Damit kann die Komplexität der Geschirrspülmaschine geringgehalten werden.
In Ausführungsformen kann die Bilderfassungseinrichtung als eine Stereo-Kamera ausgebildet sein, die zwei 2D-Bilder aus unterschiedlichen Blickwinkeln erfasst und auf deren Basis das 3D-Bild ermittelt werden kann.
Beispielsweise umfasst die Geschirrspülmaschine einen Spülbehälter mit einem um eine Beschickungsöffnung des Spülbehälters umlaufenden Spülbehälterflansch, wobei die Bilderfassungseinrichtung in oder an einem einer Decke des Spülbehälters zugeordneten oberen Flanschabschnitt des Spülbehälterflansches angeordnet ist, und wobei die Bilderfassungseinrichtung von dem Spülbehälter weg und schräg in Richtung einer von einem Boden des Spülbehälters aufgespannten Ebene weist.
Diese Anordnung der Bilderfassungseinrichtung ist vorteilhaft, da diese damit außerhalb eines von der Spülflotte zugänglichen Bereichs angeordnet ist, weshalb die Umgebungs- bedingungen auch für sensible elektronische Bauteile einfach kontrollierbar sind. Der Spülbehälterflansch befindet sich vorzugsweise außerhalb einer mittels einer Dichteinrichtung abgedichteten Spülkammer.
Beispielsweise ist in oder an dem Spülbehälterflansch ein Hohlraum vorgesehen, in dem die Bilderfassungseinrichtung zumindest abschnittsweise aufgenommen ist, wobei der Hohlraum, vorzugsweise in Richtung der Ebene, von einem transparenten Element begrenzt ist.
Diese Ausführungsform stellt sicher, dass die Bilderfassungseinrichtung derart an der Geschirrspülmaschine angeordnet ist, dass sie nicht hervorsteht oder als störend wahrgenommen wird. Auch kann eine Geschirrspülmaschine, die zwar den Spülbehälterflansch mit dem Hohlraum aufweist, aber nicht mit einer Bilderfassungseinrichtung ausgestattet ist, vergleichsweise einfach nachgerüstet werden.
Das transparente Element ist beispielsweise als eine Kunststoffscheibe, eine Mineralglasscheibe, eine Glasscheibe oder dergleichen ausgebildet. Das transparente Element stellt vorzugsweise eine Abdichtung des Hohlraums nach unten, in Richtung der Ebene hin, sicher, so dass Dampf aus der Spülkammer, wenn die Tür nach Ablauf eines Spülprogramms geöffnet wird, nicht in den Hohlraum eintreten kann. Beispielsweise ist hierzu eine entsprechende Dichteinrichtung vorgesehen. Das transparente Element ist vorzugsweise für den gesamten Spektralbereich, den die Bilderfassungseinrichtung erfasst, transparent. In Ausführungsformen kann aber auch vorgesehen sein, dass das transparente Element nur selektiv für bestimmte Bereiche des Spektralbereichs transparent ist. Dann wirkt das transparente Element zusätzlich als ein Filter.
In Ausführungsformen ist die Bilderfassungseinrichtung vollständig in dem Hohlraum angeordnet, wobei der Hohlraum insgesamt abgedichtet ist. Das heißt, dass insbesondere keine Feuchtigkeit in den Hohlraum eindringen kann, was für eine Lebensdauer der Bilderfassungseinrichtung vorteilhaft ist.
Vorzugsweise weist die Bilderfassungseinrichtung einen vertikalen Bildwinkel von wenigstens 90° und einen horizontalen Bildwinkel von wenigstens 120° auf. Dies stellt sicher, dass die Spülgutaufnahme insgesamt erfasst werden kann, ohne dass einzelne Bereiche, beispielsweise Randbereiche, der Spülgutaufnahme auf dem erfassten Bild nicht zu sehen sind. Der jeweilige Bildwinkel wird vorzugsweise durch entsprechende optische Elemente bereitgestellt. Man kann auch von einer Ultraweitwinkel-Optik sprechen.
Die Bildverarbeitungseinrichtung kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die Bildverarbeitungseinrichtung zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die Bildverarbeitungseinrichtung als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
Die Bildverarbeitungseinrichtung umfasst vorzugsweise ein neuronales Netzwerk, welches dazu eingerichtet ist, das 3D-Bild zu erzeugen. Die Bildverarbeitungseinrichtung kann mehrere neuronale Netzwerke aufweisen, die jeweils einen Teilschritt bei dem Ermitteln des 3D-Bildes durchführen können. Die Bildverarbeitungseinrichtung umfasst vorzugsweise einen Prozessor und eine Speichereinrichtung und ist dazu eingerichtet, Bildtransformationen des erfassten 2D-Bildes unter Verwendung von Algorithmen, Funktionen und dergleichen durchzuführen.
Der Aufbau eines neuronalen Netzwerks stellt sich beispielsweise wie folgt dar. Das neuronale Netzwerk kann in drei Schichten oder Abschnitte unterteilt werden, eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Ausgabeschicht. Jede der Schichten umfasst eine Mehrzahl von einzelnen Neuronen, wobei unterschiedliche Schichten auch eine unterschiedliche Zahl an Neuronen aufweisen können. Die Menge an Neuronen in der Eingabeschicht hängt beispielsweise von der Menge und dem Format der durch das neuronale Network zu verarbeitenden Daten, was man auch als die Dimen- sionalität der Daten bezeichnen kann, ab. Die Menge an Neuronen in der Ausgabeschicht hängt beispielsweise von der Dimensionalität des Ausgangsvektors ab.
Die Eingabeschicht bildet den Eingang des neuronalen Netzwerks, dem die zu verarbeitenden Daten in Form eines Eingangsvektors zugeführt wird. Die Neuronen der Eingabeschicht nehmen die in dem Eingangsvektor enthaltenen Informationen auf und geben die- se gewichtet an die Neuronen der ersten verborgenen Schicht weiter. Die Neuronen der ersten verborgenen Schicht nehmen die gewichteten Signale von der Eingangsschicht auf und geben diese ihrerseits gewichtet an die folgende verborgene Schicht weiter. Die Signale werden auf diese Weise von Schicht zu Schicht durch das neuronale Netzwerk geleitet, bis die Ausgabeschicht erreicht ist. Es kann auch Verknüpfungen von Neuronen unterschiedlicher, nicht direkt aufeinander folgenden Schichten und/oder entgegen der Haupt-Propagationsrichtung vorliegen. An den Neuronen der Ausgabeschicht wird der Ausgabevektor abgegriffen. Die Menge an verborgenen Schichten ist grundsätzlich unbegrenzt, jedoch skaliert die Rechenleistung, die zum Betreiben des neuronalen Netzwerks benötigt wird, mit der Menge verborgener Schichten. Je mehr Schichten ein neuronales Netzwerk umfasst, umso komplexere Aufgaben kann das neuronale Netzwerk lösen, allerdings steigt auch der Trainingsaufwand, das heißt, die Größe des Trainingsdatensatzes entsprechend an. Daher ist es vorteilhaft, nur so viele verborgene Schichten wie für die jeweilige Aufgabe nötig zu verwenden.
Die Metadaten, die für ein jeweiliges erfasstes 2D-Bild erfasst werden, umfassen beispielsweise verschiedene Informationen zu einem aktuellen Betriebszustand der Geschirrspülmaschine, wie einem Auszugszustands einer Spülgutaufnahme, einem Öff- nungswinkel einer Tür der Geschirrspülmaschine und dergleichen, sowie zu Betriebsparametern oder Einstellungen der Bilderfassungseinrichtung zum Zeitpunkt der Bilderfassung, wie einer Belichtungszeit, einer Empfindlichkeit, einem Bildwinkel und dergleichen mehr. Die Metadaten umfassen damit Informationen, die bei dem Ermitteln des 3D-Bildes hilfreich sind, insbesondere um Fehlinterpretationen zu vermeiden.
Ein neuronales Netzwerk muss trainiert werden, bevor es eingesetzt werden kann. Hierzu kommen unterschiedliche Trainingsverfahren in Frage. Man kann zwischen überwachtem Lernen und unüberwachtem Lernen unterscheiden. Bei überwachtem Lernen wird dem neuronalen Netzwerk ein Eingangsvektor zugeführt, wobei der entsprechende optimale Ausgangsvektor ebenfalls vorgegeben ist. Auf Basis des Unterschieds zwischen dem von dem neuronalen Netzwerk erzeugten Ausgangsvektor und dem optimalen Ausgangsvektor wird das neuronale Netzwerk optimiert. Hierzu werden die Gewichtungen, mit denen die einzelnen Neuronen verknüpft sind, angepasst. Bei unüberwachtem Lernen wird der optimale Ausgangsvektor nicht vorgegeben, sondern es wird beispielsweise eine Optimierungsfunktion ausgewertet und das neuronale Netzwerk entsprechend optimiert. Eine Form des unüberwachten Lernen ist als GAN (engl. generative adversarial network) bekannt.
Das ermittelte 3D-Bild kann auch als 3D-Modell der Spülgutaufnahme bezeichnet werden. Das 3D-Bild umfasst Tiefeninformationen, die in dem 2D-Bild nicht enthalten sind. Auf Basis der Tiefeninformationen kann die Durchführung des Spülprogramms optimiert werden. Das Optimieren der Durchführung des Spülprogramms umfasst insbesondere ein Ausgeben eines Hinweises an einen Benutzer der Geschirrspülmaschine, um diesem eine suboptimale Anordnung von Spülgut zu signalisieren, so dass der Nutzer die Anordnung beispielsweise optimieren kann. Dies kann vorzugsweise unter Anleitung durch die Geschirrspülmaschine erfolgen. Weiterhin können insbesondere Parameter, die das Beaufschlagen des Spülguts mit Spülflotte mittels eines oder mehrere Hydrauliksysteme betreffen, optimiert werden. So kann bei tiefen Töpfen oder Gläsern ein höherer Druck verwendet werden, um dieses Spülgut auch in der Tiefe zu reinigen.
Gemäß einer Ausführungsform des Systems umfasst die Bildverarbeitungseinrichtung ein erstes neuronales Netzwerk, welches dazu eingerichtet ist, in Abhängigkeit von dem erfassten 2D-Bild und den Metadaten des erfassten 2D-Bildes einen latenten Vektor zu erzeugen, und ein zweites neuronales Netzwerk, welches dazu eingerichtet ist, in Abhängigkeit des erzeugten latenten Vektors ein 3D-Bild der Spülgutaufnahme zu ermitteln.
Das erste neuronale Netzwerk ermittelt einen latenten Vektor auf Basis des erfassten 2D- Bildes und den erfassten Metadaten. Der latente Vektor bildet damit den Ausgangsvektor des ersten neuronalen Netzwerks. Der latente Vektor kann als eine Kodierung der in dem erfassten 2D-Bild und den Metadaten enthaltenen Informationen verstanden werden. Insbesondere umfasst der latente Vektor eine im Vergleich zu dem erfassten 2D-Bild und den Metadaten deutlich reduzierte Datenmenge.
Das erste neuronale Netzwerk ist insbesondere als ein CNN (engl. convolutional neural network) ausgebildet.
Das zweite neuronale Netzwerk ermittelt auf Basis des latenten Vektors ein 3D-Bild der Spülgutaufnahme. Das zweite neuronale Netzwerk ist insbesondere als ein GAN ausgebildet, das in einem entsprechenden trainingsverfahren trainiert wurde. Für das Training eines jeweiligen neuronalen Netzwerks müssen entsprechende Trainingsdaten vorliegen. Beispielsweise muss eine große Anzahl an 2D-Bildern mit entsprechenden Metadaten und den daraus zu erzeugenden latenten Vektoren vorgegeben sein. Weiterhin müssen die zu den latenten Vektoren gehörenden 3D-Bilder bekannt sein. Die Größe des Trainingsdatensatzes umfasst vorzugsweise wenigstens einhundert, vorzugsweise mehrere hundert, bevorzugt wenigstens eintausend, vorzugsweise mehrere tausend Sets, wobei jedes Set ein 2D-Bild mit Metadaten, den entsprechenden latenten Vektor und das entsprechende 3D-Bild umfasst.
Gemäß einer weiteren Ausführungsform des Systems umfasst der latente Vektor eine Repräsentation der in dem erfassten 2D-Bild enthaltenen Bilddaten und der Metadaten, wobei eine Datenmenge des latenten Vektors höchstens 1/100, vorzugsweise höchstens 1/500, bevorzugt höchstens 1/1000, weitere bevorzugt höchstens 1/10.000, einer Datenmenge des erfassten 2D-Bildes umfasst.
Diese Ausführungsform ermöglicht ein schnelles Erzeugen des 3D-Bildes auf Basis des latenten Vektors, da von dem zweiten neuronalen Netzwerk vergleichsweise wenig Daten verarbeitet werden müssen, um das 3D-Bild zu erzeugen.
Gemäß einer weiteren Ausführungsform des Systems umfassen die Metadaten des erfassten 2D-Bildes eine Information bezüglich der auf dem erfassten Bild sichtbaren Spülgutaufnahme und/oder eines auf dem erfassten 2D-Bild sichtbaren Abschnitts der Spülgutaufnahme umfassen.
Die Geschirrspülmaschine umfasst insbesondere mehrere Spülgutaufnahmen, wie eine untere und eine obere Spülgutaufnahme.
Die Information kann beispielsweise auf Basis einer optischen Kennzeichnung der Spülgutaufnahme, die auf dem 2D-Bild erkennbar ist, unter Verwendung eines entsprechenden Algorithmus ermittelt werden. Alternativ oder zusätzlich kann die Geschirrspülmaschine einen separaten Sensor aufweisen, der dazu eingerichtet ist, diese Information zu erfassen und als Metadaten zu dem erfassten Bild auszugeben. Gemäß einer weiteren Ausführungsform des Systems umfassen die Metadaten des erfassten 2D-Bildes eine Information bezüglich einer Höheneinstellung der Spülgutaufnahme zum Zeitpunkt der Erfassung des 2D-Bildes.
Die Geschirrspülmaschine kann eine Spülgutaufnahme umfassen, deren Höhe anpassbar ist. Damit kann die Spülgutaufnahme insbesondere zum Aufnehmen von Spülgut unterschiedlicher Größe angepasst werden. Da der Abstand von der Bilderfassungseinrichtung zu der Spülgutaufnahme für das Ermitteln des 3D-Bildes eine hilfreiche Information darstellt, wird die aktuelle Höheneinstellung der Spülgutaufnahme vorzugsweise als Metadaten zu dem 2 D-Bild erfasst. Beispielsweise weist die Geschirrspülmaschine einen entsprechenden Sensor auf, der dazu eingerichtet ist, die Höheneinstellung der Spülgutaufnahme zu erfassen. Der Sensor kann als eine Bildverarbeitungseinheit ausgebildet sein.
Gemäß einer weiteren Ausführungsform des Systems umfassen die Metadaten des erfassten 2D-Bildes eine Information bezüglich eines Winkels zwischen der Bilderfassungseinrichtung und der Spülgutaufnahme.
Gemäß einer weiteren Ausführungsform des Systems umfasst die Geschirrspülmaschine eine Beleuchtungseinrichtung zum Beleuchten der Spülgutaufnahme und die Metadaten des 2D-Bildes umfassen eine Information bezüglich eines Betriebsmodus der Beleuchtungseinrichtung zum Zeitpunkt der Erfassung des 2D-Bildes.
Die Beleuchtungseinrichtung unterstützt das Erfassen des 2D-Bildes, so dass insbesondere ein Signal-Rausch-Verhältnis des Bildes besser als ein vorbestimmter Mindestwert ist. Die Beleuchtungseinrichtung kann ein schmalbandiges Spektrum abstrahlen oder ein breitbandiges Spektrum abstrahlen. Die Beleuchtungseinrichtung kann insbesondere eine Intensität in einem Spektralbereich außerhalb des sichtbaren Spektralbereichs aufweisen.
Die Beleuchtungseinrichtung kann mit einer Parallaxe relativ zu der Bilderfassungseinrichtung in Bezug auf die Spülgutaufnahme angeordnet sein, so dass die Bilderfassungseinrichtung beleuchtete und durch Spülgut abgeschattete Bereiche der Spülgutaufnahme erfasst. Auf Basis des Schattenwurfes können hierbei Informationen zu der dreidimensionalen Form des Spülguts und der Spülgutaufnahme abgeleitet werden. Die Metadaten umfassen insbesondere eine Information bezüglich einer Beleuchtungsintensität, einem Beleuchtungsspektrum, einer Parallaxe zwischen der Beleuchtungseinrichtung und der Bilderfassungseinrichtung.
Gemäß einer weiteren Ausführungsform des Systems umfasst die Geschirrspülmaschine mehrere räumlich getrennt voneinander angeordnete Beleuchtungseinrichtungen zum Beleuchten der Spülgutaufnahme und die Metadaten des 2D-Bildes umfassen eine Information bezüglich eines jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen zum Zeitpunkt der Erfassung des 2D-Bildes.
Bei dieser Ausführungsform lassen sich vorteilhaft unterschiedliche Beleuchtungszustände realisieren, wobei ein jeweiliger Beleuchtungszustand zusätzliche Informationen zum Ermitteln des 3D-Bildes bereitstellt. Die Ermittlung des 3D-Bildes kann damit vorteilhaft mit einer erhöhten Genauigkeit und Zuverlässigkeit erfolgen.
Gemäß einer weiteren Ausführungsform des Systems ist die Bilderfassungseinrichtung zum Erfassen mehrerer 2D-Bilder der Spülgutaufnahme bei unterschiedlichen Betriebsmodi der mehreren Beleuchtungseinrichtungen eingerichtet, wobei die jeweiligen Metadaten der mehreren 2D-Bilder eine Information bezüglich des jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen zum Zeitpunkt der Erfassung des jeweiligen 2D- Bildes umfassen, und wobei die Bildverarbeitungseinrichtung dazu eingerichtet ist, ein 3D- Bild in Abhängigkeit der mehreren 2D-Bilder und der jeweiligen Metadaten zu ermitteln.
In Ausführungsformen ist das erste neuronale Netzwerk dazu eingerichtet, genau einen latenten Vektor in Abhängigkeit der mehreren erfassten 2D-Bilder und der jeweiligen Metadaten zu erzeugen, oder das erste neuronale Netzwerk ist dazu eingerichtet, für jedes der mehreren erfassten 2D-Bilder einen latenten Vektor zu erzeugen, wobei das zweite neuronale Netzwerk dazu eingerichtet ist, in Abhängigkeit der mehreren erzeugten latenten Vektoren ein 3D-Bild der Spülgutaufnahme zu ermitteln.
Gemäß einer weiteren Ausführungsform des Systems ist Steuerungsvorrichtung dazu eingerichtet, in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme eine Blockade einer beweglich gelagerten Sprühvorrichtung der Geschirrspülmaschine durch in der Spülgutaufnahme angeordnetes Spülgut zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Blockade durchzuführen.
Vorzugsweise wird ein Hinweis an einen Nutzer der Geschirrspülmaschine ausgegeben, so dass der Nutzer die Blockade beheben kann, indem er das die Sprühvorrichtung blockierende Spülgut entfernt.
Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung dazu eingerichtet, in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme eine Masse des in der Spülgutaufnahme angeordneten Spülguts zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Masse durchzuführen.
Die Masse Spülguts hat insbesondere einen Einfluss auf die Trocknung des Spülguts und kann daher beim Ermitteln der optimalen Parameter für den Trocknungsschritt berücksichtigt werden. Zusätzlich kann hierbei ein Material des Spülguts berücksichtigt werden, das sich beispielsweise ebenfalls von dem 2D-Bild ableiten lässt.
In Ausführungsformen des Systems ist die Steuerungsvorrichtung dazu eingerichtet, in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme einen Flüssigkeitssammelpunkt des in der Spülgutaufnahme angeordneten Spülguts zu ermitteln und das Spülprogramm in Abhängigkeit des ermittelten Flüssigkeitssammelpunkts durchzuführen.
Der Flüssigkeitssammelpunkt ist insbesondere eine Senke in einem Spülgut, in dem sich Flüssigkeit sammelt und nicht abfließen kann. Beispielsweise wird ein Hinweis an den Nutzer ausgeben, so dass dieser das Spülgut anders anordnet, so dass die Senke nicht vorhanden ist. Weiterhin können Trocknungsparameter angepasst werden, so dass auch die Flüssigkeit in der Senke abtrocknen kann.
Gemäß einer weiteren Ausführungsform des Systems weist die Geschirrspülmaschine ein Hydrauliksystem auf, das wenigstens eine Intensivspülzone umfasst, wobei die Steuerungsvorrichtung dazu eingerichtet ist, die wenigstens eine Intensivspülzone in Abhängigkeit des ermittelten 3D-Bildes der Spülgutaufnahme wahlweise zu aktivieren. Die Intensivspülzone ist beispielsweise mittels eines schaltbaren Ventils fluidisch mit dem Hydrauliksystem gekoppelt, wobei die Steuerungsvorrichtung zum Aktivieren der Intensivspülzone das schaltbare Ventil öffnet. Die Intensivspülzone kann ferner mittels einer motorisch positionierbaren und/oder ausrichtbaren Sprühvorrichtung ausgebildet sein, wobei die Steuervorrichtung die Intensivspülzone auf Basis des 3D-Bildes derart ausbildet, dass Spülgut, das eine intensive Behandlung benötigt, wie beispielsweise Töpfe oder Pfannen, in der Intensivspülzone liegt.
Gemäß einer weiteren Ausführungsform des Systems umfasst das System eine zu der Geschirrspülmaschine externe Einrichtung, die die Bildverarbeitungseinrichtung integriert, insbesondere das erste neuronale Netzwerk und/oder das zweite neuronale Netzwerk integriert, wobei die Geschirrspülmaschine eine Kommunikationseinheit aufweist, die zum Übermitteln des erfassten 2D-Bildes und der Metadaten an die externe Einrichtung und zum Empfangen des 3D-Bildes der Spülgutaufnahme von der externen Einrichtung eingerichtet ist.
Die externe Einrichtung ist vorzugsweise als ein Server oder dergleichen ausgebildet, der eine hohe Rechenleistung aufweist. Daher kann das 3D-Bild mit komplexen Algorithmen und/oder unter Verwendung komplexer neuronaler Netzwerke ermittelt werden.
Die Kommunikationseinheit ist beispielsweise mittels eines Netzwerks mit der externen Einrichtung koppelbar. Das Netzwerk umfasst dabei insbesondere ein Mobilfunknetzwerk, ein WLAN, das Internet und/oder ein weiteres kabelloses oder kabelgebundenes Datennetzwerk.
In Ausführungsformen umfasst die externe Einrichtung beispielsweise nur das erste neuronale Netzwerk und/oder nur das zweite neuronale Netzwerk, wobei das jeweils andere neuronale Netzwerk insbesondere in der Geschirrspülmaschine integriert ist. Die Bildverarbeitungseinrichtung ist in dieser Ausführungsform damit verteilt angeordnet. Die Kommunikationseinheit ist entsprechend zum Empfangen des latenten Vektors und/oder zum Senden des latenten Vektors eingerichtet. Gemäß einem zweiten Aspekt wird ein Verfahren zum Betreiben einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, vorgeschlagen. Das Verfahren umfasst die Schritte:
Erfassen eines 2D-Bildes einer Spülgutaufnahme der Geschirrspülmaschine und darin angeordnetem Spülgut und von Metadaten des erfassten 2D-Bildes,
Ermitteln eines 3D-Bildes der Spülgutaufnahme auf Basis des erfassten 2D-Bildes und der erfassten Matedaten, und
Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes.
Das Verfahren weist die gleichen Vorteile auf, wie zu dem System gemäß dem ersten Aspekt erläutert. Das Verfahren wird vorzugsweise mit der Geschirrspülmaschine des Systems gemäß dem ersten Aspekt durchgeführt.
Die für das vorgeschlagene System beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.
Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen. Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform einer Haushalts-Geschirrspülmaschine;
Fig. 2 zeigt schematisch ein Ausführungsbeispiel für das Ermitteln eines 3D-Bildes auf Basis eines 2D-Bildes und Metadaten;
Fig. 3 zeigt eine schematische Ansicht einer weiteren Ausführungsform einer Haushalts- Geschirrspülmaschine;
Fig. 4 zeigt ein schematisches Flussdiagramm als Beispiel für das Ermitteln eines latenten Vektors;
Fig. 5 zeigt ein schematisches Blockschaltbild einer Anordnung zum Trainieren eines neuronalen Netzwerks;
Fig. 6 zeigt ein schematisches Blockschaltbild eines Systems mit einer Geschirrspülmaschine und einer externen Einheit; und
Fig. 7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben einer Geschirrspülmaschine.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
Die Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform einer Haushalts-Geschirrspülmaschine 1. Die Haushalts-Geschirrspülmaschine 1 umfasst einen Spülbehälter 2, der durch eine Tür 3, insbesondere wasserdicht, verschließbar ist. Hierzu kann zwischen der Tür 3 und dem Spülbehälter 2 eine Dichteinrichtung vorgesehen sein. Der Spülbehälter 2 ist vorzugweise quaderförmig. Der Spülbehälter 2 kann in einem Ge- häuse der Haushalts-Geschirrspülmaschine 1 angeordnet sein. Der Spülbehälter 2 und die Tür 3 können einen Spülraum 4 zum Spülen von Spülgut bilden.
Die Tür 3 ist in der Fig. 1 in ihrer geöffneten Stellung dargestellt. Durch ein Schwenken um eine an einem unteren Ende der Tür 3 vorgesehene Schwenkachse 5 kann die Tür 3 geschlossen oder geöffnet werden. Mit Hilfe der Tür 3 kann eine Beschickungsöffnung 6 des Spülbehälters 2 geschlossen oder geöffnet werden. Der Spülbehälter 2 weist einen Boden 7, eine dem Boden 7 gegenüberliegend angeordnete Decke 8, eine der geschlossenen Tür 3 gegenüberliegend angeordnete Rückwand 9 und zwei einander gegenüberliegend angeordnete Seitenwände 10, 11 auf. Der Boden 7, die Decke 8, die Rückwand 9 und die Seitenwände 10, 11 können beispielsweise aus einem Edelstahlblech gefertigt sein. Alternativ kann beispielsweise der Boden 7 aus einem Kunststoff mate rial gefertigt sein.
Die Haushalts-Geschirrspülmaschine 1 weist ferner zumindest eine Spülgutaufnahme 12 bis 14 auf. Vorzugsweise können mehrere, beispielsweise drei, Spülgutaufnahmen 12 bis 14 vorgesehen sein, wobei die Spülgutaufnahme 12 eine untere Spülgutaufnahme oder ein Unterkorb, die Spülgutaufnahme 13 eine obere Spülgutaufnahme oder ein Oberkorb und die Spülgutaufnahme 14 eine Besteckschublade sein kann. Wie die Fig. 1 weiterhin zeigt, sind die Spülgutaufnahmen 12 bis 14 übereinander in dem Spülbehälter 2 angeordnet. Jede Spülgutaufnahme 12 bis 14 ist wahlweise in den Spülbehälter 2 hinein- oder aus diesem herausverlagerbar. Insbesondere ist jede Spülgutaufnahme 12 bis 14 in einer Einschubrichtung E in den Spülbehälter 2 hineinschiebbar oder hineinfahrbar und entgegen der Einschubrichtung E in einer Auszugsrichtung A aus dem Spülbehälter 2 herausziehbar oder herausfahrbar.
In einem oberen Bereich eines um die Beschickungsöffnung 6 des Spülbehälters 2 umlaufenden Spülbehälterflansch ist eine Bilderfassungseinrichtung 110 angeordnet. Die Bilderfassungseinrichtung 110 ist als eine Digitalkamera ausgebildet. Die Digitalkamera 110 ist insbesondere mittig in Bezug auf die Beschickungsöffnung 6 platziert und weist beispielsweise ein Weitwinkel-Objektiv (nicht dargestellt) auf, das es ermöglicht, jede der Spülgutaufnahmen 12 - 14, wenn diese in dem herausverlagerten Zustand sind, in einem jeweiligen 2 D-Bild 2DIMG (siehe Fig. 2, 4 oder 6) vollständig zu erfassen. An der Tür 3 sind weiterhin eine Bildverarbeitungseinrichtung 120 und eine Steuerungsvorrichtung 140 angeordnet. Diese sind hier separat voneinander dargestellt, sie können aber auch in einem Element gemeinsam integriert sein. Zudem ist die Anordnung an der Tür 3 nur beispielhaft. Die Bildverarbeitungseinrichtung 120 ist zum Ermitteln eines 3D- Bildes 3DIMG einer jeweiligen Spülgutaufnahme 12 - 14 (siehe Fig. 2, 5 oder 6) auf Basis des erfassten 2D-Bildes 2DIMG und von zusätzlich erfassten Metadaten META (siehe Fig. 2 oder 6) des erfassten 2D-Bildes 2DIMG eingerichtet. Dies ist nachfolgend anhand der Fig. 2 - 6 detailliert erläutert. Die Steuerungsvorrichtung 140 ist zum Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes 3DIMG eingerichtet. .
Fig. 2 zeigt schematisch ein Ausführungsbeispiel für das Ermitteln eines 3D-Bildes 3DIMG auf Basis eines 2D-Bildes 2DIMG und Metadaten META, wobei dieses Beispiel zwei separate Schritte aufweist. Das 2D-Bild 2DIMG zeigt eine Spülgutaufnahme 12 mit darin angeordnetem Spülgut 21 - 25. Das 2D-Bild 2DIMG wurde beispielsweise von der Bilderfassungseinrichtung 110 (siehe Fig. 1) erfasst, als die Spülgutaufnahme 12 voll aus dem Spülbehälter 4 herausverlagert war. Die Metadaten META umfassen beispielsweise die Information, dass die Spülgutaufnahme 12 zum Zeitpunkt der Bilderfassung voll aus dem Spülbehälter 4 herausverlagert war. Die Metadaten META umfassen vorzugsweise zudem die Information, welche von mehreren Spülgutaufnahmen 12 - 14 auf dem 2D-Bild 2DIMG zu sehen ist, eine Höheneinstellung der sichtbaren Spülgutaufnahme 12 und/oder einen Winkel der Bilderfassungseinrichtung 110 und der Spülgutaufnahme 12. Weiterhin können die Metadaten META einen Zeitstempel und Einstellungen der Bilderfassungseinrichtung
110, wie eine Empfindlichkeit (beispielsweise ein ISO-Wert oder Gain-Wert), eine Brennweite (Zoom-Einstellung), einen Bildwinkel, und dergleichen mehr umfassen. Sofern die Geschirrspülmaschine 1 (siehe Fig. 1 oder 3) eine zusätzliche Beleuchtungseinrichtung
111 , 112 (siehe Fig. 3) aufweist, umfassen die Metadaten META insbesondere Informationen betreffend einen Betriebszustand der Beleuchtungseinrichtungen 111, 112, wie eine Beleuchtungsintensität, ein Beleuchtungsspektrum und dergleichen mehr.
In einem ersten Schritt werden das 2D-Bild 2DIMG und die Metadaten META zu einem latenten Vektor LVEC kombiniert. Dies erfolgt vorzugsweise mittels eines ersten neuronalen Netzwerks 125 (siehe Fig. 4 oder 6). Der latente Vektor LVEC umfasst insbesondere die zum Ermitteln des 3D-Bildes 3DIMG notwendigen oder relevanten Informationen. Der latente Vektor LVEC weist insbesondere eine Datenmenge auf, die höchstens 1/100, vor- zugsweise höchstens 1/500, bevorzugt höchstens 1/1000, weitere bevorzugt höchstens 1/10.000, der Datenmenge des erfassten 2D-Bildes 2DIMG umfasst. Das Erzeugen des latenten Vektors LVEC durch ein neuronales Netzwerk 125 ist anhand der Fig. 4 detailliert erläutert.
In einem zweiten Schritt wird auf Basis des latenten Vektors LVEC das 3D-Bild 3DIMG ermittelt. Dies erfolgt vorzugsweise mittels eines zweiten neuronalen Netzwerks 130 (siehe Fig. 5 oder 6), das insbesondere als ein GAN ausgebildet ist.
Fig. 3 zeigt eine schematische Ansicht einer weiteren Ausführungsform einer Haushalts- Geschirrspülmaschine 1. Die Fig. 3 zeigt insbesondere eine Vorderansicht der Haushalts- Geschirrspülmaschine 1 bei geöffneter Tür 3. Die Haushalts-Geschirrspülmaschine 1 der Fig. 3 kann wie die anhand der Fig. 1 erläuterte Haushalts-Geschirrspülmaschine 1 ausgebildet sein und alle dort erläuterten Merkmale aufweisen, auch wenn diese in der Fig. 3 nicht dargestellt sind. Zusätzlich weist die Haushalts-Geschirrspülmaschine 1 außer der mittig angeordneten Bilderfassungseinrichtung 110 zwei Beleuchtungseinrichtungen 111, 112 auf, die neben der Bilderfassungseinrichtung 110 angeordnet sind.
Die Beleuchtungseinrichtungen 111 , 112 umfassen beispielsweise ein Blitzgerät und/oder eine LED-Beleuchtungseinheit. Die Beleuchtungseinrichtungen 111, 112 können identisch oder unterschiedlich zueinander ausgebildet sein. In Ausführungsformen kann nur eine einzelne Beleuchtungseinrichtung und/oder mehr als zwei Beleuchtungseinrichtungen vorgesehen sein.
Die Beleuchtungseinrichtungen 111 , 112 sind insbesondere dazu eingerichtet, die Spülgutaufnahmen 12, 13 zu beleuchten, wenn die Bilderfassungseinrichtung 110 ein 2D-Bild 2DIMG (siehe Fig. 2, 4 oder 6) erfasst. Durch die versetzte Anordnung von Bilderfassungseinrichtung 110 und Beleuchtungseinrichtungen 111, 112 ergibt sich insbesondere eine Parallaxe zwischen der Bilderfassungseinrichtung 110 und den Beleuchtungseinrichtungen 111 , 112. Damit kann das erfasste 2D-Bild 2DIMG auch schattierte Bereiche umfassen, was eine Ermittlung des 3D-Bildes 3DIMG (siehe Fig. 2, 5 oder 6) unterstützen kann. Vorzugsweise sind die beiden Beleuchtungseinrichtungen 111 , 112 dazu eingerichtet, die jeweilige Spülgutaufnahme 12, 13 mit unterschiedlichen Spektren zu beleuchten, beispielsweise mit unterschiedlichen Farben. Dann erfasst die Bilderfassungseinrichtung 110 insbesondere ein 2D-Bild 2DIMG, welches eine erhöhte Informationsdichte bezüglich der dreidimensionalen Form des in der Spülgutaufnahme 12, 13 angeordneten Spülguts 21 - 25 (siehe Fig. 2) umfasst, da sich schattierte Bereiche aus zwei Beleuchtungsrichtungen ergeben können. Die Metadaten META (siehe Fig. 2) des erfassten 2D-Bildes 2DIMG umfassen insbesondere eine Information zu einer relativen Anordnung der Bilderfassungseinrichtung 110 und der Beleuchtungseinrichtungen 111, 112 sowie zu dem Betriebszustand einer jeweiligen der Beleuchtungseinrichtungen 111 , 112 zum Zeitpunkt der Bilderfassung.
Es kann vorgesehen sein, dass die Bilderfassungseinrichtung 110 mehrere 2D-Bilder 2DIMG bei unterschiedlichen Betriebsmodi der Beleuchtungseinrichtungen 111 , 112 erfasst, insbesondere bei unterschiedlichen Beleuchtungsspektren, um zusätzliche Bildinformationen bezüglich des in der Spülgutaufnahme 12, 13 angeordneten Spülguts 21 - 25 zu erfassen.
Fig. 4 zeigt ein schematisches Flussdiagramm als Beispiel für das Ermitteln eines latenten Vektors LVEC auf Basis eines 2D-Bildes 2DIMG und zugehöriger Metadaten META. Der latente Vektor LVEC wird hierbei durch ein trainiertes neuronales Netzwerk 125 erzeugt, das mehrere funktionale Schichten umfasst. Dies sind in diesem Beispiel eine erste Filterschicht CL1 (engl. convolutional layer), eine erste Aggregationsschicht PL1 (engl. pooling layer), eine zweite Filterschicht CL2, eine zweite Aggregationsschicht PL2 und ein mehrlagiges Perzeptron MLP (engl. multi-layered perceptron).
Die beiden Filterschichten CL1, CL2 sind dazu eingerichtet, auf Basis der jeweiligen Eingangsdaten eine Anzahl von sogenannten Feature-Maps FM zu ermitteln. Eine jeweilige Filterschicht CL1, CL2 umfasst insbesondere mehrere Filter, wobei jedes Filter eine Fea- ture-Map FM erzeugt. Die erzeugten Feature-Maps FM entsprechen insbesondere einer kompakteren und abstrakteren Darstellung der Eingangsinformationen. Durch die Anwendung der Filterschichten CL1, CL2 wird daher die Datenmenge reduziert.
Die Aggregationsschichten PL1 , PL2 reduzieren die Datenmenge weiter, indem eine jeweilige Aggregationsschicht PL1, PL2 beispielsweise nur die relevantesten Informationen der Eingangsdaten (das sind für die erste Aggregationsschicht PL1 beispielsweise die Feature-Maps FM der ersten Filterschicht CL1) weitergibt (beispielsweise in Form eines sogenannten "Max-Pooling Layer").
Es sei angemerkt, dass die Anzahl und/oder die Reihenfolge der Filterschichten CL1 , CL2 und der Aggregationsschichten PL1 , PL2 in weiteren Ausführungsformen von der in der Fig. 4 dargestellten abweichen kann.
Das mehrlagige Perzeptron MLP ist insbesondere als ein vollständig verbundenes neuronales Netzwerk (engl. fully connected layer) ausgebildet. Das mehrlagige Perzeptron MLP erzeugt auf Basis der Ausgangsdaten der zweiten Aggregationsschicht PL2 den latenten Vektor LVEC.
Fig. 5 zeigt ein schematisches Blockschaltbild einer Anordnung zum Trainieren eines neuronalen Netzwerks 130. Das neuronale Netzwerk 130 wird beispielsweise daraufhin trainiert, dass es auf Basis eines latenten Vektors LVEC, der beispielsweise wie anhand der Fig. 4 beschrieben auf Basis eines erfassten 2D-Bildes 2DIMG (siehe Fig. 2, 4 oder 6) und zugehörigen Metadaten META (siehe Fig. 2, 4 oder 6) erzeugt wurde, ein 3D-Bild 3DIMG erzeugt. Das neuronale Netzwerk 130 kann insbesondere Teil der Bildverarbeitungseinrichtung 120 sein.
Die Anordnung der Fig. 5 entspricht insbesondere einem GAN (engl. generative adversarial network). Bei einem GAN handelt es sich um ein unüberwachtes Lernverfahren, bei dem zwei neuronale Netzwerke 130, 132 gewissermaßen gegeneinander antreten. Als Trainingsdaten werden einerseits latente Vektoren LVEC und andererseits 3D-Bilder 3DIMG* vorgegeben. Das vorgegebene 3D-Bild 3DIMG* zeigt hierbei die Realität und der korrespondierende latente Vektor LVEC ist der auf Basis des korrespondierenden 2 D-Bild 2DIMG abgeleitete latente Vektor LVEC.
Das neuronale Netzwerk 130 wird auch als Generator bezeichnet, da es ein künstliches 3D-Bild 3DIMG erzeugt. Das erzeugte 3D-Bild 3DIMG und das echte 3D-Bild 3DIMG* werden dem neuronalen Netzwerk 132 zugeführt. Das neuronale Netzwerk 130 wird auch als Diskriminator bezeichnet. Der Diskriminator 130 entscheidet, welches der beiden zugeführten Bilder 3DIMG*, 3DIMG das echte Bild ist, und gibt ein entsprechendes Ergebnis R aus. Der Generator 130 und der Diskriminator 132 stehen in einer Konkurrenzsituation: der Generator 130 versucht, ein 3D-Bild 3DIMG zu erzeugen, das der Diskriminator 132 für das echte 3D-Bild 3DIMG* hält. Bei einer ausreichend großen Trainingsdatenmenge wird der Generator 130 in die Lage versetzt, ein 3D-Bild 3DIMG zu erzeugen, das einer tatsächlichen dreidimensionalen Ansicht der Spülgutaufnahme 12, 13, 14 (siehe Fig. 1 oder 3) entspricht. Der trainierte Generator 130 ist beispielsweise Bestandteil der Bildverarbeitungseinrichtung 120.
Fig. 6 zeigt ein schematisches Blockschaltbild eines Systems 100 mit einer Geschirrspülmaschine 1 und einer externen Einheit 200. Die Geschirrspülmaschine 1 ist insbesondere als eine Haushalts-Geschirrspülmaschine ausgebildet und kann die Merkmale der in den Fig. 1 und 3 erläuterten Haushalts-Geschirrspülmaschinen 1 aufweisen. Insbesondere weist die Haushalts-Geschirrspülmaschine 1 in diesem Beispiel eine Kommunikationseinheit 160 auf. Die Kommunikationseinheit 160 ist dazu eingerichtet, mit einer externen Einrichtung 200 eine Kommunikationsverbindung herzustellen. Die Kommunikationsverbindung kann insbesondere drahtlos hergestellt werden, beispielsweise mittels WLAN, Bluetooth und/oder einem Mobilfunkstandard nach 2G, 3G, 4G und/oder 5G. Die Kommunikationsverbindung kann auch drahtgebunden hergestellt werden.
Die externe Einrichtung 200 ist insbesondere als ein Computer oder Server ausgebildet, der über das Internet erreichbar ist. Hierzu weist die externe Einrichtung 200 ebenfalls eine Kommunikationseinheit 202 auf. Die externe Einrichtung 200 integriert in diesem Beispiel die Bildverarbeitungseinrichtung 120.
Die Geschirrspülmaschine 1 überträgt das erfasste 2D-Bild 2DIMG der Spülgutaufnahme 12, 13, 14 (siehe Fig. 1 oder 3) und die zugehörigen Metadaten META mittels der Kommunikationseinheit 160 an die externe Einrichtung 200. Die externe Einrichtung 200 umfasst die Bildverarbeitungseinrichtung 120, welche ein erstes neuronales Netzwerk 125, insbesondere ein CNN (engl. convolutional neural network), und ein zweites neuronales Netzwerk 130, insbesondere ein GAN, umfasst. Auf Basis des empfangenen 2D-Bildes 2DIMG und der Metadaten META ermittelt die Bildverarbeitungseinrichtung das 3D-Bild 3DIMG der Spülgutaufnahme 12, 13, 14 und überträgt das ermittelte 3D-Bild 3DIMG an die Haushalts-Geschirrspülmaschine 1. Dies kann vorteilhaft sein, da das Ermitteln des 3D-Bildes 3DIMG in Abhängigkeit des erfassten 2D-Bildes 2DIMG und der Metadaten META ein rechenintensiver Vorgang sein kann. In diesem Ausführungsbeispiel ist es nicht notwendig, dass die Geschirrspülmaschine 1 diese Rechenleistung selbst erbringt, weshalb diese weniger komplex ausgebildet sein kann. Das Vorhandensein der externen Einrichtung 200 schließt jedoch nicht aus, dass die Geschirrspülmaschine 1 eine Bildverarbeitungseinrichtung 120 aufweist.
Es sei angemerkt, dass die Geschirrspülmaschine 1 der Fig. 6 zusätzlich auch die Bildverarbeitungseinrichtung 120 aufweist. Dann könnte beispielsweise fallweise die Verarbeitung lokal, also unter Verwendung der Bildverarbeitungseinrichtung 120 der Geschirrspülmaschine 1 , oder extern, also unter Verwendung der Bildverarbeitungseinrichtung 120 der externen Einrichtung 200, erfolgen. Dies kann vorteilhaft sein, wenn beispielsweise ein Verbindungsproblem bezüglich der Kommunikationsverbindung vorliegt.
In Ausführungsformen (nicht dargestellt) umfasst die Geschirrspülmaschine 1 beispielsweise das erste neuronale Netzwerk 125 und die externe Einrichtung 200 umfasst das zweite neuronale Netzwerk 130. Hierbei wird von der Geschirrspülmaschine 1 der latente Vektor LVEC an die externe Einrichtung 200 übertragen.
In Ausführungsformen (nicht dargestellt) umfasst die Geschirrspülmaschine 1 beispielsweise das zweite neuronale Netzwerk 130 und die externe Einrichtung 200 umfasst das erste neuronale Netzwerk 125. Hierbei wird von der Geschirrspülmaschine 1 der latente Vektor LVEC von der externen Einrichtung 200 empfangen.
Fig. 7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben einer Geschirrspülmaschine 1 , beispielsweise der Haushalts- Geschirrspülmaschine der Fig. 1 oder Fig. 3.
In einem ersten Schritt S1 werden ein 2D-Bild 2DIMG (siehe Fig. 2, 4 oder 6) einer Spülgutaufnahme 12, 13, 14 (siehe Fig. 1 , 2 oder 3) der Geschirrspülmaschine 1 und darin angeordnetem Spülgut 21 - 25 (siehe Fig. 2) und Metadaten META (siehe Fig. 2 oder 3) zu dem 2D-Bild 2DIMG erfasst. In einem zweiten Schritt S2 wird ein 3D-Bild 3DIMG (siehe fig. 2, 5 oder 6) der Spülgutaufnahme 12, 13, 14 auf Basis des erfassten 2D-Bildes 2DIMG und der erfassten Matedaten META ermittelt. Dies erfolgt beispielsweise wie vorstehend anhand der Fig. 2, 4 und 5 beschrieben.
In einem dritten Schritt S3 wird ein Spülprogramm in Abhängigkeit des ermittelten 3D- Bildes 3DIMG durchgeführt. Beispielsweise kann auf Basis des 3D-Bildes 3DIMG ermittelt werden, ob ein Spülgut 21 - 25 aus der Spülgutaufnahme 12, 13, 14 herausragt und eine Sprühvorrichtung, wie einen drehbar gelagerten Sprüharm, blockieren kann, und es können entsprechende Maßnahmen ergriffen werden. Weiterhin kann eine Intensivspülzone automatisch aktiviert oder deaktiviert werden. Weiterhin kann ein Nutzer beim Beladen der Geschirrspülmaschine 1 mit Spülgut 21 - 25 unterstützt werden, um eine optimale Beladung zu erreichen. Weiterhin kann ein Trocknungsschritt optimiert werden.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
Verwendete Bezugszeichen:
1 Geschirrspülmaschine
2 Spülbehälter
3 Tür
4 Spülkammer
5 Schwenkachse
6 Beschickungsöffnung
7 Boden
8 Decke
9 Rückwand
10 Seitenwand
11 Seitenwand
12 Spülgutaufnahme
13 Spülgutaufnahme
14 Spülgutaufnahme
21 Spülgut
22 Spülgut
23 Spülgut
24 Spülgut
25 Spülgut
100 System
110 Bilderfassungseinrichtung
111 Beleuchtungseinrichtung
112 Beleuchtungseinrichtung
120 Bildverarbeitungseinrichtung
125 neuronales Netzwerk
130 neuronales Netzwerk
132 neuronales Netzwerk
140 Steuerungsvorrichtung
160 Kommunikationseinheit
200 externe Einrichtung
202 Kommunikationseinheit 2DIMG Bild 3DIMG Bild 3DIMG* Bild CL1 Filterschicht CL2 Filterschicht FM Feature-Map LVEC latenter Vektor META Metadaten MLP mehrlagiges Perzeptron PL1 Aggregationsschicht PL2 Aggregationsschicht R Ergebnis S1 Verfahrensschritt S2 Verfahrensschritt S3 Verfahrensschritt S4 Verfahrensschritt

Claims

24 PATENTANSPRÜCHE
1 . System (100) mit einer Geschirrspülmaschine (1), insbesondere einer Haushalts- Geschirrspülmaschine, mit einer Bilderfassungseinrichtung (110) zum Erfassen eines 2D- Bildes (2DIMG) einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) und darin angeordnetem Spülgut (21 - 24), einer Bildverarbeitungseinrichtung (120) zum Ermitteln eines 3D-Bildes (3DIMG) auf Basis des erfassten 2D-Bildes (2DIMG) und von zusätzlich erfassten Metadaten (META) des erfassten 2D-Bildes (2DIMG) und mit einer Steuerungsvorrichtung (140) zum Durchführen eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes (3DIMG).
2. System nach Anspruch 1 , dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (120) ein erstes neuronales Netzwerk (125) umfasst, welches dazu eingerichtet ist, in Abhängigkeit von dem erfassten 2D-Bild (2DIMG) und den Metadaten (META) des erfassten 2D-Bildes (2DIMG) einen latenten Vektor (LVEC) zu erzeugen, und ein zweites neuronales Netzwerk (130) umfasst, welches dazu eingerichtet ist, in Abhängigkeit des erzeugten latenten Vektors (LVEC) ein 3D-Bild (3DIMG) der Spülgutaufnahme (12 - 14) zu ermitteln.
3. System nach Anspruch 2, dadurch gekennzeichnet, dass der latente Vektor (LVEC) eine Repräsentation der in dem erfassten 2D-Bild (2DIMG) enthaltenen Bilddaten und der Metadaten (META) umfasst, wobei eine Datenmenge des latenten Vektors (LVEC) höchstens 1/100, vorzugsweise höchstens 1/500, bevorzugt höchstens 1/1000, weitere bevorzugt höchstens 1/10.000, einer Datenmenge des erfassten 2D-Bildes (2DIMG) umfasst.
4. System nach einem der Ansprüche 1 - 3, dadurch gekennzeichnet, dass die Metadaten (META) des erfassten 2D-Bildes (2DIMG) eine Information bezüglich der auf dem erfassten 2D-Bild (2DIMG) sichtbaren Spülgutaufnahme (12 - 14) und/oder eines auf dem erfassten 2D-Bild (2DIMG) sichtbaren Abschnitts der Spülgutaufnahme (12 - 14) umfas- sen.
5. System nach einem der Ansprüche 1 - 4, dadurch gekennzeichnet, dass die Metadaten (META) des erfassten 2D-Bildes (2DIMG) eine Information bezüglich einer Höheneinstellung der Spülgutaufnahme (12 - 14) zum Zeitpunkt der Erfassung des 2D-Bildes (2DIMG) umfassen.
6. System nach einem der Ansprüche 1 - 5, dadurch gekennzeichnet, dass die Metadaten (META) des erfassten 2D-Bildes (2DIMG) eine Information bezüglich eines Winkels zwischen der Bilderfassungseinrichtung (120) und der Spülgutaufnahme (12 - 14) umfassen.
7. System nach einem der Ansprüche 1 - 6, dadurch gekennzeichnet, dass die Geschirrspülmaschine (1) eine Beleuchtungseinrichtung (111 , 112) zum Beleuchten der Spülgutaufnahme (12 - 14) umfasst und die Metadaten (META) des 2D-Bildes (2DIMG) eine Information bezüglich eines Betriebsmodus der Beleuchtungseinrichtung (111 , 112) zum Zeitpunkt der Erfassung des 2D-Bildes (2DIMG) umfassen.
8. System nach einem der Ansprüche 1 - 7, dadurch gekennzeichnet, dass die Geschirrspülmaschine (1) mehrere räumlich getrennt voneinander angeordnete Beleuchtungseinrichtungen (111 , 112) zum Beleuchten der Spülgutaufnahme (12 - 14) umfasst und die Metadaten (META) des 2D-Bildes (2DIMG) eine Information bezüglich eines jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen (111 , 112) zum Zeitpunkt der Erfassung des 2D-Bildes (2DIMG) umfassen.
9. System nach Anspruch 8, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (120) zum Erfassen mehrerer 2D-Bilder der Spülgutaufnahme (12, 13, 14) bei unterschiedlichen Betriebsmodi der mehreren Beleuchtungseinrichtungen (111 , 112) eingerichtet ist, wobei die jeweiligen Metadaten (META) der mehreren 2D-Bilder (2DIMG) eine Information bezüglich des jeweiligen Betriebsmodus der mehreren Beleuchtungseinrichtungen (111 , 112) zum Zeitpunkt der Erfassung des jeweiligen 2D-Bildes (2DIMG) umfassen, und wobei die Bildverarbeitungseinrichtung (120) dazu eingerichtet ist, ein 3D-Bild (3DIMG) in Abhängigkeit der mehreren 2D-Bilder (2DIMG) und der jeweiligen Metadaten (META) zu ermitteln.
10. System nach einem der Ansprüche 1 - 9, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (140) dazu eingerichtet ist, in Abhängigkeit des ermittelten 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) eine Blockade einer beweglich gelagerten Sprühvorrichtung der Geschirrspülmaschine (1) durch in der Spülgutaufnahme (12 - 14) angeordnetes Spülgut (21 - 25) zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Blockade durchzuführen.
11. System nach einem der Ansprüche 1 - 10, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (140) dazu eingerichtet ist, in Abhängigkeit des ermittelten 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) eine Masse des in der Spülgutaufnahme (12 - 14) angeordneten Spülguts (21 - 25) zu ermitteln und das Spülprogramm in Abhängigkeit der ermittelten Masse durchzuführen.
12. System nach einem der Ansprüche 1 - 11 , dadurch gekennzeichnet, dass die Geschirrspülmaschine (1) ein Hydrauliksystem aufweist, das wenigstens eine Intensivspülzone umfasst, wobei die Steuerungsvorrichtung (140) dazu eingerichtet ist, die wenigstens eine Intensivspülzone in Abhängigkeit des ermittelten 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) wahlweise zu aktivieren.
13. System nach einem der Ansprüche 1 - 12, dadurch gekennzeichnet, dass das System (100) eine zu der Geschirrspülmaschine (1) externe Einrichtung (200) aufweist, die die Bildverarbeitungseinrichtung (120) integriert, insbesondere das erste neuronale Netzwerk (125) und/oder das zweite neuronale Netzwerk (130) integriert, wobei die Geschirrspülmaschine (1) eine Kommunikationseinheit (160) aufweist, die zum Übermitteln des erfassten 2D-Bildes (2DIMG) und der Metadaten (META) an die externe Einrichtung (200) und zum Empfangen des 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) von der externen Einrichtung (200) eingerichtet ist.
14. Verfahren zum Betreiben einer Geschirrspülmaschine (1), insbesondere einer Haushalts-Geschirrspülmaschine, mit den Schritten:
Erfassen (S1) eines 2D-Bildes (2DIMG) einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) und darin angeordnetem Spülgut (21 - 25) und von Metadaten (META) des erfassten 2D-Bildes (2DIMG), Ermitteln (S2) eines 3D-Bildes (3DIMG) der Spülgutaufnahme (12 - 14) in Abhängigkeit des erfassten 2D-Bildes (2DIMG) und der erfassten Metadaten (META), und Durchführen (S3) eines Spülprogramms in Abhängigkeit des ermittelten 3D-Bildes (3DIMG).
15. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach Anspruch 14 auszuführen.
EP22700619.4A 2021-01-27 2022-01-13 System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt Pending EP4285338A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021200715.5A DE102021200715A1 (de) 2021-01-27 2021-01-27 System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt
PCT/EP2022/050623 WO2022161778A1 (de) 2021-01-27 2022-01-13 System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt

Publications (1)

Publication Number Publication Date
EP4285338A1 true EP4285338A1 (de) 2023-12-06

Family

ID=80001331

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22700619.4A Pending EP4285338A1 (de) 2021-01-27 2022-01-13 System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt

Country Status (5)

Country Link
US (1) US12495948B2 (de)
EP (1) EP4285338A1 (de)
CN (1) CN116762104A (de)
DE (1) DE102021200715A1 (de)
WO (1) WO2022161778A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4509031A1 (de) 2023-08-16 2025-02-19 Miele & Cie. KG Verfahren und vorrichtung zum erkennen eines innenraums eines reinigungsgeräts und reinigungsgerät
DE102023211364A1 (de) * 2023-11-15 2025-05-15 BSH Hausgeräte GmbH Geschirrspüler und Verfahren zum Erkennen eines Objekts darin

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004035847A1 (de) 2004-07-23 2006-03-23 BSH Bosch und Siemens Hausgeräte GmbH Verfahren zur Erkennung der Spülgutbeladung und Geschirrspülmaschine
US10809685B2 (en) 2019-03-18 2020-10-20 Midea Group Co., Ltd. Dishwasher with cloud connected cameras
DE102019111848B4 (de) 2019-05-07 2023-12-21 Illinois Tool Works Inc. System zur optischen Spülguterkennung bei Spülmaschinen, Verfahren zur optischen Spülguterkennung, Spülmaschine mit einem optischen Spülguterkennungssystem sowie Verfahren zum Betreiben einer solchen Spülmaschine
KR102745358B1 (ko) 2019-08-06 2024-12-20 엘지전자 주식회사 인공지능 장치를 이용한 식기 세척 방법 및 이를 위한 장치
US11439292B2 (en) * 2019-11-04 2022-09-13 Midea Group Co. Ltd. System and method for recommending object placement

Also Published As

Publication number Publication date
US20240041296A1 (en) 2024-02-08
CN116762104A (zh) 2023-09-15
DE102021200715A1 (de) 2022-07-28
WO2022161778A1 (de) 2022-08-04
US12495948B2 (en) 2025-12-16

Similar Documents

Publication Publication Date Title
DE102015102694B4 (de) Verfahren zur Ermittlung der Drehzahl eines Sprüharms einer Geschirrspülmaschine
WO2015117905A1 (de) 3d-bildanalysator zur blickrichtungsbestimmung
EP4285338A1 (de) System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt
EP3654818B1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
WO2019015996A1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
DE102013110642A1 (de) Gargerät mit Kamera und Verfahren zur Einschuberkennung
WO2006015934A1 (de) Verfahren zur erkennung der spülgutbeladung und geschirrspülmaschine
EP3654815A1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
DE102020112205A1 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
DE102018202092A1 (de) Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine, Haushaltsgeschirrspülmaschine und System
EP4106596B1 (de) System mit einer geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
EP3654817B1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
DE102019110795A1 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
WO2022002689A1 (de) System mit einer geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
EP3530172B1 (de) Spülmaschine mit beladungserkennung
DE102018209973A1 (de) Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt
EP4167824A1 (de) System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt
EP3932282A1 (de) Spülgerät mit bilderfassungseinrichtung
DE102020211543A1 (de) System mit einer Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt
EP4509031A1 (de) Verfahren und vorrichtung zum erkennen eines innenraums eines reinigungsgeräts und reinigungsgerät
BE1031766B1 (de) Verfahren und Steuervorrichtung zum Anpassen eines Reinigungsvorgangs in einem Reinigungsgerät, Reinigungsgerät
BE1029768B1 (de) Verfahren zum Überwachen eines Beladungszustands eines Spülgeräts, Vorrichtung und Spülgerät
CN115456863B (zh) 一种图像生成方法及装置、图像中干扰的去除方法、炊具
BE1030060B1 (de) Bedienvorrichtung und Verfahren zum Bedienen eines Reinigungsgeräts und Reinigungsgerät
EP4708224A1 (de) Verfahren zum betreiben eines haushaltsgeräts, steuereinheit und haushaltsgerät

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230828

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250612