EP4213695A1 - System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt - Google Patents

System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt

Info

Publication number
EP4213695A1
EP4213695A1 EP21777423.1A EP21777423A EP4213695A1 EP 4213695 A1 EP4213695 A1 EP 4213695A1 EP 21777423 A EP21777423 A EP 21777423A EP 4213695 A1 EP4213695 A1 EP 4213695A1
Authority
EP
European Patent Office
Prior art keywords
image
washware
img
dishwasher
holder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21777423.1A
Other languages
English (en)
French (fr)
Inventor
Michael Rupp
Kai Paintner
Kuldeep Narayan Singh
Tobias Späth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP4213695A1 publication Critical patent/EP4213695A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0021—Regulation of operational steps within the washing processes, e.g. optimisation or improvement of operational steps depending from the detergent nature or from the condition of the crockery
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/006—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control using wireless communication between internal components of the machine
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/04—Crockery or tableware details, e.g. material, quantity, condition
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/26—Indication or alarm to the controlling device or to the user

Definitions

  • the present invention relates to a system with a dishwasher, a method for operating a dishwasher and a computer program product.
  • Known dishwashers are set up to carry out a washing program in an optimized manner on the basis of a load in the dishwasher.
  • a washing liquor temperature, a pump speed and/or a cleaning agent are adjusted depending on the type of washware.
  • the load in the dishwasher can be determined by means of image recognition based on an image of items to be washed.
  • the camera is to be triggered in a suitable manner and an image suitable for image recognition is to be stored.
  • WO 2018/044094 A1 discloses a dishwasher with a camera that is set up to record an image of a washware receptacle.
  • the washware holder has a marking, by means of which a position of the washware holder is determined on the basis of the image. Furthermore, items to be washed that are visible in the recorded image are recognized.
  • an object of the present invention is to improve the operation of a dishwasher.
  • a system with a dishwasher in particular a household dishwasher, is proposed.
  • the system comprises a control device for carrying out a washing program depending on a load of items to be washed on a wash item holder of the dishwasher, and a camera for capturing an image of at least a partial area of the wash item holder depending on an extension position of the wash item holder, the control device being set up to display the captured image in To store dependence of the extract position when capturing the image on one of the extract position associated memory space of a number of memory locations. Each memory space of number is a set of out- assigned to train positions.
  • the system also includes an image analysis unit for determining the load in the washware holder as a function of the images stored in the memory locations.
  • This system has the advantage that different storage locations are provided for images on which different partial areas of the washware receptacle are visible. This reduces the amount of memory required, since each memory location in particular only stores a single image. The stored image is in particular the most recent image that shows the respective sub-area. Another advantage is that a number of images that need to be analyzed to determine the loading can be reduced. In particular, it is sufficient to analyze only the most up-to-date image on which the sub-area can be seen for a respective sub-area. A required computing power and/or computing time can thus be reduced.
  • the control device can be implemented in terms of hardware and/or software.
  • the control device can be designed, for example, as a computer or as a microprocessor.
  • the control device can be embodied as a computer program product, as a function, as a routine, as part of a program code or as an executable object.
  • the control device is set up to carry out the washing program depending on the load. This means that the control device adapts or changes a sequence of the wash program and/or individual parameter values of a partially specified wash program.
  • the sequence includes in particular a sequence of partial program steps, such as a pre-wash, a main wash, a final rinse and drying Setting a water switch, setting a water hardness and the like. For example, if the load largely comprises glassware, a water hardness can be set higher and a circulation pump speed reduced compared to a load that mainly comprises ceramic ware and/or metal ware.
  • the dishwasher comprises, for example, a washing chamber in which at least one washware receptacle that is mounted in an extendable manner is arranged. When the door of the dishwasher is open, the items to be washed can be pulled out, thus enabling easy loading of items to be washed into the items to be washed.
  • the dishwasher has a camera on the upper edge of the washing compartment, for example, which is set up to capture an area determined by the radius of movement of the washware holder.
  • the camera includes a wide-angle lens and is set up to capture a large solid angle.
  • the camera is set up to capture the entire washware receptacle when it is in a fully pulled-out state, ie in a maximum pulled-out position.
  • the camera is activated by opening the door and outputs an image stream to the control device.
  • the image stream includes sequentially recorded images, with a specific image acquisition rate being specified.
  • the images are transmitted unprocessed in the form of raw data from the camera to the control device.
  • the control device takes over the further processing, for example the decision as to whether an image is to be saved or discarded.
  • the camera can therefore have a comparatively simple structure and requires only a small amount of resources. The camera can thus be particularly cost-effective.
  • the camera can be set up to capture an image in an infrared spectral range, a visual spectral range and/or in an ultraviolet spectral range.
  • the camera may perform the processing of the captured images.
  • the dishwasher comprises a plurality of washware receptacles, which are arranged in particular vertically one above the other in the dishwasher. If the dishwasher has several items to be washed, the above and following features and/or explanations apply individually to each item to be washed, where applicable.
  • the image captured by the camera shows a partial area of the washware receptacle.
  • the portion that is visible on the image depends on the current draw position of the Items to be washed and the field of view of the camera.
  • the field of view of the camera is defined in such a way that when the washware holder is completely pushed in, only a front edge of the washware holder, for example a handle on the washware holder, is visible in the image. If the washware holder is now pulled out, a larger partial area of the washware holder gradually enters the field of view of the camera. For example, if the wash rack is pulled out halfway, about half of the wash rack is visible in the image.
  • the image is stored by the control device in an assigned memory location.
  • the current pull-out position of the washware holder is used as an indicator for the visible sub-area.
  • the number of storage locations is preferably limited; in particular, fewer than ten storage locations are provided for each item to be washed, preferably fewer than five storage locations. The memory requirement for storing the images can thus be significantly reduced.
  • each captured image is stored together with a time stamp that contains a point in time when the image was captured.
  • the image analysis unit is set up to determine the load of the respective washware receptacle on the basis of the recorded images.
  • the image analysis unit can use methods of signal analysis, pattern recognition, image recognition, image classification and the like, for example.
  • the image analysis unit can carry out the determination at least partially on the basis of artificial intelligence, such as a trained neural network.
  • the image analysis unit preferably only analyzes the most recent images of a respective sub-area. For example, a more up-to-date image can be available for a front partial area of the wash item holder than an image that shows the entire wash item holder. This is the case in particular when the user of the dishwasher has only partially pulled out the washing items holder to load the front area thereof. In this case, the image analysis unit will, for example, analyze the image that shows the entire item to be washed and the more up-to-date image that shows the front partial area. On the other hand, other images that show, for example, larger or also smaller sub-areas than the front sub-area and that are older are preferably not used analyzed because they contain outdated and/or redundant information.
  • the load in the front partial area is determined on the basis of the more up-to-date image, and the load in the remaining part of the wash item holder is determined on the basis of the image of the entire wash item holder.
  • the current load is thus determined for each sub-area, with the required computing power and/or computing time being reduced.
  • the load is preferably determined only when the user of the dishwasher starts the washing program. Since in each washing program washing liquid must first be fed into the washing chamber, there is enough time for this without the execution of the washing program being delayed.
  • control device is set up to capture an image position of a feature of the washware holder in the captured image and to determine the pull-out position of the washware holder depending on the captured image position of the feature of the washware holder.
  • This embodiment has the advantage that the current pull-out position of the washware receptacle is automatically recognized by the control device on the basis of the captured images, without an additional device being required.
  • Different items to be washed have, for example, different features or different positions of the features.
  • a feature is in particular a specific pattern or structure.
  • the feature can only be visible in a specific spectral range, for example only in the infrared spectral range.
  • control device is set up to detect the image position of the feature of the washware reception depending on an area of interest of the image.
  • the feature of the washware holder comprises a handle of the washware holder for manually removing the washware holder from and for manually pushing the washware holder into the dishwasher and/or a marking arranged on the handle.
  • control device is set up to store the respectively most current image of the washware receptacle at a specific pull-out position in the memory space assigned to the specific pull-out position.
  • the most recent image is the image with the most recent recording time. If the control device processes the image stream of the camera sequentially, the image just processed will always be the most up-to-date, which is why the control device stores this in the assigned memory location and thus overwrites an image already stored there. If the processing is not sequential and there may be time shifts, it can be provided that the control device compares the time stamp of the candidate image and the image already stored before storing a candidate image in an assigned memory location and stores the more recent of the two.
  • each storage location is assigned a specific interval from the set of possible pull-out positions for the items to be washed.
  • the specific interval corresponds to the partial area of the respective washware receptacle that is visible on the recorded image. For example, in a pull-out position that is between 90%-100% in relation to the maximum pull-out position, a partial area comprising 90%-100% of the washware receptacle is visible on a captured image.
  • an interval is understood to mean, in particular, a coherent range of values. All specific intervals together can, but do not have to be all possible Include statement position. Images captured at uncovered separation positions are accordingly discarded and not saved.
  • At least two storage locations are provided, with a first interval assigned to a first storage location comprising a maximum pull-out position of the washware holder and having a first width, a second interval assigned to a second storage location adjoining the first interval and having a second width, wherein the first width is narrower than the second width.
  • the first width is preferably comparatively narrow, for example encompassing only 5%-10% of the entire pull-out area.
  • This embodiment has the advantage that an image showing the entire washware receptacle (maximum pull-out position) is not replaced or overwritten by an image on which the washware receptacle is only partially visible. In most cases, this advantageously provides an image of the entire washware receptacle. By choosing a wider second interval, the number of memory locations required can be effectively reduced while at the same time covering the extraction area as much as possible.
  • the camera is set up to capture an image stream of the washware receptacle, two consecutive images in the image stream having a predetermined time interval
  • the control device being set up to detect a movement of the washware receptacle as a function of two successive images of the image stream to determine and to store one of the two consecutive images as a function of a determined movement
  • a camera that includes a mechanical shutter or a complex electronic shutter can advantageously be dispensed with. Images that are blurred due to a movement of the washware receptacle and are therefore unsuitable for an image analysis are recognized by the control device and can therefore be discarded.
  • the control device determines the movement in particular on the basis of a change in the image position of the feature of the item being washed. Determining the loading is therefore more robust.
  • the movement can be determined from a change in the image position of the feature in both the X-direction and the Y-direction. For example, the image position is determined on the basis of a centroid of an areal feature. If the feature is partially obscured, then the centroid has a different image position.
  • the image analysis unit is set up to determine the load as a function of a recording time assigned to a respective stored image and the pull-out positions assigned to the memory location, with a first image in which a specific partial area of the washware holder is visible and the recording time of which is younger than the The recording time of a second image, in which the specific partial area of the washware holder is also visible, is used to determine the load for the specific partial area of the washware holder.
  • control device is set up to delete an image whose recording time is older than a predetermined threshold value.
  • the threshold value can be several days, for example. With this embodiment, it can be achieved, for example, that images that were recorded before a first wash program was carried out are not used to determine the load for a second wash program.
  • the control device is set up to put the camera into an idle mode after a predetermined time interval has elapsed, in which the status of the items being washed is constant.
  • the predetermined time interval includes, for example, between 5 minutes and 20 minutes.
  • the image analysis unit is arranged in a device external to the dishwasher, with the control device and the image analysis unit being set up for the mutual transmission of data.
  • the dishwasher can have a less complex structure.
  • the image analysis unit can have a particularly high computing power if it is integrated, for example, in a server accessible via the Internet or the like.
  • utilization of the image analysis unit can be increased by using it from a plurality of dishwashers. Updating the image analysis unit is also possible in a simplified manner in this embodiment.
  • the control device and the image analysis unit can transmit data, for example, via the Internet and/or via a mobile phone connection, such as 3G, 4G or 5G.
  • the control device transmits stored images, in which case it only transmits the most recent ones, as explained above.
  • the image analysis unit receives the images, carries out the analysis and transmits the load determined to the control device.
  • the image analysis unit is set up to determine a type, a quantity, an orientation, an arrangement and/or a material of the items to be washed arranged in the items to be washed.
  • a method for operating a dishwasher in particular a domestic dishwasher, is proposed.
  • a first step an image of at least a partial area of a wash item holder of the dishwasher is captured as a function of an extension position of the wash item holder.
  • the pull-out position of the washware receptacle at the time the image is captured is determined.
  • the image is stored in a storage location of a number of storage locations assigned to the extract position, with each storage location of the number being assigned a set of extract positions.
  • a load of the washware receptacle is determined as a function of the images stored in the memory locations.
  • a rinsing program is carried out depending on the load determined.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause the latter to execute the method described above.
  • a computer program product such as a computer program means
  • a server in a network, for example, as a storage medium such as a memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file. This can be done, for example, in a wireless communication network by transferring a corresponding file with the computer program product or the computer program means.
  • FIG. 1 shows a schematic perspective view of an embodiment of a system with a household dishwasher
  • FIG. 2 shows an exemplary image of a washware receptacle
  • Fig. 3 shows a schematic side view of a system with a domestic dishwasher
  • FIG. 4 shows a further schematic side view of a system with a domestic dishwasher
  • FIG. 5 shows a schematic view of a washware receptacle with partial areas
  • Fig. 6 is a timing chart
  • Fig. 8 shows a schematic block diagram of another embodiment of a system
  • FIG. 9 shows a schematic block diagram of an exemplary embodiment of a method for operating a dishwasher.
  • the domestic dishwasher 1 includes a washing compartment 2, which can be closed by a door 3, which is in particular watertight.
  • a sealing device can be provided between the door 3 and the washing container 2 .
  • the washing container 2 is preferably cuboid.
  • the washing compartment 2 can be arranged in a housing of the domestic dishwasher 1 .
  • the washing compartment 2 and the door 3 can form a washing chamber 4 for washing items to be washed.
  • the door 3 is shown in FIG. 1 in its open position.
  • the door 3 can be closed or opened by pivoting about a pivot axis 5 provided at a lower end of the door 3 .
  • a loading opening 6 of the washing compartment 2 can be closed or opened.
  • the washing compartment 2 has a base 7, a cover 8 arranged opposite the base 7, a rear wall 9 arranged opposite the closed door 3 and two side walls 10, 11 arranged opposite one another.
  • the bottom 7, the top 8, the rear wall 9 and the side walls 10, 11 can be made from a stainless steel sheet, for example.
  • the bottom 7 can be made of a plastic material.
  • the household dishwasher 1 also has at least one washware holder 12 to 14 .
  • washware holders 12 to 14 can be provided, with the washware holder 12 being a lower washware holder or a lower rack, the washware holder 13 being an upper washware holder or an upper rack and the washware holder 14 being a cutlery drawer.
  • the wash items receptacles 12 to 14 are arranged one above the other in the wash tub 2 .
  • Each washware holder 12 to 14 can be moved either into or out of the washing compartment 2 .
  • each washware receptacle 12 to 14 can be pushed or moved into the washing compartment 2 in an insertion direction E and pulled out or moved out of the washing compartment 2 in an extension direction A counter to the insertion direction E.
  • a camera 20 is arranged at the front edge of the ceiling 8 .
  • the field of view FOV (see FIG. 3 or 4) of the camera 20 is designed in such a way that it can completely capture a completely pulled-out receptacle 12 to 14 for washing items.
  • a control device 15 and an image analysis unit 25 are also arranged on the door 3 .
  • the control device 15 includes a number of storage locations (not shown) for storing images IMG captured by the camera 20 (see FIG. 2) and is for carrying out a flushing program depending on a determined load of the household Dishwasher 1 set up.
  • the image analysis unit 25 is set up to determine the load as a function of images of the items to be washed 12 to 14 that were captured by the camera 20 .
  • control device 15 The functions of the control device 15, the camera 20 and the image analysis unit 25 are explained in detail below.
  • FIG. 2 shows an exemplary image IMG of a washware receptacle 12 that was captured by camera 20 of FIG. 1 , for example.
  • the door 3 and the washware receptacle 12, which is fully extended here, can be seen in the IMG image.
  • a handle 12A of the washware receptacle 12 can be seen.
  • the image IMG has a number of pixels whose image position is clearly defined using the X, Y coordinates.
  • a region of interest ROI is defined in the image by the coordinates X1, X2, Y1, Y2.
  • the area of interest ROI is chosen so that the handle 12A of the washware basket 12 moves in this area of the image IMG when the washware basket 12 is moved.
  • the controller 15 (see FIG. 1 ) is configured to determine an image position of the handle 12A in the image IMG by analyzing the region of interest ROI.
  • a memory location on which the recorded image is stored is assigned to a respective image position or an interval Z1-Z4 (see FIGS. 3-6). This is explained in detail below with reference to FIGS. 3-6.
  • FIG. 3 shows a schematic side view of a system 100 with a domestic dishwasher 1, for example the domestic dishwasher of FIG. shown.
  • the field of view FOV of the camera 20 is indicated in this side view.
  • the field of view FOV preferably reaches a vertical angle of up to 120° (in the representation of Fig. 3, the field of view FOV has a vertical angle of about 75°) and a horizontal angle of up to 180° (the horizontal angle is in the Fig. 3 not recognizable).
  • a Y-axis is shown as an example, with a number of specific points Y1-Y5.
  • the points Y1 and Y2 correspond to those of FIG. 2, for example.
  • FIG. 5 shows a schematic view of a washware receptacle 12 with partial areas W1-W4.
  • the partial areas W1-W4 show which part of the washware receptacle 12 is visible on an image IMG (see FIG. 2) when the handle 12A is in a respective interval Z1-Z4 (see FIG. 3, 4 or 6).
  • the handle 12A is in the interval Z1
  • the entire washware receptacle 12 is visible (partial area W1).
  • the items to be washed 12 are, for example, between 90% and 50% visible (partial area W2), with the rearmost area of the items to be washed 12 (the area opposite the handle 12A) no longer being visible.
  • the washware holder 12 is visible to between 50%-30%, for example (partial area W3), with the rear half of the washware holder 12 no longer being visible.
  • the washware receptacle 12 is too intermediate 30%-0% visible (partial area W4), with the rear area of the washware receptacle 12 no longer being visible.
  • FIG. 6 shows a diagram of a time sequence before the start of a washing program.
  • four memory locations are provided for storing four images IMG for a respective washware receptacle 12 to 14 .
  • An interval Z1-Z4 is assigned to each memory location, for example as explained with reference to FIGS. In further embodiments, more memory locations can be provided.
  • an image IMG is not stored in any of the memory locations.
  • a first image IMG1 is captured at a point in time t1.
  • the controller 15 determines that the image position of the handle 12A in the captured image IMG1 is in the interval Z3, and therefore the image IMG1 is stored in the memory space associated with the interval Z3.
  • a second image IMG2 is captured at a point in time t2.
  • the controller 15 determines that the image position of the handle 12A in the captured image IMG2 is in the interval Z1, and therefore the image IMG2 is stored in the memory space allocated to the interval Z1.
  • a third image IMG3 is captured.
  • the controller 15 determines that the image position of the handle 12A in the captured image IMG3 is in the interval Z3, therefore the image IMG3 is stored in the memory space allocated to the interval Z3.
  • the previously saved image IMG1 is overwritten.
  • a fourth image IMG4 is captured at a point in time t4.
  • the controller 15 determines that the image position of the handle 12A in the captured image IMG4 is in the interval Z1, therefore the image IMG4 is stored in the memory space allocated to the interval Z1.
  • the previously saved image IMG2 is overwritten.
  • a fifth image IMG5 is captured at a point in time t5.
  • the control device 15 determines that the image position of the Handle 12A lies in the captured image IMG5 in the interval Z2, which is why the image IMG5 is stored in the memory space allocated to the interval Z2.
  • the camera 20 captures and outputs an image stream, that is, captures and outputs images at a predetermined frame rate.
  • the frame rate is, for example, between 1 FPS (FPS: frame per second) up to 30 FPS, preferably between 10 FPS and 15 FPS.
  • FPS frame per second
  • the currently recorded image is saved in each case.
  • a total of 100 images are captured in the 10 seconds at a frame rate of, for example, 10 FPS. Of these 100 images, only the last captured image is saved permanently. It can be provided that each of the images is first saved and then overwritten by the following image, or the images are initially held in a buffer memory until the washware holder 122 is moved further and the most up-to-date image for the respective pull-out position is thus known.
  • the flushing program is started. Then first the load of the items to be cleaned 12 (and the other items to be washed 13, 14, if any) is determined. If there are images with different time stamps, that is to say with different actuality, for different sub-areas W1-W4 (see FIG. 5), the respective most up-to-date image IMG is analyzed for a respective sub-area W1-W4.
  • the most recent image IMG5 (time t5), which is stored in the memory space assigned to the interval Z2, shows, for example, a partial area W2 of the washware receptacle 12.
  • the rearmost area of the washware receptacle 12 is not visible on this image IMG5.
  • the image IMG4 (time t4), which is stored in the memory location assigned to the interval Z1, shows the entire washware receptacle 12 (partial area W1).
  • the image IMG3 (time t3), which is stored in the memory space assigned to the interval Z3, shows a sub-area W3 of the washware receptacle 12.
  • This sub-area W3 is comprised of both the sub-area W2 and the sub-area W1. Since the recording time t3 of the image IMG 3 is older than the recording time of the images IMG4 and IMG5, the image IMG3 is not analyzed since it has outdated information in comparison. Image IMG5 is used to determine the load for the partial load area W2 of the washware receptacle 12 is used and the image IMG4 is used to determine the load for the partial area (W1-W2) not visible on the image IMG5, as explained below with reference to FIG.
  • the loading is preferably determined by analyzing the entire image and then extracting the relevant areas. It is also possible to extract the sub-areas and merge them into one image, which is then analyzed, but artefacts and distortions can occur because the images were acquired at different points in time, which can affect the analysis.
  • FIG. 7 schematically shows a result RES of a loading determination, with different images IMG4, IMG5 (see FIG. 6) being used for different partial areas W2, W1-W2.
  • the result RES includes two partial results RES1 and RES2.
  • the first partial result RES1 results from an analysis of the image IMG5, on which only the partial area W2 is visible.
  • the part of the result of the analysis of the image IMG5 that does not relate to the washware receptacle 12 but, for example, to the door 3 is discarded.
  • the second partial result RES2 results from an analysis of the image IMG4.
  • the parts of the result of the analysis of the image IMG4 relating to the sub-area W2 are discarded since there is a more recent image IMG4 for this sub-area and only the part of the result relating to the area W1-W2 becomes , used.
  • the overall result RES is made up of the partial results RES1, RES2.
  • Fig. 8 shows a schematic block diagram of a further exemplary embodiment of a system 100.
  • the system 100 comprises an image analysis unit 25 arranged externally to a dishwasher 1 (for example the domestic dishwasher of Fig. 1 without the image analysis unit shown there).
  • the dishwasher comprises a communication device 16 , by means of which the control device 15 (see FIG. 1) is set up to transmit images IMG to the image analysis unit 25 and to receive a result of a loading determination RES from the image analysis unit 25.
  • the image analysis unit 25 has a corresponding communication device 26 .
  • the communication devices 16, 26 are designed, for example, as a modem, as a WLAN adapter, and/or as a mobile radio modem.
  • Fig. 9 shows a schematic block diagram of an exemplary embodiment of a method for operating a dishwasher 1, for example the domestic dishwasher of Fig. 1.
  • a first step S1 an image IMG (see Fig. 2) of at least a partial area W1 - W4 (see 5) of a wash item holder 12 (see FIGS. 1-4) of the dishwasher 1 as a function of an extension position Z1-Z4 (see FIGS. 3-5) of the wash item holder 12.
  • the pull-out position Z1-Z4 of the washware receptacle 12 at the time t1-15 (see FIG. 5) of the image acquisition is determined.
  • a third step S3 the image IMG is stored in one of a number of memory locations assigned to the excerpt position Z1-Z4, with each memory location of the number being assigned a set of excerpt positions Z1-Z4.
  • a load RES (see FIG. 7 or 8) of the washware receptacle 12 is determined as a function of the images IMG stored in the memory locations.
  • a scavenging program is carried out as a function of the determined load RES.
  • the method may include various additional steps, such as determining an image position of a feature of the dish rack 12, such as a handle 12A, in the captured image IMG, overwriting and/or deleting stored images IMG, discarding captured images IMG on basis a detected movement of the washware receptacle 12 in the captured image IMG and further steps of the like.

Landscapes

  • Washing And Drying Of Tableware (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein System (100) mit einer Geschirrspülmaschine (1), insbesondere einer Haushalts-Geschirrspülmaschine, mit einer Steuerungsvorrichtung (15) zum Durchführen eines Spülprogramms in Abhängigkeit einer Beladung einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) mit Spülgut, mit einer Kamera (20) zum Erfassen eines Bildes (IMG) zumindest eines Teilbereichs (W1 - W4) der Spülgutaufnahme (12) in Abhängigkeit einer Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12), wobei die Steuerungsvorrichtung (15) dazu eingerichtet ist, das erfasste Bild (IMG) in Abhängigkeit der Auszugsposition (Y1 - Y5) beim Erfassen des Bildes (IMG) auf einem der Auszugsposition (Y1 - Y5) zugeordneten Speicherplatz einer Anzahl von Speicherplätzen zu speichern, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen (Y1 - Y5) zugeordnet ist, und mit einer Bildanalyseeinheit (25) zum Ermitteln der Beladung (RES) der Spülgutaufnahme (12 - 14) in Abhängigkeit der auf den Speicherplätzen gespeicherten Bilder (IMG).

Description

System mit einer Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt
Die vorliegende Erfindung betrifft ein System mit einer Geschirrspülmaschine, ein Verfahren zum Betreiben einer Geschirrspülmaschine und ein Computerprogrammprodukt.
Bekannte Geschirrspülmaschinen sind dazu eingerichtet, ein Spülprogramm auf Basis einer Beladung der Geschirrspülmaschine optimiert durchzuführen. Dabei wird beispielsweise eine Spülflottentemperatur, eine Pumpendrehzahl und/oder ein Reinigungsmittel in Abhängigkeit einer Art des Spülguts angepasst. Die Beladung der Geschirrspülmaschine kann mittels einer Bilderkennung basierend auf einem Bild einer Spülgutaufnahme ermittelt werden. Hierzu ist beispielsweise die Kamera geeignet auszulösen und ein für die Bilderkennung geeignetes Bild ist zu speichern.
WO 2018/044094 A1 offenbart eine Geschirrspülmaschine mit einer Kamera, die zum Aufnehmen eines Bildes einer Spülgutaufnahme eingerichtet ist. Die Spülgutaufnahme weist eine Markierung auf, anhand derer eine Position der Spülgutaufnahme auf Basis des Bildes ermittelt wird. Weiterhin wird Spülgut, das in dem aufgenommenen Bild sichtbar ist, erkannt.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb einer Geschirrspülmaschine zu verbessern.
Gemäß einem ersten Aspekt wird ein System mit einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, vorgeschlagen. Das System umfasst eine Steuerungsvorrichtung zum Durchführen eines Spülprogramms in Abhängigkeit einer Beladung einer Spülgutaufnahme der Geschirrspülmaschine mit Spülgut, und eine Kamera zum Erfassen eines Bildes zumindest eines Teilbereichs der Spülgutaufnahme in Abhängigkeit einer Auszugsposition der Spülgutaufnahme, wobei die Steuerungsvorrichtung dazu eingerichtet ist, das erfasste Bild in Abhängigkeit der Auszugsposition beim Erfassen des Bildes auf einem der Auszugsposition zugeordneten Speicherplatz einer Anzahl von Speicherplätzen zu speichern. Jedem Speicherplatz der Anzahl ist eine Menge von Aus- zugspositionen zugeordnet. Das System umfasst ferner eine Bildanalyseeinheit zum Ermitteln der Beladung der Spülgutaufnahme in Abhängigkeit der auf den Speicherplätzen gespeicherten Bilder.
Dieses System hat den Vorteil, dass für Bilder, auf denen unterschiedliche Teilbereiche der Spülgutaufnahme sichtbar sind, unterschiedliche Speicherplätze vorgesehen sind. Damit wird eine benötigte Speichermenge reduziert, da jeder Speicherplatz insbesondere nur ein einzelnes Bild speichert. Das gespeicherte Bild ist dabei insbesondere das aktuellste Bild, das den jeweiligen Teilbereich zeigt. Ein weiterer Vorteil ist, dass eine Anzahl an Bildern, die zum Ermitteln der Beladung analysiert werden müssen, reduziert sein kann. Insbesondere ist es ausreichend, für einen jeweiligen Teilbereich nur das aktuellste Bild, auf dem der Teilbereich zu sehen ist, zu analysieren. Damit kann eine benötigte Rechenleistung und/oder Rechenzeit reduziert sein.
Die Steuerungsvorrichtung kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die Steuerungsvorrichtung zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die Steuerungsvorrichtung als Computerprogrammprodukt, als eine Funktion, als eine Routine, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
Die Steuerungsvorrichtung ist zum Durchführen des Spülprogramms in Abhängigkeit der Beladung eingerichtet. Das heißt, dass die Steuerungsvorrichtung einen Ablauf des Spülprogramms und/oder einzelne Parameterwerte eines teilweise vorgegebenen Spülprogramms anpasst oder verändert. Der Ablauf umfasst insbesondere eine Abfolge von Teilprogrammschritten, wie ein Vorspülen, ein Hauptspülen, ein Klarspülen und ein Trocknen Parameterwerte umfassen insbesondere eine Dauer eines jeweiligen Teilprogrammschritts, ein Spülflottenvolumen, eine Spülflottentemperatur, ein zuzugebendes Reinigungsmittel, Zeitpunkte eines Zugebens des Reinigungsmittels, eine Umwälzpumpendrehzahl, eine Einstellung einer Wasserweiche, eine Einstellung einer Wasserhärte und dergleichen mehr. Beispielsweise kann, wenn die Beladung zu großen Teilen Glaswaren umfasst, eine Wasserhärte höher eingestellt und ein eine Umwälzpumpendrehzahl reduziert sein im Vergleich zu einer Beladung, die hauptsächlich Keramikwaren und/oder Metallwaren umfasst. Die Geschirrspülmaschine umfasst beispielsweise eine Spülkammer, in welcher wenigstens eine ausziehbar gelagerte Spülgutaufnahme angeordnet ist. Bei geöffneter Tür der Geschirrspülmaschine kann die Spülgutaufnahme ausgezogen werden und ermöglicht so ein komfortables Beschicken der Spülgutaufnahme mit Spülgut.
Die Geschirrspülmaschine weist beispielsweise an der oberen Kante des Spülbehälters eine Kamera auf, die zum Erfassen eines durch den Bewegungsradius der Spülgutaufnahme bestimmten Bereichs eingerichtet ist. Die Kamera umfasst insbesondere ein Weitwinkelobjektiv und ist zum Erfassen eines großen Raumwinkels eingerichtet. Insbesondere ist die Kamera zum Erfassen der gesamten Spülgutaufnahme, wenn diese in vollständig ausgezogenem Zustand, das heißt in einer maximalen Auszugsposition, ist, eingerichtet. Vorzugsweise wird die Kamera durch das Öffnen der Tür aktiviert und gibt einen Bildstrom an die Steuerungsvorrichtung aus. Der Bildstrom umfasst sequenziell aufgenommene Bilder, wobei eine bestimmte Bilderfassungsrate vorgegeben ist. Die Bilder werden insbesondere unverarbeitet in Form von Rohdaten von der Kamera an die Steuerungsvorrichtung übertragen. Die Steuerungsvorrichtung übernimmt die weitere Verarbeitung, also beispielsweise die Entscheidung, ob ein Bild gespeichert oder verworfen wird. Die Kamera kann daher vergleichsweise einfach aufgebaut sein und weist nur einen geringen Ressourcenbedarf auf. Damit kann die Kamera besonders kostengünstig sein. Die Kamera kann zum Erfassen eines Bildes in einem infraroten Spektralbereich, einem visuellen Spektralbereich und/oder in einem ultravioletten Spektralbereich eingerichtet sein.
Es sei angemerkt, dass in Ausführungsformen anstelle der Steuerungsvorrichtung die Kamera die Verarbeitung der erfassten Bilder durchführen kann.
In bevorzugten Ausführungsformen umfasst die Geschirrspülmaschine mehrere Spülgutaufnahmen, die insbesondere vertikal übereinander in der Geschirrspülmaschine angeordnet sind. Wenn die Geschirrspülmaschine mehrere Spülgutaufnahmen aufweist, so gelten die vorstehenden und nachfolgenden Merkmale und/oder Erläuterungen für jede Spülgutaufnahme einzeln, soweit zutreffend.
Das von der Kamera erfasste Bild zeigt einen Teilbereich der Spülgutaufnahme. Der Teilbereich, der auf dem Bild sichtbar ist, hängt von der aktuellen Auszugsposition der Spülgutaufnahme und dem Bildfeld der Kamera ab. Beispielsweise ist das Bildfeld der Kamera derart festgelegt, dass bei vollständig eingeschobener Spülgutaufnahme nur ein vorderer Rand der Spülgutaufnahme, beispielsweise ein Handgriff der Spülgutaufnahme, auf dem Bild sichtbar ist. Wenn die Spülgutaufnahme nun herausgezogen wird, gelangt nach und nach ein größerer Teilbereich der Spülgutaufnahme in das Bildfeld der Kamera. Wenn die Spülgutaufnahme beispielsweise zur Hälfte herausgezogen ist, ist etwa die Hälfte der Spülgutaufnahme auf dem Bild sichtbar.
Je nach dem, welcher Teilbereich auf dem erfassten Bild sichtbar ist, wird das Bild von der Steuerungsvorrichtung in einem zugeordneten Speicherplatz gespeichert. Hierbei wird die aktuelle Auszugsposition der Spülgutaufnahme als Indikator für den sichtbaren Teilbereich genutzt. Die Anzahl an Speicherplätzen ist vorzugsweise begrenzt, insbesondere sind für eine jeweilige Spülgutaufnahme weniger als zehn Speicherplätze vorgesehen, vorzugsweise weniger als fünf Speicherplätze. Der Speicherbedarf zum Speichern der Bilder kann damit signifikant reduziert sein. Jedes erfasste Bild wird insbesondere gemeinsam mit einem Zeitstempel, der einen Zeitpunkt der Bilderfassung enthält, gespeichert.
Die Bildanalyseeinheit ist zum Ermitteln der Beladung der jeweiligen Spülgutaufnahme auf Basis der erfassten Bilder eingerichtet. Die Bildanalyseeinheit kann hierfür beispielsweise Methoden der Signalanalyse, Mustererkennung, Bilderkennung, Bildklassifikation und dergleichen verwenden. Die Bildanalyseeinheit kann die Ermittlung zumindest teilweise auf Basis einer künstlichen Intelligenz, wie einem trainierten neuronalen Netzwerk, durchführen.
Die Bildanalyseeinheit analysiert vorzugsweise nur jeweils die aktuellsten Bilder eines jeweiligen Teilbereichs. Beispielsweise kann für einen vorderen Teilbereich der Spülgutaufnahme ein aktuelleres Bild vorliegen als ein Bild, das die gesamte Spülgutaufnahme zeigt. Die ist insbesondere dann der Fall, wenn der Nutzer der Geschirrspülmaschine zum Beschicken des vorderen Bereichs der Spülgutaufnahme diese nur teilweise ausgezogen hat. In diesem Fall wird die Bildanalyseeinheit beispielsweise das Bild, das die gesamte Spülgutaufnahme zeigt und das aktuellere Bild, das den vorderen Teilbereich zeigt, analysieren. Weitere Bilder, die beispielsweise größere oder auch kleinere Teilbereiche als den vorderen Teilbereich zeigen und die älter sind, werden hingegen vorzugsweise nicht analysiert, da diese veraltete und/oder redundante Informationen umfassen. Die Beladung des vorderen Teilbereichs wird auf Basis des aktuelleren Bildes ermittelt, die Beladung des verbleibenden Teils der Spülgutaufnahme wird auf Basis des Bildes der gesamten Spülgutaufnahme ermittelt. Damit ist für jeden Teilbereich die aktuelle Beladung ermittelt, wobei eine benötigte Rechenleistung und/oder Rechenzeit reduziert ist.
Das Ermitteln der Beladung erfolgt vorzugsweise erst dann, wenn der Nutzer der Geschirrspülmaschine das Spülprogramm startet. Da in jedem Spülprogramm zunächst Spülflotte in die Spülkammer zugeführt werden muss, verbleibt hierfür genügend Zeit, ohne dass die Durchführung des Spülprogramms verzögert wird.
Gemäß einer Ausführungsform des Systems ist die Steuerungsvorrichtung zum Erfassen einer Bildposition eines Merkmals der Spülgutaufnahme in dem erfassten Bild und zum Ermitteln der Auszugsposition der Spülgutaufnahme in Abhängigkeit der erfassten Bildposition des Merkmals der Spülgutaufnahme eingerichtet.
Diese Ausführungsform weist den Vorteil auf, dass die aktuelle Auszugsposition der Spülgutaufnahme durch die Steuerungsvorrichtung auf Basis der erfassten Bilder automatisch erkannt wird, ohne dass eine zusätzliche Vorrichtung benötigt wird. Unterschiedliche Spülgutaufnahmen weisen beispielsweise unterschiedliche Merkmale oder unterschiedliche Positionen der Merkmale auf. Ein Merkmal ist insbesondere ein bestimmtes Muster oder eine bestimmte Struktur. Das Merkmal kann beispielsweise nur in einem bestimmten Spektralbereich, beispielsweise nur in dem infraroten Spektralbereich, sichtbar sein.
Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung zum Erfassen der Bildposition des Merkmals der Spülgutaufnahme in Abhängigkeit eines Interessenbereichs des Bildes eingerichtet ist.
Diese Ausführungsform hat den Vorteil, dass die Steuerungsvorrichtung nur einen Teil der Bilder auf das Merkmal hin analysieren muss, weshalb die zu verarbeitende Datenmenge geringer ist. Die benötigte Rechenleistung und/oder eine Rechendauer wird damit reduziert. Gemäß einer weiteren Ausführungsform des Systems umfasst das Merkmal der Spülgutaufnahme einen Handgriff der Spülgutaufnahme zum manuellen Herausziehen der Spülgutaufnahme aus und zum manuellen Hineinschieben der Spülgutaufnahme in die Geschirrspülmaschine und/oder eine an dem Handgriff angeordnete Markierung.
Dies ist vorteilhaft, da keine zusätzliche Struktur benötigt wird, um das Merkmal bereitzustellen.
Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung zum Speichern des jeweils aktuellsten Bildes der Spülgutaufnahme bei einer bestimmten Auszugsposition auf dem der bestimmten Auszugsposition zugeordneten Speicherplatz eingerichtet.
Das aktuellste Bild ist das Bild mit dem jüngeren Aufnahmezeitpunkt. Sofern die Steuerungsvorrichtung den Bildstrom der Kamera sequenziell abarbeitet, wird immer das gerade abgearbeitete Bild das aktuellste sein, weshalb die Steuerungsvorrichtung dieses in dem zugeordneten Speicherplatz speichert und damit ein bereits darin gespeichertes Bild überschreibt. Wenn die Abarbeitung nicht sequenziell erfolgt und es zeitliche Verschiebungen geben kann, kann vorgesehen sein, dass die Steuerungsvorrichtung, bevor sie ein Kandidatenbild in einem zugeordneten Speicherplatz speichert, die Zeitstempel des Kandidatenbildes und des bereits gespeicherten Bildes vergleicht und das aktuellere der beiden speichert.
Gemäß einer weiteren Ausführungsform des Systems ist jedem Speicherplatz ein bestimmtes Intervall aus der Menge möglicher Auszugspositionen der Spülgutaufnahme zugeordnet.
Das bestimmte Intervall korrespondiert mit dem auf dem aufgenommenen Bild sichtbaren Teilbereich der jeweiligen Spülgutaufnahme. Beispielsweise ist bei einer Auszugsposition, die zwischen 90%-100% bezogen auf die maximale Auszugsposition liegt, auf einem erfassten Bild ein Teilbereich umfassend 90%-100% der Spülgutaufnahme sichtbar. Unter einem Intervall wird vorliegend insbesondere ein zusammenhängender Wertebereich verstanden. Alle bestimmten Intervalle zusammen können, müssen aber nicht alle möglichen Auszugsposition umfassen. Bilder, die bei nicht umfassten Auszugspositionen erfasst werden, werden entsprechend verworfen und nicht gespeichert.
Gemäß einer weiteren Ausführungsform des Systems sind wenigstens zwei Speicherplätze vorgesehen, wobei ein einem ersten Speicherplatz zugeordnetes erstes Intervall eine maximale Auszugsposition der Spülgutaufnahme umfasst und eine erste Breite aufweist, ein einem zweiten Speicherplatz zugeordnetes zweites Intervall an das erste Intervall angrenzt und zweite Breite aufweist, wobei die erste Breite schmaler als die zweite Breite ist.
Die erste Breite ist vorzugsweise vergleichsweise schmal, beispielsweise umfasst die nur 5% - 10% des gesamten Auszugsbereichs. Diese Ausführungsform hat den Vorteil, dass ein Bild, das die gesamte Spülgutaufnahme zeigt (maximale Auszugsposition), nicht durch ein Bild ersetzt oder überschrieben wird, auf dem die Spülgutaufnahme nur noch teilweise sichtbar ist. Damit liegt vorteilhaft in den meisten Fällen ein Bild der gesamten Spülgutaufnahme vor. Indem das zweite Intervall breiter gewählt wird, kann die Anzahl benötigter Speicherplätze bei gleichzeitig möglichst hoher Abdeckung des Auszugsbereichs effektiv reduziert werden.
Gemäß einer weiteren Ausführungsform des Systems ist die Kamera zum Erfassen eines Bildstroms der Spülgutaufnahme eingerichtet, wobei zwei zeitlich aufeinanderfolgende Bilder in dem Bildstrom einen vorbestimmten zeitlichen Abstand aufweisen, und wobei die Steuerungsvorrichtung dazu eingerichtet ist, in Abhängigkeit zweier aufeinanderfolgender Bilder des Bildstroms eine Bewegung der Spülgutaufnahme zu ermitteln und eines der zwei aufeinanderfolgenden Bilder in Abhängigkeit einer ermittelten Bewegung zu speichern.
In dieser Ausführungsform kann vorteilhaft auf eine Kamera, die einen mechanischen Verschluss oder einen komplexen elektronischen Verschluss umfasst, verzichtet werden. Bilder, die aufgrund einer Bewegung der Spülgutaufnahme unscharf und daher für eine Bildanalyse ungeeignet sind, werden von der Steuerungsvorrichtung erkannt und können damit verworfen werden. Die Steuerungsvorrichtung ermittelt die Bewegung insbesondere auf Basis einer Veränderung der Bildposition des Merkmals der Spülgutaufnahme. Das Ermitteln der Beladung ist damit robuster. Die Bewegung kann anhand einer Veränderung der Bildposition des Merkmals sowohl in X-Richtung als auch in Y-Richtung ermittelt werden. Beispielsweise wird die Bildposition auf Basis eines Schwerpunkts eines flächigen Merkmals ermittelt. Wenn das Merkmal teilweise verdeckt ist, dann weist der Schwerpunkt eine andere Bildposition auf. Dieser Fall kann auftreten, wenn die Spülgutaufnahme selbst in Ruhe ist, aber gerade ein Nutzer der Geschirrspülmaschine Spülgut in die Spülgutaufnahme einsortiert. Ein solches Bild ist für die Analyse weniger geeignet, da hier noch nicht der Endzustand erreicht ist und fremde Gegenstände auf dem Bild erkennbar sind, was das Ermitteln der Beladung verfälschen kann.
Gemäß einer weiteren Ausführungsform des Systems ist die Bildanalyseeinheit zum Ermitteln der Beladung in Abhängigkeit eines einem jeweiligen gespeicherten Bild zugeordneten Aufnahmezeitpunkts und den dem Speicherplatz zugeordneten Auszugspositionen eingerichtet, wobei ein erstes Bild, in dem ein bestimmter Teilbereich der Spülgutaufnahme sichtbar ist und dessen Aufnahmezeitpunkt jünger als der Aufnahmezeitpunkt eines zweiten Bildes ist, in dem der bestimmte Teilbereich der Spülgutaufnahme auch sichtbar ist, zum Ermitteln der Beladung für den bestimmten Teilbereich der Spülgutaufnahme herangezogen wird.
Bei dieser Ausführungsform wird nur jeweils das aktuellste Bild für einen jeweiligen Teilbereich analysiert.
Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung dazu eingerichtet, ein Bild, dessen Aufnahmezeitpunkt älter als ein vorbestimmter Schwellwert ist, zu löschen.
Der Schwellwert kann beispielsweise mehrere Tage betragen. Mit dieser Ausführungsform kann beispielsweise erreicht werden, dass Bilder, die noch von vor einer Durchführung eines ersten Spülprogramms aufgenommen wurden, nicht zum Ermitteln der Beladung für ein zweites Spülprogramm herangezogen werden.
Gemäß einer weiteren Ausführungsform des Systems ist die Steuerungsvorrichtung dazu eingerichtet, die Kamera nach Ablauf eines vorbestimmten Zeitintervalls, in dem ein Zustand der Spülgutaufnahme konstant ist, in einen Ruhemodus zu versetzen. Das vorbestimmte Zeitintervall umfasst beispielsweise zwischen 5 Minuten und 20 Minuten. Dies hat den Vorteil, dass einerseits die Kamera zum Einsparen von Energie in einen Ruhezustand versetzt werden kann, andererseits aber auch sichergestellt ist, dass während einer typischen Dauer des Beschickens einer Geschirrspülmaschine aktuelle Bilder erfasst werden.
Gemäß einer weiteren Ausführungsform des Systems ist die Bildanalyseeinheit in einer zu der Geschirrspülmaschine externen Einrichtung angeordnet, wobei die Steuerungsvorrichtung und die Bildanalyseeinheit zum gegenseitigen Übertragen von Daten eingerichtet sind.
In dieser Ausführungsform kann die Geschirrspülmaschine weniger komplex aufgebaut sein. Zudem kann die Bildanalyseeinheit eine besonders hohe Rechenleistung aufweisen, wenn diese beispielsweise in einem über das Internet oder dergleichen zugänglichen Server integriert ist. Weiterhin kann eine Auslastung der Bildanalyseeinheit erhöht werden, indem diese von einer Mehrzahl an Geschirrspülmaschinen genutzt wird. Auch ist eine Aktualisierung der Bildanalyseeinheit in dieser Ausführungsform vereinfacht möglich.
Die Steuerungsvorrichtung und die Bildanalyseeinheit können Daten beispielsweise über das Internet und/oder über eine Mobilfunkverbindung, wie 3G, 4G oder 5G, übertragen. Die Steuerungsvorrichtung überträgt insbesondere gespeicherte Bilder, wobei sie nur die jeweils aktuellsten, wie vorstehend erläutert, überträgt. Die Bildanalyseeinheit empfängt die Bilder, führt die Analyse durch und überträgt die ermittelte Beladung an die Steuerungsvorrichtung.
Gemäß einer weiteren Ausführungsform des Systems ist die Bildanalyseeinheit zum Ermitteln einer Art, einer Menge, einer Ausrichtung, einer Anordnung und/oder eines Materials des in der Spülgutaufnahme angeordneten Spülguts eingerichtet ist.
Gemäß einem zweiten Aspekt wird ein Verfahren zum Betreiben einer Geschirrspülmaschine, insbesondere einer Haushalts-Geschirrspülmaschine, vorgeschlagen. In einem ersten Schritt wird ein Bild zumindest eines Teilbereichs einer Spülgutaufnahme der Geschirrspülmaschine in Abhängigkeit einer Auszugsposition der Spülgutaufnahme erfasst. In einem zweiten Schritt wird die Auszugsposition der Spülgutaufnahme zum Zeitpunkt der Bilderfassung ermittelt. In einem dritten Schritt wird das Bild auf einem der Auszugsposition zugeordneten Speicherplatz einer Anzahl von Speicherplätzen gespeichert, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen zugeordnet ist. In einem vierten Schritt wird eine Beladung der Spülgutaufnahme in Abhängigkeit der auf den Speicherplätzen gespeicherten Bildern ermittelt. In einem fünften Schritt wird ein Spülprogramm in Abhängigkeit der ermittelten Beladung durchgeführt.
Die für die vorgeschlagene Geschirrspülmaschine erläuterten Vorteile und Erklärungen gelten für das Verfahren entsprechend. Die für die vorgeschlagene Geschirrspülmaschine beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.
Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert. Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform eines Systems mit einer Haushalts-Geschirrspülmaschine;
Fig. 2 zeigt ein beispielhaftes Bild einer Spülgutaufnahme;
Fig. 3 zeigt eine schematische Seitenansicht eines Systems mit einer Haushalts- Geschirrspülmaschine;
Fig. 4 zeigt eine weitere schematische Seitenansicht eines Systems mit einer Haushalts- Geschirrspülmaschine;
Fig. 5 zeigt eine schematische Ansicht eine Spülgutaufnahme mit Teilbereichen;
Fig. 6 zeigt ein Diagramm eines zeitlichen Ablaufs;
Fig. 7 zeigt schematisch eine auf verschiedenen Bildern basierende ermittelte Beladung;
Fig. 8 zeigt ein schematisches Blockdiagramm eines weiteren Ausführungsbeispiels eines Systems; und
Fig. 9 zeigt ein schematische Blockschaltbild eines Ausführungsbeispiels eines Verfahrens zum Betreiben einer Geschirrspülmaschine.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
Die Fig. 1 zeigt eine schematische perspektivische Ansicht einer Ausführungsform eines System 100 mit einer Geschirrspülmaschine 1 , die als eine Haushalts- Geschirrspülmaschine ausgebildet ist. In diesem Beispiel sind alle Komponenten des Systems 100 in der Haushalts-Geschirrspülmaschine 1 integriert. Die Haushalts- Geschirrspülmaschine 1 umfasst einen Spülbehälter 2, der durch eine Tür 3, insbesondere wasserdicht, verschließbar ist. Hierzu kann zwischen der Tür 3 und dem Spülbehälter 2 eine Dichteinrichtung vorgesehen sein. Der Spülbehälter 2 ist vorzugweise quaderförmig. Der Spülbehälter 2 kann in einem Gehäuse der Haushalts-Geschirrspülmaschine 1 angeordnet sein. Der Spülbehälter 2 und die Tür 3 können einen Spülraum 4 zum Spülen von Spülgut bilden.
Die Tür 3 ist in der Fig. 1 in ihrer geöffneten Stellung dargestellt. Durch ein Schwenken um eine an einem unteren Ende der Tür 3 vorgesehene Schwenkachse 5 kann die Tür 3 geschlossen oder geöffnet werden. Mit Hilfe der Tür 3 kann eine Beschickungsöffnung 6 des Spülbehälters 2 geschlossen oder geöffnet werden. Der Spülbehälter 2 weist einen Boden 7, eine dem Boden 7 gegenüberliegend angeordnete Decke 8, eine der geschlossenen Tür 3 gegenüberliegend angeordnete Rückwand 9 und zwei einander gegenüberliegend angeordnete Seitenwände 10, 11 auf. Der Boden 7, die Decke 8, die Rückwand 9 und die Seitenwände 10, 11 können beispielsweise aus einem Edelstahlblech gefertigt sein. Alternativ kann beispielsweise der Boden 7 aus einem Kunststoffmaterial gefertigt sein.
Die Haushalts-Geschirrspülmaschine 1 weist ferner zumindest eine Spülgutaufnahme 12 bis 14 auf. Vorzugsweise können mehrere, beispielsweise drei, Spülgutaufnahmen 12 bis 14 vorgesehen sein, wobei die Spülgutaufnahme 12 eine untere Spülgutaufnahme oder ein Unterkorb, die Spülgutaufnahme 13 eine obere Spülgutaufnahme oder ein Oberkorb und die Spülgutaufnahme 14 eine Besteckschublade sein kann. Wie die Fig. 1 weiterhin zeigt, sind die Spülgutaufnahmen 12 bis 14 übereinander in dem Spülbehälter 2 angeordnet. Jede Spülgutaufnahme 12 bis 14 ist wahlweise in den Spülbehälter 2 hinein- oder aus diesem herausverlagerbar. Insbesondere ist jede Spülgutaufnahme 12 bis 14 in einer Einschubrichtung E in den Spülbehälter 2 hineinschiebbar oder hineinfahrbar und entgegen der Einschubrichtung E in einer Auszugsrichtung A aus dem Spülbehälter 2 herausziehbar oder herausfahrbar.
An der vorderen Kante der Decke 8 ist eine Kamera 20 angeordnet. Das Bildfeld FOV (siehe Fig. 3 oder 4) der Kamera 20 ist derart ausgebildet, dass diese eine vollständig ausgezogene Spülgutaufnahme 12 bis 14 vollständig erfassen kann. An der Tür 3 ist zudem eine Steuerungsvorrichtung 15 und eine Bildanalyseeinheit 25 angeordnet. Die Steuerungsvorrichtung 15 umfasst eine Anzahl von Speicherplätzen (nicht gezeigt) zum Speichern von von der Kamera 20 erfassten Bildern IMG (siehe Fig. 2) und ist zum Durchführen eines Spülprogramms in Abhängigkeit einer ermittelten Beladung der Haushalts- Geschirrspülmaschine 1 eingerichtet. Die Bildanalyseeinheit 25 ist zum Ermitteln der Beladung in Abhängigkeit von Bildern der Spülgutaufnahmen 12 bis 14, die von der Kamera 20 erfasst wurden, eingerichtet.
Im Folgenden werden die Funktionen der Steuerungsvorrichtung 15, der Kamera 20 und der Bildanalyseeinheit 25 detailliert erläutert.
Fig. 2 zeigt ein beispielhaftes Bild IMG einer Spülgutaufnahme 12, das beispielsweise von der Kamera 20 der Fig. 1 erfasst wurde. Auf dem Bild IMG ist die Tür 3 und die Spülgutaufnahme 12, die hier vollständig ausgezogen ist, zu sehen. Zudem ist ein Handgriff 12A der Spülgutaufnahme 12 zu sehen. Aus Gründen der Übersicht ist die Spülgutaufnahme 12 hier ohne Spülgut dargestellt. Zwei Koordinatenachsen X, Y sind ebenfalls dargestellt. Das Bild IMG weist eine Anzahl an Bildpunkten auf, deren Bildposition anhand der Koordinaten X, Y eindeutig festgelegt ist. Durch die Koordinaten X1 , X2, Y1 , Y2 ist ein Interessenbereich ROI in dem Bild festgelegt. Der Interessenbereich ROI ist so gewählt, dass sich der Handgriff 12A der Spülgutaufnahme 12 in diesem Bereich des Bildes IMG bewegt, wenn die Spülgutaufnahme 12 bewegt wird.
Die Steuerungsvorrichtung 15 (siehe Fig. 1) ist dazu eingerichtet, eine Bildposition des Handgriffs 12A in dem Bild IMG zu ermitteln, indem sie den Interessenbereich ROI analysiert. Einer jeweiligen Bildposition oder einem Intervall Z1 - Z4 (siehe Fig. 3 - 6) ist ein Speicherplatz zugeordnet, auf dem das erfasste Bild gespeichert wird. Dies ist nachfolgend anhand der Fig. 3 - 6 detailliert erläutert.
Fig. 3 zeigt eine schematische Seitenansicht eines Systems 100 mit einer Haushalts- Geschirrspülmaschine 1 , beispielsweise der Haushalts-Geschirrspülmaschine der Fig. 1. Die Tür 3 ist in der geöffneten Position dargestellt und die untere Spülgutaufnahme 12 ist in vollständig ausgezogener Position (maximale Auszugsposition) gezeigt. Das Bildfeld FOV der Kamera 20 ist in dieser Seitenansicht angedeutet. Das Bildfeld FOV erreicht vorzugsweise einen vertikalen Winkel von bis zu 120° (in der Darstellung der Fig. 3 weist das Bildfeld FOV einen vertikalen Winkel von etwa 75° auf) und einen horizontalen Winkel von bis zu 180° (der horizontale Winkel ist in der Fig. 3 nicht erkennbar). Unterhalb der Tür 3 ist beispielhaft eine Y-Achse dargestellt, mit einer Anzahl an bestimmten Punkten Y1 - Y5. Die Punkte Y1 und Y2 stimmen beispielsweise mit jenen der Fig. 2 überein. Jeweils zwei Punkte bilden ein Intervall Z1 - Z4, wobei sich die Intervalle Z1 - Z4 nicht überschneiden: Z1 = (Y3; Y2], Z2 = (Y4; Y3], Z3 = (Y5; Y4], Z4 = [Y1 ; Y5], Die Summer der Intervalle Z1 - Z4 umfasst alle Auszugspositionen zwischen Y1 und Y2. Es sei angemerkt, dass auch mehr als vier Intervalle Z1 - Z4 oder weniger als Intervalle Z1 - Z4 vorgesehen sein können. Es ist ersichtlich, dass die Position des Handgriffs 12A der Spülgutaufnahme 12 in Bezug auf die Y-Achse direkt mit der Auszugsposition der Spülgutaufnahme 12 korrespondiert.
In der Fig. 3 befindet sich die Spülgutaufnahme 12 in der maximalen Auszugsposition und der Handgriff 12A befindet sich in dem Intervall Z1 = (Y3; Y2], In der Fig. 4, die das gleiche System 100 wie die Fig. 3 zeigt, befindet sich die Spülgutaufnahme 12 in einer mittleren Auszugsposition und der Handgriff 12A befindet sich in dem Intervall Z3 = (Y5; Y4],
Je nach dem, in welchem Intervall Z1 - Z4 oder an welcher Bildposition der Handgriff 12A ermittelt wird, kann darauf geschlossen werden, welcher Teilbereich W1 - W4 (siehe Fig. 5) der Spülgutaufnahme 12 auf dem Bild IMG (siehe Fig. 2) der Kamera 20 sichtbar ist.
Es sei angemerkt, dass die vorstehenden Angaben entsprechend für die weiteren Spülgutaufnahmen 13 und 14 (siehe Fig. 1) gelten.
Fig. 5 zeigt eine schematische Ansicht einer Spülgutaufnahme 12 mit Teilbereichen W1 - W4. Die Teilbereiche W1 - W4 zeigen, welcher Teil der Spülgutaufnahme 12 auf einem Bild IMG (siehe Fig. 2) sichtbar ist, wenn sich der Handgriff 12A in einem jeweiligen Intervall Z1 - Z4 (siehe Fig. 3, 4 oder 6) befindet. Wenn sich der Handgriff 12A in dem Intervall Z1 befindet, ist die gesamte Spülgutaufnahme 12 sichtbar (Teilbereich W1). Wenn sich der Handgriff 12A in dem Intervall Z2 befindet, ist die Spülgutaufnahme 12 beispielsweise zu zwischen 90% - 50% sichtbar (Teilbereich W2), wobei der hinterste Bereich der Spülgutaufnahme 12 (der dem Handgriff 12A gegenüberliegende Bereich) nicht mehr sichtbar ist. Wenn sich der Handgriff 12A in dem Intervall Z3 befindet, ist die Spülgutaufnahme 12 beispielsweise zu zwischen 50% - 30% sichtbar (Teilbereich W3), wobei die hintere Hälfte der Spülgutaufnahme 12 nicht mehr sichtbar ist. Wenn sich der Handgriff 12A in dem Intervall Z4 befindet, ist die Spülgutaufnahme 12 beispielsweise zu zwischen 30% - 0% sichtbar (Teilbereich W4), wobei der hintere Bereich der Spülgutaufnahme 12 nicht mehr sichtbar ist.
Es sei angemerkt, dass die vorstehenden prozentualen Angaben lediglich der Anschauung dienen und nicht einschränkend auszulegen sind. Welche Anteile der Spülgutaufnahme 12 auf einem jeweiligen Bild IMG sichtbar sind, hängt einerseits von der Ausgestaltung der Kamera 20, insbesondere deren Bildfeld FOV (siehe Fig. 3 oder 4), sowie von der Festlegung der Intervalle Z1 - Z4 ab.
Fig. 6 zeigt ein Diagramm eines zeitlichen Ablaufs vor einem Start eine Spülprogramms. In dem Beispiel der Fig. 6 wird davon ausgegangen, dass vier Speicherplätze zum Speichern von vier Bildern IMG für eine jeweilige Spülgutaufnahme 12 bis 14 vorgesehen sind. Jedem Speicherplatz ist ein Intervall Z1 - Z4 zugeordnet, beispielsweise wie anhand der Fig. 3 und 4 erläutert. In weiteren Ausführungsformen können mehr Speicherplätze vorgesehen sein.
Zu einem Anfangszeitpunkt tO ist auf keinem der Speicherplätze ein Bild IMG gespeichert. Zu einem Zeitpunkt t1 wird ein erstes Bild IMG1 erfasst. Die Steuerungsvorrichtung 15 (siehe Fig. 1) ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG1 in dem Intervall Z3 liegt, weshalb das Bild IMG1 auf dem dem Intervall Z3 zugeordneten Speicherplatz gespeichert wird. Zu einem Zeitpunkt t2 wird ein zweites Bild IMG2 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG2 in dem Intervall Z1 liegt, weshalb das Bild IMG2 auf dem dem Intervall Z1 zugeordneten Speicherplatz gespeichert wird. Zu einem Zeitpunkt t3 wird ein drittes Bild IMG3 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG3 in dem Intervall Z3 liegt, weshalb das Bild IMG3 auf dem dem Intervall Z3 zugeordneten Speicherplatz gespeichert wird. Hierbei wird das bislang gespeicherte Bild IMG1 überschrieben. Zu einem Zeitpunkt t4 wird ein viertes Bild IMG4 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG4 in dem Intervall Z1 liegt, weshalb das Bild IMG4 auf dem dem Intervall Z1 zugeordneten Speicherplatz gespeichert wird. Hierbei wird das bislang gespeicherte Bild IMG2 überschrieben. Zu einem Zeitpunkt t5 wird ein fünftes Bild IMG5 erfasst. Die Steuerungsvorrichtung 15 ermittelt, dass die Bildposition des Handgriffs 12A in dem erfassten Bild IMG5 in dem Intervall Z2 liegt, weshalb das Bild IMG5 auf dem dem Intervall Z2 zugeordneten Speicherplatz gespeichert wird.
Es sei angemerkt, dass die Kamera 20 (siehe Fig. 1 , 3 oder 4) einen Bildstrom erfasst und ausgibt, das heißt, Bilder mit einer vorbestimmten Bildrate erfasst und ausgibt. Die Bildrate beträgt beispielsweise zwischen 1 FPS (FPS: frame per second = Bild pro Sekunde) bis zu 30 FPS, vorzugsweise zwischen 10 FPS und 15 FPS. Wenn die Spülgutaufnahme 12 für längere Zeit, beispielsweise 10 Sekunden, an einer bestimmten Auszugsposition verharrt, beispielsweise mit dem Handgriff 12A im Intervall Z1 , dann wird jeweils das aktuell erfasste Bild gespeichert. In den 10 Sekunden werden bei einer Bildrate von beispielsweise 10 FPS insgesamt 100 Bilder erfasst. Von diesen 100 Bildern wird nur das zuletzt erfasste dauerhaft gespeichert. Es kann vorgesehen sein, dass jedes der Bilder zunächst gespeichert wird und dann von dem folgenden Bild überschrieben wird, oder aber die Bilder werden zunächst in einem Pufferspeicher gehalten, bis die Spülgutaufnahme 122 weiterbewegt wird und damit das aktuellste Bild für die jeweilige Auszugsposition bekannt ist.
Nach dem Zeitpunkt t5 wird das Spülprogramm gestartet. Dann wird zuerst die Beladung der Spülgutaufnahme 12 (und der weiteren Spülgutaufnahmen 13, 14, soweit vorhanden) ermittelt. Wenn für unterschiedliche Teilbereiche W1 - W4 (siehe Fig. 5) Bilder mit unterschiedlichen Zeitstempeln, also unterschiedlicher Aktualität, vorhanden sind, wird das jeweils aktuellste Bild IMG für einen jeweiligen Teilbereich W1 - W4 analysiert.
In dem vorliegenden Beispiel sind zu diesem Zeitpunkt drei Bilder IMG4, IMG5 und IMG3 gespeichert. Das aktuellste Bild IMG5 (Zeitpunkt t5), das auf dem dem Intervall Z2 zugeordneten Speicherplatz gespeichert ist, zeigt beispielsweise einen Teilbereich W2 der Spülgutaufnahme 12. Der hinterste Bereich der Spülgutaufnahme 12 ist auf diesem Bild IMG5 nicht sichtbar. Das Bild IMG4 (Zeitpunkt t4), das auf dem dem Intervall Z1 zugeordneten Speicherplatz gespeichert ist, zeigt die gesamte Spülgutaufnahme 12 (Teilbereich W1). Das Bild IMG3 (Zeitpunkt t3), das auf dem dem Intervall Z3 zugeordneten Speicherplatz gespeichert ist, zeigt einen Teilbereich W3 der Spülgutaufnahme 12. Dieser Teilbereich W3 ist sowohl von dem Teilbereich W2 als auch von dem Teilbereich W1 umfasst. Da der Aufnahmezeitpunkt t3 des Bildes IMG 3 älter ist, als der Aufnahmezeitpunkt der Bilder IMG4 und IMG5, wird das Bild IMG3 nicht analysiert, da es im Vergleich veraltete Informationen aufweist. Das Bild IMG5 wird zum Ermitteln der Beladung für den Teilbe- reich W2 der Spülgutaufnahme 12 verwendet und das Bild IMG4 wird zum Ermitteln der Beladung für den auf dem Bild IMG5 nicht sichtbaren Teilbereich (W1 - W2) verwendet, wie nachfolgend anhand der Fig. 7 erläutert.
Das Ermitteln der Beladung erfolgt vorzugsweise, indem jeweils das gesamte Bild analysiert wird und anschließend die relevanten Bereiche extrahiert werden. Es ist auch möglich, die Teilbereiche zu extrahieren und zu einem Bild zusammenzufügen, welches anschließend analysiert wird, allerdings können dabei Artefakte und Verzerrungen auftreten, da die Bilder zu unterschiedlichen Zeitpunkten erfasst wurden, was die Analyse beeinträchtigen kann.
Fig. 7 zeigt schematisch ein Ergebnis RES einer Beladungsermittlung, wobei verschiedene Bilder IMG4, IMG5 (siehe Fig 6) für unterschiedliche Teilbereiche W2, W1-W2 verwendet wurden. Das Ergebnis RES umfasst zwei Teilergebnisse RES1 und RES2. Das erste Teilergebnis RES1 resultiert aus einer Analyse des Bildes IMG5, auf welchem nur der Teilbereich W2 sichtbar ist. Der Teil des Ergebnisses der Analyse des Bildes IMG5, der sich nicht auf die Spülgutaufnahme 12, sondern beispielsweise auf die Tür 3 bezieht, wird verworfen. Das zweite Teilergebnis RES2 resultiert aus einer Analyse des Bildes IMG4. Die Teile des Ergebnisses der Analyse des Bildes IMG4, die sich auf den Teilbereich W2 beziehen, werden verworfen, da es für diesen Teilbereich ein aktuelleres Bild IMG4 gibt, und es wird nur der Teil des Ergebnisses, der sich auf den Bereich W1-W2 bezieht, verwendet. Das Gesamtergebnis RES setzt sich aus den Teilergebnisse RES1 , RES2 zusammen.
Fig. 8 zeigt ein schematisches Blockdiagramm eines weiteren Ausführungsbeispiels eines Systems 100. Das System 100 umfasst eine extern zu einer Geschirrspülmaschine 1 (beispielsweise der Haushalts-Geschirrspülmaschine der Fig. 1 ohne die dort dargestellte Bildanalyseeinheit) angeordnete Bildanalyseeinheit 25. Die Geschirrspülmaschine umfasst eine Kommunikationseinrichtung 16, mittels der die Steuerungsvorrichtung 15 (siehe Fig. 1) zum Übertragen von Bildern IMG and die Bildanalyseeinheit 25 und zum Empfangen eines Ergebnisses einer Beladungsermittlung RES von der Bildanalyseeinheit 25 eingerichtet ist. Die Bildanalyseeinheit 25 weist ihrerseits eine entsprechende Kommunikationseinrichtung 26 auf. Die Kommunikationseinrichtungen 16, 26 sind beispielsweise als Modem, als WLAN- Adapter, und/oder als Mobilfunkmodem ausgebildet.
Fig. 9 zeigt ein schematische Blockschaltbild eines Ausführungsbeispiels eines Verfahrens zum Betreiben einer Geschirrspülmaschine 1 , beispielsweise der Haushalts- Geschirrspülmaschine der Fig. 1. In einem ersten Schritt S1 wird ein Bild IMG (siehe Fig. 2) zumindest eines Teilbereichs W1 - W4 (siehe Fig. 5) einer Spülgutaufnahme 12 (siehe Fig. 1 - 4) der Geschirrspülmaschine 1 in Abhängigkeit einer Auszugsposition Z1 - Z4 (siehe Fig. 3 - 5) der Spülgutaufnahme 12 erfasst. In einem zweiten Schritt S2 wird die Auszugsposition Z1 - Z4 der Spülgutaufnahme 12 zum Zeitpunkt t1 - 15 (siehe Fig. 5) der Bilderfassung ermittelt. In einem dritten Schritt S3 wird das Bild IMG auf einem der Auszugsposition Z1 - Z4 zugeordneten Speicherplatz einer Anzahl von Speicherplätzen gespeichert, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen Z1 - Z4 zugeordnet ist. In einem vierten Schritt S4 wird eine Beladung RES (siehe Fig. 7 oder 8) der Spülgutaufnahme 12 in Abhängigkeit der auf den Speicherplätzen gespeicherten Bildern IMG ermittelt. In einem fünften Schritt S5 wird ein Spülprogramm in Abhängigkeit der ermittelten Beladung RES durchgeführt.
Das Verfahren kann verschiedene zusätzliche Schritte umfassen, wie beispielsweise ein Ermitteln einer Bildposition eines Merkmals der Spülgutaufnahme 12 , wie eines Handgriffs 12A, in dem erfassten Bild IMG, ein Überschreiben und/oder Löschen von gespeicherten Bildern IMG, ein Verwerfen von erfassten Bildern IMG auf Basis einer erkannten Bewegung der Spülgutaufnahme 12 in dem erfassten Bild IMG und weitere Schritte dergleichen.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar. Verwendete Bezugszeichen:
1 Geschirrspülmaschine
2 Spülbehälter
3 Tür
4 Spülkammer
5 Schwenkachse
6 Beschickungsöffnung
7 Boden
8 Decke
9 Rückwand
10 Seitenwand
11 Seitenwand
12 Spülgutaufnahme
12A Merkmal
13 Spülgutaufnahme
14 Spülgutaufnahme
15 Steuerungsvorrichtung
16 Kommunikationseinrichtung
20 Kamera
25 Bildanalyseeinheit
26 Kommunikationseinrichtung
100 System
A Ausziehrichtung
E Einschubrichtung
FOV Bildfeld
IMG Bild
IMG1 Bild
IMG2 Bild
IMG3 Bild
IMG4 Bild
IMG5 Bild
RES Beladung RES1 Teilbeladung
RES2 Teilbeladung
ROI Interessenbereich t Zeitachse tO Zeitpunkt t1 Zeitpunkt t2 Zeitpunkt t3 Zeitpunkt t4 Zeitpunkt t5 Zeitpunkt
W1 Teilbereich
W1-W2 Bereich
W2 Teilbereich
W3 Teilbereich
W4 Teilbereich
X Koordinatenachse
XI Position
X2 Position
Y Koordinatenachse
Y1 Position
Y2 Position
Y3 Position
Y4 Position
Y5 Position
Z1 Intervall
Z2 Intervall
Z3 Intervall
Z4 Intervall

Claims

PATENTANSPRÜCHE System (100) mit einer Geschirrspülmaschine (1), insbesondere einer Haushalts- Geschirrspülmaschine, mit einer Steuerungsvorrichtung (15) zum Durchführen eines Spülprogramms in Abhängigkeit einer Beladung einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) mit Spülgut, mit einer Kamera (20) zum Erfassen eines Bildes (IMG) zumindest eines Teilbereichs (W1 - W4) der Spülgutaufnahme (12) in Abhängigkeit einer Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12), wobei die Steuerungsvorrichtung (15) dazu eingerichtet ist, das erfasste Bild (IMG) in Abhängigkeit der Auszugsposition (Y1 - Y5) beim Erfassen des Bildes (IMG) auf einem der Auszugsposition (Y1 - Y5) zugeordneten Speicherplatz einer Anzahl von Speicherplätzen zu speichern, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen (Y1 - Y5) zugeordnet ist, und mit einer Bildanalyseeinheit (25) zum Ermitteln der Beladung (RES) der Spülgutaufnahme (12 - 14) in Abhängigkeit der auf den Speicherplätzen gespeicherten Bilder (IMG). System nach Anspruch 1 , dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) zum Erfassen einer Bildposition eines Merkmals (12A) der Spülgutaufnahme (12 - 14) in dem erfassten Bild (IMG) und zum Ermitteln der Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12 - 14) in Abhängigkeit der erfassten Bildposition des Merkmals (12A) der Spülgutaufnahme (12 - 14) eingerichtet ist. System nach Anspruch 2, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) zum Erfassen der Bildposition des Merkmals (12A) der Spülgutaufnahme (12 - 14) in Abhängigkeit eines Interessenbereichs (ROI) des Bildes (IMG) eingerichtet ist. System nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass das Merkmal (12A) der Spülgutaufnahme (12 - 14) einen Handgriff der Spülgutaufnahme (12 - 14) zum manuellen Herausziehen der Spülgutaufnahme (12 - 14) aus und zum manuellen Hineinschieben der Spülgutaufnahme (12 - 14) in die Geschirrspülmaschine (1) und/oder eine an dem Handgriff angeordnete Markierung umfasst. 5. System nach einem der Ansprüche 1 - 4, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) zum Speichern des jeweils aktuellsten Bildes (IMG) der Spülgutaufnahme (12 - 14) bei einer bestimmten Auszugsposition (Y1 - Y5) auf dem der bestimmten Auszugsposition (Y1 - Y5) zugeordneten Speicherplatz eingerichtet ist.
6. System nach einem der Ansprüche 1 - 5, dadurch gekennzeichnet, dass jedem Speicherplatz ein bestimmtes Intervall (Z1 - Z4) aus der Menge möglicher Auszugspositionen der Spülgutaufnahme (12 - 14) zugeordnet ist.
7. System nach Anspruch 6, dadurch gekennzeichnet, dass wenigstens zwei Speicherplätze vorgesehen sind, wobei ein einem ersten Speicherplatz zugeordnetes erstes Intervall (Z1 - Z4) eine maximale Auszugsposition (Y2) der Spülgutaufnahme (12 - 14) umfasst und eine erste Breite aufweist, ein einem zweiten Speicherplatz zugeordnetes zweites Intervall (Z1 - Z4) an das erste Intervall (Z1 - Z4) angrenzt und zweite Breite aufweist, wobei die erste Breite schmaler als die zweite Breite ist.
8. System nach einem der Ansprüche 1 - 7, dadurch gekennzeichnet, dass die Kamera (20) zum Erfassen eines Bildstroms der Spülgutaufnahme (12 - 14) eingerichtet ist, wobei zwei zeitlich aufeinanderfolgende Bilder (IMG) in dem Bildstrom einen vorbestimmten zeitlichen Abstand aufweisen, und wobei die Steuerungsvorrichtung (15) dazu eingerichtet ist, in Abhängigkeit zweier aufeinanderfolgender Bilder (IMG) des Bildstroms eine Bewegung der Spülgutaufnahme (12 - 14) zu ermitteln und eines der zwei aufeinanderfolgenden Bilder (IMG) in Abhängigkeit einer ermittelten Bewegung zu speichern.
9. System nach einem der Ansprüche 1 - 8, dadurch gekennzeichnet, dass die Bildanalyseeinheit (25) zum Ermitteln der Beladung in Abhängigkeit eines einem jeweiligen gespeicherten Bild (IMG) zugeordneten Aufnahmezeitpunkts (t1 — 15) und den dem Speicherplatz zugeordneten Auszugspositionen (Y1 - Y5) eingerichtet ist, wobei ein erstes Bild (IMG), in dem ein bestimmter Teilbereich (W1 - W4) der Spülgutaufnahme (12 - 14) sichtbar ist und dessen Aufnahmezeitpunkt (t1 - 15) jünger als der Aufnahmezeitpunkt (t1 - 15) eines zweiten Bildes (IMG) ist, in dem der bestimmte Teilbereich (W1 - W4) der Spülgutaufnahme (12) auch sichtbar ist, zum Ermitteln der Beladung für den bestimmten Teilbereich (W1 - W4) der Spülgutaufnahme (12) herangezogen wird. System nach einem der Ansprüche 1 - 9, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) dazu eingerichtet ist, ein Bild (IMG), dessen Aufnahmezeitpunkt (t1 -t5) älter als ein vorbestimmter Schwellwert ist, zu löschen. System nach einem der Ansprüche 1 - 10, dadurch gekennzeichnet, dass die Steuerungsvorrichtung (15) dazu eingerichtet ist, die Kamera (20) nach Ablauf eines vorbestimmten Zeitintervalls, in dem ein Zustand der Spülgutaufnahme (12 - 14) konstant ist, in einen Ruhemodus zu versetzen. System nach einem der Ansprüche 1 - 11 , dadurch gekennzeichnet, dass die Bildanalyseeinheit (25) in einer zu der Geschirrspülmaschine (1) externen Einrichtung angeordnet ist, wobei die Steuerungsvorrichtung (15) und die Bildanalyseeinheit (25) zum gegenseitigen Übertragen von Daten eingerichtet sind. System nach einem der Ansprüche 1 - 12, dadurch gekennzeichnet, dass die Bildanalyseeinheit (25) zum Ermitteln einer Art, einer Menge, einer Ausrichtung, einer Anordnung und/oder eines Materials des in der Spülgutaufnahme (12 - 14) angeordneten Spülguts eingerichtet ist. Verfahren zum Betreiben einer Geschirrspülmaschine (1), insbesondere einer Haushalts-Geschirrspülmaschine, mit:
Erfassen (S1) eines Bildes (IMG) zumindest eines Teilbereichs (W1 - W4) einer Spülgutaufnahme (12 - 14) der Geschirrspülmaschine (1) in Abhängigkeit einer Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12 - 14),
Ermitteln (S2) der Auszugsposition (Y1 - Y5) der Spülgutaufnahme (12 - 14) zum Zeitpunkt (t1 - 15) der Bilderfassung,
Speichern (S3) des Bildes (IMG) auf einem der Auszugsposition (Y1 - Y5) zugeordneten Speicherplatz einer Anzahl von Speicherplätzen, wobei jedem Speicherplatz der Anzahl eine Menge von Auszugspositionen (Y1 - Y5) zugeordnet ist,
Ermitteln (S4) einer Beladung der Spülgutaufnahme (12 - 14) in Abhängigkeit der auf den Speicherplätzen gespeicherten Bildern, und Durchführen (S5) eines Spülprogramms in Abhängigkeit der ermittelten Beladung. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach Anspruch 14 auszuführen.
EP21777423.1A 2020-09-15 2021-09-09 System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt Pending EP4213695A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020211543.5A DE102020211543A1 (de) 2020-09-15 2020-09-15 System mit einer Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt
PCT/EP2021/074752 WO2022058223A1 (de) 2020-09-15 2021-09-09 System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt

Publications (1)

Publication Number Publication Date
EP4213695A1 true EP4213695A1 (de) 2023-07-26

Family

ID=77913073

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21777423.1A Pending EP4213695A1 (de) 2020-09-15 2021-09-09 System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt

Country Status (5)

Country Link
US (1) US12144478B2 (de)
EP (1) EP4213695A1 (de)
CN (1) CN116113353B (de)
DE (1) DE102020211543A1 (de)
WO (1) WO2022058223A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023211364A1 (de) * 2023-11-15 2025-05-15 BSH Hausgeräte GmbH Geschirrspüler und Verfahren zum Erkennen eines Objekts darin

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965067B2 (en) * 2007-09-19 2018-05-08 T1V, Inc. Multimedia, multiuser system and associated methods
US8696827B2 (en) * 2010-12-01 2014-04-15 Whirlpool Corporation Dishwasher with imaging device for measuring load characteristics and a method for controlling same
DE102015215984A1 (de) 2015-08-21 2017-03-09 BSH Hausgeräte GmbH Wasserführendes Haushaltsgerät und Verfahren zum Betreiben eines wasserführenden Haushaltsgeräts
DE102016208760A1 (de) * 2016-05-20 2017-11-23 BSH Hausgeräte GmbH Dosiervorrichtung und Verfahren zum Betreiben einer Geschirrspülmaschine
JP2018102899A (ja) * 2016-09-01 2018-07-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． かご位置推定装置、収納物検出装置及び収納物検出方法、並びに食器洗い機
WO2018044094A1 (ko) 2016-09-01 2018-03-08 삼성전자주식회사 식기 세척기
DE102017207649B4 (de) * 2017-05-05 2018-11-15 BSH Hausgeräte GmbH Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine
DE102018009311B4 (de) * 2018-11-27 2020-07-02 Diehl Ako Stiftung & Co. Kg Spülmaschine und Verfahren zum Ermitteln von Spülgutinformationen einer Spülmaschine
CN109620078A (zh) * 2018-12-18 2019-04-16 广东美的白色家电技术创新中心有限公司 洗碗机智能控制方法、洗碗机及具有存储功能的装置
CN111568327A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 餐具洗涤控制方法、洗碗机和存储介质

Also Published As

Publication number Publication date
CN116113353B (zh) 2025-09-12
US20230292978A1 (en) 2023-09-21
WO2022058223A1 (de) 2022-03-24
DE102020211543A1 (de) 2022-03-17
CN116113353A (zh) 2023-05-12
US12144478B2 (en) 2024-11-19

Similar Documents

Publication Publication Date Title
DE102020112205B4 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
EP2434936B1 (de) Geschirrspülmaschine
WO2019015991A1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
DE102017212333A1 (de) Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine
EP2623661B1 (de) Verfahren zur Nassbehandlung von Wäsche
WO2019015989A1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
DE102018202092A1 (de) Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine, Haushaltsgeschirrspülmaschine und System
WO2022058223A1 (de) System mit einer geschirrspülmaschine, verfahren zum betreiben einer geschirrspülmaschine und computerprogrammprodukt
DE3524505A1 (de) Bilderkennungsvorrichtung
DE112022000130T5 (de) Reinigungsverfahren und reinigungsvorrichtung für eine geschirrspülmaschine, und geschirrspülmaschine
EP4106596B1 (de) System mit einer geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
DE102020123416A1 (de) Verfahren zum Reinigen von Spülgut in einer Geschirrspülmaschine und Geschirrspülmaschine
EP3530172A1 (de) Spülmaschine mit beladungserkennung
WO2022161778A1 (de) System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt
DE102020206487A1 (de) System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt
DE102015226572A1 (de) Wasserführendes Haushaltsgerät und Verfahren zum Betreiben eines wasserführenden Haushaltsgeräts
DE102020112027A1 (de) Vorrichtung und Verfahren zum Bestimmen eines Öffnungswinkels einer Tür zu einem Innenraum eines Reinigungsgeräts und Reinigungsgerät mit einer Vorrichtung
BE1029330B1 (de) Verfahren zum Anpassen eines Trocknungsvorganges in einem Reinigungsgerät und Reinigungsgerät
DE102020200254B4 (de) Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine
BE1030060B1 (de) Bedienvorrichtung und Verfahren zum Bedienen eines Reinigungsgeräts und Reinigungsgerät
BE1031766B1 (de) Verfahren und Steuervorrichtung zum Anpassen eines Reinigungsvorgangs in einem Reinigungsgerät, Reinigungsgerät
EP4327716B1 (de) Verfahren zum betreiben eines reinigungsgeräts und reinigungsgerät
DE102020208348A1 (de) Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine
DE102022129683A1 (de) Verfahren zum Betreiben eines Reinigungsgeräts, Verfahren zum Trainieren eines neuronalen Netzes und Reinigungsgerät
DE102023125036A1 (de) Verfahren zum Erfassen von Garräumen und Baugruppe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230417

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251222