EP4509031A1 - Verfahren und vorrichtung zum erkennen eines innenraums eines reinigungsgeräts und reinigungsgerät - Google Patents

Verfahren und vorrichtung zum erkennen eines innenraums eines reinigungsgeräts und reinigungsgerät Download PDF

Info

Publication number
EP4509031A1
EP4509031A1 EP24190915.9A EP24190915A EP4509031A1 EP 4509031 A1 EP4509031 A1 EP 4509031A1 EP 24190915 A EP24190915 A EP 24190915A EP 4509031 A1 EP4509031 A1 EP 4509031A1
Authority
EP
European Patent Office
Prior art keywords
cleaning device
image signal
interior
camera
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP24190915.9A
Other languages
English (en)
French (fr)
Inventor
Seyfettin Kara
Jan Schmull
Eckard Riedenklau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miele und Cie KG
Original Assignee
Miele und Cie KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miele und Cie KG filed Critical Miele und Cie KG
Publication of EP4509031A1 publication Critical patent/EP4509031A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/42—Details
    • A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L15/00—Washing or rinsing machines for crockery or tableware
    • A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
    • A47L15/0021—Regulation of operational steps within the washing processes, e.g. optimisation or improvement of operational steps depending from the detergent nature or from the condition of the crockery
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/30—Variation of electrical, magnetical or optical quantities
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
    • A47L2401/34—Other automatic detections
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/26—Indication or alarm to the controlling device or to the user
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
    • A47L2501/30—Regulation of machine operational steps within the washing process, e.g. performing an additional rinsing phase, shortening or stopping of the drying phase, washing at decreased noise operation conditions

Definitions

  • the invention relates to a method and a device for detecting an interior of a cleaning device and to a cleaning device.
  • the 102021200715 A1 discloses a system with a dishwasher.
  • the invention has for its object to provide an improved method and an improved device for detecting an interior of a cleaning device as well as an improved cleaning device.
  • the invention relates to a method for detecting an interior of a cleaning device.
  • the cleaning device has a camera for capturing the interior of the cleaning device and at least one first lighting device and preferably a second lighting device for illuminating the interior.
  • the cleaning device has a control device.
  • the method comprises a step of outputting a first lighting signal to an interface to the first lighting device in order to put the first lighting device into a first state.
  • the method comprises a step of reading in a first image signal via an interface to the camera, wherein the first image signal represents a first image recorded by the camera while the first lighting device is in the first state.
  • the method also comprises a step of outputting a second lighting signal to the interface to the first lighting device in order to put the first lighting device into a second state.
  • the method comprises a step of reading in a second image signal via the interface to the camera, wherein the image signal represents a second image recorded by the camera while the first lighting device is in the second state.
  • the method additionally comprises a step determining a difference image signal using the first image signal and the second image signal, wherein the difference image signal represents depth information of the interior.
  • the cleaning device can be designed as a dishwasher for cleaning dishes.
  • the camera can be arranged in a door of the cleaning device and the lighting devices can be arranged in the interior of the cleaning device, for example on walls of the interior.
  • the lighting devices can capture the interior from different viewing directions. For example, the lighting devices can be arranged on different walls or at a distance from one another on a wall.
  • the first lighting device In the first state, the first lighting device can emit light with a first light intensity and/or first light color.
  • In the second state the first lighting device can emit light with a second light intensity and/or second light color that differs from the first state, or can be switched off.
  • a difference image can be created from the images recorded by the camera.
  • a difference image can be created, for example, by pixel-by-pixel subtraction of brightness values of the images.
  • the difference image can provide conclusions about a degree of dryness, a load level, a wash shadow, a spray arm blockage and/or residual water in the dishes.
  • the approach presented here can enable improved detection algorithms for a dishwashing camera using controll
  • the method can include a step of determining a parameter signal for controlling a program sequence of the cleaning device.
  • the parameter signal can be determined using the difference image signal.
  • the parameter signal can represent a parameter of the interior, such as a degree of drying, a loading level, a rinse shadow, a spray arm blockage and/or residual water.
  • a degree of drying can, for example, define the presence of residual moisture.
  • the loading level can, for example, define a number and distribution of dishes.
  • the method can comprise a step of preprocessing the first image signal and the second image signal, wherein the preprocessing step can be carried out before the determining step.
  • the image signals can be preprocessed by means of a smoothing operator and/or a 2D median filter in order to be able to reliably determine the depth formation in the determining step.
  • the method may comprise a step of outputting a third illumination signal to an interface to the second illumination device in order to put the second illumination device into the first state and a step of reading a third image signal via the interface to the camera.
  • the third image signal can represent a third image recorded by the camera while the second lighting device is in the first state.
  • the difference image signal can be determined using the first image signal, the second image signal and the third image signal.
  • the second lighting device can be placed in the first state while the first lighting device is also in the first state or in the second state. In the first state, the second lighting device can emit light with a first light intensity and/or first light color.
  • the first light intensity and first light color of the first and second lighting devices can correspond to or differ from one another in the respective first state.
  • the method can comprise a step of outputting a fourth illumination signal to an interface to the second illumination device in order to place the second illumination device in the second state and a step of reading in a fourth image signal via the interface to the camera.
  • the fourth image signal can represent a fourth image taken by the camera while the second illumination device is in the second state.
  • the difference image signal can be determined using the first image signal, the second image signal, the third image signal and the fourth image signal.
  • the second illumination device can be placed in the second state while the first illumination device is also in the second state or in the first state. In the second state, the second illumination device can emit light with a second light intensity and/or second light color that differs from the first state, or can be switched off.
  • the second light intensity and second light color of the first and second illumination devices can correspond to or differ from one another in the respective second state, provided that they are not deactivated in the second state.
  • the first state may represent a state in which the first lighting device and/or the second lighting device is activated to illuminate the interior of the cleaning device.
  • the interior In the first state, the interior may be fully illuminated.
  • the lighting devices may be activated simultaneously or one after the other.
  • the second state may represent a state in which the first lighting device and/or the second lighting device is deactivated or dimmed.
  • the lighting devices may be placed in the second state simultaneously or one after the other.
  • the method can include a step of capturing a reference image signal.
  • the reference image signal can represent a reference image of an empty interior of the cleaning device recorded by the camera.
  • the difference image signal can be determined using the reference image signal.
  • the reference image can be recorded when the lighting device is activated. Dishware can then be placed in the interior. Reading in the reference image signal can be advantageous for geometrically complex dishes in order to obtain a better separation of shadows of the dishes and loading baskets.
  • a control device for detecting an interior of a cleaning device with a camera for detecting an interior of the cleaning device and a first lighting device and a second lighting device for illuminating the interior of the cleaning device can carry out and/or control the steps of the said method in corresponding units.
  • the control device can be designed to read in input signals and to determine and provide output signals using the input signals.
  • An input signal can, for example, represent a sensor signal that can be read in via an input interface of the control device.
  • An output signal can represent a control signal or a data signal that can be provided at an output interface of the device.
  • the control device can be designed to determine the output signals using a processing rule implemented in hardware or software.
  • the control device can comprise a logic circuit, an integrated circuit or a software module and can be implemented as a discrete component, for example, or be comprised of a discrete component.
  • a corresponding cleaning device has a camera for capturing an interior of the cleaning device and a first lighting device and a second lighting device for illuminating the interior of the cleaning device as well as an embodiment of a control device mentioned herein.
  • the lighting devices can be shaped as LED rods.
  • the cleaning device can have a door for closing the interior of the cleaning device.
  • the camera can be arranged on the door. This allows the interior to be completely captured by the camera.
  • the method and/or the device described here can be used accordingly in connection with a commercial or professional device, for example a medical device, such as a cleaning or disinfection device, a small sterilizer, a large-scale disinfector or a container washing system.
  • a medical device such as a cleaning or disinfection device, a small sterilizer, a large-scale disinfector or a container washing system.
  • Figure 1 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is designed as a dishwasher only by way of example.
  • the cleaning device 100 has an interior space 105 which is designed to accommodate, by way of example only, a first loading basket 140, a second loading basket 150 and a cutlery drawer 130.
  • the loading baskets 140, 150 and the cutlery drawer 130 are arranged one above the other, for example, and are designed to accommodate items to be washed for cleaning.
  • the cleaning device 100 has, for example, three spray arms 155, 165, 175.
  • a first spray arm 155 is arranged, for example, on a ceiling of the interior 105 above the cutlery drawer 130 and a second spray arm 165 is arranged on a floor of the interior 105 below the second loading basket 150.
  • a third spray arm 175 is arranged, for example, between the first loading basket 140 and the second loading basket 150.
  • the spray arms 155, 165, 175 are designed to spray a cleaning fluid into the interior 105.
  • the cleaning device 100 is shown, for example, in a loaded state, with cutlery arranged in the cutlery drawer 155, drinking vessels and bowls as well as saucers being arranged in the first loading basket 140 by way of example only, and large items to be washed, such as plates, a pan and a pot, being arranged in the second loading basket 150.
  • the cleaning device 100 has a camera 110 and a plurality of lighting devices 115, 125, 135, 145.
  • the camera 110 is arranged on a door of the cleaning device 100, so that the camera 110 captures the interior 105 of the cleaning device 100.
  • the lighting devices 115, 125, 135, 145 are distributed in the interior 105. For example only, two lighting devices 115, 125 are arranged above the cutlery drawer 130 on the ceiling of the interior 105 and two lighting devices 135, 145 are arranged between the first loading basket 140 and the third spray arm 175 on side walls of the interior 105.
  • the lighting devices 115, 125, 135, 145 are designed to illuminate the interior 105 of the cleaning device 100.
  • the cleaning device 100 additionally has a control device 120, which is arranged, for example, adjacent to the camera 110 on the door of the cleaning device 100.
  • the camera 110 is designed to capture the interior 105 of the cleaning device 100 under different lighting conditions. For example only, all lighting devices 115, 125, 135, 145 are activated while the camera 110 takes a first image and deactivated when the camera 110 takes a second image. Alternatively, one of the lighting devices 115, 125, 135, 145 is activated or deactivated during the image recording. Thus, a property of the lighting of the interior 105 generated by the lighting devices 115, 125, 135, 145 is changed between the recordings of the images. A difference image is created from the recorded images, which is evaluated according to an embodiment in order to obtain conclusions about a degree of drying, a degree of loading, a wash shadow, a spray arm blockage and/or residual water in the washware.
  • the spray arms 155, 165, 175 do not rotate freely if the items to be washed, which can also be referred to as dishes, are poorly arranged in the loading baskets 140, 150 or the cutlery drawer 130, see for example Figure 6
  • the approach presented here enables the provision of 3D information based on the difference image in order to detect a possible collision between spray arms 155, 165, 175 and the washware.
  • the camera 110 which can also be referred to as a dishwashing camera
  • process parameters are, for example, the degree of loading, a washing shadow, a basin pointing upwards without a drain, for example a cereal bowl, or spray arm blockages.
  • the camera 110 is installed in the cleaning device 100, it is obvious to take an image with a defined exposure.
  • the approach presented here makes it possible to determine 3D information from this and thus generate information that ultimately targets the target parameters such as degree of drying or spray arm blockage.
  • the technical implementation is based on a commercially available cleaning device 100 in which the camera 110 looks into the interior 105.
  • the interior 105 is equipped with at least two lighting units 115, 125, which can be controlled individually and are installed at different locations in the cleaning device 100.
  • the camera 110 and the lighting devices 115, 125, 135, 145 can be controlled or read by a central processing unit.
  • the connection is made via direct wiring, radio communication or a device bus system and several circuit boards.
  • Both variants can be evaluated using classical image processing, in particular difference images and threshold comparisons, or neural networks, for example trained to detect abnormalities.
  • this depth information is relevant in a somewhat more abstract form: "Can the rinsing water run along the surfaces unhindered?"
  • the cleaning device 100 has the interior 105, which can also be referred to as the interior washing chamber, the camera 110 looking into the interior 105, the control device 120, which can also be referred to as the processing computer, and several individually controllable lighting devices 115, 125, 135, 145.
  • the lighting devices 115, 125, 135, 145 can be LED rods and/or the brilliant light LEDs that provide the user with conventional interior lighting. This means that other components from the system that were originally built into the cleaning device 100 for other purposes can be "shared". However, additional lighting devices can be used or existing lighting devices can be split up, for example two partial lights instead of a single light.
  • the approach presented here enables the detection of clean dishes.
  • the gloss of the dishes or glasses in particular is examined, whereby the dirty dishes appear rather matt or milky. After cleaning, an increased gloss can be determined.
  • This behavior can also be recorded algorithmically.
  • the reflection on a glass can be switched on and off by switching the lighting devices 115, 125, 135, 145 on and off. If a reflection point is examined, a Before and after comparison of sharpness or contrast, for example via MTF of reflection.
  • a gloss analysis is carried out. This gloss analysis depends in particular on the reflections of the lighting devices 115, 125, 135, 145. In order to have an easier chance of distinguishing all the multiple reflections, the lighting sources are switched through one after the other and several images are taken.
  • the before-after comparison is elementary, that is, there is a memory in the system that stores the before images, which are compared with the current images in the analysis phase.
  • the approach presented here makes it possible to determine the degree of drying.
  • droplets hang down from the loading basket 140, 150.
  • These droplets can probably be easily identified using difference images, neural networks, pattern matching. Since the droplets are round, small, and transparent, they exhibit completely different refraction and diffraction behavior than the washing solution. The edges of the droplets in particular are clearly visible due to the reflections and diffraction. If the drying behavior is now analyzed on the basis of these hanging drops, or other drops, for example on the spray arm 175, a value for the degree of drying can be established. It may still be difficult to recognize the drops.
  • the controllable lighting devices 115, 125, 135, 145 help here.
  • a lighting device 115, 125, 135, 145 can often be seen in the droplets via diffraction. By switching the lighting devices 115, 125, 135, 145, the chance of distinguishing the transparent drops from other image objects and/or blending is increased. The drops that are in the line of sight to a lighting device 115, 125, 135, 145 in particular cannot be recognized without switchable lighting devices 115, 125, 135, 145.
  • the approach presented here improves the detection of a spray arm blockage.
  • proper circulation of all rinsing water is enabled so that no rinsing water remains in the dishes. This is done by detecting basin-shaped objects pointing upwards.
  • clean and dirty dishes can be recognized using a camera image with suitable exposure control.
  • drop detection is optimized. This improves the significance or accuracy of a dryness estimate.
  • the approach presented here increases the robustness of computer vision applications with the dishwashing camera by ensuring better color fastness. This is particularly important when extraneous light penetrates the interior 105 when the door of the cleaning device 100 is opened.
  • FIG 2 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 1 , except that the illustration of the camera and the control device is omitted.
  • FIG. 3 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 has, merely as an example, the two loading baskets 140, 150 and the a spray arm 175.
  • the cutlery drawer, the lighting devices, the camera and the control device are omitted.
  • the third spray arm 175 has a first spray arm position.
  • Figure 4 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 3 , except that the third spray arm 175 has a second spray arm position.
  • Figure 5 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 3 and/or Figure 4 , except that the third spray arm 175 has a third spray arm position.
  • Figure 6 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 2 .
  • a tray 600 partially protrudes from the loading basket 140.
  • Figure 7 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 7 , except that the third spray arm 175 is shown in an operative condition. In the operative condition, the third spray arm 175 is blocked by the tray 600.
  • Figure 8 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 6 and/or Figure 7 .
  • the first lighting device 115 is activated and illuminates the interior 105.
  • Light rays 800 from the first lighting device 115 fall on the items to be washed in such a way that the tray 600 casts a shadow 805 on the third spray arm 175, more precisely on the head of the third spray arm 175.
  • Figure 9 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 8 , with the exception that the second lighting device 125 is activated merely by way of example.
  • Light rays 900 from the second lighting device 125 fall on the items to be washed in such a way that the tray 600 casts a shadow 905 on the third spray arm 175.
  • the shadow 905 is visible on the left arm of the third spray arm 175.
  • Figure 10 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 8 and/or Figure 9 , with the exception that the third lighting device 135 is activated only as an example.
  • FIG 11 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 8 and/or Figure 9 and/or Figure 10 , with the exception that the fourth lighting device 145 is activated only as an example.
  • Light rays 1100 of the fourth lighting device 145 fall on the items to be washed in such a way that a shadow 1105 is created in the bowl 600.
  • the Figures 6 to 11 show a detection of the positioning of the blockage based on the shadow positions.
  • Figure 12 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from one of the figures described above.
  • the third spray arm 175 is shown in an operational state. In the operational state, however, the third spray arm 175 is blocked by a pot 1200 which is arranged in the second loading basket 150 and protrudes from the second loading basket 150 in such a way that it blocks the third spray arm 175 and the fourth lighting device 145.
  • Figure 13 shows an illustration of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from one of the figures described above.
  • the third spray arm 175 is shown in an operational state, but it is blocked by the tray 600.
  • the tray 600 is arranged in the first loading basket 140 and partially protrudes from the first loading basket 140, thereby blocking the third spray arm 175 and blocking the third lighting device 135.
  • Figures 12 to 13 show that the lighting equipment is concealed by raised or lowered parts.
  • Figure 14 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from one of the figures described above.
  • a ladle 1400 protrudes at least partially from the first loading basket 140. More precisely, the handle of the ladle 1400 protrudes in the direction of the second loading basket 150.
  • FIG 15 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 14 , except that the third spray arm 175 is shown in an operational state. In this state However, the third spray arm 175 is blocked by the ladle 1400 or by the handle of the ladle 1400.
  • Figure 16 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 14 , except that the first lighting device 115 is activated.
  • Figure 17 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 16 , except that the second lighting device 125 is activated.
  • Figure 18 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 16 and/or Figure 17 , except that the third lighting device 135 is activated.
  • Figure 19 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 16 and/or Figure 17 and/or Figure 18 , except that the fourth lighting device 145 is activated.
  • Figures 14 to 19 show a characteristic shadow formation on protruding parts.
  • Figure 20 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 13
  • the tray 600 partially protrudes from the first loading basket 140 and thereby blocks the third spray arm 175, the third spray arm 175 being arranged directly below the first loading basket 140.
  • Figure 21 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 20 with the exception that the ladle 1400 partially protrudes from the first loading basket 140, more precisely said handle of the ladle 1400, thereby blocking the third spray arm 175, wherein the first loading basket 140 is arranged directly above the spray arm 175.
  • Figure 22 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 20 and/or Figure 22 with the exception that a pan 2200 partially protrudes from the second loading basket 150 in the direction of the third spray arm 175, more precisely the stem of the pan 2200, and thus blocks the third spray arm 175.
  • the first loading basket 140, the spray arm 175 and the second loading basket 150 are arranged very close to one another.
  • Figures 21 to 22 show different basket heights and position dependence, including different blocking situations.
  • Figure 23 shows a representation of an embodiment of a cleaning device 100 which is similar to the cleaning device from one of the figures described above.
  • a bowl 2300 having a concave bottom 2305 is arranged in the second loading basket 150.
  • the bowl 2300 is arranged in the second loading basket 150 such that the concave bottom 2305 points in the direction of the third spray arm 175.
  • Figure 23 shows the cleaning device 100 before a rinse cycle.
  • Figure 24 shows a representation of an embodiment of a cleaning device 100 after a rinsing cycle.
  • the cleaning device 100 is similar to the cleaning device from Figure 23 except that rinse water 2400 has collected on the bottom 2305 of the bowl 2300.
  • Figure 25 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 24 except that the third lighting device 135 is activated.
  • Figure 26 shows a representation of an embodiment of a cleaning device 100.
  • the cleaning device 100 is similar to the cleaning device from Figure 25 except that the fourth lighting device 145 is activated.
  • Figure 27 shows a representation of an interior 105 of an embodiment of a cleaning device 100.
  • a cup 2700 is arranged, merely by way of example, which is illuminated by the second illumination device 125. Light rays from the second illumination device 125 hit the cup 2700 in such a way that the cup 2700 casts a shadow 2705.
  • Figure 28 shows a representation of an interior 105 of an embodiment of a cleaning device 100.
  • the interior 105 is similar to the interior of Figure 27 , except that the first lighting device 115 is activated.
  • the cup 2700 is illuminated by the first lighting device 115 such that the cup 2700 casts a shadow 2705.
  • Figure 29 a flow chart of an embodiment of a method for detecting an interior of a cleaning device.
  • the cleaning device corresponds to the cleaning device from one of the figures described above.
  • Block 2900 marks a desired start of a cleaning program.
  • a check is made to see whether there is an image of an empty interior of the cleaning device, i.e. an empty image, and/or whether the interior of the cleaning device is empty. If there is no empty image or the interior is empty, the program jumps to block 2910.
  • a basic lighting configuration is switched on.
  • image data is recorded and stored in memory. In other words, a wash cabinet image is taken without wash grids, but with racks.
  • the program jumps to block 2920.
  • the items to be washed are placed in the interior.
  • image data is captured using the camera and stored in the memory.
  • block 2935 it is checked whether all lighting constellations have been carried out. If this is not the case, the system jumps back to block 2925. This is repeated until all lighting constellations have been recorded.
  • the images are preprocessed. According to one embodiment, the flow jumps directly from block 2930 to block 2940. According to another embodiment, the flow jumps directly from block 2920 to block 2940.
  • block 2945 the depth information is estimated. Then, the flow jumps to block 2950, where the depth information is provided to another process.
  • Block 2955 represents a start of the desired cleaning program or an end of the desired cleaning program.
  • Figure 30 shows a flow chart of an embodiment of a method 3000 for detecting an interior of a cleaning device.
  • the method 3000 includes a step 3005 of outputting a first lighting signal to an interface to the first lighting device in order to put the first lighting device into a first state.
  • the first state represents, for example, a state in which the first lighting device is activated and illuminates the interior of the cleaning device.
  • the method 3000 comprises a step 3010 of reading in a first image signal via an interface to the camera, wherein the first image signal represents a first image captured by the camera while the first illumination device is in the first state.
  • the method 3000 also includes a step 3015 of outputting a second lighting signal to the interface to the first lighting device in order to put the first lighting device into a second state.
  • the second state represents, for example, a state in which the first lighting device is deactivated or dimmed and does not illuminate the interior of the cleaning device or only partially illuminates it.
  • the method 3000 comprises a step 3020 of reading in a second image signal via the interface to the camera, wherein the image signal represents a second image recorded by the camera while the first illumination device is in the second state.
  • the method 3000 additionally comprises a step 3025 of determining a difference image signal using the first image signal and the second image signal, wherein the difference image signal represents depth information of the interior.
  • the method 3000 comprises a step 3030 of determining a parameter signal for controlling a program sequence of the cleaning device using the difference image signal.
  • the step 3030 of determining is carried out after the step 3025 of ascertaining.
  • the method 3000 includes, for example, a step 3035 of preprocessing the first image signal and the second image signal.
  • the preprocessing step 3035 is carried out before the determining step 3025.
  • the method 3000 comprises a step 3040 of capturing a reference image signal, wherein the reference image signal represents a reference image of an empty interior of the cleaning device recorded by the camera.
  • the capturing step 3040 is carried out before the determining step 3025.
  • the method 3000 comprises, for example, a step 3045 of outputting a third illumination signal to an interface to the second illumination device in order to put the second illumination device into the first state.
  • a step 3050 of reading the third image signal is read in via the interface to the camera, wherein the third image signal represents a third image recorded by the camera while the second illumination device is in the first state.
  • the difference image signal is determined using the first image signal, the second image signal and the third image signal.
  • a fourth illumination signal is output to an interface to the second illumination device in order to put the second illumination device into the second state.
  • a fourth image signal is read in via the interface to the camera, wherein the fourth image signal represents a fourth image recorded by the camera while the second illumination device is in the second state.
  • the difference image signal is determined using the first image signal, the second image signal, the third image signal and the fourth image signal.
  • the method 3000 is designed to generate depth information.
  • the method 3000 consists of two steps: the generation of the image material and the estimation of depth information.
  • the image data is generated in sequential form.
  • a lighting configuration is switched on, an image is taken and then the next lighting configuration is switched on, etc.
  • lighting configuration can refer to an active lighting device.
  • individual lamps can also be switched off so that the switching sequence is perceptible to a person in front of the device with only a few light fluctuations.
  • Another image can be taken with all active lighting units. In the simplest form, only the right light is switched on, only the left light is switched on, and all lights are switched on, creating three images.
  • the depth information is estimated based on difference images. Different shadows are created in every lighting configuration. If the difference is made between one image and the image in which all lighting units are switched on, shadows and halos can be identified. Large differences are visible even on straight surfaces, particularly in the case of structured objects. To prevent this, a smoothing operator and further preprocessing, such as the 2D median filter, can be applied before the difference.
  • the image data is then used to estimate depth information.
  • An analytical method, classic image processing can be used to approximate the shadow area and/or position, or a trained model, artificial intelligence, can be used to determine information about the shadow area, position and/or orientation from the images.
  • the 3000 method can also be carried out with dimmed lighting units.
  • each lamp can be dimmed by 50% to significantly change the lighting configuration.
  • an image can also be used with the light sources switched off in order to calculate the influence of ambient lighting that penetrates through a slightly open dishwasher door.
  • the process can be extended so that a reference image, i.e. an empty image, is taken when the object to be examined is not placed in the interior of the dishwasher.
  • a reference image i.e. an empty image
  • the lighting is switched on in the basic setting, an image is taken and only then is the food inserted.
  • the recorded reference image can then be used to calculate the difference images.
  • the empty image is stored statically because it is not always clear when the interior is actually free of wash items. To do this, after the machine is unloaded after a wash cycle, an image is taken and this image is verified as empty by an external process, detection via Kl.
  • the entire 3000 method is not only used for the static determination of the depth information at a point in time, but can also be used dynamically, i.e. over a period of time.
  • the lighting and depth estimation process is repeated periodically and the determined values are stored as a time course in the memory of the process computer.
  • the measuring points on the curves serve to improve the detection of rinsing shadows or possible pools of water. If there is a bowl that is facing upwards, it can sometimes be detected that it is gradually filling up, so that the standing water changes the shape of the contour. This does not allow the problem to be analyzed before the rinsing process, but it may be possible to provide an indication that the cleaning performance may not have been sufficient in the case of critical objects, for example the kidney bowl in professional devices.
  • Figure 31 shows a block diagram of a control device 120 for detecting an interior of a cleaning device.
  • the control device 120 is similar or corresponds to the control device from Figure 1 .
  • the control device 120 has units 3105, 3115, 3145, 3155 for output, units 3110, 3120, 3150, 3160 for reading, a unit 3125 for determining and optionally a unit 3130 for determining, a unit 3135 for preprocessing and a unit 3140 for detecting.
  • the output units 3105, 3115, 3145, 3155 are designed to output one illumination signal 3108, 3118, 3148, 3158 each.
  • the reading units 3110, 3120, 3150, 3160 are designed to read one image signal 3112, 3122, 3152, 3162 each.
  • the first image signal 3112 is read in while the first illumination signal 3108 is output.
  • the second image signal 3122 is read in while the second illumination signal 3118 is output.
  • the third image signal 3152 is read in while the third illumination signal 3148 is output and the fourth image signal 3162 is read in while the fourth illumination signal 3158 is output.
  • the determining unit 3125 is configured to determine a difference image signal 3128 using the first image signal 3112, the second image signal 3122 and optionally the third image signal 3152 and fourth image signal 3162.
  • the determining unit 3130 is designed to determine a parameter signal 3132 for controlling a program sequence of the cleaning device using the difference image signal 3128.
  • the preprocessing unit 3135 is configured to preprocess the image signals 3112, 3122, and optionally the image signals 3152, 3162.
  • the unit 3140 for detecting is designed to detect a reference image signal 3142.
  • the reference image signal 3142 represents a reference image of an empty interior of the cleaning device recorded by the camera.
  • the unit 3125 for determining determines the difference image signal 3128 using the reference image signal 3142.

Landscapes

  • Cleaning By Liquid Or Steam (AREA)

Abstract

Ein Verfahren zum Erkennen eines Innenraums (105) eines Reinigungsgeräts (100) umfasst einen Schritt des Ausgebens eines ersten Beleuchtungssignals an eine Schnittstelle zu einer ersten Beleuchtungseinrichtung (115), um die erste Beleuchtungseinrichtung (115) in einen ersten Zustand zu versetzen, einen Schritt des Einlesens eines ersten Bildsignals über eine Schnittstelle zu einer Kamera (110), wobei das erste Bildsignal ein von der Kamera (110), während sich die erste Beleuchtungseinrichtung (115) in dem ersten Zustand befindet, aufgenommenes erstes Bild des Innenraums (105) repräsentiert, einen Schritt des Ausgebens eines zweiten Beleuchtungssignals an die Schnittstelle zu der ersten Beleuchtungseinrichtung (115), um die erste Beleuchtungseinrichtung (115) in einen zweiten Zustand zu versetzen, einen Schritt des Einlesens eines zweiten Bildsignals über die Schnittstelle zu der Kamera (110), wobei das Bildsignal ein von der Kamera (110), während sich die erste Beleuchtungseinrichtung (115) in dem zweiten Zustand befindet, aufgenommenes zweites Bild repräsentiert und einen Schritt des Ermittelns eines Differenzbildsignals unter Verwendung des ersten Bildsignals und des zweiten Bildsignals, wobei das Differenzbildsignal eine Tiefeninformation des Innenraums (105) repräsentiert.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erkennen eines Innenraums eines Reinigungsgeräts und ein Reinigungsgerät.
  • Die 102021200715 A1 offenbart ein System mit einer Geschirrspülmaschine.
  • Der Erfindung stellt sich die Aufgabe ein verbessertes Verfahren und eine verbesserte Vorrichtung zum Erkennen eines Innenraums eines Reinigungsgeräts sowie ein verbessertes Reinigungsgerät zu schaffen.
  • Erfindungsgemäß wird diese Aufgabe durch ein Verfahren und eine Vorrichtung zum Erkennen eines Innenraums eines Reinigungsgeräts und durch ein Reinigungsgerät mit den Merkmalen der Hauptansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den nachfolgenden Unteransprüchen.
  • Die mit der Erfindung erreichbaren Vorteile bestehen insbesondere darin, dass ein Verfahren geschaffen wird, dass eine schnelle und zuverlässige Erkennung eines Innenraums des Reinigungsgeräts ermöglichen kann.
  • Die Erfindung betrifft ein Verfahren zum Erkennen eines Innenraums eines Reinigungsgeräts.
  • Das Reinigungsgerät weist eine Kamera zum Erfassen des Innenraums des Reinigungsgeräts und mindestens eine erste Beleuchtungseinrichtung und vorzugsweise eine zweite Beleuchtungseinrichtung zum Beleuchten des Innenraums auf. Zusätzlich weist das Reinigungsgerät eine Steuervorrichtung auf. Das Verfahren umfasst einen Schritt des Ausgebens eines ersten Beleuchtungssignals an eine Schnittstelle zu der ersten Beleuchtungseinrichtung, um die erste Beleuchtungseinrichtung in einen ersten Zustand zu versetzen. Zusätzlich umfasst das Verfahren einen Schritt des Einlesens eines ersten Bildsignals über eine Schnittstelle zu der Kamera, wobei das erste Bildsignal ein von der Kamera, während sich die erste Beleuchtungseinrichtung in dem ersten Zustand befindet, aufgenommenes erstes Bild repräsentiert. Das Verfahren umfasst außerdem einen Schritt des Ausgebens eines zweiten Beleuchtungssignals an die Schnittstelle zu der ersten Beleuchtungseinrichtung, um die erste Beleuchtungseinrichtung in einen zweiten Zustand zu versetzen. Ferner umfasst das Verfahren einen Schritt des Einlesens eines zweiten Bildsignals über die Schnittstelle zu der Kamera, wobei das Bildsignal ein von der Kamera, während sich die erste Beleuchtungseinrichtung in dem zweiten Zustand befindet, aufgenommenes zweites Bild repräsentiert. Das Verfahren umfasst zusätzlich einen Schritt des Ermittelns eines Differenzbildsignals unter Verwendung des ersten Bildsignals und des zweiten Bildsignals, wobei das Differenzbildsignal eine Tiefeninformation des Innenraums repräsentiert.
  • Das Reinigungsgerät kann als ein Geschirrspüler zum Reinigen von Spülgut ausgeformt sein.
  • Die Kamera kann in einer Tür des Reinigungsgeräts angeordnet sein und die Beleuchtungseinrichtungen können im Innenraum des Reinigungsgeräts, beispielsweise an Wänden des Innenraums angeordnet sein. Die Beleuchtungseinrichtungen können den Innenraum aus unterschiedlichen Blickrichtungen erfassen. Beispielsweise können die Beleuchtungseinrichtungen dazu an unterschiedlichen Wänden oder beabstandet zueinander an einer Wand angeordnet sein. Die erste Beleuchtungseinrichtung kann in dem ersten Zustand Licht mit einer ersten Lichtintensität und/oder ersten Lichtfarbe aussenden. In dem zweiten Zustand kann die erste Beleuchtungseinrichtung Licht mit einer sich von dem ersten Zustand unterscheidenden zweiten Lichtintensität und/oder zweiten Lichtfarbe aussenden, oder ausgeschaltet sein. Aus den von der Kamera aufgenommenen Bildern kann ein Differenzbild erstellt werden. Ein Differenzbild kann beispielsweise durch eine pixelweise Subtraktion von Helligkeitswerten der Bilder erstellt werden. Das Differenzbild kann Rückschlüsse auf einen Trocknungsgrad, einen Beladungsgrad, einen Spülschatten, eine Sprüharmblockade und/oder Restwasser im Spülgut liefern. Der hier vorgestellte Ansatz kann verbesserte Erkennungsalgorithmen für eine Geschirrspülkamera mithilfe steuerbarer LEDs ermöglichen.
  • Das Verfahren kann einen Schritt des Bestimmens eines Parametersignals für eine Steuerung eines Programmablaufs des Reinigungsgeräts umfassen. Das Parametersignal kann dabei unter Verwendung des Differenzbildsignals bestimmt werden. Das Parametersignal kann einen Parameter des Innenraums repräsentieren, wie beispielsweise einen Trocknungsgrad, einen Beladungsgrad, einen Spülschatten, eine Sprüharmblockade und/oder Restwasser. Ein Trocknungsgrad kann beispielsweise ein Vorhandensein von Restfeuchte definieren. Der Beladungsgrad kann beispielsweise eine Anzahl und Verteilung von Geschirr definieren.
  • Das Verfahren kann einen Schritt des Vorverarbeitens des ersten Bildsignals und des zweiten Bildsignals umfassen, wobei der Schritt des Vorverarbeitens vor dem Schritt des Ermittelns ausgeführt werden kann. Bei dem Schritt des Vorverarbeitens können die Bildsignale mittels eines Glättungsoperators und/oder eine 2D-Medianfilters vorverarbeitet werden, um im Schritt des Ermittelns die Tiefenformation zuverlässig ermitteln zu können.
  • Das Verfahren kann einen Schritt des Ausgebens eines dritten Beleuchtungssignals an eine Schnittstelle zu der zweiten Beleuchtungseinrichtung umfassen, um die zweite Beleuchtungseinrichtung in den ersten Zustand zu versetzen und einen Schritt des Einlesens eines dritten Bildsignals über die Schnittstelle zu der Kamera. Dabei kann das dritte Bildsignal ein von der Kamera, während sich die zweite Beleuchtungseinrichtung in dem ersten Zustand befindet, aufgenommenes drittes Bild repräsentieren. Im Schritt des Ermittelns kann das Differenzbildsignal unter Verwendung des ersten Bildsignals, des zweiten Bildsignals und des dritten Bildsignals ermittelt werden. Die zweite Beleuchtungseinrichtung kann in den ersten Zustand versetzt werden, während die erste Beleuchtungseinrichtung ebenfalls in dem ersten Zustand oder in dem zweiten Zustand ist. Die zweite Beleuchtungseinrichtung kann in dem ersten Zustand Licht mit einer ersten Lichtintensität und/oder ersten Lichtfarbe aussenden. Dabei können sich die erste Lichtintensität und erste Lichtfarbe der ersten und zweiten Beleuchtungseinrichtung im jeweiligen ersten Zustand einander entsprechen oder unterscheiden.
  • Das Verfahren kann einen Schritt des Ausgebens eines vierten Beleuchtungssignals an eine Schnittstelle zu der zweiten Beleuchtungseinrichtung umfassen, um die zweite Beleuchtungseinrichtung in den zweiten Zustand zu versetzen und einen Schritt des Einlesens eines vierten Bildsignals über die Schnittstelle zu der Kamera. Dabei kann das vierte Bildsignal ein von der Kamera, während sich die zweite Beleuchtungseinrichtung in dem zweiten Zustand befindet, aufgenommenes viertes Bild repräsentieren. Im Schritt des Ermittelns kann das Differenzbildsignal unter Verwendung des ersten Bildsignals, des zweiten Bildsignals, des dritten Bildsignals und des vierten Bildsignals ermittelt werden. Die zweite Beleuchtungseinrichtung kann in den zweiten Zustand versetzt werden, während die erste Beleuchtungseinrichtung ebenfalls in dem zweiten Zustand oder in dem ersten Zustand ist. In dem zweiten Zustand kann die zweite Beleuchtungseinrichtung Licht mit einer sich von dem ersten Zustand unterscheidenden zweiten Lichtintensität und/oder zweiten Lichtfarbe aussenden, oder ausgeschaltet sein. Dabei können sich die zweite Lichtintensität und zweite Lichtfarbe der ersten und zweiten Beleuchtungseinrichtung im jeweiligen zweiten Zustand einander entsprechen oder unterscheiden, sofern sie im zweiten Zustand nicht deaktiviert sind.
  • Im Schritt des Ausgebens kann der erste Zustand einen Zustand repräsentieren, in dem die erste Beleuchtungseinrichtung und/oder die zweite Beleuchtungseinrichtung aktiviert ist, um den Innenraum des Reinigungsgeräts zu beleuchten. In dem ersten Zustand kann der Innenraum vollständig beleuchtet werden. Die Beleuchtungseinrichtungen können zeitgleich oder nacheinander aktiviert werden.
  • Im Schritt des Ausgebens kann der zweite Zustand einen Zustand repräsentieren, in dem die erste Beleuchtungseinrichtung und/oder die zweite Beleuchtungseinrichtung deaktiviert oder gedimmt ist. Die Beleuchtungseinrichtungen können zeitgleich oder nacheinander in den zweiten Zustand versetzt werden.
  • Das Verfahren kann einen Schritt des Erfassens eines Referenzbildsignals umfassen. Das Referenzbildsignal kann ein von der Kamera aufgenommenes Referenzbild eines leeren Innenraums des Reinigungsgeräts repräsentieren. Im Schritt des Ermittelns kann das Differenzbildsignal unter Verwendung des Referenzbildsignals ermittelt werden. Das Referenzbild kann bei aktivierter Beleuchtungseinrichtung aufgenommen werden. Nachfolgend kann Spülgut in den Innenraum eingelegt werden. Das Einlesen des Referenzbildsignals kann bei geometrisch komplexen Spülgut vorteilhaft sein, um eine bessere Trennung von Schatten des Spüguts und Beladungskörben zu erhalten.
  • Es wird somit gemäß einem der vorgenannten Ausführungsbeispiele ein verbessertes Verfahren zum Erkennen eines Innenraums eines Reinigungsgeräts geschaffen. Dabei kann das Erkennen des Innenraums beispielsweise beinhalten:
    • Das Erkennen von einem oder mehreren, im Innenraum angeordneten funktionalen Bauteilen des Reinigungsgeräts, etwa den Sprüharm des als Geschirrspülmaschine ausgebildeten Reinigungsgeräts, welcher im Innenraum rotierbar gelagert ist; und/oder
    • Das Erkennen von im Innenraum angeordnetem Reinigungsgut, insbesondere die Größe, Art und/oder Anordnung bzw. Orientierung einzelner Reinigungsgüter sowie alternativ oder zusätzlich deren Verschmutzungsgrad und/oder Trocknungsgrad.
  • Eine Steuervorrichtung zum Erkennen eines Innenraums eines Reinigungsgeräts mit einer Kamera zum Erfassen eines Innenraums des Reinigungsgeräts und einer ersten Beleuchtungseinrichtung und einer zweiten Beleuchtungseinrichtung zum Beleuchten des Innenraums des Reinigungsgeräts kann die Schritte des genannten Verfahrens in entsprechenden Einheiten ausführen und/oder ansteuern.
  • Die Steuervorrichtung kann ausgebildet sein, um Eingangssignale einzulesen und unter Verwendung der Eingangssignale Ausgangssignale zu bestimmen und bereitzustellen. Ein Eingangssignal kann beispielsweise ein über eine Eingangsschnittstelle der Steuervorrichtung einlesbares Sensorsignal darstellen. Ein Ausgangssignal kann ein Steuersignal oder ein Datensignal darstellen, das an einer Ausgangsschnittstelle der Vorrichtung bereitgestellt werden kann. Die Steuervorrichtung kann ausgebildet sein, um die Ausgangssignale unter Verwendung einer in Hardware oder Software umgesetzten Verarbeitungsvorschrift zu bestimmen. Beispielsweise kann die Steuervorrichtung dazu eine Logikschaltung, einen integrierten Schaltkreis oder ein Softwaremodul umfassen und beispielsweise als ein diskretes Bauelement realisiert sein oder von einem diskreten Bauelement umfasst sein.
  • Ein entsprechendes Reinigungsgerät weist eine Kamera zum Erfassen eines Innenraums des Reinigungsgeräts und eine erste Beleuchtungseinrichtung und eine zweite Beleuchtungseinrichtung zum Beleuchten des Innenraums des Reinigungsgeräts sowie eine Ausführungsform einer hierin genannten Steuervorrichtung auf. Die Beleuchtungseinrichtungen können als LED-Stäbe ausgeformt sein.
  • Das Reinigungsgerät kann eine Tür zum Verschließen des Innenraums des Reinigungsgeräts aufweisen. Die Kamera kann an der Tür angeordnet sein. Somit kann der Innenraum vollständig von der Kamera erfasst werden.
  • Auch wenn der beschriebene Ansatz anhand eines Haushaltgeräts beschrieben wird, kann das hier beschriebene Verfahren und/oder die hier beschriebe Vorrichtung entsprechend im Zusammenhang mit einem gewerblichen oder professionellen Gerät, beispielsweise einem medizinischen Gerät, wie einem Reinigungs- oder Desinfektionsgerät, einem Kleinsterilisator, einem Großraumdesinfektor oder einer Container-Waschanlage eingesetzt werden.
  • Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen rein schematisch dargestellt und wird nachfolgend näher beschrieben. Es zeigt
    • Figur 1
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 2
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 3
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 4
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 5
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 6
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 7
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 8
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 9
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 10
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 11
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 12
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 13
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 14
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 15
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 16
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 17
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 18
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 19
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 20
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 21
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 22
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 23
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 24
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 25
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 26
    eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 27
    eine Darstellung eines Innenraums eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 28
    eine Darstellung eines Innenraums eines Ausführungsbeispiels eines Reinigungsgeräts;
    Figur 29
    ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erkennen eines Innenraums eines Reinigungsgeräts;
    Figur 30
    ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erkennen eines Innenraums eines Reinigungsgeräts; und
    Figur 31
    ein Blockschaltbild eines Ausführungsbeispiels einer Steuervorrichtung.
  • Figur 1 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ist lediglich beispielhaft als ein Geschirrspüler ausgebildet.
  • Das Reinigungsgerät 100 weist einen Innenraum 105 auf, der ausgebildet ist, um lediglich beispielhaft einen ersten Beladungskorb 140, einen zweiten Beladungskorb 150 sowie eine Besteckschublade 130 aufzunehmen. Die Beladungskörbe 140, 150 und die Besteckschublade 130 sind beispielsweise übereinander angeordnet und ausgebildet, um Spülgut zum Reinigen aufzunehmen.
  • Zusätzlich weist das Reinigungsgerät 100 beispielsweise drei Sprüharme 155, 165, 175 auf. Ein erster Sprüharm 155 ist beispielsweise an einer Decke des Innenraums 105 oberhalb der Besteckschublade 130 angeordnet und ein zweiter Sprüharm 165 an einem Boden des Innenraums 105 unterhalb des zweiten Beladungskorbs 150. Ein dritter Sprüharm 175 ist beispielsweise zwischen dem ersten Beladungskorb 140 und dem zweiten Beladungskorb 150 angeordnet. Die Sprüharme 155, 165, 175 sind ausgebildet, um ein Reinigungsfluid in den Innenraum 105 zu sprühen.
  • Das Reinigungsgerät 100 ist beispielsweise in einem beladenen Zustand dargestellt, wobei in der Besteckschublade 155 Besteck angeordnet ist, in dem ersten Beladungskorb 140 sind lediglich beispielhaft Trinkgefäße und Schalen sowie Untertassen angeordnet und in dem zweiten Beladungskorb 150 ist großes Spülgut, wie Teller, eine Pfanne und ein Topf angeordnet.
  • Das Reinigungsgerät 100 weist eine Kamera 110 sowie eine Mehrzahl von Beleuchtungseinrichtungen 115, 125, 135, 145 auf. Die Kamera 110 ist an einer Tür des Reinigungsgeräts 100 angeordnet, sodass die Kamera 110 den Innenraum 105 des Reinigungsgeräts 100 erfasst. Die Beleuchtungseinrichtungen 115, 125, 135, 145 sind in dem Innenraum 105 verteilt angeordnet. Lediglich beispielhaft sind zwei Beleuchtungseinrichtungen 115, 125 oberhalb der Besteckschublade 130 an der Decke des Innenraums 105 angeordnet und zwei Beleuchtungseinrichtungen 135, 145 zwischen dem ersten Beladungskorb 140 und dem dritten Sprüharm 175 an Seitenwänden des Innenraums 105 angeordnet. Die Beleuchtungseinrichtungen 115, 125, 135, 145 sind ausgebildet, um den Innenraum 105 des Reinigungsgeräts 100 zu beleuchten.
  • Das Reinigungsgerät 100 weist zusätzliche eine Steuervorrichtung 120 auf, die lediglich beispielhaft benachbart zu der Kamera 110 an der Tür des Reinigungsgeräts 100 angeordnet ist.
  • Die Kamera 110 ist ausgebildet, um den Innenraum 105 des Reinigungsgeräts 100 bei verschiedenen Beleuchtungszuständen zu erfassen. Lediglich beispielhaft sind alle Beleuchtungseinrichtungen 115, 125, 135, 145 aktiviert, während die Kamera 110 ein erstes Bild aufnimmt und deaktiviert, wenn die Kamera 110 ein zweites Bild aufnimmt. Alternativ ist eine der Beleuchtungseinrichtungen 115, 125, 135, 145 während der Bildaufnahme aktiviert bzw. deaktiviert. Somit wird zwischen den Aufnahmen der Bilder eine Eigenschaft der von den Beleuchtungseinrichtungen 115, 125, 135, 145 generierten Beleuchtung des Innenraums 105 verändert. Aus den aufgenommenen Bildern wird ein Differenzbild erstellt, das gemäß einem Ausführungsbeispiel ausgewertet wird, um Rückschlüsse auf einen Trocknungsgrad, einen Beladungsgrad, einen Spülschatten, eine Sprüharmblockade und/oder Restwasser im Spülgut zu erhalten.
  • Beispielsweise drehen die Sprüharme 155, 165, 175 nicht frei, wenn das Spülgut, das auch als Geschirr bezeichnet werden kann, schlecht in den Beladungskörben 140, 150 bzw. der Besteckschublade 130 angeordnet ist, siehe beispielsweise Figur 6. Der hier vorgestellte Ansatz ermöglicht basierend auf dem Differenzbild eine Bereitstellung von 3D-Informationen, um eine mögliche Kollision von Sprüharmen 155, 165, 175 und Spülgut zu erkennen.
  • Mit Hilfe der Kamera 110, die auch als Geschirrspülkamera bezeichnet werden kann, werden möglichst viele abstrakte Prozessparameter abgeleitet oder Situations- bzw. Fehlstellungen erkannt. Der hier vorgestellte Ansatz zeigt hierfür ein Verfahren auf, wie die Beleuchtungseinrichtungen 115, 125, 135, 145 vorteilhaft angesteuert werden, sodass mehr Informationen zu Verfügung stehen, als bei gleichbleibender Beleuchtung. Diese Prozessparameter sind zum Beispiel der Beladungsgrad, ein Spülschatten, ein nach oben zeigendes Becken ohne Ablauf, zum Beispiel Müslischale, oder Sprüharmblockaden.
  • Ist die Kamera 110 in den Reinigungsgerät 100 verbaut, ist es naheliegend ein Bild bei definierter Belichtung aufzunehmen. Der hier vorgestellte Ansatz ermöglicht es, daraus 3D-Informationen zu ermitteln und somit Informationen zu erzeugen, die letztlich auf die Zielparameter wie Trocknungsgrad oder Sprüharmblockade abzielen.
  • Die technische Umsetzung basiert auf einem handelsüblichen Reinigungsgerät 100, in dem die Kamera 110 in den Innenraum 105 schaut. Der Innenraum 105 ist dazu mit mindestens zwei Beleuchtungseinheiten 115, 125 ausgestattet, die einzeln steuerbar sind und an verschiedenen Orten im Reinigungsgerät 100 verbaut sind. Die Kamera 110 sowie die Beleuchtungseinrichtungen 115, 125, 135, 145 sind von einer zentralen Recheneinheit ansteuerbar bzw. auslesbar. Die Verbindung erfolgt über eine direkte Verdrahtung, Funkkommunikation oder auch ein Gerätebussystem und mehrerer Platinen.
  • Es werden nun jedoch statt nur einem Bild für die Szenen mehrere Bilder aufgenommen. Vorteil ist dabei, dass die Reflexionen, Brechungen und Schattenbildungen für jede Beleuchtungseinrichtung 115, 125, 135, 145 anders sind. Werden die Bilder nun per analytischem Ansatz oder neuronalem Netz analysiert, lassen sich hieraus besser die Zielgrößen ableiten als von nur einem Bild.
  • Nun gibt es verschiedene Anwendungsfälle, welche diesen Aufbau nutzen:
    Für eine Blockadeerkennung wird vor dem Spülstart überprüft, ob eine Blockade des mindestens einen Sprüharms 155, 165, 175 durch Spülgut vorliegt. Hierbei wird die potentiellen Blockadeobjekte über den Schatten des Sprüharms 155, 165, 175 erkannt, siehe beispielsweise Figur 7 bis Figur 11. Hierbei gibt es verschiedene Ansätze, wie steuerbare Lichtquellen eine Erkennung verbessern bzw. erleichtern:
    Sind Sprüharm 175, Kamera 110 und Beleuchtungseinrichtungen 135, 145 fast auf einer Linie, kann hierüber sichergestellt werden, ob eine Blockade vorliegt. Vereinfacht gesprochen wird hierüber eine Lichtschranke aufgebaut: Ist die Beleuchtungseinrichtung 135, 145 noch im Bild zu sehen, die knapp unter dem Sprüharm 175 herguckt, kann von keiner Kollision ausgegangen werden. Um hierbei nicht fälschliche Reflexionen zu interpretieren, werden die Beleuchtungseinrichtungen 115, 125, 135, 145 nacheinander durchgeschaltet und Bild für Bild analysiert. Die hellste Stelle im Bild stimmt hierbei mit der zu erwartenden Position überein, siehe beispielsweise Figur 12 bis Figur 13.
  • Alternativ ist es möglich, dass auch der Schatten auf dem Sprüharm 175 untersucht wird. Ragt ein Teil in den Bereich der Rotation des Sprüharms 175, wird ein charakteristischer Schatten auf dem Sprüharm 175 entstehen. Dieses Phänomen ist besonders bei den Beleuchtungseinrichtungen 135, 145 vorhanden, die auf Höhe des Sprüharms 175 sind. Wird also ein unerwarteter Schatten auf dem Sprüharm 175 sichtbar, kann eine Sprüharmblockade diagnostiziert werden, siehe beispielsweise Figur 6 bis Figur 11.
  • Beide Varianten sind mit klassischer Bildverarbeitung, insbesondere Differenzbilder und Schwellwertvergleiche, oder neuronalen Netzen, zum Beispiel trainiert auf Abnormalitätenerkennung, auswertbar.
  • Zusätzlich es möglich mittels des hier vorgestellten Ansatzes Tiefeninformationen aus Schattenbildungen zur Erkennung von konkaven Formen zu ermitteln. Bei vielen Geschirrteilen ist es auf Basis eines Bildes schwierig zu erkennen, ob sie eine konkave Fläche in Richtung oben haben. Viele Geschirrteile sind bemustert, sodass dunkle Kreise/Ellipsen allein zu Fehleinschätzungen führen können. Wird jedoch die Beleuchtung variiert, ergibt sich bei jeder Beleuchtungssituation eine andere Situation. Liegt eine konkave Form vor, in die insbesondere Spülwasser verbleiben kann, fängt der Schatten hinter der Kante an und ist auf der gegenüberliegenden Seite nicht mehr vorhanden. Bei einer konvexen Form ist dieses Verhalten gegenteilig, siehe zum Beispiel Figur 23 bis Figur 26.
  • Vorteilhafterweise ermöglicht es der hier vorgestellte Ansatz, den Schattenwurf bei unterschiedlichen Belichtungseinstellungen zur Generierung von Tiefeninformationen auszunutzen. Im Falle des Reinigungsgeräts 100 sind diese Tiefeninformationen in etwas abstrakterer Form relevant: "Kann das Spülwasser ungehindert an den Oberflächen entlanglaufen."
  • Das Reinigungsgerät 100 weist den Innenraum 105, der auch als Spülinnenraum bezeichnet werden kann, die in den Innenraum 105 schauende Kamera 110, die Steuervorrichtung 120, die auch als Verarbeitungsrechner bezeichnet werden kann, und mehrere, einzeln steuerbare Beleuchtungseinrichtungen 115, 125, 135, 145 auf. Bei den Beleuchtungseinrichtungen 115, 125, 135, 145 kann es sich um LED-Stäbe und/oder die Brilliant light LEDs handeln, die die konventionelle Innenraumbeleuchtung für den Nutzer darrstellt. Somit können andere Komponenten aus dem System "mitgenutzt" werden, die ursprünglich für andere Zwecke in das Reinigungsgerät 100 eingebaut wurden. Es können aber zusätzliche Beleuchtungseinrichtungen verwendet werden oder bestehende Beleuchtungseinrichtungen aufgetrennt werden, beispielsweise zwei Teilleuchten, statt einer einzigen Leuchte.
  • Der hier vorgestellte Ansatz ermöglicht ein Erkennen von sauberem Spülgut. Dazu wird eine Glanzbetrachtung des Spülguts bzw. insbesondere Gläser durchgeführt, wobei das Spülgut im dreckigen Zustand eher matt oder milchig wirkt. Nach der Reinigung lässt sich ein erhöhter Glanz feststellen. Dieses Verhalten kann auch algorithmisch erfasst werden. So kann die Reflexion auf einem Glas durch an/ausschalten der Beleuchtungseinrichtungen 115, 125, 135, 145 an und abgewählt werden. Wird ein Reflexionspunkt untersucht, kann nun ein Vorher-Nachher-Vergleich der Schärfe bzw. des Kontrasts, zum Beispiel über MTF der Reflektion erfolgen. Ähnliches funktioniert bei weißem Porzellan: Der verschmutzte Teller reflektiert kaum, weil zum Beispiel Spinat den Teller bedeckt. Nach der Reinigung ist eine Reflexion auf dem glänzendem Geschirrgut sichtbar und eine Reinigungsleistung offensichtlich, siehe beispielsweise Figur 27 bis Figur 28.
  • Übertragen gesprochen, wird also eine Glanzbetrachtung durchgeführt. Diese Glanzbetrachtung ist insbesondere von den Reflexionen der Beleuchtungseinrichtungen 115, 125, 135, 145 abhängig. Um hier eine einfachere Chance zu haben, die ganzen Mehrfachreflexionen auseinander zu halten, werden nacheinander die Belichtungsquellen durchgeschaltet und mehrere Bilder aufgenommen.
  • Der Vorher-Nachher-Vergleich ist elementar, das heißt, es gibt einen Speicher im System, der die Vorherbilder speichert, die in der Analyse Phase mit den aktuellen Bildern verglichen werden.
  • Nun besteht jedoch auch die Möglichkeit, dass nur die Sichtscheibe der Kamera 110 dreckig ist. Um diesen Aspekt herauszurechnen, werden die Reflexionen an den Seitenwänden untersucht, die während der Beladung quasi kaum verdrecken. Hierüber ist ein Referenzwert ermittelbar.
  • Der hier vorgestellte Ansatz ermöglicht ein Ermitteln eines Trocknungsgrads. Wenn die Spülflotte trocknet, hängen Tropfen vom Beladungskorb 140, 150 herunter. Diese Tropfen lassen sich vermutlich einfach identifizieren, mittels Differenzbilder, Neuronaler Netze, Patternmatching. Da die Tropfen rund, klein und transparent sind, weisen sie ein ganz anderes Brechungs- und Beugungsverhalten auf, als Spülflotte. Insbesondere die Kanten der Tropfen sind aufgrund der Reflexionen und Beugungen gut sichtbar. Wird nun das Trocknungsverhalten auf Basis dieser herunterhängenden Tropfen, oder sonstigen Tropfen zum Beispiel auf dem Sprüharm 175, analysiert, lässt sich ein Wert für den Trocknungsgrad aufstellen. Möglichweise ist es denn noch schwierig, die Tropfen zu erkennen. Hier helfen die steuerbaren Beleuchtungseinrichtungen 115, 125, 135, 145. Da die Tropfen so klein und rund sind, ist über Beugung oftmals eine Beleuchtungseinrichtungen 115, 125, 135, 145 in den Tropfen zu sehen. Durch das Durchschalten der Beleuchtungseinrichtungen 115, 125, 135, 145 ist die Chance höher, die transparenten Tropfen von anderen Bildobjekten und/oder Überblendung zu unterscheiden. Gerade die Tropfen, die sich in der Sichtlinie zu einer Beleuchtungseinrichtungen 115, 125, 135, 145 befinden, sind ohne Umschaltbare Beleuchtungseinrichtungen 115, 125, 135, 145 nicht erkennbar.
  • Mit dem hier vorgestellten Ansatz ist es möglich Fremdlicht auszublenden. Anstatt nur ein Bild bei leicht geöffneter Tür, werden mindestens ein Bild mit eingeschalteten Beleuchtungseinrichtungen 115, 125, 135, 145 und ein Bild mit ausgeschalteten Beleuchtungseinrichtungen 115, 125, 135, 145 gemacht. Eine Verarbeitungseinheit rechnet danach zurück, welcher Beleuchtungsanteil von welcher Lichtquelle kam und erzeugt über entsprechende Differenzbilder ein synthetisches Bild, das so aussieht, als dringe kein Fremdlicht durch den Türspalt. Hierbei wird ausgenutzt, dass die optoelektronische Übertragungsfunktion, kurz OETF, deterministisch ist, das heißt modellierbar ist, welcher Lichtanteil zu welcher Lichtquelle gehört. Um den Prozess möglichst einfach zu gestalten, ist es von Vorteil, wenn die Bilder mit gleichen Belichtungseinstellungen vorgenommen werden. Es ist aber auch möglich, dass mehrere Bilder mit unterschiedlichen Belichtungszeiten verwendet werden, was in den Grundzügen einem high dynamic range Bild, kurz HDR, entspricht. Gerade in den vorderen Bereichen, tragen die Beleuchtungseinrichtungen 115, 125, 135, 145 weniger zur Helligkeit bei, als das Fremdlicht. In den hinteren Ecken ist dies genau umgekehrt. Um an diesen Stellen ausreichend Auflösung und ein ausreichend geringes Rauschen zu haben, ist also die Verwendung von mehreren Belichtungszeiten vorteilhaft. Eine Modellierung der Übertragungsfunktionen ist hierbei zwar deutlich komplexer, stellt aber mathematisch kein unlösbares Problem dar. Wichtig sind die äußeren Enden der Werteskala: Pixel die fast voll an sind, neigen oder sind übersättigt. Pixel die fast voll aus sind, können im Rauschen, black level, untergehen bzw. enorm verfälscht werden. Insbesondere für den zweiten Effekt, ergibt es Sinn das Verfahren mit räumlichen Filtern wie dem Medianfilter zu kombinieren, um rauschbedingte Ausreißer auszugleichen.
  • Zusammenfassend lässt sich festhalten: Der hier vorgestellte Ansatz verbessert die Erkennung einer Sprüharmblockade. Zusätzlich wird ein ordnungsgemäßes Zirkulieren jeglichen Spülwassers ermöglicht, sodass kein Spülwasser im Spülgut verbleibt. Dies erfolgt mittels einer Erkennung von nach oben gerichteten beckenförmigen Objekten. Ferner wird über ein Kamerabild mit geeigneter Belichtungssteuerung ist sauberes und dreckiges Spülgut erkennbar. Zusätzlich wird eine Tropfenerkennung optimiert. Hierdurch ist die Aussagekraft bzw. Schätzgenauigkeit einer Trocknungsgradschätzung verbessert. Außerdem erhöht der hier vorgestellte Ansatz die Robustheit von Computer Vision Anwendungen mit der Geschirrspülkamera, indem eine bessere Farbechtheit gewährleistet werden kann. Dies ist vor allem wichtig, wenn beim Öffnen der Tür des Reinigungsgeräts 100 Fremdlicht in den Innenraum 105 eindringt.
  • Figur 2 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 1, mit Ausnahme dessen, dass die Darstellung der Kamera und der Steuervorrichtung weggelassen ist.
  • Figur 3 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 weist lediglich beispielhaft die zwei Beladungskörbe 140, 150 und den einen Sprüharm 175 auf. Die Besteckschublade, die Beleuchtungseinrichtungen, die Kamera sowie die Steuervorrichtung sind weggelassen.
  • In Figur 3 weist der dritte Sprüharm 175 eine erste Sprüharmposition auf.
  • Figur 4 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 3, mit Ausnahme dessen, dass der dritte Sprüharm 175 eine zweite Sprüharmposition aufweist.
  • Figur 5 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 3 und/oder Figur 4, mit Ausnahme dessen, dass der dritte Sprüharm 175 eine dritte Sprüharmposition aufweist.
  • Figur 6 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 2.
  • In Figur 6 ragt eine Schale 600 teilweise aus dem Beladungskorb 140 heraus.
  • Figur 7 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 7, mit Ausnahme dessen, dass der dritte Sprüharm 175 in einem betriebsbereiten Zustand gezeigt ist. In dem betriebsbereiten Zustand wird der dritte Sprüharm 175 durch die Schale 600 blockiert.
  • Figur 8 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 6 und/oder Figur 7.
  • Lediglich beispielhaft ist die erste Beleuchtungseinrichtung 115 aktiviert und beleuchtet den Innenraum 105. Dabei fallen Lichtstrahlen 800 der ersten Beleuchtungseinrichtung 115 derart auf das Spülgut, dass die Schale 600 einen Schatten 805 auf den dritten Sprüharm 175 wirft, genauer gesagt auf den Kopf des dritten Sprüharms 175.
  • Figur 9 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 8, mit Ausnahme dessen, dass lediglich beispielhaft die zweite Beleuchtungseinrichtung 125 aktiviert ist. Dabei fallen Lichtstrahlen 900 der zweiten Beleuchtungseinrichtung 125 derart auf das Spülgut, dass die Schale 600 einen Schatten 905 auf den dritten Sprüharm 175 wirft. Der Schatten 905 zeichnet sich auf dem linken Arm des dritten Sprüharms 175 ab.
  • Figur 10 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 8 und/oder Figur 9, mit Ausnahme dessen, dass lediglich beispielhaft die dritte Beleuchtungseinrichtung 135 aktiviert ist.
  • Dabei fallen Lichtstrahlen 1000 der dritten Beleuchtungseinrichtung 135 derart auf das Spülgut, dass ein Schatten 1005 auf der Schale 600 entsteht.
  • Figur 11 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 8 und/oder Figur 9 und/oder Figur 10, mit Ausnahme dessen, dass lediglich beispielhaft die vierte Beleuchtungseinrichtung 145 aktiviert ist.
  • Dabei fallen Lichtstrahlen 1100 der vierten Beleuchtungseinrichtung 145 derart auf das Spülgut, dass ein Schatten 1105 in der Schale 600 entsteht. Die Figuren 6 bis 11 zeigen eine Erkennung der Positionierung der Blockade anhand der Schattenpositionen.
  • Figur 12 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus einer der vorstehend beschriebenen Figuren. Der dritte Sprüharm 175 ist in einem betriebsbereiten Zustand gezeigt ist. In dem betriebsbereiten Zustand wird der dritte Sprüharm 175 jedoch durch einen Topf 1200 blockiert, der in dem zweiten Beladungskorb 150 angeordnet ist und derart aus dem zweiten Beladungskorb 150 herausragt, dass er den dritten Sprüharm 175 sowie die vierte Beleuchtungseinrichtung 145 blockiert.
  • Figur 13 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus einer der vorstehend beschriebenen Figuren. Der dritte Sprüharm 175 ist in einem betriebsbereiten Zustand gezeigt, wobei er jedoch durch die Schale 600 blockiert wird. Die Schale 600 ist in dem ersten Beladungskorb 140 angeordnet und ragt teilweise aus dem ersten Beladungskorb 140 heraus, wodurch der dritte Sprüharm 175 blockiert sowie die dritte Beleuchtungseinrichtung 135 blockiert wird. Figur 12 bis 13 zeigen eine Verdeckung der Beleuchtungseinrichtungen durchhoch- oder herunterstehende Teile.
  • Figur 14 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus einer der vorstehend beschriebenen Figuren.
  • Aus dem ersten Beladungskorb 140 ragt eine Schöpfkelle 1400 zumindest teilweise heraus. Genauer gesagt ragt der Stiel der Schöpfkelle 1400 in Richtung des zweiten Beladungskorbs 150 heraus.
  • Figur 15 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 14, mit Ausnahme dessen, dass der dritte Sprüharm 175 in einem betriebsbereiten Zustand gezeigt ist. In diesem Zustand wird der dritte Sprüharm 175 jedoch von der Schöpfkelle 1400 bzw. von dem Stiel der Schöpfkelle 1400 blockiert.
  • Figur 16 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 14, mit Ausnahme dessen, dass die erste Beleuchtungseinrichtung 115 aktiviert ist.
  • Dabei fallen Lichtstrahlen 800 der ersten Beleuchtungseinrichtung 115 derart auf das Spülgut, dass die Schöpfkelle 1400 einen Schatten auf den dritten Sprüharm 175 wirft.
  • Figur 17 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 16, mit Ausnahme dessen, dass die zweite Beleuchtungseinrichtung 125 aktiviert ist.
  • Dabei fallen Lichtstrahlen 900 der zweiten Beleuchtungseinrichtung 125 derart auf das Spülgut, dass die Schöpfkelle 1400 einen Schatten auf den dritten Sprüharm 175 wirft.
  • Figur 18 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 16 und/oder Figur 17, mit Ausnahme dessen, dass die dritte Beleuchtungseinrichtung 135 aktiviert ist.
  • Dabei fallen Lichtstrahlen 1000 der dritten Beleuchtungseinrichtung 135 derart auf das Spülgut, dass ein Schatten an der Schöpfkelle 1400 entsteht.
  • Figur 19 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 16 und/oder Figur 17 und/oder Figur 18, mit Ausnahme dessen, dass die vierte Beleuchtungseinrichtung 145 aktiviert ist. Figur 14 bis 19 zeigen eine charakteristische Schattenbildung bei herunterstehenden Teilen.
  • Dabei fallen Lichtstrahlen 1100 der vierten Beleuchtungseinrichtung 145 derart auf das Spülgut, dass ein Schatten in der Schöpfkelle 1400 entsteht.
  • Figur 20 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dabei dem Reinigungsgerät aus Figur 13. Die Schale 600 ragt teilweise aus dem ersten Beladungskorb 140 heraus und blockiert dadurch den dritten Sprüharm 175, wobei der dritte Sprüharm 175 direkt unter dem ersten Beladungskorb 140 angeordnet ist.
  • Figur 21 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dabei dem Reinigungsgerät aus Figur 20 mit Ausnahme dessen, dass die Schöpfkelle 1400 teilweise aus dem ersten Beladungskorb 140 herausragt, genauer gesagt der Stiel der Schöpfkelle 1400, und dadurch den dritten Sprüharm 175 blockiert, wobei der erste Beladungskorb 140 direkt über dem Sprüharm 175 angeordnet ist.
  • Figur 22 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dabei dem Reinigungsgerät aus Figur 20 und/oder Figur 22 mit Ausnahme dessen, dass eine Pfanne 2200 teilweise aus dem zweiten Beladungskorb 150 in Richtung des dritten Sprüharms 175 herausragt, genauer gesagt der Stiel der Pfanne 2200, und somit den dritten Sprüharm 175 blockiert. Dabei sind der erste Beladungskorb 140, der Sprüharm 175 und der zweite Beladungskorb 150 sehr dicht aneinander angeordnet. Figur 21 bis 22 zeigen eine unterschiedliche Korbhöhe und die Positionsabhängigkeit, inklusive unterschiedlicher Blockadesituationen.
  • Figur 23 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100, das dem Reinigungsgerät aus einer der vorstehend beschriebenen Figuren ähnelt.
  • In dem zweiten Beladungskorb 150 ist beispielsweise eine Schüssel 2300 angeordnet, die eine konkave Unterseite 2305 aufweist. Die Schüssel 2300 ist derart in dem zweiten Beladungskorb 150 angeordnet, dass die konkave Unterseite 2305 in Richtung des dritten Sprüharms 175 zeigt. Figur 23 zeigt das Reinigungsgerät 100 vor einem Spülgang.
  • Figur 24 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100 nach einem Spülgang. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 23 mit Ausnahme dessen, dass sich Spülwasser 2400 auf der Unterseite 2305 der Schüssel 2300 gesammelt hat.
  • Figur 25 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 24 mit Ausnahme dessen, dass die dritte Beleuchtungseinrichtung 135 aktiviert ist.
  • Dabei fallen Lichtstrahlen 1000 der dritten Beleuchtungseinrichtung 135 derart auf das Spülgut, dass auf der Unterseite 2305 der Schüssel 2300 ein Schatten 2500 entsteht.
  • Figur 26 zeigt eine Darstellung eines Ausführungsbeispiels eines Reinigungsgeräts 100. Das Reinigungsgerät 100 ähnelt dem Reinigungsgerät aus Figur 25 mit Ausnahme dessen, dass die vierte Beleuchtungseinrichtung 145 aktiviert ist.
  • Dabei fallen Lichtstrahlen 1100 der vierten Beleuchtungseinrichtung 145 derart auf das Spülgut, dass auf der Unterseite 2305 der Schüssel 2300 ein Schatten 2500 entsteht.
  • Figur 27 zeigt eine Darstellung eines Innenraums 105 eines Ausführungsbeispiels eines Reinigungsgeräts 100.
  • In dem Innenraum 105 ist lediglich beispielhaft eine Tasse 2700 angeordnet, die von der zweiten Belichtungseinrichtung 125 beleuchtet wird. Dabei treffen Lichtstrahlen der zweiten Beleuchtungseinrichtung 125 derart auf die Tasse 2700, dass die Tasse 2700 einen Schatten 2705 wirft.
  • Figur 28 zeigt eine Darstellung eines Innenraums 105 eines Ausführungsbeispiels eines Reinigungsgeräts 100. Dabei ähnelt der Innenraum 105 dem Innenraum aus Figur 27, mit Ausnahme dessen, dass die erste Beleuchtungseinrichtung 115 aktiviert ist. Die Tasse 2700 wird derart von der ersten Beleuchtungseinrichtung 115 beleuchtet, dass die Tasse 2700 einen Schatten 2705 wirft.
  • Figur 29 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erkennen eines Innenraums eines Reinigungsgeräts. Das Reinigungsgerät entspricht dem Reinigungsgerät aus einer der vorstehend beschriebenen Figuren.
  • Der Block 2900 markiert einen gewünschten Start eines Reinigungsprogramms. Nachfolgend wird in dem Block 2905 überprüft, ob ein Bild eines leeren Innenraums des Reinigungsgeräts, also ein Leerbild, vorliegt und/oder ob der Innenraum des Reinigungsgeräts leer ist. Wenn kein Leerbild vorliegt bzw der Innenraum leer ist, wird zu dem Block 2910 gesprungen. In dem Block 2910 wird eine Basiskonstellation der Beleuchtung angeschaltet. Im Block 2915 werden Bilddaten aufgenommen und im Speicher abgelegt. In anderen Worten ausgedrückt wird eine Spülraumaufnahme ohne Spülgitter, aber mit Gestellen durchgeführt. Nachfolgend wird zu dem Block 2920 gesprungen. In dem Block 2920 wird das Spülgut in den Innenraum eingelegt.
  • Es wird dann wieder zu Block 2905 gesprungen und von dort aus zu Block 2925.
  • In dem Block 2925 werden mittels der Kamera Bilddaten aufgenommen und in dem Speicher abgelegt.
  • Nachfolgend wird zu Block 2930 gesprungen, in dem die Beleuchtungskonstellation verändert wird.
  • In dem Block 2935 wird überprüft, ob alle Beleuchtungskonstellationen durchgeführt wurden. Wenn dies nicht der Fall ist, wird wieder zu Block 2925 gesprungen. Dies wird so oft wiederholt, bis alle Beleuchtungskonstellationen aufgenommen wurden.
  • In dem Block 2940 werden die Bilder vorverarbeitet. Gemäß einem Ausführungsbeispiel wird von dem Block 2930 direkt zu dem Block 2940 gesprungen. Gemäß einem weiteren Ausführungsbeispiel wird von dem Block 2920 direkt zu dem Block 2940 gesprungen.
  • In dem Block 2945 werden die Tiefeninformationen geschätzt. Danach wird zu Block 2950 gesprungen, in dem die Tiefeninformationen an einen anderen Prozess bereitgestellt werden.
  • Der Block 2955 repräsentiert einen Start des gewünschten Reinigungsprogrammes oder ein Ende des gewünschten Reinigungsprogrammes.
  • Figur 30 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 3000 zum Erkennen eines Innenraums eines Reinigungsgeräts.
  • Das Verfahren 3000 umfasst einen Schritt 3005 des Ausgebens eines ersten Beleuchtungssignals an eine Schnittstelle zu der ersten Beleuchtungseinrichtung, um die erste Beleuchtungseinrichtung in einen ersten Zustand zu versetzen. Der erste Zustand repräsentiert beispielsweise einen Zustand, in dem die erste Beleuchtungseinrichtung aktiviert ist und den Innenraum des Reinigungsgeräts beleuchtet.
  • Zusätzlich umfasst das Verfahren 3000 einen Schritt 3010 des Einlesens eines ersten Bildsignals über eine Schnittstelle zu der Kamera, wobei das erste Bildsignal ein von der Kamera, während sich die erste Beleuchtungseinrichtung in dem ersten Zustand befindet, aufgenommenes erstes Bild repräsentiert.
  • Das Verfahren 3000 umfasst außerdem einen Schritt 3015 des Ausgebens eines zweiten Beleuchtungssignals an die Schnittstelle zu der ersten Beleuchtungseinrichtung, um die erste Beleuchtungseinrichtung in einen zweiten Zustand zu versetzen. Der zweite Zustand repräsentiert beispielsweise einen Zustand, in dem die erste Beleuchtungseinrichtung deaktiviert oder gedimmt ist und den Innenraum des Reinigungsgeräts nicht bzw. nur teilweise beleuchtet.
  • Ferner umfasst das Verfahren 3000 einen Schritt 3020 des Einlesens eines zweiten Bildsignals über die Schnittstelle zu der Kamera, wobei das Bildsignal ein von der Kamera, während sich die erste Beleuchtungseinrichtung in dem zweiten Zustand befindet, aufgenommenes zweites Bild repräsentiert.
  • Das Verfahren 3000 umfasst zusätzlich einen Schritt 3025 des Ermittelns eines Differenzbildsignals unter Verwendung des ersten Bildsignals und des zweiten Bildsignals, wobei das Differenzbildsignal eine Tiefeninformation des Innenraums repräsentiert.
  • Gemäß einem Ausführungsbeispiel umfasst das Verfahren 3000 einen Schritt 3030 des Bestimmens eines Parametersignals für eine Steuerung eines Programmablaufs des Reinigungsgeräts, unter Verwendung des Differenzbildsignals. Der Schritt 3030 des Bestimmens wird nach dem Schritt 3025 des Ermittelns ausgeführt.
  • Zusätzlich umfasst das Verfahren 3000 beispielsweise einen Schritt 3035 des Vorverarbeitens des ersten Bildsignals und des zweiten Bildsignals. Dabei wird der Schritt 3035 des Vorverarbeitens vor dem Schritt des Ermittelns 3025 ausgeführt.
  • Gemäß einem weiteren Ausführungsbeispiel umfasst das Verfahren 3000 einen Schritt 3040 des Erfassens eines Referenzbildsignals, wobei das Referenzbildsignal ein von der Kamera aufgenommenes Referenzbild eines leeren Innenraums des Reinigungsgeräts repräsentiert. Der Schritt des Erfassens 3040 wird vor dem Schritt 3025 des Ermittelns ausgeführt.
  • Das Verfahren 3000 umfasst beispielsweise einen Schritt 3045 des Ausgebens eines dritten Beleuchtungssignals an eine Schnittstelle zu der zweiten Beleuchtungseinrichtung, um die zweite Beleuchtungseinrichtung in den ersten Zustand zu versetzen. In einem Schritt 3050 des Einlesens wird das dritte Bildsignal über die Schnittstelle zu der Kamera eingelesen, wobei das dritte Bildsignal ein von der Kamera, während sich die zweite Beleuchtungseinrichtung in dem ersten Zustand befindet, aufgenommenes drittes Bild repräsentiert. Im Schritt 3025 des Ermittelns wird das Differenzbildsignal unter Verwendung des ersten Bildsignals, des zweiten Bildsignals und des dritten Bildsignals ermittelt.
  • Gemäß einem weiteren Ausführungsbeispiel wird in einem Schritt 3055 des Ausgebens ein viertes Beleuchtungssignal an eine Schnittstelle zu der zweiten Beleuchtungseinrichtung ausgegeben, um die zweite Beleuchtungseinrichtung in den zweiten Zustand zu versetzen. In einem Schritt 3060 des Einlesens wird ein viertes Bildsignal über die Schnittstelle zu der Kamera eingelesen, wobei das vierte Bildsignal ein von der Kamera, während sich die zweite Beleuchtungseinrichtung in dem zweiten Zustand befindet, aufgenommenes viertes Bild repräsentiert. Im Schritt 3025 des Ermittelns wird das Differenzbildsignal unter Verwendung des ersten Bildsignals, des zweiten Bildsignals, des dritten Bildsignals und des vierten Bildsignals ermittelt.
  • In anderen Worten ausgedrückt ist das Verfahren 3000 zum Generieren von Tiefeninformationen ausgebildet.
  • Zusammenfassend lässt sich festhalten, dass das Verfahren 3000 aus zwei Schritten besteht: der Generierung des Bildmaterials und der Schätzung von Tiefeninformationen.
  • Die Generierung der Bilddaten erfolgt in sequenzieller Form. Es wird eine Beleuchtungskonstellation angeschaltet, ein Bild aufgenommen und dann die nächste Beleuchtungskonstellation angeschaltet, usw. Hierbei kann unter Beleuchtungskonstellation je eine aktive Beleuchtungseinrichtung gemeint sein. Es können jedoch auch einzelne Lampen weggeschaltet werden, sodass die Schaltsequenz für einen Menschen vor dem Gerät mit nur wenigen Lichtschwankungen wahrnehmbar ist. Ein weiteres Bild kann mit allen aktiven Beleuchtungseinheiten aufgenommen werden. In der einfachsten Form wird einmal nur die rechte, einmal nur die linke und einmal alle Leuchten angeschaltet, sodass drei Bilder entstehen.
  • Die Schätzung der Tiefeninformation erfolgt auf Basis von Differenzbildern. Bei jeder Beleuchtungskonstellation entstehen unterschiedliche Schatten. Wird die Differenz von einem Bild zu dem Bild gemacht, auf dem alle Beleuchtungseinheiten angeschaltet sind, lassen sich Schatten, sowie Lichthöfe identifizieren. Insbesondere bei strukturierten Objekten sind auch auf geraden Flächen hohe Differenzen sichtbar. Um dies zu verhindern, kann vor der Differenz ein Glättungsoperator und eine weitere Vorverarbeitung, wie das 2D-Medianfilter angewendet werden. Die Bilddaten werden dann verwendet, um eine Tiefeninformation zu schätzen. Hierbei kann ein analytisches Verfahren, eine klassische Bildverarbeitung, zur Approximation der Schattenfläche und/oder -läge verwendet werden oder ein trainiertes Modell, künstliche Intelligenz, das aus den Bildern eine Information zur Schattenfläche, -läge und/oder-ausrichtung bestimmt.
  • Das Verfahren 3000 kann ebenfalls mit gedimmten Beleuchtungseinheiten durchgeführt werden. So kann beispielsweise je Lampe um 50 % gedimmt werden, um die Beleuchtungskonstellation signifikant zu ändern.
  • Des Weiteren kann auch ein Bild bei ausgeschalteten Lichtquellen verwendet werden, um den Einfluss der Umgebungsbeleuchtung, die durch eine leicht geöffnete Geschirrspültür eindringt, herausrechnen zu können.
  • Um eine bessere Trennung von Schatten des Spülguts und Körben/Innenbleche zu erhalten, kann der Prozess so erweitert werden, dass ein Referenzbild, also ein Leerbild, aufgenommen wird, wenn das zu untersuchende Objekt nicht im Spülinnenraum eingelegt ist. Hierbei wird die Beleuchtung in der Grundeinstellung eingeschaltet, ein Bild aufgenommen und erst dann das Gargut eingelegt. Dies kann insbesondere dann ein Vorteil sein, wenn das Spülgut geometrisch komplex ist. Das aufgenommene Referenzbild kann dann zur Berechnung der Differenzbilder verwendet werden. Bei dem Geschirrspüler wird das Leerbild statisch gespeichert, da nicht immer klar ist, wann tatsächlich der Innenraum frei von Spülgut ist. Hierzu wird nach Entladen der Maschine nach einem Spülgang ein Bild aufgenommen, das von einem externen Prozess, Erkennung über Kl, auf leer verifiziert wird.
  • Das gesamte Verfahren 3000 dient nicht nur der statischen Bestimmung der Tiefeninformation zu einem Zeitpunkt, sondern kann auch dynamisch, sprich bei einem zeitlichen Verlauf, verwendet werden. Hierzu wird der Beleuchtungs- und Tiefenschätzprozess periodisch wiederholt und die ermittelten Werte als Zeitverlauf im Speicher des Prozessrechners hinterlegt. Die Messpunkte auf den Kurvenverläufen dienen dazu, die Erkennung von Spülschatten oder möglichen Wasserbecken zu verbessern. Liegt eine nach oben liegende Schale vor, kann mitunter erfasst werden, dass diese sukzessive vollläuft, sodass das stehende Wasser die Form der Kontur verändert. Hierrüber kann zwar nicht vor dem Spülprozess das Problem analysiert werden, aber möglicherweise bei kritischen Objekten, zum Beispiel Nierenschale bei professionellen Geräten, der Hinweise gegeben werden, dass es hier zu keiner ausreichenden Reinigungsleistung gekommen sein kann.
  • Figur 31 zeigt ein Blockschaltbild einer Steuervorrichtung 120 zum Erkennen eines Innenraums eines Reinigungsgeräts. Die Steuervorrichtung 120 ähnelt oder entspricht der Steuervorrichtung aus Figur 1.
  • Die Steuervorrichtung 120 weist Einheiten 3105, 3115, 3145, 3155 zum Ausgeben, Einheiten 3110, 3120, 3150, 3160 zum Einlesen, eine Einheit 3125 zum Ermitteln und optional eine Einheit 3130 zum Bestimmen, eine Einheit 3135 zum Vorverarbeiten und eine Einheit 3140 zum Erfassen auf.
  • Die Einheit 3105, 3115, 3145, 3155 zum Ausgeben sind ausgebildet, um je ein Beleuchtungssignal 3108, 3118, 3148, 3158 auszugeben.
  • Die Einheiten 3110, 3120, 3150, 3160 zum Einlesen sind ausgebildet, um je ein Bildsignal 3112, 3122, 3152, 3162 einzulesen.
  • Dabei wird das erste Bildsignal 3112 eingelesen, während das erste Beleuchtungssignal 3108 ausgegeben wird. Das zweite Bildsignal 3122 wird eingelesen, während das zweite Beleuchtungssignal 3118 ausgegeben wird. Das dritte Bildsignal 3152 wird eingelesen. Während das dritte Beleuchtungssignal 3148 ausgegeben wird und das vierte Bildsignal 3162 wird eingelesen. Während das vierte Beleuchtungssignal 3158 ausgegeben wird.
  • Die Einheit 3125 zum Ermitteln ist ausgebildet, um unter Verwendung des ersten Bildsignals 3112, des zweiten Bildsignals 3122 und optional des dritten Bildsignals 3152 und vierten Bildsignals 3162 ein Differenzbildsignal 3128 zu ermitteln.
  • Die Einheit 3130 zum Bestimmen ist ausgebildet, um unter Verwendung des Differenzbildsignals 3128 ein Parametersignal 3132 für eine Steuerung eines Programmablaufs des Reinigungsgeräts zu bestimmen.
  • Die Einheit 3135 zum Vorverarbeiten ist ausgebildet, um die Bildsignale 3112, 3122, und optional die Bildsignale 3152, 3162 vorzuverarbeiten.
  • Die Einheit 3140 zum Erfassen ist ausgebildet, um ein Referenzbildsignal 3142 zu erfassen. Das Referenzbildsignal 3142 repräsentiert ein von der Kamera aufgenommenes Referenzbild eines leeren Innenraums des Reinigungsgeräts. Die Einheit 3125 zum Ermitteln ermittelt das Differenzbildsignal 3128 unter Verwendung des Referenzbildsignals 3142.

Claims (11)

  1. Verfahren (3000) zum Erkennen eines Innenraums (105) eines Reinigungsgeräts (100), wobei das Reinigungsgerät (100) eine Kamera (110) zum Erfassen des Innenraums (105) des Reinigungsgeräts (100) und mindestens eine erste Beleuchtungseinrichtung (115) und vorzugsweise eine zweite Beleuchtungseinrichtung (125) zum Beleuchten des Innenraums (105) aufweist, wobei das Reinigungsgerät (100) eine Steuervorrichtung (120) aufweist, wobei das Verfahren (3000) die folgenden Schritte umfasst:
    Ausgeben (3005) eines ersten Beleuchtungssignals (3108) an eine Schnittstelle zu der ersten Beleuchtungseinrichtung (115), um die erste Beleuchtungseinrichtung (115) in einen ersten Zustand zu versetzen;
    Einlesen (3010) eines ersten Bildsignals (3112) über eine Schnittstelle zu der Kamera (110), wobei das erste Bildsignal (3112) ein von der Kamera (110), während sich die erste Beleuchtungseinrichtung (115) in dem ersten Zustand befindet, aufgenommenes erstes Bild repräsentiert;
    Ausgeben (3015) eines zweiten Beleuchtungssignals (3118) an die Schnittstelle zu der ersten Beleuchtungseinrichtung (115), um die erste Beleuchtungseinrichtung (115) in einen zweiten Zustand zu versetzen;
    Einlesen (3020) eines zweiten Bildsignals (3122) über die Schnittstelle zu der Kamera (110), wobei das zweite Bildsignal (3122) ein von der Kamera (110), während sich die erste Beleuchtungseinrichtung (115) in dem zweiten Zustand befindet, aufgenommenes zweites Bild repräsentiert; und
    Ermitteln (3025) eines Differenzbildsignals (3128) unter Verwendung des ersten Bildsignals (3112) und des zweiten Bildsignals (3122), wobei das Differenzbildsignal (3128) eine Tiefeninformation des Innenraums (105) repräsentiert.
  2. Verfahren (3000) gemäß Anspruch 1, mit einem Schritt (3030) des Bestimmens eines Parametersignals (3132) für eine Steuerung eines Programmablaufs des Reinigungsgeräts (100), unter Verwendung des Differenzbildsignals (3128).
  3. Verfahren (3000) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (3035) des Vorverarbeitens des ersten Bildsignals (3112) und des zweiten Bildsignals (3122), wobei der Schritt (3035) des Vorverarbeitens vor dem Schritt (3025) des Ermittelns ausgeführt wird.
  4. Verfahren (3000) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Ausgebens (3045) eines dritten Beleuchtungssignals (3148) an eine Schnittstelle zu der zweiten Beleuchtungseinrichtung (125), um die zweite Beleuchtungseinrichtung (125) in den ersten Zustand zu versetzen, mit einem Schritt (3050) des Einlesens eines dritten Bildsignals (3152) über die Schnittstelle zu der Kamera (110), wobei das dritte Bildsignal (3152) ein von der Kamera (110), während sich die zweite Beleuchtungseinrichtung (125) in dem ersten Zustand befindet, aufgenommenes drittes Bild repräsentiert, wobei im Schritt (3025) des Ermittelns das Differenzbildsignal (3128) unter Verwendung des ersten Bildsignals (3112), des zweiten Bildsignals (3122) und des dritten Bildsignals (3152) ermittelt wird.
  5. Verfahren (3000) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Ausgebens (3055) eines vierten Beleuchtungssignals (3158) an eine Schnittstelle zu der zweiten Beleuchtungseinrichtung (125), um die zweite Beleuchtungseinrichtung (125) in den zweiten Zustand zu versetzen, mit einem Schritt (3060) des Einlesens eines vierten Bildsignals (3162) über die Schnittstelle zu der Kamera (110), wobei das vierte Bildsignal (3162) ein von der Kamera (110), während sich die zweite Beleuchtungseinrichtung (125) in dem zweiten Zustand befindet, aufgenommenes viertes Bild repräsentiert, wobei im Schritt (3025) des Ermittelns das Differenzbildsignal (3128) unter Verwendung des ersten Bildsignals (3112), des zweiten Bildsignals (3122), des dritten Bildsignals (3152) und des vierten Bildsignals (3162) ermittelt wird.
  6. Verfahren (3000) gemäß einem der vorangegangenen Ansprüche, wobei in den Schritten (3005, 3045) des Ausgebens der erste Zustand einen Zustand repräsentiert, in dem die erste Beleuchtungseinrichtung (115) und/oder die zweite Beleuchtungseinrichtung (125) aktiviert ist, um den Innenraum (105) des Reinigungsgeräts (100) zu beleuchten.
  7. Verfahren (3000) gemäß einem der vorangegangenen Ansprüche, wobei in den Schritten (3015, 3055) des Ausgebens der zweite Zustand einen Zustand repräsentiert, in dem die erste Beleuchtungseinrichtung (115) und/oder die zweite Beleuchtungseinrichtung (125) deaktiviert oder gedimmt ist.
  8. Verfahren (3000) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (3040) des Erfassens eines Referenzbildsignals (3142), wobei das Referenzbildsignal (3142) ein von der Kamera (110) aufgenommenes Referenzbild eines leeren Innenraums (105) des Reinigungsgeräts (100) repräsentiert, wobei im Schritt (3025) des Ermittelns das Differenzbildsignal (3128) unter Verwendung des Referenzbildsignals (3142) ermittelt wird.
  9. Steuervorrichtung (120) zum Erkennen eines Innenraums (105) eines Reinigungsgeräts (100), wobei die Steuervorrichtung (120) ausgebildet ist, um die Schritte des Verfahrens (3000) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen und/oder anzusteuern.
  10. Reinigungsgerät (100) mit einer Kamera (110) zum Erfassen eines Innenraums (105) des Reinigungsgeräts (100) und mit einer ersten Beleuchtungseinrichtung (115) und einer zweiten Beleuchtungseinrichtung (125) zum Beleuchten des Innenraums (105) des Reinigungsgeräts (100) und mit einer Steuervorrichtung (120) gemäß Anspruch 9.
  11. Reinigungsgerät (100) gemäß Anspruch 10, mit einer Tür zum Verschließen des Innenraums (105) des Reinigungsgeräts (100), wobei die Kamera (110) an der Tür angeordnet ist.
EP24190915.9A 2023-08-16 2024-07-25 Verfahren und vorrichtung zum erkennen eines innenraums eines reinigungsgeräts und reinigungsgerät Withdrawn EP4509031A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023121851 2023-08-16

Publications (1)

Publication Number Publication Date
EP4509031A1 true EP4509031A1 (de) 2025-02-19

Family

ID=92042783

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24190915.9A Withdrawn EP4509031A1 (de) 2023-08-16 2024-07-25 Verfahren und vorrichtung zum erkennen eines innenraums eines reinigungsgeräts und reinigungsgerät

Country Status (1)

Country Link
EP (1) EP4509031A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019104519A1 (de) * 2019-02-22 2020-08-27 Miele & Cie. Kg Aufzeichnungsvorrichtung zum Erfassen eines Spülraumes für ein Reinigungsgerät und Reinigungsgerät
EP3932282A1 (de) * 2020-07-01 2022-01-05 Miele & Cie. KG Spülgerät mit bilderfassungseinrichtung
DE102021200715A1 (de) 2021-01-27 2022-07-28 BSH Hausgeräte GmbH System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt
US20230172423A1 (en) * 2020-05-25 2023-06-08 BSH Hausgeräte GmbH System comprising a dishwasher and method for operating a dishwasher

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019104519A1 (de) * 2019-02-22 2020-08-27 Miele & Cie. Kg Aufzeichnungsvorrichtung zum Erfassen eines Spülraumes für ein Reinigungsgerät und Reinigungsgerät
US20230172423A1 (en) * 2020-05-25 2023-06-08 BSH Hausgeräte GmbH System comprising a dishwasher and method for operating a dishwasher
EP3932282A1 (de) * 2020-07-01 2022-01-05 Miele & Cie. KG Spülgerät mit bilderfassungseinrichtung
DE102021200715A1 (de) 2021-01-27 2022-07-28 BSH Hausgeräte GmbH System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt

Similar Documents

Publication Publication Date Title
WO2019015996A1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
EP2434936B1 (de) Geschirrspülmaschine
DE102020112205B4 (de) Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine
DE102015102694B4 (de) Verfahren zur Ermittlung der Drehzahl eines Sprüharms einer Geschirrspülmaschine
EP3654818B1 (de) Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine
EP4076123B1 (de) Geschirrspülmaschine, anordnung mit einer geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
DE102011053555B4 (de) Wiederverwendung von Spülflüssigkeit in einem Geschirrspüler
DE102017212313A1 (de) Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine
DE102020128333B4 (de) Transportspülmaschine sowie verfahren zum betreiben einer transportspülmaschine
DE10048081A1 (de) Verfahren zur Erkennung der Spülgutbeladung und/oder des Verschmutzungsgrades von Spülgut in einer programmgesteuerten Geschirrspülmaschine und Geschirrspülmaschine dafür
DE102017126856A1 (de) Spülmaschine sowie Verfahren zum Reinigen von Spülgut in einer Spülmaschine
DE102013110642A1 (de) Gargerät mit Kamera und Verfahren zur Einschuberkennung
DE102018202092A1 (de) Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine, Haushaltsgeschirrspülmaschine und System
DE102019111848B4 (de) System zur optischen Spülguterkennung bei Spülmaschinen, Verfahren zur optischen Spülguterkennung, Spülmaschine mit einem optischen Spülguterkennungssystem sowie Verfahren zum Betreiben einer solchen Spülmaschine
DE102015107521A1 (de) Verfahren zum Steuern eines Haushaltsgeräts und Steuergerät
EP3530172B1 (de) Spülmaschine mit beladungserkennung
EP4106596B1 (de) System mit einer geschirrspülmaschine und verfahren zum betreiben einer geschirrspülmaschine
EP4509031A1 (de) Verfahren und vorrichtung zum erkennen eines innenraums eines reinigungsgeräts und reinigungsgerät
DE102011084180B3 (de) Vorrichtung zur Detektion von Ablagerungen in einem Innenraum eines Haushaltsgeräts und Haushaltsgerät
WO2022161778A1 (de) System mit einer geschirrspülmaschine, verfahren und computerprogrammprodukt
DE10040483A1 (de) Verfahren zur Ermittlung des Verschmutzungsgrades der Spülflüssigkeit bei einer mit einem Trübungssensor ausgestatteten programmgesteuerten Geschirrspülmaschine
DE102020206487A1 (de) System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt
DE102020211543A1 (de) System mit einer Geschirrspülmaschine, Verfahren zum Betreiben einer Geschirrspülmaschine und Computerprogrammprodukt
DE102020200254B4 (de) Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine
EP4410173B1 (de) Gewerbliche spülmaschine sowie verfahren zum betreiben einer gewerblichen spülmaschine

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250820