EP4229336A1 - Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts - Google Patents

Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts

Info

Publication number
EP4229336A1
EP4229336A1 EP21790808.6A EP21790808A EP4229336A1 EP 4229336 A1 EP4229336 A1 EP 4229336A1 EP 21790808 A EP21790808 A EP 21790808A EP 4229336 A1 EP4229336 A1 EP 4229336A1
Authority
EP
European Patent Office
Prior art keywords
image
camera
cooking chamber
cooking
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21790808.6A
Other languages
English (en)
French (fr)
Inventor
Helge Nelson
Jürgen Scharmann
Niklas Birwe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miele und Cie KG
Original Assignee
Miele und Cie KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miele und Cie KG filed Critical Miele und Cie KG
Publication of EP4229336A1 publication Critical patent/EP4229336A1/de
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C14/00—Stoves or ranges having self-cleaning provisions, e.g. continuous catalytic cleaning or electrostatic cleaning

Definitions

  • the present invention relates to a method for determining the time for cleaning a cooking chamber of a cooking appliance, in which camera images from a camera directed into the cooking chamber are fed to evaluation electronics, which uses the camera images to determine the degree of soiling of the cooking chamber using software-supported image analysis.
  • Shading effects from trays or racks in the cooking space are not recognized and are not taken into account.
  • the respective measurement is limited to the window size to the optical sensor and is inaccurate. It is not possible to discern the nature of the pollution.
  • the reference value must also have been saved beforehand, although it remains unclear what should actually serve as a reference value.
  • DE 102014 116 709 A1 describes a method for determining the degree of soiling of a cooking appliance, in which a sensor surface is illuminated at an angle by a light source and the light reflected by the sensor surface is received by a camera in order to compare the light emitted by the light source Emitted light to close with the light received by the camera on a degree of contamination. Since both the light source and the camera are outside the cooking chamber, but the dirt accumulates inside the cooking chamber, this method is also imprecise and unreliable.
  • the general problem is that a cooking appliance is cleaned too infrequently and cleaning is postponed even though it could help the function of the cooking appliance and the result of the cooking process. Fat spatters adhering to the interior surfaces of a cooking appliance make up a significant part of the soiling of a cooking appliance.
  • a light source that is intended to illuminate the cooking chamber can be darkened by soiling, so that it no longer illuminates the cooking chamber sufficiently to be able to observe the food well during a cooking process.
  • the image quality of camera images can deteriorate over the long term if they are not cleaned. This is particularly troublesome when the camera images are transferred to a display of the cooking appliance or a smart device that is independent of the cooking appliance and the food to be cooked can no longer be seen optimally on the camera images. As a result, the cooking progress is recognized more poorly and may be incorrectly evaluated.
  • the aesthetic pleasure of seeing the cooking progress can also be affected. Delayed cleaning of the cooking chamber can result in increased workload occur, or unpleasant odors arise from the combustion of the dirt during pyrolytic cleaning. The reaction products from the combustion of pollution can also exceed permissible limit values for the room air without the user noticing.
  • the object is achieved for a generic method in that, from several camera images, the brightness values of several or all pixels of the camera images are decided whether cleaning is required by averaging using a metric and subsequent forming a limit value or using a limiting value and subsequent averaging using a metric.
  • a variance in the image values can arise in particular if the food to be cooked is moved in the cooking chamber.
  • Camera images can also be used that were taken from various successive cooking processes with different items to be cooked.
  • different brightness values of the individual pixels can also result from a comparison of camera images from a single cooking process if the food to be cooked changes sufficiently during the cooking process, for example rises and/or browns.
  • the brightness values of pixels change when averaging to form an average image, regardless of whether the camera images used for the averaging show the food to be cooked or not, while dirt spots are at the same place and, with regard to their shape and brightness, are at least approximately the same during further cooking processes stay the same. This is also independent of the use of a color or a monochromatic camera.
  • Averaging to generate an average image by means of a metric is a mathematical process used to calculate image values of pixels with one another in order to obtain information about regions that do not change or no longer change and which can therefore be regarded as dirty regions .
  • An average image can be formed from the multiple camera images by calculating, for example, an arithmetic mean value or a median value as a metric from the gray or color values for a pixel point or a pixel field that corresponds to one another in the camera images.
  • the advantage of a median value can be seen in the fact that individual outlier values have less of an impact on the mean value. For example, if there are fat deposits on wall surfaces in the cooking chamber, these can be clearly seen on the average image as dark spots that contrast in their area and at the edges with the brightness or color values of the surrounding image components of the average image.
  • this description refers to the "average image" on the basis of which evaluations are made, this does not always mean the exact average image in the narrow sense that results from the averaging of the gray or color values of the individual pixels from the camera images , but in a broader sense also those images and the gray or color values contained therein and other information that result from further processing of the average image in the narrower sense, such as a binarized image in which the pixels are only digitally labeled as "dirty " or "not soiled” are shown. If derivations formed from the average image are also meant, this is indicated in each case.
  • the dirty pixels are generally not only darker than non-dirty pixels, but also have a lower standard deviation or a smaller variance. Therefore, instead of the arithmetic mean, the standard deviation or the lower variance can also be determined.
  • Other methods can also be used as a metric for forming an average for combining multiple images, such as forming a geometric or harmonic mean, forming averages in different color spaces, determining weighted averages, determining spatial or temporal gradients of brightness and/or color, the use of high-pass, low-pass or other filters, without this list of examples being limited to the methods mentioned.
  • the evaluation electronics can calculate image values for each individual pixel or also for pixel fields in which the image values of several pixels are viewed together. By considering pixel fields, the complexity of the calculations can be reduced without a loss of quality in the assessment of the degree of soiling necessarily having to occur.
  • Information about the degree of soiling is extracted from the average image or a derivation formed from it by subjecting the average image to a software-supported image evaluation.
  • the image evaluation can be carried out using the known statistical methods and/or suitable filter techniques using suitable filters for individual image values such as the brightness or color values of individual pixels and pixel fields, area distributions of certain brightness or color values, and the like.
  • the image evaluation is no longer dependent on information that is outside the camera images or the average image or a derivation formed therefrom, such as reference images or other reference values.
  • the evaluation electronics can output a signal that a cleaning process is recommended when the degree of soiling determined using the average image or a derivation formed therefrom has reached a threshold value for soiling that is no longer acceptable.
  • the threshold value can be defined, for example, via a percentage of the area of the areas identified as dirty in the total area of the average image or a derivation formed therefrom and/or the area percentage of at least one single coherent area identified as dirty in the total area of the average image or a derivation formed therefrom. Larger pixel fields recognized as dirty can also be taken into account with a disproportionate weighting in the evaluation, because larger areas of dirt make cleaning the cooking chamber seem advisable.
  • the evaluation electronics can evaluate the need for cleaning after each cooking process, but timing is also possible, for example after every third or fifth cooking process, or the evaluation is based on operating parameters such as the preselected temperature, a grill that is switched on, the duration of a cooking process or a combination of these options.
  • the software-supported image processing can be used to classify pixels and/or pixel fields from the camera images or the average image or a derivation formed therefrom as dirty or not dirty, and the evaluation electronics determine the degree of soiling from the proportions of the pixels and/or pixel fields classified as dirty and not dirty of the cooking chamber.
  • the evaluation electronics can assess the cooking chamber as in need of cleaning if the proportion of pixels and pixel fields classified as dirty in the total area of the average image or a derivation formed therefrom reaches or exceeds 5%.
  • the proportion can also be higher or lower depending on the programming of the evaluation electronics.
  • the image evaluation of the camera images or the average image or a derivation formed therefrom can take place independently of how users of the cooking appliance individually equip the cooking chamber, for example with grates, baking trays, baking paper or other vessels.
  • the image evaluation of the average image or a derivation formed therefrom is therefore much more accurate in detecting the soiling, and the point in time at which a cleaning process is to be carried out can be determined much more precisely.
  • the cooking appliance can also remind the user that the cooking chamber needs to be cleaned at a point in time before the soiling has a negative effect on the food to be cooked, the camera image of the cooking chamber no longer shows the cooking food in a satisfactory quality or, in the case of pyrolytic cleaning, it is unpleasant Odors arise that are no longer classified as tolerable by the user or are no longer tolerable due to the pollution in the room air.
  • cleaning can then be carried out manually by the user or thermally using a pyrolysis program.
  • the invention can be implemented easily and inexpensively in cooking appliances, since a suitable camera is already installed as standard in some cooking appliances by professional users, but also in those in the consumer sector.
  • the manufacturing costs incurred when implementing the invention in a cooking appliance are then very low.
  • the cameras are often camera systems that have software-supported image analysis. The image evaluation makes it possible to see whether food has been placed in the cooking compartment. Camera images can then be produced which show the cooking chamber with or without the food to be cooked placed in it.
  • other sensor technologies are also possible, such as ultrasound, odor sensors or other technologies, or combinations of such technologies, which can be used to determine whether camera images showing an item to be cooked are being taken with the camera.
  • the sensor signal output by the existing cooking product detection sensor system then only has to be evaluated by suitable software, which forms part of an evaluation electronics system. Therefore there is little programming effort.
  • a physical computing capacity on which the software can run is also often already provided in the operating electronics in a cooking appliance, so that existing equipment technology can also be used with regard to the computing capacity to implement the invention and no additional costs are incurred here either.
  • the evaluation electronics can then consist solely of a software package that is loaded onto the control electronics of the cooking appliance.
  • an average image is first calculated during averaging using a metric and subsequent limit value formation, then an average brightness value is calculated for a majority or all pixels of the average image, then the average brightness values of the pixels are compared with a limit value that contains a binarizing evaluation threshold for the differentiation of the average brightness values between a pixel rated as dirty or not dirty, and then based on the number of pixels rated as dirty after the limit value comparison, a decision is made as to whether cleaning is necessary.
  • This method of calculation results in an average image in which variably bright pixels in the respective camera images are shown weakened in their gray tone value by averaging, while the pixels in which darker gray tone values are specified without a greater variance in all camera images contain the gray tone values for these Pixels remain in the dark area.
  • the average image can be simply binarized by showing, for example, all pixels with a gray tone value ⁇ 20 as dirty and all pixels >20 as not dirty in a derivation of the average image.
  • the binarized derivation can now be evaluated by determining how many pixels are considered dirty and whether this number exceeds a threshold value above which cleaning is considered necessary. If a gray tone value is mentioned here, this information initially refers to gray tone images that have been recorded by a monochromatic camera.
  • each pixel of an image is assigned a value that represents its brightness or light intensity on a scale from 0 to 255, for example. 0 stands for a black pixel and 255 for a white pixel.
  • a gray tone image can first be generated from the color image.
  • Commercially available color cameras generate color information by placing a wavelength-selective light-permeable grating in front of the sensor chip, a so-called Bayer filter, which, depending on its position in the grating, allows red, green or blue light to pass through.
  • a so-called RGB image can then be reconstructed from the red, green and blue color components.
  • Each pixel has three values, these represent the light intensity in the red, green and blue areas of the optical spectrum.
  • a gray image can now be generated from the RGB image by reducing the color information to pure brightness information.
  • the gray value is determined for each pixel as the average of the red, green and blue values. It is thus possible to form gray tone values even when using color cameras. It is crucial for the further procedure that an image is available in which the light intensity and thus the brightness are represented by the values of the individual pixels.
  • an individual brightness value is first calculated using a metric for a majority or all of the pixels of each camera image, then the individual brightness values of the pixels are compared with a limit value, which is a binarizing evaluation threshold for distinguishing between the individual brightness values between a pixel of the camera image assessed as dirty or not dirty, a binary contamination image is created for each camera picture from the pixels assessed as dirty or not dirty, and then an average image is calculated from a majority or all pixels of the binary dirt images, in which the gray level value of each pixel corresponds to a contamination probability, and the gray level values of the pixels are calculated to form an average contamination probability value of the average image et, which is compared to a limit value and if the limit value is exceeded, cleaning is assessed as necessary.
  • a limit value which is a binarizing evaluation threshold for distinguishing between the individual brightness values between a pixel of the camera image assessed as dirty or not dirty
  • a binary contamination image is created for each camera picture from the pixels assessed as dirty or not dirty
  • an average image is calculated from a
  • some or all of the several camera images are colored images in which the color channels of the individual pixels are evaluated differently or further calculated without the color values.
  • the camera images are produced by the camera through a transparent layer that separates the camera from the cooking chamber, with the transparent layer forming part of the inner wall of the cooking chamber.
  • the transparent layer can consist of a pane of glass, for example. Soiling such as fat splashes that occur in the cooking chamber during the cooking process are deposited on the interior surfaces of the cooking chamber and thus also on the transparent layer.
  • the soiling of the transparent layer is thus similar to the soiling of the inner surfaces in the rest of the cooking space and is therefore representative of the degree of soiling of the cooking space overall.
  • the transparent layer is located between the cooking chamber and the camera, the dirt that collects on the transparent layer covers the camera's view of the food to be cooked that is behind the dirt in the cooking chamber from the camera's point of view.
  • the image values of the contamination on the transparent layer contrast well in the average image or a derivation formed therefrom with the image areas surrounding the contamination, which show averaged image values from the image values of the individual images of the item to be cooked, which differ from one another, through the items to be cooked recorded during different cooking processes.
  • the multiple camera images show multiple different cooking processes and/or loading situations.
  • a certain number of camera images is required, via which a statistical smoothing of the color values with characteristically distributed image values for individual pixels or pixel fields is established.
  • brightness and/or color values are achieved for the individual pixels or pixel fields from which soiled surfaces are visible.
  • the more camera images from different cooking processes are included in the averaging the better the recognition.
  • the changes that can be detected between different camera images of a single cooking process are often too small to derive reliable conclusions about the degree of soiling of the cooking chamber.
  • the evaluation electronics evaluate the quality of the average image or a derivation formed from it using an evaluation algorithm, and a point in time for cleaning the cooking chamber is only determined if the quality of the average image or a derivation formed therefrom has been assessed as sufficient. If the averaged image is averaged from camera images that have too little variance with regard to the image values for the individual pixels or pixel fields, soiling in the cooking chamber cannot be identified with sufficient certainty and clearly. A small variance can easily be detected by an evaluation algorithm by comparing individual pixel values from different images. There are various stochastic methods for this.
  • the camera images can, for example, vary slightly if the same homogeneous-looking food is always being cooked and/or only a single small food is being cooked in the same place in the cooking chamber, the food is not being moved in the cooking chamber, or the camera images all show the same empty cooking chamber. In such a case, further camera images of the cooking chamber are required in order to obtain a variance in the image values for individual pixels or pixel fields that is necessary for detecting soiling. In such a case, the evaluation electronics should not give any recommendation as to when cleaning is required. The electronic evaluation system only makes a recommendation for the time of cleaning when the evaluation algorithm considers the quality of the average image or a derivation formed from it to be sufficient to serve as the basis for a recommendation.
  • the degree of contamination of pixels or pixel fields of the average image or a derivation formed therefrom is weighted differently in different sectors of the average image or a derivation formed therefrom.
  • This measure is advantageous for compensating for imbalances in the assessment of the degree of contamination of the cooking chamber, which can arise, for example, from a focusing of the camera image and/or the perspective with which the camera is directed into the cooking chamber. For example, if the camera is aimed at an angle from above into the cooking chamber, without a correction, soiling that is found in the average image or a derivation formed from it in the front area from the camera view would be weighted more heavily than soiling that is in the front of the camera due to the perspective distortion located in a more distant area.
  • This perspective effect can be corrected by weighting the detected contamination differently, depending on the sector, when determining the degree of contamination.
  • Such perspective distortions would not play a role if the transparent layer is arranged flat in front of the camera lens.
  • different weightings of pixels and pixel fields recognized as dirty can result due to optical distortions in the average image or a derivation from the lens optics formed therefrom, which represents different sectors of the camera image in different sizes.
  • a sector-dependent correction of the weighting of the detected contamination is also possible here.
  • Another option is to weight the outer areas of a camera image, in which the side walls can be seen, for example, less heavily than the center of the cooking space, where the food is usually located. This measure can improve the averaging of the camera images. If camera images are transmitted and displayed, or if additional evaluation functions are carried out based on camera images, these are significantly less disturbed by dirt in the outer areas than by dirt in the center of the picture. In such cases, the visual assessment of the degree of soiling by a user looking into the cooking chamber from the outside can deviate from the assessment of the degree of soiling by the method according to the invention. For the display of the camera image or the additional evaluation functions, however, the evaluation using the method according to the invention is advantageous because the evaluation of the degree of soiling is based on the camera images that are displayed and/or additionally evaluated.
  • the classification of the pixels and/or pixel fields of the average image or a derivation formed therefrom takes place taking into account the probabilities of the respective classification. For example, a first pixel or a first pixel area can be rated dirty as "very likely”, “likely” or “unlikely” and/or a second pixel or a second pixel area can be rated as "very likely", “likely” or “unlikely” not dirty will. There are more or less gradations in the classification of probability possible.
  • the differentiated classification of the individual pixels or pixel areas results in a more precise situational image of the degree of soiling of the cooking space in the cooking appliance. Such a soft classification with, for example, a total of six different classification levels could be superior to a digital yes/no classification because the certainty with which a pixel or a pixel field was assigned a classification is included in the assessment of the degree of contamination.
  • the average image is converted into a gray image.
  • An average image can show color fluctuations that are not due to the photographed food or soiling, but to other effects, such as uneven lighting of the cooking chamber.
  • the color fluctuations can be removed from the average image by converting the image values of the pixels or pixel fields into a gray image.
  • the gray image or the average image is converted into a differential image by filtering.
  • dirty spots in the image values of the pixels and pixel arrays may have a higher gray value than other spots on the averaged image, or the dirty spots may have a particular color value that other spots in the averaged image do not have.
  • filters the points on the gray image or the average image in a difference image can be made particularly recognizable, for example by using thresholding to hide other image values.
  • structures with a small size are removed from the average image, the gray image and/or the difference image in a correction run. Due to the random nature of the original camera images, small local variations that do not represent contamination cannot be avoided. However, structures with a small size can be ignored or removed via morphological operations. This takes place in a correction run to which the average image, the gray image and/or the difference image are subjected. In the correction run, the structures recognized by the image processing software are smoothed over a large area, particularly in the area of possible contamination. The image remaining after the correction run shows the spots where dirt is located in the average image with a high level of hit accuracy.
  • the areas of such false positives can be image areas in where pollution is indicated, although there is actually no pollution. Shadows from the lighting can be found in such areas, for example, or the areas are covered by components of the cooking appliance. If such image areas were included in the assessment of the degree of soiling, the result would be falsified. This is avoided by ignoring these areas. Depending on the device, these areas can be located at different points in the images. Accordingly, the areas of the false positives can be programmed device-specifically into the operating software, or the operating software has a self-learning program with which areas of the false positives are recognized in a self-learning manner and excluded from the evaluation.
  • the evaluation electronics delete previously recorded camera images.
  • pictures taken before the cleaning may no longer be used, since they show dirt that is no longer present. Therefore, the memory must be reset as soon as a cleaning has been performed.
  • a sufficient number of camera images must also be created in order to be able to carry out a new assessment.
  • the evaluation electronics know this and can automatically empty its memory. If the customer cleans manually, a memory for the current degree of soiling can be provided for this case, in which the last evaluated degree of soiling has been established. The status of the memory can be queried with each new evaluation. If this changes towards clean, previously recorded camera images must also be deleted because the current status apparently no longer corresponds to the previously determined degree of soiling.
  • Fig. 1 Cooking device with a camera
  • Fig. 2 Procedure with averaging and subsequent limit value formation
  • FIG. 3 Process sequence from Fig. 2 with reversed sequence.
  • An exemplary embodiment of the invention is shown purely schematically in FIG. 1 and is described in more detail below.
  • 1 shows a cooking appliance according to the invention with a camera.
  • FIG. 1 shows a cooking appliance 30 according to the invention as an example.
  • the cooking appliance 30 is embodied here as a baking oven and has a housing 2 in which a cooking chamber 6 delimited by a housing wall 4 is arranged.
  • the baking oven also has a 2D camera 8 designed as a fixed-focus camera as an optical sensor, with an opening 4.1 for the camera 8 being formed in the housing wall 4 and covered by a lens 10 designed as a converging lens made of borosilicate glass.
  • a cooking chamber lighting 11 designed as an oven lamp is attached to a cooking chamber ceiling 4.2 of the housing 4.
  • the baking oven light 11 is designed here at the same time as a camera light 11 .
  • the fixed focus camera 8 in the present embodiment can be constructed more simply.
  • the cooking chamber lighting 11 can also be arranged on a side wall or consist of a combination of ceiling and side lighting.
  • the camera 8 is designed to take pictures of the interior of the cooking chamber 6 and is arranged accordingly on the housing 2 . Since the cooking chamber 6 is relatively wide and flat, a lens 8.1 of the camera 8 has a correspondingly large opening angle on the object side.
  • the camera can also be designed as a plenoptic camera, TOF camera or stereo camera, ie using 3D technology. Cameras designed as thermal imaging cameras are also conceivable. In addition to single images, the recording of image sequences and moving images is also possible.
  • the opening 4.1 is closed essentially gas-tight by the converging lens 10 and a seal 12 arranged between the converging lens 10 and the cooking chamber ceiling 4.2 of the housing wall 4 and designed as a glass fiber seal.
  • a metal gasket with or without a graphite coating can be used.
  • the vapors produced during a cooking process taking place in the cooking chamber 6 of a cooking item 16 placed on a cooking item support 14 cannot escape through the opening 4.1 in an undesired manner.
  • the camera 8 can also be arranged in a lateral position or in any other position relative to the cooking chamber 6, so that it can also take useful photos of the cooking chamber 6 and the dirt present therein from these positions for evaluation purposes.
  • the converging lens 10 made of borosilicate glass and the glass fiber seal 12 protect the camera 8 from substances contained in the vapor and from the high temperatures arising during the cooking process. This is particularly important since the cooking appliance 30 is equipped as a self-cleaning cooking appliance 30, ie with a pyrolysis function. Far higher temperatures result in pyrolysis operation.
  • the cooking chamber 6 is thermally insulated from the environment in a manner known to those skilled in the art by a substantially circumferential insulating layer 18 .
  • the insulating layer 18 is only partially shown in the figure.
  • the opening 4.1 in the cooking chamber wall 4 is arranged here in the center of the cooking chamber ceiling 4.2 of the housing wall 4.
  • the opening 4.1 is kept as small as possible in order to have to break through the insulation layer 18 as little as possible at this point.
  • the opening 4.1 is shown significantly enlarged in the figure for the sake of clarity.
  • the camera 8 is arranged further away from the cooking chamber ceiling 4.2 and thus from the cooking chamber 6 in a cooler area of the housing 2 due to the insulating layer 18, but also for the purpose of reducing the temperature load on the camera 8 by the thermal radiation.
  • the opening 4.1 can be made so small because a converging lens 10 is used here.
  • the converging lens 10 widens the beam path of the light, symbolized by dashed lines 19 in the figure, through the opening 4.1.
  • this enables the cooking chamber 6 to be shown completely in the essential areas on the images recorded with the camera 8, despite a reduced opening angle of the lens 8.1 of the camera 8 on the object side.
  • the angle of view in the plane of the page shown in the figure can be increased from approximately 50° to approximately 110°.
  • the aforementioned angle information cannot be inferred from the schematic representation.
  • the opening 4.1 can be arranged in the region of a top-heating element 20 in the cooking chamber ceiling 4.2, without the opening 4.1 and the top-heating element 20 having a negative effect on one another.
  • the top heater 20 does not appear on the images captured by the camera 8.
  • the cooking chamber lighting 11 is also arranged on the cooking chamber ceiling 4.2 of the cooking chamber wall 4 that there is no undesired interaction between the cooking chamber lighting 11 and the top heat radiator 20.
  • the camera 8 and the converging lens 10 are also arranged in a cooling channel 2.1 of the housing 2.
  • the camera 8 and the converging lens 10 are in heat transfer connection with the cooling air guided in the cooling channel 2.1.
  • the cooling channel 2.1 is designed here as an air duct 2.1 of the cooking appliance.
  • the air duct 2.1 is connected to the housing wall 4 in a flow-conducting manner by means of a flange 22, which is also resistant to chemicals and temperature, and the air duct 2.1 is connected to the environment in a substantially gas-tight manner.
  • the air duct 2.1 of the cooking appliance 30 is used to suck the vapors produced during cooking processes in the cooking chamber 6 out of the cooking chamber 6 and to discharge them into the open air.
  • the vapor-air mixture is guided in the air duct 2.1 formed in the housing 2.
  • the cooking appliance is also cooled in this way.
  • the cooking device 30 can be implemented with fewer components and thus more cost-effectively.
  • the individual components of the cooking appliance 30 according to the invention are partially shown at a distance from one another in the figure; see, for example, the distance between the insulation layer 18 and the cooking chamber ceiling 4.2 of the housing wall 4. This is only for a better overview.
  • the components of the cooking appliance 30 according to the invention are connected to one another in a manner known to those skilled in the art, unless explicitly stated otherwise using the exemplary embodiment.
  • the camera 8 can also be designed as a plenoptic camera, TOF camera or stereo camera, ie using 3D technology. Cameras designed as thermal imaging cameras are also conceivable. In addition to single images, the recording of image sequences and moving images is also possible.
  • a camera image 32 recorded by the camera 8 is transmitted to the evaluation electronics 40 in each case.
  • the cooking appliance 30 is connected to the evaluation electronics 40 to which the camera images 32 taken by the camera 8 are transmitted.
  • the evaluation electronics 40 have image processing software 46 with which the software-supported image processing is carried out.
  • the individual camera images produced by the camera 8 32, which are used for the image evaluation can be stored in the evaluation electronics 40, but it is also possible to store them in the operating electronics 34 of the cooking appliance 30 or, if the cooking appliance 30 has an Internet connection and is appropriately equipped, in the cloud.
  • the image processing software 46 is programmed in such a way that it calculates an average image 42 from a plurality of available camera images 32 as an image evaluation.
  • the evaluation electronics 40 extracts information about the degree of soiling of the cooking chamber 6 from the average image 42 .
  • the operating electronics 34 can then communicate this point in time to an operator via the available displays, be it an indicator light on the cooking appliance 30, an indication on a display on the cooking appliance 30 or a display of a smart device that communicates with the cooking appliance 30 via WLAN or the Internet.
  • the lens 10 represents a transparent layer through which the camera 8 produces camera images 32 of the cooking chamber 6 .
  • Fat spatters that splash up from the food 16 to be cooked during a cooking process also adhere to the lens 10 , which forms part of the inner wall of the cooking chamber 6 on the side of the lens 10 that faces the cooking chamber 6 . From the point of view of the camera, this dirt adhering to the lens 10 obscures the view from the camera of the food to be cooked 16 at the points where it is located on the lens 16 in the cooking chamber 6 there are no more changes, or at most only minor changes, in the image values of the relevant pixels or pixel arrays.
  • the items to be cooked 16 lying in the cooking chamber 6 during the respective cooking process can be clearly seen in the camera image 32 at the locations of the lens 10 where there is no soiling, and the different textures and colors of the items to be cooked 16 in the cooking chamber 6 result different values for the image values for the relevant pixels or pixel fields in the camera images 32, which are then calculated into an averaged value by averaging in the average image 42.
  • the double arrow 48 indicates that the evaluation electronics 40 and the operating electronics 34 can communicate with one another beyond the point in time 44 by providing the information.
  • the communication can relate in particular to cooking item identification, which can be a component of the operating electronics 34 or of the camera 8 .
  • the cooking product recognition can be used to verify for the evaluation electronics 40 that the available camera images 32 show the cooking chamber 6 with the food to be cooked in it 16 and that the camera images 32 were produced on the occasion of various cooking processes.
  • the evaluation electronics 40 can further process the calculated average image 42 into a gray image 50 that can offer better evaluation options.
  • the gray image 50 alone or in combination with the average image 42 can be further processed to form a difference image 52, in which certain values can have been filtered out of the image values for individual pixels or pixel fields in order to obtain an image that can be evaluated even better.
  • the average image 42, the gray image 50 and/or the differential image 52 can be used by the evaluation electronics 40 to determine the degree of soiling of the cooking chamber 6.
  • a mean value for the brightness value of this pixel is first formed for this pixel from a plurality of camera images 32 using a metric. If this new brightness value determined from a number of camera images 32 is available, this brightness value can be entered in the average image 42 for this pixel.
  • the average image is composed of a large number of brightness values calculated in this way for the individual pixels.
  • the limit value formation 80 the average image 42 is binarized in that a decision is made for each pixel examined in the context of the limit value formation 80 as to whether its brightness value 60 is above or below an assumed limit value. If the brightness value is above the limit value, the corresponding pixel is considered not to be dirty; if the brightness value is below, this pixel is considered to be dirty. A decision can then be made on the basis of the contamination found as to whether a cleaning cycle is necessary.
  • Fig. 3 is the procedure from Fig. 2, but in reversed order with a first occurring limit value formation 80 and the subsequent mean value formation 70.
  • the camera 8 can be a monochromatic camera 8 that records a gray tone image.
  • a grayscale image each pixel of an image is assigned a value that represents its brightness/light intensity on a scale from 0 to 255, for example. 0 stands for a black pixel and 255 for a white pixel. If a color camera 8 is used, then so a gray tone image can first be generated from the color image.
  • RGB image can then be reconstructed from the red, green and blue color components.
  • Each pixel has three values, these represent the light intensity in the red, green and blue areas of the optical spectrum.
  • a gray image can now be generated from the RGB image by reducing the color information to pure brightness information. In the simplest case, the gray value is determined for each pixel as the average of the red, green and blue values.
  • the value 20 corresponds to a very dark gray on the scale used. If a pixel is even darker, the light intensity here is extremely low, which can indicate that the incidence of light is being disturbed by dirt at this point.
  • the dirty pixels are marked in white in the figure above, the non-dirty ones are black. It is clearly visible that recognition from a single camera image often does not work and the food to be cooked has a major impact on recognition. For example, the spots between the French fries are incorrectly identified as soiling.
  • An average image 42 is calculated from the multiple camera images, in which the average brightness is calculated for each pixel using a metric. The equation below shows this for 3 sample images, each 2 x 2 pixels.
  • D the arithmetic mean of the corresponding pixels from all three images A, B and C is calculated for each pixel in this exemplary embodiment.
  • the average image displayed below can be calculated from several camera images. This average image was determined from only six camera images, so that the different loads in the cooking chamber 6 can still be clearly identified. However, the loads in the cooking chamber 6 are already weakened by the averaging. In contrast to this, however, the contamination is always the same and is not weakened by averaging. see figure 5
  • the detection corresponds to a very good approximation of the dirt that is actually present.
  • the large lower soiling is not fully recognized.
  • the brightness correction can be useful.
  • the invention is not limited to the present embodiment.
  • the teaching according to the invention can also be advantageously used in cooking appliances other than ovens.
  • the cameras or other optical sensors may also be positioned elsewhere than suggested in the foregoing physical description, inside or outside the cooking cavity, such as in the cooking cavity access door or in front of the cooking cavity access door, such as on the cooking cavity facing side of a handle, and multiple cameras and/or optical sensors may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bestimmung des Zeitpunktes für die Reinigung eines Garraums (6) eines Gargeräts (30), bei dem Kamerabilder (32) einer in den Garraum (6) gerichteten Kamera (8) einer Auswerteelektronik (40) zugeführt werden, die anhand der Kamerabilder (32) den Verschmutzungsgrad des Garraums (6) über eine softwaregestützte Bildauswertung bestimmt. Um den richtigen Zeitpunkt für die Reinigung des Garraums (6) mit einer verbesserten Genauigkeit zu bestimmen, wird vorgeschlagen, dass aus mehreren Kamerabildern (32) die Helligkeitswerte (60) mehrerer oder aller Pixel der Kamerabilder (32) über eine Mittelwertbildung (70) mittels einer Metrik und anschließender Grenzwertbildung (80) oder über eine Grenzwertbildung (80) und anschließender Mittelwertbildung (70) mittels einer Metrik entschieden wird, ob eine Reinigung erforderlich ist.

Description

Beschreibung
Verfahren zur Bestimmung des Zeitpunktes für die Reinigung eines Garraums eines Gargeräts
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bestimmung des Zeitpunktes für die Reinigung eines Garraums eines Gargeräts, bei dem Kamerabilder einer in den Garraum gerichteten Kamera einer Auswerteelektronik zugeführt werden, die anhand der Kamerabilder den Verschmutzungsgrad des Garraums über eine softwaregestützte Bildauswertung bestimmt.
Aus der Schrift DE 101 28 024 A1 ist es bekannt, den Beginn und/oder die Dauer eines Reinigungszyklus zur thermischen Reinigung eines Garraums, beispielsweise mittels Pyrolyse als Beispiel für einen Reinigungszyklus mit einem thermischen Reinigungsverfahren, anhand der Auswertung der von einem optischen Sensor erfassten, von einer Lichtquelle in den Garraum abgestrahlten optischen Strahlung zu steuern. Über den optischen Sensor wird gemessen, wie stark die Lichtintensität im Garraum im Vergleich zu einem Referenzwert abgenommen hat. Der optische Sensor wird in der der Lichtquelle gegenüberliegenden Garraumwand angeordnet. Dieses Verfahren ist nachteilig, weil die vom optischen Sensor erfasste Lichtintensität nur in dem kleinen Bereich der Anordnung des optischen Sensors gemessen und das Messergebnis zumindest auch von Fremdlicht verfälscht wird, das durch die Gerätetür in den Garraum einfällt. Abschattungseffekte durch im Garraum befindliche Bleche oder Roste werden nicht erkannt und bleiben unberücksichtigt. Die jeweilige Messung ist auf die Fenstergröße zum optischen Sensor beschränkt und ungenau. Es ist nicht möglich, die Art und Weise der Verschmutzung zu erkennen. Der Referenzwert muss zudem vorher gespeichert worden sein, wobei unklar bleibt, was überhaupt als Referenzwert dienen soll.
Aus der Schrift DE 10 2016206 483 A1 ist es bekannt, bei einem gewerblichen Gargerät durch den Vergleich eines von einer Kamera aufgenommenen aktuellen Bildes einer Garfläche mit einem Referenzbild einer verschmutzten, eine Reinigung benötigenden Garfläche oder eines Garproduktes zu bestimmen, wann eine Reinigung notwendig ist. Bei diesem Verfahren geht es darum, den richtigen Zeitpunkt für die Durchführung der Reinigung zu bestimmen. Die von der Kamera aufgenommenen Bilder werden mit elektronischen Bildsensoren wie beispielsweise CCD- oder CMOS-Sensoren aufgenommen. Die aufgenommenen Bilder können digital weiterverarbeitet werden. Es ist aber erforderlich, für das jeweilige betreffende Gargerät passende Referenzbilder vorzuhalten. Da sich der Garraum je nach Benutzerverhalten, insbesondere bei Gargeräten für den Consumer- Bereich, häufig in einem aktuell aufgenommenen Kamerabild anders als auf dem Referenzbild präsentiert, beispielsweise durch im Garraum befindliche Roste, Backbleche, eingelegtes Backpapier, Töpfe oder Speisereste, versagt dieses Verfahren zur Bestimmung des richtigen Zeitpunktes für eine Reinigung sehr häufig. Die konkrete Vorgehensweise bei der Bildauswertung ist nicht beschrieben. Sie führt zu unzuverlässigen Ergebnissen.
In der Schrift DE 102014 116 709 A1 ist ein Verfahren zur Bestimmung des Verschmutzungsgrads eines Gargeräts beschrieben, bei dem eine Sensorfläche von einer Lichtquelle schräg beschienen wird und das von der Sensorfläche reflektierte Licht von einer Kamera empfangen wird, um durch einen Vergleich des von der Lichtquelle ausgesandten Lichts mit dem von der Kamera empfangenen Licht auf einen Verschmutzungsgrad zu schließen. Da sich sowohl die Lichtquelle wie auch die Kamera außerhalb des Garraums befinden, die Verschmutzung aber im Inneren des Garraums anfällt, ist dieses Verfahren ebenfalls ungenau und unzuverlässig.
Aus der Schrift KR 2016 006 9344 A ist es bekannt, mit einer Kamera ein Foto vom Innenraum eines Gargeräts zu machen, um dann über eine Bildauswertung anhand des Fotos den Zeitpunkt zu bestimmen, wann der Garraum zu reinigen ist. Auch hier fehlt es an einer konkreten Beschreibung, wie die Bildauswertung erfolgen soll.
Das generelle Problem besteht darin, dass ein Gargerät zu selten gereinigt und eine Reinigung aufgeschoben wird, obwohl sie die Funktion des Gargeräts und das Ergebnis des Garprozesses verbessern helfen könnte. Einen wesentlichen Teil einer Verschmutzung eines Gargeräts machen Fettspritzer aus, die an den Innenraumflächen eines Gargeräts anhaften.
Es ist es nachteilig, wenn ein Benutzer des Gargeräts ohne einen konkreten Hinweis die erforderliche Reinigung so lange hinausschieben könnte, dass sich in einem übermäßig verschmutzten Gargerät von den Verschmutzungen herrührende Rußpartikel auf den zu garenden Lebensmitteln bei einem Garvorgang ablagern. Eine Lichtquelle, die den Garraum ausleuchten soll, kann durch Verschmutzungen abgedunkelt werden, so dass sie den Garraum nicht mehr ausreichend ausleuchtet, um darin das Gargut während eines Garprozesses gut beobachten zu können. Die Bildqualität von Kamerabildern kann sich durch die ausbleibende Reinigung nachhaltig verschlechtern. Das ist besonders misslich, wenn die Kamerabilder auf ein Display des Gargeräts oder eines vom Gargerät unabhängigen Smart Devices übertragen werden und auf den Kamerabildern das Gargut nicht mehr optimal zu sehen ist. Der Garfortschritt wird dadurch schlechter erkannt und möglicherweise fehlerhaft bewertet. Auch der ästhetische Genuss, den Garfortschritt zu sehen, kann beeinträchtigt werden. Bei einer verspäteten Reinigung des Garraums kann ein erhöhter Arbeitsaufwand entstehen, oder es entstehen bei einer pyrolytischen Reinigung unangenehme Gerüche aus dem Abbrand der Verschmutzungen. Die Reaktionsprodukte aus dem Abbrand von Verschmutzungen können zudem für die Raumluft zulässige Grenzwerte überschreiten, ohne dass der Benutzer das bemerkt.
Demgemäß ist es die Aufgabe der vorliegenden Erfindung, ein Verfahren zu schaffen, das eine verbesserte Genauigkeit bei der Bestimmung des richtigen Zeitpunkts für die Reinigung des Garraums eines Gargeräts ermöglicht.
Die Aufgabe wird für ein gattungsgemäßes Verfahren gelöst, indem aus mehreren Kamerabildern die Helligkeitswerte mehrerer oder aller Pixel der Kamerabilder über eine Mittelwertbildung mittels einer Metrik und anschließender Grenzwertbildung oder über eine Grenzwertbildung und anschließender Mittelwertbildung mittels einer Metrik entschieden wird, ob eine Reinigung erforderlich ist.
Zu unterscheiden, ob ein dunkler Fleck durch eine Verschmutzung oder aber durch das Gargut hervorgerufen wird, ist im Allgemeinen schwierig. Flecken sind auch schwerer zu identifizieren, wenn der Hintergrund, beispielsweise ein Backblech, sehr dunkel ist. Über mehrere Garvorgänge hinweg ändert sich jedoch das Gargut. Die Verschmutzungen ändern jedoch ihre Position nicht, es kommen allenfalls weitere Flecken hinzu. Um festzustellen, ob ein Pixel eine verschmutzte Stelle zeigt, kann z.B. überprüft werden, ob der Pixel einen bestimmten Helligkeitswert unterschreitet. Durch die Auswertung mehrerer Bilder oder eines aus mehreren Bildern kombinierten Bildes kann die Erkennung deutlich verbessert werden. Erfahrungen haben gezeigt, dass verschmutzte Regionen tendenziell immer dunkler und über mehrere Garvorgänge hinweg weniger variabel sind als unverschmutzte Regionen. Bei einem einzelnen Bild ist nicht bekannt, ob eine dunkle Stelle durch Verschmutzung oder durch eine lokale Eigenschaft der Szene hervorgerufen wird. Bei Betrachtung von Bildern aus mehreren Vorgängen sind die Verschmutzungen jedoch immer an der gleichen Stelle, wohingegen die Szene sich ändert. Die verschmutzten Bildteile ändern sich in einer Abfolge von mehreren Kamerabildern weniger als die unmittelbare Umgebung. Die Verwendung mehrerer Bilder erlaubt die Schmutzerkennung, ohne dass eine gezielte Handlung des Anwenders erforderlich wäre.
Das gilt selbst dann, wenn für die Mittelwert- und Grenzwertbildung Kamerabilder verwendet werden, auf denen kein in den Garraum eingestelltes Gargut erkennbar ist. Durch unterschiedliche Beleuchtungsverhältnisse in den einzelnen Kamerabildern, die von Lichtquellen stammen, die sich innerhalb und außerhalb des Garraums befinden können, unterschiedliche Einschubstellungen von Backblechen und Rosten und anderen in den Garraum eingestellten Gegenständen wie beispielsweise Backformen kann sich bereits eine für Auswertungszwecke ausreichende Varianz zwischen den Kamerabildern ergeben. Gelegentliche Bilder eines leeren Garraums sind besonders interessant, da sie gänzlich andere Helligkeitswerte und Strukturen zeigen als Kamerabilder mit Gargütern im Garraum. Bezüglich der Bildwerte der einzelnen Pixel solcher Kamerabilder können sich hier besondere Unterschiede ergeben.
Die Verwendung eines, mehrerer oder ausschließlich Gargut zeigender Kamerabilder für die Mittelwert- und Grenzwertbildung kann gleichwohl technisch sinnvoll sein, weil das bei einem jeweiligen Garvorgang im Garraum befindliche Gargut statistisch nicht die exakt gleiche Textur und Farbe wie bei einem anderen Garvorgang besitzt. Insbesondere lokale Grauwertoder Farbschwankungen, wie sie durch einen in den Garraum eingelegten hellen Teig, rote Tomatensauce und Salami auf einer Pizza, braunes Gebäck, Kuchen und Braten, gelben Käse und grünes Gemüse und Kräutern in Aufläufen und dergleichen bei den jeweiligen Backvorgängen auftreten, gleichen sich über die Mittelung aus und nehmen einen aus den einzelnen Kamerabildern gemittelten Grau- oder Farbwert an. Jedes bei einem Garvorgang gefertigte Kamerabild des Garraums, gleichgültig, ob es sich dabei um ein Färb- oder Schwarz-Weiß-Bild handelt, unterscheidet sich somit deutlicher von anderen Kamerabildern des Garraums. Das gilt selbst dann, wenn ein Benutzer beispielsweise immer nur Pizza im Gargerät gart, weil sich selbst dann der Belag und die Position der Pizza im Garraum von vorhergehenden Garvorgängen unterscheiden. Aus den auf Kamerabildern gezeigten Gargütern ergibt sich eine größere Varianz in den Bildwerten der einzelnen Pixel oder Pixelfelder, aus denen die Kamerabilder als digitale Daten zusammengesetzt sind.
Eine Varianz in den Bildwerten kann sich insbesondere ergeben, indem das Gargut im Garraum bewegt wird. Es können auch Kamerabilder verwendet werden, die von verschiedenen aufeinanderfolgenden Garvorgängen mit unterschiedlichem Gargut gemacht wurden. Schließlich können sich unterschiedliche Helligkeitswerte der einzelnen Pixel auch schon aus einem Vergleich von Kamerabildern von einem einzigen Garvorgang ergeben, wenn sich das Gargut beim Garprozess ausreichend verändert, zum Beispiel aufgeht und/oder bräunt.
Je mehr Kamerabilder mit unterschiedlichen Garraum- und/oder Gargutdarstellungen gemittelt werden, umso besser wird in der Tendenz das Bewertungsergebnis. Es können aber auch schon weniger Kamerabilder für eine Bewertung ausreichen, wenn diese eine für Bewertungszwecke ausreichende Varianz in den Helligkeitswerten der einzelnen Pixel bieten. Um eine qualitativ ausreichend sichere Bewertung zu bekommen, muss das Gargerät gebraucht worden sein, wofür eine gewisse Zeit erforderlich ist. Es kommen bei einer Betrachtung des Garraums über einen längeren Gebrauchszeitraum hinweg allenfalls weitere Schmutzstellen hinzu, die sich dann ebenfalls ortsmäßig nicht und hinsichtlich ihrer Form und Farm kaum mehr verändern, bis die nächste Reinigung ausgeführt wird.
In jedem Fall verändern sich die Helligkeitswerte von Pixeln bei der Mittelung zu einem Durchschnittsbild, unabhängig von dem Umstand, ob die für die Mittelung verwendeten Kamerabilder Gargut zeigen oder nicht, während Schmutzstellen an derselben Stelle und hinsichtlich ihrer Form und Helligkeit auch bei weiteren Garvorgängen zumindest annähernd gleich bleiben. Das ist auch unabhängig von der Verwendung von einer Färb- oder einer monochromatischen Kamera.
Unter der Mittelwertbildung zur Erzeugung eines Durchschnittsbildes mittels einer Metrik ist ein mathematisches Verfahren zu verstehen, unter dessen Anwendung Bildwerte von Pixeln miteinander verrechnet werden, um Informationen über Regionen zu erhalten, die sich nicht beziehungsweise nicht mehr verändern und die deshalb als verschmutzte Regionen betrachtet werden können. Aus den mehreren Kamerabildern kann ein Durchschnittsbild gebildet werden, indem aus den Grau- oder Farbwerten für einen in den Kamerabildern sich entsprechenden Pixelpunkt oder ein Pixelfeld beispielsweise ein arithmetischer Mittelwert oder ein Medianwert als Metrik berechnet wird. Der Vorteil eines Medianwertes ist darin zu sehen, dass einzelne Ausreißer-Werte einen geringeren Einfluss auf den gemittelten Wert haben. Wenn sich beispielsweise Fettablagerungen auf Wandungsflächen im Garraum befinden, sind diese auf dem Durchschnittsbild deutlich als dunkle Flecken zu erkennen, die in ihrer Fläche und an den Rändern zu den Helligkeits- oder Farbwerten der umgebenden Bildbestandteile des Durchschnittsbildes kontrastieren.
Wenn in dieser Beschreibung vom "Durchschnittsbild" die Rede ist, auf dessen Basis Auswertungen vorgenommen werden, so ist damit nicht immer nur genau das Durchschnittsbild im engen Sinne gemeint, das sich aus der Mittelung der Grau- oder Farbwerte der einzelnen Pixel aus den Kamerabildern ergibt, sondern in einem weiteren Sinne auch diejenigen Bilder und die darin enthaltenen Grau- oder Farbwerte und anderen Informationen, die sich aus einer weiteren Verarbeitung des Durchschnittsbildes im engeren Sinne ergeben, wie beispielsweise ein binarisiertes Bild, in dem die Pixel nur noch digital als "verschmutzt" oder "nicht verschmutzt" dargestellt sind. Wenn auch aus dem Durchschnittsbild gebildete Ableitungen gemeint sind, ist das jeweils angegeben.
Für die Bildung eines Mittelwertes können aber auch andere Metriken verwendet werden. Beispielsweise sind die verschmutzten Pixel im Allgemeinen nicht nur dunkler als nichtverschmutzte Pixel, sondern besitzen auch eine geringere Standardabweichung beziehungsweise eine geringere Varianz. Daher kann statt des arithmetischen Mittelwerts auch die Standardabweichung oder die geringere Varianz ermittelt werden. Als Metrik zur Bildung eines Mittelwerts zur Zusammenfassung mehrerer Bilder können auch andere Verfahren verwendet werden, wie beispielsweise die Bildung eines geometrischen oder harmonischen Mittels, die Bildung von Mittelwerten in unterschiedliche Farbräumen, die Ermittlung von gewichteten Mittelwerten, die Bestimmung von räumlichen oder zeitlichen Gradienten von Helligkeit und/oder Farbe, die Anwendung von Hochpass-, Tiefpass- oder sonstigen Filtern, ohne dass diese beispielhafte Aufzählung auf die genannten Verfahren beschränkt wäre.
Je nachdem, wie hoch die Auflösung des Durchschnittsbildes ist, kann die Auswerteelektronik Bildwerte für jeden einzelnen Pixel oder auch für Pixelfelder berechnen, in denen die Bildwerte von mehreren Pixeln gemeinsam betrachtet werden. Durch eine Betrachtung von Pixelfeldern kann die Komplexität der Berechnungen verringert werden, ohne dass dabei zwangsläufig ein Qualitätsverlust in der Bewertung des Verschmutzungsgrades eintreten muss.
Aus dem Durchschnittsbild oder einer daraus gebildeten Ableitung werden Informationen über den Verschmutzungsgrad extrahiert, indem das Durchschnittsbild einer softwaregestützten Bildauswertung unterzogen wird. Die Bildauswertung kann über die bekannten statistischen Verfahren und/oder geeignete Filtertechniken unter Anwendung geeigneter Filter zu einzelnen Bildwerten wie beispielsweise den Helligkeits- oder Farbwerten einzelner Pixel und Pixelfelder, Flächenverteilungen bestimmter Helligkeits- oder Farbwerte, und dergleichen erfolgen. Die Bildauswertung ist dabei nicht mehr auf Informationen angewiesen, die außerhalb der Kamerabilder oder des Durchschnittsbildes oder einer daraus gebildeten Ableitung liegen, wie beispielsweise Referenzbilder oder sonstige Referenzwerte.
In Versuchen hat sich herausgestellt, dass es möglich ist, den Verschmutzungsgrad eines Garraums unabhängig davon zu erkennen, ob zuerst eine Mittelwertbildung mittels einer Metrik ausgeführt wird und erst daran anschließend die Grenzwertbildung erfolgt, oder ob die beiden Schritte in einer umgekehrten Abfolge ausgeführt werden. In beiden Fällen unterscheiden sich die Ergebnisse zwar graduell, in beiden Fällen wird der Verschmutzungsgrad des Garraums aber gut erkannt. Es ist auch möglich, den Verschmutzungsgrad zu bestimmen, indem beide Berechnungsweisen ausgeführt und die Ergebnisse beider Berechnungsweisen anschließend zu einer Bewertung des Verschmutzungsgrades zusammengeführt werden. Wenn der Verschmutzungsgrad des Garraums anhand der aus dem Durchschnittsbild oder einer daraus gebildeten Ableitung extrahierten Informationen einmal bestimmt ist, kann die Auswerteelektronik mühelos einen verschmutzungsgradadäquaten Zeitpunkt für die Reinigung des Garraums bestimmen. Die Auswerteelektronik kann insbesondere ein Signal ausgeben, dass ein Reinigungsvorgang empfohlen ist, wenn der anhand des Durchschnittsbildes oder einer daraus gebildeten Ableitung festgestellte Verschmutzungsgrad einen Schwellwert für eine nicht mehr akzeptable Verschmutzung erreicht hat. Der Schwellwert kann beispielsweise über einen prozentualen Flächenanteil der als verschmutzt erkannten Flächen an der Gesamtfläche des Durchschnittsbildes oder einer daraus gebildeten Ableitung und/oder dem Flächenanteil zumindest einer einzigen zusammenhängenden als verschmutzt erkannten Fläche an der Gesamtfläche des Durchschnittsbildes oder einer daraus gebildeten Ableitung definiert sein. Größere als verschmutzt erkannten Pixelfelder können zudem mit einer überproportionalen Gewichtung in der Bewertung berücksichtigt werden, weil großflächigere Verschmutzungen eher eine Reinigung des Garraums empfehlenswert erscheinen lassen.
Zur Entscheidung, ob eine Reinigung erforderlich ist, ist festzustellen, dass es im Regelfall darum geht, dem Benutzer eine Meldung zu geben, dass eine Reinigung sofort durchgeführt werden sollte, wenn der Schwellwert für die Durchführung einer Reinigung erreicht worden ist. Natürlich ist es aber auch möglich, dem Benutzer einen Prognosewert zu melden, dass auf Basis der festgestellten Verschmutzung eine Reinigung spätestens nach beispielsweise zehn zusätzlichen Garzyklen durchgeführt werden sollte, oder dass eine Reinigung innerhalb der nächsten beispielsweisen fünf Garzyklen vorgenommen werden sollte. Bei Prognosen ergibt sich die Schwierigkeit, dass diese nicht ausreichend genau ausfallen können, weil nicht bekannt ist, wie stark der Garraum durch die noch anstehenden Garzyklen verschmutzt werden könnte. Beim Aufbacken von Brötchen ist die Verschmutzungsgefahr wesentlich geringer als beim Braten einer Ente. Deshalb ist es sinnvoll, bei Feststellung eines Verschmutzungsgrades, der einen Reinigungszyklus erforderlich macht, die Reinigung zeitnah zu verlangen, beispielsweise durch die Ausgabe einer Meldung "Reinigung notwendig".
Die Auswerteelektronik kann die Bewertung des Reinigungsbedarfs nach jedem Garvorgang vornehmen, es ist aber auch eine Taktung möglich, wie beispielsweise nach jedem dritten oder fünften Garvorgang, oder die Bewertung wird anhand von Betriebsparametern wie beispielweise der vorgewählten Temperatur, einem eingeschalteten Grill, der Dauer eines Garvorgangs oder einer Kombination dieser Möglichkeiten durchgeführt. Über die softwaregestützte Bildverarbeitung können Pixel und/oder Pixelfelder aus den Kamerabildern oder dem Durchschnittsbild oder einer daraus gebildeten Ableitung als verdreckt oder nicht verdreckt klassifiziert werden und die Auswerteelektronik bestimmt aus den Anteilen der als verdreckt und als nicht verdreckt klassifizierten Pixel und/oder Pixelfelder den Verschmutzungsgrad des Garraums. So kann der Garraum von der Auswerteelektronik beispielsweise als reinigungsbedürftig bewertet werden, wenn der Anteil der als verdreckt klassifizierten Pixel und Pixelfelder an der Gesamtfläche des Durchschnittsbildes oder einer daraus gebildeten Ableitung einen Anteil von 5 % erreicht oder überschreitet. Der Anteil kann natürlich auch je nach Programmierung der Auswerteelektronik höher oder niedriger sein. Die Bildauswertung der Kamerabilder oder des Durchschnittsbildes oder einer daraus gebildeten Ableitung kann unabhängig davon erfolgen, wie Benutzer des Gargeräts den Garraum individuell bestücken, beispielsweise mit Rosten, Backblechen, Backpapieren oder sonstigen Gefäßen. Die Bildauswertung des Durchschnittsbildes oder einer daraus gebildeten Ableitung ist dadurch viel genauer in der Erkennung der Verschmutzungen, und der Zeitpunkt, zu dem ein Reinigungsvorgang durchgeführt werden soll, kann viel genauer bestimmt werden. Das Gargerät kann den Benutzer auch zu einem Zeitpunkt an eine fällig werdende Reinigung des Garraums erinnern, bevor sich die Verschmutzung nachteilig auf die zu garenden Speisen auswirkt, das Kamerabild vom Garraum die garenden Speisen nicht mehr in einer zufriedenstellenden Qualität zeigt oder bei einer pyrolytischen Reinigung unangenehme Gerüche entstehen, die vom Benutzer nicht mehr als tolerabel eingestuft werden oder wegen der Raumluftbelastung nicht mehr tolerabel sind.
Die Reinigung kann dann je nach technischer Ausstattung des Gargeräts manuell durch den Benutzer oder thermisch über ein Pyrolyseprogramm erfolgen.
Die Erfindung ist in Gargeräten leicht und kostengünstig umsetzbar, da in einigen Gargeräten von professionellen Anwendern, aber auch solchen im Consumer-Bereich, schon heute eine geeignete Kamera serienmäßig verbaut wird. Die Herstellungskosten, die bei der Realisierung der Erfindung in einem Gargerät anfallen, sind dann sehr gering. Bei den Kameras handelt es sich oft um Kamerasysteme, die über eine softwaregestützte Bildauswertung verfügen. Über die Bildauswertung ist es möglich, zu erkennen, ob ein Gargut in den Garraum eingestellt worden ist. Es können dann Kamerabilder gefertigt werden, die den Garraum mit oder ohne einem darin eingestellten Gargut zeigen. Möglich sind aber auch andere Sensortechniken, wie beispielsweise Ultraschall, Geruchssensoren oder andere Techniken, oder Kombinationen solcher Techniken, über die festgestellt werden kann, ob mit der Kamera Kamerabilder gemacht werden, die ein Gargut zeigen. Das von der vorhandenen Garguterkennungssensorik ausgegebene Sensorsignal muss dann nur durch eine geeignete Software, die einen Bestandteil einer Auswerteelektronik bildet, ausgewertet werden. Dafür entsteht nur ein geringer Programmieraufwand. Eine physische Rechenkapazität, auf der die Software laufen kann, ist in der in einem Gargerät vorhandenen Bedienelektronik ebenfalls häufig bereits vorgehalten, so dass auch bezüglich der Rechenkapazität zur Realisierung der Erfindung auf vorhandene Gerätetechnik zurückgegriffen werden kann und auch hier keine zusätzlichen Kosten entstehen. Die Auswerteelektronik kann dann allein aus einem Softwarepaket bestehen, das auf die Bedienelektronik des Gargeräts aufgespielt wird.
In Gargeräten, in denen keine Kamera vorhanden ist, kann diese natürlich auch nur für den erfinderischen Anwendungszweck in das Gargerät eingebaut werden. Es ist sowohl bei schon vorhandenen Garguterkennungssensoren wie auch bei gesondert in ein Gargerät einzubauenden Vorrichtungen möglich, die Auswerteelektronik als separaten Rechenchip mit einer darauf einprogrammierten Software auszugestalten, der zur Realisierung der Erfindung in eine Bedienelektronik eines Gargeräts eingesetzt wird. Bei einer Bedienelektronik, die Fernsteuerungsfunktionen aufweist, kann das Softwarepaket natürlich auch in die Fernbedienungsfunktion eingebunden sein, wie beispielsweise eine App auf einem Smartphone oder einem Tablet-Computer.
Nach einer Ausgestaltung der Erfindung wird bei der Mittelwertbildung mittels einer Metrik und anschließenden Grenzwertbildung zunächst ein Durchschnittsbild errechnet, dann wird für eine Mehrzahl oder alle Pixel des Durchschnittsbilds ein durchschnittlicher Helligkeitswert berechnet, dann werden die durchschnittlichen Helligkeitswerte der Pixel mit einem Grenzwert verglichen, der eine binarisierende Bewertungsschwelle für die Unterscheidung der durchschnittlichen Helligkeitswerte zwischen einem als verschmutzt oder nicht verschmutzt bewerteten Pixel darstellt, und danach wird anhand der Anzahl der nach dem Grenzwertvergleich als verschmutzt bewerteten Pixel entschieden, ob eine Reinigung erforderlich ist.
Bei dieser Berechnungsweise ergibt sich erst ein Durchschnittsbild, in dem in den jeweiligen Kamerabildern variabel helle Pixel durch die Mittelwertbildung in ihrem Grautonwert abgeschwächt dargestellt sind, während die Pixel, in denen in allen Kamerabildern dunklere Grautonwerte ohne eine größere Varianz vorgegeben sind, die Grautonwerte für diese Pixel im dunklen Bereich bleiben. Bei einer Grenzwertbetrachtung kann das Durchschnittsbild einfach binarisiert werden, indem in einer Ableitung des Durchschnittsbildes beispielsweise alle Pixel mit einem Grautonwert < 20 als verschmutzt und alle Pixel > 20 als nicht verschmutzt dargestellt sind. Die binarisierte Ableitung kann nun ausgewertet werden, indem ermittelt wird, wie viele Pixel als verschmutzt gelten und ob mit dieser Zahl ein Schwellwert überschritten wird, ab dem eine Reinigung als erforderlich angesehen wird. Wenn hier von einem Grautonwert die Rede ist, so bezieht sich diese Angabe zunächst auf Grautonbilder, die von einer monochromatischen Kamera aufgenommen worden sind. Bei einem Grautonbild wird jedem Pixel eines Bildes ein Wert, der seine Helligkeit beziehungsweise Lichtintensität auf einer Skala von z.B. 0 bis 255 repräsentiert, zugewiesen. Dabei steht 0 für ein schwarzes, 255 für ein weißes Pixel. Wird eine Farbkamera verwendet, so kann aus dem Farbbild zunächst ein Grautonbild erzeugt werden. Handelsübliche Farbkameras erzeugen Farbinformationen, indem sich vor dem Sensorchip ein wellenlängenselektiv lichtdurchlässiges Gitter, ein sogenannter Bayer-Filter, befindet, das je nach Position im Gitter rotes, grünes oder blaues Licht durchlässt. Aus den roten, grünen und blauen Farbanteilen lässt sich dann ein sogenanntes RGB-Bild rekonstruieren. Dabei besitzt jedes Pixel drei Werte, diese repräsentieren die Lichtintensität im roten, grünen bzw. blauen Bereich des optischen Spektrums. Aus dem RGB-Bild lässt sich nun ein Graubild erzeugen, indem die Farbinformation auf eine reine Helligkeitsinformation reduziert wird. Im einfachsten Fall wird für jeden Pixel dazu der Grauwert als Mittelwert von Rot-, Grün-und Blauwert bestimmt. Somit ist es möglich, auch bei der Verwendung von Farbkameras Grautonwerte zu bilden. Entscheidend für das weitere Vorgehen ist, dass ein Bild vorliegt, bei dem die Lichtintensität und damit die Helligkeit durch die Werte der einzelnen Pixel repräsentiert werden.
Nach einer Ausgestaltung der Erfindung wird bei der Grenzwertbildung und anschließenden Mittelwertbildung mittels einer Metrik zunächst für eine Mehrzahl oder alle Pixel jedes Kamerabilds ein individueller Helligkeitswert berechnet, dann werden die individuellen Helligkeitswerte der Pixel mit einem Grenzwert verglichen, der eine binarisierende Bewertungsschwelle für die Unterscheidung der individuellen Helligkeitswerte zwischen einem als verschmutzt oder nicht verschmutzt bewerteten Pixel des Kamerabildes darstellt, aus den als verschmutzt oder nicht verschmutzt bewerteten Pixeln wird ein binäres Verschmutzungsbild zu jedem Kamerabild erstellt, und danach wird aus einer Mehrzahl oder allen Pixeln der binären Verschmutzungsbilder ein Durchschnittsbild errechnet, bei dem der Graulevelwert jedes Pixels einer Verschmutzungswahrscheinlichkeit entspricht, und die Graulevelwerte der Pixel werden zu einem durchschnittlichen Verschmutzungswahrscheinlichkeitswert des Durchschnittsbildes verrechnet, der mit einem Grenzwert verglichen wird und bei einer Überschreitung des Grenzwerts wird die Reinigung als erforderlich bewertet.
Bei der vorangestellten Erstellung von binären Verschmutzungsbildern und der nachfolgenden Bildung eines Durchschnittsbildes ergibt sich kein binäres Verschmutzungsbild, sondern ein kontrastierendes Bild, in dem Verschmutzungswahrscheinlichkeiten über Graustufenwerte der jeweiligen Pixel dargestellt sind. Je nach Einsatzbedingungen können sich hieraus bessere Beurteilungsergebnisse ergeben als bei der Anwendung einer getauschten Abfolge der Mittelwert- und Grenzwertbildung.
Nach einer Ausgestaltung der Erfindung sind einige oder alle der mehreren Kamerabilder farbige Bilder, bei denen die Farbkanäle der einzelnen Pixel unterschiedlich ausgewertet oder ohne die Farbwerte weiter verrechnet werden.
Nach einer Ausgestaltung der Erfindung werden die Kamerabilder von der Kamera durch eine transparente Schicht hindurch gefertigt, die die Kamera vom Garraum trennt, wobei die transparente Schicht einen Teil der Innenwandung des Garraums bildet. Die transparente Schicht kann beispielsweise aus einer Glasscheibe bestehen. Verschmutzungen wie beispielsweise Fettspritzer, die im Garraum beim Garprozess entstehen, lagern sich auf den Innenraumflächen des Garraums und damit auch auf der transparenten Schicht ab. Die Verschmutzung der transparenten Schicht ähnelt damit der Verschmutzung der Innenoberflächen im übrigen Garraum und ist damit für den Verschmutzungsgrad des Garraums insgesamt repräsentativ. Da sich die transparente Schicht zwischen dem Garraum und der Kamera befindet, verdecken die sich auf der transparenten Schicht ansammelnden Verschmutzungen den Blick der Kamera auf das sich aus Sicht der Kamera hinter den Verschmutzungen im Garraum befindliche Gargut. Das bedeutet, dass sich die Bildwerte für auf der transparenten Schicht befindliche Verschmutzungen im Bereich der betreffenden Pixel oder Pixelfelder auch bei einem Durchschnittsbild oder einer daraus gebildeten Ableitung nicht oder zumindest kaum mehr verändern, weil sich dort in den Kamerabildern eben nicht mehr unterschiedliches Gargut findet, dessen Bildwerte gemittelt werden könnten, sondern nur noch die Ansicht der Verschmutzung. Die Bildwerte der sich auf der transparenten Schicht befindlichen Verschmutzungen kontrastieren im Durchschnittsbild oder einer daraus gebildeten Ableitung gut zu den die Verschmutzungen umgebenden Bildbereichen, die durch das bei verschiedenen Garprozessen aufgenommene Gargut aus voneinander abweichenden Bildwerten der einzelnen Gargut-Abbildungen gemittelte Bildwerte zeigen.
Nach einer Ausgestaltung der Erfindung zeigen die mehreren Kamerabilder mehrere verschiedene Garvorgänge und/oder Beladungssituationen. Um auf einem Durchschnittsbild oder einer daraus gebildeten Ableitung mit der erforderlichen Genauigkeit Verschmutzungen erkennen zu können, ist eine gewisse Anzahl von Kamerabildern erforderlich, über die sich eine statistische Glättung der Farbwerte mit charakteristisch verteilten Bildwerten für einzelne Pixel oder Pixelfelder einstellt. Bei der Mittelung von mehreren Kamerabildern werden Helligkeits- und/oder Farbwerte für die einzelnen Pixel oder Pixelfelder erreicht, aus denen verschmutzte Flächen erkennbar sind. Je mehr Kamerabilder von verschiedenen Garvorgängen in die Mittelung einfließen, umso besser wird die Erkennung. Die Veränderungen, die sich zwischen verschiedenen Kamerabildern eines einzelnen Garvorgangs feststellen lassen, sind häufig zu geringfügig, um daraus verlässliche Rückschlüsse auf den Verschmutzungsgrad des Garraums abzuleiten. Auch bei der Berücksichtigung von weniger als fünf Kamerabildern sind die Mittelungseffekte häufig noch zu unscharf. Etwas anderes gilt nur dann, wenn sich das Gargut im Garraum während des Garprozesses ausreichend verändert, wie beispielsweise durch Aufgehen oder Bräunen, oder beispielsweise auf einem Drehteller in einer Mikrowelle bewegt wird. In solchen Fällen können schon wenige Kamerabilder, gegebenenfalls auch schon von nur einem Garvorgang, ausreichen, um festzustellen, ob eine Reinigung des Garraums erforderlich ist.
Nach einer Ausgestaltung der Erfindung bewertet die Auswerteelektronik die Qualität des Durchschnittsbildes oder einer daraus gebildeten Ableitung mit einem Bewertungsalgorithmus und ein Zeitpunkt für die Reinigung des Garraums wird nur dann bestimmt, wenn die Qualität des Durchschnittsbildes oder einer daraus gebildeten Ableitung als ausreichend bewertet worden ist. Wird das gemittelte Bild aus Kamerabildern gemittelt, die hinsichtlich der Bildwerte für die einzelnen Pixel oder Pixelfelder eine zu geringe Varianz aufweisen, sind Verschmutzungen im Garraum nicht ausreichend sicher und deutlich erkennbar. Eine geringe Varianz kann von einem Bewertungsalgorithmus leicht durch einen Vergleich einzelner Pixelwerte aus unterschiedlichen Bildern erkannt werden. Dafür gibt es verschiedene stochastische Methoden. Die Kamerabilder können beispielsweise eine geringe Varianz aufweisen, wenn immer dasselbe homogen aussehende Gargut und/oder immer nur ein einziges kleines Gargut an derselben Stelle im Garraum gegart, das Gargut im Garraum nicht bewegt wird oder die Kamerabilder alle denselben leeren Garraum zeigen. In einem solchen Fall sind weitere Kamerabilder des Garraums erforderlich, um eine für die Erkennung von Verschmutzungen erforderliche Varianz der Bildwerte für einzelne Pixel oder Pixelfelder zu erhalten. In einem solchen Fall sollte die Auswerteelektronik keine Empfehlung für den Zeitpunkt einer erforderlichen Reinigung geben. Die Auswerteelektronik gibt eine Empfehlung für den Zeitpunkt der Reinigung erst dann ab, wenn der Bewertungsalgorithmus die Qualität des Durchschnittsbildes oder einer daraus gebildeten Ableitung als ausreichend erachtet, um als Basis für eine Empfehlung zu dienen.
Nach einer Ausgestaltung der Erfindung wird der Verschmutzungsgrad von Pixeln oder Pixelfeldern des Durchschnittsbildes oder einer daraus gebildeten Ableitung in verschiedenen Sektoren des Durchschnittsbildes oder einer daraus gebildeten Ableitung unterschiedlich gewichtet. Diese Maßnahme ist vorteilhaft, um Ungleichgewichte in der Bewertung des Verschmutzungsgrades des Garraums auszugleichen, die sich beispielsweise aus einer Fokussierung des Kamerabildes und/oder der Perspektive ergeben, mit der die Kamera in den Garraum gerichtet ist. Ist die Kamera beispielsweise von schräg oben in den Garraum gerichtet, würden ohne eine Korrektur Verschmutzungen, die im Durchschnittsbild oder einer daraus gebildeten Ableitung im aus der Kamerasicht vorderen Bereich festgestellt werden, wegen der perspektivischen Verzerrung stärker gewichtet als Verschmutzungen, die sich im von der Kamera weiter entfernten Bereich befinden. Dieser perspektivische Effekt kann durch eine sektorenabhängig unterschiedliche Gewichtung der festgestellten Verschmutzungen bei der Bestimmung des Verschmutzungsgrades korrigiert werden. Bei der Aufnahme und Mittelung von Kamerabildern durch eine transparente Schicht hindurch würden solche perspektivischen Verzerrungen allerdings keine Rolle spielen, wenn die transparente Schicht plan vor der Kameralinse angeordnet ist. Hier können sich aber unterschiedliche Gewichtungen von als verschmutzt erkannten Pixeln und Pixelfeldern durch optische Verzerrungen im Durchschnittsbild oder einer daraus gebildeten Ableitung aus der Linsenoptik ergeben, die verschiedene Sektoren des Kamerabildes unterschiedlich groß darstellt. Auch hier ist eine sektorenabhängige Korrektur der Gewichtung der festgestellten Verschmutzungen möglich.
Eine weitere Möglichkeit ist es, die Außenbereiche eines Kamerabildes, in denen zum Beispiel Seitenwände zu sehen sind, weniger stark zu gewichten, als die Garraummitte, wo sich in der Regel das Gargut befindet. Diese Maßnahme kann die Mittelung der Kamerabilder verbessern. Wenn Kamerabilder übertragen und zur Anzeige gebracht werden, oder wenn zusätzliche Auswertefunktionen anhand von Kamerabildern ausgeführt werden, sind diese deutlich weniger stark durch Verschmutzungen in den Außenbereichen gestört als durch Verschmutzungen in der Bildmitte. In solchen Fällen kann die optische Bewertung des Verschmutzungsgrades durch einen Benutzer, der von außen in den Garraum hineinschaut, von der Bewertung des Verschmutzungsgrades durch das erfindungsgemäße Verfahren abweichen. Für die Anzeige des Kamerabildes oder die zusätzlichen Auswertefunktionen ist dann aber die Bewertung anhand des erfindungsgemäßen Verfahrens vorteilhaft, weil sich die Bewertung des Verschmutzungsgrades auf die Kamerabilder stützt, die zur Anzeige gebracht und/oder zusätzlich ausgewertet werden.
Nach einer Ausgestaltung der Erfindung erfolgt die Klassifizierung der Pixel und/oder Pixelfelder des Durchschnittsbildes oder einer daraus gebildeten Ableitung unter der Berücksichtigung von Wahrscheinlichkeiten der jeweiligen Klassifizierung. So kann ein erstes Pixel oder eine erste Pixelfläche beispielsweise als "sehr wahrscheinlich", "wahrscheinlich" oder "unwahrscheinlich" verdreckt und/oder ein zweites Pixel oder eine zweite Pixelfläche als "sehr wahrscheinlich", "wahrscheinlich" oder "unwahrscheinlich" nicht verdreckt bewertet werden. Mehr oder weniger Abstufungen in der Klassifizierung der Wahrscheinlichkeit sind möglich. Aus der differenzierteren Klassifizierung der einzelnen Pixel oder Pixelflächen ergibt sich ein genaueres Lagebild über den Verschmutzungsgrad des Garraums im Gargerät. Eine solche weiche Klassifikation mit beispielsweise insgesamt sechs unterschiedlichen Klassifikationsstufen könnte einer digitalen Ja-/Nein-Klassifizierung überlegen sein, weil die Sicherheit, mit der ein Pixel oder ein Pixelfeld einer Klassifikation zugeordnet wurde, in die Beurteilung des Verschmutzungsgrades mit einfließt.
Nach einer Ausgestaltung der Erfindung wird das Durchschnittsbild in ein Graubild verrechnet. Ein Durchschnittsbild kann Farbschwankungen aufweisen, die nicht auf das fotografierte Gargut oder Verschmutzungen zurückzuführen sind, sondern auf andere Effekte, wie beispielsweise eine ungleichmäßige Beleuchtung des Garraums. Die Farbschwankungen können aus dem Durchschnittsbild entfernt werden, indem die Bildwerte der Pixel oder Pixelfelder in ein Graubild verrechnet werden.
Nach einer Ausgestaltung der Erfindung wird das Graubild oder das Durchschnittsbild durch eine Filterung in ein Differenzbild verrechnet. In dem Graubild oder dem Durchschnittsbild können verschmutzte Stellen in den Bildwerten der Pixel und Pixelfelder einen höheren Grauwert aufweisen als andere Stellen auf dem Durchschnittsbild, oder die verschmutzten Stellen weisen einen bestimmten Farbwert auf, den andere Stellen des Durchschnittsbildes nicht aufweisen. Durch die Anwendung von Filtern können die Stellen auf dem Graubild oder dem Durchschnittsbild in einem Differenzbild besonders erkennbar gemacht werden, beispielsweise, indem über ein Thresholding andere Bildwerte ausgeblendet werden.
Nach einer Ausgestaltung der Erfindung werden aus dem Durchschnittsbild, dem Graubild und/oder dem Differenzbild in einem Korrekturlauf Strukturen mit einer geringen Größe entfernt. Aufgrund der zufälligen Natur der Original-Kamerabilder lassen sich kleine lokale Abweichungen, die keine Verschmutzung darstellen, nicht vermeiden. Strukturen mit einer geringen Größe können jedoch ignoriert oder über morphologische Operationen entfernt werden. Dies erfolgt in einem Korrekturlauf, dem das Durchschnittsbild, das Graubild und/oder das Differenzbild unterzogen werden. Im Korrekturlauf erfolgt also eine flächige Glättung der von der Bildverarbeitungssoftware erkannten Strukturen, insbesondere im Bereich möglicher Verschmutzungen. Das nach dem Korrekturlauf verbleibende Bild zeigt mit einer hohen Treffergenauigkeit die Stellen, an denen sich im Durchschnittsbild Verschmutzungen befinden.
Nach einer Ausgestaltung der Erfindung werden bestimmte Bereiche des Durchschnittsbildes, des Graubildes oder des Differenzbildes von der Auswerteelektronik ignoriert. Bei den Bereichen solcher false positives kann es sich um Bildbereiche handeln, in denen eine Verschmutzung indiziert wird, obwohl dort tatsächlich keine Verschmutzung vorliegt. In solchen Bereichen können sich beispielsweise Schattenwürfe der Beleuchtung befinden, oder die Bereiche sind durch Bauteile des Gargeräts verdeckt. Wenn solche Bildbereiche in die Bewertung des Verschmutzungsgrades einfließen würden, wäre das Ergebnis dadurch verfälscht. Das wird vermieden, indem diese Bereiche ignoriert werden. Diese Bereiche können gerätespezifisch an unterschiedlichen Stellen der Bilder liegen. Die Bereiche der false positives können demgemäß gerätespezifisch in der Betriebssoftware einprogrammiert sein, oder die Betriebssoftware verfügt über ein Selbstlernprogramm, mit dem Bereiche der false positives selbstlernend erkannt und von der Auswertung ausgeschlossen werden.
Nach einer Ausgestaltung der Erfindung löscht die Auswerteelektronik nach einer durchgeführten Reinigung des Garraums vorher aufgenommene Kamerabilder. Nach Durchführen der Reinigung dürfen natürlich Bilder, die vor der Reinigung aufgenommen wurden, nicht mehr verwendet werden, da sie Verschmutzungen zeigen, die nicht mehr vorhanden sind. Deshalb muss der Speicher zurückgesetzt werden, sobald eine Reinigung durchgeführt wurde. Vor einer neuen Bewertung müssen auch ausreichend viele Kamerabilder erstellt werden, um eine neue Bewertung vornehmen zu können. Wird eine Pyrolyse durchgeführt, weiß das die Auswerteelektronik und kann ihren Speicher automatisch leeren. Reinigt der Kunde manuell, kann für diesen Fall ein Speicher des aktuellen Verschmutzungsgrades vorgesehen sein, in dem der letzte bewertete Verschmutzungsgrad festgelegt worden ist. Der Status des Speichers kann bei jeder neuen Bewertung abgefragt werden. Sollte sich dieser in Richtung sauber ändern, müssen vorher aufgenommene Kamerabilder ebenfalls gelöscht werden, weil der aktuelle Status offenbar nicht mehr dem vorherigen festgestellten Verschmutzungsgrad entspricht.
Die Erfindung soll nachfolgend anhand von Ausführungsbeispielen näher erläutert werden.
Es zeigen:
Fig. 1: Gargerät mit einer Kamera,
Fig. 2: Verfahrensablauf mit Mittelwertbildung und anschließender Grenzwertbildung, und
Fig. 3: Verfahrensablauf aus Fig. 2 mit getauschter Abfolge. Ein Ausführungsbeispiel der Erfindung ist in Fig. 1 rein schematisch dargestellt und wird nachfolgend näher beschrieben. Fig. 1 zeigt ein erfindungsgemäßes Gargerät mit einer Kamera.
In der Figur 1 ist ein erfindungsgemäßes Gargerät 30 exemplarisch dargestellt. Das Gargerät 30 ist hier als ein Backofen ausgebildet und weist ein Gehäuse 2 auf, in dem ein durch eine Gehäusewand 4 begrenzter Garraum 6 angeordnet ist. Ferner weist der Backofen eine als Fixfokuskamera ausgebildete 2D-Kamera 8 als optischen Sensor auf, wobei in der Gehäusewand 4 eine durch eine als Sammellinse aus Borosilikatglas ausgebildete Linse 10 verdeckte Öffnung 4.1 für die Kamera 8 ausgeformt ist.
In dem Garraum 6 ist eine als Backmuffelleuchte ausgebildete Garraumbeleuchtung 11 an einer Garraumdecke 4.2 des Gehäuses 4 angebaut. Die Backmuffelleuchte 11 ist hier gleichzeitig als Kamerabeleuchtung 11 ausgebildet. Entsprechend kann die Fixfokuskamera 8 in dem vorliegenden Ausführungsbeispiel einfacher aufgebaut sein. Alternativ kann die Garraumbeleuchtung 11 auch an einer Seitenwand angeordnet sein oder aus einer Kombination aus Decken- und Seitenbeleuchtung bestehen.
Die Kamera 8 ist zur Erstellung von Innenaufnahmen des Garraums 6 ausgebildet und entsprechend an dem Gehäuse 2 angeordnet. Da der Garraum 6 relativ breit und flach ausgebildet ist, weist ein Objektiv 8.1 der Kamera 8 einen entsprechend großen objektseitigen Öffnungswinkel auf. Die Kamera kann auch als plenoptische Kamera, TOF- Kamera oder Stereokamera, also in 3D-Technik, ausgebildet sein. Auch sind als Wärmebildkameras ausgebildete Kameras denkbar. Neben Einzelbildern ist auch die Aufnahme von Bilderfolgen und bewegten Bildern möglich.
Die Öffnung 4.1 ist durch die Sammellinse 10 und eine zwischen der Sammellinse 10 und der Garraumdecke 4.2 der Gehäusewand 4 angeordneten und als Glasseidendichtung ausgebildeten Dichtung 12 im Wesentlichen gasdicht verschlossen. Alternativ kann eine Metalldichtung mit oder ohne Grafitummantelung verwendet werden. Entsprechend kann der bei einem in dem Garraum 6 ablaufenden Garprozess eines auf einem Gargutträger 14 aufgelegten Garguts 16 entstehende Wrasen nicht in ungewünschter Weise durch die Öffnung 4.1 entweichen. Die Kamera 8 kann auch in einer seitlichen Position oder in einer beliebigen anderen Position zum Garraum 6 angeordnet werden, so dass sie auch aus diesen Positionen für Auswertungszwecke brauchbare Fotos vom Garraum 6 und den darin vorhandenen Verschmutzungen machen kann. Darüber hinaus schützen die Sammellinse 10 aus Borosilikatglas und die Glasseidendichtung 12 die Kamera 8 vor in dem Wrasen enthaltenen Stoffen und vor den bei dem Garprozess entstehenden hohen Temperaturen. Dies ist besonders wichtig, da das Gargerät 30 als selbstreinigendes Gargerät 30, also mit Pyrolysefunktion, ausgestattet ist. Im Pyrolysebetrieb ergeben sich noch weit höhere Temperaturen.
Der Garraum 6 ist auf dem Fachmann bekannte Weise durch eine im Wesentlichen umlaufende Isolationsschicht 18 von der Umgebung wärmeisoliert. Die Isolationsschicht 18 ist in der Fig. nur teilweise dargestellt.
Die Öffnung 4.1 in der Garraumwand 4 ist hier in dem Zentrum der Garraumdecke 4.2 der Gehäusewand 4 angeordnet. Die Öffnung 4.1 ist möglichst klein gehalten, um die Isolationsschicht 18 an dieser Stelle möglichst wenig durchbrechen zu müssen. Die Öffnung 4.1 ist in der Fig. der Übersichtlichkeit wegen deutlich vergrößert dargestellt.
Durch die Isolationsschicht 18 bedingt, aber auch zwecks einer geringeren Temperaturbelastung der Kamera 8 durch die Temperaturstrahlung, ist die Kamera 8 weiter weg von der Garraumdecke 4.2 und damit von dem Garraum 6 in einen kühleren Bereich des Gehäuses 2 angeordnet.
Die Öffnung 4.1 kann deshalb so klein ausgeführt werden, da hier eine Sammellinse 10 eingesetzt ist. Die Sammellinse 10 weitet den Strahlengang des Lichtes, in der Fig. durch gestrichelte Linien 19 symbolisiert, durch die Öffnung 4.1 auf. Dies ermöglicht, trotz kleiner Öffnung 4.1 , den Garraum 6 in den wesentlichen Bereichen auf den mit der Kamera 8 aufgenommenen Bildern vollständig abzubilden, trotz eines verringerten objektseitigen Öffnungswinkels des Objektivs 8.1 der Kamera 8 . So kann der Bildwinkel in der in der Fig. dargestellten Blattebene von etwa 50° auf etwa 110° vergrößert werden. Die vorgenannten Winkelangaben sind der schematischen Darstellung nicht zu entnehmen. Auf Kamerabildern 32, die mit der im oder benachbart zum Garraum 6 angeordneten Kamera 8 gemacht wurden, lassen sich selbst noch kleinere Verschmutzungen an den Seitenwänden des Garraums gut erkennen.
Da die Öffnung 4.1 relativ klein ausgebildet ist, kann die Öffnung 4.1 im Bereich eines Oberhitze-Heizkörpers 20 in der Garraumdecke 4.2 angeordnet sein, ohne dass sich die Öffnung 4.1 und der Oberhitze-Heizkörper 20 gegenseitig negativ beeinflussen. Beispielsweise erscheint der Oberhitze-Heizkörper 20 nicht auf den mit der Kamera 8 aufgenommenen Bildern. Gleiches gilt für die Garraumbeleuchtung 11 ; auch die Garraumbeleuchtung 11 ist derart an der Garraumdecke 4.2 der Garraumwand 4 angeordnet, dass es zu keiner ungewünschten Wechselwirkung zwischen der Garraumbeleuchtung 11 und dem Oberhitze-Heizkörper 20 kommt.
Da es sich bei dem Gargerät 30 um ein Gargerät 30 mit Pyrolysefunktion handelt, ist die Kamera 8 und die Sammellinse 10 zusätzlich in einem Kühlkanal 2.1 des Gehäuses 2 angeordnet. Die Kamera 8 und die Sammellinse 10 stehen dabei in Wärmeübertragungsverbindung mit der in dem Kühlkanal 2.1 geführten Kühlluft. Der Kühlkanal 2.1 ist hier als eine Luftführung 2.1 des Gargeräts ausgebildet.
Die Luftführung 2.1 ist mittels eines ebenfalls Chemikalien- und temperaturbeständigen Flansches 22 mit der Gehäusewand 4 strömungsleitend und die Luftführung 2.1 gegen die Umgebung im Wesentlichen gasdicht abdichtend verbunden.
Die Luftführung 2.1 des Gargeräts 30 dient dazu, den bei Garprozessen in dem Garraum 6 entstehenden Wrasen aus dem Garraum 6 abzusaugen und in die freie Umgebung abzuführen. Dabei wird das Wrasen- Luft-Gemisch in der in dem Gehäuse 2 ausgebildeten Luftführung 2.1 geführt. Auf diese Weise wird auch das Gargerät gekühlt.
Durch die Anordnung der Kamera 8 und der Sammellinse 10 in der Luftführung 2.1 kann hier auf eine zusätzliche aktive Kühlvorrichtung verzichtet werden. Entsprechend lässt sich das erfindungsgemäße Gargerät 30 gemäß dem vorliegenden Ausführungsbeispiel mit weniger Bauteilen und damit kostengünstiger realisieren.
Die einzelnen Bauteile des erfindungsgemäßen Gargeräts 30 sind teilweise mit Abstand zueinander in der Fig. dargestellt; siehe beispielsweise den Abstand zwischen der Isolationsschicht 18 und der Garraumdecke 4.2 der Gehäusewand 4. Dies dient lediglich der besseren Übersicht. Die Bauteile des erfindungsgemäßen Gargeräts 30 sind, wenn nicht anhand des Ausführungsbeispiels explizit anders ausgeführt, auf dem Fachmann bekannte Weise miteinander verbunden. Die Kamera 8 kann auch als plenoptische Kamera, TOF- Kamera oder Stereokamera, also in 3D-Technik, ausgebildet sein. Auch sind als Wärmebildkameras ausgebildete Kameras denkbar. Neben Einzelbildern ist auch die Aufnahme von Bilderfolgen und bewegten Bildern möglich.
Ein von der Kamera 8 aufgenommenes Kamerabild 32 wird jeweils an die Auswerteelektronik 40 übermittelt. Das Gargerät 30 ist dazu mit der Auswerteelektronik 40 verbunden, an die die von der Kamera 8 gemachten Kamerabilder 32 übermittelt werden. Die Auswerteelektronik 40 verfügt über eine Bildverarbeitungssoftware 46, mit der die softwaregestützte Bildverarbeitung ausgeführt wird. Die einzelnen von der Kamera 8 gefertigten Kamerabilder 32, die für die Bildauswertung herangezogen werden, können in der Auswerteelektronik 40 gespeichert werden, es ist aber auch möglich, diese in der Bedienelektronik 34 des Gargeräts 30 oder bei einem Internetanschluss und einer entsprechenden Ausstattung des Gargeräts 30 in der Cloud zu speichern. Die Bildverarbeitungssoftware 46 ist so programmiert, dass sie als Bildauswertung aus mehreren verfügbaren Kamerabildern 32 ein Durchschnittsbild 42 errechnet.
Die Auswerteelektronik 40 extrahiert aus dem Durchschnittsbild 42 Informationen über den Verschmutzungsgrad des Garraums 6. Auf deren Basis bestimmt die Auswerteelektronik 40 einen Zeitpunkt 44 für die Reinigung des Garraums 6, der der Bedienelektronik 34 übermittelt wird. Die Bedienelektronik 34 kann diesen Zeitpunkt dann einer Bedienperson über die verfügbaren Anzeigen mitteilen, sei es eine Kontrollleuchte am Gargerät 30, eine Anzeige auf einem Display am Gargerät 30 oder einem Display eines Smart Device, das über WLAN oder Internet mit dem Gargerät 30 kommuniziert.
Im Ausführungsbeispiel stellt die Linse 10 eine transparente Schicht dar, durch die hindurch die Kamera 8 Kamerabilder 32 vom Garraum 6 fertigt. Fettspritzer, die während eines Garvorgangs vom Gargut 16 aufspritzen, haften auch an der Linse 10 an, die die dem Garraum 6 zugewandte Seite der Linse 10 einen Teil der Innenwandung des Garraums 6 bildet. Diese der Linse 10 anhaftenden Verschmutzungen verdecken aus der Sicht der Kamera an den Stellen, an denen sie sich auf der Linse befinden, die Sicht von der Kamera auf das Gargut 16. Bei nachfolgend gefertigten Kamerabildern 32 weisen diese Stellen der Kamerabilder 32 auch bei wechselndem Gargut 16 im Garraum 6 keine oder allenfalls nur geringfügige Veränderungen in den Bildwerten der betreffenden Pixel oder Pixelfelder mehr auf. An den Stellen der Linse 10, an denen sich keine Verschmutzungen befinden, ist das bei dem jeweiligen Garvorgang im Garraum 6 liegende Gargut 16 im Kamerabild 32 allerdings gut erkennbar, und durch die unterschiedlichen Texturen und Farben des jeweils im Garraum 6 befindlichen Garguts 16 ergeben sich bei den Bildwerten für die betreffenden Pixel oder Pixelfelder in den Kamerabildern 32 jeweils unterschiedliche Werte, die durch die Mittelung im Durchschnittsbild 42 dann zu einem gemittelten Wert verrechnet sind.
Über den Doppelpfeil 48 ist angedeutet, dass die Auswertelektronik 40 und die Bedienelektronik 34 über die Bereitstellung der Information über den Zeitpunkt 44 hinaus miteinander kommunizieren können. Die Kommunikation kann insbesondere eine Garguterkennung betreffen, die ein Bestandteil der Bedienelektronik 34 oder auch der Kamera 8 sein kann. Über die Garguterkennung kann für die Auswerteelektronik 40 verifiziert werden, dass die verfügbaren Kamerabilder 32 den Garraum 6 mit darin eingelegtem Gargut 16 zeigen und dass die Kamerabilder 32 anlässlich verschiedener Garvorgänge gefertigt wurden.
Die Auswerteelektronik 40 kann das errechnete Durchschnittsbild 42 zu einem Graubild 50 weiterverarbeiten, das bessere Auswertungsmöglichkeiten bieten kann. Das Graubild 50 allein oder in Kombination mit dem Durchschnittsbild 42 kann zu einem Differenzbild 52 weiterverrechnet werden, bei dem aus den Bildwerten zu einzelnen Pixeln oder Pixelfeldern bestimmte Werte herausgefiltert worden sein können, um ein nochmals besser auswertbares Bild zu erhalten. Das Durchschnittsbild 42, das Graubild 50 und/oder das Differenzbild 52 können von der Auswerteelektronik 40 dazu benutzt werden, um den Verschmutzungsgrad des Garraums 6 zu bestimmen.
In Fig. 2 ist ein Verfahrensablauf mit Mittelwertbildung 70 und anschließender Grenzwertbildung 80 gezeigt, um dann am Entscheidungspunkt 90 zu entscheiden, ob ein Reinigungserfordernis besteht. Ausgehend von einem Helligkeitswert 60 eines Pixels wird für diesen Pixel zunächst aus mehreren Kamerabildern 32 mittels einer Metrik ein Mittelwert für den Helligkeitswert dieses Pixels gebildet. Liegt dieser aus mehreren Kamerabildern 32 ermittelte neue Helligkeitswert vor, kann dieser Helligkeitswert in das Durchschnittsbild 42 für diesen Pixel eingetragen werden. Das Durchschnittsbild setzt sich aus einer Vielzahl von auf solche Weise errechneten Helligkeitswerten für die einzelnen Pixel zusammen. Bei der Grenzwertbildung 80 wird das Durchschnittsbild 42 binarisiert, indem für jedes im Rahmen der Grenzwertbildung 80 untersuchte Pixel entschieden wird, ob dessen Helligkeitswert 60 über oder unter einem angenommenen Grenzwert liegt. Liegt der Helligkeitswert über dem Grenzwert, gilt das entsprechende Pixel als nicht verschmutzt, liegt der Helligkeitswert darunter, gilt dieses Pixel als verschmutzt. Sodann kann dann anhand der festgestellten Verschmutzung entschieden werden, ob ein Reinigungszyklus erforderlich ist.
In Fig. 3 ist der Verfahrensablauf aus Fig. 2, jedoch in vertauschter Abfolge bei einer zuerst erfolgenden Grenzwertbildung 80 und der anschließenden Mittelwertbildung 70.
Konkreter erfolgt das Verfahren wie nachfolgend beschrieben:
Vor Beginn der erfindungsgemäßen Verschmutzungserkennung müssen von der Kamera 8 Kamerabilder 32 des Inneren des Garraums 6 aufgenommen werden. Dafür kann die Kamera 8 in einer Ausführungsform eine monochromatische Kamera 8 sein, die ein Grautonbild aufnimmt. Bei einem Grautonbild wird jedem Pixel eines Bildes ein Wert, der seine Helligkeit/Lichtintensität auf einer Skala von z.B. 0 bis 255 repräsentiert, zugewiesen. Dabei steht 0 für ein schwarzes, 255 für ein weißes Pixel. Wird eine Farbkamera 8 verwendet, so kann aus dem Farbbild zunächst ein Grautonbild erzeugt werden. Handelsübliche Farbkameras 8 erzeugen Farbinformationen, indem sich vor dem Sensorchip ein wellenlängenselektiv lichtdurchlässiges Gitter, ein sogenannter Bayer-Filter, befindet, das je nach Position im Gitter rotes, grünes oder blaues Licht durchlässt. Aus den roten, grünen und blauen Farbanteilen lässt sich dann ein sogenanntes RGB-Bild rekonstruieren. Dabei besitzt jedes Pixel drei Werte, diese repräsentieren die Lichtintensität im roten, grünen bzw. blauen Bereich des optischen Spektrums. Aus dem RGB-Bild lässt sich nun ein Graubild erzeugen, indem die Farbinformation auf eine reine Helligkeitsinformation reduziert wird. Im einfachsten Fall wird für jeden Pixel dazu der Grauwert als Mittelwert von Rot-, Grün-und Blauwert bestimmt.
1 1 1
Grau = - 3 Rot + - 3 Grün + - 3 Blau
In der Praxis ist es üblich den Grünwert stärker und den Blauwert geringer zu gewichten, sodass die Formel z.B. so aussehen kann.
Grau = 0,3 Rot + 0,6 Grün + 0,1 Blau
Entscheidend für das weitere Vorgehen ist das ein Kamerabild 32 vorliegt, bei dem die Lichtintensität durch die Werte der einzelnen Pixel repräsentiert wird.
In einem Kamerabild 32 aus einem Garraum auf ein Backblech mit Pommes Frites wurden zur Auswertung alle Pixel mit Werten < 20 (auf einer Lichtintensitätsskala von 0 (schwarz) bis 255 (weiß)) als „verschmutzt“ markiert, alle anderen Pixel wurden als „nicht-verschmutzt“ markiert, sodass aus dem Kamerabild 32 das nachfolgend eingeblendete Binärbild entsteht: siehe Figur 4
Der Wert 20 entspricht auf der verwendeten Skala einem sehr dunklen Grau. Ist ein Pixel noch dunkler, so ist die Lichtintensität hier extrem gering, was darauf hinweisen kann, dass der Lichteinfall durch eine Verschmutzung an dieser Stelle gestört wird. Die verschmutzten Pixel sind in der vorstehenden Abbildung weiß markiert, die nicht-verschmutzten sind schwarz. Es ist deutlich sichtbar, dass die Erkennung aus einem einzigen Kamerabild häufig nicht funktioniert und das Gargut einen großen Einfluss auf die Erkennung hat. So werden z.B. die Stellen zwischen den Pommes Frites fehlerhaft als Verschmutzungen identifiziert.
Die Verwendung mehrerer Kamerabilder erlaubt eine Schmutzerkennung, ohne dass eine gezielte Handlung des Anwenders erforderlich wäre. Anstelle eines einzelnen Kamerabildes werden mehrere Kamerabilder aus aufeinanderfolgenden Garvorgängen verwendet. Aus den mehreren Kamerabildern wird ein Durchschnittsbild 42 errechnet, in dem für jedes Pixel die durchschnittliche Helligkeit mittels einer Metrik berechnet wird. Die untenstehende Gleichung zeigt dies für 3 Beispielbilder mit jeweils 2 x 2 Pixeln. Um das Durchschnittsbild 42 = D zu berechnen, wird für jedes Pixel in diesem Ausführungsbeispiel der arithmetische Mittelwert der korrespondierenden Pixel aus allen drei Bildern A, B und C berechnet.
A > [20 241 R > [12 181 r _ [112 211 211
A " L 1 23J’ B " L10 32J ’ C " L 7 41J’ 32J
A[i,j] + B[i,j] + C[i,j] - 3 - = D[i,j]
20 + 12 + 112 - = 48 3
So kann beispielsweise aus mehreren Kamerabildern das nachfolgend eingeblendete Durchschnittsbild berechnet werden. Dieses Durchschnittsbild wurde aus nur sechs Kamerabildern ermittelt, sodass die unterschiedlichen Beladungen im Garraum 6 weiterhin gut erkennbar sind. Die Beladungen des Garraums 6 werden durch die Mittelwertbildung jedoch bereits abgeschwächt. Im Gegensatz dazu sind die Verschmutzungen jedoch immer gleich und werden durch Mittelwertbildung nicht abgeschwächt. siehe Figur 5
Auch in diesem Bild können nun zur Binarisierung alle Pixel mit Werten < 20 als verschmutzt markiert werden. Die nachfolgend eingeblendete Abbildung zeigt die aus der vorstehenden Abbildung ermittelte Verschmutzung. siehe Figur 6
Diese Abbildung zeigt bereits eine deutlich bessere Übereinstimmung mit der tatsächlichen Verschmutzung als das vorstehend eingeblendete einzelne Kamerabild. Die Verschmutzungen sind nach der Binarisierung hell dargestellt. Anhand der Anzahl verschmutzter Pixel kann nun eine Entscheidung über Reinigungsnotwendigkeit getroffen werden. Zum Beispiel kann bei mehr als 10% verschmutzter Pixel der Kunde darauf hingewiesen werden, dass der Garraum 6 verschmutzt ist.
Werden mehr Bilder zur Ermittlung des Durchschnittsbildes verwendet, kann die Verschmutzungserkennung verbessert werden. Im Allgemeinen gilt: je mehr Bilder verwendet werden, desto besser funktioniert die Erkennung. Die nachfolgend eingeblendete Abbildung zeigt ein aus etwa 100 Bildern aus dem gleichen Garraum 6 ermitteltes Durchschnittsbild 42. siehe Figur 7
Die nachfolgend eingeblendete Abbildung zeigt die anhand der vorstehenden Abbildung ermittelte Verschmutzung in einem binarisierten Bild. siehe Figur 8
Mit Ausnahme der Regionen in den oberen Ecken, die sehr dunkel sind und daher fehlerhaft markiert werden, entspricht die Erkennung in sehr guter Näherung der tatsächlich vorhandenen Verschmutzung.
Bei der Mittelwert-und Grenzwertbildung gibt es zwei mögliche Reihenfolgen. Vorstehend beschrieben wurde der Weg, bei dem erst ein Mittelwert und dann ein Grenzwert gebildet werden. Anstatt zunächst ein Durchschnittsbild 42 zu berechnen und dann aus diesem Bild die Verschmutzung anhand eines binarisierten Bildes zu erkennen, kann aber auch zunächst für jedes einzelne Kamerabild die Verschmutzungserkennung mittels einer Binarisierung durchgeführt werden und anschließend können die binären Verschmutzungsbilder mittels einer Metrik gemittelt werden. Dies kann zu einem unterschiedlichen Ergebnis führen. Wird erst für jedes Kamerabild einzeln eine Binarisierung durchgeführt und danach der Mittelwert gebildet, erhält man bei den gleichen Ausgangs-Kamerabildern das nachfolgend eingeblendete Ergebnis: siehe Figur 9
Hier ist erkennbar, dass das Ergebnis in diesem Fall nicht mehr ein binäres Bild ist, in dem zwischen zwei Kategorien „verschmutzt, nicht-verschmutzt“ unterschieden wird. Stattdessen erhält jeder Pixel eine Verschmutzungswahrscheinlichkeit, die durch das Graulevel des Pixels im Ergebnisbild dargestellt wird. Je nach Anwendungsfall kann diese Vorgehensweise bessere Ergebnisse liefern. In den vorstehend gezeigten Ergebnisbildern ist erkennbar, dass die oberen Ecken des Bildes wie Verschmutzungen hervorgehoben werden, da sie im gegebenen Garraum 6 nur schlecht beleuchtet werden und daher wie Verschmutzungen konstant dunkel wirken. Um dies zu verhindern, können diese Regionen bei der Auswertung ignoriert werden. Alternativ können diese Ungleichheiten vor der Auswertung korrigiert werden. Dafür kann beispielsweise ein Medianfilter, bei dem jeder Pixelwert durch den Median der umliegenden Pixelwerte ersetzt wird, verwendet werden. Wird ein Medianfilter mit Größe 201x201 px auf das vorstehend gezeigte aus 100 Kamerabildern erstellte Durchschnittsbild angewendet, erhält man das nachfolgend eingeblendete Bild: siehe Figur 10
Werden das vorstehend gezeigte aus 100 Kamerabildern erstellte Durchschnittsbild und das mit dem Medianfilter korrigierte Bild voneinander subtrahiert, erhält man das nachfolgend eingeblendete Differenzbild: siehe Figur 11
Auf dem vorstehend eingeblendeten Differenzbild sind verschmutzte Stellen wiederum hervorgehoben, es ist erkennbar, dass die dunklen oberen Ecken nicht fehlerhaft als verschmutzt erkannt werden. Beim Differenzbild kann wieder eine Binarisierung erfolgen, um verschmutzte von nicht-verschmutzten Pixeln zu trennen. Das Ergebnis davon ist in der nachfolgend eingeblendeten Abbildung gezeigt: siehe Figur 12
Hier ist erkennbar, dass die große untere Verschmutzung nicht vollständig erkannt wird. Je nach Anwendungsfall kann die Helligkeitskorrektur sinnvoll sein.
Die Erfindung ist nicht auf das vorliegende Ausführungsbeispiel begrenzt. Beispielsweise ist die erfindungsgemäße Lehre auch bei anderen Gargeräten als Backöfen vorteilhaft einsetzbar. Die Kameras oder anderen optischen Sensoren können auch an anderer Stelle als in der vorstehenden gegenständlichen Beschreibung vorgeschlagen positioniert werden, und zwar innerhalb oder außerhalb des Garraums, wie beispielsweise auch in der Zugangstür zum Garraum oder vor der Zugangstür zum Garraum, wie beispielsweise auf der dem Garraum zugewandten Seite eines Griffes, und es können mehrere Kameras und/oder optische Sensoren verwendet sein. Bezugszeichenliste Gehäuse 1 Kühlkanal des Gehäuses 2, als Luftführung ausgebildet Gehäusewand, als Backmuffelwand ausgebildet 1 Öffnung in der Gehäusewand 4, für die Kamera 8 2 Garraumdecke der Gehäusewand 4 Garraum, als Backmuffel ausgebildet Kamera, als Fixfokuskamera ausgebildet 1 Objektiv der Kamera 8 Linse, als Sammellinse ausgebildet Garraumbeleuchtung, als Kamerabeleuchtung ausgebildet Dichtung Gargutträger Gargut Isolationsschicht Strahlengang des Lichts Oberhitze-Heizkörper Flansch Gargerät Kamerabild Bedienelektronik Auswerteelektronik Durchschnittsbild Zeitpunkt Bildverarbeitungssoftware Datenkommunikation Graubild Differenzbild Helligkeitswert Mittelwertbildung Grenzwertbildung Feststellung Reinigungserfordernis

Claims

26 Patentansprüche
1. Verfahren zur Bestimmung des Zeitpunktes für die Reinigung eines Garraums (6) eines Gargeräts (30), bei dem Kamerabilder (32) einer in den Garraum (6) gerichteten Kamera (8) einer Auswerteelektronik (40) zugeführt werden, die anhand der Kamerabilder (32) den Verschmutzungsgrad des Garraums (6) über eine softwaregestützte Bildauswertung bestimmt, dadurch gekennzeichnet, dass aus mehreren Kamerabildern (32) die Helligkeitswerte (60) mehrerer oder aller Pixel der Kamerabilder (32) über eine Mittelwertbildung (70) mittels einer Metrik und anschließender Grenzwertbildung (80) oder über eine Grenzwertbildung (80) und anschließender Mittelwertbildung (70) mittels einer Metrik entschieden wird, ob eine Reinigung erforderlich ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Mittelwertbildung (70) mittels einer Metrik und anschließenden Grenzwertbildung (80) zunächst ein Durchschnittsbild (42) errechnet wird, dann für eine Mehrzahl oder alle Pixel des Durchschnittsbilds (42) ein durchschnittlicher Helligkeitswert (60) berechnet wird, dann die durchschnittlichen Helligkeitswerte (60) der Pixel mit einem Grenzwert verglichen werden, der eine binarisierende Bewertungsschwelle für die Unterscheidung der durchschnittlichen Helligkeitswerte (60) zwischen einem als verschmutzt oder nicht verschmutzt bewerteten Pixel darstellt, und danach anhand der Anzahl der nach dem Grenzwertvergleich als verschmutzt bewerteten Pixel entschieden wird, ob eine Reinigung erforderlich ist.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der Grenzwertbildung (80) und anschließenden Mittelwertbildung (70) mittels einer Metrik zunächst für eine Mehrzahl oder alle Pixel jedes Kamerabilds (32) ein individueller Helligkeitswert (60) berechnet wird, dann die individuellen Helligkeitswerte (60) der Pixel mit einem Grenzwert verglichen werden, der eine binarisierende Bewertungsschwelle für die Unterscheidung der individuellen Helligkeitswerte (60) zwischen einem als verschmutzt oder nicht verschmutzt bewerteten Pixel des Kamerabildes (32) darstellt, aus den als verschmutzt oder nicht verschmutzt bewerteten Pixeln ein binäres Verschmutzungsbild zu jedem Kamerabild (32) erstellt wird, und danach aus einer Mehrzahl oder allen Pixeln der binären Verschmutzungsbilder ein Durchschnittsbild (42) errechnet wird, bei dem der Graulevelwert jedes Pixels einer Verschmutzungswahrscheinlichkeit entspricht, und die Graulevelwerte der Pixel zu einem durchschnittlichen Verschmutzungswahrscheinlichkeitswert des Durchschnittsbildes (42) verrechnet werden, der mit einem Grenzwert verglichen wird und bei einer Überschreitung des Grenzwerts die Reinigung als erforderlich bewertet wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass einige oder alle der mehreren Kamerabilder (32) farbige Bilder sind, bei denen die Farbkanäle der einzelnen Pixel unterschiedlich ausgewertet oder ohne die Farbwerte weiter verrechnet werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamerabilder (32) von der Kamera (8) durch eine transparente Schicht hindurch gefertigt werden, die die Kamera (8) vom Garraum (6) trennt, wobei die transparente Schicht einen Teil der Innenwandung des Garraums (6) bildet. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Verschmutzungsgrad der transparenten Schicht als Indikator für den Verschmutzungsgrad des Garraums (6) dient. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mehreren Kamerabilder (32) mehrere verschiedene Garvorgänge und/oder Beladungssituationen zeigen. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteelektronik (40) die Qualität des Durchschnittsbildes (42) oder einer daraus gebildeten Ableitung mit einem Bewertungsalgorithmus bewertet und ein Zeitpunkt für die Reinigung des Garraums (6) nur dann bestimmt wird, wenn die Qualität des Durchschnitttsbildes (42) oder einer daraus gebildeten Ableitung als ausreichend bewertet worden ist. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Verschmutzungsgrad von Pixeln oder Pixelfeldern des Durchschnittsbildes (42) oder einer daraus gebildeten Ableitung in verschiedenen Sektoren des Durchschnittsbildes (42) oder einer daraus gebildeten Ableitung unterschiedlich gewichtet wird. . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Klassifizierung der Pixel und/oder Pixelfelder unter der Berücksichtigung von Wahrscheinlichkeiten der jeweiligen Klassifizierung erfolgt. . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus dem Durchschnittsbild (42) oder einer daraus gebildeten Ableitung in einem Korrekturlauf Strukturen mit einer geringen Größe entfernt werden. . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Durchschnittsbild (42) in ein Graubild (50) verrechnet wird. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass aus dem Graubild (50) in einem Korrekturlauf Strukturen mit einer geringen Größe entfernt werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Graubild (50) oder das Durchschnittsbild (42) durch eine Filterung in ein Differenzbild (52) verrechnet wird. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass aus dem Differenzbild (52) in einem Korrekturlauf Strukturen mit einer geringen Größe entfernt werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bestimmte Bereiche des Durchschnittsbildes (42), des Graubildes (50) oder des Differenzbildes (52) von der Auswerteelektronik (40) ignoriert werden. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteelektronik nach einer durchgeführten Reinigung des Garraums (6) vorher aufgenommene Kamerabilder (32) löscht.
EP21790808.6A 2020-10-14 2021-10-06 Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts Pending EP4229336A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020126930.7A DE102020126930A1 (de) 2020-10-14 2020-10-14 Verfahren zur Bestimmung des Zeitpunktes für die Reinigung eines Garraums eines Gargeräts
PCT/EP2021/077565 WO2022078839A1 (de) 2020-10-14 2021-10-06 Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts

Publications (1)

Publication Number Publication Date
EP4229336A1 true EP4229336A1 (de) 2023-08-23

Family

ID=78134930

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21790808.6A Pending EP4229336A1 (de) 2020-10-14 2021-10-06 Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts

Country Status (3)

Country Link
EP (1) EP4229336A1 (de)
DE (1) DE102020126930A1 (de)
WO (1) WO2022078839A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230199287A1 (en) * 2021-12-22 2023-06-22 Whirlpool Corporation Camera view port dedicated self cleaning cycles
US11986862B2 (en) * 2022-04-25 2024-05-21 John Bean Technologies Corporation System and method for optimizing a cleaning session of a food processing system
DE102022204280A1 (de) * 2022-05-02 2023-11-02 BSH Hausgeräte GmbH Betreiben eines Gargeräts mit mindestens einer Garraumkamera
WO2024053908A1 (ko) * 2022-09-07 2024-03-14 삼성전자주식회사 조리 기기 및 그 제어 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10128024B4 (de) 2001-06-08 2006-07-06 BSH Bosch und Siemens Hausgeräte GmbH Gargerät
WO2014102074A1 (en) 2012-12-26 2014-07-03 Arcelik Anonim Sirketi Pyrolytic oven
DE102014116709A1 (de) 2014-11-14 2016-05-19 Rational Aktiengesellschaft Gargerät sowie Verfahren zur Bestimmung des Verschmutzungsgrades eines Gargeräts
KR101644711B1 (ko) 2014-12-08 2016-08-01 엘지전자 주식회사 전자레인지 및 전자레인지의 제어 방법
DE102016206483A1 (de) 2016-04-18 2017-10-19 Convotherm Elektrogeräte GmbH Verfahren zum Feststellen einer Reinigungsnotwendigkeit und Qualitätsmanagement-Überwachungssystem eines gewerblichen Gargeräts, und gewerbliches Gargerät
JP6842955B2 (ja) * 2017-03-13 2021-03-17 三菱電機株式会社 加熱調理器
DE102017206058A1 (de) 2017-04-10 2018-10-11 BSH Hausgeräte GmbH Bestimmen eines Verschmutzungsgrads in einem Garraum
DE102017206056A1 (de) 2017-04-10 2018-10-11 BSH Hausgeräte GmbH Betreiben eines Gargeräts
WO2018225666A1 (ja) * 2017-06-07 2018-12-13 パナソニックＩｐマネジメント株式会社 加熱調理器および加熱調理器の制御方法
EP3477205B1 (de) * 2017-10-25 2020-04-22 Diehl AKO Stiftung & Co. KG Elektronisches haushaltsgerät
WO2019208342A1 (ja) * 2018-04-27 2019-10-31 パナソニックＩｐマネジメント株式会社 加熱調理器
JP7141328B2 (ja) * 2018-12-25 2022-09-22 東京瓦斯株式会社 洗浄システム、調理機、そのプログラムおよび洗浄方法
EP3767183A1 (de) 2019-07-16 2021-01-20 Electrolux Appliances Aktiebolag Verfahren zur erkennung der verschmutzung eines haushaltsgeräts und verschmutzungserkennungssystem für ein haushaltsgerät

Also Published As

Publication number Publication date
WO2022078839A1 (de) 2022-04-21
DE102020126930A1 (de) 2022-04-14

Similar Documents

Publication Publication Date Title
WO2022078839A1 (de) Verfahren zur bestimmung des zeitpunktes für die reinigung eines garraums eines gargeräts
EP3446040B1 (de) Verfahren zum feststellen einer reinigungsnotwendigkeit eines gewerblichen gargeräts und gewerbliches gargerät
WO2018033383A1 (de) Feststellen eines bräunungsgrads von gargut
EP3152498B1 (de) Gargerät mit lichtmusterprojektor und kamera
EP3872403A1 (de) Verfahren zur bestimmung einer reinigungszyklus-dauer
DE102019107819A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102019107846A1 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102014210673A1 (de) Bestimmen einer Einschubebene eines Gargutträgers
EP3904769A1 (de) Gargerät mit elektronischer bedienfehlererkennung
WO2021032477A1 (de) Betreiben eines haushalts-gargeräts mit mindestens einer kamera
EP3742051A1 (de) Belichtungsregelung von gargütern
DE10015760C2 (de) Verfahren zum Betrieb eines Garofens sowie Garofen
DE102019107828B4 (de) Verfahren zum Betreiben eines Gargeräts und Gargerät
DE102023209367A1 (de) Betreiben eines Gargeräts mit einer digitalen Garraum-Farbkamera
EP4274997A1 (de) Verfahren zum bestimmen eines garzeiteindes von gargut sowie haushaltsgargerät
EP3767580A1 (de) Steuereinheit und verfahren zur auswertung von bilddaten in einem hausgerät
BE1030431B1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
BE1030917B1 (de) Gargerät und Verfahren zum Betreiben eines Gargeräts
BE1030426B1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
WO2023213514A1 (de) Betreiben eines gargeräts mit mindestens einer garraumkamera
BE1030428B1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
WO2022089977A1 (de) Verfahren zum betreiben eines gargerätes und gargerät
DE102023106671A1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
DE102023106641A1 (de) Verfahren zum Garen eines Garguts in einem Gargerät mit einer Kameraeinrichtung
DE102021208447A1 (de) Verfahren zum Überwachen von Gargut und Haushaltsgargerät

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230515

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)