EP2977683A1 - Method of controlling a cooking device - Google Patents

Method of controlling a cooking device Download PDF

Info

Publication number
EP2977683A1
EP2977683A1 EP15178294.3A EP15178294A EP2977683A1 EP 2977683 A1 EP2977683 A1 EP 2977683A1 EP 15178294 A EP15178294 A EP 15178294A EP 2977683 A1 EP2977683 A1 EP 2977683A1
Authority
EP
European Patent Office
Prior art keywords
class
food
image
control unit
cooking appliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15178294.3A
Other languages
German (de)
French (fr)
Inventor
Dr. Thomas Schreiner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rational AG
Original Assignee
Rational AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rational AG filed Critical Rational AG
Publication of EP2977683A1 publication Critical patent/EP2977683A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens

Definitions

  • the invention relates to a method for controlling a cooking appliance.
  • Cooking appliances which are used in the kitchen and professional area, should have the highest possible degree of automation, so that a cooked with the cooking appliance cooking process runs as efficiently and error-free.
  • cooking appliances are known from the prior art, in which the operator of the cooking appliance, when he has loaded the cooking appliance with a specific food, only has to specify what kind of food to be cooked. The cooking appliance then automatically detects the amount and / or the caliber of the food and controls the cooking process automatically, so that the cooking time and any intermediate steps of the cooking process are adapted to the amount or the caliber of the food.
  • the object of the invention is therefore to increase the degree of automation in the control of a cooking appliance in order to further reduce the error potential occurring.
  • the basic idea of the invention is to increase the degree of automation of a cooking appliance in that the cooking appliance itself and automatically recognizes which cooking product it is, and then automatically starts a cooking process corresponding to the cooking product.
  • the cooking appliance thus starts the cooking process every day, provided that the class of the food has been recognized.
  • the user is not offered a choice between the most likely classes between which the user must manually make a selection.
  • the cooking appliance can recognize the food to be cooked, classes of specific items to be cooked are stored in a database of the control unit, by means of which the food to be cooked can be determined.
  • the determination of the class of food to be cooked can be done on the basis of the recorded image itself, which is difficult due to different exposures and different backgrounds and the high amount of data.
  • the cooking appliance is designed to be able to learn since the classes or the database comprising the classes are constantly supplied with new data which are obtained from the food to be cooked, if this is provided by the user. Based on the newly obtained data and the assignment to the corresponding class, the class is updated or adjusted. If the cooking appliance has recognized the class of the food to be cooked itself, the update or adaptation of the class can be done automatically, otherwise on the manual assignment of the operator. It may, however, be provided that the existing classes are not changed by the inclusion of new data in order to prevent a deterioration of the classification of the classes due to new data.
  • the optical device creates the image of the food during the introduction of the food in the cooking appliance. On the one hand, this ensures that the food to be cooked is recognized in good time before the start of the cooking process. On the other hand, this ensures that the quality of the image of the food does not vary due to fumes within the cooking appliance or by changes in the food during cooking. The image of the food is therefore recorded locally outside the oven.
  • control unit is thus arranged to abstract the image taken by the optical device based on the characteristic variables or recognition parameters, so that an abstracted data set or a mathematical object can be generated, by means of which a comparison with the classes stored in the database is possible ,
  • image recognition algorithms can be used.
  • the quantity and / or the caliber of the food to be cooked are determined in addition to the class, the cooking process being adapted on the basis of this information.
  • the automatic detection can thus not only the food itself, but also the amount and / or the Determining caliber, which ensures that the cooking process is optimally adapted to the introduced food.
  • the images and / or the properties of images may be removed from the database by the user or assigned to another class.
  • the classification of the classes can be subsequently adjusted or adjusted so that the cooking appliance or the control of the cooking appliance assigns a similar food to be cooked at a later introduction directly to the class, which has set manually the operator of the cooking appliance. This is particularly advantageous when it has been determined that a better cooking result is achieved for a particular food that has actually been assigned to a first class, when a cooking process is performed according to a second class.
  • Another aspect of the invention provides that the user, when the control unit has determined the class of food to be cooked, can change the class of the food to another class by means of a user interface, in which case the image and / or the properties of the image in assigned to the database of the other class, the assignment of the image and / or the properties of the image to the class determined by the control unit is canceled and, if appropriate, the cooking process is adjusted.
  • Manual intervention is a safety function if automatic detection assigns food to a wrong class.
  • the database will also be adjusted accordingly.
  • control unit can determine a membership factor of the item to be cooked for the respective class when comparing the class of the item to be cooked for several, in particular for each class.
  • the affiliation factor represents a type of probability that indicates how likely the food to be cooked is to be assigned to a particular class.
  • the respective classes have characteristic values for the characteristic variables or recognition parameters, such as the contour histograms and / or the color histograms, by means of which the deviation from the characteristic values of the membership factor can be determined for a specific class.
  • the characteristic values correspond to the emphases of the corresponding classes.
  • the control unit determines the class with the largest membership factor as the class of the item to be cooked.
  • the threshold value can be used to set a certain match or probability so that the cooking appliance can see the food to be cooked as known and assign it to a specific class.
  • control unit does not assign the food to any class if all the determined membership factors are below the predetermined threshold value. This is particularly the case when the cooking food to be cooked is unknown to the cooking appliance, whereby the user of the cooking appliance is asked in accordance with step d) to assign the food to a class.
  • the control unit gives the user of the cooking appliance probable classes for the food to be cooked via the user interface for selection, if the control unit can not clearly determine the class of the food. This is the case in particular if the control unit has determined several classes with an equally large or similar membership factor on the basis of the membership factors. The user is then prompted by the cooking device to select one of the probable classes. If the food to be cooked does not belong to any of the probable classes, the user can enter the class manually according to step d).
  • a linear or non-linear multidimensional statistical method for processing the properties of the image can be performed.
  • the recorded images or their properties represent a large amount of statically evaluable data that can be processed and analyzed by a corresponding method.
  • the cooking appliance can classify the recorded food items.
  • a further aspect of the invention provides that a new class of a still unknown food item and / or a change of the already existing class division is determined or carried out by means of the linear or non-linear multidimensional statistical method, in particular by means of a linear discriminant analysis (LDA).
  • LDA linear discriminant analysis
  • Multidimensional statistical methods also called discriminant analyzes, are generally methods of distinguishing two or more classes characterized by characteristic variables or recognition parameters, which method can check the respective classes on the basis of their characteristic variables clear classification of the food to one of the respective class is possible, if the respective class is already known. Otherwise, a new class can be created, which has the data of the previously unknown cooking product.
  • discriminant analysis the data abstracted from the images into mathematical objects, for example vectors or matrices, are understood as coordinates in a correspondingly multidimensional space.
  • the dimensions of the high-dimensional mathematical objects can be reduced.
  • the Fisher criterion can be used for this, so that the mathematical objects can be projected into only one dimension.
  • a class will be reduced such that the class has a center of gravity and a certain extent around this center of gravity.
  • linear functions are used in the LDA, ie a linear system of equations which links each characteristic recognition parameter with a corresponding coefficient, so that functions are identified which delimit the classes from one another.
  • the linear or non-linear multidimensional statistical methods for classification have a measure of the recognition certainty, in particular an intrinsic measure for the recognition certainty. This is especially important when an unknown object is supplied.
  • the degree of recognition security may be the membership factor directly or may be derived from the level of recognition security.
  • the membership factor is provided by, or at least derived from, the linear or nonlinear multidimensional statistical method itself.
  • linear discriminant analysis as a statistical method of classification is characterized by the fact that it has an intrinsic measure of the recognition certainty, that is already in itself. This eliminates the need for further implementation to specify the level of confidence in detection when using the multidimensional statistical method.
  • discriminant functions may be determined. These discriminant functions serve to meaningfully separate the acquired data from the properties of the images so that classes are formed. Based on the discriminant functions, it is thus possible for the cooking appliance, in particular the controller, to make a decision as to which class a new food item belongs, whose properties have been mathematically determined, in particular by an image recognition algorithm.
  • At least one image recognition algorithm can be used which generates multi-dimensional mathematical objects based on the acquired characteristics of the image, the linear or non-linear multidimensional statistical method reducing the dimension of the mathematical objects. This makes it possible to scale the highly complex and multidimensional mathematical objects generated by the image recognition algorithm into more manageable mathematical objects, so that among other things, the discriminating functions can be determined more easily and quickly. Thus, the classification of unknown objects can be performed efficiently.
  • the properties of a new food item extracted by the image recognition algorithm are combined into a mathematical object which can be reduced in dimensions by the linear or non-linear multidimensional statistical method.
  • the (reduced) mathematical object is then used in at least one of the previously calculated discriminant functions to determine the affiliation of the new food to one of the classes.
  • the LDA in particular the Fisher 's criterion on which the LDA is based, can be used to specify intrinsic measures for recognition reliability. This applies to both the classes and the spaces between the classes.
  • the linear or non-linear multidimensional statistical methods are generally not image recognition algorithms but in addition thereto provided methods by which the mathematical objects generated by the image recognition algorithms are further processed.
  • a learning phase is initially performed in which the database learns the classes.
  • the cooking appliance is preceded by objects for classifying, the linear discriminant analysis classifying these objects based on the characteristic variables or recognition parameters and calculating the corresponding linear discriminant functions.
  • the LDA can easily determine the membership factor of a food to be determined on the basis of the intrinsic detection measure.
  • the correspondingly determined recognition parameters of the new object are inserted into the discriminant functions and the discriminant variable is calculated.
  • the discriminant variable or membership factor represents the ratio of the distance of the new point of the food to be cooked from the class center of gravity to the extension of the class in the direction of the new point.
  • a membership factor can be obtained by comparing the distance of the feature set of the new object to the focal points of the individual classes in the feature space with the respective standard deviations determine.
  • a standard frequency distribution for example a Gaussian distribution, around the class center of gravity can be assumed.
  • PCA principal component analysis
  • the respective data records are separated by the respective variance, which should be as large as possible.
  • the respective classes or their high-dimensional objects are approximated by the smallest possible number of meaningful linear combinations.
  • the meaningful linear combinations are called main components.
  • the main components can be determined by determining the eigenvalues and eigenvectors of the respective data sets.
  • Random Forest a "Random Forest” (RFV) method can be used for classification.
  • the random forest method does not have an intrinsic measure for the detection reliability, which is why an additional implementation has yet to be made in the RFV in order to additionally obtain a measure of the recognition reliability.
  • ISOMAP a so-called ISOMAP method may be used in which a non-linear dimensional reduction is performed.
  • the ISOMAP methods are also known as L-ISOMAP or C-ISOMAP methods.
  • Another alternative method of classification is the "nearest neighbor” method, which is often known as “k-nearest neighbor algorithm”.
  • k-nearest neighbor algorithm an unknown object is classified, inter alia, on the basis of the "k” next already classified objects. This method is particularly suitable when many classes are already known and no objects are supplied to a new class.
  • a first phase which is also called learning phase and in FIG. 1 is shown, the Garrace the different classes are taught.
  • the cooking appliance is provided with different objects in the same class, so that the cooking device creates images of the different objects.
  • the characteristic parameters of the objects are recorded.
  • the controller of the cooking appliance then abstracts from the recorded images data corresponding to the characteristic recognition parameter or variable.
  • characteristic variables or recognition parameters can be color histograms, contour histograms, colors or contours of the objects.
  • the characteristic recognition parameters or variables are then converted into mathematical objects such as a vector, a matrix or a number in order to be able to handle them computationally.
  • this can be done using Fisher's criterion. This allows a multi-dimensional matrix to be projected into a two-dimensional space such that it belongs to the matrix Class is defined by a centroid and a linear extent of the class.
  • This data cloud has various data subclouds, each of which can be assigned to a specific class in abstract form. However, the data subcloud of a particular class can not yet be distinguished from another class.
  • the discriminant analysis or another method of grouping therefore determines discriminant functions that have the characteristic recognition parameters as variables.
  • the taught classes are distinguishable from each other by means of the discriminant functions, although they may well overlap depending on the classes and the recognition parameters.
  • the controller can automatically recognize in a later operation of the cooking appliance whether a food item to be cooked has to be assigned to a specific class. This is in FIG. 2 shown.
  • the food to be cooked is in turn taken during insertion by means of an optical device (camera), wherein the corresponding characteristic parameters are determined from the recorded image and abstracted again. Based on the abstracted values, the controller can then determine whether the food to be cooked is to be assigned to a particular class. For this purpose, the characteristic parameters are inserted into the discriminant functions and the discriminant variable is determined.
  • the discriminant variable corresponds to a membership factor by which affiliation is indicated as a kind of probability to a corresponding class.
  • the membership factor is defined such that it indicates how far the projected new data point of the food to be cooked is removed from the center of gravity of the respective class compared to the extent of the respective class. The closer the particular point of the food to be cooked is to the center of gravity of the class, the more likely it is that the food to be cooked is assigned to the respective class. This is represented by a high membership factor.
  • the cooking appliance If all the membership factors for the respective classes when detecting a food to be cooked are below predefined threshold values, then the cooking appliance outputs via a user interface that no unambiguous assignment is possible. The user can now manually select a class and / or the cooking appliance displays the most likely classes from which the user can then select the correct class.
  • the automatic detection can be designed so that it not only recognizes the class of the item to be cooked but also the quantity and / or the caliber of the item to be cooked.
  • the cooking appliance is now supplied with an object to be cooked, for example a red pepper
  • the object to be cooked is photographed and the characteristic parameters, the color histogram and the contour, determined and abstracted from the image on the basis of the recorded image.
  • the controller determines whether the food to be cooked belongs either to the class red paprika or red chilli. this happens by substituting the characteristic parameters into the discriminant functions already formed for the class distinction.
  • the cooking appliance determines an approximately equal membership factor for both classes.
  • the cooking appliance can not determine a clear assignment of the object to be cooked to a certain class, which is why the cooking appliance proposes to the operator of the cooking appliance the two most likely classes, here red peppers or red chili, for selection.
  • the class potato is not suggested, because the membership factor is correspondingly small due to the different color histogram and the different contour.
  • the operator can then manually select whether the red mini peppers are more likely to be red peppers or red chillies. If the operator chooses one of the two classes, the center of gravity of the selected class and its extent will be changed to red according to the newly added data of the mini peppers, provided that the option is activated that new data may be added to the database. Therefore this is in FIG. 2 shown in dashed lines.
  • the user may also decide to create a new class, which he calls, for example, mini peppers red. Since this class was not yet known to the cooking appliance, the cooking appliance still has no differentiation from the other classes. This can happen only then when the linear or nonlinear multidimensional statistical methods required for classification are performed to determine corresponding discriminant functions for classifying the classes. For this, a sufficient database for the new class must be available.
  • Another example is a yellow pepper, which is supplied to the cooking appliance as food to be cooked.
  • the cooking device Since the cooking device so far does not know the class paprika yellow, the cooking device will not be able to carry out a clear assignment of the yellow pepper to a certain class. However, due to the two characteristic parameters, color histogram and contour, the cooking appliance would determine the red pepper category with a higher membership factor.
  • the operator of the cooking device can then decide whether to add the yellow pepper to the red paprika class or to create a new class of paprika yellow.
  • the red bell pepper would expand in such a way that, for example, when an orange bell pepper is added to the cooking appliance, it automatically enters the class Paprika is classified red, because now the class paprika red covers all color spectrums from red to yellow.
  • a class could be designed to include only red and yellow peppers but not colors in the color space such as this is the case with the linear discriminant analysis method. This means that the gap remains spared, so to speak.
  • This recess can also be realized by implementing further method steps with a linear multidimensional statistical method, in particular automated. Furthermore, the user can make the Aussparrung manually.
  • linear discriminant analysis can assign multiple subclasses to a user-created class.
  • the user-created class "red / yellow pepper” could be broken down into the subclasses “red pepper” and “yellow pepper” so that the intermediate range (“orange pepper”) is not included. This can be done by the user himself. But there is also the possibility to do this completely automatically without the user having to intervene, as explained below.
  • the class only decays with respect to individual features or recognition parameters into disjoint regions in the feature space or in the parameter space. In order to recognize this situation automatically, it is necessary to search for gaps or accumulation points in the individual features.
  • the data points could be sorted with respect to the respective feature, in order then to be able to simply calculate the distances to the next, after next or nth neighbors.
  • the maxima of the function distance versus feature mean of the two points are potential separation values for subclasses.
  • Whether a separation of the potential subclasses is meaningful can be done via a suitable threshold value for the parameter centroid distance to the root mean square of the standard deviations of the respective potential subclasses.
  • This separation can be one-dimensional, if the separation criterion is a feature or a recognition parameter, which is why the required computing time is low.
  • the number of subclasses would be reduced and the criterion for separation would have to be replaced by the corresponding distances in the subspace spanned by the features eligible for separation.
  • the threshold used to decide on the separation of the potential subclasses should therefore depend on the number of available data points and the number of features.
  • each data point could be replaced by a weight function that decreases with the distance.
  • the sum of the weight functions then represents a measure of the density of the data points in the neighborhood. Their minima are the centers of potential holes.
  • This exemplary method and analogous methods are also suitable for individual features, in particular for many data points. If there are few data points, the aforementioned method is preferable for reasons of time.
  • a criterion for the usefulness of subclasses could be the reduction of the class volume.
  • the subclasses are preferably formed around the maxima of the weight function.
  • the data points are then assigned to the nearest maximum.
  • a linear multidimensional statistical method is typically preferred, particularly in cooking appliances that are available to an end user in which there is no on-site specialist.
  • the cooking appliance accesses a database to select a cooking process appropriate to the particular class.
  • the database can be integrated in the cooking appliance or provided outside the cooking appliance, the cooking appliance then accessing the database via an interface. Access to the database also takes place when the cooking appliance has not recognized the class of the food and the user has selected a class.
  • the cooking appliance compares, especially in the case of a mixed feed, the cooking space conditions currently present in the cooking space, for example temperature and humidity, with the characteristic values of the cooking process corresponding to the particular class. If the cooking chamber conditions present in the cooking chamber are in an area which corresponds to the cooking process corresponding to the particular class, the user can insert the cooking product recognized by the cooking appliance. This is signaled to the user. If the cooking chamber conditions are outside the range, this is also signaled to the user.
  • the cooking space conditions currently present in the cooking space for example temperature and humidity
  • the cooking appliance can also fall back on the settings of the cooking appliance when determining the cooking process corresponding to the particular class, in particular the geographical location of the cooking appliance and the selected language. This can take into account country or regional differences in the desired cooking process. This concerns, for example, the degree of browning of a baked good.
  • the cooking appliance can provide the user with the cooking processes associated with the corresponding class. The user can then choose which cooking process to perform. The cooking appliance therefore automatically detects the class of the food and searches in the database for cooking processes for the detected class, whereby the degree of automation is increased accordingly.
  • the cooking appliance can in particular indicate which of the cooking processes available for selection can be carried out on the basis of the present cooking chamber conditions.
  • a temperature sensor for the food to be detected.
  • the temperature sensor may assist the optical device to detect whether it is, for example, a frozen bakery product or a refrigerated bakery product. In general, this can also recognize the optical device alone, for example due to the gloss or the reflection of the surface of the food to be detected. According to the recognized state of the food, a specific cooking process in the database is used.
  • the operator may also change the database accordingly so that the classes will adapt.
  • this intrusion into the database should only be an optional option, which is handled restrictively, for example by means of a password. Changing already known classes is also optional.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • General Preparation And Processing Of Foods (AREA)

Abstract

Ein Verfahren zur Steuerung eines Gargerätes ist beschrieben, bei dem ein Bild von einem zu garenden Gargut mittels einer optischen Vorrichtung erstellt und an eine Steuereinheit eines Gargerätes übermittelt wird. Ferner vergleicht die Steuereinheit das Bild und/oder die Eigenschaften des Bildes mit zuvor in einer Datenbank der Steuereinheit hinterlegten Bildern und/oder Eigenschaften von Bildern, um die Klasse des Gargutes zu bestimmen, wobei die in der Datenbank hinterlegten Bilder und/oder die Eigenschaften der Bilder zu Klassen zusammengefasst sind. Wenn die Steuereinheit die Klasse des Gargutes bestimmt hat, werden ein der bestimmten Klasse entsprechender Garprozess vom Gargerät automatisch begonnen, das Bild und/oder die Eigenschaften des Bildes bei Bedarf zur Datenbank hinzugefügt und der bestimmten Klasse zugewiesen. Wenn die Steuereinheit die Klasse des Gargutes nicht bestimmen kann, übergibt der Benutzer des Gargerätes die Klasse des Gargutes mittels einer Benutzerschnittstelle an die Steuereinheit und das Bild und/oder die Eigenschaften des Bildes werden bei Bedarf zur Datenbank hinzugefügt und der übergebenen Klasse zugewiesen.A method for controlling a cooking appliance is described, in which an image of a food to be cooked is created by means of an optical device and transmitted to a control unit of a cooking appliance. Furthermore, the control unit compares the image and / or the properties of the image with images and / or image properties previously stored in a database of the control unit to determine the class of food to be cooked, the images stored in the database and / or the properties of the images Pictures are grouped into classes. When the control unit has determined the class of the food to be cooked, the cooking appliance automatically starts a cooking process corresponding to the particular class, adds the image and / or the properties of the image to the database as needed and assigns it to the particular class. If the control unit can not determine the class of food to be cooked, the user of the cooking appliance passes the class of the food to the control unit via a user interface and the image and / or image properties are added to the database as needed and assigned to the transferred class.

Description

Die Erfindung betrifft ein Verfahren zur Steuerung eines Gargeräts.The invention relates to a method for controlling a cooking appliance.

Gargeräte, die im Großküchen- bzw. Profibereich zum Einsatz kommen, sollen einen möglichst hohen Automatisierungsgrad aufweisen, sodass ein mit dem Gargerät ausgeführter Garprozess möglichst effizient und fehlerfrei abläuft. Um diesen Anforderungen gerecht zu werden, sind aus dem Stand der Technik Gargeräte bekannt, bei denen der Bediener des Gargeräts, wenn er das Gargerät mit einem bestimmten Gargut beschickt hat, nur noch angeben muss, um welche Art von Gargut es sich handelt. Das Gargerät erkennt dann automatisch die Menge und/oder das Kaliber des Garguts und steuert den Garprozess automatisch, sodass die Garzeit und eventuelle Zwischenschritte des Garprozesses auf die Menge bzw. das Kaliber des Garguts angepasst sind.Cooking appliances, which are used in the kitchen and professional area, should have the highest possible degree of automation, so that a cooked with the cooking appliance cooking process runs as efficiently and error-free. In order to meet these requirements, cooking appliances are known from the prior art, in which the operator of the cooking appliance, when he has loaded the cooking appliance with a specific food, only has to specify what kind of food to be cooked. The cooking appliance then automatically detects the amount and / or the caliber of the food and controls the cooking process automatically, so that the cooking time and any intermediate steps of the cooking process are adapted to the amount or the caliber of the food.

Bei derartigen Gargeräten kann es jedoch immer noch zu Fehlbedienungen kommen, wenn der Bediener des Gargeräts aus Unwissenheit oder aus Versehen eine falsche Art von Gargut angibt, sodass das Gargerät einen Garprozess für eine andere Art von Gargut ausführt als dasjenige, das sich im Gargerät tatsächlich befindet.In such cooking appliances, however, it can still lead to incorrect operations when the operator of the cooking appliance out of ignorance or accidentally indicates an incorrect type of food, so that the cooking appliance performs a cooking process for a different type of food than that which is actually in the cooking appliance ,

Aufgabe der Erfindung ist es daher, den Automatisierungsgrad bei der Steuerung eines Gargeräts zu erhöhen, um das dabei auftretende Fehlerpotenzial weiter zu senken.The object of the invention is therefore to increase the degree of automation in the control of a cooking appliance in order to further reduce the error potential occurring.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Steuerung eines Gargerätes gelöst, bei dem:

  1. a) ein Bild von einem zu garenden Gargut mittels einer optischen Vorrichtung, insbesondere einer Kamera, erstellt und an eine Steuereinheit eines Gargerätes übermittelt wird,
  2. b) die Steuereinheit das Bild und/oder die Eigenschaften des Bildes, wie Konturen, Konturenhistogramme, auftretende Farben und Farbhistogramme, mit zuvor in einer Datenbank der Steuereinheit hinterlegten Bildern und/oder Eigenschaften von Bildern vergleicht, um die Klasse des Gargutes zu bestimmen, wobei die in der Datenbank hinterlegten Bilder und/oder die Eigenschaften der Bilder zu Klassen zusammengefasst sind,
  3. c) wenn die Steuereinheit die Klasse des Gargutes bestimmt hat, ein der bestimmten Klasse entsprechender Garprozess vom Gargerät automatisch begonnen wird, das Bild und/oder die Eigenschaften des Bildes bei Bedarf zur Datenbank hinzugefügt und der bestimmten Klasse zugewiesen werden, und
  4. d) wenn die Steuereinheit die Klasse des Gargutes nicht bestimmen kann, der Benutzer des Gargerätes die Klasse des Gargutes mittels einer Benutzerschnittstelle an die Steuereinheit übergibt und das Bild und/oder die Eigenschaften des Bildes bei Bedarf zur Datenbank hinzugefügt und der übergebenen Klasse zugewiesen werden.
The object is achieved by a method for controlling a cooking appliance, in which:
  1. a) an image of a food to be cooked by means of an optical device, in particular a camera, created and transmitted to a control unit of a cooking appliance,
  2. b) the control unit the image and / or the properties of the image, such as contours, contour histograms, colors occurring and Compare color histograms to images and / or image properties previously stored in a database of the control unit to determine the class of food to be cooked, the images stored in the database and / or the properties of the images being grouped together,
  3. c) if the control unit has determined the class of the item to be cooked, the cooking appliance will automatically start a cooking process corresponding to the particular class, add the image and / or the characteristics of the image to the database and allocate it to the particular class as required, and
  4. d) if the control unit can not determine the class of food to be cooked, the user of the cooking appliance passes the class of the food to the control unit via a user interface and the image and / or image properties are added to the database as needed and assigned to the transferred class.

Der Grundgedanke der Erfindung ist es, den Automatisierungsgrad eines Gargerätes dadurch zu erhöhen, dass das Gargerät selbst und automatisiert erkennt, um welches Gargut es sich handelt, und daraufhin einen dem Gargut entsprechenden Garprozess automatisch beginnt. Das Gargerät startet also selbsttägig den Garprozess, sofern die Klasse des Garguts erkannt worden ist. Demnach wird dem Benutzer keine Auswahl zwischen den wahrscheinlichsten Klassen zur Auswahl gestellt, zwischen denen der Benutzer manuell eine Auswahl treffen muss. Damit das Gargerät das zu garende Gargut erkennen kann, sind in einer Datenbank der Steuereinheit Klassen bestimmter Gargüter hinterlegt, anhand derer das zu garende Gargut bestimmt werden kann. Die Bestimmung der Klasse des zu garenden Garguts kann dabei anhand des aufgenommenen Bildes selbst erfolgen, was jedoch aufgrund unterschiedlicher Belichtungen und unterschiedlichen Hintergründen sowie der hohen Datenmenge schwierig ist. Daher ist es vorteilhaft, die aufgenommenen Bilder des zu garenden Garguts zu abstrahieren, um abstrahierte Daten aus Wiedererkennungsparametern des jeweiligen Garguts zu ermitteln, die den Eigenschaften des Bildes entsprechen. Anhand der Wiedererkennungsparameter kann die entsprechende Klasse bestimmt werden. Bei diesen Wiedererkennungsparametern kann n es sich um die Konturen, Konturenhistogramme, auftretende Farben und/oder Farbhistogramme handeln. Das Gargerät ist dabei lernfähig ausgebildet, da die Klassen bzw. die die Klassen umfassende Datenbank stetig mit neuen Daten versorgt werden, die von den zu garenden Gargütern gewonnen werden, sofern dies vom Benutzer vorgesehen ist. Aufgrund der neu gewonnen Daten und der Zuordnung zu der entsprechenden Klasse wird die Klasse aktualisiert bzw. angepasst. Sofern das Gargerät die Klasse des zu garenden Garguts selbst erkannt hat, kann die Aktualisierung bzw. Anpassung der Klasse automatisch erfolgen, ansonsten über die manuelle Zuordnung des Bedieners. Es kann jedoch vorgesehen sein, das bereits vorhandene Klassen nicht durch Aufnahme von neuen Daten verändert werden, um einer Verschlechterung der Klassifizierung der Klassen aufgrund neuer Daten vorzubeugen.The basic idea of the invention is to increase the degree of automation of a cooking appliance in that the cooking appliance itself and automatically recognizes which cooking product it is, and then automatically starts a cooking process corresponding to the cooking product. The cooking appliance thus starts the cooking process every day, provided that the class of the food has been recognized. Thus, the user is not offered a choice between the most likely classes between which the user must manually make a selection. So that the cooking appliance can recognize the food to be cooked, classes of specific items to be cooked are stored in a database of the control unit, by means of which the food to be cooked can be determined. The determination of the class of food to be cooked can be done on the basis of the recorded image itself, which is difficult due to different exposures and different backgrounds and the high amount of data. Therefore, it is advantageous to abstract the recorded images of the food to be cooked in order to determine abstracted data from recognition parameters of the respective food, which correspond to the properties of the image. Based on the recognition parameters, the corresponding class can be determined. In these Recognition parameters may be the contours, contour histograms, appearing colors, and / or color histograms. The cooking appliance is designed to be able to learn since the classes or the database comprising the classes are constantly supplied with new data which are obtained from the food to be cooked, if this is provided by the user. Based on the newly obtained data and the assignment to the corresponding class, the class is updated or adjusted. If the cooking appliance has recognized the class of the food to be cooked itself, the update or adaptation of the class can be done automatically, otherwise on the manual assignment of the operator. It may, however, be provided that the existing classes are not changed by the inclusion of new data in order to prevent a deterioration of the classification of the classes due to new data.

Ein Aspekt der Erfindung sieht vor, dass die optische Vorrichtung das Bild des Gargutes beim Einführen des Gargutes in das Gargerät erstellt. Hierdurch ist einerseits sichergestellt, dass das Gargut rechtzeitig vor Beginn des Garprozesses erkannt wird. Andererseits ist dadurch gewährleistet, dass die Qualität des Bildes des Gargutes aufgrund von Dämpfen innerhalb des Gargerätes oder durch Veränderungen des Garguts beim Garen nicht variiert. Das Bild vom Gargut wird demnach örtlich außerhalb des Garraums aufgenommen.One aspect of the invention provides that the optical device creates the image of the food during the introduction of the food in the cooking appliance. On the one hand, this ensures that the food to be cooked is recognized in good time before the start of the cooking process. On the other hand, this ensures that the quality of the image of the food does not vary due to fumes within the cooking appliance or by changes in the food during cooking. The image of the food is therefore recorded locally outside the oven.

Insbesondere werden die Eigenschaften des Bildes von der Steuereinheit aus dem Bild extrahiert. Die Steuereinheit ist demnach derart eingerichtet, dass sie das von der optischen Vorrichtung aufgenommene Bild anhand der charakteristischen Variablen oder Wiedererkennungsparametern abstrahiert, sodass ein abstrahierter Datensatz bzw. ein mathematisches Objekt erzeugt werden kann, über das ein Vergleich mit den in der Datenbank hinterlegten Klassen möglich ist. Hierzu können Bilderkennungsalgorithmen verwendet werden.In particular, the properties of the image are extracted from the image by the control unit. The control unit is thus arranged to abstract the image taken by the optical device based on the characteristic variables or recognition parameters, so that an abstracted data set or a mathematical object can be generated, by means of which a comparison with the classes stored in the database is possible , For this purpose, image recognition algorithms can be used.

Gemäß einem weiteren Aspekt der Erfindung werden neben der Klasse auch die Menge und/oder das Kaliber des Gargutes bestimmt, wobei anhand dieser Informationen der Garprozess angepasst wird. Die automatische Erkennung kann somit nicht nur das Gargut selbst, sondern auch die Menge und/oder das Kaliber bestimmen, wodurch sichergestellt ist, dass der Garprozess an das eingebrachte Gargut optimal angepasst ist.According to a further aspect of the invention, the quantity and / or the caliber of the food to be cooked are determined in addition to the class, the cooking process being adapted on the basis of this information. The automatic detection can thus not only the food itself, but also the amount and / or the Determining caliber, which ensures that the cooking process is optimally adapted to the introduced food.

Insbesondere können die Bilder und/oder die Eigenschaften von Bildern vom Benutzer aus der Datenbank entfernt oder einer anderen Klasse zugewiesen werden. Hierdurch kann die Einteilung der Klassen nachträglich eingestellt werden bzw. angepasst werden, sodass das Gargerät bzw. die Steuerung des Gargeräts ein ähnliches Gargut bei einem späteren Einführen direkt der Klasse zuordnet, die der Bediener des Gargeräts manuell eingestellt hat. Dies ist insbesondere auch dann vorteilhaft, wenn festgestellt worden ist, dass für ein bestimmtes Gargut, das eigentlich einer ersten Klasse zugeordnet worden ist, ein besseres Garergebnis erzielt wird, wenn ein Garprozess gemäß einer zweiten Klasse durchgeführt wird.In particular, the images and / or the properties of images may be removed from the database by the user or assigned to another class. As a result, the classification of the classes can be subsequently adjusted or adjusted so that the cooking appliance or the control of the cooking appliance assigns a similar food to be cooked at a later introduction directly to the class, which has set manually the operator of the cooking appliance. This is particularly advantageous when it has been determined that a better cooking result is achieved for a particular food that has actually been assigned to a first class, when a cooking process is performed according to a second class.

Ein weiterer Aspekt der Erfindung sieht vor, dass der Benutzer, wenn die Steuereinheit die Klasse des Gargutes bestimmt hat, die Klasse des Gargutes mittels einer Benutzerschnittstelle in eine andere Klasse ändern kann, wobei in diesem Falle das Bild und/oder die Eigenschaften des Bildes in der Datenbank der anderen Klasse zugewiesen werden, die Zuordnung des Bildes und/oder der Eigenschaften des Bildes zur von der Steuereinheit bestimmten Klasse aufgehoben wird und gegebenenfalls der Garprozess angepasst wird. Der manuelle Eingriff stellt eine Sicherheitsfunktion dar, sofern die automatische Erkennung ein Gargut einer falschen Klasse zuordnet. Die Datenbank wird dabei ebenfalls entsprechend angepasst.Another aspect of the invention provides that the user, when the control unit has determined the class of food to be cooked, can change the class of the food to another class by means of a user interface, in which case the image and / or the properties of the image in assigned to the database of the other class, the assignment of the image and / or the properties of the image to the class determined by the control unit is canceled and, if appropriate, the cooking process is adjusted. Manual intervention is a safety function if automatic detection assigns food to a wrong class. The database will also be adjusted accordingly.

Ferner kann die Steuereinheit beim Vergleich zur Bestimmung der Klasse des Gargutes für mehrere, insbesondere für jede Klasse, einen Zugehörigkeitsfaktor des Gargutes zur jeweiligen Klasse ermitteln. Der Zugehörigkeitsfaktor stellt eine Art Wahrscheinlichkeit dar, die angibt, wie wahrscheinlich das zu garende Gargut einer bestimmten Klasse zuzuordnen ist. Die jeweiligen Klassen weisen charakteristische Werte für die charakteristischen Variablen bzw. Wiedererkennungsparametern auf, wie die Konturenhistogramme und/oder die Farbhistogramme, anhand derer bzw. der Abweichung von den charakteristischen Werten der Zugehörigkeitsfaktor zu einer bestimmten Klasse ermittelt werden kann. Die charakteristischen Werte entsprechen den Schwerpunkten der entsprechenden Klassen.Furthermore, the control unit can determine a membership factor of the item to be cooked for the respective class when comparing the class of the item to be cooked for several, in particular for each class. The affiliation factor represents a type of probability that indicates how likely the food to be cooked is to be assigned to a particular class. The respective classes have characteristic values for the characteristic variables or recognition parameters, such as the contour histograms and / or the color histograms, by means of which the deviation from the characteristic values of the membership factor can be determined for a specific class. The characteristic values correspond to the emphases of the corresponding classes.

Insbesondere bestimmt die Steuereinheit die Klasse mit dem größten Zugehörigkeitsfaktor als Klasse des Gargutes, falls der Zugehörigkeitsfaktor größer als ein vorbestimmter Schwellwert ist. Über den Schwellwert kann eingestellt werden, dass eine bestimmte Übereinstimmung oder Wahrscheinlichkeit vorliegen muss, damit das Gargerät das zu garende Gargut als bekannt ansieht und einer bestimmten Klasse zuordnen kann.In particular, if the membership factor is greater than a predetermined threshold, the control unit determines the class with the largest membership factor as the class of the item to be cooked. The threshold value can be used to set a certain match or probability so that the cooking appliance can see the food to be cooked as known and assign it to a specific class.

Ferner ordnet die Steuereinheit das Gargut keiner Klasse zu, wenn sämtliche ermittelte Zugehörigkeitsfaktoren unterhalb des vorbestimmten Schwellwertes liegen. Dies ist insbesondere dann der Fall, wenn das zu garende Gargut dem Gargerät unbekannt ist, wodurch der Benutzer des Gargerätes gemäß Schritt d) aufgefordert wird, das Gargut einer Klasse zuzuweisen.Furthermore, the control unit does not assign the food to any class if all the determined membership factors are below the predetermined threshold value. This is particularly the case when the cooking food to be cooked is unknown to the cooking appliance, whereby the user of the cooking appliance is asked in accordance with step d) to assign the food to a class.

Gemäß einem weiteren Aspekt der Erfindung gibt die Steuereinheit dem Benutzer des Gargerätes wahrscheinliche Klassen für das zu garende Gargut über die Benutzerschnittstelle zur Auswahl an, wenn die Steuereinheit die Klasse des Garguts nicht eindeutig bestimmen kann. Dies ist insbesondere dann der Fall, wenn die Steuereinheit aufgrund der Zugehörigkeitsfaktoren mehrere Klassen mit einem gleich großen bzw. ähnlich großen Zugehörigkeitsfaktor ermittelt hat. Der Benutzer wird dann vom Gargerät aufgefordert, eine der wahrscheinlichen Klassen auszuwählen. Sollte das zu garende Gargut keiner der wahrscheinlichen Klassen zuzuordnen sein, so kann der Benutzer gemäß Schritt d) die Klasse manuell eingeben.According to a further aspect of the invention, the control unit gives the user of the cooking appliance probable classes for the food to be cooked via the user interface for selection, if the control unit can not clearly determine the class of the food. This is the case in particular if the control unit has determined several classes with an equally large or similar membership factor on the basis of the membership factors. The user is then prompted by the cooking device to select one of the probable classes. If the food to be cooked does not belong to any of the probable classes, the user can enter the class manually according to step d).

Generell kann ein lineares oder nicht-lineares multidimensionales statistisches Verfahren zur Verarbeitung der Eigenschaften des Bildes durchgeführt werden. Die erfassten Bilder bzw. deren Eigenschaften stellen eine große Menge statisch auswertbarer Daten dar, die durch ein entsprechendes Verfahren bearbeitet und analysiert werden können. Insbesondere ist es hierdurch möglich, dass das Gargerät die erfassten Gargüter klassifizieren kann.In general, a linear or non-linear multidimensional statistical method for processing the properties of the image can be performed. The recorded images or their properties represent a large amount of statically evaluable data that can be processed and analyzed by a corresponding method. In particular, it is thereby possible that the cooking appliance can classify the recorded food items.

Ein weiterer Aspekt der Erfindung sieht vor, dass eine neue Klasse eines noch unbekannten Garguts und/oder eine Veränderung der bereits vorhandenen Klasseneinteilung mithilfe des linearen oder nichtlinearen multidimensionalen statistischen Verfahrens bestimmt bzw. durchgeführt wird, insbesondere mithilfe einer linearen Diskriminanzanalyse (LDA).A further aspect of the invention provides that a new class of a still unknown food item and / or a change of the already existing class division is determined or carried out by means of the linear or non-linear multidimensional statistical method, in particular by means of a linear discriminant analysis (LDA).

Bei den multidimensionalen statistischen Verfahren, auch Diskriminanzanalysen genannt, handelt es sich allgemein um Methoden zur Unterscheidung von zwei oder mehreren Klassen, die anhand von charakteristischen Variablen oder Wiedererkennungsparametern gekennzeichnet sind, wobei das Verfahren die jeweiligen Klassen aufgrund ihrer charakteristischen Variablen überprüfen kann, sodass hierdurch eine eindeutige Zuordnung des Garguts zu einer der jeweiligen Klasse möglich ist, sofern die jeweilige Klasse bereits bekannt ist. Ansonsten kann eine neue Klasse angelegt werden, die die Daten des bisher unbekannten Garguts aufweist. Bei der Diskriminanzanalyse werden die aus den Bildern in mathematische Objekte abstrahierte Daten, beispielsweise Vektoren oder Matrizen, als Koordinaten in einem entsprechend mehrdimensionalen Raum aufgefasst.Multidimensional statistical methods, also called discriminant analyzes, are generally methods of distinguishing two or more classes characterized by characteristic variables or recognition parameters, which method can check the respective classes on the basis of their characteristic variables clear classification of the food to one of the respective class is possible, if the respective class is already known. Otherwise, a new class can be created, which has the data of the previously unknown cooking product. In the discriminant analysis, the data abstracted from the images into mathematical objects, for example vectors or matrices, are understood as coordinates in a correspondingly multidimensional space.

Je mehr charakteristische Wiedererkennungsparameter oder Variablen zur Unterscheidung der jeweiligen Gargüter herangezogen werden, desto höher ist die entsprechende Dimension des mathematischen Objekts. Um komplexe Zuordnungen der Gargüter bei mehreren charakteristischen Wiedererkennungsparametern zu vermeiden, können die hochdimensionalen mathematischen Objekte in ihrer Dimension reduziert werden. Beispielsweise kann hierfür das Fisher'sche Kriterium verwendet werden, wodurch die mathematischen Objekte in lediglich eine Dimension projiziert werden können. Generell ist vorgesehen, dass eine Klasse derart reduziert wird, dass die Klasse einen Schwerpunkt und eine gewisse Ausdehnung um diesen Schwerpunkt aufweist.The more characteristic recognition parameters or variables are used to distinguish the respective food items, the higher the corresponding dimension of the mathematical object. In order to avoid complex allocations of the food items with several characteristic recognition parameters, the dimensions of the high-dimensional mathematical objects can be reduced. For example, the Fisher criterion can be used for this, so that the mathematical objects can be projected into only one dimension. In general, it is envisaged that a class will be reduced such that the class has a center of gravity and a certain extent around this center of gravity.

Um die jeweiligen Klassen voneinander zu trennen, werden in der LDA Linearfunktionen verwendet, also ein lineares Gleichungssystem, das jeden charakteristischen Wiedererkennungsparameter mit einem entsprechenden Koeffizienten verknüpft, sodass Funktionen ermittelt werden, die die Klassen voneinander abgrenzen.In order to separate the respective classes from one another, linear functions are used in the LDA, ie a linear system of equations which links each characteristic recognition parameter with a corresponding coefficient, so that functions are identified which delimit the classes from one another.

Soll eine neue Klasse angelegt werden und/oder muss die bereits vorhandene Klasseneinteilung, also die Grenzen der jeweiligen Klassen, angepasst werden, so muss das lineare oder nichtlineare multidimensionale statistische Verfahren durchgeführt werden. Da hierzu Rechenzeit benötigt wird, kann es sinnvoll sein, mehrere solcher Rechenvorgänge zusammenzufassen.If a new class is to be created and / or the already existing class division, ie the boundaries of the respective classes, has to be adapted, the linear or non-linear multidimensional statistical method must be carried out. Since computation time is needed, it may be useful to combine several such calculations.

Insbesondere weisen die linearen oder nicht-linearen multidimensionalen statistischen Verfahren zur Klassifizierung ein Maß für die Erkennungssicherheit auf, insbesondere ein intrinsisches Maß für die Erkennungssicherheit. Dies ist vor allem dann von Bedeutung, wenn ein unbekanntes Objekt zugeführt wird. Bei dem Maß für die Erkennungssicherheit kann es sich um den Zugehörigkeitsfaktor direkt handeln oder dieser kann aus dem Maß für die Erkennungssicherheit hergeleitet werden. Demnach wird der Zugehörigkeitsfaktor durch das lineare oder nicht-lineare multidimensionale statistische Verfahren selbst bereitgestellt oder zumindest aus diesem abgeleitet.In particular, the linear or non-linear multidimensional statistical methods for classification have a measure of the recognition certainty, in particular an intrinsic measure for the recognition certainty. This is especially important when an unknown object is supplied. The degree of recognition security may be the membership factor directly or may be derived from the level of recognition security. Thus, the membership factor is provided by, or at least derived from, the linear or nonlinear multidimensional statistical method itself.

Die lineare Diskriminanzanalyse als statistisches Verfahren zur Klassifizierung zeichnet sich dadurch aus, dass sie ein intrinsisches Maß für die Erkennungssicherheit hat, also bereits in sich selbst aufweist. Hierdurch muss keine weitere Implementierung erfolgen, um das Maß für die Erkennungssicherheit bei der Anwendung des multidimensionalen statistischen Verfahrens angeben zu können.The linear discriminant analysis as a statistical method of classification is characterized by the fact that it has an intrinsic measure of the recognition certainty, that is already in itself. This eliminates the need for further implementation to specify the level of confidence in detection when using the multidimensional statistical method.

Bei der Durchführung des linearen oder nicht-linearen multidimensionalen statistischen Verfahrens können Diskriminanzfunktionen bestimmt werden. Diese Diskriminanzfunktionen dienen dazu, die gewonnen Daten aus den Eigenschaften der Bilder sinnvoll zu trennen, sodass Klassen gebildet werden. Anhand der Diskriminanzfunktionen ist es somit möglich, dass das Gargerät, insbesondere die Steuerung, eine Entscheidung darüber treffen kann, zu welcher Klasse ein neues Gargut gehört, dessen Eigenschaften mathematisch erfasst worden sind, insbesondere durch einen Bilderkennungsalgorithmus.In performing the linear or non-linear multidimensional statistical method, discriminant functions may be determined. These discriminant functions serve to meaningfully separate the acquired data from the properties of the images so that classes are formed. Based on the discriminant functions, it is thus possible for the cooking appliance, in particular the controller, to make a decision as to which class a new food item belongs, whose properties have been mathematically determined, in particular by an image recognition algorithm.

Generell kann wenigstens ein Bilderkennungsalgorithmus verwendet werden, der multidimensionale mathematische Objekte ausgehend von den erfassten Eigenschaften des Bildes erstellt, wobei das lineare oder nicht-lineare multidimensionale statistische Verfahren die Dimension der mathematischen Objekte reduziert. Hierdurch ist es möglich, die hochkomplexen und multidimensionalen mathematischen Objekte, die durch den Bilderkennungsalgorithmus erzeugt werden, in besser handhabbare mathematische Objekte zu skalieren, sodass sich unter anderem die Diskriminazfunktionen einfacher und schneller bestimmen lassen. Demnach kann die Klassifizierung unbekannter Objekte in effizienter Weise durchgeführt werden.In general, at least one image recognition algorithm can be used which generates multi-dimensional mathematical objects based on the acquired characteristics of the image, the linear or non-linear multidimensional statistical method reducing the dimension of the mathematical objects. This makes it possible to scale the highly complex and multidimensional mathematical objects generated by the image recognition algorithm into more manageable mathematical objects, so that among other things, the discriminating functions can be determined more easily and quickly. Thus, the classification of unknown objects can be performed efficiently.

Generell werden die vom Bilderkennungsalgorithmus extrahierten Eigenschaften eines neuen Garguts in ein mathematisches Objekt zusammengefasst, welches vom linearen oder nicht-linearen multidimensionalen statistischen Verfahren in seinen Dimensionen reduziert werden kann. Das (reduzierte) mathematische Objekt wird dann in wenigstens eine der zuvor berechneten Diskriminanzfunktionen eingesetzt, um die Zugehörigkeit des neuen Garguts zu einer der Klassen zu ermitteln.In general, the properties of a new food item extracted by the image recognition algorithm are combined into a mathematical object which can be reduced in dimensions by the linear or non-linear multidimensional statistical method. The (reduced) mathematical object is then used in at least one of the previously calculated discriminant functions to determine the affiliation of the new food to one of the classes.

Mit der LDA ist es zudem generell möglich, die einzelnen Klassen voneinander besonders einfach zu unterscheiden, da mit der LDA, insbesondere dem der LDA zugrunde liegendem Fisher'schen Kriterium, intrinsische Maße für die Erkennungssicherheit angegeben werden können. Dies betrifft sowohl die Klassen als auch die Zwischenräume zwischen den Klassen.In addition, with the LDA it is generally possible to differentiate the individual classes from each other with particular ease, since the LDA, in particular the Fisher 's criterion on which the LDA is based, can be used to specify intrinsic measures for recognition reliability. This applies to both the classes and the spaces between the classes.

Die linearen oder nicht-linearen multidimensionalen statistischen Verfahren sind generell keine Bilderkennungsalgorithmen, sondern zusätzlich hierzu vorgesehene Verfahren, über die die von den Bilderkennungsalgorithmen erzeugten mathematischen Objekte weiterverarbeitet werden.The linear or non-linear multidimensional statistical methods are generally not image recognition algorithms but in addition thereto provided methods by which the mathematical objects generated by the image recognition algorithms are further processed.

Insbesondere wird zu Beginn eine Lernphase durchgeführt, in der die Datenbank die Klassen erlernt. In der Lernphase des Gargeräts werden dem Gargerät Objekte zur Klasseneinteilung vorgesetzt, wobei die lineare Diskriminanzanalyse diese Objekte anhand der charakteristischen Variablen oder Wiedererkennungsparamter klassifiziert und die entsprechenden linearen Diskriminanzfunktionen berechnen kann. Anhand des Schwerpunkts und der Ausdehnung um den Schwerpunkt kann mithilfe der LDA aufgrund des intrinsischen Erkennungsmaßes der Zugehörigkeitsfaktor eines zu bestimmenden Garguts in einfacher Weise ermittelt werden. Hierzu werden die entsprechend ermittelten Wiedererkennungsparameter des neuen Objekts in die Diskriminanzfunktionen eingesetzt und die Diskriminanzvariable berechnet. Anhand derer ist dann eine Zuordnung über den Zugehörigkeitsfaktor möglich. Anders ausgedrückt stellt die Diskriminanzvariable bzw. der Zugehörigkeitsfaktor das Verhältnis aus dem Abstand des neuen Punktes des zu garenden Garguts vom Klassenschwerpunkt zur Ausdehnung der Klasse in Richtung des neuen Punktes dar.In particular, a learning phase is initially performed in which the database learns the classes. During the learning phase of the cooking appliance, the cooking appliance is preceded by objects for classifying, the linear discriminant analysis classifying these objects based on the characteristic variables or recognition parameters and calculating the corresponding linear discriminant functions. Based on the center of gravity and the extent around the center of gravity, the LDA can easily determine the membership factor of a food to be determined on the basis of the intrinsic detection measure. For this purpose, the correspondingly determined recognition parameters of the new object are inserted into the discriminant functions and the discriminant variable is calculated. On the basis of these then an assignment on the affiliation factor is possible. In other words, the discriminant variable or membership factor represents the ratio of the distance of the new point of the food to be cooked from the class center of gravity to the extension of the class in the direction of the new point.

Allgemein lässt sich bei Verfahren, die für jede Klasse eine Standardabweichung der verwendeten abstrakten Merkmale bzw. Wiedererkennungsparameter im Merkmalsraum erstellen, wie die LDA, ein Zugehörigkeitsfaktor durch Vergleich des Abstandes des Merkmalssatzes des neuen Objektes zu den Schwerpunkten der einzelnen Klassen im Merkmalsraum mit den jeweiligen Standardabweichungen bestimmen. Dabei kann eine Standardhäufigkeitsverteilung, beispielsweise eine Gauß-Verteilung, um den Klassenschwerpunkt angenommen werden.In general, in methods that create a standard deviation of the abstract features or recognition parameters used in the feature space for each class, such as the LDA, a membership factor can be obtained by comparing the distance of the feature set of the new object to the focal points of the individual classes in the feature space with the respective standard deviations determine. In this case, a standard frequency distribution, for example a Gaussian distribution, around the class center of gravity can be assumed.

Alternativ zu der linearen Diskriminanzanalyse (LDA) kann auch eine Hauptkomponentenanalyse (PCA) als lineares multidimensionales statistisches Verfahren durchgeführt werden.As an alternative to linear discriminant analysis (LDA), principal component analysis (PCA) can also be performed as a linear multidimensional statistical method.

Die jeweiligen Datensätze werden bei der Hauptkomponentenanalyse durch die jeweilige Varianz voneinander getrennt, die möglichst groß sein soll. Zunächst werden die jeweiligen Klassen bzw. deren hochdimensionale Objekte durch eine möglichst geringe Zahl an aussagekräftigen Linearkombinationen angenähert. Die aussagekräftigen Linearkombinationen werden als Hauptkomponenten bezeichnet. Die Hauptkomponenten können durch Ermittlung der Eigenwerte und Eigenvektoren der jeweiligen Datensätze ermittelt werden.In the main component analysis, the respective data records are separated by the respective variance, which should be as large as possible. First, the respective classes or their high-dimensional objects are approximated by the smallest possible number of meaningful linear combinations. The meaningful linear combinations are called main components. The main components can be determined by determining the eigenvalues and eigenvectors of the respective data sets.

Des Weiteren kann ein "Random Forest"-Verfahren (RFV) zur Klassifizierung angewandt werden. Das Random Forst-Verfahren weist jedoch im Gegensatz zur LDA kein intrinsisches Maß für die Erkennungssicherheit auf, weswegen beim RFV noch eine entsprechende Implementierung vorgenommen werden muss, um zusätzlich ein Maß für die Erkennungssicherheit zu erhalten.Furthermore, a "Random Forest" (RFV) method can be used for classification. However, in contrast to the LDA, the random forest method does not have an intrinsic measure for the detection reliability, which is why an additional implementation has yet to be made in the RFV in order to additionally obtain a measure of the recognition reliability.

Alternativ kann ein sogenanntes ISOMAP-Verfahren angewandt werden, bei dem eine nichtlineare Dimensionsreduzierung durchgeführt wird. Die ISOMAP-Verfahren sind auch als L-ISOMAP- oder C-ISOMAP-Verfahren bekannt.Alternatively, a so-called ISOMAP method may be used in which a non-linear dimensional reduction is performed. The ISOMAP methods are also known as L-ISOMAP or C-ISOMAP methods.

Ein weiteres alternatives Verfahren zur Klassifizierung stellt das "Nearest Neighbor"-Verfahren dar, das öfters auch als "k-nächste-Nachbarn-Algorithmus" bekannt ist. Hierbei wird ein unbekanntes Objekt unter anderem aufgrund der "k" nächsten bereits klassifizierten Objekte klassifiziert. Dieses Verfahren eignet sich insbesondere dann, wenn viele Klassen bereits bekannt sind und keine Objekte einer neuen Klasse zugeführt werden.Another alternative method of classification is the "nearest neighbor" method, which is often known as "k-nearest neighbor algorithm". In this case, an unknown object is classified, inter alia, on the basis of the "k" next already classified objects. This method is particularly suitable when many classes are already known and no objects are supplied to a new class.

Weitere Vorteile und Eigenschaften der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Zeichnungen, auf die Bezug genommen wird.Further advantages and features of the invention will become apparent from the following description and the drawings, to which reference is made.

In den Zeichnungen zeigen:

  • Fig. 1 ein Flussdiagramm, das den Ablauf der Lernphase darstellt, und
  • Fig. 2 ein Flussdiagramm, das den Ablauf des Erkennungsverfahrens darstellt.
In the drawings show:
  • Fig. 1 a flowchart illustrating the course of the learning phase, and
  • Fig. 2 a flow chart illustrating the sequence of the recognition process.

In einer ersten Phase, die auch Lernphase genannt wird und in Figur 1 gezeigt ist, werden dem Gargerät die unterschiedlichen Klassen angelernt.In a first phase, which is also called learning phase and in FIG. 1 is shown, the Gargerät the different classes are taught.

In dieser Lernphase werden dem Gargerät verschiedene Objekte ein und derselben Klasse vorgesetzt, sodass das Gargerät Bilder von den verschiedenen Objekten erstellt. Hierbei werden insbesondere die charakteristischen Parameter der Objekte erfasst.In this learning phase, the cooking appliance is provided with different objects in the same class, so that the cooking device creates images of the different objects. In particular, the characteristic parameters of the objects are recorded.

Die Steuerung des Gargeräts abstrahiert dann aus den aufgenommenen Bildern Daten, die den charakteristischen Wiedererkennungsparameter bzw. Variablen entsprechen. Bei diesen charakteristischen Variablen oder Wiedererkennungsparametern kann es sich um Farbhistogramme, Konturenhistogramme, Farben oder Konturen der Objekte handeln.The controller of the cooking appliance then abstracts from the recorded images data corresponding to the characteristic recognition parameter or variable. These characteristic variables or recognition parameters can be color histograms, contour histograms, colors or contours of the objects.

Die charakteristischen Wiedererkennungsparameter bzw. Variablen werden anschließend in mathematische Objekte wie einen Vektor, eine Matrix oder eine Zahl umgesetzt, um diese rechentechnisch handhaben zu können.The characteristic recognition parameters or variables are then converted into mathematical objects such as a vector, a matrix or a number in order to be able to handle them computationally.

Je nach Anzahl der charakteristischen Wiedererkennungsparameter bzw. Variablen ergeben sich mathematische Objekte mit einer entsprechend hohen Dimension. Daher kann eine Reduzierung der mathematischen Objekte auf eine niedrigere Dimension vorgesehen sein, um die Rechenprozesse zu erleichtern und zu beschleunigen. Dieser optionale Schritt ist in der Figur 1 gestrichelt dargestellt.Depending on the number of characteristic recognition parameters or variables, mathematical objects with a correspondingly high dimension result. Therefore, a reduction of the mathematical objects to a lower dimension may be provided to facilitate and speed up the computational processes. This optional step is in the FIG. 1 shown in dashed lines.

Beispielsweise kann dies mithilfe des Fisher'schen Kriteriums durchgeführt werden. Hierdurch kann eine mehrdimensionale Matrix in einen zweidimensionalen Raum projiziert werden, sodass die der Matrix zugehörige Klasse durch einen Schwerpunkt und eine lineare Ausdehnung der Klasse definiert ist.For example, this can be done using Fisher's criterion. This allows a multi-dimensional matrix to be projected into a two-dimensional space such that it belongs to the matrix Class is defined by a centroid and a linear extent of the class.

Diese bisher beschriebenen Prozesse laufen für sämtliche vorgesehene Klassen ab, sodass allgemein aufgrund der vielen Daten der vielen verschiedenen Objekte eine Datenwolke entsteht. Diese Datenwolke weist verschiedene Datenunterwolken auf, die jeweils einer bestimmten Klasse abstrakt zuzuordnen sind. Jedoch kann die Datenunterwolke einer bestimmten Klasse noch nicht von einer anderen Klasse unterschieden werden.These processes described so far run for all intended classes, so that in general arises because of the many data of the many different objects, a data cloud. This data cloud has various data subclouds, each of which can be assigned to a specific class in abstract form. However, the data subcloud of a particular class can not yet be distinguished from another class.

Diese Unterscheidung ist erst möglich, nachdem ein lineares oder nichtlineares multidimensionales statistisches Verfahren, auch Diskriminanzanalyse genannt, durchgeführt worden ist, das die jeweilige Datenunterwolke einer bestimmten Klasse durch eine die Datenunterwolken aller Klassen trennende lineare oder nichtlineare Diskriminanzfunktion trennt. Dies kann beispielsweise mithilfe der linearen Diskriminanzanalyse (LDA) geschehen.This distinction is only possible after a linear or nonlinear multidimensional statistical method, also called discriminant analysis, has been performed which separates the respective data subcloud of a particular class by a linear or nonlinear discriminant function separating the data subclouds of all classes. This can be done, for example, using the linear discriminant analysis (LDA).

Mit der Diskriminanzanalyse oder einem anderen Verfahren zur Gruppierung werden demnach Diskriminanzfunktionen ermittelt, die die charakteristischen Wiedererkennungsparamter als Variablen aufweisen. Über die Diskriminanzfunktionen sind die angelernten Klassen voneinander unterscheidbar, wobei es je nach Klassen und Wiederkennungsparametern durchaus zu Überschneidungen kommen kann.The discriminant analysis or another method of grouping therefore determines discriminant functions that have the characteristic recognition parameters as variables. The taught classes are distinguishable from each other by means of the discriminant functions, although they may well overlap depending on the classes and the recognition parameters.

Wurden nun die mehreren Klassen dem Gargerät angelernt, so kann bei einem späteren Betrieb des Gargeräts die Steuerung automatisch erkennen, ob ein zu garendes Gargut einer bestimmten Klasse zuzuordnen ist. Dies ist in Figur 2 gezeigt.If the several classes have now been taught to the cooking appliance, the controller can automatically recognize in a later operation of the cooking appliance whether a food item to be cooked has to be assigned to a specific class. This is in FIG. 2 shown.

Hierzu wird das zu garende Gargut beim Einführen wiederum mittels einer optischen Vorrichtung (Kamera) aufgenommen, wobei die entsprechenden charakteristischen Parameter aus dem aufgenommenen Bild bestimmt und erneut abstrahiert werden. Anhand der abstrahierten Werte kann die Steuerung dann ermitteln, ob das zu garende Gargut einer bestimmten Klasse zuzuordnen ist. Hierzu werden die charakteristischen Paramter in die Diskriminanzfunktionen eingesetzt und die Diskriminanzvariable ermittelt. Die Diskriminanzvariable entspricht einem Zugehörigkeitsfaktor, über den die Zugehörigkeit als eine Art Wahrscheinlichkeit zu einer entsprechenden Klasse angegeben wird.For this purpose, the food to be cooked is in turn taken during insertion by means of an optical device (camera), wherein the corresponding characteristic parameters are determined from the recorded image and abstracted again. Based on the abstracted values, the controller can then determine whether the food to be cooked is to be assigned to a particular class. For this purpose, the characteristic parameters are inserted into the discriminant functions and the discriminant variable is determined. The discriminant variable corresponds to a membership factor by which affiliation is indicated as a kind of probability to a corresponding class.

Der Zugehörigkeitsfaktor ist dabei derart definiert, dass er angibt, wie weit der projizierte neue Datenpunkt des zu garenden Garguts vom Schwerpunkt der jeweiligen Klasse im Vergleich zur Ausdehnung der jeweiligen Klasse entfernt ist. Je näher der jeweilige Punkt des zu garenden Garguts am Schwerpunkt der Klasse ist, desto wahrscheinlicher ist das zu garende Gargut der jeweilige Klasse zuzuordnen. Dies wird durch einen hohen Zugehörigkeitsfaktor dargestellt.The membership factor is defined such that it indicates how far the projected new data point of the food to be cooked is removed from the center of gravity of the respective class compared to the extent of the respective class. The closer the particular point of the food to be cooked is to the center of gravity of the class, the more likely it is that the food to be cooked is assigned to the respective class. This is represented by a high membership factor.

Sollten alle Zugehörigkeitsfaktoren zu den jeweiligen Klassen beim Erkennen eines zu garenden Garguts unterhalb von zuvor definierten Schwellwerten liegen, so gibt das Gargerät über eine Benutzerschnittstelle aus, dass keine eindeutige Zuordnung möglich ist. Der Benutzer kann nun eine Klasse manuell auswählen und/oder das Gargerät zeigt die wahrscheinlichsten Klassen an, aus denen der Benutzer dann die richtigte Klasse auswählen kann.If all the membership factors for the respective classes when detecting a food to be cooked are below predefined threshold values, then the cooking appliance outputs via a user interface that no unambiguous assignment is possible. The user can now manually select a class and / or the cooking appliance displays the most likely classes from which the user can then select the correct class.

Des Weiteren kann die automatische Erkennung so ausgelegt sein, dass sie neben der Klasse des Garguts auch die Menge und/oder das Kaliber des Garguts erkennt.Furthermore, the automatic detection can be designed so that it not only recognizes the class of the item to be cooked but also the quantity and / or the caliber of the item to be cooked.

Im Folgenden soll ein Beispiel angegeben werden, an dem das Verfahren zur Steuerung des Gargeräts erläutert wird:

  • Aus Gründen der besseren Anschaulichkeit wird dabei davon ausgegangen, dass das Gargerät nur drei Klassen von Gargut kennt. Hierbei kann es sich beispielsweise um rote Paprika, rote Chili und Kartoffel handeln.
An example will be given below, in which the method for controlling the cooking appliance is explained:
  • For better clarity, it is assumed that the cooking appliance knows only three classes of food. These may be, for example, red pepper, red chili and potato.

Ferner wird aus Gründen der besseren Veranschaulichung angenommen, dass zur Bestimmung der jeweiligen Klassen lediglich zwei Parameter herangezogen werden, beispielsweise die Kontur und das Farbhistogramm.Furthermore, for the sake of better illustration, it is assumed that only two parameters are used to determine the respective classes, for example the contour and the color histogram.

Wird dem Gargerät nun ein zu garendes Objekt zugeführt, beispielsweise eine rote Paprika, so wird das zu garende Objekt fotografiert und anhand des aufgenommenen Bildes die charakteristischen Parameter, das Farbhistogramm und die Kontur, aus dem Bild bestimmt und abstrahiert. Aufgrund der abstrahierten Daten wird dann von der Steuerung ermittelt, ob das zu garende Gargut entweder in die Klasse Paprika rot oder Chili rot gehört. Dies geschieht durch Einsetzen der charakteristischen Parameter in die bereits zur Klassenunterscheidung gebildeten Diskriminanzfunktionen.If the cooking appliance is now supplied with an object to be cooked, for example a red pepper, the object to be cooked is photographed and the characteristic parameters, the color histogram and the contour, determined and abstracted from the image on the basis of the recorded image. On the basis of the abstracted data, the controller then determines whether the food to be cooked belongs either to the class red paprika or red chilli. this happens by substituting the characteristic parameters into the discriminant functions already formed for the class distinction.

Da dem Gargerät die Klasse rote Paprika schon bekannt ist, wird ein Zugehörigkeitsfaktor ausgegeben, welcher derart hoch ist, dass das Gargerät automatisch erkennt, dass es sich um eine rote Paprika handelt.Since the cooking appliance is already familiar with the class of red peppers, a membership factor is output which is so high that the cooking appliance automatically recognizes that it is a red pepper.

Würde dem Gargerät jedoch eine rote Mini-Paprika zugeführt, dessen Größe typischerweise zwischen den Größen einer roten Paprika und einer roten Chili liegt, so kann es sein, dass das Gargerät für beide Klassen einen etwa gleich großen Zugehörigkeitsfaktor ermittelt. Hierdurch kann das Gargerät keine eindeutige Zuordnung des zu garenden Objekts zu einer bestimmten Klasse ermitteln, weswegen das Gargerät dem Bediener des Gargeräts die beiden wahrscheinlichsten Klassen, hier Paprika rot bzw. Chili rot, zur Auswahl vorschlägt. Die Klasse Kartoffel wird dabei nicht vorgeschlagen, da der Zugehörigkeitsfaktor aufgrund des unterschiedlichen Farbhistogramms und der unterschiedlichen Kontur entsprechend klein ist.However, if the cooking appliance is supplied with a red mini-pepper whose size is typically between the sizes of a red pepper and a red chili, it may be that the cooking appliance determines an approximately equal membership factor for both classes. As a result, the cooking appliance can not determine a clear assignment of the object to be cooked to a certain class, which is why the cooking appliance proposes to the operator of the cooking appliance the two most likely classes, here red peppers or red chili, for selection. The class potato is not suggested, because the membership factor is correspondingly small due to the different color histogram and the different contour.

Der Bediener kann dann manuell auswählen, ob die rote Mini-Paprika eher der Klasse Paprika rot oder der Klasse Chili rot zuzuordnen ist. Entscheidet sich der Bediener für eine der beiden Klassen, so wird der Schwerpunkt der gewählten Klasse sowie dessen Ausdehnung entsprechend um die neu hinzugewonnenen Daten der Mini-Paprika rot verändert, sofern die Option aktiviert ist, dass neue Daten der Datenbank hinzugefügt werden dürfen. Daher ist dies in Figur 2 gestrichelt dargestellt.The operator can then manually select whether the red mini peppers are more likely to be red peppers or red chillies. If the operator chooses one of the two classes, the center of gravity of the selected class and its extent will be changed to red according to the newly added data of the mini peppers, provided that the option is activated that new data may be added to the database. Therefore this is in FIG. 2 shown in dashed lines.

Dies bedeutet, dass das Gargerät beim Erkennen neuer Gargüter dazulernt. Dies geschieht ebenfalls dann, wenn ein bereits erkanntes Gargut einer bekannten Klasse zugeordnet wird, die jedoch nicht exakt den Schwerpunkt dieser Klasse trifft. Hierdurch können sich der Schwerpunkt und die Ausdehnung der Klasse verschieben. Dies gewährleistet eine dauerhafte Anpassung und somit höchste Erkennungsgenauigkeit des Gargeräts.This means that the cooking appliance learns when it detects new food. This also happens when an already recognized food is assigned to a known class, but does not exactly hit the center of gravity of this class. This may shift the center of gravity and the extent of the class. This ensures a permanent adaptation and thus highest detection accuracy of the cooking appliance.

Alternativ kann sich der Benutzer jedoch auch dazu entscheiden, eine neue Klasse anzulegen, die er beispielsweise Mini-Paprika rot nennt. Da diese Klasse dem Gargerät bisher noch nicht bekannt war, hat das Gargerät noch keine Abgrenzung gegenüber den anderen Klassen. Dies kann erst dann geschehen, wenn das zur Klassifizierung benötigte lineare oder nichtlineare multidimensionale statistische Verfahren durchgeführt wird, um entsprechende Diskriminanzfunktionen zur Abgrenzung der Klassen zu ermitteln. Hierzu muss eine ausreichende Datenbasis für die neue Klasse vorhanden sein.Alternatively, however, the user may also decide to create a new class, which he calls, for example, mini peppers red. Since this class was not yet known to the cooking appliance, the cooking appliance still has no differentiation from the other classes. This can happen only then when the linear or nonlinear multidimensional statistical methods required for classification are performed to determine corresponding discriminant functions for classifying the classes. For this, a sufficient database for the new class must be available.

Dies kann im Hintergrund während des Betriebs des Gargeräts geschehen oder vom Bediener aktiv oder vom Gargerät automatisch gestartet werden, beispielsweise über Nacht, wenn das Gargerät nicht bedient wird und daher keine Rechenleistung für andere Rechenprozesse benötigt.This can be done in the background during operation of the cooking appliance or automatically started by the operator or the cooking appliance, for example, overnight, when the cooking appliance is not operated and therefore requires no computing power for other computing processes.

Ein weiteres Beispiel ist eine gelbe Paprika, die dem Gargerät als zu garendes Gargut zugeführt wird.Another example is a yellow pepper, which is supplied to the cooking appliance as food to be cooked.

Da das Gargerät bisher die Klasse Paprika gelb noch nicht kennt, wird das Gargerät keine eindeutige Zuordnung der gelben Paprika zu einer bestimmten Klasse durchführen können. Aufgrund der beiden charakteristischen Parameter, Farbhistogramm sowie Kontur, würde das Gargerät jedoch die Klasse Paprika rot mit einem höheren Zugehörigkeitsfaktor ermitteln.Since the cooking device so far does not know the class paprika yellow, the cooking device will not be able to carry out a clear assignment of the yellow pepper to a certain class. However, due to the two characteristic parameters, color histogram and contour, the cooking appliance would determine the red pepper category with a higher membership factor.

Der Bediener des Gargeräts kann dann entscheiden, ob er die gelbe Paprika zur Klasse Paprika rot hinzufügt oder eine neue Klasse Paprika gelb erstellen möchte.The operator of the cooking device can then decide whether to add the yellow pepper to the red paprika class or to create a new class of paprika yellow.

Entscheidet sich der Bediener des Gargeräts dazu, die gelbe Paprika ebenfalls in die Klasse Paprika rot einzuordnen, so würde die Klasse Paprika rot sich derart ausdehnen, dass bei einem späteren Garprozess, wenn beispielsweise eine orangene Paprika dem Gargerät zugeführt wird, diese automatisch in die Klasse Paprika rot eingeordnet wird, da nun die Klasse Paprika rot sämtliche Farbspektren von rot bis gelb umfasst.If the operator of the cooking appliance also decides to place the yellow pepper red in the red pepper class, the red bell pepper would expand in such a way that, for example, when an orange bell pepper is added to the cooking appliance, it automatically enters the class Paprika is classified red, because now the class paprika red covers all color spectrums from red to yellow.

Würde das Gargerät anstatt des beispielhaft verwendeten linearen Diskriminanzanalyseverfahrens ein nichtlineares multidimensionales statistisches Verfahren zur Ermittlung der Klassen verwenden, so könnte eine Klasse derart ausgebildet sein, dass nur rote und gelbe Paprika von ihr umfasst sind, jedoch keine Farben, die im farblichen Zwischenraum liegen, wie dies beim linearen Diskriminanzanalyseverfahren der Fall ist. Dies bedeutet, dass der Zwischenraum sozusagen ausgespart bleibt.If, instead of the linear discriminant analysis method used as an example, the cooking appliance were to use a nonlinear multidimensional statistical method for determining the classes, a class could be designed to include only red and yellow peppers but not colors in the color space such as this is the case with the linear discriminant analysis method. This means that the gap remains spared, so to speak.

Diese Aussparung lässt sich durch Implementierung weiterer Verfahrensschritte auch mit einem linearen multidimensionalen statistischen Verfahren realisieren, insbesondere automatisiert. Ferner kann der Benutzer die Aussparrung manuell vornehmen.This recess can also be realized by implementing further method steps with a linear multidimensional statistical method, in particular automated. Furthermore, the user can make the Aussparrung manually.

Konkret können bei der linearen Diskriminazanalyse einer vom Benutzer angelegten Klasse mehrere Unterklassen zugewiesen werden. Im zuvor genannten Beispiel könnte die vom Benutzer angelegte Klasse "Paprika rot/gelb" in die Unterklassen "Paprika rot" und "Paprika gelb" zerlegt werden, sodass der Zwischenbereich ("Paprika orange") nicht enthalten ist. Dies kann durch den Benutzer selbst vorgenommen werden. Es gibt aber auch die Möglichkeit, dies völlig automatisch vorzunehmen, ohne dass der Benutzer eingreifen muss, wie nachfolgend erläutert wird.Specifically, linear discriminant analysis can assign multiple subclasses to a user-created class. In the above example, the user-created class "red / yellow pepper" could be broken down into the subclasses "red pepper" and "yellow pepper" so that the intermediate range ("orange pepper") is not included. This can be done by the user himself. But there is also the possibility to do this completely automatically without the user having to intervene, as explained below.

Im einfachsten Fall zerfällt die Klasse nur bezüglich einzelner Merkmale bzw. Wiedererkennungsparameter in disjunkte Gebiete im Merkmalsraum bzw. im Parameterraum. Um diese Situation automatisch zu erkennen, muss nach Lücken oder nach Häufungspunkten in den einzelnen Merkmalen gesucht werden.In the simplest case, the class only decays with respect to individual features or recognition parameters into disjoint regions in the feature space or in the parameter space. In order to recognize this situation automatically, it is necessary to search for gaps or accumulation points in the individual features.

Dazu könnten beispielsweise die Datenpunkte bezüglich des jeweiligen Merkmals sortiert werden, um anschließend die Abstände zu den nächsten, übernächsten bzw. n-ten Nachbarn einfach berechnen zu können. Die Maxima der Funktion Abstand versus Merkmalsmittelwert der beiden Punkte sind potentielle Trennwerte für Unterklassen.For this purpose, for example, the data points could be sorted with respect to the respective feature, in order then to be able to simply calculate the distances to the next, after next or nth neighbors. The maxima of the function distance versus feature mean of the two points are potential separation values for subclasses.

Ob eine Trennung der potentiellen Unterklassen sinnvoll ist, kann über einen geeigneten Schwellwert für den Parameter Schwerpunktabstand zum quadratischen Mittelwert der Standardabweichungen der jeweiligen potentiellen Unterklassen geschehen.Whether a separation of the potential subclasses is meaningful can be done via a suitable threshold value for the parameter centroid distance to the root mean square of the standard deviations of the respective potential subclasses.

Diese Trennung kann eindimensional ablaufen, sofern das Trennungskriterium ein Merkmal bzw. ein Wiedererkennungsparameter ist, weshalb die benötigte Rechenzeit gering ist.This separation can be one-dimensional, if the separation criterion is a feature or a recognition parameter, which is why the required computing time is low.

Wenn eine Trennung in mehreren Merkmalen in Frage kommt, muss geprüft werden, ob die Unterklassen im Wesentlichen aus denselben Datenpunkten bestehen oder nicht.If a separation in several features comes into question, it must be checked whether the subclasses consist essentially of the same data points or not.

Sofern die Unterklassen im Wesentlichen aus denselben Datenpunkten bestehen, so würde sich die Zahl der Unterklassen reduzieren und das Kriterium für eine Trennung wäre durch die entsprechenden Abstände im Unterraum zu ersetzen, der von den zur Trennung in Frage kommenden Merkmalen aufgespannt wird.If the subclasses consist essentially of the same data points, the number of subclasses would be reduced and the criterion for separation would have to be replaced by the corresponding distances in the subspace spanned by the features eligible for separation.

Es sollte für jede Unterklasse eine ausreichende Anzahl von Datenpunkten vorhanden sein, damit die Schwerpunkte und die Standardabweichungen im Merkmalsraum für jede Unterklasse mit hinreichender Zuverlässigkeit bestimmt werden können. Der Schwellwert, der zur Entscheidung über die Trennung der potentiellen Unterklassen dient, sollte daher von der Zahl der verfügbaren Datenpunkte und der Anzahl der Merkmale abhängen.There should be a sufficient number of data points for each subclass, so that the center of gravity and the standard deviations in the feature space for each subclass can be determined with sufficient reliability. The threshold used to decide on the separation of the potential subclasses should therefore depend on the number of available data points and the number of features.

Bei diesem implementierten Verfahren würden im gesamten Merkmalsraum bzw. Parameterraum der Wiedererkennungsparameter nur solche Lücken gefunden werden, die senkrecht zu den Merkmalsachsen liegen. Es ist darüber hinaus durchaus möglich, schräg liegende Lücken oder solche Lücken zu finden, die eine kompliziertere Form haben.In this implemented method, only those gaps which are perpendicular to the feature axes would be found in the entire feature space or parameter space of the recognition parameters. It is also quite possible to find oblique gaps or gaps that have a more complicated shape.

Dazu könnte beispielsweise nach der Durchführung einer LDA nach Löchern in dem zu einer Klasse gehörenden Gebiet gesucht werden. Für die Suche nach solchen Löchern gibt es viele Umsetzungsmöglichkeiten.For example, after performing an LDA, it would be possible to search for holes in the area belonging to a class. For the search for such holes, there are many implementation options.

Beispielsweise könnte jeder Datenpunkt durch eine Gewichtsfunktion ersetzt werden, die mit dem Abstand abfällt. Die Summe der Gewichtsfunktionen stellt dann ein Maß für die Dichte der Datenpunkte in der Nachbarschaft dar. Ihre Minima sind die Zentren potentieller Löcher.For example, each data point could be replaced by a weight function that decreases with the distance. The sum of the weight functions then represents a measure of the density of the data points in the neighborhood. Their minima are the centers of potential holes.

Dieses beispielhafte Verfahren und analoge Verfahren kommen auch für einzelne Merkmale in Frage, insbesondere bei vielen Datenpunkten. Sofern wenige Datenpunkte vorliegen, ist das zuvor genannte Verfahren aus Zeitgründen zu bevorzugen.This exemplary method and analogous methods are also suitable for individual features, in particular for many data points. If there are few data points, the aforementioned method is preferable for reasons of time.

Ein Kriterium für die Sinnhaftigkeit von Unterklassen könnte die Reduzierung des Klassenvolumens sein. Die Unterklassen werden vorzugsweise um die Maxima der Gewichtsfunktion gebildet. Die Datenpunkte werden dann jeweils dem nächstgelegenen Maximum zugeordnet.A criterion for the usefulness of subclasses could be the reduction of the class volume. The subclasses are preferably formed around the maxima of the weight function. The data points are then assigned to the nearest maximum.

Hiermit lassen sich selbst komplexe Klassengrenzen approximieren, die normalerweise nur mit nichtlinearen Verfahren abgebildet werden könnten.This allows even complex class boundaries to be approximated, which could normally only be mapped using nonlinear methods.

Im Gegensatz hierzu sind die benötigten Rechenverfahren zur Berechnung der nichtlinearen Diskriminanzfunktionen aus einem nichtlinearen Gleichungssystem erheblich aufwendiger als die oben beispielhaft genannten Verfahren, sodass mehr Rechenleistung und Zeit zur Verfügung stehen muss. Dies liegt unter anderem daran, dass es kein allgemein gültiges Verfahren zur Lösung eines nichtlinearen Gleichungssystems gibt. Ob und wie die nichtlinearen Gleichungen lösbar sind, hängt immer von den entsprechenden Daten ab.In contrast, the computation methods required to compute the non-linear discriminant functions from a nonlinear equation system are considerably more complicated than the methods mentioned above by way of example, so that more computing power and time must be available. One of the reasons for this is that there is no universally valid method for solving a nonlinear system of equations. Whether and how the nonlinear equations are solvable always depends on the corresponding data.

Aufgrund dessen ist die mit wenig Rechenleistung verbundende Suche nach Lücken effizient und deckt im Anwendungsbereich von automatisierter Garguterkennung die meisten Fälle ab.As a result, the low-performance search for gaps is efficient and covers most cases within the scope of automated food recognition.

Daher ist ein lineares multidimensionales statistisches Verfahren typischerweise bevorzugt, insbesondere bei Gargeräten, die bei einem Endverbraucher stehen, bei dem kein Fachmann vor Ort ist.Therefore, a linear multidimensional statistical method is typically preferred, particularly in cooking appliances that are available to an end user in which there is no on-site specialist.

Sofern das Gargerät die Klasse des Garguts automatisch erkannt hat, greift es auf eine Datenbank zu, um einen für die bestimmte Klasse entsprechenden Garprozess auszuwählen. Die Datenbank kann im Gargerät integriert oder außerhalb des Gargeräts vorgesehen sein, wobei das Gargerät dann über eine Schnittstelle auf die Datenbank zugreift. Der Zugriff auf die Datenbank findet auch dann statt, wenn das Gargerät die Klasse des Garguts nicht erkannt hat, und der Benutzer eine Klasse ausgewählt hat.If the cooking appliance has automatically recognized the class of food to be cooked, it accesses a database to select a cooking process appropriate to the particular class. The database can be integrated in the cooking appliance or provided outside the cooking appliance, the cooking appliance then accessing the database via an interface. Access to the database also takes place when the cooking appliance has not recognized the class of the food and the user has selected a class.

Das Gargerät vergleicht dann, insbesondere bei einer Mischbeschickung, die derzeit im Garraum vorliegenden Garraumbedingungen, beispielsweise Temperatur und Feuchte, mit den Kennwerten des der bestimmten Klasse entsprechenden Garprozesses. Sofern die im Garraum vorliegenden Garraumbedingungen in einem Bereich liegen, der dem der bestimmten Klasse entsprechenden Garprozess entspricht, so kann der Benutzer das vom Gargerät erkannte Gargut einlegen. Dies wird dem Benutzer signalisiert. Sollten die Garraumbedingungen außerhalb des Bereichs liegen, so wird dies dem Benutzer ebenfalls signalisiert.The cooking appliance then compares, especially in the case of a mixed feed, the cooking space conditions currently present in the cooking space, for example temperature and humidity, with the characteristic values of the cooking process corresponding to the particular class. If the cooking chamber conditions present in the cooking chamber are in an area which corresponds to the cooking process corresponding to the particular class, the user can insert the cooking product recognized by the cooking appliance. This is signaled to the user. If the cooking chamber conditions are outside the range, this is also signaled to the user.

Das Gargerät kann bei der Bestimmung des der bestimmten Klasse entsprechenden Garprozesses auch auf die Einstellungen des Gargeräts zurückgreifen, insbesondere den geographischen Aufstellort des Gargeräts und die gewählte Sprache. Hierüber können landes- oder regionaltypische Unterschiede im gewünschten Garprozess berücksichtigt werden. Dies betrifft beispielsweise den Bräunungsgrad einer Backware.The cooking appliance can also fall back on the settings of the cooking appliance when determining the cooking process corresponding to the particular class, in particular the geographical location of the cooking appliance and the selected language. This can take into account country or regional differences in the desired cooking process. This concerns, for example, the degree of browning of a baked good.

Sofern mehrere Garprozesse für die bestimmte Klasse des Garguts hinterlegt sind, wie Dämpfen oder Grillen bei einem Fisch, so kann das Gargerät dem Benutzer die der entsprechenden Klasse zugeordneten Garprozesse zur Auswahl stellen. Der Benutzer kann dann auswählen, welcher Garprozess durchführt werden soll. Das Gargerät erkennt demnach die Klasse des Garguts automatisch und sucht in der Datenbank nach Garprozessen für die erkannte Klasse, wodurch der Automatisierungsgrad entsprechend erhöht ist.If several cooking processes are stored for the particular class of the food, such as steaming or grilling a fish, the cooking appliance can provide the user with the cooking processes associated with the corresponding class. The user can then choose which cooking process to perform. The cooking appliance therefore automatically detects the class of the food and searches in the database for cooking processes for the detected class, whereby the degree of automation is increased accordingly.

Bei der Auswahl mehrerer Garprozesse kann das Gargerät insbesondere anzeigen, welcher der zur Auswahl stehenden Garprozesse aufgrund der vorliegenden Garraumbedingungen durchgeführt werden kann.In the selection of several cooking processes, the cooking appliance can in particular indicate which of the cooking processes available for selection can be carried out on the basis of the present cooking chamber conditions.

Des Weiteren können neben der optischen Vorrichtung weitere Sensoren vorgesehen sein, beispielsweis ein Temperatursensor für das zu erkennende Gargut. Der Temperatursensor kann die optische Vorrichtung dahingehend unterstützen, dass erkannt wird, ob es sich beispielsweise um eine tiefgefrorene Backware oder eine gekühlte Backware handelt. Generell kann dies die optische Vorrichtung auchh allein erkennen, beispielsweise aufgrund des Glanzes bzw. der Reflexion der Oberfläche des zu erkennenden Garguts. Entsprechend dem erkannten Zustand des Garguts wird auf einen bestimmten Garprozess in der Datenbank zurückgegriffen.Furthermore, in addition to the optical device further sensors may be provided, for example, a temperature sensor for the food to be detected. The temperature sensor may assist the optical device to detect whether it is, for example, a frozen bakery product or a refrigerated bakery product. In general, this can also recognize the optical device alone, for example due to the gloss or the reflection of the surface of the food to be detected. According to the recognized state of the food, a specific cooking process in the database is used.

Allgemein kann der Bediener beim manuellen Verschieben von erkannten Gargütern auch die Datenbank entsprechend ändern, sodass sich die Klassen anpassen. Dieser Eingriff in die Datenbank soll allerdings nur eine optionale Möglichkeit darstellen, die beispielsweise über ein Passwort restriktiv gehandhabt wird. Die Veränderung bereits bekannter Klassen ist ebenfalls optional.In general, when manually moving detected food items, the operator may also change the database accordingly so that the classes will adapt. However, this intrusion into the database should only be an optional option, which is handled restrictively, for example by means of a password. Changing already known classes is also optional.

Mit dem erfindungsgemäßen Verfahren ist ein noch höherer Automatisierungsgrad bei der Steuerung eines Gargeräts geschaffen.With the method according to the invention an even higher degree of automation in the control of a cooking appliance is provided.

Claims (15)

Verfahren zur Steuerung eines Gargerätes, bei dem: a) ein Bild von einem zu garenden Gargut mittels einer optischen Vorrichtung, insbesondere einer Kamera, erstellt und an eine Steuereinheit eines Gargerätes übermittelt wird, b) die Steuereinheit das Bild und/oder die Eigenschaften des Bildes, wie Konturen, Konturenhistogramme, auftretende Farben und Farbhistogramme, mit zuvor in einer Datenbank der Steuereinheit hinterlegten Bildern und/oder Eigenschaften von Bildern vergleicht, um die Klasse des Gargutes zu bestimmen, wobei die in der Datenbank hinterlegten Bilder und/oder die Eigenschaften der Bilder zu Klassen zusammengefasst sind, c) wenn die Steuereinheit die Klasse des Gargutes bestimmt hat, ein der bestimmten Klasse entsprechender Garprozess vom Gargerät automatisch begonnen wird, das Bild und/oder die Eigenschaften des Bildes bei Bedarf zur Datenbank hinzugefügt und der bestimmten Klasse zugewiesen werden, und d) wenn die Steuereinheit die Klasse des Gargutes nicht bestimmen kann, der Benutzer des Gargerätes die Klasse des Gargutes mittels einer Benutzerschnittstelle an die Steuereinheit übergibt und das Bild und/oder die Eigenschaften des Bildes bei Bedarf zur Datenbank hinzugefügt und der übergebenen Klasse zugewiesen werden. Method for controlling a cooking appliance, in which: a) an image of a food to be cooked by means of an optical device, in particular a camera, created and transmitted to a control unit of a cooking appliance, b) the control unit compares the image and / or the properties of the image, such as contours, contour histograms, colors and color histograms, with images and / or image properties previously stored in a database of the control unit to determine the class of food to be cooked, the images stored in the database and / or the properties of the images are grouped into classes, c) if the control unit has determined the class of the item to be cooked, the cooking appliance will automatically start a cooking process corresponding to the particular class, add the image and / or the characteristics of the image to the database and allocate it to the particular class as required, and d) if the control unit can not determine the class of food to be cooked, the user of the cooking appliance passes the class of the food to the control unit via a user interface and the image and / or image properties are added to the database as needed and assigned to the transferred class. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die optische Vorrichtung das Bild des Gargutes beim Einführen des Gargutes in das Gargerät erstellt.A method according to claim 1, characterized in that the optical device creates the image of the food during insertion of the food in the cooking appliance. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eigenschaften des Bildes von der Steuereinheit aus dem Bild extrahiert werden.A method according to claim 1 or 2, characterized in that the properties of the image are extracted by the control unit from the image. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass neben der Klasse auch die Menge und/oder das Kaliber des Gargutes bestimmt wird, wobei anhand dieser Informationen der Garprozess angepasst wird.Method according to one of the preceding claims, characterized in that in addition to the class, the amount and / or the caliber of the food is determined, based on this information, the cooking process is adjusted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bilder und/oder Eigenschaften von Bildern vom Benutzer aus der Datenbank entfernt oder einer anderen Klasse zugewiesen werden können.Method according to one of the preceding claims, characterized in that images and / or properties of images can be removed by the user from the database or assigned to another class. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Benutzer, wenn die Steuereinheit die Klasse des Gargutes bestimmt hat, die Klasse des Gargutes mittels einer Benutzerschnittstelle zu einer anderen Klasse ändern kann, wobei in diesem Falle das Bild und/oder die Eigenschaften des Bildes in der Datenbank der anderen Klasse zugewiesen werden, die Zuordnung des Bildes und/oder der Eigenschaften des Bildes zur von der Steuereinheit bestimmten Klasse aufgehoben wird und ggf. der Garprozess angepasst wird.Method according to one of the preceding claims, characterized in that the user, if the control unit has determined the class of the food, the class of the food can change by means of a user interface to another class, in which case the image and / or the properties of the Assigned image in the database of the other class, the assignment of the image and / or the properties of the image to the class determined by the control unit is canceled and, if necessary, the cooking process is adjusted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit beim Vergleich zur Bestimmung der Klasse des Gargutes für mehrere, insbesondere für jede Klasse einen Zugehörigkeitsfaktor des Gargutes zur jeweiligen Klasse ermittelt.Method according to one of the preceding claims, characterized in that the control unit determines the comparison of the determination of the class of the food for several, in particular for each class a membership factor of the food to the respective class. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Steuereinheit die Klasse mit dem größten Zugehörigkeitsfaktor als Klasse des Gargutes bestimmt, falls der Zugehörigkeitsfaktor größer als ein vorbestimmter Schwellwert ist.A method according to claim 7, characterized in that the control unit determines the class with the largest membership factor as a class of the food, if the membership factor is greater than a predetermined threshold. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Steuereinheit das Gargut keiner Klasse zuordnet, wenn sämtliche ermittelte Zugehörigkeitsfaktoren unterhalb des vorbestimmten Schwellwertes liegen.A method according to claim 7 or 8, characterized in that the control unit does not assign the food to a class, if all determined membership factors are below the predetermined threshold value. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein lineares oder nicht-lineares multidimensionales statistisches Verfahren zur Verarbeitung der Eigenschaften des Bildes durchgeführt wird.Method according to one of the preceding claims, characterized in that a linear or non-linear multidimensional statistical method for processing the properties of the image is performed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine neue Klasse eines noch unbekannten Garguts und/oder eine Veränderung der bereits vorhandenen Klasseneinteilung mithilfe des linearen oder nicht-linearen multidimensionalen statistischen Verfahrens bestimmt bzw. durchgeführt wird, insbesondere mithilfe einer linearen Diskriminanzanalyse (LDA).Method according to one of the preceding claims, characterized in that a new class of a still unknown food item and / or a change of the already existing class division by means of the linear or non-linear multidimensional statistical method determined or carried out, in particular by means of a linear discriminant analysis (LDA). Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass das lineare oder nicht-lineare multidimensionale statistische Verfahren ein Maß für die Erkennungssicherheit aufweist, insbesondere ein intrinsisches Maß für die Erkennungssicherheit.A method according to claim 10 or 11, characterized in that the linear or non-linear multidimensional statistical method has a measure of the detection security, in particular an intrinsic measure for the detection security. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass bei der Durchführung des linearen oder nicht-linearen multidimensionalen statistischen Verfahrens Diskriminanzfunktionen bestimmt werden.Method according to one of Claims 10 to 12, characterized in that discriminant functions are determined when carrying out the linear or non-linear multidimensional statistical method. Verfahren nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass Bilderkennungsalgorithmen multidimensionale mathematische Objekte ausgehend von den erfassten Eigenschaften des Bildes erstellen, wobei das lineare oder nicht-lineare multidimensionale statistische Verfahren die Dimension der mathematischen Objekte reduziert.Method according to one of claims 10 to 13, characterized in that image recognition algorithms create multidimensional mathematical objects based on the detected properties of the image, wherein the linear or non-linear multidimensional statistical method reduces the dimension of the mathematical objects. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Gargerät eine Lernphase zu Beginn durchführt, in der die Datenbank die Klassen erlernt.Method according to one of the preceding claims, characterized in that the cooking appliance performs a learning phase at the beginning, in which the database learns the classes.
EP15178294.3A 2014-07-25 2015-07-24 Method of controlling a cooking device Withdrawn EP2977683A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014110559.1A DE102014110559A1 (en) 2014-07-25 2014-07-25 Method for controlling a cooking appliance

Publications (1)

Publication Number Publication Date
EP2977683A1 true EP2977683A1 (en) 2016-01-27

Family

ID=53871837

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15178294.3A Withdrawn EP2977683A1 (en) 2014-07-25 2015-07-24 Method of controlling a cooking device

Country Status (2)

Country Link
EP (1) EP2977683A1 (en)
DE (1) DE102014110559A1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017182214A1 (en) * 2016-04-18 2017-10-26 Convotherm-Elektrogeräte Gmbh Method for determining a needed cleaning, quality management/monitoring system of a commercial cooking device, and commercial cooking device
EP3339742A1 (en) * 2016-12-21 2018-06-27 Electrolux Appliances Aktiebolag Food preparation entity
CN110870676A (en) * 2018-09-03 2020-03-10 佛山市顺德区美的电热电器制造有限公司 Operation control method, device, cooking appliance and computer readable storage medium
KR20200092380A (en) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 Food preparation method and system based on material recognition
EP3708912A1 (en) * 2019-03-13 2020-09-16 Miele & Cie. KG Cooking appliance and system as well as method for controlling a cooking appliance
IT202000001303A1 (en) 2020-01-23 2021-07-23 Unox Spa Method for the operational control of a cooking oven in the process of cooking food
IT202000001306A1 (en) 2020-01-23 2021-07-23 Unox Spa Method for the operational control of a cooking oven in the process of cooking food
DE102020106640A1 (en) 2020-03-11 2021-09-16 Rational Aktiengesellschaft Cooking device with a sensor-based detection system and method for controlling such a cooking device
CN115190956A (en) * 2020-03-12 2022-10-14 Bsh家用电器有限公司 Setting target browning level on household cooking appliance
DE102023121440A1 (en) 2023-08-10 2024-08-29 Miele & Cie. Kg Method for operating a cooking system and cooking system comprising a cooking appliance with a cooking chamber

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018111789A1 (en) * 2018-05-16 2019-11-21 Rational Aktiengesellschaft Process for low-temperature cooking of foodstuffs
DE102019220237A1 (en) * 2019-12-19 2021-06-24 BSH Hausgeräte GmbH Generation of training data for recognizing a dish

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0563698A2 (en) * 1992-04-02 1993-10-06 ZELTRON S.p.A. Automatically controlled cooking system
WO2010102261A1 (en) * 2009-03-05 2010-09-10 Pressco Technology, Inc. A method and system for digital narrowband, wavelength specific cooking, curing, food preparation, and processing
WO2012063135A2 (en) * 2010-11-12 2012-05-18 Convotherm Elektrogeräte GmbH A cooking device, and a procedure for cooking food
DE102012204229A1 (en) * 2012-03-16 2013-09-19 BSH Bosch und Siemens Hausgeräte GmbH Cooking appliance device e.g. baking oven, for cooking food, has recognition unit recognizing food in cooking chamber, and selection unit selecting determined cooking programs from predetermined cooking programs in dependence of image
DE102012221119A1 (en) * 2012-11-19 2014-05-22 BSH Bosch und Siemens Hausgeräte GmbH Stationary-operated household device, particularly washing machine or washerdryer for treatment of household goods according to selected treatment method, has detecting unit that determines value of site-specific physical environment factor
WO2014086487A1 (en) * 2012-12-04 2014-06-12 Ingo Stork Genannt Wersborg Heat treatment device with monitoring system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008031378B4 (en) * 2007-07-06 2024-05-23 Welbilt Deutschland GmbH Commercial cooking appliance, in particular commercial combi steamer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0563698A2 (en) * 1992-04-02 1993-10-06 ZELTRON S.p.A. Automatically controlled cooking system
WO2010102261A1 (en) * 2009-03-05 2010-09-10 Pressco Technology, Inc. A method and system for digital narrowband, wavelength specific cooking, curing, food preparation, and processing
WO2012063135A2 (en) * 2010-11-12 2012-05-18 Convotherm Elektrogeräte GmbH A cooking device, and a procedure for cooking food
DE102012204229A1 (en) * 2012-03-16 2013-09-19 BSH Bosch und Siemens Hausgeräte GmbH Cooking appliance device e.g. baking oven, for cooking food, has recognition unit recognizing food in cooking chamber, and selection unit selecting determined cooking programs from predetermined cooking programs in dependence of image
DE102012221119A1 (en) * 2012-11-19 2014-05-22 BSH Bosch und Siemens Hausgeräte GmbH Stationary-operated household device, particularly washing machine or washerdryer for treatment of household goods according to selected treatment method, has detecting unit that determines value of site-specific physical environment factor
WO2014086487A1 (en) * 2012-12-04 2014-06-12 Ingo Stork Genannt Wersborg Heat treatment device with monitoring system

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017182214A1 (en) * 2016-04-18 2017-10-26 Convotherm-Elektrogeräte Gmbh Method for determining a needed cleaning, quality management/monitoring system of a commercial cooking device, and commercial cooking device
US11300300B2 (en) 2016-04-18 2022-04-12 Convotherm-Elektrogeraete Gmbh Dynamic quality management/monitoring system of a commercial cooking appliance
US10995960B2 (en) 2016-12-21 2021-05-04 Electrolux Appliances Aktiebolag Food preparation entity
EP3339742A1 (en) * 2016-12-21 2018-06-27 Electrolux Appliances Aktiebolag Food preparation entity
WO2018114170A1 (en) * 2016-12-21 2018-06-28 Electrolux Appliances Aktiebolag Food preparation entity
AU2017380938B2 (en) * 2016-12-21 2023-03-16 Electrolux Appliances Aktiebolag Food preparation entity
KR20200092380A (en) * 2017-12-30 2020-08-03 미디어 그룹 코 엘티디 Food preparation method and system based on material recognition
EP3685235A4 (en) * 2017-12-30 2020-10-21 Midea Group Co., Ltd. Food preparation method and system based on ingredient recognition
US11229311B2 (en) 2017-12-30 2022-01-25 Midea Group Co., Ltd. Food preparation system
CN110870676A (en) * 2018-09-03 2020-03-10 佛山市顺德区美的电热电器制造有限公司 Operation control method, device, cooking appliance and computer readable storage medium
EP3708912A1 (en) * 2019-03-13 2020-09-16 Miele & Cie. KG Cooking appliance and system as well as method for controlling a cooking appliance
US11805939B2 (en) 2019-03-13 2023-11-07 Miele & Cie. Kg Cooking device, system and method for controlling the cooking device
IT202000001303A1 (en) 2020-01-23 2021-07-23 Unox Spa Method for the operational control of a cooking oven in the process of cooking food
IT202000001306A1 (en) 2020-01-23 2021-07-23 Unox Spa Method for the operational control of a cooking oven in the process of cooking food
DE102020106640A1 (en) 2020-03-11 2021-09-16 Rational Aktiengesellschaft Cooking device with a sensor-based detection system and method for controlling such a cooking device
CN115190956A (en) * 2020-03-12 2022-10-14 Bsh家用电器有限公司 Setting target browning level on household cooking appliance
DE102023121440A1 (en) 2023-08-10 2024-08-29 Miele & Cie. Kg Method for operating a cooking system and cooking system comprising a cooking appliance with a cooking chamber

Also Published As

Publication number Publication date
DE102014110559A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
EP2977683A1 (en) Method of controlling a cooking device
DE102018106808B4 (en) Condition determination device
DE102018000342B4 (en) NUMERICAL CONTROL AND MACHINE LEARNING DEVICE
DE102016011532A1 (en) Machine learning device and machine learning method for optimizing the frequency of tool correction of a machine tool and machine tool with the machine learning device
DE102012204229A1 (en) Cooking appliance device e.g. baking oven, for cooking food, has recognition unit recognizing food in cooking chamber, and selection unit selecting determined cooking programs from predetermined cooking programs in dependence of image
DE69322095T2 (en) METHOD AND DEVICE FOR IDENTIFYING AN OBJECT BY MEANS OF AN ORDERED SEQUENCE OF LIMIT PIXEL PARAMETERS
DE102019112379A1 (en) Processing condition adjustment device and machine learning device
WO2018219551A1 (en) Method and device for automatic gesture recognition
DE102016117585A1 (en) Method and apparatus for determining steps for a multi-random variable batch control analysis
EP3842788B1 (en) Near infrared spectral sensor for object recognition using machine learning methods, and corresponding method
WO2020057868A1 (en) Method and device for operating a control system
DE102021201124A1 (en) TRAINING IMAGE CLASSIFIER NETWORKS
DE102015205502A1 (en) Image processing method and image processing system for extracting distorted circular picture elements
EP2992295B1 (en) Device and method for the classification of a food item of an organic or irregular structure
DE102020208828A1 (en) Method and device for creating a machine learning system
WO2022148593A1 (en) Method for determining the cooking end time of food, and household cooking appliance
EP3582140B1 (en) System for the automatic recognition of laboratory work objects and method for operating a system for automatic recognition of laboratory work objects
DE102022127260A1 (en) Process key figure determination
DE102022201679A1 (en) Method and device for training a neural network
DE102020207564A1 (en) Method and apparatus for training an image classifier
EP2215559A2 (en) Method and device for the automated comparison of two sets of measurement values
DE102020212514A1 (en) Method for determining an output signal using a machine learning system
EP3581935A1 (en) System for the automatic recognition of laboratory work objects and method of operating a system for automatic recognition of laboratory work objects
EP3671560A1 (en) Method for classifying a building, machine learning system and method, computer program and computer device for training the machine learning system
DE102014106224A1 (en) Method for segmenting a color image and digital microscope

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20160727

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SCHREINER, THOMAS

17Q First examination report despatched

Effective date: 20180719

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RATIONAL AKTIENGESELLSCHAFT

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200630