EP4118382A1 - Setting desired browning on a domestic cooking appliance - Google Patents

Setting desired browning on a domestic cooking appliance

Info

Publication number
EP4118382A1
EP4118382A1 EP21706632.3A EP21706632A EP4118382A1 EP 4118382 A1 EP4118382 A1 EP 4118382A1 EP 21706632 A EP21706632 A EP 21706632A EP 4118382 A1 EP4118382 A1 EP 4118382A1
Authority
EP
European Patent Office
Prior art keywords
image
user
measurement area
image measurement
cur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21706632.3A
Other languages
German (de)
French (fr)
Inventor
Julien Adam
Kadir NIGAR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP4118382A1 publication Critical patent/EP4118382A1/en
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the invention relates to a method for setting a target degree of browning, aufwei send the following steps: taking a picture of a cooking space of a domestic cooking appliance; Defining an image measurement area in the displayed image; and setting a target degree of browning for the selected image measurement area.
  • the invention also relates to a device for performing the method, comprising a household cooking appliance with a cooking chamber, at least one camera directed into the cooking chamber, at least one screen on which recordings recorded by the at least one camera can be displayed, at least one operator interface and a data processing device for carrying out the cooking process taking into account the target degree of browning.
  • the invention is particularly advantageously applicable to baking ovens.
  • EP 3477206 A1 discloses a cooking appliance comprising: a cooking space, an image generating device for capturing an image of a food item within the cooking space; a data processing device in communication with the imaging device and comprising a software module configured to receive the captured image from the imaging device and calculate a tan level, and an operator interface configured to display a visual scale that indicates the degree of browning.
  • the cooking appliance comprises a selection device which is configured to enable a user to set a target browning level for the food.
  • US 20130092145 A1 discloses an oven comprising a cooking chamber configured to receive a food product, an operator interface configured to display information in connection with processes used for cooking, a first and a second energy source and a cooking controller.
  • the first energy source provides primary heat and the second energy source provides secondary heat for the food product.
  • a cooking controller can be operatively coupled to the first and second energy sources.
  • the cooking control may include processing circuitry configured to enable an operator to make a browning control selection via the operator interface by making a selection.
  • selected control panel which is presented on the operator interface, provides operator instructions.
  • the selected control panel can be selected based on a cooking mode of the oven.
  • the selection of the browning control can provide control parameters in order to apply the heat directly to the food product via the second energy source.
  • the cooking mode is a mode from a first mode in which the operator can select several of the control parameters including air temperature, air speed and time, and a second mode in which the operator can select a degree of browning, the control parameters then automatically determined based on the selected degree of browning.
  • WO 2009/026895 A2 discloses a method for setting a work program to be run in an interior of a cooking appliance, comprising at least one cooking program and / or at least one cleaning program in which at least one of a plurality of parameters or at least one display and operating device is set can, wherein the parameter, the adjustable values of the parameter and the set value are displayed at least temporarily on the display and operating device in a visualized manner.
  • the visualization of a large number of outer cooking degrees for setting the other first cooking product parameter or the display of a large number of browning setting areas of a browning scale can take place, with the number and / or colors of the browning setting areas depending on the selected type of food, the selected batch , the installation site of the cooking device and / or the operating language of the cooking device is or are determined.
  • DE 102016215550 A1 discloses a method for determining the degree of browning of food in a cooking space of a domestic gas appliance, which household cooking device has a camera directed into the cooking space and a light source for illuminating the cooking space, and wherein a reference image is recorded by means of the camera, a first measurement image is recorded at a first brightness of the light source, a second measurement image is recorded at a second brightness of the light source, a difference image is generated from the first measurement image and the second measurement image, and the difference image is compared with the reference image.
  • it is automatically determined which area of the excluded image is to serve as the image measurement area or "reference area" in order to determine the degree of tanning.
  • the object is achieved by a method for setting a target degree of browning of food to be cooked, comprising the following steps:
  • the image measurement area that is used to determine an actual degree of browning can be selected or determined by a user, the advantage is achieved that the degree of browning is determined in a targeted manner on the basis of the item to be cooked and / or on the basis of that area which is decisive or is most important for the user in order to achieve a desired cooking result.
  • a specific item to be cooked or a certain range of items to be cooked can be reliably selected in a targeted manner by the user even when
  • the food to be cooked has an inhomogeneous color distribution and / or shows a locally noticeably different browning curve, e.g. marble cake, pizza with several layers, pan-fried vegetables, etc .;
  • the food to be cooked has different foods or food components, e.g. chicken with french fries;
  • the food to be cooked has a complex shape so that it is illuminated very differently, e.g. bread;
  • a food underlay is visible that is browned during a cooking process, e.g. baking paper and / or
  • a colored (especially brown to black) food container such as a baking pan etc.
  • the user can determine whether a cooking process should be controlled based on the degree of browning of the chicken or the french fries, and the user can place the image measurement area precisely on the chicken or the french fries.
  • the method is based on the idea of letting the user decide where in the recorded image the degree of browning is to be determined.
  • the image can be recorded using a camera, possibly using a camera from a group of several available cameras that record the food, e.g. from different angles.
  • the definition of the user-selectable image measurement area in the displayed image thus includes the possibility that a user can determine the image measurement area that is used to determine the degree of tanning himself.
  • the target degree of browning for the selected image measurement area can be determined by the user and / or automatically, for example based on target degrees of browning stored in a database or calculated target degrees of browning.
  • the user can set the target degree of browning using a percentage scale or a color scale, for example by means of a so-called slider.
  • the automatic definition can take place, for example, on the basis of cooking programs or on the basis of values previously stored by the user. In general, known methods can be used to determine the degree of target browning.
  • the method can then also be viewed as a method for operating a domestic cooking appliance or as a method for carrying out a cooking process or a cooking sequence.
  • the cooking process taking into account the target degree of browning, can be carried out according to any known and suitable method and uses the user-selected image measurement area as a reference area. In particular, to determine how the degree of browning is determined in the image measurement area, when the actual degree of browning has reached the target degree of browning and which action is then triggered (e.g. the cooking process is stopped, the cooking space is cooled down, a message is issued to the user, etc. .), known methods can then be used.
  • the step of defining the image measurement area comprises a user-guided positioning of the image measurement area via the screen.
  • the image measurement area can be determined or defined in a particularly simple manner.
  • the user can at least move the image measurement area on the screen (in the x and y directions).
  • the image measurement area can be predefined, for example, as a cursor or cursor window / cursor area that can be moved across the screen.
  • the user-guided definition of the image measurement area is a touch-guided and / or control panel-guided positioning of the image via the screen. measuring range includes. This makes it much easier to position the image measurement area.
  • touch-guided positioning the image measurement area is positioned by touching a touch-sensitive screen, e.g. by tapping the screen with a finger of the user on the point where the image measurement area is to be positioned, by dragging the cursor / cursor area to the desired position, etc.
  • the cursor / cursor area can be adopted as the image measurement area automatically or only after user confirmation.
  • the control panel-guided positioning the cursor can be moved on the screen by means of a control panel (for example by moving a joystick, actuating cursor keys, etc.).
  • the screen does not need to be a touch-sensitive screen.
  • the image measurement area can be varied by the user, e.g. with regard to its shape and / or size.
  • the image measurement area can be adapted even more precisely to a user requirement.
  • a square or round image measurement area can be reduced or enlarged by a user, e.g. by means of a two-finger gesture ("pinching").
  • the shape of the image measurement area can also be changed, e.g. an edge ratio of a rectangle, a shape from oval to circular, etc.
  • a pattern area comprehensive this image area is automatically determined for an image area selected by the user and
  • the pattern area is adopted as the image measurement area.
  • image measurement areas with complex shapes or contours can also be easily defined or fixed by a user.
  • the sample area can be adopted as the image measurement area automatically or only after user confirmation.
  • This refinement manages without complex A1 algorithms, but can use methods for pattern recognition known, for example, from the field of image processing, which are comparatively easy to implement. For example, a user can select an object (eg a chicken) recognizable to him in the recorded image by tapping the associated touch-sensitive screen, whereupon the contour of the chicken in the image is determined by means of the pattern recognition. The user can then confirm or reject this contour. With confirmation, the pattern area defined by the contour is adopted as the image measurement area.
  • An image area selected by the user can be an image position of an image point, which is calculated, for example, from a touch area of a finger, or it can be an area comprising several image points.
  • a pattern recognition can be carried out automatically on the basis of the image, which can result in one or more pattern areas displayed in the image.
  • the user can now select the desired pattern area by tapping or determining in another way, which can then be adopted as the image measurement area.
  • the user can select the type of definition of the image measurement area, i.e. can switch, for example, between a definition based on a cursor / cursor area and image pattern recognition. If, for example, the user is dissatisfied with the result of the image pattern recognition, he can switch to a definition based on a cursor / cursor area, or vice versa.
  • the automatic pattern recognition comprises a pattern comparison with a pattern database in which image patterns belonging to the specified food to be cooked are stored. This further facilitates an automatic determination of a meaningful pattern area which corresponds to a specific item to be cooked. For example, several reference patterns belonging to a chicken can be stored in the pattern database and the pattern area can be defined in the currently recorded image on the basis of or with the aid of these reference patterns.
  • a user-selectable image measurement area is initially selected automatically and after a user confirmation or a lack of user confirmation is accepted within a specified image duration (which is also interpreted as user confirmation). This can increase user-friendliness. If a user recognizes that the automatically selected image measurement area is suitable, the user can simply confirm this, do not perform any action at all for a specified period of time or simply move on to the next action step (e.g. entering a degree of browning).
  • the automatic selection of the image measurement area can dispense with the use of complex Al algorithms and For example, display the center of the image or an area surrounding the center of the image. If the user does not like the automatic selection, he can change the image measurement area as described above, for example with regard to its position, shape and / or size.
  • the image measurement area is automatically tracked during the cooking process. In this way, the advantage is achieved that, even if a position of the item to be cooked and / or its shape changes, the image measurement area at least largely corresponds to the user-selected image measurement area.
  • Changing the position of the food can be caused, for example, by the user stirring or turning the food.
  • the change in shape can include, for example, leavening of the dough.
  • a user loads the cooking space, e.g. of an oven, with food;
  • the oven sends the image to a preferably touch-sensitive oven screen and / or to a preferably touch-sensitive screen of a user terminal;
  • the user defines the image measurement area by tapping or similar on an image area; whereupon a predetermined (e.g. square or circular) image measurement area is superimposed on the image from the position of the finger.
  • the image measurement area can, for example, be centered around a pixel position defined when tapping or similar.
  • an image pattern area can automatically be generated by tapping, which includes the position of the finger on the image.
  • an automatically generated image measurement area can be offered to a user, e.g. a square or circular image measurement area, e.g. in the middle of the image, which only needs to be confirmed by the user;
  • a tan scale can be calculated and displayed automatically in a basically known manner based on the content of the image measurement area, and the user can set the desired degree of tan using the tan scale;
  • the cooking process is then carried out until the desired degree of browning is achieved, which can be done in a basically known manner. If the user moves the food during the cooking process or the food itself moves (eg dough rises), in a further development the movement can be followed by means of an algorithm and the image measurement area can be tracked accordingly. As a result, the user does not need to choose a new image measurement area.
  • the object is also achieved by a device which is set up to carry out the method as described above, having:
  • At least one operator interface which is set up to define the user-selectable image measurement area in the displayed image and to define the target degree of browning
  • a data processing device which is set up to carry out the cooking process taking into account the target degree of browning.
  • the device can be designed analogously to the method and has the same advantages.
  • the domestic cooking appliance can, for example, be an oven, in particular an oven, microwave oven, steam treatment device or any combination thereof, e.g. an oven with a microwave and / or steam treatment functionality.
  • the camera can be integrated into the domestic cooking appliance, in particular directed into the cooking chamber through a cooking chamber wall.
  • the camera can be arranged outside the cooking space, e.g. directed into the cooking space from the outside through a viewing window of a door that closes the cooking space.
  • the camera can be a detachable camera especially in this case.
  • the screen can be a touch-sensitive screen, which enables particularly simple operation.
  • the operator interface is then in particular integrated into the screen or the screen also serves as the operator interface. ok
  • the screen can also be a non-touch-sensitive screen, the image measurement area of which can be set via a separate operator interface.
  • the operator interface can, for example, have control panels (e.g. sensor keys), e.g. a cursor key cross, a joystick, etc.
  • control panels e.g. sensor keys
  • the non-touch-sensitive screen and the operator interface can occupy different areas on a control panel of the household appliance.
  • the operator interface and the screen can also be referred to together as a user interface.
  • the image can be displayed on one screen or on multiple screens at the same time.
  • the camera and the screen are color-assisted, i.e. a color camera and a color screen, which makes it particularly easy to determine the image measurement area and to determine the degree of browning.
  • the device is the domestic cooking appliance.
  • the household cooking appliance can carry out the method autonomously and, for example, does not need a connection to a network, but can have one.
  • the household cooking appliance has a screen and a user interface (possibly integrated in a touch-sensitive screen) for carrying out the method, which can represent parts of an operating panel.
  • the data processing device can correspond to a control device of the cooking device or a central control device of the cooking device can also be set up to carry out the method.
  • the device is a system which comprises the domestic cooking appliance as a system component.
  • the screen and the operator interface are components of a user terminal (e.g. a smartphone, tablet PC, desktop PC, notebook, etc.) and the household cooking device has a communication interface for transmitting the data relating to the method the user terminal.
  • a user terminal e.g. a smartphone, tablet PC, desktop PC, notebook, etc.
  • the household cooking device has a communication interface for transmitting the data relating to the method the user terminal.
  • a corresponding application program (“app") can be installed on the user terminal to carry out the method.
  • the household cooking appliance can also have a screen and the operator interface or can dispense with them.
  • sample database is stored in a network-supported data memory, e.g. in the so-called “cloud”. This saves storage space in the household cooking appliance.
  • the device comprises a network-supported image processing device at least for defining the user-selectable image measurement area in the displayed image by means of automatic pattern recognition.
  • the automatic pattern recognition can also be carried out by means of the user terminal and / or the household cooking device.
  • the domestic cooking appliance has a communication interface for the transmission of data relating to the method, it is in principle also possible to optionally carry out the method autonomously by the domestic cooking appliance or to carry out at least parts of it on a computer-aided entity. This can depend, for example, on whether a user wants to define the user-selectable image measurement area on a user terminal or not. The case is also included that the definition of the user-selectable image measurement area is carried out using the screen of the household cooking appliance (e.g.
  • a computing power for automatic pattern recognition as such by means of a network-supported image processing device (for example a network server or a cloud computer) is carried out, possibly with the aid of a network-supported sample database.
  • a network-supported image processing device for example a network server or a cloud computer
  • FIG. 1 shows a possible method sequence for operating a household cooking appliance including setting a target degree of browning
  • FIG. 2 shows the food being cooked in a cooking space of the domestic cooking appliance
  • FIG. 3 shows an image of the food to be cooked on a touch-sensitive screen, recorded by means of the domestic cooking appliance
  • FIG. 5 shows a second partial step for the user-side selection of the image measurement area
  • FIG. 6 shows an alternative second partial step for the user-side selection of the image measurement area
  • FIG. 7 shows, as a sectional illustration in side view, a sketch of a device for carrying out the method.
  • FIG. 1 shows a possible method sequence for operating a domestic cooking appliance in the form of, for example, an oven 1 (see FIG. 7) including setting a target degree of browning.
  • a user loads the cooking space 2 of the oven 1 with food G.
  • the food G can, for example, as shown in the sketch in FIG include. Using this to determine an image measurement range suitable for high user satisfaction is only possible in a fully automatic manner with an unreliable effect, and indeed not even if complex A1 algorithms are used.
  • an image P of the cooking space 2 is recorded by means of a camera 5 (see FIG. 7) of the baking oven 1, which here shows the baking sheet B, the food G and their surroundings.
  • a camera 5 see FIG. 7 of the baking oven 1, which here shows the baking sheet B, the food G and their surroundings.
  • Such an image P is shown in sketch form in FIG.
  • the image P is sent in a step S3 to a touch-sensitive screen S, for example a screen 7 of the oven 1 and / or a screen 9 of a user terminal such as a smartphone SP (see FIG. 7), and is displayed there, as in FIG shown as a sketch.
  • a touch-sensitive screen S for example a screen 7 of the oven 1 and / or a screen 9 of a user terminal such as a smartphone SP (see FIG. 7
  • a user N can tap, for example with his finger, a pen, etc., an area of the screen S on which the image P is displayed, here: an image area that is to belongs to the chicken H.
  • an image pattern area is automatically generated for the tapped image area, which is shown in dashed lines as the contour C of the chicken H in FIG.
  • user N can confirm the image sample area as the image measurement area, e.g. by tapping an affirmative checkbox (upper checkbox in FIG. 5), or, if not, discarding it, e.g. by tapping a negative Checkbox (lower checkbox in Fig. 5).
  • the image measurement area then corresponds to the confirmed image sample area C.
  • the user N can place the image measurement area on the potato slices K.
  • the image pattern area C can be calculated from the image information contained in the image P alone.
  • a comparison with image patterns stored in a pattern database DB (see FIG. 7), which are assigned to certain cooking goods G, can also be carried out.
  • the at least one image pattern determined in the image P can be approximated even better to the shape of known items to be cooked.
  • the image samples of chicken H can be stored in the sample database DB, e.g. varies according to perspective, batch (e.g. whole chicken, half chicken, leg, etc.), etc.
  • a tanning scale (not shown) is automatically generated for the selected or defined image measurement area and displayed on the screen S.
  • the user N can enter or select a desired target browning level (here: of the chicken H).
  • the user N can specify the desired degree of browning of the potato slices K.
  • step S7 the control device 6 of the oven 1 carries out a cooking process until the target degree of browning is reached, based on a comparison of a current actual degree of browning calculated using the image measurement area with the target degree of browning.
  • step S5 a predetermined image area
  • the cursor CUR can be moved by the user N, for example by tapping or a drag-n-drop movement using a finger, pen, etc., to a point in the image B at which the user N would like to have the degree of browning evaluated. As shown in FIG.
  • the cursor CUR can reproduce the shape and size of the image measurement area, with the user N then only needing to define the position of the cursor CUR.
  • the image measurement area here corresponds to the image area determined by the cursor CUR.
  • the user N can adapt the size and / or shape of the cursor CUR and thus also the image measurement area.
  • the cursor CUR can be confirmed at its starting position (e.g. the image in the middle) on the image P by a user without the cursor CUR having to be moved.
  • the confirmation can also take place in that the user does not change the image measurement area C, CUR for a predetermined period of time.
  • the movement can be followed by means of an image evaluation algorithm and the image measurement area C, CUR can be tracked accordingly or adapted to the movement.
  • the user N does not need to choose a new image measurement area C, CUR.
  • FIG. 7 shows, as a sectional illustration in side view, a sketch of a device 1, SP, DB for carrying out the method.
  • the device comprises an oven 1, a user terminal in the form of a smartphone SP and optionally a sample database DB.
  • the oven 1 has a cooking chamber 2, the front loading opening 3 of which can be closed by means of a door 4.
  • the cooking space 2 can be loaded with the food G present in the baking tray B through the loading opening 3.
  • a camera 5 which is directed into the cooking space 2 from above or at an angle.
  • the camera 5 can optionally be located elsewhere. Several cameras 5 can also be present.
  • the camera 5 is connected to a touch-sensitive screen 7, possibly via a control device 6. from Images P recorded by the camera 5 can be sent to this screen 7, whereupon the user N can define the image measurement area C, CUR as described above and can also set a target degree of browning.
  • the control device 6 can control a cooking process (eg activate heating elements, not shown), for example until the target degree of browning is reached.
  • a cooking process eg activate heating elements, not shown
  • the method can be carried out autonomously on the baking oven 1.
  • the oven 1 can be wirelessly connected to the smartphone SP via a communication module 8, e.g. a Bluetooth and / or WLAN module.
  • the smartphone also has a touch-sensitive screen 9 via which the above method steps S3 to S6 can run, namely instead of or in addition to the screen 7 of the oven 1.
  • the oven 1 and / or the smartphone 2 can be connected to a sample database DB via a network NW, e.g. the Internet.
  • NW e.g. the Internet
  • two or more image measurement areas can also be defined by a user and the same or different tanning target values can be assigned to these image measurement areas.
  • the following cooking process can then be ended, for example, when the actual degree of browning of one or more of the image measurement areas reaches the corresponding target degree of browning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Electric Ovens (AREA)

Abstract

A method (S1-S6) is used to set desired browning of food (G) to be cooked, and includes the following steps: recording (S2) an image (P) from a cooking chamber of a domestic cooking appliance (1) containing the food (G) to be cooked; displaying (S3) the image on a screen (S); defining (S4, S5) a user-selectable image measurement region (C; CUR) in the displayed image (P); and defining (S6) desired browning for the selected image measurement region (C; CUR). An apparatus (1, SP, DB) for carrying out the method comprises: a domestic cooking appliance (1) with a cooking chamber (2), at least one camera (5) directed into the cooking chamber (2), at least one screen (S, 7, 9) on which it is possible to display images (P) recorded by the at least one camera (5), at least one user interface (7, 9) for defining the user-selectable image measurement region in the displayed image and for defining the desired browning, and a data processing device (6) for carrying out the cooking process taking account of the desired browning. The invention is particularly advantageously applicable to ovens.

Description

Einstellen eines Ziel-Bräunungsgrads an einem Haushalts- Setting a target degree of browning on a household
Gargerät Cooking appliance
Die Erfindung betrifft ein Verfahren zum Einstellen eines Ziel-Bräunungsgrads, aufwei send die folgenden Schritte: Aufnehmen eines Bilds aus einem Garraum eines Haushalts- Gargeräts; Definieren eines Bildmessbereichs in dem dargestellten Bild; und Festlegen eines Ziel-Bräunungsgrads für den ausgewählten Bildmessbereich. Die Erfindung betrifft auch eine Vorrichtung zum Durchführen des Verfahrens, aufweisend ein Haushalts- Gargerät mit einem Garraum, mindestens eine in den Garraum gerichtete Kamera, min destens einen Bildschirm, auf welchem von der mindestens einen Kamera aufgenomme ne Aufnahmen abbildbar sind, mindestens eine Bedienerschnittstelle und eine Datenver arbeitungseinrichtung zum Durchführen des Garablaufs unter Berücksichtigung des Ziel- Bräunungsgrads. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Backöfen. The invention relates to a method for setting a target degree of browning, aufwei send the following steps: taking a picture of a cooking space of a domestic cooking appliance; Defining an image measurement area in the displayed image; and setting a target degree of browning for the selected image measurement area. The invention also relates to a device for performing the method, comprising a household cooking appliance with a cooking chamber, at least one camera directed into the cooking chamber, at least one screen on which recordings recorded by the at least one camera can be displayed, at least one operator interface and a data processing device for carrying out the cooking process taking into account the target degree of browning. The invention is particularly advantageously applicable to baking ovens.
EP 3477206 A1 offenbart ein Gargerät, umfassend: einen Garraum, eine Bilderzeu gungsvorrichtung zum Erfassen eines Bildes eines Nahrungsmittels innerhalb des Gar raums; eine Datenverarbeitungsvorrichtung, die mit der Bilderzeugungsvorrichtung in Kommunikation steht und ein Softwaremodul umfasst, das dazu konfiguriert ist, das er fasste Bild von der Bilderzeugungsvorrichtung zu empfangen und einen Bräunungsgrad zu berechnen, und eine Bedienerschnittstelle, die dazu konfiguriert ist, eine visuelle Skala anzuzeigen, die den Bräunungsgrad anzeigt. In einer Ausführungsform umfasst das Gar gerät eine Auswahleinrichtung, die dazu konfiguriert ist, es einem Benutzer zu ermögli chen, einen Zielbräunungsgrad für das Lebensmittel einzustellen. EP 3477206 A1 discloses a cooking appliance comprising: a cooking space, an image generating device for capturing an image of a food item within the cooking space; a data processing device in communication with the imaging device and comprising a software module configured to receive the captured image from the imaging device and calculate a tan level, and an operator interface configured to display a visual scale that indicates the degree of browning. In one embodiment, the cooking appliance comprises a selection device which is configured to enable a user to set a target browning level for the food.
US 20130092145 A1 offenbart einen Ofen umfassend einen Garraum, der zum Aufneh men eines Lebensmittelprodukts konfiguriert ist, eine Bedienerschnittstelle, die zum An zeigen von Informationen in Verbindung mit zum Kochen verwendeten Prozessen konfi guriert ist, eine erste und eine zweite Energiequelle sowie eine Kochsteuerung. Die erste Energiequelle liefert Primärwärme und die zweite Energiequelle liefert Sekundärwärme für das Lebensmittelprodukt. Eine Kochsteuerung kann betriebsmäßig mit der ersten und der zweiten Energiequelle gekoppelt sein. Die Kochsteuerung kann eine Verarbeitungsschal tung enthalten, die dazu konfiguriert ist, es einem Bediener zu ermöglichen, eine Bräu nungssteuerungsauswahl über die Bedienerschnittstelle zu treffen, indem er einer ausge- wählten Steuerkonsole, die auf der Bedienerschnittstelle dargestellt wird, Bedieneranwei sungen bereitstellt. Die ausgewählte Steuerkonsole kann basierend auf einem Kochmo dus des Ofens ausgewählt werden. Die Auswahl der Bräunungssteuerung kann Steue rungsparameter bereitstellen, um die Wärme über die zweite Energiequelle direkt auf das Lebensmittelprodukt aufzubringen. In einer Ausführungsform ist der Kochmodus ein Mo dus aus einem ersten Modus, in dem der Bediener mehrere der Steuerparameter ein schließlich Lufttemperatur, Luftgeschwindigkeit und Zeit auswählen kann, und aus einem zweiten Modus, in dem der Bediener einen Bräunungsgrad auswählen kann, wobei die Steuerparameter dann automatisch basierend auf dem ausgewählten Bräunungsgrad bestimmt werden. US 20130092145 A1 discloses an oven comprising a cooking chamber configured to receive a food product, an operator interface configured to display information in connection with processes used for cooking, a first and a second energy source and a cooking controller. The first energy source provides primary heat and the second energy source provides secondary heat for the food product. A cooking controller can be operatively coupled to the first and second energy sources. The cooking control may include processing circuitry configured to enable an operator to make a browning control selection via the operator interface by making a selection. selected control panel, which is presented on the operator interface, provides operator instructions. The selected control panel can be selected based on a cooking mode of the oven. The selection of the browning control can provide control parameters in order to apply the heat directly to the food product via the second energy source. In one embodiment, the cooking mode is a mode from a first mode in which the operator can select several of the control parameters including air temperature, air speed and time, and a second mode in which the operator can select a degree of browning, the control parameters then automatically determined based on the selected degree of browning.
WO 2009/026895 A2 offenbart ein Verfahren zur Einstellung eines in einem Innenraum eines Gargeräts abzulaufenden Arbeitsprogramms, umfassend zumindest ein Garpro gramm und/oder zumindest ein Reinigungsprogramm, bei dem zumindest ein Parameter einer Vielzahl von Parametern oder zumindest eine Anzeige- und Bedieneinrichtung ein gestellt werden kann, wobei der Parameter, die einstellbaren Werte des Parameters und der eingestellte Wert zumindest zeitweise auf der Anzeige- und Bedienungseinrichtung visualisiert angezeigt werden. In einer Ausgestaltung kann die Visualisierung einer Viel zahl von äußeren Gargraden zur Einstellung des anderen ersten Gargutparameters oder die Anzeige einer Vielzahl von Bräunungseinstellungsbereichen einer Bräunungsskala stattfinden, wobei vorzugsweise die Anzahl und/oder Farben der Bräunungseinstellungs bereiche in Abhängigkeit von der ausgewählten Gargutart, der ausgewählten Partie, dem Aufstellungsort des Gargeräts und/oder der Bediensprache des Gargeräts bestimmt wird bzw. werden. WO 2009/026895 A2 discloses a method for setting a work program to be run in an interior of a cooking appliance, comprising at least one cooking program and / or at least one cleaning program in which at least one of a plurality of parameters or at least one display and operating device is set can, wherein the parameter, the adjustable values of the parameter and the set value are displayed at least temporarily on the display and operating device in a visualized manner. In one embodiment, the visualization of a large number of outer cooking degrees for setting the other first cooking product parameter or the display of a large number of browning setting areas of a browning scale can take place, with the number and / or colors of the browning setting areas depending on the selected type of food, the selected batch , the installation site of the cooking device and / or the operating language of the cooking device is or are determined.
DE 102016215550 A1 offenbart ein Verfahren zum Feststellen eines Bräunungsgrads von Gargut in einem Garraum eines Haushalts-Gasgeräts, welches Haushalts-Gargerät eine in den Garraum gerichtete Kamera und eine Lichtquelle zum Beleuchten des Gar raums aufweist, und wobei mittels der Kamera ein Referenzbild aufgenommen wird, ein erstes Messbild bei einer ersten Helligkeit der Lichtquelle aufgenommen wird, ein zweites Messbild bei einer zweiten Helligkeit der Lichtquelle aufgenommen wird, aus dem ersten Messbild und dem zweiten Messbild ein Differenzbild erzeugt wird und das Differenzbild mit dem Referenzbild verglichen wird. Bei den bekannten Bräunungsmessungen wird automatisch bestimmt, welcher Bereich des ausgenommenen Bilds als Bildmessbereich oder "Referenzbereich" dienen soll, um den Bräunungsgrad zu bestimmen. Dies ist als "Klassifikations-" oder "Segmentations-" Problem bekannt und stellt eine der größten Anforderung an eine automatische Bräu nungserkennung dar. Bisher werden dazu zumeist komplexe AI (Künstliche Intelligenz)- Algorithmen verwendet, die auf Maschinenlernen ("Machine Learning") beruhen. Solche Algorithmen sind schwierig zu entwickeln und benötigen eine hohe Rechenleistung. Dies wiederum führt bei Implementierung in dem Haushalts-Gargerät zu hohen Kosten für die zugehörige Datenverarbeitungseinrichtung. Aber selbst mit einem hohen Aufwand zur Durchführung solcher Al-Algorithmen ist die Bestimmung eines geeigneten Bildmessbe reichs häufig unbefriedigend, speziell bei komplexem (speziell inhomogenem) Gargut. Somit sind auch unter Nutzung von Al-Algorithmen zur Bestimmung des Bildmessbe reichs die Garergebnisse häufig nicht zur Zufriedenheit eines Nutzers gebräunt. DE 102016215550 A1 discloses a method for determining the degree of browning of food in a cooking space of a domestic gas appliance, which household cooking device has a camera directed into the cooking space and a light source for illuminating the cooking space, and wherein a reference image is recorded by means of the camera, a first measurement image is recorded at a first brightness of the light source, a second measurement image is recorded at a second brightness of the light source, a difference image is generated from the first measurement image and the second measurement image, and the difference image is compared with the reference image. In the known tanning measurements, it is automatically determined which area of the excluded image is to serve as the image measurement area or "reference area" in order to determine the degree of tanning. This is known as the "classification" or "segmentation" problem and represents one of the greatest demands on automatic tanning detection. So far, complex AI (artificial intelligence) algorithms have been used for this purpose, which are based on machine learning. are based. Such algorithms are difficult to develop and require a lot of computing power. When implemented in the domestic cooking appliance, this in turn leads to high costs for the associated data processing device. But even with a great deal of effort to carry out such Al algorithms, the determination of a suitable Bildmessbe rich is often unsatisfactory, especially in the case of complex (especially inhomogeneous) food. Thus, even when using Al algorithms to determine the image measurement range, the cooking results are often not browned to the satisfaction of a user.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit zur Erreichung eines gewünschten Bräunungsgrads von Gargut während eines Garvorgangs bereitzustellen. It is the object of the present invention to at least partially overcome the disadvantages of the prior art and, in particular, to provide an improved possibility of achieving a desired degree of browning of food during a cooking process.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteil hafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen. This object is achieved according to the features of the independent claims. Advantageous embodiments are the subject of the dependent claims, the description and the drawings.
Die Aufgabe wird gelöst durch ein Verfahren zum erfahren zum Einstellen eines Ziel- Bräunungsgrads von zu garendem Gargut, aufweisend die folgenden Schritte: The object is achieved by a method for setting a target degree of browning of food to be cooked, comprising the following steps:
- Aufnehmen eines Bilds aus einem mit dem Gargut beschickten Garraum eines Haushalts-Gargeräts; - Recording an image from a cooking space of a domestic cooking appliance loaded with the food to be cooked;
- Darstellen des Bilds auf einem Bildschirm; und - displaying the image on a screen; and
- Definieren eines nutzerauswählbaren Bildmessbereichs in dem dargestellten Bild; und - Defining a user-selectable image measurement area in the displayed image; and
- Festlegen eines Ziel-Bräunungsgrads für den ausgewählten Bildmessbereichs. - Setting a target degree of browning for the selected image measurement area.
Dadurch, dass der Bildmessbereich, der zur Bestimmung eines Ist-Bräunungsgrads ver wendet wird, durch einen Nutzer auswählbar oder festlegbar ist, wird der Vorteil erreicht, dass der Bräunungsgrad gezielt anhand desjenigen Garguts und/oder anhand desjenigen Bereichs bestimmt wird, welches bzw. welcher für den Nutzer zur Erreichung eines ge wünschten Garergebnisses entscheiden oder am wichtigsten ist. Insbesondere kann so gezielt durch den Nutzer ein bestimmtes Gargut bzw. ein bestimmter Gargutbereich auch dann zuverlässig ausgewählt werden, wenn Because the image measurement area that is used to determine an actual degree of browning can be selected or determined by a user, the advantage is achieved that the degree of browning is determined in a targeted manner on the basis of the item to be cooked and / or on the basis of that area which is decisive or is most important for the user in order to achieve a desired cooking result. In particular, a specific item to be cooked or a certain range of items to be cooked can be reliably selected in a targeted manner by the user even when
- das Gargut eine inhomogene Farbverteilung aufweist und/oder einen lokal merk lich unterschiedlichen Bräunungsverlauf zeigt, z.B. Marmorkuchen, Pizza mit meh reren Auflagen, Gemüsepfannen usw.; - the food to be cooked has an inhomogeneous color distribution and / or shows a locally noticeably different browning curve, e.g. marble cake, pizza with several layers, pan-fried vegetables, etc .;
- das Gargut unterschiedliche Lebensmittel oder Lebensmittelkomponenten auf weist, z.B. Hühnchen mit Pommes Frites; - the food to be cooked has different foods or food components, e.g. chicken with french fries;
- das Gargut komplex geformt ist, so dass es stark unterschiedlich ausgeleuchtet wird, z.B. Brot; - the food to be cooked has a complex shape so that it is illuminated very differently, e.g. bread;
- eine Gargutunterlage sichtbar ist, die während eines Garvorgangs gebräunt wird, z.B. Backpapier und/oder - a food underlay is visible that is browned during a cooking process, e.g. baking paper and / or
- ein farbiger (insbesondere brauner bis schwarzer) Gargutbehälter wie eine Back form usw. verwendet wird - a colored (especially brown to black) food container such as a baking pan etc. is used
- oder anderes komplexes Gargut vorliegt. - or other complex food is present.
Dadurch wiederum kann auf eine entwicklungstechnisch und rechentechnisch aufwändige und dennoch häufig fehleranfällige automatische Bestimmung des Bildmessbereichs ver zichtet werden. Beispielsweise kann für den Fall eines Hühnchens mit Pommes Frites der Nutzer bestimmen, ob ein Garvorgangs anhand des Bräunungsgrads des Hühnchens oder der Pommes Frites gesteuert werden soll, und der Nutzer kann den Bildmessbereich genau auf das Hühnchen oder die Pommes Frites legen. Dem Verfahren liegt also die Idee zugrunde, den Nutzer entscheiden zu lassen, wo in dem aufgenommenen Bild der Bräunungsgrad bestimmt werden soll. This in turn means that there is no need for an automatic determination of the image measurement area, which is complex in terms of development and computation, but which is often error-prone. For example, in the case of a chicken with french fries, the user can determine whether a cooking process should be controlled based on the degree of browning of the chicken or the french fries, and the user can place the image measurement area precisely on the chicken or the french fries. The method is based on the idea of letting the user decide where in the recorded image the degree of browning is to be determined.
Das Bild kann anhand einer Kamera aufgenommen werden, ggf. anhand einer Kamera aus einer Gruppe mehrerer zur Verfügung stehender Kameras, die das Gargut z.B. aus verschiedenen Winkeln aufnehmen. The image can be recorded using a camera, possibly using a camera from a group of several available cameras that record the food, e.g. from different angles.
Das Definieren des nutzerauswählbaren Bildmessbereichs in dem dargestellten Bild um fasst also die Möglichkeit, dass ein Nutzer den Bildmessbereich, der zur Bestimmung des Bräunungsgrads verwendet wird, selbst festlegen kann. Der Ziel-Bräunungsgrad für den ausgewählten Bildmessbereich kann durch den Nutzer und/oder automatisch, z.B. beruhend auf in einer Datenbank gespeicherten Ziel- Bräunungsgraden oder berechneten Ziel-Bräunungsgraden, festgelegt werden. Bei spielsweise kann der Nutzer den Zielbräunungsgrad über eine prozentuale Skala oder eine Farbskala einstellen, z.B. mittels eines sog. Sliders. Die automatische Festlegung kann beispielsweise anhand von Garprogrammen oder anhand von zuvor nutzerseitig gespeicherten Werten erfolgen. Allgemein können zur Bestimmung des Zielbräunungs grads dafür bekannte Methoden angewandt werden. The definition of the user-selectable image measurement area in the displayed image thus includes the possibility that a user can determine the image measurement area that is used to determine the degree of tanning himself. The target degree of browning for the selected image measurement area can be determined by the user and / or automatically, for example based on target degrees of browning stored in a database or calculated target degrees of browning. For example, the user can set the target degree of browning using a percentage scale or a color scale, for example by means of a so-called slider. The automatic definition can take place, for example, on the basis of cooking programs or on the basis of values previously stored by the user. In general, known methods can be used to determine the degree of target browning.
Dem Verfahren kann sich der Schritt The procedure can be followed by the step
- Durchführen eines Garvorgangs unter Berücksichtigung des Ziel-Bräunungsgrads anschließen. Das Verfahren kann dann auch als ein Verfahren zum Betreiben eines Haushalts-Gargeräts oder als Verfahren zum Durchführen eines Garvorgangs oder Garablaufs angesehen werden. Der Garvorgang unter Berücksichtigung des Ziel- Bräunungsgrads kann gemäß jedem bekannten und geeigneten Verfahren durchgeführt werden und verwendet den nutzerausgewählten Bildmessbereich als Referenzbereich. Insbesondere zur Bestimmung, wie der Bräunungsgrad in dem Bildmessbereich bestimmt wird, wann der Ist-Bräunungsgrad den Ziel-Bräunungsgrad erreicht hat und welche Aktion dann ausgelöst wird (z.B. der Garvorgang gestoppt wird, der Garraum abgekühlt wird, eine Nachricht an den Nutzer ausgegeben wird usw.), kann dann auf bekannte Methoden zurückgegriffen werden. - Then carry out a cooking process taking into account the target degree of browning. The method can then also be viewed as a method for operating a domestic cooking appliance or as a method for carrying out a cooking process or a cooking sequence. The cooking process, taking into account the target degree of browning, can be carried out according to any known and suitable method and uses the user-selected image measurement area as a reference area. In particular, to determine how the degree of browning is determined in the image measurement area, when the actual degree of browning has reached the target degree of browning and which action is then triggered (e.g. the cooking process is stopped, the cooking space is cooled down, a message is issued to the user, etc. .), known methods can then be used.
Es ist eine Ausgestaltung, dass der Schritt des Definierens des Bildmessbereichs ein über den Bildschirm nutzergeführtes Positionieren des Bildmessbereichs umfasst. Dadurch lässt sich der Bildmessbereich besonders einfach festlegen oder definieren. In dieser Ausgestaltung kann der Nutzer den Bildmessbereich auf dem Bildschirm zumindest ver schieben (in x- und y-Richtung). Der Bildmessbereich kann beispielsweise als ein über den Bildschirm verschieblicher Cursor oder Cursorfenster / Cursorbereich vordefiniert sein. It is an embodiment that the step of defining the image measurement area comprises a user-guided positioning of the image measurement area via the screen. As a result, the image measurement area can be determined or defined in a particularly simple manner. In this refinement, the user can at least move the image measurement area on the screen (in the x and y directions). The image measurement area can be predefined, for example, as a cursor or cursor window / cursor area that can be moved across the screen.
Es ist eine Ausgestaltung, dass das nutzergeführte Definieren des Bildmessbereichs ein über den Bildschirm touchgeführtes und/oder bedienfeldgeführtes Positionieren des Bild- messbereichs umfasst. Dies erleichtert ein Positionieren des Bildmessbereichs ganz er heblich. Bei dem touchgeführten Positionieren wird der Bildmessbereich durch Berühren eines berührungsempfindlichen Bildschirms positioniert, z.B. durch Tippen auf den Bild schirm mit einem Finger des Nutzers auf die Stelle, an der der Bildmessbereich positio niert werden soll, durch Ziehen des Cursors / Cursorbereichs an die gewünschte Position, usw. Der Cursor / Cursorbereich kann als der Bildmessbereich automatisch oder erst nach Nutzerbestätigung übernommen werden. Bei dem bedienfeldgeführten Positionieren kann der Cursor mittels eines Bedienfelds (z.B. durch Bewegen eines Joysticks, Betätigen von Cursortasten usw.) auf dem Bildschirm bewegt werden. Der Bildschirm braucht dabei kein berührungsempfindlicher Bildschirm zu sein. It is an embodiment that the user-guided definition of the image measurement area is a touch-guided and / or control panel-guided positioning of the image via the screen. measuring range includes. This makes it much easier to position the image measurement area. With touch-guided positioning, the image measurement area is positioned by touching a touch-sensitive screen, e.g. by tapping the screen with a finger of the user on the point where the image measurement area is to be positioned, by dragging the cursor / cursor area to the desired position, etc. The cursor / cursor area can be adopted as the image measurement area automatically or only after user confirmation. In the control panel-guided positioning, the cursor can be moved on the screen by means of a control panel (for example by moving a joystick, actuating cursor keys, etc.). The screen does not need to be a touch-sensitive screen.
Es ist eine Ausgestaltung, dass der Bildmessbereich nutzerseitig variierbar ist, z.B. in Be zug auf seine Form und/oder Größe. Dadurch kann der Bildmessbereich noch genauer an einen Nutzerwunsch angepasst werden. Beispielsweise kann ein quadratischer oder run der Bildmessbereich durch einen Nutzer verkleinert oder vergrößert werden, z.B. durch eine Zwei-Finger-Geste ("Pinching"). Auch kann die Form des Bildmessbereich geändert werden, z.B. ein Kantenverhältnis eines Rechtecks, eine Form von oval zu kreisrund, usw. It is an embodiment that the image measurement area can be varied by the user, e.g. with regard to its shape and / or size. As a result, the image measurement area can be adapted even more precisely to a user requirement. For example, a square or round image measurement area can be reduced or enlarged by a user, e.g. by means of a two-finger gesture ("pinching"). The shape of the image measurement area can also be changed, e.g. an edge ratio of a rectangle, a shape from oval to circular, etc.
Es ist eine Ausgestaltung, dass zum Definieren des Bildmessbereichs It is an embodiment that for defining the image measurement area
- zu einem nutzerseitig ausgewählten Bildbereich automatisch ein diesen Bildbe reich umfassender Musterbereich bestimmt wird und - A pattern area comprehensive this image area is automatically determined for an image area selected by the user and
- der Musterbereich als der Bildmessbereich übernommen wird. - the pattern area is adopted as the image measurement area.
Dadurch wird der Vorteil erreicht, dass auch Bildmessbereiche mit komplizierten Formen oder Konturen einfach durch einen Nutzer definierbar oder festlegbar sind. Der Musterbe reich kann als der Bildmessbereich automatisch oder erst nach Nutzerbestätigung über nommen werden. Diese Ausgestaltung kommt ohne aufwändige Al-Algorithmen aus, son dern kann z.B. aus dem Bereich der Bildverarbeitung bekannte, vergleichsweise einfach umsetzbare Verfahren zur Mustererkennung nutzen. Beispielweise kann ein Nutzer in dem aufgenommenen Bild ein ihm erkennbares Objekt (z.B. ein Hühnchen) durch Antip pen des zugehörigen berührungsempfindlichen Bildschirms auswählen, woraufhin mittels der Mustererkennung die Kontur des Hühnchens in dem Bild bestimmt wird. Der Nutzer kann dann diese Kontur bestätigen oder ablehnen. Mit Bestätigung wird der durch die Kontur definierte Musterbereich als der Bildmessbereich übernommen. Ein nutzerseitig ausgewählter Bildbereich kann eine Bildposition eines Bildpunkts sein, die z.B. aus einem Berührbereich eines Fingers berechnet wird, oder kann ein mehrere Bild punkte umfassender Bereich sein. This has the advantage that image measurement areas with complex shapes or contours can also be easily defined or fixed by a user. The sample area can be adopted as the image measurement area automatically or only after user confirmation. This refinement manages without complex A1 algorithms, but can use methods for pattern recognition known, for example, from the field of image processing, which are comparatively easy to implement. For example, a user can select an object (eg a chicken) recognizable to him in the recorded image by tapping the associated touch-sensitive screen, whereupon the contour of the chicken in the image is determined by means of the pattern recognition. The user can then confirm or reject this contour. With confirmation, the pattern area defined by the contour is adopted as the image measurement area. An image area selected by the user can be an image position of an image point, which is calculated, for example, from a touch area of a finger, or it can be an area comprising several image points.
Es ist auch möglich, dass anhand des Bild zunächst automatisch eine Mustererkennung durchgeführt wird, die ein oder mehrere in dem Bild angezeigte Musterbereiche ergeben kann. Der Nutzer kann nun durch Antippen oder Bestimmen auf andere Art den ge wünschten Musterbereich auswählen, der dann als der Bildmessbereich übernommen werden kann. It is also possible for a pattern recognition to be carried out automatically on the basis of the image, which can result in one or more pattern areas displayed in the image. The user can now select the desired pattern area by tapping or determining in another way, which can then be adopted as the image measurement area.
Es ist eine Weiterbildung, dass der Nutzer die Art der Definition des Bildmessbereich auswählen kann, also z.B. zwischen einer Definition anhand eines Cursors / Cursorbe reichs und einer Bildmustererkennung umschalten kann. Ist der Nutzer beispielsweise mit dem Ergebnis der Bildmustererkennung unzufrieden, kann er auf eine Definition anhand eines Cursors / Cursorbereichs umschalten, oder umgekehrt. It is a further development that the user can select the type of definition of the image measurement area, i.e. can switch, for example, between a definition based on a cursor / cursor area and image pattern recognition. If, for example, the user is dissatisfied with the result of the image pattern recognition, he can switch to a definition based on a cursor / cursor area, or vice versa.
Es ist eine Ausgestaltung, dass die automatische Mustererkennung einen Musterabgleich mit einer Musterdatenbank umfasst, in welcher zu vorgegebenem Gargut gehörige Bild muster abgelegt sind. Dies erleichtert eine automatische Bestimmung eines sinnvollen Musterbereichs, der mit einem bestimmten Gargut übereinstimmt, weiter. Beispielsweise können in der Musterdatenbank mehrere zu einem Hühnchen zugehörige Referenzmuster abgespeichert sein und der Musterbereich in dem aktuell aufgenommenen Bild anhand oder mit Hilfe dieser Referenzmuster festgelegt werden. It is an embodiment that the automatic pattern recognition comprises a pattern comparison with a pattern database in which image patterns belonging to the specified food to be cooked are stored. This further facilitates an automatic determination of a meaningful pattern area which corresponds to a specific item to be cooked. For example, several reference patterns belonging to a chicken can be stored in the pattern database and the pattern area can be defined in the currently recorded image on the basis of or with the aid of these reference patterns.
Es ist eine Ausgestaltung, dass ein nutzerauswählbarer Bildmessbereichs zunächst au tomatisch ausgewählt wird und nach einer Nutzerbestätigung oder einem Fehlen einer Nutzerbestätigung innerhalb einer vorgegebenen Bilddauer (was ebenfalls als Nutzerbe stätigung interpretiert wird) übernommen wird. Dadurch kann eine Nutzerfreundlichkeit gesteigert werden. Erkennt also ein Nutzer, dass der automatisch ausgewählte Bildmess bereich passend ist, kann der Nutzer diesen einfach bestätigen, für eine vorgegebene Zeitdauer gar keine Handlung ausführen oder einfach zum nächsten Handlungsschritt (z.B. einer Eingabe eines Bräunungsgrads) übergehen. Die automatische Auswahl des Bildmessbereichs kann auf die Nutzung von komplexen Al-Algorithmen verzichten und z.B. die Bildmitte oder einen die Bildmitte umgebenden Bereich darstellen. Gefällt dem Nutzer die automatische Auswahl nicht, kann er den Bildmessbereich wie oben beschrie ben ändern, z.B. in Bezug auf dessen Position, Form und/oder Größe. One embodiment is that a user-selectable image measurement area is initially selected automatically and after a user confirmation or a lack of user confirmation is accepted within a specified image duration (which is also interpreted as user confirmation). This can increase user-friendliness. If a user recognizes that the automatically selected image measurement area is suitable, the user can simply confirm this, do not perform any action at all for a specified period of time or simply move on to the next action step (e.g. entering a degree of browning). The automatic selection of the image measurement area can dispense with the use of complex Al algorithms and For example, display the center of the image or an area surrounding the center of the image. If the user does not like the automatic selection, he can change the image measurement area as described above, for example with regard to its position, shape and / or size.
Es ist eine Ausgestaltung, dass der Bildmessbereich während des Garvorgangs automa tisch nachgeführt wird. So wird der Vorteil erreicht, dass auch bei einer Änderung einer Position des Garguts und/oder dessen Form der Bildmessbereich dem nutzerausgewähl- ten Bildmessbereich zumindest weitgehend entspricht. Das Ändern der Position des Gar guts kann z.B. durch ein Umrühren oder Drehen des Garguts durch den Nutzer verursacht sein. Die Änderung der Form kann beispielsweise ein Aufgehen von Teig umfassen. It is an embodiment that the image measurement area is automatically tracked during the cooking process. In this way, the advantage is achieved that, even if a position of the item to be cooked and / or its shape changes, the image measurement area at least largely corresponds to the user-selected image measurement area. Changing the position of the food can be caused, for example, by the user stirring or turning the food. The change in shape can include, for example, leavening of the dough.
Insbesondere kann ein Verfahrensablauf folgendermaßen durchgeführt werden: In particular, a process sequence can be carried out as follows:
- ein Nutzer beschickt den Garraum z.B. eines Ofens mit Gargut; - a user loads the cooking space, e.g. of an oven, with food;
- mittels des Ofens wird automatisch ein Bild des Garraums aufgenommen, welches das Gargut zeigt; - By means of the oven, an image of the cooking space is automatically recorded, which shows the food to be cooked;
- Der Ofen sendet das Bild auf einen vorzugsweise berührungsempfindlichen Ofen bildschirm und/oder auf einen vorzugsweise berührungsempfindlichen Bildschirm eines Nutzerendgeräts; - The oven sends the image to a preferably touch-sensitive oven screen and / or to a preferably touch-sensitive screen of a user terminal;
- der Nutzer definiert den Bildmessbereich durch Antippen o.ä. eines Bildbereichs; worauf dann aus der Position des Fingers ein vorgegebener (z.B. quadratischer oder kreisrunder) Bildmessbereich dem Bild überlagert wird. Der Bildmessbereich kann z.B. um eine beim Antippen o.ä. definierte Bildpunktposition zentriert sein. Al ternativ kann durch das Antippen automatisch ein Bildmusterbereich erzeugt wer den, welcher die Position des Fingers auf dem Bild umfasst. Alternativ kann ein automatisch generierter Bildmessbereich einem Nutzer angeboten werden, z.B. ein quadratischer oder kreisrunder Bildmessbereich z.B. in der Mitte des Bilds, der durch den Nutzer lediglich bestätigt zu werden braucht; - The user defines the image measurement area by tapping or similar on an image area; whereupon a predetermined (e.g. square or circular) image measurement area is superimposed on the image from the position of the finger. The image measurement area can, for example, be centered around a pixel position defined when tapping or similar. Alternatively, an image pattern area can automatically be generated by tapping, which includes the position of the finger on the image. Alternatively, an automatically generated image measurement area can be offered to a user, e.g. a square or circular image measurement area, e.g. in the middle of the image, which only needs to be confirmed by the user;
- nach Definition oder Festlegung des Bildmessbereichs kann auf grundsätzlich be kannte Weise beruhend auf dem Inhalt des Bildmessbereichs automatisch eine Bräunungsskala berechnet und angezeigt werden, und der Nutzer kann anhand der Bräunungsskala den gewünschten Bräunungsgrad einstellen; - After definition or determination of the image measurement area, a tan scale can be calculated and displayed automatically in a basically known manner based on the content of the image measurement area, and the user can set the desired degree of tan using the tan scale;
- folgend wird der Garvorgang durchgeführt, bis der gewünschte Bräunungsgrad er reicht ist, was auf grundsätzlich bekannte Weise erfolgen kann. Falls der Nutzer während des Garvorgangs das Gargut bewegt oder sich das Gargut selbst bewegt (z.B. Teig aufgeht), kann in einer Weiterbildung mittels eines Algorithmus der Bewegung gefolgt werden und der Bildmessbereich entsprechend nachgeführt wer den. Der Nutzer braucht dadurch keinen neuen Bildmessbereich auszusuchen. - The cooking process is then carried out until the desired degree of browning is achieved, which can be done in a basically known manner. If the user moves the food during the cooking process or the food itself moves (eg dough rises), in a further development the movement can be followed by means of an algorithm and the image measurement area can be tracked accordingly. As a result, the user does not need to choose a new image measurement area.
Die Aufgabe wird auch gelöst durch eine Vorrichtung, die zum Durchführen des Verfah rens wie oben beschrieben eingerichtet ist, aufweisend: The object is also achieved by a device which is set up to carry out the method as described above, having:
- ein Haushalts-Gargerät mit einem Garraum, - a household cooking appliance with a cooking chamber,
- mindestens eine in den Garraum gerichtete Kamera, - at least one camera directed into the cooking space,
- mindestens einen Bildschirm, auf welchem von der mindestens einen Kamera auf genommene Aufnahmen abbildbar sind, - At least one screen on which recordings taken by the at least one camera can be displayed,
- mindestens eine Bedienerschnittstelle, die zum Definieren des nutzerauswählba- ren Bildmessbereichs in dem dargestellten Bild und zum Festlegen des Ziel- Bräunungsgrads eingerichtet ist, und - At least one operator interface which is set up to define the user-selectable image measurement area in the displayed image and to define the target degree of browning, and
- eine Datenverarbeitungseinrichtung, die zum Durchführen des Garvorgangs unter Berücksichtigung des Ziel-Bräunungsgrads eingerichtet ist. - A data processing device which is set up to carry out the cooking process taking into account the target degree of browning.
Die Vorrichtung kann analog zu dem Verfahren ausgebildet werden und weist die gleichen Vorteile auf. The device can be designed analogously to the method and has the same advantages.
Das Haushalts-Gargerät kann beispielsweise ein Ofen, insbesondere Backofen, Mikrowel lengerät, Dampfbehandlungsgerät oder eine beliebige Kombination davon sein, z.B. ein Ofen mit einer Mikrowellen- und/oder einer Dampfbehandlungsfunktionalität. The domestic cooking appliance can, for example, be an oven, in particular an oven, microwave oven, steam treatment device or any combination thereof, e.g. an oven with a microwave and / or steam treatment functionality.
Die Kamera kann in das Haushalts-Gargeräts integriert sein, insbesondere durch eine Garraumwandung in den Garraum gerichtet sein. Die Kamera kann alternativ oder zusätz lich außerhalb des Garraums angeordnet sein, z.B. von außen durch ein Sichtfenster ei ner den Garraum verschließenden Tür in den Garraum gerichtet sein. Die Kamera kann speziell in diesem Fall eine abnehmbare Kamera sein. The camera can be integrated into the domestic cooking appliance, in particular directed into the cooking chamber through a cooking chamber wall. As an alternative or in addition, the camera can be arranged outside the cooking space, e.g. directed into the cooking space from the outside through a viewing window of a door that closes the cooking space. The camera can be a detachable camera especially in this case.
Der Bildschirm kann ein berührungsempfindlicher Bildschirm sein, was eine besonders einfache Bedienung ermöglicht. Die Bedienerschnittstelle ist dann insbesondere in den Bildschirm integriert bzw. der Bildschirm dient auch als Bedienerschnittstelle. io The screen can be a touch-sensitive screen, which enables particularly simple operation. The operator interface is then in particular integrated into the screen or the screen also serves as the operator interface. ok
Der Bildschirm kann aber auch ein nicht berührungsempfindlicher Bildschirm sein, dessen Bildmessbereich über eine gesonderte Bedienerschnittstelle einstellbar ist. Die Bediener schnittstelle kann dazu beispielsweise Bedienfelder (z.B. Sensortasten) aufweisen, z.B. ein Cursortasten-Kreuz, einen Joystick usw. Beispielsweise kann können der nicht berüh rungsempfindliche Bildschirm und die Bedienerschnittstelle unterschiedliche Bereiche an einer Bedienblende des Haushaltsgeräts einnehmen. However, the screen can also be a non-touch-sensitive screen, the image measurement area of which can be set via a separate operator interface. For this purpose, the operator interface can, for example, have control panels (e.g. sensor keys), e.g. a cursor key cross, a joystick, etc. For example, the non-touch-sensitive screen and the operator interface can occupy different areas on a control panel of the household appliance.
Die Bedienerschnittstelle und der Bildschirm können gemeinsam auch als Nutzerschnitt stelle bezeichnet werden. The operator interface and the screen can also be referred to together as a user interface.
Das Bild kann auf einem Bildschirm oder gleichzeitig auf mehreren Bildschirmen ange zeigt werden. The image can be displayed on one screen or on multiple screens at the same time.
Die Kamera und der Bildschirm sind in einer Weiterbildung farbunterstützt, d.h., eine Farbkamera und ein Farbbildschirm, was eine Bestimmung des Bildmessbereichs und eine Festlegung eines Bräunungsgrads besonders einfach gestaltet. In a further development, the camera and the screen are color-assisted, i.e. a color camera and a color screen, which makes it particularly easy to determine the image measurement area and to determine the degree of browning.
Es ist eine Ausgestaltung, dass die Vorrichtung das Haushalts-Gargerät ist. Dies ergibt den Vorteil, dass das Haushalts-Gargerät das Verfahren autonom durchführen kann und dazu z.B. keine Anbindung an ein Netzwerk benötigt, sie aber aufweisen kann. In dieser Ausgestaltung weist das Haushalts-Gargerät einen Bildschirm und eine Bedienerschnitt stelle (ggf. integriert in einen berührungsempfindlichen Bildschirm) zur Durchführung des Verfahrens auf, die Teile einer Bedienblende darstellen können. Die Datenverarbeitungs einrichtung kann einer Steuereinrichtung des Gargeräts entsprechen bzw. kann eine zent rale Steuereinrichtung des Gargeräts auch dazu eingerichtet sein, das Verfahren durchzu führen. In one embodiment, the device is the domestic cooking appliance. This results in the advantage that the household cooking appliance can carry out the method autonomously and, for example, does not need a connection to a network, but can have one. In this embodiment, the household cooking appliance has a screen and a user interface (possibly integrated in a touch-sensitive screen) for carrying out the method, which can represent parts of an operating panel. The data processing device can correspond to a control device of the cooking device or a central control device of the cooking device can also be set up to carry out the method.
Es ist eine Weiterbildung, dass die Vorrichtung ein System ist, welches das Haushalts- Gargerät als eine Systemkomponente umfasst. Es ist eine Ausgestaltung davon, dass der Bildschirm und die Bedienerschnittstelle Komponenten eines Nutzerendgeräts (z.B. eines Smartphones, Tablet-PCs, Desktop-PCs, Notebooks, usw.) sind und das Haushalts- Gargerät eine Kommunikationsschnittstelle zur Übertragung von das Verfahren betreffen den Daten mit dem Nutzerendgerät aufweist. Dies ergibt den Vorteil, dass der Bildmess bereich und der Ziel-Bräunungsgrad besonders nutzfreundlich an einem Nutzerendgerät definierbar bzw. festlegbar sind. Zur Durchführung des Verfahrens kann auf dem Nutzer endgerät ein entsprechendes Anwendungsprogramm ("App") installiert sein. Das Haus- halts-Gargerät kann ebenfalls einen Bildschirm und die Bedienerschnittstelle aufweisen oder darauf verzichten. It is a further development that the device is a system which comprises the domestic cooking appliance as a system component. It is an embodiment of the fact that the screen and the operator interface are components of a user terminal (e.g. a smartphone, tablet PC, desktop PC, notebook, etc.) and the household cooking device has a communication interface for transmitting the data relating to the method the user terminal. This results in the advantage that the image measurement area and the target degree of browning are particularly user-friendly on a user terminal are definable or determinable. A corresponding application program ("app") can be installed on the user terminal to carry out the method. The household cooking appliance can also have a screen and the operator interface or can dispense with them.
Es ist eine Ausgestaltung, dass die Musterdatenbank in einem netzwerkgestützten Daten speicher gespeichert ist, z.B. in der sog. "Cloud". Dadurch lässt sich Speicherplatz in dem Haushalts-Gargerät einsparen. It is an embodiment that the sample database is stored in a network-supported data memory, e.g. in the so-called "cloud". This saves storage space in the household cooking appliance.
Es ist eine Ausgestaltung, dass die Vorrichtung eine netzwerkgestützte Bildverarbei tungseinrichtung zumindest zum Definieren des nutzerauswählbaren Bildmessbereichs in dem dargestellten Bild mittels automatischer Mustererkennung umfasst. Jedoch kann die automatische Mustererkennung auch mittels des Nutzerendgeräts und/oder des Haus- halts-Gargeräts durchgeführt werden. In one embodiment, the device comprises a network-supported image processing device at least for defining the user-selectable image measurement area in the displayed image by means of automatic pattern recognition. However, the automatic pattern recognition can also be carried out by means of the user terminal and / or the household cooking device.
Falls das Haushalts-Gargerät eine Kommunikationsschnittstelle zur Übertragung von das Verfahren betreffenden Daten aufweist, ist es grundsätzlich möglich auch, das Verfahren wahlweise autonom durch das Haushalts-Gargerät durchzuführen oder zumindest Teile davon auf einer rechnergestützten Instanz auszuführen. Dies kann z.B. davon abhängen, ob ein Nutzer die Definition des nutzerauswählbaren Bildmessbereichs an einem Nutzer endgerät ausführen möchte oder nicht. Auch ist der Fall umfasst, dass die Definition des nutzerauswählbaren Bildmessbereichs anhand des Bildschirms des Haushalts-Gargeräts vorgenommen wird (z.B. zum nutzerseitigen Überprüfen, Ändern und/oder Bestätigen eines durch automatische Mustererkennung berechneten Bildmessbereichs), aber eine Rechenleistung zur automatischen Mustererkennung als solcher mittels einer netzwerk gestützten Bildverarbeitungseinrichtung (z.B. einem Netzwerkserver oder einem Cloud- Rechner) durchgeführt wird, ggf. unter Zuhilfenahme einer netzwerkgestützten Musterda tenbank. If the domestic cooking appliance has a communication interface for the transmission of data relating to the method, it is in principle also possible to optionally carry out the method autonomously by the domestic cooking appliance or to carry out at least parts of it on a computer-aided entity. This can depend, for example, on whether a user wants to define the user-selectable image measurement area on a user terminal or not. The case is also included that the definition of the user-selectable image measurement area is carried out using the screen of the household cooking appliance (e.g. for the user to check, change and / or confirm an image measurement area calculated by automatic pattern recognition), but a computing power for automatic pattern recognition as such by means of a network-supported image processing device (for example a network server or a cloud computer) is carried out, possibly with the aid of a network-supported sample database.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird. Fig.1 zeigt einen möglichen Verfahrensablauf zum Betreiben eines Haushalts- Gargeräts einschließlich eines Einstellens eines Ziel-Bräunungsgrads; The properties, features and advantages of this invention described above and the manner in which they are achieved will become clearer and more clearly understood in connection with the following schematic description of an exemplary embodiment which is explained in more detail in connection with the drawings. 1 shows a possible method sequence for operating a household cooking appliance including setting a target degree of browning;
Fig.2 zeigt in einen Garraum des Haushalts-Gargeräts eingebrachtes Gargut; FIG. 2 shows the food being cooked in a cooking space of the domestic cooking appliance;
Fig.3 zeigt ein mittels des Haushalts-Gargeräts aufgenommenes Bild des Garguts auf einem berührungsempfindlichen Bildschirm; FIG. 3 shows an image of the food to be cooked on a touch-sensitive screen, recorded by means of the domestic cooking appliance;
Fig.4 zeigt einen ersten Teilschritt zur nutzerseitigen Auswahl eines Bildmessbe reichs ; 4 shows a first partial step for the user-side selection of an image measurement area;
Fig.5 zeigt einen zweiten Teilschritt zur nutzerseitigen Auswahl des Bildmessbe reichs; und FIG. 5 shows a second partial step for the user-side selection of the image measurement area; and
Fig.6 zeigt einen alternativen zweiten Teilschritt zur nutzerseitigen Auswahl des Bildmessbereichs; 6 shows an alternative second partial step for the user-side selection of the image measurement area;
Fig.7 zeigt als Schnittdarstellung in Seitenansicht eine Skizze einer Vorrichtung zur Durchführung des Verfahrens. FIG. 7 shows, as a sectional illustration in side view, a sketch of a device for carrying out the method.
Fig.1 zeigt einen möglichen Verfahrensablauf zum Betreiben eines Haushalts-Gargeräts in Form beispielsweise eines Backofens 1 (siehe Fig.7) einschließlich eines Einstellens eines Ziel-Bräunungsgrads. FIG. 1 shows a possible method sequence for operating a domestic cooking appliance in the form of, for example, an oven 1 (see FIG. 7) including setting a target degree of browning.
In einem Schritt S1 beschickt ein Nutzer den Garraum 2 des Backofens 1 mit Gargut G. Das Gargut G kann z.B., wie skizzenhaft in Fig.2 dargestellt, ein auf einem farbigen Backblech B aufliegendes Hühnchen H sowie daran herum angeordnete Kartoffelschei ben K oder Pommes Frites umfassen. Hieran einen zur hohen Nutzerzufriedenheit geeig neten Bildmessbereich zu bestimmen, ist vollautomatisch nur unzuverlässig möglich, und zwar selbst dann nicht, wenn komplexe Al-Algorithmen verwendet werden. In a step S1, a user loads the cooking space 2 of the oven 1 with food G. The food G can, for example, as shown in the sketch in FIG include. Using this to determine an image measurement range suitable for high user satisfaction is only possible in a fully automatic manner with an unreliable effect, and indeed not even if complex A1 algorithms are used.
In einem Schritt S2 wird mittels einer Kamera 5 (siehe Fig.7) des Backofens 1 ein Bild P des Garraums 2 aufgenommen, welches hier das Backblech B, das Gargut G sowie deren Umgebung zeigt. Ein solches Bild P ist skizzenhaft in Fig.3 gezeigt. In a step S2, an image P of the cooking space 2 is recorded by means of a camera 5 (see FIG. 7) of the baking oven 1, which here shows the baking sheet B, the food G and their surroundings. Such an image P is shown in sketch form in FIG.
Das Bild P wird in einem Schritt S3 zu einem berührungsempfindlichen Bildschirm S, z.B. einem Bildschirm 7 des Backofens 1 und/oder einem Bildschirm 9 eines Nutzerendgeräts wie eines Smartphones SP (siehe Fig.7), gesandt und dort dargestellt, wie in Fig.4 skiz zenhaft gezeigt. Wie ebenfalls in Fig.4 gezeigt, kann in einem Schritt S4 ein Nutzer N, z.B. mit seinem Fin ger, einem Stift usw. einen Bereich des Bildschirms S, auf dem das Bild P dargestellt wird, antippen, hier: einen Bildbereich, der zu dem Hühnchen H gehört. The image P is sent in a step S3 to a touch-sensitive screen S, for example a screen 7 of the oven 1 and / or a screen 9 of a user terminal such as a smartphone SP (see FIG. 7), and is displayed there, as in FIG shown as a sketch. As also shown in FIG. 4, in a step S4 a user N can tap, for example with his finger, a pen, etc., an area of the screen S on which the image P is displayed, here: an image area that is to belongs to the chicken H.
Nun wird in einem Schritt S5 zu dem angetippten Bildbereich automatisch ein Bildmuster bereich erzeugt, der in Fig.5 gestrichelt als Kontur C des Hühnchens H dargestellt ist. Entspricht der Bildmusterbereich dem von dem Nutzer N gewünschten Bildmessbereich, kann der Nutzer N den Bildmusterbereich als den Bildmessbereich bestätigen, z.B. durch Antippen einer bejahenden Checkbox (obere Checkbox in Fig.5), oder, falls nicht, verwer fen, z.B. durch Antippen einer verneinenden Checkbox (untere Checkbox in Fig.5). Der Bildmessbereich entspricht dann also dem bestätigten Bildmusterbereich C. Alternativ kann der Nutzer N den Bildmessbereich auf die Kartoffelscheiben K legen. Now, in a step S5, an image pattern area is automatically generated for the tapped image area, which is shown in dashed lines as the contour C of the chicken H in FIG. If the image sample area corresponds to the image measurement area desired by user N, user N can confirm the image sample area as the image measurement area, e.g. by tapping an affirmative checkbox (upper checkbox in FIG. 5), or, if not, discarding it, e.g. by tapping a negative Checkbox (lower checkbox in Fig. 5). The image measurement area then corresponds to the confirmed image sample area C. Alternatively, the user N can place the image measurement area on the potato slices K.
Der Bildmusterbereich C kann allein aus der in dem Bild P enthaltenen Bildinformation berechnet werden. In einer Variante kann zusätzlich ein Abgleich mit in einer Musterda tenbank DB (siehe Fig.7) gespeicherten Bildmustern vorgenommen werden, die bestimm ten Gargütern G zugeordnet sind. Dadurch kann das in dem Bild P bestimmt mindestens eine Bildmuster noch besser an die Form bekannter Gargüter angenähert werden. So können in der Musterdatenbank DB die Bildmuster von Hühnchen H abgespeichert sein, z.B. variiert nach Blickwinkel, Partie (z.B. ganzes Hühnchen, halbes Hühnchen, Keule usw.) usw. The image pattern area C can be calculated from the image information contained in the image P alone. In a variant, a comparison with image patterns stored in a pattern database DB (see FIG. 7), which are assigned to certain cooking goods G, can also be carried out. As a result, the at least one image pattern determined in the image P can be approximated even better to the shape of known items to be cooked. The image samples of chicken H can be stored in the sample database DB, e.g. varies according to perspective, batch (e.g. whole chicken, half chicken, leg, etc.), etc.
In einem Schritt S6 wird für den ausgewählten oder definierten Bildmessbereich automa tisch eine Bräunungsskala (o. Abb.) erzeugt und auf dem Bildschirm S angezeigt. Anhand der Bräunungsskala kann der Nutzer N einen gewünschten Ziel-Bräunungsgrad (hier: des Hühnchens H) eingeben oder auswählen. Alternativ kann der Nutzer N den gewünschten Bräunungsgrad der Kartoffelscheiben K festlegen. In a step S6, a tanning scale (not shown) is automatically generated for the selected or defined image measurement area and displayed on the screen S. Using the browning scale, the user N can enter or select a desired target browning level (here: of the chicken H). Alternatively, the user N can specify the desired degree of browning of the potato slices K.
In einem folgenden Schritt S7 wird mittels der Steuereinrichtung 6 des Backofens 1 ein Garvorgang durchgeführt, bis der Ziel-Bräunungsgrad erreicht ist, und zwar beruhend auf einem Vergleich eines mittels des Bildmessbereichs berechneten aktuellen Ist- Bräunungsgrads mit dem Ziel-Bräunungsgrad. In einem alternativen Schritt S5, der anstelle des oben beschriebenen Schritts S5 durch führbar ist, wird auf dem Bildschirm S ein vorgegebener Bildbereich ("Cursor" CUR) dem Bild P überlagert. Der Cursor CUR kann von dem Nutzer N z.B. durch Antippen oder eine Drag-n-Drop-Bewegung mittels eines Fingers, Stifts usw. an eine Stelle des Bilds B be wegt, an welcher der Nutzer N den Bräunungsgrad ausgewertet wissen möchte. Der Cur sor CUR kann, wie in Fig.6 gezeigt, die Form und Größe des Bildmessbereichs wiederge ben, wobei durch den Nutzer N dann nur noch die Position des Cursor CUR festlegen zu werden braucht. Der Bildmessbereich entspricht also hier dem durch den Cursor CUR bestimmten Bildbereich. In einer Variante kann der Nutzer N die Größe und/oder Form des Cursors CUR und damit auch des Bildmessbereichs anpassen. In a subsequent step S7, the control device 6 of the oven 1 carries out a cooking process until the target degree of browning is reached, based on a comparison of a current actual degree of browning calculated using the image measurement area with the target degree of browning. In an alternative step S5, which can be carried out instead of the step S5 described above, a predetermined image area ("cursor" CUR) is superimposed on the image P on the screen S. The cursor CUR can be moved by the user N, for example by tapping or a drag-n-drop movement using a finger, pen, etc., to a point in the image B at which the user N would like to have the degree of browning evaluated. As shown in FIG. 6, the cursor CUR can reproduce the shape and size of the image measurement area, with the user N then only needing to define the position of the cursor CUR. The image measurement area here corresponds to the image area determined by the cursor CUR. In a variant, the user N can adapt the size and / or shape of the cursor CUR and thus also the image measurement area.
In einerweiteren Variante kann der Cursor CUR an seiner Anfangsposition (z.B. der Bild mitte) auf dem Bild P durch einen Nutzer bestätigt werden, ohne dass der Cursor CUR bewegt zu werden bräuchte. In a further variant, the cursor CUR can be confirmed at its starting position (e.g. the image in the middle) on the image P by a user without the cursor CUR having to be moved.
Die Bestätigung kann auch dadurch erfolgen, dass der Nutzer für einen vorgegebenen Zeitraum den Bildmessbereich C, CUR nicht ändert. The confirmation can also take place in that the user does not change the image measurement area C, CUR for a predetermined period of time.
Falls der Nutzer N während des Garvorgangs das Gargut G bewegt, kann mittels eines Bildauswertungsalgorithmus der Bewegung gefolgt werden und der Bildmessbereich C, CUR entsprechend nachgeführt oder an die Bewegung angepasst werden. Der Nutzer N braucht dadurch keinen neuen Bildmessbereich C, CUR auszusuchen. If the user N moves the food G during the cooking process, the movement can be followed by means of an image evaluation algorithm and the image measurement area C, CUR can be tracked accordingly or adapted to the movement. As a result, the user N does not need to choose a new image measurement area C, CUR.
Fig.7 zeigt als Schnittdarstellung in Seitenansicht eine Skizze einer Vorrichtung 1, SP, DB zur Durchführung des Verfahrens. Die Vorrichtung umfasst einen Backofen 1, ein Nutzer endgerät in Form eines Smartphones SP und optional eine Musterdatenbank DB. FIG. 7 shows, as a sectional illustration in side view, a sketch of a device 1, SP, DB for carrying out the method. The device comprises an oven 1, a user terminal in the form of a smartphone SP and optionally a sample database DB.
Der Backofen 1 weist einen Garraum 2 auf, dessen frontseitige Beschickungsöffnung 3 mittels einer Tür 4 verschließbar ist. Durch die Beschickungsöffnung 3 kann der Garraum 2 mit dem in dem Backblech B vorhandenen Gargut G beschickt werden. Im Bereich einer Decke des Garraums 2 befindet sich eine Kamera 5, die von oben oder schräg oben in den Garraum 2 gerichtet ist. Optional kann sich die Kamera 5 an anderer Stelle befinden. Es können auch mehrere Kameras 5 vorhanden sein. Die Kamera 5 ist - ggf. über eine Steuereinrichtung 6 - mit einem berührungsempfindlichen Bildschirm 7 verbunden. Von der Kamera 5 aufgenommene Bilder P können zu diesem Bildschirm 7 gesendet werden, woraufhin der Nutzer N wie oben beschrieben den Bildmessbereich C, CUR definieren kann als auch einen Ziel-Bräunungsgrad einstellen kann. Beruhend aus dem ausgewähl ten Bildmessbereich C, CUR und dem Ziel-Bräunungsgrad kann die Steuereinrichtung 6 einen Garvorgang steuern (z.B. nicht gezeigte Heizelemente aktivieren), z.B. bis der Ziel- Bräunungsgrad erreicht ist. In einer Variante kann das Verfahren autonom an dem Back ofen 1 durchgeführt werden. The oven 1 has a cooking chamber 2, the front loading opening 3 of which can be closed by means of a door 4. The cooking space 2 can be loaded with the food G present in the baking tray B through the loading opening 3. In the area of a ceiling of the cooking space 2 there is a camera 5 which is directed into the cooking space 2 from above or at an angle. The camera 5 can optionally be located elsewhere. Several cameras 5 can also be present. The camera 5 is connected to a touch-sensitive screen 7, possibly via a control device 6. from Images P recorded by the camera 5 can be sent to this screen 7, whereupon the user N can define the image measurement area C, CUR as described above and can also set a target degree of browning. Based on the selected image measurement area C, CUR and the target degree of browning, the control device 6 can control a cooking process (eg activate heating elements, not shown), for example until the target degree of browning is reached. In one variant, the method can be carried out autonomously on the baking oven 1.
In einer alternativen oder zusätzlichen zweiten Variante kann der Backofen 1 über ein Kommunikationsmodul 8, z.B. ein Bluetooth- und/oder WLAN-Modul, drahtlos mit dem Smartphone SP verbunden sein. Das Smartphone weist ebenfalls einen berührungsemp findlichen Bildschirm 9 auf, über den die obigen Verfahrensschritte S3 bis S6 ablaufen können, und zwar anstelle oder zusätzlich zu dem Bildschirm 7 des Backofens 1. In an alternative or additional second variant, the oven 1 can be wirelessly connected to the smartphone SP via a communication module 8, e.g. a Bluetooth and / or WLAN module. The smartphone also has a touch-sensitive screen 9 via which the above method steps S3 to S6 can run, namely instead of or in addition to the screen 7 of the oven 1.
Der Backofen 1 und/oder das Smartphone 2 können über ein Netzwerk NW, z.B. das In ternet, mit einer Musterdatenbank DB verbunden sein. The oven 1 and / or the smartphone 2 can be connected to a sample database DB via a network NW, e.g. the Internet.
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei spiel beschränkt. Of course, the present invention is not limited to the game Ausführungsbei shown.
So können allgemein auch zwei oder noch mehr Bildmessbereiche durch einen Nutzer definiert werden und diesen Bildmessbereiche der gleiche oder unterschiedliche Bräu nungs-Zielwerte zugeordnet werden. Der folgende Garvorgang kann dann z.B. beendet werden, wenn die Ist-Bräunungsgrade ein oder mehrerer der Bildmessbereiche den zu gehörigen Ziel-Bräunungsgrad erreichen. In general, two or more image measurement areas can also be defined by a user and the same or different tanning target values can be assigned to these image measurement areas. The following cooking process can then be ended, for example, when the actual degree of browning of one or more of the image measurement areas reaches the corresponding target degree of browning.
Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw. Bezugszeichenliste In general, "a", "a" etc. can be understood as a singular or a plurality, in particular in the sense of "at least one" or "one or more" etc., as long as this is not explicitly excluded, for example by the expression " exactly one "etc. List of reference symbols
1 Backofen 1 oven
2 Garraum 2 cooking space
3 Beschickungsöffnung 3 loading opening
4 Tür 4 door
5 Kamera 5 camera
6 Steuereinrichtung 6 control device
7 Berührungsempfindlicher Bildschirm des Backofens7 Oven touch screen
8 Kommunikationsmodul 8 communication module
9 Berührungsempfindlicher Bildschirm des Smartphones9 Touch-sensitive screen of the smartphone
B Backblech B baking sheet
C Kontur C contour
CUR Cursor CUR cursor
DB Musterdatenbank DB sample database
G Gargut G Food to be cooked
H Hühnchen H chicken
K Kartoffelscheibe K potato slice
N Nutzer N users
NW Netzwerk NW network
P Bild des Garraums P picture of the cooking space
S Berührungsempfindlicher Bildschirm S Touch-sensitive screen
S1-S7 Verfahrensschritte SP Smartphone S1-S7 process steps SP smartphone

Claims

PATENTANSPRÜCHE PATENT CLAIMS
1. Verfahren (S1-S6) zum Einstellen eines Ziel-Bräunungsgrads von Gargut (G), aufweisend die folgenden Schritte: 1. Method (S1-S6) for setting a target degree of browning of food (G), comprising the following steps:
Aufnehmen (S2) eines Bilds (P) aus einem mit dem Gargut (G) beschickten Garraum eines Haushalts-Gargeräts (1); Recording (S2) an image (P) from a cooking space of a domestic cooking appliance (1) loaded with the food to be cooked (G);
Darstellen (S3) des Bilds (P) auf einem Bildschirm (S); Displaying (S3) the image (P) on a screen (S);
Definieren (S4, S5) eines nutzerauswählbaren Bildmessbereichs (C; CUR) in dem dargestellten Bild (P); und Defining (S4, S5) a user-selectable image measurement area (C; CUR) in the displayed image (P); and
Festlegen (S6) eines Ziel-Bräunungsgrads für den ausgewählten Bildmessbe reich (C; CUR). Establishing (S6) a target degree of browning for the selected image measurement area (C; CUR).
2. Verfahren (S1-S6) nach Anspruch 1, bei dem der Schritt des Definierens (S4, S5) des Bildmessbereichs (C; CUR) ein über den Bildschirm (S) nutzergeführtes Posi tionieren des Bildmessbereichs (CUR) umfasst. 2. The method (S1-S6) according to claim 1, wherein the step of defining (S4, S5) the image measurement area (C; CUR) comprises a user-guided positioning of the image measurement area (CUR) via the screen (S).
3. Verfahren (S1-S6) nach Anspruch 2, bei dem das nutzergeführte Definieren des Bildmessbereichs (C; CUR) ein über den Bildschirm (S) touchgeführtes und/oder bedienfeldgeführtes Positionieren des Bildmessbereichs (CUR) umfasst. 3. The method (S1-S6) according to claim 2, in which the user-guided definition of the image measurement area (C; CUR) comprises a touch-guided and / or control panel-guided positioning of the image measurement area (CUR) via the screen (S).
4. Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem zum De finieren des Bildmessbereichs (C; CUR) zu einem nutzerseitig ausgewählten Bildbereich automatisch ein diesen Bild bereich umfassender Musterbereich bestimmt wird und der Musterbereich als der Bildmessbereich (C) übernommen wird. 4. The method (S1-S6) according to any one of the preceding claims, in which, to define the image measurement area (C; CUR) for an image area selected by the user, a pattern area encompassing this image area is automatically determined and the pattern area is adopted as the image measurement area (C) will.
5. Verfahren (S1-S6) nach Anspruch 4, bei dem die automatische Mustererkennung einen Musterabgleich mit einer Musterdatenbank (DB) umfasst, in welcher zu vor gegebenem Gargut (G) gehörige Bildmuster abgelegt sind. 5. The method (S1-S6) according to claim 4, in which the automatic pattern recognition comprises a pattern comparison with a pattern database (DB) in which image patterns belonging to a given item to be cooked (G) are stored.
6. Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem der Bild messbereich (CUR) nutzerseitig variierbar ist. 6. The method (S1-S6) according to any one of the preceding claims, in which the image measurement area (CUR) can be varied by the user.
7. Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem ein nutze- rauswählbarer Bildmessbereich (C; CUR) zunächst automatisch ausgewählt wird und nach einer Nutzerbestätigung oder einem Ausbleiben einer Nutzerbestätigung innerhalb einer vorgegebenen Zeitdauer übernommen wird. 7. Method (S1-S6) according to one of the preceding claims, in which a user-selectable image measurement area (C; CUR) is initially selected automatically and is accepted within a predetermined period of time after a user confirmation or no user confirmation.
8. Verfahren (S1-S7) nach einem der vorhergehenden Ansprüche, bei dem der Bild messbereich (C; CUR) während eines folgenden Garablaufs (S7) automatisch nachgeführt wird. 8. The method (S1-S7) according to any one of the preceding claims, in which the image measurement area (C; CUR) is automatically tracked during a subsequent cooking process (S7).
9. Verfahren (S1-S6) nach einem der vorhergehenden Ansprüche, bei dem der Ziel- Bräunungsgrad nutzerseitig eingestellt wird (S6). 9. The method (S1-S6) according to any one of the preceding claims, in which the target degree of browning is set by the user (S6).
10. Vorrichtung (1, SP, DB), eingerichtet zum Durchführen des Verfahrens (S1-S7) nach einem der vorhergehenden Ansprüche, aufweisend: ein Haushalts-Gargerät (1) mit einem Garraum (2), mindestens eine in den Garraum (2) gerichtete Kamera (5), mindestens einen Bildschirm (S, 7, 9), auf welchem von der mindestens einen10. Device (1, SP, DB), set up to carry out the method (S1-S7) according to one of the preceding claims, comprising: a domestic cooking appliance (1) with a cooking space (2), at least one in the cooking space (2 ) Directed camera (5), at least one screen (S, 7, 9) on which of the at least one
Kamera (5) aufgenommene Bilder (P) abbildbar sind, mindestens eine Bedienerschnittstelle (7, 9) zum Definieren des nutzeraus- wählbaren Bildmessbereichs (C, CUR) in dem dargestellten Bild (P) und zumCamera (5) recorded images (P) can be displayed, at least one operator interface (7, 9) for defining the user-selectable image measurement area (C, CUR) in the displayed image (P) and for
Festlegen des Ziel-Bräunungsgrads, eine Datenverarbeitungseinrichtung (6) zum Durchführen des Garvorgangs unter Berücksichtigung des Ziel-Bräunungsgrads. Specifying the target degree of browning, a data processing device (6) for carrying out the cooking process taking into account the target degree of browning.
11. Vorrichtung (1) nach Anspruch 10, wobei die Vorrichtung (1) das Haushalts- Gargerät ist. 11. The device (1) according to claim 10, wherein the device (1) is the domestic cooking appliance.
12. Vorrichtung (1, nach einem der Ansprüche 10 bis 11, wobei der Bildschirm (S, 9) und die Bedienerschnittstelle (S, 9) Komponenten eines Nutzerendgeräts (SP) sind und das Haushaltsgerät (1) eine Kommunikationsschnittstelle (8) zur Übertra gung von das Verfahren (S2-S6) betreffenden Daten mit dem Nutzerendgerät (SP) aufweist. 12. The device (1, according to one of claims 10 to 11), wherein the screen (S, 9) and the operator interface (S, 9) are components of a user terminal (SP) and the household appliance (1) has a communication interface (8) for transmission supply of the method (S2-S6) related data with the user terminal (SP).
13. Vorrichtung (1, SP, DB) nach einem der Ansprüche 10 bis 12, wobei die Musterda tenbank (DB) in einem netzwerkgestützten Datenspeicher gespeichert ist. 13. Device (1, SP, DB) according to one of claims 10 to 12, wherein the sample database (DB) is stored in a network-supported data memory.
14. Vorrichtung (1, SP, DB) nach einem der Ansprüche 10 bis 13, wobei die Vorrich- tung eine netzwerkgestützte Bildverarbeitungseinrichtung zum Definieren des nut- zerauswählbaren Bildmessbereichs (C, CUR) in dem dargestellten Bild (P) mittels automatischer Mustererkennung umfasst. 14. Device (1, SP, DB) according to one of claims 10 to 13, wherein the device comprises a network-supported image processing device for defining the user-selectable image measurement area (C, CUR) in the displayed image (P) by means of automatic pattern recognition.
EP21706632.3A 2020-03-12 2021-02-25 Setting desired browning on a domestic cooking appliance Pending EP4118382A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20290028 2020-03-12
PCT/EP2021/054664 WO2021180477A1 (en) 2020-03-12 2021-02-25 Setting desired browning on a domestic cooking appliance

Publications (1)

Publication Number Publication Date
EP4118382A1 true EP4118382A1 (en) 2023-01-18

Family

ID=70482521

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21706632.3A Pending EP4118382A1 (en) 2020-03-12 2021-02-25 Setting desired browning on a domestic cooking appliance

Country Status (4)

Country Link
US (1) US20230075347A1 (en)
EP (1) EP4118382A1 (en)
CN (1) CN115190956A (en)
WO (1) WO2021180477A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023121440A1 (en) 2023-08-10 2024-08-29 Miele & Cie. Kg Method for operating a cooking system and cooking system comprising a cooking appliance with a cooking chamber

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2880411A1 (en) * 2005-01-03 2006-07-07 Bernard Loubieres Microwave oven for kitchen, has access door formed by flat screen to display multimedia images, touch screen to display prerecorded icons to manage culinary and multimedia functions, and cameras to display oven content on screens
JP5136060B2 (en) * 2005-11-11 2013-02-06 ソニー株式会社 Image processing apparatus, image processing method, program thereof, recording medium recording the program, and imaging apparatus
DE102007040651B4 (en) 2007-08-27 2012-02-09 Rational Ag Method for setting a cooking program via visualized cooking parameters and cooking appliance therefor
EP2638325B1 (en) * 2010-11-12 2015-03-11 Convotherm Elektrogeräte GmbH A cooking device, and a procedure for cooking food
US10584881B2 (en) 2011-10-17 2020-03-10 Illinois Tool Works, Inc. Browning control for an oven
US10656808B2 (en) * 2012-09-18 2020-05-19 Adobe Inc. Natural language and user interface controls
DE102014110559A1 (en) * 2014-07-25 2016-01-28 Rational Aktiengesellschaft Method for controlling a cooking appliance
DE102016215550A1 (en) * 2016-08-18 2018-02-22 BSH Hausgeräte GmbH Determining a degree of browning of food
DE102017101183A1 (en) * 2017-01-23 2018-07-26 Miele & Cie. Kg Method for operating a cooking appliance and cooking appliance
US20190110638A1 (en) * 2017-10-16 2019-04-18 Midea Group Co., Ltd Machine learning control of cooking appliances
US10605463B2 (en) 2017-10-27 2020-03-31 Whirlpool Corporation Cooking appliance with a user interface
EP3608593B1 (en) * 2018-08-10 2022-03-16 Electrolux Appliances Aktiebolag Cooking system comprising an oven and an external computing means, and method of operating such system
EP3811832A4 (en) * 2019-08-30 2022-01-19 LG Electronics Inc. Cooking device having camera

Also Published As

Publication number Publication date
WO2021180477A1 (en) 2021-09-16
CN115190956A (en) 2022-10-14
US20230075347A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
DE102007040651B4 (en) Method for setting a cooking program via visualized cooking parameters and cooking appliance therefor
EP2391851B1 (en) Method for selecting and arranging representatives of programs and cooking appliance therefor
DE102016102902A1 (en) Numerical control unit for controlling a machine tool
WO2019072512A1 (en) Method for providing a haptic feedback message to an operator of a touch-sensitive display device
DE102011102394B4 (en) Device and method for operating a hob
WO2020120335A1 (en) Method for operating a domestic cooking appliance and domestic cooking appliance
WO2021180477A1 (en) Setting desired browning on a domestic cooking appliance
WO2020094573A1 (en) Method for operating a domestic cooking appliance and domestic cooking appliance
DE102014102471A1 (en) Method for operating a cooking appliance and cooking appliance
DE102008032449B4 (en) Method for changing at least one display of an operating menu of a cooking appliance
WO2017182074A1 (en) System for the preparation of at least one food product and method for operating the relevant system
DE102018102123A1 (en) Method and cooking appliance for cooking at least one item to be cooked
EP2378205B1 (en) Method for guiding, instructing and/or teaching users of a cooking device and cooking device for performing the method
WO2022148593A1 (en) Method for determining the cooking end time of food, and household cooking appliance
EP3864346A1 (en) Method for preparing a cooking product, cooking device, and cooking device system
WO2021083738A1 (en) Determining a target processing state of a cooking product to be treated
WO2019170447A1 (en) Interaction module
WO2024068363A1 (en) Determining the degree of cooking of food
BE1030426B1 (en) Method for cooking a food item in a cooking appliance with a camera device
DE102008032447B4 (en) Display method for a cooking appliance
BE1030431B1 (en) Method for cooking a food item in a cooking appliance with a camera device
DE102022212181A1 (en) Determining a prediction quality of a remaining duration of an operation
DE102019206239A1 (en) Method for operating a hob and cooking device with hob
WO2023187058A1 (en) Cooking system, cooking device, and method for operating a cooking system
EP4176426A1 (en) Food preparation apparatus and method for food preparation

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)