EP3864346A1 - Method for preparing a cooking product, cooking device, and cooking device system - Google Patents

Method for preparing a cooking product, cooking device, and cooking device system

Info

Publication number
EP3864346A1
EP3864346A1 EP19780263.0A EP19780263A EP3864346A1 EP 3864346 A1 EP3864346 A1 EP 3864346A1 EP 19780263 A EP19780263 A EP 19780263A EP 3864346 A1 EP3864346 A1 EP 3864346A1
Authority
EP
European Patent Office
Prior art keywords
cooking
virtual image
food
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19780263.0A
Other languages
German (de)
French (fr)
Inventor
Julien Adam
Victorien BIERG
Flavien MARTOS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP3864346A1 publication Critical patent/EP3864346A1/en
Pending legal-status Critical Current

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/08Arrangement or mounting of control or safety devices
    • F24C7/082Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00Details
    • F24C15/32Arrangements of ducts for hot gases, e.g. in or around baking ovens
    • F24C15/322Arrangements of ducts for hot gases, e.g. in or around baking ovens with forced circulation

Definitions

  • the invention relates to a method for preparing food to be cooked, in which an image of a food to be cooked is recorded by means of a camera.
  • the invention also relates to a cooking device with a cooking space and a camera directed into the cooking space, the cooking device being set up to carry out the method.
  • the invention also relates to a cooking device system comprising a cooking device with a cooking space and a camera directed into the cooking space and a data processing device coupled to the cooking device via a data network, the cooking device being set up to transmit images recorded by the camera to the data processing device.
  • the invention further relates to a cooking device system, comprising a cooking device and at least one camera for receiving food to be cooked by the cooking device, the cooking device being set up to transmit images recorded by the camera to the data processing device.
  • the invention is particularly advantageously applicable to the preparation of food to be cooked in an oven.
  • the cooking appliance is in particular a household appliance.
  • DE 10 2015 107 228 A1 discloses a method for controlling at least one partial process of at least one cooking process in a cooking device. Relevant data for at least one sub-process of a cooking process are recorded, in particular details of the food to be cooked and target parameters. The data are sent to a simulation module. The simulation module simulates the at least one sub-process with which the desired state of the food to be cooked is obtained. The process data relevant for executing the cooking process is sent to a cooking device.
  • EP 1 980 791 A2 discloses a cooking appliance with a browning sensor device and an electronics unit. It is proposed that at least one degree of browning of a food item can be fed to an output unit for output to an operator by means of the electronics unit. The remaining cooking time can be calculated from this, for example, whereby the insertion height of the food to be cooked, ie the distance between the food to be cooked and the heating element, can also be taken into account. It is the object of the present invention to at least partially overcome the disadvantages of the prior art and in particular to provide an improved possibility for a user to select a desired cooking result.
  • the object is achieved by a method for preparing food to be cooked, in which an image of a food to be cooked is recorded by means of a camera and at least one virtual image of the food to be cooked is provided which represents a cooking state of the food to be cooked previously at a later cooking time.
  • a camera can be understood to mean any image recording device which is set up to record a ("real") image of the food to be cooked.
  • the camera is sensitive in the spectral range visible to a person, in particular only sensitive in the visible spectral range (e.g. no or no pure IR camera).
  • a “virtual” image is understood in particular to mean an image that does not correspond to the image recorded by the camera as such.
  • a virtual image can e.g. an image derived or modified from the recorded image by image processing, an image of a food item (but not exactly the food item recorded by the camera) retrieved from a database, etc.
  • the provision of the virtual image particularly includes the possibility of displaying the at least one virtual image on a screen.
  • the screen can be a screen of a cooking device, in particular by means of which the food is cooked, and / or a screen of a user terminal such as a smartphone, tablet PC, laptop PC, desktop PC etc.
  • the screen is in particular a touch-sensitive screen, so that a displayed virtual image can be actuated in order to select it, for example in order to trigger at least one action associated with this virtual image.
  • the above method can be triggered or started by a user, e.g. by actuating a corresponding actuation field on a cooking device or on a user terminal (for example via a corresponding application program).
  • the user can start the method at any time, in particular before or during a cooking operation or a cooking sequence.
  • the real image recorded by the camera can consequently be recorded before the start of a cooking process and / or during a cooking process. Several real images can also be taken at different times.
  • the at least one virtual image is made available to a user for selection (for example a cooking appliance preparing the food to be cooked) and at least one cooking parameter is provided for the cooking appliance when a virtual image is selected, which leads to a cooking state which leads to the cooking Cooking status of the food in the selected virtual image corresponds.
  • a user can search or select a desired future state or final state of the food to be cooked on the basis of a virtual image and then at least partially automatically sets at least one cooking parameter on the cooking device handling the food to be cooked in such a way that the cooking status matching the selected virtual image is at least approximately reached.
  • the one that matches the selected virtual image cooking status can be reached with the completion of a cooking process or with the completion of a specific phase or section of the cooking process.
  • the cooking process or a section thereof can be ended when the cooking state suitable for the selected virtual image has been reached.
  • at least one other action can then be triggered, for example a message can be issued to a user
  • the at least one cooking parameter associated with the selected virtual image is automatically adopted by the cooking device when the virtual image is selected. In this way, a particularly user-friendly possibility is provided to control a cooking sequence, in particular to achieve a desired cooking state of the food to be cooked.
  • the cooking temperature can include, for example, a cooking space temperature of a cooking space, a core temperature of a food to be cooked and / or a temperature of a cooking utensil (such as a pot, a frying pan, a roaster, etc.).
  • the cooking parameters available on a particular cooking device can differ. For example, only the cooking parameters can be left in the simple oven; The cooking space temperature and cooking mode are available, for an oven with a steam generation function, the cooking parameter moisture level, for a cooking device designed to work with a core temperature sensor also the cooking parameter core temperature etc.
  • the cooking device has a microwave functionality (e.g. an independent microwave oven or an oven with microwave functionality) )
  • the cooking parameter microwave power can be available, etc.
  • the power level associated with a hotplate and / or a temperature of a cookware and / or a temperature of a food item can be available etc.
  • At least one cooking parameter can be specified by the user. This makes it possible for the user to specify such cooking parameters for the provision of the at least one virtual image that are required for the successful and / or quick preparation of the food to be cooked. By means of the selection of the virtual image, in particular at least one cooking parameter can then be made available or automatically adopted to a user, which can still be freely selected or varied.
  • a user of an oven can specify a desired operating mode and cooking temperature, but can select a remaining cooking time by selecting a virtual image.
  • the camera can be integrated in the oven and / or can be arranged outside the oven and then e.g. be directed into the cooking space through a viewing window of a cooking space door.
  • a user of an oven can stipulate a desired operating mode and remaining cooking time, but can select a cooking temperature by selecting a virtual image.
  • a user of an oven with a steam cooking function can specify a desired operating mode, cooking temperature and cooking space humidity, but can select a remaining cooking time by selecting a virtual image.
  • a user of an oven can specify a desired operating mode and cooking temperature, but can select a target core temperature by selecting a virtual image.
  • a user of a cooktop can specify a desired power level for a specific cooktop, but can select a remaining cooking time by selecting a virtual image.
  • the camera can be integrated, for example, in a cooker or extractor hood.
  • a user enters a type of the food to be cooked before the at least one virtual image is made available (for example comprising a type of the at least one food to be cooked, a type of preparation, etc.), for example via a user interface of a cooking device or a user terminal. This makes it possible to provide virtual images that represent the cooking condition of the food in a particularly precise approximation.
  • the real image that is recorded in the recorded image is automatically identified by means of the recorded real image, e.g. by means of object recognition. This is a particularly user-friendly way of determining the type of food to be treated or treated. In a further training, a user can check the information about the food to be recognized by the automatic identification of the food to be cooked, and change or correct it if necessary.
  • the at least one virtual image is made available for selection, further images are taken after the selection of a virtual image by means of the camera, and at least one action is triggered when an image recorded by the camera matches the selected virtual image is present, possibly within a predetermined similarity range.
  • the similarity range corresponds in particular to a bandwidth or a target corridor that is assigned to the selected virtual image.
  • the similarity range can be fixed or can be changed or set by a user.
  • the at least one action can be an output of e.g.
  • the image comparison can be carried out by means of a data processing device which is part of the cooking device or which is provided by an entity external to the device which is data-technically coupled to the camera, e.g. by means of a network server or the so-called “cloud” (cloud-based data processing device).
  • a data processing device which is part of the cooking device or which is provided by an entity external to the device which is data-technically coupled to the camera, e.g. by means of a network server or the so-called “cloud” (cloud-based data processing device).
  • At least one action is triggered when a degree of browning of the image captured by the camera matches a degree of browning of the selected virtual image, possibly within a predetermined similarity range.
  • the camera can also be used as an opti shear tanning sensor can be used. If the degree of browning of the real item to be cooked thus reaches the degree of browning of the item to be cooked shown in the virtual image or a range of the degree of browning of the item to be cooked shown in the virtual image, the at least one action can be triggered.
  • a volume and / or shape of the food which is useful e.g. for preparing souffles, bread dough, etc.), its texture, etc.
  • Possible cooking sections or cooking phases can relate, for example, to the rising of dough (e.g. bread dough), drying of the food to be cooked and / or browning.
  • the at least one virtual image is calculated from the real image captured by the camera.
  • the calculation can be carried out using an appropriately configured (e.g. programmed) data processing device. This can be the data processing device by means of which the image comparison is also carried out.
  • the virtual image can, for example, be calculated or derived from the real image in such a way that colors of the cooking product shown in the real image or of different cooking products shown in the real image are adapted to a cooking progress. In this way, a degree of browning of the food or items to be cooked can be adapted to a future cooking time in the virtual image.
  • the virtual image can be calculated or derived from the real image in such a way that a change in shape of the food to be cooked is calculated.
  • the calculation of the virtual images can be carried out using suitable algorithms. In a further development, these algorithms can use characteristic curves specific to the food to be cooked and parameters that depend on the food. Alternatively or additionally, the algorithms can work or run in the manner of neural networks, in particular using so-called "deep learning”. In a further development, the algorithms can use the real images to adapt or change for a specific user or user group in a self-learning manner.
  • the at least one virtual image is determined from an image stored in a database, in particular corresponds to an image stored in a database.
  • object processing of a food item recognized in the real image can advantageously be dispensed with, which reduces the computational effort.
  • the images stored in a database can be referred to as reference images.
  • the reference images may have been taken beforehand or outside of the above method using a camera, e.g. by a manufacturer of a cooking appliance, a cooking studio, a user, etc.
  • the virtual images can correspond to reference images which are at different cooking times show recorded reference baked chicken that has been baked with the same or similar preset cooking parameters.
  • the later cooking time can be set by the user. This achieves the advantage that a user can view a virtual image of the food to be cooked, in particular recognized, in the real image at a later cooking time determined by him. If, for example, a user wants to see what the food will likely look like in five minutes, he can specify "5 minutes" as the later cooking time and then receives a corresponding virtual image. The user can then trigger at least one action (e.g. set the five minutes as the remaining cooking time), but does not need it. A user can also set their time steps for several virtual images. It is an embodiment that the image recorded by the camera and the at least one virtual image show the food to be cooked from the same point of view. This advantageously facilitates an image comparison.
  • the image taken by the camera and the at least one virtual image show the food to be cooked from a different point of view.
  • This has the advantage that different views of the food to be cooked can be provided to a user.
  • the views at different viewing angles can be calculated and / or provided from reference images.
  • the object is also achieved by a cooking device with a cooking space and at least one camera directed into the cooking space, the cooking device being set up to carry out the method as described above.
  • the cooking appliance can be designed analogously to the method and has the same advantages.
  • the cooking device is an oven, stove, microwave oven, steam cooker or any combination thereof, e.g. an oven with microwave and / or steam generation functionality.
  • the cooking device is set up to carry out the method as described above in that the cooking device is set up to carry out the method autonomously.
  • the cooking device has a corresponding data processing device.
  • a cooking device system comprising a cooking device with a cooking space and a camera directed into the cooking space and a data processing device (for example cloud-based) which is coupled to the cooking device via a data network, the cooking device being set up for this purpose, to transfer images recorded by the camera to the data processing device, and to set up the data processing device to provide at least one virtual image of the item to be cooked, which represents a cooking state of the previously recorded item to be cooked at a later cooking time, and to transfer it to the cooking device.
  • the cooking appliance system can be designed analogously to the method and has the same advantages.
  • the cooking appliance can be used for data coupling via the data network with a communication module such as a WLAN module, Bluetooth module and / or Ethernet module or the like. be equipped.
  • a cooking device system comprising a cooking device and at least one camera for recording food to be cooked by the cooking device, the cooking device being set up to transmit images recorded by the camera to the data processing device and the data processing device being set up to provide at least one virtual image of the food to be cooked, which represents a cooking state of the food to be cooked at a later cooking time, and to transmit it to the cooking appliance.
  • the cooking appliance system can be designed analogously to the method and has the same advantages.
  • This cooking device system has the advantage that it can also be used on cooking devices that do not have a lockable cooking space and possibly also do not have a camera themselves, e.g. on hobs.
  • the camera can therefore be integrated into the cooking appliance or be an independent camera.
  • a possible example of such a cooking appliance system comprises a cooktop and a cooker or extractor hood, wherein the camera can be arranged on the extractor hood.
  • the camera is aimed at the cooktop or the cooktop is in the field of view of the camera.
  • the camera can then take a real picture of one in a pan, a pot or the like. Record the food to be cooked and provide appropriate virtual images.
  • the virtual images can be provided, viewed and / or selected on the cooking device and / or on a suitably designed (e.g. programmed) user terminal.
  • the cooking devices described above are in particular household appliances.
  • the oven 1 shows a sketch of a cooking appliance system 1 with an oven 2 as the cooking appliance.
  • the oven 2 has a cooking space 3 in which the food G (one or more food or dishes) can be treated.
  • the oven 2 can also have a microwave functionality and / or a steam generation functionality for the cooking chamber 3.
  • the operation of the oven 2 can be controlled by means of a control device 4, which is also connected in terms of data technology to a camera 5 directed into the cooking space 3, a user interface part 6 and at least one communication module 7.
  • the camera 5 can be used to record real images Br of the food item G in the cooking space 3.
  • the camera 5 is in particular a digital camera.
  • the camera 5 is in particular a color camera.
  • the real images Br are transmitted from the camera 5 to the control device 4. In a further development, they can be forwarded by the control device 4 to a particularly touch-sensitive screen 8 of the user interface parts 6 for viewing.
  • the user interface 6 also serves to receive user settings and to forward them to the control device 4.
  • a user can also set desired cooking parameters for a cooking sequence or section thereof via the user interface 6 and enter assumptions or information necessary for providing at least one virtual image Bv.
  • the at least one communication module 7 enables the oven 2 to be connected to an external data processing device 9, for example via a data network 10.
  • the communication module 7 can be a WLAN module, for example.
  • the data processing device 9 can be located in a server (not shown) or can be cloud-based.
  • the owner of the data processing device 9 can be the manufacturer of the oven 2.
  • the at least one communication module 7 also enables the oven 2 to be connected to a user terminal 11, in particular to a mobile user terminal such as a smartphone. This data-technical coupling can also take place via the data network 10, for example by means of the WLAN module.
  • the communication module 6 can, however, be set up for direct data coupling with the user terminal 11, for example as a Bluetooth module. This enables remote control of the oven 2 via the user terminal 11.
  • a user can also set the cooking parameters desired for a cooking sequence or section thereof on the user terminal 11 and enter the assumptions or information necessary to provide at least one virtual image Bv.
  • the user terminal 11 can be connected to the data processing device 9 via the data network 10, e.g. by running a corresponding application program on the user terminal 11.
  • the oven 2 is in particular set up to transmit or send the real images Br recorded by the camera 5 to the data processing device 9. It can also be set up to transmit the real images Br recorded by the camera 5 to the To transfer user terminal 1 1.
  • the data processing device 9 is set up to provide at least one virtual image Bv of the cooking product G, which represents a cooking state of the previously recorded cooking product G at a later cooking time than the time of the recording of the real image Br, and on the oven 2 and / or to transmit the user terminal 11.
  • a user has loaded the cooking item G into the cooking space 3, set 2 cooking parameters on the oven and then activates the method. He can activate the method via the touch-sensitive screen 8 of the user interface 6 and / or via the user terminal 11.
  • the user gives at least one fixed cooking parameter of the oven 2 and at least one cooking parameter to be varied on the touch-sensitive screen 8 of the user interface parts 6 or via the user terminal 11 (for example via a corresponding application program or "app") a.
  • the user can specify a cooking mode and a cooking space temperature of the oven 2 and set the cooking time as variable.
  • the user can set the fixed cooking parameters on the oven 2.
  • the user selects only the at least one cooking parameter to be varied.
  • a step S3 the camera 5 records a real image Br of the cooking space 3, in which the food G is shown.
  • a step S4 the real image Br is transmitted from the oven 2 to the data processing device 9.
  • the data processing device 9 identifies the food item G that is shown in the real image Br, e.g. by means of object recognition.
  • a step S6 the data processing device 9 generates virtual images Bv.
  • the food to be cooked G has been processed in such a way that it simulates or simulates the food to be cooked G at different values of the cooking parameter to be varied, here, for example, in relation to the cooking time.
  • an image sequence of virtual images Bv of the cooking product G can be created in particular, which simulate or emulate the state of the cooking product G as the cooking times progressing.
  • twelve virtual images Bv can be generated, which correspond to a respective progress of the cooking time of five minutes.
  • a user can, e.g. In step S2, enter a number of the virtual images Bv, a time interval between successive virtual images Bv and / or a maximum value of the cooking time.
  • the virtual images Bv are transmitted from the data processing device 9 to the user terminal 11 and / or to the touch-sensitive screen 8 of the oven 2 for viewing by a user.
  • the user can now view the virtual images Bv and select the virtual image Bv (for example by touching the touch-sensitive screen 8) that comes closest to the desired cooking result, for example in relation to a degree of browning.
  • the virtual image Bv at least one cooking parameter is thus provided for the oven, which leads to a cooking state which corresponds to the cooking state of the food item G in the selected virtual image Bv.
  • a step S9a when the virtual image Bv is selected, the associated value of the variable cooking parameter (here: the cooking time) is transferred to the oven 2 automatically or triggered by a user or taken over from the oven 2 and thus the oven 2 is set to this cooking time .
  • this cooking time is reached, at least one action is triggered, e.g. the cooking process or a certain cooking phase ends.
  • a state value here, for example, a degree of browning
  • the food item G of the variable cooking parameter shown in the selected virtual image Bv is transferred to the oven 2 or taken over from the oven 2.
  • the oven 2 can then use the camera 5, in particular at regular intervals, to take real images Br of the food G in the cooking space 3 and to monitor the food G for its degree of browning. If the desired degree of browning has been reached (at least within a similarity range, i.e. not necessarily exactly), at least one action is triggered, e.g. the cooking process or a certain cooking phase ends.
  • an image comparison can be carried out between the real images Br and the selected virtual image Bv in order to determine the degree of browning.
  • the picture comparison can e.g. be carried out by the control unit 4 and / or by the data processing device 9.
  • the image Br recorded by the camera 5 and the at least one virtual image Bv can show the food G from a different point of view.
  • the virtual images Bv in step S6 can be reference images stored in a database 12 coupled with the data processing device 9 or integrated in the data processing device 9.
  • 3 shows a real image Br (tO) taken at a time tO, a virtual image Bv (t1) of food item G intended for a subsequent time t1 with t1> tO and a virtual image determined for a subsequent time t2 with t2> t1 Image Bv (t2).
  • t2 t1 + 30 min
  • t1 t0 + 30 min.
  • the associated food G is shown here, for example, as a vegetable leaf.
  • the virtual images Bv (t1) and B (v2) are e.g. was calculated from the real image Br (tO) using an algorithm.
  • the algorithm is designed to adapt a degree of browning, a shape and / or a texture of the food item G shown in the real image Br (tO) under predetermined cooking parameters such as the cooking space temperature and cooking mode for the times t1 and t2.
  • the images shown can all be images retrieved from a database 12, which show food to be cooked G, which corresponds to a type of food to be cooked, which has been identified in a previously taken real image (not shown) or has been specified by a user.
  • FIG. 4 shows a sketch of a further real image Bv (tO) and from it virtual images Bv (T1, t1) and Bv (T1, t2) determined for a cooking space temperature T1 and virtual images Bv (intended for a cooking space temperature T2) T2, t1) and Bv (T2, t2).
  • the cooking space temperature and the cooking time are variable cooking parameters that have been selected by the user for variation.
  • tO ⁇ t1 ⁇ t2.
  • the virtual images Bv show different degrees of browning depending on the cooking space temperatures T1, T2 and cooking times t1, t2 selected by the user.
  • a user can select an image Bv from the virtual images Bv, and the degree of browning shown therein is adopted as the target or target value for the real food for the oven 2.
  • the camera 5 can then be used as an optical browning sensor, for example to end the cooking process or an associated browning phase when the browning degree of the real food item G has reached the browning degree shown in the selected virtual image (in particular within a similarity band or range) .
  • the present invention is not limited to the exemplary embodiment shown.
  • "a”, “a” etc. can be understood to mean a single number or a plurality, in particular in the sense of "at least one" or “one or more” etc., as long as this is not explicitly excluded, eg by the expression "exactly one” etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Electric Ovens (AREA)
  • Electric Stoves And Ranges (AREA)

Abstract

The invention relates to a method (S1-S8, S9a, S9b) for preparing a cooking product (G). A camera (5) is used to capture (S3) at least one image (Br) of a cooking product, and at least one virtual image (Bv) of the cooking product is provided, said virtual image representing (S7) the cooking state of the previously captured cooking product at a later cooking time. The invention also relates to a cooking device system (1) having a cooking device (2) with a cooking chamber (3), a camera oriented towards the cooking chamber (3), and a data processing device (9) which is coupled to the cooking device via a data network (10). The cooking device is designed to transmit images (Br) captured by the camera to the data processing device, and the data processing device is designed to provide at least one virtual image (Bv) of the cooking product, said virtual image representing the cooking state of the previously captured cooking product at a later cooking time, and transmit said image to the cooking device. In particular, the invention can be advantageously applied to the process of preparing a cooking product in an oven. In particular, the cooking device is a domestic appliance.

Description

Verfahren zum Zubereiten von Gargut, Gargerät und Gargerätesystem  Process for preparing food to be cooked, cooking device and cooking device system
Die Erfindung betrifft ein Verfahren zum Zubereiten von Gargut, bei dem mittels einer Kamera ein Bild eines Garguts aufgenommen wird. Die Erfindung betrifft auch ein Garge- rät mit einem Garraum und einer in den Garraum gerichteten Kamera, wobei das Garge- rät dazu eingerichtet ist, das Verfahren durchzuführen. Die Erfindung betrifft zudem Gar- gerätesystem, aufweisend ein Gargerät mit einem Garraum und einer in den Garraum gerichteten Kamera sowie einer mit dem Gargerät über ein Datennetzwerk gekoppelten Datenverarbeitungseinrichtung, wobei das Gargerät dazu eingerichtet ist, von der Kamera aufgenommene Bilder auf die Datenverarbeitungseinrichtung zu übertragen. Die Erfin dung betrifft ferner Gargerätesystem, aufweisend ein Gargerät und mindestens eine Ka- mera zum Aufnehmen von durch das Gargerät zu garendem Gargut, wobei das Gargerät dazu eingerichtet ist, von der Kamera aufgenommene Bilder auf die Datenverarbeitungs- einrichtung zu übertragen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf ein Zubereiten von Gargut in einem Ofen. Das Gargerät ist insbesondere ein Haushaltsgerät. The invention relates to a method for preparing food to be cooked, in which an image of a food to be cooked is recorded by means of a camera. The invention also relates to a cooking device with a cooking space and a camera directed into the cooking space, the cooking device being set up to carry out the method. The invention also relates to a cooking device system comprising a cooking device with a cooking space and a camera directed into the cooking space and a data processing device coupled to the cooking device via a data network, the cooking device being set up to transmit images recorded by the camera to the data processing device. The invention further relates to a cooking device system, comprising a cooking device and at least one camera for receiving food to be cooked by the cooking device, the cooking device being set up to transmit images recorded by the camera to the data processing device. The invention is particularly advantageously applicable to the preparation of food to be cooked in an oven. The cooking appliance is in particular a household appliance.
DE 10 2015 107 228 A1 offenbart ein Verfahren zum Steuern zumindest eines Teilpro- zesses wenigstens eines Garprozesses in einem Gargerät. Es werden relevante Daten für zumindest einen Teilprozess eines Garprozesses erfasst, insbesondere Details des zu garenden Garguts sowie Zielparameter. Die Daten werden an ein Simulationsmodul ge- schickt. Das Simulationsmodul simuliert den zumindest einen Teilprozess, mit dem ein vom Benutzer gewünschter Zustand des zu garenden Garguts erhalten wird. Die zum Ausführen des Garprozesses relevanten Prozessdaten werden an ein Gargerät geschickt. DE 10 2015 107 228 A1 discloses a method for controlling at least one partial process of at least one cooking process in a cooking device. Relevant data for at least one sub-process of a cooking process are recorded, in particular details of the food to be cooked and target parameters. The data are sent to a simulation module. The simulation module simulates the at least one sub-process with which the desired state of the food to be cooked is obtained. The process data relevant for executing the cooking process is sent to a cooking device.
EP 1 980 791 A2 offenbart ein Gargerät mit einer Bräunungssensorvorrichtung und einer Elektronikeinheit. Es wird vorgeschlagen, dass mittels der Elektronikeinheit wenigstens ein Bräunungsgrad eines Garguts einer Ausgabeeinheit zur Ausgabe an einen Bediener zuführbar ist. Hieraus kann beispielsweise die noch verbleibende Garzeit berechnet wer- den, wobei auch die Einschubhöhe des Garguts, also der Abstand zwischen Gargut und Heizelement berücksichtigt werden kann. Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit für einen Nutzer bereitzustellen, ein gewünschtes Garergebnis auszuwählen. EP 1 980 791 A2 discloses a cooking appliance with a browning sensor device and an electronics unit. It is proposed that at least one degree of browning of a food item can be fed to an output unit for output to an operator by means of the electronics unit. The remaining cooking time can be calculated from this, for example, whereby the insertion height of the food to be cooked, ie the distance between the food to be cooked and the heating element, can also be taken into account. It is the object of the present invention to at least partially overcome the disadvantages of the prior art and in particular to provide an improved possibility for a user to select a desired cooking result.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteil- hafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen. This object is achieved in accordance with the features of the independent claims. Advantageous embodiments are the subject of the dependent claims, the description and the drawings.
Die Aufgabe wird gelöst durch ein Verfahren zum Zubereiten von Gargut, bei dem mittels einer Kamera ein Bild eines Garguts aufgenommen wird und mindestens ein virtuelles Bild des Garguts bereitgestellt wird, das einen Garzustand des zuvor aufgenommenen Garguts zu einem späteren Garzeitpunkt darstellt. The object is achieved by a method for preparing food to be cooked, in which an image of a food to be cooked is recorded by means of a camera and at least one virtual image of the food to be cooked is provided which represents a cooking state of the food to be cooked previously at a later cooking time.
Dadurch ergibt sich der Vorteil, dass ein Nutzer einen Zustand von Gargut zu zukünftigen Zeitpunkten durch Ansicht des mindestens einen virtuellen Bilds zumindest angenähert betrachten kann. Dies wiederum ermöglicht es ihm vorteilhafterweise, einen für ihn besten Zustand des Garguts optisch auszuwählen und einen Garablauf daran anzupassen. So wiederum wird eine besonders hohe Nutzerfreundlichkeit bei der Zubereitung von Gargut erreicht. This has the advantage that a user can at least approximate a state of the food to be cooked at future times by viewing the at least one virtual image. This in turn advantageously enables him to optically select a state of the food that is best for him and to adapt a cooking sequence to it. This in turn ensures a particularly high level of user-friendliness when preparing food.
Unter einer Kamera kann jede Bildaufnahmeeinrichtung verstanden werden, welche dazu eingerichtet ist ein ("reales") Bild des Garguts aufzunehmen. Die Kamera ist im für einen Menschen sichtbaren Spektralbereich empfindlich, insbesondere nur in dem sichtbaren Spektralbereich empfindlich (also z.B. keine oder keine reine IR-Kamera). A camera can be understood to mean any image recording device which is set up to record a ("real") image of the food to be cooked. The camera is sensitive in the spectral range visible to a person, in particular only sensitive in the visible spectral range (e.g. no or no pure IR camera).
Unter einem "virtuellen" Bild wird insbesondere ein Bild verstanden, das nicht dem von der Kamera aufgenommenen Bild als solchem entspricht. Ein virtuelles Bild kann z.B. ein aus dem aufgenommenen Bild durch Bildverarbeitung abgeleitetes oder verändertes Bild, ein aus einer Datenbank abgerufenes Bild eines Garguts (aber nicht genau des durch die Kamera aufgenommenen Garguts) usw. sein. A “virtual” image is understood in particular to mean an image that does not correspond to the image recorded by the camera as such. A virtual image can e.g. an image derived or modified from the recorded image by image processing, an image of a food item (but not exactly the food item recorded by the camera) retrieved from a database, etc.
Das Bereitstellen des virtuelles Bilds umfasst insbesondere die Möglichkeit, das mindes- tens eine virtuelle Bild auf einem Bildschirm darzustellen. Der Bildschirm kann ein Bild schirm eines Gargeräts, insbesondere mittels dessen das Gargut zubereitet wird, und/oder ein Bildschirm eines Nutzerendgeräts wie eines Smartphones, Tablet-PCs, Lap- top-PCs, Desktop-PCs usw. sein. Der Bildschirm ist insbesondere ein berührungsemp- findlicher Bildschirm, so dass ein dargestelltes virtuelles Bild betätigt werden kann, um es auszuwählen, z.B. um mindestens eine mit diesem virtuellen Bild zusammenhängende Aktion auszulösen. The provision of the virtual image particularly includes the possibility of displaying the at least one virtual image on a screen. The screen can be a screen of a cooking device, in particular by means of which the food is cooked, and / or a screen of a user terminal such as a smartphone, tablet PC, laptop PC, desktop PC etc. The screen is in particular a touch-sensitive screen, so that a displayed virtual image can be actuated in order to select it, for example in order to trigger at least one action associated with this virtual image.
Es ist eine Weiterbildung, dass einem Nutzer mehrere virtuelle Bilder zur Ansicht bereit- gestellt werden, wobei die virtuellen Bilder insbesondere unterschiedlichen Werten min- destens eines Garparameters entsprechen, z.B. einer Gardauer und/oder einer Gartem- peratur. In anderen Worten kann einem Nutzer eine Mehrzahl von Bilder zur Ansicht be- reitgestellt werden, die eine unterschiedliche Gargeschichte darstellen. Der Nutzer kann ein virtuelles Bild auswählen, um dessen Garparameter angezeigt zu bekommen und/oder um zumindest einen Teil der veränderlichen oder variablen Garparameter in ein Gargerät zu übernehmen, wie weiter unten genauer dargestellt wird. It is a further development that several virtual images are made available to a user for viewing, the virtual images corresponding in particular to different values of at least one cooking parameter, e.g. a cooking time and / or a cooking temperature. In other words, a plurality of images can be made available to a user for viewing, which represent a different cooking history. The user can select a virtual image in order to display its cooking parameters and / or to transfer at least some of the variable or variable cooking parameters to a cooking device, as will be shown in more detail below.
Das obige Verfahren kann in einer Weiterbildung von einem Nutzer ausgelöst oder gestar- tet werden, z.B. durch Betätigen eines entsprechenden Betätigungsfelds an einem Garge- rät oder an einem Nutzerendgerät (beispielsweise über ein entsprechendes Applikations- programm). Der Nutzer kann in einer Weiterbildung das Verfahren zu einem beliebigen Zeitpunkt, insbesondere vor oder während eines Garbetriebs oder Garablaufs starten. Das von der Kamera aufgenommene reale Bild kann folglich vor Beginn eines Garablaufs und/oder während eines Garablaufs aufgenommen werden. Es können auch mehrere reale Bilder zu unterschiedlichen Zeitpunkten aufgenommen werden. In a further development, the above method can be triggered or started by a user, e.g. by actuating a corresponding actuation field on a cooking device or on a user terminal (for example via a corresponding application program). In a further development, the user can start the method at any time, in particular before or during a cooking operation or a cooking sequence. The real image recorded by the camera can consequently be recorded before the start of a cooking process and / or during a cooking process. Several real images can also be taken at different times.
Es ist eine Ausgestaltung, dass das mindestens eine virtuelle Bild einem Nutzer (z.B. ei- nes das Gargut zubereitenden Gargeräts) zur Auswahl bereitgestellt wird und mit Auswahl eines virtuellen Bilds mindestens ein Garparameter für das Gargerät bereitgestellt wird, der zu einem Garzustand führt, welcher dem Garzustand des Garguts in dem ausgewähl- ten virtuelle Bild entspricht. So wird der Vorteil erreicht, dass ein Nutzer einen gewünsch- ten zukünftigen Zustand oder Endzustand des Garguts anhand eines virtuellen Bilds aus- suchen oder auswählen kann und folgend durch die Auswahl zumindest teilautomatisch mindestens ein Garparameter an dem das Gargut behandelnden Gargeräts so eingestellt wird, dass der zu dem ausgewählten virtuellen Bild passende Garzustand zumindest an- nähernd erreicht wird. Insbesondere kann der zu dem ausgewählten virtuellen Bild pas- sende Garzustand mit Beendigung eines Garablaufs oder mit Beendigung einer bestimm- ten Phase oder Abschnitt des Garablaufs erreicht werden. In anderen Worten kann der Garablauf oder ein Abschnitt davon beendet werden, wenn der zu dem ausgewählten virtuellen Bild passende Garzustand erreicht worden ist. Alternativ oder zusätzlich kann dann mindestens eine andere Aktion ausgelöst werden, z.B. ein Hinweis an einer Nutzer ausgegeben werden It is an embodiment that the at least one virtual image is made available to a user for selection (for example a cooking appliance preparing the food to be cooked) and at least one cooking parameter is provided for the cooking appliance when a virtual image is selected, which leads to a cooking state which leads to the cooking Cooking status of the food in the selected virtual image corresponds. This achieves the advantage that a user can search or select a desired future state or final state of the food to be cooked on the basis of a virtual image and then at least partially automatically sets at least one cooking parameter on the cooking device handling the food to be cooked in such a way that the cooking status matching the selected virtual image is at least approximately reached. In particular, the one that matches the selected virtual image cooking status can be reached with the completion of a cooking process or with the completion of a specific phase or section of the cooking process. In other words, the cooking process or a section thereof can be ended when the cooking state suitable for the selected virtual image has been reached. As an alternative or in addition, at least one other action can then be triggered, for example a message can be issued to a user
Es ist eine Ausgestaltung, dass der zu dem ausgewählten virtuellen Bild zugehörige min- destens eine Garparameter mit Auswahl des virtuellen Bilds automatisch von dem Garge- rät übernommen wird. So wird eine besonders nutzerfreundliche Möglichkeit bereitgestellt, einen Garablauf zu steuern, insbesondere einen gewünschten Garzustand von Gargut zielgenau zu erreichen. It is an embodiment that the at least one cooking parameter associated with the selected virtual image is automatically adopted by the cooking device when the virtual image is selected. In this way, a particularly user-friendly possibility is provided to control a cooking sequence, in particular to achieve a desired cooking state of the food to be cooked.
Es ist eine Ausgestaltung, dass der mindestens eine Garparameter mindestens einen Garparameter aus der Gruppe It is an embodiment that the at least one cooking parameter from the group at least one cooking parameter
- Restgardauer;  - remaining cooking time;
- Gartemperatur;  - cooking temperature;
- Garbetriebsart (z.B. Unterhitze, Oberhitze, Grillbetriebsart, Heißluft usw.)  - Cooking mode (e.g. bottom heat, top heat, grill mode, hot air, etc.)
- Feuchtigkeitsgrad;  - moisture level;
- Drehzahl eines Umluftgebläses;  - speed of a forced air fan;
- Mikrowellenleistung;  - microwave power;
- Koch stufe  - Cooking level
umfasst. Die Gartemperatur kann beispielsweise eine Garraumtemperatur eines Gar- raums, eine Kerntemperatur eines Garguts und/oder eine Temperatur eines Gargeschirrs (wie eines Topfs, einer Bratpfanne, eines Bräters usw.) umfassen. includes. The cooking temperature can include, for example, a cooking space temperature of a cooking space, a core temperature of a food to be cooked and / or a temperature of a cooking utensil (such as a pot, a frying pan, a roaster, etc.).
Die an einem bestimmten Gargerät zu Verfügung stehenden Garparameter können sich unterscheiden. So können in dem einfachen Backofen nur die Garparameter Restgardau- er; Garraumtemperatur und Garbetriebsart zu Verfügung stehen, bei einem Backofen mit Dampferzeugungsfunktion zusätzlich der Garparameter Feuchtigkeitsgrad, bei einem zur Zusammenarbeit mit einem Kerntemperaturfühler ausgebildeten Gargerät auch der Gar- parameter Kerntemperatur usw. Weist das Gargerät eine Mikrowellenfunktionalität auf (z.B. ein eigenständiger Mikrowellenofen oder ein Backofen mit Mikrowellenfunktionalität) kann der Garparameter Mikrowellenleistung zur Verfügung stehen, usw. Bei einem Koch- feld kann die einer Kochstelle zugehörige Leistungsstufe und/oder eine Temperatur eines Gargeschirrs und/oder eine Temperatur eines Garguts zur Verfügung stehen usw. The cooking parameters available on a particular cooking device can differ. For example, only the cooking parameters can be left in the simple oven; The cooking space temperature and cooking mode are available, for an oven with a steam generation function, the cooking parameter moisture level, for a cooking device designed to work with a core temperature sensor also the cooking parameter core temperature etc. The cooking device has a microwave functionality (e.g. an independent microwave oven or an oven with microwave functionality) ) The cooking parameter microwave power can be available, etc. In the case of a hob, the power level associated with a hotplate and / or a temperature of a cookware and / or a temperature of a food item can be available etc.
Es ist eine Ausgestaltung, dass mindestens ein Garparameter nutzerseitig vorgebbar ist. Dies ergibt die Möglichkeit, solche Garparameter zur Bereitstellung des mindestens einen virtuellen Bilds nutzerseitig vorzugeben, die zur gelungenen und/oder schnellen Zuberei- tung von Gargut vorausgesetzt werden. Mittels der Auswahl des virtuellen Bilds kann dann insbesondere mindestens ein Garparameter einem Nutzer bereitgestellt oder auto- matisch übernommen werden, der noch frei wählbar oder variierbar ist. It is an embodiment that at least one cooking parameter can be specified by the user. This makes it possible for the user to specify such cooking parameters for the provision of the at least one virtual image that are required for the successful and / or quick preparation of the food to be cooked. By means of the selection of the virtual image, in particular at least one cooking parameter can then be made available or automatically adopted to a user, which can still be freely selected or varied.
In einem Beispiel kann ein Nutzer eines Backofens eine gewünschte Betriebsart und Gar- temperatur fest vorgeben, aber eine Restgardauer über die Auswahl eines virtuellen Bilds auswählen. Die Kamera kann in den Backofen integriert sein und/oder außerhalb des Backofens angeordnet sein und dann z.B. durch ein Sichtfenster einer Garraumtür in den Garraum gerichtet sein. In one example, a user of an oven can specify a desired operating mode and cooking temperature, but can select a remaining cooking time by selecting a virtual image. The camera can be integrated in the oven and / or can be arranged outside the oven and then e.g. be directed into the cooking space through a viewing window of a cooking space door.
In einem anderen Beispiel kann ein Nutzer eines Backofens eine gewünschte Betriebsart und Restgardauer fest vorgeben, aber eine Gartemperatur über die Auswahl eines virtuel len Bilds auswählen. In another example, a user of an oven can stipulate a desired operating mode and remaining cooking time, but can select a cooking temperature by selecting a virtual image.
In noch einem anderen Beispiel kann ein Nutzer eines Backofens mit Dampfgarfunktion eine gewünschte Betriebsart, Gartemperatur und Garraumfeuchtigkeit vorgeben, aber eine Restgardauer über die Auswahl eines virtuellen Bilds auswählen. In yet another example, a user of an oven with a steam cooking function can specify a desired operating mode, cooking temperature and cooking space humidity, but can select a remaining cooking time by selecting a virtual image.
In noch einem anderen Beispiel kann ein Nutzer eines Backofens eine gewünschte Be- triebsart und Gartemperatur vorgeben, aber eine Ziel-Kerntemperatur über die Auswahl eines virtuellen Bilds auswählen. In yet another example, a user of an oven can specify a desired operating mode and cooking temperature, but can select a target core temperature by selecting a virtual image.
In noch einem anderen Beispiel kann ein Nutzer eines Kochfelds eine gewünschte Leis- tungsstufe einer bestimmten Kochstelle vorgeben, aber eine Restgardauer über die Aus- wahl eines virtuellen Bilds auswählen. Die Kamera kann in diesem Fall z.B. in eine Esse oder Dunstabzugshaube integriert sein. Es ist eine Weiterbildung, dass ein Nutzer vor Beginn der Bereitstellung des mindestens einen virtuellen Bilds eine Art des Garguts (z.B. umfassend einen Typ des mindestens einen Garguts, eine Zubereitungsart usw.) eingibt, z.B. über eine Nutzerschnittstelle eines Gargeräts oder eines Nutzerendgeräts. Dadurch wird es ermöglicht, virtuelle Bilder bereit- zustellen, welche den Garzustand des Garguts besonders präzise angenähert darstellen. In yet another example, a user of a cooktop can specify a desired power level for a specific cooktop, but can select a remaining cooking time by selecting a virtual image. In this case, the camera can be integrated, for example, in a cooker or extractor hood. It is a further development that a user enters a type of the food to be cooked before the at least one virtual image is made available (for example comprising a type of the at least one food to be cooked, a type of preparation, etc.), for example via a user interface of a cooking device or a user terminal. This makes it possible to provide virtual images that represent the cooking condition of the food in a particularly precise approximation.
Es ist eine Ausgestaltung, dass mittels des aufgenommenen realen Bilds eine Identifizie- rung des in dem aufgenommenen Bild abgebildeten Garguts automatisch vorgenommen wird, z.B. mittels Objekterkennung. Dies ist eine besonders nutzerfreundliche Möglichkeit, eine Art des zu behandelnden oder behandelten Garguts zu bestimmen. In einer Weiter- bildung kann ein Nutzer die durch die automatische Identifizierung des Garguts erkannten Angaben zu dem Gargut überprüfen und ggf. ändern oder korrigieren. It is an embodiment that the real image that is recorded in the recorded image is automatically identified by means of the recorded real image, e.g. by means of object recognition. This is a particularly user-friendly way of determining the type of food to be treated or treated. In a further training, a user can check the information about the food to be recognized by the automatic identification of the food to be cooked, and change or correct it if necessary.
Es ist eine Ausgestaltung, dass das mindestens eine virtuelle Bild zur Auswahl bereitge- stellt wird, nach Auswahl eines virtuellen Bilds mittels der Kamera weitere Bilder aufge- nommen werden und mindestens eine Aktion ausgelöst wird, wenn eine Übereinstimmung eines mittels der Kamera aufgenommenen Bilds mit dem ausgewählten virtuellen Bild vorliegt, ggf. innerhalb eines vorgegebenen Ähnlichkeitsbereichs. Dadurch wird der Vorteil erreicht, dass die Kamera zusätzlich als optischer Zustandssensor genutzt werden kann. Der Ähnlichkeitsbereich entspricht insbesondere einer Bandbreite oder einem Zielkorridor, der dem ausgewählten virtuellen Bild zugeordnet ist. Der Ähnlichkeitsbereich kann fest vorgegeben sein oder durch einen Nutzer änderbar oder einstellbar sein. Die mindestens eine Aktion kann ein Ausgeben eines z.B. akustischen und/oder optischen Hinweises an einen Nutzer umfassen (optional einschließlich einer Ausgabe einer Nachricht an den Nutzer) und/oder ein Beenden des Garablaufs oder einer Garphase oder eines Garab- schnitts davon. Der Bildvergleich kann mittels einer Datenverarbeitungseinrichtung vorge- nommen werden, die Teil des Gargeräts ist oder die durch eine geräteexterne Instanz bereitgestellt wird, welche mit der Kamera datentechnisch gekoppelt ist, z.B. mittels eines Netzwerk-Servers oder der sog. "Cloud" (cloud-basierte Datenverarbeitungseinrichtung). It is an embodiment that the at least one virtual image is made available for selection, further images are taken after the selection of a virtual image by means of the camera, and at least one action is triggered when an image recorded by the camera matches the selected virtual image is present, possibly within a predetermined similarity range. This has the advantage that the camera can also be used as an optical condition sensor. The similarity range corresponds in particular to a bandwidth or a target corridor that is assigned to the selected virtual image. The similarity range can be fixed or can be changed or set by a user. The at least one action can be an output of e.g. include acoustic and / or visual information to a user (optionally including output of a message to the user) and / or an end to the cooking sequence or a cooking phase or a cooking section thereof. The image comparison can be carried out by means of a data processing device which is part of the cooking device or which is provided by an entity external to the device which is data-technically coupled to the camera, e.g. by means of a network server or the so-called "cloud" (cloud-based data processing device).
Es ist eine Ausgestaltung, dass mindestens eine Aktion ausgelöst wird, wenn ein Bräu- nungsgrad des eines mittels der Kamera aufgenommenen Bilds mit einem Bräunungsgrad des ausgewählten virtuellen Bilds übereinstimmt, ggf. innerhalb eines vorgegebenen Ähn- lichkeitsbereichs. Dadurch wird der Vorteil erreicht, dass die Kamera zusätzlich als opti- scher Bräunungssensor genutzt werden kann. Erreicht der Bräunungsgrad des realen Garguts also den Bräunungsgrad des in dem virtuellen Bild dargestellten Garguts bzw. einer Bandbreite des Bräunungsgrads des in dem virtuellen Bild dargestellten Garguts, kann die mindestens eine Aktion ausgelöst werden. It is an embodiment that at least one action is triggered when a degree of browning of the image captured by the camera matches a degree of browning of the selected virtual image, possibly within a predetermined similarity range. This has the advantage that the camera can also be used as an opti shear tanning sensor can be used. If the degree of browning of the real item to be cooked thus reaches the degree of browning of the item to be cooked shown in the virtual image or a range of the degree of browning of the item to be cooked shown in the virtual image, the at least one action can be triggered.
Zusätzlich oder alternativ zu dem Bräunungsgrad können auch noch andere Zustände oder Zustandsänderungen des Garguts überwacht werden, z.B. ein Volumen und/oder eine Form des Garguts (was z.B. zum Zubereiten von Souffles, Brotteig usw. nützlich ist), dessen Textur, usw. In addition or as an alternative to the degree of browning, other states or changes in the state of the food to be cooked can also be monitored, e.g. a volume and / or shape of the food (which is useful e.g. for preparing souffles, bread dough, etc.), its texture, etc.
Es allgemein möglich, die Auswahl eines virtuellen Bilds zur Einstellung mindestens eines Garparameters und/oder zu Steuerung eines Garablaufs oder auch nur eines bestimmten Garabschnitts oder Garphase davon zu nutzen. Mögliche Garabschnitte oder Garphasen können beispielsweise ein Aufgehen von Teig (z.B. Brotteig), eine Trocknung des Garguts und/oder eine Bräunung betreffen. It is generally possible to use the selection of a virtual image for setting at least one cooking parameter and / or for controlling a cooking sequence or even only a specific cooking section or cooking phase thereof. Possible cooking sections or cooking phases can relate, for example, to the rising of dough (e.g. bread dough), drying of the food to be cooked and / or browning.
Es ist eine Ausgestaltung, dass das mindestens eine virtuelle Bild aus dem mittels der Kamera aufgenommenen realen Bild berechnet wird. Dies ergibt den Vorteil, dass das in dem realen Bild aufgenommene Gargut in dem mindestens einen virtuellen Bild beson- ders ähnlich nachgebildet wird, z.B. im Hinblick auf eine konkrete Form, Farbe und/oder Anordnung des Garguts. Dadurch wiederum wird es einem Nutzer besonders leicht ge- macht, einen Garfortschritt des Garguts in dem mindestens einen virtuellen Bild nachzu- vollziehen. Die Berechnung kann mittels einer entsprechend eingerichteten (z.B. pro- grammierten) Datenverarbeitungseinrichtung vorgenommen werden. Dies kann diejenige Datenverarbeitungseinrichtung sein, mittels der auch der Bildvergleich vorgenommen wird. It is an embodiment that the at least one virtual image is calculated from the real image captured by the camera. This gives the advantage that the food to be cooked recorded in the real image is particularly similarly simulated in the at least one virtual image, e.g. with regard to a specific shape, color and / or arrangement of the food. This in turn makes it particularly easy for a user to track the progress of the food in the at least one virtual image. The calculation can be carried out using an appropriately configured (e.g. programmed) data processing device. This can be the data processing device by means of which the image comparison is also carried out.
Das virtuelle Bild kann beispielsweise dergestalt aus dem realen Bild berechnet oder ab- geleitet werden, dass Farben des in dem realen Bild abgebildeten Garguts oder von in dem realen Bild abgebildeten verschiedenen Gargütern an einen Garfortschritt angepasst werden. So kann in dem virtuellen Bild ein Bräunungsgrad des Garguts bzw. der Gargüter an einen zukünftigen Garzeitpunkt angepasst werden. Alternativ oder zusätzlich kann das virtuelle Bild dergestalt aus dem realen Bild berechnet oder abgeleitet werden, dass eine Formänderung des Garguts berechnet wird. Die Berechnung der virtuellen Bilder kann anhand geeigneter Algorithmen durchgeführt werden. Diese Algorithmen können in einer Weiterbildung auf gargutspezifische und gar- parameterabhängige Kennlinien zurückgreifen. Alternativ oder zusätzlich können die Algo- rithmen nach Art neuraler Netzwerke arbeiten oder ablaufen, insbesondere unter Nutzung des sog. "Deep Learning". Die Algorithmen können in einer Weiterbildung die realen Bil der nutzen, um sich für einen bestimmten Nutzer oder eine Nutzgruppe selbstlernend an- zupassen oder zu ändern. The virtual image can, for example, be calculated or derived from the real image in such a way that colors of the cooking product shown in the real image or of different cooking products shown in the real image are adapted to a cooking progress. In this way, a degree of browning of the food or items to be cooked can be adapted to a future cooking time in the virtual image. Alternatively or additionally, the virtual image can be calculated or derived from the real image in such a way that a change in shape of the food to be cooked is calculated. The calculation of the virtual images can be carried out using suitable algorithms. In a further development, these algorithms can use characteristic curves specific to the food to be cooked and parameters that depend on the food. Alternatively or additionally, the algorithms can work or run in the manner of neural networks, in particular using so-called "deep learning". In a further development, the algorithms can use the real images to adapt or change for a specific user or user group in a self-learning manner.
Es ist eine zusätzliche oder alternative Ausgestaltung, dass das mindestens eine virtuelle Bild aus einem in einer Datenbank abgespeicherten Bild bestimmt wird, insbesondere einem in einer Datenbank abgespeicherten Bild entspricht. Dadurch kann vorteilhafter- weise auf eine Objektbearbeitung eines in dem realen Bild erkannten Garguts verzichtet werden, was einen Rechenaufwand verringert. Die in einer Datenbank abgespeicherten Bilder können aus als Referenzbilder bezeichnet werden. Die Referenzbilder können zu- vor bzw. außerhalb des obigen Verfahrens mittels einer Kamera aufgenommen worden sein, z.B. durch einen Hersteller eines Gargeräts, ein Kochstudio, einen Nutzer usw. Wird beispielsweise in dem im Rahmen des Verfahrens aufgenommenen realen Bilds ein Backhähnchen identifiziert oder von einem Nutzer als Gargut angegeben, können die vir tuellen Bilder Referenzbildern entsprechen, welche ein zu unterschiedlichen Garzeitpunk- ten aufgenommenes Referenz-Backhähnchen zeigen, das mit den gleichen oder ähnli chen vorgegebenen Garparametern gebacken worden ist. It is an additional or alternative embodiment that the at least one virtual image is determined from an image stored in a database, in particular corresponds to an image stored in a database. As a result, object processing of a food item recognized in the real image can advantageously be dispensed with, which reduces the computational effort. The images stored in a database can be referred to as reference images. The reference images may have been taken beforehand or outside of the above method using a camera, e.g. by a manufacturer of a cooking appliance, a cooking studio, a user, etc. If, for example, a roast chicken is identified in the real image taken as part of the method or specified by a user as a food to be cooked, the virtual images can correspond to reference images which are at different cooking times show recorded reference baked chicken that has been baked with the same or similar preset cooking parameters.
Es ist eine Ausgestaltung, dass der spätere Garzeitpunkt nutzerseitig einstellbar ist. Dadurch wird der Vorteil erreicht, dass ein Nutzer ein virtuelles Bild des in dem realen Bild abgebildeten, insbesondere erkannten, Garguts zu einem von ihm bestimmten späteren Garzeitpunkt ansehen kann. Falls also beispielsweise ein Nutzer sehen möchte, wie das Gargut wahrscheinlich in fünf Minuten aussehen wird, kann er als späteren Garzeitpunkt "5 Minuten" vorgeben und erhält dann ein entsprechendes virtuelles Bild. Der Nutzer kann dann mindestens eine Aktion auslösen (z.B. die fünf Minuten als Restgardauer festlegen), braucht es aber nicht. Auch kann ein Nutzer bei mehreren virtuellen Bildern deren Zeit schritte einstellen. Es ist eine Ausgestaltung, dass das von der Kamera aufgenommene Bild und das min- destens eine virtuelle Bild das Gargut aus dem gleichen Blickwinkel zeigen. Dies erleich- tert vorteilhafterweise einen Bildvergleich. It is an embodiment that the later cooking time can be set by the user. This achieves the advantage that a user can view a virtual image of the food to be cooked, in particular recognized, in the real image at a later cooking time determined by him. If, for example, a user wants to see what the food will likely look like in five minutes, he can specify "5 minutes" as the later cooking time and then receives a corresponding virtual image. The user can then trigger at least one action (e.g. set the five minutes as the remaining cooking time), but does not need it. A user can also set their time steps for several virtual images. It is an embodiment that the image recorded by the camera and the at least one virtual image show the food to be cooked from the same point of view. This advantageously facilitates an image comparison.
Es ist eine alternative oder zusätzliche Ausgestaltung, dass das von der Kamera aufge- nommene Bild und das mindestens eine virtuelle Bild das Gargut aus einem unterschied- lichen Blickwinkel zeigen. So wird der Vorteil erreicht, dass einem Nutzer verschiedene Ansichten des Garguts bereitstellbar sind. Die Ansichten unter unterschiedlichen Blick winkeln können berechnet und/oder aus Referenzbildern bereitgestellt werden. It is an alternative or additional embodiment that the image taken by the camera and the at least one virtual image show the food to be cooked from a different point of view. This has the advantage that different views of the food to be cooked can be provided to a user. The views at different viewing angles can be calculated and / or provided from reference images.
Die Aufgabe wird auch gelöst durch ein Gargerät mit einem Garraum und mindestens einer in den Garraum gerichteten Kamera, wobei das Gargerät dazu eingerichtet ist, das Verfahren wie oben beschrieben durchzuführen. Das Gargerät kann analog zu dem Ver- fahren ausgebildet werden und weist die gleichen Vorteile auf. The object is also achieved by a cooking device with a cooking space and at least one camera directed into the cooking space, the cooking device being set up to carry out the method as described above. The cooking appliance can be designed analogously to the method and has the same advantages.
Es ist eine Ausgestaltung, dass das Gargerät ein Backofen, Herd, Mikrowellengerät, Dampfgarer oder eine beliebige Kombination davon ist, z.B. ein Backofen mit Mikrowel- len- und/oder Dampferzeugungsfunktionalität. It is an embodiment that the cooking device is an oven, stove, microwave oven, steam cooker or any combination thereof, e.g. an oven with microwave and / or steam generation functionality.
Dass das Gargerät dazu eingerichtet ist, das Verfahren wie oben beschrieben durchzu- führen, kann in einer Weiterbildung umfassen, dass das Gargerät zur autonomen Durch- führung des Verfahrens eingerichtet ist. Dazu weist das Gargerät eine entsprechenden Datenverarbeitungseinrichtung auf. In a further development, the cooking device is set up to carry out the method as described above in that the cooking device is set up to carry out the method autonomously. For this purpose, the cooking device has a corresponding data processing device.
Die Aufgabe wird auch gelöst durch ein Gargerätesystem, aufweisend ein Gargerät mit einem Garraum und einer in den Garraum gerichteten Kamera sowie einer mit dem Gar- gerät über ein Datennetzwerk gekoppelten (z.B. cloud-basierten) Datenverarbeitungsein- richtung, wobei das Gargerät dazu eingerichtet ist, von der Kamera aufgenommene Bilder auf die Datenverarbeitungseinrichtung zu übertragen, und die Datenverarbeitungseinrich- tung dazu eingerichtet, mindestens ein virtuelles Bild des Garguts, das einen Garzustand des zuvor aufgenommenen Garguts zu einem späteren Garzeitpunkt darstellt, bereitzu- stellen und auf das Gargerät zu übertragen. Das Gargerätesystem kann analog zu dem Verfahren ausgebildet werden und weist die gleichen Vorteile auf. Das Gargerät kann zur datentechnischen Kopplung über das Datennetzwerk mit einem Kommunikationsmodul wie einem WLAN-Modul, Bluetooth-Modul und/oder Ethernet- Modul o.ä. ausgerüstet sein. The object is also achieved by a cooking device system comprising a cooking device with a cooking space and a camera directed into the cooking space and a data processing device (for example cloud-based) which is coupled to the cooking device via a data network, the cooking device being set up for this purpose, to transfer images recorded by the camera to the data processing device, and to set up the data processing device to provide at least one virtual image of the item to be cooked, which represents a cooking state of the previously recorded item to be cooked at a later cooking time, and to transfer it to the cooking device. The cooking appliance system can be designed analogously to the method and has the same advantages. The cooking appliance can be used for data coupling via the data network with a communication module such as a WLAN module, Bluetooth module and / or Ethernet module or the like. be equipped.
Die Aufgabe wird auch gelöst durch ein Gargerätesystem, aufweisend ein Gargerät und mindestens eine Kamera zum Aufnehmen von durch das Gargerät zu garendem Gargut, wobei das Gargerät dazu eingerichtet ist, von der Kamera aufgenommene Bilder auf die Datenverarbeitungseinrichtung zu übertragen, und die Datenverarbeitungseinrichtung dazu eingerichtet, mindestens ein virtuelles Bild des Garguts, das einen Garzustand des zuvor aufgenommenen Garguts zu einem späteren Garzeitpunkt darstellt, bereitzustellen und auf das Gargerät zu übertragen. Das Gargerätesystem kann analog zu dem Verfah- ren ausgebildet werden und weist die gleichen Vorteile auf. The object is also achieved by a cooking device system comprising a cooking device and at least one camera for recording food to be cooked by the cooking device, the cooking device being set up to transmit images recorded by the camera to the data processing device and the data processing device being set up to provide at least one virtual image of the food to be cooked, which represents a cooking state of the food to be cooked at a later cooking time, and to transmit it to the cooking appliance. The cooking appliance system can be designed analogously to the method and has the same advantages.
Dieses Gargerätesystem weist den Vorteil auf, dass es auch auf Gargeräte anwendbar ist, die keinen verschließbaren Garraum und ggf. auch selbst keine Kamera aufweisen, z.B. auf Kochfelder. Die Kamera kann also in das Gargerät integriert sein oder eine ei- genständige Kamera sein. Ein mögliches Beispiel für ein solches Gargerätesystem um- fasst ein Kochfeld und eine Esse oder Dunstabzugshaube, wobei die Kamera an der Dunstabzugshaube angeordnet sein kann. Die Kamera ist auf das Kochfeld gerichtet bzw. das Kochfeld befindet sich im Blickfeld der Kamera. Die Kamera kann dann ein reales Bild eines in einer Pfanne, einem Topf o.ä. garenden Garguts aufnehmen und entsprechende virtuelle Bilder bereitstellen. This cooking device system has the advantage that it can also be used on cooking devices that do not have a lockable cooking space and possibly also do not have a camera themselves, e.g. on hobs. The camera can therefore be integrated into the cooking appliance or be an independent camera. A possible example of such a cooking appliance system comprises a cooktop and a cooker or extractor hood, wherein the camera can be arranged on the extractor hood. The camera is aimed at the cooktop or the cooktop is in the field of view of the camera. The camera can then take a real picture of one in a pan, a pot or the like. Record the food to be cooked and provide appropriate virtual images.
Allgemein können die virtuellen Bilder an dem Gargerät und/oder auf einem entsprechend ausgestalteten (z.B. programmierten) Nutzerendgerät bereitgestellt, angesehen und/oder ausgewählt werden. In general, the virtual images can be provided, viewed and / or selected on the cooking device and / or on a suitably designed (e.g. programmed) user terminal.
Die oben beschriebenen Gargeräte sind insbesondere Haushaltsgeräte. The cooking devices described above are in particular household appliances.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbei- spiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird. Fig.1 zeigt eine Skizze eines Haushalts-Gargerätesystems; und The above-described properties, features and advantages of this invention and the manner in which they are achieved can be more clearly understood in connection with the following schematic description of an exemplary embodiment which is explained in more detail in connection with the drawings. 1 shows a sketch of a household cooking appliance system; and
Fig.2 zeigt einen möglichen Ablauf des Verfahrens auf dem Haushalts- Gargerätesystem; 2 shows a possible sequence of the method on the household cooking appliance system;
Fig.3 zeigt ein reales Bild und zwei daraus bestimmte virtuelle Bilder; und  3 shows a real image and two virtual images determined therefrom; and
Fig.4 zeigt eine Skizze eines weiteren realen Bilds und daraus bestimmte virtuelle 4 shows a sketch of another real image and virtual ones determined therefrom
Bilder.  Photos.
Fig.1 zeigt eine Skizze eines Gargerätesystems 1 mit einem Backofen 2 als dem Garge- rät. Der Backofen 2 weist einen Garraum 3 auf, in dem Gargut G (ein oder mehrere Gar- güter oder Speisen) behandelbar ist. Der Backofen 2 kann in einer Weiterbildung außer seinen herkömmlichen Heizarten (Oberhitze, Unterhitze, Grill, Heißluft, Umluft usw.) für den Garraum 3 auch eine Mikrowellenfunktionalität und/oder eine Dampferzeugungsfunk- tionalität aufweisen. Der Betrieb des Backofens 2 ist mittels einer Steuereinrichtung 4 steuerbar, die auch mit einer in den Garraum 3 gerichteten Kamera 5, einer Nutzer- schnittsteile 6 und mit mindestens einem Kommunikationsmodul 7 datentechnisch ver- bunden ist. 1 shows a sketch of a cooking appliance system 1 with an oven 2 as the cooking appliance. The oven 2 has a cooking space 3 in which the food G (one or more food or dishes) can be treated. In addition to its conventional types of heating (top heat, bottom heat, grill, hot air, circulating air, etc.), the oven 2 can also have a microwave functionality and / or a steam generation functionality for the cooking chamber 3. The operation of the oven 2 can be controlled by means of a control device 4, which is also connected in terms of data technology to a camera 5 directed into the cooking space 3, a user interface part 6 and at least one communication module 7.
Mittels der Kamera 5 können reale Bilder Br von in dem Garraum 3 befindlichem Gargut G aufgenommen werden. Die Kamera 5 ist insbesondere eine Digitalkamera. Die Kamera 5 ist insbesondere eine Farbkamera. Die realen Bilder Br werden von der Kamera 5 an die Steuereinrichtung 4 übertragen. Sie können in einer Weiterbildung von der Steuereinrich- tung 4 weiter auf einen insbesondere berührempfindlichen Bildschirm 8 der Nutzerschnitt- steile 6 zur Ansicht weitergeleitet werden. Die Nutzerschnittstelle 6 dient ferner dazu, Nut- zereinstellungen zu empfangen und an die Steuereinrichtung 4 weiterzu leiten. Insbeson- dere kann ein Nutzer über die Nutzerschnittstelle 6 auch für einen Garablauf oder Ab- schnitt davon gewünschte Garparameter einstellen und zur Bereitstellung mindestens eines virtuellen Bilds Bv nötige Annahmen oder Informationen eingeben. The camera 5 can be used to record real images Br of the food item G in the cooking space 3. The camera 5 is in particular a digital camera. The camera 5 is in particular a color camera. The real images Br are transmitted from the camera 5 to the control device 4. In a further development, they can be forwarded by the control device 4 to a particularly touch-sensitive screen 8 of the user interface parts 6 for viewing. The user interface 6 also serves to receive user settings and to forward them to the control device 4. In particular, a user can also set desired cooking parameters for a cooking sequence or section thereof via the user interface 6 and enter assumptions or information necessary for providing at least one virtual image Bv.
Das mindestens eine Kommunikationsmodul 7 ermöglicht eine datentechnische Kopplung des Backofens 2 mit einer externen Datenverarbeitungseinrichtung 9, z.B. über ein Da- tennetzwerk 10. Das Kommunikationsmodul 7 kann z.B. ein WLAN-Modul sein. Die Da- tenverarbeitungseinrichtung 9 kann wie angedeutet in einem Server (o. Abb.) verortet sein oder kann cloud-basiert sein. Der Inhaber der Datenverarbeitungseinrichtung 9 kann der Hersteller des Backofens 2 sein. Das mindestens eine Kommunikationsmodul 7 ermöglicht ferner eine datentechnische Kopplung des Backofens 2 mit einem Nutzerendgerät 11 , insbesondere mit einem mobi- len Nutzerendgerät wie einem Smartphone. Diese datentechnische Kopplung kann eben- falls über das Datennetzwerk 10 erfolgen, z.B. mittels des WLAN-Moduls. Das Kommuni- kationsmodul 6 kann aber zur direkten datentechnischen Kopplung mit dem Nutzerendge- rät 1 1 eingerichtet sein, z.B. als Bluetooth-Modul. Dies ermöglicht eine Fernsteuerung des Backofens 2 über das Nutzerendgerät 11. Insbesondere kann ein Nutzer auch an dem Nutzerendgerät 11 die für einen Garablauf oder Abschnitt davon gewünschten Garpara- meter einstellen und zur Bereitstellung mindestens eines virtuellen Bilds Bv nötige An- nahmen oder Informationen eingeben. The at least one communication module 7 enables the oven 2 to be connected to an external data processing device 9, for example via a data network 10. The communication module 7 can be a WLAN module, for example. As indicated, the data processing device 9 can be located in a server (not shown) or can be cloud-based. The owner of the data processing device 9 can be the manufacturer of the oven 2. The at least one communication module 7 also enables the oven 2 to be connected to a user terminal 11, in particular to a mobile user terminal such as a smartphone. This data-technical coupling can also take place via the data network 10, for example by means of the WLAN module. The communication module 6 can, however, be set up for direct data coupling with the user terminal 11, for example as a Bluetooth module. This enables remote control of the oven 2 via the user terminal 11. In particular, a user can also set the cooking parameters desired for a cooking sequence or section thereof on the user terminal 11 and enter the assumptions or information necessary to provide at least one virtual image Bv.
Das Nutzerendgerät 1 1 kann über das Datennetzwerk 10 mit der Datenverarbeitungsein- richtung 9 verbunden sein, z.B. durch Ablaufenlassen eines entsprechenden Applikati onsprogramms auf dem Nutzerendgerät 11. The user terminal 11 can be connected to the data processing device 9 via the data network 10, e.g. by running a corresponding application program on the user terminal 11.
Der Backofen 2 ist insbesondere dazu eingerichtet, die von der Kamera 5 aufgenomme- nen realen Bilder Br an die Datenverarbeitungseinrichtung 9 zu übertragen oder zu sen- den.. Er kann auch dazu eingerichtet sein, die von der Kamera 5 aufgenommenen realen Bilder Br an das Nutzerendgerät 1 1 zu übertragen. The oven 2 is in particular set up to transmit or send the real images Br recorded by the camera 5 to the data processing device 9. It can also be set up to transmit the real images Br recorded by the camera 5 to the To transfer user terminal 1 1.
Die Datenverarbeitungseinrichtung 9 ist dazu eingerichtet, mindestens ein virtuelles Bild Bv des Garguts G, das einen Garzustand des zuvor aufgenommenen Garguts G zu einem späteren Garzeitpunkt als dem Zeitpunkt der Aufnahme des realen Bilds Br darstellt, be- reitzustellen und auf den Backofen 2 und/oder das Nutzerendgerät 11 zu übertragen. The data processing device 9 is set up to provide at least one virtual image Bv of the cooking product G, which represents a cooking state of the previously recorded cooking product G at a later cooking time than the time of the recording of the real image Br, and on the oven 2 and / or to transmit the user terminal 11.
Fig.2 zeigt einen möglichen Ablauf des Verfahrens zum Zubereiten von Gargut G auf dem Haushalts-Gargerätesystem 1. 2 shows a possible sequence of the method for preparing food G on the household cooking appliance system 1.
In einem Schritt S1 hat ein Nutzer den Garraum 3 mit dem Gargut G beschickt, an dem Backofen 2 Garparameter eingestellt und aktiviert dann das Verfahren. Er kann das Ver- fahren über den berührempfindlichen Bildschirm 8 der Nutzerschnittstelle 6 und/oder über das Nutzerendgerät 1 1 aktivieren. In einem Schritt S2 gibt der Nutzer an dem berührempfindlichen Bildschirm 8 der Nutzer- schnittsteile 6 oder über das Nutzerendgerät 11 (z.B. über ein entsprechendes Applikati onsprogramm oder "App") mindestens einen fest vorgegebenen Garparameter des Back- ofens 2 und mindestens einen zu variierenden Garparameter ein. Beispielhaft kann der Nutzer eine Garbetriebsart und eine Garraumtemperatur des Backofens 2 vorgeben und die Gardauer als variabel festlegen. Alternativ kann der Nutzer die fest vorgegebenen Garparameter an dem Backofen 2 einstellen. In noch einer Alternative wählt der Nutzer nur den mindestens einen zu variierenden Garparameter aus. In a step S1, a user has loaded the cooking item G into the cooking space 3, set 2 cooking parameters on the oven and then activates the method. He can activate the method via the touch-sensitive screen 8 of the user interface 6 and / or via the user terminal 11. In a step S2, the user gives at least one fixed cooking parameter of the oven 2 and at least one cooking parameter to be varied on the touch-sensitive screen 8 of the user interface parts 6 or via the user terminal 11 (for example via a corresponding application program or "app") a. For example, the user can specify a cooking mode and a cooking space temperature of the oven 2 and set the cooking time as variable. Alternatively, the user can set the fixed cooking parameters on the oven 2. In another alternative, the user selects only the at least one cooking parameter to be varied.
In einem Schritt S3 nimmt die Kamera 5 ein reales Bild Br des Garraums 3 auf, in dem das Gargut G abgebildet ist, auf. In a step S3, the camera 5 records a real image Br of the cooking space 3, in which the food G is shown.
In einem Schritt S4 wird das reale Bild Br von dem Backofen 2 an die Datenverarbei- tungseinrichtung 9 übertragen. In a step S4, the real image Br is transmitted from the oven 2 to the data processing device 9.
In einem Schritt S5 identifiziert die Datenverarbeitungseinrichtung 9 das in dem realen Bild Br abgebildete Gargut G, z.B. mittels Objekterkennung. In a step S5, the data processing device 9 identifies the food item G that is shown in the real image Br, e.g. by means of object recognition.
In einem Schritt S6 erzeugt die Datenverarbeitungseinrichtung 9 virtuelle Bilder Bv. In den virtuellen Bildern Bv ist das Gargut G so bildbearbeitet worden ist, das es das Gargut G zu unterschiedlichen Werten des zu variierenden Garparameters nachbildet oder simu- liert, hier beispielhaft in Bezug auf die Gardauer. Praktisch kann insbesondere eine Bild folge von virtuellen Bildern Bv des Garguts G erstellt werden, welche den Zustand des Garguts G zu fortschreitenden Gardauern simulieren oder nachbilden. Beispielsweise können zwölf virtuelle Bilder Bv erzeugt werden, die einem jeweiligen Fortschritt der Gar- dauer von fünf Minuten entsprechen. Ein Nutzer kann, z.B. in Schritt S2, eine Zahl der virtuellen Bilder Bv, einen zeitlichen Abstand zwischen aufeinanderfolgenden virtuellen Bildern Bv und/oder einen Höchstwert der Gardauer eingeben. In a step S6, the data processing device 9 generates virtual images Bv. In the virtual images Bv, the food to be cooked G has been processed in such a way that it simulates or simulates the food to be cooked G at different values of the cooking parameter to be varied, here, for example, in relation to the cooking time. In practice, an image sequence of virtual images Bv of the cooking product G can be created in particular, which simulate or emulate the state of the cooking product G as the cooking times progressing. For example, twelve virtual images Bv can be generated, which correspond to a respective progress of the cooking time of five minutes. A user can, e.g. In step S2, enter a number of the virtual images Bv, a time interval between successive virtual images Bv and / or a maximum value of the cooking time.
In einem Schritt S7 werden die virtuellen Bilder Bv von der Datenverarbeitungseinrichtung 9 auf das Nutzerendgerät 11 und/oder auf den berührempfindlichen Bildschirm 8 des Backofens 2 zur Ansicht durch einen Nutzer übertragen. In einem Schritt S8 kann der Nutzer nun die virtuellen Bilder Bv betrachten und dasjenige virtuelle Bild Bv auswählen (z.B. durch Berühren auf dem berührungsempfindlichen Bild schirm 8), das dem gewünschten Garergebnis am nächsten kommt, z.B. in Bezug auf einen Bräunungsgrad. Mit Auswahl des virtuellen Bilds Bv wird somit mindestens ein Gar- parameter für den Backofen bereitgestellt wird, der zu einem Garzustand führt, welcher dem Garzustand des Garguts G in dem ausgewählten virtuellen Bild Bv entspricht. In a step S7, the virtual images Bv are transmitted from the data processing device 9 to the user terminal 11 and / or to the touch-sensitive screen 8 of the oven 2 for viewing by a user. In a step S8, the user can now view the virtual images Bv and select the virtual image Bv (for example by touching the touch-sensitive screen 8) that comes closest to the desired cooking result, for example in relation to a degree of browning. With the selection of the virtual image Bv, at least one cooking parameter is thus provided for the oven, which leads to a cooking state which corresponds to the cooking state of the food item G in the selected virtual image Bv.
In einem Schritt S9a wird mit Auswahl des virtuellen Bilds Bv der zugehörige Wert des variablen Garparameters (hier: der Gardauer) auf den Backofen 2 automatisch oder durch einen Nutzer ausgelöst übertragen bzw. von dem Backofen 2 übernommen und damit der Backofen 2 auf diese Gardauer eingestellt. Mit Erreichen dieser Gardauer wird mindes- tens eine Aktion ausgelöst, z.B. der Garablauf oder eine bestimmte Garphase beendet. In a step S9a, when the virtual image Bv is selected, the associated value of the variable cooking parameter (here: the cooking time) is transferred to the oven 2 automatically or triggered by a user or taken over from the oven 2 and thus the oven 2 is set to this cooking time . When this cooking time is reached, at least one action is triggered, e.g. the cooking process or a certain cooking phase ends.
In einem alternativen Schritt S9b wird mit Auswahl des virtuellen Bilds Bv ein Zustands- wert (hier z.B. ein Bräunungsgrad) des in dem ausgewählten virtuellen Bild Bv abgebilde- ten Garguts G des variablen Garparameters auf den Backofen 2 übertragen bzw. von dem Backofen 2 übernommen. Der Backofen 2 kann dann mittels der Kamera 5 - insbe- sondere in regelmäßigen Abständen - reale Bilder Br des Garguts G in dem Garraum 3 aufnehmen und das Gargut G auf dessen Bräunungsgrad hin überwachen. Ist der ge- wünschte Bräunungsgrad (zumindest innerhalb eines Ähnlichkeitsbereichs, also nicht zwangsweise genau) erreicht, wird mindestens eine Aktion ausgelöst, z.B. der Garablauf oder eine bestimmte Garphase beendet. In an alternative step S9b, when the virtual image Bv is selected, a state value (here, for example, a degree of browning) of the food item G of the variable cooking parameter shown in the selected virtual image Bv is transferred to the oven 2 or taken over from the oven 2. The oven 2 can then use the camera 5, in particular at regular intervals, to take real images Br of the food G in the cooking space 3 and to monitor the food G for its degree of browning. If the desired degree of browning has been reached (at least within a similarity range, i.e. not necessarily exactly), at least one action is triggered, e.g. the cooking process or a certain cooking phase ends.
Alternativ kann ein Bildvergleich zwischen den realen Bilder Br und dem ausgewählten virtuellen Bild Bv durchgeführt werden, um den Bräunungsgrad zu bestimmen. Der Bild vergleich kann z.B. durch die Steuereinheit 4 und/oder durch die Datenverarbeitungsein- richtung 9 vorgenommen werden. Alternatively, an image comparison can be carried out between the real images Br and the selected virtual image Bv in order to determine the degree of browning. The picture comparison can e.g. be carried out by the control unit 4 and / or by the data processing device 9.
Allgemein können das von der Kamera 5 aufgenommene Bild Br und das mindestens eine virtuelle Bild Bv das Gargut G aus einem unterschiedlichen Blickwinkel zeigen. In general, the image Br recorded by the camera 5 and the at least one virtual image Bv can show the food G from a different point of view.
Alternativ oder zusätzlich können die virtuellen Bilder Bv in Schritt S6 in einer mit der Da- tenverarbeitungseinrichtung 9 gekoppelten oder in der Datenverarbeitungseinrichtung 9 integrierten Datenbank 12 abgespeicherte Referenzbilder sein. Fig.3 zeigt ein zu einem Zeitpunkt tO aufgenommenes reales Bild Br (tO), ein für einen folgenden Zeitpunkt t1 mit t1 > tO bestimmtes virtuelles Bild Bv (t1 ) von Gargut G und ein für einen folgenden Zeitpunkt t2 mit t2 > t1 bestimmtes virtuelles Bild Bv (t2). Beispiels- weise kann t2 = t1 + 30 min und t1 = t0+ 30 min betragen. Das zugehörige Gargut G ist hier z.B. als ein Gemüseblatt gezeigt. Alternatively or additionally, the virtual images Bv in step S6 can be reference images stored in a database 12 coupled with the data processing device 9 or integrated in the data processing device 9. 3 shows a real image Br (tO) taken at a time tO, a virtual image Bv (t1) of food item G intended for a subsequent time t1 with t1> tO and a virtual image determined for a subsequent time t2 with t2> t1 Image Bv (t2). For example, t2 = t1 + 30 min and t1 = t0 + 30 min. The associated food G is shown here, for example, as a vegetable leaf.
Die virtuellen Bilder Bv (t1 ) und B(v2) sind z.B. aus dem realen Bild Br (tO) mittels eines Algorithmus berechnet worden. Der Algorithmus ist dazu ausgestaltet, einen Bräunungs- grad, eine Form und/oder eine Textur des in dem realen Bild Br (tO) abgebildeten Garguts G unter vorgegebenen Garparametern wie Garraumtemperatur und Garbetriebsart für die Zeitpunkte t1 und t2 anzupassen. The virtual images Bv (t1) and B (v2) are e.g. was calculated from the real image Br (tO) using an algorithm. The algorithm is designed to adapt a degree of browning, a shape and / or a texture of the food item G shown in the real image Br (tO) under predetermined cooking parameters such as the cooking space temperature and cooking mode for the times t1 and t2.
Alternativ können die dargestellten Bilder sämtlich aus einer Datenbank 12 abgerufene Bilder sein, die Gargut G zeigen, das einem Typ von Gargut entspricht, das in einem zu- vor aufgenommenen realen Bild (nicht dargestellt) identifiziert worden ist oder von einem Nutzer angegeben worden ist. Alternatively, the images shown can all be images retrieved from a database 12, which show food to be cooked G, which corresponds to a type of food to be cooked, which has been identified in a previously taken real image (not shown) or has been specified by a user.
Fig.4 zeigt eine Skizze eines weiteren realen Bilds Bv (tO) und daraus für eine Garraum- temperatur T1 bestimmte virtuelle Bilder Bv (T1 , t1 ) und Bv (T1 , t2) sowie für eine Gar- raumtemperatur T2 bestimmte virtuelle Bilder Bv (T2, t1 ) und Bv (T2, t2). Hier sind somit die Garraumtemperatur und die Gardauer variable Garparameter, die insbesondere durch den Nutzer zur Variation ausgewählt worden sind. Es gilt wiederum tO < t1 < t2. Ferner gilt T1 < T2, z.B. mit T1 = 100°C und T2 = 180°C. 4 shows a sketch of a further real image Bv (tO) and from it virtual images Bv (T1, t1) and Bv (T1, t2) determined for a cooking space temperature T1 and virtual images Bv (intended for a cooking space temperature T2) T2, t1) and Bv (T2, t2). Here, the cooking space temperature and the cooking time are variable cooking parameters that have been selected by the user for variation. Again, tO <t1 <t2. Furthermore, T1 <T2, e.g. with T1 = 100 ° C and T2 = 180 ° C.
Die virtuelle Bilder Bv zeigen abhängig von der durch den Nutzer gewählten Garraum- temperaturen T1 , T2 und Gardauern t1 , t2 unterschiedliche Bräunungsgrade. Ein Nutzer kann aus den virtuellen Bildern Bv ein Bild Bv auswählen, und der darin gezeigte Bräu- nungsgrad wird als Ziel oder Zielwert für das reale Gargut für den Backofen 2 übernom- men. Die Kamera 5 kann dann als optischer Bräunungssensor verwendet werden, um z.B. den Garablauf oder eine zugehörige Bräunungsphase zu beenden, wenn der Bräu- nungsgrad des realen Garguts G den in dem ausgewählten virtuellen Bild abgebildeten Bräunungsgrad (insbesondere innerhalb eines Ähnlichkeitsbands oder -bereichs) erreicht hat. Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbei- spiel beschränkt. Allgemein kann unter "ein", "eine" usw. eine Einzahl oder eine Mehrzahl verstanden wer- den, insbesondere im Sinne von "mindestens ein" oder "ein oder mehrere" usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck "genau ein" usw. The virtual images Bv show different degrees of browning depending on the cooking space temperatures T1, T2 and cooking times t1, t2 selected by the user. A user can select an image Bv from the virtual images Bv, and the degree of browning shown therein is adopted as the target or target value for the real food for the oven 2. The camera 5 can then be used as an optical browning sensor, for example to end the cooking process or an associated browning phase when the browning degree of the real food item G has reached the browning degree shown in the selected virtual image (in particular within a similarity band or range) . Of course, the present invention is not limited to the exemplary embodiment shown. In general, "a", "a" etc. can be understood to mean a single number or a plurality, in particular in the sense of "at least one" or "one or more" etc., as long as this is not explicitly excluded, eg by the expression "exactly one" etc.
Bezugszeichenliste Reference list
1 Gargerätesystem 1 cooking system
2 Backofen  2 oven
3 Garraum 3 cooking space
4 Steuereinrichtung  4 control device
5 Kamera  5 camera
6 Nutzerschnittstelle  6 user interface
7 Kommunikationsmodul  7 communication module
8 Berührempfindlicher Bildschirm 8 Touch sensitive screen
9 Datenverarbeitungseinrichtung  9 data processing device
10 Datennetzwerk  10 data network
1 1 Nutzerendgerät  1 1 user terminal
12 Datenbank  12 database
Br Reales Bild Br Real picture
Bv Virtuelles Bild  Bv virtual image
G Gargut  G food
tO, t1 , t2 Zeitpunkt tO, t1, t2 time
S1-S8,S9a, S9b Verfahrensschritt  S1-S8, S9a, S9b process step
T1 , T2 Garraumtemperatur T1, T2 cooking space temperature

Claims

Patentansprüche Claims
1. Verfahren (S1-S8, S9a, S9b) zum Zubereiten von Gargut (G), bei dem 1. Method (S1-S8, S9a, S9b) for preparing food to be cooked (G), in which
mittels einer Kamera (5) mindestens ein Bild (Br) eines Garguts (G) aufge- nommen wird (S3) und  by means of a camera (5) at least one image (Br) of a food (G) is recorded (S3) and
mindestens ein virtuelles Bild (Bv) des Garguts (G) bereitgestellt wird, das ei- nen Garzustand des zuvor aufgenommenen Garguts (G) zu einem späteren at least one virtual image (Bv) of the item to be cooked (G) is provided, which shows a cooking state of the item (G) previously recorded to a later one
Garzeitpunkt darstellt (S7). Represents the time of cooking (S7).
2. Verfahren (S1-S8, S9a) nach Anspruch 1 , bei dem das mindestens eine virtuelle Bild (Bv) zur Auswahl bereitgestellt wird (S8) und mit Auswahl eines virtuellen Bilds (Bv) mindestens ein Garparameter für ein Gargerät (2) bereitgestellt wird, der zu einem Garzustand führt, welcher dem Garzustand des Garguts (G) in dem aus- gewählten virtuellen Bild (Bv) entspricht (S9a). 2. The method (S1-S8, S9a) according to claim 1, in which the at least one virtual image (Bv) is made available for selection (S8) and at least one cooking parameter for a cooking device (2) is provided by selecting a virtual image (Bv) which leads to a cooking state which corresponds to the cooking state of the food (G) in the selected virtual image (Bv) (S9a).
3. Verfahren nach Anspruch 2 (S1-S8, S9a), bei dem der zu dem ausgewählten vir tuellen Bild (Bv) zugehörige mindestens eine Garparameter mit Auswahl des virtu ellen Bilds (Bv) automatisch von dem Gargerät (2) übernommen wird (S9a). 3. The method according to claim 2 (S1-S8, S9a), in which the at least one cooking parameter associated with the selected virtual image (Bv) is automatically adopted by the cooking device (2) with selection of the virtual image (Bv) (S9a ).
4. Verfahren (S1-S8, S9a, S9b) nach einem der Ansprüche 2 oder 3, bei dem der mindestens eine Garparameter mindestens einen Garparameter aus der Gruppe4. The method (S1-S8, S9a, S9b) according to one of claims 2 or 3, in which the at least one cooking parameter is at least one cooking parameter from the group
Restgardauer; Remaining cooking time;
Gartemperatur;  Cooking temperature;
Garbetriebsart (z.B. Unterhitze, Oberhitze, Grillbetriebsart, Heißluft usw.); Cooking mode (e.g. bottom heat, top heat, grill mode, hot air, etc.);
Feuchtigkeit; Humidity;
Drehzahl eines Umluftgebläses  Speed of a forced air fan
umfasst (S2).  includes (S2).
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mindestens ein Garparameter nutzerseitig vorgebbar oder variierbar ist. 5. The method according to any one of the preceding claims, wherein at least one cooking parameter can be specified or varied by the user.
6. Verfahren (S1-S8, S9a, S9b) nach einem der vorhergehenden Ansprüche, bei dem mittels des aufgenommenen Bilds (Br) eine Identifizierung des in dem aufgenom- menen Bild (Br) abgebildeten Garguts (G) vorgenommen wird (S5). 6. The method (S1-S8, S9a, S9b) according to one of the preceding claims, in which by means of the recorded image (Br) the food (G) depicted in the recorded image (Br) is identified (S5).
7. Verfahren (S1-S8, S9b) nach einem der vorhergehenden Ansprüche, bei dem 7. The method (S1-S8, S9b) according to one of the preceding claims, in which
das mindestens eine virtuelle Bild (Bv) zur Auswahl bereitgestellt wird (S8), nach Auswahl eines virtuellen Bilds mittels der Kamera (5) weitere Bilder (Br) aufgenommen werden (S9b) und  the at least one virtual image (Bv) is made available for selection (S8), after selection of a virtual image by means of the camera (5) further images (Br) are recorded (S9b) and
mindestens eine Aktion ausgelöst wird, wenn eine Übereinstimmung eines mittels der Kamera (5) aufgenommenen Bilds (Br) mit dem ausgewählten vir tuellen Bild (Bv) innerhalb eines vorgegebenen Ähnlichkeitsbereichs liegt (S9b).  at least one action is triggered when a match of an image (Br) recorded by the camera (5) with the selected virtual image (Bv) lies within a predetermined similarity range (S9b).
8. Verfahren (S1-S8, S9b) nach Anspruch 7, bei mindestens eine Aktion ausgelöst wird, wenn ein Bräunungsgrad des eines mittels der Kamera (5) aufgenommenen Bilds (Br) mit einem Bräunungsgrad des ausgewählten virtuellen Bilds (Bv) inner- halb eines vorgegebenen Ähnlichkeitsbereichs liegt (S9b). 8. The method (S1-S8, S9b) according to claim 7, wherein at least one action is triggered if a degree of browning of the image (Br) recorded by the camera (5) with a degree of browning of the selected virtual image (Bv) within of a predetermined similarity range (S9b).
9. Verfahren (S1-S8, S9a, S9b) nach einem der vorhergehenden Ansprüche, bei dem das mindestens eine virtuelle Bild (Bv) aus dem mittels der Kamera (5) aufge- nommenen Bild (Br) berechnet wird. 9. The method (S1-S8, S9a, S9b) according to one of the preceding claims, in which the at least one virtual image (Bv) is calculated from the image (Br) recorded by the camera (5).
10. Verfahren (S1-S8, S9a, S9b) nach einem der vorhergehenden Ansprüche, bei dem das mindestens eine virtuelle Bild (Bv) aus einem in einer Datenbank abgespei- cherten Bild bestimmt wird. 10. The method (S1-S8, S9a, S9b) according to one of the preceding claims, in which the at least one virtual image (Bv) is determined from an image stored in a database.
1 1. Verfahren (S1-S8, S9a, S9b) nach einem der vorhergehenden Ansprüche, bei dem der spätere Garzeitpunkt nutzerseitig einstellbar ist. 1 1. Method (S1-S8, S9a, S9b) according to one of the preceding claims, in which the later cooking time can be set by the user.
12. Verfahren (S1-S8, S9a, S9b) nach einem der vorhergehenden Ansprüche, bei dem das von der Kamera (5) aufgenommene Bild (Br) und das mindestens eine virtuel le Bild (Bv) das Gargut (G) aus einem unterschiedlichen Blickwinkel zeigen. 12. The method (S1-S8, S9a, S9b) according to one of the preceding claims, in which the image (Br) recorded by the camera (5) and the at least one virtual image (Bv) show the food (G) from a different one Show perspective.
13. Gargerät mit einem Garraum (3) und einer in den Garraum (3) gerichteten Kamera (5), wobei das Gargerät dazu eingerichtet ist, das Verfahren (S1-S8, S9a, S9b) nach einem der vorhergehenden Ansprüche durchzuführen. 13. Cooking appliance with a cooking chamber (3) and a camera (5) directed into the cooking chamber (3), the cooking appliance being set up to carry out the method (S1-S8, S9a, S9b) according to one of the preceding claims.
14. Gargerätesystem (1 ), aufweisend ein Gargerät (2) mit einem Garraum (3) und ei- ner in den Garraum (3) gerichteten Kamera (5) sowie einer mit dem Gargerät (2) über ein Datennetzwerk (10) gekoppelten Datenverarbeitungseinrichtung (9), wo- bei 14. Cooking device system (1), comprising a cooking device (2) with a cooking space (3) and a camera (5) directed into the cooking space (3) and a data processing device coupled to the cooking device (2) via a data network (10) (9), whereby
das Gargerät (2) dazu eingerichtet ist, von der Kamera (5) aufgenommene Bilder (Br) auf die Datenverarbeitungseinrichtung (9) zu übertragen, und die Datenverarbeitungseinrichtung (9) dazu eingerichtet, mindestens ein virtu- elles Bild (Bv) des Garguts (G), das einen Garzustand des zuvor aufgenom- menen Garguts (G) zu einem späteren Garzeitpunkt darstellt, bereitzustellen und auf das Gargerät (2) zu übertragen.  the cooking device (2) is set up to transmit images (Br) recorded by the camera (5) to the data processing device (9), and the data processing device (9) is set up to at least one virtual image (Bv) of the food ( G), which represents a cooking state of the previously cooked food (G) at a later cooking time, and to be transferred to the cooking device (2).
15. Gargerätesystem, aufweisend ein Gargerät und mindestens eine Kamera (5) zum Aufnehmen von durch das Gargerät zu garendem Gargut (G), wobei 15. Cooking device system, comprising a cooking device and at least one camera (5) for recording food to be cooked (G) to be cooked by the cooking device, wherein
das Gargerät dazu eingerichtet ist, von der Kamera (5) aufgenommene Bilder (Br) auf die Datenverarbeitungseinrichtung (9) zu übertragen, und - die Datenverarbeitungseinrichtung (9) dazu eingerichtet, mindestens ein virtu- elles Bild (Bv) des Garguts (G), das einen Garzustand des zuvor aufgenom- menen Garguts (G) zu einem späteren Garzeitpunkt darstellt, bereitzustellen und auf das Gargerät zu übertragen.  the cooking device is set up to transmit images (Br) recorded by the camera (5) to the data processing device (9), and - the data processing device (9) is set up to at least one virtual image (Bv) of the food (G) , which represents a cooking state of the previously cooked food (G) at a later cooking time, and to transfer it to the cooking device.
EP19780263.0A 2018-10-10 2019-10-08 Method for preparing a cooking product, cooking device, and cooking device system Pending EP3864346A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18290117 2018-10-10
PCT/EP2019/077164 WO2020074478A1 (en) 2018-10-10 2019-10-08 Method for preparing a cooking product, cooking device, and cooking device system

Publications (1)

Publication Number Publication Date
EP3864346A1 true EP3864346A1 (en) 2021-08-18

Family

ID=63914974

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19780263.0A Pending EP3864346A1 (en) 2018-10-10 2019-10-08 Method for preparing a cooking product, cooking device, and cooking device system

Country Status (4)

Country Link
US (1) US12066193B2 (en)
EP (1) EP3864346A1 (en)
CN (1) CN112789447A (en)
WO (1) WO2020074478A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12050662B2 (en) 2021-09-07 2024-07-30 Whirlpool Corporation Generative food doneness prediction
DE102022203107A1 (en) * 2022-03-30 2023-10-05 BSH Hausgeräte GmbH Food, cooking device for preparing the food and method for controlling the cooking device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145297A (en) 1997-07-28 1999-02-16 Sharp Corp Cooking support device
DE10336114A1 (en) 2003-08-06 2005-02-24 BSH Bosch und Siemens Hausgeräte GmbH Cooking device with a tanning sensor device
CN101504158A (en) * 2008-07-30 2009-08-12 郭恒勋 Microwave oven without microwave radiation and its operation and control method
US20100147823A1 (en) * 2008-12-17 2010-06-17 Whirlpool Corporation Oven control system with graphical display
US20140208957A1 (en) 2012-02-14 2014-07-31 Panasonic Corporation Electronic device
US9538880B2 (en) * 2012-05-09 2017-01-10 Convotherm Elektrogeraete Gmbh Optical quality control system
EP2928305B1 (en) 2012-12-04 2018-11-28 Stork genannt Wersborg, Ingo Method for heat treatment monitoring system
EP2930433B1 (en) * 2014-04-07 2022-01-12 Whirlpool EMEA S.p.A. Oven comprising a scanning system
EP3152497B1 (en) 2014-06-05 2019-02-27 Stork genannt Wersborg, Ingo Method for integrating a heat treatment monitoring system in a heat treatment machine
DE102014210668A1 (en) * 2014-06-05 2015-12-17 BSH Hausgeräte GmbH Home appliance with food-handling room and camera
CN104251501A (en) * 2014-09-10 2014-12-31 广东美的厨房电器制造有限公司 Control method for microwave oven and microwave oven
US10739013B2 (en) * 2015-05-05 2020-08-11 June Life, Inc. Tailored food preparation with an oven
US9644847B2 (en) * 2015-05-05 2017-05-09 June Life, Inc. Connected food preparation system and method of use
DE102015107228A1 (en) 2015-05-08 2016-11-10 Lechmetall Gmbh Method for controlling at least one sub-process of at least one cooking process and system for cooking food
US10674568B2 (en) 2015-06-12 2020-06-02 Panasonic Intellectual Property Management Co., Ltd. Heating cooker
AU2016321324B2 (en) 2015-09-10 2022-06-02 Brava Home, Inc. In-oven camera
KR102399409B1 (en) 2015-11-12 2022-05-19 삼성전자주식회사 Oven and method for opening a door of ovne
DE102017101183A1 (en) * 2017-01-23 2018-07-26 Miele & Cie. Kg Method for operating a cooking appliance and cooking appliance
CN107909605A (en) * 2017-10-23 2018-04-13 广东美的厨房电器制造有限公司 Control method, device, storage medium and the server of cooking equipment
US10605463B2 (en) * 2017-10-27 2020-03-31 Whirlpool Corporation Cooking appliance with a user interface

Also Published As

Publication number Publication date
US12066193B2 (en) 2024-08-20
US20210207811A1 (en) 2021-07-08
WO2020074478A1 (en) 2020-04-16
CN112789447A (en) 2021-05-11

Similar Documents

Publication Publication Date Title
DE69635892T2 (en) OVEN FOR COOKING FOODSTUFFS
EP3415061B1 (en) Domestic appliance
DE102017101183A1 (en) Method for operating a cooking appliance and cooking appliance
EP2910856B1 (en) Method for operating a cooking device and cooking device
EP2042809B1 (en) Method for simplified programming of a cooking device
WO2020074478A1 (en) Method for preparing a cooking product, cooking device, and cooking device system
DE102016111244B3 (en) Method and device for converting an operating program of a recording food preparation device into a state sequence
DE102019107846A1 (en) Method for operating a cooking device and cooking device
DE102022102008A1 (en) Method for operating a cooking appliance and cooking appliance
DE102010054382B4 (en) Method for controlling a cooking appliance and cooking appliance with appliance control
DE102018102123A1 (en) Method and cooking appliance for cooking at least one item to be cooked
DE102019107828B4 (en) Method for operating a cooking appliance and cooking appliance
WO2022148593A1 (en) Method for determining the cooking end time of food, and household cooking appliance
WO2021083738A1 (en) Determining a target processing state of a cooking product to be treated
DE102020128418A1 (en) Method for operating a cooking appliance and cooking appliance
DE102020215319A1 (en) Method of operating a cooktop, cooktop and cooktop system
DE102014103457A1 (en) Method for selecting a cooking program and cooking appliance
DE102015103504A1 (en) Method and assembly for cooking food
DE102014107895A1 (en) Method for controlling a cooking appliance
EP3696623B1 (en) Control device and method for operating a domestic appliance for preparing a food product
WO2023187058A1 (en) Cooking system, cooking device, and method for operating a cooking system
WO2024104809A1 (en) Determining a prediction quality of the remaining duration of an operating procedure
DE102010043775A1 (en) Method for operating a cooking appliance and cooking appliance
DE102014012726A1 (en) System and method and application of a method for computer assisted domestic appliances operation, automation and regulation
DE102020103746A1 (en) Method for controlling a cooking appliance, cooking appliance and kitchen system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210510

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220204