EP4176426A1 - Food preparation apparatus and method for food preparation - Google Patents

Food preparation apparatus and method for food preparation

Info

Publication number
EP4176426A1
EP4176426A1 EP21731212.3A EP21731212A EP4176426A1 EP 4176426 A1 EP4176426 A1 EP 4176426A1 EP 21731212 A EP21731212 A EP 21731212A EP 4176426 A1 EP4176426 A1 EP 4176426A1
Authority
EP
European Patent Office
Prior art keywords
image data
food preparation
control unit
food
predefined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21731212.3A
Other languages
German (de)
French (fr)
Inventor
Javier Lasobras Bernad
Sergio Llorente Gil
Gonzalo Lopez Nicolas
Carlos Sagües Blázquiz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BSH Hausgeraete GmbH
Original Assignee
BSH Hausgeraete GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeraete GmbH filed Critical BSH Hausgeraete GmbH
Publication of EP4176426A1 publication Critical patent/EP4176426A1/en
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F24C15/20—Removing cooking fumes
    • F24C15/2021—Arrangement or mounting of control or safety systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C1/00—Stoves or ranges in which the fuel or energy supply is not restricted to solid fuel or to a type covered by a single one of the following groups F24C3/00 - F24C9/00; Stoves or ranges in which the type of fuel or energy supply is not specified
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • the invention relates to a food preparation device according to the preamble of claim 1 and a method for food preparation according to the preamble of claim 12.
  • the object of the invention is in particular, but not limited to, to provide a device of the generic type with improved properties in terms of user comfort and a precise simulation of a food preparation process.
  • the object is achieved according to the invention by the features of claims 1, 5 and 12, while advantageous configurations and developments of the invention can be found in the subclaims.
  • the invention is based on a food preparation device, in particular a hob device, with a sensor unit, which is provided for recording image data of a preparation area, with an additional sensor unit, which is provided for recording additional image data of the preparation area, and with a Control unit for evaluating the image data.
  • control unit is provided to, in at least one operating state, in addition to the image data in the form of 3D image data, also the additional image data for generating a digital twin of a situation in the preparation area, in particular a food preparation process in the preparation area.
  • Such a configuration can ensure that all food preparation steps of the food preparation process, such as cutting and / or mixing and / or stirring food and cooking and / or cooking and / or steaming food, can be precisely identified and tracked .
  • the digital twin can advantageously be used with a predefined food Preparation process, in particular a recipe, compared and incorrect implementation of food preparation processes, for example burning of food and / or incorrect proportioning of food, avoided.
  • the food preparation device could have a part, in particular a subassembly, of a hob. Alternatively, the food preparation device could have the entire hob. It would also be conceivable that the food preparation device has a part, in particular a substructure group, of an accessory part for the hob and / or for a worktop.
  • the food preparation device could possibly be freely movable, for example the sensor unit and the additional sensor unit could be part of a separate camera which can be placed anywhere.
  • the food preparation device is preferably fixed at least in the operating state; for example, the sensor unit and the additional sensor unit could be part of a camera integrated into a projector.
  • a “preparation area” is to be understood as a three-dimensional area in which at least one food preparation step of a food preparation process can be carried out.
  • the preparation area comprises an area above part of a worktop and / or hob plate or above the entire worktop and / or hob plate.
  • a “food preparation step” is to be understood as a process which is used to process food, preferably with the aim of producing a dish from the food.
  • the food preparation step could include cutting and / or mixing and / or stirring and / or cooking and / or turning and / or steaming and / or frying food.
  • a “food preparation process” should be understood to mean a process which has all of the food preparation steps necessary to produce the dish, in particular unprocessed food.
  • the food preparation process can be designed as a recipe.
  • a food preparation process which is designed as noodle cooking, has a first food preparation step, which involves filling a pot with cooking water and raw food. Your is formed, and a second food preparation step, which is formed as cooking the raw noodles by heating the pot on.
  • a “digital twin” is to be understood as a digital replica of an object and / or process in the real world.
  • the control unit is provided to digitally simulate the situation in the preparation area in real time in the operating state.
  • a “situation” should be understood to mean a state and / or process, for example the digital twin could be designed as a replica of a state in the preparation area at a predefined point in time.
  • the sensor unit and / or the additional sensor unit could possibly be provided to record the image data and / or additional image data at a predefined point in time in the operating state.
  • the digital twin is advantageously designed as a replica of at least one food preparation step that takes place in the preparation area, particularly advantageously a sequence of food preparation steps that take place in the preparation area.
  • control unit is provided to compare the digital twin with a predefined food preparation process, for example a recipe, in the operating state.
  • the food preparation device advantageously has a memory unit in which recipes are stored. It would be possible for the control unit to be provided to output an optical and / or acoustic warning signal to a user in the operating state if the digital twin deviates from the predefined food preparation process.
  • the sensor unit and / or the additional sensor unit are particularly advantageously provided to record the image data and / or additional image data continuously and in particular in real time in the operating state.
  • the digital twin could be designed as a real-time simulation of a stirring process that forms part of a cake baking process, with the control unit evaluating the 3D image data and additional image data in the operating state in order to be able to track, for example, in real time, how much butter, flour, sugar, and how many eggs a user puts in a bowl.
  • 3D image data is to be understood as meaning image data which assign a spatial depth to at least one pixel.
  • the 3D image data preferably assign a spatial depth to a plurality of pixels, which in particular together form a coherent image area.
  • the spatial depth of the pixel is advantageous through one The distance of a part of an object corresponding to the pixel in the preparation area from the sensor unit is defined. It would be conceivable that the sensor unit has a plurality of stereoscopic sensors or other types of 3D sensors known to the person skilled in the art.
  • the sensor unit particularly advantageously has an infrared depth sensor.
  • an “infrared depth sensor” is to be understood as a 3D sensor that has an infrared transmitter, which is provided to send out infrared radiation in the operating state, and an infrared receiver, which is provided for this purpose in the Operating state to receive a portion of the infrared radiation reflected by the part of the object corresponding to the pixel.
  • the reflected portion of the infrared radiation is part of the image data.
  • reflected portions of the infrared radiation received are stored in the memory unit at predefined spatial depths.
  • the control unit is particularly preferred to determine a depth of the pixel in the operating state by comparing the received reflected components of the infrared radiation with the stored reflected components of the infrared radiation.
  • the sensor unit be provided for taking a photo, in particular of the entire preparation area. It would be conceivable that the sensor unit is provided for taking a black and white photo and has a gray value sensor which is provided to assign a gray value to each pixel of the photo in the operating state.
  • the sensor unit is preferably provided for taking a color photo and has a color sensor which is provided to assign a color value to each pixel of the photo in the operating state.
  • the color sensor is provided to assign color coordinates of any color space, for example the HSV color space or the CMYK color space or the RBG color space and preferably the Lab color space, to each pixel of the photo in the operating state.
  • Color coordinates are to be understood as three-dimensional coordinates which represent a brightness and a color saturation as a point in the color space.
  • the color coordinates include a Z coordinate L *, which represents the lightness, an X coordinate a *, which represents a color value on a red-green color axis, and a Y coordinate b *, which shows a color value represents a yellow-blue color axis.
  • a Z coordinate L * which represents the lightness
  • an X coordinate a * which represents a color value on a red-green color axis
  • a Y coordinate b * which shows a color value represents a yellow-blue color axis.
  • the sensor unit is particularly advantageously provided for recording RGB-D image data of the preparation area.
  • RGB-D image data is understood to mean image data that assign a color value and spatial depth to the pixel.
  • the sensor unit is designed as an RGB-D camera. In particular, this can further improve the precision of the digital twin.
  • color information and depth information a precise distinction can be made between a user's hand, cookware and food, and a movement of the same can be precisely followed.
  • the additional sensor unit prefferably has a capacitive sensor and to assign the additional image data to the pixel a parameter which indicates whether a hand of a user is at the location of the pixel.
  • the additional sensor unit be provided for recording IR image data of the preparation area.
  • the additional sensor unit has an IR sensor, for example a thermocouple. In this way, in particular, a temperature development within a food preparation step, for example a cooking process, can be precisely tracked.
  • Provided is to be understood in particular as specifically programmed, designed and / or equipped.
  • the fact that an object is provided for a specific function should be understood in particular to mean that the object fulfills and / or executes this specific function in at least one application and / or operating state.
  • control unit is provided to output the digital twin to a user in the operating state, in particular by means of an output unit of the food preparation device.
  • the control unit is preferably provided to output the digital twin in the operating state by means of an optical and / or acoustic signal.
  • the output unit could, for example, have a display, in particular an LCD display and / or an OECD display.
  • the output unit could have a lighting unit, in particular an LED, and / or a microphone. It would be conceivable that the control unit provision is made to pass on the digital twin in the operating state by means of a communication unit of the food preparation device to a further unit for outputting the digital twin.
  • the communication unit could, for example, have a radio transmitter and / or radio transmitter and / or IR transmitter and / or Bluetooth transmitter.
  • the further unit could, for example, be designed as part of the cooktop and / or part of the extractor hood and / or part of an external unit, for example a mobile device, in particular a smartphone. In this way, user convenience can in particular be increased. With the aid of the digital twin, a user can advantageously obtain an overview of the food preparation steps carried out so far.
  • control unit is provided to output at least one suggestion regarding a food preparation step to a user in the operating state based on a result of the evaluation of the image data and additional image data, in particular by means of the output unit.
  • the proposal could, for example, have an instruction to omit and / or to repeat and / or to carry out and / or to terminate and / or to modify the food preparation step.
  • the control unit is advantageously provided, in the operating state, after a food preparation step of a predefined food preparation process has been carried out, to suggest that the user carry out a further food preparation step following the food preparation step in the predefined food preparation process.
  • control unit could be provided, in the operating state, after the start of a food preparation step after a predefined time and / or after reaching a predefined temperature and / or after reaching a predefined color, suggesting that the food preparation step be ended.
  • user convenience can be further increased.
  • An incorrect implementation of the predefined food preparation process can advantageously be avoided.
  • the food preparation device can particularly advantageously guide the user through the predefined food process.
  • the control unit be provided in the operating state, based on a result of the evaluation of the image data and additional image data, at least one food item.
  • adjustment parameters of a food preparation process in particular a predefined food preparation process.
  • the food preparation parameter can be, for example, a time, a temperature, a size, a weight and / or a number.
  • the control unit could be provided in the operating state when an amount of a food used for the food preparation process increases, amounts of all other food used for the food preparation process to the same extent and preferably output it to the user as a suggestion.
  • the control unit can advantageously be provided in the operating state when using a new food which is not part of the previous food preparation process, to expand the food preparation process to include food preparation steps which are used to process the new food, and preferably to allow the user to carry out the Propose food preparation steps.
  • This enables the food preparation device to support individual food preparation processes. Recipes can advantageously be adapted to a respective number of required portions and / or to personal food preferences of the user.
  • the food preparation device can prevent incorrect execution of the food preparation process even in the event of spontaneous changes in the food preparation process.
  • control unit is provided in at least one operational state, in particular the operational state, to transfer the image data to a To evaluate the emissivity determination of at least one object in the preparation area.
  • the control unit is advantageously provided to evaluate the determined emissivity together with the IR image data for a temperature measurement in the operating state.
  • a temperature measurement of the object in the preparation area can advantageously be improved, in which case, in particular, additional components for determining the emissivity can be dispensed with.
  • the food preparation device has an additional component for determining the emissivity of at least one object in the preparation area.
  • the emissivity determination advantageously includes a color value determination based on the photo. It would be conceivable that the color value is designed as a brightness value and the photo as a black and white photo. The color value is advantageously designed as a sum of the color coordinates and the photo as a color photo. Predefined color values and predefined emissivities corresponding to the predefined color values are particularly advantageously stored in the memory unit. The control unit could possibly be provided to compare the color value with the predefined color values and, in the event of a match with a predefined color value, to assign the predefined emissivity corresponding to the predefined color value to the object.
  • the color value could be identical to a predefined color value which identifies the object as a saucepan made of stainless steel, whereupon the control unit assigns a predefined emissivity of a saucepan made of stainless steel to the object. In this way, the emissivity can be determined in a simple manner.
  • the control unit is provided to assign the color value to a predefined color value range, a predefined emissivity being assigned to the predefined color value range.
  • an overall color value range which has all possible color values comprises at least two predefined color value ranges, preferably the color value ranges together form the total color value range.
  • the color value ranges are formed without overlapping one another. At least one of the color value ranges is particularly advantageously assigned to a predefined type of object, the control unit being provided to identify an object which has a color value in the color value range as belonging to the predefined type of objects.
  • the control unit is preferably provided to assign a predefined emissivity to all objects which are identified as belonging to the predefined type of objects.
  • the predefined type of objects is designed as a type of cookware.
  • the control unit is particularly advantageously provided to assign the color value to one of two predefined color value ranges which together form the overall color value range.
  • the object is cookware
  • the two predefined color value ranges could serve as a rough distinction between coated cookware and metallic cookware.
  • the emissivity can also be used with respect to the The color value can be correctly assigned to objects that differ slightly from one another.
  • a precise determination of the color value can advantageously be dispensed with. It is particularly advantageous to distinguish between types of objects, the emissivity of objects of the type not differing greatly from one another, and thereby a sufficiently accurate determination of the emissivity can be achieved.
  • a kitchen appliance in particular an extractor hood, is proposed with the food preparation device.
  • user comfort can be increased in a simple manner and a digital twin of the food production process can be precisely generated.
  • Additional assembly steps for assembling the food preparation device in an area surrounding the preparation area are advantageously dispensed with.
  • the image data formed as 3D image data and the additional image data be evaluated to generate a digital twin of a situation in the preparation area, in particular a food preparation process in the preparation area.
  • a digital twin of the food production process can be precisely generated. Incorrect implementation of food preparation processes can advantageously be avoided.
  • the food preparation device should not be limited to the application and embodiment described above.
  • the food preparation device can have a number of individual elements, components and units that differs from a number of individual elements, components and units mentioned herein in order to fulfill a mode of operation described herein.
  • FIG. 1 shows a kitchen appliance with a food preparation device in a front view
  • FIG. 2 shows a photo taken by the food preparation device
  • FIG. 3 shows an output unit of the food preparation device, which outputs a digital twin of a food preparation process
  • Fig. 5 is a schematic flow diagram of a method for food preparation with the food preparation device.
  • FIG. 1 shows a kitchen appliance 22.
  • the kitchen appliance 22 is designed as an extractor hood.
  • the kitchen appliance 22 has a food preparation device 10.
  • the food preparation device 10 could be designed as part of a hob or as a separate accessory.
  • the food preparation device 10 is designed as a hob device.
  • the food preparation device 10 could be designed as a worktop device.
  • the food preparation device 10 has a sensor unit 12.
  • the sensor unit 12 records image data of a preparation area 14.
  • the sensor unit 12 takes a photo of the preparation area 14, which is shown in FIG.
  • the photo is designed as a color photo. Alternatively, the photo could be designed as a black and white photo.
  • the image data are designed as 3D image data.
  • the sensor unit 12 records RGB-D image data of the preparation area 14.
  • the sensor unit 12 has an RGB sensor (not shown).
  • the sensor unit 12 has an infrared depth sensor (not shown).
  • the sensor unit 12 is designed as an RGB-D camera.
  • the food preparation device 10 has an additional sensor unit 16.
  • the additional sensor unit 16 records additional image data of the preparation area 14.
  • the Additional sensor unit 16 records IR image data of preparation area 14.
  • the additional sensor unit 16 is designed as an IR camera.
  • the sensor unit 12 and the additional sensor unit 16 together form a camera unit integrated into the kitchen appliance 22.
  • the preparation area 14 is designed as a hob. Alternatively or additionally, the preparation area 14 could be designed as part of a worktop.
  • An object 20 is arranged in the preparation area 14. The object 20 is designed as a saucepan. There is cooking water and 3 eggs in the saucepan.
  • the food preparation device 10 has a control unit 18.
  • the control unit 18 is designed as a processor.
  • the control unit 18 evaluates the image data and the additional image data to generate a digital twin of a situation in the preparation area 14.
  • the control unit 18 evaluates the image data and the additional image data to determine food preparation parameters, which together form the digital twin.
  • the control unit 18 evaluates the image data to determine a size, shape, number, color and movement of objects in the preparation area 14.
  • the control unit 18 evaluates the additional image data to determine a temperature of objects in the preparation area 14.
  • the control unit 18 outputs the digital twin to a user via an output unit 24 of the kitchen appliance 22, which is shown in FIG. Alternatively, the control unit 18 could output the digital twin to the user via an output unit of a hob or an external unit.
  • the output unit 24 is designed as an LCD display.
  • the situation in the preparation area 14 is designed as part of a food preparation process.
  • the food preparation process is designed as an egg boiling process.
  • the control unit 18 outputs the digital twin via the output unit 24 as a number of eggs, a quantity of cooking water, a set heating power level and a previous cooking time.
  • the situation could be designed as part of any other food preparation process, such as roasting, cooking, steaming, mixing, etc., and the digital twin could be output in the form of any food preparation parameters, such as a tan, a weight , a volume, a stirring time, a roasting time, etc.
  • the control unit 18 On the basis of a result of the evaluation of the image data and additional image data, the control unit 18 outputs a suggestion for a food preparation step to the user via the output unit 24, which is shown in FIG.
  • the food preparation device 10 has a storage unit 26.
  • the storage unit 26 is designed as a common storage medium, for example a memory card.
  • Predefined cooking times for boiling eggs are stored in the memory unit 26 as a function of food preparation parameters.
  • the control unit 18 uses the determined food preparation parameters and the predefined cooking times stored in the memory unit 26 to determine a predefined cooking time corresponding to the situation in the preparation area 14. After the predefined cooking time, the control unit 18 gives the user the proposal to remove the eggs from the cooking pot.
  • recipes for example a cake recipe, could be stored in the memory unit 26, with the control unit 18 following individual food preparation steps of the recipe based on the result of the evaluation of the image data and additional image data and suggesting the next food preparation step according to the recipe to the user .
  • the control unit 18 adjusts a food preparation parameter of a food preparation process based on the result of the evaluation of the image data and additional image data. If the evaluation of the image data and additional image data shows that the user has changed one of the food preparation parameters shown in FIG. 2, the control unit 18 recalculates the predefined cooking time and adapts it to the new situation in the preparation area 14. Alternatively, the control unit 18 could adapt a recipe stored in the memory unit 26 based on the result of the evaluation of the image data and additional image data; for example, if there is no horseradish in the preparation area 14, the control unit 18 could recognize that the user wants to do without horseradish , and adapt a used seed recipe so that it no longer contains horseradish.
  • the control unit 18 evaluates the image data to determine the emissivity of the object 20 in the preparation area 14.
  • the emissivity determination includes a color value determination based on the photo.
  • the color value is designed as a sum of color coordinates L *, a * and b * in a Lab color space.
  • the control unit 18 assigns the color value to one of two predefined color value ranges.
  • the two predefined Color value ranges do not overlap with one another.
  • the two predefined color value ranges together form an overall color value range.
  • a predefined first emissivity is assigned to a predefined first color value range.
  • the predefined first color value range is assigned to a first type of object.
  • the first type of objects is designed as metallic cookware.
  • a predefined first emissivity is assigned to the first type of object.
  • the predefined first emissivity corresponds to a common emissivity for metallic cooking utensils known to those skilled in the art.
  • a predefined second emissivity is assigned to a predefined second color value range.
  • the predefined second color value range is assigned to a second type of object.
  • the second type of objects is designed as coated cookware.
  • the predefined second emissivity corresponds to a common emissivity for coated cooking utensils known to those skilled in the art.
  • the emissivity determination serves to make a rough distinction between metallic cooking utensils arranged in the preparation area 14 and coated cooking utensils arranged in the preparation area 14.
  • the control unit 18 identifies the object 20 on the basis of the color value determination as a metallic cookware.
  • the control unit 18 uses the IR image data and the predefined first emissivity to determine the temperature of the object 20.
  • FIG. 5 shows a schematic flow diagram of a method for preparing food with the food preparation device 10.
  • a recording step 100 the image data and the additional image data of the preparation area 14 are recorded by the sensor unit 12 and the additional sensor unit 16.
  • an evaluation step 110 the image data and the additional image data are evaluated by the control unit 18 to generate the digital twin.
  • the evaluation step 110 follows the recording step 100.
  • the control unit 18 outputs the digital twin via the output unit 24 to the user.
  • the output step 120 follows the evaluation step 110. Reference number

Abstract

The invention relates to a food preparation apparatus (10), in particular a cooktop apparatus, having a sensor unit (12) which is provided in order to receive image data of a preparation region (14), having an additional sensor unit (16) which is provided in order to receive additional image data of the preparation region (14) and having a control unit (18) for analyzing the image data. In order to increase user convenience and to achieve precise replication of a food preparation process, according to the invention the control unit (18) is provided in order to also analyze, in at least one operating state, in addition to the image data formed as 3D image data, the additional image data in order to generate a digital twin of a situation in the preparation region (14), in particular of a food preparation process in the preparation region (14). Drawing_references_to_be_translated:

Description

Lebensmittelzubereitungsvorrichtung und Verfahren zur Lebensmittelzubereitung Food preparation device and method for food preparation
Die Erfindung betrifft eine Lebensmittelzubereitungsvorrichtung nach dem Oberbegriff des Anspruchs 1 und ein Verfahren zur Lebensmittelzubereitung nach dem Oberbegriff des Anspruchs 12. The invention relates to a food preparation device according to the preamble of claim 1 and a method for food preparation according to the preamble of claim 12.
Aus dem Stand der Technik ist bereits bekannt, RGB-Kameras zur Überwachung eines Lebensmittelzubereitungsprozesses zu verwenden. It is already known from the prior art to use RGB cameras to monitor a food preparation process.
Die Aufgabe der Erfindung besteht insbesondere, aber nicht beschränkt darauf, darin, eine gattungsgemäße Vorrichtung mit verbesserten Eigenschaften hinsichtlich eines Be nutzerkomforts und einer präzisen Nachbildung eines Lebensmittelzubereitungsprozesses bereitzustellen. Die Aufgabe wird erfindungsgemäß durch die Merkmale der Ansprüche 1 , 5 und 12 gelöst, während vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung den Unteransprüchen entnommen werden können. The object of the invention is in particular, but not limited to, to provide a device of the generic type with improved properties in terms of user comfort and a precise simulation of a food preparation process. The object is achieved according to the invention by the features of claims 1, 5 and 12, while advantageous configurations and developments of the invention can be found in the subclaims.
Die Erfindung geht aus von einer Lebensmittelzubereitungsvorrichtung, insbesondere einer Kochfeldvorrichtung, mit einer Sensoreinheit, welche zu einer Aufnahme von Bildda ten eines Zubereitungsbereichs vorgesehen ist, mit einer Zusatz-Sensoreinheit, welche zu einer Aufnahme von Zusatz-Bilddaten des Zubereitungsbereichs vorgesehen ist, und mit einer Steuereinheit zur Auswertung der Bilddaten. The invention is based on a food preparation device, in particular a hob device, with a sensor unit, which is provided for recording image data of a preparation area, with an additional sensor unit, which is provided for recording additional image data of the preparation area, and with a Control unit for evaluating the image data.
In einem Aspekt der Erfindung wird vorgeschlagen, dass die Steuereinheit dazu vorgese hen ist, in zumindest einem Betriebszustand zusätzlich zu den als 3D-Bilddaten ausgebil deten Bilddaten auch die Zusatz-Bilddaten zur Erzeugung eines digitalen Zwillings einer Situation in dem Zubereitungsbereich, insbesondere eines Lebensmittelzubereitungspro zesses in dem Zubereitungsbereich, auszuwerten. In one aspect of the invention, it is proposed that the control unit is provided to, in at least one operating state, in addition to the image data in the form of 3D image data, also the additional image data for generating a digital twin of a situation in the preparation area, in particular a food preparation process in the preparation area.
Durch eine derartige Ausgestaltung kann erreicht werden, dass sämtliche Lebensmittel zubereitungsschritte des Lebensmittelzubereitungsprozesses, wie beispielsweise ein Schneiden und/oder Mischen und/oder Rühren von Lebensmitteln und ein Kochen und/oder Garen und/oder Dämpfen von Lebensmitteln, präzise erkannt und verfolgt wer den können. Vorteilhaft kann der digitale Zwilling mit einem vordefinierten Lebensmittel- Zubereitungsprozess, insbesondere einem Rezept, verglichen und eine fehlerhafte Durch führung von Lebensmittelzubereitungsprozessen, beispielsweise ein Verbrennen von Le bensmitteln und/oder eine falsche Proportionierung von Lebensmitteln, vermieden wer den. Such a configuration can ensure that all food preparation steps of the food preparation process, such as cutting and / or mixing and / or stirring food and cooking and / or cooking and / or steaming food, can be precisely identified and tracked . The digital twin can advantageously be used with a predefined food Preparation process, in particular a recipe, compared and incorrect implementation of food preparation processes, for example burning of food and / or incorrect proportioning of food, avoided.
Denkbar wäre, dass die Lebensmittelzubereitungsvorrichtung einen Teil, insbesondere eine Unterbaugruppe, eines Kochfelds aufweisen könnte. Alternativ könnte die Lebensmit telzubereitungsvorrichtung das gesamte Kochfeld aufweisen. Es wäre auch vorstellbar, dass die Lebensmittelzubereitungsvorrichtung einen Teil, insbesondere eine Unterbau gruppe, eines Zubehörteils für das Kochfeld und/oder für eine Arbeitsplatte aufweist. Mög licherweise könnte die Lebensmittelzubereitungsvorrichtung frei beweglich sein, bei spielsweise könnten die Sensoreinheit und die Zusatz-Sensoreinheit Teil einer separaten Kamera sein, welche an einer beliebigen Stelle platzierbar ist. Bevorzugt ist die Lebens mittelzubereitungsvorrichtung zumindest in dem Betriebszustand fixiert, beispielsweise könnten die Sensoreinheit und die Zusatz-Sensoreinheit Teil einer in einen Projektor inte grierten Kamera sein. It would be conceivable that the food preparation device could have a part, in particular a subassembly, of a hob. Alternatively, the food preparation device could have the entire hob. It would also be conceivable that the food preparation device has a part, in particular a substructure group, of an accessory part for the hob and / or for a worktop. The food preparation device could possibly be freely movable, for example the sensor unit and the additional sensor unit could be part of a separate camera which can be placed anywhere. The food preparation device is preferably fixed at least in the operating state; for example, the sensor unit and the additional sensor unit could be part of a camera integrated into a projector.
Unter einem „Zubereitungsbereich“ soll ein dreidimensionaler Bereich verstanden werden, in welchem zumindest ein Lebensmittelzubereitungsschritt eines Lebensmittelzuberei tungsprozesses durchführbar ist. Insbesondere umfasst der Zubereitungsbereich einen Bereich oberhalb eines Teils einer Arbeitsplatte und/oder Kochfeldplatte oder oberhalb der gesamten Arbeitsplatte und/oder Kochfeldplatte. Unter einem „Lebensmittelzuberei tungsschritt“ soll ein Vorgang verstanden werden, welcher einer Verarbeitung von Le bensmitteln, vorzugsweise mit dem Ziel einer Herstellung eines Gerichts aus den Le bensmitteln, dient. Beispielsweise könnte der Lebensmittelzubereitungsschritt ein Schnei den und/oder Mischen und/oder Rühren und/oder Kochen und/oder Wenden und/oder Dämpfen und/oder Braten von Lebensmitteln aufweisen. Unter einem „Lebensmittelzube reitungsprozess“ soll ein Prozess verstanden werden, welcher sämtliche, zu einem Her stellen des Gerichts aus, insbesondere unverarbeiteten, Lebensmitteln notwendigen Le bensmittelzubereitungsschritte aufweist. Insbesondere kann der Lebensmittelzuberei tungsprozess als ein Rezept ausgebildet sein. Beispielsweise weist ein Lebensmittelzube reitungsprozess, welcher als ein Nudelkochen ausgebildet ist, einen ersten Lebensmittel zubereitungsschritt, welcher als ein Füllen eines Topfes mit Kochwasser und rohen Nu- dein ausgebildet ist, und einen zweiten Lebensmittelzubereitungsschritt, welcher als ein Kochen der rohen Nudeln durch ein Erhitzen des Topfes ausgebildet ist, auf. A “preparation area” is to be understood as a three-dimensional area in which at least one food preparation step of a food preparation process can be carried out. In particular, the preparation area comprises an area above part of a worktop and / or hob plate or above the entire worktop and / or hob plate. A “food preparation step” is to be understood as a process which is used to process food, preferably with the aim of producing a dish from the food. For example, the food preparation step could include cutting and / or mixing and / or stirring and / or cooking and / or turning and / or steaming and / or frying food. A “food preparation process” should be understood to mean a process which has all of the food preparation steps necessary to produce the dish, in particular unprocessed food. In particular, the food preparation process can be designed as a recipe. For example, a food preparation process, which is designed as noodle cooking, has a first food preparation step, which involves filling a pot with cooking water and raw food. Your is formed, and a second food preparation step, which is formed as cooking the raw noodles by heating the pot on.
Unter einem „digitalen Zwilling“ soll eine digitale Nachbildung eines Objekts und/oder Pro zesses in der realen Welt verstanden werden. Insbesondere ist die Steuereinheit dazu vorgesehen, in dem Betriebszustand die Situation in dem Zubereitungsbereich in Echtzeit digital nachzubilden. Unter einer „Situation“ soll ein Zustand und/oder Vorgang verstanden werden, beispielsweise könnte der digitale Zwilling als eine Nachbildung eines Zustands in dem Zubereitungsbereich zu einem vordefinierten Zeitpunkt ausgebildet sein. Möglich erweise könnten die Sensoreinheit und/oder die Zusatz-Sensoreinheit dazu vorgesehen sein, in dem Betriebszustand an einem vordefinierten Zeitpunkt die Bilddaten und/oder Zusatz-Bilddaten aufzunehmen. Vorteilhaft ist der digitale Zwilling als eine Nachbildung von zumindest einem in dem Zubereitungsbereich stattfindenden Lebensmittelzuberei tungsschritt, besonders vorteilhaft einer Abfolge von in dem Zubereitungsbereich stattfin denden Lebensmittelzubereitungsschritten, ausgebildet. Insbesondere ist die Steuerein heit dazu vorgesehen, in dem Betriebszustand den digitalen Zwilling mit einem vordefi nierten Lebensmittelzubereitungsprozess, beispielsweise einem Rezept, zu vergleichen. Vorteilhaft weist die Lebensmittelzubereitungsvorrichtung eine Speichereinheit auf, in wel cher Rezepte gespeichert sind. Möglich wäre, dass die Steuereinheit dazu vorgesehen ist, in dem Betriebszustand bei einer Abweichung des digitalen Zwillings von dem vordefinier ten Lebensmittelzubereitungsprozess ein optisches und/oder akustisches Warnsignal an einen Benutzer auszugeben. Besonders vorteilhaft sind die Sensoreinheit und/oder die Zusatz-Sensoreinheit dazu vorgesehen, in dem Betriebszustand fortlaufend und insbe sondere in Echtzeit die Bilddaten und/oder Zusatz-Bilddaten aufzunehmen. Beispielswei se könnte der digitale Zwilling als eine Echtzeit-Nachbildung eines Rührvorgangs, welcher ein Teil eines Kuchenbackprozesses ausbildet, ausgebildet sein, wobei in dem Betriebs zustand die Steuereinheit die 3D-Bilddaten und Zusatz- Bilddaten auswertet, um bei spielsweise in Echtzeit verfolgen zu können, wie viel Butter, Mehl, Zucker und wie viele Eier ein Benutzer in eine Schüssel gibt. A “digital twin” is to be understood as a digital replica of an object and / or process in the real world. In particular, the control unit is provided to digitally simulate the situation in the preparation area in real time in the operating state. A “situation” should be understood to mean a state and / or process, for example the digital twin could be designed as a replica of a state in the preparation area at a predefined point in time. The sensor unit and / or the additional sensor unit could possibly be provided to record the image data and / or additional image data at a predefined point in time in the operating state. The digital twin is advantageously designed as a replica of at least one food preparation step that takes place in the preparation area, particularly advantageously a sequence of food preparation steps that take place in the preparation area. In particular, the control unit is provided to compare the digital twin with a predefined food preparation process, for example a recipe, in the operating state. The food preparation device advantageously has a memory unit in which recipes are stored. It would be possible for the control unit to be provided to output an optical and / or acoustic warning signal to a user in the operating state if the digital twin deviates from the predefined food preparation process. The sensor unit and / or the additional sensor unit are particularly advantageously provided to record the image data and / or additional image data continuously and in particular in real time in the operating state. For example, the digital twin could be designed as a real-time simulation of a stirring process that forms part of a cake baking process, with the control unit evaluating the 3D image data and additional image data in the operating state in order to be able to track, for example, in real time, how much butter, flour, sugar, and how many eggs a user puts in a bowl.
Unter „3D-Bilddaten“ sollen Bilddaten verstanden werden, welche zumindest einem Pixel eine räumliche Tiefe zuordnen. Vorzugsweise ordnen die 3D-Bilddaten einer Vielzahl von Pixeln, welche insbesondere gemeinsam eine zusammenhängende Bildfläche bilden, jeweils eine räumliche Tiefe zu. Vorteilhaft ist die räumliche Tiefe des Pixels durch einen Abstand eines mit dem Pixel korrespondierenden Teils eines Objekts in dem Zuberei tungsbereich von der Sensoreinheit definiert. Denkbar wäre, dass die Sensoreinheit eine Mehrzahl an Stereoskopie-Sensoren oder weitere, dem Fachmann bekannte Arten von 3D-Sensoren aufweist. Besonders vorteilhaft weist die Sensoreinheit einen Infrarot- Tiefensensor auf. Unter einem „Infrarot-Tiefensensor“ soll ein 3D-Sensor verstanden wer den, welcher einen Infrarot-Sender, welcher dazu vorgesehen ist, in dem Betriebszustand eine Infrarot-Strahlung auszusenden, und einen Infrarot-Empfänger, welcher dazu vorge sehen ist, in dem Betriebszustand einen von dem mit dem Pixel korrespondierenden Teil des Objekts reflektierten Anteil der Infrarot-Strahlung zu empfangen, aufweist. Insbeson dere ist der reflektierte Anteil der Infrarot-Strahlung Teil der Bilddaten. Vorzugsweise sind in der Speichereinheit bei vordefinierten räumlichen Tiefen empfangene reflektierte Antei le der Infrarot-Strahlung gespeichert. Besonders bevorzugt ist die Steuereinheit dazu vor gesehen, in dem Betriebszustand durch einen Vergleich der empfangenen reflektierten Anteile der Infrarot-Strahlung mit den gespeicherten reflektierten Anteilen der Infrarot strahlung eine Tiefe des Pixels zu ermitteln. “3D image data” is to be understood as meaning image data which assign a spatial depth to at least one pixel. The 3D image data preferably assign a spatial depth to a plurality of pixels, which in particular together form a coherent image area. The spatial depth of the pixel is advantageous through one The distance of a part of an object corresponding to the pixel in the preparation area from the sensor unit is defined. It would be conceivable that the sensor unit has a plurality of stereoscopic sensors or other types of 3D sensors known to the person skilled in the art. The sensor unit particularly advantageously has an infrared depth sensor. An “infrared depth sensor” is to be understood as a 3D sensor that has an infrared transmitter, which is provided to send out infrared radiation in the operating state, and an infrared receiver, which is provided for this purpose in the Operating state to receive a portion of the infrared radiation reflected by the part of the object corresponding to the pixel. In particular, the reflected portion of the infrared radiation is part of the image data. Preferably, reflected portions of the infrared radiation received are stored in the memory unit at predefined spatial depths. The control unit is particularly preferred to determine a depth of the pixel in the operating state by comparing the received reflected components of the infrared radiation with the stored reflected components of the infrared radiation.
Ferner wird vorgeschlagen, dass die Sensoreinheit zur Aufnahme eines Fotos, insbeson dere des gesamten Zubereitungsbereichs, vorgesehen ist. Denkbar wäre, dass die Sen soreinheit zur Aufnahme eines Schwarzweißfotos vorgesehen ist und einen Grauwert- Sensor aufweist, welcher dazu vorgesehen ist, in dem Betriebszustand jedem Pixel des Fotos einen Grauwert zuzuordnen. Bevorzugt ist die Sensoreinheit zur Aufnahme eines Farbfotos vorgesehen und weist einen Farb-Sensor auf, welcher dazu vorgesehen ist, in dem Betriebszustand jedem Pixel des Fotos einen Farbwert zuzuordnen. Insbesondere ist der Farb-Sensor dazu vorgesehen, in dem Betriebszustand jedem Pixel des Fotos Farb- koordinaten eines beliebigen Farbraums, beispielsweise des HSV-Farbraums oder des CMYK-Farbraums oder des RBG-Farbraums und bevorzugt des Lab-Farbraums, zuzu ordnen. Unter „Farbkoordinaten“ sollen dreidimensionale Koordinaten verstanden werden, welche eine Helligkeit und eine Farbsättigung als einen Punkt in dem Farbraum darstel len. Für den Fall des Lab-Farbraums umfassen die Farbkoordinaten eine Z-Koordinate L*, welche die Helligkeit darstellt, eine X-Koordinate a*, welche einen Farbwert auf einer rot grünen Farbachse darstellt und eine Y-Koordinate b*, welche einen Farbwert auf einer gelb-blauen Farbachse darstellt. Hierdurch kann insbesondere eine Präzision des digita len Zwillings verbessert werden. Vorteilhaft können Formen und/oder Farben von Objek- ten innerhalb des Zubereitungsbereichs zu einer Analyse der Situation in dem Zuberei tungsbereich verwendet werden. It is also proposed that the sensor unit be provided for taking a photo, in particular of the entire preparation area. It would be conceivable that the sensor unit is provided for taking a black and white photo and has a gray value sensor which is provided to assign a gray value to each pixel of the photo in the operating state. The sensor unit is preferably provided for taking a color photo and has a color sensor which is provided to assign a color value to each pixel of the photo in the operating state. In particular, the color sensor is provided to assign color coordinates of any color space, for example the HSV color space or the CMYK color space or the RBG color space and preferably the Lab color space, to each pixel of the photo in the operating state. “Color coordinates” are to be understood as three-dimensional coordinates which represent a brightness and a color saturation as a point in the color space. In the case of the Lab color space, the color coordinates include a Z coordinate L *, which represents the lightness, an X coordinate a *, which represents a color value on a red-green color axis, and a Y coordinate b *, which shows a color value represents a yellow-blue color axis. As a result, in particular the precision of the digita len twin can be improved. Shapes and / or colors of objects can advantageously thes within the preparation area can be used to analyze the situation in the preparation area.
Besonders vorteilhaft ist die Sensoreinheit zur Aufnahme von RGB-D-Bilddaten des Zube reitungsbereichs vorgesehen. Unter „RGB-D-Bilddaten“ sollen Bilddaten verstanden wer den, welche dem Pixel einen Farbwert und eine räumliche Tiefe zuordnen. Insbesondere ist die Sensoreinheit als eine RGB-D-Kamera ausgebildet. Hierdurch kann insbesondere eine Präzision des digitalen Zwillings weiter verbessert werden. Vorteilhaft kann durch die Kombination von Farbinformation und Tiefeninformation präzise zwischen einer Hand eines Nutzers, einem Gargeschirr und Lebensmitteln unterschieden und eine Bewegung selbiger genau verfolgt werden. The sensor unit is particularly advantageously provided for recording RGB-D image data of the preparation area. “RGB-D image data” is understood to mean image data that assign a color value and spatial depth to the pixel. In particular, the sensor unit is designed as an RGB-D camera. In particular, this can further improve the precision of the digital twin. Advantageously, by combining color information and depth information, a precise distinction can be made between a user's hand, cookware and food, and a movement of the same can be precisely followed.
Denkbar wäre, dass die Zusatz-Sensoreinheit einen kapazitiven Sensor aufweist und die Zusatz-Bilddaten dem Pixel einen Parameter zuordnen, welcher aussagt, ob eine Hand eines Benutzers sich am Ort des Pixels befindet. Um eine Präzision des digitalen Zwillings weiter zu erhöhen, wird vorgeschlagen, dass die Zusatz-Sensoreinheit zur Aufnahme von IR-Bilddaten des Zubereitungsbereichs vorgesehen ist. Insbesondere weist die Zusatz- Sensoreinheit einen IR-Sensor, beispielsweise ein Thermoelement, auf. Hierdurch kann insbesondere eine Temperaturentwicklung innerhalb eines Lebensmittelzubereitungs schritts, beispielsweise eines Garvorgangs, genau verfolgt werden. It would be conceivable for the additional sensor unit to have a capacitive sensor and to assign the additional image data to the pixel a parameter which indicates whether a hand of a user is at the location of the pixel. In order to further increase the precision of the digital twin, it is proposed that the additional sensor unit be provided for recording IR image data of the preparation area. In particular, the additional sensor unit has an IR sensor, for example a thermocouple. In this way, in particular, a temperature development within a food preparation step, for example a cooking process, can be precisely tracked.
Unter „vorgesehen“ soll insbesondere speziell programmiert, ausgelegt und/oder ausge stattet verstanden werden. Darunter, dass ein Objekt zu einer bestimmten Funktion vor gesehen ist, soll insbesondere verstanden werden, dass das Objekt diese bestimmte Funktion in zumindest einem Anwendungs- und/oder Betriebszustand erfüllt und/oder ausführt. “Provided” is to be understood in particular as specifically programmed, designed and / or equipped. The fact that an object is provided for a specific function should be understood in particular to mean that the object fulfills and / or executes this specific function in at least one application and / or operating state.
Zudem wird vorgeschlagen, dass die Steuereinheit dazu vorgesehen ist, in dem Betriebs zustand einem Benutzer den digitalen Zwilling auszugeben, insbesondere mittels einer Ausgabeeinheit der Lebensmittelzubereitungsvorrichtung. Vorzugsweise ist die Steuer einheit dazu vorgesehen, in dem Betriebszustand den digitalen Zwilling mittels eines opti schen und/oder akustischen Signals auszugeben. Die Ausgabeeinheit könnte beispiels weise ein Display, insbesondere ein LCD-Display und/oder ein OECD-Display, aufweisen. Alternativ oder zusätzlich könnte die Ausgabeeinheit eine Beleuchtungseinheit, insbeson dere eine LED, und/oder ein Mikrofon aufweisen. Es wäre denkbar, dass die Steuereinheit dazu vorgesehen ist, in dem Betriebszustand den digitalen Zwilling mittels einer Kommu nikationseinheit der Lebensmittelzubereitungsvorrichtung an eine weitere Einheit zu einer Ausgabe des digitalen Zwillings weiterzugeben. Die Kommunikationseinheit könnte bei spielsweise einen Funksender und/oder Radiosender und/oder IR-Sender und/oder Blue- toothsender aufweisen. Die weitere Einheit könnte beispielsweise als ein Teil des Koch felds und/oder ein Teil der Dunstabzugshaube und/oder ein Teil einer externen Einheit, beispielsweise eines Mobilgeräts, insbesondere eines Smartphones, ausgebildet sein. Hierdurch kann insbesondere ein Benutzerkomfort gesteigert werden. Vorteilhaft kann ein Benutzer anhand des digitalen Zwillings einen Überblick über die bisher durchgeführten Lebensmittelzubereitungsschritte erhalten. It is also proposed that the control unit is provided to output the digital twin to a user in the operating state, in particular by means of an output unit of the food preparation device. The control unit is preferably provided to output the digital twin in the operating state by means of an optical and / or acoustic signal. The output unit could, for example, have a display, in particular an LCD display and / or an OECD display. Alternatively or additionally, the output unit could have a lighting unit, in particular an LED, and / or a microphone. It would be conceivable that the control unit provision is made to pass on the digital twin in the operating state by means of a communication unit of the food preparation device to a further unit for outputting the digital twin. The communication unit could, for example, have a radio transmitter and / or radio transmitter and / or IR transmitter and / or Bluetooth transmitter. The further unit could, for example, be designed as part of the cooktop and / or part of the extractor hood and / or part of an external unit, for example a mobile device, in particular a smartphone. In this way, user convenience can in particular be increased. With the aid of the digital twin, a user can advantageously obtain an overview of the food preparation steps carried out so far.
Darüber hinaus wird vorgeschlagen, dass die Steuereinheit dazu vorgesehen ist, in dem Betriebszustand basierend auf einem Ergebnis der Auswertung der Bilddaten und Zusatz- Bilddaten einem Benutzer zumindest einen Vorschlag bezüglich eines Lebensmittelzube reitungsschritts auszugeben, insbesondere mittels der Ausgabeeinheit. Der Vorschlag könnte beispielsweise eine Anweisung zu einem Unterlassen und/oder einer Wiederho lung und/oder einem Durchführen und/oder einem Beenden und/oder einem Abändern des Lebensmittelzubereitungsschritts aufweisen. Vorteilhaft ist die Steuereinheit dazu vorgesehen, in dem Betriebszustand dem Benutzer nach einer Durchführung eines Le bensmittelzubereitungsschritts eines vordefinierten Lebensmittelzubereitungsprozesses vorzuschlagen, einen im vordefinierten Lebensmittelzubereitungsprozess auf den Le bensmittelzubereitungsschritt folgenden weiteren Lebensmittelzubereitungsschritt durch zuführen. Ferner könnte die Steuereinheit dazu vorgesehen sein, in dem Betriebszustand dem Benutzer nach einem Beginn eines Lebensmittelzubereitungsschritts nach einer vor definierten Zeit und/oder nach einem Erreichen einer vordefinierten Temperatur und/oder nach einem Erreichen einer vordefinierten Färbung vorzuschlagen, den Lebensmittelzu bereitungsschritt zu beenden. Hierdurch kann ein Benutzerkomfort weiter gesteigert wer den. Vorteilhaft kann eine fehlerhafte Durchführung des vordefinierten Lebensmittelzube reitungsprozesses vermieden werden. Besonders vorteilhaft kann die Lebensmittelzube reitungsvorrichtung den Benutzer durch den vordefinierten Lebensmittelprozess führen.In addition, it is proposed that the control unit is provided to output at least one suggestion regarding a food preparation step to a user in the operating state based on a result of the evaluation of the image data and additional image data, in particular by means of the output unit. The proposal could, for example, have an instruction to omit and / or to repeat and / or to carry out and / or to terminate and / or to modify the food preparation step. The control unit is advantageously provided, in the operating state, after a food preparation step of a predefined food preparation process has been carried out, to suggest that the user carry out a further food preparation step following the food preparation step in the predefined food preparation process. Furthermore, the control unit could be provided, in the operating state, after the start of a food preparation step after a predefined time and / or after reaching a predefined temperature and / or after reaching a predefined color, suggesting that the food preparation step be ended. As a result, user convenience can be further increased. An incorrect implementation of the predefined food preparation process can advantageously be avoided. The food preparation device can particularly advantageously guide the user through the predefined food process.
Um einen Benutzerkomfort und eine Flexibilität zu steigern, wird vorgeschlagen, dass die Steuereinheit dazu vorgesehen ist, in dem Betriebszustand basierend auf einem Ergebnis der Auswertung der Bilddaten und Zusatz-Bilddaten zumindest einen Lebensmittelzube- reitungsparameter eines Lebensmittelzubereitungsprozesses, insbesondere eines vorde finierten Lebensmittelzubereitungsprozesses, anzupassen. Der Lebensmittelzuberei tungsparameter kann beispielsweise eine Zeit, eine Temperatur, eine Größe, ein Gewicht und/oder eine Anzahl sein. Beispielsweise könnte die Steuereinheit dazu vorgesehen sein, in dem Betriebszustand bei einer Erhöhung einer Menge eines für den Lebensmittel zubereitungsprozess verwendeten Lebensmittels, Mengen sämtlicher anderer für den Lebensmittelzubereitungsprozess verwendeten Lebensmittel in gleichem Maße zu erhö hen und vorzugsweise dem Benutzer als Vorschlag auszugeben. Vorteilhaft kann die Steuereinheit dazu vorgesehen sein, in dem Betriebszustand bei einer Verwendung eines neuen Lebensmittels, welches nicht Teil des bisherigen Lebensmittelzubereitungsprozes ses ist, den Lebensmittelzubereitungsprozess um Lebensmittelzubereitungsschritte, wel cher der Bearbeitung des neuen Lebensmittels dienen, zu erweitern und vorzugsweise dem Benutzer die Durchführung der Lebensmittelzubereitungsschritte vorzuschlagen. Hierdurch kann eine Unterstützung individueller Lebensmittelzubereitungsprozesse durch die Lebensmittelzubereitungsvorrichtung erreicht werden. Vorteilhaft können Rezepte auf eine jeweilige Anzahl an benötigten Portionen und/oder an persönliche Lebensmittelpräfe renzen des Benutzers angepasst werden. Besonders vorteilhaft kann die Lebensmittelzu bereitungsvorrichtung auch bei spontanen Änderungen des Lebensmittelzubereitungspro zesses eine fehlerhafte Durchführung des Lebensmittelzubereitungsprozesses verhin dern. In order to increase user comfort and flexibility, it is proposed that the control unit be provided in the operating state, based on a result of the evaluation of the image data and additional image data, at least one food item. adjustment parameters of a food preparation process, in particular a predefined food preparation process. The food preparation parameter can be, for example, a time, a temperature, a size, a weight and / or a number. For example, the control unit could be provided in the operating state when an amount of a food used for the food preparation process increases, amounts of all other food used for the food preparation process to the same extent and preferably output it to the user as a suggestion. The control unit can advantageously be provided in the operating state when using a new food which is not part of the previous food preparation process, to expand the food preparation process to include food preparation steps which are used to process the new food, and preferably to allow the user to carry out the Propose food preparation steps. This enables the food preparation device to support individual food preparation processes. Recipes can advantageously be adapted to a respective number of required portions and / or to personal food preferences of the user. Particularly advantageously, the food preparation device can prevent incorrect execution of the food preparation process even in the event of spontaneous changes in the food preparation process.
In einem weiteren Aspekt der Erfindung, welcher für sich allein genommen oder auch in Kombination mit weiteren Aspekten der Erfindung betrachtet werden kann, wird vorge schlagen, dass die Steuereinheit dazu vorgesehen ist, in zumindest einem Betriebszu stand, insbesondere dem Betriebszustand, die Bilddaten zu einer Emissionsgradbestim mung zumindest eines Objekts in dem Zubereitungsbereich auszuwerten. Vorteilhaft ist die Steuereinheit dazu vorgesehen, in dem Betriebszustand den ermittelten Emissions grad gemeinsam mit den IR-Bilddaten zu einer Temperaturmessung auszuwerten. Hier durch kann eine Temperaturmessung des Objekts in dem Zubereitungsbereich vorteilhaft verbessert werden, wobei insbesondere auf zusätzliche Bauteile zur Emissionsgradbe stimmung verzichtet werden kann. Alternativ wäre denkbar, dass die Lebensmittelzuberei tungsvorrichtung ein zusätzliches Bauteil zu einer Emissionsgradbestimmung zumindest eines Objekts in dem Zubereitungsbereich aufweist. Vorteilhaft umfasst die Emissionsgradbestimmung eine Farbwertbestimmung anhand des Fotos. Denkbar wäre, dass der Farbwert als ein Helligkeitswert und das Foto als ein Schwarzweißfoto ausgebildet ist. Vorteilhaft ist der Farbwert als eine Summe der Farbko- ordinaten und das Foto als ein Farbfoto ausgebildet. Besonders vorteilhaft sind in der Speichereinheit vordefinierte Farbwerte und zu den vordefinierten Farbwerten korrespon dierende vordefinierte Emissionsgrade gespeichert. Möglicherweise könnte die Steuer einheit dazu vorgesehen sein, den Farbwert mit den vordefinierten Farbwerten zu verglei chen und bei einer Übereinstimmung mit einem vordefinierten Farbwert dem Objekt den zu dem vordefinierten Farbwert korrespondierenden vordefinierten Emissionsgrad zuzu ordnen. Beispielsweise könnte der Farbwert zu einem vordefinierten Farbwert identisch sein, welcher das Objekt als einen Kochtopf aus Edelstahl identifiziert, woraufhin die Steuereinheit dem Objekt einen vordefinierten Emissionsgrad eines Kochtopfes aus Edel stahl zuordnet. Hierdurch kann die Emissionsgradbestimmung auf eine einfache Weise bereitgestellt werden. In a further aspect of the invention, which can be considered on its own or in combination with further aspects of the invention, it is proposed that the control unit is provided in at least one operational state, in particular the operational state, to transfer the image data to a To evaluate the emissivity determination of at least one object in the preparation area. The control unit is advantageously provided to evaluate the determined emissivity together with the IR image data for a temperature measurement in the operating state. As a result, a temperature measurement of the object in the preparation area can advantageously be improved, in which case, in particular, additional components for determining the emissivity can be dispensed with. Alternatively, it would be conceivable that the food preparation device has an additional component for determining the emissivity of at least one object in the preparation area. The emissivity determination advantageously includes a color value determination based on the photo. It would be conceivable that the color value is designed as a brightness value and the photo as a black and white photo. The color value is advantageously designed as a sum of the color coordinates and the photo as a color photo. Predefined color values and predefined emissivities corresponding to the predefined color values are particularly advantageously stored in the memory unit. The control unit could possibly be provided to compare the color value with the predefined color values and, in the event of a match with a predefined color value, to assign the predefined emissivity corresponding to the predefined color value to the object. For example, the color value could be identical to a predefined color value which identifies the object as a saucepan made of stainless steel, whereupon the control unit assigns a predefined emissivity of a saucepan made of stainless steel to the object. In this way, the emissivity can be determined in a simple manner.
Um die Emissionsgradbestimmung weiter zu vereinfachen, wird vorgeschlagen, dass die Steuereinheit dazu vorgesehen ist, den Farbwert einem vordefinierten Farbwertebereich zuzuordnen, wobei dem vordefinierten Farbwertebereich ein vordefinierter Emissionsgrad zugeordnet ist. Insbesondere umfasst ein Gesamtfarbwertebereich, welcher sämtliche möglichen Farbwerte aufweist, zumindest zwei vordefinierte Farbwertebereiche, vorzugs weise bilden die Farbwertebereiche gemeinsam den Gesamtfarbwertebereich aus. Vor teilhaft sind die Farbwertebereiche zueinander überlappungsfrei ausgebildet. Besonders vorteilhaft ist zumindest einer der Farbwertebereiche einer vordefinierten Art von Objekten zugeordnet, wobei die Steuereinheit dazu vorgesehen ist, ein Objekt, welches einen Farbwert in dem Farbwertebereich aufweist, als der vordefinierten Art von Objekten zuge hörig zu identifizieren. Vorzugsweise ist die Steuereinheit dazu vorgesehen, sämtlichen Objekten, welche als der vordefinierten Art von Objekten zugehörig identifiziert sind, einen vordefinierten Emissionsgrad zuzuordnen. Insbesondere ist die vordefinierte Art von Ob jekten als eine Art von Gargeschirr ausgebildet. Besonders vorteilhaft ist die Steuereinheit dazu vorgesehen, den Farbwert einem von zwei vordefinierten Farbwertebereichen zuzu ordnen, welche gemeinsam den Gesamtfarbwertebereich ausbilden. Beispielsweise könn ten für den Fall, dass das Objekt ein Gargeschirr ist, die zwei vordefinierten Farbwertebe reiche als eine grobe Unterscheidung zwischen beschichtetem Gargeschirr und metalli schem Gargeschirr dienen. Hierdurch kann der Emissionsgrad auch bei bezüglich des Farbwerts leicht voneinander abweichenden Objekten korrekt zugeordnet werden. Vor teilhaft kann auf eine präzise Ermittlung des Farbwerts verzichtet werden. Besonders vor teilhaft kann zwischen Arten von Objekten, wobei sich der Emissionsgrad von Objekten der Art untereinander nicht stark unterscheidet, unterschieden und hierdurch eine hinrei chend genaue Ermittlung des Emissionsgrads erreicht werden. In order to further simplify the determination of the emissivity, it is proposed that the control unit is provided to assign the color value to a predefined color value range, a predefined emissivity being assigned to the predefined color value range. In particular, an overall color value range which has all possible color values comprises at least two predefined color value ranges, preferably the color value ranges together form the total color value range. Before geous, the color value ranges are formed without overlapping one another. At least one of the color value ranges is particularly advantageously assigned to a predefined type of object, the control unit being provided to identify an object which has a color value in the color value range as belonging to the predefined type of objects. The control unit is preferably provided to assign a predefined emissivity to all objects which are identified as belonging to the predefined type of objects. In particular, the predefined type of objects is designed as a type of cookware. The control unit is particularly advantageously provided to assign the color value to one of two predefined color value ranges which together form the overall color value range. For example, if the object is cookware, the two predefined color value ranges could serve as a rough distinction between coated cookware and metallic cookware. As a result, the emissivity can also be used with respect to the The color value can be correctly assigned to objects that differ slightly from one another. A precise determination of the color value can advantageously be dispensed with. It is particularly advantageous to distinguish between types of objects, the emissivity of objects of the type not differing greatly from one another, and thereby a sufficiently accurate determination of the emissivity can be achieved.
Ferner wird ein Küchengerät, insbesondere eine Dunstabzugshaube, vorgeschlagen, mit der Lebensmittelzubereitungsvorrichtung. Hierdurch kann auf einfache Weise ein Benut zerkomfort erhöht und ein digitaler Zwilling des Lebensmittelherstellungsprozesses präzi se erzeugt werden. Vorteilhaft entfallen zusätzliche Montageschritte zu einer Montage der Lebensmittelzubereitungsvorrichtung in einem Umfeld des Zubereitungsbereichs. Furthermore, a kitchen appliance, in particular an extractor hood, is proposed with the food preparation device. In this way, user comfort can be increased in a simple manner and a digital twin of the food production process can be precisely generated. Additional assembly steps for assembling the food preparation device in an area surrounding the preparation area are advantageously dispensed with.
Es wird ferner von einem Verfahren zur Lebensmittelzubereitung ausgegangen, insbe sondere mit der Lebensmittelzubereitungsvorrichtung, in welchem Bilddaten und Zusatz- Bilddaten eines Zubereitungsbereichs aufgenommen werden. It is also based on a method for food preparation, in particular with the food preparation device, in which image data and additional image data of a preparation area are recorded.
Es wird vorgeschlagen, dass die als 3D-Bilddaten ausgebildeten Bilddaten und die Zu- satz-Bilddaten zu einer Erzeugung eines digitalen Zwillings einer Situation in dem Zube reitungsbereich, insbesondere eines Lebensmittelzubereitungsprozesses in dem Zuberei tungsbereich, ausgewertet werden. Hierdurch kann ein Benutzerkomfort erhöht und ein digitaler Zwilling des Lebensmittelherstellungsprozesses präzise erzeugt werden. Vorteil haft kann eine fehlerhafte Durchführung von Lebensmittelzubereitungsprozessen vermie den werden. It is proposed that the image data formed as 3D image data and the additional image data be evaluated to generate a digital twin of a situation in the preparation area, in particular a food preparation process in the preparation area. In this way, user convenience can be increased and a digital twin of the food production process can be precisely generated. Incorrect implementation of food preparation processes can advantageously be avoided.
Die Lebensmittelzubereitungsvorrichtung soll hierbei nicht auf die oben beschriebene An wendung und Ausführungsform beschränkt sein. Insbesondere kann die Lebensmittelzu bereitungsvorrichtung zu einer Erfüllung einer hierin beschriebenen Funktionsweise eine von einer hierin genannten Anzahl von einzelnen Elementen, Bauteilen und Einheiten abweichende Anzahl aufweisen. The food preparation device should not be limited to the application and embodiment described above. In particular, the food preparation device can have a number of individual elements, components and units that differs from a number of individual elements, components and units mentioned herein in order to fulfill a mode of operation described herein.
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In den Zeich nungen ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnungen, die Be schreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fach mann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen. Es zeigen: Further advantages emerge from the following description of the drawings. In the drawings, an embodiment of the invention is shown. The drawings, the description and the claims contain numerous features in combination. The specialist will expediently consider the features individually and combine them into useful further combinations. Show it:
Fig. 1 ein Küchengerät mit einer Lebensmittelzubereitungsvorrichtung in einer Frontalansicht, 1 shows a kitchen appliance with a food preparation device in a front view,
Fig. 2 ein von der Lebensmittelzubereitungsvorrichtung aufgenommenes Foto, Fig. 3 eine Ausgabeeinheit der Lebensmittelzubereitungsvorrichtung, welche einen digitalen Zwilling eines Lebensmittelzubereitungsprozesses aus gibt, FIG. 2 shows a photo taken by the food preparation device, FIG. 3 shows an output unit of the food preparation device, which outputs a digital twin of a food preparation process,
Fig. 4 die Ausgabeeinheit, welche einen Vorschlag bezüglich eines Lebensmit telzubereitungsschritts ausgibt und 4 shows the output unit which outputs a proposal with regard to a food preparation step and
Fig. 5 ein schematisches Verlaufsdiagramm eines Verfahrens zur Lebensmit telzubereitung mit der Lebensmittelzubereitungsvorrichtung. Fig. 5 is a schematic flow diagram of a method for food preparation with the food preparation device.
Von mehrfach vorhandenen Objekten ist in den Figuren jeweils lediglich eines mit einem Bezugszeichen versehen. In the figures, only one object of multiple existing objects is provided with a reference symbol.
Figur 1 zeigt ein Küchengerät 22. Das Küchengerät 22 ist als eine Dunstabzugshaube ausgebildet. Das Küchengerät 22 weist eine Lebensmittelzubereitungsvorrichtung 10 auf. Alternativ könnte die Lebensmittelzubereitungsvorrichtung 10 als Teil eines Kochfelds oder als ein separates Zubehörteil ausgebildet sein. Die Lebensmittelzubereitungsvorrich tung 10 ist als eine Kochfeldvorrichtung ausgebildet. Alternativ oder zusätzlich könnte die Lebensmittelzubereitungsvorrichtung 10 als eine Arbeitsplattenvorrichtung ausgebildet sein. FIG. 1 shows a kitchen appliance 22. The kitchen appliance 22 is designed as an extractor hood. The kitchen appliance 22 has a food preparation device 10. Alternatively, the food preparation device 10 could be designed as part of a hob or as a separate accessory. The food preparation device 10 is designed as a hob device. Alternatively or additionally, the food preparation device 10 could be designed as a worktop device.
Die Lebensmittelzubereitungsvorrichtung 10 weist eine Sensoreinheit 12 auf. Die Sen soreinheit 12 nimmt Bilddaten eines Zubereitungsbereichs 14 auf. Die Sensoreinheit 12 nimmt ein Foto des Zubereitungsbereichs 14 auf, welches in Figur 2 dargestellt ist. Das Foto ist als ein Farbfoto ausgebildet. Alternativ könnte das Foto als ein Schwarzweißfoto ausgebildet sein. Die Bilddaten sind als 3D-Bilddaten ausgebildet. Die Sensoreinheit 12 nimmt RGB-D-Bilddaten des Zubereitungsbereichs 14 auf. Die Sensoreinheit 12 weist einen RGB-Sensor (nicht dargestellt) auf. Die Sensoreinheit 12 weist einen Infrarot- Tiefensensor (nicht dargestellt) auf. Die Sensoreinheit 12 ist als eine RGB-D-Kamera ausgebildet. The food preparation device 10 has a sensor unit 12. The sensor unit 12 records image data of a preparation area 14. The sensor unit 12 takes a photo of the preparation area 14, which is shown in FIG. The photo is designed as a color photo. Alternatively, the photo could be designed as a black and white photo. The image data are designed as 3D image data. The sensor unit 12 records RGB-D image data of the preparation area 14. The sensor unit 12 has an RGB sensor (not shown). The sensor unit 12 has an infrared depth sensor (not shown). The sensor unit 12 is designed as an RGB-D camera.
Die Lebensmittelzubereitungsvorrichtung 10 weist eine Zusatz-Sensoreinheit 16 auf. Die Zusatz-Sensoreinheit 16 nimmt Zusatz-Bilddaten des Zubereitungsbereichs 14 auf. Die Zusatz-Sensoreinheit 16 nimmt IR-Bilddaten des Zubereitungsbereichs 14 auf. Die Zu satz-Sensoreinheit 16 ist als eine IR-Kamera ausgebildet. Die Sensoreinheit 12 und die Zusatz-Sensoreinheit 16 bilden gemeinsam eine in das Küchengerät 22 integrierte Kame raeinheit. The food preparation device 10 has an additional sensor unit 16. The additional sensor unit 16 records additional image data of the preparation area 14. the Additional sensor unit 16 records IR image data of preparation area 14. The additional sensor unit 16 is designed as an IR camera. The sensor unit 12 and the additional sensor unit 16 together form a camera unit integrated into the kitchen appliance 22.
Der Zubereitungsbereich 14 ist als ein Kochfeld ausgebildet. Alternativ oder zusätzlich könnte der Zubereitungsbereich 14 als Teil einer Arbeitsplatte ausgebildet sein. In dem Zubereitungsbereich 14 ist ein Objekt 20 angeordnet. Das Objekt 20 ist als ein Kochtopf ausgebildet. In dem Kochtopf befinden sich Kochwasser und 3 Eier. The preparation area 14 is designed as a hob. Alternatively or additionally, the preparation area 14 could be designed as part of a worktop. An object 20 is arranged in the preparation area 14. The object 20 is designed as a saucepan. There is cooking water and 3 eggs in the saucepan.
Die Lebensmittelzubereitungsvorrichtung 10 weist eine Steuereinheit 18 auf. Die Steuer einheit 18 ist als ein Prozessor ausgebildet. Die Steuereinheit 18 wertet die Bilddaten und die Zusatz-Bilddaten zur Erzeugung eines digitalen Zwillings einer Situation in dem Zube reitungsbereich 14 aus. Die Steuereinheit 18 wertet die Bilddaten und die Zusatz- Bilddaten zu einer Ermittlung von Lebensmittelzubereitungsparametern aus, welche ge meinsam den digitalen Zwilling ausbilden. Die Steuereinheit 18 wertet die Bilddaten zu einer Ermittlung einer Größe, Form, Anzahl, Farbe und Bewegung von Objekten in dem Zubereitungsbereich 14 aus. Die Steuereinheit 18 wertet die Zusatz-Bilddaten zu einer Ermittlung einer Temperatur von Objekten in dem Zubereitungsbereich 14 aus. Die Steu ereinheit 18 gibt einem Benutzer den digitalen Zwilling über eine Ausgabeeinheit 24 des Küchengeräts 22 aus, was in Figur 3 dargestellt ist. Alternativ könnte die Steuereinheit 18 dem Benutzer den digitalen Zwilling über eine Ausgabeeinheit eines Kochfelds oder einer externen Einheit ausgeben. Die Ausgabeeinheit 24 ist als ein LCD-Display ausgebildet.The food preparation device 10 has a control unit 18. The control unit 18 is designed as a processor. The control unit 18 evaluates the image data and the additional image data to generate a digital twin of a situation in the preparation area 14. The control unit 18 evaluates the image data and the additional image data to determine food preparation parameters, which together form the digital twin. The control unit 18 evaluates the image data to determine a size, shape, number, color and movement of objects in the preparation area 14. The control unit 18 evaluates the additional image data to determine a temperature of objects in the preparation area 14. The control unit 18 outputs the digital twin to a user via an output unit 24 of the kitchen appliance 22, which is shown in FIG. Alternatively, the control unit 18 could output the digital twin to the user via an output unit of a hob or an external unit. The output unit 24 is designed as an LCD display.
Die Situation in dem Zubereitungsbereich 14 ist als ein Teil eines Lebensmittelzuberei tungsprozesses ausgebildet. Der Lebensmittelzubereitungsprozess ist als ein Eierkochen ausgebildet. Die Steuereinheit 18 gibt den digitalen Zwilling über die Ausgabeeinheit 24 als eine Anzahl an Eiern, eine Menge an Kochwasser, eine eingestellte Heizleistungsstufe und eine bisherige Kochzeit aus. Alternativ könnte die Situation als ein Teil eines beliebi gen anderen Lebensmittelzubereitungsprozesses, wie beispielsweise ein Braten, ein Ga ren, ein Dämpfen, ein Mischen etc. ausgebildet sein und der digitale Zwilling in Form von beliebigen Lebensmittelzubereitungsparametern ausgegeben werden, wie beispielsweise eine Bräune, ein Gewicht, ein Volumen, eine Rührdauer, eine Bratdauer etc. Die Steuereinheit 18 gibt dem Benutzer basierend auf einem Ergebnis der Auswertung der Bilddaten und Zusatz-Bilddaten einen Vorschlag bezüglich eines Lebensmittelzuberei tungsschritts über die Ausgabeeinheit 24 aus, was in Figur 4 dargestellt ist. Die Lebens mittelzubereitungsvorrichtung 10 weist eine Speichereinheit 26 auf. Die Speichereinheit 26 ist als ein gängiges Speichermedium, beispielsweise eine Speicherkarte, ausgebildet.The situation in the preparation area 14 is designed as part of a food preparation process. The food preparation process is designed as an egg boiling process. The control unit 18 outputs the digital twin via the output unit 24 as a number of eggs, a quantity of cooking water, a set heating power level and a previous cooking time. Alternatively, the situation could be designed as part of any other food preparation process, such as roasting, cooking, steaming, mixing, etc., and the digital twin could be output in the form of any food preparation parameters, such as a tan, a weight , a volume, a stirring time, a roasting time, etc. On the basis of a result of the evaluation of the image data and additional image data, the control unit 18 outputs a suggestion for a food preparation step to the user via the output unit 24, which is shown in FIG. The food preparation device 10 has a storage unit 26. The storage unit 26 is designed as a common storage medium, for example a memory card.
In der Speichereinheit 26 sind vordefinierte Kochzeiten für ein Eierkochen in Abhängigkeit von Lebensmittelzubereitungsparametern gespeichert. Die Steuereinheit 18 ermittelt an hand der ermittelten Lebensmittelzubereitungsparameter und der in der Speichereinheit 26 gespeicherten vordefinierten Kochzeiten eine zu der Situation in dem Zubereitungsbe reich 14 korrespondierende vordefinierte Kochzeit. Nach Ablauf der vordefinierten Koch zeit gibt die Steuereinheit 18 dem Benutzer den Vorschlag aus, die Eier aus dem Koch topf zu entfernen. Alternativ oder zusätzlich könnten in der Speichereinheit 26 Rezepte, beispielsweise ein Kuchenrezept, gespeichert sein, wobei die Steuereinheit 18 basierend auf dem Ergebnis der Auswertung der Bilddaten und Zusatz-Bilddaten einzelne Lebens mittelzubereitungsschritte des Rezepts verfolgt und dem Benutzer jeweils den gemäß dem Rezept nächsten Lebensmittelzubereitungsschritt vorschlägt. Predefined cooking times for boiling eggs are stored in the memory unit 26 as a function of food preparation parameters. The control unit 18 uses the determined food preparation parameters and the predefined cooking times stored in the memory unit 26 to determine a predefined cooking time corresponding to the situation in the preparation area 14. After the predefined cooking time, the control unit 18 gives the user the proposal to remove the eggs from the cooking pot. Alternatively or additionally, recipes, for example a cake recipe, could be stored in the memory unit 26, with the control unit 18 following individual food preparation steps of the recipe based on the result of the evaluation of the image data and additional image data and suggesting the next food preparation step according to the recipe to the user .
Die Steuereinheit 18 passt basierend auf dem Ergebnis der Auswertung der Bilddaten und Zusatz-Bilddaten einen Lebensmittelzubereitungsparameter eines Lebensmittelzuberei tungsprozesses an. Wenn die Auswertung der Bilddaten und Zusatz-Bilddaten ergibt, dass der Benutzer einen der in Figur 2 dargestellten Lebensmittelzubereitungsparameter verändert hat, ermittelt die Steuereinheit 18 die vordefinierte Kochzeit neu und passt sie an die neue Situation in dem Zubereitungsbereich 14 an. Alternativ könnte die Steuerein heit 18 ein in der Speichereinheit 26 gespeichertes Rezept basierend auf dem Ergebnis der Auswertung der Bilddaten und Zusatz-Bilddaten anpassen, beispielsweise könnte die Steuereinheit 18 bei einer Abwesenheit von Meerrettich in dem Zubereitungsbereich 14 erkennen, dass der Benutzer auf Meerrettich verzichten will, und ein verwendetes Sa latrezept anpassen, so dass es keinen Meerrettich mehr enthält. The control unit 18 adjusts a food preparation parameter of a food preparation process based on the result of the evaluation of the image data and additional image data. If the evaluation of the image data and additional image data shows that the user has changed one of the food preparation parameters shown in FIG. 2, the control unit 18 recalculates the predefined cooking time and adapts it to the new situation in the preparation area 14. Alternatively, the control unit 18 could adapt a recipe stored in the memory unit 26 based on the result of the evaluation of the image data and additional image data; for example, if there is no horseradish in the preparation area 14, the control unit 18 could recognize that the user wants to do without horseradish , and adapt a used seed recipe so that it no longer contains horseradish.
Die Steuereinheit 18 wertet die Bilddaten zu einer Emissionsgradbestimmung des Objekts 20 in dem Zubereitungsbereich 14 aus. Die Emissionsgradbestimmung umfasst eine Farbwertbestimmung anhand des Fotos. Der Farbwert ist als eine Summe von Farbkoor- dinaten L*, a* und b* in einem Lab-Farbraum ausgebildet. Die Steuereinheit 18 ordnet den Farbwert einem von zwei vordefinierten Farbwertebereichen zu. Die zwei vordefinierten Farbwertebereiche sind zueinander überlappungsfrei. Die zwei vordefinierten Farbwertbe reich bilden gemeinsam einen Gesamtfarbwertbereich aus. Einem vordefinierten ersten Farbwertebereich ist ein vordefinierter erster Emissionsgrad zugeordnet. Der vordefinierte erste Farbwertebereich ist einer ersten Art von Objekten zugeordnet. Die erste Art von Objekten ist als metallische Gargeschirre ausgebildet. Der ersten Art von Objekten ist ein vordefinierter erster Emissionsgrad zugeordnet. Der vordefinierte erste Emissionsgrad entspricht einem, dem Fachmann bekannten, gängigen Emissionsgrad für metallische Gargeschirre. Einem vordefinierten zweiten Farbwertebereich ist ein vordefinierter zweiter Emissionsgrad zugeordnet. Der vordefinierte zweite Farbwertebereich ist einer zweiten Art von Objekten zugeordnet. Die zweite Art von Objekten ist als beschichtete Gargeschir re ausgebildet. Der vordefinierte zweite Emissionsgrad entspricht einem, dem Fachmann bekannten, gängigen Emissionsgrad für beschichtete Gargeschirre. Die Emissionsgrad bestimmung dient einer groben Unterscheidung zwischen im Zubereitungsbereich 14 an geordneten metallischen Gargeschirren und im Zubereitungsbereich 14 angeordneten beschichteten Gargeschirren. Die Steuereinheit 18 identifiziert das Objekt 20 anhand der Farbwertbestimmung als ein metallisches Gargeschirr. Die Steuereinheit 18 verwendet zur Temperaturbestimmung des Objekts 20 die IR-Bilddaten und den vordefinierten ersten Emissionsgrad. The control unit 18 evaluates the image data to determine the emissivity of the object 20 in the preparation area 14. The emissivity determination includes a color value determination based on the photo. The color value is designed as a sum of color coordinates L *, a * and b * in a Lab color space. The control unit 18 assigns the color value to one of two predefined color value ranges. The two predefined Color value ranges do not overlap with one another. The two predefined color value ranges together form an overall color value range. A predefined first emissivity is assigned to a predefined first color value range. The predefined first color value range is assigned to a first type of object. The first type of objects is designed as metallic cookware. A predefined first emissivity is assigned to the first type of object. The predefined first emissivity corresponds to a common emissivity for metallic cooking utensils known to those skilled in the art. A predefined second emissivity is assigned to a predefined second color value range. The predefined second color value range is assigned to a second type of object. The second type of objects is designed as coated cookware. The predefined second emissivity corresponds to a common emissivity for coated cooking utensils known to those skilled in the art. The emissivity determination serves to make a rough distinction between metallic cooking utensils arranged in the preparation area 14 and coated cooking utensils arranged in the preparation area 14. The control unit 18 identifies the object 20 on the basis of the color value determination as a metallic cookware. The control unit 18 uses the IR image data and the predefined first emissivity to determine the temperature of the object 20.
In Figur 5 ist ein schematisches Verlaufsdiagramm eines Verfahrens zur Lebensmittelzu bereitung mit der Lebensmittelzubereitungsvorrichtung 10 dargestellt. In einem Aufnah meschritt 100 werden von der Sensoreinheit 12 und der Zusatz-Sensoreinheit 16 die Bild daten und die Zusatz-Bilddaten des Zubereitungsbereichs 14 aufgenommen. In einem Auswerteschritt 110 werden die Bilddaten und die Zusatz-Bilddaten von der Steuereinheit 18 zur Erzeugung des digitalen Zwillings ausgewertet. Der Auswerteschritt 110 folgt auf den Aufnahmeschritt 100. In einem Ausgabeschritt 120 gibt die Steuereinheit 18 den digi talen Zwilling über die Ausgabeeinheit 24 an den Benutzer aus. Der Ausgabeschritt 120 folgt auf den Auswerteschritt 110. Bezugszeichen FIG. 5 shows a schematic flow diagram of a method for preparing food with the food preparation device 10. In a recording step 100, the image data and the additional image data of the preparation area 14 are recorded by the sensor unit 12 and the additional sensor unit 16. In an evaluation step 110, the image data and the additional image data are evaluated by the control unit 18 to generate the digital twin. The evaluation step 110 follows the recording step 100. In an output step 120, the control unit 18 outputs the digital twin via the output unit 24 to the user. The output step 120 follows the evaluation step 110. Reference number
10 Lebensmittelzubereitungsvorrichtung10 Food preparation device
12 Sensoreinheit 12 sensor unit
14 Zubereitungsbereich 14 Prep area
16 Zusatz-Sensoreinheit 16 Additional sensor unit
18 Steuereinheit 18 control unit
20 Objekt 20 object
22 Küchengerät 22 kitchen appliances
24 Ausgabeeinheit 24 output unit
26 Speichereinheit 26 storage unit
100 Aufnahmeschritt 100 recording step
110 Auswerteschritt 110 evaluation step
120 Ausgabeschritt 120 output step

Claims

Ansprüche Expectations
1. Lebensmittelzubereitungsvorrichtung (10), insbesondere Kochfeldvorrichtung, mit einer Sensoreinheit (12), welche zu einer Aufnahme von Bilddaten eines Zuberei tungsbereichs (14) vorgesehen ist, mit einer Zusatz-Sensoreinheit (16), welche zu einer Aufnahme von Zusatz-Bilddaten des Zubereitungsbereichs (14) vorge sehen ist, und mit einer Steuereinheit (18) zur Auswertung der Bilddaten, dadurch gekennzeichnet, dass die Steuereinheit (18) dazu vorgesehen ist, in zumindest einem Betriebszustand zusätzlich zu den als 3D-Bilddaten ausgebilde ten Bilddaten auch die Zusatz-Bilddaten zur Erzeugung eines digitalen Zwillings einer Situation in dem Zubereitungsbereich (14), insbesondere eines Lebensmit telzubereitungsprozesses in dem Zubereitungsbereich (14), auszuwerten. 1. Food preparation device (10), in particular hob device, with a sensor unit (12) which is provided for recording image data of a preparation area (14), with an additional sensor unit (16) which is used to record additional image data of the Preparation area (14) is provided, and with a control unit (18) for evaluating the image data, characterized in that the control unit (18) is provided in at least one operating state, in addition to the image data designed as 3D image data, also the addition To evaluate image data for generating a digital twin of a situation in the preparation area (14), in particular a food preparation process in the preparation area (14).
2. Lebensmittelzubereitungsvorrichtung (10) nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinheit (18) dazu vorgesehen ist, in dem Betriebszu stand einem Benutzer den digitalen Zwilling auszugeben. 2. Food preparation device (10) according to claim 1, characterized in that the control unit (18) is provided to output the digital twin to a user in the Betriebszu stood.
3. Lebensmittelzubereitungsvorrichtung (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuereinheit (18) dazu vorgesehen ist, in dem Be triebszustand basierend auf einem Ergebnis der Auswertung der Bilddaten und Zusatz-Bilddaten einem Benutzer zumindest einen Vorschlag bezüglich eines Lebensmittelzubereitungsschritts auszugeben. 3. Food preparation device (10) according to claim 1 or 2, characterized in that the control unit (18) is provided to output at least one suggestion regarding a food preparation step to a user in the operating state based on a result of the evaluation of the image data and additional image data .
4. Lebensmittelzubereitungsvorrichtung (10) nach einem der vorhergehenden An sprüche, dadurch gekennzeichnet, dass die Steuereinheit (18) dazu vorgese hen ist, in dem Betriebszustand basierend auf einem Ergebnis der Auswertung der Bilddaten und Zusatz-Bilddaten zumindest einen Lebensmittelzubereitungs parameter eines Lebensmittelzubereitungsprozesses anzupassen. 4. Food preparation device (10) according to one of the preceding claims, characterized in that the control unit (18) is provided to adapt at least one food preparation parameter of a food preparation process in the operating state based on a result of the evaluation of the image data and additional image data.
5. Lebensmittelzubereitungsvorrichtung (10) zumindest nach dem Oberbegriff des Anspruchs 1 und insbesondere nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit (18) dazu vorgesehen ist, in zumindest einem Betriebszustand die Bilddaten zu einer Emissionsgradbestim- mung zumindest eines Objekts (20) in dem Zubereitungsbereich (14) auszuwer ten. 5. Food preparation device (10) at least according to the preamble of claim 1 and in particular according to one of the preceding claims, characterized in that the control unit (18) is provided in at least one operating state, the image data for an emissivity determination of at least one object (20 ) to be evaluated in the preparation area (14).
6. Lebensmittelzubereitungsvorrichtung (10) nach einem der vorhergehenden An sprüche, dadurch gekennzeichnet, dass die Sensoreinheit (12) zur Aufnahme eines Fotos vorgesehen ist. 6. Food preparation device (10) according to one of the preceding claims, characterized in that the sensor unit (12) is provided for taking a photo.
7. Lebensmittelzubereitungsvorrichtung (10) nach den Ansprüchen 5 und 6, dadurch gekennzeichnet, dass die Emissionsgradbestimmung eine Farbwert bestimmung anhand des Fotos umfasst. 7. Food preparation device (10) according to claims 5 and 6, characterized in that the emissivity determination comprises a color value determination based on the photo.
8. Lebensmittelzubereitungsvorrichtung (10) zumindest nach Anspruch 5, dadurch gekennzeichnet, dass die Steuereinheit (18) dazu vorgesehen ist, den Farbwert einem vordefinierten Farbwertebereich zuzuordnen, wobei dem vordefinierten8. Food preparation device (10) at least according to claim 5, characterized in that the control unit (18) is provided to assign the color value to a predefined color value range, the predefined one
Farbwertebereich ein vordefinierter Emissionsgrad zugeordnet ist. A predefined emissivity is assigned to the color value range.
9. Lebensmittelzubereitungsvorrichtung (10) nach einem der vorhergehenden An sprüche, dadurch gekennzeichnet, dass die Sensoreinheit (12) zur Aufnahme von RGB-D-Bilddaten des Zubereitungsbereichs (14) vorgesehen ist. 9. Food preparation device (10) according to one of the preceding claims, characterized in that the sensor unit (12) is provided for recording RGB-D image data of the preparation area (14).
10. Lebensmittelzubereitungsvorrichtung (10) nach einem der vorhergehenden An sprüche, dadurch gekennzeichnet, dass die Zusatz-Sensoreinheit (16) zur Auf nahme von IR-Bilddaten des Zubereitungsbereichs (14) vorgesehen ist. 10. Food preparation device (10) according to one of the preceding claims, characterized in that the additional sensor unit (16) is provided for recording IR image data of the preparation area (14).
11. Küchengerät (22), insbesondere Dunstabzugshaube, mit einer Lebensmittelzube reitungsvorrichtung (10) nach einem der vorhergehenden Ansprüche. 11. Kitchen appliance (22), in particular extractor hood, with a food preparation device (10) according to one of the preceding claims.
12. Verfahren zur Lebensmittelzubereitung, insbesondere mit einer Lebensmittelzu bereitungsvorrichtung (10) nach einem der Ansprüche 1 bis 10, in welchem Bild daten und Zusatz-Bilddaten eines Zubereitungsbereichs (14) aufgenommen wer den, dadurch gekennzeichnet, dass die als 3D-Bilddaten ausgebildeten Bildda- ten und die Zusatz-Bilddaten zu einer Erzeugung eines digitalen Zwillings einer12. A method for food preparation, in particular with a food preparation device (10) according to one of claims 1 to 10, in which image data and additional image data of a preparation area (14) are recorded, characterized in that the image data formed as 3D image data - th and the additional image data for generating a digital twin of a
Situation in dem Zubereitungsbereich (14), insbesondere eines Lebensmittelzu bereitungsprozesses in dem Zubereitungsbereich (14), ausgewertet werden. Situation in the preparation area (14), in particular a food preparation process in the preparation area (14), can be evaluated.
EP21731212.3A 2020-07-01 2021-06-16 Food preparation apparatus and method for food preparation Pending EP4176426A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20382589 2020-07-01
PCT/EP2021/066200 WO2022002589A1 (en) 2020-07-01 2021-06-16 Food preparation apparatus and method for food preparation

Publications (1)

Publication Number Publication Date
EP4176426A1 true EP4176426A1 (en) 2023-05-10

Family

ID=71607869

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21731212.3A Pending EP4176426A1 (en) 2020-07-01 2021-06-16 Food preparation apparatus and method for food preparation

Country Status (3)

Country Link
US (1) US20230304674A1 (en)
EP (1) EP4176426A1 (en)
WO (1) WO2022002589A1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130171304A1 (en) * 2011-07-14 2013-07-04 Robert E. Huntley System and method for culinary interaction

Also Published As

Publication number Publication date
WO2022002589A1 (en) 2022-01-06
US20230304674A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
EP3730005B1 (en) Method for generating at least one recipe suggestion, kitchen appliance and system for preparing food
WO2009026895A2 (en) Method for adjusting a cooking program by means of visualized parameters relating to the product to be cooked, and cooking appliance therefor
WO2016206889A1 (en) Control unit and method for determining a recipe
EP3415061A1 (en) Domestic appliance
DE102019107846A1 (en) Method for operating a cooking device and cooking device
EP3394515A1 (en) System for the preparation of at least one food product and method for operating the relevant system
EP1980791B1 (en) Cooking device with browning sensor
DE102010054382B4 (en) Method for controlling a cooking appliance and cooking appliance with appliance control
EP4176426A1 (en) Food preparation apparatus and method for food preparation
EP1504666A1 (en) Cooking apparatus with browning sensor
DE10332021B3 (en) A method for determining parameters of a cooking process of a food and this using control device
DE102019213638A1 (en) Cooking device and method for operating a cooking device
EP3864346A1 (en) Method for preparing a cooking product, cooking device, and cooking device system
DE102008014006B4 (en) Method for providing an intelligent man-machine interface for cooking devices and associated cooking device
WO2022148593A1 (en) Method for determining the cooking end time of food, and household cooking appliance
DE102019107828B4 (en) Method for operating a cooking appliance and cooking appliance
CN111419096B (en) Food processing method, controller and food processing equipment
WO2019170447A1 (en) Interaction module
DE102018102123A1 (en) Method and cooking appliance for cooking at least one item to be cooked
DE102019107859A1 (en) Method for operating a cooking device and cooking device
DE102018214391A1 (en) Interaction device
EP4051962A1 (en) Determining a target processing state of a cooking product to be treated
WO2023187058A1 (en) Cooking system, cooking device, and method for operating a cooking system
DE102019206239A1 (en) Method for operating a hob and cooking device with hob
DE102010037796A1 (en) Method for setting cooking finishing state of cooking item in cooking appliance such as oven, involves modifying thickness of one of cooking products, selectively and starting the setting process as function of confirmed thickness

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230201

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)